CN1251515C - 图像编码处理装置 - Google Patents

图像编码处理装置 Download PDF

Info

Publication number
CN1251515C
CN1251515C CNB021087059A CN02108705A CN1251515C CN 1251515 C CN1251515 C CN 1251515C CN B021087059 A CNB021087059 A CN B021087059A CN 02108705 A CN02108705 A CN 02108705A CN 1251515 C CN1251515 C CN 1251515C
Authority
CN
China
Prior art keywords
choice
range
encoding process
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB021087059A
Other languages
English (en)
Other versions
CN1379592A (zh
Inventor
本田义雅
小宫大作
上野山努
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1379592A publication Critical patent/CN1379592A/zh
Application granted granted Critical
Publication of CN1251515C publication Critical patent/CN1251515C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明涉及一种图像编码处理装置,该图像编码处理装置对视频信号进行编码处理,其中,该装置具有:范围选择部,该范围选择部选择图像内的任意范围作为选择范围;逐步变化的编码处理参数计算部,该逐步变化的编码处理参数计算部在上述选择范围内自动地计算逐步变化的编码处理参数的值,该值是逐步变化的编码处理参数;该图像编码处理装置将通过上述范围选择部选择的所述选择范围的编码处理参数,改变为与所述选择范围以外的范围的编码处理参数的值不同的值。

Description

图像编码处理装置
技术领域
本发明涉及在有限的传送位速率内,对视频信号进行编码处理的图像编码处理装置和图像编码处理程序,本发明特别涉及整个画面不产生不适感,使特定的范围的画质提高的类型。
背景技术
近年来,随着信息通信技术的发达或基础设施的装备,可通过传送线路,进行视频信号的发送接收,将视频信号存储于存储媒体中。一般,由于图像信号的信息量较大,故在采用传送位速率有限的传送线路,传送视频信号的场合,或为了将视频信号存储于存储容量有限的存储媒体中,对视频信号进行压缩编码处理的技术是必不可少的。作为视频信号的压缩编码处理方式中的1种,包括有ISO/IEC进行标准化处理的MPEG(Moving PictureExpert Group),该方式指下述技术,即,通过削减视频信号的,采用时间的相关,空间的相关的冗长性,减小视频信号的信息量,对满足用于传送线路的位速率,或存储媒体中记录用的位速率的图像信号,进行编码处理。
但是,在视频信号的压缩编码处理中,由于按照有限的位速率,对视频信号进行编码处理,故分配给形成图像的1幅1幅的图像的编码量受到限制,对应于传送位速率,图像的画质变差。特别是在均匀地对画面内部进行编码处理的场合,画质在画面内均匀,即,画质变差也均匀。
如果考虑比如,电视会议的图像编码处理,则尽管使用者希望脸部的画质好于背景部分,但是如果均匀地对画面内部进行编码处理,则对于TV会议重要的脸部的画质,与非重要的背景部分的画质是相同的,在编码处理后得到的图像不是满足反映使用者意图的主观的画质。
于是,作为可进行反映使用者的意图的编码处理的技术,人们提出了下述方式,在该方式中,使特定的范围的画质好于其它的范围。
比如,人们提出下述方案,其中,为了使特定的范围的画质好于其它的范围,在特定的范围的内外,改变编码处理参数。在ISO/IEC JTC1/SC29/WG11 MPEG95/030中描述的方式中,通过从动态图像中,选择范围,改变量化值,使选择范围的画质好于其它的范围。另外,在日本第146395/1999号发明专利申请公开公报文献中公开的图像传送系统和图像编码处理装置(下面称为“已有技术”)中,使用者选择范围,编码处理装置相对选择范围,采用预先配备的量化矩阵,由此,使选择范围的画质好于其它的范围。
但是,在特定的范围内外,仅仅采用不同的编码处理参数,进行编码处理,范围之间的画质的差别较大,产生范围的边界明显等情况,画面整体产生不适感。
下面对已有实例的方式进行描述。
图14表示已有实例的方框图。
在图14中,图像编码处理装置1401由下述部分形成,该部分包括与图像输入部1420连接的减法运算部1408,DCT部1402,量化部1403,VLC部1404,逆量化部1405,逆DCT部1406,加法运算部1409,帧存储器1407,与范围输入部1410连接的编码量控制部1413,选择部1412,量化表缓冲器1411,该装置与输出部1414连接。
下面对如上所述形成的图像编码处理装置的动作进行描述。图像输入部1420针对每帧,视频信号输出给减法运算部1408。
范围输入部1410为选择使画质提高的范围的部分,将选择范围的信息输出给编码量控制部。该编码量控制部1413采用从VLC部1404输入的1帧前的发生编码量,对当前的帧的选择范围内外的分配编码量进行计算,将其输出给选择部1412。选择部1412根据编码量控制部1413已计算的选择范围内外的分配编码量,分别对应于选择范围内外,选择已记录多个量化矩阵的量化表,将已选择的各量化表输入到量化部。
减法运算部1408从由图像输入部1420中输入的原始图像中,扣除从帧存储器1407输入的预测图像,将预测误差输出给DCT部1402。DCT部1402对从减法运算部1408输入的预测误差进行DCT转换,将已计算的DCT系数,输出给量化部1403。量化部1403采用从选择部1402输入的量化表,对从DCT部1402输入的DCT系数进行量化处理,将量化表,以及量化DCT系数,输出给逆量化部1405和VLC部1404。VLC部1404以可改变长度的方式对从量化部1403输入的量化表,量化DCT系数进行编码处理,将可变长度编码输出给输出部1414,并且将发生编码量输出给编码量控制部1413。逆量化部1405采用从量化部1403输入的量化表,量化DCT系数,进行逆量化处理,将逆量化DCT系数,输出给逆DCT部1406。逆DCT部1406对从逆量化部1405输入的逆量化DCT系数进行逆DCT转换,将进行了解码处理的预测误差输出给加法运算部1409。该加法运算部1409对从逆DCT部1406输入的解码处理后的预测误差,与从帧存储器1407输入的1帧前的解码处理图像进行加法运算,计算当前的解码处理图像,将其输出给帧存储器1407。帧存储器1407采用从加法运算部1409输入的解码处理图像,对内部缓冲器进行更新,将解码处理图像输出给减法运算部1408和加法运算部1409。
如上所述,可通过在选择范围内,外,改变量化表,进行量化处理,使选择范围的画质提高。
发明内容
如果象已有实例那样,采用在选择范围和其以外的范围之间不同的量化矩阵,使选择范围的画质提高,则形成下述图像,其中在选择范围的边界,由量化值的差,产生块噪音,整个画面具有不适感。另外,对于采用在选择范围内外不同的量化值,进行编码处理等的其它的已有技术,也是同样的,具有整个画面产生不适感的问题。
本发明是为了解决上述已有实例的课题而提出的,本发明的目的涉及通过有限的传送位速率,对视频信号,进行编码处理的图像编码处理装置,其可提供下述图像,其中相对其它的范围,选择打算使画质提高的范围,使选择范围的画质提高,并且整个画面没有不适感。
为了实现上述目的,本发明涉及一种图像编码处理装置,该图像编码处理装置对视频信号进行编码处理,该装置的第1特征在于该装置具有:范围选择部,该范围选择部选择图像内的任意范围作为选择范围;逐步变化的编码处理参数计算部,该逐步变化的编码处理参数计算部在上述选择范围内自动地计算逐步变化的编码处理参数的值,该值是逐步变化的编码处理参数;该图像编码处理装置将通过上述范围选择部选择的所述选择范围的编码处理参数,改变为与所述选择范围以外的范围的编码处理参数的值不同的值。还包括编码量控制部,该编码量控制部计算出应该分配给上述选择范围的编码处理量,上述逐步变化的编码处理参数计算部,按照上述选择范围的图像进行编码处理时的编码处理量作为上述编码处理量控制部计算出的编码处理量的方式,计算出逐步变化的编码处理参数的值。由此,使用者可选择相对图像,打算使画面内的画质提高的范围。
本发明的装置的第2特征在于其具有范围自动选择部,该范围自动选择部在图像内,自动地识别,选择使画质提高的范围,可相对选择范围,改变编码处理参数。由此,可相对图像,自动地选择打算使画面内的画质提高的范围。
本发明的装置的第3特征在于其包括逐步变化的编码处理参数计算部,该逐步变化的编码处理参数计算部计算逐步变化的编码处理参数的值,该逐步变化的编码处理参数的值从选择范围中间,朝向选择范围边界方向,逐步地变化。由此,可通过采用已计算的逐步变化的编码处理参数,对选择范围进行编码处理,在从选择范围内到选择范围边界之间,使画质逐步地变化,由此,可形成选择范围内的画质较高,整个画面没有不适感的自然图像。
本发明的装置的第4特征在于逐步变化的量化参数计算部从选择范围,相对选择范围边界方向,逐步地使量化值本身变化,对其进行计算。由此,可通过采用逐步变化的量化值,对选择范围进行编码处理,从选择范围中间,沿选择范围边界方向,逐步地使量化误差的值变化,由此,可形成在边界范围边界,没有较大的块噪音,整个画面没有不适感的自然图像。
本发明的装置的第5特征在于逐步变化的量化参数计算部从选择范围中间,相对选择范围边界方向,使帧速率逐步地变化,对其进行计算。由此,可通过采用逐步变化的帧速率,对选择范围进行编码处理,从选择范围中间,向选择范围边界方向,逐步地使帧速率的值变化,由此,可形成在选择范围边界不产生较大的帧速率的差,整个画面没有不适感的自然图像。
本发明的装置的第6特征在于逐步变化的量化参数计算部从选择范围中间,相对选择范围边界方向,使前置滤波器的特性逐步地变化,对其进行计算。由此,可通过逐步采用前置滤波器,对选择范围进行编码处理,从选择范围中间,向选择范围边界方向,逐步地使图像的频率特性变化,由此,可形成在选择范围边界不产生较大的频率特性的差,整个画面没有不适感的自然图像。
本发明的装置的第7特征在于逐步变化的量化参数计算部从选择范围中间,相对选择范围边界方向,使慢拍极限值逐步地变化,对其进行计算。由此,可通过采用逐步变化的慢拍极限值,对选择范围进行编码处理,从选择范围中间,向选择范围边界方向,逐步地使慢拍帧的值变化,由此,可形成在选择范围边界不产生较大的帧速率的差,整个画面没有不适感的自然图像。
本发明的装置的第8特征在于其包括优先位次输入部,在该优先位次输入部中,使用者对选择范围内的编码处理参数,设定优先位次,另外包括编码处理参数计算部,该编码处理参数计算部按照已设定的优先位次,从优先位次较低的编码处理参数起,使其值变化,在已确定的传送位速率内,进行图像编码处理。由此,可采用使用者针对选择范围设定的优先位次而计算的编码处理参数,进行编码处理,可使反映使用者的意图的画质提高。
本发明的装置的第9特征在于其包括要求画质输入部,在该要求画质输入部,使用者可相对选择范围,指定要求画质,另外包括必需位速率计算部,该必需位速率计算部计算按照已指定的要求画质进行编码处理所必需的传送位速率,输出必需的位速率。由此,使用者可掌握传送位速率与编码处理画质之间的关系,在多个图像共同具有1个传送位速率的场合,对各图像考虑编码处理画质基础上,可有效地进行位速率分配。
另外,本发明涉及一种对视频信号进行编码处理的图像编码处理程序,该程序的第1特征在于进行下述步骤:范围选择步骤,在该范围选择步骤中,接受来自使用者的画面内的任意的范围;编码处理参数变更步骤,在该编码处理参数变更步骤中,将选择范围的编码处理参数,变更为与选择范围以外的编码处理参数不同的值,可相对选择范围,改变编码处理参数。由此,使用者可相对图像,选择打算使画面内的画质提高的范围。
本发明的程序的第2特征在于进行逐步变化的编码处理参数计算步骤,在逐步变化的编码处理参数计算步骤中,计算逐步变化的编码处理参数的值,该逐步变化的编码处理参数的值从选择范围中间,朝向选择范围边界方向,逐步地变化。由此,可通过采用已计算的逐步的编码处理参数,对选择范围进行编码处理,在从选择范围内,到选择范围边界之间,逐步地使画质变化,由此,可形成选择范围内的画质较高,整个画质没有不适感的自然图像。
本发明的程序的第3特征在于进行优先位次输入步骤,在该优先位次输入步骤中,接受来自使用者的优先位次的设定;进行编码处理参数计算步骤,在该编码处理传送计算步骤中,按照已设定的优先位次,从优先位次较低的编码处理参数起,使其值变化,在已确定的传送位速率内进行图像编码处理。由此,采用相对选择范围,使用者已设定的优先位次而计算的编码处理参数,进行编码处理,可使反映使用者的意图的画质提高。
本发明的程序的第4特征在于进行要求画质输入步骤,在该要求画质输入步骤中,相对选择范围,接受来自使用者的要求画质;进行必需位速率计算步骤,在该必需位速率计算步骤中,计算按照已指定的要求画质进行编码处理所必需的传送位速率,输出必需的传送位速率。由此,使用者可掌握必需的传送位速率与编码处理画质之间的关系,在多个图像共同具有1个传送位速率的场合,对各图像考虑编码处理画质的基础上,可有效地进行位速率分配。
如上所述,在进行视频信号的编码处理的图像编码处理装置中,按照第1项发明,其特征在于其具有范围选择部,在该范围选择部中,使用者可针对图像编码处理装置,选择打算提高画质的范围,要求该范围,可相对选择范围,改变编码处理参数。由此,使用者可相对图像,选择打算使画面内的画质提高的范围。
按照第2项发明,由于具有范围自动选择部,该范围自动选择部自动地识别,选择要使画质提高的范围,故使用者无需专门地选择范围。
按照第3项发明,其特征在于其包括逐步变化的编码处理参数计算部,该逐步变化的编码处理参数计算部计算从选择范围中间,朝向选择范围边界方向,其值逐步地变化的编码处理参数。由此,采用已计算的逐步变化的编码处理参数,对选择范围进行编码处理,可从选择范围内,到选择范围边界之间,使画质逐步地变化,由此,可形成选择范围以内的画质较高,整个画面没有不适感的自然图像。
按照第4项发明,其特征在于逐步变化的编码处理参数计算部从选择范围中间,相对选择范围边界方向,逐步地使量化值变化,对其进行计算。由此,可通过采用逐步变化的量化值,对选择范围进行编码处理,从选择范围内,向选择范围边界方向,逐步地使量化误差的值变化,这样可提供越靠近选择范围中间,画质越高,并且在选择范围边界处,不产生较大的块噪音,画面整体没有不适感的自然图像。
按照第5项发明,其特征在于逐步变化的编码处理参数计算部从选择范围中间,相对选择范围边界方向,逐步地使帧速率的值变化,对其进行计算。由此,通过采用逐步变化的帧速率,对选择范围进行编码处理,可从选择范围内,向选择范围边界方向,逐步地使帧速率的值变化,这样,可提供越靠近选择范围中间,帧速率越高,并且在选择范围边界处,不产生较大的帧速率差,画面整体没有不适感的自然图像。
按照第6项发明,其特征在于逐步变化的编码处理参数计算部从选择范围中间,相对选择范围边界方向,逐步地使前置滤波器的特性变化,对其进行计算。由此,可通过采用逐步变化的前置滤波器,对选择范围进行编码处理,从选择范围内,向选择范围边界方向,逐步地使图像的频率特性变化,这样,可提供越靠近选择范围中间,越鲜明,并且在选择范围边界,不产生较大的频率特性的差别,画面整体没有不适感的自然图像。
按照第7项发明,其特征在于逐步变化的编码处理参数计算部从选择范围中间,相对选择范围边界方向,逐步地使慢拍极限值变化。由此,可通过采用逐步变化的慢拍极限值,对选择范围进行编码处理,从选择范围内,向选择范围边界方向,逐步地使慢拍帧的值变化,这样,可提供越靠近选择范围中间,慢拍帧数越小,并且在选择范围边界,不产生较大的慢拍帧的差,画面整体没有不适感的自然图像。
按照第8项发明,其特征在于其包括优先位次输入部,在该优先位次输入部中,使用者相对选择范围以内的编码处理参数,设定优先位次,另外具有编码处理参数计算部,该编码处理参数计算部按照已设定的优先位次,从优先位次较低的编码处理参数起,使其值变化,在已确定的传送位速率内,进行图像编码处理。由此,针对相对选择范围,使用者已设定的优先位次较高的编码处理参数,保证较高的画质,可使反映使用者的意图的画质提高。
按照第9项发明,其特征在于其具有要求画面输入部,在该要求画面输入部中,相对选择范围,使用者可指定要求画质,另外具有必需位速率计算部,该必需位速率计算部计算按照已指定的要求画质进行编码处理所必需的传送位速率,输出必需的传送位速率。由此,使用者可掌握传送位速率与编码处理画质之间的关系,在多个图像共同具有1个频带的场合,相对相应的图像,考虑编码处理图像的画质基础上,可有效地进行位速率划分。
另外,本发明涉及进行视频信号的编码处理的图像编码处理程序,其第1特征在于进行范围选择步骤,在该范围选择步骤中,接受来自使用者的画面内的任意的范围的指定;编码处理参数变更步骤,在该编码处理参数变更步骤中,将选择范围的编码处理参数,变更为与选择范围以外的编码处理参数不同的值,可相对选择范围,改变编码处理参数,由此,使用者可相对图像,选择打算使画面内的画质提高的范围。
上述程序的第2特征在于进行逐步变化的编码处理参数计算步骤,在逐步变化的编码处理参数计算步骤中,计算相对选择范围,从选择范围中间,朝向选择范围边界方向,其值逐步地变化的编码处理参数。由此,可通过采用已计算出的逐步变化的编码处理参数,对选择范围进行编码处理,在从选择范围内,到选择范围边界之间,逐步地使画质变化,由此,可形成选择范围内的画质较高,整体画面没有不适感的自然图像。
上述程序的第3特征在于进行优先位次输入步骤,在该优先位次输入步骤中,相对选择范围以内的编码处理参数,接受来自使用者的优先位次的设定;进行编码处理参数计算步骤,在该编码处理传送计算步骤中,按照已设定的优先位次,从优先位次较低的编码处理参数起,使其值变化,在已确定的传送位速率内进行图像编码处理。由此,可通过采用根据相对选择范围,使用者已设定的优先位次而计算的编码处理参数,进行编码处理,可使反映使用者意图的画质提高。
上述程序的第4特征在于进行要求画质输入步骤,在该要求画质输入步骤中,相对选择范围,接受来自使用者的要求画质;进行必需位速率计算步骤,在该必需位速率计算步骤中,计算按照已指定的要求画质进行编码处理所必需的传送位速率,输出必需的传送位速率。由此,使用者可掌握必需的传送位速率与编码处理画质之间的关系,在多个图像共同具有1个传送位速率的场合,相对相应的图像,考虑编码处理画质基础上,可有效地进行位速率分配。
附图说明
图1为表示本发明的第1实施例的,图像编码处理装置的组成的方框图;
图2为表示图像编码处理的流程的流程图;
图3为表示选择范围的选择范围图的1个实例的图;
图4为表示选择范围内的小块的分配编码量计算处理的流程的流程图;
图5为表示给出各小块的分配编码量的分配编码量图的1个实例的图;
图6为表示给出各小块的量化值的量化值图的1个实例的图;
图7为表示本发明的第2实施例的,图像编码处理装置的组成的方框图;
图8为表示给出各小块的帧速率的帧速率图的1个实例的图;
图9为表示本发明的第3实施例的,图像编码处理装置的组成的方框图;
图10为表示给出各小块的前置滤波器特性的前置滤波器特性图的1个实例的图;
图11为本发明的第4实施例的,图像编码处理装置的组成的方框图;
图12为表示编码处理参数计算处理的流程的流程图;
图13为本发明的第5实施例的,图像编码处理装置的组成的方框图;
图14为表示已有实例的,图像编码处理装置的组成的方框图;
图15为表示图像编码处理程序的基本动作的流程图。
具体实施方式
下面通过图1~13和图15,对本发明的实施例进行描述。另外,本发明不限于任何的这些实施例,在不脱离其实质的范围内,可按照各种形式实施。
(第1实施例)
第1实施例涉及下述图像编码处理装置,该图像编码处理装置在已确定的传送位速率内,对视频信号进行编码处理,其特征在于可选择画面内的任意的范围,相对其它的范围,使已选择的选择范围的画质提高,从选择范围中间,朝向外侧,逐步地使量化值变化,由此,提供画面整体没有不适感的自然图像。
图1表示第1实施例的图像编码处理装置的方框图。在图1中,图像编码处理装置101由下述部分形成,其包括减法运算部108,该减法运算部108与输入视频信号的图像输入部120连接,该减法运算部108进行减法运算;DCT部102,该DCT部102进行DCT转换;量化部103,该量化部103进行量化处理;VLC部104,该VLC部104进行可变长度编码处理;编码量控制部113,该编码量控制部113进行发生编码量的控制;逐步变化的编码处理参数计算部112,该逐步变化的编码处理参数计算部112计算逐步变化的量化值;逆量化部105,该逆量化部105进行逆量化处理;逆DCT部106,该逆DCT部106进行逆DCT转换;加法运算部109,该加法运算部109进行加法运算处理;帧存储器107,该帧存储器107保存解码处理图像;范围选择部111,该范围选择部111与范围输入部110连接,进行范围选择,VLC部104按照与输出部114连接的方式形成。
就按照上述方式形成的图像编码处理装置101来说,图2表示其处理的示意性流程,下面对该处理进行描述。
步骤201:图像·范围输入处理
图像输入部120根据视频信号,检测同步信号,针对每个画面,将形成视频信号的图像输出给减法运算部108。范围输入部110为使用者在画面内,输入打算使画质提高的范围(在下面,定义为“选择范围”)的部分,其将范围的信息,输出给范围选择部111。比如,在使用者指定矩形范围的场合,输入矩形范围的左上的坐标x,y与矩形范围的宽度w和高度h。但是,范围输入部的范围的信息的指定方法不限于此,如果为范围可指定的方法,其也可为任何的指定方法。另外,还可采用下述方法,即,自动地识别图像内部的特定的对象,指定呈现该对象的范围。
步骤202:逐步变化的量化值计算处理
范围选择部111采用通过范围输入部110输入的范围的信息(x,y,w,h),制作选择范围图,将选择范围图输出给逐步变化的编码处理参数计算部112。
逐步变化的编码处理参数计算部112采用从范围选择部111输入的选择范围图,以及从后面将要描述的编码量控制部113输入的图像i的分配编码量Bi,计算逐步变化的量化值。
逐步变化的量化值的计算由3个步骤形成,下面进行具体描述。
选择范围以外的小块的分配编码量的计算的步骤
采用图像i的分配编码量Bi,分别通过下述公式1.1和公式1.2,计算选择范围以内的小块的分配编码量AH与选择范围以外的小块的分配编码量AL
数学公式1
A H = Bi N * α - - - ( 1.1 )
A L = Bi - A H * N H N L - - - ( 1.2 )
在这里,N表示1帧内的小块数量,α表示分配倍率,其为用于增加选择范围的编码量分配的系数。另外,在公式1.2中,NH表示选择范围以内的小块数量,NL表示选择范围以外的小块数量。
选择范围以内的小块的逐步变化的编码量分配的步骤
下面对相对选择范围以内的小块的逐步变化的分配编码量进行计算。在选择范围的中心部的小块中,分配较多的编码量,伴随朝向范围的外侧的靠近,分配的编码量减少。由此,伴随朝向选择范围的中心部的靠近,画质逐步地提高,越靠近外侧,画质越逐步地变差,在选择范围的边界,可减小其与选择范围以外的画质的差值。图4表示选择范围以内的小块的分配编码量计算方法的步骤的流程。
图4的流程由下述处理形成,即,步骤401:划分选择范围的范围划分处理;步骤402:相对已划分的范围,计算分配编码量的分配编码量计算处理;步骤403:分配后的剩余编码量计算处理;步骤404:结束判断处理。下面对各步骤进行具体描述。
步骤401:范围划分处理
在该处理中,划分选择范围,获得区域。该区域伴随从步骤401,到步骤404的循环的进行,从选择范围的外部,朝向中心部划分。
首先,选择范围的重心由G表示,选择范围中的第j号的小块由Block(j)表示。此时,从G,通过Block(j)的中心,朝向选择范围的边界的方向延长的半直线与选择范围的边界交叉的点由Vj(在具有多个交叉的点的场合,为最靠近G的点)表示。选择范围的划分的最大数量由β表示,在于从步骤401,到步骤404的循环中,进行步骤401的次数由N表示的场合,如果所获得区域表示为第1号,第2,第3号, ...第N号的区域,则Block(j)进入第I号的区域指下述场合,在该场合,在将线GVj划分为β个长度相等的区间时,Block(j)的中心属于从点Vj侧计算,第I号的区间。另外,在于区间的边界点,具有Block(j)的中心的场合,其属于靠近点Vj的区间。在下面,第1号的区域表示为区域I。
步骤402:区域的分配编码量计算处理
相对下次划分的各区域,象越靠近选择范围中间,分配编码量越大的那样,计算分配编码量。
公式1.5表示每个区域的编码量增加步骤ΔB的计算方法。在公式1.5中,γ表示编码量增加参数,其表示选择范围以外的小块的分配编码量的增加比例,AL表示相对选择范围以外的小块的分配编码量。
数学公式2
ΔB=AL*γ           (1.5)
采用编码量增加幅度ΔB,计算向区域i的分配编码量。公式1.6表示向区域i的分配编码量的计算方法。在公式1.6中,AHi表示相对区域i的小块的分配编码量。
数学公式3
AHi=AL+ΔB*i          (1.6)
即,伴随区域朝向选择范围中间的靠近,分配编码量逐个ΔB地增加。
步骤403:剩余编码量的计算
接着,在计算区域i的分配编码量后,计算在选择范围中分配的编码量中的剩余编码量。公式1.7表示剩余编码量RHi的计算方法。在公式1.7中,NHj表示包括在范围j中的小块数量。
数学公式4
R Hi = A H * N H - Σ j = 1 i A Hj * N Hj - - - ( 1.7 )
步骤404:结束判断
采用按照公式1.7计算的剩余编码量,进行结束判断。如果满足公式1.8,则结束判断结束,如果不满足,则返回到步骤401,反复进行处理。在公式1.8中,i表示进行了步骤401的次数,NHi+1表示在下次进行了步骤401的场合所获得的区域i+1中包含的小块数量。
数学公式5
R Hi ΔB ≥ N Hi + 1 - - - ( 1.8 )
即,根据是否具有在进行下一范围划分时所分配的编码量,进行结束判断。
通过反复进行以上的步骤401~404的处理,将选择范围划分为多个区域,在逐步地相对各区域,使编码量增加的同时,对其进行分配。图5表示编码量分配结果的1个实例。在图5中,写入各小块中的字为分配编码量,在选择范围内,越是靠近中间的小块,分配编码量越大。
量化值的计算的步骤
如果确定图像中的全部小块的分配编码量,则按照相应的分配编码量,计算小块的量化值。量化值的计算方法由公式1.9表示。在公式1.9中,Qn表示小块n的量化值,An表示小范围n的分配编码量,f(x)表示相对编码量x,给出量化值的函数,其具有编码量越大,给出的量化值越小的性质,其是预先确定的。
数学公式7
Qn=f(An)            (1.9)
按照公式1.9,计算全部的小块的量化值,制作量化值图。图6表示量化值图的1个实例。图6的小块内的数字表示各小块的量化值,在选择范围内,具有下述特征,即,伴随朝向中间的靠近,量化值逐步地减小。
如上所述,逐步变化的编码处理参数计算部112制作表示各小块的量化值的量化值图,将其输出给量化部103。
步骤203:图像编码处理
在图像编码处理中,将视频信号分为8×8的像素的块,针对每个块,进行DCT,逆DCT处理,针对作为2×2块的集合中的每个小块,进行减法运算处理,加法运算处理,量化处理,逆量化处理,VLC处理。另外,在各处理块中,如果1帧内的全部块,或全部小块的处理结束,则向下一处理块,输出处理结果。
减法运算部108采用通过图像输入部120输入的1帧的原始图像,以及作为通过帧存储器输入的1帧前的解码处理图像的预测图像,从原始图像中,扣除预测图像,由此,计算出预测误差,将该预测误差输出给DCT部102。但是,在编码处理开始时,由于1帧前的解码处理图像是不存在的,故不进行减法运算。
DCT部102对从减法运算部108输入的预测误差,进行DCT转换,由此计算DCT系数,将该DCT系数输出给量化部103。
量化部103采用通过DCT部102输入的DCT系数,以及通过逐步变化的编码处理参数计算部112输入的量化值图,进行量化处理。该量化部103针对每个小块,将DCT系数除以在量化值图中表示的量化值,计算出商,由此,计算量化DCT系数,将量化值图和数字子化DCT系数输出给VLC部104和逆量化部105。
VLC部104对通过量化部103输入的量化值图和量化DCT系数,进行可变长度编码处理,将可变长度编码输出给输出部114,并且将已发生的编码量输出给编码量控制部113。
该编码量控制部113采用通过VLC部104输入的发生编码量,计算下一帧的分配编码量,将其输出给逐步变化的编码处理参数计算部112。计算帧i的分配编码量的方法通过公式1.10和1.11表示。
在本实施例中,针对每个已确定的帧数量,进行编码量控制,编码量控制的统一单位称为GOP。在公式1.10中,BGOP表示编码量控制中的1GOP的分配编码量,T表示传送位速率,NGOP表示1GOP内的帧数量,Framerate表示帧速率。在公式1.11中,Bi表示在帧i中分配的编码量,bj表示在帧j中发生的编码量。
在这里,“传送位速率”指根据可变长度编码处理(VLC)后的信号计算,包括实际上通过传送媒体的,经编码处理的包括视频信号的位速率。可根据位值和帧速率等进行计算。
数学公式8
B GOP = T * N GOP Framerate - - - ( 1.10 )
数学公式9
B i = B GOP - Σ j = 1 i - 1 bj N GOP - ( i - 1 ) - - - ( 1.11 )
步骤204:图像解码处理
逆量化部105采用从量化部103输入的量化值图与量化DCT系数,针对每个相应的小块,将量化值与DCT系数相乘,由此计算逆量化DCT系数,将逆量化DCT系数输出给DCT部106。
逆DCT部106对通过逆量化部105输入的逆量化DCT系数,进行逆DCT转换处理,计算解码后的预测误差,将其输出给加法运算部109。
加法运算部109对通过逆量化部105输入的解码后的预测误差,与从帧存储器输入的1帧前的解码处理图像进行加法运算,计算目前的解码处理图像,将其输出给帧存储器107。
如果从加法运算部109输入解码处理图像,则帧存储器107在内部存储器,将其改写为已输入的解码处理图像,将解码处理图像,输出给加法运算部109和减法运算部108。
步骤205:结束判断处理
按照上述方式,反复进行从步骤201~204的处理,进行图像编码处理。在图像输入部120中,将视频信号的输入停止的场合判定为编码处理结束,结束编码处理。
如上所述,由于图像编码处理装置101包括范围选择部,该范围选择部选择画面内的任意的范围;逐步变化的编码处理参数计算部,该逐步变化的编码处理参数计算部计算相对选择范围,选择范围中间的量化值较小,朝向外侧,量化值变大的逐步变化的量化值,故可提供选择范围以内的画质较高,另外,在选择范围边界,量化误差的差值减小,整个画面没有不适感的自然图像。
另外,在本实施例中,给出了使用者指定了范围的实例,但是,也可包括范围自动选择部,该范围自动选择部比如,将肤色较多的部分作为人的脸的对象识别,自动地选择象这样识别的对象的图像内的范围。
比如,在具有超过一定程度而运动的对象的场合,将该对象识别为打算引起人们注意,通过视觉辨别的对象,也可自动地选择象这样识别的对象的图像内的范围。
在这里,“识别”指指定对象。但是,不必对该对象为哪个进行指定。不过,也可采用图像识别技术等,对超过一定程度而运动的对象为哪个进行指定,根据该指定,进行范围的自动选择。比如,采用这样的处理,其中对对象为“跑的人”,还是为“从空中降落的雪”进行指定,“跑的人”作为范围而选择,但是“从空中降落的雪”不作为范围选择(只要“识别”的概念在本说明书中不产生特别的矛盾,适合该概念)。
在本实施例中,以范围自动选择部代替最初描述的图像编码处理装置中的范围选择部111。下面对范围自动选择部进行描述。
<范围自动选择部具有运动值检测机构的场合>
范围自动选择部由“运动值检测机构”,“运动值判断机构”,“选择机构”形成。
“运动值检测机构”检测作为图像的运动的大小的运动值。“运动值”指在从上一帧到当前帧之间,对象运动的值(运动的差分)。“对象运动的值”除了指仅仅对象运动的距离的场合以外,还具有包括方向在内的运动矢量的场合。在运动值检测机构中,检测从上一帧到当前帧的期间的对象的运动值,将已检测的运动值,转送给作为下一机构的运动值判断机构。
“运动值判断机构”对已通过运动值检测机构检测的运动值本身是否大于规定值进行判断。在这里,将已通过运动值检测机构检测的运动值与规定值进行比较。该规定值也可为某个一定的值,使用者还可根据情况,进行任意设定。具体来说,象电视会议,可视电话的图像等那样,在人物的运动极小的场合,将规定值设定在较低值,以便于还可应对微小运动的对象。比如,如果将规定值设定为图像(比如,在电视的荧光屏中表示的窗口等)的整个幅度的5%,则将大于5%的运动的发言者,在发言中进行指示的动作等时运动的手臂等识别为打算引起人们注意,通过视觉辨别的对象。还设想象体育转播的图像那样,图像中的对象的运动极大的场合。在这样的场合,如果规定值过低,则几乎整个对象超过规定值,没有特定画质的提高产生的差别,另外还对之后的处理造成负荷。因此,也可将规定值设定为更大的值(比如,为图像的整个幅度的30%等)。如果进行这样的设定。则不将处于防守等状态,运动较少的选手识别为打算引起人们注意,通过视觉识别的对象。
在运动值判断机构的判断结果不满足规定值的场合,不识别为打算引起人们注意,通过视觉辨别的对象的图像,也不进行范围的选择。在判断结果大于规定值的场合,识别为打算引起人们注意,通过视觉辨别的对象的图像的识别,将用于指定该范围的信息转送给作为下一机构的选择机构。
“选择机构”在运动值判断机构的判断结果大于规定值的场合,将其作为使按照该运动值运动的图像的部分的画质提高的范围选择。其原因在于:在运动值判断机构的判断结果大于规定值的场合,识别为打算引起人们注意,通过视觉辨别的对象的图像。根据用于指定从运动值判断机构转送来的范围的信息,进行范围的选择。
此后,也可在已选择的范围,进行借助“逐步变化的编码处理参数计算部”的处理。在逐步变化的编码处理参数计算部中,从选择范围中心,相对选择范围边界方向,逐步地使量化值本身变化,对其进行计算。另外,该量化值的计算的方法也可为从选择范围边界,相对选择范围中间方向,逐步地使量化值变化的计算方法。同样,只要是可产生选择范围中间部的画质最好,伴随着朝向边界的靠近,画质逐渐变差的图像的方法,也可为其它的计算方法。
另外,还可为下述方法,其中使选择范围内部的画质一致性地提高,使选择范围外部的图像的画质朝向外侧,逐步地变差。在该场合,通过逐步变化的编码处理参数计算部,从选择范围的边界,相对外侧,以围绕选择范围的形状,逐步地使量化值本身变化,对其进行计算。
通过进行以上的处理,可采用逐步变化的量化值,对选择范围进行编码处理,在选择范围的内外,不产生较大的块噪音,可形成整个画面没有不适感的自然的图像。
<范围自动选择部具有脸检测机构的场合>
范围自动选择部由“颜色信号检测机构”,“颜色信号判断机构”,“选择机构”形成。
“颜色信号检测机构”检测作为图像的颜色的颜色信号。“颜色信号”指下述信号,该信号能够针对每种成份,进行颜色区分,在各成份中,将相当于明度的值作为像素值,进行分配颜色的指定。作为针对每种成份区分颜色的方法,比如,包括有针对亮度(Y)成份与色差成份进行区分的方法,针对R(红),G(绿),B(蓝)成份进行区分的方法等。比如,如果依靠RGB成份显示,在R,G,B这3个成份的像素值不能够通过颜色信号进行检测时,则可重现实际的颜色。将已检测的色信号转送给作为下一机构的颜色信号判断机构。
“颜色信号判断机构”判断已通过颜色信号检测机构检测的颜色信号是否为规定的颜色信号。“规定的颜色信号”指在打算使画质提高的图像中,具有对象(或,能够推定具有)的颜色的颜色信号,作为1个实例的,作为人物的脸色的肤色等。规定的颜色信号也可固定在肤色等的特定的颜色,使用者还可根据情况,进行任意地设定。比如,在电视会议中受到注视的部分中,除了发言者等的脸以外,还具有形成标题的对象物等。在电视会议中,在白板上,通过蓝色的笔,记载文字的场合,如果将表示蓝色的颜色信号设定为规定的颜色信号,则可鲜明地再现在白板上,描绘蓝色的文字的运动,对于采用监视器的电视会议的出席者来说,也容易可读取白板上的文字。如果能够使指定颜色的对象的画质提高,则伴随对象的改变,变更颜色的指定,以便于能够使打算在平时引起人们注意,通过视觉辨别的对象的画质提高。
此外,也可将与规定的颜色信号的设定有关的信息伴随视频信号而发送。由于与伴随视频信号而发送的颜色信号的设定有关的信息,为打算对应于图像的,最引起人们注意的,通过视觉辨别的对象的颜色信号,故便于确实使必需的图像的画质提高。具体来说,在于网络销售中介绍商品时,在最初的商品为苹果,下一商品为橘子的场合,在最初的商品的介绍时,可将表示作为苹果的颜色的红色的颜色信号作为规定的颜色信号,在下一商品的介绍时,可将表示作为橘子的颜色的橙色的颜色信号作为规定的颜色信号。在发送一侧,可经常进行的确的颜色的指定,以便掌握打算引起人们注意,通过视觉辨认的对象和其颜色信号。
在颜色信号判断机构的判断结果与规定值不一致的场合,不识别为打算引起人们注意,通过视觉辨认的对象的范围,也不进行范围的选择。在判断结果与规定值一致的场合,将检测到规定的颜色信号的图像,识别为打算引起人们注意,通过视觉辨认的对象的图像,将用于指定该范围的信息转送给作为下一机构的选择机构。
“选择机构”在颜色判断机构的判断结果为规定的颜色信号的场合,将作为该颜色信号的图像的部分,作为使画质提高的范围选择。其原因在于:在颜色信号判断机构的判断结果与规定值保持一致的场合,或在于具有多个规定值时,与任何一个保持一致的场合,识别为打算引起人们注意,通过视觉辨认的对象的图像。此外,规定值也可指定数值,还可具有一定幅度。根据从颜色信号判断机构转送来的,用于指定范围的信息,进行范围的选择。
此后,也可对已选择的范围,进行借助“逐步变化的编码处理参数计算部”的处理。对于逐步变化的编码处理参数计算部的处理,象已描述过的那样,逐步地使量化值变化,对其进行计算,可形成画面整体没有不适感的自然的图像。
另外,使选择范围内部的画质一致性地提高,使围绕选择范围的外侧的图像的画质朝向外侧,逐步地变差的方法对于下述场合特别有效,在该场合,将规定的颜色信号作为肤色,人物的脸为选择范围。其原因在于:在于选择范围以内,逐步地使量化值变化,进行模糊的处理的场合,在进行作为选择范围的人物的脸的中间部为最鲜明,脸的轮廓部分为与背景相同的画质,在选择范围的外侧,逐步地使量化值变化的处理的场合,作为选择范围的人物的整个脸是鲜明的,因为不必注视的脸的外侧的背景部分为逐步地变差的画质。
这一系列的处理是自动地进行的,使用者避免了进行选择时的困难,与烦琐。
还有,选择范围内外的相应小块的编码量分配在各范围,采用了一致的值,但是也可象一般的编码量控制那样,对应小块的复杂程度,进行编码量分配。
(第2实施例)
第2实施例涉及在已确定了传送位速率内对视频信号进行编码处理的图像编码处理装置,其特征在于可选择画面内的任意的范围,相对其它的范围,使作为已选择的选择范围的运动的平滑性的帧速率提高,从选择范围中间,朝向外侧,逐步地使帧速率变化,由此,提供画面整体没有不适感的自然图像。
图7表示本实施例的图像编码处理装置的方框图。在图7中,与第1实施例和其动作相同的方框由与图1相同的方框序号表示。在图7中,其动作与第1实施例不同的方框为逐步变化的编码处理参数计算部712,量化部703,下面对这2个方框的动作进行描述。
在本实施例中,逐步变化的编码处理参数计算部712采用选择范围图,以及已从编码量控制部113输入的帧i的分配编码量Bi,计算从选择范围中间,沿选择范围边界方向,逐步地变化的帧速率的值,该选择范围图表示使通过范围选择部111输入的,使画质提高的范围信息。
逐步变化的编码处理参数计算部712的逐步变化的帧速率的计算步骤经过下述的处理,进行选择范围以外和选择范围以内的小块的编码量分配,根据已分配的编码量,计算逐步变化的帧速率,该下述的处理与第1实施例的逐步变化的编码处理参数计算部112的选择范围以外的小块的分配编码量的计算与选择范围以内的小块的逐步变化的编码量分配相同。
逐步变化的帧速率的计算
逐步变化的编码处理参数计算部712在确定全部小块的分配编码量时,计算下述逐步变化的帧速率,该帧速率的值按照分配编码量,从选择范围中间,朝向外侧变小。
在计算帧速率之前,按照公式2.1,计算帧i的量化值。在公式2.1中,Qi表示帧i的量化值,Bi表示帧i的分配编码量,N表示帧内的小块数量,f(x)与公式1.9相同,表示相对编码量,给出量化值的函数。
数学公式10
Qi=f(Bi/N)        (2.1)
公式2.2表示逐步变化的帧速率的计算方法的1个实例。在公式2.2中,fpsn表示小块n的帧速率,An表示小块n的分配编码量,g(x,q)表示相对编码量x,量化值q,给出帧速率的函数,其具有在编码量x较大,量化值q较大的场合,给出较大的帧速率的性质,其是预先确定的。
数学公式11
fpsn=g(An,Qi)              (2.2)
如果按照公式2.2,计算全部的小块的帧速率,则具有下述特征,即,帧选择范围中间的帧速率较高,伴随不断靠近外侧,帧速率逐步地变小。
逐步变化的编码处理参数计算部712在量化部703,计算表示针对每个小块计算的帧速率的帧速率图,以及量化值。图8表示帧速率图的1个实例。在图8中,各小块中所示的数字表示帧速率。
量化部703采用通过逐步变化的编码处理参数计算部712输入的量化值Qi与帧速率图,对通过DCT部102输入的DCT系数进行量化处理。该量化部703与第1实施例的量化部103不同,其具有帧计数器,参照帧速率图,获得对于每个小块不同的帧速率。
下面对获得在帧内不同的帧速率的方法进行描述。量化部703参照帧速率图,对应于帧速率与输入帧速率相同的小块,照原样,对DCT系数进行量化处理,将该量化DCT系数,输出给VLC部104和逆量化部106。与此相对,针对与输入帧速率不同的帧速率的小块,判断公式2.3是否成立。
即,在公式2.3成立的场合,对DCT系数进行量化处理,但是在不成立的场合,使DCT系数全部为零,将零系数作为量化DCT系数,将其输出给VLC部104和逆量化部106。
在公式2.3中,i表示帧计数器的值,x mod y表示以y除x的余数,fpsinput表示输入帧速率,fpsn表示小块n的帧速率。
数学公式12
[ i mod ( fps input fps n ) ] = 0 - - - ( 2.3 )
如上所述,通过小块的帧速率与帧计数器的值,使DCT系数为零,由此,可在帧内,以仿真方式改变帧速率,量化部703对全部的小块,进行量化处理,然后,使帧计数器的值增加1。
如上所述,由于图像编码处理装置701具有范围选择部,该范围选择部选择画面内的任意的范围;逐步变化的编码处理参数计算部,该逐步变化的编码处理参数计算部计算逐步变化的帧速率,其中相对选择范围,选择范围中间的帧速率较大,朝向外侧,帧速率变小,由此,可增加选择范围中间的帧速率,使运动的平滑性良好。另外,伴随着不断靠近选择范围外侧,帧速率减小,可减小在选择范围边界处,因帧速率的差而产生的不连续性,由此,可提供整体画面没有不适感的自然图像。
再有,本实施例给出了根据选择范围内外的分配编码量,计算相应的帧速率的实例,但是本发明不限于采用分配编码量的场合。特别是在采用低的位速率的图像编码处理中,采用一般编码处理所使用的假想缓冲器的剩余量与慢拍极限值,不对小块或帧进行编码处理,可进行慢拍处理。假想缓冲器指存储图像编码处理装置701所具有的图像的编码处理结果的缓冲器,采用该缓冲器,以便按照传送线路的单位时间的一定比例,将图像的编码处理结果输出给输出部114。图像编码处理装置701设定慢拍的极限值,该慢拍的极限值确定是否按照假想缓冲器的剩余量的大小,对图像进行编码处理。通过进行慢拍处理,其结果是,可改变帧速率。采用该方式,逐步地,相对画面内的各区域,计算假想缓冲器的剩余量的慢拍极限值,将其与每个区域的发生编码量进行比较,针对每个区域,进行慢拍处理。由此,还可从选择范围中间,朝向外侧,逐步地形成慢拍的帧数,形成整个画面没有不适感的图像。
(第3实施例)
第3实施例涉及在已确定了传送位速率内对视频信号进行编码处理的图像编码处理装置,其特征在于可选择画面内的任意的范围,相对其它的范围,使已选择的选择范围的画质提高,从选择范围中间,朝向外侧,逐步地使前置滤波器的特性变化,由此,提供画面整体没有不适感的自然图像。
图9为表示本实施例的图像编码处理装置的方框图。在图9中,与第1实施例和其动作相同的方框由与图1相同的方框序号表示。在图9中,形成图像编码处理装置901的动作方框中的,其动作与第1实施例不同的动作方框为前置滤波部930,以及逐步变化的编码处理参数计算部912,下面对这2个动作方框的动作进行描述。
在本实施例中,逐步变化的编码处理参数计算部912采用选择范围图,以及已从编码量控制部113输入的帧i的分配编码量Bi,计算从选择范围中间,向选择范围边界方向,逐步地变化的前置滤波器的特征值,该选择范围图表示使通过范围选择部111输入的画质提高的范围信息。
逐步变化的编码处理参数计算部912的,逐步变化的前置滤波器的特征值的计算步骤经过下述的处理,进行选择范围内外的小块的编码量分配,根据已分配的编码量,计算逐步变化的前置滤波器的特征值,该下述的处理与第1实施例的逐步变化的编码处理参数计算部112的选择范围外的小块的分配编码量的计算与选择范围内的小块的逐步变化的编码量分配相同。
在本实施例中,前置滤波器采用平滑处理滤波器,该滤波器的特性为平滑处理滤波器的分接抽头数量。即,分接抽头数量M的前置滤波器指由(2M+1)×(2M+1)像素的平均值,代替(2M+1)×(2M+1)像素的中间的像素值的滤波器。但是,前置滤波器不限于平滑处理滤波器,其也可采用任意的滤波器。
公式3.1表示逐步变化的滤波器特性的计算方法。
在公式3.1中,Tn表示相对小块n的前置滤波器的分接抽头数量,An表示小块n的分配编码量,h(x)为相对编码量x,给出分接抽头数量的函数,其为编码量越大,给出的分接抽头数量越小的函数。
数学公式13
Tn=h(An)           (3.1)
按照该公式3.1,针对各小块,计算作为前置滤波器的特性的分接抽头的数量,计算前置滤波器特性图。图10表示前置滤波器特性图的1个实例。
在图10中,各小块内所示的数值分别为前置滤波器的分接抽头的数量,其具有下述特征,即其值越靠近选择范围中间处越小,随着朝向外侧,逐步地增加。另外,逐步变化的编码处理参数计算部912按照公式1.9,计算小块的量化值,将量化值图输出给量化部103,并且将前置滤波器特性图输出给前置滤波部930。
该前置滤波部930采用平滑处理滤波器,对通过图像输入部120输入的原始图像,进行平滑处理,将其输出给减法运算部108,该平滑处理滤波器具有通过逐步变化的编码处理参数计算部912输入的前置滤波器特性图。
在前置滤波部中,采用的平滑处理滤波器的分接抽头的数量越大,则通过前置滤波器削减的图像的高频成份越大,编码处理后所发生的编码量也越小,形成模糊的图像。
如上所述,由于图像编码处理装置901包括范围选择部,该范围选择部选择画面内的任意的范围;逐步变化的编码处理参数计算部,以及前置滤波部,该逐步变化的编码处理参数计算部包括相对选择范围,选择范围中间的前置滤波器的分接抽头的数量较小,朝向外侧,分接抽头的数量较大,形成越靠近选择范围中间处越鲜明的画质,另外形成伴随靠近外侧,逐步模糊的画质,可提供在选择范围边界,画质变差的差较小,整个画面没有不适感的自然图像。
(第4实施例)
第4实施例涉及在已确定了传送位速率内对视频信号进行编码处理的图像编码处理装置,其特征在于该装置包括优先位次输入部,在该优先位次输入部中,使用者可相对选择范围内的编码处理参数,设定优选位次;编码处理参数计算部,该编码处理参数计算部按照已设定的优选位次,使其值从优选位次较低的编码处理参数起变化,在已确定的传送位速率内,进行图像编码处理,提供基于使用者已设定的优先位次的画质的图像。
图11表示本实施例的图像编码处理装置的方框图。在图11中,与第1~3实施例的动作方框和其动作相同的动作方框由与上述动作方框相同的方框序号表示。
在图11中,本实施例中出现的新的动作方框为优先位次输入部1113,以及编码处理参数计算部1112这2个部分,下面对这2个动作方框的动作进行描述。
优先位次输入部1113为对选择范围的编码处理参数,指定优先位次的部分。在本实施例中,作为可指定优先位次的编码处理参数,假定量化值,帧速率,选择范围尺寸这3个参数,优先位次输入部1113涉及选择范围的上述3个编码处理参数,设定优先位次,将已设定的优先位次,输出给编码处理参数计算部1112。
该编码处理参数计算部1112通过借助范围选择部111输入的选择范围图,借助优先位次输入部1113输入的编码处理参数的优先位次,以及借助编码量控制部113输入的帧i的分配编码量Bi,计算选择范围以内的3个编码处理参数,将其输出给量化部703。
下面对编码处理参数计算部112中的,编码处理参数计算方法进行描述。图12表示编码处理参数计算处理的流程。
在图12中,各处理为步骤1201:进行编码处理参数的初始化处理的编码处理参数初始化处理、步骤1202:进行优先位次为第3位的编码处理参数的更新的编码处理参数1的更新处理、步骤1203:结束判断处理、步骤1204:进行优先位次为第2位的编码处理参数的更新的编码处理参数2的更新处理、步骤1205:结束判断处理、步骤1206:进行优先位次为第1位的编码处理参数的更新的编码处理参数3的更新处理。下面对各处理进行具体描述。
步骤1201:编码处理参数初始化处理
在该处理中,采用选择范围图与帧i的分配编码量Bi,设定选择范围内外的编码处理参数的初始值。
公式4.1~4.4表示初始编码处理参数的计算方法。在公式4.1中,QL表示选择范围以外的量化值,f(x)与公式1.9相同,表示计算量化值的函数,Bi表示帧i的分配编码量,abit表示用于减小选择范围以外的分配编码量的系数,其值小于1,N表示1帧内的小块数量。在公式4.2中,Qinit表示选择范围内的块的初始量化值,aq表示下述系数,该系数使选择范围以内的量化值小于其以外的范围,使画质提高。在公式4.3中,fpsL表示选择范围以外的帧速率,g(x)与公式2.2相同,为计算帧速率的函数。在公式4.4中,fpsinit表示选择范围以内的初始帧速率,afps表示用于使选择范围以内的帧速率大于其以外的范围的系数。
数学公式15
QL=f(Bi*abit/N)            (4.1)
Qinit=QL/aq               (4.2)
fpsL=g(Bi*abit/N,QL )    (4.3)
fpsinit=fpsL*afps          (4.4)
如上所述,编码处理参数计算部1112计算选择范围以外的量化值,帧速率,采用各系数,计算选择范围以内的初始量化值,初始帧速率。
作为第3编码处理参数的选择范围的大小的初始值采用从范围选择部111输入的选择范围的值本身。
步骤1202:优先位次为第3位的编码处理参数的更新处理
在该处理中,对优先位次为第3位的编码处理参数进行更新。比如,对优先位次为1.范围的大小,2.量化值,3.帧速率的顺序的场合进行描述。
因此,在该处理中,象满足传送位速率的那样,对选择范围的帧速率,进行更新处理。公式4.5表示更新处理的方法。
在公式4.5中,fpsH表示更新后的帧速率,fpsinit表示初始帧速率,afps表示与公式4.4所示的帧速率有关的系数,j表示更新次数。在公式4.6中,PL表示选择范围以外的预测发生编码量,g-1表示公式2.2的逆函数,其为根据量化值和帧速率,计算小块的预测发生编码量的函数,QL表示选择范围以外的量化值,fpsL表示选择范围以外的帧速率,NL表示选择范围以外的小块数量。在公式4.7中,PH表示选择范围以内的发生编码量,QH表示选择范围以外的量化值,NH表示选择范围以内的小块数量。在公式4.9中,Pi表示整个帧i的预测发生编码量。
另外,公式4.9与公式4.10表示该处理的结束条件。
数学公式16
fps H = fps init * ( 1 - j a fps ) - - - ( 4.5 )
PL=g-1(QL,fpsL)*NL                (4.6)
PH=g-1(QH,fpsH)*NH                (4.7)
Pi=PL+PH                             (4.8)
Pi≤Bi                                 (4.9)
fpsH≤fpsL                             (4.10)
如上所述,在该处理中,按照公式4.5,通过使帧速率为较小的值,进行更新,将公式4.9,或4.10成立时的值作为最终的帧速率,结束处理。
与此相对,在公式4.9和4.10不成立的场合,使公式4.5中的j的值增加,进行帧速率的更新处理,反复进行该处理,直至满足公式4.9,或4.10的结束条件。在以上的处理结束后,采用更新后的帧速率,制作帧速率图。
步骤1203:结束判断处理
在该处理中,进行编码处理参数的计算处理的结束判断。结束判断采用公式4.9进行,以在公式4.9成立的场合,即,预测发生编码量位于分配编码量以内的场合作为结束。与此相对,在公式4.9不成立的场合,进行步骤1204。
步骤1204:优先位次为第2位的编码处理参数更新处理
在该处理中,进行优先位次为第2位的编码处理参数的更新,按照满足传送位速率的方式,抑制编码量。此次,优先位次为第2位的编码处理参数为量化值。
公式4.11和4.12表示量化值的更新方法。在公式4.11中,QH表示更新后的量化值,Qinit表示初始量化值,aq表示与公式4.2中的量化值有关的系数,j表示更新处理的反复次数。
数学公式17
Q H = Q init * ( 1 + j a q ) - - - ( 4.11 )
QH≥QL                            (4.12)
如上所述,在该处理中,按照公式4.11,通过增加量化值,进行更新,以公式4.9,或4.12为真时的值为最终的量化值,结束处理。
与此相对,在公式4.9,或4.12不成立的场合,使公式4.11中的j值增加,进行量化值的更新处理,反复进行该处理,直至满足公式4.9,或4.12的结束条件。在以上的处理结束后,采用更新后的量化值,制作量化值图。
步骤1205:结束判断处理
在该处理中,进行编码处理参数的计算处理的结束判断。结束判断采用公式4.9进行,以公式4.9成立的场合,即,预测发生编码量在分配编码量以内的场合作为结束。与此相对,在公式4.9不成立的场合,进行步骤1206。
步骤1206:优先位次为第1位的编码处理参数更新处理
在该处理中,进行优先位次为第1位的编码处理参数的更新,象满足传送位率那样,抑制编码量。此次,优先位次为第1位的编码处理参数为选择范围的大小,对选择范围图进行更新。公式4.13与公式4.14表示选择范围图的更新方法。
在公式4.13中,Block(k)表示小块k,AreaH表示选择范围以内,dk表示从选择范围的重心,到小块k的距离,aAarea表示用于更新选择范围的大小的系数,j表示该处理的反复次数,D表示从初始选择范围的重心,到最远的小块的距离。在公式4.14中,AreaL表示选择范围以外。在公式4.13和4.14中,x∈y表示x包含在y中。
数学公式18
Block(k)∈AreaH  如果 { 0 &le; d k &le; ( 1 - j a Area ) * D } - - - ( 4.13 )
Block(k)∈AreaL  如果 { d k > ( 1 - j a Area ) * D } - - - ( 4.14 )
采用公式4.13和公式4.14,从外侧,减小选择范围,由此,更新选择范围大小,采用公式4.8,计算更新后的预测发生编码量,在公式4.9成立的场合,结束更新处理。
与此相对,在公式4.9不成立的场合,预测发生编码量不在分配编码量以内,使公式4.13中的j值增加,更新选择范围的大小,反复进行该处理,直至公式4.9成立。
如上所述,在公式4.9成立,预测发生编码量在分配编码量以内的场合,结束处理,采用已更新的选择范围的大小,更新选择范围图。
编码处理参数计算部将经以上的处理而计算出的,帧速率图,量化值图输出给量化部703。
此次,对优先位次为1.范围的大小,2.量化值,3.帧速率的场合进行了描述,但是,该顺序是任意的,改变顺序的处理只改变该参数的更新顺序。
在本实施例中,在图像编码处理装置中,由于使用者针对使画质提高的选择范围的编码处理参数,指定优先位次,按照已指定的优先位次,从优先位次较低的编码处理参数起,改变参数值,进行编码量控制,故相对使用者已设定的优先位次较高的编码处理参数,可保证较高的选择范围的画质。
(第5实施例)
在第5实施例中,对下述编码处理装置进行描述,该编码处理装置涉及图像编码处理装置,其特征在于该装置包括必需位速率计算部,该必需位速率计算部计算传送位速率,其中使用者可针对使画质提高的选择范围,指定要求画质,该传送位速率是对已指定的要求画质进行编码处理所必需的,将必需的传送位速率输出。
图13表示本实施例的图像编码处理装置的方框图。在图13中,图像编码处理装置1301除了第1实施例的图像编码处理装置101的特征以外,其包括必需位速率计算部1330,该必需位速率计算部1330与范围选择部1311和要求画质输入部1340连接,该装置与必需位速率输出部1350连接,对于动作相同的动作方框,由与第1~4实施例中的任何一个的动作方框相同的方框序号表示。
下面对作为本实施例中的新出现的动作方框的必需位速率计算部1330,要求画质输入部1340进行描述。
要求画质输入部1340将使用者针对选择范围,已确定的要求画质,输出给必需编码量计算部1330。
要求画质的指定方法是任意的,但是在本实施例中,采用选择范围的编码处理参数,以及选择范围以外的编码处理参数的比,指定要求画面。比如,假定关于量化值,输入要求画质的场合,将选择范围内外的编码处理参数的比,输出给必需编码量计算部1330。公式5.1表示量化值的比的计算方法,该比表示要求画质。
在公式5.1中,αQ表示选择范围内外的量化值的比,其定义为要求画质参数,QL表示选择范围以外的量化值,QH表示选择范围以内的量化值。
数学公式19
&alpha; Q = Q L Q H - - - ( 5.1 )
如公式5.1所示,要求画质参数表示与选择范围以外相比较,使选择范围以内的画质提高多少。
必需编码量计算部1330采用从范围选择部1311输入的选择范围图,通过要求画质输入部1340输入的要求画质参数,通过编码量控制部113输入的帧i的分配编码量,计算通过要求画质参数对选择范围进行编码处理时的必需位速率,将其输出给必需位速率输出部1350。
公式5.2~5.4表示必需位速率的计算方法。在公式5.2中,QL表示选择范围以外的量化值,f(x)与公式1.9相同,为计算量化值的函数,Bi表示帧i的分配编码量,N表示1帧内的小块数量。在公式5.3中,QH表示选择范围以内的量化值,αQ表示要求画质参数。在公式5.4中,Bitrate表示必需位速率,PL,PH表示通过公式4.6,或4.7计算的选择范围以外,选择范围以内的预测发生编码量,fps表示帧速率。
数学公式20
Q L = f ( B i N ) - - - ( 5.2 )
Q H = Q L &alpha; Q - - - ( 5.3 )
Bitrate=(PL+PH)*fps        (5.4)
位速率计算部1330将按照公式5.4计算的必需位速率,输出给必需位速率输出部1350。
此次,对下述场合进行了描述,在该场合,要求画质输入部1340采用量化值,计算要求画质参数,必需位速率计算部1330采用要求画质参数,计算编码处理时的必需位速率,但是要求画质参数不限于量化值,也可指定为帧速率,或它们的组合。
如此,在本实施例中,由于图像编码处理装置包括使用者可对选择范围,指定要求画质的要求画质输入部;必需位速率计算部,该必需位速率计算部计算实现要求画质所必需的位速率,使用者可了解使选择范围的画质提高所必需的位速率,故使用者可掌握编码处理画质与传送位速率之间的关系,在多个图像共同具有1个频带的场合,从相对各图像,考虑编码处理画质的基础上,可有效地进行位速率分配。
另外,通过公式5.4,计算选择范围内与选择范围外的位速率的总值,但是,可通过分别计算PL*fps与PH*fps,求出,并输出用于对选择范围以内的图像进行编码处理,对其进行传送的位速率,以及用于对选择范围外的图像进行编码处理,对其进行传送的位速率。
(第6实施例)
图15为表示本发明的图像编码处理程序的基本动作的流程图。在步骤1501,作为图像范围输入处理,接受应进行编码处理的图像与图像内的范围的指定。应进行编码处理的图像作为转换为数字信号的静止画的集合的信号而接受。在步骤1501,进行范围选择步骤。范围选择步骤为接受图像内的任意的范围的指定的步骤。“任意”指使本图像编码处理程序动作的使用者可根据图像内的偏好,或根据需要,进行选择的含义。该图像编码处理程序可考虑为下述情况,即,作为图像内的范围的指定,象图3所示的那样,在于步骤1502以对图像进行编码处理的块为最小单位的矩阵中,以设置0与1的数据形式接受。在该矩阵中,形成指定了设置1的部分的范围。另外,将这样的矩阵称为“选择范围图”,将由设置1的方框形成的范围称为“选择范围”。
在步骤1502,作为图像编码处理,对在步骤1501接受的图像进行编码处理。为了进行编码处理,取对在存储于存储器之前进行了编码处理的图像进行解码处理而获得的值的差分,相对该差分,针对每个块,进行DCT转换(离散余弦转换),对其结果,进行量化处理,对量化处理的结果进行编码处理,将其输出。另外,还具有下述场合,即在取差分之前,对输入画面,进行滤波器操作。
“量化处理”指求出通过DCT转换获得的系数的值,为给定的量化值的多少倍的操作,舍去通过量化处理而不满足量化值的部分。
另外,在输出编码处理的结果时,将编码处理的结果存储于称为假想缓冲器的缓冲器中,按照一定时间,以一定的比例将其输出。
在步骤1503,根据通过步骤1502获得的编码处理的结果,进行解码处理,将在步骤1502取差分的图像存储于存储器中。
在步骤1504,判断是否继续进行图像的编码处理,如果继续进行,返回到步骤1501。
作为进行步骤1502中的图像的编码处理的参数,例举相对对图像进行编码处理的块的量化值,帧速率,滤波器的特征值,按照假想缓冲器的剩余量,进行慢拍的极限值,可按照进行编码处理的块单位,使这些参数变化。于是,在于范围选择步骤输入的选择范围与选择范围以外,改变这些参数,相对选择范围以外的画质,使选择范围的画质可提高。通过象这样,改变参数,则可选择打算提高画面内的画质的范围。
另外,由于可自动地识别图像内的对象,使播放特定的对象的范围为上述选择范围,则可使特定的对象的画质提高。
(第7实施例)
第7实施例的图像编码处理程序在作为图像编码处理的步骤的步骤1502中,进行下述逐步变化的编码处理参数计算步骤,即以具有在选择范围逐步地变化的,图像的编码处理所需要的编码处理量的编码处理量作为上限,计算达到最大的逐步变化的编码处理参数,按照该已计算的参数,进行图像的编码处理。
“选择范围”指象第6实施例那样,在由0与1组成的矩阵中,由已指定1的块形成的图像内的范围。另外,“逐步地变化”指相邻的块的形成图像的参数不急剧变化。
图4为说明逐步变化的编码处理参数计算步骤的流程图,其由范围划分步骤401,划分编码量的计算步骤402,剩余编码量的计算步骤403,结束的判断步骤404组成。
范围划分步骤401
在该步骤中,对选择范围进行划分。“划分”指从选择范围的外侧,朝向内侧,将选择范围分为区域。即,首先,选择范围的重心由G表示,选择范围中的第j小块由Block(j)表示。此时,从G,通过Block(j)的中心,向选择范围的边界的方向延长的半直线与选择范围的边界相交叉的点由Vj表示(在所交叉的点具有多个的场合,为最靠近G的点)。选择范围的划分的最大数量由β表示,从步骤401到步骤404的循环中进行步骤401的次数由N表示,此时,如果将所获得的区域定义为第1,第2,第3,...,第N的区域,Block(j)进入第I区域指下述场合,在该场合,当将线段GVj划分为β个长度相等的区间时,从点Vj侧开始数,Block(j)的中心属于第I区间。另外,在于区间的边界点,具有Block(j)的中心的场合,属于靠近点Vj的区间。在下面,第I区域表示为区域I。
分配编码量的计算步骤402
在分配编码量的计算步骤中,分配对选择范围内的块的图像进行编码处理而获得的编码量与对选择范围以外的块的图像进行编码处理而获得的编码量,在该分配后,计算属于在范围划分步骤401获得的区域的块的编码量。为了进行选择范围与选择范围以外的块的编码量的分配,预先确定分配倍率α,分配采用上述公式1.1与公式1.2计算的编码量。另外,AH与AL分别表示在选择范围以内与以外的块中分配的编码量,Bi表示图像i的分配编码量,N表示1帧内的块数量,NH与NL分别表示选择范围以内与以外的块数量。
下面对属于选择范围内的各区域的块的编码量进行分配。为了进行该分配,确定分配到相邻区域的编码量的比率γ,由该比率,通过公式1.5,求出属于相邻区域的块中分配的编码量的差ΔB。在这里,AL指分配到选择范围以外的块中的编码量。另外,根据公式1.6,求出分配到属于区域i的块中的编码量。
剩余编码量的计算步骤403
在剩余编码量的计算步骤,计算在分配编码量的计算步骤402中已分配的选择范围内的编码量与属于各区域的块中分配的编码量,求出它们的差值。即,通过公式1.76,计算差值RHi。AHi指属于区域i的块中分配的编码量,NHi指属于区域i的块数量。
结束的判断步骤404
在结束的判断步骤中,采用已通过剩余编码量的计算步骤403求出的RHi,根据公式1.8是否成立,判断是否结束逐步变化的编码处理参数计算步骤。如果公式1.8成立,则结束剩余编码量的计算步骤,如果不是这样,则在之后,进行范围划分步骤401。
通过以上的步骤401~404,对形成图像的全部块,分配编码量,而根据该编码量,按照公式1.9,计算每个块的量化值,或根据公式2.2,求出帧速率,或者,根据公式3.1,求出滤波器的特征值,或者通过设定假定缓冲器的剩余量的极限值,计算每个块的编码处理参数,随着不断靠近选择范围的中心部,可按照画质自然地提高的方式,进行编码处理。
(第8实施例)
在第8实施例中,图像编码处理程序通过进行优先位次输入步骤与编码处理参数计算步骤,改变选择范围以内和选择范围以外的编码处理参数。
“优先位次输入步骤”指使用者可指定将图像进行编码处理的参数中的,哪个参数按照哪种优先顺序,进行变更的步骤,可考虑为比如,向使用者,显示表示有多个参数名称的画面,按照使用者已输入的字,求出优先顺序。
编码处理参数计算步骤按照在优先位次输入步骤确定的优先顺序,改变选择范围内的图像的编码处理参数。图12表示具有3个所选择的参数的场合的处理的流程的流程图,在步骤1201,求出参数的值的初始值。在步骤1202,进行优先位次最低的参数的变更操作。在步骤1203,对优先位次为第2位的参数是否可改变进行判断,如果可改变,则进行步骤1204,如果不是这样,则结束。在步骤1204,改变优先位次为第2位的参数,在步骤1205,判断优先位次为第1位的参数是否可改变,如果可改变,之后进行步骤1206,如果不是这样,则结束。在步骤1206,改变优先位次为第1位的参数。
下面对下述场合进行描述,在该场合,优先位次为第1位的参数为选择范围的大小,优先位次为第2位的参数为量化值,优先位次为第3位的参数为帧速率。
步骤1201:编码处理参数的初始值处理
在步骤1201,采用选择范围图与图像i的分配编码量Bi,设定选择内外的编码处理参数的初始值。
上述公式4.1~4.4表示初始编码处理参数的计算方法。在公式4.1中,QL表示选择范围以外的量化值,f(x)与公式1.9相同,为计算量化值的函数,Bi表示帧i的分配编码量,abit表示用于减小选择范围以外的分配编码量的系数,其值小于1,N表示1帧内的小块数量。在公式4.2中,Qinit表示选择范围以内的块的初始量化值,aq表示下述系数,该系数用于使选择范围以内的量化值小于其以外的范围,使画质提高。在公式4.3中,fpsL表示选择范围以外的帧速率,g(x)与公式2.2相同,为计算帧速率的函数。在公式4.4中,fpsinit表示选择范围以内的初始帧速率,afps表示用于使选择范围以内的帧速率大于其以外的范围的系数。
步骤1202:优先位次为第3位的编码参数的变更
在步骤1202,按照满足传送位速率的方式,对选择范围的帧速率,进行更新处理。上述公式4.5表示更新处理的方法。
在公式4.5中,fpsH表示更新后的帧速率,fpsinit表示初始帧速率,afps表示与公式4.4所示的帧速率有关的系数,j表示更新次数。在公式4.6中,PL表示选择范围以外的预测发生编码量,g-1表示公式2.2的逆函数,其为根据量化值和帧速率,计算小块的预测发生编码量的函数,QL表示选择范围以外的量化值,fpsL表示选择范围以外的帧速率,NL表示选择范围以外的小块数量。在公式4.7中,PH表示选择范围以内的发生编码量,QH表示选择范围以外的量化值,NH表示选择范围以内的小块数量。在公式4.9中,Pi表示整个帧i的预测发生编码量。
再有,公式4.9与公式4.10表示该处理的结束条件,如果公式4.9或公式4.10成立,则结束该步骤,如果不是这样,则反复进行下述过程,即,使j的值增加1,按照公式4.5,更新帧速率,对公式4.9与公式4.10是否成立进行分析。
步骤1203:结束判断处理
在该处理中,进行编码处理参数的计算处理的结束判断。该结束判断采用公式4.9进行,以公式4.9成立的场合,即,预测发生编码量在分配编码量之内的场合作为结束。与此相对,在公式4.9不成立的场合,进行步骤1204。
步骤1204:优先位次为第2位的参数更新
在步骤1204,进行优先位次为第2位的编码处理参数的更新,按照满足传送位速率的方式,抑制编码量。
优先位次为第2位的编码处理参数为量化值,公式4.11和4.12表示量化值的更新方法。在公式4.11中,QH表示更新后的量化值,Qinit表示初始量化值,aq表示与公式4.2中的量化值有关的系数,j表示在步骤1204中的更新处理的反复次数。即,使j的值增加,通过公式4.11进行计算,直至公式4.9,公式4.12成立。
步骤1205:结束判断处理
在步骤1205,进行已改变优先位次为第2位的参数的阶段的结束判断。在结束判断中,采用公式4.9,在该公式4.9成立的场合,则结束,如果不是这样,则为了更新优先位次为第1位的参数,进行步骤1206。
步骤1206:优先位次为第1位的参数的更新
在步骤1206,进行优先位次为第1位的编码处理参数的更新,按照满足传送位速率的方式,抑制编码量。在目前的场合,优先位次为第1位的参数为选择范围的大小,按照选择范围的大小减小的方式,进行更新。
在公式4.13中,Block(k)表示小块k,AreaH表示选择范围以内,dk表示从选择范围的重心,到小块k的距离,aArea表示用于更新选择范围的大小的系数,j表示该处理的反复次数,D表示从初始选择范围的重心,到最远的小块的距离。在公式4.14中,AreaL表示选择范围以外。在公式4.13和4.14中,x∈y表示x包含在y中。
在如上所述,减小选择范围后,按照公式4.8,求出必需的编码量,分析公式4.9是否成立,反复进行减小选择范围的大小的步骤,直至公式4.9成立。
如上所述,结束判断根据是否满足编码量已确定的编码量的关系式4.9而进行,但是参数的优先位次不限于上述情况。
在本实施例中,在图像编码处理程序中,由于使用者针对使画质提高的选择范围的编码处理参数,指定优先位次,按照已指定的优先位次,从优先位次较低的编码处理参数起,改变参数值,进行编码量控制,故可相对使用者已设定的优先位次较高的编码处理参数,可确保较高的选择范围的画质。
(第9实施例)
在第9实施例中,在图像编码处理程序中,进行要求画质输入步骤,该要求画质输入步骤用于使用者针对使画质提高的选择范围,指定要求画质;必需位速率计算步骤,该必需位速率计算步骤计算对已指定的要求画质进行编码处理所必需的传送位速率。
在画质输入步骤中,图像编码处理程序向使用者,显示输入对选择范围与选择范围以外的图像进行编码处理的参数的差值的画面,读取该输入值。比如,可考虑输入对选择范围与选择范围以外的图像进行编码处理时的量化值的比。当该量化值的比由αQ表示时,则选择范围内的量化值QH与选择范围以外的量化值QL处于公式5.1所示的关系。
于是,在必需位速率计算步骤中,在公式5.2中,计算QL,采用量化值,通过公式5.3,求出QH,计算通过公式4.6与公式4.7求出的编码量,采用帧速率fps,通过公式5.4,求出位速率,将其输出。
在上面描述中,位速率是根据量化值的比求出的,但是显然知道,如果确定量化值,则也可根据帧速率比,求出位速率。
如上所述,在本实施例中,在图像编码处理程序中,由于进行要求画质输入步骤,在该要求画质输入步骤中,使用者可针对选择范围,指定要求画质;必需位速率计算步骤,该必需位速率计算步骤计算用于实现要求画质用的必需位速率,使用者可知道使选择范围的画质提高所必需的位速率,故使用者可掌握编码处理画质与传送位速率之间的关系,在多个图像共同具有1个频带的场合,从针对各图像,考虑编码处理画质的基础上,可有效地进行位速率分配。
还有,按照公式5.4,计算选择范围以内与选择范围以外的位速率的总和,但是可通过分别计算PL*fps与PH*fps,求出用于对选择范围以内的图像进行编码处理,对其进行传送的位速率,以及用于对选择范围以外的图像进行编码处理,对其传送的位速率,将上述位速率输出。

Claims (13)

1.一种图像编码处理装置,该图像编码处理装置对视频信号进行编码处理,其特征在于,该装置具有:
范围选择部,该范围选择部选择图像内的任意范围作为选择范围;
逐步变化的编码处理参数计算部,该逐步变化的编码处理参数计算部在上述选择范围内自动地计算逐步变化的编码处理参数的值,该值是逐步变化的编码处理参数;
该图像编码处理装置将通过上述范围选择部选择的所述选择范围的编码处理参数,改变为与所述选择范围以外的范围的编码处理参数的值不同的值。
2.根据权利要求1所述的图像编码处理装置,其特征在于,还包括编码量控制部,该编码量控制部计算出应该分配给上述选择范围的编码处理量,上述逐步变化的编码处理参数计算部,按照上述选择范围的图像进行编码处理时的编码处理量作为上述编码处理量控制部计算出的编码处理量的方式,计算出逐步变化的编码处理参数的值。
3.根据权利要求1所述的图像编码处理装置,其特征在于该范围选择部为范围自动选择部,该范围自动选择部在图像内,自动地识别、选择使画质提高的范围。
4.根据权利要求3所述的图像编码处理装置,其特征在于:
上述范围自动选择部包括:
运动值检测机构,该运动值检测机构检测作为图像的运动的大小的运动值;
运动值判断机构,该运动值判断机构判断通过运动值检测机构检测到的运动值本身是否大于规定值;
选择机构,该选择机构在运动值判断机构的判断结果大于规定值的场合,将按照运动值运动的图像的部分作为使画质提高的范围选择。
5.根据权利要求3所述的图像编码处理装置,该装置包括范围自动选择部,其特征在于:
上述范围自动选择部包括:
颜色信号检测机构,该颜色信号检测机构检测作为图像的颜色的颜色信号;
颜色信号判断机构,该颜色信号判断机构对通过上述颜色信号检测机构检测到的颜色信号是否为规定的颜色信号进行判断;
选择机构,该选择机构在颜色信号判断机构的判断结果为规定的颜色信号的场合,将作为该颜色信号的图像的部分,作为使画质提高的范围选择。
6.根据权利要求1~4中的任何一项所述的图像编码处理装置,其特征在于在上述选择范围改变的编码处理参数的值为量化值。
7.根据权利要求1~5中的任何一项所述的图像编码处理装置,其特征在于在上述选择范围改变的编码处理参数的值为帧速率。
8.根据权利要求1~5中的任何一项所述的图像编码处理装置,其特征在于在上述选择范围改变的编码处理参数的值为前置滤波器的特征值。
9.根据权利要求1~5中的任何一项所述的图像编码处理装置,其特征在于在上述选择范围改变的编码处理参数为慢拍极限值,该慢拍极限值在确定是否进行编码处理的慢拍判断中使用。
10.根据权利要求1所述的图像编码处理装置,其特征在于该装置包括优先位次输入部,该优先位次输入部可相对在上述选择范围中改变的多个编码参数,设定表示改变参数的值时改变的优先位次,另外该装置具有编码处理参数计算部,该编码处理参数计算部按照已设定的优先位次,从优先位次较低的编码处理参数的种类起使其值变化,在预先确定的传送位速率内进行图像编码处理。
11.根据权利要求10所述的图像编码处理装置,其特征在于上述编码处理参数包括选择范围的大小,或选择范围的量化值,或选择范围的帧速率中的任何一个。
12.根据权利要求1所述的图像编码处理装置,其特征在于该装置包括要求画面输入部,在该要求画面输入部中,使用者可根据上述选择范围和上述选择范围以外的的范围的参数的不同,指定对图像信号进行编码处理、传送时的要求画质,另外该装置包括必需位速率计算部,该必需位速率计算部计算按照已指定的要求画质进行编码处理所必需的传送位速率,并且输出必需的传送位速率。
13.根据权利要求12所述的图像编码处理装置,其特征在于上述必需位速率计算部对下述两个传送位速率进行区分,并将它们输出,该两个传送位速率指对上述选择范围的图像进行编码处理,并进行传送所必需的传送位速率,以及对上述选择范围以外的范围的图像进行编码处理,并进行传送所必需的传送位速率。
CNB021087059A 2001-03-29 2002-03-29 图像编码处理装置 Expired - Fee Related CN1251515C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP094838/01 2001-03-29
JP2001094838A JP2002300581A (ja) 2001-03-29 2001-03-29 映像符号化装置、及び映像符号化プログラム

Publications (2)

Publication Number Publication Date
CN1379592A CN1379592A (zh) 2002-11-13
CN1251515C true CN1251515C (zh) 2006-04-12

Family

ID=18948976

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB021087059A Expired - Fee Related CN1251515C (zh) 2001-03-29 2002-03-29 图像编码处理装置

Country Status (5)

Country Link
US (1) US7305135B2 (zh)
EP (1) EP1248470A3 (zh)
JP (1) JP2002300581A (zh)
KR (1) KR20020077093A (zh)
CN (1) CN1251515C (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100475604B1 (ko) 2001-03-09 2005-03-10 엘지전자 주식회사 재생전용 광디스크와, 그 재생전용 광디스크 장치에서의재생방법
US7724972B2 (en) 2005-03-01 2010-05-25 Qualcomm Incorporated Quality metric-biased region-of-interest coding for video telephony
US8768084B2 (en) * 2005-03-01 2014-07-01 Qualcomm Incorporated Region-of-interest coding in video telephony using RHO domain bit allocation
US8693537B2 (en) * 2005-03-01 2014-04-08 Qualcomm Incorporated Region-of-interest coding with background skipping for video telephony
JP5123472B2 (ja) * 2005-03-09 2013-01-23 京セラ株式会社 携帯情報端末
CN101164336B (zh) * 2005-04-22 2010-06-23 松下电器产业株式会社 影像信息记录装置以及影像信息记录方法
GB2438006A (en) * 2006-05-09 2007-11-14 Tandberg Television Asa Adaptive quantisation for border processing
GB2442256A (en) * 2006-09-28 2008-04-02 Tandberg Television Asa Position-dependent spatial filtering
JP2008193410A (ja) * 2007-02-05 2008-08-21 Matsushita Electric Ind Co Ltd 画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム
US20080187291A1 (en) * 2007-02-05 2008-08-07 Microsoft Corporation Prioritization for video acquisition
US20080285645A1 (en) * 2007-05-17 2008-11-20 Tandberg Television Asa Adaptive border processing
JP5018332B2 (ja) * 2007-08-17 2012-09-05 ソニー株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP5176228B2 (ja) * 2008-03-04 2013-04-03 株式会社メガチップス エンコーダ
US9160914B2 (en) * 2011-06-28 2015-10-13 Inview Technology Corporation User control of the visual performance of a compressive imaging system
US10205953B2 (en) 2012-01-26 2019-02-12 Apple Inc. Object detection informed encoding
US9094681B1 (en) * 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US20130279570A1 (en) * 2012-04-18 2013-10-24 Vixs Systems, Inc. Video processing system with pattern detection and methods for use therewith
GB201312382D0 (en) 2013-07-10 2013-08-21 Microsoft Corp Region-of-interest aware video coding
WO2015055093A1 (en) * 2013-10-17 2015-04-23 Mediatek Inc. Data processing apparatus for transmitting/receiving compressed pixel data groups of picture and indication information of pixel data grouping setting and related data processing method
EP3475880A4 (en) * 2016-06-23 2020-02-26 Capital One Services, LLC SYSTEM AND METHOD FOR AUTOMATIC DETECTION OF OBJECT DETECTION
US11212537B2 (en) * 2019-03-28 2021-12-28 Advanced Micro Devices, Inc. Side information for video data transmission
JP7362903B2 (ja) 2020-03-30 2023-10-17 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像表示システム、および画像データ転送方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0630402A (ja) 1992-07-13 1994-02-04 Canon Inc 画像符号化装置
US5402146A (en) * 1992-10-23 1995-03-28 International Business Machines Corporation System and method for video compression with artifact dispersion control
JPH0746553A (ja) 1993-07-30 1995-02-14 Canon Inc 画像通信装置及びシステム
US5422963A (en) * 1993-10-15 1995-06-06 At&T Corp. Block transform coder for arbitrarily shaped image segments
GB2342525B (en) * 1995-10-30 2000-06-28 Sony Uk Ltd Image quantisation based on image activity
US6456328B1 (en) 1996-12-18 2002-09-24 Lucent Technologies Inc. Object-oriented adaptive prefilter for low bit-rate video systems
US6384862B1 (en) * 1997-03-12 2002-05-07 Telefoaktiebolaget L M Ericsson Imaging system and method for interactive control of image quality
JP3803476B2 (ja) * 1997-11-05 2006-08-02 Necエンジニアリング株式会社 画像伝送システム及び画像符号化装置
US6094631A (en) * 1998-07-09 2000-07-25 Winbond Electronics Corp. Method of signal compression
US6256423B1 (en) 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
GB9912079D0 (en) * 1999-05-24 1999-07-21 Motorola Ltd An image encoding method and apparatus
US6718066B1 (en) * 2000-08-14 2004-04-06 The Hong Kong University Of Science And Technology Method and apparatus for coding an image object of arbitrary shape
US7027655B2 (en) * 2001-03-29 2006-04-11 Electronics For Imaging, Inc. Digital image compression with spatially varying quality levels determined by identifying areas of interest

Also Published As

Publication number Publication date
EP1248470A2 (en) 2002-10-09
CN1379592A (zh) 2002-11-13
JP2002300581A (ja) 2002-10-11
KR20020077093A (ko) 2002-10-11
US7305135B2 (en) 2007-12-04
EP1248470A3 (en) 2004-11-17
US20020172426A1 (en) 2002-11-21

Similar Documents

Publication Publication Date Title
CN1251515C (zh) 图像编码处理装置
CN1159916C (zh) 活动图象编码装置及其方法
CN1297148C (zh) 动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序
CN1251518C (zh) 数字信号转换方法和数字信号转换装置
CN1114887C (zh) 图像合成方法和图像合成装置
CN1160967C (zh) 图像编码设备和图像解码设备
CN1299560A (zh) 图像编码方法、图像编码译码方法、图像编码装置或图像记录再生装置
CN1335724A (zh) 编码装置和编码方法
CN1537384A (zh) 用于子像素值内插的方法
CN101039421A (zh) 在编解码中的实现量化的方法和装置
CN1701616A (zh) 图像信息编码装置和方法,以及图像信息解码装置和方法
CN1237067A (zh) 图象编码和解码装置、方法及数据存储媒体
CN1700255A (zh) 图像发送装置、图像接收装置以及图像传送系统
CN1744720A (zh) 可变长度解码装置
CN101052119A (zh) 视频点播的控制方法、装置及应用
CN1278549C (zh) 声像再现装置和声像再现方法
CN1898965A (zh) 运动图象编码方法和装置
CN1300505A (zh) 固体彩色摄像装置
CN1647524A (zh) 图像变换装置和图像变换方法
CN1925597A (zh) 图像处理设备、图像处理方法及程序
CN1723702A (zh) 数据处理装置
CN1574944A (zh) 动态图像解码装置
CN1288641A (zh) 视频信号编码方法、视频信号编码装置及程序记录媒体
CN1163076C (zh) 图像编码装置和图像编码方法及图像解码装置和图像解码方法
CN1364033A (zh) 动态图像信息的高性能编码压缩系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
CI01 Correction of invention patent gazette

Correction item: inventor

Correct: Omiya Daisaku

False: Komiya Daisaku

Number: 46

Page: 166

Volume: 18

CI02 Correction of invention patent application

Correction item: inventor

Correct: Omiya Daisaku

False: Komiya Daisaku

Number: 46

Page: The title page

Volume: 18

COR Change of bibliographic data

Free format text: CORRECT: [72]INVENTOR; FROM: DAISAKU OKAN TO: DAISAKU KOMIYA

ERR Gazette correction

Free format text: CORRECT: [72]INVENTOR; FROM: DAISAKU OKAN TO: DAISAKU KOMIYA

CI01 Correction of invention patent gazette

Correction item: Inventor

Correct: Omiya Daisaku

False: Komiya Daisaku

Number: 46

Page: 166

Volume: 18

CI02 Correction of invention patent application

Correction item: Inventor

Correct: Omiya Daisaku

False: Komiya Daisaku

Number: 46

Page: The title page

Volume: 18

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: DAISAKU OKAN TO: DAISAKU KOMIYA

ERR Gazette correction

Free format text: CORRECT: INVENTOR; FROM: DAISAKU OKAN TO: DAISAKU KOMIYA

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060412

Termination date: 20100329