CN102077596A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN102077596A
CN102077596A CN2009801253546A CN200980125354A CN102077596A CN 102077596 A CN102077596 A CN 102077596A CN 2009801253546 A CN2009801253546 A CN 2009801253546A CN 200980125354 A CN200980125354 A CN 200980125354A CN 102077596 A CN102077596 A CN 102077596A
Authority
CN
China
Prior art keywords
motion vector
information
object block
prediction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801253546A
Other languages
English (en)
Inventor
佐藤数史
矢崎阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102077596A publication Critical patent/CN102077596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种能抑制压缩效率劣化的图像处理设备和图像处理方法。模板运动预测/补偿部分76基于从重排屏幕缓存器62取得的将经过帧间编码的图像与经由开关73从帧存储器72提供的基准图像在帧间模板预测模式下以整像素为单位执行运动预测/补偿处理。分像素精度运动预测/补偿部分77基于从重排屏幕缓存器62取得的将经过帧间编码的图像和经由开关73从帧存储器72提供的基准图像在帧间模板预测模式下以分像素为单位执行运动预测/补偿处理。图像处理设备和图像处理方法例如可以应用到用于以H.264/AVC标准对图像进行编码的图像编码设备。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及图像处理设备和图像处理方法，尤其涉及能防止压缩效率降低的图像处理设备和图像处理方法。
背景技术
近年来，已经广泛使用利用压缩编码方法如MPEG(运动图像专家组)2或H.264和MPEG-4 Part 10(高级视频编码)(下文称为“H.264/AVC”)对图像进行压缩编码、对图像进行打包并且在接收端对图像进行解码的技术。由此，用户可以观看高质量运动图像。
另外，在MPEG 2标准中，使用线性内插处理执行具有1/2像素精度的运动预测/补偿处理。相反，在H.264/AVC标准中，使用6抽头FIR(有限脉冲响应滤波器)执行具有1/4像素精度的运动预测/补偿处理。
而且，在MPEG 2标准中，在帧运动补偿模式情况下，以16×16像素执行运动预测/补偿处理。然而，在场效运动补偿模式的情况下，以16×8像素针对各个第一和第二场执行运动预测/运动补偿处理。
相反，在H.264/AVC标准中，可以以可变块大小执行运动预测/补偿处理。即，在H.264/AVC标准中，包括16×16像素的宏块被分成16×16分割单元、16×8分割单元、8×16分割单元和8×8分割单元中的一个。各个分割单元可以具有独立的运动矢量信息。另外，8×8分割单元可以被分成8×8子分割单元、8×4子分割单元、4×8子分割单元和4×4子分割单元中的一个。各个子分割单元可以具有独立的运动矢量信息。
然而，在H.264/AVC标准中，在以可变块大小执行具有1/4像素精度的上述运动预测/补偿处理时，不利地生成数量庞大的运动矢量信息项。如果直接对这些运动矢量信息项进行编码，则编码效率降低。
因此，已经提出了这样一种技术，在编码图像内搜索与模板区域的解码图像高度相关的图像区域，所述图像区域作为所述解码图像一部分并且邻接待解码的区域的图像，同时保持预定位置关系，并且基于搜索区域和预定位置关系执行预测(参考PTL 1)。
在此方法中，使用解码图像用于匹配。因此，通过预定搜索范围，可以在编码设备和解码设备中执行相同处理。即，通过在解码设备中执行上述预测/补偿处理，运动矢量信息无需包含在从编码设备接收的图像压缩信息中。因此，可以防止编码效率的降低。
引用列表
专利文献
PTL 1：日本未审查专利申请公开No.2007-43651
发明内容
然而，如果将PTL 1中所述的技术应用到具有分像素精度的预测/补偿处理，则由于没有使用待编码图像区域的像素值并且用于匹配的像素值的数量小所以预测性能(残差)降低。结果，即使不需要运动矢量，编码效率也可能降低。
因此，本发明意在防止编码效率降低。
根据本发明的一个方面，图像处理设备包括：解码单元，其配置成对编码运动矢量信息进行解码；第一运动预测和补偿单元，其配置成针对帧的第一目标块通过使用以预定位置关系相邻于第一目标块并且从解码图像生成的模板搜索运动矢量来生成具有整像素精度的预测图像；以及第二运动预测和补偿单元，其配置成使用解码单元解码的第一目标块的分像素精度运动矢量信息来生成具有分像素精度的预测图像。
所述第二运动预测和补偿单元可以使用相邻于第一目标块并已经过编码的相邻块的运动矢量信息来生成分像素精度运动矢量的预测值。
所述第二运动预测和补偿单元可以生成不同于所述帧的编码帧的协同定位块和相邻于所述协同定位块的块的运动矢量信息，或者使用所述协同定位块和相邻块的运动矢量信息生成分像素精度运动矢量的预测值，其中所述协同定位块位于与第一目标块对应的位置。
图像处理设备可以进一步包括：第三运动预测和补偿单元，其配置成使用所述帧的第二目标块搜索第二目标块的运动矢量；以及图像选择单元，其配置成从基于第一运动预测和补偿单元或第二运动预测和补偿单元搜索到的运动矢量的预测图像和基于第三运动预测和补偿单元搜索到的运动矢量的预测图像中选择一个。
根据本发明的另一方面，提供了一种用于图像处理设备的图像处理方法。所述方法包括步骤：对编码运动矢量信息进行解码；针对帧的目标块通过使用以预定位置关系相邻于目标块并且从解码图像生成的模板搜索运动矢量来生成具有整像素精度的预测图像；以及使用经过解码的目标块的分像素精度运动矢量生成具有分像素精度的预测图像。
根据本发明的另一方面，图像处理设备包括：第一运动预测和补偿单元，其配置成使用以预定位置关系相邻于第一目标块并且从解码图像生成的模板搜索帧的第一目标块的整像素精度运动矢量；第二运动预测和补偿单元，其配置成使用第一目标块搜索所述第一目标块的分像素精度运动矢量；以及编码单元，其配置成将所述第二运动预测和补偿单元搜索到的分像素精度运动矢量的信息编码为所述第一目标块的运动矢量的信息。
所述第二运动预测和补偿单元可以使用相邻于所述第一目标块并已经过编码的相邻块的运动矢量信息生成分像素精度运动矢量的预测值，并且所述编码单元可以将分像素精度运动矢量的信息和所述预测值之间的差编码为所述第一目标块的运动矢量信息。
所述第二运动预测和补偿单元可以生成不同于所述帧的编码帧的协同定位块和相邻于所述协同定位块的块的运动矢量信息，或者使用所述协同定位块和相邻块的运动矢量信息生成分像素精度运动矢量的预测值，所述协同定位块位于与所述第一目标块对应的位置，并且所述编码单元将分像素精度运动矢量的信息与所述预测值之间的差编码为所述第一目标块的运动矢量信息。
在所述第一目标块的大小为16×16像素的大小时如果分像素精度运动矢量的预测值为0并且所有正交变换系数为0，则所述编码单元可以仅将指示所述第一目标块为模板跳转块的标记编码为所述第一目标块的运动矢量信息。
图像处理设备可以进一步包括：第三运动预测和补偿单元，其配置成使用所述帧的第二目标块搜索第二目标块的运动矢量；以及图像选择单元，其配置成从基于第一运动预测和补偿单元或第二运动预测和补偿单元搜索到的运动矢量的预测图像和基于第三运动预测和补偿单元搜索到的运动矢量的预测图像中选择一个。
在执行算术编码时，所述编码单元可以针对作为第一和第二运动预测和补偿单元的目标的第一目标块定义第一背景以及针对作为第三运动预测和补偿单元的目标的第二目标块定义第二背景，并且所述编码单元可以使用所述第一背景对所述第一目标块的运动矢量的信息进行编码以及使用所述第二背景对所述第二目标块的运动矢量的信息进行编码。
在执行算术编码时，所述编码单元可以定义一个背景，并且所述编码单元可以使用所述背景对所述第一目标块的运动矢量的信息和与所述第二目标块的运动矢量的信息进行编码。
在执行算术编码时，所述编码单元可以针对具有整像素精度的运动矢量的信息定义第一背景以及针对分像素精度运动矢量的信息定义第二背景。所述编码单元可以使用所述第二背景对所述第一目标块的运动矢量的信息中的分像素精度运动矢量的信息进行编码，并且所述编码单元可以使用所述第一背景对所述第二目标块的运动矢量的信息中的具有整像素精度的运动矢量的信息进行编码并且使用所述第二背景对具有分像素精度的运动矢量的信息进行编码。
根据本发明的又一方面，提供了一种用于图像处理设备的图像处理方法。所述方法包括步骤：使用以预定位置关系相邻于目标块并且从解码图像生成的模板搜索帧的目标块的整像素精度运动矢量；使用所述目标块搜索所述目标块的分像素精度运动矢量；以及将搜索到的分像素精度运动矢量的信息编码为所述目标块的运动矢量的信息。
根据本发明的一个方面，对编码运动矢量信息进行解码。另外，针对帧的第一目标块通过使用以预定位置关系相邻于第一目标块并且从解码图像生成的模板搜索运动矢量来生成具有整像素精度的预测图像，并且使用经过解码单元解码的第一目标块的分像素精度运动矢量生成具有分像素精度的预测图像。
根据本发明的另一方面，使用以预定位置关系相邻于目标块并且从解码图像生成的模板搜索帧的目标块的整像素精度运动矢量。另外，使用目标块搜索目标块的分像素精度运动矢量。而且，将搜索到的分像素精度运动矢量的信息编码为目标块的运动矢量的信息。
如上所述，根据本发明的一方面，可以对图像进行解码。另外，根据本发明的一方面，可以防止压缩效率的降低。
根据本发明的另一方面，可以对图像进行编码。另外，根据本发明的一方面，可以防止压缩效率的降低。
附图说明
图1是根据本发明实施例的图像编码设备的结构框图。
图2图示了长度可变块的运动预测/补偿处理。
图3图示了具有1/4像素精度的运动预测/补偿处理。
图4是图示了根据一个实施例的图1所示的无损编码单元66的结构的框图。
图5图示了图4所示的背景建模单元91所执行的处理。
图6图示了图4所示的二元化单元92的表格的示例。
图7是图示了图1所示的图像编码设备所执行的编码处理的流程图。
图8是图示了图7所示的步骤S21中所执行的预测处理的流程图。
图9是图示了图8所示的步骤S31中所执行的帧内预测处理的流程图。
图10图示了帧内预测的方向。
图11图示了帧内预测。
图12是图示了图8所示的步骤S32中所执行的帧间运动预测处理的流程图。
图13图示了用于生成运动矢量信息的方法示例。
图14图示了用于生成运动矢量信息的方法示例。
图15是图示了图8所示的步骤S33中所执行的帧间模板运动预测处理的流程图。
图16图示了帧间模板匹配方法。
图17是图示了图15所示的步骤S74中所执行的模板跳转确定处理的流程图。
图18是根据本发明实施例的图像解码设备的结构框图。
图19是图示了图18所示的图像解码设备所执行的解码处理的流程图。
图20是图示了图19所示的步骤S138中所执行的预测处理的流程图。
具体实施方式
下文参考附图描述本发明的实施例。
图1图示了根据本发明实施例的图像编码设备的结构。图像编码设备51包括A/D转换单元61、重排屏幕缓存器62、计算单元63、正交变换单元64、量化器单元65、无损编码单元66、积累缓存器67、反量化器单元68、反正交变换单元69、计算单元70、去块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元75、模板运动预测/补偿单元76、分像素精度运动预测/补偿单元77、预测图像选择单元78和速率控制单元79。
图像编码设备51例如使用H.264和MPEG-4 Part 10(高级视频编码)(下文称为“H.264/AVC”)标准对图像进行压缩编码。
在H.264/AVC标准中，使用可变块大小执行运动预测/补偿。即，如图2所示，在H.264/AVC标准中，包括16×16像素的宏块被分成16×16分割单元、16×8分割单元、8×16分割单元和8×8分割单元中的一个。各个分割单元可以具有独立的运动矢量信息。另外，如图2所示，8×8分割单元可以被分成8×8子分割单元、8×4子分割单元、4×8子分割单元和4×4子分割单元中的一个。各个子分割单元可以具有独立的运动矢量信息。
另外，在H.264/AVC标准中，使用6抽头FIR(有限脉冲响应滤波器)执行具有1/4像素精度的运动预测和补偿处理。接下来参考图3描述在H.264/AVC标准下的具有分像素精度的预测/补偿处理。
在图3所示的示例中，位置A代表整数精度像素的位置，位置b、c和d代表1/2像素精度像素的位置，而位置e1、e2和e3代表1/4像素精度像素的位置。在以下描述中，Clip()定义如下。
[数学式1]
Figure BPA00001283985000061
注意，在输入图像为具有8位精度的图像时，max_pix的值为255。
使用6抽头FIR滤波器如下生成位置b和d处的像素值：
[数学式2]
F＝A-2-5·A-1+20·A0+20·A1-5·A2+A3
b，d＝Clip1((F+16)＞＞5)                   (2)
在水平方向和垂直方向使用6抽头FIR滤波器如下生成位置c处的像素值：
[数学式3]
F＝b-2-5·b-1+20·b0+20·b1-5·b2+b3
或者
F＝d-2-5·d-1+20·d0+20·d1-5·d2+d3
c＝Clip1((F+512)＞＞10)                    (3)
注意，在执行水平方向上的求积和运算与垂直方向上的求积和运算之后，仅执行一次Clip处理。
使用线性内插如下生成位置e1到e3：
[数学式4]
e1＝(A+b+1)＞＞1
e2＝(b+d+1)＞＞1
e3＝(b+c+1)＞＞1          (4)
返回参考图1，A/D转换单元61对输入图像进行A/D转换并且将结果输出到存储结果的重排屏幕缓存器62。其后，重排屏幕缓存器62根据GOP(图像组)对按照帧图像所存储的顺序布置的帧图像进行重排从而按照帧将被编码的顺序来布置图像。
计算单元63从读取自重排屏幕缓存器62的图像减去从帧内预测单元74接收并且由预测图像选择单元78所选择的预测图像或者从运动预测/补偿单元75接收的预测图像。其后，计算单元63把差分信息输出到正交变换单元64。正交变换单元64对从计算单元63接收的差分信息执行正交变换，如离散余弦变换或卡南-洛伊夫变换，并且输出变换系数。量化器单元65对从正交变换单元64输出的变换系数进行量化。
将从量化器单元65输出的经过量化的变换系数输入到无损编码单元66。无损编码单元66执行无损编码，如可变长编码或算术编码。由此，经过量化的变换系数被压缩。
无损编码单元66从帧内预测单元74获得有关帧内预测的信息并且从运动预测/补偿单元75获得有关帧间预测和模板间预测的信息。无损编码单元66对经过量化的变换系统进行编码。另外，无损编码单元66对有关帧内预测的信息和有关帧间预测和模板间预测的信息进行编码。经过编码的信息用作头信息的一部分。无损编码单元66把经过编码的信息提供到对编码数据进行积累的积累缓存器67。
例如，在无损编码单元66中，执行无损编码处理，如可变长编码(例如，H.264/AVC标准定义的CAVLC(上下文自适应可变长编码))或者算术编码(例如，CABAC(上下文自适应二进制算术编码))。下文描述CABAC编码方法。
图4图示了执行CABAC编码的无损编码单元66的结构示例。在图4所示的示例中，无损编码单元66包括背景建模单元91、二元化单元92和自适应二进制算术编码单元93。自适应二进制算术编码单元93包括概率估计单元94和编码引擎95。
首先，背景建模单元91根据过去的历史把压缩图像的任一语法元素的符号转换成适合的背景模型。在CABAC编码中，使用不同的背景对不同的语法元素进行编码。另外，根据用于附近块或宏块的编码信息甚至使用不同背景对相同的语法元素进行编码。
作为示例，接下来参考图5描述标记mb_skip_frag的处理。然而，可以采用类似的方式执行另外语法元素的处理。
在图5的示例中，示出了接下来待编码的目标宏块C和已经经过编码并且邻接目标宏块C的相邻宏块A和B。针对各个宏块X(X＝A，B，C)定义标记mb_skip_frag，并且表示如下。
[数学式5]
Figure BPA00001283985000081
即，如果宏块X为直接使用空间对应位置处的基准帧的像素的跳转宏块，则f(X)＝1。否则f(X)＝0。
此时，如下计算目标宏块C的背景Context(C)作为左侧相邻宏块A的f(A)和顶部相邻宏块B的f(B)的和：
Context(C)＝f(A)+f(B)         (6)
即，根据相邻宏块A和B的标记mb_skip_frag，目标宏块C的背景Context(C)的值为0、1或2。使用0、1和2中之一的编码引擎95对目标宏块C的标记mb_skip_frag进行编码。
例如，如在帧内预测模式那样，二元化单元92使用图6所示的表格执行为语法中的非二进制数据的元素的符号转换。
在图6所示的表格中，在码符号为0时，码符号被二进制处理为0。相反，在码符号为1时，码符号被二进制处理为10。在码符号为2时，码符号被二进制处理为110。另外，在码符号为3时，码符号被二进制处理为1110。在码符号为4时，码符号被二进制处理为11110。在码符号为5时，码符号被二进制处理为111110。
然而，对于宏块类型，没有使用该表格。使用另外定义的表格执行二进制处理。
通过下游的自适应二进制算术编码单元93对按照上述方式二进制处理的语法元素进行编码。
在自适应二进制算术编码单元93中，概率估计单元94估计二进制符号的概率，并且编码引擎95根据概率估计执行自适应二进制算术编码。此时，在片首初始化“0”或“1”的概率。每次执行1Bin编码时更新概率表格。即，在执行自适应算术编码处理之后，更新相关的模型。因此，每个模型可以根据实际图像压缩信息的统计执行编码处理。
返回参考图1，积累缓存器67把从无损编码单元66提供的使用H.264/AVC标准编码的压缩图像的形式的数据例如输出到下游的记录设备或下游传输线(均未示出)。速率控制单元79根据在积累缓存器67中积累的压缩图像控制量化器单元65执行的量化操作。
另外，也将从量化器单元65输出的经过量化的变换系数输入到反量化器单元68并且经过反量化。其后，在反正交变换单元69中对变换系数进行反正交变换。计算单元70将反正交变换的结果添加到从预测图像选择单元78提供的预测图像中。以此方式，生成了局部解码图像。去块滤波器71消除解码图像的块失真并且把解码图像提供到帧存储器72。由此，积累解码图像。另外，在去块滤波器71执行去块滤波处理之前的图像被提供到帧存储器72并且被积累。
开关73把帧存储器72中积累的基准图像输出到运动预测/补偿单元75或者帧内预测单元74。
例如，在图像编码设备51中，从重排屏幕缓存器62接收的I画面、B画面和P画面作为将要经过帧内预测(也称为“帧内处理”)的图像被提供到帧内预测单元74。另外，从重排屏幕缓存器62读取的B画面和P画面作为将要经过帧间预测(也称为“帧间处理”)的图像被提供到分像素精度运动预测/补偿单元77。
帧内预测单元74使用将要经过帧内预测并且从重排屏幕缓存器62读取的图像和从帧存储器72提供的基准图像在所有的候选帧内预定模式下执行帧内预测处理。因而，帧内预测单元74生成预测图像。
此时，帧内预测单元74针对各个候选帧内预测模式计算成本函数值并且选择使得计算的成本函数值最小的帧内预测模式作为最佳帧内预测模式。
帧内预测单元74把在最佳帧内预测模式下生成的预测图像和最佳帧内模式的成本函数值提供到预测图像选择单元78。在预测图像选择单元78选择在最佳帧内预测模式下生成的预测图像时，帧内预测单元74把有关最佳帧内预测模式的信息提供到无损编码单元66。无损编码单元66对信息进行编码并且使用该信息作为头数据的一部分。
运动预测/补偿单元75针对各个候选帧间预测模式执行运动预测/补偿处理。即，运动预测/补偿单元75基于要经过帧间处理并且从重排屏幕缓存器62读取的图像和经由开关73从帧存储器72提供的基准图像检测各个候选帧间预测模式下的运动矢量。其后，运动预测/补偿单元75基于运动矢量对基准图像执行运动预测/补偿并且生成预测图像。
另外，运动预测/补偿单元75把要经过帧间处理并且从重排屏幕缓存器62读取的图像和经由开关73从帧存储器72提供的基准图像提供到模板运动预测/补偿单元76。
而且，运动预测/补偿单元75针对各个候选帧间预测模式计算成本函数值。运动预测/补偿单元75选择使得针对帧间预测模式计算的成本函数值中的成本函数值以及模板运动预测/补偿单元76针对帧间模板预测模式计算的成本函数值最小的预测模式作为最佳帧间预测模式。
运动预测/补偿单元75把最佳帧间预测模式下生成的预测图像和预测图像的成本函数值提供到预测图像选择单元78。在选择预测图像选择单元78在最佳帧间预测模式下生成的预测图像时，运动预测/补偿单元75把最佳帧间预测模式的信息和与最佳帧间预测模式相关联的信息(例如，运动矢量信息、标记信息和基准帧信息)提供到无损编码单元66。无损编码单元66还对从运动预测/补偿单元75接收的信息执行无损编码处理，如可变长编码或算术编码，并且把该信息插入压缩图像的头部。
模板运动预测/补偿单元76和分像素精度运动预测/补偿单元77在帧间模板预测模式下执行运动预测/补偿。模板运动预测/补偿单元76整像素地执行运动预测和补偿。分像素精度运动预测/补偿单元77分像素地执行运动预测和补偿。
即，模板运动预测/补偿单元76使用要经过帧间处理并且从重排屏幕缓存器62读取的图像和经由开关73从帧存储器72提供的基准图像整像素地在帧间模板预测模式下执行运动预测和补偿。由此，模板运动预测/补偿单元76生成预测图像。
另外，模板运动预测/补偿单元76把从重排屏幕缓存器62读取和要经过帧间编码的图像和经由开关73从帧存储器72提供的基准图像提供到分像素精度运动预测/补偿单元77。
模板运动预测/补偿单元76计算用于帧间模板预测模式的成本函数值并且把计算出来的成本函数值和预测图像提供到运动预测/补偿单元75。如果存在与帧间模板预测模式相关联的信息(例如，运动矢量信息和标记信息)，则还把该信息提供到运动预测/补偿单元75。
分像素精度运动预测/补偿单元77使用要经过帧间处理并且从重排屏幕缓存器62读取的图像和经由开关73从帧存储器72提供的基准图像分像素地在帧间模板预测模式下执行运动预测和补偿。由此，分像素精度运动预测/补偿单元77生成预测图像。分像素精度运动预测/补偿单元77把运动矢量信息和标记信息两者中之一和所生成的预测图像提供到模板运动预测/补偿单元76。
预测图像选择单元78根据从帧内预测单元74或者运动预测/补偿单元75输出的成本函数值从最佳帧内预测模式和最佳帧间预测模式中确定最佳预测模式。其后，预测图像选择单元78在所确定的最佳预测模式下选择预测图像并且把预测图像提供到计算单元63和70。此时，预测图像选择单元78把有关预测图像的选择信息提供到帧内预测单元74或者运动预测/补偿单元75。
速率控制单元79根据在积累缓存器67中积累的压缩图像控制量化器单元65所执行的量化操作的速率从而不会发生上溢和下溢。
接下来参考图7所示的流程图描述图1所示的图像编码设备51所执行的编码处理。
在步骤S11，A/D转换单元61对输入图像进行A/D转换。在步骤S12，重排屏幕缓存器62存储从A/D转换单元61提供的图像并且把画面显示的顺序转换成画面将要编码的顺序。
在步骤S13，计算单元63计算在步骤S12重排的图像与预测图像之间的差。在帧间预测的情况把预测图像从运动预测/补偿单元75经由预测图像选择单元78提供到计算单元63，而在帧内预测的情况把预测图像从帧内预测单元74经由预测图像选择单元78提供到计算单元63。
差分数据的数据大小小于原始图像数据的数据大小。因此，与对图像进行直接编码的情况相比，可以减小数据大小。
在步骤S14，正交变换单元64对从计算单元63提供的差分信息执行正交变换。更具体地说，执行正交变换，如离散余弦变换或者卡南-洛伊夫变换，并且输出变换系数。在步骤S15，量化器单元65对变换系数进行量化。如下参考步骤S25所执行的处理更具体所述，在该量化处理中控制速率。
如下对上述方式量化的差分信息进行局部解码。即，在步骤S16，反量化器单元68使用作为量化器单元65的相反特征的特征对量化器单元65所量化的变换系数进行反量化。在步骤S17，反正交变换单元69使用与正交变换单元64的特征相对应的特征对反量化器单元68进行反量化的变换系数进行反正交变换。
在步骤S18，计算单元70把经由预测图像选择单元78输入的预测图像添加到局部解码的差分图像。由此，计算单元70生成局部解码图像(对应于计算单元63的输入的图像)。在步骤S19，去块滤波器71对从计算单元70输出的图像执行滤波。以此方式，消除了块失真。在步骤S20，帧存储器72存储经过滤波的图像。注意，没有经过去块滤波器71所执行的滤波处理的图像也被提供到帧存储器72并且被存储在帧存储器72中。
在步骤S21，帧内预测单元74、各个运动预测/补偿单元75、模板运动预测/补偿单元76和分像素精度运动预测/补偿单元77执行其自身图像预测处理。即，在步骤S21，帧内预测单元74在帧内预测模式下执行帧内预测处理。运动预测/补偿单元75在帧间预测模式下执行运动预测/补偿处理。另外，模板运动预测/补偿单元76和分像素精度运动预测/补偿单元77在帧间模板预测模式下执行运动预测/补偿处理。
下面参考图8更具体描述步骤S21所执行的预测处理。通过步骤S21所执行的预测处理，执行各个候选预测模式下的预测处理，并且计算针对所有候选预测模式的成本函数值。其后，根据计算出来的成本函数值选择最佳帧内预测模式，并且把最佳帧内预测模式下使用帧内预测生成的预测图像和预测图像的成本函数值提供到预测图像选择图像78。另外，使用计算出来的成本函数值从帧间预测模式和帧间模板预测模式中确定最佳帧间预测模式。其后，把最佳帧间预测模式下生成的预测图像和预测图像的成本函数值提供到预测图像选择单元78。
在步骤S22，预测图像选择单元78使用从帧内预测单元74和运动预测/补偿单元75输出的成本函数值选择最佳帧内预测模式和最佳帧间预测模式中之一作为最佳预测模式。其后，预测图像选择单元78在所确定的最佳预测模式下选择预测图像并且把预测图像提供到计算单元63和70。如上所述，该预测图像用于在步骤S13和S18中执行的计算。
注意，有关预测图像的选择信息被提供到帧内预测单元74或运动预测/补偿单元75。在选择最佳帧内预测模式下的预测图像时，帧内预测单元74把最佳帧内预测模式的信息(即，帧内预测模式信息)提供到无损编码单元66。
在选择最佳帧间预测模式下的预测图像时，运动预测/补偿单元75把最佳帧间预测模式的信息和与最佳帧间预测模式相关联的信息(例如，运动矢量信息、标记信息和基准帧信息)提供到无损编码单元66。更具体地说，在选择帧间预测模式下的预测图像作为最佳帧间预测模式时，运动预测/补偿单元75把帧间预测模式信息、运动矢量信息和基准帧信息输出到无损编码单元66。
相反，在选择帧间模板预测模式下的预测图像作为最佳帧间预测模式时，运动预测/补偿单元75把帧间模板预测模式信息、运动矢量信息和基于分像素的运动矢量信息提供到无损编码单元66。注意，此时，如果确定目标块指示模板跳转，则输出指示模板匹配跳转的标记信息(以下参考图17所述)(TM_skip_frag＝1)来替代基于分像素的运动矢量信息。
在步骤S23，无损编码单元66对从量化器单元65输出的经过量化的变换系数进行编码。即，差分图像经过无损编码(例如，可变长编码或算术编码)并且被压缩。此时，在步骤S22中从帧内预测单元74输入到无损编码单元66的上述帧内预测模式信息或者从运动预测/补偿单元75输入到无损编码单元66的与最佳帧间预测模式相关联的上述信息(例如，预测模式信息、运动矢量信息和基准帧信息)也被编码并且被添加到头信息。
注意，如果从运动预测/补偿单元75输出指示模板匹配跳转的标记信息，则仅对该标记信息进行编码。即，不对变换系数进行编码。
在此情况下，在无损编码单元66中，如果无损编码方法基于上面参考图4描述的CABAC，则，可以独立于用于帧间预测模式和帧内预测模式定义的背景单独定义用于帧间模板预测模式的目标块的背景。可替代地，可以使用与用于帧间预测模式和帧内预测模式的背景相同的背景。
依然可替代地，可以单独定义用于整像素精度运动矢量信息的背景和用于分像素精度运动矢量信息的背景，并且可以使用所述背景执行编码。
即，在此情况下，在通过帧间预测模式下的预测处理得到的运动矢量中，使用用于整像素精度运动矢量信息的背景对整像素精度运动矢量信息进行编码。相反，在通过帧间预测模式下的预测处理得到的运动矢量中，使用用于分像素精度运动矢量信息的背景对分像素精度运动矢量信息和通过帧间模板预测模式下搜索的分像素精度运动矢量信息进行编码。
在步骤S24，积累缓存器67把基准图像作为压缩图像存储起来。根据需要读取在积累缓存器67中积累的压缩图像并且经由传输线传送到解码侧。
在步骤S25，速率控制单元79根据存储在积累缓存器67中存储的压缩图像控制量化器单元65执行的量化操作的速率，从而不会出现上溢和下溢。
接下来参考图8所示的流程图描述图7所示的步骤S21中执行的预测处理。
如果从重排屏幕缓存器62提供并且待处理的各个图像是将要经过帧内处理的块的图像，则从帧存储器72中读取将被参考的解码图像并且经由开关73提供到帧内预测单元74。在步骤S31，帧内预测单元74使用所述图像对所有候选帧内预测模式下将要处理的块的像素执行帧内预测。注意，使用未经过去块滤波器71执行去块滤波的像素作为将被参考的解码像素。
以下参考图9描述步骤S31中执行的帧内预测处理。通过帧内预测处理，在所有候选帧内预测模式下执行帧内预测，并且计算用于所有候选帧内预测模式的成本函数值。其后，基于计算出的成本函数值选择最佳帧内预测模式。将通过最佳帧内预测模式下的帧内预测所生成的预测图像及其成本函数值提供到预测图像选择单元78。
如果从重排屏幕缓存器62提供并且待处理的各个图像是将要经过帧间处理的块的图像，则从帧存储器72读取将被参考的图像并且经由开关73提供到运动预测/补偿单元75。在步骤S32，运动预测/补偿单元75使用所述图像执行帧间运动预测处理。即，运动预测/补偿单元75参考从帧存储器72提供的图像并且在所有候选帧间预测模式下执行运动预测处理。
下文参考图12更具体地描述步骤S32中所执行的帧间运动预测处理。通过帧间运动预测处理，在所有候选帧间预测模式下执行运动预测处理，并且计算用于所有候选帧间预测模式的成本函数值。
另外，如果从重排屏幕缓存器62提供并且待处理的各个图像是将要经过帧间处理的块的图像，则从帧存储器72读取将被参考的图像并且经由开关73和运动预测/补偿单元75提供到模板运动预测/补偿单元76。在步骤S33，模板运动预测/补偿单元76和分像素精度运动预测/补偿单元77使用所述图像在帧间模板预测模式下执行帧间模板运动预测处理。
下文参考图15更具体地描述步骤S33中所执行的帧间模板运动预测处理。通过帧间模板运动预测处理，在帧间模板预测模式下执行运动预测处理，并且计算用于帧间模板预测模式的成本函数值。其后，将通过帧间模板预测模式下的运动预测处理所生成的预测图像及其成本函数值提供到运动预测/补偿单元75。注意，如果存在与帧间模板预测模式相关联的信息(例如，运动矢量信息和标记信息)，则也将这种信息提供到运动预测/补偿单元75。
在步骤S34，运动预测/补偿单元75将步骤S32中计算的用于帧间预测模式的成本函数值与步骤S33中计算的用于帧间模板预测模式的成本函数值进行比较。由此，提供最小成本函数值的预测模式被选择作为最佳帧间预测模式。其后，运动预测/补偿单元75将最佳帧间预测模式下生成的预测图像及其成本函数值提供到预测图像选择单元78。
接下来参考图9所示的流程图描述图8所示的步骤S31中所执行的帧内预测处理。注意，参考亮度信号描述图9图示的示例。
在步骤S41，帧内预测单元74在帧内预测模式下执行针对4×4像素、8×8像素和16×16像素的帧内预测。
亮度信号的帧内预测模式包括基于9种4×4像素块和8×8像素块的类型和4种16×16像素宏块类型的预测模式。相反，色差信号的帧内预测模式包括基于4种8×8像素块类型的预测模式。可以独立于亮度信号的帧内预测模式设置色差信号的帧内预测模式。对于亮度信号的4×4像素和8×8像素帧内预测模式，可以为亮度信号的各个4×4像素和8×8像素块定义帧内预测模式。对于亮度信号的16×16像素帧内预测模式和色差信号的帧内预测模式，可以为一个宏块定义帧内预测模式。
预测模式的类型对应于图10所示的数字“0”、“1”和“3”到“8”所指示的方向。预测模式“2”代表平均值预测。
例如，参考图11描述帧内4×4预测模式。在待处理并且从重排屏幕缓存器62读取的图像(例如，像素a到p)是将要帧内处理的块的图像时，从帧存储器72中读取将被参考的解码图像(像素A到M)。其后，将读出的图像经由开关73提供到帧内预测单元74。
帧内预测单元74使用这些图像对将要处理的块的像素执行帧内预测。针对各个帧内预测模式执行这种帧内预测处理，并且因此，生成用于各个帧内预测模式的预测图像。注意，没有经过去块滤波器71执行去块滤波的像素被用作将被参考的解码像素(像素A到M)。
在步骤S42，帧内预测单元74计算用于各个4×4像素、8×8像素和16×16像素帧内预测模式的成本函数值。此时，使用作为H.264/AVC参考软件的JM(联合模型)中定义的高复杂度模式和低复杂度模式方法中的一种方法来执行成本函数值的计算。
即，在高复杂度模式下，针对各个候选预测模式执行直至编码处理的处理作为步骤S41中所执行的处理。由此，针对各个预测模式计算下面等式(7)所定义的成本函数值，并且其后，提供最小成本函数值的预测模式被选择作为最佳预测模式。
Cost(Mode)＝D+λ·R    (7)
其中，D表示原始图像与解码图像之间的差(失真)，R表示甚至包括正交变换系数的生成码的量，而λ表示量化参数QP的函数形式的拉格朗日乘子。
相反，在低复杂度模式下，针对所有候选预测模式执行预测图像的生成和运动矢量信息、预测模式信息和标记信息的头比特位的计算作为步骤S41中所执行的处理。由此，针对各个预测模式计算下式(8)中所表示的成本函数值，并且其后，提供最小成本函数值的预测模式被选择作为最佳预测模式。
Cost(Mode)＝D+QPtoQuant(QP)·Header_Bit    (8)
其中D表示原始图像与解码图像之间的差，Header_Bit表示预测模式的头比特位，而QPtoQuant表示以量化参数QP的函数的形式提供的函数。
在低复杂度模式下，仅生成用于各个预测模式的预测图像。无需执行编码处理和解码处理。因此，可以减小计算量。
在步骤S43，帧内预测单元74确定用于各个4×4像素、8×8像素和16×16像素帧内预测模式的最佳模式。即，如上参考图10所示，在4×4像素和8×8像素帧内预测模式的情况下，存在9种类型的预测模式。在16×16像素帧内预测模式情况下，存在4种类型的预测模式。因此，从这些预测模式中，帧内预测单元74根据步骤S42中所计算的成本函数值选择最佳4×4像素帧内预测模式、最佳8×8像素帧内预测模式和最佳16×16像素帧内预测模式。
在步骤S44，从针对4×4像素、8×8像素和16×16像素帧内预测模式选择的最佳模式中，帧内预测单元74根据步骤S42中所计算的成本函数值选择最佳帧内预测模式。即，从针对4×4像素、8×8像素和16×16像素帧内预测模式选择的最佳模式中，帧内预测单元74选择具有最小成本函数值的模式作为最佳帧内预测模式。其后，帧内预测单元74把最佳帧内预测模式中生成的预测图像及其成本函数值提供到预测图像选择单元78。
接下来参考图12所示的流程图描述图8所示的步骤S32中执行的帧间运动预测处理。
在步骤S51中，运动预测/补偿单元75确定用于图2所示的8个16×16像素到4×4像素帧间预测模式中每一个的运动矢量和基准图像。即，为针对各个帧间预测模式将要处理的块确定运动矢量和基准图像。
在步骤S52，运动预测/补偿单元75根据步骤S51中所确定的运动矢量对用于8个16×16像素到4×4像素帧间预测模式每一个的基准图像执行运动预测和补偿处理。通过运动预测和补偿处理，生成用于各个帧间预测模式的预测图像。
在步骤S53，运动预测/补偿单元75针对8个16×16像素到4×4像素帧间预测模式的每一个所确定的运动矢量生成将要添加到压缩图像的运动矢量信息。
接下来参考图13描述一种生成H.264/AVC标准的运动矢量信息的方法。在图13所示的示例中，示出了接下来将被编码的目标块E(例如，16×16像素)和已经经过编码并且邻接目标块E的块A和D。
即，块D邻接目标块E的左上角。块B邻接目标块E的上端。块C邻接目标块E的右上角。块A邻接目标块E的左端。注意，由于块A到D是图2所示的16×16像素到4×4像素块中的一个，所以没有示出块A到D每一个的全部。
例如，令mvx表示X(＝A、B、C、D、E)的运动矢量信息。如下使用用于块A、B和C的运动矢量信息以及中间预测来表示用于目标块E的预测运动矢量信息pmvE。
pmvE＝med(mvA，mvB，mvC)   (9)
如果有关块C的运动矢量信息不可用，例如因为块C位于图像帧的末尾或者块C还未被编码，则使用有关块D的运动矢量信息来代替有关C的运动矢量信息。
如下使用pmvE给出将作为目标块E的运动矢量信息被添加到压缩图像的头部的数据mvdE：
mvdE＝mvE-pmvE    (10)
注意，在实践中，针对运动矢量信息的水平方向分量和垂直方向分量独立地执行处理。
以此方式，生成预测运动矢量信息，将使用相邻块之间的相关性生成的预测运动矢量信息与运动矢量信息之间的差添加到压缩图像的头部。由此，可以减小运动矢量信息。
还使用以上述方式生成的运动矢量信息用于在随后步骤S54中所执行的成本函数值的计算。如果预测图像选择单元78选择对应于运动矢量信息的预测图像，则将运动矢量信息连同预测模式信息和基准帧信息一起输出到无损编码单元66。
另外，接下来参考图14描述用于生成预测运动矢量信息的另一方法。在图14所示的示例中，示出了作为将被编码的目标帧的帧N以及作为搜索运动矢量时所参考的基准帧的帧N-1。
在帧N中，接下来将被编码的目标块具有如图14所示的运动矢量信息mv。邻接目标块的块具有如图14所示的运动矢量信息mva，、mvb、mvc、和mvd。
更具体地说，邻接目标块的左上角的块具有运动矢量信息mvd。邻接目标块的上端的块具有运动矢量信息mvb。邻接目标块的右上角的块具有运动矢量信息mvc。邻接目标块的左端的块具有运动矢量信息mva。
在帧N-1中，目标块的协同定位块具有如图14所示的运动矢量信息mvcol。如本文所使用的，术语“协同定位块”指的是不同于目标帧的编码帧(即，位于目标帧之前或之后的帧)的块，所述块位于对应于目标块的位置。
另外，在帧N-1中，邻接目标块的块具有如图14所示的运动矢量信息mvt4、mvt0、mvt7、mvt1、mvt3、mvt5、mvt2、和mvt6。
更具体地说，邻接协同定位块的左上角的块具有运动矢量信息mvt4。邻接协同定位块的上端的块具有运动矢量信息mvt0。邻接协同定位块的右上角的块具有运动矢量信息mvt7。邻接协同定位块的左端的块具有运动矢量信息mvt1。邻接协同定位块的右端的块具有运动矢量信息mvt3。邻接协同定位块的左下角的块具有运动矢量信息mvt5。邻接协同定位块的下端的块具有运动矢量信息mvt2。邻接协同定位块的右下端的块具有运动矢量信mvt6。
使用与邻接目标块的块有关的运动矢量信息生成等式(9)中的预测运动矢量信息pmv。然而，可以如下生成预测运动矢量信息pmvtm5、pmvtm9、和pmvcol。
pmvtm5＝med(mvcol，mvt0，…，mvt3)
pmvtm9＝med(mvcol，mvt0，…，mvt7)
pmvcol＝med(mvcol，mvcol，mva，mvb，mvc)     (11)
通过R-D优化确定使用等式(9)或等式(11)的预测运动矢量信息中的哪一个。这里，R代表甚至包括正交变换系数的所生成的码的量，D代表原始图像与解码图像之间的差(即，失真)。即，选择优化所生成码的量以及原始图像与解码图像之间的差的预测运动矢量信息。
用于生成多个预测运动矢量信息项并且从所生成的预测运动矢量信息项中选择最佳一个预测运动矢量信息的方法也被称为“MV竞争方法”。
返回参考图12，在步骤S54中，运动预测/补偿单元75使用等式(7)或(8)计算用于8个16×16像素到4×4像素帧间预测模式中每一个的成本函数值。这里所计算出来的成本函数值用于在如上所述的图8中所示的步骤S34中选择最佳帧间预测模式。
参考图15所示的流程图描述在图8所示的步骤S33中执行的帧间模板运动预测处理。
在步骤S71中，模板运动预测/补偿单元76在帧间模板预测模式下整像素地执行运动预测/补偿处理。即，模板运动预测/补偿单元76使用帧间模板匹配方法整像素地搜索运动矢量并且根据该运动矢量执行运动预测/补偿处理。以此方式，模板运动预测/补偿单元76生成预测图像。
这里，参考图16更具体地描述帧间模板匹配方法。
在图16所示的示例中，示出了将被编码的目标帧以及在搜索运动矢量时参考的基准帧。在目标帧中，示出了接下来将被编码的目标块A以及包括邻接目标块A并且已经经过编码的像素的模板区域B。即，如图16所示，在按照光栅扫描顺序执行编码处理时，模板区域B位于目标块A的左侧和目标块A的上侧。另外，模板区域B的解码图像被存储在帧存储器72中。
模板运动预测/补偿单元76使用例如SAD(绝对差值和)作为成本函数值在基准帧中的预测搜索范围E中执行模板匹配处理。模板运动预测/补偿单元76搜索与模板区域B的像素值具有最高相关度的区域B’。其后，模板运动预测/补偿单元76把对应于搜素区域B’的块A’看成目标块A的预测图像并且搜索用于目标块A的运动矢量P。
以此方式，在使用帧间模板匹配方法的运动矢量搜索过程中，使用解码图像用于模板匹配处理。因此，通过预定义预定搜索范围E，可以在图1所示的图像编码设备51和图18所示的图像解码设备101(如下所述)中执行相同处理。即，通过也在图像解码设备101中提供模板运动预测/补偿单元123，有关用于目标块A的运动矢量P的信息无需发送到图像解码设备101。因此，可以减小压缩图像中的运动矢量信息。
注意，在帧间模板预测模式下可以采用任意尺寸的块和模板。即，如在运动预测/补偿单元75中那样，从图2所示的8个16×16像素到4×4像素块大小中可以选择一个块大小，并且可以一直使用该块大小来执行处理。可替代地，可以使用所有的块大小作为候选来执行处理。模板大小可以根据块大小变化或者可以固定到一个尺寸。
在步骤S72中，模板运动预测/补偿单元76指示分像素精度运动预测/补偿单元77在帧间模板预测模式中分像素地执行运动预测/补偿处理。
如上参考图3所述，在H.264/AVC标准中，可以执行直至1/4像素精度的预测/补偿处理。然而，即使在分像素模式中，如果使用帧间模板匹配方法执行运动矢量搜索处理，则由于没有使用目标块A(图16)的像素值并且搜索范围E被预定，所以预测性能(残差)也劣化，其结果是，尽管不需要保持运动矢量，但存在导致编码效率降低的担忧。
因此，在帧间模板预测模式中，使用如块匹配方法而不是帧间模板匹配方法的方法分像素地执行运动预测/补偿处理。
即，在步骤S72中，分像素精度运动预测/补偿单元77使用例如块匹配方法搜索基于分像素的运动矢量，使用该运动矢量对基准图像执行运动预测和补偿处理，并且生成预测图像。此时，基于分像素的运动矢量信息需要被添加到压缩图像的头部。因此，在步骤S73中，分像素精度运动预测/补偿单元77生成有关基于分像素的运动矢量的运动矢量信息。
再次参考图13描述用于生成基于分像素的运动矢量信息的方法。在图13中，示出了接下来将使用模板匹配方法进行运动预测/补偿处理的目标块E以及邻接目标块E并且已经经过编码的块A到D。对于目标块E，仅对块E的运动矢量信息mvE中的基于分像素的运动矢量信息mv_subE进行编码是足够的。
此时，可以不使用模板匹配方法对块A到D进行运动预测/补偿处理。然而，只要块A到D将经过帧间处理，则块A到D也具有运动矢量mvx(X＝A，B，C，或D)。用于各个块A到D的基于分像素的运动矢量信息被称作mv_subx(X＝A，B，C，或D)。
注意，如果块A到D中的一个为将要经过帧内处理的块，则该块不具有运动矢量信息。因此，根据H.264/AVC标准对该块进行处理。即，如果块X为将要经过帧内处理的块，则应用以下等式：
mvx＝0     (12)
如下使用中间预测生成用于目标块E的基于分像素的运动矢量信息mv_subE的预测运动矢量信息pmv_subE：
pmv_subE＝med(mv_subA，mv_subB，mv_subC)    (13)
注意，在实践中，针对运动矢量信息的水平方向分量和垂直方向分量独立地执行处理。另外，如果有关块C的运动矢量信息不可用，例如因为块C位于图像帧的末尾或者块C还未经过编码，则使用有关块D的运动矢量信息来代替有关块C的运动矢量信息。
如下使用pmv_subE给出将作为有关目标块E的基于分像素的运动矢量信息添加到压缩图像的头部的数据mvd_subE：
mvd_subE＝mv_subE-pmv_subE    (14)
以此方式，生成运动矢量信息，并且把所生成的运动矢量信息连同所生成的预测图像一起提供到模板运动预测/补偿单元76。其后，在如下所述在步骤S75中计算成本函数值时还使用运动矢量信息。在预测图像选择单元78最终选择在帧间模板预测模式中所生成的预测图像时，把运动矢量信息连同预测模式信息一起输出到无损编码单元66。
注意，对于基于分像素的运动矢量信息，可以使用图14所示的MV竞争方法生成多个预测运动矢量信息项。其后，可以从预测运动矢量信息项中选择最佳一个，并且可以生成mvd_subE。
返回参考图15，在步骤S74中，分像素精度运动预测/补偿单元77执行模板跳转确定处理。下面参考图17更具体地描述模板跳转确定处理。在模板跳转确定处理中，如果确定目标块指示模板匹配跳转，则用于指示模板匹配跳转的1位标记TM_skip_frag被设置为1。
在步骤S75中，模板运动预测/补偿单元76使用上述等式(7)或(8)计算用于帧间模板预测模式的成本函数值。在图8所示的步骤S34中选择最佳帧间预测模式时使用计算出来的成本函数值。
接下来参考图17所示的流程图描述在图15所示的步骤S74中所执行的模板跳转确定处理。
在步骤S91中，分像素精度运动预测/补偿单元77确定目标块的块大小是否为16×16像素的大小。如果在步骤S91中确定块大小为16×16像素的大小，则分像素精度运动预测/补偿单元77在步骤S92中确定在图15所示的步骤S73中所生成的运动矢量信息mvd_subE是否为0。
如果在步骤S92中确定mvd_subE为0，则分像素精度运动预测/补偿单元77在步骤S93中确定所有正交变换系数为0。如果在步骤S93中确定所有正交变换系数为0，则分像素精度运动预测/补偿单元77在步骤S94中确定目标块指示模板匹配跳转并且把指示模板匹配跳转的1位标记设置为1。
在图15所示的步骤S75中计算成本函数值时还使用该标记。在预测图像选择单元78最终选择对应的预测图像并且如果TM_skip_frag＝1，则只把″TM_skip_frag＝1″输出到无损编码单元66。
即，在此情况下，由于目标块是用于使用空间上位于对应位置上的基准帧中的像素获得运动矢量信息的块，所以不必对运动矢量信息进行编码。只对″TM_skip_frag＝1″进行编码是足够的。由此，可以进一步提高编码效率。
然而，如果在步骤S91确定块大小不是16×16像素的大小或者如果在步骤S92确定mvd_subE不是0或者如果在步骤S93确定所有正交变换系数不为0，则分像素精度运动预测/补偿单元77在步骤S95确定目标块不指示模板匹配跳转并且把指示模板匹配跳转的1位标记TM_skip_frag设置为0。
在TM_skip_frag＝0并且如果预测图像选择单元78最终选择对应的预测图像，则把运动矢量信息mvd_subE输出到无损编码单元66。由此，还对正交变换系数和运动矢量信息mvd_subE进行编码。
注意，为了简洁起见，分像素精度运动预测/补偿单元77执行模板跳转确定处理。然而，在实践中，预测图像选择单元78最终选择在帧间模板预测模式的运动预测/补偿处理中所预测的预测图像。其后，计算用于预测图像的差，并且进行正交变换和量化处理。在经过执行量化之后的系数为0并且如果确定运动矢量信息mvd_subE为0，则把TM_skip_frag设置为1。
如上所述，在帧间模板预测模式执行运动预测/补偿处理时，针对各个待处理的块的整像素使用模板匹配方法执行运动预测和补偿处理。另外，针对各个待处理的块的分像素使用例如块匹配方法执行运动预测/补偿处理。其后，把搜索到的运动矢量信息传送到图像解码设备101。因此，可以防止预测性能(残差)劣化。结果，可以防止编码精度的降低。
另外，此时，对基于分像素的运动矢量信息与预测运动矢量信息之间的差进行计算和编码。因此，可以进一步防止编码精度的降低。
而且，在块大小为16×16像素的大小时并且如果mvd_subE为0且所有正交变换系数都为0，只对指示模板匹配跳转的1位标记TM_skip_frag(＝1)进行编码。因此，可以进一步提高编码效率。
编码和压缩图像经由预定传输线传输并且由图像解码设备进行解码。图18图示了根据本发明的实施例的这种图像解码设备的配置。
图像解码设备101包括积累缓存器111、无损解码单元112、反量化器单元113、反正交变换单元114、计算单元115、去块滤波器116、重排屏幕缓存器117、D/A转换单元118、帧存储器119、开关120、帧内预测单元121、运动预测/补偿单元122、模板运动预测/补偿单元123、分像素精度运动预测/补偿单元124和开关125。
积累缓存器111积累传输的压缩图像。无损解码单元112使用与图1所示的无损编码单元66采用的编码方法对应的方法对图1所示的无损编码单元66进行编码并且从积累缓存器111提供的信息进行解码。反量化器单元113使用与图1所示的量化器单元65所采用的量化方法对应的方法对经过无损解码单元112解码的图像进行反量化。反正交变换单元114使用与图1所示的正交变换单元64所采用的正交变换方法对应的方法对反量化器单元113的输出进行反正交变换。
反正交变换输出通过计算单元115添加到从开关125提供的预测图像并且被解码。去块滤波器116消除解码图像的块失真并且把图像提供到帧存储器119。由此，对图像进行积累。同时，将图像输出到重排屏幕缓存器117。
重排屏幕缓存器117对图像进行重排。即，已经经过图1所示的重排屏幕缓存器62改变用于编码的帧的顺序被改变回原始显示顺序。D/A转换单元118对从重排屏幕缓存器117提供的图像进行D/A转换并且把图像输出到显示图像的显示器(未示出)。
开关120从帧存储器119读取将被帧间处理的图像和将被参考的图像。开关120把图像输出到运动预测/补偿单元122。另外，开关120从帧存储器119读取用于帧内预测的图像并且把该图像提供到帧内预测单元121。
帧内预测单元121从无损解码单元112接收有关通过对头信息进行解码获得的帧内预测模式的信息。帧内预测单元121根据这种信息生成预测图像并且把所生成的预测图像输出到开关125。
运动预测/补偿单元122从无损解码单元112接收通过对头信息进行解码获得的帧间预测模式的信息(预测模式信息、运动矢量信息和基准帧信息)。在接收帧间预测模式信息时，运动预测/补偿单元122根据运动矢量信息和基准帧信息对该图像进行运动预测和补偿处理并且生成预测图像。相反，在接收帧间模板预测模式信息时，运动预测/补偿单元122把从帧存储器119读取并且将被帧间处理的图像以及基准图像提供到模板运动预测/补偿单元123。模板运动预测/补偿单元123在帧间模板预测模式下执行运动预测/补偿处理。
另外，运动预测/补偿单元122根据预测模式信息把帧间预测模式下生成的预测图像和帧间模板预测模式下生成的预测图像中的一个输出到开关125。
模板运动预测/补偿单元123和分像素精度运动预测/补偿单元124在帧间模板预测模式下执行运动预测/补偿处理。模板运动预测/补偿单元123执行运动预测和补偿处理中的基于整像素的运动预测和补偿处理。相反，分像素精度运动预测/补偿单元124执行运动预测和补偿处理中的基于分像素的运动预测和补偿处理。
即，模板运动预测/补偿单元123使用从帧存储器119读取并且将被帧间处理的图像和将被参考的图像在帧间模板预测模式下执行基于整像素的运动预测和补偿处理。由此，模板运动预测/补偿单元123生成预测图像。注意，运动预测/补偿处理与图像编码设备51的模板运动预测/补偿单元76所执行的运动预测/补偿处理基本上相同。
另外，模板运动预测/补偿单元123把从帧存储器119读取并且将被帧间处理的图像和将被参考的图像提供到分像素精度运动预测/补偿单元124。而且，模板运动预测/补偿单元123把所生成的预测图像和分像素精度运动预测/补偿单元124所生成的预测图像提供到运动预测/补偿单元122。
分像素精度运动预测/补偿单元124接收通过对从无损解码单元112提供的头信息进行解码而获得的信息(运动矢量信息或标记信息)。分像素精度运动预测/补偿单元124根据所提供的运动矢量信息或标记信息对该图像执行运动预测和补偿处理。由此，分像素精度运动预测/补偿单元124生成预测图像。把预测图像输出到模板运动预测/补偿单元123。
开关125选择运动预测/补偿单元122所生成的预测图像和帧内预测单元121所生成的预测图像中的一个并且把所选择的一个提供到计算单元115。
接下来参考图19所示的流程图描述图像解码设备101所执行的解码处理。
在步骤S131中，积累缓存器111积累所传输的图像。在步骤S132中，无损解码单元112对从积累缓存器111提供的压缩图像进行解码。即，对图1所示的无损编码单元66进行编码的I画面、P画面和B画面进行解码。
此时，运动矢量信息、基准帧信息、预测模式信息(指示帧内预测模式、帧间预测模式和帧间模板预测模式中之一的信息)和标记信息也被解码。即，如果预测模式信息为帧内预测模式信息，则将预测模式信息提供到帧内预测单元121。
然而，如果预测模式信息为帧间预测模式信息，则将预测模式信息和相应的运动矢量信息提供到运动预测/补偿单元122。如果预测模式信息为帧间模板预测模式信息，则把预测模式信息提供到运动预测/补偿单元122，而将相应的运动矢量信息或指示模板匹配跳转的标记信息提供到分像素精度运动预测/补偿单元124。
注意，如果指示模板匹配跳转的标记信息被解码，则将值为0的正交变换系数提供到反量化器单元113。
在步骤S133中，反量化器单元133使用与图1所示的量化器单元65的特征相应的特征对无损解码单元112解码的变换系数进行反量化。在步骤S134中，反正交变换单元114使用与图1所示的正交变换单元64的特征对应的特征对经过反量化器单元113反量化的变换系数进行反正交变换。以此方式，对与图1所示的正交变换单元64的输入对应的差信息(计算单元63的输出)进行解码。
在步骤S135中，计算单元115将如下所述的步骤S139中所选择并且经由开关125输入的预测图像添加到差分图像。以此方式，对原始图像进行解码。在步骤S136中，去块滤波器116对从计算单元115输出的图像进行滤波。由此，消除了块失真。在步骤S137中，帧存储器119存储经过滤波的图像。
在步骤S138中，帧内预测单元121、运动预测/补偿单元122或由模板运动预测/补偿单元123和分像素精度运动预测/补偿单元124组成的一对根据从无损解码单元112提供的预测模式信息执行图像预测处理。
即，在从无损解码单元112提供帧内预测模式信息时，帧内预测单元121执行帧内预测模式下的帧内预测处理。在从无损解码单元112提供帧间预测模式信息时，运动预测/补偿单元122在帧间预测模式下执行运动预测和补偿处理。然而，在从无损解码单元112提供帧间模板预测模式信息时，模板运动预测/补偿单元123和分像素精度运动预测/补偿单元124在帧间模板预测模式下执行运动预测/补偿处理。
下面参考图20描述步骤S138中所执行的预测处理。通过该处理，帧内预测单元121所生成的预测图像、运动预测/补偿单元122生成的预测图像或模板运动预测/补偿单元123和分像素精度运动预测补偿单元124所生成的预测图像被提供到开关125。
在步骤S139中，开关125选择预测图像，即，由于提供了帧内预测单元121所生成的预测图像、运动预测/补偿单元122所生成的预测图像、或者模板运动预测/补偿单元123和分像素精度运动预测/补偿单元124所生成的预测图像，所以选择所提供的预测图像并且提供到计算单元115。如上所述，在步骤S134中，将预测图像添加到反正交变换单元114的输出。
在步骤S140中，重排屏幕缓存器117执行重排处理。即，图像编码设备51的重排屏幕缓存器62所改变用于编码的帧的顺序被改变回原始显示顺序。
在步骤S141中，D/A转换单元118对从重排屏幕缓存器117提供的图像进行D/A转换。所述图像被输出到显示图像的显示器(未示出)。
接下来参考图20所示的流程图描述图19中所示的步骤S138中所执行的预测处理。
如果待处理图像是将要经过帧内处理的图像，则将帧内预测模式信息从无损解码单元112提供到帧内预测单元121。在步骤S171中，帧内预测单元121确定是否提供帧内预测模式信息。如果帧内预测单元121确定提供了帧内预测模式信息，则帧内预测单元121在步骤S172中执行帧内预测。
即，如果待处理图像为将被帧内处理的图像，则从帧存储器119中读取必要的图像。将读出的图像经由开关120提供到帧内预测单元121。在步骤S172中，帧内预测单元121根据从无损解码单元112提供的帧内预测模式信息执行帧内预测并且生成预测图像。
然而，如果在步骤S171中帧内预测单元121确定没有提供帧内预测模式信息，则处理进行到步骤S173。
如果待处理图像为将要帧间处理的图像，则把帧间预测模式信息、基准帧信息和运动矢量信息从无损解码单元112提供到运动预测/补偿单元122。在步骤S173中，运动预测/补偿单元122确定是否提供了帧间预测模式信息。如果运动预测/补偿单元122确定提供了帧间预测模式信息，则运动预测/补偿单元122在步骤S174中执行帧间运动预测。
即，如果待处理图像为将要经过帧间预测处理的图像，则从帧存储器119读取必要的图像。将读出的图像经由开关120提供到运动预测/补偿单元122。在步骤S174中，运动预测/补偿单元122根据从无损解码单元122提供的运动矢量在帧间预测模式下执行运动预测并且生成预测图像。
如果在步骤S173确定没有提供帧间预测模式信息，则处理进行到步骤S175。即，由于提供了帧间模板预测模式信息，则运动预测/补偿单元122在步骤S175和S176指示模板运动预测/补偿单元123和分像素精度运动预测/补偿单元124在帧间模板预测模式中执行运动预测/补偿处理。
更具体地说，如果待处理图像为将要进行帧间模板预测处理的图像，则从帧存储器119读取必要的信息。将读出的图像经由开关120和运动预测/补偿单元122提供到模板运动预测/补偿单元123。另外，将必要的图像经由模板运动预测/补偿单元123提供到分像素精度运动预测/补偿单元124。而且，将分像素精度运动矢量信息或标记信息(TM_skip_frag＝1)从无损解码单元112提供到分像素精度运动预测/补偿单元124。
在步骤S175中，模板运动预测/补偿单元123在帧间模板预测模式下执行基于整像素的运动预测和补偿。即，模板运动预测/补偿单元123使用帧间模板匹配方法搜索基于整像素的运动矢量并且根据运动矢量对基准图像执行运动预测和补偿处理。由此，模板运动预测/补偿单元123生成预测图像。
在步骤S176中，分像素精度运动预测/补偿单元124根据从无损解码单元112提供的基于分像素的运动矢量信息或标记信息(TM_skip_frag＝1)对基准图像执行运动预测和补偿处理。由此，分像素精度运动预测/补偿单元124生成预测图像。
注意，经过解码的基于分像素的运动矢量信息为在图15所示的步骤S72中计算的运动矢量信息与使用上述MV竞争方法同时在步骤S73中参考等式(13)或图14使用与相邻块有关的运动矢量信息所生成的预测运动矢量信息之间的差。
因此，如在分像素精度运动预测/补偿单元77中那样，分像素精度运动预测/补偿单元124生成预测运动矢量信息并且把所生成的预测运动矢量信息添加到经过解码的基于分像素的运动矢量信息。由此，分像素精度运动预测/补偿单元124计算基于分像素的运动矢量信息。其后，分像素精度运动预测/补偿单元124使用计算出来的基于分像素的运动矢量信息来生成预测图像。
相反，如果提供了标记信息，则目标块为用于使用空间对应位置上的基准帧中的像素计算运动矢量信息的块。因此，使用对应的基准图像的像素生成预测图像。
如上所述，通过在图像编码设备和图像解码设备两者中使用模板匹配方法执行整像素精度运动预测，可以在不发送整像素精度运动矢量的情况下以良好的图像质量显示图像。
另外，通过把分像素精度运动矢量编码成压缩图像并且把分像素精度运动矢量发送到图像解码设备同时在图像编码设备和图像解码设备两者中使用模板匹配方法来执行整像素精度运动预测，可以防止压缩比的降低。
而且，在执行H.264/AVC运动预测/补偿处理时，还进行使用模板匹配方法的预测。其后，选择具有较高成本函数值的一个，并且执行编码处理。由此，可以提高编码效率。
尽管参考采用H.264/AVC标准的情况做出以上描述，但是还可以采用其他编码方法/解码方法。
注意，本发明适用于经由网络介质，如卫星广播、有线TV(电视)、互联网或蜂窝电话接收通过如在MPEG或H.26x标准下那样的正交变换(例如，离散余弦变换)和运动补偿而压缩的图像信息(位流)或者处理诸如光盘或磁盘、或闪速存储器的存储介质中的图像信息的图像编码设备和图像解码设备。
上述一系列的处理不仅可以通过硬件也可以通过软件来执行。在通过软件执行上述一系列的处理时，将软件程序从程序记录介质安装到并入专用硬件中的计算机或者可以通过在其中安装各种程序来执行各种功能的计算机(例如，通用个人计算机)中。
记录计算机可执行程序的程序记录介质的示例包括磁盘(包括柔性盘)、光盘(包括CD-ROM(致密盘只读存储器)、DVD(数字多功能盘)和磁光盘)、可移动介质(作为由半导体存储器组成的封装介质)以及临时或永久存储程序的ROM和硬盘。使用有线或无线通信介质，如局域网、互联网或者根据需要使用数字卫星广播在程序记录介质中记录程序。
在本说明书中，描述程序的步骤不但包括以上述时间次序执行的处理，也包括可以并行或独立执行的处理。
本发明的实施例不限于上述实施例。可以在不脱离本发明的精神实质的情况下进行各种变型。
参考符号表
51图像编码设备
66无损编码单元
74帧内预测单元
75运动预测/补偿单元
76模板运动预测/补偿单元
77分像素精度运动预测/补偿单元
78预测图像选择单元
112无损解码单元
121帧内预测单元
122运动预测/补偿单元
123模板运动预测/补偿单元
124分像素精度运动预测/补偿单元
125开关

Claims (14)

1.一种图像处理设备，包括：
解码单元，其配置成对编码运动矢量信息进行解码；
第一运动预测和补偿单元，其配置成针对帧的第一目标块通过使用以预定位置关系相邻于所述第一目标块并且从解码图像生成的模板搜索运动矢量来生成具有整像素精度的预测图像；以及
第二运动预测和补偿单元，其配置成使用所述解码单元解码的所述第一目标块的分像素精度运动矢量信息来生成具有分像素精度的预测图像。
2.如权利要求1所述的图像处理设备，其中所述第二运动预测和补偿单元使用相邻于所述第一目标块并已经过编码的相邻块的运动矢量信息来生成分像素精度运动矢量的预测值。
3.如权利要求2所述的图像处理设备，其中所述第二运动预测和补偿单元生成不同于所述帧的编码帧的协同定位块和相邻于所述协同定位块的块的运动矢量信息，或者使用所述协同定位块和所述相邻块的所述运动矢量信息生成分像素精度运动矢量的预测值，其中所述协同定位块位于与所述第一目标块对应的位置。
4.如权利要求1所述的图像处理设备，进一步包括：
第三运动预测和补偿单元，其配置成使用所述帧的第二目标块搜索所述第二目标块的运动矢量；以及
图像选择单元，其配置成从基于所述第一运动预测和补偿单元或所述第二运动预测和补偿单元搜索到的运动矢量的预测图像和基于第三运动预测和补偿单元搜索到的运动矢量的预测图像中选择一个。
5.一种用于图像处理设备的图像处理方法，所述方法包括步骤：
对编码运动矢量信息进行解码；
针对帧的目标块通过使用以预定位置关系相邻于所述目标块并且从解码图像生成的模板搜索运动矢量来生成具有整像素精度的预测图像；以及
使用解码的目标块的分像素精度运动矢量信息生成具有分像素精度的预测图像。
6.一种图像处理设备，包括：
第一运动预测和补偿单元，其配置成使用以预定位置关系相邻于第一目标块并且从解码图像生成的模板来搜索帧的第一目标块的整像素精度运动矢量；
第二运动预测和补偿单元，其配置成使用所述第一目标块搜索所述第一目标块的分像素精度运动矢量；以及
编码单元，其配置成将所述第二运动预测和补偿单元搜索到的分像素精度运动矢量的信息编码为所述第一目标块的运动矢量的信息。
7.如权利要求6所述的图像处理设备，其中所述第二运动预测和补偿单元使用相邻于所述第一目标块并已经过编码的相邻块的运动矢量信息来生成分像素精度运动矢量的预测值，并且其中所述编码单元将分像素精度运动矢量的信息和所述预测值之间的差编码为所述第一目标块的运动矢量信息。
8.如权利要求7所述的图像处理设备，其中所述第二运动预测和补偿单元生成不同于所述帧的编码帧的协同定位块和相邻于所述协同定位块的块的运动矢量信息，或者使用所述协同定位块和所述相邻块的所述运动矢量信息生成分像素精度运动矢量的预测值，其中，所述协同定位块位于与所述第一目标块对应的位置，并且其中所述编码单元将分像素精度运动矢量的信息和所述预测值之间的差编码为所述第一目标块的运动矢量信息。
9.如权利要求6所述的图像处理设备，其中在所述第一目标块的大小为16×16像素大小时如果分像素精度运动矢量的预测值为0并且所有正交变换系数为0，则所述编码单元仅将指示所述第一目标块为模板跳转块的标记编码为所述第一目标块的运动矢量信息。
10.如权利要求6所述的图像处理设备，进一步包括：
第三运动预测和补偿单元，其配置成使用所述帧的第二目标块搜索所述第二目标块的运动矢量；以及
图像选择单元，其配置成从基于第一运动预测和补偿单元或第二运动预测和补偿单元搜索到的运动矢量的预测图像和基于第三运动预测和补偿单元搜索到的运动矢量的预测图像中选择一个。
11.如权利要求10所述的图像处理设备，其中在执行算术编码时，所述编码单元针对作为第一运动预测和补偿单元和第二运动预测和补偿单元的目标的第一目标块定义第一背景以及针对作为第三运动预测和补偿单元的目标的第二目标块定义第二背景，并且其中所述编码单元使用所述第一背景对所述第一目标块的运动矢量的信息进行编码以及使用所述第二背景对所述第二目标块的运动矢量的信息进行编码。
12.如权利要求10所述的图像处理设备，其中在执行算术编码时，所述编码单元定义一个背景，并且其中所述编码单元使用所述背景对所述第一目标块的运动矢量的信息和所述第二目标块的运动矢量的信息进行编码。
13.如权利要求10所述的图像处理设备，其中在执行算术编码时，所述编码单元针对具有整像素精度的运动矢量的信息定义第一背景以及针对分像素精度运动矢量的信息定义第二背景，并且其中所述编码单元使用所述第二背景对所述第一目标块的运动矢量的信息中的分像素精度运动矢量的信息进行编码，并且其中所述编码单元使用所述第一背景对所述第二目标块的运动矢量的信息中的具有整像素精度的运动矢量的信息进行编码并且使用所述第二背景对具有分像素精度的运动矢量的信息进行编码。
14.一种用于图像处理设备的图像处理方法，所述方法包括以下步骤：
使用以预定位置关系相邻于目标块并且从解码图像生成的模板搜索帧的目标块的整像素精度运动矢量；
使用所述目标块搜索所述目标块的分像素精度运动矢量；以及
将搜索到的分像素精度运动矢量的信息编码为所述目标块的运动矢量的信息。
CN2009801253546A 2008-07-01 2009-07-01 图像处理设备和图像处理方法 Pending CN102077596A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008172269A JP2010016453A (ja) 2008-07-01 2008-07-01 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
JP2008-172269 2008-07-01
PCT/JP2009/062026 WO2010001916A1 (ja) 2008-07-01 2009-07-01 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN102077596A true CN102077596A (zh) 2011-05-25

Family

ID=41466008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801253546A Pending CN102077596A (zh) 2008-07-01 2009-07-01 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (1) US20110103486A1 (zh)
JP (1) JP2010016453A (zh)
CN (1) CN102077596A (zh)
WO (1) WO2010001916A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102823251A (zh) * 2010-03-31 2012-12-12 Jvc建伍株式会社 动图像编码装置、动图像编码方法及动图像编码程序、以及动图像解码装置、动图像解码方法及动图像解码程序
CN108063943A (zh) * 2011-10-17 2018-05-22 株式会社Kt 用解码装置对待解码的具有当前块的视频信号解码的方法
CN108235007A (zh) * 2016-12-12 2018-06-29 上海天荷电子信息有限公司 各模式使用不同精度同种编码参数的数据压缩方法和装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036692B2 (en) 2010-01-18 2015-05-19 Mediatek Inc. Motion prediction method
EP2526697A1 (en) * 2010-01-19 2012-11-28 Thomson Licensing Methods and apparatus for reduced complexity template matching prediction for video encoding and decoding
JP5281597B2 (ja) * 2010-02-04 2013-09-04 日本電信電話株式会社 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム
JP5281596B2 (ja) * 2010-02-04 2013-09-04 日本電信電話株式会社 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム
US9237355B2 (en) 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
US9628788B2 (en) 2010-03-16 2017-04-18 Thomson Licensing Methods and apparatus for implicit adaptive motion vector predictor selection for video encoding and decoding
JP5304708B2 (ja) * 2010-03-31 2013-10-02 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP5304709B2 (ja) * 2010-03-31 2013-10-02 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法及び動画像復号プログラム
CN102300088B (zh) * 2010-06-25 2013-11-06 财团法人工业技术研究院 画面内预测模式最佳化方法与图像压缩方法以及装置
US10327008B2 (en) * 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
JP2012151576A (ja) * 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
EA201492099A1 (ru) * 2012-05-14 2015-04-30 Лука Россато Разложение остаточных данных при кодировании, декодировании и реконструкции сигнала в многоуровневой иерархии
JP6168365B2 (ja) * 2012-06-12 2017-07-26 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
CN115842912A (zh) * 2018-08-04 2023-03-24 抖音视界有限公司 不同解码器侧运动矢量推导模式之间的交互
CN111010569B (zh) 2018-10-06 2023-02-28 北京字节跳动网络技术有限公司 Bio中的时间梯度计算的改善
JP2023517695A (ja) * 2020-03-12 2023-04-26 インターデジタル ブイシー ホールディングス フランス ビデオ符号化及び復号化のための方法並びに装置
CN113873244B (zh) * 2020-06-30 2023-10-20 华为技术有限公司 一种系数编解码方法和系数编解码装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1547854A (zh) * 2001-11-16 2004-11-17 株式会社Ntt都科摩 图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号,以及图像传送系统
CN1658673A (zh) * 2005-03-23 2005-08-24 南京大学 视频压缩编解码方法
JP2005318497A (ja) * 2003-12-26 2005-11-10 Ntt Docomo Inc 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2007067551A (ja) * 2005-08-29 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> 動きベクトル推定方法，動きベクトル推定装置，動きベクトル推定プログラムおよび動きベクトル推定プログラム記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6202344B1 (en) * 1998-07-14 2001-03-20 Paul W. W. Clarke Method and machine for changing agricultural mulch
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates
US7408988B2 (en) * 2002-12-20 2008-08-05 Lsi Corporation Motion estimation engine with parallel interpolation and search hardware
AU2003282462A1 (en) * 2003-10-09 2005-05-26 Thomson Licensing Direct mode derivation process for error concealment
JP2006020095A (ja) * 2004-07-01 2006-01-19 Sharp Corp 動きベクトル検出回路、画像符号化回路、動きベクトル検出方法および画像符号化方法
KR20070046852A (ko) * 2004-08-13 2007-05-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 혼합된 그래픽 및 비디오 소스의 압축을 위한 시스템 및방법
US8284837B2 (en) * 2004-09-16 2012-10-09 Thomson Licensing Video codec with weighted prediction utilizing local brightness variation
EP1871117B1 (en) * 2005-04-01 2011-03-09 Panasonic Corporation Image decoding apparatus and image decoding method
JP4551814B2 (ja) * 2005-05-16 2010-09-29 Ｏｋｉセミコンダクタ株式会社 無線通信装置
JP4686280B2 (ja) * 2005-07-06 2011-05-25 株式会社東芝 動画像符号化装置
KR100711878B1 (ko) * 2005-08-30 2007-04-25 삼성에스디아이 주식회사 레이저 열 전사 장치 및 레이저 열 전사 방법
US8170102B2 (en) * 2005-12-19 2012-05-01 Seiko Epson Corporation Macroblock homogeneity analysis and inter mode prediction
WO2007092215A2 (en) * 2006-02-02 2007-08-16 Thomson Licensing Method and apparatus for adaptive weight selection for motion compensated prediction
CN103747263B (zh) * 2006-04-28 2017-03-01 株式会社Ntt都科摩 图像预测编码装置和方法以及图像预测解码装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1547854A (zh) * 2001-11-16 2004-11-17 株式会社Ntt都科摩 图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号,以及图像传送系统
JP2005318497A (ja) * 2003-12-26 2005-11-10 Ntt Docomo Inc 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
CN1658673A (zh) * 2005-03-23 2005-08-24 南京大学 视频压缩编解码方法
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2007067551A (ja) * 2005-08-29 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> 動きベクトル推定方法，動きベクトル推定装置，動きベクトル推定プログラムおよび動きベクトル推定プログラム記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102823251A (zh) * 2010-03-31 2012-12-12 Jvc建伍株式会社 动图像编码装置、动图像编码方法及动图像编码程序、以及动图像解码装置、动图像解码方法及动图像解码程序
CN102823251B (zh) * 2010-03-31 2015-08-12 Jvc建伍株式会社 动图像编码装置、动图像编码方法及动图像编码程序、以及动图像解码装置、动图像解码方法及动图像解码程序
CN108063943A (zh) * 2011-10-17 2018-05-22 株式会社Kt 用解码装置对待解码的具有当前块的视频信号解码的方法
CN108063943B (zh) * 2011-10-17 2021-11-02 株式会社Kt 用解码装置对待解码的具有当前块的视频信号解码的方法
CN108235007A (zh) * 2016-12-12 2018-06-29 上海天荷电子信息有限公司 各模式使用不同精度同种编码参数的数据压缩方法和装置
CN108235007B (zh) * 2016-12-12 2023-06-27 上海天荷电子信息有限公司 各模式使用不同精度同种编码参数的数据压缩方法和装置

Also Published As

Publication number Publication date
US20110103486A1 (en) 2011-05-05
JP2010016453A (ja) 2010-01-21
WO2010001916A1 (ja) 2010-01-07

Similar Documents

Publication Publication Date Title
CN102077596A (zh) 图像处理设备和图像处理方法
CN102792688B (zh) 用于视频的数据压缩
KR100927510B1 (ko) 가변 길이 부호화 방법, 가변 길이 부호화 장치 및 기억 매체
CN102172027B (zh) 有效率的预测模式选择
CN102077595A (zh) 图像处理装置和方法
US8204136B2 (en) Image encoding apparatus
WO2010001918A1 (ja) 画像処理装置および方法、並びにプログラム
US8948243B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
CN102833532B (zh) 用于对数字视频数据进行编码的方法和数字视频编码器系统
JP5173409B2 (ja) 符号化装置および符号化装置を備えた動画像記録システム
CN102415098B (zh) 图像处理设备和方法
US8165411B2 (en) Method of and apparatus for encoding/decoding data
CN101854545A (zh) 用于视频编码器中的帧内预测的方法和设备
CN104041048A (zh) 利用跳过模式进行视频编码和解码的方法和设备
US8149918B2 (en) Method of estimating coded block pattern and method of determining block mode using the same for moving picture encoder
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
CN102160384A (zh) 图像处理设备和方法
CN102077599B (zh) 用于视频编码器中的高质量帧内模式预测的设备和方法
CN102986211A (zh) 视频编码中的速率控制
CN102422643A (zh) 图像处理装置、方法和程序
CN102318346A (zh) 图像处理设备和方法
JP2012034213A (ja) 画像処理装置、画像処理システムおよび画像処理方法
CN101554058B (zh) 基于帧内预测进行编码和解码的方法和装置
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
CN102396232A (zh) 图像处理装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110525