CN102077595A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN102077595A
CN102077595A CN2009801252967A CN200980125296A CN102077595A CN 102077595 A CN102077595 A CN 102077595A CN 2009801252967 A CN2009801252967 A CN 2009801252967A CN 200980125296 A CN200980125296 A CN 200980125296A CN 102077595 A CN102077595 A CN 102077595A
Authority
CN
China
Prior art keywords
motion vector
frame
prediction
predicted
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801252967A
Other languages
English (en)
Inventor
佐藤数史
矢崎阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102077595A publication Critical patent/CN102077595A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及使得可以防止压缩效率降低而不增加计算复杂度的图像处理装置和方法。帧内TP运动预测/补偿单元(75)使用来自屏幕重新布置缓冲器(62)的要进行帧内预测的图像以及来自帧存储器(72)的参考图像、在以由帧内预测运动向量生成单元(76)生成的预测运动向量信息作为搜索中心的预定搜索范围内执行运动预测。帧间TP运动预测/补偿单元(78)使用来自屏幕重新布置缓冲器(62)的要进行帧间编码的图像以及来自帧存储器(72)的参考图像、在以由帧间预测运动向量生成单元(79)生成的预测运动向量信息作为搜索中心的预定搜索范围内执行运动预测。本发明可以例如应用于使用H.264/AVC格式对图像进行编码的图像编码装置。

Description

图像处理装置和方法
技术领域
本发明涉及图像处理装置和方法，更具体而言，涉及防止压缩效率降低而不增加计算复杂度的图像处理装置和方法。
背景技术
近年来，以诸如MPEG(运动图像专家组)2或H.264和MPEG-4Part10(高级视频编码)(在下文中，记作H.264/AVC)的格式编码和压缩、以分组方式传送以及在接收端解码图像的技术得以发展。这允许用户观看高质量运动图像。
顺带提及，在MPEG2格式中，通过线性插值处理执行具有1/2像素精度的运动预测/补偿处理。在H.264/AVC格式中，执行使用6抽头FIR滤波器(有限冲激响应滤波器)的具有1/4像素精度的预测/补偿处理。
另外，在MPEG2格式中，在帧运动补偿模式的情形中，在16×16个像素单位中执行运动预测/补偿处理，在场运动补偿模式的情形中，对第一场和第二场中的每个场在16×8个像素单位中执行运动预测/补偿处理。
相比而言，在H.264/AVC格式中，可以在使块尺寸可变化的情况下执行运动预测/补偿。即，在H.264/AVC格式中，可以把由16×16个像素构成的单个宏块划分成16×16、16×8、8×16以及8×8分块中的一种，每种都具有独立的运动向量信息。另外，对于8×8分块，可以把该分块划分成8×8、8×4、4×8以及4×4子分块中的一种，每种都具有独立的运动向量信息。
然而，在H.264/AVC格式中，执行上述1/4像素精度，可变块运动预测/补偿导致生成大量运动向量信息，按原样对其进行编码导致编码效率降低。
因此，提出了以下方法：从解码图像中找到与模板区域中的解码图像相关性高的图像区域(该图像区域以预定位置关系与要编码图像的区域相邻，并且是解码图像的一部分)，以及基于找到的区域和预定位置关系来执行预测(见PTL 1)。
由于此方法把解码图像用于匹配，所以通过预先设置搜索范围，可以在编码装置中以及在解码装置中执行同样的处理。即，通过在解码装置中也执行如上所述的预测/补偿处理，无需在来自编码装置的图像压缩信息中包括运动向量信息，从而使得可以防止编码效率降低。
引用列表
专利文献
PTL 1：日本待审查专利申请公开No.2007-43651
发明内容
技术问题
如上所述，根据PTL 1的技术不仅在编码装置中也在解码装置中需要预测/补偿处理。此时，为了确保良好的编码效率，需要足够大的搜索范围。然而，搜索范围增加引起计算复杂度增加，不仅在编码装置中还在解码装置中均如此。
本发明是鉴于以上状况做出的，旨在防止压缩效率降低而不增加计算复杂度。
技术方案
根据本发明一方面的图像处理装置包括：预测运动向量生成单元，生成帧中的第一当前块的运动向量的预测值；以及第一运动预测/补偿单元，在围绕由预测运动向量生成单元生成的运动向量的预测值的预定搜索范围内、使用第一模板来计算第一当前块的运动向量，第一模板以预定位置关系与第一当前块相邻，是根据解码图像生成的。
预测运动向量生成单元可以使用相邻块的运动向量的信息来生成第一当前块的运动向量的预测值，所述相邻块是先前编码的块，是与第一当前块相邻的块。
预测运动向量生成单元可以使用针对帧内的相邻块计算出的运动向量的信息来生成第一当前块的运动向量的预测值。
如果不存在针对帧内的相邻块计算出的运动向量的信息，则预测运动向量生成单元可以通过把相邻块的运动向量的信息设置为0来生成第一当前块的运动向量的预测值。
如果不存在针对帧内的相邻块计算出的运动向量的信息，则预测运动向量生成单元可以使用通过参考与该帧不同的先前编码的帧针对所述相邻块计算出的运动向量的信息来生成第一当前块的运动向量的预测值。
如果先前编码的帧的信息大于预定值，则预测运动向量生成单元可以禁止使用通过参考先前编码的帧针对相邻块计算出的运动向量的信息。
如果不存在针对该帧内的相邻块计算出的运动向量的信息，则第一运动预测/补偿单元可以使用第二模板来计算相邻块的运动向量，第二模板以预定位置关系与相邻块中的每一个相邻块相邻并且是根据解码图像生成的；以及预测运动向量生成单元使用由第一运动预测/补偿单元计算出的相邻块的运动向量的信息来生成第一当前块的运动向量的预测值。
图像处理装置可以进一步包括帧内预测单元，帧内预测单元根据帧内的解码图像来预测帧中的第二当前块的像素值。
预测运动向量生成单元可以使用通过参考与该帧不同的先前编码的帧针对相邻块计算出的运动向量的信息来生成第一当前块的运动向量的预测值。
如果不存在通过参考先前编码的帧针对相邻块计算出的运动向量的信息，则预测运动向量生成单元可以通过把相邻块的运动向量的信息设置为0来生成第一当前块的运动向量的预测值。
如果不存在通过参考先前编码的帧针对相邻块计算出的运动向量的信息，则预测运动向量生成单元可以使用针对帧内的相邻块计算出的运动向量的信息来生成第一当前块的运动向量的预测值。
如果不存在通过参考先前编码的帧针对相邻块计算出的运动向量的信息，则第一运动预测/补偿单元可以使用第二模板来计算相邻块的运动向量，所述第二模板以预定位置关系与相邻块中的每一个相邻，是根据解码图像生成的；以及预测运动向量生成单元可以使用由第一运动预测/补偿单元计算出的相邻块的运动向量的信息来生成第一当前块的运动向量的预测值。
图像处理装置可以进一步包括：解码单元，对运动向量的编码信息进行解码；以及第二运动预测/补偿单元，使用由解码单元解码出的帧中的第二当前块的运动向量来生成预测图像。
预测运动向量生成单元可以使用相邻块的运动向量的信息、相同位置块以及与相同位置块相邻的块的运动向量的信息、或者相同位置块和相邻块的运动向量的信息来生成第一当前块的运动向量的预测值，相邻块是先前编码的块并且是与第一当前块相邻的块，相同位置块是与该帧不同的先前编码的帧中的块并且是与第一当前块处于相同位置的块。
如果不存在通过参考先前编码的帧针对相邻块计算出的运动向量的信息，则预测运动向量生成单元可以通过把相邻块的运动向量的信息设置为0来生成第一当前块的运动向量的预测值。
如果不存在通过参考先前编码的帧针对相邻块计算出的运动向量的信息，则预测运动向量生成单元可以使用针对帧内的相邻块计算出的运动向量的信息来生成第一当前块的运动向量的预测值。
如果不存在通过参考先前编码的帧针对相邻块计算出的运动向量的信息，则第一运动预测/补偿单元可以使用第二模板来计算相邻块的运动向量，第二模板以预定位置关系与相邻块中的每个相邻块相邻，是根据解码图像生成的；以及预测运动向量生成单元可以使用由第一运动预测/补偿单元计算出的相邻块的运动向量的信息来生成第一当前块的运动向量的预测值。
图像处理装置可以进一步包括：解码单元，对运动向量的编码信息进行解码；以及第二运动预测/补偿单元，使用由解码单元解码出的帧中的第二当前块的运动向量来生成预测图像。
根据本发明一方面的图像处理方法包括由图像处理装置执行的以下步骤：生成帧中的当前块的运动向量的预测值；以及在围绕所生成的运动向量的预测值的预定搜索范围内、使用模板来计算当前块的运动向量，所述模板以预定位置关系与当前块相邻，是根据解码图像生成的。
根据本发明的一方面，生成帧中的当前块的运动向量的预测值，在围绕所生成的运动向量的预测值的预定搜索范围内、使用模板来计算当前块的运动向量，模板以预定位置关系与当前块相邻，是根据解码图像生成的。
有益效果
如上所述，根据本发明的一方面，可以编码或解码图像。另外，根据本发明的一方面，可以防止压缩效率降低而不增加计算复杂度。
附图说明
图1是示出应用了本发明的图像编码装置的实施例的配置的框图。
图2是说明可变块尺寸运动预测/补偿处理的图。
图3是说明具有1/4像素精度的运动预测/补偿处理的图。
图4是说明图1中的图像代码是装置的编码处理的流程图。
图5是说明图4的步骤S21中的预测处理的流程图。
图6是说明16×16像素的帧内预测模式的情形中处理次序的图。
图7是示出亮度信号的4×4像素的多种帧内预测模式的图。
图8是示出亮度信号的4×4像素的多种帧内预测模式的图。
图9是说明4×4像素的帧内预测的方向的图。
图10是说明4×4像素的帧内预测的图。
图11是说明亮度信号的4×4像素的帧内预测模式的编码的图。
图12是示出亮度信号的16×16像素的多种帧内预测模式的图。
图13是示出亮度信号的16×16像素的多种帧内预测模式的图。
图14是说明16×16像素的帧内预测的图。
图15是示出色度信号的多种帧内预测模式的图。
图16是说明图5的步骤S31中的帧内预测处理的流程图。
图17是说明图5的步骤S32中的帧间运动预测处理的流程图。
图18是说明生成运动向量信息的方法的示例的图。
图19是说明生成运动向量信息的方法的另一示例的图。
图20是说明图5的步骤S33中的帧内模板运动预测处理的流程图。
图21是说明帧内模板匹配格式的图。
图22是说明图5的步骤S35中的帧间模板运动预测处理的流程图。
图23是说明帧间模板匹配格式的图。
图24是示出应用了本发明的图像解码装置的实施例的配置的框图。
图25是说明图24中的图像解码装置中的解码处理的流程图。
图26是说明图25中的步骤S138中的预测处理的流程图。
图27是说明帧内运动预测的图。
具体实施方式
在下文中，将参照附图描述本发明的实施例。
图1示出了根据本发明的图像编码装置的实施例的配置。图像编码装置51包括A/D转换单元61、屏幕重新布置缓冲器62、计算单元63、正交变换单元64、量化单元65、可逆编码单元66、累积缓冲器67、逆量化单元68、逆正交变换单元69、计算单元70、去块失真滤波器71、帧存储器72、开关73、帧内预测单元74、帧内模板运动预测/补偿单元75、帧内预测运动向量生成单元76、运动预测/补偿单元77、帧间模板运动预测/补偿单元78、帧间预测运动向量生成单元79、预测图像选择单元80以及速率控制单元81。
应该注意，在下文中，将把帧内模板运动预测/补偿单元75和帧间模板运动预测/补偿单元78分别称作帧内TP运动预测/补偿单元75和帧间TP运动预测/补偿单元78。
图像编码装置51以例如H.264和MPEG-4 Part10(高级视频编码)(在下文中，记作H.264/AVC)格式压缩和编码图像。
在H.264/AVC格式中，在使得块尺寸可变的情况下执行运动预测/补偿。即，在H.264/AVC格式中，如图2中所示，可以把由16×16个像素构建的单个宏块划分成16×16像素、16×8像素、8×16像素以及8×8像素分块中的一种，每种都具有独立的运动向量信息。另外，对于8×8像素分块，如图2中所示，可以把该分块划分成8×8像素、8×4像素、4×8像素以及4×4像素子分块中的一种，每种都有独立的运动向量信息。
另外，在H.264/AVC格式中，执行使用6抽头FIR滤波器(有限冲激响应滤波器)的具有1/4像素精度的预测/补偿处理。参照图3，描述H.264/AVC格式中具有十进制像素精度的预测/补偿处理。
在图3中的示例中，位置A表示整数精度像素的位置，位置b、c以及d表示1/2像素精度的位置，位置e1、e2以及e3表示1/4像素精度的位置。首先，在下文种，如下面表达式(1)中那样限定函数Clip( )。
[等式1]
Figure BPA00001283980500071
应该注意，当输入图像具有8比特精度时，max_pix(最大像素值)的值是255。
通过使用6抽头FIR滤波器，如下面表达式(2)中那样生成位置b和d中每个位置的像素值。
[等式2]
F＝A-2-5·A-1+20·A0+20·A1-5·A2+A3
b，d＝Clip1((F+16)＞＞5)                    (2)
通过在水平方向上和竖直方向上应用6抽头FIR滤波器，如下面表达式(3)中那样生成位置c的像素值。
[等式3]
F＝b-2-5·b-1+20·b0+20·b1-5·b2+b3
或者
F＝d-2-5·d-1+20·d0+20·d1-5·d2+d3
c＝Clip1((F+512)＞＞10)                     (3)
应该注意，在执行水平方向上和竖直方向上的乘积求和处理之后的结束时只执行一次Clip处理。
如下面表达式(4)中那样通过线性插值生成位置e1至e3。
[等式4]
e1＝(A+b+1)＞＞1
e2＝(b+d+1)＞＞1
e3＝(b+c+1)＞＞1                            (4)
回到图1，A/D转换单元61对输入的图像执行A/D转换，以及把得到的图像输出到屏幕重新布置缓冲器62以存储。屏幕重新布置缓冲器62根据GOP(画面组)把按帧显示次序存储的图像重新布置成用于编码的帧次序。
计算单元63从自屏幕重新布置缓冲器62读取的图像中减去由预测图像选择单元80选择的、来自帧内预测单元74的预测图像或者来自运动预测/补偿单元77的预测图像，并且把所得到的差信息输出到正交变换单元64。正交变换单元64对来自计算单元63的差信息应用正交变换，诸如离散余弦变换或Karhunen Loeve变换(卡洛变换)等，并且输出所得到的变换系数。量化单元65对由正交变换单元64输出的变换系数进行量化。
量化后的变换系数(作为量化单元65的输出)被输入到可逆编码单元66，其中，变换系数经过可逆编码诸如可变长度编码或算术编码等，并被压缩。应该注意，压缩后的图像在累积缓冲器67中累积之后输出。速率控制单元81基于累积缓冲器67中累积的压缩后的图像来控制量化单元65的量化操作。
另外，从量化单元65输出的量化后的变换系数还被输入到逆量化单元68，以及在逆量化之后，进一步在逆正交变换单元69中经过逆正交变换。计算单元70把逆正交变换后的输出与从预测图像选择单元80提供的预测图像相加，得到局部解码后的图像。在消除解码图像中的块失真之后，去块失真滤波器71把得到的图像提供给帧存储器72用于累积。把去块失真滤波器71所进行的去块失真滤波处理以前的图像也提供给帧存储器72用于累积。
开关73把帧存储器72中累积的参考图像输出到运动预测/补偿单元77或帧内预测单元74。
在图像编码装置51中，例如，把来自屏幕重新布置缓冲器62的I画面、B画面以及P画面提供给帧内预测单元74作为经过帧内预测(也称作帧内处理)的图像。另外，把从屏幕重新布置缓冲器62读取的B画面和P画面提供给运动预测/补偿单元77作为经过帧间预测(也称作帧间处理)的图像。
帧内预测单元74基于从屏幕重新布置缓冲器62读取的要进行帧内预测的图像以及从帧存储器72提供的参考图像、以所有候选帧内预测模式执行帧内预测处理，从而生成预测图像。
另外，帧内预测单元74把从屏幕重新布置缓冲器62读取的要进行帧内预测的图像以及经由开关73从帧存储器72提供的参考图像提供给帧内TP运动预测/补偿单元75。
帧内预测单元74计算所有候选帧内预测模式的成本函数值。帧内预测单元74把计算出的成本函数值、以及由帧内TP运动预测/补偿单元75计算出的帧内模板预测模式的成本函数值中给出最小值的预测模式确定为最优帧内预测模式。
帧内预测单元74把以最优帧内预测模式生成的预测图像及其成本函数值提供给预测图像选择单元80。如果最优帧内预测模式生成的预测图像被预测图像选择单元80选中，则帧内预测单元74把最优帧内预测模式的信息提供给可逆编码单元66。可逆编码单元66对此信息进行编码以用作压缩图像中头信息的一部分。
帧内TP运动预测/补偿单元75基于从屏幕重新布置缓冲器62读取的要进行帧内预测的图像以及从帧存储器72提供的参考图像以帧内模板预测模式执行运动预测和补偿处理，从而生成预测图像。这时，帧内TP运动预测/补偿单元75在围绕由帧内预测运动向量生成单元76生成的预测运动向量信息的预定搜索范围内执行运动预测。即，在帧内TP运动预测/补偿单元75中，在以预测运动向量信息为中心的预定搜索范围内执行运动预测。
把通过以帧内模板预测模式进行的运动预测来计算出的运动向量信息(在下文中，也称作帧内运动向量信息)存储到帧内TP运动预测/补偿单元75的内置存储器(未示出)中。
另外，帧内TP运动预测/补偿单元75计算帧内模板预测模式的成本函数值，以及把计算出的函数值以及预测图像提供给帧内预测单元74。
帧内预测运动向量生成单元76通过使用在帧内TP运动预测/补偿单元75的内置存储器中存储的先前编码的块的帧内运动向量信息来生成当前块的预测运动向量信息(在下文中，也在适当时称作运动向量的预测值)。为了预测运动向量信息的生成，例如，使用与当前块相邻的块的帧内运动向量信息。
运动预测/补偿单元77以所有候选帧间预测模式执行运动预测/补偿处理。即，运动预测/补偿单元77基于从屏幕重新布置缓冲器62读取的要进行帧间预测的图像以及经由开关73从帧存储器72提供的参考图像、以所有候选帧间预测模式检测运动向量，以及基于运动向量对参考图像应用运动预测和补偿处理，从而生成预测图像。
另外，运动预测/补偿单元77把从屏幕重新布置缓冲器62读取的要进行帧间预测的图像以及经由开关73从帧存储器72提供的参考图像提供给帧间TP运动预测/补偿单元78。
运动预测/补偿单元77计算所有候选帧间预测模式的成本函数值。运动预测/补偿单元77把帧间预测模式的计算出的成本函数值以及由帧间TP运动预测/补偿单元78计算出的帧间模板预测模式的成本函数值中给出最小值的预测模式确定为最优帧间预测模式。
运动预测/补偿单元77把以最优帧间预测模式生成的预测图像及其成本函数值提供给预测图像选择单元80。如果以最优帧间预测模式生成的预测图像被预测图像选择单元80选中，则运动预测/补偿单元77把最优帧间预测模式的信息以及根据最优帧间预测模式的信息(运动向量信息、参考帧信息等)提供给可逆编码单元66。可逆编码单元66类似地对来自运动预测/补偿单元77的信息应用可逆编码处理，诸如可变长度编码和算术编码等，以及把得到的信息插入到压缩图像的头部中。
帧间TP运动预测/补偿单元78基于从屏幕重新布置缓冲器62读取的要进行帧间预测的图像、以及从帧存储器72提供的参考图像以帧间模板预测模式执行运动预测和补偿处理，从而生成预测图像。这时，帧间TP运动预测/补偿单元78在围绕由帧间预测运动向量生成单元79生成的预测运动向量信息的预定搜索范围内执行运动预测。即，在帧间TP运动预测/补偿单元78中，在以预测运动向量信息为中心的预定搜索范围内执行运动预测。
把通过以帧间模板预测模式进行的运动预测计算出的运动向量信息(在下文中，也称作帧间运动向量信息)存储到帧间TP运动预测/补偿单元78的内置存储器(未示出)中。
另外，帧间TP运动预测/补偿单元78计算帧间模板预测模式的成本函数值，以及把计算出的函数值以及预测图像提供给运动预测/补偿单元77。
帧间预测运动向量生成单元79通过使用在帧间TP运动预测/补偿单元78的内置存储器中存储的先前编码的块的帧间运动向量信息，来生成当前块的预测运动向量信息。为了预测运动向量信息的生成，例如，使用与当前块相邻的块的帧间运动向量信息。
预测图像选择单元80基于从帧内预测单元74或运动预测/补偿单元77输出的成本函数值，从最优帧内预测模式和最优帧间预测模式之中确定最优预测模式。预测图像选择单元80选择所确定出的最优预测模式的预测图像，以及把预测图像提供给计算单元63和70。此时，预测图像选择单元80把预测图像的选择信息提供给帧内预测单元74或运动预测/补偿单元77。
速率控制单元81基于累积缓冲器67中累积的压缩图像来控制量化单元65的量化操作的速率，以使得不出现上溢或下溢。
接下来，参照图4中的流程图，将描述图1中图像编码装置51的编码处理。
在步骤S11中，A/D转换单元61对输入图像执行A/D转换。在步骤S12中，屏幕重新布置缓冲器62存储从A/D转换单元61提供的每个图像，以及执行从显示画面的次序到编码画面的次序的重新布置。
在步骤S13中，计算单元63计算在步骤S12中重新布置后的每个图像与预测图像之间的差。在执行帧间预测的情形中从运动预测/补偿单元77以及在执行帧内预测的情形中从帧内预测单元74经由预测图像选择单元80把预测图像提供给计算单元63。
差数据的数据尺寸相比于原始数据图像而言较小。因此，相比于按原样编码图像的情况可以压缩数据尺寸。
在步骤S14中，正交变换单元64对从计算单元63提供的差信息执行正交变换。更具体地，执行诸如离散余弦变换或Karhunen Loeve变换等的正交变换，并输出变换系数。在步骤S15中，量化单元65对变换系数进行量化。在此量化中，如后面将在步骤S25的处理中描述的那样，控制速率。
以如下方式对如上所述量化后的差信息进行局部解码。即，在步骤S16中，逆量化单元68根据与量化单元65的特性相对应的特性对由量化单元65量化后的变换系数执行逆量化。在步骤S17中，逆正交变换单元69根据与正交变换单元64的特性相对应的特性对由逆量化单元68逆量化后的变换系数执行逆正交变换。
在步骤S18中，把经由预测图像选择单元80输入的预测图像与局部解码后的差信息相加，从而生成局部解码后的图像(对应于到计算单元63的输入)。在步骤S19中，去块失真滤波器71对由计算单元70输出的图像执行滤波。因此移除了块失真。在步骤S20中，帧存储器72存储滤波后的图像。应该注意，未被去块失真滤波器71滤波的图像也被从计算单元70提供给帧存储器72用于存储。
在步骤S21中，帧内预测单元74、帧内TP运动预测/补偿单元75、运动预测/补偿单元77以及帧间TP运动预测/补偿单元78各自执行图像预测处理。即，在步骤S21中，帧内预测单元74以帧内预测模式执行帧内预测处理，帧内TP运动预测/补偿单元75以帧内模板预测模式执行运动预测/补偿处理。另外，运动预测/补偿单元77以帧间预测模式执行运动预测/补偿处理，帧间TP运动预测/补偿单元78以帧间模板预测模式执行运动预测/补偿处理。
虽然步骤S21中预测处理的细节将在后面参照图5描述，但通过此处理，执行所有候选预测模式的预测处理，以及计算所有候选预测模式的成本函数值。随后，基于计算出的成本函数值，选择最优帧内预测模式，以及把通过以最优帧内预测模式进行的帧内预测生成的预测图像及其成本函数值提供给预测图像选择单元80。另外，基于计算出的成本函数值，从帧间预测模式和帧间模板预测模式之中确定最优帧间预测模式，以及把以最优帧间预测模式生成的预测图像及其成本函数值提供给预测图像选择单元80。
在步骤S22中，预测图像选择单元80基于由帧内预测单元74和运动预测/补偿单元77输出的成本函数值、把最优帧间预测模式和最优帧内预测模式中的一个确定为最优预测模式，选择所确定出的最优预测模式下的预测图像，以及把预测图像提供给计算单元63和70。如上所述，此预测图像用于步骤S13和S18中的计算。
应该注意，此预测图像的选择信息被提供给帧内预测单元74或运动预测/补偿单元77。当选择最优帧内预测模式下的预测图像时，帧内预测单元74把最优帧内预测模式的信息(即，帧内预测模式信息或帧内模板预测模式信息)提供给可逆编码单元66。
当选择最优帧间预测模式下的预测图像时，运动预测/补偿单元77把最优帧间预测模式的信息、以及根据最优帧间预测模式的信息(诸如，运动向量信息和参考帧信息等)提供给可逆编码单元66。即，当选择帧间预测模式下的预测图像作为最优帧间预测模式时，运动预测/补偿单元77把帧间预测模式信息、运动向量信息以及参考帧信息输出到可逆编码单元66。另一方面，当选择帧间预测模式的预测图像作为最优帧间预测模式时，运动预测/补偿单元77把帧间模板预测模式信息输出到可逆编码单元66。
在步骤S23中，可逆编码单元66对由量化单元65输出的量化后的变化系数进行编码。即，差图像经受可逆编码(诸如可变长度编码或算术编码等)并被压缩。此时，在上述步骤S22中输入到可逆编码单元66的、来自帧内预测单元74的最优帧内预测模式的信息、来自运动预测/补偿单元77的根据最优帧间预测模式的信息(诸如，预测模式信息、运动向量信息以及参考帧信息)等也被编码并附加到头信息。
在步骤S24中，累积缓冲器67累积差图像作为压缩图像。在累积缓冲器67中累积的压缩图像在适当时被读取并经由传送路径传送给解码侧。
在步骤S25中，速率控制单元81基于在累积缓冲器67中累积的压缩图像来控制量化单元65的量化操作的速率，以使得不出现上溢或下溢。
接下来，参照图5中的流程图，描述图4中的步骤S21中的预测处理。
如果从屏幕重新布置缓冲器62提供的要处理的图像是要进行帧内处理的块的图像，则要被参考的先前解码的图像被从帧存储器72读取并经由开关73提供给帧内预测单元74。基于这些图像，在步骤S31中，帧内预测单元74以所有候选帧内预测模式对要被处理的块的像素进行帧内预测。应该注意，如要被参考的先前解码的像素那样，使用未由去块失真滤波器71应用去块失真滤波的像素。
虽然步骤S31中帧内预测处理的细节将在后面参照图16描述，但通过此处理，以所有候选帧内预测模式执行帧内预测，以及对所有候选帧内预测模式计算成本函数值。随后，基于计算出的成本函数值，从所有帧内预测模式之中选择被视为最优的一个帧内预测模式。
如果从屏幕重新布置缓冲器62提供的要处理的图像是要进行帧间处理的图像，则要参考的图像被从帧存储器72读取并经由开关73提供给运动预测/补偿单元77。基于这些图像，在步骤S32中，运动预测/补偿单元77执行帧间运动预测处理。也就是说，运动预测/补偿单元77通过参考从帧存储器72提供的图像，以所有候选帧间预测模式执行运动预测处理。
虽然步骤S32中的帧间运动预测处理的细节将在后面参照图17描述，但通过此处理，以所有候选帧间预测模式执行运动预测处理，并对所有候选帧间预测模式计算成本函数值。
另外，如果从屏幕重新布置缓冲器62提供的要处理的图像是要进行帧内处理的块的图像，则从帧存储器72读取的要参考的先前解码的图像还经由帧内预测单元74提供给帧内TP运动预测/补偿单元75。基于这些图像，在步骤S33中，帧内TP运动预测/补偿单元75以帧内模板预测模式执行帧内模板运动预测处理。
虽然步骤S33中的帧内模板运动预测处理的细节将在后面参照图20描述，但通过此处理，以帧内模板预测模式执行运动预测处理，以及对帧内模板预测模式计算成本函数值。随后，把通过以帧内模板预测模式进行的运动预测处理生成的预测图像及其成本函数值提供给帧内预测单元74。
在步骤S34中，帧内预测单元74把步骤S31中选择的帧内预测模式的成本函数值与步骤S33中计算出的帧内模板预测模式的成本函数值相比较，并把给出最小值的预测模式确定为最优帧内预测模式。随后，帧内预测单元74把以最优帧内预测模式生成的预测图像及其成本函数值提供给预测图像选择单元80。
进一步地，如果从屏幕重新布置缓冲器62提供的要处理的图像是要进行帧间处理的图像，则从帧存储器72读取的要参考的图像还经由开关73和运动预测/补偿单元77提供给帧间TP运动预测/补偿单元78。基于这些图像，在步骤S35中，帧间TP运动预测/补偿单元78以帧间模板预测模式执行帧间模板运动预测处理。
虽然步骤S35中的帧间模板运动预测处理的细节将在后面参照图22描述，但通过此处理，以帧间模板预测模式执行运动预测处理，以及对帧间模板预测模式计算成本函数值。随后，把通过以帧间模板预测模式进行的运动预测处理生成的预测图像及其成本函数值提供给运动预测/补偿单元77。
在步骤S36中，运动预测/补偿单元77把在步骤S32中选择的最优帧间预测模式的成本函数值与在步骤S35中计算出的帧间模板预测模式的成本函数值相比较，并把给出最小值的预测模式确定为最优帧间预测模式。随后，运动预测/补偿单元77把以最优帧间预测模式生成的预测图像及其成本函数值提供给预测图像选择单元80。
接下来，描述在H.264/AVC格式中限定的各种帧间预测模式。
首先，将描述亮度信号的帧内预测模式。作为亮度信号的帧内预测模式，存在以4×4像素块为单位的9种预测模式、以及以16×16像素宏块为单位的4种预测模式。如图6中所示，在16×16个像素的帧内预测模式的情形中，各个块的DC(直流)分量被收集以生成4×4矩阵，其进一步经受正交变换。
应该注意，对于高端标准(High Profile)，对第8阶DCT块限定8×8个像素块单位中的预测模式。此格式符合后面描述的4×4个像素的帧内预测模式的格式。
图7和图8是示出了亮度信号的4×4像素的9种帧内预测模式(Intra_4×4_pred_mode)。除了表示均值(DC)预测的模式2之外的8种模式分别对应于由图9中的数字0、1以及3至8表示的方向。
将参照图10描述9种Intra_4×4_pred_mode。在图10中的示例中，像素a至p代表要进行帧内处理的块的像素，像素值A至M代表属于相邻块的像素的像素值。即，像素a至p代表从屏幕重新布置缓冲器62读取的要被处理的图像，像素值A至M代表从帧存储器72读取并被参考的先前解码的图像的像素值。
在图7和图8中的帧内预测模式的情形中，如下通过使用属于相邻块的像素的像素值A至M来生成像素a至p的预测像素值。应该注意，当像素值“可用”时，这表示像素值可用，无需考虑诸如像素在画面帧的边缘或者尚未编码等原因，当像素值“不可用”时，这表示像素值由于诸如像素在画面帧的边缘或者尚未编码等原因而导致不可用。
模式0是竖直预测，只在像素值A至D“可用”时才被应用。在此情形中，如下面表达式(5)中那样生成像素a至p的预测像素值。
像素a、e、i、m的预测像素值＝A
像素b、f、j、n的预测像素值＝B
像素c、g、k、o的预测像素值＝C
像素d、h、l、p的预测像素值＝D            (5)
模式1是水平预测，只在像素值I至L“可用”时才被应用。在此情形中，如下面表达式(6)中那样生成像素a至p的预测像素值。
像素a、b、c、d的预测像素值＝I
像素e、f、g、h的预测像素值＝J
像素i、j、k、l的预测像素值＝K
像素m、n、o、p的预测像素值＝L            (6)
模式2是DC预测，当像素值A、B、C、D、I、J、K以及L均“可用”时，如下面表达式(7)中那样生成预测像素值。
(A+B+C+D+I+J+K+L+4)＞＞3                (7)
另外，当像素值A、B、C以及D均“不可用”时，如下面表达式(8)中那样生成预测像素值。
(I+J+K+L+2)＞＞2                        (8)
另外，当像素值I、J、K以及L均“不可用”时，如下面表达式(9)中那样生成预测像素值。
(A+B+C+D+2)＞＞2                        (9)
应该注意，当像素值A、B、C、D、I、J、K以及L均“不可用”时，使用128作为预测像素值。
模式3是Diagonal_Down_Left(对角线_下_左)预测，只在像素值A、B、C、D、I、J、K、L以及M均“可用”时被应用。在此情形中，如下面表达式(10)中那样生成像素a至p的预测像素值。
像素a的预测像素值＝(A+2B+C+2)＞＞2
像素b、e的预测像素值＝(B+2C+D+2)＞＞2
像素c、f、i的预测像素值＝(C+2D+E+2)＞＞2
像素d、g、j、m的预测像素值＝(D+2E+F+2)＞＞2
像素h、k、n的预测像素值＝(E+2F+G+2)＞＞2
像素l、o的预测像素值＝(F+2G+H+2)＞＞2
像素p的预测像素值＝(G+3H+2)＞＞2
                                …(10)
模式4是Diagonal_Down_Right(对角线_下_右)预测，只在像素值A、B、C、D、I、J、K、L以及M均“可用”时才被应用。在此情形中，如下面表达式(11)中那样生成像素a至p的预测像素值。
像素m的预测像素值＝(J+2K+L+2)＞＞2
像素i、n的预测像素值＝(I+2J+K+2)＞＞2
像素e、j、o的预测像素值＝(M+2I+J+2)＞＞2
像素a、f、k、p的预测像素值＝(A+2M+I+2)＞＞2
像素b、g、l的预测像素值＝(M+2A+B+2)＞＞2
像素c、h的预测像素值＝(A+2B+C+2)＞＞2
像素d的预测像素值＝(B+2C+D+2)＞＞2
                                       …(11)
模式5是Diagonal_Vertical_Right(对角线_竖直_右)预测，只在像素值A、B、C、D、I、J、K、L以及M均“可用”时才被应用。在此情形中，如下面表达式(12)中那样生成像素a至p的预测像素值。
像素a、j的预测像素值＝(M+A+1)＞＞1
像素b、k的预测像素值＝(A+B+1)＞＞1
像素c、l的预测像素值＝(B+C+1)＞＞1
像素d的预测像素值＝(C+D+1)＞＞1
像素e、n的预测像素值＝(I+2M+A+1)＞＞2
像素f、o的预测像素值＝(M+2A+B+2)＞＞2
像素g、p的预测像素值＝(A+2B+C+2)＞＞2
像素h的预测像素值＝(B+2C+D+2)＞＞2
像素i的预测像素值＝(M+2I+J+2)＞＞2
像素m的预测像素值＝(I+2J+K+2)＞＞2
                                         …(12)
模式6是Horizontal_Down(水平_下)预测，只在像素值A、B、C、D、I、J、K、L以及M均“可用”时才被应用。在此情形中，如下面表达式(13)中那样生成像素a至p的预测像素值。
像素a、g的预测像素值＝(M+I+1)＞＞1
像素b、h的预测像素值＝(I+2M+A+2)＞＞2
像素c的预测像素值＝(M+2A+B+2)＞＞2
像素d的预测像素值＝(A+2B+C+2)＞＞2
像素e、k的预测像素值＝(I+J+1)＞＞1
像素f、l的预测像素值＝(M+2I+J+1)＞＞2
像素i、o的预测像素值＝(J+K+1)＞＞1
像素j、p的预测像素值＝(I+2J+K+2)＞＞2
像素m的预测像素值＝(K+L+1)＞＞1
像素n的预测像素值＝(J+2K+L+2)＞＞2
                                     …(13)
模式7是Vertical_Left(竖直_左)预测，只在像素值A、B、C、D、I、J、K、L以及M均“可用”时才被应用。在此情形中，如下面表达式(14)中那样生成像素a至p的预测像素值。
像素a的预测像素值＝(A+B+1)＞＞1
像素b、i的预测像素值＝(B+C+1)＞＞1
像素c、j的预测像素值＝(C+D+1)＞＞1
像素d、k的预测像素值＝(D+E+1)＞＞1
像素l的预测像素值＝(E+F+1)＞＞1
像素e的预测像素值＝(A+2B+C+2)＞＞2
像素f、m的预测像素值＝(B+2C+D+2)＞＞2
像素g、n的预测像素值＝(C+2D+E+2)＞＞2
像素h、o的预测像素值＝(D+2E+F+2)＞＞2
像素p的预测像素值＝(E+2F+G+2)＞＞2
                                      …(14)
模式8是Horizontal_Up(水平_上)预测，只在像素值A、B、C、D、I、J、K、L以及M均“可用”时才被应用。在此情形中，如下面表达式(15)中那样生成像素a至p的预测像素值。
像素a的预测像素值＝(I+J+1)＞＞1
像素b的预测像素值＝(I+2J+K+2)＞＞2
像素c、e的预测像素值＝(J+K+1)＞＞1
像素d、f的预测像素值＝(J+2K+L+2)＞＞2
像素g、i的预测像素值＝(K+L+1)＞＞1
像素h、j的预测像素值＝(K+3L+2)＞＞2
像素k、l、m、n、o、p的预测像素值＝L
                                          …(15)
接下来，参照图11，将描述亮度信号的4×4像素的帧内预测模式(Intra_4×4_pred_mode)的编码格式。
在图11中的示例中，示出了由4×4像素构成的要被编码的当前块C，示出了每个都与当前块C相邻以及由4×4像素构成的块A和块B。
在此情形中，认为当前块C中的Intra_4×4_pred_mode以及块A和块B中每一个的Intra_4×4_pred_mode具有较高相关性。通过使用该较高相关性来执行如下所述的编码处理，可以取得更高的编码效率。
即，使块A和块B中的Intra_4×4_pred_mode分别为Intra_4×4_pred_modeA和Intra_4×4_pred_modeB，如下面表达式(16)中那样限定MostProbableMode(最可能模式)。
MostProbableMode＝Min(Intra_4×4_pred_modeA，Intra_4×4_pred_modeB)
                                (16)
即，在块A和块B中，把分配了较小mode_number(模式号)的一个定义成MostProbableMode。
在比特流中，两个值，即
prev_intra4×4_pred_mode_flag[luma4×4BlkIdx]和
rem_intra4×4_pred_mode[luma4×4BlkIdx]被定义成当前块C的参数。通过基于下面表达式(17)所代表的伪代码进行处理，执行解码处理，可以获得Intra4×4PredMode[luma4×4BlkIdx]和Intra_4×4_pred_mode的值。
if(prev_intra4×4_pred_mode_flag[luma4×4BlkIdx])
     Intra4×4PredMode[luma4×4BlkIdx]＝MostProbableMode
else
if(rem_intra4×4_pred_mode[luma4×4BlkIdx]＜MostProbableMode)
     Intra4×4PredMode[luma4×4BlkIdx]＝rem_intra4×4_pred_mode[luma4×4BlkIdx]
else
    Intra4×4PredMode[luma4×4BlkIdx]＝rem_intra4×4_pred_mode[luma4×4BlkIdx]+1
                                            …(17)
接下来，描述16×16像素的帧内预测模式。图12和图13是示出了亮度信号的16×16像素的4种帧内预测模式(Intra_16×16_pred_mode)的图。
参照图14描述4种帧内预测模式。在图14中的示例中，示出了要进行帧内处理的当前宏块A，P(x，y)；x，y＝-1，0，…，15代表与当前宏块A相邻的像素的像素值。
模式0是竖直预测，只在P(x，-1)；x，y＝-1，0，…，15“可用”时才被应用。在此情形中，如下面表达式(18)中那样生成当前宏块A中的像素的预测像素值Pred(x，y)。
Pred(x，y)＝P(x，-1)；x，y＝0，…，15          (18)
模式1是水平预测，只在P(-1，y)；x，y＝-1，0，…，15“可用”时才被应用。在此情形中，如下面表达式(19)中那样生成当前宏块A中的像素的预测像素值Pred(x，y)。
Pred(x，y)＝P(-1，y)；x，y＝0，…，15           (19)
模式2是DC预测，当P(x，-1)和P(-1，y)；x，y＝-1，0，…，15均“可用”时，如下面表达式(20)中那样生成当前宏块A中的像素的预测像素值Pred(x，y)。
[等式5]
Pred ( x , y ) = [ Σ x ′ = 0 15 P ( x ′ , - 1 ) + Σ y ′ = 0 15 P ( - 1 , y ′ ) + 16 ] > > 5
其中，x，y＝0，…，15    …(20)
另外，当P(x，-1)；x，y＝-1，0，…，15“不可用”时，如下面表达式(21)中那样生成当前宏块A中的像素的预测像素值Pred(x，y)。
[等式6]
Figure BPA00001283980500202
其中，x，y＝0，…，15     …(21)
当P(-1，y)；x，y＝-1，0，…，15“不可用”时，如下面表达式(22)中那样生成当前宏块A中的像素的预测像素值Pred(x，y)。
[等式7]
Figure BPA00001283980500211
其中，x，y＝0，…，15    …(22)
当P(x，-1)和P(-1，y)；x，y＝-1，0，…，15均“不可用”时，使用128作为预测像素值。
模式3是平面预测，只在P(x，-1)和P(-1，y)；x，y＝-1，0，…，15均“可用”时才被应用。在此情形中，如下面表达式(23)中那样生成当前宏块A中的像素的预测像素值Pred(x，y)。
[等式8]
Pred(x，y)＝Clip1((a+b·(x-7)+c·(y-7)+16)＞＞5)
a＝16·(P(-1，15)+P(15，-1))
b＝(5·H+32)＞＞6
c＝(5·V+32)＞＞6
H = Σ x = 1 8 x · ( P ( 7 + x , - 1 ) - P ( 7 - x , - 1 ) )
V = Σ y = 1 8 y · ( P ( - 1,7 + y ) - P ( - 1,7 - y ) ) · · · ( 23 )
接下来，将描述色度信号的帧内预测模式。图15是示出了色度信号的4种帧内预测模式(Intra_chroma_pred_mode)的图。可以独立于亮度信号的帧内预测模式来设置色度信号的帧内预测模式。色度信号的帧内预测模式与上述亮度信号的16×16像素的帧内预测模式相一致。
应该注意，虽然对16×16像素的块应用亮度信号的16×16像素的帧内预测模式，但对8×8像素的块应用色度信号的帧内预测模式。进一步地，如以上提到的图12和图15中所示，模式号在两者之间彼此不对应。
按照以上参照图14描述的相邻像素值、以及亮度信号的16×16像素的帧内预测模式中当前宏块A的像素值的定义，使与要进行帧内处理的当前宏块A相邻的像素(在色度信号的情形中，8×8个像素)的像素值为P(x，y)；x，y＝-1，0，…，7。
模式0是DC预测，当P(x，-1)和P(-1，y)；x，y＝-1，0，…，7均“可用”时，如下面表达式(24)中那样生成当前宏块A中的像素的预测像素值Pred(x，y)。
[等式9]
Pred ( x , y ) = ( ( Σ n = 0 7 ( P ( - 1 , n ) + P ( n , - 1 ) ) ) + 8 ) > > 4
其中，x，y＝0，…，7    …(24)
另外，当P(-1，y)；x，y＝-1，0，…，7“不可用”时，如下面表达式(25)中那样生成当前宏块A中的像素的预测像素值Pred(x，y)。
[等式10]
Figure BPA00001283980500222
其中，x，y＝0，…，7     …(25)
另外，当P(x，-1)；x，y＝-1，0，…，7“不可用”时，如下面表达式(26)中那样生成当前宏块A中的像素的预测像素值Pred(x，y)。
[等式11]
Figure BPA00001283980500223
其中，x，y＝0，…，7    …(26)
模式1是水平预测，只在P(-1，y)；x，y＝-1，0，…，7“可用”时才被应用。在此情形中，如下面表达式(27)中那样生成当前宏块A中的像素的预测像素值Pred(x，y)。
Pred(x，y)＝P(-1，y)；x，y＝0，…，7              (27)
模式2是竖直预测，只在P(x，-1)；x，y ＝-1，0，…，7“可用”时才被应用。在此情形中，如下面表达式(28)中那样生成当前宏块A中的像素的预测像素值Pred(x，y)。
Pred(x，y)＝P(x，-1)；x，y＝0，…，7              (28)
模式3是平面预测，在P(x，-1)和P(-1，y)；x，y＝-1，0，…，7“可用”时才被应用。在此情形中，如下面表达式(29)中那样生成当前宏块A中的像素的预测像素值Pred(x，y)。
[等式12]
Pred(x，y)＝Clip1(a+b·(x-3)+c·(y-3)+16)＞＞5；x，y＝0，…，7
a＝16·(P(-1，7)+P(7，-1))
b＝(17·H+16)＞＞5
c＝(17·V+16)＞＞5
H = Σ x = 1 4 x · [ P ( 3 + x , - 1 ) - P ( 3 - x , - 1 ) ]
V = Σ y = 1 4 y · [ P ( - 1,3 + y ) - P ( - 1,3 - y ) ] · · · ( 29 )
如上所述，作为亮度信号的帧内预测模式，存在以4×4像素和8×8像素块为单位的9种预测模式、以及以16×16像素块为单位的4种预测模式，作为色度信号的帧内预测模式，存在以8×8像素块为单位的4种帧内预测模式。可以独立于亮度信号的帧内预测模式来设置色度信号的帧内预测模式。对亮度信号的4×4像素和8×8像素的帧内预测模式而言，为4×4像素和8×8像素的亮度信号块中的每个块限定一个帧内预测模式。对亮度信号的16×16像素的帧内预测模式以及色度信号的帧内预测模式而言，为每个单个宏块限定一个预测模式。
应该注意，预测模式的种类对应于由上述图9中的数字0、1以及3至8表示的方向。
接下来，参照图16中的流程图来描述针对这些预测模式中的每个预测模式执行的、在图5的步骤S31中的帧内预测处理。应该注意，在图16中的示例中，描述针对亮度信号的情形。
在步骤S41中，帧内预测单元74对上述亮度信号的4×4像素、8×8像素以及16×16像素的帧内预测模式中的每个帧内预测模式执行帧内预测。
例如，将参照上述图10描述4×4像素的帧内预测模式的情形。如果从屏幕重新布置缓冲器62读取的要被处理的图像(例如，像素a至p)是要进行帧内处理的块的图像，则要被参考的先前解码的图像(像素值A至M被示出了的像素)被从帧存储器72读取并经由开关73提供给帧内预测单元74。
基于这些图像，帧内预测单元74对要被处理的块的像素进行帧内预测。随着以帧内预测模式中的每个帧内预测模式执行此帧内预测处理，生成帧内预测模式中每个帧内预测模式的预测图像。应该注意，作为要被参考的先前解码的像素(像素值A至M被示出了的像素)，使用被去块失真滤波器71进行去块失真滤波之前的像素。
在步骤S42中，帧内预测单元74对4×4像素、8×8像素以及16×16像素的帧内预测模式中的每个帧内预测模式计算代价函数值。此处，基于高复杂度模式或者低复杂度模式的技术来执行代价函数值的计算，如JM(联合模型)(H.264/AVC格式中的参考软件)中所限定的那样。
即，在高复杂度模式中，作为步骤S41中的处理，临时地对所有候选预测模式执行直到编码处理为止的处理，对预测模式中的每个预测模式计算由下面表达式(30)表示的代价函数值，以及选择给出最小值的预测模式作为最优预测模式。
Cost(模式)＝D+λ·R                  (30)
D是原始图像与解码图像之间的差(失真)，R是包括正交变换系数的所生成代码的尺寸，λ是根据量化参数QP给出的拉格朗日乘数。
另一方面，在低复杂度模式中，作为步骤S41中的处理，对所有候选预测模式执行直到运动向量信息、预测模式信息等的头比特为止的计算以及预测图像的生成，对预测模式中的每个预测模式计算由下面表达式(31)表示的代价函数值，以及选择给出最小值的预测模式作为最优预测模式。
Cost(模式)＝D+QPtoQuant(QP)·Header_Bit     (31)
D是原始图像与解码图像之间的差(失真)，Header_Bit是预测模式的头比特，QPtoQuant是作为量化参数QP的函数给出的函数。
在低复杂度模式中，只对所有候选预测模式执行预测图像的生成，没有必要执行编码处理和解码处理，所以可以使计算复杂度较小。
在步骤S43中，帧内预测单元74针对4×4像素、8×8像素以及16×16像素的相应帧内预测模式确定最优模式。即，如以上参照图9所述，在帧内4×4预测模式和帧内8×8预测模式的情形中，存在9种预测模式，在帧内16×16预测模式中，存在4种预测模式。因此，基于步骤S42中计算出的代价函数值，帧内预测单元74从这些模式之中确定最优帧内4×4预测模式、最优帧内8×8预测模式以及最优帧内16×16预测模式。
在步骤S44中，帧内预测单元74从针对4×4像素、8×8像素以及16×16像素确定出的相应最优模式之中，基于步骤S42中计算出的代价函数值选择一个帧内预测模式。即，从针对4×4像素、8×8像素以及16×16像素确定出的相应最优模式之中，选择代价函数值最小的帧内预测模式。
接下来，参照图17中的流程图，描述图5的步骤S32中的帧间运动预测处理。
在步骤S51中，运动预测/补偿单元77针对以上参照图2描述的16×16像素至4×4像素的8种帧间预测模式中的每一种确定运动向量和参考图像。即，针对要以帧间预测模式中的每个帧间预测模式被处理的块确定运动向量和参考图像。
在步骤S52中，运动预测/补偿单元77针对16×16像素至4×4像素的8种帧间预测模式中的每一种、基于在步骤S51中确定出的运动向量对参考图像执行运动预测和补偿处理。通过此运动预测和补偿处理，生成帧间预测模式的每个帧间预测模式下的预测图像。
在步骤S53中，针对16×16像素至4×4像素的8种帧间预测模式中的每一种的确定出的运动向量，运动预测/补偿单元77生成要附加到压缩图像的运动向量信息。
此处，参照图18，描述生成H.264/AVC格式的运动向量信息的方法。在图18中的示例中，示出了从现在起要被编码的当前块E(例如，16×16个像素)、以及先前已编码的并且与当前块E相邻的块A至D。
即，块D与当前块E的左上方相邻，块B与当前块E的上方相邻，块C与当前块E的右上方相邻，块A与当前块E的左方相邻。应该注意，块A至D未被划分的事实表示每个块是以上在图2中描述的16×16像素至4×4像素的配置中一种配置的块。
例如，使mvx表示X(＝A、B、C、D、E)的运动向量信息。首先，使用块A、B以及C的运动向量信息，如下面表达式(32)中那样通过中值预测来生成当前块E的预测运动向量信息(运动向量的预测值)pmvE。
pmvE＝med(mvA，mvB，mvC)              (32)
如果块C的运动向量信息由于诸如块在画面帧的边缘或者尚未编码的原因而不可用，则用块D的运动向量信息代替块C的运动向量信息。
通过使用pmvE，如下面表达式(33)中那样生成要附加到压缩图像的头部作为当前块E的运动向量信息的数据mvdE。
mvdE＝mvE-pmvE                       (33)
应该注意，实际上，在运动向量信息的水平方向和竖直方向上对分量中的每个分量独立地执行处理。
通过以此方式生成预测运动向量信息并把通过与相邻块的相关性生成的预测运动向量信息与运动向量信息之间的差附加到压缩图像的头部，可以减少运动向量信息。
还在接下来的步骤S54中计算代价函数值时使用如上所述生成的运动向量信息，以及在由预测图像选择单元80最终选择相应的预测图像时把运动向量信息连同模式信息和参考帧信息一起输出到可逆编码单元66。
另外，将参照图19描述生成预测运动向量信息的另一方法。在图19中的示例中，示出了在计算运动向量时要被参考的作为参考帧的帧N-1以及要被编码的作为当前帧的帧N。
在帧N中，对于从现在起要被编码的当前块，示出当前块的运动向量信息mv，对于先前已编码并且与当前块相邻的块中的每个块，示出每个块的运动向量信息mva、mvb、mvc、mvd。
具体地，对于与当前块的左上方相邻的块，示出了该块的运动向量信息mvd，对于与当前块的上方相邻的块，示出了该块的运动向量信息mvb。对于与当前块的右上方相邻的块，示出了该块的运动向量信息mvc，以及对于与当前块的左方相邻的块，示出了该块的运动向量信息mva。
在帧N-1中，对于当前块的相同位置块，示出了相同位置块的运动向量信息mvcol。此处，相同位置块是与当前帧不同的先前编码的帧(位于之前或之后的帧)中的块，并且与当前块处于相同位置。
另外，对于帧N-1中与相同位置块相邻的块中的每个块，示出了每个块的运动向量信息mvt4、mvt0、mvt7、mvt1、mvt3、mvt5、mvt2、mvt6。
具体地，对于与相同位置块的左上方相邻的块，示出了该块的运动向量信息mvt4，对于与相同位置块的上方相邻的块，示出了该块的运动向量信息mvt0。对于与相同位置块的右上方相邻的块，示出了该块的运动向量信息mvt7，对于与相同位置块的左方相邻的块，示出了该块的运动向量信息mvt1。对于与相同位置块的右方相邻的块，示出了该块的运动向量信息mvt3，对于与相同位置块的左下方相邻的块，示出了该块的运动向量信息mvt5。对于与相同位置块的下方相邻的块，示出了该块的运动向量信息mvt2，对于与相同位置块的右下方相邻的块，示出了该块的运动向量信息mvt6。
在通过与当前块相邻的块的运动向量信息来生成上述表达式(32)中的预测运动向量信息pmv的情况下，也可以如下面表达式(34)中表示的那样生成预测运动向量信息pmvtm5、pmvtm9、pmvcol。
pmvtm5＝med(mvcol，mvt0，…，mvt3)
pmvtm9＝med(mvcol，mvt0，…，mvt7)
pmvcol＝med(mvcol，mvcol，mva，mvb，mvc)        (34)
通过R-D优化来选择要从表达式(32)和表达式(34)中使用哪个预测运动向量信息。此处，R是包括正交变换系数的生成代码的尺寸，D是原始图像与解码图像之间的差(失真)。即，选择使生成代码的尺寸以及在原始图像与解码图像之间的差最优化的预测运动向量信息。
在下文中也把生成多条预测运动向量信息、以及以此方式从它们中选择最优预测运动向量信息的格式称作MV竞争格式。
回到图17，在步骤S54中，运动预测/补偿单元77针对16×16像素至4×4像素的8种帧间预测模式中的每个帧间预测模式、计算由上述表达式(30)或表达式(31)代表的代价函数值。当在上述图5中的步骤S36中确定最优帧间预测模式时使用此处计算出的代价函数值。
应该注意，帧间预测模式的代价函数值的计算还包括在H.264/AVC格式中限定的直接模式(Direct Mode)和跳转模式(Skip Mode)的代价函数值的估算。
接下来，参照图20中的流程图，描述图5中的步骤S33中的帧内模板运动预测处理。
在步骤S61中，通过使用帧内TP运动预测/补偿单元75的内置存储器中存储的、与当前块相邻的块的帧内运动向量信息，帧内预测运动向量生成单元76生成当前块的预测运动向量信息。
即，帧内预测运动向量生成单元76通过使用表达式(32)来生成当前块E的预测运动向量信息pmvE，如以上参照图18所述。
在步骤S62中，帧内TP运动预测/补偿单元75以帧内模板预测模式执行运动预测/补偿处理。即，帧内TP运动预测/补偿单元75基于帧内模板匹配格式来计算帧内运动向量，以及基于运动向量来生成预测图像。这时，在以由帧内预测运动向量生成单元76生成的预测运动向量信息为中心的搜索范围内执行帧内运动向量搜索。
计算出的帧内运动向量信息被存储到帧内TP运动预测/补偿单元75的内置存储器(未示出)中。
此处，将参照图21具体描述帧内模板匹配格式。
在图21中的示例中，在要被编码的未示出的当前帧上，从由X×Y(＝竖直×水平)个像素构成的区域中示出了只包括先前编码的像素的预定搜索范围E、以及4×4像素的块A。
在块A中，示出了从现在起要被编码的当前子块a。此当前子块是构建块A的2×2像素的子块之中的位于左上方的子块。包括先前编码的像素的模板区域b与当前块a相邻。即，模板区域b是在按光栅扫描次序执行编码处理时如图21中所示位于当前子块左方和上方的区域，以及针对该区域在帧存储器72中累积解码图像。
帧内TP运动预测/补偿单元75在与当前帧有关的预定搜索范围E内、使用例如SAD(绝对差之和)等作为代价函数值来执行模板匹配处理，以及找到与模板区域b的像素值相关性最高的区域b′。随后，帧内TP运动预测/补偿单元75使用与找到的块b′相对应的块a′作为当前子块a的预测图像来计算当前块a的运动向量。
以此方式，由于帧内模板匹配格式的运动向量搜索处理把解码图像用于模板匹配处理，所以通过预先设置预定搜索范围E，可以在后述图24中的图像解码装置101以及图1中的图像编码装置51中执行相同的处理。即，通过在图像解码装置101中也构造帧间TP运动预测/补偿单元122，无需把当前子块的运动向量信息发送到图像解码装置101，从而使得可以减少压缩图像中的运动向量信息。
另外，此预定搜索范围E是以由帧内预测运动向量生成单元76生成的预测运动向量信息为中心的搜索范围。由帧内预测运动向量生成单元76生成的预测运动向量信息是通过与相邻块的相关性生成的，如以上参照图18描述的那样。
因此，最好在图像解码装置101中，通过构造帧内预测运动向量生成单元123，通过与相邻块的相关性获得预测运动向量信息，以及在以预测运动向量信息为中心的预定搜索范围E内计算运动向量，也可以限制搜索范围而不使编码效率恶化。即，可以防止压缩效率降低而不增加计算复杂度。
应该注意，在图21中，虽然针对当前子块是2×2像素的情形进行描述，但不应该限制性地对此进行理解，而是可以应用于任意尺寸的子块。帧内模板预测模式中的块和模板尺寸是任意的。即，以与帧内预测单元74中相同的方式，可以使用作为候选的各帧内预测模式的块尺寸、或者通过把块尺寸固定为一个预测模式的块尺寸来执行帧内模板预测模式。根据当前块尺寸，可以使模板尺寸可变或者可以固定模板尺寸。
在步骤S63中，帧内TP运动预测/补偿单元75针对帧内模板预测模式、计算根据上述表达式(30)或表达式(31)表示的代价函数值。当在上述图5中的步骤S34中确定最优帧内预测模式时使用此处计算出的代价函数值。
此处，在图20中的步骤S61中，针对如下这种情形进行描述：针对每一个当前块计算帧内运动向量信息，并将其存储到内置存储器中。然而，也可以想到以下处理方法：对于要以帧内预测模式、帧内模板处理模式、帧间处理模式以及帧间模板处理模式中的一个预测模式进行处理的块，不执行其它预测模式的预测。在此处理方法中，相邻块并不一定保留有帧内运动向量信息。
在下文中，在要进行帧内处理的帧中包括当前块的情形与要进行帧间处理的帧中包括当前块的情形之间进行区分的情况下描述此处理方法。
首先，对要进行帧内处理的帧中包括当前块的情形给出描述。在此情形中，存在相邻块是要以帧内预测模式处理的块的情形，以及相邻块是要以帧内模板预测模式处理的块的情形。在相邻块是要以帧内模板预测模式处理的块的前一情形中，存在与相邻块有关的帧内运动向量信息。
然而，在相邻块是要以帧内预测模式处理的块的后一情形中，不存在与相邻块有关的帧内运动向量信息。相应地，对于此情形中的处理方法，有在取与相邻块有关的帧内运动向量信息为(0，0)的情况下执行中值预测的第一方法以及还有生成与相邻块有关的帧内运动向量信息的第二方法。
接下来，将对要进行帧间处理的帧中包括当前块的情形给出描述。在此情形中，存在相邻块是要进行帧内处理的块、以及相邻块是要进行帧间处理的块的情形。对于相邻块是要进行帧内处理的块的前一情形，该方法与要进行帧内处理的帧中包括当前块的情形中的上述方法相一致。
在相邻块是要进行帧间处理的块的后一情形中，可以想到以下情形：块是经受帧间运动预测模式的块、或者块是经受帧间模板运动预测模式的块。在任一情形中，块均具有帧间运动向量信息。
相应地，对于此情形中的处理方法，有在取与相邻块有关的帧内运动向量信息为(0，0)的情况下执行中值预测的第一方法，还有生成与相邻块有关的帧内运动向量信息的第二方法，以及使用相邻块的帧间运动向量信息而非相邻块的帧内运动向量信息执行中值预测的第三方法。应该注意，针对第三方法，在处理时，也可以参考作为参考帧信息的ref_id，只在ref_id落入预定尺寸内时的情形中通过使用帧间运动向量信息来执行中值预测，以及在其它情形中(即，当ref_id大于(远于)预定值时)通过符合第一或第二方法的方法执行中值预测。
如上所述，当以帧内模板预测模式执行运动预测时，在搜索以前，生成运动向量的预测值，在以运动向量的预测值为中心的情况下执行搜索处理。因此，即使在搜索范围受限制时也可以防止编码效率恶化。另外，通过限制搜索范围，也减小计算复杂度。
接下来，参照图22中的流程图，描述图5中步骤S35中的帧间模板运动预测处理。
在步骤S71中，帧间预测运动向量生成单元79通过使用在帧间TP运动预测/补偿单元78的内置存储器中存储的与先前编码的块有关的帧间运动向量信息，来生成当前块的预测运动向量信息。
具体地，帧间预测运动向量生成单元79使用表达式(32)来生成当前块E的预测运动向量信息pmvE，如以上参照图18所述。可替选地，帧间预测运动向量生成单元79通过使用表达式(32)和表达式(34)来生成多条预测运动向量信息，以及从这些条信息中选择最优预测运动向量信息，如以上参照图19所述。
应该注意，在与当前块相邻的相邻块是要进行帧间预测的块时的情形中，可以使用在后述步骤S72中通过帧间模板预测计算出的帧间运动向量信息，或者可以存储并使用在上述图17中的步骤S51中通过帧间预测计算出的帧间运动向量信息。
另外，与当前块相邻的相邻块可以是要进行帧内预测的块或者要进行帧内模板预测的块。在任一情形中，帧间预测运动向量生成单元79均通过在将相邻块的帧间运动向量信息取作(0，0)的情况下执行中值预测来生成预测运动向量信息。可替选地，帧间预测运动向量生成单元79也可以对相邻块(作为要进行帧内预测的块或者要进行帧内模板预测的块)以帧间模板匹配格式执行运动搜索，以及使用计算出的帧间运动向量信息来执行中值预测。
进一步地，在相邻块是要进行帧内模板预测的块时的情形中，帧间预测运动向量生成单元79也可以通过使用帧内运动向量信息而非帧间运动向量信息执行中值预测来生成预测运动向量信息。
在步骤S72中，帧间TP运动预测/补偿单元78以帧间模板预测模式执行运动预测/补偿处理。即，帧间TP运动预测/补偿单元78基于帧间模板匹配格式来计算帧间运动向量，以及基于运动向量来生成预测图像。这时，在以由帧间预测运动向量生成单元79生成的预测运动向量信息为中心的搜索范围内执行帧内运动向量的搜索。
把计算的帧间运动向量信息存储到帧间TP运动预测/补偿单元78的内置存储器(未示出)中。
此处，参照图23具体描述帧间模板匹配格式。
在图23中的示例中，示出了在计算运动向量时要被参考的参考帧以及要被编码的当前帧。在当前帧中，示出了从现在起要被编码的当前块A以及由先前编码的像素构成并且与当前块A相邻的模板区域B。即，在按光栅扫描次序执行编码处理的情形中，如图23中所示，模板区域B是位于当前块A左方和上方的区域，以及针对该区域在帧存储器72中累积解码图像。
在参考帧的预定搜索范围E内，帧间TP运动预测/补偿单元78通过使用例如SAD(绝对差之和)等作为代价函数值来执行模板匹配处理，以及找到与模板区域B的像素值相关性最高的区域B′。随后，帧间TP运动预测/补偿单元78使用与找到的区域B′相对应的块A′作为当前块A的预测图像，来计算当前块A的运动向量P。
以此方式，由于帧间模板匹配格式的运动向量搜索处理把解码图像用于模板匹配处理，所以通过预先设置预定搜索范围E，可以在后述图24中的图像解码装置101以及图1中的图像编码装置51中执行相同的处理。即，通过在图像解码装置101中也构造帧间TP运动预测/补偿单元125，就不必把与当前子块A的运动向量P有关的信息发送到图像解码装置101，从而使得可以减少压缩图像中的运动向量信息。
另外，此预定搜索范围E是以由帧间预测运动向量生成单元79生成的预测运动向量信息为中心的搜索范围。由帧间预测运动向量生成单元79生成的预测运动向量信息是通过与相邻块的相关性生成的，如以上参照图18所述。
因此，最好在图像解码装置101中，通过构造帧间预测运动向量生成单元126，通过与相邻块的相关性来获得预测运动向量信息，以及在以预测运动向量信息为中心的预定搜索范围E内计算运动向量，也可以限制搜索范围而不使编码效率恶化。即，可以防止压缩效率降低而不增加计算复杂度。
应该注意，帧间模板预测模式中的块和模板尺寸是任意的。即，以与运动预测/补偿单元77中相同的方式，可以通过从以上在图2中描述的16×16像素至8×8像素的8种块尺寸之中固定一个块尺寸、或者在以所有块尺寸作为候选的情况下执行帧间模板预测模式。根据块尺寸，可以使模板尺寸可变或者可以固定模板尺寸。
在步骤S73中，帧间TP运动预测/补偿单元78针对帧间模板预测模式、计算由上述表达式(30)或表达式(31)表示的代价函数值。当在上述图5中的步骤S36中确定最优帧间预测模式时使用此处计算出的代价函数值。
如上所述，最好以帧间模板预测模式执行运动预测时，在搜索以前，生成运动向量的预测值，在以运动向量的预测值为中心的情况下执行搜索处理。因此，即使在搜索范围受限制时也可以防止编码效率恶化。另外，通过限制搜索范围，也减小计算复杂度。
编码后的压缩图像经由预定传送路径传送并被图像解码装置解码。图24示出了这种图像解码装置的实施例的配置。
图像解码装置101包括累积缓冲器111、可逆解码单元112、逆量化单元113、逆正交变换单元114、计算单元115、去块失真滤波器116、屏幕重新布置缓冲器117、D/A转换单元118、帧存储器119、开关120、帧内预测单元121、帧内模板运动预测/补偿单元122、帧内预测运动向量生成单元123、运动预测/补偿单元124、帧间模板运动预测/补偿单元125、帧间预测运动向量生成单元126以及开关127。
应该注意，在下文中，将把帧内模板运动预测/补偿单元122和帧间模板运动预测/补偿单元125分别称作帧内TP运动预测/补偿单元122和帧间TP运动预测/补偿单元125。
累积缓冲器111累积向其传送的压缩图像。可逆解码单元112以与可逆编码单元66的编码格式相对应的格式，对由图1中的可逆编码单元66编码以及从累积缓冲器111提供的信息进行解码。逆量化单元113以与图1中量化单元65的量化格式相对应的格式，对由可逆解码单元112解码出的图像执行逆量化。逆正交变换单元114以与图1中正交变换单元64的正交变换格式相对应的格式对逆量化单元113的输出执行逆正交变换。
逆正交变换后的输出被与从开关127提供的预测图像相加以及解码。在移除解码图像中的块失真之后，去块失真滤波器116把得到的图像提供给帧存储器119用于累积，还把得到的图像输出到屏幕重新布置缓冲器117。
屏幕重新布置缓冲器117执行图像的重新布置。即，在图1中被重新布置成由屏幕重新布置缓冲器62进行编码的次序的帧的次序被重新布置成原始显示次序。D/A转换单元118对从屏幕重新布置缓冲器117提供的图像执行D/A转换，以及把得到的图像输出到未示出的显示器以便在其上显示。
开关120从帧存储器119读取要进行帧间编码的图像和要参考的图像，并把图像输出到运动预测/补偿单元124，以及还读取用于帧内预测的图像，并把图像输出到帧内预测单元121。
把通过对头信息进行解码获得的帧内预测模式的信息从可逆解码单元112提供给帧内预测单元121。如果提供了表示帧内预测模式的信息，则帧内预测单元121基于此信息来生成预测图像。如果提供了表示帧内模板预测模式的信息，则帧内预测单元121把用于帧内预测的图像提供给帧内TP运动预测/补偿单元122，并且使得以帧内模板预测模式执行运动预测/补偿处理。
帧内预测单元121把由帧内TP运动预测/补偿单元122生成的预测图像或者所生成的预测图像输出到开关127。
帧内TP运动预测/补偿单元122以帧内模板预测模式执行与图1中的帧内TP运动预测/补偿单元75中相同的运动预测和补偿处理。即，基于从帧存储器119读取的用于帧内预测的图像，帧内TP运动预测/补偿单元122通过以帧内模板预测模式执行运动预测和补偿处理来生成预测图像。这时，帧内TP运动预测/补偿单元122在以由帧内预测运动向量生成单元123生成的预测运动向量信息为中心的预定搜索范围内执行运动预测。
通过以帧内模板预测模式进行的运动预测/补偿生成的预测图像被提供给帧内预测单元121。另外，通过以帧内模板预测模式进行的运动预测计算出的帧内运动向量信息被存储到帧内TP运动预测/补偿单元122的内置缓冲器(未示出)中。
帧内预测运动向量生成单元123以与图1中的帧内预测运动向量生成单元76中相同的方式生成预测运动向量信息。即，通过使用在帧内TP运动预测/补偿单元122的内置存储器中存储的先前编码块的运动向量信息来生成当前块的预测运动向量信息。对于预测运动向量信息的生成，例如，使用与当前块相邻的块的运动向量信息。
通过对头信息进行解码获得的信息(预测模式、运动向量信息以及参考帧信息)被从可逆解码单元112提供给运动预测/补偿单元124。如果提供了表示帧间预测模式的信息，则运动预测/补偿单元124通过基于运动向量信息和参考帧信息对图像应用运动预测和补偿处理来生成预测图像。如果提供了表示帧间预测模式的信息，则运动预测/补偿单元124把从帧存储器119读取的要被参考的图像以及要进行帧间编码的图像提供给帧间TP运动预测/补偿单元125，以及使运动预测/补偿处理以帧间模板预测模式执行。
另外，根据预测模式信息，运动预测/补偿单元124把以帧间预测模式生成的预测图像或者以帧间模板预测模式生成的预测图像输出到开关127。
帧间TP运动预测/补偿单元125以与图1中帧间TP运动预测/补偿单元78中相同的以帧间模板预测模式执行运动预测和补偿处理。即，基于从帧存储器119读取的要参考的图像以及要进行帧间编码的图像，帧间TP运动预测/补偿单元125通过以帧间模板预测模式执行运动预测和补偿处理来生成预测图像。这时，帧间TP运动预测/补偿单元125在以由帧间预测运动向量生成单元126生成的预测运动向量信息为中心的预定搜索范围内执行运动预测。
通过以帧间模板预测模式进行的运动预测/补偿生成的预测图像被提供给运动预测/补偿单元124。通过以帧间模板预测模式进行的运动预测计算出的帧间运动向量信息被存储到帧间TP运动预测/补偿单元125的内置缓冲器(未示出)中。
帧间预测运动向量生成单元126以与图1中的帧间预测运动向量生成单元79中相同的方式生成预测运动向量信息。即，通过使用在帧间TP运动预测/补偿单元125的内置存储器中存储的先前编码块的运动向量信息来生成当前块的预测运动向量信息。对于预测运动向量信息的生成，例如，使用与当前块相邻的块、以上参照图19描述的相同位置块、与相同位置块相邻的块的运动向量信息。
开关127选择由帧内预测单元121或运动预测/补偿单元124生成的预测图像，并把预测图像输出到计算单元115。
接下来，参照图25中的流程图，描述由图像解码装置101执行的解码处理。
在步骤S131中，累积缓冲器111累积传送来的压缩图像。在步骤S132中，可逆解码单元112对从累积缓冲器111提供的压缩图像进行解码。即，对由图1中的可逆编码单元66编码的I画面、P画面以及B画面进行解码。
此时，还对运动向量信息和预测模式信息(表示帧内预测模式、帧内模板预测模式、帧间预测模式或帧间模板预测模式的信息)进行解码。即，如果预测模式信息表示帧内预测模式或帧内模板预测模式，则把预测模式信息提供给帧内预测单元121。如果预测模式信息表示帧间预测模式或帧间模板预测模式，则把预测模式提供给运动预测/补偿单元124。这时，如果存在相应的运动向量信息和参考帧信息，则也把这些条信息提供给运动预测/补偿单元124。
在步骤S133中，根据与图1中的量化单元65的特性相对应的特性，逆量化单元113对由可逆解码单元112解码出的变换系数执行逆量化。在步骤S134中，根据与图1中的正交变换单元64的特性相对应的特性，逆正交变换单元114对由逆量化单元113逆量化后的变换系数执行逆正交变换。这意味着与图1中正交变换单元64的输入(计算单元63的输出)相对应的差信息被解码出来。
在步骤S135中，计算单元115把后面描述的步骤S139的处理中选择的以及经由开关127输入的预测图像与差信息相加。因此，原始图像被解码出来。在步骤S136中，去块失真滤波器116对由计算单元115输出的图像执行滤波。从而，移除了块失真。在步骤S137中，帧存储器119存储滤波后的图像。
在步骤S138中，帧内预测单元121、帧内TP运动预测/补偿单元122、运动预测/补偿单元124或帧间TP运动预测/补偿单元125根据从可逆解码单元112提供的预测模式信息来执行图像预测处理。
即，如果从可逆解码单元112提供了帧内预测模式信息，则帧内预测单元121以帧内预测模式执行帧内预测处理。如果从可逆解码单元112提供了帧内模板预测模式，则帧内TP运动预测/补偿单元122以帧内模板预测模式执行运动预测/补偿处理。另外，如果从可逆解码单元112提供了帧间预测模式信息，则运动预测/补偿单元124以帧间模板预测模式执行运动预测/补偿处理。如果从可逆解码单元112提供了帧间模板预测模式信息，则帧间TP运动预测/补偿单元125以帧间模板预测模式执行运动预测/补偿处理。
虽然步骤S138中的预测处理的细节将在后面参照图26进行描述，但通过此处理，由帧内预测单元121生成的预测图像、由帧内TP运动预测/补偿单元122生成的预测图像、由运动预测/补偿单元124生成的预测图像或由帧间TP运动预测/补偿单元125生成的预测图像被提供给开关127。
在步骤S139中，开关127选择预测图像。即，因为提供了由帧内预测单元121生成的预测图像、由帧内TP运动预测/补偿单元122生成的预测图像、由运动预测/补偿单元124生成的预测图像或由帧间TP运动预测/补偿单元125生成的预测图像，所以所提供的预测图像被选择并提供给计算单元115，以及如上所述，与步骤S134中的逆正交变换单元114的输出相加。
在步骤S140中，屏幕重新布置缓冲器117执行重新布置。即，把由图像编码装置51的屏幕重新布置缓冲器62重新布置用于编码的帧的次序重新布置成原始显示次序。
在步骤S141中，D/A转换单元118对来自屏幕重新布置缓冲器117的图像执行D/A转换。此图像被输出到未示出的显示器，显示图像。
接下来，参照图26中的流程图，描述图25的步骤S138中的预测处理。
在步骤S171中，帧内预测单元121判定当前块是否被帧内编码了。当帧内预测模式信息或帧内模板预测模式信息被从可逆解码单元112提供给帧内预测单元121时，帧内预测单元121在步骤S171中判定当前块被帧内编码了，以及在步骤S172中，判定来自可逆解码单元112的预测模式信息是否是帧内预测模式信息。
如果在步骤S172中判定预测模式信息是帧内预测模式信息，则在步骤S173中，帧内预测单元121执行帧内预测。
即，如果要被处理的图像是要进行帧内处理的图像，则从帧存储器119读取必要的图像并将该必要的图像经由开关120提供给帧内预测单元121。在步骤S173中，帧内预测单元121按照从可逆解码单元112提供的帧内预测模式信息执行帧内预测，以及生成预测图像。
如果在步骤S172中判定预测模式信息并非帧内预测模式信息，则处理进行到步骤S174，执行帧内模板预测模式的处理。
如果要被处理的图像是要进行帧内模板预测处理的图像，则从帧存储器119读取必要的图像并将该必要的图像经由开关120和帧内预测单元121提供给帧内TP运动预测/补偿单元122。在步骤S174中，帧内TP运动预测/补偿单元122使帧内预测运动向量生成单元123生成当前块的预测运动向量信息，在步骤S175中，基于从帧存储器119读取的图像，以帧内模板预测模式执行帧内模板运动预测处理。
即，在步骤S174中，帧内预测运动向量生成单元123通过使用在帧内TP运动预测/补偿单元122的内置存储器中存储的与当前块相邻的块的帧内运动向量信息，来生成当前块的预测运动向量信息。
在步骤S175中，帧内TP运动预测/补偿单元122在以由帧内预测运动向量生成单元123生成的预测运动向量信息为中心的预定搜索范围内基于帧内模板匹配格式来计算帧内运动向量，以及基于运动向量来生成预测图像。此时，计算出的帧内运动向量信息被存储到帧内TP运动预测/补偿单元122的内置存储器(未示出)中。
应当注意，作为步骤S174和S175中的此处理，基本上执行与上述图20中步骤S61和S62中相同的处理，所以略去了其详细描述。
另一方面，如果在步骤S171中判定块未被帧内编码，则处理进行到步骤S176。
如果要被处理的图像是要进行帧间处理的图像，则帧间预测模式信息、参考帧信息以及运动向量信息被从可逆解码单元112提供给运动预测/补偿单元124。在步骤S176中，运动预测/补偿单元124判定来自可逆解码单元112的预测模式信息是否是帧间预测模式信息，以及如果判定预测模式信息是帧间预测模式信息，则在步骤S177中执行帧间运动预测。
如果要被处理的图像是要进行帧间预测处理的图像，则从帧存储器119读取必要的图像并将该必要的图像经由开关120提供给运动预测/补偿单元124。在步骤S177中，运动预测/补偿单元124基于从可逆解码单元112提供的运动向量以帧间预测模式执行运动预测，以及生成预测图像。
如果在步骤S176中判定预测模式信息并非帧间预测模式信息，则处理进行到步骤S178，执行帧间模板预测模式下的处理。
如果要被处理的图像是要进行帧间模板预测处理的图像，则从帧存储器119读取必要的图像并将该必要的图像经由开关120和运动预测/补偿单元124提供给帧间TP运动预测/补偿单元125。在步骤S178中，帧间TP运动预测/补偿单元125使帧间预测运动向量生成单元126生成当前块的预测运动向量信息，在步骤S179中，基于从帧存储器119读取的图像，以帧间模板预测模式执行帧间模板运动预测处理。
即，在步骤S178中，通过使用在帧间TP运动预测/补偿单元125的内置存储器中存储的先前编码的块的帧间运动向量信息，帧间预测运动向量生成单元126生成当前块的预测运动向量信息。
具体地，帧间预测运动向量生成单元126通过使用表达式(32)来生成当前块E的预测运动向量信息pmvE，如以上参照图18所述。或者，帧间预测运动向量生成单元126通过使用表达式(32)和表达式(34)来生成多条预测运动向量信息，如以上参照图19所述，并从这些条信息中选择最优预测运动向量信息。
在步骤S179中，帧间TP运动预测/补偿单元125在以由帧间预测运动向量生成单元126生成的预测运动向量信息为中心的预定搜索范围内基于帧间模板匹配格式来计算帧间运动向量，以及基于运动向量来生成预测图像。此时，计算出的帧间运动向量信息被存储到帧间TP运动预测/补偿单元125的内置存储器(未示出)中。
应该注意，作为步骤S178和S179中的此处理，基本上执行与上述图22的步骤S71和S72中相同的处理，所以略去了其详细描述。
如上所述，在图像编码装置和图像解码装置中，执行使用解码图像来执行运动搜索的基于模板匹配的运动预测。因此，可以显示良好的图像质量而不发送运动向量信息。
另外，这时，通过与相邻块的相关性来生成预测运动向量信息，限制以其为中心的搜索范围。因此，可以减小运动向量搜索所需要的计算复杂度而不引起压缩效率降低。
进一步地，当以H.264/AVC格式执行运动预测/补偿处理时，还执行基于模板匹配的预测，通过选择代价函数值更好的一个来执行编码处理。因此，可以改进编码效率。
应该注意，也可以将如上所述把预测运动向量设置成搜索中心的方法应用于帧内运动预测/补偿，如图28中所示。在图28中的示例中，在图像编码装置中，在同一帧上，找到与要被编码的当前块A的像素值相关性最高的块A′，计算运动向量。在图像解码装置中，使用解码图像和在图像编码装置中计算出的运动向量信息来执行运动补偿。
还在图像编码装置中的此块搜索时，通过与相邻块的相关性预先计算帧内运动向量信息，以及使用以帧内运动向量信息为中心的搜索范围E。在此情形中，也可以防止搜索所需要的计算复杂度的增加。
虽然在前面的描述中使用H.264/AVC格式作为编码格式，但也可以使用其它编码/解码格式。
应该注意，可以把本发明应用于例如在以下情况下使用的图像解码装置和图像编码装置：在经由网络媒体(诸如卫星广播、有线TV(电视)、互联网以及移动电话等)接收如在MPEG、H.26x等中那样通过正交变换(诸如离散余弦变换等)和运动补偿而被压缩的图像信息(比特流)时，或者在诸如光/磁盘和闪存等记录媒体上处理图像信息时。
可以通过硬件执行或者通过软件执行上述一系列处理。如果该系列处理是要通过软件执行的，则把构成软件的程序安装到专用硬件中嵌入的计算机中、或者安装到例如可在从程序记录介质安装了各种程序时执行各种功能的通用个人计算机等中。
用于存储被安装到计算机中并可由计算机执行的程序的程序记录介质可以由作为封装介质的可移除介质配置成或由临时或永久存储程序的硬盘或ROM配置成，可移除介质是诸如，磁盘(包括软盘)、光盘(包括CD-ROM(压缩光盘只读存储器)、DVD(数字多功能盘))(包括磁光盘)或半导体存储器。根据需要经由接口(诸如路由器或调制解调器等)通过使用有线或无线通信介质(诸如局域网、互联网或数字卫星广播等)执行向程序记录介质上的程序存储。
应该注意，在本说明书中，描述程序的步骤不仅包括按所述次序以时序方式执行的处理，而且包括并不一定以时序方式处理而是并行或独立执行的处理。
另外，本发明的实施例不限于上述实施例，在不脱离本发明范围的情况下可以有各种修改。
附图标记列表
51图像编码装置
66可逆编码单元
74帧内预测单元
75帧内模板运动预测/补偿单元
76帧内预测运动向量生成单元
77运动预测/补偿单元
78帧间模板运动预测/补偿单元
79帧间预测运动向量生成单元
80预测图像选择单元
112可逆解码单元
121帧内预测单元
122帧内模板运动预测/补偿单元
123帧内预测运动向量生成单元
124运动预测/补偿单元
125帧间模板运动预测/补偿单元
126帧间预测运动向量生成单元
127开关

Claims (19)

1.一种图像处理装置，包括：
预测运动向量生成单元，生成帧中的第一当前块的运动向量的预测值；以及
第一运动预测/补偿单元，在围绕由所述预测运动向量生成单元生成的所述运动向量的所述预测值的预定搜索范围内、使用第一模板来计算所述第一当前块的运动向量，所述第一模板以预定位置关系与所述第一当前块相邻，是根据解码图像生成的。
2.如权利要求1所述的图像处理装置，其中，所述预测运动向量生成单元使用相邻块的运动向量的信息来生成所述第一当前块的所述运动向量的所述预测值，所述相邻块是先前编码的块，是与所述第一当前块相邻的块。
3.如权利要求2所述的图像处理装置，其中，所述预测运动向量生成单元使用针对所述帧内的所述相邻块计算出的运动向量的信息来生成所述第一当前块的运动向量的预测值。
4.如权利要求3所述的图像处理装置，其中，如果不存在针对所述帧内的所述相邻块计算出的运动向量的信息，则所述预测运动向量生成单元通过把所述相邻块的运动向量的信息设置为0来生成所述第一当前块的运动向量的预测值。
5.如权利要求3所述的图像处理装置，其中，如果不存在针对所述帧内的所述相邻块计算出的运动向量的信息，则所述预测运动向量生成单元使用通过参考与所述帧不同的先前编码的帧针对所述相邻块计算出的运动向量的信息来生成所述第一当前块的运动向量的预测值。
6.如权利要求5所述的图像处理装置，其中，如果所述先前编码的帧的信息大于预定值，则所述预测运动向量生成单元禁止使用通过参考所述先前编码的帧针对所述相邻块计算出的运动向量的信息。
7.如权利要求3所述的图像处理装置，其中：
如果不存在针对所述帧内的所述相邻块计算出的运动向量的信息，则所述第一运动预测/补偿单元使用第二模板来计算所述相邻块的运动向量，所述第二模板以预定位置关系与所述相邻块中的每一个相邻，是根据所述解码图像生成的；以及
所述预测运动向量生成单元使用由所述第一运动预测/补偿单元计算出的所述相邻块的运动向量的信息来生成所述第一当前块的运动向量的预测值。
8.如权利要求3所述的图像处理装置，进一步包括：
帧内预测单元，用于根据所述帧内的所述解码图像来预测所述帧中的第二当前块的像素值。
9.如权利要求2所述的图像处理装置，其中，所述预测运动向量生成单元使用通过参考与所述帧不同的先前编码的帧针对所述相邻块计算出的运动向量的信息来生成所述第一当前块的运动向量的预测值。
10.如权利要求9所述的图像处理装置，其中，如果不存在通过参考所述先前编码的帧针对所述相邻块计算出的运动向量的信息，则所述预测运动向量生成单元通过把相邻块的运动向量的信息设置为0来生成所述第一当前块的运动向量的预测值。
11.如权利要求9所述的图像处理装置，其中，如果不存在通过参考所述先前编码的帧针对所述相邻块计算出的运动向量的信息，则所述预测运动向量生成单元使用针对所述帧内的所述相邻块计算出的运动向量的信息来生成所述第一当前块的运动向量的预测值。
12.如权利要求9所述的图像处理装置，其中：
如果不存在通过参考所述先前编码的帧针对所述相邻块计算出的运动向量的信息，则所述第一运动预测/补偿单元使用第二模板来计算所述相邻块的运动向量，所述第二模板以预定位置关系与所述相邻块中的每一个相邻，是根据所述解码图像生成的；以及
所述预测运动向量生成单元使用由所述第一运动预测/补偿单元计算出的所述相邻块的运动向量的信息来生成所述第一当前块的运动向量的预测值。
13.如权利要求9所述的图像处理装置，进一步包括：
解码单元，对运动向量的编码信息进行解码；以及
第二运动预测/补偿单元，使用由所述解码单元解码出的所述帧中的第二当前块的运动向量来生成预测图像。
14.如权利要求1所述的图像处理装置，其中，所述预测运动向量生成单元使用相邻块的运动向量的信息、相同位置块以及与相同位置块相邻的块的运动向量的信息、或者所述相同位置块和所述相邻块的运动向量的信息来生成所述第一当前块的运动向量的预测值，所述相邻块是先前编码的块并且是与所述第一当前块相邻的块，所述相同位置块是与所述帧不同的先前编码的帧中的块，并且是与所述第一当前块处于相同位置的块。
15.如权利要求14所述的图像处理装置，其中，如果不存在通过参考所述先前编码的帧针对所述相邻块计算出的运动向量的信息，则所述预测运动向量生成单元通过把所述相邻块的运动向量的信息设置为0来生成所述第一当前块的运动向量的预测值。
16.如权利要求14所述的图像处理装置，其中，如果不存在通过参考所述先前编码的帧针对所述相邻块计算出的运动向量的信息，则所述预测运动向量生成单元使用针对所述帧内的所述相邻块计算出的运动向量的信息来生成所述第一当前块的运动向量的预测值。
17.如权利要求14所述的图像处理装置，其中，如果不存在通过参考所述先前编码的帧针对所述相邻块计算出的运动向量的信息，则所述第一运动预测/补偿单元使用第二模板来计算所述相邻块的运动向量，所述第二模板以预定位置关系与所述相邻块中的每个相邻块相邻，是根据所述解码图像生成的；以及
所述预测运动向量生成单元使用由所述第一运动预测/补偿单元计算出的所述相邻块的运动向量的信息来生成所述第一当前块的运动向量的预测值。
18.如权利要求14所述的图像处理装置，进一步包括：
解码单元，对运动向量的编码信息进行解码；以及
第二运动预测/补偿单元，使用由所述解码单元解码出的所述帧中的第二当前块的运动向量来生成预测图像。
19.一种图像处理方法，包括由图像处理装置执行的以下步骤：
生成帧中的当前块的运动向量的预测值；以及
在围绕所生成的所述运动向量的预测值的预定搜索范围内、使用模板来计算所述当前块的运动向量，所述模板以预定位置关系与所述当前块相邻，是根据解码图像生成的。
CN2009801252967A 2008-07-01 2009-07-01 图像处理装置和方法 Pending CN102077595A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-172270 2008-07-01
JP2008172270A JP2010016454A (ja) 2008-07-01 2008-07-01 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
PCT/JP2009/062027 WO2010001917A1 (ja) 2008-07-01 2009-07-01 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN102077595A true CN102077595A (zh) 2011-05-25

Family

ID=41466009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801252967A Pending CN102077595A (zh) 2008-07-01 2009-07-01 图像处理装置和方法

Country Status (4)

Country Link
US (1) US20110103485A1 (zh)
JP (1) JP2010016454A (zh)
CN (1) CN102077595A (zh)
WO (1) WO2010001917A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103650494A (zh) * 2011-07-14 2014-03-19 索尼公司 图像处理装置及图像处理方法
JP2014511069A (ja) * 2011-03-15 2014-05-01 インテル・コーポレーション 低メモリアクセス動きベクトル導出
CN104335582A (zh) * 2012-06-12 2015-02-04 松下电器（美国）知识产权公司 动态图像编码方法、动态图像解码方法、动态图像编码装置以及动态图像解码装置
CN105379266A (zh) * 2013-07-19 2016-03-02 高通股份有限公司 停用帧内预测滤波
CN106851300A (zh) * 2011-09-13 2017-06-13 寰发股份有限公司 基于最可能模式的帧内预测模式的方法及装置

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2520377C2 (ru) * 2010-02-09 2014-06-27 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования с предсказанием вектора движения, способ декодирования с предсказанием вектора движения, устройство кодирования фильма, устройство декодирования фильма и их программы
EP2536150B1 (en) 2010-02-09 2017-09-13 Nippon Telegraph And Telephone Corporation Predictive coding method for motion vector, predictive decoding method for motion vector, video coding device, video decoding device, and programs therefor
KR20140089596A (ko) * 2010-02-09 2014-07-15 니폰덴신뎅와 가부시키가이샤 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램
WO2011099428A1 (ja) * 2010-02-09 2011-08-18 日本電信電話株式会社 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
JP2011259204A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号装置およびその方法とプログラム
US8923395B2 (en) 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
KR101396754B1 (ko) * 2010-11-08 2014-05-28 한국전자통신연구원 템플릿 매칭 및 방향 예측을 사용한 비디오 압축 방법 및 장치
US8787459B2 (en) * 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
US8711940B2 (en) 2010-11-29 2014-04-29 Mediatek Inc. Method and apparatus of motion vector prediction with extended motion vector predictor
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
KR101484171B1 (ko) * 2011-01-21 2015-01-23 에스케이 텔레콤주식회사 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
JP2013034037A (ja) * 2011-03-09 2013-02-14 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
WO2012120822A1 (en) 2011-03-09 2012-09-13 Canon Kabushiki Kaisha Image coding apparatus, method for coding image, program therefor, image decoding apparatus, method for decoding image, and program therefor
CN102685474B (zh) * 2011-03-10 2014-11-05 华为技术有限公司 预测模式的编解码方法、编解码设备及网络系统
JP2012209706A (ja) * 2011-03-29 2012-10-25 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
JP2012209705A (ja) * 2011-03-29 2012-10-25 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
US9654785B2 (en) * 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
CN107404651B (zh) * 2011-09-09 2020-03-06 株式会社Kt 用于解码视频信号的方法
CN103827813B (zh) 2011-09-26 2016-09-21 英特尔公司 用于提供向量分散操作和聚集操作功能的指令和逻辑
KR20130049522A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
TWI580264B (zh) * 2011-11-10 2017-04-21 Sony Corp Image processing apparatus and method
JP2013115583A (ja) * 2011-11-28 2013-06-10 Canon Inc 動画像符号化装置及びその制御方法並びにプログラム
US9549180B2 (en) * 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
JPWO2014002900A1 (ja) * 2012-06-29 2016-05-30 ソニー株式会社 画像処理装置および画像処理方法
JP5841670B2 (ja) * 2012-09-28 2016-01-13 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
EP2952003B1 (en) * 2013-01-30 2019-07-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
US10631005B2 (en) * 2014-04-21 2020-04-21 Qualcomm Incorporated System and method for coding in block prediction mode for display stream compression (DSC)
TWI617181B (zh) * 2017-01-04 2018-03-01 晨星半導體股份有限公司 用於高效率視訊編碼裝置之排程方法
AU2020400536A1 (en) * 2019-12-11 2022-06-16 Sony Group Corporation Image processing device, bit stream generation method, coefficient data generation method, and quantization coefficient generation method
KR20220152299A (ko) * 2020-03-12 2022-11-15 인터디지털 브이씨 홀딩스 프랑스 비디오 인코딩 및 디코딩을 위한 방법 및 장치
CN113542738B (zh) * 2021-09-17 2022-04-12 杭州微帧信息科技有限公司 一种视频编码模式快速决策的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6212237B1 (en) * 1997-06-17 2001-04-03 Nippon Telegraph And Telephone Corporation Motion vector search methods, motion vector search apparatus, and storage media storing a motion vector search program
US6202344B1 (en) * 1998-07-14 2001-03-20 Paul W. W. Clarke Method and machine for changing agricultural mulch
EP1671427A4 (en) * 2003-10-09 2010-04-07 Thomson Licensing DIRECT MODE BYPASS METHOD FOR HAMPERING ERRORS
JP4213646B2 (ja) * 2003-12-26 2009-01-21 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
JP4360207B2 (ja) * 2004-01-14 2009-11-11 沖電気工業株式会社 動画像復号化装置
JP2006020095A (ja) * 2004-07-01 2006-01-19 Sharp Corp 動きベクトル検出回路、画像符号化回路、動きベクトル検出方法および画像符号化方法
WO2006018798A1 (en) * 2004-08-13 2006-02-23 Koninklijke Philips Electronics, N.V. System and method for compression of mixed graphic and video sources
JP5062833B2 (ja) * 2004-09-16 2012-10-31 トムソン ライセンシング 局在的な輝度変動を利用した重み付き予測ビデオ・コーデックのための方法および装置
DE602006020556D1 (de) * 2005-04-01 2011-04-21 Panasonic Corp Bilddecodierungsvorrichtung und bilddecodierungsverfahren
JP4551814B2 (ja) * 2005-05-16 2010-09-29 Ｏｋｉセミコンダクタ株式会社 無線通信装置
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
WO2007092215A2 (en) * 2006-02-02 2007-08-16 Thomson Licensing Method and apparatus for adaptive weight selection for motion compensated prediction
US8326063B2 (en) * 2006-04-28 2012-12-04 Ntt Docomo, Inc. Method, apparatus and program for efficient generation of prediction signals

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014511069A (ja) * 2011-03-15 2014-05-01 インテル・コーポレーション 低メモリアクセス動きベクトル導出
CN103650494A (zh) * 2011-07-14 2014-03-19 索尼公司 图像处理装置及图像处理方法
CN103650494B (zh) * 2011-07-14 2017-11-24 索尼公司 图像处理装置及图像处理方法
CN106851300A (zh) * 2011-09-13 2017-06-13 寰发股份有限公司 基于最可能模式的帧内预测模式的方法及装置
CN106851300B (zh) * 2011-09-13 2020-05-26 寰发股份有限公司 基于最可能模式的帧内预测模式的方法及装置
CN104335582A (zh) * 2012-06-12 2015-02-04 松下电器（美国）知识产权公司 动态图像编码方法、动态图像解码方法、动态图像编码装置以及动态图像解码装置
CN104335582B (zh) * 2012-06-12 2019-03-08 太阳专利托管公司 动态图像编解码方法以及动态图像编解码装置
CN109905710A (zh) * 2012-06-12 2019-06-18 太阳专利托管公司 动态图像编码方法及装置、动态图像解码方法及装置
CN109905710B (zh) * 2012-06-12 2021-12-21 太阳专利托管公司 动态图像编码方法及装置、动态图像解码方法及装置
CN105379266A (zh) * 2013-07-19 2016-03-02 高通股份有限公司 停用帧内预测滤波
CN105379266B (zh) * 2013-07-19 2018-08-07 高通股份有限公司 停用帧内预测滤波

Also Published As

Publication number Publication date
US20110103485A1 (en) 2011-05-05
WO2010001917A1 (ja) 2010-01-07
JP2010016454A (ja) 2010-01-21

Similar Documents

Publication Publication Date Title
CN102077595A (zh) 图像处理装置和方法
US11910014B2 (en) Image encoding method using a skip mode, and a device using the method
WO2010001918A1 (ja) 画像処理装置および方法、並びにプログラム
JP5590133B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
WO2010001916A1 (ja) 画像処理装置および方法
US20070223021A1 (en) Image encoding/decoding method and apparatus
EP2036358A1 (en) Image encoding/decoding method and apparatus
CN102415098B (zh) 图像处理设备和方法
WO2010131601A1 (ja) 画像処理装置および方法、並びにプログラム
US20080069211A1 (en) Apparatus and method for encoding moving picture
CN102318346A (zh) 图像处理设备和方法
CN102160379A (zh) 图像处理装置和图像处理方法
JP2009089332A (ja) 動き予測方法及び動き予測装置
KR20210113384A (ko) 광학 흐름 정제를 위한 조기 종료
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
KR20110073263A (ko) 인트라 예측 부호화 방법 및 부호화 방법, 그리고 상기 방법을 수행하는 인트라 예측 부호화 장치 및 인트라 예측 복호화 장치
JP4360093B2 (ja) 画像処理装置および符号化装置とそれらの方法
WO2010123055A1 (ja) 画像処理装置および方法
KR102543086B1 (ko) 화상을 인코딩 및 디코딩하기 위한 방법 및 장치
KR101366088B1 (ko) 인트라 예측 부호화, 복호화 방법 및 장치
JP5946980B1 (ja) 画像復号化方法
JP6181242B2 (ja) 画像復号化方法
JP5951915B2 (ja) 画像復号化方法
JP5911982B2 (ja) 画像復号化方法
JP2015035822A (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110525