CN1550109A - 动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序 - Google Patents

动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序 Download PDF

Info

Publication number
CN1550109A
CN1550109A CNA028170733A CN02817073A CN1550109A CN 1550109 A CN1550109 A CN 1550109A CN A028170733 A CNA028170733 A CN A028170733A CN 02817073 A CN02817073 A CN 02817073A CN 1550109 A CN1550109 A CN 1550109A
Authority
CN
China
Prior art keywords
prediction mode
information
image block
unit
occasion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028170733A
Other languages
English (en)
Other versions
CN1297148C (zh
Inventor
С�ֳ�
小林充
����һ
荣藤稔
关口俊一
山口博幸
安达悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of CN1550109A publication Critical patent/CN1550109A/zh
Application granted granted Critical
Publication of CN1297148C publication Critical patent/CN1297148C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明的目的是不改变宏块的框架，在一个宏块内，使帧间预测方式进行编码处理的部分和使用帧内预测方式进行编码处理的部分混合存在。本发明是以第一图像块单位编码动画图像的编码装置，具有：预测方式选择信息生成设备，用于生成预测方式选择信息，该信息表示对于分割所述第一图像块的第二图像块单位，是适用消除时间方向的冗余度的第一预测方式，还是适用削减空间方向的冗余度的第二预测方式；预测残差信号生成设备，用于通过对所述第二图像块适用所选择的所述第一或者第二预测方式生成预测残差信号；传送设备，用于使其相关并传送所述预测方式选择信息以及所述预测残差信号。

Description

动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的 适合的编码装置、译码装置、编码方法、译码方法以及程序
技术领域
本发明涉及动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置及译码装置、编码方法、译码方法以及程序。
背景技术
参照图1及图2说明在现有的动画图像编码传送系统中使用的编码装置以及译码装置的一个例子。图1是表示在现有的动画图像编码传送系统中使用的编码装置的概略结构图，图2是表示在现有的动画图像编码传送系统中使用的译码装置的概略结构图。
图1所示的编码装置120及图2所示的译码装置140是依据在ITU-TRecommendation H.263“Video coding for low bit rate communication”中记载的H.263编码方式的数字动画图像编码装置以及数字动画图像译码装置。
编码装置120通过运动补偿帧间预测削减在时间方向存在的冗余度，通过正交变换(例如DCT：Discrete Cosine Transform)削减在空间方向存在的冗余度，由此实行对作为数字动画图像的输入视频信号2的信息压缩编码。
输入单元121接收输入视频信号2亦即帧图像的时间序列。这里，在编码装置120中，现在，成为编码对象的帧图像称为“现帧”。
输入单元121把“现帧”分割为16×16像素的正方形区域(“宏块(第一图像块)”)，分割的“宏块”顺序发送到运动检测单元122以及减法单元124。这里，成为编码对象的“宏块”称为“现宏块”。
运动检测单元122以宏块单位进行“运动矢量”的检测和“宏块方式(后面说明)”的决定。
运动检测单元122在存储在帧存储器132内的过去的完成编码的帧图像(称为“参考帧”)的规定的检索范围内，发现类似现宏块的部分(“运动预测数据”)，把从现宏块到“运动预测数据”的二维空间的移动量作为“运动矢量”检测。
运动检测单元122例如使用“块匹配”，可以进行上述的“运动矢量”的检测。也就是说，运动检测单元122在帧存储器132内的“参考帧”内设定以现宏块的空间位置作为中心的检索范围，计算该检索范围内的图像数据和现宏块之间的“差平方和”或者“差绝对值和”。然后，运动检测单元122求取计算出来的“差平方和”或者“差绝对值和”最小的该检索范围内的图像数据作为“运动预测数据”，检测从现宏块到“运动预测数据”的二维空间的移动量作为“运动矢量”。
运动检测单元122给运动补偿单元123以及可变长编码单元127发送检测出来的“运动矢量”。
另外，运动检测单元122决定在现宏块中适用的“宏块方式”。这里，“宏块方式”是表示生成关于现宏块的“预测残差信号(后面说明)”的方法(“预测方式”或者运动矢量的数目等)，如图3所示，包含“内方式(适用帧内预测方式)”、“互方式(适用帧间预测方式)”以及“互4V方式(适用根据4个运动矢量的帧间预测方式)”。
另外，“预测方式”表示，对于现宏块，是适用削减时间方向冗余度的“帧间预测方式”，还是适用削减空间方向冗余度的“帧内预测方式”。
具体说，运动检测单元122，根据检测出来的“运动矢量”，从“内方式”、“互方式”和“互4V方式”中选择预测残差信号(后面说明)的电功率成为最小的“宏块方式”。
运动检测单元122给运动补偿单元123以及可变长编码单元127发送决定的“宏块方式”。
运动补偿单元123把基于从运动检测单元122发送的“宏块方式”以及“运动矢量”得到的“控制信息”发送给减法单元124。
例如，运动补偿单元123，在运动检测单元122发送的“宏块方式”是“内方式”时，不形成“预测图像块(后面说明)”，也就是说，运动补偿单元123对于“现宏块”不进行运动补偿帧间预测，只把接收的“宏块方式(内方式)”作为“控制信息”通知减法单元124。
另外，运动补偿单元123，在从运动检测单元122发送的“宏块方式”是“互方式”或者“互4V方式”时，使用从运动检测单元122发送的“运动矢量”和帧存储器132中存储的参考帧，对于现宏块进行运动补偿帧间预测，形成“预测图像块”。
这里，在“互方式”中，给每一16×16像素的宏块分配一个运动矢量，在“互4V方式”中，给每一8×8像素的子块分配一个运动矢量。
运动补偿单元123，作为“控制信息”，给减法单元124发送“预测图像块”、“宏块方式”和“运动矢量”。另外，运动补偿单元123给加法单元131发送“预测图像块”。
减法单元124对应由运动补偿单元123发送的“控制信息”，给正交变换单元125发送规定的信息。
具体说，减法单元124，在“宏块方式”是“互方式”或者“互4V方式”的场合，由求由输入单元124发送的“现宏块”和从运动补偿单元123发送的“预测图像块”的差分，削减在时间上连续的“现宏块”间的时间方向上存在的冗余度。
这里，通过减法单元124求得的差分称为“预测残差信号”。减法单元124把这样的“预测残差信号”发送给正交变换单元125。
另外，减法单元124，在“宏块方式”是“内方式”的场合，因为不从运动补偿单元123发送“预测图像块”，因此把从输入单元124发送的“现宏块”作为“预测残差信号”发送给正交变换单元125。
正交变换单元125把由减法单元124发送的“预测残差信号”以8×8像素的子块单位，通过进行正交变换(例如DCT变换)，削减“预测残差信号”内的空间方向存在的冗余度。
正交变换单元125把通过正交变换得到的“正交变换系数(例如DCT常数)”发送到量子化单元126。
量子化单元126把由正交变换单元125发送的“正交变换系数”进行量子化。另外，量子化单元126把通过量子化得到的“量子化正交变换系数”发送给可变长编码单元127以及逆量子化单元129。
可变长编码单元127把由量子化单元126发送的“量子化正交变换系数”、和从运动检测单元122发送的“运动矢量”以及“宏块方式”进行可变长编码，在压缩位流3上多路复用。可变长编码单元127把压缩位流3发送给输出单元128。
输出单元128把由可变长编码单元127发送的压缩位流3，汇集1个或者多个帧图像分量，向网络1传送。
逆量子化单元129把由量子化单元126发送的“量子化正交变换系数”进行逆量子化，把得到的“正交变换系数”发送给逆正交变换单元130。
逆正交变换单元130把由逆量子化单元129发送的“正交变换系数”进行逆正交变换(例如，逆DCT变换)，把通过逆正交变换得到的“预测残差信号”发送给加法单元131。
加法单元131，把由运动补偿单元123发送的“预测图像块”和由逆正交变换单元130发送的“预测残差信号”进行相加，把由此得到的结果发送给帧存储器132。
但是，作为“宏块方式”选择“内方式”的场合，因为不由运动补偿单元123生成“预测图像块”(不进行运动补偿帧间预测)，所以，加法单元131把由逆正交变换单元130发送的“预测残差信号(由输入单元121发送的现宏块)”发送给帧存储器132。
帧存储器132基于由加法单元131发送的信息(现宏块)，构成“参考帧”并存储。帧存储器132给运动检测单元122以及运动补偿单元123发送“参考帧”。
图2所示译码装置140是从由编码装置120发送的压缩位流3再生输出视频信号4的装置。
输入单元141接收压缩位流3，给可变长译码单元142发送。
可变长译码单元142，在由输入单元141发送的压缩位流3中，从各帧图像的前面，对于每一宏块，译码“量子化正交变换系数”、“运动矢量”和“宏块方式”。
可变长译码单元142把译码后的“量子化正交变换系数”发送给逆量子化单元143。另外，可变长译码单元142在译码后的“宏块方式”是“互方式”或者“互4V方式”的场合，把译码后的“运动矢量”和“宏块方式”发送给运动补偿单元145。
逆量子化单元143通过把由可变长译码单元142发送的“量子化正交变换系数”逆量子化，得到“正交变换系数”，把这样的“正交变换系数”发送给逆正交变换单元144。
逆正交变换单元144通过把由逆量子化单元143发送的“正交变换系数”逆正交变换，得到“预测残差信号”，把这样的“预测残差信号”发送给加法单元146。
运动补偿单元145根据在帧存储器147中存储的参考帧、和由可变长译码单元142发送的“运动矢量”以及“宏块方式”，生成“预测图像块”，把生成的“预测图像块”发送给加法单元146。
加法单元146通过相加由逆正交变换单元144发送的“预测残差信号”和由运动补偿单元145发送的“预测图像块”，生成构成输出视频信号4的宏块，并发送给输出单元148。
但是，在“宏块方式”是“内方式”的场合，因为不由运动补偿单元145发送“预测图像块”，所以加法单元146，把由逆正交变换单元144发送的“预测残差信号”作为构成输出视频信号4的宏块发送给输出单元148。
帧存储器147根据由加法单元146发送的信息(宏块)构成“参考帧”并存储。帧存储器147给运动补偿单元145发送“参考帧”。
输出单元148根据由加法单元146发送的信息(宏块)构成输出视频信号4，在规定的显示定时输出到显示设备(未图示)。
如上所述，在现有的动画图像编码传送系统中，在以宏块单位决定“宏块方式”的同时，通过把每一宏块设定的“编码信息(运动矢量或量子化参数等)”进行通用化处理，提高了编码效率。
但是，在现有的动画图像编码传送系统中，因为对于一个宏块不能设定多个“宏块方式”，所以如图4所示，在一个宏块内，如果混存有最好用“帧内预测方式”编码处理的部分(鸟的部分)和最好用“帧间预测方式”编码处理的部分(云的部分)，存在不能进行高效编码处理的问题。
为解决这一问题，可以考虑减小宏块的大小、减小转换“宏块方式”的选择的单位的方法。但是，使用这一方法的话，因为宏块的数目增加、发送编码处理需要的每一宏块的编码信息的频度也增加，所以存在降低编码效率的问题。
这样，本发明鉴于上述问题而提出，其目的是，不改变宏块的大小或者框架，在一个宏块内进行“宏块方式”的转换，能够使得用“帧内预测方式”编码处理的部分和用“帧间预测方式”编码处理的部分一起存在。
发明内容
本发明的第一特征是以第一图像块单位把动画图像进行编码的编码装置，其要点是，具有：预测方式选择信息生成设备、预测残差信号生成设备和传送设备。所述预测方式选择信息生成设备，生成预测方式选择信息，该信息表示以分割了所述第一图像块后的第二图像块单位，是适用消除时间方向的冗余度的第一预测方式，还是适用削减空间方向的冗余度的第二预测方式；所述预测残差信号生成设备，通过对所述第二图像块适用所选择的所述第一或者第二预测方式而生成预测残差信号；传送设备编码并传送所述预测方式选择信息以及所述预测残差信号。
在本发明的第一特征中，所述传送设备最好编码并传送为进行通过所述第一或者第二预测方式的编码处理所必需的预测方式关联信息。
另外，在本发明的第一特征中，最好是，所述预测残差信号生成设备，在选择适用所述第一预测方式的场合，给每一所述第二图像块，通过使用运动矢量的运动补偿帧间预测生成所述预测残差信号；所述预测残差信号生成设备，在选择适用所述第二预测方式的场合，给每一所述第二图像块，通过帧内预测生成所述预测残差信号。
另外，在本发明的第一特征中，所述传送设备，在选择适用所述第一预测方式的场合，最好把表示所述运动矢量的信息作为所述预测方式关联信息进行编码和传送。
另外，在本发明的第一特征中，所述预测残差信号生成设备，最好在所述第一图像块内通过使用同一运动矢量的运动补偿帧间预测生成所述预测残差信号。
另外，在本发明的第一特征中，所述传送设备，最好在所述预测方式关联信息之前传送所述预测方式选择信息。
另外，在本发明的第一特征中，最好是，所述预测残差信号生成设备，在选择适用所述第二预测方式的场合，给每一所述第二图像块，通过使用邻接该第二图像块的像素值的像素值预测方法生成所述预测残差信号，所述传送设备把所述像素值预测方法作为所述预测方式关联信息进行编码和传送。
另外，在本发明的第一特征中，所述传送设备最好对所述预测方式选择信息与所述预测方式关联信息进行相关处理，编码并传送。
另外，在本发明的第一特征中，所述传送设备，在所述第二图像块单位不适用所述第一预测方式的场合，最好不传送所述第一预测方式的所述预测方式关联信息。
本发明的第二特征是译码动画图像的译码装置，其要点是具有预测方式选择信息译码设备和动画图像译码设备。预测方式选择信息译码设备译码预测方式选择信息，该信息表示对于分割分割动画图像的第一图像块的第二图像块单位，适用消除时间方向的冗余度的第一预测方式，或者适用削减空间方向的冗余度的第二预测方式；动画图像译码设备根据通过所述预测方式选择信息选择的所述第一或者第二预测方式，以所述第二图像块单位，译码所述动画图像。
在本发明的第二特征中，具有译码通过所述第一或者第二预测方式的编码处理所必需的预测方式关联信息的预测方式关联信息译码设备，所述动画图像译码设备最好使用所述预测方式关联信息译码所述动画图像。
另外，在本发明的第二特征中，最好是，所述动画图像译码设备，在通过所述预测方式选择信息选择适用所述第一预测方式的场合，使用运动补偿帧间预测译码所述动画图像，所述动画图像译码设备，在通过所述预测方式选择信息选择适用所述第二预测方式的场合，使用帧内预测译码所述动画图像。
另外，在本发明的第二特征中，所述动画图像译码设备，在通过所述预测方式选择信息选择适用所述第一预测方式的场合，最好把表示运动矢量的信息作为所述预测方式关联信息译码。
另外，在本发明的第二特征中，所述预测方式选择信息译码设备最好在所述预测方式关联信息之前译码所述预测方式选择信息。
另外，在本发明的第二特征中，所述动画图像译码设备，在通过所述预测方式选择信息选择适用所述第一预测方式的场合，最好以所述第一图像块单位，使用通过同一运动矢量的运动补偿帧间预测译码所述动画图像。
另外，在本发明的第二特征中，最好是，所述预测方式选择信息译码设备，在通过所述预测方式选择信息选择适用所述第二预测方式的场合，作为所述预测方式关联信息，译码关于所述第二图像块的像素值预测方法，所述动画图像译码设备，使用所述像素值预测方法译码所述动画图像。
另外，在本发明的第二特征中，所述预测方式选择信息译码设备，最好以所述第二图像块单位，译码所述预测方式选择信息。
另外，在本发明的第二特征中，最好使所述预测方式选择信息与所述预测方式关联信息关联进行编码。
另外，在本发明的第二特征中，所述预测方式选择信息译码设备，最好以所述第二图像块单位，在通过所述预测方式选择信息表示所述第一预测方式不适用的场合，不译码所述第一预测方式的预测方式关联信息。
本发明的第三特征是以第一图像块单位编码动画图像的编码方法，其要点是具有下述步骤：预测方式选择信息生成步骤A、预测残差信号生成步骤B和传送步骤C。预测方式选择信息生成步骤A生成预测方式选择信息，该信息表示对于分割所述第一图像块的第二图像块单位，适用消除时间方向的冗余度的第一预测方式，或者适用削减空间方向的冗余度的第二预测方式；预测残差信号生成步骤B通过对所述第二图像块适用选择的所述第一或者第二预测方式生成预测残差信号；传送步骤C编码并传送所述预测方式选择信息以及所述预测残差信号。
在本发明的第三特征中，在所述步骤C中最好编码并传送为进行通过所述第一或者第二预测方式的编码处理所必需的预测方式关联信息。
另外，在本发明的第三特征中，最好是，在所述步骤B中，在选择适用所述第一预测方式的场合，给每一所述第二图像块，通过使用运动矢量的运动补偿帧间预测生成所述预测残差信号，在所述步骤B中，在选择适用所述第二预测方式的场合，给每一所述第二图像块，通过帧内预测生成所述预测残差信号。
另外，在本发明的第三特征中，在所述步骤C中，作为所述预测方式关联信息，最好把表示所述运动矢量的信息进行编码和传送。
另外，在本发明的第三特征中，在所述步骤B中，最好在所述第一图像块内通过使用同一运动矢量的运动补偿帧间预测生成所述预测残差信号。
另外，在本发明的第三特征中，在所述步骤C中，最好在所述预测方式关联信息之前传送所述预测方式选择信息。
另外，在本发明的第三特征中，最好是，在所述步骤B中，在选择适用所述第二预测方式的场合，给每一所述第二图像块，通过使用邻接该第二图像块的像素值的像素值预测方法生成所述预测残差信号，在所述步骤C中，把所述像素值预测方法作为所述预测方式关联信息进行编码和传送。
另外，在本发明的第三特征中，在所述步骤C中，最好对所述预测方式选择信息与所述预测方式关联信息进行相关处理，编码并传送。
另外，在本发明的第三特征中，在所述步骤C中，在所述第二图像块单位不适用所述第一预测方式的场合，最好不传送所述第一预测方式的所述预测方式关联信息。
本发明的第四特征是译码动画图像的译码方法，其要点是具有步骤A和步骤B。所述步骤A译码预测方式选择信息，该信息表示对于分割分割动画图像的第一图像块的第二图像块单位，适用消除时间方向的冗余度的第一预测方式，或者适用削减空间方向的冗余度的第二预测方式；步骤B根据通过所述预测方式选择信息选择的所述第一或者第二预测方式，使用所述第二图像块单位，译码所述动画图像。
在本发明的第四特征中，最好是，在所述步骤A中，译码通过所述第一或者第二预测方式进行编码处理所必需的预测方式关联信息，在所述步骤B中，使用所述预测方式关联信息译码所述动画图像。
另外，在本发明的第四特征中，最好是，在所述步骤A中，在通过所述预测方式选择信息选择适用所述第一预测方式的场合，在所述步骤B中，使用运动补偿帧间预测译码所述动画图像，在所述步骤A中，在通过所述预测方式选择信息选择适用所述第二预测方式的场合，在所述步骤B中，使用帧内预测译码所述动画图像。
另外，在本发明的第四特征中，在所述步骤A中，在通过所述预测方式选择信息选择适用所述第一预测方式的场合，作为所述预测方式关联信息，最好把表示运动矢量的信息译码。
另外，在本发明的第四特征中，在所述步骤A中，最好在所述预测方式关联信息之前译码所述预测方式选择信息。
另外，在本发明的第四特征中，在所述步骤B中，在通过所述预测方式选择信息选择适用所述第一预测方式的场合，最好以所述第一图像块单位，使用通过同一运动矢量的运动补偿帧间预测译码所述动画图像。
另外，在本发明的第四特征中，最好是，在所述步骤A中，在通过所述预测方式选择信息选择适用所述第二预测方式的场合，作为所述预测方式关联信息，译码关于所述第二图像块的像素值预测方法，在所述步骤B中，使用所述像素值预测方法译码所述动画图像。
另外，在本发明的第四特征中，在所述步骤A中，最好以所述第二图像块单位，译码所述预测方式选择信息。
另外，在本发明的第四特征中，最好使所述预测方式选择信息与所述预测方式关联信息关联进行编码。
另外，在本发明的第四特征中，在所述步骤A中，最好使用所述第二图像块单位，在通过所述预测方式选择信息表示所述第一预测方式不适用的场合，不译码所述第一预测方式的预测方式关联信息。
本发明的第五特征是一种程序，该程序使计算机作为以第一图像块单位编码动画图像的编码装置作用，所述编码装置具有预测方式选择信息生成设备、预测残差信号生成设备和传送设备。预测方式选择信息生成设备生成预测方式选择信息，该信息表示对于分割所述第一图像块的第二图像块单位，适用消除时间方向的冗余度的第一预测方式，或者适用削减空间方向的冗余度的第二预测方式；预测残差信号生成设备通过对所述第二图像块适用选择的所述第一或者第二预测方式生成预测残差信号；传送设备编码并传送所述预测方式选择信息以及所述预测残差信号。
本发明的第六特征是一种程序，该程序使计算机作为以第一图像块单位译码动画图像的译码装置作用，所述译码装置具有预测方式选择信息译码设备和动画图像译码设备。预测方式选择信息译码设备译码预测方式选择信息，该信息表示对于分割分割动画图像的第一图像块的第二图像块单位，适用消除时间方向的冗余度的第一预测方式，或者适用削减空间方向的冗余度的第二预测方式；动画图像译码设备根据通过所述预测方式选择信息选择的所述第一或者第二预测方式，以所述第二图像块单位，译码所述动画图像。
本发明的第七特征是具备编码装置和译码装置的动画图像编码传送系统，其要点是所述编码装置具有预测方式选择信息生成设备、预测残差信号生成设备和传送设备。预测方式选择信息生成设备生成预测方式选择信息，该信息表示对于分割所述第一图像块的第二图像块单位，适用消除时间方向的冗余度的第一预测方式，或者适用削减空间方向的冗余度的第二预测方式；预测残差信号生成设备通过对所述第二图像块适用选择的所述第一或者第二预测方式生成预测残差信号；传送设备编码并传送所述预测方式选择信息以及所述预测残差信号；所述译码装置具有预测方式选择信息译码设备和动画图像译码设备，预测方式选择信息译码设备以所述第二图像块单位，译码所述预测方式选择信息；动画图像译码设备根据通过所述预测方式选择信息选择的所述第一或者第二预测方式，以所述第二图像块单位，译码所述动画图像。
本发明的第八特征的要点是一种动画图像编码传送方法，在编码中具有，编码并传送预测方式选择信息以及预测残差信号的步骤，所述预测方式选择信息表示对于分割分割动画图像的第一图像块的第二图像块单位、适用消除时间方向的冗余度的第一预测方式或者适用削减空间方向的冗余度的第二预测方式，所述预测残差信号通过对所述第二图像块适用选择的所述第一或者第二预测方式生成；在译码中具有，以第二图像块单位译码所述预测方式选择信息的步骤，和根据通过所述预测方式选择信息选择的所述第一或者第二预测方式，以所述第二图像块单位，译码所述动画图像的步骤。
附图说明
图1是表示在关于现有技术的动画图像编码传送系统中使用的编码装置的结构的图。
图2是表示在关于现有技术的动画图像编码传送系统中使用的译码装置的结构的图。
图3是表示宏块方式的图。
图4是表示在宏块内混存使用帧内预测方式编码处理方面好的部分和使用帧间预测方式编码处理方面好的部分的情形的图。
图5是根据本发明的一个实施例的动画图像编码传送系统的概略结构图。
图6是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的编码装置的结构的图。
图7是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的译码装置的结构的图。
图8是表示在根据本发明的一个实施例的动画图像编码传送系统中扩展的宏块方式以及块层语法的定义的表。
图9是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的编码装置的混合预测单元的处理的流程图。
图10是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的编码装置的结构的图。
图11是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的译码装置的结构的图。
图12是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的编码装置的运动检测单元中使用的运动检测块的图。
图13是表示通过在根据本发明的一个实施例的动画图像编码传送系统中使用的空间预测单元进行的帧内像素值预测的原理的图。
图14是表示在根据本发明的一个实施例的动画图像编码传送系统中扩展的宏块方式以及块层语法的定义的表。
图15是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的编码装置的混合预测单元的处理的流程图。
图16是表示在现有技术以及根据本发明的一个实施例的动画图像编码传送系统中扩展的宏块语法的定义的图。
图17是表示在根据本发明的一个实施例的动画图像编码传送系统中扩展的宏块语法的定义的表。
图18是表示在根据本发明的一个实施例的动画图像编码传送系统中使用的编码装置的混合预测单元的处理的流程图。
图19是表示记录作为根据本发明的动画图像编码传送系统起作用的程序的计算机可读记录介质的图。
具体实施方式
下面参照附图详细说明本发明的实施例。
(根据本发明的第一实施例的动画图像编码传送系统的结构)
参照附图说明根据本发明的第一实施例的动画图像编码传送系统的结构。图5是表示根据本实施例的动画图像编码传送系统的结构的图。
在根据本实施例的动画图像编码传送系统中，编码装置20把作为数字动画图像的输入视频信号2信息压缩编码为“压缩位流3”，通过网络1把该压缩位流3传送给译码装置40。然后，在这样的动画图像编码传送系统中，译码装置40从压缩位流3复原输出视频信号4。
这里，作为网络1，设想可以交接压缩位流3的各种设备，例如设想低位速率的数字通信线路等。此外，根据本实施例的动画图像编码传送系统，作为网络1，代替通信线路，例如也可以使用通过数据积蓄装置的系统构成。
根据本实施例的动画图像编码传送系统，如图5所示，通过编码装置20和译码装置40构成。根据本实施例的动画图像编码传送系统具有依照上述H.263编码方式、在其上增加为实施本发明必要的变更的结构。
图2表示在根据本实施例的动画图像编码传送系统中使用的编码装置20。根据本实施例的编码装置20以第一图像块(宏块)编码动画图像(输入视频信号2)。
以下，主要关于根据本实施例的编码装置20说明依照现有技术的H.263编码方式的编码装置120的不同点。于是，关于不特别说明的点，根据本实施例的编码装置20和依照H.263编码方式的编码装置120相同。
编码装置20，代替现有技术的减法单元124设置混合预测单元24，代替现有技术的加法单元131设置混合预测译码单元31，和现有技术的编码装置120的结构不同。
另外，在根据本实施例的编码装置20中，“宏块方式”不是通过运动检测单元62，而是通过混合预测单元64来决定。
混合预测单元24把由输入单元21发送的“宏块”(第一图像块)分割成8×8像素的“子块(第二图像块)”。
另外，混合预测单元24给每一“子块”计算“表示预测残差信号电功率的值”。例如，混合预测单元24，作为“表示预测残差信号电功率的值”计算由输入单元21发送的宏块内的子块和由运动补偿单元23发送的预测图像块内的子块之间的“SAD(Sums of Absolutes Differences：差分绝对值和)”。
另外，混合预测单元24把算出的“SAD”和规定的阈值比较，在“SAD”比阈值小的场合，选择对该子块适用“帧间预测方式(第一预测方式)”，在“SAD”比阈值大的场合，选择对该子块适用“帧内预测方式(第二预测方式)”。
另外，混合预测单元24，在对于宏块内的全部子块选择适用“帧间预测方式(第一预测方式)”或者适用“帧内预测方式(第二预测方式)”结束后，研究该宏块全体的“预测方式”的选择状况，决定该宏块内的“宏块方式”。
这里，“宏块方式”包含“内方式”、“互方式”、“互4V方式”和“内/互方式”。此外，对于“宏块方式”，从量子化参数的变更的有无等的不同，也存在其它任何一种方式。
在本实施例中，仅对“宏块方式”根据每一子块的“预测方式”的选择状况的不同而选择的场合加以说明，但是“宏块方式”同样可以根据量子化参数的变更的有无等的不同而选择。
具体说，混合预测单元24在关于宏块内的全部子块选择“帧内预测方式”的场合，作为“宏块方式”选择“内方式”。
另外，混合预测单元24在关于宏块内的全部子块选择“帧间预测方式”的场合，作为“宏块方式”选择“互方式”或者“互4V方式”。
另外，混合预测单元24，在宏块内混存“帧内预测方式”以及“帧间预测方式”两者而选择的场合，作为“宏块方式”选择“内/互方式”。
另外，混合预测单元24，把给每一宏块决定的“宏块方式”发送给可变长编码单元27以及混合预测译码单元31。
再有，混合预测单元24，在作为“宏块方式”选择“内/互方式”的场合，把每一子块的“预测方式”的选择状况和“帧间预测方式”适用的子块的“运动矢量”发送给可变长编码单元27以及混合预测译码单元31。
这里，混合预测单元24，在选择“内/互方式”的场合，为抑制编码运动矢量所需要的信息量的增加，也可以关于一个宏块给可变长编码单元27以及混合预测译码单元31发送一个运动矢量。
另外，混合预测单元24也可以给可变长编码单元27以及混合预测译码单元31原样发送由运动检测单元22检测出来的“互方式”用的运动矢量。其结果，在混合预测单元24中不需要再次计算运动矢量，可以抑制处理量的增加。
另外，混合预测单元24，也可以在由运动检测单元22检测出来的“互4V方式”用的运动矢量中，把出现最多的运动矢量作为该宏块的运动矢量发送给可变长编码单元27以及混合预测译码单元31。其结果，可变长编码单元27在能够选择适合在宏块内通过“帧间预测方式”能够高效率编码处理的子块的运动矢量的同时，可以使用“内/互方式”提高编码效率。
另外，混合预测单元24，在选择“内/互方式”的场合，也可以重新检索确定运动矢量。
在这样的场合，混合预测单元24，为可以更有效编码，在和“帧内预测方式”组合的场合检索使SAD成为最低那样的运动矢量。
亦即，混合预测单元24，在“互方式”的宏块中的预测图像块内的各个子块中求SAD，可以通过使用反复进行放过SAD最大的子块再检索运动矢量那样的强估计实现。其结果，可以检索最适合的近的运动矢量。
如上所述，混合预测单元24构成预测方式选择信息生成设备，该设备生成“预测方式选择状况(预测方式选择信息)”，这一预测方式选择信息表示对于分割宏块(第一图像块)的子块(第二图像块)单位，是适用消除时间方向的冗余度的“帧间预测方式(第一预测方式)”，还是适用消减空间方向的冗余度的“帧内预测方式(第二预测方式)”。
另外，混合预测单元24构成预测残差信号生成设备，该设备通过对子块(第二图像块)适用选择的“帧间预测方式(第一预测方式)”或者“帧内预测方式(第二预测方式)”生成预测残差信号。
可变长编码单元27在可变长编码由量子化单元26发送的“量子化正交系数”的同时，根据从混合预测单元24发送的“宏块方式”编码规定的信息，例如表示上述预测方式的选择状况或者运动矢量的信息等，把结果发送给输出单元28。
这里，为表示“内/互方式”，如图8(a)所示那样变更H.263编码方式中的P图像的宏块方式的定义。在图8(a)中作为“MB type＝6，7”的“宏块方式”是为表示“内/互方式”的扩展的部分。
可变长编码单元27参照这样的宏块方式的定义，和“量子化正交系数”一起，可以决定应该多路复用哪个信息(“COD”，“MCBPC”，“CBPY”，“DQUANT”，“MVD”，“MVD2-4”)为压缩位流3。
在图6(a)中，“COD”是表示该宏块是否“跳过”的标志。所谓“跳过”表示该宏块通过原封复制在帧存储器32内存储的参考帧内的同一空间位置的图像再现，不需要追加特别的信息。在“MB type＝未编码”的场合“COD＝1”，可变长编码单元27在该宏块中不多路复用“COD”以外的信息。
“MCBPC”，在该宏块方式中是为合并表示色差信号的“编码块模式信息(coded block patter：CBP)”的语法要素。这里，所谓“编码块模式信息：CBP”指表示在作为DCT变换的单位的子块内应该传送的有意义的系数是否存在的标志。
“CBPY”是在该宏块方式中为合并表示亮度信号的编码块模式信息的语法要素。
“DQUANT”表示该宏块的量子化参数(例如，量子化步骤)的变更值。
“MVD”是运动矢量，“MVD2-4”是在“互4V方式”的场合传送的2到4个运动矢量。
在“内/互方式”中，为对每一子块能够转换“帧内预测方式”和“帧间预测方式”编码，取“COD＝0”，对应DCT系数的分布状况决定“MCBPC”以及“CBPY”，为适用“帧间预测方式”的子块使用传送“MVD”的语法(“MB type＝6或者7”)。
另外，为表示在各子块中的“帧内预测方式”和“帧间预测方式”的选择状况，如图8(b)那样扩展H.263编码方式中的“块层”的语法。
在图8(b)中，“BTYPE”用1位构成，仅在“MB type＝6，7”的场合存在。这里，“BTYPE＝0”表示通过帧内预测方式编码的子块，“BTYPE＝1”表示通过帧间预测方式编码的子块。
“INTRADC”，仅在“MB type＝6，7”的场合且“BTYPE＝0”的场合存在。
如上所述，可变长编码单元27以及输出单元28构成编码并传送每一子块(第二图像块)的预测方式选择状况(预测方式选择信息)以及预测残差信号的传送设备。
混合预测译码单元31根据由混合预测单元24发送的“宏块方式”生成构成在以后的编码处理使用的“参考帧”的“宏块”，把生成的宏块发送给帧存储器32。
具体说，混合预测译码单元31，在选择作为“宏块方式”的“内方式”的场合，在通过“帧内预测”构成该宏块后，把由逆正交变换单元30发送的“预测残差信号”作为构成“参考帧”的“宏块”。
另外，混合预测译码单元31，在选择“互方式”或者“互4V方式”作为“宏块方式”的场合，在通过“帧间预测”构成该宏块后，相加由逆正交变换单元30发送的“预测残差信号”和由运动补偿单元23发送的“预测图像块”，把由此得到的结果作为构成“参考帧”的“宏块”。
另外，混合预测译码单元31，在选择“内/互方式”作为“宏块方式”的场合，给每一子块转换“帧内预测方式”或者“帧间预测方式”之中任何一个适用的预测方式。
这里，混合预测译码单元31，在“帧内预测方式”适用的场合，把由逆正交变换单元30发送的“预测残差信号(子块单位)”作为构成“参考帧”的“子块”。
另一方面，混合预测译码单元31，在“帧间预测方式”适用的场合，相加由逆正交变换单元30发送的“预测残差信号(子块单位)”和由运动补偿单元23发送的“预测图像块(子块单位)”，把由此得到的结果作为构成“参考帧”的“子块”。
图7表示根据本实施例的译码装置40。以下，主要关于根据本实施例的译码装置40说明和依照现有技术的H.263编码方式的译码装置140的不同点。于是，关于不特别说明的点，根据本实施例的译码装置40和依照H.263编码方式的译码装置140相同。
译码装置40，代替现有技术的加法单元146设置混合预测译码单元46，这一点和现有技术的编码装置120的结构不同。
可变长译码单元42在由输入单元41发送的压缩位流3中，从各帧图像的开始，译码每一宏块必需的信息(“量子化正交变换系数”或者“宏块方式”或者“运动矢量”)。
另外，可变长译码单元42把译码后的“量子化正交变换系数”发送给逆量子化单元43，把译码后的“宏块方式”发送给混合预测译码单元46，把译码后的“运动矢量”发送给运动补偿单元45。
另外，可变长译码单元42，在选择“内/互方式”的场合，把每一子块的“预测方式的选择状况”以及“运动矢量”发送给混合预测译码单元46。
如上所述，可变长译码单元42构成预测方式选择信息译码设备，该设备译码“预测方式选择状况(预测方式选择信息)”，该信息表示对于分割分割动画图像的宏块(第一图像块)的子块(第二图像块)单位，适用消除时间方向的冗余度的“帧间预测方式(第一预测方式)”，或者适用削减空间方向的冗余度的“帧内预测方式(第二预测方式)”。
混合预测译码单元46，在作为“宏块方式”选择“内方式”的场合，该宏块在通过帧内预测构成后，把由逆正交变换单元44发送的“预测残差信号”作为构成输出视频信号4的“宏块”。
另外，混合预测译码单元46，在作为“宏块方式”选择“互方式”或者“互4V方式”的场合，该宏块在通过运动补偿帧间预测构成后，相加由逆正交变换单元44发送的“预测残差信号”和由运动补偿单元45发送的“预测图像块”，把由此得到的结果作为构成输出视频信号4的“宏块”。
另外，混合预测译码单元46，在作为“宏块方式”选择“内/互方式”的场合，根据从可变长译码单元42发送的“预测方式选择状况”，给每一子块转换“帧内预测方式”或者“帧间预测方式”之中任何一个使用的预测方式。
这里，混合预测译码单元46，在子块适用“帧内预测方式”的场合，把由逆正交变换单元44发送的“预测残差信号(子块单位)”作为构成输出视频信号4的“子块”。
另一方面，混合预测译码单元46，在子块适用“帧间预测方式”的场合，相加由逆正交变换单元44发送的“预测残差信号(子块单位)”和由运动补偿单元23发送的“预测图像块(子块单位)”，把由此得到的结果作为构成输出视频信号4的“子块”。
再有，混合预测译码单元46，在把通过上述得到的“子块”构成的“宏块”发送给输出单元48的同时，作为构成以后编码中使用的“参考帧”的“宏块”发送给帧存储器47。
如上所述，混合预测译码单元46根据通过预测方式选择状况(预测方式选择信息)选择的“帧间预测方式(第一预测方式)”或者“帧内预测方式(第二预测方式)”，以子块(第二图像块)单位，构成译码输出图像信号(动画图像)4的动画图像译码设备。
(根据第一实施例的动画图像编码传送系统的操作)
参照图9说明关于具有上述结构的动画图像编码传送系统的操作。图9是表示编码装置20的混合预测单元24的处理的流程图。下面，以编码装置20的混合预测单元24的操作为主说明动画图像编码传送系统的操作。
混合预测单元24，如图9所示，在步骤401，把由输入单元21发送的宏块分割成每个为8×8像素的子块。
在步骤402，混合预测单元24，对于每一子块，计算在由输入单元21发送的宏块内的子块和由运动补偿单元23发送的预测图像块内的子块之间的“SAD”。
在步骤403，混合预测单元24比较算出来的SAD和规定的阈值。
在SAD比阈值大的场合，在步骤404，混合预测单元24选择对该子块适用“帧内预测方式”。
另一方面，在SAD比阈值小的场合，在步骤405，混合预测单元24选择对该子块适用“帧间预测方式”。
在步骤406，混合预测单元24判断对该宏块内的全部子块是否进行上述预测方式的选择，在没有进行的场合，返回步骤402，对剩余的子块进行上述预测方式的选择。
在对全部子块进行上述预测方式的选择的场合，混合预测单元24。在步骤407研究该宏块全体的预测方式的选择状况，判断对全部子块是否选择“帧内预测方式”。
在肯定的(YES)的场合，亦即在对全部子块选择“帧内预测方式”的场合，在步骤408，混合预测单元24把该宏块的“宏块方式”设定为“内方式”。
另一方面，在否定(NO)的场合，亦即未对全部子块选择“帧内预测方式”的场合，在步骤409，混合预测单元24研究该宏块全体的预测方式的选择状况，判断对全部子块是否选择“帧间预测方式”。
在肯定的(YES)的场合，亦即在对全部子块选择“帧间预测方式”的场合，在步骤410，混合预测单元24把该宏块的“宏块方式”设定为“互方式”或者“互4V方式”。
这里，取“互方式”或者“互4V方式”中哪一个，应该根据在宏块内运动矢量有无不同决定。
另一方面，在否定(NO)的场合，亦即未对全部子块选择“帧间预测方式”的场合，在步骤411，混合预测单元24把该宏块的“宏块方式”设定为“内/互方式”。
在步骤412，混合预测单元24把给每一宏块决定的“宏块方式”发送给可变长编码单元27以及混合预测译码单元31。
但是，混合预测单元24在作为“宏块方式”设定“内/互方式”的场合，把“宏块方式”、各子块的“预测方式的选择状况”和各子块(帧间预测方式适用的子块)的“运动矢量”发送给可变长编码单元27以及混合预测译码单元31。
采用依照ITU-TH.263的结构说明了根据本实施例的动画图像编码传送系统，但是，本发明不限于此，而可以适用于使用“帧间预测方式(第一预测方式)”以及“帧内预测方式(第二预测方式)”的预测方式、且使用相当宏块(第一图像块)的单位进行编码那样的各种动画图像编码传送系统。
另外，即使对于“内/互方式”，也不限于在本实施例中表示的结构，可以使用表示在宏块(第一图像块)内的各子块(第二图像块)中适用“帧间预测方式”以及“帧内预测方式”哪种方式的各种语法。
同样，关于“BTYPE”也不限于在本实施例中表示的结构，可以使用能够表示在各子块中适用“帧间预测方式”以及“帧内预测方式”哪种方式的各种系统。
另外，在本实施例中，混合预测单元24比较算出的SAD和规定的阈值，选择“宏块方式”，但是，本选择基准不限于本实施例所示结构。
例如，通过各种“宏块方式”尝试实际构成该宏块中的压缩位流3，选择使该位数小的一方的“宏块方式”等，可以使用为选择能够更加高效编码的“宏块方式”的各种选择基准。
(根据第一实施例的动画图像编码传送系统的作用、效果)
使用根据第一实施例的动画图像编码传送系统，因为混合预测单元24可以从子块最适当地生成削减空间方向的冗余度或者时间方向的冗余度的预测残差信号，因此，即使在一个宏块内混存使用帧间预测方式进行编码处理良好的部分和使用帧内预测方式进行编码处理良好的部分的场合，也可以进行高效率的编码处理。
(根据本发明的第二实施例的动画图像编码传送系统的结构)
参照图10以及图11说明根据本发明的第二实施例的动画图像编码传送系统的结构。图10是表示在根据本实施例的动画图像编码传送系统中使用的编码装置60的图，图11是表示在根据本实施例的动画图像编码传送系统中使用的译码装置60的图。
根据本实施例的动画图像编码传送系统具有在依照ITU-TH.26L编码方式、在其上添加为实施本发明所必要的变更的结构。H.26L编码方式在“ITU-T SG16 Q.6VCEG-M81，‘H.26 Test Model Long Term Number(TML-7)draft 0.’”等中记载。
根据本实施例的动画图像编码传送系统与根据上述第一实施例的动画图像编码传送系统比较，在“子块”单位的微小化、运动矢量检测方法的多样化、和采用回路滤波器73及空间预测单元74这几点上有变更。
第一，对于编码装置60说明有关上述“子块”单位的微小化的不同点。在本实施例中，作为正交变换对象的“子块”单位，变成比根据上述实施例的编码装置20的场合的“8×8像素”小的“4×4像素”。因此，预测方式选择的最小单位以及运动矢量的检测的最小单位也成为“4×4像素”的子块。
第二，对于编码装置60说明有关上述运动矢量检测方法的多样化的不同点。
运动检测单元62取4×4像素的子块作为最小单位，进行“运动矢量”的检测。
具体说，运动检测单元62使用在帧存储器72中存储的参考帧，在由输入单元61接收的子块中，进行有关在图12中所示7种运动检测单位(16×16，16×8，8×16，8×8，4×8，8×4，4×4)全部的运动矢量的检测。
另外，运动检测单元62把检测出来的运动矢量和在检测该运动矢量中使用的运动检测单位发送给运动补偿单元63。
运动补偿单元63使用接收的各个运动矢量和在帧存储器72中存储的参考帧生成“预测图像块”。另外，运动补偿单元63把生成的预测图像块和对应该预测图像块的运动检测单位发送给混合预测单元64。
第三，对于编码装置60说明有关上述空间预测单元74的采用的不同点。
空间预测单元74，如图13所示，对于由输入单元61发送的宏块内的每一子块(4×4像素)，通过使用邻接该子块的子块的像素值的几种像素值预测方法进行帧内像素值预测，生成预测图像块。
这里，空间预测单元74，在进行上述帧内像素值预测时，作为上述邻接的子块，需要从正交变换到量子化到逆量子化和到逆正交变换的一系列的处理的子块。因此，在本实施例中，从正交变换到量子化到逆量子化和到逆正交变换的一系列的处理，使用4×4像素的子块进行。
另外，空间预测单元74使用进行上述一系列处理的子块(4×4像素)进行上述的帧内像素值预测。
另外，空间预测单元74把生成的预测图像块和对应该预测图像块的像素值预测方法发送给混合预测单元64以及混合预测译码单元71。
混合预测单元64选择对应在由输入单元61发送的宏块内的子块以及由运动补偿单元63生成的“预测图像块(子块单位)”之间的SAD成为最低的“预测图像块(子块单位)”的运动检测单位。这里，混合预测单元64，对于该子块，适用对应上述运动检测单位的“帧间预测方式”。
另外，混合预测单元64选择对应在由输入单元61发送的宏块内的子块和由空间预测单元74生成的“预测图像块(子块单位)”之间的SAD成为最低的“预测图像块(子块单位)”的像素值预测方法。对于该子块，适用对应上述像素值预测方法的“帧内预测方式”。
这里，混合预测单元64比较“帧间预测方式”适用的场合的第一SAD和“帧内预测方式”适用的场合的第二SAD，对该子块适用SAD小的一方的“预测方式”。
另外，混合预测单元64，对于宏块内的全部子块，例如从左上的块顺次到右下的块像上述那样适用“预测方式”。
此外，如上所述，混合预测单元64，对于宏块内的全部子块，取适用对应上述运动检测单位的“帧间预测方式”或者对应上述像素值预测方法的“帧内预测方式”的场合的“宏块方式”作为“内/互方式”。
另外，混合预测单元64，比较宏块中“内/互方式”或者“互方式”或者“内方式”适用的场合的SAD(由输入单元61发送的宏块之间的SAD)，把SAD成为最低的“宏块方式”作为该宏块的“宏块方式”，发送给可变长编码单元67。
其结果，混合预测单元64，对于每一子块适用“帧间预测方式”或者“帧内像素值预测方式”，可以检索编码效率最好的组合。
在作为“宏块方式”选择“内/互方式”的场合，混合预测单元64，把“宏块方式”、各子块中的“预测方式的选择状况”、和各子块中的“运动矢量”或者“像素值预测方法”发送给可变长编码单元67以及混合预测译码单元71。
混合预测译码单元71，在作为“宏块方式”选择“内/互方式”的场合，而且对该子块选择“帧内像素值预测方式”的场合，相加由空间预测单元74发送的预测图像块和从逆正交变换单元70发送的预测残差信号，将其结果发送给回路滤波器73。
另外，混合预测译码单元71，在作为“宏块方式”选择“内/互方式”的场合，而且对该子块选择“帧间预测方式”的场合，相加由运动补偿单元63发送的预测图像块和从逆正交变换单元70发送的预测残差信号，将其结果经由回路滤波器73发送给帧存储器72。
第四，对于编码装置60说明有关上述回路滤波器73的采用的不同点。
回路滤波器73，对于由混合预测译码单元71发送的结果，以子块单位进行滤波处理，起抑制子块失真等恶化的作用。
另外，在根据本实施例的动画图像编码传送系统中，为表示作为“内/互方式”的“宏块方式”，如图14(a)所示那样变更H.26L编码方式中的P图像的宏块方式的定义。
图14(a)中的“Intra_pred_mode”表示“帧内像素值预测方式”适用的子块中使用的像素值预测方法。
另外，“Ref_frame”表示“帧间预测方式”适用的子块中使用的运动检测单位。
另外，为表示各子块中的“预测方式的选择状况”，如图14(b)那样扩展“Intra_pred_mode”。“INTER_PRED：6”的部分是扩展的部分。
在本实施例中，如图14(a)所示，变更相当于在现有的H.26L编码方式中定义的“内4×4方式”的宏块方式为“内/互方式”。
在现有技术的H.26L编码方式中，在作为宏块方式选择“内4×4方式”的场合，分配“MB type＝7”。
另一方面，根据本实施例的“内/互方式”，如图14(b)所示，在“MBtype＝7”被分配的宏块方式中，在“Intra_pred_mode”上追加一个“INTER_PRED”，以4×4像素的子块单位，不仅可以选择帧内像素值预测方式，而且可以选择帧间预测方式那样定义。
“内/互方式”的定义，不限于上述方法，也可以和“内4×4方式”不同进行。例如，“内/互方式”的定义，也可以根据每一子块的预测方式的选择状况，通过分配各自的宏块方式进行。
其结果，通过“Intra_pred_mode”，可以判别在宏块内的帧内预测方式适用的子块的数目或者帧间预测方式适用的子块的数目。
另外，编码装置68，在“内/互方式”适用的宏块内，通过在关于“MV”和“Ref_frame”等的帧间预测方式的信息之前发送“Intra_pred_mode”，在不需要有关这样的帧间预测的信息的场合，可以不用徒劳地发送“内/互方式”使用的语法。
另外，混合预测单元64，在选择“内/互方式”的场合，为抑制编码运动矢量必要的信息量的增加，也可以给可变长编码单元63和混合预测译码单元71给一个宏块发送一个运动矢量。
另外，混合预测单元64，也可以在邻接现宏块的宏块中，从编码已经结束的宏块(互方式)的运动矢量求预测值，取与该预测值的差作为现宏块的运动矢量。
另外，混合预测单元64，也可以把事前由运动检测单元62检测出来的“互16×16方式”用的运动矢量原封发送给可变长编码单元63和混合预测译码单元71。
另外，混合预测单元24，也可以在由运动检测单元62使用子块单位检测出来的运动矢量中，把出现最多的运动矢量作为现宏块的运动矢量发送给可变长编码单元63和混合预测译码单元71。
其结果，可以选择适合在宏块内通过“帧间预测方式”能够高效进行编码处理的子块的运动矢量，可以提高使用“内/互方式”编码的效率。
图11表示根据本实施例的译码装置80。以下主要关于根据本实施例的译码装置80说明和上述根据第一实施例的译码装置40的不同点。于是，不特别说明的点，根据本实施例的译码装置80和上述根据第一实施例的译码装置40相同。
根据本实施例的译码装置80，设置回路滤波器89以及空间预测单元90，这一点与上述根据第一实施例的译码装置40不同。
回路滤波器89具有和编码装置60的回路滤波器73同样的功能，对于由混合预测译码单元86发送的结果，使用子块单位进行滤波处理，起抑制子块失真等恶化的作用。
空间预测单元90，对于在帧存储器72中存储的参考帧的图像内的每一子块(4×4像素)使用从可变长译码单元82发送的像素值预测方法进行帧内像素值预测，生成预测图像块。
具体说，混合预测译码单元86，在作为“宏块方式”选择“互方式”的场合，在该宏块通过运动补偿帧间预测构成后，相加由逆正交变换单元84发送的“预测残差信号”和由运动补偿单元85发送的“预测图像块”，把由此获得的结果作为构成输出视频信号4的“宏块”。
另外，混合预测译码单元86，在作为“宏块方式”选择“内方式”的场合，在该宏块通过帧内预测构成后，相加由逆正交变换单元84发送的“预测残差信号”和由空间预测单元90发送的“预测图像块”，把由此获得的结果作为构成输出视频信号4的“宏块”。
另外，混合预测译码单元86，在作为“宏块方式”选择“内/互方式”的场合，对于每一个4×4像素的子块，转换使用“帧内预测方式”或者“帧间预测方式”中的一个预测方式。
亦即，混合预测译码单元86，在对该子块适用“帧内像素值预测方式”的场合，把由逆正交变换单元44发送的“预测残差信号(子块单位)”作为构成输出视频信号4的“子块”。
另一方面，混合预测译码单元86，在对该子块适用“帧内像素值预测方式”的场合，相加由逆正交变换单元44发送的“预测残差信号(子块单位)”和由空间预测单元90发送的“预测图像块”，把由此获得的结果作为构成输出视频信号4的“子块”。
混合预测译码单元86，通过这些“子块”，生成构成输出视频信号4的“宏块”。
另外，可变长译码单元82构成预测方式关联信息译码设备，该设备译码为进行第一或者第二预测方式所必需的预测方式关联信息(运动矢量或者像素值预测方法)。
(根据第二实施例的动画图像编码传送系统的操作)
参照图15说明具有上述结构的动画图像编码传送系统的操作。图15是表示编码装置60的混合预测单元64的处理的流程图。下面以编码装置60的混合预测单元64的操作为主说明动画图像编码传送系统的操作。
如图15所示，混合预测单元64，在步骤901，把由输入单元61发送的宏块分割成每个是4×4像素的子块。
在步骤902，混合预测单元64从运动补偿单元63接收通过使用多个运动检测单位的运动补偿帧间预测生成的多个预测图像块(子块单位)，从空间预测单元74接收通过使用多个像素值预测方法的帧内像素值预测生成的多个预测图像块(子块单位)。
在步骤903，混合预测单元64从来自运动补偿单元63的多个预测图像块(子块单位)中，选择和在由输入单元61发送的宏块内的子块之间的第一SAD成为最低的预测图像块。
另外，混合预测单元64从来自空间预测单元74的多个预测图像块(子块单位)中，选择和在由输入单元61发送的宏块内的子块之间的第二SAD成为最低的预测图像块。
在步骤904，混合预测单元64对于每一子块比较上述第一SAD和第二SAD，在第一SAD小的场合，在步骤905，设定该子块的预测方式为“帧间预测方式”，在第二SAD小的场合，在步骤906，设定该子块的预测方式为“帧内像素值预测方式”。
在步骤907，混合预测单元64判断对该宏块内的全部子块是否进行了上述选择，在没有进行的场合，返回到步骤902，对剩余的子块进行上述预测方式的选择。
在对全部子块进行了上述预测方式的选择的场合，混合预测单元64在步骤908，比较作为在该宏块全体中的SAD的合计值的“内/互方式”中的SAD和根据由运动补偿单元63发送的运动补偿帧间预测的预测图像块的SAD和根据由空间预测单元74发送的帧内像素值预测的预测图像块的SAD。
于是，混合预测单元64，把SAD成为最低的预测方式作为该宏块的“宏块方式”适用。
在步骤909，混合预测单元64把该“宏块方式”发送给可变长编码单元67以及混合预测译码单元71。
这里，在作为“宏块方式”选择“内/互方式”的场合，混合预测单元64给可变长编码单元67以及混合预测译码单元71发送“宏块方式”、各子块中的“预测方式的选择状况”、“运动矢量”或者“像素值预测方法”。
采用依照ITU-T H.26L的结构说明了根据本实施例的动画图像编码传送系统，但是，本发明不限于此，而可以适用于使用“帧间预测方式(第一预测方式)”以及“帧内预测方式(第二预测方式)”的预测方式、且使用相当宏块(第一图像块)的单位进行编码那样的各种动画图像编码传送系统。
另外，即使对于“内/互方式”，也不限于在本实施例中表示的结构，可以使用表示在宏块(第一图像块)内的各子块(第二图像块)中适用“帧间预测方式”以及“帧内预测方式”哪种方式的各种语法。
例如，也可以使用和“内4×4方式”不同的新的“内/互方式”。在这种场合，在宏块内的各子块的预测方式选择状况全部是“帧内像素值预测方式”的场合，对该宏块适用“内4×4方式”。另一方面，在这种场合，在宏块内的各子块的预测方式选择状况包含“帧间预测方式”的场合，对该宏块适用“内/互方式”。
此时，在“内4×4方式”中，把表示预测方式选择状况的“Intra_pred_mode”作为在现有技术的H.26L编码方式中使用的无扩展表。另一方面，在“内/互方式”中，把表示预测方式选择状况的“Intra_pred_mode”作为如图14(b)所示那样的进行过扩展的表，或者省略关于“INTER_PRED”以外的“帧内预测方式”的项目的一部分的表。其结果，可以高效率地发送使用“内4×4方式”以及“内/互方式”的语法。
同样，即使在“Intra_pred_mode”中，不限于在本实施例中表示的结构，可以使用能够表示在各子块(第二图像块)中适用“帧间预测方式”以及“帧内预测方式”哪种方式的各种语法。
此外，在本实施例中，混合预测单元64比较算出的SAD和规定的阈值，选择“宏块方式”，但是，本选择基准不限于本实施例所示结构。
例如，通过各种“宏块方式”尝试实际构成该宏块中的压缩位流3，选择使该位数小的一方的“宏块方式”等，可以使用为选择能够更加高效编码的“宏块方式”的各种选择基准。
(根据第二实施例的动画图像编码传送系统的作用、效果)
使用根据第二实施例的动画图像编码传送系统，因为混合预测单元64可以从子块最适当地生成削减空间方向的冗余度或者时间方向的冗余度的预测残差信号，因此，即使在一个宏块内混存使用帧间预测方式进行编码处理良好的部分和使用帧内预测方式进行编码处理良好的部分的场合，也可以进行高效率的编码处理。
(根据本发明的第三实施例的动画图像编码传送系统的结构)
参照附图说明根据本发明的第三实施例的动画图像编码传送系统的结构。根据本发明的第三实施例的动画图像编码传送系统和本发明的第二实施例的场合同样，依照ITU-T H.26L编码方式、具有在其上添加为实施本发明所必要的变更的结构。根据本实施例的动画图像编码传送系统的结构，和第二实施例的场合相同，由图10以及图11表示。
根据本实施例的动画图像编码传送系统与根据第二实施例的动画图像编码传送系统比较，在以下几点进行变更。
第一，根据本实施例的动画图像编码传送系统，作为对作为“预测方式”适用“帧间预测方式”还是适用“帧内预测方式”的选择单位的“子块”，不是作为正交变换的单位的“4×4像素的块单位”，而取图12所示的“运动检测单位”，这一点有所变更。
第二，根据本实施例的动画图像编码传送系统，变更定义为对于这样的子块单位选择适用“帧间预测方式”或者“帧内预测方式”所需要的语法这一点。
下面，在根据本实施例的编码装置60中，只说明和上述根据第二实施例的编码装置60不同的点，不特别说明的地方，和上述根据第二实施例的编码装置60相同。
另外，因为和上述“子块”的单位的不同，在本实施例的说明中，把和第二实施例的场合不同、作为正交变换单位的4×4像素块，不称为“子块”，而称为“正交变换块”。
在根据本实施例的编码装置60中，运动检测单元62，在图12中所示7种运动检测单位(16×16，16×8，8×16，8×8，4×8，8×4，4×4)、亦即“子块”单位中，把“运动矢量”检测作为在各“预测方式(亦即对应图12所示运动检测单位)”中的“运动矢量”发送给运动补偿单元63。
运动补偿单元63把由运动检测单元62发送的“运动矢量”适用于在帧存储器72中存储的参考帧，生成“预测图像块(子块单位)”，发送给混合预测单元64。
空间预测单元74，如图11所示，对于由输入单元61发送的宏块内的每一“正交变换块(4×4像素)”，通过使用邻接该正交变换块的正交变换块的像素值的几种像素值预测方法进行帧内像素值预测，生成预测图像块(子块单位)，发送给混合预测单元64。
空间预测单元74，对于在一个子块内包含的全部正交变换块进行上述预测图像块的生成，使和由输入单元61接收的子块的SAD成为最小那样选择像素值预测方法。
这里，空间预测单元74，对于宏块全体(16×16像素)也通过使用邻接该宏块的宏块的像素值的几种像素值预测方法进行帧内像素值预测，生成预测图像块。
空间预测单元74，给混合预测单元64，代替发送使用上述选择的像素值预测方法生成的预测图像块(子块单位)，可以发送表示上述像素值预测方法的识别信息。
邻接上述正交变换块的正交变换块，因为需要进行从正交变换到量子化到逆量子化和到逆正交变换一系列的处理，空间预测单元74使用这一系列处理结束的正交变换块进行上述的帧内像素值预测。
这样的场合，在邻接的正交变换块包含在相同的宏块内的场合，是不确定在邻接的正交变换块中使用的预测方式的场合。
在这样的场合，也可以使用对于该邻接的正交变换块成为候补的预测方式，进行上述的编码以及译码处理。或者，在邻接的正交变换块被包含在相同的宏块内的场合，也可以认为邻接的正交变换块在宏块外，进行帧内像素值预测。
混合预测单元64把由输入单元61发送的宏块分割为“子块(运动检测单位)”，对于每一子块适用“帧间预测方式”或者“帧内预测方式”，检索编码效率最好的组合。
具体说，混合预测单元64，如以下那样，顺次检查对应图12所示7种运动检测单位的“预测方式”。
混合预测单元64，对于各预测方式中的各子块计算由运动补偿单元63发送的通过运动补偿帧间预测的“预测图像块(子块单位)”以及由由空间预测单元74发送的帧内像素值预测的“预测图像块(正交变换块单位)”的SAD(和由输入单元61发送的宏块内的子块间的SAD)，取SAD小的一方的预测方法(运动补偿帧间预测或者帧内像素值预测)作为该子块的预测方法。
对于根据使用该预测方法的预测图像子块生成的“预测残差信号(子块单位)”，进行从正交变换到量子化到逆量子化和到逆正交变换一系列的编码以及译码处理。对于宏块内的(从左上的子块顺次到右下的子块)全部子块进行上述处理。
混合预测单元64，在对宏块内的全部子块进行上述处理后，把该宏块全体中的SAD的合计值作为在对应各运动检测单位的“宏块方式(互16×16方式等)”中的SAD保持。然后，混合预测单元64对于对应尚未进行检查的运动检测单位的“宏块方式(互16×16方式等)”同样进行上述处理。
混合预测单元64，在对于对应全部运动检测单位的“宏块方式”进行上述处理后，比较保持的对于各“宏块方式”的SAD。
然后，混合预测单元64，把使SAD成为最低的“宏块方式”作为使用该宏块的帧间预测的“宏块方式(互16×16等)”，保持该SAD。
然后，混合预测单元64，比较进行运动补偿帧间预测的场合的第一SAD和对于由空间预测单元74发送的该宏块全体进行帧内像素值预测的场合的第二SAD。
混合预测单元64最终把SAD成为最低的宏块方式作为该宏块的“宏块方式”，把该“宏块方式”发送给可变长编码单元67和混合预测译码单元71。
在作为“宏块方式”选择“互方式”的场合，混合预测单元64给可变长编码单元67和混合预测译码单元71发送“宏块方式”、各子块中的“预测方式的选择状况”、“运动矢量”或者“像素值预测方法”。
混合预测译码单元71，在作为“宏块方式”选择“互方式”的场合，而且在给该子块选择“帧间预测方式”的场合，相加由运动补偿单元63发送的“预测图像块(子块单位)”和“预测残差信号(子块单位)”，把结果发送给回路滤波器73。
另外，混合预测译码单元71，在作为“宏块方式”选择“互方式”的场合，而且在给该子块选择“帧内像素值预测方式”的场合，相加由空间预测单元74发送的“预测图像块(子块单位)”和“预测残差信号(子块单位)”，将结果经由回路滤波器73发送给帧存储器72。
回路滤波器73，对于由混合预测译码单元71发送的结果使用子块单位进行滤波处理，可以起抑制子块失真等恶化的作用。
在根据本实施例的动画图像编码传送系统中，因为在宏块内混存“帧间预测方式”和“帧内像素值预测方式”，因此要如下那样扩展“互方式”的语法。
具体说，在根据本实施例的动画图像编码传送系统中，在作为“宏块方式”选择“互方式”的场合，为表示在该子块中的“帧间预测方式”和“帧内像素值预测方式”的选择状况，如图16以及图17所示扩展在H.26L编码方式中的P图像的宏块方式中的“Ref_frame”以及语法的定义。
在图16(a)中，表示现有技术的H.26L的P图像的宏块方式中的语法的定义。在图16(a)中，“Intra_pred_mode”，在现有技术的H.26L编码方式中选择“内4×4方式，，的场合，表示在各正交变换块中选择的预测方法(运动补偿帧间预测或者帧内像素值预测)。
“Ref_frame”在H.26L编码方式中，因为使用运动补偿帧间预测、使用多个参考帧可以检测“运动矢量”，因此在宏块中，表示使用哪个参考帧。
“MVD”表示运动矢量的差分信息，“Texture Codin Suntax”表示上述以外的正交变换系数等的信息。
图16(a)表示的语法如图16(b)那样扩展。“Ref_frame”决定只传送通过由“MB_type”指示的“宏块方式”判别的子块的数目。
为此如图17扩展“Ref_frame”的定义。在图17中，取最大参考帧数为“5”，表示“5”的代码的下一个代码表示“帧内预测方式”。
在H.26L编码方式中，最大参考帧数是可变的，可以取“5”以外的值。这里，最大参考帧数，在编码装置60以及译码装置80中已知，另外，在实际的应用程序中，也可以考虑事先传送同样的设定信息。
因此，在表示“帧内预测方式”的代码中，如果决定分配表示最大参考帧数的代码的下一个代码的话，则可以不管最大参考帧数，把扩展的“Ref_frame”在编码装置60以及译码装置80中唯一定义。
其结果，在选择“互方式”的宏块中，可以混存“帧间预测方式”和“帧内像素值预测方式”。
另外，在根据“Ref_frame”判别“帧间预测方式”或者“帧内预测方式”的选择状况后，在决定先于“Intra_pred_mode”传送“Ref_frame”的同时，“Intra_pred_mode”，在通过“Ref_frame”指示存在“帧内预测方式”的子块的场合，决定只传送由“Ref_frame”指示的“帧内预测方式”的子块的数目。
通过先行发送“Ref_frame”，在不需要关于“MVD”等帧间预测方式的信息或者关于“Intra_pred_mode”等帧内像素值预测方式的信息的场合，也可以不用徒劳地发送各自的语法。
此外，在这一场合，和现有技术的H.26L编码方式的场合不同，给每一子块传送“Ref_frame”。
因此，不仅可以给每一子块选择“帧间预测方式”和“帧内像素值预测方式”，而且可以给每一子块选择在现有技术的H.26L编码方式的场合给每一宏块选择的参考帧。
根据本实施例的译码装置80的结构，代替使用4×4像素的子块，除使用作为运动检测单位的子块外，和根据第二实施例的译码装置80相同。
(根据第三实施例的动画图像编码传送系统的操作)
参照图18说明关于具有上述结构的动画图像编码传送系统的操作。图18是表示在本实施例中的编码装置60的混合预测单元64的处理的流程图。下面，以编码装置60的混合预测单元64的操作为主，说明动画图像编码传送系统的操作。
混合预测单元64，如图15所示，在步骤1501把由输入单元61发送的宏块分割成各子块(对应运动检测单位)。
在步骤1502，混合预测单元64从运动补偿单元63接收使用帧间预测的预测图像块，从空间预测单元74接收使用帧内像素值预测的预测图像块。
在步骤1503，混合预测单元64计算由输入单元61发送的宏块和使用帧间预测的预测图像块之间的第一SAD，以及由输入单元61发送的宏块和使用帧内像素值预测的预测图像块之间的第二SAD。
在步骤1504，混合预测单元64，对于每一子块比较上述第一SAD和第二SAD，在第一SAD小的场合，在步骤1505设定该子块的预测方式为“帧间预测方式”，在第二SAD小的场合，在步骤1506，设定该子块的预测方式为“帧内像素值预测方式”。
在步骤1507，混合预测单元64，对于该宏块的全部的子块，判断是否进行预测方式的选择，在未进行的场合，返回到步骤1502，对于剩余的子块进行预测方式的选择。
在对于全部子块进行预测方式的选择的场合，混合预测单元64在步骤1508，对于该宏块，对于全部宏块方式(互16×16方式等)，判断是否进行上述选择，在未进行的场合，返回到步骤1501，对于剩余的宏块方式进行上述的预测方式的选择。
在对于全部子块以及全部宏块方式进行预测方式的选择的场合，混合预测单元64在步骤1509对于各宏块方式比较在该宏块全体上的SAD的合计值。
另外，混合预测单元64也比较在通过空间预测单元74对于宏块全体(16×16像素)进行帧内像素值预测的场合(内方式)的SAD。
然后，混合预测单元64，作为该宏块的“宏块方式”，适用SAD成为最低的“宏块方式”。
在步骤1510，混合预测单元64把该“宏块方式”发送给可变长编码单元67和混合预测译码单元71。
这里，在选择包含作为“宏块方式”的“帧内预测方式”的子块的“互方式”的场合，混合预测单元64把“宏块方式”、各子块中的“预测方式的选择状况”、“运动矢量”或者“像素值预测方法”发送给可变长编码单元67和混合预测译码单元71。
采用依照ITU-T H.26L的结构说明了根据本实施例的动画图像编码传送系统，但是，本发明不限于此，而可以适用于使用“帧间预测方式(第一预测方式)”以及“帧内预测方式(第二预测方式)”的预测方式、且使用相当宏块(第一图像块)的单位进行编码那样的各种动画图像编码传送系统。
另外，即使对于在各子块中的“帧间预测方式”以及“帧内预测方式”的判别方法，也不限于在本实施例中表示的结构，可以使用表示在宏块(第一图像块)内的各子块(第二图像块)中适用“帧间预测方式”以及“帧内预测方式”哪种方式的各种语法。
关于在各子块中的“帧间预测方式”以及“帧内预测方式”的判别方法，如本实施例中的“Ref_frame”，可以考虑在使用子块单位传送的各种信息上重叠传送。
例如，在使用运动矢量差分信息(MVD)、该子块是“帧内预测方式”的场合，可以使用特别的矢量值或者差分矢量值指示。
另外，也可以定义给每一子块传送的新的信息、传送和“Ref_frame”或“MVD”不同的“帧间预测方式”或“帧内预测方式”的判别信息。
另外，给“MVD”的编码代码设定特别的代码，亦即跳出符号，在传送它的场合也可以指示是“帧内预测方式”。
此外，在本实施例中，在作为宏块方式选择“互方式”的场合，可能有在全部的子块内选择“帧内预测方式”的场合。
这样的场合的编码结果，因为“像素值预测方法”等的信息不同，因此不一定和选择作为宏块方式的“内方式”的场合相同。
因此，也可以许可存在这样的“宏块方式”。
但是，在这种场合，存在多个使用在预测方法(运动补偿帧间预测或者帧内像素值预测)中没有变化的帧内预测的宏块方式。
为防止这样的事态发生，也可以禁止所有的子块成为“帧内预测方式”的“互方式”，或者禁止作为宏块方式的“内方式”等，使避免存在多个使用帧内预测的宏块方式。
(根据第三实施例的多路传送装置的作用、效果)
使用根据第三实施例的动画图像编码传送系统，因为混合预测单元64可以从子块最适当地生成削减空间方向的冗余度或者时间方向的冗余度的预测残差信号，因此，即使在一个宏块内混存使用帧间预测方式进行编码处理良好的部分和使用帧内预测方式进行编码处理良好的部分的场合，也可以进行高效率的编码处理。
(其它)
此外，用于在计算机上实现根据上述实施例1到3的编码装置20及60、译码装置40及80的功能的程序，可以记录在计算机可读的记录介质上。该计算机可读记录介质如图19所示，例如可以举出软盘101、光盘102、IC芯片103、磁带104等。使用这样的记录程序的计算机可读记录介质，可以容易地进行程序的保存、搬运、销售等。
产业上的利用可能性
如上所述，使用本发明，不改变宏块的框架，在一个宏块内进行预测方式的转换，可以混存使用帧间预测方式进行编码处理的部分和使用帧内预测方式进行编码处理的部分。

Claims (42)

1.编码装置，用于以第一图像块单位编码动画图像，其特征在于，具有：
预测方式选择信息生成设备，用于生成预测方式选择信息，该信息表示对于分割所述第一图像块的第二图像块单位，是适用消除时间方向的冗余度的第一预测方式，还是适用削减空间方向的冗余度的第二预测方式；
预测残差信号生成设备，用于通过对所述第二图像块适用所选择的所述第一或者第二预测方式来生成预测残差信号；
传送设备，用于编码并传送所述预测方式选择信息以及所述预测残差信号。
2.根据权利要求1所述的编码装置，其特征在于，所述传送设备编码并传送进行通过所述第一或者第二预测方式进行编码处理所必需的预测方式关联信息。
3.根据权利要求2所述的编码装置，其特征在于，
所述预测残差信号生成设备，在选择适用所述第一预测方式的场合，对于每一所述第二图像块，通过使用运动矢量的运动补偿帧间预测生成所述预测残差信号；
所述预测残差信号生成设备，在选择适用所述第一预测方式的场合，对于每一所述第二图像块，通过帧内预测生成所述预测残差信号；
4.根据权利要求3所述的编码装置，其特征在于，所述传送设备，在选择适用所述第一预测方式的场合，作为所述预测方式关联信息，编码并传送表示所述运动矢量的信息。
5.根据权利要求3所述的编码装置，其特征在于，所述预测残差信号生成设备，在所述第一图像块内，通过使用同一运动矢量的运动补偿帧间预测生成所述预测残差信号。
6.根据权利要求4所述的编码装置，其特征在于，所述传送设备在传送所述预测方式关联信息之前传送所述预测方式选择信息。
7.根据权利要求2所述的编码装置，其特征在于，
所述预测残差信号生成设备，在选择适用所述第二预测方式的场合，对于每一所述第二图像块，通过使用邻接该第二图像块的像素值的像素值预测方法生成所述预测残差信号；
所述传送设备，作为所述预测方式关联信息，编码并传送所述像素值预测方法。
8.根据权利要求2所述的编码装置，其特征在于，上述传送设备，把所述预测方式关联信息与所述预测方式选择信息进行相关性处理，并编码和传送。
9.根据权利要求2所述的编码装置，其特征在于，所述传送设备，在对于所述第二图像块单位不适用所述第一预测方式的场合，不传送所述第一预测方式的所述预测方式关联信息。
10.译码装置，用于译码动画图像，其特征在于，具有：
预测方式选择信息译码设备，用于译码预测方式选择信息，该信息表示对于把分割了动画图像的第一图像块分割的第二图像块单位，是适用消除时间方向的冗余度的第一预测方式，还是适用削减空间方向的冗余度的第二预测方式；
动画图像译码设备，根据通过所述预测方式选择信息所选择的所述第一或者第二预测方式，以所述第二图像块单位，译码所述动画图像。
11.根据权利要求10所述的译码装置，其特征在于，
具有译码通过所述第一或者第二预测方式的编码处理所必需的预测方式关联信息的预测方式关联信息译码设备；
所述动画图像译码设备使用所述预测方式关联信息译码所述动画图像。
12.根据权利要求11所述的译码装置，其特征在于，
所述动画图像译码设备，在通过所述预测方式选择信息选择适用了所述第一预测方式的场合，以所述第二图像块单位，从所述预测残差信号通过运动补偿帧间预测译码所述动画图像，
所述动画图像译码设备，在通过所述预测方式选择信息选择适用了所述第二预测方式的场合，以所述第二图像块单位，从所述预测残差信号通过帧内预测译码所述动画图像。
13.根据权利要求12所述的译码装置，其特征在于，所述预测方式关联信息译码设备，作为所述预测方式关联信息，在通过所述预测方式选择信息选择适用了所述第一预测方式的场合，作为所述预测方式关联信息，译码表示运动矢量的信息。
14.根据权利要求12所述的译码装置，其特征在于，所述预测方式选择信息译码设备在所述预测方式关联信息之前译码所述预测方式选择信息。
15.根据权利要求11所述的译码装置，其特征在于，所述动画图像译码设备，在通过所述预测方式选择信息选择适用了所述第一预测方式的场合，以所述第一图像块单位，使用通过同一运动矢量的运动补偿帧间预测译码所述动画图像。
16.根据权利要求11所述的译码装置，其特征在于，
所述预测方式关联信息译码设备，在通过所述预测方式选择信息选择适用所述第二预测方式的场合，作为所述预测方式关联信息，译码有关所述第二图像块的像素值预测方法；
所述动画图像译码设备使用所述像素值预测方法译码所述动画图像。
17.根据权利要求10所述的译码装置，其特征在于，所述预测方式选择信息译码设备，以所述第二图像块单位，译码所述预测方式选择信息。
18.根据权利要求11所述的译码装置，其特征在于，将所述预测方式选择信息与所述预测方式关联信息进行相关处理并译码。
19.根据权利要求11所述的译码装置，其特征在于，所述预测方式关联信息译码设备，对于所述第二图像块单位，在通过所述预测方式选择信息表示所述第一预测方式不适用的场合，不译码所述第一预测方式的预测方式关联信息。
20.一种编码方法，所述方法以第一图像块单位编码动画图像，其特征在于：具有步骤：
步骤A，该步骤生成预测方式选择信息，所述信息表示对于分割所述第一图像块的第二图像块单位，是适用消除时间方向的冗余度的第一预测方式，还是适用削减空间方向的冗余度的第二预测方式；
步骤B，该步骤通过对所述第二图像块适用所选择的所述第一或者第二预测方式生成预测残差信号；
步骤C，该步骤编码并传送所述预测方式选择信息以及所述预测残差信号。
21.根据权利要求20所述的编码方法，其特征在于，在所述步骤C中，编码并传送为进行根据所述第一或者第二预测方式的编码处理所必要的预测方式关联信息。
22.根据权利要求19所述的编码方法，其特征在于，
在所述步骤B中，在选择适用所述第一预测方式的场合，对于每一所述第二图像块，通过使用运动矢量的运动补偿帧间预测，生成所述预测残差信号，
在所述步骤B中，在选择适用所述第二预测方式的场合，对于每一所述第二图像块，通过使用运动矢量的运动补偿帧间预测，生成所述预测残差信号。
23.根据权利要求22所述的编码方法，其特征在于，在所述步骤C中，在选择适用所述第一预测方式的场合，作为所述预测方式关联信息，编码并传送表示所述运动矢量的信息。
24.根据权利要求22所述的编码方法，其特征在于，在所述步骤B中，在所述第一图像块内通过使用同一运动矢量的运动补偿帧间预测，生成所述预测残差信号。
25.根据权利要求23所述的编码方法，其特征在于，在所述步骤C中，在所述预测方式关联信息之前传送所述预测方式选择信息。
26.根据权利要求21所述的编码方法，其特征在于，
在所述步骤B中，在选择适用所述第二预测方式的场合，对于每一所述第二图像块，通过使用邻接该第二图像块的像素值的像素值预测方法，生成所述预测残差信号；
在所述步骤C中，作为所述预测方式关联信息，编码并传送所述像素值预测方法。
27.根据权利要求21所述的编码方法，其特征在于，在所述步骤C中，对所述预测方式关联信息与所述预测方式选择信息进行相关处理，并编码和传送。
28.根据权利要求21所述的编码方法，其特征在于，在所述步骤C中，在对所述第二图像块单位不适用所述第一预测方式的场合，不传送所述第一预测方式的所述预测方式关联信息。
29.一种译码方法，所述方法译码动画图像，其特征在于，具有：
步骤A，该步骤译码预测方式选择信息，该信息表示对于把分割动画图像的第一图像块进行分割的第二图像块单位，是适用消除时间方向的冗余度的第一预测方式，还是适用削减空间方向的冗余度的第二预测方式；
步骤B，该步骤根据通过所述预测方式选择信息所选择的所述第一或者第二预测方式，以所述第二图像块单位，译码所述动画图像。
30.根据权利要求29所述的译码方法，其特征在于，
在所述步骤A中，译码通过所述第一或者第二预测方式进行编码处理所必需的预测方式关联信息，
在所述步骤B中，使用所述预测方式关联信息译码所述动画图像。
31.根据权利要求30所述的译码方法，其特征在于，
在所述步骤A中，在通过所述预测方式选择信息选择适用所述第一预测方式的场合，在所述步骤B中，使用运动补偿帧间预测译码所述动画图像；
在所述步骤A中，在通过所述预测方式选择信息选择适用所述第二预测方式的场合，在所述步骤B中，使用帧内预测译码所述动画图像。
32.根据权利要求31所述的译码方法，其特征在于，在所述步骤A中，在通过所述预测方式选择信息选择适用所述第一预测方式的场合，作为所述预测方式关联信息，译码表示运动矢量的信息。
33.根据权利要求30所述的译码方法，其特征在于，在所述步骤A中，在所述预测方式关联信息之前译码所述预测方式选择信息。
34.根据权利要求32所述的译码方法，其特征在于，在所述步骤B中，在通过所述预测方式选择信息选择适用所述第一预测方式的场合，以所述第一图像块单位，使用通过同一运动矢量的运动补偿帧间预测译码所述动画图像。
35.根据权利要求30所述的译码方法，其特征在于，
在所述步骤A中，在通过所述预测方式选择信息选择适用所述第二预测方式的场合，作为所述预测方式关联信息，译码关于所述第二图像块的像素值预测方法；
在所述步骤B中，使用所述像素值预测方法译码所述动画图像。
36.根据权利要求29所述的译码方法，其特征在于，在所述步骤A中，以所述第二图像块单位，译码所述预测方式选择信息。
37.根据权利要求30所述的译码方法，其特征在于，使所述预测方式选择信息与所述预测方式关联信息进行相关处理并进行编码。
38.根据权利要求30所述的译码方法，其特征在于，在所述步骤A中，对于所述第二图像块单位，在通过所述预测方式选择信息表示出所述第一预测方式不被适用的场合，不译码所述第一预测方式的预测方式关联信息。
39.一种程序，该程序使计算机作为以第一图像块单位编码动画图像的编码装置作用，该编码装置具有：
预测方式选择信息生成设备，用于生成预测方式选择信息，该信息表示对于分割所述第一图像块的第二图像块单位，是适用消除时间方向的冗余度的第一预测方式，还是适用削减空间方向的冗余度的第二预测方式；
预测残差信号生成设备，用于通过对所述第二图像块适用选择的所述第一或者第二预测方式生成预测残差信号；
传送设备，用于编码并传送所述预测方式选择信息以及所述预测残差信号。
40.一种程序，该程序使计算机作为译码动画图像的译码装置作用，该译码装置具有：
预测方式选择信息译码设备，用于译码预测方式选择信息，该信息表示对于把分割动画图像的第一图像块分割的第二图像块单位，是适用消除时间方向的冗余度的第一预测方式，还是适用削减空间方向的冗余度的第二预测方式；
动画图像译码设备，用于根据通过所述预测方式选择信息选择的所述第一或者第二预测方式，以所述第二图像块单位，译码所述动画图像。
41.动画图像编码传送系统，具有编码装置和译码装置，其特征在于，
所述编码装置具有：
预测方式选择信息生成设备，用于生成预测方式选择信息，该信息表示对于分割了所述第一图像块的第二图像块单位，是适用消除时间方向的冗余度的第一预测方式，还是适用削减空间方向的冗余度的第二预测方式；
预测残差信号生成设备，用于通过对所述第二图像块适用所选择的所述第一或者第二预测方式来生成预测残差信号；
传送设备，用于编码并传送所述预测方式选择信息以及所述预测残差信号；
所述译码装置具有：
预测方式选择信息译码设备，用于以所述第二图像块单位，译码所述预测方式选择信息；
动画图像译码设备，用于根据通过所述预测方式选择信息所选择的所述第一或者第二预测方式，以所述第二图像块单位，译码所述动画图像。
42.动画图像编码传送方法，其特征在于，
在编码中具有：编码并传送预测方式选择信息以及预测残差信号的步骤，所述预测方式选择信息表示，对于把分割动画图像的第一图像块进行分割的第二图像块单位、是适用消除时间方向的冗余度的第一预测方式还是适用削减空间方向的冗余度的第二预测方式，所述预测残差信号，通过对所述第二图像块适用所选择的所述第一或者第二预测方式生成；
在译码中具有：以第二图像块单位译码所述预测方式选择信息的步骤，和
根据通过所述预测方式选择信息所选择的所述第一或者第二预测方式，以所述第二图像块单位，译码所述动画图像的步骤。
CNB028170733A 2001-08-28 2002-08-28 动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序 Expired - Lifetime CN1297148C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP258800/2001 2001-08-28
JP2001258800 2001-08-28
JP103062/2002 2002-04-04
JP2002103062 2002-04-04

Publications (2)

Publication Number Publication Date
CN1550109A true CN1550109A (zh) 2004-11-24
CN1297148C CN1297148C (zh) 2007-01-24

Family

ID=26621167

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028170733A Expired - Lifetime CN1297148C (zh) 2001-08-28 2002-08-28 动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序

Country Status (5)

Country Link
US (1) US7474699B2 (zh)
EP (1) EP1429564A4 (zh)
JP (1) JP4163618B2 (zh)
CN (1) CN1297148C (zh)
WO (1) WO2003021971A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008025300A1 (en) * 2006-09-01 2008-03-06 Huawei Technologies Co., Ltd. A method for encoding/decoding, the corresponding apparatus for encoding/decoding and a method or apparatus for searching optimum matching block
CN1925619B (zh) * 2005-08-30 2011-12-07 三星电子株式会社 视频编码和解码的装置和方法
CN101529916B (zh) * 2006-10-31 2012-07-18 汤姆森许可贸易公司 利用帧内编码选择的视频编码
US8238678B2 (en) 2006-08-30 2012-08-07 Siemens Medical Solutions Usa, Inc. Providing representative image information
CN103329534A (zh) * 2011-01-19 2013-09-25 瑞萨电子株式会社 图像编码装置及图像解码装置
US9788015B2 (en) 2008-10-03 2017-10-10 Velos Media, Llc Video coding with large macroblocks
CN109510986A (zh) * 2018-10-26 2019-03-22 西安科锐盛创新科技有限公司 带宽压缩中自适应纹理渐变预测方法
CN109561309A (zh) * 2018-10-26 2019-04-02 西安科锐盛创新科技有限公司 带宽压缩中自适应纹理渐变预测的方法
CN110199520A (zh) * 2017-01-16 2019-09-03 世宗大学校产学协力团 影像信号编码/解码方法及装置

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7469069B2 (en) * 2003-05-16 2008-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
JP4617644B2 (ja) 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
KR100987764B1 (ko) * 2003-09-04 2010-10-13 경희대학교 산학협력단 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치
KR100987765B1 (ko) * 2003-09-30 2010-10-13 삼성전자주식회사 동영상 부호화기에서의 예측 수행 방법 및 장치
KR100601935B1 (ko) * 2003-12-02 2006-07-14 삼성전자주식회사 디지탈 동영상 처리 방법 및 장치
KR100621137B1 (ko) * 2004-02-27 2006-09-13 세이코 엡슨 가부시키가이샤 동화상 부호화 장치 및 동화상 처리장치
KR100677118B1 (ko) * 2004-06-11 2007-02-02 삼성전자주식회사 움직임 추정 방법 및 그 장치
EP1790167B1 (en) * 2004-09-16 2010-01-06 Thomson Licensing Method and apparatus for fast mode decision for interframes
EP1802127B1 (en) 2004-09-29 2018-04-11 Tencent Technology (Shenzhen) Company Limited Method for performing motion estimation
US20060126726A1 (en) * 2004-12-10 2006-06-15 Lin Teng C Digital signal processing structure for decoding multiple video standards
JP4495580B2 (ja) * 2004-12-13 2010-07-07 パナソニック株式会社 面内予測装置および面内予測方法
JP4501675B2 (ja) * 2004-12-22 2010-07-14 日本電気株式会社 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム
EP1842379A4 (en) * 2005-01-25 2010-08-11 Samsung Electronics Co Ltd METHOD FOR EFFECTIVELY PREDICTING A MULTILAYER VIDEO FRAME, VIDEO ENCODING METHOD, AND APPARATUS USING THE SAME
KR100703748B1 (ko) 2005-01-25 2007-04-05 삼성전자주식회사 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
KR100692600B1 (ko) * 2005-02-22 2007-03-13 삼성전자주식회사 움직임 추정 장치 및 방법
US8019000B2 (en) * 2005-02-24 2011-09-13 Sanyo Electric Co., Ltd. Motion vector detecting device
KR101170799B1 (ko) * 2005-05-21 2012-08-02 삼성전자주식회사 영상 압축 방법 및 그 장치와 영상 복원 방법 및 그 장치
KR101215614B1 (ko) * 2005-09-09 2012-12-26 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
US7620108B2 (en) * 2005-09-16 2009-11-17 Sony Corporation Integrated spatial-temporal prediction
KR100667815B1 (ko) * 2005-09-22 2007-01-12 삼성전자주식회사 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체
JP2007088922A (ja) * 2005-09-22 2007-04-05 Sanyo Electric Co Ltd 符号化装置と符号化方法
EP2720468B1 (en) * 2005-09-26 2017-03-29 Mitsubishi Electric Corporation Moving image decoding method
JP4185086B2 (ja) * 2005-09-28 2008-11-19 株式会社日立国際電気 画像処理装置
US20070201066A1 (en) * 2005-10-30 2007-08-30 Asa Ziv Density measurement, colorimetric data, and inspection of printed sheet using contact image sensor
KR100750136B1 (ko) * 2005-11-02 2007-08-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR100723861B1 (ko) 2005-11-04 2007-05-31 한국전자통신연구원 고속 움직임 예측을 위한 고속 모드 검색 장치 및 방법
US8170102B2 (en) * 2005-12-19 2012-05-01 Seiko Epson Corporation Macroblock homogeneity analysis and inter mode prediction
US20070274385A1 (en) * 2006-05-26 2007-11-29 Zhongli He Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame
KR100882949B1 (ko) * 2006-08-17 2009-02-10 한국전자통신연구원 화소 유사성에 따라 적응적인 이산 코사인 변환 계수스캐닝을 이용한 부호화/복호화 장치 및 그 방법
JP4902854B2 (ja) * 2006-09-12 2012-03-21 パナソニック株式会社 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
KR101365570B1 (ko) * 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
JP4799477B2 (ja) * 2007-05-08 2011-10-26 キヤノン株式会社 画像符号化装置及び画像符号化方法
US9100038B2 (en) * 2007-06-29 2015-08-04 Orange Decoding function selection distributed to the decoder
EP2018070A1 (en) * 2007-07-17 2009-01-21 Thomson Licensing Method for processing images and the corresponding electronic device
WO2009073415A2 (en) 2007-11-30 2009-06-11 Dolby Laboratories Licensing Corporation Temporal image prediction
KR100952340B1 (ko) * 2008-01-24 2010-04-09 에스케이 텔레콤주식회사 시공간적 복잡도를 이용한 부호화 모드 결정 방법 및 장치
KR20090095317A (ko) * 2008-03-05 2009-09-09 삼성전자주식회사 영상 부호화 및 복호화 방법 및 장치
KR100949917B1 (ko) * 2008-05-28 2010-03-30 한국산업기술대학교산학협력단 적응적 인트라 예측을 통한 고속 부호화 방법 및 시스템
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
US8483285B2 (en) 2008-10-03 2013-07-09 Qualcomm Incorporated Video coding using transforms bigger than 4×4 and 8×8
US8634456B2 (en) 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
WO2010041858A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for decoding a video signal
EP2173101A3 (en) * 2008-10-06 2010-08-18 LG Electronics Inc. A method and an apparatus for decoding a video signal
TWI398169B (zh) * 2008-12-23 2013-06-01 Ind Tech Res Inst 移動向量之編碼模式選擇方法及其相關編碼模式選擇裝置，及其機器可讀取媒體
US8311112B2 (en) * 2008-12-31 2012-11-13 Entropic Communications, Inc. System and method for video compression using predictive coding
KR20100095992A (ko) * 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
WO2010131903A2 (en) 2009-05-12 2010-11-18 Lg Electronics Inc. Method and apparatus for processing a video signal
JP2011024066A (ja) * 2009-07-17 2011-02-03 Sony Corp 画像処理装置および方法
KR101474756B1 (ko) 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
WO2011075071A1 (en) * 2009-12-17 2011-06-23 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for video coding
KR101432771B1 (ko) * 2010-03-05 2014-08-26 에스케이텔레콤 주식회사 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법
US8665959B2 (en) * 2010-04-12 2014-03-04 Qualcomm Incorporated Block and partition signaling techniques for video coding
JP2012175548A (ja) * 2011-02-23 2012-09-10 Hitachi Kokusai Electric Inc 動画像符号化装置及び動画像符号化方法
US20130329797A1 (en) * 2011-02-25 2013-12-12 Panasonic Corporation Image coding method and image decoding method
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
TWI685251B (zh) * 2011-06-28 2020-02-11 南韓商三星電子股份有限公司 對影像做畫面內預測的裝置及編碼裝置以及包括位元串流的非暫態電腦可讀取媒體
US9374592B2 (en) * 2012-09-08 2016-06-21 Texas Instruments Incorporated Mode estimation in pipelined architectures
US20150271512A1 (en) * 2014-03-18 2015-09-24 Texas Instruments Incorporated Dynamic frame padding in a video hardware engine
US10390026B2 (en) * 2016-03-25 2019-08-20 Google Llc Smart reordering in recursive block partitioning for advanced intra prediction in video coding
US10914957B1 (en) 2017-05-30 2021-02-09 Apple Inc. Video compression methods and apparatus
CN112204968B (zh) * 2018-03-29 2024-03-15 弗劳恩霍夫应用研究促进协会 使用图片边界处理对图片进行编码和解码的装置和方法
WO2020171046A1 (en) 2019-02-20 2020-08-27 Panasonic Intellectual Property Corporation Of America Image encoder and image decoder
CN113966611B (zh) * 2019-06-09 2023-12-15 北京字节跳动网络技术有限公司 视频编解码中的重要系数信令
CN114586354A (zh) * 2019-08-22 2022-06-03 Lg 电子株式会社 基于矩阵的帧内预测设备和方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH082106B2 (ja) 1986-11-10 1996-01-10 国際電信電話株式会社 動画像信号のハイブリツド符号化方式
US5812197A (en) * 1995-05-08 1998-09-22 Thomson Consumer Electronics, Inc. System using data correlation for predictive encoding of video image data subject to luminance gradients and motion
US5909513A (en) * 1995-11-09 1999-06-01 Utah State University Bit allocation for sequence image compression
US5844612A (en) * 1995-11-09 1998-12-01 Utah State University Foundation Motion vector quantizing selection system
US5963673A (en) * 1995-12-20 1999-10-05 Sanyo Electric Co., Ltd. Method and apparatus for adaptively selecting a coding mode for video encoding
CN1183769C (zh) * 1996-05-28 2005-01-05 松下电器产业株式会社 图像预测编码/解码装置和方法以及记录媒体
JP3633204B2 (ja) * 1997-05-14 2005-03-30 ソニー株式会社 信号符号化装置、信号符号化方法、信号記録媒体及び信号伝送方法
US6493385B1 (en) * 1997-10-23 2002-12-10 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
JP2000102016A (ja) * 1998-09-22 2000-04-07 Victor Co Of Japan Ltd 動き補償予測回路
EP1061750A3 (en) * 1999-06-18 2010-05-05 THOMSON multimedia Picture compression process, especially of the MPEG2 type
WO2001049038A1 (de) * 1999-12-23 2001-07-05 Siemens Aktiengesellschaft Verfahren, anordnung und computerprogrammerzeugnis zur prädiktion bei der codierung eines in bildblöcke unterteilten bildes
US7020196B2 (en) * 2000-03-13 2006-03-28 Sony Corporation Content supplying apparatus and method, and recording medium
GB2366464A (en) * 2000-08-14 2002-03-06 Nokia Mobile Phones Ltd Video coding using intra and inter coding on the same data
US6895050B2 (en) * 2001-04-19 2005-05-17 Jungwoo Lee Apparatus and method for allocating bits temporaly between frames in a coding system
US6898241B2 (en) * 2001-05-11 2005-05-24 Mitsubishi Electric Research Labs, Inc. Video transcoder with up-sampling
US7280597B2 (en) * 2003-06-24 2007-10-09 Mitsubishi Electric Research Laboratories, Inc. System and method for determining coding modes, DCT types and quantizers for video coding
US7324595B2 (en) * 2003-09-22 2008-01-29 Lsi Logic Corporation Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1925619B (zh) * 2005-08-30 2011-12-07 三星电子株式会社 视频编码和解码的装置和方法
US8238678B2 (en) 2006-08-30 2012-08-07 Siemens Medical Solutions Usa, Inc. Providing representative image information
WO2008025300A1 (en) * 2006-09-01 2008-03-06 Huawei Technologies Co., Ltd. A method for encoding/decoding, the corresponding apparatus for encoding/decoding and a method or apparatus for searching optimum matching block
CN101518089B (zh) * 2006-09-01 2010-12-01 华为技术有限公司 编/解码方法、编/解码器及寻找最佳匹配块的方法及装置
CN101529916B (zh) * 2006-10-31 2012-07-18 汤姆森许可贸易公司 利用帧内编码选择的视频编码
US11039171B2 (en) 2008-10-03 2021-06-15 Velos Media, Llc Device and method for video decoding video blocks
US10225581B2 (en) 2008-10-03 2019-03-05 Velos Media, Llc Video coding with large macroblocks
US9788015B2 (en) 2008-10-03 2017-10-10 Velos Media, Llc Video coding with large macroblocks
US11758194B2 (en) 2008-10-03 2023-09-12 Qualcomm Incorporated Device and method for video decoding video blocks
US9930365B2 (en) 2008-10-03 2018-03-27 Velos Media, Llc Video coding with large macroblocks
CN103329534A (zh) * 2011-01-19 2013-09-25 瑞萨电子株式会社 图像编码装置及图像解码装置
US10306236B2 (en) 2011-01-19 2019-05-28 Renesas Electronics Corporation Image coding device and image decoding device
CN103329534B (zh) * 2011-01-19 2017-03-08 瑞萨电子株式会社 图像编码装置及图像解码装置
US9787981B2 (en) 2011-01-19 2017-10-10 Renesas Electronics Corporation Image coding device and image decoding device
CN110199520A (zh) * 2017-01-16 2019-09-03 世宗大学校产学协力团 影像信号编码/解码方法及装置
US11533470B2 (en) 2017-01-16 2022-12-20 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding an image signal
US11665337B2 (en) 2017-01-16 2023-05-30 Industry Academy Cooperation Foundation Of Sejong University Method and apparatus for encoding/decoding an image signal
CN110199520B (zh) * 2017-01-16 2023-06-30 世宗大学校产学协力团 影像信号编码/解码方法及装置
CN109510986A (zh) * 2018-10-26 2019-03-22 西安科锐盛创新科技有限公司 带宽压缩中自适应纹理渐变预测方法
CN109561309A (zh) * 2018-10-26 2019-04-02 西安科锐盛创新科技有限公司 带宽压缩中自适应纹理渐变预测的方法

Also Published As

Publication number Publication date
EP1429564A1 (en) 2004-06-16
JP4163618B2 (ja) 2008-10-08
US20040233989A1 (en) 2004-11-25
CN1297148C (zh) 2007-01-24
EP1429564A4 (en) 2012-07-25
JPWO2003021971A1 (ja) 2004-12-24
US7474699B2 (en) 2009-01-06
WO2003021971A1 (en) 2003-03-13

Similar Documents

Publication Publication Date Title
CN1297148C (zh) 动画图像编码传送系统、动画图像编码传送方法、该系统和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序
CN1251513C (zh) 运动矢量编码和解码方法及装置,图像信号编码和解码方法及装置
CN1251518C (zh) 数字信号转换方法和数字信号转换装置
CN1160967C (zh) 图像编码设备和图像解码设备
CN1254111C (zh) 画面编码和解码装置及其方法
CN1335724A (zh) 编码装置和编码方法
CN1204751C (zh) 编码数据变换方法、再编码方法、再编码系统以及数据记录媒体
CN1513268A (zh) 编码方法、译码方法、编码装置、译码装置、图象处理系统、编码程序和译码程序
CN1596547A (zh) 移动图像编码设备、移动图像解码设备、移动图像编码方法、移动图像解码方法、程序和存储程序的计算机可读记录媒介
CN1778110A (zh) 图像解码设备和图像解码方法
CN1237067A (zh) 图象编码和解码装置、方法及数据存储媒体
CN1215959A (zh) 图象处理方法和图象处理装置以及数据存储媒体
CN1701616A (zh) 图像信息编码装置和方法,以及图像信息解码装置和方法
CN1801945A (zh) 编码视频序列变换装置和编码视频序列变换方法
CN1487748A (zh) B图像的直接模式运动矢量计算方法
CN1956545A (zh) 图像处理装置、图像处理方法、记录介质和程序
CN1993993A (zh) 图像处理设备、其程序、及其方法
CN1471319A (zh) 结合率失真优化的码率控制的方法及其装置
CN101039421A (zh) 在编解码中的实现量化的方法和装置
CN1216199A (zh) 数字图象填补方法、图象处理装置及数据记录媒体
CN1578468A (zh) 视频解码设备
CN1898965A (zh) 运动图象编码方法和装置
CN1756357A (zh) 信息处理设备以及其中使用的程序
CN1288641A (zh) 视频信号编码方法、视频信号编码装置及程序记录媒体
CN101039435A (zh) 在图象编码过程中实现自适应扫描的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20070124