CN102027746B - 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法 - Google Patents
动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法 Download PDFInfo
- Publication number
- CN102027746B CN102027746B CN200980116976.2A CN200980116976A CN102027746B CN 102027746 B CN102027746 B CN 102027746B CN 200980116976 A CN200980116976 A CN 200980116976A CN 102027746 B CN102027746 B CN 102027746B
- Authority
- CN
- China
- Prior art keywords
- image
- signal
- decoding
- prediction signal
- generate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明的目的是通过生成适合于包含有动态纹理的动态图像的预测信号,减少压缩后的动态图像的数据量。该动态图像编码装置(1)具有:块分割部(102),其输入对象像素信号;预测信号生成部(103),其生成预测信号;减法器(105),其生成差分信号;转换部(106)和量化部(107),其生成编码差分信号;逆量化部(108)和逆转换部(109),其生成解码差分信号;加法器(110),其生成再现信号;帧存储器(104),其存储再现信号作为参照图像;以及参照图像生成部(113),其使用已有参照图像求出观测矩阵C,根据观测矩阵C和状态矢量xt+5生成新参照图像y″t+5,将其存储在帧存储器(104)内,预测信号生成部(103)至少使用新参照图像y″t+5来生成预测信号。
Description
技术领域
本发明涉及动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像编码程序以及动态图像解码程序,特别是涉及预测编码和预测解码中的预测信号的生成。
背景技术
为了有效地进行动态图像数据的传送和存储,使用压缩编码技术。例如,作为以动态图像为对象的技术,广泛使用MPEG1、2、4和H.261~H.264的方式。在这样的动态图像编码技术中,通过使用在时间轴上相邻的相邻图像来生成成为编码对象的对象图像的预测信号并对对象图像与预测信号的差分进行编码,实现数据量的削减。将该方法称为帧间编码。
例如,在由H.264规定的编码方式中,将1帧的图像分割为由16×16像素构成的块的区域,以该块为单位对图像进行编码处理。在帧间编码方式中,通过参照已编码且已复原的其他帧来对成为编码对象的图像的对象块进行移动补偿预测,生成预测信号。然后,求出该对象块与该预测信号的差分,进行离散余弦转换和量化处理,生成编码数据。
此外,为了减少预测信号内包含的量化噪声等,或者预测新出现的图像信号,使用双向预测方式。在双向预测中,使对象块具有2个移动量,使用第1移动量,根据在时间上位于对象块之前的第1参照图像求出第1预测信号,使用第2移动量,根据在时间上位于对象块之后的第2参照图像求出第2预测信号,通过对第1和第2预测信号进行平均化来生成预测信号。并且,有时也根据在时间上靠前的2个参照图像分别求出第1和第2预测信号,之后通过它们的平均而生成预测信号。关于帧间编码的详情,例如在专利文献1和非专利文献1中作了记载。
专利文献1:美国专利公报第6259739号
非专利文献1:Iain E.G.Richardson,“H.264and MPEG-4Video Compression”,John Wiley&Sons,2003,pp.170-176,207-212。
然而,上述的预测信号生成方法具有如下的课题。即,存在这样的情况:在构成动态图像的图像中包含有构成图像的纹理(图案)随着时间而变化的图像。在这样的纹理信号中,按各像素表示细微移动,在帧与帧之间的相同位置的像素随着时间而变化。例如,存在与海波、烟尘、微风轻拂的花坛等。将这样的纹理称为“动态纹理”。另外,在上述的现有技术中,前提是成为编码对象的对象块与其前后的帧的像素几乎不改变。因此,在进行了移动补偿的预测信号类似于对象信号这一前提成立的情况下,可将差分信号抑制得低。即,实现利用了帧间信号相关性高的性质的数据压缩。
然而,在对象块的信号包含有动态纹理的情况下,即使从前后的帧预测,像素值也随着时间而变化,对象块的像素不类似于位于预测信号的相同位置的像素,因而差分信号增大。结果,存在压缩数据量增大的情况。具体地说,包含有动态纹理的动态图像的帧间相关性低,在现有技术中难以实现高的压缩率。特别是在以低的比特速率进行编码的情况下,难以传送数据量大的差分信号,因而具有这样的课题:在再现图像中的纹理信号几乎丢失。
发明内容
因此,本发明正是鉴于上述课题而完成的,本发明的目的是提供一种动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像编码程序以及动态图像解码程序,通过生成适合于包含有动态纹理的动态图像的预测信号,可减少压缩后的动态图像的数据量。
为了解决上述课题,本发明的动态图像编码装置,其特征在于,动态图像编码装置具有:输入单元,其输入由多个图像构成的动态图像中的编码对象图像内包含的对象信号;预测信号生成单元,其生成针对对 象信号的预测信号;差分生成单元,其生成对象信号与预测信号之间的差分即差分信号;编码单元,其使用预定方法对差分信号进行编码来生成编码差分信号;解码单元,其对编码差分信号进行解码来生成解码差分信号;加法单元,其将预测信号与解码差分信号相加来生成再现信号;存储单元,其存储再现信号,作为在生成预测信号时参照的参照图像;以及参照图像生成单元,其使用存储在存储单元内的已生成的多个参照图像即多个已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成新的参照图像即新参照图像并将其存储在存储单元内,其中多个已有参照图像的编码/解码处理定时与对象信号不同,预测信号生成单元至少使用新参照图像来生成预测信号。
或者,本发明的动态图像编码方法,其特征在于,所述动态图像编码方法具有:输入步骤,输入单元输入由多个图像构成的动态图像中的编码对象图像内包含的对象信号;预测信号生成步骤,预测信号生成单元生成针对对象信号的预测信号;差分生成步骤,差分生成单元生成对象信号与预测信号之间的差分即差分信号;编码步骤,编码单元使用预定方法对差分信号进行编码来生成编码差分信号;解码步骤,解码单元对编码差分信号进行解码来生成解码差分信号;加法步骤,加法单元将预测信号与解码差分信号相加来生成再现信号;存储步骤,存储单元存储再现信号,作为在生成预测信号时参照的参照图像;以及参照图像生成步骤,参照图像生成单元使用存储在存储单元内的已生成的多个参照图像即多个已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成新的参照图像即新参照图像并将其存储在存储单元内,其中多个已有参照图像的编码/解码处理定时与对象信号不同,在预测信号生成步骤中,至少使用新参照图像来生成预测信号。
根据这样的动态图像编码装置、动态图像编码方法以及动态图像编码程序,输入动态图像中的一部分图像即编码对象图像的对象信号,对该信号与预测信号的差分信号进行编码,并且,对编码差分信号进行解码并与预测信号相加,从而生成再现信号,存储该再现信号作为预测信号生成用的参照图像。此时,使用已生成的已有参照图像来求出观测矩 阵和状态矢量,根据该观测矩阵和状态矢量生成新参照图像,至少使用新参照图像来生成预测信号,因而可新生成符合已有参照图像内不存在的动态纹理性质的参照图像。由此,可生成更接近编码对象图像内存在的动态纹理的预测信号,结果,差分信号被抑制得小,可有效减少压缩后的动态图像的数据量。
并且,编码单元还对状态矢量进行编码。在该情况下,通过将状态矢量提供给解码侧,在解码侧不需要生成状态矢量的处理,因而可实现有效的解码处理。
而且,优选的是,参照图像生成单元通过以由多个已有参照图像构成的矩阵为对象执行奇异值分解来求出观测矩阵和状态矢量。在采用该结构的情况下,可生成更接近编码对象图像内存在的动态纹理的预测信号。
本发明的动态图像解码装置,其特征在于,动态图像解码装置具有:输入单元,其输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;解码单元,其对编码差分信号进行解码来生成解码差分信号;预测信号生成单元,其生成针对解码差分信号的预测信号;加法单元,其将预测信号与解码差分信号相加来生成再现信号;存储单元,其存储再现信号,作为在生成预测信号时参照的参照图像;以及参照图像生成单元,其使用存储在存储单元内的已生成的多个参照图像即多个已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成新的参照图像即新参照图像并将其存储在存储单元内,其中多个已有参照图像的编码/解码处理定时与对象信号不同,预测信号生成单元至少使用新参照图像来生成预测信号。
并且,本发明的动态图像解码装置,其特征在于,动态图像解码装置具有:输入单元,其输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;解码单元,其对编码差分信号进行解码来生成解码差分信号;预测信号生成单元,其生成针对解码差分信号的预测信号;加法单元,其将预测信号与解码差分信号相加来生成再现信号;以及存储单元,其存储再现信号,作为在生成预测信号时参照的参照图像;预 测信号生成单元使用存储在存储单元内的已生成的多个参照图像即多个已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成预测信号,其中多个已有参照图像的编码/解码处理定时与对象信号不同。
或者,本发明的动态图像解码方法,其特征在于,动态图像解码方法具有:输入步骤,输入单元输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;解码步骤,解码单元对编码差分信号进行解码来生成解码差分信号;预测信号生成步骤,预测信号生成单元生成针对解码差分信号的预测信号;加法步骤,加法单元将预测信号与解码差分信号相加来生成再现信号;存储步骤,存储单元存储再现信号,作为在生成预测信号时参照的参照图像;以及参照图像生成步骤,参照图像生成单元使用存储在存储单元内的已生成的多个参照图像即多个已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成新的参照图像即新参照图像并将其存储在存储单元内,其中多个已有参照图像的编码/解码处理定时与对象信号不同,在预测信号生成步骤中,至少使用新参照图像来生成预测信号。
并且,本发明的动态图像解码方法,其特征在于,动态图像解码方法具有:输入步骤,输入单元输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;解码步骤,解码单元对编码差分信号进行解码来生成解码差分信号;预测信号生成步骤,预测信号生成单元生成针对解码差分信号的预测信号;加法步骤,加法单元将预测信号与解码差分信号相加来生成再现信号;以及存储步骤,存储单元存储再现信号,作为在生成预测信号时参照的参照图像;在预测信号生成步骤中,使用存储在存储单元内的已生成的多个参照图像即多个已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成预测信号,其中多个已有参照图像的编码/解码处理定时与对象信号不同。
根据这样的动态图像解码装置、动态图像解码方法以及动态图像解码程序,输入包含编码差分信号的压缩数据,对该编码差分信号进行解码,将预测信号与解码差分信号相加,从而生成再现信号,存储该再现 信号作为预测信号生成用的参照图像。此时,使用已生成的已有参照图像来求出观测矩阵和状态矢量,根据该观测矩阵和状态矢量生成预测信号,因而与仅使用已有参照图像来生成预测信号相比,可生成更适于动态纹理性质的预测信号。由此,差分信号被抑制得小,可有效减少压缩数据的数据量。
并且,优选的是,压缩数据还包含与状态矢量对应的矢量压缩数据,解码单元对矢量压缩数据进行复原来生成解码状态矢量,参照图像生成单元根据观测矩阵和解码状态矢量生成新参照图像。在该情况下,通过从编码侧提供状态矢量,不需要生成状态矢量的处理,因而可实现有效的解码处理。
而且,优选的是,参照图像生成单元通过以由多个已有参照图像构成的矩阵为对象执行奇异值分解来求出观测矩阵和状态矢量。在该情况下,可生成更接近编码对象图像内存在的动态纹理的预测信号。
为了解决上述课题,本发明的动态图像编码装置,其特征在于,动态图像编码装置具有:输入单元,其输入由多个图像构成的动态图像中的编码对象图像内包含的对象信号;分割单元,其将编码对象图像分割为多个区域;预测信号生成单元,其生成针对多个区域中的对象区域的对象信号的预测信号;差分生成单元,其生成对象区域的对象信号与预测信号之间的差分即差分信号;编码单元,其使用预定方法对差分信号进行编码来生成编码差分信号;解码单元,其对编码差分信号进行解码来生成解码差分信号;加法单元,其将预测信号与解码差分信号相加来生成对象区域的再现信号;存储单元,其存储再现信号,作为在生成预测信号时参照的参照图像;参照图像生成单元,其使用存储在存储单元内的已生成的参照图像即已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成新的参照图像即新参照图像并将其存储在存储单元内;位置设定单元,其设定新参照图像在管理多个参照图像的参照图像列表中的插入位置;以及熵编码单元,其至少对编码差分信号和表示新参照图像的插入位置的位置信息进行熵编码,预测信号生成单元根据表示新参照图像的插入位置的位置信息更新参照图像列表,预测信 号生成单元使用从参照图像列表内包含的参照图像中选择出的参照图像来生成对象区域的预测信号,熵编码单元对表示在对象区域的预测信号的生成中使用的参照图像的参照图像编号进行编码。
并且,本发明的动态图像编码装置,其特征在于,动态图像编码装置具有:输入单元,其输入由多个图像构成的动态图像中的编码对象图像内包含的对象信号;分割单元,其将编码对象图像分割为多个区域;预测信号生成单元,其生成针对多个区域中的对象区域的对象信号的预测信号;差分生成单元,其生成对象区域的对象信号与预测信号之间的差分即差分信号;编码单元,其使用预定方法对差分信号进行编码来生成编码差分信号;解码单元,其对编码差分信号进行解码来生成解码差分信号;加法单元,其将预测信号与解码差分信号相加来生成对象区域的再现信号;存储单元,其存储再现信号,作为在生成预测信号时参照的参照图像;参照图像生成单元,其使用存储在存储单元内的已生成的参照图像即已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成新的参照图像即新参照图像并将其存储在存储单元内;位置设定单元,其针对由至少两个以上的对象区域构成的大区域,设定新参照图像在管理多个参照图像的参照图像列表中的插入位置;以及熵编码单元,其至少对编码差分信号和与大区域有关的表示新参照图像的插入位置的位置信息进行熵编码,预测信号生成单元根据表示新参照图像的插入位置的位置信息更新与大区域有关的参照图像列表,预测信号生成单元使用从与对象区域所属的大区域有关的参照图像列表内包含的参照图像中选择出的参照图像,生成对象区域的预测信号,熵编码单元对表示在对象区域的预测信号的生成中使用的参照图像的参照图像编号进行编码。
或者,本发明的动态图像编码方法,其特征在于,动态图像编码方法具有:输入步骤,输入单元输入由多个图像构成的动态图像中的编码对象图像内包含的对象信号;分割步骤,分割单元将编码对象图像分割为多个区域;预测信号生成步骤,预测信号生成单元生成针对多个区域中的对象区域的对象信号的预测信号;差分生成步骤,差分生成单元生 成对象区域的对象信号与预测信号之间的差分即差分信号;编码步骤,编码单元使用预定方法对差分信号进行编码来生成编码差分信号;解码步骤,解码单元对编码差分信号进行解码来生成解码差分信号;加法步骤,加法单元将预测信号与解码差分信号相加来生成对象区域的再现信号;存储步骤,存储单元存储再现信号,作为在生成预测信号时参照的参照图像;参照图像生成步骤,参照图像生成单元使用存储在存储单元内的已生成的参照图像即已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成新的参照图像即新参照图像并将其存储在存储单元内;位置设定步骤,位置设定单元设定新参照图像在管理多个参照图像的参照图像列表中的插入位置;以及熵编码步骤,熵编码单元至少对编码差分信号和表示新参照图像的插入位置的位置信息进行熵编码,在预测信号生成步骤中,根据表示新参照图像的插入位置的位置信息更新参照图像列表,在预测信号生成步骤中,使用从参照图像列表内包含的参照图像中选择出的参照图像来生成对象区域的预测信号,在熵编码步骤中,对表示在对象区域的预测信号的生成中使用的参照图像的参照图像编号进行编码。
并且,本发明的动态图像编码方法,其特征在于,动态图像编码方法具有:输入步骤,输入单元输入由多个图像构成的动态图像中的编码对象图像内包含的对象信号;分割步骤,分割单元将编码对象图像分割为多个区域;预测信号生成步骤,预测信号生成单元生成针对多个区域中的对象区域的对象信号的预测信号;差分生成步骤,差分生成单元生成对象区域的对象信号与预测信号之间的差分即差分信号;编码步骤,编码单元使用预定方法对差分信号进行编码来生成编码差分信号;解码步骤,解码单元对编码差分信号进行解码来生成解码差分信号;加法步骤,加法单元将预测信号与解码差分信号相加来生成对象区域的再现信号;存储步骤,存储单元存储再现信号,作为在生成预测信号时参照的参照图像;参照图像生成步骤,参照图像生成单元使用存储在存储单元内的已生成的参照图像即已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成新的参照图像即新参照图像并将其存储在存 储单元内;位置设定步骤,位置设定单元针对由至少两个以上的对象区域构成的大区域,设定新参照图像在管理多个参照图像的参照图像列表中的插入位置;以及熵编码步骤,熵编码单元至少对编码差分信号和与大区域有关的表示新参照图像的插入位置的位置信息进行熵编码,在预测信号生成步骤中,根据表示新参照图像的插入位置的位置信息更新与大区域有关的参照图像列表,在预测信号生成步骤中,使用从与对象区域所属的大区域有关的参照图像列表内包含的参照图像中选择出的参照图像,生成对象区域的预测信号,在熵编码步骤中,对表示在对象区域的预测信号的生成中使用的参照图像的参照图像编号进行编码。
根据这样的动态图像编码装置、动态图像编码方法以及用于使计算机执行该动态图像编码装置涉及的处理的动态图像编码程序,由于根据观测矩阵生成新参照图像,因而可新生成符合已有参照图像内不存在的动态纹理性质的参照图像,可生成更接近编码对象图像内存在的动态纹理的预测信号。结果,差分信号被抑制得小,可有效减少压缩后的动态图像的数据量。也就是说,可对动态纹理效率良好地进行编码。并且,在上述的动态图像编码装置等中,使用管理该新参照图像和已有参照图像的参照图像列表,并使用从该参照图像列表内包含的参照图像中选择出的参照图像来生成预测信号。因此,可生成更接近编码对象图像内存在的动态纹理的预测信号,能将差分信号抑制得更小,或者即使不对差分信号进行编码,也能再现在视觉上类似于对象信号的信号。而且,在上述的动态图像编码装置等中,由于也对参照图像列表中的新参照图像的插入位置进行编码,因而能抑制参照图像的选择信息需要的编码量。
优选的是,在参照图像列表不包含新参照图像的情况下,位置设定单元生成表示新参照图像不包含在参照图像列表内的位置信息,熵编码单元对表示新参照图像不包含在参照图像列表内的位置信息进行熵编码,预测信号生成单元更新参照图像列表,使得不包含新参照图像。并且,优选的是,在新参照图像的位置设定步骤中,在参照图像列表不包含新参照图像的情况下,生成表示新参照图像不包含在参照图像列表内的位置信息,在熵编码步骤中,对表示新参照图像不包含在参照图像列 表内的位置信息进行熵编码,在预测信号生成步骤中,更新参照图像列表,使得不包含新参照图像。在具有该位置设定单元或位置设定步骤的情况下,参照图像列表的生成和参照图像的选择扩大,可提高自由度。
并且,优选的是,熵编码单元还对状态矢量进行熵编码。在该情况下,通过将状态矢量提供给解码侧,在解码侧不需要生成状态矢量的处理,因而可实现有效的解码处理。
并且,优选的是,参照图像生成单元通过以由多个已有参照图像构成的矩阵为对象执行奇异值分解来求出观测矩阵和状态矢量,生成新参照图像。在采用该结构的情况下,可生成更接近编码对象图像内存在的动态纹理的预测信号。
本发明的动态图像解码装置,其特征在于,动态图像解码装置具有:输入单元,其输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;熵解码单元,其从压缩数据至少复原出成为解码对象的对象区域的编码差分信号;解码单元,其对对象区域的编码差分信号进行解码来生成解码差分信号;预测信号生成单元,其生成针对解码差分信号的对象区域的预测信号;加法单元,其将预测信号与解码差分信号相加来生成对象区域的再现信号;存储单元,其存储对象区域的再现信号,作为在生成预测信号时参照的参照图像;以及参照图像生成单元,其使用存储在存储单元内的已生成的参照图像即已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成新的参照图像即新参照图像并将其存储在存储单元内,熵解码单元从压缩数据解码出表示新参照图像在管理多个参照图像的参照图像列表中的插入位置的位置信息,预测信号生成单元根据表示新参照图像的插入位置的位置信息更新参照图像列表,熵解码单元从压缩数据解码出表示在根据更新后的参照图像列表生成对象区域的预测信号时使用的参照图像的参照图像编号,预测信号生成单元使用由解码后的参照图像编号表示的参照图像,生成对象区域的预测信号。
并且,本发明的动态图像解码装置,其特征在于,动态图像解码装置具有:输入单元,其输入包含对动态图像进行预测编码而得到的编码 差分信号的压缩数据;熵解码单元,其从压缩数据至少复原出成为解码对象的对象区域的编码差分信号;解码单元,其对对象区域的编码差分信号进行解码来生成解码差分信号;预测信号生成单元,其生成针对解码差分信号的对象区域的预测信号;加法单元,其将预测信号与解码差分信号相加来生成对象区域的再现信号;存储单元,其存储对象区域的再现信号,作为在生成预测信号时参照的参照图像;以及参照图像生成单元,其使用存储在存储单元内的已生成的参照图像即已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成新的参照图像即新参照图像并将其存储在存储单元内,熵解码单元针对由至少两个以上的对象区域构成的大区域,从压缩数据解码出表示新参照图像在管理多个参照图像的参照图像列表中的插入位置的位置信息,预测信号生成单元根据表示新参照图像的插入位置的位置信息更新与大区域有关的参照图像列表,熵解码单元从压缩数据解码出表示在根据更新后的参照图像列表生成对象区域的预测信号时使用的参照图像的参照图像编号,预测信号生成单元使用由解码后的参照图像编号表示的参照图像,生成对象区域的预测信号。
并且,本发明的动态图像解码装置,其特征在于,动态图像解码装置具有:输入单元,其输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;熵解码单元,其从压缩数据至少复原出成为解码对象的对象区域的编码差分信号;解码单元,其对对象区域的编码差分信号进行解码来生成解码差分信号;预测信号生成单元,其生成针对解码差分信号的对象区域的预测信号;加法单元,其将预测信号与解码差分信号相加来生成对象区域的再现信号;以及存储单元,其存储对象区域的再现信号,作为在生成预测信号时参照的参照图像,熵解码单元从压缩数据解码出表示新参照图像在管理多个参照图像的参照图像列表中的插入位置的位置信息,预测信号生成单元根据表示新参照图像的插入位置的位置信息更新参照图像列表,并且,使用存储在存储单元内的已生成的参照图像即已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成新的参照图像即新参照图像并将其存储在存储单元 内,熵解码单元从压缩数据解码出表示在根据更新后的参照图像列表生成对象区域的预测信号时使用的参照图像的参照图像编号,预测信号生成单元使用由解码后的参照图像编号表示的参照图像,生成对象区域的预测信号。
本发明的动态图像解码方法,其特征在于,动态图像解码方法具有:输入步骤,输入单元输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;熵解码步骤,熵解码单元从压缩数据至少复原出成为解码对象的对象区域的编码差分信号;解码步骤,解码单元对对象区域的编码差分信号进行解码来生成解码差分信号;预测信号生成步骤,预测信号生成单元生成针对解码差分信号的对象区域的预测信号;加法步骤,加法单元将预测信号与解码差分信号相加来生成对象区域的再现信号;存储步骤,存储单元存储对象区域的再现信号,作为在生成预测信号时参照的参照图像;以及参照图像生成步骤,参照图像生成单元使用存储在存储单元内的已生成的参照图像即已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成新的参照图像即新参照图像并将其存储在存储单元内,在熵解码步骤中,从压缩数据解码出表示新参照图像在管理多个参照图像的参照图像列表中的插入位置的位置信息,在预测信号生成步骤中,根据表示新参照图像的插入位置的位置信息更新参照图像列表,在熵解码步骤中,从压缩数据解码出表示在根据更新后的参照图像列表生成对象区域的预测信号时使用的参照图像的参照图像编号,在预测信号生成步骤中,使用由解码后的参照图像编号表示的参照图像来生成对象区域的预测信号。
并且,本发明的动态图像解码方法,其特征在于,动态图像解码方法具有:输入步骤,输入单元输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;熵解码步骤,熵解码单元从压缩数据至少复原出成为解码对象的对象区域的编码差分信号;解码步骤,解码单元对对象区域的编码差分信号进行解码来生成解码差分信号;预测信号生成步骤,预测信号生成单元生成针对解码差分信号的对象区域的预测信号;加法步骤,加法单元将预测信号与解码差分信号相加来生成对象区 域的再现信号;存储步骤,存储单元存储对象区域的再现信号,作为在生成预测信号时参照的参照图像;以及参照图像生成步骤,参照图像生成单元使用存储在存储单元内的已生成的参照图像即已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成新的参照图像即新参照图像并将其存储在存储单元内,在熵解码步骤中,针对由至少两个以上的对象区域构成的大区域,从压缩数据解码出表示新参照图像在管理多个参照图像的参照图像列表中的插入位置的位置信息,在预测信号生成步骤中,根据表示新参照图像的插入位置的位置信息更新与大区域有关的参照图像列表,在熵解码步骤中,从压缩数据解码出表示在根据更新后的参照图像列表生成对象区域的预测信号时使用的参照图像的参照图像编号,在预测信号生成步骤中,使用由解码后的参照图像编号表示的参照图像来生成对象区域的预测信号。
并且,本发明的动态图像解码方法,其特征在于,动态图像解码方法具有:输入步骤,输入单元输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;熵解码步骤,熵解码单元从压缩数据至少复原出成为解码对象的对象区域的编码差分信号;解码步骤,解码单元对对象区域的编码差分信号进行解码来生成解码差分信号;预测信号生成步骤,预测信号生成单元生成针对解码差分信号的对象区域的预测信号;加法步骤,加法单元将预测信号与解码差分信号相加来生成对象区域的再现信号;以及存储步骤,存储单元存储对象区域的再现信号,作为在生成预测信号时参照的参照图像,在熵解码步骤中,从压缩数据解码出表示新参照图像在管理多个参照图像的参照图像列表中的插入位置的位置信息,在预测信号生成步骤中,根据表示新参照图像的插入位置的位置信息更新参照图像列表,并且,使用存储在存储单元内的已生成的参照图像即已有参照图像来求出观测矩阵和状态矢量,根据观测矩阵和状态矢量生成新的参照图像即新参照图像并将其存储在存储单元内,在熵解码步骤中,从压缩数据解码出表示在根据更新后的参照图像列表生成对象区域的预测信号时使用的参照图像的参照图像编号,在预测信号生成步骤中,使用由解码后的参照图像编号表示的参照图像来生成对 象区域的预测信号。
根据这样的动态图像解码装置、动态图像解码方法以及用于使计算机执行该动态图像解码装置涉及的处理的动态图像解码程序,由于根据观测矩阵生成新参照图像,因而可新生成符合已有参照图像内不存在的动态纹理性质的参照图像,可生成更接近动态纹理的预测信号。结果,差分信号被抑制得小,可有效减少压缩后的动态图像的数据量。并且,在上述的动态图像解码装置等中,使用管理该新参照图像和已有参照图像的参照图像列表,并使用从该参照图像列表内包含的参照图像选择出的参照图像来生成预测信号。因此,可生成更接近动态纹理的预测信号,可将差分信号抑制得更小。而且,在上述的动态图像解码装置等中,由于还从压缩数据解码出参照图像列表中的新参照图像的插入位置来取得,因而能抑制参照图像的选择信息需要的编码量。
优选的是,熵解码单元对表示新参照图像不包含在参照图像列表内的位置信息进行解码,预测信号生成单元更新参照图像列表,使得不包含新参照图像。并且,优选的是,在熵解码步骤中,对表示新参照图像不包含在参照图像列表内的位置信息进行解码,在预测信号生成步骤中,更新参照图像列表,使得不包含新参照图像。在具有该熵解码单元或熵解码步骤的情况下,参照图像列表的生成和参照图像的选择扩大,可提高自由度。
并且,优选的是,压缩数据还包含与状态矢量对应的矢量压缩数据,解码单元在将编码差分信号解码为解码差分信号时,对矢量压缩数据进行复原来生成解码状态矢量,参照图像生成单元根据观测矩阵和解码状态矢量生成新参照图像。在该情况下,通过从编码侧提供状态矢量,不需要生成状态矢量的处理,可实现有效的解码处理。
并且,优选的是,参照图像生成单元通过以由多个已有参照图像构成的矩阵为对象执行奇异值分解来求出观测矩阵和状态矢量,生成新参照图像。在该情况下,可生成更接近编码对象图像内存在的动态纹理的预测信号。
根据本发明,通过生成适于包含有动态纹理的动态图像的预测信号, 可减少压缩后的动态图像的数据量。
附图说明
图1是示出本发明的第1实施方式涉及的动态图像编码装置的结构的框图。
图2是示出存储在图1的帧存储器内的已有参照图像的图。
图3是示出图1的动态图像编码装置的动作的流程图。
图4是示出本发明的第1实施方式涉及的动态图像解码装置的结构的框图。
图5是示出图4的动态图像解码装置的动作的流程图。
图6是示出本发明的变型例的动态图像解码装置的动作的流程图。
图7是示出用于执行记录在记录介质内的程序的计算机的硬件结构的图。
图8是用于执行存储在记录介质内的程序的计算机的立体图。
图9是示出本发明的第2实施方式涉及的动态图像编码装置的结构的框图。
图10是示出图9的动态图像编码装置的动作的流程图。
图11是示出本发明的第2实施方式涉及的动态图像解码装置的结构的框图。
图12是示出图11的动态图像解码装置的动作的流程图。
图13是示出图11的动态图像解码装置的另一动作的流程图。
图14是示出参照图像列表的一例的图。
图15是示出另一参照图像列表的一例的图。
图16是示出另一参照图像列表的一例的图。
具体实施方式
以下,参照附图详细说明本发明涉及的动态图像编码装置和动态图像解码装置的优选实施方式。另外,在说明中,针对相同要素或具有相同功能的要素使用相同标号,省略重复说明。
[第1实施方式]
(动态图像编码装置)
图1是示出本发明的一个优选实施方式涉及的动态图像编码装置的结构的框图。该图所示的动态图像编码装置1构成为具有:输入端子(输入单元)101、块分割部102、预测信号生成部(预测信号生成单元)103、帧存储器(存储单元)104、减法器(差分生成单元)105、转换部(编码单元)106、量化部(编码单元)107、逆量化部(解码单元)108、逆转换部(解码单元)109、加法器(加法单元)110、熵编码部111、输出端子112以及参照图像生成部(参照图像生成单元)113。以下说明动态图像编码装置1的各构成要素。
块分割部102从输入端子101被输入由多个帧的图像构成的动态图像信号,将该动态图像信号中的编码对象即编码对象图像分割为多个区域。具体地说,块分割部102将图像分割为由16×16像素构成的块(区域),然而也可以分割为由8×8像素构成的块,还可以分割为除此以外的任意大小和形状(例如非正方形)的块。块分割部102将分割后的块的像素信号中成为编码处理对象的区域(以下称为“对象块”)的像素信号(以下称为“对象像素信号”)经由线L102输出到减法器105,经由线L103输出到预测信号生成部103。
预测信号生成部103针对对象块的对象像素信号,生成预测该图像的由16×16像素构成的预测信号。即,预测信号生成部103使用现有的由MPEG2、4、H.264等规定的方法,例如根据存储在帧存储器104内的参照图像检测对象块的移动量,根据得到的移动矢量(移动量)和参照图像计算预测信号。该参照图像是在过去编码后已复原的再现图像(详情后述)。这里,预测信号生成部103根据经由线L103输入的对象块的对象像素信号以及经由线L105从帧存储器104参照的参照图像,进行移动量的检测,从而生成预测信号,将该预测信号经由线L104、L106发送到减法器105和加法器110。
减法器105从由块分割部102发送的对象像素信号减去由预测信号生成部103发送的针对该对象像素信号的预测信号,生成2个信号的差 分即差分信号。然后,将该差分信号经由线L107输出到转换部106,由转换部106和量化部107以预定的编码方式转换为编码差分信号。具体地说,转换部106对差分信号进行离散余弦转换来生成转换系数。将该转换系数经由线L108输出到量化部107,量化部107对转换系数进行量化来生成编码差分信号,之后经由线L109输出到熵编码部111和逆量化部108。
熵编码部111将编码差分信号转换为可变长度码,之后经由线L110输出到输出端子112。这里,熵编码部111可以应用算术编码来取代可变长度码。同时,将由预测信号生成部103求出的对象块的移动矢量经由线L111发送到熵编码部111,熵编码部111将该移动矢量转换为可变长度码,输出到输出端子112。
逆量化部108和逆转换部109使用与转换部106和量化部107的编码方式对应的解码方式,从编码差分信号再现解码差分信号。具体地说,逆量化部108对量化后的转换系数进行逆量化来回到转换系数,经由线L112输出到逆转换部109,逆转换部109通过对转换系数进行逆离散余弦转换来复原差分信号。然后,逆转换部109将解码差分信号经由线L113发送到加法器110。
加法器110通过将经由线L106输入的预测信号与解码差分信号相加来将对象块的对象像素信号再现为再现信号,经由线L114存储在帧存储器104内。帧存储器104保持这样在过去作为对象块处理后的多个对象像素信号(以下称为“已有参照图像”),在生成随后处理的对象块的预测信号时进行参照。
参照图像生成部113生成与已存储在帧存储器104内的已有参照图像不同的新参照图像。即,参照图像生成部113经由线L116取得存储在帧存储器104内的已有参照图像。
图2示出存储在帧存储器104内的已有参照图像。图2(a)示出在按照动态图像信号的显示顺序对帧进行编码时的已有参照图像,各帧201、202、203、204、205的再现图像作为像素矢量yt、yt+1、yt+2、yt+3、yt+4(下标表示时刻)进行存储。这里,按照帧201、202、…、205的顺 序进行编码处理,在帧206作为对象帧被处理的定时,在帧存储器104内存储有帧201~205的再现图像作为已有参照图像。图2(b)示出在检测移动量时进行双向预测时的已有参照图像。这里,对帧207~209以及帧211、212进行编码,之后对帧210进行编码,在帧210作为对象帧被处理的定时,在帧存储器104内存储有帧207~209、211、212的再现图像作为已有参照图像。
参照图像生成部113使用如上所述存储在帧存储器104内的已有参照图像的一部分来生成新参照图像。例如,参照图像生成部113根据帧存储器104的5个已有参照图像的像素矢量yt、yt+1、yt+2、yt+3、yt+4,使用下述式(1)来形成由像素矢量yt、yt+1、yt+2、yt+3、yt+4构成的矩阵yt t+4。
[算式1]
yt t+4=[yt yt+1 yt+2 yt+3 yt+4]…(1)
然后,参照图像生成部113以由已有参照图像构成的矩阵yt t+4为对象实施奇异值分解处理。作为这样的奇异值分解处理,可采用下述式(2)所示的QR分解。
[算式2]
yt t+4=CXt t+4…(2)
式(2)中的矩阵Xt t+4是由下述式(3)
[算式3]
Xt t+4=[xt xt+1 xt+2 xt+3 xt+4]…(3)
表示的矩阵。由此,参照图像生成部113求出观测矩阵C和各矢量xt、xt+1、xt+2、xt+3、xt+4。
然后,参照图像生成部113根据各矢量xt、xt+1、xt+2、xt+3、xt+4,使用下述式(4)
[算式4]
来求出状态迁移矩阵A。这里,矩阵Xt+1 t+4和Xt t+3分别由下述式(5)和(6)给出。
[算式5]
[算式6]
并且,参照图像生成部113使用这样求出的状态迁移矩阵A,并使用下述式(7)
[算式7]
求出状态矢量xt+5,之后如下述式(8)
[算式8]
所示,根据状态矢量xt+5和观测矩阵C,生成具有动态纹理性质的新参照图像y"t+5。将该新参照图像经由线L115存储在帧存储器104内。
另外,在上述的新参照图像的生成中,如式(1)所示,观测矩阵C是根据参照图像xt、xt+1、xt+2、xt+3、xt+4求出的,在过去由参照图像生成部113追加给帧存储器104的新参照图像不予使用。不过,在新参照图像的可靠性高的情况下,可以将其用于观测矩阵C等的计算。并且,在新参照图像的生成中,可以使用奇异值分解以外的方法。例如,可列举固有值分解、LU分解、Cholesky分解。
预测信号生成部103至少使用新参照图像来生成针对下一帧的对象块的对象像素信号的预测信号。换句话说,预测信号生成部103可以使用已有参照图像和新参照图像来生成预测信号,也可以仅使用新参照图像来生成预测信号。例如,预测信号生成部103以该多个参照图像为对象,决定最接近对象块的像素信号的参照块作为预测信号。将识别该预测信号所属的参照图像的标识符、和从对象块的位置起的位移即移动矢量发送到发送侧(详情在文献Iain E.G.Richardson,“H.264and MPEG-4Video Compression”,John Wiley&Sons,2003)中作了记载)。另外,预测信号生成部103在确定帧存储器104中的已有参照图像或新参照图像 时,通过参照赋予给已有参照图像或新参照图像的识别信号来进行。这里,在对象帧的前一帧的再现信号存储在帧存储器104内之后,预测信号生成部103根据包含该再现图像的最近的5帧的参照图像生成新参照图像,然而不限于此。并且,在预测信号生成部103中求出观测矩阵C和状态矢量xt+5之后,可以使用它们来直接生成对象像素信号的预测信号。
以下,参照图3详述动态图像编码装置1的动作,并说明本实施方式涉及的动态图像编码方法。
首先,由块分割部102输入编码对象的对象块的对象像素信号(步骤S01)。然后,由预测信号生成部103使用存储在帧存储器104内的参照图像来生成针对对象像素信号的预测信号(步骤S02)。然后,由减法器105根据对象像素信号和预测信号生成差分信号(步骤S03)。之后,该差分信号由转换部106和量化部107进行转换和量化,生成编码差分信号(步骤S04)。
上述的编码差分信号由逆量化部108和逆转换部109进行逆量化和逆转换,再现为解码差分信号(步骤S05)。然后,由加法器110将该解码差分信号和预测信号相加来生成再现信号(步骤S06)。然后,该再现信号作为参照图像存储在帧存储器104内(步骤S07)。针对对象帧中的全部对象块反复进行这样的针对对象块的处理。
在成为编码对象的1帧被编码后,由参照图像生成部113以存储在帧存储器104内的一部分已有参照图像为对象实施奇异值分解处理,生成观测矩阵C和状态矢量xt+5(步骤S08)。然后,由参照图像生成部113根据观测矩阵C和状态矢量xt+5生成新参照图像,将该新参照图像作为对下一帧进行编码时的参照图像存储在帧存储器104内(步骤S09)。针对动态图像的全部或一部分的帧反复进行这样的新参照图像生成处理。另一方面,将对象帧的编码差分信号经由熵编码部111包含在压缩数据内进行输出(步骤S10)。
(动态图像解码装置)
以下,说明本实施方式涉及的动态图像解码装置的结构。图4是示 出本发明的一个优选实施方式涉及的动态图像解码装置40的结构的框图。该图所示的动态图像解码装置40构成为具有:输入端子(输入单元)401、数据分析部(输入单元)402、逆量化部(解码单元)403、逆转换部(解码单元)404、加法器(加法单元)405、预测信号生成部(预测信号生成单元)407、帧存储器(存储单元)406、参照图像生成部(参照图像生成单元)408以及输出端子409。以下说明动态图像解码装置40的各构成要素。
包含编码差分信号的压缩编码后的压缩数据从输入端子401输入到数据分析部402。数据分析部402从该压缩数据分析提取编码差分信号、以及为了生成预测信号所需要的移动矢量和用于进行逆量化的量化参数。然后,数据分析部402将提取出的编码差分信号和量化参数经由线L402输出到逆量化部403,将与移动矢量相关的信息经由线L410送出到预测信号生成部407。该编码差分信号由逆量化部403和逆转换部404解码而复原为差分信号。
逆量化部403根据量化参数对对象块的编码差分信号进行逆量化。逆量化部403将逆量化后的编码差分信号经由线L403输出到逆转换部404。
逆转换部404对从逆量化部403输入的编码差分信号进行逆离散余弦转换来生成解码差分信号。逆转换部404将生成的解码差分信号经由线L404输出到加法器405。
预测信号生成部407根据由数据分析部402提取出的移动矢量、和从帧存储器406参照的参照图像,生成针对处理对象的解码差分信号的预测信号。将生成的预测信号经由线L407发送到加法器405。
加法器405通过将预测信号与由逆转换部404复原后的解码差分信号相加来生成对象块的再现信号。然后,加法器405将该再现信号作为参照图像存储在帧存储器406内。并且,将再现信号经由输出端子409传送到外部的图像显示装置(未图示)。
参照图像生成部408与上述的动态图像编码装置1的参照图像生成部113一样,根据存储在帧存储器406内的一部分已有参照图像,通过 奇异值分解处理求出观测矩阵C和状态矢量xt+5。这里,使用存储在帧存储器406内的已有再现图像来生成观测矩阵C,然而也可以加上过去生成的新参照图像来生成观测矩阵C。然后,参照图像生成部408与参照图像生成部113一样生成具有动态纹理特性的新参照图像y"t+5,经由线L408b存储在帧存储器406内。与此相对,由预测信号生成部407至少根据新参照图像y"t+5生成针对下一帧的对象块的预测信号。
以下,参照图5详述动态图像解码装置40的动作,并说明本实施方式涉及的动态图像解码方法。
首先,当包含编码差分信号的压缩数据被输入到数据分析部402时,从该压缩数据中提取编码差分信号、移动矢量以及量化参数(步骤S21)。然后,该编码差分信号由逆量化部403和逆转换部404解码,生成解码差分信号(步骤S22)。然后,由预测信号生成部407根据移动矢量、和从帧存储器406参照的参照图像生成预测信号(步骤S23)。之后,由加法器405将解码差分信号和预测信号相加,生成再现信号(步骤S24)。将该再现信号作为参照信号存储在帧存储器406内(步骤S25)。
同时,由参照图像生成部408以存储在帧存储器406内的参照图像为对象实施奇异值分解,从而求出观测矩阵C和状态矢量xt+5(步骤S26)。然后,由参照图像生成部408使用观测矩阵C和状态矢量xt+5来生成新参照图像y"t+5并存储在帧存储器406内(步骤S27)。该新参照图像y"t+5的生成被用作用于对下一帧进行解码的参照图像。针对1帧的编码差分信号反复进行此前的处理,之后从输出端子409输出再现图像(步骤S28)。
根据以上说明的动态图像编码装置1和动态图像解码装置40,使用存储在存储器内的已生成的已有参照图像来求出观测矩阵C和状态矢量xt+5,根据它们生成新参照图像,至少使用新参照图像来生成针对对象像素信号的预测信号,因而可新生成符合已有参照图像内不存在的动态纹理性质的参照图像。更详细地说,在本实施方式中,使用动态纹理由自回归移动平均模型(ARMA)表示的性质,根据已有参照图像生成在该模型中使用的观测矩阵和状态矢量等。因此,可新生成符合已有参照图像内不存在的动态纹理性质的参照图像。由此,可生成更接近编码对象 图像内存在的动态纹理的预测信号,结果,可将差分信号抑制得小,可有效减少压缩后的动态图像的数据量。并且,由于根据包含已有参照图像和符合动态纹理的新参照图像的多个候选信号生成预测信号,因而可决定比以往更接近对象像素信号的预测信号,可将差分信号抑制得更小。
以下,说明使计算机作为动态图像编码装置1和动态图像解码装置40进行动作的动态图像编码程序和动态图像解码程序。
本发明的动态图像编码程序和动态图像解码程序被存储在记录介质内来提供。作为记录介质,例示出软盘(Floppy是注册商标)、CD-ROM、DVD或者ROM等的记录介质、或者半导体存储器等。
图7是示出用于执行记录在记录介质内的程序的计算机的硬件结构的图,图8是用于执行存储在记录介质内的程序的计算机的立体图。计算机具有CPU,包含进行软件的处理和控制的DVD播放器、机顶盒、便携电话等。
如图7所示,计算机30具有:软盘驱动装置(Floppy是注册商标)、CD-ROM驱动装置、DVD驱动装置等的读取装置12,使操作系统常驻的作业用存储器(RAM)14,对存储在记录介质10内的程序进行存储的存储器16,显示器之类的显示装置18,作为输入装置的鼠标20和键盘22,用于进行数据等的发送接收的通信装置24,以及控制程序执行的CPU26。当记录介质10被插入到读取装置12内时,计算机30能从读取装置12访问存储在记录介质10内的动态图像编码和解码程序,能使用该动态图像编码和解码程序,作为本发明的动态图像编码装置和动态图像解码装置进行动作。
如图8所示,动态图像编码程序或动态图像解码程序可以是作为叠加在载波上的计算机数据信号41经由网络提供的程序。在该情况下,计算机30可将由通信装置24接收到的动态图像编码程序或动态图像解码程序存储在存储器16内,并执行该动态图像编码程序或动态图像解码程序。
另外,本发明不限定于上述的第1实施方式。例如,动态图像编码装置1和动态图像解码装置40可以进行如下动作:将在生成新参照图像 时使用的观测矩阵C和状态矢量xt+5的双方或者其中任意一方包含在压缩数据内从动态图像编码装置1传送到动态图像解码装置40。在该情况下,由于不需要在解码侧生成观测矩阵或状态矢量的处理,因而可实现有效的解码处理。
例如,在传送状态矢量的情况下,在动态图像编码装置1中,将由参照图像生成部113生成的状态矢量xt+5经由线L117发送到熵编码部111,由熵编码部111进行可变长度编码,之后作为压缩数据从输出端子112输出(图1)。并且,图6是示出该情况下的动态图像解码装置40的动作的流程图。从输入压缩数据到将再现图像存储在帧存储器406内的处理(步骤S31~步骤S35)与图5所示的步骤S21~步骤S25的处理相同。在存储再现图像后,由数据分析部402对压缩数据内包含的状态矢量进行提取和可变长度解码,从而生成解码状态矢量,同时经由线L411发送到参照图像生成部408(步骤S36)。在该情况下,假定状态矢量已被进行可变长度编码,然而在使用特定的编码方法进行了压缩的情况下,使用与该编码方法对应的解码方法进行解码,然后发送到参照图像生成部408。然后,由参照图像生成部408参照帧存储器406来求出观测矩阵C(步骤S37)。之后,由参照图像生成部408使用观测矩阵C、和从数据分析部402发送的解码状态矢量xt+5来生成新参照图像(步骤S38)。最后,从输出端子409输出1帧的再现图像(步骤S39)。
并且,也可以为了压缩数据量而对状态矢量xt+5进行量化后传送。在该情况下,为了保持编码侧和解码侧的匹配性,需要根据逆量化后的状态矢量xt+5和观测矩阵C生成新参照图像。
并且,在生成新参照图像时,状态矢量xt+5可以使用根据式(7)计算出的状态矢量,也可以使用根据式(8)计算出的状态矢量。即,将成为编码对象的帧设定为y"t+5,使其乘以观测矩阵C的逆矩阵,从而可生成最适于对象帧yt+5的状态矢量xt+5。
并且,也可以使参照图像生成部408的处理全部由预测信号生成部407来执行。具体地说,预测信号生成部407可以使用存储在帧存储器406内的已有参照图像来求出观测矩阵C和状态矢量xt+5,并根据它们直 接生成预测信号。在该情况下,可以从编码侧取得观测矩阵C和状态矢量xt+5中的一方或双方。
并且,存在这样的情况:在对象帧中具有动态纹理性质的信号仅存在于一部分对象像素信号内。在该情况下,新参照图像的生成可以不对整个帧进行,而是仅针对一部分区域选择性进行。例如,可考虑利用块编号等确定在再现信号中具有动态纹理的对象块,在针对具有该块编号的对象块生成预测信号时,激活参照图像生成部113等。
[第2实施方式]
接下来,参照附图说明本发明的第2实施方式。第2实施方式涉及的动态图像编码装置和动态图像解码装置有一部分与第1实施方式涉及的动态图像编码装置和动态图像解码装置不同。以下,以不同点为中心进行说明。
(动态图像编码装置)
图9是示出本发明的第2实施方式涉及的动态图像编码装置的结构的框图。该图所示的动态图像编码装置50构成为具有:输入端子(输入单元)101、块分割部(分割单元)102、预测信号生成部(预测信号生成单元)103、帧存储器(存储单元)104、减法器(差分生成单元)105、转换部(编码单元)106、量化部(编码单元)107、逆量化部(解码单元)108、逆转换部(解码单元)109、加法器(加法单元)110、熵编码部(熵编码单元)111、输出端子112、参照图像生成部(参照图像生成单元)113、位置设定部(位置设定单元)117以及位置选择部118。
位置设定部117是设定新参照图像在管理多个参照图像的参照图像列表中的插入位置,生成表示已设定的插入位置的位置信息的部分。该参照图像列表是将多个参照图像与参照图像编号关联起来进行管理的列表,当将帧201~205的再现图像(参照图2)设为参照图像时,例如成为图14所示的表901。这样的参照图像列表例如由预测信号生成部103具有,预测信号生成部103使用从参照图像列表内包含的参照图像中选择出的参照图像,生成针对对象块的对象像素信号的预测信号。在参照图像列表中,可根据参照图像编号识别在生成预测信号时使用的参照图 像。并且,参照图像编号由于具有随着编号值减小而编码需要的编码量减小的倾向,因而当对选择频度高的参照图像赋予更小值的参照图像编号时,编码效率提高。
位置设定部117在设定参照图像列表中的新参照图像的插入位置时,从帧存储器104经由线L501获得已有参照图像的信息,从参照图像生成部113经由线L502获得新参照图像的信息,设定新参照图像的插入位置。参照图像生成部113生成新参照图像的方法与第1实施方式相同,这里省略说明。位置设定部117决定参照图像列表(例如图14的表901)中的新参照图像的插入位置。作为位置设定部117的插入位置决定方法,可考虑根据过去的帧中的新参照图像的选择率来决定的方法、通过分析求出图像内包含的纹理信号的比率的方法,然而不限于这些方法(在后述中说明基于速率失真优化的方法)。位置设定部117将已设定或决定的位置信息经由线L503和线L504输出到预测信号生成部103和熵编码部111。
预测信号生成部103当经由线L503被输入表示新参照图像的插入位置的位置信息(例如,参照图像列表中的参照图像编号)时,根据该位置信息更新参照图像列表。具体地说,当对具有图14的表901所示的参照图像列表的预测信号生成部103输入新参照图像的插入位置是参照图像编号4的位置信息时,预测信号生成部103向图14的表902所示的参照图像列表进行更新。伴随新参照图像的插入,从更新后的参照图像列表中自动排除按编码顺序最老的已有参照图像yt。另外,图14的表903~906是在被输入新参照图像的插入位置是参照图像编号3、2、1、0的位置信息时的更新后的参照图像列表。
另外,在双向预测的情况下,为了针对对象块的像素信号生成2个预测信号,准备了2个参照图像列表。图15所示的参照图像列表911是第2个参照图像列表的例子。在该例子中,向按显示顺序与编码对象帧相比未来的帧赋予小的参照图像编号0、1。另一方面,作为第1个参照图像列表,可以使用图14的表901,然而在该情况下,如图2(a)、(b)所示,需要将前(过去)5幅和后(未来)2幅的合计7幅参照图像存储 在帧存储器104内。在限定为5幅的情况下,作为第1个参照图像列表,可以选择如图16的参照图像列表921那样按编码顺序过去的5帧作为参照图像。参照图像的幅数不受限制,只要是一幅以上,就可自由设定。参照图像的幅数可以在编码侧和解码侧预先决定,也可以在编码侧以帧为单位或以序列为单位决定参照图像的幅数进行编码并送出到解码侧。在双向预测的情况下,位置设定部117针对2个参照图像列表(例如911、921)分别设定表示新参照图像的插入位置的位置信息。表示2个参照图像列表中的插入位置的位置信息与上述一样,被输出到预测信号生成部103或熵编码部111,进行参照图像列表的更新或熵编码。
位置设定部117可以将在更新参照图像列表时排除的参照图像作为参照图像列表生成信息,与位置信息一起经由线L503和线L504输出到预测信号生成部103和熵编码部111,由熵编码部111进行编码。预测信号生成部103根据位置信息和参照图像列表生成信息更新参照图像列表。此时,可以生成参照图像列表生成信息并编码成取代编码对象的帧的新参照图像而将过去的帧的新参照图像包含在参照图像列表内,也可以编码成将编码对象的帧的新参照图像和过去的帧的新参照图像都包含在参照图像列表内。例如,通过针对参照图像列表的参照图像编号,对帧编号和参照图像的种类(已有参照图像或新参照图像)的组合进行编码即可实现。根据该方法,也能使参照图像列表仅由新参照图像构成。
并且,在参照图像列表仅由已有参照图像构成而不包含新参照图像的情况下,表示新参照图像的插入位置的位置信息成为表示新参照图像不包含在参照图像列表内的信息。作为位置信息的例子,有“表示在参照图像列表内是否包含新参照图像的标志”和“表示新参照图像的插入位置的参照图像编号”的组合,在标志表示不包含新参照图像的情况下,参照图像编号不进行编码。特别是在双向预测的情况下,可扩大参照图像的选项,以使仅一个参照图像列表包含新参照图像且另一个参照图像列表仅由已有参照图像构成,从而提高自由度。
预测信号生成部103在更新参照图像列表后,根据更新后的参照图像列表生成对象块的预测信号。并且,预测信号生成部103检测用于预 测对象块的参照图像编号或移动矢量,经由线L111输出到熵编码部111。此时,在将新参照图像用于预测对象块的情况下,也可以不输出移动矢量而生成对象块的预测信号作为零移动矢量。
位置选择部118是在使用速率失真优化方法选择决定参照图像列表中的新参照图像的插入位置时使用的部分。在参照图像生成部113生成新参照图像之后,位置选择部118使用输入端子101、块分割部102、预测信号生成部103、帧存储器104、减法器105、转换部106、量化部107、逆量化部108、逆转换部109、加法器110、熵编码部111、位置设定部117,按新参照图像的插入位置的各候选(例如,参照图像列表902~906)进行上述的位置设定、编码、局部解码处理,经由线L110取得各候选的编码数据,计算编码量。位置选择部118从输入端子101获得编码对象帧的输入图像,从加法器110获得编码对象帧的再现图像,计算各候选中的编码失真(均方误差)。然后,位置选择部118按各候选计算乘以由量化精度决定的权重系数后的编码量和编码失真之和,选择该值最小的新参照图像的插入位置。位置选择部118将选择出的候选的编码数据经由线L505输出到输出端子112,并且,控制帧存储器104以使仅选择出的候选的再现信号有效。即,位置选择部118决定新参照图像的插入位置。另外,在不是速率失真优化法而是上述的根据新参照图像的选择率决定的方法的情况下等,由位置设定部117决定新参照图像的插入位置的情况下,不需要位置选择部118。
以下,参照图10详述动态图像编码装置50的动作,并说明基于速率失真优化方法的动态图像编码方法。
这里,假定在输入编码图像的对象信号前,在后述的步骤S45~S50中进行的处理是针对过去的多个输入图像进行的。即,针对输入编码对象信号以前的别的编码对象信号进行下面的处理。具体地说,由预测信号生成部103使用存储在帧存储器104内的多个参照图像来生成针对对象像素信号的预测信号(与后述的步骤S45相同)。然后,由减法器105根据对象像素信号和预测信号生成差分信号(与后述的步骤S46相同)。之后,该差分信号由转换部106和量化部107转换为频率区域,然后进 行量化,生成编码差分信号(与后述的步骤S47相同)。上述的编码差分信号由逆量化部108和逆转换部109进行逆量化和逆转换,再现为解码差分信号(与后述的步骤S48相同)。然后,由加法器110将该解码差分信号和预测信号相加来生成再现信号(与后述的步骤S49相同)。之后,将该再现信号作为参照图像存储在帧存储器104内(与后述的步骤S50相同)。
接下来,输入编码图像的对象信号(步骤S41),由参照图像生成部113以存储在帧存储器104内的一部分已有参照图像为对象实施奇异值分解处理,生成观测矩阵C和状态矢量xt+5。然后,由参照图像生成部113根据观测矩阵C和状态矢量xt+5生成新参照图像,该新参照图像作为对下一帧进行编码时的参照图像存储在帧存储器104内(步骤S43)。针对动态图像的全部或一部分帧反复进行这样的新参照图像生成处理。另外,可以将生成的观测矩阵C和状态矢量xt+5中的任意一方或双方传送到接收侧。
接下来,在步骤S44中,针对由基于已有再现图像的参照图像构成的参照图像列表(例如,图14的表901、图15的表911、图16的表921),由位置设定部117生成用于设定插入新参照图像的插入位置的位置信息,输入到预测信号生成部103。在被输入位置信息的预测信号生成部103中,根据位置信息更新参照图像列表,取得更新后的参照图像列表(例如,图14的表902~906、图15的表911~916、图16的表921~926)。
接下来,在步骤S45中,根据在步骤S44中更新后的参照图像列表,检测在预测对象块时使用的参照图像和移动矢量。此时,在选择了新参照图像的情况下,可以不发送移动矢量而生成采用零移动矢量的预测信号。之后,如上所述进行步骤S46~S50的处理。之后,在步骤S51中控制成,为了决定更新后的参照图像列表中的新参照图像的插入位置,改变在步骤S44中插入新参照图像的插入位置并反复进行步骤S45~S50的处理(基本编码步骤)。之后,当全部设定位置(例如,参照图像编号0~4)的基本编码步骤的测试结束时,进到步骤S52,计算反复进行的各基本编码步骤的编码量和编码失真(输入图像和再现图像的均方误差),求 出乘以由量化精度决定的权重系数后的编码量和编码失真之和。然后,选择决定该值最小的新参照图像的设定位置,并构成帧存储器104以使仅选择出的基本编码步骤的结果有效。
接下来,在步骤S53中,从输出端子112输出包含在步骤S51中选择出的新参照图像的插入位置的编码数据(包含新参照图像的位置信息、各对象块的参照图像编号、移动矢量以及编码差分信号)。另外,在该输出时,以帧为单位发送表示新参照图像的插入位置的位置信息,然而也可以以对多个块进行编组而成的大区域为单位(以对画面进行分割而成的分割区域为单位),决定传送表示新参照图像的插入位置的位置信息。
另外,在上述实施方式中,由参照图像生成部113生成新参照图像,然而也可以由预测信号生成部103求出观测矩阵C和状态矢量xt+5,然后直接生成预测信号。并且,使用奇异值分解方法求出观测矩阵C和状态矢量xt+5,然而也可以使用除此以外的方法。并且,在更新后的参照图像列表不包含新参照图像的情况下,针对该帧,可以不需要参照图像生成部113的处理。
并且,在上述实施方式中,由于不需要对观测矩阵C和状态矢量xt+5进行编码并进行传送,因而如后面说明那样,在接收侧(解码侧)使用相同方法求出观测矩阵C和状态矢量xt+5来生成新参照图像,然而也可以在对状态矢量xt+5进行编码后来传送,以便减少接收侧的处理量。在该情况下,将求出的状态矢量xt+5经由线L117发送到熵编码部111进行熵编码,然后输出传送到外部。另外,在由预测信号生成部103求出状态矢量xt+5的情况下,经由线L111输出传送到外部。
并且,在上述实施方式中,状态矢量xt+5可以使用根据式(7)求出的状态矢量,然而也可以根据式(8)求出。即,将成为编码对象的帧设为y"t+5,通过使其乘以观测矩阵C的逆矩阵,可生成最适于对象帧y"t+5的状态矢量xt+5。为了削减数据量,可以对状态矢量xt+5进行量化后来传送。在该情况下,为了保持发送侧和接收侧的匹配性,需要根据逆量化后的xt+5和观测矩阵C生成新参照图像。另外,说明了发送状态矢量xt+5的方式,然而也可以取而代之发送观测矩阵C,或者发送观测矩阵C和状态 矢量xt+5的双方。存在这样的情况:具有动态纹理性质的信号仅存在于画面内的一部分内,在该情况下,上述新参照图像的生成可以不是针对整个帧而是针对一部分区域来进行。
并且,在上述实施方式中,以帧为单位发送表示新参照图像的插入位置的信息,然而也可以以对多个块进行编组而成的大区域为单位(以对画面进行分割而成的分割区域为单位),发送表示新参照图像的插入位置的信息。在该情况下,位置设定部117和预测信号生成部103按各大区域生成更新参照图像列表。然后,预测信号生成部103根据对象块所属的大区域的更新参照图像列表选择参照图像,将参照图像编号发送到熵编码部111。这样的大区域的定义可以在编码侧和解码侧预先决定(例如,对画面进行4分割来构成4个大区域),也可以在编码侧决定大区域的结构并由熵编码部111进行编码。根据该方法,能进行这样的处理:对包含动态纹理的大区域的参照图像列表追加新参照图像,对于不包含动态纹理的大区域,仅使用已有参照图像构成参照图像列表。并且,对新参照图像在参照图像列表内的插入位置进行编码,然而也可以根据已解码的信息来决定。例如,也可以根据过去的已编码帧中的新参照图像的选择率自动决定新参照图像在参照图像列表内的插入位置。
(动态图像解码装置)
以下,说明第2实施方式涉及的动态图像解码装置的结构。图10是示出第2实施方式涉及的动态图像解码装置的结构的框图。该图所示的动态图像解码装置60构成为具有:输入端子(输入单元)401、熵解码部(熵解码单元)410、逆量化部(解码单元)403、逆转换部(解码单元)404、加法器(加法单元)405、预测信号生成部(预测信号生成单元)407、帧存储器(存储单元)406、参照图像生成部(参照图像生成单元)408以及输出端子409。
包含对动态图像进行预测编码而得到的编码差分信号的压缩数据被输入到输入端子401。作为这样的压缩数据,例如有由图9的动态图像编码装置50进行处理而得到的数据。如上所述,该压缩数据除了包含编码差分信号以外,还包含为了生成预测信号而需要的移动矢量、识别参照 图像的参照图像编号、用于进行逆量化的量化参数、用于生成新参照图像的状态矢量xt+5的数据、表示新参照图像的插入位置的位置信息等。另外,在由动态图像解码装置60生成状态矢量xt+5的情况下,也可以不包含状态矢量xt+5。
熵解码部410分析输入的压缩数据并进行熵解码,复原为原始数值等,从该压缩数据中提取上述的编码差分信号等。然后,熵解码部410将提取出的编码差分信号和量化参数经由线L402输出到逆量化部403,并且,将与移动矢量相关的信息经由线L410送出到预测信号生成部407。该编码差分信号由逆量化部403和逆转换部404解码而复原为差分信号。并且,熵解码部410将复原后的表示新参照图像的插入位置的位置信息经由线L412送出到预测信号生成部407。
预测信号生成部407是生成针对处理对象的解码差分信号的预测信号的部分。预测信号生成部407当从熵解码部410输入表示新参照图像的插入位置的位置信息时,与动态图像编码装置50的预测信号生成部103一样,更新参照图像列表。在不包含新参照图像的情况下,不更新参照图像列表。另外,在压缩数据包含用于生成参照图像列表的信息即参照图像列表生成信息的情况下,预测信号生成部407经由线L412取得由熵解码部410解码后的参照图像列表生成信息,并将其用于参照图像列表的更新。如上所述,这样的参照图像列表生成信息例如包含有从参照图像列表中排除的已有参照图像的信息。并且,在参照图像列表生成信息针对参照图像列表的各参照图像编号示出各自的帧编号与参照图像的种类(已有参照图像或新参照图像)的组合的情况下,能明示地更新参照图像列表。
并且,预测信号生成部407根据移动矢量和参照图像编号,访问位于帧存储器406内的参照图像,生成解码对象的对象块的预测信号。另外,在针对参照图像编号表示新参照图像的块预先决定成移动矢量信息不包含在压缩数据内的情况下,采用零移动矢量,根据新参照图像生成对象块的预测信号。将这样得到的预测信号经由线L407发送到加法器405,与解码差分信号相加,生成再现信号。
参照图像生成部408与上述的动态图像编码装置50的参照图像生成部113一样,根据存储在帧存储器406内的一部分已有参照图像,通过奇异值分解处理求出观测矩阵C和状态矢量xt+5。另外,在状态矢量xt+5包含于压缩数据内的情况下,经由线L411从熵解码部410取得状态矢量xt+5来使用。对压缩数据内包含的状态矢量xt+5进行熵编码;在使用熵编码以外的特定编码方法进行了压缩的情况下,将从熵解码部410输出的状态矢量xt+5在与该特定的编码方法对应的解码处理中进行解码,之后送出到参照图像生成部408。并且,使用再现图像求出观测矩阵C,然而也可以除了再现图像以外还加上过去生成的新参照图像来求出观测矩阵C。
参照图像生成部408与第1实施方式一样,根据观测矩阵C和状态矢量xt+5,并根据式(8)生成具有动态纹理性质的新参照图像y"t+5。将生成的新参照图像y"t+5经由线L408b存储在帧存储器406内。然后,预测信号生成部407与动态图像编码装置50的预测信号生成部103一样,根据已有参照图像和新参照图像中的至少一方,生成下一帧的对象块的预测信号。
另外,还可以使预测信号生成部407具有参照图像生成部408的新参照图像生成处理功能。在该情况下,将状态矢量xt+5经由线L410发送到预测信号生成部407,将生成的预测信号直接发送到加法器405。
并且,在上述实施方式中,以帧为单位接收表示新参照图像的插入位置的信息,然而也可以以对多个块进行编组而成的大区域为单位(以对画面进行分割而成的分割区域为单位)接收表示新参照图像的插入位置的信息。在该情况下,预测信号生成部407按各大区域对更新参照图像列表进行生成和更新。然后,预测信号生成部407根据对象块所属的大区域的更新参照图像列表选择参照图像。大区域可以在编码侧和解码侧预先决定(例如,对画面进行4分割来构成4个大区域),也可以由熵解码部410对大区域的结构进行解码。并且,对新参照图像在参照图像列表内的插入位置进行解码,然而也可以在解码侧根据已解码的信息来决定。例如,也可以根据过去的已解码帧中的新参照图像的选择率自动决定新参照图像在参照图像列表内的插入位置。
以下,参照图11详述动态图像解码装置60的动作,并说明在状态矢量xt+5不包含于压缩数据内时的动态图像解码方法。
这里,假定在实施解码图像的解码处理前,实施后述的步骤S65~S68,多个解码图像已被复原。具体地说,当包含编码差分信号的压缩数据被输入到熵解码部410时,从该压缩数据中提取编码差分信号、移动矢量、参照图像编号以及量化参数。然后,该编码差分信号由逆量化部403和逆转换部404解码,生成解码差分信号(后述的步骤S65)。并且,对生成解码对象的对象块的预测信号所需要的移动矢量和参照图像编号进行解码,根据存储在帧存储器内的参照图像生成预测信号(后述的步骤S66)。之后,由加法器405将解码差分信号和预测信号相加,从而生成再现信号(后述的步骤S67)。该再现信号作为参照信号存储在帧存储器406内(后述的步骤S68)。
接下来,输入包含成为解码对象的编码差分信号的压缩数据(步骤S61)。在步骤S62中,针对存储在帧存储器406内的参照图像(再现图像)执行奇异值分解来生成观测矩阵C和状态矢量xt+5。该一系列处理使用上述的式(1)~(8),根据观测矩阵C和状态矢量xt+5生成新参照图像。将生成的新参照图像存储在帧存储器406内(步骤S63)。
接下来,进到步骤S64,针对由基于已有再现图像的参照图像构成的参照图像列表(例如,参照图14的表901等),从压缩数据取得表示新参照图像的插入位置的位置信息,更新参照图像列表,取得更新后的参照图像列表(例如,参照图14的表902~906等)。之后,进行步骤S65,对编码差分信号进行解码来生成解码差分信号。然后,在步骤S66中,对参照图像编号和移动矢量进行解码,根据更新后的参照图像列表,并根据由解码后的参照图像编号表示的参照图像和移动矢量生成对象块的预测信号。之后,执行步骤S67、S68,反复进行步骤S65~S68预定次数(或者直到压缩数据被全部输入且已实施复原处理为止),之后将再现图像输出到输出端子409(步骤S69)。
下面,参照图13说明动态图像解码方法的变型例。该变型例是对应于这样的情况的实施方式,即,状态矢量xt+5包含在压缩数据内从编码侧 传送。在该变型例中,步骤S71、S74~S80与图12的步骤S61、S63~S69相同,省略说明。
在步骤S72中,从压缩数据中提取状态矢量xt+5进行解码,生成解码状态矢量。然后,在步骤S73中,针对存储在帧存储器406内的参照图像(再现图像)执行奇异值分解处理来生成观测矩阵C。之后,与图12的步骤S63一样,根据观测矩阵C和在步骤S72中得到的解码状态矢量生成新参照图像(步骤S74)。将这样生成的新参照图像作为用于对下一帧进行解码的参照图像存储在帧存储器406内。
根据以上说明的动态图像编码装置50和动态图像解码装置60,利用动态纹理在自回归移动平均模型(ARMA)中表现的性质,使用已生成的已有参照图像来求出在该模型中使用的观测矩阵C,根据该观测矩阵C生成新参照图像。因此,可新生成符合已有参照图像内不存在的动态纹理性质的参照图像,可生成更接近编码对象图像内存在的动态纹理的预测信号,结果,可将差分信号抑制得小,可有效减少压缩后的动态图像的数据量。也就是说,可对动态纹理有效地进行编码。并且,在上述的动态图像编码装置等中,使用管理该新参照图像或已有参照图像的参照图像列表,并使用从该参照图像列表内包含的参照图像中选择出的参照图像来生成预测信号。因此,可生成更接近编码对象图像内存在的动态纹理的预测信号,能将差分信号抑制得更小,或者即使不对差分信号进行编码,也能再现在视觉上类似于对象信号的信号。而且,在上述的动态图像编码装置等中,由于还对参照图像列表中的新参照图像的位置进行编码,因而能抑制参照图像的选择信息需要的编码量。
另外,使计算机作为上述的动态图像编码装置50和动态图像解码装置60进行动作的动态图像编码程序和动态图像解码程序与第1实施方式相同,省略说明。
本发明将动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像编码程序以及动态图像解码程序作为使用用途,通过生成适合于包含有动态纹理的动态图像的预测信号,可减少压缩后的动态图像的数据量。
标号说明
1、50:动态图像编码装置;40、60:动态图像解码装置;101:输入端子(输入单元);102:块分割部;103:预测信号生成部(预测信号生成单元);104:帧存储器(存储单元);105:减法器(差分生成单元);106:转换部(编码单元);107:量化部(编码单元);108:逆量化部(解码单元);109:逆转换部(解码单元);110:加法器(加法单元);111:熵编码部(编码单元);113:参照图像生成部(参照图像生成单元);117:位置设定部(位置设定单元);118:位置选择部;401:输入端子(输入单元);402:数据分析部(输入单元);403:逆量化部(解码单元);404:逆转换部(解码单元);405:加法器(加法单元);406:帧存储器(存储单元);407:预测信号生成部(预测信号生成单元);408:参照图像生成部(参照图像生成单元);410:熵解码部(熵解码单元)。
Claims (36)
1.一种动态图像编码装置,其特征在于,所述动态图像编码装置具有:
输入单元,其输入由多个图像构成的动态图像中的编码对象图像内包含的对象信号;
预测信号生成单元,其生成针对所述对象信号的预测信号;
差分生成单元,其生成所述对象信号与所述预测信号之间的差分即差分信号;
编码单元,其使用预定方法对所述差分信号进行编码来生成编码差分信号;
解码单元,其对所述编码差分信号进行解码来生成解码差分信号;
加法单元,其将所述预测信号与所述解码差分信号相加来生成再现信号;
存储单元,其存储所述再现信号,作为在生成所述预测信号时参照的参照图像;以及
参照图像生成单元,其使用存储在所述存储单元内的已生成的多个所述参照图像即多个已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成新的所述参照图像即新参照图像并将其存储在所述存储单元内,其中所述多个已有参照图像的编码/解码处理定时与所述对象信号不同,
所述预测信号生成单元至少使用所述新参照图像来生成所述预测信号。
2.根据权利要求1所述的动态图像编码装置,其特征在于,所述编码单元还对所述状态矢量进行编码。
3.根据权利要求1~2中的任意一项所述的动态图像编码装置,其特征在于,所述参照图像生成单元通过以由多个所述已有参照图像构成的矩阵为对象执行奇异值分解来求出所述观测矩阵。
4.一种动态图像解码装置,其特征在于,所述动态图像解码装置具有:
输入单元,其输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;
解码单元,其对所述编码差分信号进行解码来生成解码差分信号;
预测信号生成单元,其生成针对所述解码差分信号的预测信号;
加法单元,其将所述预测信号与所述解码差分信号相加来生成再现信号;
存储单元,其存储所述再现信号,作为在生成所述预测信号时参照的参照图像;以及
参照图像生成单元,其使用存储在所述存储单元内的已生成的多个所述参照图像即多个已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成新的所述参照图像即新参照图像并将其存储在所述存储单元内,其中所述多个已有参照图像的编码/解码处理定时与所述对象信号不同,
所述预测信号生成单元至少使用所述新参照图像来生成所述预测信号。
5.根据权利要求4所述的动态图像解码装置,其特征在于,
所述压缩数据还包含与状态矢量对应的矢量压缩数据,
所述解码单元对所述矢量压缩数据进行复原来生成解码状态矢量,
所述参照图像生成单元根据所述观测矩阵和所述解码状态矢量生成所述新参照图像。
6.根据权利要求4~5中的任意一项所述的动态图像解码装置,其特征在于,所述参照图像生成单元通过以由多个所述已有参照图像构成的矩阵为对象执行奇异值分解来求出所述观测矩阵。
7.一种动态图像解码装置,其特征在于,所述动态图像解码装置具有:
输入单元,其输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;
解码单元,其对所述编码差分信号进行解码来生成解码差分信号;
预测信号生成单元,其生成针对所述解码差分信号的预测信号;
加法单元,其将所述预测信号与所述解码差分信号相加来生成再现信号;以及
存储单元,其存储所述再现信号,作为在生成所述预测信号时参照的参照图像;
所述预测信号生成单元使用存储在所述存储单元内的已生成的多个所述参照图像即多个已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成预测信号,其中所述多个已有参照图像的编码/解码处理定时与所述对象信号不同。
8.一种动态图像编码方法,其特征在于,所述动态图像编码方法具有:
输入步骤,输入单元输入由多个图像构成的动态图像中的编码对象图像内包含的对象信号;
预测信号生成步骤,预测信号生成单元生成针对所述对象信号的预测信号;
差分生成步骤,差分生成单元生成所述对象信号与所述预测信号之间的差分即差分信号;
编码步骤,编码单元使用预定方法对所述差分信号进行编码来生成编码差分信号;
解码步骤,解码单元对所述编码差分信号进行解码来生成解码差分信号;
加法步骤,加法单元将所述预测信号与所述解码差分信号相加来生成再现信号;
存储步骤,存储单元存储所述再现信号,作为在生成所述预测信号时参照的参照图像;以及
参照图像生成步骤,参照图像生成单元使用存储在所述存储单元内的已生成的多个所述参照图像即多个已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成新的所述参照图像即新参照图像并将其存储在所述存储单元内,其中所述多个已有参照图像的编码/解码处理定时与所述对象信号不同,
在所述预测信号生成步骤中,至少使用所述新参照图像来生成所述预测信号。
9.一种动态图像解码方法,其特征在于,所述动态图像解码方法具有:
输入步骤,输入单元输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;
解码步骤,解码单元对所述编码差分信号进行解码来生成解码差分信号;
预测信号生成步骤,预测信号生成单元生成针对所述解码差分信号的预测信号;
加法步骤,加法单元将所述预测信号与所述解码差分信号相加来生成再现信号;
存储步骤,存储单元存储所述再现信号,作为在生成所述预测信号时参照的参照图像;以及
参照图像生成步骤,参照图像生成单元使用存储在所述存储单元内的已生成的多个所述参照图像即多个已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成新的所述参照图像即新参照图像并将其存储在所述存储单元内,其中所述多个已有参照图像的编码/解码处理定时与所述对象信号不同,
在所述预测信号生成步骤中,至少使用所述新参照图像来生成所述预测信号。
10.一种动态图像解码方法,其特征在于,所述动态图像解码方法具有:
输入步骤,输入单元输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;
解码步骤,解码单元对所述编码差分信号进行解码来生成解码差分信号;
预测信号生成步骤,预测信号生成单元生成针对所述解码差分信号的预测信号;
加法步骤,加法单元将所述预测信号与所述解码差分信号相加来生成再现信号;以及
存储步骤,存储单元存储所述再现信号,作为在生成所述预测信号时参照的参照图像;
在所述预测信号生成步骤中,使用存储在所述存储单元内的已生成的多个所述参照图像即多个已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成预测信号,其中所述多个已有参照图像的编码/解码处理定时与所述对象信号不同。
11.一种动态图像编码装置,其特征在于,所述动态图像编码装置具有:
输入单元,其输入由多个图像构成的动态图像中的编码对象图像内包含的对象信号;
分割单元,其将所述编码对象图像分割为多个区域;
预测信号生成单元,其生成针对所述多个区域中的对象区域的对象信号的预测信号;
差分生成单元,其生成所述对象区域的对象信号与所述预测信号之间的差分即差分信号;
编码单元,其使用预定方法对所述差分信号进行编码来生成编码差分信号;
解码单元,其对所述编码差分信号进行解码来生成解码差分信号;
加法单元,其将所述预测信号与所述解码差分信号相加来生成所述对象区域的再现信号;
存储单元,其存储所述再现信号,作为在生成所述预测信号时参照的参照图像;
参照图像生成单元,其使用存储在所述存储单元内的已生成的所述参照图像即已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成新的所述参照图像即新参照图像并将其存储在所述存储单元内,
位置设定单元,其设定所述新参照图像在管理多个所述参照图像的参照图像列表中的插入位置;以及
熵编码单元,其至少对所述编码差分信号和表示所述新参照图像的插入位置的位置信息进行熵编码,
所述预测信号生成单元根据表示所述新参照图像的插入位置的位置信息更新所述参照图像列表,
所述预测信号生成单元使用从所述参照图像列表内包含的参照图像中选择出的参照图像来生成所述对象区域的预测信号,
所述熵编码单元对表示在所述对象区域的预测信号的生成中使用的所述参照图像的参照图像编号进行编码。
12.一种动态图像编码装置,其特征在于,所述动态图像编码装置具有:
输入单元,其输入由多个图像构成的动态图像中的编码对象图像内包含的对象信号;
分割单元,其将所述编码对象图像分割为多个区域;
预测信号生成单元,其生成针对所述多个区域中的对象区域的对象信号的预测信号;
差分生成单元,其生成所述对象区域的对象信号与所述预测信号之间的差分即差分信号;
编码单元,其使用预定方法对所述差分信号进行编码来生成编码差分信号;
解码单元,其对所述编码差分信号进行解码来生成解码差分信号;
加法单元,其将所述预测信号与所述解码差分信号相加来生成所述对象区域的再现信号;
存储单元,其存储所述再现信号,作为在生成所述预测信号时参照的参照图像;
参照图像生成单元,其使用存储在所述存储单元内的已生成的所述参照图像即已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成新的所述参照图像即新参照图像并将其存储在所述存储单元内;
位置设定单元,其针对由至少两个以上的所述对象区域构成的大区域,设定所述新参照图像在管理多个参照图像的参照图像列表中的插入位置;以及
熵编码单元,其至少对所述编码差分信号和与所述大区域有关的表示所述新参照图像的插入位置的位置信息进行熵编码,
所述预测信号生成单元根据表示所述新参照图像的插入位置的位置信息更新与所述大区域有关的所述参照图像列表,
所述预测信号生成单元使用从与所述对象区域所属的所述大区域有关的所述参照图像列表内包含的参照图像中选择出的参照图像,生成所述对象区域的预测信号,
所述熵编码单元对表示在所述对象区域的预测信号的生成中使用的所述参照图像的参照图像编号进行编码。
13.根据权利要求11或12所述的动态图像编码装置,其特征在于,
在所述参照图像列表不包含所述新参照图像的情况下,所述位置设定单元生成表示所述新参照图像不包含在所述参照图像列表内的所述位置信息,
所述熵编码单元对表示所述新参照图像不包含在所述参照图像列表内的所述位置信息进行熵编码,
所述预测信号生成单元更新所述参照图像列表,使得不包含所述新参照图像。
14.根据权利要求11或12所述的动态图像编码装置,其特征在于,所述熵编码单元还对所述状态矢量进行熵编码。
15.根据权利要求13所述的动态图像编码装置,其特征在于,所述熵编码单元还对所述状态矢量进行熵编码。
16.根据权利要求11或12所述的动态图像编码装置,其特征在于,所述参照图像生成单元通过以由多个所述已有参照图像构成的矩阵为对象执行奇异值分解来求出所述观测矩阵和所述状态矢量,生成所述新参照图像。
17.根据权利要求13所述的动态图像编码装置,其特征在于,所述参照图像生成单元通过以由多个所述已有参照图像构成的矩阵为对象执行奇异值分解来求出所述观测矩阵和所述状态矢量,生成所述新参照图像。
18.根据权利要求14所述的动态图像编码装置,其特征在于,所述参照图像生成单元通过以由多个所述已有参照图像构成的矩阵为对象执行奇异值分解来求出所述观测矩阵和所述状态矢量,生成所述新参照图像。
19.根据权利要求15所述的动态图像编码装置,其特征在于,所述参照图像生成单元通过以由多个所述已有参照图像构成的矩阵为对象执行奇异值分解来求出所述观测矩阵和所述状态矢量,生成所述新参照图像。
20.一种动态图像解码装置,其特征在于,所述动态图像解码装置具有:
输入单元,其输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;
熵解码单元,其从所述压缩数据至少复原出成为解码对象的对象区域的所述编码差分信号;
解码单元,其对所述对象区域的所述编码差分信号进行解码来生成解码差分信号;
预测信号生成单元,其生成针对所述解码差分信号的所述对象区域的预测信号;
加法单元,其将所述预测信号与所述解码差分信号相加来生成所述对象区域的再现信号;
存储单元,其存储所述对象区域的再现信号,作为在生成所述预测信号时参照的参照图像;以及参照图像生成单元,其使用存储在所述存储单元内的已生成的所述参照图像即已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成新的所述参照图像即新参照图像并将其存储在所述存储单元内
,
所述熵解码单元从所述压缩数据解码出表示所述新参照图像在管理多个所述参照图像的参照图像列表中的插入位置的位置信息,
所述预测信号生成单元根据表示所述新参照图像的插入位置的位置信息更新所述参照图像列表,
所述熵解码单元从所述压缩数据解码出表示在根据更新后的所述参照图像列表生成所述对象区域的预测信号时使用的所述参照图像的参照图像编号,
所述预测信号生成单元使用由解码后的所述参照图像编号表示的所述参照图像,生成所述对象区域的预测信号。
21.一种动态图像解码装置,其特征在于,所述动态图像解码装置具有:
输入单元,其输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;
熵解码单元,其从所述压缩数据至少复原出成为解码对象的对象区域的所述编码差分信号;
解码单元,其对所述对象区域的所述编码差分信号进行解码来生成解码差分信号;
预测信号生成单元,其生成针对所述解码差分信号的所述对象区域的预测信号;
加法单元,其将所述预测信号与所述解码差分信号相加来生成所述对象区域的再现信号;
存储单元,其存储所述对象区域的再现信号,作为在生成所述预测信号时参照的参照图像;以及
参照图像生成单元,其使用存储在所述存储单元内的已生成的所述参照图像即已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成新的所述参照图像即新参照图像并将其存储在所述存储单元内,
所述熵解码单元针对由至少两个以上的所述对象区域构成的大区域,从所述压缩数据解码出表示所述新参照图像在管理多个参照图像的参照图像列表中的插入位置的位置信息,
所述预测信号生成单元根据表示所述新参照图像的插入位置的位置信息更新与所述大区域有关的所述参照图像列表,
所述熵解码单元从所述压缩数据解码出表示在根据更新后的所述参照图像列表生成所述对象区域的预测信号时使用的所述参照图像的参照图像编号,
所述预测信号生成单元使用由解码后的所述参照图像编号表示的所述参照图像,生成所述对象区域的预测信号。
22.根据权利要求20或21所述的动态图像解码装置,其特征在于,
所述熵解码单元对表示所述新参照图像不包含在所述参照图像列表内的所述位置信息进行解码,
所述预测信号生成单元更新所述参照图像列表,使得不包含所述新参照图像。
23.根据权利要求20或21中的任意一项所述的动态图像解码装置,其特征在于,
所述压缩数据还包含与状态矢量对应的矢量压缩数据,
所述解码单元在将所述编码差分信号解码为所述解码差分信号时,对所述矢量压缩数据进行复原来生成解码状态矢量,
所述参照图像生成单元根据所述观测矩阵和所述解码状态矢量生成所述新参照图像。
24.根据权利要求22所述的动态图像解码装置,其特征在于,
所述压缩数据还包含与状态矢量对应的矢量压缩数据,
所述解码单元在将所述编码差分信号解码为所述解码差分信号时,对所述矢量压缩数据进行复原来生成解码状态矢量,
所述参照图像生成单元根据所述观测矩阵和所述解码状态矢量生成所述新参照图像。
25.根据权利要求20或21所述的动态图像解码装置,其特征在于,所述参照图像生成单元通过以由多个所述已有参照图像构成的矩阵为对象执行奇异值分解来求出所述观测矩阵和所述状态矢量,生成所述新参照图像。
26.根据权利要求22所述的动态图像解码装置,其特征在于,所述参照图像生成单元通过以由多个所述已有参照图像构成的矩阵为对象执行奇异值分解来求出所述观测矩阵和所述状态矢量,生成所述新参照图像。
27.根据权利要求23所述的动态图像解码装置,其特征在于,所述参照图像生成单元通过以由多个所述已有参照图像构成的矩阵为对象执行奇异值分解来求出所述观测矩阵和所述状态矢量,生成所述新参照图像。
28.根据权利要求24所述的动态图像解码装置,其特征在于,所述参照图像生成单元通过以由多个所述已有参照图像构成的矩阵为对象执行奇异值分解来求出所述观测矩阵和所述状态矢量,生成所述新参照图像。
29.一种动态图像解码装置,其特征在于,所述动态图像解码装置具有:
输入单元,其输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;
熵解码单元,其从所述压缩数据至少复原出成为解码对象的对象区域的所述编码差分信号;
解码单元,其对所述对象区域的所述编码差分信号进行解码来生成解码差分信号;
预测信号生成单元,其生成针对所述解码差分信号的所述对象区域的预测信号;
加法单元,其将所述预测信号与所述解码差分信号相加来生成所述对象区域的再现信号;以及
存储单元,其存储所述对象区域的再现信号,作为在生成所述预测信号时参照的参照图像,
所述熵解码单元从所述压缩数据解码出表示新参照图像在管理多个所述参照图像的参照图像列表中的插入位置的位置信息,
所述预测信号生成单元根据表示所述新参照图像的插入位置的位置信息更新所述参照图像列表,并且,使用存储在所述存储单元内的已生成的所述参照图像即已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成新的所述参照图像即新参照图像并将其存储在所述存储单元内,
所述熵解码单元从所述压缩数据解码出表示在根据更新后的所述参照图像列表生成所述对象区域的预测信号时使用的所述参照图像的参照图像编号,
所述预测信号生成单元使用由解码后的所述参照图像编号表示的所述参照图像,生成所述对象区域的预测信号。
30.一种动态图像编码方法,其特征在于,所述动态图像编码方法具有:
输入步骤,输入单元输入由多个图像构成的动态图像中的编码对象图像内包含的对象信号;
分割步骤,分割单元将所述编码对象图像分割为多个区域;
预测信号生成步骤,预测信号生成单元生成针对所述多个区域中的对象区域的对象信号的预测信号;
差分生成步骤,差分生成单元生成所述对象区域的对象信号与所述预测信号之间的差分即差分信号;
编码步骤,编码单元使用预定方法对所述差分信号进行编码来生成编码差分信号;
解码步骤,解码单元对所述编码差分信号进行解码来生成解码差分信号;
加法步骤,加法单元将所述预测信号与所述解码差分信号相加来生成所述对象区域的再现信号;
存储步骤,存储单元存储所述再现信号,作为在生成所述预测信号时参照的参照图像;
参照图像生成步骤,参照图像生成单元使用存储在所述存储单元内的已生成的所述参照图像即已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成新的所述参照图像即新参照图像并将其存储在所述存储单元内;
位置设定步骤,位置设定单元设定所述新参照图像在管理多个所述参照图像的参照图像列表中的插入位置;以及
熵编码步骤,熵编码单元至少对所述编码差分信号和表示所述新参照图像的插入位置的位置信息进行熵编码,
在所述预测信号生成步骤中,根据表示所述新参照图像的插入位置的位置信息更新所述参照图像列表,
在所述预测信号生成步骤中,使用从所述参照图像列表内包含的参照图像中选择出的参照图像来生成所述对象区域的预测信号,
在所述熵编码步骤中,对表示在所述对象区域的预测信号的生成中使用的所述参照图像的参照图像编号进行编码。
31.一种动态图像编码方法,其特征在于,所述动态图像编码方法具有:
输入步骤,输入单元输入由多个图像构成的动态图像中的编码对象图像内包含的对象信号;
分割步骤,分割单元将所述编码对象图像分割为多个区域;
预测信号生成步骤,预测信号生成单元生成针对所述多个区域中的对象区域的对象信号的预测信号;
差分生成步骤,差分生成单元生成所述对象区域的对象信号与所述预测信号之间的差分即差分信号;
编码步骤,编码单元使用预定方法对所述差分信号进行编码来生成编码差分信号;
解码步骤,解码单元对所述编码差分信号进行解码来生成解码差分信号;
加法步骤,加法单元将所述预测信号与所述解码差分信号相加来生成所述对象区域的再现信号;
存储步骤,存储单元存储所述再现信号,作为在生成所述预测信号时参照的参照图像;
参照图像生成步骤,参照图像生成单元使用存储在所述存储单元内的已生成的所述参照图像即已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成新的所述参照图像即新参照图像并将其存储在所述存储单元内;
位置设定步骤,位置设定单元针对由至少两个以上的所述对象区域构成的大区域,设定所述新参照图像在管理多个参照图像的参照图像列表中的插入位置;以及
熵编码步骤,熵编码单元至少对所述编码差分信号和与所述大区域有关的表示所述新参照图像的插入位置的位置信息进行熵编码,
在所述预测信号生成步骤中,根据表示所述新参照图像的插入位置的位置信息更新与所述大区域有关的所述参照图像列表,
在所述预测信号生成步骤中,使用从与所述对象区域所属的所述大区域有关的所述参照图像列表内包含的参照图像中选择出的参照图像,生成所述对象区域的预测信号,
在所述熵编码步骤中,对表示在所述对象区域的预测信号的生成中使用的所述参照图像的参照图像编号进行编码。
32.根据权利要求30或31所述的动态图像编码方法,其特征在于,
在所述位置设定步骤中,在所述参照图像列表不包含所述新参照图像的情况下,生成表示所述新参照图像不包含在所述参照图像列表内的所述位置信息,
在所述熵编码步骤中,对表示所述新参照图像不包含在所述参照图像列表内的所述位置信息进行熵编码,
在所述预测信号生成步骤中,更新所述参照图像列表,使得不包含所述新参照图像。
33.一种动态图像解码方法,其特征在于,所述动态图像解码方法具有:
输入步骤,输入单元输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;
熵解码步骤,熵解码单元从所述压缩数据至少复原出成为解码对象的对象区域的所述编码差分信号;
解码步骤,解码单元对所述对象区域的所述编码差分信号进行解码来生成解码差分信号;
预测信号生成步骤,预测信号生成单元生成针对所述解码差分信号的所述对象区域的预测信号;
加法步骤,加法单元将所述预测信号与所述解码差分信号相加来生成所述对象区域的再现信号;
存储步骤,存储单元存储所述对象区域的再现信号,作为在生成所述预测信号时参照的参照图像;以及
参照图像生成步骤,参照图像生成单元使用存储在所述存储单元内的已生成的所述参照图像即已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成新的所述参照图像即新参照图像并将其存储在所述存储单元内,
在所述熵解码步骤中,从所述压缩数据解码出表示所述新参照图像在管理多个所述参照图像的参照图像列表中的插入位置的位置信息,
在所述预测信号生成步骤中,根据表示所述新参照图像的插入位置的位置信息更新所述参照图像列表,
在所述熵解码步骤中,从所述压缩数据解码出表示在根据更新后的所述参照图像列表生成所述对象区域的预测信号时使用的所述参照图像的参照图像编号,
在所述预测信号生成步骤中,使用由解码后的所述参照图像编号表示的所述参照图像来生成所述对象区域的预测信号。
34.一种动态图像解码方法,其特征在于,所述动态图像解码方法具有:
输入步骤,输入单元输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;
熵解码步骤,熵解码单元从所述压缩数据至少复原出成为解码对象的对象区域的所述编码差分信号;
解码步骤,解码单元对所述对象区域的所述编码差分信号进行解码来生成解码差分信号;
预测信号生成步骤,预测信号生成单元生成针对所述解码差分信号的所述对象区域的预测信号;
加法步骤,加法单元将所述预测信号与所述解码差分信号相加来生成所述对象区域的再现信号;
存储步骤,存储单元存储所述对象区域的再现信号,作为在生成所述预测信号时参照的参照图像;以及
参照图像生成步骤,参照图像生成单元使用存储在所述存储单元内的已生成的所述参照图像即已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成新的所述参照图像即新参照图像并将其存储在所述存储单元内,
在所述熵解码步骤中,针对由至少两个以上的所述对象区域构成的大区域,从所述压缩数据解码出表示所述新参照图像在管理多个参照图像的参照图像列表中的插入位置的位置信息,
在所述预测信号生成步骤中,根据表示所述新参照图像的插入位置的位置信息更新与所述大区域有关的所述参照图像列表,
在所述熵解码步骤中,从所述压缩数据解码出表示在根据更新后的所述参照图像列表生成所述对象区域的预测信号时使用的所述参照图像的参照图像编号,
在所述预测信号生成步骤中,使用由解码后的所述参照图像编号表示的所述参照图像来生成所述对象区域的预测信号。
35.根据权利要求33或34所述的动态图像解码方法,其特征在于,
在所述熵解码步骤中,对表示所述新参照图像不包含在所述参照图像列表内的所述位置信息进行解码,
在所述预测信号生成步骤中,更新所述参照图像列表,使得不包含所述新参照图像。
36.一种动态图像解码方法,其特征在于,所述动态图像解码方法具有:
输入步骤,输入单元输入包含对动态图像进行预测编码而得到的编码差分信号的压缩数据;
熵解码步骤,熵解码单元从所述压缩数据至少复原出成为解码对象的对象区域的所述编码差分信号;
解码步骤,解码单元对所述对象区域的所述编码差分信号进行解码来生成解码差分信号;
预测信号生成步骤,预测信号生成单元生成针对所述解码差分信号的所述对象区域的预测信号;
加法步骤,加法单元将所述预测信号与所述解码差分信号相加来生成所述对象区域的再现信号;以及
存储步骤,存储单元存储所述对象区域的再现信号,作为在生成所述预测信号时参照的参照图像,
在所述熵解码步骤中,从所述压缩数据解码出表示新参照图像在管理多个所述参照图像的参照图像列表中的插入位置的位置信息,
在所述预测信号生成步骤中,根据表示所述新参照图像的插入位置的位置信息更新所述参照图像列表,并且,使用存储在所述存储单元内的已生成的所述参照图像即已有参照图像来求出观测矩阵和状态矢量,根据所述观测矩阵和所述状态矢量生成新的所述参照图像即新参照图像并将其存储在所述存储单元内,
在所述熵解码步骤中,从所述压缩数据解码出表示在根据更新后的所述参照图像列表生成所述对象区域的预测信号时使用的所述参照图像的参照图像编号,
在所述预测信号生成步骤中,使用由解码后的所述参照图像编号表示的所述参照图像来生成所述对象区域的预测信号。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008-241128 | 2008-09-19 | ||
JP2008241128 | 2008-09-19 | ||
JP2009-104084 | 2009-04-22 | ||
JP2009104084A JP5680283B2 (ja) | 2008-09-19 | 2009-04-22 | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム |
PCT/JP2009/065945 WO2010032693A1 (ja) | 2008-09-19 | 2009-09-11 | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102027746A CN102027746A (zh) | 2011-04-20 |
CN102027746B true CN102027746B (zh) | 2014-03-26 |
Family
ID=42039517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980116976.2A Expired - Fee Related CN102027746B (zh) | 2008-09-19 | 2009-09-11 | 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9277238B2 (zh) |
EP (2) | EP2838269A1 (zh) |
JP (1) | JP5680283B2 (zh) |
CN (1) | CN102027746B (zh) |
TW (1) | TWI548265B (zh) |
WO (1) | WO2010032693A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5680283B2 (ja) | 2008-09-19 | 2015-03-04 | 株式会社Nttドコモ | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム |
JP5368631B2 (ja) * | 2010-04-08 | 2013-12-18 | 株式会社東芝 | 画像符号化方法、装置、及びプログラム |
JP5982734B2 (ja) | 2011-03-11 | 2016-08-31 | ソニー株式会社 | 画像処理装置および方法 |
JP2012253722A (ja) * | 2011-06-07 | 2012-12-20 | Sony Corp | 画像符号化装置と画像復号装置およびその方法とプログラム |
KR101442127B1 (ko) | 2011-06-21 | 2014-09-25 | 인텔렉추얼디스커버리 주식회사 | 쿼드트리 구조 기반의 적응적 양자화 파라미터 부호화 및 복호화 방법 및 장치 |
JP5698644B2 (ja) * | 2011-10-18 | 2015-04-08 | 株式会社Nttドコモ | 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム |
US20130101014A1 (en) * | 2011-10-25 | 2013-04-25 | Microsoft Corporation | Layered Screen Video Encoding |
JP6120490B2 (ja) * | 2011-11-07 | 2017-04-26 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
RU2589297C9 (ru) * | 2011-12-28 | 2017-01-23 | ДжейВиСи КЕНВУД КОРПОРЕЙШН | Устройство декодирования движущегося изображения и способ декодирования движущегося изображения |
ES2832573T3 (es) | 2012-01-19 | 2021-06-10 | Electronics & Telecommunications Res Inst | Método para codificación/decodificación de imágenes |
US9729870B2 (en) * | 2012-01-31 | 2017-08-08 | Apple Inc. | Video coding efficiency with camera metadata |
JP5798539B2 (ja) * | 2012-09-24 | 2015-10-21 | 株式会社Nttドコモ | 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法 |
CN102970542B (zh) * | 2012-11-30 | 2015-06-10 | 上海晨思电子科技有限公司 | 一种视频数据转换的方法、装置和智能电视 |
KR101410837B1 (ko) * | 2013-09-10 | 2014-06-24 | 이에스이 주식회사 | 비디오 메모리의 모니터링을 이용한 영상 처리 장치 |
CN104967453B (zh) * | 2015-06-24 | 2018-01-05 | 西北工业大学 | 基于fpga的多路循环数据压缩器和解压缩器以及方法 |
CN104933670B (zh) * | 2015-07-02 | 2018-06-15 | 北京电子工程总体研究所 | 一种图像像素数据的存储方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1545813A (zh) * | 2002-04-26 | 2004-11-10 | 株式会社Ntt都科摩 | 图象编码装置、图象译码装置、图象编码方法、图象译码方法、图象编码程序和图象译码程序 |
CN101039423A (zh) * | 2002-07-15 | 2007-09-19 | 株式会社日立制作所 | 动态图像编码方法及解码方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60235528A (ja) * | 1984-05-08 | 1985-11-22 | Canon Inc | デ−タ圧縮方式 |
US5767911A (en) * | 1994-12-20 | 1998-06-16 | Matsushita Electric Industrial Co., Ltd. | Object-based digital image predictive coding transfer method and apparatus, and decoding apparatus |
CN1155259C (zh) | 1996-11-26 | 2004-06-23 | 松下电器产业株式会社 | 运动图象可变比特率编码装置和编码方法 |
WO2002052508A2 (en) * | 2000-12-22 | 2002-07-04 | Anthropics Technology Limited | Image processing system |
US6909807B2 (en) * | 2001-06-28 | 2005-06-21 | Intel Corporation | Compression and synthesis of two dimensional images |
US6977659B2 (en) * | 2001-10-11 | 2005-12-20 | At & T Corp. | Texture replacement in video sequences and images |
US7336803B2 (en) * | 2002-10-17 | 2008-02-26 | Siemens Corporate Research, Inc. | Method for scene modeling and change detection |
FR2852773A1 (fr) * | 2003-03-20 | 2004-09-24 | France Telecom | Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes |
JP4415186B2 (ja) * | 2004-05-17 | 2010-02-17 | カシオ計算機株式会社 | 動画像符号化装置、動画像復号化装置、コーデック装置、および、プログラム |
US7671894B2 (en) * | 2004-12-17 | 2010-03-02 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for processing multiview videos for view synthesis using skip and direct modes |
JP2008544766A (ja) * | 2005-05-12 | 2008-12-11 | ブラッコ イメージング エス.ピー.エー. | デジタル画像のピクセルまたはボクセルをコーディングするための方法、およびデジタル画像を処理するための方法 |
CA2642491A1 (en) * | 2006-02-13 | 2007-08-23 | Kabushiki Kaisha Toshiba | Video encoding/decoding method and apparatus and program |
EP2041982A2 (en) * | 2006-07-11 | 2009-04-01 | Thomson Licensing | Methods and apparatus using virtual reference pictures |
JP5680283B2 (ja) | 2008-09-19 | 2015-03-04 | 株式会社Nttドコモ | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム |
-
2009
- 2009-04-22 JP JP2009104084A patent/JP5680283B2/ja not_active Expired - Fee Related
- 2009-09-11 EP EP20140185705 patent/EP2838269A1/en not_active Ceased
- 2009-09-11 CN CN200980116976.2A patent/CN102027746B/zh not_active Expired - Fee Related
- 2009-09-11 EP EP09814538.6A patent/EP2352295B1/en not_active Not-in-force
- 2009-09-11 WO PCT/JP2009/065945 patent/WO2010032693A1/ja active Application Filing
- 2009-09-17 TW TW098131397A patent/TWI548265B/zh not_active IP Right Cessation
-
2011
- 2011-03-18 US US13/051,768 patent/US9277238B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1545813A (zh) * | 2002-04-26 | 2004-11-10 | 株式会社Ntt都科摩 | 图象编码装置、图象译码装置、图象编码方法、图象译码方法、图象编码程序和图象译码程序 |
CN101039423A (zh) * | 2002-07-15 | 2007-09-19 | 株式会社日立制作所 | 动态图像编码方法及解码方法 |
Non-Patent Citations (3)
Title |
---|
Gianfranco Doretto 等.Spatially Homogeneous Dynamic Textures.《ECCV 2004, LNCS 3022》.2004,591-602. * |
JP昭60-235528A 1985.11.22 |
JP特开2005-328457A 2005.11.24 |
Also Published As
Publication number | Publication date |
---|---|
WO2010032693A1 (ja) | 2010-03-25 |
CN102027746A (zh) | 2011-04-20 |
EP2352295B1 (en) | 2014-11-12 |
EP2352295A1 (en) | 2011-08-03 |
US20110222601A1 (en) | 2011-09-15 |
TW201016021A (en) | 2010-04-16 |
EP2352295A4 (en) | 2012-03-28 |
EP2838269A1 (en) | 2015-02-18 |
JP2010098710A (ja) | 2010-04-30 |
US9277238B2 (en) | 2016-03-01 |
TWI548265B (zh) | 2016-09-01 |
JP5680283B2 (ja) | 2015-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102027746B (zh) | 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法 | |
CN103024382B (zh) | 动态图像编码装置、方法以及动态图像解码装置、方法 | |
CN102017637B (zh) | 图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法以及图像预测解码程序 | |
CN107105283B (zh) | 动态图像预测解码装置及方法 | |
CN102227911B (zh) | 图像预测编码装置和方法、图像预测解码装置和方法、以及编码/解码系统和方法 | |
US8625916B2 (en) | Method and apparatus for image encoding and image decoding | |
CN102132566B (zh) | 图像加工装置及方法、动态图像编码装置及方法、动态图像解码装置及方法、以及编码解码系统和方法 | |
EP1523196A2 (en) | Encoding system of motion image containing arbitrary object | |
CN102301691A (zh) | 图像编码装置、方法和程序以及图像解码装置、方法和程序 | |
CN105245875A (zh) | 图像解码装置、图像解码方法、接收装置及接收方法 | |
CN101218829A (zh) | 动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序 | |
JP2007518367A (ja) | マッチング追跡を用いたデータ圧縮 | |
US20040264573A1 (en) | Method and apparatus for coding motion information | |
CN101584215A (zh) | 综合空时预测 | |
KR20110081200A (ko) | 화소 예측치 생성 순서 자동 생성 방법, 화상 부호화 방법, 화상 복호 방법, 그 장치, 그 프로그램 및 그 프로그램을 기록한 기록 매체 | |
CN103119942A (zh) | 图像预测编码装置、图像预测编码方法、图像预测编码程序、图像预测解码装置、图像预测解码方法及图像预测解码程序 | |
CN100593338C (zh) | 运动图像编码装置及方法、运动图像译码装置及方法 | |
JP2006523390A (ja) | オーバーコンプリート基底変換ベースの、動き残差フレーム符号化方法およびビデオ圧縮用装置 | |
KR20000052551A (ko) | 동화상 부호방법 및 부호장치와 동화상 부호 프로그램을기록하는 기록매체 | |
JP6426648B2 (ja) | 動画像予測復号方法及び動画像予測復号装置 | |
CN103299635A (zh) | 图像预测编码装置、图像预测编码方法、图像预测编码程序,图像预测解码装置、图像预测解码方法以及图像预测解码程序 | |
JP5375697B2 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、及びプログラム | |
CN100574450C (zh) | 动画图象编码方法和动画图象编码装置 | |
CN107343391A (zh) | 通过向量量化对图像进行编码 | |
CN107409216A (zh) | 图像编码和解码方法、编码和解码设备以及相应的计算机程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140326 Termination date: 20190911 |
|
CF01 | Termination of patent right due to non-payment of annual fee |