CN102497551A - 动态图像编码装置及方法、动态图像解码装置及方法 - Google Patents
动态图像编码装置及方法、动态图像解码装置及方法 Download PDFInfo
- Publication number
- CN102497551A CN102497551A CN2011104017563A CN201110401756A CN102497551A CN 102497551 A CN102497551 A CN 102497551A CN 2011104017563 A CN2011104017563 A CN 2011104017563A CN 201110401756 A CN201110401756 A CN 201110401756A CN 102497551 A CN102497551 A CN 102497551A
- Authority
- CN
- China
- Prior art keywords
- filter
- image
- field picture
- decoding
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明在按照各帧使用滤波器生成分数像素精度的参照图像来进行移动补偿从而进行编码和解码的情况下,可在减少滤波器系数的符号量的同时,对在水平方向和垂直方向具有不同特性的影像进行高精度的移动补偿。本发明的动态图像编码装置针对帧图像的以时间序列构成的动态图像,按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,其特征在于,该动态图像编码装置具有:滤波器信息存储部,其存储在过去的帧图像的编码中使用的滤波器;滤波器决定部,其从至少包含存储在滤波器信息存储部内的滤波器的多个滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器;以及滤波器信息编码部,其对表示所决定的滤波器的信息进行编码。
Description
本申请是原案申请号为No.200780044023.0的发明专利申请(国际申请号:PCT/JP2007/072951,申请日:2007年11月28日,发明名称:动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序)的分案申请。
技术领域
本发明涉及动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序。
背景技术
在使用移动补偿的动态图像编码方式中,使用存储在帧存储器内的过去已编码的参照图像来进行编码对象图像的移动检测,并使用检测出的移动矢量来根据参照图像生成移动补偿图像(预测图像)。此时,通过使参照图像的精度从本来存在于参照图像内的像素单位的精度(整数像素精度)变为位于参照图像的邻接像素间的像素单位的精度(分数像素精度),能以高精度补偿编码对象图像的移动,可提高编码效率。
在国际电信联盟(International Telecommunication Union)“Advanced Video Coding for Generic audiovisual services(通用音视频服务的先进视频编码)”记载的H.264编码方式中,通过使用1/4像素精度的参照图像来进行移动检测和移动补偿,实现了高的编码效率。
具体地说,首先通过对整数像素精度的参照图像施加系数(1、-5、20、20、-5、1)/32的6抽头滤波器来生成1/2像素精度的参照图像。然后,通过对1/2像素精度的参照图像施加系数(1、1)/2的2抽头的平均值滤波器来生成1/4像素精度的参照图像。
使用图1来详细说明H.264编码方式中的1/4像素精度的参照图像的生成法。图 1是具有1/4像素精度的参照图像的像素的配置图。位于2个整数像素信号的水平方向的中间位置的1/2像素信号是通过水平方向的6抽头滤波器来生成的。例如,像素b是通过对整数像素E、F、G、H、I、J施加水平方向的6抽头滤波器按下式(1)计算的。
b=(E-5F+20G+20H-5I+J)/32 …(1)
并且,位于2个整数像素信号的垂直方向的中间位置的1/2像素信号是通过垂直方向的6抽头滤波器来生成的。例如,像素h是通过对整数像素A、C、G、M、R、T施加垂直方向的6抽头滤波器按下式(2)计算的。
h=(A-5C+20G+20M-5R+T)/32 …(2)
位于4个整数像素信号的中间位置的1/2像素信号是通过在水平和垂直的双方施加6抽头滤波器来生成的。例如,像素j是在通过水平方向的6抽头滤波器生成了1/2像素信号aa、bb、b、s、gg、hh之后,通过对这些信号施加垂直方向的6抽头滤波器按下式(3)计算的。
j=(aa-5bb+20b+20s-5gg+hh)/32 …(3)
或者,可以在通过垂直方向滤波而生成了1/2像素信号cc、dd、h、m、ee、ff之后,通过水平方向滤波按下式(4)生成像素j。
j=(cc-5dd+20h+20m-5ee+ff)/32 …(4)
然后,在计算出全部1/2像素信号之后,使用平均值滤波器来生成1/4像素信号。图1的像素a、c、i、k是通过对邻接的整数像素信号或1/2像素信号施加水平方向的平均值滤波器来生成的。例如,像素a是通过下式(5)来计算的。
a=(G+b)/2 …(5)
像素d、f、n、q是通过对邻接的整数像素信号或1/2像素信号施加垂直方向的平均值滤波器来生成的。例如,像素f是通过下式(6)来计算的。
f=(b+j)/2 …(6)
像素e、g、p、r是通过施加倾斜方向的平均值滤波器来计算的。例如,像素r是通过下式(7)来计算的。
r=(m+s)/2 …(7)
这样,在H.264编码方式中,总是使用固定的6抽头滤波器和2抽头平均值滤波器来根据整数像素精度的参照图像生成1/4像素精度的参照图像。
另一方面,一般影像按各帧具有不同的像素精度的移动量和频率特性,因而优选的是按各帧使用不同的滤波器来生成分数像素精度的参照图像。
在下述非专利文献1中,公开了按各帧使用不同的滤波器来生成1/4像素精度的参照图像。具体地说,按分数像素精度的各位置(图1中的a、b、c、d、e、f、g、h、i、j、k、n、p、q、r的位置),准备对水平和垂直方向的对象性有限制的二维6抽头滤波器,通过对整数像素精度的参照图像施加各滤波器来直接生成1/4像素精度的参照图像。在该情况下,由于用于生成1/4像素精度的参照图像的滤波器是按各帧来变更的,因而有必要按照各帧对54个滤波器系数的信息进行编码和解码。
并且,在下述非专利文献2中,生成1/2像素精度的参照图像的滤波器是按各帧来变更的。具体地说,使用(a1、a2、a3、a3、a2、a1)这样的滤波器系数的一维对称形6抽头滤波器,根据整数像素精度的参照图像生成1/2像素精度的参照图像。1/4像素精度的参照图像与H.264编码方式一样,是对1/2像素精度的参照图像施加系数(1、1)/2的2抽头平均值滤波器来生成的。由于用于按各帧生成1/2像素精度的参照图像的滤波器系数不同,因而有必要按照各帧对3个滤波器系数(a1、a2、a3)的信息进行编码和解码。
非专利文献1:Y.Vatis,B.Elder,D.Nguyen,J.Ostermann,“Motion-and Aliasing-Compensated Prediction Using a Two-Dimensional Non-Separable Adaptive Wiener Interpolation Filter”,Proc.ICIP2005,IEEE International Conference on Image Processing,Genova,Italy,September 2005.
非专利文献2:T.Wedi,“Adaptive Interpolation Filter for Motion Compensated Hybrid Video Coding”,Picture Coding Symposium(PCS 2001),2001.
在H.264编码方式中,由于总是使用固定的滤波器来生成分数像素精度的参照图像,因而不能生成与要编码的各帧的特征相符的参照图像。在非专利文献1中,由于对按照要编码的各帧生成1/4像素精度的参照图像的54个滤波器系数进行编码,因而滤波器系数的信息增多,具有编码效率下降的问题。在非专利文献2中,由于仅对按照要编码的各帧生成1/2像素信号的3个滤波器系数进行编码即可,因而与非专利文献1相比滤波器系数的编码量少,然而仍然有必要对滤波器系数进行编码。并且,由于非专利文献1和非专利文献2都是关于水平和垂直方向对称的滤波器,因而具有不能对在水平和垂直方向具有不同特性的影像进行高精度的移动补偿的问题。
发明内容
本发明是鉴于以上方面而作成的,本发明的目的是提供一种在按照要编码的各帧使用滤波器生成分数像素精度的参照图像来进行移动补偿从而进行编码和解码的情况下,可在减少滤波器系数的符号量的同时,对在水平方向和垂直方向具有不同特性的影像进行高精度的移动补偿的动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序。
本发明的动态图像编码装置针对帧图像的以时间序列构成的动态图像,按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,其特征在于,该动态图像编码装置具有:滤波器信息存储单元,其存储在过去的帧图像的编码中使用的滤波器;滤波器决定单元,其从至少包含由滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器;以及滤波器信息编码单元,其对表示由滤波器决定单元所决定的滤波器的信息进行编码。
并且,本发明的动态图像编码方法由动态图像编码装置针对帧图像的以时间序列构成的动态图像,按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,其特征在于,该动态图像编码方法具有:滤波器信息存储步骤,其由动态图像编码装置存储在过去的帧图像的编码中使用的滤波器;滤波器决定步骤,其由动态图像编码装置从至少包含在滤波器信息存储步骤中所存储的滤波器在内的多个滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器;以及滤波器信息编码步骤,其由动态图像编码装置对表示在滤波器决定步骤中所决定的滤波器的信息进行编码。
并且,本发明的动态图像编码程序使计算机执行功能,以便针对帧图像的以时间序列构成的动态图像,按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,其特征在于,该动态图像编码程序使计算机发挥以下单元的功能:滤波器信息存储单元,其存储在过去的帧图像的编码中使用的滤波器;滤波器决定单元,其从至少包含由滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器;以及滤波器信息编码单元,其对表示由滤波器决定单元所决定的滤波器的信息进行编码。
根据这种动态图像编码装置、动态图像编码方法以及动态图像编码程序,在按照 各帧使用滤波器生成分数像素精度的参照图像来进行移动补偿从而进行编码的情况下,从至少包含在过去的帧图像的编码中使用的滤波器在内的多个滤波器候选中选择并决定滤波器。因此,只需对表示在过去的帧图像的编码中使用的滤波器的信息进行编码就够了。结果,可减少滤波器系数的符号量。并且,由于可将多种滤波器用于生成分数像素精度的参照图像,因而能进行高精度的移动补偿。
在本发明的动态图像编码装置中,优选的是,滤波器信息编码单元在由滤波器决定单元所决定的滤波器是在过去的帧图像的编码中使用的滤波器的情况下,对表示是该滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行编码。
并且,在本发明的动态图像编码方法中,优选的是,在滤波器决定步骤中所决定的滤波器是在过去的帧图像的编码中使用的滤波器的情况下,滤波器信息编码步骤对表示是该滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行编码。
在该情况下,当在过去的帧图像的编码中使用的滤波器被决定为在当前的帧图像的编码中使用的滤波器时,对表示是在过去的帧图像的编码中使用的滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行编码。即,只需对这些标识符进行编码就够了,无需对滤波器系数进行编码。结果,可减少滤波器系数的符号量。
在本发明的动态图像编码装置中,优选的是,滤波器信息存储单元在有多个参照图像的情况下,按照各参照图像存储在过去的帧图像的编码中使用的滤波器,滤波器决定单元在有多个参照图像的情况下,从至少包含由滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中,按照各参照图像选择在当前的帧图像的编码中使用的滤波器。
并且,在本发明的动态图像编码方法中,优选的是,在滤波器信息存储步骤中,在有多个参照图像的情况下,按照各参照图像存储在过去的帧图像的编码中使用的滤波器,在滤波器决定步骤中,在有多个参照图像的情况下,从至少包含在滤波器信息存储步骤中所存储的滤波器在内的多个滤波器候选中,按照各参照图像选择在当前的帧图像的编码中使用的滤波器。
在该情况下,当存在多个参照图像时,按照各参照图像选择在当前的帧图像的编码中使用的滤波器,因而能按照各参照图像使用不同的滤波器生成分数像素精度的参照图像来进行移动补偿从而进行编码。因此,即使在要编码的帧图像针对各参照图像 具有不同的像素精度的移动量和频率特性的情况下,也能进行高精度的移动补偿。
在本发明的动态图像编码装置中,优选的是,滤波器信息编码单元在有多个参照图像、且由滤波器决定单元所决定的滤波器是在过去的帧图像的编码中使用的滤波器的情况下,按照各参照图像,对表示是该滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的滤波器信息的标识符进行编码。
并且,在本发明的动态图像编码方法中,优选的是,在滤波器信息编码步骤中,在有多个参照图像、且在滤波器决定步骤中所决定的滤波器是在过去的帧图像的编码中使用的滤波器的情况下,按照各参照图像,对表示是该滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的滤波器信息的标识符进行编码。
在该情况下,当在过去的帧图像的编码中使用的滤波器被决定为在当前的帧图像的编码中使用的滤波器时,对表示是在过去的帧图像的编码中使用的滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行编码。即,只需对这些标识符进行编码就够了,无需对滤波器系数进行编码。结果,可减少滤波器系数的符号量。并且,由于按照各参照图像执行该编码,因而即使在要编码的帧图像针对各参照图像具有不同的像素精度的移动量和频率特性的情况下,也能进行高精度的移动补偿。
本发明的动态图像编码装置针对帧图像的以时间序列构成的动态图像,按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,其特征在于,该动态图像编码装置具有:滤波器信息存储单元,其存储在前一帧的帧图像的编码中使用的滤波器;滤波器决定单元,其从至少包含由滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器;以及滤波器信息编码单元,其对表示由滤波器决定单元所决定的滤波器的信息进行编码。
并且,本发明的动态图像编码方法由动态图像编码装置针对帧图像的以时间序列构成的动态图像,按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,其特征在于,该动态图像编码方法具有:滤波器信息存储步骤,其由动态图像编码装置存储在前一帧的帧图像的编码中使用的滤波器;滤波器决定步骤,其由动态图像编码装置从至少包含在滤波器信息存储步骤中所存储的滤波器在内的多个滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器;以及滤波器信息编码步骤,其由动态图像编码装置对表示在滤波器决定步骤中所决定的滤波器的信息进行编码。
根据这种动态图像编码装置和动态图像编码方法,在按照各帧使用滤波器生成分数像素精度的参照图像来进行移动补偿从而进行编码的情况下,从至少包含在前一帧的帧图像的编码中使用的滤波器在内的多个滤波器候选中选择并决定滤波器。因此,在所决定的滤波器是在前一帧的帧图像的编码中使用的滤波器的情况下,只需对表示在前一帧的帧图像的编码中使用的滤波器的信息进行编码就够了。结果,可减少滤波器系数的符号量。
在本发明的动态图像编码装置中,优选的是,滤波器信息编码单元在由滤波器决定单元所决定的滤波器是在前一帧的帧图像的编码中使用的滤波器的情况下,对表示是该滤波器的标识符进行编码。
并且,在本发明的动态图像编码方法中,优选的是,在滤波器决定步骤中所决定的滤波器是在前一帧的帧图像的编码中使用的滤波器的情况下,滤波器信息编码步骤对表示是该滤波器的标识符进行编码。
在该情况下,当在前一帧的帧图像的编码中使用的滤波器被决定为在当前的帧图像的编码中使用的滤波器时,对表示是在前一帧的帧图像的编码中使用的滤波器的标识符进行编码。即,只需对该标识符进行编码就够了,无需对滤波器系数进行编码。结果,可减少滤波器系数的符号量。
在本发明的动态图像编码装置中,优选的是,滤波器信息存储单元在有多个参照图像的情况下,按照各参照图像存储在前一帧的帧图像的编码中使用的滤波器,滤波器决定单元在有多个参照图像的情况下,从至少包含由滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中,按照各参照图像选择在当前的帧图像的编码中使用的滤波器。
并且,在本发明的动态图像编码方法中,优选的是,在滤波器信息存储步骤中,在有多个参照图像的情况下,按照各参照图像存储在前一帧的帧图像的编码中使用的滤波器,在滤波器决定步骤中,在有多个参照图像的情况下,从至少包含在滤波器信息存储步骤中所存储的滤波器在内的多个滤波器候选中,按照各参照图像选择在当前的帧图像的编码中使用的滤波器。
在该情况下,当存在多个参照图像时,按照各参照图像选择在当前的帧图像的编码中使用的滤波器,因而能按照各参照图像使用不同的滤波器生成分数像素精度的参照图像来进行移动补偿从而进行编码。因此,即使在要编码的帧图像针对各参照图像 具有不同的像素精度的移动量和频率特性的情况下,也能进行高精度的移动补偿。
在本发明的动态图像编码装置中,优选的是,滤波器信息编码单元在有多个所述参照图像、且由滤波器决定单元所决定的滤波器是在前一帧的帧图像的编码中使用的滤波器的情况下,按照各参照图像,对表示是该滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的滤波器信息的标识符进行编码。
并且,在本发明的动态图像编码方法中,优选的是,在滤波器信息编码步骤中,在有多个参照图像、且在滤波器决定步骤中所决定的滤波器是在前一帧的帧图像的编码中使用的滤波器的情况下,按照各参照图像,对表示是该滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的滤波器信息的标识符进行编码。
在该情况下,当在前一帧的帧图像的编码中使用的滤波器被决定为在当前的帧图像的编码中使用的滤波器时,对表示所决定的滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的滤波器信息的标识符进行编码。这样只需对两个标识符进行编码就够了,因而无需对滤波器系数进行编码。结果,可减少滤波器系数的符号量。并且,由于按照各参照图像执行该编码,因而即使在要编码的帧图像针对各参照图像具有不同的像素精度的移动量和频率特性的情况下,也能进行高精度的移动补偿。
在本发明的动态图像编码装置中,滤波器决定单元从还包含在水平和垂直方向独立的非对称形滤波器在内的滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器。
并且,在本发明的动态图像编码方法中,滤波器决定步骤从还包含在水平和垂直方向独立的非对称形滤波器在内的滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器。
在该情况下,由于滤波器候选内还包含有在水平和垂直方向独立的非对称形滤波器,因而当该非对称形滤波器被决定为在当前的帧图像的编码中使用的滤波器时,能以少的滤波器系数的符号量对在水平方向和垂直方向具有不同特性的影像进行高精度的移动补偿。
在本发明的动态图像编码装置中,优选的是,滤波器信息编码单元在由滤波器决定单元所决定的滤波器是非对称形滤波器的情况下,对表示是该非对称形滤波器的标识符和该非对称形滤波器的滤波器系数进行编码。
在本发明的动态图像编码方法中,优选的是,在滤波器决定步骤中所决定的滤波 器是非对称形滤波器的情况下,滤波器信息编码步骤对表示是该非对称形滤波器的标识符和该非对称形滤波器的滤波器系数进行编码。
在该情况下,当非对称形滤波器被决定为在当前的帧图像的编码中使用的滤波器时,对表示是在水平和垂直方向独立的非对称形滤波器的标识符和该滤波器的滤波器系数进行编码。因此,能以少的滤波器系数的符号量对在水平方向和垂直方向具有不同特性的影像进行高精度的移动补偿。
在本发明的动态图像编码装置中,优选的是,滤波器决定单元从还包含预定的基准滤波器在内的滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器。
并且,在本发明的动态图像编码方法中,优选的是,滤波器决定步骤从还包含预定的基准滤波器在内的滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器。
在该情况下,由于滤波器候选内还包含有基准滤波器,因而当该基准滤波器被决定为在当前的帧图像的编码中使用的滤波器时,只需对表示该基准滤波器的信息进行编码就够了。结果,可减少滤波器系数的符号量。
在本发明的动态图像编码装置中,优选的是,滤波器信息编码单元在由滤波器决定单元所决定的滤波器是基准滤波器的情况下,对表示该基准滤波器的标识符进行编码。
并且,在本发明的动态图像编码方法中,优选的是,在滤波器决定步骤中所决定的滤波器是基准滤波器的情况下,滤波器信息编码步骤对表示该基准滤波器的标识符进行编码。
在该情况下,在决定了基准滤波器的情况下,对表示该基准滤波器的标识符进行编码。即,只需对该标识符进行编码就够了,无需对滤波器系数进行编码。结果,可减少滤波器系数的符号量。
本发明的动态图像解码装置按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,对帧图像的以时间序列构成的动态图像进行解码,其特征在于,该动态图像解码装置具有:滤波器信息存储单元,其存储在过去的帧图像的解码中使用的滤波器;以及滤波器信息解码单元,其从至少包含由滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
并且,本发明的动态图像解码方法由动态图像解码装置按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,对帧图像的以时间序列构成的动态图像进行解码,其特征在于,该动态图像解码方法具有:滤波器信息存储步骤,其由动态图像解码装置存储在过去的帧图像的解码中使用的滤波器;以及滤波器信息解码步骤,其由动态图像解码装置从至少包含在滤波器信息存储步骤中所存储的滤波器在内的多个滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
并且,本发明的动态图像解码程序使计算机执行功能,以便按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,对帧图像的以时间序列构成的动态图像进行解码,其特征在于,该动态图像解码程序使计算机发挥以下单元的功能:滤波器信息存储单元,其存储在过去的帧图像的解码中使用的滤波器;以及滤波器信息解码单元,其从至少包含由滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
根据这种动态图像解码装置、动态图像解码方法以及动态图像解码程序,在按照各帧使用滤波器生成分数像素精度的参照图像来进行移动补偿并进行解码的情况下,从至少包含在过去的帧图像的解码中使用的滤波器在内的多个滤波器候选中选择滤波器。因此,只需对表示在过去的帧图像的解码中使用的滤波器的信息进行解码就够了。结果,可减少要解码的滤波器系数的符号量。并且,由于可将多种滤波器用于生成分数像素精度的参照图像,因而能进行高精度的移动补偿。
在本发明的动态图像解码装置中,优选的是,滤波器信息解码单元对表示是在过去的帧图像的解码中使用的滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行解码。
并且,在本发明的动态图像解码方法中,优选的是,滤波器信息解码步骤对表示是在过去的帧图像的解码中使用的滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行解码。
在该情况下,当在过去的帧图像的解码中使用的滤波器被选择为在当前的帧图像的解码中使用的滤波器时,对表示是在过去的帧图像的解码中使用的滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行解码。即,只需对这些标识符进行解码就够了,无需对滤波器系数进行解码。结果,可减少要解码的滤波器系数的符号量。
在本发明的动态图像解码装置中,优选的是,滤波器信息存储单元在有多个参照图像的情况下,按照各参照图像存储在过去的帧图像的解码中使用的滤波器。
并且,在本发明的动态图像解码方法中,优选的是,在滤波器信息存储步骤中,在有多个参照图像的情况下,按照各参照图像存储在过去的帧图像的解码中使用的滤波器。
在该情况下,当存在多个参照图像时,按照各参照图像存储在当前的帧图像的编码中使用的滤波器,因而能按照各参照图像使用不同的滤波器来对分数像素精度的参照图像进行移动补偿从而进行解码。结果,即使在要解码的帧图像针对各参照图像具有不同的像素精度的移动量和频率特性的情况下,也能进行高精度的移动补偿。
在本发明的动态图像解码装置中,优选的是,滤波器信息解码单元在有多个参照图像的情况下,按照各参照图像,对表示是在过去的帧图像的解码中使用的滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行解码。
并且,在本发明的动态图像解码方法中,优选的是,在滤波器信息解码步骤中,在有多个参照图像的情况下,按照各参照图像,对表示是在过去的帧图像的解码中使用的滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行解码。
在该情况下,当在过去的帧图像的解码中使用的滤波器被选择为在当前的帧图像的解码中使用的滤波器时,对表示是在过去的帧图像的解码中使用的滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行解码。即,只需对这些标识符进行解码就够了,无需对滤波器系数进行解码。结果,可减少要解码的滤波器系数的符号量。并且,由于按照各参照图像执行该解码,因而即使在要解码的帧图像针对各参照图像具有不同的像素精度的移动量和频率特性的情况下,也能进行高精度的移动补偿。
本发明的动态图像解码装置按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,对帧图像的以时间序列构成的动态图像进行解码,其特征在于,该动态图像解码装置具有:滤波器信息存储单元,其存储在前一帧的帧图像的解码中使用的滤波器;以及滤波器信息解码单元,其从至少包含由滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
并且,本发明的动态图像解码方法由动态图像解码装置按照各帧图像使用滤波器 生成分数像素精度的参照图像来进行移动补偿,对帧图像的以时间序列构成的动态图像进行解码,其特征在于,该动态图像解码方法具有:滤波器信息存储步骤,其由动态图像解码装置存储在前一帧的帧图像的解码中使用的滤波器;以及滤波器信息解码步骤,其由动态图像解码装置从至少包含在滤波器信息存储步骤中所存储的滤波器在内的多个滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
根据这种动态图像解码装置和动态图像解码方法,在按照各帧使用滤波器生成分数像素精度的参照图像来进行移动补偿从而进行解码的情况下,从至少包含在前一帧的帧图像的解码中使用的滤波器在内的多个滤波器候选中选择滤波器。因此,只需对表示在前一帧的帧图像的解码中使用的滤波器的信息进行解码就够了。结果,可减少要解码的滤波器系数的符号量。
在本发明的动态图像解码装置中,优选的是,滤波器信息解码单元对表示是在前一帧的帧图像的解码中使用的滤波器的标识符进行解码。
并且,在本发明的动态图像解码方法中,优选的是,滤波器信息解码步骤对表示是在前一帧的帧图像的解码中使用的滤波器的标识符进行解码。
在该情况下,当在前一帧的帧图像的解码中使用的滤波器被选择为在当前的帧图像的解码中使用的滤波器时,对表示是在前一帧的帧图像的解码中使用的滤波器的标识符进行解码。即,只需对该标识符进行解码就够了,无需对滤波器系数进行解码。结果,可减少要解码的滤波器系数的符号量。
在本发明的动态图像解码装置中,优选的是,滤波器信息存储单元在有多个参照图像的情况下,按照各参照图像存储在前一帧的帧图像的解码中使用的滤波器。
并且,在本发明的动态图像解码方法中,优选的是,在滤波器信息存储步骤中,在有多个参照图像的情况下,按照各参照图像存储在前一帧的帧图像的解码中使用的滤波器。
在该情况下,当存在多个参照图像时,按照各参照图像存储在前一帧的帧图像的解码中使用的滤波器,因而能按照各参照图像使用不同的滤波器来对分数像素精度的参照图像进行移动补偿从而进行解码。结果,即使在要解码的帧图像针对各参照图像具有不同的像素精度的移动量和频率特性的情况下,也能进行高精度的移动补偿。
在本发明的动态图像解码装置中,优选的是,滤波器信息解码单元在有多个参照图像的情况下,按照各参照图像,对表示是在前一帧的帧图像的解码中使用的滤波器 的标识符进行解码。
并且,在本发明的动态图像解码方法中,优选的是,在滤波器信息解码步骤中,在有多个参照图像的情况下,按照各参照图像,对表示是在前一帧的帧图像的解码中使用的滤波器的标识符进行解码。
在该情况下,当在前一帧的帧图像的解码中使用的滤波器被选择为在当前的帧图像的解码中使用的滤波器时,对表示是在前一帧的帧图像的解码中使用的滤波器的标识符进行解码。即,只需对该标识符进行解码就够了,无需对滤波器系数进行解码。结果,可减少要解码的滤波器系数的符号量。并且,由于按照各参照图像执行该解码,因而即使在要解码的帧图像针对各参照图像具有不同的像素精度的移动量和频率特性的情况下,也能进行高精度的移动补偿。
在本发明的动态图像解码装置中,优选的是,滤波器信息解码单元从还包含在水平和垂直方向独立的非对称形滤波器在内的滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
并且,在本发明的动态图像解码方法中,优选的是,滤波器信息解码步骤从还包含在水平和垂直方向独立的非对称形滤波器在内的滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
在该情况下,滤波器候选内还包含有在水平和垂直方向独立的非对称形滤波器。因此,当该非对称形滤波器被选择为在当前的帧图像的解码中使用的滤波器时,即使要解码的滤波器系数的符号量减少,也能对在水平方向和垂直方向具有不同特性的影像进行高精度的移动补偿。
在本发明的动态图像解码装置中,优选的是,滤波器信息解码单元对表示是非对称形滤波器的标识符和该非对称形滤波器的滤波器系数进行解码。
并且,在本发明的动态图像解码方法中,优选的是,滤波器信息解码步骤对表示是非对称形滤波器的标识符和该非对称形滤波器的滤波器系数进行解码。
在该情况下,当在水平和垂直方向独立的非对称形滤波器被选择为在当前的帧图像的解码中使用的滤波器时,对表示是该非对称形滤波器的标识符和该非对称形滤波器的滤波器系数进行解码。因此,即使要解码的滤波器系数的符号量减少,也能对在水平方向和垂直方向具有不同特性的影像进行高精度的移动补偿。
在本发明的动态图像解码装置中,优选的是,滤波器信息解码单元从还包含预定 的基准滤波器在内的滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
并且,在本发明的动态图像解码方法中,优选的是,滤波器信息解码步骤从还包含预定的基准滤波器在内的滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
在该情况下,由于滤波器候选内还包含有基准滤波器,因而当该基准滤波器被选择为在当前的帧图像的解码中使用的滤波器时,只需对表示该基准滤波器的信息进行解码就够了。结果,可减少要解码的滤波器系数的符号量。
在本发明的动态图像解码装置中,优选的是,滤波器信息解码单元对表示基准滤波器的标识符进行解码。
并且,在本发明的动态图像解码方法中,优选的是,滤波器信息解码步骤对表示基准滤波器的标识符进行解码。
在该情况下,当基准滤波器被选择为在当前的帧图像的解码中使用的滤波器时,对表示该基准滤波器的标识符进行解码。即,只需对该标识符进行解码就够了,无需对滤波器系数进行解码。结果,可减少要解码的滤波器系数的符号量。
根据这样的动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序,在按照各帧使用滤波器生成分数像素精度的参照图像来进行移动补偿从而进行编码和解码的情况下,可在减少滤波器系数的符号量的同时,对在水平方向和垂直方向具有不同特性的影像进行高精度的移动补偿。
附图说明
图1是具有1/4像素精度的参照图像的像素的配置图。
图2是示出第1实施方式涉及的动态图像编码装置的结构的框图。
图3是说明图2所示的滤波器决定部的框图。
图4是说明第1实施方式涉及的动态图像编码方法的流程图。
图5是说明图4所示的滤波器决定步骤的流程图。
图6是说明图4所示的滤波器信息编码步骤的流程图。
图7是示出第1实施方式涉及的动态图像编码程序的结构的图。
图8是示出第1实施方式涉及的动态图像解码装置的结构的框图。
图9是说明第1实施方式涉及的动态图像解码方法的流程图。
图10是说明图9所示的滤波器信息解码步骤的流程图。
图11是示出第1实施方式涉及的动态图像解码程序的结构的图。
图12是对第2实施方式中的编码对象的帧和参照帧的编码顺序进行说明的图。
图13是说明第2实施方式中的滤波器决定步骤的流程图。
图14是说明第2实施方式中的滤波器信息编码步骤的流程图。
图15是对第2实施方式中的解码对象的帧和参照帧的解码顺序进行说明的图。
图16是说明第2实施方式中的滤波器信息解码步骤的流程图。
标号说明
20:动态图像编码装置;70:动态图像编码程序;80:动态图像解码装置;110:动态图像解码程序;202:滤波器决定部(滤波器决定单元);203:滤波器信息存储部(滤波器信息存储单元);205:滤波器信息编码部(滤波器信息编码单元);703:滤波器决定模块;704:滤波器信息存储模块;706:滤波器信息编码模块;802:滤波器信息解码部(滤波器信息解码单元);803:滤波器信息存储部(滤波器信息存储单元);1103:滤波器信息解码模块;1104:滤波器信息存储模块;20201:滤波器系数决定部;20202:滤波器编码效率计算部;20203:滤波器编码效率计算部;20204:滤波器编码效率计算部;20205:编码效率比较部。
具体实施方式
(第1实施方式)
参照附图说明本发明的第1实施方式涉及的动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法以及动态图像解码程序。另外,在各图中,对同一要素附上同一标号而省略重复说明。
图2是示出本实施方式涉及的动态图像编码装置20的结构的框图。动态图像编码装置20构成为具有以下部分作为其功能的构成要素,即:输入部201、滤波器决定部(滤波器决定单元)202、滤波器信息存储部(滤波器信息存储单元)203、分数精度参照图像生成部204、滤波器信息编码部(滤波器信息编码单元)205、帧存储器206、帧图像编码/解码部207以及输出部208。
输入部201将从外部所输入的帧图像的以时间序列构成的输入影像信号209分解成编码对象的帧图像210,将其输出到滤波器决定部202和帧图像编码/解码部207。
帧存储器206保持有过去已解码的帧图像,并将这些帧图像作为参照图像211输出到滤波器决定部202和分数精度参照图像生成部204。
滤波器信息存储部203保持有为了在对前一帧的帧图像进行编码时生成分数精度的参照图像所使用的滤波器(前帧滤波器信息212)。前帧滤波器信息212由滤波器决定部202和分数精度参照图像生成部204参照。并且,前帧滤波器信息212由滤波器信息编码部205参照和更新。
滤波器决定部202使用从输入部201所输入的帧图像210和从帧存储器206所输入的参照图像211,在参照滤波器信息存储部203的前帧滤波器信息212的同时,决定生成用于对当前的编码对象的帧图像进行编码的分数精度的参照图像的滤波器信息213,将其输出到分数精度参照图像生成部204和滤波器信息编码部205。
滤波器信息编码部205使用从滤波器决定部202所输入的滤波器信息213,在参照滤波器信息存储部203的前帧滤波器信息212的同时,对滤波器信息213进行编码来生成滤波器信息编码比特流214,将其输出到输出部208。并且,滤波器信息编码部205使用从滤波器决定部所输入的滤波器信息213,将滤波器信息存储部203的前帧滤波器信息212更新成滤波器信息213。
分数精度参照图像生成部204使用从滤波器决定部202所输入的滤波器信息213和从帧存储器206所输入的参照图像211,生成分数精度参照图像215,将其输出到帧图像编码/解码部207。
帧图像编码/解码部207使用从输入部201所输入的帧图像210和从分数精度参照图像生成部204所输入的分数精度参照图像215来进行移动补偿,从而进行编码对象帧的编码,将帧图像编码比特流216输出到输出部208。并且,帧图像编码/解码部207对编码后的帧图像进行局部解码,将解码后的帧图像作为已解码的帧图像217输出到帧存储器206。
输出部208将从滤波器信息编码部205所输入的滤波器信息编码比特流214和从帧图像编码/解码部207所输入的帧图像编码比特流216合并来输出到外部。
下面,更详细地说明滤波器决定部202、滤波器信息存储部203、分数精度参照图像生成部204、滤波器信息编码部205以及输出部208。
使用图3来说明滤波器决定部202。滤波器决定部202构成为具有以下部分作为其功能的构成要素,即:第1滤波器系数决定部20201、第1滤波器编码效率计算部20202、第2滤波器编码效率计算部20203、第3滤波器编码效率计算部20204以及编码效率比较部20205。
第1滤波器系数决定部20201使用从输入部201所输入的帧图像210和从帧存储器206所输入的参照图像211,决定用于生成在水平和垂直方向独立且非对称形的1/2像素精度的参照图像的第1滤波器20206。第1滤波器是将其系数在水平方向(b1、b2、b3、b4、b5、b6)和垂直方向(h1、h2、h3、h4、h5、h6)(b1~b6和h1~h6是实数)设置各6抽头的一维滤波器。第1滤波器系数决定部20201将所决定的第1滤波器20206、帧图像210以及参照图像211输出到第1滤波器编码效率计算部20202。
详细说明第1滤波器20206的决定方法。第1滤波器系数决定部20201首先将系数b1~b6和h1~h6设定成规定值(既有系数间值不同的情况,也有多个系数为同一值的情况)。然后,第1滤波器系数决定部20201使用由所设定的系数定义的一维滤波器来对参照图像211进行滤波。然后,第1滤波器系数决定部20201使用帧图像210和滤波后的参照图像211来进行移动补偿,计算帧图像210与进行了移动补偿的图像的差分值。第1滤波器系数决定部20201在改变系数b1~b6和h1~h6的值的同时重复规定次数的这些处理,最终,将能计算出最小差分值的一维滤波器决定为第1滤波器20206。另外,第1滤波器20206的决定方法不限于此。
第1滤波器编码效率计算部20202使用从第1滤波器系数决定部20201所输入的第1滤波器20206、帧图像210以及参照图像211,利用第1滤波器根据参照图像211生成1/4像素精度的参照图像,计算当使用该参照图像来对帧图像210进行了编码时的符号量。
对使用第1滤波器根据参照图像211生成1/4像素精度的参照图像的方法进行说明。首先,第1滤波器编码效率计算部20202使用第1滤波器20206来生成参照图像211的1/2像素精度的参照图像。使用图1进行具体说明。像素b是通过对整数像素E、F、G、H、I、J施加水平方向的6抽头滤波器(b1、b2、b3、b4、b5、b6)按下式(8)计算的。
b=(b1xE+b2xF+b3xG+b4xH+b5xI+b6xJ) …(8)
像素h是通过对整数像素A、C、G、M、R、T施加垂直方向的6抽头滤波器(h1、 h2、h3、h4、h5、h6)按下式(9)计算的。
h=(h1xA+h2xC+h3xG+h4xM+h5xR+h6xT) …(9)
位于4个整数像素信号的中间位置的1/2像素信号是使用邻接的1/2像素信号的平均值来生成的。由此,像素j是通过计算1/2像素信号b、h、m、s的平均值按下式(10)计算的。
j=(b+h+m+s)/4 …(10)
然后,第1滤波器编码效率计算部20202根据1/2像素精度的参照图像生成1/4像素精度的参照图像。同样使用图1进行说明。像素a、c、i、k是通过对邻接的整数像素信号或1/2像素信号施加水平方向的平均值滤波器来生成的。
a=(G+b)/2 …(11)
c=(b+H)/2 …(12)
i=(h+j)/2 …(13)
k=(j+m)/2 …(14)
像素d、f、n、q是通过对邻接的整数像素信号或1/2像素信号施加垂直方向的平均值滤波器来生成的。
d=(G+h)/2 …(15)
f=(b+j)/2 …(16)
n=(h+M)/2 …(17)
q=(j+s)/2 …(18)
像素e、g、p、r是使用邻接的整数像素信号或1/2像素信号的平均值来生成的。
e=(G+b+h+j)/4 …(19)
g=(b+H+j+m)/4 …(20)
p=(h+j+M+s)/4 …(21)
r=(j+m+s+N)/4 …(22)
第1滤波器编码效率计算部20202计算使用所生成的1/4像素精度的参照图像来对帧图像进行了编码时的符号量、以及对第1滤波器的滤波器系数(b1、b2、b3、b4、b5、b6)和(h1、h2、h3、h4、h5、h6)进行了编码时的符号量的合计值S1。然后,第1滤波器编码效率计算部20202将第1滤波器和符号量S1作为第1滤波器信息20207输出到编码效率比较部20205。
第2滤波器编码效率计算部20203使用帧图像210和参照图像211并使用预先保持在第2滤波器编码效率计算部20203内的基准滤波器即第2滤波器,根据参照图像211生成1/4像素精度的参照图像,计算使用该参照图像来对帧图像210进行了编码时的符号量。上述基准滤波器是在水平和垂直方向相同且对称形的(1、-5、20、20、-5、1)/32的6抽头的一维滤波器。
对使用第2滤波器并根据参照图像211生成1/4像素精度的参照图像的方法进行说明。首先,第2滤波器编码效率计算部20203使用第2滤波器来生成参照图像211的1/2像素精度的参照图像。使用图1来具体说明。像素b是通过对整数像素E、F、G、H、I、J施加水平方向的基准滤波器按下式(23)计算的。
b=(E-5F+20G+20H-5I+J)/32 …(23)
像素h是通过对整数像素A、C、G、M、R、T施加垂直方向的基准滤波器按下式(24)计算的。
h=(A-5C+20G+20M-5R+T)/32 …(24)
位于4个整数像素信号的中间位置的1/2像素信号是通过在水平和垂直的双方施加6抽头滤波器来生成的。像素j是在通过水平方向的6抽头滤波器生成了1/2像素信号aa、bb、b、s、gg、hh之后,通过对这些信号施加垂直方向的6抽头滤波器按下式(25)计算的。
j=(aa-5bb+20b+20s-5gg+hh)/32 …(25)
或者,可以在通过垂直方向滤波生成了1/2像素信号cc、dd、h、m、ee、ff之后,通过水平方向滤波按下式(26)生成像素j。
j=(cc-5dd+20h+20m-5ee+ff)/32 …(26)
然后,第2滤波器编码效率计算部20203根据1/2像素精度的参照图像生成1/4像素精度的参照图像。同样使用图1进行说明。像素a、c、i、k是通过对邻接的整数像素信号或1/2像素信号施加水平方向的平均值滤波器来生成的。
a=(G+b)/2 …(27)
c=(b+H)/2 …(28)
i=(h+j)/2 …(29)
k=(j+m)/2 …(30)
像素d、f、n、q是通过对邻接的整数像素信号或1/2像素信号施加垂直方向的平 均值滤波器来生成的。
d=(G+h)/2 …(31)
f=(b+j)/2 …(32)
n=(h+M)/2 …(33)
q=(j+s)/2 …(34)
像素e、g、p、r是施加倾斜方向的平均值滤波器来计算的。
e=(b+h)/2 …(35)
g=(b+m)/2 …(36)
p=(h+s)/2 …(37)
r=(m+s)/2 …(38)
第2滤波器编码效率计算部20203计算使用所生成的1/4像素精度的参照图像来对帧图像210进行了编码时的符号量S2。然后,第2滤波器编码效率计算部20203将符号量S2作为第2滤波器信息20208输出到编码效率比较部20205。
第3滤波器编码效率计算部20204参照滤波器信息存储部203内的前帧滤波器信息212,使用在对前一帧的帧图像进行编码时所使用的1/2像素精度的参照图像生成用的滤波器即第3滤波器,根据参照图像211生成1/4像素精度的参照图像,计算使用该参照图像来对帧图像210进行了编码时的符号量。
对使用第3滤波器并根据参照图像211生成1/4像素精度的参照图像的方法进行说明。首先,第3滤波器编码效率计算部20204使用在对前一帧的帧图像进行编码时所使用的1/2像素精度的参照图像生成用的滤波器即第3滤波器来生成参照图像211的1/2像素精度的参照图像。使用图1来具体说明。另外,假定第3滤波器是在水平方向(b1’、b2’、b3’、b4’、b5’、b6’)和垂直方向(h1’、h2’、h3’、h4’、h5’、h6’)(b1’~b6’和h1’~h6’是实数)设定的。像素b是通过对整数像素E、F、G、H、I、J施加水平方向的6抽头滤波器(b1’、b2’、b3’、b4’、b5’、b6’)按下式(39)计算的。
b=(b1’xE+b2’xF+b3’xG+b4’xH+b5’xI+b6’xJ) …(39)
像素h是通过对整数像素A、C、G、M、R、T施加垂直方向的6抽头滤波器(h1’、h2’、h3’、h4’、h5’、h6’)按下式(40)计算的。
h=(h1’xA+h2’xC+h3’xG+h4’xM+h5’xR+h6’xT) …(40)
位于4个整数像素信号的中间位置的1/2像素信号是使用邻接的1/2像素信号的平均值来生成的。由此,像素j是通过计算1/2像素信号b、h、m、s的平均值按下式(41)计算的。
j=(b+h+m+s)/4 …(41)
然后,第3滤波器编码效率计算部20204根据1/2像素精度的参照图像生成参照图像211的1/4像素精度的参照图像。同样使用图1具体进行说明。像素a、c、i、k是通过对邻接的整数像素信号或1/2像素信号施加水平方向的平均值滤波器来生成的。
a=(G+b)/2 …(42)
c=(b+H)/2 …(43)
i=(h+j)/2 …(44)
k=(j+m)/2 …(45)
像素d、f、n、q是通过对邻接的整数像素信号或1/2像素信号施加垂直方向的平均值滤波器来生成的。
d=(G+h)/2 …(46)
f=(b+j)/2 …(47)
n=(h+M)/2 …(48)
q=(j+s)/2 …(49)
像素e、g、p、r是使用邻接的整数像素信号或1/2像素信号的平均值来生成的。
e=(G+b+h+j)/4 …(50)
g=(b+H+j+m)/4 …(51)
p=(h+j+M+s)/4 …(52)
r=(j+m+s+N)/4 …(53)
第3滤波器编码效率计算部20204计算使用所生成的1/4像素精度的参照图像来对帧图像210进行了编码时的符号量S3。然后,第3滤波器编码效率计算部20204将符号量S3作为第3滤波器信息20209输出到编码效率比较部20205。
编码效率比较部20205使用从第1滤波器编码效率计算部20202所输入的第1滤波器信息20207、从第2滤波器编码效率计算部20203所输入的第2滤波器信息20208以及从第3滤波器编码效率计算部20204所输入的第3滤波器信息20209,选 择3个滤波器中符号量最少的滤波器,将该滤波器信息213输出到分数精度参照图像生成部204和滤波器信息编码部205。
具体地说,编码效率比较部20205将符号量S1、符号量S2以及符号量S3进行比较,选择符号量最少的滤波器。在S1的符号量最少的情况下,编码效率比较部20205将表示第1滤波器的标识符“1”以及第1滤波器的系数(b1、b2、b3、b4、b5、b6)和(h1、h2、h3、h4、h5、h6)作为滤波器信息213输出到分数精度参照图像生成部204和滤波器信息编码部205。并且,在S2的符号量最少的情况下,编码效率比较部20205将表示第2滤波器的标识符“2”作为滤波器信息213输出到分数精度参照图像生成部204和滤波器信息编码部205。并且,在S3的符号量最少的情况下,编码效率比较部20205将表示第3滤波器的标识符“3”作为滤波器信息213输出到分数精度参照图像生成部204和滤波器信息编码部205。
下面,详细说明分数精度参照图像生成部204。分数精度参照图像生成部204使用从帧存储器206所输入的参照图像211和从滤波器决定部202所输入的滤波器信息213,生成1/4像素精度的分数精度参照图像215。
当滤波器信息213内包含的滤波器的标识符是“1”时,分数精度参照图像生成部204使用滤波器信息213内包含的滤波器系数(b1、b2、b3、b4、b5、b6)和(h1、h2、h3、h4、h5、h6),根据上述式(8)~(22)生成1/4像素精度的分数精度参照图像215。当滤波器信息213内包含的滤波器的标识符是“2”时,分数精度参照图像生成部204使用在水平和垂直两方向都是基准滤波器的(1、-5、20、20、-5、1)/32,根据上述式(23)~(38)生成1/4像素精度的分数精度参照图像215。当滤波器信息213内包含的滤波器的标识符是“3”时,分数精度参照图像生成部204参照滤波器信息存储部203,使用前帧滤波器信息212即滤波器系数(b1’、b2’、b3’、b4’、b5’、b6’)和(h1’、h2’、h3’、h4’、h5’、h6’),根据上述式(39)~(53)生成1/4像素精度的分数精度参照图像215。
然后,分数精度参照图像生成部204将所生成的分数精度参照图像215输出到帧图像编码/解码部207。
下面,详细说明滤波器信息编码部205。滤波器信息编码部205首先对从滤波器决定部202所输入的滤波器信息213内包含的滤波器标识符进行编码。
然后,在滤波器标识符是“1”的情况下,滤波器信息编码部205对滤波器信息213 内包含的第1滤波器的滤波器系数(b1、b2、b3、b4、b5、b6)和(h1、h2、h3、h4、h5、h6)进行编码。此时,滤波器信息编码部205参照滤波器信息存储部203的前帧滤波器信息212,对各滤波器系数的值与前帧滤波器信息212的各滤波器系数的差分值进行编码。即,在前帧滤波器信息212的滤波器系数是水平方向(b1’、b2’、b3’、b4’、b5’、b6’)和垂直方向(h1’、h2’、h3’、h4’、h5’、h6’)的情况下,滤波器信息编码部205对水平方向(b1-b1’、b2-b2’、b3-b3’、b4-b4’、b5-b5’、b6-b6’)和垂直方向(h1-h1’、h2-h2’、h3-h3’、h4-h4’、h5-h5’、h6-h6’)的滤波器系数进行编码。
然后,滤波器信息编码部205将编码后的滤波器信息编码比特流214输出到输出部208。并且,滤波器信息编码部205在滤波器标识符是“1”的情况下,将滤波器信息存储部203的前帧滤波器信息更新成第1滤波器。在滤波器标识符是“2”的情况下,滤波器信息编码部205将滤波器信息存储部203的前帧滤波器信息212更新成第2滤波器(基准滤波器)。在滤波器标识符是“3”的情况下,滤波器信息编码部205将滤波器信息存储部203的前帧滤波器信息212更新成相同滤波器信息即第3滤波器。
输出部208按照要编码的各帧,在帧图像编码比特流216的前面插入滤波器信息编码比特流214来将2个比特流合并输出到外部。
下面,使用图4来说明本实施方式涉及的动态图像编码方法的动作。图4是说明本实施方式涉及的动态图像编码装置20的动作即动态图像编码方法的流程图。
首先,输入部201将从外部所输入的帧图像的以时间序列构成的输入影像信号209分解成编码对象的帧图像210(输入步骤S401)。
然后,滤波器决定部202使用帧图像210和参照图像211来决定用于生成分数精度的参照图像的滤波器信息213(滤波器决定步骤S402)。
然后,滤波器信息编码部205对滤波器信息213进行编码,生成滤波器信息编码比特流214(滤波器信息编码步骤S403)。
并且,滤波器信息编码部205将滤波器信息213作为前帧滤波器信息212存储到滤波器信息存储部203内(滤波器信息存储步骤S404)。
另一方面,分数精度参照图像生成部204使用滤波器信息213和参照图像211来生成分数精度参照图像215(分数精度参照图像生成步骤S405)。
然后,帧图像编码/解码部207使用帧图像210和分数精度参照图像215来进行 编码对象帧的编码,生成帧图像编码比特流216(帧图像编码/解码步骤S406)。
然后,帧图像编码/解码部207对编码后的帧图像进行局部解码,作为已解码的帧图像217存储到帧存储器206内(参照图像存储步骤S407)。
然后,输出部208将滤波器信息编码比特流214和帧图像编码比特流216合并来输出到外部(输出步骤S408)。
然后,判定全部帧图像的编码是否结束(步骤S409),在全部帧图像的编码结束的情况下(步骤S409;是),结束处理。在全部帧图像的编码未结束的情况下(步骤S409;否),对前帧滤波器信息212和参照图像211进行更新,重复从步骤S402起的处理。
下面,使用图5来详细说明滤波器决定步骤S402。图5是说明滤波器决定部202的动作即滤波器决定步骤S402的流程图。
首先,第1滤波器系数决定部20201使用帧图像210和参照图像211,决定用于生成在水平和垂直方向独立且非对称形的1/2像素精度的参照图像的第1滤波器20206(第1滤波器决定步骤S40201)。
然后,第1滤波器编码效率计算部20202使用第1滤波器系数20206和参照图像211,利用第1滤波器根据参照图像211生成1/4像素精度的参照图像,计算使用该参照图像来对帧图像210进行了编码时的符号量S1(第1滤波器编码效率计算步骤S40202)。
并且,第2滤波器编码效率计算部20203使用帧图像210、参照图像211以及预先保持在第2滤波器编码效率计算部20203内的基准滤波器即第2滤波器,根据参照图像211生成1/4像素精度的参照图像,计算使用该参照图像来对帧图像210进行了编码时的符号量S2(第2滤波器编码效率计算步骤S40203)。
并且,第3滤波器编码效率计算部20204使用在对前一帧的帧图像进行编码时所使用的1/2像素精度的参照图像生成用的滤波器即第3滤波器,根据参照图像211生成1/4像素精度的参照图像,计算使用该参照图像来对帧图像210进行了编码时的符号量S3(第3滤波器编码效率计算步骤S40204)。
然后,编码效率比较部20205将符号量S1、符号量S2以及符号量S3进行比较(编码效率比较步骤S40205)。在符号量最少的滤波器是第1滤波器的情况下,编码效率比较部20205将表示第1滤波器的标识符“1”以及第1滤波器的滤波器系数作为 滤波器信息213来输出(第1滤波器信息输出步骤S40206),结束处理。在所选择的滤波器是第2滤波器的情况下,编码效率比较部20205将表示第2滤波器的标识符“2”作为滤波器信息213来输出(第2滤波器信息输出步骤S40207),结束处理。在所选择的滤波器是第3滤波器的情况下,编码效率比较部20205将表示第3滤波器的标识符“3”作为滤波器信息213来输出(第3滤波器信息输出步骤S40208),结束处理。
下面,使用图6来详细说明滤波器信息编码步骤S403。图6是对滤波器信息编码部205的动作即滤波器信息编码步骤S403进行说明的流程图。
首先,滤波器信息编码部205对滤波器信息213内包含的滤波器的标识符进行编码(标识符编码步骤S40301)。
然后,当滤波器标识符是“1”时(步骤S40302;是),滤波器信息编码部205计算第1滤波器的各滤波器系数与对应的前帧滤波器信息212的滤波器系数的差分值(滤波器系数差分步骤S40303),对差分值进行编码(差分滤波器系数编码步骤S40304)。在滤波器标识符不是“1”的情况下(步骤S40302;否),不执行该滤波器系数差分步骤和差分滤波器系数编码步骤的处理。
然后,滤波器信息编码部205输出编码后的滤波器信息编码比特流214(滤波器信息编码比特流输出步骤S40305),结束处理。
下面,对用于使计算机发挥上述的动态图像编码装置20的功能的动态图像编码程序70进行说明。图7是示出动态图像编码程序70的结构的图。
如图7所示,动态图像编码程序70具有:将处理进行统一的主模块程序701、输入模块702、滤波器决定模块703、滤波器信息存储模块704、分数精度参照图像生成模块705、滤波器信息编码模块706、帧存储器707、帧图像编码/解码模块708以及输出模块709。输入模块702、滤波器决定模块703、滤波器信息存储模块704、分数精度参照图像生成模块705、滤波器信息编码模块706、帧存储器707、帧图像编码/解码模块708以及输出模块709由计算机执行的功能分别与对应的上述的输入部201、滤波器决定部202、滤波器信息存储部203、分数精度参照图像生成部204、滤波器信息编码部205、帧存储器206、帧图像编码/解码部207以及输出部208相同。
图8是示出本实施方式涉及的动态图像解码装置80的结构的框图。动态图像解码装置80构成为具有以下部分作为其功能的构成要素,即:输入部801、滤波器信息解码部(滤波器信息解码单元)802、滤波器信息存储部(滤波器信息存储单元) 803、分数精度参照图像生成部804、帧存储器805以及帧图像解码部806。
输入部801将从外部所输入的编码比特流807依次按各帧单位分离成滤波器信息编码比特流809和帧图像编码比特流808。输入部801将滤波器信息编码比特流809输出到滤波器信息解码部802。并且,输入部801将帧图像编码比特流808输出到帧图像解码部806。
滤波器信息存储部803保持有为了在对前一帧的帧图像进行解码时生成分数精度的参照图像所使用的滤波器(前帧滤波器信息810)。前帧滤波器信息810由滤波器信息解码部802参照和更新。
滤波器信息解码部802在参照滤波器信息存储部803内的前帧滤波器信息810的同时,对从输入部801所输入的滤波器信息编码比特流809进行解码来恢复滤波器信息811,输出到分数精度参照图像生成部804。
帧存储器805保持有过去已解码的帧图像,并将这些帧图像作为参照图像812输出到分数精度参照图像生成部804。
分数精度参照图像生成部804使用从滤波器信息解码部802所输入的滤波器信息811和从帧存储器805所输入的参照图像812,生成分数精度参照图像813,将其输出到帧图像解码部806。
帧图像解码部806使用从输入部801所输入的帧图像编码比特流808和从分数精度参照图像生成部804所输入的分数精度参照图像813来进行移动补偿,从而对帧图像进行解码。帧图像解码部806将解码后的已解码帧图像814输出到帧存储器206和外部。
下面,更详细地说明滤波器信息解码部802。滤波器信息解码部802首先根据从输入部801所输入的滤波器信息编码比特流809对滤波器标识符进行解码,从而进行恢复。
在滤波器标识符是“1”的情况下,滤波器信息解码部802接下来参照滤波器信息存储部803的前帧滤波器信息810来恢复各滤波器系数。首先,滤波器信息解码部802对各滤波器系数的值与前帧滤波器信息810的差分值进行解码。然后,滤波器信息解码部802将解码后的各值加上前帧滤波器信息810的滤波器系数来恢复滤波器。在前帧滤波器信息810的滤波器系数是水平方向(b1’、b2’、b3’、b4’、b5’、b6’)和垂直方向(h1’、h2’、h3’、h4’、h5’、h6’)、且由滤波器信息解码部802解码后的滤 波器系数的差分值是水平方向(b1-b1’、b2-b2’、b3-b3’、b4-b4’、b5-b5’、b6-b6’)和垂直方向(h1-h1’、h2-h2’、h3-h3’、h4-h4’、h5-h5’、h6-h6’)的情况下,恢复后的滤波器的滤波器系数为水平方向(b1、b2、b3、b4、b5、b6)和垂直方向(h1、h2、h3、h4、h5、h6)。
在滤波器标识符是“2”的情况下,滤波器信息解码部802恢复基准滤波器的滤波器系数即水平和垂直两方向都是(1、-5、20、20、-5、1)/32。在滤波器标识符是“3”的情况下,滤波器信息解码部802恢复前帧滤波器信息810的滤波器系数即水平方向(b1’、b2’、b3’、b4’、b5’、b6’)和垂直方向(h1’、h2’、h3’、h4’、h5’、h6’)。
滤波器信息解码部802将恢复后的标识符和滤波器系数即滤波器信息811输出到分数精度参照图像生成部804。并且,滤波器信息解码部802将滤波器信息存储部803内的前帧滤波器信息810更新成恢复后的滤波器系数。
下面,详细说明分数精度参照图像生成部804。分数精度参照图像生成部804使用从帧存储器805所输入的参照图像812和从滤波器信息解码部802所输入的滤波器信息811,生成1/4像素精度的分数精度参照图像813。
当滤波器信息811内包含的滤波器的标识符是“1”时,分数精度参照图像生成部804使用滤波器信息811内包含的滤波器系数(b1、b2、b3、b4、b5、b6)和(h1、h2、h3、h4、h5、h6),根据上述式(8)~(22)生成1/4像素精度的分数精度参照图像813。
当滤波器信息811内包含的滤波器的标识符是“2”时,分数精度参照图像生成部804使用滤波器信息811内包含的水平和垂直方向都是基准滤波器的(1、-5、20、20、-5、1)/32,根据上述式(23)~(38)生成1/4像素精度的分数精度参照图像813。
当滤波器信息811内包含的滤波器的标识符是“3”时,分数精度参照图像生成部804使用滤波器信息811内包含的滤波器系数(b1’、b2’、b3’、b4’、b5’、b6’)和(h1’、h2’、h3’、h4’、h5’、h6’),根据上述式(39)~(53)生成1/4像素精度的分数精度参照图像813。然后,分数精度参照图像生成部804将所生成的分数精度参照图像813输出到帧图像解码部806。
下面,使用图9来说明本实施方式涉及的动态图像解码方法的动作。图9是说明本实施方式涉及的动态图像解码装置80的动作即动态图像编码方法的流程图。
首先,输入部801将从外部所输入的编码比特流807依次按各帧单位分离成滤波器信息编码比特流809和帧图像编码比特流808(输入步骤S901)。
然后,滤波器信息解码部802对滤波器信息编码比特流809进行解码来恢复滤波器信息811(滤波器信息解码步骤S902)。
然后,滤波器信息解码部802将滤波器信息811作为前帧滤波器信息810存储到滤波器信息存储部803内(滤波器信息存储步骤S903)。
另一方面,分数精度参照图像生成部804使用滤波器信息811和参照图像812来生成分数精度参照图像813(分数精度参照图像生成步骤S904)。
然后,帧图像解码部806使用帧图像编码比特流808和分数精度参照图像813来进行移动补偿并对已解码的帧图像814进行解码(帧图像解码步骤S905)。
然后,帧图像解码部806将已解码的帧图像814存储到帧存储器805内(参照图像存储步骤S906)。
然后,判定全部帧图像的解码是否结束(步骤S907),在全部帧图像的解码结束的情况下(步骤S907;是),结束处理。在全部帧图像的解码未结束的情况下(步骤S907;否),对前帧滤波器信息810和参照图像812进行更新,重复从步骤S902起的处理。
下面,使用图10来详细说明滤波器信息解码步骤S902。图10是说明滤波器信息解码部802的动作即滤波器信息解码步骤S902的流程图。
首先,滤波器信息解码部802根据滤波器信息编码比特流809对滤波器标识符进行解码,从而进行恢复(标识符解码步骤S90201)。
然后,当滤波器标识符是“1”时(步骤S90202;1),滤波器信息解码部802对各滤波器系数的值与前帧滤波器信息810的差分值进行解码(差分滤波器系数解码步骤S90203),将解码后的各值加上前帧滤波器信息810的滤波器系数(滤波器系数加法步骤S90204),恢复在水平和垂直方向独立且非对称形滤波器(水平和垂直方向独立非对称形滤波器恢复步骤S90205)。
在滤波器标识符是“2”的情况下(步骤S90202;2),滤波器信息解码部802恢复基准滤波器的滤波器系数(基准滤波器恢复步骤S90206)。
在滤波器标识符是“3”的情况下(步骤S90202;3),滤波器信息解码部802恢复前帧滤波器信息810(前帧滤波器恢复步骤S90207)。
然后,滤波器信息解码部802输出恢复后的标识符和滤波器系数即滤波器信息811(滤波器信息输出步骤S90208),结束处理。
下面,对用于使计算机发挥上述的动态图像解码装置80的功能的动态图像解码程序110进行说明。图11是示出动态图像解码程序110的结构的图。
如图11所示,动态图像解码程序110具有:将处理进行统一的主模块程序1101、输入模块1102、滤波器信息解码模块1103、滤波器信息存储模块1104、分数精度参照图像生成模块1105、帧存储器1106以及帧图像解码模块1107。输入模块1102、滤波器信息解码模块1103、滤波器信息存储模块1104、分数精度参照图像生成模块1105、帧存储器1106以及帧图像解码模块1107由计算机执行的功能分别与对应的上述的输入部801、滤波器信息解码部802、滤波器信息存储部803、分数精度参照图像生成部804、帧存储器805以及帧图像解码部806相同。
根据以上的实施方式涉及的动态图像编码装置、动态图像编码方法以及动态图像编码程序,在按各帧使用滤波器生成分数像素精度的参照图像来进行移动补偿从而进行编码的情况下,从至少包含在前一帧的帧图像的编码中使用的滤波器的多个滤波器候选中选择并决定滤波器。因此,只需对表示在前一帧的帧图像的编码中使用的滤波器的标识符进行编码就够了,无需对滤波器系数进行编码。结果,可减少滤波器系数的符号量。
并且,滤波器候选内包含有在水平和垂直方向独立的非对称形滤波器,通过将表示在水平和垂直方向独立的非对称形滤波器的标识符和该滤波器的滤波器系数从在前一帧的帧图像的编码中使用的滤波器的滤波器系数中减去来进行编码,能以少的滤波器系数的符号量对在水平方向和垂直方向具有不同特性的影像进行高精度的移动补偿。而且,使滤波器候选包含基准滤波器,只需对表示基准滤波器的标识符进行编码(不用对滤波器系数进行编码),可减少滤波器系数的符号量。
根据以上的实施方式涉及的动态图像解码装置、动态图像解码方法以及动态图像解码程序,在按照各帧使用滤波器生成分数像素精度的参照图像来进行移动补偿从而进行解码的情况下,从至少包含在前一帧的帧图像的解码中使用的滤波器的多个滤波器候选中选择并决定滤波器。因此,只需对表示在前一帧的帧图像的解码中使用的滤波器的标识符进行解码就够了,无需对滤波器系数进行解码。结果,可减少要解码的滤波器系数的符号量。
并且,滤波器候选内包含有在水平和垂直方向独立的非对称形滤波器,通过将表示在水平和垂直方向独立的非对称形滤波器的标识符和该滤波器的滤波器系数从在前一帧的帧图像的解码中使用的滤波器的滤波器系数中减去来进行解码,即使要解码的滤波器系数的符号量少,也能对在水平方向和垂直方向具有不同特性的影像进行高精度的移动补偿。而且,使滤波器候选包含基准滤波器,只需对表示基准滤波器的标识符进行解码(不用对滤波器系数进行解码),可减少要解码的滤波器系数的符号量。
(第2实施方式)
下面,对在使用多个参照帧(参照图像)进行编码的情况下,按照各参照帧使用不同的滤波器来生成分数精度的参照图像的变形例进行说明。
在上述的H.264编码方式以及上述非专利文献1和非专利文献2记载的描述中,在参照图像有多个帧的情况下,也是按照要编码的各帧,对全部参照图像使用同一滤波器来生成分数像素精度的参照图像。因此,在要编码的帧针对各参照图像具有不同的像素精度的移动量和频率特性的情况下,具有这样的问题,即:不能使用适于按照各参照图像进行编码的滤波器来进行编码,不能进行高精度的移动补偿。第2实施方式的目的是,即使在要编码的帧针对各参照图像具有不同的像素精度的移动量和频率特性的情况下,也能实现高精度的移动补偿。
第2实施方式涉及的动态图像编码装置与第1实施方式的动态图像编码装置20不同的部分仅是滤波器决定部202、滤波器信息存储部203、分数精度参照图像生成部204以及滤波器信息编码部205,因而仅对该部分进行说明。
使用图3,对在按照各参照帧使用不同滤波器来生成参照图像的情况下的滤波器决定部202进行说明。滤波器信息存储部203按照各参照帧保持有为了在对前一帧的帧图像进行编码时生成分数精度的参照图像所使用的滤波器(前帧滤波器信息212)。
如图12(a)所示,在针对当前的编码对象的帧Fc使用过去已编码的3个帧作为参照帧的情况下,将这些参照帧的标识符按编码顺序设定为参照帧3、参照帧2、参照帧1。并且,如图12(b)所示,将对当前的编码对象的帧Fc的前一帧已编码的参照帧1进行了编码时的参照帧的标识符按编码顺序设定为参照帧4、参照帧3、参照帧2。
假定在对当前的编码对象的帧Fc的前一帧已编码的参照帧1进行了编码时,为了针对参照帧4、参照帧3、参照帧2生成分数精度的参照图像所使用的滤波器分别 是滤波器4、滤波器3、滤波器2。当在该前提下当前的编码对象的帧Fc被编码时,作为在对前一帧的帧图像进行了编码时的滤波器,滤波器信息存储部203针对参照帧3保持有滤波器3,针对参照帧2保持有滤波器2,针对参照帧1保持有滤波器4、滤波器3和滤波器2。
滤波器决定部202使用从输入部201所输入的帧图像210和从帧存储器206所输入的参照图像211,在参照滤波器信息存储部203的前帧滤波器信息212的同时,按照各参照帧决定生成用于对当前的编码对象的帧图像进行编码的分数精度的参照图像的滤波器信息213。接下来,滤波器决定部202将所决定的滤波器信息213输出到分数精度参照图像生成部204和滤波器信息编码部205。
具体地说,首先,滤波器决定部202内的第1滤波器系数决定部20201使用从输入部201所输入的帧图像210和从帧存储器206所输入的参照图像211中的上述参照帧3,决定用于生成在水平和垂直方向独立且非对称形的1/2像素精度的参照图像的第1滤波器20206。接下来,第1滤波器系数决定部20201将所决定的第1滤波器20206、帧图像210以及参照图像211中的上述参照帧3输出到第1滤波器编码效率计算部20202。
然后,第1滤波器编码效率计算部20202使用从第1滤波器系数决定部20201所输入的第1滤波器20206、帧图像210以及从帧存储器206所输入的参照图像211中的上述参照帧3,根据参照图像211中的上述参照帧3生成1/4像素精度的参照图像。接下来,第1滤波器编码效率计算部20202计算使用所生成的参照图像来对帧图像210进行了编码时的符号量。第1滤波器编码效率计算部20202将第1滤波器的系数和计算出的符号量S1作为第1滤波器信息20207输出到编码效率比较部20205。
然后,第2滤波器编码效率计算部20203使用帧图像210、参照图像211中的上述参照帧3以及预先保持在第2滤波器编码效率计算部20203内的基准滤波器即第2滤波器,根据参照图像211中的上述参照帧3生成1/4像素精度的参照图像。接下来,第2滤波器编码效率计算部20203计算使用所生成的参照图像来对帧图像210进行了编码时的符号量。第2滤波器编码效率计算部20203将计算出的符号量S2作为第2滤波器信息20208输出到编码效率比较部20205。
然后,第3滤波器编码效率计算部20204参照针对滤波器信息存储部203内的前帧滤波器信息212中的参照帧3的上述滤波器3,根据参照图像211中的上述参照帧 3生成1/4像素精度的参照图像。接下来,第3滤波器编码效率计算部20204计算使用所生成的参照图像来对帧图像210进行了编码时的符号量。第3滤波器编码效率计算部20204将计算出的符号量S3作为第3滤波器信息20209输出到编码效率比较部20205。
然后,编码效率比较部20205使用从第1滤波器编码效率计算部20202所输入的第1滤波器信息20207、从第2滤波器编码效率计算部20203所输入的第2滤波器信息20208以及从第3滤波器编码效率计算部20204所输入的第3滤波器信息20209,选择3个滤波器中符号量最少的滤波器。接下来,编码效率比较部20205将所选择的滤波器的滤波器信息213作为针对上述参照帧3的滤波器信息输出到分数精度参照图像生成部204和滤波器信息编码部205。
具体地说,编码效率比较部20205将符号量S1、符号量S2以及符号量S3进行比较,选择符号量最少的滤波器。在S1的符号量最少的情况下,编码效率比较部20205将表示第1滤波器的标识符“1”以及第1滤波器的系数(b1、b2、b3、b4、b5、b6)和(h1、h2、h3、h4、h5、h6)作为针对上述参照帧3的滤波器信息213输出到分数精度参照图像生成部204和滤波器信息编码部205。并且,在S2的符号量最少的情况下,编码效率比较部20205将表示第2滤波器的标识符“2”作为针对上述参照帧3的滤波器信息213输出到分数精度参照图像生成部204和滤波器信息编码部205。并且,在S3的符号量最少的情况下,编码效率比较部20205将表示第3滤波器的标识符“3”作为针对上述参照帧3的滤波器信息213输出到分数精度参照图像生成部204和滤波器信息编码部205。
同样,滤波器决定部202使用从输入部201所输入的帧图像210和从帧存储器206所输入的参照图像211中的上述参照帧2,在参照滤波器信息存储部203的前帧滤波器信息212中的上述滤波器2的同时,在第1滤波器、第2滤波器以及第3滤波器的上述滤波器2中选择进行编码时符号量最少的滤波器。接下来,滤波器决定部202将所选择的滤波器的滤波器信息213作为针对上述参照帧2的滤波器信息输出到分数精度参照图像生成部204和滤波器信息编码部205。
具体地说,滤波器决定部202内的编码效率比较部20205将使用第1滤波器进行了编码时的符号量S1、使用第2滤波器进行了编码时的符号量S2、以及使用第3滤波器进行了编码时的符号量S3进行比较,选择符号量最少的滤波器。
在S1的符号量最少的情况下,编码效率比较部20205将表示第1滤波器的标识符“1”以及第1滤波器的系数(b1、b2、b3、b4、b5、b6)和(h1、h2、h3、h4、h5、h6)作为针对上述参照帧2的滤波器信息213输出到分数精度参照图像生成部204和滤波器信息编码部205。并且,在S2的符号量最少的情况下,编码效率比较部20205将表示第2滤波器的标识符“2”作为针对上述参照帧2的滤波器信息213输出到分数精度参照图像生成部204和滤波器信息编码部205。并且,在S3的符号量最少的情况下,编码效率比较部20205将表示第3滤波器的标识符“3”作为针对上述参照帧3的滤波器信息213输出到分数精度参照图像生成部204和滤波器信息编码部205。
并且,滤波器决定部202使用从输入部201所输入的帧图像210和从帧存储器206所输入的参照图像211中的上述参照帧1,在参照针对滤波器信息存储部203的前帧滤波器信息212中的参照帧1的上述滤波器4、上述滤波器3和上述滤波器2的同时,在第1滤波器、第2滤波器以及作为第3滤波器的上述滤波器4、上述滤波器3或者上述滤波器2中选择进行编码符号码量最少的滤波器。接下来,滤波器决定部202将所选择的滤波器信息213作为针对上述参照帧2的滤波器信息输出到分数精度参照图像生成部204和滤波器信息编码部205。
此时,如果使用第3滤波器进行了编码,则滤波器决定部202将对表示所使用的滤波器是上述滤波器4、还是上述滤波器3、或者是上述滤波器2的标识符进行了编码后的符号量包含在内来计算。并且,在进行编码时符号量最少的滤波器是第3滤波器的情况下,滤波器决定部202将表示所使用的滤波器是上述滤波器4、滤波器3以及滤波器2中的哪一个的信息包含在滤波器信息213内来输出。
具体地说,滤波器决定部202内的编码效率比较部20205将使用第1滤波器进行了编码时的符号量S1、使用第2滤波器进行了编码时的符号量S2以及使用第3滤波器进行了编码时的符号量S3进行比较,选择符号量最少的滤波器。
在S1的符号量最少的情况下,编码效率比较部20205将表示第1滤波器的标识符“1”以及第1滤波器的系数(b1、b2、b3、b4、b5、b6)和(h1、h2、h3、h4、h5、h6)作为针对上述参照帧1的滤波器信息213输出到分数精度参照图像生成部204和滤波器信息编码部205。
并且,在S2的符号量最少的情况下,编码效率比较部20205将表示第2滤波器的标识符“2”作为针对上述参照帧1的滤波器信息213输出到分数精度参照图像生成 部204和滤波器信息编码部205。
并且,在S3的符号量最少的情况下,编码效率比较部20205将表示第3滤波器的标识符“3”以及滤波器类型的标识符(在所使用的滤波器是上述滤波器4的情况下是“1”,在所使用的滤波器是上述滤波器3的情况下是“2”,在所使用的滤波器是上述滤波器2的情况下是“3”)作为针对上述参照帧1的滤波器信息213输出到分数精度参照图像生成部204和滤波器信息编码部205。
分数精度参照图像生成部204使用从滤波器决定部202所输入的各参照帧的滤波器信息213和从帧存储器206所输入的参照图像211,按照各参照帧生成分数精度参照图像215。然后,分数精度参照图像生成部204将所生成的分数精度参照图像215输出到帧图像编码/解码部207。
首先,具体说明分数精度参照图像生成部204对在前一帧已编码的参照帧以外的参照帧的处理。当滤波器信息213内包含的滤波器的标识符是“1”时,分数精度参照图像生成部204使用滤波器信息213内包含的滤波器系数来生成1/4像素精度的分数精度参照图像215。
并且,当滤波器信息213内包含的滤波器的标识符是“2”时,分数精度参照图像生成部204使用在水平和垂直两方向的基准滤波器来生成1/4像素精度的分数精度参照图像215。
当滤波器信息213内包含的滤波器的标识符是“3”时,分数精度参照图像生成部204参照滤波器信息存储部203,使用针对各参照帧的前帧滤波器信息212来生成1/4像素精度的分数精度参照图像215。
下面,具体说明分数精度参照图像生成部204对在前一帧已编码的参照帧的处理。当滤波器信息213内包含的滤波器的标识符是“1”时,分数精度参照图像生成部204使用滤波器信息213内包含的滤波器系数来生成1/4像素精度的分数精度参照图像215。
并且,当滤波器信息213内包含的滤波器的标识符是“2”时,分数精度参照图像生成部204使用在水平和垂直两方向的基准滤波器来生成1/4像素精度的分数精度参照图像215。
当滤波器信息213内包含的滤波器的标识符是“3”时,分数精度参照图像生成部204还参照滤波器信息213内包含的所使用的滤波器类型的标识符(在上述滤波器4 的情况下是“1”,在上述滤波器3的情况下是“2”,在上述滤波器2的情况下是“3”),使用存储在滤波器信息存储部203内的该参照帧的该滤波器类型的滤波器即前帧滤波器信息212来生成1/4像素精度的分数精度参照图像215。
滤波器信息编码部205对从滤波器决定部202所输入的各参照帧的滤波器信息213内包含的滤波器标识符进行编码。然后,在滤波器标识符是“1”的情况下,滤波器信息编码部205对滤波器信息213内包含的第1滤波器的滤波器系数(b1、b2、b3、b4、b5、b6)和(h1、h2、h3、h4、h5、h6)进行编码。
此时,滤波器信息编码部205在当前进行编码的滤波器信息编码比特流214是前一帧已编码的以外的参照帧的滤波器信息编码比特流的情况下,参照滤波器信息存储部203的该参照帧的前帧滤波器信息212,对各滤波器系数的值与前帧滤波器信息212的各滤波器系数的差分值进行编码。
即,在前帧滤波器信息212的滤波器系数是水平方向为(b1’、b2’、b3’、b4’、b5’、b6’)和垂直方向为(h1’、h2’、h3’、h4’、h5’、h6’)的情况下,滤波器信息编码部205对水平方向为(b1-b1’、b2-b2’、b3-b3’、b4-b4’、b5-b5’、b6-b6’)和垂直方向为(h1-h1’、h2-h2’、h3-h3’、h4-h4’、h5-h5’、h6-h6’)的滤波器系数进行编码。
并且,在当前进行编码的滤波器信息编码比特流214是在前一帧已编码的参照帧的滤波器信息编码比特流的情况下,滤波器信息编码部205对各滤波器系数的值与第2滤波器(基准滤波器)的滤波器系数的差分值进行编码。然后,滤波器信息编码部205将所编码的滤波器标识符与滤波器系数的差分值作为滤波器信息编码比特流214输出到输出部208。
并且,滤波器信息编码部205在滤波器标识符是“1”的情况下,将滤波器信息存储部203的参照帧的前帧滤波器信息212更新成第1滤波器。在滤波器标识符是“2”的情况下,滤波器信息编码部205将编码后的滤波器标识符作为滤波器信息编码比特流214输出到输出部208,将滤波器信息存储部203的前帧滤波器信息212更新成第2滤波器(基准滤波器)。
接下来对滤波器标识符是“3”的情况进行说明。在当前进行编码的滤波器信息编码比特流214是在前一帧已编码的以外的参照帧的滤波器信息编码比特流的情况下,滤波器信息编码部205将编码后的滤波器标识符作为滤波器信息编码比特流214输出 到输出部208。接下来,滤波器信息编码部205将滤波器信息存储部203的该参照帧的前帧滤波器信息212更新成与更新前相同的滤波器信息即第3滤波器。
另一方面,在当前进行编码的滤波器信息编码比特流214是在前一帧已编码的参照帧的滤波器信息编码比特流的情况下,滤波器信息编码部205对用于生成滤波器信息213内包含的该参照帧的分数精度参照图像所使用的滤波器的滤波器类型进行编码。接下来,滤波器信息编码部205将其与编码后的滤波器标识符合并作为滤波器信息编码比特流214输出到输出部208。并且,滤波器信息编码部205将滤波器信息存储部203的该参照帧的前帧滤波器信息212更新成用于生成该参照帧的分数精度参照图像所使用的滤波器。而且,滤波器信息编码部205将在下一帧的编码中成为参照帧的帧的前帧滤波器信息与参照帧相关联来设定为滤波器信息存储部203的编码对象的帧图像的前帧滤波器信息212。
下面,说明第2实施方式涉及的动态图像编码方法。第2实施方式涉及的动态图像编码方法与第1实施方式的动态图像编码方法不同的部分是滤波器决定步骤S402、滤波器信息编码步骤S403、滤波器信息存储步骤S404以及分数精度参照图像生成步骤S405,因而仅对该部分进行说明。
使用图13来对滤波器决定步骤S402的变形例即滤波器决定步骤S1302进行说明。图13是说明第2实施方式中的滤波器决定部202的动作即滤波器决定步骤S1302的流程图。
首先,第1滤波器系数决定部20201使用帧图像210和参照图像211中的编码顺序最老的参照帧,决定生成在水平和垂直方向独立且非对称形的1/2像素精度的参照图像的第1滤波器20206(第1滤波器决定步骤S130201)。
然后,第1滤波器编码效率计算部20202使用第1滤波器20206和参照图像211,利用第1滤波器根据参照图像211生成1/4像素精度的参照图像。然后,第1滤波器编码效率计算部20202计算使用所生成的参照图像来对帧图像210进行了编码时的符号量S1(第1滤波器编码效率计算步骤S130202)。
并且,第2滤波器编码效率计算部20203使用帧图像210、参照图像211中的编码顺序最老的参照帧以及预先保持在第2滤波器编码效率计算部20203内的基准滤波器即第2滤波器,根据参照图像211中的编码顺序最老的参照帧生成1/4像素精度的参照图像。然后,第2滤波器编码效率计算部20203计算使用所生成的参照图像来对 帧图像210进行了编码时的符号量S2(第2滤波器编码效率计算步骤S130203)。
并且,第3滤波器编码效率计算部20204使用在对前一帧的帧图像进行编码时所使用的1/2像素精度的参照图像生成用的滤波器即第3滤波器,根据参照图像211生成1/4像素精度的参照图像。然后,第3滤波器编码效率计算部20204计算使用该参照图像来对帧图像210进行了编码时的符号量S3。此时,在作为第3滤波器有多个滤波器候选的情况下,第3滤波器编码效率计算部20204计算使用各个滤波器的情况下的符号量,将其中值最小的符号量设定为符号量S3(第3滤波器编码效率计算步骤S130204)。
然后,编码效率比较部20205将符号量S1、符号量S2以及符号量S3进行比较(编码效率比较步骤S130205)。在符号量最少的滤波器是第1滤波器的情况下,编码效率比较部20205将表示第1滤波器的标识符“1”和第1滤波器的滤波器系数作为滤波器信息213来输出(第1滤波器信息输出步骤S130206)。在所选择的滤波器是第2滤波器的情况下,编码效率比较部20205将表示第2滤波器的标识符“2”作为滤波器信息213来输出(第2滤波器信息输出步骤S130207)。
在所选择的滤波器是第3滤波器的情况下,编码效率比较部20205将表示第3滤波器的标识符“3”作为滤波器信息213来输出。并且,在作为第3滤波器有多个滤波器候选的情况下,编码效率比较部20205将符号量最少的滤波器的滤波器类型的标识符也作为滤波器信息213来输出(第3滤波器信息输出步骤S130208)。
然后,滤波器决定部202判断是否对参照图像211中的全部参照帧进行了处理。在未对全部的参照帧进行处理的情况下(步骤S130209;否),针对编码顺序其次老的参照帧重复执行上述步骤S130201~S130208的处理。当对全部的参照帧进行了处理时(步骤S130209;是),处理结束。
下面,使用图14来详细说明滤波器信息编码步骤S1403。图14是对第2实施方式中的滤波器信息编码部205的动作即滤波器信息编码步骤S1403进行说明的流程图。
首先,滤波器信息编码部205针对编码顺序最老的参照帧,对滤波器信息213内包含的滤波器的标识符进行编码(标识符编码步骤S140301)。
然后,当滤波器标识符是“1”时(步骤S140302;是),滤波器信息编码部205针对第1滤波器的各滤波器系数计算滤波器系数的差分值(滤波器系数差分步骤 S40303),对该差分值进行编码(差分滤波器系数编码步骤S40304)。
此时,在当前对滤波器信息进行编码的参照帧是在前一帧已编码的以外的参照帧的情况下,滤波器系数的差分值为第1滤波器的各滤波器系数与对应的前帧滤波器信息212的滤波器系数的差分值。另一方面,在当前对滤波器信息进行编码的参照帧是在前一帧已编码的参照帧的情况下,滤波器系数的差分值为第1滤波器的各滤波器系数与对应的基准滤波器的滤波器系数的差分值。
在参照帧的滤波器标识符不是“1”的情况下(步骤S40302;否),不执行该滤波器系数差分步骤和差分滤波器系数编码步骤的处理。
然后,在滤波器标识符是“3”的情况下(步骤S140305;是),滤波器信息编码部205判定当前对滤波器信息进行编码的参照帧是否是在前一帧已编码的参照帧(步骤S140306)。然后,在进行编码的参照帧是在前一帧已编码的参照帧的情况下(步骤S140306:是),滤波器信息编码部205对滤波器类型的标识符进行编码(滤波器类型编码步骤S140307)。与此相对,在进行编码的参照帧是在前一帧已编码的参照帧以外的情况下(步骤S140306:否),不执行该滤波器类型编码步骤的处理。并且,当滤波器标识符不是“3”时(步骤S140305;否),也不执行该滤波器类型编码步骤的处理。
然后,滤波器信息编码部205输出编码后的滤波器信息编码比特流214(滤波器信息编码比特流输出步骤S140305)。
然后,滤波器信息编码部205判断是否对全部参照帧进行了处理。此时在未对全部参照帧进行处理的情况下(步骤S140308;否),针对编码顺序其次老的参照帧重复执行步骤S140301~S140308的处理。另一方面,在对全部参照帧进行了处理的情况下(步骤S140308;是),处理结束。
第2实施方式中的滤波器信息存储部203的动作即滤波器信息存储步骤S1404与滤波器信息存储步骤S404的不同点是,按照作为参照图像所使用的各参照帧存储前帧滤波器信息212。
并且,第2实施方式中的分数精度参照图像生成部204的动作即分数精度参照图像生成步骤S1405与分数精度参照图像生成步骤S405的不同点是,按照作为参照图像所使用的各参照帧使用不同的滤波器信息213来生成分数精度参照图像215。
第2实施方式涉及的动态图像解码装置与第1实施方式的动态图像解码装置80 不同的部分是滤波器信息解码部802、滤波器信息存储部803以及分数精度参照图像生成部804,因而仅对该部分进行说明。
滤波器信息存储部803按照各参照帧保持有为了在对前一帧的帧图像进行解码时生成分数精度的参照图像所使用的滤波器(前帧滤波器信息810)。前帧滤波器信息810由滤波器信息解码部802参照和更新。
如图15(a)所示,在针对当前的解码对象的帧Fd使用过去已解码的3个帧作为参照帧的情况下,将这些参照帧的标识符按解码顺序设定为参照帧3、参照帧2、参照帧1。并且,如图15(b)所示,将对当前的解码对象的帧Fd的前一帧已解码的参照帧1进行了解码时的参照帧的标识符按照解码顺序设定为参照帧4、参照帧3、参照帧2。
假定在对当前的解码对象的帧Fd的前一帧已编码的参照帧1进行了解码时,为了针对参照帧4、参照帧3、参照帧2生成分数精度的参照图像所使用的滤波器分别是滤波器4、滤波器3、滤波器2。此时,在对当前的解码对象的帧Fd进行解码时,作为在对前一帧的帧图像进行了解码时的滤波器,滤波器信息存储部803针对参照帧3保持有滤波器3,针对参照帧2保持有滤波器2,针对参照帧1保持有滤波器4、滤波器3和滤波器2。
滤波器信息解码部802在参照滤波器信息存储部803内的前帧滤波器信息810的同时,对从输入部801所输入的滤波器信息编码比特流809进行解码来恢复滤波器信息811。然后,滤波器信息解码部802将所恢复的滤波器信息811输出到分数精度参照图像生成部804。
具体地说,首先,滤波器信息解码部802按照各参照帧,根据从输入部801所输入的滤波器信息编码比特流809对滤波器标识符进行解码来进行恢复。滤波器信息解码部802从解码时期老的参照帧开始依次执行该恢复。
在滤波器标识符是“1”的情况下,滤波器信息解码部802恢复各滤波器系数。首先,滤波器信息解码部802对各滤波器系数的差分值进行解码。然后,在当前进行解码的滤波器信息811是在前一帧已解码的以外的参照帧的滤波器信息的情况下,滤波器信息解码部802参照滤波器信息存储部803的前帧滤波器信息810,将对各滤波器系数所解码的各值加上前帧滤波器信息810的滤波器系数来恢复滤波器。
例如,假定在前帧滤波器信息810的滤波器系数是水平方向为(b1’、b2’、b3’、 b4’、b5’、b6’)和垂直方向为(h1’、h2’、h3’、h4’、h5’、h6’)。并且,假定由滤波器信息解码部802解码后的滤波器系数的差分值是水平方向为(b1-b1’、b2-b2’、b3-b3’、b4-b4’、b5-b5’、b6-b6’)和垂直方向为(h1-h1’、h2-h2’、h3-h3’、h4-h4’、h5-h5’、h6-h6’)。在该情况下,恢复后的滤波器的滤波器系数为水平方向为(b1、b2、b3、b4、b5、b6)和垂直方向为(h1、h2、h3、h4、h5、h6)。
并且,在当前进行解码的滤波器信息811是在前一帧已解码的参照帧的滤波器信息的情况下,滤波器信息解码部802将对各滤波器系数所解码的各值加上基准滤波器的滤波器系数来恢复滤波器。
在滤波器标识符是“2”的情况下,滤波器信息解码部802恢复基准滤波器的滤波器系数即水平和垂直两方向都是(1、-5、20、20、-5、1)/32。
在滤波器标识符是“3”的情况下的处理如下所述。即,在当前进行解码的滤波器信息811是在前一帧已解码的参照帧以外的滤波器信息的情况下,滤波器信息解码部802恢复该参照帧的前帧滤波器信息810的滤波器系数。与此相对,在当前进行解码的滤波器信息811是在前一帧已解码的参照帧的滤波器信息的情况下,滤波器信息解码部802还对滤波器类型进行解码,根据该参照帧的前帧滤波器信息810恢复与所恢复的滤波器类型相关联的滤波器系数。(在滤波器类型是“1”的情况下是上述滤波器4,在是“2”的情况下是上述滤波器3,在是“3”的情况下是上述滤波器2。)
滤波器信息解码部802将恢复后的标识符和滤波器系数即滤波器信息811输出到分数精度参照图像生成部804。并且,滤波器信息解码部802将滤波器信息存储部803内的前帧滤波器信息810更新成恢复后的滤波器系数。而且,滤波器信息解码部802将在下一帧的解码中成为参照帧的帧的前帧滤波器信息与参照帧相关联来设定为滤波器信息存储部803的解码对象的帧图像的前帧滤波器信息810。
分数精度参照图像生成部804使用从滤波器信息解码部802所输入的各参照帧的滤波器信息811和从帧存储器805所输入的参照图像812,按照各参照帧生成分数精度参照图像813。接下来,分数精度参照图像生成部804将所生成的分数精度参照图像813输出到帧图像解码部806。
具体地说,针对在前一帧已编码的以外的参照帧,当滤波器信息811内包含的滤波器的标识符是“1”时,分数精度参照图像生成部804使用滤波器信息811内包含的滤波器系数来生成1/4像素精度的分数精度参照图像813。并且,当滤波器信息811 内包含的滤波器的标识符是“2”时,分数精度参照图像生成部804使用在水平和垂直两方向的基准滤波器来生成1/4像素精度的分数精度参照图像813。当滤波器信息811内包含的滤波器的标识符是“3”时,分数精度参照图像生成部804使用滤波器信息811内包含的滤波器系数来生成1/4像素精度的分数精度参照图像813。
下面,说明第2实施方式涉及的动态图像解码方法。第2实施方式涉及的动态图像解码方法与第1实施方式的动态图像解码方法不同的部分是滤波器信息解码步骤S802、滤波器信息存储步骤S803以及分数精度参照图像生成步骤S804,因而仅对该部分进行说明。
使用图16来对滤波器信息解码步骤S802的变形例即滤波器信息解码步骤S1602进行说明。图16是说明第2实施方式中的滤波器信息解码部802的动作即滤波器信息解码步骤S1602的流程图。
首先,滤波器信息解码部802根据滤波器信息编码比特流809,针对解码顺序最老的参照帧,对滤波器标识符进行解码来进行恢复(标识符解码步骤S160201)。
然后,当滤波器标识符是“1”时(步骤S160202;1),滤波器信息解码部802对各滤波器系数的差分值进行解码(差分滤波器系数解码步骤S160203)。接下来,滤波器信息解码部802将解码后的各值加上滤波器系数(滤波器系数加法步骤S160204),恢复在水平和垂直方向独立的非对称形滤波器(水平和垂直方向独立非对称形滤波器恢复步骤S160205)。
此时,在当前进行解码的滤波器信息811是在前一帧已解码的以外的参照帧的滤波器信息的情况下,滤波器信息解码部802参照滤波器信息存储部803的前帧滤波器信息810,将对各滤波器系数进行了解码后的各差分值加上前帧滤波器信息810的滤波器系数来恢复滤波器。与此相对,在当前进行解码的滤波器信息811是在前一帧已解码的参照帧的滤波器信息的情况下,滤波器信息解码部802将对各滤波器系数进行了解码后的各差分值加上基准滤波器的滤波器系数来恢复滤波器。
在滤波器标识符是“2”的情况下(步骤S160202;2),滤波器信息解码部802恢复基准滤波器的滤波器系数(基准滤波器恢复步骤S160206)。
在滤波器标识符是“3”的情况下(步骤S160202;3),按如下进行处理。即,在当前对滤波器信息进行解码的参照帧是在前一帧已解码的参照帧的情况下(步骤S160307;是),滤波器信息解码部802对滤波器类型的标识符进行解码(滤波器类型 解码步骤S140308)。接下来,滤波器信息解码部802根据该参照帧的前帧滤波器信息810恢复与所恢复的滤波器类型相关联的滤波器系数。与此相对,在当前对滤波器信息进行解码的参照帧是在前一帧已解码的参照帧以外的情况下(步骤S140307;否),滤波器信息解码部802不执行滤波器类型解码步骤的处理,而恢复该参照帧的前帧滤波器信息810的滤波器系数(前帧滤波器恢复步骤S160209)。
然后,滤波器信息解码部802输出恢复后的标识符和滤波器系数即滤波器信息811(滤波器信息输出步骤S160210)。
然后,滤波器信息解码部802判断是否对全部参照帧进行了处理。此时,在未对全部参照帧进行处理的情况下(步骤S160211;否),针对解码顺序其次老的参照帧重复执行上述步骤S160201~步骤S160210的处理。另一方面,在对全部参照帧进行了处理的情况下(步骤S160211;是),处理结束。
并且,第2实施方式中的滤波器信息存储部803的动作即滤波器信息存储步骤S1603与滤波器信息存储步骤S803的不同点是,按照作为参照图像所使用的各参照帧存储前帧滤波器信息212。
并且,第2实施方式中的分数精度参照图像生成部804的动作即分数精度参照图像生成步骤S1604与分数精度参照图像生成步骤S804的不同点是,按照作为参照图像所使用的各参照帧使用不同的滤波器信息811来生成分数精度参照图像813。
如以上说明那样,根据第2实施方式涉及的动态图像编码装置、动态图像编码方法以及动态图像编码程序,在参照图像有多个帧的情况下,在按照各参照图像使用不同滤波器生成分数像素精度的参照图像来进行移动补偿从而进行编码,由此,即使在要编码的帧针对各参照图像具有不同的像素精度的移动量和频率特性的情况下,也能进行高精度的补偿。并且,从至少包含在前一帧的帧图像的编码中使用的滤波器的多个滤波器候选中选择并决定滤波器。因此,只需对表示在前一帧的帧图像的编码中使用的滤波器的标识符进行编码就够了,无需对滤波器系数进行编码。结果,可减少滤波器系数的符号量。
并且,根据第2实施方式涉及的动态图像解码装置、动态图像解码方法以及动态图像解码程序,在参照图像有多个帧的情况下,按照各参照图像使用不同滤波器生成分数像素精度的参照图像来进行移动补偿从而进行解码,由此,即使在要解码的帧针对各参照图像具有不同的像素精度的移动量和频率特性的情况下,也能进行高精度的 补偿。并且,从至少包含在前一帧的帧图像的解码中使用的滤波器的多个滤波器候选中选择并决定滤波器。因此,只需对表示在前一帧的帧图像的解码中使用的滤波器的标识符进行解码就够了,无需对滤波器系数进行解码。结果,可减少要解码的滤波器系数的符号量。
另外,在上述各实施方式中,作为滤波器候选,使用了在前一帧的帧图像的编码中使用的滤波器、在水平和垂直方向独立的非对称形滤波器以及基准滤波器,然而使用的滤波器候选不限于这些滤波器。例如,可以将在前二帧以上的过去的帧图像的编码中使用的滤波器包含在滤波器候选内,当对这些滤波器进行编码时,可以对表示是在过去的帧图像的编码中使用的滤波器的标识符“3”和用于识别使用了该滤波器的过去的帧图像的标识符进行编码。
作为用于识别过去的帧图像的标识符,可使用从影像的开头起的帧图像的号码、或编码对象的帧图像的号码与过去的帧图像的号码的差分值。另外,用于识别所述过去的帧图像的标识符不限于这些方法。在该情况下,只需对滤波器标识符和识别过去的帧图像的标识符进行编码,就能使用在过去的帧图像的编码中使用的多种滤波器,可进行高精度的移动补偿。并且,在该情况下,由于无需对滤波器系数进行编码,因而可减少滤波器系数的符号量。另外,可以将表示是在编码中使用的滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符合并来作为一个标识符进行编码。
并且,在该情况下,在对水平和垂直方向独立的非对称形滤波器进行编码时,通过对表示是在水平和垂直方向独立的非对称形滤波器的标识符“1”、表示在过去的帧图像的编码中使用的滤波器的帧的标识符以及要编码的滤波器的滤波器系数与在过去的帧图像的编码中使用的滤波器的滤波器系数的差分值进行编码,可选择差分值更小的在过去的帧图像的编码中使用的滤波器,可削减滤波器系数的符号量。
而且,在该情况下,还能最初作为生成分数像素精度的参照图像来进行移动补偿从而进行编码的帧图像的滤波器总是使用基准滤波器,并在过去的帧图像的编码中使用的滤波器中必定包含基准滤波器,由此,可不使用表示是基准滤波器的标识符“2”而选择基准滤波器,可减少滤波器的标识符的符号量。
并且,在上述各实施方式中,作为滤波器候选,使用了在前一帧的帧图像的解码中使用的滤波器、在水平和垂直方向独立的非对称形滤波器以及基准滤波器,然而使 用的滤波器候选不限于这些滤波器。例如,可以将在前二帧以上的过去的帧图像的解码中使用的滤波器包含在滤波器候选内,当对这些滤波器进行解码时,可以对表示是在过去的帧图像的解码中使用的滤波器的标识符“3”和用于识别使用了该滤波器的过去的帧图像的标识符进行解码。
作为用于识别过去的帧图像的标识符,可使用从影像的开头起的帧图像的号码、或解码对象的帧图像的号码与过去的帧图像的号码的差分值。另外,用于识别所述过去的帧图像的标识符不限于这些方法。在该情况下,只需对滤波器标识符和识别过去的帧图像的标识符进行解码,就能使用在过去的帧图像的解码中使用的多种滤波器,可进行高精度的移动补偿。并且,在该情况下,由于无需对滤波器系数进行解码,因而可减少要解码的滤波器系数的符号量。另外,可以将表示是在解码中使用的滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符合并来作为一个标识符进行解码。
并且,在该情况下,在对水平和垂直方向独立的非对称形滤波器进行解码时,通过对表示是在水平和垂直方向独立的非对称形滤波器的标识符“1”、表示在过去的帧图像的解码中使用的滤波器的帧的标识符以及要解码的滤波器的滤波器系数与在过去的帧图像的解码中使用的滤波器的滤波器系数的差分值进行解码,可选择差分值更小的在过去的帧图像的解码中使用的滤波器,可削减要解码的滤波器系数的符号量。
而且,在该情况下,还能最初作为生成分数像素精度的参照图像来进行移动补偿从而进行解码的帧图像的滤波器总是使用基准滤波器,并在过去的帧图像的解码中使用的滤波器中必定包含基准滤波器,由此,可不使用表示是基准滤波器的标识符“2”而选择基准滤波器,可减少要解码的滤波器的标识符的符号量。
并且,在上述各实施方式中,作为滤波器使用了生成1/2像素精度的参照图像的6抽头滤波器,然而使用的滤波器不限于此。例如,可以使用生成任意的分数像素精度的参照图像的滤波器,可以使用任意抽头数的滤波器。而且,生成在移动补偿中使用的分数像素精度的参照图像的方法不限于上述方法。并且,参照图像的分数像素精度不限于1/4像素精度,可采用任意的分数像素精度。并且,在上述各实施方式中,作为使用的滤波器,准备了上述第1滤波器、第2滤波器和第3滤波器的全部,然而无需准备所有这些滤波器,没有哪一个滤波器也都可以。而且,可以添加上述第1滤波器、第2滤波器和第3滤波器以外的滤波器作为使用的滤波器候选。
并且,在对滤波器1的滤波器系数进行编码的情况下,除了对各滤波器系数的值与前帧滤波器信息的各滤波器系数的差分值进行编码以外,还可以对各滤波器系数的值自身进行编码,也可以对基准滤波器与各滤波器系数的差分值进行编码。
并且,在对滤波器1的滤波器系数进行解码的情况下,除了对各滤波器系数的值与前帧滤波器信息的各滤波器系数的差分值进行解码以外,还可以对各滤波器系数的值自身进行解码,也可以对基准滤波器与各滤波器系数的差分值进行解码。
而且在上述各实施方式中,在滤波器决定部202中决定滤波器信息,在分数精度参照图像生成部204中生成分数精度参照图像,在帧图像编码/解码部207中进行移动补偿从而进行编码对象帧的编码和解码,然而该编码和解码方法不限于此。例如,在计算用于在滤波器决定部202中决定滤波器信息的编码效率时进行分数精度参照图像生成和帧图像编码/解码的情况下,可以省略分数精度参照图像生成部204和帧图像编码/解码部207。
并且,在上述各实施方式中,输出部208按照要编码的各帧,在帧图像编码比特流216的前面插入滤波器信息编码比特流214来将2个比特流合并输出到外部,然而可以将滤波器信息编码比特流214合并在帧图像编码比特流216中来作为编码比特流218输出到外部。并且,输入部801可以受理在编码比特流807中包含的帧图像编码比特流216和滤波器信息编码比特流214,对该两个流进行分离。
并且,在按照各参照帧使用不同的滤波器来生成分数精度的参照图像的上述第2实施方式中,前一帧已编码的参照帧的第3滤波器无需包含前一帧的帧图像的编码中使用的全部滤波器。并且,前一帧已解码的参照帧的第3滤波器可以不包含前一帧的帧图像的解码中使用的全部滤波器。
并且,在上述第2实施方式中,前一帧已编码的参照帧的第1滤波器的滤波器系数可以不作为标准滤波器的滤波器系数的差分值进行编码。例如,前一帧已编码的参照帧的第1滤波器的滤波器系数可以作为前一帧的帧图像的编码中使用的滤波器的任一滤波器的滤波器系数的差分值进行编码,也可以作为与其他滤波器系数的差分值或者滤波器系数的值自身进行编码。
并且,在上述第2实施方式中,前一帧已解码的参照帧的第1滤波器的滤波器系数可以不作为标准滤波器的滤波器系数的差分值进行解码。例如,前一帧已解码的参照帧的第1滤波器的滤波器系数可以作为前一帧的帧图像的解码中使用的滤波器的 任一滤波器的滤波器系数的差分值进行解码,也可以作为与其他滤波器系数的差分值或者滤波器系数的值自身进行解码。
并且,在上述第2实施方式中,决定滤波器的顺序、对滤波器信息进行编码的顺序以及对滤波器信息进行解码的顺序不限于从编码和解码顺序老的顺序开始,也可以是其他顺序。
Claims (50)
1.一种动态图像编码装置,该动态图像编码装置针对帧图像的以时间序列构成的动态图像,按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,其特征在于,该动态图像编码装置具有:
滤波器信息存储单元,其存储在过去的帧图像的编码中使用的滤波器;
滤波器决定单元,其从至少包含由所述滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器;以及
滤波器信息编码单元,其对表示由所述滤波器决定单元所决定的滤波器的信息进行编码。
2.根据权利要求1所述的动态图像编码装置,其特征在于,
所述滤波器信息编码单元在由所述滤波器决定单元所决定的滤波器是在所述过去的帧图像的编码中使用的滤波器的情况下,对表示是该滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行编码。
3.根据权利要求1所述的动态图像编码装置,其特征在于,
所述滤波器信息存储单元在有多个所述参照图像的情况下,按照所述各参照图像存储在过去的帧图像的编码中使用的滤波器,
所述滤波器决定单元在有多个所述参照图像的情况下,从至少包含由所述滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中,按照所述各参照图像选择在当前的帧图像的编码中使用的滤波器。
4.根据权利要求3所述的动态图像编码装置,其特征在于,
所述滤波器信息编码单元在有多个所述参照图像、且由所述滤波器决定单元所决定的滤波器是在所述过去的帧图像的编码中使用的滤波器的情况下,按照所述各参照图像,对表示是该滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的滤波器信息的标识符进行编码。
5.一种动态图像编码装置,该动态图像编码装置针对帧图像的以时间序列构成的动态图像,按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,其特征在于,该动态图像编码装置具有:
滤波器信息存储单元,其存储在前一帧的帧图像的编码中使用的滤波器;
滤波器决定单元,其从至少包含由所述滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器;以及
滤波器信息编码单元,其对表示由所述滤波器决定单元所决定的滤波器的信息进行编码。
6.根据权利要求5所述的动态图像编码装置,其特征在于,
所述滤波器信息编码单元在所述滤波器决定单元所决定的滤波器是在所述前一帧的帧图像的编码中使用的滤波器的情况下,对表示是该滤波器的标识符进行编码。
7.根据权利要求5所述的动态图像编码装置,其特征在于,
所述滤波器信息存储单元在有多个所述参照图像的情况下,按照所述各参照图像存储在所述前一帧的帧图像的编码中使用的滤波器,
所述滤波器决定单元在有多个所述参照图像的情况下,从至少包含由所述滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中,按照所述各参照图像选择在当前的帧图像的编码中使用的滤波器。
8.根据权利要求7所述的动态图像编码装置,其特征在于,
所述滤波器信息编码单元在有多个所述参照图像、且由所述滤波器决定单元所决定的滤波器是在所述前一帧的帧图像的编码中使用的滤波器的情况下,按照所述各参照图像,对表示是该滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的滤波器信息的标识符进行编码。
9.根据权利要求1~8中的任一项所述的动态图像编码装置,其特征在于,
所述滤波器决定单元从还包含在水平和垂直方向独立的非对称形滤波器在内的所述滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器。
10.根据权利要求9所述的动态图像编码装置,其特征在于,
所述滤波器信息编码单元在由所述滤波器决定单元所决定的滤波器是所述非对称形滤波器的情况下,对表示是该非对称形滤波器的标识符和该非对称形滤波器的滤波器系数进行编码。
11.根据权利要求1~8中的任一项所述的动态图像编码装置,其特征在于,
所述滤波器决定单元从还包含预定的基准滤波器在内的所述滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器。
12.根据权利要求11所述的动态图像编码装置,其特征在于,
所述滤波器信息编码单元在由所述滤波器决定单元所决定的滤波器是所述基准滤波器的情况下,对表示该基准滤波器的标识符进行编码。
13.一种动态图像解码装置,该动态图像解码装置按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,对帧图像的以时间序列构成的动态图像进行解码,其特征在于,该动态图像解码装置具有:
滤波器信息存储单元,其存储在过去的帧图像的解码中使用的滤波器;以及
滤波器信息解码单元,其从至少包含由所述滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
14.根据权利要求13所述的动态图像解码装置,其特征在于,
所述滤波器信息解码单元对表示是在所述过去的帧图像的解码中使用的滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行解码。
15.根据权利要求13所述的动态图像解码装置,其特征在于,
所述滤波器信息存储单元在有多个所述参照图像的情况下,按照所述各参照图像存储在过去的帧图像的解码中使用的滤波器。
16.根据权利要求15所述的动态图像解码装置,其特征在于,
所述滤波器信息解码单元在有多个所述参照图像的情况下,按照所述各参照图像,对表示是在所述过去的帧图像的解码中使用的滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行解码。
17.一种动态图像解码装置,该动态图像解码装置按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,对帧图像的以时间序列构成的动态图像进行解码,其特征在于,该动态图像解码装置具有:
滤波器信息存储单元,其存储在前一帧的帧图像的解码中使用的滤波器;以及
滤波器信息解码单元,其从至少包含由所述滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
18.根据权利要求17所述的动态图像解码装置,其特征在于,
所述滤波器信息解码单元对表示是在所述前一帧的帧图像的解码中使用的滤波器的标识符进行解码。
19.根据权利要求17所述的动态图像解码装置,其特征在于,
所述滤波器信息存储单元在有多个所述参照图像的情况下,按照所述各参照图像存储在所述前一帧的帧图像的解码中使用的滤波器。
20.根据权利要求19所述的动态图像解码装置,其特征在于,
所述滤波器信息解码单元在有多个所述参照图像的情况下,按照所述各参照图像,对表示是在所述前一帧的帧图像的解码中使用的滤波器的标识符进行解码。
21.根据权利要求13~20中的任一项所述的动态图像解码装置,其特征在于,
所述滤波器信息解码单元从还包含在水平和垂直方向独立的非对称形滤波器在内的所述滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
22.根据权利要求21所述的动态图像解码装置,其特征在于,
所述滤波器信息解码单元对表示是所述非对称形滤波器的标识符和该非对称形滤波器的滤波器系数进行解码。
23.根据权利要求13~20中的任一项所述的动态图像解码装置,其特征在于,
所述滤波器信息解码单元从还包含预定的基准滤波器在内的所述滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
24.根据权利要求23所述的动态图像解码装置,其特征在于,
所述滤波器信息解码单元对表示所述基准滤波器的标识符进行解码。
25.一种动态图像编码方法,该动态图像编码方法由动态图像编码装置针对帧图像的以时间序列构成的动态图像,按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,其特征在于,该动态图像编码方法具有:
滤波器信息存储步骤,其由所述动态图像编码装置存储在过去的帧图像的编码中使用的滤波器;
滤波器决定步骤,其由所述动态图像编码装置从至少包含在所述滤波器信息存储步骤中所存储的滤波器在内的多个滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器;以及
滤波器信息编码步骤,其由所述动态图像编码装置对表示在所述滤波器决定步骤中所决定的滤波器的信息进行编码。
26.根据权利要求25所述的动态图像编码方法,其特征在于,
在所述滤波器决定步骤中所决定的滤波器是在所述过去的帧图像的编码中使用的滤波器的情况下,所述滤波器信息编码步骤对表示是该滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行编码。
27.根据权利要求25所述的动态图像编码方法,其特征在于,
在所述滤波器信息存储步骤中,在有多个所述参照图像的情况下,按照所述各参照图像存储在过去的帧图像的编码中使用的滤波器,
在所述滤波器决定步骤中,在有多个所述参照图像的情况下,从至少包含在所述滤波器信息存储步骤中所存储的滤波器在内的多个滤波器候选中,按照所述各参照图像选择在当前的帧图像的编码中使用的滤波器。
28.根据权利要求27所述的动态图像编码方法,其特征在于,
在所述滤波器信息编码步骤中,在有多个所述参照图像、且在所述滤波器决定步骤中所决定的滤波器是在所述过去的帧图像的编码中使用的滤波器的情况下,按照所述各参照图像,对表示是该滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的滤波器信息的标识符进行编码。
29.一种动态图像编码方法,该动态图像编码方法由动态图像编码装置针对帧图像的以时间序列构成的动态图像,按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,其特征在于,该动态图像编码方法具有:
滤波器信息存储步骤,其由所述动态图像编码装置存储在前一帧的帧图像的编码中使用的滤波器;
滤波器决定步骤,其由所述动态图像编码装置从至少包含在所述滤波器信息存储步骤中所存储的滤波器在内的多个滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器;以及
滤波器信息编码步骤,其由所述动态图像编码装置对表示在所述滤波器决定步骤中所决定的滤波器的信息进行编码。
30.根据权利要求29所述的动态图像编码方法,其特征在于,
在所述滤波器决定步骤中所决定的滤波器是在所述前一帧的帧图像的编码中使用的滤波器的情况下,所述滤波器信息编码步骤对表示是该滤波器的标识符进行编码。
31.根据权利要求29所述的动态图像编码方法,其特征在于,
在所述滤波器信息存储步骤中,在有多个所述参照图像的情况下,按照所述各参照图像存储在所述前一帧的帧图像的编码中使用的滤波器,
在所述滤波器决定步骤中,在有多个所述参照图像的情况下,从至少包含在所述滤波器信息存储步骤中所存储的滤波器在内的多个滤波器候选中,按照所述各参照图像选择在当前的帧图像的编码中使用的滤波器。
32.根据权利要求31所述的动态图像编码方法,其特征在于,
在所述滤波器信息编码步骤中,在有多个所述参照图像、且在所述滤波器决定步骤中所决定的滤波器是在所述前一帧的帧图像的编码中使用的滤波器的情况下,按照所述各参照图像,对表示是该滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的滤波器信息的标识符进行编码。
33.根据权利要求25~32中的任一项所述的动态图像编码方法,其特征在于,
所述滤波器决定步骤从还包含在水平和垂直方向独立的非对称形滤波器在内的所述滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器。
34.根据权利要求33所述的动态图像编码方法,其特征在于,
在所述滤波器决定步骤中所决定的滤波器是所述非对称形滤波器的情况下,所述滤波器信息编码步骤对表示是该非对称形滤波器的标识符和该非对称形滤波器的滤波器系数进行编码。
35.根据权利要求25~32中的任一项所述的动态图像编码方法,其特征在于,
所述滤波器决定步骤从还包含预定的基准滤波器在内的所述滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器。
36.根据权利要求35所述的动态图像编码方法,其特征在于,
在所述滤波器决定步骤中所决定的滤波器是所述基准滤波器的情况下,所述滤波器信息编码步骤对表示该基准滤波器的标识符进行编码。
37.一种动态图像解码方法,该动态图像解码方法由动态图像解码装置按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,对帧图像的以时间序列构成的动态图像进行解码,其特征在于,该动态图像解码方法具有:
滤波器信息存储步骤,其由所述动态图像解码装置存储在过去的帧图像的解码中使用的滤波器;以及
滤波器信息解码步骤,其由所述动态图像解码装置从至少包含在所述滤波器信息存储步骤中所存储的滤波器在内的多个滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
38.根据权利要求37所述的动态图像解码方法,其特征在于,
所述滤波器信息解码步骤对表示是在所述过去的帧图像的解码中使用的滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行解码。
39.根据权利要求37所述的动态图像解码方法,其特征在于,
在所述滤波器信息存储步骤中,在有多个所述参照图像的情况下,按照所述各参照图像存储在过去的帧图像的解码中使用的滤波器。
40.根据权利要求39所述的动态图像解码方法,其特征在于,
在所述滤波器信息解码步骤中,在有多个所述参照图像的情况下,按照所述各参照图像,对表示是在所述过去的帧图像的解码中使用的滤波器的标识符和用于识别使用了该滤波器的过去的帧图像的标识符进行解码。
41.一种动态图像解码方法,该动态图像解码方法由动态图像解码装置按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,对帧图像的以时间序列构成的动态图像进行解码,其特征在于,该动态图像解码方法具有:
滤波器信息存储步骤,其由所述动态图像解码装置存储在前一帧的帧图像的解码中使用的滤波器;以及
滤波器信息解码步骤,其由所述动态图像解码装置从至少包含在所述滤波器信息存储步骤中所存储的滤波器在内的多个滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
42.根据权利要求41所述的动态图像解码方法,其特征在于,
所述滤波器信息解码步骤对表示是在所述前一帧的帧图像的解码中使用的滤波器的标识符进行解码。
43.根据权利要求41所述的动态图像解码方法,其特征在于,
在所述滤波器信息存储步骤中,在有多个所述参照图像的情况下,按照所述各参照图像存储在所述前一帧的帧图像的解码中使用的滤波器。
44.根据权利要求43所述的动态图像解码方法,其特征在于,
在所述滤波器信息解码步骤中,在有多个所述参照图像的情况下,按照所述各参照图像,对表示是在所述前一帧的帧图像的解码中使用的滤波器的标识符进行解码。
45.根据权利要求37~44中的任一项所述的动态图像解码方法,其特征在于,
所述滤波器信息解码步骤从还包含在水平和垂直方向独立的非对称形滤波器在内的所述滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
46.根据权利要求45所述的动态图像解码方法,其特征在于,
所述滤波器信息解码步骤对表示是所述非对称形滤波器的标识符和该非对称形滤波器的滤波器系数进行解码。
47.根据权利要求37~44中的任一项所述的动态图像解码方法,其特征在于,
所述滤波器信息解码步骤从还包含预定的基准滤波器在内的所述滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
48.根据权利要求47所述的动态图像解码方法,其特征在于,
所述滤波器信息解码步骤对表示所述基准滤波器的标识符进行解码。
49.一种动态图像编码程序,该动态图像编码程序使计算机针对帧图像的以时间序列构成的动态图像,按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,其特征在于,该动态图像编码程序使计算机发挥以下单元的功能:
滤波器信息存储单元,其存储在过去的帧图像的编码中使用的滤波器;
滤波器决定单元,其从至少包含由所述滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中选择并决定在当前的帧图像的编码中使用的滤波器;以及
滤波器信息编码单元,其对表示由所述滤波器决定单元所决定的滤波器的信息进行编码。
50.一种动态图像解码程序,该动态图像解码程序使计算机按照各帧图像使用滤波器生成分数像素精度的参照图像来进行移动补偿,对帧图像的以时间序列构成的动态图像进行解码,其特征在于,该动态图像解码程序使计算机发挥以下单元的功能:
滤波器信息存储单元,其存储在过去的帧图像的解码中使用的滤波器;以及
滤波器信息解码单元,其从至少包含由所述滤波器信息存储单元所存储的滤波器在内的多个滤波器候选中选择在当前的帧图像的解码中使用的滤波器并进行解码。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006-324925 | 2006-11-30 | ||
JP2006324925 | 2006-11-30 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800440230A Division CN101543081B (zh) | 2006-11-30 | 2007-11-28 | 动态图像编码装置、动态图像编码方法、动态图像解码装置、动态图像解码方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102497551A true CN102497551A (zh) | 2012-06-13 |
Family
ID=39491974
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011104017563A Pending CN102497551A (zh) | 2006-11-30 | 2007-11-28 | 动态图像编码装置及方法、动态图像解码装置及方法 |
CN2007800440230A Expired - Fee Related CN101543081B (zh) | 2006-11-30 | 2007-11-28 | 动态图像编码装置、动态图像编码方法、动态图像解码装置、动态图像解码方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800440230A Expired - Fee Related CN101543081B (zh) | 2006-11-30 | 2007-11-28 | 动态图像编码装置、动态图像编码方法、动态图像解码装置、动态图像解码方法 |
Country Status (11)
Country | Link |
---|---|
US (1) | US9014267B2 (zh) |
EP (1) | EP2104358A4 (zh) |
JP (2) | JP4956550B2 (zh) |
KR (2) | KR20110059665A (zh) |
CN (2) | CN102497551A (zh) |
AU (1) | AU2007330109A1 (zh) |
BR (1) | BRPI0720762A2 (zh) |
CA (1) | CA2671180A1 (zh) |
MX (1) | MX2009005663A (zh) |
RU (2) | RU2009124928A (zh) |
WO (1) | WO2008069073A1 (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8638852B2 (en) | 2008-01-08 | 2014-01-28 | Qualcomm Incorporated | Video coding of filter coefficients based on horizontal and vertical symmetry |
JP2010157949A (ja) * | 2009-01-05 | 2010-07-15 | Toshiba Corp | 動画像符号化/復号化方法及び装置 |
WO2012044487A1 (en) * | 2010-10-01 | 2012-04-05 | Dolby Laboratories Licensing Corporation | Optimized filter selection for reference picture processing |
EP2262267A1 (en) * | 2009-06-10 | 2010-12-15 | Panasonic Corporation | Filter coefficient coding scheme for video coding |
WO2011039931A1 (ja) * | 2009-09-30 | 2011-04-07 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
WO2011087932A1 (en) * | 2010-01-14 | 2011-07-21 | Dolby Laboratories Licensing Corporation | Buffered adaptive filters |
CN102349299B (zh) | 2010-03-09 | 2015-10-21 | 松下知识产权经营株式会社 | 动态图像解码装置、动态图像编码装置、动态图像解码电路及动态图像解码方法 |
JP5563403B2 (ja) * | 2010-08-12 | 2014-07-30 | 日本電信電話株式会社 | 映像符号化方法,映像復号方法,映像符号化装置,映像復号装置およびそれらのプログラム |
JP5524762B2 (ja) * | 2010-08-12 | 2014-06-18 | 日本電信電話株式会社 | 映像符号化方法,映像復号方法,映像符号化装置,映像復号装置およびそれらのプログラム |
JP5485851B2 (ja) | 2010-09-30 | 2014-05-07 | 日本電信電話株式会社 | 映像符号化方法,映像復号方法,映像符号化装置,映像復号装置およびそれらのプログラム |
US9628821B2 (en) | 2010-10-01 | 2017-04-18 | Apple Inc. | Motion compensation using decoder-defined vector quantized interpolation filters |
US9445126B2 (en) | 2011-01-05 | 2016-09-13 | Qualcomm Incorporated | Video filtering using a combination of one-dimensional switched filter and one-dimensional adaptive filter |
US9172972B2 (en) | 2011-01-05 | 2015-10-27 | Qualcomm Incorporated | Low complexity interpolation filtering with adaptive tap size |
JP5670226B2 (ja) * | 2011-03-04 | 2015-02-18 | Kddi株式会社 | 動画像符号化装置、動画像符号化方法、およびプログラム |
JP5762243B2 (ja) * | 2011-10-18 | 2015-08-12 | 日本電信電話株式会社 | 映像符号化方法,装置,映像復号方法,装置およびそれらのプログラム |
JPWO2013065673A1 (ja) | 2011-10-31 | 2015-04-02 | 三菱電機株式会社 | 動画像復号装置 |
JP6065613B2 (ja) | 2013-01-29 | 2017-01-25 | 富士通株式会社 | 動画像符号化装置 |
US11122262B2 (en) | 2014-06-27 | 2021-09-14 | Samsung Electronics Co., Ltd. | System and method for motion compensation in video coding |
JP6049024B2 (ja) * | 2014-08-11 | 2016-12-21 | 株式会社チャオ | 画像伝送装置、画像伝送方法および画像伝送プログラム |
KR102252298B1 (ko) * | 2016-10-21 | 2021-05-14 | 삼성전자주식회사 | 표정 인식 방법 및 장치 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0638197A (ja) | 1992-06-30 | 1994-02-10 | Sony Corp | 符号器、復号器、および符号化方法 |
DE10120395A1 (de) * | 2001-04-25 | 2002-10-31 | Bosch Gmbh Robert | Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder |
CN1298171C (zh) * | 2001-09-18 | 2007-01-31 | 松下电器产业株式会社 | 图像的编码方法和图像的译码方法 |
CN100553321C (zh) * | 2002-01-14 | 2009-10-21 | 诺基亚有限公司 | 编码动态滤波器 |
AU2003246987A1 (en) * | 2002-07-09 | 2004-01-23 | Nokia Corporation | Method and system for selecting interpolation filter type in video coding |
US20040076333A1 (en) * | 2002-10-22 | 2004-04-22 | Huipin Zhang | Adaptive interpolation filter system for motion compensated predictive video coding |
JP3999634B2 (ja) * | 2002-11-11 | 2007-10-31 | 日本電信電話株式会社 | 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラム,画像復号プログラムおよびそのプログラムを記録した記録媒体 |
JP3997171B2 (ja) * | 2003-03-27 | 2007-10-24 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
JP4817000B2 (ja) * | 2003-07-04 | 2011-11-16 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US20050158145A1 (en) * | 2004-01-16 | 2005-07-21 | Junkers John K. | Washer, fastener provided with a washer, method of and power tool for fastening objects |
JP2006211152A (ja) * | 2005-01-26 | 2006-08-10 | Hokkaido Univ | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム |
EP1886502A2 (en) * | 2005-04-13 | 2008-02-13 | Universität Hannover | Method and apparatus for enhanced video coding |
US8208564B2 (en) * | 2005-06-24 | 2012-06-26 | Ntt Docomo, Inc. | Method and apparatus for video encoding and decoding using adaptive interpolation |
CN100455025C (zh) * | 2005-07-21 | 2009-01-21 | 华为技术有限公司 | 一种分数像素插值方法和编解码设备 |
US7903733B2 (en) * | 2006-01-26 | 2011-03-08 | Qualcomm Incorporated | Adaptive filtering to enhance video encoder performance |
-
2007
- 2007-11-28 CN CN2011104017563A patent/CN102497551A/zh active Pending
- 2007-11-28 KR KR1020117010871A patent/KR20110059665A/ko not_active Application Discontinuation
- 2007-11-28 EP EP07832673.3A patent/EP2104358A4/en not_active Withdrawn
- 2007-11-28 CN CN2007800440230A patent/CN101543081B/zh not_active Expired - Fee Related
- 2007-11-28 JP JP2008548241A patent/JP4956550B2/ja not_active Expired - Fee Related
- 2007-11-28 CA CA 2671180 patent/CA2671180A1/en not_active Abandoned
- 2007-11-28 BR BRPI0720762-0A2A patent/BRPI0720762A2/pt not_active IP Right Cessation
- 2007-11-28 RU RU2009124928/09A patent/RU2009124928A/ru not_active Application Discontinuation
- 2007-11-28 KR KR1020097013544A patent/KR20090094343A/ko not_active Application Discontinuation
- 2007-11-28 WO PCT/JP2007/072951 patent/WO2008069073A1/ja active Application Filing
- 2007-11-28 AU AU2007330109A patent/AU2007330109A1/en not_active Abandoned
- 2007-11-28 MX MX2009005663A patent/MX2009005663A/es active IP Right Grant
-
2009
- 2009-05-29 US US12/475,087 patent/US9014267B2/en not_active Expired - Fee Related
-
2011
- 2011-02-03 RU RU2011103872/07A patent/RU2011103872A/ru not_active Application Discontinuation
-
2012
- 2012-03-16 JP JP2012060512A patent/JP2012142986A/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
CN101543081A (zh) | 2009-09-23 |
CA2671180A1 (en) | 2008-06-12 |
BRPI0720762A2 (pt) | 2014-01-21 |
EP2104358A1 (en) | 2009-09-23 |
RU2011103872A (ru) | 2012-08-10 |
US9014267B2 (en) | 2015-04-21 |
WO2008069073A1 (ja) | 2008-06-12 |
MX2009005663A (es) | 2009-09-07 |
JP4956550B2 (ja) | 2012-06-20 |
RU2009124928A (ru) | 2011-01-10 |
EP2104358A4 (en) | 2016-04-27 |
JPWO2008069073A1 (ja) | 2010-03-18 |
CN101543081B (zh) | 2012-02-22 |
KR20110059665A (ko) | 2011-06-02 |
US20090274216A1 (en) | 2009-11-05 |
JP2012142986A (ja) | 2012-07-26 |
AU2007330109A1 (en) | 2008-06-12 |
KR20090094343A (ko) | 2009-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101543081B (zh) | 动态图像编码装置、动态图像编码方法、动态图像解码装置、动态图像解码方法 | |
CN110839153B (zh) | 一种处理视频数据的方法和装置 | |
CN102763418B (zh) | 视频信号解码方法和设备 | |
CN110809887B (zh) | 用于多参考预测的运动矢量修正的方法和装置 | |
CN102845060B (zh) | 用于视频的数据压缩 | |
EP2091258B1 (en) | An encoding/decoding method and device, a fractional pixel interpolation processing method and device | |
CN104247427A (zh) | 使用分区编码的有效预测 | |
KR101273232B1 (ko) | 업―샘플링을 위한 뷰들 간의 불일치에 기초하여 적응형 보간을 이용하는, 디―인터리브된 뷰들의 재구성 | |
CN101491101B (zh) | 用于自适应参考滤波的方法和装置 | |
EP1406449A2 (en) | Interpolation apparatus and method for motion compensation | |
CN103108187B (zh) | 一种三维视频的编码方法、解码方法、编码器和解码器 | |
CN107277550A (zh) | 多视点信号编解码器 | |
CN104539963A (zh) | 由视频解码装置执行的方法 | |
CN101202913A (zh) | 用于编码和解码视频图像的方法和设备 | |
CN102474619A (zh) | 运动矢量预测方法以及使用该方法对图像编码和解码的设备和方法 | |
CN103329534A (zh) | 图像编码装置及图像解码装置 | |
CN104967851A (zh) | 用于运动补偿预测的方法和设备 | |
US20180227595A1 (en) | Compressor | |
EP2224747A1 (en) | Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program | |
CN104756496B (zh) | 图像间预测方法和设备以及对应的编码方法和装置 | |
US20120300848A1 (en) | Apparatus and method for generating an inter-prediction frame, and apparatus and method for interpolating a reference frame used therein | |
JP4251291B2 (ja) | 動画像符号化装置、動画像符号化方法 | |
Hussain et al. | Block matching algorithms for motion estimation–A comparison study | |
JP4870143B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法 | |
AU2012200473A1 (en) | Dynamic image encoding device, dynamic image encoding method, dynamic image encoding program, dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120613 |