CN1127266C - 通过亮度估算进行编码的方法和装置 - Google Patents
通过亮度估算进行编码的方法和装置 Download PDFInfo
- Publication number
- CN1127266C CN1127266C CN98105737A CN98105737A CN1127266C CN 1127266 C CN1127266 C CN 1127266C CN 98105737 A CN98105737 A CN 98105737A CN 98105737 A CN98105737 A CN 98105737A CN 1127266 C CN1127266 C CN 1127266C
- Authority
- CN
- China
- Prior art keywords
- image
- reference picture
- circuit
- prediction
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/99—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals involving fractal coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
一种用于对来自视频图像序列的数字数据进行编码的方法,它对要被编码的图像部分与从所谓的参考图像中预测的图像的相应部分之间的亮度差(7)进行编码,其中预测被作为参考图像的亮度值的亮度补偿(12)的函数。本发明涉及数字视频数据压缩的技术领域。
Description
技术领域
本发明涉及数字视频图像序列的编码。该领域的现有问题是通过开发出一组用于调节费用和压缩质量的参数,来对可视信息进行压缩。这样就可能遵守基本上取决于预期应用的一些约束。质量标准可能迫使对信息进行压缩但不影响其最后的重建。例如,在遥测(teledetection)或者生产应用以及存储应用中的情况就是这样。另一方面,质量要求可能不太苛刻,尽管大于所需的最低限度,这就需要根据给定传输信道的容量来压缩信息。例如,在电视电话(videophone)应用中(通过ISDN(Integrated Services DigitalNetwork,综合业务数字网)或者STN(Switched Telephone Network,交换电话网))或者在战场上的通讯应用中的情况就是这样的。最后,最常见的情况是质量降低与压缩性能之间的折衷。在广播应用,或者视频发行应用(紧致盘(Compact Disc)视频如数字视盘)中的情况就是这样的。另外还有实际的约束。
背景技术
主要编码方法可以看成是根据它们的特征来使用的几种技术的组合体。
因此,这里可以区分:
-通过预测进行编码,一方面提供估算,而另一方面参考估算误差对估算进行修正。
-通过变换进行编码,通过表示空间的变换对信息进行解相关(decorrelate),使得信息更加简洁;
-通过近似进行编码,用其它预定的或者至少简化的信息来代替该信息。
本领域最新发展在于通过运动来预测(prediction through motion)。一方面离散余弦变换(DCT)使得帧内模式(intra mode)中局部地减少图像的冗余成为可能,另一方面运动补偿的目的是减少瞬时冗余(temporal redundancy)。运动信息对应于所谓的“参考”图像和当前研究的图像之间的局部相似联系,而且可以用前面的景物的物理运动的概念来解释。因此,考虑把图像划分成块,针对这些块的每一块,在另一研究的图像上搜索与之最相似的块。于是(水平,垂直)运动就是相对于第一块的位置来说,在两块之间的位置(行方向,列方向)之差,并且每块都被编码一次。向这种运动信息补充与预测的残差(residue)有关的数据(通过运动进行预测时的误差值)。这与帧内图像数据的处理方式相似。
用于对图像序列进行编码的最新的方案是采用通过预测的运动数据。MPEG2算法是这种方案中的一个好的例子。
数据压缩取得的进展可以认为是不够的,对于给定的比特率,希望有更好的图像质量,或者对于给定的最终质量,希望有更小的比特率,从而编码代价更少。
发明内容
本专利申请的目的在于弥补前述缺陷。
为此,本发明的目的是提供一种用于对来自视频图像序列的数字数据进行编码的方法,它对要被编码的图像部分(segment)与从所谓的参考图像中预测的图像的相应部分之间的亮度差进行编码,其中预测被作为参考图像的亮度值的亮度补偿的函数。
按照本发明的上述方法对要被编码的当前图像部分与预测的图像部分之间的亮度差进行编码,以给出残差,该方法包括确定参考图像中与所述当前图像部分相关的参考图像部分的步骤,这种参考图像部分由所谓的运动参数定义,其特征在于,该方法还包括下列步骤:
通过使经过变换的当前图像部分与所述参考图像部分之间或者所述当前图像部分与经过变换的参考图像部分之间的亮度差最小,对于所述当前图像部分,确定变换的变换系数,
按照所述变换系数,计算所述预测的图像部分。
本发明的目的还在于提供一种实现上述方法的装置,用于对来自视频序列的数字数据进行编码,该装置包括:用于计算两图像间运动矢量的运动估算电路;根据参考图像用于计算预测图像的运动补偿电路;用当前图像减去预测图像来计算编码的残差的减法器,还包括用于估算两相同图像间的亮度的电路,以及接收来自亮度估算和运动估算电路的信息、用于计算预测图像的亮度补偿电路。
按照本发明的一个方面,提供一种按照本发明的方法对数据编码的装置,包括一个减法器,用于给出残差,所述残差是当前图像部分与预测的图像部分之间的亮度差,还包括一个运动估算电路,接收当前图像部分和参考图像,用于对由所谓的运动参数定义的参考图像部分进行计算,其特征在于,所述装置包括:亮度估算电路,接收所述参考图像部分和所述当前图像部分,通过使经过变换的当前图像部分与所述参考图像部分之间或者经过变换的参考图像部分与所述当前图像部分之间的亮度差最小,计算变换系数;和亮度补偿电路,接收用于计算预测的图像部分的所述变换系数。
按照本发明的另一方面,提供一种按照本发明的方法对数据编码的装置,包括:运动估算电路,接收当前图像部分和参考图像,用于对由所谓的运动参数定义的参考图像部分进行计算,其特征在于,所述装置还包括:滤波器和欠采样器,接收所述当前图像,以计算所述参考图像,亮度估算电路接收参考图像部分和当前图像部分,以通过使经过变换的当前图像部分与所述参考图像部分之间或者经过变换的参考图像部分与所述当前图像部分之间的亮度差最小,计算变换系数,以及运动和亮度补偿电路,接收运动参数和变换系数,通过按照所述运动参数和变换系数连续迭代任意图像来计算预测的图像部分。
本发明的目的还在于提供一种根据前面的方法对已编码的数字数据进行解码的方法和装置,用于由残差和预测图像计算重建的图像,该装置包含一种用于作为亮度矢量的函数对亮度进行补偿的电路,用于计算预测图像,其中亮度矢量是多个亮度估算信息项。
按照本发明的对数字数据进行解码的方法,这些数据包括变换系数和与残差相关的运动参数,所述残差是当前图像部分与预测的图像部分之间的亮度差,该方法包括步骤:计算从所述残差和所述预测的图像重建的图像,其特征在于,该方法还包括步骤:为计算所述预测的图像部分,按照变换系数的函数,通过将数学变换应用于亮度值,从参考图像进行亮度补偿。
按照本发明的对数字数据进行解码的装置,这些数据包括变换系数、运动参数和残差,所述残差是当前图像部分与预测的图像部分之间的亮度差,该装置包括一个加法器,用于从残差和预测的图像部分计算重建的图像,其特征在于,它包括一个亮度补偿电路,接收参考图像,以作为变换系数的函数计算亮度,从而计算预测的图像部分。
按照本发明的一种解码装置用于计算从残差和预测的图像重建的图像,其特征在于,它包括一个亮度补偿电路,接收所述重建图像,以作为变换系数的函数补偿先前重建的图像,从而计算预测的图像部分。
另外,按照本发明的另一种解码装置用于计算从残差和预测的图像重建的图像,其特征在于,它包括运动和亮度补偿电路,借助于一个滤波器和一个欠采样器将运动和亮度补偿电路的输出端馈送到其输入端,以便通过连续迭代任意图像(Io)计算预测的图像,迭代包括滤波、欠采样、以及按照所述变换系数和运动参数的补偿。
这种方法的要点是:采用所谓的亮度补偿,通过运动补偿来改进预测。
这还能够实现:根据运动、亮度和残差数据,利用与帧间补偿相同的机理,用所谓的自动补偿图像代替帧内图像。
本发明能减少包含在残差内的信息数量,而不管亮度估算之前使用的运动分析方法如何。通过所谓的亮度方法来改进运动模型能大大地减少残差,并且残差信息的减少量大于相应亮度信息的增加量,该新的帧间图像编码是很有效的。
此外,本发明提出了一种统一编码方案,其中用于帧内图像的方法与用于帧间图像的方法的差别是很小的。本发明的实现是简单的并且比较便宜,这是由于它通过结合一种从硬件角度来看具有低复杂度的方法,以不同方式利用了现有方案的各元素。
本发明独立于每种信息项(运动、亮度、残差)的具体编码。使用的这种方法可以被包括在MPEG2编码方案中,即使有关亮度的数据是在标准数据以外被编码的。
当景物照明发生变化时,这些亮度补偿技术是特别有效的,而在现有技术中,在此种情况下通常会导致使用昂贵的帧内编码。
附图说明
通过下面结合附图对非限制性实施例进行描述,本发明的其它特征和优点将更清楚,其中,
图1是依照本发明的编码电路的框图;
图2是依照本发明的解码电路的框图。
具体实施方式
参照图1所示装置的框图介绍依照本发明的方法。
编码装置包括第一和第二输入端。图像在t时刻输入到第一输入端,在t+1时刻输入到第二输入端。第一输入端并行地连接到滤波电路1的输入端、具有两个输入和一个输出的开关2的第一输入端、以及具有两个输入和一个输出的开关3的第一输入端。滤波电路1的输出端连接到欠采样(sub-sampling)电路4的输入端,并且后者的输出端连接到开关2的第二输入端。
编码装置的第二输入端连接到开关3的第二输入端。
开关2和开关3是双位置开关(two-position switch),位置1在图上用虚线表示并对应为第一输入端,同时位置2在图上用实线表示并对应为第二输入端。这样,开关2的位置1对应于它的第一输入端,开关3的位置1对应于它的第二输入端。下面介绍的开关都有1和2两个位置。这些开关同时位于相同位置1或2(在图中分别用虚线和实线表示)。
开关2和3的输出端分别连接到运动和亮度估算电路5的两个输入端,同时分别连接到具有两个输入端和一个输出端的开关6的第一输入端(对应于位置1)、和加法电路7的第一输入端。亮度和运动估算电路的第一输出端连接到运动编码电路8的输入端,并且第二输入端连接到亮度编码电路9的输入端。每个编码电路的各自输出端S2和S3对应于所述编码装置的输出端。它们还分别连接到运动解码电路10和亮度解码电路11,这些电路的每个输出端分别连接到运动和亮度补偿电路12的第一输入端和第二输入端。开关6的输出连接到电路12的第三输入端。运动和亮度补偿电路的输出端连接到具有一个输入端和两个输出端的开关13的输入端。该开关的第一输出端(对应于位置2)连接到迭代和路由计算电路14的输入端,这个电路的第一输出端连接到具有两个输入端和一个输出端的开关15的第一输入端(对应于位置2),并且这个电路的第二输出端连接到滤波器16的输入端。滤波器16的输出端经欠采样电路17连接到开关6的第二输入端。开关13的第二输出端连接到开关15的第二输入端。开关15的输出端连接到加法电路7的第二输入端。这个电路的输出端连接到残差编码电路18的输入端,残差编码电路18的输出端S1是该编码装置的第三输出端。
对应于时刻t和时刻t+1的数字图像I(t)和I(t+1)被送到该装置的输入端。它们是例如图像序列中的两幅相邻图像。
所述编码的第一种模式是编码的帧间模式,对应于开关的位置1,图中用虚线所示。
在第一种模式中,图像I(t)经开关2传输给运动和亮度估算器5的第一输入端,并且图像I(t+1)经开关3传输给电路5的第二输入端。因此电路5进行图像I(t)和图像I(t+1)间运动的估算,并且根据一种常规方法,如块匹配(block matching),计算出运动矢量。这种方法利用例如最小二乘法(theleast squares method)进行每个图像块的运动估算。
用后述的估算参数(或者预测参数)cs和bo(作为该电路计算的运动估算的函数)计算出每个图像块的亮度估算值。
这种所谓的亮度补偿用作运动补偿的补充。它不受后者和运动结果的性质限制。事实上亮度补偿通过统计来充分利用两块间或者邻域(neighbourhood)间运动所揭示出的联系。实际中,这种补偿方法后验地(aposteriori)估算出块或邻域与通过运动分析预先相联系的另一块或邻域之间存在的线性关系。
运动分析问题可以表达如下:
考虑参考图像I的元素,诸如点(x,y,z)、邻域、块、区等等。要求根据利用已知方法(如最小二乘方法、梯度法等)的相应准则联系所研究的图像I′的另一同类元素如点(x′,y′,z′)、邻域、块、区等,并用运动概念进行解释。
符号z和z′表示灰度级值,它分别对应于图像I和I′中的坐标(x,y)和(x′,y′)。当有关运动的变换选为线性(建模为线性二维(2D)运动)时,估算参数可描述如下:
然后参数(a,b,c,d)与旋转联系,并且参数(tx,ty,0)与平移联系。在这个方程中,旋转实际上可被忽略,返回到第一种运动模型的表达式。
亮度分析问题可以表达如下:从先前的数据(两个图像元素之间对应关系的数据,它定义了图像元素对(pairs of image elements))开始,要求估算运动系数的互补系数,这些系数将与灰度级相联系。实际上,它们使得对图像元素的灰度级的变换成为可能,从而可对相关元素的灰度级进行预测(因此名称为亮度补偿)。一种估计这些数值的方法是最小二乘法。也可以利用其它解法,而且这个例子决不是限制。当把亮度变换选择为线性时,可以把有关系数叫做对比度定标(contrast scaling)cs,以及亮度偏移bo。下面的实例考虑这种选择。
这样,这些值a、b、c、d认为是已知的,同样tx和ty也是已知的。
因此还需要估计e、f、g、h和cs和bo。开头的那些对应于灰度级与空间定位之间的相关性。它们通常非常接近于零,因此它们可以被先验地忽略,并且我们可以采用e=f=g=h=0.0。因此,最后还剩下cs和bo需要估计,它实际上对应于亮度补偿。这样,工作矩阵方程成为:
值cs和bo可以涉及图像块、像素或者区,这取决于运动补偿是对图像块、像素还是对区进行的。因此亮度补偿也在与运动补偿相同的图像区域上进行。
在理想情况下,即运动可被精确地估算而且假设照明效果可忽略不计(在运动补偿的常规利用中的确会做出这样假设,即景物的亮度没有变化的模型),或者在亮度补偿被忽略的情况下,cs和bo等于1.0和0.0。实际的结果是要么运动估算不精确(例如,对每块进行运动估算时物体边缘的运动),要么照明效果假设不完全有效。此外,证实在例如2个匹配的元素(块等)间存在统计相关性是很简单的。该结果通过对cs和bo的估算,清楚地表明进行亮度补偿的用处。
然而,在这里已观察到质的问题。特别在具有陡梯度的区或者当估算的运动包括相对于实际运动的微小偏移时,可以观察到模糊效应,即在亮度补偿期间灰度级的平滑。因此,在这种情况下,由于这种误差,对不精确地对应该景物的实际运动的像素进行亮度补偿。因应用而异,这可能会限制它的使用,即使亮度补偿的残留误差(residue error)总是很小(例如,减慢频繁观察到估算运动的偏移、但仍然允许非常好的图像内插的图像)。在这种情况下,用于决定是否对块或给定的邻域或区使用亮度数据的准则必定与残差的质的方面有关。通过传送残差数据,当然可能通过亮度补偿消除预测图像上的模糊效应,但是被传送的信息数量直接与这种模糊效应有关。决定准则,例如图像块中能量的计算,使得通过在那些存在的模式中确定出最合适的编码模式来解决这个问题成为可能。
一种可能的估算器采用最小二乘法。由于线性变换假设,这意味着在由一对的每个元素的灰度级组成的2个数值集合间进行线性回归(linearregression)。设(u)为图像I的E1元素的灰度级集合,并设(Ψu)为图像I′的E2元素的灰度级集合。通过运动估算器已经使E1和E2匹配起来了。下面,要求确定cs和bo的估算,因此我们得到:
其中
按照统计中使用的术语,E表示平均值,因而方程式(4)意味着块内的差的平方的均值趋于最小。
更具体地说,考虑含有n个像素的当前图像的图像块E1,在行i和列j的像素有亮度值pi,j。与这个块相关的是一个根据算出的运动矢量得到的预测块E2。设qk,l为这个图像块E2的行k到1处像素k,l的实际亮度值,通过运动估算(依照MPEG2为旋转和平移或者只进行平移)使该像素与像素i,j相匹配,而
是预测值。
我们求cs和bo,使得:
其中
通过计算匹配元素E1和E2的统计数据,使得对cs和bo进行估算成为可能。在这种情况下可以得到下面结果:
Cs·(E{u 2}-E{u}2=(E{u.Ψu}-E{u}.E{Ψu}) (6)
和
bo=E{Ψu}-cs·E{u} (7)
然后通过亮度和运动估算电路5,计算用于计算残差的预测块,作为当前图像的当前块的亮度值的函数和对这个当前块计算的值cs和bo的函数。
通过运动估算电路5计算出的运动矢量信息被传送到用于编码这些运动矢量的电路8,并且诸如参数cs和bo的亮度信息被传送到亮度编码电路9。
这些信息被编码,并且通过该装置的输出端S2和S3传送给解码器,或者当与每个解码器只希望有一个连接的情况下(例如在MPEG2框架中),这些信息与残差数据多路复用,并且编码后,在装置的输出端S1处得到。在后一种情况下,多路转换器(图中未示出)在所述装置的S1、S2、S3输出端得到的所有信息恢复出来,组合它们,并且以数据流或者“比特流”的常规方法把它传输给相关解码器组。
运动和亮度补偿电路12取得解码的信息cs和bo以及从运动和亮度解码器输出的已解码的运动矢量,为的是计算预测图像。以这种方式,运动补偿电路所利用的运动和亮度信息考虑编码的量化间隔(quantification interval)并且与图像解码器侧所用的补偿电路所用的量化间隔相同,选择的运动和亮度解码电路与图像解码器侧的完全相同。
在帧间模式,补偿电路在它的输入端接收图像I(t)。预测图像是从这个图像、运动矢量和参数cs及bo计算出来的,并且从该电路的输出端传送给减法器7。图像I(t)是在该减法器7的第一输入端被接收的,并且减去来自补偿电路的预测图像从而在减法器的输出端得到残差。然后通过利用例如离散余弦变换,这些残差数据被按照常规方法进行编码,并且随后从输出端S1传输,并且在必要时与前述的运动和亮度信息进行多路复用。
进行编码的帧内模式对应于图像I必须独立于先前图像被编码的情况。进行编码的第二种模式对应于开关的位置2,如图中实线所示。在这种模式中,图像I(t)被传输给完成线性滤波的滤波器1,并且送到进行欠采样、例如按2进行欠采样的欠采样器4中,从而得到图像I′(t)。欠采样的度数(degree)也可以先验地固定或者在每次发生操作时固定。在后一种情况下,这个数值对解码器必须是已知的(存储或者传输给解码器)。为了进行处理,该图像必须与图像I的尺寸相同,并且仍然通过电路4,把零值被实际上空间地附加在取样的图像上,从而得到图像I′(t)。获得的图像被传送到亮度和运动估算器的输入端。这个电路在它的第二输入端接收到图像I(t),并且得出图像I和相关图像I′之间运动M(更精确地说是解释为运动的、图像I和相关图像I′之间的相关性)的估算。在运动估算(理想情况是变焦运动)之后,在2个图像的基础上进行亮度估算,并且获得运动数据。
如前所述,本发明的一方面是同时利用帧间方法和帧内方法。因此使用了运动、亮度和残差数据。实际上,该方法是由Banach固定点定理(fixedpoint theorem of Banach)想出的(并且因而近似于分数维(fractal)技术和IFS,例如,描述在由M.H.Hayes所著的标题为“用于图像和视频编码的迭代函数系统(Iterated Function Systems for image and video coding)”的科技文章,发表在Joumal on Communications杂志1994年5~6月的第XLV册上)。
给一个例子,当前的图像划分成图像块并且随后被取样和被滤波,而且经滤波的图像分成与当前图像块尺寸相同的图像块。然后计算出当前图像的当前块与经滤波的图像的所有块或者当前块的邻域(例如,属于搜索窗)中d块之间的相关性。
通过使用下面解释的Banach定理,可以由累积的补偿得到帧内图像的重建。
根据分数维理论(fractal theory),重建可以简单地理解为它理论上应该重复无数次的运动和亮度补偿。为了这样做,它使用了IFS表示的图像结果。实际上,收敛是相当快地完成的,并且迭代次数最多为3和10之间。在编码器和解码器两侧都要固定相同的随机的或经验的选择,为的是在进行编码期间确定残差,以及为的是在图像重建期间有一致的结果。
和帧间模式一样,运动信息(运动矢量)和亮度信息(具有分量cs和bo的亮度矢量)被编码从而与残差数据多路复用,而且然后被解码,从而被传送给运动和亮度补偿电路12。在帧内模式中,电路在它的第三输入端接收在上次迭代(第一次迭代除外)期间计算的图像,而不是图像I(t)。第一图像是从运动和亮度信息中计算出的,并且作为输出传送给用于计算迭代次数和用于路由(routing)的电路14,电路14将接收到的算得的图像通过滤波器16和欠采样器17重新传输给补偿电路的输入端。在给定的迭代次数以后,重建的图像即预测的图像通过电路14送到减法器7,以便从图像I(t)中将其减去。
亮度和运动补偿电路的输出端因此通过环路与输入端相连,这样允许几个表示为c()的连续补偿,涉及运算子f(),它是由低通型线性滤波和例如被2空间划分的欠采样所构成的。补偿c()对运动补偿的依赖程度与对亮度补偿的依赖程度是一样的。
“重复”补偿在于完成下面算法(I0为随机值,而迭代次数固定为8):
-初始化 I=I0
-第i次迭代 (i<9):Ii=c(f(Ii-1))
-第8次和最后一次迭代 I8=c(f(I7))
I8是重建的图像。
于是,显然“通常的”补偿由“重复”补偿构成:
-累加次数等于1
-f()被恒等式所代替
-I0是参考图像R。
这种重复补偿因此使得作为解码的亮度和运动信息的函数计算I的预测成为可能。这样,帧内图像可以象帧间图像一样进行处理。这对硬件实现有一个重要结果,即用于帧内图像的结构与用于帧间图像的结构是相同的。其在编码器层的共同点如下:
-运动估算和有关编码;
-根据运动结果和有关编码进行亮度估算;
-根据参考图像或者从线性滤波及欠采样得到、并可以迭代重复(在帧内的情况下)的图像进行亮度和运动补偿,从而计算出重建的图像;
-通过减法和有关编码计算残差。
图2示出依照本发明的解码装置或解码器。在本图中,编码器与解码器共同的电路采用相同的标号。
在装置的第一和第二输入端E2和E3接收由前述编码器的输出端S2和S3传输来的运动和亮度信息。这种信息分别地传输到与编码器所用类型相同的运动解码电路10和亮度解码电路11的输入端。这些电路的输入被传输到与编码器所用类型相同的运动和亮度补偿电路12的第一和第二输入端。解码器的第三输入端E1接收传输到解码电路19中的残差数据,残差解码电路19的输出端和加法器20的第一输入端相连接。这个加法器的输出,也就是解码器的输出S,被传输给具有两个位置的开关6的第一输入端(对应于位置1,即帧间模式)。该开关的输出端与运动和亮度补偿电路12的第三输入端相连接。该电路的输出端与具有两个位置的第二开关13的输入端相连接。这个开关的对应于帧间模式的第一输出端连接到具有两个位置的第三开关15的对应于帧间模式的第一输入端。该第三开关的输出端与加法器20的第二输入端相连接。
在帧内模式中,第二开关13的输入端与它的第二输出端相连接,而该第二输出端与迭代和路由计算电路14的输入端相连接。该电路的第一输出端与开关15的第二输入端相连接,它的第二输出端经过串联的滤波电路16和欠采样电路17与开关6的第二输入端相连接。
这里的处理过程与编码的处理过程相同。由编码器传输来的并且分别在输入端E2、E3和E1接收到的运动、亮度和残差数据,被解码电路10、11、19所解码,这些解码电路完成与相应的编码器中的编码电路8、9、18相反的操作。
帧间模式利用参考图像R进行解码。亮度和运动补偿电路12鉴别存储的要使用的参考图像R(这也可能是预定的),并在解码的亮度和运动信息的基础上,从亮度方面和运动方面对它进行补偿,从而在输出端得到预测的图像。由电路19解码的残差通过加法器20附加在图像上,这样在加法器20的输出端得到重建的图像。这样的图像一方面可以是在前述装置的输出端S处得到。这样的图像另一方面也可以返回给补偿电路作为输入,而且可以被选做用于后面图像的帧间编码的参考图像。
帧内编码模式解码并不利用重建的图像做参考图像。它从电路12产生的或者驻留于电路12的存储器中的随机参考图像I0(它当然可以与编码器所用的参考图像不同)开始。第一次迭代是在该图像的基础上,通过滤波电路16、欠采样电路17以及后面的电路12完成的,它完成运动和亮度补偿作为由编码器传输来的数据的函数,从而得到新的图像I1等等。图像I(我们限制编码器层的迭代次数为7)是通过迭代和路由计算电路14传输给加法器的重建图像。
这里所述的解码装置有三个输入端,但是显然当亮度和运动数据与编码的残差数据多路复用时,则由解码器的输入端的多路分解器(图中未示出)把这些数据进行分类,从而把它们送到解码器相应的输入端E1、E2或者E3处。
编码和解码装置相同点如下:
-与运动相关的解码(motion-associated decoding);
-与亮度相关的解码(luminance-associated decoding);
-在参考图像(它可以是启动帧内模式情况下存储的空白图像)的基础上进行亮度和运动补偿,而且它可以与下一点结合重复迭代(帧内模式);
-依靠情况(帧内/帧间)而定的线性滤波和欠采样;
-与残差相关的解码(residue-associated decoding),以及通过补偿进行的重建。
总的来说,将会注意到没有做出与现有的运动场有关的假设。因此它可以是通过最小二乘法或梯度法得到的块方式的、区方式的、密集的、精确或者不精确的。
本发明因此可以改进根据运动补偿对数字图像序列进行编码的现有方案。它使用了现有的处理过程(估算、运动补偿;显示数据的编码;残差的处理),同时又独立于它们定义。
这非常适合通过区域或带(region or zone)仅利用预测数据而不再利用残差数据的新的编码方法。这将意味着用于判断是否对块或给定邻域或区域使用亮度数据的标准是与残差的质的方面相关联,也就是与在设想的应用中残差的利用程度相关。实际可以设想,例如根据对区域或带的编码的新技术,仅传输残差数据给某些图像,通过每n个图像采样一幅图像或者完全不传输该信息,然后解码器仅利用预测信息。
Claims (16)
1.一种用于对来自视频图像序列的数字数据进行编码的方法,它对要被编码的当前图像部分与预测的图像部分之间的亮度差进行编码,以给出残差,该方法包括:
确定参考图像中与所述当前图像部分相关的参考图像部分的步骤,这种参考图像部分由所谓的运动参数定义,其特征在于,该方法还包括下列步骤:
通过使经过变换的当前图像部分与所述参考图像部分之间或者所述当前图像部分与经过变换的参考图像部分之间的亮度差最小,对于所述当前图像部分,确定变换的变换系数,
按照所述变换系数,计算所述预测的图像部分。
2.如权利要求1所述的方法,其特征在于,所述参考图像是一预测图像,并从所述参考图像部分计算所述预测的图像部分。
3.如权利要求1所述的方法,其特征在于,通过对当前图像进行滤波和欠采样获得所述参考图像。
4.如权利要求3所述的方法,其特征在于,通过任意图像(Io)的连续迭代进行所述预测的图像部分的计算,每个迭代过程包括滤波、欠采样、以及按照所述运动参数和变换系数的运动和亮度补偿。
6.如权利要求5所述的方法,其特征在于,所述图像部分是图像块,并且具有分量cs和bo的亮度矢量是在图像块一级被计算的。
7.如权利要求1所述的方法,其特征在于,所述变换系数的确定是根据最小二乘法进行的。
8.一种对数字数据进行解码的方法,这些数据包括变换系数和与残差相关的运动参数,所述残差是当前图像部分与预测的图像部分之间的亮度差,该方法包括下列步骤:
从所述残差和所述预测的图像计算重建的图像,
其特征在于,该方法还包括步骤:
为计算所述预测的图像部分,按照变换系数的函数,通过将数学变换应用于亮度值,从参考图像进行亮度补偿。
9.如权利要求8所述的对数字数据进行解码方法,其中所述参考图像是先前重建的图像。
10.如权利要求8所述的对数字数据进行解码的方法,其特征在于,所述参考图像是任意图像(Io),该方法还包括下列步骤:为计算所述预测的图像部分,作为变换系数和运动参数的函数,连续迭代所述任意图像(Io),迭代包括滤波、欠采样、以及按照所述变换系数和运动参数的亮度和运动补偿。
11.一种对来自视频图像序列的数据编码的装置,包括一个减法器,用于提供残差,所述残差是当前图像部分与预测的图像部分之间的亮度差,还包括一个运动估算电路,接收当前图像部分和参考图像,用于对由所谓的运动参数定义的参考图像部分进行计算,其特征在于,所述装置包括:亮度估算电路,接收所述参考图像部分和所述当前图像部分,通过使经过变换的当前图像部分与所述参考图像部分之间或者经过变换的参考图像部分与所述当前图像部分之间的亮度差最小,计算变换系数;和亮度补偿电路,接收用于计算预测的图像部分的所述变换系数。
12.如权利要求11所述的方法,其中所述参考图像是预测图像并且所述亮度补偿电路接收所述参考图像部分。
13.如权利要求11所述的对数据编码的装置,其特征在于,所述装置还包括:滤波器和欠采样器,接收当前图像,以计算所述参考图像,以及运动和亮度补偿电路,接收运动参数和变换系数,通过按照所述运动参数和变换系数连续迭代任意图像来计算预测的图像部分。
14.一种用于对数字数据进行解码的装置,这些数据包括变换系数、运动参数和残差,所述残差是当前图像部分与预测的图像部分之间的亮度差,该装置包括一个加法器,用于从残差和预测的图像部分计算重建的图像,其特征在于,它包括一个亮度补偿电路,接收参考图像,以作为变换系数的函数计算亮度,从而计算预测的图像部分。
15.如权利要求14所述的对数字数据进行解码的装置,其中参考图像是先前重建的图像。
16.如权利要求14所述的对数字数据进行解码的装置,其特征在于,所述参考图像是任意图像(Io),并且它包括运动和亮度补偿电路,借助于一个滤波器和一个欠采样器将运动和亮度补偿电路的输出端馈送到其输入端,以便通过连续迭代该任意图像(Io)计算预测的图像,迭代包括滤波、欠采样、以及按照所述变换系数和运动参数的补偿。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9701509A FR2759524B1 (fr) | 1997-02-10 | 1997-02-10 | Procede et dispositif de codage par estimation de luminance |
FR9701509 | 1997-02-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1193867A CN1193867A (zh) | 1998-09-23 |
CN1127266C true CN1127266C (zh) | 2003-11-05 |
Family
ID=9503531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN98105737A Expired - Lifetime CN1127266C (zh) | 1997-02-10 | 1998-02-10 | 通过亮度估算进行编码的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6317519B2 (zh) |
EP (1) | EP0858227B1 (zh) |
JP (1) | JP4859265B2 (zh) |
CN (1) | CN1127266C (zh) |
DE (1) | DE69824983T2 (zh) |
FR (1) | FR2759524B1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020015513A1 (en) * | 1998-07-15 | 2002-02-07 | Sony Corporation | Motion vector detecting method, record medium on which motion vector calculating program has been recorded, motion detecting apparatus, motion detecting method, picture encoding apparatus, picture encoding method, motion vector calculating method, record medium on which motion vector calculating program has been recorded |
US6470097B1 (en) * | 1999-01-22 | 2002-10-22 | Siemens Corporation Research, Inc. | Total variational blind image restoration from image sequences |
EP1326433B1 (en) * | 2001-12-29 | 2012-04-11 | Samsung Electronics Co., Ltd. | Apparatus and method of controlling brightness of image |
US8526502B2 (en) * | 2007-09-10 | 2013-09-03 | Entropic Communications, Inc. | Method and apparatus for line based vertical motion estimation and compensation |
EP2232877B1 (en) | 2008-01-10 | 2018-08-08 | Thomson Licensing DTV | Methods and apparatus for illumination compensation of intra-predicted video |
JP2010050860A (ja) * | 2008-08-25 | 2010-03-04 | Hitachi Ltd | 画像表示装置、録画再生装置、及び画像処理方法 |
EP2490448A1 (de) * | 2011-02-18 | 2012-08-22 | Siemens Aktiengesellschaft | Kodierverfahren und Bildkodiervorrichtung zur Kompression einer Bildsequenz |
EP2587803A1 (en) * | 2011-10-27 | 2013-05-01 | Thomson Licensing | Methods for coding and reconstructing a pixel block and corresponding devices. |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5001560A (en) * | 1987-01-07 | 1991-03-19 | Pictel Corporation | Method and apparatus employing adaptive filtering for efficiently communicating image sequences |
EP0720384A1 (en) * | 1994-12-30 | 1996-07-03 | Daewoo Electronics Co., Ltd | Block matching motion estimation apparatus employing a weight function |
US5561477A (en) * | 1994-10-26 | 1996-10-01 | Thomson Consumer Electronics, Inc. | System for coding a video signal in the presence of an image intensity gradient |
GB2301972A (en) * | 1995-06-06 | 1996-12-18 | Sony Uk Ltd | Video compression |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4464676A (en) * | 1980-12-15 | 1984-08-07 | National Semiconductor Corporation | Digital color modulator |
EP0461659B1 (en) * | 1990-06-13 | 1997-03-26 | Mitsubishi Denki Kabushiki Kaisha | Coding method and coding apparatus |
US5146325A (en) * | 1991-04-29 | 1992-09-08 | Rca Thomson Licensing Corporation | Video signal decompression apparatus for independently compressed even and odd field data |
AU657510B2 (en) * | 1991-05-24 | 1995-03-16 | Apple Inc. | Improved image encoding/decoding method and apparatus |
US5210605A (en) * | 1991-06-11 | 1993-05-11 | Trustees Of Princeton University | Method and apparatus for determining motion vectors for image sequences |
US5227878A (en) * | 1991-11-15 | 1993-07-13 | At&T Bell Laboratories | Adaptive coding and decoding of frames and fields of video |
US5339164A (en) * | 1991-12-24 | 1994-08-16 | Massachusetts Institute Of Technology | Method and apparatus for encoding of data using both vector quantization and runlength encoding and using adaptive runlength encoding |
JP3230263B2 (ja) * | 1992-01-31 | 2001-11-19 | ソニー株式会社 | 動きベクトル検出回路 |
EP0562672A3 (en) * | 1992-03-22 | 1994-07-13 | Igp Res & Dev Ltd | Process of picture representation by data compression |
GB9209052D0 (en) * | 1992-04-27 | 1992-06-10 | British Broadcasting Corp | Video signal coding |
US5353061A (en) * | 1992-10-08 | 1994-10-04 | International Business Machines Corporation | System and method for frame-differencing video compression/decompression using perceptually-constant information and image analysis |
US5440346A (en) * | 1993-06-16 | 1995-08-08 | Intel Corporation | Mode selection for method and system for encoding images |
US5448297A (en) * | 1993-06-16 | 1995-09-05 | Intel Corporation | Method and system for encoding images using skip blocks |
US5509089A (en) * | 1993-09-09 | 1996-04-16 | Intel Corporation | Method and system for encoding images using temporal filtering |
US5610657A (en) * | 1993-09-14 | 1997-03-11 | Envistech Inc. | Video compression using an iterative error data coding method |
US5586200A (en) * | 1994-01-07 | 1996-12-17 | Panasonic Technologies, Inc. | Segmentation based image compression system |
US5592226A (en) * | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
JP3713067B2 (ja) * | 1995-04-07 | 2005-11-02 | 富士写真フイルム株式会社 | 画像信号圧縮符号化装置および伸長再生装置 |
-
1997
- 1997-02-10 FR FR9701509A patent/FR2759524B1/fr not_active Expired - Fee Related
-
1998
- 1998-02-09 EP EP98400278A patent/EP0858227B1/en not_active Expired - Lifetime
- 1998-02-09 DE DE69824983T patent/DE69824983T2/de not_active Expired - Lifetime
- 1998-02-09 US US09/020,524 patent/US6317519B2/en not_active Expired - Lifetime
- 1998-02-09 JP JP02715698A patent/JP4859265B2/ja not_active Expired - Lifetime
- 1998-02-10 CN CN98105737A patent/CN1127266C/zh not_active Expired - Lifetime
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5001560A (en) * | 1987-01-07 | 1991-03-19 | Pictel Corporation | Method and apparatus employing adaptive filtering for efficiently communicating image sequences |
US5561477A (en) * | 1994-10-26 | 1996-10-01 | Thomson Consumer Electronics, Inc. | System for coding a video signal in the presence of an image intensity gradient |
EP0720384A1 (en) * | 1994-12-30 | 1996-07-03 | Daewoo Electronics Co., Ltd | Block matching motion estimation apparatus employing a weight function |
GB2301972A (en) * | 1995-06-06 | 1996-12-18 | Sony Uk Ltd | Video compression |
Also Published As
Publication number | Publication date |
---|---|
DE69824983T2 (de) | 2005-07-21 |
JPH10248064A (ja) | 1998-09-14 |
JP4859265B2 (ja) | 2012-01-25 |
FR2759524A1 (fr) | 1998-08-14 |
FR2759524B1 (fr) | 1999-05-14 |
DE69824983D1 (de) | 2004-08-19 |
US20010016076A1 (en) | 2001-08-23 |
EP0858227A1 (en) | 1998-08-12 |
CN1193867A (zh) | 1998-09-23 |
EP0858227B1 (en) | 2004-07-14 |
US6317519B2 (en) | 2001-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4755095B2 (ja) | 映像符号化の符号化側/復号化側に使用される双方向予測方法 | |
KR101192026B1 (ko) | 소스 픽쳐의 시퀀스를 코딩하는 방법 또는 장치 | |
CN1719904B (zh) | 自适应编码的方法和设备 | |
CN1112046C (zh) | 编码或解码运动矢量的方法与其实施的编码或解码装置 | |
CN100593955C (zh) | 用于以帧间或帧内模式编码视频图像的方法和设备 | |
CN102823250B (zh) | 图像编码装置、图像解码装置、图像编码方法以及图像解码方法 | |
KR100359115B1 (ko) | 영상 코딩 방법 | |
CN1179574C (zh) | 在编码数据流中修改数据的方法和设备 | |
CN102986220B (zh) | 视频信号的编解码器及方法和视频编解码器设备 | |
CN103141097B (zh) | 优化的去块滤波器 | |
CN102100068A (zh) | 用于运动估计迭代搜索的推测起始点选择 | |
CN1258925C (zh) | 多视角视频编解码预测补偿方法及装置 | |
CN102223532A (zh) | 在编码单元进行视讯编码时执行混成多重假设移动补偿预测的方法以及装置 | |
EP2279624A2 (en) | Apparatus and method for high quality intra mode prediction in a video coder | |
CN102100059A (zh) | 用于运动估计迭代搜索的简单下一搜索位置选择 | |
CN1878304B (zh) | 编码和解码图像序列的方法和设备 | |
CN1604653A (zh) | 差分编码方法 | |
CN1127266C (zh) | 通过亮度估算进行编码的方法和装置 | |
EP2034742A2 (en) | Video coding method and device | |
CN1656704A (zh) | 估算视频序列内后向运动矢量的方法 | |
CN1263309C (zh) | 用于视频编码的运动矢量预测方法 | |
Suzuki et al. | Block-based reduced resolution inter frame coding with template matching prediction | |
KR20060085003A (ko) | H.264/avc에서의 시방향 에러은닉 방법 | |
CN101919251A (zh) | 一种运动编码和解码 | |
CN101790848B (zh) | 分配给解码器的解码函数的选择 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CX01 | Expiry of patent term | ||
CX01 | Expiry of patent term |
Granted publication date: 20031105 |