CN102484711B9 - 指向覆盖多个参考图像分区的参考区域的当前图像分区的移动向量的预测、以及使用一个这种预测的编码和解码 - Google Patents
指向覆盖多个参考图像分区的参考区域的当前图像分区的移动向量的预测、以及使用一个这种预测的编码和解码 Download PDFInfo
- Publication number
- CN102484711B9 CN102484711B9 CN201080039103.9A CN201080039103A CN102484711B9 CN 102484711 B9 CN102484711 B9 CN 102484711B9 CN 201080039103 A CN201080039103 A CN 201080039103A CN 102484711 B9 CN102484711 B9 CN 102484711B9
- Authority
- CN
- China
- Prior art keywords
- subregion
- image
- motion vector
- prediction
- overlapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000033001 locomotion Effects 0.000 claims description 125
- 241000208340 Araliaceae Species 0.000 claims description 5
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 5
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 5
- 235000008434 ginseng Nutrition 0.000 claims description 5
- 238000013139 quantization Methods 0.000 description 10
- 238000005192 partition Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及一种用于与参考分区(Pr′1、Pr′2、…、Pr′p)的移动向量相关地预测当前图像分区(P1、P2、…、Pp)的移动向量的方法，所述参考分区(Pr′1、Pr′2、…、Pr′p)与所述当前分区具有相同的形式并且属于参考图像(IN-1)，所述参考图像(IN-1)不同于当前图像(IN)并且在编码和随后的解码之后、已经被预切割为多个n个分区(r′1、r′2、…、r′n)。一个这种方法的特征在于：当所述参考分区覆盖了来自所述多个n个参考图像分区之中的k个参考分区的集合时，其中k≤n，根据属于与k个覆盖的参考分区分别相关联的k个参考移动向量的集合的至少一个参考移动向量的函数，来确定当前分区图像的所述移动向量。
Description
技术领域
本发明一般地属于图像处理的领域，且更精确地，属于数字图像的和数
字图像序列的基于竞争的编码和解码。
背景技术
存在若干种编码和解码方法，以用于传送图像。在主要的编码类型之中，
具体地是诸如所谓的“帧内(intra)”编码、亦或所谓的“帧间(inter)”编码之
类的那些编码，在该所谓的“帧内”编码中，按照自治的方式(即，无需参考
其它图像)来对图像进行编码，所谓的“帧间”编码在于：相对于过去的图像
来对当前图像进行编码，从而表达这些图像之间的差异，并且仅仅传送此差
异。
用于前述类型的编码的方法一般包括预测性编码的步骤，根据该预测性
编码，当前图像的图像部分(叫做块或宏块)被相对于其它参考块或宏块(即，
预先编码并然后解码的其它参考块或宏块)来进行预测。
在例如H264/MPEG-4AVC(代表了“高级视频编码”)标准的情况下，宏
块的预测性编码在于，根据一般具有较小尺寸的块的形状的多个分区
(partition)来对宏块进行分割。
更精确地，在根据前述标准的帧间编码的情况下，可以根据16x16、
8x16、16x8和8x8模式来对要编码的当前宏块进行分区。如果选择了8x8模
式，则根据8x8、4x8、8x4和4x4模式来对每个8x8块进行再次分区。将每
个当前块与一个或多个参考图像的相应的一个或多个块进行比较。然后，获
得运动向量，该运动向量描述当前块和在先前图像中的与当前宏块具有相同
的位置的参考块之间的运动。然后，计算此运动向量的预测器，从而对前述
的运动向量与计算的预测器运动向量之间的残差进行编码。
运动向量的这种预测不适于所有类型的分区，且尤其地，不适用于在参
考宏块与参考图像的若干个参考分区重叠的情况下。在图1A中表现了这种
情形，该图1A图示了用于要根据前述标准来编码的图像N的、要编码的当
前宏块(被表示为MBCN)的时间预测的情况。在所表现的示例中，这种宏
块MBCN具有正方形形状并且具有4×4类型。宏块MBCN被其他宏块BR1、
BR2、BR3、BR4所包围，所述其他宏块BR1、BR2、BR3、BR4位于最靠近
于后者的邻域中并且具有与宏块MBCN的形状和大小相同的形状和大小。
在所表现的示例中，当前宏块MBCN的运动向量(被表示为MV)指向
被表示为N-1的参考图像(其例如是先前图像)的参考宏块MBCN-1处。在先
前图像N-1中，参考宏块MBCN-1与当前宏块MBCN具有相同的位置。参考
宏块MBCN-1的具体特性在于，它与已经编码并然后解码的参考分区(在图
1A中被表示为BR'1、BR'2、BR'3和BR'4)重叠。
在H264/AVC标准的应用中，仅仅在空间上预测前述的运动向量MV。
更精确地，采取参考运动向量的计算，该参考运动向量等于与参考宏块BR1、
BR3、BR4分别相关联的运动向量MV1、MV3、MV4的中间值。在某些情
形下，与参考宏块BR2相关联的运动向量MV2可以用于取代向量MV1、
MV3、MV4之一。
而且，最近已经出现了要编码的当前宏块的新类型的分区，该分区还没
有提供在H264/AVC标准中。因而，如图1B所表现的，可以将要编码的当
前宏块MBCN分割为线性形状的、L形状的、亦或完全任意形状的几个分区
P1到Pp。
H264/AVC标准没有提供用于适用于图1B的各种类型分区的、以及适用
于如下特定情况的任何预测，在所述情况中，如此分区的参考宏块与参考图
像的若干个分区重叠。将这种情形表现在图1C中，该图1C图示了用于要根
据前述标准来编码的图像N的、要编码的当前宏块(被表示为MBCN)的时
间预测的情况。在所表现的示例中，根据具有任意几何形状的三个较小分区
P1、P2、P3来分割这种宏块MBCN。
在所表现的示例中，当前宏块MBCN的第一分区P1的运动向量(被表
示为MVp1)指向在先前图像N-1中与当前宏块MBCN具有相同位置的参考
图像N-1的参考宏块MBCN-1的分区P'1处。参考宏块MBCN-1的特定特性在
于，它与已经编码并然后解码的参考分区(在图1C中被表示为BR'1、BR'2、
BR'3和BR'4)重叠。
在H264/AVC标准的应用中，为了预测前述运动向量MVp1，采取参考
运动向量的计算，该参考运动向量一般等于与参考宏块BR1、BR3、BR4分
别相关联的运动向量MV1、M3、MV4的空间中间值。
在顾及以下事实(该事实即，在图像N-1中，在参考分区P'1与参考宏
块BR'1、BR'2、BR'3和BR'4之间存在形状上和尺寸上的差异)的情况下，
运动向量的这种空间预测可能结果是缺少精确度。
而且，已知用于着眼于对当前宏块的分区进行帧间编码而计算预测器运
动向量的其他方案。
所述其他方案之一描述在G Laroche,J.Jung和B.Pesquet-Popescu的公开
IEEE Transactions on Circuits and System for Video Technology，第18卷，
1247-1257(2008年九月)中，并且涉及以下情况，其中如在H264/AVC标准
中一样，根据一般具有较小尺寸的块的形状的多个分区来对宏块进行分割。
根据此方案，相对于参考向量来预测当前图像的宏块的运动向量，该参考向
量被选定为以下向量，所述向量指向在先前图像中位于与当前宏块具有相同
位置的宏块的顶部且在左边最远处的像素处。
如果我们试图将后者方案应用于图1A的向量MV的预测或者应用于图
1C的向量MVp1的预测，则将基于等于运动向量MV'2(其与参考宏块BR'2
相关联)的参考运动向量来获得向量MV和MVp1中的每一个，参考宏块
MBCN-1的左边最远的像素位于运动向量MV'2与之相关联的参考宏块BR'2
中。
由于与上述原因相同的原因，所以利用这种方案所获得的运动向量预测
也缺少精确度。
发明内容
本发明的目标之一在于补救前述现有技术的缺点。
为了此目的，根据第一方面，本发明涉及一种用于相对于与参考图像的
n个参考分区中的参考分区相关联的至少一个参考运动向量来预测当前图像
分区的当前运动向量的方法，所述当前运动向量描述该当前图像分区和对应
的参考分区之间的运动，在参考图像中该对应的参考分区与所述当前图像分
区具有相同的形状和相同的位置，所述参考图像不同于当前图像并且在完成
跟随有解码的编码时、已经被预先地分割为该n个参考分区。
根据本发明：在其中所述对应的参考分区与来自该参考图像的所述n个
参考分区之中的k个参考分区的集合重叠的情况下，其中k≤n，基于属于与
k个重叠的参考分区分别相关联的k个参考运动向量的集合的至少一个参考
运动向量的函数，来确定当前图像分区的所述当前运动向量，其中确定当前
图像分区的所述当前运动向量包含：
-选择与所述k个参考分区的集合重叠的该对应的参考分区的特定点，
以及
-选择与包含所选择的特定点的重叠的参考分区相关联的所述至少一个
参考运动向量。
通过考虑以下情况，因而，这种安排使得可能显著地改善预测的精确度：
-当前宏块或参考宏块的特定分区，
-单独被参数分区重叠的区域。
而且，根据本发明的预测可适于任何类型的用于计算当前分区的预测的
运动向量的方案，诸如具体地，根据H264/AVC标准的方案和在前述的IEEE
公开中描述的方案。
在一个实施例中，该确定当前分区的运动向量的步骤包括以下步骤：
-计算在该对应的参考分区与分别地k个重叠的参考分区之间共享的公
共像素的数目，
-基于预定的比较准则，来比较计算出的在k个重叠的参考分区之间共
享的公共像素的数目。
因而，这种安排使得可能基于某种特征来选择非常精确的参考运动向量，
所述特征在此是基于在参考分区与重叠的参考分区之间共享的公共像素数
量。
根据第一变体，该比较准则包含：从与k个重叠的参考分区分别相关联
的k个参考运动向量之中，选择与如下的参考分区相关联的参考运动向量，
该参考分区的计算出的公共像素的数目为最大。
根据第二变体，该比较准则包含：通过计算出的公共像素的数目，来对
与k个重叠的参考分区分别相关联的k个参考运动向量的均值进行加权。
根据第三变体，该比较准则包含：从与k个重叠的参考分区分别相关联
的k个参考运动向量之中，选择与如下的重叠的参考分区相关联的参考运动
向量，相比于在所述对应的参考分区外部，所述重叠的参考分区在所述对应
的参考分区内部具有大多数的像素。
在另一实施例中，该确定当前分区的运动向量的步骤包括以下步骤：
-对于k个重叠的参考分区中的每一个，计算取决于所述对应的参考分
区的空间梯度的系数，
-选择其计算值为最高的系数，
-选择与已选择了其系数的重叠的参考分区对应的参考运动向量。
因而，这种安排使得可能基于某种特征来选择非常精确的参考运动向量，
所述特征在此是基于表达了参考运动向量的选定中的置信度的系数的计算，
所述参考运动向量被假定为相比于在均质性的图像的区域中，在包含不连续
性的图像的区域中更加精确。
根据一变体，该确定当前分区的运动向量的步骤包括以下步骤：
-对于k个重叠的参考分区中的每一个，计算取决于所述对应的参考分
区的空间梯度的系数，
-计算与k个重叠的参考分区分别相关联的k个参考运动向量的均值，
所述均值通过所述k个计算出的系数来进行加权。
因而，这种安排使得可能基于某种特征来选择非常精确的参考运动向量，
所述特征在此是基于参考分区相对于所述k个重叠的参考分区的定位的估
计。
在另一实施例中，该确定当前分区的运动向量的步骤包括以下步骤：
-在对应的参考分区中，标识与图像的内容相关的特征，
-选择与包含所述特征的重叠的参考分区相关联的参考运动向量。
因而，这种安排使得可能基于某种特征来选择非常精确的参考运动向量，
所述特征在此是基于在参考分区中图案、颜色、轮廓等的标识。
根据第二方面，本发明涉及一种用于对图像或图像的序列进行编码、以
生成数据流的方法，所述数据流包括表现了至少一个图像分区的数据，这种
方法包括预测所述图像分区的运动向量的步骤。
根据本发明，根据前述预测方法来执行这种编码方法的预测步骤。
根据第三方面，本发明涉及一种用于对数据流进行解码的方法，该数据
流表现了图像或图像的序列，所述流包括表现了至少一个图像分区的数据，
这种方法包括预测所述图像分区的运动向量的步骤。
根据本发明，根据前述预测方法来执行这种解码方法的预测步骤。
有关联地，根据第四方面，本发明涉及一种用于相对于与参考图像的n
个参考分区中的参考分区相关联的至少一个参考运动向量来预测当前图像分
区的当前运动向量的装置，所述当前运动向量描述该当前图像分区和对应的
参考分区之间的运动，在参考图像中该对应的参考分区与所述当前图像分区
具有相同的形状和相同的位置，所述参考图像不同于当前图像并且在完成跟
随有解码的编码时、已经被预先地分割为该n个参考分区。
根据本发明，在其中所述对应的参考分区与来自该参考图像的所述n个
参考分区之中的k个参考分区的集合重叠的情况下，其中k≤n，该预测装置
包括计算模块，能够基于属于与k个重叠的参考分区分别相关联的k个参考
运动向量的集合的至少一个参考运动向量的函数，来确定当前图像分区的所
述当前运动向量，其中该计算模块被配置为通过以下来确定当前分区的当前
运动向量：
-选择与所述k个参考分区的集合重叠的该对应的参考分区的特定点，
以及
-选择与包含所选择的特定点的重叠的参考分区(r'2)相关联的所述至
少一个参考运动向量。
有关联地，根据第五方面，本发明涉及一种用于对图像或图像的序列进
行编码、以生成数据流的装置，所述数据流包括表现了至少一个图像分区的
数据，这种装置包括用于预测所述图像分区的运动向量的部件。
根据本发明，这种编码装置的用于预测所述图像分区的运动向量的部件
是上述的装置。
有关联地，根据第六方面，本发明涉及一种用于对数据流进行解码的解
码装置，该数据流表现了图像或图像的序列，所述流包括表现了至少一个图
像分区的数据，这种装置包括用于预测所述图像分区的运动向量的部件。
根据本发明，这种解码装置的用于预测所述图像分区的运动向量的部件
是上述的装置。
所述编码方法、所述解码方法、所述预测装置、所述编码装置和所述解
码装置至少呈现出与根据本发明的预测方法所赋予的那些优点相同的优点。
附图说明
一旦阅读了参考附图所描述的优选实施例，其他特征和优点就将变得明
显，在附图中：
-图1A表现了现有技术的示范时间预测，其利用了图像N的要编码的
当前宏块与先前图像N-1的参考宏块之间的时间相关性，该参考宏块具有正
方形形状，并且与若干个邻居参考宏块重叠，
-图1B表现了根据现有技术的各种类型的分区的宏块分割，
-图1C表现了现有技术的示范时间预测，其利用了图像N的要编码的
当前宏块与先前图像N-1的参考宏块之间的时间相关性，该参考宏块被根据
任意形状的若干个分区来进行分割，并且与若干个邻居参考宏块重叠，
-图2表现了根据本发明的编码方法的步骤，
-图3表现了根据本发明的编码装置的实施例，
-图4表现了根据本发明的示范时间预测，其利用了当前图像的要编码
的当前宏块与先前图像的参考宏块之间的时间相关性，
-图5表现了根据本发明的解码装置，
-图6表现了根据本发明的解码方法的步骤。
具体实施方式
现在，将描述本发明的实施例，其中根据本发明的编码方法用于根据二
进制流来对图像的序列进行帧间编码，该二进制流与经由根据H.264/MPEG-4
AVC标准的编码所获得的二进制流非常相像。在此实施例中，例如，通过修
改初始地符合H.264/MPEG-4AVC标准的编码器，而按照软件或硬件方式来
实现根据本发明的编码方法。按照包括在图2中表现的步骤C0到C7的算法
的形式来表现根据本发明的编码方法。
在图3所表现的编码装置CO中实现根据本发明的编码方法。
在图2中表现的第一步骤C0是对于属于在图3中表示为IN的要编码的
图像的序列的图像的宏块，选择与此宏块相关联的特定分区。
应该注意到，步骤C0是可选的，可能通过在整体上考虑当前宏块(即，
将当前宏块考虑为一个单一分区)来执行该当前宏块的运动向量的预测。
在步骤C0的过程中，例如，将4x4尺寸的且属于图像IN的宏块MBN作
为输入而应用于在图3中表现的分区选择模块SP。
此分区模块SP例如使用用于通过穷举竞争来进行选定的方案，亦或使
用用于借助于具有先验的算法来进行选定的方案。这种方案对于本领域技术
人员是公知的(参见：G.J.Sullivan和T.Wiegand,"Rate-distortion optimization
for video compression",IEEE Signal Proc.Mag.,第74-90页,1998年)。因此，
在下文中将不描述它们。
在编码器CO的数据库BD中将各种类型的可能的分区算法分组到一起。
它们使得可能获得当前宏块到矩形或正方形形状的、或者其他几何形状(诸
如，实质上线性形状)的、或完全任意形状的多个分区中的分割。
在所表现的示例中，选择模块SP选择任意类型的分区。
在图2中表现的接下来的步骤C1是将宏块MBN分割为多个p个要预测
的分区。
例如，将宏块MBN分割为任意形状的三个分区P1、P2和P3。通过图3
所表现的宏块分区模块PMBCO来执行这种分割，该宏块分区模块PMBCO
使用传统的分区算法。
图4表现了已经在这种分区之后获得的宏块MBN。
在分区步骤C1之后，在图2所表现的步骤C2的过程中，分区模块
PMBCO将刚刚已经分区的宏块MBN传送到图3所表现的预测模块PREDCO。
在传统的方式中，这种预测模块PREDCO意欲预测相对于已经编码并然
后解码的参考宏块(在图4中表示为MBrN-1)所分区的当前宏块MBN，所述
参考宏块在先前图像IN-1中与当前宏块MBN具有相同的位置，所述先前图像
IN-1已经在完成跟随有解码的编码时被预先地分割为多个n个分区r'1、r'2、…、
r'n。
根据本发明，参考宏块MBrN-1与k个参考分区r'1、r'2、…、r'k的集合
重叠，其中k≤n。在所表现的示例中，参考宏块MBrN-1与四个参考分区r'1、
r'2、r'3和r'4部分地重叠。无需赘述的是，在其它可能的实施方式中，参考
宏块MBrN-1可以与参考分区r'1、r'2、r'3和r'4中的一个或多个完全重叠。
参考图3，根据H.264/MPEG-4AVC标准来编码这种参考宏块MBrN-1，
即，它按照本身已知的方式来经历：
-通过离散余弦变换和量化进行的编码，这是通过变换和量化模块
TQCO来执行的，
-和然后的通过逆离散余弦变换和逆量化进行的解码，这是通过逆变换
和量化模块TQICO来执行的。
仍然参考图3，根据本发明，预测模块PREDCO包括：
-分区模块PMB，意欲根据多个参考分区来分割参考宏块MBrN-1，-计
算模块CAL，意欲基于属于k个参考运动向量MVr'1、MVr'2、…、MVr'k(其
分别与k个重叠的参考分区r1'、r'2、…r'k相关联)的集合的至少一个参考运
动向量的函数，来计算与当前宏块MBN的分区P1、P2、…、Pp分别相关联
的每个运动向量MVp1、MVp2、…、MVpp。
在图2所表现的步骤C3的过程中，图3的分区模块PMB经历根据p个
参考分区的参考宏块MBrN-1的分割。在图4所表现的示例中，按照与当前宏
块MBN一致的方式(即，根据全都具有不同形状和尺寸的三个分区Pr'1、Pr'2
和Pr'3)来分割参考宏块MBrN-1。
在图2所表现的步骤C4的过程中，图3的计算模块CAL按照根据本发
明的在下文中描述的各种方案，来对于每个当前分区P1、P2和P3，计算与
其相关联的预测的运动向量MVp1、MVp2和MVp3。
根据第一方案，模块CAL作为与在图4中表现的四个重叠的参考分区
r'1、r'2、r'3和r'4分别相关联的参考运动向量MVr'1、MVr'2、MVr'3和MVr'4
的函数，来确定预测的当前分区P1的运动向量MVp1。这种确定例如在于：
根据在下文中的等式来计算参考运动向量MVr'1、MVr'2、MVr'3和MVr'4的
均值。
MVp1＝Moy(MVr'1,MVr'2,MVr'3,MVr'4)
根据第二方案，参考图4，模块CAL将预测的运动向量MVp1确定为等
于与如下的重叠的参考分区相关联的参考运动向量，该重叠的参考分区具有
与参考宏块MBrN-1的参考分区Pr'1公共的像素的最大数目。
在图4所表现的示例中，MVp1＝MVr'2。
根据此第二方案的第一变体，模块CAL将预测的运动向量MVp1确定
为等于与如下的重叠的参考分区相关联的参考运动向量，该重叠的参考分区
具有与参考宏块MBrN-1的参考分区Pr'1公共的像素的最大百分比。
在图4所表现的示例中，MVp1＝MVr'2。
根据此第二方案的第二变体，模块CAL确定参考运动向量MVr'1、MVr'2、
MVr'3和MVr'4的均值，该均值通过在宏块MBrN-1的参考分区Pr'1与重叠的
参考分区r'1、r'2、r'3和r'4中的每一个之间共享的像素的公共数目来进行加
权。这种确定相当于：根据在下文中的等式来计算预测的运动向量MVp1。
其中：
-K＝4，
-T表现了构成参考宏块MBrN-1的像素的数目，
-[pr'1∩r'k]表现了在宏块MBrN-1的参考分区Pr'1与重叠的参考分区r'1、
r'2、r'3和r'4中的每一个之间共享的像素的公共数目。
在图4所表现的示例中，MVp1＝MVr'2。
通过替换方案的方式，前述均值可以通过公共像素的数目减去非公共像
素的数目来进行加权。
另一替换方案在于：通过在参考宏块MBrN-1的分区Pr'1与参考分区r'1、
r'2、r'3和r'4中的每一个之间公共的像素的百分比来对均值进行加权。
又一替换方案是，将预测的运动向量MVp1确定为等于与如下的重叠的
参考分区相关联的参考运动向量，相比于在Pr'1外部，所述重叠的参考分区
在Pr'1内部具有大多数的像素。
根据第三方案，参考图4，计算模块CAL：
-对于k个重叠的参考分区r'1、r'2、r'3、r'4中的每一个，确定取决于所
述参考分区Pr'1的空间梯度g的系数Ck(其中k＝4)，
-根据在下文中的等式，来选择其计算值为最高的系数Cj(其中1≤j≤
k)：
该第三方案提出了第一替换方案，根据该第一替换方案，计算模块CAL
将预测的运动向量MVp1确定为等于与如下的重叠的参考分区相关联的参考
运动向量，所述重叠的参考分区对应于计算出的系数Cj。
该第三方案提出了第二替换方案，根据该第二替换方案，计算模块CAL
将预测的运动向量MVp1确定为等于与通过计算出的系数C1、C2、C3、C4
来加权的参考运动向量MVr'1、MVr'2、MVr'3和MVr'4的均值。
根据第四方案，参考图4，计算模块CAL首先标识参考分区Pr'1的特定
点，例如参考分区Pr'1的中心，该中心被表示为CTr'1。借助于使得相对于参
考分区Pr'1的所有点的距离的总和最小化的算法，来计算中心CTr'1。
其次，计算模块CAL将预测的运动向量MVp1确定为等于与如下的重
叠的参考分区相关联的参考运动向量，所述重叠的参考分区包含选择的特定
点(即，中心CTr'1)。在所表现的示例中，它是包含中心CTr'1的参考分区
r'2，并因此，MVp1＝MVr'2。
根据第五方案，参考图4，计算模块CAL首先在参考分区Pr'1中标识与
图像的内容相关的特定特征。在所表现的示例中，通过在图像IN-1中嵌入的
十字形(被表示为Clr'1)来图示这种特征。
其次，计算模块CAL将预测的运动向量MVp1确定为与如下的重叠的
参考分区相关联的参考运动向量，所述重叠的参考分区包含选择的特征(即，
十字形Clr'1)。在所表现的示例中，它是包含十字形Clr'1的参考分区r'1，并
因此，MVp1＝MVr'1。
通过对于此第五方案的替换方案，与图像的内容相关的特征可以是特定
的颜色、特定的图案、与参考分区Pr'1交叉的轮廓、或者了破坏后者的均质
性的其它特定的图像特性。
在依照根据本发明的前述方案中的这个或那个方案来完成计算步骤C4
时，预测计算模块PREDCO然后传递第一预测的向量MVp1，在其中编码器
CO将该第一预测的向量MVp1保持为最优运动向量类型的情况下，通过变
换和量化模块TQCO来对该第一预测的向量MVp1立即进行编码，并然后通
过逆变换和量化模块TQICO来对它进行解码，所述模块表现在图3中。
其后，重复前述步骤C4，从而预测与当前宏块MBN的分区P2和P3分
别相关联的其他运动向量MVp2和MVp3。
一旦预测计算模块PREDCO已经计算出各种可能的预测，在图2所表现
的步骤C5的过程中，图3所表现的决定模块DCNCO就遍历分区的图像IN
的宏块，并且在此步骤C5中，选定用于对这些宏块中的每一个进行编码的预
测的模式。从用于宏块的可能预测之中，决定模块DCNCO根据本领域技术
人员公知的失真率准则来选定最优的预测。
参考图2，如在H.264/MPEG-4AVC标准中一样，在步骤C6的过程中，
对每个预测的宏块进行编码。
参考图3，一旦决定模块DCNCO已经执行了此结构编码，就将与图像
IN的块对应的残差(如果它们存在的话)的系数分派到变换和量化模块
TQCO，以经历离散余弦变换，该离散余弦变换之后跟随有量化。其后，将
具有这些量化系数的宏块的切片传送到所表现的熵编码模块CE，从而利用已
经按照与图像IN相同的方式而编码的视频序列的其他图像来产生根据本发明
所编码的二进制视频流F。
通过通信网络来将如此编码的二进制流F传送到远程终端。该远程终端
包括图5所表现的、根据本发明的解码器DO。
首先，将二进制流F分派到熵解码模块DE，该解码与在图3中表现的
熵编码模块CE所执行的编码相逆。接下来，对于要重构的每个图像宏块，
将模块DE所解码的系数分派到逆量化和逆变换模块QTIDO。
然后，图像重构模块RI将与模块DCNCO(图3)在根据本发明的编码
步骤C5中产生的数据对应的解码数据接收在传送误差内。模块RI实现根据
本发明的解码方法的、诸如图6所表现的步骤D0到D6。同样，通过修改初
始地符合H.264/MPEG-4AVC标准的解码器，而按照软件或硬件方式来实现
根据本发明的这种解码方法。
第一步骤D0是对在要解码的图像IN的当前宏块的切片中编码的数据结
构进行解码。按照本身已知的方式，重构模块RI基于所述宏块切片的数据来
确定：
-所述数据的编码的类型，帧内或帧间：根据本发明的帧间，
-要重构的宏块的分区的类型，帧间4x4、8x8、线条等…：在所描述的
实施例中的帧间4x4，
-诸如决定模块DCNCO在前述步骤C5中选择的最优预测器的索引。
在图6中表现的接下来的步骤D1是根据在步骤D0中所确定的分区来分
割要解码的当前宏块。为此目的，参考图5，在所有方面类似于图3所表现
的分区模块的宏块分区模块PMBDO将宏块分割为多个p个分区，即，在所
表现的示例中的任意形状的三个分区。
在图6所表现的步骤D2的过程中，分区模块PMBDO将要解码的并且
刚刚已经分区为p＝3个分区的当前宏块传送到图5所表现的预测模块
PREDDO，该预测模块PREDDO在所有方面类似于图3的编码器CO的预测
模块PREDCO，并且为此原因，所以将不再详细地进行描述。
在图6所表现的步骤D3和D4的过程中，图5的预测模块PREDDO执
行与前述编码器CO的预测模块PREDCO所执行的算法相同的算法，从而获
得当前宏块，已经根据在上文中描述的方案中的这个或那个方案来预测了该
当前宏块的相关联的运动向量。
在步骤D5的过程中，决定模块DCNDO根据本领域技术人员公知的失
真率准则来选定最优的预测。
其后，如在H.264/MPEG-AVC标准中一样，在步骤D6的过程中，对每
个预测的宏块进行解码。
一旦已经解码了图像IN的所有宏块，参考图5，图像重构模块RI就作为
来自解码器DO的输出而提供与图像IN的解码对应的图像IDN。
在顾及以下事实(该事实即，在解码器DO处执行的预测算法在每个方
面与在编码器CO处执行的预测算法相同)的情况下，极大地减少了所使用
的预测器所引入的信息损耗。
无需赘述的是，已经单纯地借助于完全非限制性的指示而给出了已经在
上文中描述的实施例，并且本领域技术人员可以容易地做出许多修改，然而
并不脱离本发明的范围。
Claims (13)
1.一种用于相对于与参考图像的n个参考分区(r'1、r'2、…、r'n)中的
参考分区(r'2)相关联的至少一个参考运动向量(MVr'2)来预测当前图像分
区(P1)的当前运动向量(MVp1)的方法，所述当前运动向量描述该当前图
像分区(P1)和对应的参考分区(Pr'1)之间的运动，在参考图像中该对应的
参考分区(Pr'1)与所述当前图像分区具有相同的形状和相同的位置，所述参
考图像不同于当前图像并且已经被预先地分割为已经编码并解码的该n个参
考分区(r'1、r'2、…、r'n)，
所述方法的特征在于：在其中所述对应的参考分区(Pr'1)与来自该参
考图像的所述n个参考分区(r'1、r'2、…、r'n)之中的k个参考分区的集合
重叠的情况下，其中k≤n，基于属于与k个重叠的参考分区分别相关联的k
个参考运动向量(MVr'1、MVr'2、…、MVr'k)的集合的至少一个参考运动向
量的函数，来确定当前图像分区的所述当前运动向量，其中确定当前图像分
区的所述当前运动向量包含：
-选择与所述k个参考分区的集合重叠的该对应的参考分区(Pr'1)的特
定点(CTr'1)，以及
-选择与包含所选择的特定点的重叠的参考分区(r'2)相关联的所述至
少一个参考运动向量(MVr'2)。
2.如权利要求1所述的预测方法，其中，该确定当前分区的运动向量的
步骤包括以下步骤：
-计算在该对应的参考分区与分别地k个重叠的参考分区之间共享的公
共像素的数目，
-基于预定的比较准则，来比较计算出的在k个重叠的参考分区之间共
享的公共像素的数目。
3.如权利要求2所述的预测方法，其中，该比较准则包含：从与k个重
叠的参考分区分别相关联的k个参考运动向量之中，选择与如下的参考分区
相关联的参考运动向量，该参考分区的计算出的公共像素的数目为最大。
4.如权利要求2所述的预测方法，其中，该比较准则包含：通过计算出
的公共像素的数目，来对与k个重叠的参考分区分别相关联的k个参考运动
向量的均值进行加权。
5.如权利要求2所述的预测方法，其中，该比较准则包含：从与k个重
叠的参考分区分别相关联的k个参考运动向量之中，选择与如下的重叠的参
考分区相关联的参考运动向量，相比于在所述对应的参考分区外部，所述重
叠的参考分区在所述对应的参考分区内部具有大多数的像素。
6.如权利要求1所述的预测方法，其中，该确定当前分区的运动向量的
步骤包括以下步骤：
-对于k个重叠的参考分区中的每一个，计算取决于所述对应的参考分
区的空间梯度的系数，
-选择其计算值为最高的系数，
-选择与已选择了其系数的重叠的参考分区对应的参考运动向量。
7.如权利要求1所述的预测方法，其中，该确定当前分区的运动向量的
步骤包括以下步骤：
-对于k个重叠的参考分区中的每一个，计算取决于所述对应的参考分
区的空间梯度的系数，
-计算与k个重叠的参考分区分别相关联的k个参考运动向量的均值，
所述均值通过所述k个计算出的系数来进行加权。
8.如权利要求1所述的预测方法，其中，该确定当前分区的运动向量的
步骤包括以下步骤：
-在对应的参考分区中，标识与图像的内容相关的特征，
-选择与包含所述特征的重叠的参考分区相关联的参考运动向量。
9.一种用于对图像或图像的序列进行编码、以生成数据流(F)的方法，
所述数据流(F)包括表现了至少一个图像分区的数据，所述方法包括预测所
述图像分区的运动向量的步骤，
所述方法的特征在于：根据如权利要求1到8中任何一个所述的方法来
执行所述预测。
10.一种用于对数据流(F)进行解码的方法，该数据流(F)表现了图
像或图像的序列，所述流包括表现了至少一个图像分区的数据，所述方法包
括预测所述图像分区的运动向量的步骤，
所述方法的特征在于：根据如权利要求1到8中任何一个所述的方法来
执行所述预测。
11.一种用于相对于与参考图像的n个参考分区(r'1、r'2、…、r'n)中
的参考分区(r'2)相关联的至少一个参考运动向量(MVr'2)来预测当前图像
分区(P1)的当前运动向量(MVp1)的装置(PREDCO)，所述当前运动向
量描述该当前图像分区(P1)和对应的参考分区(Pr'1)之间的运动，在参考
图像中该对应的参考分区(Pr'1)与所述当前图像分区具有相同的形状和相同
的位置，所述参考图像不同于当前图像并且已经被预先地分割为已经编码并
解码的该n个参考分区(r'1、r'2、…、r'n)，
该预测装置的特征在于：在其中所述对应的参考分区(Pr'1)与来自该
参考图像的所述n个参考分区(r'1、r'2、…、r'n)之中的k个参考分区的集
合重叠的情况下，其中k≤n，该预测装置包括计算模块(CAL)，能够基于
属于与k个重叠的参考分区分别相关联的k个参考运动向量(MVr'1、
MVr'2、…、MVr'k)的集合的至少一个参考运动向量的函数，来确定当前图
像分区的所述当前运动向量，其中该计算模块被配置为通过以下来确定当前
分区的当前运动向量：
-选择与所述k个参考分区的集合重叠的该对应的参考分区(Pr'1)的特
定点(CTr'1)，以及
-选择与包含所选择的特定点的重叠的参考分区(r'2)相关联的所述至
少一个参考运动向量(MVr'2)。
12.一种用于对图像或图像的序列进行编码、以生成数据流(F)的装置
(CO)，所述数据流(F)包括表现了至少一个图像分区的数据，所述装置包
括用于预测所述图像分区的运动向量的部件，
其特征在于，所述用于预测所述图像分区的运动向量的部件是如权利要
求11所述的装置(PREDCO)。
13.一种用于对数据流(F)进行解码的装置(DO)，该数据流(F)表
现了图像或图像的序列，所述流(F)包括表现了至少一个图像分区的数据，
所述装置包括用于预测所述图像分区的运动向量的部件，
其特征在于，所述用于预测所述图像分区的运动向量的部件是如权利要
求11所述的装置(PREDDO)。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0954623 | 2009-07-03 | ||
| FR0954623 | 2009-07-03 | ||
| PCT/FR2010/051304 WO2011001077A1 (fr) | 2009-07-03 | 2010-06-25 | Prédiction d'un vecteur mouvement d'une partition d'image courante pointant sur une zone de référence qui recouvre plusieurs partitions d'image de référence, codage et décodage utilisant une telle prédiction |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| CN102484711A CN102484711A (zh) | 2012-05-30 |
| CN102484711B CN102484711B (zh) | 2016-03-23 |
| CN102484711B9 true CN102484711B9 (zh) | 2018-08-24 |
Family
ID=42034034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201080039103.9A Active CN102484711B9 (zh) | 2009-07-03 | 2010-06-25 | 指向覆盖多个参考图像分区的参考区域的当前图像分区的移动向量的预测、以及使用一个这种预测的编码和解码 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US9185425B2 (zh) |
| EP (2) | EP3852371B1 (zh) |
| CN (1) | CN102484711B9 (zh) |
| BR (1) | BR112012000002B1 (zh) |
| ES (1) | ES2870969T3 (zh) |
| RU (1) | RU2520425C2 (zh) |
| WO (1) | WO2011001077A1 (zh) |
| ZA (1) | ZA201200839B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9213687B2 (en) * | 2009-03-23 | 2015-12-15 | Lawrence Au | Compassion, variety and cohesion for methods of text analytics, writing, search, user interfaces |
| GB2501835B (en) | 2011-03-09 | 2014-09-03 | Canon Kk | Video encoding and decoding |
| GB2488816A (en) | 2011-03-09 | 2012-09-12 | Canon Kk | Mapping motion vectors from a plurality of reference frames to a single reference frame |
| SI2717574T1 (sl) * | 2011-05-31 | 2021-04-30 | JVC Kenwood Corporation | Naprava za dekodiranje gibljivih slik, postopek za dekodiranje gibljivih slik, program za dekodiranje gibljivih slik |
| BR112014033038A2 (pt) | 2012-07-02 | 2017-06-27 | Samsung Electronics Co Ltd | método de predição de vetor de movimento para inter predição, e aparelho de predição de vetor de movimento para inter predição |
| TWI499283B (zh) * | 2012-07-05 | 2015-09-01 | Ind Tech Res Inst | 視訊壓縮方法與視訊壓縮裝置 |
| FR3011429A1 (fr) * | 2013-09-27 | 2015-04-03 | Orange | Codage et decodage video par heritage d'un champ de vecteurs de mouvement |
| JP2021536191A (ja) * | 2018-09-07 | 2021-12-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | ビデオコーディング用システムおよび方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008082158A1 (en) * | 2007-01-03 | 2008-07-10 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2096872B1 (en) * | 2001-09-14 | 2014-11-12 | NTT DoCoMo, Inc. | Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program |
| US20030123738A1 (en) * | 2001-11-30 | 2003-07-03 | Per Frojdh | Global motion compensation for video pictures |
| JP4724351B2 (ja) * | 2002-07-15 | 2011-07-13 | 三菱電機株式会社 | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置 |
| US7653133B2 (en) * | 2003-06-10 | 2010-01-26 | Rensselaer Polytechnic Institute (Rpi) | Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders |
| WO2005084036A1 (ja) * | 2004-03-01 | 2005-09-09 | Sony Corporation | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
| KR100631768B1 (ko) * | 2004-04-14 | 2006-10-09 | 삼성전자주식회사 | 비디오 코딩에서 프레임간 예측방법 및 비디오 인코더와,비디오 디코딩방법 및 비디오 디코더 |
| US8553776B2 (en) * | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
| US7733959B2 (en) * | 2005-06-08 | 2010-06-08 | Institute For Information Industry | Video conversion methods for frame rate reduction |
| JP4166781B2 (ja) * | 2005-12-09 | 2008-10-15 | 松下電器産業株式会社 | 動きベクトル検出装置および動きベクトル検出方法 |
| JP2006304350A (ja) * | 2006-06-19 | 2006-11-02 | Toshiba Corp | 動画像復号化方法及び装置 |
| CN101507280B (zh) | 2006-08-25 | 2012-12-26 | 汤姆逊许可公司 | 用于降低分辨率划分的方法和装置 |
| US8265168B1 (en) * | 2008-02-01 | 2012-09-11 | Zenverge, Inc. | Providing trick mode for video stream transmitted over network |
| KR101279573B1 (ko) * | 2008-10-31 | 2013-06-27 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
-
2010
- 2010-06-25 EP EP21154498.6A patent/EP3852371B1/fr active Active
- 2010-06-25 RU RU2012103557/08A patent/RU2520425C2/ru active
- 2010-06-25 US US13/382,106 patent/US9185425B2/en active Active
- 2010-06-25 WO PCT/FR2010/051304 patent/WO2011001077A1/fr active Application Filing
- 2010-06-25 ES ES10745325T patent/ES2870969T3/es active Active
- 2010-06-25 EP EP10745325.0A patent/EP2449783B1/fr active Active
- 2010-06-25 CN CN201080039103.9A patent/CN102484711B9/zh active Active
- 2010-06-25 BR BR112012000002-0A patent/BR112012000002B1/pt active IP Right Grant
-
2012
- 2012-02-03 ZA ZA2012/00839A patent/ZA201200839B/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008082158A1 (en) * | 2007-01-03 | 2008-07-10 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method |
Non-Patent Citations (2)
| Title |
|---|
| A Fast Motion Vector Composition Method for Temporal Transcoding;Youn et al.;《Proceedings of the 1999 IEEE International Symposium on Circuits and Systems》;19990602;第4卷;第243-246页 * |
| Fast multiple reference frame motion estimation for H.264/AVC;Su et al.;《IEEE Transactions on Circuits and》;20060331;第16卷;第447-452页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20120121021A1 (en) | 2012-05-17 |
| EP2449783B1 (fr) | 2021-03-10 |
| WO2011001077A1 (fr) | 2011-01-06 |
| EP3852371A1 (fr) | 2021-07-21 |
| BR112012000002B1 (pt) | 2021-11-23 |
| ES2870969T3 (es) | 2021-10-28 |
| CN102484711A (zh) | 2012-05-30 |
| EP2449783A1 (fr) | 2012-05-09 |
| US9185425B2 (en) | 2015-11-10 |
| RU2520425C2 (ru) | 2014-06-27 |
| CN102484711B (zh) | 2016-03-23 |
| ZA201200839B (en) | 2012-10-31 |
| BR112012000002A2 (pt) | 2016-03-15 |
| RU2012103557A (ru) | 2013-08-10 |
| EP3852371B1 (fr) | 2024-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102484711B9 (zh) | 指向覆盖多个参考图像分区的参考区域的当前图像分区的移动向量的预测、以及使用一个这种预测的编码和解码 | |
| CN102498718B (zh) | 具有与至少一个相邻参考图像分区的几何形状或尺寸不同的几何形状或尺寸的当前图像分区的移动向量的预测以及使用一个这种预测的编码和解码 | |
| CN102948149B (zh) | 视频编码/解码设备和方法 | |
| CN104025592B (zh) | 确定视频序列的图像的编码或解码所用的参数的方法和装置 | |
| CN105075259B (zh) | 用于视频译码预测的存储器减少 | |
| CN104041048B (zh) | 利用跳过模式进行视频编码和解码的方法和设备 | |
| CN104935939B (zh) | 对图像进行编码/解码的装置和方法 | |
| CN104185988B (zh) | 用于共享候选者列表的方法和装置 | |
| CN101112103B (zh) | 有效地预测基于多层的视频帧的方法、及使用该方法的视频编码方法和设备 | |
| CN103348677B (zh) | 像素层级自适应帧内平滑化 | |
| KR100739714B1 (ko) | 인트라 예측 모드 결정 방법 및 장치 | |
| CN102301716B (zh) | 解码代表画面序列的流的方法，编码画面序列的方法以及编码的数据结构 | |
| CN110024392A (zh) | 用于视频译码的低复杂度符号预测 | |
| JP6807987B2 (ja) | 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体 | |
| CN107409225A (zh) | 视频译码中运动信息推导模式确定 | |
| JPWO2008012918A1 (ja) | 画像符号化と復号の方法及び装置 | |
| CN102187668B (zh) | 编码图像或图像序列的方法和装置及其解码方法和装置 | |
| CN110476425A (zh) | 基于块形式的预测方法和装置 | |
| WO2017122604A1 (ja) | 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラムが記憶された記憶媒体 | |
| CN102077598A (zh) | 用于视频编码器中的计算有效的帧内模式预测的设备和方法 | |
| CN102077599A (zh) | 用于视频编码器中的高质量帧内模式预测的设备和方法 | |
| CN102265615B (zh) | 使用参考因果区的重新分区的图像预测、以及使用这样的预测的编码和解码 | |
| CN104702959B (zh) | 一种视频编码的帧内预测方法及系统 | |
| CN102396231A (zh) | 图像处理设备及方法 | |
| CN103718560A (zh) | 用于对图像进行编码和解码的方法、用于对图像进行编码和解码的装置、以及对应的计算机程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CI03 | Correction of invention patent | ||
| CI03 | Correction of invention patent |
Correction item: Claims Correct: Zheng Que False: Cuo Wu Number: 12 Page: Quan Wen Volume: 32 |