CN101911706A - 图像编码装置、图像解码装置、图像编码方法以及图像解码方法 - Google Patents

图像编码装置、图像解码装置、图像编码方法以及图像解码方法 Download PDF

Info

Publication number
CN101911706A
CN101911706A CN2009801020090A CN200980102009A CN101911706A CN 101911706 A CN101911706 A CN 101911706A CN 2009801020090 A CN2009801020090 A CN 2009801020090A CN 200980102009 A CN200980102009 A CN 200980102009A CN 101911706 A CN101911706 A CN 101911706A
Authority
CN
China
Prior art keywords
motion vector
prediction
picture
virtual pixel
bit stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801020090A
Other languages
English (en)
Inventor
关口俊一
乙井研二
出原优一
山田悦久
浅井光太郎
村上笃道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN101911706A publication Critical patent/CN101911706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供一种根据作为编码对象的4:4:4格式的视频信号的统计性·局部性的性质来更好地去除信号相关来进行有效的信息压缩的方法等。一种图像编码装置，将数字视频信号的各图片分割为规定的单位区域，以此单位使用运动补偿预测进行压缩编码，具备：预测部，根据用于指定运动向量所指示的像素位置的精度上限的虚拟像素精度指定信息，搜索运动向量，根据该搜索到的运动向量来生成运动补偿预测图像；以及编码部，将上述虚拟像素精度指定信息多路复用到比特流中，并且根据上述搜索到的运动向量的大小和在该搜索到的运动向量的预测中使用的运动向量的大小，将进行编码的运动向量数据多路复用到比特流。

Description

图像编码装置、图像解码装置、图像编码方法以及图像解码方法
技术领域
本发明涉及用于图像压缩编码技术、压缩图像数据传输技术等的图像编码装置、图像解码装置、图像编码方法以及图像解码方法。
背景技术
以往，在MPEG、ITU-T H.26x等国际标准视频编码方式中，主要将称为4:2:0格式的被标准化的输入信号格式用作压缩处理对象信号。4:2:0是指如下格式：将RGB等彩色运动图像信号变换为亮度成分(Y)与两个色差成分(Cb、Cr)，在水平方向和垂直方向上都将色差成分的采样数减少为亮度成分的一半。色差成分与亮度成分相比视觉辨认性较差，因此在MPEG-4 AVC/H.264(以下称为AVC)这样的国际标准视频编码方式(非专利文献1)中，作为前提进行如下处理：在这样进行编码之前进行色差成分的下采样，由此缩减编码对象的原信息量。另一方面，在数字电影等内容中，推荐如下的以4:4:4格式的直接编码方式：以在放映时正确地再现内容制作时的颜色表现为目的，不对色差成分进行下采样，而以与亮度成分相同的采样来进行编码。作为适于该目的的方式，存在如非专利文献2那样的标准方式。图9示出了4:2:0格式与4:4:4格式之间的差异。在该图中，示出了如下情形：4:2:0格式由亮度(Y)·色差(Cb，Cr)信号构成，针对亮度信号的相当于2x2的采样，有一个色差信号的采样，与此相对，在4:4:4格式中，将表现颜色的颜色空间不特别限定于Y、Cb、Cr，各颜色成分的信号的采样比为1∶1。
非专利文献1：MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264标准
非专利文献2：MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264Amendment2
发明内容
(发明要解决的问题)
例如，在非专利文献2的4:4:4格式的编码中，如图10所示，首先，预先将成为编码对象的输入视频信号1001(4:4:4格式)直接或变换到适当的颜色空间(Y、Cb、Cr等)之后，在块分割部1002中被分割为宏块(16像素×16线的矩形块)的单位，作为编码视频信号1003而输入到预测部1004。在非专利文献2中，宏块既可以以集中三个颜色成分的单位来构成，也可以将各颜色成分视为独立的图片而构成为单一颜色成分的矩形块，能够在序列级别(sequence level)中选择使用哪种结构的宏块。在预测部1004中，在帧之内·帧之间预测宏块内的各颜色成分的图像信号，从而得到预测误差信号1005。特别是在帧之间进行预测的情况下，以宏块本身为单位、或者以将宏块进一步细分的子块为单位来搜索运动向量，根据运动向量生成运动补偿预测图像，取得与编码视频信号1003的差分，由此得到预测误差信号1005。压缩部1006对预测误差信号1005实施DCT(离散余弦变换)等变换处理来去除信号相关之后，进行量化来得到压缩数据1007。压缩数据1007通过可变长度编码部1008被进行熵编码而作为比特流1009输出，并且被发送到局部解码部1010，从而得到解码预测误差信号1011。将其与在预测误差信号1005的生成中使用的预测信号1012相加来得到解码信号1013。以生成用于以后的编码视频信号1003的预测信号1012为目的，将解码信号1013保存到存储器1014中。虽然未图示，但是构成为在写入到存储器1014之前进行对解码信号实施去块滤波(deblocking filter)来去除块失真(block distortion)的处理。此外，为了得到预测信号1012而在预测部1004中决定的预测信号生成用参数1015被送到可变长度编码部1008并作为比特流1009而输出。在此，在预测信号生成用参数1015中例如包含表示如何进行帧之内的空间预测的帧内预测模式、表示帧之间的运动量的运动向量等。在以集中三个颜色成分的单位构成宏块的情况下，预测信号生成用参数1015被检测为共同应用于三个颜色成分的参数，在将各颜色成分视为独立的图片来将宏块构成为单一颜色成分的矩形块的情况下，预测信号生成用参数1015被检测为单独应用于各颜色成分的参数。
4:4:4格式的视频信号中包含有各颜色成分的同一数量的采样，与以往的4:2:0格式的视频信号相比具有严密的颜色再现性，另一方面，在压缩编码的含义上包含冗余信息量。为了提高4:4:4格式的视频信号的压缩效率，需要针对以往的4:2:0格式的固定颜色空间定义(Y，Cb，Cr)进一步减少包含在信号中的冗余度。在非专利文献2的4:4:4格式的编码中，编码视频信号1003不依赖于信号的统计性·局部性的性质而将各颜色成分视为亮度信号来进行编码，预测部1004、压缩部1006、可变长度编码部1008都不进行最大限度地考虑编码对象信号的性质的信号处理。
因此，本发明的目的在于，提供根据成为编码对象的4:4:4格式的视频信号的统计性·局部性的性质来更好地去除信号相关来进行有效的信息压缩的方法，如上述以往技术中所说明的那样，在对如4:4:4格式那样的颜色成分间的采样比无区别的运动图像信号进行编码时提供提高最优性的图像编码装置、图像解码装置、图像编码方法以及图像解码方法。
(用于解决问题的方案)
本发明所涉及的图像编码装置将数字视频信号的各图片分割为规定的单位区域，以此单位使用运动补偿预测进行压缩编码，具备：预测部，根据用于指定运动向量所指示的像素位置的精度上限的虚拟像素精度指定信息，搜索运动向量，根据该搜索到的运动向量来生成运动补偿预测图像；以及编码部，将上述虚拟像素精度指定信息多路复用到比特流中，并且根据上述搜索到的运动向量的大小和在该搜索到的运动向量的预测中使用的运动向量的大小，将进行编码的运动向量数据多路复用到比特流中。
(发明的效果)
根据本发明的图像编码装置、图像解码装置、图像编码方法以及图像解码方法，在进行不限定于Y、Cb、Cr等固定的颜色空间而利用各种颜色空间的编码的情况下，能够构成为能够适应性地去除存在于各颜色成分间的局部的信号相关，在颜色空间的定义涉及各种定义的情况下也能够进行最优的编码处理。
另外，根据本发明的图像编码装置、图像解码装置、图像编码方法以及图像解码方法，在进行不限定于Y、Cb、Cr等固定的颜色空间而利用各种颜色空间的编码的情况下，能够构成为能够灵活地选择在各成分中使用的帧内预测模式信息、帧间预测模式信息，在颜色空间的定义涉及各种定义的情况下也能够进行最优的编码处理。
附图说明
图1是表示生成1/2像素精度的虚拟像素的处理的情形的说明图。(实施例1)
图2是表示生成1/4像素精度的虚拟像素的处理的情形的说明图。(实施例1)
图3是表示实施方式1中的图像编码装置的结构的说明图。(实施例1)
图4是图3的图像编码装置中的适应性运动向量搜索·编码的流程图。(实施例1)
图5是表示由图3的预测部4评价的运动补偿预测模式的宏块内分割图案(运动向量分配图案)的说明图。(实施例1)
图6是表示从实施方式1中的图像编码装置输出的比特流的数据排列的说明图。(实施例1)
图7是表示实施方式1中的图像解码装置的结构的说明图。(实施例1)
图8是图7的图像解码装置中的适应性运动向量解码的流程图。(实施例1)
图9是4:2:0、4:4:4格式的说明图。
图10是表示以往的图像编码装置(非专利文献2)的结构的说明图。
具体实施方式
(实施例1)
在本实施方式中，关于对以4:4:4格式输入的数字视频信号进行压缩和解压缩的图像编码装置、图像解码装置，说明动态地切换进行运动补偿预测处理时的运动向量检测精度的图像编码装置、图像解码装置。
数字视频信号由通过对原始的模拟视频信号进行采样来生成的离散像素信息(以后称为整数像素)构成，正在广泛利用通过内插运算在相邻的整数像素之间制作虚拟采样(虚拟像素)并将虚拟像素用作运动补偿预测值的技术。已知该技术具有如下两个效果：由于预测的候选点增加，从而提高预测精度；通过伴随内插运算的平滑化滤波效果来减少预测图像的奇异点，从而提高预测效率。另一方面，当虚拟像素的精度提高时，表现运动量的运动向量的动态范围也变大，因此一般其代码量也增加。例如，在不使用虚拟像素而仅使用整数像素的情况下，运动向量的值的单位可以是整数像素单位。但是，在用运动向量指定直到整数像素与整数像素之间的1/2像素精度的位置的情况下，运动向量的值的单位成为1/2像素单位，因此为了表示整数像素，需要成倍的动态范围。
在MPEG-1、MPEG-2等标准视频编码方式中，采用允许虚拟像素的精度直到1/2像素精度的半像素预测。在图1中示出了生成1/2像素精度的虚拟像素的情形。在该图中，A、B、C、D表示整数像素，e、f、g、h、i表示根据A～D生成的1/2像素精度的虚拟像素。
e＝(A+B)//2
f＝(C+D)//2
g＝(A+C)//2
h＝(B+D)//2
i＝(A+B+C+D)//4
(其中，//表示带舍入除法。)
下面，为了方便起见，将1/2像素精度的虚拟像素简单记为“半像素”。
另外，在MPEG-4(ISO/IEC 14496-2)、MPEG-4AVC/H.264(ISO/IEC 14496-10)中，采用使用直到1/4像素精度的虚拟像素的1/4像素精度预测。在1/4像素精度预测中，在生成半像素之后，使用它们来生成1/4像素精度的虚拟像素。下面，为了方便起见，将1/4像素精度的虚拟像素记为“1/4像素”。在生成1/4像素时，首先生成作为其基础的半像素，但是此时以抑制过度的平滑化为目的而设计成使用抽头数多的滤波器而尽可能保持原始的整数像素信号的频率成分。例如在MPEG-4的1/4像素生成中，半像素a是使用其周边8个邻近的整数像素来如下生成。此外，下式仅表示水平处理的情况，为了生成1/4像素而制作的半像素a与下式整数像素的X成分X-4～X4之间的关系处于图2所示的位置关系。
a＝(COE1×X1+COE2×X2+COE3×X3+COE4×X4+COE-1×X-1+COE-2×X-2+COE-3×X-3+COE-4×X-4)//256
(其中，COEk：滤波系数(系数总和为256)。//表示带舍入除法。)
在AVC(ISO/IEC 14496-10)中，在生成半像素时，采用[1，-5，20，20，-5，1]的6抽头的滤波器，进一步通过与上述MPEG-1、MPEG-2的半像素生成相同的线性插入处理来生成1/4像素。并且，还有通过同样的过程来求出位于1/4像素与1/4像素之间的1/8像素精度的虚拟采样来使用的情况。
1.图像编码装置的动作
在本实施方式1中，设在运动补偿预测处理时使用的虚拟像素能够使用半像素、1/4像素的精度。在此基础上，本实施方式1的图像编码装置、图像解码装置构成为能够按4:4:4视频信号的每个颜色成分与编码·解码的状况相应地灵活地指定可利用的虚拟像素的精度的上限。
作为这种结构所带来的效果，可举出如下几点。
(i)在使用了虚拟像素的运动补偿预测中，图像编码装置侧·图像解码装置侧必须使用同一参考图像来生成虚拟像素。在普通压缩的视频信号中，压缩率越高，用于运动补偿预测的参考图像的质量越低。参考图像越接近编码之前的原信号，且信号的质量越高(即，压缩率低，或者高比特率编码)，则使用精度高的虚拟像素的效果越显著，这相当于如下情况：即使对运动向量进行编码来传输的信息量增加，也通过预测效率的相应改进来补偿这一点。但是，在压缩率高(低比特率编码时)且参考图像的质量与编码前的原信号相比相当劣化的情况下，发生不能充分确保由此生成的虚拟像素作为原信号的预测值的有效性的情况，在这种情况下，能够通过使用精度高的虚拟像素来获得的预测效率与增加的运动向量的代码量之间的平衡变差。因而，如果将图像编码装置.图像解码装置设计成能够根据编码状况来灵活地变更运动向量所能够指定的虚拟像素的精度，则较为理想。
(ii)在4:4:4视频信号的编码·解码中，不仅处理以往的由亮度·色差成分构成的颜色空间的视频信号，还处理包括RGB等在内的多种颜色空间的视频信号，因此，信号的统计性质按每个颜色成分而发生种种变动。在以往的MPEG标准编码方式中的利用虚拟像素的运动补偿预测中，主要对亮度信号进行最优化设计，以往的方法未必对具有与亮度信号不同的统计性质的颜色成分带来最优的运动补偿预测效率。因而，如果将图像编码装置·图像解码装置设计成能够根据在编码·解码中处理的信号的性质来灵活地变更运动向量所能够指定的虚拟像素的精度，则较为理想。
在本实施方式1中，示出了特别着眼于表示编码对象帧与参考图像之间的运动大小的运动向量的大小来使虚拟像素的精度相适应的例子。在图3中示出了本实施方式1中的图像编码装置的结构。此外，设除了预测部4、可变长度编码部8以外的部件的动作大致按照在以往技术部分所述的非专利文献2的编码动作。
本实施方式1中的预测部4的特征在于，接收虚拟像素精度指示信息16，并据此确定用于检测帧之间的运动向量的虚拟像素的精度来进行处理。虚拟像素精度指示信息16被定义为确定运动向量的大小与虚拟像素精度之间的关系的值。即，指定使用直到1/4像素精度的虚拟像素的运动向量的大小的上限以及使用直到半像素精度的虚拟像素的运动向量的大小的上限。构成为具有超过使用直到半像素精度的虚拟像素的运动向量的大小的上限的大小的运动向量仅使用整数像素。通过设为这种结构，具有如下效果。
运动向量是表示每个块的相邻帧之间的运动程度的量，其大小较小的情况表示预测对象块从参考图像上的对应块的运动并不大。也就是说，可视为该块区域处于接近静止的状态。另一方面，运动向量的大小较大的情况表示预测对象块从参考图像上的对应块的运动较大。也就是说，可将该块区域视为在相邻帧之间在时间上存在较大的运动的区域(存在激烈运动的被摄体等)。一般，存在在静止区域中视频的分辨率高而运动激烈的区域中分辨率下降的趋势。在分辨率高的区域中能够以良好的精度生成虚拟像素，但是在分辨率低的区域中相邻像素间的相关也降低，生成精度高的虚拟像素的意义变小。因而，通过使用本实施方式1的虚拟像素精度指示信息16，能够期待如下效果：在运动向量的大小较小而接近静止的区域中，以高精度生成虚拟像素来用于预测，从而提高预测精度，相反地，在运动向量的大小较大而运动激烈的区域中，降低虚拟像素的精度的上限，与此相应地降低运动向量的代码量。
下面，关于如下情况分别详细说明运动向量的适应性编码处理：以集中三个颜色成分的单位构成宏块来应用共同的运动向量的情况；将各颜色成分视为独立的图片并以单一颜色成分的矩形块构成宏块来按每个颜色成分应用单独的运动向量的情况。
(A)对三个颜色成分使用共同的运动向量的情况
规定如下事项：在块分割部2输出由三个颜色成分构成的宏块、并且在对三个颜色成分使用共同的运动向量的模式下进行编码·解码的情况下，虚拟像素精度指示信息16对于三个颜色成分所共同的运动向量mv，在小于值Lq的情况下，使用直到1/4像素精度的虚拟像素，在大于等于值Lq且小于值Lh的情况下，使用直到半像素精度的虚拟像素，在大于值Lh的情况下，仅将整数像素用于运动补偿预测。通过这样规定，应编码的运动向量mv’如后所述那样能够适应性地降低动态范围来进行编码。(下式是mv＞0的情况，mv＜0的情况下符号反转。)
mv’＝mv(mv＜Lq)    (1a)
→能够使用1/4像素精度
mv’＝Lq+(mv Lq+1)/2(Lq≤mv＜Lh)    (2a)
→能够使用半像素精度
mv’＝Lq+(Lh Lq+1)/2+(mv Lh+2)/4(Lh≤mv)(3a)
→只能使用整数像素精度
图4示出了预测部4和可变长度编码部8的处理流程。预测部4首先仅使用整数像素来进行运动向量搜索(步骤S1)，判断符合上述(1a)～(3a)式中的哪一个。在符合式(3a)的情况下(步骤S2中“是”)，不执行以后的使用了半像素、1/4像素精度的虚拟像素的运动向量搜索而结束预测处理，输出mv作为预测信号生成用参数15的一部分。在不符合式(3a)的情况下(步骤S2中“否”)，进一步在Lh的范围内执行半像素精度下的运动向量搜索(步骤S3)，判断是否符合式(2a)(步骤S4)。在符合式(2a)的情况下(步骤S4中“是”)，输出mv作为预测信号生成用参数15的一部分。在也不符合式(2a)的情况下适用式(1a)(步骤S4中“否”)，进一步在Lq的范围内执行还使用1/4像素的运动向量搜索(步骤S5)，并输出mv作为预测信号生成用参数15的一部分。可变长度编码部8通过使用作为预测信号生成用参数15的一部分输入的mv和由虚拟像素精度指示信息16指示的Lq、Lh，根据按照上述(1a)～(3a)式的运动向量的编码表现，有效地对运动向量进行编码(步骤S6)。此外，运动向量并不是直接对mv进行编码，而一般是将邻近块的运动向量作为预测值来对预测差分进行编码，在这种情况下，只要构成为如下即可：将成为预测值的邻近块始终作为最大虚拟像素精度的值来保持，仅在取预测差分的情况下，与mv同样地进行按照上述(1a)～(3a)式的值的变换来取差分。虚拟像素精度指示信息16在图像解码装置侧需要利用按照上述(1a)～(3a)式的方法对运动向量进行解码，因此多路复用输出到比特流9(步骤S6)。
(B)按每个颜色成分使用单独的运动向量的情况
规定如下事项：在块分割部2输出由单一颜色成分构成的宏块、并且在对三个颜色成分中的每个颜色成分使用单独的运动向量的模式下进行编码·解码的情况下，虚拟像素精度指示信息16对于三个颜色成分的各运动向量mvk(k＝0，1，2)，在小于值Lqk的情况下，使用直到1/4像素精度的虚拟像素，在大于等于值Lqk且小于值Lhk的情况下，使用直到半像素精度的虚拟像素，在大于值Lhk的情况下，仅将整数像素用于运动补偿预测。通过这样规定，应编码的运动向量mvk’如后所述那样能够适应性地降低动态范围来进行编码。(下式是mvk＞0的情况，mvk＜0的情况下符号反转。)
mvk’＝mvk(mvk＜Lqk)    (1b)
→能够使用1/4像素精度
mvk’＝Lqk+(mvk Lqk+1)/2(Lqk≤mvk＜Lhk)    (2b)
→能够使用半像素精度
mvk’＝Lqk+(Lhk Lqk+1)/2+(mvk Lhk+2)/4(Lhk≤mvk)    (3b)
→只能使用整数像素精度
图5示出了预测部4和可变长度编码部8的处理流程。预测部4首先仅使用整数像素来进行运动向量搜索，判断符合上述(1b)～(3b)式中的哪一个。在符合式(3b)的情况下，不执行以后的使用了半像素、1/4像素精度的虚拟像素的运动向量搜索而结束预测处理，输出mvk作为预测信号生成用参数15的一部分。在不符合式(3b)的情况下，进一步在Lhk的范围内执行半像素精度下的运动向量搜索，判断是否符合式(2b)。在符合式(2b)的情况下，输出mvk作为预测信号生成用参数15的一部分。在也不符合式(2b)的情况下适用式(1b)，进一步在Lqk的范围内执行还使用1/4像素的运动向量搜索，输出mvk作为预测信号生成用参数15的一部分。可变长度编码部8通过使用作为预测信号生成用参数15的一部分输入的mvk和由虚拟像素精度指示信息16指示的Lqk、Lhk，能够进行按照上述(1b)～(3b)式的运动向量的编码表现，有效地对运动向量进行编码。此外，运动向量并不是直接对mvk进行编码，而一般是将邻近块的运动向量作为预测值来对预测差分进行编码，在这种情况下，只要构成为如下即可：将成为预测值的邻近块始终作为最大虚拟像素精度的值来保持，仅在取预测差分的情况下，与mvk同样地进行按照上述(1b)～(3b)式的值的变换来取差分。虚拟像素精度指示信息16在图像解码装置侧需要利用按照上述(1b)～(3b)式的方法对运动向量进行解码，因此将与三个颜色成分相应的值多路复用输出到比特流9。
另外，如果将图4的mv替换为mvk，并将Lq、Lh替换为Lqk、Lhk，则处理流程与图4等价。
认为虚拟像素的效果根据视频信号的状态(是否为静止视频、是否为运动激烈的视频、是否在水平方向上运动大、是否在垂直方向上运动大等)、编码比特率(量化步长)、视频分辨率(帧的水平像素数、垂直线数)等各种因素发生变化。因而，优选的是构成为：由虚拟像素精度指示信息16指示的Lq、Lh被定义为在序列中对于这些因素适应性地发生变化的参数，或者单独地对按每个图片不同的值进行多路复用。例如，在作为视频整体中运动激烈的视频且量化步长较大的情况下，不仅比特率低且参考图像的质量不好，而且运动向量的代码量的比例变大，因此通过将Lq、Lh设定为较大的值，不牺牲预测效率而能够抑制运动向量的代码量。相反地，在以高比特率对比较静止的视频进行编码的情况下，使用了虚拟像素的运动补偿预测的效果变大，而且运动向量的代码量也相对变小，因此只要构成为将Lq、Lh设定为较小或者使Lq、Lh无效使得容易使用虚拟像素即可。视频的性质和比特率(量化步长)既可以组合，也可以单独用作Lq、Lh的控制因素。
另外，如果图像的分辨率变高，则一般运动向量搜索单位的块所捕捉的现实世界区域变小，因此需要使运动向量的搜索范围变大，但是只要与此相应地控制Lq、Lh就能够有效地进行编码。如非专利文献1、2所述那样，在从时间上距离不同的多个参考图像中选择性地求出预测图像的情况下，也可以构成为根据所使用的参考图像的索引来控制Lq、Lh。
并且，虚拟像素精度指示信息16也可以构成为与所使用的运动向量搜索单位的块大小联动。在非专利文献1、2中，能够将如图5所示的多个大小的块用作运动向量搜索单位的块。如果运动向量被分配的块的大小较大，则即使运动向量本身的大小大也能够有效地捕捉图像的图案(pattern)，但是，在块较小的情况下，比图像的图案更容易受到噪声的影响。因而，也可以构成为：在分配运动向量的块的块大小较大的情况下，将Lq、Lh设定为较小或者使Lq、Lh无效，来提高进行1/4像素精度的运动补偿预测的频率，在块大小较小的情况下，将Lq、Lh设定为较大或者使Lq、Lh有效。
并且，虚拟像素精度指示信息16在按每个颜色成分使用单独的运动向量的情况下，也可以构成为按每个颜色成分(k)独立地控制Lqk、Lhk。例如，在如Y、Cb、Cr那样的颜色空间中进行编码时，信号的性质按每个颜色成分而不同，因此认为Lqk、Lhk的效果按每个颜色成分而不同。
并且，在上述例子中，虚拟像素精度指示信息16仅将半像素、1/4像素作为对象，但是在使用1/8像素、1/16像素这样的进一步精细的虚拟像素的情况下，也能够设置与Lq、Lh一样的新的上限值设定来容易地扩展。
2.编码比特流的结构
输入视频信号1根据上述处理而通过图3的图像编码装置被编码并以捆绑多个宏块的片(slice)为单位从图像编码装置作为比特流9输出。在图6中示出了比特流9的数据排列。比特流9构成为汇集了与包含在图片中的宏块数相应的编码数据，宏块被单元化为汇集多个的被称为片的数据单位。准备由属于同一图片的宏块作为共同参数而参照的图片级别(picture level)头部，在图片级别头部中保存虚拟像素精度指示信息16。在被多路复用在序列级别头部中的共同·独立编码识别标志17表示对三个颜色成分使用共同的运动向量的情况下，多路复用一组Lq、Lh，在共同·独立编码识别标志17表示对每个颜色成分使用单独的运动向量的情况下，多路复用三组(与颜色成分的数量相应)Lqk、Lhk。
各片分别从片头部开始，接着排列片内的各宏块的编码数据(在本例中，表示在第二片中包含M个宏块的情况)。在共同·独立编码识别标志17表示对每个颜色成分使用单独的运动向量的情况下，在片头部中包含颜色成分识别信息18，该颜色成分识别信息18表示在该片中包含哪个颜色成分的编码数据。此时，虚拟像素精度指示信息16也可以构成为将由颜色成分识别信息18确定的Lqk、Lhk多路复用到片头部中。接着片头部，在各宏块的数据中排列有编码模式、运动向量、量化步长参数、预测误差压缩数据等。运动向量对mvd进行编码，该mvd是根据由上述(1a)～(3a)式(或者(1b)～(3b)式)确定的mv’与同样用相同的方法变换的预测值pmv’之间的差分而得到的。
此外，也可以构成为将虚拟像素精度指示信息16保存在以捆绑多个视频帧的序列为单位赋予的序列级别头部中，构成为根据图片、片、宏块等各编码数据来适应性地改变序列级别头部的多路复用信息，从而确定Lq、Lh。由此，不需要由单独的图片级别头部编码并传输虚拟像素精度指示信息16，能够缩减头部的信息量。
3.图像解码装置的动作
在图7中示出了本实施方式1中的图像解码装置的结构。可变长度解码部20对图6所示的比特流9进行解码，提取并解释共同·独立编码识别标志17，由此判断宏块是由三个颜色成分构成、还是由单一颜色成分构成，推进以后的片、宏块的比特流解析。根据共同·独立编码识别标志17的解码值，从比特流9中提取虚拟像素精度指示信息16。接着，按照规定的规则(语法)，提取片头部、各宏块的预测误差压缩数据22、包含编码模式、运动向量的预测信号生成用参数15、量化步长参数23等。
预测误差压缩数据22、量化步长参数23被输入到预测误差解码部24而复原为解码预测误差信号25。预测部21根据由可变长度解码部20解码的预测信号生成用参数15和存储器28内的参考图像，生成预测图像26(不包括图像编码装置中的预测部4的运动向量检测动作)。通过加法器相加解码预测误差信号25和预测图像26而得到解码信号27。解码信号27用于以后的宏块的运动补偿预测中，因此被保存到存储器28中。虽然未图示，但是也可以构成为在写入到存储器28之前，进行对解码信号实施去块滤波来去除块失真的处理。解码信号27根据共同·独立编码识别标志17，被复原为包含三个颜色成分的宏块或仅包含单一颜色成分的宏块中的某一个的图像信号。
在本实施方式1中的图像解码装置中，将运动向量所指示的虚拟像素的最大精度设为1/4像素，作为预测信号生成用参数15的一部分从可变长度解码部20输出的运动向量始终作为以1/4像素为1的值而输出到预测部21。即，关于在图像编码装置中根据上述(1a)～(3a)式(或者(1b)～(3b)式)压缩动态范围来编码的运动向量，使用从比特流提取出的虚拟像素精度指示信息16、按每个运动向量分配块从比特流提取出的mvd以及运动向量预测值pmv’，进行编码时的处理的逆变换，复原动态范围并向预测部21输出。
在图8中示出了该逆变换的处理流程。在可变长度解码部20中，首先从比特流中提取作为运动向量编码数据的mvd(步骤S10)。这相当于在编码时根据上述(1)～(3)式压缩动态范围来编码的数据。接着，求出成为该运动向量的预测值的pmv，对其进行与根据上述(1a)～(3a)式(或者(1b)～(3b)式))使用虚拟像素精度指示信息16进行编码时相同的变换处理，压缩动态范围(步骤S11)。根据所得到的pmv’得到mv’＝mvd+pmv’，根据利用虚拟像素精度指示信息16的下述(4)～(6)式对其进行逆变换来复原动态范围(步骤S12)。
mv”＝mv’(mv＜Lq)  (4)
mv”＝(mv’Lq)×2+Lq(Lq≤mv＜(Lq+(Lh-Lq)/2))  (5)
mv”＝(mv’Lq(Lh-Lq)/2)×4+Lh((Lq+(Lh-Lq)/2)≤mv)  (6)
将该mv”输出到预测部21，并且作为用于对以后的运动向量进行解码的预测值而保持在内部(步骤S13)。通过进行以上的处理，在预测部21中无需意识到被编码的运动向量的动态范围，能够始终以将1/4像素作为1的单位来处理运动向量。
此外，在图像编码装置的动作中与效果一起所说明的那样，虚拟像素精度指示信息16在对三个颜色成分使用共同的运动向量的情况(＝包含三个颜色成分的信号的宏块的情况)下，作为对三个颜色成分共同的值使用Lq、Lh。在对每个颜色成分使用独立的运动向量的情况(＝宏块中仅包含单一颜色成分的情况)下，既可以使用对每个颜色成分(k)解码的Lqk、Lhk来对每个颜色成分独立地应用(4)～(6)式，也可以构成为对所有的颜色成分将Lqk、Lhk设为相同的值来使用共同的Lq、Lh。由此，能够应对与根据颜色空间发生种种变化的信号的统计性质相适应的有效的运动预测。
另外，在图像编码装置的动作中与效果一起所说明的那样，也可以构成为Lq、Lh与被解码的视频的帧分辨率、量化步长参数23、运动向量分配单位的块大小(这由编码模式指定)、参考图像的索引等的包含在比特流9中的编码信息联动地发生变化。通过使图像解码装置采用这种结构，能够有效地应对编码得到的比特流的解码。
根据如上所述的本实施方式1中的图像编码装置、图像解码装置，为了有效地对4:4:4格式的彩色视频信号进行编码，能够根据各颜色成分的信号的性质来动态地切换在检测运动向量以及生成预测图像时利用的虚拟采样的精度，因此能够提供在成为高压缩率的低比特率编码中有效地抑制运动向量的代码量来进行编码的图像编码装置、图像解码装置。
并且，根据本实施方式1中的图像编码装置、图像解码装置，由于以下的理由，还具有使图像编码处理·解码处理的复杂度降低的效果。一般，当用像素数来换算被摄体的移动量时，视频的分辨率越高且画面内的像素数越多，则与分辨率低的情况相比移动像素数越多，因此需要将运动向量的搜索范围取得较大。通过扩大运动向量的搜索范围，评价点数增加，图像编码装置侧的评价运算量变多，但是根据本实施方式1的图像编码装置，构成为在搜索整数像素的时刻运动向量的大小为Lh以上的情况下中止虚拟像素的搜索，因此能够抑制运算量。另外，为了生成虚拟像素，需要在参考图像上使用虚拟像素生成对象位置周围的多个整数像素来进行内插滤波的处理。一般，参考图像由于是数据大小较大的帧存储器而被保存在外部的DRAM等大容量存储器(存储器14、存储器28等)中，为了高速地进行内插滤波处理，一般安装和构成为每次将外部存储器上的参考图像的一部分取入到内部高速缓冲存储器中来进行运算。因此，在虚拟像素生成处理中，一般不能避免外部存储器访问，虚拟像素生成点数越增多，存储器带宽(bandwidth)越增加，导致消耗电力越增加。如果运动向量所指示的范围小，则在内部高速缓冲存储器的允许量的范围内从参考图像一次性地向内部高速缓冲存储器取入所需要的数据，由此能够减少外部存储器访问数，但是在运动向量的大小较大的情况下，包含该运动向量的区域的图像数据一般难以取入到内部高速缓冲存储器中，存储器带宽不得不增加。在本实施方式1的图像编码装置、图像解码装置中，仅在运动向量的大小小于一定的阈值的情况下进行虚拟像素生成处理，因此还具有抑制为了进行内插滤波处理而所需的存储器带宽从而抑制消耗电力的效果。
此外，在本实施方式1中，说明了针对4:4:4视频信号的编码·解码的实施例，但是本发明中的运动向量的适应性编码当然也能够应用于以非专利文献1等的在以往的亮度·色差成分格式中进行了颜色的间隔剔除的4:2:0、4:2:2格式为对象的视频编码中对其运动向量编码的效率化。

Claims (4)

1.一种图像编码装置，将数字视频信号的各图片分割为规定的单位区域，以此单位使用运动补偿预测进行压缩编码，该图像编码装置的特征在于，具备：
预测部，根据用于指定运动向量所指示的像素位置的精度上限的虚拟像素精度指定信息，进行运动向量搜索，根据该搜索到的运动向量来生成运动补偿预测图像；以及
编码部，将上述虚拟像素精度指定信息多路复用到比特流中，并且根据上述搜索到的运动向量的大小和在该搜索到的运动向量的预测中使用的运动向量的大小，将进行编码的运动向量数据多路复用到比特流中。
2.一种图像解码装置，接收图像编码比特流来复原视频信号，该图像编码比特流是将数字视频信号的各图片分割为规定的单位区域，以此单位使用运动补偿预测进行压缩编码而得到的，该图像解码装置的特征在于，具备：
解码部，从比特流中提取用于指定运动向量所指示的像素位置的精度上限的虚拟像素精度指定信息，并且以被分配运动向量的区域的单位从比特流提取运动向量的编码数据，来复原运动向量；以及
预测部，根据由该解码部解码的运动向量来生成运动补偿预测图像，
其中，上述解码部根据复原的数据的大小和从上述比特流提取出的虚拟像素精度指定信息来解码运动向量，该复原的数据是根据从比特流提取出的运动向量编码数据和在该解码对象的运动向量的预测中使用的运动向量进行复原的数据。
3.一种图像编码方法，将数字视频信号的各图片分割为规定的单位区域，以此单位使用运动补偿预测进行压缩编码，该图像编码方法的特征在于，具备：
预测步骤，根据用于指定运动向量所指示的像素位置的精度上限的虚拟像素精度指定信息，进行运动向量搜索，根据该搜索到的运动向量来生成运动补偿预测图像；以及
编码步骤，将上述虚拟像素精度指定信息多路复用到比特流中，并且根据上述搜索到的运动向量的大小和在该搜索到的运动向量的预测中使用的运动向量的大小，将进行编码的运动向量数据多路复用到比特流中。
4.一种图像解码方法，接收图像编码比特流来复原视频信号，该图像编码比特流是将数字视频信号的各图片分割为规定的单位区域，以此单位使用运动补偿预测进行压缩编码而得到的，该图像解码方法的特征在于，具备：
解码步骤，从比特流中提取用于指定运动向量所指示的像素位置的精度上限的虚拟像素精度指定信息，并且以被分配运动向量的区域的单位从比特流提取运动向量的编码数据，来复原运动向量；以及
预测步骤，根据该解码的运动向量来生成运动补偿预测图像，
其中，上述解码步骤根据复原的数据的大小和从上述比特流提取出的虚拟像素精度指定信息来解码运动向量，该复原的数据是根据从比特流提取出的运动向量编码数据和在该解码对象的运动向量的预测中使用的运动向量进行复原的数据。
CN2009801020090A 2008-01-09 2009-01-08 图像编码装置、图像解码装置、图像编码方法以及图像解码方法 Pending CN101911706A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-002223 2008-01-09
JP2008002223 2008-01-09
PCT/JP2009/050142 WO2009088038A1 (ja) 2008-01-09 2009-01-08 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法

Publications (1)

Publication Number Publication Date
CN101911706A true CN101911706A (zh) 2010-12-08

Family

ID=40853150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801020090A Pending CN101911706A (zh) 2008-01-09 2009-01-08 图像编码装置、图像解码装置、图像编码方法以及图像解码方法

Country Status (9)

Country Link
US (1) US20110032991A1 (zh)
EP (1) EP2234404A4 (zh)
JP (1) JP5197630B2 (zh)
KR (1) KR20100099723A (zh)
CN (1) CN101911706A (zh)
BR (1) BRPI0906824A2 (zh)
CA (1) CA2711742A1 (zh)
RU (1) RU2010133237A (zh)
WO (1) WO2009088038A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102783149A (zh) * 2010-02-19 2012-11-14 高通股份有限公司 用于视频译码的适应性运动分辨率
CN107087190A (zh) * 2011-01-24 2017-08-22 索尼公司 图像编码装置、图像编码方法及图像解码装置
CN107770548A (zh) * 2011-10-19 2018-03-06 太阳专利托管公司 解码方法、解码装置
CN109089120A (zh) * 2011-09-06 2018-12-25 英特尔公司 分析辅助编码
US10313680B2 (en) 2014-01-08 2019-06-04 Microsoft Technology Licensing, Llc Selection of motion vector precision
US10523946B2 (en) 2011-09-19 2019-12-31 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US10554993B2 (en) 2011-09-07 2020-02-04 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US10587891B2 (en) 2014-01-08 2020-03-10 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
CN111010581A (zh) * 2018-12-07 2020-04-14 北京达佳互联信息技术有限公司 运动矢量信息的处理方法、装置、电子设备及存储介质
WO2020098655A1 (en) * 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Motion vector storage for inter prediction
US10883398B2 (en) 2011-08-25 2021-01-05 Sun Patent Trust Methods and apparatuses for encoding and decoding video using periodic buffer description
US11509923B1 (en) 2019-03-06 2022-11-22 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
US11838539B2 (en) 2018-10-22 2023-12-05 Beijing Bytedance Network Technology Co., Ltd Utilization of refined motion vector
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139875B2 (en) * 2007-06-28 2012-03-20 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
WO2011046587A1 (en) * 2009-10-14 2011-04-21 Thomson Licensing Methods and apparatus for adaptive coding of motion information
EP2532163B1 (en) * 2010-02-05 2013-12-11 Telefonaktiebolaget LM Ericsson (publ) Improved method and apparatus for sub-pixel interpolation
US10327008B2 (en) 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
JP2012104945A (ja) * 2010-11-08 2012-05-31 Sony Corp 画像処理装置と画像処理方法およびプログラム
EP4099700A1 (en) 2011-01-07 2022-12-07 Nokia Technologies Oy Motion prediction in video coding
WO2017135151A1 (ja) * 2016-02-01 2017-08-10 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置
CA3059740A1 (en) 2017-04-21 2018-10-25 Zenimax Media Inc. Systems and methods for game-generated motion vectors
US11627278B2 (en) * 2019-04-05 2023-04-11 Project Giants, Llc High dynamic range video format detection
JP6835337B2 (ja) * 2019-06-20 2021-02-24 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3415319B2 (ja) * 1995-03-10 2003-06-09 株式会社東芝 動画像符号化装置及び動画像符号化方法
US5731840A (en) * 1995-03-10 1998-03-24 Kabushiki Kaisha Toshiba Video coding/decoding apparatus which transmits different accuracy prediction levels
JP3856262B2 (ja) * 1998-03-09 2006-12-13 日本ビクター株式会社 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体
GB2339101B (en) * 1998-06-25 2002-09-18 Sony Uk Ltd Processing of compressed video signals using picture motion vectors
JP2003169338A (ja) * 2001-09-18 2003-06-13 Matsushita Electric Ind Co Ltd 動きベクトル検出方法及び装置並びに方法プログラムを記録した媒体
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
JP2004236049A (ja) * 2003-01-31 2004-08-19 Hitachi Ltd 符号化方法及び復号化方法
JP2004274212A (ja) * 2003-03-06 2004-09-30 Renesas Technology Corp 画像符号化装置
US7310451B2 (en) * 2005-01-03 2007-12-18 Intel Corporation Sub-pixel image shifting in display device

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102783149A (zh) * 2010-02-19 2012-11-14 高通股份有限公司 用于视频译码的适应性运动分辨率
CN102783149B (zh) * 2010-02-19 2015-11-25 高通股份有限公司 用于视频译码的适应性运动分辨率
CN107087190B (zh) * 2011-01-24 2020-04-21 索尼公司 图像编码装置、图像编码方法及图像解码装置
CN107087190A (zh) * 2011-01-24 2017-08-22 索尼公司 图像编码装置、图像编码方法及图像解码装置
US11891932B2 (en) 2011-08-25 2024-02-06 Sun Patent Trust Methods and apparatuses for encoding and decoding video using periodic buffer description
US11428129B2 (en) 2011-08-25 2022-08-30 Sun Patent Trust Methods and apparatuses for encoding and decoding video using periodic buffer description
US10883398B2 (en) 2011-08-25 2021-01-05 Sun Patent Trust Methods and apparatuses for encoding and decoding video using periodic buffer description
CN109089120A (zh) * 2011-09-06 2018-12-25 英特尔公司 分析辅助编码
CN109089120B (zh) * 2011-09-06 2024-05-17 英特尔公司 分析辅助编码
US10554993B2 (en) 2011-09-07 2020-02-04 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US12108070B2 (en) 2011-09-07 2024-10-01 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US11758173B2 (en) 2011-09-07 2023-09-12 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US10820005B2 (en) 2011-09-07 2020-10-27 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US11356691B2 (en) 2011-09-07 2022-06-07 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US11019342B2 (en) 2011-09-19 2021-05-25 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US10523946B2 (en) 2011-09-19 2019-12-31 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US11533488B2 (en) 2011-09-19 2022-12-20 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
US11956440B2 (en) 2011-09-19 2024-04-09 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
CN107770548B (zh) * 2011-10-19 2020-04-14 太阳专利托管公司 解码方法、解码装置
US10602184B2 (en) 2011-10-19 2020-03-24 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
CN107770548A (zh) * 2011-10-19 2018-03-06 太阳专利托管公司 解码方法、解码装置
US10587891B2 (en) 2014-01-08 2020-03-10 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US10313680B2 (en) 2014-01-08 2019-06-04 Microsoft Technology Licensing, Llc Selection of motion vector precision
US11889108B2 (en) 2018-10-22 2024-01-30 Beijing Bytedance Network Technology Co., Ltd Gradient computation in bi-directional optical flow
US12041267B2 (en) 2018-10-22 2024-07-16 Beijing Bytedance Network Technology Co., Ltd. Multi-iteration motion vector refinement
US11838539B2 (en) 2018-10-22 2023-12-05 Beijing Bytedance Network Technology Co., Ltd Utilization of refined motion vector
US11284088B2 (en) 2018-11-12 2022-03-22 Beijing Bytedance Network Technology Co., Ltd. Using combined inter intra prediction in video processing
US11843725B2 (en) 2018-11-12 2023-12-12 Beijing Bytedance Network Technology Co., Ltd Using combined inter intra prediction in video processing
US11516480B2 (en) 2018-11-12 2022-11-29 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
US11956449B2 (en) 2018-11-12 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
US11277624B2 (en) 2018-11-12 2022-03-15 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
WO2020098655A1 (en) * 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Motion vector storage for inter prediction
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position
CN111010581B (zh) * 2018-12-07 2022-08-12 北京达佳互联信息技术有限公司 运动矢量信息的处理方法、装置、电子设备及存储介质
CN111010581A (zh) * 2018-12-07 2020-04-14 北京达佳互联信息技术有限公司 运动矢量信息的处理方法、装置、电子设备及存储介质
US11509923B1 (en) 2019-03-06 2022-11-22 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding

Also Published As

Publication number Publication date
CA2711742A1 (en) 2009-07-16
EP2234404A4 (en) 2011-06-22
JP5197630B2 (ja) 2013-05-15
EP2234404A1 (en) 2010-09-29
KR20100099723A (ko) 2010-09-13
RU2010133237A (ru) 2012-02-20
WO2009088038A1 (ja) 2009-07-16
JPWO2009088038A1 (ja) 2011-05-26
BRPI0906824A2 (pt) 2015-07-14
US20110032991A1 (en) 2011-02-10

Similar Documents

Publication Publication Date Title
CN101911706A (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
US11889107B2 (en) Image encoding method and image decoding method
JP4977094B2 (ja) 画像符号化方法
CN103891293B (zh) 用于色度分量的自适应环路滤波的方法及设备
CN103118253B (zh) 运动图像编码装置以及运动图像译码装置
CN103959777B (zh) 视频译码中的与自适应环路滤波器合并的样本自适应偏移
JP5296679B2 (ja) 画像復号装置および画像復号方法
CN101682781B (zh) 图像编码方法以及图像解码方法
CN102265619B (zh) 切换式内插滤波器中的偏移计算方法
CN105659603B (zh) 编码及解码视频数据的方法、装置及计算机可读存储媒体
CN105379266A (zh) 停用帧内预测滤波
CN102090065A (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
CN105723707A (zh) 用于视频译码的色彩残差预测
CN102804779A (zh) 图像处理装置和方法
CN102450018A (zh) 影像编码装置、影像解码装置、影像编码方法及影像解码方法
CN103780912A (zh) 图像处理装置和图像处理方法
CN104969552A (zh) 存储减少的帧内预测模式决策
CN102415098B (zh) 图像处理设备和方法
US20140105295A1 (en) Moving image encoding method and apparatus, and moving image decoding method and apparatus
SE1850158A2 (sv) Förfarande för att utse ett kandidatblock för fusion samt en anordning för tillämpning av detta förfarande
CN104221381A (zh) 用于视频译码的波前并行处理
CN103780911A (zh) 视频解码设备
CN103563378A (zh) 存储器高效的上下文建模
CN102077596A (zh) 图像处理设备和图像处理方法
CN104270637A (zh) 图像解码装置以及图像解码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20101208