CN103339935A - 运动向量预测 - Google Patents

运动向量预测 Download PDF

Info

Publication number
CN103339935A
CN103339935A CN2011800655243A CN201180065524A CN103339935A CN 103339935 A CN103339935 A CN 103339935A CN 2011800655243 A CN2011800655243 A CN 2011800655243A CN 201180065524 A CN201180065524 A CN 201180065524A CN 103339935 A CN103339935 A CN 103339935A
Authority
CN
China
Prior art keywords
motion vector
candidate
video
difference
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800655243A
Other languages
English (en)
Other versions
CN103339935B (zh
Inventor
钱威俊
陈培松
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103339935A publication Critical patent/CN103339935A/zh
Application granted granted Critical
Publication of CN103339935B publication Critical patent/CN103339935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本发明揭示一种译码视频数据的方法，所述方法包含确定视频帧的一个或一个以上候选部分中的每一者的候选运动向量以及确定当前帧的当前部分的当前运动向量。所述当前运动向量识别至少部分匹配所述当前帧的所述当前部分的参考帧的部分。所述方法还包含：计算所述当前运动向量与所述候选运动向量中的每一者之间的运动向量差；基于所述所计算的运动向量差来选择所述候选运动向量中的一者；用信号发送识别具有所述候选运动向量中的所述选定一者的所述候选部分的索引；以及用信号发送关于所述候选运动向量中的所述选定一者而计算的所述对应运动向量差。

Description

运动向量预测
本申请案主张2011年1月21日申请的第61/435,204号美国临时申请案以及2011年3月7日申请的第61/449,991号美国临时申请案的权利，所述申请案两者的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码，且更具体来说涉及用于在译码视频数据时执行运动向量预测、运动估计和运动补偿的技术。
背景技术
可将数字视频能力并入于广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术(例如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(高级视频译码(AVC))定义的标准、当前在开发过程中的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频压缩技术)以更有效率地发射、接收和存储数字视频信息。
视频压缩技术包含空间预测和/或时间预测以减少或移除视频序列中所固有的冗余。对于基于块的视频译码，可将视频帧或切片分割为多个块。可对每一块进行进一步分割。使用相对于同一帧或切片中的邻近块中的参考样本的空间预测来编码经帧内译码(I)的帧或切片中的块。经帧间译码(P或B)的帧或切片中的块可使用相对于同一帧或切片中的邻近块中的参考样本的空间预测或相对于其它参考帧中的参考样本的时间预测。空间或时间预测产生待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。
根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性块之间的差的残余数据来编码帧间译码的块。根据帧内译码模式和残余数据来编码帧内译码的块。为了进一步压缩，可将残余数据从像素域变换到变换域，产生残余变换系数，接着可将残余变换系数量化。可以特定次序来扫描最初以二维阵列布置的量化变换系数以便产生变换系数的一维向量用于熵译码。
发明内容
本发明大体上描述用于译码视频数据的技术。本发明描述用于在进行帧间模式译码(即，相对于其它帧的块而对当前块译码)时执行运动向量预测、运动估计与运动补偿的技术。在一些实例中，所述技术可包含在对当前块译码时从邻近块复制预测方向和参考帧索引。另外，技术可包含使用当前块的运动向量与邻近块的运动向量之间的运动向量差来允许较有效的译码。
在本发明的一个实例中，一种编码视频数据的方法包含确定视频帧的一个或一个以上候选部分中的每一者的候选运动向量以及确定当前帧的当前部分的当前运动向量。所述当前运动向量识别至少部分匹配所述当前帧的所述当前部分的参考帧的部分。方法还包含：计算当前运动向量与候选运动向量中的每一者之间的运动向量差；基于所计算的运动向量差来选择候选运动向量中的一者；用信号发送识别具有候选运动向量中的选定一者的候选部分的索引；以及用信号发送关于候选运动向量中的选定一者而计算的对应运动向量差。
在本发明的另一实例中，呈现一种经配置以编码视频数据的设备。所述设备包括视频编码器，其经配置以确定视频帧的一个或一个以上候选部分中的每一者的候选运动向量以及确定当前帧的当前部分的当前运动向量，其中所述当前运动向量识别至少部分匹配所述当前帧的所述当前部分的参考帧的部分。所述视频编码器经进一步配置以：计算所述当前运动向量与所述候选运动向量中的每一者之间的运动向量差；基于所计算的运动向量差来选择所述候选运动向量中的一者；以及用信号发送识别具有所述候选运动向量中的选定一者的所述候选部分的索引；以及用信号发送关于所述候选运动向量中的选定一者而计算的对应运动向量差。
在本发明的另一实例中，一种解码视频数据的方法包含：接收识别帧的候选部分的索引且接收运动向量差；检索与候选部分相关联的候选运动向量；基于所接收运动向量差和候选运动向量而确定当前帧的当前部分的当前运动向量；以及使用所确定的当前运动向量来对当前部分执行运动补偿来产生预测性视频数据。
在本发明的另一实例中，呈现一种经配置以解码视频数据的设备。所述设备包含视频解码器，其经配置以接收识别帧的候选部分的索引以及接收运动向量差。所述视频解码器经进一步配置以：检索与候选部分相关联的候选运动向量；基于所接收的运动向量差与候选运动向量而确定当前帧的当前部分的当前运动向量；以及使用所确定的当前运动向量来对当前部分执行运动补偿以产生预测性视频数据。
在附图和以下描述中陈述一个或一个以上实例的细节。其它特征、目标和优势将从描述和附图以及从权利要求书中显而易见。
附图说明
图1A和1B是说明译码单元分裂的实例的概念图。
图2A和2B是预测语法译码的实例的概念图。
图3是说明实例视频编码与解码系统的框图。
图4是说明实例视频编码器的框图。
图5是说明实例视频解码器的框图。
图6是说明编码视频的实例方法的流程图。
图7是说明解码视频的实例方法的流程图。
图8是说明解码视频的另一实例方法的流程图。
图9是说明解码视频的另一实例方法的流程图。
具体实施方式
本发明大体上描述用于译码视频数据的技术。本发明描述用于在对视频数据进行帧间模式译码(即，相对于其它帧的块的译码)时执行运动估计与运动补偿的技术。具体来说，本发明提议在对当前块译码时从邻近块复制预测方向和参考帧索引。另外，本发明提议使用当前块的运动向量与邻近块的运动向量之间的运动向量差来允许较灵活且有效的译码。替代整个运动向量而发送运动向量差可产生较少的用信号发送的位。此外，连同复制预测方向和参考帧索引一起使用运动向量差提供已经解码预测语法的有效再用，同时提供当前块的运动向量的更准确再生。
数字视频装置实施视频压缩技术以更有效地编码和解码数字视频信息。视频压缩可应用空间(帧内)预测和/或时间(帧间)预测技术以减少或移除视频序列中所固有的冗余。
对于根据当前正由视频译码联合合作小组(JCT-VC)开发的高效率视频译码(HEVC)标准的视频译码，作为一个实例，可将视频帧分割为多个译码单元。译码单元(CU)通常指代用作基本单元的图像区域，可将各种译码工具应用于所述基本单元以用于视频压缩。CU通常具有亮度分量(指示为Y)和两个色度分量(指示为U和V)。取决于视频取样格式，就样本数目来说，U和V分量的大小可与Y分量的大小相同或不同。CU通常为方形的，且(例如)在其它视频译码标准(例如ITU-T H.264)下可被视为类似于所谓的宏块。将在本申请案中描述根据目前正在开发的HEVC标准的所提议方面中的一些的译码以用于说明目的。然而，本发明中所描述的技术可有用于其它视频译码过程，例如根据H.264或其它标准所定义的那些视频译码过程或专有视频译码过程。
HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的模型。HM假设了视频译码装置优于根据(例如)ITU-T H.264/AVC的装置的若干能力。举例来说，尽管H.264提供九个帧内预测编码模式，但HM提供多达三十四个帧内预测编码模式。
根据HM，CU可包含一个或一个以上预测单元(PU)和/或一个或一个以上变换单元(TU)。位流内的语法数据可界定最大译码单元(LCU)，LCU就像素数目来说是最大CU。大体上，除了CU不具有大小区别之外，CU的用途类似于H.264的宏块。因此，CU可分裂为多个子CU。大体上，本发明中对CU的引用可指代图片的最大译码单元或LCU的子CU。LCU可分裂为多个子CU，且每一子CU可进一步分裂为多个子CU。位流的语法数据可界定LCU可分裂的最大次数，称作CU深度。因此，位流还可界定最小译码单元(SCU)。本发明还使用术语“块”或“部分”来指代CU、PU或TU中的任一者。大体上，“部分”可指代视频帧的任何子集。
LCU可与四叉树数据结构相关联。图1A是四叉树分裂的概念图。大体上，四叉树数据结构对于每一CU包含一个节点，其中根节点对应于LCU。如果将CU分裂为四个子CU，那么对应于CU的节点包含四个叶节点，每一叶节点对应于子CU中的一者。四叉树数据结构中的每一节点可提供针对对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，其指示是否将对应于节点的CU分裂为多个子CU。可递归地定义用于CU的语法元素，且其可取决于CU是否分裂为多个子CU。如果CU未经进一步分裂，那么将其称作叶CU。在本发明中，即使不存在原始叶CU的明确分裂，叶CU的四个子CU也将被称作叶CU。举例来说，如果16×16大小的CU未经进一步分裂，那么即使16×16CU从未经分裂，四个8×8子CU也将被称作叶CU。
此外，叶CU的TU也可与相应四叉树数据结构相关联。即，叶CU可包含指示如何将叶CU分割为多个TU的四叉树。本发明涉及指示如何将LCU分割为CU四叉树的四叉树以及指示如何将叶CU分割为多个TU作为TU四叉树的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于LCU。TU四叉树的未分裂的TU被称作叶TU。
叶CU可包含一个或一个以上预测单元(PU)。大体上，PU表示对应CU的全部或一部分，且可包含用于检索PU的参考样本的数据。举例来说，当PU经帧间模式编码时，PU可包含界定PU的运动向量的数据。界定运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考帧，和/或运动向量的参考列表(例如，列表0或列表1)。界定PU的叶CU的数据还可描述(例如)CU到一个或一个以上PU的分割。分割模式可取决于CU是未经译码或是经帧内预测模式编码或是经帧间预测模式编码而不同。对于帧内译码，可与下文描述的叶变换单元一样来处理PU。
对于涉及视频帧之间的运动估计与补偿的帧间预测，已提议额外类型的分裂。此额外类型的PU分裂被称作几何分裂或分割，其允许识别并非严格水平和/或垂直的运动边界。图1B中展示几何分裂的概念图。在几何分裂中，子CU通过定义为西塔(θ)和柔(ρ)的函数的直线而分裂为两个分割区(其也可称作预测单元(PU))。θ界定如从x轴测量的从中心(0，0)延伸的垂直于分割线的线的角度，而ρ界定此线到分割线的距离或长度。
不管所执行分裂的类型如何，编码器可执行通常称作“运动估计”的过程以确定在分裂子CU之后形成的每一所得部分(例如，PU)的运动向量。作为一个实例，编码器通过在参考帧中执行可称作“运动搜索”的动作来确定这些运动向量，其中编码器在时间上后续或未来的参考帧中搜索每一部分。在找到参考帧的最佳匹配当前部分的部分后，编码器即刻确定当前部分的当前运动向量作为当前部分与参考帧中的匹配部分的位置差(即，从当前部分的中心到匹配部分的中心)。
在一些常规实例中，编码器可在经编码视频位流中用信号发送每一部分的运动向量。由解码器使用由信号发送的运动向量以执行运动补偿，以便解码视频数据。然而，用信号发送整个运动向量可导致较不有效的译码，这是因为运动向量通常由大量的位来表示。
在一些情况下，并非用信号发送整个运动向量，编码器可预测每一分割区的运动向量。在执行此运动向量预测时，编码器可选择针对与当前部分在同一帧中的空间上邻近的PU而确定的一组候选运动向量或针对另一参考帧中相同位置(co-located)的PU而确定的候选运动向量。编码器可执行运动向量预测而非用信号发送整个运动向量来降低复杂性和用信号发送的位速率。
常规上使用两种不同模式或类型的运动向量预测。一种模式称作“合并”模式。另一模式称作自适应运动向量预测(AMVP)。在合并模式中，编码器通过预测语法的位流信令而指示解码器从选定候选运动向量复制运动向量、参考索引(其识别给定参考图片列表中运动向量所指向的参考帧)和运动预测方向(其识别参考图片列表，即，在参考帧在时间上在当前帧之前或是之后方面)来用于帧的当前部分。这通过在位流中用信号发送识别具有选定候选运动向量的候选部分的索引来完成。因此，对于合并模式，预测语法可包含识别模式(在此情况下为“合并”模式)的旗标和识别候选部分的位置的索引。在一些情况下，候选部分将为关于当前部分的原因部分。即，候选部分将已由解码器解码。因而，解码器已接收和/或确定候选部分的运动向量、参考索引和运动预测方向。因而，解码器可仅仅从存储器检索与候选部分相关联的运动向量、参考索引和运动预测方向且复制这些值用于当前部分。
在AMVP中，编码器通过位流信令指示解码器仅从候选部分复制运动向量，且分别用信号发送参考帧和预测方向。在AMVP中，将被复制的运动向量可通过发送运动向量差(MVD)而用信号发送。MVD是当前部分的当前运动向量与候选部分的候选运动向量之间的差。以此方式，解码器无需将候选运动向量的准确复本用于当前运动向量，而是可使用值“接近”当前运动向量的候选运动向量且加上MVD来再生当前运动向量。在多数环境中，MVD需要比整个当前运动向量少的位来用信号发送。因而，AVMP允许比发送整体运动向量更精确的用信号发送当前运动向量且同时维持译码效率。相比来说，合并模式不允许MVD的规范，且因而，合并模式为了增加的信令效率(即，较少的位)而牺牲了运动向量信令的准确性。AVMP的预测语法可包含模式(在此情况下为AMVP)的旗标、候选部分的索引、当前运动向量与候选部分的候选运动向量之间的MVD、参考索引和运动预测方向。
一旦执行运动估计来确定每一部分的运动向量，编码器便比较参考帧中的匹配部分(如果执行运动搜索)或所预测运动向量所识别的参考帧的部分(如果执行运动向量预测)与当前部分。此比较通常涉及从当前部分减去参考帧中的部分(其通常称作“参考样本”)，且产生所谓的残余数据。残余数据指示当前部分与参考样本之间的像素差值。编码器接着将此残余数据从空间域变换到频域。通常，编码器将离散余弦变换(DCT)应用到残余数据来完成此变换。编码器执行此变换以便进一步将残余数据压缩为仅需在变换之后编码的所得变换系数而非压缩残余数据整体。
通常，以一方式将所得变换系数分组在一起而启用游程长度编码，尤其在变换系数经首次量化(四舍五入)的情况下。编码器执行经量化变换系数的此游程长度编码，且接着执行统计无损(或所谓的“熵”)编码以进一步压缩经游程长度译码的量化变换系数。
在执行无损统计译码之后，编码器产生包含经编码视频数据的位流。在某些情况下此位流还包含许多预测语法元素，其指定(例如)是否执行运动向量预测、运动向量模式和运动向量预测器(MVP)索引(即，具有选定运动向量的候选部分的索引)。MVP索引还可称作其语法元素变量名“mvp_idx”。
在经提议由ITU-T/ISO/IEC视频译码联合合作小组(JCT-VC)采用的当前设计中(称作高效率视频译码(HEVC))，编码器执行借以预测当前部分的运动向量的许多运动向量预测模式，包含上文描述的1)AMVP及2)合并模式)。这两个模式是类似的，但AMVP就能够界定MVD、运动预测方向和参考索引方面提供较多灵活性，而合并模式仅复制此运动向量信息(即，运动向量、运动预测方向和参考索引)且不允许MVD的增加的精确度。另一差异在于AMVP考虑来自参考帧中相同位置的PU的时间候选运动向量和来自当前帧中邻近或相邻PU的运动向量，而合并模式仅考虑来自当前帧中邻近或相邻PU的那些运动向量。
提供这些运动向量预测模式两者以促进用信号发送运动信息。AMVP通过仅需要指定MVD而非运动向量本身而降低与用信号发送此运动信息相关联的成本。合并模式通过仅用信号发送选择邻近空间候选运动向量中的一者来进行复制以用于当前部分而更进一步降低这些相同信令成本。然而，合并模式的限制性在于：其仅能够指定邻近部分(当前部分从所述邻近部分继承其运动向量)且不准许AMVP所提供的灵活性。
根据本发明中所陈述的技术，呈现用于译码运动向量和其它预测语法的额外运动向量预测模式。为了进行说明，编码器可确定一个或一个以上候选部分中的每一者的候选运动向量。在一个实例中，候选部分可与当前部分处于同一帧中。候选部分可为当前部分的相邻部分。具体来说，候选部分可以是当前部分的原因的相邻部分。即，相邻候选部分可能已在编码当前块时在编码器处经编码。因此，在解码器处，相邻候选部分已在解码当前块时经解码。不管候选部分的位置如何，编码器接着确定当前帧的当前运动向量。编码器可通过在参考帧中使用针对匹配部分的完整运动搜索而确定此当前运动向量。
在确定候选运动向量和当前运动向量之后，编码器比较当前运动向量与邻近运动向量中的每一者以确定运动向量差(MVD)。根据预定算法，编码器接着选择候选运动向量中的一者与相关联MVD。大体上，用以选择候选运动向量的算法可试图选择产生可用最少位表示的MVD的候选运动向量。即，编码器可选择候选运动向量中的一者而使得其对应MVD与所有其它所确定的运动向量差相比最小(就将用信号发送的位来说)。
在一些情况下，可实施所揭示运动向量预测模式而使得编码器将运动向量预测模式的应用限制于其中候选部分的候选运动向量全部返回参考同一参考帧的情况。技术可在这方面上限制实施以避免必须用信号发送参考索引，这是因为当所有邻近运动向量参考同一参考帧时可从邻近运动向量推断参考。
图2A是当所有候选运动向量返回参考同一参考帧时预测语法译码的实例的概念图。预测语法6可包含指示运动向量预测模式的模式旗标1、识别具有选定候选运动向量的候选部分的预测单元索引3以及运动向量差7(即，相对于选定候选运动向量确定的对应MVD)。如果所揭示运动向量预测模式仅为所使用的模式，那么模式旗标1可为任选的。举例来说，即，可使用模式旗标1来区分所揭示运动向量预测模式与合并模式或AMVP。预测语法6还可包含任选的MVD＝0旗标5。当MVD为0时可使用此旗标(即，当前运动向量与选定候选运动向量是相同的)。此旗标可进一步减少用信号发送所需的位。或者，可不使用所述旗标且可发送所有零作为MVD 7。本发明的此方面提供AMVP(其中需要用信号发送参考索引与运动预测方向两者连同MVD和识别具有选定候选运动向量的候选部分的索引)与合并模式(其中仅用信号发送识别具有选定候选运动向量的候选部分的索引)之间的平衡。
在其它情况下，可移除使候选运动向量指向同一参考的限制。图2B是当所有候选运动向量未返回参考同一参考帧时预测语法译码的实例的概念图。预测语法8可包含指示运动向量预测模式的模式旗标1、识别具有选定候选运动向量的候选部分的预测单元索引3以及运动向量差7(即，相对于选定候选运动向量确定的对应MVD)。相比于图2A的实例预测语法6，图2B的预测语法8进一步包含识别选定候选运动向量指向的参考帧的参考帧索引9。同样，模式旗标1可为任选的。而且，预测语法8可任选地包含MVD＝0旗标5。在此实例中，所揭示运动向量预测模式可变得很通用以便包含AMVP和合并模式两者。消除这两个模式之间的区别可减少与用信号发送用以执行运动向量预测的模式相关联的信令成本，这是因为将保留单一模式。
应理解，图2A的预测语法6和图2B的预测语法8并非相互排斥的，且可在同一系统中使用。就此来说，可使用模式旗标1来区分两模式。即，模式旗标1将取决于运动向量预测模式是否受限于全部返回参考同一参考帧的候选运动向量或是否不存在此类限制而采用不同的值。
如下文关于图5将更详细论述，解码器可使用用信号发送的预测语法来检索运动向量、运动预测方向和参考索引来对当前帧执行运动补偿。大体上，解码器可接收图2A的包含预测单元索引3和运动向量差7的预测语法。可基于识别候选部分的预测单元索引3来检索与候选部分相关联的候选运动向量。在一些实例中，候选部分可为正经解码的当前部分的原因(即，候选部分已经解码)。因而，可从存储器存取与候选部分相关联的运动向量。如果候选部分并非表示原因，那么解码器等待检索与候选部分相关联的候选运动向量直到候选部分已经解码为止。
一旦已检索候选运动向量，解码器便基于所接收运动向量差7和所检索候选运动向量而确定当前部分的当前运动向量。即，可通过将运动向量差加到候选运动向量来确定当前运动向量。在另一实例中，所接收运动向量差可为图2A到2B的MVD＝0旗标5。在此情况下，仅将与候选部分相关联的候选运动向量复制到当前部分。解码器还可检索与候选部分相关联的参考索引和运动预测方向。在一些实例中，代替使解码器从与用信号发送的预测单元索引相关联的参考帧来复制参考帧索引(例如，图2B的实例)，明确地用信号发送参考帧索引。接着使用所确定的当前运动向量、运动预测方向和参考索引来对当前部分执行运动补偿。
大体上，本发明提议一种编码视频数据的方法，所述方法包含确定视频帧的一个或一个以上候选部分中的每一者的候选运动向量以及确定当前帧的当前部分的当前运动向量。当前运动向量识别至少部分匹配当前帧的当前部分的参考帧的部分。所述方法还包含：计算当前运动向量与候选运动向量中的每一者之间的运动向量差；基于所计算的运动向量差来选择候选运动向量中的一者；用信号发送识别具有候选运动向量中的选定一者的候选部分的索引；以及用信号发送关于候选运动向量中的选定一者而计算的对应运动向量差。此编码方法可通过视频编码器来执行。
本发明还提议一种解码视频数据的方法，其包含：接收识别帧的候选部分的索引且接收运动向量差；检索与候选部分相关联的候选运动向量；基于所接收运动向量差和候选运动向量而确定当前帧的当前部分的当前运动向量；以及使用所确定的当前运动向量来对当前部分执行运动补偿来产生预测性视频数据。此解码方法可通过视频解码器来执行。
图3为根据本发明实例的说明可经配置以利用运动向量预测的技术的实例视频编码与解码系统10的框图。如图3中所示，系统10包含源装置12，其经由通信信道16将经编码视频发射到目的装置14。经编码视频数据还可存储在存储媒体34或文件服务器36上，且可根据需要通过目的装置14来存取。当存储到存储媒体或文件服务器时，视频编码器20可将经译码视频数据提供到另一装置，例如网络接口、压缩光盘(CD)、蓝光光盘(Blu-ray)或数字视频光盘(DVD)刻录机或压印设施装置，或用于将经译码视频数据存储到存储媒体的其它装置。类似地，与视频解码器30分开的装置(例如，网络接口、CD或DVD读取器或类似物)可从存储媒体检索经译码视频数据，且将经检索数据提供到视频解码器30。
源装置12和目的装置14可包括广泛多种装置中的任一者，包含台式计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的智能电话)、电视、相机、显示装置、数字媒体播放器、视频游戏控制台或类似者。在许多情况下，此类装置可经配备用于无线通信。因此，通信信道16可包括无线信道、有线信道，或适合发射经编码视频数据的无线与有线信道的组合。类似地，可通过目的装置14经由任何标准数据连接(包含因特网连接)来存取文件服务器36。此连接可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)，或适合存取存储在文件服务器上的经编码视频数据的两者的组合。
可将根据本发明实例的用于运动向量预测的技术应用到支持多种多媒体应用(例如，经由因特网的空中电视广播、有线电视传输、卫星电视传输、流式视频传输)中的任一者的视频译码、用于存储在数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播和/或视频电话等应用。
在图3的实例中，源装置12包含视频源18、视频编码器20、调制器/解调器22和发射器24。在源装置12中，视频源18可包含例如视频捕捉装置(例如，摄像机、含有先前捕捉的视频的视频存档、用以从视频内容提供者接收视频的视频馈入接口)，和/或用于产生计算机图形数据作为源视频的计算机图形系统等源，或此类源的组合。作为一个实例，如果视频源18为摄像机，那么源装置12和目的装置14可形成所谓的摄像机电话或视频电话。然而，本发明中所描述的技术可大体上适用于视频译码，且可应用到无线和/或有线应用，或其中将经编码视频数据存储在本地磁盘上的应用。
可通过视频编码器20来编码经捕捉、预捕捉或计算机产生的视频。可由调制解调器22根据通信标准(例如，无线通信协议)来调制经编码视频信息，且经由发射器24将经编码视频信息发射到目的装置14。调制解调器22可包含各种混频器、滤波器、放大器或经设计用于信号调制的其它组件。发射器24可包含经设计用于发射数据的电路，包含放大器、滤波器和一个或一个以上天线。
还可将由视频编码器20编码的经捕捉、预捕捉或计算机产生的视频存储在存储媒体34或文件服务器36上用于稍后消耗。存储媒体34可包含蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码视频的任何其它合适数字存储媒体。接着可由目的装置14存取存储在存储媒体34上的经编码视频以用于解码和播放。
文件服务器36可为能够存储经编码视频且将所述经编码视频发射到目的装置14的任何类型的服务器。实例文件服务器包含web服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置、本地磁盘驱动器，或能够存储经编码视频数据且将其发射到目的装置的任何其它类型装置。经编码视频数据从文件服务器36的发射可为流式发射、下载发射，或两者的组合。可通过目的装置14经由任何标准数据连接(包含因特网连接)来存取文件服务器36。此连接可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器、以太网、USB等)，或适合存取存储在文件服务器上的经编码视频数据的两者的组合。
在图3的实例中，目的装置14包含接收器26、调制解调器28、视频解码器30和显示装置32。目的装置14的接收器26经由信道16接收信息，且调制解调器28将所述信息解调以产生用于视频解码器30的经解调位流。经由信道16传送的信息可包含由视频编码器20产生的多种语法信息以供视频解码器30用于解码视频数据。此类语法还可包含在存储在存储媒体34或文件服务器36上的经编码视频数据内。视频编码器20和视频解码器30中的每一者可形成能够编码或解码视频数据的相应编码器-解码器(CODEC)的部分。
显示装置32可与目的装置14集成在一起或可在目的装置14外部。在一些实例中，目的装置14可包含集成显示装置，且还可经配置以与外部显示装置介接。在其它实例中，目的装置14可为显示装置。大体上，显示装置32向用户显示经解码视频数据，且可包括各种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在图3的实例中，通信信道16可包括任何无线或有线通信媒体，例如射频(RF)频谱或一个或一个以上物理传输线，或无线与有线媒体的任何组合。通信媒体16可形成基于包的网络(例如，局域网、广域网或例如因特网等全局网络)的部分。通信信道16一般表示用于将视频数据从源装置12发射到目的装置14的任何合适通信媒体，或不同通信媒体的集合，包含有线或无线媒体的任何合适组合。通信信道16可包含路由器、交换器、基站或可有用于促进从源装置12到目的装置14的通信的任何其它设备。
视频编码器20和视频解码器30可根据视频压缩标准(例如，目前在开发中的高效率视频译码(HEVC)标准)而操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专有或产业标准(例如ITU-T H.264标准，其或者被称作MPEG-4第10部分高级视频译码(AVC))或此类标准的扩展而操作。然而，本发明的技术不限于任何特定译码标准。其它实例包含MPEG-2和ITU-T H.263。
尽管图3中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件和软件，以处置对共同数据流或单独数据流中的音频与视频两者的编码。如果适用，那么在一些实例中，MUX-DEMUX单元可遵照ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30可各自实施为各种合适编码器电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中，且可使用一个或一个以上处理器在硬件中执行指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中，其中任一者可被集成为相应装置中的组合编码器/解码器(CODEC)的部分。
视频编码器20可实施本发明技术中的任一者或全部用于视频编码过程中的运动向量预测。类似地，视频解码器30可实施这些技术中的任一者或全部用于视频译码过程中的运动向量预测。如本发明中描述的视频译码器可指代视频编码器或视频解码器。类似地，视频译码单元可指代视频编码器或视频解码器。类似地，视频译码可指代视频编码或视频解码。
在本发明的一个实例中，源装置12的视频编码器20可经配置以：确定视频帧的一个或一个以上候选部分中的每一者的候选运动向量；确定当前帧的当前部分的当前运动向量，其中当前运动向量识别至少部分匹配当前帧的当前部分的参考帧的部分；计算当前运动向量与候选运动向量中的每一者之间的运动向量差；基于所计算的运动向量差而选择候选运动向量中的一者；以及用信号发送识别具有候选运动向量中的选定一者的候选部分的索引；以及用信号发送关于候选运动向量中的选定一者而计算的对应运动向量差。
在本发明另一实例中，目的装置14的视频解码器30可经配置以：接收识别帧的候选部分的索引且接收运动向量差；检索与候选部分相关联的候选运动向量；基于所接收运动向量差和候选运动向量而确定当前帧的当前部分的当前运动向量；以及使用所确定的当前运动向量来对当前部分执行运动补偿来产生预测性视频数据。
图4是说明可使用本发明中描述的用于运动向量预测的技术的视频编码器20的实例的框图。为了说明目的而将在HEVC译码的上下文中描述视频编码器20，但并非将本发明限于可能需要扫描变换系数的其它译码标准和方法。视频编码器20可执行视频帧内的CU的帧内和帧间译码。帧内译码依赖于空间预测以减小或移除给定视频帧内的视频数据的空间冗余。帧间译码依赖于时间预测以减小或移除视频序列的当前帧与先前经译码的帧之间的时间冗余。帧内模式(I模式)可指代若干基于空间的视频压缩模式中的任一者。帧间模式(例如单向预测(P模式)或双向预测(B模式))可指代若干基于时间的视频压缩模式中的任一者。
如图4中所示，视频编码器20接收待编码的视频帧内的当前视频块。在图4的实例中，视频编码器20包含运动补偿单元44、运动估计单元42、帧内预测单元46、参考帧缓冲器64、求和器50、变换单元52、量化单元54和熵编码单元56。图5中所说明的变换单元52为将实际变换或变换组合应用到残余数据块的单元，且不与变换系数块混淆，变换单元52还可被称作CU的变换单元(TU)。对于视频块重建，视频编码器20还包含逆量化单元58、逆变换单元60和求和器62。还可包含解块滤波器(图4中未展示)以对块边界进行滤波以从重建的视频移除成块性假影。如果需要，那么解块滤波器通常将对求和器62的输出进行滤波。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。可将帧或切片划分为多个视频块，例如，最大译码单元(LCU)。运动估计单元42和运动补偿单元44相对于一个或一个以上参考帧中的一个或一个以上块来执行经接收视频块的帧间预测性译码，从而提供时间压缩。帧内预测单元46可相对于与待译码的块在相同的帧或切片中的一个或一个以上邻近块执行经接收视频块的帧内预测性译码，从而提供空间压缩。
模式选择单元40可(例如)基于每一模式的误差(即，失真)结果而选择译码模式中的一者(帧内或帧间)，且将所得帧内或帧间预测的块(例如，预测单元(PU))提供到求和器50以产生残余块数据且提供到求和器62以重建经编码块以用于在参考帧中使用。求和器62组合经预测的块与针对所述块的来自逆变换单元60的经逆量化、逆变换的数据，从而重建经编码的块，如下文更详细描述。可将一些视频帧命名为I帧，其中I帧中的所有块以帧内预测模式编码。在一些情况下，例如当由运动估计单元42执行的运动搜索并未导致块的充分预测时，帧内预测单元46可执行P帧或B帧中的块的帧内预测编码。
运动估计单元42和运动补偿单元44可高度集成，但为概念目的而分开说明。运动估计(或运动搜索)为产生运动向量的过程，运动向量估计视频块的运动。举例来说，运动向量可指示当前帧中的预测单元相对于参考帧的参考样本的位移。运动估计单元42通过比较预测单元与存储在参考帧缓冲器64中的参考帧的参考样本来计算经帧间译码的帧的预测单元的运动向量。参考样本可为被发现在像素差方面紧密地匹配包含经译码的PU的CU的部分的块，所述像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。参考样本可在参考帧或参考切片内的任何处发生，且未必在参考帧或切片的块(例如，译码单元)边界处。在一些实例中，参考样本可在分数像素位置处发生。
运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。由运动向量识别的参考帧的部分可被称作参考样本。运动补偿单元44可(例如)通过检索由PU的运动向量识别的参考样本而计算当前CU的预测单元的预测值。
根据本发明的技术，一旦运动估计单元42已确定当前部分的当前运动向量，运动估计单元42便比较当前运动向量与一个或一个以上候选部分中的每一者的运动向量(即，候选运动向量)。计算当前运动向量与候选运动向量中的每一者之间的运动向量差。举例来说，基于其相关联运动向量差的某一准则来选择特定候选运动向量。举例来说，可选择产生最小MVD的候选运动向量。
一旦选择候选运动向量，运动估计单元42便可在经编码位流中用信号发送相关联的MVD和相关联的预测语法。在一个实例中，候选部分中的每一者受限于具有指向同一参考帧的运动向量的那些候选部分。在此实例中，运动估计单元42用信号发送识别具有选定运动向量和MVD的候选部分的索引。解码器接着可从具有选定运动向量的候选部分复制剩余预测语法(即，参考索引和运动预测方向)。另外，还可用信号发送所揭示运动向量预测方法已使用的模式旗标指示。任选地，在MVD为零(即，当前运动向量准确地匹配选定候选运动向量)的环境下可用信号发送MVD＝0旗标而非MVD。如上文描述，图2A展示此实例的信令的概念实例。
在另一实例中，用于候选部分的运动向量并不受限于仅指向同一参考帧。在此情况下，还用信号发送参考帧索引。如上文描述，图2B展示此信令的概念实例。
在此上下文中，在经编码位流中用信号发送运动向量差和其它预测语法并不要求此类元素从编码器到解码器的实时传输，而是意味将此类语法元素编码于位流中且使其以任何方式可由解码器存取。此可包含实时传输(例如，在视频会议中)以及将经编码位流存储在计算机可读媒体上以供未来由解码器使用(例如，在流式传输、下载、磁盘存取、卡存取、DVD、蓝光光盘等中)。
作为由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可帧内预测所接收的块。假定针对块的从左到右、从上到下编码次序，帧内预测单元46可相对于邻近、先前经译码块(例如，当前块上方的块、右上方的块、左上方的块、或左边的块)来预测所接收块。帧内预测单元46可经配置有多种不同帧内预测模式。举例来说，帧内预测单元46可基于正经编码的CU的大小而经配置有特定数目个方向预测模式，例如三十四个方向预测模式。
举例来说，帧内预测单元46可通过计算各种帧内预测模式的误差值且选择产生最低误差值的模式来选择帧内预测模式。方向预测模式可包含用于组合空间邻近像素的值且将经组合值应用到PU中的一个或一个以上像素位置的功能。一旦已计算出PU中所有像素位置的值，帧内预测单元46便可基于PU与待编码的所接收块之间的像素差来计算预测模式的误差值。帧内预测单元46可继续测试帧内预测模式，直到发现产生可接受误差值的帧内预测模式为止。帧内预测单元46接着可将PU发送到求和器50。
视频编码器20通过从正经译码的原始视频块减去通过运动补偿单元44或帧内预测单元46所计算的预测数据来形成残余块。求和器50表示执行此减法运算的一个或一个以上组件。残余块可对应于像素差值的二维矩阵，其中残余块中的值的数目与对应于残余块的PU中的像素数目相同。残余块中的值可对应于PU与待译码的原始块中相同位置像素的值之间的差(即，误差)。取决于经译码的块类型，所述差可为色度或亮度差。
变换单元52可从残余块形成一个或一个以上变换单元(TU)。变换单元52从多个变换中选择变换。可基于一个或一个以上译码特性(例如，块大小、译码模式或类似者)来选择变换。变换单元52接着将选定变换应用到TU，产生包括变换系数的二维阵列的视频块。
变换单元52可将所得变换系数发送到量化单元54。量化单元54接着可量化变换系数。熵编码单元56接着可根据扫描模式来执行矩阵中经量化变换系数的扫描。本发明将熵编码单元56描述为执行所述扫描。然而，应理解，在其它实例中，例如量化单元54等其它处理单元可执行所述扫描。
一旦变换系数经扫描为一维阵列，熵编码单元56便可将熵译码(例如，CAVLC、CABAC、基于语法的上下文自适应二进制算术译码(SBAC)，或另一熵译码方法)应用到系数。
为了执行CAVLC，熵编码单元56可针对待发射的符号选择可变长度码。可建构VLC中的码字而使得相对较短的码对应于更有可能的符号，而较长码对应于较不可能的符号。以此方式，使用VLC可实现位节省(与(例如)针对待发射的每一符号使用等长度码字相比较)。
为了执行CABAC，熵编码单元56可选择上下文模型以应用到特定上下文来编码待发射的符号。上下文可能涉及(例如)邻近值是否为非零。熵编码单元56还可熵编码语法元素，例如表示选定变换的信号。根据本发明的技术，熵编码单元56可基于(例如)帧内预测模式的帧内预测方向、对应于语法元素的系数的扫描位置、块类型和/或变换类型连同用于上下文模型选择的其它因素来选择用以编码这些语法元素的上下文模型。
在通过熵编码单元56进行的熵译码之后，可将所得经编码视频发射到另一装置(例如，视频解码器30)或经存档以供稍后发射或检索。
在一些情况下，熵编码单元56或视频编码器20的另一单元可经配置以除了熵译码之外还执行其它译码功能。举例来说，熵编码单元56可经配置以确定CU及PU的经译码块样式(CBP)值。而且，在一些情况下，熵编码单元56可执行系数的游程长度译码。
逆量化单元58和逆变换单元60分别应用逆量化和逆变换以在像素域中重建残余块(例如)以供稍后用作参考块。运动补偿单元44可通过将残余块加到参考帧缓冲器64的帧中的一者的预测性块来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用到经重建的残余块以计算用于在运动估计中使用的子整数像素值。求和器62将经重建的残余块加到由运动补偿单元44产生的经运动补偿的预测块以产生用于存储在参考帧缓冲器64中的经重建的视频块。经重建的视频块可由运动估计单元42和运动补偿单元44用作参考块以帧间译码在后续视频帧中的块。
图5是说明视频解码器30的实例的框图，视频解码器30解码经编码的视频序列。在图5的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、参考帧缓冲器82和求和器80。在一些实例中，视频解码器30可执行与关于视频编码器20(参见图4)所描述的编码遍次大体上互逆的解码遍次。
熵解码单元70对经编码位流执行熵解码过程以检索变换系数的一维阵列。所使用的熵解码过程取决于视频编码器20所使用的熵译码(例如，CABAC、CAVLC等)。编码器所使用的熵译码过程可在经编码位流中用信号发送或可为预定过程。
在一些实例中，熵解码单元70(或逆量化单元76)可使用镜射视频编码器20的熵编码单元56(或量化单元54)所使用的扫描模式的扫描来扫描所接收的值。尽管可在逆量化单元76中执行系数的扫描，但为了说明目的而将扫描描述为由熵解码单元70执行。另外，尽管为了容易说明而展示为单独的功能单元，但熵解码单元70、逆量化单元76和视频解码器30的其它单元的结构与功能性可彼此高度集成。
逆量化单元76逆量化(即，解量化)提供于位流中且由熵解码单元70解码的量化变换系数。逆量化过程可包含常规过程，例如，类似于针对HEVC所提议或通过H.264解码标准所定义的过程。逆量化过程可包含使用由视频解码器20针对CU计算的量化参数QP来确定量化程度且(同样地)应被应用的逆量化程度。逆量化单元76可在系数从一维阵列转换到二维阵列之前或之后来逆量化变换系数。
逆变换单元78将逆变换应用到经逆量化的变换系数。在一些实例中，逆变换单元78可基于来自视频编码器20的信令或通过根据一个或一个以上译码特性(例如，块大小、译码模式或类似者)而推断变换来确定逆变换。在一些实例中，逆变换单元78可基于在包含当前块的LCU的四叉树的根节点处用信号发送的变换来确定将应用到当前块的变换。或者，可在LCU四叉树中的叶节点CU的TU四叉树的根处用信号发送变换。在一些实例中，逆变换单元78可应用级联逆变换，其中逆变换单元78将两个或两个以上逆变换应用到正经解码的当前块的变换系数。
根据本发明的实例，视频解码器30可从经编码位流接收识别运动向量差和其它预测语法的信令信息。可通过熵解码单元70或视频解码器30的另一单元来将MVD和预测语法传递到运动补偿单元72。
帧内预测单元74可基于用信号发送的帧内预测模式和来自当前帧的先前经解码块的数据来产生当前帧的当前块的预测数据。
根据本发明的实例，运动补偿单元72可基于从熵解码单元70接收的MVD和预测语法来产生预测数据。运动补偿单元72接收经编码位流中的MVD和预测语法。在图2A的实例中，预测语法包含识别具有用以产生用信号发送的MVD的候选运动向量的候选部分的索引。运动补偿单元72可使用此索引来从存储器检索与用信号发送的候选部分(即，候选部分的索引)相关联的候选运动向量。运动向量可存储在存储器中，例如参考帧缓冲器82。运动补偿单元72接着可通过将用信号发送的MVD加到经检索的候选运动向量来计算帧的当前部分的当前运动向量。如上文参看图2A所描述，在一些实例中，可将为零的MVD作为旗标用信号发送而非发送MVD。在此环境中，运动补偿单元72将仅复制候选运动向量作为当前运动向量。
运动补偿单元72还可检索与候选部分相关联的运动预测方向和参考索引。参考预测方向指示帧间预测模式为单向的(例如，P帧)还是双向的(B帧)。参考索引指示候选运动向量基于哪一参考帧。在例如图2B中展示的其它实例中，参考帧索引经信号发送到解码器且无需被检索。
基于经检索的运动预测方向、参考帧索引和所计算的当前运动向量，运动补偿单元产生当前部分的运动补偿块。这些运动补偿块基本上重新创建用以产生残余数据的预测性块。
运动补偿单元72可有可能基于内插滤波器而执行内插来产生运动补偿块。用于将用于以子像素精度进行运动估计的内插滤波器的识别符可包含在语法元素中。运动补偿单元72可使用如由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元72可根据接收的语法信息来确定视频编码器20所使用的内插滤波器，且使用所述内插滤波器来产生预测性块。
另外，在HEVC实例中，运动补偿单元72和帧内预测单元74可使用一些语法信息(例如，由四叉树提供)来确定用以编码经编码视频序列的帧的LCU大小。运动补偿单元72和帧内预测单元74还可使用语法信息来确定分裂信息，所述分裂信息描述经编码视频序列的帧的每一CU分裂的方式(以及类似地，子CU分裂的方式)。语法信息还可包含指示每一分裂经编码的方式的模式(例如，帧内预测或帧间预测，且对于帧内预测为帧内预测编码模式)、每一帧间编码的PU的一个或一个以上参考帧(和/或含有参考帧的识别符的参考列表)，以及用以解码经编码视频序列的其它信息。
求和器80组合残余块与运动补偿单元72或帧内预测单元74所产生的对应预测块以形成经解码块。如果需要，还可应用解块滤波器来对经解码块滤波以便移除成块性假影。接着将经解码视频块存储在参考帧缓冲器82中，其提供参考块用于后续运动补偿且还产生经解码视频用于呈现在显示装置(例如，图3的显示装置32)上。
如上文提及，本发明中所呈现的用于运动向量预测、运动补偿和运动估计的技术可适用于编码器和解码器两者。大体上且根据上文描述，编码器可确定候选运动向量以用作视频帧的当前部分的当前运动向量的运动向量预测器。编码器用信号发送选定候选运动向量与当前向量之间的运动向量差。编码器还用信号发送识别具有选定候选运动向量的候选部分的索引。解码器接着可检索与候选部分相关联的运动预测方向和参考帧索引，且对其进行复制以用于当前部分。解码器还检索与候选部分相关联的候选运动向量，且将用信号发送的运动向量差加到候选运动向量以产生当前部分的当前运动向量。预测性数据接着可通过解码器经由运动补偿过程使用当前运动向量、运动向量预测和参考帧索引而形成。
图6是说明编码视频的实例方法的流程图，所述方法可通过视频编码器(例如，图4的视频编码器20)来执行。编码视频数据的方法确定视频帧的一个或一个以上候选部分中的每一者的候选运动向量(120)。在一个实例中，候选部分是与同一帧中的当前部分相邻的部分。如上文论述，候选运动向量可为先前经由运动搜索过程确定的运动向量且存储在存储器中。接着，编码器确定当前帧的当前部分的当前运动向量，其中当前运动向量识别至少部分匹配当前帧的当前部分的参考帧的部分(122)。此外，此过程可为运动搜索过程。
计算当前运动向量与候选运动向量中的每一者之间的运动向量差(124)。在计算MVD之后，编码器基于所述计算的运动向量差来选择所述候选运动向量中的一者(126)。所选择的候选运动向量可为产生最小运动向量差的候选运动向量。一旦已选择候选运动向量，编码器便(例如)在经编码位流中用信号发送识别具有候选运动向量中的选定一者的候选部分的索引，以及用信号发送关于候选运动向量中的选定一者计算的对应运动向量差(128)。步骤128的信令可适用于其中候选运动向量中的每一者参考与当前运动向量相同的参考帧的情况。
在另一任选实例中，候选运动向量中的至少一者参考与当前运动向量不同的参考帧。在此情况下，编码器可用信号发送识别与选定候选运动向量相关联的参考帧的参考索引(130)。
在一些实例中，候选运动向量中的选定一者对应于为零的运动向量差。在此情况下，用信号发送关于候选运动向量中的选定一者而确定的对应运动向量差可包含用信号发送指示运动向量差的旗标而非用信号发送运动向量差本身。
图7是说明解码视频的实例方法的流程图，所述方法可通过视频解码器(例如，图5的视频解码器30)来执行。解码视频数据的方法包含：接收识别帧的候选部分的索引且接收运动向量差(136)；以及检索与候选部分相关联的候选运动向量(138)。可从存储器检索候选运动向量以用于已经解码的候选部分(即，原因部分)。在一些实例中，接收的运动向量差可通过指示运动向量差为零的旗标来指示。视频解码器还可检索与候选部分相关联的运动预测方向和参考帧索引(140)。视频解码器基于接收的运动向量差和候选运动向量而确定当前帧的当前部分的当前运动向量(142)。这可通过将运动向量差加到候选运动向量来完成。视频解码器接着可使用经确定的当前运动向量、运动预测方向和参考帧索引来对当前部分执行运动补偿，从而产生预测性视频数据(144)。
图8是说明为图7中展示的方法的轻微变体的解码视频的实例方法的流程图。在图8的实例中，视频解码器接收参考帧索引连同运动向量差和识别帧的候选部分的索引(137)。因而，仅需检索运动向量(138)和运动预测方向(141)。
图9是说明解码视频的另一实例方法的流程图。在图7到8中所展示的方法之前或同时，视频解码器可熵解码当前部分的视频数据(146)，且逆量化和逆变换经熵解码的视频数据以产生残余数据(148)。一旦由图7或图8中展示的方法产生预测性数据，视频解码器便组合预测性视频数据与残余视频数据以形成经解码视频数据(150)。
在一个或一个以上实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么功能可作为一个或一个以上指令或代码而存储在计算机可读媒体上或经由计算机可读媒体而发射，且通过基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码和/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，将任何连接适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或无线技术(例如，红外线、无线电和微波)而从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如，红外线、无线电和微波)包含在媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是有关非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各物的组合也应包含在计算机可读媒体的范围内。
可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个处理器来执行指令。因此，术语“处理器”在本文中使用时可指代适合于实施本文中所描述的技术的前述结构或任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码与解码的专用硬件和/或软件模块内，或并入于组合式编码解码器中。而且，所述技术可完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可实施于多种装置或设备中，所述装置或设备包含无线手持机、集成电路(IC)或IC集合(例如，芯片集)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求通过不同硬件单元来实现。而是，如上文所描述，可将各种单元组合于编码解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一个或一个以上处理器)的集合结合合适软件和/或固件来提供所述单元。
已描述各种实例。这些和其它实例是在所附权利要求书的范围内。

Claims (48)

1.一种编码视频数据的方法，所述方法包括：
确定视频帧的一个或一个以上候选部分中的每一者的候选运动向量；
确定当前视频帧的当前部分的当前运动向量，其中所述当前运动向量识别参考视频帧的部分；
计算所述当前运动向量与所述候选运动向量中的每一者之间的运动向量差；
基于所述计算的运动向量差来选择所述候选运动向量中的一者；
用信号发送识别具有所述候选运动向量中的所述选定一者的所述候选部分的索引；以及
用信号发送关于所述候选运动向量中的所述选定一者而计算的所述运动向量差。
2.根据权利要求1所述的方法，其中所述候选运动向量中的每一者参考与所述当前运动向量相同的参考帧。
3.根据权利要求1所述的方法，其中所述一个或一个以上候选部分在所述当前视频帧中。
4.根据权利要求3所述的方法，其中所述候选部分与所述当前部分相邻。
5.根据权利要求1所述的方法，其中所述候选运动向量中的所述选定一者对应于为零的运动向量差，且其中用信号发送关于所述候选运动向量中的所述选定一者而确定的所述对应运动向量差包括用信号发送指示为零的所述运动向量差的旗标。
6.根据权利要求1所述的方法，其中基于所述计算的运动向量差而选择所述候选运动向量中的一者包括选择具有最小的所计算运动向量差的所述候选运动向量。
7.根据权利要求1所述的方法，其中所述候选运动向量中的至少一者参考与所述当前运动向量不同的参考视频帧，且其中所述方法进一步包括：
用信号发送识别与所述选定候选运动向量相关联的参考帧的参考索引。
8.一种解码视频数据的方法，所述方法包括：
接收识别视频帧的候选部分的索引；
接收运动向量差；
检索与所述候选部分相关联的候选运动向量；
基于所述接收的运动向量差和所述候选运动向量而确定当前视频帧的当前部分的当前运动向量；以及
使用所述确定的当前运动向量来对所述当前部分执行运动补偿，从而产生预测性视频数据。
9.根据权利要求8所述的方法，其进一步包括：
熵解码所述当前部分的视频数据；
逆量化且逆变换所述经熵解码的视频数据以产生残余数据；以及
组合所述预测性视频数据与所述残余数据以形成经解码视频数据。
10.根据权利要求8所述的方法，其进一步包括：
检索与所述候选部分相关联的运动预测方向和参考帧索引，其中执行运动补偿还包括使用所述经检索的运动预测方向和所述经检索的参考帧索引来产生所述预测性视频数据。
11.根据权利要求8所述的方法，其进一步包括：
接收识别参考视频帧的参考索引；以及
检索与所述候选部分相关联的运动预测方向，其中执行运动补偿还包括使用所述经检索的运动预测方向和所述接收的参考帧索引来产生预测性视频数据。
12.根据权利要求8所述的方法，其中所述接收的运动向量差为指示零运动向量差的旗标，且其中确定所述当前视频帧的所述当前部分的所述当前运动向量包括复制与所述候选部分相关联的所述候选运动向量。
13.一种设备，其包括：
视频编码器，其经配置以：
确定视频帧的一个或一个以上候选部分中的每一者的候选运动向量；
确定当前视频帧的当前部分的当前运动向量，其中所述当前运动向量识别参考视频帧的部分；
计算所述当前运动向量与所述候选运动向量中的每一者之间的运动向量差；
基于所述计算的运动向量差来选择所述候选运动向量中的一者；
用信号发送识别具有所述候选运动向量中的所述选定一者的所述候选部分的索引；以及
用信号发送关于所述候选运动向量中的所述选定一者而计算的所述运动向量差。
14.根据权利要求13所述的设备，其中所述候选运动向量中的每一者参考与所述当前运动向量相同的参考视频帧。
15.根据权利要求13所述的设备，其中所述一个或一个以上候选部分在所述当前视频帧中。
16.根据权利要求15所述的设备，其中所述候选部分与所述当前部分相邻。
17.根据权利要求13所述的设备，其中所述候选运动向量中的所述选定一者对应于为零的运动向量差，且其中所述视频编码器经配置以用信号发送所述运动向量差作为指示为零的所述运动向量差的旗标。
18.根据权利要求13所述的设备，其中所述视频编码器经进一步配置以选择具有最小的所计算运动向量差的所述候选运动向量。
19.根据权利要求13所述的设备，其中所述候选运动向量中的至少一者参考与所述当前运动向量不同的参考视频帧，且其中所述视频编码器经进一步配置以：
用信号发送识别与所述选定候选运动向量相关联的参考视频帧的参考索引。
20.一种设备，其包括：
视频解码器，其经配置以：
接收识别视频帧的候选部分的索引；
接收运动向量差；
检索与所述候选部分相关联的候选运动向量；
基于所述接收的运动向量差和所述候选运动向量而确定当前视频帧的当前部分的当前运动向量；以及
使用所述确定的当前运动向量来对所述当前部分执行运动补偿，从而产生预测性视频数据。
21.根据权利要求20所述的设备，其中所述视频解码器经进一步配置以：
熵解码所述当前部分的视频数据；
逆量化且逆变换所述经熵解码的视频数据以产生残余数据；以及
组合所述预测性视频数据与所述残余数据以形成经解码视频数据。
22.根据权利要求20所述的设备，其中所述视频解码器经进一步配置以：
检索与所述候选部分相关联的运动预测方向和参考帧索引；以及
还使用所述经检索的运动预测方向和所述经检索的参考帧索引来执行运动补偿以产生所述预测性视频数据。
23.根据权利要求20所述的设备，其中所述视频解码器经进一步配置以：
接收识别参考视频帧的参考索引；
检索与所述候选部分相关联的运动预测方向；以及
还使用所述经检索的运动预测方向和所述接收的参考帧索引来执行运动补偿以产生预测性视频数据。
24.根据权利要求20所述的设备，其中所述接收的运动向量差为指示零运动向量差的旗标，且其中所述视频解码器经进一步配置以通过复制与所述候选部分相关联的所述候选运动向量来确定所述当前视频帧的所述当前部分的所述当前运动向量。
25.一种经配置以编码视频数据的设备，所述设备包括：
用于确定视频帧的一个或一个以上候选部分中的每一者的候选运动向量的装置；
用于确定当前视频帧的当前部分的当前运动向量的装置，其中所述当前运动向量识别参考帧的部分；
用于计算所述当前运动向量与所述候选运动向量中的每一者之间的运动向量差的装置；
用于基于所述计算的运动向量差来选择所述候选运动向量中的一者的装置；以及
用于用信号发送识别具有所述候选运动向量中的所述选定一者的所述候选部分的索引的装置；以及
用于用信号发送关于所述候选运动向量中的所述选定一者而计算的所述运动向量差的装置。
26.根据权利要求25所述的设备，其中所述候选运动向量中的每一者参考与所述当前运动向量相同的参考视频帧。
27.根据权利要求25所述的设备，其中所述一个或一个以上候选部分在所述当前视频帧中。
28.根据权利要求27所述的设备，其中所述候选部分与所述当前部分相邻。
29.根据权利要求25所述的设备，其中所述候选运动向量中的所述选定一者对应于为零的运动向量差，且其中所述用于用信号发送关于所述候选运动向量中的所述选定一者而确定的所述对应运动向量差的装置包括用于用信号发送指示为零的所述运动向量差的旗标的装置。
30.根据权利要求25所述的设备，其中所述用于基于所述计算的运动向量差而选择所述候选运动向量中的一者的装置包括用于选择具有最小的所计算运动向量差的所述候选运动向量的装置。
31.根据权利要求25所述的设备，其中所述候选运动向量中的至少一者参考与所述当前运动向量不同的参考视频帧，且其中所述设备进一步包括：
用于用信号发送识别与所述选定候选运动向量相关联的参考帧的参考索引的装置。
32.一种经配置以解码视频数据的设备，所述设备包括：
用于接收识别视频帧的候选部分的索引的装置；
用于接收运动向量差的装置；
用于检索与所述候选部分相关联的候选运动向量的装置；
用于基于所述接收的运动向量差和所述候选运动向量而确定当前视频帧的当前部分的当前运动向量的装置；以及
用于使用所述确定的当前运动向量来对所述当前部分执行运动补偿从而产生预测性视频数据的装置。
33.根据权利要求32所述的设备，其进一步包括：
用于熵解码所述当前部分的视频数据的装置；
用于逆量化且逆变换所述经熵解码的视频数据以产生残余数据的装置；以及
用于组合所述预测性视频数据与所述残余数据以形成经解码视频数据的装置。
34.根据权利要求32所述的设备，其进一步包括：
用于检索与所述候选部分相关联的运动预测方向和参考帧索引的装置，其中所述用于执行运动补偿的装置还包括用于使用所述经检索的运动预测方向和所述经检索的参考帧索引来产生所述预测性视频数据的装置。
35.根据权利要求32所述的设备，其进一步包括：
用于接收识别参考视频帧的参考索引的装置；以及
用于检索与所述候选部分相关联的运动预测方向的装置，其中所述用于执行运动补偿的装置还包括用于使用所述经检索的运动预测方向和所述接收的参考帧索引来产生预测性视频数据的装置。
36.根据权利要求32所述的设备，其中所述接收的运动向量差为指示零运动向量差的旗标，且其中所述用于确定所述当前视频帧的所述当前部分的所述当前运动向量的装置包括用于复制与所述候选部分相关联的所述候选运动向量的装置。
37.一种包括计算机可读存储媒体的计算机程序产品，所述计算机可读存储媒体上存储有指令，所述指令在经执行时致使用于编码视频数据的装置的处理器进行以下操作：
确定视频帧的一个或一个以上候选部分中的每一者的候选运动向量；
确定当前视频帧的当前部分的当前运动向量，其中所述当前运动向量识别参考视频帧的部分；
计算所述当前运动向量与所述候选运动向量中的每一者之间的运动向量差；
基于所述计算的运动向量差来选择所述候选运动向量中的一者；以及
用信号发送识别具有所述候选运动向量中的所述选定一者的所述候选部分的索引；以及
用信号发送关于所述候选运动向量中的所述选定一者而计算的所述运动向量差。
38.根据权利要求37所述的计算机程序产品，其中所述候选运动向量中的每一者参考与所述当前运动向量相同的参考视频帧。
39.根据权利要求37所述的计算机程序产品，其中所述一个或一个以上候选部分在所述当前视频帧中。
40.根据权利要求39所述的计算机程序产品，其中所述候选部分与所述当前部分相邻。
41.根据权利要求37所述的计算机程序产品，其中所述候选运动向量中的所述选定一者对应于为零的运动向量差，且所述计算机程序产品进一步包含致使处理器用信号发送所述运动向量差作为指示为零的所述运动向量差的旗标的指令。
42.根据权利要求37所述的计算机程序产品，其进一步包含致使处理器选择具有最小的所计算运动向量差的所述候选运动向量的指令。
43.根据权利要求37所述的计算机程序产品，其中所述候选运动向量中的至少一者参考与所述当前运动向量不同的参考视频帧，且所述计算机程序产品进一步包含致使处理器用信号发送识别与所述选定候选运动向量相关联的参考帧的参考索引的指令。
44.一种包括计算机可读存储媒体的计算机程序产品，所述计算机可读存储媒体上存储有指令，所述指令在经执行时致使用于解码视频数据的装置的处理器进行以下操作：
接收识别视频帧的候选部分的索引；
接收运动向量差；
检索与所述候选部分相关联的候选运动向量；
基于所述接收的运动向量差和所述候选运动向量而确定当前视频帧的当前部分的当前运动向量；以及
使用所述确定的当前运动向量来对所述当前部分执行运动补偿，从而产生预测性视频数据。
45.根据权利要求44所述的计算机程序产品，其进一步包含致使处理器进行以下操作的指令：
熵解码所述当前部分的视频数据；
逆量化且逆变换所述经熵解码的视频数据以产生残余数据；以及
组合所述预测性视频数据与所述残余数据以形成经解码视频数据。
46.根据权利要求44所述的计算机程序产品，其进一步包含致使处理器进行以下操作的指令：
检索与所述候选部分相关联的运动预测方向和参考帧索引；以及
还使用所述经检索的运动预测方向和所述经检索的参考帧索引来执行运动补偿以产生所述预测性视频数据。
47.根据权利要求44所述的计算机程序产品，其进一步包含致使处理器进行以下操作的指令：
接收识别参考视频帧的参考索引；
检索与所述候选部分相关联的运动预测方向；以及
还使用所述经检索的运动预测方向和所述接收的参考帧索引来执行运动补偿以产生预测性视频数据。
48.根据权利要求44所述的计算机程序产品，其中所述接收的运动向量差为指示零运动向量差的旗标，且所述计算机程序产品进一步包含致使处理器通过复制与所述候选部分相关联的所述候选运动向量来确定所述当前视频帧的所述当前部分的所述当前运动向量的指令。
CN201180065524.3A 2011-01-21 2011-12-28 运动向量预测 Active CN103339935B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161435204P 2011-01-21 2011-01-21
US61/435,204 2011-01-21
US201161449991P 2011-03-07 2011-03-07
US61/449,991 2011-03-07
US13/245,668 2011-09-26
US13/245,668 US9532066B2 (en) 2011-01-21 2011-09-26 Motion vector prediction
PCT/US2011/067547 WO2012099692A1 (en) 2011-01-21 2011-12-28 Motion vector prediction

Publications (2)

Publication Number Publication Date
CN103339935A true CN103339935A (zh) 2013-10-02
CN103339935B CN103339935B (zh) 2016-12-07

Family

ID=45561086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180065524.3A Active CN103339935B (zh) 2011-01-21 2011-12-28 运动向量预测

Country Status (6)

Country Link
US (1) US9532066B2 (zh)
EP (1) EP2666293A1 (zh)
JP (1) JP5778299B2 (zh)
KR (1) KR101547745B1 (zh)
CN (1) CN103339935B (zh)
WO (1) WO2012099692A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104412587A (zh) * 2012-07-02 2015-03-11 联发科技股份有限公司 三维视频编码中视图间候选获取的方法和设备
WO2015188332A1 (en) * 2014-06-11 2015-12-17 Mediatek Singapore Pte. Ltd. A default vector selection method for block copy vector prediction in video compression
CN106105199A (zh) * 2014-03-05 2016-11-09 Lg 电子株式会社 基于多边形单元的编/解码图像的方法及其装置
CN106851273A (zh) * 2017-02-10 2017-06-13 北京奇艺世纪科技有限公司 一种运动向量编码方法及装置
CN107318024A (zh) * 2017-06-27 2017-11-03 北京奇艺世纪科技有限公司 基于运动场的视频编码方法及装置
CN110786013A (zh) * 2017-06-30 2020-02-11 华为技术有限公司 用于运动向量细化的搜索区域
WO2020135036A1 (zh) * 2018-12-28 2020-07-02 杭州海康威视数字技术股份有限公司 视频编解码
CN113491123A (zh) * 2018-11-23 2021-10-08 联发科技股份有限公司 用于多重-参考行预测与多重-假设预测的发信

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3570542B1 (en) 2010-11-24 2022-09-14 Velos Media International Limited Motion vector calculation method, picture coding method, picture decoding method, motion vector calculation apparatus, and picture coding and decoding apparatus
US11284081B2 (en) 2010-11-25 2022-03-22 Lg Electronics Inc. Method for signaling image information, and method for decoding image information using same
SI3595303T1 (sl) 2010-11-25 2022-01-31 Lg Electronics Inc. Postopek za dekodiranje informacije o sliki, naprava za dekodiranje, postopek za kodiranje informacije o sliki, naprava za kodiranje in pomnilniški medij
KR101820997B1 (ko) 2011-01-12 2018-01-22 선 페이턴트 트러스트 동화상 부호화 방법 및 동화상 복호화 방법
JP6108309B2 (ja) * 2011-02-22 2017-04-05 サン パテント トラスト 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
JP5358746B2 (ja) 2011-03-03 2013-12-04 パナソニック株式会社 動画像符号化方法、動画像符号化装置及びプログラム
CN106028030B (zh) 2011-03-08 2017-12-19 Jvc 建伍株式会社 动图像解码装置以及动图像解码方法
JP5982734B2 (ja) * 2011-03-11 2016-08-31 ソニー株式会社 画像処理装置および方法
US9313494B2 (en) * 2011-06-20 2016-04-12 Qualcomm Incorporated Parallelization friendly merge candidates for video coding
EP4220966A1 (en) * 2011-06-24 2023-08-02 Sun Patent Trust Image decoding device,
EP4283995A3 (en) 2011-10-05 2024-02-21 Sun Patent Trust Decoding method and decoding apparatus
US9398300B2 (en) * 2011-10-07 2016-07-19 Texas Instruments Incorporated Method, system and apparatus for intra-prediction in video signal processing using combinable blocks
RU2715382C2 (ru) * 2011-10-18 2020-02-27 Кт Корпорейшен Способ декодирования видеосигнала
US9992511B2 (en) * 2011-10-21 2018-06-05 Nokia Technologies Oy Method for video coding and an apparatus
JP2013098933A (ja) * 2011-11-04 2013-05-20 Sony Corp 画像処理装置および方法
CN108235015A (zh) * 2011-11-08 2018-06-29 三星电子株式会社 用于对视频进行解码的设备
CN104025599B (zh) * 2011-11-08 2018-12-14 诺基亚技术有限公司 参考图片处理
US9900615B2 (en) 2011-12-28 2018-02-20 Microsoft Technology Licensing, Llc Representative motion information for temporal motion prediction in video encoding and decoding
CA2807786C (en) * 2012-03-08 2016-06-21 Research In Motion Limited Motion vector sign bit hiding
WO2014053086A1 (en) 2012-10-05 2014-04-10 Mediatek Singapore Pte. Ltd. Method and apparatus of motion vector derivation 3d video coding
US9774879B2 (en) 2013-08-16 2017-09-26 Sony Corporation Intra-block copying enhancements for HEVC in-range-extension (RExt)
FR3011429A1 (fr) * 2013-09-27 2015-04-03 Orange Codage et decodage video par heritage d'un champ de vecteurs de mouvement
AU2013403224B2 (en) 2013-10-14 2018-10-18 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
EP3058736B1 (en) 2013-10-14 2019-02-27 Microsoft Technology Licensing, LLC Encoder-side options for intra block copy prediction mode for video and image coding
JP6336058B2 (ja) 2013-10-14 2018-06-06 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像符号化及び復号のためのベースカラーインデックスマップモードの機能
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
KR102258427B1 (ko) 2014-01-03 2021-06-01 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
BR112016017201B1 (pt) * 2014-01-29 2023-09-26 Hfi Innovation Inc Método de codificação e decodificação para precisão adaptativa de vetor de movimento de um bloco de dados de vídeo
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
US10368091B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Block flipping and skip mode in intra block copy prediction
EP4354856A2 (en) 2014-06-19 2024-04-17 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
GB2527607B (en) * 2014-06-27 2016-10-05 Gurulogic Microsystems Oy Encoder, decoder and method
RU2679201C2 (ru) 2014-09-30 2019-02-06 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Правила для режимов внутрикадрового прогнозирования, когда активируется волновая параллельная обработка данных
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
EP3308540B1 (en) 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
JP2018533871A (ja) * 2015-11-11 2018-11-15 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号方法及びその装置、並びにビデオ符号化方法及びその装置
US20170188033A1 (en) * 2015-12-23 2017-06-29 Mediatek Inc. Method and Apparatus of Bandwidth Estimation and Reduction for Video Coding
US10911773B2 (en) 2016-05-13 2021-02-02 Telefonaktiebolaget Lm Ericsson (Publ) Motion vector difference coding and decoding
US11087292B2 (en) * 2017-09-01 2021-08-10 Allstate Insurance Company Analyzing images and videos of damaged vehicles to determine damaged vehicle parts and vehicle asymmetries
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
EP3788779A4 (en) * 2018-10-23 2022-03-02 Tencent America LLC VIDEO CODING METHOD AND APPARATUS
WO2020094049A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Extensions of inter prediction with geometric partitioning
WO2020114405A1 (en) 2018-12-03 2020-06-11 Beijing Bytedance Network Technology Co., Ltd. Indication method of maximum number of candidates
WO2020140862A1 (en) 2018-12-30 2020-07-09 Beijing Bytedance Network Technology Co., Ltd. Conditional application of inter prediction with geometric partitioning in video processing
US11032574B2 (en) 2018-12-31 2021-06-08 Tencent America LLC Method and apparatus for video coding
US11153598B2 (en) * 2019-06-04 2021-10-19 Tencent America LLC Method and apparatus for video coding using a subblock-based affine motion model
CN114902663A (zh) * 2019-12-30 2022-08-12 鸿颖创新有限公司 用于编码视频数据的设备和方法
CN115428444A (zh) * 2020-04-01 2022-12-02 抖音视界有限公司 对自适应参数集语法元素的约束
CN115443653A (zh) 2020-04-07 2022-12-06 抖音视界有限公司 高级别语法中的帧间预测的信令通知
WO2021204233A1 (en) 2020-04-09 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Constraints on adaptation parameter set based on color format
WO2021204251A1 (en) 2020-04-10 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Use of header syntax elements and adaptation parameter set
CN115868159A (zh) 2020-04-17 2023-03-28 抖音视界有限公司 自适应参数集单元的存在
WO2021222036A1 (en) * 2020-04-26 2021-11-04 Bytedance Inc. Conditional signaling of video coding syntax elements

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1578469A (zh) * 2003-07-29 2005-02-09 三星电子株式会社 考虑到块之间相关性的估计运动的装置及其方法
CN1678023A (zh) * 2004-03-30 2005-10-05 松下电器产业株式会社 使用行和列向量的运动向量估计
WO2010044563A2 (ko) * 2008-10-14 2010-04-22 에스케이텔레콤 주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7072398B2 (en) 2000-12-06 2006-07-04 Kai-Kuang Ma System and method for motion vector generation and analysis of digital video clips
JP2004007379A (ja) 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
KR100774296B1 (ko) 2002-07-16 2007-11-08 삼성전자주식회사 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
US7660354B2 (en) 2005-05-11 2010-02-09 Fang Shi Temporal error concealment for bi-directionally predicted frames
JPWO2009041215A1 (ja) 2007-09-25 2011-01-20 シャープ株式会社 動画像符号化装置及び動画像復号装置
US20090316042A1 (en) * 2008-06-19 2009-12-24 Chin-Chuan Liang Video processing methods and related devices for determining target motion vector
US8150181B2 (en) 2008-11-17 2012-04-03 Stmicroelectronics S.R.L. Method of filtering a video sequence image from spurious motion effects
JPWO2011034148A1 (ja) 2009-09-18 2013-02-14 シャープ株式会社 符号化装置、復号装置、動画像符号化装置、動画像復号装置、および符号化データ
BR112012019560B1 (pt) * 2010-02-05 2021-08-24 Telefonaktiebolaget Lm Ericsson Método para gerenciar candidatos a vetor de movimento predito, e, aparelhos de codificação e de decodificação de vídeo
US8681873B2 (en) * 2010-02-19 2014-03-25 Skype Data compression for video
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
EP2664146A1 (en) * 2011-01-14 2013-11-20 Motorola Mobility LLC Joint spatial and temporal block merge mode for hevc

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1578469A (zh) * 2003-07-29 2005-02-09 三星电子株式会社 考虑到块之间相关性的估计运动的装置及其方法
CN1678023A (zh) * 2004-03-30 2005-10-05 松下电器产业株式会社 使用行和列向量的运动向量估计
WO2010044563A2 (ko) * 2008-10-14 2010-04-22 에스케이텔레콤 주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KEN MCCANN,WOO-JIN HAN,IL-KOO KIM: "《Samsung"s Response to the Call for Proposals on Video Compression Technology》", 《JOINT COLLABORATION TEAM ON VIDEO CODING(JCT-VC)》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104412587A (zh) * 2012-07-02 2015-03-11 联发科技股份有限公司 三维视频编码中视图间候选获取的方法和设备
CN104412587B (zh) * 2012-07-02 2017-01-11 寰发股份有限公司 用于三维视频编码或解码系统的方法和设备
CN106105199A (zh) * 2014-03-05 2016-11-09 Lg 电子株式会社 基于多边形单元的编/解码图像的方法及其装置
CN106105199B (zh) * 2014-03-05 2020-01-07 Lg 电子株式会社 基于多边形单元的编/解码图像的方法及其装置
US10516884B2 (en) 2014-03-05 2019-12-24 Lg Electronics Inc. Method for encoding/decoding image on basis of polygon unit and apparatus therefor
WO2015188332A1 (en) * 2014-06-11 2015-12-17 Mediatek Singapore Pte. Ltd. A default vector selection method for block copy vector prediction in video compression
CN106851273B (zh) * 2017-02-10 2019-08-06 北京奇艺世纪科技有限公司 一种运动向量编码方法及装置
CN106851273A (zh) * 2017-02-10 2017-06-13 北京奇艺世纪科技有限公司 一种运动向量编码方法及装置
CN107318024A (zh) * 2017-06-27 2017-11-03 北京奇艺世纪科技有限公司 基于运动场的视频编码方法及装置
CN110786013A (zh) * 2017-06-30 2020-02-11 华为技术有限公司 用于运动向量细化的搜索区域
US11736718B2 (en) 2017-06-30 2023-08-22 Huawei Technologies Co., Ltd. Search region for motion vector refinement
CN113491123A (zh) * 2018-11-23 2021-10-08 联发科技股份有限公司 用于多重-参考行预测与多重-假设预测的发信
CN113491123B (zh) * 2018-11-23 2023-12-29 寰发股份有限公司 用于多重-参考行预测与多重-假设预测的发信
WO2020135036A1 (zh) * 2018-12-28 2020-07-02 杭州海康威视数字技术股份有限公司 视频编解码
US11889072B2 (en) 2018-12-28 2024-01-30 Hangzhou Hikvision Digital Technology Co., Ltd. Video encoding and decoding

Also Published As

Publication number Publication date
JP2014509116A (ja) 2014-04-10
KR20130126688A (ko) 2013-11-20
KR101547745B1 (ko) 2015-08-26
WO2012099692A1 (en) 2012-07-26
US9532066B2 (en) 2016-12-27
EP2666293A1 (en) 2013-11-27
CN103339935B (zh) 2016-12-07
US20120189055A1 (en) 2012-07-26
JP5778299B2 (ja) 2015-09-16

Similar Documents

Publication Publication Date Title
CN103339935A (zh) 运动向量预测
CN103609118B (zh) 用于视频译码的并行化友好合并候选者
CN103609123B (zh) 统一合并模式和自适应运动向量预测模式候选者选择
CN103404144B (zh) 视频译码中的经量化脉码调制
CN103299620B (zh) 在视频译码中使用最可能扫描次序对用于视频块的扫描次序信息进行有效译码
CN103535033A (zh) 用于样本自适应偏移的偏移类型及系数信令方法
CN103797801A (zh) 视频译码中的非正方形变换单元和预测单元
CN103931182A (zh) 帧内预测视频译码中的非正方形变换
CN103959775A (zh) 帧内模式视频译码
CN103329523A (zh) 使用经映射变换和扫描模式的视频译码
CN103329525A (zh) 用于视频译码的组合参考图片列表建构
CN103843347A (zh) 用于视频译码的运动向量预测值候选剪裁移除
CN103891293A (zh) 用于色度分量的自适应环路滤波
CN104205830A (zh) 用于在视频译码中的参考索引译码的旁路二进制位
CN103999460A (zh) 在变换跳过模式中译码有效系数信息
CN103238323A (zh) 在视频译码中基于视频块的扫描次序对块内的最后有效系数的位置进行译码
CN103703776A (zh) 在视频译码中的系数扫描
CN103202016A (zh) 用于视频译码的自适应运动向量分辨率信令
CN104221380A (zh) 用于并行运动估计的共同空间候选块
CN102783149A (zh) 用于视频译码的适应性运动分辨率
CN103688541A (zh) 在视频译码中缓冲预测数据
CN103563378A (zh) 存储器高效的上下文建模
CN103026709A (zh) 用于视频译码的帧间预测模式和参考图片列表索引的译码
CN103988505A (zh) 在视频数据的波前并行处理中的受约束参考图片集合
CN103703781A (zh) 使用自适应运动向量分辨率的视频译码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant