CN104704833B - 多视图或3维视频译码中的高级视图间残差预测 - Google Patents

多视图或3维视频译码中的高级视图间残差预测 Download PDF

Info

Publication number
CN104704833B
CN104704833B CN201380048395.6A CN201380048395A CN104704833B CN 104704833 B CN104704833 B CN 104704833B CN 201380048395 A CN201380048395 A CN 201380048395A CN 104704833 B CN104704833 B CN 104704833B
Authority
CN
China
Prior art keywords
block
view
video
group
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380048395.6A
Other languages
English (en)
Other versions
CN104704833A (zh
Inventor
张莉
陈颖
李想
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104704833A publication Critical patent/CN104704833A/zh
Application granted granted Critical
Publication of CN104704833B publication Critical patent/CN104704833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本发明描述用于基于从参考视图的视频信息的残差预测对当前视图的视频信息进行译码的系统和方法。在一个新颖方面中，提供一种用于对数字视频进行译码的设备。所述设备包含经配置以存储当前视图视频信息及参考视图视频信息的存储器。所述设备还包含经配置以至少基于所述参考视图的运动补偿块而确定所述当前视图的当前视频单元的值的处理器。可至少部分基于与所述当前视频单元相关联的运动信息及视差向量来确定所述运动补偿块。本发明描述解码装置及方法以及对应的编码装置及方法。

Description

多视图或3维视频译码中的高级视图间残差预测
技术领域
本发明涉及视频译码及压缩，且具体来说，涉及多视图及3D视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所界定的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视频译码技术而更有效率地传输、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可以分割成视频块，视频块还可被称作树块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可涉及参考帧。
空间或时间预测导致对块的预测块进行译码。残差数据表示待译码的原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量及指示经译码块与预测块之间的差的残差数据编码的。经帧内译码块是根据帧内译码模式及残差数据来编码。为了实现进一步压缩，可以将残差数据从像素域变换到变换域，从而产生残差变换系数，接着可以对残差变换系数进行量化。可扫描最初布置为二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵编码以实现更多压缩。
发明内容
本发明的系统、方法和装置各自具有若干方面，其中没有单一方面单独负责其所期望属性。在不限制如通过以下的权利要求书表达的本发明的范围的情况下，现在将简洁地论述一些特征。在考虑此论述之后，并且尤其在阅读标题为“具体实施方式”的部分之后，将理解本发明的特征如何提供在多视图视频译码中包含高级视图间残差预测的优点。
在一个实施例中，提供一种用于译码数字视频的设备。所述设备包含经配置以存储当前视图视频信息及参考视图视频信息的存储器。所述设备进一步包含与所述存储器通信的处理器。所述处理器经配置以至少基于所述参考视图的运动补偿块而确定所述当前视图的当前视频单元的值。至少部分基于与所述当前视频单元相关联的运动信息及视差向量来确定所述运动补偿块。
在另一实施例中，提供一种解码视频的方法。所述解码方法包含获得界定当前视图视频信息及参考视图视频信息的视频位流。所述方法还包含至少基于所述参考视图的运动补偿块而确定所述当前视图的当前视频单元的值。至少部分基于与所述当前视频单元相关联的运动信息及视差向量来确定所述运动补偿块。
在另一实施例中，提供一种编码视频的方法。所述编码方法包含产生界定当前视图视频信息及参考视图视频信息的视频位流。所述编码方法还包含至少基于所述参考视图的运动补偿块而确定所述当前视图的当前视频单元的值。至少部分基于与所述当前视频单元相关联的运动信息及视差向量来确定所述运动补偿块。
在另一实施例中，提供一种包括可执行指令的计算机可读存储媒体。所述指令致使设备获得当前视图视频信息及参考视图视频信息。所述指令还致使设备至少基于所述参考视图的运动补偿块而确定所述当前视图的当前视频单元的值。至少部分基于与所述当前视频单元相关联的运动信息及视差向量来确定所述运动补偿块。
在又其它实施例中，提供一种用于译码数字视频的设备。所述设备包含用于获得当前视图视频信息及参考视图视频信息的装置。所述设备进一步包含用于至少基于所述参考视图的运动补偿块而确定所述当前视图的当前视频单元的值的装置。至少部分基于与所述当前视频单元相关联的运动信息及视差向量来确定所述运动补偿块。
随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标及优势将从所述描述及所述图式以及从权利要求书显而易见。
附图说明
图1为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统的框图。
图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
图2B是说明可实施根据本发明中描述的方面的技术的多视图视频编码器的实例的框图。
图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
图3B是说明可实施根据本发明中描述的方面的技术的多视图视频编码器的实例的框图。
图4是说明多视图位流解码次序的实例的框图。
图5是说明多视图预测结构的实例的框图。
图6是说明在参考视图中使用来自当前视图的运动信息的实例的框图。
图7是用于在参考视图中使用来自当前视图的运动信息而执行视图间残差预测的说明性过程的流程图。
图8是用于使用加权因子执行视图间残差预测的说明性过程的流程图。
具体实施方式
一般来说，本发明涉及多视图视频译码或3D视频译码。在视频译码过程期间，可基于其它视频单元作出关于个别视频单元的组件(例如，像素或像素块)的预测。在编码视频时，可将所述预测与视频单元的源信息进行比较，且可确定预测与源之间的差异(被称作残差)。可以比源视频需要较少空间进行存储及/或较少带宽进行发射的方式译码残差，进而节省计算资源。在解码视频时，可作出相同预测且添加到残差以便产生最终经解码视频单元。在单视图视频译码中，预测通常是空间(例如，基于经译码的当前视频单元的相同帧中的其它视频单元)或时间(例如，基于先前或后续帧的对应视频单元)的。在3D或多视图译码中，可在单一位流中同时译码同一场景的不同视图(例如，立体视图)。在一些实施例中，可一起呈现两个或更多个视图以产生三维效果。在多视图译码中，可基于空间或时间作出对一个视图中的块的预测，如上文所描述，或基于视图间来作出(例如，基于相同帧的参考视图的对应视频单元，即，位于相同存取单元内)。
残差预测可用于通过预测特定视频单元的残差而进一步降低存储装置及/或带宽要求。可编码表示当前残差与所预测的残差之间的差异的差异残差，其进一步通过比整个当前残差促进更有效的译码、存储及/或发射而节省资源。在一些多视图译码实施方案(例如，3D-HEVC)中，通过使用视差向量(例如，基于其中曾俘获场景的每一视图的不同角度的向量)定位另一视图(例如，参考视图)中的对应块而实现对当前视图中的当前块的视图间残差预测。对应块的残差用作当前视图中的当前块的残差的预测符。可由编码器用信号发送视图间残差预测的使用，以使得解码器知道是否执行本文中描述视图间残差预测过程。可有条件地(例如基于每一CU)用信号发送指示视图间残差预测的使用的旗标。例如，编码器可遍历每一变换单元(TU)。如果发现TU经帧间译码(例如，使用视图内帧间预测)且含有非零经译码块旗标(CBF)值，那么可传输用于所述CU的视图间残差预测旗标。否则的话，如果所有TU被译码为经帧内译码，或如果它们全部具有0残差(例如，所有CBF单元是零)，那么不用信号发送旗标。可遍历并分析由残差参考区覆盖或部分覆盖的所有TU。如果残差参考区中的任何TU经帧间译码且含有非零CBF值(亮度CBF或色度CBF)，那么相关的残差参考被标记为可用的且可应用残差预测。在此情况下，指示视图间残差预测的使用的旗标可被传输为CU语法的部分。如果此旗标等于1，那么使用潜在内插的参考残余信号来预测当前残余信号，且仅使用变换译码传输差异。否则的话，在常规上使用HEVC变换译码来译码当前块的残差。虽然此类型的视图间残差预测可提高当前块的预测的总体质量，但其具有至少三个缺点。首先，可不将相同的运动信息用作当前视图来译码参考视图。在使用不同运动预测两个块时，它们之间的相关度相对低，并且因此预测性能将是次优的。其次，来自参考视图的经重构残差用于预测。此可将量化误差引入到预测且进一步降低性能。第三，参考视图的残差将被存储，其需要额外的存储器。
本发明的方面涉及针对当前视图中的当前块及参考视图中的对应块两者使用相同运动信息的视图间残差预测。虽然本文中描述的实例集中于从基础视图产生对当前视图(例如，非基础视图)中的块的预测，但在一些实施例中，可从另一非基础视图中的块作出预测。一般来说，从其作出对当前视图中的块的视图间预测的任何视图可被称为参考视图。在产生对当前块的残差预测时，使用与当前块相关联的运动信息(例如，运动向量)以从参考视图中的对应块产生残差预测。例如，可将残差预测产生为参考视图中的先前经重构对应块与使用来自当前视图中的当前块的运动向量所识别的参考块之间的差异。即使参考视图中的对应块与不同运动向量相关联，也使用当前块的运动向量。此确保使用与当前块相同的运动补偿而不是某一其它运动补偿来产生对当前块的残差预测。
本发明的额外方面涉及将加权因子引入到视图间残差预测。可使用加权因子将量化规格化应用于残差预测，进而在以不同质量译码当前视图及参考视图时减少或防止量化误差。在一些实施例中，可基于从应用加权因子的预定列表中的每一者而实现的最佳速率失真来确定加权因子。例如，可分析从应用加权因子0.0、0.5及1.0中的每一者而观测到的速率失真，且可选择提供最合意的速率失真的加权因子。
多视图视频译码(MVC)是H.264/AVC的扩展。在一些实施例中，MVC也是指3维或3D译码。本文中描述的方法及装置适用于MVC及其它多视图视频译码标准及实施方案。视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。此外，存在一种新的视频译码标准，即高效率视频译码(HEVC)，其正由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。截至2012年6月7日，可从http：//wg11.sc29.org/ict/doc_end_user/current_document.php？id＝5885/JCTVC- I1003-v2得到HEVC的草案。截至2012年6月7日，可从http：//phenix.it-sudparis.eu/ict/ doc_end_user/documents/9Geneva/wg11/JCTVC-I1003-v3.zip下载被称作“HEVC工作草案7”的HEVC标准的另一最近草案。对HEVC工作草案7的完全引用是布洛斯等人的文献HCTVC-I1003“高效率视频译码(HEVC)文本规范草案7(High Efficiency Video Coding(HEVC)Text Specification Draft 7)”，ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第9次会议：瑞士日内瓦，2012年4月27日到2012年5月7日。可从http：//phenix.int-evry.fr/ict/doc_end_user/documents/10_Stockholm/wg11/JCTVC- J1003-v8.zip得到被称作HEVC WD8(工作草案8)的HEVC标准的另一草案。这些参考文献中的每一者以全文引用的方式并入本文中。
下文参考附图更充分地描述新颖系统、设备及方法的各种方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。而是，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过技术方案的一或多个要素来体现本文中所揭示的任何方面。
尽管本文描述了特定方面，但这些方面的许多变化和排列属于本发明的范围。尽管提及优选方面的一些益处及优点，但本发明的范围无意限于特定益处、用途或目标。而是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和传输协议，其中的一些是作为实例而在图中以及在优选实施例的以下描述中得以说明。详细描述和图式仅说明本发明，而不是限制由所附权利要求书及其等效者界定的本发明的范围。
图1为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统的框图。如图1中所示，系统10包含源装置12，所述源装置12提供经编码视频数据以在稍后时间由目的地装置14解码。具体来说，源装置12经由计算机可读媒体16将视频数据提供给目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在一些情况下，源装置12和目的地装置14可能经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编码视频数据直接传输到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线路。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它装备。
在一些实例中，经编码数据可以从输出接口22输出到存储装置。类似地，可以通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码视频数据的合适的数字存储媒体。在另一实例中，存储装置可以对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取经存储的视频数据。文件服务器可以是能够存储经编码视频数据并且将所述经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含无线通道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)，或适合于存取存储于文件服务器上的经编码视频数据的以上两者的组合。经编码视频数据从存储装置的传输可能是流式传输、下载传输或两者的组合。
本发明的技术不必限于无线应用或环境。所述技术可以应用于支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视传输、卫星电视传输、因特网流式视频传输(例如，动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于对包含符合多个标准或标准扩展的视频数据的位流进行译码的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可以与外部显示装置介接，而非包含集成显示装置。
图1的所说明的系统10只是一个实例。用于确定当前块的运动向量预测符的候选列表的候选者的技术可由任何数字视频编码和/或解码装置执行。尽管本发明的技术一般通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器(通常被称作“编码解码器”)来执行。此外，本发明的技术还可通过视频预处理器来执行。源装置12及目的地装置14仅为源装置12在其中产生经译码视频数据以供传输到目的地装置14的此些译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频传播以例如用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置，例如视频摄像机、含有先前所俘获视频的视频存档及/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、所存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18是摄像机，则源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线及/或有线应用。在每一种情况下，可由视频编码器20编码所俘获、经预先俘获或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络传输，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可例如经由网络传输、直接有线通信等从源装置12接收经编码视频数据且将经编码视频数据提供给目的地装置14。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可以从源装置12接收经编码视频数据并且生产容纳经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20界定的语法信息，所述语法信息还供视频解码器30使用，所述语法信息包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可以根据视频译码标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，并且可以符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可以根据其它专有或业界标准来操作，所述标准例如是ITU-T H.264标准，也被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准，包含但不限于上文所列的标准中的任一者。视频译码标准的其它实例包含MPEG-2及ITU-T H.263。虽然在图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频及视频两者的编码。如果适用的话，MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。
JCT-VC正在致力于开发HEVC标准。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置根据(例如)ITU-T H.264/AVC相对于现有装置的若干额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但是HM可提供多达三十三种帧内预测编码模式。
一般来说，HM的工作模型描述视频帧或图片可以分成包含亮度及色度样本两者的一连串树块或最大译码单元(LCU)。位流内的语法数据可以界定最大译码单元(LCU，其在像素数目方面为最大译码单元)的大小。切片包含呈译码次序的多个连续树块。视频帧或图片可以被分割成一或多个切片。每一树块可以根据四叉树分裂成译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中一个根节点对应于所述树块。如果CU分裂成四个子CU，那么对应于CU的节点包含四个叶节点，其中叶节点中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可以提供相对应的CU的语法数据。举例来说，四叉树中的一节点可包含一分裂旗标，其指示对应于所述节点的所述CU是否分裂成子CU。CU的语法元素可以递归地界定，且可以取决于CU是否分裂成子CU。如果CU不进一步分裂，那么将其称为叶CU。在本发明中，叶CU的子CU也将被称作叶CU，即使不存在原始叶CU的显式分裂时也是如此。举例来说，如果16×16大小的CU不进一步分裂，那么这四个8×8子CU将也被称作叶CU，虽然16×16CU从未分裂。
CU具有类似于H.264标准的宏块的目的，但是CU并不具有大小区别。举例来说，树块可以分裂成四个子节点(还被称作子CU)，并且每一子节点又可以是父节点并且可以分裂成另外四个子节点。最终的未分裂子节点(被称作四叉树的叶节点)包括译码节点，还称为叶CU。与经译码位流相关联的语法数据可以界定树块可以分裂的最大次数，被称作最大CU深度，并且还可界定译码节点的最小大小。因此，位流还可界定最小译码单元(SCU)。本发明使用术语“块”来指代在HEVC的情况下的CU、PU或TU或在其它标准的情况下的类似数据结构(例如，H.264/AVC中的宏块及其子块)中的任一者。
CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可以在从8×8像素直到具有最大64×64像素或更大的树块的大小的范围内。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可以在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树被分割为一或多个TU。TU可以是正方形或非正方形(例如，矩形)形状。
HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU界定的给定CU内的PU的大小而设置，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残差样本可以使用被称为“残差四叉树”(RQT)的四叉树结构而细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，可以将所述变换系数量化。
叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于相对应的CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可以包含在残差四叉树(RQT)中，残差四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含界定PU的一或多个运动向量的数据。界定PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可以使用RQT(还称为TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可以指示叶CU是否分裂成四个变换单元。接着，每一变换单元可以进一步分裂成其它的子TU。当TU未经进一步分裂时，其可被称作叶TU。总体上，对于帧内译码，所有属于一个叶CU的叶TU共用相同的帧内预测模式。也就是说，一般应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可以使用帧内预测模式针对每一叶TU计算残差值，作为CU的对应于TU的部分与原始块之间的差。TU不必限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可以与相同CU的相对应的叶TU并置。在一些实例中，叶TU的最大大小可以对应于对应叶CU的大小。
此外，叶CU的TU还可与相应四叉树数据结构(被称作残差四叉树(RQT))相关联。也就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。未经分裂的RQT的TU被称作叶TU。一般来说，除非以其它方式提及，否则本发明分别使用术语CU及TU来指叶CU及叶TU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它处的语法数据，其描述GOP中所包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可以对应于CU内的译码节点。视频块可以具有固定或变化的大小，并且根据指定译码标准可以有不同大小。
作为实例，HM支持各种PU大小的预测。假设特定CU的大小是2N×2N，那么HM支持2N×2N或N×N的PU大小的帧内预测，及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％及75％。CU的对应于25％分区的部分由“n”继之以“上”、“下”、“左”或“右”的指示来指示。因此，例如，“2N×nU”是指经水平分割的2N×2N CU，其中顶部为2N×0.5N PU，而底部为2N×1.5N PU。
在本发明中，“N×N”与“N乘N”可以可互换地使用，以在垂直和水平尺寸方面指代视频块的像素尺寸，例如16×16像素或16乘16像素。一般来说，16×16块将在垂直方向上具有16个像素(y＝16)，并且在水平方向上具有16个像素(x＝16)。同样地，N×N块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可按行及列布置。此外，块可能不一定在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括N×M像素，其中M未必等于N。
在使用CU的PU进行帧内预测或帧间预测译码之后，视频编码器20可以计算CU的TU的残差数据。PU可包括描述产生空间域(还被称作像素域)中的预测性像素数据的方法或模式的语法数据且TU可包括在对残差视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后的变换域中的系数。残差数据可以对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残差数据的TU，并且接着变换TU以产生用于CU的变换系数。
在进行用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化为既定具有其最广泛一般含义的广义术语。在一个实施例中，量化是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些系数或全部相关联的位深度。举例来说，可在量化期间将n位值向下舍入到m位值，其中n大于m。
在量化之后，视频编码器可以扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。扫描可以经设计以将较高能量(并且因此较低频率)的系数放置在阵列前面，并且将较低能量(并且因此较高频率)的系数放置在阵列的后面。在一些实例中，视频编码器20可利用预先界定的扫描次序来扫描经量化的变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可以执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维向量进行熵编码。视频编码器还20可对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在对视频数据解码时使用。
为了执行CABAC，视频编码器20可以向待传输的符号指派上下文模型内的上下文。上下文可涉及(例如)符号的相邻值是否为非零。了执行CAVLC，视频编码器20可针对待传输的符号选择可变长度码。可建构VLC中的码字以使得相对较短代码对应于更有可能的符号，而较长代码对应于不太可能的符号。(例如)与对待传输的每一符号使用等长度码字的情形相比较，以此方式，使用VLC可实现位节省。概率确定可基于指派给符号的上下文。
视频编码器20可进一步例如在帧标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以编码相对应的帧的编码/预测模式。
图2A及2B是说明可实施根据本发明中描述的方面的技术的实例视频编码器的框图。图2A中展示的视频编码器20A可经配置以执行单视图视频译码。在一些实施例中，图2A中展示的模块及组件可并入到多视图编码器的基础视图模块中。如图2B中所展示，多视图视频编码器20B许多包含基础视图模块24及非基础视图模块26。基础视图模块24可在许多方面与图2A中展示的视频编码器20A类似或相同，且因此出于简单起见展示为与非基础视图模块26通信的单一块。图2A及2B中展示的视频编码器20A、20B可执行本发明的技术中的任一者或全部。作为一个实例，图2B中说明的多视图视频编码器20B的视差向量单元47可经配置以确定视差向量(例如，参看不同视图中的块的向量)，且高级残差预测单元48可经配置以执行视图间残差预测、视图间残差预测加权因子的应用，及/或本发明中描述的任何其它技术。然而，本发明的方面不限于此。在一些实例中，可在视频编码器20A、20B的各种组件之间共享本发明中描述的技术。在一些实例中，作为补充或替代，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。
视频编码器20A、20B可执行视频切片内的视频块的帧内及帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可以指若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可以指若干基于时间的译码模式中的任一者。视频编码器20B还可执行对不同视图中的视频块的视图间残差译码，如下文更详细描述。
如图2A中所示，视频编码器20A接收待编码视频帧内的当前视频块。在图2A的实例中，视频编码器20A包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了视频块重构，视频编码器20A还包含反量化单元58、反变换单元60，及求和器62。还可包含解块滤波器(图2A中未图示)以便对块边界进行滤波，以从经重构视频移除成块性假影。必要时，解块滤波器通常将对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未展示此类滤波器，但是必要时，这些滤波器可以对求和器50的输出进行滤波(作为环路内滤波器)。
在编码过程期间，视频编码器20A接收待译码的视频帧或切片。所述帧或切片可被划分成多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收的视频块的帧内预测译码以提供空间预测。视频编码器20A可以执行多个译码遍次，例如，以便为每一视频数据块选择一种适当的译码模式。
此外，分割单元48可以基于前述译码遍次中的前述分割方案的评估将视频数据块分割成子块。举例来说，分割单元48最初可以将帧或切片分割成LCU，并且基于速率失真分析(例如，速率失真优化)将LCU中的每一者分割成子CU。模式选择单元40可以进一步产生指示LCU划分成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。
模式选择单元40可以基于错误结果选择译码模式中的一者(帧内或帧间)，并且将所得的经帧内译码或经帧间译码块提供到求和器50以便产生残差块数据，并且提供到求和器62以便重构经编码块用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此类语法信息)提供到熵编码单元56。
运动估计单元42与运动补偿单元44可高度集成，但出于概念目的分开加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正经译码的当前块的移位。预测块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编码器20A可计算存储于参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20A可以内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测块的位置来计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中的每一者识别存储在参考帧存储器64中的一或多个参考图片。运动估计单元42将计算出来的运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可以涉及基于由运动估计单元42确定的运动向量提取或产生预测块。同样，在一些实例中，运动估计单元42与运动补偿单元44可以在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44便可以在参考图片列表中的一者中定位所述运动向量指向的预测块。求和器50通过从经译码的当前视频块的像素值减去预测块的像素值从而形成像素差值来形成残差视频块，如下文所论述。一般来说，运动估计单元42相对于亮度分量执行运动估计，并且运动补偿单元44对于色度分量及亮度分量两者使用基于亮度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的供视频解码器30A在对视频切片的视频块进行解码时使用的语法元素。
作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可以对当前块进行帧内预测或计算。明确地说，帧内预测单元46可以确定用来编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独编码回合期间使用各种帧内预测模式对当前块进行编码，且帧内预测单元46(在一些实例中，或为模式选择单元40)可从所测试的模式中选择将使用的适当的帧内预测模式。
举例来说，帧内预测单元46可以使用速率失真分析计算针对各种经测试帧内预测模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可以根据用于各种经编码块的失真及速率计算比率，以确定哪种帧内预测模式对于所述块展现最佳速率失真值。
在选择了用于块的帧内预测模式之后，帧内预测单元46可将指示用于所述块的选定帧内预测模式的信息提供给熵编码单元56。熵编码单元56可以对指示所选帧内预测模式的信息进行编码。视频编码器20A可在所传输的位流中包含配置数据，所述配置数据可包含多个帧内预测模式索引表及多个修改的帧内预测模式索引表(还被称作码字映射表)、编码用于各种块的上下文的界定，及用于所述上下文中的每一者的最可能的帧内预测模式、帧内预测模式索引表及修改的帧内预测模式索引表的指示。
视频编码器20A通过从经译码的原始视频块减去来自模式选择单元40的预测数据形成残差视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残差块，从而产生包括残差变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何情况下，变换处理单元52向残差块应用所述变换，从而产生残差变换系数的块。所述变换可将残差信息从像素值域转换到变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54将变换系数量化以进一步减小位速率。量化过程可减少与系数中的一些系数或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可以执行所述扫描。
在量化之后，熵编码单元56对经量化的变换系数进行熵译码。举例来说，熵编码单元56可以执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间划分熵(PIPE)译码或另一熵编码技术。在基于上下文的熵编码的情况下，上下文可以基于相邻块。在熵编码单元56的熵编码之后，可以将经编码位流传输到另一装置(例如视频解码器30A)，或者将所述视频存档用于以后传输或检索。
反量化单元58及反变换单元60分别应用反量化及反变换以在像素域中重构残差块，例如以供稍后用作参考块。运动补偿单元44可以通过将残差块添加到参考帧存储器64的帧中的一者的预测块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重新构造的残差块以计算子整数像素值以用于运动估计。求和器62将经重构的残差块添加到由运动补偿单元44产生的经运动补偿的预测块以产生经重构参考块以供存储在参考帧存储器64中。经重构视频块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。
在多视图译码实施方案中，图2A中说明及上文所描述的组件可形成多视图视频编码器20B的基础视图模块。为简单起见在图2B中展示为单一块的基础视图模块24可与多视图视频编码器20B的非基础视图模块26通信。非基础视图模块26可在许多方面与基础视图模块24类似或相同。另外，非基础视图模块26可包含经设计以执行多视图特定的译码过程(例如视图间预测)的模块或组件。例如，非基础视图模块26可包含视差向量单元47及高级残差预测单元48。视差向量单元47可经配置以确定用于视图间预测的视差向量，如下文更详细描述。高级残差预测单元48可经配置以执行下文更详细地描述的高级残差预测过程。非基础视图模块26可从基础视图模块24接收或以其它方式存取参考帧，如所展示，以便执行视图间预测。
图3A及3B是说明可实施根据本发明中描述的方面的技术的实例视频解码器。图3A中展示的视频解码器30A可经配置以执行单视图视频解码。在一些实施例中，图3A中展示的模块及组件可并入到多视图解码器的基础视图模块34中。如图3B中所展示，多视图视频解码器30B可包含基础视图模块34及非基础视图模块36。基础视图模块34可在许多方面与图3A中展示的视频解码器23A类似或相同，且因此出于简单起见展示为与非基础视图模块36通信的单一块。图3A及3B中展示的视频解码器30A、30B可执行本发明的技术中的任一者或全部。作为一个实例，图3B中说明的多视图视频解码器30B的视差向量单元75可经配置以确定视差向量(例如，参看不同视图中的块的向量)，且高级残差预测单元76可经配置以执行视图间残差预测、视图间残差预测加权因子的应用，及/或本发明中描述的任何其它技术。然而，本发明的方面不限于此。在一些实例中，可在视频解码器30A、30B的各种组件之间共享本发明中描述的技术。在一些实例中，作为补充或替代，处理器(未图示)可经配置以执行本发明中描述的技术中的任一者或全部。
在图3A的实例中，视频解码器30A包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考帧存储器82及求和器80。视频解码器30A在一些实例中可执行一般与关于视频编码器20A(图2A)所描述的编码回合互逆的解码回合。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。
在解码过程期间，视频解码器30A从视频编码器20A接收表示经解码视频切片和相关联的语法元素的视频块的经编码视频位流。视频解码器30A的熵解码单元70熵解码位流以产生经量化的系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30A可以接收在视频切片层级和/或视频块层级处的语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可以基于用信号发送的帧内预测模式和来自当前图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。在视频帧被译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于运动向量及从熵解码单元70接收的其它语法元素而产生用于当前视频切片的视频块的预测块。可以从参考图片列表中的一者内的参考图片中的一者产生预测块。视频解码器30A可基于存储于参考帧存储器92中的参考图片使用默认建构技术来建构参考帧列表：列表0及列表1。运动补偿单元72通过解析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正被解码的当前视频块的预测块。举例来说，运动补偿单元72使用所接收的语法元素中的一些语法元素来确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、用于切片的参考图片列表中的一或多者的建构信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态，及用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20A在编码视频块期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下，运动补偿单元72可根据所接收的语法信息元素而确定由视频编码器20A使用的内插滤波器且使用所述内插滤波器来产生预测块。
反量化单元76将在位流中提供且由熵解码单元80解码的经量化变换系数反量化，例如解量化。反量化过程可包含使用视频解码器30A针对视频切片中的每一视频块计算以确定应该应用的量化程度和同样反量化程度的量化参数QPY。
反变换单元78对变换系数应用反变换，例如反DCT、反整数变换或概念上类似的反变换过程，以便产生像素域中的残差块。
在运动补偿单元82基于运动向量和其它语法元素产生当前视频块的预测块之后，视频解码器30A通过对来自反变换模块78的残差块与由运动补偿单元72产生的对应预测块求和而形成经解码视频块。求和器90表示可执行此求和运算的组件。必要时，还可应用解块滤波器以对经解码块进行滤波以便移除成块性假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中，参考图片存储器92存储参考图片用于后续运动补偿。参考帧存储器82还存储经解码视频用于以后在显示装置(例如图1的显示装置32)上呈现。
在多视图译码实施方案中，图3A中说明及上文所描述的组件可形成多视图视频解码器30B的基础视图模块。为简单起见在图3B中展示为单一块的基础视图模块34可与多视图视频解码器30B的非基础视图模块36通信。非基础视图模块36可在许多方面与基础视图模块34类似或相同。另外，非基础视图模块36可包含经设计以执行多视图特定的译码过程(例如视图间预测)的模块或组件。例如，非基础视图模块36可包含视差向量单元75及高级残差预测单元76。视差向量单元75可经配置以确定用于视图间预测的视差向量，如下文更详细描述。高级残差预测单元76可经配置以执行下文更详细地描述的高级残差预测过程。非基础视图模块36可从基础视图模块34接收或以其它方式存取参考帧，如所展示，以便执行视图间预测。
下文界定典型的运动补偿环路。此运动补偿环路用于HEVC及H.264/AVC两者中。当前帧的重构等于所述帧的解量化系数r加上时间预测P：
其中P指示对P帧的单向预测或对B帧的双向预测。
为了进一步提高多视图译码实施方案中的译码效率，可使用视图间预测。例如，可使用视图间运动预测及/或视图间残差预测。图4到8及以下描述提供可提高多视图译码效率及质量的对视图间残差预测的实例实施方案及增强。
图4说明实例多视图位流。展示若干视图V0、V1及V2，其包含若干时间实例T0、T1、T2、T3及T4中的每一者中的视频帧。例如，V0包含各自在五个相异的时间实例中的一者的帧100、110、120、130及140。V1包含各自在五个相异的时间实例中的一者中的帧101、111、121、131及141。V1的时间实例中的每一者中的图像可为与V0的对应图像及时间实例相同的对象或场景的图像。然而，来自V1的图像可来自不同角度或另外不同视角。V2包含各自在五个相异的时间实例中的一者中的帧102、112、122、132及142。V2中的图像还可对应于与V1及V0的图像相同的对象或场景的图像。然而，来自V1的图像可来自第三不同角度。在一些实施例中，视图的数目可少于或多于图4中展示及本文中描述的数目。在一些实施例中，一或多个视图可不具有用于每一及每个时间实例的帧，而是可具有视频的所有时间实例的某一子集中的帧。
图4中的箭头表示一个可能的解码次序布置。此解码次序可被称作时间优先译码。列可表示相异的存取单元(AU)。每一AU含有一个输出时间实例(例如，T0、T1等)的所有视图(例如，V0、V1等)的经译码图片。在一些实施例中，存取单元的解码次序不等同于输出或显示次序。在其它实施例中，AU的解码次序与输出或显示次序相同。
图5说明实例多视图预测结构。图5中展示的多视图预测结构包含视图内及视图间预测两者。预测由箭头指示。给定箭头的源对象可使用所述箭头的目标对象作为预测参考(例如，指出对象使用指向对象以用于预测)。
如所展示，对某些帧(例如，121)的预测可使用相同视图中的帧或不同视图中的帧作为参考帧。例如，帧101及141可为用于产生对帧121的时间运动预测的参考帧。那些帧中的每一者处于相同视图V1中。帧120及122可用于产生对帧121的视图间预测。视图V0及V2中的帧120及122分别还可从不同帧预测。例如，帧100及140可为用于产生对帧120的时间或运动预测的参考帧。那些帧中的每一者处于相同视图V0中。然而，对帧120的运动预测可使用与对帧121的运动预测不同的运动向量。因此，帧120与及121之间的相关度对于产生视图间残差预测可较低或为次优的。为了减少或防止此间题，可再使用来自帧121的运动向量以产生从帧120的残差预测，如下文更详细描述。
在多视图译码中，可通过使用视差运动补偿实施视图间预测。视差运动补偿可使用H.264/AVC运动补偿的语法，同时允许将不同视图中的图片用作参考图片(例如，通过使用视差向量)。一般来说，视差向量可为指向视图间参考图片的运动向量。通常在相同AU(例如，相同时间实例内的差异视图)中的图片之间使用视图间预测。在译码一个视图中的图片时，可将其它视图中的图片添加到参考图片列表(如果它们在相同时间实例内)。如同帧间预测参考图片一般，视图间参考图片可放置在参考图像列表的任何位置中。
导出视差向量的一个方法是基于相邻块的视差向量(NBDV)。在NBDV中，以固定检查次序检查空间或时间相邻块的运动向量以识别视差运动向量：指向视图间参考图片的运动向量。一旦识别视差运动向量，所述检查过程便终止，且所识别的视差运动向量返回并转换为用于视图间运动预测及视图间残差预测中的视差向量。如果在检查所有预定义的相邻块之后未找到视差运动向量，那么“零”视差向量用于视图间运动预测，且停用对对应译码单元(CU)的视图间残差预测。
五个空间相邻块可用于视差向量导出：当前预测单元(PU)的左下方、左边、右上方、上方及左上方块，其可分别标示为A0、A1、B0、B1及B2。时间相邻块可来自候选参考图片。可将来自当前视图的任何参考图片视为候选图片。在一些实施例中，可进一步约束候选图片的数目(例如，约束为四个在时间上最靠近的图片等)。可以某一预定或动态确定的次序检查候选参考图片。对于每一候选图片，可使用三个候选区来用于导出时间相邻块：CPU(例如，当前PU或当前CU的位于同一地点的区)；CLCU(例如，覆盖当前PU的位于同一地点的区的最大译码单元(LCU))；及BR(例如，CPU的右下方4×4块)。
在一个实施例中，首先检查空间相邻块，接着是时间相邻块。可将五个空间相邻块的检查次序界定为A1、B1、B0、A0及随后B2。对于每一候选图片，依序检查候选图片中的三个候选区(CPU、CLCU、BR)。可将三个区的检查次序界定为：用于第一非基础视图的CPU、CLCU及BR，及用于第二非基础视图的BR、CPU、CLU。
上文所描述的导出视差向量的方法仅是说明性的，且并不打算是限制性的。在一些实施例中，可使用识别、导出或产生视差向量的任何其它方法。图6中展示在视图间残差预测中使用视差向量的详细图解。
图6说明两个不同视图V0及V1中的每一者中的若干帧。来自每一视图的对应帧被分组为对应于不同时间实例(T0、T1、T2及T3)的AU。帧200及300在T0内在AU中；帧210及310在T1内在AU中；帧220及320在T2内在AU中；且帧230及330在T3内在AU中。
对于将在时间T1处在视图V1中译码的当前块312，其可从由与当前块312相关联的运动向量360识别的块进行预测。例如，可从帧300中的对应于相同视图V1的时间实例T0的块302(在以下等式(2)中标示为Pc)预测当前块312。可通过从块302(Pc)减去当前块312的原始样本(例如，原始像素值)而获得残差样本。
可通过视差向量(例如视差向量350)定位参考视图V0的参考块212。不将参考块212的残差直接用作当前块312的残差的预测符，可再使用来自当前块312的运动向量360以识别参考块212(例如，用于参考块212的参考块)的运动预测符。使用此方法确保使用与正被译码的当前块(块312)的残差样本相同的运动信息获得从参考块212的经运动补偿残差预测。在图6中，通过再使用来自当前块132的运动向量360而识别的用于参考块212的参考块是块202。经重构参考块212及其运动预测与块202的差异可标示为rb。
以类似于上文所描述的层内帧间预测运动补偿的方式，可从当前块312的残差样本(例如，预测Pc与当前块312的原始源视频数据之间的差异)减去rb(块212与202之间的差异)，保存所得的差信号(标示为rc)(例如，经变换译码并添加到位流)。因此，在使用视图间残差预测时，可通过以下等式表达运动补偿环路：
其中当前块的重构等于当前块残差与参考块残差之间的差异(rc)加上帧间预测(Pc)加上参考块残差(rb)。
可将量化误差引入到当前块的重构因为从参考视图对参考块的重构用于产生视图间残差预测。为了防止或减少此类量化误差的影响，可将加权因子应用于从参考块的残差。例如，可通过使参考块的残差(rb)乘以不等于1的加权因子而产生当前块的残差的预测符。在一些实施例中，要使用的特定加权因子可选自编码器及解码器两者已知的预定加权因子列表。编码器可基于(例如)哪一加权因子提供最佳速率失真而确定要使用的适当的加权因子。可将到适当的加权因子的索引用信号发送到解码器。
在一个特定非限制性实例中，可存在将用信号发送的N个不同加权因子，其中N可为2、3、4等。首先将这些加权因子映射到唯一加权索引，如下表1中所展示。用信号发送所述加权索引而非所述加权因子的值。
表1：加权因子索引与加权因子之间的映射
在表1中，通过W0、W1、W2、…、WN-1以值的升序(例如，0.0、0.5及1.0)指示加权因子的值。应注意，可根据某一其它技术颠倒或确定所述次序。例如，W0、W1、W2、…、WN-1可为呈它们将被使用的概率的降序的加权因子。在另一特定非限制性实例中，前三个加权因子可等于0、1、0.5，且索引分别为0、1、2。可基于值的升序或概率的降序将任何剩余的加权因子的索引编制为3到N-1。
在一些实施例中，在从相邻块导出的视差向量不可用时，跳过加权索引的信令且将当前块的加权因子设定为0。或者，在从相邻块导出的视差向量不可用时，可替代地使用零视差向量或全局视差向量。在此情况下，可用信号发送加权索引。
在一些实施例中，可用信号发送与加权因子相关的额外或替代性旗标。所述额外旗标指示在当前块的加权因子不等于0时是否跳过变换模块。或者，总是在使用不等于0的加权因子译码块时跳过变换模块。通常，应用变换以移除一个块中的残差内的相关。然而，归因于使用本文中描述的高级残差预测技术而实现的更好预测，残差之间的相关可变得相对较低。因此，可能不再需要变换。
图7是用于执行视图间残差预测的说明性过程700的流程图。例如，数字视频译码器(例如上文所描述的多视图编码器20B或多视图解码器30B)可使用过程700以执行多视图译码中的视图间残差预测。在一些实施例中，过程700可由某一其它组件或设备执行。说明性地，以下描述相对于图3B中的解码器30B描述过程700的步骤。
过程700开始于框702，其中存储视频信息。例如，可在框702处存储与第一视图、第二视图、一或多个额外视图、一或多个经上取样/经下取样视图相关联的视频信息，或其任何组合。
在框704处，可确定当前视图中的当前块(例如视图V1中的当前块312)的视差向量，如图6中所展示。在一些实施例中，如上文所描述，可使用用于确定视差向量的NBDV或某一其它方法或过程。
在框706处，可使用视差向量识别参考视图中的参考块。例如，如图6中所展示，视差向量350可用于识别参考视图V0中的参考块212。
在框708处，可再使用来自当前块的运动向量而产生当前块的残差预测。例如，如图6中所展示，运动向量360可用于获得参考块212的参考块202。可计算块202及212之间的差异以给出当前块312的残差预测。有利的是，使用与用于当前块312的运动信息相同的运动信息获得当前块312的此残差预测，进而与使用现有方法获得预测相比，确保残差预测与当前块312之间的更高的相关度。
在框710处，可基于上文确定的残差预测对当前块进行译码。例如，在由编码器20实施过程700时，可从当前块的残差(例如，图6中的当前块312的源视频与框302的重构之间的差异)减去来自以上708的残差预测。可对所得的差异进行变换译码、量化及熵译码。作为另一实例，在由解码器30实施过程700时，可将来自以上708的残差预测添加到来自位流的经熵解码、经反量化及经反变换的残差。另外，如上文相对于等式(2)所描述，可添加经帧间预测块(例如，图6中的块302)的重构，以给出当前块312的重构。
在一个特定非限制性实施例中，对于一个参考图片列表X(其中X为0或1)，经帧间预测的当前块可表示为经帧间预测亮度样本阵列(其可标示为predSampleLXL)及色度样本阵列(其可标示为predSampleLXcb及predSampleLXcr)。对于每一参考列表(例如，列表0或1)，如果当前块的参考图片不是视图间参考图片，那么可导出指向目标参考视图的视差向量。参考块可位于参考检视的使用视差向量的相同存取单元中。可通过从当前块的运动信息导出运动向量而将运动补偿应用于参考块，进而导出残余块。
如上文所描述及下文更详细地描述，可将加权因子应用于残余块以获取经加权残余块(其可标示为predARPSampleLXL、predARPSampleLXcb及predARPSampleLXcr)。当前块的最终残差可为经加权残余块及经预测样本的总和：
predSampleLXL＝predSampleLXL+predARPSampleLXL
predSampleLXcb＝predSampleLXcb+predARPSampleLXcb
predSampleLXcr＝predSampleLXcr+predARPSampleLXcr
在一些实施例中，此操作可实施为矩阵/向量加法运算。
图8是用于在视图间残差预测过程中使用加权因子的说明性过程800的流程图。例如，数字视频译码器(例如上文所描述的多视图编码器20B或多视图解码器30B)可使用过程800，同时执行过程700以将加权因子应用于视图间残差预测。
过程800开始于框802，其中如上文所描述(例如，相对于图6及/或7)产生残差预测。在框804处，可将加权因子应用于预测。加权因子可被动态地确定、被编码在位流中、基于位流中的索引而从加权因子列表获得，等等。在框806处，可基于从参考块的经加权残差预测对当前块进行译码。说明性地，如果加权因子是1，那么使用从参考块的未经修改的残差预测。如果加权因子是0，那么不使用视图间残差预测。如果加权因子在1与0之间，那么应用加权因子且用于对当前块进行译码。
在一些实施例中，可将用以指示加权因子的索引的新语法元素(例如，weighting_factor_index)用信号发送为译码单元的部分。下表2展示具有语法元素的译码单元的一个实施例。
表2：样本译码单元
在一些实施例中，可仅在当前视图是相依纹理视图、当前CU未经帧内译码且所导出的视差向量是可用的时用信号发送所述语法元素。在此语法元素不存在于位流中时，可推断加权因子等于0。下表3展示具有语法元素的译码单元的一个实施例。
表3：样本译码单元
在一些实施例中，可用信号发送用于每一参考图片列表的语法元素。在一些实施例中，可用信号发送所述语法元素以作为PU的部分。在一些实施例中，可仅在当前CU或PU是使用跳过/合并模式译码时用信号发送所述语法元素。在一些实施例中，可仅在当前CU或PU与时间运动向量相关联时用信号发送所述语法元素。在一些实施例中，如HEVC规格的部分6.2中所描述来执行语法元素的解析过程。
在一些实施例中，仅具有相同图片次序计数(POC)的相同参考视图中的图片用于在视图间残差预测期间对参考图片进行帧间预测。如果不存在参考块的具有与当前块的参考图片相同的POC的参考图片，那么将加权因子设定为0或以其它方式抑制视图间预测。在其它实施例中，基于POC将运动向量缩放为参考块的第一可用的时间参考图片。
可使用截断一元二进制化方法(例如，HEVC规范的部分9.3.2.2中描述的方法)用信号发送加权索引。在一些实施例中，首先基于正使用的加权因子的概率的降序将加权因子映射到一个唯一加权索引，且随后使用截断一元二进制化方法进行译码。
在一些实施例中，可如表4中所展示而实施二进制化过程。例如，对应于值3到N-1的加权因子索引的二进位串由前缀“11”及通过从其中使用截断一元二进制化的weighting_factor_index的值减去3编制索引的后缀组成。
表4：加权因子的二进制化(N大于4)
在总共存在四个加权因子时，可如表5中所展示而实施二进制化过程。
表5：加权因子的二进制化(N＝4)
在总共存在三个加权因子(例如，0、0.5及1)时，可如表6中所展示而实施二进制化过程。
表6：加权因子的二进制化(N＝3)
上下文初始化及上下文选择是熵译码(包含熵编码及熵解码)中的两个重要方面。上下文初始化对应于二进制算术译码器中的0或1的初始化或所估计的概率。可通过从实际概率进行映射由整数表示概率。给定上下文选择方法，可在译码过程中更新用于每一上下文的0或1的概率。在将概率更新为等于实际概率时，可实现提高的性能。恰当的上下文初始化及选择方法可缩短更新过程，进而帮助实现更好的性能。
可以各种方式实施上下文初始化。例如，本文中描述的视图间残差预测技术可适用于P切片及B切片两者。在一些实施例中，P切片的加权索引的上下文的初始概率可不同于B切片的加权索引的上下文的初始概率。在其它实施例中，针对不同二进位值(例如0及1)使用相等概率初始化所有上下文模型。在其它实施例中，可使用一组上下文来用于译码加权因子索引。
还可以各种方式实施对加权因子索引的上下文选择。可利用左边及上方相邻块相对于当前块的可用性及加权因子来建构加权因子索引的上下文模型。在一个特定非限制性实施例中，亮度位置(xC，yC)是指相对于当前图片的左上方样本的当前亮度译码块的左上方亮度样本。可通过针对呈z扫描次序(例如，如HEVC规范的子条款6.4.1中所指定)的块使用可用性导出过程而导出指示直接在当前译码块的左边定位的译码块的可用性的变量(例如，availableL)。在使用可用性导出过程中，将位置(xCurr，yCurr)设定成等于(xC，yC)且将相邻位置(xN，yN)设定成等于(xC-1，yC)以作为对过程的输入。将输出指派给availableL。可通过使用相同或类似的可用性导出过程导出指示直接在当前译码块上方定位的译码块的可用性的另一变量(例如，availableA)。可将位置(xCurr，yCurr)设定成等于(xC，yC)，且将相邻位置(xN，yN)设定成等于(xC，yC-1)以作为对过程的输入。将输出指派给availableA。
在一些实施例中，可通过确定mbPAddrN是否可用及块的加权因子mbPAddrN是否不等于0而导出旗标(例如，condTermFlagN，其中N可为L或A)。如果是，那么将condTermFlagN设定成等于1。否则(例如，mbPAddrN不可用或块的加权因子mbPAddrN等于0)，将condTermFlagN设定成等于0。
在一些实施例中，ctxIdx可为将用于译码加权因子索引的上下文索引。可通过下式导出用于待译码的每一二进位的ctxIdx增量(ctxIdxInc)：
ctxIdxInc＝M*condTermFlagL+N*condTermFlagA (3)
其中M或N可为1或2。
在一些实施例中，可通过ctxIdxInc＝condTermFlagA而导出ctxIdxInc。在一些实施例中，可通过ctxIdxInc＝condTermFlagL而导出ctxIdxInc。在一些实施例中，ctxIdxInc固定为0。
本发明的高级残差预测技术可除了多视图/3D视频译码之外还适用于可缩放视频译码(“SVC”)。不管正使用哪一类型的译码(SVC、MVC或3DV)，可将一般化残差预测(“GRP”)应用于帧内PU/CU。在此情况下，使用与当前帧内PU/CU相同的预测模式执行对参考块的帧内预测，而不管参考块是否存在于基础层或基础视图(分别在SVC或MVC/3DV中)的PU/CU中。在PU/CU是帧间PU/CU时，可以与基础层或基础视图块的帧间预测残差相同的方式使用基础层或基础视图块的帧内预测残差。在一些实施例中，GRP可仅适用于亮度分量。例如，这等效于将色度残差的加权因子设定成等于零。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实例中，可例如通过多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。
在一或多个实例中，所描述的功能可以用硬件、软件、固件或其任何组合来实施。如果以软件实施，则所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含任何促进将计算机程序从一处传送到另一处的媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。
举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，任何连接可恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对非暂时性的有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式重现数据，而光盘使用激光以光学方式重现数据。上述各者的组合也应包含在计算机可读媒体的范围内。
指令可以由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC组(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但不必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (43)

1.一种用于对数字视频进行译码的设备，所述设备包括：
存储器，其经配置以存储当前视图视频信息及参考视图视频信息；及
处理器，其经配置以：
使用与当前视图的当前视频单元相关联的视差向量来识别第一时间实例中的参考视图的第一参考块；
使用所述参考视图的所述第一参考块和与所述当前视图的所述当前视频单元相关联的运动信息来识别不同于所述第一时间实例的第二时间实例中的所述参考视图的第二参考块；
使用与所述当前视图的所述当前视频单元相关联的所述运动信息来确定运动补偿块；
基于所述第二参考块和所述第一参考块之间的差乘以加权因子来确定残余预测块；以及
至少基于所述运动补偿块和所述残余预测块来译码所述当前视频单元。
2.根据权利要求1所述的设备，其中所述处理器进一步经配置以：
编码通过从所述当前视频单元的残差减去所述残余预测块而获得的残差的差，其中所述当前视频单元的所述残差是通过从视频位流中的所述当前视频单元减去所述运动补偿块而获得的。
3.根据权利要求1所述的设备，其中所述加权因子不等于1。
4.根据权利要求1所述的设备，其中所述处理器进一步经配置以在选自包括以下各者的群组的译码层级处应用所述加权因子：序列、帧群组、帧、切片群组、切片、译码单元CU群组、译码单元CU、预测单元PU群组、预测单元PU、块及像素区。
5.根据权利要求1所述的设备，其中所述加权因子是至少基于加权信息来确定。
6.根据权利要求5所述的设备，其中所述加权信息包括加权步长、加权表、加权因子候选者的数目及加权索引中的一或多者。
7.根据权利要求5所述的设备，其中用信号发送所述加权信息。
8.根据权利要求7所述的设备，其中在选自包括以下各者的群组的译码层级处用信号发送所述加权信息：序列、帧群组、帧、切片群组、切片、译码单元CU群组、译码单元CU、预测单元PU群组、预测单元PU、块及像素区。
9.根据权利要求5所述的设备，其中当前块包括所述当前视频单元，且其中加权因子索引的上下文模型是基于所述当前块上方的相邻块或所述当前块左边的相邻块中的至少一者。
10.根据权利要求1所述的设备，其中当前块包括所述当前视频单元，且其中所述视差向量是从与所述当前块相邻的块导出。
11.根据权利要求1所述的设备，其中所述视差向量包括零视差向量或全局视差向量中的一者。
12.根据权利要求1所述的设备，其中所述视差向量是从深度视图分量导出。
13.根据权利要求1所述的设备，其中所述处理装置进一步经配置以解码来自位流的残差值。
14.根据权利要求1所述的设备，其中所述处理装置进一步经配置以在位流中编码残差值。
15.根据权利要求1所述的设备，其中所述设备是装置的一部分，所述装置选自由以下各者组成的群组：桌上型计算机、笔记本计算机、平板计算机、机顶盒、电话手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台及视频流式传输装置。
16.一种对视频进行解码的方法，所述方法包括：
获得界定当前视图视频信息及参考视图视频信息的视频位流；及
使用与当前视图的当前视频单元相关联的视差向量来识别第一时间实例中的参考视图的第一参考块；
使用所述参考视图的所述第一参考块和与所述当前视图的所述当前视频单元相关联的运动信息来识别不同于所述第一时间实例的第二时间实例中的所述参考视图的第二参考块；
使用与所述当前视图的所述当前视频单元相关联的所述运动信息来确定运动补偿块；
基于所述第一参考块和所述第二参考块之间的差乘以加权因子来确定残余预测块；以及
至少基于所述运动补偿块和所述残余预测块来解码所述当前视频单元。
17.根据权利要求16所述的方法，其中解码所述当前视频单元包括：
通过将所述运动补偿块和所述残余预测块增加到经解码的残差的差而产生所述当前视频单元的重构块，所述经解码的残差的差通过将反变换和/或反量化应用到从所述视频位流所接收的残差的差的残差。
18.根据权利要求16所述的方法，其中所述加权因子不等于1。
19.根据权利要求16所述的方法，其进一步包括在选自包括以下各者的群组的译码层级处应用所述加权因子：序列、帧群组、帧、切片群组、切片、译码单元CU群组、译码单元CU、预测单元PU群组、预测单元PU、块及像素区。
20.根据权利要求16所述的方法，其中至少基于加权信息来确定所述加权因子。
21.根据权利要求20所述的方法，其中所述加权信息包括加权步长、加权表、加权因子候选者的数目及加权索引中的一或多者。
22.根据权利要求20所述的方法，其中用信号发送所述加权信息。
23.根据权利要求22所述的方法，其中在选自包括以下各者的群组的译码层级处用信号发送所述加权信息：序列、帧群组、帧、切片群组、切片、译码单元CU群组、译码单元CU、预测单元PU群组、预测单元PU、块及像素区。
24.根据权利要求16所述的方法，其中当前块包括所述当前视频单元，且其中加权因子索引的上下文模型是基于所述当前块上方的相邻块或所述当前块左边的相邻块中的至少一者。
25.根据权利要求16所述的方法，其中当前块包括所述当前视频单元，且其中从与所述当前块相邻的块导出所述视差向量。
26.根据权利要求16所述的方法，其中所述视差向量包括零视差向量或全局视差向量中的一者。
27.根据权利要求16所述的方法，其中从深度视图分量导出所述视差向量。
28.一种编码视频的方法，所述方法包括：
产生界定当前视图视频信息及参考视图视频信息的视频位流；及
使用与当前视图的当前视频单元相关联的视差向量来识别第一时间实例中的参考视图的第一参考块；
使用所述参考视图的所述第一参考块和与所述当前视图的所述当前视频单元相关联的运动信息来识别不同于所述第一时间实例的第二时间实例中的所述参考视图的第二参考块；
使用与所述当前视图的所述当前视频单元相关联的所述运动信息来确定运动补偿块；
基于所述第一参考块和所述第二参考块之间的差乘以加权因子来确定残余预测块；以及
至少基于所述残余预测块和所述运动补偿块来编码所述当前视频单元。
29.根据权利要求28所述的方法，其进一步包括：
在所述位流中编码通过从所述当前视频单元的残差减去所述残余预测块而获得的残差的差，其中所述当前视频单元的所述残差是通过从所述当前视频单元减去所述运动补偿块而获得的。
30.根据权利要求28所述的方法，其中所述加权因子不等于1。
31.根据权利要求28所述的方法，其进一步包括在选自包括以下各者的群组的译码层级处应用所述加权因子：序列、帧群组、帧、切片群组、切片、译码单元CU群组、译码单元CU、预测单元PU群组、预测单元PU、块及像素区。
32.根据权利要求28所述的方法，其中至少基于加权信息来确定所述加权因子。
33.根据权利要求32所述的方法，其中所述加权信息包括加权步长、加权表、加权因子候选者的数目及加权索引中的一或多者。
34.根据权利要求32所述的方法，其中用信号发送所述加权信息。
35.根据权利要求34所述的方法，其中在选自包括以下各者的群组的译码层级处用信号发送所述加权信息：序列、帧群组、帧、切片群组、切片、译码单元CU群组、译码单元CU、预测单元PU群组、预测单元PU、块及像素区。
36.根据权利要求28所述的方法，其中当前块包括所述当前视频单元，且其中加权因子索引的上下文模型是基于所述当前块上方的相邻块或所述当前块左边的相邻块中的至少一者。
37.根据权利要求28所述的方法，其中当前块包括所述当前视频单元，且其中从与所述当前块相邻的块导出所述视差向量。
38.根据权利要求28所述的方法，其中所述视差向量包括零视差向量或全局视差向量中的一者。
39.根据权利要求28所述的方法，其中从深度视图分量导出所述视差向量。
40.一种包括可由设备的处理器执行的指令的计算机可读存储媒体，所述指令致使所述设备：
获得当前视图视频信息及参考视图视频信息；及
使用与当前视图的当前视频单元相关联的视差向量来识别第一时间实例中的参考视图的第一参考块；
使用所述参考视图的所述第一参考块和与所述当前视图的所述当前视频单元相关联的运动信息来识别不同于所述第一时间实例的第二时间实例中的所述参考视图的第二参考块；
使用与所述当前视图的所述当前视频单元相关联的所述运动信息来确定运动补偿块；
基于所述第二参考块和所述第一参考块之间的差乘以加权因子来确定残余预测块；以及
至少基于所述运动补偿块和所述残余预测块来译码所述当前视频单元。
41.根据权利要求40所述的计算机可读存储媒体，所述指令进一步致使所述设备：
编码通过从所述当前视频单元的残差减去所述残余预测块而获得的残差的差，其中所述当前视频单元的所述残差是通过从视频位流中的所述当前视频单元减去所述运动补偿块而获得的。
42.一种用于对数字视频进行译码的设备，所述设备包括：
用于获得当前视图视频信息及参考视图视频信息的装置；及
用于使用与当前视图的当前视频单元相关联的视差向量来识别第一时间实例中的参考视图的第一参考块的装置；
用于使用所述参考视图的所述第一参考块和与所述当前视图的所述当前视频单元相关联的运动信息来识别不同于所述第一时间实例的第二时间实例中的所述参考视图的第二参考块的装置；
用于使用与所述当前视图的所述当前视频单元相关联的所述运动信息来确定运动补偿块的装置；
用于基于所述第二参考块和所述第一参考块之间的差乘以加权因子来确定残余预测块的装置；以及
用于至少基于所述运动补偿块和所述残余预测块来译码所述当前视频单元的装置。
43.根据权利要求42所述的设备，其进一步包括：
用于编码通过从所述当前视频单元的残差减去所述残余预测块而获得的残差的差的装置，其中所述当前视频单元的所述残差是通过从视频位流中的所述当前视频单元减去所述运动补偿块而获得的。
CN201380048395.6A 2012-09-19 2013-09-18 多视图或3维视频译码中的高级视图间残差预测 Active CN104704833B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261703211P 2012-09-19 2012-09-19
US61/703,211 2012-09-19
US14/029,696 2013-09-17
US14/029,696 US9998727B2 (en) 2012-09-19 2013-09-17 Advanced inter-view residual prediction in multiview or 3-dimensional video coding
PCT/US2013/060424 WO2014047188A1 (en) 2012-09-19 2013-09-18 Advanced inter-view residual prediction in multiview or 3-dimensional video coding

Publications (2)

Publication Number Publication Date
CN104704833A CN104704833A (zh) 2015-06-10
CN104704833B true CN104704833B (zh) 2019-05-28

Family

ID=50274053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380048395.6A Active CN104704833B (zh) 2012-09-19 2013-09-18 多视图或3维视频译码中的高级视图间残差预测

Country Status (4)

Country Link
US (1) US9998727B2 (zh)
EP (1) EP2898692B1 (zh)
CN (1) CN104704833B (zh)
WO (1) WO2014047188A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
KR20140122673A (ko) * 2013-04-05 2014-10-20 삼성전자주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
WO2015168838A1 (en) * 2014-05-05 2015-11-12 Qualcomm Incorporated Aligning disparity vector for advanced residual prediction and inter-view motion prediction in3d-hevc
CN105393535B (zh) * 2014-06-24 2018-10-12 寰发股份有限公司 3d视频编码中的视图间先进残差预测方法
WO2015196364A1 (en) * 2014-06-24 2015-12-30 Mediatek Singapore Pte. Ltd. Methods for inter-view advanced residual prediction
US20170085886A1 (en) * 2015-09-18 2017-03-23 Qualcomm Incorporated Variable partition size for block prediction mode for display stream compression (dsc)
EP3379832A4 (en) * 2015-11-22 2019-04-17 LG Electronics Inc. -1- METHOD AND DEVICE FOR ENTROPY DECODING AND DECODING A VIDEO SIGNAL
WO2017192616A1 (en) 2016-05-06 2017-11-09 Vid Scale, Inc. Systems and methods for motion compensated residual prediction
EP3301930A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding an omnidirectional video
FR3058858A1 (fr) * 2016-11-15 2018-05-18 Orange Procede et dispositif de codage et de decodage d'une sequence multi-vues
US10425643B2 (en) 2017-02-04 2019-09-24 OrbViu Inc. Method and system for view optimization of a 360 degrees video
EP3370424A1 (en) * 2017-03-02 2018-09-05 Thomson Licensing A method and a device for picture encoding and decoding
CN110521207A (zh) * 2017-03-13 2019-11-29 韩国电子通信研究院 用于视频编码/解码的基于非典型块的运动预测和补偿的方法及其装置
US10506255B2 (en) * 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
CN107105297B (zh) * 2017-05-19 2019-08-30 华侨大学 一种针对3d-hevc深度图帧内预测编码的快速优化方法
US10687077B2 (en) * 2017-06-26 2020-06-16 Qualcomm Incorporated Motion information propagation in video coding
US10757442B2 (en) * 2017-07-05 2020-08-25 Qualcomm Incorporated Partial reconstruction based template matching for motion vector derivation
CN109257608B (zh) * 2017-07-13 2021-11-30 华为技术有限公司 图像处理方法、设备及系统
WO2019071001A1 (en) * 2017-10-05 2019-04-11 Interdigital Vc Holdings, Inc METHOD AND APPARATUS FOR ADAPTIVE LIGHTING COMPENSATION IN VIDEO ENCODING AND DECODING
US10764605B2 (en) * 2018-02-14 2020-09-01 Qualcomm Incorporated Intra prediction for 360-degree video
US10715810B2 (en) * 2018-02-20 2020-07-14 Qualcomm Incorporated Simplified local illumination compensation
CN108366242B (zh) * 2018-03-07 2019-12-31 绍兴文理学院 按视频内容自适应调整色度失真权重因子的视频压缩方法
EP3553748A1 (en) * 2018-04-10 2019-10-16 InterDigital VC Holdings, Inc. Deep learning based image partitioning for video compression
AU2019293670B2 (en) 2018-06-29 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Update of look up table: FIFO, constrained FIFO
GB2588006B (en) 2018-06-29 2023-03-22 Beijing Bytedance Network Tech Co Ltd Number of motion candidates in a look up table to be checked according to mode
MX2020013829A (es) 2018-06-29 2022-05-18 Beijing Bytedance Network Tech Co Ltd Poda parcial/total cuando se añade un candidato a hmvp para fusión/amvp.
TWI719523B (zh) 2018-06-29 2021-02-21 大陸商北京字節跳動網絡技術有限公司 哪個查找表需要更新或不更新
CN114885173A (zh) 2018-06-29 2022-08-09 抖音视界(北京)有限公司 Lut中的运动候选的检查顺序
SG11202013028PA (en) 2018-06-29 2021-01-28 Beijing Bytedance Network Technology Co Ltd Interaction between lut and amvp
TWI748202B (zh) 2018-07-02 2021-12-01 大陸商北京字節跳動網絡技術有限公司 Lamvr中取整和修剪的順序
CN114363610B (zh) 2018-08-29 2022-09-16 北京达佳互联信息技术有限公司 视频编码的方法、计算设备和存储介质
CN111064961B (zh) 2018-09-12 2023-06-09 北京字节跳动网络技术有限公司 视频处理方法和装置
WO2020056798A1 (zh) * 2018-09-21 2020-03-26 华为技术有限公司 一种视频编解码的方法与装置
KR102648159B1 (ko) 2019-01-10 2024-03-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut 업데이트의 호출
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN113330739A (zh) 2019-01-16 2021-08-31 北京字节跳动网络技术有限公司 Lut中的运动候选的插入顺序
CN113615193A (zh) 2019-03-22 2021-11-05 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
WO2020207493A1 (en) * 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Transform coding based on matrix-based intra prediction
KR20210145757A (ko) 2019-04-16 2021-12-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 코딩 모드에서의 행렬 도출
FI3944618T3 (fi) * 2019-04-16 2024-01-11 Lg Electronics Inc Muunnos matriisipohjaista intraennustusta varten kuvan koodauksessa
JP2022531147A (ja) 2019-05-01 2022-07-06 北京字節跳動網絡技術有限公司 フィルタリングを用いた行列ベースイントラ予測
WO2020221372A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Context coding for matrix-based intra prediction
WO2020227892A1 (en) * 2019-05-13 2020-11-19 Alibaba Group Holding Limited Non-local intra block copy and parallel coding for motion prediction
CN117412039A (zh) 2019-05-22 2024-01-16 北京字节跳动网络技术有限公司 使用上采样的基于矩阵的帧内预测
EP3959876A4 (en) 2019-05-31 2022-06-29 Beijing Bytedance Network Technology Co., Ltd. Restricted upsampling process in matrix-based intra prediction
WO2020244610A1 (en) 2019-06-05 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Context determination for matrix-based intra prediction
WO2021083188A1 (en) 2019-10-28 2021-05-06 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling and parsing based on colour component
US11418810B2 (en) * 2020-09-21 2022-08-16 Tencent America LLC Methods of inter picture motion prediction for multi-view video compression
WO2023050072A1 (en) * 2021-09-28 2023-04-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Methods and systems for video compression

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101292538A (zh) * 2005-10-19 2008-10-22 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100823287B1 (ko) * 2007-01-03 2008-04-21 삼성전자주식회사 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
US8488677B2 (en) * 2007-04-25 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal
US10298952B2 (en) 2007-08-06 2019-05-21 Interdigital Madison Patent Holdings Methods and apparatus for motion skip move with multiple inter-view reference pictures
CN101911700A (zh) * 2008-01-11 2010-12-08 汤姆逊许可证公司 视频和深度编码
CN101562745B (zh) * 2008-04-18 2012-07-04 华为技术有限公司 一种多视点视频图像编码和解码的方法及装置
JP5747559B2 (ja) * 2011-03-01 2015-07-15 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム
US20140104383A1 (en) * 2011-06-22 2014-04-17 Sony Corporation Image processing device and method
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
IN2014CN01784A (zh) * 2011-08-30 2015-05-29 Nokia Corp
EP3739886A1 (en) 2011-11-18 2020-11-18 GE Video Compression, LLC Multi-view coding with efficient residual handling
WO2013107931A1 (en) 2012-01-19 2013-07-25 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101292538A (zh) * 2005-10-19 2008-10-22 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Test Model under Consideration for HEVC based 3D video coding v3.0;ANONYMOUS;《100. MPEG MEETING,2012-4-30~2012-5-4》;20120601;正文2.2.1，2.2.3，.2.2.5节，图1，4,5

Also Published As

Publication number Publication date
CN104704833A (zh) 2015-06-10
US20140078250A1 (en) 2014-03-20
US9998727B2 (en) 2018-06-12
EP2898692B1 (en) 2023-10-25
EP2898692C0 (en) 2023-10-25
WO2014047188A1 (en) 2014-03-27
EP2898692A1 (en) 2015-07-29

Similar Documents

Publication Publication Date Title
CN104704833B (zh) 多视图或3维视频译码中的高级视图间残差预测
CN104737537B (zh) 用于译码数字视频的设备、解码视频的方法、编码视频的方法及计算机可读存储媒体
CN104521237B (zh) 用于可缩放视频译码及3d视频译码的多假设运动补偿
CN105723707B (zh) 用于视频译码的色彩残差预测
CN104685883B (zh) 用于3d视频的经视图间预测运动向量
CN105393536B (zh) 使用位移向量从预测性块的帧内预测
CN105580365B (zh) 处理视频数据的方法、装置及存储媒体
CN106105204B (zh) 在颜色空间变换译码中修改位深度
CN104170380B (zh) 视频译码中的视差矢量预测
CN105284113B (zh) 分量间滤波
CN104396243B (zh) 用于视频压缩的自适应上取样滤波器
CN103959775B (zh) 一种视频数据编解码的方法及设备
CN104025602B (zh) 三维视频译码中用信号通知视图合成预测支持
CN106464918B (zh) 用信号表示用于位流分区的hrd参数
CN110100436A (zh) 使用导出色度模式译码视频数据
CN104756499B (zh) 用于视频译码的方法、设备及计算机可读存储媒体
CN104365106B (zh) 发信用于视频译码的长期参考图片的数据
CN105794211B (zh) 一种编解码视频数据的方法、装置及可读存储媒体
CN104584557B (zh) 对视频数据进行编码、解码的方法、装置以及计算机可读介质
CN104604224B (zh) 可缩放视频译码中的变换基底调整
CN109792531A (zh) 用于视频译码的运动向量译码
CN103947205B (zh) 帧内模式译码中的参考模式选择
CN106664425A (zh) 视频译码中的跨分量预测
CN104126301B (zh) 在视频译码中使用码簿对环路滤波器参数进行译码
CN109565599A (zh) 使用解耦树结构的视频内译码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant