CN105379288B - 处理对视频译码的照明补偿 - Google Patents

处理对视频译码的照明补偿 Download PDF

Info

Publication number
CN105379288B
CN105379288B CN201480039960.7A CN201480039960A CN105379288B CN 105379288 B CN105379288 B CN 105379288B CN 201480039960 A CN201480039960 A CN 201480039960A CN 105379288 B CN105379288 B CN 105379288B
Authority
CN
China
Prior art keywords
current block
illumination compensation
arp
block
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480039960.7A
Other languages
English (en)
Other versions
CN105379288A (zh
Inventor
张莉
陈颖
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105379288A publication Critical patent/CN105379288A/zh
Application granted granted Critical
Publication of CN105379288B publication Critical patent/CN105379288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

在一个实例中，一种用于译码(例如编码或解码)视频数据的装置包含：存储器，其经配置以存储视频数据；以及视频译码器，其经配置以确定所述视频数据的当前块的高级残差预测ARP加权因子的值，且在所述ARP加权因子的所述值不等于零时，跳过所述当前块的照明补偿语法元素的译码，且译码所述当前块。所述视频译码器可进一步经配置以在所述ARP加权因子的值等于零时，译码所述当前块的所述照明补偿语法元素，且至少部分地基于所述照明补偿语法元素的所述值来译码所述当前块。

Description

处理对视频译码的照明补偿
本申请案主张2013年7月16日申请的第61/846,985号美国临时申请案的权益，其整个内容特此以引用的方式并入本文中。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效视频译码(HEVC)标准及这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此些视频译码技术而更有效地发射、接收、编码、解码和/或存储数字视频信息。
视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(例如，视频帧或视频帧的一部分)可分割成视频块，视频块还可被称作树块、译码单元(CU)和/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其他参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。
空间或时间预测导致待译码块的预测性块。残差数据表示待译码原始块与预测性块的间的像素差。经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性块之间的差的残差数据来编码。经帧内译码块是根据帧内译码模式和残差数据而编码。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数，接着可将残差变换系数量化。可扫描起初按二维阵列布置的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
发明内容
一般来说，本发明描述与译码当前视频数据块的预测模式(例如发信号通知和接收指示所述预测模式的信号)有关的技术。可使用时间帧间预测、视图间预测、高级残差预测或照明补偿来预测经帧间预测块。然而，照明补偿和高级残差预测不是一起使用的。因此，本发明提出当高级残差预测加权因子具有非零值时，不发信号通知指示照明补偿是否用于当前块的语法元素(例如旗标)，其有效地指示高级残差预测用于当前块。
在一个实例中，一种解码视频数据的方法包含：确定当前块的高级残差预测(ARP)加权因子的值；且当ARP加权因子的值不等于零时，跳过用于当前块的照明补偿语法元素的解码；以及解码当前块。所述方法可进一步包含：当ARP加权因子的值等于零时，解码当前块的照明补偿语法元素；以及至少部分地基于照明补偿语法元素的值来解码当前块。
在另一实例中，一种编码视频数据的方法包含：确定当前块的高级残差预测(ARP)加权因子的值；且当ARP加权因子的值不等于零时，跳过用于当前块的照明补偿语法元素的编码；以及编码当前块。所述方法可进一步包含：当ARP加权因子的值等于零时，编码当前块的照明补偿语法元素；以及至少部分地基于照明补偿语法元素的值来编码当前块。
在另一实例中，一种用于译码(例如编码或解码)视频数据的装置包含：存储器，其经配置以存储视频数据；以及视频译码器，其经配置以确定视频数据的当前块的高级残差预测(ARP)加权因子的值，且当所述ARP加权因子的值不等于零时，跳过当前块的照明补偿语法元素的译码且译码当前块。所述视频译码器可进一步经配置以在ARP加权因子的值等于零时，译码当前块的照明补偿语法元素，且至少部分地基于照明补偿语法元素的值来译码当前块。
在另一实例中，一种用于译码视频数据的装置包含：用于确定当前块的高级残差预测(ARP)加权因子的值的装置；用于在所述ARP加权因子的值不等于零时跳过当前块的照明补偿语法元素的译码的装置；以及用于在ARP加权因子的值不等于零时译码当前块的装置。所述装置可进一步包含：用于在ARP加权因子的值等于零时译码当前块的照明补偿语法元素的装置；以及用于在ARP加权因子的值等于零时至少部分地基于照明补偿语法元素的值来译码当前块的装置。
在另一实例中，一种计算机可读存储媒体(例如非暂时性计算机可读存储媒体)上面存储有指令，所述指令在被执行时，致使用于译码视频数据的装置的处理器：确定当前块的高级残差预测(ARP)加权因子的值；且当所述ARP加权因子的值不等于零，跳过当前块的照明补偿语法元素的译码，且译码当前块。所述计算机可读存储媒体可进一步包含致使所述处理器在ARP加权因子的值等于零时译码当前块的照明补偿语法元素且至少部分地基于所述照明补偿语法元素的值译码当前块的指令。
一或多个实例的细节在附图和以下描述中阐述。其它特征、目标和优点将从描述和图式，且从所附权力要求书明白。
附图说明
图1是说明可利用用于发信号通知照明补偿的技术的实例视频编码和解码系统的框图。
图2是说明可实施用于发信号通知照明补偿的技术的视频编码器的实例的框图。
图3是说明可实施用于发信号通知照明补偿的技术的视频解码器的实例的框图。
图4是说明实例MVC预测模式的概念图。
图5是说明当前预测单元(PU)与其空间相邻PU之间的关系的概念图。
图6是按输出次序说明视频帧的预测结构的概念图。
图7是根据高效视频译码(HEVC)的网络抽象层(NAL)单元标头的概念图。
图8是说明可用于照明补偿参数的导出的相邻样本的概念图。
图9是说明用于高级残差预测(ARP)的技术的概念图。
图10是说明在双向预测的情况下，当前块、参考块和经运动补偿的块之间的关系的概念图。
图11是说明ARP的进一步改进的概念图。
图12是说明根据本发明的技术的用于编码块的实例方法的流程图。
图13是说明根据本发明的技术的用于解码块的实例方法的流程图。
具体实施方式
本发明的技术通常涉及基于高级编解码器的多层(例如多视图)视频译码，例如包含用3D-HEVC(高效视频译码)编解码器来译码两个或更多个视图。举例来说，本发明描述与照明补偿模式的发信号通知连同高级残差预测模式的发信号通知有关的技术。
一般来说，视频译码(编码或解码)涉及利用个别图片内和视频数据的单独图片之间的冗余来压缩位流。举例来说，帧内预测，还被称作空间预测，涉及使用相邻经先前译码块的像素来预测图片的块。时间帧间预测涉及使用经先前译码图片的参考块来预测图片的块。层间预测涉及在假定位流包含多个视频数据层的情况下，使用不同层中的经先前译码图片的数据来预测图片的块。在多视图视频数据的情况下，不同层可对应于不同视图，例如可用于为观看者产生三维效果的场景的相机视角的不同水平定位。
可使用各种层间预测技术来预测视频数据块。举例来说，可使用识别层间参考图片中的参考块的视差运动向量来预测视频数据块。照明补偿是涉及视图间预测的另一技术。一般来说，照明补偿涉及使用线性等式来操控视差运动向量所识别的参考块的像素值，所述线性等式的参数是基于当前块得相邻样本(像素)和参考块的相邻样本来确定。
作为又一实例，高级残差预测是在预测当前块时利用视差向量(或视差运动向量)和时间运动向量两者的技术。一般来说，视差向量识别参考视图中的块，且将时间运动向量应用于当前块以识别当前视图中的参考块，且应用于参考视图中的块以识别参考视图中的第二参考块。或者，可通过将视差向量应用于第一参考块来识别第二参考块。视频译码器可将加权因子应用于第二参考块与参考视图中的块之间的差异，其中所述加权因子可为值0、0.5或1，且接着讲此经加权值(逐像素)添加到第一参考块，以产生当前块的经预测块。当所述加权因子等于0时，不使用高级残差预测来预测当前块，因为所有经加权值均被指派值0。假定加权因子不等于零，第一参考块和第二参考块两者均用以计算当前块的经预测块。
如下文更详细地描述，本发明通常描述用于发信号通知与当前块的预测有关的数据的技术。举例来说，可为当前块译码旗标或其它语法元素，其指示是使用例如常规视图间预测、高级残差预测还是照明补偿来预测当前块。更明确而言，本发明认识到如果不使用高级残差预测来预测当前块，那么将仅针对当前块执行照明补偿。在一些实例中，如果高级残差预测的加权因子等于零，那么仅为当前块译码(例如发信号通知)指示是否将针对当前块执行照明补偿的旗标。换句话说，在一些实例中，如果高级残差预测的加权因子不等于零，那么不为当前块译码(例如发信号通知)指示是否将针对当前块执行照明补偿的旗标。
如上文所解释，等于零的加权因子值指示不使用高级残差预测，且因此，在高级残差预测的加权因子值等于零的情况下，可使用照明补偿来预测当前块。加权因子值的非零值(例如值0.5或1.0)可指示不发信号通知(因此，将不译码)照明补偿旗标。因此，高级残差预测的加权因子的非零值可指示位流中不存在照明补偿旗标。
因此，根据本发明的技术，视频译码器(例如视频编码器或视频解码器)可经配置以确定当前块的高级残差预测的加权因子的值。如果加权因子具有值零，那么视频编码器可确定编码当前块的照明补偿语法元素的值，使得照明补偿语法元素的所述值指示视频编码器是否确定使用照明补偿来编码当前块。也就是说，当视频编码器确定不使用ARP来预测正编码的块(使得ARP加权因子具有值零)时，视频编码器可编码照明补偿语法元素。类似地，视频解码器可确定当当前块的加权因子具有值零时，将发信号通知照明补偿语法元素，且因此，可确定是否使用照明补偿来基于照明补偿语法元素预测当前块。另一方面，如果加权因子具有非零值，那么视频编码器可跳过照明补偿语法元素的编码，使得照明补偿语法元素并不形成位流的一部分。也就是说，当视频编码器选择使用ARP来预测正编码的块(使得ARP加权因子具有非零值)时，视频编码器可跳过照明补偿语法元素的编码。同样地，视频解码器可确定当加权因子具有非零值时，位流中将不存在用于当前块的照明补偿语法元素，并且因此推断(即，确定而不接收显式信令)不使用照明补偿来预测当前块。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IECMPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉和ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。H.264的MVC扩展描述于2010年3月的“用于通用视听服务的高级视频译码”(ITU-T建议H.264)中。
一般来说，2D视频译码(例如视频编码或视频解码)技术包含基于块的译码技术。基于块的译码包含预测块，不管是通过帧间预测(也被称作时间预测)还是帧内预测(也被称作空间预测)。在帧内预测中，视频译码器(例如视频编码器或视频解码器)从相邻的经先前译码像素(也被称作“样本”)预测当前块。在帧间预测中，视频译码器使用一或多组运动参数(其可包含一或多个相应运动向量)来从经先前译码图片预测当前块。
在HEVC中，存在用于预测运动参数的两种模式：一种是合并模式，且另一种是高级运动向量预测(AMVP)。在合并模式下，构建运动参数(预测方向、参考图片和运动向量)的候选列表，其中候选者可选自空间和时间相邻块。视频编码器可通过将索引发射到候选者列表来发信号通知选定运动参数。在解码器侧，一旦索引被解码，索引所指向的对应块的所有运动参数将由当前块继承。
在AMVP中，基于经译码参考索引导出针对每一运动假设的运动向量预测符的候选者列表。此列表包含与相同参考索引相关联的相邻块的运动向量以及基于时间参考图片中处于相同位置的块的相邻块的运动参数导出的时间运动向量预测符。选定的运动向量是通过发射到候选者列表中的索引来发信号通知。另外，发信号通知参考索引值和运动向量差。下文将更详细地描述运动数据压缩方法。
还可使用时间运动向量预测(TMVP)来预测运动向量。为了获得当前块的运动向量的时间运动向量预测符，视频译码器可首先识别与包含当前块的当前图片位于同一地点的图片。如果当前图片是B切片(即，切片包含经双向预测的块)，可在包含当前块的切片的切片标头中用信号通知collocated_from_l0_flag，以指示所述位于同一地点的图片是来自RefPicList0或RefPicList1。另外，对于B切片，在已经构建最终参考图片列表(RefPicList0和RefPicList1)之后构建组合列表(RefPicListC)。如果针对所述组合列表存在参考图片列表修改语法，那么可进一步修改所述组合列表。
在视频译码器识别参考图片列表之后，视频译码器可使用在切片标头中发信号通知的collocated_ref_idx来在列表中的图片中识别所述图片。视频译码器可接着通过检查位于同一地点的图片来识别位于同一地点的PU。出于TMVP的目的，位于同一地点的PU的右下PU的运动或位于同一地点的PU的中心PU的运动用作预测符。
当视频译码器使用以上过程所识别的运动向量来产生AMVP或合并模式的运动候选者时，视频译码器可基于时间位置(由图片次序计数(POC)值反映)，按比例缩放运动候选者的运动向量预测符。
在HEVC中，图片参数集合(PPS)包含旗标enable_temporal_mvp_flag。当具有等于0的temporal_id的特定图片是指具有等于0的enable_temporal_mvp_flag的PPS时，将经解码图片缓冲器(DPB)中的所有参考图片标记为“不用于时间运动向量预测”，且来自按解码次序在所述特定图片之前的图片的运动向量将不会在解码所述特定图片或按解码次序在所述特定图片之后的图片中用作时间运动向量预测符。
本发明的技术通常与发信号通知3D-HEVC中的照明补偿模式有关，但这些技术可在其它视频译码标准和/或其它视频译码标准的扩展中实施。下文相对于图7到10更详细地描述3D-HEVC中的照明补偿模式。在本发明之前，3D-HEVC中的照明补偿模式可具有以下问题：
-在ARP的设计中，当用ARP来译码译码单元(CU)(即，发信号通知具有不等于0的值的ARP加权因子)时，照明补偿的存在(ic_flag)可为冗余的，例如因为当前CU可不通过视图间参考图片来预测。
-ARP还可应用于视图间预测，如在2013年6月21日申请的第61/838，208号美国临时申请案和2013年7月14日申请的第61/846,036号美国临时申请案中。在此情况下，不考虑ARP加权因数与ic_flag之间的关系，且因此当存在时，ic_flag可为冗余的。
-照明补偿的使用的控制是在切片等级。因此，当整个序列并不使用照明补偿时，多个位可能浪费。
此外，本发明认识到，一般来说，ARP和照明补偿不一起(即，在同一块上一起)执行。因此，当执行ARP时(例如当ARP加权因子具有非零值时)，不必发信号通知照明补偿语法元素。同样地，当不执行ARP时(例如当ARP加权因子具有值零时)，可发信号通知照明补偿语法元素。
根据本发明的实例的技术在被实施时，可克服将照明补偿(IC)应用于视差运动补偿时以及当考虑ARP是否适用于当前块(例如当前CU)时的这些问题中的任一者或全部。本发明的技术的每一方面可隔离或结合任何其它方面而使用。
图1是说明可利用用于发信号通知照明补偿的技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含源装置12，其提供稍后将由目的地装置14解码的经编码的视频数据。确切地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括各种各样裝置中的任一者，包含桌上型计算机、笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智慧型”电话)、平板机、电视机、相机、显示元件、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，源装置12和目的地装置14可经装备以用于无线通信。源装置12和目的地装置14可包含用以存储视频数据的存储器，例如视频编码器20和视频解码器30内的相应存储器和/或视频编码器20和视频解码器30外部的存储器，例如经译码图像缓冲器和用以存储原始、未经译码的数据(对于源装置12)或经解码数据(对于目的地装置14)的缓冲器。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够使经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编码的视频数据直接发射到目的地装置14的通信媒体。经编码的视频数据可根据通信标准(例如无线通信协议)来调制，并且被发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线路。通信媒体可能形成基于分组的网络(例如局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源装置12到目的地装置14的通信的设备。
在一些实例中，经编码数据可从输出接口22输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取式数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或另一可存储源装置12产生的经编码视频的中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取经存储的视频数据。文件服务器可为能够存储经编码视频数据并将经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。此可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置的传输可为流式传输、下载传输或其组合。
本发明的技术不必限于无线应用或设定。所述技术可以应用于视频译码并且支持多种多媒体应用中的任一者，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网串流视频发射(例如动态自适应HTTP串流(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于发信号通知照明补偿的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而非包括集成式显示装置。
图1的所说明的系统10仅为一个实例。用于发信号通知照明补偿的技术可由任何数字视频编码和/或解码装置来执行。尽管本发明的技术总体上通过视频编码装置或视频解码装置来执行，但是所述技术还可通过视频编码器/解码器(通常被称作“CODEC”)执行。此外，本发明的技术还可通过视频预处理器来执行。源装置12和目的地装置14仅为此类译码装置的实例，其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中，装置12、14可以大体上对称的方式操作，使得装置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频传输以例如用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频捕获装置，例如摄像机、含有先前所捕获视频的视频存档和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、所存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18是摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提到，本发明中所描述的技术可一般适用于视频译码，且可应用于无线和/或有线应用。在每一情况下，可由视频编码器20编码所捕获、预先捕获或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含暂时性媒体，例如无线广播或有线网络发射，或存储媒体(也就是说，非暂时存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，并且例如经由网络传输将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可从源装置12接收经编码视频数据并且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含通过视频编码器20定义的语法信息，所述语法信息还由视频解码器30使用，包含描述块和其它经译码单元(例如GOP)的特性和/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可根据例如高效率视频译码(HEVC)标准等视频译码标准操作，并且可符合HEVC测试模型(HM)。视频编码器20和视频解码器30还可根据视频译码标准的一或多个扩展来操作，例如可伸缩视频译码和/或多视点视频译码扩展，例如可按比例缩放HEVC(SHVC)、三维HEVC(3D-HEVC)或多视点HEVC(MV-HEVC)。或者，视频编码器20和视频解码器30可以根据其它专有或业界标准操作，所述标准例如ITU-T H.264标准，或者被称作MPEG-4第10部分高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-T H.263。尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器合解码器集成，且可包含适当MUX-DEMUX单元或其它硬件和软件以处置对共同数据流或单独数据流中的音频和视频两者的编码。如果适用，那么MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
ITU-T H.264/MPEG-4(AVC)标准是作为被称为联合视频小组(JVT)的集体联盟的产品而由ITU-T视频译码专家组(VCEG)连同ISO/IEC移动图片专家组(MPEG)制定。在一些方面中，本发明中描述的技术可应用于一般符合H.264标准的装置。H.264标准描述于ITU-T研究组的日期为2005年3月的“ITU-T建议H.264，用于通用视听服务的高级视频译码(ITU-TRecommendation H.264,Advanced Video Coding for generic audiovisual services)”中，所述标准在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频小组(JVT)持续致力于扩展H.264/MPEG-4AVC。
视频编码器20和视频解码器30各自可实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合等多种合适编码器电路中的任一者。当部分地以软件实施所述技术时，装置可将用于所述软件的指令存储于合适的非暂时计算机可读媒体中且使用一或多个处理器以硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可以集成为相应装置中的组合编码器/解码器(编码解码器)的部分。
JCT-VC已开发且持续细化和展开HEVC标准。所述HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的进化的模型。HM假设视频译码装置根据例如ITU-TH.264/AVC相对于现有装置的几项额外能力。举例来说，虽然H.264提供九种帧内预测编码模式，但HM可提供多达三十三种帧内预测编码模式。
一般来说，HM的工作模型描述视频帧或图像可划分成包含明度及色度样本两者的序列树块或最大译码单元(LCU)(还被称作“译码树单元”)。位流内的语法数据可界定LCU(就像素数目来说，其为最大译码单元)的大小。切片包含按译码顺序的多个连续树块。视频帧或图片可分割成一或多个切片。每一树块可根据四叉树分裂成译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中根节点对应于树块。如果CU分割成四个子CU，那么对应于CU的节点包含四个叶节点，所述叶节点中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，从而指示对应于所述节点的所述CU是否分裂成子CU。CU的语法元素可递归地定义，且可取决于所述CU是否分裂成子CU。如果CU不进一步分裂，那么将其称作叶CU。在本发明中，叶CU的四个子CU也将被称作叶CU，即使不存在原始叶CU的明确分裂时也是如此。举例来说，如果16×16大小的CU未经进一步分裂，那么尽管16×16CU从未经分裂，四个8×8子CU也将被称作叶CU。
除了CU不具有大小区别以外，CU具有与H.264标准的宏块类似的目的。举例来说，树块可分裂成四个子节点(还称为子CU)，并且每一子节点又可为父节点并且可分裂成另外四个子节点。最后的未经分裂子节点(被称作四叉树的叶节点)包括译码节点，还被称作叶CU。与经译码位流相关联的语法数据可定义树块可分裂的最大次数(被称作最大CU深度)，并且还可定义译码节点的最小大小。因此，位流还可定义最小译码单位(SCU)。本发明使用术语“块”来指HEVC的情况下的CU、PU或TU中的任一者，或其它标准的情况下的类似数据结构(例如，其在H.264/AVC中的宏块和子块)。
CU包含译码节点以及与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可从8x8像素到具有最大64x64像素或更大的树块的大小变动。每一CU可含有一或多个PU以及一或多个TU。与CU相关联的语法数据可描述例如将CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。TU可为正方形或非正方形(例如，矩形)形状。
HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而确定，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残差样本可使用被称为“残差四叉树”(RQT)的四叉树结构而细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生可经量化的变换系数。
叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于对应CU的全部或一部分的空间区域，且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可包含在残差四分树(RQT)中，残差四分树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的一或多个运动向量的数据。举例来说，定义PU的运动向量的数据可描述运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
具有一或多个PU的叶CU还可包含一或多个变换单位(TU)。变换单元可使用RQT(也称为TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可指示叶CU是否分裂成四个变换单元。接着，每一变换单元可进一步分裂成其它子TU。当TU未进一步分裂时，其可被称作叶TU。总体上，对于帧内译码，所有属于一个叶CU的叶TU共享相同的帧内预测模式。也就是说，总体上应用相同帧内预测模式来计算叶CU的所有TU的预测符。对于帧内译码，视频编码器可使用帧内预测模式针对每一叶TU计算残差值，作为CU的对应于TU的部分与原始块之间的差。TU不必限于PU的大小。因而，TU可比PU大或小。对于帧内译码，PU可与同一CU的对应叶TU并置。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。
此外，叶CU的TU还可与相应的四分树数据结构(被称作残差四分树(RQT))相关联。就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点总体上对应于叶CU，而CU四叉树的根节点总体上对应于树块(或LCU)。未经分裂的RQT的TU被称作叶TU。一般来说，除非另有指出，否则本发明分别使用术语CU和TU来指叶CU和叶TU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)通常包括一系列视频图片中的一或多者。GOP可包含描述GOP中所包含的图片的数目的GOP的标头中、图片中的一或多者的标头中或别处的语法数据。图片的每一切片可包含切片语法数据，其描述用于相应切片的编码模式。视频编码器20通常对个别视频切片内的视频块进行操作以便对视频数据进行编码。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，并且可根据指定译码标准而有不同大小。
作为实例，HM支持各种PU大小的预测。假定特定CU的大小为2Nx2N，那么HM支持2Nx2N或NxN的PU大小的帧内预测，和2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中，CU的一个方向不分割，而另一方向分割成25％和75％。CU的对应于25％分区的部分通过“n”、后面接续“上”、“下”、“左”或“右”指示来指示。因此，例如，“2NxnU”是指水平地分割的2Nx2N CU，其中顶部为2Nx0.5N PU，而底部为2Nx1.5N PU。
在本发明中，“N×N”与“N乘N”可互换使用以指依据垂直尺寸及水平尺寸来说的视频块的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16x16块将在垂直方向上具有16个像素(y＝16)，并且在水平方向上具有16个像素(x＝16)。同样地，NxN块总体上在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行和列。此外，块未必需要在水平方向上与在竖直方向上具有相同数目个像素。举例来说，块可包括NxM像素，其中M未必等于N。
在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可计算用于CU的TU的残差数据。PU可包括描述在空间域(也称为像素域)中产生预测性像素数据的方法或模式的语法数据，且TU可包括在对残差视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后在变换域中的系数。所述残差数据可对应于未编码图片的像素与对应于PU的预测符之间的像素差。视频编码器20可形成包含用于CU的残差数据的TU，并且随后变换TU以产生用于CU的变换系数。
在进行用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化通常是指量化变换系数以尽可能地减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些系数或全部相关联的位深度。例如，n位值可在量化期间被下舍入到m位值，其中n大于m。
在量化之后，视频编码器可扫描变换系数，从包含经量化的变换系数的二维矩阵产生一维向量。所述扫描可经设计以将较高能量(并且因此较低频率)的系数放置在阵列的前面，并且将较低能量(并且因此较高频率)的系数放置在阵列的后面。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维向量进行熵编码。视频编码器20还可对与经编码的视频数据相关联的语法元素进行熵编码以供视频解码器30在对视频数据解码时使用。
为执行CABAC，视频编码器20可向待发射的符号指派上下文模型内的上下文。举例来说，所述上下文可涉及符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可构建为使得相对短的代码对应于更有可能的符号，而较长的代码对应于不太可能的符号。以此方式，使用VLC可相比于例如对待发射的每一符号使用等长码字而实现位节省。概率确定可基于指派给符号的上下文。
根据本发明的技术，视频译码器，例如视频编码器20或视频解码器30，可经配置以执行改进的照明补偿。在一个实例中，当针对一个切片启用ARP和照明补偿两者且当前译码单元(CU)经帧间译码时，ic_flag的发信号通知可取决于为ARP而发信号通知的加权因子的值。当不发信号通知ic_flag时，视频译码器可始终假定针对当前CU停用照明补偿。当不为切片的任何CU发信号通知ic_flag时，视频译码器可停用对当前切片的照明补偿，且因此如果通过检查切片或较高层级中的语法元素(例如当前图片是否为帧内随机存取图片(IRAP))而确定以上事实，那么可无需发信号通知slice_ic_enable_flag。
在一个实例中，视频译码器，例如视频编码器20或视频解码器30，通常确定当前块(例如当前CU)的高级残差预测(ARP)加权因子的值。视频编码器20例如可确定ARP是否将用以编码CU的至少一部分(例如PU)。举例来说，视频编码器20可执行速率失真分析，以确定当编码CU的一部分时，ARP是否得出基础速率失真度量，如果是，那么可使用ARP来编码CU的所述部分。使用ARP来编码CU的所述部分可包含将非零值指派给ARP加权因子，例如0.5或1.0。作为另一实例，视频解码器30可为当前CU的ARP加权因子确定发信号通知的值，且基于ARP加权因子的值来确定位流中是否存在照明补偿语法元素(即，是否将接收到照明补偿语法)。
视频译码器可译码当前CU的照明补偿语法元素(例如ic_flag)，且当ARP加权因子的值等于零时(或更一般地说，ARP是否用以预测当前CU)，至少部分地基于照明补偿语法元素的值来译码当前CU。如本文中所阐释，照明补偿和ARP通常不一起执行。也就是说，如果视频译码器使用ARP来译码块，那么视频译码器将很可能也不使用照明补偿来译码所述块，且同样地，如果视频译码器使用照明补偿来译码所述块，那么视频译码器将很可能也不使用ARP来译码所述块。因此，如果ARP不用以译码所述块(例如如由ARP加权因子的值零证明)，那么视频译码器可译码(例如发信号通知或解码)照明补偿语法元素，例如ic_flag，其指示是否使用照明补偿。类似地，如果使用ARP(例如如由ARP加权因子的非零值证明)，那么视频译码器可省略(即，不执行或制止)译码照明补偿语法元素。
举例来说，当不使用ARP时(例如当ARP加权因子具有值零时)，视频编码器20可编码照明补偿语法元素的值。如果视频编码器20确定使用照明补偿来译码所述块(例如基于速率失真度量，如上文所解释)，视频编码器20可发信号通知照明补偿语法元素的值，其指示使用照明补偿，且此外，视频编码器20可使用照明补偿来编码所述块。类似地，视频解码器30可确定当ARP加权因子具有值零时将存在于位流中的照明补偿语法元素。
另一方面，如果ARP加权因子的值不等于零，那么视频译码器可跳过当前块的照明补偿语法元素的译码，且例如使用ARP来译码当前块。视频编码器20可通过(例如)不将照明补偿语法元素插入位流中来跳过照明补偿语法元素的编码。同样地，视频解码器30可确定当所述块的ARP加权因子具有非零值(例如值0.5或1.0)时，位流中将不存在照明补偿语法元素。
在一个实例中，当当前CU的ARP加权因子不等于0时，视频译码器并不发信号通知/解码ic_flag。在一个实例中，在且仅在所有以下条件均为真的情况下才发信号通知ic_flag：
a.为当前CU的ARP发信号通知的加权因子等于0；以及
b.以下各项中的至少一者为真(等效于在当前3D-HEVC中，icEnableFlag等于1)：
i.以合并模式译码当前PU(以2Nx2N译码)，且(slice_ic_disable_merge_zero_idx_flag等于0，或合并索引不等于0)；或
ii.用AMVP模式来译码(用2Nx2N译码)当前PU，或对应于RefPicList0和RefPicList1的参考索引对应于视图间参考图片。
c.或者，或另外，当前图片是IRAP图片。
在一个实例中，视频译码器基于ARP加权因子以及当前图片是否为IRAP图片，但不基于是用合并还是AMVP来译码当前CU且不基于合并索引，来发信号通知/解码ic_flag。各种实例包含：
a.在且仅在当前译码单元(CU)的ARP加权因子等于0且当前图片为IRAP图片的情况下，ic_flag才由编码器发信号通知，且由解码器解码。
b.或者，在且仅在当前译码单元(CU)的ARP加权因子等于0且当前图片具有等于1的slice_ic_disable_merge_zero_idx_flag的情况下，ic_flag才由编码器发信号通知，且由解码器解码。
c.或者，在且仅在当前译码单元(CU)的ARP加权因子等于0且用跳过模式来译码当前CU的情况下，照明补偿语法元素由编码器发信号通知，且由解码器解码。
d.或者，在且仅在当前译码单元(CU)的ARP加权因子等于0且当前CU仅具有一个分区(即，分割模式等于PART_2Nx2N)的情况下，照明补偿语法元素才由编码器发信号通知且由解码器解码。
在一个实例中，在且仅在当前CU的ARP加权因子等于0的情况下，视频译码器才发信号通知/解码ic_flag。在此情况下，当当前图片为IRAP图片且不发信号通知ARP加权因子时，可推断加权因子针对当前CU为0。
或者，或另外，甚至可针对IRAP图片发信号通知/解码ARP加权因子。因此，当此加权因子不等于0时，其指示照明补偿模式的停用，且无ic_flag需要发信号通知。然而，在此情况下，即使ARP加权因子为非零，如果解码过程未找到恰当的运动向量、视差向量或视差运动向量，或未找到恰当的相关图片，那么针对当前PU而停用高级残差预测。因此，可以与其中ARP加权因子等于0的情况相同的方式来解码PU。因此，此处，发信号通知ARP加权因子的主要目的可为停用ic_flag的发信号通知。
可在视频参数集(VPS)、序列参数集(SPS)和/或图片参数集合(PPS)中添加旗标，来指示每一层或所有层的IC的利用率。
下文相对于表1到4更详细地描述本发明的技术。已使用[去除：“”]来识别与当前3D-HEVC工作草案相比的删除，且新添加的部分是斜体的。表1表示译码单元的经修改语法表的实例。
表1
表2表示译码单元的经修改语法表的替代实例。
表2
另外或替代地，可如下文在表3中示出那样修改一般切片标头语法，其中照明补偿可仅应用于IRAP图片：
表3
在此实例中，可改变表3的以下语义，如下文所示：
[去除：“当merge_flag等于1且译码单元的第一预测单元的merge_idx等于0时，等于1的slice_ic_disable_merge_zero_idx_flag指定当前切片的译码单元中不存在ic_flag。当merge_flag等于1且译码单元的第一预测单元的merge_idx等于0时，等于0的slice_ic_disable_merge_zero_idx_flag指定当前切片的译码单元中可存在ic_flag。当不存在时，推断slice_ic_disable_merge_zero_idx_flag将等于0。[Ed.GT)：代替术语第一预测单元]”]
另外，或在表3中所示的修改的替代方案中，可如下文相对于表4所论述而修改译码单元语法和语义。
表4
可如下文所论述来修改表4的语法元素的语义，其中“(H-#)”是指3D-HEVC的部分：
[去除：“变量icEnableFlag设定成等于0，且当slice_ic_enable_flag等于1且PartMode等于2Nx2N，并且PredMode[x0][y0]不等于MODE_INTRA时，以下适用：
-如果merge_flag[x0][y0]等于1，那么以下适用：
-icEnableFlag＝(merge_idx[x0][y0]！＝0)||
！slice_ic_disable_merge_zero_idx_flag (H-9)
-否则(merge_flag[x0][y0]等于0)，以下适用：
-在X由0和1代替的情况下，变量refViewIdxLX设定成等于RefPicListLX[ref_idx_lX[x0][y0]]的视图次序索引。
-导出旗标icEnableFlag，如以下所指定：
icEnableFlag＝
(inter_pred_idc[x0][y0]！＝Pred_L0&&refViewIdxL1[x0][y0]！＝
ViewIdx)||
(inter_pred_idc[x0][y0]！＝Pred_L1&&refViewIdxL0[x0][y0]！＝
ViewIdx) (H-10)”]
视频编码器20和视频解码器30各自可实施为可适用的多种合适的编码器或解码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为组合视频编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。
图2是说明可实施用于发信号通知照明补偿的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依靠空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依靠时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的译码模式中的任一者。
如图2中所示，视频编码器20接收待编码视频帧内的当前视频块。在图2的实例中，视频编码器20包含模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54和熵编码单元56。模式选择单元40又包含运动估计单元42、运动补偿单元44、帧内预测单元46和分割单元48。为了视频块重构，视频编码器20还包含逆量化单元58、逆变换单元60和求和器62。还可包含去块滤波器(图2中未图示)以便对块边界进行滤波，以从经重建视频去除成块效应假影。在需要时，解块滤波器将通常对求和器62的输出进行滤波。除了去块滤波器外，还可使用额外滤波器(回路中或回路后)。为简洁起见，未展示这些滤波器，但如果需要，这些滤波器可滤波求和器50的输出(作为回路内滤波器)。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可划分成多个视频块。运动估计单元42和运动补偿单元44可相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收视频块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次，例如，为了为每一视频数据块选择一种适当的译码模式。
此外，分割单元48可基于前述译码遍次中的前述划分方案的评估将视频数据块分割成子块。举例来说，分割单元48可首先将帧或切片分割成LCU，并且基于速率失真分析(例如，速率失真优化)将LCU中的每一者分割成子CU。模式选择单元40可进一步产生指示将LCU分割成若干子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。
模式选择单元40可例如基于错误结果(例如使用速率失真度量来评估)来选择译码模式中的一者(帧内或帧间)，且将所得经帧内或帧间译码的块提供给求和器50以产生残差块数据，且提供给求和器62以重构经编码块来用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息和其它此类语法信息)提供给熵编码单元56。
运动估计单元42与运动补偿单元44可高度集成，但出于概念目的分别加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。预测性块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编码器20可计算存储在参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测块的位置来计算用于在经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一者识别存储在参考图片存储器64中的一或多个参考图片。运动估计单元42将计算出来的运动向量发送到熵编码单元56和运动补偿单元44。
运动补偿单元44执行的运动补偿可涉及基于运动估计单元42确定的运动向量来提取或产生预测性块。并且，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可在参考图片列表中的一者中定位所述运动向量指向的预测性块。求和器50通过从经译码的当前视频块的像素值减去预测块的像素值从而形成像素差值来形成残差视频块，如下文所论述。一般来说，运动估计单元42相对于明度分量执行运动估计，并且运动补偿单元44对于色度分量及明度分量两者使用基于明度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的语法元素以供视频解码器30在对视频切片的视频块进行解码时使用。
运动补偿单元44可经配置以使用各种技术来执行运动补偿。举例来说，运动补偿单元44可对当前块执行一般时间运动补偿，大体上如上文所论述。另外，运动补偿单元44可经配置以执行高级残差预测(ARP)。也就是说，运动补偿单元44可使用当前块的使用时间运动向量获得的第一预测符以及当前块的使用视差向量和时间运动向量两者获得的第二预测符两者来预测当前块。此外，运动补偿单元44还可经配置以使用照明补偿。如下文更详细地论述，照明补偿通常涉及将一或多个线性等式应用于基于到经预测块的相邻样本/像素和/或到当前块的相邻样本/像素而预测的块的样本(即，像素)值。
作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测。确切地说，帧内预测单元46可确定用来对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可例如在分开的编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测单元46(或在一些实例中为模式选择单元40)可从所述测试模式中选择适当帧内预测模式来使用。
举例来说，帧内预测单元46可使用速率-失真分析计算用于各种所测试的帧内预测模式的速率-失真值，且从所述所测试的模式当中选择具有最佳速率-失真特性的帧内预测模式。速率失真分析通常确定经编码块与经编码以产生所述经编码块的原始未编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可根据用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。
在为块选择帧内预测模式之后，帧内预测单元46可将指示用于所述块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示选定帧内预测模式的信息。视频编码器20在所发射的位流中可包含配置数据，其可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，以及对最可能帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。
视频编码器20通过从正译码的原始视频块减去来自模式选择单元40的预测数据而形成残差视频块。求和器50表示可执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残差块，从而产生包括残差变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。也可使用小波变换、整数变换、子带变换或其它类型的变换。
在任何情况下，变换处理单元52将变换应用于残差块，从而产生残差变换系数块。所述变换可将残差信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54对变换系数进行量化以进一步降低位速率。量化过程可减少与系数中的一些系数或全部相关联的位深度。量化过程也可被称作“按比例缩放”过程，且因此经量化的变换系数也可被称作“经按比例缩放的变换系数”。量化(或按比例缩放)的程度可通过调整量化参数来修改。在一些实例中，熵编码单元56可接着执行对包含经量化的变换系数的矩阵的扫描。
在量化之后，熵编码单元56对经扫描的经量化的变换系数进行熵译码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。就基于上下文的熵译码来说，上下文可基于相邻块。在由熵编码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)，或将经编码位流存档以供稍后发射或检索。
逆量化单元58和逆变换单元60分别应用逆量化和逆变换，以重构像素域中的残差块，(例如)以用于稍后用作参考块。运动补偿单元44可通过将残差块加到参考帧存储器64中的帧中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构的残差块以计算子整数像素值以用于运动估计。求和器62将经重构残差块添加到运动补偿单元44产生的运动补偿预测块，以产生经重构视频块以用于存储在参考图片存储器64中。经重建的视频块可供运动估计单元42和运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。
模式选择单元40可比较用于块的各种模式之间的编码结果，以最终为所述块选择编码模式。举例来说，模式选择单元40可比较模式的速率失真度量，包含时间运动补偿、视图间运动补偿、高级残差预测和照明补偿。模式选择单元40可选择为当前块得出最佳速率失真度量的译码模式。
当模式选择单元40为块选择ARP作为译码模式时，模式选择单元40可进一步确定在ARP期间将应用的加权因子。并且，模式选择单元40可比较各种潜在加权因数(例如0.5和1.0)之间的速率失真度量，并选择得出最佳速率失真度量的加权因子。熵编码单元56可编码加权因子语法元素的值，其表示模式选择单元40为所述块选择的加权因子。当模式选择单元40选择除ARP外的模式时，熵编码单元56可编码加权因子语法元素的值，其指示ARP加权因子具有值0。
根据本发明的技术，当ARP加权因子具有值0时，熵编码单元56可进一步编码照明补偿语法元素(例如ic_flag)的值，其指示对应块是否使用照明补偿来编码。举例来说，如果模式选择单元40确定不使用ARP而是使用照明补偿来编码块，那么熵编码单元56可编码照明补偿语法元素的值，其指示所述块是使用照明补偿来编码。类似地，如果模式选择单元40确定不使用ARP且不使用照明补偿而是使用不同模式来编码块，那么熵编码单元56可编码照明补偿语法元素的值，其指示不使用照明补偿来编码所述块。一或多个分开的语法元素可接着指示用以编码所述块的实际译码模式。
此外，当ARP加权因子具有非零值时，熵编码单元56可跳过照明补偿语法元素的编码。也就是说，视频编码器20可经配置以避免将照明补偿语法元素的值插入到包含经编码的视频数据的所得位流中。在一些实例中，视频编码器20还可编码块层级照明补偿启用的语法元素，例如icEnableFlag。视频编码器20可进一步经配置以仅在块层级照明补偿启用的语法元素指示为所述块启用照明补偿时才译码块层级照明补偿语法元素的值(其指示照明补偿是否实际上用于所述块)。
另外或替代地，在一些实例中，视频编码器20可编码切片层级照明补偿语法元素，例如slice_ic_enable_flag。视频编码器20可进一步经配置以仅在切片层级照明补偿语法元素指示照明补偿为包含对应块的切片而启用时译码块层级照明补偿语法元素的值。当视频编码器20编码整个切片的块，而不确定对所述切片的块中的任一者使用照明补偿时，视频编码器20可设定切片层级照明补偿语法元素的值，以指示为所述切片停用照明补偿。
ARP和照明补偿是帧间预测技术。因此，在一些实例中，当对应块经帧间预测时，视频编码器20仅编码ARP加权因子和/或照明补偿语法元素的值。对于经帧内预测的块，视频编码器20可跳过ARP加权因子和照明补偿语法元素的编码。
以此方式，图2的视频编码器20表示经配置以为视频数据的当前块的高级残差预测(ARP)加权因子确定值且当ARP加权因子的值不等于零时跳过当前块的照明补偿语法元素的译码(即，编码)且译码当前块的视频编码器的实例。图2的视频编码器20的实例进一步经配置以在ARP加权因子的值等于零时，译码当前块的照明补偿语法元素，且至少部分地基于照明补偿语法元素的值来译码当前块。除非另外指明，如所使用的相对于视频编码器20的“译码”既定理解为“编码”。然而，应理解，“译码”还可指代“解码”，例如当向对于图1、3的视频解码器30使用时。
图3是说明可实施用于发信号通知照明补偿的技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、逆量化单元76、逆变换单元78、参考图片存储器82和求和器80。在一些实例中，视频解码器30可执行一般与相对于视频编码器20(图2)所描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化的系数、运动向量或帧内预测模式指示符和其它语法元素。熵解码单元70将运动向量和其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级和/或视频块层级接收语法元素。
当将视频切片译码为经帧内译码(I)切片时，帧内预测单元74可基于信令的帧内预测模式和来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当将视频帧译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量和其它语法元素产生用于当前视频切片的视频块的预测性块。预测块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在参考图片存储器82中的参考图片使用默认构造技术构造参考帧列表--列表0和列表1。
运动补偿单元72通过解析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生用于经解码的当前视频块的预测块。举例来说，运动补偿单元72使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构建信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用如视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元72可根据所接收语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
根据本发明的技术，熵解码单元70可对当前块的ARP加权因子的值进行熵解码。如果ARP加权因子具有非零值，那么熵解码单元70可确定照明补偿语法元素(例如ic_flag)将不包含于位流中，且因此，所述位流的后续位表示与照明补偿语法元素不同的语法元素。另一方面，如果ARP加权因子具有值零，那么熵解码单元70可确定位流中存在照明补偿语法元素，且此外，解码照明补偿语法元素的值。
当ARP加权因子具有非零值(例如0.5或1.0)，运动补偿单元72可使用ARP来解码对应块。举例来说，如下文中更详细地解释，运动补偿单元72可使用时间运动向量来确定第一预测符，使用视差向量和时间运动向量来确定第二预测符，将ARP加权因子应用于第二预测符，且从第一预测符和已对其应用ARP加权因子的第二预测符来计算当前块的预测符。
当ARP加权因子具有值零时，熵解码单元70可解码当前块的照明补偿语法元素的值，其指示是否使用照明补偿来译码当前块。如果所述照明补偿语法元素指示使用照明补偿来译码当前块，那么运动补偿单元72可使用照明补偿来预测当前块。另一方面，如果照明补偿语法元素指示不是使用照明补偿来译码当前块，那么运动补偿单元72可使用不同预测模式来预测当前块，例如时间预测或视图间预测。
在一些实例中，视频编码器20还可解码块层级照明补偿启用的语法元素，例如icEnableFlag。视频解码器30可进一步经配置以仅在块层级照明补偿启用的语法元素指示为所述块启用照明补偿时才解码块层级照明补偿语法元素的值(其指示照明补偿是否实际上用于所述块)。
另外或替代地，在一些实例中，视频解码器30可解码切片层级照明补偿语法元素，例如slice_ic_enable_flag。视频解码器30可进一步经配置以仅在切片层级照明补偿语法元素指示照明补偿为包含对应块的切片而启用时解码块层级照明补偿语法元素的值。当视频解码器30切片层级照明补偿语法元素指示为所述切片停用照明补偿时，视频解码器30可确定位流中将不存在用于所述切片的块中的任一者的照明补偿语法元素。
ARP和照明补偿是帧间预测技术。因此，在一些实例中，当对应块经帧间预测时，视频解码器30解码ARP加权因子和/或照明补偿语法元素的值。视频解码器30可确定对于经帧内预测的块，不存在ARP加权因子和照明补偿语法元素。
一般来说，视频解码器30再现将与块的经预测数据组合的所述块的残差数据，以便解码所述块。逆量化单元76对提供于位流中且由熵解码单元70解码的经量化的变换系数逆量化，即去量化。逆量化过程可包含使用视频解码器30针对视频切片中的每一视频块计算以确定应应用的量化程度和同样逆量化程度的量化参数QPY。逆变换单元78对变换系数应用逆变换，例如逆DCT、逆整数变换或概念上类似的逆变换过程，以便产生像素域中的残差块。
在运动补偿单元72基于运动向量和其它语法元素产生当前视频块的预测块之后，视频解码器30通过对来自逆变换单元78的残差块与由运动补偿单元72产生的对应的预测块求和而形成经解码视频块。求和器80表示可执行此求和运算的一或多个组件。必要时，去块滤波器还可应用于对经解码块进行滤波以便去除成块效应假影。其它环路滤波器(译码环路中或译码环路之后)也可用于使像素转变平滑或以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器82中，参考图片存储器82存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频以用于稍后在显示装置(例如，图1的显示装置32)上呈现。
以此方式，图3的视频解码器30表示经配置以为视频数据的当前块的高级残差预测(ARP)加权因子确定值，且当ARP加权因子的值不等于零时跳过当前块的照明补偿语法元素的译码(即，解码)且译码当前块的视频解码器的实例。图3的视频解码器30的实例进一步经配置以在ARP加权因子的值等于零时，译码当前块的照明补偿语法元素，且至少部分地基于照明补偿语法元素的值来译码当前块。相对于视频解码器30使用词语“译码”既定在解码意义上，除非另外指明。
图4为说明实例MVC预测模式的概念图。多视图视频译码(MVC)为ITU-T H.264/AVC的扩展。可将类似技术应用于HEVC。在图4的实例中，说明八个视图(具有视图ID“S0”到“S7”)，且对于每一视图说明十二个时间位置(“T0”到“T11”)。也就是说，图4中的每一行对应于一视图，而每一列指示一时间位置。
在图4中展示用于多视图视频译码的典型MVC预测(包含每一视图内的图片间预测和视图间预测两者)结构，其中预测由箭头指示，指向的对象使用指出对象进行预测参考。在MVC中，在从相同存取单元的不同视图(即，具有相同时间例项)捕获的图片当中执行视图间预测以去除视图之间的相关度。以视图间预测译码的图片可添加到其它非基础视图的视图间预测的参考图片列表中。
尽管MVC具有可通过H.264/AVC解码器解码的所谓的基础视图且MVC还可支持立体声视图对，但MVC的一个优点是：其可支持使用两个以上视图作为3D视频输入且解码通过多个视图表示的此3D视频的实例。具有MVC解码器的客户端的呈现器可预期具有多个视图的3D视频内容。
典型MVC解码次序布置被称作时间优先译码。访问单元可包含针对一个输出时间例项的所有视图的经译码图片。举例来说，时间T0的图片中的每一者可包含在共用存取单元中，时间T1的图片中的每一者可包含在第二共用存取单元中，等等。解码次序未必与输出或显示次序相同。
在图4中的每一行和每一列的交叉点处使用包含字母的阴影块指示图4中的帧，所述字母指定对应帧是经帧内译码(即，I帧)，还是在一个方向上经帧间译码(即，作为P帧)还是在多个方向上经帧间译码(即，作为B帧)。表示为b帧(也就是说，具有小写字母“b”)的帧还可在多个方向上经帧间译码，且一般是指在译码层次上在视图或时间维度上低于B帧(也就是说，具有大写字母“B”)的帧。一般来说，通过箭头来指示预测，其中指向的帧使用指出对象用于预测参考。举例来说，时间位置T0处的视图S2的P帧是从时间位置T0处的视图S0的I帧预测。
如同单视图视频编码，多视图视频译码视频序列的帧可相对于不同时间位置处的帧来预测性地编码。举例来说，时间位置T1处的视图S0的b帧具有从时间位置T0处的视图S0的I帧指向其的箭头，从而指示所述b帧是从所述I帧经帧间预测。然而，另外，在多视图视频编码的上下文中，帧可经视图间预测。也就是说，视图分量可使用其它视图中的视图分量用于参考。举例来说，在MVC中，如同另一视图中的视图分量为帧间预测参考般实现视图间预测。可能的视图间参考物可在序列参数集(SPS)MVC扩展中用信号发出且可通过参考图片列表构造过程来修改，所述参考图片列表构造过程实现帧间预测或视图间预测参考物的灵活排序。
视图间预测参考图片可以与帧间预测参考图片相同的方式放入参考图片列表的任何位置中。在一些实例中，通过将视图间参考图片标记为长期参考图片且将时间参考图片标记为短期参考图片，来将视图间参考图片与时间参考图片区分开。在多视图视频译码的上下文中，存在两个种类的运动向量。一种是指向时间参考图片的普通运动向量。时间运动向量的对应时间帧间预测模式被称作经运动补偿的预测(MCP)。另一类型的运动向量是指向不同视图中的图片(即，视图间参考图片)的视差运动向量(DMV)。DMV的对应帧间预测模式被称作经视差补偿的预测(DCP)。
图5是说明当前预测单元(PU)90与其空间相邻PU之间的关系的概念图。在图5的实例中，将空间相邻PU标记为A0、A1、B0、B1和B2，且可用于确定合并和AMVP模式两者的候选运动向量。令某些符号如下定义：
-亮度位置(xP,yP)用以指定当前预测单元(PU)90的相对于当前图片的左上样本的左上亮度样本；
-变量nPSW和nPSH表示亮度的PU的宽度和高度；
-相对于当前图片的左上样本的当前预测单元N的左上亮度样本是(xN,yN)。
在给定这些实例定义的情况下，(xN,yN)(其中N由A0、A1、B0、B1或B2代替，按照图5)可分别被定义为(xP-1,yP+nPSH)、(xP-1，yP+nPSH-1)、(xP+nPSW，yP-1)、(xP+nPSW-1，yP-1)或(xP-1，yP-1)。在一些实例中，当使用合并模式来预测PU的运动信息时，可使用照明补偿。图5说明可在PU的运动信息的合并模式译码期间使用的运动向量预测符候选者。
图6是按输出次序说明视频帧的预测结构的概念图。存在可由HEVC中的网络抽象层(NAL)单元类型识别的四个图片类型。这些是即时解码刷新(IDR)图片、清洁随机存取(CRA)图片、时间层存取(TLA)图片以及不是IDR、CRA或TLA图片的经译码图片。在一些实例中，当块包含于IRAP图片(例如IDR或CRA图片)中时，可使用照明补偿。
IDR图片和经译码图片是从H.264/AVC规范继承的图片类型。CRA和TLA图片类型在HEVC中是新的且不可用于H.264/AVC规范。CRA图片是促进从视频序列中间的任何随机存取点开始的解码的图片类型，其比插入IDR图片更有效。在HEVC中，从这些CRA图片开始的位流也是相符位流。TLA图片是可用于指示有效的时间层切换点的图片类型。
在例如广播和流式传输等视频应用中，需要对用户在不同信道之间切换且以最小延迟跳转到视频的特定部分来说重要的特征。可通过使随机存取图片以规则的间隔处于视频位流中而实现此特征。在H.264/AVC和HEVC两者中指定的IDR图片可用于随机存取。然而，因为IDR图片开始经译码视频序列且始终清理经解码图片缓冲器(DPB)，所以在解码次序中在IDR后面的图片无法使用在IDR图片之前解码的图片作为参考。因此，依靠IDR图片进行随机存取的位流可具有显著较低的译码效率(例如，6％)。为了改进译码效率，HEVC中的CRA图片允许在解码次序中在CRA图片后面但在输出次序中在CRA图片前面的图片使用在CRA图片之前解码的图片作为参考。
图6中示出CRA图片周围的典型预测结构：CRA图片(具有POC值24)属于图片群组(GOP)，其包含在解码次序中在CRA图片之后但在输出次序中在CRA图片之前的其它图片(POC值17到23)。这些图片被称为CRA图片的前导图片，且可在解码从当前CRA图片之前的IDR或CRA图片开始的情况下被正确地解码。然而，当从此CRA图片的随机接入发生时，前导图片无法被正确地解码；因此，在随机接入解码期间，通常丢弃这些前导图片。
为防止错误从取决于解码开始的地方而可能不可用的参考图片传播，在解码次序和输出次序两者中在CRA图片之后的下一GOP中的所有图片(如图6中所示)应不将在解码次序或输出次序中在CRA图片前面的任何图片(其包括前导图片)用作参考。
在具有恢复点SEI消息的H.264/AVC中支持类似的随机存取功能性。H.264/AVC解码器实施方案可支持或可不支持所述功能性。在HEVC中，开始于CRA图片的位流被视为相符位流。当位流开始于CRA图片时，CRA图片的前导图片可指不可用参考图片，且因此无法被正确地解码。然而，HEVC指定不输出开始的CRA图片的前导图片，因此名为“清洁随机存取”。为了建立位流相符要求，HEVC规定解码过程产生不可用的参考图片以用于解码非输出的前导图片。然而，符合的解码器实施方案不必遵循所述解码过程，只要解码器可产生与从位流的开始执行解码过程时的情形相比相同的输出即可。在HEVC中，相符位流可能完全不含有IDR图片，且因此可含有经译码视频序列的子集或不完整的经译码视频序列。
除IDR和CRA图片以外，存在其它类型的随机存取点图片(例如，断链存取(BLA))。对于主要类型的随机存取点图片中的每一者，取决于可如何由系统潜在地处理随机存取点图片，可存在子类型。随机存取点图片的每一子类型具有不同的网络抽象层(NAL)单元类型。
HEVC中还定义IRAP(帧内随机存取点)图片，即，每一VCL NAL单元具有在BLA_W_LP到RSV_IRAP_VCL23(包含BLA_W_LP和RSV_IRAP_VCL23)的范围内的nal_unit_type的经译码的图片。IRAP图片仅包含I切片，且可为BLA图片、CRA图片或IDR图片。在解码次序中在位流中的第一图片必定是IRAP图片。假设必要参数集在其需要激活时可用，那么IRAP图片和按解码次序所有随后非RASL图片可正确地解码，而不执行按解码次序在IRAP图像前的任何图像的解码过程。在位流中可能存在仅包含不是IRAP图片的I切片的图片。
图7是根据HEVC的NAL单元标头100的概念图。在HEVC中，引入两字节NAL单元标头，预期此设计足以支持HEVC可按比例缩放和3D视频译码(3DV)扩展以及其它未来扩展，如下文简要描述。
如图7中示出，HEVC NAL单元标头的第一字节类似于H.264/AVC NAL单元标头。明确地说，NAL单元标头100包含F位102、NAL单元类型字段104、保留位106和时间识别符加1(TIDP)字段108。
forbidden_zero(F)位102必然具有值零，以防止MPEG-2系统遗留环境中的开始代码仿真。
在H.264/AVC中，nal_ref_idc(NRI)为两位固定码字。两个位的主要动机是支持不同传输优先权信令以支持数据分区。数据分区的去除针对HEVC允许NRI 1位减小一。此外，NAL单元类型可用于指示某些参考图片是否为NAL单元启用。因此，在HEVC中，NRI完全从NAL单元标头去除，这又允许nal_unit_type(表示为图7中的NAL类型字段104)的大小从五个位增加到六个位，从而与H.264/AVC相比，提供两倍的NAL单元类型。
HEVC NAL单元标头的第二部分包含两个语法元素：reserved_zero_6bits(由图7中的保留位106表示，其包含6个位)temporal_id_plus1(图7中的TIDP字段108，其包含3个位)。TIDP字段108可用于支持时间可扩展性(具有范围从0到6(包含0和6)的时间识别符)。可在不存取具有较大TemporalId值的任何NAL单元的情况下，成功地解码视频编码层(VCL)NAL单元。
当正解码时，当前图片具有包含可由当前图片或当前图片之后(将来)的图片使用的所有图片的参考图片集用于参考。视频译码装置可区分可用作当前图片的参考的图片与可仅用作将来图片的参考图片的图片。基于可用于当前图片的参考图片集(即“用于当前的RPS”)中的图片因此不基于可仅用作未来图片的参考的图片而构建参考图片列表。当前RPS中的图片可或可不在两个参考图片列表RefPicList0或RefPicList1中的任一者中。
当前，VCEG和MPEG的3D视频译码联合合作小组(JCT-3C)正在开发基于HEVC的3DV标准，其标准化努力的部分包含基于HEVC的多视图视频编码解码器(MV-HEVC)的标准化和用于基于HEVC的3D视频译码(3D-HEVC)的另一部分。对于3D-HEVC，可包含并支持用于纹理和深度视图两者的包含译码单元/预测单元层级中的工具的新译码工具。用于3D-HEVC的3D-HTM软件的版本7.0可从以下链接下载：https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-7.0/。在格哈德科技(Gerhard Tech)，克里茨托夫·韦格纳(Krzysztof Wegner)、陈英(Ying Chen)、叶世勋(Sehoon Yea)的“3D-HEVC测试模型4(3D-HEVC Test Model 4)”JCT3V-D1005(关于ITU-T SG 16WP 3和ISO/IEC JTC1/SC 29/WG 11的3D视频译码扩展开发的联合合作小组，第3次会议：韩国仁川，2013年4月，可在以下地址获得：http://phenix.it-sudparis.eu/jct2/doc_end_user/documents/4_Incheon/wg11/JCT3V-D1005-v1.zip)中连同3D-HEVC的工作草案描述此软件。
图8是说明可用于照明补偿参数的导出的相邻样本的概念图。明确地说，图8说明当前译码单元(CU)120(其包含当前PU 122)和参考CU 126(其包含参考PU 128)。图8还说明当前CU 120的相邻样本(像素)124，以及参考CU 126的相邻样本130。
多视图视频译码中的照明补偿(IC)可用于不同视图之间的补偿照明视差，因为每一相机可具有对光源不同暴露。通常，使用权重因子和/或偏移量来补偿不同视图中的经译码块与预测块之间的差。所述参数可或可不明确地发射到解码器。
刘(Liu)等人在“3D-CE2.h:视图间预测的照明补偿的结果(3D-CE2.h:Results ofIllumination Compensation for Inter-View Prediction)”(关于ITU-T SG 16,WP 3和ISO/IEC JTC 1/SC 29/WG 11,JCT3V-B0045的3D视频译码扩展开发的联合合作小组，中国上海，2012年10月13到19日，可在以下地址获得：http://phenix.it-sudparis.eu/jct2/doc_end_user/current_document.php？id＝234)中描述照明补偿。在JCT3V-B0045中，在译码单元层级中发信号通知照明补偿，且从当前CU 120的相邻样本124和参考CU 126的相邻样本130导出参数。后来，改变所述模式的信令，如奕凯(Ikai)在“3D-CE5.h相关：照明补偿中的剖析从属性的去除(3D-CE5.h related:Removal of parsing dependency inillumination compensation)”(关于ITU-T SG 16,WP 3和ISO/IEC JTC1/SC 29/WG 11的3D视频译码扩展开发的联合合作小组，JCT3V-D0060，韩国仁川，2013年4月20到26日，可在以下地址获得：http://phenix.it-sudparis.eu/jct2/doc_end_user/current_document.php？id＝744)中描述。
因此，引入照明补偿来改进从视图间参考图片预测的块的译码效率。此模式可仅适用于使用视图间参考图片预测的块。
相邻样本124包含CU 120的顶部相邻行和左相邻列中的样本(像素)。相邻样本124，连同参考CU 126的对应相邻样本130，可用作线性模型的输入参数，其可通过最小均方解导出比例因子和偏移量b。参考视图中的对应相邻样本130可由当前PU的视差运动向量识别，如图8中示出。明确地说，图8说明包含PU 122的非基础视图中的当前图片132，以及包含参考PU 128的基础视图图片134(在图8的基础视图图片134内标记为“PUref”)。
在从视图间参考的运动补偿之后，视频译码器(例如视频编码器20或视频解码器30)可将线性模型应用于参考块128的每一值，以更新当前PU 122的预测信号。参考块的每一值可进一步按比例缩放a，且进一步添加到b，如图8中所示。也就是说，可根据公式“a*(参考PU 128的样本值)+b”来修改参考PU 128的每一样本值(像素值)。可在切片层级中自适应地启用或停用照明补偿中的AMVP和合并模式，以便减少额外位和不必要的计算。
可在切片标头中通过旗标(例如slice_ic_enable_flag)发信号通知照明补偿(IC)的启用。类似于其它旗标，如果slice_ic_enable_flag等于0，那么针对切片的所有CU停用IC模式；否则，CU可或可不使用此模式，取决于CU层级中发信号通知的旗标(ic_flag)。
在一个设计中，如上文所陈述的JCT3V-B0045中所提出，当CU具有从来自RefPicList0或RefPicList1的视图间参考图片预测的至少一个PU时，仅发信号通知ic_flag。然而，所述条件要求导出CU中的PU的所有参考索引。这要求所有PU语法元素的剖析，以及以合并模式译码的每一PU的合并候选者列表构建的完成。一般来说，剖析延迟，尤其基于解码过程(例如基于合并候选者列表构建)，在视频编解码器中是不合需要的。
因此，如上文所述的JCT3V-D0060中所提议，已修改可IC模式信令。JCT3V-D0060的修改包含两部分：停用以不同于2Nx2N的分区大小和切片标头中的额外旗标slice_ic_disable_merge_zero_idx_flag译码的CU的IC模式，控制指示IC模式的旗标是否是在关于合并模式的特殊情况下发信号通知。根据JCT3V-D0060，ic_flag总是在merge_flag(指示当前经帧间预测PU是以合并或AMVP译码)之后发信号通知。
同样地，根据JCT3V-D0060，当当前PU(以2Nx2N译码)是以合并模式译码时，在slice_ic_disable_merge_zero_idx_flag等于0或合并索引不等于0时，仅发信号通知ic_flag。此外，根据JCT3V-D0060，当以AMVP模式来译码(以2Nx2N译码的)当前PU时，对应于RefPicList0和RefPicList1的参考索引是已知的。根据JCT3V-D0060，仅在其中的任一者对应于视图间参考图片时，才发信号通知ic_flag。
注意，ic_flag可简单地通过检查当前图片是否为随机存取图片来代替，如按照2013年7月3日申请的第61/842,834号美国临时申请案中所描述的技术。
图9是说明用于高级残差预测(ARP)的技术的概念图。可将高级残差预测(ARP)应用于具有等于Part_2Nx2N的分割模式的CU，所述分割模式在第4次JCT3V会议中采用，如张等人在“CE4：多视图译码的高级残差预测(CE4:Advanced residual prediction formultiview coding)”中所提出，JCT3V-D0177，2013年4月20到26日，可在以下地址获得：http://phenix.it-sudparis.eu/jct3v/doc_end_user/current_document.php？id＝862t。
图9说明多视点视频译码中的ARP的预测结构。如图9中所展示，在当前块的预测中调用以下块：
1.当前图片150的当前块152
2.由视差向量(DV)168导出得参考/基础视图图片158中的参考块160
3.与当前块152相同的视图中由当前块的时间运动向量166(表示为TMV)导出的图片154的块156。
4.与参考块160相同的视图中通过将当前块152的时间运动向量166应用于参考块160而导出得图片162的块164。块164是由从相对于当前块152组合时间运动向量166和视差向量168而产生的向量170识别。
将残差预测符表示为：BaseTRef-Base(也就是说，块164减块160)，其中减法运算应用于所指示的像素阵列的每一像素。将加权因子w进一步倍增到残差预测符。因此，当前块的最终预测符表示为：CurrTRef+w*(BaseTRef-Base)，即，块156+W*(块164-块160)。加权因子w可具有例如0.5或1.0的值。
应理解，时间运动向量166和166'的值相等，但应用于不同块。在此实例中，将时间运动向量166应用于块152以识别参考块156，而可将时间运动向量166'应用于块160以识别块164。类似地，视差向量168和168'的值相等，但应用于不同块。在此实例中，可将视差向量168应用于块152以识别块160，而可将视差向量168'应用于块156以识别块164。
图10是说明在双向预测的情况下，当前块、参考块和经运动补偿的块之间的关系的概念图。图9的以上描述是基于应用单向预测的假设。当扩展到双向预测的情况时，如图10中所示，可针对每一参考图片列表应用相对于图9而描述的以上步骤。当当前块针对一个参考图片列表使用视图间参考图片(不同视图中)时，可停用残差预测过程。
解码器侧的所提出的ARP的主程序可如下描述：
1.获得如当前3D-HEVC中指定的视差向量，其指向目标参考视图。随后，在同一存取单元内的参考视图的图片中，通过视差向量定位对应块。
2.再用当前块的运动信息来导出参考块的运动信息。基于当前块的同一运动向量和参考块的参考视图中的导出的参考图片而应用用于对应块的运动补偿以导出残差块。图4中示出当前块、对应块和运动补偿块之间的关系。将参考视图(V0)中具有与当前视图(Vm)的参考图片相同的POC(图片次序计数)值的参考图片选定为对应块的参考图片。
3.将加权因子应用于残差块以得到经加权残差块，且将经加权残差块的值添加到预测的样本。
在一个实例中，ARP中使用三个加权因数：0、0.5和1。视频编码器(例如视频编码器20)可选择导致当前CU的最小速率失真成本的加权因子作为最终加权因子，且可在CU层级在位流中发射对应的加权因子索引(例如0、1和2，其可分别对应于加权因子0、1和0.5)。一个CU中的所有PU预测可共享同一加权因子。当加权因子等于0时，ARP不用于当前CU。
在张等人的“3D-CE4：多视图译码的高级残差预测(3D-CE4:Advanced residualprediction for multiview coding)”(JCT3V-C0049，瑞士日内瓦，2013年1月17到23日，可在以下地址获得：http://phenix.int-evry.fr/jct3v/doc_end_user/current_document.php？id＝487)中，以非零加权因子译码的预测单元的参考图片可在块之间不同。因此，可能需要存取来自参考视图的不同图片以产生对应块的经运动补偿的块(图9中的块164)。JCT3V-C0049提议当加权因子不等于0时，在执行针对残差产生过程的运动补偿之前朝向固定图片按比例缩放当前PU的经解码运动向量。
在JCT3V-D0177中，固定图片被定义为每一参考图片列表(如果其来自相同视图)的第一参考图片。当经解码的运动向量并不指向固定图片时，首先按比例缩放运动向量，且接着将其用以识别CurrTRef和BaseTRef。用于ARP的此参考图片可被称为目标ARP参考图片。
在JCT3V-C0049中，在对应块及其预测块的内插过程期间应用双线性滤波。对于非基础视图中的当前PU的预测块，应用常规8/4分接头滤波。JCT3V-D0177提出始终使用双线性滤波，不管当应用ARP时，所述块是在基础视图还是非基础视图中。
参考视图由从NBDV过程返回的视图次序索引识别。在3D-HTM版本7.0中的ARP的设计中，当一个参考图片列表中的一个PU的参考图片是来自当前视图的不同视图时，针对此参考图片列表停用ARP。
图11是说明ARP的进一步改进的概念图。如描述于JCT3V-D0177中的ARP可仅应用于时间预测，即当前块的当前运动向量是指同一视图中的参考图片。在2013年6月21日申请的第61/838,208和2013年7月14日申请的第61/846,036号美国临时申请案中，描述将ARP应用于视图间预测的解决方案(即，当前块的当前运动向量是指不同视图中的参考图片)。根据这两个临时申请案：
ARP中提出，不同存取单元中所计算的视图间残差可用于预测当前块的残差，如[图11]中示出。当当前块(Curr)的运动向量是视差运动向量(DMV)，且参考视图(Base)中的参考块(由DMV识别)含有至少一个时间运动向量时，参考视图(Base)中的参考块的时间运动向量连同DMV一起用以识别参考视图中的时间参考块(BaseTRef)，且使用时间运动向量来识别当前视图中的时间参考块(CurrTRef)。因此，可将不同存取单元中的视图间残差预测符计算为这两个后部块之间的差：CurrTRef-BaseTRef。差信号(表示为视图间残差预测符)可用于预测当前块的残差。当前块的预测信号是不同存取单元中的视图间预测符(基础)和预测的视图间残差与加权因子w的总和：基础+w*(CurrTRef-BaseTRef)。
更明确地说，图11说明包含当前块182的当前图片180、包含块186的图片184、包含块190的不同视图中的图片188，以及包含块194的图片192。在图11的实例中，块190可用作当前块182的参考块，如由视差运动向量198指示。块190可进一步包含时间运动向量196的数据，其将块194识别为块190的参考块。时间运动向量196可应用于当前块182(时间运动向量196')以识别块186。加权因子可应用于的块186与块194之间的残差(逐像素差)可用作当前块182的残差预测符。换句话说，当前块182的预测符可等于块190+w*(块186-块194)，其中预测符和块是指预测符和块的像素样本。
下文的表5描述视频参数集扩展，包含照明补偿和ARP相关语法元素。下文的表7提供下文的表5到7中的每一者的相关语法元素的语义。
表5
下文的表6描述一般切片标头语法元素。
表6
下文的表7描述一般译码单元语法元素。
表7
下文描述表5到7的某些相关语法元素的实例语义。应理解，这些语义是实例，且可在其它实例中以不同方式定义。举例来说，值的和1的语义可调换。同样地，可修改推理值。
iv_res_pred_flag[layerId]指示具有等于layerId的nuh_layer_id的层的解码过程中是否使用视图间残差预测。等于0的iv_res_pred_flag[layerId]指定视图间残差预测不用于具有等于layerId的nuh_layer_id的层。等于1的iv_res_pred_flag[layerId]指定视图间残差预测可用于具有等于layerId的nuh_layer_id的层。当不存在时，iv_res_pred_flag[layerId]的值将推断为等于0。
iv_res_pred_weight_idx指定用于残差预测的加权因子的索引。等于0的iv_res_pred_weight_idx指定残差预测不用于当前译码单元。不等于0的iv_res_pred_weight_idx指定残差预测用于当前译码单元。当不存在时，推断iv_res_pred_weight_idx的值等于0。
将变量icEnableFlag设定成等于0，且当slice_ic_enable_flag等于1且PartMode等于2Nx2N，并且PredMode[x0][y0]不等于MODE_INTRA时，以下适用：
●如果merge_flag[x0][y0]等于1，那么以下适用：
○icEnableFlag＝(merge_idx[x0][y0]！＝0)||
！slice_ic_disable_merge_zero_idx_flag (H-9)
●否则(merge_flag[x0][y0]等于0)，以下适用：
○在X由0和1代替的情况下，变量refViewIdxLX设定成等于RefPicListLX[ref_idx_lX[x0][y0]]的视图次序索引。
○导出旗标icEnableFlag，如以下所指定：
■icEnableFlag＝
●(inter_pred_idc[x0][y0]！＝Pred_L0&&
refViewIdxL1[x0][y0]！＝ViewIdx)||
●(inter_pred_idc[x0][y0]！＝Pred_L1&&
refViewIdxL0[x0][y0]！＝ViewIdx) (H-10)
等于1的ic_flag指定照明补偿用于当前译码单元。等于0的ic_flag指定照明补偿不用于当前译码单元。当不存在时，推断ic_flag等于0。
等于1的slice_ic_enable_flag指定照明补偿为当前切片而启用。等于0的slice_ic_enable_flag指定照明补偿为当前切片而停用。当不存在时，推断slice_ic_enable_flag等于0。
等于1的slice_ic_disable_merge_zero_idx_flag指定当merge_flag等于1且译码单元的第一预测单元的merge_idx等于0时，当前切片的译码单元中不存在ic_flag。等于0的slice_ic_disable_merge_zero_idx_flag指定当merge_flag等于1且译码单元的第一预测单元的merge_idx等于0时，当前切片的译码单元中可能存在ic_flag。当不存在时，推断slice_ic_disable_merge_zero_idx_flag等于0。
图12是说明根据本发明的技术的用于编码块的实例方法的流程图。出于解释的目的，相对于视频编码器20来描述图12的方法，但应理解，其它装置可经配置以执行图12的方法。
最初，在此实例中，视频编码器20接收当前块(250)，例如当前译码单元(CU)的当前预测单元(PU)。视频编码器20的模式选择单元40可接着为当前块确定预测模式(252)。举例来说，模式选择单元40可确定各种预测模式的速率失真度量，例如时间帧间预测、视图间预测、高级残差预测(ARP)和照明补偿。
如果模式选择单元40选择ARP作为当前块的预测模式(254的“是”分支)，那么视频编码器20可发信号通知当前块的非零ARP加权因子(258)。举例来说，模式选择单元40可确定是使用0.5还是1.0的ARP加权因子，其可再次基于速率失真度量。值得注意的是，在此情况下，视频编码器20不必发信号通知照明补偿语法元素(例如ic_flag)，因为归因于ARP加权因子为非零，可推断预测模式为ARP而不是照明补偿。
视频编码器20可接着使用ARP来预测当前块(260)。举例来说，运动补偿单元44可使用当前块的时间运动向量或视差运动向量来确定参考块。运动估计单元42可计算时间运动向量或视差运动向量。运动补偿单元44可进一步将残差预测符计算为例如参考视图中的块(由视差向量识别)或当前视图中的块(由时间运动向量识别)与基础视图参考块(由相对于当前块的位置的视差向量或视差运动向量与时间运动向量的组合指示)之间的差，如上文相对于图9和11所论述。
当预测模式不是ARP(254的“否”分支)时，且当预测模式是照明补偿(256的“是”分支)时，视频编码器20可发信号通知ARP加权因子(WF)的值0以及照明补偿语法元素(例如ic_flag)的值真(例如一)(262)。也就是说，视频编码器20用信号通知照明补偿语法元素的值，其指示照明补偿用于当前块。此外，视频编码器20可使用照明补偿来预测当前块(264)。也就是说，如上文相对于图8所解释，视频编码器20可使用视差运动向量来为当前块确定参考块，且基于当前块的相邻像素(图8中的相邻像素124)和参考块的相邻像素(图8中的相邻像素130)来确定将用以线性地修改参考块的像素的值。
当预测模式不是ARP(254的“否”分支)时，且当预测模式不是照明补偿(256的“否”分支)时，视频编码器20可发信号通知ARP加权因子(WF)的值0以及照明补偿语法元素(例如ic_flag)的值假(例如零)(266)。也就是说，视频编码器20发信号通知照明补偿语法元素的值，其指示照明补偿不用以当前块。视频编码器20可进一步发信号通知指示实际预测模式的一或多个语法元素(268)。或者，可推断预测模式为帧间预测，且为当前块发信号通知的运动参数可固有地指示预测模式是时间帧间预测还是视图间预测，使得不需要发信号通知额外语法元素。视频编码器20可进一步使用发信号通知(或默认)的预测模式来预测当前块(270)。
在预测当前块之后，视频编码器20可计算当前块的残差块(272)。不管用以计算经预测块的模式如何，视频编码器20可通过计算当前块与经预测块之间的逐像素差来计算残差块。视频编码器20可随后变换、量化残差块，且对残差块进行熵编码(274)。更具体地说，变换处理单元52例如使用离散余弦变换(DCT)来变换残差块，量化单元54量化所得变换系数，且熵编码单元56对经量化变换系数进行熵编码。当然，熵编码单元56也可对其它语法元素进行熵编码，例如ARP加权因子和(如果发信号通知)照明补偿语法元素，以及当前块的运动参数。
以此方式，图12的方法表示编码视频数据的方法的实例，包含为当前块的高级残差预测(ARP)加权因子确定值；且当ARP加权因子的值不等于零时，跳过当前块的照明补偿语法元素的编码；以及编码当前块。图12的实例方法进一步包含：当ARP加权因子的值等于零时，编码当前块的照明补偿语法元素；以及至少部分地基于照明补偿语法元素的值来编码当前块。
图13是说明根据本发明的技术的用于解码块的实例方法的流程图。出于解释的目的，相对于视频解码器30来描述图13的方法，但应理解，其它装置可经配置以执行图13的方法。
最初，视频解码器30接收当前块(280)。更明确地说，视频解码器30接收当前块的经熵编码的语法元素。视频解码器30可个别地解码每一语法元素。在达到ARP加权因子语法元素后，视频解码器30可确定ARP加权因子是否具有当前块的值零(282)。
如果ARP加权因子具有非零值(282的“否”分支)，那么视频解码器30可确定ARP用以预测当前块。因此，熵解码单元70可基于当前块的照明补偿语法元素将不包含于位流中的暗示而跳过尝试解码此照明补偿语法元素。因此，视频解码器30可使用ARP来预测当前块(286)。举例来说，如上文相对于图9和11所解释，运动补偿单元72可将残差预测符计算为例如参考视图中的块(由视差向量识别)或当前视图中的块(由时间运动向量识别)与基础视图参考块(由相对于当前块的位置的视差向量或视差运动向量与时间运动向量的组合指示)之间的差，且将ARP加权因子应用于残差预测符。运动补偿单元72还可使用视差运动向量或时间运动向量来计算当前块的预测符，并组合所述预测符与残差预测符(如由ARP加权因子修改)，以产生当前块的经预测块。
然而，如果ARP加权因子等于零(282的“是”分支)，那么视频解码器30可确定照明补偿语法元素将在当前块的位流中发信号通知。因此，熵解码单元70可解码照明补偿语法元素(例如ic_flag)的值，且视频解码器30可确定照明补偿语法元素具有值真(例如1)还是假(例如0)(284)，其中假定值真实或1指示使用照明补偿，且错误或0指示不使用照明补偿。
当照明补偿语法元素具有值真(284的“是”分支)时，视频解码器30可使用照明补偿来预测当前块(288)。也就是说，如上文相对于图8所解释，视频解码器30可使用视差运动向量来为当前块确定参考块，且基于当前块的相邻像素(图8中的相邻像素124)和参考块的相邻像素(图8中的相邻像素130)来确定将用以线性地修改参考块的像素的值。
当照明补偿语法元素具有值假(284的“否”分支)时，视频解码器30可为当前块确定实际预测模式(290)，且使用预测模式来预测当前块(292)。举例来说，当当前块是经帧间预测的块，且预测模式既不是ARP也不是照明补偿时，视频解码器30可推断预测模式是帧间预测，其可为视图间预测或时间帧间预测，如例如由当前块的运动参数指示。也就是说，如果参考图片具有与当前图片相同的POC值，那么预测模式是视图间预测，而如果参考图片具有与当前图片不同的POC值，那么预测模式是时间帧间预测。运动补偿单元72可使用运动参数来解码当前块的运动向量(时间或视差)，且使用所述运动向量来预测当前块。
视频解码器30可接着逆量化和逆变换当前块的残差块(294)。也就是说，逆量化单元76可逆量化残差块的经熵解码的数据，以再现残差块的变换系数，且逆变换单元78可逆变换所述变换系数以再现残差块。视频解码器30可接着组合残差块与经预测块以解码当前块(296)。也就是说，视频解码器30可执行残差块与经预测块之间的逐像素添加，以再现当前块。
以此方式，图13的方法表示解码视频数据的方法的实例，包含为当前块的高级残差预测(ARP)加权因子确定值；且当ARP加权因子的值不等于零时，跳过当前块的照明补偿语法元素的解码；以及解码当前块。图13的方法进一步包含：当ARP加权因子的值等于零时，解码当前块的照明补偿语法元素；以及至少部分地基于照明补偿语法元素的值来解码当前块。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序来执行，可添加、合并或全部省略所述动作或事件(例如，实践所述技术未必需要所有所描述动作或事件)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。
在一或多个实例中，所描述的功能可在硬件、软件、固件或其任何组合中实施。如果用软件实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元执行。计算机可读媒体可包括计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的媒体(例如，根据一种通信协议)的通信媒体。以此方式，计算机可读媒体大体上可对应于(1)有形计算机可读存储媒体，其为非暂时性的，(2)或通信媒体，例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为说明而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。并且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是，应理解，所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时性媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上述各项的组合也应包含在计算机可读媒体的范围内。
指令可由一或多个处理器执行，所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可在经配置用于编码及解码的专用硬件和/或软件模块内提供，或者并入于组合编码解码器中。并且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在各种各样的装置或设备中实施，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所公开的技术的装置的功能性方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件和/或固件组合在一个编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述了各种实例。这些以及其它实例在所附权利要求书的范围内。

Claims (29)

1.一种译码视频数据的方法，所述方法包括：
确定高级残差预测ARP过程的ARP加权因子的值，所述ARP加权因子用于当前块，其中所述当前块包含于当前视图的当前图片中，其中所述ARP加权因子包括将被应用于参考视图中的第一视图间参考图片的第一参考块与所述参考视图中的第二视图间参考图片的第二参考块之间的逐像素差的加权值，且其中所述当前视图不同于所述参考视图；以及
响应于确定所述ARP加权因子的所述值不等于零：
跳过所述当前块的照明补偿语法元素的译码；以及
使用所述ARP过程译码所述当前块，其中使用所述ARP过程译码所述当前块包括：
将所述加权值应用于所述第一参考块与所述第二参考块之间的所述逐像素差以产生加权像素差；以及
使用所述加权像素差与所述当前视图中的时间参考图片的时间参考块的和来预测所述当前块。
2.根据权利要求1所述的方法，其进一步包括：响应于确定所述ARP加权因子的所述值等于零，译码所述当前块的所述照明补偿语法元素，且至少部分地基于所述照明补偿语法元素的值来译码所述当前块。
3.根据权利要求2所述的方法，其中所述照明补偿语法元素包括ic_flag语法元素。
4.根据权利要求2所述的方法，其中译码所述照明补偿语法元素包括：确定是否为所述当前块启用照明补偿；以及仅在为所述当前块启用照明补偿时才译码所述照明补偿语法元素。
5.根据权利要求2所述的方法，其进一步包括译码指示是否为包含所述当前块的切片启用照明补偿的切片层级照明补偿语法元素，其中译码所述当前块的所述照明补偿语法元素包括仅在所述切片层级照明补偿语法元素指示为所述切片启用所述照明补偿时才译码所述当前块的所述照明补偿语法元素。
6.根据权利要求5所述的方法，其中所述切片层级照明补偿语法元素包括slice_ic_enable_flag。
7.根据权利要求2所述的方法，其中译码所述照明补偿语法元素包括在且仅在所述ARP加权因子具有等于零的值且(a)或(b)中的至少一者为真的情况下才译码所述照明补偿语法元素，其中(a)为所述当前块是以合并模式译码以及(i)或(ii)中的至少一者，其中(i)为包含所述当前块的切片的切片标头中的语法元素具有指示为所述当前切片启用所述照明补偿模式的值，其中(ii)为所述当前块的合并索引具有非零值，且其中(b)为所述当前块是以高级运动向量预测AMVP译码，且所述当前块的至少一个参考索引对应于包括所述第一视图间参考图片或所述第二视图间参考图片之一的视图间参考图片。
8.根据权利要求7所述的方法，其中所述切片的所述切片标头中的所述语法元素包括slice_ic_disable_merge_zero_idx_flag。
9.根据权利要求2所述的方法，其中译码所述照明补偿语法元素包括在包含所述当前块的当前图片为帧内随机存取图片IRAP时，译码所述照明补偿语法元素。
10.根据权利要求2所述的方法，其进一步包括译码指示照明补偿是否用于多层视频数据的至少一个层的至少一个语法元素。
11.根据权利要求2所述的方法，其中至少部分地基于所述照明补偿语法元素的所述值来译码所述当前块包括在所述照明补偿语法元素的所述值指示将使用照明补偿来译码所述当前块时，使用照明补偿来译码所述当前块。
12.根据权利要求2所述的方法，其中当所述ARP加权因子的所述值等于零时，至少部分地基于所述照明补偿语法元素的所述值来译码所述当前块包括在所述照明补偿语法元素的所述值指示将不使用照明补偿且在不使用ARP的情况下译码所述当前块时，不使用照明补偿来译码所述当前块。
13.根据权利要求1所述的方法，其进一步包括，在确定所述ARP加权因子的所述值之前：
确定是否为包含所述当前块的切片启用ARP；以及
确定所述当前块是否经帧间译码，
其中确定所述ARP加权因子的所述值包括在启用ARP时且在所述当前块经帧间译码时，确定所述ARP加权因子的所述值。
14.根据权利要求1所述的方法，其中跳过所述照明补偿语法元素的译码包括跳过所述照明补偿语法元素的解码，且其中译码所述当前块包括解码所述当前块。
15.根据权利要求1所述的方法，其中跳过所述照明补偿语法元素的译码包括跳过所述照明补偿语法元素的发信号通知，且其中译码所述当前块包括编码所述当前块。
16.一种用于译码视频数据的装置，所述装置包括：
存储器，其经配置以存储视频数据；以及
视频译码器，其在电路中实施且经配置以：
确定高级残差预测ARP过程的ARP加权因子的值，所述ARP加权因子用于所述视频数据的当前块，其中所述当前块包含于当前视图的当前图片中，其中所述ARP加权因子包括将被应用于参考视图中的第一视图间参考图片的第一参考块与所述参考视图中的第二视图间参考图片的第二参考块之间的逐像素差的加权值，且其中所述当前视图不同于所述参考视图；
在所述ARP加权因子的所述值不等于零时，跳过所述当前块的照明补偿语法元素的译码；且
在所述ARP加权因子的所述值不等于零时，使用所述ARP过程译码所述当前块，其中为了使用所述ARP过程译码所述当前块，所述视频译码器经配置以：
将所述加权值应用于所述第一参考块与所述第二参考块之间的所述逐像素差以产生加权像素差；以及
使用所述加权像素差与所述当前视图中的时间参考图片的时间参考块的和来预测所述当前块。
17.根据权利要求16所述的装置，其中所述视频译码器进一步经配置以译码所述当前块的所述照明补偿语法元素，且在所述ARP加权因子的所述值等于零时，至少部分地基于所述照明补偿语法元素的值来译码所述当前块。
18.根据权利要求17所述的装置，其中所述照明补偿语法元素包括ic_flag语法元素。
19.根据权利要求17所述的装置，其中所述视频译码器经配置以确定是否为所述当前块启用照明补偿，且仅在为所述当前块启用照明补偿时，才译码所述照明补偿语法元素。
20.根据权利要求17所述的装置，其中所述视频译码器进一步经配置以译码指示是否为包含所述当前块的切片启用照明补偿的切片层级照明补偿语法元素，且其中所述视频译码器经配置以仅在所述切片层级照明补偿语法元素指示为所述切片启用所述照明补偿时，才译码所述当前块的所述照明补偿语法元素。
21.根据权利要求20所述的装置，其中所述切片层级照明补偿语法元素包括slice_ic_enable_flag。
22.根据权利要求16所述的装置，其中所述视频译码器进一步经配置以在确定所述ARP加权因子的所述值之前，确定是否为包含所述当前块的切片启用ARP，且确定所述当前块是否经帧间译码，其中所述视频译码器经配置以在启用ARP时且在所述当前块经帧间译码时，确定所述ARP加权因子的所述值。
23.一种用于译码视频数据的装置，所述装置包括：
用于确定高级残差预测ARP过程的ARP加权因子的值的装置，所述ARP加权因子用于当前块，其中所述当前块包含于当前视图的当前图片中，其中所述ARP加权因子包括将被应用于参考视图中的第一视图间参考图片的第一参考块与所述参考视图中的第二视图间参考图片的第二参考块之间的逐像素差的加权值，且其中所述当前视图不同于所述参考视图；
用于在所述ARP加权因子的所述值不等于零时跳过所述当前块的照明补偿语法元素的译码的装置；以及
用于在所述ARP加权因子的所述值不等于零时，使用所述ARP过程译码所述当前块的装置，其中用于使用所述ARP过程译码所述当前块的装置包括：
用于将所述加权值应用于所述第一参考块与所述第二参考块之间的所述逐像素差以产生加权像素差的装置；以及
用于使用所述加权像素差与所述当前视图中的时间参考图片的时间参考块的和来预测所述当前块的装置。
24.一种上面存储有指令的非暂时性计算机可读存储媒体，所述指令在被执行时致使用于译码视频数据的装置的处理器执行以下操作：
确定高级残差预测ARP过程的ARP加权因子的值，所述ARP加权因子用于当前块，其中所述当前块包含于当前视图的当前图片中，其中所述ARP加权因子包括将被应用于参考视图中的第一视图间参考图片的第一参考块与所述参考视图中的第二视图间参考图片的第二参考块之间的逐像素差的加权值，且其中所述当前视图不同于所述参考视图；以及
当所述ARP加权因子的所述值不等于零时，跳过所述当前块的照明补偿语法元素的译码，且使用所述ARP过程译码所述当前块，其中致使所述处理器使用所述ARP过程译码所述当前块的所述指令包括致使所述处理器执行以下操作的指令：
将所述加权值应用于所述第一参考块与所述第二参考块之间的所述逐像素差以产生加权像素差；以及
使用所述加权像素差与所述当前视图中的时间参考图片的时间参考块的和来预测所述当前块。
25.根据权利要求24所述的非暂时性计算机可读存储媒体，其进一步包含致使所述处理器在所述ARP加权因子的所述值等于零时译码所述当前块的所述照明补偿语法元素且至少部分地基于所述照明补偿语法元素的值来译码所述当前块的指令。
26.根据权利要求25所述的非暂时性计算机可读存储媒体，其中所述照明补偿语法元素包括ic_flag语法元素。
27.根据权利要求25所述的非暂时性计算机可读存储媒体，其中所述致使所述处理器译码所述照明补偿语法元素的指令包括致使所述处理器确定是否为所述当前块启用照明补偿且仅在为所述当前块启用照明补偿时才译码所述照明补偿语法元素的指令。
28.根据权利要求25所述的非暂时性计算机可读存储媒体，其进一步包括致使所述处理器译码指示是否为包含所述当前块的切片启用照明补偿的切片层级照明补偿语法元素的指令，其中所述致使所述处理器译码所述当前块的所述照明补偿语法元素的指令包括致使所述处理器仅在所述切片层级照明补偿语法元素指示为所述切片启用所述照明补偿时才译码所述当前块的所述照明补偿语法元素的指令。
29.根据权利要求24所述的非暂时性计算机可读存储媒体，其进一步包括致使所述处理器在确定所述ARP加权因子的所述值之前进行以下操作的指令：
确定是否为包含所述当前块的切片启用ARP；以及
确定所述当前块是否经帧间译码，
其中所述致使所述处理器确定所述ARP加权因子的所述值的指令包括致使所述处理器在启用ARP时且在所述当前块经帧间译码时确定所述ARP加权因子的所述值的指令。
CN201480039960.7A 2013-07-16 2014-07-16 处理对视频译码的照明补偿 Active CN105379288B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361846985P 2013-07-16 2013-07-16
US61/846,985 2013-07-16
US14/332,105 2014-07-15
US14/332,105 US9860529B2 (en) 2013-07-16 2014-07-15 Processing illumination compensation for video coding
PCT/US2014/046874 WO2015009842A1 (en) 2013-07-16 2014-07-16 Processing illumination compensation for video coding

Publications (2)

Publication Number Publication Date
CN105379288A CN105379288A (zh) 2016-03-02
CN105379288B true CN105379288B (zh) 2019-05-21

Family

ID=52343560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480039960.7A Active CN105379288B (zh) 2013-07-16 2014-07-16 处理对视频译码的照明补偿

Country Status (8)

Country Link
US (1) US9860529B2 (zh)
EP (1) EP3022932B1 (zh)
JP (1) JP6419808B2 (zh)
KR (1) KR101917481B1 (zh)
CN (1) CN105379288B (zh)
BR (1) BR112016000866B1 (zh)
CA (1) CA2915114C (zh)
WO (1) WO2015009842A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105532005B (zh) 2013-07-12 2019-04-26 三星电子株式会社 用于层间编码的方法和设备以及用于使用残差预测对视频进行层间解码的方法和设备
US10321142B2 (en) * 2013-07-15 2019-06-11 Samsung Electronics Co., Ltd. Method and apparatus for video encoding for adaptive illumination compensation, method and apparatus for video decoding for adaptive illumination compensation
KR102264679B1 (ko) * 2013-10-14 2021-06-14 삼성전자주식회사 휘도 보상 여부에 따른 뷰 합성 예측 적용 방법 및 장치
US10887597B2 (en) 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
CN107810635A (zh) * 2015-06-16 2018-03-16 Lg 电子株式会社 图像编译系统中基于照度补偿预测块的方法和设备
US9710722B1 (en) * 2015-12-29 2017-07-18 Stmicroelectronics International N.V. System and method for adaptive pixel filtering
ES2802817B2 (es) * 2016-07-05 2023-06-22 Kt Corp Metodo y aparato para procesar senal de video
US10986358B2 (en) 2016-07-05 2021-04-20 Kt Corporation Method and apparatus for processing video signal
KR20180021942A (ko) * 2016-08-22 2018-03-06 광운대학교 산학협력단 보안 카메라용 영상 코덱에서 블록 분할 정보 전송 방법 및 장치
WO2018056603A1 (ko) * 2016-09-22 2018-03-29 엘지전자 주식회사 영상 코딩 시스템에서 조도 보상 기반 인터 예측 방법 및 장치
US10778999B2 (en) 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model
RU2721160C1 (ru) * 2016-10-11 2020-05-18 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство декодирования изображения на основе интрапредсказания в системе кодирования изображения
EP3335716A1 (en) * 2016-12-15 2018-06-20 Indena S.p.A. Process for the preparation of powder compositions
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
US10701390B2 (en) 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
EP3410717A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
US20200267385A1 (en) * 2017-07-06 2020-08-20 Kaonmedia Co., Ltd. Method for processing synchronised image, and apparatus therefor
EP3468194A1 (en) 2017-10-05 2019-04-10 Thomson Licensing Decoupled mode inference and prediction
US10715810B2 (en) * 2018-02-20 2020-07-14 Qualcomm Incorporated Simplified local illumination compensation
US10834409B2 (en) * 2018-04-06 2020-11-10 Arris Enterprises Llc System and method of implementing multiple prediction models for local illumination compensation
US10735721B2 (en) * 2018-04-17 2020-08-04 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method using local illumination compensation
CN116684594A (zh) * 2018-04-30 2023-09-01 寰发股份有限公司 照度补偿方法及相应的电子装置
WO2019245712A1 (en) * 2018-06-18 2019-12-26 Interdigital Vc Holdings, Inc. Illumination compensation in video coding
EP3831064B1 (en) * 2018-08-17 2024-02-07 Huawei Technologies Co., Ltd. Reference picture management in video coding
BR112021004858A2 (pt) * 2018-09-19 2021-06-01 Interdigital Vc Holdings, Inc. compensação de iluminação local para codificação e decodificação de vídeo usando parâmetros armazenados
WO2020084506A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonized local illumination compensation and intra block copy coding
CN116939198A (zh) 2018-10-23 2023-10-24 北京字节跳动网络技术有限公司 并置的局部照明补偿和修改的帧间预测编解码
KR20210099129A (ko) * 2018-12-21 2021-08-11 샤프 가부시키가이샤 비디오 코딩에서 인터 예측을 수행하기 위한 시스템들 및 방법들
CN113302918A (zh) 2019-01-15 2021-08-24 北京字节跳动网络技术有限公司 视频编解码中的加权预测
CN113302919A (zh) 2019-01-17 2021-08-24 北京字节跳动网络技术有限公司 在视频处理中使用虚拟候选预测和加权预测
CN113302916B (zh) * 2019-01-27 2024-04-12 北京字节跳动网络技术有限公司 具有cu级别权重的双向预测的插值
TWI738248B (zh) 2019-03-14 2021-09-01 聯發科技股份有限公司 運動細化以及子分區基礎填充的視訊處理的方法以及裝置
EP3984218A1 (en) * 2019-06-12 2022-04-20 InterDigital VC Holdings, Inc. Illumination compensation for video encoding and decoding
BR112022018206A2 (pt) 2020-03-19 2022-10-25 Bytedance Inc Método e aparelho de processamento de vídeo, método de armazenamento de um fluxo contínuo de bits de um vídeo, e, mídia legível por computador
WO2021188810A1 (en) 2020-03-20 2021-09-23 Bytedance Inc. Constraints on reference picture lists for subpictures
JP2023522224A (ja) 2020-04-20 2023-05-29 バイトダンス インコーポレイテッド 参照ピクチャリスト上の制約
US11558630B2 (en) 2020-05-20 2023-01-17 Tencent America LLC Techniques for random access point indication and picture output in coded video stream
CA3136422A1 (en) * 2020-05-20 2021-11-20 Tencent America LLC Techniques for random access point indication and picture output in coded video stream

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008130716A2 (en) * 2007-04-24 2008-10-30 Thomson Licensing Video coding
CN101911708A (zh) * 2008-01-10 2010-12-08 汤姆森特许公司 帧内预测视频的照明补偿方法和装置
CN103141099A (zh) * 2010-10-01 2013-06-05 杜比实验室特许公司 用于参考图片处理的优化的滤波器的选择

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1646243B1 (en) * 2004-09-30 2009-06-24 Kabushiki Kaisha Toshiba Information processing apparatus and program for use in the same
CN101366284B (zh) * 2006-01-09 2016-08-10 汤姆森许可贸易公司 为多视点视频编码提供降低分辨率更新模式的方法和装置
TWI344792B (en) * 2006-07-12 2011-07-01 Lg Electronics Inc A method and apparatus for processing a signal
CN101641954B (zh) * 2007-03-23 2011-09-14 Lg电子株式会社 用于解码/编码视频信号的方法和装置
BRPI0911672A2 (pt) * 2008-04-25 2018-03-13 Thomson Licensing modos de pulo intervisualizações com profundidade
EP3739886A1 (en) * 2011-11-18 2020-11-18 GE Video Compression, LLC Multi-view coding with efficient residual handling
RU2510944C2 (ru) * 2012-07-03 2014-04-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видео последовательности на основе адаптивной локальной коррекции яркости опорных кадров без передачи дополнительных параметров (варианты)
WO2014103606A1 (ja) * 2012-12-26 2014-07-03 シャープ株式会社 画像復号装置
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
US9288507B2 (en) 2013-06-21 2016-03-15 Qualcomm Incorporated More accurate advanced residual prediction (ARP) for texture coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008130716A2 (en) * 2007-04-24 2008-10-30 Thomson Licensing Video coding
CN101911708A (zh) * 2008-01-10 2010-12-08 汤姆森特许公司 帧内预测视频的照明补偿方法和装置
CN103141099A (zh) * 2010-10-01 2013-06-05 杜比实验室特许公司 用于参考图片处理的优化的滤波器的选择

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3D-HEVC Test Model 4;Gerhard Tech;《Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC1/SC29/WG11》;20130617;全文

Also Published As

Publication number Publication date
EP3022932A1 (en) 2016-05-25
KR101917481B1 (ko) 2018-11-09
KR20160032126A (ko) 2016-03-23
CA2915114C (en) 2019-08-27
BR112016000866A2 (zh) 2017-07-25
US9860529B2 (en) 2018-01-02
EP3022932B1 (en) 2021-04-28
US20150023422A1 (en) 2015-01-22
JP6419808B2 (ja) 2018-11-07
WO2015009842A1 (en) 2015-01-22
BR112016000866B1 (pt) 2023-04-11
CA2915114A1 (en) 2015-01-22
CN105379288A (zh) 2016-03-02
JP2016529791A (ja) 2016-09-23

Similar Documents

Publication Publication Date Title
CN105379288B (zh) 处理对视频译码的照明补偿
JP6585200B2 (ja) ビデオコード化における視差ベクトル予測
CN104335589B (zh) 用于视频译码的视图间预测的视差向量产生
CN105874799B (zh) 用于3d视频译码的基于块的高级残差预测
CN105637870B (zh) 使用不对称运动分割的视频译码技术
CN105556969B (zh) 视频译码中使用视差向量的块识别
CN104769949B (zh) 用于视差向量导出的图片的选择的方法和装置
CN105580372B (zh) 用于3d视频译码的组合式双向预测合并候选者
CN104969551B (zh) 可缩放及多视角视频译码中的高级残差预测
CN104170381B (zh) 在高效率视频译码及其扩展中的运动矢量译码及双向预测
CN104322070B (zh) 用于高效率视频译码的高级别语法扩展
CN104904217B (zh) 用于视频译码扩展的时间运动向量预测
CN105122812B (zh) 用于三维(3d)视频译码的高级合并模式
CN104303502B (zh) 对多视图视频数据进行编码、解码和译码的方法、装置及计算机可读存储介质
CN104904218B (zh) 视差矢量推导
CN106664422B (zh) 编码和解码视频数据的方法、装置和计算机可读存储媒体
CN105379282B (zh) 用于纹理译码的先进残余预测(arp)的方法和设备
KR102264104B1 (ko) 백워드 뷰 합성 예측
CN104365103B (zh) 视频译码中的视差向量选择
CN109891890A (zh) 视频译码中基于子pu的双向运动补偿
CN105794211B (zh) 一种编解码视频数据的方法、装置及可读存储媒体
CN105850135B (zh) 用于视频译码的视差向量和/或高级残差预测
CN105794209B (zh) 用于译码深度块的方法和装置
CN106105212A (zh) 简化的子预测单元(sub‑pu)运动参数继承(mpi)
CN105580374B (zh) 一种对多层视频数据进行编解码的方法、视频解码设备及存储媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant