CN111567043B - 对视频数据进行译码的方法、装置和计算机可读存储介质 - Google Patents

对视频数据进行译码的方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111567043B
CN111567043B CN201880085487.4A CN201880085487A CN111567043B CN 111567043 B CN111567043 B CN 111567043B CN 201880085487 A CN201880085487 A CN 201880085487A CN 111567043 B CN111567043 B CN 111567043B
Authority
CN
China
Prior art keywords
candidate
spatial
video
pool
lic flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880085487.4A
Other languages
English (en)
Other versions
CN111567043A (zh
Inventor
韩钰
张凯
钱威俊
M·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN111567043A publication Critical patent/CN111567043A/zh
Application granted granted Critical
Publication of CN111567043B publication Critical patent/CN111567043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种视频译码装置，其包含经配置以存储视频数据的存储器，及与所述存储器通信的处理电路。所述处理电路经配置以确定存储到所述存储器的所述视频数据的当前块待根据合并模式而译码，并根据所述合并模式确定用于所述当前块的与合并候选者列表相关联的时间候选者。所述处理电路经进一步配置以基于具有与所述时间候选者相同的参考图片的池的每一空间候选者确定与所述合并候选者列表相关联的空间候选者的所述池，并基于所述池的一或多个空间候选者的相应局部照明补偿LIC旗标值设定用于所述时间候选者的LIC旗标值。

Description

对视频数据进行译码的方法、装置和计算机可读存储介质
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式处理装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、ITU-T H.265、高效率视频译码(HEVC)标准及这些标准的扩展(包含(但不限于)HEVC的范围扩展、HEVC的屏幕内容译码扩展、三维(3D)HEVC扩展、多视图HEVC扩展(MV-HEVC)、可缩放HEVC (SHVC)扩展等等)中所描述的技术。
在2016年，MPEG及ITU-T VCEG形成了联合探索视频小组(JVET)，以探索用于下一代视频译码标准的新译码工具。由JVET创建的参考软件被称作联合探索模型 (JEM)。视频装置可通过实施根据以下各者中的一或多者的视频压缩技术更有效地发射、接收、编码、解码及/或存储数字视频信息：视频译码标准、扩展、参考软件，或上文所列的处于开发中的未来视频译码标准。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块，其也可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测被编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生用于待译码块的预测性块。残差数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量被编码，且残差数据指示经译码块与预测性块之间的差。经帧内编码块是根据帧内译码模式及残差数据被编码。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生接着可进行量化的残差变换系数。可扫描最初布置成二维阵列的经量化变换系数以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多的压缩。
发明内容
本发明描述在基于块的视频译码、合并模式译码、使用图片次序计数(POC)值以识别经译码视频序列中的个别图片、使用参考图片列表中的与局部照明补偿(LIC)相关的技术，及任选地为其它视频译码技术，例如重叠块运动补偿(OBMC)、应用于帧间预测的加权预测、帧内预测，及/或其它视频译码技术。
在一个实例中，本发明涉及一种译码视频数据的方法。所述方法包含确定视频数据的当前块待根据合并模式而译码，及根据所述合并模式确定用于当前块的与合并候选者列表相关联的时间候选者。所述方法进一步包含基于具有与时间候选者相同的参考图片的池的每一空间候选者确定与所述合并候选者列表相关联的空间候选者的所述池，及基于所述池的一或多个空间候选者的相应局部照明补偿(LIC)旗标值设定用于所述时间候选者的LIC旗标值。
在另一实例中，本发明涉及一种视频译码装置，其包含经配置以存储视频数据的存储器，及与所述存储器通信的处理电路。所述处理电路经配置以确定存储到所述存储器的所述视频数据的当前块待根据合并模式而译码，并根据所述合并模式确定用于所述当前块的与合并候选者列表相关联的时间候选者。所述处理电路经进一步配置以基于具有与所述时间候选者相同的参考图片的池的每一空间候选者确定与所述合并候选者列表相关联的空间候选者的所述池，并基于所述池的一或多个空间候选者的相应局部照明补偿(LIC)旗标值设定用于所述时间候选者的LIC旗标值。
在另一实例中，本发明涉及一种设备。所述设备包含用于确定视频数据的当前块待根据合并模式而译码的装置，及用于根据所述合并模式确定用于当前块的与合并候选者列表相关联的时间候选者的装置。所述设备进一步包含用于基于具有与时间候选者相同的参考图片的池的每一空间候选者确定与所述合并候选者列表相关联的空间候选者的所述池的装置，及用于基于所述池的一或多个空间候选者的相应局部照明补偿(LIC)旗标值设定用于所述时间候选者的LIC旗标值的装置。
在另一实例中，本发明涉及一种非暂时性计算机可读存储媒体，其经编码有指令。所述指令在执行时使视频译码装置的一或多个处理器确定视频数据的当前块待根据合并模式而译码，并根据所述合并模式确定用于当前块的与合并候选者列表相关联的时间候选者。所述指令在执行时进一步使视频译码装置的所述一或多个处理器基于具有与时间候选者相同的参考图片的池的每一空间候选者确定与所述合并候选者列表相关联的空间候选者的所述池，并基于所述池的一或多个空间候选者的相应局部照明补偿(LIC) 旗标值设定用于所述时间候选者的LIC旗标值。
在以下附图及具体实施方式中阐述一或多个实例的细节。其它特征、目标及优点将从具体实施方式、附图及权利要求书显而易见。
附图说明
图1为绘示可利用本发明中所描述的技术的实例视频编码及解码系统的框图。
图2为绘示对于合并模式及高级运动向量预测(AMVP)模式视频译码两者的使用相邻块的空间运动向量候选者导出的框图。
图3为绘示对于合并模式及AMVP模式视频译码两者的时间运动向量预测子(TMVP)候选者导出及MV缩放的框图。
图4为绘示根据照明补偿(IC)模型的使用相邻像素以估计参数的框图。
图5为绘示用于导出用于某些类型的照明补偿的参数的相邻样本的实例的框图。
图6为绘示根据H.263视频译码标准的重叠块运动补偿(OBMC)的方面的概念图。
图7为绘示根据高效率视频译码(HEVC)标准的OBMC的方面的概念图。
图8为绘示根据子预测单元(子PU)层级OBMC技术的其中应用OBMC的子块的概念图。
图9A及9B为绘示用于帧速率向上转换技术的运动估计的实例的概念图。
图10为绘示解码器侧运动向量导出的方面的图解。
图11为绘示解码器侧运动向量导出中的基于镜像的双向运动向量导出的方面的概念图。
图12为绘示视频解码装置可根据HEVC相容解码过程集成pu_dmvd_flag与合并模式的语法所用的解码过程的流程图。
图13为绘示根据高级时间运动向量预测的从参考图片的子PU运动预测的概念图。
图14为绘示具有四个子块的PU及所述PU的相邻块中的一些的实例的图解。
图15为绘示可实施本发明中所描述的技术的实例视频编码器的框图。
图16为绘示可实施本发明中所描述的技术的实例视频解码器30的框图。
图17为绘示视频解码装置可执行本发明的各种技术所用的实例过程的流程图。
图18为绘示视频编码装置可执行本发明的各种技术所用的实例过程的流程图。
具体实施方式
本发明描述与局部照明补偿(LIC)、重叠块运动补偿(OBMC)、应用于帧间预测的加权预测及帧内预测相关的技术，及/或其它视频译码技术。所述技术可在高级视频编解码器(例如下一代视频译码标准，包含(但不限于)当前处于开发中的H.266标准)的背景中使用。根据现有LIC算法，对于合并模式译码块，运动信息及LIC旗标是从合并候选者列表中的候选者导出。因此，时间候选者需要将LIC旗标存储在参考缓冲器中，由此增大了存储器的成本。本发明的技术使视频译码装置能够从空间相邻者及/或空间候选者导出时间候选者的LIC旗标。因而，本发明的技术减轻或潜在地消除了将LIC旗标信息存储在参考缓冲器中的需要。
如本文中所使用，术语“视频译码器”大体上是指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”一般可指视频编码或视频解码。因此，除非另有说明，否则应假定，参考译码所描述的技术可由视频编码器或视频解码器执行。在本申请案的一些部分中，可参考视频解码或参考视频解码器来描述某些技术。然而，不应假定此类技术不适用于视频编码或不可由视频编码器执行。举例来说，此类技术可作为确定如何编码视频数据的部分而执行，或可作为视频编码器中的视频解码环路的部分而执行。
如本发明中所使用，术语当前块是指当前正被译码的块，与已经译码或尚未译码的块相对。类似地，当前译码单元(CU)、预测单元(PU)或变换单元(TU)是指译码单元、预测单元，或当前正被译码的变换单元。
图1为绘示可利用本发明中所描述的技术的实例视频编码及解码系统10的框图。如图1中所展示，系统10包含源装置12，其产生在稍后时间待由目的地装置14解码的经编码视频数据。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本(例如膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手机、所谓的“智能”平板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式处理装置等等。在一些情况下，源装置12及目的地装置14可经配备以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括用以使源装置12能够将经编码视频数据直接即时发射到目的地装置14的通信媒体。可根据通信标准(例如无线通信协议)调制经编码视频数据，且将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于数据包的网络(例如局域网、广域网或例如互联网的全局网络)的部分。通信媒体可包含路由器、交换机、基站，或可用于促进从源装置12到目的地装置14的通信的任何其它设备。
替代地，可将经编码数据从输出接口22输出到存储装置26。类似地，可由输入接口从存储装置26存取经编码数据。存储装置26可包含各种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光(Blu-ray)光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体。在另一实例中，存储装置26可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可从存储装置26经由流式处理或下载来存取经存储视频数据。文件服务器可为能够存储经编码视频数据并将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如用于网站)、FTP服务器、网络连接存储(NAS)装置及本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含互联网连接)而存取经编码视频数据。这可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如Wi-Fi连接)、有线连接(例如DSL、电缆调制解调器等等)或两者的组合。经编码视频数据从存储装置26的发射可为流式处理发射、下载发射或两者的组合。
本发明的技术未必限于无线应用或设定。所述技术可应用于支持多种多媒体应用的视频译码，例如空中电视广播、有线电视发射、卫星电视发射、流式处理视频发射(例如经由互联网)、编码视频数据以供存储在数据存储媒体上、解码存储在数据存储媒体上的视频数据，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射来支持例如视频流式处理、视频回放、视频广播及/或视频电话的应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频捕获装置(例如视频相机)、含有先前捕获的视频的视频存档、用以从视频内容提供者接收视频的视频馈送接口，及/或用于将计算机图形数据产生为源视频的计算机图形系统，或这些源的组合。作为一个实例，如果视频源18为视频相机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线及/或有线应用。
捕获、预捕获或计算机产生的视频可由视频编码器20编码。可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。经编码视频数据也可(或替代地)存储到存储装置26上用于稍后由目的地装置14或其它装置存取，以供解码及/或回放。
目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由链路16 接收经编码视频数据。经由链路16传达或在存储装置26上提供的经编码视频数据可包含由视频编码器20产生的多种语法元素，其供例如视频解码器30的视频解码器在解码所述视频数据时使用。这些语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。大体来说，显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
视频编码器20及视频解码器30可根据例如高效率视频译码(HEVC)标准的视频压缩标准而操作。视频编码器20及视频解码器30还可根据HEVC的各种扩展(包含可缩放视频译码(SVC)扩展、多视图视频译码(MVC)扩展及屏幕内容译码(SCC)扩展)中的一或多者而操作。
替代地或另外，视频编码器20及视频解码器30可根据其它专有或工业标准(例如ITU-T H.264标准，被替代地称作MPEG-4，第10部分，高级视频译码(AVC))或此类标准的扩展而操作。视频译码标准的其它实例包含ITU-T H.261、ISO/IEC MPEG-1Visual、 ITU-TH.262及ISO/IEC MPEG-2Visual、ITU-T H.263。专有视频编解码器的实例包含 GoogleVP8、VP9、VP10，及由其它组织(例如开放媒体联盟)开发的视频编解码器。然而，本发明的技术不限于任何特定译码标准。
本发明的技术可利用HEVC术语，以易于阐释。然而，不应假定本发明的技术限于HEVC，且实际上，明确地预期本发明的技术可实施在HEVC的后续标准中，后续标准包含HEVC的扩展以及下一代标准，包含当前处于开发中的新H.266标准。
联合视频探索小组(JVET)测试模型(也被称为联合探索模型或JEM)为用于未来视频译码标准的测试模型。在JEM中，除了一些模块(包含用于块结构、帧内及帧间预测、残差变换、环路滤波器及熵译码的模块)的设计元件被修改以外，HEVC的基本编码及解码流程图持续不变。JEM还引入了新译码工具。
尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当MUX-DEMUX单元，或其它硬件及软件，以处置共同数据流或单独数据流中的音频及视频两者的编码。适用时，在一些实例中， MUX-DEMUX单元可符合ITU H.223多路复用器协议或其它协议(例如用户数据报协议 (UDP))。
视频编码器20及视频解码器30各自可被实施为多种合适编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术以软件部分地实施时，装置可将用于软件的指令存储在合适非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，编码器或解码器中的任一者可被集成为相应装置中的组合式编码器/解码器(编解码器)的部分。
在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。图片也可被称为“帧”。图片可包含三个样本阵列，被指示为SL、SCb及SCr。SL为亮度样本的二维阵列 (即，块)。SCb为Cb彩度(chrominance)样本的二维阵列。SCr为Cr彩度样本的二维阵列。彩度样本也可在本文中被称作“色度(chroma)”样本。在其它情况下，图片可为单色的，且可仅包含亮度样本阵列。
为产生图片的经编码表示，视频编码器20可产生译码树单元(CTU)的集合。CTU 中的每一者可包括亮度样本的译码树块、色度样本的两个对应译码树块，及用以译码所述译码树块的样本的语法结构。在单色图片或具有三个单独颜色平面的图片中，CTU可包括单一译码树块，及用以译码所述译码树块的样本的语法结构。译码树块可为样本的 N×N块。CTU也可被称作“树块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小且可包含一或多个CU。切片可包含按光栅扫描次序连续地排序的整数数目个CTU。
为产生经译码CTU，视频编码器20可对CTU的译码树块递归地执行四叉树分割，以将译码树块划分成译码块，因此命名为“译码树单元”。译码块可为样本的N×N块。 CU可包括亮度样本的译码块，及具有亮度样本阵列、Cb样本阵列及Cr样本阵列的图片的色度样本的两个对应译码块，以及用于译码所述译码块的样本的语法结构。在单色图片或具有三个单独颜色平面的图片中，CU可包括单一译码块，及用于译码所述译码块的样本的语法结构。
视频编码器20可将CU的译码块分割成一或多个预测块。因此，在CU具有一个PU的情况下，术语CU及PU可在概念上相同。预测块为被应用相同预测的样本的矩形 (即，正方形或非正方形)块。CU的PU可包括亮度样本的预测块、色度样本的两个对应预测块，及用以预测所述预测块的语法结构。在单色图片或具有三个单独颜色平面的图片中，PU可包括单一预测块，及用于预测所述预测块的语法结构。视频编码器20可针对CU的每一PU的亮度预测块、Cb预测块及Cr预测块产生预测性亮度块、Cb块及Cr 块。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本产生PU的预测性块。如果视频编码器20使用帧间预测以产生PU的预测性块，那么视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本产生PU的预测性块。
在视频编码器20产生CU的一或多个PU的预测性亮度块、预测性Cb块及预测性 Cr块之后，视频编码器20可产生CU的亮度残差块。CU的亮度残差块中的每一样本指示CU的预测性亮度块中的一者中的亮度样本与CU的原始亮度译码块中的对应样本之间的差。另外，视频编码器20可产生用于CU的Cb残差块。CU的Cb残差块中的每一样本可指示CU的预测性Cb块中的中一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差。视频编码器20还可产生CU的Cr残差块。CU的Cr残差块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差。
此外，视频编码器20可使用四叉树分割以将CU的亮度残差块、Cb残差块及Cr 残差块分解为一或多个亮度变换块、Cb变换块及Cr变换块。变换块为被应用相同变换的样本的矩形(例如正方形或非正方形)块。CU的TU可包括亮度样本的变换块、色度样本的两个对应变换块，及用以变换所述变换块样本的语法结构。因此，CU的每一TU 可与亮度变换块、Cb变换块及Cr变换块相关联。与TU相关联的亮度变换块可为CU 的亮度残差块的子块。Cb变换块可为CU的Cb残差块的子块。Cr变换块可为CU的 Cr残差块的子块。在单色图片或具有三个单独颜色平面的图片中，TU可包括单一变换块，及用于变换所述变换块的样本的语法结构。
视频编码器20可将一或多个变换应用于TU的亮度变换块以产生TU的亮度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可将系数块量化。量化大体上是指将变换系数量化以可能地减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。
视频编码器20可输出包含形成经译码图片及相关联数据的表示的位序列的位流。位流可包括NAL单元序列。NAL单元为含有NAL单元中的数据的类型的指示的语法结构及含有呈视需要穿插有模拟阻止位的RBSP形式的数据的字节。NAL单元中的每一者包含NAL单元标头，且封装RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP 可为含有封装在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。
不同类型的NAL单元可封装不同类型的RBSP。举例来说，第一类型的NAL单元可封装PPS的RBSP，第二类型的NAL单元可封装经译码切片的RBSP，第三类型的 NAL单元可封装SEI消息的RBSP，等等。封装用于视频译码数据的RBSP(与用于参数集及SEI消息的RBSP相对)的NAL单元可被称作VCL NAL单元。
视频解码器30可接收由视频编码器20产生的位流。此外，视频解码器30可解析位流以从所述位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素而重构视频数据的图片。重构视频数据的过程可与由视频编码器20执行的过程大体上互逆。举例来说，视频解码器30可解码视频数据的图片的当前CU。在此实例中，作为解码当前CU的部分，视频解码器30可反量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行反变换以重构与当前CU的TU相关联的变换块。视频解码器30可通过将当前CU的PU的预测性块的样本与当前CU的TU的变换块的对应样本相加来重构当前CU的译码块，由此解码当前CU。通过重构图片的各CU的译码块，视频解码器30可重构图片。
对于每一块，运动信息集合可供视频编码器20及/或视频解码器30使用。如本文中所使用，每一相应“运动信息集合”含有用于前向方向及后向方向预测的运动信息。如本文中所使用，前向及后向预测方向表示双向预测模式的两个预测方向，且因而术语“前向”及“后向”未必限于特定几何含义。实情为，“前向”及“后向”方向对应于两个参考图片列表，即，当前图片的参考图片列表0(RefPicList0)及参考图片列表1 (RefPicList1)。在仅仅一个参考图片列表可供用于图片或切片的情况下，仅仅RefPicList0 为可用的，且切片的每一块的运动信息始终为前向的。
在一些情况下，视频解码器30可将运动向量连同运动向量的参考索引(在参考图片列表中)一起用于解码过程中。视频编码器20还可在解码中(例如在解码环路或重构环路中)使用运动向量及对应参考索引。具有相关联参考索引的运动向量被标示为“单预测性”运动信息集合。对于每一预测方向，运动信息含有参考索引及运动向量。在一些情况下，为简单起见，可以假定运动向量自身具有相关联参考索引的方式参考所述运动向量。参考索引用于识别当前参考图片列表(RefPicList0或RefPicList1)中的参考图片。每一运动向量具有水平及竖直分量。
图片次序计数(POC)值广泛用于视频译码标准以按显示次序识别图片的位置。尽管一个经译码视频序列内可存在具有相同POC值的两个图片的情况，但此情况是罕见的。当多个经译码视频序列存在于位流中时，具有相同POC值的图片就解码次序来说可彼此更接近定位。视频解码器30(及在一些情况下，视频编码器20)可使用图片的POC值用于参考图片列表构造、如HEVC中的参考图片集导出及/或运动向量缩放中的一或多者。
根据AVC的视频译码的方面在以下段落中予以论述。在H.264/AVC中，每一帧间宏块(MB)可以四种不同方式分割：
·一个16×16MB分割区
·两个16×8MB分割区
·两个8×16MB分割区
·四个8×8MB分割区
一个MB中的不同MB分割区针对每一方向可具有不同参考索引值(RefPicList0或RefPicList1)。当MB并未分割成四个8×8MB分割区时，视频编码器20及/或视频解码器30可使用仅仅一个运动向量用于每一方向中的每一MB分割区。
当MB被分割成四个8×8MB分割区时，每一8×8MB分割区可进一步被分割成子块，所述子块中的每一者在每一方向可具有不同运动向量。存在从8×8MB分割区获得子块的四种不同方式，即：
·一个8×8子块
·两个8×4子块
·两个4×8子块
·四个4×4子块
在从8×8MB的分割获得子块的情况下，每一子块可在每一方向具有不同运动向量。因此，在从8×8MB的分割获得子块的情况下，视频编码器20及/或视频解码器30可使用存在于等于或高于子块的层级中的运动向量。
在AVC中，视频编码器20及/或视频解码器30可使时间直接模式能够在B切片中针对跳过或直接模式在MB或MB分割区层级启用。对于每一MB分割区，与当前块的RefPicList1[0]中的当前MB分割区同置的块的运动向量可用以导出运动向量。同置块中的每一运动向量可基于POC距离而缩放。在AVC中，直接模式还可从空间相邻者预测运动信息。
根据HEVC的视频译码的方面在以下段落中予以描述。在HEVC中，切片中的最大译码单元被称作译码树块(CTB)。CTB含有四叉树，所述四叉树的节点为译码单元。CTB 的大小可在HEVC主规范中的16×16到64×64的范围内(但还可支持8×8CTB大小)。译码单元(CU)可与CTB具有相同大小，且小到8×8。每一CU是根据一个译码模式来译码。当CU被帧间译码时，则CU可进一步分割成两(2)个或四(4)个预测单元(PU)，或当不应用另一分割时变为仅一个PU。如果两个PU存在于一个CU中，那么PU可为相等大小的矩形(CU的大小的一半)，或具有CU的大小的四分之一(1/4)及四分之三(3/4)的不同大小的矩形。如果CU被帧间译码，那么针对每一PU提供运动信息的一个集合。另外，每一PU是运用唯一帧间预测模式来译码以导出运动信息集合。
对于HEVC中的运动预测，在HEVC标准中，存在两个帧间预测模式。对于给定PU，两个帧间预测模式分别被称为合并模式(跳过模式被视为合并的特殊情况)及高级运动向量预测(AMVP)模式。在AMVP或合并模式中，视频编码器20及视频解码器30可维持运动向量(MV)候选者列表，其中多个运动向量预测子在相应MV候选者列表中。视频编码器20及视频解码器30可通过从MV候选者列表取得一个候选者产生当前PU的运动向量，以及参考索引(在合并模式的情况下)。
MV候选者列表可含有针对合并模式的至多五(5)个候选者及针对AMVP模式的仅两(2)个候选者。合并候选者可含有运动信息集合，例如对应于两个参考图片列表(列表0 及列表1)的运动向量及参考索引。根据合并模式译码，如果由合并索引识别合并候选者，那么视频编码器20及视频解码器30可使用参考图片用于当前块的预测，以及用于确定相关联运动向量。如上文所描述，合并候选者对应于运动信息的整个集合，而AMVP 候选者仅含有用于特定预测方向的一个运动向量及参考索引。
相比之下，在AMVP模式下，对于从列表0或列表1的每一潜在预测方向，视频编码器20明确地将参考索引连同针对MV候选者列表的MVP索引一起用信号发送，这是因为AMVP候选者仅含有运动向量。在AMVP模式中，可进一步改进经预测运动向量。因而，在AMVP模式下，视频解码器30可在经编码视频位流中接收针对每一预测方向的参考索引及MVP索引。针对预测方向的参考索引指示针对预测方向的参考图片列表中的参考图片。针对预测方向的MVP索引指示针对预测方向的MV候选者列表中的候选者。用于合并模式及AMVP模式两者的候选者类似地从相同空间相邻块及时间邻近块导出。
当视频译码器为视频编码器时，技术可进一步包含将视频数据存储在无线通信装置的存储器中，在无线通信装置的一或多个处理器上处理视频数据，及从无线通信装置的发射器发射视频数据。举例来说，无线通信装置可包含电话手机，且所述电话手机可在无线通信装置的发射器处通过根据无线通信标准调制包括视频数据的信号来发射视频数据。
图2为绘示对于合并模式及AMVP模式视频译码两者使用相邻块的空间MV候选者导出的框图。图2绘示从针对特定PU(PU0)所展示的相邻块的空间MV候选者导出。用于从块产生候选者的技术在合并模式与AMVP模式之间不同。根据合并模式，视频编码器20及视频解码器30可根据在图2的(a)段中运用编号展示的次序导出至多四个空间 MV候选者。即，针对图2中的合并模式空间MV产生所绘示的次序如下：左侧(0)、上方(1)、右上方(2)、左下方(3)及左上方(4)，如图2的(a)段中所示。
图的(b)段绘示对于AMVP模式的空间MV候选者导出的排序。根据AMVP模式，视频编码器20及视频解码器30可将相邻块分成两个群组，即：由块0及1组成的左侧群组，及由块2、3及4组成的上方群组，如图2的(b)段中所示。对于每一群组，参考与由视频编码器20用信号发送的参考索引所指示的参考图片相同的参考图片的相邻块中的潜在候选者具有待由视频解码器30选择的最高优先权以形成所述群组的最终候选者。在一些情况下，相邻块中无一者含有指向与由视频编码器20用信号发送的数据中指示的参考图片相同的参考图片的运动向量。在此情况下，即，如果视频解码器30不能找到为参考与用信号发送的索引中所指示的参考图片相同的参考图片的相邻块的候选者，那么视频解码器30可缩放第一可用候选者以形成最终候选者，且因此时间距离差可得以补偿。
图3为绘示对于合并模式及AMVP模式视频译码两者的时间MV预测子(TMVP)候选者导出及MV缩放的框图。如果TMVP经启用及可用，那么视频编码器20及视频解码器30可将TMVP候选者添加到MV候选者列表(无论用于合并模式还是AMVP模式译码)。更具体地说，视频编码器20及视频解码器30可在将全部空间MV候选者添加到列表之后将TMVP(如果启用及可用)添加到MV候选者列表。对于合并模式及AMVP 模式两者，用于TMVP候选者的运动向量导出的过程为相同的。
然而，对于合并模式，视频编码器20始终将合并模式中的TMVP候选者的目标参考索引设定成零(0)并在用信号发送TMVP参考索引的情况下用信号发送参考索引(0)。 TMVP候选者导出的主块位置为如图3的(a)段中展示为块“T”的同置PU外部的右下块。使用用于TMVP导出的右下块可补偿通过使用上方及左侧块产生空间相邻候选者引入的对于上方及左侧块的偏斜或偏差。
然而，如果在同置PU外部的右下块定位在译码树块(CTB)的当前行的外部，或如果运动信息并不可供用于在同置PU外部的右下块，那么视频编码器20及视频解码器30 可用PU的中心块取代所述块。取代使用情况情境借助于指向PU0的中心块的虚线箭头在图3的(a)侧绘示。用于TMVP候选者的运动向量是从切片层级处所指示的同置图片的同置PU导出。类似于AVC中的时间直接模式，TMVP候选者的运动向量为经执行以补偿距离差的运动向量缩放。适用于合并模式及AMVP模式译码两者的TMVP缩放的方面在图3的(b)段中予以绘示。
HEVC中的合并候选者列表产生的方面在以下段落中予以论述。如图2的(a)段中所示，用于合并模式的空间相邻选择的次序如下：左侧(0)、上方(1)、右上方(2)、左下方(3)。如果上述列出的候选者中的一者不可用，那么视频编码器20及视频解码器30可检查图 2的(a)段中所绘示的左上方候选者(4)。接着，视频编码器20及视频解码器30可通过首先检查右下方块检查如图3中所示的时间候选者，且如果右下方块并不可用，那么检查中心块。
如果列表大小小于五(<5)个候选者，那么视频编码器20及视频解码器30可添加额外候选者以固定列表大小，即，使列表大小至多等于五(5)。HEVC中的运动预测的其它方面包含运动向量缩放、人造运动向量候选者产生，及用于候选者插入到列表中的修剪过程。这些方面可在各种情境中，应用于合并及AMVP模式两者。
对于运动向量缩放，假定运动向量的值与呈现时间中的图片的距离成比例。运动向量使两个图片(即，参考图片及含有运动向量的图片(也被称作“含有图片”))相关联。如果视频编码器20及视频解码器30使用运动向量来预测另一运动向量，那么视频编码器 20及视频解码器30可基于含有图片及参考图片的POC值计算含有图片与参考图片之间的距离。
对于待预测的运动向量，含有图片及参考图片两者可不同。因此，视频编码器20及视频解码器30可基于含有图片及参考图片的POC值计算新距离。随后，视频编码器 20及视频解码器30可基于这两个POC值之间的距离缩放运动向量。对于空间相邻候选者，用于两个运动向量的含有图片相同，而参考图片不同。在HEVC中，运动向量缩放适用于空间及时间相邻候选者的TMVP及AMVP两者。
对于人造运动向量候选者产生，如果运动向量候选者列表不完整，那么视频编码器 20及视频解码器30可产生人造运动向量候选者，并在列表末尾插入人造运动向量候选者，直到所述列表包含用于相应模式(合并或AMVP)的必需数目个候选者。
合并模式译码提供两种类型的人造MV候选者：仅针对B切片导出的组合候选者，及零候选者。基于AMVP模式译码仅仅使用零候选者作为人造MV候选者。对于已经在候选者列表中且具有必要运动信息的每一对候选者，视频编码器20及视频解码器30 可由参考列表0中的图片的第一候选者的运动向量与参考列表1中的图片的第二候选者的运动向量的组合导出双向组合运动向量候选者。
用于候选者插入的修剪过程是指视频编码器20及视频解码器30处理恰巧相同(例如具有相同运动信息)但从不同块导出的候选者所用的过程。包含在候选者列表中的相同候选者的冗余减小了合并或AMVP候选者列表的效率。为减轻或消除由具有列表中的相同候选者引起的减小的效率，视频编码器20及视频解码器30可应用修剪过程，视频编码器20及视频解码器30通过所述修剪过程将当前候选者列表中的一个候选者与一或多个其它候选者相比较。随后，视频编码器20及视频解码器30可基于所述比较消除除了相同候选者的第一例子以外的全部例子。以此方式，视频编码器20及视频解码器30可至少在一定程度上避免将相同候选者插入在给定候选者列表中。为减小修剪的计算复杂性，视频编码器20及视频解码器30可仅仅应用有限数目个修剪过程例子，而非比较每一潜在候选者与全部其它现有候选者。
下文论述JVET的各种运动预测技术。在标题为“TE12:Performance of PartitionBased Illumination Compensation(PBIC)”的提案中，描述了文献JCTVC-C041，基于分割的照明补偿(PBIC)。PBIC不同于加权预测(WP)，其中视频编码器20及视频解码器30 可启用/停用WP，且视频编码器20在切片层级用信号发送WP参数。相比之下，根据 PBIC，视频编码器20及视频解码器30可启用/停用照明补偿(IC)，且视频编码器20可在PU层级用信号发送IC参数以处置局部照明变化。类似于WP，缩放因数(也由a标示) 及偏移(也由b标示)用于IC，且移位数目固定到六(6)。
视频编码器20可编码用于每一PU的IC旗标，其中IC旗标指示IC是否适用于当前PU。随后，视频编码器20可将用于每一PU的经编码IC旗标用信号发送到视频解码器30。如果IC适用于当前PU(即，如果IC旗标经设定成当前PU的真值)，那么视频编码器20可将IC参数的集合(即，a及b)用信号发送到视频解码器30。IC参数用于运动补偿。在双向预测的情况下，视频编码器20可将两个缩放因数(每一预测方向一个) 及一个偏移用信号发送到视频解码器30。为减小位速率(例如通过节省耗费在用信号发送IC参数上的位)，视频编码器20可使用与用于亮度分量的缩放因数相同的用于色度分量的缩放因数，且可使用一百二十八(128)的固定偏移值。
在3D-HEVC中，IC经启用用于视图间预测。不同于WP及PBIC(其中明确地用信号发送IC参数)，基于3D-HEVC的IC基于当前CU的相邻样本及参考块的相邻样本导出IC参数。在3D-HEVC中，IC应用于仅仅2N×2N分割模式。对于AMVP模式，视频编码器20可对于从视图间参考图片预测的每一CU用信号发送一个IC旗标。对于合并模式，为减小位速率，视频编码器20可仅仅在PU的合并索引不等于零(0)的情况下用信号发送IC旗标。IC不应用于仅从时间参考图片预测的任一CU。
下文论述IC参数的导出。用于视图间预测的线性IC模型经展示在以下方程式(1)中：
p(i,j)＝a*r(i+dvx,j+dvy)+b，其中(i,j)∈PUc (1)
在上述方程式(1)中，PUc为当前PU，(i,j)为经设定用于PUc中的像素的坐标，(dvx,dvy) 为PUc的视差向量(其用以识别对应于视图间译码的相同对象的不同视图中的块)。p(i,j) 为PUc的预测，且r为来自相邻视图的PU的参考图片。在上述方程式(1)中，a及b为线性IC模型的参数。视差向量PUc、(dvx,dvy)i与3D视频译码及视图间预测相关联。
图4为绘示根据照明补偿(IC)模型的使用相邻像素以估计参数的框图。视频编码器 20及视频解码器30可使用当前PU的视差向量找到当前CU(在图4中左侧展示)的参考块(在图4中右侧展示)。为估计PU的参数a及b，视频编码器20及视频解码器30可使用如图4中所示的两个像素集合。即，视频编码器20及视频解码器30可使用：(1)当前 CU(即，含有当前PU的CU)的最左边列及最顶端行中的可用经重构相邻像素的集合，及(2)当前CU的参考块的对应相邻像素(即，最左边列及最顶端行)的集合。视频编码器 20及视频解码器30可通过使用当前PU的视差向量定位当前CU的参考块。
让Recneig及Recrefneig分别标示当前CU的所使用相邻像素集合及其参考块，且让2N标示Recneig及Recrefneig中的像素数目。接着，a及b可根据以下方程式(2)及(3)计算：
Figure BDA0002570435490000151
Figure BDA0002570435490000161
在一些情况下，仅a用于线性模型中，且b始终设定为等于零(0)。在其它情况下，仅b用于线性模型中，且a始终设定为等于一(1)。
下文论述加权预测的方面。HEVC支持加权预测(WP)，其中缩放因数(由a标示)、移位数目(由s标示)及偏移(由b标示)用于运动补偿。假设参考图片的位置(x,y)中的像素值为p(x,y)，则p'(x,y)＝((a*p(x,y)+(1<<(s-1)))>>s)+b(而非p(x,y))用作运动补偿中的预测值。
当WP启用时，对于当前切片的每一参考图片，视频编码器20可用信号发送旗标以指示WP是否适用于相应参考图片。如果WP适用于给定参考图片(即，如果旗标经设定为‘真’值(即，值‘真’))，那么视频编码器20可将WP参数集合(即，a、s及b) 用信号发送到视频解码器30，且可使用WP参数集合用于从参考图片的运动补偿。为灵活地开启或关闭用于亮度及色度分量的WP，视频编码器20可独立地用信号发送WP旗标及用于亮度及色度分量的WP参数。根据WP，WP参数的相同集合(即，仅一个集合) 用于一个参考图片中的全部像素。
图5为绘示用于导出用于某些类型的照明补偿的参数的相邻样本的实例的框图。图 5的左侧的附图表示当前CU，且图5的右侧的附图表示包含在当前CU中的PU1的参考块。实心黑圆(用于图5中的左侧的当前CU的附图)表示当前CU的相邻样本，而运用‘X’标记的圆(用于图5中的右侧的list0中的PU1的参考块的附图)表示参考块的相邻样本。
局部照明补偿(LIC)为视频编码器20及视频解码器30可利用的视频译码工具。在JEM中，使用缩放因数a及偏移b，基于照明变化的线性模型开发LIC。LIC可经启用或停用，且启用/停用状态可映射到每一模式间CU的旗标的值。当LIC应用于CU时，视频编码器20及视频解码器30可采用最小平方误差方法以使用当前CU的相邻样本及对应参考样本导出参数a及b。更具体地说，如图5中所绘示，视频编码器20及视频解码器30可使用CU的子取样相邻样本及参考图片中的对应像素(由当前CU或子CU的运动信息识别)。用于当前CU的子取样格式为2:1子取样格式。IC参数被导出且针对每一预测方向独立地应用。
如果根据合并模式译码(即，编码及解码)CU，那么视频编码器20及视频解码器30可以类似于合并模式中的运动信息复制的方式从相邻块复制CU的LIC旗标。否则，视频编码器20可将CU的LIC旗标用信号发送到视频解码器30，以指示LIC是否应用于经编码CU。当LIC应用于CU时，在方向k上的预测信号由下式产生
predLIC(i,j,k)＝a·pred(i,j,k)+b (4)
其中predLIC(i,j,k)表示参考列表k(k＝0或1)中的最终预测信号且pred(i,j,k)表示基于一些帧间预测信息(例如来自参考列表k的参考索引及运动向量信息)的预测信号。视频编码器20及视频解码器30可通过最小化围绕当前块的相邻经重构及经预测样本之间的回归误差导出参数a及b。
现在将描述LIC的一个实例实施方案，但本发明的技术不限于LIC的任一特定实施方案且可与其它实施方案兼容。在此实例实施方案中，对于每一模式间译码CU，就使用LIC用于模式间译码CU来说，视频编码器20可明确地用信号发送一位旗标，或视频解码器30可隐式地导出所述一位旗标的值。在旗标经设定成‘真’值的情况下，视频解码器30可隐式地导出属于CU的每一PU或子PU的LIC参数。即，视频解码器30 可通过使用当前CU的相邻样本(使用图5的左侧附图中的黑圆展示)及参考图片中的对应像素(使用图5的右侧附图中的运用‘X’标记的圆展示)隐式地导出用于每一PU或子 PU的LIC参数。调查LIC已展示可以照明方差按序实现显著位速率节省，如由LIC所提供。
图6为绘示根据H.263的重叠块运动补偿(OBMC)的方面的概念图。在H.263的开发中提议了OBMC。视频编码器20及视频解码器30可对8×8块执行OBMC，且可使用当前块的两个连接相邻8×8块的运动向量，如图6中所示。举例来说，对于当前宏块中的第一8×8块，除了当前8×8块的自身运动向量以外，视频编码器20及视频解码器30 还可应用上方及左侧相邻运动向量以产生两个额外预测块。以此方式，当前8×8块中的每一像素可具有三个预测值，且视频编码器20及视频解码器30可使用三个预测值的加权平均作为当前8×8块中的每一相应像素的最终预测。
在相邻块未经译码或经帧内译码的情况下，视频编码器20及视频解码器30确定相邻块不具有可用运动向量。在这些情境中，视频编码器20及视频解码器30可使用当前 8×8块的运动向量作为相邻运动向量。同时，对于当前宏块的第三及第四8×8块(如图6 中所示)，视频编码器20及视频解码器30可从未使用下方相邻块。换句话说，对于每一宏块(MB)，视频编码器20及视频解码器30可在OBMC过程期间使用非来自当前MB 下方的MB的运动信息以重构当前MB的像素。
图7为绘示根据HEVC的OBMC的方面的概念图。在HEVC的开发中，OBMC经提议以使PU边界平滑。图7的(a)段及(b)段各自绘示包含两个PU的CU。在图7的(a) 段及(b)段两者中，具有实心线边界的像素属于PU0，而具有虚线边界的像素属于PU1。如图7中所示，如果CU含有两个或多于两个PU，那么视频编码器20及视频解码器30 可使用OBMC以使靠近PU边界的线及/或列平滑。对于图7的PU0或PU1中的运用“A”或“B”标记的像素，视频编码器20及视频解码器30可产生两个预测值。举例来说，视频编码器20及视频解码器30可通过分别应用PU0及PU1的运动向量，及使用预测值的加权平均作为相应像素的最终预测而产生用于标记为“A”或“B”的像素的预测值。
图8为绘示根据子PU层级OBMC技术的其中应用OBMC的子块的概念图。子PU 层级OBMC经应用于当前JEM配置中。根据JEM的子PU层级OBMC，OBMC经执行用于除了CU的右侧及底部边界以外的全部运动补偿(MC)块边界。此外，根据JEM的子PU层级OBMC，视频编码器20及视频解码器30可将OBMC应用于亮度及色度分量两者。在HEVC中，MC块对应于PU。在JEM中，当运用子PU模式译码PU时，PU 的每一子块为MC块。为以均匀方式处理CU/PU边界，视频编码器20及视频解码器30 可对于全部MC块边界执行在子块层级的OBMC，其中子块大小设定成等于4×4，如图 8中所绘示。
当OBMC应用于当前子块时，除了当前运动向量以外，视频编码器20及视频解码器30还可使用四个连接相邻子块的运动向量(如果可用且与当前运动向量不一致)，以导出当前子块的预测块。视频编码器20及视频解码器30可基于多个运动向量加权多个预测块以产生当前子块的最终预测信号。
以下论述基于相邻子块的运动向量将预测块标示为PN，其中N指示用于相邻上方、下方、左侧及右侧子块的索引，且基于当前子块的运动向量将预测块标示为PC。如果 PN属于与PC相同的PU(且因此含有相同运动信息)，那么视频编码器20及视频解码器 30不从PN执行OBMC。否则，视频编码器20及视频解码器30可将PN的每一像素添加到PC中的相同像素。即，如果PN不属于与PC相同的PU，那么PN的四行/列被添加到 PC。
视频编码器20及视频解码器30可使用加权因数{1/4、1/8、1/16、1/32}用于PN且可使用加权因数{3/4、7/8、15/16、31/32}用于PC。例外状况是较小MC块，(例如当PU 大小等于8×4、4×8或PU是以高级时间运动向量预测(ATMVP)模式)译码时)，为此，视频编码器20及视频解码器30可将PN的仅仅两行/列添加到PC。在这些情况下，视频编码器20及视频解码器30可使用加权因数{1/4、1/8}用于PN且可使用加权因数{3/4、7/8} 用于PC。对于基于竖直相邻子块的运动向量产生的PN，视频编码器20及视频解码器30 可将PN的相同行中的像素添加到具有相同加权因数的PC。对于基于水平相邻子块的运动向量产生的PN，视频编码器20及视频解码器30可将PN的相同列中的像素添加到具有相同加权因数的PC。
对于PU边界，视频编码器20及视频解码器30可将OBMC应用于边界的每一侧。如图8中所示，可沿PU1与PU2之间的边界两次应用OBMC。首先，运用PU2的MV 将OBMC应用于沿PU1内部的边界的虚线接界块。其次，运用PU1的MV将OBMC 应用于沿PU2内部的边界的虚线接界块。相比之下，OBMC应用于CU边界的一侧，这是因为当译码当前CU时，已经译码的CU不能改变。
图9A及9B为绘示用于帧速率向上转换技术的运动估计的实例的概念图。帧速率向上转换(FRUC)技术用来基于低帧速率视频产生高帧速率。FRUC已广泛用于显示器行业。FRUC算法可分成两种类型。一种类型的FRUC算法通过简单帧重复或平均而内插中间帧。在一些情况下，此类型的FRUC算法可提供含有相对高数量运动的图片中的不当结果。另一种类型的FRUC算法(被称作运动补偿FRUC(MC-FRUC))在其产生中间帧时考虑对象移动。MC-FRUC技术由两个步骤组成，即，运动估计(ME)及运动补偿内插 (MCI)。MC-FRUC的ME部分产生运动向量(MV)，其使用向量表示对象运动。MC-FRUC 的MCI部分使用MV以产生中间帧。
块匹配算法(BMA)广泛用于MC-FRUC中的ME，这是因为BMA实施起来相对简单。根据BMA，视频编码器20可将图像划分成多个块，并检测所得块的运动。两个种类的 ME主要用于BMA：即，单侧ME及双侧ME。图9A绘示用于FRUC的单侧ME。根据单侧ME，视频编码器20可通过从当前帧的参考帧搜索最佳匹配块获得MV。接着，视频编码器20可在内插帧中的运动轨迹上定位块，使得获得MV。
如图9A中所示，三个帧中的三个块被涉及，以遵循运动轨迹。尽管当前帧中的块属于图9A中的经译码块，但参考帧中的最佳匹配块可并不完全属于经译码块，沿(fallsalong)运动轨迹的内插帧中的块也不属于经译码块。因此，块与未填充区(孔)的重叠区可出现在内插帧中。
为处置重叠，简单FRUC算法涉及平均化及覆写经重叠像素。此外，孔由来自参考或当前帧的像素值覆盖。然而，这些简单FRUC算法可导致块伪影及/或模糊。因此，已提议了运动场分段、使用离散哈脱莱变换的相继外推及图像修复，以潜在地处置孔及重叠而不增大块伪影及/或模糊。
图9B绘示用于FRUC的双侧ME。如图9B中所示，双侧ME为可用以避免由重叠及孔引起的问题的另一解决方案(在MC-FRUC中)。根据双侧ME，视频编码器20使用参考帧与当前帧的块之间的时间对称性通过中间帧中的块获得MV。结果，当实施双侧 ME时，视频编码器20不产生重叠或孔。因为当前块经假设为正被处理的块，所以根据某一次序(例如如在视频译码的情况下)，一连串这些块将在不重叠情况下覆盖中间图片的全部。举例来说，在视频译码的情况下，视频编码器20及视频解码器30可以解码次序处理块。因此，如果FRUC概念可并入到视频译码框架中，那么此技术可更合适。
图10为绘示解码器侧运动向量导出的方面的图解。一种类型的解码器侧运动导出(DMVD)为基于模板匹配的DMVD，其在图10中予以绘示。随着视频编解码器的连续进展，位流中专用于运动信息的位的百分比继续增加。为了减小运动信息的位成本而提议了DMVD。基于模板匹配的DMVD得到显著的译码效率提高。图10中绘示模板匹配技术。根据图10中所绘示的模板匹配技术，视频解码器30可搜索参考帧中的模板的最佳匹配，而非搜索预测目标的最佳匹配，所述预测目标为由视频解码器30处理的当前块。假定模板及预测目标来自同一对象，则视频解码器30可将模板的运动向量用作预测目标的运动向量。
因为模板匹配是在视频编码器20及视频解码器30两者处实施，所以运动向量可在解码器侧导出以避免信号发送成本。换句话说，通过实施DVMD，视频解码器30可减小视频编码器20用信号发送的位流的位计数，这是因为视频编码器20可消除原本将用以用信号发送运动信息的若干位。以此方式，DMVD可减小视频译码技术中的带宽消耗。
图11为绘示解码器侧运动向量导出中的基于镜像的双向运动向量导出的方面的概念图。除了上文所论述的DMVD类别以外，基于镜像的双向MV导出还为另一类别的 DMVD。基于镜像的双向MV导出的方面类似于FRUC中的双向ME。使用具有分数样本准确度的围绕搜索中心的中心对称运动估计应用基于镜像的MV导出。
根据用于DMVD的基于镜像的双向MV导出，视频编码器20可在经编码视频位流中预定义及用信号发送搜索窗的大小及/或位置。在图11中，“dMV”表示视频编码器 20可与PMV0相加并从PMV1减去以产生由MV0及MV1组成的MV对的偏移。视频编码器20可检查搜索窗内部的dMV的所有值，且可将L0参考块与L1参考块之间的绝对差总和(SAD)用作中心对称运动估计的测量。
视频编码器20可选择具有最小SAD的MV对作为中心对称运动估计的输出。因为基于镜像的双向MV导出可需要未来参考(例如按解码次序在比当前帧稍后的时间位置处的参考)及较早参考(例如按解码次序在比当前帧稍早的时间位置处的参考)用于SAD 匹配，所以其不能应用于其中前者参考可用的P帧或低延迟B帧。
在与基于镜像的双向MV导出相关的提议中，进一步提议组合基于镜像的双向MV导出与HEVC中的合并模式。在基于镜像的双向MV导出与合并模式译码的所提议组合中，视频编码器20可编码及用信号发送用于B切片的PU的被称作“pu_dmvd_flag”的旗标以指示DMVD模式是否应用于当前PU。因为DMVD模式不明确地使视频编码器 20在位流中发射任何MV信息，所以解码过程可在HEVC解码过程中集成pu_dmvd_flag 与合并模式的语法。
图12为绘示解码过程的流程图，视频解码器30可通过所述解码过程根据HEVC相容解码过程集成pu_dmvd_flag与合并模式的语法。即，图12的流程图绘示PU解码的实例过程，其中pu_dmvd_flag被添加。根据合并候选者导出的修改，两个额外合并候选者经引入以提高译码性能。根据合并候选者导出的此修改，视频编码器20及视频解码器30可将PU拆分成正方形N×N子PU(例如N可设定为4)。视频编码器20及视频解码器30可遵循光栅扫描次序递归地导出子PU的运动向量。
图13为绘示根据高级时间运动向量预测的从参考图片的子PU运动预测的概念图。高级时间运动向量预测(ATMVP)经提议以允许视频译码装置获得用于每一PU的多个运动信息集合(包含运动向量及参考帧)。ATMVP中的运动信息仅仅来自参考图片。为根据用于当前PU的ATMVP导出时间运动向量，确定其中时间运动向量待提取的第一步骤。第一步骤的执行按以下次序找到五个相邻块中的第一可用运动向量：左侧、上方、右上方、左下方及左上方。
用于ATMVP的五个相邻块的定义与当前PU的空间合并候选者相同。为避免相邻块的重复扫描过程，视频编码器20及视频解码器30可仅仅找到已经导出的合并候选者列表中的第一合并候选者的运动向量，以确定从何处提取时间运动向量。PU拆分成正方形N×N子PU(例如其中N设定成值4)。视频编码器20及视频解码器30可遵循光栅扫描次序递归地导出子PU的运动向量。
图14为绘示具有四个子块的PU及所述PU的相邻块中的一些的实例的图解。在合并模式译码的一些实施方案中，视频编码器20及视频解码器30可将时空运动向量预测子导出为额外候选者。时空运动向量预测子(SPMVP)不仅考虑时间运动向量预测子，而且考虑空间运动向量预测子。通过平均两个空间运动向量预测子及一个时间运动向量预测子的运动信息，视频编码器20及视频解码器30可产生用于每一子PU的额外合并候选者，以实现另外
Figure BDA0002570435490000211
德耳塔(BD)速率减小。BD速率对应于相同峰值信噪比 (PSNR)的平均位速率差(表达为百分比)。
对于SPMVP候选者的导出，视频编码器20及视频解码器30使用两个空间相邻者及一个时间运动预测子以导出当前PU的每一子PU的运动向量。图14的段(a)绘示SPMVP候选者的导出过程的方面。如图14的段(a)中所示，视频编码器20及视频解码器30可将PU分成正方形N×N子PU(例如N可设定成值4)。视频编码器20及视频解码器30可根据光栅扫描次序递归地导出子PU的运动向量。考虑含有标记为图14中的 A、B、C及D的四个4×4子PU的8×8PU，当前帧中的相邻N×N块标记为图14中的 a、b、c及d。
为导出子PU A的运动，视频编码器20及视频解码器30可使用两个空间相邻者(b及c)及一个时间运动预测子(D)。用于SPMVP的所提议导出经展示在图14的段(b)中。 SPMVP导出技术使用两个空间相邻者(b及c)及两个时间运动预测子(B及C)来导出子 PU“A”的运动。
根据上文所描述的各种技术及如图2的(a)段中所示的合并候选者列表产生可以如下次序描述如下：左(0)、上(1)、右上(2)、左下(3)。
·检查ATMVP候选者。
·检查STMVP候选者。
·如果其中的一者不可用，那么检查左上(4)。
·接着，检查如图3中所示的时间候选者，首先检查右下，且如果右下不可用，那么检查中心块。
·如果列表大小小于七(<7)，那么添加额外候选者以将列表大小固定为等于7。
图15为绘示可实施本发明中所描述的技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的相邻帧或图片内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。帧间模式(例如单向预测(P模式)或双向预测(B模式))可指若干基于时间的压缩模式中的任一者。
在图15的实例中，视频编码器20包含视频数据存储器33、分割单元35、预测处理单元41、求和器50、变换处理单元52、量化单元54、熵编码单元56。预测处理单元 41包含运动估计单元(MEU)42、运动补偿单元(MCU)44、帧内预测处理单元46及帧内块副本(IBC)单元48。尽管为了易于阐释而在图15中单独地展示，但应理解，MEU 42、 MCU 44、帧内预测处理单元46及IBC单元48可实际上高度地集成。对于视频块重构，视频编码器20还包含反量化单元58、反变换处理单元60、求和器62、滤波器单元64 及经解码图片缓冲器(DPB)66。
如图15中所展示，视频编码器20接收视频数据并将所接收的视频数据存储在视频数据存储器33中。视频数据存储器33可存储待由视频编码器20的组件编码的视频数据。可例如从视频源18获得存储在视频数据存储器33中的视频数据。DPB 66可为存储参考视频数据以用于由视频编码器20编码视频数据(例如在帧内或帧间译码模式中) 的参考图片存储器。视频数据存储器33及DPB 66可由例如动态随机存取存储器(DRAM) 的各种存储器装置中的任一者形成，所述存储器装置包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器33 及DPB 66可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器33可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
分割单元35从视频数据存储器33检索视频数据并结合预测处理单元41将视频数据分割成视频块。此分割还可包含分割成切片、图块或其它较大单元，以及例如根据LCU 及CU的四叉树结构的视频块分割。尽管出于实例的目的而单独地展示，但分割单元35 及预测处理单元41可高度地集成，且分割单元35及预测处理单元41两者可执行确定如何分割视频的图片的过程的方面。视频编码器20大体上绘示编码待编码的视频切片内的视频块的组件。切片可划分成多个视频块(且可能划分成被称作图块的视频块集合)。预测处理单元41可基于误差结果(例如译码速率及失真等级)选择多个可能译码模式中的一者(例如多个帧内译码模式中的一者或多个帧间译码模式中的一者)用于当前视频块。预测处理单元41可将所得经帧内或帧间译码块提供到求和器50以产生残差块数据，且提供到求和器62以重构经编码块以用作参考图片。
预测处理单元41内的帧内预测处理单元46可执行当前视频块相对于与待译码的当前块相同的帧或切片中的一或多个相邻块的帧内预测性译码以提供空间压缩。对于一些CU，帧内预测处理单元46可如上文所描述而编码块。预测处理单元41内的MEU 42 及MCU 44执行当前视频块相对于一或多个参考图片中的一或多个预测性块的帧间预测性译码以提供时间压缩。由MEU 42执行的运动估计为产生运动向量的过程，其估计视频块的运动。举例来说，运动向量可指示将当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的移位。在一些实例中，IBC可被视为帧间预测的特殊情况，在此情况下归于IBC单元48的功能性可被视为由MCU 42及/或MCU 44执行。对于一些块，MCU 42及/或MCU 44可如上文所描述而执行LIC。
预测性块为被找到就像素差来说紧密地匹配待译码的视频块的PU的块，所述像素差可由绝对差和(SAD)、平方差和(SSD)或其它差度量确定。在一些实例中，视频编码器 20可计算存储在DPB 66中的参考图片的子整数像素位置的值。举例来说，视频编码器 20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，MEU42可执行相对于完整像素位置及分数像素位置的运动搜索并输出具有分数像素精确度的运动向量。
MEU 42通过比较PU的位置与参考图片的预测性块的位置计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中的每一者识别存储在DPB 66中的一或多个参考图片。 MEU42将计算的运动向量发送到熵编码单元56及MCU 44。
由MCU 44执行的运动补偿可涉及基于由运动估计确定的运动向量提取或产生预测性块，可能执行到子像素精度的内插。在接收到当前视频块的PU的运动向量后，MCU 44就可定位运动向量在参考图片列表中的一者中所指向的预测性块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值来形成残差视频块，从而形成像素差值。像素差值形成用于块的残差数据，且可包含亮度及色度差分量两者。求和器50表示执行此减法运算的一或多个组件。MCU 44还可产生与视频块及视频切片相关联的语法元素以由视频解码器30用于解码视频切片的视频块。
在一些实例中，IBC单元48可以类似于上文关于MEU 42及MCU 44所描述的方式产生二维向量并提取预测性块，但其中预测性块是在与当前块相同的图片或帧中。在其它实例中，IBC单元48可整体地或部分地使用MEU 42及MCU 44以根据本文中所描述的技术执行用于IBC预测的这些功能。在任一情况下，对于IBC，预测性块可为被找到就像素差来说紧密地匹配待译码块的块，所述像素差可由SAD、SSD或其它差度量确定，且对块的识别可包含对子整数像素位置的值的计算。
在预测处理单元41经由帧内预测、帧间预测或IBC产生用于当前视频块的预测性块之后，视频编码器20通过从当前视频块减去预测性块而形成残差视频块。残差块中的残差视频数据可包含在一或多个TU中且被应用于变换处理单元52。变换处理单元52 使用例如离散余弦变换(DCT)或概念上类似变换的变换将残差视频数据变换成残差变换系数。变换处理单元52可将残差视频数据从像素域转换到变换域(例如频域)。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减小与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54接着可执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行所述扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码 (CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE) 译码或另一熵编码方法或技术。在由熵编码单元56熵编码之后，经编码位流可被发射到视频解码器30，或经存档以供视频解码器30稍后发射或检索。熵编码单元56还可熵编码正被译码的当前视频切片的运动向量及其它语法元素。
反量化单元58及反变换处理单元60分别应用反量化及反变换以重构像素域中的残差块以供稍后用作参考图片的参考块。MCU 44可通过将残差块与参考图片列表中的一者内的参考图片中的一者的预测性块相加来计算参考块。MCU 44还可将一或多个内插滤波器应用于经重构残差块以计算子整数像素值以用于运动估计。求和器62将经重构残差块与由MCU 44产生的运动补偿预测块相加以产生经重构块。
滤波器单元64对经重构块(例如求和器62的输出)进行滤波且将经滤波的经重构块存储在DPB 66中以供用作参考块。参考块可由MEU 42及MCU 44用作参考块以帧间预测后续视频帧或图片中的块。滤波器单元64可应用解块滤波、样本自适应偏移(SAO) 滤波、自适应环路滤波(ALF)或其它类型的环路滤波中的一或多者。滤波器单元64可将解块滤波应用于对块边界进行滤波以移除经重构视频块效应伪影，且可应用其它类型的滤波以提高整体译码质量。还可使用额外环路滤波器(环路中或环路后)。
在各种实例中，视频编码器20可经配置以使用上文所描述的视频译码技术中的一或多者编码视频数据。举例来说，视频编码器20可应用LIC以编码块。在将LIC应用于块的一些情况下，视频编码器20可使用合并模式以编码块。现有LIC技术特别在这些情境中存在一或多个潜在问题。举例来说，如果视频编码器20使用合并模式以编码被/将被应用LIC的块，那么视频编码器20可从已经在合并候选者列表中或待添加到合并候选者列表的空间候选者导出运动信息及LIC旗标信息。
因此，根据现有LIC算法，时间候选者可需要将每一参考的LIC旗标存储在视频编码器20的参考缓冲器中，由此增大了存储器的成本。本发明的技术使视频编码器20能够从空间相邻者及/或空间候选者导出时间候选者的LIC旗标。因而，本发明的技术减轻或潜在地消除了将LIC旗标信息存储在视频编码器20的参考缓冲器中的需要。举例来说，为将LIC应用于合并模式编码块，视频编码器20可将LIC旗标与合并列表的时间候选者存储到实施在视频数据存储器33中的参考缓冲器。因而，将LIC应用于合并模式编码块借助于存储器成本及读取-写入操作引起了显著计算资源消耗并引入了复杂性。
本发明的技术解决了关于结合合并模式编码应用LIC的这些潜在问题。视频编码器 20可个别地实施下述技术中的任一者，或可组合地实施下述技术中的两者或多于两者。如本文中关于描述本发明的技术所使用，“运动信息”或“运动信息的集合”可指包含LIC旗标信息的数据。如本文中所使用，术语“时间候选者”包含传统TMVP候选者以及基于子块的TMVP候选者(例如ATMVP候选者)两者。
根据本发明的各种技术，视频编码器20可从当前经编码的块的空间相邻者导出时间合并候选者的LIC旗标。在本文中所描述的导出技术的一些实例中，视频编码器20 可从已经被添加到候选者列表的空间候选者导出时间候选者的LIC旗标。更具体地说，根据这些实例，视频编码器20可通过仅仅检查使用与时间候选者相同的参考图片的那些空间候选者导出时间候选者的LIC旗标。
举例来说，视频编码器20可比较与时间候选者相关联的参考图片的POC值与已经在候选者列表中的空间候选者的相应参考图片。如果视频编码器20确定与时间候选者相关联的参考图片的POC值匹配与经/已经被添加到候选者列表的空间候选者的任何一或多者相关联的参考图片的POC值，那么任何这些空间候选者被视为用于所揭示技术的此实施方案的“合格”空间候选者。视频编码器20可检验合格空间候选者以提取导出时间候选者的LIC旗标的值所用的信息。
举例来说，如果视频编码器20确定合格空间候选者中的任一者的LIC旗标经设定成真值(例如值一(1))，那么视频编码器20可将时间候选者的LIC旗标的值设定成真值(在此实例中为值一(1))。然而，如果视频编码器20确定合格空间相邻候选者中无一者具有其设定成真值的LIC旗标，那么视频编码器20可将时间候选者的LIC旗标设定成假值(例如值零(0))。
换句话说，如果视频编码器20确定每一个合格空间候选者具有其设定成假值(在此情况下为值零(0))的LIC旗标，那么视频编码器20可将时间候选者的LIC旗标设定成假值(在此实例中为值零(0))。再次，根据所揭示技术的此实例实施方案，“合格”空间候选者被定义为已经在时间候选者被添加到合并候选者列表之前被添加到合并候选者列表，且与同与时间候选者相关联的参考图片相同的参考图片相关联的空间候选者。
根据本发明的一些实例实施方案，视频编码器20可从与使用与时间候选者相同的参考图片的空间相邻者相关的信息导出时间候选者的LIC旗标。即，在这些实例中，视频编码器20可使用基于POC值的比较及匹配以确定哪些空间相邻者(如果存在)与同与合并模式编码块的时间候选者相关联的参考图片相同的参考图片相关联。随后，在识别与同与时间候选者相关联的参考图片相同的参考图片相关联的任何空间相邻者后，视频编码器20就可检验所识别空间相邻者的LIC旗标。
在这些实例中，如果视频编码器20确定所识别空间相邻候选者中的任一者的LIC旗标经设定成真值(例如值一(1))，那么视频编码器20可将时间候选者的LIC旗标的值设定成真值(在此实例中为值一(1))。然而，如果视频编码器20确定所识别空间相邻者中无一者具有其设定成真值的LIC旗标，那么视频编码器20可将时间候选者的LIC旗标设定成假值(例如值零(0))。换句话说，如果视频编码器20确定每一个所识别空间相邻者具有其设定成假值(在此情况下为值零(0))的LIC旗标，那么视频编码器20可将时间候选者的LIC旗标设定成假值(在此实例中为值零(0))。
根据本发明的一些实例实施方案，视频编码器20可从与使用与时间候选者相同的参考图片的全部空间相邻者相关的信息导出时间候选者的LIC旗标，而不管空间相邻者候选者是否已被添加到合并候选者列表。即，在这些实例中，视频编码器20可使用基于POC值的比较及匹配以确定从当前块的空间上相邻块导出的哪些空间候选者(如果存在)与同与用于合并模式编码块的时间候选者相关联的参考图片相同的参考图片相关联。随后，在识别与同与时间候选者相关联的参考图片相同的参考图片相关联的任何空间相邻候选者后，视频编码器20就可检验所识别空间相邻候选者的LIC旗标。
在这些实例中，如果视频编码器20确定所识别空间相邻候选者中的任一者的LIC旗标经设定成真值(例如值一(1))，那么视频编码器20可将时间候选者的LIC旗标的值设定成真值(在此实例中为值一(1))。然而，如果视频编码器20确定所识别空间相邻候选者中无一者具有其设定成真值的LIC旗标，那么视频编码器20可将时间候选者的LIC 旗标设定成假值(例如值零(0))。换句话说，如果视频编码器20确定每一个所识别空间相邻候选者具有其设定成假值(在此情况下为值零(0))的LIC旗标，那么视频编码器20可将时间候选者的LIC旗标设定成假值(在此实例中为值零(0))。
根据本发明的一些实例实施方案，视频编码器20可从与使用与时间候选者相同的参考图片的一个空间相邻者相关的信息导出时间候选者的LIC旗标。在这些实例中，视频编码器20可使用基于POC值的比较及匹配以识别从当前块的空间上相邻块导出的第一可用空间相邻者，其与同与用于合并模式编码块的时间候选者相关联的参考图片相同的参考图片相关联。随后，在识别与同与时间候选者相关联的参考图片相同的参考图片相关联的第一可用空间相邻候选者后，视频编码器20就可继承所识别第一可用空间相邻者的LIC旗标值以编码时间候选者的LIC旗标。即，在这些实例中，视频编码器20 可将第一可用空间相邻者的LIC旗标值继承(或复制)为时间候选者的LIC旗标的值。
根据本发明的一些实例实施方案，视频编码器20可从与先前被添加到合并候选者列表的一个空间候选者(从相邻块或以其它方式)相关的信息导出时间候选者的LIC旗标，并使用与时间候选者相同的参考图片。在这些实例中，视频编码器20可使用基于 POC值的比较及匹配以识别已经被添加到合并候选者列表且与同与用于合并模式编码块的时间候选者相关联的参考图片相同的参考图片相关联的第一可用空间候选者(无论从当前块的相邻块导出还是从并不紧邻当前块的块导出)。
随后，在识别第一可用空间候选者已经被添加到合并候选者列表并与同与时间候选者相关联的参考图片相同的参考图片相关联后，视频编码器20就可继承所识别第一空间候选者的LIC旗标值以编码时间候选者的LIC旗标。即，在这些实例中，视频编码器 20可将已经被添加到合并候选者列表的第一可用空间候选者的LIC旗标值继承(或复制) 为时间候选者的LIC旗标的值。
根据本发明的一些实例实施方案，视频编码器20可从与使用与时间候选者相同的参考图片的一个空间候选者(从相邻块或以其它方式)相关的信息导出时间候选者的LIC旗标。即，在这些实例中，视频编码器20可扩展第一可用空间候选者的可能性的池以包含已经被添加到合并候选者列表的空间候选者，以及尚未被添加到合并候选者列表 (即，将在时间候选者之后的位置处被添加到合并候选者列表)的任何空间候选者。
在这些实例中，视频编码器20可使用基于POC值的比较及匹配以识别与同与用于合并模式编码块的时间候选者相关联的参考图片相同的参考图片相关联的第一可用空间候选者(无论从当前块的相邻块导出还是从并不紧邻当前块的块导出)。随后，在识别与同与时间候选者相关联的参考图片相同的参考图片相关联的第一可用空间候选者后，视频编码器20就可继承所识别第一空间候选者的LIC旗标值以编码时间候选者的LIC 旗标。即，在这些实例中，视频编码器20可将第一可用空间候选者(不管第一可用空间候选者是否已经被添加到合并候选者列表)的LIC旗标值继承(或复制)为时间候选者的 LIC旗标的值。
根据本发明的一些实例实施方案，视频编码器20可确定多个空间相邻者与同与时间候选者相关联的参考图片相同的参考图片相关联。根据这些实施方案，视频编码器20 可通过确定具有与时间候选者的参考图片相同的参考图片的多个空间相邻者(被称作空间相邻者的“池”)中的哪一者具有与时间候选者最低的MV差导出时间候选者的LIC 旗标。即，视频编码器20可在空间相邻者的池当中确定最小MV差(与时间候选者)以选择所识别空间相邻者中的一者。随后，根据这些实施方案，视频编码器20可识别具有与时间候选者的最小MV差的池的空间相邻者，并使用所识别空间相邻者的LIC旗标值以导出时间候选者的LIC旗标值。
举例来说，视频编码器20可继承所识别空间相邻者(具有与时间候选者的最小MV差)的LIC旗标值以编码时间候选者的LIC旗标。即，在这些实例中，视频编码器20可将所识别空间相邻者(具有与时间候选者的最小MV差)的LIC旗标值继承(或复制)为时间候选者的LIC旗标的值。根据这些实施方案，如果视频编码器20确定空间相邻者中无一者可用，那么视频编码器20可将时间候选者的LIC旗标设定成默认值假(例如零(0) 值)。为计算时间候选者与池的空间相邻者之间的MV差，视频编码器20可使用各种公式。视频编码器20可用以计算时间候选者与给定空间相邻者之间的MV差的公式的两个实例在以下方程式(4)及(5)中予以说明：
MVdifference＝(Vxspatial-Vxtepmoral)2+(Vyspatial-Vytepmoral)2 (4)
MVdifference＝|Vxspatial-Vxtepmoral|+|Vyspatial-Vytepmoral| (5)
其中MVdifference为MV差，Vxspatial为水平方向上的空间相邻者的运动向量，Vyspatial为竖直方向上的空间相邻者的运动向量，Vxtemporal为水平方向上的时间候选者的运动向量，Vytemporal为竖直方向上的时间候选者的运动向量。
根据本发明的一些实例实施方案，视频编码器20可确定已经被添加到合并候选者列表的一或多个空间相邻候选者与同与时间候选者相关联的参考图片相同的参考图片相关联。根据这些实施方案，如果视频编码器20确定合并候选者列表已经包含具有与时间候选者的参考图片相同的参考图片的多个空间相邻候选者，那么视频编码器20可通过确定多个空间相邻者中的哪一者已经被添加到具有与时间候选者的参考图片相同的参考图片的合并候选者列表(被称作空间相邻候选者的“池”)具有与时间候选者最低的MV差来导出时间候选者的LIC旗标。
即，视频编码器20可确定已经被添加到合并候选者列表的空间相邻候选者的池当中的最小MV差(与时间候选者)，以选择所识别空间相邻候选者中的一者。随后，根据这些实施方案，视频编码器20可识别具有与时间候选者的最小MV差的池的空间相邻候选者，并使用所识别空间相邻候选者的LIC旗标值以导出时间候选者的LIC旗标值。即，视频编码器20可继承已经在合并候选者列表中的所识别空间相邻候选者(具有与时间候选者的最小MV差)的LIC旗标值以编码时间候选者的LIC旗标。
即，在这些实例中，视频编码器20可将已经被添加到合并候选者列表的所识别空间候选者(具有与时间候选者的最小MV差)的LIC旗标值继承(或复制)为时间候选者的 LIC旗标的值。根据这些实施方案，如果视频编码器20确定无空间相邻候选者可从如到此为止构造的合并候选者列表获得，那么视频编码器20可将时间候选者的LIC旗标设定成默认值假(例如零(0)值)。为计算时间候选者与池的空间相邻候选者之间的MV差，视频编码器20可使用各种公式。视频编码器20可用以计算时间候选者与给定空间相邻候选者之间的MV差的公式的两个实例在上述方程式(4)及(5)中予以说明。
根据本发明的一些实例实施方案，视频编码器20可确定多个空间候选者(从相邻块或以其它方式)与同与时间候选者相关联的参考图片相同的参考图片相关联。即，在这些实施方案中，视频编码器20可使用空间候选者，而无论候选者是从当前块的相邻块还是从并不紧邻当前块的块导出。根据这些实施方案，视频编码器20可通过确定具有与时间候选者的参考图片相同的参考图片的多个空间候选者(被称作空间候选者的“池”) 中的哪一者具有与时间候选者的最低MV差导出时间候选者的LIC旗标。
即，视频编码器20可在空间候选者的池当中确定最小MV差(与时间候选者)以选择所识别空间候选者中的一者。随后，根据这些实施方案，视频编码器20可识别具有与时间候选者的最小MV差的池的空间候选者。此外，在这些实施方案中，空间候选者表示从当前块的一般空间邻域中的块导出的候选者，而无论候选者是从当前块的相邻(即，直接邻近地定位)块导出，还是从并不紧邻当前块的块导出。
随后，视频编码器20可使用所识别空间候选者的LIC旗标值以导出用于时间候选者的LIC旗标值。举例来说，视频编码器20可继承所识别空间候选者(具有与时间候选者的最小MV差)的LIC旗标值以编码时间候选者的LIC旗标。即，在这些实例中，视频编码器20可将所识别空间候选者(具有与时间候选者的最小MV差)的LIC旗标值继承 (或复制)为时间候选者的LIC旗标的值。根据这些实施方案，如果视频编码器20确定空间候选者中无一者可用，那么视频编码器20可将时间候选者的LIC旗标设定成默认值假(例如零(0)值)。为计算时间候选者与池的空间相邻候选者之间的MV差，视频编码器 20可使用上文在方程式(4)中所展示的公式。
视频编码器20将时间候选者的LIC旗标值的基于空间候选者的导出中的一或多者应用于参考list0或参考list1或两者中的运动向量。举例来说，如果从具有与时间候选者相同的列表0中的参考图片的空间候选者导出的LIC旗标标示为“LIC0”且从具有与时间候选者相同的列表1中的参考图片空间候选者导出的LIC旗标标示为“LIC1”。在这些实例中，视频编码器20可将时间候选者的LIC旗标设定为(LIC0及LIC1)或(LIC0 或LIC1)中的一者。
在本发明的技术的其它实施方案中，视频编码器20可独立地设定用于参考list0及参考list1的时间候选者的LIC旗标。在这些实施方案的一个实例中，如果照明补偿应用于参考list0，那么视频编码器20可将LIC0设定成真值(例如值一(1))，且如果照明补偿应用于参考list1，那么可将LIC1设定成真值(例如值一(1))。
根据本发明的一些技术，视频编码器20可使用除了从合并列表中的空间候选者导出时间候选者的LIC旗标值以外的方法设定用于时间候选者的LIC旗标值。并不基于基于空间候选者的导出的本发明的技术在本文中被称作“非空间候选者导出”技术。在本发明的非空间候选者导出技术的一个实例中，视频编码器20可将时间候选者的LIC旗标的值设定成预定固定值。作为实例，视频编码器20可使用一(1)的默认值或零(0)的默认值作为合并列表中的时间候选者的LIC旗标值。
在本发明的非空间候选者导出技术的另一实例中，视频编码器20可将时间候选者的LIC旗标值作为在序列层级、图片层级、切片层级或块层级中的一者处应用的值用信号发送。举例来说，视频编码器20可用信号发送被指派为序列参数集(SPS)、图片参数集(PPS)、切片标头(SH)、CTU或CU中的时间候选者的LIC旗标值的值。在本发明的非空间候选者导出技术的另一实例中，视频编码器20可将相邻合并模式编码块的IC旗标值推断为始终设定成一(1)或零(0)以便在语法解析过程中计算CABAC上下文。
图16为绘示可实施本发明中所描述的技术的实例视频解码器30的框图。在图16的实例中，视频解码器30包含视频数据存储器78、熵解码单元80、预测处理单元81、反量化单元86、反变换处理单元88、求和器90、滤波器单元92及DPB 94。预测处理单元81包含MCU82、帧内预测处理单元84及IBC单元85。在一些实例中，视频解码器30可执行与关于来自图15的视频编码器20所描述的编码遍次大体上互逆的解码遍次。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30将所接收的经编码视频位流存储在视频数据存储器78中。视频数据存储器78可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储在视频数据存储器78中的视频数据可例如经由链路16从存储装置26或从本地视频源(例如相机)或通过存取物理数据存储媒体获得。视频数据存储器78可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。DPB 94可为存储参考视频数据以供视频解码器30用于例如以帧内或帧间译码模式解码视频数据的参考图片存储器。视频数据存储器78及DPB 94可由各种存储器装置中的任一者形成，所述存储器装置是例如DRAM、SDRAM、MRAM、RRAM或其它类型的存储器装置。视频数据存储器78及DPB 94可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器78可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频解码器30的熵解码单元80熵解码存储在视频数据存储器78中的视频数据以产生经量化系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转发到预测处理单元81。视频解码器30可在视频切片层级及/或视频块层级接收语法元素。
当视频切片被译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元 84可基于用信号发送的帧内预测模式及来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频块的预测数据。对于一些CU，帧内预测处理单元84可如上文所描述而解码块。当视频帧经译码为经帧间译码时，预测处理单元81的MCU 82基于从熵解码单元80接收到的运动向量及其它语法元素产生当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30 可基于存储在DPB94中的参考图片使用默认构造技术来构造参考帧列表：列表0及列表1。
MCU 82及/或IBC单元85通过解析运动向量及其它语法元素确定当前视频切片的视频块的预测信息并使用预测信息以产生经解码的当前视频块的预测性块。举例来说，MCU 82使用所接收语法元素中的一些以确定用以译码视频切片的视频块的预测模式 (例如帧内或帧间预测或IBC)、用于切片的参考图片列表中的一或多者的构造信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。在一些实例中，IBC可被视为帧间预测的特殊情况，在此情况下归于IBC单元85的功能性可被视为由MCU 82 执行。对于一些块，MCU 82可如上文所描述而执行LIC。
MCU 82及/或IBC单元85还可执行基于内插滤波器的内插。MCU 82及/或IBC单元85可使用如由视频编码器20在视频块的编码期间使用的内插滤波器以计算用于参考块的子整数像素的内插值。在此情况下，MCU 82及/或IBC单元85可从所接收语法元素确定由视频编码器20使用的内插滤波器并使用所述内插滤波器以产生预测性块。对于一些块，MCU 82还可如上文所描述而执行LIC。
反量化单元86反量化(即，解量化)位流中所提供并由熵解码单元80解码的经量化变换系数。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数，以确定应被应用的量化程度且同样地确定应被应用的反量化程度。反变换处理单元88将反变换(例如反DCT、反整数变换或概念上类似反变换过程)应用于变换系数以便在像素域中产生残差块。
在预测处理单元使用例如帧内或帧间预测产生当前视频块的预测性块之后，视频解码器30通过对来自反变换处理单元88的残差块与由MCU 82产生的对应预测性块进行求和而形成经重构视频块。求和器90表示执行此求和运算的组件或多个组件。滤波器单元92使用例如解块滤波、SAO滤波、ALF滤波或其它类型的滤波中的一或多者对经重构视频块进行滤波。还可使用其它环路滤波器(在译码环路内或在译码环路之后)以使像素转变平滑，或以其它方式提高视频质量。给定帧或图片中的经解码视频块接着存储在DPB 94中，所述DPB 94存储用于后续运动补偿的参考图片。DPB 94可为额外存储器的部分或与其分离，所述额外存储器存储用于稍后呈现在显示装置(例如图1的显示装置32)上的经解码视频。
在各种实例中，视频解码器30可经配置以使用上文所描述的视频译码技术中的一或多者解码视频数据。举例来说，视频解码器30可实施应用LIC以编码块。在将LIC 应用于块的一些情况下，视频解码器30可使用合并模式以解码块。现有LIC技术特别在这些情境中存在一或多个潜在问题。举例来说，如果视频解码器30使用合并模式以解码被/将被应用LIC的块，那么视频解码器30可从已经在合并候选者列表中或待添加到合并候选者列表的候选者导出运动信息及LIC旗标信息。
因此，视频解码器30可需要将每一参考的LIC旗标存储在参考缓冲器中。本发明的技术使视频解码器30能够从空间相邻者及/或空间候选者导出时间候选者的LIC旗标。因而，本发明的技术减轻或潜在地消除了将LIC旗标信息存储在视频解码器30的参考缓冲器中的需要。举例来说，为在解码合并模式编码块中应用LIC，视频解码器30 可将LIC旗标与合并列表的时间候选者存储到实施在视频数据存储器78中的参考缓冲器。因而，在解码合并模式编码块中应用LIC借助于存储器成本及读取-写入操作引起了显著计算资源消耗并引入了复杂性。
本发明的技术解决了关于结合合并模式编码应用LIC的这些潜在问题。视频解码器 30可个别地实施下述技术中的任一者，或可组合地实施下述技术中的两者或多于两者。如本文中关于描述本发明的技术所使用，“运动信息”或“运动信息的集合”可指包含 LIC旗标信息的数据。如本文中所使用，术语“时间候选者”包含传统TMVP候选者以及基于子块的TMVP候选者(例如ATMVP候选者)两者。
根据本发明的各种技术，视频解码器30可从当前经编码的块的空间相邻者导出时间合并候选者的LIC旗标。在本文中所描述的导出技术的一些实例中，视频解码器30 可从已经被添加到候选者列表的空间候选者导出时间候选者的LIC旗标。更具体地说，根据这些实例，视频解码器30可通过仅仅检查使用与时间候选者相同的参考图片的那些空间候选者导出时间候选者的LIC旗标。
举例来说，视频解码器30可比较与时间候选者相关联的参考图片的POC值与已经在候选者列表中的空间候选者的相应参考图片。如果视频解码器30确定与时间候选者相关联的参考图片的POC值匹配与被添加到/已经添加到候选者列表的空间候选者的任何一或多者相关联的参考图片的POC值，那么任何此类空间候选者被视为用于所揭示技术的此实施方案的“合格”空间候选者。视频解码器30可检验合格空间候选者以提取导出时间候选者的LIC旗标的值所用的信息。
举例来说，如果视频解码器30确定合格空间候选者中的任一者的LIC旗标经设定成真值(例如值一(1))，那么视频解码器30可将时间候选者的LIC旗标的值设定成真值(在此实例中为值一(1))。然而，如果视频解码器30确定合格空间相邻候选者中无一者具有其设定成真值的LIC旗标，那么视频解码器30可将时间候选者的LIC旗标设定成假值(例如值零(0))。
换句话说，如果视频解码器30确定每一个合格空间候选者具有其设定成假值(在此情况下为值零(0))的LIC旗标，那么视频解码器30可将时间候选者的LIC旗标设定成假值(在此实例中为值零(0))。再次，根据所揭示技术的此实例实施方案，“合格”空间候选者被定义为已经在时间候选者被添加到合并候选者列表之前被添加到合并候选者列表，且与同与时间候选者相关联的参考图片相同的参考图片相关联的空间候选者。
根据本发明的一些实例实施方案，视频解码器30可从与使用与时间候选者相同的参考图片的全部空间相邻者相关的信息导出时间候选者的LIC旗标，而不管空间相邻者是否已被添加到合并候选者列表。即，在这些实例中，视频解码器30可使用基于POC 值的比较及匹配以确定哪些空间相邻者(如果存在)与同与合并模式编码块的时间候选者相关联的参考图片相同的参考图片相关联。随后，在识别与同与时间候选者相关联的参考图片相同的参考图片相关联的任何空间相邻者后，视频解码器30就可检验所识别空间相邻者的LIC旗标。
在这些实例中，如果视频解码器30确定所识别空间相邻者中的任一者的LIC旗标经设定成真值(例如值一(1))，那么视频解码器30可将时间候选者的LIC旗标的值设定成真值(在此实例中为值一(1))。然而，如果视频解码器30确定所识别空间相邻者中无一者具有其设定成真值的LIC旗标，那么视频解码器30可将时间候选者的LIC旗标设定成假值(例如值零(0))。换句话说，如果视频解码器30确定每一个所识别空间相邻者具有其设定成假值(在此情况下为值零(0))的LIC旗标，那么视频解码器30可将时间候选者的LIC旗标设定成假值(在此实例中为值零(0))。
根据本发明的一些实例实施方案，视频解码器30可从与使用与时间候选者相同的参考图片的全部空间相邻者相关的信息导出时间候选者的LIC旗标，而不管空间相邻候选者是否已被添加到合并候选者列表。即，在这些实例中，视频解码器30可使用基于 POC值的比较及匹配以确定从当前块的空间上相邻块导出的哪些空间候选者(如果存在) 与同与合并模式编码块的时间候选者相关联的参考图片相同的参考图片相关联。随后，在识别与同与时间候选者相关联的参考图片相同的参考图片相关联的任何空间相邻候选者后，视频解码器30就可检验所识别空间相邻候选者的LIC旗标。
在这些实例中，如果视频解码器30确定所识别空间相邻候选者中的任一者的LIC旗标经设定成真值(例如值一(1))，那么视频解码器30可将时间候选者的LIC旗标的值设定成真值(在此实例中为值一(1))。然而，如果视频解码器30确定所识别空间相邻候选者中无一者具有其设定成真值的LIC旗标，那么视频解码器30可将时间候选者的LIC 旗标设定成假值(例如值零(0))。换句话说，如果视频解码器30确定每一个所识别空间相邻候选者具有其设定成假值(在此情况下为值零(0))的LIC旗标，那么视频解码器30可将时间候选者的LIC旗标设定成假值(在此实例中为值零(0))。
根据本发明的一些实例实施方案，视频解码器30可从与使用与时间候选者相同的参考图片的一个空间相邻者相关的信息导出时间候选者的LIC旗标。在这些实例中，视频解码器30可使用基于POC值的比较及匹配以识别从与同与用于合并模式编码块的时间候选者相关联的参考图片相同的参考图片相关联的当前块的空间上相邻块导出的第一可用空间相邻者。随后，在识别与同与时间候选者相关联的参考图片相同的参考图片相关联的第一可用空间相邻者后，视频解码器30就可继承所识别第一可用空间相邻者的LIC旗标值以编码时间候选者的LIC旗标。即，在这些实例中，视频解码器30可将第一可用空间相邻者的LIC旗标值继承(或复制)为时间候选者的LIC旗标的值。
根据本发明的一些实例实施方案，视频解码器30可从与先前被添加到合并候选者列表的一个空间候选者(从相邻块或以其它方式)相关的信息导出时间候选者的LIC旗标，并使用与时间候选者相同的参考图片。在这些实例中，视频解码器30可使用基于 POC值的比较及匹配以识别已经被添加到合并候选者列表并与同与合并模式编码块的时间候选者相关联的参考图片相同的参考图片相关联的第一可用空间候选者(无论从当前块的相邻块还是从并不紧邻当前块的块导出)。
随后，在识别第一可用空间候选者已经被添加到合并候选者列表并与同与时间候选者相关联的参考图片相同的参考图片相关联后，视频解码器30就可继承所识别第一空间候选者的LIC旗标值以编码时间候选者的LIC旗标。即，在这些实例中，视频解码器 30可将已经被添加到合并候选者列表的第一可用空间候选者的LIC旗标值继承(或复制) 为时间候选者的LIC旗标的值。
根据本发明的一些实例实施方案，视频解码器30可从与使用与时间候选者相同的参考图片的一个空间候选者(从相邻块或以其它方式)相关的信息导出时间候选者的LIC旗标。即，在这些实例中，视频解码器30可扩展第一可用空间候选者的可能性的池以包含已经被添加到合并候选者列表的空间候选者，以及尚未被添加到合并候选者列表 (即，将在时间候选者之后的位置处被添加到合并候选者列表)的任何空间候选者。
在这些实例中，视频解码器30可使用基于POC值的比较及匹配以识别与同与合并模式编码块的时间候选者相关联的参考图片相同的参考图片相关联的第一可用空间候选者(无论从当前块的相邻块导出还是从并不紧邻当前块的块导出)。随后，在识别与同与时间候选者相关联的参考图片相同的参考图片相关联的第一可用空间候选者后，视频解码器30就可继承所识别第一空间候选者的LIC旗标值以编码时间候选者的LIC旗标。即，在这些实例中，视频解码器30可将第一可用空间候选者(不管第一可用空间候选者是否已经被添加到合并候选者列表)的LIC旗标值继承(或复制)为时间候选者的LIC旗标的值。
根据本发明的一些实例实施方案，视频解码器30可确定多个空间相邻者与同与时间候选者相关联的参考图片相同的参考图片相关联。根据这些实施方案，视频解码器30 可通过确定具有与时间候选者的参考图片相同的参考图片的多个空间相邻者(被称作空间相邻者的“池”)中的哪一者具有与时间候选者的最低MV差导出时间候选者的LIC 旗标。即，视频解码器30可在空间相邻者的池当中确定最小MV差(与时间候选者)以选择所识别空间相邻者中的一者。随后，根据这些实施方案，视频解码器30可识别具有与时间候选者最小MV差的池的空间相邻者，并使用所识别空间相邻者的LIC旗标值以导出时间候选者的LIC旗标值。
举例来说，视频解码器30可继承所识别空间相邻者(具有与时间候选者的最小MV差)的LIC旗标值以编码时间候选者的LIC旗标。即，在这些实例中，视频解码器30可将所识别空间相邻者(具有与时间候选者的最小MV差)的LIC旗标值继承(或复制)为时间候选者的LIC旗标的值。根据这些实施方案，如果视频解码器30确定空间相邻者中无一者可用，那么视频解码器30可将时间候选者的LIC旗标设定成默认值假(例如零(0) 值)。为计算时间候选者与池的空间相邻者之间的MV差，视频解码器30可使用各种公式。上文在方程式(4)及(5)中说明了视频解码器30可用以计算时间候选者与给定空间相邻者之间的MV差的公式的两个实例。
根据本发明的一些实例实施方案，视频解码器30可确定已经添加到合并候选者列表的一或多个空间相邻候选者与同与时间候选者相关联的参考图片相同的参考图片相关联。根据这些实施方案，如果视频解码器30确定合并候选者列表已经包含具有与时间候选者的参考图片相同的参考图片的多个空间相邻候选者，那么视频解码器30可通过确定多个空间相邻者中的哪一者已经被添加到具有与时间候选者的参考图片相同的参考图片的合并候选者列表(被称作空间相邻候选者的“池”)具有与时间候选者最低的 MV差来导出时间候选者的LIC旗标。
即，视频解码器30可确定已经被添加到合并候选者列表的空间相邻候选者的池当中的最小MV差(与时间候选者)，以选择所识别空间相邻候选者中的一者。随后，根据这些实施方案，视频解码器30可识别具有与时间候选者最小MV差的池的空间相邻候选者，并使用所识别空间相邻候选者的LIC旗标值以导出时间候选者的LIC旗标值。即，视频解码器30可继承已经在合并候选者列表中的所识别空间相邻候选者(具有与时间候选者的最小MV差)的LIC旗标值以编码时间候选者的LIC旗标。
即，在这些实例中，视频解码器30可将已经被添加到合并候选者列表的所识别空间候选者(具有与时间候选者的最小MV差)的LIC旗标值继承(或复制)为时间候选者的 LIC旗标的值。根据这些实施方案，如果视频解码器30确定无空间相邻候选者可从如到此为止构造的合并候选者列表获得，那么视频解码器30可将时间候选者的LIC旗标设定成默认值假(例如零(0)值)。为计算时间候选者与池的空间相邻候选者之间的MV差，视频解码器30可使用各种公式。上文在方程式(4)及(5)中说明了视频解码器30可用以计算时间候选者与给定空间相邻候选者之间的MV差的公式的两个实例。
根据本发明的一些实例实施方案，视频解码器30可确定多个空间候选者(来自相邻块或以其它方式)与同与时间候选者相关联的参考图片相同的参考图片相关联。即，在这些实施方案中，视频解码器30可使用空间候选者，而无论候选者是从当前块的相邻块还是从并不紧邻当前块的块导出。根据这些实施方案，视频解码器30可通过确定具有与时间候选者的参考图片相同的参考图片的多个空间候选者(被称作空间候选者的“池”)中的哪一者具有与时间候选者的最低MV差导出时间候选者的LIC旗标。
即，视频解码器30可在空间候选者的池当中确定最小MV差(与时间候选者)以选择所识别空间候选者中的一者。随后，根据这些实施方案，视频解码器30可识别具有与时间候选者的最小MV差的池的空间候选者。此外，在这些实施方案中，空间候选者表示从当前块的一般空间邻域中的块导出的候选者，而无论候选者是从当前块的相邻(即，直接邻近地定位)块导出，还是从并不紧邻当前块的块导出。
随后，视频解码器30可使用所识别空间候选者的LIC旗标值以导出用于时间候选者的LIC旗标值。举例来说，视频解码器30可继承所识别空间候选者(具有与时间候选者的最小MV差)的LIC旗标值以编码时间候选者的LIC旗标。即，在这些实例中，视频解码器30可将所识别空间候选者(具有与时间候选者的最小MV差)的LIC旗标值继承(或复制)为时间候选者的LIC旗标的值。根据这些实施方案，如果视频解码器30确定空间候选者中无一者可用，那么视频解码器30可将时间候选者的LIC旗标设定成默认值假(例如零(0)值)。为计算时间候选者与池的空间相邻候选者之间的MV差，视频解码器 30可使用上文在方程式(4)中所展示的公式。
视频解码器30将时间候选者的LIC旗标值的基于空间候选者的导出中的一或多者应用于参考list0或参考list1或两者中的运动向量。举例来说，如果从具有与时间候选者相同的列表0中的参考图片的空间候选者导出的LIC旗标标示为“LIC0”且从具有与时间候选者相同的列表1中的参考图片空间候选者导出的LIC旗标标示为“LIC1”。在这些实例中，视频解码器30可将时间候选者的LIC旗标设定为(LIC0及LIC1)或(LIC0 或LIC1)中的一者。
在本发明的技术的其它实施方案中，视频解码器30可独立地设定用于参考list0及参考list1的时间候选者的LIC旗标。在这些实施方案的一个实例中，如果照明补偿应用于参考list0，那么视频解码器30可将LIC0设定成真值(例如值一(1))，且如果照明补偿应用于参考list1，那么可将LIC1设定成真值(例如值一(1))。
根据本发明的一些技术，视频解码器30可使用由视频编码器20在经编码视频位流中明确地用信号发送的数据设定用于时间候选者的LIC旗标值。基于在经编码视频位流中明确地用信号发送的LIC旗标值信息的本发明的技术在本文中被称作“非空间候选者导出”技术。在本发明的非空间候选者导出技术的一个实例中，视频解码器30可将时间候选者的LIC旗标的值设定成由视频编码器20用信号发送的预定固定值，例如默认值一(1)或默认值零(0)。
在本发明的非空间候选者导出技术的另一实例中，视频解码器30可在经编码视频位流中接收时间候选者的LIC旗标值作为在序列层级、图片层级、切片层级或块层级中的一者处应用的值。举例来说，视频解码器30可接收被指派为经编码视频位流中的序列参数集(SPS)、图片参数集(PPS)、切片标头(SH)、CTU或CU中的时间候选者的LIC 旗标值的值。在本发明的非空间候选者导出技术的另一实例中，视频解码器30可接收 IC旗标值作为相邻合并模式编码块的推断值，其始终设定成一(1)或零(0)以便在语法解析过程中计算CABAC上下文。
图17为绘示视频解码装置可执行本发明的各种技术所用的实例过程120的流程图。根据本发明的方面，过程120可由各种装置执行，包含经配置以解码视频数据(例如经由解码环路或重构环路)的视频解码装置或视频编码装置等等。作为实例，过程120在本文中被描述为由视频解码器30的处理电路对于存储到视频解码器30的视频数据存储器78 的视频数据执行。
过程120可在视频解码器30的处理电路确定存储到视频数据存储器78的视频数据的当前块待根据合并模式而解码时开始(122)。举例来说，视频解码器30的通信单元可接收经编码视频位流中的对于当前块的合并旗标，且视频解码器30的处理电路可解码合并模式旗标以对于当前块确定合并旗标经设定成“真”值。随后，视频解码器30的处理电路可根据合并模式确定与合并候选者列表相关联的用于当前块的时间候选者 (124)。时间候选者可为传统TMVP候选者，或基于子块的TMVP候选者(例如如由 ATMVP提供)。
视频解码器30的处理电路可确定与合并候选者列表相关联的空间候选者的池，使得所述池的每一空间候选者具有与时间候选者的参考图片相同的参考图片(126)。随后，视频解码器30的处理电路可基于包含在空间候选者的池中的空间候选者中的一或多者的相应LIC旗标值设定用于时间候选者的LIC旗标值(128)。视频解码器30的处理电路可基于来自合并候选者列表的所选择候选者的LIC旗标值及运动信息重构当前块(132)。举例来说，如果所选择候选者的LIC旗标值经设定成“真”，那么处理电路可在重构当前块中应用或执行LIC。相对来说，如果所选择候选者的LIC旗标值经设定成“假”，那么所述处理电路可在不执行LIC的情况下重构当前块。
在一些实例中，为基于池的一或多个空间候选者的相应LIC值设定用于时间候选者的LIC旗标值，视频解码器30的处理电路可基于池的全部空间候选者已在时间候选者被添加到合并候选者列表之前被添加到合并候选者列表使用池的一或多个空间候选者的相应LIC旗标值设定用于时间候选者的LIC旗标值。在一些实例中，为基于池的一或多个空间候选者的相应LIC值设定用于时间候选者的LIC旗标值，视频解码器30的处理电路可基于从视频数据的当前图片中的当前块的空间相邻块导出的池的全部空间候选者的使用池的一或多个空间候选者的相应LIC旗标值设定用于时间候选者的LIC旗标值。
在一些实例中，空间候选者的池包含从并不邻近于存储到视频数据存储器78的视频数据的当前图片中的当前块定位的块导出的至少一个空间候选者。在一些此类实例中，从并不邻近于当前块定位的块导出的空间候选者为池的第一空间候选者，且其中空间候选者的池进一步包含从邻近于存储到视频数据存储器78的视频数据的当前图片中的当前块定位的相邻块导出的第二空间候选者。
在一些实例中，为基于池中的一或多个空间候选者的相应LIC值设定用于时间候选者的LIC旗标值，视频解码器30的处理电路可基于经设定成真值的池的一或多个空间候选者的相应LIC旗标值中的至少一者将LIC旗标值设定成所述真值。在一些实例中，为基于池中的一或多个空间候选者的相应LIC值设定用于时间候选者的LIC旗标值，视频解码器30的处理电路可基于被设定成假值的池的一或多个空间候选者的全部相应 LIC旗标值将LIC旗标值设定成所述假值。
在一些实例中，为基于池中的一或多个空间候选者的相应LIC值设定用于时间候选者的LIC旗标值，视频解码器30的处理电路可将池的第一可用空间候选者的相应LIC 旗标值继承为用于时间候选者的LIC旗标值。在一些实例中，为基于池中的一或多个空间候选者的相应LIC值设定时间候选者的LIC旗标值，视频解码器30的处理电路可确定池的时间候选者与每一相应空间候选者之间的相应运动向量(MV)距离，且可确定相应 MV距离的最小MV距离。在这些实例中，视频解码器30的处理电路可基于具有最小 MV距离的第一空间候选者从池选择第一空间候选者，且可将具有最小MV距离的第一空间候选者的相应LIC旗标值继承为用于时间候选者的LIC旗标值。
图18为绘示视频编码装置可执行本发明的各种技术所用的实例过程140的流程图。根据本发明的方面，过程140可由各种装置执行。作为实例，过程140在本文中被描述为由视频编码器20的处理电路对于存储到视频编码器20的视频数据存储器33的视频数据执行。
过程140可在视频编码器20的处理电路确定存储到视频数据存储器33的视频数据的当前块待根据合并模式而编码时开始(142)。随后，视频编码器20的处理电路可根据合并模式确定用于当前块的与合并候选者列表相关联的时间候选者(144)。时间候选者可为传统TMVP候选者，或基于子块的TMVP候选者(例如如由ATMVP提供)。视频编码器20的处理电路可确定与合并候选者列表相关联的空间候选者的池，使得池的每一空间候选者具有与时间候选者的参考图片相同的参考图片(146)。
随后，视频编码器20的处理电路可基于包含在空间候选者的池中的空间候选者中的一或多者的相应LIC旗标值设定用于时间候选者的LIC旗标值(148)。视频编码器20 的处理电路可基于来自合并候选者列表的所选择候选者的LIC旗标值及运动信息编码当前块(152)。举例来说，如果所选择候选者的LIC旗标值经设定成“真”，那么处理电路对于编码当前块可应用或执行LIC。相对来说，如果所选择候选者的LIC旗标值经设定成“假”，那么处理电路可在不执行LIC的情况下编码当前块。
在一些实例中，为基于池的一或多个空间候选者的相应LIC值设定用于时间候选者的LIC旗标值，视频编码器20的处理电路可基于池的全部空间候选者已在时间候选者被添加到合并候选者列表之前被添加到合并候选者列表使用池的一或多个空间候选者的相应LIC旗标值设定用于时间候选者的LIC旗标值。在一些实例中，为基于池的一或多个空间候选者的相应LIC值设定用于时间候选者的LIC旗标值，视频编码器20的处理电路可基于从视频数据的当前图片中的当前块的空间相邻块导出的池的全部空间候选者使用池的一或多个空间候选者的相应LIC旗标值设定用于时间候选者的LIC旗标值。
在一些实例中，空间候选者的池包含从并不邻近于存储到视频数据存储器33的视频数据的当前图片中的当前块定位的块导出的至少一个空间候选者。在一些这些实例中，从并不邻近于当前块定位的块导出的空间候选者为池的第一空间候选者，且其中空间候选者的池进一步包含从邻近于存储到视频数据存储器33的视频数据的当前图片中的当前块定位的相邻块导出的第二空间候选者。
在一些实例中，为基于池中的一或多个空间候选者的相应LIC值设定用于时间候选者的LIC旗标值，视频编码器20的处理电路可基于经设定成真值的池的一或多个空间候选者的相应LIC旗标值中的至少一者将LIC旗标值设定成所述真值。在一些实例中，为基于池中的一或多个空间候选者的相应LIC值设定用于时间候选者的LIC旗标值，视频编码器20的处理电路可基于被设定成假值的池的一或多个空间候选者的全部相应 LIC旗标值将LIC旗标值设定成所述假值。
在一些实例中，为基于池中的一或多个空间候选者的相应LIC值设定用于时间候选者的LIC旗标值，视频编码器20的处理电路可将池的第一可用空间候选者的相应LIC 旗标值继承为用于时间候选者的LIC旗标值。在一些实例中，为基于池中的一或多个空间候选者的相应LIC值设定用于时间候选者的LIC旗标值，视频编码器20的处理电路可确定池的时间候选者与每一相应空间候选者之间的相应运动向量(MV)距离，且可确定相应MV距离的最小MV距离。在这些实例中，视频编码器20的处理电路可基于具有最小MV距离的第一空间候选者从池选择第一空间候选者，且可将具有最小MV距离的第一空间候选者的相应LIC旗标值继承为用于时间候选者的LIC旗标值。在一些实例中，视频编码器20的通信单元可在经编码视频位流中用信号发送识别合并候选者列表中的所选择合并候选者的位置的合并索引。
当视频译码器为视频编码器时，技术可进一步包含将视频数据存储在无线通信装置的存储器中，在无线通信装置的一或多个处理器上处理视频数据，及从无线通信装置的发射器发射视频数据。举例来说，无线通信装置可包含电话手机，且所述电话手机可在无线通信装置的发射器处通过根据无线通信标准调制包括视频数据的信号来发射视频数据。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可作为一或多个指令或代码而在计算机可读媒体上存储或发射，且由基于硬件的处理单元执行。计算机可读媒体可包含：计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体；或通信媒体，其包含例如根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1) 非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、 CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置、快闪存储器，或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。而且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含在媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是涉及非暂时性的有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各者的组合也应包含在计算机可读媒体的范围内。
指令可由包含固定功能及/或可编程处理电路的一或多个处理器执行，例如一或多个 DSP、通用微处理器、ASIC、FPGA或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能可经提供在经配置以供编码及解码或并入在组合式编解码器中的专用硬件及/或软件模块内。此外，所述技术可完全实施在一或多个电路或逻辑元件中。
本发明的技术可实施在多种装置或设备中，包含无线手机、集成电路(IC)或IC集合 (例如芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求由不同硬件单元来实现。更确切地说，如上文所描述，可将各种单元组合在编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合而结合合适软件及/或固件一起来提供所述单元。
各种实例已予以描述。这些及其它实例在所附权利要求书的范围内。

Claims (24)

1.一种对视频数据进行译码的方法，所述方法包括：
确定要根据合并模式对所述视频数据的当前块进行译码；
根据所述合并模式确定用于所述当前块的与合并候选者列表相关联的时间候选者；
基于具有与所述时间候选者相同的参考图片的池的每一空间候选者确定与所述合并候选者列表相关联的空间候选者的所述池；及
基于所述池的一或多个空间候选者的相应局部照明补偿LIC旗标值设定用于所述时间候选者的LIC旗标值。
2.根据权利要求1所述的方法，其中基于所述池的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值包括基于在所述时间候选者被添加到所述合并候选者列表之前被添加到所述合并候选者列表的所述池的全部所述空间候选者使用所述池的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值。
3.根据权利要求1所述的方法，其中基于所述池的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值包括基于从所述视频数据的当前图片的所述当前块的空间相邻块导出的所述池的全部所述空间候选者使用所述池的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值。
4.根据权利要求1所述的方法，其中空间候选者的所述池包含从并不邻近于所述视频数据的当前图片中的所述当前块定位的块导出的至少一个空间候选者。
5.根据权利要求4所述的方法，其中从并不邻近于所述当前块定位的所述块导出的所述空间候选者为所述池的第一空间候选者，且其中空间候选者的所述池进一步包含从邻近于所述视频数据的所述当前图片中的所述当前块定位的相邻块导出的第二空间候选者。
6.根据权利要求1所述的方法，其中基于所述池中的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值包括基于所述池的所述一或多个空间候选者的所述相应LIC旗标值中的至少一者被设定成真值而将所述LIC旗标值设定成所述真值。
7.根据权利要求1所述的方法，其中基于所述池中的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值包括基于所述池的所述一或多个空间候选者的全部所述相应LIC旗标值被设定成假值而将所述LIC旗标值设定成所述假值。
8.根据权利要求1所述的方法，其中基于所述池中的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值包括将所述池的第一可用空间候选者的所述相应LIC旗标值继承为用于所述时间候选者的所述LIC旗标值。
9.根据权利要求1所述的方法，其中基于所述池中的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值包括：
确定所述时间候选者与所述池的每一相应空间候选者之间的相应运动向量MV距离；
确定所述相应MV距离的最小MV距离；
基于具有所述最小MV距离的第一空间候选者从所述池选择所述第一空间候选者；及
将具有所述最小MV距离的所述第一空间候选者的所述相应LIC旗标值继承为用于所述时间候选者的所述LIC旗标值。
10.根据权利要求1所述的方法，其中对所述视频数据进行译码包括对经编码视频数据进行解码，所述方法进一步包括：
接收经编码视频位流中的识别所述合并候选者列表中的位置的合并索引；
基于所接收的合并索引从所述合并候选者列表中的所述空间候选者或所述时间候选者选择运动向量MV候选者；
执行以下各者中的一者：
基于所选择的MV候选者的所述LIC旗标值为真值，使用所选择的MV候选者以及LIC以重构所述当前块；或
基于所选择的MV候选者的所述LIC旗标值为假值，在不执行LIC的情况下使用所选择的MV候选者来重构所述当前块。
11.根据权利要求1所述的方法，其中对所述视频数据进行译码包括包括对所述视频数据进行编码，所述方法进一步包括：
使用从包含在所述合并候选者列表中的所述空间候选者或所述时间候选者中选择的运动向量MV候选者来编码所述当前块；
执行以下各者中的一者：
基于所选择的MV候选者的所述LIC旗标值经设定成真值，执行LIC以编码所述当前块；或
基于所选择的MV候选者的所述LIC旗标值经设定成假值，在不执行LIC的情况下编码所述当前块；
确定识别所述合并候选者列表中的所选择的合并候选者的位置的合并索引；及
在经编码视频位流中用信号发送识别所述合并候选者列表中的所选择的合并候选者的所述位置的所述合并索引。
12.一种视频译码装置，其包括：
存储器，其经配置以存储视频数据；及
处理电路，其与所述存储器通信，所述处理电路经配置以：
确定要根据合并模式对存储在所述存储器的所述视频数据的当前块进行译码；
根据所述合并模式确定用于所述当前块的与合并候选者列表相关联的时间候选者；
基于具有与所述时间候选者相同的参考图片的池的每一空间候选者确定与所述合并候选者列表相关联的空间候选者的所述池；及
基于所述池的一或多个空间候选者的相应局部照明补偿LIC旗标值设定用于所述时间候选者的LIC旗标值。
13.根据权利要求12所述的视频译码装置，其中为了基于所述池的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值，所述处理电路经配置以基于在所述时间候选者被添加到所述合并候选者列表之前被添加到所述合并候选者列表的所述池的全部所述空间候选者来使用所述池的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值。
14.根据权利要求12所述的视频译码装置，其中为了基于所述池的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值，所述处理电路经配置以基于从所述视频数据的当前图片中的所述当前块的空间相邻块导出的所述池的全部所述空间候选者使用所述池的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值。
15.根据权利要求12所述的视频译码装置，其中空间候选者的所述池包含从并不邻近于所述视频数据的当前图片中的所述当前块定位的块导出的至少一个空间候选者。
16.根据权利要求15所述的视频译码装置，其中从并不邻近于所述当前块定位的所述块导出的所述空间候选者为所述池的第一空间候选者，且其中空间候选者的所述池进一步包含从邻近于所述视频数据的所述当前图片中的所述当前块定位的相邻块导出的第二空间候选者。
17.根据权利要求12所述的视频译码装置，其中为了基于所述池中的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值，所述处理电路经配置以基于所述池的所述一或多个空间候选者的所述相应LIC旗标值中的至少一者被设定成真值而将所述LIC旗标值设定成所述真值。
18.根据权利要求12所述的视频译码装置，其中为了基于所述池中的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值，所述处理电路经配置以基于所述池的所述一或多个空间候选者的全部所述相应LIC旗标值被设定成假值而将所述LIC旗标值设定成所述假值。
19.根据权利要求12所述的视频译码装置，其中为了基于所述池中的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值，所述处理电路经配置以将所述池的第一可用空间候选者的所述相应LIC旗标值继承为用于所述时间候选者的所述LIC旗标值。
20.根据权利要求12所述的视频译码装置，其中为了基于所述池中的所述一或多个空间候选者的所述相应LIC旗标值设定用于所述时间候选者的所述LIC旗标值，所述处理电路经配置以：
确定所述时间候选者与所述池的每一相应空间候选者之间的相应运动向量MV距离；
确定所述相应MV距离的最小MV距离；
基于具有所述最小MV距离的第一空间候选者从所述池选择所述第一空间候选者；及
将具有所述最小MV距离的所述第一空间候选者的所述相应LIC旗标值继承为用于所述时间候选者的所述LIC旗标值。
21.根据权利要求12所述的视频译码装置，其中所述视频译码装置为视频解码装置，所述视频解码装置进一步包括经配置以接收经编码视频位流中的识别所述合并候选者列表中的位置的合并索引的通信单元，其中所述处理电路经进一步配置以：
基于所述接收的合并索引从所述合并候选者列表中的所述空间候选者或所述时间候选者选择运动向量MV候选者；以及
基于所选择的MV候选者的所述LIC旗标值为真值，使用所选择的MV候选者以及LIC来重构所述当前块；
基于所选择的MV候选者的所述LIC旗标值为假值，在不执行LIC的情况下使用所选择的MV候选者来重构所述当前块。
22.根据权利要求12所述的视频译码装置，其中所述视频译码装置为视频编码装置，其中所述处理电路经进一步配置以：
使用从包含在所述合并候选者列表中的所述空间候选者或所述时间候选者选择的运动向量MV候选者来编码所述当前块；
基于所选择的MV候选者的所述LIC旗标值经设定成真值，执行LIC以编码所述当前块；
基于所选择的MV候选者的所述LIC旗标值经设定成假值，在不执行LIC的情况下编码所述当前块；及
确定识别所述合并候选者列表中的所选择的合并候选者的位置的合并索引，且
其中所述视频编码装置进一步包括经配置以在经编码视频位流中用信号发送识别所述合并候选者列表中的所选择的合并候选者的所述位置的所述合并索引的通信单元。
23.一种设备，其包括：
用于确定要根据合并模式对视频数据的当前块进行译码的装置；
用于根据所述合并模式确定用于所述当前块的与合并候选者列表相关联的时间候选者的装置；
用于基于具有与所述时间候选者相同的参考图片的池的每一空间候选者确定与所述合并候选者列表相关联的空间候选者的所述池的装置；及
用于基于所述池的一或多个空间候选者的相应局部照明补偿LIC旗标值设定用于所述时间候选者的LIC旗标值的装置。
24.一种非暂时性计算机可读存储介质，其经编码有指令，所述指令在执行时使视频译码装置的一或多个处理器进行以下操作：
确定要根据合并模式对视频数据的当前块进行译码；
根据所述合并模式确定用于所述当前块的与合并候选者列表相关联的时间候选者；
基于具有与所述时间候选者相同的参考图片的池的每一空间候选者确定与所述合并候选者列表相关联的空间候选者的所述池；及
基于所述池的一或多个空间候选者的相应局部照明补偿LIC旗标值设定用于所述时间候选者的LIC旗标值。
CN201880085487.4A 2018-01-11 2018-01-11 对视频数据进行译码的方法、装置和计算机可读存储介质 Active CN111567043B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/072218 WO2019136657A1 (en) 2018-01-11 2018-01-11 Video coding using local illumination compensation

Publications (2)

Publication Number Publication Date
CN111567043A CN111567043A (zh) 2020-08-21
CN111567043B true CN111567043B (zh) 2023-03-28

Family

ID=67219249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880085487.4A Active CN111567043B (zh) 2018-01-11 2018-01-11 对视频数据进行译码的方法、装置和计算机可读存储介质

Country Status (5)

Country Link
US (1) US11388398B2 (zh)
EP (1) EP3738310A4 (zh)
CN (1) CN111567043B (zh)
TW (1) TW201933874A (zh)
WO (1) WO2019136657A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10834409B2 (en) * 2018-04-06 2020-11-10 Arris Enterprises Llc System and method of implementing multiple prediction models for local illumination compensation
EP3791578A1 (en) * 2018-05-09 2021-03-17 InterDigital VC Holdings, Inc. Motion compensation for video encoding and decoding
WO2020075053A1 (en) 2018-10-08 2020-04-16 Beijing Bytedance Network Technology Co., Ltd. Generation and usage of combined affine merge candidate
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
CN113287317B (zh) 2018-10-23 2023-04-28 北京字节跳动网络技术有限公司 并置的局部照明补偿和修改的帧间编解码工具
CN116939198A (zh) 2018-10-23 2023-10-24 北京字节跳动网络技术有限公司 并置的局部照明补偿和修改的帧间预测编解码
EP4325849A3 (en) 2018-11-22 2024-04-17 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
WO2020147745A1 (en) * 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidate lists that use local illumination compensation
CN113302918A (zh) * 2019-01-15 2021-08-24 北京字节跳动网络技术有限公司 视频编解码中的加权预测
CN113302919A (zh) 2019-01-17 2021-08-24 北京字节跳动网络技术有限公司 在视频处理中使用虚拟候选预测和加权预测
US11902516B2 (en) * 2019-02-27 2024-02-13 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking using sub-pel motion vector threshold
KR20220009952A (ko) 2019-05-21 2022-01-25 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브블록 머지 모드에서의 신택스 시그널링
CN117395397A (zh) 2019-06-04 2024-01-12 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
KR20220016839A (ko) 2019-06-04 2022-02-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 기하학적 분할 모드 코딩을 갖는 모션 후보 리스트
CN113994699B (zh) 2019-06-06 2024-01-12 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
JP7318099B2 (ja) 2019-07-14 2023-07-31 北京字節跳動網絡技術有限公司 ビデオコーディングにおける変換ブロック・サイズ制約
KR20220043109A (ko) 2019-08-13 2022-04-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측의 모션 정밀도
CN114762330A (zh) 2019-09-22 2022-07-15 北京字节跳动网络技术有限公司 视频的子图片编码和解码
CN117596389A (zh) 2019-09-28 2024-02-23 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
CN114631321B (zh) 2019-10-18 2024-04-12 北京字节跳动网络技术有限公司 子图片与环路滤波之间的相互影响
WO2021129685A1 (en) * 2019-12-23 2021-07-01 Beijing Bytedance Network Technology Co., Ltd. Spatial-temporal motion vector prediction
US11671616B2 (en) 2021-03-12 2023-06-06 Lemon Inc. Motion candidate derivation
US11936899B2 (en) * 2021-03-12 2024-03-19 Lemon Inc. Methods and systems for motion candidate derivation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807424B2 (en) 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
US9883203B2 (en) 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
US9729873B2 (en) * 2012-01-24 2017-08-08 Qualcomm Incorporated Video coding using parallel motion estimation
CN105247863B (zh) * 2013-07-08 2018-09-07 寰发股份有限公司 三维或多视图视频编码或解码的方法
JP2016213519A (ja) * 2013-10-15 2016-12-15 シャープ株式会社 画像復号装置、画像符号化装置
WO2015093920A1 (ko) * 2013-12-20 2015-06-25 삼성전자 주식회사 휘도 보상을 이용한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US10887597B2 (en) * 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
US10356416B2 (en) * 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US20180242024A1 (en) * 2017-02-21 2018-08-23 Mediatek Inc. Methods and Apparatuses of Candidate Set Determination for Quad-tree Plus Binary-tree Splitting Blocks

Also Published As

Publication number Publication date
CN111567043A (zh) 2020-08-21
TW201933874A (zh) 2019-08-16
US11388398B2 (en) 2022-07-12
EP3738310A4 (en) 2021-08-11
EP3738310A1 (en) 2020-11-18
US20210076029A1 (en) 2021-03-11
WO2019136657A1 (en) 2019-07-18

Similar Documents

Publication Publication Date Title
CN111567043B (zh) 对视频数据进行译码的方法、装置和计算机可读存储介质
TWI803563B (zh) 改良的解碼器側之運動向量推導
CN110383839B (zh) 仿射运动信息导出
KR102343699B1 (ko) 디코더-측 모션 벡터 도출에 기초한 mvp 도출의 제한
CN110431842B (zh) 解码器侧运动向量导出
TWI761415B (zh) 用於雙向光學流（ｂｉｏ）之運動向量重建
CN109792538B (zh) 用于对视频数据进行译码的方法和装置
CN107534766B (zh) 于视频译码中针对子块推导运动信息方法、装置
CN109155855B (zh) 用于视频译码的仿射运动预测方法、装置及存储媒体
CN107690810B (zh) 确定用于视频译码的照明补偿状态的系统及方法
JP7211816B2 (ja) イントラブロックコピーマージモードおよび利用できないｉｂｃ参照領域のパディング
US11425387B2 (en) Simplified local illumination compensation
CN107211157B (zh) 用于视频译码的重叠运动补偿
CN110089116B (zh) 通过光照补偿和整数运动向量限制进行编码优化
CN111201793A (zh) 用于fruc的低复杂度设计
US11290743B2 (en) Interaction of illumination compensation with inter-prediction
CN114503584A (zh) 基于历史的运动矢量预测
CN114402617A (zh) 利用矢量裁剪的仿射译码
CN112640451A (zh) 矢量预测器列表生成

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant