CN107690810B - 确定用于视频译码的照明补偿状态的系统及方法 - Google Patents

确定用于视频译码的照明补偿状态的系统及方法 Download PDF

Info

Publication number
CN107690810B
CN107690810B CN201680031366.2A CN201680031366A CN107690810B CN 107690810 B CN107690810 B CN 107690810B CN 201680031366 A CN201680031366 A CN 201680031366A CN 107690810 B CN107690810 B CN 107690810B
Authority
CN
China
Prior art keywords
current block
candidate
illumination compensation
block
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680031366.2A
Other languages
English (en)
Other versions
CN107690810A (zh
Inventor
刘鸿彬
陈颖
陈建乐
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107690810A publication Critical patent/CN107690810A/zh
Application granted granted Critical
Publication of CN107690810B publication Critical patent/CN107690810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/583Motion compensation with overlapping blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本文提供用于译码视频数据的技术及系统。举例来说,一种译码视频数据的方法包含确定当前块的运动信息及确定所述当前块的照明补偿状态。所述方法进一步包含基于所述当前块的所述运动信息及所述照明补偿状态来译码所述当前块。在一些实例中,所述方法进一步包含基于候选块的运动信息确定所述当前块的所述运动信息。在此类实例中,所述方法进一步包含确定所述候选块的照明补偿状态及基于所述候选块的所述照明补偿状态来推导所述当前块的所述照明补偿状态。

Description

确定用于视频译码的照明补偿状态的系统及方法
技术领域
本发明大体上涉及视频译码。更具体地说,本发明涉及用于执行用于视频译码的照明补偿的系统及方法。
背景技术
数字视频能力可并入到广泛范围的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌面计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制面板、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式发射装置及其类似者。数字视频装置实施视频译码技术,例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分先进视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准及这些标准的扩展中所描述的技术。视频装置可通过实施此类视频译码技术来更有效率地发射、接收、编码、解码和/或存储数字视频信息。
视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码,可将视频切片(例如,视频帧或视频帧的一部分)分割成视频块,对于一些技术来说,视频块也可被称作译码树块、译码单元(CU)和/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测来编码图片的经框内译码(I)切片中的视频块。图片的经框间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧,且参考图片可被称作参考帧。
空间或时间预测产生用于待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码经框间译码块。经框内译码的块根据框内译码模式及残余数据来编码。为进行进一步压缩,可将残余数据从像素域变换到变换域,从而产生可接着量化的残余变换系数。可扫描最初布置成二维阵列的经量化变换系数以便产生变换系数的一维向量,且可应用熵译码以实现甚至较多压缩。
发明内容
在一些实施例中,描述用于推导视频数据的照明补偿状态的技术及系统。视频编码器可使用照明补偿以有效地补偿一或多个图片之间的照明的变化。视频编码器可确定用于经编码译码块或用于译码单元、预测单元、子预测单元或其它译码块、译码单元或预测单元的一或多个照明补偿参数。照明补偿参数可包含偏移、一或多个比例因子、移位数目或其它适合的照明补偿参数。照明补偿参数可在位流中用信号表示或可基于参考块、相邻块、特定样本(例如,像素)或其它信息中的一或多者而确定。视频解码器可利用照明补偿参数和/或其它数据来构建用于解码当前块的预测性数据。
照明补偿状态可指示照明补偿是否已经关于某些视频数据而使用,例如,译码单元、预测单元、子预测单元或其它译码块、译码单元或预测单元。照明补偿状态可包含旗标或其它指示符。在一些实例中,可以类似于运动信息的方式来处理照明补偿状态以使得可连同运动信息来推导或预测所述状态。
根据至少一个实例,提供一种译码视频数据的方法,其包含确定当前块的运动信息。所述方法进一步包含确定当前块的照明补偿状态。所述方法进一步包含基于当前块的运动信息及照明补偿状态来译码当前块。
在另一实例中,提供一种设备,其包含经配置以存储视频数据的存储器及处理器。处理器经配置以并且可确定当前块的运动信息。处理器经进一步配置以并且可确定当前块的照明补偿状态。处理器经进一步配置以并且可基于当前块的运动信息及照明补偿状态来译码当前块。
在另一实例中,提供一种其上存储有指令的计算机可读媒体,所述指令在由处理器执行时执行包含以下的方法:确定当前块的运动信息;确定当前块的照明补偿状态;及基于当前块的运动信息及照明补偿状态来译码当前块。
在另一实例中,提供一种设备,其包含用于确定当前块的运动信息的装置。所述设备进一步包含用于确定当前块的照明补偿状态的装置。所述设备进一步包含用于基于当前块的运动信息及照明补偿状态来译码当前块的装置。
在一些方面中,上文所描述的方法、设备及计算机可读媒体可进一步包含:基于候选块的运动信息确定当前块的运动信息;确定候选块的照明补偿状态;基于候选块的照明补偿状态推导当前块的照明补偿状态;及基于当前块的运动信息及照明补偿状态来译码当前块。
在一些方面中,使用合并模式译码当前块,并且推导出当前块的照明补偿状态与候选块的照明补偿状态相同。
在一些方面中,使用从候选块复制或推导运动信息的框间预测模式来译码当前块,且其中推导出照明补偿状态与候选块的照明补偿状态相同。
在一些方面中,候选块为空间合并候选、时间合并候选或双预测性合并候选中的至少一或多个。
在一些方面中,当前块包括子预测单元,并且使用基于子预测单元的合并模式,且其中当前块的照明补偿状态是基于从当前块的一或多个时间相邻块产生的代表运动信息。
在一些方面中,上文所描述的方法、设备及计算机可读媒体可进一步包含:确定包含候选块的多个候选块;及删除重复候选的多个候选,其中与不同照明补偿状态相关联的任何两个候选均不是重复候选。
在一些方面中,上文所描述的方法、设备及计算机可读媒体可进一步包含将候选添加到合并列表,所述候选具有与现有候选块的运动信息相同的运动信息并且具有与现有候选块的照明补偿状态不同的照明补偿状态。
在一些方面中,基于包含候选块的多个候选块来确定当前块的运动信息,且其中当前块的照明补偿状态是基于多个候选块中的每一个的相对应照明补偿状态。
在一些方面中,如果多个候选块的全部的相对应照明补偿状态为正确的,则当前块的照明补偿状态为正确的。
在一些方面中,如果多个候选块中的任一个的相对应照明补偿状态为正确的,则当前块的照明补偿状态为正确的。
在一些方面中,候选块对应于第一方向上的候选,并且多个候选块中的另一候选块对应于不同于第一方向的第二方向上的候选,且其中当前块的照明补偿状态包括基于候选块的第一方向的第一照明补偿状态及基于另一候选块的第二方向的第二照明补偿状态。
在一些方面中,当前块的照明补偿状态是基于用于确定当前块的运动信息的框间预测模式的类型来确定的。
在一些方面中,当前块包括使用除合并模式外的框间预测模式译码的预测单元,且其中当前块的照明补偿状态针对包括当前块的译码单元而用信号表示。
在一些方面中,当使用AMVP模式译码当前块时,当前块的照明补偿状态经明确地用信号表示于经编码位流中。
在一些方面中,当使用将当前块的运动信息明确地用信号表示于经编码位流中的框间预测模式来译码当前块时,当前块的照明补偿状态经明确地用信号表示于经编码位流中。
在一些方面中,当前块的照明补偿状态也用作译码单元的多个预测单元的照明补偿状态。
在一些方面中,多个预测单元包括译码单元的所有预测单元。
在一些方面中,多个预测单元包括使用合并模式译码的预测单元的第一集合及使用除合并模式外的框间预测模式译码的预测单元的第二集合,且其中针对译码单元传信的照明状态用于第二集合且不用于第一集合。
在一些方面中,照明补偿状态进一步基于译码单元的分割类型。
在一些方面中,上文所描述的方法、设备及计算机可读媒体可进一步包含基于当前块的一或多个相邻块的运动信息产生额外预测块。
在一些方面中,上文所描述的方法、设备及计算机可读媒体可进一步包含基于一或多个相邻块的运动信息及当前块的照明补偿状态推导用于产生当前块的额外预测块的照明补偿状态。
在一些方面中,在当前块的一或多个相邻块具有与当前块不同的照明补偿状态时,确定一或多个相邻块的额外运动信息不可用于当前块。
在一些方面中,上文所描述的方法、设备及计算机可读媒体可进一步包含基于一或多个相邻块的一或多个相邻样本推导用于产生额外预测块的一或多个照明补偿参数。
在一些方面中,上文所描述的方法、设备及计算机可读媒体可进一步包含基于当前块的照明补偿状态选择性地启用当前块的经加权预测。
在一些方面中,上文所描述的方法、设备及计算机可读媒体可进一步包含在将照明补偿用于当前块时禁用当前块的经加权预测。
在一些方面中,上文所描述的方法、设备及计算机可读媒体可进一步包含基于经加权预测是否用于当前块而选择性地启用当前块的照明补偿。
在一些方面中,上文所描述的方法、设备及计算机可读媒体可进一步包含在将经加权预测用于当前块时禁用当前块的照明补偿。
在一些方面中,上文所描述的方法、设备及计算机可读媒体可进一步包含对当前块执行照明补偿及经加权预测两者。
在一些方面中,所述方法可在无线通信装置上执行。无线通信装置包括经配置以存储视频数据的存储器、经配置以执行指令从而处理存储于存储器中的视频数据的处理器,及经配置以接收经编码位流的接收器。在一些方面中,无线通信装置为蜂窝式电话,且经编码视频位流根据蜂窝式通信标准来调制。
此发明内容并不意图识别所请求的主题的关键或基本特征,也不意图孤立使用以确定所请求的主题的范围。应参照本专利的整个说明书的合适部分、任何或所有图式及每一权利要求书来理解主题。
当参考以下说明书、权利要求书及随附图式时,前述内容连同其它特征及实施例将变得更显而易见。
附图说明
下文参考如下图式详细描述本发明的说明性实施例:
图1是说明可实施本发明的技术的实例视频编码及解码系统的框图。
图2是说明译码单元的分割模式的实例的框图。
图3是说明可实施本发明的技术的视频编码器的实例的框图。
图4是说明可实施本发明的技术的视频解码器的实例的框图。
图5A及图5B是说明用于合并模式及先进运动向量预测(AMVP)模式的实例空间相邻运动向量候选的概念图。
图6A及图6B是说明实例时间运动向量预测符(TMVP)候选及运动向量按比例调整的概念图。
图7为说明基于模板匹配的解码器侧运动向量推导(DMVD)的实例的概念图。
图8是说明DMVD中的基于镜像的双向运动向量推导的实例的概念图。
图9是说明使用DMVD解码预测单元(PU)的实例的流程图。
图10是用于推导当前块的照明补偿(IC)参数的样本的说明。
图11是说明根据一些实施例的译码视频数据的过程的实施例的流程图。
图12是说明根据一些实施例的译码视频数据的过程的实施例的流程图。
具体实施方式
下文提供本发明的某些方面及实施例。这些方面及实施例中的一些可独立地应用并且其中的一些可以组合应用,如将对所属领域的技术人员显而易见。在以下描述中,出于解释的目的,阐述特定细节以便提供对本发明的实施例的透彻理解。然而,将显而易见的是,各种实施例可在没有这些特定细节的情况下实践。图式及描述不意图为限定性的。
随后描述仅提供示范性实施例且并不意图限制本发明的范围、可应用性或配置。相反地,示范性实施例的随后描述将为所属领域的技术人员提供用于实施示范性实施例的能够实现的描述。应理解,可在不脱离如所附权利要求书中所阐述的本发明的精神及范围的情况下对组件的功能及布置做出各种变化。
在以下描述中给定特定细节从而提供实施例的透彻理解。然而,所属领域的一般技术人员应了解,实施例可在没有这些具体细节的情况下实践。举例来说,电路、系统、网络、过程及其它组件可以框图形式展示为组件以免在不必要细节下使实施例混淆。在其它情况下,可在没有不必要的细节的情况下展示熟知电路、过程、算法、结构及技术以便避免混淆实施例。
又,应注意,个别实施例可描述为经描绘为流程图、作业图、数据流程图、结构图或框图的过程。尽管流程图可能将操作描述为顺序过程,但许多操作可并行地或同时来执行。另外,可重新布置操作的次序。当过程的操作完成时,终止所述过程,但可具有不包含于图中的额外步骤。过程可对应于方法、函式、程序、次例程、子程序等。当过程对应于函式时,其终止可对应于函式返回到呼叫函式或主函式。
术语“计算机可读媒体”包含但不限于便携式或非便携式存储装置、光学存储装置及能够存储、含有或携载指令和/或数据的各种其它媒体。计算机可读媒体可包含非暂时性媒体,其中可存储数据,并且所述非暂时性媒体不包含载波和/或以无线方式或经由有线连接传播的暂时电子信号。非暂时性媒体的实例可包含(但不限于)磁盘或磁带、光学存储媒体,诸如光盘(CD)或数字化通用光盘(DVD)、闪速存储器、存储器或存储器装置。计算机可读媒体可具有存储于其上的代码和/或机器可执行指令,所述代码和/或机器可执行指令可表示步骤、函式、子程序、程序、例程、次例程、模块、软件包、种类或指令、数据结构或程序语句的任何组合。代码段可通过传递和/或接收信息、数据、论证、参数或存储器内容耦合至另一代码段或硬件电路。信息、论证、参数、数据等可经由包含存储器共享、消息传递、令牌传递、网络发射或类似者的任何合适的手段传递、转发或发射。
此外,可由硬件、软件、固件、中间软件、微码、硬件描述语言或其任何组合实施实施例。当以软件、固件、中间软件或微码实施时,用以执行必要任务的程序代码或代码段(例如,计算机程序产品)可存储于计算机可读或机器可读媒体中。处理器可以执行必要任务。
本文中描述使用视频编码器及解码器的视频译码的若干系统及方法。举例来说,译码的一或多个系统及方法是针对应用基于块的视频译码中的照明补偿(IC)。所述技术可应用于现有视频编解码器(例如,高效率视频译码(HEVC)、先进视频译码(AVC)或其它适合的现有视频编解码器)中的任一个,或可为用于任何将来视频译码标准的有效译码工具。
视频译码装置实施视频压缩技术以有效地编码及解码视频数据。视频压缩技术可包含应用空间预测(例如,帧内预测或框内预测)、时间预测(例如,帧间预测或框间预测)和/或其它预测技术以减小或移除视频序列中的固有冗余。视频编码器通常将原始视频序列的每一图片分割成被称作视频块或译码单元(下文更详细地描述)的矩形区域。可使用特定预测模式来编码这些视频块。
如本文进一步所描述,可以一或多种方式将视频块分割成一或多组较小块(例如,译码树块(CTB)、预测块(PB)、变换块(TB)),每一群组单独地表示整个视频块。因此,如所属领域的一般技术人员将理解,对块的大体参考(除非另外规定)可指代这些视频块(例如,译码树块(CTB)、译码块等)、预测块、变换块或其它适合的块或子块。另外,这些块中的每一个也可互换地在本文中称作“单元”(例如,译码树型单元(CTU)、译码单元、预测单元(PU)、变换单元(TU)等)。所属领域的一般技术人员将认识到,单元可指示在位流中经编码的译码逻辑单元,而块可指示过程的目标的视频帧缓冲器的一部分。
对于框间预测模式,视频编码器通常搜索类似于在位于另一时间位置的帧(被称作参考帧)中经编码的块的块。视频编码器可将搜索限于从待编码的块的某一空间移位。可使用包含水平移位分量及竖直移位分量的二维(2D)运动向量来定位最佳匹配。对于框内预测模式,视频编码器可基于来自同一图片内的先前经编码相邻块的数据使用空间预测技术而形成预测块。
视频编码器可确定预测误差。举例来说,可确定预测为经编码块与预测块中的像素值之间的差。预测误差也可被称作残余。视频编码器也可将变换应用于预测误差(例如,离散余弦变换(DCT)或其它适合的变换)从而产生变换系数。在变换之后,视频编码器可量化变换系数。可使用语法元素来表示经量化变换系数及运动向量,且其连同控制信息一起形成视频序列的经译码表示。在一些情况下,视频编码器可熵译码语法元素,由此进一步减少其表示所需的位的数目。
视频解码器可使用上文所论述的语法元素及控制信息来构建用于解码当前帧的预测性数据(例如,预测性块)。举例来说,视频解码器可将预测块与经压缩预测误差相加。视频解码器可通过使用经量化系数而加权变换基底函数来确定经压缩预测误差。经重构建帧与原始帧之间的差被称作重构建误差。
在一些情况下,视频编码器可使用照明补偿(IC)有效地补偿一或多个图片之间的照明(例如,亮度)的变化。视频编码器可确定经编码译码块或译码单元、预测单元、子预测单元或其它译码块、译码单元或预测单元的一或多个IC参数(例如,偏移、一或多个比例因子、移位数目(可为固定的)或其它适合的IC参数)。IC参数可用信号表示于位流中,或基于参考块、相邻块、特定样本(例如,像素)或其它信息中的一或多者来确定所述IC参数。视频编码器可包含经编码位流中的经编码块的指示符(例如,一或多个位)和/或IC参数。指示符也可被称作旗标。指示符和/或IC参数可经编码为经编码位流中的语法元素的一部分。视频解码器可利用旗标、IC参数和/或其它数据来构建用于解码当前块的预测性数据。
根据本发明的方面,视频译码器(例如,视频编码器或视频解码器)可推导IC参数和/或用信号表示在针对位流译码时块是否使用IC。举例来说,视频译码器可插入包含如何使用IC的指示、所使用IC参数的指示、经编码位流中的IC参数自身或其任何组合中的至少一或多个的IC信息。视频译码器可进一步基于经编码位流中的IC信息来解码经编码位流。
图1为说明可利用用于推导运动信息、执行块分割、执行照明补偿(IC)和/或执行其它译码操作的技术的实例视频编码及解码系统10的框图。如图1中所展示,系统10包含源装置12,其提供稍后时间将由目的地装置14解码的经编码视频数据。确切地说,源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一个,包含桌面计算机、笔记型(即膝上型)计算机、平板计算机、机顶盒、电话手机(例如所谓的“智能型”电话)、所谓的“智能型”平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制面板、视频流式发射装置或类似者。在一些情况下,源装置12和目的地装置14可能经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中,计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码视频数据直接发射到目的地装置14。可根据通信标准(例如无线通信协议)调制经编码视频数据,且将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如,射频(RF)频谱或一或多个物理发射线。通信媒体可形成基于分组的网络(例如局域网、广域网或全球网络,例如互联网)的一部分。通信媒体可包含路由器、交换器、基站或任何其它可适用于促进从源装置12到目的地装置14的通信的设备。
在一些实例中,经编码数据可从输出接口22输出到存储装置。类似地,可由输入接口28从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取式数据存储媒体中的任一者,例如,硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪速存储器、易失性或非易失性存储器,或用于存储经编码视频数据的任何其它合适的数字存储媒体。在再一实例中,存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式发射或下载从存储装置存取所存储的视频数据。文件服务器可以是能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如,用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含互联网连接)而存取经编码视频数据。这种数据连接可包含适于存取存储于文件服务器上的经编码视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等),或两者的结合。从存储装置发射经编码视频数据可以是流式发射、下载发射或其组合。
本发明的技术不必限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一者的视频译码,例如,空中电视广播、有线电视发射、卫星电视发射、互联网流式视频发射(例如,经由HTTP的动态自适应性流式发射(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中,系统10可经配置以支持单向或双向视频发射以支持应用,例如,视频流式发射、视频播放、视频广播和/或视频电话。
在图1的实例中,源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。根据本发明,源装置12的视频编码器20可经配置以应用用于推导运动信息、执行块分割和/或执行IC的技术。在其它实例中,源装置及目的地装置可包含其它组件或布置。举例来说,源装置12可从外部视频源18(例如外部相机)接收视频数据。同样地,目的地装置14可与外部显示装置32介接,而非包含集成式显示装置。
图1的所说明系统10仅为一个实例。用于推导运动信息、执行块分割和/或执行IC的技术可通过任何数字视频编码和/或解码装置执行。尽管本发明的技术一般由视频编码装置执行,但所述技术也可由视频编码器/解码器(通常被称作“编码解码器”)执行。此外,本发明的技术也可由视频预处理器执行。源装置12及目的地装置14仅为其中源装置12产生经译码视频数据以供发射到目的地装置14的此类译码装置的实例。在一些实例中,装置12、14可以基本上对称的方式操作,使得装置12、14中的每一个包含视频编码及解码组件。因此,系统10可支持视频装置12、14之间的单向或双向视频发射以用于(例如)视频流式发射、视频播放、视频广播或视频电话。
源装置12的视频源18可包含视频捕捉装置,例如视频相机、含有先前捕捉的视频的视频存档和/或用以从视频内容提供商接收视频的视频馈送接口。作为另一替代,视频源18可产生基于计算机图形的数据,作为源视频、或实况视频、存档视频及计算机产生的视频的组合。在一些情况下,如果视频源18为视频相机,则源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而,如上文所提及,本发明所描述的技术一般可适用于视频译码,且可适用于无线和/或有线应用。在每一情况下,捕捉、预先捕捉或计算机产生的视频可由视频编码器20编码。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含瞬时媒体,例如无线广播或有线网络发射,或存储媒体(即,非暂时性存储媒体),例如硬盘、闪存盘、光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中,网络服务器(图中未展示)可从源装置12接收经编码视频数据,且(例如)经由网络发射将经编码视频数据提供到目的地装置14。类似地,媒体产生设施(诸如光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此,在各种实例中,可理解计算机可读媒体16包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息(其也由视频解码器30使用),所述语法信息包含描述块及其它经译码单元(例如,图片组(GOP))的特性和/或处理的语法元素。显示装置32将经解码视频数据显示给用户,且可包括多种显示装置中的任一个,例如,阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
在一些方面中,尽管图1中未展示,但视频编码器20及视频解码器30可各自与音频编码器及解码器集成,且可包含适当多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件以处置共同数据流或单独数据流中的音频及视频两者的编码。如果适用,则多路复用器-多路分用器单元可遵照ITU H.223多任务器协议或诸如用户数据报协议(UDP)的其它协议。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者,例如,一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件实施时,装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中,且在硬件中使用一或多个处理器执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一个可包含于一或多个编码器或解码器中,编码器或解码器中的任一者可集成为相应装置中的组合式编码器/解码器(编码解码器)的部分。
本发明大体上可涉及将某些信息“用信号表示”给另一装置(例如,视频解码器30)的视频编码器20。术语“用信号表示”可大体上指代可用以解码经压缩(经编码)视频数据的语法元素和/或其它数据的通信。此通信可实时地或近实时地发生。替代地,可历时一时间跨度发生此通信,例如可在当编码时在经编码位流中将语法元素存到计算机可读存储媒体时发生,接着,在存储到此媒体之后可由解码装置在任何时间检索所述语法元素。
视频编码器20及视频解码器30可根据视频译码标准操作。通过ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合协作小组(JCT-VC)以及3D视频译码扩展开发联合协作小组(JCT-3V)开发的实例视频译码标准包含高效视频译码(HEVC)或ITU-T H.265,包含其范围扩展、多视图扩展(MV-HEVC)及可调式扩展(SHVC)。定案的HEVC标准文件作为“ITU-T H.265,H系列:视听服务的视听及多媒体系统基础设施——移动视频的译码——高效率视频译码”,国际电信联合会(ITU)的电信标准化部门2013年4月发表。替代地,视频编码器20及视频解码器30可根据其它专属或工业标准(例如,ISO/IECMPEG-4Visual及ITU-T H.264(也称为ISO/IEC MPEG-4AVC),包含其可调式视频译码(SVC)扩展及多视图视频译码(MVC)扩展)而操作。然而,本发明的技术不限于任何特定译码标准。举例来说,本发明的技术可与多种其它专属或非专属视频译码技术或后续标准(诸如,ITU-T H.266)一起使用。
如上文所提到,对于框间预测模式,视频编码器20可在另一时间位置的图片(被称作参考图片)中搜索类似于正经编码的块(“当前块”)的块。用以识别参考图片的信息可被称作运动信息。举例来说,对于每一块,运动信息集合可为可用的。运动信息的集合含有用于前向及后向预测方向的运动信息。在此,前向及后向预测为双向预测模式的两个预测方向。术语“前向”及“后向”不必具有几何意义,而是可对应于当前图片的参考图片列表0(RefPicList0)及参考图片列表1(RefPicList1)。当仅仅一个参考图片列表可供用于图片或切片时,只有RefPicList0为可用的,且所述切片的每一块的运动信息可始终为前向预测方向。
对于每一预测方向,运动信息含有参考索引及运动向量。在一些情况下,为简单起见,可以假设运动向量自身具有相关联参考索引的方式参考所述运动向量。参考索引用于识别当前参考图片列表(RefPicList0或RefPicList1)中的参考图片。运动向量具有水平分量及竖直分量。
在一些情况下,运动向量连同其参考索引用于解码过程。具有相关联参考索引的此类运动向量可表示为单预测性运动信息集合。
视频译码标准中广泛使用图片次序计数(POC)以识别图片的显示次序。尽管可存在一个经译码视频序列内的两个图片可具有相同POC值的情况,但经译码视频序列内通常不发生此类情况。当位流中存在多个经译码视频序列时,就解码次序而言,具有同一POC值的图片可更接近于彼此。图片的POC值可用于参考图片列表构建、参考图片集的推导(例如,如在HEVC中)、运动向量按比例调整或其它适合的用途。
在H.264/AVC中,每一框间宏块(MB)可以四种不同方式分割,包含:一个16×16MB分区;两个16×8MB分区;两个8×16MB分区;及四个8×8MB分区。一个M×B中的不同MB分区针对每一方向可具有不同参考索引值(RefPicList0或RefPicList1)。当MB不被分割成四个8×8MB分区时,MB在每一方向上的每一MB分区仅具有一个运动向量。当MB被分割成四个8×8MB分区时,每一8×8MB分区可进一步被分割成子块,所述子块中的每一个在每一方向可具有不同运动向量。存在从8×8MB分区得到子块的四种不同方式,包含:一个8×8子块;两个8×4子块;两个4×8子块;及四个4×4子块。每一子块在每一方向上可具有不同运动向量。因此,运动向量可存在于等于高于子块的级别中。
在H.264/AVC中,可在B切片中针对跳过或直接模式而在MB或MB分区级别启用时间直接模式。对于每一MB分区,与当前块的RefPicList1[0]中的当前MB分区同置的块的运动向量可用以推导运动向量。同置块中的每一运动向量可基于POC距离而按比例调整。在AVC中,直接模式也可从空间相邻者预测运动信息,其可被称作空间直接模式。
在HEVC中,为产生图片的经编码表示,视频编码器20可产生译码树型单元CTU)的集合。译码树块(CTB)为切片中的最大译码单元,且含有具有译码单元的四分树作为节点。举例来说,CTU可包括明度样本的CTB、色度样本的两个对应CTB,及用以译码CTB的样本的语法结构。在单色图片或具有三个单独色彩平面的图片中,CTU可包括单一CTB块及用以译码所述CTB的样本的语法结构。
CTB可为样本的N×N块。CTB的大小可介于HEVC主要配置文件中的16×16至64×64的范围(尽管技术上可支持8×8CTB大小)。译码单元(CU)可与CTB大小相同且可小至8×8。使用一个预测模式译码每一CU。CTU也可被称作“树块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于诸如H.264/AVC的其它标准的宏块。然而,CTU未必限于特定大小,且可包含一或多个译码单元(CU)。切片可包含在光栅扫描次序中连续定序的整数数目个CTU。
为产生经译码CTU,视频编码器20可对CTU的CTB递回地执行四分树分割,以将译码树块划分成译码块,之后命名为“译码树型单元”。译码块可为样本的N×N块。CU可包括具有明度样本阵列、Cb样本阵列及Cr样本阵列的图片的明度样本的译码块及色度样本的两个对应译码块。CU可进一步包含用于对译码块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中,CU可包括单一译码块及用于对译码块的样本进行译码的语法结构。
视频编码器20可将CU的译码块分割为一或多个预测块。预测块为其上应用相同预测的样本的矩形(即,正方形或非正方形)块。CU的预测单元(PU)可包括明度样本的预测块、色度样本的两个对应的预测块及用于预测所述预测块的语法结构。在单色图片或具有三个包括单独色彩颜色平面的图片中,PU可包括单一预测块及用以预测所述预测块的语法结构。视频编码器20可针对CU的每一PU的明度预测块、Cb预测块及Cr预测块而产生预测性明度块、Cb块及Cr块。
视频编码器20可使用框内预测或框间预测来产生用于PU的预测性块。如果视频编码器20使用框内预测产生PU的预测性块,则视频编码器20可基于与PU相关联的图片的经解码样本产生PU的预测性块。如果视频编码器20使用框间预测以产生PU的预测性块,则视频编码器20可基于除与PU相关联的图片外的一或多个图片的经解码样本而产生PU的预测性块。当CU经框间预测(或经框间译码)时,CU可进一步分割成两个或四个PU。在一些情况下,当CU经框间预测时,当不应用进一步分割时CU可变为仅一个PU。当两个PU存在于一个CU中时,所述两个PU在一些情况下可为一半大小的矩形或具有CU的四分之一或四分之三大小的两个矩形大小。图2为说明使用框间预测模式的用于CU的分割模式的实例的框图。如所展示,分割模式包含PART_2N×2N、PART_2N×N、PART_N×2N、PART_N×N、PART_2N×nU、PART_2N×nD、PART_nL×2N及PART_nR×2N。CU可根据不同分割模式分割成PU。因此,可使用分割模式中的一或多个来预测CU。
在视频编码器20产生CU的一或多个PU的预测性明度、Cb及Cr块之后,视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一个中的明度样本与CU的原始明度译码块中的对应样本之间的差。另外,视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一个中的Cb样本与CU的原始Cb译码块中的对应样本之间的差。视频编码器20也可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块的一个中的Cr样本与CU的原始Cr译码块中的对应样本之间的差。
此外,视频编码器20可使用四分树分割以将CU的明度残余块、Cb残余块及Cr残余块分解为一或多个明度变换块、Cb变换块及Cr变换块。变换块为其上应用相同变换的样本的矩形(即,正方形或非正方形)块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块及用于对变换块样本进行变换的语法结构。因此,CU的每一TU可与明度变换块、Cb变换块及Cr变换块相关联。与TU相关联的明度变换块可为CU的亮度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个单独色彩平面的图片中,TU可包括单一变换块及用于变换所述变换块的样本的语法结构。
视频编码器20可将一或多个变换应用于TU的明度变换块,以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为纯量。视频编码器20可将一或多个变换应用于TU的Cb变换块,以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如,明度系数块、Cb系数块或Cr系数块)之后,视频编码器20可将系数块量化。量化大体上指变换系数经量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后,视频编码器20可熵编码指示经量化的变换系数的语法元素。举例来说,视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应性二进制算术译码(CABAC)。
视频编码器20可输出包含形成经译码图片及相关联数据的表示的位序列的位流。位流可包括网络抽象层(NAL)单元的序列。NAL单元为含有NAL单元中的数据的类型的指示及含有所述数据的呈按需要穿插有仿真阻止位的原始字节序列有效负载(RBSP)的形式的字节的语法结构。NAL单元中的每一个包含NAL单元标头且封装RBSP。
不同类型的NAL单元可封装不同类型的RBSP。举例来说,第一类型的NAL单元可封装图片参数集(PPS)的RBSP,第二类型的NAL单元可封装经译码切片的RBSP,第三类型的NAL单元可封装SEI的RBSP,等等。封装视频译码数据的RBSP(与参数集及SEI消息的RBSP相反)的NAL单元可被称作视频编码层(VCL)NAL单元。
视频解码器30可接收由视频编码器20产生的位流。此外,视频解码器30可剖析位流以从所述位流获得语法元素。视频解码器30可至少部分基于从位流获得的语法元素而重构建视频数据的图片。重构建视频数据的过程可大体上与由视频编码器20执行的过程互逆。另外,视频解码器30可反量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行反变换以重构建与当前CU的TU相关联的变换块。通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本,视频解码器30可重构建当前CU的译码块。通过重构建图片的每一CU的译码块,视频解码器30可重构建图片。
当CU经框间译码时,针对每一PU存在一个运动信息集合。此外,每一PU通过唯一框间预测模式译码以推导运动信息集合。在HEVC标准中,存在用于预测单元(PU)的两个框间预测模式,包含合并模式及先进运动向量预测(AMVP)模式。跳过预测模式被视为合并预测模式的特殊情况。
在AMVP或合并模式中,针对多个运动向量预测符维持运动向量(MV)候选列表。当前PU的运动向量(以及合并模式中的参考索引)通过从MV候选者列表获取一个候选者而产生。在一些实例中,MV候选列表含有针对合并模式的至多五个候选及针对AMVP模式的两个候选。所属领域的一般技术人员将了解,其它数目个候选可包含于针对合并或AMVP模式的MV候选列表中。合并候选可含有对应于两个参考图片列表(列表0及列表1)的运动信息(例如,运动向量)的集合及参考索引。如果合并候选通过合并索引识别,则与合并候选相关联的参考图片用于当前块的预测,并确定相关联运动向量。在AMVP模式下,对于来自列表0或列表1的每一可能预测方向,需要明确地将参考索引连同针对MV候选列表的MVP索引一起用信号发送,这是因为AMVP候选仅含有运动向量。在AMVP模式中,可进一步改进经预测运动向量。因此,合并候选对应于运动信息的整个集合,而AMVP候选仅含有用于特定预测方向的一个运动向量及参考索引。如下文关于图5A、图5B、图6A及图6B所描述,从相同空间和/或时间相邻块类似地推导用于两个模式的候选。
根据本发明的方面,如下文更详细地描述,视频编码器20和/或视频解码器30可经配置以执行本文中所描述的用于推导运动信息、执行块分割和/或执行照明补偿(IC)的技术的任何组合。
图3为说明可实施用于推导运动信息、执行块分割和/或执行照明补偿(IC)的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的框内译码及框间译码。框内译码依赖于空间预测以减少或移除给定视频帧或图片内的视频的空间冗余。框间译码依赖于时间预测以减少或移除视频序列的相邻帧或图片内的视频中的时间冗余。框内模式(I模式)可指代若干基于空间的译码模式中的任一者。框间模式(例如,单向预测(P模式)或双向预测(B模式))可指若干基于时间的译码模式中的任一者。
如图3中所示,视频编码器20接收待编码的视频帧内的当前视频块。在图3的实例中,视频编码器20包含视频数据存储器38、模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、框内预测单元46及分割单元48。为了实现视频块重构建,视频编码器20还包含反量化单元58、反变换单元60及求和器62。还可包含解块滤波器(图3中未展示)至滤波器块边界以将块效应伪影从经重构建视频移除。如果需要,解块滤波器将通常对求和器62的输出进行滤波。除了解块滤波器之外,还可使用额外滤波器(环路中或环路后)。为简洁起见未展示这些滤波器,但若需要,这些滤波器可对求和器50的输出进行滤波(作为环路内滤波器)。
在编码过程期间,视频编码器20接收待译码的视频帧或切片。可将所述帧或切片划分成多个视频块。视频数据存储器38可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储于视频数据存储器38中的视频数据。参考图片存储器64可被称为存储参考视频数据(例如,参考图片)以供用于由视频编码器20编码视频数据(例如,以框内或框间译码模式)的经解码图片缓冲器(DPB)。视频数据存储器38及参考图片存储器64可由多种存储器装置中的任一者形成,例如动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器38及参考图片存储器64可由同一存储器装置或单独存储器装置来提供。在各种实例中,视频数据存储器38可与视频编码器20的其它组件一起在芯片上,或相对于那些组件在芯片外。
运动估计单元42及运动补偿单元44执行所接收视频块相对于一或多个参考帧中的一或多个块的框间预测性译码以提供时间预测。框内预测单元46可可替代地执行所接收视频块相对于作为待译码块的相同帧或切片中的一或多个相邻块的框内预测性译码以便提供空间预测。视频编码器20可执行多个译码遍次(例如,以选择用于视频数据的每一块的适当译码模式)。
此外,分割单元48可基于对先前译码遍次中的先前分割方案的评估而将视频数据的块分割为子块。举例来说,分割单元48可首先将帧或切片分割成多个LCU,且基于速率-失真分析(例如,速率-失真优化)来将所述LCU中的每一个分割成子CU。模式选择单元40可进一步产生指示将LCU分割为子CU的四分树数据结构。四分树的叶节点CU可包含一或多个PU及一或多个TU。
模式选择单元40可选择框内或框间译码模式(例如,基于误差结果或其它适合的因素)中的一者,且可将所得经框内或框间译码块提到至求和器50,以产生残余块数据并提供到求和器62以重构建经编码块以供用作参考图片或帧。模式选择单元40也将语法元素(诸如,运动向量、框内模式指示符、分割信息及其它此类语法信息)提供到熵编码单元56。
运动估计单元42及运动补偿单元44可高度集成,但出于概念目的而单独说明。通过运动估计单元42执行的运动估计为产生运动向量的过程。如本文进一步所描述,运动向量是针对视频块估计运动。举例来说,运动向量可指示在当前视频帧或图片内的视频块的PU相对于在参考图片(或其它经译码单元)内的预测性块相对于在所述当前图片(或其它经译码单元)内正经译码的当前块的位移。预测性块为经发现以紧密地匹配待译码块(就像素差而言)的块,所述块可由以下确定:绝对差总和(SAD)、平方差总和(SSD)、平方误差总和(SSE)、绝对变换差总和(SATD)或其它差度量。在一些实例中,视频编码器20可计算存储于参考图片存储器64中的参考图片的子整数像素位置的值。举例来说,视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可执行关于全像素位置及分数像素位置的运动搜索且输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置而计算经框间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1),其中的每一个识别存储于参考图片存储器64中的一或多个参考图片。运动估计单元42将所计算运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量提取或产生预测性块。再次,在一些实例中,运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量之后,运动补偿单元44可在参考图片列表中的一个中定位运动向量所指向的预测性块。求和器50通过从正经译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块,从而形成像素差值,如下文所论述。在一些实例中,运动估计单元42相对于明度分量而执行运动估计,且运动补偿单元44将基于所述明度分量所计算的运动向量用于色度分量与明度分量两者。模式选择单元40也可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
根据本发明的方面,如本文中所描述的,视频编码器20可经配置以执行本文所描述的用于执行照明补偿(IC)的技术的任何组合。确切地说,本发明的某些技术可通过运动估计单元42、运动补偿单元44和/或模式选择单元40执行。举例来说,可通过运动估计单元42和/或运动补偿单元42推导IC参数和/或IC状态。另外,模式选择单元40可产生与视频块、切片、图片、序列等相关联的IC旗标且可将其包含于经编码位流中以供视频解码器30在解码视频块时使用。
如上文所描述,作为由运动估计单元42及运动补偿单元44执行的框间预测的替代,框内预测单元46可对当前块进行框内预测。确切地说,框内预测单元46可确定待用以编码当前块的框内预测模式。在一些实例中,框内预测单元46可(例如,在单独编码遍次期间)使用各种框内预测模式编码当前块,且框内预测单元46(或在一些实例中为模式选择单元40)可从所测试模式中选择适当框内预测模式来使用。
举例来说,框内预测单元46可使用对于各种所测试的框内预测模式的速率-失真分析来计算速率-失真值,且在所测试的模式之中选择具有最佳速率-失真特性的框内预测模式。速率-失真分析大体上确定经编码块与原始、未编码块(其经编码以产生经编码块)之间的失真(或误差)量,以及用以产生经编码块的位率(即,位的数目)。框内预测单元46可根据各种经编码块的失真及速率来计算比率以确定哪一框内预测模式展现所述块的最佳速率-失真值。
在针对块选择框内预测模式之后,框内预测单元46可将指示用于所述块的所选框内预测模式的信息提供到熵编码单元56。熵编码单元56可编码指示所述所选定的框内预测模式的信息。视频编码器20可在所发射的位流中包含以下各者:配置数据,其可包含多个框内预测模式索引表及多个经修改的框内预测模式索引表(也称作码字映射表);各种块的编码上下文的定义;及待用于所述上下文中的每一个的最有可能的框内预测模式、框内预测模式索引表及经修改的框内预测模式索引表的指示。
视频编码器20通过从正经译码的原始视频块减去(从模式选择单元40所接收)的预测数据而形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将变换(例如离散余弦变换(DCT)或概念上类似的变换)应用于残余块,从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。也可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何情况下,变换处理单元52将变换应用于残余块,从而产生残余变换系数块。所述变换可将残差信息从像素值域变换到变换域,例如频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减少位率。量化处理可减少与一些或所有系数相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中,量化单元54可接着执行对包含经量化变换系数的矩阵的扫描。替代性地,熵编码单元56可执行扫描。
在量化之后,熵编码单元56对经量化变换系数进行熵译码。举例来说,熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、机率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下,上下文可基于相邻块。在由熵编码单元56进行熵译码之后,可将经编码位流发射到另一装置(例如,视频解码器30)或加以存档以供稍后发射或检索。
反量化单元58及反变换单元60分别应用反量化及反变换以在像素域中重构建残余块(例如以供稍后用作参考块)。运动补偿单元44可通过将残余块添加到参考图片存储器64的帧中的一个的预测性块来计算参考块。运动补偿单元44也可将一或多个内插滤波器应用于经重构建的残余块以计算用于在运动估计中使用的子整数像素值。求和器62将经重构建的残余块添加到由运动补偿单元44产生的经运动补偿的预测块,以产生经重构建的视频块以用于存储于参考图片存储器64中。经重构建的视频块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧中的块进行框间译码。
图4为说明可实施用于推导运动信息、执行块分割和/或内插视频数据的技术的视频解码器30的实例的框图。在图4的实例中,视频解码器30包含视频数据存储器68、熵解码单元70、运动补偿单元72、框内预测单元74、反量化单元76、反变换单元78、参考图片存储器82及求和器80。在一些实例中,视频解码器30可执行大体上与关于视频编码器20(图3)所描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据,而框内预测单元74可基于从熵解码单元70接收的框内预测模式指示符产生预测数据。
在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。可(例如)从计算机可读媒体(例如,从本地视频源(诸如,相机))经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体而获得存储于视频数据存储器68中的视频数据。视频数据存储器68可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。参考图片存储器82可被称作存储参考视频数据以供视频解码器30(例如在框内或框间译码模式中)在解码视频数据时使用的DPB。视频数据存储器68及参考图片存储器82可由多种存储器装置中的任一者形成,诸如动态随机存取存储器(DRAM)(包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器68及参考图片存储器82可由同一存储器装置或单独存储器装置来提供。在各种实例中,视频数据存储器68可与视频解码器30的其它组件一起在芯片上,或相对于那些组件在芯片外。
视频解码器30的熵解码单元70熵解码位流以产生经量化系数、运动向量或框内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转递到运动补偿单元72。视频解码器30可在视频切片级别和/或视频块级别接收语法元素。
当视频切片经译码为框内译码(I)切片时,框内预测单元74可基于所用信号表示的框内预测模式及来自当前帧或图片的先前经解码块的数据而产生当前视频片段的视频块的预测数据。当视频帧经译码为经框间译码(即,B、P或GPB)切片时,运动补偿单元72基于运动向量及从熵解码单元70接收的其它语法元素产生用于当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一者内的参考图片中的一个产生。视频解码器30可基于存储于参考图片存储器82中的参考图片使用默认构建技术来构建参考帧列表:列表0及列表1。
运动补偿单元72通过剖析运动向量及其它语法元素来确定当前视频切片的视频块的预测信息,且使用所述预测信息产生正经解码的当前视频块的预测性块。举例来说,运动补偿单元72使用所接收的语法元素中的一些以确定用于译码视频切片的视频块的预测模式(例如,框内预测或框间预测)、框间预测切片类型(例如,B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构建信息、切片的每一框间编码视频块的运动向量、切片的每一框间译码视频块的框间预测状态,及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元72也可基于内插滤波器执行内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器,以计算参考块的子整数像素的内插值。在此情况下,运动补偿单元72可根据接收的语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
根据本发明的方面,视频解码器30可经配置以执行本文所描述的用于执行照明补偿(IC)的技术的任何组合。确切地说,运动补偿单元72可经配置以针对预测性块推导和/或应用IC状态和/或IC参数。
反量化单元76反量化(即,解量化)位流中所提供并由熵解码单元70解码的经量化的变换系数。反量化过程可包含使用由视频解码器30针对视频切片中的每一视频块计算的量化参数QPY以确定应进行应用的量化程度及(同样地)反量化程度。
反变换单元78将反变换(例如,反DCT、反整数变换或在概念上类似的反变换过程)应用于变换系数,以便在像素域中产生残余块。
在运动补偿单元72基于运动向量及其它语法元素产生当前视频块的预测性块之后,视频解码器30通过对来自反变换单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码的视频块。求和器80表示执行此求和运算的所述一或多个组件。如果需要,也可应用解块滤波器来对经解码块滤波以便移除块效应伪影。还可使用其它环路滤波器(在译码环路中或在译码环路后)以使像素转变平滑,或以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储于参考图片存储器82中,所述参考图片存储器存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频以用于稍后在显示装置(例如,图1的显示装置32)上呈现。
如先前所描述,两个框间预测模式(包含合并模式及AMVP模式)可用于框间预测。在一些实例中,合并模式允许经框间预测PU从自包含选自空间相邻运动数据位置的群组及两个时间共置运动数据位置中的一者的运动数据位置的经框间预测PU继承相同一或多个运动向量、预测方向及一或多个参考图片索引。对于AMVP模式,PU的一或多个运动向量可关于从通过编码器所构建的AMVP候选列表的一或多个运动向量预测符(MVP)来预测译码。在一些情况下,对于PU的单个方向框间预测,编码器可产生单个AMVP候选列表。在一些情况下,对于PU的双向预测,编码器可产生两个AMVP候选列表,一者使用自前向预测方向的空间及时间相邻PU的运动数据且一者使用自后向预测方向的空间及时间相邻PU的运动数据。用于两个模式的候选可从空间和/或时间相邻块推导。举例来说,图5A及图5B包含说明HEVC中的空间相邻候选的概念图。图5A说明用于合并模式的空间相邻运动向量(MV)候选。图5B说明用于AMVP模式的空间相邻运动向量(MV)候选。尽管方法从针对合并及AMVP模式不同的块产生候选,但空间MV候选自特定PU(PU0)的相邻块推导。
在合并模式中,编码器可通过考虑来自各种运动数据位置的合并候选而形成合并候选列表。举例来说,如图5A中所展示,可具有关于图5A中的数字0至4所展示的空间相邻运动数据位置来推导达四个空间MV候选。MV候选可按通过数字0至4所展示的次序在合并候选列表中定序。举例来说,位置及次序可包含:左位置(0)、上位置(1)、右上位置(2)、左下位置(3)及左上位置(4)。
在图5B中所展示的AVMP模式中,相邻块被分成两个群组:包含块0及1的左群组及包含块2、3及4的上群组。对于每一群组,参考与由用信号发送的参考索引指示的相同参考图片的相邻块中的潜在候选具有待选择的最高优先权以形成所述群组的最终候选。有可能所有相邻块均不含指向相同参考图片的运动向量。因此,如果无法发现此候选,则将按比例调整第一可用候选以形成最终候选,因此可补偿时间距离差。
图6A及图6B包含说明HEVC中的时间运动向量预测的概念图。时间运动向量预测符(TMVP)候选在经启用且可用时在空间运动向量候选之后被添加到MV候选列表中。对于合并及AMVP模式两者,TMVP候选的运动向量推导的过程为相同的。但是,在一些情况下,对于合并模式中的TMVP候选,目标参考索引可设置成零。
用于TMVP候选推导的主要块位置为共置PU底部右侧块外部(在图6A中展示为块“T”)以补偿用于产生空间相邻候选的上方及左侧块的偏差。然而,如果所述块位于当前CTB(或LCU)列的外部或运动信息不可用,则块被PU的中心块所取代。用于TMVP候选的运动向量是从切片级别中所指示的共置图片的共置PU推导。与AVC中的时间直接模式类似,TMVP候选的运动向量可经受运动向量按比例调整,其经执行以补偿距离差。
运动预测的其它方面涵盖于HEVC标准中。举例来说,涵盖合并及AMVP模式的若干其它方面。一个方面包含运动向量按比例调整。可假定,在呈现时间上,运动向量的值与图片的距离成比例。运动向量与两个图片相关联,参考图片及含有运动向量的图片(即含有图片)。当利用一运动向量预测另一运动向量时,基于图片次序计数(POC)值计算含有图片与参考图片的距离。对于待预测的运动向量,其相关联的含有图片及参考图片两者可不同。因此,计算新距离(基于POC),且基于这些两个POC距离按比例调整运动向量。对于空间相邻候选,用于两个运动向量的含有图片相同,而参考图片不同。在HEVC中,对于空间及时间相邻候选,运动向量按比例调整适用于TMVP及AMVP两者。
另一方面包含人工运动向量候选产生。举例来说,如果运动向量候选列表并不完整,则人工运动向量候选可产生于并插入于列表的末端直到获得所有候选。在合并模式中,存在两种类型的人工MV候选:仅针对B切片推导的合并候选,及在第一类型并未提供足够人工候选的情况下仅针对AMVP使用的零候选。对于已在候选列表中且具有必需运动信息的每一对候选,双向组合的运动向量候选通过参考列表0中的图片的第一候选的运动向量与参考列表1中的图片的第二候选的运动向量的组合推导。
合并及AMVP模式的另一方面包含用于候选插入的删除过程。举例来说,来自不同块的候选可恰巧相同,这降低合并和/或AMVP候选列表的效率。可应用删除过程以解决此问题。删除过程将一个候选与当前候选列表中的其它候选相比较以避免插入在某些程度上相同的候选。为降低复杂度,仅可应用有限数目个删除过程,而不是将每一潜在候选与所有其它现有候选相比较。
在一些情况下,解码器可推导运动向量。举例来说,在先进视频编解码器存在的情况下,位流中的运动信息的位百分比已经增大。为了减小运动信息的位成本,提出解码器侧运动向量推导(DMVD)。图7为说明基于模板匹配的DMVD的实例的概念图。基于模板匹配的DMVD展示良好的译码效率改进。在基于模板匹配的DMVD情况下,而不是搜索对预测目标的最佳匹配,其为解码器处的当前块,在参考帧中搜索模板的最佳匹配。假定模板及预测目标来自同一对象,则模板的运动向量可用作预测目标的运动向量。由于在编码器及解码器两者处进行模板匹配,因此可在解码器侧处推导运动向量以避免信令成本。
DMVD的另一类别为基于镜像的双向MV推导。图8为说明DMVD中的基于镜像的双向运动向量推导的实例的概念图。基于镜像的双向MV推导类似于帧速率向上转换中的双边运动估计。基于镜像的MV推导通过搜索中心周围的中心对称运动估计以分数样本精确性而应用。搜索窗的大小和/或位置可为预定义的且可在位流中用信号表示。图8中的dMV为添加到PMV0并从PMV1减去的偏移,以产生MV对,MV0及MV1。
将检查搜索窗内部的dMV的所有值,并且L0与L1参考块之间的绝对差总和(SAD)用作中心对称运动估计的测量。具有最小值SAD的MV对经选择为中心对称运动估计的输出。由于所述方法需要未来参考(在晚于当前帧的时间位置处的参考)及较早参考(在早于当前帧的时间位置处的参考)以用于SAD匹配,因此其无法应用于P帧或低延迟B帧,在所述帧中仅前者参考可用。
图9为说明使用DMVD解码预测单元(PU)的实例的流程图。已经提出将基于镜像的双向MV推导与HEVC中的合并模式组合。举例来说,可针对B切片的PU添加被称为pu_dmvd_flag的旗标以指示是否将DMVD模式应用于当前PU。由于DMVD模式不在位流中明确地发射任何MV信息,因此提出将pu_dmvd_flag与HEVC译码过程中的合并模式的语法相集成的解码过程,如图9中展示。
举例来说,在902处,解码器可开始解码PU。在904处,解码器可确定合并模式是否启用。若合并未启用,则在906处,解码器针对非合并PU执行常规过程。在合并启用的情况下,在908处,解码器可确定pu_dmvd_flag是否存在或是否包含指示将应用DMVD模式的某一值(例如,0或1)。如果pu_dmvd_flag存在或包含指示将应用DMVD模式的值,则在912处解码器执行DMVD过程。否则,解码器可针对合并PU执行常规合并过程。过程结束于914处。
另外,如上文所提到,块/PU可基于任何运动推导方法分裂成一或多个(非重叠)子PU或子块。当将PU分裂成多个较小大小的子PU时,每一子PU可推导运动信息的唯一集合。举例来说,32×32PU可分裂成16个8×8子PU并且8×8子PU中的每一个可具有不同参考索引和/或运动向量。子PU的此大小可甚至为4×4、2×2或1×1那么小。应注意,此处术语PU可与块互换使用,且术语子PU可与子块互换使用。
无论块和/或PU的大小如何,子块和/或子PU的大小可经预定义及固定。可替代地,分裂深度D及最小子PU和/或子块大小经预定义或传信以指示当前块或PU应分裂成的子块或子PU的目标大小。目标大小为最小子PU或子块大小与通过以四分树的方式将当前块分裂D次获得的大小之间的较大者。
对于每一子PU,其唯一运动信息的搜索可包含将整个块的运动信息作为搜索中心(起始搜索点)及改进子块的运动。在一些情况下,可从开始点候选的列表推导每一子PU的搜索中心。
其它特性也适用于子PU和/或子块。举例来说,运动向量的改进可单独地逐个适用于子块。另外,可针对子PU执行运动向量滤波以校正隔离的错误运动向量。举例来说,可使用当前子PU的运动向量及(达)四个相邻子PU的运动向量作为输入的中值滤波器。又,当应用变换时,整个PU可被视为整个块以使得变换可越过子PU边界。在一些情况下,将变换应用于每一子PU使得变换大小并不大于子PU大小。
在本文中描述用于执行视频译码中的照明补偿(IC)的技术及系统。根据一些实施例,视频译码器(例如,视频编码器或视频解码器)可推导IC参数或可将所述IC参数用信号表示于位流中和/或用信号表示当在位流中译码块时是否使用IC。举例来说,视频译码器可插入包含如何使用IC的指示、所使用IC参数的指示、经编码位流中的IC参数自身或其任何组合中的至少一或多个的IC信息。在一些方面中,可单独针对块明确地用信号表示IC状态和/或IC参数。举例来说,块的IC状态指示是否使用IC译码的块的状态。IC状态可用信号表示于其中发送块的经编码位流中。视频译码器可进一步基于经编码位流中的IC信息来解码经编码位流。本文所描述的技术可单独地应用,或本文所描述的技术的任何组合可一起应用。
在一些实施例中,针对推导视频数据的IC状态而描述技术及系统。IC状态可指示IC是否已经用于某些视频数据上,例如译码单元、预测单元、子预测单元或其它译码块、译码单元或预测单元。为简单起见,IC是否用于块在本文中被称作其IC状态。举例来说,IC状态可包含旗标或其它指示符。但是,在一些实施例中,可不存在用于指示的明确旗标或指示符,而相反地基于某些信息(诸如,本文中所描述的运动信息或其它信息)推导所述状态。IC是否及如何用于图片或图片的一部分(例如,块、切片、译码单元、PU、子PU或类似者)可在经编码位流中以多种不同方式来指示,每一个指示IC用于图片或图片的部分的不同方式。因此,本文所论述的技术可能够处置本地照明变化,并且可不需要在某些情境下明确用信号表示的IC旗标,由此增大译码效率。
图片或图片的部分(例如,块,诸如CU、PU、子PU或类似者)的IC的使用可以多种不同方式来指示。在IC经指示为用于某一图片或图片的部分的情况下,可根据本文所描述的合适技术或以其它已知方式中的任一者来推导和/或指示IC参数。
在一些实施例中,用于图片或图片的部分的IC可基于运动信息用信号表示。在一些方面中,当使用框间预测模式编码块时,IC是否用于块可以与推导用于块的运动信息类似的方式来推导,以使得是否使用IC可与运动信息一起来推导或预测。在一个实例中,在使用框间预测模式(例如,合并模式)来译码当前块(例如,CU、PU、子PU或类似者)的情况下,推导出是否使用IC来译码当前块的状态与当前块的运动信息从其推导出的块的状态相同。
举例来说,针对当前块自其推导运动信息的块(例如,合并候选)可明确用信号表示IC旗标(例如,在经编码位流中译码),指示IC是否用于块的状态。因此,当前块的IC状态也通过与推导运动信息的块的明确旗标相同的旗标来指示,且额外明确旗标对于当前块并不需要。然而,在一些方面中,明确IC旗标可用于个别块或共同地用于块的群组(例如,CU、CU的群组、切片、图片、序列等),并设置成本文所论述的所推导值。
对于使用合并模式译码的块,针对使用当前块译码而指示的合并索引可指示IC状态与运动信息一起是从哪一空间或时间相邻块所推导,而明确IC旗标对于当前块不是必要的。然而,在一些方面中,明确IC旗标可用于具有本文所论述的经推导值的当前块。举例来说,在一些方面中,对于空间合并候选,用于产生合并候选的相对应空间相邻块的IC状态经继承为空间合并候选的IC状态。
在一些方面中,对于时间合并候选,用于产生合并候选的相对应时间相邻块的IC状态经继承为时间合并候选的IC状态。在一些方面中,对于双向预测时间合并候选,可基于超过一个(例如,两个)不同时间相邻块(例如,每一方向有一个时间相邻块)而产生时间合并候选。在这些方面中,仅在所有(例如,两个)时间相邻块具有正确的IC状态的情况下,时间合并候选的IC状态可设置成正确的(或使用指示IC的其它值),否则,IC状态经设置成错误的。在一些情况下,将IC状态设置为正确的包含指定值1,并且将IC状态设置为错误的包含指定值0。在一些情况下,将IC状态设置为正确的包含指定值0,并且将IC状态设置为错误的包含指定值1。在一些情况下,不设置值,并且IC经假定为针对块为正确的而不指定值。在一些替代方面中,对于双向预测时间合并候选,如果时间相邻块中的任一者具有正确的IC状态,则时间合并候选的IC状态可设置成正确的(使用IC),否则IC状态经设置成错误的。作为另一替代方案,在这些方面中,可基于用于每一不同方向上的预测的不同时间相邻块中的每一个而独立地针对每一不同方向来推导IC状态。举例来说,仅在一个方向上的一个相邻块使用IC的情况下,IC状态可仅针对特定方向经指示为正确的。因此,IC可仅应用于IC状态为正确的方向上的相邻块。
在一些方面中,对于组合式双预测性合并候选,合并候选自超过一个(例如,两个)不同的已经产生的合并候选(例如,C0及C1)的组合而产生。在这些方面中,仅在已经产生的合并候选(也被称作“源合并候选”)(例如,C0及C1)具有正确的IC状态的情况下,组合式双预测性合并候选的IC状态可设置成正确的,否则IC状态经设置成错误的。可替代地,在这些方面中,如果源合并候选(例如,C0或C1)中的任一者具有正确的IC状态,则组合式双预测性合并候选的IC状态可设置成正确的,否则IC状态经设置成错误的。作为另一替代方案,在这些方面中,可针对不同源合并候选(例如,C0及C1)中的每一个而独立地推导IC状态。举例来说,仅在一个方向上的一个源合并候选使用IC的情况下,可仅基于所述源合并候选推导IC状态对于特定合并候选为正确的。因此,IC可仅应用于一个预测方向中并基于使用IC的一个方向上的源合并候选而应用于合并候选。在一些其它方面中,可假定IC为不用于任何组合式双预测性合并候选(即,IC状态为错误的,经禁用)。
在一些方面中,对于虚拟的单方向合并候选(例如,当相邻块并不提供足够候选时用于填充但方向预测块的合并候选列表的合并候选),IC始终经禁用,并且IC状态始终经假定为错误的。
在一些方面中,在使用基于子PU的时间预测模式的情况下,代表运动信息(例如,预测方向,及每一预测方向上的参考索引及运动向量)从使用其它合并候选删除子PU时间合并候选的子PU的时间相邻块而产生。因此,推导出所产生代表运动信息的IC状态等于代表运动信息从其推导的相对应时间块的所述状态。因此,在一些方面中,对于每一子PU,其IC状态从代表运动信息的IC状态推导并且等于代表运动信息的IC状态。可替代地,在一些方面中,每一子PU具有其自身IC状态,且对于每一子PU,推导出IC状态等于用于产生子PU的时间运动预测的相对应时间块的所述状态。在这些方面中,在子PU不具有任何可用时间运动预测的情况下,可推导出IC状态等于用于子PU的代表运动信息的所述状态。
可替代地,在一些方面中,对于任何类型的合并候选,IC状态可始终经推导并设置为相同(例如,始终正确的或始终错误的)。
在一些方面中,对于先前所描述的合并候选的删除过程,如果两个合并候选具有不同IC状态,则两个合并候选可被视为不同合并候选。另外,在一些方面中,在合并列表并不完整的情况下,额外合并候选可插入至具有与已经存在的合并候选(例如,空间/时间合并候选、子PU时间合并候选、组合式双预测性合并候选、零合并候选等)相同的运动信息的合并列表中,但是经设置具有与合并列表中的候选不同的IC旗标值。
在一些方面中,在块使用除合并模式(例如,先进运动向量预测(AMVP)模式、解码器侧运动向量推导(DMVD)模式、基于子PU的DMVD模式等)之外的框间预测模式来编码的情况下,可以CU级别明确地用信号表示一个IC旗标。
在一些方面中,以CU级别用信号表示的IC旗标用于CU的任何PU和/或子PU。在一些实例中,可针对未使用2N×2N合并模式译码的每一CU明确地用信号表示IC旗标。可替代地或另外,在一些方面中,以CU级别用信号表示的IC旗标可仅针对使用特定分割类型(例如,本文所描述或已知的2N×2N或其它分割类型)译码的CU以CU级别来明确地用信号表示。
可替代地,在一些方面中,以CU级别用信号表示的IC旗标仅用于不使用合并模式译码的CU的PU和/或子PU。在这些方面中,对于使用合并模式译码的PU和/或子PU,IC旗标从如本文所论述的相对应相邻块(例如,空间、时间)而推导。在一些实例中,可仅针对其中使用除合并模式外的框间预测模式编码至少一个PU的CU而以CU级别明确地用信号表示IC旗标。
可替代地或另外,在使用双向预测模式的一些方面中,针对每一预测方向明确地用信号表示不同IC旗标。
在一些其它方面中,在使用除合并模式外的框间预测模式来编码块的情况下,可针对每一PU以PU级别明确地用信号表示一个IC旗标。在PU经双向预测的情形下,在一些方面中,单个IC旗标可用于指示前向及后向方向两者的IC状态。在一些其它方面中,可针对每一预测方向明确地用信号表示不同IC旗标。
在一些实施例中,当使用经重叠块运动补偿(OBMC)时,可用信号表示用于图片或图片的部分的IC。在OBMC中,针对当前块,除其自身运动向量(使用框间预测模式所推导)以外,还可应用上相邻块及左相邻块的运动向量以产生两个额外预测块。因此,当前块中的每一样本(例如,像素或像素群)可具有三个预测值(基于基于当前块的运动向量所产生的预测块,及基于相邻块的运动向量所产生的预测块)。每一样本的最终预测值可经产生为三个预测值的经加权平均值。
另外,在OBMC中,当与当前块相邻的块并不经译码或并不使用框内预测模式经译码时,相邻块不具有运动向量。在这些情形下,当前块的运动向量可实际上用作用于产生预测块的运动向量。在一些方面中,可以CU、PU或子PU级别执行OBMC。
在一些方面中,在OBMC用于译码当前块的情况下,当前块的IC旗标可被用作待用于使用相邻块的MV产生额外预测块的IC旗标,及如本文所论述而推导的IC参数。在一些其它方面中,用于产生额外预测块的相对应相邻块的IC旗标可使用其自身IC旗标。在一些其它方面中,仅当额外预测块的所有IC旗标为正确的情况下,IC旗标可设置为正确的。在另一实例中,如果当额外预测块的IC旗标中的至少一者为正确的,则IC旗标可设置为正确的。
在一些其它方面中,另外地或可替代地,当相邻块具有与当前块不同的IC旗标时,相邻块可不用于产生预测块作为OBMC的一部分。在一些其它方面中,OBMC可对于具有IC旗标经设置为正确的任何块禁用。
在一些方面中,当前块或用于产生额外预测块的相邻块中的一者的相邻样本可用于推导IC参数。
在一些实施例中,经加权预测(WP)可在运动补偿中使用。举例来说,WP可包含将比例因子(a)、移位数目(s)及偏移(b)应用于运动补偿中的样本值。在一个实例中,假设参考图片的位置(x,y)中的样本值为p(x,y),则值p′(x,y)(基于a、s及b,p(x,y)的按比例调整、经移位、偏移值)可代替p(x,y)用作运动补偿的预测值。举例来说,
p′(x,y)=((a*p(x,y)+(1<<(s-1)))>>s)+b
在一些方面中,对于当前切片的每一参考图片,用信号表示旗标以指示WP是否适用于参考图片。如果WP适用于参考图片,则WP参数的集合(例如,a、s及b)可作为经编码位流的一部分从参考图片发送到待用于运动补偿的解码器。在一些方面中,针对参考图片的明度及色度分量可存在WP的单独旗标及参数。
在一些方面中,可启用IC及WP两者(例如,针对切片、图片、序列等)。可替代地,在一些方面中,IC及WP不为两者都启用。因此,在这些方面中,如果IC经明确启用,则WP经禁用,或如果IC经明确地禁用,则WP经启用。可替代地,在一些方面中,WP并不针对特定量变曲线启用或根本不被使用。
在一些方面中,当IC及WP两者经启用(例如,针对切片、图片、序列)时,对于任何给定块(例如,CU、PU、子PU),仅IC或WP经启用,但不是两者同时启用。在一些方面中,无论WP是否针对自其预测当前块的参考图片经启用,用信号表示(或推导)IC状态。因此,在一些方面中,在块的IC状态为正确时,仅IC适用于块,而不考虑WP是否针对自其预测当前块的参考图片经启用。另外,在一些方面中,在块的IC状态为错误时,当WP经启用的情况下自一或多个参考图片预测当前块时WP可仅适用。
在一些方面中,可替代地,当IC及WP两者经启用(例如,针对切片、图片、序列)时,在当前块在WP经启用的情况下从一或多个参考图片预测时,除WP外(例如,另外)可使用IC,并且当前块的IC状态为正确的。举例来说,WP可首先应用于参考块及当前块及参考块的相邻样本。使用WP参数处理的样本可被称为经修改样本。可随后基于当前块及参考块的经修改相邻样本来推导IC参数,并且随后所述参数经应用于经修改参考块以用于产生预测块。
在一些方面中,可替代地,当IC及WP两者经启用(例如,针对切片、图片、序列)时,IC可仅当针对当前块自其预测的一或多个参考图片WP经禁用时而使用。举例来说,当块仅从具有经WP启用的参考帧而预测时,IC状态不会用信号表示(或从相邻块复制)并且针对块始终设置为错误的。因此,仅当块自具有经加权预测禁用的至少一个参考图片预测(或在一些方面中部分预测)时,IC状态可为正确的(经传信或推导)。
图11说明译码视频数据的过程1100的实施例。过程1100经实施以确定视频数据的照明补偿状态。在一些方面中,过程1100可通过计算装置或设备执行,例如,图1或图3中所展示的源装置12或视频编码器20。举例来说,计算装置或设备可包含编码器或处理器、微处理器、微电脑或经配置以执行过程1100的步骤的编码器的其它组件。在一些方面中,过程1100可通过计算装置或设备(诸如,图1或图4中所展示的目的地装置14或视频解码器30)执行。举例来说,计算装置或设备可包含解码器或处理器、微处理器、微电脑或经配置以执行过程1100的步骤的解码器的其它组件。
过程1100经说明为逻辑流程图,其操作表示可以硬件、计算机指令或其组合实施的操作的序列。在计算机指令的上下文中,操作表示存储于一或多个计算机可读存储媒体上的计算机可执行指令,其在由一或多个处理器执行时执行所叙述的操作。通常,计算机可执行指令包含执行特定功能或实施特定数据类型的例程、程序、对象、组件、逻辑、数据结构及其类似者。描述操作的次序并不意图被理解为限制,且任何数目个经描述操作可按任何次序和/或与实施所述过程并行地组合。
另外,过程1100可在经配置有可执行指令的一或多个计算机系统的控制下执行且可被实施为通过硬件或其组合共同执行于一或多个处理器上的代码(例如,可执行指令、一或多个计算机程序或一或多个应用程序)。如上文所提到,代码可存储于计算机可读或机器可读存储媒体上,例如,呈包括可由一或多个处理器执行的多个指令的计算机程序的形式。计算机可读或机器可读存储媒体可为非暂时性的。
在1102处,过程1100包含确定当前块的运动信息。候选块也可被称作合并候选。如本文中所描述,运动信息可包含一或多个运动向量及一或多个参考索引。在一些情况下,一或多个运动向量可对应于一或多个参考图片列表(例如,列表0及列表1)。举例来说,参考索引可用于识别当前参考图片列表(列表0或列表1)中的参考图片。如本文中所描述,当前块的一或多个运动向量及(在一些情况下)一或多个参考索引(例如,在合并模式中)可通过从候选列表取出候选而产生。
在1104处,过程1100包含确定当前块的照明补偿状态。举例来说,对应于候选块的信息可用于推导当前块的照明补偿状态,包含照明补偿是否用于当前块。在一些方面中,程序1100进一步包含基于候选块的运动信息确定当前块的运动信息,确定候选块的照明补偿状态,及基于候选块的照明补偿状态推导当前块的照明补偿状态。因此,明确照明补偿旗标不需要针对当前块用信号表示。
在1106处,过程1100包含基于当前块的运动信息及照明补偿状态译码当前块。举例来说,如果照明补偿状态经推导为正确的,指示照明补偿用于当前块,则过程1100可使用一或多个照明补偿参数将当前块译码为经编码位流的一部分。下文中描述关于照明补偿参数的推导的细节。在另一实例中,如果照明补偿状态经推导为错误的,指示照明补偿并不用于当前块,则过程1100可不使用一或多个照明补偿参数将当前块译码为经编码位流的一部分。
在一些方面中,使用合并模式译码当前块,并且推导出当前块的照明补偿状态与候选块的照明补偿状态相同。
在一些方面中,使用从候选块复制或推导运动信息的框间预测模式来译码当前块,且推导出照明补偿状态与候选块的照明补偿状态相同。
在一些方面中,候选块为空间合并候选、时间合并候选、双预测性合并候选或其组合中的至少一或多个。在一些实例中,基于包含候选块的多个候选块来确定当前块的运动信息。在这些实例中,当前块的照明补偿状态是基于多个候选块中的每一个的相对应照明补偿状态。在一些情况下,只有当多个候选块的全部的相对应照明补偿状态为正确时,当前块的照明补偿状态为正确的。在一些情况下,如果多个候选块中的任一个的相对应照明补偿状态为正确的,则当前块的照明补偿状态为正确的。
在一些实例中,候选块对应于第一方向上的候选,并且多个候选块中的另一候选块对应于不同于第一方向的第二方向上的候选。在这些实例中,当前块的照明补偿状态包括基于候选块的第一方向的第一照明补偿状态及基于另一候选块的第二方向的第二照明补偿状态。
在一些方面中,当前块包括子预测单元,且使用基于子预测单元的合并模式。在这些方面中,当前块的照明补偿状态是基于从当前块的一或多个时间相邻块产生的代表运动信息。
在一些方面中,过程1100包含确定包含候选块的多个候选块,及删除多个候选中的重复候选。在这些方面中,与不同照明补偿状态相关联的任何两个候选不是重复候选。
在一些方面中,过程1100包含将候选添加到合并列表。被添加到合并列表的候选具有与现有候选块的运动信息相同的运动信息并且具有与现有候选块的照明补偿状态不同的照明补偿状态。
在一些方面中,当前块的照明补偿状态是基于用于确定当前块的运动信息的框间预测模式的类型来确定的。框间预测模式可包含合并模式、AMVP模式或其它适合的模式。
在一些方面中,当前块包括使用除合并模式外的框间预测模式来译码的预测单元。在这些实例中,针对包括当前块的译码单元而用信号表示当前块的照明补偿状态。在一些实例中,当使用AMVP模式译码当前块时,当前块的照明补偿状态经明确地用信号表示于经编码位流中。在一些实例中,当使用将当前块的运动信息明确地用信号表示于经编码位流中的框间预测模式来译码当前块时,当前块的照明补偿状态经明确地用信号表示于经编码位流中。在一些实例中,当前块的照明补偿状态也用作译码单元的多个预测单元的照明补偿状态。在一些情况下,多个预测单元包括译码单元的所有预测单元。在一些情况下,多个预测单元包括使用合并模式译码的预测单元的第一集合及使用除合并模式外的框间预测模式译码的预测单元的第二集合。在这些情况下,针对译码单元用信号表示的照明状态用于第二集合并且不用于第一集合。在一些方面中,照明补偿状态进一步基于译码单元的分割类型。
在一些方面中,过程1100包含基于当前块的一或多个相邻块的运动信息产生额外预测块。在一些实例中,过程1100包含基于一或多个相邻块的运动信息及当前块的照明补偿状态来推导用于产生当前块的额外预测块的照明补偿状态。在一些实例中,在当前块的一或多个相邻块具有与当前块不同的照明补偿状态时,确定一或多个相邻块的额外运动信息不可用于当前块。在一些实例中,过程1100包含基于一或多个相邻块的一或多个相邻样本来推导用于产生额外预测块的一或多个照明补偿参数。
在一些方面中,过程1100包含基于当前块的照明补偿状态选择性地启用当前块的经加权预测。在一些实例中,过程1100包含当照明补偿用于当前块时禁用当前块的经加权预测。
在一些方面中,过程1100包含基于经加权预测是否用于当前块而选择性地启用当前块的照明补偿。在一些实例中,过程1100包含当经加权预测用于当前块时禁用当前块的照明补偿。
在一些实例中,过程1100包含对当前块执行照明补偿及经加权预测两者。
如先前所描述,当IC经指示为用于某一图片或图片的部分时,可推导出IC参数。可使用本文所描述的一或多个不同技术或以此项技术中已知的其它方式推导IC参数。如下文更详细地描述,IC参数可包含比例因子及偏移中的一或多者,或比例因子及偏移。在一些方面中,可用于框间预测(例如,不同图片之间的预测)的IC模型如下:
p(i,j)=a×r(i+dvx,j+dvy+b),其中(i,j)∈PUc (1)
在此,PUc为当前PU,(i,j)为PUc中的像素的坐标,(mvx,mvy)为PUc的运动向量,p(i,j)为PUc的预测,r为PU的参考图片,且a及b为线性IC模型的IC参数。举例来说,a为比例因子且b为偏移。
在一些方面中,为了估计PU或其它块的参数a及b,使用像素的两个集合。图10展示用于估计IC参数的相邻像素。用于估计PU的IC参数a及b的像素的两个集合经展示于图10中。像素的两个集合包含:第一集合,其包含当前CU(含有当前PU的CU)的左行及上列中的可用经重构建相邻像素;及第二集合,其包含当前CU的参考块的相对应相邻像素。当前CU的参考块通过使用当前PU的视差向量(等式1中经展示为(mvx,mvy)而发现。在一些情况下,等式1的IC模型可用于本地框间照明变化。
为了处置更全局比例的照明变化(不仅用于局部框间照明变化),IC参数a及b可经计算为:
Figure BDA0001486928160000321
Figure BDA0001486928160000322
在此,Recneig及Recrefneig分别表示所使用的当前CU的相邻像素集合及当前CU的参考块的相邻像素集合,且2N表示Recneig及Recrefneig中的像素数目。
在一些实例中,仅a用于线性模型中,且b始终设置为等于0。在一些实例中,仅使用b且a始终设置为等于1。在一些实例中,使用a及b两者。
在一些方面中,可基于块的相邻样本来推导IC参数。另外地或可替代地,在一些其它方面中,IC参数可经明确地用信号表示(例如,在位流中经编码)和/或从相邻块继承。在一些这些方面中,其中针对块所推导的IC参数的方式可经明确地用信号表示,诸如使用索引(例如,以块级别)。举例来说,当确定IC为针对块所使用时(例如,明确地用信号表示或基于其它信息而推导),可产生IC参数的列表和/或在经编码位流中用信号表示以指示哪一IC参数候选用于当前块的索引。IC参数候选的列表可包含以下中的一或多个:通过使用相邻样本所推导的IC参数、相邻块的IC参数、通过使用相邻块的子集所推导的IC参数或其任何组合。在一些方面中,可基于测量(例如,绝对差总和(SAD)、平方差总和(SSE)、绝对变换差总和(SATD)、平方差总和(SSD)或其它适合的测量)基于使用IC的经重构建块及经译码的实际块而选择选自所述列表的IC参数。
在一些方面中,IC参数和/或索引可以块级别(例如,CU、PU、子PU)传信。在一些方面中,另外地或可替代地,IC参数和/或索引可以切片级别用信号表示并且用于其中空间相邻样本不可用的块。
在一些方面中,IC可以一或多个语法级别(例如,切片级别、图片级别、块级别或其它适合的语法级别)而用信号表示。举例来说,一或多个IC旗标可包含于一或多个参数集(例如,序列参数集、图片参数集或与特定语法级别相关联的其它标头或数据结构)中以指示与参数集相关联的语法级别的IC的支持。举例来说,一个IC旗标可用于指示是否针对整个语法级别(例如,切片)启用IC。另外地或可替代地,在一些方面中,不同IC旗标可用于单独地指示是否针对整个语法级别而启用IC用于样本的不同组件(例如,一个旗标用于明度,一个旗标用于色度)。
另外地或可替代地,在一些方面中,预测是否应由具有或不具有IC的参考图片作出可在语法级别(例如,切片、图片、块或类似者)的一或多个参数集中指示。举例来说,如果切片包含N个参考图片(或可用于当前图片的参考图片集(RPS)中的M个图片),则可用信号表示N(或M)个语法元素(例如,一或多个位)以指示参考图片中的每一个当通过切片的特定块所指代时是否可启用IC。因此,在块级别下,IC旗标是否应明确地存在(例如,类似于传信参考索引的AMVP模式)可取决于N(或M)个语法元素(位)存在,因此潜在地避免额外信令。
在一些实施例中,当使用解码器侧运动向量推导(DMVD)时,可传信照明补偿(IC)使用。另外,当使用DMVD模式(或以基于子PU的DMVD模式)时,候选运动向量的可靠度可由通过候选运动向量所识别的两个相对应区域(例如,类似区域)之间的差来测量。在一些实例中,两个相对应区域可包含当前块中的模板及参考块或帧中的模板(例如,如上文关于图7所描述的基于模板的DMVD模式)。可使用绝对差总和(SAD)、平方差总和(SSD)、平方误差总和(SSE)、绝对变换差总和(SATD)或其它适合的差测量来确定所述差。在一些方面中,在当前块(例如,CU、PU、子PU)的IC状态为正确(指示IC用于当前块)时,可在计算两个相对应区域之间的差之前首先移除两个相对应区域的平均值以便测量候选运动向量的可靠度。在计算两个区域的平均值的实例中,对于每一块,所述块的每一样本的平均明度、色度或其它特性经计算,且从每一样本减去平均值。在这些方面中,计算两个相对应区域之间的差可包含执行平均值经移除差,诸如,平均值经移除SAD、SSD、SSE、SATD或其它平均值经移除测量。移除两个相对应区域的平均值可部分消除由于将通过IC计算的相对应区域之间的照明差的差。IC参数和/或IC状态可随后在经编码位流中用信号表示。
在一些方面中,可替代地,相对应区域中的一者可被视为“当前区域”并且其它相对应区域可被视为“参考区域”。可基于当前区域及参考区域的相邻样本推导IC参数,且接着将其应用于参考区域(产生经照明补偿的参考区域)。当前区域与经照明补偿的参考区域之间的差可随后用于测量候选运动向量的可靠度。IC参数和/或IC状态可随后在经编码位流中用信号表示。
在一些方面中,可替代地,针对使用DMVD模式译码的块,IC可始终禁用。
图12说明译码视频数据的过程1200的实施例。过程1100经实施以测量候选运动向量的可靠度。在一些方面中,过程1200可通过计算装置或设备执行,例如,图1或图3中所展示的源装置12或视频编码器20。举例来说,计算装置或设备可包含编码器或处理器、微处理器、微电脑或经配置以执行过程1200的步骤的编码器的其它组件。在一些方面中,过程1200可通过计算装置或设备(诸如,图1或图4中所展示的目的地装置14或视频解码器30)执行。举例来说,计算装置或设备可包含解码器或处理器、微处理器、微电脑或经配置以执行过程1200的步骤的解码器的其它组件。
程序1200经说明为逻辑流程图,其操作表示可以硬件、计算机指令或其组合实施的操作的序列。在计算机指令的情况下,操作表示存储于一或多个计算机可读存储媒体上的计算机可执行指令,其在由一或多个处理器执行时执行所叙述的操作。通常,计算机可执行指令包含执行特定功能或实施特定数据类型的例程、程序、对象、组件、数据结构及其类似者。描述操作的次序并不意图被理解为限制,且任何数目个经描述操作可按任何次序和/或并行地组合以实施所述过程。
另外,过程1200可在经配置有可执行指令的一或多个计算机系统的控制下执行且可被实施为通过硬件或其组合共同执行于一或多个处理器上的代码(例如,可执行指令、一或多个计算机程序或一或多个应用程序)。如上文所提到,代码可存储于计算机可读或机器可读存储媒体上,例如,呈包括可由一或多个处理器执行的多个指令的计算机程序的形式。计算机可读或机器可读存储媒体可为非暂时性的。
在1202处,过程1200包含将当前块中的对应于模板的第一区域与参考帧中的对应于模板的第二区域相匹配。举例来说,基于模板匹配的DMVD可用于将第一区域与第二区域相匹配。
在1204处,过程1200包含基于识别第一区域及第二区域的匹配而产生候选运动向量。
在1206处,过程1200包含以下中的至少一或多个:将一或多个照明补偿参数应用于第一区域及第二区域中的一个且接着计算第一区域与第二区域之间的差以指示候选运动向量的可靠度;及计算第一区域与第二区域之间的平均值经移除差以指示候选运动向量的可靠度。如先前所提及,移除两个相对应区域的平均值可部分消除由于将通过IC所计算的相对应区域之间的照明差的差。当前区域与经照明补偿的参考区域之间的差可用于测量候选运动向量的可靠度。IC参数和/或IC状态可随后在经编码位流中用信号表示。
因此,根据本发明的方面,视频编码器20或视频解码器30可确定如何将照明补偿传信并应用于视频块,或视频的其它部分。举例来说,视频编码器20或视频解码器30可基于相邻样本确定视频块的IC参数。另外,视频编码器20或视频解码器30可基于与所使用框间预测模式的块和/或类型(例如,AVMP、DMVD、合并(例如,包含空间、时间、双预测性、虚拟单方向等的类型)、OBMC等)相关联的运动信息来确定块的IC状态。在另一实例中,视频编码器20或视频解码器30可使用除合并模式以外的框间预测模式明确地用信号表示经编码块的IC的使用。在另一实例中,视频编码器20或视频解码器30可指示多个IC参数的哪些待用于块。在另一实例中,视频编码器20或视频解码器30可基于块的IC状态确定针对DMVD的基于候选运动向量的可靠度。在又一实例中,视频编码器20或视频解码器30可指示切片级别或与参数集相关联的级别处的IC状态。在其它实例中,视频编码器20或视频解码器30可结合WP使用IC。
在前述描述中,参考其具体实施例描述申请案的方面,但所属领域的技术人员将认识到本发明不限于此。因此,尽管申请案的说明性实施例已经在本文中详细地描述,但应理解,本发明概念可以其它方式不同地实施并采用,且意图解释所附权利要求书以包含除先前技术所限制外的这些变化。上文所描述的发明的各种特征及方面可单独地或联合地使用。另外,实施例可用于超出本文所描述的那些环境及应用的任何数目个环境及应用,而不脱离本说明书的更广精神及范围。因此,本说明书及图式被视为说明性而不是限定性。出于说明的目的,以特定次序描述方法。应了解,在替代实施例中,可以与所描述的次序不同的次序来执行所述方法。
应认识到,取决于实例,本文中所描述的技术中的任一技术的某些动作或事件可以不同序列执行、可添加、合并或完全省略所述动作或事件(例如,并非所有所描述动作或事件对于所述技术的实践是必要的)。此外,在某些实例中,动作或事件可(例如)经由多线程处理、中断处理或多个处理器同时而非依序地执行。
在组件被描述为“经配置以”执行某些操作的情况下,举例来说,通过设计电子电路或其它硬件以执行操作,通过编程可编程电子电路(例如,微处理器、或其它适合的电子电路)以执行操作或其任何组合的方式可完成这些配置。
结合本文所揭示的实施例而描述的各种说明性逻辑块、模块、电路及算法步骤可被实施为电子硬件、计算机软件、固件或其组合。为了清楚地说明硬件与软件的此可互换性,各种说明性组件、块、模块、电路及步骤已在上文大体按其功能性加以描述。此功能性实施为硬件或软件取决于特定应用及强加于整个系统上的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述的功能性,但不应将这些实施决策解释为导致脱离本发明的范围。
在一或多个实例中,所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施,则所述功能可作为一或多个指令或程序代码而存储于计算机可读媒体上或经由计算机可读媒体进行发射,且通过基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体,其对应于诸如数据存储媒体的有形媒体或(例如)根据通信协议包含促进计算机程序从一处传送到另一处的任何媒体的通信媒体。以此方式,计算机可读媒体大体可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)诸如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制,这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、闪速存储器或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。另外,任何连接被恰当地称为计算机可读媒体。举例来说,如果使用同轴缆线、光缆、双绞线、数字订户线(DSL)或无线技术(诸如红外线、无线电及微波)从网站、服务器或其它远程源发射指令,则同轴缆线、光缆、双绞线、DSL或无线技术(诸如红外线、无线电及微波)包含于媒体的定义中。然而,应理解,计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体,而是针对非暂时性有形存储媒体。如本文中所使用,磁盘及光盘包含光盘(CD)、激光光盘、光学光盘、数字视频光盘(DVD)、软盘及蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘使用激光以光学方式再现数据。以上的组合也应包含于计算机可读媒体的范围内。
指令可由一或多个处理器执行,所述一或多个处理器诸如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它等效的集成或离散逻辑电路。因此,如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外,在一些方面中,本文中所描述的功能性可提供于经配置用于编码及解码的专用硬件和/或软件模块内,或合并于组合式编解码器中。此外,所述技术可完全实施于一或多个电路或逻辑组件中。
本发明的技术可以多种装置或设备来实施,所述装置或设备包含无线手机、集成电路(IC)或IC的集合(例如,芯片集)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面,但未必要求由不同硬件单元来实现。确切地说,如上文所描述,可将各种单元组合于编解码器硬件单元中,或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适的软件和/或固件来提供所述单元。
已描述了各种实例。这些及其它实例在以下权利要求书的范围内。

Claims (68)

1.一种译码视频数据的方法,所述方法包括:
通过译码设备,确定当前块的运动向量候选列表,其中所述运动向量候选列表中的每一候选者包含从参考图片的各个候选块导出的一组运动信息;
从所述运动向量候选列表选择特定候选者;
确定与所述特定候选者相关联的第一候选块的照明补偿状态;
译码所述当前块,其中所述当前块的运动信息被译码为参考所述第一候选块的运动信息,其中所述当前块的照明补偿状态被译码为参考所述第一候选块的照明补偿状态,且其中译码所述当前块将与所述当前块相关联的视频数据从第一状态转换为第二状态;且
基于所述当前块的所述照明补偿状态选择性地启用所述当前块的经加权预测,其中响应于所述照明补偿状态指示对所述当前块启用照明补偿而对所述当前块禁用经加权预测。
2.根据权利要求1所述的方法,进一步包括:
基于所述第一候选块的所述照明补偿状态推导所述当前块的所述照明补偿状态。
3.根据权利要求2所述的方法,其中使用合并模式来译码所述当前块,且其中推导出所述当前块的所述照明补偿状态与所述第一候选块的所述照明补偿状态相同。
4.根据权利要求2所述的方法,其中使用从所述第一候选块复制或推导运动信息的框间预测模式来译码所述当前块,且其中推导出所述当前块的所述照明补偿状态与所述第一候选块的所述照明补偿状态相同。
5.根据权利要求1所述的方法,其中所述第一候选块为空间合并候选、时间合并候选及双预测性合并候选中的至少一或多个。
6.根据权利要求1所述的方法,其中所述当前块包括子预测单元,且所述方法进一步包括:使用基于子预测单元的合并,其中所述当前块的所述照明补偿状态是基于从所述当前块的一或多个时间相邻块产生的代表运动信息。
7.根据权利要求1所述的方法,其进一步包括:
确定包含所述第一候选块的多个候选块;及
删除重复候选块的所述多个候选块,其中与不同照明补偿状态相关联的任何两个候选块不是重复候选块。
8.根据权利要求1所述的方法,其进一步包括将候选添加到合并列表,所述候选具有与所述合并列表中的现有候选块的运动信息相同的运动信息及具有与所述现有候选块的照明补偿状态不同的照明补偿状态。
9.根据权利要求1所述的方法,其中基于包含所述第一候选块的多个候选块来确定所述当前块的所述运动信息,且其中所述当前块的所述照明补偿状态是基于所述多个候选块中的每一个的相对应照明补偿状态。
10.根据权利要求9所述的方法,其中只有所述多个候选块的全部的所述相对应照明补偿状态为正确的,所述当前块的所述照明补偿状态为正确的。
11.根据权利要求9所述的方法,其中如果所述多个候选块中的任一个的所述相对应照明补偿状态为正确的,则所述当前块的所述照明补偿状态为正确的。
12.根据权利要求9所述的方法,其中所述第一候选块对应于第一方向上的候选,其中所述多个候选块中的第二候选块对应于不同于所述第一方向的第二方向上的候选,且其中所述当前块的所述照明补偿状态包括基于所述第一候选块的所述第一方向的第一照明补偿状态及基于所述第二候选块的所述第二方向上的第二照明补偿状态。
13.根据权利要求1所述的方法,其中所述当前块的所述照明补偿状态是基于用于确定所述当前块的所述运动信息的框间预测模式的类型来确定的。
14.根据权利要求1所述的方法,其中所述当前块包括使用除合并模式以外的框间预测模式译码的预测单元,且其中所述当前块的所述照明补偿状态针对包括所述当前块的译码单元而用信号表示。
15.根据权利要求1所述的方法,其中当使用先进运动向量预测AMVP模式译码所述当前块时,所述当前块的所述照明补偿状态经明确地用信号表示于经编码位流中。
16.根据权利要求1所述的方法,其中当所述当前块是使用将所述当前块的所述运动信息明确地用信号表示于所述经编码位流中的框间预测模式来译码时,所述当前块的所述照明补偿状态经明确地用信号表示于经编码位流中。
17.根据权利要求1所述的方法,其中所述当前块的所述照明补偿状态也用作译码单元的多个预测单元的所述照明补偿状态。
18.根据权利要求17所述的方法,其中所述多个预测单元包括所述译码单元的所有预测单元。
19.根据权利要求17所述的方法,其中所述多个预测单元包括使用合并模式译码的预测单元的第一集合及使用除合并模式以外的框间预测模式译码的预测单元的第二集合,且其中针对所述译码单元用信号表示的所述照明补偿状态用于所述第二集合且不用于所述第一集合。
20.根据权利要求17所述的方法,其中所述照明补偿状态进一步基于所述译码单元的分割类型。
21.根据权利要求1所述的方法,其进一步包括基于所述当前块的一或多个相邻块的运动信息产生额外预测块。
22.根据权利要求21所述的方法,其进一步包括基于所述一或多个相邻块的所述运动信息及所述当前块的所述照明补偿状态来推导用于产生所述额外预测块的所述照明补偿状态。
23.根据权利要求21所述的方法,其中当所述当前块的所述一或多个相邻块具有与所述当前块不同的照明补偿状态时,确定所述一或多个相邻块的额外运动信息不可用于所述当前块。
24.根据权利要求21所述的方法,其进一步包括基于所述一或多个相邻块的一或多个相邻样本来推导用于产生所述额外预测块的一或多个照明补偿参数。
25.根据权利要求1所述的方法,其进一步包括基于是否对用于预测所述当前块的一或多个参考图片启用经加权预测而选择性地启用所述当前块的经加权预测。
26.根据权利要求1所述的方法,其进一步包括当照明补偿用于所述当前块时禁用所述当前块的经加权预测。
27.根据权利要求1所述的方法,其进一步包括基于经加权预测是否用于所述当前块而选择性地启用所述当前块的照明补偿。
28.根据权利要求27所述的方法,其进一步包括当经加权预测用于所述当前块时禁用所述当前块的所述照明补偿。
29.根据权利要求1所述的方法,其进一步包括对所述当前块执行照明补偿及经加权预测两者。
30.一种设备,其包括:
存储器,其经配置以存储视频数据;及
处理器,其经配置以:
确定当前块的运动向量候选列表,其中所述运动向量候选列表中的每一候选者包含从参考图片的各个候选块导出的一组运动信息;
从所述运动向量候选列表选择特定候选者;
确定与所述特定候选者相关联的第一候选块的照明补偿状态;
译码所述当前块,其中所述当前块的运动信息被译码为参考所述第一候选块的运动信息,其中所述当前块的照明补偿状态被译码为参考所述第一候选块的照明补偿状态,且其中译码所述当前块将与所述当前块相关联的视频数据从第一状态转换为第二状态;且
基于所述当前块的所述照明补偿状态选择性地启用所述当前块的经加权预测,其中响应于所述照明补偿状态指示对所述当前块启用照明补偿而对所述当前块禁用经加权预测。
31.根据权利要求30所述的设备,其中所述处理器经进一步配置以:
基于所述第一候选块的所述照明补偿状态推导所述当前块的所述照明补偿状态。
32.根据权利要求31所述的设备,其中使用合并模式来译码所述当前块,且推导出所述当前块的所述照明补偿状态与所述第一候选块的所述照明补偿状态相同。
33.根据权利要求31所述的设备,其中使用从所述第一候选块复制或推导运动信息的框间预测模式来译码所述当前块,且其中推导出所述照明补偿状态与所述第一候选块的所述照明补偿状态相同。
34.根据权利要求30所述的设备,其中所述第一候选块为空间合并候选、时间合并候选及双预测性合并候选中的至少一或多个。
35.根据权利要求30所述的设备,其中所述当前块包括子预测单元,且其中所述处理器经进一步配置以:使用基于子预测单元的合并模式,其中所述当前块的所述照明补偿状态是基于从所述当前块的一或多个时间相邻块产生的代表运动信息。
36.根据权利要求30所述的设备,其中所述处理器经进一步配置以:
确定包含所述第一候选块的多个候选块;及
删除重复候选块的所述多个候选块,其中与不同照明补偿状态相关联的任何两个候选块不是重复候选块。
37.根据权利要求30所述的设备,其中所述处理器经进一步配置以将候选添加到合并列表,所述候选具有与所述合并列表中的现有候选块的运动信息相同的运动信息及具有与所述现有候选块的照明补偿状态不同的照明补偿状态。
38.根据权利要求30所述的设备,其中基于包含所述第一候选块的多个候选块来确定所述当前块的所述运动信息,且其中所述当前块的所述照明补偿状态是基于所述多个候选块中的每一个的相对应照明补偿状态。
39.根据权利要求38所述的设备,其中只有所述多个候选块的全部的所述相对应照明补偿状态为正确的,所述当前块的所述照明补偿状态为正确的。
40.根据权利要求38所述的设备,其中如果所述多个候选块中的任一个的所述相对应照明补偿状态为正确的,则所述当前块的所述照明补偿状态为正确的。
41.根据权利要求38所述的设备,其中所述第一候选块对应于第一方向上的候选,其中所述多个候选块中的第二候选块对应于不同于所述第一方向的第二方向上的候选,且其中所述当前块的所述照明补偿状态包括基于所述第一候选块的所述第一方向的第一照明补偿状态及基于所述第二候选块的所述第二方向的第二照明补偿状态。
42.根据权利要求30所述的设备,其中所述当前块的所述照明补偿状态是基于用于确定所述当前块的所述运动信息的框间预测模式的类型来确定的。
43.根据权利要求30所述的设备,其中所述当前块包括使用除合并模式以外的框间预测模式译码的预测单元,且其中所述当前块的所述照明补偿状态针对包括所述当前块的译码单元而用信号表示。
44.根据权利要求30所述的设备,其中当使用先进运动向量预测AMVP模式译码所述当前块时,所述当前块的所述照明补偿状态经明确地用信号表示于经编码位流中。
45.根据权利要求30所述的设备,其中当所述当前块是使用将所述当前块的所述运动信息明确地用信号表示于所述经编码位流中的框间预测模式来译码时,所述当前块的所述照明补偿状态经明确地用信号表示于所述经编码位流中。
46.根据权利要求30所述的设备,其中所述当前块的所述照明补偿状态也用作译码单元的多个预测单元的所述照明补偿状态。
47.根据权利要求46所述的设备,其中所述多个预测单元包括所述译码单元的所有预测单元。
48.根据权利要求46所述的设备,其中所述多个预测单元包括使用合并模式译码的预测单元的第一集合及使用除合并模式以外的框间预测模式译码的预测单元的第二集合,且其中针对所述译码单元用信号表示的所述照明补偿状态用于所述第二集合且不用于所述第一集合。
49.根据权利要求46所述的设备,其中所述照明补偿状态进一步基于所述译码单元的分割类型。
50.根据权利要求30所述的设备,其中所述处理器经进一步配置以基于所述当前块的一或多个相邻块的运动信息而产生额外预测块。
51.根据权利要求50所述的设备,其中所述处理器经进一步配置以基于所述一或多个相邻块的所述运动信息及所述当前块的所述照明补偿状态推导用于产生所述额外预测块的所述照明补偿状态。
52.根据权利要求50所述的设备,其中当所述当前块的所述一或多个相邻块具有与所述当前块不同的照明补偿状态时,确定所述一或多个相邻块的额外运动信息不可用于所述当前块。
53.根据权利要求50所述的设备,其中所述处理器经进一步配置以基于所述一或多个相邻块的一或多个相邻样本推导用于产生所述额外预测块的一或多个照明补偿参数。
54.根据权利要求30所述的设备,其中所述处理器经进一步配置以基于是否对用于预测所述当前块的一或多个参考图片启用经加权预测而选择性地启用所述当前块的经加权预测。
55.根据权利要求30所述的设备,其中所述处理器经进一步配置以当照明补偿用于所述当前块时禁用所述当前块的经加权预测。
56.根据权利要求30所述的设备,其中所述处理器经进一步配置以基于经加权预测是否用于所述当前块而选择性地启用所述当前块的照明补偿。
57.根据权利要求56所述的设备,其中所述处理器经进一步配置以当经加权预测用于所述当前块时禁用所述当前块的所述照明补偿。
58.根据权利要求30所述的设备,其中所述处理器经进一步配置以对所述当前块执行照明补偿及经加权预测两者。
59.一种其上存储有指令的非易失性计算机可读媒体,所述指令在由处理器执行时使得所述处理器执行操作,所述操作包含:
确定当前块的运动向量候选列表,其中所述运动向量候选列表中的每一候选者包含从参考图片的各个候选块导出的一组运动信息;
从所述运动向量候选列表选择特定候选者;
确定与所述特定候选者相关联的第一候选块的照明补偿状态;
译码所述当前块,其中所述当前块的运动信息被译码为参考所述第一候选块的运动信息,其中所述当前块的照明补偿状态被译码为参考所述第一候选块的照明补偿状态,且其中译码所述当前块将与所述当前块相关联的视频数据从第一状态转换为第二状态;且
基于所述当前块的所述照明补偿状态选择性地启用所述当前块的经加权预测,其中响应于所述照明补偿状态指示对所述当前块启用照明补偿而对所述当前块禁用经加权预测。
60.根据权利要求59所述的非易失性计算机可读媒体,其进一步包括在由处理器执行时使得所述处理器执行下列操作的指令,包括:
基于所述第一候选块的所述照明补偿状态推导所述当前块的所述照明补偿状态。
61.根据权利要求60所述的非易失性计算机可读媒体,其中使用合并模式来译码所述当前块,且推导出所述当前块的所述照明补偿状态与所述第一候选块的所述照明补偿状态相同。
62.根据权利要求60所述的非易失性计算机可读媒体,其中使用从所述第一候选块复制或推导运动信息的框间预测模式来译码所述当前块,且其中推导出所述照明补偿状态与所述第一候选块的所述照明补偿状态相同。
63.根据权利要求59所述的非易失性计算机可读媒体,其中所述第一候选块为空间合并候选、时间合并候选及双预测性合并候选中的至少一或多个。
64.一种设备,其包括:
用于确定当前块的运动向量候选列表的装置,其中所述运动向量候选列表中的每一候选者包含从参考图片的各个候选块导出的一组运动信息;
用于从所述运动向量候选列表选择特定候选者的装置;
用于确定与所述特定候选者相关联的第一候选块的照明补偿状态的装置;
用于译码所述当前块的装置,其中所述当前块的运动信息被译码为参考所述第一候选块的运动信息,其中所述当前块的照明补偿状态被译码为参考所述第一候选块的照明补偿状态,且其中译码所述当前块将与所述当前块相关联的视频数据从第一状态转换为第二状态;且
用于基于所述当前块的所述照明补偿状态选择性地启用所述当前块的经加权预测的装置,其中响应于所述照明补偿状态指示对所述当前块启用照明补偿而对所述当前块禁用经加权预测。
65.根据权利要求64所述的设备,其进一步包括:
用于基于所述第一候选块的所述照明补偿状态推导所述当前块的所述照明补偿状态的装置。
66.根据权利要求65所述的设备,其中使用合并模式来译码所述当前块,且推导出所述当前块的所述照明补偿状态与所述第一候选块的所述照明补偿状态相同。
67.根据权利要求65所述的设备,其中使用从所述第一候选块复制或推导运动信息的框间预测模式来译码所述当前块,且其中推导出所述照明补偿状态与所述第一候选块的所述照明补偿状态相同。
68.根据权利要求64所述的设备,其中所述第一候选块为空间合并候选、时间合并候选及双预测性合并候选中的至少一或多个。
CN201680031366.2A 2015-06-09 2016-06-07 确定用于视频译码的照明补偿状态的系统及方法 Active CN107690810B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562173234P 2015-06-09 2015-06-09
US62/173,234 2015-06-09
US15/174,834 2016-06-06
US15/174,834 US10356416B2 (en) 2015-06-09 2016-06-06 Systems and methods of determining illumination compensation status for video coding
PCT/US2016/036162 WO2016200779A1 (en) 2015-06-09 2016-06-07 Systems and methods of determining illumination compensation status for video coding

Publications (2)

Publication Number Publication Date
CN107690810A CN107690810A (zh) 2018-02-13
CN107690810B true CN107690810B (zh) 2020-08-28

Family

ID=56148701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680031366.2A Active CN107690810B (zh) 2015-06-09 2016-06-07 确定用于视频译码的照明补偿状态的系统及方法

Country Status (8)

Country Link
US (1) US10356416B2 (zh)
EP (1) EP3308543B1 (zh)
JP (1) JP2018522464A (zh)
KR (1) KR20180016390A (zh)
CN (1) CN107690810B (zh)
AU (1) AU2016274482A1 (zh)
TW (1) TW201703531A (zh)
WO (1) WO2016200779A1 (zh)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10887597B2 (en) 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
US20170150176A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding
GB2547052B (en) * 2016-02-08 2020-09-16 Canon Kk Methods, devices and computer programs for encoding and/or decoding images in video bit-streams using weighted predictions
EP4072141A1 (en) * 2016-03-24 2022-10-12 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding video signal
ES2737845B2 (es) * 2016-07-05 2021-05-19 Kt Corp Metodo y aparato para procesar senal de video
KR102275420B1 (ko) * 2016-07-12 2021-07-09 한국전자통신연구원 영상 부호화/복호화 방법 및 이를 위한 기록 매체
JP2019530299A (ja) * 2016-10-13 2019-10-17 富士通株式会社 画像コーディング/デコーディング方法、装置及び画像処理機器
US10419777B2 (en) * 2016-12-22 2019-09-17 Google Llc Non-causal overlapped block prediction in variable block size video coding
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
JP2018107580A (ja) * 2016-12-26 2018-07-05 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
EP3343924A1 (en) * 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
EP3349454A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and device for coding a block of video data, method and device for decoding a block of video data
CN116866555A (zh) 2017-01-16 2023-10-10 世宗大学校产学协力团 影像解码/编码方法以及传送比特流的方法
CN108347602B (zh) * 2017-01-22 2021-07-30 上海澜至半导体有限公司 用于无损压缩视频数据的方法和装置
WO2019006363A1 (en) * 2017-06-30 2019-01-03 Vid Scale, Inc. LOCAL LIGHTING COMPENSATION USING GENERALIZED BI-PREDICTION
WO2019021947A1 (ja) * 2017-07-24 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2019066449A1 (ko) * 2017-09-28 2019-04-04 삼성전자주식회사 조건부 적용 로컬 휘도 보상에 의한 비디오 복호화 방법 및 장치, 조건부 적용 로컬 휘도 보상에 의한 비디오 부호화 방법 및 장치
EP3468194A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Decoupled mode inference and prediction
EP3468193A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Method and apparatus for adaptive illumination compensation in video encoding and decoding
JP7248664B2 (ja) * 2017-10-05 2023-03-29 インターデジタル ヴイシー ホールディングス, インコーポレイテッド ビデオ符号化および復号における適応的照度補償のための方法および装置
EP3468198A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Method and apparatus for video encoding and decoding based on illumination compensation
US10623746B2 (en) * 2017-12-07 2020-04-14 Tencent America LLC Method and apparatus for video coding
CN111567043B (zh) * 2018-01-11 2023-03-28 高通股份有限公司 对视频数据进行译码的方法、装置和计算机可读存储介质
WO2019143093A1 (ko) 2018-01-16 2019-07-25 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
US10652571B2 (en) * 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding
EP3518536A1 (en) * 2018-01-26 2019-07-31 Thomson Licensing Method and apparatus for adaptive illumination compensation in video encoding and decoding
EP3518543A1 (en) * 2018-01-26 2019-07-31 Thomson Licensing Illumination compensation flag in frame rate up-conversion with template matching
US10715810B2 (en) 2018-02-20 2020-07-14 Qualcomm Incorporated Simplified local illumination compensation
US20190268611A1 (en) * 2018-02-26 2019-08-29 Mediatek Inc. Intelligent Mode Assignment In Video Coding
WO2019190339A1 (en) * 2018-03-26 2019-10-03 Huawei Technologies Co., Ltd. Inter prediction apparatus and method for video coding
US10869042B2 (en) 2018-03-30 2020-12-15 Hulu, LLC Template based adaptive weighted bi-prediction for video coding
WO2019194498A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019203036A1 (ja) * 2018-04-17 2019-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US20190373292A1 (en) * 2018-06-01 2019-12-05 Qualcomm Incorporated In-loop bilateral filter type decision based on block information
MX2020012662A (es) * 2018-06-08 2021-02-09 Kt Corp Método y aparato para procesar una señal de video.
TWI744660B (zh) * 2018-06-29 2021-11-01 大陸商北京字節跳動網絡技術有限公司 運動估計區域改進
TWI719523B (zh) 2018-06-29 2021-02-21 大陸商北京字節跳動網絡技術有限公司 哪個查找表需要更新或不更新
TWI728390B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
EP3791587A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Resetting of look up table per slice/tile/lcu row
WO2020003279A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
TWI719525B (zh) * 2018-06-29 2021-02-21 大陸商北京字節跳動網絡技術有限公司 Lut與amvp之間的交互
JP7256265B2 (ja) 2018-06-29 2023-04-11 北京字節跳動網絡技術有限公司 ルックアップテーブルの更新:fifo、制限されたfifo
EP3791588A1 (en) 2018-06-29 2021-03-17 Beijing Bytedance Network Technology Co. Ltd. Checking order of motion candidates in lut
TWI744662B (zh) 2018-06-29 2021-11-01 大陸商北京字節跳動網絡技術有限公司 更新查閱資料表(lut)的條件
TWI752331B (zh) 2018-06-29 2022-01-11 大陸商北京字節跳動網絡技術有限公司 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
KR20240008952A (ko) 2018-07-02 2024-01-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측 모드들을 갖는 lut들 및 비인접 블록들로부터의 인트라 모드 예측
CN111064961B (zh) 2018-09-12 2023-06-09 北京字节跳动网络技术有限公司 视频处理方法和装置
BR112021004858A2 (pt) * 2018-09-19 2021-06-01 Interdigital Vc Holdings, Inc. compensação de iluminação local para codificação e decodificação de vídeo usando parâmetros armazenados
CN112913247B (zh) 2018-10-23 2023-04-28 北京字节跳动网络技术有限公司 使用局部照明补偿的视频处理
WO2020084506A1 (en) * 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonized local illumination compensation and intra block copy coding
EP3847814A1 (en) 2018-11-06 2021-07-14 Beijing Bytedance Network Technology Co. Ltd. Position dependent storage of motion information
CN113170093B (zh) * 2018-11-20 2023-05-02 北京字节跳动网络技术有限公司 视频处理中的细化帧间预测
JP2022508245A (ja) * 2018-11-27 2022-01-19 オーピー ソリューションズ, エルエルシー 文脈的区分化および処理のためのブロックベースのピクチャ融合
CN111263147B (zh) * 2018-12-03 2023-02-14 华为技术有限公司 帧间预测方法和相关装置
WO2020116241A1 (ja) 2018-12-07 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2020116242A1 (ja) * 2018-12-07 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11290743B2 (en) * 2018-12-08 2022-03-29 Qualcomm Incorporated Interaction of illumination compensation with inter-prediction
WO2020130617A1 (ko) * 2018-12-18 2020-06-25 엘지전자 주식회사 비디오 데이터를 처리하기 위한 방법 및 장치
US10887611B2 (en) * 2018-12-27 2021-01-05 Qualcomm Incorporated Pruning for illumination compensation mode
CN113273186A (zh) 2019-01-10 2021-08-17 北京字节跳动网络技术有限公司 Lut更新的调用
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
CN113302918A (zh) 2019-01-15 2021-08-24 北京字节跳动网络技术有限公司 视频编解码中的加权预测
WO2020147773A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Inserting order of motion candidates in lut
CN113302919A (zh) 2019-01-17 2021-08-24 北京字节跳动网络技术有限公司 在视频处理中使用虚拟候选预测和加权预测
EP3910955A4 (en) * 2019-02-01 2022-05-18 Huawei Technologies Co., Ltd. INTERFRAME PREDICTION METHOD AND APPARATUS
WO2020164575A1 (en) 2019-02-14 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Decoder side motion derivation based on processing parameters
EP3709648A1 (en) * 2019-03-12 2020-09-16 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding with subblock based local illumination compensation
WO2020192611A1 (en) 2019-03-22 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
CN113841396B (zh) * 2019-05-20 2022-09-13 北京字节跳动网络技术有限公司 简化的局部照明补偿
JP7446339B2 (ja) 2019-06-04 2024-03-08 北京字節跳動網絡技術有限公司 幾何学的分割モードコーディングを用いた動き候補リスト
CN113966616B (zh) * 2019-06-04 2023-11-14 北京字节跳动网络技术有限公司 使用临近块信息的运动候选列表构建
MX2021016088A (es) * 2019-06-21 2022-02-21 Interdigital Vc Holdings France Sas Herencia de indicador de compensación de iluminación local.
JP7318099B2 (ja) 2019-07-14 2023-07-31 北京字節跳動網絡技術有限公司 ビデオコーディングにおける変換ブロック・サイズ制約
CN114450959A (zh) 2019-09-28 2022-05-06 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
CN111787322B (zh) * 2020-08-04 2022-05-13 北京百度网讯科技有限公司 视频编码的方法、装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102215389A (zh) * 2010-04-09 2011-10-12 华为技术有限公司 一种局部亮度补偿的视频编解码方法及装置
CN102970543A (zh) * 2010-01-15 2013-03-13 联发科技股份有限公司 解码端运动向量导出方法
CN103260024A (zh) * 2011-12-22 2013-08-21 英特尔公司 复杂度可调整的帧速率上转换
WO2014166104A1 (en) * 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation
WO2014166360A1 (en) * 2013-04-10 2014-10-16 Mediatek Inc. Method and apparatus for bi-prediction of illumination compensation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3133813B1 (en) 2004-09-16 2020-06-17 InterDigital VC Holdings, Inc. Method and apparatus for weighted prediction video codec utilizing local brightness variation
KR100943912B1 (ko) 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
CN101529921B (zh) * 2006-10-18 2013-07-03 汤姆森特许公司 无显式信令的局部照明和色彩补偿
KR101244917B1 (ko) 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
US9008174B2 (en) 2008-01-10 2015-04-14 Thomson Licensing Methods and apparatus for illumination compensation of intra-predicted video
US9615090B2 (en) * 2012-12-28 2017-04-04 Qualcomm Incorporated Parsing syntax elements in three-dimensional video coding
US9924191B2 (en) * 2014-06-26 2018-03-20 Qualcomm Incorporated Filters for advanced residual prediction in video coding
US10887597B2 (en) 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970543A (zh) * 2010-01-15 2013-03-13 联发科技股份有限公司 解码端运动向量导出方法
CN102215389A (zh) * 2010-04-09 2011-10-12 华为技术有限公司 一种局部亮度补偿的视频编解码方法及装置
CN103260024A (zh) * 2011-12-22 2013-08-21 英特尔公司 复杂度可调整的帧速率上转换
WO2014166360A1 (en) * 2013-04-10 2014-10-16 Mediatek Inc. Method and apparatus for bi-prediction of illumination compensation
WO2014166104A1 (en) * 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"3D-CE.h related: Removal of parsing dependency for illumination compensation";Kai Zhang,Yi-Wen,Jichen An;《JCT3V 4th Meeting :Incheon ,KR》;20130426;第1-2节 *

Also Published As

Publication number Publication date
JP2018522464A (ja) 2018-08-09
TW201703531A (zh) 2017-01-16
WO2016200779A1 (en) 2016-12-15
US10356416B2 (en) 2019-07-16
CN107690810A (zh) 2018-02-13
EP3308543A1 (en) 2018-04-18
EP3308543B1 (en) 2021-09-22
US20160366416A1 (en) 2016-12-15
KR20180016390A (ko) 2018-02-14
AU2016274482A1 (en) 2017-11-30

Similar Documents

Publication Publication Date Title
CN107690810B (zh) 确定用于视频译码的照明补偿状态的系统及方法
CN107710764B (zh) 确定用于视频译码的照明补偿状态的系统及方法
AU2020207821B2 (en) Motion vector derivation in video coding
JP7342115B2 (ja) 履歴ベースの動きベクトル予測子の改善
CN110431845B (zh) 约束通过解码器侧运动向量推导导出的运动向量信息
KR20200108432A (ko) 개선된 디코더측 모션 벡터 도출
JP2019514292A (ja) ビデオコーディングにおけるコロケート参照インデックスのための適合制約
KR102449889B1 (ko) 비디오 코딩을 위한 서브-블록 시간적 움직임 벡터 예측
JP2023554269A (ja) 重複ブロック動き補償

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant