CN109792538B - 用于对视频数据进行译码的方法和装置 - Google Patents

用于对视频数据进行译码的方法和装置 Download PDF

Info

Publication number
CN109792538B
CN109792538B CN201780051408.3A CN201780051408A CN109792538B CN 109792538 B CN109792538 B CN 109792538B CN 201780051408 A CN201780051408 A CN 201780051408A CN 109792538 B CN109792538 B CN 109792538B
Authority
CN
China
Prior art keywords
block
video data
parameters
video
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780051408.3A
Other languages
English (en)
Other versions
CN109792538A (zh
Inventor
胡楠
陈建乐
瓦迪姆·谢廖金
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109792538A publication Critical patent/CN109792538A/zh
Application granted granted Critical
Publication of CN109792538B publication Critical patent/CN109792538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种用于对视频数据进行译码的装置，所述装置能够配置成：执行参数推导操作以确定用于视频数据的第一块的一或多个第一参数；执行所述参数推导操作以确定用于视频数据的第二块的一或多个第二参数，所述视频数据的第二块以与所述视频数据的第一块不同的译码模式进行译码；基于所述一或多个第一参数对所述视频数据的第一块进行译码；且基于所述一或多个第二参数对所述视频数据的第二块进行译码。

Description

用于对视频数据进行译码的方法和装置
本申请主张2016年8月26日提交的第62/380,223号美国临时专利申请的权益，所述临时专利申请的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频编码。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置和类似装置。数字视频装置实施视频压缩技术，例如描述于以下中的那些技术：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、ITU-T H.265定义的标准，高效视频译码(HEVC)标准，和这些标准的扩展。视频装置可通过实施这些视频压缩技术而更有效地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块(其也可称作树块)、译码单元(CU)和/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可称作帧，且参考图片可称作参考帧。
空间或时间预测产生用于待译码块的预测性块。残差数据表示待译码原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本块的运动向量和指示经译码块与预测性块之间的差的残差数据来编码经帧间译码块。根据帧内译码模式和残差数据来编码经帧内译码块。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数，可接着量化所述残差变换系数。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。
发明内容
本发明描述与局部照明补偿(LIC)、重叠块运动补偿(OBMC)、应用于帧间预测的加权预测和用于帧内预测的跨分量线性模型预测模式(也称为CCLM模式或仅CCLM)相关的技术。在其它技术当中，本发明描述用于以潜在地简化视频编码器和解码器的硬件和软件实施方案的方式统一用于LIC和CCLM的参数推导程序的技术，而不显著降低总体译码质量。作为一实例，视频译码器可执行参数推导操作以确定用于使用第一模式经译码的视频数据的第一块的一或多个第一参数，且执行相同参数推导操作以确定用于以不同模式经译码的视频数据的第二块的一或多个第二参数。视频译码器可随后使用一或多个第一参数对视频数据的第一块进行译码(例如，编码或解码)且使用一或多个第二参数对视频数据的第二块进行译码。
在一个实例中，对视频数据进行译码的方法包含：对于视频数据的第一块，执行参数推导操作以确定用于所述视频数据的第一块的一或多个第一参数；对于视频数据的第二块，执行参数推导操作以确定用于所述视频数据的第二块的一或多个第二参数，其中视频数据的第二块以与视频数据的第一块不同的译码模式进行译码；基于一或多个第一参数对视频数据的第一块进行译码；和基于一或多个第二参数对视频数据的第二块进行译码。
在另一实例中，用于对视频数据进行译码的装置包含：存储器，其用于存储视频数据；和视频译码器，其包括一或多个处理器，所述一或多个处理器配置成：对于视频数据的第一块，执行参数推导操作以确定用于视频数据的第一块的一或多个第一参数；对于视频数据的第二块，执行参数推导操作以确定用于视频数据的第二块的一或多个第二参数，其中视频数据的第二块以与视频数据的第一块不同的译码模式进行译码；基于一或多个第一参数对视频数据的第一块进行译码；和基于一或多个第二参数对视频数据的第二块进行译码。
在另一实例中，用于对视频数据进行译码的设备包含：装置，其用于执行参数推导操作以确定用于视频数据的第一块的一或多个第一参数；装置，其用于执行参数推导操作以确定用于视频数据的第二块的一或多个第二参数，其中视频数据的第二块以与视频数据的第一块不同的译码模式进行译码；装置，其用于基于一或多个第一参数对视频数据的第一块进行译码；和装置，其用于基于一或多个第二参数对视频数据的第二块进行译码。
一种存储指令的计算机可读存储媒体，所述指令当被执行时使得一或多个处理器进行以下操作：对于视频数据的第一块，执行参数推导操作以确定用于视频数据的第一块的一或多个第一参数；对于视频数据的第二块，执行参数推导操作以确定用于视频数据的第二块的一或多个第二参数，其中视频数据的第二块以与视频数据的第一块不同的译码模式进行译码；基于一或多个第一参数对视频数据的第一块进行译码；和基于一或多个第二参数对视频数据的第二块进行译码。
在下文的附图和描述中阐述本发明的一或多个方面的细节。本发明中所描述的技术的其它特征、目标和优点将从描述和图式且从权利要求书而显而易见。
附图说明
图1是说明可利用本发明中所描述的技术的实例视频编码和解码系统的框图。
图2展示用于推导IC参数的相邻样本的实例。
图3展示可应用OBMC的子块的实例图解。
图4展示用于OBMC操作中的当前块和两个相邻块的实例。
图5是说明可实施本发明中所描述的技术的实例视频编码器的框图。
图6是说明可实施本发明中所描述的技术的实例视频解码器的框图。
图7是说明根据本发明的技术的视频译码器的实例操作的流程图。
具体实施方式
本发明描述与局部照明补偿(LIC)、重叠块运动补偿(OBMC)、应用于帧间预测的加权预测和用于帧内预测的跨分量线性模型预测模式(也称为CCLM模式或仅CCLM)相关的技术。技术可用于高级视频编解码器的内容背景中，例如下一代视频编码标准，包含但不限于当前正在研发的H.266标准。在其它技术当中，本发明描述用于以潜在地简化视频编码器和解码器的硬件和软件实施方案的方式统一用于LIC和CCLM的参数推导程序的技术，而不显著降低总体译码质量。
根据本发明的技术，视频译码器可执行参数推导操作以确定用于使用第一模式经译码的视频数据的第一块的一或多个第一参数，且执行相同参数推导操作以确定用于以不同模式经译码的视频数据的第二块的一或多个第二参数。视频译码器可随后使用一或多个第一参数对视频数据的第一块进行译码(例如，编码或解码)且使用一或多个第二参数对视频数据的第二块进行译码。
如本文中所使用，术语“视频译码器”一般指代视频编码器和视频解码器两者。类似地，在本发明中，术语“视频译码”或“译码”一般可指代视频编码和视频解码。因此，除非另外说明，否则应假定，参考译码所描述的技术可由视频编码器或视频解码器执行。在本申请案的一些部分中，可参考视频解码或参考视频解码器来描述某些技术。然而，不应假定此类技术不适用于视频编码或不可由视频编码器执行。举例来说，此类技术可作为确定如何编码视频数据的一部分而执行，或可作为视频编码器中的视频解码环的一部分而执行。
如本发明中所使用，术语当前块是指当前正译码的块，与已经译码或尚未译码的块相反。类似地，当前译码单元(CU)、预测单元(PU)或变换单元(TU)是指当前正译码的编码单元、预测单元或变换单元。
图1是说明可利用本发明中所描述的技术的实例视频编码和解码系统10的框图。如图1中所展示，系统10包含源装置12，所述源装置生成稍后待由目的地装置14解码的经编码视频数据。源装置12和目的地装置14可包括包含以下的各种装置中的任一个：台式计算机、笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，所谓的“智能”电话)、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似装置。在某些情况下，源装置12和目的地装置14可经装备以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括通信媒体，所述通信媒体使得源装置12能够直接将经编码视频数据实时地发射到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码视频数据，并将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换机、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。
替代地，经编码数据可从输出接口22输出到存储装置26。类似地，经编码数据可通过输入接口从存储装置26存取。存储装置26可包含多种分布式或本地存取式数据存储媒体中的任一个，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置26可对应于可保持由源装置12生成的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置26存取所存储视频数据。文件服务器可以是能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过包含因特网连接的任何标准数据连接来存取经编码视频数据。所述数据连接可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置26的传输可以是流式传输、下载传输或两者的组合。
本发明的技术不必限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用中的任一种，例如空中电视广播、有线电视传输、卫星电视传输、流式视频传输(例如，经由因特网)、编码视频数据以存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频或其它应用。在一些实例中，系统10可配置成支持单向或双向视频传输，从而支持各种应用，例如视频流式传输、视频回放、视频广播和/或视频电话。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含源，例如视频俘获装置，例如摄像机；视频存档，其含有先前俘获到的视频；和/或计算机图形系统，其用于生成作为源视频的计算机图形数据，或此类源的组合。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线和/或有线应用。
经俘获、预俘获或计算机生成的视频可由视频编码器20编码。可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。经编码视频数据还可(或替代地)存储到存储装置26上以供稍后由目的地装置14或其它装置存取，以用于解码和/或回放。
目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些情况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28通过链路16接收经编码视频数据。通过链路16传达或提供于存储装置26上的经编码视频数据可包含由视频编码器20生成以供视频解码器(例如，视频解码器30)用于解码视频数据的多种语法元素。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储于文件服务器上的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成或在所述目的地装置的外部。在一些实例中，目的地装置14可包含集成显示装置且还可配置成与外部显示装置介接。在其它实例中，目的地装置14可以是显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一个，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可根据视频压缩标准操作，例如最近完成的高效视频译码(HEVC)标准。视频编码器20和视频解码器30还可根据HEVC的各种扩展中的一或多个操作，所述扩展包含可调式视频译码(SVC)扩展、多视点视频译码(MVC)扩展和屏幕内容译码(SCC)扩展。
替代或另外地，视频编码器20和视频解码器30可根据其它专有或业界标准来操作，所述标准例如ITU-T H.264标准(替代地被称作MPEG-4第10部分高级视频译码(AVC))，或此类标准的扩展。视频译码标准的其它实例包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262和ISO/IEC MPEG-2Visual、ITU-T H.263。专有视频编解码器的实例包含Google VP8、VP9、VP10和由其它组织(例如，开放媒体联盟)研发的视频编解码器。然而，本发明的技术不限于任何特定译码标准。
为了易于解释，本发明的技术可利用HEVC术语。然而，不应假定本发明的技术限于HEVC，且实际上，明确地设想本发明的技术可以HEVC的后续标准实施，所述后续标准包含HEVC的扩展以及下一代标准，包含当前正在研发的新H.266标准。
联合视频探索组(JVET)测试模型(又称为联合探索模型或JEM)是在HEVC基础上建构的未来视频译码标准。在JEM中，HEVC的基础编码和解码流程图保持不变，但一些模块(包含用于块结构、帧内预测和帧间预测、残差变换、环路滤波器和熵译码的模块)的设计元素略经修改。JEM也引入新的译码工具。
尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和音频解码器集成，且可包含适当MUX-DEMUX单元或其它硬件和软件以处理对共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，那么MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一个，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件实施所述技术时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中且使用一或多个处理器以硬件执行所述指令从而执行本发明的技术。视频编码器20和视频解码器30中的每一个可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一个可集成为相应装置中的组合编码器/解码器(编解码器)的一部分。
如上文所介绍，JCT-VC最近已完成HEVC、ITU-T H.265标准的研发。相对于根据(例如)ITU-T H.264/AVC的现有装置，HEVC实现视频译码装置的若干额外能力。举例来说，尽管H.264提供九个帧内预测编码模式，但HEVC支持多达三十五个帧内预测编码模式。
在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。图片也可以称为“帧”。图片可包含三个样本阵列，标示为SL、SCb和SCr。SL是亮度样本的二维阵列(即，块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。色度(Chrominance)样本在本文中还可以称为“色度(chroma)”样本。在其它情况下，图片可为单色的且可仅包含亮度样本阵列。
为了生成图片的经编码表示，视频编码器20可生成一组译码树单元(CTU)。CTU中的每一个可包括亮度样本的译码树块、色度样本的两个对应译码树块和用于对译码树块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CTU可包括单个译码树块和用于对译码树块样本进行译码的语法结构。译码树块可以是样本的N×N块。CTU也可以称为“树块”或“最大译码单元(LCU)”。HEVC的CTU可广泛类似于例如H.264/AVC等其它标准的宏块。然而，CTU不必限于特定大小且可包含一或多个CU。切片可包含按光栅扫描次序连续排序的整数数目个CTU。
为生成经译码CTU，视频编码器20可在CTU的译码树块上以递归方式执行四叉树分割，以将译码树块划分为译码块，因此命名为“译码树单元”。译码块可以是样本的N×N块。CU可包括具有亮度样本阵列、Cb样本阵列和Cr样本阵列的图片的亮度样本的译码块和色度样本的两个对应译码块，以及用于对译码块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CU可包括单个译码块和用以对译码块样本进行译码的语法结构。
视频编码器20可将CU的译码块分割为一或多个预测块。预测块是对其应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的PU可包括亮度样本的预测块、色度样本的两个对应预测块和用以预测预测块的语法结构。在单色图片或具有三个单独颜色平面的图片中，PU可包括单个预测块和用以对预测块进行预测的语法结构。视频编码器20可生成用于CU的每一PU的亮度预测块、Cb预测块和Cr预测块的预测性亮度块、Cb块和Cr块。
视频编码器20可使用帧内预测或帧间预测以生成用于PU的预测性块。如果视频编码器20使用帧内预测来生成PU的预测性块，那么视频编码器20可基于与PU相关的图片的经解码样本来生成PU的预测性块。如果视频编码器20使用帧间预测来生成PU的预测性块，那么视频编码器20可基于除与PU相关的图片以外的一或多个图片的经解码样本来生成PU的预测性块。
在视频编码器20生成CU的一或多个PU的预测性亮度块、Cb块和Cr块之后，视频编码器20可生成CU的亮度残差块。CU的亮度残差块中的每一样本指示CU的预测性亮度块中的一个中的亮度样本与CU的初始亮度译码块中的对应样本之间的差异。另外，视频编码器20可生成CU的Cb残差块。CU的Cb残差块中的每一样本可以指示CU的预测性Cb块中的一个中的Cb样本与CU的初始Cb译码块中对应样本之间的差异。视频编码器20还可生成CU的Cr残差块。CU的Cr残差块中的每一样本可指示CU的预测性Cr块中的一个中的Cr样本与CU的初始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四叉树分割将CU的亮度残差块、Cb残差块和Cr残差块分解成一或多个亮度变换块、Cb变换块和Cr变换块。变换块是对其应用相同变换的样本的矩形(例如，正方形或非正方形)块。CU的TU可包括亮度样本的变换块、色度样本的两个对应变换块和用以对变换块样本进行变换的语法结构。因此，CU的每个TU可与亮度变换块、Cb变换块和Cr变换块相关联。与TU相关联的亮度变换块可以是CU的亮度残差块的子块。Cb变换块可以是CU的Cb残差块的子块。Cr变换块可以是CU的Cr残差块的子块。在单色图片或具有三个单独颜色平面的图片中，TU可包括单个变换块和用于对变换块样本进行变换的语法结构。
视频编码器20可将一或多个变换应用到TU的亮度变换块以生成TU的亮度系数块。系数块可以是变换系数的二维阵列。变换系数可以是标量。视频编码器20可将一或多个变换应用到TU的Cb变换块以生成TU的Cb系数块。视频编码器20可将一或多个变换应用到TU的Cr变换块以生成TU的Cr系数块。
在生成系数块(例如，亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化大体上是指对变换系数进行量化以可能地减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。
视频编码器20可输出包含位序列的位流，所述位序列形成经译码图片和相关联数据的表示。位流可包括一系列NAL单元。NAL单元是含有NAL单元中数据类型的指示和含有所述数据的字节的语法结构，所述字节呈RBSP形式且视需要与模拟防止位穿插。NAL单元中的每一个包含NAL单元标头，且包封RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可以是含有包封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零位。
不同类型的NAL单元可包封不同类型的RBSP。举例来说，第一类型的NAL单元可包封PPS的RBSP，第二类型的NAL单元可包封经译码切片的RBSP，第三类型的NAL单元可包封SEI消息的RBSP等等。包封视频译码数据的RBSP(与参数集和SEI消息的RBSP相反)的NAL单元可称作VCL NAL单元。
视频解码器30可接收由视频编码器20生成的位流。另外，视频解码器30可剖析位流以获得来自位流的语法元素。视频解码器30可至少部分地基于从位流获得的语法元素来重构视频数据的图片。重构视频数据的方法可大体上与由视频编码器20执行的方法互逆。另外，视频解码器30可逆量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行逆变换以重构与当前CU的TU相关联的变换块。通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可重构当前CU的译码块。通过重构用于图片的每个CU的译码块，视频解码器30可重构图片。
LIC是可由视频编码器20和视频解码器30利用的视频译码工具。在JEM中，通过使用比例因子a和偏移b，基于用于照明改变的线性模型来研发LIC。LIC可基于每一帧间模式CU的标志而启用或停用。
当LIC应用于CU时，方向k中的预测信号由以下生成：
predLIC(i,j,k)＝a·pred(i,j,k)+b (1)
其中predLIC(i,j,k)表示参考列表k(k＝0或1)中的最后预测信号，且pred(i,j,k)表示基于来自参考列表k的一些帧间预测信息(例如，参考索引和运动向量)的预测信号。参数a和b通过使当前块周围的相邻重构样本与预测样本之间的回归误差最小化推导出。
现将描述LIC的一个实例实施方案，但是本发明的技术不限于LIC的任何特定实施方案且可与其它实施方案相容。在这个实例实施方案中，对于每一经帧间模式译码CU，显式地用信号表示或隐式地推导一位标志以指示LIC的用途。当标志是真时，属于CU的每一PU/子PU通过使用当前CU的相邻样本和参考图片的对应像素来隐式地推导LIC参数。对LIC的研究已发现，可察觉的位率节省可在具有照明偏差的序列上实现。甚至对于正常序列，例如HEVC CTC序列，随机存取和低延迟配置平均已分别实现了0.36％和0.33％位率节省。
已在H.264/AVC和HEVC两者中采用针对整体光照补偿的加权预测。在另一方面，为了补偿局部照明偏差，已针对HEVC提出了基于块的照明补偿，其中在每一分割处显式地用信号表示照明补偿参数。同时，已在3D-HEVC中采用了具有隐式参数推导的LIC以用于视图间预测。在这个实例中，提出具有隐式参数推导的LIC。
在一个所提出方法中，对每一经帧间模式译码CU适应性地启用或停用LIC，且通过使用比例因子a和偏移b，使用用于照明改变的线性模型来应用LIC。
图2展示用于推导IC参数的相邻样本的实例。当CU以2N×2N合并模式译码时，以类似于合并模式中的运动信息复制的方式从相邻块复制LIC标志；否则，用信号表示CU的LIC标志以指示LIC是否适用。当LIC应用于CU时，对于属于CU的每一PU/子PU，以使用CU的经子取样(2:1子取样)相邻样本和参考图片中的对应像素(由当前PU/子PU的运动信息识别)的形式，即通过使用CU的经子取样相邻样本和参考图片中的对应像素，以类似于对视图间照明补偿所做的推导的方式推导LIC参数。实例说明于图2中。推导IC参数且将其单独地应用于每一预测方向。最小平方误差方法用于基于上述相邻样本来推导参数a和b。
对于每一合并候选项，除运动信息(运动向量、预测方向、参考索引等)以外，也根据以下列举的规则生成一个LIC标志。
·对于空间合并候选项，LIC标志设置成等于对应空间相邻块的LIC标志。
·对于时间合并候选项，LIC标志设置成等于对应时间同位块的LIC标志。对于双向预测情况，运动信息可从两个不同时间同位块推导出。在这种情况下，如果两同位块中的任一个使用LIC且另外设置成假，那么时间合并候选项的LIC标志设置成真。
·组合的双向预测性候选项由两个空间/时间合并候选项生成，且如果两个源候选项中的任一个的LIC标志是真且另外设置成假，那么LIC标志设置成真。
·对于拖尾零合并候选项，LIC标志始终设置成假。
同时，在修剪过程中考虑LIC标志，且如果两个合并候选项具有不同LIC标志，那么两个合并候选项视为不同。
在OBMC中，当使用相邻运动信息执行运动补偿时，当前CU(而非相邻块)的LIC标志应用。当当前CU的LIC标志是真时，在用于相邻运动信息的运动补偿方法中，通过使用当前CU的相邻样本和由相邻运动信息识别的对应像素来推导LIC参数。下文较详细地描述OBMC。
为了降低编码器复杂度，当当前图片与当前图片的参考图片之间不存在显著照明改变时，可对整个图片停用LIC。为了识别这一情况，在编码器处计算当前图片和每一参考图片的直方图。如果当前图片与每一参考图片之间的直方图差小于给定阈值，那么对当前图片停用LIC；否则，启用LIC。此外，对以非2N×2N分割模式译码的CU停用LIC。
CCLM预测是可由视频编码器20和视频解码器30利用的用于预测块的另一译码工具。通过利用视频序列中的跨分量相关性，在经帧内预测CU中，CCLM可应用于减少跨分量冗余。在CCLM中，色度样本通过使用以下线性模型来基于相同块的重构亮度样本进行预测：
predC(i,j)＝a·recL(i,j)+b (2)
其中predC(i,j)表示块中的色度样本的预测，且recL(i,j)表示相同块的重构亮度样本(可在需要时对重构亮度样本进行下取样，例如当CCLM应用于YUV 4:2:0视频序列时)。参数a和b通过使相邻重构亮度与当前块周围的重构色度样本之间的回归误差最小化推导出。
在JEM中，CCLM延伸到两个色度分量之间的预测，即使用Cb分量以预测残差域中的Cr分量。最终Cr预测子由以下等式生成：
Figure GDA0003103193180000081
其中
Figure GDA0003103193180000082
表示Cr分量的最后预测信号，predCr(i,j)表示基于用信号表示的帧内预测模式的Cr预测信号，且resiCb′(i,j)是经重构Cb残差信号。参数a通过使相邻重构Cb与Cr样本之间的回归误差最小化推导出。
现将描述跨分量预测的一个实例实施方案。已知的是可通过利用甚至在YUV 4:2:0视频序列中存在的跨分量相关性来改良译码性能。在这个实例中，评估HM 7.0中的CCLM预测模式和其增强。在CCLM模式中，色度样本通过使用如下线性模型来基于相同块的重构亮度样本进行预测：
predC(i,j)＝a·recL(i,j)+b
其中predC(i,j)表示块中的色度样本的预测，且recL(i,j)表示相同块的经下取样重构亮度样本。参数a和b通过使相邻重构亮度与当前块周围的色度样本之间的回归误差最小化推导出。
在这个实例中，CCLM预测模式延伸到两个色度分量之间的预测，即从Cb分量预测Cr分量。代替使用重构样本信号，可在残差域中应用跨分量预测。这通过向初始Cr帧内预测添加加权的重构Cb残差以形成最终Cr预测来实施：
Figure GDA0003103193180000091
比例因子α如在CCLM模式中所推导出。唯一的差别可以是相对于误差函数中的默认α值的回归代价的添加，使得推导出的比例因子朝向默认值(-0.5)偏置。
OBMC是用于预测块的译码工具。在JEM中，OBMC应用于4×4子块。当将OBMC应用于当前子块时，除当前块自身的运动信息以外，如果四个连接的相邻子块的运动信息(预测方向、参考帧索引和运动向量)可用且与当前运动信息不相同，那么所述四个连接的相邻子块的运动信息也用于推导当前子块的预测块。使这些多个预测块组合以生成具有加权因子的当前子块的最终预测信号。
现将描述OBCM的一个实例实施方案。已对较早代的视频标准提出OBMC。在这个实例中，针对除了CU的右下方边界之外的全部运动补偿(MC)块边界执行OBMC。此外，OBMC可应用于亮度和色度分量两者。在HEVC中，MC块对应于PU。当PU通过ATMVP模式进行译码时，所述PU的每一子块是MC块。为了以统一方式处理CU/PU边界，针对全部MC块边界在子块级下执行OBMC，其中子块大小设置成等于4×4，如图3中所说明。
当OBMC应用于当前子块时，除了当前运动向量以外，如果四个连接的相邻子块的运动向量可用且与当前运动向量不相同，那么所述四个连接的相邻子块的运动向量也用于推导当前子块的预测块。对基于多个运动向量的这些多个预测块进行加权以生成当前子块的最终预测信号。
出于实例的目的，基于相邻子块的运动向量的预测块表示为PN，其中N指示用于相邻上方、下方、左和右的子块的索引，且基于当前子块的运动向量的预测块表示为PC。当PN属于与PC相同的PU(因此含有相同运动信息)时，并不从PN执行OBMC。否则，PN的每一像素添加到PC中的相同像素，即PN的四个行/列添加到PC。加权因子{1/4,1/8,1/16,1/32}用于PN，且加权因子{3/4,7/8,15/16,31/32}用于PC。小的MC块例外，(即当PU大小等于8×4、4×8或PU以ATMVP模式进行译码时)，其中PN的仅两个行/列添加到PC。在这种情况下，加权因子{1/4,1/8}用于PN，且加权因子{3/4,7/8}用于PC。对于基于竖直(水平)相邻子块的运动向量生成的PN，PN的相同行(列)中的像素添加到具有相同加权因子的PC。
加权预测是可由视频编码器20和视频解码器30利用的用于预测块的另一译码工具。在HEVC和JEM中，可在推导来自全部可用参考列表的预测块后应用加权预测。
如果weightedPredFlag是0，那么应用默认加权样本预测方法。举例来说，当参考列表均可用时，如下来计算最后预测信号
predFinal(i,j)＝(predBI(i,j,0)+predBI(i,j,1)+Off2)＞＞shift2 (4)
其中shift2＝max(3,1+precIF-BD)，precIF是内插滤波器的内部精度，BD是重构信号的位深度，且Off2＝1＜＜(shift2-1)，且predBI(i,j,k)可如下来计算
predBI(i,j,k)＝[predLIC(i,j,k)＜＜(precIF-BD)]-[1＜＜(precIF-1)] (5)
如果weightedPredFlag是1，那么应用显式加权样本预测方法。举例来说，如果仅一个参考列表可用，那么如下计算最后预测信号。
如果log2Wd≥1，
Figure GDA0003103193180000101
否则，
predFinal(i,j)＝predBI_WP(i,j,k)*wk+Offk (7)
举例来说，当参考列表均可用时，如下来计算最后预测信号
predFinal(i,j)＝(predBI_WP(i,j,0)*w0+predBI_WP(i,j,1)*w1+((Off0+Off1+1)＜＜log2Wd))＞＞(log2Wd+1) (8)
其中log2Wd基于一些用信号表示的参数来计算，wk和Offk基于对应参考列表中的参考索引而从一些查询表推导出，且predBI_WP(i,j,k)可如下来计算
predBI_WP(i,j,k)＝[pred(i,j,k)＜＜(precIF-BD)]-[1＜＜(precIF-1)] (9)
当应用显式加权样本预测方法时，停用LIC。
与以上介绍的各种译码工具相关的现有技术存在若干潜在问题。作为一个实例，LIC和CCLM两者使回归误差最小化以推导线性模型中的参数a和b。然而，目前，JEM、LIC和CCLM各自具有其自身的程序以确定参数。那些技术的两者之间存在一些差异，例如线性回归的整数版本的精确性。使用两个程序可在调整实施方案中引入复杂性，例如当内部位深度改变时。如果这两个部分均实施，那么其将增大编码器和解码器的大小。因此，期望统一这两个程序。
在JEM中，LIC的整数版本表示为：
predLIC(i,j,k)＝{[a·pred(i,j,k)]＞＞c}+b (10)
其中c表示用于a的分数部分的位数。当应用默认加权样本预测方法时，等式(5)变为
predBI(i,j,k)＝(({[a·pred(i,j,k)]＞＞c}+b)＜＜(precIF-BD))-[1＜＜(precIF-1)]
(11)
可看出，预测信号右移c，然后左移precIF-BD，所述左移将损失较低位的一些数据且导致较低预测效率。
在线性模型意义上，明确加权样本预测类似于LIC。等式(2)和(7)可用作实例。存在如上文所描述的相同问题。本发明引入用于统一加权样本预测和LIC的技术。
在JEM中，如果可用相邻块的运动信息的预测方向、参考帧索引或运动向量中的任一个或多于一个不同于当前块，那么OBMC应用于当前块。然而，不考虑LIC标志。当相邻和当前块的LIC标志不同时，即使两个块的以上描述的全部运动信息相同，在局部照明中仍可存在差异。因此，OBMC可有利于这种情况但不可用。
为了潜在地解决以上介绍的问题，提出以下技术。以下技术可单独地应用，或者可以组合形式应用。为了解决以上介绍的问题，本发明引入将回归参数推导的常用方法用于多个译码工具的技术。换句话说，根据所述技术，不同译码工具可使用相同回归参数推导方法。参数推导的方法可以是包含本发明中所描述的方法中的一种的已有方法，或可以是仍待研发的方法。总之，相同方法可用于多个译码工具。
可针对视频译码工具或应用特定视频译码工具的任何色彩分量执行本发明的方法统一技术。举例来说，可仅对用于选择工具的亮度色彩分量或仅对色度色彩分量或对这两者或以任何组合做出统一。作为一实例，统一参数推导方法可用于一个工具中的一个色彩分量和用于另一工具的另一色彩分量。
本发明中提供统一的一些实例，例如在若干工具当中用于参数推导的共用方法。应理解，然而，本文中所描述的统一的方法不仅限于所提供的实例，且可(例如)应用于其它色彩分量。
对于具有相同函数的程序，可能更佳的是统一此类程序，其可潜在地节省编码器和解码器两者的芯片面积或软件大小且还可使得调整实施方案更容易。举例来说，在LIC和CCLM两者中的推导a和b的线性回归部分，LIC和显式加权样本预测中的线性模型。将来，如果一些其它工具使用线性回归，那么可重新使用现有程序。另外，这种统一技术可延伸到其它情形，其中存在具有类似函数的程序。
本发明提出用于统一LIC和CCLM预测的参数推导程序的技术。代替在线性模型中将两个不同线性回归程序用于LIC和CCLM以推导参数a和b，统一程序可用于节省编码器和解码器两者的大小。举例来说，LIC可重新使用CCLM的线性回归的方法，CCLM可重新使用LIC的线性回归的方法，或可针对其两者实施新的统一方法。当使用统一程序时，编解码器的实施方案更容易在一些情况下(例如内部位深度改变)和在一些数据溢出问题中进行调整。
在线性回归中，参数a和b可以以下方式通过使相邻样本之间的回归误差最小化推导出：
Figure GDA0003103193180000111
Figure GDA0003103193180000112
其中N是样本的数目，C(n)是当前块的相邻重构样本(有或没有进行下取样或子取样)，且L(n)是参考块的相邻重构样本(有或没有进行下取样或子取样)，Offset1和Offset2是可用于使a偏置到一些默认值的两个偏移。如何选择(n)、C(n)、Offset1和Offset2取决于线性回归是否应用于LIC、CCLM中的亮度对色度或CCLM中的Cb对Cr。举例来说，在LIC和CCLM中，L(n)和C(n)如下表来进行选择：
Figure GDA0003103193180000113
可在以下方式中称为统一函数：
(a,b,c)＝linear_regression(N,∑(L(n)·C(n)),∑C(n),∑L(n),t,BD) (14)
其中t定义程序是否用于LIC、CCLM中的亮度对色度或CCLM中的Cb对Cr。输入是N,∑(L(n)·C(n)),∑C(n),∑L(n),t。输出是a、b和c。在统一版本中，c(表示用于a的分数部分的位数)可以是固定的。替代地，其对BD和a的量值为可调整的。
offset1和offset2的值，或用以推导offset1和offset2的值的方式取决于线性回归过程所使用的方法，例如等式(14)中的参数t。在一个实例中，针对线性回归过程所使用的每一工具来预定用以推导offset1和offset2的值的一个特定方式。在另一实例中，针对线性回归过程所使用的每一工具预定用以推导offset1和offset2的值的若干替代方式，且索引或标志在位流中用信号表示以指示分别针对每一工具应用哪一种方式。
本发明引入当应用LIC时用于调整双向预测的技术。为了解决以上描述的精度损耗问题，当双向预测和LIC两者应用于块时，在等式(11)中，通过应用于预测子的LIC(precIF-BD)右移可在通过LIC中的c位左移前应用。当进行这种时，等式(10)中应用的偏移将添加到b。另外，在(14)中的统一方法中，输入t可用于定义双向预测是否与LIC一起应用，参见作为一实例的下表：
t的值 描述
0 LIC而无双向预测
1 LIC以及双向预测
2 CCLM：亮度对色度
3 CCLM：Cb对Cr
本发明引入用于统一显式加权预测的技术。由于显式加权预测和LIC中的线性模型类似，因此那两种线性模型可统一，例如，LIC可重新使用显式加权预测的线性模型。然而，可存在一些调整。举例来说，在全部可用参考列表的预测后，显式加权预测使用参考索引以生成对应wk和Offk。然而，当应用于LIC时，a和b应用作额外输入或应在显式加权预测的开始处推导出。
本发明引入与OBMC调节相关的技术。代替仅检查相邻块与当前块之间的运动信息是否，也可检查其之间的LIC标志。
举例来说，如果LIC标志不同(其它运动信息相同)，那么可应用OBMC，如果不检查LIC标志，那么这种情况将不发生(应用OBMC)。
在一个特定实例中，可检查相邻和当前块的预测方向、参考帧索引、运动向量和LIC标志以推导关于OBMC用途的决策。举例来说，如果相邻块与当前块之间的预测方向、参考帧索引、运动向量和LIC标志中的任一者不同，那么OBMC可基于所述相邻块的预测方向、参考帧索引、运动向量和LIC标志而应用。
图4展示当前块和两个相邻块的实例。当OBMC依次基于上方子块PA和左边子块PL而应用于当前4×4子块PN时。以PA作为一实例，比较PN和PA的预测方向、参考帧索引、运动向量和LIC标志，如果任一个(例如LIC标志)不同，那么将PA的运动信息复制到PN，推导PN的另一预测子，将其添加到PN的先前预测子以得到PN的新预测子。在一起添加两个预测符后，恢复PN的运动信息。
图5是说明可实施本发明中描述的技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减小或去除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的相邻帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一种。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指代若干基于时间的压缩模式中的任一种。
在图5的实例中，视频编码器20包含视频数据存储器33、分割单元35、预测处理单元41、求和器50、变换处理单元52、量化单元54、熵编码单元56。预测处理单元41包含运动估计单元(MEU)42、运动补偿单元(MCU)44、帧内预测处理单元46和块内复制(IBC)单元48。尽管为易于解释，在图5中单独地展示，但应理解，MEU 42、MCU44、帧内预测处理单元46和IBC单元48实际上可以是高度集成的。对于视频块重构，视频编码器20还包含逆量化单元58、逆变换处理单元60、求和器62、滤波器单元64和经解码图片缓冲器(DPB)66。
如图5所示，视频编码器20接收视频数据，且将接收到的视频数据存储在视频数据存储器33中。视频数据存储器33可存储待由视频编码器20的组件进行编码的视频数据。存储在视频数据存储器33中的视频数据可(例如)从视频源18获得。DPB 66可以是存储参考视频数据以用于(例如)在帧内或帧间译码模式中通过视频编码器20对视频数据进行编码的参考图片存储器。视频数据存储器33和DPB 66可由多种存储器装置中的任一种形成，例如包含同步DRAM(SDRAM)的动态随机存取存储器(DRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器33和DPB 66可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器33可与视频编码器20的其它组件一起位于芯片上，或相对于那些组件位于芯片外。
分割单元35从视频数据存储器33检索视频数据，且与预测处理单元41结合来将视频数据分割成视频块。这种分割还可包含分割成切片、拼片或其它较大单元，以及例如根据LCU和CU的四叉树结构的视频块分割。尽管出于实例的目的单独地展示，但分割单元35和预测处理单元41可以是高度集成的，且分割单元35和预测处理单元41两者可执行确定如何分割视频图片的方法的各方面。视频编码器20一般说明对待编码视频切片内的视频块进行编码的组件。所述切片可划分为多个视频块(且有可能划分为被称作拼片的视频块的集合)。预测处理单元41可基于误差结果(例如，译码速率和失真水平)为当前视频块选择多个可能的译码模式中的一个，例如多个帧内译码模式中的一个或多个帧间译码模式中的一个。预测处理单元41可将所得经帧内译码块或经帧间译码块提供到求和器50以生成残差块数据，且提供到求和器62以重构经编码块以用作参考图片。
预测处理单元41内的帧内预测处理单元46可相对于与待译码的当前块在相同的帧或切片中的一或多个相邻块来执行当前视频块的帧内预测性译码以提供空间压缩。对于一些CU，帧内预测处理单元46可使用如上文所描述的CCLM来对块进行编码。预测处理单元41内的MEU 42和MCU 44相对于一或多个参考图片中的一或多个预测性块对当前视频块执行帧间预测性译码以提供时间压缩。由MEU 42执行的运动估计是生成运动向量的方法，其估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的位移。在一些实例中，IBC可以认为是帧间预测的特定情况，在此情况下，归因于IBC单元48的功能性可以认为是由MEU 42和/或MCU 44执行。对于一些块，MEU 42和/或MCU 44可如上文所描述来执行LIC。
预测性块是被发现在像素差方面与待译码视频块的PU密切匹配的块，所述像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量值来确定。在一些实例中，视频编码器20可计算存储于DPB 66中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，MEU 42可相对于全像素位置和分数像素位置执行运动搜索且按分数像素精度输出运动向量。
MEU 42通过比较PU的位置与参考图片的预测性块的位置来计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中的每一个识别存储于DPB 66中的一或多个参考图片。MEU 42将计算出的运动向量发送到熵编码单元56和MCU 44。
由MCU 44执行的运动补偿可涉及基于由运动估计确定的运动向量来提取或生成预测性块，从而有可能对子像素精度执行内插。在接收当前视频块的PU的运动向量后，MCU44可将预测性块定位到参考图片列表中的一个中的运动向量点。视频编码器20通过从正进行译码的当前视频块的像素值中减去预测性块的像素值来形成残差视频块，从而形成像素差值。像素差值形成用于所述块的残差数据，且可包含亮度和色度差分量两者。求和器50表示可执行这种减法运算的一或多个组件。MCU 44还可生成与视频块和视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
在一些实例中，IBC单元48可生成二维向量且以上文关于MEU 42和MCU 44所描述类似的方式提取预测性块，但其中预测性块在同一图片或帧中作为当前块。在其它实例中，IBC单元48可完全或部分地使用MEU 42和MCU 44以根据本文中所描述的技术执行用于IBC预测的此类功能。在任一情况下，对于IBC，预测性块可以是被发现在像素差方面与待译码块密切匹配的块，所述像素差可通过SAD、SSD或其它差度量值来确定，且块的识别可包含计算子整数像素位置的值。
在预测处理单元41经由帧内预测、帧间预测或IBC生成当前视频块的预测性块之后，视频编码器20通过从当前视频块减去所述预测性块来形成残差视频块。残差块中的残差视频数据可包含于一或多个TU中，且可应用于变换处理单元52。变换处理单元52使用变换(例如，离散余弦变换(DCT)或在概念上类似的变换)来将残差视频数据变换成残差变换系数。变换处理单元52可将残差视频数据从像素域转换到变换域，例如频域。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54可量化所述变换系数以进一步减小位率。量化过程可减小与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化的程度。在一些实例中，量化单元54可随后执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在由熵编码单元56进行熵编码之后，经编码位流可发射到视频解码器30，或存档以供稍后发射或由视频解码器30检索。熵编码单元56还可对正进行译码的当前视频切片的运动向量和其它语法元素进行熵编码。
逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换来重构像素域中的残差块，以供稍后用作参考图片的参考块。MCU 44可通过将残差块添加到参考图片列表中的一个内的参考图片中的一个的预测性块来计算参考块。MCU 44还可应用一或多个内插滤波器以重构残差块从而计算子整数像素值以用于运动估计。求和器62将经重构残差块添加到由MCU 44产生的运动补偿预测块以产生经重构块。
滤波器单元64对经重构块(例如，求和器62的输出)进行滤波，且将经滤波经重构块存储在DPB 66中以用作参考块。参考块可由MEU 42和MCU 44用作参考块以对后续视频帧或图片中的块进行帧间预测。滤波器单元64可应用解块滤波、样本自适应偏移(SAO)滤波、自适应环路滤波(ALF)或其它类型的环路滤波中的一或多种。滤波器单元64可对滤波器块边界应用解块滤波以从经重构视频去除成块效应假影，且可应用其它类型的滤波以改良整体译码质量。也可使用额外环路滤波器(在环路或后环路中)。
图6是说明可实施本发明中描述的技术的实例视频解码器30的框图。在图6的实例中，视频解码器30包含视频数据存储器78、熵解码单元80、预测处理单元81、逆量化单元86、逆变换处理单元88、求和器90、滤波器单元92和DPB 94。预测处理单元81包含MCU 82、帧内预测处理单元84和IBC单元85。在一些实例中，视频解码器30可执行大体与相对于来自图5的视频编码器20描述的编码遍次互逆的解码遍次。
在解码过程期间，视频解码器30从视频编码器20接收经编码视频位流，所述经编码视频位流表示具有经编码视频切片和相关联语法元素的视频块。视频解码器30将接收到的经编码视频位流存储在视频数据存储器78中。视频数据存储器78可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储在视频数据存储器78中的视频数据可(例如)经由链路16从存储装置26或从本地视频源(例如，相机)或通过对物理数据存储媒体进行存取来获得。视频数据存储器78可形成经译码图片缓冲器(CPB)，所述经译码图片缓冲器存储来自经编码视频位流的经编码视频数据。DPB 94可以是参考图片存储器，所述参考图片存储器存储(例如)在帧内或帧间译码模式中用于通过视频解码器30解码视频数据的参考视频数据。视频数据存储器78和DPB 94可由多种存储器装置中的任一种形成，例如DRAM、SDRAM、MRAM、RRAM或其它类型的存储器装置。视频数据存储器78和DPB 94可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器78可与视频解码器30的其它组件一起位于芯片上，或相对于那些组件位于芯片外。
视频解码器30的熵解码单元80对存储于视频数据存储器78中的视频数据进行熵解码以生成经量化系数、运动向量和其它语法元素。熵解码单元80将运动向量和其它语法元素转发到预测处理单元81。视频解码器30可在视频切片层级和/或视频块层级接收语法元素。
当将视频切片译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于用信号表示的帧内预测模式和来自当前帧或图片的先前经解码块的数据而生成用于当前视频切片的视频块的预测数据。对于一些CU，帧内预测处理单元84可使用如上文所描述的CCLM来对块进行解码。当将视频帧译码为经帧间译码时，预测处理单元81的MCU82基于运动向量和从熵解码单元80接收的其它语法元素而生成用于当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一个内的参考图片中的一个产生。视频解码器30可基于存储于DPB 94中的参考图片使用默认建构技术来建构参考帧列表、列表0和列表1。
MCU 82和/或IBC单元85通过剖析运动向量和其它语法元素来确定用于当前视频切片的视频块的预测信息，且使用所述预测信息以产生用于正进行解码的当前视频块的预测性块。举例来说，MCU 82使用所接收的语法元素中的一些来确定用于对视频切片的视频块进行译码的预测模式(例如帧内或帧间预测或IBC)、用于切片的参考图片列表中的一或多个的建构信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。在一些实例中，IBC可以认为是帧间预测的特定情况，在此情况下，归因于IBC单元85的功能性可以认为是由MCU 82执行。对于一些块，MCU 82可如上文所描述来执行LIC。
MCU 82和/或IBC单元85还可基于内插滤波器执行内插。MCU 82和/或IBC单元85可如视频编码器20在视频块的编码期间所使用来使用内插滤波器以计算参考块的子整数像素的内插值。在这种情况下，MCU 82和/或IBC单元85可从所接收的语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。对于一些块，MCU 82还可如上文所描述来执行LIC。
逆量化单元86使提供于位流中且由熵解码单元80解码的经量化变换系数逆量化(即，去量化)。逆量化过程可包含将视频编码器20所计算的量化参数用于视频切片中的每一视频块以确定应该应用的量化程度且同样确定逆量化程度。逆变换处理单元88将逆变换(例如逆DCT、逆整数变换或概念上类似的逆变换过程)应用于变换系数以便产生像素域中的残差块。
在预测处理单元使用(例如)帧内或帧间预测生成用于当前视频块的预测性块后，视频解码器30通过对来自逆变换处理单元88的残差块与由MCU 82生成的对应预测性块求和来形成经重构视频块。求和器90表示执行这种求和运算的一或多个组件。滤波器单元92使用(例如)解块滤波、SAO滤波、ALF滤波或其它类型的滤波中的一或多种对经重构视频块进行滤波。还可使用其它环路滤波器(在译码环路中或在译码环路之后)以使像素转变平滑或者以其它方式改良视频质量。接着将给定帧或图片中的经解码视频块存储于DPB 94中，所述DPB存储用于后续运动补偿的参考图片。DPB 94可以是存储经解码视频以供稍后呈现于例如图1的显示装置32的显示装置上的额外存储器的部分或与其分离。
图7是说明根据本发明的技术的视频译码器的实例操作的流程图。除非另外明确指定，否则图7的操作的动作可由视频编码器20或视频解码器30执行。在其它实例中，图7的动作可以不同次序或并行地执行。其它操作可包含更多、更少或不同的行动。
在图7的实例中，视频译码器执行参数推导操作以确定用于视频数据的第一块的一或多个第一参数(100)。视频译码器执行参数推导操作以确定用于视频数据的第二块的一或多个第二参数(102)。视频数据的第二块以与视频数据的第一块不同的译码模式进行译码。视频译码器基于一或多个第一参数对视频数据的第一块进行译码(104)且基于一或多个第二参数对视频数据的第二块进行译码(106)。
第一块可(例如)使用LIC模式进行译码，且第二块可使用CCLM模式进行译码。第一一或多个参数可包含如上文所描述的第一α和β参数，且第二一或多个参数可包含如上文所描述的第二α和β参数。参数推导操作可(例如)包含使相邻样本之间的回归误差最小化的线性回归操作。
在其它实例中，第一块可使用LIC模式进行译码，且第二块可使用加权样本预测进行译码。参数推导操作可包含线性模型。
当视频译码器是视频解码器时，图7的技术可进一步包含接收无线通信装置的接收器处的视频数据，将视频数据存储在无线通信装置的存储器中，和在无线通信装置的一或多个处理器上处理视频数据。无线通信装置可以(例如)是电话手持机，所述电话手持机(作为在无线通信装置的接收器处接收视频数据的部分)根据无线通信标准来对包含视频数据的信号进行解调。
当视频译码器是视频编码器时，图7的技术可进一步包含将视频数据存储在无线通信装置的存储器中，在无线通信装置的一或多个处理器上处理视频数据，和从无线通信装置的发射器发射视频数据。无线通信装置可(例如)包含电话手持机，且电话手持机可通过根据无线通信标准对包括视频数据的信号进行调制来在无线通信装置的发射器处发射视频数据
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或通过其发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体；或通信媒体，其包含有助于(例如)根据通信协议将计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。此外，适当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或无线技术(例如红外线、无线电和微波)从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如红外线、无线电和微波)包含在媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含于计算机可读媒体的范围内。
指令可由一或多个处理器执行，所述一或多个处理器包含固定功能和/或可编程处理电路，例如一或多个DSP、通用微处理器、ASIC、FPGA或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适用于实施本文中所描述的技术的任何其它结构中的任一个。另外，在一些方面中，本文中所描述的功能性可在配置成编码和解码的专用硬件和/或软件模块内提供，或并入在组合编解码器中。此外，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于多种装置或设备中，所述装置或设备包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元以强调配置成执行所公开的技术的装置的功能性方面，但未必需要由不同硬件单元实现。确切地，如上文所描述，各种单元可与合适的软件和/或固件结合来组合在编解码器硬件单元中或由互操作硬件单元的集合提供，所述互操作硬件单元包含如上文所描述的一或多个处理器。
已描述了各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (30)

1.一种对视频数据进行译码的方法，所述方法包括：
对于视频数据的第一块,执行回归参数推导操作以确定用于所述视频数据的第一块的一或多个第一参数；
对于视频数据的第二块，执行相同的所述回归参数推导操作以确定用于所述视频数据的第二块的一或多个第二参数；
针对局部照明补偿LIC模式，使用所述一或多个第一参数对所述视频数据的第一块进行译码；和
针对跨分量线性模式或加权样本预测中的一个，使用所述一或多个第二参数对所述视频数据的第二块进行译码。
2.根据权利要求1所述的方法，其中使用所述跨分量线性模式对所述第二块进行译码，且其中所述一或多个第一参数包括第一α参数和第一β参数且所述一或多个第二参数包括第二α参数和第二β参数。
3.根据权利要求2所述的方法，其中所述回归参数推导操作包括线性回归操作。
4.根据权利要求3所述的方法，其中所述线性回归操作包括将相邻样本之间的回归误差最小化。
5.根据权利要求1所述的方法，其中使用加权样本预测对所述第二块进行译码。
6.根据权利要求5所述的方法，其中所述回归参数推导操作包括线性模型。
7.根据权利要求1所述的方法，其进一步包括：
在无线通信装置的接收器处接收所述视频数据；
将所述视频数据存储在所述无线通信装置的存储器中；和
在所述无线通信装置的一或多个处理器上处理所述视频数据。
8.根据权利要求7所述的方法，其中所述无线通信装置包括电话手持机，且其中在所述无线通信装置的所述接收器处接收所述视频数据包括根据无线通信标准来解调包括所述视频数据的信号。
9.一种用于对视频数据进行译码的装置，所述装置包括：
存储器，其存储视频数据；和
视频译码器，其包括一或多个处理器，所述一或多个处理器配置成：
对于视频数据的第一块，执行回归参数推导操作以确定用于所述视频数据的第一块的一或多个第一参数；
对于视频数据的第二块，执行相同的所述回归参数推导操作以确定用于所述视频数据的第二块的一或多个第二参数；
针对局部照明补偿LIC模式，使用所述一或多个第一参数对所述视频数据的第一块进行译码；且
针对跨分量线性模式或加权样本预测中的一个，使用所述一或多个第二参数对所述视频数据的第二块进行译码。
10.根据权利要求9所述的装置，其中使用所述跨分量线性模式对所述第二块进行译码，且其中所述一或多个第一参数包括第一α参数和第一β参数且所述一或多个第二参数包括第二α参数和第二β参数。
11.根据权利要求10所述的装置，其中所述回归参数推导操作包括线性回归操作。
12.根据权利要求11所述的装置，其中所述线性回归操作包括将相邻样本之间的回归误差最小化。
13.根据权利要求9所述的装置，其中使用加权样本预测对所述第二块进行译码。
14.根据权利要求13所述的装置，其中所述回归参数推导操作包括线性模型。
15.根据权利要求9所述的装置，其中所述装置包括无线通信装置，其进一步包括配置成接收经编码视频数据的接收器。
16.根据权利要求15所述的装置，其中所述无线通信装置包括电话手持机，且其中所述接收器配置成根据无线通信标准来解调包括所述经编码视频数据的信号。
17.根据权利要求9所述的装置，其中所述装置包括无线通信装置，其进一步包括配置成发射经编码视频数据的发射器。
18.根据权利要求17所述的装置，其中所述无线通信装置包括电话手持机，且其中所述发射器配置成根据无线通信标准来调制包括所述经编码视频数据的信号。
19.根据权利要求9所述的装置，其中为了基于所述一或多个第一参数对所述视频数据的第一块进行译码，所述一或多个处理器配置成基于所述一或多个第一参数来解码所述视频数据的第一块，且其中为了基于所述一或多个第二参数对所述视频数据的第二块进行译码，所述一或多个处理器配置成基于所述一或多个第二参数来解码所述视频数据的第二块。
20.根据权利要求9所述的装置，其中为了基于所述一或多个第一参数对所述视频数据的第一块进行译码，所述一或多个处理器配置成基于所述一或多个第一参数来编码所述视频数据的第一块，且其中为了基于所述一或多个第二参数对所述视频数据的第二块进行译码，所述一或多个处理器配置成基于所述一或多个第二参数来编码所述视频数据的第二块。
21.一种用于对视频数据进行译码的设备，所述设备包括：
用于执行回归参数推导操作以确定用于视频数据的第一块的一或多个第一参数的装置；
用于执行相同的所述回归参数推导操作以确定用于视频数据的第二块的一或多个第二参数的装置；
用于针对局部照明补偿LIC模式使用所述一或多个第一参数对所述视频数据的第一块进行译码的装置；和
用于针对跨分量线性模式或加权样本预测中的一个使用所述一或多个第二参数对所述视频数据的第二块进行译码的装置。
22.根据权利要求21所述的设备，其中使用所述跨分量线性模式对所述第二块进行译码，且其中所述一或多个第一参数包括第一α参数和第一β参数且所述一或多个第二参数包括第二α参数和第二β参数。
23.根据权利要求22所述的设备，其中所述回归参数推导操作包括线性回归操作，所述线性回归操作包括将相邻样本之间的回归误差最小化。
24.根据权利要求21所述的设备，其中使用加权样本预测对所述第二块进行译码。
25.根据权利要求24所述的设备，其中所述回归参数推导操作包括线性模型。
26.一种存储指令的计算机可读存储媒体，所述指令在被执行时使得一或多个处理器进行以下操作：
对于视频数据的第一块，执行回归参数推导操作以确定用于所述视频数据的第一块的一或多个第一参数；
对于视频数据的第二块，执行相同的所述回归参数推导操作以确定用于所述视频数据的第二块的一或多个第二参数；
针对局部照明补偿LIC模式，使用所述一或多个第一参数对所述视频数据的第一块进行译码；且
针对跨分量线性模式或加权样本预测中的一个，使用所述一或多个第二参数对所述视频数据的第二块进行译码。
27.根据权利要求26所述的计算机可读存储媒体，其中使用所述跨分量线性模式对所述第二块进行译码，且其中所述一或多个第一参数包括第一α参数和第一β参数且所述一或多个第二参数包括第二α参数和第二β参数。
28.根据权利要求27所述的计算机可读存储媒体，其中所述回归参数推导操作包括线性回归操作，所述线性回归操作包括将相邻样本之间的回归误差最小化。
29.根据权利要求26所述的计算机可读存储媒体，其中使用加权样本预测对所述第二块进行译码。
30.根据权利要求29所述的计算机可读存储媒体，其中所述回归参数推导操作包括线性模型。
CN201780051408.3A 2016-08-26 2017-08-25 用于对视频数据进行译码的方法和装置 Active CN109792538B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662380223P 2016-08-26 2016-08-26
US62/380,223 2016-08-26
US15/685,738 2017-08-24
US15/685,738 US10390015B2 (en) 2016-08-26 2017-08-24 Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
PCT/US2017/048676 WO2018039596A1 (en) 2016-08-26 2017-08-25 Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction

Publications (2)

Publication Number Publication Date
CN109792538A CN109792538A (zh) 2019-05-21
CN109792538B true CN109792538B (zh) 2021-11-26

Family

ID=61240842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780051408.3A Active CN109792538B (zh) 2016-08-26 2017-08-25 用于对视频数据进行译码的方法和装置

Country Status (4)

Country Link
US (1) US10390015B2 (zh)
EP (1) EP3504877A1 (zh)
CN (1) CN109792538B (zh)
WO (1) WO2018039596A1 (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10873746B2 (en) * 2016-12-21 2020-12-22 Sharp Kabushiki Kaisha Intra prediction image generation device using cross-component liner model, image decoding apparatus, and image coding apparatus using same
CN117221524A (zh) * 2017-08-29 2023-12-12 株式会社Kt 视频解码方法、视频编码方法及装置
EP3468194A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Decoupled mode inference and prediction
US20190268611A1 (en) * 2018-02-26 2019-08-29 Mediatek Inc. Intelligent Mode Assignment In Video Coding
KR20230074302A (ko) 2018-02-28 2023-05-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 합성된 예측 및 제한된 병합
EP3777167A1 (en) 2018-03-30 2021-02-17 Vid Scale, Inc. Template-based inter prediction techniques based on encoding and decoding latency reduction
US10834409B2 (en) * 2018-04-06 2020-11-10 Arris Enterprises Llc System and method of implementing multiple prediction models for local illumination compensation
CN116456096A (zh) 2018-06-25 2023-07-18 Oppo广东移动通信有限公司 帧内预测方法和装置
CN115988204A (zh) * 2018-08-09 2023-04-18 Oppo广东移动通信有限公司 视频图像分量的预测方法和装置、及计算机存储介质
TWI814890B (zh) * 2018-08-17 2023-09-11 大陸商北京字節跳動網絡技術有限公司 簡化的跨分量預測
PL3834415T3 (pl) * 2018-09-07 2024-02-05 Huawei Technologies Co., Ltd. Sposób i urządzenie do filtrowania interpolacyjnego do intrapredykcji i interpredykcji w kodowaniu wideo
CN117478883A (zh) * 2018-09-12 2024-01-30 北京字节跳动网络技术有限公司 交叉分量线性模型中的尺寸相关的下采样
CN112771874A (zh) * 2018-09-19 2021-05-07 交互数字Vc控股公司 用于画面编码和解码的方法和设备
BR112021004858A2 (pt) * 2018-09-19 2021-06-01 Interdigital Vc Holdings, Inc. compensação de iluminação local para codificação e decodificação de vídeo usando parâmetros armazenados
GB2577338A (en) * 2018-09-24 2020-03-25 Sony Corp Data encoding and decoding
JP2022503990A (ja) 2018-10-12 2022-01-12 オッポ広東移動通信有限公司 ビデオ画像成分予測方法および装置、コンピュータ記憶媒体
CN116939198A (zh) 2018-10-23 2023-10-24 北京字节跳动网络技术有限公司 并置的局部照明补偿和修改的帧间预测编解码
WO2020084506A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonized local illumination compensation and intra block copy coding
WO2020089822A1 (en) * 2018-10-31 2020-05-07 Beijing Bytedance Network Technology Co., Ltd. Overlapped block motion compensation with derived motion information from neighbors
JP7231727B2 (ja) 2018-11-05 2023-03-01 北京字節跳動網絡技術有限公司 精緻化を伴うインター予測のための補間
US20220078405A1 (en) * 2018-11-05 2022-03-10 Interdigital Vc Holdings, Inc. Simplifications of coding modes based on neighboring samples dependent parametric models
KR20210087928A (ko) * 2018-11-06 2021-07-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 예측을 위한 파라미터 유도의 복잡성 감소
CN113039790B (zh) 2018-11-17 2023-04-14 北京字节跳动网络技术有限公司 视频处理的方法、装置和非暂时性计算机可读介质
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
CN111263147B (zh) * 2018-12-03 2023-02-14 华为技术有限公司 帧间预测方法和相关装置
KR20230170146A (ko) * 2018-12-07 2023-12-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 컨텍스트 기반 인트라 예측
WO2020130887A1 (en) * 2018-12-21 2020-06-25 Huawei Technologies Co., Ltd. Method and apparatus of interpolation filtering for predictive coding
CN113196773B (zh) 2018-12-21 2024-03-08 北京字节跳动网络技术有限公司 具有运动矢量差的Merge模式中的运动矢量精度
CN116614633A (zh) 2019-01-02 2023-08-18 Oppo广东移动通信有限公司 解码预测方法、装置及计算机存储介质
CN113366836A (zh) * 2019-01-11 2021-09-07 北京字节跳动网络技术有限公司 尺寸相关的跨分量线性模型
CN113302918A (zh) 2019-01-15 2021-08-24 北京字节跳动网络技术有限公司 视频编解码中的加权预测
CN113316935A (zh) * 2019-01-15 2021-08-27 北京字节跳动网络技术有限公司 使用局部照明补偿的运动候选列表
CN113491130B (zh) * 2019-01-17 2024-02-27 北京达佳互联信息技术有限公司 用于视频编解码的线性模型推导的方法和装置
CN113302919A (zh) 2019-01-17 2021-08-24 北京字节跳动网络技术有限公司 在视频处理中使用虚拟候选预测和加权预测
WO2020149770A1 (en) * 2019-01-18 2020-07-23 Huawei Technologies Co., Ltd. Method and apparatus of local illumination compensation for predictive coding
CN113302916B (zh) * 2019-01-27 2024-04-12 北京字节跳动网络技术有限公司 具有cu级别权重的双向预测的插值
EP3903482A4 (en) 2019-02-22 2022-06-01 Beijing Bytedance Network Technology Co., Ltd. SELECTING ADJACENT SAMPLES FOR INTRA PREDICTION
CA3128769C (en) 2019-02-24 2023-01-24 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
US11997308B2 (en) * 2019-03-08 2024-05-28 Interdigital Madison Patent Holdings, Sas Local illumination compensation for video encoding or decoding
KR20210135502A (ko) 2019-03-08 2021-11-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 처리에서 변형 정보의 시그널링
WO2020192642A1 (en) 2019-03-24 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Conditions in parameter derivation for intra prediction
CN113647102A (zh) * 2019-04-09 2021-11-12 北京达佳互联信息技术有限公司 用于在视频编解码中用信号发送合并模式的方法和装置
CN113692741B (zh) 2019-04-18 2022-12-13 北京字节跳动网络技术有限公司 跨分量模式中的参数推导
BR112021019675A2 (pt) 2019-04-23 2021-12-07 Beijing Bytedance Network Tech Co Ltd Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador
JP7414843B2 (ja) 2019-04-24 2024-01-16 バイトダンス インコーポレイテッド 符号化映像の量子化残差差分パルス符号変調表現
CN117857783A (zh) 2019-05-01 2024-04-09 字节跳动有限公司 使用量化残差差分脉冲码调制编解码的帧内编解码视频
CN117615130A (zh) 2019-05-02 2024-02-27 字节跳动有限公司 基于编解码树结构类型的编解码模式
KR102641796B1 (ko) * 2019-05-08 2024-03-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 교차-성분 코딩의 적용가능성에 대한 조건들
WO2020233600A1 (en) * 2019-05-20 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Simplified local illumination compensation
WO2020236039A1 (en) * 2019-05-21 2020-11-26 Huawei Technologies Co., Ltd. Method and apparatus of local illumination compensation for inter prediction
JP7332721B2 (ja) 2019-05-25 2023-08-23 北京字節跳動網絡技術有限公司 イントラブロックコピー符号化ブロックにおけるブロックベクトルの符号化
CN113892267A (zh) * 2019-05-30 2022-01-04 字节跳动有限公司 使用编解码树结构类型控制编解码模式
CN113994697A (zh) 2019-06-22 2022-01-28 北京字节跳动网络技术有限公司 色度残差缩放的语法元素
US11272200B2 (en) * 2019-06-24 2022-03-08 Tencent America LLC Method and apparatus for video coding
US11330298B2 (en) * 2019-06-25 2022-05-10 Qualcomm Incorporated Simplified intra chroma mode coding in video coding
CN114827612B (zh) * 2019-06-25 2023-04-11 北京大学 视频图像编码和解码方法、设备及介质
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
JP2022544764A (ja) 2019-08-14 2022-10-21 北京字節跳動網絡技術有限公司 イントラモードにおける予測サンプルフィルタリングのための重み付け係数
WO2021027925A1 (en) * 2019-08-14 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Position-dependent intra prediction sample filtering
CN112911301B (zh) * 2019-12-03 2023-04-28 咪咕文化科技有限公司 一种局部亮度补偿方法、装置及计算机可读存储介质
US11595689B2 (en) * 2020-03-20 2023-02-28 Tencent America LLC Local weighted prediction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101263717A (zh) * 2005-09-14 2008-09-10 微软公司 任意分辨率改变尺寸缩小解码器
CN104170381A (zh) * 2012-03-16 2014-11-26 高通股份有限公司 在高效率视频译码及其扩展中的运动矢量译码及双向预测
CN104769948A (zh) * 2012-09-30 2015-07-08 高通股份有限公司 在视频译码中执行残差预测
CN104838657A (zh) * 2012-12-07 2015-08-12 高通股份有限公司 可缩放及多视角视频译码中的高级残差预测
CN105634787A (zh) * 2014-11-26 2016-06-01 华为技术有限公司 网络关键指标的评估方法、预测方法及装置和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009045683A1 (en) * 2007-09-28 2009-04-09 Athanasios Leontaris Video compression and tranmission techniques
WO2010017166A2 (en) * 2008-08-04 2010-02-11 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
JP5509390B2 (ja) * 2010-09-03 2014-06-04 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ符号化および処理のための照明補償および遷移のための方法およびシステム
EP2636218B1 (en) * 2010-11-04 2021-06-30 GE Video Compression, LLC Picture coding supporting block merging and skip mode
US9693070B2 (en) 2011-06-24 2017-06-27 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US10200700B2 (en) * 2014-06-20 2019-02-05 Qualcomm Incorporated Cross-component prediction in video coding
KR102631484B1 (ko) * 2015-01-27 2024-01-30 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 이미지들 및 비디오의 전기-광학 및 광-전기 변환을 위한 방법들, 시스템들 및 장치
CN105702231B (zh) * 2016-04-20 2018-06-26 西安交通大学 一种获取像素亮度补偿目标的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101263717A (zh) * 2005-09-14 2008-09-10 微软公司 任意分辨率改变尺寸缩小解码器
CN104170381A (zh) * 2012-03-16 2014-11-26 高通股份有限公司 在高效率视频译码及其扩展中的运动矢量译码及双向预测
CN104769948A (zh) * 2012-09-30 2015-07-08 高通股份有限公司 在视频译码中执行残差预测
CN104838657A (zh) * 2012-12-07 2015-08-12 高通股份有限公司 可缩放及多视角视频译码中的高级残差预测
CN105634787A (zh) * 2014-11-26 2016-06-01 华为技术有限公司 网络关键指标的评估方法、预测方法及装置和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Coding efficiency improvements beyond HEVC with known tools;Alexander Alshin;《SPIE》;20150922;全文 *
International Organisation for standardization organization international de normalization ISO/IEC JTC1/SC29/WG11 coding of moving pictures and audio;Qualcomm Incorporated;《ISO/IEC JTC1/SC29/WG11 MPEG2015/M37102》;20151031;正文第2.2.4、2.3.4节 *

Also Published As

Publication number Publication date
CN109792538A (zh) 2019-05-21
EP3504877A1 (en) 2019-07-03
US20180063531A1 (en) 2018-03-01
US10390015B2 (en) 2019-08-20
WO2018039596A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
CN109792538B (zh) 用于对视频数据进行译码的方法和装置
US11431968B2 (en) Variable number of intra modes for video coding
CN111567043B (zh) 对视频数据进行译码的方法、装置和计算机可读存储介质
CN109691102B (zh) 跨分量滤波器
CN109076235B (zh) 用于在视频译码中的并置参考索引的一致性约束
CN112243587B (zh) 基于块的自适应环路滤波器(alf)设计和信令通知
CN108141605B (zh) 帧内块复制合并模式及不可用帧内块复制参考区域的填充
CN107211154B (zh) 用于译码视频数据的方法和装置以及计算机可读存储介质
CN110393009B (zh) 帧内预测模式传播
CA2839249C (en) Unified merge mode and adaptive motion vector prediction mode candidates selection
CN110089116B (zh) 通过光照补偿和整数运动向量限制进行编码优化
US20160353117A1 (en) Slice level intra block copy and other video coding improvements
CN113615189A (zh) 在视频译码中具有自适应参数集（aps）的基于块的自适应环路滤波器（alf）
KR20130126688A (ko) 모션 벡터 예측
EP3058746B1 (en) Systems and methods for inter-layer rps derivation based on sub-layer reference prediction dependency
CN109792525B (zh) 峰值样本自适应偏移
CN107258081B (zh) 对使用非正方形分割编码视频数据的优化
CN110800295A (zh) 无除法双边滤波器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant