CN110089116A - 通过光照补偿和整数运动向量限制进行编码优化 - Google Patents

通过光照补偿和整数运动向量限制进行编码优化 Download PDF

Info

Publication number
CN110089116A
CN110089116A CN201880005021.9A CN201880005021A CN110089116A CN 110089116 A CN110089116 A CN 110089116A CN 201880005021 A CN201880005021 A CN 201880005021A CN 110089116 A CN110089116 A CN 110089116A
Authority
CN
China
Prior art keywords
estimation
motion vectors
tool
search range
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880005021.9A
Other languages
English (en)
Other versions
CN110089116B (zh
Inventor
孙宇辰
钱威俊
张莉
陈义文
胡楠
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110089116A publication Critical patent/CN110089116A/zh
Application granted granted Critical
Publication of CN110089116B publication Critical patent/CN110089116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种视频编码器，其被配置成通过以下操作来确定是启用还是停用整数运动向量精度限制以及是启用还是停用光照补偿IC工具：对于参考图片中的大搜索范围，执行第一运动估计测试，其中执行所述第一运动估计测试包括仅在停用所述IC工具且停用所述整数运动向量精度限制以及在启用所述IC工具且停用所述整数运动向量精度限制的情况下执行运动估计测试；基于所述第一运动估计测试，确定小搜索范围，其中所述小搜索范围小于所述大搜索范围；对于所述小搜索范围，执行第二运动估计测试；和基于所述第二运动估计测试，确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具。

Description

通过光照补偿和整数运动向量限制进行编码优化
本申请案主张2017年1月9日申请的美国临时申请案第62/444,321号的权益，所述申请案的整个内容以引用的方式并入本文中。
技术领域
本发明涉及视频编码和视频解码。
背景技术
数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、手提式或台式计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置等等。数字视频装置实施视频压缩技术，例如描述于以下各项中的那些技术：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、ITU-T H.265定义的标准、高效视频译码(HEVC)以及此些标准的扩展。视频装置通过实施此类视频压缩技术可以更有效地传输、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的部分)分割成视频块(其也可被称作树块)、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测，或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测生成用于待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量和指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式和残余数据来编码的。为了进一步压缩，可将残余数据从像素域变换到变换域，从而生成残余变换系数，可接着量化所述残余变换系数。可扫描一开始按二维阵列布置的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以达成更多压缩。
发明内容
一般来说，本发明描述与用于使用光照补偿(IC)工具和整数运动向量精度限制编码视频数据的技术有关的技术。具体地，本发明描述用于确定是启用还是停用IC工具以及是启用还是停用整数运动向量精度限制的技术。本发明的技术可减小由视频编码器执行的运动估计测试的量且无压缩质量的任何显著减小，因此使得视频解码器能够更快速地编码视频数据。
根据一个实例，一种编码视频数据的方法包含将所述视频数据分割成多个块；对于所述多个块中的一块，确定是启用还是停用整数运动向量精度限制以及是启用还是停用光照补偿(IC)工具，其中确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具包括：在参考图片中以大搜索范围，执行第一运动估计测试，其中执行所述第一运动估计测试包括仅在停用所述IC工具且停用所述整数运动向量精度限制以及在启用所述IC工具且停用所述整数运动向量精度限制的情况下执行运动估计测试；基于所述第一运动估计测试，确定小搜索范围，其中所述小搜索范围小于所述大搜索范围；以所述小搜索范围，执行第二运动估计测试；和基于所述第二运动估计测试，确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具；和输出经编码视频数据的位流，所述位流包括是启用还是停用所述IC工具的指示以及是启用还是停用所述整数运动向量精度限制的指示。
根据另一实例，一种用于编码视频数据的装置包含存储器，其被配置成存储视频数据；和一或多个处理器，其被配置成：将所述视频数据分割成多个块；对于所述多个块中的一块，确定是启用还是停用整数运动向量精度限制以及是启用还是停用光照补偿(IC)工具，其中为确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具，所述一或多个处理器被配置成：在参考图片中以大搜索范围，执行第一运动估计测试，其中为执行所述第一运动估计测试，所述一或多个处理器被配置成仅在停用所述IC工具且停用所述整数运动向量精度限制以及在启用所述IC工具且停用所述整数运动向量精度限制的情况下执行运动估计测试；基于所述第一运动估计测试，确定小搜索范围，其中所述小搜索范围小于所述大搜索范围；以所述小搜索范围，执行第二运动估计测试；和基于所述第二运动估计测试，确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具；和输出经编码视频数据的位流，所述位流包括是启用还是停用所述IC工具的指示以及是启用还是停用所述整数运动向量精度限制的指示。
根据另一实例，一种存储指令的计算机可读媒体，所述指令在由一或多个处理器执行时致使所述一或多个处理器：将所述视频数据分割成多个块；对于所述多个块中的一块，确定是启用还是停用整数运动向量精度限制以及是启用还是停用光照补偿(IC)工具，其中为确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具，所述指令致使所述一或多个处理器：在参考图片中以大搜索范围，执行第一运动估计测试，其中为执行所述第一运动估计测试，所述一或多个处理器被配置成仅在停用所述IC工具且停用所述整数运动向量精度限制以及在启用所述IC工具且停用所述整数运动向量精度限制的情况下执行运动估计测试；基于所述第一运动估计测试，确定小搜索范围，其中所述小搜索范围小于所述大搜索范围；以所述小搜索范围，执行第二运动估计测试；和基于所述第二运动估计测试，确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具；和输出经编码视频数据的位流，所述位流包括是启用还是停用所述IC工具的指示以及是启用还是停用所述整数运动向量精度限制的指示。
根据另一实例，一种用于编码视频数据的设备包含：用于将所述视频数据分割成多个块的装置；用于对于所述多个块中的一块，确定是启用还是停用整数运动向量精度限制以及是启用还是停用光照补偿(IC)工具的装置，其中所述用于确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具的装置包括：用于在参考图片中以大搜索范围执行第一运动估计测试的装置，其中所述用于执行所述第一运动估计测试的装置包括用于仅在停用所述IC工具且停用所述整数运动向量精度限制以及在启用所述IC工具且停用所述整数运动向量精度限制的情况下执行运动估计测试的装置；用于基于所述第一运动估计测试确定小搜索范围的装置，其中所述小搜索范围小于所述大搜索范围；用于以所述小搜索范围执行第二运动估计测试的装置；和用于基于所述第二运动估计测试确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具的装置；和用于输出经编码视频数据的位流的装置，所述位流包括是启用还是停用所述IC工具的指示以及是启用还是停用所述整数运动向量精度限制的指示。
在附图和以下描述中阐述本发明的一或多个方面的细节。本发明中所描述的技术的其它特征、目标和优点将从描述、图式和权利要求书中显而易见。
附图说明
图1是说明可使用本发明中描述的技术的实例视频编码和解码系统的框图。
图2示出在HEVC中的译码树单元(CTU)到CU分割和对应的四叉树表示的实例。
图3示出用于帧间预测模式的分割模式的实例。
图4A和4B示出四叉树-二叉树(QTBT)结构的说明的实例。
图5示出多类型树结构的说明的实例。
图6A示出用于合并模式的空间相邻运动向量(MV)候选项的实例。
图6B示出用于高级运动向量预测(AMVP)模式的空间相邻MV候选项的实例。
图7A示出时间运动向量预测符(TMVP)候选项的实例。
图7B示出MV按比例缩放的实例。
图8示出双边匹配的实例。
图9示出模板匹配的实例。
图10示出父级运动的实例。
图11是说明可实施本发明中描述的技术的实例视频编码器的框图。
图12是说明可实施本发明中所描述的技术的实例视频解码器的框图。
图13是说明根据本发明的技术编码视频数据的装置的实例操作的流程图。
具体实施方式
本发明描述与通过父级运动进行运动向量预测和译码有关的技术。本发明的技术可以与任何现有视频编解码器结合使用，例如高效视频译码(HEVC)，或可以是用于在未来视频译码标准中使用的高效译码工具，例如H.266标准和其扩展。
本发明还描述用于使用光照补偿(IC)工具和整数运动向量精度限制编码视频数据的技术。具体地，本发明描述用于确定是启用还是停用IC工具以及是启用还是停用整数运动向量精度限制的技术。本发明的技术可减小由视频编码器执行的运动估计测试的量且无压缩质量的任何显著减小，因此使得视频解码器能够更快速地编码视频数据。
图1是说明可使用本发明中描述的技术的实例视频编码和解码系统10的框图。如图1中所示出，系统10包含生成稍后将由目的地装置14解码的经编码视频数据的源装置12。源装置12和目的地装置14可包括广泛范围的装置中的任一个，包含台式计算机、笔记型(即，手提式)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、所谓的“智能”平板计算机、电视、摄像机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置等。在一些情况下，可装备源装置12和目的地装置14以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括通信媒体，其用于使得源装置12能够直接将经编码视频数据实时地传输到目的地装置14。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含路由器、交换机、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。
在另一实例中，经编码数据可从输出接口22输出到存储装置26。类似地，经编码数据可通过输入接口从存储装置26存取。存储装置26可包含多种分布式或本地存取的数据存储媒体中的任一个，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置26可对应于文件服务器或可保持由源装置12生成的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置26存取所存储视频数据。文件服务器可为能够存储经编码视频数据并将经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由包含因特网连接的任何标准数据连接来存取经编码的视频数据。这可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置26的传输可以是流式传输、下载传输或两者的组合。
本发明的技术不必限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用，例如空中电视广播、有线电视传输、卫星电视传输、流式视频传输(例如，经由因特网)、编码数字视频以存储于数据存储媒体上、解码存储于数据存储媒体上的数字视频，或其它应用。在一些实例中，系统10可被配置成支持单向或双向视频传输，以支持例如视频流式传输、视频重放、视频广播和/或视频电话的应用。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含来源例如视频捕获装置，例如摄像机、含有先前所捕获视频的视频档案、从视频内容提供者接收视频的视频馈入接口和/或用于生成计算机图形数据作为源视频的计算机图形系统，或此类来源的组合。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可形成所谓的智能电话、摄像机电话或视频电话。然而，本公开中所描述的技术一般来说可适用于视频译码，且可应用于无线和/或有线应用。
视频编码器20可对所捕获、预捕获或计算机生成的视频进行编码。可经由源装置12的输出接口22将经编码视频数据直接传输到目的地装置14。经编码视频数据还可(或替代地)存储在存储装置26上以供稍后由目的地装置14或其它装置存取，以用于解码和/或重放。
目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些情况下，输入接口28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或提供于存储装置26上的经编码视频数据可包含由视频编码器20生成以供视频解码器(例如视频解码器30)用于解码视频数据的多种语法元素。此类语法元素可与在通信媒体上传输、存储于存储媒体上或存储文件服务器的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成在一起，或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还被配置成与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一个，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可根据例如最近完成的高效视频译码(HEVC)标准等视频压缩标准操作，且可符合HEVC测试模型(HM)。视频编码器20和视频解码器30可另外根据HEVC扩展例如范围扩展、多视图扩展(MV-HEVC)或已由关于视频译码的联合合作小组(JCT-VC)以及关于3D视频译码扩展开发(JCT-3V)的ITU-T视频译码专家组(VCEG)和ISO/IEC动画专家组(MPEG)的联合合作小组开发的可缩放扩展(SHVC)操作。HEVC标准公开如下：ITU-T H.265，H系列：视听和多媒体系统，视听服务基础设施-移动视频译码，高效视频译码，国际电信联盟(ITU)电信标准化部门，2015年4月。
视频编码器20和视频解码器30也可以根据其它专有或行业标准操作，例如ITU-TH.264标准，替代地被称为ISO/IEC MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展，例如可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。然而，本发明的技术不限于任何特定译码标准，并且可适用于未来标准。视频压缩标准的其它实例包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263和ISO/IECMPEG-4Visual。
ITU-T VCEG(Q6/16)和ISO/IEC MPEG(JTC 1/SC 29/WG 11)现在正在研究对具有显著超出当前HEVC标准(包含其用于屏幕内容译码和高动态范围译码的当前扩展和近期扩展)的压缩能力的压缩能力的未来视频译码技术的标准化的潜在需要。团体在已知为联合视频探索小组(JVET)的联合协作努力中一起从事此探索活动以评估由在此领域的相关专家提出的压缩技术设计。JVET在2015年10月19日到21日期间首次会面。参考软件的一个版本(即，联合探索模型2(JEM2))可从以下下载：https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-2.0/。在J.Chen、E.Alshina、G.J.Sullivan、J.-R.Ohm、J.Boyce的“联合探索测试模型2的算法描述(Algorithm description of JointExploration Test Model 2)”(JVET-B1001，圣地亚哥，2016年3月)中描述用于JEM2的算法，所述描述内容以引用的方式并入本文中。参考软件的另一版本(即，联合探索模型3(JEM3))可从以下下载：https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-3.0/。用于JEM3的算法描述也可被称作JVET-C1001并且以引用的方式并入本文中。
为了易于解释，本发明的技术可利用HEVC术语。然而，不应假设本发明的技术受限于HEVC，且实际上，明确预期本发明的技术可以HEVC后续标准和其扩展实施。
尽管图1中未示出，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件和软件以处置共同数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，多路复用器-多路分用器单元可遵循ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20和视频解码器30各自可实施为多种合适的编码器电路或解码器电路中的任一个，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且在硬件中使用一或多个处理器执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一个可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一个可以集成为相应装置中的组合编码器/解码器(编解码器)的一部分。
在HEVC和其它视频译码规范中，视频序列通常包含一系列图片。图片也可被称为“帧”。在一个实例方法中，图片可包含三个样本阵列，标示为SL、SCb和SCr。在此类实例方法中，SL是明度样本的二维阵列(即，块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。色度样本在本文中还可称为“彩度(chroma)”样本。在其它情况下，图片可为单色的且可仅包含亮度样本阵列。
为了生成图片的经编码的表示，视频编码器20可以生成一组译码树单元(CTU)。CTU中的每一个可包括明度样本的译码树块、色度样本的两个对应的译码树块，以及用于对译码树块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单个译码树块和用于对所述译码树块的样本进行译码的语法结构。译码树块可为样本的N×N块。CTU也可以被称为“树块”或“最大译码单元(LCU)”。HEVC的CTU可以广泛地类似于例如H.264/AVC等其它标准的宏块。然而，CTU未必限于特定大小，并且可以包含一或多个译码单元(CU)。切片可包含按光栅扫描次序连续排序的整数数目的CTU。
为了生成经译码CTU，视频编码器20可在CTU的译码树块上以递归方式执行四叉树分割，以将译码树块划分为译码块，因此命名为“译码树单元”。译码块可为样本的N×N块。CU可包括明度样本的译码块和具有明度样本阵列、Cb样本阵列和Cr样本阵列的图片的色度样本的两个对应译码块，以及用以对译码块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单个译码块和用以对译码块的样本进行译码的语法结构。
视频编码器20可将CU的译码块分割为一或多个预测块。预测块是被应用相同预测的矩形(即，正方形或非正方形)样本块。CU的预测单元(PU)可包括亮度样本的预测块、色度样本的两个对应预测块和用以对预测块进行预测的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单个预测块和用于对预测块进行预测的语法结构。视频编码器20可生成用于CU的每一PU的明度预测块、Cb预测块和Cr预测块的预测性明度块、Cb块和Cr块。
视频编码器20可使用帧内预测或帧间预测以生成PU的预测性块。如果视频编码器20使用帧内预测以生成PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本生成PU的预测性块。如果视频编码器20使用帧间预测生成PU的预测性块，那么视频编码器20可基于除与PU相关的图片以外的一或多个图片的经解码样本生成PU的预测性块。
在视频编码器20生成CU的一或多个PU的预测性亮度、Cb和Cr块之后，视频编码器20可生成CU的亮度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一个中的明度样本与CU的原始明度译码块中对应的样本之间的差异。另外，视频编码器20可以生成CU的Cb残余块。CU的Cb残余块中的每一样本可以指示CU的预测性Cb块中的一个中的Cb样本与CU的原始Cb译码块中对应的样本之间的差异。视频编码器20还可生成CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一个中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四叉树分割将CU的明度、Cb和Cr残余块分解成一或多个明度、Cb和Cr变换块。变换块是被应用相同变换的矩形(例如，正方形或非正方形)样本块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块和用以对变换块样本进行变换的语法结构。因此，CU的每一TU可与明度变换块、Cb变换块和Cr变换块相关。与TU相关联的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个单独色彩平面的图片中，TU可包括单个变换块和用于对变换块的样本进行变换的语法结构。
视频编码器20可以将一或多个变换应用于TU的亮度变换块以生成TU的亮度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用于TU的Cb变换块以生成TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以生成TU的Cr系数块。
在生成系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可以量化系数块。量化总体上是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。
视频编码器20可输出包含形成经译码图片和相关联数据的表示的位序列的位流。所述位流可包括网络抽象层(NAL)单元序列。NAL单元是含有NAL单元中的数据类型的指示并含有所述数据的呈按需要穿插有模拟阻止位的原始字节序列有效负载(RBSP)的形式的字节的语法结构。NAL单元中的每一个包含NAL单元标头，且包封RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有包封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。
不同类型的NAL单元可封装不同类型的RBSP。举例来说，第一类型的NAL单元可包封PPS的RBSP，第二类型的NAL单元可包封经译码切片的RBSP，第三类型的NAL单元可包封SEI消息的RBSP等等。包封视频译码数据的RBSP(与参数集和SEI消息的RBSP相反)的NAL单元可被称作VCL NAL单元。
视频解码器30可接收由视频编码器20生成的位流。另外，视频解码器30可解析位流以从位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素重构视频数据的图片。用以重构视频数据的过程可与由视频编码器20执行的过程大体互逆。另外，视频解码器30可逆量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行逆变换以重构与当前CU的TU相关联的变换块。通过将用于当前CU的PU的预测性块的样本增加到当前CU的TU的变换块的对应的样本上，视频解码器30可以重构当前CU的译码块。通过重构用于图片的每一CU的译码块，视频解码器30可重构所述图片。
现将描述HEVC中的CU结构和运动向量预测的方面。在HEVC中，切片中的最大译码单元被称为译码树块(CTB)或CTU。CTB含有其节点为译码单元的四叉树。
图2示出HEVC中的CTU到CU分割和对应的四叉树表示的实例。应注意，当叶节点对应于8×8CU时，不需要用信号发送。在以下中公开额外细节：G.J.Sullivan；J.-R.Ohm；W.-J.Han；T.Wiegand(2012年12月)“高效视频译码(HEVC)标准概述(Overview of the HighEfficiency Video Coding(HEVC)Standard)”(PDF).IEEE Transactions on Circuitsand Systems for Video Technology(IEEE)22(12)，其全部内容以引用的方式并入本文中。
CTB的大小在HEVC主规范中可在16×16到64×64的范围内(尽管技术上可支持8×8CTB大小)。尽管译码单元(CU)可以与CTB相同大小，但其可以小到8×8。每一译码单元以一种模式译码。当CU经帧间译码时，CU可进一步分割成2个或4个预测单元(PU)，或当进一步分割不适用时变为一个PU。当在一个CU中存在两个PU时，所述PU可为为二分之一大小的矩形或具有CU的1/4或3/4大小的大小的两个矩形。CU可以与CTB相同大小，不过其可以小到8×8。每一译码单元以可为帧内模式或帧间模式的一种模式译码。当CU经帧间译码(即，应用帧间模式)时，CU可进一步分割成2个或4个预测单元(PU)，或当进一步分割不适用时变为一个PU。当在一个CU中存在两个PU时，所述PU可为二分之一大小的矩形或具有CU的1/4或3/4大小的大小的两个矩形。
当CU经帧间译码时，针对每一PU存在一个运动信息集。另外，每一PU是以唯一帧间预测模式译码以导出所述运动信息集。当CU经帧间译码时，针对每一PU存在一个运动信息集。另外，每一PU是以唯一帧间预测模式译码以导出所述运动信息集。当CU是经帧内译码时，2N×2N和N×N是仅准许的PU形状，并且在每一PU内译码单个帧内预测模式(而在CU层级用信号发送色度预测模式)。在当前CU大小等于在序列参数集(SPS)中的定义最小CU大小时，仅允许N×N帧内PU形状。
图3示出用于帧间预测模式的分割模式的实例。存在用于经帧间预测模式译码的CU的八个分割模式，即图3中示出的PART_2N×2N、PART_2N×N、PART_N×2N、PART_N×N、PART_2N×nU、PART_2N×nD、PART_nL×2N和PART_nR×2N。
未来视频译码标准可使用不同于HEVC中当前使用的CU结构和运动向量预测技术的CU结构和运动向量预测技术。替代性CU结构和运动向量预测的一个此类实例与四叉树-二叉树结构有关。在VCEG提案COM16-C966(在JCTVC-L1003_v34，http://phenix.it-sudparis.eu/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip处可得并且以全文引用的方式并入本文中)，提出用于超过HEVC的未来视频译码标准的四叉树-二叉树(QTBT)。模拟已展示所提出的QTBT结构可比在HEVC中所用的四叉树结构更高效。
在提出的QTBT结构中，CTB首先由四叉树分割，其中一个节点的四叉树拆分可以重复直到所述节点达到最小允许四叉树叶节点大小(MinQTSize)。如果四叉树叶节点大小并不大于最大允许二叉树根节点大小(MaxBTSize)，那么其可以由二叉树进一步分割。一个节点的二叉树拆分可以重复直到所述节点达到最小允许二叉树叶节点大小(MinBTSize)或最大允许二叉树深度(MaxBTDepth)。二叉树叶节点即在无需任何进一步分割的情况下将用于预测(例如图片内或图片间预测)和变换的CU。在二叉树拆分中存在两种拆分类型：对称水平拆分和对称竖直拆分。
在QTBT分割结构的一个实例中，CTU大小被设置为128×128(例如，明度样本两个对应的64×64色度样本)，MinQTSize被设置为16×16，MaxBTSize被设置为64×64，MinBTSize(用于宽度和高度两者)被设置为4，并且MaxBTDepth被设置为4。四叉树分割首先应用于CTU以生成四叉树叶节点。四叉树叶节点可具有从16×16(即MinQTSize)到128×128(即，CTU大小)的大小。如果叶四叉树节点是128×128，由于此大小超过MaxBTSize(即，64×64)，因此可能不通过二叉树进一步拆分所述叶四叉树节点。否则，将通过二叉树进一步分割叶四叉树节点。因此，四叉树叶节点也是二叉树的根节点且具有二叉树深度0。当二叉树深度达到MaxBTDepth(即，4)时，这意味着不执行进一步拆分。当二叉树节点具有等于MinBTSize(即，4)的宽度时，这意味着没有进一步水平拆分。类似地，当二叉树节点具有等于MinBTSize的高度时，这意味着没有进一步竖直拆分。二叉树的叶节点即通过预测和变换进一步处理而没有任何进一分割的CU。
图4A和4B示出QTBT结构的实例说明。图4A说明通过使用QTBT进行块分割的实例，且图4B说明对应的树结构。实线指示四叉树拆分，且虚线指示二叉树拆分。在二叉树的每一拆分(即，非叶)节点中，用信号发送一个旗标以指示使用哪个拆分类型(即，水平或竖直)，其中0指示水平拆分且1指示竖直拆分。对于四叉树拆分，不需要指示拆分类型，这是因为其总是水平和竖直将块拆分成具有相等大小的4个子块。
现将描述多类型树结构的方面。图5示出多类型树结构的说明的实例。根据图5的技术，可用例如二叉树、对称中心-侧三叉树和四叉树的多个树类型进一步拆分树节点。在两级多类型树结构中，首先用CTU的四叉树分割构建区域树(RT)，随后是构建预测树(PT)，其中仅可扩展二叉树和对称中心-侧三叉树。图5说明多类型树块分割的一个实例。
与HEVC和QTBT结构中的CU结构相比，多树类型结构提供更好的译码效率，这是由于块分割更灵活。另外，中心-侧三叉树的引入提供视频信号的更灵活定址。在多树类型结构中，要求三个二进制数确定每一PT节点处的块分割(除了其中可强加一些约束条件的状况以外)以表示非拆分、水平二叉树、竖直二叉树、水平三叉树和竖直树的块分隔。这与来自三叉树的新三叉分隔一起增加用信号发送树类型的所需位数。
视频编码器20和视频解码器30可被配置成执行运动向量预测。在HEVC标准中，对于预测单元(PU)存在两个帧间预测模式，分别称为合并(跳过被视为合并的特殊状况)和高级运动向量预测(AMVP)模式。在AMVP或合并模式中，针对多个运动向量预测符维持运动向量(MV)候选项列表。当前PU的运动向量以及合并模式中的参考索引是通过从MV候选项列表中获取一个候选项生成的。
MV候选项列表含有用于合并模式的多达5个候选项和用于AMVP模式的仅两个候选项。合并候选项可含有运动信息集，例如对应于两个参考图片列表(列表0和列表1)的运动向量和参考索引。如果通过合并索引来识别合并候选项，那么确定用于当前块的预测的参考图片以及相关联的运动向量。然而，在用于来自列表0或列表1的每一潜在的预测方向的AMVP模式下，需要将参考索引与MV预测符(MVP)索引一起显式地用信号发送到MV候选项列表，这是由于AMVP候选项仅含有运动向量。在AMVP模式中，可进一步优化经预测运动向量。
合并候选项对应于整个运动信息集，而AMVP候选项仅含有用于特定预测方向的一个运动向量和参考索引。以类似方式从相同空间和时间相邻块导出用于两种模式的候选项。
图6A示出用于合并模式的空间相邻MV候选项的实例，且图6B示出用于AMVP模式的空间相邻MV候选项的实例。对于特定PU(PU0)，从在图6A和6B中所示的相邻块导出空间MV候选项，不过从块生成候选项的方法对于合并模式和AMVP模式为不同的。
在合并模式中，可以图6A中以数字示出的次序来导出高达四个空间MV候选项，且次序如下：左侧(0，A1)、上方(1，B1)、右上方(2，B0)、左下方(3，A0)和左上方(4，B2)，如图6A中所示。
在AVMP模式中，相邻块分成两个群组：由块0和1组成的左群组，以及由块2、3和4组成的上群组，如图6B中所示。对于每一群组，参考与用信号发送的参考索引所指示的参考图片相同的参考图片的相邻块中的潜在候选项具有最高待选优先级，以形成所述群组的最终候选项。有可能所有相邻块均不含指向同一参考图片的运动向量。因此，如果无法找到此类候选项，那么可按比例缩放第一可用候选项以形成最终候选项，因此可补偿时间距离差异。
如果经启用并且是可供使用的，那么时间运动向量预测符(TMVP)候选项被添加到MV候选项列表中位于空间运动向量候选项之后。TMVP候选项的运动向量导出的过程对于合并模式和AMVP模式两者为相同的；然而，合并模式中的TMVP候选项的目标参考索引始终设置为0。
TMVP候选项导出的主块位置是同位置PU外部的右下块，如图7A示出为块“T”，以补偿对用于生成空间相邻候选项的左上块的偏置。然而，如果所述块位于当前CTB行的外部或运动信息不可用，那么所述块被PU的中心块取代。
图7A示出TMVP候选项的实例，且图7B示出MV按比例缩放的实例。TMVP候选项的运动向量从在切片层级中指示的同位置图片的同位置PU导出。同位置PU的运动向量被称为同位置MV。类似于AVC中的时间直接模式，为导出TMVP候选项运动向量，需要按比例缩放同位置MV以补偿时间距离差，如图7B中所示。
型式匹配的运动向量导出(PMMVD)模式是基于帧速率增频转换(FRUC)技术的特定合并模式。在这种模式下，不用信号发送块的运动信息，而是在解码器侧导出所述运动信息。此技术包含在JEM中。
当CU的合并旗标为真时，用信号发送其FRUC旗标。当FRUC旗标为假时，用信号发送合并索引并且使用常规合并模式。当FRUC旗标为真时，用信号发送额外的FRUC模式旗标以指示将使用哪种方法(双边匹配或模板匹配)来导出块的运动信息。
在运动导出过程期间，可以首先基于双侧匹配或模板匹配导出整个CU的初始运动向量。首先，检查CU的合并列表或所谓的PMMVD种源，并选择生成最小匹配成本的候选项作为开始点。接着执行基于起始点周围的双边匹配或模板匹配的局部搜索，并且将生成最小匹配成本的MV作为整个CU的MV。随后，以导出的CU运动向量作为起始点，在子块层级对运动信息进行进一步细化。
图8示出双边匹配的实例。如图8中所示出，使用双边匹配通过找到沿着两个不同的参考图片中的当前块的运动轨迹的两个块之间的最佳匹配来导出当前块的运动信息。在连续运动轨迹的前提下，指向两个参考块的运动向量MV0和MV1应当与当前图片和两个参考图片之间的时间距离即TD0和TD1成比例。作为特殊情况，在当前图片在时间上处于两个参考图片之间并且从当前图片到两个参考图片的时间距离相同时，双边匹配成为基于镜像的双向MV。
图9示出模板匹配的实例。如图9中所示出，使用模板匹配通过找到当前图片中的模板(当前块的顶部和/或左侧相邻块)与参考图片中的块(与模板相同大小)之间的最佳匹配来导出当前块的运动信息。
在编码器侧(例如，在视频编码器20处)，对于是否使用FRUC合并模式用于CU的决策是基于如针对普通合并候选项进行的速率-失真(RD)成本选择。即，通过使用RD成本选择针对CU检查这两种匹配模式(双边匹配和模板匹配)。将成本最低的一个进一步与其它CU模式进行比较。如果FRUC匹配模式是最有效的模式，则CU的FRUC旗标被设置为真，并使用相关的匹配模式。
现将描述HEVC中的运动预测的其它方面。合并模式和AMVP模式的若干方面值得如下一提。运动向量按比例缩放：假设运动向量的值与图像在呈现时间内的距离成比例。运动向量将如下两个图片相关联：参考图片和含纳运动向量的图片(即含纳性图片(containingpicture))。当运动向量用以预测其它运动向量时，基于图片次序计数(POC)值计算含纳性图片与参考图片的距离。
对于待预测的运动向量，其相关联的含纳性图片和参考图片均可为不同的。因此，计算新距离(基于POC)。并且基于这两个POC距离按比例缩放运动向量。对于空间相邻候选项，两个运动向量的含纳性图片为相同的，而参考图片是不同的。在HEVC中，运动向量按比例缩放适用于空间和时间相邻候选项的TMVP和AMVP两者。
对于人工运动向量候选项生成，如果运动向量候选项列表不完整，那么便在列表末尾处生成并插入人工运动向量候选项直到其具有全部候选项为止。在合并模式中，存在两种类型的人工MV候选项：仅针对B切片导出的组合式候选项，以及在第一类型并不提供足够的人工候选项的情况下仅用于AMVP的零候选项。对于已经在候选项列表中且具有必要的运动信息的每对候选项，通过涉及列表0中的图片的第一候选项的运动向量与涉及列表1中的图片的第二候选项的运动向量的组合，导出双向组合式运动向量候选项。
关于候选项插入的精简过程，来自不同块的候选项可能相同，这降低了合并/AMVP候选项列表的效率。应用精简过程来解决此问题。精简过程将当前候选项列表中的一个候选项与其它候选项进行比较，以至少在一定程度上避免插入相同候选项。为了降低复杂度，仅应用有限数目的精简过程,而不是将每一潜在的精简过程与所有其它现有精简过程进行比较。
现将描述JEM中的编码算法的方面。当编码器(例如，视频编码器20)编码块时，其评估例如不同分割树、多种译码工具等数种方法，并且选择达成最佳性能的最佳方法。因此，不同分割树和译码工具将测试同一块数次。对于每一测试，视频编码器20以大搜索范围(还被称作搜索窗)进行运动估计以找到最佳运动向量。因此，需要进行以大搜索窗的多个运动估计。为减小编码复杂性，在JEM中应用快速方法。对于一块，仅在第一测试中进行以大搜索窗进行的运动估计，并且存储所得运动向量。每当针对任何未来事件测试块时，应用围绕所存储运动向量的以小搜索窗进行的运动估计，而不考虑应用的译码工具的类型。
HEVC/JEM的设计可具有一些潜在的问题。作为一个实例，块仅使用其本地信息(例如空间/时间相邻候选项)预测运动。然而，在块的运动与覆盖所述块的较大块的运动之间存在相关性，即全局信息。作为另一实例，快速编码算法针对不同设置重复使用估计的运动向量而不考虑所应用的译码工具。然而，最佳运动向量可在不同工具设置当中为不同的。
本发明引入被称为父级运动的概念。对于一块，其父级运动是覆盖所述块的较大块(被称为父级块)的运动。因为父级块含有更多像素，所以其运动比小块的运动含有更多的信息。通过使用父级运动，可改进运动译码。关于父级块(作为实例)的实例方法可应用于某些块大小，例如不大于16×16样本的译码单元。
图10示出父级运动的实例。当实施本发明的技术时，视频编码器20和视频解码器30可使用父级运动改进运动向量译码。本发明描述借此视频解码器30可获得父级运动信息的数种方法。接着，解码器侧的父级运动可以下文更详细地描述的方式潜在地改进运动向量译码。
现将描述解码器侧的父级运动的方面。在一些实例中，可使用父级运动的显式译码。为了解码器侧(例如，视频解码器30)具有父级运动信息，本发明提议用于用信号发送父级块上的父级运动信息以使得其子级块(被父级块覆盖的较小块)可使用用信号发送的运动作为父级运动信息。图10示出实例。根据本发明的技术，可用信号发送块A(即，父级块)上的父级运动信息。接着，例如a、b和c的子级块可使用用信号发送的运动作为父级运动。因此，作为运动向量译码的第一改进，替代用信号发送所有块上的父级运动，可用信号发送大块上的一个父级运动并且在子块当中共享所述父级运动。
在另一实例中，可在序列参数集、图片参数集、切片/图片标头中用信号发送一或多个全局运动信息集。对于将使用的父级运动，其可选自一或多个全局运动信息集。替代地，可使用父级运动和全局运动信息的预测性译码节省父级运动的用信号发送成本。
在一些实例中，视频解码器30可使用父级运动的隐式译码。获得父级运动的另一方法(例如，运动向量译码的第二改进)是解码器可在无需显式地用信号发送的情况下导出父级运动。实例是视频解码器30可使用PMMVD导出运动向量并且使用所述向量作为父级运动。在图10中，视频解码器30可在块A上应用PMMVD以导出运动向量。接着将所导出的运动向量处理为其子块a、b和c的父级运动。此外，视频解码器30可仅使用块中的部分信息导出父级运动。在一个实例中，可将块拆分成N个子块，且视频解码器30可仅使用M(M＝1…N)导出父级块的父级运动。替代地，可使用父级块的空间/时间相邻块的运动信息作为父级运动。
在一些实例中，可使用父级运动的显式和隐式译码的组合。替代地，可用信号发送指示是编码器用信号发送还是解码器导出父级运动的旗标。
可导出或用信号发送获得父级运动所在的层级，标示为PMV层级。实例是可用信号发送/导出每一CTU的运动，且CTU下的所有子块使用用信号发送的运动作为其父级运动。因此，图10中的块A可为CTU。换句话说，PMV层级可预定义为任何特定层级。替代地，可例如每一个或若干个切片用信号发送PMV层级。
现将描述父级运动进行的运动向量译码的方面。由于视频解码器30可获得父级运动，因此本发明描述使得视频解码器30可使用父级运动改进运动向量译码的技术。在一个实例中，可在潜在的精简过程之后将父级运动插入到运动向量预测符列表中作为额外的运动向量预测符，但精简过程并非在所有实例中都是必要的。因此，可从较大块预测块的运动向量。替代地，此外，可增加AMVP候选项列表的大小。
在另一实例中，可将父级运动插入到PMMVD种源列表中。PMMVD可使用父级运动作为运动向量导出的新初始点。由于来自较大块的父级运动含有更多信息，因此导出的运动可能更可靠。因此，可潜在改进性能。
本发明还描述可由例如视频编码器20的视频编码器执行的改进的快速编码方法的技术。替代存储用于所有译码工具的一个运动向量，本发明引入视频编码器20针对不同译码工具设置存储不同运动向量的技术。在一个实例中，视频编码器20可数次用同一搜索窗进行运动估计以获取每一工具设置的运动向量。为减小复杂性，对于工具设置，本发明引入根据之前已测试的其它工具设置的所存储运动向量执行小范围运动估计的技术。
实例是在JEM中，存在两个工具，即光照补偿(IC)(还被称作本地光照补偿(LIC))和整数运动向量(IMV)。为存储准确运动向量，针对IC-off-IMV-off、IC-on-IMV-off、IC-off-IMV-on和IC-on-IMV-on的设置四次用同一搜索范围(例如，由整数像素位置界定的256×256)进行运动估计。为减小复杂性，本发明包含首先针对IC-off-IMV-off的设置进行大范围运动估计(例如，256×256)的技术。基于所得运动向量，所述技术包含进行小范围运动估计(例如，8×8)以获得针对其它工具设置的运动向量。此外，所述技术包含针对不同工具设置应用不同小范围运动估计。举例来说，接通IC的运动向量与断开IC的向量较小相关。因此，本发明的技术包含针对IC-off-IMV-off和IC-on-IMV-off的设置两次进行大范围运动估计。本发明的技术接着包含分别根据IC-off-IMV-off和C-on-IMV-off的设置的所存储运动向量，针对IC-off-IMV-on和IC-on-IMV-on的设置进行小范围运动估计。
LIC是使用线性模型用于光照改变，使用按比例缩放因数a和偏移b的译码工具。在JEM中，针对每一经帧间模式译码CU自适应地启用或停用LIC。
当启用上文所描述的IMV限制时，视频编码器20和视频解码器30仅使用整数运动向量精度。因此，可避免或减小与用信号发送分数运动向量精度相关联的位开销和与内插滤波相关联的计算复杂性。
图11是说明可实施本发明中描述的技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减小或消除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测来减少或消除视频序列的相邻帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间压缩模式中的任一个。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指代若干基于时间的压缩模式中的任一个。
在图11的实例中，视频编码器20包含视频数据存储器33、分割单元35、预测处理单元41、求和器50、变换处理单元52、量化单元54、熵编码单元56。预测处理单元41包含运动估计单元(MEU)42、运动补偿单元(MCU)44和帧内预测单元46。对于视频块重构，视频编码器20还包含逆量化单元58、逆变换处理单元60、求和器62、滤波器单元64和经解码图片缓冲器(DPB)66。
如图11中所示出，视频编码器20接收视频数据，并将所接收到的视频数据存储在视频数据存储器33中。视频数据存储器33可以存储待由视频编码器20的组件编码的视频数据。可例如从视频源18获得存储在视频数据存储器33中的视频数据。DPB 66可为存储参考视频数据以供视频编码器20在例如以帧内或帧间译码模式编码视频数据时使用的参考图片存储器。视频数据存储器33和DPB 66可由多种存储器装置中的任一个形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)，或其它类型的存储器装置。视频数据存储器33和DPB 66可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器33可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
分割单元35从视频数据存储器33检索视频数据并将视频数据分割成视频块。此分割还可包含分割成切片、图块或其它较大单元，以及例如根据LCU和CU的四叉树结构的视频块分割。视频编码器20大体说明对待编码的视频切片内的视频块编码的组件。可将切片划分成多个视频块(且可能划分成被称作图块的视频块集)。预测处理单元41可基于误差结果(例如，译码速率和失真水平)选择用于当前视频块的多个可能译码模式中的一个，例如多个帧内译码模式中的一个或多个帧间译码模式中的一个。预测处理单元41可将所得经帧内或帧间译码块提供到求和器50以生成残余块数据，并提供到求和器62以重构经编码块以用作参考图片。
预测处理单元41内的帧内预测单元46可相对于与待译码当前块在相同的帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码，以提供空间压缩。预测处理单元41内的运动估计单元42和运动补偿单元44相对于一或多个参考图片中的一或多个预测性块执行当前视频块的帧间预测译码以提供时间压缩。
运动估计单元42可被配置成根据用于视频序列的预定型式来确定用于视频切片的帧间预测模式。预定型式可将序列中的视频切片指定为P切片或B切片。运动估计单元42和运动补偿单元44可高度集成，但出于概念的目的分别加以说明。由运动估计单元42执行的运动估计是生成运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的位移。
预测性块是被发现在像素差方面与待译码的视频块的PU密切匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算存储于DPB 66中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
运动估计单元42通过比较经帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置来计算PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一个识别存储在DPB 66中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。
通过运动补偿单元44执行的运动补偿可以涉及基于通过运动估计(可能执行对子像素精度的内插)确定的运动向量获取或生成预测性块。在接收到当前视频块的PU的运动向量后，运动补偿单元44可在参考图片列表中的一个中定位所述运动向量指向的预测性块。视频编码器20通过从正被译码的当前视频块的像素值中减去预测性块的像素值来形成残余视频块，从而形成像素差值。像素差值形成用于所述块的残余数据，并且可包含明度和色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44还可生成与视频块和视频切片相关联的语法元素以供视频解码器30在对视频切片的视频块解码时使用。
在预测处理单元41经由帧内预测或帧间预测生成用于当前视频块的预测性块之后，视频编码器20通过从当前视频块减去预测性块形成残余视频块。残余块中的残余视频数据可包含于一或多个TU中，并可应用于变换处理单元52。变换处理单元52使用变换(例如，离散余弦变换(DCT)或在概念上类似的变换)来将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素域变换到变换域，例如频域。
变换处理单元52可将所得的变换系数发送到量化单元54。量化单元54对变换系数进行量化以进一步减小位速率。量化过程可减小与系数中的一些或全部相关联的位深度。可以通过调整量化参数来修改量化程度。在一些实例中，量化单元54接着可对包含经量化变换系数的矩阵执行扫描。在另一实例中，熵编码单元56可执行扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码方法或技术。在由熵编码单元56进行熵编码之后，经编码位流可传输到视频解码器30，或经存档以供稍后传输或由视频解码器30检索。熵编码单元56还可对正被译码的当前视频切片的运动向量和其它语法元素进行熵编码。
逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换，以在像素域中重构残余块以供稍后用作参考图片的参考块。运动补偿单元44可通过将残余块添加到参考图片列表中的一个内的参考图片中的一个的预测性块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残余块以计算子整数像素值用于运动估计。求和器62将经重构残余块相加到由运动补偿单元44产生的运动补偿预测块，从而产生经重构块。
滤波器单元64滤波经重构块(例如，求和器62的输出)且将经滤波的经重构块存储在DPB 66中以用作参考块。运动估计单元42和运动补偿单元44可使用所述参考块作为用以对后续视频帧或图片中的块进行帧间预测的参考块。虽然未在图11中明确示出，但视频编码器20可包含额外滤波器，例如解块滤波器、样本自适应偏移(SAO)滤波器，或其它类型的环路滤波器。举例来说，解块滤波器可应用解块滤波对块边界进行滤波，以从经重构视频消除成块效应假影。SAO滤波器可对经重构像素值应用偏移以便改进整体译码质量。也可使用额外环路滤波器(在环路或后环路中)。
图12是说明可实施本发明中描述的技术的实例视频解码器30的框图。图12的视频解码器30可例如被配置成接收上文关于图11的视频编码器20所描述的用信号发送。在图12的实例中，视频解码器30包含视频数据存储器78、熵解码单元80、预测处理单元81、逆量化单元86、逆变换处理单元88、求和器90、滤波器单元92和DPB 94。预测处理单元81包含运动补偿单元82和帧内预测单元84。在一些实例中，视频解码器30可执行通常与关于来自图11的视频编码器20描述的编码遍次互逆的解码遍次。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片和相关联的语法元素的视频块的经编码视频位流。视频解码器20将接收到的经编码视频位流存储在视频数据存储器78中。视频数据存储器78可存储将由视频解码器30的组件进行解码的视频数据，例如经编码视频位流。存储在视频数据存储器78中的视频数据可(例如)经由链路16从存储装置26或从本地视频源(例如，摄像机)，或通过存取物理数据存储媒体来获得。视频数据存储器78可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。DPB 94可为存储参考视频数据以供视频解码器30在以例如帧内或帧间译码模式解码视频数据时使用的参考图片存储器。视频数据存储器78和DPB 94可由多种存储器装置中的任一个形成，例如DRAM、SDRAM、MRAM、RRAM或其它类型的存储器装置。视频数据存储器78和DPB 94可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器78可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频解码器30的熵解码单元80对存储于视频数据存储器78中的视频数据进行熵解码以生成经量化系数、运动向量和其它语法元素。熵解码单元80将运动向量和其它语法元素转发到预测处理单元81。视频解码器30可在视频切片层级和/或视频块层级接收语法元素。
当视频切片被译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于用信号发送的帧内预测模式和来自当前帧或图片的先前经解码块的数据生成用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码切片(例如，B切片或P切片)时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量和其它语法元素产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一个内的参考图片中的一个产生预测性块。视频解码器30可基于存储于DPB 94中的参考图片使用默认构建技术来构建参考帧列表，即列表0和列表1。
运动补偿单元82通过解析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正被解码的当前视频块的预测性块。举例来说，运动补偿单元82使用所接收的语法元素中的一些确定用以译码视频切片的视频块的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片或P切片)、用于切片的参考图片列表中的一或多个的构建信息、用于切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，以及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元82可根据所接收的语法元素来确定由视频编码器20使用的内插滤波器，且使用所述内插滤波器来产生预测性块。
逆量化单元86逆量化(即，去量化)提供于位流中且由熵解码单元80解码的经量化变换系数。逆量化过程可包含使用视频编码器20针对视频切片中的每一视频块计算的量化参数确定应应用的量化程度以及同样地逆量化的程度。逆变换处理单元88将例如逆DCT、逆整数变换或概念上类似的逆变换过程等逆变换应用于变换系数，以便产生像素域中的残余块。
在预测处理单元81使用例如帧内或帧间预测生成用于当前视频块的预测性块之后，视频解码器30通过对来自逆变换处理单元88的残余块与由运动补偿单元82生成的对应预测性块进行求和来形成经重构视频块。求和器90表示执行此求和运算的一个或多个组件。滤波器单元92使用例如ALF技术、SAO技术、解块技术或其它这类滤波技术中的一或多种来对经重构视频块进行滤波。
虽然未在图11中明确示出，但视频解码器30也可包含解块滤波器、SAO滤波器或其它类型的滤波器中的一或多个。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储于DPB 94中，所述DPB 94存储用于后续运动补偿的参考图片。DPB 94可为存储经解码视频以供稍后呈现于例如图1的显示装置32的显示装置上的额外存储器的部分或与其分离。
根据本发明的一个实例，视频解码器30可确定视频数据块的父级运动并且根据所述父级运动解码视频数据块。为确定父级运动，视频解码器30可确定块的父级块的运动信息。为确定父级运动视频解码器30可例如在块层级接收经编码位流中的父级运动。为确定父级运动，视频解码器30可接收SPS、PPS、切片标头或图片标头中的一或多个中的全局父级运动信息。为确定父级运动，视频解码器30可使用PMMVD导出父级块的运动向量。为确定父级运动，视频解码器30可确定父级块的时间或空间相邻块的运动信息并且使用父级块的时间或空间相邻块的运动信息作为块的父级块的运动信息。
视频解码器30可接收指示是在经编码位流中接收还是导出父级运动的语法元素。视频解码器30可例如将块的父级块的运动信息添加到块的合并模式候选项列表或AMVP模式候选项列表。视频解码器30可将块的父级块的运动信息添加到块的PMMVD种源列表。在一些实例中，父级块可大于所述块。
图13是说明根据本发明的技术的视频编码器的实例操作的流程图。关于图13描述的视频编码器可为例如上文所描述的视频编码器20或某一其它类型的视频编码器。根据图13的技术，视频编码器将视频数据分隔成多个块(102)。对于多个块中的一块，视频编码器确定是启用还是停用整数运动向量精度限制以及是启用还是停用IC工具(104)。作为确定是启用还是停用整数运动向量精度限制以及是启用还是停用IC工具的部分，视频编码器执行针对参考图片中的大搜索范围的第一运动估计测试(106)。为执行第一运动估计测试，视频编码器仅在停用IC工具且停用整数运动向量精度限制以及在启用IC工具且停用整数运动向量精度限制的情况下执行运动估计测试。视频编码器基于第一运动估计测试确定小于大搜索范围的小搜索范围(108)。视频编码器执行针对小搜索范围的第二运动估计测试(110)。视频编码器基于第二运动估计测试确定是启用还是停用整数运动向量精度限制以及是启用还是停用IC工具(112)。视频编码器输出包括是启用还是停用IC工具的指示以及是启用还是停用整数运动向量精度限制的指示的经编码视频数据的位流(114)。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果用软件实施，则所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体或通信媒体的有形媒体，通信媒体包含例如根据通信协议有助于将计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可被一或多个计算机或一或多个处理电路存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。并且，适当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，则同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，有形计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而实际上是针对非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含于计算机可读媒体的范围内。
指令可以由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构或适用于实施本文中所描述的技术的任何其它结构中的任一个。另外，在一些方面中，本文中所描述的功能性可在被配置成用于编码和解码的专用硬件和/或软件模块内提供，或并入在组合编解码器中。并且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)的多种装置或设备中。本发明中描述各种组件、模块或单元是为了强调被配置成执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。确切地，如上文所描述，各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中，或由互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述了各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (22)

1.一种编码视频数据的方法，所述方法包括：
将所述视频数据分割成多个块；
对于所述多个块中的一块，确定是启用还是停用整数运动向量精度限制以及是启用还是停用光照补偿IC工具，其中确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具包括：
在参考图片中以大搜索范围，执行第一运动估计测试，其中执行所述第一运动估计测试包括仅在停用所述IC工具且停用所述整数运动向量精度限制以及在启用所述IC工具且停用所述整数运动向量精度限制的情况下执行运动估计测试；
基于所述第一运动估计测试，确定小搜索范围，其中所述小搜索范围小于所述大搜索范围；
以所述小搜索范围，执行第二运动估计测试；和
基于所述第二运动估计测试，确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具；和
输出经编码视频数据的位流，所述位流包括是启用还是停用所述IC工具的指示以及是启用还是停用所述整数运动向量精度限制的指示。
2.根据权利要求1所述的方法，其中执行所述第二运动估计测试包括在启用所述整数运动向量精度限制的情况下执行运动估计测试。
3.根据权利要求1所述的方法，其中确定所述小搜索范围包括使用从在停用所述IC工具且停用所述整数运动向量精度限制的情况下进行的所述运动估计测试确定的运动向量确定所述小搜索范围，且
其中执行所述第二运动估计测试包括仅在停用所述IC工具且启用所述整数运动向量精度限制的情况下执行运动估计测试。
4.根据权利要求1所述的方法，其中确定所述小搜索范围包括使用从在启用所述IC工具且停用所述整数运动向量精度限制的情况下进行的运动估计测试确定的运动向量确定所述小搜索范围，且
其中执行第二运动估计测试包括仅在启用所述IC工具且启用所述整数运动向量精度限制的情况下执行运动估计测试，所述方法另外包括：
使用从在停用所述IC工具且停用所述整数运动向量精度限制的情况下进行的运动估计测试确定的运动向量确定第二小搜索范围，和
通过仅在停用所述IC工具且启用所述整数运动向量精度限制的情况下执行运动估计测试来执行第三运动估计测试；和
基于所述第三运动估计测试，确定是启用还是停用所述整数运动向量精度。
5.根据权利要求1所述的方法，其中确定所述小搜索范围包括使用从在启用所述IC工具且停用所述整数运动向量精度限制的情况下进行的运动估计测试确定的运动向量确定所述小搜索范围，且
其中执行所述第二运动估计测试包括仅在启用所述IC工具且启用所述整数运动向量精度限制的情况下执行运动估计测试。
6.根据权利要求1所述的方法，其中确定所述小搜索范围包括：
基于所述第一运动估计测试，确定运动向量；和
基于所述运动向量，定位所述小搜索范围。
7.根据权利要求1所述的方法，其中在仅当停用所述IC工具时启用所述整数运动向量精度限制的情况下执行所述运动估计测试包括仅以整数精度测试运动向量。
8.一种用于编码视频数据的装置，所述方法包括：
存储器，其被配置成存储视频数据；和
一或多个处理器，其被配置成
将所述视频数据分割成多个块；
对于所述多个块中的一块，确定是启用还是停用整数运动向量精度限制以及是启用还是停用光照补偿IC工具，其中为确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具，所述一或多个处理器被配置成：
在参考图片中以大搜索范围，执行第一运动估计测试，其中为执行所述第一运动估计测试，所述一或多个处理器被配置成仅在停用所述IC工具且停用所述整数运动向量精度限制以及在启用所述IC工具且停用所述整数运动向量精度限制的情况下执行运动估计测试；
基于所述第一运动估计测试，确定小搜索范围，其中所述小搜索范围小于所述大搜索范围；
以所述小搜索范围，执行第二运动估计测试；和
基于所述第二运动估计测试，确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具；和
输出经编码视频数据的位流，所述位流包括是启用还是停用所述IC工具的指示以及是启用还是停用所述整数运动向量精度限制的指示。
9.根据权利要求8所述的装置，其中为执行所述第二运动估计测试，所述一或多个处理器被配置成在启用所述整数运动向量精度限制的情况下执行运动估计测试。
10.根据权利要求8所述的装置，其中为确定所述小搜索范围，所述一或多个处理器被配置成使用从在停用所述IC工具且停用所述整数运动向量精度限制的情况下进行的所述运动估计测试确定的运动向量确定所述小搜索范围，且
其中为执行所述第二运动估计测试，所述一或多个处理器被配置成仅在停用所述IC工具且启用所述整数运动向量精度限制的情况下执行运动估计测试。
11.根据权利要求8所述的装置，其中为确定所述小搜索范围，所述一或多个处理器被配置成使用从在启用所述IC工具且停用所述整数运动向量精度限制的情况下进行的运动估计测试确定的运动向量确定所述小搜索范围，且
其中为执行第二运动估计测试，所述一或多个处理器被配置成仅在启用所述IC工具且启用所述整数运动向量精度限制的情况下执行运动估计测试，所述一或多个处理器被进一步配置成：
使用从在停用所述IC工具且停用所述整数运动向量精度限制的情况下进行的运动估计测试确定的运动向量确定第二小搜索范围，和
通过仅在停用所述IC工具且启用所述整数运动向量精度限制的情况下执行运动估计测试来执行第三运动估计测试；和
基于所述第三运动估计测试，确定是启用还是停用所述整数运动向量精度。
12.根据权利要求8所述的装置，其中为确定所述小搜索范围，所述一或多个处理器被配置成使用从在启用所述IC工具且停用所述整数运动向量精度限制的情况下进行的运动估计测试确定的运动向量确定所述小搜索范围，且
其中为执行所述第二运动估计测试，所述一或多个处理器被配置成仅在启用所述IC工具且启用所述整数运动向量精度限制的情况下执行运动估计测试。
13.根据权利要求8所述的装置，其中为确定所述小搜索范围，所述一或多个处理器被配置成：
基于所述第一运动估计测试，确定运动向量；和
基于所述运动向量，定位所述小搜索范围。
14.根据权利要求8所述的装置，其中为在仅当停用所述IC工具时启用所述整数运动向量精度限制的情况下执行所述运动估计测试，所述一或多个处理器被配置成仅以整数精度测试运动向量。
15.一种存储指令的计算机可读媒体，所述指令在由一或多个处理器执行时致使所述一或多个处理器：
将所述视频数据分割成多个块；
对于所述多个块中的一块，确定是启用还是停用整数运动向量精度限制以及是启用还是停用光照补偿IC工具，其中为确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具，所述指令致使所述一或多个处理器：
在参考图片中以大搜索范围，执行第一运动估计测试，其中为执行所述第一运动估计测试，所述一或多个处理器被配置成仅在停用所述IC工具且停用所述整数运动向量精度限制以及在启用所述IC工具且停用所述整数运动向量精度限制的情况下执行运动估计测试；
基于所述第一运动估计测试，确定小搜索范围，其中所述小搜索范围小于所述大搜索范围；
以所述小搜索范围，执行第二运动估计测试；和
基于所述第二运动估计测试，确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具；和
输出经编码视频数据的位流，所述位流包括是启用还是停用所述IC工具的指示以及是启用还是停用所述整数运动向量精度限制的指示。
16.根据权利要求15所述的计算机可读媒体，其中为执行所述第二运动估计测试，所述指令致使所述一或多个处理器在启用所述整数运动向量精度限制的情况下执行运动估计测试。
17.根据权利要求15所述的计算机可读媒体，其中为确定所述小搜索范围，所述指令致使所述一或多个处理器使用从在停用所述IC工具且停用所述整数运动向量精度限制的情况下进行的所述运动估计测试确定的运动向量确定所述小搜索范围，且其中为执行所述第二运动估计测试，所述指令致使所述一或多个处理器仅在停用所述IC工具且启用所述整数运动向量精度限制的情况下执行运动估计测试。
18.根据权利要求15所述的计算机可读媒体，其中为确定所述小搜索范围，所述指令致使所述一或多个处理器使用从在启用所述IC工具且停用所述整数运动向量精度限制的情况下进行的运动估计测试确定的运动向量确定所述小搜索范围，且
其中为执行第二运动估计测试，所述指令致使所述一或多个处理器仅在启用所述IC工具且启用所述整数运动向量精度限制的情况下执行运动估计测试，且其中所述指令进一步致使所述一或多个处理器：
使用从在停用所述IC工具且停用所述整数运动向量精度限制的情况下进行的运动估计测试确定的运动向量确定第二小搜索范围，和
通过仅在停用所述IC工具且启用所述整数运动向量精度限制的情况下执行运动估计测试来执行第三运动估计测试；和
基于所述第三运动估计测试，确定是启用还是停用所述整数运动向量精度。
19.根据权利要求15所述的计算机可读媒体，其中为确定所述小搜索范围，所述指令致使所述一或多个处理器使用从在启用所述IC工具且停用所述整数运动向量精度限制的情况下进行的运动估计测试确定的运动向量确定所述小搜索范围，且
其中为执行所述第二运动估计测试，所述指令致使所述一或多个处理器仅在启用所述IC工具且启用所述整数运动向量精度限制的情况下执行运动估计测试。
20.根据权利要求15所述的计算机可读媒体，其中为确定所述小搜索范围，所述指令致使所述一或多个处理器：
基于所述第一运动估计测试，确定运动向量；和
基于所述运动向量，定位所述小搜索范围。
21.根据权利要求15所述的计算机可读媒体，其中为在仅当停用所述IC工具时启用所述整数运动向量精度限制的情况下执行所述运动估计测试，所述指令致使所述一或多个处理器仅以整数精度测试运动向量。
22.一种用于编码视频数据的设备，所述设备包括：
用于将所述视频数据分割成多个块的装置；
用于对于所述多个块中的一块，确定是启用还是停用整数运动向量精度限制以及是启用还是停用光照补偿IC工具的装置，其中所述用于确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具的装置包括：
用于在参考图片中以大搜索范围执行第一运动估计测试的装置，其中所述用于执行所述第一运动估计测试的装置包括用于仅在停用所述IC工具且停用所述整数运动向量精度限制以及在启用所述IC工具且停用所述整数运动向量精度限制的情况下执行运动估计测试的装置；
用于基于所述第一运动估计测试确定小搜索范围的装置，其中所述小搜索范围小于所述大搜索范围；
用于以所述小搜索范围执行第二运动估计测试的装置；和
用于基于所述第二运动估计测试确定是启用还是停用所述整数运动向量精度限制以及是启用还是停用所述IC工具的装置；和
用于输出经编码视频数据的位流的装置，所述位流包括是启用还是停用所述IC工具的指示以及是启用还是停用所述整数运动向量精度限制的指示。
CN201880005021.9A 2017-01-09 2018-01-09 通过光照补偿和整数运动向量限制进行编码优化 Active CN110089116B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762444321P 2017-01-09 2017-01-09
US62/444,321 2017-01-09
US15/865,054 2018-01-08
US15/865,054 US10542280B2 (en) 2017-01-09 2018-01-08 Encoding optimization with illumination compensation and integer motion vector restriction
PCT/US2018/012990 WO2018129539A1 (en) 2017-01-09 2018-01-09 Encoding optimization with illumination compensation and integer motion vector restriction

Publications (2)

Publication Number Publication Date
CN110089116A true CN110089116A (zh) 2019-08-02
CN110089116B CN110089116B (zh) 2022-04-05

Family

ID=62782445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880005021.9A Active CN110089116B (zh) 2017-01-09 2018-01-09 通过光照补偿和整数运动向量限制进行编码优化

Country Status (4)

Country Link
US (1) US10542280B2 (zh)
EP (1) EP3566453A1 (zh)
CN (1) CN110089116B (zh)
WO (1) WO2018129539A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111031319A (zh) * 2019-12-13 2020-04-17 浙江大华技术股份有限公司 一种局部光照补偿预测方法、终端设备及计算机存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116866584A (zh) * 2017-05-17 2023-10-10 株式会社Kt 对视频解码和编码的方法以及存储压缩视频数据的装置
EP3780608A4 (en) 2018-04-02 2021-12-01 SZ DJI Technology Co., Ltd. IMAGE PROCESSING PROCESS AND IMAGE PROCESSING DEVICE
CN110809165B (zh) 2018-08-04 2022-07-26 北京字节跳动网络技术有限公司 仿射的运动矢量差精度
KR102660160B1 (ko) 2018-11-22 2024-04-24 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브 블록 기반 인터 예측을 위한 조정 방법
EP3895418A4 (en) * 2019-01-16 2022-02-23 Huawei Technologies Co., Ltd. ENCODER, DECODER AND RELATED LOCAL LIGHTING COMPENSATION METHODS
WO2020150535A1 (en) * 2019-01-17 2020-07-23 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of linear model derivation for video coding
WO2020156538A1 (en) 2019-02-03 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between mv precisions and mv difference coding
WO2020164580A1 (en) 2019-02-14 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Size selective application of decoder side refining tools
WO2020173483A1 (en) * 2019-02-27 2020-09-03 Beijing Bytedance Network Technology Co., Ltd. Improvement on adaptive motion vector difference resolution in intra block copy mode
CN113853792A (zh) 2019-05-11 2021-12-28 北京字节跳动网络技术有限公司 带有参考图片重采样的编解码工具
EP3984227A4 (en) 2019-07-27 2022-08-17 Beijing Bytedance Network Technology Co., Ltd. TOOL USE RESTRICTIONS BASED ON TYPES OF REFERENCE IMAGES
EP3997877A4 (en) 2019-08-13 2023-05-24 Beijing Bytedance Network Technology Co., Ltd. MOTION ACCURACY IN SUBBLOCK-BASED INTERPREDICTION
CN114365490B (zh) 2019-09-09 2024-06-18 北京字节跳动网络技术有限公司 高精度图像和视频编解码的系数缩放
EP4018648A4 (en) 2019-09-21 2022-11-23 Beijing Bytedance Network Technology Co., Ltd. HIGH PRECISION TRANSFORMATION AND QUANTIZATION FOR IMAGE AND VIDEO CODING
EP4029245A4 (en) 2019-10-12 2022-11-23 Beijing Bytedance Network Technology Co., Ltd. HIGH LEVEL SYNTAX FOR VIDEO CODING TOOLS

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102493A (zh) * 2007-08-07 2008-01-09 华亚微电子（上海）有限公司 一种适用于运动估计的片内存储的方法
US20110109794A1 (en) * 2009-11-06 2011-05-12 Paul Wiercienski Caching structure and apparatus for use in block based video
US20160366415A1 (en) * 2015-06-09 2016-12-15 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3171595A1 (en) * 2015-11-18 2017-05-24 Thomson Licensing Enhanced search strategies for hierarchical motion estimation
US10212444B2 (en) 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
WO2018049594A1 (en) * 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102493A (zh) * 2007-08-07 2008-01-09 华亚微电子（上海）有限公司 一种适用于运动估计的片内存储的方法
US20110109794A1 (en) * 2009-11-06 2011-05-12 Paul Wiercienski Caching structure and apparatus for use in block based video
US20160366415A1 (en) * 2015-06-09 2016-12-15 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
IOAN TABUS; IONUT SCHIOPU; JAAKKO ASTOLA: "Context Coding of Depth Map Images Under the Piecewise-Constant Image Model Representation", 《 IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
JIANLE CHEN: "Algorithm Description of Joint Exploration Test Model 2", 《JOINT VIDEO EXPLORATION TEAM (JVET)》 *
JIANLE CHEN: "Algorithm Description of Joint Exploration Test Model 3", 《JOINT VIDEO EXPLORATION TEAM (JVET)》 *
扬霖: "一种适应光照突变的运动目标检测方法", 《科技创新与应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111031319A (zh) * 2019-12-13 2020-04-17 浙江大华技术股份有限公司 一种局部光照补偿预测方法、终端设备及计算机存储介质

Also Published As

Publication number Publication date
US20180199055A1 (en) 2018-07-12
EP3566453A1 (en) 2019-11-13
WO2018129539A1 (en) 2018-07-12
CN110089116B (zh) 2022-04-05
US10542280B2 (en) 2020-01-21

Similar Documents

Publication Publication Date Title
CN110089116A (zh) 通过光照补偿和整数运动向量限制进行编码优化
CN110024403B (zh) 一种编解码视频数据的方法、装置和计算机可读存储媒体
CN104170381B (zh) 在高效率视频译码及其扩展中的运动矢量译码及双向预测
CN105874799B (zh) 用于3d视频译码的基于块的高级残差预测
CN105637870B (zh) 使用不对称运动分割的视频译码技术
CN105580365B (zh) 处理视频数据的方法、装置及存储媒体
CN105580364B (zh) 一种处理视频数据的方法，装置及计算机可读存储媒体
JP6193397B2 (ja) 視差ベクトル導出
CN105723707B (zh) 用于视频译码的色彩残差预测
CN104704833B (zh) 多视图或3维视频译码中的高级视图间残差预测
CN106664422B (zh) 编码和解码视频数据的方法、装置和计算机可读存储媒体
CN104170380B (zh) 视频译码中的视差矢量预测
CN105027571B (zh) 三维视频译码中导出的视差向量
CN109792533A (zh) 在视频译码中用于仿射运动模型的运动向量预测
CN109691102A (zh) 跨分量滤波器
CN109076218A (zh) 在视频译码中自适应环路滤波中的多个滤波器的混淆
CN109792531A (zh) 用于视频译码的运动向量译码
CN110393009A (zh) 帧内预测模式传播
CN105659603B (zh) 编码及解码视频数据的方法、装置及计算机可读存储媒体
CN109076235A (zh) 用于在视频译码中的并置参考索引的一致性约束
CN106797479A (zh) 对于并行处理的帧内块复制预测限制
JP6370891B2 (ja) 深さブロックの視差に基づく高度な深さインターコーディング
CN109964482A (zh) 视频译码中的双边滤波器使用的指示
US9648319B2 (en) Device and method for scalable coding of video information based on high efficiency video coding
CN105052145A (zh) 剖析三维视频译码中的语法元素

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant