CN109076235B - 用于在视频译码中的并置参考索引的一致性约束 - Google Patents

用于在视频译码中的并置参考索引的一致性约束 Download PDF

Info

Publication number
CN109076235B
CN109076235B CN201780022069.6A CN201780022069A CN109076235B CN 109076235 B CN109076235 B CN 109076235B CN 201780022069 A CN201780022069 A CN 201780022069A CN 109076235 B CN109076235 B CN 109076235B
Authority
CN
China
Prior art keywords
slice
slices
video
picture
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780022069.6A
Other languages
English (en)
Other versions
CN109076235A (zh
Inventor
瑞珍·雷克斯曼·乔许
瓦迪姆·谢廖金
王益魁
克里希纳坎斯·拉帕卡
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109076235A publication Critical patent/CN109076235A/zh
Application granted granted Critical
Publication of CN109076235B publication Critical patent/CN109076235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种编码视频数据的方法，所述方法包括：编码视频数据的当前图片，产生用于所述当前图片的一或多个切片的相应并置参考图片索引语法元素，且仅对所述一或多个切片中不具有帧内切片类型且启用时间运动向量预测子的切片执行位流一致性检查，所述位流一致性检查约束所述相应并置参考图片索引语法元素的值，使得每一相应并置参考图片索引语法元素指向同一图片且不参考所述当前图片本身。

Description

用于在视频译码中的并置参考索引的一致性约束
本申请案要求2016年4月13日申请的美国临时申请案第62/322,160号及2016年4月15日申请的美国临时申请案第62/323,467号的权益，两者的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频编码及解码。
背景技术
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏主控台、蜂窝式或卫星无线电电话(所谓的“智能型电话”)、视频电话会议装置、视频流式发射装置及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4高级视频译码(AVC)第10部分、ITU-T H.265高效率视频译码(HEVC)所定义的标准及这些标准的扩展中所描述的那些技术。视频装置可通过实施这些视频压缩技术更有效地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块，其还可被称作树型块、译码单元(CU)和/或译码节点。图片的经帧内译码(I)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测来编码。图片的帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式及残余数据来编码经帧内译码块。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，其接着可被量化。
发明内容
一般来说，本发明描述在视频译码过程中利用经编码位流一致性约束(例如，HEVC位流一致性约束的修改)的技术。在一些实例中，位流一致性约束指定语法元素(例如，collocated_ref_idx语法)参考的参考图片对于经译码图片的所有切片应相同且不应为当前图片本身。本发明描述应用这种约束的视频译码技术及视频译码情境。在其它实例中，本发明进一步提出去除collocated_ref_idx参考的图片不应为当前图片的任何约束。
在其它实例中，本发明描述可改进图片的译码效率的技术，其中图片内的某些切片仅将当前图片用作用于预测性译码的参考图片，而同一图片内的其它切片将当前图片以及时间图片用作用于预测性译码的参考图片。在更一般情况中，无论是否包含当前图片来作为参考图片，当图片内的某些切片使用时间运动预测且同一图片内的其它切片不使用时间运动预测时，所述技术可为适用的。
本发明的技术可适用于符合高效视频译码(HEVC)标准(ITU-T H.265)及其扩展(例如屏幕内容译码(SCC))的视频编解码器。然而，可根据任何视频译码技术(包含未来视频译码标准)、支持较高位深度(例如，多于8个位)、不同色度采样格式(例如4:4:4、4:2:2、4:2:0、4:0:0)的视频译码技术及类似者使用本发明的技术。
在本发明的一个实例中，编码视频数据的方法包括：编码视频数据的当前图片；产生用于当前图片的一或多个切片的相应并置参考图片索引语法元素；及仅对一或多个切片中不具有帧内切片类型且启用时间运动向量预测子的切片执行位流一致性检查，所述位流一致性检查约束相应并置参考图片索引语法元素的值，使得每一相应并置参考图片索引语法元素指向同一图片且不参考当前图片本身。
在本发明的另一实例中，一种经配置以编码视频数据的设备包括：存储器，其经配置以存储视频数据的当前图片；及一或多个处理器，其经配置以：编码视频数据的当前图片，产生用于当前图片的一或多个切片的相应并置参考图片索引语法元素，且仅对一或多个切片中不具有帧内切片类型且启用时间运动向量预测子的切片执行位流一致性检查，所述位流一致性检查约束相应并置参考图片索引语法元素的值，使得每一相应并置参考图片索引语法元素指向同一图片且不参考当前图片本身。
在另一实例中，本发明描述一种非暂时性计算机可读存储媒体，其存储在执行时使经配置以编码视频数据的装置的一或多个处理器进行以下操作的指令：编码视频数据的当前图片；产生用于当前图片的一或多个切片的相应并置参考图片索引语法元素；及仅对一或多个切片中不具有帧内切片类型且启用时间运动向量预测子的切片执行位流一致性检查，所述位流一致性检查约束相应并置参考图片索引语法元素的值，使得每一相应并置参考图片索引语法元素指向同一图片且不参考当前图片本身。
在本发明的另一实例中，一种经配置以解码视频数据的设备包括：存储器，其经配置以存储视频数据的经编码当前图片；及一或多个处理器，其经配置以：接收视频数据的经编码当前图片，接收用于经编码当前图片的一或多个切片的相应并置参考图片索引语法元素，及仅对一或多个切片中不具有帧内切片类型且启用时间运动向量预测子的切片执行位流一致性检查，所述位流一致性检查确定每一相应并置参考图片索引语法元素是否指向同一图片且不参考经编码当前图片本身。
在随附图式及以下描述中阐述本发明的一或多个方面的细节。本发明中所描述的技术的其它特征、目标及优点将从描述、图式及权利要求书显而易见。
附图说明
图1为说明可利用本发明中所描述的一或多种技术的一实例视频编码及解码系统的框图。
图2为说明可实施本发明中所描述的一或多种技术的一实例视频编码器的框图。
图3为说明可实施本发明中所描述的一或多种技术的一实例视频解码器的框图。
图4为说明本发明的一实例编码过程的流程图。
图5为说明本发明的一实例解码过程的流程图。
具体实施方式
本发明描述利用经编码位流一致性约束(例如，HEVC位流一致性约束的修改)的技术。在一些实例中，位流一致性约束指定语法元素(例如，collocated_ref_idx语法元素)参考的参考图片对于经译码图片的所有切片应相同且不应为当前图片本身。本发明描述应用这种约束的技术及译码情境。在其它实例中，本发明另外提出去除collocated_ref_idx参考的图片不应为当前图片的任何约束。
在其它实例中，本发明描述改进图片的译码效率的方法，其中图片内的某些切片仅将当前图片用作参考，而同一图片内的其它切片将当前图片以及时间图片用作参考。在更一般情况中，无论是否包含当前图片来作为参考图片，当图片内的某些切片使用时间运动预测且同一图片内的其它切片不使用时间预测时，本发明的实例技术为适用的。
本发明的技术可适用于符合高效视频译码(HEVC)标准(ITU-T H.265)及其扩展(例如屏幕内容译码(SCC))的视频编解码器。然而，可根据任何视频译码技术(包含未来视频译码标准)、支持较高位深度(例如，多于8个位)、不同色度采样格式(例如4:4:4、4:2:2、4:2:0、4:0:0)的视频译码技术及类似者使用本发明的技术。
视频序列通常表示为图片序列。通常，基于块的译码技术用于译码个别图片中的每一者。即，将每一图片划分成块，且个别地译码所述块中的每一者。译码视频数据块通常涉及形成用于块中的样本的预测值(例如，像素值，如明度样本和/或色度样本)且译码残余值。使用一或多个预测性块中的样本形成预测值。残余值表示原始块的像素与经预测样本值之间的差异。特定而言，视频数据的原始块包含样本值阵列，且经预测块包含经预测像素值阵列。残余值表示原始块的样本值与经预测样本值之间的逐样本差。
用于视频数据块的预测技术通常分类为帧内预测及帧间预测。帧内预测或空间预测通常涉及根据同一图片中的相邻的、先前经译码块的像素值预测块。帧内预测或时间预测通常涉及根据一或多个先前经译码图片的像素值预测块。包含基于调色板的译码技术及帧内块复制技术的其它预测技术可用于译码屏幕内容(例如，屏幕内容译码(SCC))。
图1为说明可利用本发明的技术的一实例视频编码及解码系统10的框图。如图1中所示，系统10包含提供待(例如)在近实时或稍后通过目的地装置14解码的经编码视频数据的源装置12。特定而言，源装置12通过计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含台式计算机、笔记型计算机(即，膝上型计算机)、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、平板计算机、电视、相机、显示装置、数字媒体播放器、视频游戏主控台、视频流式发射装置或类似者。在一些情况下，源装置12和目的地装置14可经装备以供无线通信。因此，源装置12及目的地装置14可为无线通信装置。源装置12为实例视频编码装置(即，用于编码视频数据的装置)。目的地装置14为实例视频解码装置(即，用于解码视频数据的装置)。
在图1的实例中，源装置12包含视频源18、经配置以存储视频数据的存储媒体19、视频编码器20及输出接口24。目的地装置14包含输入接口26、经配置以存储经编码视频数据的存储媒体28、视频解码器30及显示装置32。在其它实例中，源装置12及目的地装置14包含其它组件或布置。举例来说，源装置12可从外部视频源(例如，外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。
图1所说明的系统10仅为一个实例。用于处理视频数据的技术可由任何数字视频编码和/或解码装置来执行。尽管本发明的技术通常由视频编码装置执行，但所述技术也可由视频编码器/解码器(通常被称为“编解码器(CODEC)”)执行。源装置12及目的地装置14仅为源装置12在其中产生经译码视频数据以供发射到目的地装置14的这类译码装置的实例。在一些实例中，源装置12及目的地装置14可以大体上对称方式操作，使得源装置12及目的地装置14中的每一者包含视频编码及解码组件。因此，系统10可支持源装置12与目的地装置14之间的单向或双向视频发射，例如用于视频流式发射、视频播放、视频广播或视频电话。
源装置12的视频源18可包含视频捕捉装置，例如摄像机、含有先前捕捉的视频的视频存档和/或用以从视频内容提供者接收视频数据的视频馈入接口。作为另一替代，视频源18可产生基于计算机图形的数据，作为源视频，或实况视频、经存档视频及计算机产生的视频的组合。源装置12可包括经配置以存储视频数据的一或多个数据存储媒体(例如，存储媒体19)。本发明中所描述的技术一般可适用于视频译码，且可应用于无线和/或有线应用。在每一情况下，可由视频编码器20编码所捕捉、预先捕捉或计算机产生的视频。输出接口24可将经编码视频信息输出到计算机可读媒体16。
目的地装置14可接收待由计算机可读媒体16解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移到目的地装置14的任何类型的媒体或装置。在一些实例中，计算机可读媒体16包括使得源装置12能够实时将经编码视频数据直接发射到目的地装置14的通信媒体。可根据通信标准(例如，无线通信协议)调制经编码视频数据，且将经编码视频数据发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理发射线。通信媒体可形成基于包的网络(例如，局域网、广域网或例如因特网的全域网络)的部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进源装置12到目的地装置14的通信的设备。目的地装置14可包括经配置以存储经编码视频数据及经解码视频数据的一或多个数据存储媒体。
在一些实例中，经编码数据可从输出接口24输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如，硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可通过流式发射或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)存取经编码视频数据。这种数据连接可包含适用于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)或两者的组合。来自存储装置的经编码视频数据的发射可为流式发射、下载发射或其组合。
所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如，空中电视广播、有线电视发射、卫星电视发射、因特网流式视频发射(例如，通过HTTP的动态自适应流式发射(DASH))、经编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持例如视频流式发射、视频播放、视频广播和/或视频电话的应用。
计算机可读媒体16可包含暂时性媒体(例如，无线广播或有线网络发射)或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，且(例如)通过网络发射将经编码视频数据提供到目的地装置14。类似地，媒体产生设施(例如光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且产生含有经编码视频数据的光盘。因此，在各种实例中，可理解计算机可读媒体16包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口26从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20的视频编码器20定义的语法信息，所述语法信息也供视频解码器30使用，所述语法信息包含描述块及其它经译码单元(例如，图片群组(GOP))的特性和/或处理的语法元素。存储媒体28可存储通过输入接口26接收的经编码视频数据。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如，阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30各自可实施为多种合适编码器或解码器电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可集成为相应装置中的组合式编码器/解码器(编解码器)的部分。
在一些实例中，视频编码器20及视频解码器30可根据视频译码标准(例如现有或未来标准)来操作。实例视频译码标准包含但不限于：ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(还被称作ISO/IEC MPEG-4AVC)，包含其可扩展视频译码(SVC)及多视图视频译码(MVC)扩展。另外，已通过ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)开发新的视频译码标准(即，高效视频译码(HEVC)或ITU-TH.265)，包含其范围及屏幕内容译码扩展、3D视频译码(3D-HEVC)及多视图扩展(MV-HEVC)及可调式扩展(SHVC)。
在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。图片还可被称为“帧”。图片可包含三个样本阵列，表示为SL、SCb及SCr。SL为明度样本的二维阵列(即，块)。SCb为Cb彩度(chrominance)样本的二维阵列。SCr为Cr彩度样本的二维阵列。彩度样本还可在本文中被称作“色度(chroma)”样本。在其它例项中，图片可为单色的且可仅包含明度样本的阵列。
为产生图片的经编码表示，视频编码器20可产生译码树型单元(CTU)的集合。CTU中的每一者可包括明度样本的译码树型块、色度样本的两个对应译码树型块及用以对译码树型块的样本译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单一译码树型块及用以对译码树型块的样本译码的语法结构。译码树型块可为样本的N×N块。CTU还可被称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含以光栅扫描次序连续排序的整数数目个CTU。
本发明可使用术语“视频单元”或“视频块”或“块”以指代一或多个样本块及用于译码一或多个样本块的样本的语法结构。视频单元的实例类型可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分区，等等。在一些情形中，对PU的论述可与对宏块或宏块分区的论述互换。视频块的实例类型可包含译码树型块、译码块及视频数据的其它类型的块。
为产生经译码CTU，视频编码器20可对CTU的译码树型块递回地执行四叉树分割，以将译码树型块划分成译码块，因此命名为“译码树型单元”。译码块为样本的N×N块。CU可包括明度样本的译码块及具有明度样本阵列、Cb样本阵列及Cr样本阵列的图片的色度样本的两个对应译码块，以及用以对译码块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单一译码块及用以对译码块的样本进行译码的语法结构。
视频编码器20可将CU的译码块分割成一或多个预测块。预测块为其上应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括明度样本的预测块、色度样本的两个对应预测块及用以对预测块进行预测的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单一预测块及用以对预测块进行预测的语法结构。视频编码器20可产生用于CU的每一PU的预测块(例如，明度预测块、Cb预测块及Cr预测块)的预测性块(例如，明度预测性块、Cb预测性块及Cr预测性块)。
视频编码器20可使用帧内预测或帧间预测以产生用于PU的预测性块。如果视频编码器20使用帧内预测以产生PU的预测性块，那么视频编码器20可基于包含PU的图片的经解码样本产生PU的预测性块。
在视频编码器20产生用于CU的一或多个PU的预测性块(例如，明度预测性块、Cb预测性块及Cr预测性块)之后，视频编码器20可产生用于CU的一或多个残余块。举例来说，视频编码器20可产生用于CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中的对应样本之间的差异。另外，视频编码器20可产生用于CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20还可产生用于CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四叉树分割以将CU的残余块(例如，明度残余块、Cb残余块及Cr残余块)分解成一或多个变换块(例如，明度变换块、Cb变换块及Cr变换块)。变换块为其上应用相同变换的样本的矩形(即，正方形或非正方形)块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可具有明度变换块、Cb变换块及Cr变换块。TU的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个单独色彩平面的图片中，TU可包括单一变换块及用以对变换块的样本进行变换的语法结构。
视频编码器20可将一或多个变换应用于TU的变换块以产生用于TU的系数块。举例来说，视频编码器20可将一或多个变换应用于TU的明度变换块，以产生用于TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为纯量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生用于TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生用于TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化所述系数块。量化大体上指代量化变换系数以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化变换系数的语法元素。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。
视频编码器20可输出包含经编码视频数据的位流。举例来说，位流可包括形成经译码图片及相关联数据的表示的位序列。因此，位流包括视频数据的经编码表示。位流可包括网络抽象层(NAL)单元的序列。NAL单元为含有对NAL单元中的数据类型的指示及含所述数据的字节的语法结构，所述字节呈原始字节序列有效负载(RBSP)形式，视需要与防伪位穿插。NAL单元中的每一者可包含NAL单元标头且囊封RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。通过NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有囊封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。
视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可剖析位流以从位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素重建视频数据的图片。重建视频数据的过程可大体上与由视频编码器20执行的过程互逆。举例来说，视频解码器30可使用PU的运动向量，以确定用于当前CU的PU的预测性块。另外，视频解码器30可反量化当前CU的TU的系数块。视频解码器30可对系数块执行反变换，以重建当前CU的TU的变换块。通过将用于当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可重建当前CU的译码块。通过重建图片的每一CU的译码块，视频解码器30可重建图片。
在一些实例中，视频编码器20可使用合并模式或高级运动向量预测(AMVP)模式用信号发送使用帧间预测编码的PU的运动信息。换句话说，在HEVC中包含用于预测运动参数的两种模式，一种为合并模式且另一种为AMVP。运动预测可包括基于一或多个其它视频单元的运动信息确定视频单元(例如，PU)的运动信息。PU的运动信息可包含PU的运动向量、PU的参考索引及预测方向。
当视频编码器20使用合并模式用信号发送当前PU的运动信息时，视频编码器20产生合并候选列表。换句话说，视频编码器20可执行运动向量预测子列表构建过程。合并候选列表包含指示在空间上或时间上邻近当前PU的PU的运动信息的合并候选的集合。即，在合并模式中，在候选可来自于空间及时间相邻块的情况下构建运动参数(例如，参考索引、运动向量等)的候选列表。
此外，在合并模式中，视频编码器20可从合并候选列表选择合并候选，且可将通过所选择的合并候选所指示的运动信息用作当前PU的运动信息。视频编码器20可用信号发送所选择的合并候选的合并候选列表中的定位。举例来说，视频编码器20可通过将索引发射到候选列表中而用信号发送所选择的运动向量参数。视频解码器30可从位流获得候选列表中的索引(即，候选列表索引)。另外，视频解码器30可产生相同的合并候选列表，且可基于所选择的合并候选的定位的指示确定所选择的合并候选。接着，视频解码器30可使用所选择的合并候选的运动信息，以产生用于当前PU的预测性块。视频解码器30可至少部分地基于候选列表索引确定候选列表中的所选择的候选，其中所选择的候选指定用于当前PU的运动向量。以这种方式，在解码器侧处，一旦解码索引，那么可由当前PU继承索引所指向的对应块的所有运动参数。
可将跳过模式视为合并模式的特殊情况。在跳过模式中，视频编码器20及视频解码器30以与视频编码器20及视频解码器30在合并模式中使用合并候选列表相同的方式，产生及使用合并候选列表。然而，当视频编码器20使用跳过模式用信号发送当前PU的运动信息时，视频编码器20并不用信号发送当前PU的任何残余数据。因此，视频解码器30可在未使用残余数据的情况下，基于由合并候选列表中所选择的候选的运动信息所指示的参考块，确定用于PU的预测性块。
AMVP模式类似于合并模式，这是因为视频编码器20可产生候选列表，且可从候选列表选择候选。然而，当视频编码器20使用AMVP模式用信号发送当前PU的参考图片列表(RefPicListX)运动信息时，除用信号发送用于当前PU的RefPicListX MVP标志以外，视频编码器20可用信号发送用于当前PU的RefPicListX MVD及用于当前PU的RefPicListX参考索引。用于当前PU的RefPicListX MVP标志可指示AMVP候选列表中的所选择的AMVP候选的定位。用于当前PU的RefPicListX MVD可指示当前PU的RefPicListX运动向量与所选择的AMVP候选的运动向量之间的差异。以这种方式，视频编码器20可通过用信号发送RefPicListX MVP标志、RefPicListX参考索引值及RefPicListX MVD而用信号发送当前PU的RefPicListX运动信息。换句话说，位流中表示用于当前PU的运动向量的数据可包含表示参考索引、对候选列表的索引及MVD的数据。
此外，当使用AMVP模式用信号发送当前PU的运动信息时，视频解码器30可从位流获得用于当前PU及MVP标志的MVD。视频解码器30可产生相同的AMVP候选列表，且可基于MVP标志确定所选择的AMVP候选。视频解码器30可通过将MVD添加到由所选择的AMVP候选所指示的运动向量而恢复当前PU的运动向量。即，视频解码器30可基于通过所选择的AMVP候选及MVD所指示的运动向量，确定当前PU的运动向量。接着，视频解码器30可使用当前PU的一或多个经恢复运动向量，以产生用于当前PU的预测性块。
在时间上邻近当前PU(即，与当前PU处于不同时间例项的PU)的基于PU的运动信息的合并候选列表或AMVP候选列表中的候选可被称为时间运动向量预测子(TMVP)。为确定TMVP，视频译码器(例如，视频编码器20和/或视频解码器30)可首先识别包含与当前PU共同定位的PU的参考图片。换句话说，视频译码器可识别经共同定位的图片。如果当前图片的当前切片为B切片(即，允许包含经双向帧间预测PU的切片)，那么视频编码器20可在切片标头中用信号发送指示经共同定位图片来自哪一参考图片列表(例如，RefPicList0或RefPicList1)的语法元素(例如，collocated_from_l0_flag)。在视频解码器30识别包含经共同定位的图片的参考图片列表之后，视频解码器30可使用(可在切片标头中用信号发送的)另一语法元素(例如，collocated_ref_idx)，以识别经识别参考图片列表中的经共同定位的图片。
视频译码器可通过检查通过参考图片索引(例如，如通过collocated_ref_idx语法元素所指示)识别的参考图片识别经共同定位的PU。TMVP可指示含有经共同定位的PU的CU的右下PU的运动信息，或含有所述PU的CU的中心PU内的右下PU的运动信息。含有经共同定位的PU的CU的右下PU可为直接覆盖PU的预测块的右下样本的右下方处的位置的PU。换句话说，TMVP可指示位于参考图片中，且覆盖与当前PU的右下角共同定位的位置的PU的运动信息，或TMVP可指示位于参考图片中，且覆盖与当前PU的中心共同定位的位置的PU的运动信息。
当通过以上过程识别的运动向量用于产生用于合并模式或AMVP模式的运动候选时，可基于(由图片次数计数(POC)值反映的)时间位置按比例调整运动向量。举例来说，相比在当前图片与参考图片的POC值之间的差较少时，在当前图片与参考图片的POC值之间的差较大时，视频译码器可将运动向量的量值增加较大量。在HEVC中，序列参数集(SPS)包含sps_enable_temporal_mvp_flag语法元素。sps_enable_temporal_mvp_flag语法元素指定是否可使用时间运动向量预测子。
许多应用(例如远程桌面、远程游戏、无线显示器、车用信息娱乐、云计算或类似者)在日常个人生活中逐渐普及。这些应用中的视频内容通常为固有内容、文本、人工图形及类似者的组合。在文本及人工图形中，内容的一或多个区可包含经常存在的重复模式(举几个例子，例如特性、图标及符号)。帧内块复制(BC)为使得能够去除这类冗余的技术，由此潜在地改进图片内译码效率。以HEVC范围扩展标准(其已移至HEVC的屏幕内容译码(SCC)扩展)采用帧内BC过程。
为使用帧内BC技术预测当前视频数据块，视频译码器可确定块向量，所述块向量识别在与当前视频数据块相同的图片内的视频数据的预测性块(即，先前经译码视频数据的块)。作为一个实例，视频编码器可选择所述预测性块作为被发现紧密地匹配当前视频数据块的先前经译码视频数据的块，且产生指示预测性块相对于当前块的位置的块向量。作为另一实例，视频解码器可接收指示预测性块相对于当前块的位置的块向量的指示。
对于使用帧内BC译码的当前译码单元(CU)，视频编码器20可从同一图片中的搜索区获得预测信号(其还可为被称作“预测块”)。在一些情况下，视频编码器20可编码向量(例如，块向量106)，其指示从当前CU移位的预测块的位置。在一些实例中，块向量可指示预测块的左上角相对于当前CU的左上角位置的位置。在一些情况下，块向量还可被称为偏移向量、移位向量或运动向量。视频编码器20还可编码指示当前视频块的像素值与预测性块中的预测性样本之间的差异的残余数据。
一般来说，帧内BC译码模式可被认为是帧间预测的特殊形式。不同于帧间预测，帧内BC译码技术从同一图片获得预测性块，而非从其它图片获得预测性块。然而，不同于帧间预测，帧内BC不使用时间运动向量预测子。这是因为在帧内BC中，参考图片为当前图片。
在HEVC SCC规范的先前版本中，R.Joshi等人，“高效视频译码(HEVC)屏幕内容译码：草案6(High Efficiency Video Coding(HEVC)Screen Content Coding:Draft 6)”，ITU-T SG 16WP 3及ISO/IEC JTC 1/SC 29/WG 11的视频译码联合合作小组(JCT-VC)，第23次会议：美国，圣地亚哥，2016年2月19日到26日(下文中的“JCTVC-W1005-v1”)，切片分段标头可包含slice_temporal_mvp_enabled_flag语法元素及collocated_ref_idx语法元素。slice_temporal_mvp_enabled_flag的值指示切片分段标头是否包含特定语法元素(包含collocated_ref_idx语法元素)，如用于切片分段标头的语法表的以下部分中所展示。
Figure BDA0001819049370000121
来自JCTVC-W1005-v1的章节7.4.7.1的以下文本描述slice_temporal_mvp_enabled_flag：
slice_temporal_mvp_enabled_flag指定时间运动向量预测子是否可用于帧间预测。如果slice_temporal_mvp_enabled_flag等于0，那么当前图片的语法元素将受约束，使得无时间运动向量预测子用于解码当前图片。否则(slice_temporal_mvp_enabled_flag等于1)，时间运动向量预测子可用于解码当前图片。当不存在时，推断slice_temporal_mvp_enabled_flag的值等于0。
currLayerId等于当前NAL单元的nuh_layer_id。当slice_temporal_mvp_enabled_flag及TemporalId两者等于0时，解码次序在当前图片之后的所有经译码图片(其中nuh_layer_id等于currLayerId)的语法元素将受约束，使得没有来自解码次序在当前图片之前的任一图片(其中nuh_layer_id等于currLayerId)的时间运动向量用于解码解码次序在当前图片之后的任何经译码图片。
附注1-当slice_temporal_mvp_enabled_flag在I切片中等于0时，其对图片的标准化解码过程无影响，但仅表达位流约束。
附注2-当slice_temporal_mvp_enabled_flag在TemporalId等于0的切片中等于0时，解码器可清空用于在经解码图片缓冲器中nuh_layer_id等于currLayerId的所有参考图片的“运动向量存储”。
JCTVC-W1005-v1的以下文本描述collocated_from_l0_flag语法元素及collocated_ref_idx语法元素：
collocated_from_l0_flag等于1指定用于时间运动向量预测的并置图片是从参考图片列表0导出。collocated_from_l0_flag等于0指定用于时间运动向量预测的并置图片是从参考图片列表1导出。当collocated_from_l0_flag不存在，推断其等于1。
collocated_ref_idx指定用于时间运动向量预测的并置图片的参考索引。
当slice_type等于P时或当slice_type等于B且collocated_from_l0_flag等于1时，collocated_ref_idx指代列表0中的一图片，且collocated_ref_idx的值将在0到num_ref_idx_l0_active_minus1的范围内(包含端点)。
当slice_type等于B且collocated_from_l0_flag等于0时，collocated_ref_idx指代列表1中的一图片，且collocated_ref_idx的值将在0到num_ref_idx_l1_active_minus1的范围内(包含端点)。
当collocated_ref_idx不存在时，推断collocated_ref_idx的值等于0。
位流一致性的要求为collocated_ref_idx参考的图片对于经译码图片的所有切片应相同且不应为当前图片本身。
一般来说，slice_temporal_mvp_enabled_flag指示使用时间运动向量预测子是否为切片所允许。如果时间运动向量预测子为切片所允许，那么collocated_ref_idx语法元素的值为用于时间运动向量预测的参考图片的索引。
JCTVC-W1005-v1的条项7.4.7.1定义语法元素collocated_ref_idx的语义，包含如下值推断及位流一致性约束：
当不存在时，推断collocated_ref_idx的值等于0。
位流一致性的要求为collocated_ref_idx参考的图片对于经译码图片的所有切片应为相同的且不应为当前图片本身。
所述位流一致性约束可能对位流造成一些不必要的限制，可能影响译码效率。作为一实例，考虑当前图片中的切片使用两个时间参考图片T0及T1(其中T0和/或T1可为或可不为当前图片本身)。还考虑在当前图片中存在两个切片。如通过JCTVC-W1005-v1所定义，如果slice_temporal_mvp_enabled_flag针对各切片采用值0，那么推断collocated_ref_idx的值针对各切片为0。在这种情况下，JCTVC-W1005-v1的位流一致性约束禁止针对切片的参考图片列表(RPL)的以下布置：
Figure BDA0001819049370000141
这是因为为0的collocated_ref_idx指向切片0的T0及切片1的T1。因此，可能需要使用参考图片重定序或一些其它机制以使得两个切片的RPL中的第一条目相同。当slice_temporal_mvp_enabled_flag的值为0(即，时间预测子不用于切片)时，这可能不必要且可能浪费位。在这种情况下，在不使用时间预测子时，collocated_ref_idx及collocated_ref_idx参考的图片对经重建图片无影响，且因此含有所述时间预测子的参考图片的索引对那些特定切片无用。
JCTVC-W1005-v1的位流约束可能不必要的另一实例是当至少一个I切片存在于图片中时。请注意在HEVC的一些实例中，I切片不准许将当前图片用作参考，这是因为仅使用帧内预测译码I切片：
Figure BDA0001819049370000142
再次，在这种情况下，将推断collocated_ref_idx的值为0。对于I切片，由于不存在参考图片列表，甚至不定义collocated_ref_idx指向的图片，且当然不使用所述图片。因此，位流一致性约束的一致性检查在这个实例中是不可能的。
JCTVC-W1005-v1的位流约束可能不必要的另一实例是当存在至少一个I切片(帧内切片类型)的图片且slice_temporal_mvp_enabled_flag等于1(即，允许时间预测子)时，如下：
Figure BDA0001819049370000151
在这种情况下，针对P切片类型(P帧间切片类型)导出并置图片(例如，如collocated_ref_idx的值所指示)且不针对I切片类型进行定义，因此不可能执行一致性检查。P切片类型为可使用单向帧间预测和/或帧内预测译码的切片。B切片类型(B帧间切片类型)为可使用单向帧间预测、双向帧间预测和/或帧内预测译码的切片。
一般来说，就HEVC的一些实例提议(包含JCTVC-W1005-v1的实例)中的当前一致性检查而言，所有位流不一致，这是因为位流始终具有至少一个I切片。因此，不可能使用JCTVC-W1005-v1的约束执行并置图片一致性检查。
鉴于前述，本发明仅在语法元素的那些例项对解码过程有影响的情况下描述语法元素(及从所述语法元素导出的变量)的位流一致性检查。对于变量及语法元素不影响解码结果的那些情况，不执行位流一致性检查。
举例来说，对于并置参考图片索引语法元素一致性检查(例如，对collocated_ref_idx语法元素的位流一致性检查)，视频编码器20和/或视频解码器30可经配置以排除参数(例如，collocated_ref_idx语法元素)对解码过程无影响或不改变来自一致性检查的解码输出的情况。即，视频编码器20和/或视频解码器30可仅在下文定义的情境中执行一致性检查。
在一个实例中，本发明提出修改位流一致性约束，使得其仅在slice_temporal_mvp_enabled_flag等于1时(即，当时间运动向量预测子为切片所允许时)适用，如下：
当slice_temporal_mvp_enabled_flag等于1时，位流一致性的要求为collocated_ref_idx参考的图片对于经译码图片的所有切片应为相同的，且collocated_ref_idx参考的图片不应为当前图片本身。
在这个实例中，当时间运动向量预测子为切片所允许时，视频编码器20和/或视频解码器30可仅对collocated_ref_idx的值执行位流一致性检查。当时间运动向量预测子不为切片所允许时，视频编码器20和/或视频解码器30不执行一致性检查。视频编码器20和/或视频解码器30可执行位流一致性检查以验证特定切片的collocated_ref_idx的值指向与所有其它切片的collocated_ref_idx相同的图片。应注意由于参考图片列表管理过程，collocated_ref_idx可具有针对不同切片的不同值，但仍然可指向同一参考图片。即，不同切片可以不同次序向参考图片指配索引值。位流一致性检查还验证collocated_ref_idx的值不参考当前图片本身。
视频编码器20可经配置以在产生用于各切片标头的collocated_ref_idx的值之后执行位流一致性检查。换句话说，视频编码器20可经配置以执行位流一致性检查以验证视频编码器20指配给collocated_ref_idx的值符合预定义位流一致性的准则。这种过程可用于上文所定义的位流一致性约束或用于如下描述的实例中的任一者。
视频解码器30可经配置以对所接收的经编码视频位流执行位流一致性检查。在视频解码器30接收且解析切片标头以确定(无论所接收或所推断的)collocated_ref_idx语法元素的值之后，视频解码器30可将用于特定切片的collocated_ref_idx语法元素的值与用于同一图片的其它切片的collocated_ref_idx语法元素的值进行比较以验证所述值符合预定义一致性约束(例如，用于图片的所有collocated_ref_idx语法元素指向同一参考图片)。如果视频解码器30确定位流通过一致性检查，那么视频解码器30可继续正常解码。如果视频解码器30确定位流未通过一致性检查，那么视频解码器30可记录误差。视频解码器30可仍然试图解码位流，即使不满足位流一致性检查。
在另一实例中，本发明提出修改位流一致性约束，使得视频编码器20和/或视频解码器30考虑切片类型(例如，切片类型语法元素的值)及slice_temporal_mvp_enabled_flag的值两者，如下：
位流一致性的要求为collocated_ref_idx参考的图片对于经译码图片的所有切片应相同，对于所述图片slice_temporal_mvp_enabled_flag的值等于1且slice_type不等于2。另外，当slice_temporal_mvp_enabled_flag的值等于1时，collocated_ref_idx参考的图片不应为当前图片本身。
在这个实例中，当时间运动向量预测子为切片所允许时且当切片类型不为帧内切片类型时，视频编码器20和/或视频解码器30可仅对collocated_ref_idx的值执行位流一致性检查。当时间运动向量预测子不为切片所允许时或当切片类型为帧内切片类型时，视频编码器20和/或视频解码器30不执行一致性检查。如JCTVC-W1005-v1中所定义，具有值2的语法元素slice_type指示帧内切片类型(I切片)。因此，视频编码器20施加约束，即collocated_ref_idx将仅对于切片类型为P或B(例如，非帧内)且slice_temporal_mvp_enabled_flag的值等于1(即，时间运动向量预测子经启用)的切片参考同一图片。如上文所论述，视频解码器30可对所接收的视频编码位流执行相同一致性检查。
当slice_temporal_mvp_enabled_flag的值等于0(即，不启用时间运动向量预测子)时，collocated_ref_idx参考的图片不影响经重建图片。因此，仅当slice_temporal_mvp_enabled_flag的值等于1时，collocated_ref_idx参考的图片不应为当前图片。
如上文所论述，在JCTVC-W1005-v1中，在collocated_ref_idx的语义中的条项7.4.7.1中，存在位流一致性约束，其表述：
位流一致性的要求为collocated_ref_idx参考的图片对于用于经译码图片的所有切片应相同且不应为当前图片本身。
这种约束暗示如果存在仅具有(最终)参考图片列表(RPL)中的当前图片的切片，那么slice_temporal_mvp_enabled_flag将为0。由于位流一致性的要求也为图片中的所有切片具有slice_temporal_mvp_enabled_flag的相同值，其暗示如果存在仅具有用于图片的所有切片的(最终)RPL中的当前图片的至少一个切片，那么slice_temporal_mvp_enabled_flag的值将为0。以上表述为真，即使如本发明的先前实例中所指定修改位流一致性约束。
在HEVC的一些实例中，根据slice_temporal_mvp_enabled_flag的语义，如果用于图片的TemporalId为0，那么相同层中解码次序稍后的图片不应在解码次序中的当前图片之前使用来自图片的时间运动向量预测子。这可允许解码器(例如，视频解码器30)清除解码次序中的稍早图片的运动向量信息。先前(根据HEVC标准的稍早版本)视频编码器可出于抗误码目的控制是否启用运动向量信息的清除且在译码效率与抗误码之间制造优化权衡。通过JCTVC-W1005-v1的所提出技术，每当当前图片含有仅具有(最终)参考图片列表(RPL)中的当前图片的至少一个切片时，失去这种可挠性。为保持可挠性，视频编码器将必须包含除到RPL中的当前图片以外的一些图片。在期望仅具有指向当前图片本身的有源参考索引的情况下，添加一些其它图片到RPL中将不必要地需要用信号发送块层级处的参考索引且因此产生相当大的译码负担。
鉴于前文，本发明提出以下额外技术。如下修改collocated_ref_idx的语义中的JCTVC-W1005-v1的条项7.4.7.1中的位流一致性约束。以下文本展示对JCTVC-W1005-v1的HEVC SCC规范进行实例改变和/或对上文所描述的所述技术中的一些进行改变。经插入文本展示在<insert>与</insert>标记之间。缺失文本展示在<delete>与</delete>标记之间。
<insert>当slice_temporal_mvp_enabled_flag等于1</insert>时，位流一致性的要求为collocated_ref_idx参考的图片对于经译码图片<delete>的所有切片应相同且不应为当前图片本身</delete>。
在另一实例中，可如下改变上文所描述的经修改位流一致性约束：
位流一致性的要求为collocated_ref_idx参考的图片对于经译码图片的所有切片应相同，对于所述图片slice_temporal_mvp_enabled_flag的值等于1且slice_type不等于2<delete>，且另外，当slice_temporal_mvp_enabled_flag的值等于1时，collocated_ref_idx参考的图片不应为当前图片本身</delete>。
另外，如果collocated_ref_idx参考当前图片，那么时间运动向量预测候选被视为不可用。这可通过对JCTVC-W1005-v1进行以下改变来实现：
8.5.3.2.8用于时间明度运动向量预测的推导过程
对所述过程的输入为：
-指定相对于当前图片的左上明度样本的当前明度预测块的左上样本的明度定位(xPb、yPb)，
-指定明度预测块的宽度及高度的两个变量nPbW及nPbH，
-参考索引refIdxLX(其中X为0或1)。
所述过程的输出为：
-运动向量预测mvLXCol，
-可用性标志availableFlagLXCol。
变量currPb指定明度位置(xPb、yPb)处的当前明度预测块。
如下导出变量mvLXCol及availableFlagLXCol：
-如果slice_temporal_mvp_enabled_flag等于0，那么将mvLXCol的两个分量设定为等于0且将availableFlagLXCol设定为等于0。
<insert>否则，如果参考图片为当前图片，那么将mvLXCol的两个分量设定为等于0且将availableFlagLXCol设定为等于0</insert>。
-否则(slice_temporal_mvp_enabled_flag等于1)，应用以下经定序步骤：
...
在其它实例中，可如下修改用于并置图片的一致性检查。可以任何组合一起执行以下实例。
在一个实例中，可在JCTVC-W1005-v1中修改collocated_ref_idx语法元素的定义以列举：<insert>当不存在且slice_type不等于2时，推断collocated_ref_idx的值等于0</insert>。当切片类型为I(即，slice_type等于2)时，视频编码器20和/或视频解码器30不推断并置参考索引且不针对并置参考索引执行一致性检查。换句话说，当用于切片的切片类型不为帧内切片时，视频编码器20和/或视频解码器30经配置以执行一致性检查。
在本发明的另一实例中，当需要并置图片且并置图片在解码过程中相关时，视频编码器20和/或视频解码器30经配置以仅对collocated_ref_idx语法元素的值执行一致性检查。视频编码器20和/或视频解码器30经配置以使得collocated_ref_idx语法元素能够通过一致性检查的方式推导用于切片的collocated_ref_idx语法元素的值。举例来说，视频编码器20和/或视频解码器30可经配置以推导针对图片中的I切片推导的某一并置图片。这种并置图片不为I切片所需要，但其对于所有切片将为相同的，且因此满足一致性检查。不管slice_temporal_mvp_enabled_flag的值如何，并置图片不为I切片所需要，且当slice_temporal_mvp_enabled_flag等于0(即，不允许时间运动向量预测子)时，不为非I切片所需。
在本发明的另一实例中，视频编码器20和/或视频解码器30可经配置以仅针对在slice_temporal_mvp_enabled_flag等于1(即，启用时间运动向量预测子)且图片的切片的切片类型为除I切片类型(例如，slice_type不等于2)以外的类型时的情况对collocated_ref_idx执行一致性检查。
在本发明的另一实例中，视频编码器20和/或视频解码器30可经配置以仅针对在slice_temporal_mvp_enabled_flag等于1(即，启用时间运动向量预测子)且图片的切片的切片类型为除I切片类型(例如，slice_type不等于2)以外的类型，且切片具有除当前图片以外的参考图片时的情况对collocated_ref_idx执行一致性检查。如果当前图片仅为参考图片，那么不管slice_temporal_mvp_enabled_flag的值如何，其可不为并置图片。在这种情况下，视频编码器20和/或视频解码器30可经配置以不针对这类切片对collocated_ref_idx执行一致性检查。
在本发明的另一实例中，视频编码器20和/或视频解码器30可经配置以仅针对在并置图片用于切片的解码过程或在切片解码输出中具有影响时的情况对collocated_ref_idx执行一致性检查。如果视频编码器20和/或视频解码器30经配置以推导并置图片，但不使用切片中的并置图片，那么视频编码器20和/或视频解码器30可经配置以跳过针对这种图片的参考索引(例如，collocated_ref_idx)的一致性检查。
在本发明的另一实例中，视频编码器20和/或视频解码器30可经配置以仅针对经推导并置图片对collocated_ref_idx执行一致性检查。如果视频编码器20和/或视频解码器30不推导用于一些切片的并置图片，那么视频编码器20和/或视频解码器30可不对collocated_ref_idx执行一致性检查。
在本发明的另一实例中，视频编码器20和/或视频解码器30可经配置以在slice_temporal_mvp_enabled_flag等于1时(即，当启用时间运动向量预测子时)仅针对切片对collocated_ref_idx执行一致性检查。
在JCTVC-W1005-v1中，图片内的一些切片可仅将当前图片用作参考，然而同一图片中的其它切片可将时间图片以及当前图片用作参考。对于将除当前图片外的图片用作参考的切片，允许使用时间运动向量预测(mvp)候选(例如，时间运动向量预测子)可为合意的(来自译码效率观点)。这暗示语法元素slice_temporal_mvp_enabled_flag对于这种切片应具有等于1的值(即，启用时间运动向量预测子)。根据JCTVC-W1005-v1，标准化要求为slice_temporal_mvp_enabled_flag的值对于经译码图片的所有切片分段标头应相同。因此，如果经译码图片的一个切片使用时间mvp候选，那么slice_temporal_mvp_enabled_flag对于经译码图片的所有切片分段标头应具有值1。
在另一方面，JCTVC-W1005-v1指定collocated_ref_idx指示并置图片的参考索引用于时间运动向量预测。如上文所论述，JCTVC-W1005-v1指示位流一致性的要求为collocated_ref_idx参考的图片对于经译码图片的所有切片应相同且不应为当前图片本身。
基于对slice_temporal_mvp_enabled_flag及collocated_ref_idx语法元素的约束，JCTVC-W1005-v1暗示如果切片中的一者仅具有作为参考的当前图片，那么标准化要求为针对切片禁用时间运动向量预测，或等效地针对切片的slice_temporal_mvp_enabled_flag具有值0。这随后暗示对于图片的所有切片分段标头，slice_temporal_mvp_enabled_flag具有值0。
因此，根据JCTVC-W1005-v1，如果图片的切片中的一者仅将当前图片用作参考，那么标准化要求为针对所述图片中的所有切片禁用时间运动向量预测。即，对于图片的所有切片分段标头，slice_temporal_mvp_enabled_flag具有值0。如上文所提及，这可导致译码效率中的损耗。
候补方案(但从译码效率观点来看效率较低)为对于仅将当前图片用作参考的切片，引入额外时间参考以满足JCTVC-W1005-v1的当前约束。视频编码器可避免使用额外的时间参考，而不影响以当前规范用信号发送任何运动向量的能力。然而，在这种情境下，需要用信号发送而非推断参考索引，由此导致译码效率的损耗。
本发明的技术使得能够针对使用时间参考图片的切片使用时间运动向量预测。因此，本发明描述可逐切片基础决定时间MVP的用途，且视频编码器20和/或视频解码器30可作出针对同一图片的不同切片不同地使用时间MVP的确定。另外，本发明描述对于具有slice_temporal_mvp_enabled_flag等于1的同一图片内的切片，collocated_ref_idx将为相同的。如下文所描述修改对slice_temporal_mvp_enabled_flag及collocated_ref_idx的标准化要求。
举例来说，视频编码器20可编码视频数据。在这个实例中，视频编码器20可编码视频数据的图片的第一切片。另外，在这个实例中，视频编码器20可编码同一图片的第二切片。作为编码第一切片的部分，视频编码器20可在用于第一切片的切片标头中包含指示针对第一切片启用时间运动向量预测的语法元素。作为编码第二切片的部分，视频编码器20可在用于第二切片的切片标头中包含指示针对第二切片禁用时间运动向量预测的语法元素。(切片分段标头还可被称作切片标头。)因此，视频编码器20可包含图片的切片的切片标头中的指示针对图片的切片中的一些而不是切片中的其它各者启用时间运动向量预测的语法元素。在本发明的一些实例中，对于启用时间运动向量预测的图片的各切片，视频编码器20在位流中包含指示用于时间运动向量预测的同一参考图片的语法元素(例如，collocated_ref_idx)。
视频解码器30可解码经编码视频数据。作为解码经编码视频数据的部分，视频解码器30可从视频数据的图片的第一切片的切片标头获得指示针对第一切片启用时间运动向量预测的语法元素(例如，slice_temporal_mvp_enabled_flag)。另外，在这个实例中，视频解码器30可从同一图片的第二切片的切片标头获得指示针对切片禁用时间运动向量预测的语法元素(例如，slice_temporal_mvp_enabled_flag)。
当针对切片启用时间运动向量预测时，视频译码器(例如，视频编码器20或视频解码器30)可使用时间运动向量预测以确定当前图片的切片的当前块(例如，PU)的运动参数(例如，一或多个运动向量及参考索引)。举例来说，视频译码器可确定指定时间参考图片(例如，具有来自当前图片的不同图片次序计数(POC)值的图片或来自当前图片的不同存取单元中的图片)中的块的运动参数的候选(例如，合并模式候选或AMVP候选)。如上文所描述，视频译码器可使用运动预测子列表(例如，合并候选列表或AMVP候选列表)中的所选择的候选以确定当前块的运动参数。视频译码器可使用当前块的运动参数以确定用于当前块的预测性块。作为编码当前块的部分，视频编码器20可使用预测性块以产生残余数据。如本发明中的其它处所描述，视频编码器20可在位流中包含基于残余数据的数据。作为解码当前块的部分，视频解码器30可使用预测性块及残余数据以重建当前块的样本。以这种方式，基于指示针对切片启用时间运动向量预测的语法元素，视频解码器30可使用时间运动向量预测以解码切片的块。当针对切片不启用(即禁用)时间运动向量预测时，视频译码器可不使用时间运动向量预测以译码(即，编码或解码)切片的任何块。
实例1
以下文本展示根据本发明的一或多种技术对JCTVC-W1005-v1进行实例改变。经插入文本展示在<insert>与</insert>标记之间。缺失文本展示在<delete>与</delete>标记之间。
7.4.7.1通用切片分段标头语义
如果存在，那么切片分段标头语法元素slice_pic_parameter_set_id、pic_output_flag、no_output_of_prior_pics_flag、slice_pic_order_cnt_lsb、short_term_ref_pic_set_sps_flag、short_term_ref_pic_set_idx、<insert>及</insert>num_long_term_sps、num_long_term_pics<delete>及slice_temporal_mvp_enabled_flag</delete>的值在经译码图片的所有切片分段标头中应相同。如果存在，那么切片分段标头语法元素lt_idx_sps[i]、poc_lsb_lt[i]、used_by_curr_pic_lt_flag[i]、delta_poc_msb_present_flag[i]及delta_poc_msb_cycle_lt[i]的值在用于各可能值i的经译码图片的所有切片分段标头中应相同。
...
<insert>位流一致性的要求为如果切片仅含有作为参考的当前图片，那么slice_temporal_mvp_enabled_flag将等于零。</insert>
...
在collocated_ref_idx的语义中：
位流一致性的要求为collocated_ref_idx参考的图片对于<insert>具有slice_temporal_mvp_enabled_flag等于1</insert>的经译码图片的所有切片应相同且不应为当前图片本身。
[规范片段的终止]
这为大部分通用情况，这是因为切片temporal_mvp_enabled_flag的值不存在限制，除在切片仅含有作为参考的当前图片的情况下外。
实例2
在这个第二实例中，对语法元素slice_temporal_mvp_enabled_flag施加额外约束。
7.4.7.1通用切片分段标头语义
如果存在，那么切片分段标头语法元素slice_pic_parameter_set_id、pic_output_flag、no_output_of_prior_pics_flag、slice_pic_order_cnt_lsb、short_term_ref_pic_set_sps_flag、short_term_ref_pic_set_idx、<insert>及</insert>num_long_term_sps、num_long_term_pics<delete>及slice_temporal_mvp_enabled_flag</delete>的值在经译码图片的所有切片分段标头中应相同。如果存在，那么切片分段标头语法元素lt_idx_sps[i]、poc_lsb_lt[i]、used_by_curr_pic_lt_flag[i]、delta_poc_msb_present_flag[i]及delta_poc_msb_cycle_lt[i]的值在各可能的值i的经译码图片的所有切片分段标头中应相同。
<insert>如果存在，那么切片分段标头语法元素slice_temporal_mvp_enabled_flag的值在使用除当前图片以外的参考图片的经译码图片的切片的所有切片分段标头中应相同。</insert>
<insert>位流一致性的要求为如果切片仅含有作为参考的当前图片，那么slice_temporal_mvp_enabled_flag将等于零。</insert>
...
在collocated_ref_idx的语义中：
位流一致性的要求为collocated_ref_idx参考的图片对于<insert>具有slice_temporal_mvp_enabled_flag等于1</insert>的经译码图片的所有切片应相同且不应为当前图片本身。
实例3
在一些实例中，可如下修改先前实施例中所提及的约束。
<insert>如果存在，那么切片分段标头语法元素slice_temporal_mvp_enabled_flag的值在经译码图片的切片(其不为I切片类型)的所有切片分段标头中应相同。</insert>
在另一替代性实例中，
<insert>如果存在，那么切片分段标头语法元素slice_temporal_mvp_enabled_flag的值在明确地用信号发送(不推断)slice_temporal_mvp_enabled_flag的经译码图片的切片的所有切片分段标头中应相同。</insert>
实例4
替代地，当切片仅含有作为参考的当前图片时，不用信号发送语法元素slice_temporal_mvp_enabled_flag。作为一实例，如果切片含有不为当前图片的至少一个参考图片，那么将变量sliceContainsTemporalRefPic设定为等于1。
Figure BDA0001819049370000231
Figure BDA0001819049370000241
在一些例项中，可一起使用本发明的实例中的两种或多于两种。在其它例项中，单独地使用本发明的实例。
图2为说明可实施本发明中所描述的一致性约束检查技术的任何组合的一实例视频编码器的框图。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减小或去除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测或视图间预测以减小或去除视频序列的邻近帧或图片内的视频中的冗余。帧内模式(I模式)可指代若干基于空间的压缩模式中的任一者。帧间模式(例如，单向预测(P模式)或双向预测(B模式))可包含若干基于时间的压缩模式中的任一者。视频编码器20还可经配置以利用用于来自同一图片内的视频数据的预测性块的视频数据的块的帧内预测的模式，例如帧内BC模式，如本文所描述。
在图2的实例中，视频编码器20包含分割单元35、预测处理单元41、经重建区域存储器64、滤波处理单元66、参考图片存储器68、残余产生单元50、变换处理单元52、量化处理单元54及熵编码单元56。预测处理单元41包含运动估计单元42、运动补偿单元44、帧内预测处理单元46及帧内块复制(帧内BC)单元48。对于视频块重建，视频编码器20还包含反量化处理单元58、反变换处理单元60及求和器62。
在各种实例中，可给视频编码器20的单元分派任务以执行本发明的技术。而且，在一些实例中，本发明的技术可在视频编码器20的单元中的一或多者中进行划分。举例来说，预测处理单元41可单独或与视频编码器的其它单元组合执行本发明的技术，例如运动估计单元42、运动补偿单元44、帧内预测处理单元46、经重建区域存储器64及熵编码单元56。
如上文所描述，视频编码器20可经配置以在产生用于各切片标头的collocated_ref_idx的值之后执行位流一致性检查。换句话说，视频编码器20可经配置以执行位流一致性检查以验证视频编码器20指配给collocated_ref_idx的值符合预定义位流一致性的准则。这个过程可用于上文所定义的位流一致性约束。
在一个实例中，视频编码器20可经配置以编码视频数据的当前图片，且产生用于当前图片的一或多个切片的相应并置参考图片索引语法元素。视频编码器20可经进一步配置以仅对一或多个切片中不具有帧内切片类型且启用时间运动向量预测子的切片执行位流一致性检查。所述位流一致性检查约束相应并置参考图片索引语法元素的值，使得每一相应并置参考图片索引语法元素指向同一图片且不参考当前图片本身。
如图2中所展示，视频编码器20接收视频数据，且分割单元35将数据分割成视频块。这种分割还可包含分割成切片、图像块或其它较大单元以及例如根据LCU及CU的四叉树结构分割的视频块。视频编码器20通常说明编码待编码的视频切片内的视频块的组件。可将切片划分成多个视频块(且可能划分成被称作图像块的视频块集合)。
对于基于速率失真结果(例如，译码位速率及失真的层级)的当前视频块，预测处理单元41可选择多个可能的译码模式中的一者，例如多个帧内译码模式中的一者、多个帧间译码模式中的一者或根据本发明中所描述的技术的帧内BC模式。预测处理单元41可将所得预测性块提供给残余产生单元50以产生残余块数据且提供给求和器62以重建供例如作为参考图片的其它视频块的预测使用的当前块。
预测处理单元41内的帧内预测处理单元46可执行当前视频块相对于与待译码的当前块相同的图片或切片中的一或多个相邻块的帧内预测性译码，以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44执行当前视频块相对于一或多个参考图片中的一或多个预测性块的帧间预测性译码，(例如)以提供时间压缩。
运动估计单元42可经配置以根据视频序列的预定图案来确定用于视频切片的帧间预测模式。运动估计单元42及运动补偿单元44可高度集成，但出于概念目的而单独说明。由运动估计单元42执行的运动估计为产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的移位。类似地，根据本发明的技术用于帧内BC的块向量指示当前视频讯框或图片内的视频块的PU相对于相同讯框或图片内的预测性块的移位。帧内BC单元48可以类似于通过运动估计单元42确定运动向量来进行帧间预测的方式确定用于帧内BC译码的向量(例如，块向量)，或可利用运动估计单元42确定所述块向量。
(例如)通过运动估计单元42和/或用于帧间预测或帧内BC预测的帧内BC单元48识别的预测性块为包含就像素差而言被发现紧密地匹配待译码视频块的PU的预测块中的样本的块。在一些实例中，运动估计单元42和/或帧内BC单元48可基于绝对差总和(SAD)、平方差总和(SSD)和/或其它差异度量来确定像素差。在一些实例中，视频编码器20可计算存储于参考图片存储器68中的参考图片或存储于经重建区域存储器64中的当前图片的经重建区域的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42和/或帧内BC单元48可执行预测性块相对于全像素位置及分数像素位置的检索，且输出具有分数像素精确度的向量。
运动估计单元42可通过比较PU的位置与参考图片的预测性块的位置而计算经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0或RefPicList0)或第二参考图片列表(列表1或RefPicList1)，所述列表中的每一者识别存储于参考图片存储器68中的一或多个参考图片。运动估计单元42将所计算运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44所执行的运动补偿可涉及基于由运动估计所确定的运动向量而提取或产生预测性块，从而可能执行子像素精确度的内插。在接收到视频块的PU的运动向量之后，运动补偿单元44可在参考图片列表中的一者中定位运动向量所指向的预测性块。
在一些实例中，帧内BC单元48可以类似于上文关于运动估计单元42及运动补偿单元44所描述的方式产生向量并提取预测性块，但其中预测性块与当前块在同一图片或帧中，且所述向量被称作与运动向量相对的块向量。在其它实例中，帧内BC单元48可整体或部分地使用运动估计单元42及运动补偿单元44以根据本文所描述的技术执行用于帧内BC预测的这类功能。在任一状况下，对于帧内BC，预测性块可为就像素差而言被发现紧密地匹配待译码的块的块，所述像素差可由绝对差总和(SAD)、平方差总和(SSD)或其它差度量确定，且所述块的识别可包含计算子整数像素位置的值。
无论预测性块是来自根据帧内BC预测的同一图片还是根据帧间预测的不同图片，视频编码器20可通过从经译码当前视频块的样本值减去预测性块的样本值(例如，像素值)而形成样本差值来形成残余视频块。样本差形成用于块的残余数据，且可包含明度分量差及色度分量差两者。残余产生单元50表示执行这种减法运算的一或多个组件。在一些实例中，与直接地执行减法以形成样本差相反，残余产生单元50可执行操作以模拟减法运算(即，使得结果与减法相同，但不需减法的计算复杂度)。以这种方式，残余产生单元50可减少帧内BC译码的计算复杂度。
帧内BC单元48和/或运动补偿单元44还可产生与视频块及视频切片相关联的语法元素以供由视频解码器(例如视频解码器30)用于解码视频切片的视频块。所述语法元素可包含(例如)定义用以识别预测性块的向量的语法元素、指示预测模式的任何标志或关于本发明的技术描述的任何其它语法。
帧内预测处理单元46可对当前块进行帧内预测，作为由运动估计单元42及运动补偿单元44执行的帧间预测或由帧内BC单元48执行的帧内BC预测的替代方案，如上文所描述。特定而言，帧内预测处理单元46可确定用于编码当前块的帧内预测模式。在一些实例中，帧内预测处理单元46可(例如)在单独编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测处理单元46(或在一些实例中为预测处理单元41)可从所测试模式选择用以使用的适当帧内预测模式。举例来说，帧内预测处理单元46可使用对于各种所测试帧内预测模式的速率-失真分析来计算速率-失真值，并在所测试模式中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析大体上确定经编码块与原始未经编码块(其经编码以产生经编码块)之间的失真(或误差)量，以及用以产生经编码块的位速率(即，位的数目)。帧内预测处理单元46可根据各种经编码块的失真及速率计算比率以确定哪一帧内预测模式展现所述块的最佳速率-失真值。
在任何情况下，在选择用于块的帧内预测模式之后，帧内预测处理单元46可将指示用于块的所选择帧内预测模式的信息提供到熵编码单元56。熵编码单元56可根据本发明的技术编码指示所选择帧内预测模式的信息。视频编码器20可在所发射的位流中包含配置数据，其可包含以下各者：多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(还称作码字映射表)；各种块的编码上下文的定义；及待用于所述上下文中的每一者的最有可能的帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示。
在预测处理单元41通过帧间预测、帧内预测或帧内BC预测产生当前视频块的预测性块之后，视频编码器20通过(例如)由残余产生单元50从当前视频块减去预测性块形成残余视频块。残余块中的残余视频数据可包含于一或多个TU中且应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似的变换将残余视频数据变换为残余变换系数。变换处理单元52可将残余视频数据从像素域转换到变换域(例如，频域)。
变换处理单元52可将所得变换系数发送到量化处理单元54。量化处理单元54量化变换系数以进一步减小位率。量化过程可减小与所述系数中的一些或所有相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化处理单元54可接着对包含经量化变换系数的矩阵执行扫描。替代地，熵编码单元56可执行所述扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应性可变长度译码(CAVLC)、上下文自适应性二进制算术译码(CABAC)、基于语法的上下文自适应性二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。熵编码单元56可执行用于二进制化且用于根据帧内BC模式预测的编码语法元素(包含向量分量、标志及其它语法元素)的本文所描述的所述技术中的任一者。在由熵编码单元56进行熵编码之后，可将经编码位流发射到视频解码器30，或加以存档以供稍后由视频解码器30发射或检索。
反量化单元58及反变换处理单元60分别应用反量化及反变换以重建像素域中的残余块，以供稍后用作用于其它视频块的预测的参考块。运动补偿单元44和/或帧内BC单元48可通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动补偿单元44和/或帧内BC单元48还可将一或多个内插滤波器应用于经重建残余块以计算供运动估计使用的子整数像素值。
求和器62可将所述重建的残余块添加到由运动补偿单元44和/或帧内BC单元48产生的运动补偿预测块以产生经重建的视频块。经重建区域存储器64根据视频编码器20对当前视频块的帧内BC的经重建区域(例如，帧内BC单元48)的定义存储经重建的视频块，如本文所描述。经重建区域存储器64可存储未通过滤波处理单元66回路内滤波的经重建的视频块。求和器62可将经重建的视频块提供给与经重建区域存储器64并联的滤波处理单元66，或经重建区域存储器64可在不再需要用于帧内BC的经重建区域时将经重建的视频块释放到滤波处理单元66。在任一情况下，帧内BC单元48可检索经重建区域存储器64中的经重建的视频块以找到与当前视频块相同的图片内的预测性视频块以预测当前视频块。
滤波处理单元66可对经重建的视频块执行回路内滤波。回路内滤波可包含解块滤波以对块边界进行滤波以从经重建视频去除块效应伪影。回路内滤波还可包含SAO滤波以改进经重建视频。经重建块(其中的一些可经回路内滤波)可作为参考图片存储于参考图片存储器68中。参考图片可包含可通过运动估计单元42及运动补偿单元44用作预测性块的经重建块以帧间预测随后视频讯框或图片中的块。
图3为说明可实施本发明中所描述的一致性约束检查技术的任何组合的一实例视频解码器30的框图。在图3的实例中，视频解码器30包含熵解码单元80、预测处理单元81、反量化处理单元86、反变换处理单元88、求和器90、经重建区域存储器92、滤波处理单元94及参考图片存储器96。预测处理单元81包含运动补偿单元82、帧内预测处理单元84及帧内块复制(帧内BC)单元85。在一些实例中，视频解码器30可执行与关于来自图2的视频编码器20所描述的编码遍次大体上互逆的解码遍次。
在各种实例中，可给视频解码器30的单元分派任务以执行本发明的技术。而且，在一些实例中，本发明的技术可在视频解码器30的单元中的一或多者中进行划分。举例来说，帧内BC单元85可单独或与视频解码器30的其它单元组合执行本发明的技术，所述单元例如运动补偿单元82、帧内预测处理单元84、经重建区域存储器92及熵解码单元80。
如上文所描述，视频解码器30可经配置以对所接收的经编码视频位流执行位流一致性检查。在视频解码器30接收且解析切片标头以确定(无论所接收或推断的)collocated_ref_idx语法元素的值之后，视频解码器30可将用于特定切片的collocated_ref_idx语法元素的值与用于同一图片的其它切片的collocated_ref_idx语法元素值进行比较以验证所述值符合预定义一致性约束。如果视频解码器30确定位流通过一致性检查，那么视频解码器30可继续正常解码。如果视频解码器30确定位流未通过一致性检查，那么视频解码器30可记录误差。视频解码器30可仍然试图解码位流，即使不满足位流一致性检查。
在本发明的一个实例中，视频解码器30可经配置以接收视频数据的经编码当前图片，且接收用于经编码当前图片的一或多个切片的相应并置参考图片索引语法元素。视频解码器30可经进一步配置以仅对一或多个切片中不具有帧内切片类型且启用时间运动向量预测子的切片执行位流一致性检查。所述位流一致性检查确定每一相应并置参考图片索引语法元素是否指向同一图片且不参考经编码当前图片本身。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30的熵解码单元80熵解码位流以产生经量化系数、用于帧间预测的运动向量、用于帧内BC预测的块向量及本文所描述的其它语法元素。熵解码单元80可执行用于二进制化及用于根据帧内BC模式的预测编码语法元素(包含向量分量、标志及其它语法元素)的本文所描述的所述技术中的任一者的逆反。熵解码单元80将运动向量及其它语法元素转送到预测处理单元81。视频解码器30可获得序列层级、图片层级、视频切片层级和/或视频块层级的语法元素。
在一些实例中，熵解码单元80使用与供编码器20的熵编码单元56使用的编码过程大体上互逆的过程以编码块向量。举例来说，熵解码单元80可基于三个语法元素解码块向量的分量。
帧内BC单元80可基于所选择的块向量预测子候选及通过语法元素指示的差异(即，所选择的块向量预测子与用于当前块的块向量之间的差异)确定用于当前块的块向量的值。以这种方式，熵解码单元80及帧内BC单元80可解码经编码块向量。
当视频切片经译码为经帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于来自当前帧或图片的先前经解码块的经信号发送帧内预测模式及数据来产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B或P)切片时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量及其它语法元素产生当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可使用默认构建技术或任何其它技术基于存储于参考图片存储器96中的参考图片来构建参考帧列表RefPicList0及RefPicList1。当视频块根据本文中所描述的帧内BC模式进行译码时，预测处理单元81的帧内BC单元85基于从熵解码单元80所接收的块向量及其它语法元素产生当前视频块的预测性块。预测性块可在与由视频编码器20定义及从经重建区域存储器92检索的当前视频块相同的图片内的经重建区域内。
运动补偿单元82和/或帧内BC单元85通过解析向量及其它语法元素确定用于当前视频切片的视频块的预测信息，且使用预测信息产生用于正经解码的当前视频块的预测性块。举例来说，运动补偿单元82使用所接收语法元素中的一些以确定用以译码视频切片的视频块的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片或P切片)、用于所述切片的参考图片列表中的一或多者的构建信息、用于所述切片的每一经帧间编码视频块的运动向量、用于所述切片的每一经帧间译码视频块的帧间预测状态及用以解码当前视频切片中的视频块的其它信息。类似地，帧内BC单元85可使用所接收的语法元素中的一些(例如，标志)以确定使用帧内BC模式预测当前视频块、指示图片的哪些视频块在经重建区域内且应存储于经重建区域存储器92中的构建信息、用于切片的各帧内BC经预测视频块的块向量、用于切片的各经帧内BC预测的视频块的帧内BC预测状态及解码当前视频切片中的视频块的其它信息。
运动补偿单元82和/或帧内BC单元85还可基于内插滤波器执行内插。运动补偿单元82和/或帧内BC单元85可使用如由视频编码器20在视频块的编码期间使用的内插滤波器来计算预测性块的子整数像素的内插值。在这种情况下，运动补偿单元82及帧内BC单元85可根据所接收的语法元素确定供视频编码器20使用的内插滤波器且使用内插滤波器以产生预测性块。
反量化处理单元86反量化(即，解量化)位流中所提供且通过熵解码单元80解码的经量化变换系数。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数，以确定量化程度及(同样地)应该应用的反量化程度。反变换处理单元88对变换系数应用反变换(例如，反DCT、反整数变换或概念上类似的反变换过程)，以便产生像素域中的残余块。
在运动补偿单元82或帧内BC单元85基于向量及其它语法元素用于产生当前视频块的预测性块之后，视频解码器30通过将来自反变换处理单元88的残余块与由运动补偿单元82及帧内BC单元85所产生的对应预测性块求和，而形成经解码视频块。求和器90表示执行这种求和运算以产生经重建视频块的一或多个组件。
经重建区域存储器92存储根据视频编码器20对用于当前视频块的帧内BC的经重建区域的定义的经重建的视频块，如本文所描述。经重建区域存储器92可存储未通过滤波处理单元394回路内滤波的经重建的视频块。求和器90可将经重建的视频块提供给与经重建区域存储器92并联的滤波处理单元94，或经重建区域存储器92可在不再需要用于帧内BC的经重建区域时将经重建的视频块释放到滤波处理单元94。在任一情况下，帧内BC单元85从经重建区域存储器92检索用于当前视频块的预测性视频块。
滤波处理单元94可对经重建的视频块执行回路内滤波。回路内滤波可包含解块滤波以对块边界进行滤波以从经重建视频去除块效应伪影。回路内滤波还可包含SAO滤波以改进经重建视频。经重建块(其中的一些可回路内经滤波)可作为参考图片存储于参考图片存储器68中。参考图片可包含可通过运动补偿单元82用作预测性块的经重建块以帧间预测随后视频讯框或图片中的块。参考图片存储器96还存储经解码视频以用于稍后在显示装置(例如，图1的显示装置31)上呈现。
图4为说明本发明的一实例编码过程的流程图。可通过视频编码器20的一或多个硬件单元来执行图4的技术。
在本发明的一个实例中，视频编码器20可经配置以编码视频数据的当前图片(100)，且产生用于当前图片的一或多个切片的相应并置参考图片索引语法元素(102)。视频编码器20可经进一步配置以仅对一或多个切片中不具有帧内切片类型且启用时间运动向量预测子的切片执行位流一致性检查(104)。在一个实例中，所述位流一致性检查约束相应并置参考图片索引语法元素的值，使得每一相应并置参考图片索引语法元素指向同一图片且不参考当前图片本身。在本发明的另一实例中，视频编码器20可经配置以确定用于一或多个切片的切片类型，所述切片类型包含P帧间切片类型、B帧间切片类型或帧内切片类型中的一者，且确定是否针对用于一或多个切片的帧间预测启用时间运动向量预测子。
在本发明的另一实例中，视频编码器20可经配置以不对具有帧内切片类型的一或多个切片的切片或禁用时间运动向量预测子的一或多个切片的切片执行位流一致性检查。
在本发明的另一实例中，视频编码器20可经配置以产生用于对应切片的相应切片标头中的相应并置参考图片索引语法元素，且产生一或多个切片的相应切片标头中的经时间运动向量预测子启用的标志。在一个实例中，相应并置参考图片索引语法元素为相应collocated_ref_idx语法元素，且经时间运动向量预测子启用的标志为slice_temporal_mvp_enabled_flag。
在本发明的另一实例中，视频编码器20可经配置以使用将当前图片用作参考图片的帧间预测模式编码视频数据的当前图片的一或多个块。
在本发明的另一实例中，视频编码器20可经配置以在用于一或多个切片的第一切片的切片标头中包含指示针对第一切片启用时间运动向量预测子的语法元素，且在用于一或多个切片的第二切片的第二切片标头中包含指示针对第二切片禁用时间运动向量预测子的语法元素。
在本发明的另一实例中，视频编码器20可经配置以捕捉待编码视频数据的当前图片，且输出视频数据的经编码当前图片。
图5为说明本发明的一实例解码过程的流程图。可通过视频编码器的一或多个硬件单元来执行图4的技术。
在本发明的一个实例中，视频解码器30可经配置以接收视频数据的经编码当前图片(150)，且接收用于经编码当前图片的一或多个切片的相应并置参考图片索引语法元素(152)。视频解码器30可经进一步配置以仅对一或多个切片中不具有帧内切片类型且启用时间运动向量预测子的切片执行位流一致性检查(154)。在一个实例中，所述位流一致性检查确定每一相应并置参考图片索引语法元素是否指向同一图片且不参考经编码当前图片本身。在本发明的另一实例中，视频解码器30可经配置以确定用于一或多个切片的切片类型，所述切片类型包含P帧间切片类型、B帧间切片类型或帧内切片类型中的一者，且确定是否针对用于一或多个切片的帧间预测启用时间运动向量预测子。
在本发明的另一实例中，视频解码器30可经配置以不对具有帧内切片类型的一或多个切片的切片或禁用时间运动向量预测子的一或多个切片的切片执行位流一致性检查。
在本发明的另一实例中，视频解码器30可经配置以接收用于对应切片的相应切片标头中的相应并置参考图片索引语法元素，且接收一或多个切片的相应切片标头中的经时间运动向量预测子启用的标志。在本发明的一个实例中，相应并置参考图片索引语法元素为相应collocated_ref_idx语法元素，且经时间运动向量预测子启用的标志为slice_temporal_mvp_enabled_flag。
在本发明的另一实例中，视频解码器30可经配置以使用将当前图片用作参考图片的帧间预测模式解码视频数据的当前图片的一或多个块。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码而在一计算机可读媒体上存储或发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体或通信媒体，包含例如根据通信协议促进将计算机程序从一处传送到另一处的任何媒体。以这种方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可通过一或多个计算机或一或多个处理器存取以检索指令、代码和/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用以存储呈指令或数据结构形式的所要程序码且可由计算机存取的任何其它媒体。而且，任何连接适当地被称为计算机可读媒体。举例来说，如果使用同轴缆线、光缆、双绞线、数字用户线(DSL)或无线技术(例如红外线、无线电及微波)从网站、服务器或其它远程源发射指令，那么同轴缆线、光缆、双绞线、DSL或无线技术(例如红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实情为涉及非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘用激光以光学方式再生数据。上文各者的组合也应包含于计算机可读媒体的范围内。
指令可由一或多个处理器执行，所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适用于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码及解码的专用硬件和/或软件模块内，或并入于组合式编解码器中。再者，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，所述装置或设备包含无线手机、集成电路(IC)或IC集(例如，芯片集)。本发明中描述各种组件、模块或单元以强调经配置以执行所公开技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切而言，如上文所描述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合而结合合适的软件和/或固件来提供所述单元。
各种实例已予以描述。这些及其它实例在以下权利要求书的范围内。

Claims (23)

1.一种编码视频数据的方法，所述方法包括：
编码视频数据的当前图片；
产生用于所述当前图片的一或多个切片的相应并置参考图片索引语法元素；及
仅对所述一或多个切片中不具有帧内切片类型且还启用时间运动向量预测子的切片执行位流一致性检查，所述位流一致性检查约束所述相应并置参考图片索引语法元素的值，使得每一相应并置参考图片索引语法元素指向同一图片且不参考所述当前图片本身。
2.根据权利要求1所述的方法，其进一步包括：
确定用于所述一或多个切片的切片类型，所述切片类型包含P帧间切片类型、B帧间切片类型或所述帧内切片类型中的一者；及
确定是否针对用于所述一或多个切片的帧间预测启用所述时间运动向量预测子。
3.根据权利要求1所述的方法，其进一步包括：
不对所述一或多个切片中具有所述帧内切片类型的切片或所述一或多个切片中禁用所述时间运动向量预测子的切片执行所述位流一致性检查。
4.根据权利要求1所述的方法，其进一步包括：
产生用于对应切片的相应切片标头中的所述相应并置参考图片索引语法元素；及
产生所述一或多个切片的相应切片标头中的时间运动向量预测子经启用标志。
5.根据权利要求4所述的方法，其中所述相应并置参考图片索引语法元素为相应collocated_ref_idx 语法元素，及
其中所述时间运动向量预测子经启用标志为 slice_temporal_mvp_enabled_flag。
6.根据权利要求1所述的方法，其中编码视频数据的所述当前图片包括：
使用将所述当前图片用作参考图片的帧间预测模式编码视频数据的所述当前图片的一或多个块。
7.根据权利要求1所述的方法，其进一步包括：
在用于所述一或多个切片中的第一切片的切片标头中包含指示针对所述第一切片启用时间运动向量预测子的语法元素；及
在用于所述一或多个切片中的第二切片的第二切片标头中包含指示针对所述第二切片禁用时间运动向量预测子的语法元素。
8.根据权利要求1所述的方法，其进一步包括：捕捉待编码视频数据的所述当前图片；及输出视频数据的经编码当前图片。
9.一种经配置以编码视频数据的设备，所述设备包括：
存储器，其经配置以存储视频数据的当前图片；及
一或多个处理器，其经配置以：
编码视频数据的当前图片；
产生用于所述当前图片的一或多个切片的相应并置参考图片索引语法元素；及
仅对所述一或多个切片中不具有帧内切片类型且还启用时间运动向量预测子的切片执行位流一致性检查，所述位流一致性检查约束所述相应并置参考图片索引语法元素的值，使得每一相应并置参考图片索引语法元素指向同一图片且不参考所述当前图片本身。
10.根据权利要求9所述的设备，其中所述一或多个处理器经进一步配置以：
确定用于所述一或多个切片的切片类型，所述切片类型包含P帧间切片类型、B帧间切片类型或所述帧内切片类型中的一者；及
确定是否针对用于所述一或多个切片的帧间预测启用所述时间运动向量预测子。
11.根据权利要求9所述的设备，其中所述一或多个处理器经进一步配置以：
不对所述一或多个切片中具有所述帧内切片类型的切片或所述一或多个切片中禁用所述时间运动向量预测子的切片执行所述位流一致性检查。
12.根据权利要求9所述的设备，其中所述一或多个处理器经进一步配置以：
产生用于对应切片的相应切片标头中的所述相应并置参考图片索引语法元素；及
产生所述一或多个切片的相应切片标头中的时间运动向量预测子经启用标志。
13.根据权利要求12所述的设备，其中所述相应并置参考图片索引语法元素为相应collocated_ref_idx语法元素，及
其中所述时间运动向量预测子经启用标志为slice_temporal_mvp_enabled_flag。
14.根据权利要求9所述的设备，其中为编码视频数据的所述当前图片，所述一或多个处理器经进一步配置以：
使用将所述当前图片用作参考图片的帧间预测模式编码视频数据的所述当前图片的一或多个块。
15.根据权利要求9所述的设备，其中所述一或多个处理器经进一步配置以：
在用于所述一或多个切片中的第一切片的切片标头中包含指示针对所述第一切片启用时间运动向量预测子的语法元素；及
在用于所述一或多个切片中的第二切片的第二切片标头中包含指示针对所述第二切片禁用时间运动向量预测子的语法元素。
16.根据权利要求9所述的设备，其中所述一或多个处理器经进一步配置以：捕捉待编码视频数据的所述当前图片；及
输出视频数据的经编码当前图片。
17.一种非暂时性计算机可读存储媒体，其存储在执行时使经配置以编码视频数据的装置的一或多个处理器进行以下操作的指令：
编码视频数据的当前图片；
产生用于所述当前图片的一或多个切片的相应并置参考图片索引语法元素；及
仅对所述一或多个切片中不具有帧内切片类型且还启用时间运动向量预测子的切片执行位流一致性检查，所述位流一致性检查约束所述相应并置参考图片索引语法元素的值，使得每一相应并置参考图片索引语法元素指向同一图片且不参考所述当前图片本身。
18.一种经配置以解码视频数据的设备，所述设备包括：
存储器，其经配置以存储视频数据的经编码当前图片；及
一或多个处理器，其经配置以：
接收视频数据的所述经编码当前图片；
接收用于所述经编码当前图片的一或多个切片的相应并置参考图片索引语法元素；及
仅对所述一或多个切片中不具有帧内切片类型且还启用时间运动向量预测子的切片执行位流一致性检查，所述位流一致性检查确定每一相应并置参考图片索引语法元素是否指向同一图片且不参考所述经编码当前图片本身。
19.根据权利要求18所述的设备，其中所述一或多个处理器经进一步配置以：
确定用于所述一或多个切片的切片类型，所述切片类型包含P帧间切片类型、B帧间切片类型或所述帧内切片类型中的一者；及
确定是否针对用于所述一或多个切片的帧间预测启用所述时间运动向量预测子。
20.根据权利要求18所述的设备，其中所述一或多个处理器经进一步配置以：
不对所述一或多个切片中具有所述帧内切片类型的切片或所述一或多个切片中禁用所述时间运动向量预测子的切片执行所述位流一致性检查。
21.根据权利要求18所述的设备，其中所述一或多个处理器经进一步配置以：
接收用于对应切片的相应切片标头中的所述相应并置参考图片索引语法元素；及
接收所述一或多个切片的相应切片标头中的时间运动向量预测子经启用标志。
22.根据权利要求21所述的设备，其中所述相应并置参考图片索引语法元素为相应collocated_ref_idx 语法元素，及
其中所述时间运动向量预测子经启用标志为 slice_temporal_mvp_enabled_flag。
23.根据权利要求18所述的设备，其中所述一或多个处理器经进一步配置以：
使用将所述当前图片用作参考图片的帧间预测模式解码视频数据的所述当前图片的一或多个块。
CN201780022069.6A 2016-04-13 2017-04-12 用于在视频译码中的并置参考索引的一致性约束 Active CN109076235B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662322160P 2016-04-13 2016-04-13
US62/322,160 2016-04-13
US201662323467P 2016-04-15 2016-04-15
US62/323,467 2016-04-15
US15/484,879 2017-04-11
US15/484,879 US10834419B2 (en) 2016-04-13 2017-04-11 Conformance constraint for collocated reference index in video coding
PCT/US2017/027244 WO2017180766A1 (en) 2016-04-13 2017-04-12 Conformance constraint for collocated reference index in video coding

Publications (2)

Publication Number Publication Date
CN109076235A CN109076235A (zh) 2018-12-21
CN109076235B true CN109076235B (zh) 2022-08-05

Family

ID=60038634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780022069.6A Active CN109076235B (zh) 2016-04-13 2017-04-12 用于在视频译码中的并置参考索引的一致性约束

Country Status (9)

Country Link
US (1) US10834419B2 (zh)
EP (1) EP3443748B1 (zh)
JP (1) JP2019514292A (zh)
KR (1) KR102344823B1 (zh)
CN (1) CN109076235B (zh)
BR (1) BR112018070983A2 (zh)
RU (1) RU2733267C2 (zh)
TW (1) TW201803348A (zh)
WO (1) WO2017180766A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US11833684B2 (en) * 2017-02-25 2023-12-05 Diligent Robotics, Inc. Systems, apparatus, and methods for robotic learning and execution of skills
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
JP7248013B2 (ja) * 2018-03-30 2023-03-29 株式会社ソシオネクスト 復号方法、復号装置、符号化装置及びプログラム
KR20230169474A (ko) 2018-08-29 2023-12-15 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 서브블록 기반 시간적 모션 벡터 예측을 사용한 비디오 코딩의 방법 및 장치
US10848782B2 (en) 2018-09-21 2020-11-24 Tencent America LLC Method and apparatus for video coding
WO2020086317A1 (en) * 2018-10-23 2020-04-30 Tencent America Llc. Method and apparatus for video coding
CN111093073B (zh) 2018-10-24 2024-04-19 北京字节跳动网络技术有限公司 用于子块运动矢量预测的基于搜索的运动候选推导
CN113056920B (zh) * 2018-11-22 2024-05-24 北京字节跳动网络技术有限公司 基于子块的帧间预测的协调方法
WO2020125755A1 (en) 2018-12-21 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Motion vector range based on motion vector precision
CN118450141A (zh) * 2019-01-02 2024-08-06 Lg 电子株式会社 基于sbtmvp的帧间预测方法和设备
US11394971B2 (en) 2019-02-26 2022-07-19 Apple Inc. Image signal encoding/decoding method and device for same
SG11202109622QA (en) * 2019-03-09 2021-10-28 Tencent America LLC Method and apparatus for video coding
CN113647108A (zh) 2019-03-27 2021-11-12 北京字节跳动网络技术有限公司 基于历史的运动矢量预测
CN113812159B (zh) * 2019-05-14 2024-06-21 北京字节跳动网络技术有限公司 视频编解码中的缩放方法
JP7323641B2 (ja) * 2019-05-21 2023-08-08 北京字節跳動網絡技術有限公司 アフィンモードのための適応動きベクトル差分分解
US11601666B2 (en) * 2019-06-25 2023-03-07 Qualcomm Incorporated Derivation of temporal motion vector prediction candidates in video coding
WO2021027774A1 (en) 2019-08-10 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Subpicture dependent signaling in video bitstreams
JP7481430B2 (ja) 2019-08-13 2024-05-10 北京字節跳動網絡技術有限公司 サブブロックに基づくインター予測における動き精度
WO2021052505A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling in video processing
BR112022006694A2 (pt) * 2019-10-10 2022-07-26 Huawei Tech Co Ltd Codificador, decodificador e métodos correspondentes para simplificar sinalização de cabeçalho de imagem
WO2021068897A1 (en) * 2019-10-10 2021-04-15 Huawei Technologies Co., Ltd. Method and apparatus of harmonizing triangular merge mode with weighted prediction
WO2021079948A1 (en) * 2019-10-25 2021-04-29 Sharp Kabushiki Kaisha Systems and methods for signaling picture information in video coding
FI4044599T3 (fi) * 2019-11-05 2024-03-25 Lg Electronics Inc Kuva/videokoodausmenetelmä ja -laite
CA3163912A1 (en) * 2019-12-06 2021-06-10 Lg Electronics Inc. Method and apparatus for encoding/decoding image on basis of picture header including information relating to co-located picture, and method for transmitting bitstream
WO2021160168A1 (en) 2020-02-14 2021-08-19 Beijing Bytedance Network Technology Co., Ltd. Reference picture resampling activation in video coding
WO2021167757A1 (en) * 2020-02-19 2021-08-26 Bytedance Inc. Inferencing weight values for video components in a bitstream
KR20220160575A (ko) 2020-03-30 2022-12-06 바이트댄스 아이엔씨 비디오 코딩에서의 동일 위치 픽처에 대한 제약
KR20240074008A (ko) * 2020-03-31 2024-05-27 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서의 신택스 엘리먼트의 시그널링을 위한 방법 및 장치
WO2022170279A1 (en) 2021-02-08 2022-08-11 Diligent Robotics, Inc. Systems, apparatuses, and methods for robotic learning and execution of skills including navigation and manipulation functions

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651830A (zh) * 2008-08-15 2010-02-17 联发科技股份有限公司 编码系统与译码系统以及编码方法与译码方法
CN105308971A (zh) * 2013-06-03 2016-02-03 高通股份有限公司 假设的参考解码器模型和跨层随机存取跳过图片的一致性

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9497481B2 (en) 2010-02-09 2016-11-15 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
US20120230407A1 (en) 2011-03-11 2012-09-13 General Instrument Corporation Interpolation Filter Selection Using Prediction Index
SG10201505808YA (en) 2011-06-30 2015-09-29 Sony Corp Image processing device and image processing method
US9509999B2 (en) * 2013-06-11 2016-11-29 Qualcomm Incorporated Inter-layer prediction types in multi-layer video coding
WO2015006281A2 (en) * 2013-07-09 2015-01-15 Sony Corporation High level syntax improvement on inter-layer prediction for shvc/mv-hevc
KR101967398B1 (ko) * 2013-07-09 2019-04-09 노키아 테크놀로지스 오와이 모션 정보를 시그널링하기 위한 구문을 수반하는 비디오 코딩을 위한 방법 및 장치
MX348561B (es) 2013-07-12 2017-06-20 Sony Corp Aparato y método para la codificación de imágenes.
JP2015173404A (ja) 2014-03-12 2015-10-01 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651830A (zh) * 2008-08-15 2010-02-17 联发科技股份有限公司 编码系统与译码系统以及编码方法与译码方法
CN105308971A (zh) * 2013-06-03 2016-02-03 高通股份有限公司 假设的参考解码器模型和跨层随机存取跳过图片的一致性

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 6;Rajan Joshi等;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11；23rd Meeting: San Diego, USA, 19–26 February 2016；Document: JCTVC-W1005》;20160226;第27页第7节-第202页第8.7.3.2节最后一行 *

Also Published As

Publication number Publication date
TW201803348A (zh) 2018-01-16
CN109076235A (zh) 2018-12-21
EP3443748C0 (en) 2024-07-17
EP3443748A1 (en) 2019-02-20
RU2018135716A (ru) 2020-05-13
RU2733267C2 (ru) 2020-10-01
KR102344823B1 (ko) 2021-12-28
RU2018135716A3 (zh) 2020-05-13
KR20180133411A (ko) 2018-12-14
US20170302951A1 (en) 2017-10-19
US10834419B2 (en) 2020-11-10
EP3443748B1 (en) 2024-07-17
WO2017180766A1 (en) 2017-10-19
BR112018070983A2 (pt) 2019-01-29
JP2019514292A (ja) 2019-05-30

Similar Documents

Publication Publication Date Title
CN109076235B (zh) 用于在视频译码中的并置参考索引的一致性约束
US11431968B2 (en) Variable number of intra modes for video coding
US11051034B2 (en) History-based motion vector predictor
CN107690810B (zh) 确定用于视频译码的照明补偿状态的系统及方法
KR102658510B1 (ko) 비디오 코딩에서 양방향-예측을 제한하는 방법들 및 시스템들
US10178403B2 (en) Reference picture list construction in intra block copy mode
CN110089116B (zh) 通过光照补偿和整数运动向量限制进行编码优化
CN106105215B (zh) 将当前图片用作视频译码的参考
CN114205590B (zh) 对经译码的视频码流进行解码的方法，装置以及存储介质
CN109792542B (zh) 图像/视频译码中的所存储数据的存储量和带宽减小
US20150373362A1 (en) Deblocking filter design for intra block copy
US20130114717A1 (en) Generating additional merge candidates
US20170244966A1 (en) Weighted prediction for screen content coding and multi-layer coding
US20140086328A1 (en) Scalable video coding in hevc
KR20180016389A (ko) 비디오 코딩을 위한 조명 보상 상태를 결정하는 시스템들 및 방법들
WO2015106121A1 (en) Block vector coding for intra block copy in video coding
CN113287300B (zh) 针对照度补偿的块大小限制
KR102449889B1 (ko) 비디오 코딩을 위한 서브-블록 시간적 움직임 벡터 예측
CN113924772A (zh) 多层支持下视频译码中的帧间译码

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant