CN104641645A - 用于视频译码的交错视频数据的指示 - Google Patents

用于视频译码的交错视频数据的指示 Download PDF

Info

Publication number
CN104641645A
CN104641645A CN201380048474.7A CN201380048474A CN104641645A CN 104641645 A CN104641645 A CN 104641645A CN 201380048474 A CN201380048474 A CN 201380048474A CN 104641645 A CN104641645 A CN 104641645A
Authority
CN
China
Prior art keywords
instruction
video data
video
picture
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380048474.7A
Other languages
English (en)
Other versions
CN104641645B (zh
Inventor
王益魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104641645A publication Critical patent/CN104641645A/zh
Application granted granted Critical
Publication of CN104641645B publication Critical patent/CN104641645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提议用于编码及视频数据的技术。本发明的技术接收指示所接收的视频数据中的所有图片是否是经译码为帧图片的循序帧的第一指示。如果视频解码器不能够解码循序帧，那么可基于所述第一指示而拒绝所述视频数据。

Description

用于视频译码的交错视频数据的指示
本申请案要求2012年9月20日申请的美国临时申请案第61/703,662号及2012年9月27日申请的美国临时申请案第61/706,647号的权益，所述两个申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视机、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上计算机或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放机、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能手机”、视频电传会议装置、视频流装置，及其类似者。数字视频装置实施视频压缩技术，例如在由MPEG-2、MPEG-4、ITU-TH.263、ITU-T H.264/MPEG-4第10部分(高级视频译码(AVC))所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置可通过实施这些视频压缩技术来更有效地传输、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块，所述视频块还可被称作树型块、译码单元(CU)及/或译码节点。使用相对于在同一图片中的相邻块中的参考样本的空间预测来编码图片的帧内译码(I)切片中的视频块。图片的帧间译码(P或B)切片中的视频块可使用相对于在同一图片中的相邻块中的参考样本的空间预测或相对于在其它参考图片中的参考样本的时间预测。可将图片称作帧，且可将参考图片称作参考帧。
空间预测或时间预测导致译码用于块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差异的残余数据来编码帧间译码块。根据帧内译码模式及残余数据来编码帧内译码块。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可扫描最初布置成二维数组的经量化的变换系数以便产生变换系数的一维向量，且可应用熵译码以达成甚至更多压缩。
发明内容
一般来说，本发明描述用于用信号发送及使用视频数据是使用交错而译码的指示的技术。
根据本发明的一个实例，一种用于解码视频数据的方法包括：接收视频数据；接收指示所接收的视频数据中的所有图片是否是经译码为帧图片的循序帧的第一指示；以及根据所接收的第一指示来解码所接收的视频数据。
根据本发明的另一实例，一种用于编码视频数据的方法包括：编码视频数据；产生指示经编码视频数据中的所有图片是否是经译码为帧图片的循序帧的第一指示；以及在经编码视频位流中用信号发送所述第一指示。
还依据经配置以执行技术的设备以及存储使一或多个处理器执行技术的指令的计算机可读存储媒体来描述本发明的技术。
一或多个实例的细节阐述于随附图式及以下描述中。其它特征、目标及优势将从所述描述及所述图式以及从权利要求书显而易见。
附图说明
图1为说明可利用本发明中所描述的技术的实例视频编码及解码系统的框图。
图2A到2C为展示针对不同色度子取样格式的在顶场及底场中的取样位置的概念图。
图3为说明可实施本发明中所描述的技术的实例视频编码器的框图。
图4为说明可实施本发明中所描述的技术的实例视频解码器的框图。
图5为说明根据本发明的一个实例的实例视频编码方法的流程图。
图6为说明根据本发明的一个实例的实例视频解码方法的流程图。
具体实施方式
本发明描述用于用信号发送及使用视频数据是使用交错而译码的指示的技术。根据高效率视频译码(HEVC)标准而译码的位流可含有以下类型的经译码图片：
以帧图片而译码的循序帧(循序扫描视频)
以帧图片而译码的交错场(交错视频)
以场图片而译码的交错场(交错视频)
从以场图片而译码的循序帧提取的场(交错视频)
这些图片类型是通过视频可用性信息(VUI)参数集中的field_seq_flag及场指示补充增强信息(SEI)消息来指示。
然而，通过场指示SEI消息及VUI参数集来支持解码交错视频展现了若干缺陷。作为其中一个，可存在向后兼容性问题。即，一些解码器并不辨识或并不经配置以解码VUI及场指示SEI消息，且因此将忽略交错视频的指示且如同视频呈循序扫描格式来输出经解码图片。因此，所得视频质量可严重失真，从而产生拙劣的使用者体验。
作为另一缺陷，即使对于经配置以解码及剖析VUI及场指示SEI消息的解码器，一些符合的解码器仍可以某种方式实施以忽略所有SEI消息或仅处置所述SEI消息的子集，例如，对周期SEI消息及图片计时SEI消息进行缓冲。这些解码器还将忽略位流中的场指示SEI消息，且可发生同样严重失真的视频质量。
此外，许多视频客户端或播放机不实施解交错或其它信号处理能力，以适当地处置不同于以帧图片而译码的循序帧的图片的图片类型。由于不需要由符合的解码器来辨识或处理SEI消息，所以具有不辨识场指示SEI消息的符合HEVC的解码器的客户端或播放机将忽略此位流中的场指示SEI消息，且如同位流仅含有以帧图片而解码的循序帧的图片来译码及输出经解码图片。因此，所得视频质量可为次佳的。此外，即使对于具有确实辨识且能够处理场指示SEI消息的符合HEVC的解码器的客户端或播放机，仍必须检验所有存取单元以检查场指示SEI消息的缺乏，且在可得出所有图片为以帧图片而译码的循序帧的结论之前必须剖析及解译所有存在的场指示SEI消息。
鉴于这些缺陷且如下文将更详细描述，本发明的各种实例提议以下各者：
1)用信号发送经译码视频序列是否含有交错场或从循序帧提取的场的指示(例如，在配置文件、层及层级语法中的general_reserved_zero_16bits语法元素中)。
2)通过将progressive_source_flag从SEI消息移到VUI及通过从SEI消息移除field_pic_flag来简化场SEI消息语法，所述field_pic_flag始终等于VUI中的field_seq_flag。
图1为说明实例视频编码及解码系统10的框图，所述视频编码及译码系统10可利用本发明中所描述的技术。如图1中所展示，系统10包含源装置12，所述源装置12产生待由目的地装置14在稍后时间解码的经编码视频数据。源装置12及目的地装置14可包括广泛范围的装置中的任一者，所述装置包含台式计算机、笔记本(即，膝上计算机)、平板计算机、机顶盒、例如所谓的“智能”电话的电话手机、所谓的“智能”板、电视机、相机、显示装置、数字媒体播放机、视频游戏控制台、视频流装置，或其类似者。在一些状况下，可装备源装置12及目的地装置14以用于无线通信。
目的地装置14可通过链路16来接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括用以使得源装置12能够实时将经编码视频数据直接传输到目的地装置14的通信媒体。可根据通信标准(例如，无线通信协议)调制经编码视频数据，且将经编码视频数据传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一根或一根以上物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或例如因特网的全球网络)的部分。通信媒体可包含路由器、交换器、基站，或可用以促进从源装置12到目的地装置14的通信的任何其它装备。
替代地，可将经编码数据从输出接口22输出到存储装置32。类似地，可由输入接口从存储装置32来存取经编码数据。存储装置32可包含多种分布式或本地存取的数据存储媒体(例如，硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体)中的任一者。在另一实例中，存储装置32可对应于可保存由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可通过流传输或下载从存储装置32存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含web服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线频道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或两者的组合。经编码视频数据从存储装置32的传输可为流传输、下载传输或两者的组合。
本发明的技术未必限于无线应用或设定。可将所述技术应用于支持多种多媒体应用中的任一者的视频译码，所述多媒体应用例如空中电视广播、有线电视传输、卫星电视传输、流视频传输(例如，通过因特网)、供存储于数据存储媒体上的数字视频的编码、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输以支持例如视频流传输、视频播放、视频广播及/或视频电话的应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些状况下，输出接口22可包含调制器/解调器(调制解调器)及/或传输器。在源装置12中，视频源18可包含例如以下各者的源：视频俘获装置(例如，视频相机)、含有先前俘获的视频的视频封存档、用以从视频内容提供商接收视频的视频馈入接口，及/或用于产生计算机图形数据以作为源视频的计算机图形系统，或这些源的组合。作为一个实例，如果视频源18为视频相机，那么源装置12及目的装置14可形成所谓的相机电话或视频电话。然而，本发明中所描述的技术可一般适用于视频译码，且可应用于无线及/或有线应用。
可通过视频编码器20来编码经俘获、经预先俘获或经计算机产生的视频。经编码视频数据可通过源装置12的输出接口22而直接传输到目的地装置14。经编码视频数据还可(或替代地)存储到存储装置32上以供稍后由目的地装置14或其它装置存取，以用于解码及/或播放。
目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些状况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28通过链路16来接收经编码视频数据。通过链路16所传达或提供于存储装置32上的经编码视频数据可包含由视频编码器20产生以供视频解码器(例如，视频解码器30)用于解码视频数据的多种语法元素。可将这些语法元素包含于在通信媒体上传输、存储于存储媒体上或存储于文件服务器上的经编码视频数据中。
显示装置32可与目的地装置14集成或位于目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置且还可经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码视频数据，且可包括例如以下各者的多种显示装置中的任一者：液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
视频编码器20及视频解码器30可根据视频压缩标准(例如，目前由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)正在开发的高效率视频译码(HEVC)标准)来操作。HEVC的一个工作草案(WD)(且在下文中称作HEVC WD8)可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip获得。
HEVC标准的新近草案(称作“HEVC工作草案10”或“WD10”)描述于Bross等人的题目为“高效率视频译码(HEVC)文本规格草案10(FDIS与最后公告)(High efficiencyvideo coding(HEVC)text specification draft 10(for FDIS&Last Call))”的文件JCTVC-L1003v34(ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合协作小组(JCT-VC)在2013年1月14日到23日于瑞士日内瓦举行的第12次会议，所述文件从2013年7月26日起可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/ wg11/JCTVC-L1003-v34.zip下载)中。
HEVC标准的另一草案在本文中被称作“WD10修订版”，其描述于Bross等人的题目为“编辑者所提议的对HEVC版本1的校正(Editors′proposed corrections to HEVCversion 1)”(ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合协作小组(JCT-VC)在2013年4月于韩国仁川举行的第13次会议，所述文件从2013年7月26日起可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC- M0432-v3.zip获得)中。
视频编码器20及视频解码器30还可经配置成以某种文件格式来存储视频数据，或根据实时传送协议(RTP)格式或通过多媒体服务来传输数据。
文件格式标准包含：基于ISO的媒体文件格式(ISOBMFF、ISO/IEC 14496-12)；及从ISOBMFF导出的其它文件格式，包含MPEG-4文件格式(ISO/IEC 14496-14)、3GPP文件格式(3GPP TS 26.244)及高级视频译码(AVC)文件格式(ISO/IEC 14496-15)。当前，MPEG正开发对用于存储HEVC视频内容的AVC文件格式的修正案。此AVC文件格式修正案还被称作HEVC文件格式。
RTP有效负载格式包含RFC 6184(“H.264视频的RTP有效负载格式(RTP PayloadFormat for H.264Video)”)中的H.264有效负载格式、RFC 6190(“可调式视频译码的RTP有效负载格式(RTP Payload Format for Scalable Video Coding)”)中的可调式视频译码(SVC)有效负载格式，及许多其它有效负载格式。当前，因特网工程工作小组(IETF)正开发HEVC RTP有效负载格式。RFC 6184从2013年7月26日起可从http：//tools.ietf.org/html/rfc6184获得，其全部内容以引用的方式并入本文中。RFC 6190从2013年7月26日起可从http：//tools.ietf.org/html/rfc6190获得，其全部内容以引用的方式并入本文中。
3GPP多媒体服务包含通过HTTP的3GPP动态自适应流传输(3GP-DASH，3GPP TS26.247)、包交换流传输(PSS，3GPP TS 26.234)、多媒体广播及多播服务(MBMS，3GPP TS26.346)及通过IMS的多媒体电话服务(MTSI，3GPP TS 26.114)。
虽然图1中未展示，但在一些方面，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当MUX-DEMUX单元或其它硬件及软件，以处置共同数据流或单独数据流中的音频及视频两者的编码。如果适用，那么在一些实例中，MUX-DEMUX单元可遵照ITU H.223多路复用器协议或例如使用者数据报协议(UDP)的其它协议。
视频编码器20及视频解码器30可各自实施为例如以下各者的多种合适编码器电路中的任一者：一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分地以软件实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，其中的任一者可集成为相应装置中的组合式编码器/解码器(编解码器(CODEC))的部分。
JCT-VC已开发出HEVC标准。HEVC标准化努力是基于视频译码装置的演进模型，其被称作HEVC测试模型(HM)。HM设想视频译码装置相对于根据(例如)ITU-TH.264/AVC的现有装置的若干额外能力。例如，H.264提供九个帧内预测编码模式，而HM可提供多达三十三个帧内预测编码模式。
一般来说，HM的工作模型描述：视频帧或图片可划分成包含明度样本及色度样本两者的树型块或最大译码单元(LCU)的序列。树型块具有与H.264标准的宏块的目的类似的目的。切片包含按译码次序的数个连续树型块。可将视频帧或图片分割成一或多个切片。每一树型块可根据四叉树而分裂成若干译码单元(CU)。例如，树型块(作为四叉树的根节点)可分裂成四个子代节点，且每一子代节点又可为亲代节点且分裂成另外四个子代节点。最后未分裂的子代节点(作为四叉树的叶节点)包括译码节点，即，经译码视频块。与经译码位流相关联的语法数据可定义树型块可分裂的最大次数，且还可定义译码节点的最小大小。
CU包含译码节点及与所述译码节点相关联的若干预测单元(PU)及变换单元(TU)。CU的大小一般对应于译码节点的大小，且形状必须通常为正方形。CU的大小的范围可从8×8像素直到具有最大64×64像素或大于64×64像素的树型块的大小。每一CU可含有一或多个PU及一或多个TU。与CU相关联的语法数据可描述(例如)CU到一或多个PU的分割。分割模式可视CU是经跳过或直接模式编码、经帧内预测模式编码还是经帧间预测模式编码而不同。PU的形状可分割成非正方形。与CU相关联的语法数据还可描述(例如)CU根据四叉树到一或多个TU的分割。TU的形状可为正方形或非正方形。
HEVC标准允许根据TU的变换，所述变换对于不同CU可不同。通常基于针对经分割LCU所定义的给定CU内的PU的大小而设定TU大小，但可能不是始终如此状况。TU通常具有与PU相同的大小或小于PU。在一些实例中，可使用称为“残余四叉树”(RQT)的四叉树结构而将对应于CU的残余样本再分为更小的单元。RQT的叶节点可被称作变换单元(TU)。可变换与TU相关联的像素差值以产生可被量化的变换系数。
一般来说，PU包含与预测过程有关的数据。例如，当PU经帧内模式编码时，所述PU可包含描述所述PU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，所述PU可包含定义所述PU的运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
一般来说，TU用于变换及量化过程。具有一或多个PU的给定CU还可包含一或多个变换单元(TU)。在预测之后，视频编码器20可根据PU从由译码节点所识别的视频块来计算残余值。接着更新译码节点以参考残余值而不是原始视频块。所述残余值包括可使用变换及TU中所指定的其它变换信息而变换为变换系数、量化及扫描以产生供熵译码的串行化变换系数的像素差值。可再次更新译码节点以参考这些串行化变换系数。本发明通常使用术语“视频块”来指CU的译码节点。在一些特定状况下，本发明还可使用术语“视频块”来指包含一个译码节点以及若干PU及TU的树型块(即，LCU或CU)。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列视频图片中的一或多者。GOP可在GOP的标头、图片中的一或多者的标头中或在别处包含描述包含于GOP中的图片的数目的语法数据。图片的每一切片可包含描述所述相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而在大小方面不同。
作为实例，HM支持以各种PU大小进行预测。假定特定CU的大小为2N×2N，则HM支持以2N×2N或N×N的PU大小进行帧内预测，及以2N×2N、2N×N、N×2N或N×N的对称PU大小进行帧间预测。HM还支持以2N×nU、2N×nD、nL×2N及nR×2N的PU大小进行帧间预测的不对称分割。在不对称分割中，CU的一个方向未分割，而另一方向则分割成25％及75％。CU的对应于25％分割的部分由“n”继之以“上”、“下”、“左”或“右”的指示来指示。因此，例如，“2N×nU”是指在水平方向上以顶部2N×0.5N PU及底部2N×1.5N PU分割的2N×2N CU。
在本发明中，“N×N”与“N乘N”可互换地使用以指视频块在垂直尺寸与水平尺寸方面的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块在垂直方向上将具有16个像素(y＝16)且在水平方向上将具有16个像素(x＝16)。同样地，N×N块一般在垂直方向上具有N个像素且在水平方向上具有N个像素，其中N表示非负整数值。可按行及列来布置块中的像素。此外，块未必需要在水平方向上与在垂直方向上具有相同数目个像素。例如，块可包括N×M个像素，其中M未必等于N。
在使用CU的PU进行帧内预测性或帧间预测性译码之后，视频编码器20可计算应用有由CU的TU所指定的变换的残余数据。所述残余数据可对应于未经编码图片的像素与对应于CU的预测值之间的像素差。视频编码器20可形成CU的残余数据，且接着变换所述残余数据以产生变换系数。
在进行任何变换以产生变换系数之后，视频编码器20可执行变换系数的量化。量化一般指将变换系数量化以可能减少用以表示所述系数的数据的量从而提供进一步压缩的过程。所述量化过程可减小与所述系数中的一些或全部相关联的位深度。例如，可在量化期间将n位值下舍入到m位值，其中n大于m。
在一些实例中，视频编码器20可利用预定义的扫描次序来扫描经量化的变换系数，以产生可经熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器20可(例如)根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法而熵编码所述一维向量。视频编码器20还可熵编码与经编码视频数据相关联的语法元素以供视频解码器30用于解码视频数据。
为执行CABAC，视频编码器20可将上下文模型内的上下文指派给待传输的符号。所述上下文可能是关于(例如)符号的相邻值是否为非零。为执行CAVLC，视频编码器20可针对待传输的符号选择可变长度码。可将VLC中的码字建构成使得相对较短码对应于更有可能的符号，而较长码对应于较不可能的符号。以此方式，使用VLC可达成位节省(胜于(例如)针对待传输的每一符号使用等长码字)。概率确定可基于指派给符号的上下文而进行。
与循序扫描格式相对比，可以交错格式显示根据HEVC而译码的视频。在其它实例中，可将循序格式与HEVC一起使用。交错视频是由视频帧的在两个不同时间俘获的两个场组成。场是仅含有产生完整图像所需的行的一半的图像。显示帧中的每一奇数行(即，顶场)，且接着显示帧中的每一偶数行(即，底场)。循序扫描帧是顺序地显示所俘获视频的每一行(与交错视频中的仅奇数行或偶数行相对比)的视频帧。
针对HEVC的先前提议包含用于指示视频数据为交错视频的场指示补充增强信息(SEI消息)的规格。然而，用于通过SEI消息来指示基于HEVC的交错视频的现有方法存在多个缺陷。HEVC位流可含有呈一或多种交错格式的经译码图片，所述一或多种交错格式包含交错场图片、以帧图片而译码的交织场或从循序帧提取的场图片。然而，一些视频客户端或播放机(例如，视频解码器)未必装备有解交错或其它信号处理能力以适当地解码及/或显示这些图片。更确切来说，这些视频客户端或播放机可通常仅适当地解码及显示所有图片为以帧图片而译码的循序帧(即，循序扫描视频)的位流。
因为不需要由符合HEVC的解码器来辨识或处理SEI消息，所以具有不辨识场指示SEI消息的符合HEVC的解码器的客户端或播放机将忽略这些消息，且如同位流仅含有以帧图片而译码的循序帧的图片来解码及输出经解码的交错图片。因此，所得视频质量可为次佳的。此外，即使对于具有确实辨识且能够处理场指示SEI消息的符合HEVC的解码器的客户端或播放机，仍必须检验所有存取单元以检查场指示SEI消息的存在，且在可得出所有图片为以帧图片而译码的循序帧的结论之前必须剖析及解译所有存在的场指示SEI消息。由此，检测呈交错格式的视频是麻烦的且将复杂性添加到视频解码器。
其它缺陷是关于以文件格式、RTP有效负载及多媒体服务指示交错视频数据的存在。作为一个实例，针对HEVC文件格式的提议缺乏用以指示基于HEVC的交错视频的机制。在HEVC文件格式的当前设计及HEVC自身的当前设计的情况下，实施HEVC与HEVC文件格式两者但未装备有对交错视频的恰当处置能力(例如，解交错)的播放机(例如，解码器及显示器)可如同位流仅含有以帧图片而译码的循序帧(即，呈循序扫描格式)的图片来播放交错视频。此情形可产生非常拙劣的视频质量。
针对HEVC RTP有效负载格式的一个所提议设计还缺乏用以指示基于HEVC的交错视频的方式。在HEVC RTP有效负载格式的当前设计及HEVC自身的当前设计的情况下，实施HEVC与HEVC RTP有效负载格式两者的RTP发送器及RTP接收器将不能够关于基于HEVC的交错视频的使用而进行协商，且具有不同假定的两方可发生通信。例如，发送器可发送基于HEVC的交错视频，而接收器接受所述交错视频且如同位流仅含有以帧图片而译码的循序帧的图片来再现所述交错视频。对于流或多播应用(其中客户端基于包含内容的描述的会话描述协议(SDP)来决定是接受内容还是参加多播会话)，未装备有对交错视频的恰当处置能力(例如，解交错)的客户端可错误地接受内容且如同位流仅含有以帧图片而译码的循序帧的图片来播放交错视频。
鉴于这些缺陷，本发明呈现用于达成对视频数据是否包含交错视频数据的指示的改良发信号的技术。为解决涉及场指示SEI消息的第一缺陷，提供以下方法以使得解码器(例如，视频解码器30)或客户端(即，经配置以解码视频数据的任何装置或软件)能够确定位流是否仅含有经译码为帧图片的循序帧(即，呈循序扫描格式)的经译码图片，而无需使解码器能够辨识场指示SEI消息及/或无需使解码器处理位流中的所有场指示SEI消息以确定此条件。
出于此目的，本发明提议在经编码视频位流中用信号发送指示，例如，语法元素或旗标(general_progressive_frames_only_flag)。作为一个实例，general_progressive_frames_only_flag等于1指示所有图片以帧图片而译码的循序帧。general_progressive_frames_only_flag等于1还指示不存在场指示SEI消息。即，因为所有图片呈循序扫描格式，所以场指示SEI消息是不必要的，这是因为没有视频呈任何类型的SEI格式。general_progressive_frames_only_flag等于1等效于语法元素field_pic_seq等于0及语法元素progressive_source_flag等于1。语法元素field_pic_seq指示视频数据中的任一者是否以场而译码(即，交错视频，例如以场图片而译码的交错场或从以场图片而译码的循序帧提取的场)。语法元素progressive_source_flag指示视频数据中的任一者是否最初以循序扫描格式而译码。general_progressive_frames_only_flag等于0指示扫描类型可为交错型而不是循序型，或一些经译码图片可为经译码场图片而不是经译码帧图片。替代地，可交换旗标的值0及1的语义。应注意，general_progressive_frames_only_flag指示未必限于两位旗标，而是还可实施为多位语法元素。
可将general_progressive_frames_only_flag包含于经编码视频位流中的视频参数集(VPS)、序列参数集(SPS)或两者中。VPS及SPS为应用于零个或零个以上完整经译码视频序列的参数集。由此，包含于VPS或SPS中的general_progressive_frames_only_flag将分别应用于与VPS或SPS相关联的所有经译码视频序列。经译码视频序列为存取单元序列。通常，VPS将比SPS应用于更多经译码视频序列。
可直接将VPS及/或SPS中所包含的配置文件及层级信息(包含层信息)包含于较高系统层级中，例如，在基于ISO的媒体文件格式文件中的HEVC磁道的样本描述中、在会话描述协议(SDP)文件中，或在媒体呈现描述(MPD)中。基于配置文件及层级信息，客户端(例如，视频流客户端或视频电话客户端)可决定接受或选择待取用的内容或格式。由此，在一个实例中，可(例如)通过使用如HEVC WD8中所指定的保留字段(例如，general_reserved_zero_16bits字段及/或sub_layer_reserved_zero_16bits字段[i])中的一位以表示上文所提及的交错旗标来包含general_progressive_frames_only_flag作为配置文件及层级信息的部分。在确定视频扫描类型可为交错型而不是循序型，或一些经译码图片可为经译码场图片而不是经译码帧图片之后，解码器可拒绝此视频以避免不良使用者体验。
配置文件及层级指定关于位流的限制且因此指定关于解码位流所需的能力的限制。配置文件及层级还可用以指示个别解码器实施之间的互操作性点。每一配置文件指定应由遵照所述配置文件的所有解码器支持的算法特征及限制的子集。每一层级指定关于可由视频压缩标准的语法元素采取的值的限制的集合。层级定义的同一集合供所有配置文件使用，但个别实施可针对每一所支持的配置文件而支持不同层级。对于任何给定配置文件，层级一般对应于解码器处理负载及存储器能力。
与场指示SEI消息相对比，需要HEVC兼容解码器能够解译VPS及SPS中的语法元素。由此，将剖析及解码包含于VPS或SPS中的任何交错旗标。此外，因为VPS或SPS应用于一个以上存取单元，所以并不是每一存取单元都必须检查以查找交错视频的指示，就如同场指示SEI消息的状况一样。
提议改变配置文件的语法及语义、层及层级语法及语义，如在下表1中以粗体展示。
表1
如上文所解释，语法元素general_progressive_frames_only_flag等于1指示：在经译码视频序列中，所有图片为以帧图片而译码的循序帧且不存在场指示SEI消息。语法元素general_progressive_frames_only_flag等于0指示：在经译码视频序列中，可存在场指示SEI消息且可存在含有交错场的帧图片、含有交错场的场图片及含有从循序帧提取的场的场图片。经译码图片为交错帧、交错场或循序场。
在遵照此规格的位流中，语法元素general_reserved_zero_14bits应等于0。保留general_reserved_zero_14bits的其它值以供ITU-T|ISO/IEC在未来使用。解码器应忽略general_reserved_zero_14bits的值。
语法元素sub_layer_profile_space[i]、sub_layer_tier_flag[i]、sub_layer_profile_idc[i]、sub_layer_profile_compatibility_flag[i][j]、sub_layer_progressive_frames_only_flag[i]、sub_layer_reserved_zero_14bits[i]及sub_layer_level_idc[i]分别具有与general_profile_space、general_tier_flag、general_profile_idc、general_profile_compatibility_flag[j]、general_progressive_frames_only_flag、general_reserved_zero_14bits及general_level_idc相同的语义，但应用于TemporalId等于i的子层的表示。当不存在时，推断sub_layer_tier_flag[i]的值等于0。
对于能够处置交错视频的视频解码器，本发明还提议更改视频可用性信息(VUI)及场指示SEI消息的语法及语义，如表2中所展示。在解码过程中不需要VUI参数来建构明度或色度样本，但VUI参数可用以指定视频数据的其它特性，包含扫描类型(例如，循序型或交错型)及是否使用场图片或帧图片。以粗体展示根据本发明的技术的更改的语法。
表2
下文未提及的其它VUI语法元素的语义可与HEVC WD8中的情况相同。
语法元素field_seq_flag等于1指示：经译码视频序列输送表示场的图片，且指定场指示SEI消息应存在于当前经译码视频序列的每一存取单元中，例如，其中存取单元可一般指按解码器次序为连续的且含有经译码图片的网络抽象层(NAL)单元的集合。语法元素field_seq_flag等于0指示：经译码视频序列输送表示帧的图片，且场指示SEI消息可存在于或可不存在于当前经译码视频序列的任何存取单元中。当field_seq_flag不存在时，推断其等于0。
应注意，所指定的解码过程并不以不同方式来处理输送表示场或帧的图片的存取单元。表示场的图片序列将因此经译码有个别场的图片尺寸。例如，含有表示1080i场的图片的存取单元将通常具有1920×540的裁剪输出尺寸，而序列图片速率将通常表达源场的速率(通常在50Hz与60Hz之间)而不是源帧速率(通常在25Hz与30Hz之间)。
语法元素progressive_source_flag等于1指示：应将在经译码视频序列中输送的所有图片的扫描类型解译为循序型。语法元素progressive_source_flag等于0指示：应将在经译码视频序列中所输送的所有图片的扫描类型解译为交错型。当不存在时，应推断progressive_source_flag的值等于1。
表3中定义field_seq_flag及progressive_source_flag值的组合的解译。
解译 field_seq_flag progressive_source_flag
图片为循序帧 0 1
图片为以帧图片而译码的交织场 0 0
图片为场 1 0
图片为从循序帧提取的场 1 1
表3针对在经译码视频序列中所输送的图片中的每一者的field_seq_flag及progressive_source_flag的所指示解译
表4场指示SEI消息
场指示SEI消息(表4中所展示的语法)仅应用于当前存取单元。当SEI网络抽象层(NAL)单元含有场指示SEI消息且具有等于0的nuh_reserved_zero_6bits时，SEI NAL单元按解码次序应先于存取单元中的第一视频译码(VCL)NAL单元。
如下指定位流中的场指示SEI消息的存在。
-如果field_seq_flag等于1，那么一个场指示SEI消息应存在于当前经译码视频序列的每一存取单元中。
-否则，如果progressive_source_flag等于1，那么没有场指示SEI消息应存在于当前经译码视频序列中。
-否则，如果progressive_source_flag等于0，那么一个场指示SEI消息可存在于当前经译码视频序列的任何存取单元中。
图2A、2B及2C中展示针对4：2：0、4：2：2及4：4：4色度取样格式的在顶场及底场中的样本的标称垂直取样位置及水平取样位置。
语法元素duplicate_flag等于1指示：当前图片经指示为按输出次序的先前图片的副本。语法元素duplicate_flag等于0指示：当前图片未指示为复制图片。
应注意，duplicate_flag应用以标记已知源于例如3∶2下拉或其它复制及内插方法的重复过程的经译码图片。将通常在以“传送穿过”方式来编码视频馈入物时使用duplicate_flag，其中通过将duplicate_flag设定为等于1来标记已知复制图片。
当field_seq_flag等于1且duplicate_flag等于1时，假定存取单元含有按输出次序的具有与当前场相同的奇偶校验位的先前场的复制场。
语法元素bottom_field_flag指示当field_seq_flag等于1时存取单元内所含有的场的奇偶校验位。语法元素bottom_field_flag等于1指示底场奇偶校验位。语法元素bottom_field_flag等于0指示顶场奇偶校验位。
语法元素top_field_first_flag指示当场已交织以在经译码帧序列中形成帧时出于显示目的的较佳场输出次序。如果top_field_first_flag等于1，那么顶场经指示为在时间上第一，其后接着为底场。否则(top_field_first_flag等于0)，底场经指示为在时间上第一，其后接着为顶场。
语法元素reserved_zero_1bit应等于0。保留reserved_zero_1bit的值1以供ITU-T|ISO/IEC在未来向后兼容使用。解码器应忽略reserved_zero_1bit的值。
语法元素reserved_zero_6bits应等于0。保留reserved_zero_6bits的其它值以供ITU-T|ISO/IEC在未来向后兼容使用。解码器应忽略reserved_zero_6bits的值。
以下章节描述用于以HEVC文件格式来指示交错视频的技术。作为一个实例，可直接将指示包含于在基于ISO的媒体文件格式文件中的HEVC磁道的每一样本条目中。例如，可将HEVCDecoderConfigurationRecord中的旗标指定为(例如)所命名的progressive_frames_only_flag。此旗标等于1指示：应用有含有HEVC解码器配置记录的样本条目的所有图片为以帧图片而译码的循序帧(即，扫描类型为循序型，且每一经译码图片为经译码帧)。此旗标等于0指示应用有所述样本条目的图片的扫描类型可为交错型而不是循序型，或指示经译码图片中的一些可为经译码场图片而不是经译码帧图片。作为另一实例，可在基于ISO的媒体文件格式中(例如，在VisualSampleEntry中(指定类似发信号，使得其一般应用于视频编解码器。
此章节描述用于在RTP有效负载中指示交错视频的技术。RTP(实时传送协议)为定义用于通过网络(例如，因特网协议网络)来传输音频及/或视频的标准化包格式的协议。RTP有效负载为正使用RTP包传输的数据，且其可包含呈特定格式(例如，HEVC视频有效负载、H.264视频有效负载、MP3音频有效负载等)的音频及/或视频。
作为本发明的一个实例，可如下指定任选的有效负载格式参数，例如，所命名的progressive-frames-only(仅循序帧)。所述progressive-frames-only参数用信号发送流的属性或接收器实施方案的能力。所述值可等于0或者1。当所述参数不存在时，可推断所述值等于1。
当将所述参数用来指示流的属性时，以下内容适用。值1指示：在流中，经译码图片全部为以帧图片而译码的循序帧(即，扫描类型为循序型且每一经译码图片为经译码帧，且在流中不存在场指示SEI消息)。值0指示：扫描类型可为交错型而不是循序型，或经译码图片中的一些可为经译码场图片。在此状况下，可存在场指示SEI消息，所述场指示SEI消息存在于流中。当然，可保留值0及1的语义。
当将所述参数用于能力交换或会话设置时，以下内容适用。值1指示：对于接收与发送两者，实体仅支持扫描类型为循序型的流，每一经译码图片为经译码帧且不存在场指示SEI消息。值0指示：对于接收与发送两者，实体支持扫描类型可为循序型或交错型的流，经译码图片可为帧图片或者场图片且可存在场指示SEI消息。
当存在时，任选参数progressive-frames-only可包含于SDP文件的“a＝fmtp”行中。以progressive-frames-only＝1或progressive-frames-only＝0的形式而将所述参数表达为媒体类型字符串。
当使用提议/应答模型中的SDP进行协商来通过RTP而提供HEVC流时，progressive-frames-only参数为识别HEVC的媒体格式配置的参数中的一者，且可对称地使用。即，应答者可使所述参数维持有提议中的值或者完全移除媒体格式(有效负载类型)。
当以声明样式通过SDP来提议通过RTP的HEVC(如在实时流协议(RTSP)或会话通知协议(SAP)中)时，progressive-frames-only参数用以仅指示流属性而不指示接收流的能力。在另一实例中，可一般(而不是特定于HEVC)在SDP中指定类似发信号，使得其一般应用于视频编解码器。
以下为在配置文件、层及层级语法中指示交错视频数据的另一实例。提议如下用信号发送配置文件、层及层级的语法及语义。
语法元素general_progressive_frames_only_flag等于1指示：在经译码视频序列中，所有图片为以帧图片而译码的循序帧且不存在场指示SEI消息。语法元素general_progressive_frames_only_flag等于0指示：在经译码视频序列中，可存在场指示SEI消息且可存在含有交错场的帧图片、含有交错场的场图片及含有从循序帧提取的场的场图片。
在遵照此规格的位流中，语法元素general_reserved_zero_14bits应等于0。保留general_reserved_zero_14bits的其它值以供ITU-T|ISO/IEC在未来使用。解码器应忽略general_reserved_zero_14bits的值。
语法元素sub_layer_profile_space[i]、sub_layer_tier_flag[i]、sub_layer_profile_idc[i]、sub_layer_profile_compatibility_flag[i][j]、sub_layer_progressive_frames_only_flag[i]、sub_layer_non_packed_only_flag[i]、sub_layer_reserved_zero_14bits[i]及sub_layer_level_idc[i]分别具有与general_profile_space、general_tier_flag、general_profile_idc、general_profile_compatibility_flag[j]、general_progressive_frames_only_flag、general_non_packed_only_flag、general_reserved_zero_14bits及general_level_idc相同的语义，但应用于TemporalId等于i的子层的表示。当不存在时，推断sub_layer_tier_flag[i]的值等于0。
总的，在一些实例中，本发明提议以下各者：
1)用信号发送经译码视频序列是否含有交错场或从循序帧提取的场的指示(例如，在配置文件、层及层级语法中的general_reserved_zero_16bits语法元素中)。
2)通过将progressive_source_flag从SEI消息移到VUI及通过从SEI消息移除field_pic_flag来简化场SEI消息语法，所述field_pic_flag始终等于VUI中的field_seq_flag。
图3为说明可实施本发明中所描述的技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧或图片内的视频的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指若干基于时间的压缩模式中的任一者。
在图3的实例中，视频编码器20包含分割单元35、预测处理单元41、参考图片存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。预测处理单元41包含运动估计单元42、运动补偿单元44及帧内预测处理单元46。为达成视频块重建构，视频编码器20还包含反量化单元58、反变换处理单元60及求和器62。还可包含解块滤波器(图3中未展示)以对块边界进行滤波，从而从重建构的视频移除方块效应假影。如果需要，解块滤波器将通常对求和器62的输出进行滤波。除解块滤波器外，还可使用额外回路滤波器(回路内或回路后)。
如图3中所展示，视频编码器20接收视频数据，且分割单元35将数据分割成视频块。此分割还可包含分割成切片、图像块或其它较大单元，以及(例如)根据LCU及CU的四叉树结构的视频块分割。视频编码器20一般说明编码在待编码的视频切片内的视频块的组件。可将切片划分成多个视频块(及可能划分成被称作图像块的视频块集合)。预测处理单元41可基于错误结果(例如，译码速率及失真程度)针对当前视频块来选择多个可能译码模式中的一者，例如多个帧内译码模式中的一者或多个帧间译码模式中的一者。预测处理单元41可将所得经帧内译码或经帧间译码块提供到求和器50以产生残余块数据，且提供到求和器62以重建构供用作参考图片的经编码块。
预测处理单元41内的帧内预测处理单元46可执行当前视频块相对于与待译码的当前块相同的帧或切片中的一或多个相邻块的帧内预测性译码以提供空间压缩。预测处理单元41内的运动估计单元42及运动补偿单元44执行当前视频块相对于一或多个参考图片中的一或多个预测性块的帧间预测性译码以提供时间压缩。
运动估计单元42可经配置以根据视频序列的预定型样来确定视频切片的帧间预测模式。预定型样可将序列中的视频切片指定为P切片、B切片或GPB切片。运动估计单元42及运动补偿单元44可高度集成，但为概念目的而单独被说明。由运动估计单元42执行的运动估计为产生运动向量的过程，所述运动向量估计视频块的运动。例如，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的位移。
预测性块为被发现在像素差方面紧凑匹配待译码的视频块的PU的块，所述像素差可通过绝对差和(SAD)、平方差和(SSD)或其它差量度来确定。在一些实例中，视频编码器20可计算存储于参考图片存储器64中的参考图片的子整数像素位置的值。例如，视频编码器20可内插所述参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可执行相对于全像素位置及分数像素位置的运动搜索，且以分数像素精度输出运动向量。
运动估计单元42通过比较帧间译码切片中的视频块的PU的位置与参考图片的预测性块的位置来计算所述PU的运动向量。所述参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述列表0或所述列表1中的每一者识别存储于参考图片存储器64中的一或多个参考图片。运动估计单元42将计算出的运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于通过运动估计所确定的运动向量来提取或产生预测性块，从而可能执行到子像素精度的内插。在接收到当前视频块的PU的运动向量之后，运动补偿单元44可将运动向量所指向的预测性块定位于参考图片列表中的一者中。视频编码器20通过从正经译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块，从而形成像素差值。所述像素差值形成块的残余数据，且可包含明度差分量与色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运动补偿单元44还可产生与视频块及视频切片相关联的语法元素以供视频解码器30用于解码视频切片的视频块。
如上文所描述，作为由运动估计单元42及运动补偿单元44执行的帧间预测的替代，帧内预测处理单元46可对当前块进行帧内预测。详细来说，帧内预测处理单元46可确定待用以编码当前块的帧内预测模式。在一些实例中，帧内预测处理单元46可(例如)在单独编码遍次期间使用各种帧内预测模式来编码当前块，且帧内预测处理单元46(或在一些实例中，模式选择单元40)可从所测试的模式来选择将使用的适当帧内预测模式。例如，帧内预测处理单元46可使用针对各种所测试的帧内预测模式的速率-失真分析来计算速率-失真值，且在所测试的模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析一般确定经编码块与经编码以产生经编码块的原始未经编码块之间的失真(或误差)的量，以及用以产生经编码块的位速率(即，位数)。帧内预测处理单元46可从各种经编码块的失真及速率来计算比率以确定哪一帧内预测模式展现块的最佳速率-失真值。
在任何状况下，在选择块的帧内预测模式之后，帧内预测处理单元46可将指示所述块的选定帧内预测模式的信息提供到熵译码单元56。熵译码单元56可根据本发明的技术来编码指示选定帧内预测模式的信息。视频编码器20可在所传输的位流中包含配置数据，所述配置数据可包含多个帧内预测模式索引表及多个经修改帧内预测模式索引表(还称作码字映射表)、各种块的编码上下文的定义，及用于上下文中的每一者的最大概率帧内预测模式、帧内预测模式索引表及经修改帧内预测模式索引表的指示。
在预测处理单元41通过帧间预测或者帧内预测来产生当前视频块的预测性块之后，视频编码器20通过从当前视频块减去预测性块来形成残余视频块。残余块中的残余视频数据可包含于一或多个TU中且应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似的变换的变换而将残余视频数据变换为残余变换系数。变换处理单元52可将残余视频数据从像素域转换到变换域(例如，频域)。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。所述量化过程可减小与所述系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可执行扫描。
在量化之后，熵编码单元56熵编码经量化的变换系数。例如，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法或技术。在通过熵编码单元56进行熵编码之后，可将经编码位流传输到视频解码器30或经封存以供视频解码器30稍后传输或检索。熵编码单元56还可熵编码正经译码的当前视频切片的运动向量及其它语法元素。
反量化单元58及反变换处理单元60分别应用反量化及反变换，以在像素域中重建构残余块以供稍后用作参考图片的参考块。运动补偿单元44可通过将所述残余块加到在参考图片列表中的一者内的参考图片中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重建构的残余块以计算子整数像素值以供用于运动估计。求和器62将经重建构的残余块加到由运动补偿单元44产生的经运动补偿的预测块，以产生参考块以供存储于参考图片存储器64中。所述参考块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧或图片中的块进行帧间预测。
图4为说明可实施本发明中所描述的技术的实例视频解码器30的框图。在图4的实例中，视频解码器30包含熵解码单元80、预测处理单元81、反量化单元86、反变换单元88、求和器90及经解码图片缓冲器92。预测处理单元81包含运动补偿单元82及帧内预测处理单元84。在一些实例中，视频解码器30可执行大体上与关于来自图3的视频编码器20所描述的编码遍次互逆的解码遍次。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块及相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元80熵解码所述位流以产生经量化的系数、运动向量及其它语法元素。熵解码单元80将运动向量及其它语法元素转递到预测处理单元81。视频解码器30可在视频切片层级及/或视频块层级处接收语法元素。
当视频切片经译码为帧内译码(I)切片时，预测处理单元81的帧内预测处理单元84可基于用信号发送的帧内预测模式及来自当前帧或图片的先前经解码块的数据而产生当前视频切片的视频块的预测数据。当视频帧经译码为帧间译码(即，B、P或GPB)切片时，预测处理单元81的运动补偿单元82基于从熵解码单元80接收的运动向量及其它语法元素而产生当前视频切片的视频块的预测性块。所述预测性块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储于经解码图片缓冲器92中的参考图片使用默认建构技术来建构参考帧列表(列表0及列表1)。
运动补偿单元82通过剖析运动向量及其它语法元素来确定当前视频切片的视频块的预测信息，且使用所述预测信息来产生正经解码的当前视频块的预测性块。例如，运动补偿单元82使用所接收的语法元素中的一些来确定用以译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码视频块的运动向量、切片的每一经帧间译码视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。
运动补偿单元82还可基于内插滤波器来执行内插。运动补偿单元82可使用如由视频编码器20在视频块的编码期间使用的内插滤波器，以计算参考块的子整数像素的内插值。在此状况下，运动补偿单元82可从所接收的语法元素确定由视频编码器20使用的内插滤波器，且使用所述内插滤波器来产生预测性块。
反量化单元86反量化(即，解量化)提供于位流中且通过熵解码单元80解码的经量化的变换系数。反量化过程可包含使用通过视频编码器20针对视频切片中的每一视频块所计算的量化参数以确定量化的程度，且同样地确定应被应用的反量化的程度。反变换处理单元88将反变换(例如，反DCT、反整数变换或概念上类似的反变换程序)应用于变换系数以便在像素域中产生残余块。
在运动补偿单元82基于运动向量及其它语法元素来产生当前视频块的预测性块之后，视频解码器30通过对来自反变换处理单元88的残余块与通过运动补偿单元82所产生的对应预测性块求和来形成经解码视频块。求和器90表示执行此加法运算的一或多个组件。如果需要，还可应用解块滤波器以对经解码块进行滤波，以便移除方块效应假影。其它回路滤波器(在译码回路中或者在译码回路后)还可用以使像素转变平滑，或以其它方式改良视频质量。给定帧或图片中的经解码视频块接着存储于经解码图片缓冲器92中，所述经解码图片缓冲器92存储参考图片以用于后续运动补偿。经解码图片缓冲器92还存储经解码视频以供稍后呈现于显示装置(例如，图1的显示装置32)上。
图5为说明根据本发明的一个实例的实例视频编码方法的流程图。可通过视频编码器20的一或多个结构单元来实施图5的技术。
如图5中所展示，视频编码器20可经配置以进行以下操作：编码视频数据(500)；产生指示经编码视频数据中的所有图片是否是经译码为帧图片的循序帧的第一指示(502)；及在经编码视频位流中用信号发送所述第一指示(504)。
在本发明的一个实例中，第一指示包括旗标。旗标值等于0指示经编码视频数据中的所有图片是经译码为帧图片的循序帧，且旗标值等于1指示在经编码视频数据中可存在不是循序帧或未经译码为帧图片的一或多个图片。
在本发明的一个实例中，在视频参数集(VPS)及序列参数集(SPS)中的至少一者中用信号发送第一指示。在本发明的另一实例中，在视频文件的样本条目中(例如，在文件格式信息中)用信号发送第一指示。在本发明的另一实例中，在HEVCDecoderConfigurationRecord样本条目及VisualSampleEntry样本条目中的一者中用信号发送第一指示。在本发明的另一实例中，第一指示为RTP有效负载中的参数。在本发明的另一实例中，在配置文件语法、层语法及层级语法中的至少一者中用信号发送第一指示。
在本发明的另一实例中，视频编码器20可经进一步配置以进行以下操作：产生指示经编码视频数据是否经译码为场图片的第二指示；及产生指示经编码视频数据的源是呈循序扫描还是交错格式的第三指示。第二指示具有值0且第三指示具有值1指示：经编码视频数据包括以帧图片而译码的循序帧。第二指示具有值0且第三指示具有值0指示：经编码视频数据包括以帧图片而译码的交织场。第二指示具有值1且第三指示具有值0指示：经编码视频数据包括以场图片而译码的交错场。第二指示具有值1且第三指示具有值1指示：经编码视频数据包括从以场图片而译码的循序帧提取的场。
在本发明的另一实例中，第二指示为field_seq_flag且第三指示为progressive_source_flag，且其中field_seq_flag及progressive_source_flag是译码于视频可用性信息(VUI)参数集中。
图6为说明根据本发明的一个实例的实例视频解码方法的流程图。可通过视频解码器30的一或多个结构单元来实施图6的技术。
如图6中所展示，视频解码器30可经配置以进行以下操作：接收视频数据(600)；及接收指示所接收的视频数据中的所有图片是否是经译码为帧图片的循序帧的第一指示(602)。如果视频解码器30不能够解码循序帧(604)，那么视频解码器可拒绝视频数据(608)。如果视频解码器30能够解码循序帧，那么视频解码器30经进一步配置以根据所接收的第一指示来解码所接收的视频数据(606)。
在本发明的一个实例中，第一指示包括旗标，且旗标值等于0指示所接收的视频数据中的所有图片是经译码为帧图片的循序帧，且旗标值等于1指示在所接收的视频数据中可存在不是循序帧或未经译码为帧图片的一或多个图片。
在本发明的一个实例中，在视频参数集(VPS)及序列参数集(SPS)中的至少一者中接收第一指示。在本发明的另一实例中，在视频文件格式的样本条目中接收第一指示。在本发明的另一实例中，在HEVCDecoderConfigurationRecord样本条目及VisualSampleEntry样本条目中的一者中接收第一指示。在本发明的另一实例中，第一指示为RTP有效负载中的参数。在本发明的另一实例中，在配置文件语法、层语法及层级语法中的至少一者中接收第一指示。
在本发明的另一实例中，视频解码器30可经进一步配置以进行以下操作：解码指示所接收的视频数据是否经译码为场图片的第二指示；及解码指示所接收的视频数据的源是呈循序扫描还是交错格式的第三指示。第二指示具有值0且第三指示具有值1指示所接收的视频数据包括以帧图片而译码的循序帧。第二指示具有值0且第三指示具有值0指示所接收的视频数据包括以帧图片而译码的交织场。第二指示具有值1且第三指示具有值0指示所接收的视频数据包括以场图片而译码的交错场。第二指示具有值1且第三指示具有值1指示所接收的视频数据包括从以场图片而译码的循序帧提取的场。
在本发明的另一实例中，第二指示为field_seq_flag且第三指示为progressive_source_flag，且field_seq_flag及progressive_source_flag是译码于视频可用性信息(VUI)参数集中。
在一或多个实例中，可以硬件、软件、固件或其任何组合来实施所描述的功能。如果以软件实施，那么所述功能可作为一或多个指令或程序代码而存储于计算机可读媒体上或通过计算机可读媒体进行传输，且通过基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体，通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体一般可对应于：(1)非暂时性的有形计算机可读存储媒体；或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、程序代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而不是限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、闪存，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。又，将任何连接恰当地称为计算机可读媒体。例如，如果使用同轴电缆、光纤缆线、双绞线、数字用户线(DSL)或无线技术(例如，红外线、无线电及微波)而从网站、服务器或其它远程源传输指令，那么将同轴电缆、光纤缆线、双绞线、DSL或无线技术(例如，红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实情为针对非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含紧凑光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各物的组合还应包含于计算机可读媒体的范畴内。
可通过例如以下各者的一或多个处理器来执行指令：一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中所使用，术语“处理器”可指上述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面，可将本文中所描述的功能性提供于经配置以用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编解码器中。又，可将所述技术完全实施于一或多个电路或逻辑组件中。
可将本发明的技术实施于广泛多种装置或设备中，所述装置或设备包含无线手机、集成电路(IC)或IC的集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示的技术的装置的功能方面，但未必要求通过不同硬件单元来实现。更确切来说，如上文所描述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合且结合适合软件及/或固件来提供所述单元。
已描述各种实例。这些及其它实例在以下权利要求书的范畴内。

Claims (42)

1.一种用于解码视频数据的方法，所述方法包括：
接收视频数据；
接收指示所述所接收的视频数据中的所有图片是否是经译码为帧图片的循序帧的第一指示；以及
根据所述所接收的第一指示来解码所述所接收的视频数据。
2.根据权利要求1所述的方法，其中所述第一指示包括旗标，且其中旗标值等于0指示所述所接收的视频数据中的所有图片是经译码为帧图片的循序帧，且其中所述旗标值等于1指示在所述所接收的视频数据中可存在不是循序帧或未经译码为帧图片的一或多个图片。
3.根据权利要求1所述的方法，其中所述第一指示指示在所述所接收的视频数据中可存在不是循序帧或未经译码为帧图片的一或多个图片，且其中解码所述所接收的视频数据包括拒绝所述视频数据。
4.根据权利要求1所述的方法，其进一步包括在视频参数集及序列参数集中的至少一者中接收所述第一指示。
5.根据权利要求1所述的方法，其进一步包括在视频文件格式信息的样本条目中接收所述第一指示。
6.根据权利要求5所述的方法，其进一步包括在HEVCDecoderConfigurationRecord样本条目及VisualSampleEntry样本条目中的一者中接收所述第一指示。
7.根据权利要求1所述的方法，其中所述第一指示为实时传送协议RTP有效负载中的参数。
8.根据权利要求1所述的方法，其进一步包括在配置文件语法、层语法及层级语法中的至少一者中接收所述第一指示。
9.根据权利要求1所述的方法，其中根据所述所接收的第一指示来解码所述所接收的视频数据包括：
解码指示所述所接收的视频数据是否经译码为场图片的第二指示；
解码指示所述所接收的视频数据的源是呈循序扫描还是交错格式的第三指示，
其中所述第二指示具有值0且所述第三指示具有值1指示所述所接收的视频数据包括以帧图片而译码的循序帧，
其中所述第二指示具有值0且所述第三指示具有值0指示所述所接收的视频数据包括以帧图片而译码的交织场，
其中所述第二指示具有值1且所述第三指示具有值0指示所述所接收的视频数据包括以场图片而译码的交错场，且
其中所述第二指示具有值1且所述第三指示具有值1指示所述所接收的视频数据包括从以场图片而译码的循序帧提取的场。
10.根据权利要求9所述的方法，其中所述第二指示为field_seq_flag且所述第三指示为progressive_source_flag，且其中所述field_seq_flag及所述progressive_source_flag是译码于视频可用性信息VUI参数集中。
11.一种用于编码视频数据的方法，所述方法包括：
编码视频数据；
产生指示所述经编码视频数据中的所有图片是否是经译码为帧图片的循序帧的第一指示；以及
在经编码视频位流中用信号发送所述第一指示。
12.根据权利要求11所述的方法，其中所述第一指示包括旗标，且其中旗标值等于0指示所述经编码视频数据中的所有图片是经译码为帧图片的循序帧，且其中所述旗标值等于1指示在所述经编码视频数据中可存在不是循序帧或未经译码为帧图片的一或多个图片。
13.根据权利要求11所述的方法，其进一步包括在视频参数集及序列参数集中的至少一者中用信号发送所述第一指示。
14.根据权利要求11所述的方法，其进一步包括在视频文件格式信息的样本条目中用信号发送所述第一指示。
15.根据权利要求14所述的方法，其进一步包括在HEVCDecoderConfigurationRecord样本条目及VisualSampleEntry样本条目中的一者中用信号发送所述第一指示。
16.根据权利要求11所述的方法，其中所述第一指示为实时传送协议RTP有效负载中的参数。
17.根据权利要求11所述的方法，其进一步包括在配置文件语法、层语法及层级语法中的至少一者中用信号发送所述第一指示。
18.根据权利要求11所述的方法，其进一步包括：
产生指示所述经编码视频数据是否经译码为场图片的第二指示；
产生指示所述经编码视频数据的源是呈循序扫描还是交错格式的第三指示，
其中所述第二指示具有值0且所述第三指示具有值1指示所述经编码视频数据包括以帧图片而译码的循序帧，
其中所述第二指示具有值0且所述第三指示具有值0指示所述经编码视频数据包括以帧图片而译码的交织场，
其中所述第二指示具有值1且所述第三指示具有值0指示所述经编码视频数据包括以场图片而译码的交错场，且
其中所述第二指示具有值1且所述第三指示具有值1指示所述经编码视频数据包括从以场图片而译码的循序帧提取的场。
19.根据权利要求18所述的方法，其中所述第二指示为field_seq_flag且所述第三指示为progressive_source_flag，且其中所述field_seq_flag及所述progressive_source_flag是译码于视频可用性信息VUI参数集中。
20.一种经配置以解码视频数据的设备，所述设备包括：
视频解码器，其经配置以进行以下操作：
接收视频数据；
接收指示所述所接收的视频数据中的所有图片是否是经译码为帧图片的循序帧的第一指示；以及
根据所述所接收的第一指示来解码所述所接收的视频数据。
21.根据权利要求20所述的设备，其中所述第一指示包括旗标，且其中旗标值等于0指示所述所接收的视频数据中的所有图片是经译码为帧图片的循序帧，且其中所述旗标值等于1指示在所述所接收的视频数据中可存在不是循序帧或未经译码为帧图片的一或多个图片。
22.根据权利要求20所述的设备，其中所述第一指示指示在所述所接收的视频数据中可存在不是循序帧或未经译码为帧图片的一或多个图片，且其中解码所述所接收的视频数据包括拒绝所述视频数据。
23.根据权利要求20所述的设备，其中所述视频解码器经进一步配置以在视频参数集及序列参数集中的至少一者中接收所述第一指示。
24.根据权利要求20所述的设备，其中所述视频解码器经进一步配置以在视频文件格式信息的样本条目中接收所述第一指示。
25.根据权利要求24所述的设备，其中所述视频解码器经进一步配置以在HEVCDecoderConfigurationRecord样本条目及VisualSampleEntry样本条目中的一者中接收所述第一指示。
26.根据权利要求20所述的设备，其中所述第一指示为实时传送协议RTP有效负载中的参数。
27.根据权利要求20所述的设备，其中所述视频解码器经进一步配置以在配置文件语法、层语法及层级语法中的至少一者中接收所述第一指示。
28.根据权利要求20所述的设备，其中所述视频解码器经进一步配置以进行以下操作：
解码指示所述所接收的视频数据是否经译码为场图片的第二指示；
解码指示所述所接收的视频数据的源是呈循序扫描还是交错格式的第三指示，
其中所述第二指示具有值0且所述第三指示具有值1指示所述所接收的视频数据包括以帧图片而译码的循序帧，
其中所述第二指示具有值0且所述第三指示具有值0指示所述所接收的视频数据包括以帧图片而译码的交织场，
其中所述第二指示具有值1且所述第三指示具有值0指示所述所接收的视频数据包括以场图片而译码的交错场，且
其中所述第二指示具有值1且所述第三指示具有值1指示所述所接收的视频数据包括从以场图片而译码的循序帧提取的场。
29.根据权利要求28所述的设备，其中所述第二指示为field_seq_flag且所述第三指示为progressive_source_flag，且其中所述field_seq_flag及所述progressive_source_flag是译码于视频可用性信息VUI参数集中。
30.一种经配置以编码视频数据的设备，所述设备包括：
视频编码器，其经配置以进行以下操作：
编码视频数据；
产生指示所述经编码视频数据中的所有图片是否是经译码为帧图片的循序帧的第一指示；以及
在经编码视频位流中用信号发送所述第一指示。
31.根据权利要求30所述的设备，其中所述第一指示包括旗标，且其中旗标值等于0指示所述经编码视频数据中的所有图片是经译码为帧图片的循序帧，且其中所述旗标值等于1指示在所述经编码视频数据中可存在不是循序帧或未经译码为帧图片的一或多个图片。
32.根据权利要求30所述的设备，其中所述视频编码器经进一步配置以在视频参数集及序列参数集中的至少一者中用信号发送所述第一指示。
33.根据权利要求30所述的设备，其中所述视频编码器经进一步配置以在视频文件格式信息的样本条目中用信号发送所述第一指示。
34.根据权利要求33所述的设备，其中所述视频编码器经进一步配置以在HEVCDecoderConfigurationRecord样本条目及VisualSampleEntry样本条目中的一者中用信号发送所述第一指示。
35.根据权利要求30所述的设备，其中所述第一指示为实时传送协议RTP有效负载中的参数。
36.根据权利要求30所述的设备，其中所述视频编码器经进一步配置以在配置文件语法、层语法及层级语法中的至少一者中用信号发送所述第一指示。
37.根据权利要求30所述的设备，其中所述视频编码器经进一步配置以进行以下操作：
产生指示所述经编码视频数据是否经译码为场图片的第二指示；
产生指示所述经编码视频数据的源是呈循序扫描还是交错格式的第三指示，
其中所述第二指示具有值0且所述第三指示具有值1指示所述经编码视频数据包括以帧图片而译码的循序帧，
其中所述第二指示具有值0且所述第三指示具有值0指示所述经编码视频数据包括以帧图片而译码的交织场，
其中所述第二指示具有值1且所述第三指示具有值0指示所述经编码视频数据包括以场图片而译码的交错场，且
其中所述第二指示具有值1且所述第三指示具有值1指示所述经编码视频数据包括从以场图片而译码的循序帧提取的场。
38.根据权利要求37所述的设备，其中所述第二指示为field_seq_flag且所述第三指示为progressive_source_flag，且其中所述field_seq_flag及所述progressive_source_flag是译码于视频可用性信息VUI参数集中。
39.一种经配置以解码视频数据的设备，所述设备包括：
用于接收视频数据的装置；
用于接收指示所述所接收的视频数据中的所有图片是否是经译码为帧图片的循序帧的第一指示的装置；以及
用于根据所述所接收的第一指示来解码所述所接收的视频数据的装置。
40.一种经配置以编码视频数据的设备，所述方法包括：
用于编码视频数据的装置；
用于产生指示所述经编码视频数据中的所有图片是否是经译码为帧图片的循序帧的第一指示的装置；以及
用于在经编码视频位流中用信号发送所述第一指示的装置。
41.一种存储指令的计算机可读存储媒体，所述指令在执行时使经配置以解码视频数据的装置的一或多个处理器执行以下操作：
接收视频数据；
接收指示所述所接收的视频数据中的所有图片是否是经译码为帧图片的循序帧的第一指示；以及
根据所述所接收的第一指示来解码所述所接收的视频数据。
42.一种存储指令的计算机可读存储媒体，所述指令在执行时使经配置以编码视频数据的装置的一或多个处理器执行以下操作：
编码视频数据；
产生指示所述经编码视频数据中的所有图片是否是经译码为帧图片的循序帧的第一指示；以及
在经编码视频位流中用信号发送所述第一指示。
CN201380048474.7A 2012-09-20 2013-09-18 用于视频译码的交错视频数据的指示的方法和设备 Active CN104641645B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261703662P 2012-09-20 2012-09-20
US61/703,662 2012-09-20
US201261706647P 2012-09-27 2012-09-27
US61/706,647 2012-09-27
US14/029,050 2013-09-17
US14/029,050 US20140079116A1 (en) 2012-09-20 2013-09-17 Indication of interlaced video data for video coding
PCT/US2013/060449 WO2014047202A2 (en) 2012-09-20 2013-09-18 Indication of interlaced video data for video coding

Publications (2)

Publication Number Publication Date
CN104641645A true CN104641645A (zh) 2015-05-20
CN104641645B CN104641645B (zh) 2019-05-31

Family

ID=50274052

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380048474.7A Active CN104641645B (zh) 2012-09-20 2013-09-18 用于视频译码的交错视频数据的指示的方法和设备
CN201380048492.5A Pending CN104641652A (zh) 2012-09-20 2013-09-18 用于视频译码的帧封装立体三维(3d)视频数据的指示

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380048492.5A Pending CN104641652A (zh) 2012-09-20 2013-09-18 用于视频译码的帧封装立体三维(3d)视频数据的指示

Country Status (7)

Country Link
US (2) US20140079116A1 (zh)
EP (1) EP2898693A1 (zh)
JP (1) JP6407867B2 (zh)
CN (2) CN104641645B (zh)
AR (1) AR093235A1 (zh)
TW (2) TWI520575B (zh)
WO (2) WO2014047202A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI655864B (zh) * 2016-11-22 2019-04-01 聯發科技股份有限公司 視訊編碼中用於運動向量符號預測的方法及裝置
CN112738531A (zh) * 2016-11-17 2021-04-30 英特尔公司 全景视频的建议视口指示

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992490B2 (en) 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
US20140092992A1 (en) * 2012-09-30 2014-04-03 Microsoft Corporation Supplemental enhancement information including confidence level and mixed content information
US20140092962A1 (en) * 2012-10-01 2014-04-03 Sony Corporation Inter field predictions with hevc
US10419778B2 (en) * 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure
US10219006B2 (en) 2013-01-04 2019-02-26 Sony Corporation JCTVC-L0226: VPS and VPS_extension updates
US20150358633A1 (en) * 2013-01-17 2015-12-10 Samsung Electronics Co., Ltd. Method for encoding video for decoder setting and device therefor, and method for decoding video on basis of decoder setting and device therefor
CA2904424C (en) * 2013-07-19 2018-05-22 Mediatek Inc. Method and apparatus of camera parameter signaling in 3d video coding
EP2854405A1 (en) * 2013-09-26 2015-04-01 Thomson Licensing Method and apparatus for encoding and decoding a motion vector representation in interlaced video using progressive video coding tools
GB2558086B (en) * 2014-03-25 2019-02-20 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
US9998765B2 (en) * 2014-07-16 2018-06-12 Qualcomm Incorporated Transport stream for carriage of video coding extensions
EP3244615A4 (en) * 2015-01-09 2018-06-20 Sony Corporation Image processing device, image processing method, and program, and recording medium
US9762912B2 (en) 2015-01-16 2017-09-12 Microsoft Technology Licensing, Llc Gradual updating using transform coefficients for encoding and decoding
US10389970B2 (en) * 2015-01-23 2019-08-20 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal for restoring pulled-down signal
KR102519209B1 (ko) 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
US10375371B2 (en) * 2016-07-15 2019-08-06 Mediatek Inc. Method and apparatus for filtering 360-degree video boundaries
CN108111851B (zh) * 2016-11-25 2020-12-22 华为技术有限公司 一种去块滤波方法及终端
US10999605B2 (en) 2017-01-10 2021-05-04 Qualcomm Incorporated Signaling of important video information in file formats
WO2018131803A1 (ko) * 2017-01-10 2018-07-19 삼성전자 주식회사 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치
KR102503342B1 (ko) 2017-01-10 2023-02-28 삼성전자주식회사 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치
CN106921843B (zh) * 2017-01-18 2020-06-26 苏州科达科技股份有限公司 数据传输方法及装置
US10185878B2 (en) * 2017-02-28 2019-01-22 Microsoft Technology Licensing, Llc System and method for person counting in image data
US10701400B2 (en) 2017-03-21 2020-06-30 Qualcomm Incorporated Signalling of summarizing video supplemental information
KR20200005539A (ko) * 2017-04-11 2020-01-15 브이아이디 스케일, 인크. 면 연속성을 사용하는 360 도 비디오 코딩
TWI653181B (zh) * 2018-01-31 2019-03-11 光陽工業股份有限公司 Battery box opening structure of electric vehicle
TWI674980B (zh) * 2018-02-02 2019-10-21 光陽工業股份有限公司 電動車的電池盒開啟控制結構
EP3759921A1 (en) * 2018-03-21 2021-01-06 Huawei Technologies Co., Ltd. Signaling a cancel flag in a video bitstream
CN110022297B (zh) * 2019-03-01 2021-09-24 广东工业大学 一种高清视频直播系统
WO2020252270A1 (en) * 2019-06-13 2020-12-17 Beijing Dajia Internet Information Technology Co., Ltd. Methods and system of subblock transform for video coding
CN113875241A (zh) * 2019-06-25 2021-12-31 英特尔公司 具有水平推导的子图片和子图片集
US11962808B2 (en) * 2021-04-18 2024-04-16 Lemon Inc. Video usability information in common media application format
US11758108B2 (en) * 2021-06-18 2023-09-12 Qingdao Pico Technology Co., Ltd. Image transmission method, image display device, image processing device, image transmission system, and image transmission system with high-transmission efficiency
CN115052170B (zh) * 2022-04-26 2023-06-23 中国传媒大学 一种基于sei时码信息的云上导播方法及装置
CN114745600B (zh) * 2022-06-10 2022-09-27 中国传媒大学 一种基于sei的视频标签标注方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1866921A1 (en) * 2005-03-15 2007-12-19 Kabushiki Kaisha Toshiba Information storage medium, information reproducing apparatus, information reproducing method, and network communication system
CN101529911A (zh) * 2006-10-16 2009-09-09 夏普株式会社 用于对多层比特流数据进行信号指示的方法和系统
CN102124724A (zh) * 2008-08-19 2011-07-13 高通股份有限公司 视频处理中的电力和计算负荷管理技术
CN102447906A (zh) * 2010-12-13 2012-05-09 微软公司 低延时视频解码
CN102685556A (zh) * 2007-04-18 2012-09-19 汤姆森许可贸易公司 编码系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130448A (en) 1998-08-21 2000-10-10 Gentex Corporation Optical sensor package and method of making same
US7010032B1 (en) * 1999-03-12 2006-03-07 Kabushiki Kaisha Toshiba Moving image coding apparatus and decoding apparatus
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
US20070139792A1 (en) 2005-12-21 2007-06-21 Michel Sayag Adjustable apodized lens aperture
EP1982517A4 (en) * 2006-01-12 2010-06-16 Lg Electronics Inc MULTIVATE VIDEO PROCESSING
US7585122B2 (en) 2006-03-15 2009-09-08 Nokia Corporation Aperture construction for a mobile camera
ES2492923T3 (es) * 2006-10-16 2014-09-10 Nokia Corporation Sistema y procedimiento para implementar una administración eficiente de memoria intermedia decodificada en codificación de video de vistas múltiples
PL2123049T3 (pl) * 2007-01-18 2017-06-30 Nokia Technologies Oy Przenoszenie komunikatów SEI w formacie bloku danych RTP
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
US8373919B2 (en) 2008-12-03 2013-02-12 Ppg Industries Ohio, Inc. Optical element having an apodized aperture
PL2491720T3 (pl) * 2009-10-20 2018-08-31 Telefonaktiebolaget Lm Ericsson (Publ) Zapewnienie uzupełniających informacji przetwarzania
US20110255594A1 (en) * 2010-04-15 2011-10-20 Soyeb Nagori Rate Control in Video Coding
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
JP2012199897A (ja) * 2011-03-04 2012-10-18 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1866921A1 (en) * 2005-03-15 2007-12-19 Kabushiki Kaisha Toshiba Information storage medium, information reproducing apparatus, information reproducing method, and network communication system
CN101529911A (zh) * 2006-10-16 2009-09-09 夏普株式会社 用于对多层比特流数据进行信号指示的方法和系统
CN102685556A (zh) * 2007-04-18 2012-09-19 汤姆森许可贸易公司 编码系统
CN102124724A (zh) * 2008-08-19 2011-07-13 高通股份有限公司 视频处理中的电力和计算负荷管理技术
CN102447906A (zh) * 2010-12-13 2012-05-09 微软公司 低延时视频解码

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BROSS: "HEVC text specification draft 8", 《HEVC TEXT SPECIFICATION DRAFT 8》 *
HASKELL等: "《Digital video: an Introduction to MPEG-2》", 31 December 2002 *
KAZUO SUGIMOTO: "AHG13: Proposed interlace format indication for HEVC", 《AHG13: PROPOSED INTERLACE FORMAT INDICATION FOR HEVC》 *
刘韬: "MPEG-2码流拼接算法的研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738531A (zh) * 2016-11-17 2021-04-30 英特尔公司 全景视频的建议视口指示
CN112738531B (zh) * 2016-11-17 2024-02-23 英特尔公司 全景视频的建议视口指示
TWI655864B (zh) * 2016-11-22 2019-04-01 聯發科技股份有限公司 視訊編碼中用於運動向量符號預測的方法及裝置
US10701392B2 (en) 2016-11-22 2020-06-30 Mediatek Inc. Method and apparatus for motion vector sign prediction in video coding

Also Published As

Publication number Publication date
JP2015533055A (ja) 2015-11-16
US20140079116A1 (en) 2014-03-20
TW201417582A (zh) 2014-05-01
WO2014047202A2 (en) 2014-03-27
WO2014047202A3 (en) 2014-05-15
JP6407867B2 (ja) 2018-10-17
TWI520575B (zh) 2016-02-01
TWI587708B (zh) 2017-06-11
WO2014047204A1 (en) 2014-03-27
CN104641652A (zh) 2015-05-20
US20140078249A1 (en) 2014-03-20
EP2898693A1 (en) 2015-07-29
CN104641645B (zh) 2019-05-31
TW201424340A (zh) 2014-06-16
AR093235A1 (es) 2015-05-27

Similar Documents

Publication Publication Date Title
CN104641645B (zh) 用于视频译码的交错视频数据的指示的方法和设备
CN104685888B (zh) 补充增强信息消息译码
CN103430542B (zh) 用于随机存取后译码依附图片的视频译码技术
CN105723707A (zh) 用于视频译码的色彩残差预测
CN105230016B (zh) 用于视频译码的具有解码次序编号的单个网络抽象层单元包
CN104396253A (zh) 用于高效视频译码(hevc)和扩展的视频参数集
CN105284113A (zh) 分量间滤波
CN106464917A (zh) 用信号表示用于位流分区的hrd参数
CN104969555A (zh) 在视频译码中具有时间可扩缩性支持的渐进式改进
CN104823449A (zh) 在视频译码中用信号表示关注区和逐渐解码刷新
CN105052150A (zh) 改进的有效负载格式设计
CN104488267A (zh) 平铺块及波前并行处理
CN105409220A (zh) 用于视频译码的经解码图片缓冲器操作
CN104885469A (zh) 对视频译码中的视频时序的图片次序计数时序信息的有条件信令
CN104471942A (zh) 重新使用参数集用于视频译码
CN105409219A (zh) 高效率视频译码扩展中的目标输出层的选择
CN104885460A (zh) 在视频译码中具有时间可扩缩性支持的逐渐解码刷新
CN105052156A (zh) Irap存取单元与位流切换及拼接
CN104704843A (zh) 视频性质的指示
CN104718752A (zh) 在可缩放视频译码中减少取样相位信息的发信
CN104685887A (zh) 于视频译码中发信用于操作点的层识别符
CN105075258A (zh) 针对具有不同纵横比的空间可缩放性的层间参考图片建构
CN104798372A (zh) 在视频译码中针对高效率视频译码(hevc)扩展对多个层的低复杂性支持
CN105379271A (zh) 帧内随机接入点图片的改进的跨层对齐
CN105794207A (zh) 参考图片选择

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant