CN103299621B - 用于视频译码中的一般化p/b帧的参考图片列表构造 - Google Patents

用于视频译码中的一般化p/b帧的参考图片列表构造 Download PDF

Info

Publication number
CN103299621B
CN103299621B CN201180063288.1A CN201180063288A CN103299621B CN 103299621 B CN103299621 B CN 103299621B CN 201180063288 A CN201180063288 A CN 201180063288A CN 103299621 B CN103299621 B CN 103299621B
Authority
CN
China
Prior art keywords
reference picture
list
picture list
video
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180063288.1A
Other languages
English (en)
Other versions
CN103299621A (zh
Inventor
陈盈
钱威俊
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103299621A publication Critical patent/CN103299621A/zh
Application granted granted Critical
Publication of CN103299621B publication Critical patent/CN103299621B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及用于指示视频帧经译码为一般化P/B?GPB帧以便减少译码成本且在视频译码中构造第二参考图片列表的技术。对于具有相同参考图片列表的GPB帧,发信号通知且构造第一和第二参考图片列表两者可能是冗余的。本发明的技术可包含对指示视频帧经译码为GPB帧的语法元素进行译码,且对指示仅针对第一参考图片列表的参考图片数目和参考图片列表构造命令的语法元素进行译码。所述技术还包含基于语法元素构造第一参考图片列表,且随后将第二参考图片列表产生为第一参考图片列表的复制物。

Description

用于视频译码中的一般化P/B帧的参考图片列表构造
本申请案主张2010年11月17日申请的第61/414,668号美国临时申请案和2011年6月22日申请的第61/500,029号美国临时申请案的优先权,以上每一个美国临时申请案以相应的全文引用方式并入本文。
技术领域
本发明涉及视频译码,且更特定来说涉及视频帧间译码技术。
背景技术
数字视频能力可并入到广泛多种装置中,包含数字电视机、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和类似装置。数字视频装置实施视频压缩技术,例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、或新兴的高效视频译码(HEVC)标准以及此些标准的扩展中描述的那些技术,从而较有效地发射和接收数字视频信息。
视频压缩技术执行空间预测和/或时间预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码,视频帧或切片可经分割为若干视频块或译码单元(CU)。经帧内译码(I)帧或切片中的视频块是使用相对于同一帧或切片中的相邻块的空间预测来编码。经帧间译码(P或B)帧或切片中的视频块可使用相对于同一帧或切片中的相邻块的空间预测或相对于其它参考图片的时间预测。双向预测(B)帧中的视频块可使用双向预测来编码以根据两个不同参考图片列表(在显示次序方面传统上为一个过去帧和一个未来帧)计算两个运动向量。单向预测(P)帧中的视频块可使用单向预测来编码以根据单个参考图片列表(传统上为过去帧)计算单个运动向量。
发明内容
大体上,本发明涉及用于指示视频帧经译码为一般化P/B(GPB)帧以便减少译码成本且在视频译码中构造第二参考图片列表的技术。在用于新兴HEVC标准的视频译码联合合作组(JCT-VC)的工作中,已提出GPB帧的概念。GPB帧可为双向预测(B)帧概念的特殊情况。更具体来说,可相对于相同的第一参考图片列表和第二参考图片列表中的至少一者中的参考图片来将视频帧译码为GPB帧。
对于具有相同参考图片列表的GPB帧,发信号通知且构造第一和第二参考图片列表两者可能是冗余的。本发明的技术可包含对指示视频帧经译码为GPB帧的语法元素进行译码,且对指示仅针对第一参考图片列表的参考图片数目和参考图片列表构造命令的语法元素进行译码。通过明确地向视频解码器告知视频帧经译码为GPB帧,视频解码器可预期接收仅用于第一参考图片列表的语法元素。所述技术还包含基于语法元素构造第一参考图片列表,且随后将第二参考图片列表产生为第一参考图片列表的复制物。以此方式,第二参考图片列表具有与第一参考图片列表相同数目的参考图片以及与第一参考图片列表相同的参考图片排序。
所述技术通过仅对第一参考图片列表的语法元素进行译码而消除了指示GPB帧的切片标头语法中的参考图片数目和参考图片列表构造命令的冗余语法元素。而且,所述技术通过基于语法元素仅构造第一参考图片列表且随后复制第一参考图片列表作为第二参考图片列表,而避免了在视频解码器处构造GPB帧的两个参考图片列表的冗余解码过程。
在一个实例中,本发明是针对一种对视频数据进行解码的方法,其包括:相对于第一参考图片列表和第二参考图片列表中的至少一者中的参考图片来对指示视频帧经译码为一般化P/B(GPB)帧的一个或一个以上语法元素进行解码,其中所述第一和第二参考图片列表是相同的;且对指示仅所述第一参考图片列表的参考图片数目和参考图片列表构造命令的一个或一个以上语法元素进行解码。所述方法进一步包括基于所述语法元素在视频解码器处构造所述第一参考图片列表;以及在视频解码器处将所述第二参考图片列表产生为所述第一参考图片列表的复制物。
在另一实例中,本发明是针对一种对视频数据进行编码的方法,其包括:相对于第一参考图片列表和第二参考图片列表中的至少一者中的参考图片来将视频帧编码为一般化P/B(GPB)帧,其中所述第一和第二参考图片列表是相同的;对指示所述视频帧经译码为所述GPB帧的一个或一个以上语法元素进行编码;以及对指示仅所述第一参考图片列表的参考图片数目和参考图片列表构造命令的一个或一个以上语法元素进行编码。
在又一实例中,本发明是针对一种视频解码装置,其包括:存储器,其存储经解码参考图片;以及处理器,其经配置以:相对于第一参考图片列表和第二参考图片列表中的至少一者中的参考图片来对指示视频帧经译码为一般化P/B(GPB)帧的一个或一个以上语法元素进行解码,其中所述第一和第二参考图片列表是相同的;对指示仅所述第一参考图片列表的参考图片数目和参考图片列表构造命令的一个或一个以上语法元素进行解码;基于所述语法元素构造所述第一参考图片列表;以及将所述第二参考图片列表产生为所述第一参考图片列表的复制物。
在一额外实例中,本发明是针对一种视频编码装置,其包括:存储器,其存储经解码参考图片;以及处理器,其经配置以:相对于第一参考图片列表和第二参考图片列表中的至少一者中的参考图片来将视频帧编码为一般化P/B(GPB)帧,其中所述第一和第二参考图片列表是相同的;对指示所述视频帧经译码为所述GPB帧的一个或一个以上语法元素进行编码;以及对指示仅所述第一参考图片列表的参考图片数目和参考图片列表构造命令的一个或一个以上语法元素进行编码。
在另一实例中,本发明是针对一种视频解码装置,其包括:用于相对于第一参考图片列表和第二参考图片列表中的至少一者中的参考图片来对指示视频帧经译码为一般化P/B(GPB)帧的一个或一个以上语法元素进行解码的装置,其中所述第一和第二参考图片列表是相同的;以及用于对指示仅所述第一参考图片列表的参考图片数目和参考图片列表构造命令的一个或一个以上语法元素进行解码的装置。所述视频解码装置还包含用于基于所述语法元素在视频解码器处构造所述第一参考图片列表的装置;以及用于在视频解码器处将所述第二参考图片列表产生为所述第一参考图片列表的复制物的装置。
在又一实例中,本发明是针对一种视频编码装置,其包括:用于相对于第一参考图片列表和第二参考图片列表中的至少一者中的参考图片来将视频帧编码为一般化P/B(GPB)帧的装置,其中所述第一和第二参考图片列表是相同的;用于对指示所述视频帧经译码为所述GPB帧的一个或一个以上语法元素进行编码的装置;以及用于对指示仅所述第一参考图片列表的参考图片数目和参考图片列表构造命令的一个或一个以上语法元素进行编码的装置。
在另一实例中,本发明是针对一种计算机可读存储媒体,其包括用于对视频数据进行解码的指令,所述指令在处理器中执行后即刻致使所述处理器:相对于第一参考图片列表和第二参考图片列表中的至少一者中的参考图片来对指示视频帧经译码为一般化P/B(GPB)帧的一个或一个以上语法元素进行解码,其中所述第一和第二参考图片列表是相同的;对指示仅所述第一参考图片列表的参考图片数目和参考图片列表构造命令的一个或一个以上语法元素进行解码;基于所述语法元素在视频解码器处构造所述第一参考图片列表;以及在视频解码器处将所述第二参考图片列表产生为所述第一参考图片列表的复制物。
在一额外实例中,本发明是针对一种计算机可读存储媒体,其包括用于对视频数据进行编码的指令,所述指令在处理器中执行后即刻致使所述处理器:相对于第一参考图片列表和第二参考图片列表中的至少一者中的参考图片来将视频帧编码为一般化P/B(GPB)帧,其中所述第一和第二参考图片列表是相同的;对指示所述视频帧经译码为所述GPB帧的一个或一个以上语法元素进行编码;以及对指示仅所述第一参考图片列表的参考图片数目和参考图片列表构造命令的一个或一个以上语法元素进行编码。
在附图和以下描述中陈述一个或一个以上实例的细节。从描述和图式以及从权利要求书将明了其它特征、目的和优点。
附图说明
图1是说明实例性视频编码和解码系统的框图,所述系统可利用用于有效地译码和构造GPB帧的参考图片列表的技术。
图2是说明包含GPB帧的实例性视频序列的概念图。
图3是说明实例性视频编码器的框图,所述视频编码器可实施用于有效地发信号通知GPB帧的参考图片数目和参考图片列表构造命令的技术。
图4是说明实例性视频解码器的框图,所述视频解码器可实施用于有效地构造GPB帧的参考图片列表的技术。
图5是说明对仅第一参考图片列表的参考图片数目和参考图片列表构造命令进行编码的实例性操作的流程图。
图6是说明构造第一参考图片列表且将第二参考图片列表产生为第一参考图片列表的复制物的实例性操作的流程图。
具体实施方式
本发明涉及用于指示视频帧经译码为一般化P/B(GPB)帧以便减少译码成本且在视频译码时构造第二参考图片列表的技术。视频帧可经译码为GPB帧,其第一参考图片列表和第二参考图片列表是相同的。在此情况下,两个参考图片列表具有相同数目的图片(表示为N),且在第一参考图片列表中具有参考索引i(i<N)的任一图片与第二参考图片列表中具有参考索引i的图片相同。对于GPB帧,发信号通知和构造第一和第二参考图片列表可能是冗余的。
本发明的技术可包含对指示视频帧经译码为GPB帧的语法元素进行译码,且对指示仅针对第一参考图片列表的参考图片数目和参考图片列表构造命令的语法元素进行译码。通过明确地向视频解码器告知视频帧经译码为GPB帧,视频解码器可预期接收仅用于第一参考图片列表的语法元素。所述技术还包含基于语法元素构造第一参考图片列表,且随后将第二参考图片列表产生为第一参考图片列表的复制物。以此方式,第二参考图片列表具有与第一参考图片列表相同数目的参考图片以及与第一参考图片列表相同的参考图片排序。
B帧的参考图片列表的参考图片列表构造通常包含两个步骤:参考图片列表初始化和参考图片列表重排序(即,修改)。举例来说,在参考图片列表初始化步骤期间,视频解码装置可基于参考图片的显示次序或POC(图片次序计数)值将存储在参考图片存储器中的参考图片放置于列表中。随后,在参考图片列表重排序步骤期间,视频解码器可将在参考图片列表初始化步骤期间放置于列表中的参考图片的位置修改为任一其它位置,且可将存储在参考图片存储器中的任一参考图片放置于列表中的任一位置。
以此方式,所述技术通过仅对第一参考图片列表的语法元素进行译码而消除了指示GPB帧的切片标头语法中的参考图片列表构造命令的冗余语法元素。而且,所述技术通过基于语法元素仅构造第一参考图片列表且随后复制第一参考图片列表作为第二参考图片列表,而避免了在视频解码器处构造GPB帧的两个参考图片列表的冗余解码过程。
图1是说明实例性视频编码和解码系统10的框图,所述系统可利用用于有效地译码和构造一般化P/B(GPB)帧的参考图片列表的技术。大体上,参考图片列表可替代地称为参考帧列表。如图1所示,系统10包含源装置12,所述源装置12经由通信信道16将经编码视频发射到目的地装置14。源装置12和目的地装置14可包括广范围的装置中的任一者。在一些情况下,源装置12和目的地装置14可包括可经由通信信道16传送视频信息的无线通信装置,在此情况下通信信道16为无线的。
然而有关GPB帧的参考图片列表的有效译码和构造的本发明的技术不一定限于无线应用或设定。举例来说,这些技术可适用于空中电视广播、闭路电视发射、卫星电视发射、因特网视频发射、经编码到存储媒体上的经编码数字视频或其它情形。因此,通信信道16可包括适合于发射经编码视频数据的无线或有线媒体的任一组合,且装置12、14可包括多种有线或无线媒体装置中的任一者,例如移动电话、智能电话、数字媒体播放器、机顶盒、电视机、显示器、桌上型计算机、便携式计算机、平板计算机、游戏控制台、便携式游戏装置或类似装置。
在图1的实例中,源装置12包含视频源18、视频编码器20、调制器/解调器(调制解调器)22和发射器24。目的地装置14包含接收器26、调制解调器28、视频解码器30和显示装置32。在其它实例中,源装置和目的地装置可包含其它组件或布置。举例来说,源装置12可从外部视频源18接收视频数据,外部视频源例如是外部相机、视频存储档案、计算机图形源或类似物。同样,目的地装置14可与外部显示装置介接,而不是包含集成显示装置。
图1说明的系统10仅是一个实例。用于GPB帧的参考图片列表的有效译码和构造的技术可由任一数字视频编码和/或解码装置执行。所述技术还可由通常称为“编解码器(CODEC)”的视频编码器/解码器执行。而且,本发明的技术也可由视频预处理器执行。源装置12和目的地装置14仅是此类译码装置的实例,其中源装置12产生经译码视频数据以用于发射到目的地装置14。在一些实例中,装置12、14可以大体上对称方式操作,使得装置12、14中的每一者包含视频编码和解码组件。因此,系统10可支持视频装置12、14之间的单向或双向视频发射,例如用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置,例如摄像机、含有先前俘获的视频的视频档案和/或来自视频内容提供者的视频馈送。作为又一替代,视频源18可产生基于计算机图形的数据作为源视频,或直播视频、经归档视频和计算机产生的视频的组合。在一些情况下,如果视频源18是摄像机,则源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而如上文提到,本发明中描述的技术可大体上适用于视频译码,且可应用于无线和/或有线应用。在每一情况下,所俘获、预俘获或计算机产生的视频可由视频编码器20编码。经编码视频信息可随后由调制解调器22根据通信标准而调制,且经由发射器24发射到目的地装置14。调制解调器22可包含为了信号调制而设计的各种混频器、滤波器、放大器或其它组件。发射器24可包含为了发射数据而设计的电路,包含放大器、滤波器和一个或一个以上天线。
根据本发明,源装置12的视频编码器20可经配置以应用所述技术以减少发信号通知GPB帧的参考图片数目和参考图片列表构造命令的成本。视频编码器20可相对于相同的第一参考图片列表和第二参考图片列表中的至少一者中的参考图片来将视频帧编码为GPB帧。视频编码器20还可对指示视频帧经译码为GPB帧的语法元素进行编码。对于具有相同参考图片列表的GPB帧,发信号通知第一和第二参考图片列表两者的参考图片数目和构造命令可为冗余的。因此在GPB帧的情况下,视频编码器20可对指示仅第一参考图片列表的参考图片数目和参考图片列表构造命令的语法元素进行编码。以此方式,所述技术通过仅对第一参考图片列表的语法元素进行编码而消除了指示GPB帧的切片标头语法中的参考图片数目和参考图片列表构造命令的冗余语法元素。
目的地装置14的接收器26经由信道16接收信息,且调制解调器28对所述信息进行解调。经由信道16传送的信息可包含由视频编码器20定义的语法信息,所述信息也由视频解码器30使用,包含描述预测单元(PU)、译码单元(CU)或经译码视频的其它单元(例如,视频切片、视频帧和视频序列或图片群组(GOP))的特性和/或处理的语法元素。显示装置32向用户显示经解码视频数据,且可包括多种显示装置中的任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器,或另一类型的显示装置。
根据本发明,源装置14的视频解码器30可经配置以应用所述技术以减少构造GPB帧的参考图片列表的成本。视频解码器30可对与经译码视频帧一起包含的语法元素进行解码以确定视频帧经译码为GPB帧。基于此指示,视频解码器30预期接收且解码指示仅第一参考图片列表的参考图片数目和参考图片列表构造命令的语法元素。视频解码器30可随后基于由语法元素指示的参考图片数目和参考图片列表构造命令来构造第一参考图片列表。
视频解码器30随后将第二参考图片列表产生为第一参考语法元素图片列表的复制物。以此方式,第二参考图片列表中的参考图片数目设定为等于第一参考图片列表中的参考图片数目。所述技术通过仅构造第一参考图片列表且随后复制第一参考图片列表作为第二参考图片列表,可避免在视频解码器处构造GPB帧的参考图片列表的冗余解码过程。
在图1的实例中,通信信道16可包括任何无线或有线通信媒体,例如射频(RF)频谱或者一种或一种以上物理传输线,或无线与有线媒体的任何组合。通信信道16可形成基于包的网络的部分,所述网络例如为局域网、广域网或例如因特网的全球网。通信信道16大体上表示用于将视频数据从源装置12发射到目的地装置14的任何合适的通信媒体或不同通信媒体的集合,包含有线或无线媒体的任何合适组合。通信信道16可包含路由器、交换机、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。
视频编码器20和视频解码器30可根据例如新兴的高效视频译码(HEVC)标准或ITU-TH.264标准(或者称为MPEG-4第10部分高级视频译码(AVC))等视频压缩标准来操作。然而本发明的技术不限于任何特定译码标准。其它实例包含MPEG-2和ITU-TH.263。虽然图1中未图示,但在一些方面中,视频编码器20和视频解码器30可各自与音频编码器和解码器集成,且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件和软件,以处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用,MUX-DEMUX单元可符合ITUH.223多路复用器协议,或例如用户数据报协议(UDP)等其它协议。
JCT-VC正致力于HEVC标准的开发,有时称为未来H.265标准。HEVC标准化努力是基于称为HEVC测试模型(HM)的视频译码装置的模型。HM假设视频译码装置相对于符合例如ITU-TH.264/AVC的现存装置的若干额外能力。举例来说,H.264提供9种帧内预测编码模式,而HM提供多达33种帧内预测编码模式。
HM将视频数据块称为译码单元(CU)。位流内的语法数据可定义最大译码单元(LCU),其为在像素数目方面最大的译码单元。大体上,CU具有与H.264标准的宏块类似的用途,不同的是CU不具有大小区别。因此,CU可分裂为若干子CU。大体上,本发明中对CU的参考可指代图片的最大译码单元或LCU的子CU。LCU可分裂为若干子CU,且每一子CU可进一步分裂为若干子CU。位流的语法数据可定义LCU可经分裂的最大次数,称为CU深度。因此,位流也可定义最小译码单元(SCU)。
未进一步分裂的CU可包含一个或一个以上预测单元(PU)。大体上,PU表示对应CU的全部或一部分,且包含用于检索PU的参考样本的数据。举例来说,当PU经帧内模式编码时,PU可包含描述PU的帧内预测模式的数据。作为另一实例,当PU经帧间模式编码时,PU可包含定义PU的运动向量的数据。
定义PU的运动向量的数据可描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片,和/或运动向量的参考图片列表(例如,列表0或列表1)。定义PU的CU的数据还可描述例如CU分割为一个或一个以上PU。分割模式在CU经跳过或直接模式编码、经帧内预测模式编码还是经帧间预测模式编码之间可不同。
具有一个或一个以上PU的CU还可包含一个或一个以上变换单元(TU)。在使用PU的预测之后,视频编码器可计算CU的对应于PU的部分的残余值。残余值对应于像素差值,所述像素差值可变换为经量化变换系数且经扫描以产生用于熵译码的经串行化变换系数。TU不一定限于PU的大小。因此,TU可大于或小于同一CU的对应PU。在一些实例中,TU的最大大小可为对应CU的大小。本发明使用术语“视频块”来指代CU、PU或TU中的任一者。
视频编码器20和视频解码器30各自可实施为多种合适编码器电路中的任一者,例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任一组合。视频编码器20和视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中,其中任一者可集成为相应的相机、计算机、移动装置、订户装置、广播装置、机顶盒、服务器或类似装置中的组合式编码器/解码器(CODEC)的部分。
视频序列通常包含一系列视频帧。图片群组(GOP)通常包括一系列一个或一个以上视频帧。GOP可在GOP的标头、GOP的一个或一个以上帧的标头或其它地方包含描述所述GOP中包含的帧数目的语法数据。每一帧可包含描述相应帧的编码模式的帧语法数据。视频编码器20通常对个别视频帧内的视频块进行操作以便对视频数据进行编码。视频块可对应于译码单元(CU)或CU的分区单元(PU)。视频块可具有固定或变化的大小,且可根据指定译码标准而大小不同。每一视频帧可包含多个切片。每一切片可包含多个CU,CU可包含一个或一个以上PU。
作为一实例,HEVC测试模型(HM)支持各种CU大小下的预测。LCU的大小可由语法信息定义。假定特定CU的大小为2Nx2N,则HM支持2Nx2N或NxN的大小的帧内预测以及2Nx2N、2NxN、Nx2N或NxN的对称大小的帧间预测。HM还支持2NxnU、2NxnD、nLx2N和nRx2N的帧间预测的不对称分裂。在不对称分裂中,CU的一个方向未分裂,而另一方向分裂为25%和75%。CU的对应于25%分裂的部分由“n”指示,随后是“上”、“下”、“左”或“右”的指示。因此,举例来说,“2NxnU”指代经水平分裂的2Nx2NCU,其中顶部为2Nx0.5NPU且底部为2Nx1.5NPU。
在本发明中,“NxN”和“N乘N”可以互换地使用以在垂直和水平尺寸方面指代视频块(例如,CU、PU或TU)的像素尺寸,例如16x16像素或16乘16像素。大体上,16x16块将在垂直方向上具有16个像素(y=16)且在水平方向上具有16个像素(x=16)。同样,NxN块通常在垂直方向上具有N个像素且在水平方向上具有N个像素,其中N表示非负整数值。块中的像素可以若干行和列布置。而且,块无需一定在水平方向上具有与垂直方向上相同数目的像素。举例来说,块可包括NxM个像素,其中M不一定等于N。
在帧内预测或帧间预测译码以产生CU的PU后,视频编码器20可计算残余数据以产生CU的一个或一个以上变换单元(TU)。CU的PU可包括空间域(也称为像素域)中的像素数据,而CU的TU可包括例如在对残余视频数据应用例如离散余弦变换(DCT)、整数变换、小波变换等变换或概念上类似的变换后的变换域中的系数。残余数据可对应于未经编码图片的像素之间的像素差和CU的PU的预测值。视频编码器20可形成包含CU的残余数据的一个或一个以上TU。视频编码器20可随后变换TU以产生变换系数。
在任何变换以产生变换系数后,可执行变换系数的量化。量化大体上指代其中变换系数经量化以可能地减少用以表示所述系数的数据量从而提供进一步压缩的过程。量化过程可产生与系数中的一些或全部相关联的位深度。举例来说,在量化期间可将n位值下舍入到m位值,其中n大于m。
在一些实例中,视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可经熵编码的经串行化向量。在其它实例中,视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后,视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)或另一熵编码方法对所述一维向量进行熵编码。
为了执行CABAC,视频编码器20可选择上下文模型以应用于某一上下文来对待发射的符号进行编码。所述上下文可例如涉及相邻值是否为非零。为了执行CAVLC,视频编码器20可针对待发射符号选择可变长度码。VLC中的码字可经构造以使得相对较短的码对应于较可能的符号,而较长的码对应于较不可能的符号。以此方式,VLC的使用可例如针对待发射的每一符号使用相等长度码字来实现位节省。概率确定可基于对符号指派的上下文。
视频编码器20还可对指示参考图片数目和参考图片列表构造命令的语法元素进行熵编码,以使视频解码器30能够重构用以对视频帧的CU进行编码的参考图片列表。根据本发明,视频编码器20可减少发信号通知GPB帧的参考图片数目和参考图片列表构造命令的成本。视频编码器20可相对于相同的第一参考图片列表和第二参考图片列表中的至少一者的参考图片来将视频帧编码为GPB帧。对于具有相同参考图片列表的GPB帧,发信号通知第一和第二参考图片列表可能是冗余的。因此,视频编码器20可对指示视频帧经编码为GPB帧的语法元素进行编码,且对指示仅针对第一参考图片列表的参考图片数目和参考图片列表构造命令的语法元素进行编码。
视频解码器30可以与视频编码器20基本上对称的方式来操作。举例来说,视频解码器30可接收表示视频帧的经编码CU的经熵编码数据。此接收的数据可包含指示视频帧经译码为GPB帧的语法元素,以及指示仅针对第一参考图片列表的参考图片数目和参考图片列表构造命令的语法元素。根据本发明,视频解码器30可减少构造GPB帧的参考图片列表的成本。举例来说,视频解码器30可确定视频帧经编码为GPB帧,且预期接收且解码指示仅针对第一参考图片列表的参考图片数目和参考图片列表构造命令的语法元素。视频解码器30可基于由语法元素指示的参考图片数目和参考图片列表构造命令来构造第一参考图片列表。视频解码器30可随后将第二参考图片列表产生为第一参考图片列表的复制物。
以此方式,所述技术通过仅对第一参考图片列表的语法元素进行编码而消除了指示GPB帧的切片标头语法中的参考图片数目和参考图片列表构造命令的冗余语法元素。另外,在一些情况下,所述技术通过仅构造第一参考图片列表且随后复制第一参考图片列表作为第二参考图片列表,可避免在视频解码器处构造GPB帧的参考图片列表的冗余解码过程。
视频编码器20和视频解码器30在适当时各自可实施为多种合适编码器或解码器电路中的任一者,例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任一组合。视频编码器20和视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中,其中任一者可集成为组合式视频编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的设备可包括集成电路、微处理器和/或无线通信装置,例如蜂窝式电话。
图2是说明包含一般化P/B(GPB)帧36A-36B和38A-38B的实例性视频序列33的概念图。在一些情况下,视频序列33可称为图片群组(GOP)。如所说明,视频序列33包含帧35A、36A、38A、35B、36B、38B和35C以及在显示次序上的最终帧39。帧34是在序列33之前发生的序列的在显示次序上的最终帧。图2大体上表示视频序列的示范性预测结构,且既定仅说明用于对不同的帧间模式帧类型进行编码的帧参考。实际视频序列可含有不同帧类型且成不同显示次序的较多或较少视频帧。
对于基于块的视频译码,包含于序列33中的每一视频帧可经分割为若干视频块或译码单元(CU)。视频帧的每一CU可包含一个或一个以上预测单元(PU)。经帧内译码(I)帧中的视频块或PU是使用相对于同一帧中的相邻块的空间预测来编码。经帧间译码(P或B或GPB)帧中的视频块或PU可使用相对于同一帧中的相邻块的空间预测或相对于其它参考图片的时间预测。
B帧中的视频块可使用双向预测来编码以根据两个不同参考图片列表(传统上为一个过去帧和一个未来帧)计算两个运动向量。在一些情况下,B帧中的视频块可使用单向预测从两个不同参考图片列表中的一者来编码。P帧中的视频块可使用单向预测来编码以根据单个参考图片列表(传统上为在显示次序方面相对于当前帧的过去帧)计算单个运动向量。根据新兴的HEVC标准,GPB帧中的视频块可使用单向预测来编码以根据两个相同参考图片列表中的一者计算单个运动向量,或使用双向预测来编码以根据两个相同参考图片列表计算两个运动向量。所述两个相同参考图片列表可含有例如过去参考图片。
在一些情况下,当针对给定视频切片、视频帧或视频序列完全启用GPB帧时,其可代替标准P帧。在此情况下,可将所有标准P帧视为GPB帧,使得视频编码器可确定将帧间模式帧编码为B帧或GPB帧。在其它情况下,当部分地启用GPB帧时,可使用全部三种帧间预测模式。在此情况下,视频编码器可确定将帧间模式帧编码为B帧、P帧或GPB帧。
在图2的实例中,最终帧39经指定用于帧内模式译码为I帧。在其它实例中,最终帧39可以帧间模式译码参考先前序列的最终帧34而经译码为例如P帧。视频帧35A-35C(统称为“视频帧35”)经指定用于使用双向预测参考过去帧和未来帧而译码为B帧。在所说明实例中,参考最终帧34和帧36A将帧35A编码为B帧,如从帧34和帧36A到视频帧35A的箭头所指示。帧35B和35C类似地经编码。
视频帧36A-36B(统称为视频帧“36”)可经指定用于使用单向预测参考过去帧而译码为标准P帧或GPB帧。在所说明实例中,参考最终帧34将帧36A编码为P帧或GPB帧,如从帧34到视频帧36A的箭头所指示。帧36B类似地经编码。
视频帧38A-38B(统称为“视频帧38”)可经指定用于使用双向预测参考同一过去帧而译码为GPB帧。在其它实例中,可使用双向预测参考包含于同一参考图片列表中的大体上类似的过去帧来对GPB帧进行编码。在所说明实例中,参考帧36A将帧38A编码为GPB帧,如从帧36A到视频帧38A的两个箭头所指示。帧38B类似地经编码。
图3是说明视频编码器20的实例的框图,所述视频编码器可实施用于有效地发信号通知GPB帧的参考图片数目和参考图片列表构造命令的技术。视频编码器20可对视频帧内的译码单元执行帧内和帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的压缩模式中的任一者。例如单向预测(P模式)、双向预测(B模式)或一般化P/B预测(GPB模式)等帧间模式可指代若干基于时间的压缩模式中的任一者。
在图3的实例中,视频编码器20包含模式选择单元40、预测单元41、参考图片存储器64、求和器50、变换单元52、量化单元54以及熵编码单元56。预测单元41包含运动估计单元42、运动补偿单元44和帧内预测单元46。对于视频块重构,视频编码器20还包含逆量化单元58、逆变换单元60和求和器62。还可包含解块滤波器(图3中未图示)以对块边界进行滤波以从经重构视频移除成块假象。如果需要,则解块滤波器将通常对求和器62的输出进行滤波。
如图3所示,视频编码器20接收待编码视频帧或切片内的当前视频块。所述帧或切片可划分为多个视频块或CU。模式选择单元40可基于误差结果而为当前视频块选择译码模式中的一者(帧内或帧间),且预测单元41可将所得经帧内或帧间译码块提供到求和器50以产生残余块数据且提供到求和器62以重构经编码块以用作参考图片。
预测单元41内的帧内预测单元46可相对于与待译码当前块相同的帧或切片中的一个或一个以上相邻块执行当前视频块的帧内预测译码以提供空间压缩。预测单元41内的运动估计单元42和运动补偿单元44相对于一个或一个以上参考图片中的一个或一个以上预测块执行当前视频块的帧间预测译码以提供时间压缩。所述一个或一个以上参考图片可选自第一参考图片列表(列表0)66和/或第二参考图片列表(列表1)68。列表066和列表68可基于存储在参考图片存储器64中的经解码参考图片来构造。大体上,参考图片列表可替代地称为参考帧列表。
运动估计单元42可经配置以根据视频序列的预定模式来确定视频帧的帧间预测模式。预定模式可将序列中的视频帧指定为P帧和/或B帧。在一些情况下,可启用GPB帧以使得可以预定模式将一个或一个以上视频帧指定为GPB帧。在其它情况下,当启用GPB帧时,运动估计单元42可确定是否将原始指定的P帧编码为GPB帧。后一种情况可取决于GPB帧是完全启用还是部分启用。
运动估计单元42和运动补偿单元44可高度集成,但为了概念目的而分开来说明。由运动估计单元42执行的运动估计是产生估计视频块的运动的运动向量的过程。举例来说,运动向量可指示当前视频帧内的视频块或PU相对于参考图片内的预测块的位移。预测块为被发现在像素差方面紧密匹配于待译码视频块或PU的块,所述像素差可通过绝对差和(SAD)、平方差和(SSD)或其它差量度来确定。在一些实例中,视频编码器20可计算存储在参考图片存储器64中的参考图片的子整数像素位置的值。举例来说,视频编码器20可计算参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可执行相对于全像素位置和分数像素位置的运动搜索,且输出具有分数像素精度的运动向量。
运动估计单元42通过将PU的位置与列表066或列表168中的参考图片的预测块的位置进行比较来计算经帧间译码帧的视频块或PU的运动向量。举例来说,当经帧间译码帧包括P帧时,运动估计单元42可针对P帧中的视频块使用单向预测,且根据列表066和列表168中包含过去帧的识别符的一者(传统上为列表066)计算单个运动向量。
当经帧间译码帧包括例如B帧时,列表066和列表168将包含不同参考图片(传统上为过去帧和未来帧)的识别符。运动估计单元42可针对B帧的视频块使用双向预测,且根据列表066和列表168计算两个运动向量。在一些情况下,运动估计单元42可针对B帧的视频块使用单向预测,且根据参考图片列表66、68中的一者计算单个运动向量。
根据新兴的HEVC标准,当经帧间译码帧包括GPB帧时,列表066和列表168可包含相同参考图片的成相同次序的相同条目。更具体来说,包含在列表066和列表168中的每一者中的图片数目是相同的,且由列表066中的每一索引条目指示的图片与由列表168中的同一索引条目指示的图片相同。包含在列表066和列表168中的参考图片可包括过去图片。在此情况下,运动估计单元42可针对GPB帧的视频块使用双向预测,且根据列表066和列表168计算两个运动向量。运动估计单元42还可针对GPB帧的视频块使用单向预测,且根据列表066和列表168中的一者计算单个运动向量。
运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。由运动补偿单元44执行的运动补偿可涉及基于由运动估计确定的运动向量来获取或产生预测块。更具体来说,在帧间预测块的情况下,运动补偿单元44可从存储在参考图片存储器64中的经解码参考图片构造列表066和列表168。在接收到当前视频块或PU的运动向量后,运动补偿单元44可即刻在列表066和列表168中的一者中定位运动向量指向的预测块。视频编码器20通过从正译码的当前视频块的像素值减去预测块的像素值而形成像素差值,来形成残余视频块。像素差值形成块的残余数据,且可包含亮度和色度差分量两者。求和器50表示执行此减法运算的组件。
运动补偿单元44还可产生经定义以在视频序列层级、视频帧层级、视频切片层级、视频译码单元层级或视频预测单元层级中的一者或一者以上处表示预测信息的语法元素。举例来说,运动补偿单元44可产生在视频切片层级或视频帧层级处指示列表066和/或列表168的语法元素。所述语法元素可使得视频解码器30能够重构参考图片列表列表066和/或列表168,以便对经编码视频块或CU进行解码。熵编码单元56可随后对语法元素进行编码且向视频解码器30发信号通知所述语法元素。
用于每一参考图片列表的语法元素包含经定义以表示参考图片列表中的参考图片数目的语法元素,以及经定义以表示参考图片列表的参考图片构造命令的语法元素。表示参考图片列表构造命令的语法元素可包括指示解码器30如何初始化参考图片列表的命令以及指示解码器30如何对参考图片列表的参考图片进行重排序的表。在一些实例中,语法元素还可包含经定义以表示应用于参考图片列表中的参考图片的预测权重和偏移的语法元素。表示预测权重和偏移的语法元素可包括指示解码器30将某些权重和偏移值应用于相关联参考图片列表的每一参考图片的表。在一些情况下,预测权重和偏移表可为参考图片的亮度和色度部分提供不同的权重和偏移。
根据本发明的技术,视频编码器20可减少发信号通知GPB帧的参考图片数目和参考图片列表构造命令的成本。视频编码器20可相对于相同的列表066和/或列表168的参考图片来将视频帧编码为GPB帧。所述技术允许视频编码器20对指示视频帧经编码为GPB帧的语法元素进行编码。在所述情况下,视频编码器20发信号通知列表066和列表168两者可为冗余的。因此在本发明中描述的技术允许当以相同参考图片列表将视频帧编码为GPB帧时,视频编码器20对指示仅第一参考图片列表(即,列表066)的参考图片数目和参考图片列表构造命令的语法元素进行编码。以此方式,视频编码器20可通过仅对列表066的语法元素进行编码而消除了指示GPB帧的切片标头语法中的参考图片数目和参考图片列表构造命令的冗余语法元素。在其它实例中,视频编码器20可对指示仅第二参考图片列表(即,列表168)的参考图片列表构造命令的语法元素进行编码。
本发明中描述的技术使得视频编码器20能够相对于相同参考图片列表(列表066和列表168)中的一者或两者中的参考图片来对GPB帧的视频块或CU进行编码。举例来说,当运动估计单元42针对GPB帧的视频块使用双向预测且根据列表066和列表168计算两个运动向量时,视频编码器20可仍相对于列表066的参考图片对第一运动向量进行编码且相对于列表168的参考图片对第二运动向量进行编码。然而,所述技术是针对修改由视频编码器20用来向视频解码器30告知参考图片列表的信令。更具体来说,运动补偿单元44可仅产生指示列表066的参考图片数目和参考图片列表构造命令的语法元素。
当第一和第二参考图片列表(列表066和列表168)含有相同参考图片的识别符时,发信号通知两个参考图片列表可为冗余的。根据所述技术,视频编码器20通过消除表示第二参考图片列表(即,列表168)的参考图片数目和参考图片列表构造命令的语法元素,可减少在视频切片或帧层级处所需的信令量。通过消除包含参考图片列表修改表的第二参考图片列表的语法元素,视频编码器20可提供在视频切片或帧层级处的实质位节省。
在一些实例中,视频编码器20可仅对指示第一参考图片列表的预测权重和偏移的语法元素进行编码。在所述情况下,将相同权重和偏移值应用于相同的第一和第二参考帧列表中的参考图片。在其它实例中,视频编码器20可对指示第一和第二参考图片列表中的每一者的不同预测权重和偏移的单独语法元素进行编码。在此情况下,可将不同权重和偏移值应用于相同的第一和第二参考帧列表中的每一者中的参考帧。
本发明的技术还包含对指示视频帧经编码为GPB帧的语法元素进行编码。所述语法元素明确地向视频解码器30告知视频帧经编码为GPB帧。以此方式,视频解码器30预期语法元素仅包含列表066的参考图片列表构造命令。举例来说,如果针对当前视频帧启用或允许GPB帧,则视频编码器20可向视频解码器30发信号通知GPB启用旗标以指示GPB帧经启用。视频编码器20可在视频帧层级或视频序列层级处在语法中发信号通知GPB启用旗标。GPB启用旗标可经定义以指示GPB帧经停用、完全启用或部分启用。当GPB帧经停用时,将原始指定的P帧编码为常规P帧,其中每一PU一个运动向量。当GPB帧经完全启用时,可将原始指定的P帧视为GPB帧,其中每一PU一个或两个运动向量。当GPB帧经部分启用时,P帧、B帧和GPB帧概念可视为相异概念。
在一些实例中,当GPB帧经启用时,可定义新切片类型以使得可以GPB切片类型来对视频帧进行编码。在此情况下,GPB切片类型明确地向视频解码器30告知视频帧经编码为GPB帧。在其它实例中,虽然GPB帧经启用,但可以不定义新切片类型,使得可以B切片类型和/或P切片类型来对视频帧进行编码。在此情况下,视频编码器20可能需要向视频解码器30连同B切片类型和/或P切片类型一起对GPB旗标进行编码以在标准B和/或P帧与GPB帧之间进行区分。在任一情况下,所述语法元素明确地向视频解码器30告知视频帧经编码为GPB帧。以此方式,视频解码器30知晓语法元素仅包含列表066的参考图片列表构造命令,其可使得视频解码器30能够适当地剖析语法元素。
作为一个实例,当GPB帧经启用时,可定义新GPB切片类型。以下表1中呈现经定义以表示用以对视频帧进行编码的切片类型的语法元素slice_type的示范性定义表。在示范性定义表中,slice_type语法元素经定义以指示当设定为等于值5时的新GPB切片类型。在其它实例中,GPB切片类型可与尚未关联于不同切片类型的任一其它数字相关联。
表1
slice_type slice_type的名称
0 P(P切片)
1 B(B切片)
2 I(I切片)
3 SP(SP切片)12 -->
4 SI(SI切片)
5 GPB(GPB切片)
当新GPB切片类型经定义时,不必需额外明确信令来指示当前视频帧经编码为GPB帧。当视频帧经编码为GPB切片时,切片标头语法可定义仅第一参考图片列表(即,列表066)的参考图片数目和参考图片列表构造命令。以下表2中呈现在视频切片层级处从语法的摘录,具有仅对语法元素num_ref_idx_l0_active_minusl进行编码的修改,指示经编码为GPB切片的视频帧的列表066的有效参考图片数目。
表2
为给定视频帧定义切片标头语法。表2中的C列指示每一语法元素的类别,其定义所述语法元素包含于当前视频帧的哪一数据分区中。表2中的描述符列指示用于语法元素以实现视频解码器30处对语法元素的适当剖析的译码类型。举例来说,描述符“ue(v)”指示指数哥伦布译码。
如表2的语法摘录中所示,如果将当前视频帧视为P切片、GPB切片或B切片,则运动补偿单元44产生语法元素num_ref_idx_l0_active_minusl以表示列表066中包含的有效参考图片数目。随后,仅在将视频帧视为B切片的情况下,运动补偿单元44才产生语法元素num_ref_idx_l1_active_minusl以表示列表168中包含的参考图片数目。
当将视频帧视为GPB切片时,仅针对列表066发信号通知有效参考图片数目,且将列表168的有效参考图片数目设定为等于与列表066的有效参考图片数目相同的值。在一些情况下,可将参考图片添加到列表中,但从不使用,因为参考图片放置于超过所述列表的所指示有效参考图片数目的参考索引位置。因此,列表中的实际可使用参考图片数目可视为等于列表的所指示有效参考图片数目。在本发明中,术语“参考图片数目”和“有效参考图片数目”可视为等效的且可互换使用。
作为另一实例,当GPB帧经启用时,可在常规B帧的情况下以不同参考图片列表或在GPB帧的情况下以相同参考图片列表将视频帧编码为B切片。对GPB帧进行编码的此模式在GPB帧经完全启用时可为优选的,使得可以使用或不使用相同参考图片列表来将所有帧间预测帧编码为B切片。视频编码器20可向视频解码器30明确地发信号通知GPB旗标,例如gpb_pred_flag或slice_gpb_flag,以指示视频帧何时经编码为GPB帧,以便在常规B帧与GPB帧之间进行区分。视频编码器20可在视频切片层级、视频帧层级或视频序列层级中的一者处在语法中发信号通知GPB旗标。
当视频帧以GPB旗标经编码为B切片类型时,切片标头语法可定义仅第一参考图片列表(即,列表066)的参考图片数目和参考图片列表构造命令。以下表3中呈现在视频切片层级处从语法的摘录,具有仅对语法元素num_ref_idx_l0_active_minusl进行编码的修改,指示以GPB旗标slice_gpb_flag经编码为B切片的视频帧的列表066的有效参考图片数目。
表3
如表3的语法摘录中所示,如果将当前视频帧视为B切片,则视频编码器20可发信号通知GPB旗标slice_gpb_flag以指示视频帧相对于相同参考图片列表的参考图片经编码为GPB帧。如果视频帧相对于不同参考图片列表的参考图片经编码为常规B帧,则视频编码器20可不发信号通知GPB旗标。
如果将当前视频帧视为具有或不具有GPB旗标的P切片或B切片,则运动补偿单元44产生语法元素num_ref_idx_l0_active_minusl以表示列表066中包含的有效参考图片数目。随后,仅在将视频帧视为不具有GPB旗标的B切片(即,常规B切片)的情况下,运动补偿单元44才产生语法元素num_ref_idx_l1_active_minusl以表示列表168中包含的参考图片数目。当将视频帧视为具有GPB旗标的B切片时,仅针对列表066发信号通知有效参考图片数目,且将列表168的有效参考图片数目设定为等于与列表066的有效参考图片数目相同的值。
在又一实例中,当GPB帧经启用时,通过在GPB帧的情况下双向预测的选择,视频帧可经编码为P切片。对GPB帧进行编码的此模式在GPB帧经部分启用时可为优选的,使得可以使用或不使用双向预测来将帧间预测帧编码为B切片或P切片。视频编码器20可向视频解码器30明确地发信号通知GPB旗标,例如gpb_pred_flag或slice_gpb_flag,以指示视频帧何时经编码为GPB帧,以便在常规P帧与GPB帧之间进行区分。视频编码器20可在视频切片层级、视频帧层级或视频序列层级中的一者处在语法中发信号通知GPB旗标。
当视频帧经编码为具有GPB旗标的P切片类型时,切片标头语法可定义仅第一参考图片列表(即,列表066)的参考图片数目和参考图片列表构造命令。以下表4中呈现在视频切片层级处从语法的摘录,具有仅对语法元素num_ref_idx_l0_active_minusl进行编码的修改,指示经编码为具有GPB旗标slice_gpb_flag的P切片的视频帧的列表066的有效参考图片数目。
表4
如表4的语法摘录中所示,如果将当前视频帧视为P切片,则视频编码器20可发信号通知GPB旗标slice_gpb_flag以指示通过单向或双向预测的选择视频帧经编码为GPB帧。如果通过仅单向预测视频帧经编码为常规P帧,则视频编码器20可不发信号通知GPB旗标。
如果将当前视频帧视为具有或不具有GPB旗标的P切片或B切片,则运动补偿单元44产生语法元素num_ref_idx_l0_active_minus1以表示列表066中包含的有效参考图片数目。随后,仅在将视频帧视为B切片的情况下,运动补偿单元44才产生语法元素num_ref_idx_l1_active_minus1以表示列表168中包含的参考图片数目。当将视频帧视为具有GPB旗标的P切片时,仅针对列表066发信号通知有效参考图片数目,将列表168的有效参考图片数目设定为等于与列表066的有效参考图片数目相同的值。
在以上实例中的任一者中,当视频帧经编码为GPB帧时,运动补偿单元44还根据下文关于表5更详细描述的参考图片列表修改表ref_pic_list_modification()而产生经定义以表示列表066内的参考图片的参考图片列表构造命令(包含参考图片重排序)的语法元素。表示参考图片列表重排序的语法元素可包括指示解码器30如何对第一参考图片列表列表066的参考图片进行重排序的表。以下表5中呈现参考图片列表修改表的语法,其中具有仅对经编码为GPB帧的视频帧的列表066的参考图片列表构造命令进行编码的修改。
表5
如表5的语法摘录中所示,如果将当前视频帧视为帧间模式切片,即B切片、P切片或GPB切片,则视频编码器20可发信号通知修改旗标ref_pic_list_modification_flag_l0以指示第一参考图片列表列表066的参考图片经重排序。如果将视频帧视为常规B切片,则视频编码器20还可发信号通知修改旗标ref_pic_list_modification_flag_l1以指示第二参考图片列表列表168的参考图片经重排序。
如果列表066的参考图片经重排序,则运动补偿单元44产生指示第一参考图片列表列表066的参考图片如何重排序的语法元素。所述语法元素可定义经重排序参考图片列表是否为列表066的短期参考图片、列表066的长期参考图片以及参考图片如何重排序。举例来说,语法元素可在短期参考图片重排序的情况下定义从预测块的帧的偏移,且可在长期参考图片重排序的情况下对帧指派新索引号。运动补偿单元44仅在视频帧经编码为常规B切片且列表168的参考图片经重排序时才为第二参考图片列表列表168产生类似语法元素。
在一些情况下,当视频帧经编码为GPB帧时,运动补偿单元44还可根据下文关于表6更详细描述的预测权重和偏移表pred_weight_table()而产生经定义以表示应用于列表066和/或列表168内的参考图片的预测权重和偏移值的语法元素。表示预测权重和偏移的语法元素可包括指示解码器30将某些权重和偏移值应用于相关联参考图片列表的每一参考图片的表。以下表6中呈现预测权重和偏移表的语法,其中具有对经编码为GPB帧的视频帧的列表066和/或列表168的预测权重和偏移值进行编码的修改。
表6
如表6的语法摘录中所示,如果将当前视频帧视为帧间模式切片,即B切片、P切片或GPB切片,则运动补偿单元44产生指示应用于第一参考图片列表列表066的参考图片中的每一者的预测权重和偏移值的语法元素。所述语法元素可定义列表066的参考图片的亮度和色度部分的单独预测权重和偏移。在一些实例中,运动补偿单元44可仅对指示列表066的预测权重和偏移的语法元素进行编码。在所述情况下,将相同权重和偏移值应用于列表066和列表168中的相同参考图片。在其它实例中,视频编码器20可对指示列表066和列表168中的每一者的不同预测权重和偏移的单独语法元素进行编码。在此情况下,可将不同权重和偏移值应用于列表066和列表168中的每一者中的相同参考帧。
在运动补偿单元44产生当前视频块的预测块之后,视频编码器20通过从当前视频块减去预测块而形成残余视频块。变换单元52可从残余块形成一个或一个以上变换单元(TU)。变换单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于TU,从而产生包括残余变换系数的视频块。变换可将残余块从像素域转换为变换域,例如频域。
变换单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可产生与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中,量化单元54可随后执行对包含经量化变换系数的矩阵的扫描。或者,熵编码单元56可执行扫描。
在量化后,熵编码单元56对经量化变换系数进行熵译码。举例来说,熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵编码技术。在熵编码单元56的熵编码之后,经编码位流可发射到例如视频解码器30等视频解码器,或经归档以用于稍后发射或检索。
熵编码单元56还可对正译码的当前视频帧的运动向量和其它预测语法元素进行熵编码。举例来说,熵编码单元56可构造包含由运动补偿单元44产生的适当语法元素的标头信息以用于在经编码位流中发射。在视频切片层级处,语法元素可包含列表066和/或列表168的参考图片列表构造命令。在视频切片层级或较高层级处,语法元素可指示是否针对给定视频帧启用GPB帧,以及给定视频帧是否经编码为GPB帧。视频解码器30可使用这些语法元素来构造参考图片列表且重构由视频编码器20编码的原始视频块。
为了对语法元素进行熵编码,熵编码单元56可执行CABAC且基于上下文模型将语法元素二进制化为一个或一个以上二进制位。熵编码单元还可执行CAVLC且根据基于上下文的概率将语法元素编码为码字。
逆量化单元58和逆变换单元60分别应用逆量化和逆变换以重构像素域中的残余块,用于稍后用作参考图片的参考块。运动补偿单元44可通过将残余块加到列表066或列表168内的参考图片中的一者的预测块来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用于经重构残余块以计算子整数像素值以用于运动估计。求和器62将经重构残余块加到由运动补偿单元44产生的经运动补偿预测块以产生参考块以存储在参考图片存储器64中。参考块可由运动估计单元42和运动补偿单元44用作参考块以对后续视频帧中的块进行帧间预测。
图4是说明实例性视频解码器的框图,所述视频解码器可实施用于有效地构造GPB帧的参考图片列表的技术。在图4的实例中,视频解码器30包含熵解码单元80、预测单元81、逆量化单元86、逆变换单元88、求和器90以及参考图片存储器92。预测单元81包含运动补偿单元82和帧内预测单元84。在一些实例中,视频解码器30可执行与关于视频编码器20(图3)描述的编码遍次大体上互逆的解码遍次。
在解码过程期间,视频解码器30接收经编码视频位流,其包含经编码视频帧和表示来自视频编码器(例如,视频编码器20)的译码信息的语法元素。视频解码器30的熵解码单元80对位流进行熵解码以产生经量化系数、运动向量和其它预测语法。熵解码单元80将运动向量和其它预测语法转发到预测单元81。视频解码器30可在视频预测单元层级、视频译码单元层级、视频切片层级、视频帧层级和/或视频序列层级处接收语法元素。
当视频帧经译码为经帧内译码(I)帧时,预测单元81的帧内预测单元84可基于发信号通知的帧内预测模式和来自当前帧的先前经解码块的数据来产生当前视频帧的视频块的预测数据。当视频帧经译码为经帧间译码(即,B、P或GPB帧)时,预测单元81的运动补偿单元82基于从熵解码单元80接收的运动向量和预测语法来产生当前视频帧的视频块的预测块。预测块可从第一参考图片列表(列表0)94和/或第二参考图片列表(列表1)96中的一者或一者以上产生。列表094和列表196可基于存储在参考图片存储器92中的参考图片来构造。
运动补偿单元82通过剖析运动向量和预测语法来确定当前视频块的预测信息,且使用预测信息来产生正解码的当前视频块的预测块。举例来说,运动补偿单元82使用所接收语法元素中的一些来确定用以对当前帧进行编码的CU的大小、描述帧的每一CU如何分裂的分裂信息、指示每一分裂如何编码(例如,帧内或帧间预测)的模式、帧间预测切片类型(例如,B切片、P切片或GPB切片)、帧的一个或一个以上参考图片列表的参考图片列表构造命令、帧的每一经帧间编码视频块的运动向量、帧的每一经帧间编码视频块的运动预测方向,以及用以对当前视频帧进行解码的其它信息。
运动补偿单元82还可基于内插滤波器执行内插。运动补偿单元82可使用由视频编码器20在视频块编码期间使用的内插滤波器来计算参考块的子整数像素的经内插值。运动补偿单元82可根据所接收语法元素来确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。
根据本发明的技术,视频解码器30可减少构造GPB帧的参考图片列表的成本。举例来说,视频解码器30可对与经编码视频帧一起包含的语法元素进行解码以确定当前视频帧经编码为GPB帧。视频解码器30还可对指示仅第一参考图片列表(即,列表094)的参考图片数目和参考图片列表构造命令的语法元素进行解码。视频解码器30可基于由语法元素指示的参考图片列表构造命令来构造第一参考图片列表列表094。视频解码器30可随后通过将列表196的参考图片数目设定为等于列表094的参考图片数目且将列表094中的每一参考图片索引复制到列表196中,而将第二参考图片列表列表196产生为列表094的复制物。
运动补偿单元82可在视频切片层级或视频帧层级处剖析语法以确定当前视频帧的参考图片列表构造命令。根据所述技术,当以相同参考图片列表将当前视频帧编码为GPB帧时,视频解码器30可预期接收且解码指示仅第一参考图片列表(列表094)的参考图片数目和参考图片列表构造命令的参考列表语法元素。视频解码器30可随后构造第一参考图片列表列表094,且复制第一参考图片列表以产生第二参考图片列表列表196。
为了构造第一参考图片列表,视频解码器30使用指示第一参考图片列表的参考图片列表构造命令的语法元素来执行第一参考图片列表的参考图片列表初始化和参考图片列表重排序(即,修改)。在一个实例中,视频解码器30可根据用于P帧的常规过程执行GPB帧的列表094的参考图片列表初始化。更具体来说,视频解码器30可通过基于参考图片的下降解码次序或帧数将参考图片放置于初始化列表中来初始化第一参考图片列表列表094。在另一实例中,视频解码器30可根据用于B帧的列表0的常规过程执行GPB帧的列表094的参考图片列表初始化。更具体来说,视频解码器30可通过基于参考图片的下降显示次序或POC(图片次序计数)将参考图片放置于初始化列表中来初始化第一参考图片列表列表094。
视频解码器30可随后使用指示参考图片列表构造命令的语法元素执行第一参考图片列表的参考图片列表重排序。表示参考图片列表修改的语法元素可包括指示解码器30如何对第一参考图片列表的参考图片进行重排序的表。视频解码器30可将在参考图片列表初始化步骤期间放置于初始化列表中的参考图片的位置修改为任一其它位置,且可将存储在参考图片存储器92中的任一参考图片放置于初始化列表中的任一位置。如果参考图片经重排序到初始化列表中超过列表的有效参考图片数目的位置,则参考图片可不被视为第一参考图片列表列表094中的有效参考图片。如上所述,视频解码器30在来自视频编码器20的语法元素中接收列表094的有效参考图片数目。
视频解码器30还可使用指示参考图片的权重和偏移值的语法元素将预测权重和偏移应用于第一参考图片列表中的参考图片。表示预测权重和偏移的语法元素可包括指示解码器30将某些权重和偏移值应用于第一参考图片列表的每一参考图片的表。在一些实例中,视频解码器30可仅对指示第一参考图片列表的预测权重和偏移的语法元素进行解码。在所述情况下,将相同权重和偏移值应用于相同的第一和第二参考帧列表中的参考图片。在其它实例中,视频解码器30可对指示第一和第二参考图片列表中的每一者的不同预测权重和偏移的单独语法元素进行解码。在此情况下,可将不同权重和偏移值应用于相同的第一和第二参考帧列表中的每一者中的参考帧。
在构造GPB帧的第一参考图片列表列表094之后,视频解码器30可将第二参考图片列表列表196产生为列表094的复制物。更具体来说,视频解码器30可将列表196的参考图片数目设定为等于列表094的参考图片数目,且将列表094中的每一参考索引复制到列表196中。以此方式,列表094和列表196含有相同参考图片的识别符。更具体来说,包含在列表094和列表196中的每一者中的图片数目是相同的,且由列表094中的每一索引条目指示的图片与由列表196中的同一索引条目指示的图片相同。视频解码器30可随后相对于列表094和列表196中的一者或两者中的参考图片来将视频帧解码为GPB帧。根据所述技术,视频解码器30通过消除第二参考图片列表列表196的构造而减少执行解码过程的成本。通过消除第二参考图片列表的构造,包含列表中的参考图片的初始化和重排序,视频解码器30可提供处理成本的实质节省。
另外,运动补偿单元82可基于关于图3描述的明确发信号通知的语法元素,在视频切片层级、视频帧层级或视频序列层级处剖析语法以确定当前视频帧是否经编码为GPB帧。所述语法元素可用以明确地向视频解码器30告知当前视频帧经编码为GPB帧。以此方式,视频解码器30可预期接收且解码指示仅第一参考图片列表(列表094)的参考图片列表构造命令的语法元素。明确信令可使得视频解码器30能够适当剖析语法元素。
举例来说,运动补偿单元82可基于在视频帧层级或视频序列层级处在语法中接收的GPB启用旗标而确定针对当前视频帧启用或允许GPB帧。关于图3更详细描述的GPB启用旗标可经定义以指示GPB帧经停用、完全启用或部分启用。当GPB帧经启用时,运动补偿单元82可基于当前视频帧的切片类型而确定当前帧经编码为GPB帧。在一些情况下,可定义新切片类型以使得可将视频帧编码为GPB切片类型,其明确地向视频解码器30告知视频帧经编码为GPB帧。在其它情况下,可不定义新切片类型,使得可将视频帧编码为具有GPB旗标的B切片类型和/或P切片类型,所述旗标明确地向视频解码器30告知视频帧经编码为GPB帧。
逆量化单元86逆量化(即,解量化)在位流中提供且由熵解码单元80解码的经量化变换系数。逆量化过程可包含使用由视频编码器20针对每一视频块或CU计算的量化参数QPY来确定量化程度,且同样确定应当应用的逆量化程度。逆变换单元88对变换系数应用逆变换,例如逆DCT、逆整数变换或概念上类似的逆变换过程,以便产生像素域中的残余块。
在运动补偿单元82基于运动向量和预测语法元素产生当前视频块的预测块之后,视频解码器30通过将来自逆变换单元88的残余块与由运动补偿单元82产生的对应预测块进行求和来形成经解码视频块。求和器90表示执行此求和运算的组件。如果需要,则还可应用解块滤波器以对经解码块进行滤波以便移除成块假象。随后将经解码视频块存储在参考图片存储器92中,所述参考图片存储器提供参考图片的参考块用于后续运动补偿。参考图片存储器92还产生经解码视频用于在例如图1的显示装置32等显示装置上呈现。
图5是说明对仅第一参考图片列表的参考图片数目和参考图片列表构造命令进行编码的实例性操作的流程图。参考图3的视频编码器20描述所说明的操作。
视频编码器20接收待编码的当前视频帧的视频块或CU。在当前视频帧经指定为GPB帧时,视频编码器20基于存储在参考图片存储器64中的经解码参考图片来构造列表066和列表168(100)。视频编码器20随后确定列表066和列表168为相同参考图片列表(101)。
根据本发明的技术,视频编码器20可随后对指示当前视频帧经编码为GPB帧的语法元素进行编码(102)。举例来说,如果针对当前视频帧启用或允许GPB帧,则视频编码器20可向视频解码器30发信号通知GPB启用旗标以指示GPB帧经启用。作为一实例,当启用GPB帧时,视频编码器20可通过对GPB切片类型、具有GPB旗标的P切片类型或具有GPB旗标的B切片类型中的一者进行编码来明确地向视频解码器30告知视频帧经编码为GPB帧。在任一情况下,所述语法元素明确地向视频解码器30告知视频帧经译码为GPB帧。
进一步根据所述技术,视频编码器20随后对指示仅列表066的参考图片数目和参考图片列表构造命令的GPB帧的语法元素进行编码(104)。对于具有相同参考图片列表的GPB帧,发信号通知第一和第二参考图片列表两者的构造命令可能是冗余的。所述技术使得视频编码器20能够减少对GPB帧进行译码的成本。举例来说,视频编码器20可对经定义以表示列表066中包含的参考图片数目的语法元素以及经定义以表示列表066的参考图片列表构造命令的语法元素进行编码。根据所述技术,视频编码器20可不对指示列表168的编号参考图片列表构造命令的GPB帧的任何语法元素进行编码。
视频编码器20还可对指示应用于列表066和/或列表168中的参考图片的预测权重和偏移值的语法元素进行编码。在一些实例中,视频编码器20可仅对指示第一参考图片列表的预测权重和偏移的语法元素进行编码。在所述情况下,将相同权重和偏移值应用于相同的第一和第二参考帧列表中的参考图片。在其它实例中,视频编码器20可对指示第一和第二参考图片列表中的每一者的不同预测权重和偏移的单独语法元素进行编码。在此情况下,可将不同权重和偏移值应用于相同的第一和第二参考帧列表中的每一者中的参考帧。
视频编码器20可随后相对于列表066和/或列表168的参考图片来将视频帧编码为GPB帧(106)。举例来说,视频编码器20可使用来自列表066的单向预测或使用来自列表066和列表168两者的双向预测将视频帧编码为GPB帧。视频编码器20可随后将经编码视频帧连同语法元素一起发射到视频解码器30(108)。
图6是说明构造第一参考图片列表且将第二参考图片列表产生为第一参考图片列表的复制物的实例性操作的流程图。参考图4的视频解码器30描述所说明的操作。
视频解码器30从视频编码器20接收经编码视频帧与语法元素(130)。视频解码器30可对指示视频帧经编码为GPB帧的语法元素进行解码(132)。以此方式,视频解码器30可预期接收指示仅列表066的参考图片数目和参考图片列表构造命令的语法元素,其可使得视频解码器30能够适当地剖析语法元素。根据本发明的技术,当视频帧经编码为GPB帧时,视频解码器30对指示仅列表094的参考图片数目和参考图片列表构造命令的语法元素进行解码(134)。
视频解码器30随后基于由语法元素指示的仅列表094的参考图片列表构造命令来构造列表094(136)。举例来说,视频解码器30可使用指示列表094的参考图片列表构造命令的语法元素执行列表094的参考图片列表初始化和列表094的参考图片列表重排序。
在构造GPB帧的第一参考图片列表列表094之后,视频解码器30可将第二参考图片列表列表196产生为列表094的复制物(137)。更具体来说,视频解码器30可将列表196的参考图片数目设定为等于列表094的参考图片数目,且随后将列表094中的每一参考索引复制到列表196中。以此方式,列表094和列表196含有相同参考图片的识别符。更具体来说,包含在列表094和列表196中的每一者中的图片数目是相同的,且由列表094中的每一索引条目指示的图片与由列表196中的同一索引条目指示的图片相同。
视频解码器30还可对列表094和/或列表196中的参考图片应用预测权重和偏移。在一些实例中,视频解码器30可仅对指示第一参考图片列表的预测权重和偏移的语法元素进行解码。在所述情况下,将相同权重和偏移值应用于列表094和列表196中的相同参考图片。在其它实例中,视频解码器30可对指示第一和第二参考图片列表中的每一者的不同预测权重和偏移的单独语法元素进行解码。在此情况下,可将不同权重和偏移值应用于列表094和列表196中的每一者中的相同参考帧。
视频解码器30可随后相对于列表094和/或列表196的参考图片来将视频帧解码为GPB帧(138)。举例来说,视频解码器30可使用来自列表094的单向预测或使用来自列表094和列表196两者的双向预测将视频帧解码为GPB帧。
在一个或一个以上实例中,所描述的功能可以硬件、软件、固件或其任一组合来实施。如果以软件实施,那么功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输,且由基于硬件的处理单元执行。计算机可读媒体可包含对应于例如数据存储媒体等有形媒体的计算机可读存储媒体,或包含促进计算机程序例如根据通信协议从一处传送到另一处的任何媒体的通信媒体。以此方式,计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或者一个或一个以上处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
举例来说且并非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来以指令或数据结构的形式存储所要程序代码且可由计算机存取的任何其它媒体。而且,恰当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令,则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。然而应了解,计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬时媒体,而是针对非瞬时有形存储媒体。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘,其中磁盘通常以磁性方式再生数据,而光盘使用激光以光学方式再生数据。上文的组合也应包含在计算机可读媒体的范围内。
可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器来执行指令。因此,如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外,在一些方面中,本文描述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内,或并入在组合式编解码器中。并且,可将所述技术完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施,包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面,但不一定需要通过不同硬件单元来实现。而是,如上所述,各种单元可在编解码器硬件单元中组合或由互操作硬件单元(包含如上所述的一个或一个以上处理器)的集合结合合适软件和/或固件来提供。
已描述了各种实例。这些和其它实例属于所附权利要求书的范围内。

Claims (28)

1.一种对视频数据进行解码的方法,其包括:
相对于第一参考图片列表或第二参考图片列表中的至少一者中的参考图片来对指示视频帧经译码为一般化P/BGPB帧的一个或多个语法元素进行解码,其中所述第一和第二参考图片列表是相同的;
对指示仅所述第一参考图片列表的参考图片数目和参考图片列表构造命令的一个或多个语法元素进行解码,其中仅针对所述第一参考图片列表解码的所述参考图片列表构造命令至少包括用于初始化所述第一参考图片列表和重排序所述第一参考图片列表的所述参考图片的命令;
基于所述语法元素在视频解码器处构造所述第一参考图片列表,其中构造所述第一参考图片列表包括执行所述第一参考图片列表的参考图片列表初始化或所述第一参考图片列表的参考图片列表重排序中的至少一者;以及
在所述视频解码器处将所述第二参考图片列表产生为所述第一参考图片列表的复制物,其中产生所述第二参考图片列表包括将所述第二参考帧列表中的参考图片数目设定为等于所述第一参考帧列表中的所述参考图片数目,且将所述第一参考图片列表中的每一参考图片索引复制到所述第二参考图片列表中。
2.根据权利要求1所述的方法,其中对指示视频帧经译码为GPB帧的一个或多个语法元素进行解码包括对GPB切片类型进行解码。
3.根据权利要求1所述的方法,其中对指示视频帧经译码为GPB帧的一个或多个语法元素进行解码包括对具有GPB旗标的P切片类型或具有GPB旗标的B切片类型中的一者进行解码。
4.根据权利要求1所述的方法,其进一步包括:
对指示所述第一参考图片列表的第一预测权重和偏移的一个或多个语法元素进行解码;
对所述第一参考图片列表中的参考图片应用所述第一预测权重和偏移;以及
对所述第二参考图片列表中的参考图片应用所述第一预测权重和偏移。
5.根据权利要求1所述的方法,其进一步包括:
对指示所述第一参考图片列表的第一预测权重和偏移以及所述第二参考图片列表的第二预测权重和偏移的一个或多个语法元素进行解码;
对所述第一参考图片列表中的参考图片应用所述第一预测权重和偏移;以及
对所述第二参考图片列表中的参考图片应用所述第二预测权重和偏移。
6.根据权利要求1所述的方法,其进一步包括从视频编码器接收所述第一参考图片列表的所述语法元素,而不接收指示所述第二参考图片列表的参考图片数目和参考图片列表构造命令的一个或多个语法元素。
7.一种对视频数据进行编码的方法,其包括:
相对于第一参考图片列表或第二参考图片列表中的至少一者中的参考图片来将视频帧编码为一般化P/BGPB帧,其中所述第一和第二参考图片列表是相同的;
对指示所述视频帧经译码为所述GPB帧的一个或多个语法元素进行编码;以及
对指示仅所述第一参考图片列表的参考图片数目和参考图片列表构造命令的一个或多个语法元素进行编码,其中仅针对所述第一参考图片列表解码的所述参考图片列表构造命令至少包括用于初始化所述第一参考图片列表和重排序所述第一参考图片列表的所述参考图片的命令。
8.根据权利要求7所述的方法,其中对指示所述视频帧经译码为所述GPB帧的所述一个或多个语法元素进行编码包括对GPB切片类型进行编码。
9.根据权利要求7所述的方法,其中对指示所述视频帧经译码为所述GPB帧的所述一个或多个语法元素进行编码包括对具有GPB旗标的P切片类型或具有GPB旗标的B切片类型中的一者进行编码。
10.根据权利要求7所述的方法,其进一步包括对指示仅所述第一参考图片列表的第一预测权重和偏移的一个或多个语法元素进行编码。
11.根据权利要求7所述的方法,其进一步包括对指示所述第一参考图片列表的第一预测权重和偏移以及所述第二参考图片列表的第二预测权重和偏移的一个或多个语法元素进行编码。
12.一种视频解码装置,其包括:
存储器,其存储经解码参考图片;以及
处理器,其经配置以:
相对于第一参考图片列表或第二参考图片列表中的至少一者中的参考图片来对指示视频帧经译码为一般化P/BGPB帧的一个或多个语法元素进行解码,其中所述第一和第二参考图片列表是相同的;
对指示仅所述第一参考图片列表的参考图片数目和参考图片列表构造命令的一个或多个语法元素进行解码,其中仅针对所述第一参考图片列表解码的所述参考图片列表构造命令至少包括用于初始化所述第一参考图片列表和重排序所述第一参考图片列表的所述参考图片的命令;
基于所述语法元素构造所述第一参考图片列表,其中所述处理器经配置以执行所述第一参考图片列表的参考图片列表初始化或所述第一参考图片列表的参考图片列表重排序中的至少一者;以及
将所述第二参考图片列表产生为所述第一参考图片列表的复制物,其中所述处理器经配置以将所述第二参考帧列表中的参考图片数目设定为等于所述第一参考帧列表中的所述参考图片数目,且将所述第一参考图片列表中的每一参考图片索引复制到所述第二参考图片列表中。
13.根据权利要求12所述的视频解码装置,其中所述处理器对指示所述视频帧经译码为所述GPB帧的GPB切片类型进行解码。
14.根据权利要求12所述的视频解码装置,其中所述处理器对指示所述视频帧经译码为所述GPB帧的具有GPB旗标的P切片类型或具有GPB旗标的B切片类型中的一者进行解码。
15.根据权利要求12所述的视频解码装置,其中所述处理器对指示所述第一参考图片列表的第一预测权重和偏移的一个或多个语法元素进行解码,对所述第一参考图片列表中的参考图片应用所述第一预测权重和偏移,且对所述第二参考图片列表中的参考图片应用所述第一预测权重和偏移。
16.根据权利要求12所述的视频解码装置,其中所述处理器对指示所述第一参考图片列表的第一预测权重和偏移以及所述第二参考图片列表的第二预测权重和偏移的一个或多个语法元素进行解码,对所述第一参考图片列表中的参考图片应用所述第一预测权重和偏移,且对所述第二参考图片列表中的参考图片应用所述第二预测权重和偏移。
17.根据权利要求12所述的视频解码装置,其中所述处理器从视频编码装置接收所述第一参考图片列表的所述语法元素,而不接收指示所述第二参考图片列表的参考图片数目和参考图片列表构造命令的一个或多个语法元素。
18.一种视频编码装置,其包括:
存储器,其存储经解码参考图片;以及
处理器,其经配置以:
相对于第一参考图片列表或第二参考图片列表中的至少一者中的参考图片来将视频帧编码为一般化P/BGPB帧,其中所述第一和第二参考图片列表是相同的;
对指示所述视频帧经译码为所述GPB帧的一个或多个语法元素进行编码;以及
对指示仅所述第一参考图片列表的参考图片数目和参考图片列表构造命令的一个或多个语法元素进行编码,其中仅针对所述第一参考图片列表解码的所述参考图片列表构造命令至少包括用于初始化所述第一参考图片列表和重排序所述第一参考图片列表的所述参考图片的命令。
19.根据权利要求18所述的视频编码装置,其中所述处理器对指示所述视频帧经译码为所述GPB帧的GPB切片类型进行编码。
20.根据权利要求18所述的视频编码装置,其中所述处理器对指示所述视频帧经译码为所述GPB帧的具有GPB旗标的P切片类型或具有GPB旗标的B切片类型中的一者进行编码。
21.根据权利要求18所述的视频编码装置,其中所述处理器对指示仅所述第一参考图片列表的第一预测权重和偏移的一个或多个语法元素进行编码。
22.根据权利要求18所述的视频编码装置,其中所述处理器对指示所述第一参考图片列表的第一预测权重和偏移以及所述第二参考图片列表的第二预测权重和偏移的一个或多个语法元素进行编码。
23.一种视频解码装置,其包括:
用于相对于第一参考图片列表或第二参考图片列表中的至少一者中的参考图片来对指示视频帧经译码为一般化P/BGPB帧的一个或多个语法元素进行解码的装置,其中所述第一和第二参考图片列表是相同的;
用于对指示仅所述第一参考图片列表的参考图片数目和参考图片列表构造命令的一个或多个语法元素进行解码的装置,其中仅针对所述第一参考图片列表解码的所述参考图片列表构造命令至少包括用于初始化所述第一参考图片列表和重排序所述第一参考图片列表的所述参考图片的命令;
用于基于所述语法元素在所述视频解码装置处构造所述第一参考图片列表的装置,其中所述用于构造所述第一参考图片列表的装置包括用于执行所述第一参考图片列表的参考图片列表初始化或所述第一参考图片列表的参考图片列表重排序中的至少一者的装置;以及
用于在所述视频解码装置处将所述第二参考图片列表产生为所述第一参考图片列表的复制物的装置,其中所述用于产生所述第二参考图片列表的装置包括用于将所述第二参考帧列表中的参考图片数目设定为等于所述第一参考帧列表中的所述参考图片数目的装置,以及用于将所述第一参考图片列表中的每一参考图片索引复制到所述第二参考图片列表中的装置。
24.根据权利要求23所述的视频解码装置,其进一步包括:
用于对指示所述第一参考图片列表的第一预测权重和偏移的一个或多个语法元素进行解码的装置;
用于对所述第一参考图片列表中的参考图片应用所述第一预测权重和偏移的装置;以及
用于对所述第二参考图片列表中的参考图片应用所述第一预测权重和偏移的装置。
25.根据权利要求23所述的视频解码装置,其进一步包括:
用于对指示所述第一参考图片列表的第一预测权重和偏移以及所述第二参考图片列表的第二预测权重和偏移的一个或多个语法元素进行解码的装置;
用于对所述第一参考图片列表中的参考图片应用所述第一预测权重和偏移的装置;以及
用于对所述第二参考图片列表中的参考图片应用所述第二预测权重和偏移的装置。
26.一种视频编码装置,其包括:
用于相对于第一参考图片列表或第二参考图片列表中的至少一者中的参考图片来将视频帧编码为一般化P/BGPB帧的装置,其中所述第一和第二参考图片列表是相同的;
用于对指示所述视频帧经译码为所述GPB帧的一个或多个语法元素进行编码的装置;以及
用于对指示仅所述第一参考图片列表的参考图片数目和参考图片列表构造命令的一个或多个语法元素进行编码的装置,其中仅针对所述第一参考图片列表解码的所述参考图片列表构造命令至少包括用于初始化所述第一参考图片列表和重排序所述第一参考图片列表的所述参考图片的命令。
27.根据权利要求26所述的视频编码装置,其进一步包括用于对指示仅所述第一参考图片列表的第一预测权重和偏移的一个或多个语法元素进行编码的装置。
28.根据权利要求26所述的视频编码装置,其进一步包括用于对指示所述第一参考图片列表的第一预测权重和偏移以及所述第二参考图片列表的第二预测权重和偏移的一个或多个语法元素进行编码的装置。
CN201180063288.1A 2010-11-17 2011-11-11 用于视频译码中的一般化p/b帧的参考图片列表构造 Expired - Fee Related CN103299621B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US41466810P 2010-11-17 2010-11-17
US61/414,668 2010-11-17
US201161500029P 2011-06-22 2011-06-22
US61/500,029 2011-06-22
US13/274,972 2011-10-17
US13/274,972 US9066102B2 (en) 2010-11-17 2011-10-17 Reference picture list construction for generalized P/B frames in video coding
PCT/US2011/060426 WO2012067966A1 (en) 2010-11-17 2011-11-11 Reference picture list construction for generalized p/b frames in video coding

Publications (2)

Publication Number Publication Date
CN103299621A CN103299621A (zh) 2013-09-11
CN103299621B true CN103299621B (zh) 2016-06-15

Family

ID=46047743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180063288.1A Expired - Fee Related CN103299621B (zh) 2010-11-17 2011-11-11 用于视频译码中的一般化p/b帧的参考图片列表构造

Country Status (5)

Country Link
US (1) US9066102B2 (zh)
EP (1) EP2641397A1 (zh)
KR (1) KR101523154B1 (zh)
CN (1) CN103299621B (zh)
WO (1) WO2012067966A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9357229B2 (en) 2010-07-28 2016-05-31 Qualcomm Incorporated Coding motion vectors in video coding
US8548057B2 (en) * 2011-01-25 2013-10-01 Microsoft Corporation Video coding redundancy reduction
JP2013005077A (ja) * 2011-06-14 2013-01-07 Sony Corp 画像処理装置および方法
US9936197B2 (en) * 2011-10-28 2018-04-03 Samsung Electronics Co., Ltd. Method for inter prediction and device therefore, and method for motion compensation and device therefore
JP5821542B2 (ja) * 2011-11-07 2015-11-24 富士通株式会社 動画像符号化装置、および動画像復号装置
EP4020989A1 (en) 2011-11-08 2022-06-29 Nokia Technologies Oy Reference picture handling
US9143781B2 (en) 2012-04-03 2015-09-22 Qualcomm Incorporated Weighted prediction parameter coding
US9749645B2 (en) 2012-06-22 2017-08-29 Microsoft Technology Licensing, Llc Coded-block-flag coding and derivation
US20140092985A1 (en) * 2012-09-28 2014-04-03 Sharp Laboratories Of America, Inc. Content initialization for enhancement layer coding
WO2014170547A1 (en) 2013-04-17 2014-10-23 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
CN103491369B (zh) * 2013-09-18 2016-09-28 华为技术有限公司 一种帧间预测编码方法和编码器
US9948950B2 (en) * 2014-01-03 2018-04-17 Qualcomm Incorporated Disparity vector and/or advanced residual prediction for video coding
US10432928B2 (en) * 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
KR102273670B1 (ko) * 2014-11-28 2021-07-05 삼성전자주식회사 움직임 보상 정보를 수정하는 데이터 처리 시스템과 데이터 처리 방법
US10638140B2 (en) 2015-05-29 2020-04-28 Qualcomm Incorporated Slice level intra block copy and other video coding improvements
US10805611B2 (en) * 2016-10-18 2020-10-13 Mediatek Inc. Method and apparatus of constrained sequence header
MX2021002950A (es) * 2018-09-12 2021-07-21 Huawei Tech Co Ltd Un codificador de video, un decodificador de video y metodos correspondientes.
US11463736B2 (en) * 2018-09-21 2022-10-04 Sharp Kabushiki Kaisha Systems and methods for signaling reference pictures in video coding
CN117692651A (zh) * 2018-10-08 2024-03-12 华为技术有限公司 用于译码块的几何划分块的帧间预测的装置及方法
WO2021204137A1 (en) 2020-04-07 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Clipping operation for reference picture wrap around
CN115428457A (zh) 2020-04-09 2022-12-02 抖音视界有限公司 基于颜色格式的自适应参数集的约束
CN115486064A (zh) 2020-04-10 2022-12-16 抖音视界有限公司 标头语法元素和自适应参数集的使用
WO2021209061A1 (en) 2020-04-17 2021-10-21 Beijing Bytedance Network Technology Co., Ltd. Presence of adaptation parameter set units
WO2021222036A1 (en) 2020-04-26 2021-11-04 Bytedance Inc. Conditional signaling of video coding syntax elements
US11722658B2 (en) * 2021-06-25 2023-08-08 Tencent America LLC Method and apparatus for video coding

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2208950A1 (en) 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
WO1998042134A1 (en) 1997-03-17 1998-09-24 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
JP2004023458A (ja) 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化/復号化方法及び装置
AU2003279015A1 (en) 2002-09-27 2004-04-19 Videosoft, Inc. Real-time video coding/decoding
KR100693669B1 (ko) 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법
US7489342B2 (en) 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
JP2005005844A (ja) 2003-06-10 2005-01-06 Hitachi Ltd 計算装置及び符号化処理プログラム
WO2005022919A1 (en) 2003-08-26 2005-03-10 Thomson Licensing S.A. Method and apparatus for decoding hybrid intra-inter coded blocks
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US7599435B2 (en) 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
US20070291131A1 (en) 2004-02-09 2007-12-20 Mitsuru Suzuki Apparatus and Method for Controlling Image Coding Mode
EP1592255A1 (en) 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Motion vector estimation with improved motion vector selection
US7852916B2 (en) 2004-06-27 2010-12-14 Apple Inc. Efficient use of storage in encoding and decoding video data streams
US20060083298A1 (en) 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
US7733959B2 (en) 2005-06-08 2010-06-08 Institute For Information Industry Video conversion methods for frame rate reduction
US20070064809A1 (en) 2005-09-14 2007-03-22 Tsuyoshi Watanabe Coding method for coding moving images
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
EP1806930A1 (en) 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
CN101455084A (zh) * 2006-03-30 2009-06-10 Lg电子株式会社 用于解码/编码视频信号的方法和装置
BRPI0621935A2 (pt) 2006-07-28 2016-09-13 Toshiba Kk Toshiba Corp método e aparelho para codificar e decodificar imagem
US8532178B2 (en) * 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
BRPI0718206B1 (pt) * 2006-10-16 2020-10-27 Nokia Technologies Oy método para codificar uma pluralidade de visões de uma cena; método de codificação de uma sequência de bits de vídeo codificada e aparelho
BRPI0818444A2 (pt) 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
KR101656091B1 (ko) 2008-03-10 2016-09-08 톰슨 라이센싱 효율성과 주관적 품질의 개선을 지원하는 예측 프레임 선택을 위한 방법 및 장치
PT104083A (pt) 2008-06-02 2009-12-02 Inst Politecnico De Leiria Método para transcodificar imagens de vídeo h.264/avc em mpeg-2
US8634456B2 (en) 2008-10-03 2014-01-21 Qualcomm Incorporated Video coding with large macroblocks
US8259801B2 (en) 2008-10-12 2012-09-04 Mediatek Inc. Methods for coding digital media data with prediction information and prediction error information being respectively carried by different bit stream sections
US8687685B2 (en) 2009-04-14 2014-04-01 Qualcomm Incorporated Efficient transcoding of B-frames to P-frames
US20100296579A1 (en) 2009-05-22 2010-11-25 Qualcomm Incorporated Adaptive picture type decision for video coding
KR102219985B1 (ko) * 2010-05-04 2021-02-25 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
HRP20221363T1 (hr) * 2011-01-07 2023-01-06 Lg Electronics Inc. Postupak kodiranja video informacija, postupak dekodiranja video informacija i uređaj za dekodiranje za dekodiranje video informacija

Also Published As

Publication number Publication date
KR101523154B1 (ko) 2015-05-26
WO2012067966A1 (en) 2012-05-24
EP2641397A1 (en) 2013-09-25
US20120121017A1 (en) 2012-05-17
US9066102B2 (en) 2015-06-23
KR20130086377A (ko) 2013-08-01
CN103299621A (zh) 2013-09-11

Similar Documents

Publication Publication Date Title
CN103299621B (zh) 用于视频译码中的一般化p/b帧的参考图片列表构造
CN103039074B (zh) Gpb帧中的双向运动向量的联合译码
CN103140877B (zh) 使用帧内预测的视频译码
CN103999367B (zh) 用于上下文自适应二进制算术译码的上下文缩减的数目
CN103339936B (zh) 用于视频译码的单一参考图片列表建构
CN103931182B (zh) 帧内预测视频译码中的非正方形变换
CN103155555A (zh) 视频译码中的译码预测模式
CN103563389A (zh) 具有方向性分区的帧内预测模式译码
CN103181169A (zh) 使用联合上下文模型对系数进行熵译码
CN103430539A (zh) 经解码图片缓冲器管理
CN104205830A (zh) 用于在视频译码中的参考索引译码的旁路二进制位
CN103609123A (zh) 统一合并模式和自适应运动向量预测模式候选者选择
CN104272746A (zh) 用于视频序列中的随机存取点图片的经解码图片缓冲器处理
CN104221380A (zh) 用于并行运动估计的共同空间候选块
CN105052152A (zh) 用于仅高级语法可缩放视频译码的层间参考图片限制
CN104205829A (zh) 合并信令及环路滤波器开/关信令
CN104221374A (zh) 在视频译码中分群经旁路译码语法元素
CN103141100A (zh) 用于视频译码的帧内平滑滤波器
CN103947205A (zh) 帧内模式译码中的参考模式选择
CN103999465A (zh) 自适应性重叠块运动补偿
CN103959775A (zh) 帧内模式视频译码
CN103597832A (zh) 用于使用相邻模式的视频译码的增强的帧内预测模式信令
CN103891279A (zh) 用于帧内预测译码的最大概率变换
CN103535033A (zh) 用于样本自适应偏移的偏移类型及系数信令方法
CN105052156A (zh) Irap存取单元与位流切换及拼接

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160615

Termination date: 20201111