CN108965890A - 用于标识前导画面的设备 - Google Patents

用于标识前导画面的设备 Download PDF

Info

Publication number
CN108965890A
CN108965890A CN201810832997.5A CN201810832997A CN108965890A CN 108965890 A CN108965890 A CN 108965890A CN 201810832997 A CN201810832997 A CN 201810832997A CN 108965890 A CN108965890 A CN 108965890A
Authority
CN
China
Prior art keywords
picture
leading
electronic equipment
leading picture
idr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810832997.5A
Other languages
English (en)
Other versions
CN108965890B (zh
Inventor
萨琴.G.德希潘德
路易斯.约瑟夫.克伦斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Has Media International Ltd
Velos Media International Ltd
Original Assignee
Has Media International Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Has Media International Ltd filed Critical Has Media International Ltd
Publication of CN108965890A publication Critical patent/CN108965890A/zh
Application granted granted Critical
Publication of CN108965890B publication Critical patent/CN108965890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

描述了一种用于指示前导画面的电子设备。所述电子设备包括与处理器电子通信的存储器和存储在所述存储器中的指令。所述电子设备对第一画面编码。电子设备还确定是否存在前导画面。如果存在前导画面,则电子设备产生显式的前导画面指示符。如果存在前导画面,则电子设备还发送所述显式的前导画面指示符。

Description

用于标识前导画面的设备
技术领域
本申请是于2014年10月13日进入中国国家阶段的、申请号为201380019757.9的发明专利申请的分案申请。
本公开总体上涉及电子设备。更具体地,本公开涉及用于标识前导画面(leadingpicture)的设备。
背景技术
电子设备变得越来越小并且越来越强大,以便满足消费者需要并改善便携性和便利性。消费者已经变得依赖于电子设备,并期望增加的功能性。电子设备的一些示例包括台式计算机、膝上型计算机、蜂窝电话、智能电话、媒体播放器、集成电路等。
一些电子设备用于处理并显示数字媒体。例如,便携式电子设备现在允许在消费者可能处于的几乎任何位置处使用数字媒体。此外,一些电子设备可以提供对数字媒体内容的下载或流传输,以便消费者使用和欣赏。
越来越受欢迎的数字媒体呈现出若干问题。例如,高效地表示用于存储、传输和回放的高质量数字媒体提出了若干挑战。如从本讨论中可以看出,更高效地表示数字媒体的系统和方法可能是有利的。
发明内容
技术问题
需要的是提供更高效的用于表示数字媒体的技术。
解决方案
本发明的一方面提供了一种用于指示前导画面的电子设备,所述前导画面是在解码顺序中位于第一画面之后并且在输出顺序中位于第一画面之前的画面,所述电子设备包括:
处理器;
存储器,与所述处理器电子通信;
指令,存储在所述存储器中,所述指令能够被执行用以:
(a)对第一画面编码;
(b)确定是否存在前导画面;
(c)如果存在前导画面,则产生显式的前导画面指示符;以及
(d)如果存在前导画面,则发送所述显式的前导画面指示符。
本发明的另一方面提供了一种用于确定是否存在前导画面的电子设备,所述前导画面是在解码顺序中位于第一画面之后并且在输出顺序中位于第一画面之前的画面,所述电子设备包括:
处理器;
存储器,与所述处理器电子通信;
指令,存储在所述存储器中,所述指令能够被执行用以:
(a)接收比特流;
(b)基于比特流是否包括显式的前导画面指示符,来确定是否存在前导画面;以及
(c)基于是否存在前导画面,对比特流执行操作。
本发明的另一方面提供了一种用于通过电子设备确定是否存在前导画面的方法,所述方法包括:
对第一画面编码;
确定是否存在前导画面;
如果存在前导画面,则产生显式的前导画面指示符;以及
如果存在前导画面,则发送所述显式的前导画面指示符。
本发明的另一方面提供了一种用于通过电子设备确定是否存在前导画面的方法,所述方法包括:
接收比特流;
基于比特流是否包括显式的前导画面指示符,来确定是否存在前导画面;以及
基于是否存在前导画面,执行对比特流的操作。
本发明的有利效果
当结合附图考虑本发明的以下详细描述时,将更容易理解本发明的上述和其它目标、特征和优点。
附图说明
图1是示出了可以实现用于标识前导画面的系统和方法的一个或更多个设备的示例的框图;
图2是示出了用于标识前导画面的方法的一个配置的流程图;
图3是示出了用于标识前导画面的方法的更具体配置的流程图;
图4是示出了用于标识前导画面的方法的一个配置的流程图;
图5是示出了用于标识前导画面的方法的一个配置的流程图;
图6是示出了电子设备的编码器的一个配置的框图;
图7是示出了电子设备的解码器的一个配置的框图;
图8是示出了可以在发送电子设备中使用的多种组件的框图;
图9是示出了可以在接收电子设备中使用的多种组件的框图;
图10是示出了可以实现用于标识前导画面的系统和方法的电子设备的一个配置的框图;
图11是示出了可以实现用于标识前导画面的系统和方法的电子设备的一个配置的框图;以及
图12是示出了可以实现用于标识前导画面的系统和方法的若干设备的框图。
具体实施方式
描述了一种用于指示前导画面的电子设备。所述电子设备包括处理器和与所述处理器电子通信的存储器。电子设备包括存储在所述存储器中的指令。电子设备对第一画面编码。电子设备还确定是否存在前导画面。如果存在前导画面,则电子设备产生显式的前导画面指示符。如果存在前导画面,则电子设备还发送所述显式的前导画面指示符。
第一画面可以是清除随机访问(CRA)或随机访问画面。显式的前导画面指示符可以与CRA画面相关联,并指示至少一个前导画面在CRA画面之后。显式的前导画面指示符还可以与前导画面相关联。显式的前导画面指示符还可以包括由序列参数集(SPS)、画面参数集(PPS)、适配参数集(APS)以及CRA画面的片首部中的标志构成的组中的至少一个。
如果不存在前导画面,则电子设备可以产生显式的前导画面缺少指示符。电子设备还可以发送显式的前导画面缺少指示符。确定是否存在前导画面可以包括:确定第二画面在解码顺序中是否在第一画面之后,在输出顺序中是否在第一画面之前。
显式的前导画面指示符可以是网络访问层(NAL)单元类型。NAL单元类型可以包括与前导画面相关联的NAL单元类型。NAL单元类型可以包括与具有后续前导画面(subsequent leading picture)的CRA画面相关联的NAL单元类型。NAL单元类型还可以包括与不具有后续前导画面的CRA画面相关联的NAL单元类型。NAL单元类型还可以包括由CRA画面的片首部和前导画面的片首部构成的组中的至少一个。
还描述了一种用于确定是否存在前导画面的电子设备。所述电子设备包括处理器和与所述处理器电子通信的存储器。所述电子设备还包括存储在存储器中的指令。所述电子设备接收比特流。所述电子设备还基于比特流是否包括显式的前导画面指示符来确定是否存在前导画面。电子设备还基于是否存在前导画面来对比特流执行操作。对比特流执行操作可以包括:如果存在前导画面,则丢弃前导画面。
所述电子设备还可以是处理设备(例如,网络节点)。如果存在前导画面,则前导画面还可以与随机访问点处的CRA画面相对应。
确定是否存在前导画面包括:如果比特流包括显式的前导画面指示符,则确定存在前导画面。确定是否存在前导画面还可以包括:如果比特流包括显式的前导画面缺少指示符,或如果比特流不包括显式的前导画面指示符,则确定缺少前导画面。
显式的前导画面指示符可以包括:由NAL单元类型;SPS、PPS、APS和CRA画面的片首部中的标志构成的组中的至少一个。显式的前导画面指示符还可以是NAL单元类型。NAL单元类型可以包括与不具有后续前导画面的CRA画面相关联的NAL单元类型。
还描述了一种用于通过电子设备确定是否存在前导画面的方法。所述方法包括对第一画面编码。所述方法还包括确定是否存在前导画面。所述方法还包括:如果存在前导画面,则产生显式的前导画面指示符。所述方法还包括:如果存在前导画面,则发送显式的前导画面指示符。
还描述了一种用于通过电子设备确定是否存在前导画面的方法。所述方法包括对比特流编码。所述方法还包括:基于比特流是否包括显式的前导画面指示符,来确定是否存在前导画面。所述方法还包括:基于是否存在前导画面,对比特流执行操作。
本文所公开的系统和方法描述了用于标识前导画面的方法。例如,本文所述的一些配置包括用于发信号通知CRA画面的设备和方法。此外,所描述的设备和方法中的一些可用于区分具有后续前导画面的CRA画面和不具有后续前导画面的CRA画面。
通常还需要标识比特流中的前导画面。目前,已知系统通过对多种参数集执行大量编码和解码操作,来标识比特流中的前导画面。例如,已知系统通过对SPS和PPS进行编码和解码来标识前导画面。已知系统还可以计算画面顺序计数(POC)值,并将计算出的值与对应CRA画面的POC值进行比较。已知方法还将CRA画面与对应的计算出的值进行比较,以便确定画面是否是前导画面。执行这些步骤可能对系统具有不利影响,并且需要对用于标识前导画面和对比特流执行操作的数据进行大量处理。
为了解决这些困难中的一部分,本文的系统和方法提供了用于标识前导画面的方法。在一些方法中,一个或更多个指示符可以实现为指示CRA画面是否在比特流中具有后续前导画面。例如,在一个配置中,可以引入新的NAL单元以指示CRA画面是否具有在比特流中位于该CRA画面之后的一个或更多个前导画面。在另一配置中,可以将SPS、PPS和/或APS中的标志用于指示在CRA画面之后是否存在前导画面。该方法的优点可以包括:允许电子设备标识前导画面,而无需由一个或更多个电子设备进行大量编码或解码。
在提供与CRA画面相关联的指示符的情况下,应注意:CRA画面可以包括编码画面,所述编码画面包含与特定类型NAL单元相关联的编码片。在一些情况下,CRA画面可以仅包括帧内预测片(I片),其中仅使用帧内预测来对帧内预测片解码。例如,在一个配置中,CRA画面是编码画面,包括NAL单元类型(nal_unit_type)等于4的编码片。在一些情况下,在编码顺序和输出顺序中位于CRA画面之后的所有编码画面可能无法使用根据在编码顺序或输出顺序中位于CRA画面之前的任何画面的帧间预测。此外,在一些情况下,在解码顺序中位于CRA画面之前的其它画面还可以在输出顺序中位于该CRA画面之前。
在一些配置中,NAL单元类型可以规定在NAL单元中包含的原始字节序列有效载荷(PBSP)数据结构的类型。在一个示例中,使用NAL单元类型等于0或在24-63的范围内的NAL单元可以不影响在多种配置中规定的解码处理。还应注意,在一个示例中,如多种应用所确定的,可以使用NAL单元类型0和24-63。在本文所述的一些配置中,解码器可以忽略NAL单元的内容,所述NAL单元使用保留的或未规定的NAL单元类型值。
在以下表格1和表格11中包括了可以根据本文所公开的系统和方法实现的NAL单元类型编码和NAL单元类型类别的示例。应注意,一些配置可以包括与以下所述的配置相似的域和不同的域。在一些配置中,表格1中的一些或全部NAL域可以是不同NAL单元类型的示例。在一些配置中,特定NAL单元类型可以与不同域和语法结构相关联,所述不同域和语法结构与一个或更多个画面相关联。下文包括了对一个或更多个域的进一步解释。应注意,下表1包括了对视频编码层(VCL)NAL单元类型类别、即时解码刷新(IDR)画面和时间层访问(TLA)画面的缩写。还可将与表格1相关的其它示例应用于表格11和下文所述的其它配置。
表格1
在该示例中,语法可以包括补充增强(SEI)信息RBSP语法。SEI RBSP可以包含一个或更多个SEI消息。每个SEI消息可以包括规定SEI有效载荷的类型的变量payloadType和规定SEI有效载荷的大小的变量payloadSize。可以用字节规定导出的SEI有效载荷大小payloadSize,并且导出的SEI有效载荷大小可以等于SEI有效载荷中的RBSP字节的数目。
在一个示例中,语法还可以包括访问单元分隔符RBSP语法。访问单元分隔符可用于指示在编码画面中存在的片的类型,并简化对访问单元之间的边界的检测。可以没有与访问单元分隔符相关联的标准化解码过程。
在一个示例中,语法还可以包括填充数据RBSP语法。填充数据RBSP可以包含其值等于0xFF的字节。此外,可以不对填充数据RBSP规定标准化解码过程。ff_byte是等于0xFF的字节。
片层RBSP可以包括片首部和由rbsp_slice_trailing_bits跟随的片数据。下表2示出了该示例:
表格2
下表3示出了RBSP片结尾比特语法的示例:
表格3
在该示例中,cabac_zero_word可以是等于0x0000的两个字节的byte_aligned序列。此外,NumBytesInVcINALunits可以是编码画面的所有VCL单元的NumBytesinNALunit的值的总和。此外,BinCountsInNALunits可以是可以调用解析过程函数DecodeBin( )以对编码画面的所有VCL NAL单元的内容进行解码的次数。
可以如下导出变量RawMinCUBits和PicSizeMinCUs:
RawMinCUBits = (1 << Log2MinCUSize) * (1 << Log2MinCUSize ) * BitDepthY +2 * (1 << Log2MinCUSize - 1) ) * (1 << Log2MinCUSize - 1) ) * BitDepthC;以及
PicSizeMinCUs = Ceil( pic_width_in_luna_samples / (1 << Log2MinCUSize ) )* Ceil( pic_height_in_luma_samples / (1 << Log2MinCUSize ) )。
在该方法中,BinCountsInNALunits不可以超过:
(32 / 3) * NumBytesInVcINALunits + (RawMinCUBits * PicSizeInMinCUS) / 32。
应注意,可以通过插入多个cabac_zero_word语法元素来增加NumBytesInVcINALunits 的值,满足对bin的最大数目的约束,所述bin是由于对片层NAL单元的内容进行解码而导致的。在NAL单元中,将每个cabac_zero_word由三字节序列0x000003表示(由于对NAL单元内容的约束导致需要针对每个cabac_zero_word包括emulation_prevention_three_byte)。
下表4示出了RBSP结尾比特语法的一个示例:
表格4
表格4提供了RBSP结尾比特语义的示例。在该示例中,rbsp_stop_bit可以等于1,且rbsp_alignment_zero_bit可以等于0。
下表5示出了字节对齐语法的示例。
表格5
表格5提供了字节对齐语义的示例。在该示例中,bit_equal_to_one可以等于1。
在这些示例中,序列参数集RBSP可以包括与SPS原始字节序列有效载荷相对应的语法元素。序列参数集RBSP可以包括与PPS原始字节序列有效载荷相对应的语法元素。序列参数集RBSP可以包括与APS原始字节序列有效载荷相对应的语法元素。
在一些方法中,可以将信号或指示符与前导画面相关联以指示比特流中在CRA画面之后的前导画面。例如,可以通过与前导画面相关联的NAL单元类型将前导画面指示为前导画面。在该方法中提供显式的前导画面指示符的优点可以包括:避免对PPS、SPS或其它域进行解码或修改。此外,该方法可以支持标识一个或更多个前导画面,而无需执行特定的解码操作。
在一些方法中,可以将一个或更多个指示符实现为指示缺少前导画面。在一个示例中,可以引入与CRA画面相关联的NAL单元、标志或其它指示符,对比特流中缺少一个或更多个前导画面加以指示。该方法的一个优点在于可以产生显式的前导画面指示符,而无需对一个或更多个画面进行大量编码。
本文所公开的系统和方法可以在处理数据比特流时提供一个或更多个附加优点。在一个配置中,可以在一个或更多个电子设备之间传输比特流,所述比特流具有与一个或更多个前导画面相对应的显式指示符。采用该方案可以减少电子设备的处理量,其中获知比特流是否包括前导画面是有利的。在另一配置下,电子设备可以丢弃一个或更多个前导画面,而无需对比特流进行大量处理。丢弃前导画面而无需大量处理的一个优点可以包括:减少输出或传输的数据量,而不对信号或显示(包括一个或更多个画面)的质量造成过度不利的影响。在一些配置中,这些和其他优点可以有助于在电子设备之间更有效地对数据进行流传输。
现在参考附图描述各种配置,在附图中,相似的附图标记可以指示功能上相似的元件。可以以各种不同配置来布置和设计如本文附图中一般地描述和示出的系统和方法。因此,下文对附图所示的若干配置的更具体描述并非意在限制要求保护的范围,而仅仅是所述系统和方法的代表。
图1是示出了一个或更多个电子设备102a-b的示例的框图,可以在所述电子设备102a-b中实现用于标识前导画面的系统和方法。在该示例中,示出了电子设备A 102a和电子设备B 102b。然而,应注意,在一些配置中,可以将关于电子设备A 102a和电子设备B102b所描述的一个或更多个特征和功能组合到单个电子设备中。
电子设备A 102a包括编码器104和前导画面指示符模块108。电子设备A 102a中包括的元件中的每一个元件(例如,编码器104和前导画面指示符模块108)可以以硬件、软件或两者的组合来实现。
电子设备A 102a可以获得输入画面106。在一些配置中,可以使用图像传感器在电子设备A 104a上捕捉、从存储器取得和/或从另一电子设备接收输入画面106。
编码器104可以对输入画面106进行编码以产生编码数据。例如,编码器104可以对一系列输入画面106(例如,视频)进行编码。在一个配置中,编码器104可以是高效视频编码(HEVC)编码器。可以将编码数据包括在比特流114中。编码器104可以基于输入画面106产生开销信令。
前导画面指示符模块108可以提供与前导画面相对应的指示符。例如,前导画面指示符模块108可以确定是否存在前导画面。如果存在前导画面,则前导画面指示符模块108还可以产生显式的前导画面指示符。在一些配置中,前导画面指示符模块108可以发送或以其他方式与一个或更多个电子设备共享所述显式的前导画面指示符。在一个示例中,电子设备A 102a可以向电子设备B 102b发送一个或更多个前导画面指示符。产生显式的前导画面指示符的一个优点可以包括:当处理比特流中的一个或更多个画面时,减少对一个或更多个画面执行的操作。
根据本文所公开的系统和方法描述了一种或更多种指示符。本文给出了可以由电子设备A 102a产生的多种指示符的更多细节。例如,编码器104可以用一个或更多个指示符标识前导画面。下文示出了更多细节。应注意,在一些配置中,可以将前导画面指示符模块108包括在编码器104中。前导画面指示符模块108可以支持减少由一个或更多个电子设备102a-b对比特流进行的处理。
编码器104(以及例如前导画面指示符模块108)可以产生比特流114。比特流114可以包括基于输入画面106的编码数据。在一个示例中,比特流114可以包括编码画面数据。在一些配置中,比特流114还可以包括开销数据,例如,片首部信息、PSP信息、SPS信息、APS信息等。在一些情况下,可以将片首部、PPS信息、SPS信息或APS信息称作高级语法。比特流114还可以包括其它数据,本文描述了其它数据的一部分示例。当对附加输入画面106编码时,比特流114可以包括一个或更多个前导画面。附加地或备选地,比特流114可以包括一个或更多个前导画面指示符和其它编码数据。
可以将比特流114提供给解码器112。在一个示例中,可以使用有线或无线链路将比特流114传输到电子设备B 102b。在一些情况下,这可以通过网络(例如,Internet、局域网(LAN)或用于在设备之间通信的其它类型网络)来完成。如图1所示,可以将解码器112实现在电子设备B 102上,与电子设备A 102a上的解码器104相分离。应注意,在一些配置下,可以将编码器104和解码器112实现在相同电子设备上。在将编码器104和解码器102实现在相同电子设备上的实现方案中,例如,可以以多种方式使比特流114对解码器可用。例如,可以通过总线将比特流114提供给解码器112或将其存储在存储器中以便由解码器112取得。
可以将解码器112实现为硬件、软件或二者的组合。在一个配置中,解码器112可以是HEVC解码器。解码器112可以获得(例如,接收)比特流114。解码器112可以基于比特流114产生一个或更多个解码画面118。可以显示、回放解码画面118,将其存储在存储器中和/或传输到另一设备等。
解码器112可以包括前导画面确定模块120。前导画面确定模块120可以使电子设备B 102b能够标识在比特流114中是否存在前导画面。例如,前导画面确定模块120可以基于比特流114是否包括前导画面指示符,来确定是否存在前导画面。附加地或备选地,前导画面确定模块120可以基于前导画面缺少指示符,来确定是否存在前导画面。下文更详细地描述了前导画面确定模块120。
电子设备B 102b还可以对比特流114执行一个或更多个操作。在一个示例中,对比特流114执行的操作或处理可以基于是否存在前导画面或前导画面指示符。在一些配置中,电子设备B 102b上的解码器112或其它元件可以对比特流114执行操作。在一些配置中,对比特流114执行的操作可以包括丢弃前导画面或传输解码比特流114。此外,还可以对比特流114执行其它操作。
在一些配置中,电子设备B 102b可以输出解码画面118。在一个示例中,可以将解码画面118传输到另一设备或回送到电子设备A 102a。在一个配置中,可以存储解码画面118或以其他方式将其保持在电子设备B 102b上。在另一示例中,电子设备B 102b可以显示解码画面118。在其它配置中,解码画面118可以基于对比特流114执行的编码和其它操作,包括具有不同特性的输入画面106的元素。在一些配置中,解码画面118可以包括在与输入画面106具有不同分辨率、格式、规格或其它属性的画面流中。
应注意,在一些配置或实例中,可以将比特流114提供给处理设备(例如,网络节点)。例如,处理设备(例如,网络节点)可以是电子设备B 102b的一个示例。例如,处理设备可以包括解码器。备选地,处理设备可以是介于电子设备A 102a和电子设备B 102b之间的单独设备。例如,处理设备可以接收比特流114,将其中继到电子设备B 102b。在一些情况或配置中,处理设备或电子设备102b 可以包括前导画面确定模块120,以确定比特流114中是否存在前导画面。在一些情况或配置中,处理设备或电子设备 B 102b可以从比特流114丢弃前导画面。
应注意,可以将电子设备102中所包括的一个或更多个元件或其部件实现为硬件。例如,可以将一个或更多个这些元件或其部件实现为芯片、电路或硬件组件等。还应注意,可以将本文所述的一个或更多个功能或方法实现为硬件,和/或使用硬件来执行所述功能或方法。例如,可以在芯片集、专用集成电路(ASIC)、大规模集成电路(LSI)或集成电路等中实现和/或使用芯片集、专用集成电路(ASIC)、大型集成电路(LSI)或集成电路等来实现本文所述的一个或更多个方法。
图2是示出了用于标识前导画面的方法200的一个配置的流程图。电子设备102可以对第一画面编码202。第一画面可以是通过电子设备102获得的输入画面106或输入画面106的流之一。在一些情况下,第一画面可以是CRA画面。在其它情况下,除了第一画面之外的画面可以是CRA画面。例如,在一个配置中,CRA画面可以是在随机访问点处出现的画面。随机访问点可以是数据流(例如,比特流)中的任何点,可以在所述点处开始对比特流解码。具有在随机访问点处出现的CRA画面的一个优点在于:能够确定前导画面是否存在于比特流中该CRA画面之后。无论CRA画面是否是第一画面,或CRA画面是否在随机访问点处,得知前导画面相对CRA画面的位置可以是有利的。此外,在一些配置中,与CRA画面相对应的指示符可以指示一个或更多个前导画面是否在CRA画面之后。在一些配置中,电子设备102可以对多个输入画面106进行编码。
对第一画面编码202可以包括将输入画面106表示为数字数据。例如,对第一画面编码202可以包括产生比特串,所述比特串表示输入画面106的特性(例如,颜色、亮度、空间位置等)。在一些情况下,可以将输入画面106编码为202 CRA画面。可以将一个或更多个编码画面包括在比特流114中,并可以将其发送到包括解码器112的另一电子设备102。
电子设备102可以确定204是否存在前导画面。前导画面可以是在解码顺序中位于CRA画面之后并且在输出顺序中位于CRA画面之前的画面。例如,如果编码器104规定画面在解码顺序中位于CRA画面之后并且在输出顺序(例如,从解码器112输出的顺序)中位于该CRA画面之前,则可以存在前导画面。
可以根据一个或更多个方法来完成确定204是否存在前导画面。在一个方法中,如果第一画面是CRA画面并存在被规定为(例如,由编码器104规定为)在解码顺序中位于CRA画面之后且在输出顺序中位于CRA画面之前的另一画面,则电子设备102确定204存在前导画面。在一些配置中,电子设备102可以读取与CRA画面和一个或更多个其他画面相对应的数据,以确定是否存在前导画面。例如,电子设备102可以读取对CRA画面和一个或更多个其它画面的解码顺序和输出顺序加以规定的数据。
在一些配置中,可以通过POC确定输出顺序,而可以通过语法元素出现在比特流114中的顺序确定解码顺序。输出顺序是从电子设备102输出解码画面的顺序。在一些配置中,输出顺序可以是从解码画面缓冲器输出解码画面的顺序。在从解码画面缓冲器输出解码画面的情况下,可以通过POC规定画面的输出顺序,而无论是否要输出该画面。此外,解码顺序是由解码处理来处理语法元素的顺序。如果满足画面被指定为在解码顺序中位于CRA画面之后且被指定为在输出顺序中位于该CRA画面之前的条件,则电子设备102可以确定204存在前导画面。
如果存在前导画面,则电子设备102可以产生206显式的前导画面指示符。在一些配置中,电子设备102可以包括产生一个或更多个显式的前导画面指示符的前导画面指示符模块108。在一个示例中,可以将前导画面指示符模块108包括为电子设备102上的编码器104的一部分。产生显式的前导画面指示符的一个优点可以包括减少解码器的不必要的处理。
可以采用一个或更多个方法来产生206显式的前导画面指示符。在一个方法中,前导画面指示符模块108可以通过修改或创建与CRA画面相对应的NAL单元类型,来产生前导画面指示符。例如,NAL单元类型可以与由电子设备102编码的第一画面相关联。例如,NAL单元类型可以与CRA画面相对应。在一些配置中,NAL单元类型可以是显式的指示符,指示具有一个或更多个后续前导画面的CRA画面的编码片。创建或修改显式地指示前导画面的NAL单元的一个优点在于:可以不需要(例如,处理设备、网络节点或解码器的)附加解码来标识前导画面。另一优点可以在于:在仅将NAL单元类型用于显式地指示前导画面的配置中,可以不需要修改CRA画面的SPS、PPS或其它域。
例如,可以参考表格1,来解释产生显式的前导画面指示符以指示存在前导画面的电子设备102的一个配置。在一个示例中,如果对于包含特定画面的片的NAL单元,NAL单元类型等于4,则该特定画面的所有VCL NAL单元的NAL单元类型可以等于4。在该示例中,NAL单元类型等于4可以指示具有一个或更多个后续前导画面(例如,在CRA画面之后)的CRA画面的编码片。
在附加或备选方法中,电子设备102可以通过产生标志来产生206显式的前导画面指示符。例如,电子设备102可以在SPS、PPS、APS和CRA画面的片首部内的一个或更多个中产生标志,指示一个或更多个前导画面是否在CRA画面之后。例如,如果确定前导画面在CRA画面之后,则电子设备102可以将标志插入CRA画面的一个或更多个片首部。
下文示出了产生206显式的前导画面指示符的更具体的示例。在一个示例中,电子设备102可以创建或修改标志或其它指示符来伴随一个或更多个画面(例如,第一画面)的语法结构。例如,前导画面指示符模块108可以通过将标志插入SPS、PPS、APS或CRA画面的片首部,来指示存在前导画面。在一些情况下,可以在随机访问点或CRA画面的片首部处将所述标志进行编码或发送,以便指示前导画面是否存在于CRA画面之后。
在一个示例中,前导画面指示符模块108可以在SPS中产生标志。前导画面指示符可以是编码为SPS的一部分的显式指示符。例如,表格6示出了可以由前导画面指示符模块108产生的并包括在SPS中的标志的一个配置。在一个配置中,前导画面标志(例如,cra_leadingpict_present_flag)等于1可以指示在比特流114中存在位于CRA画面之后的前导画面。以粗体表示SPS中的标志的示例。
表格6
在该示例中,profile_idc和level_idc可以指示编码视频序列符合的简档和等级。域reserved_zero_8bits等于0指示解码器应忽略reserved_zero_8bits的值。由seq_parameter_set_id表示的域可以标识序列参数集,所述序列参数集由画面参数集引用。seq_parameter_set_id的值应在0到31的范围(包括0和31)中。
此外,对于域rbsp_trailing_bits,语法的一个示例可以如下表7中所示:
表格7
在该示例中,rbsp_byte[i] 是RBSP的第i个字节。可以将RBSP规定为字节的有序序列(SODB)。RBSP的SODB可以包括多种配置。例如,如果SODB为空(即,长度是0比特),则RBSP还可以为空。如果SODB不为空,则RBSP的第一字节可以包含SODB的最高有效或最左侧八比特,RBSP的下一字节包含SODB的下一八比特,以此类推直到SODB的小于八个比特剩下为止。此外,可以在SODB之后存在rbsp_trailing_bits( )。在该示例中,最后RBSP字节的头几个比特可以包括SODB的任何剩余比特。下一比特可以包括等于1的单个rbsp_stop_one_bit。当rbsp_stop_one_bit不是字节对齐的字节的最后比特时,可以存在一个或更多个rbsp_alignment_zero_bit,以便导致字节对齐。此外,可以在一些RBSP中,在RBSP的末尾的rbsp_trailing_bits( )之后,存在等于0x0000的一个或更多个cabac_zero_word16比特语法元素。
附加地或备选地,前导画面指示符模块108可以在PPS中产生标志。例如,该前导画面指示符可以是被包括为PPS的一部分的显式指示符。例如,表格8示出了包括标志的代码的一个配置,所述标志可以由前导画面指示符模块108产生并包括在PPS中。在一个示例中,前导画面标志(例如,cra_leadingpict_present_flag)等于1可以指示在比特流114中存在位于CRA画面之后的前导画面。以粗体表示PPS中的标志的示例。
表格8
在该示例中,pic_parameter_set_id可以标识在片首部中引用的画面参数集。此外,pic_parameter_set_id 的值可以在0到255的范围(包括0和255)中。seq_parameter_set_id 可以指活动的序列参数集。此外,seq_parameter_set_id 的值可以在0到31的范围(包括0和31)中。在符合HEVC推荐|国际标准的比特流中,pps_extension_flag 可以等于0。可以将pps_extension_fla的值1保留,以供ITU-T | ISO/IEC将来使用。解码器应忽略在画面参数集NAL单元中在值为1的pps_extension_flag之后的所有数据。pps_extension_data_flag可以具有任意值,并且不影响符合在HEVC推荐|国际标准中规定的简档的解码器。
附加地或备选地,前导画面指示符模块108可以在APS中产生标志。该前导画面指示符可以是被包括为APS的一部分的显式指示符。例如,表格9示出了包括标志的代码的一个配置,所述标志可以由前导画面指示符模块108产生并包括在APS中。在一个示例中,前导画面标志(例如,cra_leadingpict_present_flag)等于1可以指示在比特流114存在位于CRA画面之后的前导画面。以粗体表示PPS中的标志的示例。作为进一步的说明,APS标识标签(aps_id)还可以包括与画面的片首部相对应的数据。在一些配置中,aps_id的值可以在0到预定限制的范围(包括0和预定限制)中。
表格9
在该示例中,aps_id 可以标识在片首部中引用的适配参数集。aps_id 的值可以在0到TBD的范围(包括0和TBD)内。aps_scaling_list_data_present_flag 等于1可以指示在APS中存在缩放列表参数。aps_scaling_list_data_present_flag 等于0可以指示在APS中不存在缩放列表参数。aps_deblocking_filter_flag 等于1可以表明在APS中存在去块参数。aps_deblocking_filter_flag等于0可以表明在APS中不存在去块参数。aps_sao_interleaving_flag 等于1可以表明:在引用当前APS的片的片数据中,SAO参数是交织的。aps_sao_interleaving_flag 等于0可以表明:SAO参数在引用当前APS的片的APS中。当不存在活动APS时,可以将aps_sao_interleaving_flag 推断为0。aps_sample_adaptive_offset_flag 等于1可以表明:对于引用当前APS的片,SAO是开启的。aps_sample_adaptive_offset_flag 等于0可以表明:对于引用当前APS的片,SAO是关闭的。当没有活动APS时,可以将aps_sample_adaptive_offset_flag值推断为0。aps_adaptive_loop_filter_flag 等于1可以表明:对于引用当前APS的片,自适应环路滤波器(ALF)是开启的。aps_adaptive_loop_filter_flag 等于0可以表明:对于引用当前APS的片,ALF是关闭的。当没有活动APS时,可以将aps_adaoptive_loop_filter_flag值推断为0。aps_extension_flag等于0可以表明在画面参数集RBSP语法结构中不存在aps_extension_data_flag语法元素。aps_extension_flag可以在符合HEVC推荐|国际标准的比特流中等于0。可以将aps_extension_flag 的值1保留,以供ITU-T | ISO/IEC 将来使用。解码器应忽略在画面参数集NAL单元中在值为1的aps_extension_flag之后的所有数据。aps_extension_data_flag可以具有任意值,并且可以不影响符合在HEVC推荐|国际标准中规定的简档的解码器。
附加地或备选地,前导画面指示符模块108可以在CRA画面或前导画面的相关的片首部中产生标志。该前导画面指示符可以是被包括为片首部的一部分的显式指示符。例如,表格10示出了包括标志的代码的一个配置,所述标志可以由前导画面指示符模块108产生并包括为片首部的一部分。在一个示例中,前导画面标志(例如,cra_leadingpict_present_flag)等于1可以指示:在比特流114中存在位于与该标志相关联的CRA画面或其它画面之后的前导画面。以粗体表示片首部中的标志的示例。
表格10
在该示例中,first_slice_in_pic_flag可以指示所述片是否是画面的第一片。如果first_slice_in_pic_flag等于1,则可以将变量SliceCbAddrZS和SliceCtbAddrRS都设置为0,并且可以从画面中的第一编码树块开始解码。slice_address可以以片颗粒度分辨率规定所述片开始的地址。在一个示例中,slice_address语法元素的长度以比特计可以等于:
(Ceil(Log2(PicWidthInCtbs*PicHeightInCtbs))+SliceGranularity)。
变量SliceCtbAddrRS可以以编码树块栅格(raster)扫描顺序规定所述片开始的编码树块,并且可以如下导出:
SliceCtbAddrRS = ( slice address >> SliceGranularity )。
变量SliceCbAddrZS可以按z扫描顺序以最小编码块颗粒度规定所述片中第一编码块的地址,并且可以如下导出:
SliceCbAddrZS = slice_address;以及
slice_address << ((log2 diff max min coding block size -SliceGranularity) << 1 )。
片解码可以从片开始坐标处可能的最大编码单元开始。
应注意,以上表格和附加说明示出了可以包括cra_leadingpict_present_flag的一个可能位置。在其它配置中,可以在SPS、PPS、APS或片首部的不同位置处发送一个或更多个标志。
附加地或备选地,前导画面指示符模块108可以修改或创建与一个或更多个前导画面相对应的NAL单元类型。例如,与前导画面相对应的NAL单元类型可以指示前导画面。例如,NAL单元类型可以指示在CRA画面之后的前导画面的编码片。在一个配置中,前导画面的编码片还可以包括对CRA画面的引用。
如果存在前导画面,则电子设备102可以发送208显式的前导画面指示符。发送208显式的前导画面指示符可以包括在电子设备102的多个组件之间传送数据(例如,比特流114)或在一个或更多个电子设备102之间传输比特流114。在一个示例中,电子设备A 102a上的编码器104可以向电子设备B 102b发送包括一个或更多个前导画面指示符的比特流114。在一些配置中,可以向电子设备B 102b上的解码器120发送比特流114。例如,可以通过有线或无线传输,来发送208显式的前导画面指示符。
图3是示出了用于标识前导画面的方法300的更具体配置的流程图。电子设备102可以对CRA画面编码302。例如,电子设备102可以对作为CRA画面的输入画面106编码302。例如,电子设备102可以如以上结合图2所述,对CRA画面编码302。还应注意,尽管一些配置可以指示与一个或更多个前导画面指示符相对应的CRA画面,然而前导画面指示符可以与其它类型的画面相对应。例如,可以将多个所提出的用于提供前导画面指示符的方法应用于即时解码刷新(IDR)画面。在一个配置中,IDR画面可以是变量IdrPicFlag 等于1的编码画面。IDR画面可以导致解码处理,以将所有参考画面标记为“未用于参考”。此外,可以对在解码顺序中位于IDR画面之后的所有编码画面进行解码,而无需根据在解码顺序中位于IDR画面之前的任何画面的帧间预测。在一些配置中,每个编码视频序列或画面流的第一画面可以是IDR画面。
对CRA画面编码302可以包括将输入画面106表示为数字数据。例如,对第一画面编码302可以包括产生表示输入画面106的特性(例如,颜色、亮度、空间位置等)的比特串。可以将一个或更多个编码画面包括在比特流114中,并可以将其发送到包括解码器112的另一电子设备102。
电子设备102可以确定304是否存在前导画面。前导画面可以是在解码顺序中位于CRA画面之后并且在输出顺序中位于CRA画面之前的画面。例如,如果编码器104规定画面在解码顺序中位于CRA画面之后并且在输出顺序(例如,从解码器112输出的顺序)中位于该CRA画面之前,则可以存在前导画面。例如,电子设备102可以如以上结合图2所述确定304是否存在前导画面。
如果存在前导画面,则电子设备102可以产生306显式的前导画面指示符。电子设备102可以根据一个或更多个方法来产生306显式的前导画面指示符。例如,电子设备102可以产生306 NAL单元类型、SPS中的标志、PPS中的标志、APS中的标志和CRA画面的片首部中的标志中的一个或更多个,指示存在前导画面(例如,一个或更多个前导画面在CRA画面之后)。换言之,显式的前导画面指示符的示例包括NAL单元类型、SPS中的标志、PPS中的标志、APS中的标志和CRA画面的片首部中的标志中的一个或更多个。
在一个方法中,电子设备102可以产生306与CRA画面相对应的NAL单元类型。例如,电子设备102可以产生306如以上表格1所示的NAL单元类型4。NAL单元类型4可以指示具有一个或更多个后续前导画面的CRA画面的编码片。
在附加或备选方法中,电子设备102可以在SPS、PPS、APS和CRA画面的片首部中的一个或更多个中产生306标志。例如,电子设备102可以如上所述在SPS、PPS、APS和CRA画面的片首部中的一个或更多个中,产生306一个或更多个值为1的cra_leadingpict_present_flags。例如,值为1的cra_leadingpict_present_flags可以指示在CRA画面之后存在一个或更多个前导画面。应注意,可以仅实现上述方法之一,或可以实现上述方法中的两个或多个方法的组合,以显式地指示一个或更多个前导画面在CRA画面之后。
电子设备102可以发送308显式的前导画面指示符。在一些配置中,发送显式的前导画面指示符可以包括在电子设备102的多个组件之间传送数据(例如,比特流114)或在一个或更多个电子设备102之间传输比特流114。在一个示例中,电子设备A 102a上的编码器104可以向电子设备B 102b或电子设备B 102b上的解码器112发送包括一个或更多个前导画面指示符的比特流114。
如果电子设备102确定不存在前导画面,则前导画面指示符模块108可以产生310显式的前导画面缺少指示符。电子设备102可以根据一个或更多个方法来产生310显式的前导画面缺少指示符。例如,电子设备102可以产生310 NAL单元类型、SPS中的标志、PPS中的标志、APS中的标志和CRA画面的片首部中的标志中的一个或更多个,指示缺少前导画面(例如,不在CRA画面之后)。换言之,显式的前导画面缺少指示符的示例包括NAL单元类型、SPS中的标志、PPS中的标志、APS中的标志和CRA画面的片首部中的标志中的一个或更多个。
在一个方法中,电子设备102可以产生310与CRA画面相对应的NAL单元类型。例如,电子设备102可以产生310如以上表格1所示的NAL单元类型16。该NAL单元类型16可以指示没有一个或更多个后续前导画面的CRA画面的编码片。
在附加或备选方法中,电子设备102可以在SPS、PPS、APS和CRA画面的片首部中的一个或更多个中产生310标志。例如,电子设备102可以如上所述在SPS、PPS、APS和CRA画面的片首部中的一个或更多个中,产生310一个或更多个值为0的cra_leadingpict_present_flags。例如,值为0的cra_leadingpict_present_flags可以指示在CRA画面之后缺少一个或更多个前导画面。应注意,可以实现仅上述方法之一,或可以实现上述方法中的两个或多个方法的组合,以显式地指示没有前导画面在CRA画面之后。
如果不存在前导画面,则电子设备102可以发送312显式的前导画面缺少指示符。所述发送312显式的前导画面缺少指示符可以包括在电子设备102的多个组件之间传送数据,或在一个或更多个电子设备102之间或在多个设备上的组件(例如,编码器104、解码器112)之间传输比特流114。提供显式的前导画面指示符或缺少指示符的一个优点可以包括减少用于确定比特流114中是否存在前导画面的一个或更多个解码步骤。此外,当具有缺少指示符的比特流114通过电子设备102时,提供缺少指示符可以减少对比特流114执行的附加操作。
图4是示出了用于标识前导画面的方法400的一个配置的流程图。电子设备102可以对CRA画面编码402。例如,电子设备102可以对作为CRA画面的输入画面106编码。例如,电子设备102可以如以上结合图2所述,对CRA画面编码402。
电子设备102可以确定404是否存在前导画面。前导画面可以是在解码顺序中位于CRA画面之后并且在输出顺序中位于CRA画面之前的画面。例如,如果编码器104规定画面在解码顺序中过位于CRA画面之后并且在输出顺序(例如,从解码器112输出的顺序)中位于该CRA画面之前,则可以存在前导画面。例如,电子设备102可以如以上结合图2所述确定404是否存在前导画面。
如果存在前导画面,则电子设备102可以产生406与前导画面相关联的显式的前导画面指示符。在一些配置中,电子设备102可以通过创建与一个或更多个前导画面相对应的NAL单元类型,来产生406与前导画面相关联的显式的前导画面指示符。例如,电子设备102可以产生406如表格11所示的NAL单元类型15。
表格11
例如,NAL单元类型15可以指示在CRA画面之后的前导画面的编码片。例如,如果对于包含特定画面的片的NAL单元,NAL单元类型等于15,则该特定画面的所有VCL NAL单元的NAL单元类型可以等于15。在该示例中,NAL单元类型等于15可以指示在CRA画面之后的前导画面的编码片。该方法中产生显式的前导画面指示符的一个优点可以包括便于标识前导画面指示符,而无需修改CRA画面或与CRA画面相关联的其它数据。此外,可以获得(例如,通过解码器或网络节点获得)前导画面指示符,而无需对SPS、PPS或与CRA画面或其它画面相关联的其它域进行解码。在一些配置中,可以将与前导画面相对应的前导画面指示符包括在与一个或更多个前导画面相关联的SPS、PPS、APS或片首部中的一个或更多个中。
如果存在前导画面,则电子设备102可以发送408显式的前导画面指示符。所述发送显式的前导画面指示符可以包括在电子设备102的多个组件之间传送数据(例如,比特流114)或在一个或更多个电子设备102之间传输比特流114。此外,所述发送显式的前导画面指示符可以包括用于在一个或更多个电子设备102之间传送数据的其它相似方法。
图5是示出了用于标识前导画面的方法500的一个配置的流程图。电子设备102可以接收502比特流114。所述接收比特流114可以包括获得、读取或以其他方式访问比特流114。在一些配置中,可以从相同电子设备或不同电子设备102上的编码器104接收比特流114。在一个示例中,电子设备B 102b可以从电子设备A 102a上的编码器104接收比特流114。在一些配置中,电子设备B 102b还可以包括接收比特流114的解码器112。比特流114可以包括基于一个或更多个输入画面106的编码数据。在一些配置中,比特流114还可以包括显式的前导画面指示符和显式的前导画面缺少指示符中的一个或更多个。
电子设备102可以基于比特流114是否包括显式的前导画面指示符,来确定504是否存在前导画面。附加地或备选地,在一些配置中,电子设备102可以基于比特流114是否包括显式的前导画面缺少指示符来确定是否缺少前导画面。提供显式的前导画面指示符或显式的前导画面缺少指示符的优点可以包括:减少电子设备102在确定是否存在前导画面中执行的解码或其它处理步骤的数量。在一些配置中,在前导画面指示符模块108可以确定缺少或存在前导画面的情况下,还可以减少由一个或更多个电子设备(例如,解码器)对比特流114执行的不必要操作。
确定504存在或缺少前导画面可以包括读取或以其他方式访问比特流114。附加地或备选地,在一些配置中,电子设备102可以部分地对比特流114解码。在一个配置中,解码器112可以接收并读取一部分的或全部的比特流114,以确定是否存在前导画面指示符。在一个示例中,解码器112可以包括用于读取比特流114并标识是否存在前导画面指示符的前导画面确定模块120。在一些配置中,前导画面确定模块120可以与前导画面指示符模块108交互以确定比特流114中是否存在前导画面指示符。在一些配置中,前导画面确定模块120可以通过查看NAL单元类型、与一个或更多个画面相关联的一个或更多个标志、由前导画面指示符模块108创建或修改的编码片或可以指示存在或缺少前导画面的其它显式指示符,来确定是否存在前导画面指示符。
在一个方法中,电子设备102可以基于与CRA画面相对应的NAL单元类型,确定504是否存在前导画面。例如,如果电子设备102接收到如以上表格1所示的NAL单元类型4,则电子设备102可以确定504存在一个或更多个前导画面(例如,一个或更多个前导画面在CRA画面之后)。此外,如果电子设备102接收到NAL单元类型16,则电子设备102可以确定504不存在前导画面。
在附加或备选方法中,电子设备102可以基于包括在SPS、PPS、APS和CRA画面的片首部中的一个或更多个中的标志,确定504是否存在前导画面。例如,如果电子设备102接收到值为1的cra_leadingpict_present_flag,则电子设备102可以确定504存在前导画面(例如,一个或更多个前导画面在CRA画面之后)。此外,如果电子设备102接收到值为0的cra_leadingpict_present_flag,则电子设备102可以确定504缺少前导画面(例如,在CRA画面之后没有前导画面)。因此,显式的前导画面指示符的示例可以包括以下内容中的一个或更多个:与CRA画面相对应的NAL单元类型;以及与SPS、PPS、APS和CRA画面的片首部中的一个或更多个相对应的一个或更多个标志,所述NAL单元类型和标志可以指示存在一个或更多个前导画面。
附加地或备选地,电子设备102可以基于与前导画面相对应的NAL单元,确定504是否存在前导画面。此外,如果电子设备102接收到如以上表格11所示的NAL单元类型15,则电子设备102可以确定存在前导画面(例如,一个或更多个前导画面在CRA画面之后)。然而,如果电子设备102没有接收到如以上表格11所示的NAL单元类型15,则电子设备102可以确定504缺少前导画面(例如,在CRA画面之后没有前导画面)。因此,显式的前导画面指示符的另一示例是与前导画面相关联的NAL单元。
电子设备102可以基于是否存在前导画面,对比特流114执行506一个或更多个操作。在一些配置中,对比特流114执行506操作可以包括丢弃一个或更多个前导画面。例如,处理设备(例如,网络节点)或解码器可以从比特流114丢弃一个或更多个前导画面。电子设备102可以对比特流114执行506的操作的其它示例可以包括由电子设备102对比特流114中包含的数据或画面执行的读取、写入、重排序、删除、解码、发送或其它操作。附加地或备选地,对比特流114执行506操作可以基于其它因素,例如,带宽的可用性、电子设备102的能力、比特流114的规范以及其它特性。
在一个示例中,除了与电子设备102或比特流114相关联的其它因素之外,电子设备102还可以基于存在或缺少显式的前导画面指示符,丢弃一个或更多个前导画面。附加地或备选地,电子设备102可以基于与用于高效地表示数字媒体的预测、补偿、估计或其它方法相关联的其它系统和方法,丢弃一个或更多个前导画面。其它配置可以包括由一个或更多个电子设备102对比特流114执行的其它操作。
图6是示出了电子设备602的编码器604的一个配置的框图。应注意,可以将被示为包括在电子设备602中的元件中的一个或更多个元件实现为硬件、软件或二者的组合。例如,电子设备602包括编码器604,可以将编码器604实现为硬件、软件或二者的组合。例如,可以将编码器604实现为电路、集成电路、专用集成电路(ASIC)、与具有可执行指令的存储器电子通信的处理器、固件、现场可编程门阵列(FPGA)等或其组合。在一些配置中,解码器604可以是HEVC编码器。
电子设备602可以包括源634。源634可以向编码器604提供画面或图像数据(例如视频),作为输入画面606。源634的示例可以包括图像传感器、存储器、通信接口、网络接口、无线接收机、端口等。
可以将一个或更多个输入画面606提供给帧内预测模块和重构缓冲器640。还可以将输入画面606提供给运动估计和运动补偿模块666以及减法模块646。
帧内预测模块和重构缓冲器640可以基于一个或更多个输入画面606和重构数据680,产生帧内模式信息658和帧内信号642。运动估计和运动补偿模块666可以基于一个或更多个输入画面606和参考画面缓冲器696信号698,产生帧间模式信息668和帧间信号644。在一些配置中,参考画面缓冲器696可以包括来自参考画面缓冲器696中的一个或更多个参考画面的数据。
编码器604可以根据模式在帧内信号642和帧间信号644之间进行选择。在帧内编码模式下可以使用帧内信号642以便利用画面内的空间特性。在帧间编码模式下可以使用帧间信号644以便利用画面间的时间特性。当在帧内编码模式下时,可以将帧内信号642提供给减法模块646,并可以将帧内模式信息658提供给熵编码模块660。当在帧间编码模式下时,可以将帧间信号644提供给减法模块646,并且可以将帧间模式信息668提供给熵编码模块660。
在减法模块642处,从输入画面606减去帧内信号642或帧间信号644(取决于模式),以便产生预测残差648。将预测残差648提供给变换模块650。变换模块650可以压缩预测残差648以产生变换后的信号652,将所述信号652提供给量化模块654。量化模块654量化变换后的信号652,以产生经变换和量化的系数(TOC)656。
将TQC 656提供给熵编码模块660以及逆量化模块670。逆量化模块670对TQC 656执行逆量化以产生逆量化的信号672,将所述信号672提供给逆变换模块674。逆变换模块674对逆量化的信号672进行解压缩,以产生解压缩后的信号676,将所述信号676提供给重构模块678。
重构模块678可以基于解压缩后的信号676产生重构后的数据680。例如,重构模块678可以重构(修改)画面。可以将重构数据680提供给去块滤波器682以及帧内预测模块和重构缓冲器640。去块滤波器682可以基于重构后的数据680产生滤波后的信号684。
可以将经滤波的信号684提供给采样自适应偏移(SAO)模块686。SAO模块686可以产生提供给熵编码模块660的SAO信息688以及提供给自适应环路滤波器(ALF)692的SAO信号690。ALF 692产生提供给参考画面缓冲器696的ALF信号694。ALF信号694可以包括来自可以用作参考画面的一个或更多个画面的数据。
熵编码模块660可以对TQC 656进行编码,以产生比特流614或其它信号。此外,熵编码模块660可以使用上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码(CABAC)来对TQC 656进行编码。具体地,熵编码模块660可以基于帧内模式信息658、帧间模式信息668和SAO信息688中的一个或更多个,来对TQC 656进行编码。在一些配置中,比特流614可以包括编码画面数据。在一个示例中,可以在从编码器604发送比特流614之前或向另一电子设备602发送比特流614之前,令比特流614通过前导画面指示符模块608。
在视频压缩(例如,HEVC)中涉及的量化是通过将值的范围压缩为单个量化值实现的有损压缩技术。量化参数(QP)是用于基于重构视频的质量和压缩比二者来执行量化的预定义缩放参数。在HEVC中定义块类型以基于块尺寸及其颜色信息表示给定块的特性。可以在熵编码之前确定QP、分辨率信息和块类型。例如,电子设备602(例如,编码器604)可以确定QP、分辨率信息和块类型,所述QP、分辨率信息和块类型可以被提供给熵编码模块660。
熵编码模块660可以基于TQC 656的块来确定块大小。例如,块大小可以是TQC 656沿TQC块的一个维度的数目。换言之,TQC 656在TQC块中的数目可以等于块大小的平方。例如,可以将块大小确定为TQC 656在TQC块中的数目的平方根。可以将分辨率定义为像素宽度乘以像素高度。分辨率信息可以包括画面宽度的像素数目、画面高度的像素数目或二者。可以将块大小定义为TQC 656沿2D TQC块的一个维度的数目。
在一些配置中,熵编码模块660向前导画面指示符模块608发送比特流614或包括一个或更多个画面的其它信息。前导画面指示符模块608可以确定在一个或更多个输入画面606中是否存在前导画面,并产生与前导画面或其它画面(例如CRA画面)相关联的前导画面指示符。在一些配置中,前导画面指示符模块可以产生新的NAL单元类型、标志或其它指示符来表示存在或缺少前导画面。此外,前导画面指示符模块608可以修改或创建前导画面指示符或缺少指示符,以伴随或与存储在电子设备上或向另一电子设备发送的数据的比特流614一同发送。
前导画面指示符模块608还可以包括多种模块或子模块,用于产生与输入画面606相关联的一个或更多个前导画面指示符。例如,指示符模块608可以包括SPS模块624a、PPS模块624b、APS模块624c、片首部模块624d、NAL单元(NALU)模块624e或用于产生与输入画面606相关联的显式的前导画面指示符的其它模块,以指示在数据流中是否存在前导画面。在一些配置中,可以在对画面部分编码之后或画面通过电子设备602的组件之后,产生前导画面指示符。该方法的一个优点可以包括减少用于确定并提供对是否存在前导画面的指示的大量编码。
在一个配置中,前导画面指示符模块608可以产生标志或其它指示符,来指示是否存在前导画面。例如,SPS模块624a可以在SPS中产生标志,以与存在一个或更多个前导画面相对应。在另一示例中,PPS模块624b可以在PPS中产生标志或其它指示符,以与存在一个或更多个前导画面相对应。在另一示例中,APS模块 624c可以在APS中产生标志,以与存在一个或更多个前导画面相对应。在另一示例中,片首部模块624d可以在片首部中(例如,CRA片首部)产生标志或其它指示符,以与存在或缺少一个或更多个前导画面相对应。在一些实施例中,这里所述的一个或更多个模块可以产生与一个或更多个前导画面相对应的一个或更多个指示符。
附加地或备选地,在一个配置中,前导画面指示符模块608可以通过创建或修改新的NAL单元类型,产生与一个或更多个输入画面606相关联的显式的前导画面指示符。在一个示例中,NALU模块624e可以产生与一个或更多个画面相关联的NAL单元,指示存在一个或更多个前导画面。在一个配置中,NAL单元可以与CRA画面相关联,NALU模块624e可以产生NAL单元,以指示或指出一个或更多个前导画面在CRA画面之后。在一些配置中,NALU模块624e可以产生与一个或更多个前导画面相关联的NAL单元,以指示输入画面606是前导画面。
在另一配置中,前导画面指示符模块608可以产生显式的前导画面缺少指示符。在一个示例中,前导画面指示符模块608可以产生与一个或更多个输入画面606(例如,CRA画面)相关联的NAL单元类型,以指示缺少前导画面。在一个示例中,NAL单元类型可以包括CRA画面的编码片,指示在CRA画面之后缺少前导画面。
在一些配置中,可以向另一电子设备传输比特流614。例如,可以将比特流614提供给通信接口、网络接口、无线发射机、端口等。例如,可以通过LAN、互联网、蜂窝电话基站等,将比特流614传送给另一电子设备。附加地或备选地,可以将比特流614存储在存储器或电子设备602的其它组件中。
图7是示出了电子设备702的解码器712的一个配置的框图。解码器712可以包括在电子设备702中。例如,解码器712可以是HEVC解码器。可以将解码器712和被示为包括在解码器712中的一个或更多个元件实现为硬件、软件或二者的组合。解码器712可以接收比特流714(例如,包括在比特流714中的一个或更多个编码画面),以便进行解码。在一些配置中,接收到的比特流714可以包括接收到的开销信息,例如,接收到的片首部、接收到的PPS、接收到的缓冲器描述信息等。比特流714中包括的编码画面可以包括一个或更多个编码参考画面和/或一个或更多个其它编码画面。在一些配置中,比特流714可以包括一个或更多个显式的前导画面指示符或缺少指示符,或由一个或更多个显式的前导画面指示符或缺少指示符伴随。
在一个配置中,解码器712包括前导画面确定模块720。在一些配置中,电子设备702接收比特流714,并将比特流714发送通过前导画面确定模块720。前导画面确定模块720可以是解码器712或电子设备702上的其它组件的一部分。
前导画面确定模块720可以包括多种模块或子模块,用于基于比特流714是否包括显式的前导画面指示符,来确定是否存在前导画面。例如,前导画面确定模块720可以包括SPS模块726a、PPS模块726b、APS模块726c、片首部模块726d、NALU模块726e或用于确定前导画面指示符是否伴随或包括在比特流714中的其它模块。在一些配置中,前导画面确定模块720可以在比特流714通过解码器712的特定元件之前,接收比特流714。该方法的一个优点可以包括:标识是否存在前导画面,而无需对一部分或全部的比特流714进行解码。在一些配置中,该方法可以防止低效操作,例如,当可以调度前导画面以便丢弃时对前导画面解码。
在一些配置中,每个模块或子模块726可以基于多种类型的指示符,确定是否存在前导画面。例如,SPS模块726a可以确定比特流714中是否存在与SPS相关联的标志或指示符。PPS模块726b可以确定比特流714中是否存在与PPS相关联的标志或指示符。APS模块726c可以确定比特流714中是否存在与APS相关联的标志或指示符。片首部模块726d可以确定比特流714中是否存在与CRA画面或其它画面的片首部相关联的标志或指示符。附加地或备选地,NALU模块726e可以确定比特流714中是否存在指示存在或缺少前导画面的新的NALU单元类型。在一个配置中,NALU单元可以与CRA画面相关联,并且NALU模块726e可以确定一个或更多个前导画面在CRA画面之后。在一些配置中,NALU模块726e可以根据与那些前导画面相关联的NAL单元确定存在一个或更多个前导画面。
可以通过熵解码模块768对接收到的符号(在包括在比特流714中的一个或更多个编码画面中)进行熵解码,从而产生运动信息信号770以及经量化、缩放和/或变换的系数772。
在运动补偿模块774处,运动信息信号770可以与来自帧存储器778的参考帧信号798的一部分组合,从而可以产生帧间预测信号782。可以通过逆模块762对经量化、解缩放和/或变换的系数772进行逆量化、缩放和逆变换,从而产生解码残差信号784。可以将解码残差信号784与预测信号792相加以产生合并信号786。预测信号792可以是从由运动补偿模块774产生的帧间预测信号782或备选地由帧内预测模块788产生的帧内预测信号790选择的信号。在一些配置中,所述信号选择可以基于比特流714(例如,由比特流714控制)。
可以根据来自合并信号786(例如,在当前帧中)的先前解码信息来预测帧内预测信号790。还可以通过去块滤波器794来对合并信号786进行滤波。可以将得到的滤波信号796写入帧存储器709。得到的滤波信号796可以包括解码画面。
帧存储器778可以包括与解码画面相对应的开销信息。例如,帧存储器778可以包括片首部、PPS信息、循环参数、缓冲器描述信息等。可以从编码器(例如,编码器604)发信号通知这些信息中的一个或更多个。帧存储器778可以提供解码画面718或其它输出信号。
在一些配置中,解码器712可以包括与帧存储器778通信的前导画面确定模块720a。例如,解码器712可以在比特流714经过解码器714或被熵解码之前基于一个或更多个前导画面指示符,或者在一些情况下通过访问帧存储器778以确定是否在比特流714中包含或伴随有一个或更多个前导画面指示符或缺少指示符,来确定是否存在前导画面。包括访问帧存储器的前导画面确定模块720的一个优点可以包括:向电子设备702a提供确定是否存在前导画面而不干扰解码处理的能力。在该方法中,前导画面确定模块720a可以简单地访问帧存储器778,而无需对一个或更多个画面进行修改或解码。
图8是示出了可以在发送电子设备802中使用的多种组件。可以将发送电子设备802实现为本文所述的电子设备中的一个或更多个电子设备(例如,电子设备102、602、702)。
发送电子设备802包括:处理器817,控制发送电子设备802的操作。处理器817还可以被称作计算机处理单元(CPU)。存储器811向处理器817提供指令813a(例如,可执行指令)和数据815a,所述存储器811可以包括只读存储器(ROM)、随机访问存储器(RAM)或可以存储信息的任何类型的设备。存储器811的一部分还可以包括非易失性随机访问存储器(NVRAM)。存储器811可以与处理器817电子通信。
指令813b和数据815b还可以驻留在处理器817中。被加载到处理器817的指令813b和/或数据815b还可以包括来自存储器811的指令813a和/或数据815a,加载所述指令813a和/或数据815a以便通过处理器817来执行或处理。可以通过处理器817执行所述指令813b以实现本文所公开的系统和方法。
发送电子设备802可以包括一个或更多个通信接口819,用于与其它电子设备(例如,接收电子设备)进行通信。通信接口819可以基于有线通信技术、无线通信技术或二者。通信接口819的示例包括串行端口、并行端口、通用串行总线(USB)、以太网适配器、IEEE1394总线接口、小型计算机系统接口(SCSI)总线接口、红外(IR)通信端口、蓝牙无线通信适配器、符合第三代合作伙伴计划(3GPP)规范的无线收发机等。
发送电子设备802可以包括一个或更多个输出设备823以及一个或更多个输入设备821。输出设备823的示例包括扬声器、打印机等。可以包括在发送电子设备802中的一种类型的输出设备是显示设备825。使用本文所公开的配置的显示设备825可以使用任何适合的图像投影技术,例如,阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、气体等离子体、电致发光等。可以提供显示控制器827用于将存储在存储器811中的数据转换为示出在显示器825上的文本、图形和/或运动图像(视情况而定)。输入设备821的示例包括键盘、鼠标、麦克风、遥控设备、按钮、操控杆、轨迹球、触摸板、触摸屏、激光笔等。
将发送电子设备802的多种组件通过总线系统829耦接在一起,其中除了数据总线之外,所述总线系统829还可以包括电力总线、控制信号总线和状态信号总线。然而,为了清楚,图8将多种总线示出为总线系统829。图8所示的发送电子设备802是功能框图,而不是具体组件的列表。
图9是示出了可以在接收电子设备902中使用的多种组件的框图。可以将接收电子设备902实现为本文所述的电子设备中的一个或更多个电子设备(例如,电子设备102、602、702)。
接收电子设备902包括控制电子设备902的操作的处理器917。还可以将所述处理器917称作CPU。存储器911向处理器917提供指令913a(例如,可执行指令)和数据915a,所述存储器911可以包括只读存储器(ROM)、随机访问存储器(RAM)或可以存储信息的任何类型的设备。存储器911的一部分还可以包括非易失性随机访问存储器(NVRAM)。存储器911可以与处理器917电子通信。
指令913b和数据915b还可以驻留在处理器917中。被加载到处理器917的指令913b和/或数据915b还可以包括来自存储器911的指令913a和/或数据915a,加载所述指令913a和/或数据915a以便通过处理器917来执行或处理。可以通过处理器917执行指令913b以实现本文所述的系统和方法。
接收电子设备902可以包括一个或更多个通信接口919,用于与其它电子设备(例如,发送电子设备)进行通信。通信接口919可以基于有线通信技术、无线通信技术或二者。通信接口919的示例包括串行端口、并行端口、通用串行总线(USB)、以太网适配器、IEEE1394总线接口、小型计算机系统接口(SCSI)总线接口、红外(IR)通信端口、蓝牙无线通信适配器、符合第三代合作伙伴计划(3GPP)规范的无线收发机等。
接收电子设备902可以包括一个或更多个输出设备923以及一个或更多个输入设备921。输出设备923的示例包括扬声器、打印机等。可以包括在接收电子设备902中的一种类型的输出设备是显示设备925。使用本文所公开的配置的显示设备925可以使用任何适合的图像投影技术,例如,阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、气体等离子体、电致发光等。可以提供显示控制器927用于将存储在存储器911中的数据转换为示出在显示器925上的文本、图形和/或运动图像(视情况而定)。输入设备921的示例包括键盘、鼠标、麦克风、遥控设备、按钮、操控杆、轨迹球、触摸板、触摸屏、激光笔等。
将发送电子设备902的多种组件通过总线系统929耦接在一起,其中除了数据总线之外,所述总线系统929还可以包括电力总线、控制信号总线和状态信号总线。然而,为了清楚,图9将多种总线示出为总线系统929。图9所示的接收电子设备902是功能框图,而不是具体组件的列表。
图10是示出了电子设备1002的一个配置的框图,在所述电子设备中,可以实现用于标识前导画面的系统和方法。电子设备1002可以包括编码装置1031和传输装置1033。编码装置1031和传输装置1033可以配置为执行以上结合图2、图3、图6和以上其它附图所述的一个或更多个相似功能。图8示出了图10的具体装置结构的一个示例。可以实现其它多种结构,以实现图1和图6的功能中的一个或更多个功能。例如,可以通过软件来实现DSP。
图11是示出了电子设备1102的一个配置的框图,在所述电子设备中,可以实现用于标识前导画面的系统和方法。电子设备1102包括比特流1114、接收装置1135和解码装置1137。接收装置1135和解码装置1137可以配置为执行结合图2、图5、图7和以上其它附图所述的一个或更多个相似功能。以上图9示出了图11的具体装置结构的一个示例。可以实现其它多种结构,以实现图1和图7的一个或更多个功能。例如,可以通过软件来实现DSP。
图12是示出了可以实现用于标识前导画面的系统和方法的若干设备的框图。在一个示例中,示出了电子设备A 1202、电子设备B 1202b和处理设备1239。然而,应注意,可以与图1的电子设备A 102a和电子设备B 102b相似地配置结合图12的电子设备A 1202、电子设备B 1202b和处理设备1239。例如,电子设备A 1202a可以包括编码器1204和前导画面指示符模块1208。编码器1204还可以获得或接收输入画面1206。此外,电子设备A 1202a可以产生并发送与其它附图中的比特流114相似的比特流1214a。
在一个示例中,可以从电子设备A 1202a向处理设备1239传送或发送比特流1214a。处理设备可以包括前导画面确定模块1220。结合图12的前导画面确定模块1220可以执行与图1的前导画面确定模块120相似的操作,并且可以或可以不包括在解码器中。此外,处理设备可以是结合其它附图描述的电子设备的一个示例。在一个示例中,处理设备1239可以是网络节点。在一个示例中,处理设备1239可以确定是否在比特流1214a中存在任何前导画面。此外,处理设备1239可以对比特流1214a执行一个或更多个操作。处理设备1239可以对比特流1214a执行的操作的示例可以包括:丢弃前导画面、存储与比特流1214a相关联的数据或转换比特流1214a和/或向电子设备1202发送比特流1214b。
在一个示例中,处理设备1239接收比特流1214a、对比特流1214a执行操作并向电子设备B 1202发送比特流1214b。可以与图1的电子设备B 102b相似地配置结合图12所述的电子设备B 1202b。电子设备B 1202b还可以包括解码器1212。此外,解码器1212可以或可以不包括前导画面确定模块。在一个配置中,电子设备B 1202b可以对比特流1214b执行操作,产生输出,例如,解码画面1218。电子设备B 1202b还可以存储、显示、丢弃或以其他方式处理解码画面1218。
术语“计算机可读介质”指可以由计算机或处理器访问的任何可用介质。如本文所用,术语“计算机可读介质”可以表示非暂时性的且有形的计算机和/或处理器可读介质。例如而非限制性地,计算机可读或处理器可读介质可以包括:RAM、ROM、EEPROM、CD-COM或其它光学存储设备、磁盘存储设备或其它磁性存储器件、或可以用于携带或存储所需程序代码(以指令或数据结构形式)并可通过计算机或处理器访问的任何其它介质。如本文所用,磁盘和光盘包括:紧致盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘和蓝光(注册商标)盘,其中磁盘通常磁性地再现数据,而光盘用激光光学地再现数据。
应注意,本文所述方法中的一个或更多个可以实现为硬件和/或使用硬件来执行。例如,可以在芯片集、ASIC、大规模集成电路(LSI)或集成电路等中实现和/或使用芯片集、ASIC、大规模集成电路(LSI)或集成电路等来实现本文所述方法或方案中的一个或更多个。
本文所公开的每个方法包括用于实现所述方法的一个或更多个步骤或动作。所述方法步骤和/或动作可以与其它步骤和/或动作交换,和/或合并为单个步骤,而不脱离权利要求的范围。换言之,除非需要特定顺序的步骤或动作来正确操作所述的方法,否则可以修改具体步骤和/或动作的顺序和/或使用,而不脱离权利要求的范围。
应理解,权利要求不限于以上所述的特定配置和组件。可以对本文所述的系统、方法和装置的布置、操作和细节进行多种修改、变形和改变,而不脱离权利要求的范围。

Claims (12)

1.一种设备,包括:
至少一个处理器;
至少一个存储器,其包括计算机程序编码,所述至少一个存储器和所述计算机程序编码被配置为在与所述至少一个处理器一起工作的情况下导致所述设备:
接收包括多个编码画面的编码数据比特流;
基于与第一即时解码刷新(IDR)画面关联的网络访问层(NAL)单元类型来确定第一IDR画面是否具有包括在所述多个编码画面中的一个或多个后续前导画面,其中第一IDR画面出现在编码数据比特流中的随机访问点处;以及
当第一IDR画面的NAL单元类型是指示第一IDR画面具有一个或多个后续前导画面的第一值时,
基于第一IDR画面的NAL单元类型是第一值而参考第一IDR画面对所述一个或多个后续前导画面解码,以及
产生用于第一IDR画面和所述一个或多个后续前导画面的输出顺序,以使得所述一个或多个后续前导画面在输出顺序中位于第一IDR画面之前。
2.根据权利要求1所述的设备,其中所述一个或多个后续前导画面在解码顺序中位于第一随机访问画面之后并且在输出顺序中位于第一IDR画面之前。
3.根据权利要求1所述的设备,其中第一IDR画面仅包括帧内预测片(I片),其中仅使用帧内预测来对帧内预测片解码。
4.根据权利要求1所述的设备,其中所述至少一个存储器进一步包括计算机程序编码,计算机程序编码被配置为在与所述至少一个处理器一起工作的情况下导致所述设备:
当第一IDR画面的NAL单元类型是指示第一IDR画面不具有任何后续前导画面的第二值时,产生用于第一IDR画面的输出顺序,以使得第一IDR画面在输出顺序中位于任何后续画面之前,其中第二值与第一值不同。
5.根据权利要求4所述的设备,其中,当第一IDR画面的NAL单元类型是指示第一IDR画面不具有任何后续前导画面的第二值时,在没有对任何后续前导画面解码的情况下产生用于第一IDR画面的输出顺序。
6.根据权利要求1所述的设备,其中所述至少一个存储器进一步包括计算机程序编码,计算机程序编码被配置为在与所述至少一个处理器一起工作的情况下导致所述设备:
从编码数据比特流中解码第一IDR画面和与第一IDR画面关联的NAL单元类型。
7.一种方法,包括:
接收包括多个编码画面的编码数据比特流;
基于与第一即时解码刷新(IDR)画面关联的网络访问层(NAL)单元类型来确定第一IDR画面是否具有包括在所述多个编码画面中的一个或多个后续前导画面,其中第一IDR画面出现在编码数据比特流中的随机访问点处;以及
当第一IDR画面的NAL单元类型是指示第一IDR画面具有一个或多个后续前导画面的第一值时,
基于第一IDR画面的NAL单元类型是第一值而参考第一IDR画面对所述一个或多个后续前导画面解码,以及
产生用于第一IDR画面和所述一个或多个后续前导画面的输出顺序,以使得所述一个或多个后续前导画面在输出顺序中位于第一IDR画面之前。
8.根据权利要求7所述的方法,其中所述一个或多个后续前导画面在解码顺序中位于第一随机访问画面之后并且在输出顺序中位于第一IDR画面之前。
9.根据权利要求7所述的方法,其中第一IDR画面仅包括帧内预测片(I片),其中仅使用帧内预测来对帧内预测片解码。
10.根据权利要求7所述的方法,进一步包括:
当第一IDR画面的NAL单元类型是指示第一IDR画面不具有任何后续前导画面的第二值时,产生用于第一IDR画面的输出顺序,以使得第一IDR画面在输出顺序中位于任何后续画面之前,其中第二值与第一值不同。
11.根据权利要求7所述的方法,其中,当第一IDR画面的NAL单元类型是指示第一IDR画面不具有任何后续前导画面的第二值时,在没有对任何后续前导画面解码的情况下产生用于第一IDR画面的输出顺序。
12.根据权利要求7所述的方法,进一步包括:
从编码数据比特流中解码第一IDR画面和与第一IDR画面关联的NAL单元类型。
CN201810832997.5A 2012-04-13 2013-04-12 用于标识前导画面的设备和方法 Active CN108965890B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/447,126 US9351016B2 (en) 2012-04-13 2012-04-13 Devices for identifying a leading picture
US13/447126 2012-04-13
CN201380019757.9A CN104429069B (zh) 2012-04-13 2013-04-12 用于标识前导画面的设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380019757.9A Division CN104429069B (zh) 2012-04-13 2013-04-12 用于标识前导画面的设备

Publications (2)

Publication Number Publication Date
CN108965890A true CN108965890A (zh) 2018-12-07
CN108965890B CN108965890B (zh) 2021-05-14

Family

ID=49325155

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201810833494.XA Active CN108965886B (zh) 2012-04-13 2013-04-12 用于标识前导画面的设备
CN201380019757.9A Active CN104429069B (zh) 2012-04-13 2013-04-12 用于标识前导画面的设备
CN201810832997.5A Active CN108965890B (zh) 2012-04-13 2013-04-12 用于标识前导画面的设备和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201810833494.XA Active CN108965886B (zh) 2012-04-13 2013-04-12 用于标识前导画面的设备
CN201380019757.9A Active CN104429069B (zh) 2012-04-13 2013-04-12 用于标识前导画面的设备

Country Status (7)

Country Link
US (5) US9351016B2 (zh)
EP (3) EP2837189B1 (zh)
JP (3) JP2015516698A (zh)
CN (3) CN108965886B (zh)
BR (1) BR112014025292B1 (zh)
HK (1) HK1204186A1 (zh)
WO (1) WO2013153830A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US9532055B2 (en) * 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
US9979959B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Video coding with enhanced support for stream adaptation and splicing
US9516308B2 (en) 2012-04-27 2016-12-06 Qualcomm Incorporated Parameter set updates in video coding
US9736476B2 (en) * 2012-04-27 2017-08-15 Qualcomm Incorporated Full random access from clean random access pictures in video coding
WO2013187698A1 (ko) * 2012-06-12 2013-12-19 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
US9591303B2 (en) * 2012-06-28 2017-03-07 Qualcomm Incorporated Random access and signaling of long-term reference pictures in video coding
JP5885604B2 (ja) 2012-07-06 2016-03-15 株式会社Nttドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
CN104412608B (zh) * 2012-07-10 2018-03-06 索尼公司 图像解码装置、图像解码方法、图像编码装置及图像编码方法
KR102397259B1 (ko) * 2012-09-13 2022-05-12 엘지전자 주식회사 영상 부호화/복호화 방법 및 장치
US20150195574A1 (en) * 2013-11-06 2015-07-09 Arris Enterprises, Inc. Modification of picture parameter set (pps) for hevc extensions
US10178397B2 (en) * 2014-03-24 2019-01-08 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
EP3226561A1 (en) * 2016-03-31 2017-10-04 Thomson Licensing Method and apparatus for coding a video into a bitstream carrying region-based post processing parameters into an sei nesting message
BR112021008659A2 (pt) * 2018-11-07 2021-08-31 Huawei Technologies Co., Ltd. Codificador de vídeo, decodificador de vídeo e métodos correspondentes
US10999590B2 (en) 2018-12-28 2021-05-04 Tencent America LLC Method for identification of random access point and picture types
GB2585042A (en) * 2019-06-25 2020-12-30 Sony Corp Image data encoding and decoding
US11936880B2 (en) * 2019-09-27 2024-03-19 Tencent America LLC Method for signaling output subpicture layer set

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004008735A2 (en) * 2002-07-16 2004-01-22 Nokia Corporation A method for random access and gradual picture refresh in video coding
JP2006270437A (ja) * 2005-03-23 2006-10-05 Toshiba Corp ビデオエンコーダ及びこれを用いた携帯無線端末装置
CN102342127A (zh) * 2009-01-28 2012-02-01 诺基亚公司 用于视频编码和解码的方法和装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2969782B2 (ja) 1990-05-09 1999-11-02 ソニー株式会社 符号化データ編集方法及び符号化データ編集装置
US5726711A (en) * 1993-01-13 1998-03-10 Hitachi America, Ltd. Intra-coded video frame data processing methods and apparatus
KR100698106B1 (ko) * 2000-03-07 2007-03-26 엘지전자 주식회사 엠펙(mpeg)압축 비디오 환경에서 계층적 혼합형장면 변화 검출 방법
US7725593B2 (en) 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
TWI343752B (en) * 2005-09-27 2011-06-11 Qualcomm Inc Channel switch frame
JP5378227B2 (ja) * 2006-11-14 2013-12-25 クゥアルコム・インコーポレイテッド チャネルスイッチングのためのシステムと方法
JP2012018727A (ja) * 2010-07-08 2012-01-26 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US9516379B2 (en) 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
US9706227B2 (en) 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
EP2752011B1 (en) 2011-08-31 2020-05-20 Nokia Technologies Oy Multiview video coding and decoding
US9264717B2 (en) * 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US20130272619A1 (en) * 2012-04-13 2013-10-17 Sharp Laboratories Of America, Inc. Devices for identifying a leading picture
US9402082B2 (en) * 2012-04-13 2016-07-26 Sharp Kabushiki Kaisha Electronic devices for sending a message and buffering a bitstream
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US9532055B2 (en) 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
US9979959B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Video coding with enhanced support for stream adaptation and splicing
US9374583B2 (en) * 2012-09-20 2016-06-21 Qualcomm Incorporated Video coding with improved random access point picture behaviors
WO2014051410A1 (ko) * 2012-09-28 2014-04-03 삼성전자 주식회사 랜덤 액세스를 위한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004008735A2 (en) * 2002-07-16 2004-01-22 Nokia Corporation A method for random access and gradual picture refresh in video coding
US20040066854A1 (en) * 2002-07-16 2004-04-08 Hannuksela Miska M. Method for random access and gradual picture refresh in video coding
CN1669321A (zh) * 2002-07-16 2005-09-14 诺基亚有限公司 用于在视频编码中随机存取和逐步更新图像的方法
CN101232616A (zh) * 2002-07-16 2008-07-30 诺基亚有限公司 用于在视频编码中随机存取和逐步更新图像的方法
JP2006270437A (ja) * 2005-03-23 2006-10-05 Toshiba Corp ビデオエンコーダ及びこれを用いた携帯無線端末装置
CN102342127A (zh) * 2009-01-28 2012-02-01 诺基亚公司 用于视频编码和解码的方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HENDRY: "Undiscardable Leading Pictures for CRA", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *
YE-KUI WANG: "On bitstreams starting with CRA pictures", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *
YE-KUI WANG: "On Random Access", 《JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG》 *
YING CHEN: "Conforming bitstreams starting with CRA pictures", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *

Also Published As

Publication number Publication date
US9497469B2 (en) 2016-11-15
CN108965886B (zh) 2021-05-14
US20170026651A1 (en) 2017-01-26
US11076160B2 (en) 2021-07-27
US10602156B2 (en) 2020-03-24
CN104429069A (zh) 2015-03-18
CN108965890B (zh) 2021-05-14
BR112014025292A2 (zh) 2017-06-20
US20130272618A1 (en) 2013-10-17
CN108965886A (zh) 2018-12-07
EP4274231A2 (en) 2023-11-08
EP2837189A4 (en) 2015-11-11
BR112014025292B1 (pt) 2023-03-21
JP2018082448A (ja) 2018-05-24
CN104429069B (zh) 2018-09-18
US9351016B2 (en) 2016-05-24
EP4274231A3 (en) 2023-11-22
JP6761406B2 (ja) 2020-09-23
US20200195936A1 (en) 2020-06-18
EP3709654A1 (en) 2020-09-16
EP2837189B1 (en) 2020-05-27
EP3709654B1 (en) 2023-12-20
JP7027384B2 (ja) 2022-03-01
US20160241859A1 (en) 2016-08-18
WO2013153830A1 (en) 2013-10-17
US20180152712A1 (en) 2018-05-31
JP2020017993A (ja) 2020-01-30
HK1204186A1 (zh) 2015-11-06
US9986246B2 (en) 2018-05-29
JP2015516698A (ja) 2015-06-11
EP2837189A1 (en) 2015-02-18

Similar Documents

Publication Publication Date Title
CN104429069B (zh) 用于标识前导画面的设备
CN104205819B (zh) 用于视频编码的方法和装置
CN106658019B (zh) 参考帧编解码的方法与装置
CN104604236B (zh) 用于视频编码的方法和装置
TWI530195B (zh) 用於解碼多視界視頻寫碼內容之方法
KR101361896B1 (ko) 멀티-뷰 비디오 코딩 방법 및 디바이스
CN104160706B (zh) 对图像进行编码的方法和装置以及对图像比特流进行解码的方法和装置
CN105659606B (zh) 用于视频和图像编码和解码的方法、系统和介质
CN106664424A (zh) 参数集编码
JP2023143935A (ja) サブブロック区分モードのためのエンコーダ、デコーダ、および対応する方法
US20130272619A1 (en) Devices for identifying a leading picture
JP2022523441A (ja) デジタルビデオにおけるパラメータセットシグナリング
CN104937942A (zh) 用于视频序列编码的解码器、编码器和方法
CN114846789B (zh) 用于指示条带的图像分割信息的解码器及对应方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1261398

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant