CN103650502A - 用于参考画面管理的编码器、解码器及其方法 - Google Patents

用于参考画面管理的编码器、解码器及其方法 Download PDF

Info

Publication number
CN103650502A
CN103650502A CN201280034586.2A CN201280034586A CN103650502A CN 103650502 A CN103650502 A CN 103650502A CN 201280034586 A CN201280034586 A CN 201280034586A CN 103650502 A CN103650502 A CN 103650502A
Authority
CN
China
Prior art keywords
picture
layer
information
current picture
network node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280034586.2A
Other languages
English (en)
Inventor
理卡尔德·肖伯格
乔纳坦·萨缪尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN103650502A publication Critical patent/CN103650502A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的实施例涉及与视频编码和解码有关的参考画面管理，并且特别涉及参考画面的信号通知。提供了一种由编码器执行的方法，该编码器对由多个画面构成的视频流的表示进行编码。每个画面属于一个层。在该方法中，判断是否有属于与当前画面的层相同的层或更低的层的任何画面正在使用当前画面作为解码处理中的参考画面，以及向解码器发送指示当前画面是否被用作属于相同层或更低层中的任何画面的参考画面的信息。

Description

用于参考画面管理的编码器、解码器及其方法
技术领域
本发明一般地涉及与视频编码和解码有关的参考画面管理，并且特别涉及参考画面的信号通知。
背景技术
H.264，也称为移动画面专家组4(MPEG-4)高级视频编码(AVC)，是最新的视频编码标准。其包括利用了时间和空间预测的、基于块的混合视频编码方案。
高效率视频编码(HEVC)是联合协作团队-视频编码(JCT-VC)当前正在开发的新的视频编码标准。JCT-VC是在MPEG与国际电联电信标准部门(ITU-T)之间的联合计划。当前，工作草案(WD)被定义为包括大的宏块(最大编码单元，缩写为LCU)和众多其他新工具，并且比H.264/AVC更加高效。
在视频传输中，接收机的解码器接收表示画面的比特流，即压缩数据的视频数据分组。压缩数据包括净荷和控制信息。控制信息例如包括关于在参考画面缓冲器中应该存储哪些参考画面的信息。该信息是关于先前接收的画面的相对参考。此外，解码器解码接收的比特流，并且显示解码出的画面。另外，根据控制信息，将解码出的画面存储在参考画面缓冲器中。解码器在解码后续画面时使用这些存储的参考画面。
图1中示出了在如按照H.264/AVC中设计的在接收机处执行的方案的简化流程图。在对画面进行实际解码之前，如果序列参数集(SPS)语法元素gaps_in_frame_num_value_al lowed_flag(允许的帧号值中的间隙的标记)为1，则解析100图像条报头中的frame_num(帧号)，以检测110可能存在的frame_num中的间隙。如果检测到frame_num中的间隙，则创建120，130“不存在的”帧，并将其插入参考画面缓冲器(也称为解码画面缓冲器(DPB))。然后，应用滑动窗处理140和颠簸处理150。
无论是否存在frame_num中的间隙，下一步骤是对当前画面的实际解码160。如果画面的图像条报头包含存储器管理控制操作(MMCO)命令170，则在对画面进行解码之后应用180自适应存储器控制处理，以获得关于要在参考画面缓冲器中存储的画面的相对参考，否则应用滑动窗处理190以获得关于要在参考画面缓冲器中存储的画面的相对参考。作为最后一步，应用“颠簸”处理200，以按正确顺序递送画面。
在H.264/AVC、SVC和HEVC中，所有编码数据被放在网络提取层(NAL)单元中。NAL单元包括编码数据和NAL单元报头。在NAL单元报头中，存在称为nal_ref_idc的语法元素，该语法元素指定NAL单元中包含的画面是否是参考画面。该信息被用在对当前画面的解码处理中。具有nal_ref_idc等于0的画面不能在对后续画面的画面间预测期间用作参考，因此它们被称为非参考画面。Nal_ref_idc在其他方面也是有用的；网络节点或解码器可以丢弃具有nal_ref_idc=0的所有NAL而不转发它们或对它们进行解码，并且所得的比特流仍将是可解码的，原因是没有画面参考该非参考画面。
在SVC和HEVC中，在NAL单元报头中存在temporal_id语法元素，其具有与当前画面的时间层有关的信息。在HEVC和SVC中定义了：如果tIdA小于tIdB，则具有temporal_id=tIdA的画面不能参考具有temporal_id=tIdB的画面。因此，处于较高时间层的画面不能够用于更低时间层中的预测，但是较低时间层中的画面能够用于更高时间层中的预测。有时，在一些或所有画面中，取决于编码结构，一个时间层中的画面被用于相同时间层中的其他画面的预测。除最高时间层之外的任何其他时间层中的画面完全不用于预测的实际使用情形即使存在也很罕见。也即，可以假设，低于最高时间层的时间层中的所有画面将被用于相同时间层或更高时间层中的至少一个画面的预测。
针对任何选定的T，通过移除属于高于时间层T的层的所有画面，能够根据HEVC或SVC比特流创建子流。例如，如果比特流具有四个时间层{0，1，2，3}，则HEVC或SVC解码器完全能够解码已经移除了时间层2和3的比特流。
发明内容
现有解决方案的问题在于：没有可能用一种指示符标记画面或NAL，在已经移除最高时间层的情况下该指示符表明在子流中其是否是参考画面。
画面在其被用于任何画面(包括更高层中的画面)的预测的情况下必须被标记为参考画面。对于AVC、SVC和HEVC，这意味着：对于用作参考画面的画面，NAL单元报头中的nal_ref_idc必须不等于0。对于非参考画面，nal_ref_idc等于0。因此，当更高层被移除，并且画面不再用于预测时，可通过将nal_ref_idc的值改变为0来将画面“重新标记”为非参考画面，其中假设nal_ref_idc的值不影响解码处理。如果nal_ref_idc对解码处理具有影响，例如在H.264和AVC的情形下，那么网络节点不可能改变nal_ref_idc的值而不引入解码错误。如上面已经提到的，对于AVC，nal_ref_idc==0意味着画面是非参考画面。这意味着解码画面缓冲器没有被更新，而是保持当前状态。如果解码器通过将nal_rer_idc设置为1将非参考画面转换成参考画面，则在编码器和解码器之间关于参考画面将存在失配。因此，重新标记是改变原始比特流的一部分的处理，即在许多场景下不可行甚或不可能的处理。
此外，对于解码器或网络节点而言下述操作并非微不足道：当已经移除更高层时，推断是否可以通过将nal_ref_idc设置为0来将子流中的具有nal_ref_idc≠0的画面标记为非参考。编码器知道这一点，因为其决定如何处理参考画面。因此，解码器在对画面进行解码之前不知道一个层是否能被安全地移除。解码器必须检查将来的画面，以知道一个画面是否能被安全地移除。相同的情况也适用于其他网络节点，对于最外层，网络节点根据nal_ref_idc的值知道画面是否是非参考画面。但是，如果该层被网络节点自身或者被该网络节点之前的实体移除，则网络节点将不再知道。尽管网络执行更深的分组检查，并且保持跟踪缓冲器状态，但是直到处理将来的帧时，网络才能肯定一个画面是否被用于参考。
作为示例，解码器或网络节点难以在流的中间处推断是否能够从比特流中安全地移除最高的两层。如果对应的NAL单元报头的nal_ref_idc的值等于0，则可以安全地移除最高层。但是次高层通常被用于预测最高层，并且因此具有不等于0的nal_ref_idc。此外，解码器不会知道次高层画面是否将被相同层的将来的画面参考。如果它是用于相同层的将来的画面的参考画面，则该画面不能被移除而不引入将来的解码错误。为了网络节点判断画面A是否用于参考，网络节点必须解码来自按解码顺序在A之后的画面的信息，以验证该画面A不用于参考。这包括保持跟踪对将来画面的画面标记，并且将引起节点中的等待时间。
因此，实施例的目的在于：解决上述问题中的至少一个。
根据本发明实施例的第一方面，提供了一种由编码器执行的方法，该编码器对由多个画面构成的视频流的表示进行编码。每个画面属于一个层。在该方法中，判断是否有属于与当前画面的层相同的层或更低的层的任何画面正在使用当前画面作为解码处理中的参考画面，以及向解码器发送指示当前画面是否没被用作属于相同层或更低层的任何画面的参考画面的信息。
根据本发明实施例的第二方面，提供了一种网络节点执行的方法，该网络节点接收由多个画面构成的视频流的编码表示。每个画面属于一个层。在该方法中，从编码器接收指示当前画面是否没被用作属于相同层或更低层的任何画面的参考画面的信息。
根据本发明实施例的第三方面，提供了一种用于对由多个画面构成的视频流的表示进行编码的编码器。每个画面属于一个层。该编码器包括处理器，该处理器用于判断是否有属于与当前画面的层相同的层或更低的层的任何画面没有使用当前画面作为解码处理中的参考画面。该编码器还包括发射机，该发射机用于向解码器发送指示当前画面是否没被用作相同层或更低层中的任何画面的参考画面的信息。
根据本发明实施例的第四方面，提供了一种用于接收由多个画面构成的视频流的编码表示的网络节点。每个画面属于一个层。该网络节点包括接收机，该接收机用于从编码器接收指示当前画面是否没被用作相同层或更低层中的任何画面的参考画面的信息。
实施例的优点在于：于是，解码器能够选择不解码该画面，以便例如降低计算负荷，并且仍然知道其能够解码相同层中的其他画面。因此，解码器从编码器接收在已经移除层时画面是否是非参考画面的信息。这意味着解码器能够容易地判断不解码将不会被还未移除的任何画面参考的画面。
具体实施方式
此处描述的实施例是在HEVC的上下文中说明的，在该上下文中，层是由标注为temporal_id的时间层标识符来标识的。然而，本领域技术人员理解，实施例也适用于使用分层结构的其他视频编码标准。在该描述中，层是通过时间层来例示的，但是实施例还可以适用于其他分层视频编码方案及其组合，诸如但不限于空间伸缩性、SNR伸缩性、比特深度伸缩性和色度格式伸缩性，其中画面与层相关联。层被排序并且具有下述特性：在每个包含N个最低层的子流总是可解码的意义上而言，每个层不知道属于更高层的画面。
如图3的流程图中所示，根据一实施例，提供了在用于对由多个画面构成的视频流的表示进行编码的编码器中执行的方法，其中每个画面属于一个层。
判断301是否有属于与当前画面的层相同的层或更低的层的任何画面正在使用当前画面作为解码处理中的参考画面，以及向解码器发送302指示当前画面是否没被用作属于相同层或更低层的任何画面的参考画面的信息。
那意味着，编码器被配置为：针对每个画面，发信号通知：在当移除该画面所属的层之上的所有层时能够创建的子流中，该画面是否是非参考画面。
也即，针对具有通过时间层标识tIdA例示的层标识的任何画面A，编码器被配置为发信号通知：在移除具有高于tIdA的时间层标识的所有画面的情况下，A是否将是参考画面。换言之，针对具有时间层标识tIdA的任何画面A，编码器被配置为发信号通知：A是否没被用作具有使得tIdB<=tIdA的时间层标识tIdB的任何其他画面B的参考。然而，可以存在这样的规则：如果任何画面C的时间层高于画面D的时间层，则C不能是D的参考画面。在该情况下，针对具有时间层标识tldA的任何画面A，编码器被配置为发信号通知：A是否没被用作具有使得tldB=tldA的时间层标识tldB的任何其他画面B的参考。
因此，如果应用了该规则，则判断301是否有属于与当前画面的层相同的层的任何画面正在使用当前画面作为解码处理中的参考画面，以及向解码器发送302指示当前画面是否没被用作属于相同层的任何画面的参考画面的信息。
在本发明的一个实施例中，NAL单元报头中的语法元素nal_ref_idc的用途被改变，使得其不再指示在该NAL中编码的画面是无条件地没被用于预测。相反，其被用于指示该画面没被用于具有相同时间标识(也称为temporal_id)或者更小时问标识的画面的预测，这暗示了发送给解码器的信息指示当前画面是否没被用作相同层或更低层中的任何画面的参考画面。然而，如果存在规定禁止画面使用来自更高层的参考画面的规则，则它被用于指示该画面没被用于相同层中的(具有相同的temporal_id的)画面的预测。
在备选实施例中，语法元素nal_ref_idc被定义为使得其值之一指示在该NAL中编码的画面没被用于具有相同或更小时间标识的画面的预测，其暗示了发送给解码器的信息指示当前画面是否没被用作相同层或更低层中的任何画面的参考画面。
然而，如前所述，可以存在规定禁止画面使用来自更高层的参考画面的规则。在该情况下，nal_ref_idc被定义为使得其值之一指示在该NAL中编码的画面没被用于相同层中的画面(例如，具有相同temporal_id的画面)的预测。
Nal_ref_idc的另一值可被用于发信号通知：编码画面是非参考画面。Nal_ref_idc的其他值可以发信号通知：编码画面是参考画面，并且不同的nal_ref_idc值可以用于指示NAL优先级的顺序。
与参考画面的传统定义一致，nal_ref_idc=0可以表明：该画面没被用于具有相同temporal_id的任何其他画面的预测。nal_ref_idc=1可以表明该画面可以用于具有相同temporal_id的画面的预测。
在本发明的一个实施例中，解码器操作在通过称为temporal_id T的时间层T例示的特定的层，这意味着具有小于或等于T的temporal_id的画面被解码，而具有高于T的temporal_id的画面根本不被解码。具有更高temporal_id的画面不进入解码器，并且从解码器的角度看，这些画面不存在。在这种处理中，根据实施例，关于一个画面没被用于相同时间层中的其他画面的预测的信息的信号通知使得在画面属于最高时间层的情况下能够单独丢弃该画面。而且，这产生了将这种画面标记为未用于参考的规范处理。
应该注意，本发明的实施例不限于移除画面A之上的所有层(例如时间层)以创建子流的情况。例如，在解码资源管理和并行化方面，在包含来自原始流的具有高于A的temporal_id的temporal_id的一些或全部画面在内的子流中，关于A是否被用作具有相同temporal_id的画面的参考的信息可能是有用的。
在本发明的备选实施例中，另一语法元素被添加到NAL单元报头，使得不需要改变nal_ref_idc的定义。因此，该添加的语法元素携带发送给解码器的信息，其中该信息指示当前画面是否被用作相同层或更低层中的任何画面的参考画面。该添加的语法元素可在改变nal_rer_idc的值的处理中使用，备选地，该添加的语法元素可被网络节点或解码器直接使用。
在本发明的备选实施例中，所述信息的信号通知指示当前画面是否被用作相同层或更低层中的任何画面的参考画面。这不是在NAL单元报头中完成的，而是可以在任何合适的数据结构中完成，所述合适的数据结构包括但不限于图像条报头、图像条参数集、画面报头或者画面参数集。
应该注意，nal_ref_idc具有与nal_ref_flag相同的目的，涉及对画面是否用作参考画面的指示。nal_ref_flag用在HEVC中，而nal_ref_idc用在H.264中。相应地，nal_ref_flag等于1可以指定NAL单元的内容包含序列参数集、画面参数集、自适应参数集、或者可被包括在相同时间层的画面的参考画面集中的画面的图像条。此外，对于包含图像条的NAL单元，nal_ref_flag等于0可以指示：该图像条是没被包括在相同时间层的任何其他画面的参考画面集中的画面的一部分。
编码器执行的编码表示被发送给网络节点，该网络节点可以是网络中的中间节点或者用于解码该编码表示的解码器。因此，还提供了如图4所示的由网络节点执行的方法，该网络节点接收由多个画面构成的视频流的编码表示，其中每个画面属于一个层。如上面提到的，网络节点例如可以是如移动设备、电视机或网络中的网络节点之类的设备的解码器。网络节点不一定需要解码整个画面，仅要求网络节点能够解码例如NAL单元报头和更高层语法中的解码控制信息。网络节点不一定需要能够解码画面的像素值。
在解码器中，从编码器接收401指示当前画面是否没被用作属于相同层或更低层的任何画面的参考画面的信息，以及如果当前画面没被用作属于相同层或更低层的任何画面的参考画面，那么如果当前画面属于最高层，则可以单独丢弃该画面。此外，当前画面可被标记402为未用于参考。
根据实施例，从编码器接收的信息指示当前画面是否没被用作属于相同层的任何画面的参考画面，以及如果当前画面没被用作属于相同层的任何画面的参考画面，那么如果当前画面属于最高层，则可以单独丢弃该当前画面。此外，当前画面可被标记为未用于参考。
本发明的实施例的优点在于：有可能在不需要改变原始比特流中的值的情况下，在比特流中指示在通过从原始比特流中移除时间层而创建的子流中哪些画面不会被用于参考。这意味着网络节点能够容易地确定层N中的画面P是否可从比特流中移除，其中N是任何层，并且将在高于N的层中的按照解码器顺序在画面P之后的所有画面都移除。
在一个实施例中，在网络节点中使用来自编码器的信息来判断是否能够在不引入解码错误的情况下从比特流中移除画面。网络节点被配置为：判断其希望转发哪些层，以及因此希望从流中移除哪些层。网络节点解析接收到的信息和分组的temporal_id，以确定是否可能移除该画面。
因此，如果接收到的信息指示当前画面没被用作相同层或更低层中的任何画面的参考画面，并且当前画面属于所接收的最高层，则可以丢弃403当前画面。如果网络节点是中间网络节点，则这暗示了接收到的信息不会被转发给解码器。
编码器还可以被配置为选择使用时间分层编码对画面的序列进行编码。为了实现简化的网络自适应，选择适合于在网络节点中移除层的形式的自适应的编码结构。因此编码器可被配置为：针对每个画面P，指示画面P是被用于将来画面的参考，还是没被用于相同层的将来画面。
在本发明的备选实施例中，视频编解码器是多视图视频编解码器并且层标识是view_id(视图标识)。这暗示了用view_id替代上面描述中的temporal_id。相应地，在该备选中，层是视图。
如上面提到的，关于当前画面是否被用作相同层或更低层中的任何画面的参考画面的信息660是在语法元素650中发信号通知的，如图6和7中所示，并且该语法元素650由编码器进行编码，并且由解码器进行解码。如上面提到的，该语法元素650可在NAL报头670中携带，并且该语法元素在一些实施例中通过nal_ref_idc=0进行例示。图5示意性地说明了画面的编码表示60的示例。该编码表示60包括表示图像条中的像素块的编码像素数据的视频净荷数据。该编码表示60还包括携带控制信息的图像条报头65。该图像条报头65与视频净荷和网络提取层(NAL)报头64一起形成作为从编码器输出的实体的NAL单元。为此，可以添加诸如实时传输协议(RTP)报头63、用户数据报协议(UDP)报头62和互联网协议(IP)报头61之类的NAL单元附加报头，以形成可从编码器向解码器传输的数据分组。
因此，提供了如图6所示的用于对由多个画面构成的视频流的表示进行编码的编码器600，其中每个画面与一个层关联。编码器600包括：处理器620，用于判断是否有具有与当前画面的层相同的层或更低的层的任何画面没有在使用当前画面作为解码处理中的参考画面；以及发射机630，用于向解码器发送指示当前画面是否没被用作相同层或更低层的任何画面的参考画面的信息660。此外，编码器600还可以包括：接收机，用于接收610要被编码的画面；以及，存储器640，用于存储编码处理中所需的信息(诸如与参考画面处理相关联的信息)。
根据一实施例，存在规定禁止画面使用来自更高层的参考画面的规则，并且处理器620被配置为：判断是否不存在具有与当前画面的层相同的层的画面正在使用当前画面作为解码过程中的参考画面。此外，发射机630被配置为：向解码器700或者另一网络节点发送指示当前画面是否没被用作相同层中的任何画面的参考画面的信息660。
如此处所说明的，编码器可以是HEVC编码器或者使用分层结构的任何其他视频编码器。
因此，提供了接收由多个画面构成的视频流的编码表示的网络节点700，其中每个画面与一个层关联。网络节点700包括：接收机710，用于从编码器接收指示当前画面是否被用作在相同层或更低层中的任何画面的参考画面的信息660；以及处理器720，被配置为，如果当前画面没被用作在相同层或更低层中的任何画面的参考画面，则将当前画面标记为未用于参考。此外，网络节点700还可以包括：发射机，用于向显示器发送解码出的画面；以及存储器，用于存储解码处理中所需的信息(诸如与参考画面处理相关联的信息)。
在一个实施例中，处理器720还被配置为：如果接收到的信息指示当前画面没被用作相同层或更低层中的任何画面的参考画面，则丢弃当前画面。
根据一实施例，从编码器600接收到的信息涉及当前画面是否被用作相同层中的任何画面的参考画面，并且如果当前画面没被用作相同层中的任何画面的参考画面，则处理器720可被配置为：将当前画面标记为未用于参考。而且，在该情形下，处理器还可以被配置为：如果接收到的信息指示当前画面没被用作相同层中的任何画面的参考画面，则丢弃当前画面。
应该注意，如果网络节点是中间网络节点，则在接收到的信息指示当前画面没被用作相同层中的任何画面的参考画面的情况下，网络节点优选地丢弃当前画面。如果网络节点是显示视频流的当前画面的设备(任何媒体设备)的解码器，则网络节点还可以标记当前画面。网络节点可以是解码器和/或网络节点，该解码器和/或网络节点可以服从HEVC。

Claims (36)

1.一种由编码器执行的方法，所述编码器对由多个画面构成的视频流的表示进行编码，其中每个画面属于一个层，所述方法包括：
-判断(301)是否有属于与当前画面的层相同的层或更低的层的任何画面正在使用当前画面作为解码处理中的参考画面；以及
-向解码器发送(302)指示当前画面是否没被用作属于相同层或更低层中的任何画面的参考画面的信息。
2.根据权利要求1所述的方法，包括：
-判断(301)是否有属于与当前画面的层相同的层的任何画面正在使用当前画面作为解码处理中的参考画面；以及
-向解码器发送(302)指示当前画面是否没被用作属于相同层中的任何画面的参考画面的信息。
3.根据权利要求1或2中任一项所述的方法，其中所述信息是在NAL报头中发送的。
4.根据权利要求3所述的方法，其中所述信息是在NAL报头的语法元素中发送的。
5.根据权利要求4所述的方法，其中所述信息是在NAL报头的nal_ref_idc中发送的。
6.根据权利要求1或2所述的方法，其中所述信息是在图像条报头、图像条参数集、画面报头或画面参数集中的任一个中发送的。
7.根据权利要求1到6中任一项所述的方法，其中所述层是时间层、空间层或视图层中的任一个。
8.一种由网络节点执行的方法，所述网络节点接收由多个画面构成的视频流的编码表示，其中每个画面属于一个层，所述方法包括：
-从编码器接收(401)指示当前画面是否没被用作属于相同层或更低层中的任何画面的参考画面的信息。
9.根据权利要求8所述的方法，其中如果当前画面没被用作属于相同层或更低层中的任何画面的参考画面，则
-将当前画面标记(402)为未用于参考。
10.根据权利要求8或9中任一项所述的方法，包括另一步骤：
-如果接收到的信息指示当前画面没被用作相同层或更低层中的任何画面的参考画面，并且属于最高层，则丢弃(403)当前画面。
11.根据权利要求9所述的方法，其中从编码器接收到的信息指示当前画面是否没被用作相同层中的任何画面的参考画面，以及如果当前画面没被用作相同层中的任何画面的参考画面，则
-将当前画面标记(402)为未用于参考。
12.根据权利要求11所述的方法，包括另一步骤：
-如果接收到的信息指示当前画面没被用作相同层中的任何画面的参考画面，并且属于最高层，则丢弃(403)当前画面。
13.根据权利要求8到12中任一项所述的方法，其中所述信息是在NAL报头中接收的。
14.根据权利要求13所述的方法，其中所述信息是在NAL报头中的语法元素中接收的。
15.根据权利要求14所述的方法，其中所述信息是在NAL报头中的nal_ref_f1ag中接收的。
16.根据权利要求8到13中任一项所述的方法，其中所述信息是在图像条报头、图像条参数集、画面报头或画面参数集中的任一个中接收的。
17.根据权利要求8到16中任一项所述的方法，其中所述层是时间层、空间层或视图层中的任一个。
18.一种编码器(600)，用于对由多个画面构成的视频流的表示进行编码，其中每个画面属于一个层，所述编码器(600)包括：
处理器(620)，用于判断是否有具有与当前画面的层相同的层或更低的层的任何画面没有使用当前画面作为解码处理中的参考画面；以及
发射机(630)，用于向解码器发送指示当前画面是否没被用作相同层或更低层中的任何画面的参考画面的信息(660)。
19.根据权利要求18所述的编码器(600)，其中所述处理器(620)被配置为：判断是否有具有与当前画面的层相同的层的任何画面没有使用当前画面作为解码处理中的参考画面；以及
所述发射机(630)被配置为：向解码器发送指示当前画面是否没被用作相同层中的任何画面的参考画面的信息(660)。
20.根据权利要求18或19中任一项所述的编码器(600)，其中所述发射机(630)被配置为：在NAL报头(670)中发送所述信息(660)。
21.根据权利要求20所述的编码器(600)，其中所述发射机(630)被配置为：在NAL报头(670)的语法元素中发送所述信息(660)。
22.根据权利要求21所述的编码器(600)，其中所述发射机(630)被配置为：在NAL报头(670)的nal_ref_idc中发送所述信息。
23.根据权利要求18或19所述的编码器(600)，其中所述发射机(630)被配置为：在图像条报头、图像条参数集、画面报头或画面参数集中的任一个中发送所述信息。
24.根据权利要求18到23中任一项所述的编码器(600)，其中所述编码器是高效视频编码“HEVC”编码器。
25.一种接收由多个画面构成的视频流的编码表示的网络节点(700)，其中每个画面属于一个层，所述网络节点(700)包括：
接收机(710)，用于从编码器接收指示当前画面是否没被用作相同层或更低层中的任何画面的参考画面的信息(660)。
26.根据权利要求25所述的网络节点(700)，还包括：
处理器(720)，被配置为：如果当前画面没被用作相同层或更低层中的任何画面的参考画面，则将当前画面标记为未用于参考。
27.根据权利要求25到26中任一项所述的网络节点(700)，其中所述处理器(720)还被配置为：如果接收到的信息指示当前画面没被用作相同层或更低层中的任何画面的参考画面，则丢弃当前画面。
28.根据权利要求25所述的网络节点(700)，其中从编码器接收到的信息(660)指示当前画面是否没被用作相同层中的任何画面的参考画面，以及所述处理器(720)被配置为：如果当前画面没被用作相同层中的任何画面的参考画面，则将当前画面标记为未用于参考。
29.根据权利要求25或28所述的网络节点(700)，其中所述处理器还被配置为：如果接收到的信息指示当前画面没被用作相同层中的任何画面的参考画面，则丢弃当前画面。
30.根据权利要求25到29中任一项所述的网络节点(700)，其中所述信息(660)是在NAL报头(670)中接收的。
31.根据权利要求30所述的网络节点(700)，其中所述信息(660)是在NAL报头(670)的语法元素中接收的。
32.根据权利要求31所述的网络节点(700)，其中所述信息(660)是在NAL报头(670)的nal_ref_flag中接收的。
33.根据权利要求25到29中任一项所述的网络节点(700)，其中所述信息(660)是在图像条报头、图像条参数集、画面报头或画面参数集中的任一个中接收的。
34.根据权利要求25到33中任一项所述的网络节点(700)，其中所述网络节点是设备中的解码器。
35.根据权利要求24到28中任一项所述的网络节点(700)，其中所述网络节点是中间网络节点。
36.根据权利要求24到33中任一项所述的网络节点(700)，其中所述网络节点服从高效视频编码“HEVC”。
CN201280034586.2A 2011-07-13 2012-06-26 用于参考画面管理的编码器、解码器及其方法 Pending CN103650502A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161507388P 2011-07-13 2011-07-13
US61/507,388 2011-07-13
PCT/SE2012/050713 WO2013009237A1 (en) 2011-07-13 2012-06-26 Encoder, decoder and methods thereof for reference picture management

Publications (1)

Publication Number Publication Date
CN103650502A true CN103650502A (zh) 2014-03-19

Family

ID=46548793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280034586.2A Pending CN103650502A (zh) 2011-07-13 2012-06-26 用于参考画面管理的编码器、解码器及其方法

Country Status (5)

Country Link
US (1) US20130114743A1 (zh)
EP (1) EP2732627A1 (zh)
CN (1) CN103650502A (zh)
RU (1) RU2014105292A (zh)
WO (1) WO2013009237A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464886A (zh) * 2014-06-18 2017-02-22 瑞典爱立信有限公司 视频中的画面的鲁棒编码和解码

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
CN107566839B (zh) 2012-06-25 2020-06-26 华为技术有限公司 对图片进行解码、编码的电子设备和方法
CA2909566C (en) * 2013-04-17 2018-07-03 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
JP6365924B2 (ja) * 2013-05-09 2018-08-01 サン パテント トラスト 画像復号方法及び画像復号装置
US20150195564A1 (en) * 2014-01-03 2015-07-09 Qualcomm Incorporated Method for coding a reference picture set (rps) in multi-layer coding
US9654794B2 (en) 2014-01-03 2017-05-16 Qualcomm Incorporated Methods for coding an inter-layer reference picture set (RPS) and coding end of bitstream (EOB) network access layer (NAL) units in multi-layer coding
CN117560509A (zh) * 2019-03-04 2024-02-13 北京字节跳动网络技术有限公司 视频处理中滤波信息的两级信令

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008127536A3 (en) * 2007-04-12 2008-12-18 Thomson Licensing Methods and apparatus for video usability information (vui) for scalable video coding (svc)
CN101507209A (zh) * 2005-09-07 2009-08-12 维德约股份有限公司 用于高可靠性基层干道的系统和方法
CN101558651A (zh) * 2006-10-16 2009-10-14 诺基亚公司 可伸缩视频编码中的可丢弃较低层自适应
EP2174502A2 (en) * 2007-06-26 2010-04-14 Nokia Corporation System and method for indicating temporal layer switching points

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020196B2 (en) * 2000-03-13 2006-03-28 Sony Corporation Content supplying apparatus and method, and recording medium
US7512180B2 (en) * 2003-06-25 2009-03-31 Microsoft Corporation Hierarchical data compression system and method for coding video data
JP2005260912A (ja) * 2004-02-10 2005-09-22 Matsushita Electric Ind Co Ltd 映像通信装置および映像通信方法
US9049449B2 (en) * 2005-04-13 2015-06-02 Nokia Corporation Coding of frame number in scalable video coding
KR20060122663A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 영상신호의 엔코딩 및 디코딩에서의 픽처 정보를 전송하고이를 이용하는 방법
KR100891663B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
WO2007080223A1 (en) * 2006-01-10 2007-07-19 Nokia Corporation Buffering of decoded reference pictures
US8693549B2 (en) * 2006-01-16 2014-04-08 Electronics And Telecommunications Research Institute Method and apparatus for selective inter-layer prediction on macroblock basis
US20070230567A1 (en) * 2006-03-28 2007-10-04 Nokia Corporation Slice groups and data partitioning in scalable video coding
ES2702704T3 (es) * 2006-10-16 2019-03-05 Nokia Technologies Oy Sistema y procedimiento para implementar una administración eficiente de memoria intermedia decodificada en codificación de video de vistas múltiples
KR20090004660A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
US20090187960A1 (en) * 2008-01-17 2009-07-23 Joon Hui Lee IPTV receiving system and data processing method
JP4935746B2 (ja) * 2008-04-07 2012-05-23 富士通株式会社 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法
EP2152009A1 (en) * 2008-08-06 2010-02-10 Thomson Licensing Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore
US9081733B2 (en) * 2009-06-24 2015-07-14 Qualcomm Incorporated 16-point transform for media data coding
US9118898B2 (en) * 2009-06-24 2015-08-25 Qualcomm Incorporated 8-point transform for media data coding
US20120002726A1 (en) * 2010-06-30 2012-01-05 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for scalable video coding
US9124757B2 (en) * 2010-10-04 2015-09-01 Blue Jeans Networks, Inc. Systems and methods for error resilient scheme for low latency H.264 video coding
US8873627B2 (en) * 2010-12-07 2014-10-28 Mediatek Inc Method and apparatus of video coding using picture structure with low-delay hierarchical B group
US10034009B2 (en) * 2011-01-14 2018-07-24 Vidyo, Inc. High layer syntax for temporal scalability

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101507209A (zh) * 2005-09-07 2009-08-12 维德约股份有限公司 用于高可靠性基层干道的系统和方法
CN101558651A (zh) * 2006-10-16 2009-10-14 诺基亚公司 可伸缩视频编码中的可丢弃较低层自适应
WO2008127536A3 (en) * 2007-04-12 2008-12-18 Thomson Licensing Methods and apparatus for video usability information (vui) for scalable video coding (svc)
EP2174502A2 (en) * 2007-06-26 2010-04-14 Nokia Corporation System and method for indicating temporal layer switching points

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAE-CHUL CHOI等: "Signal the dropping of reference slice for inter prediction after extracting the discardable layers", 《JOINT VIDEO TEAM(JVT)OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6》 *
HAE-CHUL CHOI等: "Signaling the dropping of reference slice for inter prediction after extracting the discardable layers", 《JOINT VIDEO TEAM(JVT)OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464886A (zh) * 2014-06-18 2017-02-22 瑞典爱立信有限公司 视频中的画面的鲁棒编码和解码
CN106464886B (zh) * 2014-06-18 2021-03-30 瑞典爱立信有限公司 视频中的画面的鲁棒编码和解码

Also Published As

Publication number Publication date
US20130114743A1 (en) 2013-05-09
RU2014105292A (ru) 2015-08-20
EP2732627A1 (en) 2014-05-21
WO2013009237A1 (en) 2013-01-17

Similar Documents

Publication Publication Date Title
CN103650502A (zh) 用于参考画面管理的编码器、解码器及其方法
KR102058759B1 (ko) 디코딩된 픽쳐 버퍼 및 참조 픽쳐 목록들에 관한 상태 정보의 시그널링 기법
EP2285122B1 (en) A method and device for reconstructing a sequence of video data after transmission over a network
CN104272745B (zh) 具有对流调适及拼接的增强支持的视频译码
JP5947405B2 (ja) ビデオ符号化方法および装置
AU2013210955B2 (en) Method for video coding and an apparatus, a computer-program product, a system, and a module for the same
US11356667B2 (en) Methods providing encoding and/or decoding of video using a syntax indicator and picture header
JP5993453B2 (ja) クリーンランダムアクセス画像に最下レイヤ識別情報を割り当てるための符号器およびその方法
US8982183B2 (en) Method and apparatus for processing a multiview video signal
CN103797797A (zh) 参考画面信号通知
CN104303503A (zh) 图像信息解码方法、图像解码方法和使用所述方法的装置
US10477239B2 (en) Decoder and encoder and methods for coding of a video sequence
US20100061452A1 (en) Method and apparatus for video error concealment using high level syntax reference views in multi-view coded video
CN101523920A (zh) 在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法
CN107439008A (zh) 减轻数字视频的互操作性情景中的损失
CN101578873B (zh) 一种解码多视图视频内容的装置和方法
EP3611923B1 (en) Method for processing video with temporal layers
US12022084B2 (en) Video coding layer up-switching indication
US20140233653A1 (en) Decoder and encoder for picture outputting and methods thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140319

WD01 Invention patent application deemed withdrawn after publication