CN101523920A - 在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法 - Google Patents

在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法 Download PDF

Info

Publication number
CN101523920A
CN101523920A CNA2007800382324A CN200780038232A CN101523920A CN 101523920 A CN101523920 A CN 101523920A CN A2007800382324 A CNA2007800382324 A CN A2007800382324A CN 200780038232 A CN200780038232 A CN 200780038232A CN 101523920 A CN101523920 A CN 101523920A
Authority
CN
China
Prior art keywords
viewpoint
picture
information
reference picture
nal unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800382324A
Other languages
English (en)
Other versions
CN101523920B (zh
Inventor
普尔温·比贝哈斯·潘迪特
苏叶平
尹鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39272136&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101523920(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101523920A publication Critical patent/CN101523920A/zh
Application granted granted Critical
Publication of CN101523920B publication Critical patent/CN101523920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种存储器管理技术，用于对与多视点编码的视频画面系统相关联的参考画面进行存储的存储器进行存储器管理。基于与即时刷新解码画面的编码的画面信息一起接收的信息(620)，确定(625)删除与特定视点相关联的参考画面，其中要从存储器中删除(630)这样的画面。

Description

在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法
相关申请的交叉引用
本申请要求于2006年10月16日提交的序列号为No.60/851,953的美国临时申请的优先权，其全部公开一并在此作为参考。
技术领域
本发明涉及运动画面领域，尤其是用于对运动画面进行编码的参考画面的存储问题。
背景技术
许多帧间编码系统采用参考画面，使用这样的参考画面有助于减小编码比特流的大小。这种类型的结果是编码效率比单独使用帧内编码技术的编码效率要高。因而许多编码标准结合了帧内和帧间编码技术以对来自一系列运动图像的比特流进行编码。如现有技术已知的，使用不同类型的参考画面用于编码标准，如仅通过使用画面自身内的元素来编码的“I”画面(帧内)、通过使用来自画面自身内的元素和/或来自两个先前编码的参考画面的元素来编码的“B”画面(帧间)、以及通过使用来自画面自身内的元素和/或来自一个先前参考画面的元素而编码的“P”画面(帧间)。“B”和“P”画面都可以使用多个参考画面，然而这两种类型画面的差别是：“B”允许使用其中每块至多两个运动补偿预测信号的帧间预测，而“P”仅允许对于每个预测的块使用一个预测信号。
因此，在对“B”或“P”画面进行编码和/或解码时，这样的画面依赖于其他参考帧，使得可以在解码操作期间正确编码或构造这样的画面。编码/解码系统应该提供某种类型的存储器位置，以便存储参考画面，而根据这些参考画面来编码或解码其他画面。显然，一段时间之后，参考画面不能用于编码操作，这是因为不再有要编码的画面在未来的编码操作期间使用该参考画面。
尽管可以将所有参考画面永久地存储在存储器设备中，然而这样的解决方案对存储器资源的使用效率较低。因此，如现有技术已知的，在对存储有参考画面的存储器设备进行操作，以(通过丢弃不必要的参考画面)帮助减小这样的参考画面所需的空间的情况下，可以使用例如先入先出(FIFO)或后入先出(LIFO)存储器操作的存储器技术。然而，在考虑使用多视点(multiview)编码系统(其中所编码和/或解码的画面具有时间上和视点上的相互关系)时，这样的存储器操作可能产生不期望的结果。这就是说，多视点编码系统引入了具有运动画面的多个视点的方面，其中每个视点表示相应对象/场景的不同视点。现在，在对与两个不同视点相关联的画面进行编码或解码时，可以使用参考画面。
例如，图1表示在多视点视频编码系统中使用的参考画面结构的示例实施例。具体地，所示结构属于：根据在A.Vetro，Y.Su，H.Kimata，A.Smolic，“Joint Multiview Video Model(JMVM)1.0”，JVT-T208.doc，Klagenfurt，Austria，July，2006中提出的多视点编码(MVC)方案来在时刻(T0-T100)使用8个不同视点(S0-S7)。这种多视点编码标准基于在高级视频编码(AVC)标准(G.Sullivan，T.Wiegand，A.Luthra，“Draft of Version 4 of H.264/AVC(ITU-T Recommendation H.264andISO/IEC 14496-10(MPEG-4 part 10)Advanced Video Coding)”，Palmade Mallorca，ES 18-22，October 2004)中的编码。这两种编码之间较大差别在于，AVC不处理编码多视点画面而MVC处理编码多视频画面。
返回参考图1，可以看出，例如，在对与T1处的视点S1相关联的画面进行编码时，要编码的画面与来自相同视点(T0处的S1和T2处的S1)的画面(参考画面)相关，并且，要编码的画面与来自不同视点(T1处的S0和T1处的S2)的画面相关。因此，在对与S1、T1相关联的画面进行编码时，可以将参考画面(T0处的S1、T2处的S1、T1处的S0以及T1处的S2)保存在存储器设备(如缓冲器、寄存器、RAM等)中，在存储器设备中将这样的解码画面存储在被称为解码画面缓冲器(DPB)的设备中。
一种对DPB中的参考画面进行管理的方式是使用语法元素(命令)来清除DPB的一部分，其中可以外部产生所述语法元素并将其传送至编码器。在AVC规范中，可以使用网络抽象层(network abstractlayer，NAL)，其中在NAL中插入命令以指示即时解码刷新(IDR)，即时解码刷新(IDR)用于指示DPB中所有存储的参考画面都“未用于参考”。这意味着，应该在接收到IDR之后，将DPB中的所有参考画面最终去除。IDR画面可以做到这一点是因为IDR画面与依赖于帧内编码(不是帧间编码)的“I”或“SI”画面(图像条)相关联。因此，典型地，编码的画面序列中的第一画面是IDR画面。
然而，在处理MVC编码情况(其中可能需要对多个视点进行编码)的问题时，当前的IDR实现效率较低。例如，假设视点S0是AVC兼容视点。如果在视点S0中的时刻T16处存在AVC兼容的ID画面，则不清楚是否应该仅将视点S0中的参考画面标记为“未用于参考”。这就是说，在与AVC和MAC的IDR画面相关联的当前原理下，DPB中任何视点的所有存储的参考画面都将被标记为“未用于参考”并从DPB中去除，而这并不是期望的结果。
发明内容
本原理解决了现有技术的这些和其他缺点和不足，本原理的目的是提出一种重新使用可用的运动信息作为用于视频编码的运动估计预测信息的方法和设备。
根据本原理的以方面，提供了一种在多视点视频编码环境下使用的编码器，在解码画面缓冲器上执行存储器管理操作，其中这样的存储器管理操作将基于控制信息来去除与特定视点相关联的参考画面。
根据以下结合附图来阅读的示例实施例的详细描述，本原理的这些和其他方面、特征以及优点将变得显而易见。
附图说明
根据以下示例性附图将更好地理解本原理，附图中：
图1表示在不同时刻视频画面视点的多视点编码的示例实施例，其中以图中所示的方式，使用参考画面来对这种视频画面进行编码。
图2表示根据本发明原理的用于指定NAL单元的代码的实施例。
图3表示根据本发明原理而使用的语法元素ref_pic_list_reordering()的伪代码的实施例。
图4表示根据本发明原理的而使用的语法元素mark_view_only()的伪代码的实施例。
图5公开了根据本发明原理的要使用的编码系统的示例实施例。
图6是根据本发明原理的使用IDR画面来进行编码的示例实施例。
具体实施方式
本发明原理可以应用于任何基于帧内和帧间的编码标准。贯穿本说明书所使用的术语“画面”一般性术语以及术语“画面”本身，其中所述一般性术语用于描述现有技术中称为“帧”、“场”以及“图像条”的各种形式的视频图像信息。应注意，尽管术语画面用于表示各种元素视频信息，然而AVC是指图像条的使用，其中这样的参考画面可以使用来自相同画面的图像条作为“参考画面”，并且，不管如何对画面进行子划分，本发明的原理均适用。
如在AVC中定义的，以下结合被称作网络抽象层的元素来典型地描述本发明的原理。应理解，本发明的原理还适用于多种格式，使用这些格式来传输数据，如数据分组(包括首部和有效载荷)、将数据和控制分组进行交织的比特流等等。
在本发明的描述中，将参考画面定义为用于对画面进行编码的编码的视频画面信息。在许多视频编码系统的操作中，将参考画面存储在如DPB之类的存储器中。为了对保存或删除哪些参考画面加以全面管理，DPB使用被称作存储器管理命令操作(MMCO)的命令，该存储器管理命令操作(MMCO)用于(典型地，由编码器)将存储器状态分配给所存储的参考画面。例如，用于AVC/MVC编码器的存储器状态包括以下项目：短期参考画面、长期参考画面或标记为未用作参考画面的画面(在这样的情况下，如果DPB需要存储器，则将丢弃参考画面)。随着更多画面被编码，所存储的参考画面的状态可以改变，例如，对于在编码一幅画面时被指定为短期的参考画面，在编码第二画面时可以将其标识为长期参考画面。
此外，在本发明的描述中，在图中详细描述了使用C语言格式化类型的各种命令(语法元素)，图中针对这样的命令中的描述符使用以下命名法：
u(n)：使用n个比特的无符号整数。当n是语法表中的“v”时，比特数以依赖于其他语法元素值的方式而变化。利用函数read_bits(n)的返回值来指定该描述符的解析过程，将函数read_bits(n)的返回值解释为无符号整数的二进制表示，其中首先写入最有效的比特。
ue(v)：无符号整数Exp-Golomb-coded语法元素，其中首先是左边的比特。
se(v)：有符号整数Exp-Golomb-coded语法元素，其中首先是左边的比特。
C：表示语法元素所适用的类别，即特定字段应当适用至何水平。
本描述说明了本原理。从而将认识到，本领域技术人员将能够设计出各种布置，尽管此处未明确描述，但是这些布置实现了本原理并且包含在本原理的精神和范围之内。
这里阐述的所有示例和条件语言是为了教导的目的，以帮助读者理解本发明的原理以及发明人为了改进现有技术而贡献的概念，这些应被解释为并非将本发明局限于这样具体阐述的示例和条件。
此外，这里阐述本发明的原理、方面和实施例以及其具体示例的所有表述应包括其结构和功能的等效物。此外，这样的等效物应包括当前已知的等效物以及未来开发的等效物，即开发出的执行相同功能的任何元件，而不论其结构如何。
图2公开了在AVC中使用的用于NAL的语法，其中，如图所示，AVC兼容的比特流包含使用NAL单元类型1或5的编码画面。MVC编码的画面针对编码画面使用NAL单元类型20和21。NAL单元类型1和20都表示针对相应视频编码标准的非IDR画面(图像条)，而NAL单元类型5和21表示IDR画面。当编码器接收到(例如在比特流中)NAL中的单元类型5或21时，编码器将存储在DBP中的参考画面的状态改变为“未用于参考”。
在本发明的实施例中，提出与NAL一起使用被称作后缀(suffix)NAL单元的NAL单元。后缀NAL单元被定义为按解码顺序跟随另一NAL单元的NAL单元，并且包含前一NAL单元的描述性信息，所述前一NAL单元被称作关联NAL单元。优选地，后缀NAL单元紧随关联NAL单元。
如进一步限定的，后缀NAL单元应具有等于20或21的nal_ref_idc。当svc_mvc_flag等于0时，后缀NAL单元应具有均等于0的dependency_id和quality_level，并且不应包含编码的图像条。当svc_mvc_flag等于1时，后缀NAL将具有等于0的view_level，并且不应包含编码的画面信息(图像条)，但是可以包含控制信息。后缀NAL单元与关联NAL单元属于相同的编码画面。
图3示出了后缀NAL单元的语法，定义了slice_layer_in_svc_mvc_extension_rbsp()函数的结构。MVC兼容的编码器能够使用该后缀NAL单元，以提取存在于该NAL单元中的信息，从而得到与关联NAL单元有关的信息，并采取适当的动作。
因此，提出了新的语法，其中在后缀NAL单元中，存在信息用于指示哪个视点应该受IDR调用的影响。这就是说，新的语法将允许将针对所关联的视点的所存储的参考画面(DPB中)标记为“未用于参考”，而针对另一视点的所存储的参考画面保持其存储状态。
在本发明的实施例中提出并且在图4中示出了语法元素mark_view_only，该语法元素指定了IDR画面对DPB的行为。当后缀NAL单元中的mark_view_only等于1时，将存在于DPB中的、与同存在于相同后缀NAL单元中的view_id相关联的视点相关联的所有参考画面标记为“未用于参考”。当mark_view_only等于0时，将存在于DPB中的所有参考画面标记为“未用于参考”。
在本发明的可选实施例中，当IDR画面存在于MVC NAL单元(类型21)中时，提出加以以下限制：该IDR画面仅将其自身视点中的画面标记为未用于参考。
在另一可选实施例中，可以开发前缀(prefix)NAL单元，将在关联NAL单元之前传输这种前缀NAL单元。在另一可选实施例中，可以将用于选择IDR要关联的特定视点的上述类型的命令封装在具有其中可以定义用户数据的NAL单元的任何地方，以根据本发明的原理来附加命令。
还应理解，在本发明的可选实施例中提出，可以在比特流内部署控制分组本身，其中使用这样的分组来指示应该将哪些参考画面标记为“未用于参考”。具体地，控制分组将包含如remove_reference_view(或与这种所提出的命令相类似的命令)之类的语法，其中与该命令相关联的值指示从DPB去除哪些所存储的参考画面(经由相关联的视点)。
同时，可以将这种语法开发为提供控制字，所述控制字指示应该从DPB去除哪个或哪些视点。例如，如果视频序列具有与其相关联的八个视点(从视点0开始)，则将根据八比特值(如(11001101))来定义用于去除与视点(从视点0开始)1、4和5相关联的参考画面的值。从左至右导出这样的值；对视点0给定值“1”，要保存与视点0相关联的参考画面。针对视点1向右移动，对视点1给定值“0”。因此，在本发明的实施例中，DPB将去除DPB中与视点1相关联的所有参考画面。可以认识到，根据本实施例的原理，本领域技术人员可以实现其他命令和值。
图5公开了根据本发明的原理要使用的编码系统的示例实施例。在图5中简化版本的框图500中，示出了编码器505、编码缓冲器510、以及解码画面缓冲器515以及数据格式化器520之间的操作。在编码操作(编码或解码)期间，编码器505当前正在编码的画面存在于编码缓冲器510中，而先前编码的参考画面存储于解码画面缓冲器515中。如之前所公开的，AVC公开了被称作存储器管理控制操作(MMCO)的使用命令，该命令允许编码器505指定应当如何维持解码器画面缓冲器515中的参考画面。这就是说，在对画面进行编码时，将这样的MMCO输入至当前正在编码的画面的首部中，以指定应该利用在该画面之前到来的参考画面来做什么。该操作被称作“标记”。然后，将来编码器505可以使用这些命令，以确定应该利用存在于解码器画面缓冲器515中的参考画面来做什么。应注意，尽管术语画面用于表示各种元素视频信息，然而AVC是指图像条的使用，其中这样的参考画面可以使用来自相同画面的图像条作为“参考画面”，并且，不管如何对画面进行子划分，本发明的原理均适用。
一旦编码了画面，则可以将其作为比特流的一部分来发送，其中使用数据格式化器520将这样的数据格式化为比特流，以通过数据网络来传输。优选地，以NAL单元的形式来传输数据，其中在传送流(如IP分组、或MPEG-2传送流等)中进一步传输所述NAL单元，其中数据格式化器520以传送分组的形式来传输NAL单元。因此，数据格式化器520可以将编码的画面信息以及上述命令作为NAL单元来传输，其中这样的NAL单元可以是前缀和/或后缀NAL单元。此外，数据格式化器520可以将IDR信息命令添加到NAL单元的任何用户可定义部分中。还应理解，数据格式化器520还可以将上述数据命令放入数据分组的首部中、数据分组的有效载荷中、或放入传送分组的其组合中。
在本发明的示例实施例中，数据格式化器520能够接收传送分组的编码比特流，以及将所接收的数据格式化为NAL单元，编码器505能够将所述NAL单元解码为解码视频画面数据的形式(以构造运动画面序列)。这就是说，数据格式化器520可以读取NAL单元，以确定哪些画面表示IDR画面，和/或编码器505是用于读取NAL数据以将与特定视点相关联的参考画面的单元标记为“未用于参考”的单元。因此，编码器505在这种可选实施例中操作，编码器505用于对所接收的比特流进行解码，其中将根据关于AVC和MVC视频编码标准而定义的方式来使用编码画面缓冲器510和解码画面缓冲器515。
图6是在流程图600中公开的本发明示例实施例，该实施例是一种使用IDR画面的方法。在步骤605，使用编码器505来处理要编码的画面的画面数据。在对画面数据进行编码时，编码器505在步骤610中添加命令，所述命令指定正在编码的画面是否表示即时解码刷新画面。该命令的一部分指示该画面(如果该画面是IDR)是否将影响所存储的(或要存储在DPB 515中的)所有参考画面，或是否要将与特定视点相关联的所存储的参考画面标记为“未用于参考”。
数据格式化器520在步骤610中使用由编码器产生的命令，并在步骤615中，使用NAL(优选地，使用如上所述的后缀NAL，尽管根据本发明的原理可以使用其他传输格式)来传输这样的IDR命令。
在步骤620，类似的数据格式化器520接收编码的数据流，其中数据格式化器读取NAL，以确定所接收的NAL是否表示IDR，以及(由视点所标识的)所存储的哪些参考画面将受到IDR操作的影响。在步骤625，编码器505在对来自所接收的关联NAL的编码的画面信息进行解码时(在优选实施例中)实现IDR命令，以便如后缀NAL中由视点所标识的，将所存储的参考画面标记为“未用于参考”。在步骤630，DPB 515实现这样的命令并将在IDR命令中选择的所存储的参考画面标记为“未用于参考”，在该步骤中，DPB 515将最终去除这样的参考画面。
因此，例如，本领域技术人员应理解，这里呈现的框图表示了实现本发明原理的示意电路图的概念视图。类似地，可以认识到，任何流程图、流程图表、状态转移图、伪代码等表示了各种过程，所述过程可以被实质上表示在计算机可读介质中，并从而由计算机或处理器执行，而不论是否显式地示出了这样的计算机或处理器。
可以通过使用专用硬件以及能够与合适的软件相关联地执行软件的硬件，来提供图中所示的各种元件的功能。在由处理器提供时，可以由单个专用处理器、单个共享处理器或多个单处理器(其中一些可以是共享的)来提供该功能。此外，显式使用的术语“处理器”或“控制器”不应被解释为是排他性地指能够执行软件的硬件，可以隐含地包括但不限于：数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、和永久存储器。
也可以包括其他硬件，不论其为传统的和/或常规的。类似地，图中所示的任何开关仅是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互，或甚至手动地实施其功能，如从上下文中可以更具体地理解的，实现者可以选择特定的技术。
在权利要求书中，表述为用于执行指定功能的装置的任何元件应包含执行该功能的任何方式，例如包括a)执行该功能的电路元件的结合或者b)任何形式的软件，从而包括固件、微代码等，与执行该软件的适当电路相结合来执行该功能。由这样的权利要求所限定的本发明在于以下事实：以权利要求所要求保护的方式，将各种所述装置所提供的功能结合并集合在一起。因此，应认为可以提供这些功能的任何装置都与这样所示的装置等效。
说明书中对本原理的“一个实施例”或“实施例”的引用意味着，结合实施例所描述的具体特征、结构、特性等包含在本原理的至少一个实施例中。因此，贯穿说明书各处出现的短语“在一个实施例中”或“在实施例中”的出现不一定全部指的是同一实施例。
本领域技术人员根据这里的教导可以容易地确定本原理的这些和其他特征以及优点。应理解，可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现本原理的教导。
更优选地，将本发明的教导实现为硬件和软件的组合。此外，可以将软件实现为在程序存储单元上确实实现的应用程序。可以将应用程序加载至包括任何合适体系结构的机器并由其执行。优选地，在具有如一个或更多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)以及输入/输出(“I/O”)接口之类的硬件的计算机平台上实现所述机器。计算机平台还可以包括操作系统和微指令代码。这里所描述的各种过程和功能可以是由CPU来执行的微指令代码的一部分或应用程序的一部分或其任何组合。此外，可以将各种其他外围单元连接到计算机平台，如附加数据存储单元和打印单元。
还将理解，因为附图中所描述的一些系统组成组件和方法优选地是以软件来实现的，所以系统组件或处理功能模块之间的实际连接可能依对本原理进行编程的方式的不同而不同。在这里所给出的教导的情况下，本领域技术人员将能够想到本原理的这些和类似的实现或配置。
尽管这里参考附图描述了示意实施例，然而应理解，本原理不限于这些具体实施例，在不脱离本原理的精神和范围的前提下，本领域技术人员可以对本原理进行各种改变和修改。所有这些改变和修改应包括在所附权利要求所阐述的本原理的范围之内。
权利要求书(按照条约第19条的修改)
国际局于2008年6月24日接收
1、一种对与运动画面序列相对应的视频数据进行编码的方法，包括以下步骤：
对与视频画面相对应的视频信息进行编码(605)，其中所述视频画面与多视点中的至少一个视点相对应；
产生(610)信息，所述信息指示是否要删除多视点中的第二视点的至少一个所存储的参考画面。
2、根据权利要求1所述的方法，还包括以下步骤：
传输编码后的所述视频信息以及指示是否应当删除所存储的参考画面的所述信息。
3、根据权利要求2所述的方法，其中，所述传输步骤使用第一网络抽象层NAL单元来传输编码后的所述视频信息，并使用第二NAL单元来传输所产生的所述信息。
4、根据权利要求3所述的方法，其中，所述第一NAL单元是关联NAL单元，所述第二NAL是后缀NAL单元。
5、根据权利要求2所述的方法，其中，所述传输步骤在传送分组的有效载荷中传输编码后的所述视频信息以及指示要删除第二视点的至少一个所存储的参考画面的所述信息。
6、根据权利要求1-5中任一项所述的方法，其中，所述第一视点和第二视点是多视点中不同的视点。
7、根据权利要求1-5中任一项所述的方法，其中，所述第一视点和第二视点是多视点中相同的视点。
8、根据权利要求1-7中任一项所述的方法，其中，指示是否要将第二视点的所存储的参考画面删除的所述信息将这样的参考画面标记为“未用于参考”。
9、根据权利要求1-8中任一项所述的方法，其中，还产生并传输另外的信息，所述另外的信息指示是否应当删除第三视点的所存储的参考画面，所述第三视点与所述第一视点和所述第二视点不同。
10、根据权利要求1-9中任一项所述的方法，其中，所述编码的画面是即时刷新解码画面。
11、一种对表示多视点视频画面序列的接收比特流进行解码的方法，包括以下步骤：
处理(620)所述比特流中的信息，以对与多视点中的第一视点相关联的编码的视频画面信息进行解码；
确定(625)所述比特流中是否存在要求删除与多视点中的第二视点相关联的至少一个所存储的参考画面的所述信息。
12、根据权利要求11所述的方法，还包括以下步骤：
从存储器中删除与所述第二视点相关联的所述至少一个参考画面。
13、根据权利要求12所述的方法，其中，在所述至少一个参考画面被表示为“未用于参考”的情况下执行所述删除步骤。
14、根据权利要求12所述的方法，还包括以下步骤：
在所述存储器中保留与来自存储器的第三视点相关联的至少一个参考画面，其中所述第二视点和所述第三视点表示不同的视点。
15、根据权利要求14所述的方法，其中，所述存储器是解码画面缓冲器。
16、根据权利要求11所述的方法，其中，所述信息指示所述编码的画面是即时刷新解码画面。
17、根据权利要求11-16中任一项所述的方法，其中，所述第一视点和所述第二视点是相同的视点。

Claims (17)

1、一种对与运动画面序列相对应的视频数据进行编码的方法，包括以下步骤：
对与视频画面相对应的视频信息进行编码(605)，其中所述视频画面与至少一个视点相对应；
产生(610)信息，所述信息指示是否要删除第二视点的至少一个所存储的参考画面。
2、根据权利要求1所述的方法，还包括以下步骤：
传输编码后的所述视频信息以及指示是否应当删除所存储的参考画面的所述信息。
3、根据权利要求2所述的方法，其中，所述传输步骤使用第一网络抽象层NAL单元来传输编码后的所述视频信息，并使用第二NAL单元来传输所产生的所述信息。
4、根据权利要求3所述的方法，其中，所述第一NAL单元是关联NAL单元，所述第二NAL是后缀NAL单元。
5、根据权利要求2所述的方法，其中，所述传输步骤在传送分组的有效载荷中传输编码后的所述视频信息以及指示要删除第二视点的至少一个所存储的参考画面的所述信息。
6、根据权利要求1-5中任一项所述的方法，其中，所述第一视点和第二视点是不同的视点。
7、根据权利要求1-5中任一项所述的方法，其中，所述第一视点和第二视点是相同的视点。
8、根据权利要求1-7中任一项所述的方法，其中，指示是否要将第二视点的所存储的参考画面删除的所述信息将这样的参考画面标记为“未用于参考”。
9、根据权利要求1-8中任一项所述的方法，其中，还产生并传输另外的信息，所述另外的信息指示是否应当删除第三视点的所存储的参考画面，所述第三视点与所述第一视点和所述第二视点不同。
10、根据权利要求1-9中任一项所述的方法，其中，所述编码的画面是即时刷新解码画面。
11、一种对表示多视点视频画面序列的接收比特流进行解码的方法，包括以下步骤：
处理(620)所述比特流中的信息，以对与第一视点相关联的编码的视频画面信息进行解码；
确定(625)所述比特流中是否存在要求删除与第二视点相关联的至少一个所存储的参考画面的所述信息。
12、根据权利要求11所述的方法，还包括以下步骤：
从存储器中删除与所述第二视点相关联的所述至少一个参考画面。
13、根据权利要求12所述的方法，其中，在所述至少一个参考画面被表示为“未用于参考”的情况下执行所述删除步骤。
14、根据权利要求12所述的方法，还包括以下步骤：
在所述存储器中保留与来自存储器的第三视点相关联的至少一个参考画面，其中所述第二视点和所述第三视点表示不同的视点。
15、根据权利要求14所述的方法，其中，所述存储器是解码画面缓冲器。
16、根据权利要求11所述的方法，其中，所述信息指示所述编码的画面是即时刷新解码画面。
17、根据权利要求11-16中任一项所述的方法，其中，所述第一视点和所述第二视点是相同的视点。
CN2007800382324A 2006-10-16 2007-10-16 在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法 Active CN101523920B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US85195306P 2006-10-16 2006-10-16
US60/851,953 2006-10-16
PCT/US2007/022082 WO2008048605A2 (en) 2006-10-16 2007-10-16 Method for using a network abstract layer unit to signal an instantaneous decoding refresh during a video operation

Publications (2)

Publication Number Publication Date
CN101523920A true CN101523920A (zh) 2009-09-02
CN101523920B CN101523920B (zh) 2013-12-04

Family

ID=39272136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800382324A Active CN101523920B (zh) 2006-10-16 2007-10-16 在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法

Country Status (7)

Country Link
US (1) US20100002761A1 (zh)
EP (1) EP2077037A2 (zh)
JP (1) JP5342445B2 (zh)
KR (1) KR101385808B1 (zh)
CN (1) CN101523920B (zh)
BR (1) BRPI0719536A2 (zh)
WO (1) WO2008048605A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103797797A (zh) * 2011-06-30 2014-05-14 瑞典爱立信有限公司 参考画面信号通知
CN104685890A (zh) * 2012-10-02 2015-06-03 高通股份有限公司 用于视频译码器的操作点的层识别符的改善的发信
CN104838649A (zh) * 2012-09-28 2015-08-12 三星电子株式会社 针对随机访问的用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备
CN108718415A (zh) * 2013-04-17 2018-10-30 高通股份有限公司 多层视频译码中的交叉层图片类型对准的指示

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008047258A2 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for implementing low-complexity multi-view video coding
WO2010117315A1 (en) * 2009-04-09 2010-10-14 Telefonaktiebolaget Lm Ericsson (Publ) Media container file management
KR101097690B1 (ko) * 2009-04-28 2011-12-22 파나소닉 주식회사 화상 복호 방법 및 화상 복호 장치
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
US9674534B2 (en) * 2012-01-19 2017-06-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding multi-view video prediction capable of view switching, and method and apparatus for decoding multi-view video prediction capable of view switching
KR20130116782A (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US9854234B2 (en) 2012-10-25 2017-12-26 Qualcomm Incorporated Reference picture status for video coding
JP6361866B2 (ja) * 2013-05-09 2018-07-25 サン パテント トラスト 画像処理方法および画像処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4355156B2 (ja) * 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
JP4562999B2 (ja) * 2002-07-11 2010-10-13 パナソニック株式会社 画像復号化方法および画像復号化装置
JP3513148B1 (ja) * 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
WO2004114671A2 (en) * 2003-06-19 2004-12-29 Thomson Licensing S.A. Method and apparatus for low-complexity spatial scalable decoding
KR101094323B1 (ko) * 2003-09-17 2011-12-19 톰슨 라이센싱 적응 기준 화상 생성
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
CN1271864C (zh) * 2004-08-05 2006-08-23 联合信源数字音视频技术（北京）有限公司 视频解码缓冲区控制装置及方法
US20060083298A1 (en) * 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
JP2009512306A (ja) * 2005-10-11 2009-03-19 ノキア コーポレイション スケーラブルビデオコーディングのためのデコードされたピクチャーの効率的なバッファマネージメント
US7903737B2 (en) 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
KR100943912B1 (ko) * 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103797797A (zh) * 2011-06-30 2014-05-14 瑞典爱立信有限公司 参考画面信号通知
CN103797797B (zh) * 2011-06-30 2016-07-13 瑞典爱立信有限公司 参考画面信号通知
CN104838649A (zh) * 2012-09-28 2015-08-12 三星电子株式会社 针对随机访问的用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备
CN104685890A (zh) * 2012-10-02 2015-06-03 高通股份有限公司 用于视频译码器的操作点的层识别符的改善的发信
CN104685890B (zh) * 2012-10-02 2019-03-12 高通股份有限公司 用于处理和编码多层视频数据的方法、装置和设备
CN108718415A (zh) * 2013-04-17 2018-10-30 高通股份有限公司 多层视频译码中的交叉层图片类型对准的指示
CN108718415B (zh) * 2013-04-17 2021-03-26 高通股份有限公司 处理视频数据的方法和装置

Also Published As

Publication number Publication date
KR20090077918A (ko) 2009-07-16
WO2008048605A3 (en) 2008-06-12
KR101385808B1 (ko) 2014-04-17
JP2010507339A (ja) 2010-03-04
WO2008048605B1 (en) 2008-09-04
EP2077037A2 (en) 2009-07-08
CN101523920B (zh) 2013-12-04
JP5342445B2 (ja) 2013-11-13
WO2008048605A2 (en) 2008-04-24
BRPI0719536A2 (pt) 2014-01-14
US20100002761A1 (en) 2010-01-07

Similar Documents

Publication Publication Date Title
CN101523920B (zh) 在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法
CN102780883B (zh) 用于包含多视点视频编码的参考图像管理的方法
KR101368493B1 (ko) 멀티뷰 비디오 코딩을 위한 참조 화상 목록 관리 구문
CN101366285B (zh) 用于多视角视频编码的方法和装置
KR101361896B1 (ko) 멀티-뷰 비디오 코딩 방법 및 디바이스
TW201244487A (en) Picture identification for multi-view video coding
CN101485208A (zh) 多视图视频的编码和解码方法及装置
CN101491079A (zh) 用在多视角视频编码中的方法和装置
KR20170073575A (ko) 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법
KR20090099546A (ko) 멀티 뷰 코딩된 비디오에서 높은 레벨의 신택스 레퍼런스 뷰들을 이용하여 비디오 에러 은닉을 행하는 방법 및 장치
KR20090099547A (ko) 멀티뷰 코딩 비디오에서 비디오 에러 정정을 위한 방법 및 장치
KR102032770B1 (ko) 동영상 예측 부호화 장치, 동영상 예측 부호화 방법, 동영상 예측 부호화 프로그램, 동영상 예측 복호 장치, 동영상 예측 복호 방법 및 동영상 예측 복호 프로그램
KR20090099545A (ko) 고레벨 신택스를 이용한 멀티 뷰 코딩된 비디오 내의 비디오 에러 은닉을 위한 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne - Bilang Kurt

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190131

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190131

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING