CN101578876A - 在多视点编码视频中使用高级语法参考视点的视频差错隐藏方法和装置 - Google Patents

在多视点编码视频中使用高级语法参考视点的视频差错隐藏方法和装置 Download PDF

Info

Publication number
CN101578876A
CN101578876A CNA2008800017950A CN200880001795A CN101578876A CN 101578876 A CN101578876 A CN 101578876A CN A2008800017950 A CNA2008800017950 A CN A2008800017950A CN 200880001795 A CN200880001795 A CN 200880001795A CN 101578876 A CN101578876 A CN 101578876A
Authority
CN
China
Prior art keywords
picture
rank
syntactic element
video
different time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008800017950A
Other languages
English (en)
Inventor
珀文·B·潘迪特
尹澎
苏野平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101578876A publication Critical patent/CN101578876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种在多视点编码视频中使用高级语法参考视点的视频差错隐藏方法和装置。所述装置包括解码器(100)，用于对与来自比特流的多视点视频内容对应的至少一个视点的画面进行解码。所述画面代表视频序列的至少一部分。至少一些画面对应于视频序列中的不同时间示例。所述解码器(100)使用现有语法元素来确定与所述不同时间示例中的特定一个对应的任何画面是否丢失。所述现有语法元素用于指示针对至少一个画面的视点间预测所使用的至少一个参考视点(330)。

Description

在多视点编码视频中使用高级语法参考视点的视频差错隐藏方法和装置
相关申请的交叉引用
本申请要求于2007年1月4日提交的美国临时申请序列号60/883,460的利益，在此并入其整体作为参考。
技术领域
本原理一般涉及视频解码，更具体地，涉及一种在多视点(multi-view)编码视频中使用高级语法参考视点(high level syntax reference view)的视频差错隐藏(error concealment)方法和装置。
背景技术
当在损坏的比特流中丢失一画面时，可以使用若干基于画面的差错隐藏方法来隐藏该丢失的画面。为了执行隐藏，必须确定画面的丢失和该画面的位置。
已经存在在单视点情况下检测画面的丢失的若干方法。在国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)第10部分先进视频编码(AVC)标准/国际电信联盟、电信部门(ITU-T)H.264推荐(下文中是“MPEG-4AVC标准”)中，概念frame_num用作检测参考画面的丢失的目的。另外地，为了画面丢失检测，可以使用补充增强信息(SEI)消息，例如恢复点SEI消息、子序列SEI消息、恢复点SEI消息、标记重复SEI消息的参考画面、以及画面序列号(POC)设计、和多个参考画面缓冲。
然而，所述方法并未被扩展用于多视点情况。
发明内容
通过本原理来解决现有技术的这些和其它缺陷和不足，本原理致力于一种在多视点编码视频中使用高级语法参考视点的视频差错隐藏的方法和装置。
根据本原理的一方面，提供了一种装置。所述装置包括：解码器，用于对与来自比特流的多视点视频内容对应的至少一个视点的画面进行解码。所述画面代表视频序列的至少一部分。至少一些画面对应于视频序列中的不同时间示例。所述解码器使用现有语法元素来确定与所述不同时间示例中的特定一个对应的任何画面是否丢失。所述现有语法元素用于指示针对至少一个画面的视点间预测(inter-view prediction)所使用的至少一个参考视点。
根据本原理的另一方面，提供了一种方法。所述方法包括对与来自比特流的多视点视频内容对应的至少一个视点的画面进行解码。所述画面代表视频序列的至少一部分。至少一些画面对应于视频序列中的不同时间示例。所述解码步骤包括使用现有语法元素来确定与所述不同时间示例中的特定一个对应的任何画面是否丢失。所述现有语法元素用于指示针对至少一个画面的视点间预测所使用的至少一个参考视点。
从结合附图阅读的示例性实施例的下列详细描述中，本原理的这些和其它方面、特征和优点将变得明显。
附图说明
根据下列示例性的附图，可以更好地理解本原理，其中：
图1是根据本原理实施例的、可以应用本原理的示例性多视点视频编码(MVC)解码器的方框图；
图2是根据本原理实施例的、可以应用本原理的具有8个视点的多视点视频编码系统的第一时间编码结构的图；和
图3是根据本原理实施例的、用于使用针对丢失画面的差错隐藏来对与视频序列对应的视频数据进行解码的示例性方法的流程图。
具体实施方式
本原理致力于一种用于在多视点编码视频中使用高级语法参考视点的视频差错隐藏方法和装置。
本描述图解说明了本原理。因此将会理解，本领域的普通技术人员将能够设计出体现本原理并且包含在其精神和范畴之内的各种结构(尽管此处未清楚地描述和示出)。
此处记载的所有示例和条件性语言往往用于教学目的，以便辅助读者理解发明人改进现有技术所贡献的本原理和理念，并且应当理解本原理和理念不限于所述特别记载的示例和条件。
而且，此处细述原理、方面和本原理实施例的所有陈述及其特定示例往往涵盖其结构性和功能性两者的等效物。另外，所述等效物往往包括当前已知的等效物以及未来发展的等效物，即，执行相同功能而不管结构如何而开发的任何元件。
因此，例如，本领域的普通技术人员将会理解，此处展现的方框图代表体现本原理的解释性电路的概念视图。类似地，将会理解，任何流程图、流程图表、状态转变图、伪代码等代表可以在计算机可读介质中表现并且如此由计算机或处理器执行的各种处理，不管这样的计算机或处理器是否清楚地示出。
附图中示出的各种元件的功能可以通过使用专用硬件以及能够执行软件的硬件结合适当软件来提供。当通过处理器来提供时，所述功能可以通过单个专用处理器、通过单个共享处理器、或者通过多个单独处理器(其中的一些可被共享)来提供。而且，术语“处理器”或“控制器”的明确使用不应当被曲解为排他地指向能够执行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储器。
也可以包括其它传统和/或常规的硬件。类似地，附图中示出的任何开关仅仅是概念性的。它们的功能可以通过编程逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或者甚至手工来实现，如从上下文中更具体地了解到，特定技术是可通过工具来选择。
在权利要求书中，被表达为用于执行特定功能的部件的任何元件往往涵盖执行下面那些功能的任何方式：包括，例如，a)执行那些功能的电路元件的组合或者b)任意形式的软件，因此包括与执行那些软件以便执行所述功能的适当电路相结合的固件、微代码等。如所述权利要求定义的本原理涵盖的事实是：通过各种记载的部件提供的功能性以权利要求所要求的方式被组合并且放在一起。因此认为能够提供那些功能性的任何部件等价于此处所示的那些部件。
说明书中对本原理的“一个实施例”或“实施例”的引用是指结合实施例描述的特定特征、结构、特性等等被包含在本原理的至少一个实施例中。因此，整个说明书中出现在不同位置的术语“在一个实施例中”或“在实施例中”并不必都指向相同的实施例。
如此处所使用的，“高级语法”是指存在于层级结构在宏块层之上的比特流中的语法。例如，如此处所使用的，高级语法可以是指、但是不限于在切片报头(slice header)级别、序列参数集(SPS)级别、画面参数集(PPS)级别、视点参数集(VPS)级别、网络提取层(NAL)单元报头级别处、和在补充增强信息(SEI)消息中的语法。
为了图示说明和简洁，此处描述的下列实施例针对序列参数集的使用。然而，将会理解，针对此处公开的改进信令，本原理不仅限于使用序列参数集，并且因此针对至少上述类型的高级语法，包括但不限于在切片报头级别、序列参数集(SPS)级别、画面参数集(PPS)级别、视点参数集(VPS)级别、网络提取层(NAL)单元报头级别处、和在补充增强信息(SEI)消息中的语法，可以实现所述改进信令，同时维持本原理的精神。
将进一步理解，尽管此处针对MPEG-4AVC标准描述了本原理的一个或多个实施例，但是本原理不单独限于这种标准，并且因此对于其它视频编码标准、推荐及其扩展(包括MPEG-4AVC标准的扩展)，可以利用本原理，同时维持本原理的精神。
而且，将会理解，术语“和/或”的使用，例如，在“A和/或B”的情况下，往往是指涵盖第一列出选项(A)的选择、第二列出选项(B)的选择或者两个选项(A和B)的选择。又例如，在“A、B和/或C”的情况下，这样的措辞往往是指涵盖第一列出选项(A)的选择、第二列出选项(B)的选择、第三列出选项(C)的选择、第一和第二列出选项(A和B)的选择、第一和第三列出选项(A和C)的选择、第二和第三列出选项(B和C)的选择、或者所有三个选项(A和B和C)的选择。只要本领域和相关领域中的普通技术人员清楚地理解，这可扩展到许多列出的项。
转向图1，示例性的多视点视频编码(MVC)解码器通常用附图标记100表示。解码器100包括熵解码器105，该熵解码器105具有与逆量化器110的输入端进行信号通信连接的输出端。逆量化器的输出端与逆变换器115的输入端进行信号通信连接。逆变换器115的输出端与组合器120的第一非反相输入端进行信号通信连接。组合器120的输出端与解块滤波器125的输入端和帧内预测器130的输入端进行信号通信连接。解块滤波器125的输出端与参考画面存储器140(对于视点i)的输入端进行信号通信连接。参考画面存储器140的输出端与运动补偿器135的第一输入端进行信号通信连接。
参考画面存储器145(对于其它视点)的输出端与差异/照明补偿器150的第一输入端进行信号通信连接。
熵编码器105的输入端可用作到解码器100的输入端，用于接收残余比特流。而且，模式模块160的输入端也可用作到解码器100的输入端，用于接收用来控制被开关255选择的那个输入的控制语法。再者，运动补偿器135的第二输入端可用作解码器100的输入端，用于接收运动矢量。而且，差异/照明补偿器150的第二输入端可用作到解码器100的输入端，用于接收差异矢量和照明补偿语法。
开关155的输出端与组合器120的第二非反相输入端进行信号通信连接。开关155的第一输入端与差异/照明补偿器150的输出端进行信号通信连接。开关155的第二输入端与运动补偿器135的输出端进行信号通信连接。开关155的第三输入端与帧内预测器130的输出端进行信号通信连接。模式模块160的输出端与开关155进行信号通信连接，用于控制由开关155选定的那个输入端。解块滤波器125的输出端可用作解码器的输出端。
根据本原理，提供了用于使用高级语法参考视点针对多视点编码视频的视频差错隐藏方法和装置。本原理至少解决了在多视点编码视频情况下检测画面丢失的问题。此处提供方法和装置来识别/检测在多视点编码视频序列的传输期间遗失、丢失或者遗漏视点的哪个画面。
在易于出错的传输环境中，例如因特网、无线网络等，所发送的视频比特流可能遭受例如由于信道损害而引起的破坏。一些实践系统中遇到的一般情况是某些经压缩的视频画面从比特流中遗漏。这对于低比特速率的应用(其中画面小得足以被编码成传送单元，例如实时传输协议(RTP)分组)来说尤其真实。在接收端处，健壮的视频解码器应当能够检测所述丢失，以便隐藏它们。
在多视点视频编码(MVC)中，具有存在于编码视频序列中的若干视点。在MPEG-4AVC标准的当前MVC扩展的情况下，每个画面与视点标识符相关联，以便识别它属于哪个视点。表1示出了可升级视频编码(SVC)多视点视频编码(MVC)扩展语法的网络提取层(NAL)单元报头。另外地，存在若干高级语法(除了MPEG-4AVC标准语法)，它们被展示用来辅助解码来自不同视点的画面。这些语法出现在序列参数集(SPS)扩展中。表2示出了MPEG-4AVC标准的多视点视频编码(MVC)扩展中的序列参数集(SPS)。
表1
  nal_unit_header_svc_mvc_extension(){   C   描述符
    svc_mvc_flag   All   u(1)
    if(lsvc_mvc_flag){
       priority_id   All   u(6)
       discardable_flag   All   u(1)
       temporal_level   All   u(3)
       dependency_id   All   u(3)
       quality_level   All   u(2)
       layer_base_flag   All   u(1)
       use_base_prediction_flag   All   u(1)
       fragmented_flag   All   u(1)
       last_fragment_flag   All   u(1)
       fragment_order   All   u(2)
       reserved_zero_two_bils   All   u(2)
     }else{
       temporal_level   All   u(3)
       view_level   All   u(3)
       anchor_pic_flag   All   u(1)
       view_id   All   u(10)
       idr_flag   All   u(1)
       reserved_zero_five_bits   All   u(5)
     }
     nalUnitHeaderBytes+＝3
  }
表2
  seq_parameter_set_mvc_extension(){  C   描述符
    num_views_minus_1   ue(v)
    for(i＝0；i＜＝num_views_minus_1；i++){
       num_anchor_refs_I0[i]   ue(v)
       for(j＝0；j＜num_anchor_refs_I0[i]；j++)
          anchor_ref_I0[i][j]   ue(v)
       num_anchor_refs_I1[i]   ue(v)
       for(j＝0；j＜num_anchor_refs_I1[i]；j++)
          anchor_ref_I1[i][j]   ue(v)
    }
    for(i＝0；i＜＝num_views_minus_1；i++){
       num_non_anchor_refs_I0[i]   ue(v)
       for(j＝0；j＜num_non_anchor_refs_I0[i]；j++)
          non_anchor_ref_I0[i][j]   ue(v)
       num_non_anchor_refs_I1[i]   ue(v)
       for(j＝0；j＜num_non_anchor_refs_I1[i]；j++)
          non_anchor_ref_I1[i][j]   ue(v)
    }
  }
因此，基于MPEG-4AVC标准的多视点视频编码的当前建议(下文中是“MPEG-4AVC的当前MVC建议”)包括序列参数集(SPS)中的高级语法，用于表示序列中的编码视点的数目。另外地，MPEG-4AVC的当前MVC建议包括一视点的视点间参考信息。MPEG-4AVC的当前MVC建议还通过分别地发送参考视点标识符来区分锚定(anchor)和非锚定(non-anchor)画面的相关性。这显示于表2中，其包括哪个视点被用作某一视点的参考的信息。我们已经意识到并且建议可以使用这个信息(编码视点的数目)以便检测在多视点编码视频的情况下丢失的画面。
在MPEG-4AVC标准的当前多视点视频编码(MVC)扩展中，要求对于所有视点首先编码属于某一时刻的画面。转向图2，具有8个视点的多视点视频编码系统的第一时间编码结构通常用附图标记200来表示。在图2的示例中，连续地编码来自不同视点的相同时刻处的所有画面。因此，首先编码在时刻T0处的所有画面(S0-S7)，之后是在时刻T8处的画面(S0-S7)，等等。这叫做第一时间编码。而且，MPEG-4AVC标准的当前多视点视频编码(MVC)扩展包括约束：通过使用在那个时刻处的画面可以仅完成视点间预测。因此，这使得所有画面更相关以便检测在这个时刻处的画面丢失，因为丢失的画面不仅可被用作时间参考也可被用作视点参考。因此，画面的及时隐藏对于其它视点的客观质量来说是必需的。
已知这个(第一时间编码)以及来自序列参数集(SPS)的序列中编码视点的数目和需要用作某一视点的参考的视点，我们可以检测画面的丢失。
这一检测算法的实施例如下。如上所述，我们知道首先编码针对所有视点的相同时刻处的画面。另外地，通过查看序列参数集，我们知道对于给定视点的视点间参数需要哪一个视点。现在，当画面到达要进行解码时，我们从序列参数集语法(view_id)知道哪一个(多个)视点需要用于视点间参考。由于仅那个时刻处的画面需要用于视点间参考，我们使得所有信息来识别视点间参考画面。而且，在画面可被用于解码之前，它应当已经被解码并且位于解码画面缓冲器(DPB)中。
由于我们知道参考画面的view_id和时刻(画面序列号(POC))，我们可以用(view_id，POC)组合在解码画面缓冲器中进行搜索。如果在解码画面缓冲器中未发现这个画面，则我们可以得出这个画面丢失，因此在其被用作参考之前，调用适当的隐藏算法来隐藏该丢失的画面。
使用下面的示例可以图解这个情况。查看图2，假设画面(S2，T4)丢失。时间T4的可能编码顺序是S0、S2、S1、S4、S3、S6、S5和S7。由于这时S2丢失，仅将接收到S0、S1、S4、S3、S6、S5和S7。当我们接收S1时，我们可以从对应于这个视点的序列参数集语法中确定在时刻T4处的S0和S4将被用作参考。这将通过S1的非锚画面的下列值来表示：
num_non_anchor_refs_I0[i]＝1
num_anchor_ref_I0[i][j]＝0(S0的view_id)
num_non_anchor_refs_I1[i]＝1
num_anchor_ref_I1[i][j]＝2(S2的view_id)
现在，我们知道(S0，T4)和(S2，T4)将被用作当前画面(S1，T4)的视点间参考。由于两个参考画面被要求解码并且被存储用作参考画面，因此我们可以在解码画面缓冲器中执行搜索。只要在解码画面缓冲器中发现两个画面，就可以正确地解码当前画面。由于画面(S2，T4)丢失，因此在解码画面缓冲器中将发现不到它，并且我们可以检测(S2，T4)的丢失。然后在对当前(S1，T4)画面进行解码之前，可以调用适当的隐藏算法来隐藏丢失的画面。
可以在丢失的参考画面上递归地应用上述差错隐藏检测算法以便检测多个画面丢失。
转向图3，使用针对丢失画面的差错隐藏来对与视频序列对应的视频数据进行解码的示例性方法通常用附图标记300表示。
方法300包括起始块305，在该起始块305，将控制传递到功能块310。功能块310解析序列参数集(SPS)、画面参数集(PPS)、视点参数集(VPS)、网络提取层(NAL)单元报头、和/或补偿增强信息(SEI)消息，并且将控制传递到功能块315。功能块315将变量NumViews设定为等于变量num_view_minus1+1，将变量PrevPOC设定为等于0，将变量RecvPic设定为等于0，并且将控制传递到判定块320。判定块320确定是否已经到达视频序列的末尾。如果到达，则将控制传递到结束块399。否则将控制传递到功能块325。
功能块325读取下一画面的画面序列号(POC)，递增变量RecvPic，并且将控制传递到功能块330。功能块330根据高级语法确定所需的所有视点间参考画面，并且将控制传递到功能块335。功能块335使用画面序列号(POC)和每个所确定的视点间参考画面的视点标识符(view_id)在解码画面缓冲器(DPB)中搜索由功能块330确定的视点间参考画面，并且将控制传递到判定块340。判定块340确定在解码的画面缓冲器(DPB)中是否已经发现参考画面。如果是，则将控制传递到判定块345。否则，将控制传递到功能块355。
判定块345确定是否已经检查所有参考画面。如果是，将控制传递到功能块350。否则，将控制返回到功能块335。
功能块350对当前画面进行解码，并且将控制返回到判定块320。
现在将描述本发明的许多伴随优点/特征中的一些伴随优点/特征，在上面已经提到了所述伴随优点/特征中的一些。例如，一个优点/特征是一种包括解码器的装置，所述解码器对与来自比特流的多视点视频内容对应的至少一个视点的画面进行解码。所述画面代表视频序列的至少一部分。至少一些画面对应于视频序列中的不同时间示例。所述解码器使用现有语法元素来确定与所述不同时间示例中的特定一个对应的任何画面是否丢失。所述现有语法元素用于指示针对至少一个画面的视点间预测所使用的至少一个参考视点。
另一优点/特征是具有如上所述的解码器的装置，其中所述现有语法元素是多视点视频编码语法元素。
又再一个优点/特征是具有解码器的装置，其中所述现有语法元素是如上所述的多视点视频编码语法元素，其中所述多视点编码语法元素对应于国际标准化组织/国际电工委员会运动图像专家组-4第10部分先进视频编码标准/国际电信联盟、电信部门H.264推荐的扩展。
另再一个优点/特征是具有如上所述的解码器的装置，其中所述现有语法元素以高级语法存在。
而且，再一个优点/特征是具有如上所述的解码器的装置，其中所述高级对应于下列级别中的至少一个：切片报头级别、序列参数集级别、画面参数集级别、视点参数集级别、网络提取层单元报头级别、和与补充增强信息消息对应的级别。
再者，再一个优点/特征是具有如上所述的解码器的装置，其中所述解码器进一步使用第一时间编码信息来确定与所述不同时间示例中的特定一个对应的任何画面是否丢失。
而且，再一个优点/特征是具有如上所述的解码器的装置，所述解码器进一步使用第一时间编码信息来确定与所述不同时间示例中的特定一个对应的任何画面是否丢失，其中所述解码器在先前解码的画面列表中搜索用于所述至少一个画面的视点间预测的至少一个参考画面。所述先前解码的列表代表所述第一时间编码信息的至少一部分。
另外地，再一个优点/特征是具有如上所述的解码器的装置，所述解码器在先前解码的画面列表中搜索用于所述至少一个画面的视点间预测的至少一个参考画面，其中使用与所述至少一个参考画面对应的标识符和针对该至少一个画面的不同时间示例的特定一个来识别将要搜索的至少一个参考画面，所述至少一个画面是当前解码的画面。
基于此处的示教，相关领域的普通技术人员可以容易地确定本原理的这些和其它特征和优点。将会理解，本原理的示教能够以硬件、软件、固件、专用处理器或者它们的组合的各种形式来实现。
更优选地，本原理的示教被实现为硬件和软件的组合。而且，软件可被实现为有形地体现在程序存储单元上的应用程序。所述应用程序可以通过包括任何合适结构的机器上传并执行。优选地，所述机器被实现在计算机平台上，所述计算机平台具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口之类的硬件。计算机平台也可以包括操作系统和微指令代码。此处所描述的各种处理和功能可以是微指令代码的一部分或者是应用程序的一部分，或者是它们的任意组合，它们可以由CPU来执行。另外，各种其它外围单元可以连接到计算机平台，例如另外的数据存储单元和打印单元。
还应当理解，因为附图中描绘的一些组成系统元件和方法优选地以软件来实现，因此系统组件或处理功能块之间的真实连接可以根据本原理被编程的方式而有所不同。假设此处的示教，相关领域的普通技术人员将能够预料本原理的这些和类似的实现或者结构。
尽管此处参考附图已经描述了图解性实施例，但是应当理解本原理不限于这些精确的实施例，并且相关领域的普通技术人员可以在其中实现各种变化和修改，而不背离本原理的范畴或精神。所有这些变化和修改往往被包含在所附权利要求阐述的本原理的范畴之内。

Claims (16)

1.一种装置，包括：
解码器(100)，用于对与来自比特流的多视点视频内容对应的至少一个视点的画面进行解码，所述画面代表视频序列的至少一部分，至少一些画面对应于视频序列中的不同时间示例，其中所述解码器使用现有语法元素来确定与所述不同时间示例中的特定一个对应的任何画面是否丢失，所述现有语法元素用于指示针对至少一个画面的视点间预测所使用的至少一个参考视点。
2.如权利要求1所述的装置，其中所述现有语法元素是多视点视频编码语法元素。
3.如权利要求2所述的装置，其中所述多视点视频编码语法元素对应于国际标准化组织/国际电工委员会运动图像专家组-4第10部分先进视频编码标准/国际电信联盟、电信部门H.264推荐的扩展。
4.如权利要求1所述的装置，其中所述现有语法元素以高级存在。
5.如权利要求1所述的装置，其中所述高级对应于下列级别中的至少一个：切片报头级别、序列参数集级别、画面参数集级别、视点参数集级别、网络提取层单元报头级别、和与补充增强信息消息对应的级别。
6.如权利要求1所述的装置，其中所述解码器(100)进一步使用第一时间编码信息来确定与所述不同时间示例中的特定一个对应的任何画面是否丢失。
7.如权利要求6所述的装置，其中所述解码器(100)在先前解码的画面列表中搜索用于所述至少一个画面的视点间预测的至少一个参考画面，所述先前解码的列表代表所述第一时间编码信息的至少一部分。
8.如权利要求7所述的装置，其中使用与所述至少一个参考画面对应的标识符和针对该至少一个画面的不同时间示例的特定一个来识别将要搜索的至少一个参考画面，所述至少一个画面是当前解码的画面。
9.一种方法，包括：
对与来自比特流中的多视点视频内容对应的至少一个视点的画面进行解码，所述画面代表视频序列的至少一部分，至少一些画面对应于视频序列中的不同时间示例，其中所述解码步骤包括使用现有语法元素来确定与所述不同时间示例中的特定一个对应的任何画面是否丢失，所述现有语法元素用于指示针对至少一个画面的视点间预测所使用的至少一个参考视点(330)。
10.如权利要求9所述的方法，其中所述现有语法元素是多视点视频编码语法元素(310)。
11.如权利要求10所述的方法，其中所述多视点视频编码语法元素对应于国际标准化组织/国际电工委员会运动图像专家组-4第10部分先进视频编码标准/国际电信联盟、电信部门H.264推荐的扩展(310)。
12.如权利要求9所述的方法，其中所述现有语法元素以高级存在(310)。
13.如权利要求9所述的方法，其中所述高级对应于下列级别中的至少一个：切片报头级别、序列参数集级别、画面参数集级别、视点参数集级别、网络提取层单元报头级别、和与补充增强信息消息对应的级别(310)。
14.如权利要求9所述的方法，其中所述确定步骤进一步使用第一时间编码信息来确定与所述不同时间示例中的特定一个对应的任何画面是否丢失(325)。
15.如权利要求14所述的方法，其中所述确定步骤包括在先前解码的画面列表中搜索用于所述至少一个画面的视点间预测的至少一个参考画面，所述先前解码的列表代表所述第一时间编码信息的至少一部分(335)。
16.如权利要求15所述的方法，其中使用与所述至少一个参考画面对应的标识符和针对该至少一个画面的不同时间示例的特定一个来识别将要搜索的至少一个参考画面，所述至少一个画面是当前解码的画面(335)。
CNA2008800017950A 2007-01-04 2008-01-04 在多视点编码视频中使用高级语法参考视点的视频差错隐藏方法和装置 Pending CN101578876A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US88346007P 2007-01-04 2007-01-04
US60/883,460 2007-01-04

Publications (1)

Publication Number Publication Date
CN101578876A true CN101578876A (zh) 2009-11-11

Family

ID=39588024

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008800017950A Pending CN101578876A (zh) 2007-01-04 2008-01-04 在多视点编码视频中使用高级语法参考视点的视频差错隐藏方法和装置

Country Status (6)

Country Link
US (1) US20100061452A1 (zh)
EP (1) EP2116062A2 (zh)
JP (1) JP2010516098A (zh)
KR (1) KR20090099546A (zh)
CN (1) CN101578876A (zh)
WO (1) WO2008085876A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101715139B (zh) * 2009-11-16 2011-04-20 南京邮电大学 立体图像中基于互补掩盖方式的多模式误码掩盖方法
CN102918846A (zh) * 2010-02-24 2013-02-06 日本电信电话株式会社 多视点视频编码方法、多视点视频解码方法、多视点视频编码装置、多视点视频解码装置及程序
CN104904222A (zh) * 2013-01-07 2015-09-09 高通股份有限公司 对视频译码中的视频时序的图片次序计数与时序信息关系的信令

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080317124A1 (en) * 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
US9565449B2 (en) 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
KR20120118781A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오를 위한 단일화된 스케일러블 비디오 부호화 방법 및 그 장치, 다시점 비디오를 위한 단일화된 스케일러블 비디오 복호화 방법 및 그 장치
US9674525B2 (en) * 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9635355B2 (en) * 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
US9674519B2 (en) * 2012-11-09 2017-06-06 Qualcomm Incorporated MPEG frame compatible video coding
US11438609B2 (en) * 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
CN103533361B (zh) * 2013-10-21 2017-01-04 华为技术有限公司 多视点视差矢量的确定方法、编码设备及解码设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205784A (ja) * 1998-01-13 1999-07-30 Mitsubishi Electric Corp 画像復号装置
US7327791B1 (en) * 1999-02-22 2008-02-05 Mitsubishi Denki Kabushiki Kaisha Video decoding method performing selective error concealment and resynchronization
EP1603339A1 (en) * 2004-06-01 2005-12-07 STMicroelectronics S.r.l. Method and system for communicating video data in a packet-switched network, related network and computer program product therefor
US20060146734A1 (en) * 2005-01-04 2006-07-06 Nokia Corporation Method and system for low-delay video mixing
US8228994B2 (en) * 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
KR100889745B1 (ko) * 2006-01-09 2009-03-24 한국전자통신연구원 날 유닛 타입 표시방법 및 그에 따른 비트스트림 전달장치및 리던던트 슬라이스 부호화 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101715139B (zh) * 2009-11-16 2011-04-20 南京邮电大学 立体图像中基于互补掩盖方式的多模式误码掩盖方法
CN102918846A (zh) * 2010-02-24 2013-02-06 日本电信电话株式会社 多视点视频编码方法、多视点视频解码方法、多视点视频编码装置、多视点视频解码装置及程序
CN102918846B (zh) * 2010-02-24 2015-09-09 日本电信电话株式会社 多视点视频编码方法、多视点视频解码方法、多视点视频编码装置、多视点视频解码装置
CN104904222A (zh) * 2013-01-07 2015-09-09 高通股份有限公司 对视频译码中的视频时序的图片次序计数与时序信息关系的信令
CN104904222B (zh) * 2013-01-07 2018-12-04 高通股份有限公司 对视频译码中的视频时序的图片次序计数与时序信息关系的信令

Also Published As

Publication number Publication date
KR20090099546A (ko) 2009-09-22
WO2008085876A2 (en) 2008-07-17
JP2010516098A (ja) 2010-05-13
US20100061452A1 (en) 2010-03-11
EP2116062A2 (en) 2009-11-11
WO2008085876A3 (en) 2008-10-09

Similar Documents

Publication Publication Date Title
CN101578876A (zh) 在多视点编码视频中使用高级语法参考视点的视频差错隐藏方法和装置
TWI657695B (zh) 使用多視界視頻編碼及解碼之高階語法之改良式發信的方法
CN105532002B (zh) 网络装置和差错处理
CN101523920B (zh) 在视频操作期间使用网络抽象层单元以信号方式指示即时解码刷新的方法
CN103843340B (zh) 参考图片列表处理
CN101485208A (zh) 多视图视频的编码和解码方法及装置
CN101675667A (zh) 用于多视图编码的视频中的视频纠错的方法和装置
CN103797797A (zh) 参考画面信号通知
KR20060122663A (ko) 영상신호의 엔코딩 및 디코딩에서의 픽처 정보를 전송하고이를 이용하는 방법
US10334274B2 (en) Multi-view video codec supporting residual prediction
TW201244487A (en) Picture identification for multi-view video coding
CN103843341A (zh) 用于管理视频解码过程中的画面的解码器及其方法
CN101529914A (zh) 用于多视角视频编码的图像管理
CN103650502A (zh) 用于参考画面管理的编码器、解码器及其方法
CN101578873B (zh) 一种解码多视图视频内容的装置和方法
EP3611923B1 (en) Method for processing video with temporal layers
US6909450B2 (en) Video encoding and decoding method of mitigating data losses in an encoded video signal transmitted through a channel

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20091111