CN101518086B - 在多视图视频编码中用信号通知视图可分级性的方法和装置 - Google Patents

在多视图视频编码中用信号通知视图可分级性的方法和装置 Download PDF

Info

Publication number
CN101518086B
CN101518086B CN2007800350569A CN200780035056A CN101518086B CN 101518086 B CN101518086 B CN 101518086B CN 2007800350569 A CN2007800350569 A CN 2007800350569A CN 200780035056 A CN200780035056 A CN 200780035056A CN 101518086 B CN101518086 B CN 101518086B
Authority
CN
China
Prior art keywords
view
level
scalability
network abstraction
abstraction layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800350569A
Other languages
English (en)
Other versions
CN101518086A (zh
Inventor
珀文·B·潘迪特
苏野平
尹澎
克里斯蒂娜·戈米勒
吉尔·M·博伊斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101518086A publication Critical patent/CN101518086A/zh
Application granted granted Critical
Publication of CN101518086B publication Critical patent/CN101518086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

提供了用于在多视图视频编码中用信号通知视图可分级性的方法和装置。一种装置包括：编码器(100)，用于将与多视图视频内容相对应的至少一个视图的至少一个画面编码在所得到的比特流中。所述编码器使用消息、字段、标志和语法元素中的至少一个而用信号通知用于支持至少一个视图的视图可分级性的视图方向和视图等级中的至少一个。

Description

在多视图视频编码中用信号通知视图可分级性的方法和装置
相关申请交叉引用
本申请要求2006年7月20日提交的美国临时申请序列号60/807928以及2006年7月21日提交的美国临时申请序列号No.60/807974号的权益，上述两个申请通过引用而分别被整体合并于此。
技术领域
本原理一般地涉及视频编码和解码，更具体地涉及在多视图视频编码中用信号通知视图可分级性(view scalability)的方法和装置。
背景技术
多视图视频编码(MVC)序列是一组从不同的视点捕捉相同场景的两个或更多个视频序列。
在用于多视图视频编码(MVC)的联合模型中，提出对于NAL单元首部使用以下语法，如表1所示。
表1
  nal_unit_header_svc_mvc_extension(){   C   描述符
  svc_mvc_flag   全部   u(1)
  if(！svc_mvc_flag){
    simple_priority_id   全部   u(6)
    discardable_flag   全部   u(1)
    temporal_level   全部   u(3)
    dependency_id   全部   u(3)
    quality_level   全部   u(2)
  )else{
    reserved_bits   全部   u(2)
    temporal_level   全部   u(3)
      view_id   全部  u(10)
   }
    nalUnitHeaderBytes+＝2
}
然而，这仅仅提供时间可分级性，而不提供视图可分级性，并且时间可分级性仅仅是可选的。
此外，在用于多视图视频编码(MVC)的联合模型中，序列参数集(SPS)包括可用来导出信息的语法元素，该信息继而能够被用于视图可分级性。在下面在表2中示出这些语法元素。
表2
seq_parameter_set_mvc_extension(){ C   描述符
  sps_mvc_selection_flag   u(1)
  num_views_minus_1   ue(v)
  if(sps_mvc_selection_flag){
     num_multiview_refs_for_list0   ue(v)
     num_multiview_refs_for_list1   ue(v)
     for(i＝0；i＜num_multiview_refs_for_list0；i++){
        anchor_reference_view_for_list_0[i]   ue(v)
        non_anchor_reference_view_for_list_0[i]   ue(v)
     }
     for(i＝0；i＜num_multiview_refs_for_list1；i++){
        anchor_reference_view_for_list_1[i]   ue(v)
        non_anchor_reference_view_for_list_1[i]   ue(v)
     }
  }else{
     depdendency_update_flag   u(1)
     if(depdendency_update_flag＝＝1){
       for(j＝0；j＜num_views_minus_1；j++){
          anchor_picture_dependency_maps[i][j]   f(1)
          if(anchor_picture_dependency_maps[i][j]＝＝1)
          non_anchor_picture_dependency_maps[i][j]   f(1)
      }
    }
  }
}
然而，这一方法需要递归调用并且可能成为简单路由器的负担。
发明内容
本原理解决了现有技术的这些和其它缺点和劣势，本原理针对的是用于在多视图视频编码(MVC)中用信号通知视图可分级性的方法和装置。
根据本原理的一个方面，提供了一种装置。该装置包括：编码器，用于将与多视图视频内容相对应的至少一个视图的至少一个画面编码在所得到的比特流中。该编码器使用消息、字段、标志和语法元素中的至少一个而用信号通知用于支持至少一个视图的视图可分级性的视图方向和视图等级(level)中的至少一个。
根据本发明的另一方面，提供了一种方法。该方法包括：将与多视图视频内容相对应的至少一个视图的至少一个画面编码在所得到的比特流中。该编码步骤包括：使用消息、字段、标志和语法元素中的至少一个而用信号通知用于支持至少一个视图的视图可分级性的视图方向和视图等级中的至少一个。
根据本发明的另一方面，提供了一种装置。该装置包括：解码器，用于从所得到的比特流中将与多视图视频内容相对应的至少一个视图的至少一个画面解码。该解码器使用消息、字段、标志和语法元素中的至少一个确定用于支持至少一个视图的视图可分级性的视图方向和视图等级中的至少一个。
根据本发明的另一方面，提供了一种方法。该方法包括：从所得到的比特流中将与多视图视频内容相对应的至少一个视图的至少一个画面解码。该解码步骤包括：使用消息、字段、标志和语法元素中的至少一个确定用于支持至少一个视图的视图可分级性的视图方向和视图等级中的至少一个。
根据应当结合附图阅读的对示例实施例的以下详细描述，本原理的这些和其它方面、特征和优点将变得显而易见。
附图说明
根据以下示例图，将更好地理解本原理，在附图中：
图1是根据本原理实施例的可应用本原理的示例多视图视频编码(MVC)编码器的框图；
图2是根据本原理实施例的可应用本原理的示例多视图视频编码(MVC)解码器的框图；
图3是根据本原理实施例的可应用本原理的视图可分级性示例的图；
图4是根据本原理实施例的、用于将多视图视频内容编码并用信号通知其视图可分级性的示例方法的流程图；以及
图5是根据本原理实施例的、用于将多视图视频内容解码并且确定其视图可分级性的示例方法的流程图。
具体实施方式
本原理针对用于在多视图视频编码(MVC)中用信号通知视图可分级性的方法和装置。
本描述说明本原理。因此，将认识到，本领域技术人员将能够设计尽管在这里没有被明确描述或示出，但是能够实施本原理并且被包括在其精神和范围内的各种配置。
在此阐述的所有示例和条件性语言意欲用于教导的目的，以便帮助读者理解本原理以及发明人为了促进本领域而贡献的构思，并且应当被解释为不限于这种具体阐述的示例和条件。
此外，在此阐述本原理的原理、方面和实施例的所有陈述及其特定示例意在囊括其结构和功能等价物。此外，意在这种等价物包括当前已知的等价物以及将来开发的等价物，即，所开发的执行相同功能的任何元件，而与结构无关。
因此，例如，本领域技术人员将认识到，在此呈现的框图表示实施本原理的说明性电路的概念性视图。类似地，将认识到，任何流程图表、流程图、状态转移图、伪代码等表示基本上可以在计算机可读介质中表示出并且由此可以由计算机或处理器执行的各种处理，无论这种计算机或处理器是否被明确示出。
可以通过使用专用硬件以及与适当软件相关联的能够执行软件的硬件来提供图中示出的各种元件的功能。当由处理器提供时，所述功能可由单个专用处理器、单个共享处理器、或者其中一些可被共享的多个单独的处理器来提供。此外，术语“处理器”或“控制器”的明确使用不应被解释为专指能够执行软件的硬件，而是可以不受限制地隐含地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储装置。
还可以包括其它传统的和/或定制的硬件。类似地，图中示出的任何开关仅仅是概念性的。它们的功能可以通过程序逻辑的操作、专用逻辑、程序控制和专用逻辑的交互、或者甚至手动地执行，如根据上下文更具体地理解的那样，可以由实施者选择具体技术。
在这里的权利要求中，被表述为用于执行指定功能的部件的任何元素意在囊括执行该功能的任何方式，例如包括：a)执行该功能的电路元件的组合，或者b)与适当电路组合的、采用任何形式从而包括固件或微代码等的软件，所述适当电路用于执行该软件以执行所述功能。由这样的权利要求限定的本原理在于以下事实：按照权利要求所要求的方式组合和集合由各种所述部件提供的功能性。因此，认为能够提供那些功能性的任何部件都等同于这里示出的那些。
在本说明书中提到本原理的“一个实施例”或“实施例”是指：结合该实施例描述的特定特征、结构、特性等被包括在本原理的至少一个实施例中。因此，在本说明书中各个地方出现的短语“在一个实施例中”或“在实施例中”的出现不一定都指的是相同的实施例。
如在这里使用的那样，“高级(high level)语法”是指存在于在等级上位于宏块层之上的比特流中的语法。例如，如在这里使用的那样，高级语法可以指但不限于片段首部等级、补充增强信息(SEI)等级、画面参数集(PPS)等级、序列参数集(SPS)等级和网络抽象层(NAL)单元首部等级上的语法。
“I-视图”是指这样的视图：该视图可以使用仅从相同视图内的解码样本进行的预测来解码，并且不依赖于任何其它视图，从而能够被独立解码。
“P视图”是指这样的视图：该视图可以使用从相同视图内的解码样本进行的预测来解码，或者可以使用仅利用列表0放置先前解码的参考画面而从所述参考画面进行的视图间预测来解码。
“B视图”是指这样的视图：该视图可以使用从相同视图内的解码样本进行的预测来解码，或者可以使用利用列表0和列表1放置先前解码的参考画面而从所述参考画面进行的视图间预测来解码。
“视图等级”表示特定NAL单元的视图可分级性的等级。
“视图方向”表示相对于作为中心视图的I-视图的4个方向之一。可能的方向是左、右、上或下。
转到图1，利用参考标号100来总地表示示例多视图视频编码(MVC)编码器。编码器100包括组合器105，该组合器105具有在信号通信上与变换器110的输入相连接的输出。变换器110的输出在信号通信上与量化器115的输入相连接。量化器115的输出在信号通信上与熵编码器120的输入以及逆量化器125的输入相连接。逆量化器125的输出在信号通信上与逆变换器130的输入相连接。逆变换器130的输出在信号通信上与组合器135的第一正相输入相连接。组合器135的输出在信号通信上与内预测器(intrapredictor)145的输入和去块滤波器150的输入相连接。去块滤波器150的输出在信号通信上与参考画面存储器155(用于视图i)的输入相连接。参考画面存储器155的输出在信号通信上与运动补偿器175的第一输入和运动估计器180的第一输入相连接。运动补偿器180的输出在信号通信上与运动补偿器175的第二输入相连接。
参考画面存储器160(用于其它视图)的输出在信号通信上与差异(disparity)估计器170的第一输入和差异补偿器165的第一输入相连接。差异估计器170的输出在信号通信上与差异补偿器165的第二输入相连接。
熵解码器120的输出可用作编码器100的输出。组合器105的正相输入可用作编码器100的输入，并且在信号通信上与差异估计器170的第二输入和运动估计器180的第二输入相连接。开关185的输出在信号通信上与组合器135的第二正相输入和组合器105的反相输入相连接。开关185包括在信号通信上与运动补偿器175的输出相连接的第一输入、在信号通信上与差异补偿器165的输出相连接的第二输入、以及在信号通信上与内预测器145的输出相连接的第三输入。
转到图2，利用参考标号200来总地表示示例多视图视频编码(MVC)解码器。解码器200包括熵解码器205，其具有在信号通信上与逆量化器210的输入相连接的输出。逆量化器的输出在信号通信上与逆变换器215的输入相连接。逆变换器215的输出在信号通信上与组合器220的第一正相输入相连接。组合器220的输出在信号通信上与去块滤波器225的输入和内预测器230的输入相连接。去块滤波器225的输出在信号通信上与参考画面存储器240(用于i视图)的输入相连接。参考画面存储器240的输出在信号通信上与运动补偿器235的第一输入相连接。
参考画面存储器245(用于其它视图)的输出在信号通信上与差异补偿器250的第一输入相连接。
熵编码器205的输入可用作到解码器200的输入，用于接收残留的(residue)比特流。此外，开关255的控制输入也可用作到解码器200的输入，用于接收控制语法以便控制开关255选择哪个输入。另外，运动补偿器235的第二输入可用作解码器200的输入，用于接收运动向量。此外，差异补偿器250的第二输入可用作到解码器200的输入，用于接收差异向量。
开关255的输出在信号通信上与组合器220的第二正相输入相连接。开关255的第一输入在信号通信上与差异补偿器250的输出相连接。开关255的第二输入在信号通信上与运动补偿器235的输出相连接。开关255的第三输入在信号通信上与内预测器230的输出相连接。模式模块260的输出在信号通信上与开关255相连接，用于控制开关255选择哪个输入。去块滤波器225的输出可用作解码器的输出。
根据本原理，提供用于在多视图视频编码(MVC)中用信号通知视图可分级性的方法和装置。
在实施例中，使用消息、字段、标志和语法元素中的至少一个来用信号通知和/或指示视图可分级性。在实施例中，通过高级语法元素来用信号通知视图可分级性。例如，在实施例中，通过在网络抽象层(NAL)单元首部内用信号通知视图可分级性来支持视图可分级性。
如上所述，在多视图视频编码(MVC)的当前实现中，不存在支持视图可分级性的方法。在实施例中，我们通过修改NAL单元首部来解决该问题。也就是说，我们将足以支持视图可分级性的与视图可分级性有关的信息包括在NAL单元首部内。
在其它实施例中，可以在包括但不限于序列参数集(SPS)、画面参数集(PPS)、补偿增强信息(SEI)消息、和片段首部中的语法的一个或多个其它高级语法中提供用于指示视图可分级性的高级语法。应当认识到，可以在带内或带外用信号通知视图可分级性信息。
在NAL单元首部实施例的一个实现中，我们描述NAL单元首部中的现有比特的重新使用以便用信号通知视图可分级性信息。因此，我们提出用信号通知视图方向，并且对于每个视图，我们提出用信号通知可分级性。对于I-视图，可以使用后缀NAL单元来描述属于此视图的NAL单元，从而对于该视图不需要方向信息。
对于所有其它视图，在实施例中，可以使用两比特来用信号通知方向。当然，也可以使用不同数目的比特，同时保持本原理的精神。
在图3中并且使用表1的所提出的语法图示视图可分级性的实施例。转到图3，利用参考标号300来总地表示可应用本原理的视图可分级性示例。在图3中，我们有从中心I-视图起的4个方向。I-视图不需要方向信息，因为将利用与国际标准化组织/国际电工委员会(ISO/IEC)运动画面专家组-4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟，电信部分(ITU-T)H.264推荐稿(以下称为“MPEG-4AVC标准”)兼容的语法来对其进行编码，并且将使用后缀NAL单元来用信号通知该信息。使用两比特的view_direction语法元素来指示所有其它视图方向。这在图3中的前两个比特中示出。图3中的其它三个比特对应于view_level信息。使用这五个比特的组合，可以实现粗略的视图可分级性。
例如，如果将目标值设置为view_direction＜＝01并且view_level＝000，则在此情况下，将选择I-视图、方向0和方向1。在每个视图内，只有P-视图会被选择，并且所有B-视图将被丢弃。
可能存在两比特不足以分配方向的情况。在这种情况下，一种解决方案是将照相机分组。
该信息还用信号通知相关性信息，从而也可被用于粗略的随机访问。例如，如果我们需要方向2上的P-视图，则我们设置view_direction＝10并且view_level＝＝000。这样，我们可以实现方向2上的随机访问P-视图。
表3
  nal_unit_header_svc_mvc_extension(){   C   描述符
       svc_mvc_flag   全部   u(1)
       if(！svc_mvc_flag){
         simple_priority_id   全部   u(6)
         discardable_flag   全部   u(1)
       temporal_level   全部  u(3)
       dependency_id   全部  u(3)
       quality_level   全部  u(2)
      }else{
       view_direction   全部  u(2)
       view_level   全部  u(3)
       View_id   全部  u(10)
   }
    nalUnitHeaderBytes+＝2
}
转到图4，利用参考标号400来总地表示用于将多视图视频内容编码并且用信号通知其视图可分级性的示例方法。
方法400包括将控制传递到功能块405的开始块400。功能块405读取编码器配置文件，并且将控制传递到功能块415。功能块415将view_direction、view_level和view_id设置为用户定义的值，并且将控制传递到功能块420。功能块420在序列参数集(SPS)、画面参数集(PPS)、视图参数集(VPS)、片段首部、和/或NAL单元首部中设置view_level、view_id和view_direction，并且将控制传递到功能块425。功能块425使视图数目等于变量N，使变量i(视图编号索引)和j(画面编号索引)等于0，并且将控制传递到判定块430。判定块430确定i是否小于N。如果是，则将控制传递到功能块435。否则，将控制传递到功能块470。
功能块435确定j是否小于视图i中的画面数目。如果是，则将控制传递到功能块440。否则，将控制传递到功能块490。
功能块440开始将当前宏块编码，并且将控制传递到功能块445。功能块445选择宏块模式，并且将控制传递到功能块450。功能块450将当前宏块编码，并且将控制传递到判定块455。判定块455确定是否所有宏块都已经被编码。如果是，则将控制传递到功能块460。否则，使控制返回功能块440。
功能块460递增变量j，并且将控制传递到功能块465。功能块465递增frame_num和画面顺序计数(POC)值，并且使控制返回判定块435。
判定块470确定是否在带内用信号通知序列参数集(SPS)、画面参数集(PPS)、和/或视图参数集(VPS)。如果是，则将控制传递到功能块475。否则，将控制传递到功能块480。
功能块475将序列参数集(SPS)、画面参数集(PPS)、和/或视图参数集(VPS)写入文件(带内)，并且将控制传递到功能块485。
功能块480在带外写入序列参数集(SPS)、画面参数集(PPS)、和/或视图参数集(VPS)，并且将控制传递到功能块485。
功能块485将比特流写入文件或者经由网络流式传送该比特流，并且将控制传递到结束块499。
功能块490递增变量i，重置frame_num和画面顺序计数(POC)值，并且使控制返回判定块430。
转到图5，利用参考标号500来总地指示用于将多视图视频内容解码并且确定其视图可分级性的示例方法。
方法500包括将控制传递到功能块510的开始块505。功能块510从序列参数集(SPS)、画面参数集、视图参数集、片段首部、和/或NAL单元首部分析view_id、view_direction和view_level，并且将控制传递到功能块515。功能块515使用view_direction、view_level和view_id来确定是否需要将当前画面解码(检查相关性)，并且将控制传递到判定块520。判定块520确定当前画面是否需要解码。如果是，则将控制传递到功能块530。否则，将控制传递到功能块525。
功能块525获取下一个画面，并且将控制传递到功能块530。
功能块530分析片段首部，并且将控制传递到功能块535。功能块535分析宏块模式、运动向量和ref_idx，并且将控制传递到功能块540。功能块540将当前宏块解码，并且将控制传递到判定块545。判定块545确定是否已经将所有宏块解码。如果是，则将控制传递到功能块550。否则，使控制返回功能块535。
功能块550将当前画面插入解码画面缓冲器，并且将控制传递到判定块555。判定块555确定是否已经将所有画面解码。如果是，则将控制传递到结束块599。否则，使控制返回功能块530。
现在，将给出对于本发明的很多伴随的优点/特征中的一些的描述，所述优点/特征中的一些已经在上面提到过。例如，一个优点/特征是包括用于将与多视图视频内容相对应的至少一个视图的至少一个画面编码在所得到的比特流中的编码器的装置。该编码器使用消息、字段、标志和语法元素中的至少一个而用信号通知用于支持至少一个视图的视图可分级性的视图方向和视图等级中的至少一个。
另一个优点/特征是具有如上所述的编码器的装置，其中，所述语法元素是高级语法元素。
另一个优点/特征是具有所述编码器的所述装置，所述编码器使用如上所述的高级语法元素，其中，所述高级语法元素被包括在序列参数集、画面参数集、补充增强信息消息、片段首部、和网络抽象层单元首部的至少一个中。
另一个优点/特征是具有如上所述的编码器的装置，其中，通过带内和带外的至少一种而用信号通知视图方向和视图等级中的至少一个。
此外，另一个优点/特征是具有如上所述的编码器的装置，其中，使用视图方向和视图等级作为相关性信息。
此外，另一个优点/特征是具有所述编码器的装置，其中，如上所述使用视图方向和视图等级作为相关性信息，其中所述相关性信息用于解码器对至少一个视图的随机访问。
此外，另一个优点/特征是具有如上所述的编码器的装置，其中，使用后缀网络抽象层单元来指定紧接在前面的网络抽象层单元，并且其中，在后缀网络抽象层单元中用信号通知视图方向和视图等级。
基于这里的教导，本相关领域普通技术人员可以容易地确定本原理的这些和其它特征和优点。应当理解的是，可以用硬件、软件、固件、专用处理器或其组合的各种形式来实现本原理的教导。
最优选的是，作为硬件和软件的组合来实现本原理的教导。此外，可以作为有形地包含在程序存储单元上的应用程序来实现所述软件。所述应用程序可以被上载到包括任何适当架构的机器并由其执行。优选地，在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口的硬件的计算机平台上实现所述机器。该计算机平台还可以包括操作系统和微指令代码。在此描述的各种处理和功能可以是可由CPU执行的微指令代码的一部分或应用程序的一部分或者它们的任何组合。此外，诸如附加的数据存储单元和打印单元的各种其它外围单元可以连接到该计算机平台。
还应当理解，因为优选地用软件来实现在附图中示出的一些组成系统组件和方法，所以这些系统组件或处理功能块之间的实际连接可以根据本原理被编排的方式而不同。给出这里的教导，相关领域的普通技术人员将能够想到本原理的这些和类似的实现或配置。
尽管在这里参照附图描述了说明性实施例，但是应当理解，本原理不限于那些精确的实施例，并且相关领域的普通技术人员可以在其中进行各种改变和修改，而不背离本原理的范围或精神。所有这样的改变和修改都意在被包括在如所附权利要求阐述的本原理的范围内。

Claims (24)

1.一种在多视图视频编码中用信号通知视图可分级性的装置，包括：
编码器(100)，用于将与多视图视频内容相对应的至少一个视图的至少一个画面编码在所得到的比特流中，其中，所述编码器使用消息、字段、标志和语法元素中的至少一个用信号通知视图方向和视图等级中的至少一个，用于支持至少一个视图的视图可分级性；
其中所述语法元素是在等级上位于宏块层之上的比特流中存在的高级语法元素，所述视图方向表示相对于作为中心视图的I-视图的四个方向之一，所述视图等级表示特定NAL单元的视图可分级性的等级。
2.如权利要求1所述的装置，其中，所述高级语法元素被包括在序列参数集、画面参数集、补充增强信息消息、片段首部、和网络抽象层单元首部的至少一个中。
3.如权利要求1所述的装置，其中，通过带内和带外的至少一种用信号通知视图方向和视图等级中的至少一个。
4.如权利要求1所述的装置，其中，使用视图方向和视图等级作为相关性信息。
5.如权利要求4所述的装置，其中所述相关性信息用于解码器对至少一个视图的随机访问。
6.如权利要求1所述的装置，其中，使用后缀网络抽象层单元来指定紧接在前面的网络抽象层单元，并且其中，在后缀网络抽象层单元中用信号通知视图方向和视图等级。
7.一种在多视图视频编码中用信号通知视图可分级性的方法，包括：
将与多视图视频内容相对应的至少一个视图的至少一个画面编码在所得到的比特流中，其中，所述编码步骤包括使用消息、字段、标志和语法元素中的至少一个用信号通知视图方向和视图等级中的至少一个(475，480)，用于支持至少一个视图的视图可分级性；
其中所述语法元素是在等级上位于宏块层之上的比特流中存在的高级语法元素，所述视图方向表示相对于作为中心视图的I-视图的四个方向之一，所述视图等级表示特定NAL单元的视图可分级性的等级。
8.如权利要求7所述的方法，其中，所述高级语法元素被包括在序列参数集、画面参数集、补充增强信息消息、片段首部、和网络抽象层单元首部中的至少一个中(475，480)。
9.如权利要求7所述的方法，其中，通过带内(475)和带外(480)的至少一个用信号通知视图方向和视图等级中的至少一个。
10.如权利要求7所述的方法，其中，使用视图方向和视图等级作为相关性信息。
11.如权利要求10所述的方法，其中所述相关性信息用于解码器对至少一个视图的随机访问。
12.如权利要求7所述的方法，其中，使用后缀网络抽象层单元来指定紧接在前面的网络抽象层单元，并且其中，在后缀网络抽象层单元中用信号通知视图方向和视图等级。
13.一种在多视图视频解码中确定视图可分级性的装置，包括：
解码器(200)，用于从所得到的比特流中将与多视图视频内容相对应的至少一个视图的至少一个画面解码，其中所述解码器使用消息、字段、标志和语法元素中的至少一个确定视图方向和视图等级中的至少一个，用于支持至少一个视图的视图可分级性；
其中所述语法元素是在等级上位于宏块层之上的比特流中存在的高级语法元素，所述视图方向表示相对于作为中心视图的I-视图的四个方向之一，所述视图等级表示特定NAL单元的视图可分级性的等级。
14.如权利要求13所述的装置，其中，所述高级语法元素被包括在序列参数集、画面参数集、补充增强信息消息、片段首部、和网络抽象层单元首部中的至少一个中。
15.如权利要求13所述的装置，其中，通过带内和带外的至少一种用信号通知视图方向和视图等级中的至少一个。
16.如权利要求13所述的装置，其中，使用视图方向和视图等级作为相关性信息。
17.如权利要求16所述的装置，其中所述相关性信息用于对所述至少一个视图的随机访问。
18.如权利要求13所述的装置，其中，使用后缀网络抽象层单元来指定紧接在前面的网络抽象层单元，并且其中，在后缀网络抽象层单元中用信号通知视图方向和视图等级。
19.一种在多视图视频解码中确定视图可分级性的方法，包括：
从所得到的比特流中将与多视图视频内容相对应的至少一个视图的至少一个画面解码，其中所述解码步骤包括使用消息、字段、标志和语法元素中的至少一个确定视图方向和视图等级中的至少一个(515)，用于支持至少一个视图的视图可分级性；
其中所述语法元素是在等级上位于宏块层之上的比特流中存在的高级语法元素，所述视图方向表示相对于作为中心视图的I-视图的四个方向之一，所述视图等级表示特定NAL单元的视图可分级性的等级。
20.如权利要求19所述的方法，其中，所述高级语法元素被包括在序列参数集(SPS)、画面参数集(PPS)、补充增强信息(SEI)消息、片段首部、和网络抽象层(NAL)单元首部中的至少一个中(510)。
21.如权利要求19所述的方法，其中，通过带内和带外的至少一种用信号通知视图方向和视图等级中的至少一个。
22.如权利要求19所述的方法，其中，使用视图方向和视图等级作为相关性信息。
23.如权利要求22所述的方法，其中所述相关性信息用于对所述至少一个视图的随机访问。
24.如权利要求19所述的方法，其中，使用后缀网络抽象层单元来指定紧接在前面的网络抽象层单元，并且其中，在后缀网络抽象层单元中用信号通知视图方向和视图等级。
CN2007800350569A 2006-07-20 2007-07-10 在多视图视频编码中用信号通知视图可分级性的方法和装置 Active CN101518086B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US80792806P 2006-07-20 2006-07-20
US60/807,928 2006-07-20
US80797406P 2006-07-21 2006-07-21
US60/807,974 2006-07-21
PCT/US2007/015788 WO2008010932A2 (en) 2006-07-20 2007-07-10 Method and apparatus for signaling view scalability in multi-view video coding

Publications (2)

Publication Number Publication Date
CN101518086A CN101518086A (zh) 2009-08-26
CN101518086B true CN101518086B (zh) 2013-10-30

Family

ID=38885505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800350569A Active CN101518086B (zh) 2006-07-20 2007-07-10 在多视图视频编码中用信号通知视图可分级性的方法和装置

Country Status (7)

Country Link
US (1) US20090147860A1 (zh)
EP (3) EP2044777A2 (zh)
JP (6) JP5135342B2 (zh)
KR (1) KR101353204B1 (zh)
CN (1) CN101518086B (zh)
BR (1) BRPI0714564B1 (zh)
WO (1) WO2008010932A2 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2044777A2 (en) * 2006-07-20 2009-04-08 Thomson Licensing Method and apparatus for signaling view scalability in multi-view video coding
JP4984184B2 (ja) * 2009-04-08 2012-07-25 ソニー株式会社 再生装置および再生方法
TWI384887B (zh) * 2009-06-11 2013-02-01 Univ Nat Central 多視點影像編解碼方法
US8780999B2 (en) * 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US8411746B2 (en) * 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
CN102860008B (zh) * 2010-01-06 2016-05-11 杜比实验室特许公司 用于多层视频系统的复杂度自适应可伸缩解码及流处理
WO2012006299A1 (en) 2010-07-08 2012-01-12 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered image and video delivery using reference processing signals
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
ES2885250T3 (es) 2010-07-21 2021-12-13 Dolby Laboratories Licensing Corp Sistemas y métodos para la entrega de vídeo multicapa compatible de trama
CN103155559B (zh) * 2010-10-12 2016-01-06 杜比实验室特许公司 用于帧兼容视频传输的联合层优化
US9635355B2 (en) * 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9674525B2 (en) * 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
EP2811744A1 (en) * 2012-01-31 2014-12-10 Sony Corporation Image processing apparatus and image processing method
US9161004B2 (en) * 2012-04-25 2015-10-13 Qualcomm Incorporated Identifying parameter sets in video files
WO2014007596A1 (ko) * 2012-07-06 2014-01-09 삼성전자 주식회사 다계층 비디오 부호화 방법 및 장치, 다계층 비디오 복호화 방법 및 장치
WO2014011595A1 (en) * 2012-07-09 2014-01-16 Vid Scale, Inc. Codec architecture for multiple layer video coding
MX354814B (es) * 2012-09-28 2018-03-22 Sharp Kk Dispositivo de decodificacion de imagenes.
KR20140092198A (ko) * 2013-01-07 2014-07-23 한국전자통신연구원 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식
US9591321B2 (en) 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
SG10201913539SA (en) * 2013-04-07 2020-02-27 Dolby Int Ab Signaling change in output layer sets
WO2014166328A1 (en) * 2013-04-08 2014-10-16 Mediatek Singapore Pte. Ltd. Method and apparatus for quantization matrix signaling and representation in scalable video coding
US9571812B2 (en) 2013-04-12 2017-02-14 Disney Enterprises, Inc. Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding
US9602822B2 (en) * 2013-04-17 2017-03-21 Qualcomm Incorporated Indication of cross-layer picture type alignment in multi-layer video coding
JP2018088617A (ja) * 2016-11-29 2018-06-07 株式会社オーディオテクニカ マイクロホン

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1462561A (zh) * 2001-05-08 2003-12-17 皇家菲利浦电子有限公司 用于多视图合成的方法
CN1501701A (zh) * 2002-09-20 2004-06-02 阿尔卡特加拿大公司 多视图视频馈送
CN1545808A (zh) * 2002-06-20 2004-11-10 ������������ʽ���� 解码设备和解码方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010056374A (ko) * 1999-12-15 2001-07-04 박종섭 다중 비디오 디코딩 장치
MY134659A (en) * 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
US7415069B2 (en) * 2003-12-09 2008-08-19 Lsi Corporation Method for activation and deactivation of infrequently changing sequence and picture parameter sets
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
JP4668602B2 (ja) * 2004-12-24 2011-04-13 富士フイルム株式会社 立体視画像生成装置および方法並びにプログラム
KR100943912B1 (ko) * 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
KR100959536B1 (ko) * 2006-03-30 2010-05-27 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
EP2044777A2 (en) * 2006-07-20 2009-04-08 Thomson Licensing Method and apparatus for signaling view scalability in multi-view video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1462561A (zh) * 2001-05-08 2003-12-17 皇家菲利浦电子有限公司 用于多视图合成的方法
CN1545808A (zh) * 2002-06-20 2004-11-10 ������������ʽ���� 解码设备和解码方法
CN1501701A (zh) * 2002-09-20 2004-06-02 阿尔卡特加拿大公司 多视图视频馈送

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PURVIN PANDIT ET AL.Comments on High-Level syntax for MVC.《 ISO/IEC JTC1/SC29/WG11 MPEG2006/M13319》.2006,全文. *

Also Published As

Publication number Publication date
JP2013048436A (ja) 2013-03-07
JP5135342B2 (ja) 2013-02-06
WO2008010932A3 (en) 2008-03-13
JP2013232970A (ja) 2013-11-14
EP2632163A2 (en) 2013-08-28
EP2044777A2 (en) 2009-04-08
JP6422849B2 (ja) 2018-11-14
JP6681441B2 (ja) 2020-04-15
JP2018201210A (ja) 2018-12-20
EP3179725B1 (en) 2024-05-08
KR101353204B1 (ko) 2014-01-21
JP5621018B2 (ja) 2014-11-05
EP3179725A1 (en) 2017-06-14
KR20090040296A (ko) 2009-04-23
JP5319831B2 (ja) 2013-10-16
CN101518086A (zh) 2009-08-26
JP2015019413A (ja) 2015-01-29
WO2008010932A2 (en) 2008-01-24
EP2632163A3 (en) 2013-11-27
JP5876554B2 (ja) 2016-03-02
US20090147860A1 (en) 2009-06-11
JP2016076983A (ja) 2016-05-12
JP2009545206A (ja) 2009-12-17
BRPI0714564A2 (pt) 2013-03-12
BRPI0714564B1 (pt) 2020-09-15

Similar Documents

Publication Publication Date Title
CN101518086B (zh) 在多视图视频编码中用信号通知视图可分级性的方法和装置
US8363724B2 (en) Methods and apparatus using virtual reference pictures
CN101682769B (zh) 用于视频编码和解码的跳过-直接模式的取决于环境的合并的方法和装置
CN101889448B (zh) 将视频可用性信息(vui)并入多视图视频(mvc)编码系统的方法和装置
KR101967398B1 (ko) 모션 정보를 시그널링하기 위한 구문을 수반하는 비디오 코딩을 위한 방법 및 장치
KR101479185B1 (ko) 다중-뷰 비디오 코딩(ｍｖｃ) 정보의 인코딩에 슬라이스 그룹들을 이용하기 위한 방법 및 장치
KR101524146B1 (ko) 다운샘플링된 기준 화상을 이용한 인터-뷰 예측
TW201244487A (en) Picture identification for multi-view video coding
CN101569197A (zh) 针对多视点视频编码和解码使用高级语法进行改进信号通知的方法和装置
CN104205819A (zh) 用于视频编码的方法和装置
WO2008024345A1 (en) Adaptive region-based flipping video coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne - Billancourt

Patentee before: THOMSON LICENSING

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190527

Address after: American Delaware

Patentee after: Interactive Digital VC Holdings

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right