CN101999228A - 针对多视角视频内容的运动跳跃和单环路编码 - Google Patents

针对多视角视频内容的运动跳跃和单环路编码 Download PDF

Info

Publication number
CN101999228A
CN101999228A CN200880120881.3A CN200880120881A CN101999228A CN 101999228 A CN101999228 A CN 101999228A CN 200880120881 A CN200880120881 A CN 200880120881A CN 101999228 A CN101999228 A CN 101999228A
Authority
CN
China
Prior art keywords
pictures
picture
input sequence
motion
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880120881.3A
Other languages
English (en)
Inventor
陈颖
M·安尼克塞拉
王业奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101999228A publication Critical patent/CN101999228A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了系统、方法和有形地包含在存储介质中的计算机程序，用于针对多视角视频编码来实现运动跳跃和单环路解码。在各种实施方式中，针对当前具有8×8或4×4像素视差运动矢量精度的JMVM布置使用更有效的运动跳跃，同时维持与有关分层化宏块分区的H.264/AVC设计相兼容的运动补偿过程。可以使用自适应参考合并以便实现从一个视角间参考图片更精确的运动跳跃。为了指示图片是否将用于运动跳跃，可以使用NAL单元报头中的语法变型或新的语法元素。

Description

针对多视角视频内容的运动跳跃和单环路编码
技术领域
本发明的示例性实施方式一般涉及视频编码，更具体地，本发明涉及针对多视角视频内容的视频编码。
背景技术
本部分意在为权利要求书中阐述的本发明提供背景或上下文。此处的描述可以包括可被探究的原理，但是这些原理并不必须是以前已经构思过或者探究过的那些。因此，除非在此指出，否则在本部分中所描述的并不是本申请说明书和权利要求书的现有技术，也不因为包括在此部分中就承认是现有技术。
视频编码标准包括ITU-T H.261、ISO/IEC运动图片专家组(MPEG)-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Video、ITU-TH.263、ISO/IEC MPEG-4 Visual和ITU-T H.264(也称为ISO/IECMPEG-4高级视频编码(AVC))。另外，当前正在努力开发新的视频编码标准。正在开发的一个这种标准是可伸缩视频编码(SVC)标准，其将成为对H.264/AVC的可伸缩扩展。另一正在开发的这种标准是多视角视频编码(MVC)标准，其将成为H.264/AVC的另一种扩展。
在多视角视频编码中，从不同照相机输出的视频序列被编码成一个比特流，其中每个视频序列对应于不同的视角。在解码之后，为了显示特定视角，重建属于该视角的已解码图片并进行显示。还有可能对不止一个视角进行重建和显示。多视角视频编码具有广泛的应用，包括自由视点视频/电视、3D TV和监视应用。目前，ISO/IEC运动图片专家组(MPEG)和ITU-T视频编码专家组的联合视频组(JVT)正在从事开发MVC标准的工作，其正成为H.264/AVC的扩展。这些标准在此分别称为MVC和AVC。
MVC的最新工作草案在2007年6-7月于瑞士日内瓦举办的第24次JVT会议中提出的JVT-X209，“Joint Draft 4.0 on MultiviewVideo Coding”中进行了描述，其可从ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVT-X209.zip得到。除了在MVC的工作草案中定义的特征之外，其他潜在的特征，尤其是关注于编码工具的那些特征在联合多视角视频模型(JMVM)中进行了描述。最新版本的JMVM在2007年6-7月于瑞士日内瓦举办的第24次JVT会议中提出的JVT-X207，“Joint Multiview Video Model(JMVM)5.0”中进行了描述，其可从ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVT-X207.zip得到。
图1是示出了典型的MVC解码顺序(也即，比特流顺序)的表示。解码顺序安排称为时间优先编码。每个存取单元定义为包含针对一个输出时间实例的所有视角的编码图片。应当注意，存取单元的解码顺序可以与输出顺序或显示顺序不相同。图2中示出了用于多视角视频编码的典型的MVC预测(包括每个视角内的图片间预测和视角间预测二者)结构。在图2中，通过箭头指示预测，其中每个被指向的对象使用相应的来源对象作为预测参考。
传统上，在MVC中使用多环路解码。在多环路解码中，为了解码目标视角，除了目标视角本身之外，还需要利用运动补偿环路对目标视角进行视角间预测所需的每个视角进行完全的重建。例如，如果只输出视角1(图2中示出为S1)，则视角0和视角2中的所有图片必须被完全地重建。多环路解码相比于单视角编码(其中每个视角使用例如H.264/AVC独立地编码成其自己的比特流)需要多得多的计算和存储器。这是因为，在多环路解码中，属于其他视角但却是视角间预测所需要的所有图片必须被完全地重建并且存储在解码图片缓存器中。
在MVC联合草案(JD)4.0中，在序列参数集合(SPS)MVC扩展中规定了视角依赖关系。针对锚图片和非锚图片的依赖关系是单独规定的。因此，锚图片和非锚图片可以具有不同的视角依赖关系。然而，对于参考相同SPS的图片集合，所有锚图片必须具有相同的视角依赖关系，而且所有非锚图片必须具有相同的视角依赖关系。在SPS MVC扩展中，针对在RefPicList0和RefPicList1中用作参考图片的视角，用信号单独发送给各依赖视角。
存在多个仅需要输出编码视角的子集的用例。这些特定视角称为目标视角或输出视角。目标视角可以依赖于其他视角，这些其他视角不是用于输出，或者说不是用于解码的。目标视角所依赖的但是不用于输出的这些特定视角称为依赖视角。
由图片P使用于视角间预测的图片称为图片P的视角间参考图片。视角间参考图片可以属于目标视角或依赖视角。尽管按照在SPSMVC扩展中用信号发送的视角依赖关系，一个视角被其他视角所依赖，但是在一个视角中的特定图片可能从来不会用于视角间预测。在JD 4.0中，在网络提取层(NAL)单元报头中存在视角间标志(inter_view_flag)，其指示包含此NAL单元的图片是否用于其他视角中的图片的视角间预测。
可以在两个方向上用信号发送依赖视角。这些方向对应于两个参考图片列表的视角间预测参考图片，这两个参考图片列表即第一参考图片列表RefPicList0，也称为前向参考图片列表，和第二参考图片列表RefPicList1，也称为后向参考图片列表。对应于RefPicList0的依赖视角称为前向依赖视角，而对应于RefPicList1的依赖视角称为后向依赖视角。就图2中所示的示例而言，视角0是视角1的前向依赖视角，而视角2是视角1的后向依赖视角。
在MVC JD 4.0中，仅纹理预测支持视角间预测(也即，仅重建的样本值可以用于视角间预测)，并且仅仅那些与当前图片相同输出时间实例的重建图片用于视角间预测。如此处所讨论的，MVC JD4.0中传统的视角间预测称为视角间样本预测。
作为JMVM中的编码工具，运动跳跃根据视角间参考图片来预测宏块(MB)模式和运动矢量，并且其仅应用于非锚图片。在编码期间，当对锚图片进行编码时，估计全局视差运动矢量(GDMV)，继而导出用于非锚图片的GDMV，使得用于非锚图片的GDMV是根据两个相邻锚图片的GDMV的加权平均。GDMV具有16像素精度，也即，对于当前图片(即正被编码或解码的图片)中的任何MB，按照GDMV在视角间参考图片中移动的对应区域刚好覆盖视角间参考图片中的一个MB。
出于简化目的，集合术语“同位(co-located)块”在此用于描述运动视差补偿后，视角间参考图片中对应的4×4、8×4、4×8块或8×8MB分区。在一些情况下，术语“同位MB分区”用于描述对应的MB分区，而术语“同位MB”用于描述对应的MB。
正常情况下，来自第一前向依赖视角的图片用作运动跳跃视角间参考图片。然而，如果第一前向依赖视角的图片中的同位MB是帧内编码的，那么考虑另一候选，来自第一后向依赖视角的图片的同位MB(如果存在的话)。如果这两个MB都是帧内编码的，那么不能使用运动跳跃来对当前的MB进行编码。
图3中示出了运动跳跃的一个示例，其中视角0是依赖视角，视角1是将要被输出和显示的目标视角(在图3中标记为“当前解码视角”)。利用视差运动，当对视角1中的诸多MB进行解码时，定位视角0中对应的MB，并且将它们的模式和运动矢量被重复用作针对视角1中的各MB的MB模式和运动矢量。视角间样本预测对应于多环路解码，因为其需要针对用于视角间样本预测的视角间参考图片进行运动补偿，而与之不同，运动跳跃本身并不需要对用于运动跳跃的视角间参考图片进行运动补偿。然而，在当前的MVC标准草案中，由于视角间样本预测和运动跳跃同时存在，因此需要多环路解码。
在H.264/AVC的扩展版本(也称为SVC)中支持单环路解码(SLD)。在2007年6-7月于瑞士日内瓦举办的第24次JVT会议中提出的JVT-X201，“Joint Draft 11 of SVC Amendment”中描述了SVC规范，该文档可从ftp3.itu.ch/av-arch/jvt-site/2007_06_Geneva/JVT-X201.zip得到。SVC中SLD的基本概念如下。为了对依赖于多个较低层的目标层进行解码，仅需要对目标层本身进行完全解码。对于较低层，仅需要对帧内MB进行解析和解码。SVC中的SLD仅需要目标层处的运动补偿。因而，SLD提供了显著的复杂度降低。而且，由于较低层不需要运动补偿，并且在解码图片缓存器(DPB)中不需要存储样本值，因此解码器存储需求相比于多环路解码得以明显降低，而在多环路解码中，正如在早期视频编码标准的可扩展简档中一样，在每一层中都需要运动补偿和完全解码。同样原理可应用于MVC，从而仅对目标视角进行完全解码。
以下是对H.264/AVC中选择的特征的讨论。在H.264/AVC中，片(slice)中的各MB可以具有用于帧间预测的不同参考图片。用于特定MB或MB分区的参考图片选自参考图片列表，所述参考图片列表提供针对解码图片缓存器中可用的并且用于预测参考的解码图片的索引。针对每个MB或MB分区以及每个预测方向，用信号发送参考索引以指派用于帧间预测的参考图片。
H.264/AVC中的参考图片列表构造可以描述如下。首先，构造包括所有短期和长期参考图片的初始参考图片列表，这些参考图片标记为“用于参考”。然后在片报头包含参考图片列表重排序(RPLR)命令时，执行参考图片列表重排序。RPLR过程可以将参考图片重新排序成与初始列表中的顺序不同的顺序。在重新排序之后，初始列表和最终列表二者都只包含由片报头中的语法元素或由该片所参考的图片参数集合所指示的特定数目的条目。
在H.264/AVC中，每个图片编码成一个或多个片，其可以包括五种片类型--I、SI、P、SP或B。I片中的MB被编码为帧内MB。P片或B片中的MB被编码为帧内MB或帧间MB。P片中的每个帧间MB是一个P间MB或由P间MB分区构成。B片中的每个帧间MB是一个P间MB或一个B间MB，或者由P间MB分区或B间MB分区构成。对于P间MB或MB分区，可以使用仅来自一个方向的预测。对于B间MB或MB分区，可以使用来自两个方向的预测，其中对来自两个参考图片的两个预测块进行样本加权以得到最终的预测MB或MB分区。
对于P片中的P间MB或MB分区，唯一的预测方向来自RefPicList0。来自RefPicList0的预测称为前向预测，尽管参考帧在显示顺序上可以是在当前图片之前或之后。对于B片中的P间MB或MB分区，唯一的预测方向可以来自RefPicList0或RefPicList1。当预测来自RefPicList0时，其称为前向预测。否则，其称为后向预测。
当MB或MB分区具有仅来自RefPicList0的参考索引时，其参考状态定义为前向预测。当MB或MB分区具有仅来自RefPicList1的参考索引时，其参考状态定义为后向预测。当MB或MB分区具有来自RefPicList0和RefPicList1二者的两个参考索引时，其参考状态定义为双向预测。
对于任何MB或MB分区，取决于编码模式，其参考状态可以是以下之一：(a)帧内，(b)B间(双向预测)，(c)P间前向预测以及(d)P间后向预测。此处第一状态指示为非法，其他三个状态指示是合法的。
对于每个MB，MB可以被编码为帧内MB或帧间MB。当对MB进行帧间编码时，其可以被进一步划分为MB分区，其大小可以为16×16、16×8、8×16或8×8，如图4上部分所示。每个MB或MB分区共享相同的参考状态和相同的参考索引(若为双向预测，则有多个索引)。此外，每个MB或MB分区可以划分为8×8、8×4、4×8或4×4的块(或子宏块分区)，如图4下部分所示。每个块中的样本共享相同的运动矢量(或者针对双向预测为2个运动矢量，针对一个方向存在一个运动矢量)。迄今开发的所有基于H.264/AVC或兼容的标准都遵循此层级化MB分区，因为其将使得针对运动补偿部分的硬件设计模块可应用于H.264/AVC的扩展标准。
对于每个MB、MB分区或4×4块，如果使用来自RefPicListX的帧间预测，则此MB、MB分区或4×4块标记为“使用ListX”(其中X是0或1)。否则，此MB、MB分区或4×4块标记为“未使用ListX”。
JMVM中传统的运动跳跃方法基于全局视差运动，并且全局视差运动在水平和垂直两个方向上均具有16像素的精度。利用16像素精度的全局视差运动，直接复制完整MB的模式和运动矢量，使得此信息不需要逐块地来计算。然而，全局视差运动的精度影响运动跳跃的性能，因为全局视差运动的精度越高，将导致越有效的运动跳跃，由此导致更高的编码效率。通常此全局运动可以通过图像配准算法来找出，其中位移是优化问题的解。当使用8像素精度时，在位移的每个方向(x轴或y轴)上，一个单位对应于8个像素。因此，各同位MB与视角间参考图片中8×8块的边界对准。当使用4像素精度时，在位移的每个方向(x轴或y轴)上，一个单位对应于4个像素。因此，各同位MB与视角间参考图片中4×4块的边界对准。
测试序列的一个测试涉及针对同一时间实例内但是来自不同视角的图片对，搜索具有4像素精度的最优位移。在此测试中，具有导致MB边界对准的最优位移(x轴和y轴上的位移值可以被4整除)的图片对的百分比大约为20％。这表示，基于4像素精度的配准可以提供比基于16像素精度的配准更好的配准性能。
在H.264/AVC中，运动场中的运动矢量可以分配给每个4×4块，也即，运动场的样本具有4像素的精度。因此，视差运动(其目的在于重复使用来自视角间参考图片的运动矢量)可以适宜地具有相同的精度。
当运动视差具有4像素精度并且假设运动视差值的每个单位代表4个像素时，当前图片中的每个8×8MB分区可以定位到4个8×8MB分区中(例如，如图5和图6所示)、1个8×8MB分区中(例如，如图7所示)或者2个8×8MB分区中(例如，如图8所示)。第一情形中运动视差的值与(1，1)是模2同余的，第二情形中这些值与(0，0)是模2同余的，而第三情形中这些值与(1，0)或(0，1)是模2同余的。正如在此所使用的那样并且除非明确指出，否则MB分区默认是指8×8MB分区，而块默认是指4×4块。
当视差运动具有4像素精度时，可能产生多个问题。在B片中，按照H.264/AVC层级化宏块分区，每个MB分区中的所有块必须同时被前向预测(“使用List0”但是“未使用List1”)、后向预测(“使用List1”但是“未使用List0”)或双向预测(“使用List0”且“使用List1”)。然而，如果视差矢量与(1，1)模2同余，则同位MB分区可能打破此规则。例如如图5所示，同位MB分区的四个同位块属于四个分别进行了后向预测、前向预测、双向预测和双向预测的MB分区。
附加地，当使用多个参考图片时，MB分区可能具有不同的参考索引并且参考不同的参考图片。如图6所示，如果视差矢量与(1，1)模2同余，那么存在来自视角间参考图片的四个MB分区，其覆盖了同位MB中的左上同位MB分区。这些8×8MB分区可以具有不同的参考索引。例如，如图6所示，在前向预测方向上，参考索引可以分别是0、1、2和0。然而，按照H.264/AVC层级化宏块分区，无论何时“使用ListX”(其中X为0或1)，在H.264/AVC中帧间MB的8×8MB分区中的块都只可能具有针对一个预测方向的相同参考索引。
而且，如果视差矢量与(0，0)模2同余，并且视差矢量与8×8块(或者说MB分区)边界对准，则可能出现这样的情况：同位MB中的一个或多个同位MB分区对应于来自针对运动跳跃所考虑的视角间参考图片的帧内MB中的像素。例如如图7所示，当前MB的右上8×8MB分区对应于帧内MB中的像素。因此，不能使用运动跳跃，因为没有可供右上8×8MB分区复制的运动信息。当视差运动矢量具有8像素精度(其中视差运动矢量的每个单位表示8个像素)并且值不与(0，0)模2同余时，也存在这一问题。
除以上之外，针对运动跳跃信令还存在多个问题。例如，对于依赖视角中的图片，根据视角依赖关系可以确定其可以用作视角间参考图片。然而，不能知晓其是否用于视角间样本预测或用于运动跳跃。NAL单元报头中的视角间标志(inter_view_flag)指示图片是否被任何其他视角用于视角间样本预测。如果依赖视角图片仅用于运动跳跃，则不需要重建样本值，其中如果图片是帧间编码的，则样本值的重建需要运动补偿。因而，解码器常规上仍然必须对图片进行完全解码并且存储已解码图片，即使该图片仅用于运动跳跃。这导致了较高的复杂度和额外的存储器使用。
此外，尽管有些片可以受益于运动跳跃，但是其他片可能不能从中受益。然而，在传统的JMVM布置中，每个MB需要指示来指明在该MB中是否使用运动跳跃。这不必要地浪费了比特并且降低了编码效率。
而且，传统的JMVM布置仅用信号发送锚图片处的全局视差运动，这引起多个其自身的问题。这些问题包括：(1)事实上最优视差可能随图片而变化，因而推导出的视差可能并非对于所有图片都是最优的；以及(2)用于锚图片的视角间参考图片可能不同于用于非锚图片的那些视角间参考图片，这意味着，对于特定非锚图片，在两个相邻锚图片中针对视角间参考图片而用信号发送的视差运动即使在加权之后也可能不适用。
更进一步地，对于特定MVC比特流，针对所有非锚图片，如果基于依赖视角的视角间预测仅包含运动跳跃，也即，没有视角间样本预测，则依赖视角不需要在非锚图片处进行完全重建。相反，可以简单地对依赖视角中的非锚图片进行解析以获取MB模式和用于运动跳跃的运动信息。然而，在传统布置中，解码器并不知道有可能是单环路解码。
除上述内容之外，当前的运动跳跃基于全局视差运动。然而，在实践中，两个视角之间的最优转换可能是非线性的，并且具有不同深度和不同位置的对象可能需要不同的视差。在有些具有从一个小区域到另一个区域快速变化的运动行为的序列中，对于每个MB而言全局视差不够精确。因此，从编码效率的角度看，运动跳跃编码系统是次优的。
发明内容
通过使用本发明的示例性实施方式，解决了前述和其他问题，并且实现了其他优势。
在本发明示例性实施方式的第一方面中，提供一种方法，包括：将第一输入图片序列和第二输入图片序列编码到比特流中，其中第一输入图片序列的第一输入图片可以或者可以不旨在用于输出，并且其中第二输入图片序列的第二输入图片旨在用于输出；包括指示视差运动的视差信号指示；使用运动推导方法、按照所述视差运动从第一输入图片推导出至少一个运动矢量；以及在对第二输入图片的编码中使用至少一个推导出的运动矢量。
在本发明示例性实施方式的另一方面中，提供一种设备，包括：处理器；以及可通信地连接到处理器的存储器单元，其包括被配置用于将第一输入图片序列和第二输入图片序列编码到比特流中的计算机代码，其中第一输入图片序列的第一输入图片可以或者可以不旨在用于输出，并且其中第二输入图片序列的第二输入图片旨在用于输出；被配置用于包括指示视差运动的视差信号指示的计算机代码；被配置用于使用运动推导方法、按照所述视差运动从第一输入图片推导出至少一个运动矢量的计算机代码；以及被配置用于在对第二输入图片的编码中使用至少一个推导出的运动矢量的计算机代码。
在本发明示例性实施方式的另一方面中，提供一种设备，包括：用于将第一输入图片序列和第二输入图片序列编码到比特流中的装置，其中第一输入图片序列的第一输入图片可以或者可以不旨在用于输出，并且其中第二输入图片序列的第二输入图片旨在用于输出；用于包括指示视差运动的视差信号指示的装置；用于使用运动推导方法、按照所述视差运动从第一输入图片推导出至少一个运动矢量的装置；以及用于在对第二输入图片的编码中使用至少一个推导出的运动矢量的装置。
在本发明示例性实施方式的又一方面中，提供一种方法、计算机程序和设备，其被配置用于将第一输入图片序列和第二输入图片序列编码到比特流中；以及在第一输入图片序列的片报头中用信号发送运动是否是通过从第二序列中的图片的推导而生成的。
在本发明示例性实施方式的再一方面中，提供一种方法、计算机程序和设备，其被配置用于将第一输入图片序列和第二输入图片序列编码到比特流中；以及在网络提取层单元报头中用信号发送第二输入图片序列中的图片是否被第一输入图片序列中的至少一个图片用于运动跳跃。
在本发明示例性实施方式的另一方面中，提供一种方法、计算机程序和设备，其被配置用于从比特流接收第一输入图片序列和第二输入图片序列；接收网络提取层单元报头中的信号，该信号指示第二输入图片序列中的图片是否被第一输入图片序列中的至少一个图片用于运动跳跃，以及如果该信号指示第二输入图片序列中的图片被第一输入图片序列中的至少一个图片用于运动跳跃，则在对第一输入图片序列中的所述至少一个图片进行解码时，使用第二输入图片序列中的所述图片以用于运动跳跃。
在本发明示例性实施方式的另一方面中，提供一种方法、计算机程序和设备，其被配置用于接收第一输入图片序列和第二输入图片序列，第一输入图片序列的片报头包括有关运动是否是通过从第二序列中的图片的推导而生成的信号，以及如果第一输入图片序列的片报头中的所述信号指示运动是通过从第二序列中的图片的推导而生成的，则使用从第二序列中的图片推导出的运动来对第一输入图片序列中的至少一个图片进行解码。
在本发明示例性实施方式的又一方面中，提供一种方法、计算机程序和设备，其被配置用于将第一输入图片序列和第二输入图片序列编码到比特流中，其中第一输入图片序列的第一输入图片可以或者可以不旨在用于输出，并且其中第二输入图片序列的第二输入图片旨在用于输出；包括指示宏块视差运动的视差信号指示；使用运动推导方法、按照所述视差运动从第一输入图片推导出至少一个运动矢量；以及使用至少一个推导出的运动矢量以用于运动补偿。
在本发明示例性实施方式的又一方面中，提供一种设备，其包括用于将第一输入图片序列和第二输入图片序列编码到比特流中的装置，其中第一输入图片序列的第一输入图片可以或者可以不旨在用于输出，并且其中第二输入图片序列的第二输入图片旨在用于输出；用于包括指示宏块视差运动的视差信号指示的装置。所述设备进一步包括用于使用运动推导方法、按照所述视差运动从第一输入图片推导出至少一个运动矢量的装置，该至少一个推导出的运动矢量用于运动补偿。所述设备进一步包括用于在比特流中包括至少一个进一步指示的装置，所述至少一个进一步指示用于指示以下中的至少一个：图片是否在对所述至少一个运动矢量的推导中使用，视角是否使用任何其他视角以用于视角间样本预测，以及视角是否支持单环路解码。
附图说明
图1是示出了典型的MVC解码顺序(也即，比特流顺序)的表示；
图2是用于多视角视频编码的典型的MVC预测(包括每个视角内的图片间预测以及视角间预测二者)结构的表示；
图3是示出了使用视差运动矢量的运动跳跃示例的图示；
图4是示出了在传统的基于H.264/AVC或兼容的标准中使用的层级化宏块分区布置的表示；
图5是位于在针对运动跳跃所考虑的视角间参考图片中具有不同参考状态的多个MB分区中的同位8×8分区示例；
图6是位于在针对运动跳跃所考虑的视角间参考图片中具有不同参考索引值的多个MB分区中的同位分区示例；
图7是对应于针对运动跳跃所考虑的视角间参考图片的帧内MB中的像素的同位8×8分区示例；
图8是位于两个8×8MB分区内的8×8分区的表示；
图9是可以在其中实施本发明各种实施方式的通用多媒体通信系统的图形表示；
图10是示出了按照各种实施方式当存在一个或多个视角间参考图片时所遵循的算法中涉及的过程的流程图；
图11是按照各种实施方式的运动矢量缩放的图形表示；
图12(a)是在非法同位MB分区中的四个块以及它们的类别(缩放1、缩放2和缩放3)的表示；以及图12(b)是代表图12(a)中诸多块的单个块以及该块的相应的4个相邻块的图示；
图13是示出了由两个视角间参考图片预测的可用运动信息的示例；
图14是来自相邻MB的(A，B，D和C)的运动视差预测的表示；
图15是可以结合本发明各种实施方式的实现一起使用的电子设备的透视图；以及
图16是可以包括在图15的电子设备中的电路的示意性表示。
具体实施方式
本发明的各种示例性实施方式涉及用于实现运动跳跃和单环路解码以用于多视角视频编码的系统和方法。在各种示例性实施方式中，针对当前具有8×8或4×4像素视差运动矢量精度的JMVM布置使用更有效的运动跳跃，同时维持与有关分层化宏块分区的H.264/AVC设计相兼容的运动补偿过程。该系统和方法可应用于多环路解码和单环路解码。
针对上面提到的有关8像素或4像素精度运动跳跃的问题，可以使用自适应参考合并以便实现从一个视角间参考图片更精确的运动跳跃。这种自适应参考合并也可以应用于多个视角间参考图片。对于存在多个视角间参考图片的情形，尤其是针对不同方向上的多个视角间参考图片的情形，可以使用组合的运动跳跃算法。
针对前面提到的信令问题，为了指示图片是否将用于运动跳跃，可以使用NAL单元报头中的语法变型或新的语法元素。为了指示图片是否使用了运动跳跃，可以在片报头中添加标志，并且可以在用于每个片的片报头中用信号发送相关的视差运动矢量。比特流的单环路解码功能可以在序列级别用信号发送。还可以用信号发送针对每个MB或MB分区的运动视差。
在视角之间使用视角间预测时，使用本发明各种示例性实施方式以用于改善编码效率，同时在不将某些视角用于输出时还降低整体复杂度。此外，此处讨论的各种运动跳跃布置也可以用于单环路解码，其针对仅视角间预测需要而不用于输出的那些视角不应用运动补偿。
本发明的这些和其他优势和特征，以及其组织和操作的方式将从结合附图的下述具体描述中变得明显，其中贯穿下述若干附图，类似的元素具有类似的标号
图9是可以在其内实现本发明的各种实施方式的通用多媒体通信系统的图形表示。如图9所示，数据源100以模拟格式、未压缩数字格式或压缩数字格式或这些格式的任意组合来提供源信号。编码器110将源信号编码成已编码媒体比特流。应当注意，要解码的比特流可以直接或间接地接收自实际上位于任意类型的网络内的远程设备。此外，比特流可以接收自本地硬件或软件。编码器110可能能够对不止一种媒体类型(诸如，音频和视频)进行编码，或者可能需要不止一个编码器110以对源信号的不同媒体类型进行编码。编码器110还可以得到合成产生的输入，诸如图形和文本，或者其能够产生合成媒体的已编码比特流。在下文中，仅考虑对一种媒体类型的一个已编码媒体比特流进行处理，以便简化描述。然而，应当注意的是，典型实时广播服务包括若干流(典型地，至少一个音频、视频和文本字幕流)。还应当注意的是，系统可以包括很多编码器，但是在图9中，不失一般性地，仅示出一个编码器110，以简化描述。进一步应当理解，尽管包含在此的文字和示例可能具体描述了编码过程，但是本领域技术人员容易理解，相同的概念和原理还可以应用至对应的解码过程，反之亦然。
已编码媒体比特流传输至储存器120。储存器120可以包括任何类型的海量存储器以存储已编码媒体比特流。储存器120中已编码媒体比特流的格式可以是基本自包含的(elementary self-contained)比特流格式，或者一个或多个已编码比特流可以封装至容器文件中。某些系统“直播”操作，即，省略储存器而直接将已编码媒体比特流从编码器110传输至发送器130。已编码媒体比特流随后传输至发送器130，根据需要，也称为服务器。在传输中使用的格式可以是基本自包含的比特流格式、分组流格式，或者一个或多个已编码媒体比特流可以封装至容器文件中。编码器110、储存器120和服务器130可以位于相同物理设备中，或者它们可以包括在单独的设备中。编码器110和服务器130可以利用直播实时内容进行操作，在该情况下，已编码媒体比特流通常不会被永久存储，而是在内容编码器110和/或在服务器130中缓冲一小段时间，以平滑处理延迟、传输延迟和已编码媒体比特速率中的变动。
服务器130使用通信协议栈来发送已编码媒体比特流。作为多个非限制性示例，栈可以包括但不限于实时传输协议(RTP)、用户数据报协议(UDP)和因特网协议(IP)。当通信协议栈是面向分组的时候，服务器130将已编码媒体比特流封装至分组中。例如，当使用RTP时，服务器130根据RTP净荷格式将已编码媒体比特流封装至RTP分组中。通常，每个媒体类型具有专用的RTP净荷格式。再次需要注意，系统可以包含多于一个的服务器130，但是为了简化，以下描述仅考虑一个服务器130。
服务器130可以或可以不通过通信网络连接至网关140。网关140可以执行不同类型的功能，诸如将按照一种通信协议栈的分组流转译成另一通信协议栈，对数据流进行合并以及分流，以及根据下行链路和/或接收器的能力操纵数据流，诸如根据现行的下行链路网络条件控制转发的流的比特速率。网关140的各种非限制性示例包括MCU、电路交换和分组交换视频电话之间的网关、蜂窝一键通(PoC)服务器、手持数字视频广播(DVB-H)系统中的IP封装器，或者将广播传输本地转发到家庭无线网络的机顶盒。当使用RTP时，网关140被称为RTP混合器或者RTP转译器，并且通常充当RTP连接的端点。
系统包括一个或者多个接收器150，其通常能够接收并解调已传输的信号，以及将其解封装为已编码的媒体比特流。已编码的媒体比特流被传送到记录储存器155。记录储存器155可以包括任意类型的海量存储器以便存储已编码的媒体比特流。记录储存器155可以备选地或附加地包括计算存储器，诸如随机访问存储器。记录储存器155中的已编码媒体比特流的格式可以是基本自包含的比特流格式，或者一个或多个已编码媒体比特流可以封装至容器文件中。如果有很多已编码媒体比特流，诸如音频流和视频流，其彼此相关联，则通常使用容器文件，并且接收器150包括或者附接至基于输入流而产生容器文件的容器文件生成器。某些系统“直播”操作，即，省略记录储存器155而直接将已编码媒体比特流从接收器150传输至解码器160。在有些系统中，仅所记录流的最新的部分，例如所记录流的最近10分钟的摘录，被保持在记录储存器155中，而从记录储存器155中丢弃任何更早的记录数据。
已编码媒体比特流从记录储存器155传输至解码器160。如果有很多已编码媒体比特流，诸如音频流和视频流，其彼此相关联并且被封装到容器文件中，则可以使用文件解析器(图中未示出)来将每个已编码媒体比特流从该容器文件中解封装出来。记录储存器155或解码器160可以包括该文件解析器，或者该文件解析器附接至记录储存器155或解码器160。
已编码媒体比特流通常进一步由解码器160处理，解码器的输出是一个或者多个未压缩的媒体流。最后，呈现器170可以例如通过扬声器或者显示器来重现未压缩的媒体流。接收器150、记录储存器155、解码器160和呈现器170可以位于相同物理设备中，或者它们可以被包含在单独的设备中。
按照本发明各种示例性实施方式的发送器130可以被配置用于出于多个理由而选择传输的层，诸如为了响应接收器150的请求或者响应传送比特流的网络的主导条件。来自接收器150的请求例如可以是针对用于显示的层的改变或者相比于先前的设备具有不同功能的呈现设备的改变的请求。
以下描述和讨论是当仅有一个视角间参考图片用于运动跳跃时用于使得同位MB可用于运动跳跃的算法。下文提供对早先定义的一些概念的多个新的定义和扩展。之后是至少解决前面讨论的各种问题的算法的非限制性示例。
正如前面已讨论的那样，视角间参考图片中的同位MB分区可能不服从层级化宏块分区，因此不能直接用于运动跳跃。一种此类情形涉及这样的场景，一个或多个块被指定“使用ListX”，而其他块被指定“未使用ListX”。正如此处所讨论的那样，如果同位MB分区的所有块都被指定为“使用ListX”(其中X为0或1)，则该同位MB分区被指定“使用ListX”。
如果以下所有条件都为真，则同位MB分区被定义为合法的：首先，该MB分区内的所有块都同时是“使用List0”且“使用List1”，或者“使用List0”且“未使用List1”，或者“未使用List0”且“使用List1”。满足此条件的MB分区具有“好参考”。否则该MB分区具有“坏参考”。第二，如果MB分区被指定“使用ListX”，那么该MB分区内的所有块都同时使用RefPicListX(其中X为0或1)中列出的相同参考图片。应当注意，如果所有块都在同一片内，或者如果所有块都在包含相同的参考图片列表重排序命令(如果存在的话)的片内，那么使用RefPicListX中列出的同一参考图片的所有块等效于使用RefPicListX中同一参考图片索引的所有块。如果上述条件中任一为假，则同位MB分区被定义为非法的。如果MB的所有MB分区都是合法的，则该MB被定义为合法的。否则该MB被定义为非法的。如果视差矢量和(0，0)模2同余，也即，同位MB分区与视角间参考图片的MB分区边界对准，则这些同位MB分区中的每一个自然是合法的，只要其位于视角间参考图片中的帧内MB内。这是因为视角间参考图片中的任何MB分区都服从层级化宏块分区。
图10是示出了按照各种实施方式、当存在一个或多个视角间参考图片时所遵循的算法中涉及的过程的流程图。当对当前图片的MB进行编码时并且在运动跳跃模式的检查期间，在使用视差运动获取同位MB分区之后，调用图10中绘出的算法。
图10中绘出的算法导致两种类型的退出：合法MB退出或非法MB退出。合法MB退出是指当前MB支持运动跳跃模式。非法MB退出是指运动跳跃模式不用于当前MB。对于MB，如果支持运动跳跃模式，则运动跳跃模式最终是否用于对MB进行编码取决于在编码效率方面其是否比其他编码模式更好。对于MB，如果使用运动跳跃模式，则使用为此MB生成的运动信息，从而直接或间接地用于进一步的运动补偿。
在图10所绘的算法中涉及一对过程。在图10中，第一过程开始于1005处所绘的点，在1075处所绘的点之前结束。此过程称为MB分区运动合并。在MB分区运动合并中，非法同位MB分区可以转变成合法同位MB分区。第二过程开始于第一过程结束时(如1075处所绘)，结束于1072、1085、1100或1110处所绘的点处。第二过程负责将非法同位MB进一步转变成合法同位MB，并且以非法MB退出或合法MB退出结束。此过程称为MB运动合并。在解码期间，如果MB使用运动跳跃模式，则类似地应用此算法，除非可能的退出是合法MB退出。将为此MB生成的运动信息直接或间接地用于进一步的运动补偿。在MB分区运动合并过程中，逐个检查同位MB分区。如下处理每个同位MB分区。如果当前的同位MB分区是合法的，则在此过程中不需要进一步的处理并且接着处理下一个同位MB分区。否则，如果当前的同位MB分区是非法的，则应用如下处理。如果当前的同位MB分区具有“坏参考”，则应用参考状态合并过程以将“坏参考”修复为“好参考”。如果参考状态合并过程失败，则同位MB分区仍然为非法，接着处理下一个同位MB分区。
如果当前的同位MB分区具有“好参考”(可以是在上述过程之前同位MB分区就具有“好参考”，或者通过上述过程而使得具有“好参考”)，则首先针对X为0，然后针对X为1应用如下处理。如果当前的同位MB分区是“使用ListX”，则顺序地调用参考索引合并过程和运动矢量生成和缩放过程(下文描述)。
参考索引合并过程保证：在此过程之后，当前同位MB分区内的块使用相同的参考图片用于每个预测方向的帧间预测。运动矢量生成和缩放过程对用于在参考索引合并过程期间RefPicListX中的参考图片已经改变的块的运动矢量进行缩放，以及生成用于在参考索引合并过程之前不与RefPicListX的运动信息相关联的块的运动矢量。
只要当前同位MB内的一个同位MB分区是非法的，图10中所绘算法的MB运动合并过程就试图将非法同位MB修复为合法。当对该非法同位MB分区进行处理时，忽略其运动信息(如果存在的话)。代替地，由MB运动合并过程来生成用于此非法同位MB分区的运动信息，其中MB运动合并过程包括预测生成过程和运动矢量生成过程。对于X的每个值(0或1)，预测生成过程试图将非法同位MB分区设置为“使用ListX”并且试图为此同位MB分区设置参考索引。对于X的每个值(0或1)，当同位MB分区“使用ListX”时，运动矢量生成过程生成与用于RefPicListX的参考索引相关联的运动矢量。此描述假设仅使用了一个视角间参考图片。然而，图10的算法也可以扩展到多个视角间参考图片可用的情形，如后文所描述的。
MB分区运动合并的第一过程试图使非法同位MB分区变成合法，并且此过程逐一应用于当前同位MB中的所有四个同位MB分区。如果同位MB分区碰巧横过视角间参考图片的片边界，那么不同块中的相同参考索引值可能不对应于相同的参考图片。在这种情况下，每个块中的参考索引(如果可用的话)首先被映射到它的参考图片P，并且在当前图片的RefPicListX中搜索参考图片P的参考索引。如果找到可用的参考索引(标记为idx)，那么应用此处所定义的过程，就如同该块的参考索引是针对当前图片的RefPicListX的idx。如果未找到可用的参考索引，则将其视为“未使用ListX”。如果同位块或MB分区具有引用RefPicListX中的视角间参考图片的参考索引，则也将其视为“未使用ListX”。以下描述了MB分区运动合并过程的参考状态合并过程、参考索引合并过程以及运动矢量生成和缩放过程。
参考状态合并过程尝试将具有“坏参考”的同位MB分区转变为具有“好参考”。前向和后向预测状态分别对应于“使用List0”和“使用List1”，其可以分开处理。以下处理首先应用于为0的X，然后是为1的X。情况1涉及视差矢量和(0，0)模2同余的情形。同位MB分区位于视角间参考图片的一个MB分区中。不需要进行合并。情况2涉及视差矢量和(1，0)或(0，1)模2同余的情形。同位MB分区位于视角间参考图片的两个MB分区中。如果这两个MB分区都“使用ListX”，则该同位MB分区被指定“使用ListX”。否则，该同位MB分区被指定“未使用ListX”。情况3涉及视差矢量和(1，1)模2同余的情形。同位MB分区包括视角间参考图片的4个MB分区中的四个块。如果这些块中有3个或4个被指定“使用ListX”，则该同位MB分区被指定“使用ListX”。否则，该同位MB分区被指定“未使用ListX”。如果该同位MB分区被指定“使用ListX”，则其所有块都被指定“使用ListX”。
在参考状态合并之后，如果同位MB分区被指定“使用List0”但“未使用List1”、“使用List1”但“未使用List0”或者“使用List0”且“使用List1”，则其具有“好参考”。以下过程(也即，参考索引合并过程和运动矢量生成和缩放过程)仅可应用于具有“好参考”的MB分区。在本文另一实施方式中，同位MB分区可设置成具有“坏参考”，如果其属于B片并且不是双向预测，也即“未使用List0”或者“未使用List1”，则在针对此同位MB分区的该过程中停止进一步的处理。
如果同位MB分区在参考状态合并过程中已经修复成具有“好参考”，则其可以通过参考索引合并过程而转变成合法同位MB分区。当X为0或1时应用参考索引合并过程。
针对参考索引合并引入两个规则。第一个规则用于选择最小参考索引值。第二个规则用于从此同位MB分区中的诸多块中选择最常用参考索引值。根据需要或希望，也可以实施其他规则。
针对上述情况1、2和3的解决方案如下。如果当前同位MB分区“使用ListX”，则应用以下处理。在情况1的情形下(其中视差矢量和(0，0)模2同余)，跳过参考索引合并过程。在情况2的情形下(其中视差矢量和(1，0)或(0，1)模2同余)，选择视角间参考图片中这两个MB分区的最小参考索引值。在情况3的情形下(其中视差矢量和(1，1)模2同余)，应用如下四个解决方案之一。第一，选择视角间参考图片中四个块的最小参考索引值。第二，从视角间参考图片中的四个块中选择对应于在显示顺序上与当前图片最接近的参考图片的参考索引值。第三，选择视角间参考图片中的四个块中最常用的参考索引。如果有不止一个值最常使用，则选择具有较小(最小)参考索引值的值。第四，选择视角间参考图片中的四个块中最常用的参考索引。如果有不止一个值最常使用，则选择对应于在显示顺序上与当前图片最接近的参考图片的值。
由上可知，用于这四个块的、引用RefPicListX中的图片的可能不同的参考索引可以统一成一个参考索引。用于该同位MB分区的最终参考索引称为统一参考索引，并且对应的参考图片称为统一参考图片。
图11图形化表示出了当X为0或1时应用运动矢量缩放和生成过程，该过程逐一应用于当前同位MB分区中的所有四个块。针对同位MB分区中的块，以下任一情况都有可能。在第一种情况中，块在参考状态合并之前被指定“使用ListX”并且参考索引值在参考索引合并期间未被修改。在第二种情况中，块在参考状态合并之前被指定“使用ListX”，但其参考索引值在参考索引合并期间被修改。在第三种情况中，块被指定“未使用ListX”，但其已经转变为“使用ListX”，并且在参考索引合并期间已经为它指派了参考索引。
在上述第一种情况中，不需要运动矢量缩放和生成。在第二种情况中，按照公式mv′＝td*mv/to对运动矢量进行缩放，其中再次参考图11，mv是原始运动矢量，mv′是经缩放的运动矢量，td是当前图片与统一参考图片之间的距离，to是当前图片与原始(在先)参考图片之间的距离。td和to的单位都是PicOrderCnt差值，其中PicOrderCnt指示如H.264/AVC中所规定的图片输出顺序(也即，显示顺序)。在上述第三种情况中，如下生成运动矢量。根据参考状态合并过程，针对RefPicListX，如果MB分区已经转变成“使用ListX”，则在同位MB分区中至多一个块可以是“未使用ListX”。因此，同位MB分区包含至多一个块属于第三种情况。此块的参考索引被设置为统一参考索引。通过下述两种方法中的任一方法来为引用RefPicListX中的图片的块生成运动矢量：
1.使用基于其他块中三个运动矢量的中值操作。如果这3个运动矢量中的任意运动矢量已被缩放，则在此中值操作中使用已缩放的运动矢量。继而将该块的运动矢量设置为这三个运动矢量的中值。
2.使用尚未被缩放的运动矢量。如果仅有一个运动矢量尚未被缩放，则使用此运动矢量作为该块的运动矢量。如果有两个块的两个运动矢量尚未被缩放，则将这两个运动矢量的平均用作该块的运动矢量。在其他情况下(也即，如果没有运动矢量被缩放)，则使用第一种方法中的中值操作。
应当注意，对于上述第三种情况，针对同位MB分区中的至多两个块，可以由于参考索引合并过程期间所引用的图片的改变而对运动矢量进行缩放。
算法的第二个过程，也即MB运动合并，可以将仅具有一个非法同位MB分区的非法同位MB转变成合法同位MB。在此过程期间，若存在非法同位MB分区的运动信息，则将其忽略。在此过程的开始，非法同位MB被设置为“未使用List0”且“未使用List1”。此过程包含两个主要过程，预测生成和运动矢量生成。
预测生成过程试图使非法同位MB分区从“未使用List0”且“未使用List1”变成“使用List0”或“使用List1”或二者均有。
以下处理首先应用于为0的X，接着是为1的X。如果其他三个同位MB分区被指定“使用ListX”，则该非法同位MB分区被设置为“使用ListX”，并且基于以下规则中的任一规则来为此同位MB分区选择参考索引：(1)从其他3个同位MB分区中选择最小参考索引值；(2)从其他三个同位MB分区中选择最常用参考索引值。在(2)中，如果有不止一个值最常使用，则选择具有较小(最小)参考索引值的那个值。
运动矢量生成过程根据其他三个同位MB分区中的运动矢量，为非法同位MB分区中的四个块生成四个运动矢量。以下处理首先应用于为0的X，接着应用于为1的X。在其他三个同位MB分区中，以下处理中仅考虑与该非法同位MB分区具有相同的参考索引的那些的运动矢量。将非法同位MB分区中的四个块划分为3个类型：(1)缩放1，该块最接近同位MB的中心；(2)缩放3，该块离同位MB的中心最远；以及(3)缩放2，其他两个块，如图12(a)所示。对于每个块，如图12(b)所示，左边、右边、上面和下面的块称为4相邻块。按照下述来生成用于非法同位MB分区中的四个块的运动矢量。
1.对于缩放1中的块，其具有两个位于该同位MB中的其他同位MB分区内的4相邻块。这两个4相邻块被称为候选块1和2。其他同位MB分区中的第三候选块是作为候选块1和2二者的4相邻块的那个块。对于这三个候选块，使用与非法同位MB分区具有相同的参考索引值(其由预测生成过程生成)的那些的运动矢量来生成缩放1中的块的运动矢量。如果这三个候选块中仅有一个合格，那么将此块的运动矢量复制作为缩放1中的块的运动矢量。如果三个候选块中有两个合格，则将缩放1中的块的运动矢量设置成这两个块的运动矢量的平均。如果所有三个候选块都合格，则将缩放1中的块的运动矢量设置成这三个候选块的三个运动矢量的中值。
2.对于缩放2中的块，其具有一个位于其他同位MB分区内的4相邻块。这个4相邻块是唯一的候选块。如果此候选块与非法同位MB分区具有相同的参考索引，则将缩放2中的块的运动矢量设置为该候选块的运动矢量。否则，将该缩放2中的块的运动矢量设置为缩放1中的块的运动矢量。
3.针对缩放2中的另一块重复过程(2)。
4.针对缩放3中的块，其不具有位于同位MB中的其他同位MB分区内的4相邻块。如果在过程(2)或(3)中，候选块具有与非法同位MB分区不同的参考索引，则将缩放3中的块的运动矢量设置为缩放1中的块的运动矢量。否则，将此块的运动矢量设置为同一同位MB分区中其他3个块的3个运动矢量的中值。
如上面所提到的，图10是示出了按照各种实施方式、当存在一个或多个视角间参考图片时所遵循的算法中涉及的过程的流程图。在此详细讨论图10。在1000处，算法开始于当前MB。在1005处，将第一MB分区设置为当前MB分区。在1010处，确定是否有MB分区尚待处理。如果还有MB分区不得不被处理，则在1015处将待处理的下一MB分区设置为当前MB分区。在1020处，确定当前MB分区是否是合法的。如果是，则过程返回到1010。如果否，则在1025处进行参考状态合并，在此之后在1030处确定当前MB分区内的所有块是否都标识为“使用List0”、“使用List1”或者标识为“使用List0”且“使用List1”。如果否，则在1035处，将当前MB分区标识为非法MB分区，并且返回1010。然而，如果是，则在1040处将x设置为0，并且在1045处确定当前MB分区是否标识为“使用Listx”。如果是，则在1050处针对listx发生参考索引合并。在1055处确定参考图片是否已改变。如果是，则在1060处进行运动矢量生成和缩放，并且在1065处确定x是否大于0。如果x不大于0，则过程返回到1045。如果x大于0，则在1070处将当前MB分区设置为合法并且过程返回到1010。还应当注意，如果针对框1045和1055任一处的确定的答案是“否”，则过程跳转到1065。
再次参考图10中的1010，如果不再有MB分区要处理，则在1072处确定是否所有MB分区都是合法的。如果所有MB分区都是合法的，则过程在1075处以合法MB退出结束。然而如果不是，则在1080处确定是否有三个MB分区是合法的。如果不是，则过程以1085处的非法MB退出结束。如果有三个MB分区，则在1090处针对非法MB进行预测生成。继而在1095处确定是否该非法MB分区中的所有块都标识为“使用List0”或“使用List1”。如果否，则该过程以1100处的非法MB退出结束。然而如果是，则在1105处进行运动矢量预测，并且过程以1110处的合法MB退出结束。
当存在不止一个视角间参考图片时，在对片进行编码时，可以选择这些视角间参考图片中的任一用于运动跳跃。下面描述用于选择的备选方法。当仅有一个视角间参考图片用于运动跳跃时，包含MB模式的同位MB和将用于预测当前MB的运动矢量来自于这一个视角间参考图片。由于同位MB可能已被上面讨论的且在图10中绘出的算法所改变，因此将最终的同位MB称为预测值(predictor)MB。
应当注意，图10中示出的各个框可以视为方法步骤，和/或由计算机程序代码的运行而导致的操作，和/或构建来执行相关功能的多个耦接的逻辑电路元件。
以下更详细地讨论有关用于运动跳跃的视角间参考图片的选择。
对于每个片，用于运动跳跃的视角间参考图片或者是推导出的，或者是用信号发送的。因此，用于运动跳跃的图片可能不同于在视角依赖关系中用信号发送的第一视角间参考图片，并且其可以是任何视角间参考图片。例如，将对应于RefPicList0的视角依赖关系信息中用信号发送的第一视角间参考图片选择为用于运动跳跃的视角间参考图片。作为另一示例，选择在RefPicList0中的第一视角间参考图片。应当注意，RPLR命令可以使得任何视角间参考图片成为RefPicList0中的第一个。
作为上述的备选，在当前图片具有后向视角间参考图片时，在上述两个方法中，用RefPicList1替换RefPicList0。在另一备选中，在当前图片既具有前向视角间参考图片又具有后向视角间参考图片时，可以应用上述方法以选择分别对应于RefPicList0和RefPicList1的两个视角间参考图片，并且用信号发送一标志以选择这两个被选的视角间参考图片之一。仍然备选地，可以显式地用信号发送所使用的视角间参考图片，例如通过在片报头中包括出现在视角依赖关系中的视角标识符的索引以及指示其为前向还是后向视角间参考图片的标志。仍然备选地，用于运动跳跃的视角的视角标识符也可以包括在该片报头中。
上述方法用于从多个可用的视角间参考图片中选择一个视角间参考图片以在运动跳跃中使用。当存在不止一个视角间参考图片可用时，也有可能针对待编码的每个MB，使用不止一个视角间参考图片用于运动跳跃。在这种情况下，根据当前图片与视角间参考图片之间的视差运动，当前MB在所使用的每个视角间参考图片中具有同位MB。这些同位MB的每一个称为候选同位MB以用于生成预测值MB，并且根据所有候选同位MB来生成预测值MB。以下提供用于利用多个视角间参考图片为运动跳跃生成预测值MB的解决方案。这些解决方案也称为组合运动跳跃算法。
首先，从候选同位MB分区中选择预测值MB的每个预测值MB分区。这称为参考组合。在参考组合之后，上面讨论的并且在图10中绘出的算法的第二个过程被应用于这四个预测值MB分区。
在参考组合中，为了从候选同位MB分区中选择预测值MB分区，按预先确定的顺序来考虑候选同位MB分区，例如首先是前向依赖视角，然后是后向依赖视角。对于每个参考图片列表中的视角间参考图片，其顺序与参考图片列表中的相同，或者与序列参数集合MVC扩展中的相同。基于该顺序，如果发现视角间参考图片中的同位MB分区是合法的，则对该同位MB分区应用上面讨论的并且在图10中绘出的算法的第一个过程，并且将此同位MB分区选择为预测值MB分区，而无需进一步考虑来自剩余的视角间参考图片的候选同位MB分区。
如果在任一视角间参考图片中没有合法的同位MB分区，则应用以下处理。按上述相同的顺序，从候选同位MB分区中搜索具有“好参考”的第一同位MB分区。如果找到，则将具有“好参考”的第一候选同位MB分区选择为预测值MB分区，而无需进一步考虑剩余的候选同位MB分区。继而对预测值MB分区应用参考索引合并过程和运动矢量生成和缩放过程。如果没找到具有“好参考”的同位MB分区，则按照上述顺序对候选同位MB分区应用参考状态合并过程。无论何时针对候选同位MB分区的参考状态合并过程成功，就将修复后具有“好参考”的候选同位MB分区选择为预测值MB分区，而无需进一步考虑剩余的候选同位MB分区。继而对预测值MB分区应用参考索引合并过程和运动矢量生成和缩放过程。如果参考状态合并过程对于所有候选同位MB分区都失败，则该预测值MB分区是非法的。
图13中示出了参考组合的一个示例，其中前向视角间参考图片(左边的视角间参考图片)和后向视角间参考图片(右边的视角间参考图片)都仅包含P片。当前图片与前向视角间参考图片之间的视差矢量与(0，0)模2同余，并且当前图片与后向视角间参考图片之间的视差运动与(1，1)模2同余。对于左上的预测值MB分区，来自前向视角间参考图片的候选同位MB分区落入帧间MB中，因此它是合法的并且被选择作为预测值MB分区。因此针对此左上预测值MB分区的过程1完成。对右上预测值MB分区和右下预测值MB分区应用相同的过程。对于左下预测值MB分区，来自前向视角间参考图片的候选同位MB分区落入帧内MB中，因而是非法的。因此，检查来自后向视角间参考图片的下一候选同位MB分区。此候选同位MB分区落入帧间MB中，因此它是合法的，并且被选择作为预测值MB分区。因此针对此左下预测值MB分区的过程1完成。从而在此示例中，生成了合法的预测值MB，其具有来自前向视角间参考图片的三个合法的预测值MB分区和来自后向视角间参考图片的一个合法的预测值MB分区。
在参考组合中，预测值MB分区所来源的视角间参考图片按照前面说明的那样进行推导。在下面的备选方案中，针对每个MB或MB分区用信号显式地发送用于运动跳跃的视角间参考图片。在此备选方案中，针对每个MB，当支持运动跳跃时，还用信号发送用于运动跳跃的视角。因此，运动跳跃算法可以适应性地选择视角间参考图片，从该视角间参考图片推导出当前MB的运动矢量。在此MB自适应选择情况下，在编码器中，针对每个同位MB分别应用图10中所绘算法的两个过程，并且最终选择导致最佳速率失真性能的过程，以及针对正在被编码的当前MB用信号发送将标识此视角间参考图片的必要信息。在解码器中，当运动跳跃是当前MB的模式时，读取指示使用哪个视角间参考图片的信息，并且找到同位MB。继而调用图10中所绘算法的第一个和第二个过程。上述处理是在MB级别，但是也可以扩展到MB分区级别。
除了针对图片使用全局视差运动之外，还可以使用在MB或MB分区级别中的自适应视差运动。在各种实施方式中，相对于用信号发送的全局视差运动对局部视差进行编码。在当前MB使用运动跳跃模式时，用信号发送局部视差运动。对局部视差运动的编码类似于运动矢量的预测编码。如图14所示，针对当前MB(Curr MB)，基于正上MB(B)、左MB(A)和左上MB(D)来预测中值视差运动。如果D不可用，则使用右上MB(C)。在其他情况下，如果MB不用信号发送局部视差运动，则可以推断局部视差运动等于全局视差运动，从而被使用在针对相邻MB的局部视差运动的预测中。
在编码器处，可以通过典型的运动估计来生成期望的视差，继而取决于所使用的精度，将期望的视差量化为16像素、8像素或4像素精度。另一实施方式涉及通过搜索视差运动预测值周围的区域来细化视差运动预测。在生成预测值和期望的视差之后，以与H.264/AVC中的运动矢量差编码相类似的方式对视差运动和预测值之间的差进行编码。
运动跳跃可以推导出当前MB的运动。然而，推导出的运动可能不够精确。在此情形下，可以通过细化来进一步改善运动矢量精度，例如通过用信号发送推导出的运动矢量与最优(期望的)运动矢量之间的差。
为了解决涉及运动跳跃信令的各种问题，提供了各种实施方式。在一个实施方式中，使用指示符(在一个实施方式中采用标志的形式)来指定当前图片是否被其他视角中的任何图片用于运动跳跃。可选地，将inter_view_flag改为inter_view_idc，后者包括两个比特。第一比特等效于原始的inter_view_flag，第二比特等效于新引入的标志。
在一个实施方式中采用标志形式的指示符也可以提供于片报头中，以便指示片是否正在使用运动跳跃。如果未使用，则不用信号发送针对当前片中所有宏块的运动跳跃标志，其因而可被推断为假。如果此标志为真，则用信号发送运动视差。
在一个实施方式中采用标志形式的另一指示符可以用于序列级别(例如序列参数集合MVC扩展)中的每个视角，以便指示其是否可以利用单环路解码来进行解码。而且，可以针对序列级别(例如序列参数集合MVC扩展)中的每个视角添加标志或其他指示符，以指示其他视角中的任一是否需要该视角以用于运动跳跃，并且另一标志或其他指示符用于指示其他视角中的任一是否需要该视角以用于传统的视角间样本预测。
以下是可以在上述各种实施中使用的示例信令。然而，应当注意，此信令本质上仅仅是示例性的，本领域技术人员可以理解其他信令也是可能的。
为了用信号发送用于运动跳跃的图片，NAL单元报头SVC MVC扩展语法可以如下。
  nal_unit_header_svc_mvc_extension(){   C   描述符
      svc_mvc_flag   全部   u(1)
      If(！svc_mvc_flag){
  ...   全部   u(3)
      }else{
       priority_id   全部   u(6)
       temporal_id   全部   u(3)
       anchor_pic_flag   全部   u(1)
       view_id   全部   u(10)
       idr_flag   全部   u(1)
       inter_view_idc   全部   u(2)
      }
      nalUnitHeaderBytes+＝3
  }
上述NAL单元报头SVC MVC扩展语法中的语法元素inter_view_idc的语义如下。当inter_view_idc等于0时，其规定包含当前NAL单元的编码图片既不用作样本预测的视角间预测参考，也不用作运动跳跃的视角间预测参考。当inter_view_idc等于1时，其规定包含当前NAL单元的编码图片可以用于运动跳跃，但决不用于视角间样本预测。当inter_view_idc等于2时，其规定包含当前NAL单元的编码图片可以用于视角间样本预测，但决不用于运动跳跃。当inter_view_idc等于3时，其规定包含当前NAL单元的编码图片既可以用于视角间样本预测又可以用于运动跳跃。
以下是用于用信号发送片报头标志以控制此片是否支持运动跳跃的一种可能布置。在此布置中，片报头语法如下：
  slice_header(){   C   描述符
       first_mb_in_slice   2   ue(v)
       slice_type   2   ue(v)
       ic_enable   2   u(1)
       motion_skip_enable   2   u(1)
       if(motion_skip_enable){
       ...
        for(compIdx＝0；compIdx＜2；compIdx++)
           global_disparity_mb_l1[compIdx]   2   se(v)
       }
         pic_parameter_set_id   2   ue(v)
         frame_num   2   u(v)
          ...
  }
当motion_skip_enable等于0时，其规定当前片不使用运动跳跃。当motion_skip_enable等于1时，其规定当前片使用运动跳跃。
针对上述片报头标志的信令，宏块层语法实例如下：
macroblock_layer(){   C   描述符
   if(！anchor_pic_flag&&motion_skip_enable){
      motion_skip_flag   2   u(1)|ae(v)
    }
    if(motion_skip_flag){
    ...
    }
 }
除以上之外，可能还必须用信号发送多个视角间参考图片，尤其是对于每个方向使用一个视角间参考图片的情况。在这种情况下，语法实例如下：
  if(motion_skip_flag){
  if(MotionSKIPFwd&&MotionSKIPBwd)
  {
    fwdbwd_flag   2   u(1)|ae(v)
  }
  ...
  }
如果所引用的SPS MVC扩展中的num_non_anchor_refs_l0[i](i具有使得SPS MVC扩展中的view_id[i]是当前视角的视角标识符的值)大于0，则推断MotionSKIPFwd为1。否则，推断其为0。如果所引用的SPS MVC扩展中的num_non_anchor_refs_l1[i](i具有使得SPS MVC扩展中的view_id[i]是当前视角的视角标识符的值)大于0，则推断MotionSKIPBwd为1。否则，推断其为0。当fwdbwd_flag等于0时，其规定当前MB将第一前向视角间参考图片用于运动跳跃。当fwdbwd_flag等于1时，其规定当前MB将第一后向视角间参考图片用于运动跳跃。
用于单环路解码的示例序列级别信令如下：
  seq_parameter_set_mvc_extension(){  C   描述符
  num_views_minus_1   ue(v)
  for(i＝0；i＜＝num_views_minus_1；i++)
  view_id[i]   ue(v)
  sld_flag[i]   u(1)
  recon_sample_flag[i]   u(1)
  recon_motion_flag[i]   u(1)
  }
  for(i＝0；i＜＝num_views_minus_1；i++){
  num_anchor_refs_l0[i]   ue(v)
  for (j＝0；j＜num_anchor_refs_l0[i]；j++)
  anchor_ref_l0[i][j]   ue(v)
  num_anchor_refs_l1[i]   ue(v)
      for(j＝0；j＜num_anchor_refs_l1[i]；j++)
       anchor_ref_l1[i][j]   ue(v)
  }
  for(i＝0；i＜＝num_views_minus_1；i++){
      num_non_anchor_refs_l0[i]   ue(v)
      for(j＝0；j＜num_non_anchor_refs_l0[i]；j++)
         non_anchor_ref_l0[i][j]   ue(v)
         num_non_anchor_refs_l1[i]   ue(v)
      for(j＝0；j＜num_non_anchor_refs_l1[i]；j++)
         non_anchor_ref_l1[i][j]   ue(v)
    }
}
当sld_flag[i]等于1时，其规定具有view_id等于view_id[i]的视角支持单环路解码，也即，参考序列参数集合并且具有view_id等于view_id[i]的任何非锚图片在解码过程中不使用视角间样本预测。当sld_flag[i]等于0时，其规定具有view_id等于view_id[i]的视角不支持单环路解码，也即，参考序列参数集合并且具有view_id等于view_id[i]的至少一个非锚图片在解码过程中使用视角间样本预测。当recon_sample_flag[i]等于1时，其规定参考序列参数集合并且在view_id等于view_id[i]的视角中的至少一个编码图片由其他视角中的至少一个视角用于视角间样本预测。当recon_sample_flag[i]等于0时，其规定参考序列参数集合并且具有view_id等于view_id[i]的所有编码图片都不被任何视角用于视角间样本预测。当recon_motion_flag[i]等于1时，其规定参考序列参数集合并且在view_id等于view_id[i]的视角中的至少一个编码图片由其他视角中的至少一个视角用于运动跳跃。当recon_motion_flag[i]等于0时，其规定参考序列参数集合并且具有view_id等于view_id[i]的所有编码图片都不被任何视角用于运动跳跃。
根据此处所讨论的各种实施方式的通信设备可以使用各种传输技术进行通信，包括但不限于，码分多址(CDMA)、全球移动通信系统(GSM)、通用移动通信系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议/网际协议(TCP/IP)、短消息收发服务(SMS)、多媒体消息收发服务(MMS)、电子邮件、即时消息收发服务(IMS)、蓝牙、IEEE 802.11等。在实现本发明的各种实施方式中所涉及的通信设备可以使用各种介质进行通信，包括但不限于无线电、红外、激光、线缆连接等。
图15和图16示出了本发明可以在其中实现的一个代表性移动设备12。然而，应当理解，本发明不旨在限于一种特定类型的电子设备。移动设备中所描绘的某些或全部特征可以并入此处所讨论的任一或全部设备中。图15和图16的移动设备12包括外壳30、液晶显示器形式的显示器32、小键盘34、麦克风36、耳机38、电池40、红外端口42、天线44、根据本发明一个实施方式的UICC形式的智能卡46、读卡器48、无线电接口电路52、编解码器电路54、至少一个控制器56和计算机可读存储介质，方便起见其也称为存储器58。存储器58存储包括计算机程序指令的数据，当该计算机程序指令由至少一个控制器56执行时，其使得设备12按照本发明的示例性实施方式进行操作。单独的电路和元件可以是本领域公知的所有类型。
在方法步骤或过程的一般背景下对此处描述的各种实施方式进行了描述，在至少一个实施方式中，这些方法步骤或过程可以通过计算机程序产品来实现，该程序产品具体化在计算机可读介质(诸如存储器58)中，包括计算机可执行指令，诸如程序代码，其具体化在计算机可读介质(诸如存储器58)中并且可由联网环境中的一个或多个计算机执行。通常，程序模块可以包括例程、程序、对象、部件、数据结构等，其执行特定任务或实现特定抽象数据类型。计算机可执行指令、相关联的数据结构和程序模块代表了用于执行此处公开的方法步骤的程序代码的示例。这种可执行指令或相关联的数据结构的特定序列代表了用于实现在这种步骤或过程中描述的功能的对应动作的示例。
各种实施方式的软件和web实现能够利用具有基于规则的逻辑和其他逻辑的标准编程技术来实现，从而实现各种数据库搜索步骤或过程、相关步骤或过程、比较步骤或过程以及决策步骤或过程。应当注意，此处以及权利要求书中使用的词语“部件”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收手动输入的设备。
出于示例和描述的目的，已经给出了实施方式的前述说明。前述说明并非是穷举性的，也并非要将本发明的实施方式限制到所公开的确切形式，并且根据上述教导还可能存在各种变形和修改，或者可以从各种实施方式的实践中得到各种变形和修改。选择和描述此处所讨论的实施方式是为了说明各种实施方式的原理和本质及其实际应用，使得本领域的技术人员能够在适合于所构思特定用途的各种实施方式和各种修改中利用本发明。在此描述的实施方式的特征可以合并在方法、设备、模块、系统和计算机程序产品的所有可能组合中。
通常，各种示例性实施方式可以以硬件或专用电路、软件、逻辑或其任何组合来实现。例如，某些方面可以以硬件实现，而其他方面可以以固件或可由控制器、微处理器或其他计算设备执行的软件来实现，但本发明不限于此。虽然本发明示例性实施方式的各种方面可以示出和描述为框图、流程图或使用一些其他图示表示，但是应该理解，此处描述的这些框、设备、系统、技术或方法可以通过作为非限制性示例的硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某些组合来实现。
因此，应当理解，本发明示例性实施方式的至少某些方面可以以诸如集成电路的各种部件来实施，例如集成电路芯片和模块，并且本发明示例性实施方式可以以具体化为至少一个集成电路的设备来实现。该一个或多个集成电路可以包括用于具体化至少一个或多个数据处理器、一个或多个数字信号处理器、基带电路和射频电路的电路(还有可能是固件)，这些电路可配置以按照本发明的示例性实施方式进行操作，该一个或多个集成电路还包括存储程序指令的计算机可读存储介质。
应当注意，术语“连接”、“耦合”或其任何变体是指两个或多个元件之间的直接或间接的任何连接或耦合，并且可以涵盖在“连接”或“耦合”在一起的两个元件之间存在一个或多个中间元件。元件之间的耦合或连接可以是物理的、逻辑的或其组合。此处所采用的两个元件可以认为是通过使用一个或多个电线、线缆和/或印刷电子连接而“连接”或“耦合”在一起，也可以通过使用电磁能“连接”或“耦合”在一起，作为多个非限制性和非穷举的若干示例，电磁能例如是具有射频范围、微波范围和光波(包括可见光和不可见光)范围的波长的电磁能。
此外，用于所描述参数的各种名称(例如，motion_skip_enable，fwdbwd_flag等)不旨在于在任何方面受到限制，因为这些参数可以用任何适合的名称来标识。而且，使用这些各种参数的任何公式和/或表达式可以不同于在此明确公开的。进一步地，指派给不同单元和模块的各种名称不旨在于在任何方面受到限制，因为这些各种单元和模块可以使用任何适合的名称来标识。
而且，本发明的各种非限制性以及示例性实施方式的某些特征可以有利地使用而无需相应使用其他特征。同样，前述描述应该被认为仅是本发明原理、教导和示例性实施方式的说明，而不是对其的限制。

Claims (61)

1.一种方法，包括：
将第一输入图片序列和第二输入图片序列编码到比特流中，其中所述第一输入图片序列的第一输入图片可以或者可以不旨在用于输出，并且其中所述第二输入图片序列的第二输入图片旨在用于输出；
包括指示视差运动的视差信号指示；
使用运动推导方法、按照所述视差运动从所述第一输入图片推导出至少一个运动矢量；以及
在对所述第二输入图片的编码中使用所述至少一个推导出的运动矢量。
2.根据权利要求1的方法，其中所述视差运动具有8像素精度。
3.根据权利要求1或2的方法，其中在推导所述至少一个运动矢量期间，所述第一输入图片中至少一个块的前向预测、后向预测和双向预测之一的参考状态被改变。
4.根据前述任一权利要求的方法，其中在推导所述至少一个运动矢量期间，所述第一输入图片中的至少一个块的参考索引被改变。
5.根据前述任一权利要求的方法，其中在推导所述至少一个运动矢量期间，所述第一输入图片中的至少一个块的参考索引被生成。
6.根据前述任一权利要求的方法，其中在推导所述至少一个运动矢量期间，所述第一输入图片中的至少一个块的运动矢量被改变。
7.根据前述任一权利要求的方法，其中在推导所述至少一个运动矢量期间，所述第一输入图片中的至少一个块的运动矢量被生成。
8.根据前述任一权利要求的方法，其中所述视差信号指示包括在用于图片、片、宏块和宏块分区之一的比特流中。
9.根据前述任一权利要求的方法，其中所述比特流中包括一个指示，所述指示用于指示图片是否在对所述至少一个运动矢量的推导中使用。
10.根据前述任一权利要求的方法，其中所述比特流中包括一个指示，所述指示用于指示视角是否使用任何其他视角以用于视角间样本预测。
11.根据前述任一权利要求的方法，其中所述比特流中包括一个指示，所述指示用于指示针对视角是否支持单环路解码。
12.根据前述任一权利要求的方法，其中对所述至少一个推导出的运动矢量进行细化，从而针对宏块和宏块分区之一用信号发送所述至少一个推导出的运动矢量与期望的运动矢量之间的运动矢量差。
13.根据权利要求1的方法，其中所述视差运动具有4像素精度。
14.一种计算机可读介质，包括被配置用于执行权利要求1的方法的计算机代码。
15.一种设备，包括：
处理器；以及
可通信地连接到所述处理器的存储器单元，其包括：
被配置用于将第一输入图片序列和第二输入图片序列编码到比特流中的计算机代码，其中所述第一输入图片序列的第一输入图片可以或者可以不旨在用于输出，并且其中所述第二输入图片序列的第二输入图片旨在用于输出；
被配置用于包括指示视差运动的视差信号指示的计算机代码；
被配置用于使用运动推导方法、按照所述视差运动从所述第一输入图片推导出至少一个运动矢量的计算机代码；以及
被配置用于在对所述第二输入图片的编码中使用所述至少一个推导出的运动矢量的计算机代码。
16.根据权利要求15的设备，其中所述视差运动具有8像素精度。
17.根据权利要求15或16的设备，其中在推导所述至少一个运动矢量期间，所述第一输入图片中至少一个块的前向预测、后向预测和双向预测之一的参考状态被改变。
18.根据前述任一权利要求的设备，其中在推导所述至少一个运动矢量期间，所述第一输入图片中的至少一个块的参考索引被改变。
19.根据前述任一权利要求的设备，其中在推导所述至少一个运动矢量期间，所述第一输入图片中的至少一个块的参考索引被生成。
20.根据前述任一权利要求的设备，其中在推导所述至少一个运动矢量期间，所述第一输入图片中的至少一个块的运动矢量被改变。
21.根据前述任一权利要求的设备，其中在推导所述至少一个运动矢量期间，所述第一输入图片中的至少一个块的运动矢量被生成。
22.根据前述任一权利要求的设备，其中所述视差信号指示包括在用于图片、片、宏块和宏块分区之一的比特流中。
23.根据前述任一权利要求的设备，其中所述比特流中包括一个指示，所述指示用于指示图片是否在对所述至少一个运动矢量的推导中使用。
24.根据前述任一权利要求的设备，其中所述比特流中包括一个指示，所述指示用于指示视角是否使用任何其他视角以用于视角间样本预测。
25.根据前述任一权利要求的设备，其中所述比特流中包括一个指示，所述指示用于指示针对视角是否支持单环路解码。
26.根据前述任一权利要求的设备，其中所述至少一个推导出的运动矢量被细化，从而针对宏块和宏块分区之一用信号发送所述至少一个推导出的运动矢量与期望的运动矢量之间的运动矢量差。
27.根据权利要求15的设备，其中所述视差运动具有4像素精度。
28.根据权利要求15的设备，其至少部分地实现为至少一个集成电路。
29.一种设备，包括：
用于将第一输入图片序列和第二输入图片序列编码到比特流中的装置，其中所述第一输入图片序列的第一输入图片可以或者可以不旨在用于输出，并且其中所述第二输入图片序列的第二输入图片旨在用于输出；
用于包括指示视差运动的视差信号指示的装置；
用于使用运动推导方法、按照所述视差运动从所述第一输入图片推导出至少一个运动矢量的装置；以及
用于在对所述第二输入图片的编码中使用所述至少一个推导出的运动矢量的装置。
30.根据权利要求29的设备，其中所述视差运动具有8像素精度。
31.一种方法，包括：
将第一输入图片序列和第二输入图片序列编码到比特流中；
在所述第一输入图片序列的片报头中用信号发送运动是否是通过从第二序列中的图片的推导而生成的。
32.一种计算机可读存储介质，其存储有被配置用于执行权利要求31的方法的计算机程序指令。
33.一种设备，包括：
处理器；以及
可通信地连接到所述处理器的存储器单元，其包括：
被配置用于将第一输入图片序列和第二输入图片序列编码到比特流中的计算机代码；以及
被配置用于在所述第一输入图片序列的片报头中用信号发送运动是否是通过从第二序列中的图片的推导而生成的计算机代码。
34.根据权利要求33的设备，其至少部分地实现为至少一个集成电路。
35.一种设备，包括：
用于将第一输入图片序列和第二输入图片序列编码到比特流中的装置；以及
用于在所述第一输入图片序列的片报头中用信号发送运动是否是通过从第二序列中的图片的推导而生成的装置。
36.根据权利要求35的设备，其至少部分地实现为至少一个集成电路。
37.一种方法，包括：
将第一输入图片序列和第二输入图片序列编码到比特流中；以及
在网络提取层单元报头中用信号发送所述第二输入图片序列中的图片是否被所述第一输入图片序列中的至少一个图片用于运动跳跃。
38.一种计算机可读存储介质，其存储有被配置用于执行权利要求37的方法的计算机程序指令。
39.一种设备，包括：
处理器；以及
可通信地连接到所述处理器的存储器单元，其包括：
被配置用于将第一输入图片序列和第二输入图片序列编码到比特流中的计算机代码；以及
被配置用于在网络提取层单元报头中用信号发送所述第二输入图片序列中的图片是否被所述第一输入图片序列中的至少一个图片用于运动跳跃的计算机代码。
40.根据权利要求39的设备，其至少部分地实现为至少一个集成电路。
41.一种设备，包括：
用于将第一输入图片序列和第二输入图片序列编码到比特流中的装置；以及
用于在网络提取层单元报头中用信号发送所述第二输入图片序列中的图片是否被所述第一输入图片序列中的至少一个图片用于运动跳跃的装置。
42.根据权利要求41的设备，其至少部分地实现为至少一个集成电路。
43.一种方法，包括：
从比特流接收第一输入图片序列和第二输入图片序列；
接收网络提取层单元报头中的信号，所述信号指示所述第二输入图片序列中的图片是否被所述第一输入图片序列中的至少一个图片用于运动跳跃；以及
如果所述信号指示所述第二输入图片序列中的图片被所述第一输入图片序列中的至少一个图片用于运动跳跃，则在对所述第一输入图片序列中的所述至少一个图片进行解码时，使用所述第二输入图片序列中的所述图片以用于运动跳跃。
44.一种计算机可读存储介质，其存储有被配置用于执行权利要求43的方法的计算机程序指令。
45.一种设备，包括：
处理器；以及
可通信地连接到所述处理器的存储器单元，其包括：
被配置用于从比特流接收第一输入图片序列和第二输入图片序列的计算机代码；
被配置用于接收网络提取层单元报头中的信号的计算机代码，所述信号指示所述第二输入图片序列中的图片是否被所述第一输入图片序列中的至少一个图片用于运动跳跃；以及
被配置用于，如果所述信号指示所述第二输入图片序列中的图片被所述第一输入图片序列中的至少一个图片用于运动跳跃，则在对所述第一输入图片序列中的所述至少一个图片进行解码时，使用所述第二输入图片序列中的所述图片以用于运动跳跃的计算机代码。
46.根据权利要求45的设备，其至少部分地实现为至少一个集成电路。
47.一种设备，包括：
用于从比特流接收第一输入图片序列和第二输入图片序列的装置；
用于接收网络提取层单元报头中的信号的装置，所述信号指示所述第二输入图片序列中的图片是否被所述第一输入图片序列中的至少一个图片用于运动跳跃；以及
用于如果所述信号指示所述第二输入图片序列中的图片被所述第一输入图片序列中的至少一个图片用于运动跳跃，则在对所述第一输入图片序列中的所述至少一个图片进行解码时，使用所述第二输入图片序列中的所述图片以用于运动跳跃的装置。
48.根据权利要求47的设备，其至少部分地实现为至少一个集成电路。
49.一种方法，包括：
接收第一输入图片序列和第二输入图片序列，所述第一输入图片序列的片报头包括有关运动是否是通过从第二序列中的图片的推导而生成的信号；以及
如果所述第一输入图片序列的片报头中的所述信号指示运动是通过从第二序列中的图片的推导而生成的，则使用从第二序列中的图片推导出的运动来对所述第一输入图片序列中的至少一个图片进行解码。
50.一种计算机可读存储介质，其存储有被配置用于执行权利要求49的方法的计算机程序指令。
51.一种设备，包括：
处理器；以及
可通信地连接到所述处理器的存储器单元，其包括：
被配置用于接收第一输入图片序列和第二输入图片序列的计算机代码，所述第一输入图片序列的片报头包括有关运动是否是通过从第二序列中的图片的推导而生成的信号；以及
被配置用于，如果所述第一输入图片序列的片报头中的所述信号指示运动是通过从第二序列中的图片的推导而生成的，则使用从第二序列中的图片推导出的运动来对所述第一输入图片序列中的至少一个图片进行解码的计算机代码。
52.根据权利要求51的设备，其至少部分地实现为至少一个集成电路。
53.一种设备，包括：
用于接收第一输入图片序列和第二输入图片序列的装置，所述第一输入图片序列的片报头包括有关运动是否是通过从第二序列中的图片的推导而生成的信号；以及
用于如果所述第一输入图片序列的片报头中的所述信号指示运动是通过从第二序列中的图片的推导而生成的，则使用从第二序列中的图片推导出的运动来对所述第一输入图片序列中的至少一个图片进行解码的装置。
54.根据权利要求53的设备，其至少部分地实现为至少一个集成电路。
55.一种方法，包括：
将第一输入图片序列和第二输入图片序列编码到比特流中，其中所述第一输入图片序列的第一输入图片可以或者可以不旨在用于输出，并且其中所述第二输入图片序列的第二输入图片旨在用于输出；
包括指示宏块视差运动的视差信号指示；
使用运动推导方法、按照所述视差运动从所述第一输入图片推导出至少一个运动矢量；以及
使用所述至少一个推导出的运动矢量以用于运动补偿。
56.根据权利要求55的方法，进一步包括：在所述比特流中包括至少一个指示，所述至少一个指示用于指示以下中的至少一个：图片是否在对所述至少一个运动矢量的推导中使用，视角是否使用任何其他视角以用于视角间样本预测，以及针对视角是否支持单环路解码。
57.一种计算机可读存储介质，其存储有被配置用于执行权利要求55的方法的计算机程序指令。
58.一种存储有计算机程序指令的计算机可读存储介质，所述计算机程序指令的执行导致以下操作，包括：
将第一输入图片序列和第二输入图片序列编码到比特流中，其中所述第一输入图片序列的第一输入图片可以或者可以不旨在用于输出，并且其中所述第二输入图片序列的第二输入图片旨在用于输出；
包括指示宏块视差运动的视差信号指示；
使用运动推导方法、按照所述视差运动从所述第一输入图片推导出至少一个运动矢量，所述至少一个推导出的运动矢量用于运动补偿。
59.根据权利要求58的计算机可读存储介质，其中在所述比特流中包括至少一个指示，所述至少一个指示用于指示以下中的至少一个：图片是否在对所述至少一个运动矢量的推导中使用，视角是否使用任何其他视角以用于视角间样本预测，以及针对视角是否支持单环路解码。
60.一种设备，包括：
用于将第一输入图片序列和第二输入图片序列编码到比特流中的装置，其中所述第一输入图片序列的第一输入图片可以或者可以不旨在用于输出，并且其中所述第二输入图片序列的第二输入图片旨在用于输出；
用于包括指示宏块视差运动的视差信号指示的装置；
用于使用运动推导方法、按照所述视差运动从第一输入图片推导出至少一个运动矢量的装置，所述至少一个推导出的运动矢量用于运动补偿；以及
用于在所述比特流中包括至少一个进一步指示的装置，所述至少一个进一步指示用于指示以下中的至少一个：图片是否在对所述至少一个运动矢量的推导中使用，视角是否使用任何其他视角以用于视角间样本预测，以及针对视角是否支持单环路解码。
61.根据权利要求60的设备，其至少部分地实现为至少一个集成电路。
CN200880120881.3A 2007-10-15 2008-10-15 针对多视角视频内容的运动跳跃和单环路编码 Pending CN101999228A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US98016107P 2007-10-15 2007-10-15
US60/980,161 2007-10-15
PCT/IB2008/054240 WO2009050658A2 (en) 2007-10-15 2008-10-15 Motion skip and single-loop encoding for multi-view video content

Publications (1)

Publication Number Publication Date
CN101999228A true CN101999228A (zh) 2011-03-30

Family

ID=40512417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880120881.3A Pending CN101999228A (zh) 2007-10-15 2008-10-15 针对多视角视频内容的运动跳跃和单环路编码

Country Status (9)

Country Link
US (1) US20090116558A1 (zh)
EP (1) EP2215844A2 (zh)
JP (1) JP2011501497A (zh)
KR (1) KR20100074280A (zh)
CN (1) CN101999228A (zh)
AU (1) AU2008313328A1 (zh)
CA (1) CA2701877A1 (zh)
RU (1) RU2010120518A (zh)
WO (1) WO2009050658A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014106346A1 (en) * 2013-01-07 2014-07-10 Mediatek Singapore Pte. Ltd. Method of signalling additional collocated picture for 3dvc
CN104054351A (zh) * 2012-01-17 2014-09-17 瑞典爱立信有限公司 参考画面列表处理
CN104205829A (zh) * 2012-03-28 2014-12-10 高通股份有限公司 合并信令及环路滤波器开/关信令
CN104335589A (zh) * 2012-04-20 2015-02-04 高通股份有限公司 用于视频译码的视图间预测的视差向量产生
CN105900423A (zh) * 2013-09-27 2016-08-24 奥兰治 通过继承运动向量场进行视频编码和解码
CN107592529A (zh) * 2011-09-09 2018-01-16 株式会社Kt 用于解码视频信号的方法
CN108282655A (zh) * 2012-09-26 2018-07-13 威勒斯媒体国际有限公司 图像编码和/或解码装置及方法

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100091845A1 (en) * 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
ES2533765T3 (es) * 2006-03-30 2015-04-15 Lg Electronics Inc. Un método y un aparato para descodificar/codificar una señal de video
WO2007148906A1 (en) * 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
TWI375469B (en) * 2006-08-25 2012-10-21 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
US8155207B2 (en) * 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
US8416859B2 (en) * 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US8804845B2 (en) * 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8121191B1 (en) * 2007-11-13 2012-02-21 Harmonic Inc. AVC to SVC transcoder
US8553781B2 (en) * 2007-12-07 2013-10-08 Thomson Licensing Methods and apparatus for decoded picture buffer (DPB) management in single loop decoding for multi-view video
US8718388B2 (en) * 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
US8416858B2 (en) 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
US8886022B2 (en) * 2008-06-12 2014-11-11 Cisco Technology, Inc. Picture interdependencies signals in context of MMCO to assist stream manipulation
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8259814B2 (en) * 2008-11-12 2012-09-04 Cisco Technology, Inc. Processing of a video program having plural processed representations of a single video signal for reconstruction and output
US9066107B2 (en) * 2009-01-28 2015-06-23 France Telecom Methods for encoding and decoding sequence implementing a motion compensation, corresponding encoding and decoding devices, signal and computer programs
WO2010096767A1 (en) * 2009-02-20 2010-08-26 Cisco Technology, Inc. Signalling of decodable sub-sequences
US20100218232A1 (en) * 2009-02-25 2010-08-26 Cisco Technology, Inc. Signalling of auxiliary information that assists processing of video according to various formats
US8782261B1 (en) 2009-04-03 2014-07-15 Cisco Technology, Inc. System and method for authorization of segment boundary notifications
JP5627860B2 (ja) * 2009-04-27 2014-11-19 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8506402B2 (en) * 2009-06-01 2013-08-13 Sony Computer Entertainment America Llc Game execution environments
US8411746B2 (en) * 2009-06-12 2013-04-02 Qualcomm Incorporated Multiview video coding over MPEG-2 systems
US8780999B2 (en) * 2009-06-12 2014-07-15 Qualcomm Incorporated Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US8279926B2 (en) * 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
KR20110007928A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
RU2011120192A (ru) * 2009-09-22 2013-10-27 Панасоник Корпорэйшн Устройство кодирования изображения, устройство декодирования изображения, способ кодирования изображения и способ декодирования изображения
WO2011122659A1 (ja) * 2010-03-30 2011-10-06 シャープ株式会社 符号化装置および復号装置
WO2011126277A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
EP2559243B1 (en) * 2010-04-13 2014-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A video decoder and a video encoder using motion-compensated prediction
RS57809B1 (sr) * 2010-07-09 2018-12-31 Samsung Electronics Co Ltd Metod za dekodiranje video zapisa korišćenjem objedinjavanja blokova
EP2605514B1 (en) 2010-08-09 2017-07-12 Panasonic Corporation Image encoding method, image decoding method, image encoding device, and image decoding device
JP5707412B2 (ja) * 2010-09-29 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
SG188255A1 (en) 2010-09-30 2013-04-30 Panasonic Corp Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
WO2012081246A1 (ja) 2010-12-17 2012-06-21 パナソニック株式会社 画像符号化方法および画像復号化方法
US9008176B2 (en) 2011-01-22 2015-04-14 Qualcomm Incorporated Combined reference picture list construction for video coding
US9008181B2 (en) * 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
US10171813B2 (en) 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
US8934552B2 (en) 2011-03-31 2015-01-13 Qualcomm Incorporated Combined reference picture list construction and mapping
WO2012172634A1 (ja) * 2011-06-13 2012-12-20 株式会社東芝 画像符号化装置、画像復号化装置、方法およびプログラム
WO2013001749A1 (ja) * 2011-06-29 2013-01-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
US9060173B2 (en) * 2011-06-30 2015-06-16 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
US11647197B2 (en) 2011-06-30 2023-05-09 Velos Media, Llc Context initialization based on slice header flag and slice type
US9338465B2 (en) * 2011-06-30 2016-05-10 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
EP4020989A1 (en) 2011-11-08 2022-06-29 Nokia Technologies Oy Reference picture handling
JP5979848B2 (ja) * 2011-11-08 2016-08-31 キヤノン株式会社 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
US20130163880A1 (en) * 2011-12-23 2013-06-27 Chao-Chung Cheng Disparity search methods and apparatuses for multi-view videos
US9503702B2 (en) * 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
US10721487B2 (en) * 2012-04-17 2020-07-21 Texas Instruments Incorporated Converting a bi-predicted merging candidate in a merging candidate list for a prediction unit of a picture
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
WO2014005280A1 (en) * 2012-07-03 2014-01-09 Mediatek Singapore Pte. Ltd. Method and apparatus to improve and simplify inter-view motion vector prediction and disparity vector prediction
KR102238567B1 (ko) 2012-09-19 2021-04-08 퀄컴 인코포레이티드 디스패리티 벡터 유도를 위한 화상들의 선택
US10075728B2 (en) * 2012-10-01 2018-09-11 Inria Institut National De Recherche En Informatique Et En Automatique Method and device for motion information prediction refinement
US9247256B2 (en) * 2012-12-19 2016-01-26 Intel Corporation Prediction method using skip check module
US9762905B2 (en) * 2013-03-22 2017-09-12 Qualcomm Incorporated Disparity vector refinement in video coding
US9596486B2 (en) 2013-04-05 2017-03-14 Qualcomm Incorporated IRAP access units and bitstream switching and splicing
US9674533B2 (en) * 2013-04-05 2017-06-06 Qualcomm Incorporated Picture alignments in multi-layer video coding
US10003815B2 (en) 2013-06-03 2018-06-19 Qualcomm Incorporated Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
US10820007B2 (en) * 2015-01-21 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for decoding inter-layer video, and method and apparatus for encoding inter-layer video
CA3005713A1 (en) * 2015-12-14 2017-06-22 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
MX2021000265A (es) 2018-07-17 2021-03-25 Panasonic Ip Corp America Prediccion de vectores de movimiento para codificacion de video.
TWI820197B (zh) 2018-08-28 2023-11-01 大陸商北京字節跳動網絡技術有限公司 與擴展四叉樹相關的分割的二值化
CN113396589A (zh) * 2019-02-11 2021-09-14 北京字节跳动网络技术有限公司 基于五叉树的视频块分割
CN113545036B (zh) 2019-03-02 2023-11-28 北京字节跳动网络技术有限公司 对环路内滤波的限制
CN113678462B (zh) 2019-04-15 2023-01-10 北京字节跳动网络技术有限公司 自适应环路滤波器中的裁剪参数推导
EP3928516A4 (en) 2019-04-16 2022-06-15 Beijing Bytedance Network Technology Co., Ltd. ADAPTIVE LOOP FILTERING FOR VIDEO PROCESSING
WO2020216177A1 (en) 2019-04-20 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma and luma syntax elements in video coding
CN113785574B (zh) 2019-05-30 2022-10-11 北京字节跳动网络技术有限公司 色度分量的自适应环路滤波

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100943591B1 (ko) * 2004-07-20 2010-02-24 콸콤 인코포레이티드 움직임 벡터 처리를 위한 방법 및 장치
EP2149262A4 (en) * 2007-04-25 2010-09-01 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
EP2168383A2 (en) * 2007-06-28 2010-03-31 Thomson Licensing Single loop decoding of multi-view coded video
JP5646994B2 (ja) * 2007-08-15 2014-12-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 多視点符号化ビデオにおける領域視差ベクトルを使用したモーションスキップモードのための方法及び装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10523967B2 (en) 2011-09-09 2019-12-31 Kt Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method
CN107592529B (zh) * 2011-09-09 2020-05-12 株式会社Kt 用于解码视频信号的方法
US11089333B2 (en) 2011-09-09 2021-08-10 Kt Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method
CN107592529A (zh) * 2011-09-09 2018-01-16 株式会社Kt 用于解码视频信号的方法
US10805639B2 (en) 2011-09-09 2020-10-13 Kt Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method
CN104054351A (zh) * 2012-01-17 2014-09-17 瑞典爱立信有限公司 参考画面列表处理
CN104205829A (zh) * 2012-03-28 2014-12-10 高通股份有限公司 合并信令及环路滤波器开/关信令
CN104205829B (zh) * 2012-03-28 2018-04-10 高通股份有限公司 合并信令及环路滤波器开/关信令
CN104335589A (zh) * 2012-04-20 2015-02-04 高通股份有限公司 用于视频译码的视图间预测的视差向量产生
CN104335589B (zh) * 2012-04-20 2017-10-31 高通股份有限公司 用于视频译码的视图间预测的视差向量产生
CN108282655A (zh) * 2012-09-26 2018-07-13 威勒斯媒体国际有限公司 图像编码和/或解码装置及方法
CN108282655B (zh) * 2012-09-26 2021-09-10 威勒斯媒体国际有限公司 图像编码和/或解码装置及方法
WO2014106346A1 (en) * 2013-01-07 2014-07-10 Mediatek Singapore Pte. Ltd. Method of signalling additional collocated picture for 3dvc
CN105900423B (zh) * 2013-09-27 2020-06-16 奥兰治 通过继承运动向量场进行视频编码和解码
CN105900423A (zh) * 2013-09-27 2016-08-24 奥兰治 通过继承运动向量场进行视频编码和解码

Also Published As

Publication number Publication date
EP2215844A2 (en) 2010-08-11
AU2008313328A1 (en) 2009-04-23
WO2009050658A3 (en) 2009-10-29
KR20100074280A (ko) 2010-07-01
JP2011501497A (ja) 2011-01-06
US20090116558A1 (en) 2009-05-07
CA2701877A1 (en) 2009-04-23
RU2010120518A (ru) 2011-11-27
WO2009050658A2 (en) 2009-04-23

Similar Documents

Publication Publication Date Title
CN101999228A (zh) 针对多视角视频内容的运动跳跃和单环路编码
CN101366285B (zh) 用于多视角视频编码的方法和装置
CN104904218B (zh) 视差矢量推导
CN105308965B (zh) 用于3d视频编码的协调视图间和视图合成预测
CN101548550B (zh) 用于在多视点视频编码中实施有效的已解码缓存器管理的系统和方法
CN104365103B (zh) 视频译码中的视差向量选择
TWI526027B (zh) 視訊寫碼中之運動向量預測
CN101558652B (zh) 用于实现低复杂度多视点视频编码的系统和方法
CN101785317B (zh) 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置
CN104396244A (zh) 用于视频编码和解码的装置、方法和计算机程序
CN104521238A (zh) 用于3d视频编码的装置、方法和计算机程序
CN104641642A (zh) 用于视频编码的方法和装置
CN104380749A (zh) 用于视频编码的方法和装置
CN104813669A (zh) 用于视频编码的方法和装置
EP3047649A1 (en) Combined bi-predictive merging candidates for 3d video coding
CN105075265A (zh) 3d视频译码中针对跳过和直接模式的视差向量导出
CN102257818A (zh) 3d视频编码中运动向量的共享

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110330