CN103891290A - 运动矢量处理 - Google Patents

运动矢量处理 Download PDF

Info

Publication number
CN103891290A
CN103891290A CN201280051363.7A CN201280051363A CN103891290A CN 103891290 A CN103891290 A CN 103891290A CN 201280051363 A CN201280051363 A CN 201280051363A CN 103891290 A CN103891290 A CN 103891290A
Authority
CN
China
Prior art keywords
motion vector
camera view
predicted value
frame
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280051363.7A
Other languages
English (en)
Other versions
CN103891290B (zh
Inventor
巫壮飞
托马斯·卢瑟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN103891290A publication Critical patent/CN103891290A/zh
Application granted granted Critical
Publication of CN103891290B publication Critical patent/CN103891290B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

实施例涉及针对来自多个摄像机视图(10，20)的多视图视频内容的运动矢量预测和解码。针对要编码的当前运动矢量(34)，提供至少一个候选运动矢量预测值(44，54)。然后，根据至少一个候选运动矢量预测值(44，54)来确定运动矢量预测值(44)。相应地，在解码期间，基于针对当前像素块(30)确定的运动矢量预测值(44)，针对当前像素块(30)确定运动矢量(34)。

Description

运动矢量处理
技术领域
本实施例一般涉及运动矢量的处理，并且尤其涉及这种运动矢量的预测和解码。
背景技术
H.264，也称运动图像专家组-4(MPEG-4)高级视频编码(AVC)，是现有视频编码标准。它是一种混合编解码器，利用消除帧间和一帧内的冗余，并使用若干提供良好的压缩效率的压缩技术。编码过程的输出是视频编码层(VCL)数据，该数据进一步封装成网络抽像层(NAL)单元，然后进行传输或存储。
H.264是基于块的，也就是以宏块(MB)为单位处理视频帧，MB是16×16像素块，可被进一步划分为子宏块(sMB)。为了最小化要编码的数据量，对每个非帧内像素块执行称为运动补偿(MC)的技术，MC在相邻帧中使用先前重构的像素值来尽力而为地预测当前像素块的像素值。为了得到当前像素块的预测，在比特流中信号通知参考帧中与当前像素块相似的区域。最终重建可以通过将预测像素值与残差像素值加在一起来进行。为了找到参考帧中的当前像素块的最佳匹配，通常在编码器侧进行运动搜索。它试图找到当前像素块和可能的参考像素块之间的最小平方差之和(SSD)或绝对差和(SAD)。运动搜索的结果是信号通知其参考哪个参考帧的参考索引以及指向参考区域的偏移矢量，称为运动矢量(MV)。MV是视频比特流中的重要和开销成分。对于以高量化参数(QP)编码的视频，它可能占用超过50％的比特率。
运动矢量编码
MV不直接编码成比特流，因为可以利用MV之间的冗余。相邻MV往往具有较高的相关性，具有类似长度和方向的MV往往集群在一起。这些集群的MV可以对应于局部运动(其中对象移动)或全局运动(其中存在摇拍)。对于要编码的每个MV，首先做MV预测，以减少数据量，使得只有MV和MV预测值(predictor)之间的差值被编码。在H.264中，通过取来自左边、上方和右上方的像素块的MV的中值，来产生中值预测值。该处理针对水平和垂直MV分量分别进行。
多视图视频编码(MVC)
尽管“传统”的视频服务在单一表示中提供视频(也就是固定摄像机位置)，然而多视图视频表示最近获得重要性。多视图表示表示来自不同摄像机视图或视图的内容，一种特殊情况是“立体视频”的情况，其中场景是从具有与人眼相同或相似的距离的两个摄像机捕捉的。使用合适的显示技术来呈现“立体”内容给观众，可以提供给观众深度感。
MVC是一种可用于压缩多视图视频表示的视频编码标准。通过消除不同层之间的冗余信息来实现高压缩效率。MVC基于AVC标准，因此MVC共享大部分AVC结构。
MVC参考画面列表
MVC和AVC之间的主要区别在于参考画面列表处理过程。参考画面列表是可用于预测的画面的集合。它们通常以基于其与当前帧的接近程度的顺序来进行排序。在AVC中，列表中的所有参考画面均来自相同的视图。在MVC中，除了来自同一个视图的参考画面，也有来自其他视图的参考画面。因此，MVC参考画面列表构造过程的第一步骤与AVC中完全相同，不同之处在于然后附加视图间参考画面。由于复杂性的考虑，MVC中只允许将同一个时刻来自其他视图的帧添加到列表。
高效视频编码(HEVC)
HEVC是下一代视频编码标准，目前正在标准化过程中。HEVC旨在相比于AVC在实质上改进编码，尤其是针对高分辨率视频序列。HEVC发展的最初焦点是单视频，即单一视图。
运动矢量竞争
H.264中的中值MV预测值在许多情况下不那么有效率。VCEG贡献[1]描述了称为运动矢量竞争的新技术。这种技术的关键概念是从常常与当前MV高度相关的相邻像素块中取MV，以形成候选MV的列表，其中相邻像素块可以是空间邻居，即同一帧，或时间邻居，即不同帧。这些候选MV根据其与其各自参考帧的时间距离被缩放。基于率失真(RD)准则，只有一个候选MV从列表中被选择为预测值，在比特流发送对列表的对应索引条目。与中值MV预测值相比，一般运动矢量竞争提高了视频编码性能，因此建议用于HEVC。
在运动矢量竞争中，所选择的候选MV通常需要在被放入候选列表之前进行缩放，因为它不一定具有与MV预测所针对的当前像素块的参考距离相同的参考距离。术语“参考距离”指的是具有MV的帧与MV所指向的帧之间的画面顺序计数(POC)的差异。在图1中，有标记为POC0-6的7个帧，POC0-6是视频序列的显示顺序。在该示例中，POC等于0，1，3，4，5，6的帧是已编码帧。具有POC＝2的帧是要被编码的当前帧，帧2的中间的像素块是当前像素块，其上方的像素块已被编码。当前像素块是测试帧间预测模式，使用来自帧0的参考区域作为参考。3个候选MV预测值示于该图中，它们是来自当前帧中的空间相邻像素块的MB B，以及分别来自当前帧之前和之后的时间相关块的MV A和C。在这些候选MV预测值被采纳进入候选列表前，缩放因子被用在这些候选MV预测值。缩放因子公式为：
scaling = CurrDis tan ce DfDis tan ce = CurrPOC - CurrRfPOC RfPOC - RfRfPOC
在图1中，CurrDistance＝2-0＝2。针对A，B和C，RfDistance分别等于1-0＝1，2-0＝2以及3-6＝-3。因此，针对MV A，B和C的缩放因子分别是2/1＝2，2/2＝1和-2/3。每个候选MV预测值根据计算出的缩放因子来放大或缩小。这些缩放的MV预测值显示在图1的底部。
以上所述及建议用于HEVC的运动矢量竞争对于单视频工作良好。然而，将运动矢量竞争应用于HEVC或实际上MVC中的多视图序列时，问题可能发生。
例如，在将运动矢量竞争应用于多视图视频序列时，运动矢量可指向具有相同的POC但在另一视图中的帧，或候选MV预测值可以指向另一个视图中具有相同的POC的帧。在这些情况下，上面给出缩放公式的分子和分母各自是零。这将分别导致零缩放因子或不确定的缩放因子。
此外，在具有不仅使用在空间和时间上相邻的候选MV预测值，还使用来自其他视图的MV的可能性时选择候选MV预测值时，次优压缩性能可能发生。
因此，需要对适合用于与多视图视频结合使用的运动矢量的高效处理。
发明内容
目的是提供针对多视图视频的运动矢量的高效处理。
实施例的一个方面定义了一种用于来自多个摄像机视图的视频内容的多视图视频编码的运动矢量预测的方法。所述方法包括：针对运动矢量，从多个预定义运动矢量类型中确定运动矢量类型。所述运动矢量是针对当前摄像机视图的当前帧中的当前像素块来估计的。运动矢量标识参考帧中的参考像素区域。运动矢量类型是基于以下至少一项来确定的：i)当前摄像机视图和参考帧的摄像机视图，以及ii)当前帧的时间点和参考帧的时间点。标识所确定的运动矢量类型的至少一个候选运动矢量预测值和基于所述至少一个候选运动矢量预测值，确定针对运动矢量的运动矢量预测值。
实施例的这一方面还定义了一种用于来自多个摄像机视图的视频内容的多视图视频编码的运动矢量预测的设备。所述设备包括：类型确定器，被配置为：针对运动矢量，从多个预定义运动矢量类型中确定运动矢量类型，所述运动矢量是针对当前摄像机视图的当前帧中的当前像素块来估计的。所估计的运动矢量标识参考帧中的参考像素区域。类型确定器被配置为基于以下至少一项来确定运动矢量类型：i)当前摄像机视图和参考帧的摄像机视图，以及ii)当前帧的时间点和参考帧的时间点。所述设备还包括：预测值标识器，被配置为标识类型确定器所确定的运动矢量类型的至少一个候选运动矢量预测值。所述设备的预测值确定器被配置为：基于预测值标识器所标识的所述至少一个候选运动矢量预测值，确定针对运动矢量的运动矢量预测值。
实施例的本方面还定义了一种预测用于来自多个摄像机视图的视频内容的多视图视频编码的运动矢量的计算机程序。所述计算机程序包括代码装置，当在计算机上运行时，使计算机：针对当前摄像机视图的当前帧中的当前像素块的运动矢量，从多个预定义运动矢量类型中确定运动矢量类型。运动矢量标识参考帧中的参考像素区域。还使得计算机：基于以下至少一项来确定运动矢量类型：i)当前摄像机视图和参考帧的摄像机视图，以及ii)当前帧的时间点和参考帧的时间点。还使得计算机：标识所确定的运动矢量类型的至少一个候选运动矢量预测值和基于所述至少一个候选运动矢量预测值，确定针对运动矢量的运动矢量预测值。
实施例的一个相关方面定义了一种针对来自多个摄像机视图的编码的多视图视频的运动矢量解码的方法。所述方法包括：提供针对当前摄像机视图的当前帧中的当前像素块的参考帧索引。参考帧索引标识参考帧。针对当前像素块，基于以下至少一项，从多个预定义运动矢量类型中确定运动矢量类型：i)当前摄像机视图和参考帧的摄像机视图，以及ii)当前帧的时间点和参考帧的时间点。产生候选列表，所述候选列表包括所确定的运动矢量类型的至少一个候选运动矢量预测值。所述方法还包括：基于候选列表的候选运动矢量预测值，确定当前像素块的运动矢量。
实施例的本相关方面还定义了一种针对来自多个摄像机视图的编码的多视图视频的运动矢量解码的设备。所述设备包括：索引提供器，被配置为提供针对当前摄像机视图的当前帧中的当前像素块的参考帧索引。参考帧索引标识参考帧。类型确定器，被配置为：针对当前像素块，基于以下至少一项，从多个预定义运动矢量类型中确定运动矢量类型：i)当前摄像机视图和参考帧的摄像机视图，以及ii)当前帧的时间点和参考帧的时间点。所述设备还包括：列表产生器，被配置为产生候选列表，所述候选列表包括类型确定器所确定的运动矢量类型的至少一个候选运动矢量预测值。矢量确定器，被配置为：基于候选列表的候选运动矢量预测值，确定当前像素块的运动矢量。
实施例的本相关方面还定义了一种解码用于来自多个摄像机视图的编码的多视图视频运动矢量的计算机程序。所述计算机程序包括代码装置，当在计算机上运行时，使计算机：提供针对当前摄像机视图的当前帧中的当前像素块的参考帧索引，参考帧索引标识参考帧。使计算机：针对当前像素块，基于以下至少一项，从多个预定义运动矢量类型中确定运动矢量类型：i)当前摄像机视图和参考帧的摄像机视图，以及ii)当前帧的时间点和参考帧的时间点。还使计算机：产生候选列表，所述候选列表包括所确定的运动矢量类型的至少一个候选运动矢量预测值。还使计算机：基于候选列表的候选运动矢量预测值，确定当前像素块的运动矢量。
将运动矢量分类和划分为不同的运动矢量类型，并基于运动矢量类型来限制运动矢量预测值选择，减少了需要评估的候选运动矢量预测值的数量。这意味着降低了复杂度。同时，可以提高编码效率，因为候选数目减少使得要索引的条目总量减少，从而可以分配更短的码字来表示索引和运动矢量预测值选择。
附图说明
本发明，连同其进一步的目的和优点，可以通过参考与附图一起的下面的描述来更好地理解，其中：
图1示意性地示出了使用运动矢量竞争计算运动矢量候选的缩放因子的概念；
图2示意性示出了具有不同的运动矢量类型的概念；
图3示出了摄像机视图之间的一组变化的基线距离；
图4是流程图，说明了根据实施例的运动矢量预测的方法；
图5是流程图，说明了根据实施例图4中的方法的附加步骤；
图6是流程图，说明了根据另一实施例图4中的方法的附加步骤；
图7是流程图，根据实施例图4中的方法的附加步骤；
图8是根据实施例用于运动矢量预测的设备的示意性框图；
图9是示意性框图，说明了包括计算机程序产品的计算机，具有根据实施例的用于运动矢量预测的计算机程序；
图10示出了根据多视图视频流的实施方式的运动矢量预测；
图11是流程图，说明了根据实施例的运动矢量解码的方法；
图12是流程图，说明了根据实施例图11中的方法的附加步骤；
图13是流程图，说明了根据另一实施例图11中的方法的附加步骤；
图14是流程图，说明了根据另一实施例图11中的方法的附加步骤；
图15根据实施例用于运动矢量预测的设备的示意性框图；
图16是示意性框图，说明了包括计算机程序产品的计算机，具有根据实施例的用于运动矢量解码的计算机程序；
图17是示意性框图，示出了根据实施例的编码器；
图18是示意性框图，示出了根据实施例的解码器；以及
图19是根据实施例由用户设备示例的媒体终端的示意性框图。
具体实施方式
贯穿附图，相同的参考标号用于类似的或相应的元件。
本实施例一般涉及运动矢量的处理，尤其是用于多视图视频编码的运动矢量预测和编码的多视图视频的运动矢量解码。因此，实施例实现了存在多个摄像机视图用于从不同视图记录场景的应用中的高效和精确的运动矢量预测和解码。
实施例可以有利地应用到利用多视图视频编码和解码的先前描述的HEVC标准。此外，实施例也可与利用运动矢量预测的其它多视图视频编码和解码标准和方案结合使用。例如，实施例可与MVC结合使用，以实现运动矢量预测和解码。实施例有利地用作运动矢量竞争的补充，以使运动矢量竞争也能够用于多视图视频编码和解码。
但是，如本文所公开的实施例并不限于HEVC、MVC或实际上运动矢量竞争。形成鲜明对比，实施例可以用于与任何多视图视频应用相结合来预测和解码运动矢量。
在只有一个视图的传统的视频编码中，运动矢量被用于从参考时间点的参考帧到当前时间点的当前帧的像素预测的上下文中。在同样的意义上，术语运动矢量有时用在具有多个视图的视频编码中，指从当前视图中的参考帧到当前视图中的当前帧的预测，即“纯时间预测”。在从当前时间点的参考视图到当前时间点的当前视图的像素预测(“纯视图间预测”)的上下文中，有时也使用术语“视差矢量(dispartiy vector)”。本文中，术语“运动矢量”用于“纯时间预测”、“纯视图间预测”及其组合的上下文中，即包括在从参考时间点的参考视图到当前时间点的当前视图的像素预测的上下文中。
当与多视图视频编码相结合应用运动矢量预测时，如执行前面所提到的运动矢量竞争时，各种类型的运动矢量是可能的。这在图2示意性地示出。图2中的运动矢量A从当前帧指向当前视图中在时间上滞后(或在时间上超前)的参考帧。这对应于所谓的时间运动矢量类型，其一般表示视频内容的真实运动。运动矢量C指向与当前帧相同时间点但是在另一个摄像机视图中的参考帧。这是所谓的视图间运动矢量类型，一般表示两个视图(即视图0和视图1之间)的视差。运动矢量B指向与当前帧相比在不同的时间点但是也在另一个摄像机视图中的参考帧。该运动矢量通常表示真实运动和视差的组合，并且可以被认为是时间和视图间运动矢量类型。再一个可选的变体是由运动矢量D表示的所谓的空间运动矢量的类型，运动矢量D指向当前帧本身中的编码的像素区域。这样的运动矢量类型可以被认为是表示重复的模式。
当提供当前运动矢量的候选运动矢量(MV)预测值时，如运动矢量竞争或其它编码模式(诸如跳过模式)的一部分，如果在提供候选MV预测值方面没有限制，则可能选择非最优的MV预测值。例如，指向具有相同时间点但在另一摄像机视图中的帧的视图间MV类型的运动矢量通常表示像素视差，因为两帧在相同时刻被捕获，其中不涉及运动。在这种情况下，当要编码的当前像素块具有指向与当前帧相同摄像机视图的先前或后续参考帧中的像素区域的运动矢量时，一般不适合使用视图间运动矢量类型的候选MV预测值。其原因是，视图间MV类型的运动矢量通常与时间MV类型的运动矢量没有相关性。因此，此时结果可能是次优的压缩性能，因为未选择当前运动矢量的“最优”MV预测值。
实施例的一个方面通过在基于当前运动矢量的MV类型来选择当前运动矢量的候选MV预测值时施加限制来解决这个问题。图4是流程图，说明了根据本方面的运动矢量预测的方法。图4中公开的运动矢量预测应用于来自多个(即至少两个)摄像机视图10，20的视频内容的多视图视频编码，见图10。图10示出了具有两个摄像机视图10，20的多视图视频编码的例子，摄像机视图每个记录包括像素块30，40，50，60的一系列帧12，14，16，22，24，26。在图10中，参考数字40，50，60分别表示已经编码的像素块，针对这些像素块，已经估计了指向相应像素区域42，52，62的相应运动矢量44，54，64。
在一般实施例中，方法包括：在步骤S2中，针对运动矢量34，从多个预定义的运动矢量类型中确定运动矢量类型。运动矢量34是针对多个摄像机视图10，20中的当前摄像机视图20的当前帧24的当前像素块30来估计的。运动矢量34标识参考帧22中的参考像素区域32。在步骤S2中，基于以下至少一项来确定运动矢量类型：i)多个摄像机视图10，20中的当前摄像机视图20和参考帧22的摄像机视图20，以及ii)当前帧24的时间点和参考帧22的时间点。该方法还包括：在步骤S3中，标识所确定的运动矢量类型的至少一个候选运动矢量预测值44，54，64；以及在步骤S4中，基于所述至少一个候选运动矢量预测值44，54，64来确定运动矢量34的运动矢量预测值。
这个一般性实施方式的各种实现实施例将在本文中进一步披露。
图4的方法始于可选的但优选的步骤S1，其中针对当前摄像机视图20的当前帧24中要编码的当前像素块30，估计或预测运动矢量34。例如，运动矢量34可以根据现有技术在运动矢量估计或搜索过程中估计。这样的运动矢量估计通常涉及将当前像素块30的像素值与不同的候选像素区域中的像素值相比较。然后选择得到最小像素值差值(如给出当前像素块30和候选像素区域之间的最低SSD或SAD)的候选像素区域作为当前像素块30的参考像素区域32。然后，至少部分地由运动矢量34以及可选地由帧索引来标识这个参考像素区域32。因此，在步骤S1估计的运动矢量34标识当前像素块30的参考帧22中的参考像素区32。参考帧22可以是与当前像素块30相同当前摄像机视图20的但在当前摄像机视图20的先前帧22(或实际上后续帧26)中的帧，见图10。备选地，参考帧属于多个摄像机视图10、20中的不同的摄像机视图10。尽管不太常见，参考帧实际上可能是当前帧24。
根据实施例，在步骤S1估计的运动矢量34不直接编码在比特流中。明显相反地，针对运动矢量34确定MV预测值44。这就是说，只有MV预测值44和运动矢量34之间的差或残差需要编码。备选地，例如在跳过模式中，无需对残差进行编码，因为MV预测值44被用作估计的运动矢量34的表示。这通常得到利用运动矢量之间的冗余的更高效的编码。针对运动矢量34执行下面的步骤S2至S4，以找到最佳的MV预测值44。
步骤S2确定在步骤S1估计的运动矢量34的MV类型。MV类型是从多个预定义的MV类型中确定的。此时，步骤S2中MV类型的确定是基于当前摄像机视图20和参考帧22的摄像机视图20(本文中表示为(当前)参考摄像机视图)来执行的。备选地或另外地，步骤S2中的确定是基于当前帧24的时间点和参考帧22的时间点来执行的。在前一种情况下，通常将当前摄像机视图20和参考摄像机视图20的视图编号或标识符进行比较。如果它们是不同的，则运动矢量指向与当前摄像机视图20不同的摄像机视图的参考帧中的像素区域。此时运动矢量是所谓视图间MV类型。如果视图标识符不是不同的，则参考帧22取而代之地属于与当前视图20相同的摄像机视图20，并且在步骤S1中估计的运动矢量34不是视图间MV类型。相应地，如果当前帧24与参考帧22的时间点是不同的，则在步骤S1估计的运动矢量34指向相对于当前帧24在时间上滞后或超前的帧。此时运动矢量34是所谓的时间MV类型。
下一步骤S3标识针对当前运动矢量34的至少一个(优选地多个)候选MV预测值44，54。根据实施例，这至少一个候选MV预测值44，54被选择为在步骤S2中确定的MV类型。因此，针对当前运动矢量34标识的候选MV预测值44，54是与当前运动矢量34相同的MV类型。
在步骤S3中标识的特定候选MV预测值44，54优选地至少部分地基于当前像素块30在当前帧24中的位置来标识。在特定实施例中，步骤S3包括针对当前运动矢量34确定多个候选MV预测值44，54，64的集合，其中该集合确定是基于当前像素块30的位置来执行的。此外，除了当前像素块30的位置，优选地还基于当前帧24的时间点和当前摄像机视图20的标识符或编号来确定多个候选MV预测值44，54，64的集合。
在特定实施例中，下一个子步骤包括：标识所确定的集合中与当前运动矢量34相同的MV类型的候选MV预测值44，54。在一个实施例中，仅采用集合中的这些标识的候选MV预测值44，54。因此，集合中与在步骤S2中确定的当前运动矢量34的MV类型不同MV类型的任何候选MV预测值优选地被丢弃或忽略。
多个候选MV预测值44，54，64的集合可以包括空间候选MV预测值，时间候选MV预测值44，空间-时间候选MV预测值54和视图间候选MV预测值54，64。如何选择前者的示例在文献[1]中公开。因此，多个候选MV预测值44，54，64的集合的确定优选基于以下至少一项来执行：i)与当前帧24中在空间上相邻的像素块40相关联的运动矢量44，ii)与不同于当前帧24但属于当前摄像机视图20的帧26中的时间上相邻的像素块60相关联的运动矢量64，以及iii)与属于不同于当前摄像机视图20的摄像机视图10但具有与当前帧24的时间点相等的相应时间点的帧14中的像素块50相关联的运动矢量54。可选地，多个候选MV预测值44，54，64的确定也可以进行基于以下来执行：iv)与属于不同于当前摄像机视图的摄像机视图并具有与当前帧的时间点不同的相应时间点的帧中的像素块相关联的运动矢量。在特定实施例中，该集合至少包括从上述ii)和iii)中选择的候选MV预测值。
下一个步骤S4基于在步骤S3中标识的候选MV预测值中的一个，确定针对当前运动矢量的MV预测值。作为MV预测值使用的该特定候选MV预测值可以例如基于率-失真准则来确定，率-失真准则反映信号通知所选择的MV预测值的额外成本和利用更准确的MV预测值得到的增益之间的折衷。根据实施例可以使用的率-失真准则的示例在文献[1]的3.1.2节提出，其关于合适的率-失真准则的教导在此通过引用并入。不同于率失真准则的其它准则也可能在步骤S4中确定MV预测值时使用，如纯质量度量，例如SSD或SAD。
运动矢量包括x坐标或水平分量和y坐标或垂直分量。此时图4的方法可以使用在组合过程中以找到两个矢量分量的运动矢量预测值。在备选方法中，两个分量分开处理。在这种情况下，图4的步骤S2到S4可以顺序或并行地针对每一个相应矢量分量来完成。在这种情况下，该方法的结果是针对水平分量的第一MV预测值和针对运动矢量的垂直分量的第二MV预测值。
然后，在一个实施例中，在步骤S4中针对当前运动矢量确定的MV预测值用于计算残差运动矢量。因此，残差运动矢量是根据运动矢量和MV预测值来计算的，优选作为其间的差。在计算残差运动矢量之前，可以应用MV预测值的可选缩放，这里将进一步公开。
在其它实施例中，例如在跳过模式中，不计算残差运动矢量。因此，在跳过模式中，解码器将使用针对当前像素块确定的MV预测值，没有任何MV差值或残差来细化该像素块的运动矢量。
在某些罕见的情况下，可能发生没有合适的候选MV预测值可用的情况。因此，集合中的所有的候选MV预测值是与步骤S2中针对当前像素块和运动矢量确定的MV类型不同的MV类型。在这样的情况下，可以使用默认的MV预测值来代替。这样的默认MV预测值的典型示例可能是零矢量(0，0)。
在步骤S2的实施例中，如果当前帧的时间点不同于参考帧的时间点，则MV类型被确定为是时间MV类型。在这种情况下，步骤S3标识候选MV预测值作为与相应第一帧中的相应像素块相关联，并标识具有与第一帧的时间点不同的时间点但与第一帧属于同一摄像机视图的相应第一参考帧中的相应像素区域的运动矢量(见图2中的运动矢量A)。在一个可选的实施方案中，候选MV预测值也可以被标识为与相应第一帧中的相应像素块相关联，并标识具有与第一帧的时间点不同的时间点并属于与第一帧的摄像机视图不同的摄像机视图的相应第一参考帧中的相应像素区域的运动矢量(见图2中的运动矢量B)。第一帧可以是等于或不同于当前帧。相应地，第一参考帧可以是等于或不同于参考帧。
因此，在这种情况下，当当前运动矢量是时间MV类型时，最合适的候选MV预测值将是图2中的运动矢量A。要考虑的次要候选MV预测值是图2中的运动矢量B，因为它实际上是时间运动和视差的混合。在这种情况下，在一个可选的实施例中，视差分量可以从候选MV预测值中移除，然后将其放入MV候选列表，并在步骤S3中使用它作为候选MV预测值，以便只保留时间运动分量。因此，在这种情况下，如果视图间视差分量包含时间和视差分量，则将视图间视差分量从候选MV预测值中移除。然后，运动矢量C和D被忽略，而不用作候选MV预测值，因为它们是不同MV类型。
可以根据不同的实施方案来移除视差分量。例如，可以从定义了摄像机视图和捕获的场景之间的距离相关联的深度图中扣除候选MV预测值的视差分量。如在多视图视频编码的领域中已知的，这种深度图通常被估计或捕获并与承载视频数据的视频帧一起使用。具体地，来自不同的摄像机视图的深度图和视频帧可以用于合成虚拟的或新的摄像机视图。在这种情况下，这样的深度图用来确定要从候选MV预测值中移除的视差分量。
在备选方法中，可以使用所谓的全局视差。此时，全局差距表示两个摄像机视图之间的平均差距。这样的全局视差可以用作要从候选MV预测值中移除的视差分量的良好表示。
再一个变体是看相邻像素块的视图间运动矢量，以获取视差分量的估计。
另一种备选是基于至少两种以上给出的实施例的组合确定视差分量。
在步骤S2的另一实施例中，如果当前摄像机视图与参考帧的当前参考摄像机视图不同，则当前运动矢量的MV类型被确定为视图间MV类型。此时，步骤S3涉及标识与相应第一摄像机视图的相应第一帧中的相应像素块相关联，并标识具有与第一帧的时间点相等的时间点但属于与第一摄像机视图不同的摄像机视图的相应第一参考帧中的相应像素区域的候选MV预测值(图2中的运动矢量C)。在一个可选的实施方案中，候选MV预测值也可以被标识为与相应第一帧中的相应像素块相关联，并标识具有与第一帧的时间点不同的时间点并属于与第一帧的摄像机视图不同的摄像机视图的相应第一参考帧中的相应像素区域的运动矢量(见图2中的运动矢量B)。此时，运动矢量A和D被忽略，而不用作候选MV预测值，因为它们是与当前运动矢量相比不同的MV类型。
类似于前面所述的时间实施例，运动矢量C只携带视差分量，因此是非常好的候选MV预测值。运动矢量B是运动分量和视差成分的混合。在可选的步骤中，先移除时间运动分量，然后使用运动矢量B作为候选MV预测值。
在本例中，要从运动矢量B中移除的时间分量的表示可以根据在当前帧中的相邻像素块中的时间视图间MV来确定。
将运动矢量分类和划分为不同的MV类型，并基于MV类型来限制候选MV预测值选择，减少了需要评估的候选MV预测值的数量。这意味着降低了复杂度。同时，可以提高编码效率，因为候选数目减少使得要索引的条目总量减少，从而可以分配更短的码字来表示索引和MV预测值选择。此外，没有使用MV竞争的实施例将受益于使用与当前像素块的运动矢量相同MV类型的MV预测值。其原因是，此时将使用更好的MV预测值。例如，可以使用H.264中值预测。然而，在这种情况下，优选地仅基于与当前像素块的运动矢量相同类型的候选MV预测值来执行中值操作。例如，如果当前像素块具有时间MV类型的运动矢量。在这种情况下，中值操作可以对选择的像素块的运动矢量执行，其中这些运动矢量是时间MV类型。因此，在这个示例中，在H.264中值预测中不考虑选择的像素块的视图间MV类型的任何运动矢量。
在将运动矢量预测应用到多视图视频编码时的再一个问题是先前所讨论的在现有技术的MV预测值中使用的缩放公式可能会导致零或无穷的缩放因子(取决于当前帧，参考帧和MV预测值的帧的POC)。图5是流程图，说明了图4的方法的附加步骤，解决了这些缩放因子问题。
在这个特定的实施例中，当前帧具有当前画面顺序计数(POC)，参考帧具有对应的参考画面顺序计数。参考帧可以等于或不同于当前帧。
该方法将从图4的步骤S3继续，其中已经标识了所确定的运动矢量类型的至少一个候选运动矢量(MV)预测值，如本文先前所披露。所述至少一个候选MV预测值与具有相应第一POC并标识具有相应第一参考POC的相应第一参考帧中的相应像素区域的相应第一帧中的相应像素块相关联。
下一步骤S10比较当前POC(CurrPOC)与参考POC(CurrRfPOC)，并将第一POC(RfPOC)与第一参考POC(RfRfPOC)进行比较。如果当前POC等于参考POC或第一POC等于第一参考POC，则方法从步骤S10继续到步骤S11。该步骤S11确定当前候选MV预测值的缩放因子(SF)要等于固定的预定义值，优选等于1。然而，如果当前POC与参考POC不同并且第一POC与第一参考POC不同，则方法取而代之地从步骤S10继续到步骤S12，其中优选基于当前POC，参考POC，第一POC和第一参考POC来计算缩放因子。在特定实施例中，在步骤S12中计算缩放因子，根据并优选为：
scalingfactor = CurrPOC - CurrRfPOC RfPOC - RfRfPOC
下一步骤S13基于缩放因子和候选MV预测值，确定针对当前候选MV预测值的缩放的候选MV预测值。缩放的候选MV预测值由此通常是候选MV预测值的放大的或缩小的版本，相比于候选MV预测值可能指向相反的方向。优选地，缩放的候选MV预测值是通过将缩放因子乘以候选MV预测值来获得的。
然后，优选地针对在步骤S3中标识的所有候选MV预测值重复步骤S10到步骤S13的循环，这是示意性地通过线L1示出的。因此，在这样的情况下，相应缩放因子优选地确定为等于固定的预定义值，优选等于1，或按照以上针对当前运动矢量提供的每个候选MV预测值来计算。然后，这些缩放因子在步骤S13中用于通过将每个候选MV预测值乘以其相应缩放因子，来放大或缩小相应候选MV预测值。
该方法然后继续到图4的步骤S4，其中针对当前运动矢量确定MV预测值，其中，该MV预测值基于来自步骤S13的至少一个缩放的候选MV预测值。步骤S4中MV预测值的确定优选基于先前描述的率失真准则并使用缩放的候选MV预测值来进行。因此，在测试的候选MV预测值中，得到当前运动矢量的最佳率失真的缩放的候选MV预测值被确定为步骤S4中当前运动矢量的MV预测值。
在特定实施例中，当前摄像机视图与参考摄像机视图不同，第一帧的摄像机视图与第一参考帧的摄像机视图不同。然而，注意，当前摄像机视图可以等于第一帧(或第一参考帧)的摄像机视图和/或参考摄像机视图可以等于第一参考帧(或第一帧)的摄像机视图。在这种情况下，可以针对候选MV预测值确定复合缩放因子。这样的复合缩放因子基于并且优选等于在步骤S11中确定或在步骤S12中计算出的前面提到的缩放因子乘以
Figure BDA0000493044570000161
其中CV表示当前摄像机视图，RV表示参考摄影机视图，V1表示上述第一帧的摄像机视图，RV1表示第一参考帧的摄像机视图。因此，在本实施方式中，候选MV预测值不仅根据其参考距离来缩放，也根据其视图距离来缩放。
然后，缩放的MV预测值被确定为等于由其复合缩放因子缩放的候选MV预测值，因此基于并优选等于候选MV预测值乘以复合缩放因子。如果上面的针对视图距离的公式导致零或无穷值，也就是说，如果CV＝RV和/或V1＝RV1，则缩放因子可以仅基于参考距离，或缩放因子的视图距离部分可以被设置为固定的预定义的值，优选为1。
摄像机视图参数通常是摄像机视图的标识符或编号，并且可以基于当前摄像机视图，参考摄像机视图和第一帧和第一参考帧的摄像机视图的几何关系来确定。例如，如果摄像机位置随索引线性变化数，摄像机视图可以以线性的方式被索引或编号。在更一般的方式中，摄影机视图参数是基于几何摄像机的位置(如基于摄像机距离)来定义的，并可选地包括三维几何特性以处理摄像机倾斜或旋转。
一旦针对当前运动矢量确定了MV预测值，如本文前面所述的，可以计算出残差运动矢量。
当当前视图间运动矢量是从视图间MV预测值预测的，并且应用计算缩放因子的现有技术的公式时，可以得到零缩放因子，从而零MV预测值，这通常是不期望的。更糟的是，除以零可能导致未解决的值，这将导致编码器崩溃。在以上结合图5讨论的实施例通过在原本可能发生问题的特殊情况将缩放因子设置为固定的预定义值来解决这些问题。
多视图视频中的运动矢量预测的另一个问题是，视图间运动矢量与摄像机视图之间的基线距离高度相关。图3示出了这一概念。在这个示例中，针对立体表示，基线距离被改变，即具有两个摄像机视图。基线距离对于帧0，1，2是相同的。它在帧3开始增加，在帧4达到峰值，最终在帧6下降回到先前距离。视差通常是与基线距离成正比。因此，当基线距离乘以某个因子时，相应视差很可能也可以乘以相同因子。因此，当在帧3中的视图间运动矢量需要从帧2中的另一个视图间运动矢量预测时，以反映基线距离尺度的量的因子来缩放运动矢量预测值将是有利的。这在图6的流程图中公开的实施例中实现。图6示出了图4的方法的附加步骤。在具体实施方式中，当前摄像机视图与参考摄像机视图不同。
该方法从图4的步骤S3继续，其中已经针对运动矢量标识了所确定的运动矢量类型的至少一个候选MV预测值。每个这样的候选MV预测值与相应第一摄像机视图的相应第一帧中的相应像素块相关联，并标识相应第一参考摄像机视图的相应第一参考帧中的相应像素区域。在特定实施例中，第一摄像机视图与第一参考摄像机视图不同。
下一步骤S20确定在步骤S3中标识的至少一个候选MV预测值的缩放因子。根据一个实施例，缩放因子是基于当前摄像机视图和参考摄像机视图之间的基线距离以及第一摄像机视图和第一参考摄像机视图之间的基线距离来确定的。以下是可能的：基线距离变化，从而在不同时间点不同，如图3所示。因此，当前摄像机视图和参考摄像机视图之间的基线距离优选为在当前帧的时间点确定的当前基线距离。相应地，第一摄像机视图和第一参考摄像机视图之间的基线距离优选为在第一帧的时间点确定的基线距离。
下一步骤S21基于候选MV预测值和在步骤S20中所确定的缩放因子，确定当前候选MV预测值的缩放的候选MV预测值。在特定实施例中，缩放的候选MV预测值是基于并优选等于候选MV预测值乘以缩放因子来确定的，从而得到缩放(放大/缩小)的候选MV预测值。基本上以与图5的步骤S13相同的方式来执行该步骤S21。然后，针对每个所提供的候选MV预测值执行步骤S20和S21的循环(由线L2所指示)，从而得到至少一个但最好是多个缩放的候选MV预测值，缩放的候选MV预测值是基于不同摄像机视图之间的基线距离来缩放的。
该方法然后继续到图4的步骤S4，其基于从步骤S21中获得的至少一个缩放的候选MV预测值，确定当前运动矢量的MV预测值。步骤S4优选地包括选择得到如前文所公开的最好率-失真参数值的缩放的候选MV预测值。
在特定实施例中，步骤S20中确定缩放因子包括：基于当前摄像机视图和参考摄像机视图之间的基线距离和第一摄像机视图和第一参考摄像机视图之间的基线距离之间的商来确定缩放因子。
在另一特定实施例中，可以针对至少一个候选MV预测值确定复合或多分量缩放因子。这样的缩放因子然后可以基于，优选等于，α×β，其中α是基于当前摄像机视图和参考摄像机视图之间的基线距离以及第一摄像机视图和第一参考摄像机视图之间的基线距离来确定的，其中CV表示当前摄像机视图，RV表示参考摄像机视图，V1表示第一摄影机视图，RV1表示第一参考摄像机视图。在优选实施例中，
Figure BDA0000493044570000182
在另一个实施例中，其中BLC表示当前摄像机视图和参考摄像机视图之间的基线，BL1表示第一摄影机视图和第一参考摄像机视图之间的基线距离。在特定实施例中，BLC＝CV-RV和BL1＝V1-RV1，使两个参数α，β基本上是相同的。优选地，没有复合缩放因子然后被计算为α×β。
对于变化的基线距离的场景，基于并与基线距离成正比确定候选MV预测值的缩放因子，提高了运动矢量的编码效率。
确定缩放因子的本实施方式可以与前述结合图5所公开的缩放因子确定结合。图7示出这样的方法。然后，该方法从图4的步骤S3继续进行。下一个步骤S30基于基线距离确定候选MV预测值的第一缩放因子。步骤S30如以上结合图6中的步骤S20所公开的执行。该方法继续在步骤S31，S32和S33中确定第二缩放因子。这些步骤S31，S32和S33以与图5中的步骤S10，S11和S12相同的方式执行。该方法然后继续到步骤S34，其中基于候选MV预测值乘以第一缩放因子乘以第二缩放因子来确定缩放的候选MV预测值。该方法然后继续到图4的步骤S4。
因此，在本实施方式中，使用复合缩放因子，其基本上为在图6中公开的步骤S30中获得的第一缩放因子和在图5中公开的步骤S31，S32和S33中获得的第二缩放因子的乘积。步骤S30中第一缩放因子的确定和步骤S31-S33中第二缩放因子的确定可以以任何顺序串行或至少部分并行执行。
因此，在这种情况下，针对当前POC等于参考POC和/或第一帧的POC等于第一参考帧的POC的候选MV预测值的复合缩放因子优选基于，以及优选等于，k×α或k×α×β，其中k表示固定的预定义值，并优选地等于1，α，β如上文所定义。相应地，如果当前POC不等于参考POC和第一帧的POC不等于第一参考帧的POC，则复合缩放因子优选基于以下确定，优选地等于：α×χ或α×β×χ，其中
Figure BDA0000493044570000191
在这些情况下，候选MV预测值是根据参考距离，视图距离和基线距离来缩放的。
图8是根据此方面的实施例的用于运动矢量预测的设备100的示意性框图。设备100可选地包括MV估计器或预测值110，被配置为针对当前摄像机视图的当前帧中的当前像素块估计或预测运动矢量。所估计的运动矢量标识参考帧中的参考像素区域。设备100采用类型确定器120来针对MV预测值110的预测运动矢量，从多个预定义的MV类型中确定MV类型。类型确定器120基于以下至少一项执行该类型确定：i)当前摄像机视图和参考帧的摄像机视图，以及ii)当前帧的时间点和参考帧的时间点。预测值标识器130被配置为标识预测的运动矢量的至少一个候选MV预测值，其中所述候选MV预测值是与类型确定器120确定的当前运动矢量相同MV类型。设备100还包括预测值确定器140，被配置为基于如前文所披露的预测值标识器130标识的所述至少一个候选MV预测值来确定当前运动矢量的MV预测值。
在特定实施例中，类型确定器120被配置为，如果当前帧的时间点与参考帧的时间点不同，确定MV类型为时间MV类型。预测值标识符130然后被配置为，标识已预测的运动矢量中与相应第一帧中的相应像素块相关联，并标识具有与第一帧的时间点不同的时间点但与第一帧属于同一摄像机视图的相应第一参考帧中的相应像素区域的候选MV预测值。可选地，已预测的运动矢量可以标识具有与第一帧的时间点不同的时间点并属于与第一帧的摄像机视图不同的摄像机视图的相应第一参考帧中的相应像素区域。
在实施例中，设备100包括可选的分量移除器150，被配置为，如果类型确定器120所确定的MV类型是时间MV类型，并且候选MV预测值是时间运动和视差的混合，则将视图间视差分量从候选MV预测值中移除。
类型确定器120被相应地配置为，如果当前摄像机视图与参考帧的摄像机视图不同，则确定MV类型是视图间MV类型。预测值标识符130然后被配置为，标识已预测的运动矢量中与第一摄像机视图的第一帧中的像素块相关联，并标识具有与第一帧的时间点相等的时间点但属于与第一摄像机视图不同的摄像机视图的第一参考帧中的像素区域的候选MV预测值。可选地，已预测的运动矢量可以标识具有与第一帧的时间点不同的时间点并属于与第一摄像机视图不同的摄像机视图的第一参考帧中的像素区域。
在一个实施例中，可选的分量移除器150被配置为，如果当前运动矢量的当前MV类型是视图间MV类型，并且候选MV预测值是时间运动和视差的混合，则将时间运动分量从候选MV预测值中移除。
在一个特定的实施例中，预测值标识器130被配置为从多个候选MV预测值的集合中标识候选MV预测值，如先前所讨论的。此时，该集合是基于当前像素块在当前帧中的位置，当前帧的时间点和当前摄像机视图的标识符或编号来确定的。可选的集合确定器160可以在设备100上实现，以基于以下来确定多个候选MV预测值的集合：i)与当前帧中在空间上相邻的像素块相关联的运动矢量，ii)与不同于当前帧但属于当前摄像机视图的帧中的时间上相邻的像素块相关联的运动矢量，以及iii)与属于不同于当前摄像机视图的摄像机视图但具有与当前帧的时间点相等的相应时间点的帧中的像素块相关联的运动矢量。在可选的实施例中，该集合还可以包括与属于不同于当前摄像机视图的摄像机视图并具有与当前帧的时间点不同的相应时间点的帧中的像素块相关联的运动矢量。
设备100优选地还包括矢量计算器170，被配置为基于MV预测值110预测的运动矢量和由预测确定器140确定的MV预测值来计算残差运动矢量。如果根据跳过模式操作，则不需要计算残差运动矢量。
在实施例中，该设备100还包括缩放因子(SF)确定器180，缩放预测值确定器190和可选的参数确定器195。
在实施例中，SF确定器180被配置为确定预测值标识符130所标识的至少一个候选MV预测值的相应缩放因子。在本实施例中，SF确定器180被配置为，如果当前帧的当前POC等于参考帧的参考POC或者如果第一帧的第一POC等于第一参考帧的第一参考POC，则确定缩放因子等于固定的预定义值，优选为1。
在特定实施例中，如果当前POC与参考POC不同，并且如果第一POC与第一参考POC不同，SF确定器180基于
Figure BDA0000493044570000211
计算缩放因子。
缩放预测值确定器190然后将SF确定器180确定的缩放因子用于对相关联的候选MV预测值进行缩放，以形成缩放的候选MV预测值。这个缩放的候选MV预测值优选基于将所确定的缩放因子乘以候选MV预测值来获得。
预测值确定器140然后在缩放预测值确定器190确定的缩放的候选MV预测值中确定运动矢量的MV预测值。预测值确定器140优选地基于前面所讨论的率失真度量或准则来执行该运动矢量确定或选择。
在特定的实施例中，SF确定器180被配置为基于上述缩放因子乘以
Figure BDA0000493044570000212
来确定复合缩放因子。因此，根据当前帧、参考帧、第一帧和第一参考帧的POC，复合缩放因子可以是或
Figure BDA0000493044570000214
在这个示例中，固定的预定义值由1举例说明。缩放预测值确定器190然后被配置为基于并优选等于候选MV预测值乘以复合缩放因子来确定候选MV预测值的缩放的候选MV预测值。
在可选的实施例中，设备100包括可选的参数确定器195，被配置为基于当前摄像机视图，参考摄像机视图和第一帧的摄像机视图和第一参考帧的摄像机视图相对于场景的几何关系来确定视图参数CV、RV、V1和RV1。
在备选实施例中，SF确定器180被配置将针对预测值标识器130所标识的至少一个候选MV预测值的相应缩放因子确定为基于当前摄像机视图和参考摄像机视图之间的基线距离和第一摄像机视图和第一参考摄像机视图之间的基线距离。
缩放预测值确定器190然后将SF确定器180确定的缩放因子用于对相关联的候选MV预测值进行缩放，以形成缩放的候选MV预测值。这个缩放的候选MV预测值优选基于将所确定的缩放因子乘以候选MV预测值来获得。预测值确定器140然后在缩放预测值确定器190确定的缩放的候选MV预测值中确定运动矢量的MV预测值。
在特定的实施例中，SF确定器180被配置为基于当前视图和参考视图之间的基线距离和第一视图和第一参考视图之间的基线距离之间的商来确定缩放因子。
在各种实施方式中，SF确定器180可以被配置为将缩放因子确定为基于或等于α×β，以使得缩放因子是视图距离和基线距离的函数、基于或等于k×α或α×χ，以使得缩放因子是参考距离和基线距离的函数、或者基于或等于k×α×β或α×β×χ，以使得缩放因子是参考距离、视图距离和基线距离的函数。
设备100可以用硬件、软件或硬件和软件的组合来实现。设备100可以在用户设备中实现，诸如移动电话，平板，台式机，笔记本电脑，多媒体播放器，视频流服务器，机顶盒或计算机。设备100也可在通信网络或系统中的网络设备中实现，以网络节点的形式或者连接到网络节点，例如无线基站。设备100有利地实现为用于编码多视图视频内容的编码器的一部分。
虽然结合图8披露的各单元110-195已经公开作为设备100中物理上分离的单元110-195，但是所有这些可能是专用电路，诸如ASIC(专用集成电路)，设备100的备选实施例也是可能的，其中某些或全部单元110-195被实现为在通用处理器上运行的计算机程序模块。这种实施例在图9中公开。
图9示意性示出了具有处理单元74，诸如DSP(数字信号处理器)或CPU(中央处理单元)的计算机70的实施例。处理单元74可以是单个单元或多个单元，用于执行在此描述的方法的不同的步骤。计算机70还包括输入/输出(I/O)单元76，用于接收多个视图的记录或产生的视频帧，并输出运动矢量预测值，或编码的多视图视频内容的编码比特流。在图9中，I/O单元76已被示为单个单元，但同样可以具有单独的输入单元和单独的输出单元的形式。
此外，计算机70包括非易失性存储器72的形式的至少一个计算机程序产品，例如EEPROM(电可擦除可编程只读存储器)，闪存存储器或磁盘驱动器。计算机程序产品包括计算机程序78，其包括代码装置，当在计算机70上运行或执行或由计算机70(如由处理单元74)执行时，使计算机70执行以上结合图4描述的方法的步骤。因此，在可选的实施例中，计算机程序78中的代码装置包括MV估计或预测模块或MV估计器或预测值110，用于估计或预测运动矢量；类型确定模块或类型确定器120，用于确定MV类型；预测值标识模块或预测值标识器130，用于标识候选MV预测值；以及预测值确定模块或预测值确定器140，用于确定MV预测值。这些模块110-140在处理单元74上运行时，基本上执行图4的流程图的步骤。因此，当不同模块110-140正在处理单元74上运行时，它们对应于图8的相应单元110-140。
计算机程序78可以另外包括结合图8公开的分量移除模块或分量移除器，集合确定模块或集合确定器，矢量计算模块或矢量计算器，SF确定模块或SF确定器，缩放预测值确定模块或缩放预测值确定器，和/或参数确定模块或参数确定器。
实施例的一个相关方面定义了针对来自多个摄像机视图的编码的多视图视频的运动矢量解码的方法。图11是流程图，说明了这种方法。
在一般实施方案中，该方法开始于步骤S40，其中针对多个摄像机视图中的当前摄像机视图的当前帧中的当前像素块，提供标识参考帧的参考帧索引。该方法还包括：在步骤S41中，针对当前像素块，基于以下至少一项，从多个预定义运动矢量类型中确定运动矢量类型：i)当前摄像机视图和参考帧的摄像机视图，以及ii)当前帧的时间点和参考帧的时间点。在步骤S42中，产生候选列表，所述候选列表包括所确定的运动矢量类型的至少一个候选运动矢量预测值。该方法还包括：在步骤S44中，基于候选列表的候选运动矢量预测值，确定当前像素块的运动矢量。
这个一般性实施方式的各种实现现在将在本文中进一步披露。
如图11所示的方法开始于步骤S40，其中，针对当前摄像机视图的当前帧中要解码的当前像素块提供参考帧索引。该参考帧索引标识当前像素块的参考帧。通常，该参考帧可以包括像素区域，该像素区域将要在解码期间被用作当前像素块的预测值。参考帧索引通常从比特流中获取，更具体地从当前像素块的编码表示或当前帧的编码表示中获取。接下来的步骤S41针对当前像素块从多个预定义MV类型中确定MV类型。该步骤S41基本上如在图4的步骤S2中公开的执行，因此这里不再进一步描。下一步骤S42产生当前像素块的候选列表。这个候选列表包括至少一个(优选多个)候选MV预测值。此外，根据该方面的候选MV预测值是步骤S41中所确定的MV类型。因此，候选列表优选地仅包括与针对当前像素块确定的相同MV类型的候选MV预测值。
最后，步骤S44确定根据候选列表的候选MV预测值确定当前像素块的运动矢量。在步骤S44中确定的运动矢量然后使得能够标识参考帧中要被用作当前像素块的预测值的像素区域。因此，然后优选通过将所标识的像素区域的像素值加上从比特流(优选从当前像素块的编码表示)得到的残差像素值来获得当前像素块的像素值。
在特定实施例中，图11的方法包括可选的步骤S43。该步骤S43从候选列表中列出的至少一个候选MV预测值中选择当前像素块的MV预测值。这个MV预测值优选基于与当前像素块相关联并且包括在比特流(如当前像素块的编码表示)中的预测值索引来选择。在这样的实施例中，步骤S44基于在步骤S43中选择的MV预测值和与当前像素块相关联的残差运动矢量，确定当前像素块的运动矢量。该残差运动矢量是从比特流中(优选从当前像素块的编码表示中)获得的。在特定实施例中，通过将所选择的MV预测值与残差运动矢量相加得到运动矢量。
在其它实施例中，没有当前像素块的残差运动矢量被包括在比特流中。例如，根据跳过模式，没有残差运动矢量来细化像素块的MV预测值。明显不同地，在步骤S42中产生的候选列表中的在步骤S41中确定的MV类型的一个或多个MV预测值将被用作在步骤S44中针对像素块确定的运动矢量的基础。例如，候选列表可包括与当前帧中的空间上相邻的像素块相关联，与不同于当前帧但在当前摄像机视图中的其它帧中时间上相邻的像素块相关联，和/或与存在于具有与当前帧相同的时间点但属于与前摄像机视图不同的其他摄像机视图的帧中的像素块相关联的所确定MV类型的运动矢量。在这种情况下，像素块的运动矢量可以根据这些候选MV预测值中的至少一个来确定。在一个实施例中，运动矢量被确定为等于或至少基于所述至少一个候选MV预测值的中值MV或所述至少一个候选MV预测值的平均MV。因此，在一个实施例中，在步骤S44中确定的MV可以是H.264中值预测值，但其中，该H.264中值预测值是在所确定的MV类型的候选MV预测值的候选列表中获得的。因此，在具体实施例中，H.264中值预测过程优选限于在所确定的MV类型的候选MV预测值中执行。例如，如果在步骤S41中确定的MV类型是时间MV类型，并且解码器被配置为从当前帧中的空间上相邻的像素块提供候选MV预测值，则优选地只有相邻像素块的时间MV类型的运动矢量可用作候选MV预测值并包括在所产生的候选列表中。
如本文前面所讨论的，如果当前帧的时间点与参考帧的时间点不同，则在步骤S41中确定的MV类型指示时间MV类型。然后产生候选列表，以包括标识具有与候选MV预测值相关联的第一帧的时间点不同的时间点但属于与第一帧相同摄像机视图的第一参考帧中的像素区域的候选MV预测值。在特定实施例中，候选列表也可以包括标识具有与第一帧的时间点不同的时间点并属于与第一帧的摄像机视图不同的摄像机视图的第一参考帧中的像素区域的候选MV预测值。在后一种情况下，可选地可以从候选MV预测值中移除视图间视差分量，如本文先前所讨论的。
相应地，如果确定的MV类型是视图间MV类型，即当当前摄像机视图与参考帧的摄像机视图不同时，产生候选列表以包括标识具有与候选MV预测值相关联的第一帧的时间点相等的时间点但属于与第一帧的摄像机视图不同的摄像机视图的第一参考帧中的像素区域的候选MV预测值。在特定实施例中，在候选列表也可以包括标识具有与第一帧的时间点不同的时间点并属于与第一帧的摄像机视图不同的摄像机视图的第一参考帧中的像素区域的候选MV预测值。在后一种情况下，可选地可以从候选MV预测值中移除时间运动分量，如本文先前所讨论的。
候选列表的产生可以可选地包括从多个候选MV预测值的集合中标识候选MV预测值。此时该集合如本文先前公开的是基于当前像素块在当前帧中的位置，当前帧的时间点和当前摄像机视图的标识符或编号来确定的。
图12是流程图，说明了根据实施例的图11的方法的附加可选步骤。在本实施例中，当前帧具有当前POC，参考帧索引所标识的参考帧具有参考POC。该方法将从图11的步骤S31继续，其中已经提供了所确定的MV类型的至少一个候选MV预测值。
针对在步骤S41中标识的每个候选MV预测值执行接下来的步骤S50，S53或S50，S52，这是示意性地由线L3所示的。接下来的步骤S50将于当前帧和参考帧的POC和第一帧和第一参考帧的POC进行比较。该步骤S50如本文中先前结合图5的步骤S10所公开的执行。如果当前POC等于参考POC和/或第一帧的POC等于第一参考帧的POC，则方法继续到步骤S51，其中将针对当前候选MV预测值的缩放因子设置为等于固定的预定义值，优选为1。此步骤S51对应于图5中的步骤S11。但是，对于其它的候选MV预测值，针对当前帧和参考帧以及第一帧和第一参考帧，POC可能不等。该方法然后继续到步骤S52，其中如本文中先前结合图5的步骤S12所公开的针对当前候选MV预测值计算缩放因子。
然后，该方法从步骤S51或S52中继续到图12中的步骤S42，其中产生候选列表，以包括至少一个，优选多个，缩放的候选MV预测值。此时这种缩放的候选MV预测值是基于将候选MV预测值乘以在步骤S51或步骤S52中针对候选MV预测值确定的缩放因子来获得的。
如果当前摄像机视图与参考摄像机视图不同，并且第一帧和第一参考帧的摄像机视图也不同，则优选针对候选MV预测值来计算复合缩放因子，从而实现基于参考距离和视图距离的预测值缩放。该复合缩放因子的计算如本文中先前所披露。
图13是流程图，说明了根据另一实施例的图11的方法的附加可选步骤。该方法从图11的步骤S41继续。下一个步骤S60确定每个标识的候选MV预测值的相应缩放因子。这样的缩放因子是基于当前摄像机视图和参考摄像机视图之间的基线距离和第一摄像机视图和第一参考摄像机视图之间的基线距离来确定的。步骤S60基本上如本文先前结合图6的步骤S20所公开的来执行。该方法然后继续到图13的步骤S42，其产生至少一个缩放的候选MV预测值的候选列表，该候选列表是基于候选MV预测值和在步骤S60中针对候选MV预测值确定的缩放因子来得到的。
在步骤S60中所确定的缩放因子优选基于如本文先前所公开的基线距离的商来确定。在特定的实施例中，缩放因子可以被确定为复合缩放因子，从而不仅基于基线距离，也基于如先前所讨论的参考距离和/或视图距离。
图14是流程图，说明了根据另一实施例的图11的方法的附加可选步骤。在本实施例中，针对图11中从步骤S41中获得的每个候选MV预测值确定复合缩放因子或第一缩放因子和第二缩放因子。第一步骤S70基于基线距离确定第一缩放因子。此步骤S70对应于图6的步骤S20；图7的步骤S30和图13的步骤S60。该方法然后继续到步骤S71-S73，其将第二缩放因子确定为等于固定的预定义值(步骤S72)，或者基于POC值来计算(步骤S73)。这些步骤S71-S73对应于图5中的步骤S10-S12；图7中的步骤S31-S33和图12中的步骤S50-S52。该方法然后继续到图11中的步骤S42，其中产生候选列表，以包括基于候选MV预测值乘以来自步骤S70的第一缩放因子再乘以来自步骤S72或S73的第二缩放因子而形成的至少一个缩放的候选MV预测值。
图15是示意框图，示出了用于编码的多视图视频的运动矢量解码的设备400。设备400包括索引提供器410，被配置为提供针对当前摄像机视图的当前帧中要解码的当前像素块的参考帧索引。索引提供器410典型地从比特流，具体地从像素块或当前帧的编码表示中获取该参考帧索引。该参考帧索引用于标识参考帧。参考帧通常包括要用作当前像素块的像素值的预测值的像素区域。类型确定器420在设备400中实现，并且被配置为针对当前像素块，基于i)当前摄像机视图和参考帧的摄像机视图，和/或基于ii)当前帧的时间点和参考帧的时间点，从多个预定义MV类型中确定MV类型。该类型确定器420然后基本上操作类似于图8的类型确定器120。列表产生器430被配置为产生候选列表，其包括至少一个，但优选多个，针对当前像素块标识的并且是类型确定器420所确定的MV类型的候选MV预测值。矢量确定器450被配置为基于由列表产生器430所产生的列表的候选MV预测值来确定当前像素块的运动矢量。
在特定实施例中，设备400还包括预测值选择器440，被配置为从由列表产生器430产生的候选列表中选择当前像素块的MV预测值。预测值选择器440有利地从比特流中(如从当前像素块的编码表示中)获取并解码预测值索引。该预测值索引然后用以从候选列表选择MV预测值。在这种情况下，矢量确定器450优选地基于预测值选择器440选择的MV预测值以及与当前像素块相关联的并且优选地从编码的比特流，例如从当前像素块的编码表示中获取的残差运动矢量中来确定当前像素块的运动矢量，如本文中先前所披露的。
类型确定器420可将MV类型确定为时间MV类型或视图间MV类型，如前文所公开的。可选的分量移除器460和/或可选的集合确定器470可以在设备400中提供，然后如先前结合图8的分量移除器150和集合确定器160所讨论的来操作。
如先前所讨论的，列表产生器430可以被配置为从多个候选MV预测值的集合中标识至少一个候选MV预测值，其中该集合此时是由可选的集合确定器470确定的。
在实施例中，设备400包括SF确定器470，被配置为针对类型确定器420提供的每个候选MV预测值确定相应缩放因子。SF确定器470的操作基本上如本文前面结合图8的SF确定器180所讨论的。列表产生器430然后被配置为产生候选列表，候选列表包括针对类型确定器420提供的每个候选MV预测值的缩放的候选MV预测值。基于候选MV预测值乘以SF确定器480针对候选MV预测值所确定的缩放因子来获得这样的缩放的候选MV预测值。
SF确定器180可选地针对当前摄像机视图与参考摄像机视图不同并且第一帧的摄像机视图与第一参考帧的摄像机视图不同的像素块，确定复合缩放因子。这样的复合缩放因子然后还基于视图距离，而不仅是参考距离，如先前所讨论的。列表产生器430然后通过将候选MV预测值与其确定的复合缩放因子相乘来获得缩放的候选MV预测值。
可选的参数确定器490可以在设备400中实现，然后如本文先前结合图8的参数确定器195所公开的来操作。
在备选实施例中，设备400的SF确定器480如本文先前关于基于基线距离来确定缩放因子而公开的来操作。因此，SF确定器480针对类型确定器420标识的候选MV预测值确定缩放因子，其中这些缩放因子是基于摄像机视图的基线距离。列表产生器430然后产生候选列表，候选列表包括基于至少一个候选MV预测值乘以其相应缩放因子而形成的至少一个缩放的候选MV预测值。
SF确定器480优选地确定缩放因子作为当前视图和参考视图的基线距离和第一帧和第一参考帧的基线距离之间的商。此外，SF确定器480也可以基于如本文先前所公开的参考距离和/或视图距离来确定缩放因子。
在一个实施例中，如上所述，缩放因子480被配置为针对每个候选MV预测值，确定基于基线距离的第一缩放因子和等于固定的预定义值或基于POC值的第二缩放因子。除了这两个缩放因子，SF确定器480可以针对每个候选MV预测值确定如本文中先前所公开的基于视图差异确定的额外的缩放因子。
设备400可以用硬件、软件或硬件和软件的组合来实现。没备400可以在用户设备中实现，诸如移动电话，平板，台式机，笔记本电脑，多媒体播放器，视频流服务器，机顶盒或计算机。设备400也可在通信网络或系统中的网络设备中实现，以网络节点的形式或者连接到网络节点，例如无线基站。设备400有利地实现为用于解码编码的多视图视频内容的解码器的一部分。
虽然结合图15披露的各单元410-490已经公开作为设备400中物理上分离的单元410-490，但是所有这些可能是专用电路，诸如ASIC(专用集成电路)，设备400的备选实施例也是可能的，其中某些或全部单元410-490被实现为在通用处理器上运行的计算机程序模块。这种实施例在图16中公开。
图16示意性示出了具有处理单元740，诸如DSP(数字信号处理器)或CPU(中央处理单元)的计算机700的实施例。处理单元740可以是单个单元或多个单元，用于执行在此描述的方法的不同的步骤。计算机700还包括输入/输出(I/O)单元760，用于接收编码的像素块表示的编码比特流，并输出所确定的运动矢量，或解码的像素值。I/O单元760被示为图16中的单个单元，但是同样可以具有单独的输入单元和单独的输出单元的形式。
此外，计算机700包括非易失性存储器720的形式的至少一个计算机程序产品，例如EEPROM(电可擦除可编程只读存储器)，闪存存储器或磁盘驱动器。计算机程序产品包括计算机程序780，其包括代码装置，当在计算机700上运行或执行或由计算机700(如由处理单元740)执行时，使计算机700执行以上结合图11描述的方法的步骤。因此，在实施例中，计算机程序780中的代码装置包括索引提供模块或索引提供器410，用于提供参考帧索引；类型确定模块或类型确定器420，用于确定MV类型；列表产生模块或列表产生器430，用于产生候选列表；可选的预测值选择模块或预测值选择器440，用于选择MV预测值；以及矢量确定模块或矢量确定器450，用于确定运动矢量。这些模块410-4500在处理单元740上运行时，基本上执行图11的流程图的步骤。因此，当不同模块410-450正在处理单元740上运行时，它们对应于图15的相应单元410-450。
计算机程序780可以另外包括结合图15公开的分量移除模块或分量移除器，集合确定模块或集合确定器，SF确定模块或SF确定器和/或参数确定模块或参数确定器。
图17是根据实施例的用于编码多视图视频的像素块的编码器的示意性框图。
运动估计器或预测值根据当前摄像机视图或另一摄像机视图的相同帧或先前帧中已经提供的像素块来执行运动预测或估计，以预测当前像素块。在帧间预测的情况下，运动预测的结果是标识参考帧中的像素区域运动矢量。运动矢量由运动补偿器用于输出像素块的帧间预测。
帧内预测值计算当前像素块的帧内预测。从运动估计器/补偿器和帧内预测值的输出被输入选择器，选择器针对当前像素块选择帧内预测或帧间预测。来自选择器的输出被输入到加法器形式的误差计算器，误差计算器还接收当前像素块的像素值。加法器计算并输出残差误差作为当前像素块的像素和其预测值之间的像素值之差。
误差在变换器中变换，如通过离散余弦变换，由量化器量化，然后在编码器(诸如熵编码器)中编码。在帧间编码中，估计的运动矢量也被引入到编码器，用于产生当前像素块的编码表示。该(熵)编码器然后包括根据图8的用于MV预测的设备的至少一部分单元，或者可以利用如图9公开的程序来操作。用于MV预测的设备的MV预测值可以被实现为运动估计器/补偿器。
针对当前像素块的变换和量化的残差误差也被提供给逆量化器和逆变换器，以获得原始残差误差。加法器将该误差加到从运动补偿器或帧内预测值输出的像素块，以创建可以在下一个像素块的预测和编码中使用的参考像素块。这个新的参考像素块可选地首先由滤波控制设备处理，以确定解块滤波是否将被应用，以及在这种情况下要使用什么类型的解块滤波器。经处理的新的参考像素块然后暂时地存储在帧缓冲器中，其中其可用于帧内预测值和运动估计器/补偿器。
图18是根据实施例的解码器的相应的示意性框图。该解码器包括解码器，如熵解码器，用于解码像素块的编码表示，以获得量化和变换的残差误差的集合。该解码器优选地包括根据图15的用于运动矢量解码的设备，或可以利用如图16中公开的程序来操作。这些残差误差在逆量化器中解量化并且由逆变换器逆变换，以获得残差误差的集合。
这些残差误差在加法器中与参考像素块或像素区域的像素值相加。参考块是由运动估计器/补偿器(或运动预测/补偿)或帧内预测值根据进行帧间还是帧内预测来确定。选择器从而相互连接到加法器和运动估计器/补偿器和帧内预测值。从加法器输出的所得到的解码像素块输入到可选的滤波控制设备，以对任何块伪像进行解块滤波。滤波后的像素块从解码器输出，并进一步优选地暂时提供给帧缓冲器，并且可以被用作要解码的后续像素块的参考像素块。帧缓冲器从而连接到运动估计器/补偿器，以使存储的像素块可用于运动估计器/补偿器。
加法器的输出优选也被输入到帧内预测值，以用作未经滤波的参考像素块。
图19是容纳具有用于运动矢量解码的设备的解码器的媒体终端的示意性框图。媒体终端可以是具有媒体解码功能，对编码的多视图视频帧的编码视频数据流操作从而解码视频帧并使视频数据可用的任何设备。此类设备的非限制性示例包括：移动电话和其它便携式媒体播放器，计算机，解码器，游戏机，等等。媒体终端包括被配置为存储编码的视频帧的存储器。这些编码的视频帧可以由媒体终端身产生。在这种情况下，媒体终端优选地包括媒体引擎或记录器以及连接的编码器，例如图17中的编码器。备选地，编码的视频帧由某个其他设备产生并以无线方式发送或有线传送至媒体终端。媒体终端此时包括收发器(发送器和接收器)，或输入和输出端口来实现数据传输。
编码的视频帧从存储器被带到解码器，例如在图18所示的解码器。然后，解码器将编码的视频帧解码成解码的视频帧。解码视频帧被提供给媒体播放器，媒体播放器被配置为将解码的视频帧渲染为能够在媒体终端的显示器或屏幕或连接到媒体终端的显示器或屏幕上显示的视频数据。
在图19中，媒体终端已经示出为包括解码器和媒体播放器，其中解码器被实现为媒体播放器的一部分。然而，这应仅仅被看作是媒体终端的实现实施例的说明性但非限制性的示例。分布式实现也是可能的，其中解码器和媒体播放器在两个物理上分离的设备中提供是可能的，并且在如本文中使用媒体终端的范围内。显示器也可以被提供为连接到媒体终端(其中进行实际数据处理)的单独的设备。
上面描述的实施例应被理解为对本发明的几个说明性的示例。本领域技术人员可以理解，在不脱离本发明的范围的前提下，可以对实施例进行各种修改，组合和改变。具体地，不同实施方式的不同的部分方案可以在其他配置中进行技术上可能的组合。
参考文献
[1]Jung and Laroche，Competition-Based Scheme for Motion VectorSelection and Coding，ITU-Telecommunications Standardization Sector，Study Group16Question16，VCEG-AC06，17-18July2006

Claims (38)

1.一种用于来自多个摄像机视图(10，20)的视频内容的多视图视频编码的运动矢量预测的方法，所述方法包括：
针对运动矢量(34)，从多个预定义运动矢量类型中确定(S2)运动矢量类型，所述运动矢量(34)是针对所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的当前像素块(30)来估计的，所述运动矢量(34)标识参考帧(22)中的参考像素区域(32)，其中，所述运动矢量类型是基于以下至少一项来确定的：i)所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)和所述参考帧(22)的摄像机视图(20)，以及ii)所述当前帧(24)的时间点和所述参考帧(22)的时间点；
标识(S3)所确定的运动矢量类型的至少一个候选运动矢量预测值(44，54，64)；以及
基于所述至少一个候选运动矢量预测值(44，54，64)，确定(S4)针对所述运动矢量(34)的运动矢量预测值。
2.根据权利要求1所述的方法，其中
确定(S2)所述运动矢量类型包括：如果所述当前帧(24)的所述时间点不同于所述参考帧(22)的所述时间点，则将所述运动矢量类型确定为时间运动矢量类型；以及
标识(S3)所述至少一个候选运动矢量预测器(44，54，64)包括：标识与第一帧(24，14)中的像素块(40，50)相关联并标识具有与所述第一帧(24)的时间点不同的时间点但属于所述多个摄像机视图(10，20)中与所述第一帧(24)相同的摄像机视图(20)的第一参考帧(22)中的像素区域(42)的至少一个候选运动矢量预测器(44，54)。
3.根据权利要求1所述的方法，其中
确定(S2)所述运动矢量类型包括：如果所述当前摄像机视图(20)不同于所述参考帧(22)的所述摄像机视图(20)，则将所述运动矢量类型确定为视图间运动矢量类型；以及
标识(S3)所述至少一个候选运动矢量预测值(44，54，64)包括：标识与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)中的第一帧(14，26)中的像素块(50，60)相关联并标识具有与所述第一帧(26)的时间点相等的时间点但属于所述多个摄像机视图(10，20)中与所述第一摄像机视图(20)不同的摄像机视图(10)的第一参考帧(16)中的像素区域(62)的至少一个候选运动矢量预测值(54，64)。
4.根据权利要求1至3中任一项所述的方法，其中，标识(S3)所述至少一个候选运动矢量预测值(44，54，64)包括：从基于所述当前像素块(30)在所述当前帧(24)中的位置、所述当前帧(24)的时间点和所述当前摄像机视图(20)而确定的多个候选运动矢量预测值(44，54，64)的集合中标识所述至少一个候选运动矢量预测值(44，54，64)。
5.根据权利要求1至4中任一项所述的方法，还包括：基于所述运动矢量(34)和所述运动矢量预测值来计算残差运动矢量。
6.根据权利要求1至5中任一项所述的方法，还包括：针对所述当前像素块(30)，估计(S1)标识所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)。
7.根据权利要求6所述的方法，其中，估计(S1)所述运动矢量(34)包括：针对所述当前像素块(30)，估计(S1)标识所述多个摄像机视图(10，20)中的参考摄像机视图(20)的所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)，所述当前帧(24)具有当前画面顺序计数CurrPOC，所述参考帧(22)具有参考画面顺序计数CurrRfPOC，所述至少一个候选运动矢量预测值(44，54，64)与具有第一画面顺序计数RfPOC的第一帧(24，14，16)中的像素块(40，50，60)相关联，并标识具有第一参考画面顺序计数RfRfPOC的第一参考帧(22，26)中的像素区域(42，52，62)，所述方法还包括：
针对所述至少一个候选运动矢量预测值(44，54，64)，如果i)所述当前画面顺序计数等于所述参考画面顺序计数或ii)所述第一画面顺序计数等于所述第一参考画面顺序计数，则确定(S11)缩放因子为等于固定的预定义值，否则将所述缩放因子确定(S12)为基于
Figure FDA0000493044560000031
以及
针对所述至少一个候选运动矢量预测值(44，54，64)，基于所述候选运动矢量预测值(44，54，64)乘以所述缩放因子来确定(S13)缩放的候选运动矢量预测值，其中，确定(S4)所述运动矢量预测值包括：基于所述至少一个缩放的候选运动矢量预测值，确定(S4)针对所述运动矢量(34)的所述运动矢量预测值。
8.根据权利要求6或7所述的方法，其中，估计(S1)所述运动矢量(34)包括：针对所述当前像素块(30)，估计(S1)标识所述多个摄像机视图(10，20)中的参考摄像机视图的所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)，所述当前摄像机视图(20)不同于所述参考摄像机视图(20)，所述至少一个候选运动矢量预测值(54，64)与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)的第一帧(14，16)中的像素块(50，60)相关联，并标识所述多个摄像机视图(10，20)中的第一参考摄像机视图(20，10)的第一参考帧(26)中的像素区域(52，62)，所述方法还包括：
针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离以及所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离，确定(S20)缩放因子；以及
针对所述至少一个候选运动矢量预测值(54，64)，基于所述候选运动矢量预测值(54，64)乘以所述缩放因子来确定(S21)缩放的候选运动矢量预测值，其中，确定(S4)所述运动矢量预测值包括：基于所述至少一个缩放的候选运动矢量预测值，确定(S4)针对所述运动矢量(34)的所述运动矢量预测值。
9.根据权利要求8所述的方法，其中，确定(S20)所述缩放因子包括：针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离与所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离之间的商，确定所述缩放因子。
10.一种预测用于来自多个摄像机视图(10，20)的视频内容的多视图视频编码的运动矢量(34)的计算机程序(78)，所述计算机程序(78)包括代码装置(110，120，130，140)，当在计算机(70)上运行时，使计算机(70)：
针对运动矢量(34)，从多个预定义运动矢量类型中确定运动矢量类型，所述运动矢量(34)是针对所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的当前像素块(30)来估计的，所述运动矢量(34)标识参考帧(22)中的参考像素区域(32)，其中，所述运动矢量类型是基于以下至少一项来确定的：i)所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)和所述参考帧(22)的摄像机视图(20)，以及ii)所述当前帧(24)的时间点和所述参考帧(22)的时间点；
标识所确定的运动矢量类型的至少一个候选运动矢量预测值(44，54，64)；以及
基于所述至少一个候选运动矢量预测值(44，54，64)，确定针对所述运动矢量(34)的运动矢量预测值。
11.一种用于来自多个摄像机视图(10，20)的视频内容的多视图视频编码的运动矢量预测的设备(100)，所述设备(100)包括：
类型确定器(120)，被配置为针对运动矢量(34)，从多个预定义运动矢量类型中确定运动矢量类型，所述运动矢量(34)是针对所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的当前像素块(30)来估计的，所述运动矢量(34)标识参考帧(22)中的参考像素区域(32)，其中，所述类型确定器(120)被配置为基于以下至少一项来确定所述运动矢量类型：i)所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)和所述参考帧(22)的摄像机视图(20)，以及ii)所述当前帧(24)的时间点和所述参考帧(22)的时间点；
预测值标识器(130)，被配置为标识所述类型确定器(120)所确定的运动矢量类型的至少一个候选运动矢量预测值(44，54，64)；以及
预测值确定器(140)，被配置为基于所述预测值标识器(130)所标识的所述至少一个候选运动矢量预测值(44，54，64)，确定针对所述运动矢量(34)的运动矢量预测值。
12.根据权利要求11所述的设备，其中
所述类型确定器(120)被配置为：如果所述当前帧(24)的所述时间点不同于所述参考帧(22)的所述时间点，则将所述运动矢量类型确定为时间运动矢量类型；以及
所述预测值标识器(130)被配置为：标识与第一帧(24，14)中的像素块(40，50)相关联并标识具有与所述第一帧(24)的时间点不同的时间点但属于所述多个摄像机视图(10，20)中与所述第一帧(24)相同的摄像机视图(20)的第一参考帧(22)中的像素区域(42)的至少一个候选运动矢量预测器(44，54)。
13.根据权利要求11所述的设备，其中
所述类型确定器(120)被配置为：如果所述当前摄像机视图(20)不同于所述参考帧(22)的所述摄像机视图(20)，则将所述运动矢量类型确定为视图间运动矢量类型；以及
所述预测值标识器(130)被配置为：标识与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)中的第一帧(14，26)中的像素块(50，60)相关联并标识具有与所述第一帧(26)的时间点相等的时间点但属于所述多个摄像机视图(10，20)中与所述第一摄像机视图(20)不同的摄像机视图(10)的第一参考帧(16)中的像素区域(62)的至少一个候选运动矢量预测值(44，54)。
14.根据权利要求11至13中任一项所述的设备，其中，所述预测值标识器(130)被配置为：从基于所述当前像素块(30)在所述当前帧(24)中的位置、所述当前帧(24)的时间点和所述当前摄像机视图(20)而确定的多个候选运动矢量预测值(44，54，64)的集合中标识所述至少一个候选运动矢量预测值(44，54，64)。
15.根据权利要求11至14中任一项所述的设备，还包括：矢量计算器(170)，被配置为基于所述运动矢量(34)和所述运动矢量预测值来计算残差运动矢量。
16.根据权利要求11至15中任一项所述的设备，还包括：运动矢量MV估计器(110)，被配置为针对所述当前像素块(30)，估计标识所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)。
17.根据权利要求16所述的设备，其中，所述MV估计器被配置为：针对所述当前像素块(30)，估计标识所述多个摄像机视图(10，20)中的参考摄像机视图(20)的所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)，所述当前帧(24)具有当前画面顺序计数CurrPOC，所述参考帧(22)具有参考画面顺序计数CurrRfPOC，所述至少一个候选运动矢量预测值(44，54，64)与具有第一画面顺序计数RfPOC的第一帧(24，14，16)中的像素块(40，50，60)相关联，并标识具有第一参考画面顺序计数RfRfPOC的第一参考帧(22，26)中的像素区域(42，52，62)，所述设备(100)还包括：
缩放因子确定器(180)，被配置为针对所述至少一个候选运动矢量预测值(44，54，64)，如果i)所述当前画面顺序计数等于所述参考画面顺序计数或ii)所述第一画面顺序计数等于所述第一参考画面顺序计数，则确定缩放因子为等于固定的预定义值，否则将所述缩放因子确定为基于
Figure FDA0000493044560000061
以及
缩放预测值确定器(190)，被配置为针对所述至少一个候选运动矢量预测值(44，54，64)，基于所述候选运动矢量预测值(44，54，64)乘以所述缩放因子来确定(S13)缩放的候选运动矢量预测值，其中，所述预测值确定器(140)被配置为：基于所述至少一个缩放的候选运动矢量预测值，确定针对所述运动矢量(34)的所述运动矢量预测值。
18.根据权利要求16或17所述的设备，其中，所述MV估计器(110)被配置为：针对所述当前像素块(30)，估计标识所述多个摄像机视图(10，20)中的参考摄像机视图(20)的所述参考帧(22)中的所述参考像素区域(32)的所述运动矢量(34)，所述当前摄像机视图(20)不同于所述参考摄像机视图(20)，所述至少一个候选运动矢量预测值(54，64)与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)的第一帧(14，16)中的像素块(50，60)相关联，并标识所述多个摄像机视图(10，20)中的第一参考摄像机视图(20，10)的第一参考帧(26)中的像素区域(52，62)，所述设备(100)还包括：
缩放因子确定器(180)，被配置为针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离以及所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离，确定缩放因子；以及
缩放预测值确定器(190)，被配置为针对所述至少一个候选运动矢量预测值(54，64)，基于所述候选运动矢量预测值(54，64)乘以所述缩放因子来确定(S21)缩放的候选运动矢量预测值，其中，所述预测值确定器(140)被配置为：基于所述至少一个缩放的候选运动矢量预测值，确定针对所述运动矢量(34)的所述运动矢量预测值。
19.根据权利要求18所述的设备，其中，所述缩放因子确定器(180)被配置为：针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离与所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离之间的商，确定所述缩放因子。
20.一种针对来自多个摄像机视图(10，20)的编码的多视图视频的运动矢量解码的方法，所述方法包括：
针对所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的当前像素块(30)，提供(S40)参考帧索引，所述参考帧索引标识参考帧(22)；
针对所述当前像素块(30)，基于以下至少一项，从多个预定义运动矢量类型中确定(S41)运动矢量类型：i)所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)和所述参考帧(22)的摄像机视图(20)，以及ii)所述当前帧(24)的时间点和所述参考帧(22)的时间点；
产生(S42)候选列表，所述候选列表包括所确定的运动矢量类型的至少一个候选运动矢量预测值(44，54，64)；以及
基于所述候选列表的候选运动矢量预测值，确定(S44)所述当前像素块(30)的运动矢量(34)。
21.根据权利要求20所述的方法，其中
确定(S41)所述运动矢量类型包括：如果所述当前帧(24)的所述时间点不同于所述参考帧(22)的所述时间点，则将所述运动矢量类型确定为时间运动矢量类型；以及
产生(S42)所述候选列表包括：产生(S42)所述候选列表，所述候选列表包括与第一帧(24，14)中的像素块(40，50)相关联并标识具有与所述第一帧(24)的时间点不同的时间点但属于所述多个摄像机视图(10，20)中与所述第一帧(24)相同的摄像机视图(20)的第一参考帧(22)中的像素区域(42)的至少一个候选运动矢量预测值(44，54)。
22.根据权利要求20所述的方法，其中
确定(S41)所述运动矢量类型包括：如果所述当前摄像机视图(20)不同于所述参考帧(22)的所述摄像机视图(20)，则将所述运动矢量类型确定(S41)为视图间运动矢量类型；以及
产生(S42)所述候选列表包括：产生(S42)所述候选列表，所述候选列表包括与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)中的第一帧(14，26)中的像素块(50，60)相关联并标识具有与所述第一帧(26)的时间点相等的时间点但属于所述多个摄像机视图(10，20)中与所述第一摄像机视图(20)不同的摄像机视图(10)的第一参考帧(16)中的像素区域(62)的至少一个候选运动矢量预测值(44，54)。
23.根据权利要求20至21中任一项所述的方法，其中，产生(S42)所述候选列表包括：从基于所述当前像素块(30)在所述当前帧(24)中的位置、所述当前帧(24)的时间点和所述当前摄像机视图(20)而确定的多个候选运动矢量预测值(44，54，64)的集合中标识所述至少一个候选运动矢量预测值(44，54，64)。
24.根据权利要求23所述的方法，还包括：基于以下至少一项来确定所述多个候选运动矢量预测值(44，54，64)的集合：i)与所述当前帧(24)中的空间相邻像素块(40)相关联的运动矢量(44)；ii)与不同于所述当前帧(24)但属于所述当前摄像机视图(20)的帧(26)中的时间相邻像素块(60)相关联的运动矢量(64)；iii)与属于所述多个摄像机视图(10，20)中不同于所述当前摄像机视图(20)的摄像机视图(10)但具有与所述当前帧(24)的所述时间点相等的相应时间点的帧(14)中的像素块(50)相关联的运动向量(54)。
25.根据权利要求20至24中任一项所述的方法，其中，提供(S40)所述参考帧索引包括：针对具有当前画面顺序计数CurrPOC并存在于所述当前摄像机视图(20)中的所述当前帧(24)中的所述当前像素块(30)，提供(S40)所述参考帧索引，所述参考帧索引标识具有参考画面顺序计数CurrRfPOC并存在于所述多个摄像机视图(10，20)中的参考摄像机视图(20)中的所述参考帧(22)，所述至少一个候选运动矢量预测值(44，54，64)与具有第一画面顺序计数RfPOC的第一帧(24，14，16)中的像素块(40，50，60)相关联，并标识具有第一参考画面顺序计数RfRfPOC的第一参考帧(22，26，16)中的像素区域(42，52，62)，所述方法还包括：
针对所述至少一个候选运动矢量预测值(44，54，64)，如果i)所述当前画面顺序计数等于所述参考画面顺序计数或ii)所述第一画面顺序计数等于所述第一参考画面顺序计数，则确定(S41)相应缩放因子为等于固定的预定义值，否则将所述缩放因子确定(S42)为基于
Figure FDA0000493044560000091
其中，产生(S42)所述候选列表包括：产生(S42)所述候选列表，所述候选列表包括基于所述至少一个候选运动矢量预测值(44，54，64)乘以所述相应缩放因子而形成的至少一个缩放的候选运动矢量预测值。
26.根据权利要求20至25中任一项所述的方法，其中，提供(S40)所述参考帧索引包括：针对所述当前像素块(30)，提供(S40)所述参考帧索引，所述参考帧索引标识所述多个摄像机视图(10，20)中的参考摄像机视图(20)的所述参考帧(22)，所述当前摄像机视图(20)不同于所述参考摄像机视图(20)，所述至少一个候选运动矢量预测值(54，64)与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)的第一帧(14，16)中的像素块(50，60)相关联，并标识所述多个摄像机视图(10，20)中的第一参考摄像机视图(20，10)的第一参考帧(26)中的像素区域(52，62)，所述第一摄像机设图(10，20)不同于所述第一参考摄像机视图(20，10)，所述方法还包括：
针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离以及所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离，确定(S50)相应缩放因子；其中，产生(S42)所述候选列表包括：产生(S42)所述候选列表，所述候选列表包括基于所述至少一个候选运动矢量预测值(54，64)乘以所述相应缩放因子而形成的至少一个缩放的候选运动矢量预测值。
27.根据权利要求26所述的方法，其中，确定(S50)所述相应缩放因子包括：针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离与所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离之间的商，确定(S50)所述相应缩放因子。
28.根据权利要求20至27中任一项所述的方法，还包括：基于与所述当前像素块(30)相关联的预测值索引，从针对所述当前像素块(30)的所述候选列表中选择(S43)运动矢量预测值，其中，确定(S44)所述运动矢量(34)包括：基于所选择的运动矢量预测值和与所述当前像素块(30)相关联的残差运动矢量，确定(S44)所述当前像素块(30)的运动矢量(34)。
29.一种解码用于来自多个摄像机视图(10，20)的编码的多视图视频的运动矢量(34)的计算机程序(780)，所述计算机程序(780)包括代码装置(410，420，430，440，450)，当在计算机(700)上运行时，使计算机(700)：
针对所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的当前像素块(30)，提供参考帧索引，所述参考帧索引标识参考帧(22)；
针对所述当前像素块(30)，基于以下至少一项，从多个预定义运动矢量类型中确定运动矢量类型：i)所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)和所述参考帧(22)的摄像机视图(20)，以及ii)所述当前帧(24)的时间点和所述参考帧(22)的时间点；
产生候选列表，所述候选列表包括所确定的运动矢量类型的至少一个候选运动矢量预测值(44，54，64)；以及
基于所述候选列表的候选运动矢量预测值，确定所述当前像素块(30)的运动矢量(34)。
30.一种计算机程序产品，包括计算机可读代码装置(72，720)以及存储在所述计算机可读装置(72，720)上的根据权利要求10或29的计算机程序(78，780)。
31.一种针对来自多个摄像机视图(10，20)的编码的多视图视频的运动矢量解码的设备(400)，所述设备(400)包括：
索引提供器(410)，被配置为针对所述多个摄像机视图(10，20)中的当前摄像机视图(20)的当前帧(24)中的当前像素块(30)，提供参考帧索引，所述参考帧索引标识参考帧(22)；
类型确定器(420)，被配置为针对所述当前像素块(30)，基于以下至少一项，从多个预定义运动矢量类型中确定运动矢量类型：i)所述多个摄像机视图(10，20)中的所述当前摄像机视图(20)和所述参考帧(22)的摄像机视图(20)，以及ii)所述当前帧(24)的时间点和所述参考帧(22)的时间点；
列表产生器(430)，被配置为产生候选列表，所述候选列表包括所述类型确定器(420)确定的所述运动矢量类型的至少一个候选运动矢量预测值(44，54，64)；以及
矢量确定器(450)，被配置为基于所述候选列表的候选运动矢量预测值，确定所述当前像素块(30)的运动矢量(34)。
32.根据权利要求31所述的设备，其中
所述类型确定器(420)被配置为：如果所述当前帧(24)的所述时间点不同于所述参考帧(22)的所述时间点，则将所述运动矢量类型确定为时间运动矢量类型；以及
所述列表产生器(430)被配置为：产生所述候选列表，所述候选列表包括与第一帧(24，14)中的像素块(40，50)相关联并i)标识具有与所述第一帧(24)的时间点不同的时间点但属于所述多个摄像机视图(10，20)中与所述第一帧(24)相同的摄像机视图(20)的第一参考帧(22)中的像素区域(42)或者ii)标识具有与所述第一帧(14)的时间点不同的时间点并属于所述多个摄像机视图(10，20)中与所述第一帧(14)的所述摄像机视图(10)不同的摄像机视图(20)的第一参考帧(26)中的像素区域(52)的至少一个候选运动矢量预测值(44，54)。
33.根据权利要求31所述的设备，其中
所述类型确定器(420)被配置为：如果所述当前摄像机视图(20)不同于所述参考帧(22)的所述摄像机视图(20)，则将所述运动矢量类型确定为视图间运动矢量类型；以及
所述列表产生器(430)被配置为：产生所述候选列表，所述候选列表包括与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)中的第一帧(14，26)中的像素块(50，60)相关联并标识具有与所述第一帧(26)的时间点相等的时间点但属于所述多个摄像机视图(10，20)中与所述第一摄像机视图(20)不同的摄像机视图(10)的第一参考帧(16)中的像素区域(62)的至少一个候选运动矢量预测值(44，54)。
34.根据权利要求31至33中任一项所述的设备，其中，所述列表产生器(430)被配置为：从基于所述当前像素块(30)在所述当前帧(24)中的位置、所述当前帧(24)的时间点和所述当前摄像机视图(20)而确定的多个候选运动矢量预测值(44，54，64)的集合中标识所述至少一个候选运动矢量预测值(44，54，64)。
35.根据权利要求31至34中任一项所述的设备，其中，所述索引提供器(410)被配置为：针对具有当前画面顺序计数CurrPOC的所述当前帧(24)中的所述当前像素块(30)，提供所述参考帧索引，所述参考帧索引标识具有参考画面顺序计数CurrRfPOC并存在于所述多个摄像机视图(10，20)中的参考摄像机视图(20)中的所述参考帧(22)，所述至少一个候选运动矢量预测值(44，54，64)与具有第一画面顺序计数RfPOC的第一帧(24，14，16)中的像素块(40，50，60)相关联，并标识具有第一参考画面顺序计数RfRfPOC的第一参考帧(22，26，16)中的像素区域(42，52，62)，所述设备(400)还包括：
缩放因子确定器(480)，被配置为针对所述至少一个候选运动矢量预测值(44，54，64)，如果i)所述当前画面顺序计数等于所述参考画面顺序计数或ii)所述第一画面顺序计数等于所述第一参考画面顺序计数，则确定(S41)相应缩放因子为等于固定的预定义值，否则将所述缩放因子确定(S42)为基于
Figure FDA0000493044560000131
其中，所述列表产生器(430)被配置为：产生所述候选列表，所述候选列表包括基于所述至少一个候选运动矢量预测值(44，54，64)乘以所述相应缩放因子而形成的至少一个缩放的候选运动矢量预测值。
36.根据权利要求31至35中任一项所述的设备，其中，所述索引提供器(410)被配置为：针对所述当前像素块(30)，提供(S40)所述参考帧索引，所述参考帧索引标识所述多个摄像机视图(10，20)中的参考摄像机视图(20)的所述参考帧(22)，所述当前摄像机视图(20)不同于所述参考摄像机视图(20)，所述至少一个候选运动矢量预测值(54，64)与所述多个摄像机视图(10，20)中的第一摄像机视图(10，20)的第一帧(14，16)中的像素块(50，60)相关联，并标识所述多个摄像机视图(10，20)中的第一参考摄像机视图(20，10)的第一参考帧(26)中的像素区域(52，62)，所述第一摄像机设图(10，20)不同于所述第一参考摄像机视图(20，10)，所述设备(400)还包括：
缩放因子确定器(480)，被配置为针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离以及所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离，确定相应缩放因子；其中，所述列表产生器(430)被配置为：产生所述候选列表，所述候选列表包括基于所述至少一个候选运动矢量预测值(54，64)乘以所述相应缩放因子而形成的至少一个缩放的候选运动矢量预测值。
37.根据权利要求36所述的设备，其中，所述缩放因子确定器(480)被配置为：针对所述至少一个候选运动矢量预测值(54，64)，基于所述当前摄像机视图(20)和所述参考摄像机视图(20)之间的基线距离与所述第一摄像机视图(10，20)和所述第一参考摄像机视图(20，10)之间的基线距离之间的商，确定所述相应缩放因子。
38.根据权利要求31至37中任一项所述的设备，还包括：预测值选择器(440)，被配置为：基于与所述当前像素块(30)相关联的预测值索引，从针对所述当前像素块(30)的所述候选列表中选择运动矢量预测值，其中，所述矢量确定器(450)被配置为：基于所述预测值选择器(440)所选择的运动矢量预测值和与所述当前像素块(30)相关联的残差运动矢量，确定所述当前像素块(30)的运动矢量(34)。
CN201280051363.7A 2011-08-19 2012-05-28 运动矢量处理 Expired - Fee Related CN103891290B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161525276P 2011-08-19 2011-08-19
US61/525,276 2011-08-19
PCT/SE2012/050568 WO2013028116A1 (en) 2011-08-19 2012-05-28 Motion vector processing

Publications (2)

Publication Number Publication Date
CN103891290A true CN103891290A (zh) 2014-06-25
CN103891290B CN103891290B (zh) 2018-02-02

Family

ID=46506615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280051363.7A Expired - Fee Related CN103891290B (zh) 2011-08-19 2012-05-28 运动矢量处理

Country Status (5)

Country Link
US (2) US9736472B2 (zh)
EP (2) EP2745513B1 (zh)
JP (1) JP2014524706A (zh)
CN (1) CN103891290B (zh)
WO (2) WO2013028116A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104363451A (zh) * 2014-10-27 2015-02-18 华为技术有限公司 图像预测方法及相关装置
WO2020057504A1 (en) * 2018-09-17 2020-03-26 Mediatek Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
WO2020103944A1 (en) * 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Sub-block based motion candidate selection and signaling
CN112970256A (zh) * 2018-09-14 2021-06-15 皇家Kpn公司 基于经全局运动补偿的运动矢量的视频编码
CN112997499A (zh) * 2018-09-14 2021-06-18 皇家Kpn公司 基于经全局运动补偿的运动矢量预测值的视频编码
CN113170172A (zh) * 2018-11-21 2021-07-23 瑞典爱立信有限公司 具有子块合并简化的视频图片编码方法及相关装置
CN113455002A (zh) * 2018-12-28 2021-09-28 瑞典爱立信有限公司 生成运动向量预测器列表
US11695946B2 (en) 2019-09-22 2023-07-04 Beijing Bytedance Network Technology Co., Ltd Reference picture resampling in video processing
US11871025B2 (en) 2019-08-13 2024-01-09 Beijing Bytedance Network Technology Co., Ltd Motion precision in sub-block based inter prediction

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
US20130107962A1 (en) 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using inter prediction mode
EP4366307A3 (en) * 2012-01-18 2024-07-17 Electronics and Telecommunications Research Institute Method and device for encoding and decoding image
US10200709B2 (en) * 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US9503720B2 (en) 2012-03-16 2016-11-22 Qualcomm Incorporated Motion vector coding and bi-prediction in HEVC and its extensions
SG10201710075SA (en) 2012-05-14 2018-01-30 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
US10075728B2 (en) * 2012-10-01 2018-09-11 Inria Institut National De Recherche En Informatique Et En Automatique Method and device for motion information prediction refinement
US10021414B2 (en) 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
US10356426B2 (en) * 2013-06-27 2019-07-16 Google Llc Advanced motion estimation
GB2519513A (en) * 2013-10-11 2015-04-29 Canon Kk Method of deriving displacement information in a video coder and a video decoder
HUE065936T2 (hu) * 2014-01-02 2024-06-28 Dolby Laboratories Licensing Corp Eljárás többnézetû videó kódolására, eljárás többnézetû videó dekódolására, és adathordozó az eljárásokhoz
US10554967B2 (en) 2014-03-21 2020-02-04 Futurewei Technologies, Inc. Illumination compensation (IC) refinement based on positional pairings among pixels
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
KR20240000649A (ko) 2015-08-24 2024-01-02 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN105306866A (zh) * 2015-10-27 2016-02-03 青岛海信电器股份有限公司 帧率转换方法及装置
EP3343924A1 (en) * 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
US10515117B2 (en) * 2017-02-14 2019-12-24 Cisco Technology, Inc. Generating and reviewing motion metadata
JP7164813B2 (ja) * 2018-11-21 2022-11-02 日本電信電話株式会社 予測装置、予測方法、及びプログラム。

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080034752A (ko) * 2006-10-17 2008-04-22 경희대학교 산학협력단 다시점 영상의 부호화 및 복호화 방법과 그를 위한 장치
CN101170702A (zh) * 2007-11-23 2008-04-30 四川虹微技术有限公司 多视角视频编码方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276720B1 (ko) 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
US8736767B2 (en) * 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation
KR20120118780A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 다시점 비디오의 움직임 벡터 부호화 방법 및 장치, 그 복호화 방법 및 장치
US20140078254A1 (en) * 2011-06-15 2014-03-20 Mediatek Inc. Method and Apparatus of Motion and Disparity Vector Prediction and Compensation for 3D Video Coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080034752A (ko) * 2006-10-17 2008-04-22 경희대학교 산학협력단 다시점 영상의 부호화 및 복호화 방법과 그를 위한 장치
CN101170702A (zh) * 2007-11-23 2008-04-30 四川虹微技术有限公司 多视角视频编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DONG LI ET AL: "Enhanced block prediction in stereoscopic video coding", 《3DTV CONFERENCE》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11172217B2 (en) 2014-10-27 2021-11-09 Huawei Technologies Co., Ltd. Picture prediction method and related apparatus
US10440380B2 (en) 2014-10-27 2019-10-08 Huawei Technologies Co., Ltd. Picture prediction method and related apparatus
US10623763B2 (en) 2014-10-27 2020-04-14 Huawei Technologies Co., Ltd. Picture prediction method and related apparatus
US11968386B2 (en) 2014-10-27 2024-04-23 Huawei Technologies Co., Ltd. Picture prediction method and related apparatus
CN104363451A (zh) * 2014-10-27 2015-02-18 华为技术有限公司 图像预测方法及相关装置
CN112997499B (zh) * 2018-09-14 2024-09-10 皇家Kpn公司 用于提供视频数据比特流的编/解码方法和编/解码装置
CN112970256B (zh) * 2018-09-14 2024-09-10 皇家Kpn公司 用于提供视频数据比特流的编/解码方法和编/解码装置
CN112970256A (zh) * 2018-09-14 2021-06-15 皇家Kpn公司 基于经全局运动补偿的运动矢量的视频编码
CN112997499A (zh) * 2018-09-14 2021-06-18 皇家Kpn公司 基于经全局运动补偿的运动矢量预测值的视频编码
TWI729497B (zh) * 2018-09-17 2021-06-01 聯發科技股份有限公司 在視頻編解碼系統中組合多個預測子進行塊預測的方法和裝置
CN112689998B (zh) * 2018-09-17 2023-12-01 寰发股份有限公司 在视频编解码系统中处理视频数据的方法和装置
WO2020057504A1 (en) * 2018-09-17 2020-03-26 Mediatek Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
US11997311B2 (en) 2018-09-17 2024-05-28 Hfi Innovation Inc. Methods and apparatuses of combining multiple predictors for block prediction in video coding systems
CN112689998A (zh) * 2018-09-17 2021-04-20 联发科技股份有限公司 在视频编解码系统中组合多个预测子进行块预测的方法和装置
CN113170172A (zh) * 2018-11-21 2021-07-23 瑞典爱立信有限公司 具有子块合并简化的视频图片编码方法及相关装置
US12003702B2 (en) 2018-11-21 2024-06-04 Telefonaktiebolaget Lm Ericsson (Publ) Methods of video picture coding with sub-block merge simplification and related apparatuses
US11431964B2 (en) 2018-11-22 2022-08-30 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
US11671587B2 (en) 2018-11-22 2023-06-06 Beijing Bytedance Network Technology Co., Ltd Coordination method for sub-block based inter prediction
US11632541B2 (en) 2018-11-22 2023-04-18 Beijing Bytedance Network Technology Co., Ltd. Using collocated blocks in sub-block temporal motion vector prediction mode
US12069239B2 (en) 2018-11-22 2024-08-20 Beijing Bytedance Network Technology Co., Ltd Sub-block based motion candidate selection and signaling
WO2020103944A1 (en) * 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Sub-block based motion candidate selection and signaling
US11140386B2 (en) 2018-11-22 2021-10-05 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
CN113455002A (zh) * 2018-12-28 2021-09-28 瑞典爱立信有限公司 生成运动向量预测器列表
US11871025B2 (en) 2019-08-13 2024-01-09 Beijing Bytedance Network Technology Co., Ltd Motion precision in sub-block based inter prediction
US11695946B2 (en) 2019-09-22 2023-07-04 Beijing Bytedance Network Technology Co., Ltd Reference picture resampling in video processing

Also Published As

Publication number Publication date
EP2745513B1 (en) 2020-03-11
CN103891290B (zh) 2018-02-02
WO2013028116A1 (en) 2013-02-28
US20140198856A1 (en) 2014-07-17
JP2014524706A (ja) 2014-09-22
EP2745513A1 (en) 2014-06-25
US9736472B2 (en) 2017-08-15
US10567786B2 (en) 2020-02-18
US20140185686A1 (en) 2014-07-03
WO2013028117A1 (en) 2013-02-28
EP2745514A1 (en) 2014-06-25

Similar Documents

Publication Publication Date Title
CN103891290A (zh) 运动矢量处理
KR101925555B1 (ko) 비디오 부호화, 복호화 방법 및 장치
CN104363451B (zh) 图像预测方法及相关装置
CN105308965B (zh) 用于3d视频编码的协调视图间和视图合成预测
CN104365104B (zh) 用于多视点视频编码和解码的方法和设备
CN106105191A (zh) 用于处理多视图视频信号的方法和装置
CN105325001A (zh) 面向深度的视图间运动向量预测
CN105379282A (zh) 用于纹理译码的更精确先进残余预测(arp)
CN104995916B (zh) 视频数据解码方法和视频数据解码设备
CN102883159A (zh) 图像编码方法以及图像解码方法
CN105122805A (zh) 针对多层视频编码的层间参考图片增强
CN104412597A (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN115243039A (zh) 一种视频图像预测方法及装置
CN106464889A (zh) 执行基于子块的预测的层间视频解码方法和层间视频编码方法及其设备
CN103079067B (zh) 运动矢量预测值列表构建方法和视频编解码方法及装置
CN112204964A (zh) 基于帧间预测模式的图像处理方法及其装置
CN104904206A (zh) 用于三维视频编解码中直接和跳跃模式的空间运动矢量预测推导方法和装置
CN104956676A (zh) 层间语法预测控制
WO2020216294A1 (zh) 图像预测方法、装置和计算机可读存储介质
CN102364948B (zh) 视频编码合并模式双向补偿方法
CN110958452B (zh) 视频解码方法及视频解码器
CN108432252A (zh) 视频编码中的运动矢量选择及预测系统和方法
CN115022639B (zh) 一种编解码方法、装置及其设备
CN114080813A (zh) 使用运动矢量的图像编译的方法和装置
CN112449181A (zh) 一种编解码方法、装置及其设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180202

Termination date: 20200528