CN101601304B - 用于对多视图图像进行编码和解码的方法和设备 - Google Patents

用于对多视图图像进行编码和解码的方法和设备 Download PDF

Info

Publication number
CN101601304B
CN101601304B CN2008800020934A CN200880002093A CN101601304B CN 101601304 B CN101601304 B CN 101601304B CN 2008800020934 A CN2008800020934 A CN 2008800020934A CN 200880002093 A CN200880002093 A CN 200880002093A CN 101601304 B CN101601304 B CN 101601304B
Authority
CN
China
Prior art keywords
current block
encoded
motion vectors
piece
global disparity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008800020934A
Other languages
English (en)
Other versions
CN101601304A (zh
Inventor
崔钟凡
沈优星
宋学燮
文荣豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101601304A publication Critical patent/CN101601304A/zh
Application granted granted Critical
Publication of CN101601304B publication Critical patent/CN101601304B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

提供了一种用于对多视图图像进行编码和解码的方法和设备。所述多视图图像编码方法包括：基于指示当前块所属的当前图像与具有与当前图像的视点不同的视点的不同图像之间的视差的信息来预测当前块的运动矢量，基于当前块的预测运动矢量以跳跃模式对当前块进行编码。

Description

用于对多视图图像进行编码和解码的方法和设备
技术领域
与本发明一致的设备和方法涉及对多视图图像进行编码和解码，更具体地，涉及使用多视图图像之间的视图间预测对当前块进行编码和解码。 
背景技术
在多视图图像编码中，使用相机之间(视图间)的时间相关性和空间相关性对从多个相机接收的多视图图像进行压缩编码。 
在使用时间相关性的时间预测和使用空间相关性的视图间预测中，通过使用一个或多个参考图像来估计以块为单位的当前图像的运动对图像进行预测编码。 
另外，通过在预定范围内的参考图像中搜索与当前块最相似的块，并仅发送当前块与最相似的块之间的残差数据，提高了数据压缩率。 
用于表示当前块与最相似的块之间的相对运动的运动矢量的信息被编码并被插入到比特流。此时，如果不进行任何变化而将运动矢量的信息编码并插入到比特流，就会增加开销，减小图像数据的压缩率。 
因此，通过从当前块周围的块预测当前块的运动矢量，并仅对预测运动矢量与当前块的原始运动矢量的差进行编码和发送，压缩了运动矢量的信息。将参照图1A到图1D对使用当前块周围的块预测当前块的运动矢量的方法进行更详细的描述。 
图1A到图1D是根据现有技术的用于解释预测运动矢量的方法的示图，其中，所述运动矢量预测方法基于H.264标准。 
图1A示出在当前块110和其周围的块121、122和123具有相同大小时对当前块110的运动矢量进行预测的情况。在这种情况下，根据H.264标准，通过计算周围的块121、122和123的预测运动矢量mvA、mvB和mvC的中值来确定当前块110的预测运动矢量。由于与特定块邻近的块具有相似性，故当前块110的运动矢量被确定为周围的块121、122和123的预测运动矢量mvA、mvB和mvC的中值。 
图1B示出在当前块110和其周围的块131、132和133具有不同大小时对当前块110的运动矢量进行预测的情况。在这种情况下，如图1B中所示，在当前块110的左边的上边块131、在当前块110的上边的最左边块132和靠近当前块110的右上边的块133的运动矢量的中值被确定为当前块110的预测运动矢量。 
图1C示出当前块111或112不是正方形块的情况。在图1C中，当前块111或112是8×16块。 
如果当前块是块111，则块111左边的块141的运动矢量被确定为当前块111的预测运动矢量。如果当前块是块112，则当前块112右上边的块142的运动矢量被确定为当前块112的预测运动矢量。 
图1D示出当前块113或114不是正方形块的情况。在图1D中，当前块113或114是16×8块。 
如果当前块是块113，则当前块113左边的块151的运动矢量被确定为当前块113的预测运动矢量。如果当前块是块114，则在当前块114上边的块152的运动矢量被确定为当前块114的预测运动矢量。 
如图1A到图1D中所示，从当前块周围的块的运动矢量确定当前块的预测运动矢量。运动矢量预测方法使用与当前块邻近的块之间的相似性来预测当前块的运动矢量。 
然而，当根据H.264标准的运动矢量预测方法被应用到对多视图图像进行编码时，产生以下问题。例如，如果使用时间预测对图1A中所示的与当前块110邻近的块121、122和123进行编码，则块121、122和123的运动矢量表示块121、122和123的时间相关性。如果使用视图间预测代替时间预测来对当前块110进行编码，则当前块110的运动矢量成为表示视图间空间相关性的运动矢量。因此，表示视图间空间相关性的当前块的运动矢量将与从与当前块邻近的块的运动矢量预测的当前块的预测运动矢量没有相关性。 
发明内容
技术方案 
本发明提供了一种用于对多视图图像进行编码和解码的方法和设备以及一种记录有用于执行多视图图像编码和解码方法的程序的计算机可读记录介 质，所述方法和设备能够使用多视图图像的时间相关性和空间相关性预测当前块的运动矢量，并使用当前块的运动矢量对当前块进行编码，。 
有益效果 
本发明还可被实施为在计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储其后可被计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机访问存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还可被分布于连接计算机系统的网络，从而以分散方式存储和执行计算机可读代码。 
如上所述，根据本发明的示例性实施例，由于基于关于当前块所属的当前图像与具有与当前图像的视点不同的视点的不同图像之间的视差的信息来预测当前块的运动矢量，故可比当使用传统视图间预测对当前块进行编码时更准确地预测当前块。 
另外，通过提供基于当前块的准确预测的运动矢量以跳跃模式对当前块进行编码的新编码模式，以跳跃模式对当前块进行编码的概率提高，可增加图像编码的压缩率。 
尽管参照本发明的示例性实施例具体示出和描述了本发明，本领域的普通技术人员应该理解在不脱离由权利要求限定的本发明的精神和范围的情况下，可进行各种形式和细节上的改变。 
附图说明
通过参照附图对本发明的示例性实施例进行的详细描述，本发明的上述和其它方面将会变得更加清楚，其中： 
图1A到图1D是根据现有技术的用于解释运动矢量预测方法的示图； 
图2是根据本发明示例性实施例的多视图图像编码设备的框图； 
图3是用于解释根据本发明示例性实施例的全局视差矢量的示图； 
图4示出根据本发明示例性实施例的表示跳跃模式的语法； 
图5是根据本发明示例性实施例的多视图图像编码方法的流程图； 
图6是根据本发明示例性实施例的多视图图像解码设备的框图； 
图7是根据本发明示例性实施例的解码模式确定方法的流程图；和 
图8是根据本发明示例性实施例的多视图图像解码方法的流程图。 
具体实施方式
最优模式 
根据本发明的一方面，提供了一种对多视图图像进行编码的方法，包括：基于关于当前块所属的当前图像与具有与当前图像的视点不同的视点的不同图像之间的视差的信息来预测当前块的运动矢量；基于当前块的预测运动矢量对当前块进行编码。 
关于视差的信息是表示当前图像与所述不同图像之间的全局视差的全局视差矢量。 
预测当前块的运动矢量的步骤包括：将全局视差矢量预测为当前块的预测运动矢量；基于当前块的预测运动矢量从不同图像的块中选择与当前块相应的块。 
对当前块进行编码的步骤包括：基于当前块的预测运动矢量和选择的块以跳跃模式对当前块进行编码。 
根据本发明的另一方面，提供了一种对多视图图像进行编码的设备，包括：预测单元，基于关于当前块所属的当前图像与具有与当前图像的视点不同的视点的不同图像之间的视差的信息来预测当前块的运动矢量；编码单元，基于当前块的预测运动矢量对当前块进行编码。 
根据本发明的另一方面，提供了一种对多视图图像进行解码的方法，包括：接收包括关于当前块的数据的比特流；从所述比特流提取关于当前块所属的当前图像与具有与当前图像的视点不同的视点的不同图像之间的视差的信息；基于提取的信息预测当前块的运动矢量；基于当前块的预测运动矢量恢复当前块。 
根据本发明的另一方面，提供了一种对多视图图像进行解码的设备，包括：解码单元，接收包括关于当前块的数据的比特流，从所述比特流提取关于当前块所属的当前图像与具有与当前图像的视点不同的视点的不同图像之间的视差的信息；预测单元，基于提取的信息预测当前块的运动矢量；和恢复单元，基于当前块的预测运动矢量恢复当前块。 
根据本发明的另一方面，提供了一种记录有用于执行多视图图像编码和解码方法的程序的计算机可读记录介质。 
发明模式 
以下，将参照附图对本发明的示例性实施例进行更详细的描述。 
图2是根据本发明示例性实施例的多视图图像编码设备200的框图。多视图图像编码设备200包括预测单元210和编码单元220。 
预测单元210基于关于当前块所属的当前图像与具有与当前图像的视点不同的视点的不同图像之间的视差的信息来预测当前块的运动矢量，所述不同图像在对当前图像视图间预测被参考。 
在多视图图像编码中，参考以不同视点同时产生的图像执行视图间预测。因此，当前图像与同时用于相同对象的不同视点图像之间存在空间相关性。为了使用这样的空间相关性对当前块进行编码，预测单元210基于关于当前图像与不同视点图像之间的视差的信息来预测当前块的运动矢量。以下将参照图3对关于视差的信息进行详细描述。 
图3是用于解释根据本发明示例性实施例的全局视差矢量的示图。 
参照图3，为了对当前图像310的当前块311进行编码，使用当前图像310和与当前图像同时产生并具有与当前图像310的视点不同的视点的不同图像320之间的空间相关性。 
参照图3中示出的具有不同视点的两个图像310和320，不同视点图像320是将当前图像310向右移动的结果图像。由于放置在不同位置的两个相机同时拍摄到两个图像310和320，故产生当前图像310与不同视点图像320之间的视差。 
更详细地，位于当前图像310中的图像帧的一角的当前块311与位于不同视点图像320中的图像帧的一角的块321相应。 
因此，将当前块311的位置与不同视点图像320的相应的块321的位置进行比较，可计算表示两个块311和321之间的距离差的视差矢量323。在多视图图像编码中，这种在具有不同视点的图像之间产生的视差矢量被称为“全局视差矢量”。 
如果图2中示出的多视图图像编码设备200被应用到图3中所述的情况，则预测单元210使用在具有不同视点的图像310和图像320之间产生的视差来预测当前块311的运动矢量。这里，当前块311的运动矢量用于当前块311的视图间预测。 
预测单元210包括运动矢量预测单元212和补偿单元214。 
运动矢量预测单元212基于关于当前图像310与不同视点图像320之间 的视差的信息来预测当前块311的运动矢量。与从当前块周围的块预测当前块的运动矢量的现有技术不同，基于关于当前图像310与不同视点图像320之间的视差的信息来预测当前块311的运动矢量。如果关于所述视差的信息是全局视差矢量，则全局视差矢量成为当前块311的预测运动矢量。 
由于基于关于当前图像310与视图间预测被参考的不同视点图像320之间的视差的信息来预测当前块311的运动矢量，故与使用传统视图间预测对当前块311进行编码的情况相比可更准确地对当前块311的运动矢量进行预测。 
补偿单元214基于当前块311的预测运动矢量从不同视点图像320的块中选择与当前块311相应的块。如果当前块311的预测运动矢量是全局视差矢量，则根据全局视差矢量从不同视点图像320的块中选择与当前块311相应的块321。 
编码单元220基于当前块311的预测运动矢量对当前块进行编码。 
另外，编码单元220仅对当前块311的预测运动矢量与当前块311的原始运动矢量之间的差进行编码。 
如果使用视图间预测对当前块311进行编码，则与根据传统技术预测当前块311的运动矢量的情况相比可准确地预测当前块311的运动矢量，从而，减小视差值并提高编码的压缩率。通过使用当前块311的像素值搜索不同视点图像320的块来产生与当前块311相应的块321，通过从当前块311的像素值减去块321的像素值来产生残差块。随后，对残差块执行离散余弦变换(DCT)以将残差块变换到频域，对得到的残差块执行量化和熵编码，并随后将得到的数据插入到比特流中。 
根据本发明的示例性实施例，编码单元220可基于由运动矢量预测单元212基于关于视差的信息预测的当前块311的预测运动矢量和由补偿单元214选择的与当前块311相应的块321来对当前块311进行编码。 
在这种情况下，编码单元220以跳跃模式对当前块311进行编码。“跳跃模式”是仅对指示当前块被编码的标记信息进行编码而不对当前块的残差数据进行编码的方法。在由于根据当前块311的预测运动矢量选择的与当前块311相应的块321和当前块311相等而没有残差数据存在的情况下，编码单元220以跳跃模式对当前块311进行编码。 
在跳跃模式中，由于使用当前块311的预测运动矢量指定与当前块311 相应的块321，故不需对关于当前块311的运动矢量的信息进行编码。另外，由于与当前块311相应的块321与当前块311相等从而没有残差数据存在，故也省略对该残差数据进行编码。当存在少量残差数据时，编码单元220可通过计算率失真(R-D)代价以跳跃模式对当前块311进行编码。 
编码单元220使用基于关于视差的信息预测的当前块的预测运动矢量(也就是通过使用全局视差矢量)提供了以跳跃模式对当前块进行编码的新编码模式。 
与使用从与当前块邻近的周围的块预测的当前块的预测运动矢量来预测当前块的现有技术跳跃模式不同，在新编码模式中，通过使用通过全局视差矢量预测的当前块311的预测运动矢量以跳跃模式对当前块311进行编码。 
参照图2和图3，运动矢量预测单元212使用全局视差矢量预测当前块311的运动矢量，补偿单元214基于当前块311的预测运动矢量从不同视点图像320的块选择与当前块311相应的块321。编码单元220将相应的块321与当前块311进行比较，如果相应的块321与当前块311相等，则以跳跃模式对当前块311进行编码。如上所述，当由于当前块311与相应的块321之间的少量视差而产生少量残差数据时，编码单元220可通过计算R-D代价以跳跃模式对当前块311进行编码。 
另外，根据本发明示例性实施例的编码单元220对指示以跳跃模式对当前块311进行编码的信息进行编码，并将所述信息插入到比特流中。由于根据本发明示例性实施例的跳跃模式具有与传统跳跃模式的上述区别，故需要一种用于表示这种区别的语法。以下将参照图4对所述语法进行详细描述。 
图4示出根据本发明示例性实施例的表示跳跃模式的语法。 
参照图4，为了区别根据本发明示例性实施例的跳跃模式与传统跳跃模式，将语法“mb_disparity_skip_flag”添加到“slice_data()”。也就是说，将指示根据本发明示例性实施例的跳跃模式的语法“mb_disparity_skip_flag”添加到“slice_data()”，而不是将指示传统跳跃模式的语法“mb_skip_flag”添加到“slice_data()”。 
例如，如果语法“mb_skip_flag”被设置为“1”，语法“mb_disparity_skip_flag”被设置为“0”，则指示以传统跳跃模式对当前块进行编码。如果语法“mb_skip_flag”被设置为“1”，语法“mb_disparity_skip_flag”被设置为“1”，则指示以根据本发明示例性实施例的跳跃模式对当前块进行编码。 
如果不使用任何跳跃模式对当前块进行编码，则语法“mb_skip_flag”被设置为“0”，且没有值被分配给语法“mb_disparity_skip_flag”。 
图5是根据本发明示例性实施例的多视图图像编码方法的流程图，其中，由图2中示出的多视图图像编码设备200执行多视图图像编码方法。 
参照图5，在操作510，基于关于当前块所属的当前图像与具有与当前图像的视点不同的视点的不同视点图像之间的视差的信息来预测当前块的运动矢量。关于视差的信息可以是全局视差矢量。在这种情况下，全局视差矢量成为当前块的预测运动矢量。 
在操作520，基于当前块的预测运动矢量对当前块进行编码。可基于当前块的预测运动矢量以跳跃模式对当前块进行编码。 
图6是根据本发明示例性实施例的多视图图像解码设备的框图。 
参照图6，多视图图像解码设备600包括解码单元610、预测单元620和恢复单元630。 
解码单元610接收包括关于当前块的数据的比特流，从所述比特流提取关于当前块所属的当前图像与具有与当前图像的视点不同的视点的不同视点图像之间的视差的信息。解码单元610可从比特流提取关于当前图像与不同视点图像之间的全局视差矢量的信息。另外，解码单元610从关于当前块的数据提取指示用于对当前块进行编码的编码模式的信息。也就是说，解码单元610从关于当前块的数据提取指示是否已经以根据本发明示例性实施例的跳跃模式(也就是说，以当前块的预测运动矢量是全局视差矢量的跳跃模式)对当前块进行编码的信息。这里，包括关于跳跃模式的信息的语法是如上所述的“mb_skip_flag”和“mb_disparity_skip_flag”。 
随后，基于提取的信息设置用于对当前块进行解码的解码模式。以下将参照图7对该操作进行详细描述。 
图7是根据本发明示例性实施例的解码模式确定方法的流程图，其中，当已经根据图4中所述的语法对当前块进行了编码时，图6中示出的多视图图像解码设备600确定跳跃模式。 
在操作710，参照由解码单元610提取的关于编码模式的信息，确定语法“mb_skip_flag”是否被设置为“1”。 
如果语法“mb_skip_flag”没有被设置为“1”，则确定没有使用任何跳跃模式对当前块进行编码，从而不使用任何跳跃模式对当前块进行解码。这里，跳跃模式包括根据本发明示例性实施例的跳跃模式和传统跳跃模式。 
如果语法“mb_skip_flag”被设置为“1”，则在操作720，确定语法“mb_disparity_skip_flag”是否被设置为“1”。 
如果语法“mb_skip_flag”被设置为“1”，则确定已经以跳跃模式对当前块进行了编码。为了确定跳跃模式是传统跳跃模式还是根据本发明示例性实施例的跳跃模式，确定语法“mb_disparity_skip_flag”是否被设置为“1”。 
如果语法“mb_disparity_skip_flag”被设置为“1”，则确定已经以根据本发明示例性实施例的跳跃模式(也就是说，以当前块的预测运动矢量是全局视差矢量的跳跃模式)对当前块进行了编码。因此，在操作730，以根据本发明示例性实施例的跳跃模式对当前块进行解码。 
如果语法“mb_disparity_skip_flag”被设置为“0”，则确定已经以现有技术跳跃模式(也就是说，以从与当前块邻近的周围的块预测当前块的预测运动矢量的跳跃模式)对当前块进行了编码。因此，在操作740，以现有技术跳跃模式对当前块进了解码。 
返回图6，预测单元620基于关于当前图像与具有与当前图像的视点不同的视点的不同视点图像之间的视差的信息来预测当前块的运动矢量。详细地说，与从与当前块邻近的先前解码的块预测当前快的运动矢量的传统技术不同，预测单元620基于关于当前图像与对当前图像进行视图间预测参考的不同视点图像之间的视差的信息来预测当前块的运动矢量。 
预测单元620可包括运动矢量预测器622和补偿器624。运动矢量预测器622基于由解码单元610提取的关于具有不同视点的图像之间的视差的信息来预测当前块311的运动矢量。如果关于视差的信息是全局视差矢量，则全局视差矢量成为当前块的预测运动矢量。 
补偿器624基于当前块的预测运动矢量从不同视点图像的块选择与当前块相应的块。 
恢复单元630基于当前块的预测运动矢量恢复当前块。恢复单元630将当前块的原始运动矢量与当前块的预测运动矢量之间的视差值(也就是从接收的比特流提取的)与当前块的预测运动矢量相加，从而恢复当前块的运动矢量。恢复单元630根据恢复的当前块的运动矢量搜索不同视点图像，从不同视点图像的块选择与当前块相应的预测块。随后，恢复单元630将残差块 与预测块相加，并恢复当前块。 
根据本发明的示例性实施例，如果已经以根据本发明的跳跃模式(也就是说，以当前块的预测运动矢量是全局视差矢量的跳跃模式)对当前块进行了编码，则也以根据本发明的跳跃模式恢复当前块。在这种情况下，由补偿器624基于由运动矢量预测器622预测的当前块的预测运动矢量选择的块被恢复为当前块。 
图8是根据本发明示例性实施例的多视图图像解码方法的流程图，其中，由图6中示出的多视图图像解码设备600执行多视图图像解码方法。 
参照图8，在操作810，接收包括关于当前块的数据的比特流。关于当前块的数据包括关于当前块所属的当前图像与对当前块进行视图间预测参考的不同视点图像之间的视差的信息。另外，关于当前块的数据包括指示已经以根据本发明示例性实施例的跳跃模式(也就是说，以当前块的预测运动矢量是全局视差矢量的跳跃模式)对当前块进行了编码的信息。 
在操作820，从在操作810接收的比特流提取关于当前图像与不同视点图像之间的视差的信息。关于视差的信息可以是全局视差矢量。 
在操作830，基于关于视差的信息预测当前块的运动矢量。如果关于视差的信息是全局视差矢量，则全局视差矢量成为当前块的预测运动矢量。 
在操作840，基于当前块的预测运动矢量恢复当前块。将当前块的预测运动矢量与当前块的原始运动矢量之间的视差值与当前块的预测运动矢量相加以恢复当前块的运动矢量，并且基于恢复的当前块的运动矢量恢复当前块。可使用当前块的预测运动矢量优选地以根据本发明的跳跃模式恢复当前块。基于当前块的预测运动矢量从不同视点图像的块选择与当前块相应的块，所述相应的块被恢复为当前块。 

Claims (10)

1.一种对多视图图像进行编码的方法，所述方法包括：
基于关于当前块所属的当前图像与具有与当前图像的视点不同的视点的不同图像之间的全局视差矢量的信息将全局视差矢量预测为当前块的预测运动矢量；
根据预测运动矢量从所述不同图像中选择与当前块相应的块；以及
基于预测运动矢量和选择的块对当前块进行编码，
其中，对当前块进行编码的步骤包括：
确定当前块以及与当前块相应的块是否相同；
如果当前块以及与当前块相应的块相同，则对指示当前块按照跳过模式被编码而当前块的残差数据和预测运动矢量未被编码的标记信息进行编码；
如果当前块以及与当前块相应的块不相同，则对当前块的全局视差矢量与原始运动矢量之间的差进行编码。
2.如权利要求1所述的方法，其中，对当前块进行编码的步骤包括：
基于当前块的预测运动矢量和选择的块以跳跃模式对当前块进行编码。
3.如权利要求2所述的方法，其中，对当前块进行编码的步骤还包括：
对指示基于当前块的预测运动矢量和选择的块以跳跃模式对当前块进行编码的信息进行编码。
4.一种对多视图图像进行编码的设备，所述设备包括：
预测单元，基于关于当前块所属的当前图像与具有与当前图像的视点不同的视点的不同图像之间的全局视差矢量的信息将全局视差矢量预测为当前块的预测运动矢量，并根据预测运动矢量从所述不同图像中选择与当前块相应的块；和
编码单元，基于预测运动矢量和选择的块对当前块进行编码，
其中，编码单元确定当前块以及与当前块相应的块是否相同；
如果当前块以及与当前块相应的块相同，则编码单元对指示当前块按照跳过模式被编码而当前块的残差数据和预测运动矢量未被编码的标记信息进行编码；
如果当前块以及与当前块相应的块不相同，则编码单元通过对当前块的全局视差矢量与原始运动矢量之间的差进行编码来对当前块进行编码。
5.如权利要求4所述的设备，其中，编码单元基于当前块的预测运动矢量和选择的块以跳跃模式对当前块进行编码。
6.如权利要求5所述的设备，其中，编码单元对指示基于当前块的预测运动矢量和选择的块以跳跃模式对当前块进行编码的信息进行编码。
7.一种对多视图图像进行解码的方法，所述方法包括：
接收包括关于当前块的数据的比特流；
从所述比特流提取关于当前块所属的当前图像与具有与当前图像的视点不同的视点的不同图像之间的全局视差矢量的信息以及指示是否当前块按照跳过模式被编码而当前块的残差数据和预测运动矢量未被编码的标记信息；
基于提取的信息将全局视差矢量预测为当前块的预测运动矢量；
根据预测运动矢量从所述不同图像中选择与当前块相应的块；以及
基于预测运动矢量和选择的块恢复当前块其中，所述全局视差矢量表示当前图像与不同图像之间的全局视差，
其中，如果标记信息指示当前块按照跳过模式被编码，则基于全局视差矢量从所述不同图像中选择与当前块相应的块，并将与当前块相应的块恢复为当前块。
8.如权利要求7所述的方法，其中，恢复当前块的步骤包括：
基于当前块的预测运动矢量和选择的块以跳跃模式恢复当前块。
9.一种对多视图图像进行解码的设备，所述设备包括：
解码单元，接收包括关于当前块的数据的比特流，从所述比特流提取关于当前块所属的当前图像与具有与当前图像的视点不同的视点的不同图像之间的全局视差矢量的信息，并提取指示是否当前块按照跳过模式被编码而当前块的残差数据和预测运动矢量未被编码的标记信息；
预测单元，基于提取的信息将全局视差矢量预测为当前块的预测运动矢量，并根据预测运动矢量从所述不同图像中选择与当前块相应的块；和
恢复单元，基于预测运动矢量和选择的块恢复当前块其中，所述全局视差矢量表示当前图像与不同图像之间的全局视差，
其中，如果标记信息指示当前块按照跳过模式被编码，则恢复单元基于全局视差矢量从所述不同图像中选择与当前块相应的块，并将与当前块相应的块恢复为当前块。
10.如权利要求9所述的设备，其中，恢复单元基于当前块的预测运动矢量和选择的块以跳跃模式恢复当前块。
CN2008800020934A 2007-01-11 2008-01-10 用于对多视图图像进行编码和解码的方法和设备 Expired - Fee Related CN101601304B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US88447407P 2007-01-11 2007-01-11
US60/884,474 2007-01-11
KR1020070043796A KR20080066522A (ko) 2007-01-11 2007-05-04 다시점 영상의 부호화, 복호화 방법 및 장치
KR1020070043796 2007-05-04
KR10-2007-0043796 2007-05-04
PCT/KR2008/000160 WO2008084997A1 (en) 2007-01-11 2008-01-10 Method and apparatus for encoding and decoding multi-view images

Publications (2)

Publication Number Publication Date
CN101601304A CN101601304A (zh) 2009-12-09
CN101601304B true CN101601304B (zh) 2013-11-06

Family

ID=39821367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800020934A Expired - Fee Related CN101601304B (zh) 2007-01-11 2008-01-10 用于对多视图图像进行编码和解码的方法和设备

Country Status (6)

Country Link
US (1) US20080170618A1 (zh)
EP (1) EP2103144A4 (zh)
JP (1) JP2010516158A (zh)
KR (1) KR20080066522A (zh)
CN (1) CN101601304B (zh)
WO (1) WO2008084997A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100968204B1 (ko) * 2007-01-11 2010-07-06 전자부품연구원 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
CN101647279A (zh) 2007-01-24 2010-02-10 Lg电子株式会社 用于处理视频信号的方法和装置
KR101431546B1 (ko) * 2007-05-02 2014-08-22 삼성전자주식회사 다시점 동영상의 부호화 및 복호화 방법과 그 장치
US8917775B2 (en) 2007-05-02 2014-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view video data
CN101415115B (zh) * 2007-10-15 2011-02-02 华为技术有限公司 基于运动跳跃模式的视频编解码方法及其编解码器
WO2009115901A2 (en) 2008-03-19 2009-09-24 Nokia Corporation Combined motion vector and reference index prediction for video coding
KR101483750B1 (ko) 2009-07-24 2015-01-19 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
JP2011223493A (ja) 2010-04-14 2011-11-04 Canon Inc 画像処理装置および画像処理方法
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
US8711940B2 (en) 2010-11-29 2014-04-29 Mediatek Inc. Method and apparatus of motion vector prediction with extended motion vector predictor
KR101893559B1 (ko) 2010-12-14 2018-08-31 삼성전자주식회사 다시점 비디오 부호화/복호화 장치 및 방법
US20130120528A1 (en) * 2011-01-09 2013-05-16 Thomson Licensing Video processing apparatus and method for detecting a temporal synchronization mismatch
JP2012147331A (ja) * 2011-01-13 2012-08-02 Sony Corp 画像処理装置および方法
JP5747559B2 (ja) * 2011-03-01 2015-07-15 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム
CN103430549B (zh) * 2011-03-18 2017-05-10 索尼公司 图像处理装置和图像处理方法
WO2012172634A1 (ja) * 2011-06-13 2012-12-20 株式会社東芝 画像符号化装置、画像復号化装置、方法およびプログラム
US20140104383A1 (en) * 2011-06-22 2014-04-17 Sony Corporation Image processing device and method
CN103765895B (zh) * 2011-06-24 2017-03-08 Lg电子株式会社 使用跳跃模式的编码/解码方法和装置
MY170743A (en) * 2011-06-30 2019-08-27 Sony Corp Image processing device and image processing method
KR20130022923A (ko) * 2011-08-26 2013-03-07 삼성전자주식회사 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법
WO2013039348A1 (ko) * 2011-09-16 2013-03-21 엘지전자 주식회사 영상 정보 시그널링 방법 및 이를 이용한 비디오 디코딩 방법
KR102020024B1 (ko) * 2011-10-25 2019-09-10 삼성전자주식회사 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법
US20130100245A1 (en) * 2011-10-25 2013-04-25 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding using virtual view synthesis prediction
CN110139108B (zh) 2011-11-11 2023-07-18 Ge视频压缩有限责任公司 用于将多视点信号编码到多视点数据流中的装置及方法
WO2013068548A2 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate for a dependent view
EP3739886A1 (en) 2011-11-18 2020-11-18 GE Video Compression, LLC Multi-view coding with efficient residual handling
US9560353B2 (en) 2012-01-27 2017-01-31 Sun Patent Trust Video encoding method, video encoding device, video decoding method and video decoding device
WO2013157822A1 (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 깊이 영상의 부호화 장치 및 방법, 그리고 복호화 장치 및 방법
WO2014005280A1 (en) * 2012-07-03 2014-01-09 Mediatek Singapore Pte. Ltd. Method and apparatus to improve and simplify inter-view motion vector prediction and disparity vector prediction
KR102136903B1 (ko) * 2012-07-18 2020-07-22 소니 주식회사 화상 처리 장치 및 방법
KR102186605B1 (ko) * 2012-09-28 2020-12-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
EP2903286A4 (en) 2012-09-28 2016-05-25 Sony Corp IMAGE PROCESSING DEVICE AND METHOD
JP6788346B2 (ja) 2012-10-01 2020-11-25 ジーイー ビデオ コンプレッション エルエルシー ベース層からの予測のための副ブロックの副分割の派生を使用するスケーラブルビデオ符号化
US9736498B2 (en) * 2012-10-03 2017-08-15 Mediatek Inc. Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3D video coding
CN104782123A (zh) * 2012-10-22 2015-07-15 数码士控股有限公司 用于预测视点间运动的方法以及用于确定3维视频中的视点间合并候选的方法
WO2014075236A1 (en) * 2012-11-14 2014-05-22 Mediatek Singapore Pte. Ltd. Methods for residual prediction with pseudo residues in 3d video coding
CN104782128B (zh) * 2012-11-14 2017-10-24 寰发股份有限公司 用于三维或多维视图视频编码的方法及其装置
CN104798375B (zh) 2012-11-16 2018-08-28 寰发股份有限公司 用于多视点视频编码或解码的方法及装置
CN116708768A (zh) 2013-01-04 2023-09-05 Ge视频压缩有限责任公司 高效可伸缩编码概念
US9521389B2 (en) 2013-03-06 2016-12-13 Qualcomm Incorporated Derived disparity vector in 3D video coding
KR101773413B1 (ko) * 2013-04-08 2017-08-31 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
CN105247862A (zh) * 2013-04-09 2016-01-13 联发科技股份有限公司 三维视频编码中的视点合成预测的方法及装置
WO2014166068A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Refinement of view synthesis prediction for 3-d video coding
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
WO2015006967A1 (en) * 2013-07-19 2015-01-22 Mediatek Singapore Pte. Ltd. Simplified view synthesis prediction for 3d video coding
WO2015010226A1 (en) 2013-07-24 2015-01-29 Qualcomm Incorporated Simplified advanced motion prediction for 3d-hevc
CN105393539B (zh) * 2013-07-24 2019-03-29 高通股份有限公司 用于纹理及深度译码的子pu运动预测
EP3025498B1 (en) 2013-08-13 2019-01-16 HFI Innovation Inc. Method of deriving default disparity vector in 3d and multiview video coding
KR101761523B1 (ko) * 2013-10-17 2017-07-25 미디어텍 인크. 멀티뷰 및 3차원 비디오 코딩시의 모션 정보 예측 및 상속 방법
JP2014062100A (ja) * 2013-11-05 2014-04-10 Glaxosmithkline Llc 抗体処方
EP3114839A4 (en) 2014-03-07 2018-02-14 Qualcomm Incorporated Simplified sub-prediction unit (sub-pu) motion parameter inheritence (mpi)
KR101489222B1 (ko) * 2014-05-15 2015-02-04 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
WO2016056821A1 (ko) * 2014-10-08 2016-04-14 엘지전자 주식회사 3d 비디오 코딩을 위한 움직임 정보 압축 방법 및 장치
KR101525015B1 (ko) * 2014-10-28 2015-06-09 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
JP6247241B2 (ja) * 2015-02-27 2017-12-13 ノバルティス アーゲー 抗体処方

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3080487B2 (ja) * 1992-09-30 2000-08-28 富士通株式会社 多眼式立体映像の動き補償予測方法
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JP3693407B2 (ja) * 1996-04-04 2005-09-07 シャープ株式会社 多視点画像符号化装置および復号装置
US6055274A (en) * 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
WO2003053066A1 (en) * 2001-12-17 2003-06-26 Microsoft Corporation Skip macroblock coding
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
US6909749B2 (en) * 2002-07-15 2005-06-21 Pts Corporation Hierarchical segment-based motion vector encoding and decoding
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
US9088802B2 (en) * 2005-01-07 2015-07-21 Nippon Telegraph And Telephone Corporation Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs
US8228994B2 (en) * 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition

Also Published As

Publication number Publication date
WO2008084997A1 (en) 2008-07-17
KR20080066522A (ko) 2008-07-16
EP2103144A1 (en) 2009-09-23
JP2010516158A (ja) 2010-05-13
US20080170618A1 (en) 2008-07-17
EP2103144A4 (en) 2012-09-26
CN101601304A (zh) 2009-12-09

Similar Documents

Publication Publication Date Title
CN101601304B (zh) 用于对多视图图像进行编码和解码的方法和设备
CN101595735B (zh) 对视频进行编码和解码的方法和设备
CN101578881B (zh) 基于全局视差向量对多视图图像编码和解码的方法和设备
CN101653006B (zh) 基于帧间预测进行编码和解码的方法和设备
CN101536530B (zh) 基于运动估计进行视频编码和解码的方法和设备
KR101199498B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
CN101617537A (zh) 用于处理视频信号的方法和装置
TWI718908B (zh) 影像預測解碼方法
KR101747434B1 (ko) 움직임 정보 및 변이 정보를 부호화／복호화하는 영상 처리 장치 및 방법
CN103503460A (zh) 视频译码中的运动向量预测
CN104412597A (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN101573985A (zh) 用于视频预测编码的方法和装置以及用于视频预测解码的方法和装置
KR102572012B1 (ko) 시점 간 움직임 병합 후보 유도 방법 및 장치
KR20160002716A (ko) 비디오 신호 처리 방법 및 장치
KR20150043319A (ko) 비디오 신호 처리 방법 및 장치
JP2015524228A (ja) ビデオ信号処理方法およびビデオ信号処理装置
KR101363044B1 (ko) 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를이용한 비디오 영상의 부호화/복호화 장치 및 방법 그리고상기 방법을 수행하는 프로그램이 기록된 기록 매체
CN103108183B (zh) 一种三维视频中Skip和Direct模式运动矢量的预测方法
CN104969556A (zh) 处理视频信号的方法和设备
CN101459849A (zh) 基于多视点编码的运动搜索范围自适应调节的快速运动估计方法
KR101357755B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101313223B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
EP2919464A1 (en) Method and apparatus for processing video signals
KR101313224B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101343576B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131106

Termination date: 20160110

CF01 Termination of patent right due to non-payment of annual fee