CN103139569A - 多视点视频的编码、解码方法、装置和编解码器 - Google Patents

多视点视频的编码、解码方法、装置和编解码器 Download PDF

Info

Publication number
CN103139569A
CN103139569A CN2011103765641A CN201110376564A CN103139569A CN 103139569 A CN103139569 A CN 103139569A CN 2011103765641 A CN2011103765641 A CN 2011103765641A CN 201110376564 A CN201110376564 A CN 201110376564A CN 103139569 A CN103139569 A CN 103139569A
Authority
CN
China
Prior art keywords
point diagram
viewpoint
forward sight
metamorphopsia
present encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103765641A
Other languages
English (en)
Other versions
CN103139569B (zh
Inventor
杨名远
傅佳莉
费边·耶格尔
麦蒂尔斯·韦恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201110376564.1A priority Critical patent/CN103139569B/zh
Priority to PCT/CN2012/079503 priority patent/WO2013075515A1/zh
Priority to EP12852136.6A priority patent/EP2773115B1/en
Publication of CN103139569A publication Critical patent/CN103139569A/zh
Priority to US14/285,962 priority patent/US9467676B2/en
Application granted granted Critical
Publication of CN103139569B publication Critical patent/CN103139569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供了一种多视点视频的编码方法、解码方法及对应的装置、编码器和解码器，其中多视点视频的编码方法包括：最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移；利用最优变形偏移、视点的摄像机参数以及前视点图深度图信息计算前视点图和当前编码视点图之间的视差信息；利用视差信息和前视点图计算前视点图的变形视点图，并将该变形视点图作为预测信号对当前视点图进行预测。本发明实施例通过最小化当前编码视点图和前视点图的变形视点图的误差得到最优变形偏移，采用该最优变形偏移修正视差信息，从而提高变形视点图的精度，进而改善多视点的视频图像质量。

Description

多视点视频的编码、解码方法、装置和编解码器
技术领域
本发明属于视频编解码技术领域，尤其涉及多视点视频的编码方法、解码方法、装置和编码器、解码器。
背景技术
多视点视频编码(Multi-view Video Coding，MVC)是H.264/AVC(Advanced Video Coding，高级视频编码)提出的一个技术，主要用于编码立体视频以及多角度三维视频内容。
MVC中的视差矢量代表不同视点间记录的同一场景的冗余信息。这些视差矢量是以块为单位的矢量，它们是编码端通过非标准(non-normative)运动估计算法计算得到的。对于其他的视点，可以根据视差矢量用之前已编码的视点的可置换(displaced)块区域作为其他视点当前编码区域的预测信号。这些以块为单位的视差矢量是不能精确的描述多视点之间的视差信息的，从而使得MVC编码方法难以产生高质量的用于不同视点压缩的预测信号。
现有技术提供了一种三维视频编码(3D Video Coding，3DV)的方法，该3DV编码方法中增加了深度信息。该深度信息用于描述不同视点间的每一个像素位置的关系，从而3DV编码技术可以产生质量相对高一些的用于不同视点压缩的预测信号。
在编码端，3DV编码方法的流程简述如下：其中基本视点使用传统的编码标准进行编码。在编码完基本视点后，对下一个视点进行编码时，利用摄像机参数信息和前视点图的深度图信息计算已编码的前视点图和当前要编码视点之间的视差信息，利用视差信息对前视点图进行变形操作，得到变形视点图，并将该变形视点图作为当前要编码的视点的编码单元的参考图，对当前要编码的视点进行编码处理。
视差的计算在物体或者物体的局部可能引入像素移位噪声，导致变形后的像素位置和物体在其他视点的位置不能完全一致。这种现象可以解释为rounding效应，离摄像机近的物体要比离摄像机远的物体效应明显。rounding效应的出现使得依据视差信息得到的变形视点图的精度降低了，进而影响3DV编码的压缩效率。
发明内容
本发明实施例提供一种多视点视频的编码方法，可以提高变形视点图的精度。
本发明实施例提供一种多视点视频的编码方法，所述方法包括：
最小化当前编码视点图和前视点图的变形视点图之间的误差，获得最优变形偏移；
根据所述最优变形偏移、视点的摄像机参数以及所述前视点图的深度图信息，获取所述前视点图和所述当前编码视点图之间的视差信息；
根据所述视差信息和所述前视点图确定所述前视点图的变形视点图，并将所述变形视点图作为预测信号对所述当前编码视点图进行预测编码。
本发明实施例还提供一种多视点视频的解码方法，所述方法包括：
解析当前视点图的码流，得到最优变形偏移；
根据所述最优变形偏移、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前解码视点图之间的视差信息；
根据所述视差信息计算所述前视点图相对于当前解码视点图的变形视点图；
将所述变形视点图作为重构所述当前解码视点图的参考图。
本发明实施例还提供一种多视点视频编码的编码装置，所述装置包括：
最优变形偏移获取单元，用于最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移；
第一视差信息计算单元，用于根据所述最优变形偏移、视点的摄像机参数以及前视点图的深度图信息获取所述前视点图和当前编码视点图之间的视差信息；
第一变形视点图计算单元，用于根据所述视差信息和前视点图确定所述前视点图的变形视点图；
第一编码预测单元，用于将所述变形视点图作为预测信号对所述当前编码视点图进行预测编码。
本发明实施例的还提供一种多视点视频的解码装置，所述装置包括：
码流解析单元，用于解析当前视点图的码流，得到最优变形偏移；
第二视差信息计算单元，用于根据所述最优变形偏移、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前解码视点图之间的视差信息；
第二变形视点图计算单元，用于根据所述视差信息和前视点图计算所述前视点图的变形视点图；
第一解码预测单元，用于将所述变形视点图作为重构所述当前解码视点图的参考图。
本发明实施例的还提供一种包括所述多视点视频的编码装置的编码器和包括所述多视点视频的解码装置的解码器。
在本发明实施例中，通过最小化当前编码视点图和前视点图的变形视点图的误差得到最优变形偏移，采用该最优变形偏移修正视差信息，从而提高变形视点图的精度，改善多视点的视频图像质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的多视点视频的编码方法的实现流程图；
图2是本发明实施例提供的最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移的实现流程图；
图3是本发明另一实施例提供的多视点视频的编码方法的实现流程图；
图4是本发明另一实施例提供的多视点视频的编码方法的实现流程图；
图5是本发明实施例提供的多视点视频的解码方法的实现流程图；
图6是本发明另一实施例提供的多视点视频的解码方法的实现流程图；
图7是本发明另一实施例提供的多视点视频的解码方法的实现流程图；
图8是本发明实施例提供的多视点视频的编码装置的结构框图；
图9是本发明实施例提供的多视点视频的解码装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中，通过最小化当前编码视点图和前视点图的变形视点图的误差得到最优变形偏移，采用该最优变形偏移修正视差信息，从而提高变形视点图的精度，进而改善多视点的视频图像质量。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
图1示出了本发明实施例提供的一种多视点视频的编码方法的实现流程，详述如下：
在步骤S101中，最小化当前编码视点图和前视点图的变形视点图之间的误差，获得最优变形偏移。
其中当前编码视点图是指当前正在进行编码的视点图。前视点图可以为当前编码视点图空间域上的前编码视点图。前视点图的变形视点图是通过对前视点图采用视点变形算法进行变形运算得到的。其中视点图包括视频图和深度图。变形视点图包括变形视频图和变形深度图。
在本发明实施例中，前视点图的变形视频图和变形深度图可以采用相同的最优变形偏移，也可以分别采用各自的最优变形偏移。
当前视点图的变形视频图和变形深度图分别采用各自的最优变形偏移时，则最小化当前编码视点图的编码视频图和前视点图的编码视频图的误差，获得前视点图的变形视频图的最优变形偏移，最小化当前编码视点图的深度图和前视点图的变形深度图的误差，获得前视点图的变形深度图的最优变形偏移。
在本发明实施例中，当存在多个最优变形偏移时，该多个最优变形偏移之间也可以通过预测压缩来减少编码所需码率。举例说明如下：如果多个最优变形偏移之间存在相关性时，则可以传递其中一个最优变形偏移，其它最优变形偏移可以仅传递与该最优变形偏移的差值，通过这种方式可以减少编码所需码率。
在本发明实施例中，最优变形偏移可以用于修正整图，也可以用于对一部分图比如条带进行修正。
其中当前编码视点图和前视点图的变形视点图的误差包括但不限于绝对差和(Sum of Absolute Difference，SAD)、均方差(Mean Square Error，MSE)和误差项平方和(Sum of Squares for Error，SSE)等。
其中最小化当前编码视点图和前视点图的变形视点图的误差的方式有多种。如可以通过以下方式：设置一偏移预设范围，根据该偏移预设范围内的所有值分别作为变形偏移来修正前视点图和当前编码视点图之间的视差信息，利用该视差信息得到前视点图的变形视点图，计算当前编码视点图和前视点图的变形视点图的误差，从该偏移预设范围中选择一个使当前编码视点图和前视点图的变形视点图的误差最小的值，将该值确定为最优变形偏移。其中偏移预设范围内的所有值包括整数值或者小数值，其中小数值为保留小数点后一位的小数值。当然还可以采用其他方式最小化当前编码视点图和前视点图的变形视点图的误差，在此不再一一举例说明。
在步骤S102中，根据最优变形偏移、视点的摄像机参数以及前视点图的深度图信息，获取前视点图和当前编码视点图之间的视差信息。
其中视点的摄像机参数包括摄像机焦距以及摄像机空间位置和景深信息等。其中视差信息是以像素点为单位的。
其中根据最优变形偏移、视点的摄像机参数以及前视点图的深度图信息，获取前视点图和所述当前编码视点图之间的视差信息的步骤具体包括：
根据视点的摄像机参数以及前视点图的深度图信息计算得到初始视差信号；
根据最优变形偏移以及前视点图的深度图信息得到偏移修正信号；
根据初始视差信号和偏移修正信号得到前视点图和所述当前编码视点图之间的视差信息。
在本发明实施例中，可以采用如下公式计算前视点图和当前编码视点图之间的每个像素位置的视差信息：
disp(p)＝(f/z)*(Xadd-Xbase)+offseti*(d/dmax)*α
其中f为当前编码视点的摄像机焦距。z为物体距离视点的距离。Xadd为3D空间内当前编码视点在视点直线上的位置。Xbase为3D空间内前视点图在视点直线上的位置。offseti为步骤S101中得到的最优变形偏移。d为当前像素的深度值，dmax为当前视点图深度的最大深度值。α为半像素精度。
在步骤S103中，根据视差信息和前视点图确定前视点图的变形视点图，并将该变形视点图作为预测信号对当前编码视点图进行预测编码。
在本发明实施例中，通过最小化当前编码视点图和前视点图的变形视点图的误差，得到最优变形偏移，采用该最优变形偏移修正视差信息，从而可以提高前视点图的变形视点图的精度，进而提高多视点的视频图像质量。
在本发明优选实施例中，在步骤S101之后，该方法还包括下述步骤：
将最优变形偏移写进码流中。
在本实施例中，由于将最优变形偏移编码进码流中了，从而解码端可以根据码流中的最优变形偏移计算得到视差信息，依据该视差信息得到前视点图的变形视点图，该前视点图的变形视点图可以作为重构当前解码视点图的参考图，使得解码端可以解码并重建各视点。本发明实施例的方法可以由处理器(比如中央处理器CPU)或专用集成电路(ASIC)等执行。
实施例二：
图2示出了本发明实施例提供的最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移的实现流程，详述如下：
在步骤S201中，设定变形偏移值offseti。
在本发明实施例中，该变形偏移值offseti可以任意设置。
在步骤S202中，根据变形偏移值offseti、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前编码视点图之间的视差信息。其中视差信息可以是以像素点为单位的。
在本发明实施例中，可以采用如下公式计算前视点图和当前编码视点图之间的每个像素位置的视差信息：
disp(p)＝(f/z)*(Xadd-Xbase)+offseti*(d/dmax)*α
其中f为当前视点图的摄像机焦距。z为物体距离视点的距离。Xadd为3D空间内当前视点图在视点直线上的位置。Xbase为3D空间内前视点图在视点直线上的位置。d为当前像素的深度值，dmax为当前视点图深度的最大深度值。α为半像素精度。
在步骤S203中，根据视差信息和前视点图确定前视点图的变形视点图。由于其具体过程属于现有技术，在此不再赘述。
在步骤S204中，计算变形视点图和当前编码视点图的原始图的误差。其中变形视点图包括变形视频图和变形深度图，当前编码视点图的原始图包括原始视频图和原始深度图。以计算变形视点图和当前编码视点图的原始图的均方差为例进行说明。
其具体计算过程如下：
MSE ( offset i ) = ( 1 / n ) Σ i = 1 n ( X i - Y i )
其中MSE(offseti)是指变形视点图和当前编码视点图的均方差。Xi为当前编码视点图的像素。Yi为变形视点图的像素。
在本发明实施例中，当变形视点图和当前编码视点图的均方差越小时，表示依据该变形偏移得到的变形视点图与当前编码视点图越接近。
在步骤S205，判断变形视点图和当前编码视点图的误差是否小于目前最小的误差值，如果是，执行步骤S206，否则执行步骤S207。其中最小误差值在开始阶段设置为极大值。
以判断变形视点图和当前编码视点的原始图的均方差是否小于预设的极大值为例，其中具体的判断步骤为：
判断MSE(offseti)＜MSE(offsetopt)是否成立，如果成立，执行步骤S206，否则执行步骤S207。
在步骤S206中，设置offsetopt＝offseti，MSE(offsetopt)＝MSE(offseti)。
在步骤S207中，在预设的偏移预设范围内更改变形偏移值offseti，并返回步骤S202。
其中偏移预设范围是指变形偏移值offseti的变化范围。如可以将该偏移预设范围设置为[-2，2]，但偏移预设范围不以该举例说明为限。
其中在预设的偏移预设范围内更改变形偏移值offseti是指将变形偏移值offseti修改为该偏移预设范围内的未使用过的任意一个值。
通过上述步骤，遍历偏移预设范围内的所有值，即当偏移预设范围内的所有值均被设置为变形偏移值offseti以后，即可从该偏移预设范围内找出一个使MSE(offseti)最小的值，将该值确定为最优变形偏移。起镇南关偏移预设范围内的所有值包括整数值或者小数值，其中小数值为保留小数点后一位的小数值。
在本发明实施例中，可以在偏移预设范围内找出一个使MSE(offseti)最小的值，即从偏移预设范围内找出一个使变形视点图和当前编码视点图的原始图最接近的变形偏移值，通过将该值确定为最优变形偏移，从而可以极大的提高变形视点图的精度。实施例三：
图3示出了本发明另一实施例提供的多视点视频的编码方法的实现流程，其中步骤S301、S302与图1中的步骤S101、S102相同，不同之处在于还包括以下步骤，详述如下：
在步骤S303中，根据视差信息和前视点图计算前视点图的变形视点图，并将该变形视点图作为预测信号对当前编码视点图进行预测编码，得到第一预测结果。
在步骤S304中，采用当前编码视点图的其他预测编码模式对当前编码视点图进行预测编码，得到第二预测结果。
在步骤S305中，根据第一预测结果和第二预测结果采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码，并将模式指示符号写进码流中。其中最优决策包括但不限于率失真决策。模式指示符号用于标识采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式。变形视点图的预测模式是指将该变形视点图作为预测信号对当前编码视点图进行预测编码的模式。
如当采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式为变形视点图的预测模式时，设置模式标识符号WarpSkip-Mode＝1；当采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式为当前视点图的其他预测模式时，设置模式标识符号WarpSkip-Mode＝0；将该模式标识符号写进码流中，以便解码器在接收到码流后，可以依据该模式标识符号进行正确的解码。
实施例四：
图4示出了本发明另一实施例提供的多视点视频的编码方法的实现流程，其中步骤S401、S402与图1中的步骤S101、S102相同，不同之处在于，其还包括以下步骤：
在步骤S403中，利用视差信息和前视点图计算前视点图的变形视点图。
在步骤S404中，获取当前编码视点图的占用掩码图，该占用掩码图用于描述前视点图的像素是否可以被变形到当前编码视点图中。
其中获取占用掩码图的具体步骤属于现有技术，在此简单说明如下：在计算变形视点图时，产生一个占用掩码图(occupancy mask)。该占用掩码图描述了前视点图的像素是否可以被变形到当前视点图中。它的表现形式为一个和视频相同尺寸的布尔占用掩码图。当一个像素被成功的从其他视点变形得到，则该像素在占用掩码图中被表示为占用(即真)，反之则被表示为空缺(即假)，通过上述方式即可得到占用掩码图。
在步骤S405中，根据占用掩码图得到当前编码视点图的每一个编码单元的掩码标识。
在步骤S406中，根据当前编码视点图的每一个编码单元的掩码标识计算当前编码单元的占有率p(CU)。其计算公式可以如下：
p(CU)＝(∑CUPi)/size(CU)
其中Pi为当前编码单元每一个像素的掩码标识，其值为0或者1。size(CU)是该编码单元内的所有像素的个数。
在步骤S407中，判断当前编码单元的占有率p(CU)是否大于预设的阈值，如果是，执行步骤S408，否则执行步骤S409。
在步骤S408中，将变形视点图作为当前编码单元的预测信号对当前编码视点图进行预测编码。
在步骤S409中，采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码。其中变形视点图的预测模式是指将变形视点图作为当前编码单元的预测信号对当前编码视点图进行预测编码的模式。其中最优决策包括但不限于率失真决策。
在本发明实施例中，在采用率失真决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码时，采用率失真决策从变形视点图的预测模式和当前视点图的其他预测模式中选择代价最小的模式对当前编码单元进行预测编码。
在本发明实施例中，通过根据当前编码单元的占有率p(CU)，直接采用变形视点图作为当前编码单元的预测信号对当前编码视点图进行预测编码，或者采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码，从而可以提高编码预测精度，得到更好的率失真性能。
在本发明的优选实施例中，当当前编码单元的占有率小于或者等于预设的阈值时，所述方法还包括：
采用模式指示符号来标识采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式，并将所述模式指示符号写进码流中。这样解码端即可根据该模式指示符号解析出采用何种模式对对当前编码单元进行预测解码。如模式指示符号可以用WarpSkip-Mode代表。
实施例五
图5示出了本发明实施例提供的多视点视频的解码方法的实现流程，详述如下：
在步骤S501中，解析当前视点图的码流，得到最优变形偏移。
在本发明实施例中，在编码端对多视点视频进行编码时，已经将各视点的最优变形偏移编码进码流了，因此通过解析当前视点图的码流，即可得到各视点的最优变形偏移。
在步骤S502中，根据最优变形偏移、视点的摄像机参数以及前视点图的深度图信息计算前视点图和当前解码视点图之间的视差信息。其中前视点图可以是当前解码视点图空间域上的前解码视点图。其具体过程如下：
根据所述视点的摄像机参数以及前视点图的深度图信息计算得到初始视差信号；
根据所述最优变形偏移以及所述前视点图的深度图信息得到偏移修正信号；
根据所述初始视差信号和所述偏移修正信号得到所述前视点图和所述当前编码视点图之间的视差信息。
在本发明实施例中，可以采用如下公式计算前视点图和当前编码视点图之间的视差信息：
disp(p)＝(f/z)*(Xadd-Xbase)+offseti*(d/dmax)*α
在步骤S503中，根据视差信息和前视点图计算前视点图相对于当前解码视点图的变形视点图(其中前视点图相对于当前解码视点图的变形视点图也称为前视点图的变形视点图)。其具体步骤如下：
根据视差信息对前视点图的像素进行移位得到前视点图相对于当前解码视点图的变形视点图。
在步骤S504中，将计算得到的变形视点图作为重构当前解码视点图的参考图。通过将解码得到的其它信息和参考图共同构建重建图，从而实现对当前解码视点的解码重构。
在本发明实施例中，通过解码码流中的最优变形偏移，依据该最优变形偏移得到视差信息，依据视差信息得到前视点图的变形视点图，将该变形视点图作为重构当前解码视点图的参考图，并用解码得到的其它信息和参考图共同构建重建图，从而可以实现对当前解码视点的解码重构。
在本发明实施例中，该最优变形偏移可以为前视点图的变形视频图和变形深度图共同最优变形偏移，也可以包括前视点图的变形视频图和变形深度图各自的最优变形偏移。当最优变形偏移包括前视点图的变形视频图和变形深度图各自的最优变形偏移时，则在解码端进行解码时，可以得到前视点图的变形视频图和变形深度图各自的最优变形偏移。
实施例六
图6示出了本发明另一实施例提供的多视点视频的解码方法的实现流程，详述如下：
在步骤S601中，解码当前解码单元的码流，得到模式指示符号，例如WarpSkip-Mode。
在本发明实施例中，在编码端对多视点视频进行编码时，已经将各个编码单元的模式指示符号编码进码流了，因此通过解码当前视点图的码流，即可解码得到各个编码单元的此模式指示符号编码。
在步骤S602中，根据模式指示符号判断是采用变形视点图作为当前视点图的预测信号对当前解码单元进行预测解码，还是采用其他预测信号对当前视点图的解码单元进行预测解码。举例说明如下：
如果该模式指示符号WarpSkip-Mode＝1的话，将变形视点图作为当前视点图的解码单元的预测信号对当前解码视点图进行预测解码。解码端不再需要该解码单元的解码残差等其他信息。如果该模式指示符号WarpSkip-Mode＝0的话，当前解码单元采用其他的预测解码模式对当前解码视点图的解码单元进行预测解码。
实施例七：
图7示出了本发明另一实施例提供的多视点视频的解码方法的实现流程，其中步骤S701、S702与图5中的步骤S501、S502相同，不同之处在于，其还包括以下步骤：
在步骤S703中，利用视差信息和前视点图计算前视点图的变形视点图。
在步骤S704中，获取当前解码视点图的占用掩码图，该占用掩码图用于描述前视点图的像素是否可以被变形到当前解码视点图中。
在步骤S705中，根据占用掩码图得到当前解码视点图的每一个解码单元的掩码标识。
在步骤S706中，根据当前解码视点图的每一个解码单元的掩码标识计算当前解码单元的占有率p(CU)。其计算公式可以如下：
p(CU)＝(∑CUPi)/size(CU)
其中Pi为当前编码单元每一个像素的掩码标识，其值为0或者1。size(CU)是该编码单元内的所有像素的个数。
在步骤S707中，判断当前解码单元的占有率p(CU)是否大于预设的阈值，如果是，执行步骤S708，否则执行步骤S709。
在步骤S708中，将变形视点图作为当前解码单元的预测信号对当前解码视点图进行预测解码。
在步骤S709中，解码当前解码单元的模式指示符号，根据模式指示符号判断是采用变形视点图的预测模式和当前解码视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码。
举例说明如下：如果模式指示符号为1，采用变形视点图的预测模式对当前解码单元进行预测解码；如果模式指示符号为0，采用其他预测解码模式对当前解码单元进行解码。
在解码过程中占用掩码图可以是整体计算得到，也可以是解码每一个解码单元时计算得到占用掩码图。
在解码过程中变形视点图可以是整体计算得到，也可以是解码每一个解码单元时计算得到变形视点图。
实施例八
图8示出了本发明实施例提供的多视点视频的编码装置，为了便于说明，仅示出了与本发明实施例相关的部分。该多视点视频的编码装置可以用于编码器，可以是运行于编码器内的软件单元、硬件单元或者软硬件相结合的单元，也可以作为独立的挂件集成到编码器中或者运行于编码器的应用系统中，其中：
最优变形偏移获取单元81最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移。
其中视点图包括视频图和深度图。变形视点图包括变形视频图和变形深度图。其中当前编码视点图和前视点图的变形视点图的误差包括但不限于绝对差和(Sum of Absolute Difference，SAD)、均方差(Mean Square Error，MSE)和误差项平方和(Sum of Squares for Error，SSE)等。。
其中最优变形偏移获取单元81最小化当前编码视点图和前视点图的变形视点图的误差的方式有多种。如可以通过以下方式：设置一偏移预设范围，根据该偏移预设范围内的所有值分别作为变形偏移来修正前视点图和当前编码视点图之间的视差信息，利用该视差信息得到前视点图的变形视点图，计算当前编码视点图和前视点图的变形视点图的误差，从该偏移预设范围中选择一个使当前编码视点图和前视点图的变形视点图的误差最小的值，将该值确定为最优变形偏移。其中偏移预设范围内的所有值包括整数值或者小数值，其中小数值为保留小数点后一位的小数值。
第一视差信息计算单元82根据最优变形偏移、视点的摄像机参数以及前视点图的深度图信息获取前视点图和当前编码视点图之间的视差信息。
在本发明实施例中，可以采用如下公式计算前视点图和当前编码视点图之间的每个像素位置的视差信息：
disp(p)＝(f/z)*(Xadd-Xbase)+offseti*(d/dmax)*α
第一变形视点图计算单元83根据视差信息和前视点图计算前视点图的变形视点图。
第一编码预测单元84将第一变形视点图计算单元83计算得到的变形视点图作为预测信号对当前编码视点图进行预测。
在本发明优选实施例中，该最优变形偏移获取单元81包括：
初始设置模块811设定变形偏移值offseti。
视差计算模块812根据变形偏移值offseti、视点的摄像机参数以及前视点图的深度图信息计算前视点图和当前编码视点图之间的视差信息。
变形视点图计算模块813根据视差信息和前视点图计算前视点图的变形视点图。
误差计算模块814计算变形视点图和当前编码视点图的原始图的误差。
误差判断模块815判断变形视点图和当前编码视点图的原始图的误差是否小于目前最小的误差值。其中最小误差值在开始阶段设置为极大值。
偏移值更改模块816在误差判断模块815判定变形视点图和当前编码视点图的原始图的误差小于目前最小的误差值时，设置offsetopt＝offseti，MSE(offsetopt)＝MSE(offseti，并在预设的偏移预设范围内更改变形偏移值offseti，否则直接在预设的偏移预设范围内更改变形偏移值offseti。偏移值更改模块816再触发视差计算模块812利用更改后的变形偏移值offseti、视点的摄像机参数以及前视点图深度图信息重新计算前视点图和当前编码视点图之间的视差信息。上述模块之间循环交互，直到偏移预设范围内的所有值均遍历完毕。
在本发明优选实施例中，该多视点视频的编码装置还包括第一模式预测单元85、第二模式预测单元86、模式选择单元87。其中：
第一模式预测单元85根据视差信息和前视点图计算前视点图的变形视点图，并将该变形视点图作为预测信号对当前编码视点图进行预测编码，得到第一预测结果。
第二模式预测单元86采用当前编码视点图的其他预测编码模式对当前编码视点图进行预测编码，得到第二预测结果。
模式选择单元87根据第一预测结果和第二预测结果采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码，并将模式指示符号写进码流中。其中最优决策包括但不限于率失真决策。模式指示符号用于标识采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式。变形视点图的预测模式是指将该变形视点图作为预测信号对当前编码视点图进行预测编码的模式。
在本发明优选实施例中，该装置还包括第一占用掩码图获取单元88、第一掩码标识获取单元89、第一占有率计算单元901和第二编码预测单元902。其中：
第一占用掩码图获取单元88获取当前编码视点图的占用掩码图，该占用掩码图用于描述前视点图的像素是否可以被变形到当前编码视点图中。
第一掩码标识获取单元89根据占用掩码图得到当前编码视点图的每一个编码单元的掩码标识。
第一占有率计算单元901根据当前编码视点图的每一个编码单元的掩码标识计算当前编码单元的占有率p(CU)。其计算公式可以如下：
p(CU)＝(∑CUPi)/size(CU)
第二编码预测单元902判断当前编码单元的占有率是否大于预设的阈值，如果是，则将变形视点图作为当前编码单元的预测信号对当前视点图进行预测编码，如果否，则采用最优决策从变形视点图的预测模式和当前视点图的传统编码预测模式中选择一种最好的模式对当前编码单元进行预测编码。
实施例九
图9示出了本发明实施例提供的多视点视频的解码装置，为了便于说明，仅示出了与本发明实施例相关的部分。
该多视点视频编码的解码装置可以用于解码器，可以是运行于解码器内的软件单元、硬件单元或者软硬件相结合的单元，也可以作为独立的挂件集成到解码器中或者运行于解码器的应用系统中，其中：
码流解析单元91解析当前视点图的码流，得到最优变形偏移。
在本发明实施例中，由于编码端在编码时，将最优变形偏移值offseti编码进了码流中，因此，在解码当前视点图的码流时，可以同时解码出该最优变形偏移。
第二视差信息计算单元92根据最优变形偏移、视点的摄像机参数以及前视点图的深度图信息计算前视点图和当前解码视点图之间的视差信息。其中前视点图可以指当前解码视点图空间域上的前解码视点图。其具体过程如下：
disp(p)＝(f/z)*(Xadd-Xbase)+offseti*(d/dmax)*α
第二变形视点图计算单元93根据得到的视差信息和前视点图计算前视点图的变形视点图。其具体过程如下：根据视差信息对前视点图的像素进行移位得到前视点图的变形视点图。
第一解码预测单元94将计算得到的变形视点图作为重构当前解码视点图的参考图。解码端通过解码得到的其它信息和参考图共同构建重建图，从而实现对当前解码视点的解码重构。
在本发明优选实施例中，该多视点视频的解码装置还包括模式指示符号解码单元95和第二解码预测单元96。
该模式指示符号解码单元95在解码当前解码单元时，解码得到模式指示符号。
第二解码预测单元96根据模式指示符号判断是采用变形视点图作为当前视点图的预测信号对当前解码单元进行预测解码，还是采用其他预测信号对当前视点图的解码单元进行预测解码。
在本发明的优选实施例中，该多视点视频的解码装置还包括第二占用掩码图获取单元97、第二掩码标识获取单元98、第二占有率获取单元99和第三解码预测单元100。其中：
第二占用掩码图获取单元97获取当前解码视点图的占用掩码图，其中占用掩码图用于描述前视点图的像素是否可以被变形到当前解码视点图中。
第二掩码标识获取单元98根据占用掩码图得到当前解码视点图的每一个解码单元的掩码标识。
第二占有率计算单元99根据当前解码视点图的每一个解码单元的掩码标识计算当前解码单元的占有率；
第三解码预测单元100判断当前解码单元的占有率是否大于预设的阈值，如果是，将变形视点图作为当前解码单元的预测信号对当前视点图进行预测解码，否则解码当前解码单元的模式指示符号，根据所述模式指示符号来判断是采用变形视点图的预测模式对当前解码单元进行解码还是采用当前解码视点图的其他预测模式对当前解码单元进行预测解码。
在本发明的整个文件中的图代表一种解码单位，可以是一帧(frame)，也可以是条带(slice)等其它单位。在解码过程中变形视点图可以是整体计算得到也可以是解码每一个解码单元时计算得到变形视点图对应的当前解码单元参考。
值得注意的是，上述多视点视频的视点重构装置和多视点视频的视点重构装置所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
本发明实施例的视频解码端可以是处理器(比如中央处理器CPU)或专用集成电路(ASIC)等。本发明实施例的视频解码端具体可以是计算机、手机、机顶盒、电视机以及其他各种电子设备等。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
在本发明实施例中，通过最小化当前编码视点图和前视点图的变形视点图的误差，得到最优变形偏移，采用该最优变形偏移修正视差信息，从而可以提高变形视点图的精度，进而减少编码其他视点残差的码率，改善3DV编码方法的编码质量和编码压缩性能。通过将最优变形偏移编码进码流中，从而解码端可以根据码流中的最优变形偏移计算得到视差信息，依据该视差信息得到前视点图的变形视点图，该前视点图的变形视点图可以作为重构当前视点图的参考图，使得解码端可以解码并重建各视点。通过根据当前编码单元的占有率p(CU)，直接采用变形视点图作为当前编码单元的预测信号对当前视点图进行预测，或者将变形视点图和当前视点图的传统参考图共同作为预测信号对当前视点图进行预测，从而可以提高编码预测精度，得到更好的率失真性能。在解码端，通过解码码流中的最优变形偏移，依据该最优变形偏移得到视差信息，依据视差信息得到前视点图的变形视点图，将该变形视点图作为重构当前解码视点图的参考图，从而可以实现对当前解码视点的解码重构。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (28)

1.一种多视点视频的编码方法，其特征在于，所述方法包括：
最小化当前编码视点图和前视点图的变形视点图之间的误差，获得最优变形偏移；
根据所述最优变形偏移、视点的摄像机参数以及所述前视点图的深度图信息，获取所述前视点图和所述当前编码视点图之间的视差信息；
根据所述视差信息和所述前视点图确定所述前视点图的变形视点图，并将所述变形视点图作为预测信号对所述当前编码视点图进行预测编码。
2.如权利要求1所述的多视点视频的编码方法，其特征在于，所述当前编码视点图和前视点图的变形视点图的误差包括：
绝对差和SAD、或均方差MSE、或误差项平方和SSE。
3.如权利要求1所述的多视点视频的编码方法，其特征在于，所述最优变形偏移为所述前视点图的变形视频图和变形深度图共同的最优变形偏移，或者所述最优变形偏移包括前视点图的变形视频图和变形深度图各自的最优变形偏移。
4.如权利要求1所述的多视点视频的编码方法，其特征在于，所述最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移包括：
设置一偏移预设范围，根据所述偏移预设范围内的所有值分别作为变形偏移来修正前视点图和当前编码视点图之间的视差信息，利用所述视差信息得到所述前视点图的变形视点图，计算当前编码视点图和前视点图的变形视点图的误差，从所述偏移预设范围中选择一个使当前编码视点图和前视点图的变形视点图的误差最小的值，将该值确定为最优变形偏移，所述偏移预设范围内的所有值包括整数值或者小数值，所述小数值为保留小数点后一位的小数值。
5.如权利要求1所述的多视点视频的编码方法，其特征在于，所述最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移包括：
a、设定变形偏移值offseti；
b、根据变形偏移值offseti、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前编码视点图之间的视差信息；
c、根据视差信息和前视点图确定前视点图的变形视点图；
d、计算变形视点图和当前编码视点图的原始图的误差；
e、判断变形视点图和当前编码视点图的原始图的误差是否小于目前最小的误差值，如果是，执行步骤f，否则执行步骤g；
f、设置offsetopt＝offseti，MSE(offsetopt)＝MSE(offseti)；
g、在预设的偏移预设范围内更改变形偏移值offseti，并返回所述步骤b，直到所述偏移预设范围内的所有值均遍历完毕，循环结束。
6.如权利要求1所述的方法，其特征在于，所述根据所述最优变形偏移、视点的摄像机参数以及所述前视点图的深度图信息，获取所述前视点图和所述当前编码视点图之间的视差信息包括：
根据所述视点的摄像机参数以及前视点图的深度图信息计算得到初始视差信号；
根据所述最优变形偏移以及所述前视点图的深度图信息得到偏移修正信号；
根据所述初始视差信号和所述偏移修正信号得到所述前视点图和所述当前编码视点图之间的视差信息。
7.如权利要求1或6所述的方法，其特征在于，采用下述公式获取前视点图和当前编码视点图之间的视差信息：
disp(p)＝(f/z)*(Xadd-Xbase)+offseti*(d/dmax)*α
其中f为当前视点图的摄像机焦距，z为物体距离视点的距离，Xadd为3D空间内当前视点图在视点直线上的位置，Xbase为3D空间内前视点图在视点直线上的位置，d为当前像素的深度值，dmax为当前视点图深度的最大深度值，α为像素精度。
8.如权利要求1所述的多视点视频的编码方法，其特征在于，在所述最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移之后，所述方法还包括：
将最优变形偏移写进码流中。
9.如权利要求1所述的多视点视频的编码方法，其特征在于，在根据所述最优变形偏移、视点的摄像机参数以及所述前视点图的深度图信息，获取所述前视点图和所述当前编码视点图之间的视差信息之后，还包括：
根据视差信息和前视点图计算前视点图的变形视点图，并将该变形视点图作为预测信号对当前编码视点图进行预测编码，得到第一预测结果；
采用当前编码视点图的其他预测编码模式对当前编码视点图进行预测编码，得到第二预测结果；
根据第一预测结果和第二预测结果采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码，并将模式指示符号写进码流中，所述模式指示符号用于标识采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式。
10.如权利要求1所述的多视点视频的编码方法，其特征在于，所述利用视差信息和前视点图计算前视点图的变形视点图，并将所述变形视点图作为预测信号对当前编码视点图进行预测包括：
利用视差信息和前视点图计算前视点图的变形视点图；
获取当前编码视点图的占用掩码图，所述占用掩码图用于描述所述前视点图的像素是否可以被变形到当前编码视点图中；
根据所述占用掩码图得到所述当前编码视点图的每一个编码单元的掩码标识；
根据所述当前编码视点图的每一个编码单元的掩码标识计算当前编码单元的占有率；
判断当前编码单元的占有率是否大于预设的阈值，如果是，则将所述变形视点图作为所述当前编码单元的预测信号对所述当前编码视点图进行预测编码，如果否，则采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码。
11.如权利要求10所述的多视点视频的编码方法，其特征在于，当当前编码单元的占有率小于或者等于预设的阈值时，所述方法还包括：
采用模式指示符号来标识采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式，并将所述模式指示符号写进码流中。
12.如权利要求9至11任一项所述的多视点视频的编码方法，其特征在于，所述最优决策为率失真决策。
13.如权利要求10所述的多视点视频的编码方法，其特征在于，采用下述公式计算当前编码单元的占有率p(CU)：
p(CU)＝(∑cuPi)/size(CU)
其中Pi为当前编码单元每一个像素的掩码标识，size(CU)是该编码单元内的所有像素的个数。
14.一种多视点视频的解码方法，其特征在于，所述方法包括：
解析当前视点图的码流，得到最优变形偏移；
根据所述最优变形偏移、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前解码视点图之间的视差信息；
根据所述视差信息和前视点图计算所述前视点图的变形视点图；
将所述变形视点图作为重构所述当前解码视点图的参考图。
15.如权利要求14所述的多视点视频的解码方法，其特征在于，所述最优变形偏移为前视点图的变形视频图和变形深度图共同的最优变形偏移，或者所述最优变形偏移包括前视点图的变形视频图和变形深度图各自的最优变形偏移。
16.如权利要求14所述的多视点视频的解码方法，其特征在于，所述根据所述最优变形偏移、视点的摄像机参数以及所述前视点图的深度图信息，获取所述前视点图和所述当前编码视点图之间的视差信息包括：
根据所述视点的摄像机参数以及前视点图的深度图信息计算得到初始视差信号；
根据所述最优变形偏移以及所述前视点图的深度图信息得到偏移修正信号；
根据所述初始视差信号和所述偏移修正信号得到所述前视点图和所述当前编码视点图之间的视差信息。
17.如权利要求14所述的多视点视频的解码方法，其特征在于，在所述根据最优变形偏移、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前解码视点图之间的视差信息时，采用下述公式计算前视点图和当前编码视点图之间的视差信息：
disp(p)＝(f/z)*(Xadd-Xbase)+offseti*(d/dmax)*α
其中f为当前视点图的摄像机焦距，z为物体距离视点的距离，Xadd为3D空间内当前视点图在视点直线上的位置，Xbase为3D空间内前视点图在视点直线上的位置，d为当前像素的深度值，dmax为当前视点图深度的最大深度值，α为像素精度。
18.如权利要求14所述的多视点视频的解码方法，其特征在于，所述利用视差信息和前视点图计算前视点图的变形视点图，并将所述变形视点图作为预测信号对当前解码视点图进行预测包括：
在解码当前解码单元的码流时，解码得到模式指示符号，根据所述模式指示符号判断是采用变形视点图作为当前视点图的预测信号对当前解码单元进行预测解码，还是采用其他预测信号对当前视点图的解码单元进行预测解码。
19.如权利要求14所述的多视点视频的解码方法，其特征在于，所述利用视差信息和前视点图计算前视点图的变形视点图，并将所述变形视点图作为预测信号对当前解码视点图进行预测包括：
利用视差信息和前视点图计算前视点图的变形视点图；
获取当前解码视点图的占用掩码图，所述占用掩码图用于描述前视点图的像素是否可以被变形到当前解码视点图中；
根据所述占用掩码图得到所述当前解码视点图的每一个解码单元的掩码标识；
根据所述当前解码视点图的每一个解码单元的掩码标识计算当前解码单元的占有率；
判断当前解码单元的占有率是否大于预设的阈值，如果是，将变形视点图作为当前解码单元的预测信号对当前解码视点图进行预测解码，否则解码当前解码单元的模式指示符号，根据模式指示符号判断是采用变形视点图的预测模式和当前解码视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码。
20.一种多视点视频的编码装置，其特征在于，所述装置包括：
最优变形偏移获取单元，用于最小化当前编码视点图和前视点图的变形视点图的误差，获得最优变形偏移；
第一视差信息计算单元，用于根据所述最优变形偏移、视点的摄像机参数以及前视点图的深度图信息获取所述前视点图和当前编码视点图之间的视差信息；
第一变形视点图计算单元，用于根据所述视差信息和前视点图确定所述前视点图的变形视点图；
第一编码预测单元，用于将所述变形视点图作为预测信号对所述当前编码视点图进行预测编码。
21.如权利要求20所述的多视点视频的编码装置，其特征在于，所述最优变形偏移获取单元包括：
初始设置模块，用于设定变形偏移值offseti；
视差计算模块，用于根据所述变形偏移值offseti、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前编码视点图之间的视差信息；
变形视点图计算模块，用于根据所述视差信息和所述前视点图确定所述前视点图的变形视点图；
误差计算模块，用于计算变形视点图和当前编码视点图的原始图的误差；
误差判断模块，用于判断变形视点图和当前编码视点图的原始图的误差是否小于目前最小的误差值；
偏移值更改模块，用于在所述误差判断模块判定变形视点图和当前编码视点图的原始图的误差小于目前最小的误差值时，设置offsetopt＝offset，MSE(offsetopt)＝MSE(offseti)，并在预设的偏移预设范围内更改变形偏移值offseti，否则在预设的偏移预设范围内更改变形偏移值offseti。
22.如权利要求20所述的多视点视频的编码装置，其特征在于，所述装置还包括：
第一模式预测单元，用于根据视差信息和前视点图计算前视点图的变形视点图，并将该变形视点图作为预测信号对当前编码视点图进行预测编码，得到第一预测结果；
第二模式预测单元，用于采用当前编码视点图的其他预测编码模式对当前编码视点图进行预测编码，得到第二预测结果；
模式选择单元，用于根据第一预测结果和第二预测结果采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择一种最好的模式对当前编码单元进行预测编码，并将模式指示符号写进码流中，所述模式指示符号用于标识采用最优决策从变形视点图的预测模式和当前视点图的其他预测模式中选择出的最好的模式。
23.如权利要求20所述的多视点视频的编码装置，其特征在于，所述装置还包括：
第一占用掩码图获取单元，用于获取当前编码视点图的占用掩码图，所述占用掩码图用于描述前视点图的像素是否可以被变形到当前编码视点图中；
第一掩码标识获取单元，用于根据所述占用掩码图得到所述当前编码视点图的每一个编码单元的掩码标识；
第一占有率计算单元，用于根据当前编码视点图的每一个编码单元的掩码标识计算当前编码单元的占有率；
第二编码预测单元，用于判断当前编码单元的占有率是否大于预设的阈值，如果是，则将所述变形视点图作为所述当前编码单元的预测信号对所述当前视点图进行预测编码，如果否，则采用最优决策从变形视点图的预测模式和当前视点图的其他编码预测模式中选择一种最好的模式对当前编码单元进行预测编码。
24.一种多视点视频的解码装置，其特征在于，包括：
码流解析单元，用于解析当前视点图的码流，得到最优变形偏移；
第二视差信息计算单元，用于根据所述最优变形偏移、视点的摄像机参数以及前视点图的深度图信息确定前视点图和当前解码视点图之间的视差信息；
第二变形视点图计算单元，用于根据所述视差信息和前视点图计算所述前视点图的变形视点图；
第一解码预测单元，用于将所述变形视点图作为重构所述当前解码视点图的参考图。
25.如权利要求24所述的多视点视频的解码装置，其特征在于，还包括：
模式指示符号解码单元，用于在解码当前解码单元时，解码得到模式指示符号；
第二解码预测单元，用于根据所述模式指示符号判断是采用变形视点图作为当前视点图的预测信号对当前解码单元进行预测解码，还是采用其他预测信号对当前视点图的解码单元进行预测解码。
26.如权利要求24所述的多视点视频的解码装置，其特征在于，还包括：
第二掩码标识获取单元，用于获取当前解码视点图的占用掩码图，所述占用掩码图用于描述前视点图的像素是否可以被变形到当前解码视点图中；
第二掩码标识获取单元，用于根据所述占用掩码图得到所述当前解码视点图的每一个解码单元的掩码标识；
第二占有率计算单元，用于根据所述当前解码视点图的每一个解码单元的掩码标识计算当前解码单元的占有率；
第三解码预测单元用于判断当前解码单元的占有率是否大于预设的阈值，如果是，将变形视点图作为当前解码单元的预测信号对当前视点图进行预测解码，否则解码当前解码单元的模式指示符号，根据所述模式指示符号来判断是采用变形视点图的预测模式对当前解码单元进行解码还是采用当前解码视点图的其他预测模式对当前解码单元进行预测解码。
27.一种编码器，其特征在于，所述编码器包括权利要求20至23任一项所述的多视点视频的编码装置。
28.一种解码器，其特征在于，所述解码器包括权利要求24至26任一项所述的多视点视频的解码装置。
CN201110376564.1A 2011-11-23 2011-11-23 多视点视频的编码、解码方法、装置和编解码器 Active CN103139569B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201110376564.1A CN103139569B (zh) 2011-11-23 2011-11-23 多视点视频的编码、解码方法、装置和编解码器
PCT/CN2012/079503 WO2013075515A1 (zh) 2011-11-23 2012-08-01 多视点视频的编码、解码方法、装置和编解码器
EP12852136.6A EP2773115B1 (en) 2011-11-23 2012-08-01 Coding and decoding method, device, encoder, and decoder for multi-view video
US14/285,962 US9467676B2 (en) 2011-11-23 2014-05-23 Multi-view video coding and decoding methods and apparatuses, coder, and decoder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110376564.1A CN103139569B (zh) 2011-11-23 2011-11-23 多视点视频的编码、解码方法、装置和编解码器

Publications (2)

Publication Number Publication Date
CN103139569A true CN103139569A (zh) 2013-06-05
CN103139569B CN103139569B (zh) 2016-08-10

Family

ID=48469082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110376564.1A Active CN103139569B (zh) 2011-11-23 2011-11-23 多视点视频的编码、解码方法、装置和编解码器

Country Status (4)

Country Link
US (1) US9467676B2 (zh)
EP (1) EP2773115B1 (zh)
CN (1) CN103139569B (zh)
WO (1) WO2013075515A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104768019A (zh) * 2015-04-01 2015-07-08 北京工业大学 一种面向多纹理多深度视频的相邻视差矢量获取方法
CN107071385A (zh) * 2017-04-18 2017-08-18 杭州派尼澳电子科技有限公司 一种基于h265引入视差补偿的立体视频编码方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020196680A1 (ja) * 2019-03-25 2020-10-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101056398A (zh) * 2006-03-29 2007-10-17 清华大学 一种多视编码过程中获取视差矢量的方法及编解码方法
CN101483770A (zh) * 2008-01-08 2009-07-15 华为技术有限公司 一种编解码方法及装置
CN101917619A (zh) * 2010-08-20 2010-12-15 浙江大学 一种多视点视频编码快速运动估计方法
US20110211634A1 (en) * 2010-02-22 2011-09-01 Richard Edwin Goedeken Method and apparatus for offset metadata insertion in multi-view coded view

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2329653B1 (en) * 2008-08-20 2014-10-29 Thomson Licensing Refined depth map

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101056398A (zh) * 2006-03-29 2007-10-17 清华大学 一种多视编码过程中获取视差矢量的方法及编解码方法
CN101483770A (zh) * 2008-01-08 2009-07-15 华为技术有限公司 一种编解码方法及装置
US20110211634A1 (en) * 2010-02-22 2011-09-01 Richard Edwin Goedeken Method and apparatus for offset metadata insertion in multi-view coded view
CN101917619A (zh) * 2010-08-20 2010-12-15 浙江大学 一种多视点视频编码快速运动估计方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104768019A (zh) * 2015-04-01 2015-07-08 北京工业大学 一种面向多纹理多深度视频的相邻视差矢量获取方法
CN104768019B (zh) * 2015-04-01 2017-08-11 北京工业大学 一种面向多纹理多深度视频的相邻视差矢量获取方法
CN107071385A (zh) * 2017-04-18 2017-08-18 杭州派尼澳电子科技有限公司 一种基于h265引入视差补偿的立体视频编码方法
CN107071385B (zh) * 2017-04-18 2019-01-25 杭州派尼澳电子科技有限公司 一种基于h265引入视差补偿的立体视频编码方法

Also Published As

Publication number Publication date
US9467676B2 (en) 2016-10-11
EP2773115A4 (en) 2014-09-17
EP2773115B1 (en) 2021-03-31
US20140254690A1 (en) 2014-09-11
EP2773115A1 (en) 2014-09-03
CN103139569B (zh) 2016-08-10
WO2013075515A1 (zh) 2013-05-30

Similar Documents

Publication Publication Date Title
CN101536529B (zh) 图像编码方法和解码方法、其装置
US9225967B2 (en) Multi-view image processing apparatus, method and computer-readable medium
US20110317766A1 (en) Apparatus and method of depth coding using prediction mode
RU2009109204A (ru) Способ кодирования и способ декодирования изображений, устройства для них, программа для них и носитель информации для хранения программ
CN104661031A (zh) 用于视频图像编码和解码的方法、编码设备和解码设备
CN104412597A (zh) 用于3d视频编码的统一视差矢量推导的方法及装置
CN104471941A (zh) 3d视频编码中的视图间子分割预测的方法和装置
CN102811346B (zh) 编码模式选择方法和系统
CN106134197A (zh) 视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序
CN105075268A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
CN104871534A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
JP5986657B2 (ja) 簡易化した深度ベースのブロック分割の方法
CN103370938A (zh) 多视点图像编码方法、多视点图像译码方法、多视点图像编码装置、多视点图像译码装置及它们的程序
US20110280491A1 (en) Apparatus and method of encoding 3d image
CN103098475A (zh) 图像编码方法和装置、图像解码方法和装置以及它们的程序
CN103139569A (zh) 多视点视频的编码、解码方法、装置和编解码器
WO2014168121A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
CN103716641A (zh) 预测图像生成方法和装置
US20140184739A1 (en) Foreground extraction method for stereo video
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
KR102403817B1 (ko) 화면 내 블록 카피를 이용한 다시점 영상에서의 블록 벡터 예측 기법 및 디코더
CN103997635B (zh) 自由视点视频的合成视点失真预测方法及编码方法
CN104350748B (zh) 使用低分辨率深度图的视图合成
WO2020024792A1 (zh) 图像深度值获取方法、装置、设备、编解码器及存储介质
CN103533361A (zh) 多视点视差矢量的确定方法、编码设备及解码设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant