CN101483770B - 一种编解码方法及装置 - Google Patents

Abstract

一种编解码方法及装置，其主要包括：首先，根据各个视采用的摄像机对应的摄像机参数信息，计算各个视对应的映射矩阵，所述映射矩阵为各个视的图像中的各点的二维坐标与三维坐标之间映射转换系数；之后，利用当前视对应的映射矩阵、当前视下的物体的二维坐标及物体的深度信息获得物体的三维坐标，并根据该三维坐标及其他视对应的映射矩阵计算确定其他视下的物体的二维坐标；最后，计算相应的视差矢量或残差值，并利用该视差矢量或残差值进行编码操作。本发明实施例的实现使得不同视之间的视差矢量估计更为准确，残差值更小，从而可以有效提高针对多视图像编码的效果，简化图象编码过程。

Description

一种编解码方法及装置 

技术领域

本发明涉及图像编解码技术领域。 

背景技术

在多视图像编码技术领域中，业界一直希望能够有效地利用不同视图像之间的相关性对图像进行编码。为此，提出了视差(Disparity)的概念，所述的视差是指同一个空间点在不同图象平面上的两个投影点之间的位移。 

为获得准确的视差则需要进行相应的视差估值操作，所述的视差估值(Disparity estimation)是在一定的准则下寻找参考帧中与当前帧对应的象素或块的视差矢量的过程，所述的视差矢量即为需要确定的视差值。 

目前，由于确定所述视差矢量的过程与传统单视视频编码中的确定运动矢量的运动估值过程类似，因此，目前ITU/MPEG组织的多视编码标准制定中，建议使用传统单视视频编码工具进行多视编码。其中，视差估值算法和传统单视视频编码中的运动估值采用的同样是基于块的搜索的方法实现。 

然而，在实现本发明过程中，发明人发现由于运动矢量是因物体和摄像机的运动导致，而视差矢量则是因摄像机位置的偏移导致，因此，视差矢量和运动矢量之间存在诸多的不同之处，使得采用运动矢量的确定方式无法确定准确的视差矢量。 

首先，如果用于获得图像的摄像机满足平行设置和校正，则视差矢量是一个标量，而运动估值获得的运动矢量是二维的矢量；而且，对于单视的运动序列，运动矢量域具有时域的相关性，而视差矢量的预测值则与时域无关；因而，由于运动矢量与视差矢量的不同，若采用运动矢量的确定方式确 定视差矢量将无法获得满意的视差矢量值。 

而且，通常视差矢量的动态范围比较大，以大小为640x480像素的图像为例，在立体对中，水平位移在30-50个象素的情况可能会经常出现，有时甚至可达100个象素以上，而运动矢量则不会有如此大的动态范围；因此，由于视差矢量的动态范围比较大，若采用传统单视视频编码中的运动估值方法，则需要将搜索范围设得非常大，而且，无法保证会获得很好的效果。 

发明内容

本发明的目的是提供一种多视编码过程中获取视差矢量的方法及编解码方法，从而可以令不同视之间的视差矢量估计更加精确，以有效提高多视编码的性能。 

一种获取视差矢量的方法，包括： 

获取视图像中物体的二维坐标及物体的深度信息； 

将已获取物体的二维坐标及物体的深度信息的视图像确定为第一视； 

根据获取的物体的二维坐标及物体的深度信息确定第一视和第二视的视差矢量； 

其中，所述根据获取的物体的二维坐标及物体的深度信息确定第一视和第二视的视差矢量包括： 

先找出第一视图像中一点的坐标点(x1，y1)，得到该点所对应的深度信息值d1； 

获取第二视图像中坐标点(x1，y1)周围M×M个点的深度信息值； 

在所述M×M个点的深度信息值中寻找与所述深度信息值d1最接近的深度信息值d2，将所述最接近的深度信息值d2对应的坐标点作为与坐标点(x1，y1)对应的点； 

根据在两个视图像中取出的对应点计算出视差矢量。 

进一步的，所述视图像为多视图像中的任意一视。 

一种获取视差矢量的方法，包括： 

获取视图像中物体的二维坐标及物体的深度信息； 

将已获取物体的二维坐标及物体的深度信息的视图像确定为第一视； 

根据获取的物体的二维坐标及物体的深度信息确定第一视和第二视的视差矢量； 

其中，所述根据获取的物体的二维坐标及物体的深度信息确定第一视和第二视的视差矢量包括： 

先找出第一视图像中一个图像块左上角坐标点(x1，y1)，得到该点所对应的深度信息值d1； 

获取第二个视图像中图像块左上角坐标点为(x1，y1)的图像块及该图像块周围M×M个图像块的深度信息值； 

在所述M×M个图像块的深度信息值中寻找与所述深度信息值d1最接近的深度信息值d2，将所述最接近的深度信息值d2所对应的图像块作为与左上角坐标点为(x1，y1)的图像块对应的图像块； 

根据在两个视图像中取出的对应图像块位置计算出视差矢量。 

进一步的，所述视图像为多视图像中的任意一视。 

由上述本发明实施例提供的技术方案可以看出，本发明实施例中由于考虑了被摄物体的深度信息，并基于各个摄像机对应的摄像机参数确定编码过程中应用的视差矢量或残差值，使得不同视之间的视差矢量或残差值估计更为准确，从而可以有效提高针对多视图像编码的效果，简化图象编码过程。 

附图说明

图1为本发明实施例提供的视差矢量获取过程示意图； 

图2为本发明实施例的应用环境示意图； 

图3为本发明实施例提供的编解码处理过程示意图一； 

图4为本发明实施例提供的编解码处理过程示意图二； 

图5为本发明实施例提供的获取视差矢量的装置的结构示意图； 

图6为本发明实施例提供的编解码装置的结构示意图。 

具体实施方式

本发明实施例提供编码过程中获取视差矢量的实现方案中，考虑到在摄像机的位置固定情况下，视差矢量主要是由物体的深度信息(空间物体和摄像机之间的距离)和摄像机参数确定，于是便采用充分利用物体的深度信息和各摄像机参数确定相应的视差矢量的实现方案，以达到精确计算各个视之间视差矢量的目的，进而可以使得计算确定的视差矢量能够作为多视编码过程中的较佳的编码参数。 

也就是说，本发明实施例是在已知多视图像编码过程中的物体的深度信息后，根据所述的深度信息，以及已知的各个摄像机的摄像机参数信息，计算获得当前视与其他各个视之间的视差矢量。 

本发明实施例中，物体的深度信息是指能够提供或者能够推导出空间物体和摄像机之间距离的信息；例如，可以采用8位的深度图来表示物体的深度信息，具体可以为：通过均匀量化的方式将空间物体和摄像机之间距离转换成为0-255之间的整数，并用8位二进制数表示，每个视对应一张深度图；而且，相应的深度信息，可以是原始的深度信息，也可以是编码重建之后的深度信息。该物体的深度信息可以由实际测量获得，也可以通过算法估算获得。 

本发明实施例中，摄像机参数则包括：外部参数(Extrinsic parameters)、内部参数(Intrinsic parameters)和光学平面参数(Sensor plane para meters)。其中，外部参数又包括旋转矩阵R、平移矩阵T，内部参数包括焦距(Focal length)和径向畸变(Radical distortion)，光学平面参数则包括纵横比(aspect ratio)和焦点(principal point)。 

导致同一时刻两视之间产生视差矢量的原因为两个摄像机参数的差异，如摄像机摆放的位置以及摄像机的内部参数等不同。在获知物体的深度信息和摄像机参数的情况下，则可以通过立体成像和投射原理计算获得当前视的某个点在其他视的映射位置，进而求出各个视之间的视差矢量，使得视差矢量的获得过程更为简便，且获得的视差矢量结果也更为准确。 

进一步讲，本发明实施例提供的获取视差矢量的具体实现过程如图1所示，具体可以包括以下步骤： 

步骤1，读取摄像机参数，并以其中一个摄像机作为参考摄像机； 

步骤2，利用摄像机参数计算求出各个视的映射矩阵； 

其中，所述的映射矩阵为各个视对应的视图像中的各点的二维坐标与三维坐标之间映射转换系数，即通过该映射矩阵可以在已知视图像中某点(被摄物体对应的点)的二维坐标及该点对应的物体在空间内的三维坐标中的一分量，可以计算获得三维坐标的其他分量，或者，通过该映射矩阵可以在已经视图像中某点对应的物体在空间内的三维坐标各分量的情况下，能够计算获得对应的该点在视图像中的二维坐标值； 

所述映射矩阵的计算采用的计算公式可以为：P＝K·[R|T]，在该计算公式中，各个摄像机参数信息分别为：K为摄像机内部参数矩阵，R为摄像机的旋转参数矩阵，T为摄像机的平移参数矩阵；相应的摄像机参数信息是通过摄像机标定计算得到。摄像机标定是在一定的摄像机模型下，基于特定的试验条件，如形状，几何尺寸已知的标定参照物，经过对其图像进行处理，并利用数学变换和计算方法，计算摄像机的内部参数和外部参数。 

步骤3，利用求出的映射矩阵，将当前视图像中的已知其深度信息的某一 点(其在当前视下的二维坐标已知)映射成为立体空间的一个点，并将该点在当前视下的二维坐标转换成空间三维坐标； 

步骤4，利用其他各视的映射矩阵，将上述点的空间三维坐标，转换成为其他视图像下的二维坐标； 

步骤5，计算确定当前视下的二维坐标和其他视下的二维坐标之间的差值，相应的差值即为视差矢量。 

本发明实施例还提供了一种获取视差矢量的方法，包括：首先，获取视图像中物体的二维坐标及物体的深度信息；之后，将已获取物体的二维坐标及物体的深度信息的视图像确定为第一视；最后，根据获取的物体的二维坐标及物体的深度信息确定第一视和第二视的视差矢量。 

根据获取的物体的二维坐标及物体的深度信息确定第一视和第二视的视差矢量的处理过程具体可以包括： 

(1)根据第一视下的物体的二维坐标及物体的深度信息获得物体的三维坐标，相应的获得物体的三维坐标的过程具体可以包括： 

利用第一映射矩阵和第一视下的物体的二维坐标及物体的深度信息获得物体的三维坐标；所述第一映射矩阵为第一视图像中各点的二维坐标与物体的三维坐标的映射转换系数矩阵； 

(2)将物体的三维坐标转换为第二视下的物体的二维坐标，该处理过程具体可以包括： 

利用第二映射矩阵和物体的三维坐标确定第二视下的物体的二维坐标；所述第二映射矩阵为第二视图像中各点的二维坐标与物体的三维坐标的映射转换系数矩阵； 

(3)根据第一视的下物体的二维坐标和第二视下的物体的二维坐标确定第一视和第二视的视差矢量。 

下面将具体举例说明上述计算视差矢量过程，具体地，根据两个视图像 深度信息和二维坐标求视差矢量的过程包括：先找出一个视图像中一点(或图像块左上角坐标点)，记为(x1，y1)，得到该点所对应的深度信息值d1。获取第二个视图像中坐标点(x1，y1)周围M×M个点的深度信息值(或获取第二个视图像中图像块左上角坐标点为(x1，y1)的图像块及该图像块周围M×M个图像块的深度信息值)，寻找与d1值最接近的深度信息值d2，将d2对应的坐标点作为与(x1，y1)对应的点，或将d2所对应的图像块作为与左上角坐标点为(x1，y1)的图像块对应的图像块。根据在两个视图像中取出的对应点或对应图像块位置计算得出视差矢量。 

需要说明的是，本发明实施例中提及的视图像可以为多视图像中的任意一视对应的图像。 

下面将对本发明实施例提供的获得视差矢量的实现方案应用于编解码过程中的具体实现方式进行详细的说明。 

编解码方式一 

(一)编码端 

在编码端，具体可以采用的编码处理过程包括： 

(1)确定多视图像编码过程中的物体的深度信息，并根据所述的深度信息，以及已知的各摄像机的摄像机参数，计算获得编码视(也称当前视)和参考视之间的视差矢量； 

(2)利用所得视差矢量指向的参考视位置作为起始中心位置，在一定范围内在参考视上做视差估计，得到一个更为精确的视差矢量值作为确定的编码视和参考视之间的视差矢量；例如，以所得的视差矢量搜索窗中心点，在预定大小的搜索窗内进行类似运动估计的搜索，便可能获得匹配误差更小的视差矢量； 

(3)根据该视差矢量对编码视进行编码，并将编码结果、确定的编码视和参考视之间的视差矢量编码后写入码流中。 

在上述编码过程中，若执行上述步骤(2)，即做进一步视差估计，则不需要向解码端传送物体的深度信息和摄像机参数信息，而采用直接将确定的编码视和参考视之间的视差矢量传给解码端即可； 

在上述编码过程中，若不做进一步视差估计，则需要将已知的物体的深度信息和摄像机参数信息传递到解码端，以便于解码端收到所述物体的深度信息和摄像机参数信息后，计算获得相应的视差矢量，进而根据获得的视差矢量做进一步的解码操作；当然，在不做进一步视差估计的情况下，在编码端也可以将编码过程中应用的视差矢量信息直接编码写入码流中，以便在解码端直接可以解析获得相应的视差矢量信息，并利用其进行解码操作。 

本发明实施例中，具体可以以方块为单位进行编码处理，此时，一整幅图像将被划分成许多方块，块的大小为MXN(M、N＝1，2，3...)；或者，也可以以物体为单位进行编码处理，此时，一整幅图像将被分割为许多物体，处理单位的形状和大小上物体的大小决定。 

(二)解码端 

在解码端，具体可以采用的解码处理过程包括： 

(1)接收码流，解析获取确定的编码视和参考视之间的视差矢量； 

具体可以通过两种方式获得相应的视差矢量：一种方式为直接解析码流获取相应的视差矢量，另一种方式为解析获得码流中的物体的深度信息和摄像机参数，以进一步计算获得相应的视差矢量； 

(2)利用确定的编码视和参考视之间的视差矢量对码流进行解码，获得编码端的编码视对应的重建值。 

编解码方式二 

(一)编码端 

在编码端，具体采用的处理过程可以包括： 

(1)确定多视图像编码过程中的物体的深度信息，并根据所述物体的深 度信息，以及已知的各个摄像机对应的摄像机参数信息，计算获得当前视和参考视之间的视差矢量； 

(2)在对当前视的当前宏块进行编码时，根据所述的视差矢量，在参考视找到对应的宏块，称为参考宏块； 

(3)将所述的参考宏块的编码信息复制到当前视的当前宏块； 

(4)进行下一步的编码，将编码结果、物体的深度信息及各个摄像机参数信息编码后写入码流中。 

(二)解码端 

在解码端，具体采用的处理过程可以包括： 

(1)接收码流，解析获取深度信息及各个摄像机的参数信息； 

(2)根据确定的深度信息及各个摄像机的参数信息计算与编码端对应的当前视和参考视之间的视差矢量，再利用所述的视差矢量在参考视找到已经解码的对应的宏块，成为参考宏块； 

(3)将所述的参考宏块的编码信息复制到当前视的当前宏块； 

(4)对码流进行下一步解码，获得编码端的编码视对应的重建值。 

在上述两种编解码方式的具体实现方案中，相应的视差矢量的计算方式均采用图1所示的计算方案，从而保证了获得的视差矢量的准确性，进而有效提高了编解码的性能。 

下面将结合附图对本发明实施例提供的其他编解码方案的具体实现进行详细说明。 

如图2所示，在该具体实施例中，B视为当前要编码的视，可以称为当前视或编码视，且A视作为B视的参考视。其中，对B视的图像编码以块为单位进行，块的大小为M×N，具体可以为：M＝16，8，4，N＝16，8，4，B视图像共有若干个块，相应的编码顺序可以为：从左到右，从上到下。 

相应的进行多视编码的实现过程如图3所示，具体可以包括： 

步骤31，得到各个摄像机的摄像机参数信息，并利用该摄像机参数信息求出各个视的映射矩阵，以用于通过该映射矩阵进行物体的空间三维坐标与对应的各个视图像下的二维坐标的转换； 

相应的映射矩阵P＝K·[R|T]；其中，K为摄像机内部参数矩阵，R为旋转参数矩阵，T为平移参数矩阵。 

步骤32，利用物体的深度信息，得出物体的三维坐标中的z分量； 

由于物体的深度信息只是物体实际深度的一个表示，并不直接是物体的实际深度，所以需要转化一下，以获得物体的实际深度；例如，如果将物体深度的最小值和最大值之间量化为256个等级，用8bit来表示，称为物体的深度信息，为此需要对物体的深度信息进行相应的反向处理，以将物理的深度信息转化为物体的实际深度，即三维坐标中的z分量。 

需要说明的是，上述步骤31和步骤32的执行顺序不分先后。 

步骤33，利用步骤31所得映射矩阵和步骤32所得的物体对应的三维坐标中的z分量的信息，求得物体的三维坐标中的x和y分量； 

具体可以根据三维投影原理求解物体的三维坐标中的x和y分量，即： 

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=P_{\mathrm{curr}}\·\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right],$ 其中，P_curr为步骤31求出的当前视的投影矩阵(即映射矩阵)，{u，v}为物体在当前视的成像平面上的坐标，{x，y，z}为物体在空间上的三维坐标。 

根据上式，在已知{u，v}，映射矩阵P和物体的实际深度z的情况下，便可以求出物体三维坐标的x和y分量，进而获得物体的三维坐标{x，y，z}。 

步骤34，利用步骤31计算确定的目标视的映射矩阵，以及步骤32、33计算获得的物体的三维坐标{x，y，z}，计算确定物体在参考视图像(即参考视的成 像平面)上的对应的二维坐标； 

在该步骤中，具体可以采用的计算方式如下： 

将物体的三维坐标{x，y，z}代入公式： $\left[\begin{array}{c}u1\\ v1\\ 1\end{array}\right]=P_{\mathrm{obj}}\·\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$ 中，式中的P_obj为步骤31求出的目标视的投影矩阵(即映射矩阵)，{u1，v1}为物体在目标视(即参考视)的成像平面上的坐标，在该式中，由于{x，y，z}和Pobj均为已知量，故可以求解获得相应的{u1，v1}值。 

步骤35，将步骤34求出的坐标{u1，v1}所指向的参考视图像中的对应像素值作为编码视的预测值； 

步骤36，将编码视的原始值减去步骤35得到的编码视的预测值，获得编码视的残差值，对残差值进行变换、编码，写入码流；对摄像机参数信息和物体深度信息进行编码并写入码流。 

基于上述编码处理过程，仍参照图3所示，对应的解码处理过程具体可以包括： 

步骤37，解析接收到的编码码流，得到编码视的残差值，以及摄像机参数信息以及物体的深度信息； 

步骤38，利用获得的摄像机参数信息求出各个视的映射矩阵，具体的计算方式在步骤31中已经描述，在此不再赘述； 

步骤39，利用物体的深度信息计算出物体的三维坐标中的z分量，即物体的实际深度； 

步骤310，利用步骤38所得映射矩阵、步骤39所得的物体的三维坐标中的z分量，以及已知的编码视对应的视图像中物体的二维坐标，求解获得物体 的三维坐标中的x和y分量； 

其中，编解码过程以块为单位，且按照由上到下，由左到右的顺序进行编解码，当解码或者编码到当前块时，当前块各个象素的坐标便为已知，故编码视对应的视图像中物体的二维坐标为已知量； 

假设，图像大小为：1024×768，以16×16大小的块为单位编解码，则整幅图像一行有64个块，一列有48个块，在解码到第70个块时，则该块第一个象素的横坐标就是u＝16＊(70-1＊64)＝96，纵坐标v＝16＊1＝16； 

步骤311，利用步骤38所得映射矩阵和步骤39、310所得物体的三维坐标{x，y，z}，得到物体在参考视图像上的对应二维坐标{u1，v1}； 

步骤312，根据物体在参考视图像上的对应二维坐标确定编码视的预测值，即将步骤311中的物体在参考视图像上的对应二维坐标所指向的参考视图像中的对应像素值作为编码视的预测值； 

步骤313，将步骤37得到的编码视的残差值加上步骤312得到的编码视的预测值，即可以得到编码视的重建值。 

为便于对本发明实施例有进一步的理解，下面将结合附图对本发明实施例提供的另一个具体实施方式进行说明。 

仍参照图2所示，在该编解码处理的具体实施方式中，B视为当前要编码的视，称为编码视。A视为B视的参考视。对B视的图像编码以块为单位进行，块的大小为M×N(如：M＝16、8、4，N＝16、8、4)，B视图像共有若干个块，编码顺序从左到右，从上到下。 

如图4所示，相应的多视编码的实现过程具体包括： 

步骤41，得到各个摄像机对应的摄像机参数信息，并利用这些摄像机参数信息求出各个视的映射矩阵； 

相应的映射矩阵的具体计算获得方式前面已经描述，故在些不再赘述； 

步骤42，利用物体的深度信息，得出物体的三维坐标中的z分量； 

步骤43，利用步骤41所得映射矩阵和步骤42所得的物体的三维坐标中的z分量，求得物体的三维坐标中的x和y分量； 

步骤44，利用步骤41所得映射矩阵和步骤42、43所得物体的空间三维坐标，得到物体在参考视图像上的对应的二维坐标； 

步骤45，将步骤44所指向的参考视图像中的对应块作为参考块，并将参考块的编码信息复制到当前视的当前块；所述编码信息包括编码模式、时间域参考帧索引值及运动矢量； 

步骤46，根据得到的编码信息，在当前视的时域参考帧上找到当前块的参考块，将该参考块对应的象素值作为当前块的预测值； 

步骤47，将编码视的原始值减去步骤46得到的编码视的预测值，得到编码视的残差值，对残差值进行变换、编码，写入码流；对摄像机参数信息和物体深度信息进行编码并写入码流。 

基于上述编码过程，仍参照图4所示，对应的解码过程具体可以包括： 

步骤48，解析接收到的编码码流，得到编码视的残差值，以及摄像机参数信息以及物体的深度信息； 

步骤49，利用摄像机参数信息求出各个视的映射矩阵，具体的获取各个视的映射矩阵的方式参照之前的描述，在此不再赘述； 

步骤410，利用物体的深度信息，计算获得物体的三维坐标中的z分量； 

步骤411，利用所述的映射矩阵、物体的三维坐标中的z分量，以及已知的编码视对应的视图像中物体对应的二维坐标，求得物体的空间三维坐标中的x和y分量； 

步骤412，利用所述映射矩阵和物体的空间三维坐标，计算获得物体在参考视图像上的对应的二维坐标； 

步骤413，将步骤412所指向的参考视图像中的已经解码的对应块作为参考块，并将参考块的编码信息复制到当前视的当前块，即在针对当前视的当 前块进行解码操作获取参考块的编码信息，所述编码信息包括编码模式、时间域参考帧索引值和运动矢量； 

步骤414，根据所述编码信息在当前视的时域参考帧上找到当前块的参考块，将该参考块对应的象素值作为当前块的预测值 

步骤415，将编码视的残差值加上步骤414得到的编码视的预测值，获得编码视的重建值。 

本发明实施例还提供了一种获取视差矢量的装置，其具体实现结构如图5所示，主要包括以下单元： 

参数获取单元，用于获取第一视和第二视的摄像机参数信息，以及第一视的下的物体的二维坐标及物体的深度信息； 

视差矢量确定单元，用于根据所述参数获取单元获取的第一视和第二视的摄像机参数信息，以及第一视的下的物体的二维坐标及物体的深度信息计算确定第一视与第二视之间的视差矢量。 

其中，该视差矢量确定单元具体可以包括： 

(1)映射矩阵获取单元 

该单元用于根据各个视采用的摄像机对应的摄像机参数信息，计算各个视对应的映射矩阵，所述映射矩阵为各个视的图像中的各点的二维坐标与三维坐标之间映射转换系数； 

在计算映射矩阵的过程中，具体可以采用的计算公式包括：P＝K·[R|T]，其中，K为摄像机内部参数矩阵，R为摄像机的旋转参数矩阵，T为摄像机的平移参数矩阵。 

(2)二维坐标计算单元 

该单元用于利用所述映射矩阵获取单元获取的当前视对应的映射矩阵、当前视下的物体的二维坐标及物体的深度信息获得物体的三维坐标，并根据该三维坐标及其他视对应的映射矩阵计算确定其他视下的物体的二维坐标， 即确定物体在其他视对应的视图像中的二维坐标； 

(3)视差矢量计算单元 

该单元用于计算所述二维坐标计算单元获得的当前视下的物体的二维坐标与其他视下的物体的二维坐标的差值作为视差矢量。 

上述获取视差矢量的装置具体可以应用于编码装置或解码装置中，以用于为编码或解码过程提供相应的视差矢量。 

本发明实施例还提供了一种编码装置，其具体实现结构如图6所示，主要包括以下单元： 

残差确定单元，用于根据获取各个视的摄像机参数信息，以及当前视的下的物体的二维坐标及物体的深度信息，计算确定当前视的残差值； 

编码操作单元，用于对当前视进行编码操作，即对所述残差计算单元计算出的残差值，以及摄像机参数信息和物体的深度信息进行编码操作并写入码流。 

其中，相应的的残差确定单元具体可以包括： 

(1)映射矩阵获取单元 

该单元用于根据各个视采用的摄像机对应的摄像机参数信息，计算各个视对应的映射矩阵，所述映射矩阵为各个视的图像中的各点的二维坐标与三维坐标之间映射转换系数； 

所述映射矩阵获取单元中具体采用的计算映射矩阵的公式可以为：P＝K·[R|T]，其中，K为摄像机内部参数矩阵，R为摄像机的旋转参数矩阵，T为摄像机的平移参数矩阵； 

(2)二维坐标计算单元 

该单元用于利用所述映射矩阵获取单元获取的当前视对应的映射矩阵、当前视下的物体的二维坐标及物体的深度信息获得物体的三维坐标，并根据该三维坐标及其他视(即参考视)对应的映射矩阵计算确定其他视下的物体 的二维坐标，即确定物体在其他视对应的视图像中的二维坐标； 

(3)残差计算单元 

该单元用于根据当前视下的物体的二维坐标对应的像素值，以及所述二维坐标计算单元计算获得的其他视下的物体的二维坐标对应的像素值，计算当前视的残差值；具体是采用当前视下的物体的二维坐标对应的像素值减去其他视下的物体的二维坐标对应的像素值获得所述残差值。 

与上述编码装置对应，本发明实施例还提供了一种解码装置，其具体实现结构仍如图6所示，主要包括以下单元： 

信息获取单元，用于从接收到的码流中获得残差值和摄像机参数信息； 

解码单元，用于根据所述信息获取单元获取的残差值及所述二维坐标计算单元计算确定的所述物体在其他视中的二维坐标对应的像素值，计算编码视的解码重建值；即将所述物体在其他视中的二维坐标对应的像素值加上所述残差值即可获得编码视的重建值； 

其中，相应的解码单元具体可以包括以下单元： 

(1)信息获取单元 

该单元用于从接收到的码流中获得残差值、摄像机参数信息及物体的深度信息； 

(2)映射矩阵获取单元 

用于根据所述信息获取单元获取的各视的摄像机参数信息计算获得各个视的映射矩阵，所述映射矩阵为各个视的图像中的各点的二维坐标与三维坐标之间映射转换系数； 

同样，相应的映射矩阵具体可以采用以下计算公式计算获得： 

P＝K·[R|T]，其中，K为摄像机内部参数矩阵，R为摄像机的旋转参数矩阵，T为摄像机的平移参数矩阵。 

(3)二维坐标计算单元 

该单元用于利用所述映射矩阵获取单元计算获得的编码视对应的映射矩阵，以及编码视下的物体的二维坐标和物体的深度信息计算获得物体的三维坐标，并利用其他视对应的映射矩阵及所述三维坐标计算物体在其他视中的二维坐标。 

综上所述，本发明实施例可以很好地利用用于获取图像的各个摄像机对应的摄像机参数信息以及物体的深度信息计算获得多视编码过程中需要的视差矢量信息，从而提高多视编解码的性能，简化多视编解码的处理过程。 

而且，本发明实施例的实现还可以根据各个摄像机对应的摄像机参数信息以及物体的深度信息计算获得多视编码过程中的残差值，并利用所述残差值进行编解码操作，以提高多视编解码的性能。 

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。 

Claims (4)

1.一种获取视差矢量的方法，其特征在于，包括：

获取视图像中物体的二维坐标及物体的深度信息；

将已获取物体的二维坐标及物体的深度信息的视图像确定为第一视；

根据获取的物体的二维坐标及物体的深度信息确定第一视和第二视的视差矢量；

其中，所述根据获取的物体的二维坐标及物体的深度信息确定第一视和第二视的视差矢量包括：

先找出第一视图像中一点的坐标点(x1，y1)，得到该点所对应的深度信息值d1；

获取第二视图像中坐标点(x1，y1)周围M×M个点的深度信息值；

在所述M×M个点的深度信息值中寻找与所述深度信息值d1最接近的深度信息值d2，将所述最接近的深度信息值d2对应的坐标点作为与坐标点(x1，y1)对应的点；

根据在两个视图像中取出的对应点计算出视差矢量。

2.根据权利要求1所述的方法，其特征在于，所述视图像为多视图像中的任意一视。

3.一种获取视差矢量的方法，其特征在于，包括：

获取视图像中物体的二维坐标及物体的深度信息；

将已获取物体的二维坐标及物体的深度信息的视图像确定为第一视；

根据获取的物体的二维坐标及物体的深度信息确定第一视和第二视的视差矢量；

其中，所述根据获取的物体的二维坐标及物体的深度信息确定第一视和第二视的视差矢量包括：

先找出第一视图像中一个图像块左上角坐标点(x1，y1)，得到该点所对应的深度信息值d1；

获取第二个视图像中图像块左上角坐标点为(x1，y1)的图像块及该图像块周围M×M个图像块的深度信息值；

在所述M×M个图像块的深度信息值中寻找与所述深度信息值d1最接近的深度信息值d2，将所述最接近的深度信息值d2所对应的图像块作为与左上角坐标点为(x1，y1)的图像块对应的图像块；

根据在两个视图像中取出的对应图像块位置计算出视差矢量。

4.根据权利要求3所述的方法，其特征在于，所述视图像为多视图像中的任意一视。

Images