CN101483765B - 一种图像处理方法、编解码方法及装置 - Google Patents

Abstract

一种图像处理方法、编解码方法及装置，其主要包括：获取至少两个视的图像和摄像机参数信息，以及物体的深度信息；根据所述至少两个视的图像、摄像机参数信息和物体的深度信息对至少一个视的图像进行更新处理。本发明实施例可以用于根据获取的图像的摄像机参数以及物体的深度信息对待更新视的图像进行更新处理，以获得编码或解码过程中期望的图像，从而减少待更新图像的编码比特数，降低待编码和待解码的计算负担。

Description

一种图像处理方法、编解码方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像编解码处理技术。

背景技术

在多视图像编解码技术领域中，经常需要利用参考图像对当前编解码图像进行编解码处理，以提高编解码性能。但是，在实现本发明过程中，发明人发现现有技术中，由于在进行视间预测时，对于参考视的图像并不进行优化处理而是直接用来作为编解码过程中的参考图像。这种实现方法对于编码一些不关键或不重要的视图像时仍需使用较多的比特数来编码，并且也会占用比较多的编码和解码资源。

另外，对于摄像机移动的情况，摄像机移动之后，首先拍摄到的几帧图像只能和摄像机移动之前拍摄的图像互相参考。但是，在实现本发明过程中，发明人发现现有技术中，由于摄像机移动前后的图像可能差别较大，因此，在摄像机移动前后的图像互为参考时，预测的效果会较差。这种情况下前后内容联系不紧密的图像仍使用原始分辨率或尺寸进行编码也会导致占用较多的比特数，影响编码效率，并且也会占用比较多的编码和解码资源。

发明内容

本发明实施例提供一种图像处理方法、编解码方法及装置，从而可以提高视频编解码的性能。

一种图像处理方法，包括：

获取至少两个视的图像和摄像机参数信息，以及物体的深度信息；

根据所述至少两个视的图像、摄像机参数信息和物体的深度信息对至少一个视的图像进行更新。

一种图像处理装置，包括：

图像获取单元，用于获取至少两个视的图像；

参数获取单元，用于获取物体的深度信息及各个视的摄像机参数信息；

更新单元，根据所述参数获取单元获取的摄像机参数信息和物体的深度信息有所述图像获取单元获取的至少两个视的图像对至少一个视的图像进行更新处理。

一种编码方法，包括：

获取编码当前视的图像的参考图像，采用上述图像处理方法对所述参考图像进行处理，获得输出图像；

在对当前视的图像进行编码过程中，采用所述输出图像作为参考图像进行编码操作。

一种编码装置，包括：

参考图像获取单元，用于获取编码当前视的图像的参考图像；

上述图像处理装置，用于对所述参考图像获取单元获取的参考图像进行处理，获得输出图像；

编码单元，用于在对当前视的图像进行编码过程中，采用所述图像处理单元提供的输出图像作为参考图像进行编码操作。

一种解码方法，包括：

获取待解码视的图像的参考图像，采用上述图像处理方法对所述参考图像进行处理，获得输出图像；

在对当前视的图像进行解码过程中，采用所述输出图像作为参考图像进行解码操作。

一种解码装置，包括：

参考图像获取单元，用于获取解码当前视的图像的参考图像；

上述图像处理装置，用于对所述参考图像获取单元获取的参考图像进行处理，获得输出图像；

解码单元，用于在对当前视的图像进行解码过程中，采用所述图像处理单元提供的输出图像作为参考图像进行解码操作。

一种实现图像上采样的方法，包括：

获取需要进行上采样处理的图像；

将该图像中的整像素位置的像素保留在输出图像中，对于该图像中的亚像素位置，则采用上述图像处理方法进行处理，获得该亚像素位置对应的像素值；

将获得的亚像素位置对应的像素值添加到输出图像中，获得经过上采样处理后的图像。

一种实现图像上采样的装置，包括：

图像获取单元，用于获取需要进行上采样处理的图像；

整像素处理单元，用于将所述图像获取单元获取的图像中的整像素位置的像素保留在输出图像中；

上述图像处理装置，用于对于所述图像获取单元获取的图像中的亚像素位置，进行处理，获得该亚像素位置对应的像素值；

采样结果生成单元，用于将所述图像处理装置获得的亚像素位置对应的像素值添加到所述整像素处理单元获得的输出图像中，获得经过上采样处理后的图像。

由上述本发明实施例提供的技术方案可以看出，本发明实施例可以用于根据获取图像的摄像机参数、物体的深度信息及至少两个视的图像对至少一个视的图像进行更新处理，以获得编码或解码过程中期望的输出图像。由于使用了深度信息和摄像机参数，两个视之间图像内容的相关性能够较精确获得。通过上述处理可以使得当前待编码图像或待解码图像的部分或全部内容使用其它视的图像进行预测，从而减少当前待编码图像的编码比特数，降低待编解码图像的计算负担。

附图说明

图1为本发明实施例的实现原理示意图；

图2为本发明实施例的应用场景示意图；

图3为本发明实施例中的摄像机移动过程示意图；

图4为本发明实施例提供的图像处理装置的结构示意图；

图5为本发明实施例提供的编码装置结构示意图；

图6为本发明实施例提供的解码装置结构示意图；

图7为本发明实施例提供的实现图像上采样的装置结构示意图；

图8为本发明实施例中的上采样示意图；

图9为本发明实施例中的下采样示意图。

具体实施方式

本发明实施例如图1所示，具体可以通过利用物体的深度信息和各个视的摄像机参数信息，对至少一个视的图像进行上采样或下采样等更新处理，以获得符合预定要求的更新后的图像；例如，使得更新后的图像能够很好地满足视间预测的需要，或者，使得更新后的图像能够满足各个视不同空间分辨率的显示需要，或者，实现摄像机移动前后的图像之间的转换等。参照图1所示，其中，相应的输入图像可以为更新参照视的图像，相应的输出图像则可以为更新后的图像，更新后的图像在更新前则称为待更新视的图像。输入图像可以是一个视的图像，也可以是多个视对应的多个图像，输出图像可以是一个视的图像(一对一，或多对一)，也可以是多个视的图像(多对多)，即当前待更新视的图像可以从输入视的图像中获得信息以更新当前待更新视的图像。如果是多对多或多对一的情况，则待更新的视可以是输入视中的任一视，也可以是其他视。所述待更新的图像还可以是图像中的内容会发生变化的图像，具体可为图像中部分点或图像块像素值发生变化但更新的图像尺寸与更新前的图像尺寸一致。

以下对相关的术语做一下介绍：

上述上采样的定义为：假设原始假设图像原始尺寸为MxN，那么上采样后，图像尺寸缩小为mM x  nN，m，n为自然数。如图8所示，m＝n＝2，则原图像每两个像素(图中黑色点)之间要插入一个像素(图中白色点)，插入的像素值由原图像的像素值计算所得。

上述下采样的定义为：假设图像原始尺寸为M×N，那么下采样后，图像尺寸缩小为M/mx N/n，m，n为自然数。如图9所示，m＝n＝2，则横坐标和纵坐标为21(1为0，1，2…)的像素点(图中黑色点)保留，其他位置的点(图中白色点)则丢弃。

通过下采样后再编码，很大程度降低了多视编码的复杂度。下采样后再进行视间预测时，参考的是其他视的图像。作为参考视的图像，其大小可能视原来的M×N，也可能是下采样后的M/m x N/n，m，n为自然数。目前的多视编码方法对参考视图像不作任何处理，直接用作参考。

本发明实施例中，物体的深度信息是指能够提供或者能够推导出空间物体和摄像机之间距离的信息；例如，可以采用8位的深度图来表示物体的深度信息，具体可以为：通过均匀量化的方式将空间物体和摄像机之间距离转换成为0-255之间的整数，并用8位二进制数表示，每个视对应一张深度图；而且，相应的深度信息，可以是原始的深度信息，也可以是编码重建之后的深度信息。该物体的深度信息可以由实际测量获得，也可以通过算法估算获得。

本发明实施例中，摄像机参数则包括：外部参数(Extrinsic parameters)、内部参数(Intrinsic parameters)或光学平面参数(Sensor plane parameters)。其中，外部参数又包括旋转矩阵R、平移矩阵T，内部参数包括焦距(Focal length)、畸变参数(例如径向畸变(Radical distortion))和光学平移量，光学平面参数则包括纵横比(aspect ratio)和焦点(principalpoint)。

其中，摄像机模型(即摄像机参数)涉及世界坐标系(world coordinate)、相机坐标系(camera coordinate)及成像平面(imaging plane)等概念。世界坐标系是指以三维空间中一事先定义好的三维点为坐标系原点，以一事先定义好的方向为X轴(或为Y轴，Z轴也可以)的三维坐标系；相机坐标系是指以摄像机(或照相机)光学中心为原点，通常以光学主轴为Z轴的三维坐标系；光学平面是指摄像机(或照相机)的光学成像平面，通常情况下与相机坐标系的XY平面重合，但其坐标系原点不一定与相机坐标系原点重合。

相应的摄像机参数中的旋转矩阵R反映了世界坐标系与相机坐标系之间的旋转关系，矩阵R包含了三个分量Rx，Ry和Rz，其中Rx为世界坐标系与相机坐标系在X轴的旋转角度，Ry为世界坐标系与相机坐标系在Y轴的旋转角度，Rz为世界坐标系与相机坐标系在Z轴的旋转角度。

相应的平移矩阵T反映了世界坐标系与相机坐标系的平移关系，其包含了Tx，Ty和Tz三个分量，其中Tx为世界坐标系与相机坐标系在X轴的平移量，Ty为世界坐标系与相机坐标系在Y轴的平移量，Tz为世界坐标系与相机坐标系在Z轴的平移量。由于普通摄像机(或相机)成像时其在成像平面X轴和Y轴的每个像素点所占用单位长度不完全一致，为保证计算精确度，引入了基于成像平面X轴的焦距fx和基于成像平面Y轴的焦距fy。

摄像机参数中的畸变参数可表示为s，通常情况下存在于带有光学球面的摄像机(或相机中)。光学成像平面原点与相机坐标系XY平面原点的偏移量记为px和py。摄像机的内部参数和光学参数可一起表示为摄像机的内部参数矩阵K。

上述摄像机参数可以矩阵形式表示如下：

$K=\left[\begin{array}{ccc}\mathrm{fx}& s& \mathrm{ps}\\ 0& \mathrm{fy}& \mathrm{py}\\ 0& 0& 1\end{array}\right]$

R＝R_x·R_y·R_z

其中，R_x，R_y，R_z分别为世界坐标系绕x，y，z轴的旋转矩阵，其表现形式可以为：

$R_x=\left[\begin{array}{ccc}1& 0& 0\\ 0& {\cos \mathrm{\θ}}_x& -\sin {\mathrm{\θ}}_x\\ 0& {\sin \mathrm{\θ}}_x& {\cos \mathrm{\θ}}_x\end{array}\right]$

$R_y=\left[\begin{array}{ccc}\cos {\mathrm{\θ}}_y& 0& \sin {\mathrm{\θ}}_y\\ 0& 1& 0\\ -\sin {\mathrm{\θ}}_y& 0& \cos {\mathrm{\θ}}_y\end{array}\right]$

$R_z=\left[\begin{array}{ccc}\cos {\mathrm{\θ}}_z& -\sin {\mathrm{\θ}}_z& 0\\ \sin {\mathrm{\θ}}_z& \cos {\mathrm{\θ}}_z& 0\\ 0& 0& 1\end{array}\right]$

$T=\left[\begin{array}{cccc}1& 0& 0& T_x\\ 0& 1& 0& T_y\\ 0& 0& 1& T_z\\ 0& 0& 0& 1\end{array}\right]$

根据上述摄像机参数便可以实现本发明实施例。

导致同一时刻两视之间产生视差矢量的原因为两个摄像机参数的差异，如摄像机摆放的位置以及摄像机的内部参数等不同。在获知物体的深度信息和摄像机参数的情况下，则可以通过立体成像和投射原理计算获得当前视的某个点在其他视的映射位置，进而求出其他视对应位置的像素值，以实现针对图像的滤波(即更新)处理获得期望的输出图像。

本发明实施例中，将具体以输入视的图像作为更新参照视的图像，输出视的图像作为待更新视的图像，对各处理过程的具体实现进行说明。

本发明实施例具体可以采用的更新处理包括：根据所述摄像机参数信息、物体的深度信息及物体在输出视的图像中的二维坐标计算物体的三维坐标；利用所述摄像机参数信息和所述三维坐标计算物体在输入视的图像中的二维坐标，并确定该二维坐标对应的像素值；再根据该二维坐标对应的像素值确定物体在输出视的图像中对应的二维坐标的像素值，并更新输出视的图像中对应的二维坐标的像素值，获得所述处理后的输出图像。可选地，相应的输出图像可用于视图像间的预测及同一视中不同图像之间的预测。

当更新前输出图像的尺寸与更新后输出图像尺寸不一致时，将更新前输出图像的尺寸扩展至与更新后输出图像尺寸一致。具体方法为：计算当前更新后输出图像尺寸与更新前输出图像的尺寸的比例系数，将更新前图像中已有像素点坐标乘上该比例系数，将更新前输出图像中相应像素点的像素值赋给扩展图像中计算所得的新坐标所对应的位置。若计算所得的坐标值不为整数则将坐标值小数部分去除或者按四舍五入规则取整。例如，更新前输出图像尺寸为M×N，更新后输出图像为aM×bN，则更新后与更新前输出图像横纵方向的比例分别为a和b。若更新前输出图像上一点坐标为(u，v)，其对应的像素值为G，则扩展后的图像中坐标为(gu，gv)的点的像素值为G，若gu或gv不为整数，则对其进行四舍五入取整。

当更新前输出图像的尺寸若与其它视图像尺寸不一致时，将更新前输出图像的尺寸扩展至与其它视图像尺寸一致。具体方法为：计算其它视图像尺寸与更新前输出图像的尺寸的比例系数，将更新前图像中已有像素点坐标乘上该比例系数，将更新前输出图像中相应像素点的像素值赋给扩展图像中计算所得的新坐标所对应的位置。若计算所得的坐标值不为整数则将坐标值小数部分去除或者按四舍五入规则取整。例如，更新前输出图像尺寸为M×N，其它视图像为aM×bN，则其它视图像与更新前输出图像横纵方向的比例分别为a和b。若更新前输出图像上一点坐标为(u，v)，其对应的像素值为G，则扩展后的图像中坐标为(gu，gv)的点的像素值为G，若gu或gv不为整数，则对其进行四舍五入取整。

上述计算所得的物体的三维坐标反映的为物体的各点之间在三维空间的实际距离或在三维空间的近似距离。上述三维坐标还可以为物体的点在三维空间的实际位置或近似位置。这里所说的三维空间可以表示为前述的世界坐标系，也可以表示为任意数学上使用的三维坐标系。

上述物体的深度信息可以为三维空间中物体各点距离摄像机的实际距离；也可以为三维空间中物体各点距离摄像机的近似值。物体的深度信息可以表示为一个灰度值为0-255的深度图，其大小与视图像一致。深度图中每一点的灰度值反映了视图像中对应点所对应的在三维空间中的距离摄像机的远近。例如，深度图中灰度值为255的点可代表示视图像中对应点所对应的在三维空间中的点距离摄像机最近；深度图中灰度值为0的点可代表示视图像中对应点所对应的在三维空间中的点距离摄像机最远。

上述更新处理过程，可以用于计算物体在输出视的图像中的所有点或图像块的像素值，或者，也可以用于计算物体在输出视的图像中的部分点或部分图像块的像素值。可选地，相应的在计算物体在输出视的图像中的部分点或部分图像块的像素值时，相应的分点或部分图像块可以按等距离间隔方式取自于输出视的图像，即输出视图像中的点的横坐标或列坐标每隔一定点或图像块即有一点或一图像块使用相应的更新过程计算其所对应的像素值。其中，图像块的二维坐标可以为图像块左上角点对应的二维坐标；图像块的三维坐标可以为图像块左上角点在三维空间坐标系中对应的坐标值。

本发明实施例中，摄像机参数可以为通用针孔摄像机模型中的参数，或者，也可以为其它常用摄像机模型中的参数。

本发明实施例中的物体的深度信息可表示为一幅像素值为0～255的灰度图，灰度中每一点对应视图像中每一点或每一个图像块的深度信息。灰度中像素值为0(或为255)表示其所对应的点或图像块在三维空间的位置离摄像机距离最近；灰度中像素值为255(或为0)表示其所对应的点或图像块在三维空间的位置离摄像机距离最远。且相应的点在三维空间与摄像机的距离可表示为欧儿里德距离，或数学中常用的距离度量单位。

本发明实施例中的三维坐标则对应物体在一坐标系中的坐标值，该坐标系为编码前已确定的坐标系；相应的所求得的三维坐标反映的是视图像中多数点之间的近似三维空间位置关系。

进一步地，本发明实施例提供的针对输入图像的更新处理过程具体可以包括以下步骤：

步骤1，读取各个视的摄像机参数。

步骤2，利用各个视的摄像机参数计算求出各个视的映射矩阵；

其中，所述的映射矩阵为各个视对应的视图像中的各点的二维坐标与三维坐标之间映射转换系数，即通过该映射矩阵可以在已知视图像中某点(被摄物体对应的点)的二维坐标及该点对应的物体在空间内的三维坐标中的一分量，可以计算获得三维坐标的其他分量，或者，通过该映射矩阵可以在已经视图像中某点对应的物体在空间内的三维坐标各分量的情况下，能够计算获得对应的该点在视图像中的二维坐标值；

所述映射矩阵的计算采用的计算公式可以为：P＝K·[R|T]，在该计算公式中，K为摄像机内部参数矩阵，R为摄像机的旋转参数矩阵，T为摄像机的平移参数矩阵；

步骤3，利用求出的映射矩阵，将输出视图像(即输出图像)中的已知其深度信息的某一点(其在当前视下的二维坐标已知)映射成为立体空间的一个点，并将该点在输出视下的二维坐标转换成空间三维坐标；

步骤4，利用输入视的映射矩阵，将上述点的空间三维坐标，转换成为输入图像下的二维坐标；

步骤5，将输入图像中的该二维坐标对应的像素值赋给输出图像的对应坐标的点或者将计算所得的像素值用于计算输出图像的对应坐标的点的像素值，获得期望的输出图像；

其中，若输入图像为一个视的图像，则将该视(即输入视)的某一点的像素值赋给输出图像中的对应坐标点的像素值；若输入图像为多个视的图像，则可以将多个视(即多个输入视)的对应点的像素值加权平均或进行数学运算，并将加权平均或进行数学运算后的值赋给输出图像中的对应坐标点的像素值；所述的数学运算可以为加法、减法、乘法、除法、移位、求幂等数学操作的组合。

在上述步骤5中，如果输出图像的某一点在输入视图像找不到对应点(超出边界)，或者，对应的位置不在整像素位置，则通过输入视对应位置周围点的像素值，计算得出输出图像中的某一点的像素值，例如，可以是对周围点的像素值加权后平均，或者，也可以采用其他计算方法。例如，当前像素点(u1，v1)经过计算后得到它在参考图像的对应位置为(u2，v2)。由于计算过程精度可以达到小数，此时，u2，v2可能未必是整数，那么需要通过一定的四舍五入，将u2，v2取整到最近的整象像素或亚象像素上去。如果(u2，v2)对应位置已经超出图像边界，那么也需要对u2，v2进行一定的调整。除了(u2，v2)对应的是整像素点且在图像内的情况，其他情况都需要通过一定的计算规则来获得(u2，v2)指向位置的参考像素值。

重复执行上述步骤3、4、5，则可以得到各个输出图像中所有各点的像素值，进而得到输出图像，从而可选地获得期望的输出图像。

上述处理方法由于直接将相邻视图像的像素值经简单数学运算后赋值给当前点，节省了大量的计算开销，例如节省了变换、反变换、量化、反量化模块的计算开销。另外，如果当前时图像进行下采样或上采样后当前视图像所需的编码比特数大量减少，从而提高了编码效率。

具体地，在本发明实施例提供的更新处理过程中，计算输出视的图像中的点或图像块的像素值及获得输出图像的处理过程具体可以包括以下任一种实现方案：

(1)确定输出视的图像中一点或一图像块的坐标，利用输出视的映射矩阵、物体的深度信息计算出该点或图像块的三维坐标，利用一个输入视的映射矩阵和所述三维坐标计算物体在输入视中的二维坐标，并确定该二维坐标对应的像素值；将计算所得的像素值赋给所述输出视图像中该点或图像块，以获得输出图像；

(2)确定输出视的图像中一点或一图像块的坐标，利用输出视的映射矩阵、物体的深度信息计算出该点或图像块的三维坐标，利用至少两个输入视的映射矩阵和所述三维坐标计算物体在输入视中的二维坐标，并确定该二维坐标对应的像素值；将计算所得的像素值进行数学运算后的值赋给所述输出视图像中该点或图像块；所述数学运算可为加法、减法、乘法、除法、移位、求幂等数学操作的组合；

(3)确定输出视的图像中一点或一图像块的坐标，利用输出视的映射矩阵、物体的深度信息计算出该点或图像块的三维坐标，利用至少两个输入视的映射矩阵和所述三维坐标计算物体在输入视中的二维坐标，并确定该二维坐标对应的像素值；将计算所得的像素值进行数学运算后得到数值1；对所述输出视图像中该点或图像块邻近的可获得的点或图像块的像素值进行数学运算得到数值2；将数值1与数值2进行数学运算所得值赋给所述输出视图像中该点或图像块；所述数学运算可为加法、减法、乘法、除法、移位、求幂等数学操作的组合。

下面将对本发明实施例应用于多视编解码过程中的实现过程进行说明。

本发明实施例是在已知多视图像编码过程中的物体的深度信息后，根据所述的深度信息，以及已知的各个摄像机参数，对输入视的图像进行处理，获得接近于输出各视原始图像的图像，并应用于视间预测和解码后的显示。

(1)相应的在编码端的处理包括：

确定多视图像编码过程中的物体的深度信息，并根据所述的深度信息，以及已知的各摄像机参数，计算获得输出各个视的各个像素点在输入视的对应位置，其中：

若该对应位置处于输入视图像的整像素点上，则直接将输入视对应点的像素值赋给输出视的对应像素点，且若有多个输入视，则将多个输入视对应点的像素值加权平均或数学运算之后赋给输出视的对应像素点；

若该对应位置在输入视找不到对应像素点，或者，不在整像素位置上，则用周围像素点的像素值计算得出对应位置的像素值。

之后，用于进行更新处理的滤波器的输出图像将被用作视间预测时的参考视；

例如，如果滤波器的输入视是视1和视2，输出视是视3，且正在编码的当前视是视3，则滤波器的输出图像被用来作为当前视的参考视，以进行下一步的视间预测和编码。

(2)相应地在解码端的处理过程包括：

在解码端，同样要进行和编码端同样的滤波操作，以视1和视2为输入视，视3为输出视，根据物体的深度信息和各个视的摄像机参数得到输出图像，并以输出图像作为参考，对视3进行解码操作，最后得到视3解码重建的图像。

本发明实施例还可以应用于解码端，以对相应的输入图像进行处理获得期望的输出图像，相应的处理包括：

步骤1，接收码流，解析获取物体的深度信息及各个摄像机参数，并重建各个视的图像。

步骤2，以重建获得的各个视图像中的其中某几个视的图像，以及物体的深度信息及各个摄像机参数作为滤波器的输入，对应的输出视可以为已经存在的视，也可以为并没有解码出来的虚拟视，其中：

对于输出视为虚拟视的情况：根据所述物体的深度信息，以及已知的各摄像机参数，计算获得输出视的各个像素点在输入视的对应位置：若该对应位置处于输入视图像的整像素点上，则直接将输入视对应点的像素值赋给输出视的对应像素点，且若有多个输入视，则将多个输入视对应点的像素值加权平均后赋给输出视的对应像素点；若在输入视找不到对应像素点，或者，不在整像素位置上，则用周围像素点的像素值计算得出对应位置的像素值；对于输出视为虚拟视情况，相应的输出图像可以用于作为参考图像；

对于输出视为已经存在的视，则解码端已经重建该视的图像，此时，若需要对该视图像进行上采样，则需要求出该视图像整像素中间位置的像素点的像素值(例如，图8中白色点位置)，相应的求解该图像视中间位置的像素点的像素值的处理过程包括：根据物体的深度信息，以及已知的各摄像机参数，计算获得输出该点在输入视的对应位置，若该对应位置处于输入视图像的整像素点上，则将输入视对应点的像素值赋给输出视的对应像素点，如果输入视有多个，则将多个输入视对应点的像素值加权平均或数学运算之后，赋给输出视的对应像素点；若输入视找不到对应点，或者，不在整像素位置上，则用周围像素点的像素值计算得出对应位置的像素值。

步骤3，获得输出视的图像，用于多视图像的显示。

下面将结合附图对本发明实施例提供的编解码实现方案的具体实现过程进行详细说明。

编解码实现方案一

如图2所示，在该具体实施例中，B视为当前要编码的视，可以称为当前视或编码视，且A视作为B视的参考视。其中，对B视的图像编码以块为单位进行，块的大小为M×N，具体可以为：M＝16，8，4，N＝16，8，4，B视图像共有若干个块，相应的编码顺序可以为：从左到右，从上到下。

在进行多视编码的实现过程中，A视为滤波器输入视，B视为滤波器的输出视，相应的实现过程具体可以包括：

步骤31，得到各个摄像机参数，并利用所述摄像机参数求出输入视和输出视对应的映射矩阵，以用于通过该映射矩阵进行物体的空间三维坐标与对应的各个视图像下的二维坐标的转换；

相应的映射矩阵P＝K·R·T；其中，K为摄像机内部参数矩阵，R为旋转参数矩阵，T为平移参数矩阵。

步骤32，利用物体的深度信息，得出物体的三维坐标中的z分量；

由于物体的深度信息只是物体实际深度的一个表示，并不直接是物体的实际深度，所以需要转化一下，以获得物体的实际深度；例如，如果将物体深度的最小值和最大值之间量化为256个等级，用8bit来表示，称为物体的深度信息，为此需要对物体的深度信息进行相应的反向处理，以将物理的深度信息转化为物体的实际深度，即三维坐标中的z分量。

需要说明的是，上述步骤31和步骤32的执行顺序不分先后。

步骤33，利用步骤31所得映射矩阵和步骤32所得的物体对应的三维坐标中的z分量的信息，求得物体的三维坐标中的x和y分量；

具体可以根据三维投影原理求解物体的三维坐标中的x和y分量，即：

其中，P_output为步骤31求出的输出视的投影矩阵(即映射矩阵)，{u1，v1}为物体在输出视的成像平面上的坐标，{x，y，z}为物体在空间上的三维坐标。

根据上式，在已知{u1，v1}，P_output和z的情况下，便可以求出物体在空间上的三维坐标的x和y分量。

步骤34，利用步骤31所得输入视的映射矩阵和步骤32、33所得物体在空间上的三维坐标，得到物体在输入视图像上的对应的二维坐标；

在该步骤中，具体可以采用的计算方式如下：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=P_{\mathrm{input}}\·\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right],$ 其中，P_input为步骤31求出的输入视的投影矩阵(即映射矩阵)，{u，v}为物体在输入视的成像平面上的二维坐标，通过该公式便可以求解出相应的{u，v}；

步骤35，根据相应的{u，v}对应的像素值确定输出视图像中坐标为{u1，v1}的像素值，其中，具体可以为：

若步骤34求出的u，v均为整数，则可以直接将坐标{u，v}所指向的输入视图像中的对应像素值作为输出视图像中坐标为{u1，v1}的像素值；

若步骤34求出的u，v并非均为整数，则取距离坐标{u，v}所指向位置符合预定要求的多个像素进行加权平均计算或数学运算，并将计算获得的加权平均计算或数学运算结果赋给输出视图像中坐标为{u1，v1}的像素；其中，预定要求可以为距离最近或者也可以为距离小于预定值等等，相应的多个像素可以为4个像素或者也可以6个像素或8个像素等等；

步骤36，重复步骤32至35，便可以得到输出视图像所有像素点的像素值，并将所得到的输出视图像作为当前要编码视的参考图像，进行下一步的预测和编码操作。

基于上述编码处理过程，对应的解码过程具体包括：

步骤37，解析编码码流，得到摄像机参数以及物体的深度信息；

步骤38，解析编码码流，得到输入视A视的重建图像，并以当前解码视为输出视；

步骤39，利用摄像机参数求出各个视的映射矩阵；

步骤310，利用物体的深度信息，得出物体三维坐标的z分量；

步骤311，利用步骤39所得映射矩阵和步骤310所得的物体三维坐标的z分量，求得物体三维坐标的x和y分量；

具体可以采用的计算公式如下：

$\left[\begin{array}{c}u1\\ v1\\ 1\end{array}\right]=P_{\mathrm{output}}\·\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right],$ 其中，P_output为步骤39求出的输出视的投影矩阵(即映射矩阵)，{u1，v1}为物体在输出视的成像平面上的坐标，{x，y，z}为物体在空间上的三维坐标。

步骤312，利用步骤39所得映射矩阵和步骤310、311所得物体在空间上的三维坐标，得到物体在输入视图像上的对应坐标{u，v}；

步骤313，根据{u，v}所指向的输入视图像中的对应像素值确定输出视图像中坐标为{u1，v1}的像素值，其中，具体可以包括：

若步骤312求出的u，v均为整数，则直接将坐标{u，v}所指向的输入视图像中的对应像素值作为输出视图像中坐标为{u1，v1}的像素值；

若步骤312求出的u，v并非均为整数，则取距离坐标{u，v}所指向位置符合预定要求的多个像素进行加权平均计算或数学运算，并将计算获得的加权平均计算或数学运算结果赋给输出视图像中坐标为{u1，v1}的像素；其中，预定要求可以为距离最近或者也可以为距离小于预定值等等，相应的多个像素可以为4个像素或者也可以6个像素或8个像素等等；

重复执行步骤310至313，便可以得到输出视图像所有像素点的像素值，将所得到的输出视图像作为当前要解码视的参考图像，则可以进行下一步解码操作。

编解码实现方案二

在该具体实施例中，A视为滤波器的输入视，B视图像大小为M×N，需要上采样为大小为2M×2N的图像作为滤波器的输出视。

相应的进行多视解码显示的实现过程具体可以包括：

步骤41，获取各个摄像机参数，并利用所述摄像机参数求出各个视的映射矩阵，还解析码流得到各个视的重建图像，其中，A视的重建图像作为滤波器的输入，B视为滤波器的输出视；

步骤42，利用获得的物体的深度信息，得出物体在空间上的三维坐标的z分量；

步骤43，利用步骤41所得映射矩阵和步骤42所得的物体在空间上的三维坐标的z分量，求得物体在空间上的三维坐标的x和y分量；

步骤44，对于输出视图像，整像素位置的像素保留；对于亚像素位置{u1，v1}的像素，利用步骤41所得映射矩阵和步骤42、43所得物体在空间上的三维坐标计算获得该位置在输入视图像上的对应坐标{u，v}；

其中，整像素位置是指拍摄到的离散位置的象素点为整象素，亚像素位置是指：两个整象素点正中间位置的点叫半象素点，两个半象素点正中位置的点叫做1/4精度亚象素点；

步骤45，根据{u，v}所指向的输入视图像中的对应像素值确定输出视图像中坐标为{u1，v1}的像素值，其中，具体可以为：

若步骤44求出的u，v均为整数，则直接将坐标{u，v}所指向的输入视图像中的对应像素值作为输出视图像中坐标为{u1，v1}的像素值；

若步骤44求出的u，v并非均为整数，则取距离坐标{u，v}所指向位置符合预定要求的多个像素进行加权平均计算或数学运算，并将计算获得的加权平均计算或数学运算结果赋给输出视图像中坐标为{u1，v1}的像素；其中，预定要求可以为距离最近或者也可以为距离小于预定值等等，相应的多个像素可以为4个像素或者也可以6个像素或8个像素等等；

步骤46，重复步骤44、45，直到获得输出视图像所有亚像素点的像素值，之后，将所得到的大小为2M×2N的输出视图像显示出来。

编解码实现方案三

在该具体实施例中，如图3所示，B图像为摄像机位置移动到位置2时拍摄的图像，称为编码图像。A图像为摄像机在位置1时拍摄的图像，称为参考图像。对B图像编码以块为单位进行，块的大小为M×N(M＝16，8，4，N＝16，8，4)，B图像共有R个块，编码顺序从左到右，从上到下。

其中，A图像为滤波器输入图像，滤波器的输出图像为接近于B图像的输出图像，相应的处理过程具体可以包括：

步骤51，得到摄像机在各个位置的摄像机参数，并利用所述摄像机参数求出各个位置对应的映射矩阵；

相应的映射矩阵P＝K·R·T，其中，K为摄像机内部参数矩阵，R为旋转参数矩阵，T为平移参数矩阵。

步骤52，利用物体的深度信息，得出物体在空间上的三维坐标的z分量；

步骤53，利用步骤51所得映射矩阵和步骤52所得的物体在空间上的三维坐标的z分量，求得物体在空间上的三维坐标的x和y分量；

根据三维投影原理，具体可以采用的计算公式如下：

$\left[\begin{array}{c}u1\\ v1\\ 1\end{array}\right]=P_{\mathrm{output}}\·\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right],$ 其中，P_output为步骤51求出的位置2的投影矩阵(即映射矩阵)，{u1，v1}为物体在B图像像平面上的坐标，{x，y，z}为物体在空间上的三维坐标。

步骤54，利用步骤51所得位置1的映射矩阵和步骤52、53所得物体在空间上的三维坐标，得到物体在A图像上的对应的二维坐标；

具体的计算公式如下：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=P_{\mathrm{input}}\·\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right],$ 其中，P_input为步骤51求出的摄像机在位置A的投影矩阵(即映射矩阵)，{u，v}为物体在输入视的成像平面上的二维坐标；

步骤55，将坐标{u，v}所指向的输入视图像中的对应像素值赋给输出视图像中坐标为{u1，v1}的像素；

若步骤54求出的u，v均为整数，则直接将坐标{u，v}所指向的输入视图像中的对应像素值赋给输出视图像中坐标为{u1，v1}的像素；

若步骤54求出的u，v不都是整数，则取距离坐标{u，v}所指向位置符合预定要求的多个像素进行加权平均计算，并将计算获得的加权平均计算结果赋给输出视图像中坐标为{u1，v1}的像素；其中，预定要求可以为距离最近或者也可以为距离小于预定值等等，相应的多个像素可以为4个像素或者也可以6个像素或8个像素等等；

步骤56，重复执行步骤52至55，直到获得输出视图像所有像素点的像素值，便可以获得相应的输出视图像，该输出视图像可以作为当前编码视的参考图像，以用于进行下一步的预测和编码。

基于上述编码过程，对应的解码过程具体可以包括：

步骤57，解析编码码流，得到摄像机在各个位置对应的摄像机参数以及物体的深度信息；

步骤58，解析编码码流，得到A图像的重建图像，并以A图像作为滤波器输入图像，当前解码图像为B图像，滤波器输出为接近于B原始图像的图像，该输出图像可以作为当前解码图像的参考图像；

步骤59，利用步骤57得到的各个摄像机参数求出摄像机各个位置对应的映射矩阵；

步骤510，利用物体的深度信息，确定物体在空间上的三维坐标的z分量；

步骤511，利用步骤59所得映射矩阵和步骤510所得的物体在空间上的三维坐标的z分量，求得物体在空间上的三维坐标的x和y分量；

根据三维投影原理，相应的计算公式如下：

$\left[\begin{array}{c}u1\\ v1\\ 1\end{array}\right]=P_{\mathrm{output}}\·\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right],$ 其中，P_output为步骤59求出的摄像机在位置2的投影矩阵(即映射矩阵)，{u1，v1}为物体在B图像平面上的坐标，{x，y，z}为物体在空间上的三维坐标。

步骤512，利用步骤59所得映射矩阵和步骤510、511所得物体在空间上的三维坐标，得到物体在输入视图像上的对应坐标{u，v}；

步骤513，根据坐标{u，v}所指向的输入视图像中的对应像素值计算输出视图像中坐标为{u1，v1}的像素值，其中具体可以为：

若步骤512求出的u，v均为整数，则直接将坐标{u，v}所指向的输入视图像中的对应像素值作为输出视图像中坐标为{u1，v1}的像素值；

若步骤512求出的u，v不都是整数，则取距离坐标{u，v}所指向位置符合预定要求的多个像素进行加权平均计算或数学运算，并将计算获得的加权平均计算或数学运算结果赋给输出视图像中坐标为{u1，v1}的像素；其中，预定要求可以为距离最近或者也可以为距离小于预定值等等，相应的多个像素可以为4个像素或者也可以6个像素或8个像素等等；

步骤514，重复执行步骤510至513，便可以得到输出视图像所有像素点的像素值，进而得到相应的输出视图像，该输出视图像可以作为当前要解码视的参考图像，以用于进行下一步的解码操作，提高解码效率及性能。

编解码实现方案四

在该具体实施例中，A视为滤波器的输入视，B视图像大小为M×N，需要上采样为大小为2M×2N的图像作为滤波器的输出视。

相应的进行多视解码显示的实现过程具体可以包括：

步骤61，获取各个摄像机参数，并利用所述摄像机参数求出各个视的映射矩阵，还解析码流得到各个视的重建图像，其中，A视的重建图像作为滤波器的输入，B视为滤波器的输出视；

步骤62，利用获得的物体的深度信息，得出物体在空间上的三维坐标的z分量；

步骤63，利用步骤41所得映射矩阵和步骤42所得的物体在空间上的三维坐标的z分量，求得物体在空间上的三维坐标的x和y分量；

步骤64，对于输出视图像，整像素位置的像素保留；对于业像素位置{u1，v1}的像素，利用步骤41所得映射矩阵和步骤42、43所得物体在空间上的三维坐标计算获得该位置在输入视图像上的对应坐标{u，v}；

其中，整像素位置是指拍摄到的离散位置的象素点为整象素，亚像素位置是指：两个整象素点正中间位置的点叫半象素点，两个半象素点正中位置的点叫做1/4精度亚象素点；

步骤65，根据{u，v}所指向的输入视图像中的对应像素值用于计算输出视图像中坐标为{u1，v1}的像素值，其中，具体可以为：

若步骤64求出的u，v均为整数，则直接将坐标{u，v}所指向的输入视图像中的对应像素值用于计算输出视图像中坐标为{u1，v1}的像素值；

若步骤64求出的u，v并非均为整数，则取距离坐标{u，v}所指向位置符合预定要求的多个像素进行加权平均计算，并将计算获得的加权平均或数学运算结果用于计算输出视图像中坐标为{u1，v1}的像素；其中，预定要求可以为距离最近或者也可以为距离小于预定值等等，相应的多个像素可以为4个像素或者也可以6个像素或8个像素等等；上述计算结果记为数值1；

步骤66，获取输出视图像中坐标为{u1，v1}邻近点的像素值，对所获得像素值进行加权平均或数学运算，计算结果记为数值2；

步骤67，将数值1和数值2进行加权平均或数学计算，将计算结果作为输出图像中坐标为{u1，v1}的像素值；

步骤68，重复步骤64、65，66，67，直到获得输出视图像所有亚像素点的像素值，之后，将所得到的大小为2M×2N的输出视图像显示出来。

编解码实现方案五

如图2所示，在该具体实施例中，B视为当前要编码的视，可以称为当前视或编码视，且A视作为B视的参考视。其中，对B视的图像编码以块为单位进行，块的大小为M×N，具体可以为：M＝16，8，4，N＝16，8，4，B视图像共有若干个块，相应的编码顺序可以为：从左到右，从上到下。

在进行多视编码的实现过程中，A视为滤波器输入视，B视为滤波器的输出视，相应的实现过程具体可以包括：

步骤71，得到各个摄像机参数，并利用所述摄像机参数求出输入视和输出视对应的映射矩阵，以用于通过该映射矩阵进行物体的空间三维坐标与对应的各个视图像下的二维坐标的转换；

相应的映射矩阵P＝K·R·T；其中，K为摄像机内部参数矩阵，R为旋转参数矩阵，T为平移参数矩阵。

步骤72，利用物体的深度信息，得出物体的三维坐标中的z分量；

由于物体的深度信息只是物体实际深度的一个表示，并不直接是物体的实际深度，所以需要转化一下，以获得物体的实际深度；例如，如果将物体深度的最小值和最大值之间量化为256个等级，用8bit来表示，称为物体的深度信息，为此需要对物体的深度信息进行相应的反向处理，以将物理的深度信息转化为物体的实际深度，即三维坐标中的z分量。

需要说明的是，上述步骤71和步骤72的执行顺序不分先后。

步骤73，利用步骤71所得映射矩阵和步骤72所得的物体对应的三维坐标中的z分量的信息，求得物体的三维坐标中的x和y分量；

具体可以根据三维投影原理求解物体的三维坐标中的x和y分量，即：

$\left[\begin{array}{c}u1\\ v1\\ 1\end{array}\right]=P_{\mathrm{output}}\·\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right],$ 其中，P_output为步骤71求出的输出视的投影矩阵(即映射矩阵)，{u1，v1}为物体在输出视的成像平面上的坐标，{x，y，z}为物体在空间上的三维坐标。

根据上式，在已知{u1，v1}，P_output和z的情况下，便可以求出物体在空间上的三维坐标的x和y分量。

步骤74，利用步骤71所得输入视的映射矩阵和步骤72、73所得物体在空间上的三维坐标，得到物体在输入视图像上的对应的二维坐标；

在该步骤中，具体可以采用的计算方式如下：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=P_{\mathrm{input}}\·\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right],$ 其中，P_oput为步骤71求出的输入视的投影矩阵(即映射矩阵)，{u，v}为物体在输入视的成像平面上的二维坐标，通过该公式便可以求解出相应的{u，v}；

步骤75，根据相应的{u，v}对应的像素值用于计算输出视图像中坐标为{u1，v1}的像素值，其中，具体可以为：

若步骤74求出的u，v均为整数，则可以直接将坐标{u，v}所指向的输入视图像中的对应像素值用于计算输出视图像中坐标为{u1，v1}的像素值；

若步骤74求出的u，v并非均为整数，则取距离坐标{u，v}所指向位置符合预定要求的多个像素进行加权平均计算或数学运算，并将计算获得的加权平均计算或数学运算结果用于计算输出视图像中坐标为{u1，v1}的像素值；其中，预定要求可以为距离最近或者也可以为距离小于预定值等等，相应的多个像素可以为4个像素或者也可以6个像素或8个像素等等；上述计算结果记为数值1；

步骤76，获取输出视图像中坐标为{u1，v1}邻近点的像素值，对所获得像素值进行加权平均或数学运算，计算结果记为数值2；

步骤77，将数值1和数值2进行加权平均或数学计算，将计算结果作为输出图像中坐标为{u1，v1}的像素值；

步骤78，重复步骤72至75，便可以得到输出视图像所有像素点的像素值，并将所得到的输出视图像作为当前要编码视的参考图像，进行下一步的预测和编码操作。

基于上述编码处理过程，对应的解码过程具体包括：

步骤79，解析编码码流，得到摄像机参数以及物体的深度信息；

步骤710，解析编码码流，得到输入视A视的重建图像，并以当前解码视为输出视；

步骤711，利用摄像机参数求出各个视的映射矩阵；

步骤712，利用物体的深度信息，得出物体三维坐标的z分量；

步骤713，利用步骤711所得映射矩阵和步骤712所得的物体三维坐标的z分量，求得物体三维坐标的x和y分量；

具体可以采用的计算公式如下：

$\left[\begin{array}{c}u1\\ v1\\ 1\end{array}\right]=P_{\mathrm{output}}\·\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right],$ 其中，P_output为步骤711求出的输出视的投影矩阵(即映射矩阵)，{u1，v1}为物体在输出视的成像平面上的坐标，{x，y，z}为物体在空间上的三维坐标。

步骤714，利用步骤711所得映射矩阵和步骤712、713所得物体在空间上的三维坐标，得到物体在输入视图像上的对应坐标{u，v}；

步骤715，根据{u，v}所指向的输入视图像中的对应像素值确定输出视图像中坐标为{u1，v1}的像素值，其中，具体可以包括：

若步骤714求出的u，v均为整数，则直接将坐标{u，v}所指向的输入视图像中的对应像素值用于计算输出视图像中坐标为{u1，v1}的像素值；

若步骤714求出的u，v并非均为整数，则取距离坐标{u，v}所指向位置符合预定要求的多个像素进行加权平均计算或数学运算，并将计算获得的加权平均或数学运算计算结果用于输出视图像中坐标为{u1，v1}的像素；其中，预定要求可以为距离最近或者也可以为距离小于预定值等等，相应的多个像素可以为4个像素或者也可以6个像素或8个像素等等；上述计算结果记为数值1；

步骤716，获取输出视图像中坐标为{u1，v1}邻近点的像素值，对所获得像素值进行加权平均或数学运算，计算结果记为数值2；

步骤717，将数值1和数值2进行加权平均或数学计算，将计算结果作为输出图像中坐标为{u1，v1}的像素值；

重复执行步骤712至717，便可以得到输出视图像所有像素点的像素值，将所得到的输出视图像作为当前要解码视的参考图像，则可以进行下一步解码操作。

本发明实施例还提供了一种图像处理装置，其具体实现结构如图5所示，可以包括以下单元：

图像获取单元，用于获取至少两个视的图像；

参数获取单元，用于获取物体的深度信息及各个视的摄像机参数信息；

更新处理单元，根据所述参数获取单元获取的摄像机参数信息和物体的深度信息，以及所述图像获取单元获取的至少两个视的图像对至少一个视的图像进行滤波(即更新)处理，获得更新处理后的图像。

可选地，该更新处理单元具体可以包括以下单元：

映射矩阵计算单元，用于根据所述参数获取单元获取的各个视的摄像机参数信息，计算各个视对应的映射矩阵，所述映射矩阵为各个视的图像中的各点或图像块的二维坐标与三维坐标之间的对应关系；该映射矩阵计算单元可以采用的映射矩阵计算公式包括：P＝K·R·T，其中，P为映射矩阵，K为摄像机内部参数矩阵，R为摄像机的旋转参数矩阵，T为摄像机的平移参数矩阵。

像素值计算单元，用于根据所述映射矩阵计算单元确定的输出视(待更新视的图像对应的视)的映射矩阵，以及所述参数获取单元获取的物体的深度信息，结合物体在输出视的图像(即待更新视的图像)中的二维坐标计算物体的三维坐标；再利用输入视(更新参照视的图像对应的视)的映射矩阵和所述三维坐标计算物体在输入视的图像(即更新视的图像)中的二维坐标，并确定该二维坐标对应的像素值；

更新图像生成单元，用于将所述像素值计算单元计算确定的二维坐标对应的像素值赋值给物体在输出视中的二维坐标，获得所述输出图像；该更新图像生成单元具体可以包括以下两单元：

第一赋值单元，用于在所述二维坐标为整数时，直接将其对应的像素值作为物体在输出视中的二维坐标对应的像素值；

第二赋值单元，用于在所述二维坐标为并非均为整数时，将距离该二维坐标符合预定要求的预定数量的像素的加权平均值作为物体在输出视中的二维坐标对应的像素值。

或者，该更新图像生成单元具体还可以包括以下任一单元：

第一生成单元，用于将所述像素值计算单元确定的输入视的图像中的二维坐标对应的像素值赋给所述输出视的图像中对应的坐标点或图像块，获得输出图像；

或者，

第二生成单元，用于对所述像素值计算单元确定的至少两个输入视的图像中的二维坐标对应的像素值进行数学运算，并运算后的结果赋给所述输出视的图像中对应的坐标点或图像块，获得输出图像；

或者，

第三生成单元，用于对所述像素值计算单元确定的至少两个输入视的图像中的二维坐标对应的像素值进行数学运算后得到第一数值；对所述输出视的图像中对应的坐标点或图像块邻近的可获得的点或图像块的像素值进行数学运算得到第二数值；将第一数值与第二数值进行数学运算，并将该运算结果赋给所述输出视的图像中对应的坐标点或图像块，获得输出图像。

需要说明的是，上述映射矩阵计算单元为可选单元，即也可以采用其他单元代替相应的映射矩阵计算单元，以通过其他计算方式实现二维坐标与三维坐标之间的转换处理。

可选地，本发明实施例提供的装置中还可以包括尺寸扩展操作单元，用于在所述待更新视的图像的尺寸与更新后图像尺寸不一致时，将待更新视的图像的尺寸扩展至与更新后图像尺寸一致，该扩展方式包括：计算当前更新后图像尺寸与待更新视的图像的尺寸的比例系数，将待更新视的图像中已有像素点坐标乘上该比例系数，将待更新视的图像中相应像素点的像素值赋给扩展图像中计算所得的新坐标所对应的位置；若计算所得的坐标值不为整数则将坐标值小数部分去除或者按四舍五入规则取整；或者，用于在待更新视的图像的尺寸与其它视图像尺寸不一致时，将待更新视的图像的尺寸扩展至与其它视图像尺寸一致，该扩展方式包括：计算其它视图像尺寸与待更新视的图像的尺寸的比例系数，将待更新视的图像中已有像素点坐标乘上该比例系数，将待更新视的图像中相应像素点的像素值赋给扩展图像中计算所得的新坐标所对应的位置；若计算所得的坐标值不为整数则将坐标值小数部分去除或者按四舍五入规则取整。

本发明实施例提供的装置中，相应的输入视和输出视为不同的摄像机对应的视，或者，所述输入视和输出视为同一摄像机在不同位置上对应的视。

上述图像处理装置可以应用于相应的编码装置或解码装置中，其中：

相应的编码装置，如图6所示，可以包括：

参考图像获取单元，用于获取编码当前视的图像的参考图像；

图像处理装置，用于对所述参考图像获取单元获取的参考图像进行处理，获得输出图像；

编码单元，用于在对当前视的图像进行编码过程中，采用所述图像处理单元提供的输出图像作为参考图像进行编码操作。

相应的解码装置，如图7所示，可以包括：

参考图像获取单元，用于获取解码当前视的图像的参考图像；

图像处理装置，用于对所述参考图像获取单元获取的参考图像进行处理，获得输出图像；

解码单元，用于在对当前视的图像进行解码过程中，采用所述图像处理单元提供的输出图像作为参考图像进行解码操作。

本发明实施例提供的图像处理装置还可以用于实现图像上采样的装置中，其具体实现结构如图8所示，具体可以包括：

图像获取单元，用于获取需要进行上采样处理的图像；

整像素处理单元，用于将所述图像获取单元获取的图像中的整像素位置的像素保留在输出图像中；

图像处理装置，用于对于所述图像获取单元获取的图像中的亚像素位置，进行处理，获得该亚像素位置对应的像素值；

采样结果生成单元，用于将所述图像处理装置获得的亚像素位置对应的像素值添加到所述整像素处理单元获得的输出图像中，获得经过上采样处理后的图像。

综上所述，本发明实施例可以用于根据获取图像的各个摄像机参数以及物体的深度信息对输入视图像(如参考图像或需要进行上采样处理的图像等)进行处理，可以减少不关键或不重要的图像编码比特数，从而提高多视编解码的性能，并简化多视编解码的处理过程，同时由于编码比特数的减少，还可以降低编解码时所需的计算资源。再者，本发明实施例还可以运用于摄像机移动的情况，提高在该情况下的预测和编解码效率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (27)

1.一种图像处理方法，其特征在于，包括：

获取至少两个视的图像和摄像机参数信息，以及物体的深度信息；

根据所述至少两个视的图像、摄像机参数信息和物体的深度信息对至少一个视的图像进行更新；

所述的更新包括：

根据所述摄像机参数信息、物体的深度信息及物体在待更新视的图像中的二维坐标计算物体的三维坐标；

利用所述摄像机参数信息和所述三维坐标计算物体在更新参照视的图像中的二维坐标，并确定该二维坐标对应的像素值，所述更新参照视为所述获取至少两个视中的任意一个视或多个视；

根据该二维坐标对应的像素值确定物体在待更新视的图像中对应的二维坐标的像素值，并更新所述待更新视的图像中对应的二维坐标的像素值。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

若所述待更新视的图像的尺寸与更新后图像尺寸不一致，则将待更新视的图像的尺寸扩展至与更新后图像尺寸一致，该扩展方式包括：计算当前更新后图像尺寸与待更新视的图像的尺寸的比例系数，将待更新视的图像中已有像素点坐标乘上该比例系数，将待更新视的图像中相应像素点的像素值赋给扩展图像中计算所得的新坐标所对应的位置；若计算所得的坐标值不为整数则将坐标值小数部分去除或者按四舍五入规则取整；

或者，

若待更新视的图像的尺寸与其它视图像尺寸不一致，则将待更新视的图像的尺寸扩展至与其它视图像尺寸一致，该扩展方式包括：计算其它视图像尺寸与待更新视的图像的尺寸的比例系数，将待更新视的图像中已有像素点坐标乘上该比例系数，将待更新视的图像中相应像素点的像素值赋给扩展图像中计算所得的新坐标所对应的位置；若计算所得的坐标值不为整数则将坐标值小数部分去除或者按四舍五入规则取整。

3.根据权利要求1所述的方法，其特征在于，该方法还包括：

对物体在待更新视的图像中的所有点或图像块的像素值执行所述更新处理，或者，对物体在待更新视的图像中的部分点或部分图像块的像素值执行所述更新处理。

4.根据权利要求3所述的方法，其特征在于，所述的部分点或部分图像块为待更新视的图像中按等距离间隔方式确定的点或图像块。

5.根据权利要求1所述的方法，其特征在于，计算待更新视中点或图像块的像素值的方法具体为：

将确定的更新参照视的图像中的二维坐标对应的像素值赋给所述待更新视的图像中对应的坐标点或图像块；

或者，

对确定的至少两个更新参照视的图像中的二维坐标对应的像素值进行数学运算，并将运算后的结果赋给所述待更新视的图像中对应的坐标点或图像块；

或者，

对确定的至少两个更新参照视的图像中的二维坐标对应的像素值进行数学运算后得到第一数值；对所述待更新视的图像中对应的坐标点或图像块邻近的可获得的点或图像块的像素值进行数学运算得到第二数值；将第一数值与第二数值进行数学运算，并将该运算结果赋给所述待更新视的图像中对应的坐标点或图像块。

6.根据权利要求5所述的方法，其特征在于，所述的数学运算包括：加法、减法、乘法、除法、移位或求幂运算中的一项或若干项的组合。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述利用所述摄像机参数信息和所述三维坐标计算物体在更新参照视的图像中的二维坐标包括：利用映射矩阵将所述三维坐标转换成在更新参照视的图像中的二维坐标，所述映射矩阵用于表示各个视的图像中的各点或图像块的二维坐标与三维坐标之间的对应关系，所述映射矩阵根据所述摄像机参数信息计算得到。

8.根据权利要求7所述的方法，其特征在于，所述摄像机参数信息包括外部参数和内部参数，所述外部参数包括旋转参数矩阵和平移参数矩阵，内部参数包括焦距、畸变参数和光学参数；所述映射矩阵的计算采用的计算公式包括：P＝K·R·T，其中，P为所述映射矩阵，K为摄像机内部参数矩阵，R为摄像机的旋转参数矩阵，T为摄像机的平移参数矩阵。

9.根据权利要求7所述的方法，其特征在于，所述的图像块的二维坐标为图像块左上角点对应的二维坐标；所述图像块的三维坐标为图像块左上角点在三维空间坐标系中对应的坐标值。

10.根据权利要求1所述的方法，其特征在于，所述确定物体在待更新视中的对应的二维坐标的像素值的处理包括：

若更新参照视中的二维坐标为整数，则直接将其对应的像素值作为物体在待更新视中的二维坐标对应的像素值；

若更新参照视中的二维坐标为并非均为整数，则将距离更新参照视中的二维坐标符合预定要求的预定数量的像素的加权平均值作为物体在待更新视中的二维坐标对应的像素值。

11.根据权利要求1至6任一项或10所述的方法，其特征在于，所述更新参照视的图像和待更新视的图像为不同的摄像机对应的视图像，或者，所述更新参照视的图像和待更新视的图像为同一摄像机的不同图像。

12.根据权利要求1至6任一项或10所述的方法，其特征在于，所述的物体的深度信息表示为：一幅像素值为0～255的灰度图，灰度中每一点对应视图像中每一点或每一个图像块的深度信息；灰度中像素值为0或为255表示其所对应的点或图像块在三维空间的位置离摄像机距离最近，灰度中像素值为255或为0表示其所对应的点或图像块在三维空间的位置离摄像机距离最远。

13.根据权利要求1至6任一项或10所述的方法，其特征在于，所述的三维坐标为物体各点之间在三维空间的实际距离或在三维空间的近似距离，或者，所述的三维坐标为物体的点在三维空间的实际位置或近似位置；其中，三维空间表示为世界坐标系，或表示为任意数学上使用的三维坐标系。

14.根据权利要求1至6任一项或10所述的方法，其特征在于，所述摄像机参数信息包括：通用针孔摄像机模型中的参数或其它常用摄像机模型中的参数。

15.一种图像处理装置，其特征在于，包括：

图像获取单元，用于获取至少两个视的图像；

参数获取单元，用于获取物体的深度信息及各个视的摄像机参数信息；

更新单元，根据所述参数获取单元获取的摄像机参数信息和物体的深度信息由所述图像获取单元获取的至少两个视的图像对至少一个视的图像进行更新处理；

所述更新单元包括：

像素值计算单元，用于根据所述参数获取单元获取的摄像机参数信息，以及物体的深度信息，结合物体在待更新视中的二维坐标计算物体的三维坐标；再利用所述三维坐标计算物体在所述图像获取单元获取的更新参照视的图像中的二维坐标，并确定该二维坐标对应的像素值，所述更新参照视为所述获取至少两个视中的任意一个视或多个视；

更新图像生成单元，用于根据所述像素值计算单元计算确定的二维坐标对应的像素值确定物体在待更新视的图像中的对应二维坐标的像素值，更新所述待更新视的图像中的像素值。

16.根据权利要求15所述的装置，其特征在于，该装置还包括：

尺寸扩展操作单元，用于在所述待更新视的图像的尺寸与更新后图像尺寸不一致时，将待更新视的图像的尺寸扩展至与更新后图像尺寸一致，该扩展方式包括：计算当前更新后图像尺寸与待更新视的图像的尺寸的比例系数，将待更新视的图像中已有像素点坐标乘上该比例系数，将待更新视的图像中相应像素点的像素值赋给扩展图像中计算所得的新坐标所对应的位置；若计算所得的坐标值不为整数则将坐标值小数部分去除或者按四舍五入规则取整；或者，用于在待更新视的图像的尺寸与其它视图像尺寸不一致时，将待更新视的图像的尺寸扩展至与其它视图像尺寸一致，该扩展方式包括：计算其它视图像尺寸与待更新视的图像的尺寸的比例系数，将待更新视的图像中已有像素点坐标乘上该比例系数，将待更新视的图像中相应像素点的像素值赋给扩展图像中计算所得的新坐标所对应的位置；若计算所得的坐标值不为整数则将坐标值小数部分去除或者按四舍五入规则取整。

17.根据权利要求15所述的装置，其特征在于，所述更新图像生成单元具体包括以下任一单元：

第一生成单元，用于根据所述像素值计算单元确定的更新参照视的图像中的二维坐标对应的像素值更新所述待更新视的图像中对应的坐标点或图像块的像素值；

或者，

第二生成单元，用于对所述像素值计算单元确定的至少两个更新参照视的图像中的二维坐标对应的像素值进行数学运算，并根据运算后的结果更新所述待更新视的图像中对应的坐标点或图像块的像素值；

或者，

第三生成单元，用于对所述像素值计算单元确定的至少两个更新参照视的图像中的二维坐标对应的像素值进行数学运算后得到第一数值；对所述待更新视的图像中对应的坐标点或图像块邻近的可获得的点或图像块的像素值进行数学运算得到第二数值；将第一数值与第二数值进行数学运算，并将该运算结果更新所述待更新视的图像中对应的坐标点或图像块的像素值。

18.根据权利要求15、16或17所述的装置，其特征在于，该装置还包括：

映射矩阵计算单元，用于根据所述参数获取单元获取的各个视的摄像机参数信息，计算各个视对应的映射矩阵，所述映射矩阵用于表示各个视的图像中的各点的二维坐标与三维坐标之间的对应关系，用于为所述像素值计算单元提供二维坐标与三维坐标之间的对应关系。

19.根据权利要求18所述的装置，其特征在于，所述摄像机参数信息包括外部参数和内部参数，所述外部参数包括旋转参数矩阵和平移参数矩阵，内部参数包括焦距、畸变参数和光学参数，且所述映射矩阵计算单元采用的映射矩阵计算公式包括：P＝K·R·T，其中，P为映射矩阵，K为摄像机内部参数矩阵，R为摄像机的旋转参数矩阵，T为摄像机的平移参数矩阵。

20.根据权利要求15所述的装置，其特征在于，所述的更新图像生成单元具体包括：

第一赋值单元，用于在所述二维坐标为整数时，直接将其对应的像素值作为物体在待更新视中的二维坐标对应的像素值；

第二赋值单元，用于在所述二维坐标为并非均为整数时，将距离该二维坐标符合预定要求的预定数量的像素的加权平均值作为物体在待更新视中的二维坐标对应的像素值。

21.根据权利要求15至17任一项或20所述的装置，其特征在于，所述更新参照视和待更新视为不同的摄像机对应的视，或者，所述更新参照视和待更新视为同一摄像机在不同位置上对应的视。

22.一种编码方法，其特征在于，包括：

获取编码当前视的图像的参考图像，采用权利要求1至14任一种图像处理方法对所述参考图像进行处理，获得输出图像；

在对当前视的图像进行编码过程中，采用所述输出图像作为参考图像进行编码操作。

23.一种编码装置，其特征在于，包括：

参考图像获取单元，用于获取编码当前视的图像的参考图像；

权利要求15至21任一种图像处理装置，用于对所述参考图像获取单元获取的参考图像进行处理，获得输出图像；

编码单元，用于在对当前视的图像进行编码过程中，采用所述图像处理装置提供的输出图像作为参考图像进行编码操作。

24.一种解码方法，其特征在于，包括：

获取待解码视的图像的参考图像，采用权利要求1至14任一种图像处理方法对所述参考图像进行处理，获得输出图像；

在对当前视的图像进行解码过程中，采用所述输出图像作为参考图像进行解码操作。

25.一种解码装置，其特征在于，包括：

参考图像获取单元，用于获取解码当前视的图像的参考图像；

权利要求15至21任一种图像处理装置，用于对所述参考图像获取单元获取的参考图像进行处理，获得输出图像；

解码单元，用于在对当前视的图像进行解码过程中，采用所述图像处理装置提供的输出图像作为参考图像进行解码操作。

26.一种实现图像上采样的方法，其特征在于，包括：

获取需要进行上采样处理的图像；

将该图像中的整像素位置的像素保留在输出图像中，对于该图像中的亚像素位置，则采用权利要求1至14任一种图像处理方法进行处理，获得该亚像素位置对应的像素值；

将获得的亚像素位置对应的像素值添加到输出图像中，获得经过上采样处理后的图像。

27.一种实现图像上采样的装置，其特征在于，包括：

上采样图像获取单元，用于获取需要进行上采样处理的图像；

整像素处理单元，用于将所述上采样图像获取单元获取的图像中的整像素位置的像素保留在输出图像中；

权利要求15至21任一项所述图像处理装置，用于对于所述上采样图像获取单元获取的图像中的亚像素位置，进行处理，获得该亚像素位置对应的像素值；

采样结果生成单元，用于将所述图像处理装置获得的亚像素位置对应的像素值添加到所述整像素处理单元获得的输出图像中，获得经过上采样处理后的图像。

Images