CN106331672A - 视点图像的获得方法、装置及系统 - Google Patents

Abstract

本发明公开了视点图像的获得方法、装置及系统。其中，所述方法包括：分别获取以第一视点对目标进行采集得到的第一深度图像和以第二视点对所述目标进行采集得到的第一彩色图像；利用所述第一深度图像和所述第一彩色图像获得所述目标在第一视点的第二彩色图像和/或所述目标在所述第二视点的第二深度图像；根据所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像得到第三视点的第三彩色图像。通过上述方式，能够获得准确的视点图像，减少视点图像的失真度。

Description

视点图像的获得方法、装置及系统

技术领域

本发明涉及图像处理技术领域，特别是涉及视点图像的获得方法、装置及系统。

背景技术

人类双眼由于位置不同在对具有一定距离的物体进行观看时会产生视觉差异，正是这种视差让人们有了三维的感观效果。三维显示技术根据这一原理，通过将同时获取的双眼图像分别被对应的眼睛接收，从而产生三维效果。由于这一技术给人们带来了全新的立体观看体验，近年来人们对三维图像资源的需求也日渐增加。

目前获得三维图像的方法之一是将二维图像通过图像处理技术转化为三维图像。具体为运用图像处理技术计算得到已有二维彩色图像的场景深度信息，进而利用该深度信息和二维彩色图像得到其他视点的图像，以实现三维显示。

由于现有的用于绘制其他视点图像的深度信息是由已有彩色图像进行图像处理得到，需要经过一些图像的变换及处理技术，这一过程会导致图像细节信息的流失，导致绘制得到的其他视点的图像失真度较大。

发明内容

本发明主要解决的技术问题是提供视点图像的获得方法、装置及系统，能够获得准确的视点图像，减少视点图像的失真度。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种视点图像的获得方法，包括：

分别获取以第一视点对目标进行采集得到的第一深度图像和以第二视点对所述目标进行采集得到的第一彩色图像；

利用所述第一深度图像和所述第一彩色图像获得所述目标在第一视点的第二彩色图像和/或所述目标在所述第二视点的第二深度图像；

根据所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像得到第三视点的第三彩色图像。

其中，所述第一深度图像由设置在所述第一视点的深度相机对所述目标进行采集得到，所述第一彩色图像由设置在所述第二视点的彩色相机对所述目标进行采集得到。

其中，所述根据所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像得到第三视点的第三彩色图像，包括：利用深度图像绘制DIBR技术，由所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像绘制得到第三视点的第三彩色图像。

其中，所述利用DIBR技术，由所述第一视点的第一深度图像与第二彩色图像或所述第二视点的第一彩色图像与第二深度图像绘制得到第三视点的第三彩色图像，包括：

将所述第一视点或第二视点作为参考视点；

利用下述公式1得到第三视点的第三彩色图像与所述参考视点的彩色图像之间的图像视差值d，

$d=\frac{Bf}{Z}---\left(1\right)$

其中，B为第三视点与参考视点的间距，Z为所述参考视点的深度图像的深度信息，表示所述目标距离所述第三视点和所述参考视点的深度值；所述f为所述参考视点所设置的相机的焦距；

按照所述图像视差值移动所述参考视点的彩色图像中的像素坐标，得到所述第三彩色图像。

其中，所述利用DIBR技术，由所述第一视点的第一深度图像和第二彩色图像和所述第二视点的第一彩色图像与第二深度图像绘制得到第三视点的第三彩色图像，包括：

将所述第一视点和第二视点分别作为参考视点；

利用下述公式2分别得到第三视点的第三彩色图像与所述两个参考视点的彩色图像之间的两个图像视差值d，

$d=\frac{Bf}{Z}---\left(2\right)$

其中，B为第三视点与参考视点的间距，Z为所述参考视点的深度图像的深度信息，表示所述目标距离所述第三视点和所述参考视点的深度值；所述f为所述参考视点所设置的相机的焦距；

按照所述两个图像视差值分别移动对应的参考视点的彩色图像中的像素坐标，得到两个彩色图像；

将所述两个彩色图像中对应的像素坐标的像素值进行平均或者加权平均，得到所述第三视点的第三彩色图像。

其中，所述利用所述第一深度图像和所述第一彩色图像获得所述目标在第一视点的第二彩色图像和/或所述目标在所述第二视点的第二深度图像，包括：

利用下面公式3计算得到所述第一深度图像和第二彩色图像的第一像素坐标(u_D,v_D)与所述第一彩色图像和第二深度图像的第二像素坐标(u_R,v_R)之间的对应关系，

$Z_R\stackrel{\‾}{U_R}=Z_D{M}_{R}R\·M_D^{-1}\stackrel{\‾}{U_D}+M_{R}T---\left(3\right)$

其中，所述Z_D为所述第一深度图像中的深度信息，表示所述目标距离所述深度相机的深度值；Z_R表示所述目标距离所述彩色相机的深度值；为所述彩色相机的图像坐标系上的像素齐次坐标；为所述深度相机的图像坐标系上的像素齐次坐标；M_R为所述彩色相机的内参矩阵，M_D为所述深度相机的内参矩阵；R为深度相机相对于彩色相机的外参矩阵中的旋转矩阵，T为深度相机相对于彩色相机的外参矩阵中的平移矩阵；

将所述第一深度图像的第一像素坐标的像素值设置为所述第一彩色图像中与所述第一像素坐标具有对应关系的第二像素坐标的像素值，以形成所述目标在第一视点的第二彩色图像，和/或

将所述第一彩色图像的第二像素坐标的深度值设置为所述第一深度图像中与所述第二像素坐标具有对应关系的第一像素坐标的深度值，以形成所述目标在所述第二视点的第二深度图像。

其中，所述第一视点与第二视点之间的位置关系为人体双眼之间的位置关系；所述彩色相机和所述深度相机的图像采集靶面大小相等、分辨率相同以及焦距相同。

其中，还包括：由所述第三彩色图像与所述第一彩色图像或第二彩色图像形成三维图像。

为解决上述技术问题，本发明采用另一种技术方法为：提供一种视点图像获得装置，包括：

获取模块，用于分别获取以第一视点对目标进行采集得到的第一深度图像和以第二视点对所述目标进行采集得到的第一彩色图像；

计算模块，用于利用所述第一深度图像和所述第一彩色图像获得所述目标在第一视点的第二彩色图像和/或所述目标在所述第二视点的第二深度图像；

得到模块，用于根据所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像得到第三视点的第三彩色图像。

为解决上述技术问题，本发明采用再一种技术方法为：提供一种视点图像获得系统，包括深度相机、彩色相机、与所述深度相机和彩色相机连接的图像处理设备；所述视点图像获得设备用于：

分别获取以第一视点对目标进行采集得到的第一深度图像和以第二视点对所述目标进行采集得到的第一彩色图像；

利用所述第一深度图像和所述第一彩色图像获得所述目标在第一视点的第二彩色图像和/或所述目标在所述第二视点的第二深度图像；

根据所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像得到第三视点的第三彩色图像。

本发明的有益效果是：利用采集得到的第一视点的第一深度图像和第二视点的第一彩色图像得到第一视点的第二彩色图像或第二视点的第二深度图像，进而由第一视点和/或第二视点的彩色图像和深度图像得到第三视点的第三彩色图像，由于第一视点的深度图像直接采集得到，且第二视点的深度图像依赖第一视点的深度图像得到，而无需单纯依靠彩色图像计算得到，因此减少了图像细节信息的流失，以更准确获得第三视点的彩色图像，减少了第三视点的彩色图像的失真度。

附图说明

图1是本发明视点图像的获得方法一实施例的流程图；

图2是本发明视点图像的获得方法一应用场景的示意图；

图3是本发明视点图像的获得方法另一实施例的部分流程图；

图4是本发明视点图像的获得方法再一实施例的部分流程图；

图5是本发明视点图像获得装置一实施例的结构示意图；

图6是本发明视点图像获得系统一实施例的结构示意图；

图7是本发明视点图像获得系统另一实施例的结构示意图。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

请参阅图1，图1是本发明视点图像的获得方法一实施例的流程图。本实施例中，该方法可由视点图像获得装置执行，包括以下步骤：

S11：分别获取以第一视点对目标进行采集得到的第一深度图像和以第二视点对所述目标进行采集得到的第一彩色图像。

值得注意的是，本发明所述的深度图像和彩色图像均为二维图像。

其中，该第一视点和第二视点位于目标的不同位置，以获得该目标的两个视点处的图像。该第一视点和第二视点可以为人体双眼的两个视点，即第一视点与第二视点之间的位置关系为人体双眼之间的位置关系。例如，常规人体双眼的距离为t，则将第一视点和第二视点之间的距离设置为t，该t具体如为6.5cm。当然，该第一视点和第二视点不限定为双眼的两个视点，该第一视点和第二视点可以为相距任意距离的两个视点。而且，为保证第一视点和第二视点的图像深度相同或者类似，将第一视点和第二视点设置为与该目标的距离相同或者距离相差不超过设定阈值，在具体应用中，该设定阈值可设置为不大于10cm或20cm的值。

在一具体应用中，如图2所示，该第一深度图像由设置在所述第一视点的深度相机21对目标23进行采集得到，该第一彩色图像由设置在所述第二视点的彩色相机22对目标23进行采集得到。深度相机21和彩色相机将其采集得到的图像传输至视点图像获得装置24，以进行下述视点图像的获取。由于彩色相机与深度相机的位置不同，故该第一彩色图像与第一深度图像中的相同像素坐标上所对应的空间三维点并不相同。

具体地，该深度相机21可以是基于结构光或TOF等其它原理的相机，这一类的深度相机可由一个投影镜头及采集镜头组成，比如结构光深度相机由投影模组及图像采集镜头组成，其中投影模组用于向目标区域投射特定图案的结构光，图像采集镜头用于采集目标区域带结构光图案的并进一步经计算可得到目标的第一深度图像。

进一步地，由于利用深度相机获取的深度图像可能存在一些数据坏点或区域，在后面步骤中进一步处理时会将这些数据进行放大，进而严重影响三维显示效果，为避免深度图像的坏点或区域数据对三维显示的影响，该S11还包括：对该第一深度图像进行去噪、平滑处理，再利用处理后的该第一深度图像进行下述步骤S12。

S12：利用所述第一深度图像和所述第一彩色图像得到所述目标在第一视点的第二彩色图像和/或所述目标在所述第二视点的第二深度图像。

例如，根据三维图像转换(3D Image Wrapping)理论——空间任一三维坐标点与图像采集平面上的二维坐标点可通过透射变换理论对应起来，故由此理论可将第一视点和第二视点的图像的像素坐标对应起来，并根据该对应关系，为第一视点的图像像素坐标设置第二视点的第一彩色图像中对应像素坐标的像素值；也可根据该对应关系，为第二视点的图像像素坐标设置第一视点的第一深度图像中对应像素坐标的深度值。

S13：根据所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像得到第三视点的第三彩色图像。

例如，当S12具体为利用所述第一深度图像和所述第一彩色图像得到所述目标在第一视点的第二彩色图像时，则S13具体为根据第一视点的第一深度图像与第二彩色图像得到第三视点的第三彩色图像；当S12具体为利用所述第一深度图像和所述第一彩色图像得到所述目标在所述第二视点的第二深度图像时，则S13具体为根据第二视点的第一彩色图像与第二深度图像得到第三视点的第三彩色图像；当S12具体为利用所述第一深度图像和所述第一彩色图像得到所述目标在第一视点的第二彩色图像和第二视点的第二深度图像时，则S13具体为根据第一视点的第一深度图像与第二彩色图像得到第三视点的一彩色图像，并根据第二视点的第一彩色图像与第二深度图像得到第三视点的另一彩色图像，将该两个第三视点的彩色图像对应的像素坐标的像素值进行平均或者加权平均或进行其他处理，作为第三视点的第三彩色图像对应的像素坐标的像素值。彩色图像中的一像素坐标举例，第三视点的两个彩色图像中的像素坐标(Ur,Vr)的像素值分别为(r1,g1,b1)和(r2,g2,b2),则将第三彩色图像中的像素坐标(Ur,Vr)的像素值设置为

上述步骤中，具体可利用深度图像绘制(depth-image-based rendering，DIBR)技术，由所述第一视点的深度图像与彩色图像绘制得到第三视点的彩色图像，或由所述第二视点的深度图像与彩色图像绘制得到第三视点的彩色图像。其中，该第三视点和第一视点或第二视点之间的视差可由系统设定或者由用户设定。

本实施例中，利用采集得到的第一视点的第一深度图像和第二视点的第一彩色图像得到第一视点的第二彩色图像或第二视点的第二深度图像，进而由第一视点和/或第二视点的彩色图像和深度图像得到第三视点的第三彩色图像，由于第一视点的深度图像直接采集得到，且第二视点的深度图像依赖第一视点的深度图像得到，而无需单纯依靠彩色图像计算得到，因此减少了图像细节信息的流失，以更准确获得第三视点的彩色图像，减少了第三视点的彩色图像的失真度。

在又一实施例中，获得装置在执行上述S11-S13后，还执行：由所述第三彩色图像与所述第一彩色图像或第二彩色图像形成三维图像。

例如，将第一彩色图像和第三彩色图像分别作为人体双眼图像，以合成三维图像，或者，将第二彩色图像和第三彩色图像分别作为人体双眼图像，以合成三维图像。进一步地，在合成三维图像后，还可将该三维图像进行显示，或者输出至连接的外部显示装置进行显示。

其中，上述S13中的第三视点可为根据用户的输入如用户目标观看视角而确定，进而获得用户目标观看视角对应的第三视点(第三视点和第一视点或第二视点构成该观看视角)，获得装置根据该第三视点以及第一视点或第二视点得到匹配用户目标观看视角的三维图像，实现面向用户目标观看视角的三维显示。

本实施例可实现三维显示，由于第三视点的彩色图像失真度低，故可减少了合成的三维图像的失真度，提高了基于二维图像生成的三维显示效果。另外，由于本实施例可绘制出任意第三视点的真实彩色图像，可获得任意视角的三维图像，故可实现任何视角的三维显示，且该第三视点可由用户输入信息确定，故可实现基于用户需求的任意视角的三维显示。

请参阅图3，在另一实施例中，该第一深度图像由设置在所述第一视点的深度相机对目标进行采集得到，该第一彩色图像由设置在所述第二视点的彩色相机对目标进行采集得到，本实施例与上述实施例的区别在于，上述S12包括以下子步骤：

S121：利用下面公式11计算得到所述第一深度图像的第一像素坐标(u_D,v_D)与所述第一彩色图像的第二像素坐标(u_R,v_R)之间的对应关系，

$Z_R\stackrel{\‾}{U_R}=Z_D{M}_{R}R\·M_D^{-1}\stackrel{\‾}{U_D}+M_{R}T---\left(11\right)$

其中，所述Z_D为所述第一深度图像中的深度信息，表示所述目标距离所述深度相机的深度值；Z_R表示所述目标距离所述彩色相机的深度值；为所述彩色相机的图像坐标系上的像素齐次坐标；为所述深度相机的图像坐标系上的像素齐次坐标；M_R为所述彩色相机的内参矩阵，M_D为所述深度相机的内参矩阵；R为深度相机相对于彩色相机的外参矩阵中的旋转矩阵，T为深度相机相对于彩色相机的外参矩阵中的平移矩阵。

上述相机的内参矩阵和外参矩阵可预先设定的，具体该内参矩阵可根据相机的设置参数计算得到，该外参矩阵可由深度相机与彩色相机之间的位置关系确定。在一具体实施例中，由相机的图像采集镜头的像素焦距以及图像采集靶面的中心位置坐标构成的内部参数矩阵。由于第一视点和第二视点的位置关系设置为人眼双眼的位置关系，人体双眼之间没有任何的相对旋转而仅有设定值t的距离，因此彩色相机相对于深度相机的旋转矩阵R为单位矩阵，平移矩阵T＝[t,0,0]^-1。

进一步地，该设定值t可根据深度相机和彩色相机与目标的距离进行调整。在再一实施例中，上述S11之前还包括以下步骤：获取目标与深度相机和彩色相机的距离；当判断所述目标与所述深度相机和所述彩色相机的距离均大于第一距离值时，将所述设定值t调大；当判断所述目标与所述深度相机和所述彩色相机的距离均小于第二距离值时，将所述设定值t调小。

其中，所述第一距离值大于或等于所述第二距离值。例如，当目标与深度相机的距离为100cm，目标与彩色相机的距离也为100cm，由于100cm小于第二距离值200cm，则将设定值调小一个步长值，或者按照当前目标与深度相机和彩色相机的距离计算得到调小值后进行调整。当目标与深度相机和彩色相机的距离均为300cm，由于300cm大于第二距离值200且小于第一距离值500cm，则不将该设定值进行调整。

S122：将所述第一深度图像的第一像素坐标的像素值设置为所述第一彩色图像中与所述第一像素坐标具有对应关系的第二像素坐标的像素值，以形成所述目标在第一视点的第二彩色图像，和/或，将所述第一彩色图像的第二像素坐标的深度值设置为所述第一深度图像中与所述第二像素坐标具有对应关系的第一像素坐标的深度值，以形成所述目标在所述第二视点的第二深度图像。

例如，将第一视点的第一深度图像的深度信息Z_D代入上述公式11后，可求得公式11左边的第二视点的深度信息也即第一彩色图像的深度信息Z_R，以及第一彩色图像的图像坐标系上的像素齐次坐标在本实施例中，深度相机和彩色相机与目标的距离相同，即求得的Z_R与Z_D是相等的。由像素齐次坐标可得到与该第一深度图像的第一像素坐标(u_D,v_D)一一对应的第一彩色图像的第二像素坐标(u_R,v_R)，例如其对应关系为(u_R,v_R)＝(u_D+d,v_D)。

根据对应关系，可将第一彩色图像的像素值(也可称为RGB值)赋值于第一深度图像，以生成第二彩色图像。以图像的其中一个像素坐标举例，若d为1，则第一深度图像的像素坐标(1,1)与第一彩色图像的像素坐标(2,1)对应。然后，将第一深度图像的像素坐标(1,1)的像素值设置为第一彩色图像中像素坐标(2,1)的像素值(r，g，b)。

根据对应关系，可将第一深度图像的深度值赋值于第一彩色图像，以生成第二深度图像。以图像的其中一个像素坐标举例，若d为1，则第一深度图像的像素坐标(1,1)与第一彩色图像的像素坐标(2,1)对应。然后，将第一彩色图像的像素坐标(2,1)的深度值设置为第一深度图像中像素坐标(1,1)的深度值10cm。

请参阅图4，在再一实施例中，其与上述实施例的区别在于，上述13中利用DIBR技术，由所述第一视点或第二视点的深度图像与彩色图像绘制得到第三视点的彩色图像具体包括以下子步骤：

S131：将所述第一视点或第二视点作为参考视点；

S132：利用下述公式12得到第三视点的第三彩色图像与所述参考视点的彩色图像之间的图像视差值d，

$d=\frac{Bf}{Z}---\left(12\right)$

其中，B为第三视点与参考视点的间距，Z为所述参考视点的深度图像的深度信息，表示所述目标距离所述第三视点和所述参考视点的深度值；所述f为所述参考视点所设置的相机的焦距；

S133：按照所述图像视差值移动所述参考视点的彩色图像中的像素坐标，得到所述第三彩色图像。

例如，将与该参考视点的彩色图像的像素坐标(u₁,v₁)均移动图像视差值d，得到第三彩色图像的像素坐标(u₂,v₂)＝(u₁+d,v₁)，并将像素坐标(u₁,v₁)的像素值对应赋值给得到第三彩色图像的像素坐标(u₂,v₂)，得到第三彩色图像每个像素坐标的像素值。

可以理解的是，当S13具体为利用DIBR技术，由所述第一视点的第一深度图像和第二彩色图像和所述第二视点的第一彩色图像与第二深度图像绘制得到第三视点的第三彩色图像时，上述S131则将第一视点和第二视点均作为参考点，并执行S132和S133得到以第一视点作为参考视点得到的第三视点的彩色图像和以第二视点作为参考视点得到的第三视点的彩色图像，并将所述两个第三视点的彩色图像中对应的像素坐标的像素值进行平均或者加权平均，得到所述第三视点的第三彩色图像。

可以理解的是，上述实施例中，可设置该深度相机和彩色相机的图像采集靶面大小相等、分辨率相同以及焦距相同。或者，彩色相机和所述深度相机的图像采集靶面大小、分辨率以及焦距中的至少一个不相同，例如彩色相机的靶面大小以及分辨率都比深度相机大，此时，上述S12之后，该获得方法还包括：对所述第一彩色图像和/或所述第二彩色图像进行插值、分割处理，使得所述第一彩色图像和所述第二彩色图像对应的目标区域相同，且图像大小与分辨率也相同。S12得到的第一深度图像和第二深度图像也可进行类似处理。由于彩色相机与深度相机在装配时存在误差，故上述该深度相机和彩色相机的图像采集靶面大小相等、分辨率相同以及焦距相同应理解为：该深度相机和彩色相机的图像采集靶面大小、分辨力和焦距为在允许误差的范围内的相同。

而且，上述图像包括照片或者视频，当上述图像为视频时，所述深度相机和彩色相机的采集频率同步，或者若深度相机和彩色相机的采集频率不同步，则通过图像插值的方式获得频率一致的视频图像。

请参阅图5，图5是本发明视点图像获得装置一实施例的结构示意图。本实施例中，该获得装置50包括获取模块51、计算模块52和得到模块53。其中，

获取模块51用于分别获取以第一视点对目标进行采集得到的第一深度图像和以第二视点对所述目标进行采集得到的目标的第一彩色图像；

计算模块52用于利用所述第一深度图像和所述第一彩色图像获得所述目标在第一视点的第二彩色图像和/或所述目标在所述第二视点的第二深度图像；

得到模块53用于根据所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像得到第三视点的第三彩色图像。

可选地，所述第一深度图像由设置在所述第一视点的深度相机对所述目标进行采集得到，所述第一彩色图像由设置在所述第二视点的彩色相机对所述目标进行采集得到。

可选地，得到模块53具体用于利用DIBR技术，由所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像绘制得到第三视点的第三彩色图像。

例如，得到模块53具体用于将所述第一视点或第二视点作为参考视点；利用上述公式12得到第三视点的第三彩色图像与所述参考视点的彩色图像之间的图像视差值；按照所述图像视差值将所述参考视点的彩色图像中的像素值进行移动，得到所述第三彩色图像。

又例如，得到模块53具体用于将所述第一视点和第二视点分别作为参考视点；利用上述公式12分别得到第三视点的第三彩色图像与所述两个参考视点的彩色图像之间的两个图像视差值；按照所述两个图像视差值分别将对应的参考视点的彩色图像中的像素值进行移动，得到两个彩色图像；将所述两个彩色图像中对应的像素坐标的像素值进行平均或者加权平均，得到所述第三视点的第三彩色图像。

可选地，计算模块52具体用于利用上述公式11计算得到所述第一深度图像的第一像素坐标(u_D,v_D)与所述第一彩色图像的第二像素坐标(u_R,v_R)之间的对应关系；将所述第一深度图像的第一像素坐标的像素值设置为所述第一彩色图像中与所述第一像素坐标具有对应关系的第二像素坐标的像素值，以形成所述目标在第一视点的第二彩色图像；和/或，将所述第一彩色图像的第二像素坐标的深度值设置为所述第一深度图像中与所述第二像素坐标具有对应关系的第一像素坐标的深度值，以形成所述目标在所述第二视点的第二深度图像。

进一步可选地，所述平移矩阵T＝[t,0,0]^-1，其中，所述t为设定值。

更进一步地，计算模块52还可用于:当判断所述目标与所述深度相机和所述彩色相机的距离均大于第一距离值时，将所述设定值t调大；当判断所述目标与所述深度相机和所述彩色相机的距离均小于第二距离值时，将所述设定值t调小，其中，所述第一距离值大于或等于所述第二距离值。

可选地，上述获得装置50还可包括形成模块54，用于由所述第三彩色图像与所述第一彩色图像或第二彩色图像形成三维图像。

可选地，所述第一视点与第二视点之间的位置关系为人体双眼之间的位置关系。

可选地，所述彩色相机和所述深度相机的图像采集靶面大小相等、分辨率相同以及焦距相同；或所述彩色相机和所述深度相机的图像采集靶面大小、分辨率以及焦距中的至少一个不相同，该计算模块52还可用于：对所述第一彩色图像和/或所述第二彩色图像进行插值、分割处理，使得所述第一彩色图像和所述第二彩色图像的图像大小和分辨率相同。

可选地，所述第一深度图像和所述第一彩色图像为照片或者视频，当所述第一深度图像和所述第一彩色图像为视频时，所述深度相机和彩色相机的采集频率同步，或者若深度相机和彩色相机的采集频率不同步，则通过图像插值的方式获得频率一致的视频图像。

其中，该获得装置的上述模块分别用于执行上述方法实施例中的相应步骤，具体执行过程如上方法实施例说明，在此不作赘述。

请参阅图6，图6是本发明视点图像获得系统一实施例方式的结构示意图。本实施例中，该系统60包括深度相机61、彩色相机62、与所述深度相机61和彩色相机62连接的图像处理设备63。该图像处理设备63包括输入接口631、处理器632、存储器633。

该输入接口631用于获得深度相机61和彩色相机62采集得到的图像。

存储器633用于存储计算机程序，并向处理器632提供所述计算机程序，且可存储处理器632处理时所采用的数据如深度相机61和彩色相机62的内参矩阵和外参矩阵等，以及输入接口631获得的图像。

处理器632用于：

通过输入接口631分别获取以第一视点的深度相机61对目标进行采集得到的第一深度图像和以第二视点的彩色相机62对所述目标进行采集得到的第一彩色图像；

利用所述第一深度图像和所述第一彩色图像获得所述目标在第一视点的第二彩色图像和/或所述目标在所述第二视点的第二深度图像；

根据所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像得到第三视点的第三彩色图像。

本实施例中，处理器632还可用于由所述第三彩色图像与所述第一彩色图像或第二彩色图像形成三维图像；图像处理设备63还可包括显示屏634，该显示屏634用于显示该三维图像，以实现三维显示。当然，在另一实施例中，图像处理设备63不用于显示该三维图像，如图7所示，该三维图像获得系统60还包括与图像处理设备63连接的显示设备64，显示设备64用于接收图像处理设备63输出的三维图像，并显示该三维图像。

可选地，处理器632具体用于利用DIBR技术，由所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像绘制得到第三视点的第三彩色图像。

例如，处理器632具体用于将所述第一视点或第二视点作为参考视点；利用上述公式12得到第三视点的第三彩色图像与所述参考视点的彩色图像之间的图像视差值；按照所述图像视差值将所述参考视点的彩色图像中的像素值进行移动，得到所述第三彩色图像。

又例如，处理器632具体用于将所述第一视点和第二视点分别作为参考视点；利用上述公式12分别得到第三视点的第三彩色图像与所述两个参考视点的彩色图像之间的两个图像视差值；按照所述两个图像视差值分别将对应的参考视点的彩色图像中的像素值进行移动，得到两个彩色图像；将所述两个彩色图像中对应的像素坐标的像素值进行平均或者加权平均，得到所述第三视点的第三彩色图像。

可选地，处理器632具体用于利用上述公式11计算得到所述第一深度图像的第一像素坐标(u_D,v_D)与所述第一彩色图像的第二像素坐标(u_R,v_R)之间的对应关系；将所述第一深度图像的第一像素坐标的像素值设置为所述第一彩色图像中与所述第一像素坐标具有对应关系的第二像素坐标的像素值，以形成所述目标在第一视点的第二彩色图像。

进一步可选地，所述平移矩阵T＝[t,0,0]^-1，其中，所述t为设定值。

更进一步地，处理器632还可用于:当判断所述目标与所述深度相机61和所述彩色相机62的距离均大于第一距离值时，将所述设定值t调大；当判断所述目标与所述深度相机61和所述彩色相机62的距离均小于第二距离值时，将所述设定值t调小，其中，所述第一距离值大于或等于所述第二距离值。

可选地，所述第一视点与第二视点之间的位置关系为人体双眼之间的位置关系。

可选地，所述彩色相机62和所述深度相机61的图像采集靶面大小相等、分辨率相同以及焦距相同；或所述彩色相机62和所述深度相机61的图像采集靶面大小、分辨率以及焦距中的至少一个不相同，该处理器632还可用于：对所述第一彩色图像和/或所述第二彩色图像进行插值、分割处理，使得所述第一彩色图像和所述第二彩色图像的图像大小和分辨率相同。

可选地，所述第一深度图像和所述第一彩色图像为照片或者视频，当所述第一深度图像和所述第一彩色图像为视频时，所述深度相机和彩色相机的采集频率同步，或者若深度相机和彩色相机的采集频率不同步，则通过图像插值的方式获得频率一致的视频图像。

该图像处理设备63可作为上述视点图像获得装置，用于执行上述实施例所述方法。例如，上述本发明实施方式揭示的方法也可以应用于处理器632中，或者由处理器632实现。处理器632可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器632中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器632可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器633，处理器632读取相应存储器中的信息，结合其硬件完成上述方法的步骤。

上述方案中，利用采集得到的第一视点的第一深度图像和第二视点的第一彩色图像得到第一视点的第二彩色图像或第二视点的第二深度图像，进而由第一视点和/或第二视点的彩色图像和深度图像得到第三视点的第三彩色图像，由于第一视点的深度图像直接采集得到，且第二视点的深度图像依赖第一视点的深度图像得到，而无需单纯依靠彩色图像计算得到，因此减少了图像细节信息的流失，以更准确获得第三视点的彩色图像，减少了第三视点的彩色图像的失真度。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视点图像的获得方法，其特征在于，包括：

分别获取以第一视点对目标进行采集得到的第一深度图像和以第二视点对所述目标进行采集得到的第一彩色图像；

利用所述第一深度图像和所述第一彩色图像获得所述目标在第一视点的第二彩色图像和/或所述目标在所述第二视点的第二深度图像；

根据所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像得到第三视点的第三彩色图像。

2.根据权利要求1所述的方法，其特征在于，所述第一深度图像由设置在所述第一视点的深度相机对所述目标进行采集得到，所述第一彩色图像由设置在所述第二视点的彩色相机对所述目标进行采集得到。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像得到第三视点的第三彩色图像，包括：

利用深度图像绘制DIBR技术，由所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像绘制得到第三视点的第三彩色图像。

4.根据权利要求3所述的方法，其特征在于，所述利用DIBR技术，由所述第一视点的第一深度图像与第二彩色图像或所述第二视点的第一彩色图像与第二深度图像绘制得到第三视点的第三彩色图像，包括：

将所述第一视点或第二视点作为参考视点；

利用下述公式1得到第三视点的第三彩色图像与所述参考视点的彩色图像之间的图像视差值d，

$d=\frac{Bf}{Z}---\left(1\right)$

其中，B为第三视点与参考视点的间距，Z为所述参考视点的深度图像的深度信息，表示所述目标距离所述第三视点和所述参考视点的深度值；所述f为所述参考视点所设置的相机的焦距；

按照所述图像视差值移动所述参考视点的彩色图像中的像素坐标，得到所述第三彩色图像。

5.根据权利要求3所述的方法，其特征在于，所述利用DIBR技术，由所述第一视点的第一深度图像和第二彩色图像和所述第二视点的第一彩色图像与第二深度图像绘制得到第三视点的第三彩色图像，包括：

将所述第一视点和第二视点分别作为参考视点；

利用下述公式2分别得到第三视点的第三彩色图像与所述两个参考视点的彩色图像之间的两个图像视差值d，

$d=\frac{Bf}{Z}---\left(2\right)$

其中，B为第三视点与参考视点的间距，Z为所述参考视点的深度图像的深度信息，表示所述目标距离所述第三视点和所述参考视点的深度值；所述f为所述参考视点所设置的相机的焦距；

按照所述两个图像视差值分别移动对应的参考视点的彩色图像中的像素坐标，得到两个彩色图像；

将所述两个彩色图像中对应的像素坐标的像素值进行平均或者加权平均，得到所述第三视点的第三彩色图像。

6.根据权利要求2所述的方法，其特征在于，所述利用所述第一深度图像和所述第一彩色图像获得所述目标在第一视点的第二彩色图像和/或所述目标在所述第二视点的第二深度图像，包括：

利用下面公式3计算得到所述第一深度图像和第二彩色图像的第一像素坐标(u_D,v_D)与所述第一彩色图像和第二深度图像的第二像素坐标(u_R,v_R)之间的对应关系，

$Z_R\stackrel{\‾}{U_R}=Z_D{M}_{R}R\·M_D^{-1}\stackrel{\‾}{U_D}+M_{R}T---\left(3\right)$

其中，所述Z_D为所述第一深度图像中的深度信息，表示所述目标距离所述深度相机的深度值；Z_R表示所述目标距离所述彩色相机的深度值；为所述彩色相机的图像坐标系上的像素齐次坐标；为所述深度相机的图像坐标系上的像素齐次坐标；M_R为所述彩色相机的内参矩阵，M_D为所述深度相机的内参矩阵；R为深度相机相对于彩色相机的外参矩阵中的旋转矩阵，T为深度相机相对于彩色相机的外参矩阵中的平移矩阵；

将所述第一深度图像的第一像素坐标的像素值设置为所述第一彩色图像中与所述第一像素坐标具有对应关系的第二像素坐标的像素值，以形成所述目标在第一视点的第二彩色图像，和/或

将所述第一彩色图像的第二像素坐标的深度值设置为所述第一深度图像中与所述第二像素坐标具有对应关系的第一像素坐标的深度值，以形成所述目标在所述第二视点的第二深度图像。

7.根据权利要求2所述的方法，其特征在于，所述第一视点与第二视点之间的位置关系为人体双眼之间的位置关系；所述彩色相机和所述深度相机的图像采集靶面大小相等、分辨率相同以及焦距相同。

8.根据权利要求1至7任一项所述的方法，其特征在于，还包括：

由所述第三彩色图像与所述第一彩色图像或第二彩色图像形成三维图像。

9.一种视点图像获得装置，其特征在于，包括：

获取模块，用于分别获取以第一视点对目标进行采集得到的第一深度图像和以第二视点对所述目标进行采集得到的第一彩色图像；

计算模块，用于利用所述第一深度图像和所述第一彩色图像获得所述目标在第一视点的第二彩色图像和/或所述目标在所述第二视点的第二深度图像；

得到模块，用于根据所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像得到第三视点的第三彩色图像。

10.一种视点图像获得系统，其特征在于，包括深度相机、彩色相机、与所述深度相机和彩色相机连接的图像处理设备；

所述视点图像获得设备用于：

分别获取以第一视点的深度相机对目标进行采集得到的第一深度图像和以第二视点的彩色相机对所述目标进行采集得到的第一彩色图像；

利用所述第一深度图像和所述第一彩色图像获得所述目标在第一视点的第二彩色图像和/或所述目标在所述第二视点的第二深度图像；

根据所述第一视点的第一深度图像与第二彩色图像和/或所述第二视点的第一彩色图像与第二深度图像得到第三视点的第三彩色图像。