CN101754042B - 图像重构方法和图像重构系统 - Google Patents

Abstract

本发明实施例公开了一种图像重构方法和图像重构系统，所述方法包括：获取已知视点的图像信息；获取所述已知视点的深度信息；配准所述已知视点的所述图像信息和深度信息，使所述深度信息中的点与所述图像信息中的对应点重合；对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息；根据所述已知视点的所述图像信息和所述视差信息重构虚拟视点的图像。通过将所述深度信息转换为视差信息重构图像，从而不需要通过立体匹配算法获取视差信息，因此避免进行大量的、高复杂度的计算，提高了图像重构的实时性，并且提高了重构图像的质量。

Description

图像重构方法和图像重构系统

技术领域

本发明主要涉及图像处理技术领域，尤其涉及图像重构方法和图像重构系统。 

背景技术

随着视频技术的发展，多视点图像合成越来越成为研究的热点，在图像合成中，图像所拍摄景物的深度信息是至关重要的，由此也引出许多研究热点，例如深度信息的获取，深度信息的压缩等等。 

现在的重点大部分集中在深度信息的获取和压缩方面，对于深度信息的获取，现有技术是采用立体匹配算法来获取深度信息，立体匹配的思想是在有水平视差的两幅图(称为左右图)情况下，取左图中一点，在右图中寻找与之对应点的位置，得到位置后，两者水平坐标的差就是该点的视差，自此完成一个点的匹配计算，通过匹配计算，得到左右图之间的视差，然后通过视差进行重构。 

发明人在实践中发现，现有技术至少存在以下缺点：现有技术中采用立体匹配算法效果不是特别理想，在利用匹配算法得到的视差信息重构视频时有较明显的帧间闪烁，并且匹配算法最大的难点在于速度，由于图像重构需要的视差图是致密的，也就是图中每个点都需要相对准确的视差，因此立体匹配就需要对图中每个像素点进行匹配计算，这样的计算量是巨大的，因此很难满足图像重构的实时性要求，同时立体匹配算法还不是特别稳定，这种不稳定性在重构视频时会导致物体边缘的闪烁。 

发明内容

本发明实施例提出一种图像重构方法和图像重构系统，提高了图像重构的实时性，并且提高了重构图像的质量。

本发明实施例的技术方案是这样实现的： 

一种图像重构方法，包括： 

获取已知视点的图像信息； 

获取所述已知视点的深度信息； 

配准所述已知视点的所述图像信息和深度信息，使所述深度信息中的点与所述图像信息中的对应点重合； 

对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息； 

根据所述已知视点的所述图像信息和所述视差信息重构虚拟视点的图像。 

一种图像重构方法，包括： 

获取已知第一视点的第一图像信息和已知第二视点的第二图像信息； 

获取所述已知第一视点的第一深度信息； 

根据所述第一图像信息、所述第二图像信息和所述第一深度信息确定所述第一深度信息的第一深度视差对应因子； 

根据所述第一深度视差对应因子对所述第一深度信息进行深度视差转换，获取第一视差信息； 

根据所述第一图像信息和所述第一视差信息重构虚拟视点的第三图像。一种图像重构系统，包括： 

图像获取装置，用于获取已知视点的图像信息；深度信息获取装置，用于获取所述已知视点的深度信息； 

配准装置，用于配准所述已知视点的所述图像信息和深度信息，使所述深度信息中的点与所述图像信息中的对应点重合； 

转换装置，用于对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息； 

重构装置，用于根据所述已知视点的所述图像信息和所述视差信息重构虚拟视点的图像。 

一种图像重构系统，包括： 

第一图像获取装置，用于获取已知第一视点的第一图像信息； 

第二图像获取装置，用于获取已知第二视点的第二图像信息； 

第一深度信息获取装置，用于获取所述已知第一视点的第一深度信息； 

第一确定装置，用于根据所述第一图像信息、所述第二图像信息和所述第一深度信息确定所述第一深度信息的第一深度视差对应因子； 

第一转换装置，用于根据所述第一深度视差对应因子对所述第一深度信息进行深度视差转换，获取第一视差信息； 

第一重构装置，用于根据所述第一图像信息和所述第一视差信息重构虚拟视点的第三图像。 

本发明实施例所述技术方案通过直接获取深度信息，通过将所述深度信息转换为视差信息重构图像，从而不需要通过立体匹配算法获取视差信息，因此避免进行大量的、高复杂度的计算，提高了图像重构的实时性，并且由于不再采用立体匹配算法进行图像重构，因此不会存在帧间闪烁，提高了重构图像的质量。 

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。 

图1为本发明实施例场景与视点关系示意图； 

图2为本发明实施例场景与像点关系示意图； 

图3为本发明一种图像重构方法第一实施例的流程图； 

图4为本发明一种图像重构方法第二实施例的流程图 

图5为本发明一种图像重构方法第三实施例的流程图； 

图6为本发明一种图像重构方法第四实施例的流程图； 

图7为本发明一种图像重构方法第五实施例的流程图 

图8为本发明一种图像重构系统第一实施例的组成结构图； 

图9为本发明一种图像重构系统第二实施例的组成结构图； 

图10为本发明一种图像重构系统第三实施例的组成结构图； 

图11为本发明一种图像重构系统第四实施例的组成结构图； 

图12为本发明一种图像重构系统第五实施例的组成结构图。 

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 

本发明实施例利用已知视点的图像信息和深度信息进行虚拟位置的图像重构。如图1所示，在已知视点1处和已知视点2处利用图像获取装置拍摄场景图像，在所述已知视点1处放置深度信息获取装置来获取场景的深度信息，然后经过计算得到已知视点1和已知视点2之间的虚拟视点(如虚拟视点1和虚拟视点2)的场景图像。如图2所示，设空间一点M(X，Y，Z)在两个图像获取装置中的像点分别是(x1，y1)、(x2，y2)，则在知道基线长B和焦距f的情况下，可以计算出深度Z： 

$Z=\frac{\mathrm{fB}}{x_2-x_1}=\frac{\mathrm{fB}}{\▿x}$

则所述两个图像获取装置获取图像的视差为

$x_2-x_1=\▿x_{21}=\frac{\mathrm{fB}}{Z}$

则中间虚拟视点X处的视差为

$x_2-x_0=\▿x_{20}=\frac{f{B}_{20}}{Z}$

本发明实施例通过在已知视点x₂，已知视点x₁，深度Z，和视点x₀的情况下重构出x₀处的场景图像。由上面公式可知，要重构出x₀处的场景图像，需要知道x₂和视差

由深度信息获取装置获取的深度信息z仅具有相对意义，可以表示场景的深度关系，而不具有实际意义的视差信息。在进行重构时需要将不具有实际意义的场景深度信息转换为具有实际意义的视差信息，即由深度Z求出

深度与视差的关系为： 

$Z=\frac{\mathrm{fB}}{x_2-x_1}=\frac{\mathrm{fB}}{\▿x}$

在拍摄过程中系统参数摄像机焦距f，和两摄像机光心距离是恒定的，因此fB是恒定的。因此确定fB后，就可以完成由深度到视差的转换，这种转换的时间开销基本可以忽略。相对于采用匹配算法得到视差的方法来说，实时性 的优势是显而易见的。 

在本发明以下各实施例的描述中，为了方便说明，所述已知视点1为左视点，已知视点2为右视点，因此，所述图像获取装置在已知视点1处所获取的图像为左图像，在已知视点2处所获取的图像为右图像，在已知视点1处所获取的深度信息为左深度信息或左深度图，在已知视点2处所获取的深度信息为右深度信息或右深度图。所述图像获取装置以摄像机或彩色摄像机进行说明，所述深度信息获取装置以深度摄像机进行说明，所述图像获取装置和所述深度信息获取装置也可以集成为一个装置，可以理解，其不应理解为对本发明保护范围的任何限定。 

先以一个实例对本发明实施例的思路进行详细的说明，所述实例以两个图像获取装置，和两个深度信息获取装置的配置进行说明，可以理解，对于其他配置，也属于本发明的保护范围。所述两个图像获取装置平行设置，深度信息获取装置和图像获取装置的光心需要尽可能重合，如果深度信息获取装置和图像获取装置的光心距离较大，则拍摄的图像不会完全重合，此时需要进行配准，即使得深度信息获取装置所获取图像中的点与图像获取装置所获取图像中的对应点在位置上完全相同。如场景中某点在图像获取装置中成像坐标为(x₁y₁)，在深度信息获取装置中该点成像坐标为(x_d1y_d1)，则有： 

x₁-x_d1＝0 

y₁-y_d1＝0 

对于图像获取装置所获取的图像信息，在重构之前，需要将图像校正到平行状态，即两图像中只有水平视差，不存在垂直视差。如场景中某点在两个图像获取装置中的成像坐标分别是(x₁y₁)、(x₂y₂)，则有： 

x₁-x₂＝d 

y₁-y₂＝0 

其中d为左右图(已知视点1和已知视点2)间的视差。 

接下来需要将由深度信息获取装置所获取的不具有实际意义的深度信息z转换得到具有实际意义的视差信息

即确定： 

$Z=\frac{\mathrm{fB}}{x_2-x_1}=\frac{\mathrm{fB}}{\▿x}$

中的fB的值。对此本发明实施例优选采用一种基于特征点匹配的方法来获取两个图像中特征点之间的视差。由于由深度信息获取装置实际获取到的深度图像是含有噪声的，因此本发明实施例优选采用计算N个特征点，然后求取平均值的办法去除噪声，从而得到更为精确的fB值。 

设D＝1/z，fB＝λ，则： 

$\mathrm{\λ}=\frac{\▿\mathrm{\χ}}{D}$

$\mathrm{\λ}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{\▿x_i}{D_i}}{N}$

由此，确定了深度与视差的深度视差对应因子λ，接下来就可以将深度图中的所有点的深度信息转换成视差信息，即  $\▿x=D*\mathrm{\λ}.$ 对于左深度图和右深度图分别采用上面的方法，确定左深度图的深度视差对应因子λ₁和右深度图的深度视差对应因子λ₂，获得左视差图和右视差图。对于虚拟中间视点x’，其与左图像获取装置(摄像机)光心距离为B’，则该点与左摄像机之间的视差

为： 

$\▿x\′=D*\mathrm{\λ}\′=D*\mathrm{fB}\′$

由于中间视点x’与左摄像机的光心距离B’是已知的，则可以求出与左摄像机的视差与左右摄像机视差之间关系为： 

$\frac{\▿x^{,}}{\▿x}=\frac{B^{,}}{B}$

则中间视点与左摄像机之间视差为： 

$\▿x^{,}=\frac{B^{,}}{B}\▿x$

因此，对于虚拟中间视点的每一点，都可以由与左摄像机图像的视差计算得出。 

参照图3，示出了本发明一种图像重构方法第一实施例的流程图，包括步骤： 

步骤310、获取已知第一视点的第一图像信息和已知第二视点的第二图像信息。

在已知第一视点和已知第二视点分别通过图像获取装置获取场景的图像信息，在本发明各实施例中，所述第一视点所获取的图像为左图像，所述第二视点所获取的图像为右图像。 

步骤320、获取所述已知第一视点的第一深度信息。 

通过深度信息获取装置获取场景在已知第一视点处的深度信息。 

步骤330、确定所述第一深度信息的第一深度视差对应因子。 

根据所述第一图像信息、所述第二图像信息和所述第一深度信息确定所述第一深度信息的第一深度视差对应因子。 

所述深度视差对应因子确定方法的详细过程已经在前面进行了详细描述，在此不再赘述。 

步骤340、根据所述第一深度视差对应因子对所述第一深度信息进行深度视差转换，获取第一视差信息。 

所述根据所述第一深度视差对应因子对所述第一深度信息进行深度视差转换，获取第一视差信息的原理和过程在前面已经进行了详细描述，为了篇幅考虑，在此不再赘述。 

步骤350、根据所述第一图像信息和所述第一视差信息重构虚拟视点的第三图像。 

其中，所述步骤330中的深度视差因子确定以后，在以后每个图像重构过程中，重复使用所述确定的深度视差对应因子即可，不必重新确定深度视差对应因子。也就是说，确定了深度视差对应因子以后，所述步骤330就不必再进行了。 

本发明实施例通过直接获取深度信息，通过将所述深度信息转换为视差信息重构图像，从而不需要通过立体匹配算法获取视差信息，因此避免进行大量的、高复杂度的计算，提高了图像重构的实时性，并且由于不再采用立体匹配算法进行图像重构，因此不会存在帧间闪烁，提高了重构图像的质量。 

在本发明各实施例中，所述图像信息由图像获取装置获取，所述图像获取装置优选摄像机或彩色摄像机，当然也可以选择其他的图像获取装置，本发明实施例对此不作限定。所述深度信息由深度信息获取装置获取，所述深度信息获取装置优选深度摄像机，同样，也可以选择其他的深度信息获取装置。为了 使图像获取装置所获取图像中的点与深度信息获取装置所获取深度图像中的对应点重合，所述图像获取装置和所述深度信息获取装置优选重合或集成一体。 

参照图4，示出了本发明一种图像重构方法第二实施例的流程图。在所述第二实施例中，如果图像获取装置所获取图像中的点与深度信息获取装置所获取深度图像中的对应点不重合或图像获取装置所获取的两个图像不平行，则在确定深度视差对应因子前还包括步骤313和步骤314。 

步骤311、获取已知第一视点的第一图像信息和已知第二视点的第二图像信息。 

在已知第一视点和已知第二视点分别通过图像获取装置获取场景的图像信息，在本发明各实施例中，所述第一视点所获取的图像为左图像，所述第二视点所获取的图像为右图像。 

步骤312、获取所述已知第一视点的第一深度信息。 

通过深度信息获取装置获取场景在已知第一视点处的深度信息。 

步骤313、校正所述第一图像信息和所述第二图像信息，使所述第一图像信息中的点与所述第二图像信息中的对应点平行。 

所述步骤313也可以有步骤311之后，本发明实施例并不对此进行限定。 

步骤314、配准所述第一图像信息和所述第一深度信息，使所述第一图像信息中的点与所述第一深度信息中的对应点重合。 

步骤315、确定所述第一深度信息的第一深度视差对应因子。 

根据所述第一图像信息、所述第二图像信息和所述第一深度信息确定所述第一深度信息的第一深度视差对应因子。 

所述深度视差对应因子确定方法的详细过程已经在前面进行了详细描述，在此不再赘述。 

步骤316、根据所述第一深度视差对应因子对所述第一深度信息进行深度视差转换，获取第一视差信息。 

所述根据所述第一深度视差对应因子对所述第一深度信息进行深度视差转换，获取第一视差信息的原理和过程在前面已经进行了详细描述，为了篇幅考虑，在此不再赘述。

步骤317、根据所述第一图像信息和所述第一视差信息重构虚拟视点的第三图像。 

其中，所述步骤315中的深度视差因子确定以后，在以后每个图像重构过程中，重复使用所述确定的深度视差对应因子即可，不必重新确定深度视差对应因子。也就是说，确定了深度视差对应因子以后，所述步骤315就不必再进行了。 

本发明实施例通过直接获取深度信息，通过将所述深度信息转换为视差信息重构图像，从而不需要通过立体匹配算法获取视差信息，因此避免进行大量的、高复杂度的计算，提高了图像重构的实时性，并且由于不再采用立体匹配算法进行图像重构，因此不会存在帧间闪烁，提高了重构图像的质量。 

参照图5，示出了本发明一种图像重构方法第三实施例的流程图，包括步骤： 

步骤410、获取已知第一视点的第一图像信息和已知第二视点的第二图像信息。 

在已知第一视点和已知第二视点分别通过图像获取装置获取场景的图像信息，在本发明各实施例中，所述第一视点所获取的图像为左图像，所述第二视点所获取的图像为右图像。 

步骤420、获取所述已知第一视点的第一深度信息和所述已知第二视点的第二深度信息。 

通过深度信息获取装置获取场景在已知第一视点处和已知第二视点处的深度信息。 

步骤430、确定所述第一深度信息的第一深度视差对应因子和所述第二深度信息的第二深度视差对应因子。 

根据所述第一图像信息、所述第二图像信息和所述第一深度信息确定所述第一深度信息的第一深度视差对应因子。 

根据所述第一图像信息、所述第二图像信息和所述第二深度信息确定所述第二深度信息的第二深度视差对应因子。 

所述深度视差对应因子确定的方法在前面已经进行了详细描述，在此不再赘述。

步骤440、根据所述第一深度视差对应因子对所述第一深度信息进行深度视差转换，获取第一视差信息，根据所述第二深度视差对应因子对所述第二深度信息进行深度视差转换，获取第二视差信息。 

所述根据深度视差对应因子对深度信息进行深度视差转换，获取视差信息的原理和过程在前面已经进行了详细描述，为了篇幅考虑，在此不再赘述。 

步骤450、根据所述第一图像信息和所述第一视差信息重构虚拟视点的第三图像，根据所述第二图像信息和所述第二视差信息重构虚拟视点的第四图像。 

步骤460、根据所述第三图像和所述第四图像进行空洞填补，生成所述虚拟视点的第五图像。 

在本发明各实施例中，所述图像信息由图像获取装置获取，所述图像获取装置优选摄像机或彩色摄像机，当然也可以选择其他的图像获取装置，本发明实施例对此不作限定。所述深度信息由深度信息获取装置获取，所述深度信息获取装置优选深度摄像机，同样，也可以选择其他的深度信息获取装置。为了使图像获取装置所获取图像中的点与深度信息获取装置所获取深度图像中的对应点重合，所述图像获取装置和所述深度信息获取装置优选重合或集成一体。 

如果图像获取装置所获取图像中的点与深度信息获取装置所获取深度图像中的对应点不重合或图像获取装置所获取的两个图像不平行，则在确定所述深度视差对应因子前还包括步骤： 

校正所述第一图像信息和所述第二图像信息，使所述第一图像信息中的点与所述第二图像信息中的对应点平行。 

配准所述第一图像信息和所述第一深度信息，使所述第一图像信息中的点与所述第一深度信息中的对应点重合。 

配准所述第二图像信息和所述第二深度信息，使所述第二图像信息中的点与所述第二深度信息中的对应点重合。 

本发明实施例通过直接获取深度信息，通过将所述深度信息转换为视差信息重构图像，从而不需要通过立体匹配算法获取视差信息，因此避免进行大量的、高复杂度的计算，提高了图像重构的实时性，并且提高了重构图像的质量。 并且，通过获取场景足够多的深度信息，解决了场景内的遮挡问题。而所述场景内的遮挡问题在采用立体匹配算法重构图像时是无法解决的。 

以上两个实施例是以两个视点的图像信息和深度信息进行虚拟视点图像的重构。可以理解，如果采用更多视点的图像信息和深度信息进行虚拟视点图像的重构也是可以的，且所述重构过程的原理与采用两个视点相同，因此本发明实施例不再详细说明。 

参照图6，示出了本发明一种图像重构方法第四实施例的流程图，包括步骤： 

步骤510、获取已知视点的图像信息。 

步骤520、获取所述已知视点的深度信息。 

步骤530、对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息。 

在对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息前还需要： 

确定所述深度信息的深度视差对应因子。 

从而根据所述深度视差对应因子对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息。 

步骤540、根据所述已知视点的所述图像信息和所述视差信息重构虚拟视点的图像。 

所述实施例采用一个已知视点的图像信息和深度信息。其应用的场景是生成小视差的其它虚拟视点图像，可以用在立体显示方面。在一个已知视点的情况下，不需要进行图像信息的校正。 

参照图7，示出了本发明一种图像重构方法第五实施例的流程图，包括步骤： 

步骤511、获取已知视点的图像信息。 

步骤512、获取所述已知视点的深度信息。 

步骤513、配准所述已知视点的图像信息和所述已知视点的深度信息，使所述深度信息中的点与所述图像信息中的对应点重合。 

步骤514、确定所述深度信息的深度视差对应因子。

本实施例中的所述深度视差对应因子不具有实际的意义，深度视差对应因子的选择可以根据应用场景的需要来进行选择，如根据立体显示器的参数来进行选择。 

步骤515、根据所述深度视差对应因子对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息。 

步骤516、根据所述已知视点的所述图像信息和所述视差信息重构虚拟视点的图像。 

所述实施例采用一个已知视点的图像信息和深度信息。其应用的场景是生成小视差的其它虚拟视点图像，可以用在立体显示方面。在一个已知视点的情况下，不需要进行图像信息的校正，但是需要进行图像信息与深度信息的配准。所述配准过程与前面实施例的过程相同；在本实施例中，仍然需要确定深度视差对应因子，不过此时的深度视差对应因子不具有实际的意义，深度视差对应因子的选择可以根据应用场景的需要来进行选择，如根据立体显示器的参数来进行选择。 

参照图8，示出了本发明一种图像重构系统第一实施例的组成结构图，包括： 

第一图像获取装置610、用于获取已知第一视点的第一图像信息。 

第二图像获取装置620、用于获取已知第二视点的第二图像信息。 

第一深度信息获取装置630、用于获取所述已知第一视点的第一深度信息。 

第一确定装置640、用于根据所述第一图像信息、所述第二图像信息和所述第一深度信息确定所述第一深度信息的第一深度视差对应因子。 

第一转换装置650、用于根据所述第一深度视差对应因子对所述第一深度信息进行深度视差转换，获取第一视差信息。 

第一重构装置660、用于根据所述第一图像信息和所述第一视差信息重构虚拟视点的第三图像。 

所述图像重构系统的工作过程和工作原理参考前面相关部分的描述，为了篇幅考虑，在此不进行详细描述。 

本发明实施例通过直接获取深度信息，通过将所述深度信息转换为视差信 息重构图像，从而不需要通过立体匹配算法获取视差信息，因此避免进行大量的、高复杂度的计算，提高了图像重构的实时性，并且由于不再采用立体匹配算法进行图像重构，因此不会存在帧间闪烁，提高了重构图像的质量。 

为了使图像获取装置所获取图像中的点与深度信息获取装置所获取深度图像中的对应点重合，所述第一图像获取装置和所述第一深度信息获取装置优选重合或集成一体。 

参照图9，示出了本发明一种图像重构系统第二实施例的组成结构图。在本发明一种图像重构系统第二实施例中，如果图像获取装置所获取图像中的点与深度信息获取装置所获取深度图像中的对应点不重合或图像获取装置所获取的两个图像不平行，则所述图像重构系统还包括校正装置611和第一配准装置612。所述图像重构系统包括： 

第一图像获取装置610、用于获取已知第一视点的第一图像信息。 

第二图像获取装置620、用于获取已知第二视点的第二图像信息。 

第一深度信息获取装置630、用于获取所述已知第一视点的第一深度信息。 

校正装置611、用于校正所述第一图像信息和所述第二图像信息，使所述第一图像信息中的点与所述第二图像信息中的对应点平行。 

第一配准装置612、用于配准所述第一图像信息和所述第一深度信息，使所述第一图像信息中的点与所述第一深度信息中的对应点重合。 

第一确定装置640、用于根据所述第一图像信息、所述第二图像信息和所述第一深度信息确定所述第一深度信息的第一深度视差对应因子。 

第一转换装置650、用于根据所述第一深度视差对应因子对所述第一深度信息进行深度视差转换，获取第一视差信息。 

第一重构装置660、用于根据所述第一图像信息和所述第一视差信息重构虚拟视点的第三图像。 

本发明实施例通过直接获取深度信息，通过将所述深度信息转换为视差信息重构图像，从而不需要通过立体匹配算法获取视差信息，因此避免进行大量的、高复杂度的计算，提高了图像重构的实时性，并且由于不再采用立体匹配算法进行图像重构，因此不会存在帧间闪烁，提高了重构图像的质量。

参照图10，示出了本发明一种图像重构系统第三实施例的组成结构图。所述图像重构系统除了包括第二实施例中的各组成部分外，还包括： 

第二深度信息获取装置710、用于获取所述已知第二视点的第二深度信息。 

第二确定装置720、用于根据所述第一图像信息、所述第二图像信息和所述第二深度信息确定所述第二深度信息的第二深度视差对应因子。 

第二转换装置730、用于根据所述第二深度视差对应因子对所述第二深度信息进行深度视差转换，获取第二视差信息。 

第二重构装置740、用于根据所述第二图像信息和所述第二视差信息重构所述虚拟视点的第四图像。 

空洞填补装置750、用于根据所述第三图像和所述第四图像进行空洞填补，生成所述虚拟视点的第五图像。 

所述图像重构系统的工作过程和工作原理参考前面相关部分的描述，为了篇幅考虑，在此不进行详细描述。 

为了使图像获取装置所获取图像中的点与深度信息获取装置所获取深度图像中的对应点重合，所述第一图像获取装置和所述第一深度信息获取装置、所述第二图像获取装置和所述第二深度信息获取装置优选重合或集成一体。 

如果图像获取装置所获取图像中的点与深度信息获取装置所获取深度图像中的对应点不重合或图像获取装置所获取的两个图像不平行，则所述图像重构系统还包括： 

校正装置611、用于校正所述第一图像信息和所述第二图像信息，使所述第一图像信息中的点与所述第二图像信息中的对应点平行。 

第一配准装置612、用于配准所述第一图像信息和所述第一深度信息，使所述第一图像信息中的点与所述第一深度信息中的对应点重合。 

第二配准装置613、用于配准所述第二图像信息和所述第二深度信息，使所述第二图像信息中的点与所述第二深度信息中的对应点重合。 

本发明实施例通过直接获取深度信息，通过将所述深度信息转换为视差信息重构图像，从而不需要通过立体匹配算法获取视差信息，因此避免进行大量的、高复杂度的计算，提高了图像重构的实时性，并且提高了重构图像的质量。 并且，通过获取场景足够多的深度信息，解决了场景内的遮挡问题。而所述场景内的遮挡问题在采用立体匹配算法重构图像时是无法解决的。 

以上两个实施例是以两个视点的图像信息和深度信息进行虚拟视点图像的重构。可以理解，如果采用更多视点的图像信息和深度信息进行虚拟视点图像的重构也是可以的，且所述重构过程的原理与采用两个视点相同，因此本发明实施例不再详细说明。 

参照图11，示出了本发明一种图像重构系统第四实施例的组成结构图，包括： 

图像获取装置810、用于获取已知视点的图像信息。 

深度信息获取装置820、用于获取所述已知视点的深度信息。 

转换装置830、用于对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息。 

重构装置840、用于根据所述已知视点的所述图像信息和所述视差信息重构虚拟视点的图像。 

所述实施例采用一个已知视点的图像信息和深度信息。其应用的场景是生成小视差的其它虚拟视点图像，可以用在立体显示方面。在一个已知视点的情况下，不需要进行图像信息的校正。 

参照图12，示出了本发明一种图像重构系统第一实施例的组成结构图。在本发明一种图像重构系统的第五实施例中，所述图像重构系统还包括： 

图像获取装置810、用于获取已知视点的图像信息。 

深度信息获取装置820、用于获取所述已知视点的深度信息。 

转换装置830、用于对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息。 

重构装置840、用于根据所述已知视点的所述图像信息和所述视差信息重构虚拟视点的图像。 

确定装置850、用于确定所述深度信息的深度视差对应因子。 

配准装置860、用于对所述图像获取装置所获取的图像和所述深度信息获取装置所获取的图像进行配准，使深度图中的点与图像中的对应点在位置上完全相同。

所述转换装置830根据所述深度视差对应因子对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息。 

所述实施例采用一个已知视点的图像信息和深度信息。其应用的场景是生成小视差的其它虚拟视点图像，可以用在立体显示方面。在一个已知视点的情况下，不需要进行图像信息的校正，但是需要进行图像信息与深度信息的配准。所述配准过程与前面实施例的过程相同。在本实施例中，仍然需要确定深度视差对应因子，不过此时的深度视差对应因子不具有实际的意义，深度视差对应因子的选择可以根据应用场景的需要来进行选择，如根据立体显示器的参数来进行选择。 

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括如上述方法实施例的步骤，所述的存储介质，如：磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。在本发明各方法实施例中，所述各步骤的序号并不能用于限定各步骤的先后顺序，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，对各步骤的先后变化也在本发明的保护范围之内。 

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种图像重构方法，其特征在于，包括：

获取已知视点的图像信息；

获取所述已知视点的深度信息；

配准所述已知视点的所述图像信息和深度信息，使所述深度信息中的点与所述图像信息中的对应点重合；

对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息；

根据所述已知视点的所述图像信息和所述视差信息重构虚拟视点的图像。

2.根据权利要求1所述的图像重构方法，其特征在于，对所述深度信息进行深度视差转换前，还包括：

确定所述深度信息的深度视差对应因子。

3.根据权利要求2所述的图像重构方法，其特征在于，所述对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息为：

根据所述深度视差对应因子对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息。

4.一种图像重构方法，其特征在于，包括：

获取已知第一视点的第一图像信息和已知第二视点的第二图像信息；

获取所述已知第一视点的第一深度信息；

根据所述第一图像信息、所述第二图像信息和所述第一深度信息确定所述第一深度信息的第一深度视差对应因子；

根据所述第一深度视差对应因子对所述第一深度信息进行深度视差转换，获取第一视差信息；

根据所述第一图像信息和所述第一视差信息重构虚拟视点的第三图像。

5.根据权利要求4所述的图像重构方法，其特征在于，还包括：

获取所述已知第二视点的第二深度信息；

根据所述第一图像信息、所述第二图像信息和所述第二深度信息确定所述第二深度信息的第二深度视差对应因子；

根据所述第二深度视差对应因子对所述第二深度信息进行深度视差转换，获取第二视差信息；

根据所述第二图像信息和所述第二视差信息重构所述虚拟视点的第四图像。

6.根据权利要求5所述的图像重构方法，其特征在于，重构所述虚拟视点的第三图像和第四图像后，还包括：

根据所述第三图像和所述第四图像进行空洞填补，生成所述虚拟视点的第五图像。

7.根据权利要求4或5或6所述的图像重构方法，其特征在于，所述第一深度视差对应因子或所述第二深度视差对应因子根据以下公式确定：

$\mathrm{\λ}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{{\▿x}_i}{D_i}}{N}$ (N为1、2、3......)

其中，所述λ为深度视差对应因子，所述

为所述第一图像信息和所述第二图像信息中第i特征点之间的视差，所述D_i为深度信息中第i特征点的深度信息z_i的倒数，即D_i＝1/z_i。

8.根据权利要求4或5或6所述的图像重构方法，其特征在于，确定所述第一深度信息的第一深度视差对应因子前还包括：

校正所述第一图像信息和所述第二图像信息，使所述第一图像信息中的点与所述第二图像信息中的对应点平行；

配准所述第一图像信息和所述第一深度信息，使所述第一图像信息中的点与所述第一深度信息中的对应点重合。

9.根据权利要求5或6所述的图像重构方法，其特征在于，确定所述第二深度信息的第二深度视差对应因子前还包括：

配准所述第二图像信息和所述第二深度信息，使所述第二图像信息中的点与所述第二深度信息中的对应点重合。

10.一种图像重构系统，其特征在于，包括：

图像获取装置，用于获取已知视点的图像信息；

深度信息获取装置，用于获取所述已知视点的深度信息；

配准装置，用于配准所述已知视点的所述图像信息和深度信息，使所述深度信息中的点与所述图像信息中的对应点重合；

转换装置，用于对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息；

重构装置，用于根据所述已知视点的所述图像信息和所述视差信息重构虚拟视点的图像。

11.根据权利要求10所述的图像重构系统，其特征在于，还包括：

确定装置，用于确定所述深度信息的深度视差对应因子；

所述转换装置根据所述深度视差对应因子对所述深度信息进行深度视差转换，获取所述深度信息对应的视差信息。

12.一种图像重构系统，其特征在于，包括：

第一图像获取装置，用于获取已知第一视点的第一图像信息；

第二图像获取装置，用于获取已知第二视点的第二图像信息；

第一深度信息获取装置用于获取所述已知第一视点的第一深度信息；

第一确定装置，用于根据所述第一图像信息、所述第二图像信息和所述第一深度信息确定所述第一深度信息的第一深度视差对应因子；

第一转换装置，用于根据所述第一深度视差对应因子对所述第一深度信息进行深度视差转换，获取第一视差信息；

第一重构装置，用于根据所述第一图像信息和所述第一视差信息重构虚拟视点的第三图像。

13.根据权利要求12所述的图像重构系统，其特征在于，还包括：

第二深度信息获取装置，用于获取所述已知第二视点的第二深度信息；

第二确定装置，用于根据所述第一图像信息、所述第二图像信息和所述第二深度信息确定所述第二深度信息的第二深度视差对应因子；

第二转换装置，用于根据所述第二深度视差对应因子对所述第二深度信息进行深度视差转换，获取第二视差信息；

第二重构装置，用于根据所述第二图像信息和所述第二视差信息重构所述虚拟视点的第四图像。

14.根据权利要求13所述的图像重构系统，其特征在于，还包括：

空洞填补装置，用于根据所述第三图像和所述第四图像进行空洞填补，生成所述虚拟视点的第五图像。

15.根据权利要求12或13或14所述的图像重构系统，其特征在于，还包括：

校正装置，用于校正所述第一图像信息和所述第二图像信息，使所述第一图像信息中的点与所述第二图像信息中的对应点平行；

第一配准装置，用于配准所述第一图像信息和所述第一深度信息，使所述第一图像信息中的点与所述第一深度信息中的对应点重合。

16.根据权利要求13或14所述的图像重构系统，其特征在于，还包括：

第二配准装置，用于配准所述第二图像信息和所述第二深度信息，使所述第二图像信息中的点与所述第二深度信息中的对应点重合。

Images