CN103873850B - 基于集成成像的多视点图像重建方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，尤其涉及基于集成成像的多视点图像重建方法及装置。该方法包括：从获取的多幅单元图像中确定一幅为中心图像；分别从除中心图像外剩余的多幅单元图像中搜索中心图像未包含的像素信息；将像素信息及中心图像投影至重建平面，得到与中心图像的视点相对应的视点图像；其中，通过将不同的单元图像确定为中心图像获取满足视点需求的多视点图像。本发明实施例提供的基于集成成像的多视点图像重建方法及装置克服了相关技术中视点图像的分辨率受到单元透镜个数的限制，获取的多视点图像不满足用户实际需求的技术问题。

Description

基于集成成像的多视点图像重建方法及装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及基于集成成像的多视点图像重建方法及装置。

背景技术

集成成像技术是一种利用微透镜阵列对三维场景进行记录和再现的真三维裸视自由立体显示技术。其中在三维数据采集阶段，电荷耦合器件CCD通过微透镜阵列采集物体的三维信息。其中微透镜阵列是由许多完全相同的小透镜组成，这些小透镜被称为单元透镜。通过单元透镜产生物体的单元图像，数量众多的单元图像组成图像阵列，并且采集的单元图像被CCD记录和存储。在三维数据处理阶段，通过应用计算机数字处理技术，从采集到的单元图像中提取物体的三维信息使物体的三维结构可视化。在三维显示阶段，单元图像在空间光调制解调器或液晶显示器上显示，来自单元图像的光线被显示微透镜阵列折射，折射后的光线在空中叠加，就形成了所采集物体的三维信息。

其中在基于集成成像技术重建视点图像时，每个单元透镜从不同的方向记录了物体空间的一部分信息，每个单元图像中的每个像素代表通过单位透视光心的一条光线，因此若挑选每个单元图像中相同位置的像素，便能组成一个具有正射投影几何的子图，利用子图之间的叠加产生所需的多视点图像。因为每个子图均由多个单元图像产生，所以子图的视场能够超过单元图像的视场，一般地，子图的视场取决于整个透镜阵列的横向尺寸。但在重建视点图像的过程中，因为每个子图只选取了每个单元图像中的一个像素，子图的分辨率受到单元图像数量的限制。

由此看出，在基于集成成像技术进行视点图像的重建过程中，形成视点图像的子图的分辨率受到单元透镜个数的限制，子图的分辨率受限，由此影响形成的视点图像的分辨率，导致获取的多视点图像不满足用户的实际需求。

发明内容

本发明的目的在于提供基于集成成像的多视点图像重建方法及装置，以解决上述的问题。

在本发明的实施例中提供了一种基于集成成像的多视点图像重建方法，包括：从获取的多幅单元图像中确定一幅为中心图像；分别从除所述中心图像外剩余的多幅所述单元图像中搜索所述中心图像未包含的像素信息；将所述像素信息及所述中心图像投影至重建平面，得到与所述中心图像的视点相对应的视点图像；其中，通过将不同的单元图像确定为中心图像获取满足视点需求的多视点图像。

优选地，所述将所述像素信息及所述中心图像投影至重建平面，包括：利用针孔阵列将所述单元图像放大M倍，并将放大M倍后的所述像素信息及所述中心图像通过对应的针孔逆向投影至所述重建平面，其中M=z_d/g，M为横向分辨率，z_d为所述重建平面与透镜阵列的距离，g为单元图像的像距。

优选地，该方法还包括：确定被放大M倍后的所述像素信息及所述中心图像中的像素通过对应的针孔逆向投影到所述重建平面的体像素位置，以使所述逆向投影时按照确定的所述体像素位置直接将被放大M倍后的所述像素信息及所述中心图像投影到所述重建平面。

优选地，所述确定被放大M倍后的所述像素信息及所述中心图像中的像素通过对应的针孔逆向投影到所述重建平面的体像素位置，包括：建立与所述针孔阵列相对应的xoy坐标系，建立与所述重建平面对应的oxyz坐标系；被放大M倍后的所述像素信息及所述中心图像中的像素按照公式

$\left\{\begin{array}{c}{x}_e=s_{x}p-\frac{x-s_{x}p}{M}\\ y_e=s_{y}q\frac{y-s_{y}q}{M}\end{array}\right.$ 投影至所述重建平面；其中，x_e及y_e分别为被放大M倍后的所述像素信息及所述中心图像中的像素投影至所述重建平面后所对应的体像素的横坐标及纵坐标；x及y分别为所述像素在所述xoy坐标系中的横坐标及纵坐标；s_x及s_y分别为所述像素所在的单元图像在所述xoy坐标系中x方向的尺寸及y方向的尺寸；p及q分别为所述像素所在的单元图像所对应的透镜位于透镜阵列中的行数及列数。

优选地，所述分别从除所述中心图像外剩余的多幅所述单元图像中搜索所述中心图像未包含的像素信息，包括：按照与所述中心图像的距离，由近至远，分别从除所述中心图像外剩余的多幅所述单元图像中搜索所述中心图像未包含的像素信息。

本发明实施例还提供了基于集成成像的多视点图像重建装置，包括：确定模块，用于从获取的多幅单元图像中确定一幅为中心图像；搜索模块，用于分别从除所述中心图像外剩余的多幅所述单元图像中搜索所述中心图像未包含的像素信息；投影模块，用于将所述像素信息及所述中心图像投影至重建平面，得到与所述中心图像的视点相对应的视点图像；其中，通过将不同的单元图像确定为中心图像获取满足视点需求的多视点图像。

优选地，所述投影模块，包括：针孔阵列、透镜阵列及重建平面；所述针孔阵列，用于将所述单元图像放大M倍，并将放大M倍后的所述像素信息及所述中心图像通过对应的针孔逆向投影后透过所述透镜阵列投影至所述重建平面，其中M=z_d/g，M为横向分辨率，z_d为所述重建平面与透镜阵列的距离，g为单元图像的像距。

优选地，所述的装置还包括：体像素位置确定模块；所述体像素位置确定模块，用于确定被放大M倍后的所述像素信息及所述中心图像中的像素通过对应的针孔逆向投影到所述重建平面的体像素位置，以使所述逆向投影时按照确定的所述体像素位置直接将被放大M倍后的所述像素信息及所述中心图像投影到所述重建平面。

本发明实施例提供的基于集成成像的多视点图像重建方法及装置，在视点图像的重建过程中，以一幅单元图像为中心图像，从其余的单元图像中搜索中心图像不包含的像素信息，从而利用中心图像及搜索得到的像素信息获得与中心图像视点相对应的视点图像，利用此方法通过将不同的单元图像确定为中心图像而获得不同视点的视点图像。本发明实施例的方法及装置在视点图像重建的过程中，不受单元透镜个数的限制，即使单元透镜的个数比较少，也可以利用中心单元图像及搜索得到的像素信息获取完成图像信息的视点图像，使获取的多视点图像更加符合用户的实际需求，由此克服了相关技术中视点图像的分辨率受到单元透镜个数的限制，获取的多视点图像不满足用户实际需求的技术问题。

附图说明

图1示出了本发明实施例的基于集成成像的多视点图像重建方法的流程图；

图2示出了本发明实施例中单元图像采集的效果示意图；

图3示出了本发明实施例中针孔阵列模型的示意图；

图4示出了本发明实施例中基于集成成像的多视点图像成像原理示意图；

图5示出了本发明实施例的基于集成成像的多视点图像重建装

置的结构示意图。

具体实施方式

下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。

本发明实施例提供了一种基于集成成像的多视点图像重建方法，如图1所示，主要处理步骤包括：

步骤S11：从获取的多幅单元图像中确定一幅为中心图像；

步骤S12：分别从除中心图像外剩余的多幅单元图像中搜索中心图像未包含的像素信息；

步骤S13：将像素信息及中心图像投影至重建平面，得到与中心图像的视点相对应的视点图像；其中，通过将不同的单元图像确定为中心图像获取满足视点需求的多视点图像。

本发明实施例提供的基于集成成像的多视点图像重建方法在视点图像的重建过程中，以一幅单元图像为中心图像，从其余的单元图像中搜索中心图像不包含的像素信息，从而利用中心图像及搜索得到的像素信息获得与中心图像视点相对应的视点图像，利用此方法通过将不同的单元图像确定为中心图像而获得不同视点的视点图像。本发明实施例的方法及装置在视点图像重建的过程中，不受单元透镜个数的限制，即使单元透镜的个数比较少，也可以利用中心单元图像及搜索得到的像素信息获取完成图像信息的视点图像，使获取的多视点图像更加符合用户的实际需求，由此克服了相关技术中视点图像的分辨率受到单元透镜个数的限制，获取的多视点图像不满足用户实际需求的技术问题。

另外，相关技术中利用单元图像得到的子图的所有投影线都是平行的，为正射透视投影，虽然在一些情况下正射透视投影比较具有应用价值，但通常来说用户更期望的是获取具有完整自由度的透视投影图像。

而利用本发明实施例的基于集成成像的多视点图像重建方法获取的多视点图像为具有完整自由度的透视投影图像，更能满足用户的实际需求。

其中在分别从除中心图像外剩余的多幅单元图像中搜索中心图像未包含的像素信息时，按照与中心图像的距离，由近至远，分别从除中心图像外剩余的多幅单元图像中搜索中心图像未包含的像素信息。

本发明实施例的多视点图像重建方法中将像素信息及中心图像投影至重建平面，包括：利用针孔阵列将单元图像放大M倍，并将放大M倍后的像素信息及中心图像通过对应的针孔逆向投影至重建平面，其中M=z_d/g，M为横向分辨率，z_d为重建平面与透镜阵列的距离，g为单元图像的像距。

本发明实施例的基于集成成像的多视点图像重建方法还包括：确定被放大M倍后的像素信息及中心图像中的像素通过对应的针孔逆向投影到重建平面的体像素位置，以使逆向投影时按照确定的体像素位置直接将被放大M倍后的像素信息及中心图像投影到重建平面。

本发明实施例的多视点图像重建方法，根据针孔阵列模型和光线光学理论，仿照人眼观察集成成像显示系统的理论，提出并实现了搜索式多视点计算集成成像重建方法。该方法中，通过推导不同单元图像中对应像素的空间几何关系，依次从相邻单元图像中，把中心单元图像缺失的图像信息提取出来并拼接在一起，由此即使单元透镜个数较少，也能获取完整图像信息的视点图像，视点图像分辨率不受单元透镜个数的限制。

相关技术中的集成成像光学重建方法，需要将单元图像显示在液晶显示器，再通过显示透镜阵列观察三维立体像。

本发明实施例的方法不同于相关技术的集成成像多视点图像重建方法，该方法不需要使用光学元件作为显示器件，因此不会受到硬件的限制和衍射影响。本方法中通过建立针孔阵列模型，依据光线光学原理，计算集成成像重建方法可以快速特定的重建三维场景的深度切片，通过变换重建深度，即可获得三维场景的体重建，从而实现三维物体的识别与可视化。

在本发明实施例的多视点图像的重建方法中确定被放大M倍后的像素信息及中心图像中的像素通过对应的针孔逆向投影到重建平面的体像素位置，包括：建立与针孔阵列相对应的xoy坐标系，建立与重建平面对应的oxyz坐标系；其中，xoy坐标系为二维坐标系，oxyz坐标系为带有深度信息的三维坐标系，oxyz坐标系的z轴方向为xoy坐标系所在平面的法线方向。

被放大M倍后的像素信息及中心图像中的像素按照公式

$\left\{\begin{array}{c}{x}_e=s_{x}p-\frac{x-s_{x}p}{M}\\ y_e=s_{y}q\frac{y-s_{y}q}{M}\end{array}\right.$ 投影至重建平面；

其中，x_e及y_e分别为被放大M倍后的像素信息及中心图像中的像素投影至重建平面后所对应的体像素的横坐标及纵坐标；x及y分别为像素在xoy坐标系中的横坐标及纵坐标；s_x及s_y分别为像素所在的单元图像在xoy坐标系中x方向的尺寸及y方向的尺寸；p及q分别为像素所在的单元图像所对应的透镜位于透镜阵列中的行数及列数；

因为投影至重建平面的像素在投影前为二维像素，因此其投影至重建平面后z坐标设置为零。

在基于集成成像技术重建多视点图像的方法中，一个基础步骤是通过透镜阵列采集目标物的单元图像，如图2示出了单元图像采集的效果示意图。

如图2所示，单元图像可以被用来从任意视点产生视图，单元图像中每个像素代表通过单位透视光心的一条光线。

图3是针孔阵列模型的示意图，在普通的计算机集成成像中，一个计算机合成的针孔阵列被放置在单元图像前方距离g处。g是单元图像的像距。每个单元图像被放大M倍。M是横向放大率，横向放大率为M=z_d/g。其中重建平面距离透镜阵列的距离为z_d。然后被放大的单元图像通过对应的针孔逆向投影到重建平面叠加。但是重叠过程会导致重建图像的模糊。同时也会导致计算复杂度大大增加，特别是当单元图像的个数和单元图像的像素个数比较多的时候。为了克服以上的两个缺点，在该方法中去除了重叠过程。直接将提取到的对应像素直接投影到重建体像素的位置。I_pq是第p行，第q列单元图像。o_pq(x，y)是单元图像通过对应针孔的逆向投影。则

o(x,y,z)=I_pq(x_e,y_e)

其中

$\left\{\begin{array}{c}{s}_x(p-M/2)\≤x\≤s_x(p+M/2)\\ s_y(q-M/2)\≤y\≤s_y(q+M/2)\end{array}\right.$

这个不等式限定了被逆向投影的单元图像的边界。s_x和s_y分别是单元图像x方向和y方向的尺寸。

根据图1中所示的几何关系，可以获得如下公式：

$\left\{\begin{array}{c}{x}_e=s_{x}p-\frac{x-s_{x}p}{M}\\ y_e=s_{y}q\frac{y-s_{y}q}{M}\end{array}\right.$

通过该公式可以计算出体像素o(x,y,z)对应的第p行，第q列单元图像中的像素坐标。对应一个重建体像素而言，对应着多个二维像素。另外根据实际需要可以设置不同的约束来选择所需要的二维像素。

图4所示，观察者的视点位于中心单元透镜的光轴之上。该中心单元透镜对应单元图像为I_pq。由I_pq发出的所有光线逆向的投影到观察者的位置处。换句话说，观察者能够看到有I_pq的所有图像。但是因为在通常情况下。每个单元图像只记录了三维场景的部分图像信息。为了获得完整的场景信息，我们需要从相邻的单元图像I_p+1,q中获取相应的像素。如果仍然存在部分场景信息没有包含在I_p+1,q中，则继续从I_p+2,q中寻找对应的像素。重复以上过程直到找到所有场景信息位置。当选择不同的单元图像作为中心图像，则可以获得从不同观察的多视点图像。

本发明实施例还提供了一种基于集成成像的多视点图像重建装置，如图5所示主要结构包括：

确定模块21，用于从获取的多幅单元图像中确定一幅为中心图像；

搜索模块22，用于分别从除中心图像外剩余的多幅单元图像中搜索中心图像未包含的像素信息；

投影模块23，用于将像素信息及中心图像投影至重建平面，得到与中心图像的视点相对应的视点图像；

其中，通过将不同的单元图像确定为中心图像从而获取满足视点需求的多视点图像。

投影模块，包括：针孔阵列、透镜阵列及重建平面；

针孔阵列，用于将单元图像放大M倍，并将放大M倍后的像素信息及中心图像通过对应的针孔逆向投影后透过透镜阵列投影至重建平面，其中M=z_d/g，M为横向分辨率，z_d为重建平面与透镜阵列的距离，g为单元图像的像距。

本发明实施例的基于集成成像的多视点图像重建装置还包括：体像素位置确定模块；体像素位置确定模块，用于确定被放大M倍后的像素信息及中心图像中的像素通过对应的针孔逆向投影到重建平面的体像素位置，以使逆向投影时按照确定的体像素位置直接将被放大M倍后的像素信息及中心图像投影到重建平面。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于集成成像的多视点图像重建方法，其特征在于，包括：

从获取的多幅单元图像中确定一幅为中心图像；

分别从除所述中心图像外剩余的多幅所述单元图像中搜索所述中心图像未包含的像素信息；

将所述像素信息及所述中心图像投影至重建平面，得到与所述中心图像的视点相对应的视点图像；

其中，通过将不同的单元图像确定为中心图像获取满足视点需求的多视点图像；

所述将所述像素信息及所述中心图像投影至重建平面，包括：

利用针孔阵列将所述单元图像放大M倍，并将放大M倍后的所述像素信息及所述中心图像通过对应的针孔逆向投影至所述重建平面，其中M＝z_d/g，M为横向分辨率，z_d为所述重建平面与透镜阵列的距离，g为单元图像的像距；

所述分别从除所述中心图像外剩余的多幅所述单元图像中搜索所述中心图像未包含的像素信息，包括：

按照与所述中心图像的距离，由近至远，分别从除所述中心图像外剩余的多幅所述单元图像中搜索所述中心图像未包含的像素信息。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

确定被放大M倍后的所述像素信息及所述中心图像中的像素通过对应的针孔逆向投影到所述重建平面的体像素位置，以使所述逆向投影时按照确定的所述体像素位置直接将被放大M倍后的所述像素信息及所述中心图像投影到所述重建平面。

3.根据权利要求2所述的方法，其特征在于，所述确定被放大M倍后的所述像素信息及所述中心图像中的像素通过对应的针孔逆向投影到所述重建平面的体像素位置，包括：

建立与所述针孔阵列相对应的xoy坐标系，建立与所述重建平面对应的oxyz坐标系；

被放大M倍后的所述像素信息及所述中心图像中的像素按照公式

投影至所述重建平面；

其中，x_e及y_e分别为被放大M倍后的所述像素信息及所述中心图像中的像素投影至所述重建平面后所对应的体像素的横坐标及纵坐标；

x及y分别为所述像素在所述xoy坐标系中的横坐标及纵坐标；

s_x及s_y分别为所述像素所在的单元图像在所述xoy坐标系中x方向的尺寸及y方向的尺寸；

p及q分别为所述像素所在的单元图像所对应的透镜位于透镜阵列中的行数及列数。

4.基于集成成像的多视点图像重建装置，其特征在于，包括：

确定模块，用于从获取的多幅单元图像中确定一幅为中心图像；

搜索模块，用于分别从除所述中心图像外剩余的多幅所述单元图像中搜索所述中心图像未包含的像素信息；

投影模块，用于将所述像素信息及所述中心图像投影至重建平面，得到与所述中心图像的视点相对应的视点图像；

其中，通过将不同的单元图像确定为中心图像获取满足视点需求的多视点图像；所述投影模块，包括：针孔阵列、透镜阵列及重建平面；

所述针孔阵列，用于将所述单元图像放大M倍，并将放大M倍后的所述像素信息及所述中心图像通过对应的针孔逆向投影后透过所述透镜阵列投影至所述重建平面，其中M＝z_d/g，M为横向分辨率，z_d为所述重建平面与透镜阵列的距离，g为单元图像的像距；

所述搜索模块，进一步用于按照与所述中心图像的距离，由近至远，分别从除所述中心图像外剩余的多幅所述单元图像中搜索所述中心图像未包含的像素信息。

5.根据权利要求4所述的装置，其特征在于，还包括：体像素位置确定模块；

所述体像素位置确定模块，用于确定被放大M倍后的所述像素信息及所述中心图像中的像素通过对应的针孔逆向投影到所述重建平面的体像素位置，以使所述逆向投影时按照确定的所述体像素位置直接将被放大M倍后的所述像素信息及所述中心图像投影到所述重建平面。