CN110290373A - 一种增大视角的集成成像计算重构方法 - Google Patents

Abstract

本发明公开一种增大视角的集成成像计算重构方法。主要包括相邻微图像的配准、拼接和基于光线追踪的计算重构两个步骤。首先根据集成成像特点，利用相邻微图像之间的相似性，对相邻微图像进行配准、拼接，扩大每个微透镜对应的微图像区域。然后采用基于光线追踪的计算重构方法，从每个微图像中提取出1个对应像素，重构出某个特定视角的图像。本方法因为在传统的计算重构方法之前扩大了每个微透镜对应的微图像区域，因此可以扩大集成成像计算重构的视角范围，有利于实现集成成像的大视角显示。

Description

一种增大视角的集成成像计算重构方法

技术领域

本发明属于三维图像处理技术领域，涉及一种集成立体成像的计算重构方法，可以用于集成成像系统中计算机显示目标场景的不同视点图像。

背景技术

三维集成成像(Integral Imaging，简称II),是一种裸眼立体显示技术，由于具有全彩色、全视差、连续视点、无需辅助设备、没有观看视疲劳等众多优点，具有广阔的应用前景和巨大的研究价值。

集成成像技术通过微透镜阵列来记录和重构空间场景信息。典型的集成成像系统包括采集和重构两部分，如图1所示。图1(a)的采集部分包括微透镜阵列和CCD相机，3D物空间场景通过微透镜阵列被CCD相机采集形成微图像集合。重构包括光学重构和计算重构两种方式。图1(b)所示为光学重构部分，把2D微图像集合放在具有同样参数的显示微透镜阵列后，即可还原出原来的3D空间。集成成像的计算重构是利用计算机虚拟光信号的解码过程，在无需显示微透镜阵列等光学设备情况下，通过计算机重构3D图像的立体显示，该技术克服了光学重构中光学衍射、器件特性限制等因素，重构的三维图像质量优于光学重构技术。

集成成像重构产生的3D图像具有一定的视角范围。因为在微图像集合中,每个微图像区域被其相邻的微图像区域严格限制,也就是每个微透镜对应的微图像区域是有限的。只有通过微透镜观看其对应的微图像区域，才能观看到正确的3D视图。如果观看方向偏离光轴过大,即超过视角范围,微图像就不能通过正确的微透镜进行合成,也就是观看到的部分光线是某微图像像素通过其对应微透镜相邻的另外一个微透镜看到的,这样重构的3D图像就会发生失真或翻转。

根据集成成像原理，在微图像集合中，微图像单元之间视点连续，且相邻视点之间的差异较小。本发明利用相邻微图像之间的相似性，对相邻微图像进行配准、拼接，扩大每个微透镜对应的微图像区域，从而增大集成成像计算重构的视角。

发明内容

本发明提出了一种基于相邻微图像拼接的集成成像计算重构方法。对于每个微图像，分别与其左侧和右侧的微图像进行配准、拼接，根据集成成像特点，左侧微图像的局部区域将拼接在当前微图像的右边，右侧微图像的局部区域将拼接在当前微图像的左边，因此，在水平方向上扩大了每个微透镜对应的微图像区域。在此基础上，按照传统方法计算重构的3D图像，水平方向上将具有更大的视角。

本发明采取的技术方案包括下列步骤：

(一)在水平方向对相邻的微图像进行配准、拼接；

设采集的微图像集合由M×N个微图像单元组成，每个微图像单元为m×n个像素，第i行j列的微图像表示为I_i,j，则其左侧和右侧的微图像分别表示为I_i,j-1、I_i,j+1，进行图像配准时，采用的配准窗口大小为m*w个像素。

1.I_i,j和I_i,j-1的图像配准、拼接过程

在I_i,j中选取第n-w+1到第n列像素作为基准子图，在I_i,j-1中寻找其匹配位置。采用平均误差平方和(MSD)算法作为两幅子图像相似度的测量标准，如式(1)所示：

其中，1≤t≤n-w+1。

D(t)越小，表明两幅子图越相似，故只需找到最小的D(t)，即可确定I_i,j-1中与基准子图匹配的位置。接下来，根据匹配位置t，将I_i,j-1中的部分区域拼接在I_i,j的右边。

2.I_i,j和I_i,j+1的图像配准、拼接过程

在I_i,j中选取第1到第w列像素作为基准子图，在I_i,j+1中寻找其匹配位置。采用平均误差平方和(MSD)算法作为两幅子图像相似度的测量标准，如式(2)所示：

其中，1≤t≤n-w+1。

只需找到最小的D(t)，即可确定I_i,j+1中与基准子图匹配的位置。接下来，根据匹配位置t，将I_i,j+1中的部分区域拼接在I_i,j的左边。

(二)在进行集成成像计算重构时，根据光线追踪原理，获得从每个微图像中提取像素的位置坐标；

如果要计算重构出某一观察点看到的图像，要根据光线追踪原理确定在每个微图像中提取像素的位置。假设观察者在观察点D处，下面说明如何根据光线传输路径进行计算重构。

EIP为微图像集合平面，EIP与微透镜阵列之间的距离为g，LIP 为微透镜成像平面，LIP与微透镜阵列之间的距离为h，微透镜焦距为f。在观察点D处观察到LIP处的集成图像。

根据光线的传输路径可知，从观察点D出发，经过第(i,j)个微透镜中心的直线与EIP平面相交于点(x,y_j)，观察点D处经过第j+1个透镜中心的直线与EIP平面相交于点(x,y_j+1)…根据图中相似三角形的性质可以得到：

从而得到：

Δ_I为计算机重构图像时，在相邻两个微图像单元中提取像素的位置偏移量。

假设根据观察点位置，从第(1,1)个微图像单元中提取像素的坐标为(x₀,y₀)，则从第(i,j)个微图像中提取像素的坐标为 (x₀+(i-1)*Δ_I,y₀+(j-1)*Δ_I)。这样，从每个微图像中提取出1个对应像素，就重构出某个特定视角的图像。

本发明提出一种基于相邻微图像拼接的集成成像计算重构方法，可以增大计算重构的视角，主要包括相邻微图像单元的配准、拼接和基于光线追踪的计算重构两个步骤。在传统的计算重构方法前面，增加了相邻微图像单元的配准、拼接过程，扩大了每个微透镜对应的微图像区域，从而扩大了集成成像计算重构的视角范围，有利于实现集成成像的大视角显示。

附图说明

图1(a)是集成成像系统的采集部分示意图；

图1(b)是集成成像系统的重构部分示意图；

图2是光线追踪示意图；

图3(a)是3D空间场景；

图3(b)是采集的微图像集合及局部放大区域；

图4a是I_22,14和I_22,13拼接实验的微图像I_22,14；

图4b是I_22,14和I_22,13拼接实验的微图像I_22,13；

图4c是I_22,14和I_22,13拼接后的微图像I_22,14；

图5a是I_22,14和I_22,15拼接实验的微图像I_22,14；

图5b是I_22,14和I_22,15拼接实验的微图像I_22,15；

图5c是I_22,14和I_22,15拼接后的微图像I_22,14；

图6(a)～图6(d)分别为本发明提供的一种基于传统光线追踪方法计算水平方向上不同视角的重构图像示意图；

图7(a)～图7(d)分别为本发明提供的一种基于增大视角的集成成像计算方法计算水平方向上不同视角的重构图像示意图。

具体实施方式

本发明实例中，3D空间场景的彩色图像和光学系统采集的微图像集合如图3所示。微图像集合包括53列×49行微图像单元。每个微图像的分辨率为40×40像素，采集微透镜阵列的微透镜焦距 f＝3mm，每个微透镜方形排列，宽度P＝1.08mm，计算重构时， g＝3.5mm，L+h＝350mm。

(一)在水平方向对相邻的微图像进行配准、拼接；

设进行图像配准时采用的配准窗口大小为40*20像素，以微图像集合中第22行第13、14、15列三个相邻的微图像为例，说明微图像配准、拼接过程。以I_22,14为基准图像，分别完成I_22,13、I_22,15与它的拼接。

1.I_22,14和I_22,13的图像配准、拼接过程

在I_22,14中选取第21-40列像素作为基准子图，在I_22,13中寻找其匹配位置。根据式(1)，计算两幅子图像的相似度，当t＝7时，D(t) 最小。因此，将I_22,13中的第35-40列图像区域拼接在I_22,14的右边，拼接之后的微图像单元I_22,14扩大为40×46像素。如图4所示，图4a为微图像I_22,14，图4b为微图像I_22,13，图4c为拼接后的微图像I_22,14。

2.I_22,14和I_22,15的图像配准、拼接过程

在I_22,14中选取第1-20列像素作为基准子图，在I_22,15中寻找其匹配位置。根据式(2)，计算两幅子图像的相似度。当t＝7时，D(t)最小。因此，将I_22,15中的第1-6列图像区域拼接在I_22,14的左边，拼接之后的微图像单元I_22,14扩大为40×46像素。如图5所示，图5a为微图像I_22,14，图5b为微图像I_22,15，图5c为拼接后的微图像I_22,14。

(二)在进行集成成像计算重构时，根据光线追踪原理，获得从每个微图像单元中提取像素的位置坐标；

根据式(6)，计算机重构图像时，在相邻两个微图像中提取像素点的位置偏移量为：Δ_I＝1.0908mm。

因为微图像单元为1.08×1.08mm，包含40×40像素，所以在相邻两个微图像单元中提取像素点的位置偏移为0.4像素。

计算重构时，从第(1,1)个微图像单元中提取像素的坐标为(x₀,y₀)，则从第(i,j)个微图像单元中提取像素的坐标为 (x₀+(i-1)*0.4,y₀+(j-1)*0.4)。这样，从每个微图像提取出1个对应像素，就重构出某个特定视角的图像。选择不同的(x₀,y₀)，即可计算重构出不同视角的3D图像。

图6为传统的基于光线追踪方法计算重构的不同视角的图像。根据前面的计算，从每个微图像的相应位置提取1个像素形成重构图像，如果经过某个微透镜提取的像素坐标超过该透镜所对应的微图像区域，将错误地在相邻的微图像提取像素，导致重构的3D视图产生失真，如图6(a)、图6(d)所示。

图7为经过水平方向上相邻微图像配准、拼接之后，再利用基于光线追踪方法计算重构的不同视角的图像。对于每个微图像，利用其左、右两侧的微图像进行拼接，扩大了每个微透镜对应的微图像区域。图6(a)、图6(d)两幅视图中，提取的部分像素坐标超过了对应的微图像区域范围，在本发明方法中，由于每个微图像区域扩大，这些像素坐标还在对应的微图像区域内，所以重构出正确的视图，如图7(a)、图 7(b)。因此，与传统计算重构方法相比，本发明方法可以在更大视角范围内，计算重构出正确的3D图像。

Claims (1)

1.一种增大视角的集成成像计算重构方法，其特征在于包括下列步骤：

(一)在水平方向对相邻的微图像进行配准、拼接；

设采集的微图像集合由M×N个微图像单元组成，每个微图像单元为m×n个像素，第i行j列的微图像表示为I_i,j，则其左侧和右侧的微图像分别表示为I_i,j-1、I_i,j+1，进行图像配准时，采用的配准窗口大小为m*w个像素。

(1)I_i,j和I_i,j-1的图像配准、拼接过程

在I_i,j中选取第n-w+1到第n列像素作为基准子图，在I_i,j-1中寻找其匹配位置。采用平均误差平方和(MSD)算法作为两幅子图像相似度的测量标准，如式(1)所示：

其中，1≤t≤n-w+1。

D(t)越小，表明两幅子图越相似，故只需找到最小的D(t)，即可确定I_i,j-1中与基准子图匹配的位置。接下来，根据匹配位置t，将I_i,j-1中的部分区域拼接在I_i,j的右边。

(2)I_i,j和I_i,j+1的图像配准、拼接过程

在I_i,j中选取第1到第w列像素作为基准子图，在I_i,j+1中寻找其匹配位置。采用平均误差平方和(MSD)算法作为两幅子图像相似度的测量标准，如式(2)所示：

其中，1≤t≤n-w+1。

只需找到最小的D(t)，即可确定I_i,j+1中与基准子图匹配的位置。接下来，根据匹配位置t，将I_i,j+1中的部分区域拼接在I_i,j的左边。

(二)在进行集成成像计算重构时，根据光线追踪原理，获得从每个微图像中提取像素的位置坐标；

如果要计算重构出某一观察点看到的图像，要根据光线追踪原理确定在每个微图像中提取像素的位置。假设观察者在观察点D处，下面说明如何根据光线传输路径进行计算重构。

EIP为微图像集合平面，EIP与微透镜阵列之间的距离为g，LIP为微透镜成像平面，LIP与微透镜阵列之间的距离为h，微透镜焦距为f。在观察点D处观察到LIP处的集成图像。

根据光线的传输路径可知，从观察点D出发，经过第(i,j)个微透镜中心的直线与EIP平面相交于点(x,y_j)，观察点D处经过第j+1个透镜中心的直线与EIP平面相交于点(x,y_j+1)…根据图中相似三角形的性质可以得到：

从而推出：

Δ_I为计算机重构图像时，在相邻两个微图像单元中提取像素的位置偏移量。

假设根据观察点位置，从第(1,1)个微图像单元中提取像素的坐标为(x₀,y₀)，则从第(i,j)个微图像中提取像素的坐标为(x₀+(i-1)*Δ_I,y₀+(j-1)*Δ_I)。这样，从每个微图像中提取出1个对应像素，就重构出某个特定视角的图像。