CN103021014A - 一种提高计算机集成图像重构分辨率的方法 - Google Patents

Abstract

本发明涉及一种提高计算机集成图像重构分辨率的方法，属于图像处理技术领域。充分利用集成成像中相邻元素图像具有部分相似信息的特点，在计算机重构时对元素图像集合进行周期性选取，从每个选取的元素图像中提取若干像素进行拼接，从而获得最终的重构图像。本方法提高了计算机重构图像的分辨率。

Description

一种提高计算机集成图像重构分辨率的方法

技术领域

本发明属于图像处理技术领域，涉及三维图像处理，是一种提高集成成像系统中计算机重构分辨率的方法，可以用于集成成像中目标场景的三维立体显示。 

背景技术

集成成像（Integral Imaging，II）技术是一种通过微透镜阵列来记录和显示3D空间场景信息的图像技术。II系统包括采集和显示部分，分别如图1a和图1b所示。 

在采集部分，物体通过微透镜阵列成像，每个元素透镜形成了物体的对应图像，称为元素图像，这些元素图像再通过一个高清晰CCD相机成像；在显示部分，采集的元素图像集合位于显示平板上，通过与采集透镜阵列具有同样参数的显示透镜阵列的光线还原，即可再现原来的三维光学场景。另外，可以采用计算机重构方法完成立体显示，即利用计算机模拟光学设备的显示过程，从CCD相机采集的元素图像集合中提取3D信息，通过计算机的合成来形成不同视点的3D图像。计算机重构方法由于不存在由衍射和光学设备限制引起的图像质量下降，所以重构的图像质量要好于光学重构图像。但是，因为元素图像的数目有限，所以传统方法重构图像的分辨率很低。 

发明内容

本发明提供一种提高计算机集成图像重构分辨率的方法，充分利用集成成像中相邻元素图像具有部分相似信息的特点，在计算机重构时对元素图像集合进行周期性选取，从每个选取的元素图像中提取若干像素进行拼接，从而获得最终的重构图像。 

本发明采取的技术方案包括下列步骤： 

（一）、设集成成像系统中，采集微透镜阵列为H×W个微透镜成方形排列，微透镜焦距为f，微透镜宽度为P，CCD相机采集到的元素图像集合为H行×W列，每个元素图像有M×M个像素，元素图像集合平面与微透镜阵列之间的距离为g，3D场景与微透镜阵列之间的距离为z； 

在CCD相机采集的元素图像集合中，首先确定一个元素图像为初始元素图像，然后以N为周期间隔地选取元素图像，得到选取后的元素图像集合ES； 

在CCD相机采集的H行×W列元素图像集合中，首先确定一个元素图像I _p,q为初始元素图像，I_p,q是第p行、第q列元素图像，1≤p,q≤N，然后再以N为周期，依次在第p行选取元素图像I_p,q+N、I_p,q+2N、…，在第p+N行选取元素图像I_p+N,q、I_p+N,q+N、I_p+N,q+2N、…，以此类推，得到选取后的元素图像集合ES； 

周期N值为满足下面条件的任一正整数： 

$N\≤\frac{z}{g}---\left(1\right)$

（二）、在选取后的元素图像集合ES中，从每个元素图像的同样位置都提取一个像素块、大小为N_extract×N_extract个像素，将这些像素块进行拼接，可获得一个视点的重构图像，改变元素图像中像素块提取的位置，即可由选取后的元素图像集合ES重构出不同视点的图像； 

（1）. 根据集成成像系统参数，计算从每个元素图像中提取的像素个数N_extract×N_extract； 

$N_{\mathrm{exrtact}}=\frac{\mathrm{NPg}}{z{P}_e}---\left(2\right)$

其中P_e为CCD相机采集到的元素图像中的像素间距，设采集的每个元素图像大小与微透镜大小相同，则： 

P_e=P/M                                     （3） 

将式（3）代入式（2），可得： 

$N_{\mathrm{extract}}=\frac{\mathrm{MNPg}}{\mathrm{zP}}=\frac{\mathrm{MNg}}{z}---\left(4\right)$

（2）.选择每个元素图像的第(h,w)个像素为基准像素，若每个元素图像有M×M个像素，则h、w为满足下面条件的正整数： 

1≤h,w≤M-N_extract+1                           （5） 

在式（5）给出的取值范围内，选择h、w值，即确定基准像素位置;在每个元素图像中，以基准像素为左上角像素，沿水平、竖直方向提取N_extract×N_extract个像素进行拼接，得到一个视点的重构图像； 

（3）. 变化元素图像中基准像素的位置，即改变h、w取值，重复步骤（2），也就是从每个元素图像中的不同位置提取像素块进行拼接，重构出由同一个选取的元素图像集合ES获得的不同视点图像； 

（三）、变换初始元素图像I_p,q的选择，即改变p、q取值，重复步骤（一）和步骤（二），重构出所有视点的图像。 

本发明优点是以集成成像系统的图像采集参数为依据，在元素图像集合中以周期N间隔选取元素图像，对于选取的每个元素图像，以第(h,w)个像素为基准像素，提取N_extract×N_extract个像素进行拼接，从而得到最终的计算机重构图像；与传统方法相比，本方法提高了计算机重构图像的分辨率。按照本方法计算机重构的图像分辨率H_R×H_R为： 

其中， 为向上取整函数。 

传统的计算机重构图像方法是从每个元素图像中提取1个像素进行重构，因为采集到的元素图像集合为H行×W列，所以传统方法重构的图像分辨率为H×W，本方法重构图像分辨率与传统方法相比较： 

$\frac{H_R\×W_R}{H\×W}\≥{\left(\frac{\mathrm{Mg}}{z}\right)}^2---\left(8\right)$

由上式可以看出，本方法重构的图像分辨率至少是传统方法的

 倍，该倍数与集成成像系统的图像采集参数M、g、z有关。 

附图说明

图1a是现有集成成像系统的采集部分； 

图1b是现有集成成像系统的显示部分； 

图2 是计算机重构3D场景的示意图； 

图3a是周期选取元素图像示意图，是CCD相机采集的元素图像集合； 

图3b是周期选取元素图像示意图；是得到选取后的元素图像集合ES。 

具体实施方式

（一）、设集成成像系统中，采集微透镜阵列为45×53个微透镜成方形排列，微透镜焦距为f=3.0mm，微透镜宽度为P=1.08mm，CCD相机采集到的元素图像集合为45行×53列（H=45,W=53），每个元素图像有40×40个像素（M=40），元素图像集合平面与微透镜阵列之间的距离为g=3.5mm，3D物体与微透镜阵列之间的距离为z=21mm； 

在CCD相机采集的元素图像集合中，首先确定一个元素图像为初始元素图像，然后以N为周期间隔地选取元素图像，得到选取后的元素图像集合ES； 

首先说明如何确定周期N值，如图2所示，CCD相机采集的元素图像集合放置于元素图像集合平面，以N为周期，间隔地选取一些元素图像，从每个选取的元素图像中提取区域E_R，重构出3D场景中的区域O_R，根据图中的几何关系，可以得到

 ； 

如果希望从每个被选取的元素图像中提取的区域能够完整无遗漏地重构出3D场景，则重构出来的相邻3D场景区域O_R之间不能有遗漏的信息，即O_R需满足O_R≥NP ，又因为

 ，可得

 ， 因为E_R≥P，可推导出式（1）：

本例中，将z=21mm，g=3.5mm代入式（1），得到N≤6； 

下面以N=5为例，详细说明计算机重构不同视点图像的过程； 

元素图像的选取如图3a和图3b所示。在CCD相机采集的元素图像集合中（图3a），若选择I_1,1（图中画“十”的元素图像）为初始元素图像，以5为周期，依次再选取元素图像I_1,6、I_1,11、…I_1,51，I_6,1、I_6,6、…I_6,51，…，I_41,1、I_41,6、…I_41,51，得到选取后的元素图像集合ES如图3（b）所示； 

（二）、在选取后的元素图像集合ES中，从每个元素图像的同样位置都提取一个像素块，大小为N_extract×N_extract个像素，将这些像素块进行拼接，可获得一个视点的重构图像，改变元素图像中像素块提取的位置，即可由选取后的元素图像集合ES重构出不同视点的图像； 

（1）. 根据集成成像系统参数，计算从每个元素图像中提取的像素个数N_extract×N_extract； 

对于给定的N值，从元素图像集合ES的每个元素图像中提取区域E_R，重构出3D场景中的区域O_R。如图2所示，如果从每个元素图像提取的区域直接拼接能够无遗漏地、不重复地重构出3D场景，则需：O_R=NP，即  。如果在CCD相机采集到的元素图像中的像素间距为P_e，则可推导出公式（2），即从每个元素图像中提取出来的像素个数N_extract为： $N_{\mathrm{extract}}=\frac{E_R}{P_e}=\frac{\mathrm{NPg}}{z{P}_e}$  ； 

根据式（2），可得： 

$N_{\mathrm{extract}}=\frac{\mathrm{NPg}}{z{P}_e}=\frac{5\×1.08\×3.5}{21\×P_e}$

根据式（3），可得： 

$P_e=\frac{P}{m}=\frac{1.08}{40}$

根据式（4），可得： 

$N_{\mathrm{extract}}=\frac{5\×1.08\×3.5}{21\×P_e}=33\mathrm{pixel}$

（2）. 选择每个元素图像的第(h,w)个像素为基准像素，以基准像素为左上角像素，在每个元素图像中沿水平、竖直方向提取N_extract×N_extract个像素进行拼接，得到一个视点的重构图像； 

将M=40，N_extract=33代人式（5）可得1≤h,w≤8，选择h=1，w=1，即将每个元素图像的第（1,1）个像素作为基准像素，以该像素为左上角像素，在水平、竖直方向提取33×33个像素，将从每个元素图像中提取的像素块（33×33）进行拼接，即重构出一个视点的图像； 

（3）. 变化元素图像中基准像素的位置，即改变h、w取值，重复步骤（2），也就是从每个元素图像中的不同位置提取像素块进行拼接，即可重构出由同一个选取的元素图像集合ES获得的不同视点图像； 

选择h=1，w=2，即将每个元素图像的第（1,2）个像素作为基准像素，以该像素为左上角像素，在水平、竖直方向提取33×33个像素，将从每个元素图像中提取的像素块（33×33）进行拼接，即重构出另外一个视点的图像； 

以此类推，在1≤h,w≤8范围内改变h、w取值，可以选择64个不同位置的像素作为基准像素，利用步骤（一）获得的元素图像集合ES能够重构出64个不同视点的图像， 

（三）、变换初始元素图像I_p,q的选择，即改变p、q取值，重复步骤（一）和（二），重构出所有视点的图像； 

重复步骤（一）,选择I_1,2为初始元素图像，以5为周期依次选取元素图像，然后再对选取的这些元素图像重复步骤（二），即可计算机重构出另外64个不同视点的图像； 

以此类推，重复步骤（一），分别选取I_1,3、…I_1,5，I_2,1、I_2,2、…I_2,5，…I_5,1、I_5,2、…I_5,5，为初始元素图像，以5为周期选取元素图像，则分别获得不同的选取后的元素图像集合，然后再分别对选取的这些元素图像重复步骤（二），计算机重构出所有不同视点的图像。 

本发明的优势： 

根据式（6）、（7），本方法重构图像的分辨率为： 

根据式（8）： $\frac{H_R\×H_R}{H\×W}=\frac{297\×363}{45\×53}=45$

从上式可以看出，本方法重构图像分辨率是传统方法的45倍，图像分辨率得到了提高。 

Claims (1)

1.一种提高计算机集成图像重构分辨率的方法，其特征在于包括下列步骤：

（一）、设集成成像系统中，采集微透镜阵列为H×W个微透镜成方形排列，微透镜焦距为f，微透镜宽度为P，CCD相机采集到的元素图像集合为H行×W列，每个元素图像有M×M个像素，元素图像集合平面与微透镜阵列之间的距离为g，3D场景与微透镜阵列之间的距离为z；

在CCD相机采集的元素图像集合中，首先确定一个元素图像为初始元素图像，然后以N为周期间隔地选取元素图像，得到选取后的元素图像集合ES；

在CCD相机采集的H行×W列元素图像集合中，首先确定一个元素图像I _p,q为初始元素图像，I_p,q是第p行、第q列元素图像，1≤p,q≤N，然后再以N为周期，依次在第p行选取元素图像I_p,q+N、I_p,q+2N、…，在第p+N行选取元素图像I_p+N,q、I_p+N,q+N、I_p+N,q+2N、…，以此类推，得到选取后的元素图像集合ES；

周期N值为满足下面条件的任一正整数：

（二）、在选取后的元素图像集合ES中，从每个元素图像的同样位置都提取一个像素块、大小为N_extract×N_extract个像素，将这些像素块进行拼接，可获得一个视点的重构图像，改变元素图像中像素块提取的位置，即可由选取后的元素图像集合ES重构出不同视点的图像； 

（1）. 根据集成成像系统参数，计算从每个元素图像中提取的像素个数N_extract×N_extract；

其中P_e为CCD相机采集到的元素图像中的像素间距，设采集的每个元素图像大小与微透镜大小相同，则：

P_e=P/M                                     （3）

将式（3）代入式（2），可得：

（2）.选择每个元素图像的第(h,w)个像素为基准像素，若每个元素图像有M×M个像素，则h、w为满足下面条件的正整数：

1≤h,w≤M-N_extract+1                           （5）

在式（5）给出的取值范围内，选择h、w值，即确定基准像素位置;在每个元素图像中，以基准像素为左上角像素，沿水平、竖直方向提取N_extract×N_extract个像素进行拼接，得到一个视点的重构图像；

（3）. 变化元素图像中基准像素的位置，即改变h、w取值，重复步骤（2），也就是从每个元素图像中的不同位置提取像素块进行拼接，重构出由同一个选取的元素图像集合ES获得的不同视点图像；

（三）、变换初始元素图像I_p,q的选择，即改变p、q取值，重复步骤（一）和步骤（二），重构出所有视点的图像。 

Images