CN102447934A - 稀疏镜头采集的组合立体图像系统中立体元的合成方法 - Google Patents

Abstract

稀疏镜头采集的组合立体图像系统中立体元的合成方法属立体图像生成技术领域，包括：设置稀疏相机矩阵；计算每幅拍摄图像与水平和垂直相邻图像间的视差图；将双目立体视觉模型扩展为多目立体视觉模型，分别根据每幅图像的水平视差图和垂直视差图计算出每幅图像中像素点所对应实际物点的空间位置坐标；将所有图像中计算得到的像素点所对应实际物点的空间位置坐标换算到同一坐标系中；虚拟一个相机阵列，将同一坐标系下每幅图像中像素点所对应的实际物点投影到每个虚拟相机中，生成子图像；对未填充点插值；生成立体元图像。本发明能实现大量虚拟视点的并行生成，更适合于立体元图像的虚拟合成，使组合立体图像系统的图像源从电脑制作走向实景拍摄。

Description

稀疏镜头采集的组合立体图像系统中立体元的合成方法

技术领域

本发明属立体图像生成技术领域，具体涉及一种组合立体图像系统中立体元图像的虚拟合成方法。

背景技术

长久以来，对显示世界视觉信息的获取主要来源于单摄像机捕获，而这种采集形式不能给人眼带来深度感、立体感以及对对象的全方位认识。随着相关学科的发展及新技术新需求的驱动，立体显示技术应运而生。立体显示技术主要包括利用两眼视差的立体显示技术和真实立体显示技术。目前，电影院中广泛采用两眼视差的立体显示技术，该技术容易实现而且成本低，但由于这种方法分别将左、右眼看到的图像传输给观众，强迫观众在大脑中产生立体感，很容易产生视觉疲劳，而且，该技术无法实现连续多视角的视差变化，因此，并不是理想的立体显示方法；真实立体显示技术主要包括全息术、体显示技术和组合立体显示技术。真实立体显示技术能够在空间中重现被拍摄物体的全部信息，观众通过生理调节眼睛的焦距来获得立体感，不会产生疲劳，因此，成为立体显示技术的发展趋向。相对于时空分辨率受限的全息术与体显示技术，组合立体显示技术使显示器在一个广泛的视野空间内呈现出连续视差的全彩色图像，实现了裸眼真实立体显示，成为新一代立体显示技术的重要组成部分。

组合立体图像系统中立体元图像的采集和成像原理来源于仿生学中对昆虫复眼的研究。我们知道，昆虫的复眼由许多只“小眼睛”组成，每只“小眼睛”接收被观察物体不同位置、不同角度的信息，在理想的组合立体图像系统中，用一个透镜阵列来模仿这种复眼结构，阵列中的每个小透镜相当于复眼中的每只“小眼睛”。那么，如图2所示，当实际物体所发出的光线通过透镜阵列而被记录在记录媒体上时，我们便得到了该物体不同位置、不同角度的信息，我们称其为立体元图像，透镜阵列中每个小透镜所记录的图像称为子图像，可见，一幅立体元图像是由与透镜阵列中小透镜个数等量的子图像组成的。在组合立体图像的显示过程中(如图3所示)，将一幅立体元图像放在具有相同参数的透镜阵列前面，根据光路可逆原理，透镜阵列将从立体元图像上发出的光线，汇聚成空间中真实存在的立体景象。

由于在实际拍摄立体元图像时，需要使用高精度的透镜阵列或摄像机阵列，而目前的制作工艺通常不能满足高质量立体图像的要求，所以立体元图像的获得主要来自于计算机生成方法，如图4所示，为计算机合成的立体元图像及子图像，但是，计算机生成方法只能对已有的3D模型进行处理，这样，大大限制了组合立体图像系统的应用范围。如何利用现有的设备，通过稀疏镜头采集来实现真实物体的立体元图像制作，成为组合立体图像系统能否推广应用的关键，因此，需要设计一种适合于组合立体图像系统的立体元合成方法。

常用的虚拟合成技术包括：基于三维几何模型的绘制技术和基于图像的绘制技术。基于三维几何模型的绘制(Model-Based Rendering，MBR)技术需要利用计算机视觉和计算机图形学技术建立一个精确的三维几何模型，然后根据视点位置，经明暗处理、隐藏面消除等过程生成目标虚拟视点位置的图像。MBR可以比较精确地描述物体的形状等信息，但其建模复杂度高，并且要求精确的外部参数，因此MBR技术不适合真实场景的虚拟视点绘制。基于图像的虚拟视点绘制(Image-Based Rendering，IBR)技术，是一种直接根据参考图像生成虚拟视点图像的方法。目前广泛使用的基于深度图的绘制(DIBR)技术是由IBR技术发展而来，它的核心是3D图像映射方程(3D Image Warping)。Image Warping利用包含深度信息的参考图像来绘制新视点下的目标图像，其本质是一种空间重投影技术，由于DIBR技术绘制虚拟视点的速度快，图像质量高，因此，非常适用于立体图像的虚拟视点生成，但是DIBR技术无法实现大量虚拟视点的合成，而且，针对于组合立体图像系统的相机矩阵局部成像特点，目前没有现成可用的虚拟合成技术。鉴于上述两种典型虚拟合成方法存在的问题，我们需要寻找一种更有效、更适用于组合立体图像系统的虚拟合成方法，这种方法既可以实现大量视点的并行插值，同时，又不需要复杂的建模和精确的外部参数。

发明内容

本发明的目的在于提供一种稀疏镜头采集的组合立体图像系统中立体元的合成方法，实现真实景物的立体显示。

本发明包括下列步骤：

(1)设置稀疏相机矩阵，必须保证矩阵中的所有相机在同一个平面内，每行相机的连线互相平行，每列相机的连线也互相平行，每行相机和每列相机的连线互相垂直；

(2)分别计算每幅拍摄图像与其水平相邻图像间的视差图和垂直相邻图像间的视差图，其中每幅拍摄图像与水平相邻图像间的视差图是通过一维窗匹配的方法计算获得，每幅拍摄图像与垂直相邻图像间的视差图是通过将上、下两幅相邻图像进行转置，然后按照每幅拍摄图像与水平相邻图像间视差图相同的获得方法计算，将计算结果再进行转置获得；

(3)将双目立体视觉模型扩展为多目立体视觉模型，分别根据每幅图像的水平视差图和垂直视差图计算出每幅图像中像素点所对应实际物点的空间位置坐标，其中左上方相机拍摄到的图像中像素点所对应实际物点的空间位置坐标的计算，包括下列步骤：

第一步：根据水平视差，计算出左上方图像中像素点所对应实际物点的空间位置坐标，其表达式为：

Z₁＝f×B₁/d₁

X₁＝x_l×B₁/d₁

Y₁＝y_l×B₁/d₁

d₁＝|x_l-x_r|

式中：Z₁-为通过水平视差计算得到的实际物点到相机阵列平面的深度距离，X₁-为通过水平视差计算得到的实际物点到左上方相机中心的水平距离，Y₁-为通过水平视差计算得到的实际物点到左上方相机中心的垂直距离，d₁-为水平视差值，f-为相机焦距，B₁-为相邻相机间的水平基线距离，x_l、x_r-分别为实际物点在左上方图像和右上方图像中成像点距离图像中心的水平距离，y_l-为实际物点在左上方图像中成像点距离图像中心的垂直距离；

第二步：根据垂直视差，计算出左上方图像中像素点所对应实际物点的空间位置坐标，其表达式为：

Z₂＝f×B₂/d₂

X₂＝x_t×B₂/d₂

Y₂＝y_t×B₂/d₂

d₂＝|y_t-y_b|

式中：Z₂-为通过垂直视差计算得到的实际物点到相机阵列平面的深度距离，X₂-为通过垂直视差计算得到的实际物点到左上方相机中心的水平距离，Y₂-为通过垂直视差计算得到的实际物点到左上方相机中心的垂直距离，d₂-为垂直视差值，f-为相机焦距，B₂-为相邻相机间的垂直基线距离，y_t，y_b-分别为实际物点在左上方图像和左下方图像中成像点距离图像中心的垂直距离，x_t-为实际物点在左上方图像中成像点距离图像中心的水平距离；

第三步：对每幅图像对应由水平视差和垂直视差计算得到的两组空间位置坐标中存在的重叠数据进行合并，将每幅图的两组空间位置坐标合并成一组，具体为：

a、将两组数据中公共像素点所对应实际物点的信息进行合并，取两组数据的均值作为该实际物点的新的空间位置坐标；

b、对两组数据中的非公共像素点所对应实际物点的空间位置坐标进行单独存储；

右上方相机、左下方相机和右下方相机拍摄到的图像中像素点所对应实际物点的空间位置坐标的计算，与上述三个步骤相同；

(4)将所有图像中计算得到的像素点所对应实际物点的空间位置坐标换算到同一坐标系中，得到在同一坐标系下每幅图像中像素点所对应实际物点的空间位置坐标，具体为：将所有实际物点的空间位置坐标换算到左上方图像的坐标系中，其表达式为：

右上方图像：X＝X_rt+B₁；Y＝Y_rt-B₂

左下方图像：X＝X_lb-B₁；Y＝Y_lb+B₂

右下方图像：X＝X_rb+B₁；Y＝Y_rb+B₂

其中，X和Y-分别为每幅图像中像素点所对应实际物点的空间位置坐标经过换算后在左上方图像坐标系中的新的水平和垂直位置坐标，B₁-为相机阵列的水平基线距离，B₂-为相机阵列的垂直基线距离，X_rt和Y_rt-分别为右上方图像中像素点所对应实际物点的水平和垂直位置坐标，X_lb和Y_lb-分别为左下方图像中像素点所对应实际物点的水平和垂直位置坐标，X_rb和Y_rb-分别为右下方图像中像素点所对应实际物点的水平和垂直位置坐标；

每幅图像中像素点所对应实际物点到相机阵列平面的深度距离都以同一相机平面作为参考，无需进行换算；

(5)虚拟一个相机阵列，根据小孔成像原理，将步骤(4)中计算得到的同一坐标系下每幅图像中像素点所对应的实际物点投影到每个虚拟相机中，生成子图像；在生成过程中，同时考虑遮挡的影响；

设置虚拟相机阵列时，虚拟相机阵列的位置坐标以左上方相机中心作为坐标原点，为保证所有具有空间位置的实际物点至少能够成像到一个虚拟相机中，虚拟相机阵列的边界必须将所有实际物点的空间位置坐标都包含进来，将虚拟相机阵列的左边界设置为所有物点中最左边点的横坐标位置，右边界设置为所有物点中最右边点的横坐标位置，上边界设置为所有物点中最上边点的纵坐标位置，下边界设置为所有物点中最下边点的纵坐标位置，虚拟相机阵列中相机的数量可以自由设定，每个虚拟相机等间隔地排列在虚拟相机阵列中，虚拟相机阵列距离实际物点的深度也可以自由设定；

成像时，在已知虚拟相机空间位置、焦距和实际物点的空间位置的情况下，根据小孔成像原理，得到实际物点在每个虚拟相机中所成的像——子图像，实际物点在子图像中成像点的位置坐标为：

x＝f′×(X-C_x)/Z

y＝f′×(Y-C_y)/Z

其中，f′-为虚拟相机焦距，X、Y和Z-为实际物点的空间位置坐标，C_x和C_y-为虚拟相机中心的位置坐标，x和y-为实际物点在子图像中成像点的位置坐标；

在成像过程中，考虑到遮挡的影响，如果在投影线上存在多于一个的实际物点，则取深度值最小的点，也就是最接近于虚拟相机阵列的点进行投影；

(6)对于投影得到的每个虚拟相机中的子图像，存在未被填充的像素点，需将未填充像素点按照其周围已填充像素点的个数进行分级，周围已填充像素点的个数越多，级别越高，越优先处理，在处理中对周围所有已填充像素点的像素值取均值，作为该未填充像素点的像素值；

(7)将得到的每个子图像按虚拟相机的排列顺序进行组合，生成立体元图像。

本发明针对组合立体图像系统的成像机理，利用空间中稀疏排列的相机矩阵进行图像采集。针对MBR技术建模复杂，而且对外部参数要求苛刻，以及DIBR技术无法实现大量虚拟视点生成的问题，本发明提供了一种适合于组合立体图像系统中立体元图像的虚拟合成方法，既实现了被拍摄物体空间位置的建模，同时降低了复杂度，而且不需要额外参数，采用虚拟镜头投影成像的方法，很好地解决了大量子图像的局部生成问题。

现有的技术从未涉足过组合立体图像系统中立体元的虚拟合成，对于组成立体元图像的基本单元——子图像(element image，EI)没有现成可用的虚拟生成方法。本发明能实现大量虚拟视点的并行生成，更适合于立体元图像的虚拟合成。与传统的虚拟视点生成技术相比，本发明使用简单的模型，重构出拍摄物体的空间位置，并用重投影的方法实现了大量虚拟视点的合成，使组合立体图像系统的图像源从电脑制作走向实景拍摄。

附图说明

图1为稀疏镜头采集的组合立体图像系统中立体元的合成方法的流程图

图2为真实组合立体图像系统的立体元图像采集过程示意图

图3为真实组合立体图像系统的立体元图像显示过程示意图

其中：1.记录媒体  2.镜头矩阵  3.光线  4.实际物体  5.照明  6.平板显示器  7.立体图像

图4为计算机合成的立体元图像及子图像示意图

图5为2×2稀疏相机矩阵示意图

图6为2×2稀疏相机矩阵采集到的原始图像

图7为双目立体视觉几何模型

其中：X为实际物点p到左摄像机中心的横向距离，Z为实际物点p到相机阵列平面的深度距离，f为相机焦距，B为相邻相机间的基线距离，C₁和Cr为实际相机，x₁、x_r分别为实际物点p在左右图像中成像点距离图像中心的横向距离。

图8为反向映射生成子图像示意图

其中：W为虚拟相机的成像宽度，f’为虚拟相机焦距，p为实际物点，C₁-C₅为虚拟相机。

具体实施方式

以下结合附图实例对本发明作进一步详细描述。这里，将图5中所示的2×2稀疏相机矩阵采集平台采集到的图像作为合成立体元图像的原始图像，如图6所示为2×2稀疏相机矩阵采集到的原始图像，具体过程(如图1所示)包括下列步骤：

1.设置稀疏相机矩阵(如图5所示)，必须保证矩阵中的所有相机在同一个平面内，每行相机的连线互相平行，每列相机的连线也互相平行，每行相机和每列相机的连线互相垂直。

2.分别计算每幅拍摄图像与其水平相邻图像间的视差图和垂直相邻图像间的视差图，其中每幅拍摄图像与水平相邻图像间的视差图是通过一维窗匹配的方法计算获得，每幅拍摄图像与垂直相邻图像间的视差图是通过将上、下两幅相邻图像进行转置，然后按照每幅拍摄图像与水平相邻图像间视差图相同的获得方法计算，将计算结果再进行转置获得。

3.将双目立体视觉模型(如图7)扩展为多目立体视觉模型，分别根据每幅图像的水平视差图和垂直视差图计算出每幅图像中像素点所对应实际物点的空间位置坐标，其中左上方相机拍摄到的图像中像素点所对应实际物点的空间位置坐标的计算，包括下列步骤：

第一步：根据水平视差，计算出左上方图像中像素点所对应实际物点的空间位置坐标，其表达式为：

Z₁＝f×B₁/d₁

X₁＝x_l×B₁/d₁

Y₁＝y_l×B₁/d₁

d₁＝|x_l-x_r|

式中：Z₁-为通过水平视差计算得到的实际物点到相机阵列平面的深度距离，X₁-为通过水平视差计算得到的实际物点到左上方相机中心的水平距离，Y₁-为通过水平视差计算得到的实际物点到左上方相机中心的垂直距离，d₁-为水平视差值，f-为相机焦距，B₁-为相邻相机间的水平基线距离，x_l、x_r-分别为实际物点在左上方图像和右上方图像中成像点距离图像中心的水平距离，y_l-为实际物点在左上方图像中成像点距离图像中心的垂直距离。

第二步：根据垂直视差，计算出左上方图像中像素点所对应实际物点的空间位置坐标，其表达式为：

Z₂＝f×B₂/d₂

X₂＝x_t×B₂/d₂

Y₂＝y_t×B₂/d₂

d₂＝|y_t-y_b|

式中：Z₂-为通过垂直视差计算得到的实际物点到相机阵列平面的深度距离，X₂-为通过垂直视差计算得到的实际物点到左上方相机中心的水平距离，Y₂-为通过垂直视差计算得到的实际物点到左上方相机中心的垂直距离，d₂-为垂直视差值，f-为相机焦距，B₂-为相邻相机间的垂直基线距离，y_t，y_b-分别为实际物点在左上方图像和左下方图像中成像点距离图像中心的垂直距离，x_t-为实际物点在左上方图像中成像点距离图像中心的水平距离。

第三步：每幅图像对应由水平视差和垂直视差计算得到的两组空间位置坐标中存在重叠数据，即，图像中的某些像素点在根据水平视差计算空间位置坐标和根据垂直视差计算空间位置坐标时各生成了一组坐标值，因此，需对这些重叠的数据进行合并，将每幅图的两组空间位置坐标合并成一组，具体为：

a、将两组数据中公共像素点所对应实际物点的信息进行合并，取两组数据的均值作为该实际物点的新的空间位置坐标；

b、对两组数据中的非公共像素点所对应实际物点的空间位置坐标进行单独存储。

右上方相机、左下方相机和右下方相机拍摄到的图像中像素点所对应实际物点的空间位置坐标的计算，与上述三个步骤相同。

4.将所有图像中计算得到的像素点所对应实际物点的空间位置坐标换算到同一坐标系中，由于每幅图像中像素点所对应实际物点的空间位置坐标都是以每个相机中心为坐标原点计算，而在虚拟成像时需将所有图像中像素点所对应实际物点的空间位置坐标统一到同一个坐标系中，需进行归一化处理得到在同一坐标系下每幅图像中像素点所对应实际物点的空间位置坐标，具体为：将所有实际物点的空间位置坐标换算到左上方图像的坐标系中，其表达式为：

右上方图像：X＝X_rt+B₁；Y＝Y_rt-B₂

左下方图像：X＝X_lb-B₁；Y＝Y_lb+B₂

右下方图像：X＝X_rb+B₁；Y＝Y_rb+B₂

其中，X和Y-分别为每幅图像中像素点所对应实际物点的空间位置坐标经过换算后在左上方图像坐标系中的新的水平和垂直位置坐标，B₁-为相机阵列的水平基线距离，B₂-为相机阵列的垂直基线距离，X_rt和Y_rt-分别为右上方图像中像素点所对应实际物点的水平和垂直位置坐标，X_lb和Y_lb-分别为左下方图像中像素点所对应实际物点的水平和垂直位置坐标，X_rb和Y_rb-分别为右下方图像中像素点所对应实际物点的水平和垂直位置坐标。

每幅图像中像素点所对应实际物点到相机阵列平面的深度距离都以同一相机平面作为参考，无需进行换算。

5.虚拟一个相机阵列，根据小孔成像原理，将步骤(4)中计算得到的同一坐标系下每幅图像中像素点所对应的实际物点投影到每个虚拟相机中，生成子图像；在生成过程中，同时考虑遮挡的影响。

理想的组合立体图像系统中，透镜阵列中每个小透镜只记录被拍摄物体某一位置的局部信息，我们将每个小透镜所成的图像称为子图像。本发明中，使用虚拟相机阵列来模拟透镜阵列的成像过程。

设置虚拟相机阵列时，虚拟相机阵列的位置坐标以左上方相机中心作为坐标原点，虚拟相机阵列平面平行于用于真实采集的稀疏相机阵列平面。为保证所有具有空间位置的实际物点至少能够成像到一个虚拟相机中，虚拟相机阵列的边界必须将所有实际物点的空间位置坐标都包含进来，将虚拟相机阵列的左边界设置为所有物点中最左边点的横坐标位置，右边界设置为所有物点中最右边点的横坐标位置，上边界设置为所有物点中最上边点的纵坐标位置，下边界设置为所有物点中最下边点的纵坐标位置，虚拟相机阵列中相机的数量可以自由设定，在实验中设为33×50个，每个虚拟相机等间隔地排列在虚拟相机阵列中，虚拟相机阵列距离实际物点的深度也可以自由设定，实验中默认为与用于真实采集的稀疏相机阵列距离实际物点的深度相同。

成像时，在已知虚拟相机空间位置、焦距和实际物点的空间位置的情况下，根据小孔成像原理，得到实际物点在每个虚拟相机中所成的像——子图像。如图8所示，为生成子图像的示意图，图中P点为前文中计算得到的实际物点，C_i(i＝1，2，……，5)为5个虚拟相机，每个虚拟相机的成像宽度为W(pixel)，焦距为f′。图中，从实际物点P向每个虚拟相机投影，如果P点落在虚拟相机的成像范围内，则将P点的像素值记录在该相机所成的图像中(如C₃，C₄，C₅)；如果P点落在虚拟相机的成像范围外，则将P点舍掉(如C₁，C₂)。这样，我们便将实际物点全部投影到虚拟相机阵列中。实际物点在子图像中成像点的位置坐标为：

x＝f′×(X-C_x)/Z

y＝f′×(Y-C_y)/Z

其中，f′-为虚拟相机焦距，X、Y和Z-为实际物点的空间位置坐标，C_x和C_y-为虚拟相机中心的位置坐标，x和y-为实际物点在子图像中成像点的位置坐标。

在成像过程中，考虑到遮挡的影响，如果在投影线上存在多于一个的实际物点，则取深度值最小的点，也就是最接近于虚拟相机阵列的点进行投影。

6.对于投影得到的每个虚拟相机中的子图像，由于遮挡等因素的影响，存在未被填充的像素点，需将未填充像素点按照其周围已填充像素点的个数进行分级，周围已填充像素点的个数越多，级别越高，越优先处理，周围已填充像素点个数最多为8个，最少为0。在处理中对周围所有已填充像素点的像素值取均值，作为该未填充像素点的像素值。

7.将得到的每个子图像按虚拟相机的排列顺序进行组合，生成立体元图像。

Claims (1)

1.一种稀疏镜头采集的组合立体图像系统中立体元的合成方法，其特征在于包括下列步骤：

(1)设置稀疏相机矩阵，必须保证矩阵中的所有相机在同一个平面内，每行相机的连线互相平行，每列相机的连线也互相平行，每行相机和每列相机的连线互相垂直；

(2)分别计算每幅拍摄图像与其水平相邻图像间的视差图和垂直相邻图像间的视差图，其中每幅拍摄图像与水平相邻图像间的视差图是通过一维窗匹配的方法计算获得，每幅拍摄图像与垂直相邻图像间的视差图是通过将上、下两幅相邻图像进行转置，然后按照每幅拍摄图像与水平相邻图像间视差图相同的获得方法计算，将计算结果再进行转置获得；

(3)将双目立体视觉模型扩展为多目立体视觉模型，分别根据每幅图像的水平视差图和垂直视差图计算出每幅图像中像素点所对应实际物点的空间位置坐标，其中左上方相机拍摄到的图像中像素点所对应实际物点的空间位置坐标的计算，包括下列步骤：

第一步：根据水平视差，计算出左上方图像中像素点所对应实际物点的空间位置坐标，其表达式为：

Z₁＝f×B₁/d₁

X₁＝x_l×B₁/d₁

Y₁＝y_l×B₁/d₁

d₁＝|x_l-x_r|

式中：Z₁-为通过水平视差计算得到的实际物点到相机阵列平面的深度距离，X₁-为通过水平视差计算得到的实际物点到左上方相机中心的水平距离，Y₁-为通过水平视差计算得到的实际物点到左上方相机中心的垂直距离，d₁-为水平视差值，f-为相机焦距，B₁-为相邻相机间的水平基线距离，x_l、x_r-分别为实际物点在左上方图像和右上方图像中成像点距离图像中心的水平距离，y_l-为实际物点在左上方图像中成像点距离图像中心的垂直距离；

第二步：根据垂直视差，计算出左上方图像中像素点所对应实际物点的空间位置坐标，其表达式为：

Z₂＝f×B₂/d₂

X₂＝x_t×B₂/d₂

Y₂＝y_t×B₂/d₂

d₂＝|y_t-y_b|

式中：Z₂-为通过垂直视差计算得到的实际物点到相机阵列平面的深度距离，X₂-为通过垂直视差计算得到的实际物点到左上方相机中心的水平距离，Y₂-为通过垂直视差计算得到的实际物点到左上方相机中心的垂直距离，d₂-为垂直视差值，f-为相机焦距，B₂-为相邻相机间的垂直基线距离，y_t，y_b-分别为实际物点在左上方图像和左下方图像中成像点距离图像中心的垂直距离，x_t-为实际物点在左上方图像中成像点距离图像中心的水平距离；

第三步：对每幅图像对应由水平视差和垂直视差计算得到的两组空间位置坐标中存在的重叠数据进行合并，将每幅图的两组空间位置坐标合并成一组，具体为：

a、将两组数据中公共像素点所对应实际物点的信息进行合并，取两组数据的均值作为该实际物点的新的空间位置坐标；

b、对两组数据中的非公共像素点所对应实际物点的空间位置坐标进行单独存储；

右上方相机、左下方相机和右下方相机拍摄到的图像中像素点所对应实际物点的空间位置坐标的计算，与上述三个步骤相同；

(4)将所有图像中计算得到的像素点所对应实际物点的空间位置坐标换算到同一坐标系中，得到在同一坐标系下每幅图像中像素点所对应实际物点的空间位置坐标，具体为：将所有实际物点的空间位置坐标换算到左上方图像的坐标系中，其表达式为：

右上方图像：X＝X_rt+B₁；Y＝Y_rt-B₂

左下方图像：X＝X_lb-B₁；Y＝Y_lb+B₂

右下方图像：X＝X_rb+B₁；Y＝Y_rb+B₂

其中，X和Y-分别为每幅图像中像素点所对应实际物点的空间位置坐标经过换算后在左上方图像坐标系中的新的水平和垂直位置坐标，B₁-为相机阵列的水平基线距离，B₂-为相机阵列的垂直基线距离，X_rt和Y_rt-分别为右上方图像中像素点所对应实际物点的水平和垂直位置坐标，X_lb和Y_lb-分别为左下方图像中像素点所对应实际物点的水平和垂直位置坐标，X_rb和Y_rb-分别为右下方图像中像素点所对应实际物点的水平和垂直位置坐标；

每幅图像中像素点所对应实际物点到相机阵列平面的深度距离都以同一相机平面作为参考，无需进行换算；

(5)虚拟一个相机阵列，根据小孔成像原理，将步骤(4)中计算得到的同一坐标系下每幅图像中像素点所对应的实际物点投影到每个虚拟相机中，生成子图像；在生成过程中，同时考虑遮挡的影响；

设置虚拟相机阵列时，虚拟相机阵列的位置坐标以左上方相机中心作为坐标原点，为保证所有具有空间位置的实际物点至少能够成像到一个虚拟相机中，虚拟相机阵列的边界必须将所有实际物点的空间位置坐标都包含进来，将虚拟相机阵列的左边界设置为所有物点中最左边点的横坐标位置，右边界设置为所有物点中最右边点的横坐标位置，上边界设置为所有物点中最上边点的纵坐标位置，下边界设置为所有物点中最下边点的纵坐标位置，虚拟相机阵列中相机的数量可以自由设定，每个虚拟相机等间隔地排列在虚拟相机阵列中，虚拟相机阵列距离实际物点的深度也可以自由设定；

成像时，在已知虚拟相机空间位置、焦距和实际物点的空间位置的情况下，根据小孔成像原理，得到实际物点在每个虚拟相机中所成的像——子图像，实际物点在子图像中成像点的位置坐标为：

x＝f′×(X-C_x)/Z

y＝f′×(Y-C_y)/Z

其中，f′-为虚拟相机焦距，X、Y和Z-为实际物点的空间位置坐标，C_x和C_y-为虚拟相机中心的位置坐标，x和y-为实际物点在子图像中成像点的位置坐标；

在成像过程中，考虑到遮挡的影响，如果在投影线上存在多于一个的实际物点，则取深度值最小的点，也就是最接近于虚拟相机阵列的点进行投影；

(6)对于投影得到的每个虚拟相机中的子图像，存在未被填充的像素点，需将未填充像素点按照其周围已填充像素点的个数进行分级，周围已填充像素点的个数越多，级别越高，越优先处理，在处理中对周围所有已填充像素点的像素值取均值，作为该未填充像素点的像素值；

(7)将得到的每个子图像按虚拟相机的排列顺序进行组合，生成立体元图像。

Images