CN105959669B

CN105959669B - 一种基于重映射的集成成像微图像阵列快速生成方法

Info

Publication number: CN105959669B
Application number: CN201610388732.1A
Authority: CN
Inventors: 王琼华; 邢妍; 熊召龙; 邓欢
Original assignee: Sichuan University
Current assignee: Sichuan University
Priority date: 2016-06-06
Filing date: 2016-06-06
Publication date: 2017-09-29
Anticipated expiration: 2036-06-06
Also published as: CN105959669A

Abstract

本发明公开了一种基于重映射的集成成像微图像阵列快速生成方法，其包括映射矩阵的计算和摄像机阵列获取视差图像的重映射两个步骤。该方法利用棋盘格标定板，对映射矩阵进行计算并存储，使摄像机阵列拍摄的视差图像可以通过重映射直接生成微图像阵列，将摄像机单目矫正、多目标定及微图像阵列合图三个过程简化为一个过程，同时该过程适用于GPU并行处理，从而加快了微图像阵列的生成速度，而且容易实现。

Description

一种基于重映射的集成成像微图像阵列快速生成方法

技术领域

本发明涉及图像处理技术和集成成像技术，特别涉及一种基于重映射的集成成像微图像阵列快速生成方法。

背景技术

集成成像是一种裸眼三维技术，其包括拍摄和显示两个过程。拍摄时，利用摄像机阵列获取三维场景不同角度的信息，生成微图像阵列；显示时，将微图像阵列通过对应的微透镜阵列，依据光路可逆原理，在观看空间重建出三维场景。拍摄过程存在计算机虚拟摄像机阵列拍摄和真实摄像机阵列拍摄两种方法。在传统集成成像真实摄像机阵列拍摄中，由于摄像机空间位置和光轴方向难以精确控制及透镜畸变的影响，首先须对摄像机阵列进行标定，且摄像机阵列采用相机数目巨大，因此生成微图像阵列将耗费大量时间，难以满足真实场景集成成像实时动态显示的要求，从而极大地限制了集成成像技术的应用。

重映射是一种典型的图像变化算法，能够将源图像通过指定的映射矩阵直接转换为目标图像，其在图像放缩、扭曲及旋转等领域具有十分广泛的应用。

发明内容

本发明旨在实现现有集成成像摄像机阵列实时动态获取技术中微图像阵列的实时生成。

为达到上述目的，本发明提出了一种基于重映射的集成成像微图像阵列快速生成方法。所述方法包括映射矩阵的计算和摄像机阵列获取视差图像的重映射两个步骤。映射矩阵的计算过程，利用摄像机阵列拍摄棋盘格标定板，通过获得的棋盘格角点像素坐标，计算每幅视差图像对应的单应性变换矩阵，进而计算目标微图像阵列对应的映射矩阵；摄像机阵列获取视差图像的重映射过程，利用计算的映射矩阵，对摄像机阵列拍摄的视差图像进行重映射，得到微图像阵列，用于集成成像显示。

根据本发明提出的一种基于重映射的集成成像微图像阵列快速生成方法，基于集成成像原理，通过利用棋盘格标定板，对映射矩阵进行计算并存储，使摄像机阵列拍摄的视差图像可以通过重映射直接生成微图像阵列，将摄像机单目矫正、多目标定及微图像阵列合图三个过程简化为一个过程，同时该过程适用于GPU并行处理，从而加快了微图像阵列的生成速度，而且容易实现。

所述映射矩阵的计算过程，利用摄像机阵列对位于中心深度平面处的棋盘格进行拍摄，进而探测角点像素坐标，计算每幅视差图像对应的单应性变换矩阵用于图像校正，合成微图像阵列，计算微图像阵列对应的x和y方向的映射矩阵。摄像机阵列包含摄像机数目为M×N，(m, n)表示每个摄像机的索引。在中心深度平面位置处设置棋盘格标定板，其角点个数为H×V，利用摄像机阵列对棋盘格标定板进行拍摄，得到M×N幅棋盘格图像，其索引同样用(m, n)表示。以亚像素精度在每幅棋盘格图像上寻找角点位置，得到角点像素坐标(x _t, y _t)_{m, n}，t = 0, 1, …, H×V - 1。微图像阵列分辨率为S×R。根据集成成像显示原理，所有摄像机应具有相同的投影平面。因此，利用获得的棋盘格角点像素坐标对摄像机阵列拍摄的每幅视差图像进行校正。假设第(m, n)幅视差图像对应的校正单应性变换矩阵为H_{m, n}，表示为：

(1)

则H_{m, n}满足以下透视投影变换方程：

I' _{m, n}(x', y') = I _{m, n}(x, y) (2)

(3)

其中，s _{m, n}表示第(m, n)幅视差图像单应性变换矩阵为得到齐次坐标的尺度比例因子，I _{m, n}(x, y)，I' _{m, n}(x', y')分别表示第(m, n)幅摄像机拍摄视差图像和校正的视差图像。利用M×N幅棋盘格图像及相应角点像素坐标计算H_{m, n}，表示为：

(4)

当t = 0, H - 1, H×V - 1, H×(V - 1)时，i =0, 1, 2, 3，对应坐标为(x' ₀,y' ₀)_{m, n} = (0, 0)，(x' ₁, y' ₁)_{m, n} = (S - 1, 0)，(x' ₂, y' ₂)_{m, n} = (S - 1, R - 1)，(x' ₃,y' ₃)_{m, n} = (0, R - 1)。根据上述四组坐标值约束的方程，得到第(m, n)幅视差图像对应的校正单应性变换矩阵H_{m, n}及比例因子s _{m, n}。

所述微图像阵列由I''(x'', y'')表示，根据集成成像原理，考虑深度反转，则微图像阵列I''(x'', y'')满足：

I''(x'', y'') = I' _{M– (x'' - 1) mod M, N– (y'' - 1) mod N}(x'', y'') (5)

利用前述视差图像校正公式(2)、(3)及(5)，即可求得微图像阵列对应映射矩阵MX= (mx _{y'', x''})_R×S，MY = (my _{y'', x''})_R×S，其满足：

u = M - x'' mod M, v = N - y'' mod N (6)

(7)

其中，x'' = 0, 1, …, S - 1，y'' = 0, 1, …, R - 1。

优选地，为了减小摄像机阵列中每个摄像机透镜引入的径向和切向畸变，在集成成像摄像机阵列标定前对每个摄像机分别进行单目标定，以获得更好的拍摄效果。

所述摄像机阵列获取视差图像的重映射过程，利用计算的映射矩阵，对摄像机阵列拍摄的视差图像进行重映射操作，得到微图像阵列。微图像阵列I''(x'', y'')像素值由映射矩阵对应位置的元素在视差图像中的像素值获得，重映射过程表示为：

I''(x'', y'') = I _{u, v(} mx _y'',x'', my _y'',x'') (8)

其中，u，v，mx _{y'', x''}，my _{y'', x''}由公式(6)、(7)获得。利用重映射过程，获得微图像阵列，用于集成成像显示。

优选地，当计算的目标视差图像的像素坐标mx _{y'', x''}，my _{y'', x''}不同时满足0 ≤mx _{y'', x''} < S和0 ≤my _{y'', x''} < R时，映射矩阵相应位置元素置0，避免信息溢出。

根据本发明提出的一种基于重映射的集成成像微图像阵列快速生成方法，通过映射矩阵的计算和视差图像的重映射两个过程，使集成成像摄像机阵列达到精确标定，将摄像机单目矫正、多目标定及微图像阵列合图三个过程简化为一个过程，同时该过程适用于GPU并行处理，从而加快了微图像阵列的生成速度，而且容易实现。

另外，根据本发明上述提出的一种基于重映射的集成成像微图像阵列快速生成方法还可以具有如下附加的技术特征：

进一步地，所述摄像机阵列中的每个摄像机独立设置，相邻摄像机之间等间距排列。

进一步地，所述校正视差图像的分辨率与微图像阵列分辨率相同。

本发明附加的方面和优点将在下面的描述中部分给出，或通过本发明的实践了解到。

附图说明

本发明的前述和附加的方面及优点从下述结合附图与实施例的详细描述中将得以进一步明确和容易理解，其中：

图1为本发明提出的一种基于重映射的集成成像微图像阵列快速生成方法的流程图。

图2为映射矩阵计算过程的示意图。

图3为集成成像摄像机阵列拍摄过程的示意图。

图4为集成成像摄像机阵列拍摄视差图像重映射过程的示意图。

上述附图中的图示标号为：

1棋盘格图像，2校正图像，3微图像阵列，4三维场景，5集成成像拍摄中心深度平面，6摄像机阵列，7三维场景视差图像，8微图像阵列局部放大图像。

应该理解上述附图只是示意性的，并没有按比例绘制。

具体实施方式

下面详细描述本发明提出的一种基于重映射的集成成像微图像阵列快速生成方法的一个典型实施例，所述实施例的示例在附图中示出。有必要在此指出的是，下面描述的实施例是示例性的，旨在对本发明做进一步的解释，而不能理解为对本发明保护范围的限制，该领域技术熟练人员根据前述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。

下面参照附图描述本发明提出的一种基于重映射的集成成像微图像阵列快速生成方法。参照附图1，本发明的具体流程如下：

映射矩阵的计算过程中，确定摄像机阵列包含摄像机数目为M×N = 16×16，(m,n)表示每个摄像机的索引，参照附图2所示。在中心深度平面位置处设置棋盘格标定板，其角点个数为H×V = 15×11，利用摄像机阵列对棋盘格标定板进行拍摄，参照附图3所示，得到16×16幅棋盘格图像，其索引同样用(m, n)表示，m = 0, 1, …, 15，n = 0, 1, …,15。以亚像素精度在每幅棋盘格图像上寻找角点位置，得到角点像素坐标(x _t, y _t)_{m, n}，t =0, 1, …, 164。微图像阵列分辨率为S×R = 1920×1080。利用获得的棋盘格角点像素坐标对摄像机阵列拍摄的每幅视差图像进行校正。假设第(m, n)幅视差图像对应的校正单应性变换矩阵为H_{m, n}，表示为：

利用16×16幅棋盘格图像及相应角点像素坐标计算H_{m, n}，表示为：

当t = 0, 14, 164, 150时，i =0, 1, 2, 3，对应坐标为(x' ₀, y' ₀)_{m, n} = (0,0)，(x' ₁, y' ₁)_{m, n} = (1919, 0)，(x' ₂, y' ₂)_{m, n} = (1919, 1079)，(x' ₃, y' ₃)_{m, n} = (0,1079)。根据上述四组坐标值约束的方程，得到第(m, n)幅视差图像对应的校正单应性变换矩阵H_{m, n}及比例因子s _{m, n}。本发明具体实施例中计算得到的校正单应性变换矩阵H_{m, n}及比例因子s _{m, n}部分如下：

，s _{0, 0}(0, 0) = -1.077e – 06

， s _{15, 0}(0, 0) = -1.568e – 06

微图像阵列由I''(x'', y'')表示，I _{m, n}(x, y)，I' _{m, n}(x', y')分别表示第(m, n)幅摄像机拍摄视差图像和校正的视差图像。根据集成成像原理，考虑深度反转，则微图像阵列I''(x'', y'')满足：

I''(x'', y'') = I' _{16 – (x'' - 1) mod 16, 16 – (y'' - 1) mod 16}(x'', y'')

微图像阵列对应映射矩阵MX = (mx _{y'', x''})_1080×1920，MY = (my _{y'', x''})_1080×1920满足：

u = 16 - x'' mod 16, v = 16 - y'' mod 16

其中，x'' = 0, 1, …, 1919，y'' = 0, 1, …, 1079。

本发明具体实施例中计算得到的映射矩阵MX，MY部分元素如下：

mx _{0, 0} = 408，mx _{0, 1920} = 1231，mx _{1080, 0} = 406，mx _{1080, 1920} = 1233，

my _{0, 0} = 231，my _{0, 1920} = 225，my _{1080, 0} = 778，my _{1080, 1920} = 776

摄像机阵列获取视差图像的重映射过程中，微图像阵列I''(x'', y'')像素值由映射矩阵对应位置的元素在视差图像中的像素值获得，参照附图4所示，重映射过程表示为：

I''(x'', y'') = I _{u, v(} mx _y'',x'', my _y'',x'')

利用重映射过程，获得微图像阵列，用于集成成像显示。本发明具体实施例中获得的微图像阵列部分像素表示如下：

I''(0, 0) = I _{16, 16}(408, 231)，I''(0, 1920) = I _{16, 16}(1231, 225)，

I''(1080, 0) = I _{16, 8}(406, 778)，I''(1080, 1920) = I _{16, 8}(1233, 776)

优选地，当计算的目标视差图像的像素坐标mx _{y'', x''}，my _{y'', x''}不同时满足0 ≤mx _{y'', x''} < 1920和0 ≤my _{y'', x''} < 1080时，映射矩阵相应位置元素置0，避免信息溢出。

进一步地，在本发明的具体实施例中，摄像机阵列中的每个摄像机独立设置，摄像机可以采用商业摄像机(Fujifilm X-E2)进行棋盘格和三维场景的拍摄。相邻摄像机之间等间距排列，间距为8.3mm。

进一步地，在本发明的具体实施例中，校正视差图像的分辨率与微图像阵列分辨率相同，视差图像分辨率为1920×1080。

Claims

1.一种基于重映射的集成成像微图像阵列快速生成方法，其特征在于，该方法包括映射矩阵的计算和摄像机阵列获取视差图像的重映射两个步骤：映射矩阵的计算过程，利用摄像机阵列拍摄棋盘格标定板，通过探测棋盘格角点像素坐标，计算每幅视差图像对应的单应性变换矩阵，利用单应性变换对视差图像进行校正，并根据微图像阵列和校正的视差图像之间的关系计算目标微图像阵列对应的映射矩阵；摄像机阵列获取视差图像的重映射过程，利用计算的映射矩阵，对摄像机阵列拍摄的视差图像进行重映射，得到微图像阵列，用于集成成像显示，映射矩阵的计算过程，利用摄像机阵列对位于中心深度平面处的棋盘格进行拍摄，进而探测角点像素坐标，计算每幅视差图像对应的单应性变换矩阵用于图像校正，合成微图像阵列，计算微图像阵列对应的x和y方向的映射矩阵，摄像机阵列包含摄像机数目为M×N，(m, n)表示每个摄像机的索引，在中心深度平面位置处设置棋盘格标定板，其角点个数为H×V，利用摄像机阵列对棋盘格标定板进行拍摄，得到M×N幅棋盘格图像，其索引同样用(m, n)表示，以亚像素精度在每幅棋盘格图像上寻找角点位置，得到角点像素坐标(x _t, y _t)_{m, n}，t = 0, 1, …, H×V - 1，微图像阵列分辨率为S×R，所有摄像机应具有相同的投影平面，利用获得的棋盘格角点像素坐标对摄像机阵列拍摄的每幅视差图像进行校正，假设第(m, n)幅视差图像对应的校正单应性变换矩阵为H_{m, n}，H_{m, n}表示为：，则H_{m, n}满足透视投影变换方程I' _{m, n}(x', y') = I _{m, n}(x,y)，，其中s _{m, n}表示第(m, n)幅视差图像单应性变换矩阵为得到齐次坐标的尺度比例因子，I _{m, n}(x, y)表示第(m, n)幅摄像机拍摄视差图像上第x列第y行的像素信息，I'' _{m, n}(x', y')表示第(m, n)幅校正的视差图像上第x'列第y'行的像素信息，x = 0, 1, …, S - 1，y = 0, 1, …, R – 1，x' = 0, 1, …, S - 1，y' = 0,1, …, R – 1，利用M×N幅棋盘格图像及相应角点像素坐标计算H_{m, n}，表示为，当t = 0, H - 1, H×V - 1, H×(V - 1)时，i =0, 1, 2,3，对应坐标为(x' ₀, y' ₀)_{m, n} = (0, 0)，(x' ₁, y' ₁)_{m, n} = (S - 1, 0)，(x' ₂, y' ₂)_{m, n} = (S- 1, R - 1)，(x' ₃, y' ₃)_{m, n} = (0, R - 1)，微图像阵列由I''(x'', y'')表示，微图像阵列I''(x'', y'')满足：I''(x'', y'') = I' _{M – (x'' - 1) mod M, N – (y'' - 1) mod N}(x'', y'')，其中x'' = 0, 1, …, S - 1，y'' = 0, 1, …, R – 1，则可求得微图像阵列对应映射矩阵MX = (mx _{y'', x''})_R×S，MY = (my _{y'', x''})_R×S，其满足，其中mx _{y'', x''}表示映射矩阵MX上第y''行第x''列的映射坐标，my _{y'', x''}表示映射矩阵MY上第y''行第x''列的映射坐标，s _{u, v}、H_{u, v}分别表示第(u, v)幅视差图像对应的比例因子及校正单应性变换矩阵，u = M – x'' mod M, v = N – y'' mod N，摄像机阵列获取视差图像的重映射过程，利用计算的映射矩阵，对摄像机阵列拍摄的视差图像进行重映射操作，得到微图像阵列，微图像阵列I''(x'', y'')像素值由求得的映射矩阵MX = (mx _{y'', x''})_R×S，MY =(my _{y'', x''})_R×S对应位置的元素在视差图像中的像素值获得，重映射过程表示为I'' (x'',y'') = I _{u, v}(mx _y'',x'', my _y'',x'')，其中I _{u, v}(mx _y'',x'', my _y'',x'')表示第(u, v)个摄像机拍摄的视差图像，u = M – x'' mod M, v = N – y'' mod N，利用重映射过程，获得微图像阵列，用于集成成像显示，当计算的映射坐标mx _{y'', x''}，my _{y'', x''}不同时满足0 ≤ mx _{y'', x''} <S和0 ≤my _{y'', x''} < R时，映射矩阵相应位置元素置0，避免信息溢出。

2.根据权利要求1所述的一种基于重映射的集成成像微图像阵列快速生成方法，其特征在于，所述摄像机阵列中的每个摄像机独立设置，相邻摄像机之间等间距排列。

3.根据权利要求1所述的一种基于重映射的集成成像微图像阵列快速生成方法，其特征在于，所述校正视差图像的分辨率与微图像阵列分辨率相同。