CN108881881A - 一种集成成像桌面3d显示的自适应微图像阵列生成方法 - Google Patents

Abstract

本发明提出一种基于集成成像桌面显示的自适应图像阵列合成方法。该方法包括360°视差图像的获取、自适应视差图像序列的提取、自适应微图像阵列的合成三个过程。该方法利用单个视区的观看视角、视点以及偏移控制量参数，首先计算环形摄像机阵列的拍摄参数，获取并校正拍摄的视差图像；然后通过计算，提取出适应于每个有效视区的视差图像序列；最后通过计算确定合图参数，合成适应于所有视区的自适应微图像阵列，为桌面集成成像的360°无跳变立体显示提供片源。

Description

一种集成成像桌面3D显示的自适应微图像阵列生成方法

一、技术领域

本发明涉及集成成像技术，特别涉及一种集成成像桌面3D显示的自适应微图像阵列生成方法。

二、背景技术

集成成像技术包含拍摄和显示两个过程：拍摄过程利用摄像机阵列记录3D场景不同角度的视差信息；显示过程将拍摄到的视差图像合成微图像阵列，根据光路可逆原理，在显示空间重建出拍摄的3D场景。集成成像根据显示方式的不同分为传统的墙面式集成成像显示和桌面式集成成像显示。理想的桌面显示应该实现360°环绕观看的功能，因此其观看区域不同于常规显示方式位于显示屏的正前方，而是偏向于显示屏的侧面区域，从而获得360°的环视观看效果。将集成成像应用于桌面显示中，则能实现集成成像桌面3D显示。在集成成像桌面显示中，由于拍摄过程摄像机的投影平面与显示平面不匹配，且显示过程中观看视点为环形移动而非左右移动，从而导致传统的集成成像微图像阵列生成方法无法适用于桌面显示。

三、发明内容

本发明旨在实现一种适用于集成成像桌面3D显示的微图像阵列生成方法，该方法可为集成成像桌面3D显示系统提供正确的3D图像信息，继而能够实现360°无跳变无串扰的集成成像桌面3D显示。为达到上述目的，本发明提出一种集成成像桌面3D显示的自适应微图像阵列生成方法。该方法利用单个视区的观看视角、视点以及偏移控制量参数，首先计算环形摄像机阵列的拍摄参数，获取并校正拍摄的视差图像；然后通过计算，提取出适应于每个有效视区的视差图像序列；最后通过计算确定合图参数，合成适应于所有视区的自适应微图像阵列。该方法包括360°视差图像的获取、自适应视差图像序列的提取、自适应微图像阵列的合成三个过程，如附图1所示。

为实现360°无跳变无串扰的集成成像3D观看效果，首先确定单个视区的观看视角θ_h×θ_v、视点数M×N及相邻视区的偏移视角δ，其中θ_h为单个视区环向的观看视角，θ_v为单个视区垂直方向的观看视角，M为环向的视点数，N为垂直方向的视点数。然后根据所述三个过程实现一种集成成像桌面3D显示的自适应微图像阵列生成方法。

所述的360°视差图像的获取过程，即确定拍摄参数，搭建拍摄系统，获取360°集成成像片源的过程。

首先通过单个视区的观看视角及视点数，计算360°集成成像3D显示所需的摄像机阵列的摄像机数目N_h×N_v，其中N_h为环向360°包含的摄像机个数，N_v为垂直方向包含的摄像机个数，其满足：

N_v＝N (1)

且θ_h、θ_v满足：

其次，搭建数目为N_h×N_v的环形摄像机阵列，利用摄像机模拟所有观看视区内的对应视点，将棋盘格放置于设定的中心深度平面处，即目标场景的桌面位置，利用摄像机获取对应的棋盘格标定图像，然后拍摄包含目标3D场景360°视差信息的视差图像，视差图像分辨率为J×K，如附图2所示。

最后利用拍摄到的棋盘格标定图像，对视差图像进行校正，实现所有视差图像的成像平面和目标显示桌面完全重合，如附图3所示。校正的视差图像以(m，n)为索引进行表示，I_m,_n(x,y)表示第m列、第n行校正视差图像的第x列、第y行像素，m∈{1,2,3,…,N_h}，n∈{1,2,3,…,N_v}，x∈{1,2,3,…,J}，y∈{1,2,3,…,K}。

所述的自适应视差图像序列的提取过程，即确定提取参数，提取每个有效视区对应的自适应视差图像序列过程。

首先确定360°观看区域内有效视区的个数q，以及相邻视区的视点偏移量δ_n，使得任意两个相邻视区的重叠角度为θ₀，从而消除相邻视区的跳变，实现自适应的环向集成成像3D显示，以上参数满足：

θ₀＝θ_h-δ (6)

其次，根据划分的q个有效观看视区，提取每个视区对应的微图像阵列所需的M×N个视差图像，以(m',n')为索引进行表示，其中m'和n'满足：

n′＝n (7)

其中z为有效观看视区的索引，z∈{1,2,3,…,q}，mod(*,*)表示求余，m'∈{1,2,3,…,M}，n'∈{1,2,3,…,N}。

所述的自适应微图像阵列的合成过程，即确定合图参数，合成每个有效视区对应的自适应微图像阵列过程。

首先，计算原始微图像阵列中每个图像元的中心像素点。在原始微图像阵列中，确定每个图像元中心像素点p(i,j)，其满足：

其中，p(i,j)表示微图像阵列第i行第j列的像素，P×R为原始微图像阵列分辨率，s为相邻图像元像素节距，i∈{1,2,3,…,P}，j∈{1,2,3,…,R}。

其次，计算中心像素点周围像素与以p(i,j)为坐标原点的直角坐标x轴逆时针方向所成的角度α，以及与中心像素点的距离r，其满足：

其中，i_r、j_c为正整数，i_r∈[i-2s,i+2s]、j_c∈[j-2s,j+2s]。

然后，读入第z个视区对应M×N幅校正后的视差图像，利用提取出的当前视区所需的视差图像序列合成原始微图像阵列，则第z个视点对应的原始微图像阵列中第i_r列第j_c行的像素I”(i_r,j_c)_z与提取出的视差图像序列第m”列第n”行的第x列第y行的像素I'_m”,n”(x,y)满足：

I″(i_r,j_c)_z＝I′_m″,n″(x′,y′) (13)

其中：

n″＝ceil(mod(r,N)+1)r∈[0,M] (15)

最后，计算与第z个视区的微图像阵列对应的旋转角度，利用合成的原始微图像阵列，旋转生成适应于对应视区的自适应微图像阵列。第z个视区的原始微图像阵列中第i'列第j'行像素I”(i',j')_z与第z个视区的自适应微图像阵列第x'列第y'行像素E(i”,j”)_z，满足：

E(i″,j″)_z＝I″(i′,j′)_z (18)

其中，i'、i”∈{1,2,3,…,P}、j'、j”∈{1,2,3,…,R}，旋转角度γ满足：

γ＝(z-1)×δ (20)

所述自适应微图像阵列的合成过程依据原始微图像阵列的每个图像元中心像素点，计算中心像素点周围像素与以中心像素点为坐标原点的直角坐标系x轴逆时针方向所成的角度α，计算中心像素点周围像素与中心像素点的距离r，确定合图参数，将每个视区对应的视差图像序列合成原始微图像阵列，最后根据每个视区对应的旋转角度合成自适应微图像阵列。所合成的自适应微图像阵列和每个视区完全匹配，不仅能为处于该视区的观看者提供正确的3D内容，同时也保证了相邻视区的观看者看到正确的3D内容。

本发明提出了一种集成成像桌面显示的自适应微图像阵列生成方法。所述方法利用棋盘格校正实现了成像平面和显示平面的完全重合，并将360°环形观看区域划分为多个有效观看视区，并根据不同视区提取出对应的视差图像，利用与观看视区相匹配的合图参数，最终合成自适应微图像阵列。所述方法解决了传统集成成像微图像阵列生成方法带来的桌面显示3D图像质量下降的问题，同时能够保证每个自适应微图像阵列和观看视区相适应，从而实现了集成成像桌面的360°无跳变3D显示。所述方法是一种全新的、高效的集成成像桌面显示微图像阵列生成方法。

四、附图说明

本发明的前述方面及优点从下述结合附图与实施例的详细描述中将得以进一步明确和容易理解，其中：

附图1为本发明所提方法的流程图

附图2为桌面自适应视差图像的获取示意图

附图3视差图像的校正过程示意图

附图4为所述方法合成的11个视区的自适应微图像阵列及局部细节放大图

上述附图中的图示标号为：

1环形摄像机阵列，2 3D场景，3摄像机光轴，4摄像机阵列，5摄像机成像平面，6桌面，7校正前的视差图像，8校正后的视差图像。

五、具体实施方式

下面详细描述本发明提出的一种集成成像桌面显示的自适应微图像阵列生成方法的一个典型实施例，所述实施例的示例在附图中示出。有必要在此指出的是，下面描述的实施例是示例性的，旨在对本发明做进一步的解释，而不能理解为对本发明保护范围的限制，该领域技术熟练人员根据前述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。

本发明提出一种集成成像桌面3D显示的自适应微图像阵列生成方法，该方法利用单个视区的观看视角、视点以及偏移控制量参数，首先计算环形摄像机阵列的拍摄参数，获取并校正拍摄的视差图像；然后通过计算，提取出适应于每个有效视区的视差图像序列；最后通过计算确定合图参数，合成适应于所有的自适应微图像阵列。该方法包括360°视差图像的获取、自适应视差图像序列的提取、自适应微图像阵列的合成三个过程，如附图1所示。

为实现360°无跳变无串扰的集成成像3D观看效果，首先确定单个视区的观看视角θ_h×θ_v＝60°×20°、视点数M×N＝60×20及偏移控制量δ＝30°，其中θ_h＝60°为单个视区环向的观看视角，θ_v＝20°为单个视区垂直方向的观看视角，M＝60为环向的视点数，N＝20为垂直方向的视点数，δ＝30°表示相邻视区的偏移视角。然后根据所述三个过程实现一种集成成像桌面3D显示的自适应微图像阵列生成方法。

所述的360°视差图像的获取过程，也即确定拍摄参数，搭建拍摄系统，获取360°集成成像片源的过程。

首先通过单个视区的观看视角及视点数，计算360°集成成像3D显示所需的摄像机阵列的摄像机数目N_h×N_v，其中N_h为环向360°包含的摄像机个数，N_v为垂直方向包含的摄像机个数，其满足：

N_v＝N (1)

且θ_h、θ_v满足：

由此得出环向360°包含的摄像机个数N_h＝360，垂直方向包含的摄像机个数N_v＝20，所需摄像机阵列数目N_h×N_v＝360×20。

其次，搭建数目为N_h×N_v＝360×360的环形摄像机阵列，利用摄像机模拟所有观看视区内的对应视点，将棋盘格放置于设定的中心深度平面处，即目标场景的桌面位置，利用摄像机获取对应的棋盘格标定图像，然后拍摄包含目标3D场景360°视差信息的视差图像，视差图像分辨率为J×K＝1000×1000，如附图2所示。

最后利用拍摄到的棋盘格标定图像，对视差图像进行校正，实现所有视差图像的成像平面和目标显示桌面完全重合，如附图3所示。校正的视差图像以(m，n)为索引进行表示，I_m,n(x,y)表示第m列、第n行校正视差图像的第x列、第y行像素，m∈{1,2,3,…,360}，n∈{1,2,3,…,360}，x∈{1,2,3,…,1000}，y∈{1,2,3,…,1000}。

所述的自适应视差图像序列的提取过程，也即确定提取参数，提取每个有效视区对应的自适应视差图像序列过程。

首先确定360°观看区域内有效视区的个数q，以及相邻视区的视点偏移量δ_n，使得任意两个相邻视区产生的重叠角度为θ₀，从而消除相邻视区的跳变，实现自适应的环向集成成像3D显示，以上参数满足：

θ₀＝θ_h-δ (6)

由此得出360°观看区域内有效视区的个数q＝11，相邻视区的视点偏移量δ_n＝30，任意两个相邻视区产生重叠角度为θ₀＝30。

其次，根据划分的q＝11个有效观看视区，提取每个视区对应的微图像阵列所需的M×N＝60×20个视差图像，以(m',n')为索引进行表示，其中m'和n'满足：

n′＝n (7)

其中z为有效观看视区的索引，z∈{1,2,3,…,11}，mod(*,*)表示求余，m'∈{1,2,3,…,60}，n'∈{1,2,3,…,20}。

所述的自适应微图像阵列的合成过程，也即确定合图参数，合成每个有效视区对应的自适应微图像阵列过程。

首先，计算原始微图像阵列中每个图像元的中心位置。在原始微图像阵列中，确定每个图像元中心点p(i,j)，其满足：

其中，p(i,j)表示微图像阵列第i行第j列的像素，P×R＝4999×4999为原始微图像阵列分辨率，s＝60为相邻图像元像素节距，i∈{1,2,3,…,4999}，j∈{1,2,3,…,4999}。

其次，计算中心像素点周围像素与以p(i,j)为坐标原点的直角坐标x轴逆时针方向所成的角度α，以及与中心像素点的距离r，其满足：

其中，i_r、j_c为正整数，i_r∈[i-120,i+120]、j_c∈[j-120,j+120]。

然后，读入第z个视区对应M×N＝60×20幅校正后的视差图像，利用提取出的当前视区所需的视差图像序列合成原始微图像阵列，则第z个视点对应的原始微图像阵列中第i_r列第j_c行的像素I”(i_r,j_c)_z与提取出的视差图像序列第m”列第n”行的第x列第y行的像素I'_m”,n_”(x,y)满足：

I″(i_r,j_c)_z＝I′_m″,n″(x′,y′) (13)

其中：

n″＝ceil(mod(r,N)+1)r∈[0,M] (15)

最后，计算与第z个视区的微图像阵列对应的旋转角度，利用合成的原始微图像阵列，旋转生成适应于对应视区的自适应微图像阵列。第z个视区的原始微图像阵列中第i'列第j'行像素I”(i',j')_z与第z个视区的自适应微图像阵列第x'列第y'行像素E(i”,j”)_z，满足：

E(i″,j″)_z＝I″(i′,j′)_z (18)

其中，i'、i”∈{1,2,3,…,4999}、j'、j”∈{1,2,3,…,4999}，旋转角度γ满足：

γ＝(z-1)×30 (20)

所述自适应微图像阵列的合成过程依据原始微图像阵列的每个图像元中心像素点，计算中心像素点周围像素与以中心像素点为坐标原点的直角坐标系x轴逆时针方向所成的角度α，计算中心像素点周围像素与中心像素点的距离r，确定合图参数，将每个视区对应的视差图像序列合成原始微图像阵列，最后根据每个视区对应的旋转角度合成自适应微图像阵列。附图4为本实施例中11个有效观看视区的自适应微图像阵列，其中的局部细节放大图展示了所述自适应微图像阵列中图像元的形状，区别于传统微图像阵列的方形，和桌面的360°环形观看相匹配。所述自适应微图像阵列和每个视区完全匹配，不仅能为处于该视区的观看者提供正确的3D内容，同时也保证了相邻视区的观看者看到正确的3D内容。

本发明提出了一种集成成像桌面显示的自适应微图像阵列生成方法。所述方法利用棋盘格校正实现了成像平面和显示平面的完全重合，并将360°环形观看区域划分为多个有效观看视区，并根据不同视区提取出对应的视差图像，利用与观看视区相匹配的合图参数，最终合成自适应微图像阵列。所述方法解决了传统集成成像微图像阵列生成方法带来的桌面显示3D图像质量下降的问题，同时能够保证每个自适应微图像阵列和观看视区相适应，从而实现了集成成像桌面的360°无跳变3D显示。所述方法是一种全新的、高效的集成成像桌面显示微图像阵列生成方法。

Claims (8)

1.一种集成成像桌面3D显示的自适应微图像阵列生成方法，其特征在于，该方法包括360°视差图像的获取、自适应视差图像序列的提取、自适应微图像阵列的合成三个过程：所述的360°视差图像的获取过程，即确定拍摄参数，搭建拍摄系统，获取360°集成成像片源的过程；所述的自适应视差图像序列的提取过程，即确定提取参数，提取每个有效视区对应的自适应视差图像序列过程；所述的自适应微图像阵列的合成过程，即确定合图参数，合成每个有效视区对应的自适应微图像阵列过程。

2.根据权利要求1所述的一种集成成像桌面3D显示的自适应微图像阵列生成方法，其特征在于，360°视差图像的获取过程，通过单个视区的观看视角及视点数，计算360°集成成像3D显示所需的摄像机阵列的摄像机数目N_h×N_v，其中N_h为环向360°包含的摄像机个数，N_v为垂直方向包含的摄像机个数，其满足N_v＝N、且θ_h、θ_v满足其中，单个视区的观看视角θ_h×θ_v、视点数M×N及相邻视区的偏移视角δ，其中θ_h为单个视区环向的观看视角，θ_v为单个视区垂直方向的观看视角，M为环向的视点数，N为垂直方向的视点数。

3.根据权利要求1所述的一种集成成像桌面3D显示的自适应微图像阵列生成方法，其特征在于，所述的自适应视差图像序列的提取过程，确定360°观看区域内有效视区的个数q，以及相邻视区的视点偏移量δ_n，使得任意两个相邻视区产生的重叠角度为θ₀，从而消除相邻视区的跳变，实现自适应的环向集成成像3D显示，以上参数满足θ₀＝θ_h-δ；根据划分的q个有效观看视区，提取每个视区对应的微图像阵列所需的M×N个视差图像，以(m',n')为索引进行表示，其中m'和n'满足n′＝n、其中，z为有效观看视区的索引，z∈{1,2,3,…,q}，mod(*,*)表示求余，m'∈{1,2,3,…,M}，n'∈{1,2,3,…,N}。

4.根据权利要求1所述的一种集成成像桌面3D显示的自适应微图像阵列生成方法，其特征在于，所述的自适应微图像阵列的合成过程，依据原始微图像阵列的每个图像元中心像素点，计算中心像素点周围像素与以中心像素点为坐标原点的直角坐标系x轴逆时针方向所成的角度α，计算中心像素点周围像素与中心像素点的距离r，确定合图参数，将每个视区对应的视差图像序列合成原始微图像阵列，最后根据每个视区对应的旋转角度合成自适应微图像阵列。

5.根据权利要求4所述的自适应微图像阵列的合成过程，其特征在于，在原始3D图像阵列中，确定每个图像元中心像素点p(i,j)，其满足 其中，p(i,j)表示微图像阵列第i行第j列的像素，P×R为原始微图像阵列分辨率，s为相邻图像元像素节距，i∈{1,2,3,…,P}，j∈{1,2,3,…,R}。

6.根据权利要求4所述的自适应微图像阵列的合成过程，其特征在于，计算中心像素点周围像素与以p(i,j)为坐标原点的直角坐标x轴逆时针方向所成的角度α，以及与中心像素点的距离r，其满足 其中，i_r、j_c为正整数，i_r∈[i-2s,i+2s]、j_c∈[(j-2s,j+2s]。

7.根据权利要求5所述的自适应微图像阵列的合成过程，其特征在于，第z个视点对应的原始3D图像阵列中第i_r列第j_c行的像素I”(i_r,j_c)_z与提取出的视差图像序列第m”列第n”行的第x列第y行的像素I'_m”,n”(x,y)满足I″(i_r,j_c)_z＝I′_m′,n′(x′,y′)，其中n″＝ceil(mod(r,N)+1)r∈[0,M]、

8.根据权利要求4所述的自适应微图像阵列的合成过程，其特征在于，第z个视区的原始微图像阵列中第i'列第j'行的像素I”(i',j')_z与对应第z个视区的自适应微图像阵列第x'列第y'行的像素E(i”,j”)_z，满足E(i″,j″)_z＝I″(i′,j′)_z、其中，i'、i”∈{1,2,3,…,P}、j'、j”∈{1,2,3,…,R}旋转角度γ满足γ＝(z-1)×δ。