CN111064945B - 一种裸眼3d图像采集及生成方法 - Google Patents

Abstract

本发明涉及裸眼3D显示技术领域，公开了一种裸眼3D图像采集及生成方法。本发明首先对多视点光场采集系统中的各个CCD摄像机进行系统校准，然后进行动态场景的采集，将采集到的目标物信息进行前景和背景的分割，接着将目标物信息的前景图像进行单独输出并进行分组，最后计算裸眼3D映射矩阵，结合CCD摄像机外参对前景图像进行处理，得到比例正确的裸眼3D合成图像。该基于动态光场的裸眼3D映射方法不仅具有更加逼真的三维立体效果还能够兼容远近观看，使观看者不会出现眩晕和视觉疲劳等问题。

Description

一种裸眼3D图像采集及生成方法

技术领域

本发明涉及裸眼3D显示技术领域，尤其涉及一种裸眼3D图像采集及生成方法。

背景技术

近年来，随着裸眼3D技术的不断应用，带给了消费者全新的视觉体验。裸眼3D具有多感知性、沉浸感、交互性、构想性的特点，可打破传统显示，让消费者不用戴眼镜就能轻松体验无限科技的立体影像效果，未来将具备更广阔、实用的应用场景。

目前裸眼3D显示设备主要运用的技术有光屏障式、柱状透镜、指向光源这三种。虽然这三种技术各有优点，但是它们都有个共同的缺点，需要在特定的距离才能观看到正确的效果，较近或较远都会出现重影、串扰、眩晕及视觉疲劳等问题。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种裸眼3D图像采集及生成方法。该方法利用先进的动态光场采集和多视图立体匹配重建出可靠的三维光场信息，再结合裸眼光场映射算法渲染出合适的裸眼三维图像。该方法不仅具有更加逼真的三维立体效果还能够兼容远近观看，同时使观看者不会出现眩晕和视觉疲劳等问题。

如上所述，实现一种裸眼3D图像采集及生成方法包括如下步骤：

a.对多视点光场采集系统中的各个CCD摄像机进行系统校准；

b.利用多视点光场采集系统中的各个CCD摄像机对动态场景进行采集；

c.对采集到的目标物信息进行前景-背景的分割；

d.完成图像分割之后，将目标物信息的前景图像进行单独输出并进行分组；

e.计算裸眼3D映射矩阵，结合CCD摄像机外参对前景图像进行处理，得到比例正确的裸眼3D合成图像。

作为进一步优化，步骤a所述对多视点光场采集系统中的各个CCD摄像机进行系统校准，包括：在对动态场景进行采样之前，对各个CCD摄像机进行校准得到摄像机的内外参数。使用的方法是保持摄像机不动，拍摄不同位置不同姿态的校准板，之后通过匹配来求的摄像机投影矩阵，进而计算出摄像机内参。

作为进一步优化，步骤b中多视点光场采集系统是由多摄像机采集阵列与光场环境组成，多摄像机采集阵列采用环形摆放方式，采到目标物不同角度的信息，采集的CCD摄像机要求能够达到30帧/秒，1000万像素采集，图像分辨率达到1920×1080以上，满足高质量动态捕获信息的要求。光场环境由环形均匀分布的发光二极管LED构成，其主要作用为目标物提供光照，方便CCD摄像机信息采集。

作为进一步优化，步骤c所述对采集到的目标物信息进行前景-背景的分割。在动态光场采集过程中分割前后景采用了一种基于全局轮廓线索和多视点深度匹配相结合的方法来分离出前后景。在先并行计算多视点图像水平和垂直方向上的亮度梯度矢量，结合索贝尔算子二值化全局轮廓，再利用多视点深度集合匹配并分割出符合多视点图像的前后景图像。

作为进一步优化，步骤d所述完成图像分割之后，将目标物信息的前景图像进行单独输出并进行分组。根据裸眼3D显示原理可知，裸眼3D显示终端所显示的每一帧画面均为多个图像的融合，当8视点裸眼3D显示终端为例，每一帧显示画面为8个图像的融合，在对目标物前景图像进行单独输出后，进行编组，每8副图像为一个分组单位。

作为进一步优化，步骤e所述计算裸眼3D映射矩阵，结合CCD摄像机外参对前景图像进行处理，得到比例正确的裸眼3D合成图像，具体包括：将裸眼3D映射矩阵编写到Shader中，利用Shader对各组内8张前景图进行采样处理，并将经过采样处理的多张前景图像相互叠加，得到比例错误的合成图像，根据CCD摄像机外参，对合成图像中目标物进行比例修正，获得比例正确的裸眼3D合成图像。

本发明的有益效果是：提供一种裸眼3D图像采集及生成方法，该方法不仅具有更加逼真的三维立体效果还能够兼容远近观看，使观看者不会出现眩晕和视觉疲劳等问题。

附图说明

图1是本发明一种裸眼3D图像采集及生成方法的流程示意图。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步详细的描述。

图1中101是对多视点光场采集系统中的各个CCD摄像机进行系统校准。在对动态场景进行采样之前，对各个CCD摄像机进行校准得到摄像机的内外参数。使用的方法是保持摄像机不动，拍摄不同位置不同姿态的校准板，之后通过匹配来求的摄像机投影矩阵，进而计算出摄像机内参。

在本实施例中，任何摄像机阵列在使用前都必须经过校准才可以为后续的算法所使用，假设动态场景中某一点的世界坐标值为(X，Y，Z)，在CCD摄像机成像表面的坐标值为(u,v)，CCD摄像机焦距为f，成像表面上水平像素之间的物理距离为dx，成像表面上垂直像素之间物理距离为dy，R为旋转矩阵，T为平移矩阵，则两个坐标值之间的映射关系为：

K矩阵中各个参数是完全取决于摄像机的性质，称为摄像机内参；而A矩阵中各个参数取决于摄像机与世界坐标系的相对位置来决定，称为摄像机外参。

假设校准板所在平面上的二维坐标为(s,t)，和该点在世界坐标系的坐标(X，Y，Z)符合如下关系：

其中p，q表示该平面水平s轴和垂直t轴单位长度对应的三维矢量，d表示该平面的原点对应的三维空间坐标，由上述两个关系式得到：

在标准板上找到4个以上的特征点从而求得单应矩阵H，就可以计算出投影矩阵P，进而可以计算出摄像机内外参。

由于排列为环形，每次校准板有一半的摄像机采集不到，针对这一问题，首先要对采集的图像进行分组，之后在组内求解内参和外参，最后在不同组之间通过相邻的外参转换来求得校准结果。分组完成之后，即分别对每组分好的摄像机进行组内联合校准，得到所有摄像机的内参和外参；最后还需校准不同组间相邻的摄像机，以令所有摄像机外参在统一的世界坐标系下。

图1中102是利用多视点光场采集系统中的各个CCD摄像机对动态场景进行采集。多视点光场采集系统是由多摄像机采集阵列与光场环境组成，多摄像机采集阵列采用环形摆放方式，尽可能采集到目标物不同角度的信息，采集的CCD摄像机要求能够达到30帧/秒，1000万像素采集，图像分辨率达到1920×1080以上，满足高质量动态捕获信息的要求。光场环境由环形均匀分布的发光二极管LED构成，其主要作用为目标物提供光照，方便CCD摄像机信息采集。

在本实施例中，在进行动态场景采集过程中，由于光路是可逆的，因此光场也可以以物体为中心等效的描述。在本方法的动态光场采集过程中就需要先得到目标物体的表面光场信息。相机在某一点进行拍摄时，相当于对从场景出射并经过相机所在位置的所有光线的强度进行了记录，如果已知相机的位置和焦距，就相当于记录了经过该点的所有光线的方向和强度信息。当我们利用相机在水平面上围绕物体进行拍摄，就相当于记录了物体在水平面上的所有光场信息。在实际应用中，不可能无限分割光场，因此不可能采集到完全连续分布的光场。只能利用有限个拍摄位置获取离散的光场分布，并通过插值获取离散光场之间的信息，我们将在有限个位置上拍摄的离散光场分布称之为视图。针对实际目标物，采用基于圆周分布的多台CCD相机的视图采集系统更适合数据的实时采集。此系统在一定高度的圆周上安装一周的CCD相机，每台CCD相机拍摄各自视角方向的视图。由于所有CCD相机都是同时采集图像，一周视图拍摄时间非常短，有利于动态场景的三维数据采集。为了降低成本，采用视图插值的方法构建更为密集的视图分布。

图1中103是对采集到的目标物信息进行前景-背景的分割。在动态光场采集过程中分割前后景采用了一种基于全局轮廓线索和多视点深度匹配相结合的方法来分离出前后景。在该方法中先并行计算多视点图像水平和垂直方向上的亮度梯度矢量，结合索贝尔算子二值化全局轮廓，再利用多视点深度集合匹配并分割出符合多视点图像的前后景图像。

在本实施例中，在动态光场采集过程中分割前后景采用了一种基于全局轮廓线索和多视点深度匹配相结合的方法来分离出前后景。在该方法中先并行计算多视点图像水平和垂直方向上的亮度梯度矢量，结合索贝尔算子二值化全局轮廓，再利用多视点深度集合匹配并分割出符合多视点图像的前后景图像。采用以下公式，在上述过程中需要对多视点图像进行深度匹配分割：

其中，M(n)是n个多视点图像的x*y二维投影矩阵，x是多视点图像的宽，y是多视点图像的高；x_n是第n个图像的水平坐标，y_n是第n个图像的垂直坐标，I(x_n,y_n)就是第n个图像的(x,y)坐标的亮度信息，p是n个多视点图像的视差；dif_n代表了当前图像的深度偏移，dif_n＝(dif_n-dif_n-1)+(dif_n-dif_n+1)；Ct_n是当前第n个图像的全局轮廓信息矩阵，该矩阵是一个通过索贝尔算子检索9*4窗口后的二值化全局轮廓信息矩阵。

图1中104是完成图像分割之后，将目标物信息的前景图像进行单独输出并进行分组。根据裸眼3D显示原理可知，裸眼3D显示终端所显示的每一帧画面均为多幅图像的融合，当8视点裸眼3D显示终端为例，每一帧显示画面为8个图像的融合，在对目标物前景图像进行单独输出后，进行编组，每8副图像为一个分组单位。

图1中105是计算裸眼3D映射矩阵，结合CCD摄像机外参对前景图像进行处理，得到比例正确的裸眼3D合成图像，具体包括：将裸眼3D映射矩阵编写到Shader中，利用Shader对各组内8张前景图进行采样处理，并将经过采样处理的多张前景图像相互叠加，得到比例错误的合成图像，根据CCD摄像机外参，对合成图像中目标物进行比例修正，获得比例正确的裸眼3D合成图像。

在本实施例中，裸眼3D映射矩阵的计算公式如下：

其中，X为裸眼3D显示终端中柱镜光栅一个光栅周期在水平方向上覆盖RGB子像素的个数，(k,1)为RGB子像素的坐标位置，α为光栅轴相对于显示屏垂直轴的倾斜夹角，k_off表示显示屏左上边缘与光栅单元边缘点的水平位移量，N_tot表示总视点个数，也就是参与合成的前景图像数量。根据上式可计算出裸眼3D显示终端上的每个子像素的灰度值应该取自于哪幅前景图像的相应坐标位置的灰度值。然后将裸眼3D映射矩阵编写到Shader中，利用Shader对各组内8张前景图进行采样处理，并将经过采样处理的多张前景图像相互叠加，得到最终的合成图像。

本说明书中公开的任一特性，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤之外，均可以以任何方式组合。

本说明书(包括任何附加全力要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具类似目的的替代特征加以替代。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (5)

1.一种裸眼3D图像采集及生成方法，其特征包括：

a)对多视点光场采集系统中的各个CCD摄像机进行系统校准；

b)利用多视点光场采集系统中的各个CCD摄像机对动态场景进行采集；

c)对采集到的目标物信息进行前景-背景的分割；

d)完成图像分割之后，将目标物信息的前景图像进行单独输出并进行分组；

e)计算裸眼3D映射矩阵，结合CCD摄像机外参对前景图像进行处理，得到比例正确的裸眼3D合成图像；

具体的：将裸眼3D映射矩阵编写到Shader中，利用Shader对各组内前景图进行采样处理，并将经过采样处理的多张前景图像相互叠加，得到比例错误的合成图像，根据CCD摄像机外参，对合成图像中目标物进行比例修正，获得比例正确的裸眼3D合成图像。

2.如权利要求1所述的一种裸眼3D图像采集及生成方法，其特征为：步骤a中对多视点光场采集系统中的各个CCD摄像机进行系统校准，包括：在对动态场景进行采样之前，对各个CCD摄像机进行校准得到摄像机的内外参数；使用的方法是保持摄像机不动，拍摄不同位置不同姿态的校准板，之后通过匹配来求的摄像机投影矩阵，进而计算出摄像机内参。

3.如权利要求1所述的一种裸眼3D图像采集及生成方法，其特征为：步骤b中多视点光场采集系统是由多摄像机采集阵列与光场环境组成，多摄像机采集阵列采用环形摆放方式，采集目标物不同角度的信息，采集的CCD摄像机要求能够达到30帧/秒，1000万像素采集，图像分辨率达到1920×1080以上，满足高质量动态捕获信息的要求，光场环境由环形均匀分布的发光二极管LED构成，其主要作用为目标物提供光照，方便CCD摄像机信息采集。

4.如权利要求1所述的一种裸眼3D图像采集及生成方法，其特征为：步骤c中在动态光场采集过程中分割前后景采用了一种基于全局轮廓线索和多视点深度匹配相结合的方法来分离出前后景，在先并行计算多视点图像水平和垂直方向上的亮度梯度矢量，结合索贝尔算子二值化全局轮廓，再利用多视点深度集合匹配并分割出符合多视点图像的前后景图像，采用以下公式，对多视点图像进行深度匹配分割：

其中，M(n)是n个多视点图像的x*y二维投影矩阵，x是多视点图像的宽，y是多视点图像的高；x_n是第n个图像的水平坐标，y_n是第n个图像的垂直坐标，I(x_n,y_n)就是第n个图像的(x,y)坐标的亮度信息，p是n个多视点图像的视差；dif_n代表了当前图像的深度偏移，dif_n＝(dif_n-dif_n-1)+(dif_n-dif_n+1)；Ct_n是当前第n个图像的全局轮廓信息矩阵，该矩阵是一个通过索贝尔算子检索9*4窗口后的二值化全局轮廓信息矩阵。

5.如权利要求1所述的一种裸眼3D图像采集及生成方法，其特征为：步骤d中根据裸眼3D显示原理可知，裸眼3D显示终端所显示的每一帧画面均为多幅图像的融合，裸眼3D显示终端为8视点，每一帧显示画面为8个图像的融合，在对目标物前景图像进行单独输出后，进行编组，每8副图像为一个分组单位。

Images