CN103051909A - 用于裸眼3d显示的蒙版变换人眼跟踪方法 - Google Patents

Abstract

本发明公开了一种用于裸眼3D显示的蒙版变换人眼跟踪方法，包括以下步骤：S1：设置多路蒙版，其中一半用于组成左视差图蒙版组，另一半用于组成右视差图蒙版组；S2：实时跟踪人眼的位置，根据人眼的位置从所述多路蒙版中选择一半蒙版叠加生成与左视差图对应的左视差图蒙版，将另一半蒙版叠加生成与右视差图对应的右视差图蒙版；S3：将左眼图像和右眼图像分别与对应的左视差图蒙版和右视差图蒙版作运算，得到分别与当前左眼位置和右眼位置对应的左视差图和右视差图。本发明通过采用多路蒙版随着人眼的移动而变换蒙版位置，使得根据人眼的位置来改变视区更加容易、方便。

Description

用于裸眼3D显示的蒙版变换人眼跟踪方法

技术领域

本发明涉及裸眼3D显示技术领域，尤其涉及一种用于裸眼3D显示的蒙版变换人眼跟踪方法。

背景技术

现有技术中，可以利用光栅显示器得到裸眼立体效果，即通过光栅的折射作用使得来源于不同视差图像的光线向不同的方向传播，在空中形成多个视差图像观看区域。在各视区内，观看者透过光栅看到对应的视差图像。图1所示为两视点光栅显示器的立体视区分布示意图。将左视差图像和右视差图像对应的视区分别称为左视区（图1中从左往右的第一和第三块三角形区域）和右视区（图1中从左往右的第二和第四块三角形区域）。左右视区相间分布，当观看者在适合的距离，左右眼分别位于左右视区时，将看到具有立体效果的立体图像。但是，当人的左右眼分别位于右左视区时。这时观看者左眼看到的是右视差图像，而右眼看到的是左视差图像。这样，我们左右眼所见的是伪立体图像。

现有技术中利用头部跟踪法消除伪立体。即根据实时检测观看者头部位置，通过调整光栅3D显示器的相关部件或者显示的内容来进行视点的自适应变换，使观看者所在的位置都为最佳观看位置。左右眼始终分别处在左右视区内。进而避免了伪立体图像的生成以及不舒适感的产生。但是，上述消除伪立体的方法具有下面的缺点：

1）可控的光控系统过于复杂：当使用可控的光控系统进行自适应变换的时候，需要使用多个透镜和模块的变化，不易实现，且操作复杂；

2）人脸人眼跟踪的精确度不足：对人脸及人眼的跟踪准确度不够，在立体显示中如过对人脸和人眼的识别准确度不够的话，会给3D显示器返回错误的人眼位置的信息，进而显示器会给观看者错误的图像信息。即使是很短时间内的误判，例如将非脸的物体当成是人脸，会导致这个显示器的画面跳动，对3D显示的效果非常不利；

3）非观看者的影响：当观看者进行观看的时候，不可避免其他人进入摄像头的拍摄范围。而对摄像头其他人的跟踪显然是观看者所不希望的，对其他人的跟踪会导致画面的不停切换来适应不同位置的人，而影响到观看者的观看质量；

4）摄像头的捕捉速度不够

当观看者移动速度过快的时候，由于摄像头的帧率不足无法及时返回人脸位置的准确坐标。因此虽然观看者在静止的时候可以看到适合的立体图像，但是在快速移动的过程中会看到屏幕有跳动调整的过程。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题是：提供一种用于裸眼3D显示的蒙版变换人眼跟踪方法，使得根据人眼的位置来改变视区更加容易、方便。

（二）技术方案

为解决上述问题，本发明提供了一种用于裸眼3D显示的蒙版变换人眼跟踪方法，包括以下步骤：

S1：设置多路蒙版，其中一半用于组成左视差图蒙版组，另一半用于组成右视差图蒙版组；

S2：实时跟踪人眼的位置，根据人眼的位置从所述多路蒙版中选择一半蒙版叠加生成与左视差图对应的左视差图蒙版，将另一半蒙版叠加生成与右视差图对应的右视差图蒙版；

S3：将左眼图像和右眼图像分别与对应的左视差图蒙版和右视差图蒙版作运算，得到分别与当前左眼位置和右眼位置对应的左视差图和右视差图。

优选地，所述左视差图蒙版和右视差图蒙版都包括宽度相同并间隔分布的多条白色区域和黑色区域，其中左视差图蒙版与右视差图蒙版的白色区域和黑色区域互补设置。

优选地，所述步骤S1中设置2*N路蒙版，N为大于等于2的自然数；所述每条白色区域和黑色区域分别沿区域排布的方向被均匀分为N条白色子区域和N条黑色子区域；所述每路蒙版包括一条周期性分布的亮纹，所述亮纹形状与一条子区域的形状对应并且宽度相同，所述2*N路蒙版的亮纹位置互不相同，并且2*N路蒙版全部叠加后得到纯白的图像。

优选地，所述左视差图蒙版组和右视差图蒙版组分别包含9路蒙版。

优选地，所述左视差图蒙版和右视差图蒙版与左眼图像和右眼图像的分辨率相同；所述步骤S1包括：

当左、右视差图蒙板的像素点为黑色时，得到的左、右视差图上对应的像素点也为黑色；

当左、右视差图蒙板的像素点为白色时，得到的左、右视差图上对应的像素点与左、右眼图像上对应的像素点相同。

优选地，在所述步骤S2之前还包括预先存入待跟踪人脸以去除掉其他人脸影响的步骤，具体包括：

Sa：预先在人脸信息库中存入若干不同的人脸信息并进行预处理，得到若干张特征脸，这些特征脸构成了特征脸向量组；

Sb：捕捉并确定待跟踪的人脸信息并将其存入所述人脸信息库中；

Sc：将所述人脸信息库中的待跟踪的人脸信息向所述特征脸向量组上进行投影得到待跟踪的人脸向量；

Sd：捕捉摄像头跟踪返回每一帧图像上的所有人脸信息并将其投影到所述特征脸特征向量组上，得到该帧图像中的所有人脸信息的人脸向量；

Se：将所述该帧图像中的所有人脸信息的人脸向量与所述待跟踪的人脸向量进行比较，将该帧图像中与所述待跟踪的人脸向量最接近的人脸向量所对应的人脸信息作为该帧图像中的待跟踪人脸信息；

Sf：最后确定该帧图像中的待跟踪人脸信息中的人眼位置。

优选地，所述步骤Sa中对不同人的人脸信息进行预处理的步骤包括：

Sa1：对所述若干不同人的人脸信息做直方图均衡化的处理；

Sa2：采用主成份分析算法将所述若干不同人的人脸信息进行处理得到若干特征人脸信息。

优选地，在所述步骤S2之前还包括对运动中的人脸在当前帧与下一帧图像捕捉时间间隔内的位置坐标进行预测的步骤，具体包括：

Si：获取包括当前帧在内的前若干帧图像中人脸的位置坐标以及每帧图像对应的时刻；

Sii：根据所述前若干帧图像中人脸的位置坐标以及每帧图像对应的时刻得到人脸的位置坐标与时间的关系；

Siii：根据得到的人脸的位置坐标与时间的关系预测运动中的人脸在当前帧与下一帧图像捕捉时间间隔内的位置坐标。

（三）有益效果

本发明通过采用多路蒙版随着人眼的移动而变换蒙版位置，完成了视区的改变，实现容易方便；本发明对人脸和人眼实现了较好的跟踪效果，而且对光照背景无太大要求，也可以防止其他人的干扰；本发明跟踪速度基本满足观看者的要求，可以及时向观看者返回正确的视差图像。

附图说明

图1为现有技术中立体显示视区分布示意图；

图2为根据本发明蒙版变换人眼跟踪方法的步骤流程图；

图3为根据本发明的方法中人眼的左眼和右眼分别与所述左、右视差图蒙版相对的示意图；

图4为图3中的人眼移动后，左、右视差图蒙版排布对应的与人眼的左眼和右眼相对的示意图；

图5为根据本发明的方法的左眼视差蒙版的示意图；

图6为根据本发明的方法的右眼视差蒙版的示意图；

图7为根据本发明的方法由左眼图像和左眼视差蒙版运算后的到左视差图的示意图；

图8为根据本发明的方法由右眼图像和右眼视差蒙版运算后的到右视差图的示意图；

图9为根据本发明的方法的左视差图和右视差图构成的光栅图像；

图10为图5中I处的局部放大示意图；

图11根据本发明的方法的一种蒙版排列示意图；

图12为图11中的蒙版按照箭头方向运动后得到的蒙版排列示意图；

图13为根据本发明的方法预先存入待跟踪人脸以去除掉其他人脸影响的步骤流程示意图；

图14为根据本发明的方法对运动中的人脸在当前帧与下一帧图像捕捉时间间隔内的位置坐标进行预测的步骤流程示意图。

具体实施方式

下面结合附图及实施例对本发明进行详细说明如下。

如图2所示，本实施例记载了一种用于裸眼3D显示的蒙版变换人眼跟踪方法，包括以下步骤：

S1：设置多路蒙版，其中一半用于组成左视差图蒙版组，另一半用于组成右视差图蒙版组；

S2：实时跟踪人眼的位置，根据人眼的位置从所述多路蒙版中选择一半蒙版叠加生成与左视差图对应的左视差图蒙版，将另一半蒙版叠加生成与右视差图对应的右视差图蒙版；

S3：将左眼图像和右眼图像分别与对应的左视差图蒙版和右视差图蒙版作运算，得到分别与当前左眼位置和右眼位置对应的左视差图和右视差图。

当人眼左右移动时，所述左、右视差图蒙版随之左右移动，使得移动后人眼的左眼和右眼分别与所述左、右视差图蒙版相对，如图3到图4所示。

如图5和图6所示，在本实施例中，所述左视差图蒙版和右视差图蒙版都包括宽度相同并间隔分布的多条白色区域110和黑色区域120，其中左视差图蒙版与右视差图蒙版的白色区域110和黑色区域120互补设置。

所述左视差图蒙版和右视差图蒙版与左眼图像和右眼图像的分辨率相同；所述步骤S1具体包括：

当左、右视差图蒙板的像素点为黑色时，得到的左、右视差图上对应的像素点也为黑色；

当左、右视差图蒙板的像素点为白色时，得到的左、右视差图上对应的像素点与左、右眼图像上对应的像素点相同。

图7所示为左眼图像与左视差图蒙版作运算后得到左视差图的示意图；图8所示为右眼图像与右视差图蒙版作运算后得到的右视差图的示意图；图9所示为上述左眼视差图像和右眼视差图像逐像素点相加得到相应的光栅图像，光栅图像通过柱镜光栅得到立体图像。

蒙版的本质是一幅和显示器同分辨率的图片。在一组蒙版中，包括多张不同像素排列的图片。通过组内的蒙版合成所述左视差图蒙版和右视差图蒙版。左视差图蒙版和右视差图蒙版是变动的，是由人的观察位置确定的。在本实施例中，以所述步骤S1中设置18路蒙版为例，如图10所示，所述每条白色区域110和黑色区域120分别沿区域排布的方向被均匀分为9条白色子区域111和9条黑色子区域121；所述每路蒙版包括一条周期性分布的亮纹，所述亮纹形状与一条子区域的形状对应并且宽度相同，所述18路蒙版的亮纹位置互不相同，并且18路蒙版全部叠加后得到纯白的图像。多路蒙版叠加时，亮纹部分与黑色部分叠加后呈白色，因此有亮纹部分在的区域构成所述白色子区域，没有亮纹在的部分构成黑色子区域。

当人运动时，通过采用不同的蒙版进行排列得到不同的白色区域110和黑色区域120位置，使得上述的白色子区域111和黑色子区域121也会随人眼运动。运动的最小单位为一条子区域的宽度。如图11所示为屏幕上的一矩形区域上左视差图蒙版的白色子区域111和黑色子区域121排布示意图，人眼运动后，左视差图蒙版的排布犹如白色子区域111和黑色子区域121在箭头线的方向上左右滑动。向右运动一个单位后得到图12所示的子区域排布，使得人眼位于适合区域。

在本实施例中，3D立体图像上相邻的左眼视区和右眼视区所占的左右方向的视区宽度之和与人眼左右视区宽度之和相当。由于正常人的眼距大概为7cm左右，如图1中所示，人眼观测到左右视差最好的情况为左右眼分别处于左右视区的中心位置处，即左右视区宽度之和的最理想大小为14cm。因此3D立体图像上相邻的左眼视区和右眼视区所占的左右方向的视区宽度之和最好也为14cm。

为了解决人眼人脸跟踪的精度问题，避图像上捉到其他人脸或非人脸图像干扰到观测者人脸人眼的跟踪，本实施例中，在所述步骤S2之前还包括预先存入待跟踪人脸以去除掉其他人脸影响的步骤，如图13所示，具体包括：

Sa：预先在人脸信息库中存入若干不同的人脸信息并进行预处理，得到若干张特征脸，这些特征脸构成了特征脸向量组；

其中，所述步骤Sa中对不同人的人脸信息进行预处理的步骤包括：

Sa1：对所述若干不同人的人脸信息做直方图均衡化的处理；

Sa2：采用主成份分析算法将所述若干不同人的人脸信息进行处理得到若干特征人脸信息。

本实施例中，所述步骤Sa具体为：在开始跟踪之前首先保存大量的不同的人脸信息——本实施例为了方便说明以20个人脸为例，对存入的20张人脸做直方图均衡化的处理，这样可以适应不同环境的不同光照；再采用主成份分析（PCA）算法将预先存入的20张人脸做预处理，得到20张特征脸f1，f2，…..f20。

Sb：捕捉并确定待跟踪的人脸信息并将其存入所述人脸信息库中。

本实施例中步骤Sb具体为：

进行预备跟踪的人脸捕捉：当人进入预先设定的范围内的时候开始用简单的分类器找到每一帧图像中的人脸，通过多帧图像来确定人脸在图像中的位置，以10帧图像为例，在这10帧图像中取这10帧所判定的人脸中心的平均位置，然后，分别求出这10帧图像中的人脸中心的位置到所述平均位置的距离r1，r2……r10。再对r1，r2……..r10取平均得到r_avg，将距离r1，r2…....r10大于r_avg的图像去掉。这时再将剩下图像中得到的人脸的中心坐标，长，宽取平均，这时所得到的人脸图像相对比较准确稳定。当判定在50帧的图像内该人脸的位置基本没有移动，则确定捕获该人，将其脸部信息存入内存，并判定为跟踪对象。

Sc：将所述人脸信息库中的待跟踪的人脸信息向所述特征脸向量组上进行投影得到待跟踪的人脸向量；

在本实施例中具体为：将待跟踪的人脸信息向特征脸向量组f1，f2……f20上投影得到该待跟踪的人脸向量k1，k2……k20。

Sd：捕捉摄像头跟踪返回的每一帧图像上的所有人脸信息并将其投影到所述特征脸向量组上，得到该帧图像中的所有人脸信息的人脸向量；

在本实施例中具体为：跟踪待跟踪对象，对得到的每一帧图像使用分类器查找到所有人脸（其中可能包括类似人脸的物体或者其他人脸），将检测到的人脸全都向特征脸f1，f2…..f20上投影得到所有人脸信息的人脸向量k’1，k’2…….k’20；k”1，k”2…….k”20。

Se：将所述该帧图像中的所有人脸信息的人脸向量与所述待跟踪的人脸向量进行比较，将该帧图像中与所述待跟踪的人脸向量最接近的人脸向量所对应的人脸信息作为该帧图像中的待跟踪人脸信息；在本实施例中即为取得到所有人脸信息的人脸向量k’1，k’2…….k’20；k”1，k”2…….k”20中与待跟踪的人脸向量k1，k2……k20最近的，即为所要查找的人脸。这样可以同时去掉其他人脸以及不必要的近似人脸物体的干扰，从而达到更加准确跟踪的目的。

Sf：最后确定该帧图像中的待跟踪人脸信息中的人眼位置。

人眼宽度为3～4cm左右，当人眼的移动速度大于2cm/（1/30秒）=60cm/s时便超出了可以调整的范围（1/30秒为摄像头捕捉一帧所要的时间），这时就需要对人脸在1/30秒内的位置进行预测从而得到更密集的时刻的坐标。

本实施例中，在所述步骤S2之前还包括对运动中的人脸在当前帧与下一帧图像捕捉时间间隔内的位置坐标进行预测的步骤，以解决摄像头的捕捉速度不足的问题，如图14所示，具体包括：

Si：获取包括当前帧在内的前若干帧图像中人脸的位置坐标以及每帧图像对应的时刻；

Sii：根据所述前若干帧图像中人脸的位置坐标以及每帧图像对应的时刻得到人脸的位置坐标与时间的关系；即得到x-t的方程；

Siii：根据得到的人脸的位置坐标与时间的关系预测运动中的人脸在当前帧与下一帧图像捕捉时间间隔内的位置坐标。

在本实施例中，人的运动大概可以看成是变加速直线运动，取出前4帧图像中人脸的位置x1，x2，x3，x4，并分别记录与之对应的时间t1，t2，t3，t4，得出x-t的方程，由此得出当t4<t<t5时的x坐标。在本发明的其它实施例中，为了更加精确可以取出更多的帧数进行预判。

本发明通过采用多路蒙版随着人眼的移动而变换蒙版位置，完成了视区的改变，实现容易方便；本发明对人脸和人眼实现了较好的跟踪效果，而且对光照背景无太大要求，也可以防止其他人的干扰；本发明跟踪速度基本满足观看者的要求，可以及时向观看者返回正确的视差图像。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (8)

1.一种用于裸眼3D显示的蒙版变换人眼跟踪方法，其特征在于，包括以下步骤：

S1：设置多路蒙版，其中一半用于组成左视差图蒙版组，另一半用于组成右视差图蒙版组；

S2：实时跟踪人眼的位置，根据人眼的位置从所述多路蒙版中选择一半蒙版叠加生成与左视差图对应的左视差图蒙版，将另一半蒙版叠加生成与右视差图对应的右视差图蒙版；

S3：将左眼图像和右眼图像分别与对应的左视差图蒙版和右视差图蒙版作运算，得到分别与当前左眼位置和右眼位置对应的左视差图和右视差图。

2.如权利要求1所述的蒙版变换人眼跟踪方法，其特征在于，所述左视差图蒙版和右视差图蒙版都包括宽度相同并间隔分布的多条白色区域和黑色区域，其中左视差图蒙版与右视差图蒙版的白色区域和黑色区域互补设置。

3.如权利要求2所述的蒙版变换人眼跟踪方法，其特征在于，所述步骤S1中设置2*N路蒙版，N为大于等于2的自然数；所述每条白色区域和黑色区域分别沿区域排布的方向被均匀分为N条白色子区域和N条黑色子区域；所述每路蒙版包括一条周期性分布的亮纹，所述亮纹形状与一条子区域的形状对应并且宽度相同，所述2*N路蒙版的亮纹位置互不相同，并且2*N路蒙版全部叠加后得到纯白的图像。

4.如权利要求3所述的蒙版变换人眼跟踪方法，其特征在于，所述左视差图蒙版组和右视差图蒙版组分别包含9路蒙版。

5.如权利要求2所述的蒙版变换人眼跟踪方法，其特征在于，所述左视差图蒙版和右视差图蒙版与左眼图像和右眼图像的分辨率相同；所述步骤S1包括：

当左、右视差图蒙板的像素点为黑色时，得到的左、右视差图上对应的像素点也为黑色；

当左、右视差图蒙板的像素点为白色时，得到的左、右视差图上对应的像素点与左、右眼图像上对应的像素点相同。

6.如权利要求1所述的蒙板变换人眼跟踪方法，其特征在于，在所述步骤S2之前还包括预先存入待跟踪人脸以去除掉其他人脸影响的步骤，具体包括：

Sa：预先在人脸信息库中存入若干不同的人脸信息并进行预处理，得到若干张特征脸，这些特征脸构成了特征脸向量组；

Sb：捕捉并确定待跟踪的人脸信息并将其存入所述人脸信息库中；

Sc：将所述人脸信息库中的待跟踪的人脸信息向所述特征脸向量组上进行投影得到待跟踪的人脸向量；

Sd：捕捉摄像头跟踪返回的每一帧图像上的所有人脸信息并将其投影到所述特征脸向量组上，得到该帧图像中的所有人脸信息的人脸向量；

Se：将所述该帧图像中的所有人脸信息的人脸向量与所述待跟踪的人脸向量进行比较，将该帧图像中与所述待跟踪的人脸向量最接近的人脸向量所对应的人脸信息作为该帧图像中的待跟踪人脸信息；

Sf：最后确定该帧图像中的待跟踪人脸信息中的人眼位置。

7.如权利要求6所述的蒙版变换人眼跟踪方法，其特征在于，所述步骤Sa中对不同人的人脸信息进行预处理的步骤包括：

Sa1：对所述若干不同人的人脸信息做直方图均衡化的处理；

Sa2：采用主成份分析算法将所述若干不同人的人脸信息进行处理得到若干特征人脸信息。

8.如权利要求1所述的蒙版变换人眼跟踪方法，其特征在于，在所述步骤S2之前还包括对运动中的人脸在当前帧与下一帧图像捕捉时间间隔内的位置坐标进行预测的步骤，具体包括：

Si：获取包括当前帧在内的前若干帧图像中人脸的位置坐标以及每帧图像对应的时刻；

Sii：根据所述前若干帧图像中人脸的位置坐标以及每帧图像对应的时刻得到人脸的位置坐标与时间的关系；

Siii：根据得到的人脸的位置坐标与时间的关系预测运动中的人脸在当前帧与下一帧图像捕捉时间间隔内的位置坐标。

Images