CN115733967A - 一种裸眼3d显示的人眼跟踪方法 - Google Patents

Abstract

本发明涉及3D显示技术领域，尤其涉及一种裸眼3D显示的人眼跟踪方法。本发明包括步骤：a.根据双目裸眼3D显示参数，获取3D可视区域信息；b.对双目3D视频进行解码，获得左右眼视频序列帧图像；c.采用红外摄像头实时采集观看者图像，获取观看者离裸眼3D屏幕距离信息；d.根据实时采集的图像序列，获取观看者人眼位置信息；e.根据人眼位置信息及3D可视区，动态调整3D合成子像素排列。该方法通过实时感知观看者人眼位置信息，结合3D可视区坐标分布情况，实时动态调整双目3D合成子像素排列，可有效解决现有双目裸眼3D显示技术中存在的观看视角窄、不能连续观看、观看位置固定等问题。

Description

一种裸眼3D显示的人眼跟踪方法

本发明涉及3D显示技术领域，尤其涉及一种裸眼3D显示的人眼跟踪方法。

背景技术

人类生活在一个立体的世界中，利用立体视觉机制来感知这个立体世界。为了表达这个世界，人们已提出并发展了很多方式，其中图像是最直观的表达方式。然而，目前大多数显示设备只能实现2D显示，可表达出场景的内容却忽略了深度信息，因此人们只能通过平时生活中所累积的经验以及2D图像中的阴影等信息去判断物体间的前后位置关系。随着社会的进步，传统的2D显示技术已经无法满足人们对于显示效果的追求。相较于2D显示技术，3D显示技术拥有图像逼真、强烈沉浸感和实时交互等优点，迅速占领显示市场。裸眼3D显示由于无需佩戴任何辅助设备即可观看到具有冲击力的立体视觉效果，能够给人们的生产、生活各方面带来全新的体验和视觉享受，代表了3D显示技术未来的发展方向。

裸眼3D显示技术主要采用分光原理来对左右眼图像进行分离，通过左眼看到左眼的图像，右眼看到右眼的图像就可以让用户的大脑合成一副有纵深感的立体画面。然而常规裸眼3D显示由于视区的周期性分布，存在观看视角窄、不能连续观看、观看位置固定等问题，如果用户的眼睛偏离最佳观看位置往往会看到重影或看不到立体感等情况。因此，如何设计出一种不受观看角度限制的裸眼3D显示方法，成为一个亟待解决的问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种基于人眼追踪的裸眼3D显示方法，旨在解决现有双目裸眼3D显示技术中存在的观看视角窄、不能连续观看、观看位置固定等问题，其特征在于，至少包括：

a.根据双目裸眼3D显示参数，获取3D可视区域信息；

b.对双目3D视频进行解码，获得左右眼视频序列帧图像；

c.采用红外摄像头实时采集观看者图像，获取观看者离裸眼3D屏幕距离信息；

d.根据实时采集的图像序列，获取观看者人眼位置信息；

e.根据人眼位置信息及3D可视区，动态调整3D合成子像素排列。

作为进一步优化，特征a中所述根据双目裸眼3D显示参数，获取3D可视区域信息，根据双目裸眼3D显示光学参数理论仿真，可得到裸眼3D可视区域的分布情况，该分布图呈菱形，以左、右眼物理位置的中心点为原点分别对左、右眼3D视区的坐标区域进行标记，其中水平坐标为观看者水平观看位置，垂直坐标为人眼距离双目裸眼3D显示设备的距离。左右眼只有分别落在相邻的左、右眼3D视区时，才感知到具有立体感的图像。通常成年人双眼之间的距离为65mm，假设左右交替的3D视区之间的距离为w，为了避免观看者左右眼都处于同一个3D视区，则w应满足：w<65mm且2w>65mm。还有一些区域，即不是左眼3D视区，也不是右眼3D视区，根据双目裸眼3D显示光学特性，该区域内观看者观看者将会同时看到左右眼视图，从而造成左右眼视图的串扰重影现象。

作为进一步优化，特征b中所述对双目3D视频进行解码，获得左右眼视频序列帧图像，对解码的左右拼接双目3D视频进行解码及图像分割，可得到独立的左、右两路图像序列，假设左右双目3D视频的总体分辨率为mxn，则独立的左、右两路图像分辨率为(m/2)xn，假设双目裸眼3D显示终端的分辨率为MxN，虽然每路图像只有1/2的像素参与最终成像，但为提高裸眼3D显示的清晰度，需对分割后的左、右两路图像分辨率分别缩放至MxN。

作为进一步优化，特征c中所述采用红外双目摄像头实时采集观看者图像，获取观看者离裸眼3D屏幕距离信息，将红外双目摄像头放置于双目裸眼3D终端顶部位置，其间距设置为L。假设双目摄像头的光轴平行且成像平面处于同一平面，点P(x,y)为观看者在空间中的测量目标点，点P_l(x_l,y_l)和P_r(x_r,y_r)分别为点P投影到左、右摄像头成像平面的点，f为摄像头的焦距，B为双目摄像头之间的基线长度，O_l和O_r分别表示左摄像头和右摄像头的光心且其处于同一水平线上，则点P到裸眼3D显示终端的距离为：

其中d＝x_r-x_l，其为测量目标点P在左、右摄像头成像平面的水平视差值，该值可通过双目立体匹配进行求取，可采用非局部视差聚合匹配算法(NCLA)计算双目摄像头采集图像的匹配点。

为较少立体匹配误差，当观看者不运动时，可在一定时间周期内自动对双目3D采集图像进行多次立体匹配计算，记录每次观看者到裸眼3D显示终端的距离D_i，则可计算观看者到裸眼3D屏幕平均距离为：

作为进一步优化，特征d中所述根据实时采集的图像序列，获取观看者人眼位置信息，利用Yolov5神经网络算法获得完整的人眼信息，选取瞳孔中心点作为左右眼的位置坐标，以双目裸眼3D显示终端的中心点作为坐标原点，假设左眼的瞳孔中心点坐标为E(x_{eye_l},y_{eye_l})，左眼的瞳孔中心点坐标为E(x_{eye_r},y_{eye_r})，由于观看者通常为水平站立，因此y_{eye_l}＝y_{eye_r}。为保证人眼的实时性，人眼跟踪摄像头采用不低于90帧/秒的速率进行采集，这样可保证人眼位置检测的连续性。

作为进一步优化，特征e中所述根据人眼位置信息及3D可视区，动态调整3D合成子像素排列，按照双目裸眼3D子像素映射矩阵的计算公式为：

其中，X为一个光栅周期在水平方向上覆盖RGB子像素的个数，(k,1)为RGB子像素的坐标位置，α为光栅轴相对于LCD显示屏垂直轴的倾斜夹角，k_off表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，N_tot表示总视点个数，也就是参与合成的视差图像数量。根据上式可计算出2D显示屏上的每个子像素的灰度值应该取自于哪幅视差图像的相应坐标位置的灰度值。

同时，结合步骤a中得到的3D可视区域坐标信息，以及步骤c中得到的看者离裸眼3D屏幕距离信息和步骤d中得到的左右眼坐标信息，可判定观看者左右眼落在3D可视区的位置信息。当左眼瞳孔坐标落在左眼3D视区，右眼瞳孔坐标落在右眼3D视区范围内，这时可直接观看到正确的3D图像，无须对3D合成子像素信息进行调整；当左眼瞳孔坐标落在右眼3D视区，右眼瞳孔坐标落在左眼3D视区范围内，这时人眼看到的是左右图像交换的错误图像，为保证人眼可看到正确的3D效果，需将3D合成子像素向左或向右移动3个子像素(1个像素)，即此时的双目裸眼3D子像素映射矩阵的计算公式为：

当左眼瞳孔坐标或右眼瞳孔坐标落在3D视区范围之外时，这时落在3D可视区之外的单眼将会同时看到左右眼的图像而产生重影现象，为让左右眼可看到正确的3D效果，需将3D合成子像素进行多个像素的移动，即此时的双目裸眼3D子像素映射矩阵的计算公式为：

其中f为柱状透镜光栅到屏幕的距离，

为计算数值的上取整，β为调节因子，其值介于0～1之间。

附图说明

图1是本发明一种裸眼3D显示的人眼跟踪方法流程示意图；

图2是本发明中双目裸眼3D显示设备结构示意图；

图3是本发明中双目裸眼3D显示设备3D可视区示意图；

图4是本发明中双目3D视频图像解码分割及缩放示意图；

图5是本发明中红外双目摄像头测距示意图。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步详细的描述。

本发明实施例提供了一种裸眼3D显示的人眼跟踪方法，参照图1，图1为本发明一种裸眼3D显示的人眼跟踪方法的流程示意图。

本实施例中，所述裸眼3D视频生成方法包括以下步骤：

步骤S10：根据双目裸眼3D显示参数，获取3D可视区域信息。

需要说明的是，参照图2，图2为本发明实施例方案涉及的本发明中双目裸眼3D显示设备结构示意图，其中201为针对双目裸眼3D显示设计的特殊柱状透镜材料，将其全贴合在超高清液晶屏幕上来保证左右3D图像的正确分光；202和203为在双目裸眼3D显示设备顶部加装的红外双目摄像头，其间距设置为L，增加红外双目摄像头模块的优势是解决外部光线不好的情况下人眼跟踪及距离测距精度问题，同时当该双目摄像头间距L≤65mm时还可作为双目3D图像采集装置使用。

进一步地，根据双目裸眼3D显示光学参数理论仿真，可得到裸眼3D可视区域的分布情况，参照图3，图3为本发明中双目裸眼3D显示设备3D可视区示意图。该3D可视区分布图呈菱形，其中301所示区域为左眼3D视区，302所示区域为右眼3D视区，左眼、右眼3D视区交替排列，以左、右眼物理位置的中心点为原点分别对左、右眼3D视区的坐标区域进行标记，其中水平坐标为观看者水平观看位置，垂直坐标为人眼距离双目裸眼3D显示设备的距离。左右眼只有分别落在相邻的左、右眼3D视区时，才感知到具有立体感的图像。通常成年人双眼之间的距离为65mm，假设左右交替的3D视区之间的距离为w，为了避免观看者左右眼都处于同一个3D视区，则w应满足：w<65mm且2w>65mm。以32英寸及以下4K双目裸眼3D设备为例，w的取值在40mm到60mm之间。303所示区域即不是左眼3D视区，也不是右眼3D视区，根据双目裸眼3D显示光学特性，该区域内观看者观看者将会同时看到左右眼视图，从而造成左右眼视图的串扰重影现象。

步骤S20：对双目3D视频进行解码，获得左右眼视频序列帧图像。

需要说明的是，参照图4，图4为本发明中双目3D视频图像解码分割及缩放示意图。常见的3D视频格式包括3D格式和上下3D格式，其中401为左右3D格式示意图，402为上下3D格式示意图，对解码的左右拼接双目3D视频进行解码及图像分割，可得到独立的左、右两路图像序列，403和404为解码分割后的独立的两路图像。假设左右双目3D视频的总体分辨率为mxn，则独立的左、右两路图像分辨率为(m/2)xn，假设双目裸眼3D显示终端的分辨率为MxN，虽然每路图像只有1/2的像素参与最终成像，但为提高裸眼3D显示的清晰度，需对分割后的左、右两路图像分辨率分别缩放至MxN，405为左路图像缩放的示意图。

步骤S30：采用红外摄像头实时采集观看者图像，获取观看者离裸眼3D屏幕距离信息。

需要说明的是，参照图5，图5为本发明中红外双目摄像头测距示意图，将红外双目摄像头放置于双目裸眼3D终端顶部位置，其摄像机间距设置为L，其摄像机位置如图2所示。假设双目摄像头的光轴平行且成像平面处于同一平面，点P(x,y)为观看者在空间中的测量目标点，点P_l(x_l,y_l)和P_r(x_r,y_r)分别为点P投影到左、右摄像头成像平面的点，f为摄像头的焦距，B为双目摄像头之间的基线长度，O_l和O_r分别表示左摄像头和右摄像头的光心且其处于同一水平线上，则点P到裸眼3D显示终端的距离为：

其中d＝x_r-x_l，其为测量目标点P在左、右摄像头成像平面的水平视差值，该值可通过双目立体匹配进行求取，可采用非局部视差聚合匹配算法(NCLA)计算双目摄像头采集图像的匹配点。

进一步地，为较少立体匹配误差，当观看者不运动时，可在一定时间周期内自动对双目3D采集图像进行多次立体匹配计算，记录每次观看者到裸眼3D显示终端的距离D_i，则可计算观看者到裸眼3D屏幕平均距离为：

步骤S40：根据实时采集的图像序列，获取观看者人眼位置信息。

需要说明的是，利用Yolov5神经网络算法获得完整的人眼信息，选取瞳孔中心点作为左右眼的位置坐标，以双目裸眼3D显示终端的中心点作为坐标原点，假设左眼的瞳孔中心点坐标为E(x_{eye_l},y_{eye_l})，左眼的瞳孔中心点坐标为E(x_{eye_r},y_{eye_r})，由于观看者通常为水平站立，因此y_{eye_l}＝y_{eye_r}。为保证人眼的实时性，人眼跟踪摄像头采用不低于90帧/秒的速率进行采集，这样可保证人眼位置检测的连续性。

步骤S50：根据人眼位置信息及3D可视区，动态调整3D合成子像素排列。

需要说明的是，按照双目裸眼3D子像素映射矩阵的计算公式为：

其中，X为一个光栅周期在水平方向上覆盖RGB子像素的个数，(k,1)为RGB子像素的坐标位置，α为光栅轴相对于LCD显示屏垂直轴的倾斜夹角，k_off表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，N_tot表示总视点个数，也就是参与合成的视差图像数量。根据上式可计算出2D显示屏上的每个子像素的灰度值应该取自于哪幅视差图像的相应坐标位置的灰度值。

进一步地，结合步骤S10中得到的3D可视区域坐标信息，以及步骤S30中得到的看者离裸眼3D屏幕距离信息和步骤d中得到的左右眼坐标信息，可判定观看者左右眼落在3D可视区的位置信息。当左眼瞳孔坐标落在左眼3D视区，右眼瞳孔坐标落在右眼3D视区范围内，这时可直接观看到正确的3D图像，无须对3D合成子像素信息进行调整；当左眼瞳孔坐标落在右眼3D视区，右眼瞳孔坐标落在左眼3D视区范围内，这时人眼看到的是左右图像交换的错误图像，为保证人眼可看到正确的3D效果，需将3D合成子像素向左或向右移动3个子像素(1个像素)，即此时的双目裸眼3D子像素映射矩阵的计算公式为：

应当理解的是，当左眼瞳孔坐标或右眼瞳孔坐标落在3D视区范围之外时，这时落在3D可视区之外的单眼将会同时看到左右眼的图像而产生重影现象，为让左右眼可看到正确的3D效果，需将3D合成子像素进行多个像素的移动，即此时的双目裸眼3D子像素映射矩阵的计算公式为：

其中f为柱状透镜光栅到屏幕的距离，

为计算数值的上取整，β为调节因子，其值介于0～1之间。

本说明书中公开的任一特性，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤之外，均可以以任何方式组合。

本说明书(包括任何附加全力要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具类似目的的替代特征加以替代。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (5)

1.一种裸眼3D显示的人眼跟踪方法，其特征包括：

a.根据双目裸眼3D显示参数，获取3D可视区域信息；

b.对双目3D视频进行解码，获得左右眼视频序列帧图像；

c.采用红外摄像头实时采集观看者图像，获取观看者离裸眼3D屏幕距离信息；

d.根据实时采集的图像序列，获取观看者人眼位置信息；

e.根据人眼位置信息及3D可视区，动态调整3D合成子像素排列。

2.如权利要求1所述的一种裸眼3D显示的人眼跟踪方法，其特征在于：

特征a中所述根据双目裸眼3D显示参数，获取3D可视区域信息，根据双目裸眼3D显示光学参数理论仿真，可得到裸眼3D可视区域的分布情况，该分布图呈菱形，以左、右眼物理位置的中心点为原点分别对左、右眼3D视区的坐标区域进行标记，其中水平坐标为观看者水平观看位置，垂直坐标为人眼距离双目裸眼3D显示设备的距离。左右眼只有分别落在相邻的左、右眼3D视区时，才感知到具有立体感的图像。通常成年人双眼之间的距离为65mm，假设左右交替的3D视区之间的距离为w，为了避免观看者左右眼都处于同一个3D视区，则w应满足：w<65mm且2w>65mm。还有一些区域，即不是左眼3D视区，也不是右眼3D视区，根据双目裸眼3D显示光学特性，该区域内观看者观看者将会同时看到左右眼视图，从而造成左右眼视图的串扰重影现象。

3.如权利要求1所述的一种裸眼3D显示的人眼跟踪方法，其特征在于：

特征c中所述采用红外双目摄像头实时采集观看者图像，获取观看者离裸眼3D屏幕距离信息，将红外双目摄像头放置于双目裸眼3D终端顶部位置，其间距设置为L。假设双目摄像头的光轴平行且成像平面处于同一平面，点P(x,y)为观看者在空间中的测量目标点，点P_l(x_l,y_l)和P_r(x_r,y_r)分别为点P投影到左、右摄像头成像平面的点，f为摄像头的焦距，B为双目摄像头之间的基线长度，O_l和O_r分别表示左摄像头和右摄像头的光心且其处于同一水平线上，则点P到裸眼3D显示终端的距离为：

其中d＝x_r-x_l，其为测量目标点P在左、右摄像头成像平面的水平视差值，该值可通过双目立体匹配进行求取，可采用非局部视差聚合匹配算法(NCLA)计算双目摄像头采集图像的匹配点。

为较少立体匹配误差，当观看者不运动时，可在一定时间周期内自动对双目3D采集图像进行多次立体匹配计算，记录每次观看者到裸眼3D显示终端的距离D_i，则可计算观看者到裸眼3D屏幕平均距离为：

4.如权利要求1所述的一种裸眼3D显示的人眼跟踪方法，其特征在于：

特征d中所述根据实时采集的图像序列，获取观看者人眼位置信息，利用Yolov5神经网络算法获得完整的人眼信息，选取瞳孔中心点作为左右眼的位置坐标，以双目裸眼3D显示终端的中心点作为坐标原点，假设左眼的瞳孔中心点坐标为，左眼的瞳孔中心点坐标为，由于观看者通常为水平站立，因此。为保证人眼的实时性，人眼跟踪摄像头采用不低于90帧/秒的速率进行采集，这样可保证人眼位置检测的连续性。

5.如权利要求1所述的一种裸眼3D显示的人眼跟踪方法，其特征在于：

特征e中所述根据人眼位置信息及3D可视区，动态调整3D合成子像素排列，按照双目裸眼3D子像素映射矩阵的计算公式为：

其中，X为一个光栅周期在水平方向上覆盖RGB子像素的个数，(k,1)为RGB子像素的坐标位置，α为光栅轴相对于LCD显示屏垂直轴的倾斜夹角，k_off表示2D显示屏左上边缘与光栅单元边缘点的水平位移量，N_tot表示总视点个数，也就是参与合成的视差图像数量。根据上式可计算出2D显示屏上的每个子像素的灰度值应该取自于哪幅视差图像的相应坐标位置的灰度值。

同时，结合步骤a中得到的3D可视区域坐标信息，以及步骤c中得到的看者离裸眼3D屏幕距离信息和步骤d中得到的左右眼坐标信息，可判定观看者左右眼落在3D可视区的位置信息。当左眼瞳孔坐标落在左眼3D视区，右眼瞳孔坐标落在右眼3D视区范围内，这时可直接观看到正确的3D图像，无须对3D合成子像素信息进行调整；当左眼瞳孔坐标落在右眼3D视区，右眼瞳孔坐标落在左眼3D视区范围内，这时人眼看到的是左右图像交换的错误图像，为保证人眼可看到正确的3D效果，需将3D合成子像素向左或向右移动3个子像素(1个像素)，即此时的双目裸眼3D子像素映射矩阵的计算公式为：

当左眼瞳孔坐标或右眼瞳孔坐标落在3D视区范围之外时，这时落在3D可视区之外的单眼将会同时看到左右眼的图像而产生重影现象，为让左右眼可看到正确的3D效果，需将3D合成子像素进行多个像素的移动，即此时的双目裸眼3D子像素映射矩阵的计算公式为：

其中f为柱状透镜光栅到屏幕的距离，

为计算数值的上取整，β为调节因子，其值介于0～1之间。

Images