CN207589060U - 一种结合视觉疲劳检测的裸眼立体显示装置 - Google Patents

Abstract

本实用新型涉及一种结合视觉疲劳检测的裸眼立体显示装置。本装置主要由红外双目摄像机、人眼图像分析单元、人眼空间位置反馈单元、人眼视区调整单元、左右视图显示调整单元、人眼疲劳检测单元和视频输出单元组成。采用人眼眼球跟踪技术实时定位人眼的空间坐标，采用可编程逻辑阵列技术实时跟踪眼睛位置移动与对应液晶光栅图像子像素进行重新排布，以改变最佳视点区域，有效地减小人眼观看过程中的图像串扰，提高用户观视体验；同时，通过上述技术实时检测、度量和评价用户在观视过程中的眼部疲劳状态，判定其不良生理反应程度，以提示用户及时采取措施预防或缓解视觉疲劳。

Description

一种结合视觉疲劳检测的裸眼立体显示装置

技术领域

本实用新型属于眼球跟踪式裸眼立体显示技术领域，具体涉及一种结合视觉疲劳检测的裸眼立体显示装置。

背景技术

自由立体显示技术的最大特点是用户无需佩戴任何助视设备即可感知到三维图像，但自由立体显示装置在制备完成后只能在空间中形成有限的最佳视点，用户需要在屏幕前移动位置以寻找合适的视角进行观看。在寻找视角的过程中，由于视区的变换，双眼会看到串扰的立体图像，从而影响用户的立体观视体验。

跟踪式自由立体显示技术属于自由立体显示技术的一种，它在确定用户位于三维显示设备前的具体位置时，采用头部跟踪技术或者眼部跟踪技术，然后根据获取到的信息得到用户眼睛的位置，并相应地调整左右眼图像的像素点位置及视差值，最终左右眼图像经过屏幕上的光线引导装置，例如透镜、狭缝光栅等，分别射入用户的左眼或右眼中。跟踪式立体显示技术主要研究方向集中在改善系统延时，缓解人眼疲劳。系统延时是影响跟踪式立体显示效果的重要因素之一，其主要表现为观察者头部移动和图像完成调整之间的时间差。

跟踪式自由立体显示技术采用了双目视差立体显示机理。由于双目视差立体显示的机理与人眼的辐辏调节机制存在冲突，长时间观看会引起头晕、眼疲劳等立体视觉疲劳症状。立体视觉疲劳对用户更会造成生理不适，尤其对于视觉机制不完善的老人和儿童，长时间在视觉疲劳的情况下观看三维显示严重影响了用户体验，制约了三维显示技术的发展和其相关产品的应用普及。因此，实时检测用户眼部疲劳状态并予以提醒是十分必要的。

实用新型内容

为了克服现有技术的不足，本实用新型提供一种结合视觉疲劳检测的裸眼立体显示装置，采用人眼眼球跟踪技术实时定位人眼的空间坐标，采用FPGA技术实时跟踪眼睛位置移动与对应液晶光栅图像子像素进行重新排布，以改变最佳视点区域，有效地减小人眼观看过程中的图像串扰，提高用户观视体验；同时，实时检测、度量和评价用户在观视过程中眼部疲劳的状态，判定其不良生理反应程度，以提示用户及时采取措施预防或缓解视觉疲劳。

为达到上述目的，本实用新型采用如下技术方案：

一种结合视觉疲劳检测的裸眼立体显示装置，包括红外双目摄像机、人眼图像分析单元、人眼空间位置反馈单元、人眼视区调整单元、左右视图显示调整单元、人眼疲劳检测单元和视频输出单元；

所述红外双目摄像机：作为采集用户头部的左右两路视频图像的硬件，经过图像采集卡将图像传送至人眼图像分析单元；

所述人眼图像分析单元：从头部的左右图像中估计出人眼的特征信息，通过图像处理的方式计算估计出人眼的特征参数；人眼图像分析单元的输出结果一路作为人眼空间位置反馈单元的输入；另一路作为人眼疲劳检测单元输入，检测用户在观看显示器过程中眼部疲劳状态；所述人眼图像分析单元中的人眼特征参数的提取主要包含人脸检测、眼部粗定位和眼部精确定位；具体涉及瞳孔中心坐标计算和视觉疲劳眼部特征瞳孔水平直径r_h、瞳孔垂直直径r_v、眨眼次数m、眨眼持续时间的平均值t、眼跳次数n。

所述人眼空间位置反馈单元：将人眼图像分析单元输出的人眼瞳孔中心坐标值作为红外双目摄像机的匹配点，计算出人眼相对于显示器的空间位置，并将人眼的三维坐标参数传送给人眼视区调整单元；

所述人眼视区调整单元：实时跟踪人眼三维位置坐标，同时判断人眼所处的空间区域，并计算出因串扰产生而需要移动的子像素大小传递，并将子像素的大小传输给左右视图显示调整单元；

所述左右视图显示调整单元：在可编程逻辑阵列FPGA中完成对图像视频序列子像素的重新排布，将左右格式的立体片源转换为列交错格式并存储；当人眼移动时，人眼视区调整单元识别出人眼所处位置的串扰并相应地计算出移动子像素的大小参数；在硬件FPGA控制下，根据计算出来的移动量实现动态调整，若无调整，直接显示；

所述人眼疲劳检测单元：检测用户在观看显示器过程中眼部疲劳状态，对比用户在观看过程初期、中期以及末期各个阶段的疲劳状态，对比疲劳状态警戒值，超限情况下通过叠加疲劳状态信息对用户进行提醒，建议用户停止观看；

所述视频输出单元：将左右视图显示调整单元传送过来的正确的立体图像进行播放，根据人眼位置的不同，将立体视频投放到对应视区，消除图像串扰；根据人眼疲劳检测单元的检测状态，在达到疲劳警戒的状态下叠加显示观视提醒信息。

本实用新型装置的结合视觉疲劳检测的裸眼立体显示方法，包括如下步骤：

步骤一：对输入的左右视图立体片源或双光路相机输入的立体图像视频序列实现立体视频格式转换，对图像视频序列子像素的重新排布，将左右格式的立体片源转换为列交错格式并存储；

步骤二：开启红外双目摄像机，捕捉左右两路的用户头部视频影像；

步骤三：通过图像采集卡后选择其中一路视频，通过图像处理中人脸检测方法，确定视频图像中用户眼部区域；

步骤四：通过对用户眼部区域视频图像的定位与人眼空间位置计算，给定人眼一个3D坐标；

步骤五：根据人眼3D坐标确定人眼所处视区并判断是否属于最佳视点区域，如果不处于最佳视点区域，计算出因串扰产生而需要移动的子像素大小，并将该参数传送给步骤六；

步骤六：根据人眼视区判断后计算出来的子像素移动值，完成液晶光栅子像素动态调整实现对应视区的图像融合，转至步骤八；

步骤七：通过对用户眼部区域视频图像分析，对人眼疲劳状态进行检测，如果人眼疲劳状态有变化，则执行步骤九，否则，将跳至步骤八；

步骤八：输出融合后的立体图像；

步骤九：在输出融合的立体图像上叠加用户提醒信息，建议用户休息片刻或停止观看。

所述步骤一中，将通用的左右格式的立体视频，格式转换为列交错格式；为了转换为列交错式排列图像，将左右格式的视频图像按列形式沿水平方向进行列交叉排布，该调整过程完全由硬件自动完成，并将调整后的结果存储。

所述步骤三中，通过人脸检测方法，确定视频图像中用户脸部区域；人脸大致的区域定位是通过实时计算人脸灰度自适应二值化阈值来获得人脸上半部分图像；然后，根据人脸面部结构特性、图像大小以及位置关系，对得到的脸部图像进行剪裁，消除配饰或眼镜对人眼检测的影响，减少人眼定位的计算量，实现眼部的粗定位；最后，根据提取的瞳孔大致区域和角膜上的亮斑区域交集，确定出人眼区域，实现眼部精确定位。

所述步骤四中，通过对用户视频图像眼部区域的精确定位与立体三角测量原理，给定人眼一个3D坐标，一般以左眼的空间坐标值，人眼3D坐标是由摄像机捕捉到的二维图像坐标和摄像机标定参数给定。

所述步骤五中，根据实时跟踪的人眼3D坐标值判断人眼所处视区并计算出需要移动子像素的值；立体视觉的最佳观视点在显示装备制备完成后已固定，当人眼移动到最佳观点之外时会观察到串扰图像，根据串扰度公式：

其中W表示右眼看到的像素值总大小，U表示右眼看到的左眼图像序列的像素大小；子像素移动的多少是以人眼在空间中所处的位置为基准的，是通过人眼所观察到的串扰度的具体值来相应的对子像素进行重新排列。

所述步骤六中，通过子像素的移动来对显示的图像视频像素进行重新排列以满足对串扰图像的补偿，通过硬件FPGA实现液晶光栅子像素的动态调整；FPGA硬件实现时是通过数据选择器来选择依次存在两个寄存器中的相邻左右眼图像像素，即通过数据选择器来选择输出寄存器中存储的子像素的排列分布。

所述步骤七中，通过对用户眼部区域视频图像分析，识别人眼疲劳状态，包括训练阶段和测试阶段：

所述的训练阶段包括以下步骤：

步骤a、通过图像传感器采集将通过分析不同时间段的人眼图像；

步骤b、分析每幅人眼特征中得到的特征瞳孔水平直径r_h、瞳孔垂直直径r_v、眨眼次数m、眨眼持续时间的平均值t、眼跳次数n；将这5个维度的特征作为一个特征矢量F_m；

步骤c、根据记录的每个测试者在不同时间内的特征矢量和平均评分值，采用支持向量回归作为机器学习的方法，获得疲劳度预测函数；

所述的测试阶段包括以下步骤：

步骤d、将选取样本中的人眼特征的最大值和最小值作为边界值，以0.01作为步进长度，生成一系列的特征矢量；

步骤e、将这些特征矢量输入到疲劳度预测函数中，选择一个疲劳阈值，通过预测的疲劳值和预设的疲劳值进行比较；

步骤f、选择出合理临界的特征阈值，从而通过检测人眼的状态获取人眼的疲劳程度。

与现有技术相比，本实用新型有如下积极效果：

1.本实用新型可以实现多视点立体视频在自由立体显示器上播放，使得用户不需佩戴3D助视设备即可观看到立体效果良好的3D立体视频。

2.由于加入了人眼跟踪技术，使用户不用主动寻找合适的3D视区，软件会自动根据用户人眼位置投放对应视区的立体画面。用户在屏幕前移动时，图像会随着用户眼球位置实时调整，用户不会察觉到观看内容的变化，始终看到的是最初看到的对应视点的内容，借此减轻了图像串扰。

3.由于加入了人眼疲劳检测技术，用户在观看立体显示内容的同时，实时检测用户眼部状态，并对视疲劳症状的度量及评价，从而判定其不良生理反应程度。一方面有利于提示观看者及时采取措施来预防和消除视疲劳，另一方面也有利于研发出观看更为舒适的立体显示设备。

4.该装置算法处理速度快，能实时地对图像进行融合，同时根据人眼的移动同步调整对应视区的图像，计算、调整过程几乎无延时，播放流畅。

附图说明

图1为结合视觉疲劳检测的裸眼3D立体显示装置结构示意图。

图2为视觉跟踪与光栅动态调整示意图。

图3为人眼疲劳检测流程图。

具体实施方式

下面对照附图，通过对实施例的描述，本实用新型的具体实施方式如所涉及的各构件的形状、构造、各部分之间的相互位置及连接关系、各部分的作用及工作原理、制造工艺及操作使用方法等，作进一步详细的说明，以帮助本领域技术人员对本实用新型的实用新型构思、技术方案有更完整、准确和深入的理解。

如图1所示，一种结合视觉疲劳检测的裸眼立体显示装置，包括红外双目摄像机、人眼图像分析单元、人眼空间位置反馈单元、人眼视区调整单元、左右视图显示调整单元、人眼疲劳检测单元和视频输出单元；

所述红外双目摄像机：作为采集用户头部的左右两路视频图像的硬件，经过图像采集卡将图像传送至人眼图像分析单元；

所述人眼图像分析单元：从头部的左右图像中估计出人眼的特征信息，通过图像处理的方式计算估计出人眼的特征参数；人眼图像分析单元的输出结果一路作为人眼空间位置反馈单元的输入；另一路作为人眼疲劳检测单元输入，检测用户在观看显示器过程中眼部疲劳状态；所述人眼图像分析单元中的人眼特征参数的提取主要包含人脸检测、眼部粗定位和眼部精确定位；具体涉及瞳孔中心坐标计算和视觉疲劳眼部特征瞳孔水平直径r_h、瞳孔垂直直径r_v、眨眼次数m、眨眼持续时间的平均值t、眼跳次数n。

所述人眼空间位置反馈单元：将人眼图像分析单元输出的人眼瞳孔中心坐标值作为红外双目摄像机的匹配点，计算出人眼相对于显示器的空间位置，并将人眼的三维坐标参数传送给人眼视区调整单元；

所述人眼视区调整单元：实时跟踪人眼三维位置坐标，同时判断人眼所处的空间区域，并计算出因串扰产生而需要移动的子像素大小传递，并将子像素的大小传输给左右视图显示调整单元；

所述左右视图显示调整单元：在可编程逻辑阵列FPGA中完成对图像视频序列子像素的重新排布，将左右格式的立体片源转换为列交错格式并存储；当人眼移动时，人眼视区调整单元识别出人眼所处位置的串扰并相应地计算出移动子像素的大小参数；在硬件FPGA控制下，根据计算出来的移动量实现动态调整，若无调整，直接显示；

所述人眼疲劳检测单元：检测用户在观看显示器过程中眼部疲劳状态，对比用户在观看过程初期、中期以及末期各个阶段的疲劳状态，对比疲劳状态警戒值，超限情况下通过叠加疲劳状态信息对用户进行提醒，建议用户停止观看；

所述视频输出单元：将左右视图显示调整单元传送过来的正确的立体图像进行播放，根据人眼位置的不同，将立体视频投放到对应视区，消除图像串扰；根据人眼疲劳检测单元的检测状态，在达到疲劳警戒的状态下叠加显示观视提醒信息。

本实用新型装置的结合视觉疲劳检测的裸眼立体显示方法，包括如下步骤：

步骤一：对输入的左右视图立体片源或双光路相机输入的立体图像视频序列实现立体视频格式转换，对图像视频序列子像素的重新排布，将左右格式的立体片源转换为列交错格式并存储，如图2所示；

步骤二：开启红外双目摄像机，捕捉左右两路的用户头部视频影像；

步骤三：通过图像采集卡后选择其中一路视频，通过图像处理中人脸检测方法，确定视频图像中用户眼部区域；

步骤四：通过对用户眼部区域视频图像的定位与人眼空间位置计算，给定人眼一个3D坐标；

步骤五：根据人眼3D坐标确定人眼所处视区并判断是否属于最佳视点区域，如果不处于最佳视点区域，计算出因串扰产生而需要移动的子像素大小，并将该参数传送给步骤六；

步骤六：根据人眼视区判断后计算出来的子像素移动值，完成液晶光栅子像素动态调整实现对应视区的图像融合，转至步骤八；

步骤七：通过对用户眼部区域视频图像分析，对人眼疲劳状态进行检测，如果人眼疲劳状态有变化，则执行步骤九，否则，将跳至步骤八；

步骤八：输出融合后的立体图像；

步骤九：在输出融合的立体图像上叠加用户提醒信息，建议用户休息片刻或停止观看。

所述步骤一中，将通用的左右格式的立体视频，格式转换为列交错格式；为了转换为列交错式排列图像，将左右格式的视频图像按列形式沿水平方向进行列交叉排布，该调整过程完全由硬件自动完成，并将调整后的结果存储。

所述步骤三中，通过人脸检测方法，确定视频图像中用户脸部区域；人脸大致的区域定位是通过实时计算人脸灰度自适应二值化阈值来获得人脸上半部分图像；然后，根据人脸面部结构特性、图像大小以及位置关系，对得到的脸部图像进行剪裁，消除配饰或眼镜对人眼检测的影响，减少人眼定位的计算量，实现眼部的粗定位；最后，根据提取的瞳孔大致区域和角膜上的亮斑区域交集，确定出人眼区域，实现眼部精确定位。

所述步骤四中，通过对用户视频图像眼部区域的精确定位与立体三角测量原理，给定人眼一个3D坐标，一般以左眼的空间坐标值，人眼3D坐标是由摄像机捕捉到的二维图像坐标和摄像机标定参数给定。

所述步骤五中，根据实时跟踪的人眼3D坐标值判断人眼所处视区并计算出需要移动子像素的值；立体视觉的最佳观视点在显示装备制备完成后已固定，当人眼移动到最佳观点之外时会观察到串扰图像，根据串扰度公式：

其中W表示右眼看到的像素值总大小，U表示右眼看到的左眼图像序列的像素大小；子像素移动的多少是以人眼在空间中所处的位置为基准的，是通过人眼所观察到的串扰度的具体值来相应的对子像素进行重新排列。

所述步骤六中，通过子像素的移动来对显示的图像视频像素进行重新排列以满足对串扰图像的补偿，通过硬件FPGA实现液晶光栅子像素的动态调整；FPGA硬件实现时是通过数据选择器来选择依次存在两个寄存器中的相邻左右眼图像像素，即通过数据选择器来选择输出寄存器中存储的子像素的排列分布。

所述步骤七中：通过对用户眼部区域视频图像分析，识别人眼疲劳状态；

选取一段40分钟的3D视频源每隔5分钟记录一次人眼的数据，记录时长为1分钟，记录的数据包括：人眼的瞳孔直径、人眼眨眼次数、眨眼时间的平均值、眼跳次数。各个特征的定义如下：

瞳孔直径：包括水平直径r_h、垂直直径r_v，在本方法中采用像素的方式进行统计；

眨眼次数m：通过图像传感器采集到的图片，当人眼闭合到20％时，即为一次眨眼；

眨眼持续时间的平均值t，即当人眼从闭合80％到再次睁开20％时，记为一次眨眼时间，这里统计眨眼时间的平均值；

眼跳次数n：眼球在屏幕上上的注视点从一个位置调到另一个位置，眼球运动大于0.3度时定义一次眼跳；

在记录数据的同时，询问操作者的眼部疲劳状况，为了保证特征的规范性将对所观测到的特征值进行归一化操作。将每次记录的用于反映眼睛视疲劳程度的特征矢量和平均主观评分值进行拟合，采用支持向量回归作为机器学习的方法，获得疲劳度预测函数，包括训练阶段和测试阶段：

所述的训练阶段包括以下步骤：

步骤a、通过图像传感器采集将通过分析不同时间段的人眼图像；

步骤b、分析每幅人眼特征中得到的特征瞳孔水平直径r_h、瞳孔垂直直径r_v、眨眼次数m、眨眼持续时间的平均值t、眼跳次数n；将这5个维度的特征作为一个特征矢量F_m；

步骤c、根据记录的每个测试者在不同时间内的特征矢量和平均评分值，采用支持向量回归作为机器学习的方法，获得疲劳度预测函数；

所述的测试阶段包括以下步骤：

步骤d、将选取样本中的人眼特征的最大值和最小值作为边界值，以0.01作为步进长度，生成一系列的特征矢量；

步骤e、将这些特征矢量输入到疲劳度预测函数中，选择一个疲劳阈值，通过预测的疲劳值和预设的疲劳值进行比较；

步骤f、选择出合理临界的特征阈值，从而通过检测人眼的状态获取人眼的疲劳程度。

本实施例的具体实验环境：采用3维显示器，观看者的观测距离为显示器高度的三倍，测试环境符合ITU-RBT.500-11标准，实验对象18个人。

如图3所示，人眼疲劳检测流程如下：

步骤一：人在静息状态下休息5分钟，之后1分钟通过屏幕前方的图像传感器获取人眼图像。根据图像传感器采集的图片(25帧/秒)记录人眼的瞳孔直径、眨眼次数，眨眼持续时间、眼跳时间。同时通过问卷的形式，被试者对当前眼部疲劳状况进行打分，一共有5个等级：1表示没有、2表示轻微疲劳、3表示中度疲劳、4明显感觉疲劳、5感到严重疲劳。

步骤二：人观看3D显示内容5分钟，之后1分钟采用屏幕前方的图像传感器获取人眼图像，记录此时的人眼瞳孔直径，人眼眨眼频率和眼睛闭合时间t。重复步骤二8次。

预测函数训练阶段：

将通过分析图像得到的瞳孔水平直径r_h、瞳孔垂直直径r_v、眨眼次数m、眨眼持续时间的平均值t、眼跳次数n。将问卷数据是否有眼疲劳感觉作为标签，记录的特征一起放到支持向量回归模型中进行训练。采用十折交叉验证的方法，对得到参数进行优化，最终得到疲劳度预测函数。

测试阶段：

将人眼的特征从静息状态到疲劳状态的特征值进行划分，步长为0.01，通过网格查找法来列出所有的眼部特征矢量。使用训练好的模型，将这些特征矢量放入进行预测。当达到疲劳的阈值时，将特征矢量的取值记录下来，最终得到所有特征的阈值。

Claims (2)

1.一种结合视觉疲劳检测的裸眼立体显示装置，其特征在于：包括红外双目摄像机、人眼图像分析单元、人眼空间位置反馈单元、人眼视区调整单元、左右视图显示调整单元、人眼疲劳检测单元和视频输出单元；

所述红外双目摄像机：作为采集用户头部的左右两路视频图像的硬件，经过图像采集卡将图像传送至人眼图像分析单元；

所述人眼图像分析单元：从头部的左右图像中估计出人眼的特征信息，通过图像处理的方式计算估计出人眼的特征参数；人眼图像分析单元的输出结果一路作为人眼空间位置反馈单元的输入；另一路作为人眼疲劳检测单元输入，检测用户在观看显示器过程中眼部疲劳状态；

所述人眼空间位置反馈单元：将人眼图像分析单元输出的人眼瞳孔中心坐标值作为红外双目摄像机的匹配点，计算出人眼相对于显示器的空间位置，并将人眼的三维坐标参数传送给人眼视区调整单元；

所述人眼视区调整单元：实时跟踪人眼三维位置坐标，同时判断人眼所处的空间区域，并计算出因串扰产生而需要移动的子像素大小传递，并将子像素的大小传输给左右视图显示调整单元；

所述左右视图显示调整单元：在可编程逻辑阵列FPGA中完成对图像视频序列子像素的重新排布，将左右格式的立体片源转换为列交错格式并存储；当人眼移动时，人眼视区调整单元识别出人眼所处位置的串扰并相应地计算出移动子像素的大小参数；在硬件FPGA控制下，根据计算出来的移动量实现动态调整，若无调整，直接显示；

所述人眼疲劳检测单元：检测用户在观看显示器过程中眼部疲劳状态，对比用户在观看过程初期、中期以及末期各个阶段的疲劳状态，对比疲劳状态警戒值，超限情况下通过叠加疲劳状态信息对用户进行提醒，建议用户停止观看；

所述视频输出单元：将左右视图显示调整单元传送过来的正确的立体图像进行播放，根据人眼位置的不同，将立体视频投放到对应视区，消除图像串扰；根据人眼疲劳检测单元的检测状态，在达到疲劳警戒的状态下叠加显示观视提醒信息。

2.根据权利要求1所述的结合视觉疲劳检测的裸眼立体显示装置，其特征在于：所述人眼图像分析单元中的人眼特征参数的提取主要包含人脸检测、眼部粗定位和眼部精确定位；具体涉及瞳孔中心坐标计算和视觉疲劳眼部特征瞳孔水平直径r_h、瞳孔垂直直径r_v、眨眼次数m、眨眼持续时间的平均值t、眼跳次数n。