CN105930821B - 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 - Google Patents
一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 Download PDFInfo
- Publication number
- CN105930821B CN105930821B CN201610304542.7A CN201610304542A CN105930821B CN 105930821 B CN105930821 B CN 105930821B CN 201610304542 A CN201610304542 A CN 201610304542A CN 105930821 B CN105930821 B CN 105930821B
- Authority
- CN
- China
- Prior art keywords
- human
- eye
- image
- human eye
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 210000001508 eye Anatomy 0.000 claims abstract description 220
- 238000005516 engineering process Methods 0.000 claims abstract description 17
- 210000000887 face Anatomy 0.000 claims abstract description 3
- 230000008569 process Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 16
- 210000005252 bulbus oculi Anatomy 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 7
- 210000000744 eyelid Anatomy 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 210000003128 head Anatomy 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000002787 reinforcement Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 24
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012417 linear regression Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000004134 energy conservation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 239000005264 High molar mass liquid crystal Substances 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
一种人眼识别跟踪技术，步骤为：a.开启虹膜空间位置采集模块；b.可见光下，通过单相机进行人脸或人眼的图像采集；c.应用人脸或人眼校准方法对可见光下采集的图像信息进行处理，得到包括虹膜中心的人脸或人眼特征点的图像坐标；d.使用单相机进行虹膜中心空间位置重建；e.得到人眼虹膜中心空间位置，包括人眼相对于显示屏的空间位置信息。
Description
技术领域
本发明涉及图像处理及通信领域，尤其是涉及人眼识别跟踪的方法及其应用在裸眼3D显示领域的装置。
背景技术
裸眼3D技术是根据人眼的视差来实现的，即人的左眼和右眼在观察同一个目标时会有图像上的差异，左眼看到的影像跟右眼看到的影像在大脑里合成就成为我们看到的3D内容。由此，通过在屏幕上做一些处理，将存在视差的图像分别映射到人的左眼和右眼，人看起来就是3D影像了。
现有的裸眼3D显示技术主要为：（1）视差屏障技术：使用一个开关液晶屏、偏振膜和高分子液晶层，利用液晶层和偏振膜制造出一系列方向为90°的垂直条纹，通过它们的光形成了垂直的细条栅的“视差障壁”，将左眼和右眼的可视画面分开，使观者看到3D影像；（2）柱状透镜技术：在液晶显示屏的前面加上一层柱状透镜，使液晶屏的像平面位于透镜的焦平面上，这样在每个柱透镜下面的图像的像素被分成几个子像素；（3）指向光源技术：将TFT背光源配合画面以交替显示的方式使左右画面的光线投射到左右眼，利用背光模组和液晶面板使不同像素光线路径转变，视差图像经过分离后分别进入左右眼，形成立体效果。
裸眼式3D显示技术的发展摆脱了传统3D眼镜的束缚，但是裸眼3D技术的发展受到以下几个因素的制约，主要为分辨率、可视角度和可视距离等方面还存在很多不足。专利CN2016105445948提供了一种裸眼3D显示装置及显示方法，用以解决在观看中观看者视点发生变化时，不能获得较佳的3D图像画面的问题，该专利主要是在显示屏的出光侧设置光栅面板，并设置了一个视点追踪装置，用于在3D显示模式下实时获取观看者当前视点在显示屏前方的位置信息，控制装置根据观看者当前视点在显示屏前方的位置信息，调整所述光栅面板相对于所述显示屏的位置，以使得当前观看者通过所述光栅面板观看到3D图像画面。
该方法的问题在于：该视点追踪装置为红外摄像装置，应用于现有技术的手机、平板电脑或是笔记本电脑等设备上时，需要另外安装，带来不易安装固定、增加成本、
影响美观等问题。
所以将追踪眼球位置的技术应用在裸眼3D的领域还应该克服如下问题：
（1）在可见光环境下，用单相机实现对人眼球主要是虹膜空间位置的检测；
（2）在观者处于移动状态时，快速稳定的识别人眼位置；
（3）在不同光线强度时，对人眼部亮度的自动适应；
（4）观者在眨眼或闭眼时对眼睛的持续检测及睁眼后的快速追踪。
发明内容
为了解决上述将追踪眼球位置的技术应用在裸眼3D的领域所需要克服的技术问题，本发明提供了一种人眼识别跟踪的方法，其特征在于其实现步骤：
a.开启虹膜空间位置采集模块；
b.可见光下，通过单相机进行人脸或人眼的图像采集；
c.应用人脸或人眼校准方法对可见光下采集的图像信息进行处理，得到包括虹膜中心的人脸或人眼特征点的图像坐标；
d.利用PNP透视多点方法进行空间位置重建；
e.得到人眼虹膜中心空间位置，包括人眼相对于显示屏的位置信息。
将上述方法应用于裸眼3D显示领域时，可以根据上述方法得到的人眼相对于显示屏的位置信息，调整裸眼3D模块的相关光学信息，包括：调节光栅或是透镜的偏转角，也可以用于调整子像素的排列位置。
所述人眼识别跟踪的方法中c步骤涉及的人脸或人眼校准方法包括：
c-1.眼球追踪模块初始化人脸或人眼的图像位置；
c-2.基于初始化的人脸或人眼区域判断人脸或人眼可能出现的区域并在此区域内对人脸和人眼进行跟踪和识别；
c-3.当c-2中的跟踪和识别过程均成功时，则直接进入c-6；
c-4.当c-2中的任何一个过程失败时，则将失败的图像放入另一个分类器中，在其中对失败的图像进行增强学习，学习失败图像的相关特征，该分类器与现有跟踪识别算法一起确定人脸或人眼的图像位置；
c-5.当c-2中的两个过程都失败时，返回c-2对全图像进行跟踪与识别；
c-6.通过人脸或人眼校准得到包括虹膜中心的人脸或人眼特征点的图像坐标。
值得注意的是，随着对失败图像的学习，所述分类器在跟踪和识别过程中的权重自适应增加，检测率提高，学习的失败图像越来越少。
上述方法中提到的单相机空间位置重建方法为:通过先验模型，使用PNP透视多点方法，其中多点的个数为至少大于3的整数，必须至少包括两个虹膜中心点，将采集到的人脸或人眼特征点的二维坐标还原成相对于相机坐标系的人脸或人眼的三维坐标，得到人眼相对于显示屏的位置信息。
其中人眼识别跟踪技术计算人眼相对于显示屏的位置信息的方法可以为：
(1).通过标定获得一个先验模型数据库，其过程包括：
a.启动特征点空间位置采集模块；
b.保持头部位置不变，变换相机位置采集人脸或人眼图像，得到多幅图像；
c.对图像进行人脸或人眼校准获取特征点的图像坐标
d.根据计算机视觉原理获取特征点的空间坐标；
e.形成特征点空间坐标数据库。
所述通过标定获得一个先验模型数据库后，再通过人眼识别跟踪技术实现对人眼虹膜空间位置的检测方法，具体过程为：
使用手机在受测者身体保持不动的情况下采集两幅以上图片(此处以两幅图片为例),通过拍摄图片计算脸部或眼部特征点的空间位置。
假设P为人脸上的某一个特征点，其在世界坐标系中的位置为Xw=[xw yw zw]T，p为这一特征点P在手机拍摄图像上的投影，点P在相机所拍摄图像上投影点p的像素图像坐标为P=[u v]T。根据透视投影原理，可以知道世界坐标系中P点的坐标与其投影点p的坐标存在以下转换关系：
公式(1)
公式(1)中，矩阵K为相机的内参数矩阵，其已由预先的检测过程获得。矩阵R和t分别表示世界坐标系向相机坐标系转换的旋转矩阵与平移矩阵，s为一个非零比例因子。
假定在标定过程中，世界坐标系与第一次拍摄过程中的相机坐标系重合；特征点P在两次拍摄图像内的投影点p1和p2的坐标分别为P1和P2(P1和P2的图像已由人脸或人眼校准方法获得)，其在世界坐标系下的坐标为X(此变量未知)，拍摄相机的内参数矩阵为K（以通过预先的检测过程获得），第二次拍摄时相机坐标系与世界坐标系之间的转换关系由平移向量t和旋转矩阵R描述。由此，根据透视投影原理存在以下转换关系：
公式（2）
公式（3）
以上两式中,s1和s2为两次透视投影过程的比例因子。
由于公式(2)所确定的方程组只有两个方程而特征点P在世界坐标系下的坐标X存在3个未知量，所以只通过公式(2)不能直接计算出点X的数值。所以需要计算出公式(3)中的旋转矩阵R与平移矩阵t以确定X的数值。其计算计算过程如下：
公式（2）两边同时乘以RK-1得：
公式（4）
公式（3）两边同时乘以K-1后，再取转置得:
公式（5）
如果t为三维向量，且t=[tx ty tz]T,则定义矩阵S为t对应的反对称矩阵：
公式（6）
且S*t=0。
公式5两边同时乘t的反对称矩阵S得：
公式（7）
这样平移矩阵就由反对称矩阵S表示。
公式7两边同时乘公式4的两边得：
公式（8）
即： 公式（9）
由公式(9)可见，旋转矩阵R与平移矩阵S可以由多个特征点在摄像机拍摄图像中的坐标确定。（公式(9)中，矩阵S与R一共包含11个未知量，理论上6个特征点就能确定矩阵S和R）当计算出S与R之后，标定过程就可以通过公式(2)和(3)计算出脸部或眼部特征点P在世界坐标系下的坐标X。已知脸部或眼部特征点P在世界坐标系下的坐标，标定方法可以将特征点的世界坐标转换为人脸或人眼坐标系下的坐标，由此，完成人脸或人眼先验模型的构建过程。
在获得人脸或人眼先验模型之后，人眼识别跟踪技术可以根据相机所拍摄图像上的投影点p的像素坐标，计算出其对应特征点P（包含左右眼虹膜中心点）的空间坐标，进而得到人眼相对于显示屏的空间位置。
其中人眼识别跟踪技术计算人眼相对于显示屏的位置信息的方法还可以为：
(2).根据相似三角形原理，根据已知的观者瞳孔间距、相机采集到的图像中瞳孔间距和相机焦距f的空间位置关系计算人眼相对于显示屏的的位置信息，如图11所示，计算方法为L/f=D/d。所述观者瞳孔间距可以为固定的65mm，也可以让用户根据实际情况手动输入。
所述人脸或人眼校准方法的关键过程是指将预设的人脸或人眼形状(即一组预先设置的脸部或眼部特征点的图像位置)校准到相应的人脸或人眼特征点(如虹膜中心点)之上，具体方法可以为判别性形状回归算法，它的总体思路可由以下过程表示:
QUOTE 公式（10）
公式(10)中， QUOTE 表示输入图像， QUOTE/>表示来自上一级的形状， QUOTE 表示线性回归矩阵， QUOTE/>表示特征映射函数。由公式(10)可见，线性回归矩阵QUOTE /> 和特征映射函数与图像 QUOTE/>和上一级的形状 QUOTE/>有关，检测程序可以根据先验的人脸或人眼特征点信息对其进行训练，从而获得线性回归矩阵 QUOTE /> 和特征映射函数 QUOTE/>。
当线性回归矩阵 QUOTE和特征映射函数 QUOTE/>已知的情况下，人脸或人眼校准方法可以通过形状回归算法使预设形状校准到相应的人脸或人眼特征点，从而确定人脸或人眼特征点在图像中所处的位置。
以上发明内容都是对人眼识别和追踪技术的整体方法的说明，在用户真正使用时，仍然会面临一些实际的应用问题，本发明针对这些实际问题，提供了如下解决方法：
由于在观看裸眼3D影片时用户眼睛位置基本固定，所以本发明在上述眼球追踪技术上，提出一种移动窗口算法，用以提高人眼识别跟踪的速率，方法为：根据已跟检测到的人眼位置信息，标示出下一帧人眼可能出现的图像区域（该区域以跟踪到的人眼区域为中心，长宽为原先人眼区域长宽的100%-500%）。当采集到下一帧图像后，优先在此区域上进行跟踪检测，如果在此区域内未能跟踪到人眼区域，则再对全图进行跟踪检测。
当观者处于不同亮度的环境中时，本发明中的控制芯片可以根据眼球追踪技术中识别到的人眼区域亮度，调节相机的参数，主要包括曝光，增益或是白平衡。具体方法是在初始识别过程中，计算待测区域的亮度均值,即将图像从RGB空间转换为YCbCr空间，然后计算待测图像区域的平均亮度值(即Y通道像素均值)，计算公式为：
QUOTE 公式（11）
公式(11)中，m,n分别表示采集图像的长宽像素数。
当检测区域平均亮度值小于设定阈值时，则检测程序根据人眼区域的亮度调节摄像头曝光等相关参数，以使检测图像达到较好的质量。
当观者处于侧光环境中时，即采集到的人脸或人眼图像呈现半暗半亮的状态时，人脸或人眼识别跟踪算法无法直接对图像进行处理。因此需要针对侧光状态的图像进行预处理操作。预处理方法为：对原始图像进行边缘检测或自适应阈值处理，将半暗半亮的图像转换为与亮度无关的图像并对其中的噪声斑点进行删除操作。之后，人脸或人眼跟踪定位方法可以对预处理图像进行检测，最终得到虹膜中心的空间位置信息。
当观者眨眼、闭眼时，检测程序会自动关闭眼球追踪模块中的虹膜空间位置重建功能及裸眼3D模块，以实现节能的目的。具体方法为：检测程序会计算识别跟踪到的上下眼睑特征点之间的距离，并将其与特定阈值进行比较（所述阈值为睁眼状态时特征点距离的30～80%）；当上下眼睑特征点之间的距离低于所述阈值时，关闭眼球追踪模块中的虹膜位置空间重建功能和裸眼3D模块。待检测到上下眼睑特征点之间距离高于所述阈值时，重新开启眼球追踪模块中的虹膜位置空间重建功能和裸眼3D模块，在节能的基础上保证了画面的连续性。
将上述人眼识别跟踪方法应用在裸眼3D显示装置上时，该裸眼3D显示装置包括：人眼识别跟踪模块，相机，显示模块和中央处理器，所述人眼识别跟踪模块包括控制芯片、存贮模块、数据接口，所述控制芯片控制相机进行图像采集，并对采集到的图像进行处理，得到人眼的空间位置信息；所述数据接口用于将控制芯片得到的人眼的空间位置信息传输给中央处理器。所述显示模块包括显示屏和裸眼3D模块，所述裸眼3D模块中有可以实现裸眼3D效果的光学部分。所述中央处理器用于将接收到的人眼空间位置信息传输给裸眼3D模块，根据人眼空间位置调整裸眼3D模块的相关光学部分组件，以实现最佳的裸眼3D效果。
其中所述的眼球追踪模块可以是集成了控制芯片、存贮模块、数据接口和相机的独立模块，通过蓝牙或是数据线与裸眼3D显示装置的中央处理器相连；所述眼球追踪模块也可以是在包括了相机和显示模块的裸眼3D显示装置的中央处理器上构建的一套算法，直接控制所述装置的相机和显示模块。
由上述本发明提供的技术方案可以看出，本发明方法的优势在于：
（1）在可见光，单相机的条件下，实现了对人眼虹膜空间位置的检测，用于裸眼3D显示装置中可以增强裸眼3D的显示效果；
（2）使用了移动窗口算法，实现了当观者处于观影状态时，快速稳定的识别人眼位置；
（3）在不同亮度环境下，实现对人眼虹膜空间位置的检测；
（4）自动识别观者的眨眼、闭眼的状态，在节能的基础上保证了观者睁眼后画面的连续性。
附图说明
图1人眼识别跟踪应用于裸眼3D显示的装置的示意图。
图2人眼识别跟踪技术的具体步骤。
图3计算人脸或人眼特征点的图像坐标的具体步骤。
图4 特征点的图像坐标与其空间坐标的对应关系。
图5人脸校准检测示意图。
图6人眼校准检测示意图。
图7预先标定的人脸模型的前视图。
图8预先标定的人脸模型的俯视图。
图9预先标定的人脸模型的侧视图。
图10获取虹膜中心空间位置的示意图。
图11 根据瞳距计算人眼与相机距离的原理图。
图12 对闭眼状态的人眼图像进行识别跟踪的结果。
图13侧光环境采集到的人脸图像。
图14 对侧光状态的图像进行处理后得到的与亮度无关的图像。
图15 对与亮度无关的图像进行去噪。
图16 侧光环境计算虹膜中心位置的图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
以在华为Mate8手机上为例介绍本发明所涉及的人眼识别跟踪方法及其应用在裸眼3D显示装置的使用步骤，其中所涉及的相机、显示模块、中央处理器为均为手机自带，涉及的眼球追踪模块为借助手机处理平台搭建的一款控制软件。
以通过标定得到先验模型数据库，对人眼虹膜空间位置的检测方法进行介绍：
（1）标定：
a.启动特征点空间位置采集模块；
b.保持头部位置不变，变换手机位置采集两幅人脸图像；
c.对采集图像进行处理，提取图像中34个脸部特征点(包括左右眼瞳孔中心)的图像坐标。
d.基于计算机视觉原理，计算采集两幅人脸图像时，手机摄像头之间的空间位置关系，进而获取人脸特征点在摄像机坐标系下的坐标。
e.基于以上信息，建立人脸坐标系，最终获取先验的人脸模型，如图7～9所示，图7～9分别为先验人脸模型的前视图，俯视图与侧视图。特征点在人脸坐标系下的坐标如下表。
| <opencv_storage> | x | y | z |
| <FaceStereoPoint0> | -6.08E+01 | 1.68E+01 | -5.39E+00 |
| <FaceStereoPoint1> | -1.70E+01 | 1.57E+01 | 9.28E+00 |
| <FaceStereoPoint2> | 1.60E+01 | 1.94E+01 | 8.78E+00 |
| <FaceStereoPoint3> | 5.86E+01 | 2.45E+01 | -3.69E+00 |
| <FaceStereoPoint4> | -3.86E+01 | 2.09E+01 | 7.48E+00 |
| <FaceStereoPoint5> | 3.68E+01 | 2.56E+01 | 6.89E+00 |
| <FaceStereoPoint6> | -5.11E+01 | 2.05E+01 | -6.12E-01 |
| <FaceStereoPoint7> | -2.74E+01 | 1.94E+01 | 7.02E+00 |
| <FaceStereoPoint8> | 2.53E+01 | 2.23E+01 | 1.13E+01 |
| <FaceStereoPoint9> | 4.92E+01 | 2.67E+01 | -4.85E-01 |
| <FaceStereoPoint10> | 9.27E-02 | 4.50E+00 | 8.23E+00 |
| <FaceStereoPoint11> | -4.99E+01 | 2.22E+00 | -6.55E+00 |
| <FaceStereoPoint12> | -2.06E+01 | -4.94E-01 | -2.41E+00 |
| <FaceStereoPoint13> | 2.09E+01 | 1.96E+00 | -5.31E+00 |
| <FaceStereoPoint14> | 4.96E+01 | 6.80E+00 | -4.31E+00 |
| <FaceStereoPoint15> | -3.51E+01 | -2.75E+00 | -2.39E+00 |
| <FaceStereoPoint16> | -3.45E+01 | 5.60E+00 | -3.22E+00 |
| <FaceStereoPoint17> | 3.59E+01 | 1.89E+00 | -4.06E+00 |
| <FaceStereoPoint18> | 3.40E+01 | 9.59E+00 | -2.84E+00 |
| <FaceStereoPoint19> | -4.30E+01 | 4.61E+00 | -4.22E+00 |
| <FaceStereoPoint20> | -2.62E+01 | 4.34E+00 | -2.57E+00 |
| <FaceStereoPoint21> | -4.27E+01 | -8.05E-01 | -5.05E+00 |
| <FaceStereoPoint22> | -2.82E+01 | -1.07E+00 | -6.51E+00 |
| <FaceStereoPoint23> | 2.59E+01 | 7.56E+00 | -3.28E+00 |
| <FaceStereoPoint24> | 4.26E+01 | 9.69E+00 | -5.90E+00 |
| <FaceStereoPoint25> | 2.85E+01 | 2.16E+00 | -5.14E+00 |
| <FaceStereoPoint26> | 4.29E+01 | 3.85E+00 | -2.67E+00 |
| <FaceStereoPoint27> | -1.33E+01 | -2.98E+01 | -9.31E-01 |
| <FaceStereoPoint28> | 1.46E+01 | -2.88E+01 | -1.04E+00 |
| <FaceStereoPoint29> | -2.02E+01 | -4.10E+01 | 1.50E+00 |
| <FaceStereoPoint30> | 2.27E+01 | -3.87E+01 | -1.41E+00 |
| <FaceStereoPoint31> | -8.82E+00 | -4.33E+01 | 6.75E+00 |
| <FaceStereoPoint32> | 1.22E+01 | -4.19E+01 | 6.77E+00 |
| <FaceStereoPoint33> | 1.68E+00 | -4.79E+01 | 5.97E+00 |
| <CoordinateCenter> | 0 | 0 | 0 |
| <CoordinateZ> | 0 | 0 | -1 |
（2）人眼识别和追踪：
a.启动虹膜空间位置采集模块；
b.启动相机，在可见光条件下采集人脸或人眼图像；
c.应用人脸或人眼校准方法对采集图像进行处理，得到包括虹膜中心的人脸或人眼特征点的图像坐标；
d.基于PNP透视多点方法的原理，利用先验人脸模型进行脸部特征点三维重建。
e.得到虹膜中心空间位置，人脸校准检测结果如图5，人眼校准检测结果如图6。
以对人眼的图像采集和处理为例，介绍单相机空间位置重建的方法:通过先验模型，使用PNP透视多点方法（其中特征点个数为34，包括了两个虹膜中心），将采集到的人脸特征点二维坐标还原成相对于相机坐标系的三维坐标，进而得到人脸相对于显示屏的空间位置信息。
以侧光环境为例，介绍本发明在具体应用中出现的问题及解决方法：
当观者处于侧光环境时，即采集到的人脸或人眼图像呈现半暗半亮的状态时（如图13），检测程序无法直接对图像进行处理。其需要首先对侧光状态的图像进行边缘检测或自适应阈值处理，将半暗半亮的人脸或人眼图像转换为与亮度无关的图像(如图14)；再对与亮度无关的图像进行噪音去除，得到如图15所示的检测图像。对检测图像进行识别与跟踪操作，可以最终确定人脸或人眼所处的图像位置(如图16所示)。
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，所做的变化和改进，也应视为本发明的保护范围。
Claims (5)
1.一种人眼识别跟踪的方法，其特征在于，其实现步骤：
a)开启虹膜空间位置采集模块；
b)可见光下，通过单相机进行人脸或人眼的图像采集；
c)应用人脸或人眼校准方法对可见光下采集的图像信息进行处理，得到包括虹膜中心的人脸或人眼特征点的图像坐标，其中，所述人脸或人眼校准方法包括：
c-1)眼球追踪模块初始化人脸或人眼的图像位置；
c-2)基于初始化的人脸或人眼区域判断人脸或人眼可能出现的区域并在此区域内对人脸和人眼进行跟踪和识别；
c-3)当c-2)中的跟踪和识别过程均成功时，则直接进入c-6)；
c-4)当c-2)中的任何一个过程失败时，则将失败的图像放入另一个分类器中，在其中对失败的图像进行增强学习，学习失败图像的相关特征，该分类器与现有跟踪识别过程一起确定人脸或人眼的图像位置；
c-5)当c-2)中的两个过程都失败时，返回c-2)对全图像进行跟踪与识别；
c-6)通过人脸或人眼校准得到包括虹膜中心的人脸或人眼特征点的图像坐标；
d)使用单相机进行虹膜中心空间位置重建，包括以下步骤：
通过先验模型，使用PNP透视多点方法，其中多点的个数为至少大于3的整数，必须至少包括两个虹膜中心点，将采集到的人脸或人眼的二维图像还原成相对于相机坐标系的人脸或人眼的三维信息，得到人眼相对于显示屏的位置信息；
e)得到人眼虹膜中心空间位置，包括人眼相对于显示屏的空间位置信息，其中，得到人眼虹膜中心空间位置可以为通过标定获得一个先验模型数据库，其过程包括：
(a)启动特征点空间位置采集模块；
(b)保持头部位置不变，变换相机位置采集人脸或人眼图像，得到多幅图像；
(c)对图像进行人脸或人眼校准获取特征点的图像坐标并根据计算机视觉原理获取特征点的空间坐标；
(d)形成特征点空间坐标数据库；
(e)通过检测到的人眼图像信息，调用先验数据库，对其虹膜空间位置进行重建，得到人眼相对于显示屏的位置信息；
得到人眼虹膜中心空间位置也可以根据相似三角形原理，根据已知的观者瞳孔间距、相机采集到的图像中瞳孔间距和相机焦距f计算人眼相对于显示屏的位置信息，计算方法为L/f＝D/d，所述观者瞳孔间距可以为固定的65mm，也可以让用户手动输入；
f)在得到包括虹膜中心的人脸或人眼特征点的图像坐标后，使用移动窗口算法对人脸或人眼进行跟踪，即在已识别到人脸或人眼图像中，标示出人脸或人眼可能出现的图像区域，在采集到下一帧图像后，优先在以上一帧图像所标示出的人脸或人眼区域为中心，以一定比例放大的范围内追踪和识别人脸或人眼，该放大范围可以是上一帧图像的一倍到五倍中的任一数值；
将所述人眼识别跟踪的方法应用于裸眼3D显示领域时的实现步骤包括：根据人眼相对于显示屏的位置信息，调整其中裸眼3D模块得到观看3D图像效果的最佳视差，所述调整包括：调节光栅或是透镜的偏转角，也可以用于调整子像素的排列位置。
2.如权利要求1所述的人眼识别跟踪的方法，其特征在于：控制芯片可以根据眼球追踪技术中识别到的人眼区域亮度，计算待测区域的亮度均值，当检测区域平均亮度值小于一个预设定的阈值时，根据检测区域的亮度调节摄像头相关参数，包括曝光，增益或是白平衡，以使检测图像达到较好的质量。
3.如权利要求1所述的人眼识别跟踪的方法，其特征在于：观者处于侧光环境中时，即采集到的人脸或人眼图像呈现半暗半亮的状态时，所述人眼识别跟踪的方法中的步骤c)中需要先对侧光状态的图像进行预处理，所述预处理的方法为边缘检测或自适应阈值图像处理，将半暗半亮的人脸或人眼图像提取为与亮度无关的图像，并对其噪声进行处理后，再继续对人眼进行识别和追踪，最终得到虹膜中心空间位置信息。
4.如权利要求1所述的人眼识别跟踪的方法，其特征在于：当观者眨眼、闭眼状态时，可以关闭人眼识别跟踪模块中的虹膜位置空间重建功能和裸眼3D模块，具体方法为：根据所检测到眼睑的特征点之间的距离，与自适应阈值进行比较，所述阈值可以为睁眼状态时特征点距离的30～80％，当检测到的距离低于所述阈值时，关闭人眼识别跟踪模块中的虹膜空间位置重建功能和裸眼3D模块，待检测到的距离达到所述阈值时，重新开启所述人眼识别跟踪模块中的虹膜位置空间重建功能和裸眼3D模块。
5.一种应用权利要求1所述人眼识别跟踪方法的裸眼3D显示装置，包括：人眼识别跟踪模块，相机，显示模块和中央处理器，其特征在于：所述人眼识别跟踪模块包括控制芯片、存贮模块、数据接口，所述控制芯片控制相机进行图像采集，并对采集到的图像进行处理，得到人眼的空间位置信息；
所述数据接口用于将控制芯片得到的人眼的空间位置信息传输给中央处理器，所述显示模块包括显示屏和裸眼3D模块，所述裸眼3D模块中有可以实现裸眼3D效果的光学部分，所述中央处理器用于将接收到的人眼空间位置信息传输给裸眼3D模块，根据人眼空间位置调整裸眼3D模块的相关光学部分组件，以实现最佳的裸眼3D效果；
所述眼球追踪模块可以是集成了控制芯片、存贮模块、数据接口和相机的独立模块，通过有线或无线连接方式与裸眼3D显示装置的中央处理器相连，有线连接方式包括USB连接线，无线连接方式包括WIFI或蓝牙协议；所述眼球追踪模块也可以是在包括了相机和显示模块的裸眼3D显示装置的中央处理器上构建的一套算法，直接控制所述装置的相机和显示模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610304542.7A CN105930821B (zh) | 2016-05-10 | 2016-05-10 | 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610304542.7A CN105930821B (zh) | 2016-05-10 | 2016-05-10 | 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105930821A CN105930821A (zh) | 2016-09-07 |
| CN105930821B true CN105930821B (zh) | 2024-02-02 |
Family
ID=56834423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610304542.7A Active CN105930821B (zh) | 2016-05-10 | 2016-05-10 | 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105930821B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106772821B (zh) * | 2017-01-09 | 2023-04-28 | 河北博威集成电路有限公司 | 一种可交互裸眼3d系统 |
| CN106778713B (zh) * | 2017-03-01 | 2023-09-22 | 武汉虹识技术有限公司 | 一种动态人眼跟踪的虹膜识别装置及方法 |
| CN107249105A (zh) * | 2017-06-16 | 2017-10-13 | 广东欧珀移动通信有限公司 | 曝光补偿方法、装置和终端设备 |
| CN107633206B (zh) | 2017-08-17 | 2018-09-11 | 平安科技（深圳）有限公司 | 眼球动作捕捉方法、装置及存储介质 |
| CN107861625A (zh) * | 2017-12-04 | 2018-03-30 | 北京易真学思教育科技有限公司 | 基于3d空间模型的视线跟踪系统及方法 |
| CN108454553A (zh) * | 2017-12-20 | 2018-08-28 | 安徽云森物联网科技有限公司 | 一种基于人眼视觉识别技术实现障碍物检测技术 |
| CN109963140A (zh) * | 2017-12-25 | 2019-07-02 | 深圳超多维科技有限公司 | 裸眼立体显示方法及装置、设备和计算机可读存储介质 |
| CN108464812A (zh) * | 2018-03-14 | 2018-08-31 | 天津市职业大学 | 电脑验光仪人眼自动跟踪系统及方法 |
| CN110210374B (zh) * | 2018-05-30 | 2022-02-25 | 沈阳工业大学 | 基于光栅条纹投影的三维人脸定位方法 |
| CN109753930B (zh) * | 2019-01-03 | 2021-12-24 | 京东方科技集团股份有限公司 | 人脸检测方法及人脸检测系统 |
| CN110263657B (zh) * | 2019-05-24 | 2023-04-18 | 亿信科技发展有限公司 | 一种人眼追踪方法、装置、系统、设备和存储介质 |
| CN110428321A (zh) * | 2019-09-06 | 2019-11-08 | 马鞍山市清和财务咨询有限公司 | 一种用于财务数据录入的辅助系统 |
| CN112584130A (zh) * | 2019-09-30 | 2021-03-30 | 北京芯海视界三维科技有限公司 | 实现3d显示的方法、装置及3d显示终端 |
| CN111399627B (zh) * | 2020-03-09 | 2021-09-28 | 宁波视睿迪光电有限公司 | 一种3d显示装置节能方法及系统 |
| CN111338095A (zh) * | 2020-03-13 | 2020-06-26 | 云南电网有限责任公司电力科学研究院 | 一种基于多屏折幕的裸眼3d系统 |
| CN113947632A (zh) * | 2020-07-15 | 2022-01-18 | 北京芯海视界三维科技有限公司 | 实现目标物体定位的方法、装置及显示器件 |
| CN112558302B (zh) * | 2020-12-08 | 2022-12-20 | 恒玄科技(上海)股份有限公司 | 一种用于确定眼镜姿态的智能眼镜及其信号处理方法 |
| CN113010020A (zh) * | 2021-05-25 | 2021-06-22 | 北京芯海视界三维科技有限公司 | 一种时序控制器和显示设备 |
| CN113793389B (zh) * | 2021-08-24 | 2024-01-26 | 国网甘肃省电力公司 | 一种增强现实系统虚实融合标定方法及装置 |
| CN114052642A (zh) * | 2021-11-19 | 2022-02-18 | 付强 | 一种裸眼3d脊柱显微内镜系统 |
| CN116152883B (zh) * | 2022-11-28 | 2023-08-11 | 润芯微科技(江苏)有限公司 | 一种车载眼球识别和前玻璃智能局部显示的方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285531A (ja) * | 2005-03-31 | 2006-10-19 | Advanced Telecommunication Research Institute International | 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の視線方法を実行させるためのプログラム |
| CN101520838A (zh) * | 2008-02-27 | 2009-09-02 | 中国科学院自动化研究所 | 自动跟踪和自动变焦的虹膜图像获取方法 |
| JP2011090702A (ja) * | 2006-07-18 | 2011-05-06 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
| CN103247282A (zh) * | 2013-04-24 | 2013-08-14 | 天津三星电子有限公司 | 一种显示终端屏幕亮度的控制方法及其显示终端 |
| CN105141938A (zh) * | 2015-08-18 | 2015-12-09 | 深圳先进技术研究院 | 视线定位装置 |
| CN105516280A (zh) * | 2015-11-30 | 2016-04-20 | 华中科技大学 | 一种多模态学习过程状态信息压缩记录方法 |
-
2016
- 2016-05-10 CN CN201610304542.7A patent/CN105930821B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285531A (ja) * | 2005-03-31 | 2006-10-19 | Advanced Telecommunication Research Institute International | 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の視線方法を実行させるためのプログラム |
| JP2011090702A (ja) * | 2006-07-18 | 2011-05-06 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
| CN101520838A (zh) * | 2008-02-27 | 2009-09-02 | 中国科学院自动化研究所 | 自动跟踪和自动变焦的虹膜图像获取方法 |
| CN103247282A (zh) * | 2013-04-24 | 2013-08-14 | 天津三星电子有限公司 | 一种显示终端屏幕亮度的控制方法及其显示终端 |
| CN105141938A (zh) * | 2015-08-18 | 2015-12-09 | 深圳先进技术研究院 | 视线定位装置 |
| CN105516280A (zh) * | 2015-11-30 | 2016-04-20 | 华中科技大学 | 一种多模态学习过程状态信息压缩记录方法 |
Non-Patent Citations (1)
| Title |
|---|
| 董文博 ; 孙哲南 ; 谭铁牛 ; .基于双目视觉和旋转云台的远距离虹膜识别系统.科技导报.2010,(第05期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105930821A (zh) | 2016-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105930821B (zh) | 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 | |
| CN108427503B (zh) | 人眼追踪方法及人眼追踪装置 | |
| CN107004275B (zh) | 确定实物至少一部分的3d重构件空间坐标的方法和系统 | |
| KR102291461B1 (ko) | 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들 | |
| CN106056092B (zh) | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 | |
| Tonsen et al. | A high-level description and performance evaluation of pupil invisible | |
| CN110032271B (zh) | 对比度调节装置及其方法、虚拟现实设备及存储介质 | |
| US11170521B1 (en) | Position estimation based on eye gaze | |
| JP2019527377A (ja) | 視線追跡に基づき自動合焦する画像捕捉システム、デバイス及び方法 | |
| US9355436B2 (en) | Method, system and computer program product for enhancing a depth map | |
| US10447985B2 (en) | Method, system and computer program product for adjusting a convergence plane of a stereoscopic image | |
| US10254831B2 (en) | System and method for detecting a gaze of a viewer | |
| US11463795B2 (en) | Wearable device with at-ear calibration | |
| US10866635B2 (en) | Systems and methods for capturing training data for a gaze estimation model | |
| WO2014028477A1 (en) | Systems and methods for iris detection and gaze estimation | |
| CN115223514B (zh) | 一种智能调节参数的液晶显示驱动系统及方法 | |
| CN108153502B (zh) | 基于透明屏幕的手持式增强现实显示方法及装置 | |
| CN112183200B (zh) | 一种基于视频图像的眼动追踪方法和系统 | |
| CN111738241B (zh) | 基于双摄像头的瞳孔检测方法及装置 | |
| CN108513668A (zh) | 图片处理方法和装置 | |
| US12008711B2 (en) | Determining display gazability and placement of virtual try-on glasses using optometric measurements | |
| CN106919246A (zh) | 一种应用界面的显示方法和装置 | |
| JP2023551864A (ja) | 自動立体テレプレゼンスシステムのための３次元（３ｄ）顔特徴追跡 | |
| CN106570747A (zh) | 结合手势识别的眼镜在线适配方法及系统 | |
| US20170032559A1 (en) | Simulated Transparent Device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information |
Address after: 200233 Shanghai, Yishan Road, room 822, No. 408, room Applicant after: SHANGHAI QINGYAN TECHNOLOGY CO.,LTD. Address before: 200233 Shanghai, Yishan Road, room 822, No. 408, room Applicant before: SHANGHAI QINGTECH CO.,LTD. |
|
| COR | Change of bibliographic data | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |