CN106598221A - 基于眼部关键点检测的3d视线方向估计方法 - Google Patents
基于眼部关键点检测的3d视线方向估计方法 Download PDFInfo
- Publication number
- CN106598221A CN106598221A CN201611018884.9A CN201611018884A CN106598221A CN 106598221 A CN106598221 A CN 106598221A CN 201611018884 A CN201611018884 A CN 201611018884A CN 106598221 A CN106598221 A CN 106598221A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- center
- iris
- head
- head pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Ophthalmology & Optometry (AREA)
- Eye Examination Apparatus (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于眼部关键点检测的3D视线方向估计方法,采用人脸检测及头部姿态估计装置进行人脸区域检测和头部姿态估计,在眼球中心标定环节目标人员注视屏幕上某个已知坐标点,在标定过程中首先提取得到眼部关键点和虹膜中心在人脸图像中的坐标,利用眼部关键点与眼球中心的固定距离来对眼球中心进行约束,求解出眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标,再通过坐标变换得到头部坐标系下眼球中心的坐标;在以后的图像中,即可基于头部坐标系下眼球中心的坐标、头部坐标系原点、虹膜中心和头部姿态来对当前帧的视线方向进行估计。本发明通过引入眼部关键点信息,对眼球中心进行约束,从而能够更好地适应不同用户之间的差异。
Description
技术领域
本发明属于视线估计技术领域,更为具体地讲,涉及一种基于眼部关键点检测的3D视线方向估计方法。
背景技术
视觉作为人类了解周围的重要手段,机器通过捕获用户的注视位置,可以有利于对用户的许多行为进行解释分析,从而更好的理解用户的意图,进而提高用户的人机交互体验。
目前的视线估计方法大致可以分为以下几种:appearance-based、2Dregression-based、3D model-based。appearance-based的方法主要是通过学习的方式,根据图像提取眼部特征,然后学习得到特征到视线方向的映射方式,从而估计出视线方向。2Dregression-based中最具代表性的方法是PCCR(pupil center and cornealreflection),PCCR主要通过用IR摄像机分别检测出瞳孔中心与角膜反射点的坐标,然后估计瞳孔-角膜反射的相对位置关系,从而估计出视线方向。3D model-based方法通过建立3D眼球模型,根据该模型的三维几何关系建立求解方程组,求解眼球中心和虹膜(瞳孔)中心的坐标,从而估计用户视线方向。目前的许多3D model-based方法建立的眼球模型过于简单,对于人与人之间的差异鲁棒性不佳。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于眼部关键点检测的3D视线方向估计方法,引入了眼部关键点信息,对眼球中心进行约束,从而更好地适应不同用户之间的差异。
为实现上述发明目的,本发明基于眼部关键点检测的3D视线方向估计方法包括以下步骤:
S1:在人脸前方设置人脸检测及头部姿态估计装置,用于获取人脸图像,从中检测得到人脸区域并对头部姿态进行估计,将头部姿态以该人脸检测及头部姿态估计装置坐标系下的旋转四元数[w,x,y,z]表示,其中w代表旋转量,x,y,z代表旋转轴;在眼球中心标定环节,目标人员注视屏幕上某个已知坐标点G0,在视线估计环节,目标人员注视屏幕上任意点G;
S2:采用眼球中心标定环节所获取的人脸图像序列,对该目标人员进行眼球中心标定,得到眼球中心在头部坐标系中的坐标眼球中心标定的具体步骤包括:
S2.1:根据人脸检测及头部姿态估计装置所获取的人脸区域图像,检测得到眼部区域图像,提取得到各个眼部关键点在人脸图像中的坐标pi,i=1,2,…,M,M表示眼部关键点数量;
S2.2:根据步骤S2.1中得到的眼部区域图像,检测得到虹膜中心在人脸图像中的坐标p0;
S2.3:采用眼球中心标定环节所获取的人脸图像序列每帧图像中的眼部关键点和虹膜中心的数据对以下方程组进行迭代求解,得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标Oe:
其中,分别表示视轴单位向量Ng在人脸检测及头部姿态估计装置坐标系下的x、y轴分量,分别表示光轴单位向量Ne在人脸检测及头部姿态估计装置坐标系下的x、y轴分量;表示M个眼部关键点和虹膜中心在人脸检测及头部姿态估计装置坐标系下的坐标,j=0,1,…,M,其计算公式为:
其中,f表示人脸检测及头部姿态估计装置中摄像机的焦距,o表示人脸检测及头部姿态估计装置中摄像机的主点图像坐标,分别表示点pj在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量;
在得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标Oe之后,经过坐标转换即可得到头部坐标系下眼球中心的坐标其转换公式为:
其中,表示作为头部坐标系原点的第i*个眼部关键点在人脸检测及头部姿态估计装置坐标系下的坐标,R表示旋转矩阵,其计算公式为:
S3:对于眼球中心标定环节完成之后的每帧人脸图像,根据步骤S2得到的眼球中心在头部坐标系中的坐标对当前帧目标人物的视线方向进行估计,视线估计的具体步骤包括:
S3.1:根据人脸检测及头部姿态估计装置所获取的人脸区域图像,检测得到眼部区域图像,提取得到作为头部坐标系原点的第i*个眼部关键点在人脸图像中的坐标
S3.2:根据步骤S3.1中得到的眼部区域图像,检测得到虹膜中心在人脸图像中的坐标p0;
S3.3:将头部坐标系原点坐标和虹膜中心坐标p0转换到人脸检测及头部姿态估计装置坐标系下,其转换公式为:
S3.4:根据当前帧人脸图像的旋转四元数[w,x,y,z],计算得到旋转矩阵R:
S3.5:根据当前帧对应的头部坐标系原点坐标旋转矩阵R对步骤S2得到的头部坐标系下眼球中心的坐标进行坐标系变换,得到当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标Oe,其转换公式为:
S3.6:根据当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标Oe和虹膜中心坐标计算光轴单位向量Ne:
S3.7:求解以下方程组得到视轴单位向量Ng作为视线方向,完成视线方向估计:
本发明基于眼部关键点检测的3D视线方向估计方法,采用人脸检测及头部姿态估计装置进行人脸区域检测和头部姿态估计,在眼球中心标定环节目标人员注视屏幕上某个已知坐标点,在标定过程中首先提取得到眼部关键点和虹膜中心在人脸图像中的坐标,利用眼部关键点与眼球中心的固定距离来对眼球中心进行约束,求解出眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标,再通过坐标变换得到头部坐标系下眼球中心的坐标;在以后的图像中,即可基于头部坐标系下眼球中心的坐标、头部坐标系原点、虹膜中心和头部姿态来对当前帧的视线方向进行估计。本发明通过引入眼部关键点信息,对眼球中心进行约束,从而能够更好地适应不同用户之间的差异。
附图说明
图1是本发明所采用的眼球模型示意图;
图2是本发明基于眼部关键点检测的3D视线方向估计方法的具体实施方法流程图;
图3是本发明中眼球中心标定的流程图;
图4是基于参数化虹膜模型的虹膜中心检测方法的具体实施方法流程图;
图5是参数化虹膜模型示意图;
图6是虹膜中心检测过程的示例图;
图7是人脸检测及头部姿态估计装置坐标系与头部坐标系的关系示例图;
图8是本发明中视线方向估计的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
实施例
为了更好地说明本发明的技术方案,首先对本发明所采用的眼球模型进行说明。图1是本发明所采用的眼球模型示意图。如图1所示,本发明中,记眼球中心为Oe,虹膜中心为p0,注视点坐标为G。由于人眼球的生理结构特征,视线分为光轴Ne与视轴Ng,Ne和Ng之间存在固定夹角Kappa角,记其水平和竖直分量分别为α和β。光轴为眼球中心Oe与虹膜中心的连线,视轴为虹膜中心与注视点的连线,即实际的注视方向,本发明最终就是通过估计视轴方向,从而获取用户的注视方向的。
图2是本发明基于眼部关键点检测的3D视线方向估计方法的具体实施方法流程图。如图2所示,本发明基于眼部关键点检测的3D视线方向估计方法包括以下步骤:
S201:人脸检测及头部姿态估计:
在屏幕上设置人脸检测及头部姿态估计装置,用于获取人脸图像,从中检测得到人脸区域并对头部姿态进行估计,将头部姿态以该传感器坐标系下的旋转四元数[w,x,y,z]表示,其中w代表旋转量,x,y,z代表旋转轴。在眼球中心标定环节,需要目标人员注视屏幕上某个已知坐标点G0,在视线估计环节,目标人员注视屏幕上任意点G。
在现有的人脸检测及头部姿态估计装置中,由于Kinect SDK在室内环境的各种情况对人脸检测以及头部姿态估计具有较好的鲁棒性,因此本实施例中采用Kinect v2传感器进行人脸检测及头部姿态估计。
S202:眼球中心标定:
眼球中心的标定是3D视线估计方法中的核心的部分,要先标定得到眼球中心,才能在后续过程中根据眼球中心和虹膜中心连线来估计视线方向。因为眼球中心位于眼睛内部,所以在图像中无法直接检测眼球中心,因此本发明建立了如图1的参数化的眼球模型用于标定眼球相关参数(眼球中心位置,kappa角)。本发明中采用眼球中心标定环节所获取的人脸图像序列,对该目标人员进行眼球中心标定,得到眼球中心在头部坐标系中的坐标图3是本发明中眼球中心标定的流程图。如图3所示,本发明中眼球中心标定的具体步骤包括:
S301:眼部关键点检测:
本发明使用3D model-based视线估计方法,需要对虹膜中心和眼球中心的三维坐标进行检测,检测过程需要眼部的其他关键点的信息用于辅助计算。因此首先需要根据人脸检测及头部姿态估计装置所获取的人脸区域图像,检测得到眼部区域图像,提取得到各个眼部关键点在人脸图像中的坐标pi,i=1,2,…,M,M表示眼部关键点数量。
目前眼部关键点检测的方法有很多,本实施例中采用基于CLM(Constrainedlocal model,约束局部模型)的眼部关键点检测方法,该方法是基于CLM方法的人脸特征点检测库,在检测到人脸区域之后,通过调用其内部API可实时的对人脸区域关键点进行检测。在选取眼部关键点时,应当选择与虹膜中心几何关系较为固定的特征点。本实施例中采用4个眼部关键点,分别为眼睛内、外眼角点以及上眼睑左右两点,记其在人脸图像中的二维坐标分别为p1、p2、p3和p4。
S302:虹膜中心检测:
根据步骤S301中得到的眼部区域图像,检测得到虹膜中心在人脸图像中的坐标p0。
由于眼部区域图像较小并且光照的影响也会使图像中虹膜与其他位置的区分度不足,传统的基于虹膜-巩膜边缘提取的算法效果一般,本实施例中提出了一种基于参数化虹膜模型的虹膜中心检测方法。图4是基于参数化虹膜模型的虹膜中心检测方法的具体实施方法流程图。如图4所示,本实施例中基于参数化虹膜模型的虹膜中心检测方法包括以下步骤:
S401:眼部区域图像预处理:
首先对眼部区域图像进行灰度化,由于原始眼部区域图像受光照以及其他噪声影响有可能导致虹膜与巩膜的区分度不足,所以需要对眼部区域灰度图像进行预处理,预处理方法包括对比度增强和去噪,本实施例中采用直方图均衡化方法进行对比度增强,然后使用中值滤波去除图像噪点。
S402:眼部区域图像二值化处理:
对预处理完成的眼部区域灰度图像进行二值化处理,将低灰度值像素点的灰度值赋为255(白色),其余像素点的灰度值赋为0(黑色),根据虹膜区域灰度值较其他区域较高的特性,从而分离出虹膜所在大致区域。二值化处理可以直接采用预设灰度阈值的方法,根据实验统计发现二值化的阈值T=25具有较好的提取效果,还可以使用自适应阈值二值化方法来处理。
S403:虹膜轮廓搜索和虹膜中心标定:
图5是参数化虹膜模型示意图。如图5所示,本实施例方法中设置了一个滑动窗口,边长设置为2s+1,以坐标(i,j)表示当前滑动窗口的中心,r表示虹膜半径,通过滑动窗口搜索,来确定最终的虹膜中心(i*,j*)和虹膜半径r*。
通过参数化虹膜模型来搜索虹膜轮廓和标定虹膜中心的具体方法为:采用边长为2s+1的滑动窗口对眼部区域二值化图像进行搜索,对于每个滑动窗口,通过改变虹膜半径的值,在当前滑动窗口内搜索得到代价函数值最小的虹膜半径,代价函数F的计算公式为:
其中,Imn为像素点(m,n)的灰度值,If和Ib分别表示虹膜部分(前景)和非虹膜部分(背景)的灰度阈值,显然两个灰度阈值的取值范围为0<If,Ib<255。
如果当前滑动窗口内搜索得到的最小代价函数值小于眼部区域二值化图像的历史最小代价函数值,则更新当前滑动窗口内搜索得到的最小代价函数值为历史最小代价函数值,记录其对应的滑动窗口中心坐标和虹膜半径。对整个眼部区域二值化图像搜索完毕后,以历史最小代价函数值所对应滑动窗口中心作为虹膜中心p0,对应的虹膜半径即为搜索得到的虹膜半径。
根据以上过程可知,本方法是采用代价函数来判定虹膜区域的。由于步骤S402已经对眼部区域灰度化图像进行了二值化处理,并且将可能为虹膜部分的像素点的灰度值置为了0,在滑动窗口搜索时,应当是将包含虹膜像像素点的区域搜索出来,也就是说,在滑动窗口搜索时,应当搜索出包含灰度值为0的像素点的数量应当尽可能地多。对于代价函数而言,存在最多的前景点的灰度值小于If,且背景点的灰度值大于时其对应代价函数取到最小值。即在最终的虹膜中心(i*,j*)和虹膜半径r*所对应的区域中,将包含最多的低灰度值点,其余位置则包含最多的高灰度值点,从而在眼部区域图像中检测出虹膜轮廓。此时虹膜中心的二维坐标p0=(i*,j*)。
图6是虹膜中心检测过程的示例图。如图6所示,首先对原始的眼部区域图像采用直方图均衡化和中值滤波进行预处理,然后对预处理后的图像进行二值化,最后采用基于参数化虹膜模型的虹膜中心检测方法检测得到虹膜中心。根据该示例可见,采用基于参数化虹膜模型的虹膜中心检测方法其检测结果是较为准确的。
S303:眼球中心标定:
步骤S301和步骤S302中获取了M个眼部关键点和虹膜中心在人脸图像中的坐标,接下来需要基于这些M+1个关键点来进行眼球中心标定。与其他基于3D模型的视线估计算法相比,本发明所采用的眼球中心标定方法引入了眼部关键点的信息,使用这些关键点与眼球中心固有的几何关系,最终能更准确的标定出眼球中心的位置。
根据以上描述可知,本发明中已经存在了两个坐标系:人脸检测及头部姿态估计装置坐标系和人脸图像坐标系。本发明的眼球中心标定是在人脸检测及头部姿态估计装置坐标系下进行的,因此需要将人脸图像中M+1个关键点的坐标转换到人脸检测及头部姿态估计装置坐标系。由于标定得到的眼球中心在人脸检测及头部姿态估计装置坐标系下是动态变化的,需要确定眼球中心的静态参数才能更方便地进行视线方向估计,因此引入了头部坐标系。在头部坐标系中,采用M个眼部关键点中的一个特征点作为头部原点,由于眼部关键点与眼球中心存在固定几何关系,因此眼球中心在头部坐标系中相对于头部原点的位置是固定不变的,在头部坐标系下眼球中心的坐标值即为固定值。本实施例中采用内眼角点作为头部原点。
图7是人脸检测及头部姿态估计装置坐标系与头部坐标系的关系示例图。本实施例中,人脸检测及头部姿态估计装置采用Kinect v2传感器。如图7所示,一般而言人脸检测及头部姿态估计装置坐标系是以该装置的摄像头中心为坐标原点的三维坐标系,本实施例中头部坐标系是以内眼角点为坐标原点,在人正对人脸检测及头部姿态估计装置时,坐标轴方向与人脸检测及头部姿态估计装置坐标系方向一致,但在头部动作时,会根据头部进行同步的旋转和平移,这也是为什么要在步骤S101中进行头部姿态估计的原因。人脸图像坐标系与常规图像坐标系一致,本实施例中以图像左上角为坐标原点,自左向右为x轴正方向,自上而下为y轴正方向。
接下来对在人脸检测及头部姿态估计装置坐标系下进行眼球中心标定的具体方法进行详细说明。
记M个眼部关键点和虹膜中心在人脸检测及头部姿态估计装置坐标系下的坐标分别为显然可以通过各个点在人脸图像中的坐标pj转换得到,其转换关系可以表示为:
其中,f表示人脸检测及头部姿态估计装置中摄像机的焦距,o表示人脸检测及头部姿态估计装置中摄像机的主点图像坐标,分别表示点pj在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量。
现有的许多基于3D眼球模型的视线估计方法是将眼球中心到虹膜中心(或瞳孔中心)的距离作为已知条件,用于标定眼球中心,但实际上每个人都存在差别,这也约束了这类方法的视线估计精度。本发明中,将眼球中心到M个眼部关键点距离均为固定值,加入该条件约束眼球中心的求解。记人脸检测及头部姿态估计装置坐标系下眼球中心的坐标为Oe,那么眼球中心到M个眼部关键点的距离Li有如下公式:
其中,||||表示求二范数。
由于真实的注视位置与视线方向存在一个大小固定的角度误差:Kappa角,且每个人的Kappa角大小都存在差异,因此存在视轴(visual axis)与光轴(optical axis)的概念。其中视轴为注视点G与眼球中心Oe的连线方向,那么视轴单位向量Ng的计算公式为:
光轴为眼球中心Oe与虹膜中心的连线方向,获取光轴单位向量Ne的计算公式为:
由于在眼球中心标定环节,注视点G是已知变量G0,可以通过检测得到,所以以上表示视轴单位向量Ng与光轴单位向量Ne都可以由眼球中心的多项式表示。视轴与光轴之间的转换可使用Kappa角的竖直分量α与水平分量β确定的,其中
其中,分别表示视轴单位向量Ng在人脸检测及头部姿态估计装置坐标系下的x、y轴分量,分别表示光轴单位向量Ne在人脸检测及头部姿态估计装置坐标系下的x、y轴分量。
根据以上分析得到由公式(4)至公式(7)构建的方程组:
可见,以上方程组中包含以下未知数:眼球中心Oe、α、β以及M个Li。因此采用眼球中心标定环节所获取的人脸图像序列每帧图像中的眼部关键点和虹膜中心的数据进行迭代求解,即可得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标Oe。迭代求解的具体算法可以根据实际情况选用。显然,眼球中心标定环节所获取的人脸图像序列的图像帧数是根据未知数的数量以及迭代求解算法来确定的。本实施例中有4个眼部关键点,采用Levenberg-Marquardt算法进行迭代求解,那么需要5帧数据即可求得Oe。
在得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标Oe之后,经过坐标转换即可得到头部坐标系下眼球中心的坐标其转换公式为:
其中,表示作为头部坐标系原点的第i*个眼部关键点在人脸检测及头部姿态估计装置坐标系下的坐标,R表示旋转矩阵,根据头部姿态四元数计算得到,计算公式为:
S203:视线方向估计:
在标定出眼球中心过后,对于眼球中心标定环节完成之后的人脸图像,就可以根据当前帧人脸图像得到的头部姿态、眼部关键点与虹膜中心信息,来计算得到光轴单位向量Ne,再通过Kappa角获取真正的视线方向。图8是本发明中视线方向估计的流程图。如图8所示,本发明中视线方向估计的具体步骤包括:
S801:眼部关键点检测:
与步骤S301一样,根据人脸检测及头部姿态估计装置所获取的人脸区域图像,检测得到眼部区域图像,提取得到眼部关键点在人脸图像中的坐标。与步骤S302不同的是,此时只需要得到作为头部坐标系原点的第i*个眼部关键点在人脸图像中的坐标即可。
S802:虹膜中心检测:
与步骤S302一样,根据步骤S801中得到的眼部区域图像,检测得到虹膜中心在人脸图像中的坐标p0。
S803:关键点和虹膜中心坐标系转换:
将头部坐标系原点坐标和虹膜中心坐标p0转换到人脸检测及头部姿态估计装置坐标系下,其转换公式为:
其中,分别表示点在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量,分别表示点p0在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量。
S804:计算旋转矩阵:
采用公式(9)根据当前帧人脸图像的旋转四元数[w,x,y,z],计算得到旋转矩阵R。
S805:眼球中心坐标系变换:
根据当前帧对应的头部坐标系原点坐标旋转矩阵R,采用公式(8)对步骤S202得到的头部坐标系下眼球中心的坐标进行坐标系变换,得到当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标Oe。
S806:计算光轴单位向量:
根据当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标Oe和虹膜中心坐标采用公式(6)计算得到光轴单位向量Ne。
S807:计算视轴单位向量:
求解以下方程组得到视轴单位向量Ng作为视线方向,完成视线方向估计:
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (4)
1.一种基于眼部关键点检测的3D视线方向估计方法,其特征在于,包括以下步骤:
S1:在人脸前方设置人脸检测及头部姿态估计装置,用于获取人脸图像,从中检测得到人脸区域并对头部姿态进行估计,将头部姿态以该传感器坐标系下的旋转四元数[w,x,y,z]表示,其中w代表旋转量,x,y,z代表旋转轴;在眼球中心标定环节,目标人员注视屏幕上某个已知坐标点G0,在视线估计环节,目标人员注视屏幕上任意点G;
S2:采用眼球中心标定环节所获取的人脸图像序列,对该目标人员进行眼球中心标定,得到眼球中心在头部坐标系中的坐标眼球中心标定的具体步骤包括:
S2.1:根据人脸检测及头部姿态估计装置所获取的人脸区域图像,检测得到眼部区域图像,提取得到各个眼部关键点在人脸图像中的坐标pi,i=1,2,…,M,M表示眼部关键点数量;
S2.2:根据步骤S2.1中得到的眼部区域图像,检测得到虹膜中心在人脸图像中的坐标p0;
S2.3:采用眼球中心标定环节所获取的人脸图像序列每帧图像中的眼部关键点和虹膜中心的数据对以下方程组进行迭代求解,得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标Oe:
其中,分别表示视轴单位向量Ng在人脸检测及头部姿态估计装置坐标系下的x、y轴分量,分别表示光轴单位向量Ne在人脸检测及头部姿态估计装置坐标系下的x、y轴分量;表示M个眼部关键点和虹膜中心在人脸检测及头部姿态估计装置坐标系下的坐标,j=0,1,…,M,其计算公式为:
其中,f表示人脸检测及头部姿态估计装置中摄像机的焦距,o表示人脸检测及头部姿态估计装置中摄像机的主点图像坐标,分别表示点pj在人脸检测及头部姿态估计装置坐标系下对应坐标的x、y、z轴分量;
在得到眼球中心在人脸检测及头部姿态估计装置坐标系下的坐标Oe之后,经过坐标转换即可得到头部坐标系下眼球中心的坐标其转换公式为:
其中,表示作为头部坐标系原点的第i*个眼部关键点在人脸检测及头部姿态估计装置坐标系下的坐标,R表示旋转矩阵,其计算公式为:
S3:对于眼球中心标定环节完成之后的每帧人脸图像,根据步骤S2得到的眼球中心在头部坐标系中的坐标对当前帧目标人物的视线方向进行估计,视线估计的具体步骤包括:
S3.1:根据人脸检测及头部姿态估计装置所获取的人脸区域图像,检测得到眼部区域图像,提取得到作为头部坐标系原点的第i*个眼部关键点在人脸图像中的坐标
S3.2:根据步骤S3.1中得到的眼部区域图像,检测得到虹膜中心在人脸图像中的坐标p0;
S3.3:将头部坐标系原点坐标和虹膜中心坐标p0转换到人脸检测及头部姿态估计装置坐标系下,其转换公式为:
S3.4:根据当前帧人脸图像的旋转四元数[w,x,y,z],计算得到旋转矩阵R:
S3.5:根据当前帧对应的头部坐标系原点坐标旋转矩阵R对步骤S2得到的头部坐标系下眼球中心的坐标进行坐标系变换,得到当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标Oe,其转换公式为:
S3.6:根据当前帧人脸检测及头部姿态估计装置坐标系下眼球中心坐标Oe和虹膜中心坐标计算光轴单位向量Ne:
S3.7:求解以下方程组得到视轴单位向量Ng作为视线方向,完成视线方向估计:
。
2.根据权利要求1所述的3D视线方向估计方法,其特征在于,所述步骤S1中人脸检测及头部姿态估计装置为Kinect v2传感器。
3.根据权利要求1所述的3D视线方向估计方法,其特征在于,所述步骤S2.1和步骤S3.1中眼部关键点包括眼睛内、外眼角点以及上眼睑左右两点。
4.根据权利要求1所述的3D视线方向估计方法,其特征在于,所述步骤S2.2和步骤S3.2中虹膜中心的检测方法为:
S201:对眼部区域图像进行灰度化,对眼部区域灰度图像进行预处理,包括对比度增强和去噪;
S202:对预处理完成的眼部区域灰度图像进行二值化处理,将低灰度值像素点的灰度值赋为255(白色),其余像素点的灰度值赋为0(黑色);
S203:采用边长为2s+1的滑动窗口对眼部区域二值化图像进行搜索,对于每个滑动窗口,通过改变虹膜半径的值,在当前滑动窗口内搜索得到代价函数值最小的虹膜半径,代价函数F的计算公式为:
其中,(i,j)表示当前滑动窗口的中心,r表示虹膜半径,Imn为像素点(m,n)的灰度值,If和Ib分别表示虹膜部分(前景)和非虹膜部分(背景)的灰度阈值;
如果当前滑动窗口内搜索得到的最小代价函数值小于眼部区域二值化图像的历史最小代价函数值,则更新当前滑动窗口内搜索得到的最小代价函数值为历史最小代价函数值,记录其对应的滑动窗口中心坐标和虹膜半径。对整个眼部区域二值化图像搜索完毕后,以历史最小代价函数值所对应滑动窗口中心作为虹膜中心p0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611018884.9A CN106598221B (zh) | 2016-11-17 | 2016-11-17 | 基于眼部关键点检测的3d视线方向估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611018884.9A CN106598221B (zh) | 2016-11-17 | 2016-11-17 | 基于眼部关键点检测的3d视线方向估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106598221A true CN106598221A (zh) | 2017-04-26 |
CN106598221B CN106598221B (zh) | 2019-03-15 |
Family
ID=58591639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611018884.9A Active CN106598221B (zh) | 2016-11-17 | 2016-11-17 | 基于眼部关键点检测的3d视线方向估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106598221B (zh) |
Cited By (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107193383A (zh) * | 2017-06-13 | 2017-09-22 | 华南师范大学 | 一种基于人脸朝向约束的二级视线追踪方法 |
CN107249126A (zh) * | 2017-07-28 | 2017-10-13 | 华中科技大学 | 一种适用于自由视点三维视频的人眼注视方向跟踪方法 |
CN107291238A (zh) * | 2017-06-29 | 2017-10-24 | 深圳天珑无线科技有限公司 | 一种数据处理方法与装置 |
CN107818310A (zh) * | 2017-11-03 | 2018-03-20 | 电子科技大学 | 一种基于视线的驾驶员注意力检测方法 |
CN108898102A (zh) * | 2018-06-29 | 2018-11-27 | 上海小蚁科技有限公司 | 关注商品的确定方法及装置、存储介质、终端 |
CN109034137A (zh) * | 2018-09-07 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 头部姿态标记更新方法、装置、存储介质和终端设备 |
CN109044363A (zh) * | 2018-09-04 | 2018-12-21 | 华南师范大学 | 基于头部姿态和眼动的驾驶员疲劳检测方法 |
CN109145864A (zh) * | 2018-09-07 | 2019-01-04 | 百度在线网络技术(北京)有限公司 | 确定视线区域的方法、装置、存储介质和终端设备 |
CN109271914A (zh) * | 2018-09-07 | 2019-01-25 | 百度在线网络技术(北京)有限公司 | 检测视线落点的方法、装置、存储介质和终端设备 |
CN109308472A (zh) * | 2018-09-30 | 2019-02-05 | 华南理工大学 | 一种基于虹膜投影匹配函数的三维视线估计方法 |
CN109377528A (zh) * | 2018-11-05 | 2019-02-22 | 北京科技大学 | 一种基于双眼策略的虹膜半径标定方法 |
CN109442254A (zh) * | 2018-09-27 | 2019-03-08 | 广东小天才科技有限公司 | 一种基于智能台灯的学习辅助方法及智能台灯 |
CN109446892A (zh) * | 2018-09-14 | 2019-03-08 | 杭州宇泛智能科技有限公司 | 基于深度神经网络的人眼注意力定位方法及系统 |
CN109508679A (zh) * | 2018-11-19 | 2019-03-22 | 广东工业大学 | 实现眼球三维视线跟踪的方法、装置、设备及存储介质 |
CN109544537A (zh) * | 2018-11-26 | 2019-03-29 | 中国科学技术大学 | 髋关节x光图像快速自动分析方法 |
CN109635761A (zh) * | 2018-12-18 | 2019-04-16 | 北京七鑫易维信息技术有限公司 | 一种虹膜识别图像确定方法、装置、终端设备及存储介质 |
CN109934076A (zh) * | 2017-12-19 | 2019-06-25 | 广州汽车集团股份有限公司 | 视觉盲区的场景图像的生成方法、装置、系统及终端设备 |
CN109925678A (zh) * | 2019-03-01 | 2019-06-25 | 北京七鑫易维信息技术有限公司 | 一种基于眼动追踪技术的训练方法、训练装置及设备 |
CN109948453A (zh) * | 2019-02-25 | 2019-06-28 | 华中科技大学 | 一种基于卷积神经网络的多人姿态估计方法 |
CN109993029A (zh) * | 2017-12-29 | 2019-07-09 | 上海聚虹光电科技有限公司 | 注视点模型初始化方法 |
WO2019137215A1 (en) * | 2018-01-09 | 2019-07-18 | Huawei Technologies Co., Ltd. | Head pose and distraction estimation |
CN110537897A (zh) * | 2019-09-10 | 2019-12-06 | 北京未动科技有限公司 | 视线追踪方法和装置、计算机可读存储介质、电子设备 |
CN110795982A (zh) * | 2019-07-04 | 2020-02-14 | 哈尔滨工业大学(深圳) | 一种基于人体姿态分析的表观视线估计方法 |
CN110794963A (zh) * | 2019-10-18 | 2020-02-14 | 天津理工大学 | 基于深度相机的眼控辅助输入方法 |
CN110826372A (zh) * | 2018-08-10 | 2020-02-21 | 浙江宇视科技有限公司 | 人脸特征点检测方法及装置 |
WO2020062523A1 (zh) * | 2018-09-28 | 2020-04-02 | 北京市商汤科技开发有限公司 | 注视点判断方法和装置、电子设备和计算机存储介质 |
CN111027506A (zh) * | 2019-12-19 | 2020-04-17 | 斑马网络技术有限公司 | 视线方向的确定方法、装置、电子设备及存储介质 |
CN111325123A (zh) * | 2020-02-10 | 2020-06-23 | 北京格灵深瞳信息技术有限公司 | 面部角度表示和标注方法、装置及计算机存储介质 |
CN111632367A (zh) * | 2020-05-18 | 2020-09-08 | 歌尔科技有限公司 | 基于视觉引导的手游系统及手游响应方法 |
CN111767821A (zh) * | 2020-06-23 | 2020-10-13 | 京东数字科技控股有限公司 | 对象被关注的识别方法、装置、设备及存储介质 |
CN112416126A (zh) * | 2020-11-18 | 2021-02-26 | 青岛海尔科技有限公司 | 页面滚动控制方法和装置、存储介质及电子设备 |
CN112613405A (zh) * | 2020-12-23 | 2021-04-06 | 电子科技大学 | 任意视角动作识别方法 |
CN112667078A (zh) * | 2020-12-24 | 2021-04-16 | 西安电子科技大学 | 基于视线估计的多屏场景下鼠标快速控制方法、系统及计算机可读介质 |
CN113220114A (zh) * | 2021-01-22 | 2021-08-06 | 华南理工大学 | 一种融合人脸识别的可嵌入非接触式电梯按键交互方法 |
CN113553920A (zh) * | 2021-07-02 | 2021-10-26 | 黑芝麻智能科技(上海)有限公司 | 注视方向特征采集方法、装置、计算机设备和存储介质 |
CN114697627A (zh) * | 2022-06-01 | 2022-07-01 | 深圳市美特乐光电科技有限公司 | 用于投影仪的人眼保护方法以及投影仪 |
CN114872036A (zh) * | 2022-03-28 | 2022-08-09 | 青岛大学 | 一种基于仿生原理的机器人眼-头协同注视行为控制方法 |
WO2024087797A1 (zh) * | 2022-10-24 | 2024-05-02 | 浙江极氪智能科技有限公司 | 视线方向数据采集方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156537A (zh) * | 2010-02-11 | 2011-08-17 | 三星电子株式会社 | 一种头部姿态检测设备及方法 |
CN102662476A (zh) * | 2012-04-20 | 2012-09-12 | 天津大学 | 一种视线估计方法 |
CN102830793A (zh) * | 2011-06-16 | 2012-12-19 | 北京三星通信技术研究有限公司 | 视线跟踪方法和设备 |
CN103870796A (zh) * | 2012-12-13 | 2014-06-18 | 汉王科技股份有限公司 | 一种人眼视线估计的方法与装置 |
CN104951808A (zh) * | 2015-07-10 | 2015-09-30 | 电子科技大学 | 一种用于机器人交互对象检测的3d视线方向估计方法 |
-
2016
- 2016-11-17 CN CN201611018884.9A patent/CN106598221B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156537A (zh) * | 2010-02-11 | 2011-08-17 | 三星电子株式会社 | 一种头部姿态检测设备及方法 |
CN102830793A (zh) * | 2011-06-16 | 2012-12-19 | 北京三星通信技术研究有限公司 | 视线跟踪方法和设备 |
CN102662476A (zh) * | 2012-04-20 | 2012-09-12 | 天津大学 | 一种视线估计方法 |
CN103870796A (zh) * | 2012-12-13 | 2014-06-18 | 汉王科技股份有限公司 | 一种人眼视线估计的方法与装置 |
CN104951808A (zh) * | 2015-07-10 | 2015-09-30 | 电子科技大学 | 一种用于机器人交互对象检测的3d视线方向估计方法 |
Non-Patent Citations (4)
Title |
---|
SHAUN J. CANAVAN, ET AL.: "Dynamic face appearance modeling and sight direction estimation based on local region tracking and scale-space topo-represention", 《2009 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》 * |
WANG CHANGYUAN, ET AL.: "The line of sight to estimate method based on stereo vision", 《MULTIMEDIA TOOLS AND APPLICATIONS》 * |
张雯 等: "基于虹膜参数提取的人眼注视方向识别算法", 《光电子.激光》 * |
王长元 等: "一种视线方向的三维估计方法", 《计算机与数字工程》 * |
Cited By (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107193383B (zh) * | 2017-06-13 | 2020-04-07 | 华南师范大学 | 一种基于人脸朝向约束的二级视线追踪方法 |
CN107193383A (zh) * | 2017-06-13 | 2017-09-22 | 华南师范大学 | 一种基于人脸朝向约束的二级视线追踪方法 |
CN107291238A (zh) * | 2017-06-29 | 2017-10-24 | 深圳天珑无线科技有限公司 | 一种数据处理方法与装置 |
CN107291238B (zh) * | 2017-06-29 | 2021-03-05 | 南京粤讯电子科技有限公司 | 一种数据处理方法与装置 |
CN107249126A (zh) * | 2017-07-28 | 2017-10-13 | 华中科技大学 | 一种适用于自由视点三维视频的人眼注视方向跟踪方法 |
CN107818310B (zh) * | 2017-11-03 | 2021-08-06 | 电子科技大学 | 一种基于视线的驾驶员注意力检测方法 |
CN107818310A (zh) * | 2017-11-03 | 2018-03-20 | 电子科技大学 | 一种基于视线的驾驶员注意力检测方法 |
CN109934076A (zh) * | 2017-12-19 | 2019-06-25 | 广州汽车集团股份有限公司 | 视觉盲区的场景图像的生成方法、装置、系统及终端设备 |
CN109993029A (zh) * | 2017-12-29 | 2019-07-09 | 上海聚虹光电科技有限公司 | 注视点模型初始化方法 |
WO2019137215A1 (en) * | 2018-01-09 | 2019-07-18 | Huawei Technologies Co., Ltd. | Head pose and distraction estimation |
US11068704B2 (en) | 2018-01-09 | 2021-07-20 | Futurewei Technologies, Inc. | Head pose and distraction estimation |
US10528802B2 (en) | 2018-01-09 | 2020-01-07 | Futurewei Technologies, Inc. | Head pose and distraction estimation |
CN108898102B (zh) * | 2018-06-29 | 2021-02-02 | 上海小蚁科技有限公司 | 关注商品的确定方法及装置、存储介质、终端 |
CN108898102A (zh) * | 2018-06-29 | 2018-11-27 | 上海小蚁科技有限公司 | 关注商品的确定方法及装置、存储介质、终端 |
US11475708B2 (en) | 2018-08-10 | 2022-10-18 | Zhejiang Uniview Technologies Co., Ltd. | Face feature point detection method and device, equipment and storage medium |
CN110826372B (zh) * | 2018-08-10 | 2024-04-09 | 浙江宇视科技有限公司 | 人脸特征点检测方法及装置 |
CN110826372A (zh) * | 2018-08-10 | 2020-02-21 | 浙江宇视科技有限公司 | 人脸特征点检测方法及装置 |
CN109044363A (zh) * | 2018-09-04 | 2018-12-21 | 华南师范大学 | 基于头部姿态和眼动的驾驶员疲劳检测方法 |
CN109271914A (zh) * | 2018-09-07 | 2019-01-25 | 百度在线网络技术(北京)有限公司 | 检测视线落点的方法、装置、存储介质和终端设备 |
CN109271914B (zh) * | 2018-09-07 | 2020-04-17 | 百度在线网络技术(北京)有限公司 | 检测视线落点的方法、装置、存储介质和终端设备 |
CN109145864A (zh) * | 2018-09-07 | 2019-01-04 | 百度在线网络技术(北京)有限公司 | 确定视线区域的方法、装置、存储介质和终端设备 |
CN109034137A (zh) * | 2018-09-07 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 头部姿态标记更新方法、装置、存储介质和终端设备 |
CN109446892B (zh) * | 2018-09-14 | 2023-03-24 | 杭州宇泛智能科技有限公司 | 基于深度神经网络的人眼注意力定位方法及系统 |
CN109446892A (zh) * | 2018-09-14 | 2019-03-08 | 杭州宇泛智能科技有限公司 | 基于深度神经网络的人眼注意力定位方法及系统 |
CN109442254A (zh) * | 2018-09-27 | 2019-03-08 | 广东小天才科技有限公司 | 一种基于智能台灯的学习辅助方法及智能台灯 |
WO2020062523A1 (zh) * | 2018-09-28 | 2020-04-02 | 北京市商汤科技开发有限公司 | 注视点判断方法和装置、电子设备和计算机存储介质 |
US11295474B2 (en) | 2018-09-28 | 2022-04-05 | Beijing Sensetime Technology Development Co., Ltd. | Gaze point determination method and apparatus, electronic device, and computer storage medium |
CN109308472A (zh) * | 2018-09-30 | 2019-02-05 | 华南理工大学 | 一种基于虹膜投影匹配函数的三维视线估计方法 |
CN109308472B (zh) * | 2018-09-30 | 2022-03-29 | 华南理工大学 | 一种基于虹膜投影匹配函数的三维视线估计方法 |
CN109377528B (zh) * | 2018-11-05 | 2020-12-29 | 北京科技大学 | 一种基于双眼策略的虹膜半径标定方法 |
CN109377528A (zh) * | 2018-11-05 | 2019-02-22 | 北京科技大学 | 一种基于双眼策略的虹膜半径标定方法 |
CN109508679A (zh) * | 2018-11-19 | 2019-03-22 | 广东工业大学 | 实现眼球三维视线跟踪的方法、装置、设备及存储介质 |
CN109508679B (zh) * | 2018-11-19 | 2023-02-10 | 广东工业大学 | 实现眼球三维视线跟踪的方法、装置、设备及存储介质 |
CN109544537A (zh) * | 2018-11-26 | 2019-03-29 | 中国科学技术大学 | 髋关节x光图像快速自动分析方法 |
CN109635761A (zh) * | 2018-12-18 | 2019-04-16 | 北京七鑫易维信息技术有限公司 | 一种虹膜识别图像确定方法、装置、终端设备及存储介质 |
CN109635761B (zh) * | 2018-12-18 | 2021-09-10 | 北京七鑫易维信息技术有限公司 | 一种虹膜识别图像确定方法、装置、终端设备及存储介质 |
CN109948453B (zh) * | 2019-02-25 | 2021-02-09 | 华中科技大学 | 一种基于卷积神经网络的多人姿态估计方法 |
CN109948453A (zh) * | 2019-02-25 | 2019-06-28 | 华中科技大学 | 一种基于卷积神经网络的多人姿态估计方法 |
CN109925678A (zh) * | 2019-03-01 | 2019-06-25 | 北京七鑫易维信息技术有限公司 | 一种基于眼动追踪技术的训练方法、训练装置及设备 |
CN110795982A (zh) * | 2019-07-04 | 2020-02-14 | 哈尔滨工业大学(深圳) | 一种基于人体姿态分析的表观视线估计方法 |
CN110537897A (zh) * | 2019-09-10 | 2019-12-06 | 北京未动科技有限公司 | 视线追踪方法和装置、计算机可读存储介质、电子设备 |
CN110794963A (zh) * | 2019-10-18 | 2020-02-14 | 天津理工大学 | 基于深度相机的眼控辅助输入方法 |
CN111027506B (zh) * | 2019-12-19 | 2024-04-12 | 斑马网络技术有限公司 | 视线方向的确定方法、装置、电子设备及存储介质 |
CN111027506A (zh) * | 2019-12-19 | 2020-04-17 | 斑马网络技术有限公司 | 视线方向的确定方法、装置、电子设备及存储介质 |
CN111325123A (zh) * | 2020-02-10 | 2020-06-23 | 北京格灵深瞳信息技术有限公司 | 面部角度表示和标注方法、装置及计算机存储介质 |
CN111632367A (zh) * | 2020-05-18 | 2020-09-08 | 歌尔科技有限公司 | 基于视觉引导的手游系统及手游响应方法 |
CN111767821B (zh) * | 2020-06-23 | 2024-04-09 | 京东科技控股股份有限公司 | 对象被关注的识别方法、装置、设备及存储介质 |
CN111767821A (zh) * | 2020-06-23 | 2020-10-13 | 京东数字科技控股有限公司 | 对象被关注的识别方法、装置、设备及存储介质 |
CN112416126A (zh) * | 2020-11-18 | 2021-02-26 | 青岛海尔科技有限公司 | 页面滚动控制方法和装置、存储介质及电子设备 |
CN112613405B (zh) * | 2020-12-23 | 2022-03-25 | 电子科技大学 | 任意视角动作识别方法 |
CN112613405A (zh) * | 2020-12-23 | 2021-04-06 | 电子科技大学 | 任意视角动作识别方法 |
CN112667078B (zh) * | 2020-12-24 | 2023-06-09 | 西安电子科技大学 | 基于视线估计的多屏场景下鼠标快速控制方法、系统及计算机可读介质 |
CN112667078A (zh) * | 2020-12-24 | 2021-04-16 | 西安电子科技大学 | 基于视线估计的多屏场景下鼠标快速控制方法、系统及计算机可读介质 |
CN113220114B (zh) * | 2021-01-22 | 2023-06-20 | 华南理工大学 | 一种融合人脸识别的可嵌入非接触式电梯按键交互方法 |
CN113220114A (zh) * | 2021-01-22 | 2021-08-06 | 华南理工大学 | 一种融合人脸识别的可嵌入非接触式电梯按键交互方法 |
CN113553920A (zh) * | 2021-07-02 | 2021-10-26 | 黑芝麻智能科技(上海)有限公司 | 注视方向特征采集方法、装置、计算机设备和存储介质 |
CN113553920B (zh) * | 2021-07-02 | 2024-06-04 | 黑芝麻智能科技(上海)有限公司 | 注视方向特征采集方法、装置、计算机设备和存储介质 |
CN114872036A (zh) * | 2022-03-28 | 2022-08-09 | 青岛大学 | 一种基于仿生原理的机器人眼-头协同注视行为控制方法 |
CN114697627A (zh) * | 2022-06-01 | 2022-07-01 | 深圳市美特乐光电科技有限公司 | 用于投影仪的人眼保护方法以及投影仪 |
WO2024087797A1 (zh) * | 2022-10-24 | 2024-05-02 | 浙江极氪智能科技有限公司 | 视线方向数据采集方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106598221B (zh) | 2019-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106598221B (zh) | 基于眼部关键点检测的3d视线方向估计方法 | |
CN108427503B (zh) | 人眼追踪方法及人眼追踪装置 | |
US10564446B2 (en) | Method, apparatus, and computer program for establishing a representation of a spectacle lens edge | |
CN105930821B (zh) | 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置 | |
CN102830793B (zh) | 视线跟踪方法和设备 | |
US20160202756A1 (en) | Gaze tracking via eye gaze model | |
CN107169405A (zh) | 基于双目摄像机活体识别的方法及装置 | |
CN107111753A (zh) | 用于注视跟踪模型的注视检测偏移 | |
CN106796449A (zh) | 视线追踪方法及装置 | |
CN105139447A (zh) | 基于双摄像头的坐姿实时检测方法 | |
CN104732191B (zh) | 利用交比不变性实现虚拟显示屏视线追踪的装置及其方法 | |
KR20150117553A (ko) | 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체 | |
WO2016107638A1 (en) | An image face processing method and apparatus | |
CN103679180A (zh) | 一种基于单摄像头单光源的视线追踪方法 | |
CN111854620B (zh) | 基于单目相机的实际瞳距测定方法、装置以及设备 | |
WO2019153927A1 (zh) | 屏幕显示方法、具有显示屏幕的装置、设备及存储介质 | |
CN108369744B (zh) | 通过双目单应性映射的3d注视点检测 | |
US20190196221A1 (en) | System and Method of Obtaining Fit and Fabrication Measurements for Eyeglasses Using Simultaneous Localization and Mapping of Camera Images | |
CN113692527B (zh) | 用于测量眼镜片的局部屈光力和/或屈光力分布的方法和装置 | |
KR20210027028A (ko) | 신체 측정 디바이스 및 그 제어 방법 | |
CN112257507A (zh) | 一种基于人脸瞳间距判断距离及人脸有效性的方法和装置 | |
CN113711003A (zh) | 用于测量眼镜片的局部屈光力和/或屈光力分布的方法和设备 | |
US20220395176A1 (en) | System and method for digital optician measurements | |
CN112528714B (zh) | 基于单光源的注视点估计方法、系统、处理器及设备 | |
CN115039130A (zh) | 视距推测方法、视距推测装置以及视距推测程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |