CN112232128B - 基于视线追踪的老年残障人士照护需求识别方法 - Google Patents

基于视线追踪的老年残障人士照护需求识别方法 Download PDF

Info

Publication number
CN112232128B
CN112232128B CN202010962619.6A CN202010962619A CN112232128B CN 112232128 B CN112232128 B CN 112232128B CN 202010962619 A CN202010962619 A CN 202010962619A CN 112232128 B CN112232128 B CN 112232128B
Authority
CN
China
Prior art keywords
iris
point
image
face
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010962619.6A
Other languages
English (en)
Other versions
CN112232128A (zh
Inventor
陈丽娟
孙瑜
张敏
唐豪
方美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010962619.6A priority Critical patent/CN112232128B/zh
Publication of CN112232128A publication Critical patent/CN112232128A/zh
Application granted granted Critical
Publication of CN112232128B publication Critical patent/CN112232128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Abstract

本发明公开一种基于视线追踪的老年残障人士照护需求识别方法，采用高清单目摄像头实时拍摄躺在护理床上的老年人，然后从拍摄的视频序列中选择不同帧的图像，采用受限制的局部模型算法检测人脸特征点，提取眼睛区域；采用随机抽样一致性算法拟合虹膜椭圆，计算虹膜中心点；采用头部姿态估计算法估计头部姿态，求解头部旋转角度；采用多项式拟合算法计算老人的注视点位置，识别照护需求。本发明能够精准的从图像中计算得到用户注视的位置坐标，从而快速准确的获取老年残障人士的照护需求，为这类人群提供了一种更加可靠的照护方式。

Description

基于视线追踪的老年残障人士照护需求识别方法
技术领域
本发明涉及一种图像处理与识别技术，具体涉及一种基于视线追踪的老年残障人士照护需求识别方法。
背景技术
进入21世纪，随着人口老龄化进程加快及生活方式的改变，老年人的患病率也在不断上升，其中失能和部分失能老年人数量持续增加。与此同时，每年因意外、车祸等导致的残疾、瘫痪人群数量庞大，这类人群也需要长期卧床休养。
对于躺在电动护理床上的失能老人以及残障人士来说，他们行动不便，有些人往往长期处于昏睡状态或者因为医疗仪器对身体的束缚而无法大幅度动弹。当这类人群有饮食或大小便等护理需求时，由于没有行动能力或因口齿不清不能准确表达，导致医疗护工或子女无法通过言语交流准确识别他们的需求，而这无疑会大大降低老年残障人士的生活质量。
2017年美国的Abdallah Kassem等人研究了一种智能护理床，可通过语音控制手机应用程序实现患者的移动，但是这类护理床采用语音识别用户需求，对那些聋哑患者、或者是口齿不清的患者来说并不是一个很好的选择。而后，又有学者提出基于手势来识别用户需求，但是这需要用户的手部能够灵活运动，对那种不能动弹的患者来说，也是不切实际的。而本发明提出基于视线追踪技术来识别用户需求，只需要这个用户眼球能够运动即可，大大提高了使用人群的范围，提供了一种更简便的人机交互方式。
发明内容
本发明的目的在于提供一种基于视线追踪的老年残障人士照护需求识别方法，将照护需求与给定显示器区域进行一一对应，通过计算注视点位置，来判断老年残障人士的照护需求。包括以下步骤：
实现本发明目的的技术解决方案为：一种基于视线追踪的老年残障人士照护需求识别方法，通过计算用户视线在屏幕上的注视点位置识别用户照护需求，在老年残障人士的面部正前方设置显示器和摄像头，显示器和摄像头连接上位机，包括以下步骤：
步骤1，通过摄像头采集用户图像，并进行人脸检测，获取稳定的面部区域RGB图像；
步骤2，使用人脸特征点定位算法定位面部区域中的人脸特征点，根据特征点位置提取眼部图像，并计算人脸平均特征点；
步骤3，从眼部图像中计算虹膜精确定位中心点，将虹膜精确定位中心点和人脸平均特征点之间的偏移向量作为眼动特征，计算用户视线初始的注视点位置；
步骤4，选择人脸特征点中的一部分特征点，采用头部姿态估计算法计算用户的头部旋转角度；
步骤5，利用头部旋转角度对初始注视点位置进行校正补偿，得到真实的注视点位置，通过真实注视点的坐标，实现老年残障人士的护理需求识别。
本发明与现有技术相比，其显著优点在于：
(1)在提取得到的眼部图像中，由于可能存在光照、睫毛、眼睑等外部干扰，使得虹膜特征不明显或虹膜被遮挡的，从而造成虹膜中心定位困难。本发明提出一种由粗到精的虹膜中心定位算法，能够避免光照不均匀以及眼睑遮挡带来的定位误差，计算得到精确的虹膜中心点。
(2)由于在现实生活中，人们利用眼部运动和头部运动相结合的方式来注视物体，因此本发明研究了头部运动对注视点位置的影响。利用头部姿态估计算法来计算用户头部的旋转角度，通过该角度对初始注视点位置进行校正补偿，得到真实的用户注视点位置，从而大大提高了需求识别的准确度。
(3)事先将显示器等分成不同区域，每个区域代表一种护理需求，用户有需求时，只要注视屏幕的对应区域即可。这样给用户提供了一种更自然、简捷的人机交互方式。
附图说明
图1是本发明系统整体示意图。
图2是本发明基于视线追踪的老年残障人士照护需求识别方法流程图。
图3是本发明级联分类器工作原理图。
图4是本发明人脸特征点的标号位置示意图。
图5是本发明星射线法逐像素求导示意图。
图6是本发明欧拉角表示头部旋转角度示意图。
图7是本发明特征点在3D与2D人脸模型中的位置示意图，其中图(a)是3D模型特征点位置示意图，图(b)是2D模型特征点位置示意图。
图8是本发明头部旋转角度对注视点的影响示意图，其中图(a)是左右摇头对注视点位置的影响，图(b)是上下摇头对注视点位置的影响。
图9是本发明显示屏幕上照护需求区域示意图。
具体实施方式
为了更好的了解本发明的步骤、优势以及实施过程，下面结合说明书附图对本发明作进一步说明。
结合图1和图2，一种基于视线追踪的老年残障人士照护需求识别方法，通过计算用户视线在屏幕上的注视点位置识别用户照护需求，在老年残障人士的面部正前方设置显示器和摄像头，显示器和摄像头连接上位机，包括以下步骤：
步骤1，通过摄像头采集用户图像，并进行人脸检测，获取稳定的面部区域RGB图像。具体步骤如下：
步骤1.1，使用摄像头，采集用户上半身图像作为输入图像，摄像头分辨率为2560×1080，帧率为30FPS。
步骤1.2，采用级联分类器对输入图像进行人脸检测。
级联分类器是将Adaboost算法训练出来的多个强分类器进行级联，结合图3，其工作原理是：如果输入图像在任意一个强分类器中没有通过检测窗口，则立刻退出整个级联分类器并认定该图像中不包含人脸图像；如果通过了整个级联分类中的每一个强分类器，则认为包括人脸图像，并在原始图像上，输出人脸检测框，标示整个人脸区域。
步骤2，使用人脸特征点定位算法定位面部区域中的人脸特征点，根据特征点位置提取眼部图像，并计算人脸平均特征点。结合图4，步骤2具体过程如下：
步骤2.1，采用受限制的局部(Constrained Local Model，CLM)模型定位人脸68个特征点。CLM模型的定位过程主要分为三个阶段：首先建立人脸形状模型，表示人脸的大致轮廓；然后建立人脸局部模型，用来表征人脸局部区域形状特性；最后采用受约束的局部模型拟合优化算法，通过训练对人脸特征点进行位置拟合，从而找到最优的特征点位置。
步骤2.2，在人脸68个特征点中，标示眼睛的特征点序号为37～48，利用这12个特征点来提取眼部区域。我们希望提取一个包括双眼而不包括眉毛的矩形区域，从而避免提取椭圆形人眼区域所带来的误差。假设K(xk,yk)表示的是特征点K的位置坐标，则可以通过公式(1)提取左眼区域。
Figure GDA0003740192080000041
其中，xleft,xright表示矩形的左右边界坐标，yup,ydown表示矩形的上下边界坐标。同理，采用公式(2)提取右眼区域。
Figure GDA0003740192080000042
步骤2.3，得到人脸特征点坐标后，选择眉毛、鼻子、面部轮廓三个部分的稳定特征点，一共是36个点来计算人脸平均特点，计算公式如式(3)所示。
Figure GDA0003740192080000043
其中，n表示人脸特征点序号，xi和yi分别表示第i个人脸特征点的X轴和Y轴坐标，
Figure GDA0003740192080000044
为人脸平均特征点坐标。
步骤3，从眼部图像中计算虹膜精确定位中心点，将虹膜精确定位中心点和人脸平均特征点之间的偏移向量作为眼动特征，计算用户视线初始的注视点位置。具体过程如下：
步骤3.1，对RGB眼部图像，进行灰度化，得到眼部灰度图像，对眼部灰度图像进行二值化，获取眼部二值化图，对眼部二值化图进行腐蚀和膨胀，去除睫毛、眼睑等的干扰，获得虹膜二值化图；
步骤3.2，在虹膜二值化图中，获取虹膜区域的左右水平最长距离即最长水平线，上下垂直最长距离即最长垂直线，将最长水平线与最长垂直线的交点作为虹膜粗定位的中心；
步骤3.3，在眼部灰度图像中，以虹膜粗定位的中心为圆心，每隔θ角均匀向外发散星射线法，利用图像梯度计算每一条星射线上的虹膜边缘点，得到虹膜边缘点集P*。结合图5，星射线法原理如下：
虹膜中心位置为O，坐标为(x0,y0)，以O为原点发出射线，A、B是该射线上的两个等距像素点，距离为r，该射线与水平方向的夹角为θ，则A点坐标可用公式(4)计算：
Figure GDA0003740192080000051
在A点，求取O点的灰度导数值：
Figure GDA0003740192080000052
同理可求得B点的灰度导数值。若射线上某一点P的灰度导数值devP＞σ，则认为P点是虹膜边缘点，此时该条射线上的计算终止，若devP＞σ，则需按照射线方向继续搜索，直到图像边缘。以此类推，求得每一条射线上的边缘特征点P，这些点组成虹膜边缘点集P*。
步骤3.4，在P*中，采用RANSAC算法拟合虹膜椭圆模型，通过最小二乘法优化模型参数，得到最优的虹膜椭圆，该椭圆的圆心即为虹膜精确定位中心点。传统的椭圆方程及中心坐标如公式(6)所示，具有五个未知参数，因此只要5个虹膜边缘点即可计算：
Figure GDA0003740192080000053
为了优化虹膜椭圆模型M，首先在P*中，采用随机抽样一致性(Random SampleConsensus，RANSAC)算法来去除P*中不符合的边缘点，得到新的虹膜边缘点集R*，然后在R*中采用最小二乘法计算新的拟合模型M*，此时M*对应的圆心即为精确定位的虹膜中心点。
步骤3.5，计算人脸平均特征点与虹膜精确定位中心点的偏移向量，得到眼动特征向量，利用该特征向量计算初始注视点位置。眼动特征向量计算公式如公式(7)所示：
Figure GDA0003740192080000061
其中，v(xv,yv)为眼动向量，(xc,yc)为人脸平均特征点坐标，虹膜中心坐标为(xi,yi)。将眼动向量带入多项式拟合方程中，求得初始注视点位置S(xs,ys)，计算公式如(8)所示。
Figure GDA0003740192080000062
步骤4，选择人脸特征点中的一部分特征点，采用头部姿态估计算法计算用户的头部旋转角度。
选择人脸特征点中的16个特征点，采用EPnP算法计算用户的头部旋转角度。以人脸正对着摄像头的状态为例，头部在空间中有三种活动形式，即上下摇头、左右摇头和两侧歪头，可以用欧拉角直观表示。结合图6，欧拉角中的俯仰角pitch、偏航角yaw、滚转角roll分别表示上下摇头、两侧歪头、左右摇头的角度。在EPnP头部姿态估计算法中，世界坐标系与像素坐标系具有公式(9)表示的转换关系：
Figure GDA0003740192080000063
其中(u,v)表示像素坐标系，(xw,yw,zw)表示世界坐标系，当世界坐标系与相机坐标系的原点重合时，M2矩阵表示的即为头部在三维空间中的位置和姿态。因此只需要得到三个参数：相机的内参矩阵M1、标准3D模型的空间特征点坐标(xw,yw,zw)、摄像头采集的与空间特征点对应的像素特征点坐标(u,v)，即可求得头部旋转角度M2。
具体过程如下：
步骤4.1，采用“张定友标注”法对相机进行标定获取相机的内参矩阵M1；
步骤4.2，结合图7，在标准的3D人脸模型中，选择16个人脸特征点(图4中较大圆形对应的点)作为特征输入，对应的，在步骤2.1中，我们已经获取这16个特征点对应的像素坐标系位置，带入公式(9)，即可求得头部旋转角度。
步骤5，利用头部旋转角度对初始注视点位置进行校正补偿，得到真实的注视点位置，通过真实注视点的坐标，实现老年残障人士的护理需求识别。结合图8和图9，步骤5具体如下：
研究与实验发现，两侧的歪头不会带来注视点的变化，左右摇头会影响注视点的左右运动，上下摇头会影响注视点上下移动。通过数学几何的方法可以将这种影响量化，左右摇头和上下摇头带来的注视点横坐标以及纵坐标的影响可用公式(10)计算。
Figure GDA0003740192080000071
其中，xp，yp分别表示注视点矫正后的横坐标和纵坐标，α为左右摇头的角度，θ为上下摇头的角度，d表示眼睛与屏幕之间的垂直距离，px、py分别表示屏幕水平和垂直方向上1mm对应的像素点个数(单位pix/mm)，而β,γ的计算公式如下：
Figure GDA0003740192080000072
其中xs，ys表示由眼动向量计算得到的初始注视点横坐标和纵坐标。结合图9，当得到真实的注视点位置(xp,yp)后，根据该位置属于的屏幕区域，即可获取用户的需求。
实施例
为了验证本发明提出的照护需求识别方法的有效性，选择3名志愿者进行实验并记录结果。
在屏幕上选定1个定标点，该点的屏幕坐标位置为(100,150)，对应的照护需求为“小便”。让3名志愿者依次注视这个定标点。为了准确直观的体现头部转动对注视点坐标的影响，让志愿者进行了两次注视过程：第一次人脸正对摄像头，头部保持绝对静止；第二次可以调整自己的头部，随意的注视这个点即可。在第二次注视中，记录两组数据：一组不对注视点进行校正补偿；另一组是利用头部姿态角度对注视进行校正补偿。最终三组的结果下所示：
1号志愿者眼动映射模型参数如下：
Figure GDA0003740192080000081
其需求识别结果如表1所示：
表11号志愿者需求识别结果
Figure GDA0003740192080000082
2号志愿者眼动映射模型参数如下：
Figure GDA0003740192080000083
其需求识别结果如表2所示：
表22号志愿者需求识别结果
Figure GDA0003740192080000084
3号志愿者眼动映射模型参数如下：
Figure GDA0003740192080000085
其需求识别结果如表3所示：
表33号志愿者需求识别结果
Figure GDA0003740192080000086
从上面三个结果中，可以看出：
(1)在头部静止时，本发明设计的视线追踪算法能够达到较高精度的注视点定位结果，需求识别正确率为100％。
(2)由于头部运动的随意性，如果不采取头部矫正补偿的话，会导致注视点定位造成很大程度的误差，这种误差会随着头部运动幅度的增大而增大，一旦超出误差可允许范围之内，就会导致需求识别错误的情况。
(3)本发明考虑到头部运动对视线造成的影响，通过加入头部姿态补偿算法来对注视点位置进行误差的补偿矫正，使得在测试者头部运动的情况下也能保持较高的注视点定位精度，并且将误差保持在允许的范围之内，从而不会造成需求识别错误的情况。

Claims (8)

1.一种基于视线追踪的老年残障人士照护需求识别方法，通过计算用户视线在屏幕上的注视点位置识别用户照护需求，其特征在于：在老年残障人士的面部正前方设置显示器和摄像头，显示器和摄像头连接上位机，包括以下步骤：
步骤1，通过摄像头采集用户图像，并进行人脸检测，获取稳定的面部区域RGB图像；
步骤2，使用人脸特征点定位算法定位面部区域中的人脸特征点，根据特征点位置提取眼部图像，并计算人脸平均特征点；
步骤3，从眼部图像中计算虹膜精确定位中心点，将虹膜精确定位中心点和人脸平均特征点之间的偏移向量作为眼动特征，计算用户视线初始的注视点位置，具体过程如下：
步骤3.1，对RGB眼部图像，进行灰度化，得到眼部灰度图像，对眼部灰度图像进行二值化，获取眼部二值化图，对眼部二值化图进行腐蚀和膨胀，去除睫毛的干扰，获得虹膜二值化图；
步骤3.2，在虹膜二值化图中，获取虹膜区域的左右水平最长距离即最长水平线，上下垂直最长距离即最长垂直线，将最长水平线与最长垂直线的交点作为虹膜粗定位的中心；
步骤3.3，在眼部灰度图像中，以虹膜粗定位的中心为圆心，每隔
Figure DEST_PATH_IMAGE002
角均匀向外发散星射线法，利用图像梯度计算每一条星射线上的虹膜边缘点，得到虹膜边缘点集P*；
步骤3.4，在P*中，采用RANSAC算法拟合虹膜椭圆模型，通过最小二乘法优化模型参数，得到最优的虹膜椭圆，该椭圆的圆心即为虹膜精确定位中心点；
步骤3.5，计算人脸平均特征点与虹膜精确定位中心点的偏移向量，得到眼动特征向量，利用该特征向量计算初始注视点位置；
步骤4，选择人脸特征点中的一部分特征点，采用头部姿态估计算法计算用户的头部旋转角度；
步骤5，利用头部旋转角度对初始注视点位置进行校正补偿，得到真实的注视点位置，通过真实注视点的坐标，实现老年残障人士的护理需求识别。
2.根据权利要求1所述的基于视线追踪的老年残障人士照护需求识别方法，其特征在于：所述摄像头为单目摄像头。
3.根据权利要求1所述的基于视线追踪的老年残障人士照护需求识别方法，其特征在于，步骤1的具体过程如下：
步骤1.1，采用摄像头拍摄用户上半身图像；
步骤1.2，采用级联分类器对用户上半身图像进行人脸检测，获取稳定的面部区域RGB图像。
4.根据权利要求1所述的基于视线追踪的老年残障人士照护需求识别方法，其特征在于，步骤2，使用人脸特征点定位算法定位人脸特征点，根据特征点位置提取眼部图像，并计算人脸平均特征点，具体过程如下：
步骤2.1，基于CLM模型定位面部区域中人脸的68个特征点位置；
步骤2.2，在上述68个特征点中，根据眼部的12个特征点，提取眼部区域；
步骤2.3，选择68个特征点中较为稳定的36个特征点，计算这些稳定的特征点的平均位置作为人脸平均特征点。
5.根据权利要求4所述的基于视线追踪的老年残障人士照护需求识别方法，其特征在于，所述稳定的36个特征点不包括嘴巴区域、眼睛区域的特征点。
6.根据权利要求1所述的基于视线追踪的老年残障人士照护需求识别方法，其特征在于，步骤4，选择人脸特征点中的一部分特征点，采用头部姿态估计算法计算用户的头部旋转角度，具体过程如下：
步骤4.1，采用张定友法进行相机标定，得到相机的内参矩阵M1；
步骤4.2，采用EPnP算法求解用户头部旋转的角度。
7.根据权利要求1所述的基于视线追踪的老年残障人士照护需求识别方法，其特征在于，步骤5，利用头部旋转角度对初始注视点位置进行校正补偿，得到真实的注视点位置，具体过程如下：
步骤5.1，利用头部旋转角度对用户视线初始注视点坐标进行校正补偿，获得真实的注视点坐标；
步骤5.2，根据真实的注视点坐标所在显示器的区域，所述区域显示的需求即为用户需求。
8.根据权利要求1所述的基于视线追踪的老年残障人士照护需求识别方法，其特征在于：在显示器上通过文字、图像或两者结合表示用户需求。
CN202010962619.6A 2020-09-14 2020-09-14 基于视线追踪的老年残障人士照护需求识别方法 Active CN112232128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010962619.6A CN112232128B (zh) 2020-09-14 2020-09-14 基于视线追踪的老年残障人士照护需求识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010962619.6A CN112232128B (zh) 2020-09-14 2020-09-14 基于视线追踪的老年残障人士照护需求识别方法

Publications (2)

Publication Number Publication Date
CN112232128A CN112232128A (zh) 2021-01-15
CN112232128B true CN112232128B (zh) 2022-09-13

Family

ID=74116315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010962619.6A Active CN112232128B (zh) 2020-09-14 2020-09-14 基于视线追踪的老年残障人士照护需求识别方法

Country Status (1)

Country Link
CN (1) CN112232128B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800966B (zh) * 2021-01-29 2023-03-10 展讯通信(天津)有限公司 一种视线的追踪方法及电子设备
CN113936324A (zh) * 2021-10-29 2022-01-14 Oppo广东移动通信有限公司 注视检测方法、电子设备的控制方法及相关设备
CN116052235B (zh) * 2022-05-31 2023-10-20 荣耀终端有限公司 注视点估计方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012216180A (ja) * 2011-03-30 2012-11-08 Advanced Telecommunication Research Institute International 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
CN104766059A (zh) * 2015-04-01 2015-07-08 上海交通大学 快速精确的人眼定位方法及基于人眼定位的视线估计方法
CN109044363A (zh) * 2018-09-04 2018-12-21 华南师范大学 基于头部姿态和眼动的驾驶员疲劳检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012216180A (ja) * 2011-03-30 2012-11-08 Advanced Telecommunication Research Institute International 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
CN104766059A (zh) * 2015-04-01 2015-07-08 上海交通大学 快速精确的人眼定位方法及基于人眼定位的视线估计方法
CN109044363A (zh) * 2018-09-04 2018-12-21 华南师范大学 基于头部姿态和眼动的驾驶员疲劳检测方法

Also Published As

Publication number Publication date
CN112232128A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
CN112232128B (zh) 基于视线追踪的老年残障人士照护需求识别方法
CN106056092B (zh) 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
TWI383325B (zh) 臉部表情辨識
US7512255B2 (en) Multi-modal face recognition
US11232585B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
EP3154407B1 (en) A gaze estimation method and apparatus
CN111291701B (zh) 一种基于图像梯度和椭圆拟合算法的视线追踪方法
CN111933275A (zh) 一种基于眼动与面部表情的抑郁评估系统
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN111046734A (zh) 基于膨胀卷积的多模态融合视线估计方法
CN109409298A (zh) 一种基于视频处理的视线追踪方法
CN112069986A (zh) 高龄老人眼动机器视觉跟踪方法及装置
CN114333046A (zh) 舞蹈动作评分方法、装置、设备和存储介质
CN109194952B (zh) 头戴式眼动追踪设备及其眼动追踪方法
Perez et al. Real-time iris detection on coronal-axis-rotated faces
CN114202795A (zh) 一种老年人瞳孔快速定位方法
CN112183200B (zh) 一种基于视频图像的眼动追踪方法和系统
JP2006285531A (ja) 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の視線方法を実行させるためのプログラム
CN115331153B (zh) 一种用于辅助前庭康复训练的姿态监测方法
JP7107380B2 (ja) 推定装置、推定方法、およびプログラム
JP5688514B2 (ja) 視線計測システム、方法およびプログラム
CN110781712B (zh) 一种基于人脸检测与识别的人头空间定位方法
TW201727540A (zh) 眼球識別方法及系統
CN105760848A (zh) 一种基于环形模板卷积的瞳孔定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant