CN109583292A - 一种视线区域检测方法 - Google Patents

一种视线区域检测方法 Download PDF

Info

Publication number
CN109583292A
CN109583292A CN201811185353.8A CN201811185353A CN109583292A CN 109583292 A CN109583292 A CN 109583292A CN 201811185353 A CN201811185353 A CN 201811185353A CN 109583292 A CN109583292 A CN 109583292A
Authority
CN
China
Prior art keywords
human eye
visibility region
region
height
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811185353.8A
Other languages
English (en)
Inventor
周后盘
姚广东
黄经州
阮益权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201811185353.8A priority Critical patent/CN109583292A/zh
Publication of CN109583292A publication Critical patent/CN109583292A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Abstract

本发明公开了一种视线区域检测方法，本发明涉及利用SDM算法和图像梯度信息的视线区域检测方法，是一种利用人眼轮廓中心点与实际瞳孔中心点的距离和相对位置，进而判别在电脑屏幕中人眼视线落点的区域，本发明采用SDM算法和图像梯度信息的视线区域检测方法，在对视线区域检测的精确度上有了很大的提升，说服力也更强，视线区域划分更细致；本发明具有准确率高、速度快、稳定性好、受外界因素影响小、极具实时性、视线区域划分细致的优点。

Description

一种视线区域检测方法
技术领域
本发明涉及利用SDM算法和图像梯度信息的视线区域检测方法，是一种利用人眼轮廓中心点与实际瞳孔中心点的距离和相对位置，进而判别在电脑屏幕中人眼视线落点的区域，具体涉及一种视线区域检测方法。
背景技术
人眼在帮助人类获取外界信息的同时，也反映了人类的心理活动。由此可见，视线检测的意义非常重大，对人类认识自身和辅助人类作业具有极大的帮助。视线区域检测主要发挥了获取用户特定情况下的注视点或注视方向的作用，如在阅读电子文本、浏览网页、观看广告等情况。同时也可通过视线区域检测获取用户的注视点或注视方向信息，之后将这些实时的注视点或注视方向信息作为人机交互的输入，计算机通过分析这些信息便可以按照之前一些约定好的规则来进行及时应对。
近年来，对于视线区域检测方法层出不穷。传统的头戴式视线检测需要借助额外的头部位置跟踪器或其他辅助设备才能定位视线方向，用户不能直接与真实场景交互，同时头戴式视线跟踪系统需要配合头部姿态定位仪才能准确定位视线方向。本专利通过比较人眼轮廓中心点和虹膜中心的相对位置和距离，进而判别使用者注视电脑屏幕的区域。此视线区域检测满足如下优点：1)视线区域检测无需辅助设备，操作简便；2)过程快速准确，满足精度和实时性要求；3)检测过程稳定可靠，满足鲁棒性要求，能适应个体差异和环境变化。
发明内容
本发明针对现有的视线检测的不足，提出了一种全新的视线检测方法，能够有效解决传统方法的劣势。
一种视线区域检测方法，该方法具体包括以下步骤：
步骤一：采用SDM检测算法检测人眼特征点，经多次迭代后找到特征点最优解，从而确定左/右眼的六个特征点，利用几何知识，定位人眼轮廓中心点；
步骤二：利用图像梯度信息来获取虹膜的中心位置；
步骤三：采用最小二乘法椭圆拟合算法拟合人眼轮廓，然后依据拟合椭圆的宽高比确定人眼的开闭状态；
步骤四：如果宽高比大于设定睁开阈值，则人眼属于睁开状态，跳转到步骤五；如果宽高比小于设定的睁开阈值，人眼属于关闭状态，输出人眼关闭；
步骤五：计算人眼轮廓中心点与实际瞳孔的距离，该距离与给定中心半径比较，当该距离大于给定中心半径，则判别人眼视线区域不在“中间”，跳转步骤六；当该距离小于给定中心半径，输出人眼视线区域为“中间”；
步骤六：如果宽高比小于或等于给定的临界阈值，则视线区域定位到“左下”、“右下”，比较人眼轮廓中心点位置x0与实际瞳孔位置x的距离和相对位置，当x<x0-0.4*b时，输出人眼视线区域为“右下”，当x>x0+0.4*b，输出人眼视线区域为“左下”；b为虹膜的短半轴长；否则，跳转到步骤七；
步骤七：如果宽高比大于给定的临界阈值，则视线区域定位到“左上”、“右上”，比较人眼轮廓中心点位置与实际瞳孔位置的距离和相对位置，当x<x0-0.4*b时，输出人眼视线区域为“右上”，当x>x0+0.4*b，输出人眼视线区域为“左上”。
本发明的有益效果：
1.本发明采用SDM算法和图像梯度信息的视线区域检测方法，在对视线区域检测的精确度上有了很大的提升，说服力也更强，视线区域划分更细致。
2.本发明采用SDM算法检测人眼特征点，该算法是一种优化方法，用此算法来进行人眼特征点检测，主要作用用在目标函数的优化求解上，充分降低了计算的复杂度，提高了结果的准确性，速度快且稳定。
3.本发明采用图像梯度信息检测虹膜中心，在头部偏转不大且戴眼镜情况下的实时检测效果依然表现良好，甚至在人眼呈半睁开状态下视线区域检测依然精准。
本视线区域检测方法具有准确率高、速度快、稳定性好、受外界因素影响小、极具实时性、视线区域划分细致的优点。
附图说明
图1为本发明视线区域检测流程图；
图2为本发明SDM算法检测人眼特征点示意图；
图3为本发明视线区域检测中人眼开闭状态实现流程图；
图4为本发明眼球模拟图；
图5为本发明视线区域检测中虹膜中心与人眼轮廓相对位置示意图；
图6为本发明视线区域检测中虹膜中心与人眼轮廓相对位置实现流程图；
图7为本发明视线区域检测效果图。
具体实施方式
下面结合附图对本发明作进一步的说明。
一、本发明视线区域检测流程图如图1所示
本发明具体实施流程为：用最小二乘法椭圆拟合算法拟合人眼轮廓，然后用拟合椭圆的宽高比来确定人眼的开闭状态。通过人眼宽高比值确定人眼是否睁开，当宽高比大于睁开阈值且小于或等于给定的临界阈值，用人眼轮廓中心点位置与实际瞳孔位置的距离和相对位置，进而判断视线的具体区域方向；如果宽高比大于给定的阈值，用人眼轮廓中心点位置与实际瞳孔位置的距离和相对位置，进而判断视线的具体区域方向。当宽高比小于睁开阈值判断出人眼属于关闭状态。
主要包括SDM算法、图像梯度算法、视线区域检测，并对视线区域进行判断。
(1)本发明所使用的视线检测方法需要知道人眼的特征点，初始点人眼特征点如图2中的A所示，SDM通过多次迭代后将获得最优解人眼特征点，如图2中的B、C、D所示。其中A为初始状态下的特征点，B为在未佩戴眼镜情况下SDM方法作用后的最终检测到人脸特征点，C佩戴人眼情况下SDM方法作用后的最终检测到人脸特征点，D为佩戴眼镜、头部并有一定偏转角度情况下最终检测到人眼特征点。综合分析，在使用SDM方法检测特征点具有十分准确的效果。
(2)本发明考虑利用人眼轮廓来计算人眼宽高比，再进行人眼闭合判断，具体实现流程图如图3所示。椭圆拟合处理主要是通过拟合得到的椭圆获取人眼轮廓宽高比值，由最小二乘法拟合算法实现。
(3)本发明利用图像梯度信息来获取虹膜中心位置，原理为圆形物体的中心点可通过分析图像上的梯度向量获取中心点，眼球模拟图如图4所示。c代表可能的瞳孔位置，黑色圆以外区域为巩膜区域(人眼白色区域)，该模型表示要求的圆心点与图像梯度方向的关系，其中di为归一化的位移矢量，gi为梯度向量，当c为真正的圆心时di和gi有相同的位移矢量，反之两者将存在一个夹角。瞳孔通常比皮肤和巩膜的颜色要深，给每一个可能的中心点c赋予一个权值wc，其中颜色深的权值高于较亮区域的权值。最终可通过公式：来求取实际的圆心坐标c*。
(4)本发明基于SMD算法求得的特征点坐标与图像梯度信息获取的虹膜中心位置坐标，进行视线区域检测，虹膜中心与人眼轮廓相对位置示意图如图5所示。以左眼为例，运用SMD算法可得人眼轮廓特征点为6个。由图中的人眼特征点坐标P1(x1，y1)，P2(x2，y2)，P5(x5，y5)，P4(x4，y4)，P3(x3，y3)，P6(x6，y6)，利用下列公式：2a＝x3-x6，2b＝y2-y4可求得人眼轮廓中心点坐标P0(x0，y0)，人眼轮廓长轴长为2a，人眼轮廓短轴长为2b；运用图像梯度信息获取的虹膜中心位置坐标P(x，y)。
通过结合椭圆拟合算法，求得人眼宽高比，比较人眼轮廓中心点坐标P0(x0，y0)与虹膜中心位置坐标P(x，y)的距离和相对位置，进行判别人眼视线区域。本发明把视线区域分为“左上”、“左下”、“右上”、“右下”、“中间”,共五个视线区域，本发明按照下面步骤进行人眼视线区域分析：
1)运用最小二乘法椭圆拟合算法拟合人眼轮廓，利用拟合椭圆的宽高比来确定人眼的开闭状态。如果人眼宽高比小于设定的睁开阈值0.24(经实验验证，当睁开阈值为0.24时，实验效果最接近真实场景)，输出视线区域为：“人眼闭合”；否则进行步骤2。
2)已知人眼轮廓中心点坐标P0(x0，y0)，虹膜中心位置坐标P(x，y)，可得两者的距离如果d＞0.4*b(参数b为短半轴长)，则进行步骤3；否则输出视线区域为：“中间”。
3)如果人眼轮廓宽高比大于或等于0.3(经实验验证，当阈值为0.3时，实验效果最接近真实场景)时，当x<x0-0.4*b时，输出人眼视线区域为：“右上”，当x>x0+0.4*b，输出人眼视线区域为：“左上”；否则人眼轮廓宽高比小于0.3时，当x<x0-0.4*b时，输出人眼视线区域为：“右下”，当x>x0+0.4*b，输出人眼视线区域为：“左下”。本发明中视线区域检测中虹膜中心与人眼轮廓相对位置实现流程图如图6所示。最终本发明中视线区域检测中效果图如图7所示(注：在电脑屏幕中显示效果与人眼实际视线左右方向相反)。

Claims (1)

1.一种视线区域检测方法，其特征在于，该方法具体包括以下步骤：
步骤一：采用SDM检测算法检测人眼特征点，经多次迭代后找到特征点最优解，从而确定左/右眼的六个特征点，利用几何知识，定位人眼轮廓中心点；
步骤二：利用图像梯度信息来获取虹膜的中心位置；
步骤三：采用最小二乘法椭圆拟合算法拟合人眼轮廓，然后依据拟合椭圆的宽高比确定人眼的开闭状态；
步骤四：如果宽高比大于设定睁开阈值，则人眼属于睁开状态，跳转到步骤五；如果宽高比小于设定的睁开阈值，人眼属于关闭状态，输出人眼关闭；
步骤五：计算人眼轮廓中心点与实际瞳孔的距离，该距离与给定中心半径比较，当该距离大于给定中心半径，则判别人眼视线区域不在“中间”，跳转步骤六；当该距离小于给定中心半径，输出人眼视线区域为“中间”；
步骤六：如果宽高比小于或等于给定的临界阈值，则视线区域定位到“左下”、“右下”，比较人眼轮廓中心点位置x0与实际瞳孔位置x的距离和相对位置，当x<x0-0.4*b时，输出人眼视线区域为“右下”，当x>x0+0.4*b，输出人眼视线区域为“左下”；b为虹膜的短半轴长；否则，跳转到步骤七；
步骤七：如果宽高比大于给定的临界阈值，则视线区域定位到“左上”、“右上”，比较人眼轮廓中心点位置与实际瞳孔位置的距离和相对位置，当x<x0-0.4*b时，输出人眼视线区域为“右上”，当x>x0+0.4*b，输出人眼视线区域为“左上”。
CN201811185353.8A 2018-10-11 2018-10-11 一种视线区域检测方法 Pending CN109583292A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811185353.8A CN109583292A (zh) 2018-10-11 2018-10-11 一种视线区域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811185353.8A CN109583292A (zh) 2018-10-11 2018-10-11 一种视线区域检测方法

Publications (1)

Publication Number Publication Date
CN109583292A true CN109583292A (zh) 2019-04-05

Family

ID=65920324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811185353.8A Pending CN109583292A (zh) 2018-10-11 2018-10-11 一种视线区域检测方法

Country Status (1)

Country Link
CN (1) CN109583292A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381368A (zh) * 2019-07-11 2019-10-25 北京字节跳动网络技术有限公司 视频封面生成方法、装置及电子设备
CN110414427A (zh) * 2019-07-26 2019-11-05 Oppo广东移动通信有限公司 基于眼球追踪的测光方法及相关产品
CN110427108A (zh) * 2019-07-26 2019-11-08 Oppo广东移动通信有限公司 基于眼球追踪的拍照方法及相关产品
CN111488844A (zh) * 2020-04-16 2020-08-04 深圳市瑞立视多媒体科技有限公司 眼睛状态的检测方法、装置、设备及存储介质
CN111881830A (zh) * 2020-07-28 2020-11-03 安徽爱学堂教育科技有限公司 一种基于注意力集中度检测的交互提示方法
CN112434741A (zh) * 2020-11-25 2021-03-02 杭州盛世传奇标识系统有限公司 一种互动介绍标识的使用方法、系统、装置和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620359A (zh) * 2008-07-04 2010-01-06 华晶科技股份有限公司 眼睛视线判断的方法
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN104133548A (zh) * 2013-05-03 2014-11-05 中国移动通信集团公司 确定视点区域及控制屏幕亮度的方法及装置
CN106774863A (zh) * 2016-12-03 2017-05-31 西安中科创星科技孵化器有限公司 一种基于瞳孔特征实现视线追踪的方法
CN107728770A (zh) * 2017-09-26 2018-02-23 努比亚技术有限公司 终端屏幕亮度调整方法、移动终端和计算机可读存储介质
CN108108684A (zh) * 2017-12-15 2018-06-01 杭州电子科技大学 一种融合视线检测的注意力检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620359A (zh) * 2008-07-04 2010-01-06 华晶科技股份有限公司 眼睛视线判断的方法
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN104133548A (zh) * 2013-05-03 2014-11-05 中国移动通信集团公司 确定视点区域及控制屏幕亮度的方法及装置
CN106774863A (zh) * 2016-12-03 2017-05-31 西安中科创星科技孵化器有限公司 一种基于瞳孔特征实现视线追踪的方法
CN107728770A (zh) * 2017-09-26 2018-02-23 努比亚技术有限公司 终端屏幕亮度调整方法、移动终端和计算机可读存储介质
CN108108684A (zh) * 2017-12-15 2018-06-01 杭州电子科技大学 一种融合视线检测的注意力检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YIQUAN RUAN: "An Improved Method for Human Eye State Detection Based on Least Square Ellipse Fitting Algorithm", 《2018 13TH WORLD CONGRESS ON INTELLIGENT CONTROL AND AUTOMATION》 *
熊碧辉 等: "一种融合视线检测的注意力检测方法", 《软件导刊》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381368A (zh) * 2019-07-11 2019-10-25 北京字节跳动网络技术有限公司 视频封面生成方法、装置及电子设备
CN110414427A (zh) * 2019-07-26 2019-11-05 Oppo广东移动通信有限公司 基于眼球追踪的测光方法及相关产品
CN110427108A (zh) * 2019-07-26 2019-11-08 Oppo广东移动通信有限公司 基于眼球追踪的拍照方法及相关产品
CN111488844A (zh) * 2020-04-16 2020-08-04 深圳市瑞立视多媒体科技有限公司 眼睛状态的检测方法、装置、设备及存储介质
CN111488844B (zh) * 2020-04-16 2023-10-20 深圳市瑞立视多媒体科技有限公司 眼睛状态的检测方法、装置、设备及存储介质
CN111881830A (zh) * 2020-07-28 2020-11-03 安徽爱学堂教育科技有限公司 一种基于注意力集中度检测的交互提示方法
CN112434741A (zh) * 2020-11-25 2021-03-02 杭州盛世传奇标识系统有限公司 一种互动介绍标识的使用方法、系统、装置和存储介质

Similar Documents

Publication Publication Date Title
CN109583292A (zh) 一种视线区域检测方法
Horng et al. Driver fatigue detection based on eye tracking and dynamic template matching
CN108734086B (zh) 基于眼部区域生成网络的眨眼频率和视线估计方法
EP3422246A1 (en) Method for awakening intelligent robot, and intelligent robot
EP2150170B1 (en) Methods and apparatus for estimating point-of-gaze in three dimensions
CN109375765B (zh) 眼球追踪交互方法和装置
US20100191156A1 (en) Human state estimating device and method
CN105955465A (zh) 一种桌面便携式视线跟踪方法及装置
CN105809144A (zh) 一种采用动作切分的手势识别系统和方法
CN101593352A (zh) 基于面部朝向和视觉焦点的驾驶安全监测系统
JP5225870B2 (ja) 情動分析装置
CN105224285A (zh) 眼睛开闭状态检测装置和方法
CN105516280A (zh) 一种多模态学习过程状态信息压缩记录方法
CN110221699A (zh) 一种前置摄像头视频源的眼动行为识别方法
CN109634431B (zh) 无介质浮空投影视觉追踪互动系统
Bei et al. Sitting posture detection using adaptively fused 3D features
CN113743471A (zh) 一种驾驶评估方法及其系统
CN115937928A (zh) 基于多视觉特征融合的学习状态监测方法及系统
CN107977622B (zh) 基于瞳孔特征的眼睛状态检测方法
CN109634407A (zh) 一种基于多模人机传感信息同步采集与融合的控制方法
Amudha et al. A fuzzy based eye gaze point estimation approach to study the task behavior in autism spectrum disorder
CN112528767A (zh) 基于机器视觉的施工机械操作员疲劳作业检测系统及方法
JP2016111612A (ja) コンテンツ表示装置
CN112990105B (zh) 对用户评价的方法、装置、电子设备和存储介质
Zhang et al. Mask R-CNN method for dashboard feature extraction in eye tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination