CN111488845A - 眼睛视线的检测方法、装置、设备及存储介质 - Google Patents

眼睛视线的检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111488845A
CN111488845A CN202010301951.8A CN202010301951A CN111488845A CN 111488845 A CN111488845 A CN 111488845A CN 202010301951 A CN202010301951 A CN 202010301951A CN 111488845 A CN111488845 A CN 111488845A
Authority
CN
China
Prior art keywords
target
eye
image
sight line
feature mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010301951.8A
Other languages
English (en)
Inventor
黄少光
许秋子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Realis Multimedia Technology Co Ltd
Original Assignee
Shenzhen Realis Multimedia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Realis Multimedia Technology Co Ltd filed Critical Shenzhen Realis Multimedia Technology Co Ltd
Priority to CN202010301951.8A priority Critical patent/CN111488845A/zh
Publication of CN111488845A publication Critical patent/CN111488845A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像识别技术领域，公开了一种眼睛视线的检测方法、装置、设备及存储介质，用于采用深度学习模型对待检测的目标图像进行特征点提取，基于特征点坐标得到目标眼睛视线，缓解了眼睛瞳孔大数据量不足的问题，提高了眼睛视线方向识别的准确性。眼睛视线的检测方法包括：获取待检测的目标图像；采用深度学习模型对待检测的目标图像进行特征提取，得到多个边缘特征标记点，并基于多个特征标记点判断目标眼睛是否为张眼状态；若目标眼睛为张眼状态，则基于多个边缘特征标记点和预置处理算法得到目标掩码图像；对目标掩码图像进行预处理，得到预处理后的目标图像；根据预处理后的目标图像，得到目标眼睛视线。

Description

眼睛视线的检测方法、装置、设备及存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种眼睛视线的检测方法、装置、设备及存储介质。
背景技术
瞳孔是眼睛和视线方向的重要特征，通过定位眼睛和瞳孔中心的位置就可以表达出眼睛的视线方向、眼睛开闭等特征。随着图像大数据、深度学习等技术的发展，人脸识别等技术已经非常成熟，人们对人机交互、人脸表情交互、人脸捕捉等的需求大大提高。
目前眼睛定位技术大部分基于人脸识别技术，大部分的人脸表情研究都做得比较粗糙，比如人脸表情仅仅识别微笑、大笑、忧伤、痛苦或者镇静等分类识别；部分眼睛定位技术可以定位眼睛的位置或者进行眼睛视线追踪。
在现有技术中，主要采用传统图像算法或者深度学习研究眼睛视线方向，但是采用传统算法研究眼睛视线方向存在识别精度较低的情况，且采用深度学习方法研究眼睛视线方向存在无法支撑眼睛瞳孔大数据的问题。
发明内容
本发明的主要目的在于解决眼睛瞳孔识别精度低，且缓解眼睛瞳孔大数据不足的问题。
本发明第一方面提供了一种眼睛视线的检测方法，包括：获取待检测的目标图像，所述待检测的目标图像包括目标眼睛；采用深度学习模型对所述待检测的目标图像进行特征提取，得到多个边缘特征标记点，并基于所述多个特征标记点判断所述目标眼睛是否为张眼状态，所述多个边缘特征标记点位于所述目标眼睛边缘，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系；若所述目标眼睛为张眼状态，则基于所述待检测的目标图像、所述多个边缘特征标记点和预置处理算法得到目标掩码图像，所述目标掩码图像为二值图像；对所述目标掩码图像进行预处理，得到预处理后的目标图像；根据所述预处理后的目标图像，得到目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线。
可选的，在本发明第一方面的第一种实现方式中，所述采用深度学习模型对所述待检测的目标图像进行特征提取，得到多个边缘特征标记点，并基于所述多个特征标记点判断所述目标眼睛是否为张眼状态，所述多个边缘特征标记点位于所述目标眼睛边缘，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系包括：将所述待检测的目标图像输入深度学习模型，得到多个边缘特征标记点，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系；读取所述多个边缘特征标记点对应的坐标，得到多个边缘特征标记点坐标；基于最小二乘法对所述多个边缘特征标记点坐标进行计算，得到眼睛闭合比率；判断所述目标眼睛闭合比率是否大于或者等于标准眼睛闭合比率；若所述目标眼睛闭合比率大于或者等于所述标准眼睛闭合比率，则确定所述目标眼睛为张眼状态。
可选的，在本发明第一方面的第二种实现方式中，所述若所述目标眼睛为张眼状态，则基于所述待检测的目标图像、所述多个边缘特征标记点和预置处理算法得到目标掩码图像，所述目标掩码图像为二值图像包括：若所述目标眼睛为张眼状态，则采用预置处理算法依次将多个边缘特征标记点进行连接，得到初始掩码图像，所述初始掩码图像包括目标多边形区域和其他区域，所述目标多边形区域像素值为最大值，所述其他区域像素值为最小值，所述其他区域为所述初始掩码图像中除所述目标多边形区域之外的区域；对初始掩码图像进行高斯滤波，得到目标掩码图像。
可选的，在本发明第一方面的第三种实现方式中，所述对所述目标掩码图像进行预处理，得到预处理后的目标图像包括：对所述目标掩码图像的每个通道进行直方图均衡化处理，得到灰度化图像；采用大津算法对所述灰度化图像进行阈值分割处理，得到初始二值图像；对所述初始二值图像进行灰度值取反处理，得到目标二值图像；对所述目标二值图像和目标掩码图像进行逻辑与处理，得到取与后的目标二值图像；采用预置结构元素对所述取与后的目标二值图像中的目标多边形区域进行膨胀形态学处理，得到预处理后的目标图像。
可选的，在本发明第一方面的第四种实现方式中，所述根据所述预处理后的目标图像，检测目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线包括：从所述预处理后的目标图像中，计算得出目标眼睛视线值；根据所述目标眼睛视线值，得到目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线。
可选的，在本发明第一方面的第五种实现方式中，所述从所述预处理后的目标图像中，计算得出目标眼睛视线值包括：基于所述预处理后的目标图像，在多个连通区域中选取面积最大的区域，得到目标连通区域，所述预处理后的目标图像中包括多个联通区域；在所述目标连通区域中，确定所述目标连通区域的中心，得到瞳孔特征标记点；对所述第一参考特征标记点和所述瞳孔特征标记点进行距离计算，得到第一距离；对所述第一参考特征标记点和所述第二参考特征标记点进行距离计算，得到第二距离；计算所述第一距离和所述第二距离的比值，得到目标眼睛视线值。
可选的，在本发明第一方面的第六种实现方式中，所述根据所述目标眼睛视线值，得到目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线包括：读取所述目标眼睛视线值，并判断所述目标眼睛视线值是否属于第一阈值区间、第二阈值区间或者第三阈值区间；若所述目标眼睛视线值属于第一阈值区间，则得到第一目标眼睛视线；若所述目标眼睛视线值属于第二阈值区间，则得到第二目标眼睛视线；若所述目标眼睛视线值属于第三阈值区间，则得到第三目标眼睛视线。
本发明第二方面提供了一种眼睛视线的检测装置，包括：图像获取模块，用于获取待检测的目标图像，所述待检测的目标图像包括目标眼睛；状态判断模块，用于采用深度学习模型对所述待检测的目标图像进行特征提取，得到多个边缘特征标记点，并基于所述多个特征标记点判断所述目标眼睛是否为张眼状态，所述多个边缘特征标记点位于所述目标眼睛边缘，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系；掩码图像获取模块，若所述目标眼睛为张眼状态，则用于基于所述待检测的目标图像、所述多个边缘特征标记点和预置处理算法得到目标掩码图像，所述目标掩码图像为二值图像；预处理模块，用于对所述目标掩码图像进行预处理，得到预处理后的目标图像；眼睛视线获取模块，用于根据所述预处理后的目标图像，得到目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线。
可选的，在本发明第二方面的第一种实现方式中，所述状态判断模块具体用于：将所述待检测的目标图像输入深度学习模型，得到多个边缘特征标记点，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系；读取所述多个边缘特征标记点对应的坐标，得到多个边缘特征标记点坐标；基于最小二乘法对所述多个边缘特征标记点坐标进行计算，得到眼睛闭合比率；判断所述目标眼睛闭合比率是否大于或者等于标准眼睛闭合比率；若目标眼睛闭合比率大于或者等于所述标准眼睛闭合比率，则确定所述目标眼睛为张眼状态。
可选的，在本发明第二方面的第二种实现方式中，所述掩码图像获取模块具体用于：若所述目标眼睛为张眼状态，则采用预置处理算法依次将多个边缘特征标记点进行连接，得到初始掩码图像，所述初始掩码图像包括目标多边形区域和其他区域，所述目标多边形区域像素值为最大值，所述其他区域像素值为最小值，所述其他区域为所述初始掩码图像中除所述目标多边形区域之外的区域；对所述初始掩码图像进行高斯滤波，得到目标掩码图像。
可选的，在本发明第二方面的第三种实现方式中，所述预处理模块具体用于：对所述目标掩码图像的每个通道进行直方图均衡化处理，得到灰度化图像；采用大津算法对所述灰度化图像进行阈值分割处理，得到初始二值图像；对所述初始二值图像进行灰度值取反处理，得到目标二值图像；对所述目标二值图像和目标掩码图像进行逻辑与处理，得到取与后的目标二值图像；采用预置结构元素对所述取与后的目标二值图像中的目标多边形区域进行膨胀形态学处理，得到预处理后的目标图像。
可选的，在本发明第二方面的第四种实现方式中，所述眼睛视线获取模块具体包括：视线值计算单元，用于从所述预处理后的目标图像中，计算得出目标眼睛视线值；眼睛视线获取单元，用于根据所述目标眼睛视线值，得到目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线。
可选的，在本发明第二方面的第五种实现方式中，所述视线值计算单元具体用于：基于所述预处理后的目标图像，在多个连通区域中选取面积最大的区域，得到目标连通区域，所述预处理后的目标图像中包括多个联通区域；在所述目标连通区域中，确定所述目标连通区域的中心，得到瞳孔特征标记点；对所述第一参考特征标记点和所述瞳孔特征标记点进行距离计算，得到第一距离；对所述第一参考特征标记点和所述第二参考特征标记点进行距离计算，得到第二距离；计算所述第一距离和所述第二距离的比值，得到目标眼睛视线值。
可选的，在本发明第二方面的第六种实现方式中，所述眼睛视线获取单元具体用于：读取所述目标眼睛视线值，并判断所述目标眼睛视线值是否属于第一阈值区间、第二阈值区间或者第三阈值区间；若所述目标眼睛视线值属于第一阈值区间，则得到第一目标眼睛视线；若所述目标眼睛视线值属于第二阈值区间，则得到第二目标眼睛视线；若所述目标眼睛视线值属于第三阈值区间，则得到第三目标眼睛视线。
本发明第三方面提供了一种眼睛视线的检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述眼睛视线的检测设备执行上述的眼睛视线的检测方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的眼睛视线的检测方法。
本发明提供的技术方案中，获取待检测的目标图像，所述待检测的目标图像包括目标眼睛；采用深度学习模型对所述待检测的目标图像进行特征提取，得到多个边缘特征标记点，并基于所述多个特征标记点判断所述目标眼睛是否为张眼状态，所述多个边缘特征标记点位于所述目标眼睛边缘，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系；若所述目标眼睛为张眼状态，则基于所述待检测的目标图像、所述多个边缘特征标记点和预置处理算法得到目标掩码图像，所述目标掩码图像为二值图像；对所述目标掩码图像进行预处理，得到预处理后的目标图像；根据所述预处理后的目标图像，得到目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线。本发明实施例中，采用深度学习模型对待检测的目标图像进行特征点提取，基于特征点坐标得到目标眼睛视线值，根据目标眼睛视线值得到目标眼睛视线，缓解了眼睛瞳孔大数据量不足的问题，提高了眼睛视线方向识别的准确性。
附图说明
图1为本发明实施例中眼睛视线的检测方法的一个实施例示意图；
图2为本发明实施例中眼睛视线的检测方法的另一个实施例示意图；
图3为本发明实施例中眼睛视线的检测装置的一个实施例示意图；
图4为本发明实施例中眼睛视线的检测装置的另一个实施例示意图；
图5为本发明实施例中眼睛视线的检测设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种眼睛视线的检测方法、装置、设备及存储介质，用于采用深度学习模型对待检测的目标图像进行特征点提取，对待检测目标图像进行一系列预处理，基于特征点坐标得到目标眼睛视线值，根据目标眼睛视线值得到目标眼睛视线，缓解了眼睛瞳孔大数据量不足的问题，提高了眼睛视线方向识别的准确性。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中眼睛视线的检测方法的一个实施例包括：
101、获取待检测的目标图像，待检测的目标图像包括目标眼睛；
服务器获取包括目标眼睛的待检测的目标图像。
服务器获取来自手机、电脑或者摄影机等终端的图像，待检测的目标图像可以为拍摄到的眼睛的图像，也可以为在人脸图像中定位出眼睛区域的图像。
需要说明的是，本实施例不对待检测的目标图像的格式和待检测的目标图像的大小进行限定。
可以理解的是，本发明的执行主体可以为眼睛视线的检测装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
102、采用深度学习模型对待检测的目标图像进行特征提取，得到多个边缘特征标记点，并基于多个特征标记点判断目标眼睛是否为张眼状态，多个边缘特征标记点位于目标眼睛边缘，多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，第一参考特征标记点和第二参考特征标记点为直线对称关系；
服务器采用深度学习模型对待检测的目标图像进行特征提取，得到用于判断目标眼睛是否为张眼状态的多个边缘特征标记点，多个边缘特征标记点位于目标眼睛边缘且至少包括呈直线对称关系的第一参考特征标记点和第二参考特征标记点。
服务器将待检测的目标图像输入深度学习模型进行特征提取，得到多个边缘特征标记点，例如，服务器得到P0、P1、P2、P3、P4、P5、P6和P7这8个边缘特征标记点，在这些边缘特征标记点中，至少包括第一参考特征标记点和第二参考特征标记点。每个边缘特征标记点带有特征标识，即下角标的数字，按照顺序为每个边缘特征标记点设置特征标识，比如，参照上述例子中的8个边缘特征标记点，8个边缘特征标记点的分部情况为1个第一参考特征标记点，假设本实施例中的第一参考特征标记点为眼角特征标记点、6个其他边缘特征标记点，假设6个其他边缘特征标记点为3个上眼睑特征标记点和3个下眼睑特征标记点以及1个第二参考特征标记点，假设为眼尾特征标记点，按照顺序为8个边缘特征标记点设置特征标识，因此第一参考特征标记点为P0、3个上眼睑的边缘特征标记点分别为P1、P2和P3、第二参考特征标记点为P4以及3个下眼睑特征标记点分别为P5、P6和P7。在其他实施例中，第一参考特征标记点也可以为上眼睑的某个边缘特征标记点，此时第二参考特征标记点需要为与该边缘特征标记点呈直线对称关系的边缘特征标记点。
需要说明的是，采用深度学习模型对待检测的目标图像进行特征提取而得到的多个边缘特征标记点包括多个边缘特征标记点坐标，服务器能够从每个边缘特征标记点中读取对应的边缘特征标记点坐标。
服务器基于多个边缘特征标记点对应的坐标进行一系列运算，得到眼睛闭合比率，基于眼睛闭合比率判断目标眼睛是否处于张眼状态，如果目标眼睛处于闭眼状态，则重新获取待检测的目标图像进行视线检测；如果目标眼睛处于张眼状态，则对待检测的目标图像进行视线检测。
103、若目标眼睛为张眼状态，则基于待检测的目标图像、多个边缘特征标记点和预置处理算法得到目标掩码图像，目标掩码图像为二值图像；
如果服务器判定目标眼睛为张眼状态，服务器则基于多个边缘特征标记点和预置处理算法得到属性为二值图像的目标掩码图像。
在本实施例中，预置处理算法为一种连接算法，采用预置处理算法能够按照顺序将多个边缘标记点依次相连，从而得到一个闭合的区域。掩码图像为二值图像，即在图像中的像素值只有两个值，最大值和最小值，最大值为255，最小值为0。
服务器采用预置处理算法，将待检测的目标图像中的多个边缘特征标记点从第一参考特征标记点开始依次相连，例如将P0、P1、P2、P3、P4、P5、P6和P7从P0开始依次连接P1、P2、P3、P4、P5、P6和P7，从而得到目标掩码图像。
104、对目标掩码图像进行预处理，得到预处理后的目标图像；
服务器对目标掩码图像进行预处理，从而得到预处理后的目标图像。
服务器对目标掩码图像进行直方图均衡化、大津算法、取反、逻辑与及膨胀形态学等处理，得到预处理后的目标图像。预处理后的目标图像对比度较强、图像的分割阈值较明确，识别目标掩码图像中的连通区域更加准确以及噪声被降到最低。
105、根据预处理后的目标图像，得到目标眼睛视线，目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线。
服务器根据预处理后的目标图像，得到包括第一目标眼睛视线、第二目标眼睛视线和第三目标眼睛视线的目标眼睛视线。
需要说明的是，在本实施例中，主要以第一目标眼睛视线为视线向左，第二目标眼睛视线为视线向中间，第三目标眼睛视线为视线向右为例进行说明。在其他实施例中，第一目标眼睛视线、第二目标眼睛视线和第三目标眼睛视线也可以为其他方向，比如向上、向下、向中间等，目标眼睛视线具体为什么方向可参考实际情况进行说明，不对目标眼睛视线做具体限定。
本发明实施例中，采用深度学习模型对待检测的目标图像进行特征点提取，基于特征点坐标得到目标眼睛视线值，根据目标眼睛视线值得到目标眼睛视线，缓解了眼睛瞳孔大数据量不足的问题，提高了眼睛视线方向识别的准确性。
请参阅图2，本发明实施例中眼睛视线的检测方法的另一个实施例包括：
201、获取待检测的目标图像，待检测的目标图像包括目标眼睛；
服务器获取包括目标眼睛的待检测的目标图像。
服务器获取来自手机、电脑或者摄影机等终端的图像，待检测的目标图像可以为拍摄到的眼睛的图像，也可以为在人脸图像中定位出眼睛区域的图像。
需要说明的是，本实施例并不对待检测的目标图像的格式和待检测的目标图像的大小进行限定。
202、采用深度学习模型对待检测的目标图像进行特征提取，得到多个边缘特征标记点，并基于多个特征标记点判断目标眼睛是否为张眼状态，多个边缘特征标记点位于目标眼睛边缘，多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，第一参考特征标记点和第二参考特征标记点为直线对称关系；
服务器采用深度学习模型对待检测的目标图像进行特征提取，得到用于判断目标眼睛是否为张眼状态的多个边缘特征标记点，多个边缘特征标记点位于目标眼睛边缘且至少包括呈直线对称关系第一参考特征标记点和第二参考特征标记点。
服务器将待检测的目标图像输入深度学习模型进行特征提取，得到多个边缘特征标记点，例如，服务器得到P0、P1、P2、P3、P4、P5、P6和P7这8个边缘特征标记点，在这些边缘特征标记点中，至少包括第一参考特征标记点和第二参考特征标记点。每个边缘特征标记点带有特征标识，即下角标的数字，按照顺序为每个边缘特征标记点设置特征标识，比如，参照上述例子中的8个边缘特征标记点，8个边缘特征标记点的分部情况为1个第一参考特征标记点，假设本实施例中的第一参考特征标记点为眼角特征标记点、6个其他边缘特征标记点，假设6个其他边缘特征标记点为3个上眼睑特征标记点和3个下眼睑特征标记点以及1个第二参考特征标记点，假设为眼尾特征标记点，按照顺序为8个边缘特征标记点设置特征标识，因此第一参考特征标记点为P0、3个上眼睑的边缘特征标记点分别为P1、P2和P3、第二参考特征标记点为P4以及3个下眼睑特征标记点分别为P5、P6和P7。在其他实施例中，第一参考特征标记点也可以为上眼睑的某个边缘特征标记点，此时第二参考特征标记点需要为与该边缘特征标记点呈直线对称关系的边缘特征标记点。
需要说明的是，采用深度学习模型对待检测的目标图像进行特征提取而得到的多个边缘特征标记点包括多个边缘特征标记点坐标，服务器能够从每个边缘特征标记点中读取对应的边缘特征标记点坐标。
服务器基于多个边缘特征标记点对应的坐标进行一系列运算，得到眼睛闭合比率，基于眼睛闭合比率判断目标眼睛是否处于张眼状态，如果目标眼睛处于闭眼状态，则重新获取待检测的目标图像进行视线检测；如果目标眼睛处于张眼状态，则对待检测的目标图像进行视线检测。
具体的，服务器将待检测的目标图像输入深度学习模型，得到至少包括第一参考特征标记点和第二参考特征标记点的多个边缘特征标记点，第一参考特征标记点和第二参考特征标记点为直线对称关系；服务器读取多个边缘特征标记点对应的坐标，从而得到多个边缘特征标记点坐标；服务器基于最小二乘法对多个边缘特征标记点坐标进行椭圆方程参数的计算，得到椭圆参数，再对椭圆参数进行闭合比率计算，从而得到眼睛闭合比率并判断目标眼睛闭合比率是否大于或者等于标准眼睛闭合比率。如果判定目标眼睛闭合比率大于或者等于标准眼睛闭合比率，则说明目标眼睛为张眼状态，从而可以检测目标眼睛视线。
例如，标准眼睛闭合比率为0.7，基于最小二乘法对多个边缘特征标记点坐标进行闭合比率计算得到的目标眼睛闭合比率为0.8，则判定目标眼睛为张眼状态。
203、若目标眼睛为张眼状态，则基于待检测的目标图像、多个边缘特征标记点和预置处理算法得到目标掩码图像，目标掩码图像为二值图像；
如果服务器判定目标眼睛为张眼状态，服务器则基于多个边缘特征标记点和预置处理算法得到属性为二值图像的目标掩码图像。
在本实施例中，预置处理算法为一种连接算法，采用预置处理算法能够按照顺序将多个边缘标记点依次相连，从而得到一个闭合的区域。掩码图像为二值图像，即在图像中的像素值只有两个值，最大值和最小值，最大值为255，最小值为0。
服务器采用预置处理算法，将待检测的目标图像中的多个边缘特征标记点依次相连，例如将P0、P1、P2、P3、P4、P5、P6和P7从P0开始依次连接P1、P2、P3、P4、P5、P6和P7至P0，从而得到目标掩码图像。
具体的，如果服务器判定目标人员为张眼状态，服务器则采用预置处理算法依次将多个边缘特征标记点连接起来，从而得到包括目标多边形区域和其他区域的初始掩码图像，其中，目标多边形区域像素值为最大值，其他区域像素值为最小值；然后服务器对初始掩码图像进行高斯滤波，从而得到目标掩码图像。
例如，将待检测的目标图像中的多个边缘特征标记点P0、P1、P2、P3、P4、P5、P6和P7依次相连，得到目标多边形区域，在初始掩码图像中，除了目标多边形区域外的图像构成其他区域，目标多边形区域内像素值为255，其他区域像素值为0；然后服务器对初始掩码图像以大小为5的高斯核进行高斯滤波，得到降噪后的初始掩码图像，即目标掩码图像。
204、对目标掩码图像进行预处理，得到预处理后的目标图像；
服务器对目标掩码图像进行预处理，从而得到预处理后的目标图像。
服务器对目标掩码图像进行直方图均衡化、大津算法、取反、逻辑与及膨胀形态学等处理，得到预处理后的目标图像。预处理后的目标图像对比度较强、图像的分割阈值较明确，识别目标掩码图像中的连通区域更加准确以及噪声被降到最低。
具体的，服务器首先对目标掩码图像的每个通道进行直方图均衡化处理，从而得到灰度化图像；服务器其次采用大津算法对灰度化图像进行阈值分割处理，得到初始二值图像；服务器然后对初始二值图像进行灰度值取反处理，从而得到目标二值图像；服务器然后对目标二值图像和目标掩码图像中进行逻辑与处理，得到取与后的目标二值图像；最后服务器采用预置结构元素对取与后的目标二值图像中的目标多边形区域进行膨胀形态学处理，得到预处理后的目标图像。
直方图均衡化处理就是对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内的像素数量大致相同，从而实现对比度增强的效果；大津算法也称最大类间差法，本质为按照图像的灰度特性，将图像分成背景和前景两部分，从而完成明确的阈值分割；取反处理就是将原本像素值为255的像素值处理为0，将原本像素值为0的像素值处理为255，从而能准确的识别图像中的连通区域；在目标二值图像和目标掩码图像中按照像素值的最大值进行逻辑与“&”操作，将目标二值图像和目标掩码图像中像素值均为255的像素值设置为255，其余的像素值为0，从而能准确的识别图像中的连通区域；膨胀形态学会使目标区域范围“变大”，使目标边界向外部扩张，从而可以填补目标区域中某些空洞以及消除包含在目标区域中的小颗粒噪声，完成降噪，得到预处理后的目标图像。
205、从预处理后的目标图像中，计算得出目标眼睛视线值；
服务器从预处理后的目标图像中，计算得出目标眼睛视线值。
需要说明的是，由于像素点为矩形，连接多个边缘特征标记点时，无法将所有像素点都包括在目标多边形区域内，所以目标掩码图像在经过预处理后，可能会出现多个连通区域。
具体的，服务器首先从包括多个联通区域的预处理后的目标图像中，选取面积最大的连通区域，得到目标连通区域；其次服务器在目标连通区域中，得到瞳孔特征标记点，瞳孔特征标记点为目标连通区域的中心；然后服务器根据第一参考特征标记点和瞳孔特征标记点进行距离计算，得到第一距离；服务器根据第一参考特征标记点和第二参考特征标记点进行距离计算，得到第二距离；最后根据第一距离和第二距离计算，得到目标眼睛视线值，总体过程具体如下：
Figure BDA0002454335410000121
其中，N为目标眼睛视线值，P0为第一参考特征标记点，P4为第二参考特征标记点，P8为瞳孔特征标记点；||P0-P8||为第一距离，||P0-P4||为第二距离。
206、根据目标眼睛视线值，得到目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线。
服务器根据目标眼睛视线值，得到为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线的目标眼睛视线。
需要说明的是，在本实施例中，第一目标眼睛视线为视线向左，第二目标眼睛视线为视线向中间，第三目标眼睛视线为视线向右。在其他实施例中，第一目标眼睛视线、第二目标眼睛视线和第三目标眼睛视线也可以为其他方向，比如向上、向下、向中间等
具体的，读取目标眼睛视线值，并判断目标眼睛视线值是否属于第一阈值区间、第二阈值区间或者第三阈值区间；若目标眼睛视线值属于第一阈值区间，则得到第一目标眼睛视线；若目标眼睛视线值属于第二阈值区间，则得到第二目标眼睛视线；若目标眼睛视线值属于第三阈值区间，则得到第三目标眼睛视线。
为了便于理解，下面结合具体场景进行说明：
在本实施例中，假设第一阈值区间为
Figure BDA0002454335410000131
第二阈值区间为
Figure BDA0002454335410000132
第三阈值区间为
Figure BDA0002454335410000133
在第一种实施例中计算得到的目标眼睛视线值为
Figure BDA0002454335410000134
服务器确定第一目标眼睛视线，即视线向左。在第二种实施例中计算得到的目标眼睛视线值为
Figure BDA0002454335410000135
在第二种实施例中的目标眼睛视线值属于第二阈值区间，服务器确定第二目标眼睛视线，即视线向中间。在第三种实施例计算得到目标眼睛视线值为
Figure BDA0002454335410000136
服务器确定第三目标眼睛视线，即视线向右。
需要说明的是，在其他实施例中，也可以按照上述的方法判断目标眼睛视线向上、向下、向左上方向右下方等。
本发明实施例中，采用深度学习模型对待检测的目标图像进行特征点提取，基于特征点坐标得到目标眼睛视线值，根据目标眼睛视线值得到目标眼睛视线，缓解了眼睛瞳孔大数据量不足的问题，提高了眼睛视线方向识别的准确性。
上面对本发明实施例中眼睛视线的检测方法进行了描述，下面对本发明实施例中眼睛视线的检测装置进行描述，请参阅图3，本发明实施例中眼睛视线的检测装置一个实施例包括：
图像获取模块301，用于获取待检测的目标图像，所述待检测的目标图像包括目标眼睛；
状态判断模块302，用于采用深度学习模型对所述待检测的目标图像进行特征提取，得到多个边缘特征标记点，并基于所述多个特征标记点判断所述目标眼睛是否为张眼状态，所述多个边缘特征标记点位于所述目标眼睛边缘，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系；
掩码图像获取模块303，若所述目标眼睛为张眼状态，则用于基于所述多个边缘特征标记点和预置处理算法得到目标掩码图像，所述目标掩码图像为二值图像；
预处理模块304，用于对所述目标掩码图像进行预处理，得到预处理后的目标图像；
眼睛视线获取模块305，用于根据所述预处理后的目标图像，得到目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线。
本发明实施例中，采用深度学习模型对待检测的目标图像进行特征点提取，基于特征点坐标得到目标眼睛视线值，根据目标眼睛视线值得到目标眼睛视线，缓解了眼睛瞳孔大数据量不足的问题，提高了眼睛视线方向识别的准确性。
请参阅图4，本发明实施例中眼睛视线的检测装置的另一个实施例包括：
图像获取模块301，用于获取待检测的目标图像，所述待检测的目标图像包括目标眼睛；
状态判断模块302，用于采用深度学习模型对所述待检测的目标图像进行特征提取，得到多个边缘特征标记点，并基于所述多个特征标记点判断所述目标眼睛是否为张眼状态，所述多个边缘特征标记点位于所述目标眼睛边缘，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系；
掩码图像获取模块303，若所述目标眼睛为张眼状态，则用于基于所述多个边缘特征标记点和预置处理算法得到目标掩码图像，所述目标掩码图像为二值图像；
预处理模块304，用于对所述目标掩码图像进行预处理，得到预处理后的目标图像；
眼睛视线获取模块305，用于根据所述预处理后的目标图像，得到目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线。
可选的，所述状态判断模块302还可以具体用于：
将所述待检测的目标图像输入深度学习模型，得到多个边缘特征标记点，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系；
读取所述多个边缘特征标记点对应的坐标，得到多个边缘特征标记点坐标；
基于最小二乘法对所述多个边缘特征标记点坐标进行计算，得到眼睛闭合比率；
判断所述目标眼睛闭合比率是否大于或者等于标准眼睛闭合比率；
若目标眼睛闭合比率大于或者等于所述标准眼睛闭合比率，则确定所述目标眼睛为张眼状态。
可选的，所述掩码图像获取模块303还可以具体用于：
若所述目标眼睛为张眼状态，则采用预置处理算法依次将多个边缘特征标记点进行连接，得到初始掩码图像，所述初始掩码图像包括目标多边形区域和其他区域，所述目标多边形区域像素值为最大值，所述其他区域像素值为最小值，所述其他区域为所述初始掩码图像中除所述目标多边形区域之外的区域；
对所述初始掩码图像进行高斯滤波，得到目标掩码图像。
可选的，所述预处理模块304还可以具体用于：
对所述目标掩码图像的每个通道进行直方图均衡化处理，得到灰度化图像；
采用大津算法对所述灰度化图像进行阈值分割处理，得到初始二值图像；
对所述初始二值图像进行灰度值取反处理，得到目标二值图像；
对所述目标二值图像和目标掩码图像进行逻辑与处理，得到取与后的目标二值图像；
采用预置结构元素对所述取与后的目标二值图像中的目标多边形区域进行膨胀形态学处理，得到预处理后的目标图像。
可选的，所述眼睛视线获取模块305具体包括：
视线值计算单元3051，用于从所述预处理后的目标图像中，计算得出目标眼睛视线值；
眼睛视线获取单元3052，用于根据所述目标眼睛视线值，得到目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线。
可选的，所述视线值计算单元3051还可以具体用于：
基于所述预处理后的目标图像，在多个连通区域中选取面积最大的区域，得到目标连通区域，所述预处理后的目标图像中包括多个联通区域；
在所述目标连通区域中，确定所述目标连通区域的中心，得到瞳孔特征标记点；
对所述第一参考特征标记点和所述瞳孔特征标记点进行距离计算，得到第一距离；
对所述第一参考特征标记点和所述第二参考特征标记点进行距离计算，得到第二距离；
计算所述第一距离和所述第二距离的比值，得到目标眼睛视线值。
可选的，所述眼睛视线获取单元3052还可以具体用于：
读取所述目标眼睛视线值，并判断目标眼睛视线值是否属于第一阈值区间、第二阈值区间或者第三阈值区间；若所述目标眼睛视线值属于第一阈值区间，则得到第一目标眼睛视线；
若所述目标眼睛视线值属于第二阈值区间，则得到第二目标眼睛视线；
若所述目标眼睛视线值属于第三阈值区间，则得到第三目标眼睛视线。
本发明实施例中，采用深度学习模型对待检测的目标图像进行特征点提取，基于特征点坐标得到目标眼睛视线值，根据目标眼睛视线值得到目标眼睛视线，缓解了眼睛瞳孔大数据量不足的问题，提高了眼睛视线方向识别的准确性。
上面图3和图4从模块化功能实体的角度对本发明实施例中的眼睛视线的检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中眼睛视线的检测设备进行详细描述。
图5是本发明实施例提供的一种眼睛视线的检测设备的结构示意图，该眼睛视线的检测设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对眼睛视线的检测设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在眼睛视线的检测设备500上执行存储介质530中的一系列指令操作。
眼睛视线的检测设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的眼睛视线的检测设备结构并不构成对眼睛视线的检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述眼睛视线的检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种眼睛视线的检测方法，其特征在于，所述眼睛视线的检测方法包括：
获取待检测的目标图像，所述待检测的目标图像包括目标眼睛；
采用深度学习模型对所述待检测的目标图像进行特征提取，得到多个边缘特征标记点，并基于所述多个特征标记点判断所述目标眼睛是否为张眼状态，所述多个边缘特征标记点位于所述目标眼睛边缘，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系；
若所述目标眼睛为张眼状态，则基于所述待检测的目标图像、所述多个边缘特征标记点和预置处理算法得到目标掩码图像，所述目标掩码图像为二值图像；
对所述目标掩码图像进行预处理，得到预处理后的目标图像；
根据所述预处理后的目标图像，得到目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线。
2.根据权利要求1所述的眼睛视线的检测方法，其特征在于，所述采用深度学习模型对所述待检测的目标图像进行特征提取，得到多个边缘特征标记点，并基于所述多个特征标记点判断所述目标眼睛是否为张眼状态，所述多个边缘特征标记点位于所述目标眼睛边缘，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系包括：
将所述待检测的目标图像输入深度学习模型，得到多个边缘特征标记点，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系；
读取所述多个边缘特征标记点对应的坐标，得到多个边缘特征标记点坐标；
基于最小二乘法对所述多个边缘特征标记点坐标进行计算，得到眼睛闭合比率；
判断所述目标眼睛闭合比率是否大于或者等于标准眼睛闭合比率；
若所述目标眼睛闭合比率大于或者等于所述标准眼睛闭合比率，则确定所述目标眼睛为张眼状态。
3.根据权利要求1所述的眼睛视线的检测方法，其特征在于，所述若所述目标眼睛为张眼状态，则基于所述待检测的目标图像、所述多个边缘特征标记点和预置处理算法得到目标掩码图像，所述目标掩码图像为二值图像包括：
若所述目标眼睛为张眼状态，则采用预置处理算法依次将多个边缘特征标记点进行连接，得到初始掩码图像，所述初始掩码图像包括目标多边形区域和其他区域，所述目标多边形区域像素值为最大值，所述其他区域像素值为最小值，所述其他区域为所述初始掩码图像中除所述目标多边形区域之外的区域；
对所述初始掩码图像进行高斯滤波，得到目标掩码图像。
4.根据权利要求1-3中任一项所述的眼睛视线的检测方法，其特征在于，所述对所述目标掩码图像进行预处理，得到预处理后的目标图像包括：
对所述目标掩码图像的每个通道进行直方图均衡化处理，得到灰度化图像；
采用大津算法对所述灰度化图像进行阈值分割处理，得到初始二值图像；
对所述初始二值图像进行灰度值取反处理，得到目标二值图像；
对所述目标二值图像和目标掩码图像进行逻辑与处理，得到取与后的目标二值图像；
采用预置结构元素对所述取与后的目标二值图像中的目标多边形区域进行膨胀形态学处理，得到预处理后的目标图像。
5.根据权利要求1所述的眼睛视线的检测方法，其特征在于，所述根据所述预处理后的目标图像，检测目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线包括：
从所述预处理后的目标图像中，计算得出目标眼睛视线值；
根据所述目标眼睛视线值，得到目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线。
6.根据权利要求5中所述的眼睛视线的检测方法，其特征在于，所述从所述预处理后的目标图像中，计算得出目标眼睛视线值包括：
基于所述预处理后的目标图像，在多个连通区域中选取面积最大的区域，得到目标连通区域，所述预处理后的目标图像中包括多个联通区域；
在所述目标连通区域中，确定所述目标连通区域的中心，得到瞳孔特征标记点；
对所述第一参考特征标记点和所述瞳孔特征标记点进行距离计算，得到第一距离；
对所述第一参考特征标记点和所述第二参考特征标记点进行距离计算，得到第二距离；
计算所述第一距离和所述第二距离的比值，得到目标眼睛视线值。
7.根据权利要求5所述的眼睛视线的检测方法，其特征在于，所述根据所述目标眼睛视线值，得到目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线包括：
读取所述目标眼睛视线值，并判断所述目标眼睛视线值是否属于第一阈值区间、第二阈值区间或者第三阈值区间；
若所述目标眼睛视线值属于第一阈值区间，则得到第一目标眼睛视线；
若所述目标眼睛视线值属于第二阈值区间，则得到第二目标眼睛视线；
若所述目标眼睛视线值属于第三阈值区间，则得到第三目标眼睛视线。
8.一种眼睛视线的检测装置，其特征在于，所述眼睛视线的检测装置包括：
图像获取模块，用于获取待检测的目标图像，所述待检测的目标图像包括目标眼睛；
状态判断模块，用于采用深度学习模型对所述待检测的目标图像进行特征提取，得到多个边缘特征标记点，并基于所述多个特征标记点判断所述目标眼睛是否为张眼状态，所述多个边缘特征标记点位于所述目标眼睛边缘，所述多个边缘特征标记点至少包括第一参考特征标记点和第二参考特征标记点，所述第一参考特征标记点和所述第二参考特征标记点为直线对称关系；
掩码图像获取模块，若所述目标眼睛为张眼状态，则用于基于所述待检测的目标图像、所述多个边缘特征标记点和预置处理算法得到目标掩码图像，所述目标掩码图像为二值图像；
预处理模块，用于对所述目标掩码图像进行预处理，得到预处理后的目标图像；
眼睛视线获取模块，用于根据所述预处理后的目标图像，得到目标眼睛视线，所述目标眼睛视线为第一目标眼睛视线、第二目标眼睛视线或者第三目标眼睛视线。
9.一种眼睛视线的检测设备，其特征在于，所述眼睛视线的检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述眼睛视线的检测设备执行如权利要求1-7中任意一项所述的眼睛视线的检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述眼睛视线的检测方法。
CN202010301951.8A 2020-04-16 2020-04-16 眼睛视线的检测方法、装置、设备及存储介质 Pending CN111488845A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010301951.8A CN111488845A (zh) 2020-04-16 2020-04-16 眼睛视线的检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010301951.8A CN111488845A (zh) 2020-04-16 2020-04-16 眼睛视线的检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111488845A true CN111488845A (zh) 2020-08-04

Family

ID=71794981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010301951.8A Pending CN111488845A (zh) 2020-04-16 2020-04-16 眼睛视线的检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111488845A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203375A (zh) * 2016-07-20 2016-12-07 济南大学 一种基于人脸图像中人脸和人眼检测的瞳孔定位方法
CN107833251A (zh) * 2017-11-13 2018-03-23 京东方科技集团股份有限公司 瞳孔定位装置和方法、虚拟现实设备的显示驱动器
CN109460704A (zh) * 2018-09-18 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的疲劳检测方法、系统和计算机设备
CN109740491A (zh) * 2018-12-27 2019-05-10 北京旷视科技有限公司 一种人眼视线识别方法、装置、系统及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203375A (zh) * 2016-07-20 2016-12-07 济南大学 一种基于人脸图像中人脸和人眼检测的瞳孔定位方法
CN107833251A (zh) * 2017-11-13 2018-03-23 京东方科技集团股份有限公司 瞳孔定位装置和方法、虚拟现实设备的显示驱动器
CN109460704A (zh) * 2018-09-18 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的疲劳检测方法、系统和计算机设备
CN109740491A (zh) * 2018-12-27 2019-05-10 北京旷视科技有限公司 一种人眼视线识别方法、装置、系统及存储介质

Similar Documents

Publication Publication Date Title
US9939893B2 (en) Eye gaze tracking
US9842247B2 (en) Eye location method and device
CN103902977B (zh) 基于Gabor二值模式的人脸识别方法及装置
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
Feng et al. Multi-cues eye detection on gray intensity image
US7912253B2 (en) Object recognition method and apparatus therefor
KR20210100602A (ko) 안면 이미지 기반의 리스크 인식 방법, 장치, 컴퓨터 디바이스 및 저장 매체
Bhoi et al. Template matching based eye detection in facial image
CN106056064A (zh) 一种人脸识别方法及人脸识别装置
CN111144293A (zh) 带交互式活体检测的人脸身份认证系统及其方法
Ekbote et al. Indian sign language recognition using ANN and SVM classifiers
CN108416291B (zh) 人脸检测识别方法、装置和系统
CN111340758B (zh) 一种基于深度神经网络的高效虹膜图像质量评价新方法
CN112418135A (zh) 人体行为识别方法、装置、计算机设备及可读存储介质
Das et al. Multi-angle based lively sclera biometrics at a distance
WO2019014814A1 (zh) 一种定量检测人脸抬头纹的方法和智能终端
Ahmed Real-time accurate eye center localization for low-resolution grayscale images
CN110516661B (zh) 应用于虹膜识别的美瞳检测方法及装置
Devadethan et al. Face detection and facial feature extraction based on a fusion of knowledge based method and morphological image processing
Ahuja et al. Eye center localization and detection using radial mapping
Dai et al. Iris center localization using energy map with image inpaint technology and post-processing correction
CN105279764B (zh) 眼睛图像处理设备和方法
CN111950403A (zh) 一种虹膜分类方法及系统、电子设备和存储介质
CN111488845A (zh) 眼睛视线的检测方法、装置、设备及存储介质
Zhao et al. Fast localization algorithm of eye centers based on improved hough transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200804

RJ01 Rejection of invention patent application after publication