CN112989874B - 一种基于眼睛中心点的人眼状态识别方法及装置 - Google Patents

一种基于眼睛中心点的人眼状态识别方法及装置 Download PDF

Info

Publication number
CN112989874B
CN112989874B CN201911278442.1A CN201911278442A CN112989874B CN 112989874 B CN112989874 B CN 112989874B CN 201911278442 A CN201911278442 A CN 201911278442A CN 112989874 B CN112989874 B CN 112989874B
Authority
CN
China
Prior art keywords
eye
gray
coordinates
model
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911278442.1A
Other languages
English (en)
Other versions
CN112989874A (zh
Inventor
胡煦辉
刘俊秀
袁扬智
韦毅
石岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arkmicro Technologies Inc
Original Assignee
Arkmicro Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arkmicro Technologies Inc filed Critical Arkmicro Technologies Inc
Priority to CN201911278442.1A priority Critical patent/CN112989874B/zh
Publication of CN112989874A publication Critical patent/CN112989874A/zh
Application granted granted Critical
Publication of CN112989874B publication Critical patent/CN112989874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于眼睛中心点的人眼状态识别方法，该方法包括：根据眼睛中心点确定两个眼睛的目标矩形区域；将目标矩形区域内的图像映射到YCbCr色彩空间，并建立眼睛灰度模型和色度模型；当眼睛中心点在灰度模型中的灰度值大于预设阈值，通过色度模型筛选出眼睛像素点的二值图像；当瞳孔中心点在灰度模型中的灰度值不大于预设阈值，采用最大类间方差法计算出最佳阈值，通过最佳阈值从目标矩形区域图像筛选出眼睛像素点的二值图像；对筛选后获得的二值图像进行连通域编号确定眼睛部分的左右眼角坐标以及上下眼睑点坐标；根据左右眼角坐标以及上下眼睑坐标确定左右眼张角；当当前帧的眼睛满足预设条件时，则判定为闭眼状态。该方法可应用于汽车疲劳驾驶等领域，具有较高的鲁棒性和实用性。

Description

一种基于眼睛中心点的人眼状态识别方法及装置
技术领域
本发明涉及图像视觉处理技术领域，尤其涉及一种基于眼睛中心点的人眼状态识别方法及装置。
背景技术
眼睛状态识别是一种应用非常广泛的技术，可以用于人机交互、驾驶员疲劳驾驶、人脸表情识别等方面。目前对于眼睛状态的判断，一般可以构建眼睛几何模型，例如基于模板法、可变形模板法、变换投影等方法确定眼睛轮廓，这类方法是根据人眼的先验知识，以椭圆或抛物线作为描述眼睛的模型。然而这类方法对形状不是严格的椭圆或抛物线的眼睛检测准确率较低，同时，当眼睛受光照或头发等遮挡时，无法保证其符合该类几何模型。对于眼睛的状态识别还可以通过Snake模型等方式检测眼睛轮廓，该类方法是根据若干个控制点之间的连线确定初始活动轮廓，然后轮廓上的结点在内力和外力的共同作用下，向能量最小的方向推进，直到收敛到物体边缘。但该种方法在眼睛张合度较小时误差大，同时，当眼睛完全闭合时，曲线很难收敛到实际的边缘上。现有的人眼状态识别方法存在鲁棒性和实用性较差的问题。
发明内容
有鉴于此，本发明实施例提供一种基于眼睛中心点的人眼状态识别方法，包括：
根据眼睛中心点确定两个眼睛的目标矩形区域；
将目标矩形区域内的图像映射到YCbCr色彩空间，并建立眼睛灰度模型和色度模型；其中，色度模型EyeMapC(x，y)＝(Cb(x，y)-Cr(x，y))2，灰度模型其中，g(x,y)表示半球形结构单元；
判断眼睛中心点在灰度模型中的灰度值是否大于预设阈值，当眼睛中心点在灰度模型中的灰度值大于预设阈值，通过色度模型筛选出眼睛像素点的二值图像；当瞳孔中心点在灰度模型中的灰度值不大于预设阈值，采用最大类间方差法计算出最佳阈值，通过最佳阈值从目标矩形区域图像筛选出眼睛像素点的二值图像；
对筛选后获得的二值图像进行连通域编号，将与眼睛中心点属于同一连通域的区域选定为眼睛部分，确定眼睛部分的左右两个边缘点即为左右眼角坐标，以及眼睛中心点坐标左右预设范围内的最高最低边缘点即为上下眼睑点坐标；
根据左右眼角坐标以及上下眼睑坐标确定左右眼张角；当当前帧的眼睛张角αi≤0.2(θmax-θmin)时，则判定为闭眼状态；其中θmax和θmin为前期某段时间采集到的眼睛张角的最大值与最小值。
进一步地，当两个眼睛中心点之间的距离为d，则目标矩形区域的的宽度和高度分别选用0.8d以及0.4d。
进一步地，还包括：获取面部特征点坐标，根据所述面部特征点坐标辅助确定所述目标矩形区域的宽度和高度；两个眼睛中心点坐标[left.x,left.y],[right.x,right.y]；当面部特征为鼻尖，其坐标为[nose.x,nose.y]，则目标矩形区域的宽度高度
进一步地，采用最大类间方差法计算出最佳阈值具体包括：
将目标矩形区域内的图像分为目标眼睛和背景皮肤；
将目标眼睛和背景皮肤的分割阈值记为T,将目标像素点数占总像素数比例w0，平均灰度均值u0，背景像素点数占总像素点数比例w1，平均灰度均值u1；
记g＝w0w1(u0-u1)2，当g达到最大值，对应的T值即为分割的最佳阈值。
进一步地，所述预设范围为2-5个像素单位。
本发明实施例还提供了一种基于眼睛中心点的人眼状态识别装置，包括：
目标区域确定模块，用于根据眼睛中心点确定两个眼睛的目标矩形区域；
眼图模型建立模块，用于将目标矩形区域内的图像映射到YCbCr色彩空间，并建立眼睛灰度模型和色度模型；其中，色度模型EyeMapC(x，y)＝(Cb(x，y)-Cr(x，y))2，灰度模型 其中，g(x,y)表示半球形结构单元；
判断筛选模块，用于判断眼睛中心点在灰度模型中的灰度值是否大于预设阈值，当眼睛中心点在灰度模型中的灰度值大于预设阈值，通过色度模型筛选出眼睛像素点的二值图像；当瞳孔中心点在灰度模型中的灰度值不大于预设阈值，采用最大类间方差法计算出最佳阈值，通过最佳阈值从目标矩形区域图像筛选出眼睛像素点的二值图像；
眼角眼睑确定模块，用于对筛选后获得的二值图像进行连通域编号，将与眼睛中心点属于同一连通域的区域选定为眼睛部分，确定眼睛部分的左右两个边缘点即为左右眼角坐标，以及眼睛中心点坐标左右预设范围内的最高最低边缘点即为上下眼睑点坐标；
眼睛张角确定模块，用于根据左右眼角坐标以及上下眼睑坐标确定左右眼张角；
眼睛状态判断模块，用于当当前帧的眼睛张角αi≤0.2(θmax-θmin)时，则判定为闭眼状态；其中θmax和θmin为前期某段时间内采集到的眼睛张角的最大值与最小值。
进一步地，当两个眼睛中心点之间的距离为d，则目标矩形区域的的宽度和高度分别选用0.8d以及0.4d。
进一步地，还包括：获取面部特征点坐标，根据所述面部特征点坐标辅助确定所述目标矩形区域的宽度和高度；两个眼睛中心点坐标[left.x,left.y],[right.x,right.y]；当面部特征为鼻尖，其坐标为[nose.x,nose.y]，则目标矩形区域的宽度高度
进一步地，采用最大类间方差法计算出最佳阈值具体包括：
将目标矩形区域内的图像分为目标眼睛和背景皮肤；
将目标眼睛和背景皮肤的分割阈值记为T,将目标像素点数占总像素数比例w0，平均灰度均值u0，背景像素点数占总像素点数比例w1，平均灰度均值u1；
记g＝w0w1(u0-u1)2，当g达到最大值，对应的T值即为分割的最佳阈值。
进一步地，所述预设范围为2-5个像素单位。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述的基于眼睛中心点的人眼状态识别方法。
本发明实施例还提供了一种终端设备，包括：存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于运行所述计算机程序时，执行以上基于眼睛中心点的人眼状态识别方法的步骤。
本发明提供的基于眼睛中心点的人眼状态识别方法基于眼睛中心点位置，粗略划定出眼睛矩形区域，能够更好的确定眼睛位置，尽可能的减少眉毛、眼镜外边框等的影响。同时采用最大类间方差法筛选出眼睛像素点的二值图像可以保证在眼睛处于闭合或微睁状态时，与其周围皮肤像素点差异较大，可以较好的将眼睛像素点与皮肤像素点区分开。该方法不需要找到眼睛的完整外轮廓，仅需要确定左右眼角以及上下眼睑坐标，这样能够减少很多的轮廓点影响。该基于眼睛中心点的人眼状态识别方法鲁棒性和实用性较好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于眼睛中心点的人眼状态识别方法的流程示意图；
图2为本发明实施例提供的眼睛张角的示意图；
图3为本发明实施例提供的一种基于眼睛中心点的人眼状态识别装置的组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1所示为本发明实施例提供的一种基于眼睛中心点的人眼状态识别方法的流程示意图。包括以下步骤：
S101、根据眼睛中心点确定两个眼睛的目标矩形区域。
眼睛中心点即瞳孔中心点，通过从图像中粗略划定出眼睛矩形区域，可以尽可能的减少眉毛和眼镜边框对眼睛状态检测的影响。
对于眼睛根据眼睛中心点等特征点确定眼睛的几何位置，对于眼睛中心点检测，可以通过AdaBoost、Hough圆变换、MTCNN等方法确定。目标矩形区域还可根据肤色模型等获取更多面部特征点坐标辅助进行几何定位。例如：检测到两个眼睛中心点坐标[left.x,left.y],[right.x,right.y]和鼻尖坐标[nose.x,nose.y]。根据特征点坐标值确定眼睛区域的宽Width和高Height。其中，
两个眼睛的目标矩形区域的确定也可以仅通过两个眼睛中心点来确定。当两个眼睛中心点之间的距离为d，则目标矩形区域的的宽度和高度分别选用0.8d以及0.4d。
通过几何定位框定的眼睛矩形区域，分别包括了左右两个眼睛，同时尽可能去除了眼睛上方眉毛影响。对于视频选择左右两个眼睛区域，避免由于眼镜在鼻子处横梁对检测的干扰。
S102、将目标矩形区域内的图像映射到YCbCr色彩空间，并建立眼睛灰度模型和色度模型；其中，色度模型EyeEapC(x，y)＝(Cb(x，y)-Cr(x，y))2，灰度模型其中，g(x,y)表示半球形结构单元。
对于眼睛像素点，在YCbCr色彩分量上，Cb分量相对高，Cr分量相对低，在亮度分量Y上，眼球和眼睑部分灰度值较低，眼白部分属于高灰度，因此可建立模型进行筛选。
EyeMapC(x，y)＝(Cb(x，y)-Cr(x，y))2
其中，EyeMapC是色度模型,EyeMapL是灰度模型，g(x,y)代表半球形结构单元，是利用半球形结构单元对Y值空间进行膨胀操作，是利用半球形结构单元对Y值空间进行腐蚀操作。
S103、判断眼睛中心点在灰度模型中的灰度值是否大于预设阈值，当眼睛中心点在灰度模型中的灰度值大于预设阈值，通过色度模型筛选出眼睛像素点的二值图像；当瞳孔中心点在灰度模型中的灰度值不大于预设阈值，采用最大类间方差法计算出最佳阈值，通过最佳阈值从目标矩形区域图像筛选出眼睛像素点的二值图像。
对于眼睛的检测，当眼睛基本睁开或闭合程度不高时，眼睛的灰度模型能够较好的检测到瞳孔部分，然后利用色度模型即可得到眼睛准确位置。当眼睛基本闭合或张度过小，眼睛色度模型很难清楚获得眼睛部分。对左右两个眼睛区域范围建立灰度模型后，设定预设阈值判定，预设阈值根据实际经验进行选择，当眼睛中心点坐标在灰度模型中可被检测到，通过眼睛的色度模型检测左右两个眼睛区域。对色度模型设定阈值，大于该阈值的为眼睛部分，其他为背景皮肤像素点。当眼睛中心点在灰度模型中被判定为非眼睛部分时，说明眼睛张合度过小，则不采用色度模型进一步检测眼睛部分，选择使用最大类间方差法筛选。眼睛处于闭合或微睁状态时，与眼睛周围皮肤像素点差异较大，通过自适应阈值分割，可以较好的将眼睛像素点与皮肤像素点区分开。
采用最大类间方差法计算出最佳阈值具体包括：
将目标矩形区域内的图像分为目标眼睛和背景皮肤。
将目标眼睛和背景皮肤的分割阈值记为T,将目标像素点数占总像素数比例w0，平均灰度均值u0，背景像素点数占总像素点数比例w1，平均灰度均值u1。
整个图像的平均灰度值u＝w0*u0+w1*u1。记最大类间方差g＝w0*(u-u0)2+w1*(u-u1)2＝w0w1(u0-u1)2。当g达到最大值，对应的T值即为分割的最佳阈值。
S104、对筛选后获得的二值图像进行连通域编号，将与眼睛中心点属于同一连通域的区域选定为眼睛部分，确定眼睛部分的左右两个边缘点即为左右眼角坐标，以及眼睛中心点坐标左右预设范围内的最高最低边缘点即为上下眼睑点坐标。
预设范围一般选择2-5个像素单位。
S105、根据左右眼角坐标以及上下眼睑坐标确定左右眼张角αi；如图2所示，为眼睛的张角示意图。当当前帧的眼睛张角αi≤0.2(θmax-θmin)时，则判定为闭眼状态；当当前帧的眼睛张角αi＞0.2(θmax-θmin)时，则判定为睁眼状态；其中θmax和θmin为前期某段时间采集到的眼睛张角的最大值与最小值。例如：可以取采集视频中前1分钟的各帧状态作为标准，统计得出眼睛张角的最大值θmax和最小值θmin。
图3所示为本发明实施例还提供一种基于眼睛中心点的人眼状态识别装置，包括：
目标区域确定模块，用于根据眼睛中心点确定两个眼睛的目标矩形区域；
眼图模型建立模块，用于将目标矩形区域内的图像映射到YCbCr色彩空间，并建立眼睛灰度模型和色度模型；其中，色度模型EyeMapC(x，y)＝(Cb(x，y)-Cr(x，y))2，灰度模型 其中，g(x,y)表示半球形结构单元；
判断筛选模块，用于判断眼睛中心点在灰度模型中的灰度值是否大于预设阈值，当眼睛中心点在灰度模型中的灰度值大于预设阈值，通过色度模型筛选出眼睛像素点的二值图像；当瞳孔中心点在灰度模型中的灰度值不大于预设阈值，采用最大类间方差法计算出最佳阈值，通过最佳阈值从目标矩形区域图像筛选出眼睛像素点的二值图像；
眼角眼睑确定模块，用于对筛选后获得的二值图像进行连通域编号，将与眼睛中心点属于同一连通域的区域选定为眼睛部分，确定眼睛部分的左右两个边缘点即为左右眼角坐标，以及眼睛中心点坐标左右预设范围内的最高最低边缘点即为上下眼睑点坐标；
眼睛张角确定模块，用于根据左右眼角坐标以及上下眼睑坐标确定左右眼张角；
眼睛状态判断模块，用于当当前帧的眼睛张角αi≤0.2(θmax-θmin)时，则判定为闭眼状态；其中θmax和θmin为前期某段时间内采集到的眼睛张角的最大值与最小值。
需要说明的是：上述实施例提供的基于眼睛中心点的人眼状态识别装置在进行校正时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的基于眼睛中心点的人眼状态识别装置与基于眼睛中心点的人眼状态识别方法实施例属于同一构思，其具体实现过程详见方法实施例，其有益效果同方法实施例，这里不再赘述。
本发明实施例还提供了一种计算机设备，包括：存储器和处理器。其中，存储器用于存储计算机程序。处理器用于运行计算机程序时，执行本发明前述基于眼睛中心点的人眼状态识别方法的步骤。
本发明实施例还提供了一种计算机存储介质，是计算机可读存储介质，其上存储有计算机程序，上述计算机程序可由计算机设备的处理器执行，以完成前述基于眼睛中心点的人眼状态识别方法的步骤。计算机可读存储介质可以是磁性随机存取存储器(FRAM，ferromagnetic random access memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically ErasableProgrammable Read-Only Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)等存储器。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于眼睛中心点的人眼状态识别方法，其特征在于，包括：
根据眼睛中心点确定两个眼睛的目标矩形区域；
将目标矩形区域内的图像映射到YCbCr色彩空间，并建立眼睛灰度模型和色度模型；其中，色度模型EveMapC(x，y)＝(Cb(x，y)-Cr(x，y))2，灰度模型其中，g(x,y)表示半球形结构单元；
判断眼睛中心点在灰度模型中的灰度值是否大于预设阈值，当眼睛中心点在灰度模型中的灰度值大于预设阈值，通过色度模型筛选出眼睛像素点的二值图像；当瞳孔中心点在灰度模型中的灰度值不大于预设阈值，采用最大类间方差法计算出最佳阈值，通过最佳阈值从目标矩形区域图像筛选出眼睛像素点的二值图像；
对筛选后获得的二值图像进行连通域编号，将与眼睛中心点属于同一连通域的区域选定为眼睛部分，确定眼睛部分的左右两个边缘点即为左右眼角坐标，以及眼睛中心点坐标左右预设范围内的最高最低边缘点即为上下眼睑点坐标；
根据左右眼角坐标以及上下眼睑坐标确定左右眼张角；当当前帧的眼睛张角αi≤0.2(θmax-θmin)时，则判定为闭眼状态；其中θmax和θmin为前期某段时间采集到的眼睛张角的最大值与最小值。
2.根据权利要求1所述的方法，其特征在于，当两个眼睛中心点之间的距离为d，则目标矩形区域的的宽度和高度分别选用0.8d以及0.4d。
3.根据权利要求1所述的方法，其特征在于，还包括：获取面部特征点坐标，根据所述面部特征点坐标辅助确定所述目标矩形区域的宽度和高度；两个眼睛中心点坐标[left.x,left.y],[right.x,right.y]；当面部特征为鼻尖，其坐标为[nose.x,nose.y]，则目标矩形区域的宽度高度
4.根据权利要求1所述的方法，其特征在于，采用最大类间方差法计算出最佳阈值具体包括：
将目标矩形区域内的图像分为目标眼睛和背景皮肤；
将目标眼睛和背景皮肤的分割阈值记为T,将目标像素点数占总像素数比例w0，平均灰度均值u0，背景像素点数占总像素点数比例w1，平均灰度均值u1；
记g＝w0w1(u0-u1)2，当g达到最大值，对应的T值即为分割的最佳阈值。
5.根据权利要求1所述的方法，其特征在于，所述预设范围为2-5个像素单位。
6.一种基于眼睛中心点的人眼状态识别装置，其特征在于，包括：
目标区域确定模块，用于根据眼睛中心点确定两个眼睛的目标矩形区域；
眼图模型建立模块，用于将目标矩形区域内的图像映射到YCbCr色彩空间，并建立眼睛灰度模型和色度模型；其中，色度模型EyeMapC(x，y)＝(Cb(x，y)-Cr(x，y))2，灰度模型 其中，g(x,y)表示半球形结构单元；
判断筛选模块，用于判断眼睛中心点在灰度模型中的灰度值是否大于预设阈值，当眼睛中心点在灰度模型中的灰度值大于预设阈值，通过色度模型筛选出眼睛像素点的二值图像；当瞳孔中心点在灰度模型中的灰度值不大于预设阈值，采用最大类间方差法计算出最佳阈值，通过最佳阈值从目标矩形区域图像筛选出眼睛像素点的二值图像；
眼角眼睑确定模块，用于对筛选后获得的二值图像进行连通域编号，将与眼睛中心点属于同一连通域的区域选定为眼睛部分，确定眼睛部分的左右两个边缘点即为左右眼角坐标，以及眼睛中心点坐标左右预设范围内的最高最低边缘点即为上下眼睑点坐标；
眼睛张角确定模块，用于根据左右眼角坐标以及上下眼睑坐标确定左右眼张角；
眼睛状态判断模块，用于当当前帧的眼睛张角αi≤0.2(θmax-θmin)时，则判定为闭眼状态；其中θmax和θmin为前期某段时间内采集到的眼睛张角的最大值与最小值。
7.根据权利要求6所述的装置，其特征在于，当两个眼睛中心点之间的距离为d，则目标矩形区域的的宽度和高度分别选用0.8d以及0.4d。
8.根据权利要求6所述的装置，其特征在于，还包括：获取面部特征点坐标，根据所述面部特征点坐标辅助确定所述目标矩形区域的宽度和高度；两个眼睛中心点坐标[left.x,left.y],[right.x,right.y]；当面部特征为鼻尖，其坐标为[nose.x,nose.y]，则目标矩形区域的宽度高度
9.根据权利要求6所述的装置，其特征在于，采用最大类间方差法计算出最佳阈值具体包括：
将目标矩形区域内的图像分为目标眼睛和背景皮肤；
将目标眼睛和背景皮肤的分割阈值记为T,将目标像素点数占总像素数比例w0，平均灰度均值u0，背景像素点数占总像素点数比例w1，平均灰度均值u1；
记g＝w0w1(u0-u1)2，当g达到最大值，对应的T值即为分割的最佳阈值。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的基于眼睛中心点的人眼状态识别方法。
CN201911278442.1A 2019-12-13 2019-12-13 一种基于眼睛中心点的人眼状态识别方法及装置 Active CN112989874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911278442.1A CN112989874B (zh) 2019-12-13 2019-12-13 一种基于眼睛中心点的人眼状态识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911278442.1A CN112989874B (zh) 2019-12-13 2019-12-13 一种基于眼睛中心点的人眼状态识别方法及装置

Publications (2)

Publication Number Publication Date
CN112989874A CN112989874A (zh) 2021-06-18
CN112989874B true CN112989874B (zh) 2024-09-10

Family

ID=76331944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911278442.1A Active CN112989874B (zh) 2019-12-13 2019-12-13 一种基于眼睛中心点的人眼状态识别方法及装置

Country Status (1)

Country Link
CN (1) CN112989874B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809482A (zh) * 2015-03-31 2015-07-29 南京大学 一种基于个体学习的疲劳检测方法
CN107292251A (zh) * 2017-06-09 2017-10-24 湖北天业云商网络科技有限公司 一种基于人眼状态的驾驶员疲劳检测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692980B (zh) * 2009-10-30 2011-06-08 深圳市汉华安道科技有限责任公司 疲劳驾驶检测方法及装置
CN107798316B (zh) * 2017-11-30 2021-05-14 永目堂股份有限公司 一种基于瞳孔特征判断眼睛状态的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809482A (zh) * 2015-03-31 2015-07-29 南京大学 一种基于个体学习的疲劳检测方法
CN107292251A (zh) * 2017-06-09 2017-10-24 湖北天业云商网络科技有限公司 一种基于人眼状态的驾驶员疲劳检测方法及系统

Also Published As

Publication number Publication date
CN112989874A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
US11250241B2 (en) Face image processing methods and apparatuses, and electronic devices
WO2019232866A1 (zh) 人眼模型训练方法、人眼识别方法、装置、设备及介质
KR100826876B1 (ko) 홍채 검출 방법 및 이를 위한 장치
US20050041867A1 (en) Method and apparatus for the automatic detection of facial features
WO2021174819A1 (zh) 人脸遮挡检测方法及系统
CN109840565A (zh) 一种基于眼部轮廓特征点纵横比的眨眼检测方法
US12067095B2 (en) Biometric authentication system, biometric authentication method, and storage medium
CN107491755B (zh) 用于手势识别的方法及装置
EP3680794B1 (en) Device and method for user authentication on basis of iris recognition
CN105224285A (zh) 眼睛开闭状态检测装置和方法
CN106056064A (zh) 一种人脸识别方法及人脸识别装置
CN106570447B (zh) 基于灰度直方图匹配的人脸照片太阳镜自动去除方法
CN107895157B (zh) 一种低分辨率图像虹膜中心精确定位的方法
CN112384127A (zh) 眼睑下垂检测方法及系统
CN103218615B (zh) 人脸判定方法
CN103942539A (zh) 一种人头部椭圆精确高效提取及遮蔽人脸检测方法
CN111353404A (zh) 一种人脸识别方法、装置及设备
WO2020029572A1 (zh) 人脸特征点检测方法及装置、设备及存储介质
CN112183502B (zh) 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备
CN111832464A (zh) 一种基于近红外摄像头的活体检测方法及装置
CN114494347A (zh) 一种单摄像头多模式视线追踪方法和装置、电子设备
Mohsin et al. Pupil detection algorithm based on feature extraction for eye gaze
CN114241452A (zh) 一种基于图像识别的驾驶员多指标疲劳驾驶检测方法
CN115423870A (zh) 一种瞳孔中心定位方法和装置
CN114092985A (zh) 一种终端控制方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant