CN111126330A - 一种瞳膜中心定位方法及学员听课疲劳度检测方法 - Google Patents
一种瞳膜中心定位方法及学员听课疲劳度检测方法 Download PDFInfo
- Publication number
- CN111126330A CN111126330A CN201911403763.XA CN201911403763A CN111126330A CN 111126330 A CN111126330 A CN 111126330A CN 201911403763 A CN201911403763 A CN 201911403763A CN 111126330 A CN111126330 A CN 111126330A
- Authority
- CN
- China
- Prior art keywords
- pupil
- region
- center
- value
- pupillary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 209
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000001514 detection method Methods 0.000 title claims abstract description 45
- 230000001179 pupillary effect Effects 0.000 claims abstract description 86
- 239000012528 membrane Substances 0.000 claims abstract description 62
- 210000004279 orbit Anatomy 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 210000000744 eyelid Anatomy 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical group C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000004836 empirical method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000036039 immunity Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开的一种瞳膜中心定位方法，属于瞳膜中心定位领域。所述瞳膜中心定位方法：截取出眼部区域；提取瞳膜区域；瞳膜区域由瞳孔区域和虹膜区域构成。对提取的瞳膜区域使用连通域法消除瞳膜区域噪声，得到去噪后的瞳膜区域图像中目标点的总数；利用“平均特征点法”定位瞳膜区域中心。在此基础上，本发明还公开一种基于瞳膜中心定位的学员听课疲劳度检测方法，属于学员听课疲劳度检测领域，基于得到的瞳膜中心坐标值和给定的眼部中心的坐标值，将眼部中心作为坐标轴的原点，进而得到瞳膜中心在眼眶中的偏转角度，并计算瞳膜中心偏转角度和偏转距离，通过判定瞳膜中心偏转角度和偏转距离与相应设定的听课疲劳度阈值对比，实现听课疲劳度检测。
Description
技术领域
本发明属于瞳膜中心定位领域及基于瞳膜中心定位的学员听课疲劳度检测领域，涉及一种瞳膜中心定位方法及基于瞳膜中心定位的学员听课疲劳度检测方法，尤其涉及一种应用于在线网络教育领域的基于瞳膜中心定位的学员听课疲劳度检测方法。
背景技术
已有瞳孔中心定位缺点：(1)当虹膜区域颜色较深时、眼部区域灰度直方图中瞳孔区域和虹膜区域不明显导致无法分离瞳孔的问题；(2)当人眼斜看时，由于眼睑的遮挡而无法提取出完整的虹膜图像进而无法准确定位瞳孔中心的问题。
目前尚未将瞳孔中心定位应用于学员听课疲劳度检测领域，尤其在网络
随着互联网的发展，普通学员、工作者越来越多地进行在线网络学习，但在线网络学习不同于传统的培训，无法评估学员学习状态和学习效果。针对这种情况，有必要对在线学习中的学员疲劳程度进行检测，以监督学员的学习状态，给相关机构提供测评依据，也反馈给在线授课者，帮助教育者提高授课质量，促进在线学习的良好发展。在计算机视觉技术还不是很成熟的阶段，研究人员检测人体疲劳主要是从“生理学”角度来研究人体的疲劳度。虽然其具有科学理论依据和准确度，但生理信号的获取需要实时地采用接触式仪器进行测量，这一局限性使得对学员的疲劳度检测是不可行的，因为在对学员学习过程中的疲劳度检测时，不能影响到学员的学习，因此只能采用图像处理技术检测人体疲劳。随着计算机视觉技术的迅猛发展，使用图像处理技术检测人体疲劳越来越受到研究者们的青睐，通过分析采集到的学员视频图像得到学员的疲劳度指标成为可能。使用电脑摄像头记录在线学习中的学员状态并对其进行分析，是一个全新的研究领域，该研究成果对于促进在线教学具有可预见性的理论意义和实用价值。
目前，提取瞳孔图像的过程需要检测人眼和提取瞳孔区域。在检测人眼时，由于目前人眼检测技术已经比较成熟，而从眼部区域中提取瞳孔区域是常用方法，但是不同人种的眼部虹膜颜色深浅特征不同，会因为虹膜区域颜色较深时、眼部区域灰度直方图中瞳孔区域和虹膜区域不明显导致无法分离瞳孔的问题。这对瞳孔中心定位的准确性，以及计算瞳孔中心在眼眶中的偏转角度及偏转距离带来了困难，导致影响在线网络教育中的学员听课疲劳度检测的准确性和有效性。
目前，对在线网络教育中的学员上课眼部疲劳度的研究相对较少，在对听课学员视线定位中的瞳孔中心定位目前还没有一个较为通用、有效的方法。在对学员的视线进行追踪的过程中，如何通用、准确、有效地对听课学员视线定位中的瞳孔中心定位是一个亟待解决的难题。
发明内容
针对现有技术中眼部瞳孔定位方法主要是将瞳孔与虹膜区域划分开导致下述不足：(1)存在定位不准问题；(2)通用性差；本发明公开的一种瞳膜中心定位方法要解决的技术问题是：实现眼部瞳膜中心定位，具有定位精读高和通用性好的优点。所述通用性好指将瞳孔区域和虹膜区域视为瞳膜区域一个统一区域处理，无需区分瞳孔区域和虹膜区，因此，不存在瞳孔区域和虹膜区域因虹膜颜色深浅特征不明显导致无法分离瞳孔的问题，提高本发明对不同人种的通用性。
本发明还公开一种基于瞳膜中心定位的学员听课疲劳度检测方法要解决的技术问题是：在所述一种瞳膜中心定位方法实现瞳膜中心定位基础上，基于瞳膜中心和眼部中心的坐标值，将眼部中心作为坐标轴的原点，进而得到瞳膜中心在眼眶中的偏转角度，并进一步计算瞳膜偏转角度和偏转距离，通过判定瞳膜偏转角度和偏转距离与相应设定的听课疲劳度阈值对比，实现对学员听课疲劳度检测。所述听课疲劳度阈值包括瞳膜偏转角度阈值和偏转距离阈值。
本发明目的是通过下述技术方案实现的。
本发明公开的一种瞳膜中心定位方法，从获取的人脸图像中检测出人眼区域，并截取出眼部区域；提取瞳膜区域；所述瞳膜区域由瞳孔区域和虹膜区域构成。对提取的瞳膜区域使用连通域法消除瞳膜区域噪声，得到去噪后的瞳膜区域图像中目标点的总数。利用“平均特征点法”定位瞳膜区域中心，得到瞳膜区域中心坐标。在此基础上，本发明还公开的一种在慕课授课中听课学员的瞳孔中心定位方法，基于得到的瞳膜中心坐标值和给定的眼部中心的坐标值，将眼部中心作为坐标轴的原点，进而得到瞳膜中心在眼眶中的偏转角度，并进一步计算瞳膜中心偏转角度和偏转距离，通过判定瞳膜中心偏转角度和偏转距离与相应设定的听课疲劳度阈值对比，实现对学员听课疲劳度检测。所述听课疲劳度阈值包括瞳膜中心偏转角度阈值
和偏转距离阈值
。
本发明公开的一种瞳膜中心定位方法，包括如下步骤：
步骤一：从获取的人脸图像中检测出人眼区域，并截取出眼部区域；
步骤一实现方法如下：通过采用图像处理库opencv中封装的特征提取算法Haar-like特征方法和特征提取算法Adaboost组成的级联检测器方法，检测出人眼区域并截取出眼部区域，步骤一具体方法如下：
特征提取算法Haar-like特征是基于“块”的特征，所述特征点表示方式使得特征值的计算量大大降低，并且使用积分图的方式能提高Haar-like特征方法的计算效率，另外使用特征提取算法Adaboost能筛选众多弱分类器，并对其进行优化，通过指标考核后变成强分类器，提高人眼的检测率。
步骤1.1：使用Haar-like特征方法做检测，目前常用的特征模板包含边缘特征、中心特征、线特征和对角特征。把每个特征模板当作一个子窗口检测人脸时，子窗口会在人脸图片中不断地移位滑动，每到一个位置都会计算该区域的特征值，特征值的计算是所有像素值为0的区域面积与所有像素值为255的区域面积的差，根据差值将图像的各个区域进行分类，每一类都是人脸图片Haar-like特征的一个维度，所有子窗口获取到的所有特征值组成Haar-like特征。如果Haar-like特征通过所有强分类器的筛选，则判定该区域为人脸区域；
步骤1.2：使用积分图对Haar-like特征求值进行加速，计算Haar-like特征值步骤如下：
步骤1.2.1，需要计算图像中子窗口的特征值，在不断改变特征模版的大小和位置的情况下，需要计算大量的连通区域的每个像素值；
步骤1.2.2，如果同一个像素点被包含在不同的窗口中，被包含在不同的窗口的同一个像素点会被重复计算，提高特征值计算的复杂度；
步骤1.2.3，在计算图像的Haar-like特征值时，特征模板在人脸区域中如何排列才能更好地体现人脸特征，需要算法不断地训练才能得到。因此特征值的计算量较大，如果不对其进行优化，则人脸检测速度会非常慢。利用积分图方法将图像中从某一点开始到任意一点的矩形区域像素和进行保存，当计算某个区域的像素和时，直接从数组中提取即可，使得特征值的计算复杂度在常数范围内。
所述积分图也是一张图，只不过图中每个点的值不再是像素值，而是原图起点和该点组成的矩形区域的像素值和。即位置(i,j)处的值g(i,j)是原图像位置(i,j)左上角方向所有像素的和为
积分图构造好之后，不再需要遍历每个矩形的每个像素值，仅通过矩形区域四个角的值即得到图像中任何区域的像素和。
计算积分图的ABCD区域的面积为SABCD＝SPD-SPB-SPC+SPA；
步骤1.3：Adaboost算法用于区分人脸和非人脸的强分类器，将输入图像的Haar-like特征值与分类器中设定的阈值进行比较，以此来判断输入图像是不是人脸。
步骤1.4：筛选式级联强分类器，在人脸检测中，一个强分类器对人脸检测的准确率较低且信服力小，使用级联方式将多个强分类器级联到一起以提高检测效率。
由于opencv中封装Haar-like特征和Adaboost算法组成的级联检测器，使用opencv中封装的人脸级联检测器对学员主体的人脸进行检测，将人脸区域截取出来后，在人脸的范围内再次使用人眼级联检测器对人眼进行检测。人眼级联检测器具有较强的抗干扰性，当学员佩戴眼镜时，仍能准确地检测出人眼，从而对判定学员的疲劳度奠定良好的基础。
步骤二：提取瞳膜区域；所述瞳膜区域由瞳孔区域和虹膜区域构成。
作为优选，步骤二中利用“首谷法”提取虹膜区域，具体实现步骤如下：
步骤2.1：首先将眼部区域进行灰度化处理，得到眼部区域的灰度直方图，所述灰度化处理即进行二值化处理；
步骤2.2：获取到眼部区域的灰度直方图后，将眼部区域的灰度直方图中第一个峰值区域与第二个峰值区域之间的谷值确定为分离瞳膜区域和非瞳膜区域的阈值，所述阈值左侧为瞳膜区域；所述阈值右侧为非瞳膜区域；
步骤二中所述瞳膜区域由瞳孔区域和虹膜区域构成，即将瞳孔区域和虹膜区域视为瞳膜区域一个统一区域处理，无需区分瞳孔区域和虹膜区，因此，不存在瞳孔区域和虹膜区域因虹膜颜色深浅特征不明显导致无法分离瞳孔的问题，提高步骤二提取瞳膜区域处理方法的通用性。
步骤三：对步骤二提取的瞳膜区域使用连通域法消除瞳膜区域噪声，得到去噪后的瞳膜区域图像中目标点的总数为n。
步骤三具体实现方法如下：步骤二中二值化后的图像中的像素点的像素值不是1就是0，即图像中只有黑白两种颜色。根据连通规则将图像划分为多个区域，再对各个区域进行标记，通过设计数据结构保存每个像素点所属的区域标号及每个像素点的区域属性。
根据连通规则的定义，在消除瞳膜区域图像中由于眼睑遮挡而产生的“黑”噪时，根据经验法采用四连通域规则设定一个基准值，当瞳膜区域图像中四连通区域的面积小于设定值时，判定该区域为黑色噪声需要对其进行消除工作；
而对于由于光的反射造成的瞳膜区域图像中的“白”噪声，采用八连通区域规则对其进行填补，因为只有当白色噪声点的八个方向都是黑色瞳膜区域时，所述白色噪声才是由于光反射而引起的误判。
步骤四：利用“平均特征点法”定位瞳膜区域中心，得到瞳膜区域中心坐标。实现方法为：在提取出的瞳膜区域图像中，从左上角的顶点开始进行遍历，通过判断每个像素点的像素值是否为0来判断其是否为瞳膜区域目标点，如果是目标点，则保存目标点的坐标，直到遍历完成，即瞳膜区域的所有目标点都被提取出来，至此，瞳膜区域目标点的横纵坐标都被保存下来，由于步骤三中得到去噪后的瞳膜区域图像中目标点的总数为n，被保存下来的瞳膜区域目标点的横纵坐标分别为(xi,yi)，对横纵坐标分别为(xi,yi)求平均值即得到定位瞳膜区域中心。
步骤四具体实现方法为：在提取出的瞳膜区域图像中，从左上角的顶点开始进行遍历，通过判断每个像素点的像素值是否为0来判断其是否为瞳膜区域目标点，如果是目标点，则保存目标点的坐标，直到遍历完成，即瞳膜区域的所有目标点都被提取出来，至此，瞳膜区域目标点的横纵坐标都被保存下来，由于步骤三中得到去噪后的瞳膜区域图像中目标点的总数为n，被保存下来的瞳膜区域目标点的横纵坐标分别为(xi,yi)，对横纵坐标分别为(xi,yi)求平均值即得到定位瞳膜区域中心，即瞳膜的中心坐标定位公式为
瞳膜的中心坐标求取原理是：圆形区域的中心坐标是圆内所有像素点的横纵坐标的平均值，而提取出的瞳膜区域是类圆形，通过瞳膜中心坐标定位公式实现瞳膜中心定位，通过瞳膜中心坐标定位公式定位的瞳膜中心具有唯一性，因此，能够有效解决微小类圆的干扰和眼睑的遮挡问题，能快速准确地定位出瞳膜中心。
本发明还公开一种基于瞳膜中心定位的学员听课疲劳度检测方法，包括所述一种瞳膜中心定位方法中的步骤一至步骤四实现瞳膜中心定位的步骤。
还包括如下步骤：
步骤五：基于步骤四得到的瞳膜中心坐标值和给定的眼部中心的坐标值，将眼部中心作为坐标轴的原点，进而得到瞳膜中心在眼眶中的偏转角度，并进一步计算瞳膜中心偏转角度和偏转距离，通过判定瞳膜中心偏转角度和偏转距离与相应设定的听课疲劳度阈值对比，实现对学员听课疲劳度检测。所述听课疲劳度阈值包括瞳膜中心偏转角度阈值
和偏转距离阈值
。
作为优选，步骤五具体实现方法如下：基于步骤四得到的瞳膜中心坐标值和给定的眼部中心的坐标值，将眼部中心作为坐标轴的原点，则瞳膜中心在眼眶中的偏转角度通过如下三角函数的反正切函数进行计算。
左眼瞳膜中心在左眼眼眶中的偏转角度为：
右眼瞳膜中心在右眼眼眶中的偏转角度为：
另外，同偏转角度下，偏转距离不同，人眼的视线也不同，因此，计算瞳膜中心的偏转距离，左眼瞳膜中心在左眼眼眶中的偏转距离为：
右眼瞳膜中心在右眼眼眶中的偏转距离为：
所述听课疲劳度阈值包括瞳膜中心偏转角度阈值
和偏转距离阈值
具体阈值设定方法如下：
听课学员在线网络课堂上课的单位时间为T，单位时间内的视频帧数为m，听课学员注意力集中在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转角度平均值为
听课学员注意力不在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转角度平均值为
瞳膜中心偏转角度阈值为
听课学员在线网络课堂上课的单位时间为T，单位时间内的视频帧数为m，听课学员注意力集中在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转距离平均值为
听课学员注意力不在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转距离平均值为
瞳膜偏转距离阈值为
根据所述听课学员的瞳膜中心偏转角度阈值
和瞳膜中心偏转距离阈值
当听课学员左眼和右眼的瞳膜中心偏转角度平均值和瞳膜中心偏转距离平均值同时小于等于瞳膜中心偏转角度阈值和瞳膜中心偏转距离阈值时，判定听课学员听课状态认真、注意力集中未疲劳；当听课学员左眼和右眼的瞳膜中心偏转角度平均值和瞳膜中心偏转距离平均值同时大于瞳膜中心偏转角度阈值和瞳膜中心偏转距离阈值时，判定听课学员听课状态较差、注意力不集中已疲劳。
有益效果：
1、本发明公开的一种瞳膜中心定位方法，瞳膜区域由瞳孔区域和虹膜区域构成，即将瞳孔区域和虹膜区域视为瞳膜区域一个统一区域处理，无需区分瞳孔区域和虹膜区，因此，不存在瞳孔区域和虹膜区域因虹膜颜色深浅特征不明显导致无法分离瞳孔的问题，提高本发明提取瞳膜区域处理方法的通用性。
2、本发明公开的一种瞳膜中心定位方法，由于opencv中封装Haar-like特征和Adaboost算法组成的级联检测器，使用opencv中封装的人脸级联检测器对学员主体的人脸进行检测，将人脸区域截取出来后，在人脸的范围内再次使用人眼级联检测器对人眼进行检测。人眼级联检测器具有较强的抗干扰性，当学员佩戴眼镜时，仍能准确地检测出人眼，从而对判定学员的疲劳度奠定良好的基础。
3、本发明公开的一种瞳膜中心定位方法，在有益效果2中对判定学员的疲劳度奠定良好的基础上，瞳膜的中心坐标求取原理是：圆形区域的中心坐标是圆内所有像素点的横纵坐标的平均值，而提取出的瞳膜区域是类圆形，通过瞳膜中心坐标定位公式实现瞳膜中心定位，通过瞳膜中心坐标定位公式定位的瞳膜中心具有唯一性，因此，能够有效解决微小类圆的干扰和眼睑的遮挡问题，进一步能提高定位瞳膜中心的精确度。
4、本发明公开的一种瞳膜中心定位方法，特征提取算法Haar-like特征是基于“块”的特征，所述特征点表示方式使得特征值的计算量大大降低，并且使用积分图的方式能提高Haar-like特征的计算效率，另外使用特征提取算法Adaboost能筛选众多弱分类器，并对其进行优化，通过指标考核后变成强分类器，提高人眼的检测率。
5、本发明公开一种基于瞳膜中心定位的学员听课疲劳度检测方法，基于在所述一种瞳膜中心定位方法实现，因此，不仅具有有益效果1至4的优点，在瞳膜中心定位基础上，基于瞳膜中心和眼部中心的坐标值，将眼部中心作为坐标轴的原点，进而得到瞳膜中心在眼眶中的偏转角度，并进一步计算瞳膜中心偏转角度和偏转距离，通过判定瞳膜中心偏转角度和偏转距离与相应设定的听课疲劳度阈值对比，实现对学员听课疲劳度检测。
附图说明
图1本发明的一种瞳膜中心定位方法及学员听课疲劳度检测方法流程示意图；
图2本发明的所述瞳膜区域由瞳孔区域和虹膜区域构成示意图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
如图1所示，本实施例公开的一种瞳膜中心定位方法，包括如下步骤：
步骤一：从获取的人脸图像中检测出人眼区域，并截取出眼部区域；
步骤一实现方法如下：通过采用图像处理库opencv中封装的特征提取算法Haar-like特征方法和特征提取算法Adaboost组成的级联检测器方法，检测出人眼区域并截取出眼部区域，步骤一具体方法如下：
特征提取算法Haar-like特征是基于“块”的特征，所述特征点表示方式使得特征值的计算量大大降低，并且使用积分图的方式能提高Haar-like特征方法的计算效率，另外使用特征提取算法Adaboost能筛选众多弱分类器，并对其进行优化，通过指标考核后变成强分类器，提高人眼的检测率。
步骤1.1：使用Haar-like特征方法做检测，目前常用的特征模板包含边缘特征、中心特征、线特征和对角特征。把每个特征模板当作一个子窗口检测人脸时，子窗口会在人脸图片中不断地移位滑动，每到一个位置都会计算该区域的特征值，特征值的计算是所有像素值为0的区域面积与所有像素值为255的区域面积的差，根据差值将图像的各个区域进行分类，每一类都是人脸图片Haar-like特征的一个维度，所有子窗口获取到的所有特征值组成Haar-like特征。如果Haar-like特征通过所有强分类器的筛选，则判定该区域为人脸区域；
步骤1.2：使用积分图对Haar-like特征求值进行加速，计算Haar-like特征值步骤如下：
步骤1.2.1，需要计算图像中子窗口的特征值，在不断改变特征模版的大小和位置的情况下，需要计算大量的连通区域的每个像素值；
步骤1.2.2，如果同一个像素点被包含在不同的窗口中，被包含在不同的窗口的同一个像素点会被重复计算，提高特征值计算的复杂度；
步骤1.2.3，在计算图像的Haar-like特征值时，特征模板在人脸区域中如何排列才能更好地体现人脸特征，需要算法不断地训练才能得到。因此特征值的计算量较大，如果不对其进行优化，则人脸检测速度会非常慢。利用积分图方法将图像中从某一点开始到任意一点的矩形区域像素和进行保存，当计算某个区域的像素和时，直接从数组中提取即可，使得特征值的计算复杂度在常数范围内。
所述积分图也是一张图，只不过图中每个点的值不再是像素值，而是原图起点和该点组成的矩形区域的像素值和。即位置(i,j)处的值g(i,j)是原图像位置(i,j)左上角方向所有像素的和为
积分图构造好之后，不再需要遍历每个矩形的每个像素值，仅通过矩形区域四个角的值即得到图像中任何区域的像素和。
计算积分图的ABCD区域的面积为SABCD＝SPD-SPB-SPC+SPA；
步骤1.3：Adaboost算法用于区分人脸和非人脸的强分类器，将输入图像的Haar-like特征值与分类器中设定的阈值进行比较，以此来判断输入图像是不是人脸。
步骤1.4：筛选式级联强分类器，在人脸检测中，一个强分类器对人脸检测的准确率较低且信服力小，使用级联方式将多个强分类器级联到一起以提高检测效率。
由于opencv中封装Haar-like特征和Adaboost算法组成的级联检测器，使用opencv中封装的人脸级联检测器对学员主体的人脸进行检测，将人脸区域截取出来后，在人脸的范围内再次使用人眼级联检测器对人眼进行检测。人眼级联检测器具有较强的抗干扰性，当学员佩戴眼镜时，仍能准确地检测出人眼，从而对判定学员的疲劳度奠定良好的基础。
步骤二：提取瞳膜区域；所述瞳膜区域由瞳孔区域和虹膜区域构成。
步骤二中利用“首谷法”提取虹膜区域，具体实现步骤如下：
步骤2.1：首先将眼部区域进行灰度化处理，得到眼部区域的灰度直方图，所述灰度化处理即进行二值化处理；
步骤2.2：获取到眼部区域的灰度直方图后，将眼部区域的灰度直方图中第一个峰值区域与第二个峰值区域之间的谷值确定为分离瞳膜区域和非瞳膜区域的阈值，所述阈值左侧为瞳膜区域；所述阈值右侧为非瞳膜区域；
步骤二中所述瞳膜区域由瞳孔区域和虹膜区域构成，即将瞳孔区域和虹膜区域视为瞳膜区域一个统一区域处理，无需区分瞳孔区域和虹膜区，因此，不存在瞳孔区域和虹膜区域因虹膜颜色深浅特征不明显导致无法分离瞳孔的问题，提高步骤二提取瞳膜区域处理方法的通用性。
步骤三：对步骤二提取的瞳膜区域使用连通域法消除瞳膜区域噪声，得到去噪后的瞳膜区域图像中目标点的总数为n。
步骤三具体实现方法如下：步骤二中二值化后的图像中的像素点的像素值不是1就是0，即图像中只有黑白两种颜色。根据连通规则将图像划分为多个区域，再对各个区域进行标记，通过设计数据结构保存每个像素点所属的区域标号及每个像素点的区域属性。
根据连通规则的定义，在消除瞳膜区域图像中由于眼睑遮挡而产生的“黑”噪时，根据经验法采用四连通域规则设定一个基准值，当瞳膜区域图像中四连通区域的面积小于设定值时，判定该区域为黑色噪声需要对其进行消除工作；
而对于由于光的反射造成的瞳膜区域图像中的“白”噪声，采用八连通区域规则对其进行填补，因为只有当白色噪声点的八个方向都是黑色瞳膜区域时，所述白色噪声才是由于光反射而引起的误判。
步骤四：利用“平均特征点法”定位瞳膜区域中心，得到瞳膜区域中心坐标。实现方法为：在提取出的瞳膜区域图像中，从左上角的顶点开始进行遍历，通过判断每个像素点的像素值是否为0来判断其是否为瞳膜区域目标点，如果是目标点，则保存目标点的坐标，直到遍历完成，即瞳膜区域的所有目标点都被提取出来，至此，瞳膜区域目标点的横纵坐标都被保存下来，由于步骤三中得到去噪后的瞳膜区域图像中目标点的总数为n，被保存下来的瞳膜区域目标点的横纵坐标分别为(xi,yi)，对横纵坐标分别为(xi,yi)求平均值即得到定位瞳膜区域中心。
步骤四具体实现方法为：在提取出的瞳膜区域图像中，从左上角的顶点开始进行遍历，通过判断每个像素点的像素值是否为0来判断其是否为瞳膜区域目标点，如果是目标点，则保存目标点的坐标，直到遍历完成，即瞳膜区域的所有目标点都被提取出来，至此，瞳膜区域目标点的横纵坐标都被保存下来，由于步骤三中得到去噪后的瞳膜区域图像中目标点的总数为n，被保存下来的瞳膜区域目标点的横纵坐标分别为(xi,yi)，对横纵坐标分别为(xi,yi)求平均值即得到定位瞳膜区域中心，即瞳膜的中心坐标定位公式为
瞳膜的中心坐标求取原理是：圆形区域的中心坐标是圆内所有像素点的横纵坐标的平均值，而提取出的瞳膜区域是类圆形，通过瞳膜中心坐标定位公式实现瞳膜中心定位，通过瞳膜中心坐标定位公式定位的瞳膜中心具有唯一性，因此，能够有效解决微小类圆的干扰和眼睑的遮挡问题，能快速准确地定位出瞳膜中心。
本实施例还公开一种基于瞳膜中心定位的学员听课疲劳度检测方法，包括所述一种瞳膜中心定位方法中的步骤一至步骤四实现瞳膜中心定位的步骤。
还包括如下步骤五：基于步骤四得到的瞳膜中心坐标值和给定的眼部中心的坐标值，将眼部中心作为坐标轴的原点，进而得到瞳膜中心在眼眶中的偏转角度，并进一步计算瞳膜中心偏转角度和偏转距离，通过判定瞳膜中心偏转角度和偏转距离与相应设定的听课疲劳度阈值对比，实现对学员听课疲劳度检测。所述听课疲劳度阈值包括瞳膜中心偏转角度阈值
和偏转距离阈值
步骤五具体实现方法如下：基于步骤四得到的瞳膜中心坐标值和给定的眼部中心的坐标值，将眼部中心作为坐标轴的原点，则瞳膜中心在眼眶中的偏转角度通过如下三角函数的反正切函数进行计算。
左眼瞳膜中心在左眼眼眶中的偏转角度为：
右眼瞳膜中心在右眼眼眶中的偏转角度为：
另外，同偏转角度下，偏转距离不同，人眼的视线也不同，因此，计算瞳膜中心的偏转距离，左眼瞳膜中心在左眼眼眶中的偏转距离为：
右眼瞳膜中心在右眼眼眶中的偏转距离为：
所述听课疲劳度阈值包括瞳膜中心偏转角度阈值
和偏转距离阈值
具体阈值设定方法如下：
听课学员在线网络课堂上课的单位时间为T，单位时间内的视频帧数为m，听课学员注意力集中在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转角度平均值为
听课学员注意力不在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转角度平均值为
瞳膜中心偏转角度阈值为
听课学员在线网络课堂上课的单位时间为T，单位时间内的视频帧数为m，听课学员注意力集中在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转距离平均值为
听课学员注意力不在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转距离平均值为
瞳膜偏转距离阈值为
根据所述听课学员的瞳膜中心偏转角度阈值
和瞳膜中心偏转距离阈值
当听课学员左眼和右眼的瞳膜中心偏转角度平均值和瞳膜中心偏转距离平均值同时小于等于瞳膜中心偏转角度阈值和瞳膜中心偏转距离阈值时，判定听课学员听课状态认真、注意力集中未疲劳；当听课学员左眼和右眼的瞳膜中心偏转角度平均值和瞳膜中心偏转距离平均值同时大于瞳膜中心偏转角度阈值和瞳膜中心偏转距离阈值时，判定听课学员听课状态较差、注意力不集中已疲劳。
实施例2：
本实施例公开一种瞳膜中心定位方法及学员听课疲劳度检测方法，采用“平均特征点法”定位瞳膜中心的结果，表1是瞳膜中心的坐标，其中(xl,yl)是左眼瞳膜中心的坐标，(xr,yr)是右眼瞳膜中心的坐标，(x0,y0)是眼部中心坐标。
表1“平均特征点法”定位瞳膜中心坐标值
根据表1中的瞳膜中心坐标和眼部中心坐标，左眼瞳膜中心在左眼眼眶中的偏转角度为：
右眼瞳膜中心在右眼眼眶中的偏转角度为：
另外，同偏转角度下，偏转距离不同，人眼的视线也不同，因此，计算瞳膜中心的偏转距离，左眼瞳膜中心在左眼眼眶中的偏转距离为：
右眼瞳膜中心在右眼眼眶中的偏转距离为：
为了验证方法的可行性，对听课学员的听课眼部瞳膜状态与疲劳度检测进行了测试，其中包含10个观看屏幕和10个不看屏幕的学员。
表2测试结果数据
所述听课疲劳度阈值包括瞳膜中心偏转角度阈值
和偏转距离阈值
具体阈值设定方法如下：
听课学员在线网络课堂上课的单位时间为T，单位时间内的视频帧数为m，听课学员注意力集中在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转角度平均值为
听课学员注意力不在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转角度平均值为
瞳膜中心偏转角度阈值为
听课学员在线网络课堂上课的单位时间为T，单位时间内的视频帧数为m，听课学员注意力集中在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转距离平均值为
听课学员注意力不在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转距离平均值为
瞳膜中心偏转距离阈值为
根据所述听课学员的瞳膜中心偏转角度阈值
和瞳膜中心偏转距离阈值
当听课学员左眼和右眼的瞳膜中心偏转角度平均值和瞳膜中心偏转距离平均值同时小于等于瞳膜中心偏转角度阈值和瞳膜中心偏转距离阈值时，可判定听课学员听课状态认真、注意力集中未疲劳；当听课学员左眼和右眼的瞳膜中心偏转角度平均值和瞳膜中心偏转距离平均值同时大于瞳膜中心偏转角度阈值和瞳膜中心偏转距离阈值时，可判定听课学员听课状态较差、注意力不集中已疲劳。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种瞳膜中心定位方法，其特征在于：包括如下步骤，
步骤一：从获取的人脸图像中检测出人眼区域，并截取出眼部区域；
步骤二：提取瞳膜区域；所述瞳膜区域由瞳孔区域和虹膜区域构成；
步骤三：对步骤二提取的瞳膜区域使用连通域法消除瞳膜区域噪声，得到去噪后的瞳膜区域图像中目标点的总数为n；
步骤四：利用“平均特征点法”定位瞳膜区域中心，得到瞳膜区域中心坐标；
实现方法为：在提取出的瞳膜区域图像中，从左上角的顶点开始进行遍历，通过判断每个像素点的像素值是否为0来判断其是否为瞳膜区域目标点，如果是目标点，则保存目标点的坐标，直到遍历完成，即瞳膜区域的所有目标点都被提取出来，至此，瞳膜区域目标点的横纵坐标都被保存下来，由于步骤三中得到去噪后的瞳膜区域图像中目标点的总数为n，被保存下来的瞳膜区域目标点的横纵坐标分别为(xi,yi)，对横纵坐标分别为(xi,yi)求平均值即得到定位瞳膜区域中心。
2.如权利要求1所述的一种瞳膜中心定位方法，其特征在于：步骤二中利用“首谷法”提取虹膜区域，具体实现步骤如下，
步骤2.1：首先将眼部区域进行灰度化处理，得到眼部区域的灰度直方图，所述灰度化处理即进行二值化处理；
步骤2.2：获取到眼部区域的灰度直方图后，将眼部区域的灰度直方图中第一个峰值区域与第二个峰值区域之间的谷值确定为分离瞳膜区域和非瞳膜区域的阈值，所述阈值左侧为瞳膜区域；所述阈值右侧为非瞳膜区域。
3.如权利要求2所述的一种瞳膜中心定位方法，其特征在于：步骤三具体实现方法如下，步骤二中二值化后的图像中的像素点的像素值不是1就是0，即图像中只有黑白两种颜色；根据连通规则将图像划分为多个区域，再对各个区域进行标记，通过设计数据结构保存每个像素点所属的区域标号及每个像素点的区域属性；
根据连通规则的定义，在消除瞳膜区域图像中由于眼睑遮挡而产生的“黑”噪时，根据经验法采用四连通域规则设定一个基准值，当瞳膜区域图像中四连通区域的面积小于设定值时，判定该区域为黑色噪声需要对其进行消除工作；
而对于由于光的反射造成的瞳膜区域图像中的“白”噪声，采用八连通区域规则对其进行填补，因为只有当白色噪声点的八个方向都是黑色瞳膜区域时，所述白色噪声才是由于光反射而引起的误判。
4.如权利要求3所述的一种瞳膜中心定位方法，其特征在于：步骤一实现方法如下，通过采用图像处理库opencv中封装的特征提取算法Haar-like特征方法和特征提取算法Adaboost组成的级联检测器方法，检测出人眼区域并截取出眼部区域。
5.如权利要求4所述的一种瞳膜中心定位方法，其特征在于：步骤一具体方法如下，
特征提取算法Haar-like特征是基于“块”的特征，所述特征点表示方式使得特征值的计算量大大降低，并且使用积分图的方式能提高Haar-like特征方法的计算效率，另外使用特征提取算法Adaboost能筛选众多弱分类器，并对其进行优化，通过指标考核后变成强分类器，提高人眼的检测率；
步骤1.1：使用Haar-like特征方法做检测，目前常用的特征模板包含边缘特征、中心特征、线特征和对角特征；把每个特征模板当作一个子窗口检测人脸时，子窗口会在人脸图片中不断地移位滑动，每到一个位置都会计算该区域的特征值，特征值的计算是所有像素值为0的区域面积与所有像素值为255的区域面积的差，根据差值将图像的各个区域进行分类，每一类都是人脸图片Haar-like特征的一个维度，所有子窗口获取到的所有特征值组成Haar-like特征；如果Haar-like特征通过所有强分类器的筛选，则判定该区域为人脸区域；
步骤1.2：使用积分图对Haar-like特征求值进行加速，计算Haar-like特征值步骤如下：
步骤1.2.1，需要计算图像中子窗口的特征值，在不断改变特征模版的大小和位置的情况下，需要计算大量的连通区域的每个像素值；
步骤1.2.2，如果同一个像素点被包含在不同的窗口中，被包含在不同的窗口的同一个像素点会被重复计算，提高特征值计算的复杂度；
步骤1.2.3，在计算图像的Haar-like特征值时，特征模板在人脸区域中如何排列才能更好地体现人脸特征，需要算法不断地训练才能得到；因此特征值的计算量较大，如果不对其进行优化，则人脸检测速度会非常慢；利用积分图方法将图像中从某一点开始到任意一点的矩形区域像素和进行保存，当计算某个区域的像素和时，直接从数组中提取即可，使得特征值的计算复杂度在常数范围内；
所述积分图也是一张图，只不过图中每个点的值不再是像素值，而是原图起点和该点组成的矩形区域的像素值和；即位置(i,j)处的值g(i,j)是原图像位置(i,j)左上角方向所有像素的和为
积分图构造好之后，不再需要遍历每个矩形的每个像素值，仅通过矩形区域四个角的值即得到图像中任何区域的像素和；
步骤1.3：Adaboost算法用于区分人脸和非人脸的强分类器，将输入图像的Haar-like特征值与分类器中设定的阈值进行比较，以此来判断输入图像是不是人脸；
步骤1.4：筛选式级联强分类器，在人脸检测中，一个强分类器对人脸检测的准确率较低且信服力小，使用级联方式将多个强分类器级联到一起以提高检测效率。
6.如权利要求5所述的一种瞳膜中心定位方法，其特征在于：计算积分图的ABCD区域的面积为SABCD＝SPD-SPB-SPC+SPA。
7.如权利要求6所述的一种瞳膜中心定位方法，其特征在于：步骤四具体实现方法为，在提取出的瞳膜区域图像中，从左上角的顶点开始进行遍历，通过判断每个像素点的像素值是否为0来判断其是否为瞳膜区域目标点，如果是目标点，则保存目标点的坐标，直到遍历完成，即瞳膜区域的所有目标点都被提取出来，至此，瞳膜区域目标点的横纵坐标都被保存下来，由于步骤三中得到去噪后的瞳膜区域图像中目标点的总数为n，被保存下来的瞳膜区域目标点的横纵坐标分别为(xi,yi)，对横纵坐标分别为(xi,yi)求平均值即得到定位瞳膜区域中心，即瞳膜的中心坐标定位公式为
瞳膜的中心坐标求取原理是：圆形区域的中心坐标是圆内所有像素点的横纵坐标的平均值，而提取出的瞳膜区域是类圆形，通过瞳膜中心坐标定位公式实现瞳膜中心定位，通过瞳膜中心坐标定位公式定位的瞳膜中心具有唯一性，因此，能够有效解决微小类圆的干扰和眼睑的遮挡问题，能快速准确地定位出瞳膜中心。
8.一种基于瞳膜中心定位的学员听课疲劳度检测方法，包括如权利要求1、2、3、4、5、6或7所述的一种瞳膜中心定位方法中的步骤一至步骤四实现瞳膜中心定位的步骤，其特征在于：还包括如下步骤，
步骤五：基于步骤四得到的瞳膜中心坐标值和给定的眼部中心的坐标值，将眼部中心作为坐标轴的原点，进而得到瞳膜中心在眼眶中的偏转角度，并进一步计算瞳膜中心偏转角度和偏转距离，通过判定瞳膜中心偏转角度和偏转距离与相应设定的听课疲劳度阈值对比，实现对学员听课疲劳度检测；所述听课疲劳度阈值包括瞳膜中心偏转角度阈值
和偏转距离阈值
9.如权利要求8所述的一种基于瞳膜中心定位的学员听课疲劳度检测方法，其特征在于：步骤五具体实现方法如下，基于步骤四得到的瞳膜中心坐标值和给定的眼部中心的坐标值，将眼部中心作为坐标轴的原点，则瞳膜中心在眼眶中的偏转角度通过如下三角函数的反正切函数进行计算；
左眼瞳膜中心在左眼眼眶中的偏转角度为：
右眼瞳膜中心在右眼眼眶中的偏转角度为：
另外，同偏转角度下，偏转距离不同，人眼的视线也不同，因此，计算瞳膜中心的偏转距离，左眼瞳膜中心在左眼眼眶中的偏转距离为：
右眼瞳膜中心在右眼眼眶中的偏转距离为：
所述听课疲劳度阈值包括瞳膜中心偏转角度阈值
和偏转距离阈值
具体阈值设定方法如下：
听课学员在线网络课堂上课的单位时间为T，单位时间内的视频帧数为m，听课学员注意力集中在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转角度平均值为
听课学员注意力不在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转角度平均值为
瞳膜中心偏转角度阈值为
听课学员在线网络课堂上课的单位时间为T，单位时间内的视频帧数为m，听课学员注意力集中在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转距离平均值为
听课学员注意力不在教学视频的屏幕上时，左眼和右眼的瞳膜中心偏转距离平均值为
瞳膜偏转距离阈值为
根据所述听课学员的瞳膜中心偏转角度阈值
和瞳膜中心偏转距离阈值
当听课学员左眼和右眼的瞳膜中心偏转角度平均值和瞳膜中心偏转距离平均值同时小于等于瞳膜中心偏转角度阈值和瞳膜中心偏转距离阈值时，判定听课学员听课状态认真、注意力集中未疲劳；当听课学员左眼和右眼的瞳膜中心偏转角度平均值和瞳膜中心偏转距离平均值同时大于瞳膜中心偏转角度阈值和瞳膜中心偏转距离阈值时，判定听课学员听课状态较差、注意力不集中已疲劳。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911403763.XA CN111126330A (zh) | 2019-12-31 | 2019-12-31 | 一种瞳膜中心定位方法及学员听课疲劳度检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911403763.XA CN111126330A (zh) | 2019-12-31 | 2019-12-31 | 一种瞳膜中心定位方法及学员听课疲劳度检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111126330A true CN111126330A (zh) | 2020-05-08 |
Family
ID=70505958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911403763.XA Pending CN111126330A (zh) | 2019-12-31 | 2019-12-31 | 一种瞳膜中心定位方法及学员听课疲劳度检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111126330A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738241A (zh) * | 2020-08-20 | 2020-10-02 | 宁波均联智行科技有限公司 | 基于双摄像头的瞳孔检测方法及装置 |
| CN112464829A (zh) * | 2020-12-01 | 2021-03-09 | 中航航空电子有限公司 | 一种瞳孔定位方法、设备、存储介质及视线追踪系统 |
| CN113838411A (zh) * | 2021-10-12 | 2021-12-24 | 深圳市优聚显示技术有限公司 | 一种基于人因照明的led显示屏亮度调节方法、系统及设备 |
| CN113936327A (zh) * | 2021-12-17 | 2022-01-14 | 上海宝意医疗健康科技有限公司 | 弱视训练的监管方法及装置、计算机可读存储介质、终端 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140334694A1 (en) * | 2013-05-09 | 2014-11-13 | Universidad De Chile | Method for determining eye location on a frontal face digital image to validate the frontal face and determine points of reference |
| CN109558825A (zh) * | 2018-11-23 | 2019-04-02 | 哈尔滨理工大学 | 一种基于数字视频图像处理的瞳孔中心定位方法 |
-
2019
- 2019-12-31 CN CN201911403763.XA patent/CN111126330A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140334694A1 (en) * | 2013-05-09 | 2014-11-13 | Universidad De Chile | Method for determining eye location on a frontal face digital image to validate the frontal face and determine points of reference |
| CN109558825A (zh) * | 2018-11-23 | 2019-04-02 | 哈尔滨理工大学 | 一种基于数字视频图像处理的瞳孔中心定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| FANGFANG YANG 等: "Student Eye Gaze Tracking during MOOC Teaching", 《2018 JOINT 10TH INTERNATIONAL CONFERENCE ON SOFT COMPUTING AND INTELLIGENT SYSTEMS (SCIS) AND 19TH INTERNATIONAL SYMPOSIUM ON ADVANCED INTELLIGENT SYSTEMS (ISIS)》 * |
| FANGFANG YANG 等: "The Iris Feature Point Averaging Method in Student Eye Gaze Tracking", 《2018 37TH CHINESE CONTROL CONFERENCE(CCC)》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738241A (zh) * | 2020-08-20 | 2020-10-02 | 宁波均联智行科技有限公司 | 基于双摄像头的瞳孔检测方法及装置 |
| CN112464829A (zh) * | 2020-12-01 | 2021-03-09 | 中航航空电子有限公司 | 一种瞳孔定位方法、设备、存储介质及视线追踪系统 |
| CN112464829B (zh) * | 2020-12-01 | 2024-04-09 | 中航航空电子有限公司 | 一种瞳孔定位方法、设备、存储介质及视线追踪系统 |
| CN113838411A (zh) * | 2021-10-12 | 2021-12-24 | 深圳市优聚显示技术有限公司 | 一种基于人因照明的led显示屏亮度调节方法、系统及设备 |
| CN113838411B (zh) * | 2021-10-12 | 2023-04-25 | 深圳市巨融医疗科技有限公司 | 一种基于人因照明的led显示屏亮度调节方法、系统及设备 |
| CN113936327A (zh) * | 2021-12-17 | 2022-01-14 | 上海宝意医疗健康科技有限公司 | 弱视训练的监管方法及装置、计算机可读存储介质、终端 |
| CN113936327B (zh) * | 2021-12-17 | 2022-04-15 | 上海宝意医疗健康科技有限公司 | 弱视训练的监管方法及装置、计算机可读存储介质、终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111126330A (zh) | 一种瞳膜中心定位方法及学员听课疲劳度检测方法 | |
| CN106778676B (zh) | 一种基于人脸识别及图像处理的注意力评估方法 | |
| CN105913093B (zh) | 一种用于文字识别处理的模板匹配方法 | |
| CN103164692B (zh) | 一种基于计算机视觉的特种车辆仪表自动识别系统及方法 | |
| CN104123543B (zh) | 一种基于人脸识别的眼球运动识别方法 | |
| CN103810491B (zh) | 融合深度和灰度图像特征点的头姿估计兴趣点检测方法 | |
| CN107292318B (zh) | 基于中心暗通道先验信息的图像显著性物体检测方法 | |
| CN103598870A (zh) | 一种基于深度图像手势识别的视力检测方法 | |
| CN105224285A (zh) | 眼睛开闭状态检测装置和方法 | |
| CN104766059A (zh) | 快速精确的人眼定位方法及基于人眼定位的视线估计方法 | |
| CN103345755A (zh) | 一种基于Harris算子的棋盘格角点亚像素提取方法 | |
| CN109086676A (zh) | 一种学生注意力分析系统及其判定方法 | |
| CN105913013A (zh) | 双目视觉人脸识别算法 | |
| CN103136519A (zh) | 一种基于虹膜识别的视线跟踪定位方法 | |
| CN111814556A (zh) | 一种基于计算机视觉的教学辅助方法和系统 | |
| CN103218605A (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
| CN111563449A (zh) | 一种实时课堂注意力检测方法及系统 | |
| CN111257329A (zh) | 一种智能手机摄像头缺陷检测方法以及检测系统 | |
| CN115063579B (zh) | 基于二维图像和三维点云投影的列车定位销松动检测方法 | |
| CN113988563A (zh) | 一种用于平面镜成像实验的智能赋分系统 | |
| CN116468640B (zh) | 一种用于互联网教学的视频图像增强方法 | |
| CN113239805A (zh) | 基于mtcnn的口罩佩戴识别方法 | |
| Chen et al. | Eyes localization algorithm based on prior MTCNN face detection | |
| CN113657339A (zh) | 一种基于机器视觉的仪表指针计数读取方法及介质 | |
| CN103605968A (zh) | 基于混合投影的瞳孔定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200508 |