CN113408406B - 一种视线追踪方法及系统 - Google Patents
一种视线追踪方法及系统 Download PDFInfo
- Publication number
- CN113408406B CN113408406B CN202110672989.0A CN202110672989A CN113408406B CN 113408406 B CN113408406 B CN 113408406B CN 202110672989 A CN202110672989 A CN 202110672989A CN 113408406 B CN113408406 B CN 113408406B
- Authority
- CN
- China
- Prior art keywords
- image data
- face
- eye
- image
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000013598 vector Substances 0.000 claims abstract description 92
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000004424 eye movement Effects 0.000 claims abstract description 34
- 238000013507 mapping Methods 0.000 claims abstract description 30
- 230000009467 reduction Effects 0.000 claims abstract description 26
- 210000001508 eye Anatomy 0.000 claims description 192
- 238000001514 detection method Methods 0.000 claims description 28
- 210000000744 eyelid Anatomy 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- 230000005484 gravity Effects 0.000 claims description 13
- 230000004397 blinking Effects 0.000 claims description 12
- 210000004027 cell Anatomy 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012847 principal component analysis method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 210000004460 N cell Anatomy 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 210000001747 pupil Anatomy 0.000 abstract description 6
- 238000001028 reflection method Methods 0.000 abstract description 6
- 238000000513 principal component analysis Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种视线追踪方法及系统，方法包括训练步骤：从第一人脸图像数据中检测得到第一眼动图像数据；对获取到的眼动图像数据集合进行注视点校准，以得到校准图像数据集合；从第一人脸图像数据中提取得到第一人脸HOG特征信息；采用PCA‑LDA方法对第一人脸HOG特征信息进行降维处理，以获取得到第二人脸HOG特征信息；根据第一眼动图像数据结合Haar‑like算法获取第一人眼最小外接矩形，获取第一EC‑CG向量；根据校准图像数据集合和第一EC‑CG向量拟合得到注视点映射公式；实时眼动跟踪步骤包括：获取第二人脸图像数据的最终注视点坐标。本发明结合基于模板的方法和瞳孔角膜反射法来快速获取用户的最终注视点坐标，不需要额外设备，从而提高简易性和适用性。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种视线追踪方法及系统。
背景技术
随着计算机研究的研究和进步，人机交互是现在计算机研究的热点之一，人机交互方式也开始逐渐朝着多方向进行发展延伸。从原来的键鼠操作、手柄控制等传统方式，开始发展到语音识别、手势识别、人眼识别等利用感官体感等多种新模式，使得人机交互变得更为直接，灵活及方便，相对于传统模式更为直观和智能。而其中通过眼睛的视线追踪交互方式收到了广泛关注。
视线追踪技术是通过相应设备采集用户眼睛信息，提取相应特征进行注视点估计映射的过程。视觉交互可与智能控制技术相结合，可作为辅助设备帮助生活不便人群提升自理水平。也可以在用户阅读时，获取到注视位置的变化情况，便可以发现用户感兴趣的内容和操作习惯，能够用以优化广告投放，也可以用在网络授课或线上测试等场景，检测用户当前的学习考试状态。除此之外，也能应用于智能手机、文体娱乐、辅助驾驶等多个领域中。但是目前视线跟踪设备大部分都需要依赖红外光源或是眼动仪等专门的硬件设备，因此目前的视线跟踪设备无法实现在线上测试时对用户的视线进行追踪、监测。
发明内容
针对现有技术中存在的上述问题，现提供一种视线追踪方法及系统来实现不需要依赖其他硬件设备就可以在线上测试时对用户的视线进行追踪、监测。
具体技术方案如下：
一种视线追踪方法，其中，包括训练步骤和实时眼动跟踪步骤：
训练步骤具体包括：
步骤A1，获取包括训练人脸的第一人脸图像数据，从第一人脸图像数据中检测得到第一眼动图像数据；
其中，第一眼动图像数据包括未眨眼图像和眨眼图像；
步骤A2，获取训练人脸的眼动图像数据集合，眼动图像数据集合包括第一眼动图像数据和与第一眼动图像数据不同角度多个第二眼动图像数据，对眼动图像数据集合进行注视点校准，以得到校准图像数据集合；
步骤A3，从第一人脸图像数据中提取得到第一人脸HOG特征信息，采用PCA+LDA算法对第一人脸HOG特征信息进行降维处理，以获取得到第二人脸HOG特征信息，其中，PCA 为主成分分析法，LDA为线性判别分析降维算法；
步骤A4，根据第一眼动图像数据结合Haar-like特征人眼检测算法获取第一人眼最小外接矩形，获取第一EC-CG向量，其中，EC-CG向量为人眼矩形中心坐标EC和虹膜与上眼脸连通区域重心坐标CG构成的向量；
步骤A5，根据校准图像数据集合和第一EC-CG向量拟合得到注视点映射公式；
实时眼动跟踪步骤具体包括：
步骤B1，采用第二人脸HOG特征信息实时获取待检测人脸的第二人脸图像数据；
步骤B2，从第二人脸图像数据中检测得到第三眼动图像数据；
步骤B3，根据第三眼动图像数据结合Haar-like特征人眼检测算法获取第二人眼最小外接矩形，获取第二EC-CG向量；
步骤B4，采用第二EC-CG向量通过注视点映射公式得到最终注视点坐标。
优选的，视线追踪方法，其中，步骤A1具体包括以下步骤：
步骤A11，判断训练人脸是否在指定区域中，若否，将训练人脸调整到指定区域；
步骤A12，采用完成训练的人脸识别模型对调整到指定区域中的训练人脸进行识别，以获取得到第一人脸图像数据；
步骤A13，从第一人脸图像数据中检测得到第一眼动图像数据。
优选的，视线追踪方法，其中，步骤A3具体包括以下步骤：
步骤A31：将包含有多个第一人脸图像数据的第一人脸图像数据集划分为训练数据集和测试数据集；
步骤A32：对训练数据集中的第一人脸图像数据进行预处理，以获取得到处理图像；
步骤A33：采用HOG算法提取处理图像中的第一人脸HOG特征信息；
步骤A34：采用PCA+LDA算法对第一人脸HOG特征信息进行特征降维处理，以得到第二人脸HOG特征信息；
步骤A35：采用测试数据集计算得到第二人脸HOG特征信息的识别率，若识别率小于预设识别阈值，则返回步骤A31，直到识别率大于或等于预设识别阈值。
优选的，视线追踪方法，其中，步骤A32具体包括以下步骤：
步骤A321，将训练数据集中的第一人脸图像数据转换成灰度图像；
步骤A322，将灰度图像进行缩放处理，以得到预设尺寸的灰度图像；
步骤A323：对预设尺寸的灰度图像进行去噪处理；
步骤A324：对去噪处理后的灰度图像进行增强对比度处理，以得到处理图像。
优选的，视线追踪方法，其中，步骤A323具体包括以下步骤：
采用卷积核对预设尺寸的灰度图像进行高斯滤波处理，以去除预设尺寸的灰度图像中的噪声数据。
优选的，视线追踪方法，其中，步骤A324中采用直方图均衡化公式对去噪处理后的灰度图像进行增强对比度处理，以得到处理图像。
优选的，视线追踪方法，其特征在于，直方图均衡化公式的创建步骤具体包括以下步骤：
获取去噪处理后的灰度图像的亮度范围；
获取去噪处理后的灰度图像在亮度范围内的第一像素数；
获取亮度范围中的预设亮度值的第二像素数；
根据第一像素数和第二像素数建立直方图均衡化公式。
优选的，视线追踪方法，其中，步骤A33具体包括：
步骤A331：将处理图像划分为N*N个细胞单元，将4个相邻的细胞单元设置为图像块；
步骤A332：采用梯度算子求每个图像块中的每个像素点的横向梯度和纵向梯度；
步骤A333：根据像素点的横向梯度和纵向梯度获取得到像素点的梯度方向和幅度；
步骤A334：根据像素点的梯度方向和幅度创建第一人脸HOG特征信息。
优选的，视线追踪方法，其中，步骤A4具体包括以下步骤：
步骤A41，根据第一眼动图像数据获取得到初始人眼范围区域；
步骤A42，将初始人眼范围区域结合预设的人眼经验范围图获取得到人眼预选取区域，其中人眼预选取区域为初始人眼范围区域和人眼经验范围图的并集；
步骤A43，于第一眼动图像数据中获取得到人眼预选取区域的眼动区域数据；
步骤A44，对眼动区域数据进行图像处理，采用haar-like特征人眼检测算法获取进行图像处理后的眼动区域数据的第一人眼最小外接矩形；
步骤A45，获取得到第一人眼最小外接矩形的EC坐标和CG坐标，其中，EC坐标为计算人眼矩形中心坐标，CG坐标为虹膜与上眼睑连通区域重心坐标；
步骤A46，根据EC坐标和CG坐标计算得到第一EC-CG向量。
还提供一种视线追踪系统，其中，包括训练子系统和实时眼动跟踪子系统：
训练子系统具体包括：
第一检测模块，获取包括训练人脸的第一人脸图像数据，从第一人脸图像数据中检测得到第一眼动图像数据；
其中，第一眼动图像数据包括未眨眼图像和眨眼图像；
注视点校准模块，获取训练人脸的眼动图像数据集合，眼动图像数据集合包括第一眼动图像数据和与第一眼动图像数据不同角度多个第二眼动图像数据，对眼动图像数据集合进行注视点校准，以得到校准图像数据集合；
提取人脸特征模块，从第一人脸图像数据中提取得到第一人脸HOG特征信息；
降维模块，采用PCA+LDA算法对第一人脸HOG特征信息进行降维处理，以获取得到第二人脸HOG特征信息，其中，PCA为主成分分析法，LDA为线性判别分析降维算法；
第一向量获取模块，根据第一眼动图像数据结合Haar-like特征人眼检测算法获取第一人眼最小外接矩形，获取第一EC-CG向量，其中，EC-CG向量为人眼矩形中心坐标EC和虹膜与上眼脸连通区域重心坐标CG构成的向量；
拟合模块，根据校准图像数据集合和第一EC-CG向量拟合得到注视点映射公式；
实时眼动跟踪步骤具体包括：
获取模块，采用第二人脸HOG特征信息实时获取待检测人脸的第二人脸图像数据；
第二检测模块，从第二人脸图像数据中检测得到第三眼动图像数据；
第二向量获取模块，根据第三眼动图像数据结合Haar-like特征人眼检测算法获取第二人眼最小外接矩形，获取第二EC-CG向量；
注视点获取模块，采用第二EC-CG向量通过注视点映射公式得到最终注视点坐标。
上述技术方案具有如下优点或有益效果：
基于模板法去定位人脸区域，即获取到第一人脸图像数据，随后确认人眼区域，即获取第一人眼最小外接矩形，之后使用EC-CG向量代替瞳孔角膜反射法确认眼部向量，最后通过注视点映射公式完成注视点坐标计算。
通过进行注视点校准操作，从而减少由于不同的用户之间的注视点映射公式的偏差。
通过对第一人脸HOG特征信息进行降维处理，从而减少后续的计算时长，并且降低对设备性能的要求。
通过采用Haar-like特征人眼检测算法获取第一人眼最小外接矩形，从而使得对于获取人眼最小外接矩形的边缘精确性要求不高，进而减少了计算资源，使得整个第一EC-CG向量(即眼动向量)的获取可以在手机等移动设备上实现。
附图说明
参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。
图1为本发明一种视线追踪方法的实施例的注视点校准示意图；
图2为本发明一种视线追踪方法的实施例的获取第一人眼最小外接矩形的示意图；
图3为本发明一种视线追踪方法的haar矩形特征图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本发明包括一种视线追踪方法，其中，包括训练步骤和实时眼动跟踪步骤：
训练步骤具体包括：
步骤A1，获取包括训练人脸的第一人脸图像数据，从第一人脸图像数据中检测得到第一眼动图像数据；
其中，第一眼动图像数据包括未眨眼图像和眨眼图像；
步骤A2，获取训练人脸的眼动图像数据集合，眼动图像数据集合包括第一眼动图像数据和与第一眼动图像数据不同角度多个第二眼动图像数据，对眼动图像数据集合进行注视点校准，以得到校准图像数据集合；
步骤A3，从第一人脸图像数据中提取得到第一人脸HOG特征信息；
步骤A3，采用PCA+LDA算法对第一人脸HOG特征信息进行降维处理，以获取得到第二人脸HOG特征信息，其中，PCA为主成分分析法，LDA为线性判别分析降维算法；
步骤A4，根据第一眼动图像数据结合Haar-like特征人眼检测算法获取第一人眼最小外接矩形，获取第一EC-CG向量，其中，EC-CG向量为人眼矩形中心坐标EC和虹膜与上眼脸连通区域重心坐标CG构成的向量；
步骤A6，根据校准图像数据集合和第一EC-CG向量拟合得到注视点映射公式；
在上述实施例中，基于模板法去定位人脸区域，即获取到第一人脸图像数据，随后确认人眼区域，即获取第一人眼最小外接矩形，之后使用EC-CG向量代替瞳孔角膜反射法确认眼部向量，最后通过注视点映射公式完成注视点坐标计算。
并且通过进行注视点校准操作，从而减少由于不同的用户之间的注视点映射公式的偏差。
在上述实施例中，为了使用基于模板的方法计算图像的人脸特征，需要考虑人脸特征数据的获取。此处采用的是方向梯度直方图(Histogram of Oriented Gradient,HOG)特征算法，但是此算法提取出来的图像特征维度很高，因此需要对第一人脸HOG特征信息进行降维处理，从而减少后续的计算时长，并且降低对设备性能的要求。
在上述实施例中，采用主成分分析(Principal Component Analysis，PCA)+线性判别分析(Linear Discriminant Analysis,LDA)降维算法对获得的第一人脸HOG特征信息进行降维处理，以得到第二人脸HOG特征信息。
在上述实施例中，采用Haar-like算法获取第一人眼最小外接矩形，从而使得对于获取人眼最小外接矩形的边缘精确性要求不高，进而减少了计算资源，使得整个第一EC-CG向量(即眼动向量)的获取可以在手机等移动设备上实现。
实时眼动跟踪步骤具体包括：
步骤B1，采用第二人脸HOG特征信息实时获取待检测人脸的第二人脸图像数据；
步骤B2，从第二人脸图像数据中检测得到第三眼动图像数据；
步骤B3，根据第三眼动图像数据结合Haar-like特征人眼检测算法获取第二人眼最小外接矩形，获取第二EC-CG向量；
步骤B4，采用第二EC-CG向量通过注视点映射公式得到最终注视点坐标。
在上述实施例中，用户正式使用时，只需要进行上述步骤中的图像处理，特征提取降维，人眼区域提取，眼动向量获取，注视点映射公式获取注视点即可完成一次实时的用户的最终注视点坐标获取。
在上述实施例中，通过结合基于模板的方法和瞳孔角膜反射法来快速获取用户的最终注视点坐标。
其中，基于模板法的优点在于不需要进行训练，最终结果精度和模板数据数量呈正相关。同时由于目前的瞳孔角膜反射法需要红外相机，而本申请采用EC-CG向量代替，因此不需要额外设备，从而提高简易性和适用性。
进一步地，在上述实施例中，步骤A1具体包括以下步骤：
步骤A11，判断训练人脸是否在指定区域中，若否，将训练人脸调整到指定区域；
步骤A12，采用完成训练的人脸识别模型对训练人脸进行识别，以获取得到第一人脸图像数据；
步骤A13，从第一人脸图像数据中检测得到第一眼动图像数据。
在上述实施例中，当采用完成训练的人脸识别模型对训练人脸进行识别时，需要判断训练人脸是否在指定区域内，若是，在指定区域内采集训练人脸的第一人脸图像数据，若否，将训练人脸调整到指定区域进行数据采集。
在上述实施例中，可以通过已有的人脸训练集数据对未进行训练的人脸识别模型进行训练，以训练得到一个完成训练的人脸识别模型。
需要说明的是，对未进行训练的人脸识别模型进行训练是现有技术，在此不做详细赘述。
进一步地，在上述实施例中，步骤A2包括：
对第一眼动图像数据进行旋转，以得到不同角度的第二眼动图像数据。
在上述实施例中，在检测到第一人脸图像数据中的训练人脸后，获取得到第一眼动图像数据，即获取得到未眨眼图像和眨眼图像，之后将第一眼动图像数据，以均匀获取不同角度的第二眼动图像数据。
作为优选的实施方式，旋转方向可以为顺时针，也可以为逆时针。
进一步地，在上述实施例中，步骤A3具体包括以下步骤：
步骤A31：将包含有多个第一人脸图像数据的第一人脸图像数据集划分为训练数据集和测试数据集；
步骤A32：对训练数据集中的第一人脸图像数据进行预处理，以获取得到处理图像；
步骤A33：采用HOG算法提取处理图像中的第一人脸HOG特征信息；
步骤A34：采用PCA+LDA算法对第一人脸HOG特征信息进行特征降维处理，以得到第二人脸HOG特征信息；
步骤A35：采用测试数据集校验得到第二人脸HOG特征信息的识别率，若识别率小于预设识别阈值，则返回步骤A31，直到识别率大于或等于预设识别阈值。
在上述实施例中，训练数据集和测试数据集的比例可以为7:3，其中，训练数据集和测试数据集的比例可以自定义设置。
其中，采用测试图像集校验得到第二人脸HOG特征信息的识别率，可以具体为：
使用第二人脸HOG特征信息对测试图像集进行人脸识别，以得到识别率，其中识别率＝成功识别到人脸的数目/总数目。
在上述实施例中，通过HOG算法提高获取人脸特征的精确度。
在上述实施例中，通过计算测试图像集的模板特征和第二人脸HOG特征信息的欧氏距离，来校验第二人脸HOG特征信息的识别率。
进一步地，在上述实施例中，步骤A32具体包括以下步骤：
步骤A321，将训练数据集中的第一人脸图像数据转换成灰度图像，如下述公式(1)所示：
Y＝0.3R+0.59G+0.11B； (1)
在上述公式(1)中，Y用于表示灰度值；
R用于表示红色通道；
G用于表示绿色通道；
B用于表示蓝色通道；
步骤A322，将灰度图像进行缩放处理，以得到预设尺寸的灰度图像。
步骤A323：对预设尺寸的灰度图像进行去噪处理。
步骤A324：对去噪处理后的灰度图像进行增强对比度处理，以得到处理图像。
在上述实施例中，不需要使用额外设备，并且为了减少计算量，因此需要对第一人脸图像数据进行预处理。首先将第一人脸图像数据进行灰度化，将其转换为灰度图像；随后使用高斯滤波进行去噪，最后再用直方图均衡化方法增强图像对比度，从而避免由于前景和背景整体太亮或太暗导致的人脸检测失败的问题。
在上述实施例中，预设尺寸可以由用户自定义设置。
作为优选的实施方式，预设尺寸可以为180像素*320像素。
进一步地，在上述实施例中，步骤A323具体包括以下步骤：
采用卷积核对预设尺寸的灰度图像进行高斯滤波处理，以去除预设尺寸的灰度图像中的噪声数据。
进一步地，在上述实施例中，如下述公式进行高斯滤波处理：
其中，在上述公式(2)中，
G(x，y)用于表示当前点坐标的高斯函数值；
x2+y2用于表示滤波半径；
x用于表示横坐标；
y用于表示纵坐标；
σ用于表示标准方差，此处取值为1。
进一步地，在上述实施例中，步骤A324中采用直方图均衡化公式对去噪处理后的灰度图像进行增强对比度处理，以得到处理图像。
从而通过增强对比度来避免由于前景和背景整体太亮或太暗导致的人脸检测失败。
进一步地，在上述实施例中，直方图均衡化公式的创建步骤具体包括以下步骤：
获取去噪处理后的灰度图像的亮度范围；
获取去噪处理后的灰度图像在亮度范围内的第一像素数；
获取亮度范围中的预设亮度值的第二像素数；
根据第一像素数和第二像素数建立直方图均衡化公式。
在上述实施例中，根据第一像素数和第二像素数依次建立亮度概率密度函数(如公式(3) 所示)，累积分布函数(如公式(4)所示)和直方图均衡化公式(如公式(5)所示)：
gk＝INT(L+(U-L)C(k)+0.5)； (5)
其中，在上述公式(3)、(4)和(5)中，去噪处理后的灰度图像的亮度范围为[L,U]；
N用于表示第一像素数；
k用于表示预设亮度值，k∈[L，U]；
j用于表示0-k之间的变量；
Mk用于表示预设亮度值为k的第二像素数；
Mk的范围在[0,N]内；
gk用于表示图像像素灰度值；
C(k)用于表示输入图像像素灰度值；
INT用于表示取整函数。
进一步地，在上述实施例中，步骤A33具体包括：
步骤A331：将处理图像划分为N*N个细胞单元，将4个相邻的细胞单元设置为图像块；
步骤A332：采用梯度算子求每个像素点的横向梯度和纵向梯度；
步骤A333：根据像素点的横向梯度和纵向梯度获取得到像素点的梯度方向和幅度；
步骤A334：根据像素点的梯度方向和幅度创建第一人脸HOG特征信息。
在上述实施例中，根据像素点的横向梯度和纵向梯度获取得到该像素点的梯度方向，如下述公式所示：
根据像素点的横向梯度和纵向梯度获取得到该像素点的幅度，如下述公式所示：
其中，在上述公式(6)和(7)中：
V(x,y)用于表示像素点(x,y)的横向梯度；
H(x,y)用于表示像素点(x,y)的纵向梯度；
θ(x,y)用于表示像素点(x,y)的梯度方向；
mj(x,y)用于表示像素点(x,y)梯度大小。
作为优选的实施方式，步骤A33可以具体包括：
首先，可以将预设数量设置为4；
将处理图像划分为5×5的细胞单元，将4个相邻的细胞单元设置为图像块(block，简称为块，此处合成的块相互间不重叠)；
接着，采用简单的中心对称算法[-1,0,1]作为梯度算子，求取每个像素点的横向梯度和纵向梯度。
然后，根据像素点的横向梯度和纵向梯度获取得到像素点的梯度方向和幅度，如上述公式(6)和(7)所示。
其中，θ取值范围为-90°到90°，并且平均分成9份，然后每个细胞单元中按梯度方向投票，权重为m，于是每个单元都能得到一个9维向量，把一个块中的4个单元向量连起来就得到了一个块的36维向量，最后把所有向量连起来得到了该处理图像的HOG特征向量，此时的HOG特征向量就是第一人脸HOG特征信息。
假设此时的图像分辨率为320*180，那么块的分辨率为20*20，HOG特征向量(即第一人脸HOG特征信息)共144*36＝5184维。
进一步地，在上述实施例中，步骤A3具体包括：创建PCA公式和LDA公式；
PCA公式具体包括：根据第一人脸HOG特征信息中的每个向量和向量对应的加权系数创建得到PCA公式；
作为优选的实施方式，假设有n维随机变量，PCA公式如下述公式(8)所示：
其中，在上述公式(8)中，i用于表示∑符号的变量，表示从1开始，一直到n，表示维度，范围为[1,n]；
T用于表示转置符号；
a用于表示系数；
αi用于表示第一人脸HOG特征信息中的向量对应的加权系数；
φi用于表示第一人脸HOG特征信息中的向量；
并且Ф＝(φ1,φ2,…,φ3)，α＝(α1,α2,…,αn)；
其中，Ф表达式如下述公式(9)所示：
其中，在上述公式(9)中，i用于表示∑符号的变量，表示从1开始，一直到n，表示维度，范围为[1,n]；
j用于表示变量；
T用于表示转置；
由于Ф由多个正交向量构成，因此为正交矩阵，于是又可表示为如下述公式(10)所示：
在上述公式(10)中，I用于表示正交向量；
将上述公式(8)左乘ФT，通过公式10的正交向量可得到下述公式(11)；
a＝ΦTX； (11)
通过正交向量可表示为下述公式(12)：
假设：
进而推导可得：R＝E[XT X]＝E[ΦaaTΦT]＝ΦE[aaT]ΦT＝ΦΛΦT； (14)
在上述公式(13)和(14)中，
λ用于表示各维度系数；
Λ用于表示假设的矩阵；
R用于表示对应Φ的特征值；
E用于表示单位矩阵；
X用于表示n，即表示随机变量；
T用于表示转置参数；
将公式(14)两边同时右乘Ф得下述公式(15)：
RΦ＝ΦΛΦTΦ＝ΦΛ； (15)
由于Ф为正交矩阵，因此可简化为下述公式(16)。
RΦj＝ΦjΛj(j＝1,2,...,n)； (16)
因此对于Фj来说，对应的特征值为R，并且是特征值为λj的自相关实对称矩阵，所以不同特征向量之间正交。
所以来源于PCA的离散K-L变换(Discrete Karhunen–Loève Transform)的系数计算步骤如下所示：
步骤S1：对于向量X，首先求取自相关矩阵R＝E[XT X]，把协方差矩阵∑＝E[(x-μ)(x-μ)T]作为K-L的产生矩阵，其中μ为均值向量；
步骤S2：求取特征值λj和特征向量Фj；
步骤S3：系数a＝ΦTX。
上述整个过程是为了保留包含信息较多的第一人脸HOG特征信息，以此来达到降维的目的。
创建LDA公式具体包括以下步骤：
步骤A341：把m×n的图像(即图像的长、宽用m、n表示)变成列矢量 x1,x2,...,xn∈Rd×d(d＝m×n)，并均减去所有图像均值，得到Sw∈Rd×d,Sb∈Rd×d；
步骤A342：算出图像数据的Cov方阵Si∈Rd×d，并且分离出它的特征点，将特征点按照大小顺序排列。取前N-c个标准构成d×(N-c)的映射方阵Wpca；
步骤A343：算出映射到Wpca映射方阵上的数据的S'w∈R(N-c)×(M-c)和S'b∈R(N -c)×(M-c)，得到
和
步骤A344：因为此时的S’w的行列式的值为0，因此可以使用LDA算法分离出对(S’w)-1S’b特征点，从中找到较好的映射子范围；
步骤A345：按从小到大的顺序排列的(S’w)-1S’b特征点，根据矩阵论 rank((S'w)- 1S'b)≤min{rank((S'w)-1),rank(S'b)}，由于S’b的秩最大为c-1，(S’w)-1的秩为N-c，而一般情况下N-c>c-1，所以(S’w)-1的秩最大只能为c-1。取得(S’w)-1S’b的开始c-1个较高标准点相应的标准矢量构成映射方阵Wfld∈R(c-1)×(c-1)；
步骤A346：将W＝WpcaWfld作为最终的线性变化降维矩阵；
步骤A347：把全部的数据x1,x2,...,xn∈Rd×d(d＝m×n)减去均值后，通过映射变化都映射到W上，之后便可以获得每个数据的c-1个特征(x'1,x'2,...,x'n∈Rc-1)，计算公式如下述公式(17)所示:
步骤A348：存储得到的模板HOG特征信息，并将上述获取得到模板HOG特征信息记为第二人脸HOG特征信息。
这样子，模板图像的第二人脸HOG特征信息就得到了。
接着开始进行注视点校准，因为使用了EC-CG向量进行注视点计算，而EC-CG向量对于不同人之间的存在着一定差异，因此需要获取标定注视点数据来对注视点公式进行拟合。
优选的，注视点的数量可以为9个，其中9个注视点校准示意图如图1所示，获取用户在点击注视点时的图像信息。
其中，图1以屏幕的左上角为原点构建。
进一步地，在上述实施例中，步骤A4具体包括以下步骤：
步骤A41，根据第一眼动图像数据获取得到初始人眼范围区域；
步骤A42，将初始人眼范围区域结合预设的人眼经验范围图获取得到人眼预选取区域，其中人眼预选取区域为初始人眼范围区域和人眼经验范围图的交集；
步骤A43，于第一眼动图像数据中获取得到人眼预选取区域的眼动区域数据；
步骤A44，对眼动区域数据进行图像处理，采用haar-like特征人眼检测算法获取进行图像处理后的眼动区域数据的第一人眼最小外接矩形；
步骤A45，获取得到第一人眼最小外接矩形的EC坐标和CG坐标，其中，EC坐标为计算人眼矩形中心坐标，CG坐标为虹膜与上眼睑连通区域重心坐标；
步骤A46，根据EC坐标和CG坐标计算得到第一EC-CG向量。
在获取用户基础数据时，由包含有眨眼图像和未眨眼图像的第一眼动图像数据，此时可得到大致眼部范围区域，即初始人眼范围区域，之后与图2 的人眼经验范围图取并集，得到人眼预选取区域。将原来的第一眼动图像数据(即原图)切割出所选的人眼预选取区域后，进行图像处理(灰度化，高斯滤波，直方图均衡化)，使用haar-like特征人眼检测算法。常见的5种haar矩形特征如图3所示。
其中，b矩形特征的计算公式可以如下述公式(18)所示：
V＝sum(w)-sum(b)； (18)
其中，sum(w)用于表示黑色区域的像素和，sum(b)用于表示白色区域的像素和。
其中，c矩形特征的计算公式可以如下述公式(19)所示：
V＝sum(w)-2*sum(b)； (19)
使用c矩形特征时，将黑色区域像素和乘以2是为了使两种颜色矩形区域中像素数目保持一致。如果将矩形特征放到一个非人眼区域，那么计算得到的特征值和放到人眼区域得到的特征值是不同的，因此矩形特征可以提取人眼特征达到区别人眼和非人眼图像的目的。
之后使用积分图计算像素和，积分图公式如下述公式(20)所示：
其中(x,y)用于表示像素坐标点；
I(m,n)用于表示原始图像像素值；
II(x,y)用于表示积分图像像素值(从(0,0)像素点开始累加)。
因此便能通过级联Haar-like特征AdaBoost分类器实现实时的人眼区域检测提取，获得精确的第一人眼最小外接矩形，具体为：
通过在原有未缩放灰度图基础上，针对眼部区域进行切割缩放。如图2所示，此处的切割可考虑先通过经验规律选取人脸范围的横向1/8到1/2，纵向1/4到1/2的区域作为其中一只眼睛(本实施例以右眼为例)。同时与预处理时的数据并集得到最小矩形，这边是所需的右眼区域。之后使用级联哈尔特征(Haar-like features)的自适应增强(AdaptiveBoosting, AdaBoost)分类器来实现人眼区域的精确提取，即为人眼最小外接矩形。从而通过先定位人眼位置来减少后续计算量。
之后便可以开始计算第一EC-CG向量。因为瞳孔角膜反射法精确定位瞳孔需要提取反射光斑中心，之后对其进行灰度腐蚀和中值滤波进行预处理，瞳孔边缘检测，椭圆拟合后，得到瞳孔-普尔钦斑向量。但是由于本方法中不使用红外相机，所以不能直接应用瞳孔角膜反射法，本实施例选择使用EC-CG向量来代替瞳孔-普尔钦斑向量，并在获取得到EC-CG向量后通过拟合注视点映射公式来确定注视点。
其中，EC为计算人眼矩形中心坐标，CG为虹膜与上眼睑连通区域重心坐标。
在上述实施例中，通过获取得到虹膜与上眼睑连通区域重心坐标(CG)，来减少对虹膜边缘搜索的精确性要求，从而避免了可能存在的EC坐标与虹膜中心位置坐标重叠，以及减少了计算资源，使得整个EC-CG向量的获取可以在手机等移动设备上实现。
下面为注视点坐标获取流程：
步骤C1：在获得人眼最小外接矩形后，通过公式计算得到人眼矩形中心点EC的坐标。
其中，步骤C2的CG坐标图像几何矩的公式如下所示。
其中f(x,y)为二值图像，当p＝0，q＝0时，
其中m00表示该轮廓的面积。当p＝1，q＝0时，
当p＝0，q＝1时，
步骤C2：通过虹膜与上眼睑连通区域轮廓的p+q阶几何矩(普通矩)可以计算得到该连通区域的重心CG坐标。
因此，图像重心CG可用公式计算得到。
其中x和y分别为人眼矩形中心的横轴坐标和纵轴坐标，xleft和xright分别为人眼最小外接矩形的左边界横坐标和右边界横坐标，ytop和ybottom分别为人眼最小外接矩形的上边界纵坐标和下边界纵坐标。
之后开始计算CG坐标。通过虹膜与上眼睑连通区域轮廓的p+q阶几何矩(普通矩)可以计算得到该连通区域的重心。
步骤C3：开始拟合注视点映射公式(公式(21))。
使用预处理时得到的9个标定EC-CG向量，来计算得到二次多项式的系数。拟合公式如下(21)所示。
然后，由于瞳孔角膜反射法需要额外的红外相机设备，因此选择使用人眼矩形中心和虹膜与上眼睑连通区域重心构成的向量(EC-CG向量)进行替代。获得EC-CG向量后，使用最小二乘法来拟合相应的注视点坐标的二次多项式映射模型。
最后，在执行实时眼动跟踪步骤时，只需要进行上述训练步骤中的采用第二人脸HOG特征信息实时获取待检测人脸的第二人脸图像数据，检测得到第三眼动图像数据，获取第二 EC-CG向量，采用第二EC-CG向量通过注视点映射公式得到最终注视点坐标即可完成一次实时的用户的最终注视点坐标获取。
实时眼动跟踪步骤具体为：
首先，将实时获取得到的待检测人脸的第二人脸图像数据(即人脸图像)进行如想处理，即对第二人脸图像数据进行灰度化处理，之后缩减图像比例，并使用高斯滤波去除噪声，最后使用直方图均衡化增强图像对比度；
其次，采用之前训练步骤获取的第二人脸HOG特征信息，来获取图像处理后的第二人脸图像数据的人脸位置信息；
接着，确定人脸位置信息后，检测得到第三眼动图像数据，并且对第三眼动图像数据进行图像切割处理后，缩放第三眼动图像数据中的右眼位置，使用级联Haar-like特征AdaBoost 分类器获得第二人眼最小外接矩形；
随后，获得第二人眼最小外接矩形后，计算得到EC、CG坐标，然后得到第二EC-CG向量；
然后，采用第二EC-CG向量通过注视点映射公式得到最终注视点坐标；
最后，循环上述步骤直至任务结束。
一种视线追踪系统，其中，包括训练子系统和实时眼动跟踪子系统：
训练子系统具体包括：
第一检测模块，获取包括训练人脸的第一人脸图像数据，从第一人脸图像数据中检测得到第一眼动图像数据；
其中，第一眼动图像数据包括未眨眼图像和眨眼图像；
注视点校准模块，获取训练人脸的眼动图像数据集合，眼动图像数据集合包括第一眼动图像数据和与第一眼动图像数据不同角度多个第二眼动图像数据，对眼动图像数据集合进行注视点校准，以得到校准图像数据集合；
提取人脸特征模块，从第一人脸图像数据中提取得到第一人脸HOG特征信息；
降维模块，采用PCA+LDA算法对第一人脸HOG特征信息进行降维处理，以获取得到第二人脸HOG特征信息，其中，PCA为主成分分析法，LDA为线性判别分析降维算法；
第一向量获取模块，根据第一眼动图像数据结合Haar-like特征人眼检测算法获取第一人眼最小外接矩形，获取第一EC-CG向量，其中，EC-CG向量为人眼矩形中心坐标EC和虹膜与上眼脸连通区域重心坐标CG构成的向量；
拟合模块，根据校准图像数据集合和第一EC-CG向量拟合得到注视点映射公式；
实时眼动跟踪步骤具体包括：
获取模块，采用第二人脸HOG特征信息实时获取待检测人脸的第二人脸图像数据；
第二检测模块，从第二人脸图像数据中检测得到第三眼动图像数据；
第二向量获取模块，根据第三眼动图像数据结合Haar-like特征人眼检测算法获取第二人眼最小外接矩形，获取第二EC-CG向量；
注视点获取模块，采用第二EC-CG向量通过注视点映射公式得到最终注视点坐标。
需要说明的是，本发明的视线追踪系统的各实施例和视线追踪方法的各实施例一致，在此不做赘述。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (10)
1.一种视线追踪方法，其特征在于，包括训练步骤和实时眼动跟踪步骤：
所述训练步骤具体包括：
步骤A1，获取包括训练人脸的第一人脸图像数据，从所述第一人脸图像数据中检测得到第一眼动图像数据；
其中，所述第一眼动图像数据包括未眨眼图像和眨眼图像；
步骤A2，获取训练人脸的眼动图像数据集合，所述眼动图像数据集合包括所述第一眼动图像数据和与所述第一眼动图像数据不同角度的 多个第二眼动图像数据，对所述眼动图像数据集合进行注视点校准，以得到校准图像数据集合；
步骤A3，从所述第一人脸图像数据中提取得到第一人脸HOG特征信息，采用PCA+LDA算法对第一人脸HOG特征信息进行降维处理，以获取得到第二人脸HOG特征信息，其中，PCA为主成分分析法，LDA为线性判别分析降维算法；
步骤A4，根据所述第一眼动图像数据结合Haar-like特征人眼检测算法获取第一人眼最小外接矩形，获取第一EC-CG向量，其中EC-CG向量为人眼矩形中心坐标EC和虹膜与上眼脸连通区域重心坐标CG构成的向量；
步骤A5，根据所述校准图像数据集合和所述第一EC-CG向量拟合得到注视点映射公式；
所述实时眼动跟踪步骤具体包括：
步骤B1，采用所述第二人脸HOG特征信息实时获取待检测人脸的第二人脸图像数据；
步骤B2，从所述第二人脸图像数据中检测得到第三眼动图像数据；
步骤B3，根据所述第三眼动图像数据结合所述Haar-like特征人眼检测算法获取第二人眼最小外接矩形，获取第二EC-CG向量；
步骤B4，采用所述第二EC-CG向量通过所述注视点映射公式得到最终注视点坐标。
2.如权利要求1所述的视线追踪方法，其特征在于，所述步骤A1具体包括以下步骤：
步骤A11，判断所述训练人脸是否在指定区域中，若否，将所述训练人脸调整到所述指定区域；
步骤A12，采用完成训练的人脸识别模型对调整到所述指定区域中的所述训练人脸进行识别，以获取得到所述第一人脸图像数据；
步骤A13，从所述第一人脸图像数据中检测得到所述第一眼动图像数据。
3.如权利要求1所述的视线追踪方法，其特征在于，所述步骤A3具体包括以下步骤：
步骤A31：将包含有多个所述第一人脸图像数据的第一人脸图像数据集划分为训练数据集和测试数据集；
步骤A32：对所述训练数据集中的所述第一人脸图像数据进行预处理，以获取得到处理图像；
步骤A33：采用HOG算法提取所述处理图像中的所述第一人脸HOG特征信息；
步骤A34：采用PCA+LDA算法对所述第一人脸HOG特征信息进行特征降维处理，以得到所述第二人脸HOG特征信息；
步骤A35：采用测试数据集计算得到所述第二人脸HOG特征信息的识别率，若所述识别率小于预设识别阈值，则返回步骤A31，直到所述识别率大于或等于所述预设识别阈值。
4.如权利要求3所述的视线追踪方法，其特征在于，所述步骤A32具体包括以下步骤：
步骤A321，将所述训练数据集中的所述第一人脸图像数据转换成灰度图像；
步骤A322，将所述灰度图像进行缩放处理，以得到预设尺寸的灰度图像；
步骤A323：对所述预设尺寸的灰度图像进行去噪处理；
步骤A324：对去噪处理后的灰度图像进行增强对比度处理，以得到所述处理图像。
5.如权利要求4所述的视线追踪方法，其特征在于，所述步骤A323具体包括以下步骤：
采用卷积核对预设尺寸的灰度图像进行高斯滤波处理，以去除所述预设尺寸的灰度图像中的噪声数据。
6.如权利要求4所述的视线追踪方法，其特征在于，所述步骤A324中采用直方图均衡化公式对去噪处理后的灰度图像进行增强对比度处理，以得到所述处理图像。
7.如权利要求6所述的视线追踪方法，其特征在于，所述直方图均衡化公式的创建步骤具体包括以下步骤：
获取去噪处理后的灰度图像的亮度范围；
获取去噪处理后的灰度图像在所述亮度范围内的第一像素数；
获取所述亮度范围中的预设亮度值的第二像素数；
根据所述第一像素数和所述第二像素数建立所述直方图均衡化公式。
8.如权利要求3所述的视线追踪方法，其特征在于，所述步骤A33具体包括：
步骤A331：将所述处理图像划分为N*N个细胞单元，将4个相邻的细胞单元设置为图像块；
步骤A332：采用梯度算子求每个图像块中的每个像素点的横向梯度和纵向梯度；
步骤A333：根据像素点的横向梯度和纵向梯度获取得到像素点的梯度方向和幅度；
步骤A334：根据像素点的梯度方向和幅度创建所述第一人脸HOG特征信息。
9.如权利要求1所述的视线追踪方法，其特征在于，所述步骤A4具体包括以下步骤：
步骤A41，根据所述第一眼动图像数据获取得到初始人眼范围区域；
步骤A42，将所述初始人眼范围区域结合预设的人眼经验范围图获取得到人眼预选取区域，其中所述人眼预选取区域为所述初始人眼范围区域和所述人眼经验范围图的并集；
步骤A43，于所述第一眼动图像数据中获取得到人眼预选取区域的眼动区域数据；
步骤A44，对所述眼动区域数据进行图像处理，采用H aar-like特征人眼检测算法获取进行图像处理后的所述眼动区域数据的所述第一人眼最小外接矩形；
步骤A45，获取得到所述第一人眼最小外接矩形的EC坐标和CG坐标，其中，EC为计算人眼矩形中心坐标，CG为虹膜与上眼睑连通区域重心坐标；
步骤A46，根据所述EC坐标和所述CG坐标计算得到所述第一EC-CG向量。
10.一种视线追踪系统，其特征在于，包括训练子系统和实时眼动跟踪子系统：
所述训练子系统具体包括：
第一检测模块，获取包括训练人脸的第一人脸图像数据，从所述第一人脸图像数据中检测得到第一眼动图像数据；
其中，所述第一眼动图像数据包括未眨眼图像和眨眼图像；
注视点校准模块，获取训练人脸的眼动图像数据集合，所述眼动图像数据集合包括所述第一眼动图像数据和与所述第一眼动图像数据不同角度的 多个第二眼动图像数据，对所述眼动图像数据集合进行注视点校准，以得到校准图像数据集合；
提取人脸特征模块，从所述第一人脸图像数据中提取得到第一人脸HOG特征信息；
降维模块，采用PCA+LDA算法对第一人脸HOG特征信息进行降维处理，以获取得到第二人脸HOG特征信息，其中，PCA为主成分分析法，LDA为线性判别分析降维算法；
第一向量获取模块，根据所述第一眼动图像数据结合Haar-like特征人眼检测算法获取第一人眼最小外接矩形，获取第一EC-CG向量，其中EC-CG向量为人眼矩形中心坐标EC和虹膜与上眼脸连通区域重心坐标CG构成的向量；
拟合模块，根据所述校准图像数据集合和所述第一EC-CG向量拟合得到注视点映射公式；
所述实时眼动跟踪子系统 具体包括：
获取模块，采用所述第二人脸HOG特征信息实时获取待检测人脸的第二人脸图像数据；
第二检测模块，从所述第二人脸图像数据中检测得到第三眼动图像数据；
第二向量获取模块，根据所述第三眼动图像数据结合所述Haar-like特征人眼检测算法获取第二人眼最小外接矩形，获取第二EC-CG向量；
注视点获取模块，采用所述第二EC-CG向量通过所述注视点映射公式得到最终注视点坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110672989.0A CN113408406B (zh) | 2021-06-17 | 2021-06-17 | 一种视线追踪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110672989.0A CN113408406B (zh) | 2021-06-17 | 2021-06-17 | 一种视线追踪方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113408406A CN113408406A (zh) | 2021-09-17 |
| CN113408406B true CN113408406B (zh) | 2023-02-28 |
Family
ID=77684845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110672989.0A Active CN113408406B (zh) | 2021-06-17 | 2021-06-17 | 一种视线追踪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113408406B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681699A (zh) * | 2018-05-04 | 2018-10-19 | 上海像我信息科技有限公司 | 一种基于深度学习的视线估计方法及视线估计装置 |
| CN109522887A (zh) * | 2019-01-24 | 2019-03-26 | 北京七鑫易维信息技术有限公司 | 一种视线追踪方法、装置、设备及存储介质 |
| US10531795B1 (en) * | 2017-09-27 | 2020-01-14 | University Of Miami | Vision defect determination via a dynamic eye-characteristic-based fixation point |
| CN111291701A (zh) * | 2020-02-20 | 2020-06-16 | 哈尔滨理工大学 | 一种基于图像梯度和椭圆拟合算法的视线追踪方法 |
| CN112509007A (zh) * | 2020-12-14 | 2021-03-16 | 科大讯飞股份有限公司 | 真实注视点定位方法以及头戴式视线跟踪系统 |
| CN112860059A (zh) * | 2021-01-08 | 2021-05-28 | 广州朗国电子科技有限公司 | 一种基于眼球追踪的图像识别方法、设备及存储介质 |
-
2021
- 2021-06-17 CN CN202110672989.0A patent/CN113408406B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10531795B1 (en) * | 2017-09-27 | 2020-01-14 | University Of Miami | Vision defect determination via a dynamic eye-characteristic-based fixation point |
| CN108681699A (zh) * | 2018-05-04 | 2018-10-19 | 上海像我信息科技有限公司 | 一种基于深度学习的视线估计方法及视线估计装置 |
| CN109522887A (zh) * | 2019-01-24 | 2019-03-26 | 北京七鑫易维信息技术有限公司 | 一种视线追踪方法、装置、设备及存储介质 |
| CN111291701A (zh) * | 2020-02-20 | 2020-06-16 | 哈尔滨理工大学 | 一种基于图像梯度和椭圆拟合算法的视线追踪方法 |
| CN112509007A (zh) * | 2020-12-14 | 2021-03-16 | 科大讯飞股份有限公司 | 真实注视点定位方法以及头戴式视线跟踪系统 |
| CN112860059A (zh) * | 2021-01-08 | 2021-05-28 | 广州朗国电子科技有限公司 | 一种基于眼球追踪的图像识别方法、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Image Cropping and Abnormal Pupil Exclusion for Pupil Detection;Wang Hong-Feng.et.;《Beijing Ligong Daxue Xuebao/Transaction of Beijing Institute of Technology》;20201231;第40卷(第10期);第1111-1118页 * |
| 阅读行为眼动跟踪研究综述;许洁等;《出版科学》;20200319;第28卷(第2期);第52-66页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113408406A (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Su et al. | Human identification using finger vein and ECG signals | |
| Guo et al. | Human age estimation using bio-inspired features | |
| WO2020000908A1 (zh) | 一种人脸活体检测方法及装置 | |
| US20160253550A1 (en) | Eye location method and device | |
| Rose | Facial expression classification using gabor and log-gabor filters | |
| KR20080033486A (ko) | 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별 | |
| CN107798318A (zh) | 一种机器人识别面部快乐微表情的方法及其装置 | |
| CN106056064A (zh) | 一种人脸识别方法及人脸识别装置 | |
| Das et al. | A new efficient and adaptive sclera recognition system | |
| Wang et al. | Eye detection in facial images with unconstrained background | |
| Zhao et al. | Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection | |
| CN105893916A (zh) | 一种对检测人脸的预处理、特征提取到降维描述的新方法 | |
| Jung et al. | An eye detection method robust to eyeglasses for mobile iris recognition | |
| Sheela et al. | Iris detection for gaze tracking using video frames | |
| Alkassar et al. | A novel method for sclera recognition with images captured on-the-move and at-a-distance | |
| Liang et al. | Region-aware scattering convolution networks for facial beauty prediction | |
| Bekhouche | Facial soft biometrics: extracting demographic traits | |
| Yu et al. | An efficient hybrid eye detection method | |
| Lin et al. | A gender classification scheme based on multi-region feature extraction and information fusion for unconstrained images | |
| CN113408406B (zh) | 一种视线追踪方法及系统 | |
| Sheikh | Robust recognition of facial expressions on noise degraded facial images | |
| HR et al. | A novel hybrid biometric software application for facial recognition considering uncontrollable environmental conditions | |
| Belaroussi et al. | Fusion of multiple detectors for face and eyes localization | |
| Wang et al. | A novel eye localization method based on Log-Gabor transform and integral image | |
| Tandon et al. | An efficient age-invariant face recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 310023 room 414, floor 4, building 3, Xixi Ginza, Xihu District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Jiaxuan Information Technology Co.,Ltd. Address before: 310023 Room 201, building 8, No. 18, Pingxin Road, Xihu District, Hangzhou City, Zhejiang Province Applicant before: Hangzhou Jiaxuan Information Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |