CN116052264B - 一种基于非线性偏差校准的视线估计方法及装置 - Google Patents

一种基于非线性偏差校准的视线估计方法及装置 Download PDF

Info

Publication number
CN116052264B
CN116052264B CN202310331666.4A CN202310331666A CN116052264B CN 116052264 B CN116052264 B CN 116052264B CN 202310331666 A CN202310331666 A CN 202310331666A CN 116052264 B CN116052264 B CN 116052264B
Authority
CN
China
Prior art keywords
deviation
preset
face image
sight
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310331666.4A
Other languages
English (en)
Other versions
CN116052264A (zh
Inventor
谢伟浩
郑小宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shijing Medical Software Co ltd
Original Assignee
Guangzhou Shijing Medical Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shijing Medical Software Co ltd filed Critical Guangzhou Shijing Medical Software Co ltd
Priority to CN202310331666.4A priority Critical patent/CN116052264B/zh
Publication of CN116052264A publication Critical patent/CN116052264A/zh
Application granted granted Critical
Publication of CN116052264B publication Critical patent/CN116052264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于非线性偏差校准的视线估计方法及装置，首先获取测试者的原始人脸图像及所述原始人脸图像对应的视线落点数据，并对所述原始人脸图像进行处理，分别获得所述原始人脸图像对应的人脸图像数据及人眼图像数据，通过预先训练好的偏差校准模型对所述人脸图像数据及所述人眼图像数据进行处理，获得第一视线估计值及偏差估计值的第一系数，再通过预设的目标函数，获得所述偏差估计值的第二系数，根据所述第一视线估计值，所述第一系数及所述第二系数，通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者对应的原始人脸图像对应的视线估计值，提高视线估计的精准度。

Description

一种基于非线性偏差校准的视线估计方法及装置
技术领域
本发明涉及人机交互技术领域，尤其涉及一种基于非线性偏差校准的视线估计方法及装置。
背景技术
视线估计作为眼动跟踪的重要任务之一，具有非常广泛的应用场景，如人机交互、智能驾驶、情感分析、意图识别等等。随着深度学习方法的发展，基于外观的视线估计方法越来越受到研究者的关注。基于外观的视线估计方法，通常只需要借助简单的设备，如网络摄像头。该方法主要通过学习摄像头获取的人脸信息与注视视线的映射关系，实现视线估计功能。
然而模型的估计结果往往与真实结果存在偏差。由于人体眼球结构的差异，视轴与光轴之间存在角度偏差，且该偏差无法通过图像信息学习得到，导致学习到的模型无法适用于所有人，在应用过程中往往需要通过个性化校准来提高视线估计的精度。常用的个性化校准方法包括模型微调、偏差估计等方法。模型微调的方法，通常需要比较多的用户数据，且校准过程比较耗时；偏差估计的方法，速度较快，但当前基于偏差估计的方法没有考虑到不同外形输入偏差不同的问题，且对于整体的偏差估计通常是线性的，在校准过程中，对于每一个新用户来说，只是计算得到一个固定的偏差估计值，即该方法最终的输出结果只是对模型的输出结果进行了线性变换。不同的视线会有不同的偏差，固定的偏差估计没法很好地适用于真实场景。同时，当前的方法没有考虑到不同外形输入偏差不同的问题。
发明内容
本发明公开了一种基于非线性偏差校准的视线估计方法及装置，提高视线估计的精准度。
为了实现上述目的，本发明提供了一种基于非线性偏差校准的视线估计方法，包括：
通过在屏幕上随机显示预设的视觉标志物，收集测试者注视所述视觉标志物时的原始人脸图像及所述原始人脸图像对应的视线落点数据，并通过预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据；
通过预先训练好的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据分别对应的第一视线估计值及偏差估计值的第一系数；
根据所述第一视线估计值、偏差估计值的第一系数及所述视线落点数据，通过预设的目标函数，获得所述偏差估计值的第二系数；
根据所述第一视线估计值，所述第一系数及所述第二系数，通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者的原始人脸图像对应的视线估计值。
本发明公开了一种基于非线性偏差校准的视线估计方法，首先收集测试者对应的原始人脸图像及所述原始人脸图像对应的视线落点数据，接着根据预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据，便于后续根据所述人脸图像数据及所述人眼图像数据进行处理，接着通过预设的偏差校准模型对所述人脸图像数据及所述人眼图像数据进行识别处理，获得与人无关的第一视线估计值和所述人脸图像及所述人眼图像分别对应的偏差估计值的第一系数，接着根据所述第一系数、第一视线估计值及所述收集到的所述视线落点，通过预设的目标函数获得与人有关的第二系数，根据所述第一系数及所述第二系数，通过预设的非线性偏差函数及所述视线估计函数获得所述测试者对应的原始人脸图像对应的视线估计值，本发明根据预设的偏差校准模型获得与人无关的第一视线估计值及第一系数，并通过偏差校准模型得到校准数据的第一系数和第一视线估计值，及利用预设的目标函数获取与人有关的第二系数，考虑到了不同外形输入偏差不同的问题，同时，基于所述获得的第一系数及所述第二系数，根据预设的非线性偏差函数进而获得视线估计值，更好的适用不同的应用场景，提高了视线估计的精准度。
作为优选例子，在所述收集测试者注视所述视觉标志物时的原始人脸图像及所述原始人脸图像对应的视线落点数据，具体包括：
通过在预设的视线采集装置的屏幕上的不同位置随机显示所述预设的视觉标志物，收集所述测试者在注视不同位置出现的所述视觉标志物时对应的原始人脸图像及所述原始人脸图像对应的视线落点数据。
本发明在进行视线估计之前，根据预设的视线采集装置在不同的位置显示视觉标志物，收集不同的用户在所述视觉标志物出现在不同的位置时对应的视线落点数据，以使得后续根据所述视线落点数据获得偏差值。
作为优选例子，在所述通过预设的人脸检测方式对所述原始人脸图像进行处理，具体包括：
根据预设的人脸检测模型及人脸关键点检测模型分别对所述原始人脸图像进行处理，获得人脸检测框及人脸关键点；
根据所述人脸检测框对所述原始人脸图像进行裁剪，获得人脸图像数据及通过所述人脸关键点对所述原始人脸图像进行裁剪，获得所述人眼图像数据；所述人眼图像数据包括左眼图像及右眼图像。
本发明根据预设的人脸检测模型及人脸关键点检测模型对所述原始人脸图像数据进行处理，以使得根据所述原始人脸图像数据获取对应的人脸图像数据及人眼图像数据，一方面剔除原始人脸图像中的无关数据，提高计算的效率，一方面通过分别获得用户的人脸及人眼图像，用于后续提取与用户有关的特征，提高视线估计的精度。
作为优选例子，在所述通过预设的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，具体包括：
根据所述偏差校准模型中预设的网络结构，提取所述人脸图像数据及所述人眼图像数据的特征，获得所述人脸图像数据对应的第一特征数据及所述人眼图像数据对应的第二特征数据，并融合所述第一特征数据及所述第二特征数据，获得第三特征数据；
通过所述偏差校准模型中预设的全连接层分别对所述第一特征数据、第二特征数据及所述第三特征数据进行学习，获得所述偏差估计值的第一系数及所述第三特征数据对应的第一视线估计值；所述第一系数包括所述第一特征数据对应的第一偏差系数及所述第二特征数据对应的第二偏差系数。
本发明根据预设的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据对应的偏差估计值的系数，同时基于所述人脸图像数据及所述人眼图像数据的特征提取，所述偏差校准模型输出与人无关的第一视线估计值，便于后续进行最终视线估计。
作为优选例子，在所述通过预设的目标函数，获得所述偏差估计值的第二系数，具体包括：
根据预设的目标函数对所述人脸图像数据及所述人眼图像数据对应的第一视线估计值、偏差估计值的第一系数及所述视线落点数据进行处理，获得所述偏差估计值的第二偏差系数；
通过预设的数值优化函数对所述第二偏差系数不断进行优化，获得所述偏差估计值的第二系数。
本发明根据预设的目标函数对所述人脸图像数据及所述人眼图像数据对应的第一视线估计值、偏差估计值的第一系数及所述视线落点数据进行处理，获得与人有关的第二偏差系数，并根据预设的数值优化函数对所述第二偏差系数进行优化处理，提高了所述第二系数的准确度，同时本发明基于所述目标函数获得的与人有关的第二系数，考虑到了外形不同而造成的偏差不同的问题，提高了视线估计的精准度。
作为优选例子，在所述通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者的原始人脸图像对应的视线估计值，具体包括：
根据所述预先训练好的偏差校准模型获得的所述第一系数及所述偏差估计值的第二系数，通过预设的非线性偏差函数，获得所述测试者的原始人脸图像对应的视线偏差值；
根据所述视线偏差值及所述预先训练好的偏差校准模型获得的所述第一视线估计值，通过预设的视线估计函数获得所述测试者的原始人脸图像对应的视线估计值。
本发明根据所述获得的第一系数及第二系数，通过预设的非线性偏差函数获得偏差估计值，既考虑到了与人无关的对偏差估计造成的影响，又考虑到了与人有关的对偏差估计造成的影响，提高了偏差估计的精准度，同时，本发明采用非线性偏差函数，能计算不同角度视线的偏差估计值，能更好的适用不同的环境，提高该方法的普遍性。
作为优选例子，在所述偏差校准模型的训练过程，包括：
基于预设的深度神经网络结构构建初始模型，并在所述初始模型中引入两个深度神经网络结构分支，获得初始偏差校准模型；
通过预设的人脸检测模型及人脸关键点检测模型分别对获得的原始人脸图像进行处理，获得人脸图像数据及人眼图像数据；
根据所述人脸图像数据及所述人眼图像数据，不断地更新所述初始偏差校准模型的模型参数，同时根据预设的非线性偏差函数及预设的视线估计函数获取视线估计值，并采用均方误差损失函数计算视线估计值和真实值的损失值，采用梯度下降的优化方法获得所述偏差校准模型。
本发明基于预设的ResNet18构建初始模型，同时引入两条ResNet18网络结构分支分别对所述人脸图像及所述人眼图像进行处理，能够提取更加精准的特征，同时每个测试对象引入偏差估计的第二系数，可以让模型同时学习到与人无关的偏差系数以及与人相关的偏差系数，进而可以在不同的外形特征下得到更加精准的视线估计值。
另一方面，本发明提供了一种基于非线性偏差校准的视线估计装置，包括数据预处理模块、模型处理模块、偏差系数估计模块及视线估计模块；
所述数据预处理模块用于通过在屏幕上随机显示预设的视觉标志物，收集测试者注视所述视觉标志物时的原始人脸图像及所述原始人脸图像对应的视线落点数据，并通过预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据；
所述模型处理模块用于通过预先训练好的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据分别对应的第一视线估计值及偏差估计值的第一系数；
所述偏差系数估计模块用于根据所述第一视线估计值、偏差估计值的第一系数及所述视线落点数据，通过预设的目标函数，获得所述偏差估计值的第二系数；
所述视线估计模块用于根据所述第一视线估计值，所述第一系数及所述第二系数，通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者的原始人脸图像对应的视线估计值。
本发明公开了一种基于非线性偏差校准的视线估计装置，首先收集获得的原始人脸图像对应的视线落点数据，接着根据预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据，便于后续根据所述人脸图像数据及所述人眼图像数据进行处理，接着通过预先训练好的偏差校准模型对所述人脸图像数据及所述人眼图像数据进行识别处理，获得与人无关的第一视线估计值和所述人脸图像及所述人眼图像分别对应的偏差估计值的第一系数，接着根据所述第一系数、第一视线估计值及所述收集到的所述视线落点，通过预设的目标函数获得与人有关的第二系数，根据所述第一系数及所述第二系数，通过预设的非线性偏差函数及所述视线估计函数获得所述原始人脸图像对应的视线估计值，本发明根据预设的偏差校准模型获得与人无关的第一视线估计值及第一系数，并通过预设的目标函数对所述第一系数及所述获得视线落点数据进行处理，获得与人有关的第二系数，考虑到了不同外形输入偏差不同的问题，同时，基于所述获得的第一系数及所述第二系数，根据预设的非线性偏差函数进而获得视线估计值，更好的适用不同的应用场景，提高了视线估计的精准度。
作为优选例子，在所述数据预处理模块包括数据采集单元、数据处理单元及裁剪单元；
所述数据采集单元用于通过在预设的视线采集装置的屏幕上的不同位置随机显示所述预设的视觉标志物，收集所述测试者在注视不同位置出现的所述视觉标志物时对应的原始人脸图像及所述原始人脸图像对应的视线落点数据；
所述数据处理单元用于根据预设的人脸检测模型及人脸关键点检测模型分别对所述原始人脸图像进行处理，获得人脸检测框及人脸关键点；
所述裁剪单元用于根据所述人脸检测框对所述原始人脸图像进行裁剪，获得人脸图像数据及通过所述人脸关键点对所述原始人脸图像进行裁剪，获得所述人眼图像数据；所述人眼图像数据包括左眼图像及右眼图像。
本发明根据预设的人脸检测模型及人脸关键点检测模型对所述原始人脸图像数据进行处理，以使得根据所述原始人脸图像数据获取对应的人脸图像数据及人眼图像数据，一方面剔除原始人脸图像中的无关数据，提高计算的效率，一方面通过分别获得用户的人脸及人眼图像，用于后续提取与用户有关的特征，提高视线估计的精度。
作为优选例子，在所述模型处理模块包括特征提取单元及第一视线估计单元；
所述特征提取单元用于根据所述偏差校准模型中预设的网络结构，提取所述人脸图像数据及所述人眼图像数据的特征，获得所述人脸图像数据对应的第一特征数据及所述人眼图像数据对应的第二特征数据，并融合所述第一特征数据及所述第二特征数据，获得第三特征数据；
所述第一视线估计单元用于通过所述偏差校准模型中预设的全连接层分别对所述第一特征数据、第二特征数据及所述第三特征数据进行学习，获得所述偏差估计值的第一系数及所述第三特征数据对应的第一视线估计值；所述第一系数包括所述第一特征数据对应的第一偏差系数及所述第二特征数据对应的第二偏差系数。
本发明根据预设的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据对应的偏差估计值的系数，同时基于所述人脸图像数据及所述人眼图像数据的特征提取，所述偏差校准模型输出与人无关的第一视线估计值，便于后续进行最终视线估计。
附图说明
图1：为本发明实施例提供的一种基于非线性偏差校准的视线估计方法的流程示意图；
图2：为本发明实施例提供的一种基于非线性偏差校准的视线估计装置的结构示意图；
图3：为本发明另一实施例提供的一种基于非线性偏差校准的视线估计方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例提供了一种基于非线性偏差校准的视线估计方法，该方法的具体实施过程请参照图1，主要包括步骤101至步骤104，所述每一步骤主要包括：
步骤101：通过在屏幕上随机显示预设的视觉标志物，收集测试者注视所述视觉标志物时的原始人脸图像及所述原始人脸图像对应的视线落点数据，并通过预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据；
在本实施例中，该步骤包括：通过在预设的视线采集装置的屏幕上的不同位置随机显示所述预设的视觉标志物，收集所述测试者在注视不同位置出现的所述视觉标志物时对应的原始人脸图像及所述原始人脸图像对应的视线落点数据。
在本实施例中，该步骤主要包括：根据预设的人脸检测模型及人脸关键点检测模型分别对所述原始人脸图像进行处理，获得人脸检测框及人脸关键点；根据所述人脸检测框对所述原始人脸图像进行裁剪，获得人脸图像数据及通过所述人脸关键点对所述原始人脸图像进行裁剪，获得所述人眼图像数据；所述人眼图像数据包括左眼图像及右眼图像。
本实施例在进行视线估计之前，根据预设的视线采集装置在不同的位置显示视觉标志物，收集不同的用户在所述视觉标志物出现在不同的位置时对应的视线落点数据，以使得后续根据所述视线落点数据获得偏差值，接着根据预设的人脸检测模型及人脸关键点检测模型对所述原始人脸图像数据进行处理，以使得根据所述原始人脸图像数据获取对应的人脸图像数据及人眼图像数据，一方面剔除原始人脸图像中的无关数据，提高计算的效率，一方面通过分别获得用户的人脸及人眼图像，用于后续提取与用户有关的特征，提高视线估计的精度。
步骤102：通过预先训练好的的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据分别对应的第一视线估计值及偏差估计值的第一系数。
在本实施例中，该步骤主要包括：根据所述偏差校准模型中预设的网络结构，提取所述人脸图像数据及所述人眼图像数据的特征，获得所述人脸图像数据对应的第一特征数据及所述人眼图像数据对应的第二特征数据，并融合所述第一特征数据及所述第二特征数据，获得第三特征数据；通过所述偏差校准模型中预设的全连接层分别对所述第一特征数据、第二特征数据及所述第三特征数据进行学习，获得所述偏差估计值的第一系数及所述第三特征数据对应的第一视线估计值；所述第一系数包括所述第一特征数据对应的第一偏差系数及所述第二特征数据对应的第二偏差系数。
在本实施例中，所述偏差校准模型的训练过程包括：基于ResNet18构建初始模型，并在所述初始模型中引入两个ResNet18网络结构分支，获得初始偏差校准模型；通过预设的人脸检测模型及人脸关键点检测模型分别对获得的原始人脸图像进行处理，获得人脸图像数据及人眼图像数据；根据所述人脸图像数据及所述人眼图像数据，不断地更新所述初始偏差校准模型的模型参数，同时根据预设的非线性偏差函数及预设的视线估计函数获取视线估计值，并采用均方误差损失函数计算视线估计值和真实值的损失值，采用梯度下降的优化方法获得所述偏差校准模型。
本实施例根据预设的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据对应的偏差估计值的系数，同时基于所述人脸图像数据及所述人眼图像数据的特征提取，所述偏差校准模型输出与人无关的第一视线估计值，便于后续进行最终视线估计。
步骤103：根据所述第一视线估计值、偏差估计值的第一系数及所述视线落点数据，通过预设的目标函数，获得所述偏差估计值的第二系数。
在本实施例中，该步骤主要包括：根据预设的目标函数对所述人脸图像数据及所述人眼图像数据对应的第一视线估计值、偏差估计值的第一系数及所述视线落点数据进行处理，获得所述偏差估计值的第二偏差系数；通过预设的数值优化函数对所述第二偏差系数不断进行优化，获得所述偏差估计值的第二系数。
本实施例根据预设的目标函数对所述人脸图像数据及所述人眼图像数据对应的第一视线估计值、偏差估计值的第一系数及所述视线落点数据进行处理，获得与人有关的第二偏差系数，并根据预设的数值优化函数对所述第二偏差系数进行优化处理，提高了所述第二系数的准确度，同时本发明基于所述目标函数获得的与人有关的第二系数，考虑到了外形不同而造成的偏差不同的问题，提高了视线估计的精准度。
步骤104：根据所述第一视线估计值，所述第一系数及所述第二系数，通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者的原始人脸图像对应的视线估计值。
在本实施例中，该步骤主要包括：根据所述预先训练好的偏差校准模型获得的所述第一系数及所述偏差估计值的第二系数，通过预设的非线性偏差函数，获得所述测试者的原始人脸图像对应的视线偏差值；根据所述视线偏差值及所述预先训练好的偏差校准模型获得的所述第一视线估计值，通过预设的视线估计函数获得所述测试者的原始人脸图像对应的视线估计值。
本实施例根据所述获得的第一系数及第二系数，通过预设的非线性偏差函数获得偏差估计值，既考虑到了与人无关的对偏差估计造成的影响，又考虑到了与人有关的对偏差估计造成的影响，提高了偏差估计的精准度，同时，本发明采用非线性偏差函数，能计算不同角度视线的偏差估计值，能更好的适用不同的环境，提高该方法的普遍性。
另一方面，本发明实施例提供了一种基于非线性偏差校准的视线估计装置，该装置的主要结构请参照图2，包括数据预处理模块201、模型处理模块202、偏差系数估计模块203及视线估计模块204。
所述数据预处理模块201用于通过在屏幕上随机显示预设的视觉标志物，收集测试者注视所述视觉标志物时的原始人脸图像及所述原始人脸图像对应的视线落点数据，并通过预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据。
所述模型处理模块202用于通过预先训练好的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据分别对应的第一视线估计值及偏差估计值的第一系数。
所述偏差系数估计模块203用于根据所述第一视线估计值、偏差估计值的第一系数及所述视线落点数据，通过预设的目标函数，获得所述偏差估计值的第二系数。
所述视线估计模块204用于根据所述第一视线估计值，所述第一系数及所述第二系数，通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者的原始人脸图像对应的视线估计值。
在本实施例中，所述数据预处理模块201包括数据采集单元、数据处理单元及裁剪单元。
所述数据处理单元用于根据预设的人脸检测模型及人脸关键点检测模型分别对所述原始人脸图像进行处理，获得人脸检测框及人脸关键点。
所述数据采集单元用于通过在预设的视线采集装置的屏幕上的不同位置随机显示所述预设的视觉标志物，收集所述测试者在注视不同位置出现的所述视觉标志物时对应的原始人脸图像及所述原始人脸图像对应的视线落点数据。
所述裁剪单元用于根据所述人脸检测框对所述原始人脸图像进行裁剪，获得人脸图像数据及通过所述人脸关键点对所述原始人脸图像进行裁剪，获得所述人眼图像数据；所述人眼图像数据包括左眼图像及右眼图像。
在本实施例中，所述模型处理模块202包括特征提取单元及第一视线估计单元。
所述特征提取单元用于根据所述偏差校准模型中预设的网络结构，提取所述人脸图像数据及所述人眼图像数据的特征，获得所述人脸图像数据对应的第一特征数据及所述人眼图像数据对应的第二特征数据，并融合所述第一特征数据及所述第二特征数据，获得第三特征数据。
所述第一视线估计单元用于通过所述偏差校准模型中预设的全连接层分别对所述第一特征数据、第二特征数据及所述第三特征数据进行学习，获得所述偏差估计值的第一系数及所述第三特征数据对应的第一视线估计值；所述第一系数包括所述第一特征数据对应的第一偏差系数及所述第二特征数据对应的第二偏差系数。
本发明实施例提供的一种基于非线性偏差校准的视线估计方法及装置，首先收集获得的原始人脸图像对应的视线落点数据，接着根据预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据，便于后续根据所述人脸图像数据及所述人眼图像数据进行处理，接着通过预设的偏差校准模型对所述人脸图像数据及所述人眼图像数据进行识别处理，获得与人无关的第一视线估计值和所述人脸图像及所述人眼图像分别对应的偏差估计值的第一系数，接着根据所述第一系数、第一视线估计值及所述收集到的所述视线落点，通过预设的目标函数获得与人有关的第二系数，根据所述第一系数及所述第二系数，通过预设的非线性偏差函数及所述视线估计函数获得所述原始人脸图像对应的视线估计值，本发明根据预设的偏差校准模型获得与人无关的第一视线估计值及第一系数，并通过预设的目标函数对所述第一系数及所述获得视线落点数据进行处理，获得与人有关的第二系数，考虑到了不同外形输入偏差不同的问题，同时，基于所述获得的第一系数及所述第二系数，根据预设的非线性偏差函数进而获得视线估计值，更好的适用不同的应用场景，提高了视线估计的精准度。
实施例二
本发明实施例提供了另一种基于非线性偏差校准的视线估计方法，该方法的具体实施方式请参照图3，主要包括步骤301至步骤303，每一个步骤主要包括：
步骤301：借助基于模型的眼动追踪设备或者通过人工点击视标的方式收集不同测试用户的若干原始图像及所述原始图像对应的视线落点数据及第一测试对象对应的若干张原始图像及所述原始图像对应的目标注视值，并用收集到的所述不同测试用户的数据训练偏差校准模型，并利用所述偏差校准模型对所述第一测试对象的原始图像进行数据预处理，获得所述第一测试对象对应的原始图像的第一视线估计及偏差估计的第一系数。
在本实施例中，该步骤主要包括：通过在屏幕上随机显示视觉标志物，让用户注视视觉标志物的方式，获取第一测试对象对应的原始人脸图像及所述原始人脸图像对应的视线落点数据，收集获取的原始人脸图像对应的视线落点数据，并通过预设的人脸检测方式对所述原始人脸图像进行处理，分别获得所述原始人脸图像对应的人脸图像数据及人眼图像数据，通过训练好的的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像及所述人眼图像分别对应的第一视线估计值及偏差估计值的第一系数。
在实施例中，所述偏差校准模型的训练过程具体为：首先通过在屏幕上随机显示视觉标志物，让用户注视并点击视觉标志物的方式获取不同测试用户的若干原始图像及所述原始图像对应的视线落点数据，通过该方法，收集不同用户视线落在屏幕上不同位置时的人像信息
Figure SMS_1
以及对应的视线在屏幕上的落点/>
Figure SMS_4
，构建训练集/>
Figure SMS_7
，其中，/>
Figure SMS_2
表示用户点击视觉标志物时摄像头拍摄到的人脸信息，/>
Figure SMS_6
表示此时对应的视线在屏幕上的落点坐标
Figure SMS_9
，/>
Figure SMS_11
为视线在屏幕上对应的x轴坐标，/>
Figure SMS_3
为视线在屏幕上对应的y轴坐标。接着采用MTCNN（Multi-task Cascaded Convolutional Networks）与人脸关键点检测模型PFLD（Practical Facial Landmark Detector），从上述步骤获取的人像信息中，得到人脸检测框以及人脸关键点；根据人脸检测框，从人像信息中裁剪出人脸图像；根据人脸关键点，从人像信息中分别裁剪出左眼图像和右眼图像。所述左右眼的图像信息的提取方式为，以关键点的外接矩阵的中心为中心，然后宽高分别外扩成原来的1.2倍，然后分别以测试者的人脸、人眼图像输入预设的偏差校准模型，所述偏差校准模型网络结构以ResNet18为基础结构，主要包括两个ResNet18的网络结构分支，左眼与右眼图像共享一个网络分支，同时每个测试对象会初始化一个第二偏差系数/>
Figure SMS_5
即所述偏差估计值的第二系数，模型的输出包括注视点估计T以及偏差估计值B的多项式系数，最终的视线估计值G(x)=T+B，其中，X表示输入的图像，/>
Figure SMS_8
，/>
Figure SMS_10
，在人脸、左眼以及右眼图像的特征提取层后，增加了全连接层来学习输出的多项式系数，获得所述原始图像对应的目标注视值及偏差估计的第一系数。同时所述模型的训练的损失函数采用均方误差，优化器采用Adam，通过反向传播来对所述模型进行训练。
在本实施例中，所述偏差估计函数为：
Figure SMS_12
其中
Figure SMS_13
为与人有关的第二偏差系数，每个人对应一个/>
Figure SMS_14
，/>
Figure SMS_15
为与人无关的第一偏差系数，所有人共享/>
Figure SMS_16
，通过所述偏差估计函数计算得到偏差值
Figure SMS_17
；
在本实施例中，损失函数具体如下：
Figure SMS_18
其中，
Figure SMS_19
表示模型参数以及每个测试对象的第二偏差系数/>
Figure SMS_23
表示第/>
Figure SMS_26
个用户的第/>
Figure SMS_20
次注视的注视点真实值，/>
Figure SMS_22
表示第/>
Figure SMS_25
个用户的第/>
Figure SMS_28
次注视的注视点估计值，/>
Figure SMS_21
表示第/>
Figure SMS_24
个用户的第/>
Figure SMS_27
次注视的注视点偏差值。
步骤302：基于预设的目标函数对所述第一测试对象的原始图像对应的目标注视值、第一视线估计及偏差估计的第一系数进行处理，获得所述偏差估计的第二系数。
在本实施例中，该步骤主要包括：利用步骤301得到的偏差校准模型对所述第一测试对象的校准数据进行处理，得到第一测试对象的校准数据的第一视线估计值、偏差估计值的第一系数，并结合第一测试对象的校准数据的视线落点，通过预设的目标函数，获得所述第一测试对象的偏差估计值的第二系数。
在本实施例中，该步骤具体为：将模型输出的多项式系数
Figure SMS_29
、注视点估计值T，以及目标注视真实值GT作为输入，定义所述目标函数如下：
Figure SMS_30
其中，
Figure SMS_31
表示第一测试对象的校准数据的第/>
Figure SMS_32
次注视的注视点真实值，/>
Figure SMS_33
表示第一测试对象的校准数据的第/>
Figure SMS_34
次注视的注视点估计值，/>
Figure SMS_35
表示第一测试对象的校准数据的第/>
Figure SMS_36
次注视的注视点偏差值。
在本实施例中，可通过最小二乘或者通过梯度下降等数值优化方法对所述目标函数不断优化进行求解，得到所述原始图像对应第一测试对象的相关的偏差参数即所述偏差估计值的第二系数
Figure SMS_37
的最优值。
步骤303：根据所述第一系数、所述第二系数及所述第一视线估计，通过预设的非线性偏差函数及预设的视线估计函数，获得所述第一测试对象对应的原始图像对应的视线估计值。
在本实施例中，该步骤主要包括：根据所述第一视线估计值，所述第一系数及所述第二系数，通过预设的非线性偏差函数及预设的视线估计函数，获得所述第一测试对象对应的原始人脸图像对应的视线估计值。
在本实施例中，该步骤具体为：根据所述与人相关的第二系数
Figure SMS_38
的最优值及模型输出的第一系数/>
Figure SMS_39
，通过预设的偏差函数计算得到偏差量/>
Figure SMS_40
，接着通过所述偏差量及所述模型输出的第一视线估计值T，通过预设的视线估计函数获得所述第一测试对象对应的原始人脸图像对应的视线估计值，所述预设的实现估计函数为：
Figure SMS_41
本实施例提供的一种基于非线性偏差校准的视线估计方法，考虑了不同外形输入偏差不同的问题，同时，采用了非线性的偏差估计方法，更好地适用于真实的应用场景，提高了视线估计的精度。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于非线性偏差校准的视线估计方法，其特征在于，包括：
通过在屏幕上随机显示预设的视觉标志物，收集测试者注视所述视觉标志物时的原始人脸图像及所述原始人脸图像对应的视线落点数据，并通过预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据；
通过预先训练好的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据分别对应的第一视线估计值及偏差估计值的第一系数；根据所述偏差校准模型中预设的网络结构，提取所述人脸图像数据及所述人眼图像数据的特征，获得所述人脸图像数据对应的第一特征数据及所述人眼图像数据对应的第二特征数据，并融合所述第一特征数据及所述第二特征数据，获得第三特征数据；通过所述偏差校准模型中预设的全连接层分别对所述第一特征数据、第二特征数据及所述第三特征数据进行学习，获得所述偏差估计值的第一系数及所述第三特征数据对应的第一视线估计值；所述第一系数包括所述第一特征数据对应的第一偏差系数及所述第二特征数据对应的第二偏差系数；
根据所述第一视线估计值、偏差估计值的第一系数及所述视线落点数据，通过预设的目标函数，获得所述偏差估计值的第二系数；
根据所述第一视线估计值，所述第一系数及所述第二系数，通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者的原始人脸图像对应的视线估计值。
2.如权利要求1所述的一种基于非线性偏差校准的视线估计方法，其特征在于，所述收集测试者注视所述视觉标志物时的原始人脸图像及所述原始人脸图像对应的视线落点数据，具体包括：
通过在预设的视线采集装置的屏幕上的不同位置随机显示所述预设的视觉标志物，收集所述测试者在注视不同位置出现的所述视觉标志物时对应的原始人脸图像及所述原始人脸图像对应的视线落点数据。
3.如权利要求1所述的一种基于非线性偏差校准的视线估计方法，其特征在于，所述通过预设的人脸检测方式对所述原始人脸图像进行处理，具体包括：
根据预设的人脸检测模型及人脸关键点检测模型分别对所述原始人脸图像进行处理，获得人脸检测框及人脸关键点；
根据所述人脸检测框对所述原始人脸图像进行裁剪，获得人脸图像数据及通过所述人脸关键点对所述原始人脸图像进行裁剪，获得所述人眼图像数据；所述人眼图像数据包括左眼图像及右眼图像。
4.如权利要求1所述的一种基于非线性偏差校准的视线估计方法，其特征在于，所述通过预设的目标函数，获得所述偏差估计值的第二系数，具体包括：
根据预设的目标函数对所述人脸图像数据及所述人眼图像数据对应的第一视线估计值、偏差估计值的第一系数及所述视线落点数据进行处理，获得所述偏差估计值的第二偏差系数；
通过预设的数值优化函数对所述第二偏差系数不断进行优化，获得所述偏差估计值的第二系数。
5.如权利要求1所述的一种基于非线性偏差校准的视线估计方法，其特征在于，所述通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者的原始人脸图像对应的视线估计值，具体包括：
根据所述预先训练好的偏差校准模型获得的所述第一系数及所述偏差估计值的第二系数，通过预设的非线性偏差函数，获得所述测试者的原始人脸图像对应的视线偏差值；
根据所述视线偏差值及所述预先训练好的偏差校准模型获得的所述第一视线估计值，通过预设的视线估计函数获得所述测试者的原始人脸图像对应的视线估计值。
6.如权利要求1所述的一种基于非线性偏差校准的视线估计方法，其特征在于，所述偏差校准模型的训练过程，包括：
基于预设的深度神经网络结构构建初始模型，并在所述初始模型中引入两个深度神经网络结构分支，获得初始偏差校准模型；
通过预设的人脸检测模型及人脸关键点检测模型分别对获得的原始人脸图像进行处理，获得人脸图像数据及人眼图像数据；
根据所述人脸图像数据及所述人眼图像数据，不断地更新所述初始偏差校准模型的模型参数，同时根据预设的非线性偏差函数及预设的视线估计函数获取视线估计值，并采用均方误差损失函数计算视线估计值和真实值的损失值，采用梯度下降的优化方法获得所述偏差校准模型。
7.一种基于非线性偏差校准的视线估计装置，其特征在于，包括数据预处理模块、模型处理模块、偏差系数估计模块及视线估计模块；
所述数据预处理模块用于通过在屏幕上随机显示预设的视觉标志物，收集测试者注视所述视觉标志物时的原始人脸图像及所述原始人脸图像对应的视线落点数据，并通过预设的人脸检测方式对所述原始人脸图像进行处理，获得所述原始人脸图像对应的人脸图像数据及人眼图像数据；
所述模型处理模块用于通过预先训练好的偏差校准模型分别对所述人脸图像数据及所述人眼图像数据进行处理，获得所述人脸图像数据及所述人眼图像数据分别对应的第一视线估计值及偏差估计值的第一系数；根据所述偏差校准模型中预设的网络结构，提取所述人脸图像数据及所述人眼图像数据的特征，获得所述人脸图像数据对应的第一特征数据及所述人眼图像数据对应的第二特征数据，并融合所述第一特征数据及所述第二特征数据，获得第三特征数据；通过所述偏差校准模型中预设的全连接层分别对所述第一特征数据、第二特征数据及所述第三特征数据进行学习，获得所述偏差估计值的第一系数及所述第三特征数据对应的第一视线估计值；所述第一系数包括所述第一特征数据对应的第一偏差系数及所述第二特征数据对应的第二偏差系数；
所述偏差系数估计模块用于根据所述第一视线估计值、偏差估计值的第一系数及所述视线落点数据，通过预设的目标函数，获得所述偏差估计值的第二系数；
所述视线估计模块用于根据所述第一视线估计值，所述第一系数及所述第二系数，通过预设的非线性偏差函数及预设的视线估计函数，获得所述测试者的原始人脸图像对应的视线估计值。
8.如权利要求7所述的一种基于非线性偏差校准的视线估计装置，其特征在于，所述数据预处理模块包括数据采集单元、数据处理单元及裁剪单元；
所述数据采集单元用于通过在预设的视线采集装置的屏幕上的不同位置随机显示所述预设的视觉标志物，收集所述测试者在注视不同位置出现的所述视觉标志物时对应的原始人脸图像及所述原始人脸图像对应的视线落点数据；
所述数据处理单元用于根据预设的人脸检测模型及人脸关键点检测模型分别对所述原始人脸图像进行处理，获得人脸检测框及人脸关键点；
所述裁剪单元用于根据所述人脸检测框对所述原始人脸图像进行裁剪，获得人脸图像数据及通过所述人脸关键点对所述原始人脸图像进行裁剪，获得所述人眼图像数据；所述人眼图像数据包括左眼图像及右眼图像。
CN202310331666.4A 2023-03-31 2023-03-31 一种基于非线性偏差校准的视线估计方法及装置 Active CN116052264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310331666.4A CN116052264B (zh) 2023-03-31 2023-03-31 一种基于非线性偏差校准的视线估计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310331666.4A CN116052264B (zh) 2023-03-31 2023-03-31 一种基于非线性偏差校准的视线估计方法及装置

Publications (2)

Publication Number Publication Date
CN116052264A CN116052264A (zh) 2023-05-02
CN116052264B true CN116052264B (zh) 2023-07-04

Family

ID=86118560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310331666.4A Active CN116052264B (zh) 2023-03-31 2023-03-31 一种基于非线性偏差校准的视线估计方法及装置

Country Status (1)

Country Link
CN (1) CN116052264B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132869A (zh) * 2023-08-28 2023-11-28 广州视景医疗软件有限公司 视线偏差估算模型的训练、视线偏差值的校正方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545302A (zh) * 2017-08-02 2018-01-05 北京航空航天大学 一种人眼左右眼图像联合的视线方向计算方法
JP2019128748A (ja) * 2018-01-24 2019-08-01 日本放送協会 視線校正データ生成装置、視線測定装置およびそれらのプログラム
CN110503068A (zh) * 2019-08-28 2019-11-26 Oppo广东移动通信有限公司 视线估计方法、终端及存储介质
CN111178278A (zh) * 2019-12-30 2020-05-19 上海商汤临港智能科技有限公司 视线方向确定方法、装置、电子设备及存储介质
CN111353506A (zh) * 2018-12-24 2020-06-30 北京三星通信技术研究有限公司 自适应的视线估计方法和设备
CN112040834A (zh) * 2018-02-22 2020-12-04 因诺登神经科学公司 眼球跟踪方法及系统
CN115713794A (zh) * 2022-09-06 2023-02-24 杭州萤石软件有限公司 一种基于图像的视线落点估计方法、装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547123B (zh) * 2012-01-05 2014-02-26 天津师范大学 基于人脸识别技术的自适应视线跟踪系统及其跟踪方法
JP2013252301A (ja) * 2012-06-07 2013-12-19 Toyota Central R&D Labs Inc 眼球中心推定装置及びプログラム
WO2015186054A1 (en) * 2014-06-02 2015-12-10 Xlabs Pty Ltd Pose-invariant eye-gaze tracking using a single commodity camera
JP6870474B2 (ja) * 2017-05-24 2021-05-12 富士通株式会社 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
CN107506705B (zh) * 2017-08-11 2021-12-17 西安工业大学 一种瞳孔-普尔钦斑视线跟踪与注视提取方法
EP3506149A1 (en) * 2017-12-27 2019-07-03 Fundacion Centro De Tecnologias De Interaccion Visual Y Comunicaciones Vicomtech Method, system and computer program product for eye gaze direction estimation
CN111527374B (zh) * 2018-01-05 2021-10-22 三菱电机株式会社 视线方向校正装置、视线方向校正方法及视线方向校正程序
CN110263745B (zh) * 2019-06-26 2021-09-07 京东方科技集团股份有限公司 一种人眼瞳孔定位的方法及装置
CN110623629B (zh) * 2019-07-31 2022-05-10 毕宏生 一种基于眼球运动的视觉注意检测方法及系统
CN110648369B (zh) * 2019-09-23 2022-07-19 京东方科技集团股份有限公司 视线计算模型参数的标定方法及装置
CN112000226B (zh) * 2020-08-26 2023-02-03 杭州海康威视数字技术股份有限公司 一种人眼视线估计方法、装置及视线估计系统
CN112069986A (zh) * 2020-09-04 2020-12-11 江苏慧明智能科技有限公司 高龄老人眼动机器视觉跟踪方法及装置
CN114360043B (zh) * 2022-03-18 2022-06-17 南昌虚拟现实研究院股份有限公司 模型参数标定方法、视线追踪方法、装置、介质及设备
CN114706484A (zh) * 2022-04-18 2022-07-05 Oppo广东移动通信有限公司 视线坐标确定方法及装置、计算机可读介质和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545302A (zh) * 2017-08-02 2018-01-05 北京航空航天大学 一种人眼左右眼图像联合的视线方向计算方法
JP2019128748A (ja) * 2018-01-24 2019-08-01 日本放送協会 視線校正データ生成装置、視線測定装置およびそれらのプログラム
CN112040834A (zh) * 2018-02-22 2020-12-04 因诺登神经科学公司 眼球跟踪方法及系统
CN111353506A (zh) * 2018-12-24 2020-06-30 北京三星通信技术研究有限公司 自适应的视线估计方法和设备
CN110503068A (zh) * 2019-08-28 2019-11-26 Oppo广东移动通信有限公司 视线估计方法、终端及存储介质
CN111178278A (zh) * 2019-12-30 2020-05-19 上海商汤临港智能科技有限公司 视线方向确定方法、装置、电子设备及存储介质
CN115713794A (zh) * 2022-09-06 2023-02-24 杭州萤石软件有限公司 一种基于图像的视线落点估计方法、装置

Also Published As

Publication number Publication date
CN116052264A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN108537191B (zh) 一种基于结构光摄像头的三维人脸识别方法
CN105426827B (zh) 活体验证方法、装置和系统
CN116052264B (zh) 一种基于非线性偏差校准的视线估计方法及装置
CN110796018A (zh) 一种基于深度图像和彩色图像的手部运动识别方法
CN111126864A (zh) 一种基于人机对抗评分的街道品质评估方法
CN111062260B (zh) 一种面部整容推荐方案自动生成方法
CN111723707A (zh) 一种基于视觉显著性的注视点估计方法及装置
CN110456904A (zh) 一种无需标定的增强现实眼镜眼动交互方法及系统
CN111126143A (zh) 一种基于深度学习的运动评判指导方法及系统
CN114170537A (zh) 一种多模态三维视觉注意力预测方法及其应用
CN111260687A (zh) 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
CN113838058A (zh) 一种基于小样本分割的医学图像自动标注方法及系统
CN116958584A (zh) 关键点检测方法、回归模型的训练方法、装置及电子设备
CN117152815A (zh) 一种学生活动伴随式数据分析方法、装置及设备
CN115331152B (zh) 一种消防识别方法和系统
CN111626197A (zh) 一种人体行为识别网络模型及识别方法
CN115116117A (zh) 一种基于多模态融合网络的学习投入度数据的获取方法
CN113965550B (zh) 智能交互式远程辅助视频系统
CN115719428A (zh) 基于分类模型的人脸图像聚类方法、装置、设备及介质
CN111209860B (zh) 基于深度学习与强化学习的视频考勤系统及方法
CN111241165B (zh) 一种基于大数据的人工智能教育系统及数据处理方法
CN114898447A (zh) 一种基于自注意力机制的个性化注视点检测方法及装置
CN114445649A (zh) 用多尺度超像素融合检测rgb-d单幅图像阴影的方法
CN112990892A (zh) 一种用于教学考评的视频信息采集方法及图像处理系统
CN111950575A (zh) 用于跌倒检测的设备及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant