CN113705349B - 一种基于视线估计神经网络的注意力量化分析方法及系统 - Google Patents

一种基于视线估计神经网络的注意力量化分析方法及系统 Download PDF

Info

Publication number
CN113705349B
CN113705349B CN202110848705.9A CN202110848705A CN113705349B CN 113705349 B CN113705349 B CN 113705349B CN 202110848705 A CN202110848705 A CN 202110848705A CN 113705349 B CN113705349 B CN 113705349B
Authority
CN
China
Prior art keywords
sight
line
attention
neural network
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110848705.9A
Other languages
English (en)
Other versions
CN113705349A (zh
Inventor
杨峰
宋永端
李�瑞
陈沁�
王士淳
夏鸿宇
何彩诗
蒲仕豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110848705.9A priority Critical patent/CN113705349B/zh
Publication of CN113705349A publication Critical patent/CN113705349A/zh
Priority to US17/681,510 priority patent/US20230025527A1/en
Application granted granted Critical
Publication of CN113705349B publication Critical patent/CN113705349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于视线估计神经网络的注意力量化方法及系统，提高了视线估计神经网络的稳定性和训练效率；将少样本学习方法应用在视线估计神经网络的训练上，提高了视线估计神经网络的泛化性能；提出一种视线角度值小区间的非线性划分方法，减小了视线估计神经网络的估计误差；提出加入睁闭眼检测以避免闭眼状态对视线估计造成误差；提出一种视线落点解算方法，具有较高的环境适应性，能快速用于实际部署；提出一种基于视线落点的注意力量化方法，对视线落点区域加权使得注意力量化结果更为准确；最后，结合上述方法设计出基于视线的注意力分析系统，并引入结合群体注意力统计信息的注意力修正模块，进一步提高注意力分析系统的准确性和可靠性。

Description

一种基于视线估计神经网络的注意力量化分析方法及系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于端到端视线估计神经网络的学生课堂注意力量化分析方法和系统。
背景技术
注意力分析在辅助驾驶、自动驾驶、人机交互、广告推荐、行为预测、心理分析等方面有着重要的应用价值。随着教育事业的发展，将注意力分析应用在课堂教学计算机辅助系统上也引起了广泛的关注。
线上教育高速发展，也暴露了其存在的缺点，教师难以及时高效地获知学生的学习状态是其中一个较为严重的问题。所以需要注意力分析系统来辅助教学工作。
现有的课堂教学计算机辅助系统中，注意力分析通常通过低头抬头率这一指标来进行，通过传统的图像处理方法或者机器学习方法判别学生的低头抬头状态。然而抬头与否不能直接反应学生的注意力是否集中在听课上，如低头写字、抬头东张西望和抬头睡觉等情况容易造成误判。
发明内容
为了解决上述技术问题，本发明实施例提供一种基于视线方向进行注意力量化分析以及相关神经网络训练的技术方案。
本发明技术方案为一种基于视线估计神经网络的注意力量化方法，该方法包括：
步骤1：计算注意力区域，该注意力区域为需要目标的注意力集中的整个区域，并将该区域拟合为一个或多个可用方程表示的曲面，该曲面称为注意力曲面，并记录实际物体平面与注意力曲面上的点之间的映射关系；在教学领域该区域为包括黑板、或讲台、或多媒体的整个教学区域；
步骤2：采用双目相机获取检测区域的图像，采用人脸检测方法定位每一幅人脸的位置，每一幅人脸为一个需要计算注意力的目标；
步骤3：对各目标图像进行校正，并截取目标图像；
步骤3.1：计算目标脸部关键点位置，该关键点包括：双眼眼角、鼻尖和嘴角；
步骤3.2：利用关键点信息校正目标，使目标双眼眼角或嘴角在同一条水平线上，记录下目标旋转的角度值；
步骤3.3：针对每个目标旋转图像，然后截取该目标脸部图像，对截取到的图像缩放至所需大小；
步骤4：检测目标睁眼、闭眼状态，当为睁眼状态时进行步骤5，闭眼状态时，不进行后续计算；
步骤5：采用视线估计神经网络计算目标视线方向；
步骤6：计算目标视线落点位置；
步骤6.1：获取视线曲面与相机的位置关系，以双目相机中的主相机为参考建立空间直角坐标系；
步骤6.2：根据步骤3.2记录下的目标图像旋转角度值，对步骤5得到的目标视线方向进行旋转回正；
步骤6.3：根据步骤6.2得到的回正后的视线方向，计算该视线在步骤6.1建立的坐标系中的水平和竖直方向上的角度；
步骤6.4：根据双目成像原理计算目标与主相机之间的距离，再计算出目标在空间直角坐标系中的坐标；根据该坐标和步骤6.3的视线角度计算出视线与视线曲面的交点；
步骤6.5：将交点映射回平面上的点，得到视线落点位置；
步骤7：量化注意力；
对注意力曲面划分，根据区域特征设定各区域的注意力权重，注意力曲面以外的区域权重为0，根据目标的视线落点，赋予目标注意力值；间隔时间多次采集目标图像后，对应得到目标的多个注意力值，组成注意力值序列，该序列为量化后的注意力值序列。
进一步的，所述步骤5中视线估计神经网络的结构包括：特征提取主干网络、水平方向的角度值小区间分类全连接层、竖直方向的角度值小区间分类全连接层、水平角度值回归全连接层、竖直角度值回归全连接层、睁闭眼检测分支全连接层；所述特征提取主干网络的输入为目标图像，输出为提取的特征，并将提取的特征分别输入给水平方向的角度值小区间分类全连接层、竖直方向的角度值小区间分类全连接层和睁闭眼检测分支全连接层；水平方向的角度值小区间分类全连接层、竖直方向的角度值小区间分类全连接层的输出对应输入给水平角度值回归全连接层、竖直角度值回归全连接层；水平角度值回归全连接层、竖直角度值回归全连接层、睁闭眼检测分支全连接层的输出分别为水平角度估计值、竖直角度估计值、睁闭眼检测结果。
进一步的，所述视线估计神经网络中水平角度值回归全连接层中每一个单元表示对水平角度划分过后的一个角度小区间，竖直角度值回归全连接层中每一个单元表示对竖直角度划分过后的一个角度小区间；该划分方法为：当视线转角越小时小区间越稠密，视线转角越大时小区间越稀疏。
进一步的，小区间划分为对称划分，划分点的计算函数为：
Figure BDA0003179107940000031
其中，Pi表示第i个划分点的位置，sign()为符号函数，lθ为对称的转角值区间的长度，K表示小区间个数。
进一步的，所述视线估计神经网络的训练方法为：
步骤202：冻结视线估计神经网络水平角度值回归全连接层、竖直角度值回归全连接层的权值参数，使得这些权值参数在网络训练时不进行更新和调整，进入分类训练状态；
步骤204：利用处于分类训练状态的视线估计神经网络获取视线数据集中各个样本图像的视线方向估计信息；
步骤206：根据视线方向估计信息和视线方向标注信息计算分类损失部分和回归损失部分，利用损失函数加权计算视线估计损失函数值；
步骤208：视线数据集除了用于训练的部分外，还划分出了与训练用部分无交叉的验证用部分，利用处于分类训练状态的视线估计神经网络估计验证用部分数据集中的图像，并利用对应的标注信息计算出神经网络的性能参数；
步骤210：判断视线估计神经网络是否满足第一训练阶段的性能要求，若否进入步骤212，若是进入步骤214；
步骤212：根据视线估计损失函数值对神经网络的未被冻结的权值参数进行更新和调整，继续返回204迭代执行操作；
步骤214：对角度值小区间的锚点值进行调整，水平角度值回归全连接层、竖直角度值回归全连接层的权值参数的值就是对应角度小区间的锚点值,锚点值初始化值为每个视线角度值小区间的中值；冻结水平角度值回归全连接层、竖直角度值回归全连接层的权值参数以外的所有权值参数，视线估计神经网络进入回归训练状态；
步骤216：利用处于回归训练状态的视线估计神经网络获取视线数据集中各个样本图像的视线方向估计信息，所述视线方向估计信息包含水平与竖直方向的视线角度值小区间的分类估计信息和角度估计值输出；
步骤218：根据视线方向估计信息和视线方向标注信息计算分类损失部分和回归损失部分，利用损失函数加权计算视线估计损失函数值；
步骤220：利用处于回归训练状态的视线估计神经网络估计验证用部分数据集中的图像，并利用对应的标注信息计算出神经网络的性能参数；
步骤222：判断视线估计神经网络是否满足第二训练阶段的性能要求，若不满足进入步骤224，若满足进入步骤226；
步骤224：根据视线估计损失函数值对神经网络的未被冻结的权值参数进行更新和调整，继续返回216迭代执行操作；
步骤226：视线估计神经网络的监督训练结束。
进一步的，所述视线估计神经网络的训练方法为：
步骤302，将视线估计数据集划分为多个相互之间无交叉的小数据集，所述无交叉即代表任意两个小数据集不包含相同的元素；
步骤304，取一个小数据集，所述小数据集包含训练用部分和测试用部分；记视线估计神经网络的权值参数为Φ，将视线估计神经网络表示为MΦ，对MΦ进行复制得到复制的视线估计神经网络MΘ，其中Θ＝Φ；
步骤306，从所述小数据集训练用部分中采样至少一个样本图像，利用复制的视线估计神经网络MΘ获取所述样本的视线方向估计信息；
步骤308，根据视线方向估计信息和对应的视线标注信息计算视线估计损失函数值；
步骤310，基于视线估计损失函数值对复制的视线估计神经网络的权值参数Θ进行训练调整；
步骤312，判断是否达到规定的训练次数条件；若否返回执行步骤306，若是执行步骤314；
步骤314，记经过内训练循环训练调整后的视线估计神经网络为MΘ′，从所述小数据集测试用部分中采样至少一个样本图像，利用MΘ′获取所述样本的视线方向估计信息；
步骤316，根据视线方向估计信息和对应的视线标注信息计算视线估计损失函数值；
步骤318，基于视线估计损失函数值对被复制的视线估计神经网络MΦ的权值参数Φ进行训练调整；
步骤320，判断视线估计神经网络的性能是否满足少样本学习训练的结束条件；若否返回执行步骤304，若是进入步骤322；
步骤322,视线估计神经网络的少量样本训练完成。
一种基于视线估计神经网络的注意力量化方法的系统，该系统包括：
双目相机，用于获取目标区域的图像；
人脸获取模块，用于检测图像中的人脸，并对人脸进行校正处理；
视线估计模块，用于计算目标的视线方向和睁眼闭眼状态；
视点解算模块，用于计算目标视线在注意力区域的落点；
注意力量化模块，用于计算注意力量化值；
注意力分析模块，用于修正注意力误判，同时统计、归纳和总结注意力信息；
注意力交互模块，用于向用户展示目标的注意力信息，以及设定和修改注意力分析系统的各项参数；
所述人脸获取模块包括：人脸检测子模块、人脸校正子模块、图像预处理子模块；所述视线估计模块包括：睁闭眼检测子模块、视线估计子模块；所述注意力分析模块包括：注意力值修正子模块、注意力统计子模块；所述注意力交互模块包括：注意力展示子模块、参数调整子模块；
所述双目相机获取图像传输给人脸检测子模块，人脸获取模块的输出分别输入睁闭眼检测子模块、视线估计子模块和视点解算模块，同时睁闭眼检测子模块的输出输入给视线估计子模块；所述视线估计模块的输出输入给视点解算模块，视点解算模块的输出输入给注意力量化模块，然后数据依次传递顺序为：注意力值修正子模块、注意力统计子模块、注意力展示子模块。
本发明可以根据获取图像中目标的注意力值，提供给客户相应的目标的注意力信息。
附图说明
图1为本发明端到端式视线估计神经网络的一个实施例的结构框图。
图2为本发明的视线估计神经网络监督学习训练方法的一个实施例的流程图。
图3为本发明的视线估计神经网络少样本学习训练方法的一个实施例的流程图。
图4为本发明的视线角度值小区间非线性划分方法的一个实施例的流程图。
图5为本发明睁眼闭眼状态检测方法的一个实施例的流程图。
图6为本发明视线估计方法的一个实施例的流程图。
图7为本发明视线落点解算方法的一个实施例的流程图。
图8为本发明视线落点解算方法的空间几何关系示意图。
图9为本发明基于视线的注意力量化方法的一个实施例的流程图。
图10为本发明基于视线的注意力分析系统的结构图。
具体实施方式
现在将参照附图说明来详细描述本发明的实施例的技术细节。
图1为本发明端到端式视线估计神经网络的一个实施例的结构框图，如图1所示，包括；
102，经过预处理的眼角或者嘴角在同一水平线上的视线估计目标的脸部图像；
104，特征提取主干卷积神经网络，用于提取输入图像的特征向量；
106，水平方向(yaw)的角度值小区间分类全连接层，输出维度为水平方向的角度值小区间数目，用于获取水平方向的角度的估计值属于每个小区间的可能性。类似的，108是竖直方向(pitch)的角度值小区间分类全连接层；
110，睁闭眼检测分支全连接层，用于从所述特征向量获取输入图像的睁闭眼状态；
112，水平角度值回归全连接层，输入维度为水平方向的角度值小区间数目，输出维度为1，初始化值为每个水平方向的角度值小区间的中值，用于获取水平方向视线角度的估计值。类似的，114是竖直角度值回归全连接层；
该网络直接以人脸图像为输入，输出视线方向和睁闭眼状态，无需再裁剪眼部图像输入，是端到端的。
图2为本发明视线估计神经网络训练方法一个实施例的流程图，由两步冻结训练阶段组成，如图2所示，包括：
202，冻结视线估计神经网络的角度值输出之前的两个全连接层的权值参数，使得这些权值参数在网络训练时不进行更新和调整，具体实现方法为将所述权值参数的是否求导属性设置为否。
其中，冻结所述角度值输出之前的两个全连接层的权值参数后，对视线估计神经网络进行训练主要是训练其分类角度值小区间的分类能力，故称此状态为分类训练状态；
204，利用处于分类训练状态的视线估计神经网络获取视线数据集中各个样本图像的视线方向估计信息，所述视线方向估计信息包含水平与竖直方向的视线角度值小区间的分类估计信息和角度估计值输出；
记水平与竖直方向的视线角度值小区间分类估计信息分别为：
Figure BDA0003179107940000071
Figure BDA0003179107940000072
其中
Figure BDA0003179107940000073
代表视线估计神经网络估计水平方向视线角度值属于第i个小区间的可能性，/>
Figure BDA0003179107940000074
代表视线估计神经网络估计竖直方向视线角度值属于第j个小区间的可能性，M和N分别代表水平和竖直方向视线角度值小区间的个数,对应的视线角度值小区间分类标注信息表示为Ryaw和Rpitch；
记视线角度值估计信息为
Figure BDA0003179107940000075
对应的视线角度标注值为/>
Figure BDA0003179107940000076
其中/>
Figure BDA0003179107940000077
和/>
Figure BDA0003179107940000078
分别代表水平和竖直方向视线角度估计值；
其中，
Figure BDA0003179107940000079
在视线估计神经网络内通过以下公式求得：/>
Figure BDA00031791079400000710
Figure BDA00031791079400000711
为第i个小区间的锚点值，初始化时取为小区间的中值，/>
Figure BDA00031791079400000712
的计算方式类似；
206,根据视线方向估计信息和视线方向标注信息计算分类损失部分
Figure BDA00031791079400000713
和回归损失部分/>
Figure BDA00031791079400000714
利用损失函数L＝LC+λ1LR加权计算视线估计损失函数值；
可选的，所述分类损失部分的损失函数可选择交叉熵损失函数，所述回归损失部分的损失函数可选均方误差函数；
208,视线数据集除了用于训练的部分外，还划分出了与训练用部分无交叉的验证用部分，利用处于分类训练状态的视线估计神经网络估计验证用部分数据集中的图像，并利用对应的标注信息计算出神经网络的性能参数；
可选的，所述性能参数包含角度估计值平均误差，角度值小区间估计分类准确率和角度估计值方差；
210，判断视线估计神经网络是否满足第一训练阶段的性能要求；
212，响应于神经网络的性能参数不满足第一训练阶段的性能要求，根据视线估计损失函数值对神经网络的未被冻结的权值参数进行更新和调整，继续返回104迭代执行操作；
214，响应于神经网络的性能参数已满足第一训练阶段的性能要求，代表视线估计神经网络的角度值小区间分类能力已达到要求，接下来需要对角度值小区间的锚点值进行调整，视线估计神经网络的角度值输出之前的两个全连接层的权值参数的值就是对应角度小区间的锚点值,锚点值初始化值为每个视线角度值小区间的中值。冻结视线估计神经网络的角度值输出之前的两个全连接层的权值参数以外的所有权值参数，视线估计神经网络进入回归训练状态；
216，利用处于回归训练状态的视线估计神经网络获取视线数据集中各个样本图像的视线方向估计信息，所述视线方向估计信息包含水平与竖直方向的视线角度值小区间的分类估计信息和角度估计值输出；
118，根据视线方向估计信息和视线方向标注信息计算分类损失部分
Figure BDA0003179107940000081
和回归损失部分/>
Figure BDA0003179107940000082
利用损失函数L＝LC+λ1LR加权计算视线估计损失函数值；
220，利用处于回归训练状态的视线估计神经网络估计验证用部分数据集中的图像，并利用对应的标注信息计算出神经网络的性能参数；
222，判断视线估计神经网络是否满足第二训练阶段的性能要求；
224，响应于神经网络的性能参数不满足第二训练阶段的性能要求，根据视线估计损失函数值对神经网络的未被冻结的权值参数进行更新和调整，继续返回216迭代执行操作；
226，响应于神经网络的性能参数已满足第二训练阶段的性能要求，视线估计神经网络的监督学习阶段结束。
图3为本发明视线估计神经网络少样本学习训练方法一个实施例的流程图。如图3所示，包括：
302，将视线估计数据集划分为多个相互之间无交叉的小数据集，所述无交叉即代表任意两个小数据集不包含相同的元素；
304，取一个小数据集，所述小数据集包含训练用部分和测试用部分。记视线估计神经网络的权值参数为Φ，将视线估计神经网络表示为MΦ，对MΦ进行复制得到复制的视线估计神经网络MΘ，其中Θ＝Φ；
306，从所述小数据集训练用部分中采样至少一个样本图像，利用复制的视线估计神经网络MΘ获取所述样本的视线方向估计信息；
308，根据视线方向估计信息和对应的视线标注信息计算视线估计损失函数值；
310，基于视线估计损失函数值对复制的视线估计神经网络的权值参数Θ进行训练调整；
312，判断是否达到规定的训练次数条件；
其中，可选的，所述训练次数条件具体为是否达到规定的采样周期数目；
响应于未达到规定的训练次数条件，继续迭代执行206到212的操作，此迭代执行过程可称作内训练循环；
314，响应于已达到规定的训练次数条件，记经过内训练循环训练调整后的视线估计神经网络为MΘ′，从所述小数据集测试用部分中采样至少一个样本图像，利用MΘ′获取所述样本的视线方向估计信息；
316，根据视线方向估计信息和对应的视线标注信息计算视线估计损失函数值；
318，基于视线估计损失函数值对被复制的视线估计神经网络MΦ的权值参数Φ进行训练调整；
可选的，在利用所述视线估计损失函数值对被复制的视线估计神经网络的权值参数Φ进行训练调整时，可采用一阶近似减少运算量以提高训练速度；
320，判断视线估计神经网络的性能是否满足少样本学习训练的结束条件；
其中，所述视线估计神经网络的性能侧重考察神经网络的泛化性能，即视线估计神经网络在对从未学习过的样本进行视线估计时能否得到较为准确的结果，可选的，所述性能的参数包含在各个小数据上的视线角度估计值误差均值和视线角度值小区间估计分类准确率；
响应于视线估计神经网络的性能不满足少样本学习训练的结束条件，继续迭代执行304到320的操作，此迭代执行过程可称作训练外循环；
响应于视线估计神经网络的性能已满足少样本学习训练的结束条件，结束训练。
视线角度值小区间的划分方式影响着视线估计神经网络的整体性能，小区间数目过多会导致网络参数量过大以及类间距过小难以区分，小区间数目过少又会导致估计误差过大。一种常用的划分方法是确定合适的小区间长度(如3度)后均匀划分。然而观察发现视线角度较小时人脸外观变化较小，视线角度较大时人脸外观变化较大，变化趋势大致与视线角度值的余弦函数的导数值的绝对值呈反相关；
图4为本发明视线角度值小区间方法一个实施例的流程图。如图4所示，包括：
402，根据视线数据集分别计算视线在水平上和竖直方向上角度值的最大变化范围，根据最大变化范围确定视线角度值区间和需要划分的小区间数目K。
可选的，计算所述最大变化范围需要排除少数和整体值偏差较远的野点，所述小区间数目可通过角度值区间长度整除3度得到；
404，利用区间划分点计算函数计算出所有划分点；
可选的，当角度值区间左右对称时，所述区间划分点计算函数为：
Figure BDA0003179107940000101
其中，sign()为符号函数，lθ为对称的角度值区间的长度；
406，根据划分点将角度值区间划分为K个小区间。
图5为本发明睁闭眼检测方法一个实施例的流程图。如图5所示，包括：
502，获取包含睁闭眼检测目标的图像；
504，利用人脸检测神经网络获取所述目标的面部信息。其中，所述面部信息包括图像中目标人脸的位置，裁剪框大小和面部关键点的坐标。所述面部关键点至少包含双眼眼角，鼻尖和嘴角；
506，根据脸部信息对图像进行预处理获得神经网络的输入图像，所述预处理包括以下操作：
从包含睁闭眼检测目标的图像中裁剪出包含整个目标头部的图像；
根据目标的双眼眼角坐标或者嘴角坐标对裁剪出来的头部图像进行旋转，使得旋转后图像中目标的双眼眼角或者嘴角在同一水平线上；
根据人脸信息从旋转后的头部图像中裁剪出人脸图像，对图像进行缩放调整，调整至神经网络输入要求的尺寸。
506，判断视线估计神经网络是否包含睁闭眼检测分支。
508，若视线估计神经网络不包含睁闭眼检测分支，则利用专用的睁闭眼检测神经网络判断输入图像的睁闭眼状态；
510，若视线估计神经网络包含睁闭眼检测分支，则直接利用视线估计神经网络估计目标的睁闭眼状态；
图6为本发明视线估计方法一个实施例的流程图。如图6所示，包括：
602，获取包含视线估计目标的图像；
604，根据脸部信息对图像进行预处理获得神经网络的输入图像，所述预处理包括以下操作：
从包含视线估计目标的图像中裁剪出包含整个目标头部的图像；
根据目标的双眼眼角坐标或者嘴角坐标对裁剪出来的头部图像在roll方向进行旋转，使得旋转后图像中目标的双眼眼角或者嘴角在同一水平线上，同时记录下图像的旋转参数；
根据人脸信息从旋转后的头部图像中裁剪出人脸图像，对图像进行缩放调整，调整至神经网络输入要求的尺寸。
606，利用脸部信息旋转变换图像使双眼眼角或嘴角在同一水平线上，执行裁剪和缩放等预处理得到神经网络输入图像；
608，利用专用的睁闭眼检测神经网络或者视线估计神经网络的睁闭眼检测分支判断输入图像的睁闭眼状态；
610，判断目标是否处于睁眼状态；
612，响应于目标处于闭眼状态，则对其进行视线估计毫无意义，直接结束操作；
614，响应于目标处于睁眼状态，则利用视线估计神经网络获取输入图像的视线方向估计信息。其中，若视线估计神经网络包含睁闭眼检测分支，在做睁闭眼检测时视线估计信息已经同时输出，无需再做第二次估计；
根据预处理时记录的图像旋转参数利用roll方向的旋转矩阵对估计的视线方向进行回正操作，得到视线估计目标的视线方向估计信息；
图7为本发明视线落点解算方法一个实施例的流程图，如图7所示，包括：
利用双目相机获取包含目标人脸的图片，并计算获取人脸与主相机的距离即人脸的深度信息。其中，所述主相机为双目相机中固定的某一个相机；
利用人脸检测神经网络获取主相机图像中人脸的位置信息；
利用深度信息和主相机图像人脸位置信息获取人脸在相机坐标系中的坐标。其中，所述相机坐标系是以主相机光学中心和轴线为参照建立的空间直角坐标系；
获取人脸坐标主要依据的原理为相机成像原理，利用成像平面上的人脸像素坐标乘以相机的内参矩阵的逆矩阵即可得到人脸在相机坐标系中不含深度的坐标；
708，利用如图5所述视线估计方法获取目标的视线方向估计信息；
710，根据相机坐标系中人脸的坐标和沿着视线估计方向的单位向量可得沿着视线估计方向的射线方程；
712，根据射线方程和注意力曲面方程建立方程组；
714，计算判断所述方程组是否有解；
716，若所述方程组无解，则代表目标的视线没有落在视线落点区域内；
718，若所述方程组有解，方程组的解就是目标的视线落点在相机坐标系中的坐标；
720，判断视线落点区域是否可等效为二维平面；
其中，例如黑板平面，投影幕布和平面电视可以直接视为二维平面，另外，具有规整曲率的曲面的物体例如曲面显示器和曲面手机屏幕可以将其展平等效为二维平面；
722，响应于注意力曲面不可等效为二维平面，返回视线落点的三维空间坐标，结束操作；
724，响应于视线落点区域能够等效为二维平面，将视线落点在主相机坐标系中的坐标转换为视线落点平面坐标系中的坐标；
其中，若注意力曲面可视为二维平面，则可在注意力区域建立另一空间直角坐标系。根据两空间直角坐标系的旋转和平移关系获取坐标旋转矩阵和坐标平移矩阵，利用坐标旋转矩阵和坐标平移矩阵可将相机坐标系中视线落点的坐标转换为注意力区域坐标系中的坐标。最后，舍去深度相关的坐标便可得到视线落点在注意力区域平面坐标系中的二维坐标。
图8为本发明视线落点解算方法的空间几何关系示意图，以教室教学环境为例，如图6所示，包括：
802，双目摄像机，安装在教室黑板所在墙面上方，安装方式和位置无需严格要求，但是需要测量安装位置和偏角信息；
804，以双目摄像机的主相机的光学中心为原点建立的空间直角坐标系；
806，以黑板平面所在区域为此实施例的视线落点区域；
808，以黑板平面为参考建立的平面直角坐标系，和所述空间直角坐标系存在明确的转换关系；
810，注意力分析对象与双目相机之间的连线，其长度即为人脸的深度；
812，沿着注意力分析对象的视线方向的射线；
814，注意力分析对象的视线在黑板平面上的落点；
816，教室地面参考面；
818，注意力分析对象；
图9为本发明注意力分析方法一个实施例的流程图，如图9所示，包括：
902，以一定的时间间隔采样获取注意力分析对象的视线落点信息；
904，利用加权后的注意力区域信息和分析对象的视线落点将分析对象的注意力量化为数值；
其中，所述加权操作依据的是注意力区域与课堂教学的相关程度，以黑板平面为例，对写有板书的部分赋以较高的权值，反之对无板书的区域赋以较低的权值。另外，对教师使用激光笔或者手势强调的重点区域，也应赋予较高的权值；
906，判断是否达到需求的注意力分析总时间，一般来说以一节课的时间为准。
若未达到注意力分析总时间，继续重复902到906的操作；
908，若已达到注意力分析的总时间，则结束注意力分析操作，得到离散时间的注意力分析对象的注意力值序列；
图10为本发明注意力分析系统一个实施例的结构示意图，如图10所示，包括：
1002，图像获取模块，用于获取注意力分析对象的图像。其中，获取的目标图像需要包含深度信息；
10022，双目摄像机子模块，用于拍摄注意力分析对象的双目图像；
1004，人脸获取模块，用于获取睁闭眼检测神经网络和视线估计神经网络的特定规格的人脸输入图像；
10042，人脸检测子模块，用于从图像获取模块802得到的图像中定位出注意力分析对象的人脸，以及获取注意力分析对象的面部关键点信息。包含人脸检测神经网络；
10044，人脸校正子模块，用于将左右偏转的人脸旋转至双眼眼角或者嘴角处于同一水平线上的状态；
10046，图像预处理子模块，用于从旋转后的图像中裁剪出特定位置和长宽比例的人脸图像，再将裁剪出的图像按比例缩放为特定大小得到神经网络所需的输入图像。其中，裁剪时的特定位置参照人脸关键点信息，可选的，以眼角和嘴角构成的四边形的几何中心为裁剪出图像的中心；
1006，视线估计模块，用于估计注意力分析对象的睁闭眼状态和在相机坐标系中的视线方向；
10062，睁闭眼检测子模块，用于估计注意力分析对象处于睁眼还是闭眼状态，避免闭眼状态对视线估计和注意力分析造成误差；
10064，视线估计子模块，用于估计注意力分析对象的视线方向；
可选的，10062和10064可通过包含睁闭眼检测分支的视线估计神经网络实现，此方案可减小神经网络总参数量，提高处理速度；
1008，视点解算模块，用于计算注意力分析对象视线落点的坐标；
1010，注意力量化模块，用于将注意力分析对象的视线落点信息量化为注意力数值信息；
1012，注意力分析模块，用于对注意力分析目标的注意力值序列进行处理和分析，同时统计分析所有注意力分析对象的注意力值序列，进而修正部分误差以及归纳总结注意力信息；
10122，注意力统计子模块，用于统计所有注意力分析对象的注意力信息；
10124，注意力值修正子模块，用于修正注意力分析对象的注意力值序列中的过高或者过低的误差。其中，所述误差可由集体地低头写字，临时的课间休息和注意力集中于发言者等情况造成；
1014，注意力交互模块，用于注意力分析系统与使用者的交互；
10142，注意力展示子模块，用于向用户展示注意力分析结果。其中，所述注意力分析结果包含单个注意力分析对象的注意力信息和1012归纳总结的所有注意力分析对象的整体情况。
10144，注意力分析系统参数调整子模块，用于调整注意力分析系统的相关参数。其中，所述相关参数包括：
10022中双目摄像机的相机参数，在做更换相机或者调整相机安装位置等操作后需要对此参数进行修改；
1008中的视线落点区域信息的参数，在对视线落点区域进行修改、删减、增加和修改权值等操作时需要对此参数进行修改。

Claims (5)

1.一种基于视线估计神经网络的注意力量化方法，该方法包括：
步骤1：计算注意力区域，该注意力区域为需要目标的注意力集中的整个平面区域，并将该区域拟合为一个或多个可用方程表示的曲面，该曲面称为注意力曲面，并记录实际物体平面与曲面上点之间的映射关系；在教学领域该区域为包括黑板、或讲台、或多媒体的整个教学区域；
步骤2：采用双目相机获取检测区域的图像，采用人脸检测方法定位每一幅人脸的位置，每一幅人脸为一个需要计算注意力的目标；
步骤3：对各目标图像进行校正，并截取目标图像；
步骤3.1：计算目标脸部关键点位置，该关键点包括：双眼眼角、鼻尖和嘴角；
步骤3.2：利用关键点信息校正目标，使目标双眼眼角或嘴角在同一条水平线上，记录下目标旋转的角度值；
步骤3.3：针对每个目标旋转图像，然后截取该目标脸部图像，对截取到的图像缩放至所需大小；
步骤4：检测目标睁眼、闭眼状态，当为睁眼状态时进行步骤5，闭眼状态时，不进行后续计算；
步骤5：采用视线估计神经网络计算目标视线方向；
步骤6：计算目标视线落点位置；
步骤6.1：获取视角区域与相机的位置关系，以双目相机中的主相机为参考建立空间直角坐标系；
步骤6.2：根据步骤3.2记录下的目标图像旋转角度值，对步骤5得到的目标视线方向进行旋转回正；
步骤6.3：根据步骤6.2得到的回正后的视线方向，计算该视线在步骤6.1建立的坐标系中的水平和竖直方向上的角度；
步骤6.4：根据双目成像原理计算目标与主相机之间的距离，再计算出目标在空间直角坐标系中的坐标；根据该坐标和步骤6.3的视线角度计算出视线与视角曲面的交点；
步骤6.5：将交点映射回平面上的点，得到视线落点位置；
步骤7：量化注意力；
对注意力曲面进行划分，根据区域特征设定各区域的注意力权重，注意力曲面以外的区域权重为0，根据目标的视线落点，赋予目标注意力值；间隔时间多次采集目标图像后，对应得到目标的多个注意力值，组成注意力值序列，该序列为量化后的注意力值序列；
所述步骤5中视线估计神经网络的结构包括：特征提取主干网络、水平方向的角度值小区间分类全连接层、竖直方向的角度值小区间分类全连接层、水平角度值回归全连接层、竖直角度值回归全连接层；所述特征提取主干网络的输入为目标图像，输出为提取的特征，并将提取的特征分别输入给水平方向的角度值小区间分类全连接层、竖直方向的角度值小区间分类全连接层；水平方向的角度值小区间分类全连接层、竖直方向的角度值小区间分类全连接层的输出对应输入给水平角度值回归全连接层、竖直角度值回归全连接层；水平角度值回归全连接层、竖直角度值回归全连接层的输出分别为水平角度估计值、竖直角度估计值；
所述视线估计神经网络的训练方法为：
步骤202：冻结视线估计神经网络水平角度值回归全连接层、竖直角度值回归全连接层的权值参数，使得这些权值参数在网络训练时不进行更新和调整，进入分类训练状态；
步骤204：利用处于分类训练状态的视线估计神经网络获取视线数据集中各个样本图像的视线方向估计信息；
步骤206：根据视线方向估计信息和视线方向标注信息计算分类损失部分和回归损失部分，利用损失函数加权计算视线估计损失函数值；
步骤208：视线数据集除了用于训练的部分外，还划分出了与训练用部分无交叉的验证用部分，利用处于分类训练状态的视线估计神经网络估计验证用部分数据集中的图像，并利用对应的标注信息计算出神经网络的性能参数；
步骤210：判断视线估计神经网络是否满足第一训练阶段的性能要求，若否进入步骤212，若是进入步骤214；
步骤212：根据视线估计损失函数值对神经网络的未被冻结的权值参数进行更新和调整，继续返回204迭代执行操作；
步骤214：对角度值小区间的锚点值进行调整，水平角度值回归全连接层、竖直角度值回归全连接层的权值参数的值就是对应角度小区间的锚点值,锚点值初始化值为每个视线角度值小区间的中值；冻结水平方向的角度值小区间分类全连接层、竖直方向的角度值小区间分类全连接层、水平角度值回归全连接层、竖直角度值回归全连接层的权值参数以外的所有权值参数，视线估计神经网络进入回归训练状态；
步骤216：利用处于回归训练状态的视线估计神经网络获取视线数据集中各个样本图像的视线方向估计信息，所述视线方向估计信息包含水平与数值方向的视线角度值小区间的分类估计信息和角度估计值输出；
步骤218：根据视线方向估计信息和视线方向标注信息计算分类损失部分和回归损失部分，利用损失函数加权计算视线估计损失函数值；
步骤220：利用处于回归训练状态的视线估计神经网络估计验证用部分数据集中的图像，并利用对应的标注信息计算出神经网络的性能参数；
步骤222：判断视线估计神经网络是否满足第二训练阶段的性能要求，若不满足进入步骤224，若满足进入步骤226；
步骤224：根据视线估计损失函数值对神经网络的未被冻结的权值参数进行更新和调整，继续返回216迭代执行操作；
步骤226：视线估计神经网络监督训练结束。
2.如权利要求1所述的一种基于视线估计神经网络的注意力量化方法，其特征在于，所述视线估计神经网络中水平角度值回归全连接层中每一个单元表示对水平角度划分过后的一个角度小区间，竖直角度值回归全连接层中每一个单元表示对竖直角度划分过后的一个角度小区间；该划分方法为：当视线转角越小时小区间越稠密，视线转角越大时小区间越稀疏。
3.如权利要求2所述的一种基于视线估计神经网络的注意力量化方法，其特征在于，小区间划分为对称划分，划分点的计算函数为：
Figure QLYQS_1
其中，Pi表示第i个划分点的位置，sign()为符号函数，lθ为对称的转角值区间的长度，K表示小区间个数。
4.如权利要求1所述的一种基于视线估计神经网络的注意力量化方法，其特征在于，对所述视线估计神经网络进行进一步训练，该训练方法为：
步骤302，将视线估计数据集划分为多个相互之间无交叉的小数据集，所述无交叉即代表任意两个小数据集不包含相同的元素；
步骤304，取一个小数据集，所述小数据集包含训练用部分和测试用部分；记视线估计神经网络的权值参数为Φ，将视线估计神经网络表示为MΦ，对MΦ进行复制得到复制的视线估计神经网络MΘ，其中Θ＝Φ；
步骤306，从所述小数据集训练用部分中采样至少一个样本图像，利用复制的视线估计神经网络MΘ获取所述样本的视线方向估计信息；
步骤308，根据视线方向估计信息和对应的视线标注信息计算视线估计损失函数值；
步骤310，基于视线估计损失函数值对复制的视线估计神经网络的权值参数Θ进行训练调整；
步骤312，判断是否达到规定的训练次数条件；若否返回执行步骤306，若是执行步骤314；
步骤314，记经过内训练循环训练调整后的视线估计神经网络为MΘ′，从所述小数据集测试用部分中采样至少一个样本图像，利用MΘ′获取所述样本的视线方向估计信息；
步骤316，根据视线方向估计信息和对应的视线标注信息计算视线估计损失函数值；
步骤318，基于视线估计损失函数值对被复制的视线估计神经网络MΦ的权值参数Φ进行训练调整；
步骤320，判断视线估计神经网络的性能是否满足少样本学习训练的结束条件；若否返回执行步骤304，若是进入步骤322；
步骤322,视线估计神经网络的少量样本训练完成。
5.一种用于权利要求1所述基于视线估计神经网络的注意力量化方法的系统，该系统包括：
双目相机，用于获取目标区域的图像；
人脸获取模块，用于识别图像中的人脸，并对人脸进行校正处理；
视线估计模块，用于计算目标的视线方向和睁眼闭眼状态；
视点解算模块，用于计算目标视线在视角区域的落点；
注意力量化模块，用于计算注意力量化值；
注意力分析模块，用于修正注意力误判，同时统计、归纳和总结注意力信息；
注意力交互模块，用于向用户展示分析目标的注意力信息，以及设定和修改注意力分析系统的各项参数；
所述人脸获取模块包括：人脸检测子模块、人脸校正子模块、图像预处理子模块；所述视线估计模块包括：睁闭眼检测子模块、视线估计子模块；所述注意力分析模块包括：注意力值修正子模块、注意力统计子模块；所述注意力交互模块包括：注意力展示子模块、参数调整子模块；
所述双目相机获取图像传输给人脸检测子模块，人脸获取模块的输出分别输入睁闭眼检测子模块、视线估计子模块和视点解算模块，同时睁闭眼检测子模块的输出输入给视线估计子模块；所述视线估计模块的输出输入给视点解算模块，视点解算模块的输出输入给注意力量化模块，然后数据依次传递顺序为：注意力值修正子模块、注意力统计子模块、注意力展示子模块。
CN202110848705.9A 2021-07-26 2021-07-26 一种基于视线估计神经网络的注意力量化分析方法及系统 Active CN113705349B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110848705.9A CN113705349B (zh) 2021-07-26 2021-07-26 一种基于视线估计神经网络的注意力量化分析方法及系统
US17/681,510 US20230025527A1 (en) 2021-07-26 2022-02-25 Quantitative analysis method and system for attention based on line-of-sight estimation neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110848705.9A CN113705349B (zh) 2021-07-26 2021-07-26 一种基于视线估计神经网络的注意力量化分析方法及系统

Publications (2)

Publication Number Publication Date
CN113705349A CN113705349A (zh) 2021-11-26
CN113705349B true CN113705349B (zh) 2023-06-06

Family

ID=78650545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110848705.9A Active CN113705349B (zh) 2021-07-26 2021-07-26 一种基于视线估计神经网络的注意力量化分析方法及系统

Country Status (2)

Country Link
US (1) US20230025527A1 (zh)
CN (1) CN113705349B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116522771B (zh) * 2023-04-21 2024-01-26 重庆大学 一种基于注意力机制的双向两阶段可解释重着陆预测方法
CN116596958B (zh) * 2023-07-18 2023-10-10 四川迪晟新达类脑智能技术有限公司 一种基于在线样本增广的目标跟踪方法及装置
CN117132869A (zh) * 2023-08-28 2023-11-28 广州视景医疗软件有限公司 视线偏差估算模型的训练、视线偏差值的校正方法及装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392120A (zh) * 2017-07-06 2017-11-24 电子科技大学 一种基于视线估计的注意力智能监督方法
CN107944415A (zh) * 2017-12-06 2018-04-20 董伟 一种基于深度学习算法的人眼注意力检测方法
CN109657553A (zh) * 2018-11-16 2019-04-19 江苏科技大学 一种学生课堂注意力检测方法
CN109977757A (zh) * 2019-01-28 2019-07-05 电子科技大学 一种基于混合深度回归网络的多模态的头部姿态估计方法
CN110781718A (zh) * 2019-08-28 2020-02-11 浙江零跑科技有限公司 一种驾驶室红外视觉系统及驾驶员注意力分析方法
CN110853073A (zh) * 2018-07-25 2020-02-28 北京三星通信技术研究有限公司 确定关注点的方法、装置、设备、系统及信息处理方法
WO2020042345A1 (zh) * 2018-08-28 2020-03-05 初速度（苏州）科技有限公司 一种单相机采集人眼视线方向的方法及系统
CN111046823A (zh) * 2019-12-19 2020-04-21 东南大学 基于课堂视频的学生课堂参与度分析系统
CN111627526A (zh) * 2020-05-13 2020-09-04 湖州维智信息技术有限公司 用于儿童adhd筛查评估系统的眼动注意力特征向量确定方法
CN111796681A (zh) * 2020-07-07 2020-10-20 重庆邮电大学 人机交互中基于差分卷积的自适应视线估计方法及介质
CN112464793A (zh) * 2020-11-25 2021-03-09 大连东软教育科技集团有限公司 一种在线考试作弊行为检测方法、系统和存储介质
CN112464863A (zh) * 2019-04-02 2021-03-09 中国计量大学上虞高等研究院有限公司 可变光环境下学习注意力检测与预判装置
CN112597872A (zh) * 2020-12-18 2021-04-02 深圳地平线机器人科技有限公司 视线角度估计方法和装置、存储介质、电子设备
CN112614212A (zh) * 2020-12-16 2021-04-06 上海交通大学 联合语气词特征的视音频驱动人脸动画实现方法及系统
CN112698664A (zh) * 2020-12-11 2021-04-23 南京航空航天大学 一种用于无人集群协同导航优化的视线扇区动态估计方法
CN112990097A (zh) * 2021-04-13 2021-06-18 电子科技大学 一种基于对抗消除的人脸表情识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5865689B2 (ja) * 2011-12-08 2016-02-17 富士通株式会社 探知測距装置および角度推定方法
US9563805B2 (en) * 2014-09-02 2017-02-07 Hong Kong Baptist University Method and apparatus for eye gaze tracking
US10540590B2 (en) * 2016-12-29 2020-01-21 Zhejiang Gongshang University Method for generating spatial-temporally consistent depth map sequences based on convolution neural networks
US10818028B2 (en) * 2018-12-17 2020-10-27 Microsoft Technology Licensing, Llc Detecting objects in crowds using geometric context

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392120A (zh) * 2017-07-06 2017-11-24 电子科技大学 一种基于视线估计的注意力智能监督方法
CN107944415A (zh) * 2017-12-06 2018-04-20 董伟 一种基于深度学习算法的人眼注意力检测方法
CN110853073A (zh) * 2018-07-25 2020-02-28 北京三星通信技术研究有限公司 确定关注点的方法、装置、设备、系统及信息处理方法
WO2020042345A1 (zh) * 2018-08-28 2020-03-05 初速度（苏州）科技有限公司 一种单相机采集人眼视线方向的方法及系统
CN109657553A (zh) * 2018-11-16 2019-04-19 江苏科技大学 一种学生课堂注意力检测方法
CN109977757A (zh) * 2019-01-28 2019-07-05 电子科技大学 一种基于混合深度回归网络的多模态的头部姿态估计方法
CN112464863A (zh) * 2019-04-02 2021-03-09 中国计量大学上虞高等研究院有限公司 可变光环境下学习注意力检测与预判装置
CN112949372A (zh) * 2019-04-02 2021-06-11 中国计量大学上虞高等研究院有限公司 工作区域设定单元及其在学习注意力检测与预判中的用法
CN110781718A (zh) * 2019-08-28 2020-02-11 浙江零跑科技有限公司 一种驾驶室红外视觉系统及驾驶员注意力分析方法
CN111046823A (zh) * 2019-12-19 2020-04-21 东南大学 基于课堂视频的学生课堂参与度分析系统
CN111627526A (zh) * 2020-05-13 2020-09-04 湖州维智信息技术有限公司 用于儿童adhd筛查评估系统的眼动注意力特征向量确定方法
CN111796681A (zh) * 2020-07-07 2020-10-20 重庆邮电大学 人机交互中基于差分卷积的自适应视线估计方法及介质
CN112464793A (zh) * 2020-11-25 2021-03-09 大连东软教育科技集团有限公司 一种在线考试作弊行为检测方法、系统和存储介质
CN112698664A (zh) * 2020-12-11 2021-04-23 南京航空航天大学 一种用于无人集群协同导航优化的视线扇区动态估计方法
CN112614212A (zh) * 2020-12-16 2021-04-06 上海交通大学 联合语气词特征的视音频驱动人脸动画实现方法及系统
CN112597872A (zh) * 2020-12-18 2021-04-02 深圳地平线机器人科技有限公司 视线角度估计方法和装置、存储介质、电子设备
CN112990097A (zh) * 2021-04-13 2021-06-18 电子科技大学 一种基于对抗消除的人脸表情识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Mariko Isogawa等."Optical Non-Line-of -Sight Physics-Based 3D Human Pose Estimation".《CVPR》.2020,第7013-7022页. *
Qingbi Zheng等."Channel Non-Line-of -Sight Identification Based on Convolutional Neural Networks".《IEEE Wireless Communications Letters》.2020,第9卷(第9期),第1500-1504页. *
张俊杰等.""视线跟踪及其在智能教育中的应用研究综述.《计算机应用》.2020,第40卷(第11期),第3346-3356页. *
戴忠东等."基于表观的归一化坐标系分类视线估计方法".《计算机工程》.2021,第1-7页. *
罗元等."视觉注意力检测技术研究综述".《半导体光电》.2019,第40卷(第1期),第1-8页. *

Also Published As

Publication number Publication date
CN113705349A (zh) 2021-11-26
US20230025527A1 (en) 2023-01-26

Similar Documents

Publication Publication Date Title
CN113705349B (zh) 一种基于视线估计神经网络的注意力量化分析方法及系统
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
CN109345556B (zh) 用于混合现实的神经网络前景分离
WO2020010785A1 (zh) 一种课堂教学认知负荷测量系统
CN109284738B (zh) 不规则人脸矫正方法和系统
WO2022156622A1 (zh) 脸部图像的视线矫正方法、装置、设备、计算机可读存储介质及计算机程序产品
CN108805979B (zh) 一种动态模型三维重建方法、装置、设备和存储介质
CN102507592B (zh) 表面缺陷仿蝇视觉在线检测装置及检测方法
CN111325051B (zh) 一种基于人脸图像roi选取的人脸识别方法及装置
CN110795982A (zh) 一种基于人体姿态分析的表观视线估计方法
CN109886246A (zh) 一种人物注意力判断方法、装置、系统、设备和存储介质
CN111144356B (zh) 一种远程教学的教师视线跟随方法及装置
US20220198710A1 (en) Methods for analysis of an image and a method for generating a dataset of images for training a machine-learned model
CN105719248A (zh) 一种实时的人脸变形方法及其系统
CN111209811B (zh) 一种实时检测眼球注意力位置的方法及系统
CN112085534B (zh) 一种关注度分析方法、系统及存储介质
CN111797733A (zh) 一种基于图像的行为识别方法、装置、设备和存储介质
CN114120163A (zh) 视频帧处理方法、装置及其相关设备和存储介质
CN114037907A (zh) 输电线路的检测方法、装置、计算机设备、存储介质
CN112597909A (zh) 一种用于人脸图片质量评价的方法与设备
CN114677644A (zh) 一种基于教室监控视频的学生入座分布识别方法及系统
CN112954313A (zh) 一种对全景图像感知质量的计算方法
CN114677670B (zh) 一种身份证篡改自动识别与定位的方法
CN112862840B (zh) 图像分割方法、装置、设备及介质
CN115937482A (zh) 一种自适应屏幕尺寸的全息场景动态构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant