CN113283354B - 一种分析眼动信号行为的方法、系统及存储介质 - Google Patents

一种分析眼动信号行为的方法、系统及存储介质 Download PDF

Info

Publication number
CN113283354B
CN113283354B CN202110601798.5A CN202110601798A CN113283354B CN 113283354 B CN113283354 B CN 113283354B CN 202110601798 A CN202110601798 A CN 202110601798A CN 113283354 B CN113283354 B CN 113283354B
Authority
CN
China
Prior art keywords
dictionary
eye movement
movement signal
adopting
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110601798.5A
Other languages
English (en)
Other versions
CN113283354A (zh
Inventor
王夏爽
黄旭辉
肖柯
李嘉科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Second Research Institute Of Casic
Original Assignee
Second Research Institute Of Casic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Second Research Institute Of Casic filed Critical Second Research Institute Of Casic
Priority to CN202110601798.5A priority Critical patent/CN113283354B/zh
Publication of CN113283354A publication Critical patent/CN113283354A/zh
Application granted granted Critical
Publication of CN113283354B publication Critical patent/CN113283354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种分析眼动信号行为的方法和系统。本发明提供的分析眼动信号行为的方法，在提取获取得到的眼动信号的特征后，采用独热编码对提取的眼动信号的特征进行编码，生成二值数据；然后获取眼动信号行为分析模型，依据获取的这一眼动信号行为分析模型，以所述二值数据为输入达到精确确定与所获取眼动信号相对应的行为的目的。

Description

一种分析眼动信号行为的方法、系统及存储介质
技术领域
本发明涉及数据挖掘和生物工程技术领域，特别是涉及一种分析眼动信号行为的方法、系统及存储介质。
背景技术
近些年来，眼动技术被应用到认知科学的相关领域，包括：场景感知、阅读过程中的关注区域、视觉搜索等。眼动技术在不同的研究框架下会以不同的方式被运用。
在复杂场景下，飞行任务信息进行加工与眼动的生理特征是密切相关的。所以，很多学者根据不同的标准对眼动的特征进行了探讨，发现眼动特征一般分为三种类型：时间测量特征、空间测量特征和数值特征。眼动信号的改变有助于全面解码飞行员作战注意力的保持、转换和分配情况。
目前基于人工智能的挖掘方法可以通过获取相关信息、提取解决问题所需的专门知识、在目标引导下把知识转化为决策和可执行等行动，最终达到解决科学问题的目的。
但是，现有技术中并没有一种能够对飞行员执行多种类作战任务时的眼动信号进行精确分析的方法或系统。
发明内容
本发明的目的是提供一种能够对飞行员执行多种类作战任务时的眼动信号进行精确分析的方法、系统及存储介质。
为实现上述目的，本发明提供了如下方案：
一种分析眼动信号行为的方法，包括：
获取眼动信号；
提取所述眼动信号的特征；所述眼动信号的特征包括：眨眼率、注视率、平均注视持续时长和平均瞳孔直径；
采用独热编码对提取的眼动信号的特征进行编码，生成二值数据；
获取眼动信号行为分析模型；所述眼动信号行为分析模型为训练好的网络模型；
采用所述眼动信号行为分析模型，以所述二值数据为输入确定与所获取眼动信号相对应的行为。
优选地，所述获取眼动信号，之后还包括：
对所述眼动信号进行预处理；所述预处理包括：剔除异常值。
优选地，所述获取眼动信号行为分析模型，之前还包括：
获取训练数据；所述训练数据为采用独热编码对获取的历史眼动信号的特征进行编码所生成的二值数据；
采用K-SVD字典构造方法根据所述训练数据生成第一字典；
获取初始网络模型；所述初始网络模型包括：支持向量机、随机森林、卷积神经网络和长短期记忆网络；
采用所述字典训练所述初始网络模型，得到训练好的网络模型。
优选地，所述采用K-SVD字典构造方法根据所述训练数据生成第一字典，具体包括：
获取初始标准化字典；
采用所述初始标准化字典，以所述训练数据为输入得到满足公式的字典Φ，记为第二字典；
对所述第二字典进行重复计算，得到收敛后的字典；所述收敛后的字典即为所述第一字典。
优选地，所述对所述第二字典进行重复计算，得到收敛后的字典，具体包括：
采用追踪算法，确定所述训练数据在所述第二字典下的初始表示系数；
对所述第二字典中每一原子进行更新，得到原子数据集；
根据所述原子数据集确定表示误差矩阵；
对所述误差矩阵进行限制，得到列数据；
对所述列数据进行奇异值分解，确定原子数据及其表示系数；
初始化所述第二字典，并返回步骤“采用追踪算法，确定所述训练数据在所述第二字典下的初始表示系数”，达到设定迭代次数后，得到收敛后的字典。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的分析眼动信号行为的方法，在提取获取得到的眼动信号的特征后，采用独热编码对提取的眼动信号的特征进行编码，生成二值数据；然后获取眼动信号行为分析模型，依据获取的这一眼动信号行为分析模型，以所述二值数据为输入达到精确确定与所获取眼动信号相对应的行为的目的。
对应于上述提供的分析眼动信号行为的方法，本发明还提供了一种分析眼动信号行为的系统和存储介质，具体如下：
分析眼动信号行为的系统，包括：
眼动信号获取模块，用于获取眼动信号；
特征提取模块，用于提取所述眼动信号的特征；所述眼动信号的特征包括：眨眼率、注视率、平均注视持续时长和平均瞳孔直径；
编码模块，用于采用独热编码对提取的眼动信号的特征进行编码，生成二值数据；
分析模型获取模块，用于获取眼动信号行为分析模型；所述眼动信号行为分析模型为训练好的网络模型；
行为分析模块，用于采用所述眼动信号行为分析模型，以所述二值数据为输入确定与所获取眼动信号相对应的行为。
优选地，还包括：
训练数据获取模块，用于获取训练数据；所述训练数据为采用独热编码对获取的历史眼动信号的特征进行编码所生成的二值数据；
第一字典生成模块，用于采用K-SVD字典构造方法根据所述训练数据生成第一字典；
初始网络模型获取模块，用于获取初始网络模型；所述初始网络模型包括：支持向量机、随机森林、卷积神经网络和长短期记忆网络；
网络模型训练模块，用于采用所述字典训练所述初始网络模型，得到训练好的网络模型。
优选地，所述第一字典生成模块具体包括：
标准化字典获取单元，用于获取初始标准化字典；
字典确定单元，用于采用所述初始标准化字典，以所述训练数据为输入得到满足公式的字典Φ，记为第二字典；
收敛确定单元，用于对所述第二字典进行重复计算，得到收敛后的字典；所述收敛后的字典即为所述第一字典。
优选地，所述收敛确定单元具体包括：
第一表示系数确定子单元，用于采用追踪算法，确定所述训练数据在所述第二字典下的初始表示系数；
原子数据集构建子单元，用于对所述第二字典中每一原子进行更新，得到原子数据集；
误差矩阵确定子单元，用于根据所述原子数据集确定表示误差矩阵；
列数据确定子单元，用于对所述误差矩阵进行限制，得到列数据；
第二表示系数确定子单元，用于对所述列数据进行奇异值分解，确定原子数据及其表示系数；
收敛计算子单元，用于初始化所述第二字典，并返回步骤“采用追踪算法，确定所述训练数据在所述第二字典下的初始表示系数”，达到设定迭代次数后，得到收敛后的字典。
一种计算机可读存储介质，存储有计算机可执行指令；所述计算机可执行指令设置用于执行上述的分析眼动信号行为的方法。
因本发明提供的分析眼动信号行为的系统和存储介质与上述提供的分析眼动信号行为的方法的优点相同，此处不再进行赘述。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1为本发明提供的分析眼动信号行为的方法的流程图；
图2为本发明实施例提供的不同任务注视率和瞳孔直径指标箱形图；其中，图2(a)为不同任务下注视率指标的指标箱形图；图2(b)为不同任务下瞳孔直径指标的箱形图；
图3为本发明实施例提供的基于独热编码的任务优化过程示意图；
图4为本发明提供的分析眼动信号行为的系统的结构示意图；
图5为本发明实施例提供的分析眼动信号行为系统的控制装置的结构示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
为解决多种类别的脑电信号的分类问题，本发明提出了一种基于One-hot与K-SVD解码眼动信号的行为分析技术。其主要时利用人工智能分析技术，核心在于对执行多项任务的眼动信号进行处理分析，其应用在于对执行不同任务的行为眼动信号进行探索性分析。
如图1所示，本发明提供的一种分析眼动信号行为的方法，包括：
步骤100：获取眼动信号。
步骤101：提取眼动信号的特征。眼动信号的特征包括：眨眼率、注视率、平均注视持续时长和平均瞳孔直径。
步骤102：采用独热编码对提取的眼动信号的特征进行编码，生成二值数据。
步骤103：获取眼动信号行为分析模型。眼动信号行为分析模型为训练好的网络模型。
步骤104：采用眼动信号行为分析模型，以二值数据为输入确定与所获取眼动信号相对应的行为。
由于个别眼动信号存在异常值，本发明在步骤100之后，还对异常数值进行剔除处理，为建模做准备，即对眼动信号进行预处理。预处理包括：剔除异常值。例如，对如图2所示的眼动注视率和瞳孔直径指标中有个别数值存在的异常值进行剔除。
在机器学习的任务中，特征并不总是连续值，而有可能是分类值。因为，分类器往往默认数据是连续的，并且是有序的。但是，按在消除个别异常值后，数字并不是有序连续的，为了解决现有技术中存在的这一问题，本发明在准备进行行为分析建模前，对数据进行了算法优化设计。在优化设计的过程中，主要是采用独热编码的方式处理数据。
特征与特征之间距离的计算或相似度的计算是非常重要的，常用的距离或相似度的计算都是在欧式空间的相似度计算，计算余弦相似性，基于的就是欧式空间。使用独热编码(one-hot编码)，主旨思想是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。将离散特征的取值扩展到了欧式空间，这会让特征之间的距离计算更加合理。编码后的特征可以跟对连续型特征的归一化方法一样，对每一维特征进行归一化。这种表示方式将每一个分类特征变量的m个可能的取值转变成m个二值特征，对于每一条数据这m个值中仅有一个特征值为1，其他的都为0，编码过程如图3所示。
独热编码的优点就是解决了分类器不好处理属性数据的问题，在一定程度上也起到了扩充特征的作用。它的值只有0和1，不同的类型存储在垂直的空间。
因此在步骤103之前，本发明提供的分析眼动信号行为的方法还包括：
获取训练数据。训练数据为采用独热编码对获取的历史眼动信号的特征进行编码所生成的二值数据。
采用K-SVD字典构造方法根据训练数据生成第一字典。
获取初始网络模型。初始网络模型包括：支持向量机、随机森林、卷积神经网络和长短期记忆网络。
采用字典训练初始网络模型，得到训练好的网络模型。
其中，在进行特征选择的考虑中，由于特征具有稀疏性，即有些数据特征与当前的学习任务无关，通过特征筛选取出这些无关信息，则模型在训练的过程中可以在较小的矩阵上进行，可以减小计算机的开销，提高模型的准确性。同时，由于本发明的目标类别相对较多，所以采用K-SVD字典构造方法根据训练数据生成第一字典。
较早期的字典构造方法如离散余弦变换、小波变换等能很快完成字典的构造，但是构造的字典与实现的任务无任何关系，实现信号复原任务时，信号中一些比较细微的细节信息常常无法复原，同时还会引入一些虚假的细节信息，因此人们尝试通过学习的方法来构造字典。K-SVD和主成分分析是使用较为广泛的两种基于学习的字典构造方法。本发明采用K-SVD字典构造方法。
K-SVD是由Aharon于2006提出来的一种冗余字典构造方法，它是在K-Means方法的基础上发展而来的。K-SVD的目标函数为：
满足/>
其中，T为常数，用来对表示系数的稀疏性进行限制。假设α和Φ都是固定的，只考虑Φ中的一行qk和与其对应的表示系数为矩阵α中的第k行。
目标函数可以写为：
为了保证求解过程的稀疏性，统计出X中使用原子qk的向量，它们对应于中非零元素的位置，令Ik表示所有非零元素索引组成的集合，则Ik的表示形式为：
定义Ωk为大小为n×N(Ik)的矩阵，其中对应(Ik(i),i)位置元素为1，其余元素为零。则最小化问题转化为：
对EkΩk进行奇异值分解，得到：
EkΩk＝UΔV
定义解qk为矩阵U的第一列，定义为Δ(1,1)与V的第一列的乘积。可以看出K-SVD算法，每改变字典一个原子，同时更新向量在新字典下的表示系数，具有较高的收敛效率。采用K-SVD字典构造方法根据训练数据生成第一字典，具体包括：
获取初始标准化字典。
采用初始标准化字典，以训练数据为输入得到满足公式的字典Φ，记为第二字典。
对第二字典进行重复计算，得到收敛后的字典。收敛后的字典即为第一字典。该过程具体包括：
采用追踪算法，确定训练数据在第二字典下的初始表示系数。
对第二字典中每一原子进行更新，得到原子数据集。
根据原子数据集确定表示误差矩阵。
对误差矩阵进行限制，得到列数据。
对列数据进行奇异值分解，确定原子数据及其表示系数。
初始化第二字典，并返回步骤“采用追踪算法，确定训练数据在第二字典下的初始表示系数”，达到设定迭代次数后，得到收敛后的字典。
其具体算法流程为：
输入：数据集初始标准化字典Φ0∈Rn×K，令J＝1
输出：满足下式的字典Φ
重复下面过程直到收敛为止
1.稀疏编码阶段：根据初始字典，选择一种追踪算法，计算出数据集在字典下的表示系数αi，要求αi为下式的解
2.字典更新阶段：对于字典ΦJ-1中每个原子qi按照下式进行更新
确定使用原子qi的数据集：
计算总的表示误差矩阵：
对误差矩阵进行限制，选择与Ii对应的列EiΩi
对EiΩi进行奇异值分解，确定原子qi和表示系数
3.令J＝J+1，初始化字典Φ之后进行反复迭代，可求得字典Φ和样本的稀疏表示αi。依据最终求得的稀疏表示αi即可得到第一字典。
下面提供一个具体实施例对本发明上述提供分析眼动信号行为的方法的优点进行进一步说明。
针对飞行员执行飞行任务时眼动特征值的不连续性，采用one-hot编码器解决此问题，使得眼动特征在一定程度上也起到了扩充特征的作用。由于特征具有稀疏性，即有些数据特征与当前的学习任务无关，通过特征筛选取出这些无关信息，采用字典学习K-SVD对特征进行去冗余处理，则模型在训练的过程中可以在较小的矩阵上进行，可以减小计算机的开销，提高模型的准确性。
首先，对飞行员执行三类作战任务时产生的眼动信号进行特征提取，作战任务包括：平飞状态、地靶攻击状态和空靶攻击状态。特征提取包括提取飞行员的眨眼率、注视率、平均注释持续时长、平均瞳孔直径等。在完成飞行员眼动信号特征的筛选后，对相同任务不同特征做相关性分析，并计算平飞状态、地靶攻击状态、空靶攻击状态各个特征之间的相关系数。结果表明大多数特征不具备相关性或者弱相关性，可以考虑作为目标生理特征。
本发明分别采用支持向量机(SVM)、随机森林(RF)、卷积神经网络(ConvolutionNeural Network，CNN)和长短期记忆网络(Long-short termmemory,LSTM)实现飞行员眼动特征的飞行作战任务识别，并采用adam优化函数对参数进行优化处理。
由下表1可知LSTM网络模型的准确率67％优于SVM模型。CNN网络模型的准确率72％优于LSTM网络模型。RF模型的准确率83％优于CNN网络模型。
表1四种预测模型在测试集上的行为识别准确率
模型 SVM RF CNN LSTM
准确率 64％ 83％ 72％ 67％
此外，对应于上述提供的分析眼动信号行为的方法，本发明还提供了一种分析眼动信号行为的系统，如图4所示，该分析眼动信号行为的系统，包括：眼动信号获取模块400、特征提取模块401、编码模块402、分析模型获取模块403和行为分析模块404。
其中，眼动信号获取模块400用于获取眼动信号。
特征提取模块401用于提取眼动信号的特征。眼动信号的特征包括：眨眼率、注视率、平均注视持续时长和平均瞳孔直径。
编码模块402用于采用独热编码对提取的眼动信号的特征进行编码，生成二值数据。
分析模型获取模块403用于获取眼动信号行为分析模型。眼动信号行为分析模型为训练好的网络模型。
行为分析模块404用于采用眼动信号行为分析模型，以二值数据为输入确定与所获取眼动信号相对应的行为。
为了解决分类器不好处理属性数据的问题，上述提供的分析眼动信号行为的系统还优选包括：训练数据获取模块、第一字典生成模块、初始网络模型获取模块和网络模型训练模块。
其中，训练数据获取模块用于获取训练数据。训练数据为采用独热编码对获取的历史眼动信号的特征进行编码所生成的二值数据。
第一字典生成模块用于采用K-SVD字典构造方法根据训练数据生成第一字典。
初始网络模型获取模块用于获取初始网络模型。初始网络模型包括：支持向量机、随机森林、卷积神经网络和长短期记忆网络。
网络模型训练模块用于采用字典训练初始网络模型，得到训练好的网络模型。
具体的，为了进一步提高分析准确性，上述第一字典生成模块具体包括：标准化字典获取单元、字典确定单元和收敛确定单元。
其中，标准化字典获取单元用于获取初始标准化字典。
字典确定单元用于采用初始标准化字典，以训练数据为输入得到满足公式的字典Φ，记为第二字典。
收敛确定单元用于对第二字典进行重复计算，得到收敛后的字典。收敛后的字典即为第一字典。
进一步，为了提高收敛效率，上述收敛确定单元具体包括：第一表示系数确定子单元、原子数据集构建子单元、误差矩阵确定子单元、列数据确定子单元、第二表示系数确定子单元和收敛计算子单元。
其中，第一表示系数确定子单元用于采用追踪算法，确定训练数据在第二字典下的初始表示系数。
原子数据集构建子单元用于对第二字典中每一原子进行更新，得到原子数据集。
误差矩阵确定子单元用于根据原子数据集确定表示误差矩阵。
列数据确定子单元用于对误差矩阵进行限制，得到列数据。
第二表示系数确定子单元用于对列数据进行奇异值分解，确定原子数据及其表示系数。
收敛计算子单元用于初始化第二字典，并返回步骤“采用追踪算法，确定训练数据在第二字典下的初始表示系数”，达到设定迭代次数后，得到收敛后的字典。
本公开实施例提供了一种分析眼动信号行为系统的控制装置，其结构如图5所示，包括：
处理器(processor)500和存储器(memory)501，还可以包括通信接口(Communication Interface)502和总线503。其中，处理器500、通信接口502、存储器501可以通过总线503完成相互间的通信。通信接口502可以用于信息传输。处理器500可以调用存储器501中的逻辑指令，以执行上述实施例的分析眼动信号行为的方法。
此外，上述的存储器501中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器501作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器500通过运行存储在存储器501中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的分析眼动信号行为的方法。
存储器501可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序。存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器501可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令设置用于执行上述的分析眼动信号行为的方法。
本公开实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述的分析眼动信号行为的方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (4)

1.一种分析眼动信号行为的方法，其特征在于，包括：
获取眼动信号；
提取所述眼动信号的特征；所述眼动信号的特征包括：眨眼率、注视率、平均注视持续时长和平均瞳孔直径；
采用独热编码对提取的眼动信号的特征进行编码，生成二值数据；
获取眼动信号行为分析模型；所述眼动信号行为分析模型为训练好的网络模型；
采用所述眼动信号行为分析模型，以所述二值数据为输入确定与所获取眼动信号相对应的行为；
所述获取眼动信号行为分析模型，之前还包括：
获取训练数据；所述训练数据为采用独热编码对获取的历史眼动信号的特征进行编码所生成的二值数据；
采用K-SVD字典构造方法根据所述训练数据生成第一字典；
获取初始网络模型；所述初始网络模型包括：支持向量机、随机森林、卷积神经网络和长短期记忆网络；
采用所述字典训练所述初始网络模型，得到训练好的网络模型；
所述采用K-SVD字典构造方法根据所述训练数据生成第一字典，具体包括：
获取初始标准化字典；
采用所述初始标准化字典，以所述训练数据为输入得到满足公式：
的字典/>，记为第二字典；
对所述第二字典进行重复计算，得到收敛后的字典；所述收敛后的字典即为所述第一字典；
所述对所述第二字典进行重复计算，得到收敛后的字典，具体包括：
采用追踪算法，确定所述训练数据在所述第二字典下的初始表示系数；
对所述第二字典中每一原子进行更新，得到原子数据集；
根据所述原子数据集确定表示误差矩阵；
对所述误差矩阵进行限制，得到列数据；
对所述列数据进行奇异值分解，确定原子数据及其表示系数；
初始化所述第二字典，并返回步骤“采用追踪算法，确定所述训练数据在所述第二字典下的初始表示系数”，达到设定迭代次数后，得到收敛后的字典。
2.根据权利要求1所述的分析眼动信号行为的方法，其特征在于，所述获取眼动信号，之后还包括：
对所述眼动信号进行预处理；所述预处理包括：剔除异常值。
3.一种分析眼动信号行为的系统，其特征在于，用于实现权利要求1或2所述的分析眼动信号行为的方法，包括：
眼动信号获取模块，用于获取眼动信号；
特征提取模块，用于提取所述眼动信号的特征；所述眼动信号的特征包括：眨眼率、注视率、平均注视持续时长和平均瞳孔直径；
编码模块，用于采用独热编码对提取的眼动信号的特征进行编码，生成二值数据；
分析模型获取模块，用于获取眼动信号行为分析模型；所述眼动信号行为分析模型为训练好的网络模型；
行为分析模块，用于采用所述眼动信号行为分析模型，以所述二值数据为输入确定与所获取眼动信号相对应的行为；
还包括：
训练数据获取模块，用于获取训练数据；所述训练数据为采用独热编码对获取的历史眼动信号的特征进行编码所生成的二值数据；
第一字典生成模块，用于采用K-SVD字典构造方法根据所述训练数据生成第一字典；
初始网络模型获取模块，用于获取初始网络模型；所述初始网络模型包括：支持向量机、随机森林、卷积神经网络和长短期记忆网络；
网络模型训练模块，用于采用所述字典训练所述初始网络模型，得到训练好的网络模型；
的字典/>，记为第二字典；
所述第一字典生成模块具体包括：
标准化字典获取单元，用于获取初始标准化字典；
字典确定单元，用于采用所述初始标准化字典，以所述训练数据为输入得到满足公式；
收敛确定单元，用于对所述第二字典进行重复计算，得到收敛后的字典；所述收敛后的字典即为所述第一字典；
所述收敛确定单元具体包括：
第一表示系数确定子单元，用于采用追踪算法，确定所述训练数据在所述第二字典下的初始表示系数；
原子数据集构建子单元，用于对所述第二字典中每一原子进行更新，得到原子数据集；
误差矩阵确定子单元，用于根据所述原子数据集确定表示误差矩阵；
列数据确定子单元，用于对所述误差矩阵进行限制，得到列数据；
第二表示系数确定子单元，用于对所述列数据进行奇异值分解，确定原子数据及其表示系数；
收敛计算子单元，用于初始化所述第二字典，并返回步骤“采用追踪算法，确定所述训练数据在所述第二字典下的初始表示系数”，达到设定迭代次数后，得到收敛后的字典。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令；所述计算机可执行指令设置用于执行如权利要求1-2任意一项所述的分析眼动信号行为的方法。
CN202110601798.5A 2021-05-31 2021-05-31 一种分析眼动信号行为的方法、系统及存储介质 Active CN113283354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110601798.5A CN113283354B (zh) 2021-05-31 2021-05-31 一种分析眼动信号行为的方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110601798.5A CN113283354B (zh) 2021-05-31 2021-05-31 一种分析眼动信号行为的方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113283354A CN113283354A (zh) 2021-08-20
CN113283354B true CN113283354B (zh) 2023-08-18

Family

ID=77282689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110601798.5A Active CN113283354B (zh) 2021-05-31 2021-05-31 一种分析眼动信号行为的方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113283354B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115577188B (zh) * 2022-10-12 2023-06-09 广州宏天软件股份有限公司 一种表单主题功能自适应变化方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920129A (zh) * 2017-03-09 2017-07-04 山东师范大学 一种基于眼动追踪的网络广告效果测评系统及其方法
CN110362210A (zh) * 2019-07-24 2019-10-22 济南大学 虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置
CN110432900A (zh) * 2019-07-01 2019-11-12 华中科技大学 一种用于恒河猴眼动决策解码的多视图学习方法和系统
CN111949131A (zh) * 2020-08-17 2020-11-17 陈涛 一种基于眼动追踪技术的眼动交互方法、系统及设备
CN112417142A (zh) * 2020-11-23 2021-02-26 浙江工业大学 基于眼动跟踪的词义和摘要生成辅助方法及系统
CN112764530A (zh) * 2020-12-30 2021-05-07 中国人民解放军32181部队 一种基于触控手柄和增强现实眼镜的弹药识别方法
CN116129510A (zh) * 2022-10-13 2023-05-16 南京航空航天大学 基于眼动数据评估飞行员对不同编码信息感知的方法与装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102627452B1 (ko) * 2017-04-14 2024-01-18 매직 립, 인코포레이티드 다중 모드 눈 추적

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920129A (zh) * 2017-03-09 2017-07-04 山东师范大学 一种基于眼动追踪的网络广告效果测评系统及其方法
CN110432900A (zh) * 2019-07-01 2019-11-12 华中科技大学 一种用于恒河猴眼动决策解码的多视图学习方法和系统
CN110362210A (zh) * 2019-07-24 2019-10-22 济南大学 虚拟装配中融合眼动跟踪和手势识别的人机交互方法和装置
CN111949131A (zh) * 2020-08-17 2020-11-17 陈涛 一种基于眼动追踪技术的眼动交互方法、系统及设备
CN112417142A (zh) * 2020-11-23 2021-02-26 浙江工业大学 基于眼动跟踪的词义和摘要生成辅助方法及系统
CN112764530A (zh) * 2020-12-30 2021-05-07 中国人民解放军32181部队 一种基于触控手柄和增强现实眼镜的弹药识别方法
CN116129510A (zh) * 2022-10-13 2023-05-16 南京航空航天大学 基于眼动数据评估飞行员对不同编码信息感知的方法与装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王夏爽等.视觉诱发脑电信号的处理研究.《系统仿真学报》.2017,第29卷(第S1期),第146-154页. *

Also Published As

Publication number Publication date
CN113283354A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN111353076B (zh) 训练跨模态检索模型的方法、跨模态检索的方法和相关装置
CN110969020B (zh) 基于cnn和注意力机制的中文命名实体识别方法、系统及介质
Rolet et al. Fast dictionary learning with a smoothed Wasserstein loss
CN112559784B (zh) 基于增量学习的图像分类方法及系统
US20210012153A1 (en) Image processing method and apparatus, electronic device, and storage medium
CN111985228B (zh) 文本关键词提取方法、装置、计算机设备和存储介质
US11403343B2 (en) Retrieval of video and vehicle behavior for a driving scene described in search text
CN110990596B (zh) 一种基于自适应量化多模态哈希检索方法及系统
KR20200032258A (ko) 일정한 처리 시간 내에 k개의 극값을 찾는 방법
CN113836992B (zh) 识别标签的方法、训练标签识别模型的方法、装置及设备
CN110019795B (zh) 敏感词检测模型的训练方法和系统
CN111475622A (zh) 一种文本分类方法、装置、终端及存储介质
WO2021015936A1 (en) Word-overlap-based clustering cross-modal retrieval
CN111125469A (zh) 一种社交网络的用户聚类方法、装置以及计算机设备
CN111915004A (zh) 神经网络的训练方法、装置、存储介质及电子设备
CN113283354B (zh) 一种分析眼动信号行为的方法、系统及存储介质
CN115700515A (zh) 文本多标签分类方法及装置
Cheng et al. A survey on deep neural network pruning-taxonomy, comparison, analysis, and recommendations
CN114492429B (zh) 文本主题的生成方法、装置、设备及存储介质
CN111611395B (zh) 一种实体关系的识别方法及装置
CN113220865B (zh) 一种文本相似词汇检索方法、系统、介质及电子设备
US5757964A (en) System and method for automatic subcharacter unit and lexicon generation for handwriting recognition
CN111260074B (zh) 一种超参数确定的方法、相关装置、设备及存储介质
CN112307769B (zh) 一种自然语言模型的生成方法和计算机设备
CN113569018A (zh) 问答对挖掘方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant