CN117442154A - 一种基于儿童注意力的视觉检测系统 - Google Patents
一种基于儿童注意力的视觉检测系统 Download PDFInfo
- Publication number
- CN117442154A CN117442154A CN202311555692.1A CN202311555692A CN117442154A CN 117442154 A CN117442154 A CN 117442154A CN 202311555692 A CN202311555692 A CN 202311555692A CN 117442154 A CN117442154 A CN 117442154A
- Authority
- CN
- China
- Prior art keywords
- eye movement
- child
- attention
- data set
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 16
- 230000000007 visual effect Effects 0.000 title claims description 30
- 230000004424 eye movement Effects 0.000 claims abstract description 227
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 230000003993 interaction Effects 0.000 claims abstract description 12
- 238000011176 pooling Methods 0.000 claims description 30
- 238000011179 visual inspection Methods 0.000 claims description 20
- 238000009826 distribution Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 9
- 230000004434 saccadic eye movement Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000006461 physiological response Effects 0.000 claims description 3
- 210000001747 pupil Anatomy 0.000 claims description 3
- 230000001276 controlling effect Effects 0.000 claims 1
- 230000002596 correlated effect Effects 0.000 claims 1
- 238000011156 evaluation Methods 0.000 abstract description 8
- 238000007689 inspection Methods 0.000 abstract 1
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 description 3
- 208000036864 Attention deficit/hyperactivity disease Diseases 0.000 description 3
- 208000015802 attention deficit-hyperactivity disease Diseases 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004766 neurogenesis Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/06—Children, e.g. for attention deficit diagnosis
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Evolutionary Computation (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Ophthalmology & Optometry (AREA)
- Developmental Disabilities (AREA)
- Pathology (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Child & Adolescent Psychology (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种基于儿童注意力的视觉检测系统，具体涉及计算机视觉领域，包括眼动追踪模块、眼动分析模块、注意力分析模块、全息联动模块以及评估反馈模块，其中眼动追踪模块利用眼动仪捕捉儿童的眼动数据，并构建眼动三维弧面坐标系，眼动分析模块将眼动数据集中注视点坐标映射至眼动三维弧面坐标系中，并获取注视点特征，注意力分析模块关联眼动数据集和儿童注意力数据，并构建卷积神经网络模型识别儿童的注意力特征，全息联动模块将热度全息影像和生理指标全息影像在动态可视化的眼动三维弧面坐标系的全息投影上进行重叠映射，评估反馈模块通过眼动三维弧面坐标系的动态全息投影提供视觉检查人员交互功能，并实时反馈儿童视觉检查情况。
Description
技术领域
本发明涉及计算机视觉领域，更具体地说，本发明涉及一种基于儿童注意力的视觉检测系统。
背景技术
目前我国约有2300多万4-18岁注意缺陷多动冲动障碍患者，注意缺陷多动冲动障碍作为一种神经发育障碍疾病，早期识别、早期干预对患者来说非常重要。
目前的临床诊断有较高的专业性要求，存在病情复杂、较多共患病情况，在诊断中难以鉴别、确诊，诊断依据大多来自于家长、教师与医生的主观判断或既往经验，缺少权威的客观评估方式，临床诊断的指标过于单一，难免出现误诊、漏诊等情况。
通过眼动仪能够精确获取儿童个性化眼动数据，并利用动态全息投影提供儿童在视觉任务中的实时表现，卷积神经网络的发展能够准确的在不同视觉任务中对儿童的表现进行高效的分类和识别，更为精准的评估儿童的视觉注意力水平，减少误诊、漏诊情况。
发明内容
本发明针对现有技术中存在的技术问题，提供一种基于儿童注意力的视觉检测系统，通过眼动分析模块、注意力分析模块以及全息联动模块，以解决上述背景技术中提出的问题。
本发明解决上述技术问题的技术方案如下：包括眼动追踪模块、眼动分析模块、注意力分析模块、全息联动模块以及评估反馈模块；
眼动追踪模块：利用眼动仪捕捉儿童的眼动数据组成眼动数据集，并构建眼动三维弧面坐标系，视觉检测舱内校准捕捉儿童的注视点坐标和注视持续时间，检查眼动数据集是否存在错误以及不一致的信息，并利用最小-最大归一化将眼动数据集缩小到指定范围，并映射到相同尺度；
眼动分析模块：将眼动数据集中注视点坐标映射至眼动三维弧面坐标系中，并利用文字说明和颜色标注该注视点坐标的注视持续时间以及注视点次数，将眼动三维弧面坐标系中的注视点通过弧线连接，并转换为注视点的运动轨迹，根据眼动数据集获取注视点特征；
注意力分析模块：调用眼动追踪模块中眼动数据集，反映儿童对视觉刺激的关注程度和偏好、儿童注意力维持能力以及儿童对不同刺激的注意力分配，构建卷积神经网络模型识别儿童的注意力特征；
全息联动模块：调用注意力分析模块的卷积神经网络模型识别出的儿童的注意力特征进行数据分析，用于识别儿童对不同刺激的注意力分布和持续程度，通过动态可视化将眼动三维弧面坐标系进行全息投影，并将热度全息影像和生理指标全息影像进行重叠映射；
评估反馈模块：利用数据库记录儿童对反馈的实际接收情况，通过反馈表获取儿童监护人的直接反馈，通过医院系统获取儿童注意力相关历史病例，用于自适应调整眼动三维弧面坐标系参数和反馈内容及形式，通过眼动三维弧面坐标系的动态全息投影提供视觉检查人员交互功能；
在一个优选地实施方式中，所述眼动追踪模块利用眼动仪捕捉儿童的眼动数据组成眼动数据集，并构建眼动三维弧面坐标系，设置眼动校准点并自适应调整不同注视点的不同光线环境，当眼动仪监测到儿童的注视点与校准点重合后自动跳转到下一个校准点，用于在视觉检测舱内校准捕捉儿童的注视点坐标和注视持续时间，通过眼动仪播放注意力评估动画，用于获取注视点次数和扫视速度，将获取的儿童的注视点坐标、注视持续时间、注视点次数以及扫视速度通过无线蓝牙存储到眼动数据集并传输至眼动三维弧面坐标系。
进一步地，检查眼动数据集是否存在错误以及不一致的信息，并准备预备数据项，利用预备数据项填充缺失值，将眼动数据集利用最小-最大归一化缩小到指定范围，并映射到相同尺度，所述最小-最大归一化公式为：
其中X表示归一化后的眼动数据集的数据，y表示眼动数据集的数据，ymin表示原始眼动数据集的数据的最小值，ymax表示原始眼动数据集的数据的最大值。
在一个优选地实施方式中，所述眼动分析模块将眼动数据集中注视点坐标映射至眼动三维弧面坐标系中，并利用文字说明和颜色标注该注视点坐标的注视持续时间以及注视点次数，将眼动三维弧面坐标系中的注视点通过弧线连接，在弧线上方标注起始注视点到下一个注视点的扫视速度以及注视点扫视方向，利用眼动三维弧面坐标系，通过眼动三维弧面坐标系中的注视点连接的弧线将其转换为注视点的运动轨迹，利用动画形式展示注视点的运动轨迹，根据运动轨迹获取注视点加速度和停留时间，其中加速度具体计算公式为：
其中a表示注视点加速度，V1表示起始注视点的扫视速度，V2表示下一个注视点的扫视速度，t1表示起始注视点的停留时间点，t2表示下一个注视点的停留时间点。
进一步地，根据眼动数据集中的注视点的扫视速度以及注视点扫视方向获取视线跳跃特征，根据眼动数据集中的注视点的运动轨迹以及注视点的扫视速度获取注视点连续移动特征，根据注视持续时间以及注视点坐标位置获取注视点停留特征。
在一个优选地实施方式中，所述注意力分析模块调用眼动追踪模块中眼动数据集，其中通过眼动三维弧面坐标系中注视点坐标的分布位置以及注视持续时间反映儿童对视觉刺激的关注程度和偏好，并判断儿童对视觉刺激的注意力较为短暂，反映儿童注意力维持能力，通过注视点次数反映儿童对不同刺激的注意力分配，其中频繁的注视点切换表示儿童对多个刺激之间注意力分散，较少的注视点切换表示儿童对多个刺激之间的一个刺激的持续关注，通过扫视时间反映儿童在观察和处理刺激信息的快慢程度，其中较快的扫视速度表示儿童的注意力较为分散，较慢的扫视速度表示儿童在深入思考刺激以及专注于多个刺激的一个刺激，通过上述将眼动数据集和儿童注意力数据进行相关联。
进一步地，构建卷积神经网络模型，包括卷积层、池化层以及全连接层，用于识别儿童的注意力特征，其具体步骤为：通过卷积层输入眼动数据集以及相关联的儿童注意力数据，通过应用卷积核对输入的眼动数据集以及相关联的儿童注意力数据进行卷积操作，用于提取不同的数据特征，并捕获眼动三维弧面坐标系的局部特征和空间结构，所述卷积层具体公式为：
其中Q表示提取不同的数据特征的输出，i、j分别表示输出数据在眼动三维弧面坐标系的坐标位置，k表示输出提取不同的数据特征的通道数，M、N表示卷积核的大小，L表示输入眼动数据集以及相关联的儿童注意力数据的通道数，w表示卷积核，P表示输入眼动数据集以及相关联的儿童注意力数据，利用池化层将映射到眼动三维弧面坐标系的数据集特征和其空间结构的特征图进行降维，利用最大池化操作在每一个池化窗口选择最大的特征值作为输出，用于保留特征图最为显著的特征，并降低特征图的维度，利用平均池化操作保留特征信息，用于降低模型参数的数量，利用全连接层将卷积层和池化层提取和输出的特征进行整合，并输出最终的分类结果，所述全连接层具体公式为：
其中Ri表示最终的分类结果的输出，Si,j表示权重矩阵，T表示输入卷积层和池化层提取和输出的特征的维度，Dj表示输入卷积层和池化层提取和输出的特征，bi表示偏置向量，f()表示激活函数，在全连接层中，每个神经元与卷积层和池化层的神经元相连，利用学习权重中实现特征的组合和分类。
在一个优选地实施方式中，所述全息联动模块调用注意力分析模块的卷积神经网络模型识别出的儿童的注意力特征进行数据分析，用于识别儿童对不同刺激的注意力分布和持续程度，利用动态的注视热度图显示儿童在全息影像中注视点的分布情况，用于构建热度全息影像，利用眼动仪获取儿童瞳孔大小变化以及视觉检测舱获取儿童脑电图，用于构建生理指标全息影像，反映儿童对不同刺激的生理反应结合注意力的分布情况以及持续程度，通过动态可视化将眼动三维弧面坐标系进行全息投影，并将热度全息影像和生理指标全息影像进行重叠映射，通过文字说明将眼动数据集及其相关联的儿童注意力数据进行标注。
在一个优选地实施方式中，所述评估反馈模块利用数据库记录儿童对反馈的实际接收情况，包括反应变化、行为变化和脑电表现变化，通过反馈表获取儿童监护人的直接反馈，包括他们对系统提供的反馈内容和形式的感受和看法，通过全息投影对比不同时间段的眼动数据集变化及其相关联的儿童注意力数据，分析儿童接收反馈后的表现是否改善，通过医院系统获取儿童注意力相关历史病例，用于自适应调整眼动三维弧面坐标系参数和反馈内容及形式。
进一步地，通过眼动三维弧面坐标系的动态全息投影提供视觉检查人员交互功能，包括通过手势、触摸以及语言指令控制全息投影，利用手势进行放大缩小图像查看儿童注意力相关数据，利用语言指令选择不同的结果，用于医生和操作人员通过观察全息投影更直观地了解儿童的注意力和视觉能力状况。
在一个优选地实施方式中，具体包括以下步骤：
S101：利用眼动仪捕捉儿童的眼动数据组成眼动数据集，并构建眼动三维弧面坐标系，将眼动数据集利用最小-最大归一化缩小到指定范围，并映射到相同尺度；
S102：将眼动数据集中注视点坐标映射至眼动三维弧面坐标系中，获取注视点相关特征，通过眼动三维弧面坐标系中的注视点连接的弧线将其转换为注视点的运动轨迹，根据运动轨迹获取注视点加速度和停留时间；
S103：将眼动数据集和儿童注意力数据进行相关联，并构建卷积神经网络模型，利用模型中的卷积层、池化层以及全连接层识别儿童的注意力特征；
S104：调用注意力分析模块的卷积神经网络模型识别出的儿童的注意力特征进行数据分析，将热度全息影像和生理指标全息影像在动态可视化的眼动三维弧面坐标系的全息投影上进行重叠映射；
S105：利用数据库记录儿童对反馈的实际接收情况，通过反馈表获取儿童监护人的直接反馈，通过眼动三维弧面坐标系的动态全息投影提供视觉检查人员交互功能；
本发明的有益效果是：通过眼动仪捕捉儿童的眼动数据组成眼动数据集，并构建眼动三维弧面坐标系，能够精确获取儿童个性化眼动数据，帮助医生和教育专家更好地了解每个孩子的特定需求，通过眼动三维弧面坐标系的动态全息投影，提供儿童在视觉任务中的实时表现，帮助医生评估治疗效果，及时调整治疗方案，提高治疗效果，为医生、教育专家和家长提供可视化的数据，促进专业交流和共同合作，利用卷积神经网络能够准确的从眼动三维弧面坐标系的图像中提取特征，能够对儿童在不同视觉任务中的表现进行高效的分类和识别，帮助系统更精准地评估儿童的视觉注意力水平。
附图说明
图1为本发明方法流程图；
图2为本发明系统结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请的描述中，术语“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
实施例1
本实施例提供了如图1所示一种基于儿童注意力的视觉检测系统，具体包括以下步骤：
S101：利用眼动仪捕捉儿童的眼动数据组成眼动数据集，并构建眼动三维弧面坐标系，将眼动数据集利用最小-最大归一化缩小到指定范围，并映射到相同尺度；
S102：将眼动数据集中注视点坐标映射至眼动三维弧面坐标系中，获取注视点相关特征，通过眼动三维弧面坐标系中的注视点连接的弧线将其转换为注视点的运动轨迹，根据运动轨迹获取注视点加速度和停留时间；
S103：将眼动数据集和儿童注意力数据进行相关联，并构建卷积神经网络模型，利用模型中的卷积层、池化层以及全连接层识别儿童的注意力特征；
S104：调用注意力分析模块的卷积神经网络模型识别出的儿童的注意力特征进行数据分析，将热度全息影像和生理指标全息影像在动态可视化的眼动三维弧面坐标系的全息投影上进行重叠映射；
S105：利用数据库记录儿童对反馈的实际接收情况，通过反馈表获取儿童监护人的直接反馈，通过眼动三维弧面坐标系的动态全息投影提供视觉检查人员交互功能。
实施例2
本实施例提供了如图2所示一种基于儿童注意力的视觉检测系统，具体包括：包括眼动追踪模块、眼动分析模块、注意力分析模块、全息联动模块以及评估反馈模块；
眼动追踪模块：利用眼动仪捕捉儿童的眼动数据组成眼动数据集，并构建眼动三维弧面坐标系，视觉检测舱内校准捕捉儿童的注视点坐标和注视持续时间，检查眼动数据集是否存在错误以及不一致的信息，并利用最小-最大归一化将眼动数据集缩小到指定范围，并映射到相同尺度；
眼动分析模块：将眼动数据集中注视点坐标映射至眼动三维弧面坐标系中，并利用文字说明和颜色标注该注视点坐标的注视持续时间以及注视点次数，将眼动三维弧面坐标系中的注视点通过弧线连接，并转换为注视点的运动轨迹，根据眼动数据集获取注视点特征；
注意力分析模块：调用眼动追踪模块中眼动数据集，反映儿童对视觉刺激的关注程度和偏好、儿童注意力维持能力以及儿童对不同刺激的注意力分配，构建卷积神经网络模型识别儿童的注意力特征；
全息联动模块：调用注意力分析模块的卷积神经网络模型识别出的儿童的注意力特征进行数据分析，用于识别儿童对不同刺激的注意力分布和持续程度，通过动态可视化将眼动三维弧面坐标系进行全息投影，并将热度全息影像和生理指标全息影像进行重叠映射；
评估反馈模块：利用数据库记录儿童对反馈的实际接收情况，通过反馈表获取儿童监护人的直接反馈，通过医院系统获取儿童注意力相关历史病例，用于自适应调整眼动三维弧面坐标系参数和反馈内容及形式，通过眼动三维弧面坐标系的动态全息投影提供视觉检查人员交互功能；
S101：利用眼动仪捕捉儿童的眼动数据组成眼动数据集，并构建眼动三维弧面坐标系，将眼动数据集利用最小-最大归一化缩小到指定范围，并映射到相同尺度；
进一步地，利用眼动仪捕捉儿童的眼动数据组成眼动数据集，并构建眼动三维弧面坐标系，设置眼动校准点并自适应调整不同注视点的不同光线环境，当眼动仪监测到儿童的注视点与校准点重合后自动跳转到下一个校准点，用于在视觉检测舱内校准捕捉儿童的注视点坐标和注视持续时间，通过眼动仪播放注意力评估动画，用于获取注视点次数和扫视速度，将获取的儿童的注视点坐标、注视持续时间、注视点次数以及扫视速度通过无线蓝牙存储到眼动数据集并传输至眼动三维弧面坐标系。
进一步地，检查眼动数据集是否存在错误以及不一致的信息，并准备预备数据项，利用预备数据项填充缺失值，将眼动数据集利用最小-最大归一化缩小到指定范围，并映射到相同尺度，所述最小-最大归一化公式为：
其中X表示归一化后的眼动数据集的数据，y表示眼动数据集的数据，ymin表示原始眼动数据集的数据的最小值，ymax表示原始眼动数据集的数据的最大值
S102：将眼动数据集中注视点坐标映射至眼动三维弧面坐标系中，获取注视点相关特征，通过眼动三维弧面坐标系中的注视点连接的弧线将其转换为注视点的运动轨迹，根据运动轨迹获取注视点加速度和停留时间；
进一步地，将眼动数据集中注视点坐标映射至眼动三维弧面坐标系中，并利用文字说明和颜色标注该注视点坐标的注视持续时间以及注视点次数，将眼动三维弧面坐标系中的注视点通过弧线连接，在弧线上方标注起始注视点到下一个注视点的扫视速度以及注视点扫视方向，利用眼动三维弧面坐标系，通过眼动三维弧面坐标系中的注视点连接的弧线将其转换为注视点的运动轨迹，利用动画形式展示注视点的运动轨迹，根据运动轨迹获取注视点加速度和停留时间，其中加速度具体计算公式为：
其中a表示注视点加速度，V1表示起始注视点的扫视速度，V2表示下一个注视点的扫视速度，t1表示起始注视点的停留时间点，t2表示下一个注视点的停留时间点。
进一步地，根据眼动数据集中的注视点的扫视速度以及注视点扫视方向获取视线跳跃特征，根据眼动数据集中的注视点的运动轨迹以及注视点的扫视速度获取注视点连续移动特征，根据注视持续时间以及注视点坐标位置获取注视点停留特征。
S103：将眼动数据集和儿童注意力数据进行相关联，并构建卷积神经网络模型，利用模型中的卷积层、池化层以及全连接层识别儿童的注意力特征；
进一步地，调用眼动追踪模块中眼动数据集，其中通过眼动三维弧面坐标系中注视点坐标的分布位置以及注视持续时间反映儿童对视觉刺激的关注程度和偏好，并判断儿童对视觉刺激的注意力较为短暂，反映儿童注意力维持能力，通过注视点次数反映儿童对不同刺激的注意力分配，其中频繁的注视点切换表示儿童对多个刺激之间注意力分散，较少的注视点切换表示儿童对多个刺激之间的一个刺激的持续关注，通过扫视时间反映儿童在观察和处理刺激信息的快慢程度，其中较快的扫视速度表示儿童的注意力较为分散，较慢的扫视速度表示儿童在深入思考刺激以及专注于多个刺激的一个刺激，通过上述将眼动数据集和儿童注意力数据进行相关联。
进一步地，构建卷积神经网络模型，包括卷积层、池化层以及全连接层，用于识别儿童的注意力特征，其具体步骤为：通过卷积层输入眼动数据集以及相关联的儿童注意力数据，通过应用卷积核对输入的眼动数据集以及相关联的儿童注意力数据进行卷积操作，用于提取不同的数据特征，并捕获眼动三维弧面坐标系的局部特征和空间结构，所述卷积层具体公式为：
其中Q表示提取不同的数据特征的输出，i、j分别表示输出数据在眼动三维弧面坐标系的坐标位置，k表示输出提取不同的数据特征的通道数，M、N表示卷积核的大小，L表示输入眼动数据集以及相关联的儿童注意力数据的通道数，w表示卷积核，P表示输入眼动数据集以及相关联的儿童注意力数据，利用池化层将映射到眼动三维弧面坐标系的数据集特征和其空间结构的特征图进行降维，利用最大池化操作在每一个池化窗口选择最大的特征值作为输出，用于保留特征图最为显著的特征，并降低特征图的维度，利用平均池化操作保留特征信息，用于降低模型参数的数量，利用全连接层将卷积层和池化层提取和输出的特征进行整合，并输出最终的分类结果，所述全连接层具体公式为：
其中Ri表示最终的分类结果的输出，Si,j表示权重矩阵，T表示输入卷积层和池化层提取和输出的特征的维度，Dj表示输入卷积层和池化层提取和输出的特征，bi表示偏置向量，f()表示激活函数，在全连接层中，每个神经元与卷积层和池化层的神经元相连，利用学习权重中实现特征的组合和分类。
S104：调用注意力分析模块的卷积神经网络模型识别出的儿童的注意力特征进行数据分析，将热度全息影像和生理指标全息影像在动态可视化的眼动三维弧面坐标系的全息投影上进行重叠映射；
进一步地，调用注意力分析模块的卷积神经网络模型识别出的儿童的注意力特征进行数据分析，用于识别儿童对不同刺激的注意力分布和持续程度，利用动态的注视热度图显示儿童在全息影像中注视点的分布情况，用于构建热度全息影像，利用眼动仪获取儿童瞳孔大小变化以及视觉检测舱获取儿童脑电图，用于构建生理指标全息影像，反映儿童对不同刺激的生理反应结合注意力的分布情况以及持续程度，通过动态可视化将眼动三维弧面坐标系进行全息投影，并将热度全息影像和生理指标全息影像进行重叠映射，通过文字说明将眼动数据集及其相关联的儿童注意力数据进行标注。
S105：利用数据库记录儿童对反馈的实际接收情况，通过反馈表获取儿童监护人的直接反馈，通过眼动三维弧面坐标系的动态全息投影提供视觉检查人员交互功能；
进一步地，利用数据库记录儿童对反馈的实际接收情况，包括反应变化、行为变化和脑电表现变化，通过反馈表获取儿童监护人的直接反馈，包括他们对系统提供的反馈内容和形式的感受和看法，通过全息投影对比不同时间段的眼动数据集变化及其相关联的儿童注意力数据，分析儿童接收反馈后的表现是否改善，通过医院系统获取儿童注意力相关历史病例，用于自适应调整眼动三维弧面坐标系参数和反馈内容及形式。
进一步地，通过眼动三维弧面坐标系的动态全息投影提供视觉检查人员交互功能，包括通过手势、触摸以及语言指令控制全息投影，利用手势进行放大缩小图像查看儿童注意力相关数据，利用语言指令选择不同的结果，用于医生和操作人员通过观察全息投影更直观地了解儿童的注意力和视觉能力状况。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (10)
1.一种基于儿童注意力的视觉检测系统，其特征在于，具体包括以下步骤：
S101：利用眼动仪捕捉儿童的眼动数据组成眼动数据集，并构建眼动三维弧面坐标系，将眼动数据集利用最小-最大归一化缩小到指定范围，并映射到相同尺度；
S102：将眼动数据集中注视点坐标映射至眼动三维弧面坐标系中，获取注视点相关特征，通过眼动三维弧面坐标系中的注视点连接的弧线将其转换为注视点的运动轨迹，根据运动轨迹获取注视点加速度和停留时间；
S103：将眼动数据集和儿童注意力数据进行相关联，并构建卷积神经网络模型，利用模型中的卷积层、池化层以及全连接层识别儿童的注意力特征；
S104：调用注意力分析模块的卷积神经网络模型识别出的儿童的注意力特征进行数据分析，将热度全息影像和生理指标全息影像在动态可视化的眼动三维弧面坐标系的全息投影上进行重叠映射；
S105：利用数据库记录儿童对反馈的实际接收情况，通过反馈表获取儿童监护人的直接反馈，通过眼动三维弧面坐标系的动态全息投影提供视觉检查人员交互功能。
2.根据权利要求1所述的一种基于儿童注意力的视觉检测系统，其特征在于：所述S101中，利用眼动仪捕捉儿童的眼动数据组成眼动数据集，并构建眼动三维弧面坐标系，设置眼动校准点并自适应调整不同注视点的不同光线环境，当眼动仪监测到儿童的注视点与校准点重合后自动跳转到下一个校准点，用于在视觉检测舱内校准捕捉儿童的注视点坐标和注视持续时间，通过眼动仪播放注意力评估动画，用于获取注视点次数和扫视速度，将获取的儿童的注视点坐标、注视持续时间、注视点次数以及扫视速度通过无线蓝牙存储到眼动数据集并传输至眼动三维弧面坐标系，将眼动数据集利用最小-最大归一化缩小到指定范围，并映射到相同尺度。
3.根据权利要求2所述的一种基于儿童注意力的视觉检测系统，其特征在于：所述最大最小归一化通过检查眼动数据集是否存在错误以及不一致的信息，并准备预备数据项，利用预备数据项填充缺失值，将眼动数据集利用最小-最大归一化缩小到指定范围，并映射到相同尺度，所述最小-最大归一化公式为：
其中X表示归一化后的眼动数据集的数据，y表示眼动数据集的数据，ymin表示原始眼动数据集的数据的最小值，ymax表示原始眼动数据集的数据的最大值。
4.根据权利要求1所述的一种基于儿童注意力的视觉检测系统，其特征在于：所述S102中，将眼动数据集中注视点坐标映射至眼动三维弧面坐标系中，并利用文字说明和颜色标注该注视点坐标的注视持续时间以及注视点次数，将眼动三维弧面坐标系中的注视点通过弧线连接，在弧线上方标注起始注视点到下一个注视点的扫视速度以及注视点扫视方向，利用眼动三维弧面坐标系，通过眼动三维弧面坐标系中的注视点连接的弧线将其转换为注视点的运动轨迹，利用动画形式展示注视点的运动轨迹，根据运动轨迹获取注视点加速度和停留时间，其中加速度具体计算公式为：
其中a表示注视点加速度，V1表示起始注视点的扫视速度，V2表示下一个注视点的扫视速度，t1表示起始注视点的停留时间点，t2表示下一个注视点的停留时间点，获取视线跳跃特征，视点连续移动特征以及注视点停留特征。
5.根据权利要求4所述的一种基于儿童注意力的视觉检测系统，其特征在于：所述视线跳跃特征通过眼动数据集中的注视点的扫视速度以及注视点扫视方向获取，注视点连续移动特征根据眼动数据集中的注视点的运动轨迹以及注视点的扫视速度获取，注视点停留特征根据注视持续时间以及注视点坐标位置获取。
6.根据权利要求1所述的一种基于儿童注意力的视觉检测系统，其特征在于：所述S103中，调用眼动追踪模块中眼动数据集，通过眼动三维弧面坐标系中注视点坐标的分布位置以及注视持续时间反映儿童对视觉刺激的关注程度和偏好，并判断儿童对视觉刺激的注意力较为短暂，反映儿童注意力维持能力，通过注视点次数反映儿童对不同刺激的注意力分配，其中频繁的注视点切换表示儿童对多个刺激之间注意力分散，较少的注视点切换表示儿童对多个刺激之间的一个刺激的持续关注，通过扫视时间反映儿童在观察和处理刺激信息的快慢程度，其中较快的扫视速度表示儿童的注意力较为分散，较慢的扫视速度表示儿童在深入思考刺激以及专注于多个刺激的一个刺激，通过上述将眼动数据集和儿童注意力数据进行相关联，构建卷积神经网络模型。
7.根据权利要求6所述的一种基于儿童注意力的视觉检测系统，其特征在于：所述卷积神经网络模型包括卷积层、池化层以及全连接层，用于识别儿童的注意力特征，其具体步骤为：通过卷积层输入眼动数据集以及相关联的儿童注意力数据，通过应用卷积核对输入的眼动数据集以及相关联的儿童注意力数据进行卷积操作，用于提取不同的数据特征，并捕获眼动三维弧面坐标系的局部特征和空间结构，所述卷积层具体公式为：
其中Q表示提取不同的数据特征的输出，i、j分别表示输出数据在眼动三维弧面坐标系的坐标位置，k表示输出提取不同的数据特征的通道数，M、N表示卷积核的大小，L表示输入眼动数据集以及相关联的儿童注意力数据的通道数，w表示卷积核，P表示输入眼动数据集以及相关联的儿童注意力数据，利用池化层将映射到眼动三维弧面坐标系的数据集特征和其空间结构的特征图进行降维，利用最大池化操作在每一个池化窗口选择最大的特征值作为输出，用于保留特征图最为显著的特征，并降低特征图的维度，利用平均池化操作保留特征信息，用于降低模型参数的数量，利用全连接层将卷积层和池化层提取和输出的特征进行整合，并输出最终的分类结果，所述全连接层具体公式为：
其中Ri表示最终的分类结果的输出，Si,j表示权重矩阵，T表示输入卷积层和池化层提取和输出的特征的维度，Dj表示输入卷积层和池化层提取和输出的特征，bi表示偏置向量，f()表示激活函数，在全连接层中，每个神经元与卷积层和池化层的神经元相连，利用学习权重中实现特征的组合和分类。
8.根据权利要求1所述的一种基于儿童注意力的视觉检测系统，其特征在于：所述S104中，调用注意力分析模块的卷积神经网络模型识别出的儿童的注意力特征进行数据分析，用于识别儿童对不同刺激的注意力分布和持续程度，利用动态的注视热度图显示儿童在全息影像中注视点的分布情况，用于构建热度全息影像，利用眼动仪获取儿童瞳孔大小变化以及视觉检测舱获取儿童脑电图，用于构建生理指标全息影像，反映儿童对不同刺激的生理反应结合注意力的分布情况以及持续程度，通过动态可视化将眼动三维弧面坐标系进行全息投影，并将热度全息影像和生理指标全息影像进行重叠映射，通过文字说明将眼动数据集及其相关联的儿童注意力数据进行标注。
9.根据权利要求1所述的一种基于儿童注意力的视觉检测系统，其特征在于：所述S105中，利用数据库记录儿童对反馈的实际接收情况，包括反应变化、行为变化和脑电表现变化，通过反馈表获取儿童监护人的直接反馈，包括他们对系统提供的反馈内容和形式的感受和看法，通过全息投影对比不同时间段的眼动数据集变化及其相关联的儿童注意力数据，分析儿童接收反馈后的表现是否改善，通过医院系统获取儿童注意力相关历史病例，用于自适应调整眼动三维弧面坐标系参数和反馈内容及形式。
10.根据权利要求9所述的一种基于儿童注意力的视觉检测系统，其特征在于：所述眼动三维弧面坐标系采用动态全息投影，通过动态全息投影提供视觉检查人员交互功能，包括通过手势、触摸以及语言指令控制全息投影，利用手势进行放大缩小图像查看儿童注意力相关数据，利用语言指令选择不同的结果，用于医生和操作人员通过观察全息投影更直观地了解儿童的注意力和视觉能力状况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311555692.1A CN117442154A (zh) | 2023-11-21 | 2023-11-21 | 一种基于儿童注意力的视觉检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311555692.1A CN117442154A (zh) | 2023-11-21 | 2023-11-21 | 一种基于儿童注意力的视觉检测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117442154A true CN117442154A (zh) | 2024-01-26 |
Family
ID=89589162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311555692.1A Pending CN117442154A (zh) | 2023-11-21 | 2023-11-21 | 一种基于儿童注意力的视觉检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117442154A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117854714A (zh) * | 2024-03-07 | 2024-04-09 | 之江实验室 | 一种基于眼动追踪的信息推荐方法以及装置 |
-
2023
- 2023-11-21 CN CN202311555692.1A patent/CN117442154A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117854714A (zh) * | 2024-03-07 | 2024-04-09 | 之江实验室 | 一种基于眼动追踪的信息推荐方法以及装置 |
| CN117854714B (zh) * | 2024-03-07 | 2024-05-24 | 之江实验室 | 一种基于眼动追踪的信息推荐方法以及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230195222A1 (en) | Methods and Systems for Obtaining, Aggregating, and Analyzing Vision Data to Assess a Person's Vision Performance | |
| Niehorster et al. | The impact of slippage on the data quality of head-worn eye trackers | |
| JP2022501718A (ja) | ユーザ相互作用の高速且つ正確な追跡を使用する人間／コンピュータインターフェース | |
| CN112034977B (zh) | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 | |
| KR101680995B1 (ko) | 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템 | |
| US9841811B2 (en) | Visually directed human-computer interaction for medical applications | |
| CN110460837A (zh) | 具有中央凹显示器和注视预测的电子设备 | |
| US20170095192A1 (en) | Mental state analysis using web servers | |
| KR20190005219A (ko) | 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들 | |
| KR102262890B1 (ko) | 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치 | |
| KR102262889B1 (ko) | 시선 추적을 이용한 머신 러닝 기반의 읽기 능력 진단 장치 및 방법 | |
| JP2015503414A (ja) | 精神医学的評価用装置および方法 | |
| CN114209324B (zh) | 基于图像视觉认知的心理测评数据获取方法及vr系统 | |
| CN117442154A (zh) | 一种基于儿童注意力的视觉检测系统 | |
| Zheng et al. | Opportunities for using eye tracking technology in manufacturing and logistics: Systematic literature review and research agenda | |
| Menekse Dalveren et al. | Insights from surgeons’ eye-movement data in a virtual simulation surgical training environment: effect of experience level and hand conditions | |
| CN109152559A (zh) | 用于定量评估视觉运动神经响应的方法和系统 | |
| Edughele et al. | Eye-tracking assistive technologies for individuals with amyotrophic lateral sclerosis | |
| Orlosky et al. | Using eye tracked virtual reality to classify understanding of vocabulary in recall tasks | |
| EP4332849A1 (en) | A method performed by an information processing device, a program product, and a system for acquiring artificial intelligence from processing context related operational, human bio-signal and human conduct data | |
| CN111341444B (zh) | 智能绘画评分方法及系统 | |
| Nam et al. | Development of a user evaluation system in virtual reality based on eye-tracking technology | |
| Bisogni et al. | Gaze analysis: A survey on its applications | |
| Fu et al. | Supporting user-centred ontology visualisation: predictive analytics using eye gaze to enhance human-ontology interaction | |
| Blaha et al. | Capturing you watching you: Characterizing visual-motor dynamics in touchscreen interactions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |