CN113469053B - 眼动轨迹鉴别方法及系统 - Google Patents
眼动轨迹鉴别方法及系统 Download PDFInfo
- Publication number
- CN113469053B CN113469053B CN202110748215.1A CN202110748215A CN113469053B CN 113469053 B CN113469053 B CN 113469053B CN 202110748215 A CN202110748215 A CN 202110748215A CN 113469053 B CN113469053 B CN 113469053B
- Authority
- CN
- China
- Prior art keywords
- eye movement
- movement track
- visual saliency
- autism
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000000007 visual effect Effects 0.000 claims abstract description 64
- 206010003805 Autism Diseases 0.000 claims abstract description 58
- 208000020706 Autistic disease Diseases 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012850 discrimination method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000036630 mental development Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010012559 Developmental delay Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 208000029560 autism spectrum disease Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 208000030251 communication disease Diseases 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Ophthalmology & Optometry (AREA)
- Pathology (AREA)
- Probability & Statistics with Applications (AREA)
- Educational Technology (AREA)
- Human Computer Interaction (AREA)
- Physiology (AREA)
- Developmental Disabilities (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
Abstract
本发明提供一种眼动轨迹鉴别方法及系统，属于及其视觉技术领域，获取待鉴别的眼动轨迹；利用训练好的鉴别模型，对获取的待鉴别的眼动轨迹进行处理，得到所述待鉴别的眼动轨迹是正常或异常的鉴别结果；其中，所述训练好的鉴别模型为利用训练集训练得到，所述训练集包括原始图片以及对应的正常儿童视觉显著性图片和自闭症儿童视觉显著性图片，所述原始图片分别被多个正常儿童和多个自闭症儿童浏览，对注视点位置信息以及注视点时长进行标注。本发明提取眼动轨迹在视觉显著性图上的特征以及注视位置注视点的时间信息和序列依赖关系，最后通过损失函数实现判断所属类别；能很好地根据眼动轨迹在显著性图上的序列对儿童自闭症进行识别。
Description
技术领域
本发明涉及机器视觉技术领域，具体涉及一种基于视觉显著性图像差异的眼动轨迹鉴别方法及系统。
背景技术
自闭症谱系障碍(简称自闭症)是一种严重的精神发育障碍，患者通常会表现出人际交往障碍、交流沟通障碍以及兴趣和行为等方面的异常，尤其是在儿童发育早期严重损害儿童精神发育。
传统的自闭症诊断方式为发育筛查及综合诊断评估，均需要医生进行专业的诊断。然而，这些方法严重依赖专业的医师凭专业知识进行判断，耗时耗力，且主观性强，这会导致许多患者并不能及时确诊，从而无法尽早得到治疗。而对于自闭症的治疗，治疗时机非常关键，越早进行干预治疗，自闭症患儿的恢复效果也会越好。
近年来，随着人工智能技术的发展，深度神经网络已被用来解决许多有挑战性的难题，例如人脸识别、步态识别、行人重识别等。同时，深度神经网络也在可视化数据分析的各种应用中得到了广泛的应用，并取得了良好的效果。因此，利用计算机视觉领域相关神经网络技术寻找正常儿童群体和患有自闭症儿童群体的眼动轨迹差异，从而判断儿童是否患有自闭症，将对儿童自闭症的早期诊断起到更加快速有效的作用。
发明内容
本发明的目的在于提供一种速度快、判断准确的眼动轨迹鉴别方法及系统，从而对，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
第一方面，本发明提供一种眼动轨迹鉴别方法，包括：
获取待鉴别的眼动轨迹；
利用训练好的鉴别模型，对获取的待鉴别的眼动轨迹进行处理，得到所述待鉴别的眼动轨迹是正常或异常的鉴别结果；其中，所述训练好的鉴别模型为利用训练集训练得到，所述训练集包括原始图片以及对应的正常儿童视觉显著性图片和自闭症儿童视觉显著性图片，所述原始图片分别被多个正常儿童和多个自闭症儿童浏览，对注视点位置信息以及注视点时长进行标注。
优选的，训练所述鉴别模型包括：
根据原始图片被浏览时的眼动轨迹序列，分别依次在正常儿童视觉显著性图和自闭症儿童视觉显著性图上进行裁剪操作；
根据眼动轨迹顺序，依次将裁剪操作后的数据送入多层卷积神经网络进行特征提取，得到所有图块特征向量；
结合提取到的所有图块特征向量，分别得到眼动轨迹分别在正常儿童视觉显著性图上的表达和自闭症儿童视觉显著性图上的表达；
将所获取的眼动轨迹在各自的视觉显著性图片上的表达延时间顺序分别通过一个全连接层，并将各自全连接层的输出累加后各自经一个激活函数层，得到各自的眼动轨迹序列的类属分数；
将得到的眼动轨迹在正常儿童视觉显著性图和眼动轨迹在自闭症儿童视觉显著性图的两个类属分数进行损失函数计算，获得训练好的鉴别模型。
优选的，将提取到的所有图块特征向量依次输入双层长短期记忆神经网络，利用长短期记忆神经网络获取眼动轨迹的时序信息和序列间依赖关系，得到眼动轨迹分别在正常儿童视觉显著性图上的表达和自闭症儿童视觉显著性图上的表达。
优选的，浏览原始图像后记录视线点在图片中的坐标以及时间序列信息组成所述眼动轨迹序列。
优选的，对于原始数据中眼动轨迹序列长度不足的部分，进行补零操作，使裁剪处理后的眼动轨迹序列长度一致。
优选的，将提取到的所有图块特征向量依次输入双层长短期记忆神经网络，获取眼动轨迹的时间信息和序列依赖关系，并将每个图块的特征向量集合在一起，得到眼动轨迹在视觉显著性图片上的表达。
优选的，将获取的眼动轨迹在视觉显著性图片上的表达延时间顺序通过一个全连接层，其输出为：
其中，W表示相应的连接权重；表示前向层隐含状态；/>表示反向层隐含状态。
将全连接层输出沿时间轴进行累加，即：
其输出累加后经一个激活函数层，得到序列的类属分数，即：
其中，scorei表示序列的类属分数。
优选的，眼动轨迹在正常儿童视觉显著性图和眼动轨迹在自闭症儿童视觉显著性图的两个类属分数进行损失函数计算，根据输出结果判定输入分数所属类别，即：
其中，是眼动轨迹在第i张正常儿童显著性图上的最终类属分数，/>是眼动轨迹在自闭症儿童显著性图上获得的最终类属分数，Δ表示间隔参数。
第二方面，本发明提供一种眼动轨迹鉴别系统，包括：
获取模块，用于获取待鉴别的眼动轨迹；
鉴别模块，用于利用训练好的鉴别模型，对获取的待鉴别的眼动轨迹进行处理，得到所述待鉴别的眼动轨迹是正常或异常的鉴别结果；其中，所述训练好的鉴别模型为利用训练集训练得到，所述训练集包括原始图片以及对应的正常儿童视觉显著性图片和自闭症儿童视觉显著性图片，所述原始图片分别被多个正常儿童和多个自闭症儿童浏览，对注视点位置信息以及注视点时长进行标注。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括用于执行如上所述的眼动轨迹鉴别方法的指令。
第四方面，本发明提供一种电子设备，包括如上所述的非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。
本发明有益效果：无需经过复杂的处理，可直接根据受试者观测图片的眼动轨迹对其是否患有儿童自闭症进行识别；卷积神经网络和长短期记忆神经网络的结合，提取眼动轨迹在视觉显著性图上的特征以及注视位置注视点的时间信息和序列依赖关系，最后通过损失函数实现判断所属类别；能很好地根据眼动轨迹在显著性图上的序列对儿童自闭症进行识别。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的实施例所述的基于眼动轨迹识别的儿童自闭症检测方法模型架构图。
图2为本发明实施例所述的采用的Saliency4ASD数据集示意图。
图3为本发明实施例所述的在Saliency4ASD数据集上的实验结果示意图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本发明实施例1提供一种眼动轨迹鉴别系统，该系统包括：
获取模块，用于获取待鉴别的眼动轨迹；
鉴别模块，用于利用训练好的鉴别模型，对获取的待鉴别的眼动轨迹进行处理，得到所述待鉴别的眼动轨迹是正常或异常的鉴别结果；其中，所述训练好的鉴别模型为利用训练集训练得到，所述训练集包括原始图片以及对应的正常儿童视觉显著性图片和自闭症儿童视觉显著性图片，所述原始图片分别被多个正常儿童和多个自闭症儿童浏览，对注视点位置信息以及注视点时长进行标注。
在本实施例1中，利用上述的系统，实现了眼动轨迹鉴别方法，包括：
利用获取模块，获取待鉴别的眼动轨迹；
利用鉴别模块，基于训练好的鉴别模型，对获取的待鉴别的眼动轨迹进行处理，得到所述待鉴别的眼动轨迹是正常或异常的鉴别结果；其中，所述训练好的鉴别模型为利用训练集训练得到，所述训练集包括原始图片以及对应的正常儿童视觉显著性图片和自闭症儿童视觉显著性图片，所述原始图片分别被多个正常儿童和多个自闭症儿童浏览，对注视点位置信息以及注视点时长进行标注。
训练所述鉴别模型包括：
根据原始图片被浏览时的眼动轨迹序列，分别依次在正常儿童视觉显著性图和自闭症儿童视觉显著性图上进行裁剪操作；
根据眼动轨迹顺序，依次将裁剪操作后的数据送入多层卷积神经网络进行特征提取，得到所有图块特征向量；
结合提取到的所有图块特征向量，分别得到眼动轨迹分别在正常儿童视觉显著性图上的表达和自闭症儿童视觉显著性图上的表达；
将所获取的眼动轨迹在各自的视觉显著性图片上的表达延时间顺序分别通过一个全连接层，并将各自全连接层的输出累加后各自经一个激活函数层，得到各自的眼动轨迹序列的类属分数；
将得到的眼动轨迹在正常儿童视觉显著性图和眼动轨迹在自闭症儿童视觉显著性图的两个类属分数进行损失函数计算，获得训练好的鉴别模型。
将提取到的所有图块特征向量依次输入双层长短期记忆神经网络，利用长短期记忆神经网络获取眼动轨迹的时序信息和序列间依赖关系，得到眼动轨迹分别在正常儿童视觉显著性图上的表达和自闭症儿童视觉显著性图上的表达。
浏览原始图像后记录视线点在图片中的坐标以及时间序列信息组成所述眼动轨迹序列。
在本实施例1中，根据原始数据受试者眼动轨迹序列，分别依次在正常儿童视觉显著性图和自闭症儿童视觉显著性图上进行裁剪操作，为准确表达视线点在显著性图上的信息。
所谓的受试者眼动轨迹序列，可以是由例如眼动仪等眼动轨迹捕获装置所获取的高精度眼动轨迹序列信息，由受试者浏览原始图像后记录视线点在图片中的坐标以及时间序列信息组成，即：
Pi＝(xi,yi)
xi∈[1,H]
yi∈[1,W]
其中，Pi是受试者眼动轨迹中第i个视线点的坐标(xi,yi)，W和H分别为原始图像I的宽度和高度，由于视觉显著性图像与原始图像大小一致，所以也等同于视觉显著性图像S的宽度和高度。
通过裁剪视觉显著性图像S来生成第i个图块Pi(S,plt,prb)，即：
plt＝(xi-a,yi-a)；
prb＝(xi+a,yi+a)
其中，plt是图块左上角的坐标，prb是图块右下角的坐标，裁剪图块为正方形图像，2a+1是裁剪图块边长。
对于原始数据中眼动轨迹序列长度不足的部分，进行补零操作，使裁剪处理后的眼动轨迹序列长度一致。
将提取到的所有图块特征向量依次输入双层长短期记忆神经网络，获取眼动轨迹的时间信息和序列依赖关系，并将每个图块的特征向量集合在一起，得到眼动轨迹在视觉显著性图片上的表达。
将获取的眼动轨迹在视觉显著性图片上的表达延时间顺序通过一个全连接层，其输出为：
其中，W表示相应的连接权重；表示前向层隐含状态；/>表示反向层隐含状态。
将全连接层输出沿时间轴进行累加，即：
其输出累加后经一个激活函数层，得到序列的类属分数，即：
其中，scorei表示序列的类属分数。
眼动轨迹在正常儿童视觉显著性图和眼动轨迹在自闭症儿童视觉显著性图的两个类属分数进行损失函数计算，根据输出结果判定输入分数所属类别，即：
其中，是眼动轨迹在第i张正常儿童显著性图上的最终类属分数，/>是眼动轨迹在自闭症儿童显著性图上获得的最终类属分数，Δ表示间隔参数。
实施例2
如图1所示，本实施例2中，提供一种基于眼动轨迹识别的儿童自闭症检测方法，该方法中对网络进行训练获得了眼动轨迹的鉴别模型，训练的网络主要包含由3个卷积层、2个池化层和一个全连接层组成的卷积深网络以及由1个双层长短期记忆网络层，一个全连接层和一个Sigmoid层组成的长短期记忆网络构成。模型包括训练和识别两个过程：
所述训练过程和识别过程均采用Saliency4ASD数据集，如图2所示，图2(a)为数据集原始图片，受试者浏览原始图片后记录眼动轨迹即视线点坐标及时间信息，图2(b)为图2(a)所对应的可供参考的自闭症儿童视觉显著性图，图2(c)为图2(a)所对应的可供参考的正常儿童视觉显著性图。
所述训练过程进一步包括以下步骤：
步骤S1，根据原始数据受试者眼动轨迹序列，分别依次在正常儿童视觉显著性图和自闭症儿童视觉显著性图上进行裁剪操作，为准确表达视线点在显著性图上的信息，原则上图块像素不低于200*200。
所谓的受试者眼动轨迹序列，可以是由例如眼动仪等眼动轨迹捕获装置所获取的高精度眼动轨迹序列信息，由受试者浏览原始图像后记录视线点在图片中的坐标以及时间序列信息组成，即：
Pi＝(xi,yi)
xi∈[1,H]
yi∈[1,W]
其中，plt是图块左上角的坐标，prb是图块右下角的坐标，裁剪图块为正方形图像，2a+1是裁剪图块边长。
通过裁剪视觉显著性图像S来生成第i个图块Pi(S,plt,prb)，即：
plt＝(xi-a,yi-a)；
prb＝(xi+a,yi+a)
其中，plt是图块左上角的坐标，prb是图块右下角的坐标，裁剪图块为正方形图像，2a+1是裁剪图块边长。
步骤S2，对于原始数据中眼动轨迹序列长度N不足的部分，进行补零操作，使S1处理后的数据长度一致，所取序列长度L至少能够准确地反映对应眼动的动态信息，即：
如果N<L，利用补零操作强制所有图块Pi序列是相同的长度L。
步骤S3，根据眼动轨迹顺序，依次将S2所获取的数据送入多层卷积神经网络进行特征向量F的提取，本实施例2中，用到的卷积神经网络结构如下表1所示：
表1
其中，层类型表示每个神经网络层的类型，池化层为平均池化层，表中的每一行都是模型中的一个层，对于相邻的两个层，上一层的输入是下一层的输入，在每个卷积层之后添加规范层可避免模型过拟合。模型最终产生1024维的视觉特征向量，即第i个图块的特征向量Fi。
步骤S4，将S3中提取到的所有图块特征向量依次输入长度为L的双层长短期记忆神经网络，利用长短期记忆神经网络获取眼动轨迹的时间信息和序列依赖关系，并将每个图块的特征向量集合在一起，得到眼动轨迹在视觉显著性图片上的表达，即：
ct＝ftct-1+ittanh(WIcxt+Whcct+bc)
ot＝σ(WIoIt+Whoht-1+Wcoct+o)
ht＝ottanh(ct)
其中，i、o、f、c分别表示输入控制门(Input gate)状态、输出控制门(Outputgate)状态、遗忘门(Forget gate)状态和记忆单元(cell)状态，W表示相应连接权重，b为偏置向量，h为隐含层状态。
最大池化层用于收集长短期记忆网络的输出。
步骤S5，将S4所获取的眼动轨迹在视觉显著性图片上的表达延时间顺序通过一个全连接层，其输出为：
其中，W表示相应的连接权重；表示前向层隐含状态；/>表示反向层隐含状态。
将全连接层输出沿时间轴进行累加，即：
其输出累加后经一个激活函数层，得到序列的类属分数，即：
其中，scorei表示序列的类属分数。其中，在每个全连接层后添加丢失层，以避免模型过拟合。
步骤S6，将S5得到的眼动轨迹在正常儿童视觉显著性图和眼动轨迹在自闭症儿童视觉显著性图的两个类属分数进行损失函数计算，根据输出结果判定输入分数所属类别，即：
其中，是眼动轨迹在第i张正常儿童显著性图上的最终类属分数，/>是眼动轨迹在自闭症儿童显著性图上获得的最终类属分数，Δ表示间隔参数。
所述识别过程进一步包括以下步骤：
步骤1：按模型训练过程步骤S1所述，根据原始数据受试者眼动轨迹序列，分别依次在正常儿童视觉显著性图和自闭症儿童视觉显著性图上进行裁剪操作。
步骤2：按模型训练过程S2-S5所述，将裁剪后的图块先进行补零操作，再通过多层卷积神经网络进行特征提取，接着通过双层长短期记忆网络获取眼动轨迹的时间信息和序列依赖关系并得到眼动轨迹在视觉显著性图片上的表达，最后获得类属分数。
步骤3：根据步骤S6中得到的类属分数进行损失函数计算后最终判断所属类别。
本实施例2中，应用于一个公开的数据集Salency4ASD中训练，对本实施例2的方法进行验证，该数据及包含300张图片，包括原始图片以及对应可供参考的正常儿童视觉显著性图片和自闭症儿童视觉显著性图片，每张原始图片分别被14个正常儿童和14个自闭症儿童浏览，注视点位置信息以及注视点时长被记录。选择该数据集前240张图片作为训练集用来训练模型，并用剩下的60张图片作为验证集来验证本发明的有效性。
图3是本发明在Saliency4ASD数据集中所选取验证集上的实验结果。实验表明，该方法在验证过程中，分类判断准确率达到97％以上，且方法操作简单，便于实际应用。
实施例3
本发明实施例3提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括用于执行眼动轨迹鉴别方法的指令，该方法包括：
获取待鉴别的眼动轨迹；
利用训练好的鉴别模型，对获取的待鉴别的眼动轨迹进行处理，得到所述待鉴别的眼动轨迹是正常或异常的鉴别结果；其中，所述训练好的鉴别模型为利用训练集训练得到，所述训练集包括原始图片以及对应的正常儿童视觉显著性图片和自闭症儿童视觉显著性图片，所述原始图片分别被多个正常儿童和多个自闭症儿童浏览，对注视点位置信息以及注视点时长进行标注。
实施例4
本发明实施例4提供一种电子设备，该电子设备包括一种非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。所述非暂态计算机可读存储介质包括用于执行眼动轨迹鉴别方法的指令，该方法包括：
获取待鉴别的眼动轨迹；
利用训练好的鉴别模型，对获取的待鉴别的眼动轨迹进行处理，得到所述待鉴别的眼动轨迹是正常或异常的鉴别结果；其中，所述训练好的鉴别模型为利用训练集训练得到，所述训练集包括原始图片以及对应的正常儿童视觉显著性图片和自闭症儿童视觉显著性图片，所述原始图片分别被多个正常儿童和多个自闭症儿童浏览，对注视点位置信息以及注视点时长进行标注。
综上所述，本发明实施例所述的眼动轨迹鉴别方法及系统，可实现基于眼动轨迹识别的儿童自闭症检测无需经过复杂的处理，可直接根据受试者观测图片的眼动轨迹对其是否患有儿童自闭症进行识别。尤其是卷积神经网络和长短期记忆神经网络的结合可以很好地提取眼动轨迹在视觉显著性图上的特征以及注视位置注视点的时间信息和序列依赖关系，最后通过损失函数实现判断所属类别。能很好地根据眼动轨迹在显著性图上的序列对儿童自闭症进行识别，为未来的实际应用提供了算法条件。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种眼动轨迹鉴别方法，其特征在于，包括：
获取待鉴别的眼动轨迹；
利用训练好的鉴别模型，对获取的待鉴别的眼动轨迹进行处理，得到所述待鉴别的眼动轨迹是正常或异常的鉴别结果；其中，所述训练好的鉴别模型为利用训练集训练得到，所述训练集包括原始图片以及对应的正常儿童视觉显著性图片和自闭症儿童视觉显著性图片，所述原始图片分别被多个正常儿童和多个自闭症儿童浏览，对注视点位置信息以及注视点时长进行标注；
训练所述鉴别模型包括：
根据原始图片被浏览时的眼动轨迹序列，分别依次在正常儿童视觉显著性图和自闭症儿童视觉显著性图上进行裁剪操作；
根据眼动轨迹顺序，依次将裁剪操作后的数据送入多层卷积神经网络进行特征提取，得到所有图块特征向量；
将提取到的所有图块特征向量依次输入双层长短期记忆神经网络，利用长短期记忆神经网络获取眼动轨迹的时序信息和序列间依赖关系，分别得到眼动轨迹分别在正常儿童视觉显著性图上的表达和自闭症儿童视觉显著性图上的表达；
将所获取的眼动轨迹在各自的视觉显著性图片上的表达延时间顺序分别通过一个全连接层，并将各自全连接层的输出累加后各自经一个激活函数层，得到各自的眼动轨迹序列的类属分数；
将得到的眼动轨迹在正常儿童视觉显著性图和眼动轨迹在自闭症儿童视觉显著性图的两个类属分数进行损失函数计算，获得训练好的鉴别模型。
2.根据权利要求1所述的眼动轨迹鉴别方法，其特征在于，浏览原始图像后记录视线点在图片中的坐标以及时间序列信息组成所述眼动轨迹序列。
3.根据权利要求1所述的眼动轨迹鉴别方法，其特征在于，对于原始数据中眼动轨迹序列长度不足的部分，进行补零操作，使裁剪处理后的眼动轨迹序列长度一致。
4.根据权利要求1所述的眼动轨迹鉴别方法，其特征在于，将提取到的所有图块特征向量依次输入双层长短期记忆神经网络，获取眼动轨迹的时间信息和序列依赖关系，并将每个图块的特征向量集合在一起，得到眼动轨迹在视觉显著性图片上的表达。
5.根据权利要求1所述的眼动轨迹鉴别方法，其特征在于，将获取的眼动轨迹在视觉显著性图片上的表达延时间顺序通过一个全连接层，其输出为：
其中，W表示相应的连接权重；表示前向层隐含状态；/>表示反向层隐含状态；
将全连接层输出沿时间轴进行累加，即：
其输出累加后经一个激活函数层，得到序列的类属分数，即：
其中，scorei表示序列的类属分数。
6.根据权利要求1所述的眼动轨迹鉴别方法，其特征在于，眼动轨迹在正常儿童视觉显著性图和眼动轨迹在自闭症儿童视觉显著性图的两个类属分数进行损失函数计算，根据输出结果判定输入分数所属类别，即：
其中，是眼动轨迹在第i张正常儿童显著性图上的最终类属分数，/>是眼动轨迹在自闭症儿童显著性图上获得的最终类属分数，Δ表示间隔参数。
7.一种眼动轨迹鉴别系统，采用如权利要求1所述的一种眼动轨迹鉴别方法，其特征在于，包括：
获取模块，用于获取待鉴别的眼动轨迹；
鉴别模块，用于利用训练好的鉴别模型，对获取的待鉴别的眼动轨迹进行处理，得到所述待鉴别的眼动轨迹是正常或异常的鉴别结果；其中，所述训练好的鉴别模型为利用训练集训练得到，所述训练集包括原始图片以及对应的正常儿童视觉显著性图片和自闭症儿童视觉显著性图片，所述原始图片分别被多个正常儿童和多个自闭症儿童浏览，对注视点位置信息以及注视点时长进行标注。
8.一种电子设备，其特征在于，包括非暂态计算机可读存储介质；以及能够执行所述非暂态计算机可读存储介质的指令的一个或多个处理器；所述非暂态计算机可读存储介质包括用于执行如权利要求1-6任一项所述的眼动轨迹鉴别方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110748215.1A CN113469053B (zh) | 2021-07-01 | 2021-07-01 | 眼动轨迹鉴别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110748215.1A CN113469053B (zh) | 2021-07-01 | 2021-07-01 | 眼动轨迹鉴别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113469053A CN113469053A (zh) | 2021-10-01 |
| CN113469053B true CN113469053B (zh) | 2024-04-05 |
Family
ID=77877307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110748215.1A Active CN113469053B (zh) | 2021-07-01 | 2021-07-01 | 眼动轨迹鉴别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469053B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118012372A (zh) * | 2024-04-10 | 2024-05-10 | 深圳市万国电器有限公司 | 基于人工智能的显示方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108572733A (zh) * | 2018-04-04 | 2018-09-25 | 西安交通大学 | 一种基于条件随机场的眼动行为视觉搜索目标预测方法 |
| CN111134693A (zh) * | 2019-12-09 | 2020-05-12 | 上海交通大学 | 基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10839520B2 (en) * | 2017-03-03 | 2020-11-17 | The United States Of America, As Represented By The Secretary, Department Of Health & Human Services | Eye tracking applications in computer aided diagnosis and image processing in radiology |
-
2021
- 2021-07-01 CN CN202110748215.1A patent/CN113469053B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108572733A (zh) * | 2018-04-04 | 2018-09-25 | 西安交通大学 | 一种基于条件随机场的眼动行为视觉搜索目标预测方法 |
| CN111134693A (zh) * | 2019-12-09 | 2020-05-12 | 上海交通大学 | 基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113469053A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728209B (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
| Yuan et al. | Fingerprint liveness detection using an improved CNN with image scale equalization | |
| Al-Dhamari et al. | Transfer deep learning along with binary support vector machine for abnormal behavior detection | |
| CN104143079B (zh) | 人脸属性识别的方法和系统 | |
| CN110363131B (zh) | 基于人体骨架的异常行为检测方法、系统及介质 | |
| CN111754396B (zh) | 脸部图像处理方法、装置、计算机设备和存储介质 | |
| CN106250858A (zh) | 一种融合多种人脸识别算法的识别方法及系统 | |
| CN111488758A (zh) | 用于驾驶行为识别的深度学习模型、训练装置及方法 | |
| CN111027377B (zh) | 一种双流神经网络时序动作定位方法 | |
| CN110532850B (zh) | 一种基于视频关节点和混合分类器的跌倒检测方法 | |
| CN110570443B (zh) | 一种基于结构约束条件生成模型的图像线状目标提取方法 | |
| CN111291863B (zh) | 换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备 | |
| CN111652017A (zh) | 一种动态手势识别方法及系统 | |
| CN110991397B (zh) | 一种行进方向确定方法及相关设备 | |
| CN106295501A (zh) | 基于唇部运动的深度学习身份识别方法 | |
| CN110082821A (zh) | 一种无标签框微地震信号检测方法及装置 | |
| CN106529377A (zh) | 一种基于图像的年龄估计方法、装置及系统 | |
| CN113506274B (zh) | 基于视觉显著性差异图的用于人体认知状况的检测系统 | |
| CN111860078A (zh) | 人脸静默活体检测方法、装置、可读存储介质及设备 | |
| CN108921111A (zh) | 对象检测后处理方法及对应装置 | |
| CN108921023A (zh) | 一种确定低质量人像数据的方法及装置 | |
| CN113469053B (zh) | 眼动轨迹鉴别方法及系统 | |
| CN111860056B (zh) | 基于眨眼的活体检测方法、装置、可读存储介质及设备 | |
| CN106682669A (zh) | 一种图像处理方法及移动终端 | |
| CN115546491A (zh) | 一种跌倒报警方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |