CN113506274A - 基于视觉显著性差异图的用于人体认知状况的检测系统 - Google Patents
基于视觉显著性差异图的用于人体认知状况的检测系统 Download PDFInfo
- Publication number
- CN113506274A CN113506274A CN202110799600.9A CN202110799600A CN113506274A CN 113506274 A CN113506274 A CN 113506274A CN 202110799600 A CN202110799600 A CN 202110799600A CN 113506274 A CN113506274 A CN 113506274A
- Authority
- CN
- China
- Prior art keywords
- eye movement
- data
- module
- detection
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 230000000007 visual effect Effects 0.000 title claims abstract description 69
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 24
- 230000004424 eye movement Effects 0.000 claims abstract description 88
- 238000013528 artificial neural network Methods 0.000 claims abstract description 40
- 206010003805 Autism Diseases 0.000 claims abstract description 26
- 208000020706 Autistic disease Diseases 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000019771 cognition Effects 0.000 claims abstract description 4
- 208000010877 cognitive disease Diseases 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000015654 memory Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 5
- 230000006403 short-term memory Effects 0.000 description 9
- 230000007787 long-term memory Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005520 cutting process Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 208000012239 Developmental disease Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 208000029560 autism spectrum disease Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/06—Children, e.g. for attention deficit diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Heart & Thoracic Surgery (AREA)
- Evolutionary Computation (AREA)
- Neurology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Epidemiology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Physiology (AREA)
- Hospice & Palliative Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Psychology (AREA)
- Primary Health Care (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Social Psychology (AREA)
Abstract
本公开提供了一种基于视觉显著性差异图的用于人体认知状况的检测系统，包括数据获取模块、模型训练模块和人体认知状况检测模块；所述数据获取模块用于获取设定视觉图像下的眼动轨迹历史数据和待检测者的眼动轨迹数据。所述模型训练模块用于将眼动轨迹历史数据输入神经网络检测模型进行训练，得到训练好的神经网络检测模型；所述人体认知状况检测模块用于将待检测者的眼动轨迹数据输入训练好的神经网络检测模型中得到待检测者的检测结果，根据待检测者的检测结果判断待检测者是否具有人体认知障碍；无需经过复杂的处理，可直接根据受试者观测图片的眼动轨迹对其是否患有儿童自闭症进行识别，实现了精度较高的自闭症判断。
Description
技术领域
本公开属于图像处理技术领域，具体涉及一种基于视觉显著性差异图的用 于人体认知状况的检测系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成现 有技术。
自闭症谱系障碍(自闭症)是一种影响患病儿童交流、行为和社交能力的 发育性疾病，由于诊断过程需要由儿科医生，神经科医生，病理学家等专业医 疗团队与患者进行长期沟通和行为能力的评估，而这些评估非常受医生主观因 素的影响。据统计，约59名儿童中就有1名儿童患有自闭症，然而，由于自闭 症的普遍存在和临床资源的紧缺，早期的儿童自闭症诊断并没有很好的广泛适 用性，患者在儿童时期的症状通常未被发现，从而错过了最佳的干预治疗时机。 因此，高效及高质量的儿童自闭症识别和诊断需要新的科学技术作为辅助工具。
随着计算机视觉领域相关技术的发展，深度神经网络已经成为各类人工智 能应用中最有效的技术之一。特别是当数据集较大时，卷积神经网络能有效地 从图像中学习特征，并已成为视觉数据处理领域最重要的技术之一。同时，递 归神经网络已广泛应用于自然语言处理、语音识别等序列的数据分析中，并取 得了优于传统模型的结果。长短期记忆网络作为典型的递归神经网络，在视频 音频等各种序列数据处理中也显示出了强大的性能。因此如何通过计算机视觉 相关技术判断儿童是否患有自闭症，以及对儿童自闭症的早期诊断提供便捷客 观的辅助判断是需要解决的技术难题；且如何实现儿童眼动轨迹与视觉显著图 像进行有效结合获取高精度的检测结果也是需要克服的难题。
发明内容
为了解决上述问题，本公开提出了一种基于视觉显著性差异图的用于人体 认知状况的检测系统，适用于儿童自闭症检测，能够根据受试儿童观察静态图 片时的视觉注意力数据来判别其是否可能患有自闭症，本公开利用计算机视觉 领域相关神经网络技术辅助识别正常儿童和自闭症儿童视觉显著性的差异，从 而判断儿童是否患有自闭症，对儿童自闭症的早期诊断起到客观并且快速有效 的作用。
本公开提供了一种基于视觉显著性差异图的用于人体认知状况的检测系 统，包括数据获取模块、模型训练模块和人体认知状况检测模块；
所述数据获取模块用于获取设定视觉图像下的眼动轨迹历史数据和待检测 者的眼动轨迹数据。
所述模型训练模块用于将眼动轨迹历史数据输入神经网络检测模型进行训 练，得到训练好的神经网络检测模型；所述神经网络检测模型通过对眼动轨迹 历史数据进行处理获得眼动轨迹在视觉显著图像的表达并进行标签类别对比后 输出检测结果；
所述人体认知状况检测模块用于将待检测者的眼动轨迹数据输入训练好的 神经网络检测模型中得到待检测者的检测结果，根据待检测者的检测结果判断 待检测者是否具有人体认知障碍。
与现有技术对比，本公开具备以下有益效果：
1、本申请提出了一种基于视觉显著性差异图的用于人体认知状况的检测 系统，采用将待检测者的眼动轨迹数据输入训练好的神经网络检测模型中得到 待检测者的检测结果，根据待检测者的检测结果判断待检测者是否患有自闭症； 所述神经网络检测模型通过对眼动轨迹历史数据进行处理获得眼动轨迹在视觉 显著图像的表达并进行标签类别对比后输出检测结果；本公开无需经过复杂的 处理，可直接根据受试者观测图片的眼动轨迹对其是否患有儿童自闭症进行识 别，实现了精度较高的自闭症判断。
2、本公开采用卷积神经网络和长短期记忆神经网络的结合可以很好地提 取眼动轨迹在视觉显著性差异图上的特征以及注视位置信息和注视时长信息的 序列依赖关系，最后通过交叉熵损失函数实现判断所属类别。本发明能很好地 根据眼动轨迹在视觉显著性差异图上的序列对儿童自闭症进行识别，为未来的 实际应用提供了算法条件。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申 请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本申请一种基于视觉显著性差异图的儿童自闭症检测系统模型架构 图；
图2是本申请基于视觉显著性差异图生成系统示意图；
图3是本申请基于视觉显著性差异图生成效果示意图；
图4是本申请一种基于视觉显著性差异图的儿童自闭症检测系统的工作实 验数据。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。 除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的 普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图 限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确 指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说 明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器 件、组件和/或它们的组合。
如图1所示，一种基于视觉显著性差异图的用于人体认知状况的检测系统， 包括数据获取模块、模型训练模块和人体认知状况检测模块；
所述数据获取模块用于获取设定视觉图像下的眼动轨迹历史数据和待检测 者的眼动轨迹数据。
所述模型训练模块用于将眼动轨迹历史数据输入神经网络检测模型进行训 练，得到训练好的神经网络检测模型；所述神经网络检测模型通过对眼动轨迹 历史数据进行处理获得眼动轨迹在视觉显著图像的表达并进行标签类别对比后 输出检测结果；
作为一种实施方式，所述人体认知状况检测模块用于将待检测者的眼动轨 迹数据输入训练好的神经网络检测模型中得到待检测者的检测结果，根据待检 测者的检测结果判断待检测者是否具有人体认知障碍，即是否患有自闭症。
神经网络检测模型包括预处理模块、特征提取模块和特征检测模块；
所述预处理模块用于对眼动轨迹数据进行处理获得预处理数据；
特征提取模块用于对预处理数据处理获得集合特征向量；
特征检测模块用于对集合特征向量处理获得眼动轨迹在视觉显著图像的表 达并进行标签类别对比后输出检测结果。
作为优选的一种实施方式，所述特征提取模块采用卷积神经网络进行特征 提取。所述特征检测模块采用双层长短期记忆神经网络获得眼动轨迹的时序信 息和序列间依赖关系，得到眼动轨迹在视觉显著性差异图上的表达。
作为其中一个实施方式，所述数据获取模块包括眼动轨迹捕获装置，眼动 轨迹捕获装置用于获取待测者浏览原始图像后的眼动轨迹数据，眼动轨迹数据 具体可为高精度眼动轨迹序列数据，所述眼动轨迹捕获装置可采用眼动仪。所 述训练数据集采用Saliency4ASD数据集，该数据集包含300张图片，包括原始 图片以及对应可供参考的正常儿童视觉显著性图片和自闭症儿童视觉显著性图 片，每张原始图片分别被14个正常儿童和14个自闭症儿童浏览，注视点位置 信息以及注视时长被记录。选择该数据集前240张图片作为训练集用来训练模 型，并用剩下的60张图片作为验证集来验证本申请的有效性。
所述训练数据集包括正常儿童视觉显著性图I-、自闭症儿童视觉显著性图I+和原始数据受试者眼动轨迹序列；
作为另一种实施方式，所述预处理模块用于根据训练数据集中的正常儿童 视觉显著性图和自闭症儿童视觉显著性图做差后计算视觉显著性差异图；具体 的，S2，根据正常儿童视觉显著性图I-和自闭症儿童视觉显著性图I+做差后计算 视觉显著性差异图D，如图2所示，即：
I＝I+-I-
其中，I是两个视觉显著性图的像素相减所得，σI是I的标准差。
根据原始数据受试者眼动轨迹序列依次在视觉显著差异图上进行裁剪操作 获取若干个裁剪图块；具体的，根据原始数据受试者眼动轨迹序列，依次在视 觉显著性差异图D上进行裁剪操作，为准确表达视线点在显著性差异图上的信 息，图块像素可取225*225。
所谓的受试者眼动轨迹序列，可以是由例如眼动仪等眼动轨迹捕获装置所 获取的高精度眼动轨迹序列信息，由受试者浏览原始图像后记录视线点在图片 中的坐标以及时间序列信息组成，即：
Pi＝(xi,yi)
xi∈[1,H]
yi∈[1,W]
其中，Pi是受试者眼动轨迹中第i个视线点的坐标(xi,yi)，W和H分别为原始 图像的宽度和高度，由于视觉显著性差异图像与原始图像大小一致，所以也等 同于视觉显著性差异图像D的宽度和高度。
通过裁剪视觉显著性差异图D来生成第i个图块Pi(D,plt,prb)，即：
plt＝(xi-a,yi-a)
prb＝(xi+a,yi+a)
其中，plt是图块左上角的坐标，prb是图块右下角的坐标，裁剪图块为正方 形图像，2a+1是裁剪图块边长。
若原始数据中眼动轨迹序列长度不足，则进行补零操作，使得裁剪图块数 据尺寸一致。具体的，对于原始数据中眼动轨迹序列长度不足的部分，进行补 零操作，使S2处理后的数据长度一致，对于原始数据中眼动轨迹序列长度N不 足的部分，进行补零操作，使S2处理后的数据长度一致，所取序列长度L至少 能够准确地反映对应眼动的动态信息，即：
如果N<，利用补零操作强制所有图块Pi序列是相同的长度L。
所述特征提取模块用于将预处理后的数据进行特征提取获得视觉特征向量 和眼动轨迹注视时长，并将眼动轨迹注视时长集成到视觉特征向量中获得集合 特征向量。具体的，根据眼动轨迹顺序，依次将S3所获取的数据送入多层卷积 神经网络进行特征提取，根据眼动轨迹顺序，依次将S3所获取的数据送入多层 卷积神经网络进行特征向量F的提取，本申请用到的卷积神经网络结构如下表所 示：
其中，层类型表示每个神经网络层的类型，池化层为平均池化层，表中的 每一行都是模型中的一个层，对于相邻的两个层，上一层的输入是下一层的输 入，在每个卷积层之后添加规范层可避免模型过拟合。
模型最终产生1024维的视觉特征向量，即第i个图块的特征向量fi。
S5，将眼动轨迹中注视时长ti做为特征之一，并集成到步骤S4所输出的每 个特征向量中，即：
Fi＝[fi,ti]
其中，Fi是第i个图块的特征向量fi和注视时长ti所集合而成，因此，在此步 骤后每个图块的特征向量为1025维度的向量Fi。
所述特征检测模块用于将所有图块的集合特征向量依次输入双层长短期记 忆神经网络，获得眼动轨迹的时序信息和序列间依赖关系，得到眼动轨迹在视 觉显著性差异图上的表达；具体的，长短期记忆神经网络是一种循环神经网络， 具有记忆功能，因此能够将时间序列上的信息关联起来，找出其中的特征，可 用于捕捉眼动轨迹的时序信息和序列间的依赖关系。如图1所示，数据预处理 模块展示了眼动轨迹最初在视觉显著差异图上的依次表达，经过切割模块和卷 积神经网络模块后获得的显著性差异图的图像块序列Fi，由于眼动轨迹在显著性 差异图上的顺序表达包含相关时间序列信息，将Fi作为长短期记忆神经网络的输 入。
将眼动轨迹在视觉显著性差异图上的表达沿时间顺序通过一个全连接层获 得全连接层输出，将全连接层输出与标签类别进行交叉熵函数处理获得检测结 果并判断所属类别。
具体的，将S5中提取到的所有特征向量依次输入长度为L的双层长短期记 忆神经网络，利用长短期记忆神经网络获取眼动轨迹的时间信息和序列依赖关 系，并将每个图块的特征向量集合在一起，得到眼动轨迹在视觉显著性图片上 的表达，即：
ct＝ftct-1+ittanh(WIcxt+Whcct+bc)
ot＝σ(WIoIt+Whoht-1+Wcoct+o)
ht＝ottanh(ct)
其中，其中i，o，f，c分别表示输入控制门(Input gate)状态、输出控制门 (Outputgate)状态、遗忘门(Forget gate)状态和记忆单元(cell)状态， W表示相应连接权重，b为偏置向量，h为隐含层状态。最大池化层用于收集长 短期记忆网络的输出。
所述人体认知状况检测模块用于将待检测者的眼动轨迹数据传输至训练好 的神经网络检测模型中得到检测结果，根据检测结果判断所属类别获得待检测 者是否患有自闭症。
为了详细说明本发明的具体实施方式及验证本发明的有效性，将本发明提 出的系统应用于一个公开的数据集Salency4ASD中训练。该数据集包含300张 图片，包括原始图片以及对应可供参考的正常儿童视觉显著性图片和自闭症儿 童视觉显著性图片，每张原始图片分别被14个正常儿童和14个自闭症儿童浏 览，注视点位置信息以及注视时长被记录。选择该数据集前240张图片作为训 练集用来训练模型，并用剩下的60张图片作为验证集来验证本发明的有效性。
图4是本发明在Saliency4ASD数据集中所选取验证集上的实验结果。实验 表明，该方法在验证过程中，分类判断准确率达到71％以上，且方法便捷，便于 实际应用。
所述的基于视觉显著性差异图的用于人体认知状况的检测系统的具体工作 过程包括：
步骤S1，根据正常儿童视觉显著性图和自闭症儿童视觉显著性图做差后计 算视觉显著性差异图；
步骤S2，根据原始数据受试者眼动轨迹序列，依次在视觉显著性差异图上 进行裁剪操作；
步骤S3，对于原始数据中眼动轨迹序列长度不足的部分，进行补零操作， 使步骤S2处理后的数据长度一致；
步骤S4，根据眼动轨迹顺序，依次将步骤S3所获取的数据送入多层卷积神 经网络进行特征提取；
步骤S5，将眼动轨迹中注视时长信息做为特征之一，并集成到步骤S4所输 出的每个特征向量中；
步骤S6，将步骤S5中提取到的所有图块特征向量依次输入双层长短期记忆 神经网络，利用长短期记忆神经网络获取眼动轨迹的时序信息和序列间依赖关 系，得到眼动轨迹在视觉显著性差异图上的表达；
步骤S7，将步骤S6所获取的眼动轨迹在视觉显著性差异图上的表达沿时间 顺序通过一个全连接层；
步骤S8，将步骤S7的输出与标签类别进行交叉熵损失函数计算，根据输出 结果判定所属类别。
所述识别过程进一步包括以下步骤：
步骤1：按模型训练过程步骤S1-S2所述，根据原始数据受试者在计算好的 视觉显著性差异图上的眼动轨迹序列进行裁剪操作。
步骤2：按模型训练过程S3-S7所述，将裁剪后的图块先进行补零操作，再 通过多层卷积神经网络进行特征提取，将眼动轨迹中注视时长信息做为特征之 一，并集成到每个特征向量中，接着通过双层长短期记忆网络获取眼动轨迹的 时间信息和序列依赖关系并得到眼动轨迹在视觉显著性差异图上的表达。
步骤3：按模型训练过程S8所述，进行交叉熵损失函数计算判断最终结果。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开 保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上， 本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开 的保护范围以内。
Claims (10)
1.一种基于视觉显著性差异图的用于人体认知状况的检测系统，其特征在于，包括数据获取模块、模型训练模块和人体认知状况检测模块；
所述数据获取模块用于获取观察视觉图像下的眼动轨迹历史数据和待检测者的眼动轨迹数据。
所述模型训练模块用于将眼动轨迹历史数据输入神经网络检测模型进行训练，得到训练好的神经网络检测模型；所述神经网络检测模型通过对眼动轨迹历史数据进行处理获得眼动轨迹在视觉图像的表达并进行标签类别对比后输出检测结果；
所述人体认知状况检测模块用于将待检测者的眼动轨迹数据输入训练好的神经网络检测模型中得到待检测者的检测结果，根据待检测者的检测结果判断待检测者是否具有人体认知障碍。
2.如权利要求1所述的用于人体认知状况的检测系统，其特征在于，神经网络检测模型包括预处理模块、特征提取模块和特征检测模块；
所述预处理模块用于对眼动轨迹数据进行处理获得预处理数据；
特征提取模块用于对预处理数据处理获得集合特征向量；
特征检测模块用于对集合特征向量处理获得眼动轨迹在视觉显著图像的表达并进行标签类别对比后输出检测结果。
3.如权利要求2所述的用于人体认知状况的检测系统，其特征在于，所述预处理模块用于根据训练数据集中的正常视觉显著性图和自闭症视觉显著性图做差后计算视觉显著性差异图；
根据历史眼动轨迹序列依次在视觉显著差异图上进行裁剪操作获取若干个裁剪图块。
4.如权利要求3所述的用于人体认知状况的检测系统，其特征在于，若原始数据中眼动轨迹序列长度不足，则进行补零操作，使得裁剪图块数据尺寸一致。
5.如权利要求2所述的用于人体认知状况的检测系统，其特征在于，所述特征提取模块用于将预处理后的数据进行特征提取获得视觉特征向量和眼动轨迹注视时长，并将眼动轨迹注视时长集成到视觉特征向量中获得集合特征向量。
6.如权利要求2所述的用于人体认知状况的检测系统，其特征在于，所述特征检测模块用于将所有图块的集合特征向量依次输入双层长短期记忆神经网络，获得眼动轨迹的时序信息和序列间依赖关系，得到眼动轨迹在视觉显著性差异图上的表达。
7.如权利要求2所述的用于人体认知状况的检测系统，其特征在于，所述特征检测模块还用于将眼动轨迹在视觉显著性差异图上的表达沿时间顺序通过一个全连接层获得全连接层输出，将全连接层输出与标签类别进行交叉熵函数处理获得检测结果并判断所属类别。
8.如权利要求2所述的用于人体认知状况的检测系统，其特征在于，所述特征提取模块采用卷积神经网络进行特征提取。
9.如权利要求2所述的用于人体认知状况的检测系统，其特征在于，所述特征检测模块采用双层长短期记忆神经网络获得眼动轨迹的时序信息和序列间依赖关系，得到眼动轨迹在视觉显著性差异图上的表达。
10.如权利要求1所述的用于人体认知状况的检测系统，其特征在于，所述数据获取模块包括眼动轨迹捕获装置，眼动轨迹捕获装置用于获取待测者浏览设定视觉图像后的眼动轨迹数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110799600.9A CN113506274B (zh) | 2021-07-15 | 2021-07-15 | 基于视觉显著性差异图的用于人体认知状况的检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110799600.9A CN113506274B (zh) | 2021-07-15 | 2021-07-15 | 基于视觉显著性差异图的用于人体认知状况的检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113506274A true CN113506274A (zh) | 2021-10-15 |
| CN113506274B CN113506274B (zh) | 2024-03-08 |
Family
ID=78012800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110799600.9A Active CN113506274B (zh) | 2021-07-15 | 2021-07-15 | 基于视觉显著性差异图的用于人体认知状况的检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113506274B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113951828A (zh) * | 2021-10-29 | 2022-01-21 | 上海市同济医院 | 一种基于视觉工作记忆任务的mci筛查方法及系统 |
| CN115363581A (zh) * | 2022-08-19 | 2022-11-22 | 山东心法科技有限公司 | 一种面向低龄儿童的阅读障碍预测方法、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100208205A1 (en) * | 2009-01-15 | 2010-08-19 | Po-He Tseng | Eye-tracking method and system for screening human diseases |
| CN108572733A (zh) * | 2018-04-04 | 2018-09-25 | 西安交通大学 | 一种基于条件随机场的眼动行为视觉搜索目标预测方法 |
| CN111134693A (zh) * | 2019-12-09 | 2020-05-12 | 上海交通大学 | 基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端 |
-
2021
- 2021-07-15 CN CN202110799600.9A patent/CN113506274B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100208205A1 (en) * | 2009-01-15 | 2010-08-19 | Po-He Tseng | Eye-tracking method and system for screening human diseases |
| CN108572733A (zh) * | 2018-04-04 | 2018-09-25 | 西安交通大学 | 一种基于条件随机场的眼动行为视觉搜索目标预测方法 |
| CN111134693A (zh) * | 2019-12-09 | 2020-05-12 | 上海交通大学 | 基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113951828A (zh) * | 2021-10-29 | 2022-01-21 | 上海市同济医院 | 一种基于视觉工作记忆任务的mci筛查方法及系统 |
| CN115363581A (zh) * | 2022-08-19 | 2022-11-22 | 山东心法科技有限公司 | 一种面向低龄儿童的阅读障碍预测方法、设备及介质 |
| CN115363581B (zh) * | 2022-08-19 | 2023-05-05 | 山东心法科技有限公司 | 一种面向低龄儿童的阅读障碍预测方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113506274B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108446730B (zh) | 一种基于深度学习的ct肺结节检测装置 | |
| CN109886273B (zh) | 一种cmr图像分割分类系统 | |
| JP7058373B2 (ja) | 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体 | |
| CN109543526B (zh) | 基于深度差异性特征的真假面瘫识别系统 | |
| CN109241842B (zh) | 疲劳驾驶检测方法、装置、计算机设备及存储介质 | |
| CN111754396B (zh) | 脸部图像处理方法、装置、计算机设备和存储介质 | |
| KR20190105180A (ko) | 합성곱 신경망 기반의 병변 진단 장치 및 방법 | |
| CN113506274B (zh) | 基于视觉显著性差异图的用于人体认知状况的检测系统 | |
| Alvino et al. | Computerized measurement of facial expression of emotions in schizophrenia | |
| CN113869276B (zh) | 基于微表情的谎言识别方法及系统 | |
| CN107242876B (zh) | 一种用于精神状态的计算机视觉方法 | |
| CN115862120B (zh) | 可分离变分自编码器解耦的面部动作单元识别方法及设备 | |
| CN106529377A (zh) | 一种基于图像的年龄估计方法、装置及系统 | |
| Zhang et al. | A survey of wound image analysis using deep learning: Classification, detection, and segmentation | |
| CN114707530A (zh) | 基于多源信号和神经网络的双模态情绪识别方法及系统 | |
| CN117237351B (zh) | 一种超声图像分析方法以及相关装置 | |
| CN112741651B (zh) | 一种内窥镜超声影像的处理方法及系统 | |
| Hosseini et al. | Convolution neural network for pain intensity assessment from facial expression | |
| CN112861881A (zh) | 一种基于改进MobileNet模型的蜂窝肺识别方法 | |
| CN116386845A (zh) | 基于卷积神经网络和面部动态视频的精神分裂症诊断系统 | |
| Tu | An integrated framework for image segmentation and perceptual grouping | |
| CN110765908A (zh) | 基于深度学习的级联式癌细胞检测系统 | |
| CN111222374A (zh) | 测谎数据处理方法、装置、计算机设备和存储介质 | |
| CN115909438A (zh) | 基于深度时空域卷积神经网络的疼痛表情识别系统 | |
| CN115719428A (zh) | 基于分类模型的人脸图像聚类方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |