CN111134693A - 基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端 - Google Patents

基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端 Download PDF

Info

Publication number
CN111134693A
CN111134693A CN201911252948.5A CN201911252948A CN111134693A CN 111134693 A CN111134693 A CN 111134693A CN 201911252948 A CN201911252948 A CN 201911252948A CN 111134693 A CN111134693 A CN 111134693A
Authority
CN
China
Prior art keywords
autism
head
model
extracting
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911252948.5A
Other languages
English (en)
Other versions
CN111134693B (zh
Inventor
翟广涛
方艺
史芳羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201911252948.5A priority Critical patent/CN111134693B/zh
Publication of CN111134693A publication Critical patent/CN111134693A/zh
Application granted granted Critical
Publication of CN111134693B publication Critical patent/CN111134693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/06—Children, e.g. for attention deficit diagnosis

Abstract

本发明提供一种基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端，包括：利用已有的自闭症样例和正常对照样例信息建立正常人和自闭症的视觉注意分布差异模型，提取被测者视觉特征送入该模型，提取所述模型的中间参数作为眼动特征差异值组；利用已有的自闭症样例和正常对照样例信息建立正常人和自闭症的头部运动模式差异模型，提取被测者头部运动特征送入该异模型，提取所述模型的中间参数作为头部运动特征差异值组；将上述眼动特征差异值组和头部运动特征差异值组作为输入通过已训练完成的分类模型，得到被测者的自闭症辅助检测结果。本发明能够在用户完全无伤害的情况下对其是否患有自闭症进行拟神经学的辅助检测。

Description

基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端
技术领域
本发明涉及一种自闭症儿童辅助检测系统，具体地，涉及一种基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端。
背景技术
自闭症，也称孤独症，是一组起病于儿童发育早期，以社会交往障碍、沟通障碍和兴趣范围狭窄及重复刻板行为为主要特征的发育障碍。2017年发布的《中国自闭症教育康复行业发展状况报告Ⅱ》中表示，我国以1％保守估计，13亿人口中，至少有超过1000万的自闭症人群、200万的自闭症儿童，并以每年近20万的速度增长，情形严重，触目惊心。
自闭症的治疗遵循越早越好的原则，越早检测出自闭症并对患者进行干涉就能提升治愈率。但是，现有的自闭症检测依赖于经验丰富的医师，需要投入大量的人力、物力和财力，这对拥有自闭症儿童的家庭和社会医疗资源都是极大的挑战。因此，为了减少对医师的依赖，提倡采用更客观的量化指标来辅助检测自闭症。
已有研究表明，自闭症儿童的视觉注意机制和头部运动模式存在其特异性，可将该特异性作为自闭症辅助检测的两种客观标记物。
可以通过给儿童展示视觉刺激材料(如图片或视频)，通过相应的眼动追踪传感器和头部运动追踪传感器采集他们的注视点在刺激材料上的分布和相应的头部运动信息，分析数据，获得儿童的视觉注意机制和头部运动模式来辅助判断自闭症。
但自闭症儿童很难听从指令持续专注的注视平面显示器上的图片或视频，他们可能更关注显示器之外的其他物体，这将导致其注视点分布超过视觉刺激材料的限定范围，传感器采集到的数据失效。所以，通过普通的平面视觉刺激材料采集到的自闭症儿童注视点信息无法排除显示设备之外的环境干扰。
同时，普通的平面眼动追踪传感器需要校准使用者的视线焦点，范围较大的头部运动会影响校准结果和实际测试过程中的注视点位置的匹配准确率，两种指标相互影响，会降低采集到的注视点数据的质量。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于虚拟现实技术的自闭症儿童辅助检测系统。
根据本发明的一个方面，提供一种基于虚拟现实技术的自闭症儿童辅助检测方法，包括：
利用已有的自闭症样例和正常对照样例信息建立正常人和自闭症的视觉注意分布差异模型，提取被测者视觉特征送入该视觉注意分布差异模型，提取所述视觉注意分布差异模型的中间参数作为眼动特征差异值组；
利用已有的自闭症样例和正常对照样例信息建立正常人和自闭症的头部运动模式差异模型，提取被测者头部运动特征送入该视觉注意分布差异模型，提取所述视觉注意分布差异模型的中间参数作为头部运动特征差异值组；
将上述眼动特征差异值组和头部运动特征差异值组作为输入通过已训练完成的分类模型，得到被测者的自闭症辅助检测结果。
可选地，所述视觉注意分布差异模型，该模型能预测正常人和自闭症两类人群在刺激材料上的视觉注意力分布差异性明显的关键位置和相应的取值分布。
可选地，所述提取被测者视觉特征，具体为：
收集被测者的注视点信息；
基于所述注视点信息，利用深度神经网络建立模型模拟被测者的视觉注意机制，获得对任意视觉刺激材料的视觉特征。
可选地，所述头部运动模式差异模型，能预测正常人和自闭症两类人群在面对特定刺激材料时的头动特征的取值分布。
可选地，所述提取被测者头部运动特征，具体为：
收集被测者的头部动作信息；
利用已有的自闭症样例和正常对照样例信息建立头部动作信息的深度神经网络模型；
基于收集的所述头部动作信息，利用所述深度神经网络模型提取被测者的头部运动特征。
可选地，所述分类模型，该模型是利用眼动特征差异值组和头动特征差异值组作为输入通过已利用现有自闭症和正常人的样例数据训练完成的神经网络分类模型。
根据本发明的第二方面，提供一种基于虚拟现实技术的自闭症儿童辅助检测系统，包括：
眼动特征检测模块，该模块利用已有的自闭症样例和正常对照样例信息建立正常人和自闭症的视觉注意分布差异模型，提取被测者视觉特征送入该视觉注意分布差异模型，提取所述视觉注意分布差异模型的中间参数作为眼动特征差异值组；
头部运动特征检测模块，该模块利用已有的自闭症样例和正常对照样例信息建立正常人和自闭症的头部运动模式差异模型，提取被测者头部运动特征送入该视觉注意分布差异模型，提取所述视觉注意分布差异模型的中间参数作为头部运动特征差异值组；
分类模块，将上述眼动特征差异值组和头部运动特征差异值组作为输入通过已训练完成的分类模型，得到被测者的自闭症辅助检测结果。
根据本发明的第三方面，提供一种基于虚拟现实技术的自闭症儿童辅助检测终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述基于虚拟现实技术的自闭症儿童辅助检测方法。
与现有技术相比，本发明具有如下至少一项有益效果：
自闭症是一种神经发育障碍，于正常人的区别主要在于神经活动，眼动和头动是大脑神经行为的精细反映，能更加准确具体的表征神经行为，因此，本发明上述方法及系统、终端，根据视觉注意模式和头部运动模式两项指标，客观计算出被测者的自闭症检测结果，能够量化特征，准确高效。
本发明上述方法及系统、终端，能够在用户完全无伤害的情况下对其是否患有自闭症进行拟神经学的辅助检测，检测结果理论支撑性强，可信度高。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例的检测方法流程图；
图2为本发明一实施例的检测系统模块结构图；
图3为本发明一实施例的头部运动跟踪子系统的结构框图；
图4为本发明一实施例的头部运动跟踪子系统的结构框图；
图中：1为显示子系统，11为透镜模块，12为显示器模块，2为眼动追踪子系统，3为头部运动跟踪子系统，31为加速计模块，32为陀螺仪模块。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。以下实施例中没有详细说明的部分均可以采用现有技术实现。
如图1所示，为本发明一实施例中的基于虚拟现实技术的自闭症儿童辅助检测方法，该方法包括：
S1,利用已有的自闭症样例和正常对照样例信息建立正常人和自闭症的视觉注意分布差异模型，提取被测者视觉特征送入该视觉注意分布差异模型，提取视觉注意分布差异模型的中间参数作为眼动特征差异值组；
S2，利用已有的自闭症样例和正常对照样例信息建立正常人和自闭症的头部运动模式差异模型，提取被测者头部运动特征送入该视觉注意分布差异模型，提取视觉注意分布差异模型的中间参数作为头部运动特征差异值组；
S3,将上述S1得到的眼动特征差异值组和上述S2得到的头部运动特征差异值组作为输入通过已训练完成的分类模型，得到被测者的自闭症辅助检测结果。
本发明上述实施例根据视觉注意模式和头部运动模式两项指标，客观计算出被测者的自闭症检测结果，能够量化特征，准确高效。结果可以提供给医生，医生根据上述结果结合并结合其他因素来诊断自闭症。
上述实施例中，视觉注意分布差异模型能预测正常人和自闭症两类人群在刺激材料上的视觉注意力分布差异性明显的关键位置和相应的取值分布。关键位置就是ROI(region of interests)，两类人群对同一张图片的关注点会有差异，差异大的点就是关键位置。模型参数是模型内部的配置变量，可以用数据估计模型参数的值。深度学习就是在学习中间参数。模型训练好，就确定了模型中间参数，将刺激材料(图片)输入训练好的模型，中间参数参与计算，最后输出关键位置和取值分布。
在一优选实施例中，提取被测者视觉特征可以通过以下步骤实现：收集被测者的注视点信息；基于注视点信息，利用深度神经网络建立模型模拟被测者的视觉注意机制，获得对任意视觉刺激材料的视觉特征。进一步的，注视点信息可以包括：被测者在立体影像上的注视位置信息和注视时长信息。上述实施例中，头部运动模式差异模型能预测正常人和自闭症两类人群在面对特定刺激材料(相应的图片)时的头动特征的取值分布。此部分的中间参数与上述S2中的中间参数原理类似。
在一优选实施例中，提取被测者头部运动特征可以通过以下步骤实现：收集被测者的头部动作信息；利用已有的自闭症样例和正常对照样例信息建立头部动作信息的深度神经网络模型；基于收集的头部动作信息，利用深度神经网络模型提取被测者的头部运动特征。进一步的，头部动作信息包括：头部最大偏转角度，包括0到360度的横向和0到180度的纵向；头部朝向的整体分散程度，代表能有效地接受各个方向的信息的能力，用头部朝向热度矩阵表征；头部位置的空间分布和头部位移速度在不同方向上的分布。
在一优选实施例中，分类模型是利用眼动特征差异值组和头动特征差异值组作为输入通过已利用现有自闭症和正常人的样例数据训练完成的神经网络分类模型。神经网络分类模型采用现有技术实现，通过分类模型得到检测结果。进一步的，检测结果输出显示。该模块可以但不限于运行在个人计算机或服务器上。
如图2所示，为本发明另一实施例中的基于虚拟现实技术的自闭症儿童辅助检测系统，包括：
眼动特征检测模块，该模块利用已有的自闭症样例和正常对照样例信息建立正常人和自闭症的视觉注意分布差异模型，提取被测者视觉特征送入该视觉注意分布差异模型，提取所述视觉注意分布差异模型的中间参数作为眼动特征差异值组；
头部运动特征检测模块，该模块利用已有的自闭症样例和正常对照样例信息建立正常人和自闭症的头部运动模式差异模型，提取被测者头部运动特征送入该视觉注意分布差异模型，提取所述视觉注意分布差异模型的中间参数作为头部运动特征差异值组；
分类模块，将上述眼动特征差异值组和头部运动特征差异值组作为输入通过已训练完成的分类模型，得到被测者的自闭症辅助检测结果。
上述基于虚拟现实技术的自闭症儿童辅助检测系统实施例中各模块具体实现技术可以采用上述对应方法步骤中的技术，在此不再赘述。
参照图3所示，在本发明部分优先实施例中，上述眼动特征检测模块、头部运动特征检测模块可以采用显示子系统1、眼动追踪子系统2、头部运动追踪子系统3来实现，其中，显示子系统1、眼动追踪子系统2和头部运动追踪子系统3均内置于头戴式显示器支架中，显示子系统1用于向被测者显示无视野边界的立体影像，眼动追踪子系统2用于检测被测者的注视点信息；头部运动跟踪子系统，用于检测被测者头部动作信息。
进一步的，在一优选实施例中，显示子系统1包括透镜模块11、显示器模块12，显示器模块12为具有足够像素密度和刷新速率的内嵌式双屏显示器，用于向被测者显示具有景深的立体影像；透镜模块11，透镜模块11位于被测者的眼睛和显示器模块12间，用于将显示器模块12投射出的光线放大映射到被测者的眼中，使显示器模块12显示的立体影像占据被测者的全部视野且具有实现对焦功能的作用。在具体实施例中，显示器模块12的像素密度需大于400ppi，刷新速率至少有60Hz，显示器模块12内嵌在头戴式显示器支架的前端，其自带的双屏显示器正对被测者双眼。众所周知，人眼在看一片景物时，由于两只眼睛所处的位置和角度不同，所看到的影像也不尽相同，人之所以不会同时看到两片景物，是因为大脑会将双眼各自传达过来的视觉信号分析，并将不同角度的景像合为一体，就会使人对眼前的景象具有景深的认识，会感到它们更为立体，人也就能判断出视野中各个物体的远近，推算它们距离自己的距离。反之，如果遮住一只眼，大脑只接受一只眼的视觉信号，由于没有另一个角度的景物图像加以合成，人会觉得眼前的景物趋于平面化。而现有的自闭症检测方法就存在这个弊端，被测者前的显示器只有一个，双眼看到的景象都是相同的，会影响模拟景象的真实感，进而使被测者难以沉浸其中，其反馈行为不够真实，影响最终自闭症的判断结果。而本发明的实施例中显示器模块12分别针对被测者双眼演示同一景物不同角度的影像，模拟人眼在现实中的状态，通过被测者脑部分析合成，使被测者感受到影像的景深效果，被测者的感受及反馈行为会更加真实，因此，对被测者是否具有自闭症的判断结果更加准确。在本实施例中，显示器模块12接收外部计算机传来的图像信号并对被测者进行显示，在其他实施例中，显示器模块12也可以采用手机屏幕，将手机屏幕一分为二作为双屏显示器，直接播放手机中储存好的测试图像；而透镜模块11可将显示器模块12发出的光线放大后投射至人眼上，进而可以消除显示器模块12的双屏显示器在人眼中的边框，使得被测者更能沉浸在显示子系统1营造的环境中，其对不同影像作出的反馈行为更加真实，增加了自闭症判断结果的准确性。进一步的，眼动追踪子系统2为一种能够跟踪测量眼球位置及眼球运动信息的一种设备，可以内嵌于头戴式显示器支架中。在一实施例中，眼动追踪子系统2可以通过近红外生成瞳孔所见的图像，再通过相机捕捉生成的图像。在其他实施例中，眼动追踪子系统2也可以通过辨认眼球的特征，如瞳孔外形、异色边缘虹膜、虹膜边界、近距指向光源的角膜反射来实现眼动跟踪。本发明实施例中的眼动追踪子系统2由于内嵌在头戴式显示器支架中，其始终和被测者头部同步运动，解决了现有的眼动追踪装置位置固定，一旦被测者头部大幅度运动，则眼动追踪装置在被测者眼部的焦点会失焦的问题。通过这样的硬件设置，眼动追踪子系统2和头部运动追踪子系统3能够得到视觉注意分布的自闭症样例和正常对照样例，用于建立正常人和自闭症的视觉注意分布差异模型，同时可以得到头部动作信息(包括：头部最大偏转角度，包括0到360度的横向和0到180度的纵向；头部朝向的整体分散程度，代表能有效地接受各个方向的信息的能力，用头部朝向热度矩阵表征；头部位置的空间分布和头部位移速度在不同方向上的分布)，为眼动特征检测模块、头部运动特征检测模块得到对应的眼动特征差异值组、头部运动特征差异值组提供信息获取的途径。
在其他实施例中，透镜模块11在头戴式显示器支架中左右各设有一片，每片透镜模块11均设有圆形棱镜阵列。具体的，圆形棱镜阵列能够使透镜模块11具有与大块曲面透镜相同的效果，是来自显示器模块12的光线散射在人眼中，使双屏显示器呈现的视觉刺激材料占据被测者整个视野。圆形棱镜阵列的位置可以根据用户的实际情况(如近视、远视、眼距的宽窄等)做微调。
参照图4所示，在其他实施例中，头部运动跟踪子系统3还包括：加速计模块31和陀螺仪模块32。加速计模块31用于重力监测，从而判断头戴式显示器支架是否正立；加速计模块31，还用于检测被测者头部在各轴上的加速度；陀螺仪模块32，陀螺仪模块32用于跟踪被测者头部的旋转角速度及角度变化。具体的，在一实施例中，加速计模块31利用传感装置的惯性力测量其在x、y、z三轴上的加速方向和速度大小。在其他实施例中，x、y二轴加速度测量传感器也可以使用，其中x轴加速度为0g，y轴加速度为1g。陀螺仪模块32跟踪头戴式显示器支架沿着x、y、z三轴的旋转角速度或角度变化，来提供更精确的物体旋转信息。该模块可以通过测量三维坐标系内陀螺转子的垂直轴与设备之间的夹角计算角速度，通过夹角和角速度来判别被测者头部在三维空间的运动状态。
头部运动特征检测模块，输入信息来源于加速计模块31和陀螺仪模块32测量得到的头戴式显示器在多轴上的加速度方向、加速度大小以及沿着x、y、z三轴的旋转角速度及角度变化。在其他实施例中，输入信息还可以来源于位于头戴式显示器支架上的头戴式显示器的位移和旋转角度。利用已有的自闭症样例和正常对照样例信息建立正常人和自闭症的头部运动模式差异模型，最终得到头部运动特征差异值组。
本发明上述实施例，采用头戴式显示器来实现立体成像、显示，一方面通过消除显示边框提高了虚拟现实环境的真实感和沉浸性，有利于减轻外界环境对注视点信息有效性的影响，提高了自闭症儿童配合度；另一方面也使得虚拟现实环境中的视觉刺激材料的比平面刺激材料更立体、更具有景深，能模拟人所接触到的实际场景，有助于提升采集数据有效性。另外，由于眼动追踪子系统内嵌于头戴式显示器支架内部，眼动追踪子系统与被测者眼睛无相对位移，因此该眼动追踪子系统可以实现头部运动同步跟随，不会由于头部大幅动作而对被测者双眼失焦；内嵌于头戴式显示器支架的头部运动跟踪子系统，能够无相对位移的跟随头部运动，提高了头部运动检测的准确性。
在本发明另一实施例中，提供一种基于虚拟现实技术的自闭症儿童辅助检测终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述基于虚拟现实技术的自闭症儿童辅助检测方法。
本发明上述方法及系统、终端，能够在用户完全无伤害的情况下对其是否患有自闭症进行拟神经学的辅助检测，检测结果理论支撑性强，可信度高。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于虚拟现实技术的自闭症儿童辅助检测方法，其特征在于：包括：
利用已有的自闭症样例和正常对照样例信息建立正常人和自闭症的视觉注意分布差异模型，提取被测者视觉特征送入该视觉注意分布差异模型，提取所述视觉注意分布差异模型的中间参数作为眼动特征差异值组；
利用已有的自闭症样例和正常对照样例信息建立正常人和自闭症的头部运动模式差异模型，提取被测者头部运动特征送入该视觉注意分布差异模型，提取所述视觉注意分布差异模型的中间参数作为头部运动特征差异值组；
将上述眼动特征差异值组和头部运动特征差异值组作为输入通过已训练完成的分类模型，得到被测者的自闭症辅助检测结果。
2.根据权利要求1所述的基于虚拟现实技术的自闭症儿童辅助检测方法，其特征在于：所述视觉注意分布差异模型，该模型能预测正常人和自闭症两类人群在刺激材料上的视觉注意力分布差异性明显的关键位置和相应的取值分布。
3.根据权利要求1所述的基于虚拟现实技术的自闭症儿童辅助检测方法，其特征在于：所述提取被测者视觉特征，具体为：
收集被测者的注视点信息；
基于所述注视点信息，利用深度神经网络建立模型模拟被测者的视觉注意机制，获得对任意视觉刺激材料的视觉特征。
4.根据权利要求3所述的基于虚拟现实技术的自闭症儿童辅助检测方法，其特征在于，所述注视点信息包括：被测者在立体影像上的注视位置信息和注视时长信息。
5.根据权利要求1所述的基于虚拟现实技术的自闭症儿童辅助检测方法，其特征在于：所述头部运动模式差异模型，能预测正常人和自闭症两类人群在面对特定刺激材料时的头动特征的取值分布。
6.根据权利要求1所述的基于虚拟现实技术的自闭症儿童辅助检测方法，其特征在于：所述提取被测者头部运动特征，具体为：
收集被测者的头部动作信息；
利用已有的自闭症样例和正常对照样例信息建立头部动作信息的深度神经网络模型；
基于收集的所述头部动作信息，利用所述深度神经网络模型提取被测者的头部运动特征。
7.根据权利要求6所述的基于虚拟现实技术的自闭症儿童辅助检测方法，其特征在于：所述头部动作信息，包括：
头部最大偏转角度，包括0到360度的横向和0到180度的纵向；
头部朝向的整体分散程度，代表能有效地接受各个方向的信息的能力，用头部朝向热度矩阵表征；
头部位置的空间分布和头部位移速度在不同方向上的分布。
8.根据权利要求1所述的基于虚拟现实技术的自闭症儿童辅助检测方法，其特征在于：所述分类模型，该模型是利用眼动特征差异值组和头动特征差异值组作为输入通过已利用现有自闭症和正常人的样例数据训练完成的神经网络分类模型。
9.一种基于虚拟现实技术的自闭症儿童辅助检测系统，其特征在于：包括：
眼动特征检测模块，该模块利用已有的自闭症样例和正常对照样例信息建立正常人和自闭症的视觉注意分布差异模型，提取被测者视觉特征送入该视觉注意分布差异模型，提取所述视觉注意分布差异模型的中间参数作为眼动特征差异值组；
头部运动特征检测模块，该模块利用已有的自闭症样例和正常对照样例信息建立正常人和自闭症的头部运动模式差异模型，提取被测者头部运动特征送入该视觉注意分布差异模型，提取所述视觉注意分布差异模型的中间参数作为头部运动特征差异值组；
分类模块，将上述眼动特征差异值组和头部运动特征差异值组作为输入通过已训练完成的分类模型，得到被测者的自闭症辅助检测结果。
10.一种基于虚拟现实技术的自闭症儿童辅助检测终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-8任一所述的方法。
CN201911252948.5A 2019-12-09 2019-12-09 基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端 Active CN111134693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911252948.5A CN111134693B (zh) 2019-12-09 2019-12-09 基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911252948.5A CN111134693B (zh) 2019-12-09 2019-12-09 基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端

Publications (2)

Publication Number Publication Date
CN111134693A true CN111134693A (zh) 2020-05-12
CN111134693B CN111134693B (zh) 2021-08-31

Family

ID=70517857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911252948.5A Active CN111134693B (zh) 2019-12-09 2019-12-09 基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端

Country Status (1)

Country Link
CN (1) CN111134693B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469053A (zh) * 2021-07-01 2021-10-01 中科人工智能创新技术研究院(青岛)有限公司 眼动轨迹鉴别方法及系统
CN113506274A (zh) * 2021-07-15 2021-10-15 中科人工智能创新技术研究院(青岛)有限公司 基于视觉显著性差异图的用于人体认知状况的检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354349A (zh) * 2011-10-26 2012-02-15 华中师范大学 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统
US20170135577A1 (en) * 2014-04-25 2017-05-18 Texas State University Health Assessment via Eye Movement Biometrics
CN109620185A (zh) * 2019-01-31 2019-04-16 山东大学 基于多模态信息的自闭症辅助诊断系统、设备及介质
CN109620259A (zh) * 2018-12-04 2019-04-16 北京大学 基于眼动技术与机器学习对孤独症儿童自动识别的系统
CN109876264A (zh) * 2019-01-30 2019-06-14 上海市精神卫生中心（上海市心理咨询培训中心） 一种神经发育障碍患者感统辅助训练方法及系统
CN110537895A (zh) * 2019-09-06 2019-12-06 杨容 一种基于虚拟现实技术的视网膜检测系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354349A (zh) * 2011-10-26 2012-02-15 华中师范大学 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统
US20170135577A1 (en) * 2014-04-25 2017-05-18 Texas State University Health Assessment via Eye Movement Biometrics
CN109620259A (zh) * 2018-12-04 2019-04-16 北京大学 基于眼动技术与机器学习对孤独症儿童自动识别的系统
CN109876264A (zh) * 2019-01-30 2019-06-14 上海市精神卫生中心（上海市心理咨询培训中心） 一种神经发育障碍患者感统辅助训练方法及系统
CN109620185A (zh) * 2019-01-31 2019-04-16 山东大学 基于多模态信息的自闭症辅助诊断系统、设备及介质
CN110537895A (zh) * 2019-09-06 2019-12-06 杨容 一种基于虚拟现实技术的视网膜检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MING JIANG等: "Learning visual attention to identify people with autism spectrum disorder", 《PROCEEDING OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
WENBO LIU等: "Identifying Children with Autism Spectrum Based on Their Face Processing Abnormality：A Machine Learning Framework", 《AUTISM RESEARCH》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469053A (zh) * 2021-07-01 2021-10-01 中科人工智能创新技术研究院(青岛)有限公司 眼动轨迹鉴别方法及系统
CN113469053B (zh) * 2021-07-01 2024-04-05 中科人工智能创新技术研究院(青岛)有限公司 眼动轨迹鉴别方法及系统
CN113506274A (zh) * 2021-07-15 2021-10-15 中科人工智能创新技术研究院(青岛)有限公司 基于视觉显著性差异图的用于人体认知状况的检测系统
CN113506274B (zh) * 2021-07-15 2024-03-08 中科人工智能创新技术研究院(青岛)有限公司 基于视觉显著性差异图的用于人体认知状况的检测系统

Also Published As

Publication number Publication date
CN111134693B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN107929007B (zh) 一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法
CN107224261B (zh) 利用虚拟现实的视觉障碍检测系统
US8371693B2 (en) Autism diagnosis support apparatus
Durgin et al. Palm boards are not action measures: An alternative to the two-systems theory of geographical slant perception
CA2094650C (en) Apparatus for analyzing depth perception
US20130171596A1 (en) Augmented reality neurological evaluation method
US20150050628A1 (en) Autism diagnosis support method and system, and autism diagnosis support device
CN102496005A (zh) 基于眼球特征的审讯辅助研判分析系统
US20170263017A1 (en) System and method for tracking gaze position
CN109712710B (zh) 一种基于三维眼动特征的婴幼儿发育障碍智能评估方法
CN107592798A (zh) 用于确定用户视力的方法和设备
Kasprowski et al. Guidelines for the eye tracker calibration using points of regard
Wang et al. Screening early children with autism spectrum disorder via response-to-name protocol
WO2013175701A1 (ja) 映像解析装置、映像解析方法、および注視点表示システム
CN110537895A (zh) 一种基于虚拟现实技术的视网膜检测系统
CN111134693B (zh) 基于虚拟现实技术的自闭症儿童辅助检测方法、系统及终端
CN109063545A (zh) 一种疲劳驾驶检测方法及装置
CN104146684A (zh) 一种眼罩式眩晕检测仪
WO2019210087A1 (en) Methods, systems, and computer readable media for testing visual function using virtual mobility tests
US11317861B2 (en) Vestibular-ocular reflex test and training system
CN110881981A (zh) 一种基于虚拟现实技术的阿尔兹海默症辅助检测系统
Liu et al. Contact-free cognitive load recognition based on eye movement
CN114931353A (zh) 一种便捷的快速对比敏感度检测系统
CN114190879A (zh) 基于虚拟现实技术的弱视儿童视功能检测系统
CN111627526B (zh) 用于儿童adhd筛查评估系统的眼动注意力特征向量确定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant