CN111317448A - 一种分析视觉空间认知的方法及系统 - Google Patents
一种分析视觉空间认知的方法及系统 Download PDFInfo
- Publication number
- CN111317448A CN111317448A CN202010137774.4A CN202010137774A CN111317448A CN 111317448 A CN111317448 A CN 111317448A CN 202010137774 A CN202010137774 A CN 202010137774A CN 111317448 A CN111317448 A CN 111317448A
- Authority
- CN
- China
- Prior art keywords
- eye movement
- user
- scene
- module
- analyzing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000019771 cognition Effects 0.000 title claims abstract description 36
- 230000004424 eye movement Effects 0.000 claims abstract description 190
- 230000002452 interceptive effect Effects 0.000 claims abstract description 38
- 230000001149 cognitive effect Effects 0.000 claims abstract description 29
- 238000012546 transfer Methods 0.000 claims abstract description 13
- 238000010801 machine learning Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 11
- 238000007637 random forest analysis Methods 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000006399 behavior Effects 0.000 claims description 4
- 208000003443 Unconsciousness Diseases 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 3
- 238000010219 correlation analysis Methods 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 2
- 210000001747 pupil Anatomy 0.000 claims description 2
- 230000000638 stimulation Effects 0.000 claims description 2
- 238000007519 figuring Methods 0.000 claims 1
- 208000024827 Alzheimer disease Diseases 0.000 description 21
- 208000027060 subjective cognitive decline Diseases 0.000 description 10
- 208000010877 cognitive disease Diseases 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 208000027061 mild cognitive impairment Diseases 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 206010012289 Dementia Diseases 0.000 description 2
- 206010039966 Senile dementia Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006999 cognitive decline Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000037259 Amyloid Plaque Diseases 0.000 description 1
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003109 amnesic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000036992 cognitive tasks Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 210000001353 entorhinal cortex Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 230000003557 neuropsychological effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Neurology (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Psychology (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Neurosurgery (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分析视觉空间认知的方法，包括如下步骤：步骤1，部署一套交互场景空间；步骤2，配置眼动追踪模块，步骤3，提取出注视点转移路径中的眼动特征，对不同分类的用户的眼动特征进行分类学习，获得相应的视觉空间认知模式分类；步骤4，分析新用户的眼动特征，根据步骤3中的视觉空间认知模式分类进行归类，并对指定的视觉空间认知模式进行归类评价。本发明实现静默化的数据采集方式，更为简单便捷，没有记忆或逻辑任务，通过用户的自然眼动状态判定其与指定视觉空间认知模式的关联性，有更高的用户友好性与智能性，部署方便、复用性更高，分析效率更高。
Description
技术领域
本发明涉及人工智能应用领域，特别是涉及一种分析视觉空间认知的方法及系统。
背景技术
近期，一些前沿研究发现，空间导航能力和人脑在视觉认知中规划眼动路径对整个视空间进行扫视完成视觉认知的过程，在人脑中共用一套空间导航系统，如位于内嗅皮层的网格细胞、位置细胞等；因而，通过视觉认知过程中的眼动行为探究人脑空间导航系统的功能和情况，成为一个新的研究热点。
以阿尔茨海默氏病(Alzheimer’s disease,AD)为例，又被称为老年痴呆症，是一种慢性精神功能衰退性疾病，也是当今社会常见的潜伏病症；随着年龄的增长，认知能力不可避免的衰退，会变得更加健忘，并且更难做出决定或完成认知任务；AD患者无法正确表达自己的意愿，也会忘掉自己的亲属，失去基本的自理能力，最终要完全依靠医疗护理人员；很多人在确诊后的几年便离世。
2015年，全世界约有3000万人患有AD疾病；由于所需花费很高，这种病症为全世界的医护系统带来很大的负担；虽然目前还没有一种先进的方法可以延缓这种病症的恶化，但临床显示，如果在早期被诊断出来，患者病情可被延缓甚至控制住；因此，找到一种可靠的检测方法来诊断潜在患者对于患者的病情控制是至关重要的；医生们非常希望能提早找到那些可能会患上AD的患者，因为这样就可使他们获得最好的治疗效果。
AD中，空间导航障碍是常见的临床症状之一，表现为方向感丧失和在熟悉环境中迷路；甚至与年轻人比较，健康老年人的空间导航能力也出现减低；迷路和走失给患者本人、家庭带来巨大痛苦，也作为鉴别AD和MCI的一个可用的客观认知能力损伤，越来越受到神经科学领域的高度重视。
另一方面，主观认知下降(subject cognitive decline，SCD)定义为患者主诉认知水平较之前下降，但是客观检查却没有达到轻度认知障碍(Mild cognitiveimpairment,MCI)或者痴呆的程度，是近期由国际前沿科学开始关注的AD超早期阶段；AD痴呆目前还不能彻底治愈，聚焦疾病早期阶段，可作为一个新的治疗靶点；以往研究以MCI人群为主，随着SCD概念的提出使AD临床研究窗口进一步前移，为超早期诊治AD打开了有效的时间窗；因此，探寻临床可行、客观的神经生物标志物成为预测SCD向AD转化的重要研究方向。
当前对SCD中AD转化风险的一种检测手段是通过研究脑部的PET图来实现，但其成本高且有辐射性；具体方法是通过检测脑部淀粉样蛋白斑的异常生长和脑部使用葡萄糖的新陈代谢速率；某些特定形式的PET扫描可以显示出这两种检测结果的异常迹象，并作为诊断具有SCD的患者是否会发展成AD患者的依据；另外，神经心理学检查匮乏也是诊断的一大瓶颈，虽有学者设计了针对SCD的量表，但临床实用性有待更多实验证实；多模态MRI在AD临床研究中也有较广泛的应用，但当前还缺乏基于MRI对SCD的诊断研究。
因此，需要一种分析视觉空间认知的方法及系统，用以构建用户眼动数据与用户视觉空间认知模式的映射关系，对视觉空间认知模式进行分类，准确判定用户所属的视觉空间认知模式，并能进行针对特定视觉空间认知模式的对比分析。
本发明中用到的缩写的定义：
SCD(Subjective Cognitive Decline)：主观认知下降；
VR(Virtual Reality)：虚拟现实；
AD(Alzheimer Disease)：阿尔茨海默病，又称老年痴呆症；
PET(Positron Emission Computed Tomography)：正电子扫描图。
发明内容
本发明所要解决的技术问题是克服现有技术的不足，提供一种分析视觉空间认知的方法及系统。
为解决上述技术问题，本发明提出的技术方案是：一种分析视觉空间认知的方法，包括如下步骤：
步骤1，设有一套交互场景空间，用以引导用户进行视觉空间定位；
步骤2，配置眼动追踪模块，当用户在交互场景空间内浏览时，通过眼动追踪模块获取并记录人眼在场景中的注视点位置及时间信息，生成注意点转移路径，所述注意点转移路径用于后期分析；
步骤3，提取出注视点转移路径中的眼动特征，所述眼动特征包括场景号、眼动开始时间、眼动结束时间、眼动幅度、眼动方向、眼动平均速度、眼动时长、眼动峰值速度等信息；对不同分类的用户的眼动特征进行分类学习，获得相应的视觉空间认知模式分类；
步骤4，分析新用户的眼动特征，根据步骤3中的视觉空间认知模式分类进行归类，并对指定的视觉空间认知模式进行归类评价。
所述步骤2中，所述注视点位置是附有时间记录的坐标，同时包含每个注视点所在场景的序号。
所述步骤2中，所述注视点位置是时间记录精确度为毫秒的三维坐标，所述注视点位置及时间信息包括用户名、三维坐标的X值、Y值、Z值、图片编号、注视时间等。
所述步骤3中，所述眼动特征的计算时间间隔为0.1秒，注视点转移路径的时间窗口取1秒。
所述步骤3中，所述眼动特征中所包含的公式有：
眼动幅度：
眼动方向：Di＝(xi+1-xi,yi+1-yi,zi+1-zi)；
眼动平均速度：Vi＝A/(ti+1-ti)；
眼动峰值速度：MV＝max(Vi,Vi+1,…,Vi+9)；
其中ti+1-ti＝0.1秒，每个用户的眼动样本采集时长为36分钟。
所述步骤3中，对不同分类的用户的眼动特征使用关联分析进行检查，剔除掉离群点特征后，再使用机器学习的分类方法获得相应的视觉空间认知模式分类。
所述步骤3中，机器学习的分类方法使用的是基于信息熵的随机森林方法，采用搜索最佳参数的方式进行训练，其中，信息熵定义为：
通过统计不同分类的用户的样本数据得到不同眼动特征的概率，计算出相应眼动特征的信息熵Ent，寻找出信息熵最小的一颗树作为最终的分类模型，对应的分类准确率即为随机森林的最佳得分。
所述步骤4中对指定的视觉空间认知模式进行归类评价，是指将用户的眼动特征的数值，结合指定的视觉空间认知模式分类中相关性最高的50个眼动特征对应的数值，使用贝叶斯公式计算出用户在未来加入该指定的视觉空间认知模式分类的可能性。
所述步骤1中，所述交互场景空间部署在虚拟现实设备中，为没有视觉干扰的虚拟现实场景，用以引导用户进行无意识的视觉空间定位，所述虚拟现实场景是60个用序号(PicNum)标记并随机切换的场景单元，所述虚拟现实设备包括：VR眼镜和VR展示平台，所述没有视觉干扰是指遮蔽外界光线、无其它干扰视觉的光线的刺激，所述步骤2中，眼动追踪模块也配置在该虚拟现实设备中，所述眼动追踪模块追踪范围可覆盖人眼转动的极限，定位精度误差小于0.5°，追踪速度为120～380Hz，当用户在交互场景空间内浏览时，首先记录下当前场景单元的序号，然后通过眼动追踪模块获取并记录人眼在各个场景中的注视点位置及时间信息，通过瞳孔定位得到所述注视点位置、并且注视点位置附着具有时间记录精确度为毫秒的三维坐标，三维坐标以虚拟空间中用户所在位置为原点，所述注视点位置及时间信息包括用户名、三维坐标的(X,Y,Z)值、注视时间(GazeTime)等。
一种分析视觉空间认知的系统，其特征在于，包括相连的交互场景空间模块和视觉空间认知模式分析模块，所述交互场景空间模块，用于展示用户在虚拟现实设备中使用的场景数据，并跟踪和记录眼动数据存入眼动数据库中，其中包括用户交互模块和交互内容数据库；
用户交互模块用于为用户提供虚拟现实设备与眼动追踪模块；
虚拟现实设备用于为用户提供场景搭建与展示平台；
眼动追踪模块用于对用户眼动行为进行读取，获得可分析的眼动数据；
交互内容数据库由场景数据库与眼动数据库构成；
场景数据库用于为虚拟现实设备提供用于交互的场景数据；
眼动数据库用于记录用户眼动数据以及眼动路径生成模块和路径特征抽取模块的分析结果；
视觉空间认知分析模块，用于分析用户眼动数据和视觉空间认知模式，其中包括眼动分析模块和模式分析模块；
眼动分析模块，用于根据眼动数据库中的眼动数据，分析得到眼动路径及路径特征，包含眼动路径生成模块和路径特征抽取模块；
眼动路径生成模块，用于根据眼动数据信息，通过几何方法计算得到眼动路径；
路径特征抽取模块，用于根据眼动数据信息，分析得到眼动幅度、眼动方向、眼动平均速度、眼动峰值速度等特征信息；
模式分析模块，用于根据用户参数库信息与眼动路径及路径特征信息，分析得到用户的视觉空间认知模式分类，包含用户参数库与机器学习分析模块；
用户参数库，用于通过事前按性别、年龄段等设定，记录用户参数的数据库；
机器学习分析模块，用于使用基于信息熵的随机森林对眼动数据及用户参数库进行分析，生成最终的用户视觉空间认知模式。
本发明所达到的有益效果:
(1)本发明通过虚拟现实设备进行数据采集，实现了静默化的数据采集方式，更为简单便捷，减少了人力成本，提升了体验；
(2)本发明使用的虚拟现实设备成本低廉，且不占用大量空间，部署方便、复用性更高；
(3)用户在虚拟现实设备中的交互内容更简单自然，没有记忆或逻辑任务，通过用户的自然眼动状态判定其与指定视觉空间认知模式的关联性，有更高的用户友好性与智能性；
(4)数据采集设备与智能推断系统部署在同一台机器上，可进行实时的计算，分析效率更高。
附图说明
图1为本发明的方法流程图；
图2为本发明的结构简图；
图3为本发明的示例性实施例中的系统结构示意图；
图4为本发明的示例性实施例中的方法流程图；
图5为本发明的示例性实施例的效果图。
具体实施方式
下面结合附图和示例性实施例对本发明作进一步的说明：
如图1所示，一种分析视觉空间认知的方法，其特征在于，包括如下步骤：
步骤1，在虚拟现实设备中部署一套虚拟的交互场景空间，所述交互场景空间展示没有视觉干扰的自然场景，用以引导用户进行无意识的视觉空间定位；
步骤2，所述虚拟现实设备中配置眼动追踪模块，该模块追踪范围可覆盖人眼转动的极限，定位精度误差小于0.5°，追踪速度120～380Hz)，每次检查使用60个用序号(PicNum)标记的场景进行随机切换，当用户在交互场景空间内浏览时，首先记录下当前场景的序号，然后通过眼动追踪模块获取并记录人眼在各个场景中的注视点位置及时间信息，通过瞳孔定位得到所述注视点位置、并且注视点位置附着具有时间记录精确度为毫秒的三维坐标；三维坐标以虚拟空间中用户所在位置为原点，所述注视点位置及时间信息包括用户名、三维坐标的(X,Y,Z)值、注视时间(GazeTime)等，记录的信息格式示例如下：
生成注意点转移路径，所述注意点转移路径用于后期分析；
步骤3，提取出注视点转移路径中的眼动特征，所述眼动特征包括场景号、眼动开始时间、眼动结束时间、眼动幅度、眼动方向、眼动平均速度、眼动时长、眼动峰值速度等信息，所述眼动特征的计算时间间隔为0.1秒，注视点转移路径的时间窗口取1秒；所述眼动特征中所包含的公式有：
眼动幅度：
眼动方向：Di＝(xi+1-xi,yi+1-yi,zi+1-zi)；
眼动平均速度：Vi＝A/(ti+1-ti)；
眼动峰值速度：MV＝max(Vi,Vi+1,…,Vi+9)；
其中ti+1-ti＝0.1秒，每个用户的眼动样本采集时长为36分钟；
对不同分类的用户的眼动特征使用关联分析进行检查，剔除掉离群点特征后，再使用机器学习的分类方法获得相应的视觉空间认知模式分类，视觉空间认知模式分类采用机器学习的分类方法，使用的是基于信息熵的随机森林，采用搜索最佳参数的方式进行训练，其中，信息熵定义为：
通过统计不同分类的用户的样本数据得到不同眼动特征的概率，计算出相应眼动特征的信息熵Ent，寻找出信息熵最小的一颗树作为最终的分类模型，对应的分类准确率即为随机森林的最佳得分
步骤4，分析新用户的眼动特征，根据步骤3中的视觉空间认知模式分类进行归类，并对指定的视觉空间认知模式进行归类评价，所述对指定的视觉空间认知模式进行归类评价，是指将用户的眼动特征的数值，结合指定的视觉空间认知模式分类中相关性最高的50个眼动特征对应的数值，使用贝叶斯公式计算出用户在未来加入该指定的视觉空间认知模式分类的可能性。
如图2所示的一种分析视觉空间认知的系统，包括相连的交互场景空间模块21和视觉空间认知分析模块22；
所述交互场景空间模块21，用于展示用户在虚拟现实设备中使用的场景数据，并跟踪和记录眼动数据存入眼动数据库中，其中包括用户交互模块211和交互内容数据库212；
用户交互模块211用于为用户提供虚拟现实设备2111与眼动追踪模块2112；
虚拟现实设备2111用于为用户提供场景搭建与展示平台；
眼动追踪模块2112用于对用户眼动行为进行读取，获得可分析的眼动数据；
交互内容数据库212由场景数据库2121与眼动数据库2122构成；
场景数据库2121用于为虚拟现实设备提供用于交互的场景数据；
眼动数据库2122用于记录用户眼动数据以及眼动路径生成模块和路径特征抽取模块的分析结果；
视觉空间认知分析模块22，用于分析用户眼动数据和视觉空间认知模式，其中包括眼动分析模块221和模式分析模块222；
眼动分析模块221，用于根据眼动数据库中的眼动数据，分析得到眼动路径及路径特征，包含眼动路径生成模块2211和路径特征抽取模块2212；
眼动路径生成模块2211，用于根据眼动数据信息，通过几何方法计算得到眼动路径；
路径特征抽取模块2212，用于根据眼动数据信息，分析得到眼动幅度、眼动方向、眼动平均速度、眼动峰值速度等特征信息；
模式分析模块222，用于根据用户参数库信息与眼动路径及路径特征信息，分析得到用户的视觉空间认知模式分类，包含用户参数库2221与机器学习分析模块2222；
用户参数库2221，用于通过事前按性别、年龄段等设定，记录用户参数的数据库；
机器学习分析模块2222，用于使用基于信息熵的随机森林对眼动数据及用户参数库进行分析，生成最终的用户视觉空间认知模式；
如图3所示的示例性实施例的系统结构示意图，本发明实施例中使用C#、Unity、眼动追踪设备与机器学习平台实现的系统结构示意图，该系统架构由软件系统、软件平台和硬件平台组成；
软件系统包含用户信息输入模块31、交互场景调用模块32、眼动分析模块221和机器学习分析模块2222；
软件平台包含用户参数库2221、眼动追踪驱动34、VR展示平台35和交互内容数据库212；
硬件平台包含虚拟现实设备2111和眼动追踪模块2112；
用户信息输入模块31，是将用户参数输入到用户参数库2221中，将调用场景组号以及调用方式发送给交互场景调用模块32；
交互场景调用模块32使用Unity与C#制作，根据输入的场景组号与调用方式利用VR展示平台35在虚拟设备2111上展示来自场景数据库2121中的场景数据，并调用眼动追踪驱动34进行眼动追踪；
用户参数库2221记录来自用户信息输入模块32的用户信息；
眼动追踪驱动34接受到交互场景调用模块32的信息后，将从眼动追踪模块2112中读取到的眼动数据记录到眼动数据库2122中，眼动追踪模块2112按200Hz的采样率记录用户在场景中的注意点位置以及时间信息；
眼动分析模块221，读取交互内容数据库212中的眼动与场景数据，使用眼动路径生成模块2211分析出眼动路径，使用路径特征抽取模块2212获得眼动路径的特征信息，并将眼动路径与特征信息写入眼动数据库中；
机器学习分析模块2222，根据用户参数库2221和交互内容数据库212中的数据，使用基于熵的随机森林方法，计算得到用户的视觉空间认知模式，并给出用户在未来患有AD的可能性。
如图4所示的本发明实施例中VR与机器学习方法实现流程图，具体步骤有：
步骤41：使用Unity搭建VR场景，在虚拟场景中构建一个与用户所在物理空间类似的系统测试空间，并在空间中加入用于测试的VR展示场景，剔除周边物体与人对测试的干扰；
步骤42：输入用户信息与场景调用方式，根据设定的调用方式在用户的正前方按照场景循环算法展示用于测试的场景数据；
步骤43：添加眼动追踪数据，记录用户注视点数据，将用户在各个场景中产生的注视点数据使用眼动追踪模块记录到眼动数据库中；
步骤44：通过眼动数据计算模块，对注视点数据进行路径生成与特征抽取，得到对应的眼动路径数据并存入到眼动数据库中；
步骤45：使用机器学习分析模块分析用户参数库和眼动数据库中的眼动数据与路径特征数据，得到其眼动模式并进行分类和给出用户患有AD的风险分值。
如图5所示的本发明实施例的效果图：
采用虚拟现实设备[2111]与眼动追踪模块[2112]用于VR场景[503]展示与记录用户眼动数据，用户在按预设顺序切换的VR场景[503]中观看图片并产生对应的注视点[504]位置与时间信息，通过视觉空间认知分析模块对注视点数据[504]的分析得到对应的眼动模式[505]及其分值评价。
本发明主要用于提供一种分析视觉空间认知的方法及系统，其有益效果是：
(1)本发明通过虚拟现实设备进行数据采集，实现了静默化的数据采集方式，更为简单便捷，减少了人力成本，提升了体验；
(2)本发明使用的虚拟现实设备成本低廉，且不占用大量空间，部署方便、复用性更高；
(3)用户在虚拟现实设备中的交互内容更简单自然，没有记忆或逻辑任务，通过用户的自然眼动状态判定其与指定视觉空间认知模式的关联性，有更高的用户友好性与智能性；
(4)数据采集设备与智能推断系统部署在同一台机器上，可进行实时的计算，分析效率更高。
以上实施例不以任何方式限定本发明，凡是对以上实施例以等效变换方式做出的其它改进与应用，都属于本发明的保护范围。
Claims (10)
1.一种分析视觉空间认知的方法，其特征在于，包括如下步骤：
步骤1，设有一套交互场景空间，用以引导用户进行视觉空间定位；
步骤2，配置眼动追踪模块，当用户在交互场景空间内浏览时，通过眼动追踪模块获取并记录人眼在场景中的注视点位置及时间信息，生成注意点转移路径，所述注意点转移路径用于后期分析；
步骤3，提取出注视点转移路径中的眼动特征，所述眼动特征包括场景号、眼动开始时间、眼动结束时间、眼动幅度、眼动方向、眼动平均速度、眼动时长、眼动峰值速度等信息；对不同分类的用户的眼动特征进行分类学习，获得相应的视觉空间认知模式分类；
步骤4，分析新用户的眼动特征，根据步骤3中的视觉空间认知模式分类进行归类，并对指定的视觉空间认知模式进行归类评价。
2.如权利要求1所述的一种分析视觉空间认知的方法，其特征在于：所述步骤2中，所述注视点位置是附有时间记录的坐标，同时包含每个注视点所在场景的序号。
3.如权利要求2所述的一种分析视觉空间认知的方法，其特征在于：所述步骤2中，所述注视点位置是时间记录精确度为毫秒的三维坐标，所述注视点位置及时间信息包括用户名、三维坐标的X值、Y值、Z值、图片编号、注视时间。
4.如权利要求3所述的一种分析视觉空间认知的方法，其特征在于：所述步骤3中，所述眼动特征的计算时间间隔为0.1秒，注视点转移路径的时间窗口取1秒。
5.如权利要求4所述的一种分析视觉空间认知的方法，其特征在于：所述步骤3中，所述眼动特征参数获得所包含的公式有：
眼动幅度：
眼动方向：Di＝(xi+1-xi,yi+1-yi,zi+1-zi)；
眼动平均速度：Vi＝A/(ti+1-ti)；
眼动峰值速度：MV＝max(Vi,Vi+1,…,Vi+9)；
其中ti+1-ti＝0.1秒，每个用户的眼动样本采集时长为36分钟。
6.如权利要求5所述的一种分析视觉空间认知的方法，其特征在于，所述步骤3中，对不同分类的用户的眼动特征使用关联分析进行检查，剔除掉离群点特征后，再使用机器学习的分类方法获得相应的视觉空间认知模式分类。
7.如权利要求6所述的一种分析视觉空间认知的方法，其特征在于，所述步骤3中，机器学习的分类方法使用的是基于信息熵的随机森林方法，采用搜索最佳参数的方式进行训练，其中，信息熵定义为：
通过统计不同分类的用户的样本数据得到不同眼动特征的概率，计算出相应眼动特征的信息熵Ent，寻找出信息熵最小的一颗树作为最终的分类模型，对应的分类准确率即为随机森林的最佳得分。
8.如权利要求7所述的一种分析视觉空间认知的方法，其特征在于，所述步骤4中对指定的视觉空间认知模式进行归类评价，是指将用户的眼动特征的数值，结合指定的视觉空间认知模式分类中相关性最高的50个眼动特征对应的数值，使用贝叶斯公式计算出用户在未来加入该指定的视觉空间认知模式分类的可能性。
9.如权利要求8所述的一种分析视觉空间认知的方法，其特征在于，所述步骤1中，所述交互场景空间部署在虚拟现实设备中，为没有视觉干扰的虚拟现实场景，用以引导用户进行无意识的视觉空间定位，所述虚拟现实场景是60个用序号(PicNum)标记并随机切换的场景单元，所述虚拟现实设备包括：VR眼镜和VR展示平台，所述没有视觉干扰是指遮蔽外界光线、无其它干扰视觉的光线的刺激，所述步骤2中，眼动追踪模块也配置在该虚拟现实设备中，所述眼动追踪模块追踪范围可覆盖人眼转动的极限，定位精度误差小于0.5°，追踪速度为120～380Hz，当用户在交互场景空间内浏览时，首先记录下当前场景单元的序号，然后通过眼动追踪模块获取并记录人眼在各个场景中的注视点位置及时间信息，通过瞳孔定位得到所述注视点位置、并且注视点位置附着具有时间记录精确度为毫秒的三维坐标，三维坐标以虚拟空间中用户所在位置为原点，所述注视点位置及时间信息包括用户名、三维坐标的(X,Y,Z)值、注视时间(GazeTime)等。
10.一种根据权利要求1-9之一所述的方法运行的分析视觉空间认知的系统，其特征在于，包括相连的交互场景空间模块和视觉空间认知模式分析模块，所述交互场景空间模块，用于展示用户在虚拟现实设备中使用的场景数据，并跟踪和记录眼动数据存入眼动数据库中，其中包括用户交互模块和交互内容数据库；
用户交互模块用于为用户提供虚拟现实设备与眼动追踪模块；
虚拟现实设备用于为用户提供场景搭建与展示平台；
眼动追踪模块用于对用户眼动行为进行读取，获得可分析的眼动数据；
交互内容数据库由场景数据库与眼动数据库构成；
场景数据库用于为虚拟现实设备提供用于交互的场景数据；
眼动数据库用于记录用户眼动数据以及眼动路径生成模块和路径特征抽取模块的分析结果；
视觉空间认知分析模块，用于分析用户眼动数据和视觉空间认知模式，其中包括眼动分析模块和模式分析模块；
眼动分析模块，用于根据眼动数据库中的眼动数据，分析得到眼动路径及路径特征，包含眼动路径生成模块和路径特征抽取模块；
眼动路径生成模块，用于根据眼动数据信息，通过几何方法计算得到眼动路径；
路径特征抽取模块，用于根据眼动数据信息，分析得到眼动幅度、眼动方向、眼动平均速度、眼动峰值速度等特征信息；
模式分析模块，用于根据用户参数库信息与眼动路径及路径特征信息，分析得到用户的视觉空间认知模式分类，包含用户参数库与机器学习分析模块；
用户参数库，用于通过事前按性别、年龄段等设定，记录用户参数的数据库；
机器学习分析模块，用于使用基于信息熵的随机森林对眼动数据及用户参数库进行分析，生成最终的用户视觉空间认知模式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010137774.4A CN111317448B (zh) | 2020-03-03 | 2020-03-03 | 一种分析视觉空间认知的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010137774.4A CN111317448B (zh) | 2020-03-03 | 2020-03-03 | 一种分析视觉空间认知的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111317448A true CN111317448A (zh) | 2020-06-23 |
| CN111317448B CN111317448B (zh) | 2024-01-02 |
Family
ID=71163865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010137774.4A Active CN111317448B (zh) | 2020-03-03 | 2020-03-03 | 一种分析视觉空间认知的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111317448B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112836747A (zh) * | 2021-02-02 | 2021-05-25 | 首都师范大学 | 眼动数据的离群处理方法及装置、计算机设备、存储介质 |
| CN113762907A (zh) * | 2020-10-13 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种审核对象的方法和装置 |
| CN114935392A (zh) * | 2022-05-06 | 2022-08-23 | 南京鼓楼医院 | 一种医用食物含水量测量秤 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107519622A (zh) * | 2017-08-21 | 2017-12-29 | 南通大学 | 基于虚拟现实与眼动追踪的空间认知康复训练系统和方法 |
| CN107783945A (zh) * | 2017-11-13 | 2018-03-09 | 山东师范大学 | 一种基于眼动追踪的搜索结果网页注意力测评方法及装置 |
| CN107818344A (zh) * | 2017-10-31 | 2018-03-20 | 上海壹账通金融科技有限公司 | 用户行为进行分类和预测的方法和系统 |
| CN108062560A (zh) * | 2017-12-04 | 2018-05-22 | 贵州电网有限责任公司电力科学研究院 | 一种基于随机森林的电力用户特征识别分类方法 |
| CN109976530A (zh) * | 2019-04-08 | 2019-07-05 | 贵州大学 | 一种vr系统认知负荷量化评估方法 |
| CN110801237A (zh) * | 2019-11-10 | 2020-02-18 | 中科搏锐（北京）科技有限公司 | 一种基于眼动和脑电特征的认知能力评估系统及其方法 |
-
2020
- 2020-03-03 CN CN202010137774.4A patent/CN111317448B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107519622A (zh) * | 2017-08-21 | 2017-12-29 | 南通大学 | 基于虚拟现实与眼动追踪的空间认知康复训练系统和方法 |
| CN107818344A (zh) * | 2017-10-31 | 2018-03-20 | 上海壹账通金融科技有限公司 | 用户行为进行分类和预测的方法和系统 |
| CN107783945A (zh) * | 2017-11-13 | 2018-03-09 | 山东师范大学 | 一种基于眼动追踪的搜索结果网页注意力测评方法及装置 |
| CN108062560A (zh) * | 2017-12-04 | 2018-05-22 | 贵州电网有限责任公司电力科学研究院 | 一种基于随机森林的电力用户特征识别分类方法 |
| CN109976530A (zh) * | 2019-04-08 | 2019-07-05 | 贵州大学 | 一种vr系统认知负荷量化评估方法 |
| CN110801237A (zh) * | 2019-11-10 | 2020-02-18 | 中科搏锐（北京）科技有限公司 | 一种基于眼动和脑电特征的认知能力评估系统及其方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762907A (zh) * | 2020-10-13 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种审核对象的方法和装置 |
| CN112836747A (zh) * | 2021-02-02 | 2021-05-25 | 首都师范大学 | 眼动数据的离群处理方法及装置、计算机设备、存储介质 |
| CN114935392A (zh) * | 2022-05-06 | 2022-08-23 | 南京鼓楼医院 | 一种医用食物含水量测量秤 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111317448B (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tagaris et al. | Machine learning for neurodegenerative disorder diagnosis—survey of practices and launch of benchmark dataset | |
| CN111528859B (zh) | 基于多模态深度学习技术的儿童adhd筛查评估系统 | |
| US8388529B2 (en) | Differential diagnosis of neuropsychiatric conditions | |
| CN111317448B (zh) | 一种分析视觉空间认知的方法及系统 | |
| KR20090028807A (ko) | 시간적 측정치를 이용하는 뇌 패턴의 분석 | |
| Chen et al. | DeepFocus: Deep encoding brainwaves and emotions with multi-scenario behavior analytics for human attention enhancement | |
| WO2019223508A1 (zh) | 阿尔兹海默病症分级评估模型创建方法及计算机装置 | |
| CN101583308A (zh) | 利用短暂测量分析脑模式 | |
| CN112890815A (zh) | 一种基于深度学习的孤独症辅助评估系统和方法 | |
| Sun et al. | A novel deep learning approach for diagnosing Alzheimer's disease based on eye-tracking data | |
| Loh et al. | Deep neural network technique for automated detection of ADHD and CD using ECG signal | |
| Skaramagkas et al. | Multi-modal deep learning diagnosis of parkinson’s disease—A systematic review | |
| CN116098621A (zh) | 一种基于注意力机制的情绪面孔及生理反应识别方法 | |
| CN113658697B (zh) | 一种基于视频注视差异的心理测评系统 | |
| Zuo et al. | Deep Learning-based Eye-Tracking Analysis for Diagnosis of Alzheimer's Disease Using 3D Comprehensive Visual Stimuli | |
| Praveena et al. | Classification of autism spectrum disorder and typically developed children for eye gaze image dataset using convolutional neural network | |
| Hu et al. | Hot spot detection based on feature space representation of visual search | |
| Paunksnis et al. | The use of information technologies for diagnosis in ophthalmology | |
| CN115439920A (zh) | 基于情绪视听刺激和面部表情的意识状态检测系统、设备 | |
| CN114388143A (zh) | 基于游戏交互的阿尔兹海默症面部数据采集方法及装置 | |
| CN112885435B (zh) | 图像目标区域的确定方法、装置和系统 | |
| Pecundo et al. | Amyotrophic lateral sclerosis and post-stroke orofacial impairment video-based multi-class classification | |
| Kluwak et al. | Gait classification using LSTM networks for tagging system | |
| CN111460952B (zh) | 一种精神分裂症面部识别规则的生成方法、系统和预测系统 | |
| Becerra-García | Technology for processing saccadic electrooculograms in people with Spinocerebellar Ataxia type 2 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |