CN118452925A - 一种基于增强现实的眼动检测系统 - Google Patents

一种基于增强现实的眼动检测系统 Download PDF

Info

Publication number
CN118452925A
CN118452925A CN202410649346.8A CN202410649346A CN118452925A CN 118452925 A CN118452925 A CN 118452925A CN 202410649346 A CN202410649346 A CN 202410649346A CN 118452925 A CN118452925 A CN 118452925A
Authority
CN
China
Prior art keywords
module
eye movement
augmented reality
test
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410649346.8A
Other languages
English (en)
Inventor
李世俊
王懿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Medical Center of PLA General Hospital
Original Assignee
First Medical Center of PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Medical Center of PLA General Hospital filed Critical First Medical Center of PLA General Hospital
Priority to CN202410649346.8A priority Critical patent/CN118452925A/zh
Publication of CN118452925A publication Critical patent/CN118452925A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computer Hardware Design (AREA)
  • Social Psychology (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于增强现实的眼动检测系统,涉及增强现实技术领域。包括:AR增强现实模块、场景显示模块、测试模块、眼动追踪模块、评分模块、输出模块和处理模块。本发明1)佩戴式头显AR环境稳定可靠、沉浸感好干扰能力强、便携、硬件成本低、用户易于接受快;2)定量检测特定场景的眼动参数,通过人工智能算法,构建非入侵式与大脑认知功能相关疾病的量化评估系统。

Description

一种基于增强现实的眼动检测系统
技术领域
本发明涉及增强现实技术领域,尤其涉及一种基于增强现实的眼动检测系统。
背景技术
孤独症属于孤独谱系障碍(ASD),是儿童期严重的神经精神发育障碍性疾病,患者的核心症状有:社会交流障碍,无法与他人进行流畅的交流或者与父母之间缺乏正常的依恋关系等;语言交流障碍,语言发育较常人落后或者出现语言倒退现象;重复刻板行为,不断重复一种动作。以上三种症状并非所有ASD患者均患有,根据症状涵盖的广泛程度和表现的突出程度的不同,将ASD患者划分为由低至高的谱系,越低端的ASD患者病情越严重,越高端的ASD患者越接近普通人。尽早筛查并且干预治疗才能起到更佳的治疗效果。
社会对孤独症谱系障碍(autism spectrum disorder,ASD)的关注在过去几年大幅上升,在美国,每68人中就会有1人患上孤独症。虽然现有的ASD评估方法非常有效,但却费时费力;并且大多数诊断方法主要是对语言交流障碍、社会交往障碍、重复刻板行为这三方面的测评。现在最广泛应用的测量方法包括孤独症诊断观察量表(Autism DiagnosticObservation Schedule-Generic,ADOS-G)与它的修订版本(ADOS-2)。这些方法需要一个受过临床训练的专业人员长达90分钟的操作,这不仅增加了不必要的诊断成本,也减少了孤独症被早期诊断的机会。
最近的行为研究提供了ASD个体不同的眼动模式的证据。大量的文献通过眼球追踪技术,研究了ASD个体如何扫描人脸。这些研究一致认为孤独症个体与正常生长的小孩相比,对面部有更少的视觉注意。目前为止,大多数研究都停留在发现统计意义上的孤独症症状,但很少有人将其应用到孤独症的预测上。
将眼动追踪技术应用于认知评估,能够实现简短和定量评估的目的,与认知功能相关的眼动参数可能有助于认知功能障碍与ASD的识别。ASD患者在视觉注意力、注视行为以及刺激偏好等方面呈现不同眼动特征,因此单一范式评估难以全方位展现患者认知领域。通过单一范式评估ASD,难以全方位展现患者认知域,以及屏幕的开放式眼动追踪抗干扰能力差、数据精度低、硬件成本昂贵。
增强现实(Augmented Reality,AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的技术。AR系统涉及计算机科学的多个领域,其中包括多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪与三维注册、场景融合等多种技术。AR系统可以将虚拟信息无缝叠加到真实场景中,帮助置身于高沉浸感“增强”环境中的用户能更好的理解与感受所处的环境。为实现这一目标,需要AR系统能很好解决虚拟与真实融合一致性问题。通常在AR系统中,虚实融合一致性问题又可分为几何一致性和光照一致性两个方面。目前,针对AR系统中的光照一致性问题的研究工作主要分为:借助辅助标志,借助辅助设备以及基于图像分析这三类。为了更好提高AR系统的虚实一致性,通过眼动及脑电技术来感知虚拟场景的景深感,从而影响及提升虚实融合效果与感受。
在AR系统中,可以通过头盔式(Head Mounted Optics)显示系统,采用相机以及脑电接口设备捕获使用者的眼球与脑电信号动态变化过程,分析眼球对现实场景的感知状态,分析个体心理活动及内在认知过程,调整增强现实系统中虚拟场景的景深效果,从而提升虚实融合效果与感受。
因此,提出一种基于增强现实的眼动检测系统,来克服现有技术中存在的困难,是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种基于增强现实的眼动检测系统,以克服现有技术所存在的上述缺点和不足。
为了实现上述目的,本发明采用如下技术方案:
一种基于增强现实的眼动检测系统,包括:
AR增强现实模块、场景显示模块、测试模块、眼动追踪模块、评分模块、输出模块和处理模块;
AR增强现实模块,与处理模块的第一输入/输出端连接,用于将测试用虚拟信息与输入的现实场景结合,得到增强现实测试场景并输入至处理模块;
场景显示模块,与处理模块的第一输出端连接,用于将增强现实测试场景进行显示;
测试模块,与处理模块的第一输入端连接,用于接收用户选择测试内容,并将测试内容输入至处理模块;
眼动追踪模块,与处理模块的第二输入/输出端连接,用于接收处理模块采集指令,对用户测试过程中的眼球运动轨迹进行采集,获得测试过程中的眼球运动的轨迹图;
评分模块,与处理模块的第二输入端连接,用于根据眼球运动的轨迹图进行用户评分得到评分结果;
处理模块,用于确定评分结果所在得分范围;
输出模块,与处理模块的第三输出端连接,用于将得分范围进行输出。
上述的系统,可选的,AR增强现实模块包括真实场景采集相机、AR增强单元,真实场景采集相机采集真实场景图,AR增强单元获取真实场景图后,将测试图与真实场景图相结合,得到增强现实测试场景。
上述的系统,可选的,场景显示模块采用显示器、视频透视式或光学透视式的一种或多种。
上述的系统,可选的,测试模块采用一控制器,控制器包括:测试开始/关闭按钮、测试题目选择按钮、音乐选择按钮;
测试开始/关闭按钮,用于用户控制测试的开启与结束;
测试题目选择按钮,用于用户从测试题库中选择需要进行的测试题目;
音乐选择按钮,用于用户在测试过程中选择配合音乐进行测试。
上述的系统,可选的,眼动追踪模块采用眼动捕捉摄像头采集用户测试过程中的眼动图像,眼动处理单元将眼动图像处理为眼球运动的轨迹图,并将眼球运动的轨迹图发送至评分模块。
上述的系统,可选的,评分模块将用户在测试过程中的眼球运动的轨迹图与评分库中的轨迹图进行对比分析并进行分类评分,将分类评分进行和计算,得到用户测试总分。
上述的系统,可选的,处理模块将用户测试总分与标准分数进行比较,得出当前用户测试分数所在范围。
上述的系统,可选的,分类评分中包括:注意、抽象、计算、执行、记忆和回忆。
与现有技术相比,本发明提供了一种基于增强现实的眼动检测系统,本发明所达到的有益效果:
1)佩戴式头显AR环境稳定可靠、沉浸感好干扰能力强、便携、硬件成本低、用户易于接受;
2)定量检测特定场景的眼动参数,通过人工智能算法,构建非入侵式与大脑认知功能相关疾病的量化评估系统。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明公开的一种基于增强现实的眼动检测系统结构框图;
图2为本发明公开的一种基于增强现实的眼动检测系统原理图;
图3为本发明实施例中公开的当前用户测试结果示意图;
图4为本发明实施例中公开的正常用户测试结果示意图;
图5为本发明实施例中自闭患儿与正常儿童眼动得分对比示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
参照图1和图2所示,本发明公开了一种基于增强现实的眼动检测系统,包括:
AR增强现实模块、场景显示模块、测试模块、眼动追踪模块、评分模块、输出模块和处理模块;
AR增强现实模块,与处理模块的第一输入/输出端连接,用于将测试用虚拟信息与输入的现实场景结合,得到增强现实测试场景并输入至处理模块;
场景显示模块,与处理模块的第一输出端连接,用于将增强现实测试场景进行显示;
测试模块,与处理模块的第一输入端连接,用于接收用户选择测试内容,并将测试内容输入至处理模块;
眼动追踪模块,与处理模块的第二输入/输出端连接,用于接收处理模块采集指令,对用户测试过程中的眼球运动轨迹进行采集,获得测试过程中的眼球运动的轨迹图;
评分模块,与处理模块的第二输入端连接,用于根据眼球运动的轨迹图进行用户评分得到评分结果;
处理模块,用于确定评分结果所在得分范围;
输出模块,与处理模块的第三输出端连接,用于将得分范围进行输出。
进一步的,AR增强现实模块包括真实场景采集相机、AR增强单元,真实场景采集相机采集真实场景图,AR增强单元获取真实场景图后,将测试图与真实场景图相结合,得到增强现实测试场景。
进一步的,场景显示模块采用显示器、视频透视式或光学透视式的一种或多种。
进一步的,测试模块采用一控制器,控制器包括:测试开始/关闭按钮、测试题目选择按钮、音乐选择按钮;
测试开始/关闭按钮,用于用户控制测试的开启与结束;
测试题目选择按钮,用于用户从测试题库中选择需要进行的测试题目;
音乐选择按钮,用于用户在测试过程中选择配合音乐进行测试。
进一步的,眼动追踪模块采用眼动捕捉摄像头采集用户测试过程中的眼动图像,眼动处理单元将眼动图像处理为眼球运动的轨迹图,并将眼球运动的轨迹图发送至评分模块。
进一步的,评分模块将用户在测试过程中的眼球运动的轨迹图与评分库中的轨迹图进行对比分析并进行分类评分,将分类评分进行和计算,得到用户测试总分。
更进一步的,处理模块将用户测试总分与标准分数进行比较,得出当前用户测试分数所在范围。
更进一步的,分类评分中包括:注意、抽象、计算、执行、记忆和回忆。
在一个具体实施例中,参见图3-图5所示,为利用本发明对自闭儿童和正常儿童进行眼动测试时,对应测试类别得分,首先与标准阈值进行比较的具体示意图,以及自闭儿童总得分与正常儿童总得分的一个比较。
本说明书中的实施例采用递进的方式描述,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于增强现实的眼动检测系统,其特征在于,包括:
AR增强现实模块、场景显示模块、测试模块、眼动追踪模块、评分模块、输出模块和处理模块;
AR增强现实模块,与处理模块的第一输入/输出端连接,用于将测试用虚拟信息与输入的现实场景结合,得到增强现实测试场景并输入至处理模块;
场景显示模块,与处理模块的第一输出端连接,用于将增强现实测试场景进行显示;
测试模块,与处理模块的第一输入端连接,用于接收用户选择测试内容,并将测试内容输入至处理模块;
眼动追踪模块,与处理模块的第二输入/输出端连接,用于接收处理模块采集指令,对用户测试过程中的眼球运动轨迹进行采集,获得测试过程中的眼球运动的轨迹图;
评分模块,与处理模块的第二输入端连接,用于根据眼球运动的轨迹图进行用户评分得到评分结果;
处理模块,用于确定评分结果所在得分范围;
输出模块,与处理模块的第三输出端连接,用于将得分范围进行输出。
2.根据权利要求1所述的一种基于增强现实的眼动检测系统,其特征在于,
AR增强现实模块包括真实场景采集相机、AR增强单元,真实场景采集相机采集真实场景图,AR增强单元获取真实场景图后,将测试图与真实场景图相结合,得到增强现实测试场景。
3.根据权利要求1所述的一种基于增强现实的眼动检测系统,其特征在于,
场景显示模块采用显示器、视频透视式或光学透视式的一种或多种。
4.根据权利要求1所述的一种基于增强现实的眼动检测系统,其特征在于,
测试模块采用一控制器,控制器包括:测试开始/关闭按钮、测试题目选择按钮、音乐选择按钮;
测试开始/关闭按钮,用于用户控制测试的开启与结束;
测试题目选择按钮,用于用户从测试题库中选择需要进行的测试题目;
音乐选择按钮,用于用户在测试过程中选择配合音乐进行测试。
5.根据权利要求1所述的一种基于增强现实的眼动检测系统,其特征在于,
眼动追踪模块采用眼动捕捉摄像头采集用户测试过程中的眼动图像,眼动处理单元将眼动图像处理为眼球运动的轨迹图,并将眼球运动的轨迹图发送至评分模块。
6.根据权利要求1所述的一种基于增强现实的眼动检测系统,其特征在于,
评分模块将用户在测试过程中的眼球运动的轨迹图与评分库中的轨迹图进行对比分析并进行分类评分,将分类评分进行和计算,得到用户测试总分。
7.根据权利要求6所述的一种基于增强现实的眼动检测系统,其特征在于,
处理模块将用户测试总分与标准分数进行比较,得出当前用户测试分数所在范围。
8.根据权利要求6所述的一种基于增强现实的眼动检测系统,其特征在于,
分类评分中包括:注意、抽象、计算、执行、记忆和回忆。
CN202410649346.8A 2024-05-23 2024-05-23 一种基于增强现实的眼动检测系统 Pending CN118452925A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410649346.8A CN118452925A (zh) 2024-05-23 2024-05-23 一种基于增强现实的眼动检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410649346.8A CN118452925A (zh) 2024-05-23 2024-05-23 一种基于增强现实的眼动检测系统

Publications (1)

Publication Number Publication Date
CN118452925A true CN118452925A (zh) 2024-08-09

Family

ID=92153691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410649346.8A Pending CN118452925A (zh) 2024-05-23 2024-05-23 一种基于增强现实的眼动检测系统

Country Status (1)

Country Link
CN (1) CN118452925A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110801237A (zh) * 2019-11-10 2020-02-18 中科搏锐(北京)科技有限公司 一种基于眼动和脑电特征的认知能力评估系统及其方法
CN113064490A (zh) * 2021-04-06 2021-07-02 上海金陵电子网络股份有限公司 一种基于眼动轨迹的虚拟增强设备及其识别方法
CN116392123A (zh) * 2023-03-28 2023-07-07 上海暖禾脑科学技术有限公司 一种基于游戏交互和眼动追踪的多动症筛查方法及系统
CN116650788A (zh) * 2023-05-25 2023-08-29 清华大学 一种基于增强现实的前庭康复训练系统及方法
CN117289802A (zh) * 2023-10-20 2023-12-26 上海诠视传感技术有限公司 基于眼动追踪及ar显示的眼球运动测量方法及系统、设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110801237A (zh) * 2019-11-10 2020-02-18 中科搏锐(北京)科技有限公司 一种基于眼动和脑电特征的认知能力评估系统及其方法
CN113064490A (zh) * 2021-04-06 2021-07-02 上海金陵电子网络股份有限公司 一种基于眼动轨迹的虚拟增强设备及其识别方法
CN116392123A (zh) * 2023-03-28 2023-07-07 上海暖禾脑科学技术有限公司 一种基于游戏交互和眼动追踪的多动症筛查方法及系统
CN116650788A (zh) * 2023-05-25 2023-08-29 清华大学 一种基于增强现实的前庭康复训练系统及方法
CN117289802A (zh) * 2023-10-20 2023-12-26 上海诠视传感技术有限公司 基于眼动追踪及ar显示的眼球运动测量方法及系统、设备

Similar Documents

Publication Publication Date Title
Li et al. CAS (ME) 3: A third generation facial spontaneous micro-expression database with depth information and high ecological validity
EP3748649A1 (en) Method for evaluating multi-modal emotional understanding capability of patient with autism spectrum disorder
Zhou et al. Effects of urban waterfront park landscape elements on visual behavior and public preference: Evidence from eye-tracking experiments
Happy et al. The Indian spontaneous expression database for emotion recognition
CN105893980A (zh) 一种注意力专注度评价方法及系统
Venugopal et al. Developing an application using eye tracker
CN114209324B (zh) 基于图像视觉认知的心理测评数据获取方法及vr系统
CN112890815B (zh) 一种基于深度学习的孤独症辅助评估系统和方法
CN113658697B (zh) 一种基于视频注视差异的心理测评系统
Song et al. A multimodal discrimination method for the response to name behavior of autistic children based on human pose tracking and head pose estimation
CN211862821U (zh) 一种基于深度学习的孤独症辅助评估系统
Madhusanka et al. Biofeedback method for human–computer interaction to improve elder caring: Eye-gaze tracking
CN116383618A (zh) 一种基于多模态数据的学习专注度评估方法及装置
CN110473176A (zh) 图像处理方法及装置、眼底图像处理方法、电子设备
Chen Cognitive load measurement from eye activity: acquisition, efficacy, and real-time system design
CN113255786A (zh) 基于脑电信号和目标显著特性的视频质量评价方法
CN118452925A (zh) 一种基于增强现实的眼动检测系统
CN111341444A (zh) 智能绘画评分方法及系统
CN117808348A (zh) 基于虚拟现实的显示屏人机交互界面设计测评方法和系统
CN115022617B (zh) 基于脑电信号和时空多尺度联合网络的视频质量评价方法
CN116469557A (zh) 干预效果评估方法、装置、终端设备及存储介质
Qian et al. Intelligent Method for Real‐Time Portable EEG Artifact Annotation in Semiconstrained Environment Based on Computer Vision
Mohamed et al. EXPLORING THE HUMAN RESPONSE TO ANGER: UNCOVERING INSIGHTS THROUGH INFRARED THERMOGRAPHY AND EXPERIMENTAL PSYCHOLOGY.
Xu et al. An auxiliary screening system for autism spectrum disorder based on emotion and attention analysis
CN114863093B (zh) 基于眼动技术的神经网络训练方法及建筑设计方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination