CN117438076A - 一种耳石症vr辅助诊治的系统、仪器及方法 - Google Patents

一种耳石症vr辅助诊治的系统、仪器及方法 Download PDF

Info

Publication number
CN117438076A
CN117438076A CN202311480284.4A CN202311480284A CN117438076A CN 117438076 A CN117438076 A CN 117438076A CN 202311480284 A CN202311480284 A CN 202311480284A CN 117438076 A CN117438076 A CN 117438076A
Authority
CN
China
Prior art keywords
bppv
module
diagnosis
eye
treatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311480284.4A
Other languages
English (en)
Inventor
丁秀勇
张栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Edxun Technology Co ltd
Original Assignee
Beijing Edxun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Edxun Technology Co ltd filed Critical Beijing Edxun Technology Co ltd
Priority to CN202311480284.4A priority Critical patent/CN117438076A/zh
Publication of CN117438076A publication Critical patent/CN117438076A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1101Detecting tremor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • A61B5/4023Evaluating sense of balance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

本发明涉及一种耳石症VR辅助诊治的系统、仪器及方法,其中,该系统包括:AI问诊模块用于对患者进行问卷与语音问诊;物理检查流程控制模块控制眼动曲线采集模块实时采集VR装置的眼动传感数据,并控制VR装置实施BPPV的物理检查流程;眼震模式AI检测及分类模块判断BPPV症状特征的眼震模式的发生情况,并对眼震模式进行归类;AI BPPV诊断推理模块判断BPPV的检查结果以及BPPV阳性类型;过程数据综合模块输出格式化的过程数据和BPPV诊断报表数据;过程数据存储模块将数据存储到VR装置的本地存储器中;BPPV诊断报告模块生成BPPV诊断报告;数据通讯模块用于VR装置和外部PC机之间的通讯,重定位流程控制模块和AI重定位操作决策模块,用于辅助BPPV重定位治疗过程。

Description

一种耳石症VR辅助诊治的系统、仪器及方法
技术领域
本发明涉及耳石症治疗技术,特别涉及一种耳石症VR辅助诊治的系统、仪器及方法。
背景技术
耳石症又称为良性阵发性位置性眩晕(简称BPPV),是指头部运动至某一特定头位时出现短暂阵发性眩晕和眼震的一种常见疾病。正常情况下,耳石附着于耳石膜上,当一些致病因素导致耳石脱离,这些脱落的耳石就会在内耳内被称作为内淋巴的液体里游动,当人体头位变化时,这些半规管亦随之发生位置变化,沉伏的耳石就会随着液体的流动而运动,从而刺激半规管毛细胞,导致机体发生强烈性眩晕。
BPPV在生活中是非常常见的。一百个眩晕的门诊患者当中大概有30%的患者是因为耳石症引起的。耳石症在所有的眩晕疾病当中是排名第一的。耳石症的发病率在生活中非常高,除此之外还有医疗条件限制的基层医院没有及时做出耳石症的诊断。但总体来说耳石症的发病率是很高的。据统计,人群中有10%一生总有一次耳石症发作,而发作患者中,有接近50%患者会有复发。
美国耳鼻喉科-头颈外科学会(简称为AAO-HNSF)提出了2017版本的《BPPV的临床实践指南》(下文简称为《指南》),为BPPV提供了基于证据的建议。在该指南中,BPPV被定义为一种位置性的眩晕,其中:
眩晕被定义为在没有真实运动的情况下,自我或周围环境运动的错觉;位置性眩晕被定义为由于头部位置相对于重力的变化而产生的一种旋转感觉;BPPV被定义为一种以反复出现位置性眩晕为特征的内耳障碍。
该指南首先致力于治疗BPPV病症,其次致力于提升BPPV的精确诊断,其次致力于减少诊断和治疗的费用,并改善病患者的生活质量。
该指南所推荐的具有关键效用的诊治行动声明如下表所示:
如上表所示,指南所推荐的BPPV的诊断行动主要包括“后半规管BPPV诊断”和“水平半规管BPPV诊断”,并强烈推荐重定位程序作为初始治疗方式。所述的诊断和治疗方式都依赖于对眼球震颤(简称眼震)方式的观察和判断,并据此实施检查操作和重定位操作。
《指南》声明1a中强调:医生除了要询问患者的病史外,还要执行物理检查手段(即Dix-Hallpike手法)。当Dix-Hallpike手法(Dix-Hallpike maneuver)引起眩晕伴扭转性、上跳性眼球震颤时,临床医生应诊断为后半规管BPPV。Dix-Hallpike手法被认为是诊断后半规管BPPV的金标准检测。
《指南》声明1b中强调:仰卧头滚动检测(Supine Head Roll或Pagnini-Lempert或Pagnini-McClure Roll检测)是诊断水平半规管BPPV的首选手法。该检测可能出现两种潜在的眼球震颤模式,反映了两种水平半规管BPPV类型,即向地性BPPV和离地性BPPV类型。
《指南》声明4a中强调:被诊断为后半规管和水平半规管BPPV的患者应该尽快接受耳石重定位程序(CRP)治疗。其中,后半规管BPPV治疗推荐采用Epley手法或Semont手法;水平半规管BPPV治疗推荐采用barbecue roll手法或者Gufoni手法。
目前BPPV诊断设备主要是“眼震视图仪”,如丹麦国际听力的VisualEyes产品。通过Dix-hallpike手法或冷热刺激激发患者眼震之后,此类产品利用红外高速摄影机记录眼球运动的视频,并通过“眼动追踪算法”提取眼动曲线。医生通过观察眼动视频或曲线,可人工观察和判断眼震模式,并作出相应的BPPV诊断。
BPPV的治疗主要通过人工实施重定位程序手法(也称复位手法)。耳鼻喉科门诊统计,大多数患者在复位手法治疗后有效,可以明显缓解症状。另外一种常见治疗方式是使用“耳石症复位机器”。在复位过程中,医生操作此机器对患者进行大体位翻转以实施耳石复位行动。部分患者通过一次治疗即可取得理想效果,部分患者则需要进行更多次治疗。
目前,BPPV的诊治现状主要存在着如下的现实问题:
BPPV的诊治取决于专科医师的较高专业水平,不适合在基层医院中开展;
BPPV诊治设备价格较为昂贵,多集中于三甲医院等大医院,资源紧缺、收费较高;
BPPV人工复位需要医生在治疗过程中肉眼观察眼震,操作较为困难;
BPPV机器复位方式不适合于高龄或者有基础疾病的患者,个别患者在复位过程中会剧烈呕吐甚至引起窒息;
BPPV人工复位国家收费标准偏低、人工操作耗时偏长,对三甲医院门诊资源造成了负担;
BPPV患者多为老年,如耽误治疗不仅严重影响生活质量,而且会增加摔倒风险危及生命。
发明内容
本发明的目的在于提供一种耳石症VR辅助诊治的系统、仪器及方法,用于解决上述现有技术的问题。
本发明一种耳石症VR辅助诊治的系统,其中,包括:AI问诊模块、物理检查流程控制模块、眼动曲线采集模块、头部位姿采集模块、眼震模式AI检测及分类模块、AI BPPV诊断推理模块、过程数据综合模块、BPPV诊断报告模块、过程数据存储模块和数据通讯模块;AI问诊模块用于对患者进行问卷与语音问诊,并对问诊信息进行整理;物理检查流程控制模块控制眼动曲线采集模块实时采集VR装置的眼动传感数据,控制头部位姿采集模块实时采集VR装置头部位姿传感数据,并控制VR装置实施BPPV的物理检查流程;眼震模式AI检测及分类模块接收采集的眼动曲线以及头部位姿数据,以判断BPPV症状特征的眼震模式的发生情况,并对眼震模式进行归类;AI BPPV诊断推理模块接收并汇总AI问诊模块以及眼震模式AI检测及分类模块的信息,以判断BPPV的检查结果以及BPPV阳性类型;过程数据综合模块接收BPPV的物理检查过程中的实时过程数据、BPPV的检查结果以及BPPV阳性类型信息,并进行分类整理,输出格式化的过程数据和BPPV诊断报表数据;过程数据存储模块接收过程数据综合模块的数据,并存储到VR装置的本地存储器中;BPPV诊断报告模块接收过程数据综合模块所输出的BPPV诊断报表数据,生成BPPV诊断报告,并渲染到VR界面上;数据通讯模块用于VR装置和外部PC机之间的通讯。
根据本发明的耳石症VR辅助诊治的系统的一实施例,其中,还包括:重定位流程控制模块,用于依据BPPV诊断报告选择重定位程序,按照所选重定位程序进行重定位流程指导,并在重定位流程中调度眼动数据采集、头部位姿监督、眼动动画合成、眼震模式识别、耳石位置推断、操作步骤决策、操作指令输出、眼动界面渲染、过程数据存储与数据通讯。
根据本发明的耳石症VR辅助诊治的系统的一实施例,其中,还包括:AI重定位操作决策模块,接收眼震模式数据、VR装置的操作过程信息和头部位姿数据,以对耳石位置做出推断,并生成重定位操作指令、警告指令及中止指令,反馈给重定位流程控制模块。
根据本发明的耳石症VR辅助诊治的系统的一实施例,其中,还包括:操作指令生成模块,根据物理检查流程控制模块或者重定位流程控制模块所输出的操作指令,生成文本、图像、动画和语音的多模式指令信息。
根据本发明的耳石症VR辅助诊治的系统的一实施例,其中,还包括:AI语音合成模块,用于将操作指令生成模块的语音指令信息合成语音指令,输出给音频设备。
根据本发明的耳石症VR辅助诊治的系统的一实施例,其中,还包括:眼动动画合成模块,根据眼动曲线生成眼动模拟动画并渲染到VR界面或PC端界面上。
根据本发明的耳石症VR辅助诊治的系统的一实施例,其中,BPPV的物理检查流程包括:Dix-Hallpike或Supine Head Roll手法的物理检查过程;根据BPPV诊断报告的结果选择实施Epley手法、barbecue roll手法或者Gufoni手法的重定位程序。
本发明一种进行耳石症VR辅助诊治仪,其中,包括:具有眼动追踪功能的VR装置,该VR装置安装有上述任一的耳石症VR辅助诊治的系统。
根据本发明的耳石症VR辅助诊治仪的一实施例,其中,还包括:PC机,用于与该VR装置通讯,并显示VR辅助诊治过程中的相关信息。
本发明一种进行耳石症VR辅助诊治的方法,其中,患者使用耳石症VR辅助诊治仪,实时采集眼动曲线和头部6DOF位姿;指导实施Dix-Hallpike手法基于眼震模式的检查过程,通过AI算法识别眼震模式,结合问诊信息、眼震模式和头部位姿推断BPPV阳性或阴性,从而辅助检查者实施后半规管BPPV检查和诊断;指导实施Supine Head Roll手法基于眼震模式的检查过程,通过AI算法识别眼震模式,结合问诊信息、眼震模式和头部位姿推断BPPV识别向地性或者离地性眼震,从而辅助检查者实施水平半规管BPPV检查和诊断;指导实施Epley手法重定位治疗程序,通过AI算法识别眼震模式,并推断耳石位置,并结合头部位姿生成重定位操作决策,从而辅助治疗者实施或者患者自行实施后半规管BPPV的复位治疗;或指导实施barbecue roll手法或者Gufoni手法重定位治疗程序,通过AI算法识别眼震模式,推断耳石位置,并结合头部位姿生成重定位操作决策,从而辅助治疗者实施或者患者自行实施水平半规管BPPV的复位治疗。
本发明所提出的一种耳石症VR辅助诊治的系统、仪器及方法,能够有效推行国际标准、改善治疗体验、降低治疗门槛并减少治疗费用,克服了现有的人工治疗和机器治疗的痛点问题。
附图说明
图1所示为耳石症VR辅助诊治的仪器的应用示意图;
图2所示为VR辅助诊治的系统的用于诊断的工作原理图;
图3所示为执行的Dix-Hallpike手法示意图;
图4所示为仰卧头滚动检测(Supine Head Roll)手法示意图;
图5所示为确诊耳石症的患者进行VR辅助治疗的应用示意图;
图6所示为VR辅助诊治的系统用于重定位治疗的工作原理图;
图7所示为Epley手法的示意图;
图8所示为Semont手法的示意图;
图9所示为barbecue roll手法/Lempert Roll手法的示意图;
图10所示为向地性Gufoni手法的示意图;
图11所示为离地性Gufoni手法的示意图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚,下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
发明人为了实现指南所推荐的诊疗行动内容,选择利用VR技术和AI技术,提出了本发明的耳石症VR辅助诊治的系统、仪器及方法。
图1所示为耳石症VR辅助诊治的仪器的应用示意图,如图1所示,耳石症VR辅助诊治的仪器部署有辅助诊治的系统,其中关键的运行设备是VR一体机2。另外,耳石症VR辅助诊治的仪器还可以包括PC端3和外部音箱4,用于检查者或治疗者实施耳石症VR辅助诊治工作。
如图1所示,辅助诊治的系统用于指导用户完成指南声明1a-1b所推荐的BPPV诊断过程。本实施例在辅助诊治的系统中实现患者病史AI问诊功能和物理检查AI手法指导功能,并采用VR和AI技术记录并识别诊断过程中的关键数据,生成诊断报告。
如图1所示,耳石症患者佩戴上具有眼动追踪功能的VR一体机2,例如市售的PICO4企业版或者PICO 3Neo PRO Eye的VR一体机。辅助诊治系统1负责辅助患者、检查者或治疗者进行BPPV的诊断或者治疗。在患者操作过程中,其他用户可在一台PC机3的显示器上看到诊治过程中的相关信息,例如眼动动画、眼动曲线或者诊治过程报告。
图2所示为辅助诊治的系统用于诊断的工作原理图,如图2所示,辅助诊治的系统的AI问诊模块21主要执行指南中患者的病史问诊功能,对应实现《指南》中所要求的患者病史问诊,AI问诊模块21包含AI语音识别功能和自然语言处理功能,对患者利用VR耳麦7外部输入的语音进行识别和理解,并通过VR耳机8进行AI语音提问与应答,从而实现与患者的语音交互功能。
如图2所示,AI问诊模块21存储有包括选择题的调查问卷让患者回答。患者在回答时可以使用VR手柄进行交互式回答,也可以采用语音对答的方式。考虑到患者可能年纪过大或者处于眩晕方式,语音问答是一种更加合理的交互方式。其中,AI问诊模块21还可以与PC机3进行通讯。如果患者有口音或者不熟悉VR手柄,检查者也可以使用VR手柄协助其选择答案(此时VR通过串流方式投屏到PC显示器上),或在PC机3上使用键盘鼠标操作以辅助填写问卷。AI问诊模块21可以输出结构化的文本,对应问卷表单的选择答案。
AI问诊模块21还能够接收患者输入的病史和对症状的描述信息,传递给病史AI自然语言理解模块22。在完成选择题问卷调查之后,系统继续通过语音和文字方式提示病人主动陈述病史。在收集到患者的病史语音信息后,病史AI自然语言理解模块22利用预训练的AI模型,在通用自然语言理解的基础之上,优化对BPPV常见症状描述的理解,并整理为非结构化的文本,主要对应着病人对自己病史和症状的主观性描述。
如图2所示,物理检查流程控制模块13用于实施Dix-Hallpike或Supine HeadRoll手法的检查过程。
物理检查流程控制模块13控制眼动曲线采集模块12实时采集眼动数据。眼动数据的采集主要是通过调用VR一体机的眼动追踪模块11完成。VR一体机的眼动曲线采集模块12以不低于90HZ的采样频率输出眼动曲线。
如图2所示,眼动动画合成模块20获取采集眼动曲线,并把眼动曲线绘制为一个虚拟人眼的眼动动画。
进一步的,本实施例VR一体机为了保护用户隐私,不能直接获取和存储眼动视频。本发明利用眼动动画合成模块20以实时生成患者的眼动动画。进一步的可以合成高达90HZ的眼动模拟动画,可输出在VR眼镜上,也可串流/传输到显示器31上。这个动画解决了眼动位置的可视化问题,便于检查者直观观察到患者眼动过程。
如图2所示,眼震模式AI检测及分类模块14,接收物理检查流程控制模块13实时采集的眼动曲线,眼震模式AI检测及分类模块14分析眼动曲线,检测符合BPPV症状特征的眼动模式是否发生。如果发生,并进一步判断该眼震模式如何归类。
不同于现有技术直接基于眼震视频的识别方法,本发明的眼震识别方式是间接基于眼动曲线的。眼震曲线数据是时间序列数据,类似于语音时间序列和文本序列,因而眼震模式AI检测及分类模块14采用的是可以识别时间序列模式的AI模型,包括且不限于可处理时间序列的LSTM模型或者Transformer模型。
一个实施例是,在眼震模式AI检测及分类模块14中预置训练好的某个Transformer模型,对输入的眼动曲线时间序列数据进行眼震模式分析,端到端的同时实现眼震模式的检测和分类。
如图2所示,物理检查流程控制模块13通过控制头部位姿采集模块17,实时采集VR一体机的6自由度(DOF)传感器16的传感数据,以实时感知患者的头部位置和姿态。物理检查流程控制模块13接收头部位姿的传感数据,可实时获知患者的头部朝向及高低位置,从而在诊疗指导过程中及时提醒、纠正和引导患者配合操作。头部位姿还可以传送送给眼震模式AI检测及分类模块14,以辅助它标记眼震发生时的头部状态。
如图2所示,AI BPPV诊断推理模块15,接收并汇总AI问诊流程和物理检查流程的检测信息。AI BPPV诊断推理模块15综合病史问诊和物理检查的检测结果,输出问诊检查结果和物理检查结果的数据,并对BPPV是否阳性以及BPPV阳性类型做出诊断建议。
AI BPPV诊断推理模块15预置了自然语言推理的AI模型,包括并不限于专用于自然语言推理的SVM模型、随机森林模型、RNN模型、LSTM模型、Transformer模型、知识图谱、贝叶斯深度学习神经网络等模型,可对输入的结构化文本、非结构化文本和眼震模式进行综合,并融合物理检查过程中的操作步骤中的头部位姿等过程信息,做出BPPV诊断。
如图2所示,AI BPPV诊断推理模块15将所获取的信息以及诊断推理的结果推送给过程数据综合模块23。过程数据综合模块23对数据格式进行整理,可以生成BPPV诊断报表数据和其他格式化的重要过程数据。重要过程数据可以进一步推送给过程数据存储模块25,以存储到VR一体机中的指定目录进行备份。BPPV诊断报表数据则推送给BPPV诊断报告模块18,经过格式化后生成报告文档(例如生成web格式或者pdf格式),并渲染到VR界面上。
如图2所示,在物理检查的流程执行过程中,过程数据综合模块23也起到了信息聚合的作用,会将需要反馈给用户的实时数据聚合到一起,通过数据通讯模块26推送给PC端进行呈现。
如图1以及图2所示,对于一实施例,PC端可以包括PC主机5、显示器31和其他必要外设,主要供检查者用户在诊断过程全程进行查看、分析和干涉。PC机3和VR一体机2的数据通讯过程主要是通过数据通讯模块26实现的。
在一种实施例中,数据通讯模块26可以采用APP的形式实现,例如VR厂家所提供的串流助手APP,又可细分为VR一体机内部的串流助手APP和运行在PC端的串流助手APP。此时VR一体机的界面会被串流到PC端进行显示,VR一体机中的语音可以直接通过VR一体机的耳机插孔数据线或者蓝牙方式直接送给外部的扬声器4。
在另一种实施例中,数据通讯模块26也可以是一个负责数据通讯的VR软件模块,用于VR软件和PC机3上客户端软件之间的核心数据通讯,例如传输眼震曲线、眼震模式、指令数据和诊断报告等数据。PC端可以通过数据通讯模块26进一步调阅过程数据存储所备份的重要数据。
如图2所示,在检查步骤,物理检查流程控制模块13会根据《指南》所推荐的检查手法具体要求、当前患者头部位姿和眼震模式,生成一条指导下一步操作的操作指令,并推送给操作指令生成模块18。操作指令生成模块18进一步生成更加具体的多模式指令,包含文本、动画/图像和语音指令。其中,文本/动画/图像指令信息可以直接渲染到VR眼镜的显示屏6上,而语音指令则是通过AI语音合成模块19进行语音合成后送给了VR耳机8。这些指令也可以通过过程数据综合模块23汇总,再通过数据通讯模块26传输给PC端进行同步呈现。
图3所示为《指南》声明1a所强调的Dix-Hallpike手法进行的后半规管BPPV的物理检查过程示意图,该手法的具体操作步骤可参考《指南》的相关部分。
图4所示为《指南》声明1b所强调的Supine Head Roll手法进行的水平半规管BPPV的物理检查过程示意图,该手法的具体操作步骤可参考《指南》的相关部分。
下面结合图1-3,以一个应用实施例说明本发明采用Dix-Hallpike手法进行后半规管BPPV检查程序:
(1)通过VR手柄启动VR一体机内的耳石症VR辅助诊治系统1的APP,并选择进入后半规管BPPV检查流程,此时VR一体机开启眼动追踪模式;
(2)耳石症VR辅助诊治的系统通过语音和文字指示患者处于直立坐姿并目视前方,在诊断过程保持睁开双眼,与此同时耳石症VR辅助诊治的系统实时对患者头部姿态进行检测;
(3)符合位姿和睁眼要求后,通过VR手柄或者语音交互进入到Dix-Hallpike手法的下一步;
(4)通过影音文字等方式指示患者将头部向右旋转45°;患者保持住此姿势和双眼睁开,耳石症VR辅助诊治的系统实时采集头部位姿和眼动位置;
(5)若检测到符合操作要求,通过VR手柄或者语音交互进入Dix-Hallpike手法的下一步;
(6)通过影音文字等方式,指示患者要快速完成从坐姿到仰卧位移动,并提示检查人员注意辅助和保护;
(7)患者按指示快速移动到指定姿态,使头部悬挂于床边缘,检查人员注意支撑并通过显示器3观察眼动模式,并询问患者是否存在主观性眩晕;耳石症VR辅助诊治的系统在此过程中识别并记录眼动模式,如检测到眼震则识别眼震模式;
(8)在眩晕和眼震消失后,可使用VR手柄或者语音交互进入Dix-Hallpike手法的下一步;
(9)将患者缓慢恢复到直立位,耳石症VR辅助诊治的系统自动记录和识别眼动模式,如检测到眼球震颤则识别并记录眼震模式;
(10)通过VR手柄或语音交互,完成一侧耳的眼震检查,耳石症VR辅助诊治的系统自动保存眼动曲线、眼震模式及其他相关过程数据,也可以保存完整的动画视频;
(11)重复步骤2-10,对另侧耳进行检查;
(12)通过VR手柄交互或语音交互,完成双侧耳的检查流程,生成检查报告并显示在屏幕界面上;
(13)结束此流程。
采用Supine Head Roll手法进行水平半规管BPPV检查程序实施例与Dix-Hallpike手法的操作步骤相似,不再赘述。
图5所示为确诊耳石症的患者进行VR辅助治疗的应用示意图,如图5所示,耳石重定位过程建议患者和治疗者共同协作完成。其中,治疗者可以是专业的临床医师、非专业的门诊医师,也可以是患者的亲属。患者也可以在VR辅助诊治的系统的帮助下实施自行管理的复位操作,此时VR一体机可以不与PC机3及音箱4进行连接。
图6所示为VR辅助诊治的系统用于重定位治疗的工作原理图,本发明的辅助诊治系统5进一步包括有重定位(复位)流程控制功能,用于对确诊耳石症的患者进行辅助重定位治疗。重定位(复位)流程控制模块35负责指导用户实施指定的重定位程序,并负责调度过程中的眼动数据采集、头部位姿监督、眼动动画合成、眼震模式识别、耳石位置推断、操作步骤决策、操作指令输出、眼动界面渲染、过程数据存储与数据通讯等工作任务。
如图6所示,重定位流程控制模块35依据BPPV诊断报告24选择重定位程序。其中一种实施例,用户可以根据已知的诊断报告结论,在系统界面上自行选择重定位程序,启动工作流程。另一种实施例是,将辅助诊断报告输入给重定位流程控制模块35,由其分析之后自动选择复位方式,经用户确认后进入工作流程。
如图6所示,重定位流程控制模块35按照指定的重定位程序进行流程指导。在操作过程中,重定位流程控制模块35控制眼动曲线采集模块12实时采集眼动曲线,控制头部位姿采集模块17实时采集头部位姿。之后,把眼动曲线数据推送给眼震模式AI检测及分类模块14,检测并识别出眼震特征及其分类。眼震模式数据、操作过程信息和头部位姿数据进一步汇总到AI重定位操作决策模块27。AI重定位操作决策模块27预置一个训练好的耳石位置的AI推断模型,实施例包括且不限于CNN网络、Transformer模型、SVM和随机森林模型等AI模型。除了输出耳石的推断位置之外,耳石位置推断模型还同时输出推断结果的概率值,用于标识推断结果的置信度。AI重定位操作决策模块27预置的决策模型将负责综合各种信息,通过贝叶斯推理等方式,明确给出操作指令。该操作指令包括具体的重定位操作指令、警告指令及中止指令,以根据实际情况指导操作过程。
如图6所示,在工作流程中,重定位流程控制模块35会将AI重定位操作决策模块27所推断的操作指令输出给操作指令生成模块18。操作指令生成模块18进一步生成更加具体的多模式指令,包括语音指令、文本、图像和动画等指令。同样的,语音指令由AI语音合成模块19进一步合成,输出给VR耳机8或者外部音箱;图像\动画\文本指令则直接渲染到VR界面上或者传输到PC端的界面上。同时,重定位流程控制模块35会将眼动曲线输出给眼动动画合成模块20,生成眼动模拟动画并渲染到VR界面或PC端界面上以供治疗者观察。
如图6所示,AI重定位操作决策模块27同时对过程中的数据进行聚合,然后推送给过程数据综合模块23。过程数据综合模块23对获取的数据进行格式化整理,整理出规范的格式,然后将数据推送给数据通讯模块26进行传输,并推送给过程数据存储模块25进行存储。在重定位程序完成后,过程数据综合模块23还会生成BPPV治疗过程报表数据,输出给BPPV治疗过程报告模块18。BPPV治疗过程报告18进一步对报告数据进行格式化,生成报告文档(例如生成web格式或者pdf格式)后,并渲染到VR界面上。
在工作流程中,数据通讯模块26负责VR端和PC端之间的数据通讯,主要是传递实时过程数据和界面交互指令。治疗者可以根据这些数据,在PC端查看、分析和干涉治疗过程,还可以通过数据通讯模块26,调阅过程数据存储模块25所存储的治疗过程数据。
图7所示为《指南》中声明4a所建议的用于右侧后半规管BPPV治疗的Epley手法,其具体步骤可以参见《指南》的相关部分。
图8所示为《指南》中声明4a所建议的用于右侧后半规管BPPV治疗的Semont手法,其具体步骤可以参见《指南》的相关部分。
图9所示为《指南》中声明4a所建议的用于右侧水平半规管BPPV治疗的LempertRoll手法,其具体步骤可以参见《指南》的相关部分。
图10所示为《指南》中声明4a所建议的用于右侧水平半规管BPPV治疗(向地性眼震)的Gufoni手法,其具体步骤可以参见《指南》的相关部分。
图11所示为《指南》中声明4a所建议的用于右侧水平半规管BPPV治疗(离地性眼震)的Gufoni手法,其具体步骤可以参见《指南》的相关部分。
如图5-11所示,本发明辅助诊治的系统的另一个通用场景的使用实施例,包括:
(1)患者坐在床上保持直立,目视前方、双腿伸直,确保其向后仰卧时,头部略伸出床头,颈部可搭在床沿边;此时治疗者站在患者一侧注意保护;
(2)患者和治疗者共同完成VR一体机佩戴及初始化过程;
(3)通过VR手柄启动耳石症辅助诊治的系统,进入系统VR界面;
(4)根据BPPV诊断结果,选择后半规管治疗或者水平半规管治疗方式,并根据BPPV类型选择如图7-11所示的重定位程序之一,进入治疗流程;
(5)开始患者的眼动追踪和头部追踪的实时数据采集;
(6)进入重定位程序的下一个操作步骤;
(7)辅助诊治系统通过对眼动曲线序列进行分析,识别当前的眼震模式;
(8)结合眼震模式和头部位姿,辅助诊治系统推断当前的耳石位置;
(9)根据当前耳石位置,辅助诊治系统确定当前的重定位操作指令,并生成图像/动画/文本/语音等多模式指令;
(10)患者和治疗者根据操作指令执行重定位程序中的动作;
(11)辅助诊治系统对头部位姿进行监测和计时,通过警告和指令,确保患者正确执行操作;
(12)如果选定的重定位程序的全部步骤已经执行,进入下一步;否则转到步骤(6);
(13)辅助诊治系统指导患者恢复正常坐姿,采集并分析一段时间眼动曲线,评估患者是否恢复正常;
(14)辅助诊治系统根据患者当前眩晕状态,结束重定位程序,并生成本次治疗报告。
如图1和图5所示,耳石症VR辅助诊治的仪器内置有上述实施例中任一种耳石症VR辅助诊治的系统。其中,耳石症VR辅助诊治的仪器可以是内置有上述实施例中任一种耳石症VR辅助诊治的系统的VR装置,也可以进一步适配有PC端、扬声器以及其他相关外设共同组成。
如图1和图5所示,更进一步,耳石症VR辅助诊治的仪器可以是供患者佩戴的具有眼动追踪功能的VR一体机。VR一体机自带高性能计算硬件和操作系统,可以运行VR软件,并提供VR软件开发所需的SDK。在患者用户佩戴使用全程,临床医师或者其他用户可在一台PC机3上与VR一体机进行数据通讯,以查看、分析与干预诊治过程。
如图1所示,一种简单的数据通讯使用实施例是将一根串流数据线(通常是一头为C口,一头为USB 3口的高速数据线)将所述VR一体机2与PC机3相连。在二者之上分别运行VR厂家所提供的串流助手类APP,即可以实现二者的串流通讯。此时,VR一体机的画面会投影到PC机5的显示器31上,用户可使用VR手柄与VR软件进行交互控制。
如图1和图2所示,另一种使用实施例是在PC端安装VR辅助诊治的系统的PC客户端软件,用于和辅助诊治系统1的数据通讯模块26进行数据通讯。用户可在PC机3上使用键鼠与VR软件进行交互。此时可通过串流线实现USB通讯,也可以通过5G WIFI实现以太网通讯。
本发明耳石症VR辅助诊治的仪器精准实施了2017版《指南》所推荐的金标准的诊治方案,代表目前国际最专业的诊治策略,可缓解部分医师专业水平不足的现状,并可解放目前专科医师诊治的辛劳,全面提高BPPV诊治的效果。
在诊治过程中,该仪器既对实施过程进行了充分指导和监测,又不会对患者进行大体位翻转运动,明显提高了安全性,因此显著地改善了医患双方的治疗体验。
本发明将AI技术和VR技术的综合应用,降低了BPPV的诊治门槛,使得非专科医师甚至患者家属在少量培训后即可熟练掌握,可在社区医院门诊或者家庭环境中进行治疗。
本发明可以依托于现在商用VR一体机实现,其市场价格可被更多医院甚至家庭所接受,为广大患者尤其是老年患者提供了更具性价比的诊治方案。
本发明采用语音识别、语音合成、自然语言处理等技术实现对患者病史的AI问诊和智能交互;采用VR一体机采集眼动曲线和头部位姿,进行虚拟眼动动画合成,在诊治过程中为AI推理和医师观察提供数据支持;采用AI技术分析眼动曲线、识别眼震模式、推断耳石位置,以辅助实施诊治过程;综合病史问诊信息、眼震模式和头部位姿等信息,自动生成辅助诊断报告;综合诊断报告、耳石位置推断、头部位姿等信息,辅助临床医师或者患者安全实施耳石重定位程序。
本发明耳石症VR辅助诊治的系统、仪器及方法,通过融合VR技术和AI技术精准实现了指南所推荐的核心诊治方法,而实现该方法的仪器包括且不限于VR界面交互、自然语言AI问诊、BPPV诊断AI指导和推理、BPPV治疗AI指导和监督、BPPV诊治报告、诊治过程记录等功能。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种耳石症VR辅助诊治的系统,其特征在于,包括:
AI问诊模块、物理检查流程控制模块、眼动曲线采集模块、头部位姿采集模块、眼震模式AI检测及分类模块、AIBPPV诊断推理模块、过程数据综合模块、BPPV诊断报告模块、过程数据存储模块和数据通讯模块;
AI问诊模块用于对患者进行问卷与语音问诊,并对问诊信息进行整理;
物理检查流程控制模块控制眼动曲线采集模块实时采集VR装置的眼动传感数据,控制头部位姿采集模块实时采集VR装置头部位姿传感数据,并控制VR装置实施BPPV的物理检查流程;
眼震模式AI检测及分类模块接收采集的眼动曲线以及头部位姿数据,以判断BPPV症状特征的眼震模式的发生情况,并对眼震模式进行归类;
AI BPPV诊断推理模块接收并汇总AI问诊模块以及眼震模式AI检测及分类模块的信息,以判断BPPV的检查结果以及BPPV阳性类型;
过程数据综合模块接收BPPV的物理检查过程中的实时过程数据、BPPV的检查结果以及BPPV阳性类型信息,并进行分类整理,输出格式化的过程数据和BPPV诊断报表数据;
过程数据存储模块接收过程数据综合模块的数据,并存储到VR装置的本地存储器中;
BPPV诊断报告模块接收过程数据综合模块所输出的BPPV诊断报表数据,生成BPPV诊断报告,并渲染到VR界面上;
数据通讯模块用于VR装置和外部PC机之间的通讯。
2.如权利要求1所述的耳石症VR辅助诊治的系统,其特征在于,还包括:重定位流程控制模块,用于依据BPPV诊断报告选择重定位程序,按照所选重定位程序进行重定位流程指导,并在重定位流程中调度眼动数据采集、头部位姿监督、眼动动画合成、眼震模式识别、耳石位置推断、操作步骤决策、操作指令输出、眼动界面渲染、过程数据存储与数据通讯。
3.如权利要求2所述的耳石症VR辅助诊治的系统,其特征在于,还包括:AI重定位操作决策模块,接收眼震模式数据、VR装置的操作过程信息和头部位姿数据,以对耳石位置做出推断,并生成重定位操作指令、警告指令及中止指令,反馈给重定位流程控制模块。
4.如权利要求2所述的耳石症VR辅助诊治的系统,其特征在于,还包括:操作指令生成模块,根据物理检查流程控制模块或者重定位流程控制模块所输出的操作指令,生成文本、图像、动画和语音的多模式指令信息。
5.如权利要求4所述的耳石症VR辅助诊治的系统,其特征在于,还包括:AI语音合成模块,用于将操作指令生成模块的语音指令信息合成语音指令,输出给音频设备。
6.如权利要求1所述的耳石症VR辅助诊治的系统,其特征在于,还包括:眼动动画合成模块,根据眼动曲线生成眼动模拟动画并渲染到VR界面或PC端界面上。
7.如权利要求2所述的耳石症VR辅助诊治的系统,其特征在于,BPPV的物理检查流程包括:Dix-Hallpike或Supine Head Roll手法的物理检查过程;
根据BPPV诊断报告的结果选择实施Epley手法、barbecue roll手法或者Gufoni手法的重定位程序。
8.一种进行耳石症VR辅助诊治仪,其特征在于,包括:具有眼动追踪功能的VR装置,该VR装置安装有权利要求1-7任一权利要求所述的耳石症VR辅助诊治的系统。
9.如权利要求8所述的耳石症VR辅助诊治仪,其特征在于,还包括:PC机,用于与该VR装置通讯,并显示VR辅助诊治过程中的相关信息。
10.一种进行耳石症VR辅助诊治的方法,其特征在于,
患者使用权利要求8或9所述的耳石症VR辅助诊治仪,实时采集眼动曲线和头部6DOF位姿;
指导实施Dix-Hallpike手法基于眼震模式的检查过程,通过AI算法识别眼震模式,结合问诊信息、眼震模式和头部位姿推断BPPV阳性或阴性,从而辅助检查者实施后半规管BPPV检查和诊断;
指导实施Supine Head Roll手法基于眼震模式的检查过程,通过AI算法识别眼震模式,结合问诊信息、眼震模式和头部位姿推断BPPV识别向地性或者离地性眼震,从而辅助检查者实施水平半规管BPPV检查和诊断;
指导实施Epley手法重定位治疗程序,通过AI算法识别眼震模式,并推断耳石位置,并结合头部位姿生成重定位操作决策,从而辅助治疗者实施或者患者自行实施后半规管BPPV的复位治疗;或
指导实施barbecue roll手法或者Gufoni手法重定位治疗程序,通过AI算法识别眼震模式,推断耳石位置,并结合头部位姿生成重定位操作决策,从而辅助治疗者实施或者患者自行实施水平半规管BPPV的复位治疗。
CN202311480284.4A 2023-11-08 2023-11-08 一种耳石症vr辅助诊治的系统、仪器及方法 Pending CN117438076A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311480284.4A CN117438076A (zh) 2023-11-08 2023-11-08 一种耳石症vr辅助诊治的系统、仪器及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311480284.4A CN117438076A (zh) 2023-11-08 2023-11-08 一种耳石症vr辅助诊治的系统、仪器及方法

Publications (1)

Publication Number Publication Date
CN117438076A true CN117438076A (zh) 2024-01-23

Family

ID=89553230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311480284.4A Pending CN117438076A (zh) 2023-11-08 2023-11-08 一种耳石症vr辅助诊治的系统、仪器及方法

Country Status (1)

Country Link
CN (1) CN117438076A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160262608A1 (en) * 2014-07-08 2016-09-15 Krueger Wesley W O Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
KR102178294B1 (ko) * 2020-05-15 2020-11-12 가자마 이엔티 (주) 가상현실 기반의 어지럼증 치료장치 및 그 장치의 구동방법
CN112116856A (zh) * 2020-09-08 2020-12-22 温州市人民医院 Bppv诊疗技能训练系统及方法
US20200397288A1 (en) * 2019-06-20 2020-12-24 Awss Zidan Medical system and method operable to control sensor-based wearable devices for examining eyes
CN116650788A (zh) * 2023-05-25 2023-08-29 清华大学 一种基于增强现实的前庭康复训练系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160262608A1 (en) * 2014-07-08 2016-09-15 Krueger Wesley W O Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US20200397288A1 (en) * 2019-06-20 2020-12-24 Awss Zidan Medical system and method operable to control sensor-based wearable devices for examining eyes
KR102178294B1 (ko) * 2020-05-15 2020-11-12 가자마 이엔티 (주) 가상현실 기반의 어지럼증 치료장치 및 그 장치의 구동방법
CN112116856A (zh) * 2020-09-08 2020-12-22 温州市人民医院 Bppv诊疗技能训练系统及方法
CN116650788A (zh) * 2023-05-25 2023-08-29 清华大学 一种基于增强现实的前庭康复训练系统及方法

Similar Documents

Publication Publication Date Title
US11615600B1 (en) XR health platform, system and method
JP7021110B2 (ja) ユーザ健康分析のための拡張現実システムおよび方法
CN110890140B (zh) 基于虚拟现实的自闭症康复训练及能力评估系统及方法
JP2019513516A (ja) 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム
JP4869978B2 (ja) 画像記録装置、画像記録方法、および画像記録プログラム
WO2020119355A1 (zh) 自闭症谱系障碍患者的多模态情感认知能力的评估方法
US20170007126A1 (en) System for conducting a remote physical examination
US20050165327A1 (en) Apparatus and method for detecting the severity of brain function impairment
US11301775B2 (en) Data annotation method and apparatus for enhanced machine learning
US20070066916A1 (en) System and method for determining human emotion by analyzing eye properties
CN111656304B (zh) 通信方法及系统
US20230225609A1 (en) A system and method for providing visual tests
CN108714020B (zh) 自适应心理调节仪、实时眼动延时求取方法及存储介质
KR101854812B1 (ko) 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
KR102178294B1 (ko) 가상현실 기반의 어지럼증 치료장치 및 그 장치의 구동방법
CN116807476B (zh) 基于界面式情感交互的多模态心理健康评估系统及方法
CN112971746A (zh) 一种心理测评系统
JP2022548473A (ja) 患者監視のためのシステム及び方法
CN115101191A (zh) 一种帕金森疾病诊断系统
CN117438076A (zh) 一种耳石症vr辅助诊治的系统、仪器及方法
KR102208508B1 (ko) 복합적인 안과 진료를 수행하는 시스템 및 방법
US20220230749A1 (en) Systems and methods for ophthalmic digital diagnostics via telemedicine
CN112402767B (zh) 眼动脱敏再加工干预系统及眼动脱敏再加工干预方法
US20220093220A1 (en) System and method for patient assessment using disparate data sources and data-informed clinician guidance via a shared patient/clinician user interface
EP3889970A1 (en) Diagnosis support system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination