CN114566275A - 一种基于混合现实的院前急救辅助系统 - Google Patents
一种基于混合现实的院前急救辅助系统 Download PDFInfo
- Publication number
- CN114566275A CN114566275A CN202210157276.5A CN202210157276A CN114566275A CN 114566275 A CN114566275 A CN 114566275A CN 202210157276 A CN202210157276 A CN 202210157276A CN 114566275 A CN114566275 A CN 114566275A
- Authority
- CN
- China
- Prior art keywords
- hospital
- information
- patient
- head
- emergency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 201000010099 disease Diseases 0.000 claims abstract description 44
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 44
- 238000003745 diagnosis Methods 0.000 claims abstract description 37
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 34
- 230000000007 visual effect Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 10
- 230000001815 facial effect Effects 0.000 claims description 7
- 230000006854 communication Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000036772 blood pressure Effects 0.000 claims description 4
- 230000036760 body temperature Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 208000028399 Critical Illness Diseases 0.000 claims description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 3
- 239000008280 blood Substances 0.000 claims description 3
- 210000004369 blood Anatomy 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 229910052760 oxygen Inorganic materials 0.000 claims description 3
- 239000001301 oxygen Substances 0.000 claims description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 4
- 230000000474 nursing effect Effects 0.000 description 4
- 230000007175 bidirectional communication Effects 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 238000002555 auscultation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007721 medicinal effect Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及一种基于混合现实的院前急救辅助系统，包括混合现实显示设备、病人信息感知模块、生理体征监测模块、辅助诊断模块和远程会诊模块，所述混合现实显示设备为MR头戴显示设备，所述病人信息感知模块用于身份信息识别和病情信息录入，所述生理体征监测模块通过蓝牙连接救护车监护仪，监测病人生理参数，所述辅助诊断模块采用基于决策级的多模态融合算法，所述远程会诊模块将音视频内容推送至医院内专家，对急救现场同步进行远程指导，同时进行抢救记录生成。本发明针对院前急救病种多样且复杂的问题采用急救辅助诊断算法，能够对病人病症进行初步诊断，对医护人员进行病症急救流程提示，使得急救过程更高效且规范。
Description
技术领域
本发明涉及医疗辅助技术领域，特别涉及一种基于混合现实的院前急救辅助系统。
背景技术
院前急救是指在院外对急危重症病人的急救，广义的院前急救是指在患者发病时由医护人员或目击者在现场进行的紧急抢救，而狭义的院前急救是指具有通讯器材、运输工具和医疗基本要素所构成的专业急救机构，在病人到达医院前所实施的现场抢救和途中监护的医疗活动。
院前急救存在随机性大、流动性强、急救环境条件差、病种多样且复杂等问题。院前急救有时在野外、路边、变形车内及运送途中，光线、噪音、震动会给听诊、测量生理体征等操作带来困难。因病种多样且复杂，呼救病人的疾病涉及临床各科，在短时间内需进行初步诊断和紧急处理，所以要求救护人员必须掌握各种常见的急危病证的症状、急救和护理。
近年来，随着计算机视觉、数字仿真和混合现实技术的发展及设备的小型化，混合现实技术（Mixed Reality, MR）在医学培训和医学可视化取得了很大的进展。此外，计算机辅助及诊断技术（Computer-aided Detection/Diagnosis, CAD）作为医学影像学和相关领域的热门研究，为医生提供了有效的辅助诊断及决策支持。现有技术中，基于混合现实技术和计算机辅助诊断相结合的应用研究较少。
发明内容
为了解决上述背景技术中提出的问题，本发明提供一种基于混合现实的院前急救辅助系统。
本发明提供的一种基于混合现实的院前急救辅助系统，采用如下的技术方案：
一种基于混合现实的院前急救辅助系统，包括混合现实显示设备、病人信息感知模块、生理体征监测模块、辅助诊断模块和远程会诊模块；
所述混合现实显示设备为MR头戴显示设备，佩戴于院前急救医护人员的头部，所述MR头戴显示设备包括摄像机、显示窗口、深度传感器和深度相机；
所述病人信息感知模块用于身份信息识别和病情信息录入，所述身份信息识别通过MR头戴显示设备的深度相机对病人进行人脸识别，获取病人人脸信息，并将所述人脸信息传输至医院系统，所述医院系统确定院前急救病人的身份信息和历史电子病历信息，并将所述身份信息和所述历史电子病历信息发送至MR头戴显示设备以显示，所述病情信息录入由院前急救医护人员将病人生理参数通过语音录入病人电子病历中；
所述生理体征监测模块通过蓝牙连接救护车监护仪，用于获取院前急救病人的生理参数，所述生理体征监测模块将所述生理参数发送至MR头戴显示设备以显示，所述生理体征监测模块预设有阈值，监测病人生理参数；
所述辅助诊断模块采用决策级的多模态融合算法，基于病人病情文本信息、生理体征数据信息和病人面部图像信息，对病人常见急危重症病症进行预测，所述辅助诊断模块根据预测的病症信息进行急救流程实时提示，所述急救流程在所述MR头戴显示设备的显示窗口上显示，并跟随院前急救救护人员位置及视角移动；
所述远程会诊模块将院前急救医护人员的MR头戴显示设备的摄像机的音视频内容以直播流形式推送至医院内专家，对急救现场同步进行远程指导，同时生成抢救记录。
通过采用上述技术方案，可以彻底解放医护人员双手，使得医护人员可以进行更多的护理及救护操作；对急救病人的生理体征参数在混合现实显示设备中作实时监测与控制，使得医护人员对病人生命信息及状态有实时直接的获悉；同时，急救辅助诊断算法针对院前急救病种多样且复杂的问题，能够对病人病症进行初步诊断，对医护人员进行病症急救流程提示，使得急救过程更高效且规范，使病人在到达医院时具备更好的治疗条件；基于混合现实的远程会诊，实现上车即入院的急救方式，使得诊断治疗前移，提高院前急救患者抢救率。
优选的，所述深度传感器和深度相机用于语音手势交互、3D成像和3D人脸识别，所述显示窗口用于显示院前急救人员的身份信息、历史电子病历信息、急救流程和生理参数，并跟随院前急救救护人员位置及视角移动。
优选的，所述医院系统包括医院私有云、医院云服务器、医疗机构统一信息平台和中控平台，所述医院私有云、医院云服务器、医疗机构统一信息平台和中控平台之间通信连接，所述医院私有云与MR头戴显示设备通信连接，所述MR头戴显示设备的深度相机对病人进行人脸识别，获取病人人脸信息后，将所述人脸信息传输至医院私有云，经由医院云服务器进行人脸识别获得病人身份信息，在医疗机构统一信息平台中检索获取病人历史电子病历信息，并将所述病人身份信息及历史电子病历信息通过医院云服务器和医院私有云返回至院前急救医护人员MR头戴显示设备中，所述历史电子病历信息在显示窗口显示，医院云服务器生成入院信息传送至中控平台。
优选的，所述生理体征监测模块将病人生理参数实时显示在所述MR头戴显示设备的显示窗口上，所述显示窗口跟随院前急救医护人员的位置和视角移动，所述生理参数包括心电、呼吸次数、血压、血氧饱和度、脉搏和体温。
优选的，所述生理体征监测模块将监测的病人生理参数与预设阈值进行比较，超出预设阈值时，通过所述MR头戴显示设备进行视觉及语音的实时警报。
优选的，所述病人面部图像信息由MR头戴显示设备的摄像机获得，所述病情文本信息由院前急救医护人员语音录入的病历信息获得，所述生理体征数据信息由MR头戴显示设备通过蓝牙连接至救护车监护仪实时获取数据信息。
优选的，所述多模态融合算法包括三个子网络，分别为处理病情文本信息的LSTM网络，处理病人面部图像信息的CNN网络，处理生理体征数据信息的BP神经网络，所述三个子网络输出特征拼接后，经由全连接层，应用softmax预测病症输出，采集住院部病人病情文本信息，监护仪生理体征数字信息，病人面部图像，并进行病症标注，制作辅助诊断数据集，利用辅助诊断数据集对所述多模态病症分类预测网络进行训练，基于辅助诊断数据集对所述多模态融合算法进行训练评估。
优选的，所述训练评估为将辅助诊断数据集按7:2:1划分为训练数据、评估数据、测试数据，其中训练数据集用于对多模态融合算法进行训练，评估数据用于在训练过程中根据模型准确率与模型损失评估模型的训练效果，测试数据集用于对最终模型训练效果进行测试。
综上所述，本发明具有如下的有益技术效果：
本发明基于混合现实的院前急救辅助系统，一方面可以彻底解放医护人员双手，使得医护人员可以进行更多的护理及救护操作；另一方面，对急救病人的生理体征参数在混合现实显示设备中作实时监测与控制，使得医护人员对病人生命信息及状态有实时直接的获悉；同时，本发明提出的急救辅助诊断算法针对院前急救病种多样且复杂的问题，能够对病人病症进行初步诊断，对医护人员进行病症急救流程提示，使得急救过程更高效且规范，使病人在到达医院时具备更好的治疗条件；此外，本发明提出的基于混合现实的远程会诊，实现上车即入院的急救方式，使得诊断治疗前移，提高院前急救患者抢救率。
附图说明
图1是本发明一种基于混合现实的院前急救辅助系统的整体结构框图；
图2是本发明基于多模态融合的常见病症辅助诊断算法框图；
图3是本发明院前急救病人身份信息识别流程。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本发明实施例公开一种基于混合现实的院前急救辅助系统。
如图1和图3所示，一种基于混合现实的院前急救辅助系统，包括混合现实显示设备、病人信息感知模块、生理体征监测模块、辅助诊断模块和远程会诊模块。
所述混合现实显示设备为MR头戴显示设备，佩戴于院前急救医护人员的头部。所述MR头戴显示设备包括摄像机、显示窗口、深度传感器和深度相机。所述深度传感器和深度相机用于语音手势交互、3D成像和3D人脸识别，所述显示窗口设置在所述MR头戴显示设备，并跟随院前急救医护人员位置及视角移动。
所述病人信息感知模块用于身份信息识别和病情信息录入，所述身份信息识别通过MR头戴显示设备的深度相机对病人进行人脸识别，获取病人人脸信息，并将所述人脸信息传输至医院私有云，经由医院云服务器进行人脸识别获得病人身份信息，在医院数据库中检索获取病人历史电子病历信息，确定院前急救病人的身份信息和历史电子病历信息，并将所述身份信息和所述历史电子病历信息发送至MR头戴显示设备在显示窗口显示，医院云服务器生成入院信息传送至中控平台。所述病情信息录入由院前急救医护人员将病人生理参数通过语音录入病人电子病历中。
所述生理体征监测模块通过蓝牙连接救护车监护仪，所述生理体征监测模块预设有阈值，监测病人生理参数。所述生理体征监测模块将病人生理参数实时显示在所述MR头戴显示设备的显示窗口上，并跟随院前急救医护人员的位置和视角移动，所述生理参数包括心电、呼吸次数、血压、血氧饱和度、脉搏和体温。所述生理体征监测模块将监测的病人生理参数与预设阈值进行比较，超出预设阈值时，通过所述MR头戴显示设备进行视觉及语音的实时警报。
所述辅助诊断模块采用决策级的多模态融合算法，基于病人病情文本信息、生理体征数据信息和病人面部图像信息，所述病人面部图像信息由MR头戴显示设备的摄像机获得，所述病情文本信息由院前急救医护人员语音录入的病历信息获得，所述生理体征数据信息由MR头戴显示设备通过蓝牙连接至救护车监护仪实时获取数据信息。对病人常见急危重症病症进行预测，所述辅助诊断模块根据预测的病症信息进行急救流程实时提示，所述急救流程在所述MR头戴显示设备的显示窗口上显示，并跟随院前急救救护人员位置及视角移动。
所述远程会诊模块将院前急救医护人员的MR头戴显示设备的摄像机的音视频内容以直播流形式推送至医院内专家，对急救现场同步进行远程指导，同时进行抢救记录生成。
如图2所示，所述多模态融合算法包括三个子网络，分别为处理病情文本信息的LSTM网络，处理病人面部图像信息的CNN网络，处理生理体征数据信息的BP神经网络，所述三个子网络输出特征拼接后，经由全连接层，应用softmax预测病症输出，采集住院部病人病情文本信息，监护仪生理体征数字信息，病人面部图像，并进行病症标注，制作辅助诊断数据集，利用辅助诊断数据集对所述多模态病症分类预测网络进行训练，基于辅助诊断数据集对所述多模态融合算法进行训练评估。所述训练评估为将辅助诊断数据集按7:2:1划分为训练数据、评估数据、测试数据，其中训练数据集用于对多模态融合算法进行训练，评估数据用于在训练过程中根据模型准确率与模型损失评估模型的训练效果，测试数据集用于对最终模型训练效果进行测试。
综上所述，该基于混合现实的院前急救辅助系统，在使用时，将MR头戴显示设备佩戴于院前急救医护人员的头部，与救护车监护仪蓝牙连接，与医院系统的医院私有云通过5G网络进行双向通信，医院私有云和医院云服务器双向通信连接，医院云服务器与医疗机构统一信息平台双向通信连接，医院云服务器与中控平台通信连接。通过院前急救医护人员MR头戴显示设备实现对院前急救中病人信息识别、生理体征监测、病症辅助诊断，通过MR头戴显示设备作混合现实呈现，MR头戴显示设备将音视频实时传输至院内专家进行远程会诊。MR头戴显示设备通过对院前急救病人人脸进行定位，获取病人人脸照片，并传输至医院私有云，经由医院云服务器进行人脸识别获得病人身份信息，在医院数据库中进行检索获取病人历史电子病历信息。之后，将病人身份信息及历史电子病历信息通过云服务器实时返回至医护人员MR头戴显示设备中，由显示窗口显示，显示窗口跟随院前急救救护人员位置及视角移动，可以彻底解放医护人员双手，使得医护人员可以进行更多的护理及救护操作。
同时，MR头戴显示设备通过蓝牙连接至救护车监护仪，读取监护仪中的病人生理体征参数，包括心电图、呼吸次数、血压、血氧饱和度、脉搏和体温。将生理体征参数实时显示在MR头戴显示设备的显示窗口上，显示窗口跟随医护人员位置及视角移动。生理体征监测模块为病人生理参数高于医学正常范围或低于正常范围的预设阈值。实时监测病人生理参数，与预设阈值进行比较，如果出现超出预设阈值，MR头戴显示设备的显示窗口会出现弹窗以及进行语音提醒特效，进行视觉及语音的实时警报。生理体征监测模块对急救病人的生理体征参数在混合现实显示设备中作实时监测与控制，使得医护人员对病人生命信息及状态有实时直接的获悉。
辅助诊断模块采用决策级的多模态融合算法，基于MR头戴显示设备采集的病人病情文本信息、监护仪生理体征数字信息和病人面部图像，进行病症标注，制作辅助诊断数据集，基于辅助诊断数据集对多模态融合算法进行训练评估。训练评估为将辅助诊断数据集按7:2:1划分为训练数据、评估数据、测试数据。其中训练数据集对多模态融合算法进行训练，评估数据用于在训练过程中根据模型准确率与模型损失评估模型的训练效果，测试数据集用于对最终模型训练效果进行测试。其中，病人面部图像信息由MR设备前置摄像机获得，病情文本信息由救助医生语音录入的病历信息获得，生理体征数据信息由MR头戴显示设备通过蓝牙连接至监护仪实时获取数据信息。多模态融合算法包含三个子网络，LSTM网络用于处理病情文本信息，CNN网络用于处理病人面部图像，BP神经网络用于处理生命体征数据信息。三个子网络输出特征拼接后，经由FC全连接层，然后应用softmax预测病症输出。通过辅助诊断模块对院前急救病人病症进行辅助预判，通过MR头戴显示设备对医护人员进行预测病症推送，并根据预判病症进行急救流程实时提示，通过MR头戴显示设备语音交互对医护人员每一步急救过程进行提示，并将急救流程显示在MR头戴显示设备的显示窗口上，显示窗口跟随院前急救医护护人员位置及视角移动。针对院前急救病种多样且复杂的问题采用急救辅助诊断算法，能够对病人病症进行初步诊断，对医护人员进行病症急救流程提示，使得急救过程更高效且规范，使病人在到达医院时具备更好的治疗条件。
远程会诊模块将MR头戴显示设备前置摄像机音视频内容，及病人信息、辅助诊断信息、生命体征数据MR呈现内容，以直播流形式推送至院内专家，实时无延迟地进行远程会诊。同时，远程专家向现场医生推送相关消息，同步进行操作指导。MR头戴显示设备中抢救记录自动生成，为院内治疗提供现场数据，回避医患纠纷。基于混合现实的远程会诊，实现上车即入院的急救方式，使得诊断治疗前移，提高院前急救患者抢救率。
以上均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。
Claims (8)
1.一种基于混合现实的院前急救辅助系统，其特征在于：包括混合现实显示设备、病人信息感知模块、生理体征监测模块、辅助诊断模块和远程会诊模块；
所述混合现实显示设备为MR头戴显示设备，佩戴于院前急救医护人员的头部，所述MR头戴显示设备包括摄像机、显示窗口、深度传感器和深度相机；
所述病人信息感知模块用于身份信息识别和病情信息录入，所述身份信息识别通过MR头戴显示设备的深度相机对病人进行人脸识别，获取病人人脸信息，并将所述人脸信息传输至医院系统，所述医院系统确定院前急救病人的身份信息和历史电子病历信息，并将所述身份信息和所述历史电子病历信息发送至MR头戴显示设备以显示，所述病情信息录入由院前急救医护人员将病人生理参数通过语音录入病人电子病历中；
所述生理体征监测模块通过蓝牙连接救护车监护仪，用于获取院前急救病人的生理参数，所述生理体征监测模块将所述生理参数发送至MR头戴显示设备以显示，所述生理体征监测模块预设有阈值，监测病人生理参数；
所述辅助诊断模块采用基于决策级的多模态融合算法，基于病人病情文本信息、生理体征数据信息和病人面部图像信息，对病人常见急危重症病症进行预测，所述辅助诊断模块根据预测的病症信息进行急救流程实时提示，所述急救流程在所述MR头戴显示设备的显示窗口上显示，并跟随院前急救救护人员位置及视角移动；
所述远程会诊模块将院前急救医护人员的MR头戴显示设备的摄像机的音视频内容以直播流形式推送至医院内专家，对急救现场同步进行远程指导，同时生成抢救记录。
2.根据权利要求1所述的一种基于混合现实的院前急救辅助系统，其特征在于：所述深度传感器和深度相机用于语音手势交互、3D成像和3D人脸识别，所述显示窗口用于显示院前急救人员的身份信息、历史电子病历信息、急救流程和生理参数，并跟随院前急救救护人员位置及视角移动。
3.根据权利要求1所述的一种基于混合现实的院前急救辅助系统，其特征在于：所述医院系统包括医院私有云、医院云服务器、医疗机构统一信息平台和中控平台，所述医院私有云、医院云服务器、医疗机构统一信息平台和中控平台之间通信连接，所述医院私有云与MR头戴显示设备通信连接，所述MR头戴显示设备的深度相机对病人进行人脸识别，获取病人人脸信息后，将所述人脸信息传输至医院私有云，经由医院云服务器进行人脸识别获得病人身份信息，在医疗机构统一信息平台中检索获取病人历史电子病历信息，并将所述病人身份信息及历史电子病历信息通过医院云服务器和医院私有云返回至院前急救医护人员MR头戴显示设备中，所述历史电子病历信息在显示窗口显示，医院云服务器生成入院信息传送至中控平台。
4.根据权利要求1所述的一种基于混合现实的院前急救辅助系统，其特征在于：所述生理体征监测模块将病人生理参数实时显示在所述MR头戴显示设备的显示窗口上，所述显示窗口跟随院前急救医护人员的位置和视角移动，所述生理参数包括心电、呼吸次数、血压、血氧饱和度、脉搏和体温。
5.根据权利要求1或4所述的一种基于混合现实的院前急救辅助系统，其特征在于：所述生理体征监测模块将监测的病人生理参数与预设阈值进行比较，超出预设阈值时，通过所述MR头戴显示设备进行视觉及语音的实时警报。
6.根据权利要求1所述的一种基于混合现实的院前急救辅助系统，其特征在于：所述病人面部图像信息由MR头戴显示设备的摄像机获得，所述病情文本信息由院前急救医护人员语音录入的病历信息获得，所述生理体征数据信息由MR头戴显示设备通过蓝牙连接至救护车监护仪实时获取数据信息。
7.根据权利要求1所述的一种基于混合现实的院前急救辅助系统，其特征在于：所述多模态融合算法包括三个子网络，分别为处理病情文本信息的LSTM网络，处理病人面部图像信息的CNN网络，处理生理体征数据信息的BP神经网络，所述三个子网络输出特征拼接后，经由全连接层，应用softmax预测病症输出，采集住院部病人病情文本信息，监护仪生理体征数字信息，病人面部图像，并进行病症标注，制作辅助诊断数据集，利用辅助诊断数据集对所述多模态病症分类预测网络进行训练，基于辅助诊断数据集对所述多模态融合算法进行训练评估。
8.根据权利要求7所述的一种基于混合现实的院前急救辅助系统，其特征在于：所述训练评估为将辅助诊断数据集按7:2:1划分为训练数据、评估数据、测试数据，其中训练数据集用于对多模态融合算法进行训练，评估数据用于在训练过程中根据模型准确率与模型损失评估模型的训练效果，测试数据集用于对最终模型训练效果进行测试。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210157276.5A CN114566275A (zh) | 2022-02-21 | 2022-02-21 | 一种基于混合现实的院前急救辅助系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210157276.5A CN114566275A (zh) | 2022-02-21 | 2022-02-21 | 一种基于混合现实的院前急救辅助系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114566275A true CN114566275A (zh) | 2022-05-31 |
Family
ID=81713490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210157276.5A Pending CN114566275A (zh) | 2022-02-21 | 2022-02-21 | 一种基于混合现实的院前急救辅助系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114566275A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116229581A (zh) * | 2023-03-23 | 2023-06-06 | 珠海市安克电子技术有限公司 | 一种基于大数据的智能互联急救系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845120A (zh) * | 2017-01-19 | 2017-06-13 | 杭州古珀医疗科技有限公司 | 一种基于混合现实技术的远程医疗系统及其操作方法 |
| CN110431636A (zh) * | 2017-01-11 | 2019-11-08 | 奇跃公司 | 医疗助理 |
| CN112530584A (zh) * | 2020-12-15 | 2021-03-19 | 贵州小宝健康科技有限公司 | 一种医疗诊断辅助方法及系统 |
| CN113113136A (zh) * | 2021-04-15 | 2021-07-13 | 杭州炽橙数字科技有限公司 | 一种基于混合现实的医疗辅助决策系统 |
| CN113241135A (zh) * | 2021-04-30 | 2021-08-10 | 山东大学 | 一种基于多模态融合的疾病风险预测方法和系统 |
-
2022
- 2022-02-21 CN CN202210157276.5A patent/CN114566275A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110431636A (zh) * | 2017-01-11 | 2019-11-08 | 奇跃公司 | 医疗助理 |
| CN106845120A (zh) * | 2017-01-19 | 2017-06-13 | 杭州古珀医疗科技有限公司 | 一种基于混合现实技术的远程医疗系统及其操作方法 |
| CN112530584A (zh) * | 2020-12-15 | 2021-03-19 | 贵州小宝健康科技有限公司 | 一种医疗诊断辅助方法及系统 |
| CN113113136A (zh) * | 2021-04-15 | 2021-07-13 | 杭州炽橙数字科技有限公司 | 一种基于混合现实的医疗辅助决策系统 |
| CN113241135A (zh) * | 2021-04-30 | 2021-08-10 | 山东大学 | 一种基于多模态融合的疾病风险预测方法和系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116229581A (zh) * | 2023-03-23 | 2023-06-06 | 珠海市安克电子技术有限公司 | 一种基于大数据的智能互联急救系统 |
| CN116229581B (zh) * | 2023-03-23 | 2023-09-19 | 珠海市安克电子技术有限公司 | 一种基于大数据的智能互联急救系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107007253B (zh) | 医疗系统 | |
| US11935656B2 (en) | Systems and methods for audio medical instrument patient measurements | |
| US20220044821A1 (en) | Systems and methods for diagnosing a stroke condition | |
| JP2019048078A (ja) | システム | |
| CN112384970A (zh) | 用于时间要求严格的生物医学应用的增强现实系统 | |
| US20150305662A1 (en) | Remote assessment of emotional status | |
| KR102684860B1 (ko) | 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템 및 그 방법 | |
| CN112309552A (zh) | 一种基于ai的手环式放疗安全智能化全程管理系统及方法 | |
| Wrobel et al. | Medical cyber-physical system for home telecare of high-risk pregnancy: design challenges and requirements | |
| CN116895372B (zh) | 一种基于大规模语言模型与元学习的智能急救分级系统 | |
| CN107714006A (zh) | 一种基于虚拟现实头戴式显示装置的远程互动系统及方法 | |
| CN114566275A (zh) | 一种基于混合现实的院前急救辅助系统 | |
| Rodriguez et al. | Towards automatic sensor-based triage for individual remote monitoring during mass casualty incidents | |
| CN110729043A (zh) | Ar远程诊断系统 | |
| Nerella et al. | AI-enhanced intensive care unit: revolutionizing patient care with pervasive sensing | |
| US20210375462A1 (en) | System and method utilizing software-enabled artificial intelligence for health monitoring and medical diagnostics | |
| CN113053514A (zh) | 基于5g通信技术的智慧城市医联体系统 | |
| TW202020890A (zh) | 醫療資訊顯示系統與顯示內容產生方法 | |
| CN116825337A (zh) | 患者安全护理预警系统 | |
| Al-Kalidi et al. | Respiratory rate measurement in children using a thermal camera | |
| CN117136028A (zh) | 患者监测系统 | |
| US8753293B2 (en) | Control system for childbirth and method thereof | |
| KR102722421B1 (ko) | 인공지능에 기초한 원격 진료 시스템 | |
| Lenka et al. | 5 Computer vision for medical diagnosis and surgery | |
| WO2023178957A1 (zh) | 生命体征监测方法、相关设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |