CN113409624A - 一种基于ar增强现实技术的心肺复苏训练系统 - Google Patents
一种基于ar增强现实技术的心肺复苏训练系统 Download PDFInfo
- Publication number
- CN113409624A CN113409624A CN202110789407.7A CN202110789407A CN113409624A CN 113409624 A CN113409624 A CN 113409624A CN 202110789407 A CN202110789407 A CN 202110789407A CN 113409624 A CN113409624 A CN 113409624A
- Authority
- CN
- China
- Prior art keywords
- training
- module
- user
- patient
- resuscitation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 156
- 238000002680 cardiopulmonary resuscitation Methods 0.000 title claims abstract description 67
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 27
- 238000005516 engineering process Methods 0.000 title claims description 22
- 230000006835 compression Effects 0.000 claims abstract description 43
- 238000007906 compression Methods 0.000 claims abstract description 43
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 38
- 239000011521 glass Substances 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000000694 effects Effects 0.000 claims abstract description 11
- 210000000038 chest Anatomy 0.000 claims description 33
- 230000000747 cardiac effect Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 19
- 210000001715 carotid artery Anatomy 0.000 claims description 15
- 210000002216 heart Anatomy 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 6
- 238000010079 rubber tapping Methods 0.000 claims description 6
- 210000000115 thoracic cavity Anatomy 0.000 claims description 6
- 210000005069 ears Anatomy 0.000 claims description 5
- 208000003663 ventricular fibrillation Diseases 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 230000010349 pulsation Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims 1
- 230000009471 action Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 20
- 230000036544 posture Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 210000003128 head Anatomy 0.000 description 9
- 238000004088 simulation Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 210000003491 skin Anatomy 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000004087 circulation Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 231100000331 toxic Toxicity 0.000 description 2
- 230000002588 toxic effect Effects 0.000 description 2
- 208000010496 Heart Arrest Diseases 0.000 description 1
- 206010049418 Sudden Cardiac Death Diseases 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001862 defibrillatory effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000009429 distress Effects 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000002297 emergency surgery Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000004731 jugular vein Anatomy 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000001562 sternum Anatomy 0.000 description 1
- 208000014221 sudden cardiac arrest Diseases 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
- G09B23/288—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for artificial respiration or heart massage
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Educational Technology (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Medicinal Chemistry (AREA)
- Heart & Thoracic Surgery (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Medical Informatics (AREA)
- Chemical & Material Sciences (AREA)
- Mathematical Analysis (AREA)
- Cardiology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Percussion Or Vibration Massage (AREA)
Abstract
一种基于AR增强现实技术的心肺复苏训练系统，属于增强现实技术领域，用以解决现有的心肺复苏训练系统对于心肺复苏操作训练效果不佳的问题。本发明的技术要点包括：该系统包括用户端、管理员端和服务端；其中，用户端用于实现心肺复苏操作训练，包括培训模块，培训模块包括现场处理培训子模块、胸外按压培训子模块和人工呼吸培训子模块；服务端包括数据采集模块、虚拟场景生成模块、AR眼镜显示模块和头部跟踪模块。本发明系统可以使使用者观看到三维立体的沉浸式虚拟画面，并且可以与现实世界中的场景叠加，从而使使用者在进行心肺复苏操作时产生身临其境的感觉，达到更好的训练效果。本发明适用于使用者快速准确的掌握心肺复苏的操作技能。
Description
技术领域
本发明涉及增强现实技术领域，具体涉及一种基于AR增强现实技术的心肺复苏训练系统。
背景技术
心肺复苏术是拯救心脏骤停患者必不可少的一项救命措施。已经有很多学校和培训机构通过各种手段进行模拟手术，来为公众增加更多的心肺复苏模拟操练机会，但接受心肺复苏培训的主要人群集中在护理、医学和体育等特定专业的用户群体上。目前的模拟心肺复苏培训大多是通过橡胶人体进行培训，临场感较差；同时由于在对大用户进行培训时用户与指导人员位置、角度存在差异，在考核时主要依据老师的经验来判断，考核客观性和效率难以保证。传统心肺复苏训练需要用到身体模型或真人演练。由于人体模型资源紧张、真人演练在人工呼吸等环节不方便顺利开展、教师依据经验考核导致客观性不足等缺点，影响了学生心肺复苏的最终训练效果。
发明内容
鉴于以上问题，本发明提出一种基于AR增强现实技术的心肺复苏训练系统，用以解决现有的心肺复苏训练系统对于心肺复苏操作训练效果不佳的问题。
一种基于AR增强现实技术的心肺复苏训练系统，包括用户端、管理员端和服务端；其中，
用户端用于实现心肺复苏操作的训练，包括培训模块；所述培训模块包括现场处理培训子模块、胸外按压培训子模块和人工呼吸培训子模块；所述现场处理培训子模块用于实现对心脏复苏操作进行现场处理的训练；所述胸外按压培训子模块用于实现胸外按压操作的训练；所述人工呼吸培训子模块用于实现人工呼吸操作的训练；
管理员端用于管理人员对系统的常规管理；
服务端包括数据采集模块、虚拟场景生成模块、AR眼镜显示模块、头部跟踪模块；所述数据采集模块用于采集心脏复苏传感器数据；所述虚拟场景生成模块用于负责心肺复苏训练的各类动态场景建模、管理及绘制；所述AR眼镜显示模块用于显示虚拟现实融合场景；所述头部跟踪模块用于跟踪用户视线变化并将虚拟场景投射在现实环境中。
进一步地，所述心脏复苏传感器数据包括按压传感器数据和气流传感器数据。
进一步地，所述用户端还包括考核模块，所述考核模块用于检验考核用户对心肺复苏流程学习的效果，包括查看子模块、视频回放子模块和成绩导出子模块。
进一步地，所述用户端还包括身份认证模块，所述身份认证模块用于实现用户预约和用户验证。
进一步地，所述管理员端包括权限管理模块、用户管理模块、资源管理模块和指标管理模块；其中，权限管理模块用于设置和删除权限；用户管理模块用于增加、查询和删除用户；资源管理模块用于导入、导出和备份资源；指标管理模块用于设计和赋值指标。
进一步地，所述现场处理培训子模块中对心脏复苏操作进行现场处理的具体步骤包括：确认现场环境安全；通过轻拍病人双肩或者在病人耳边大声呼唤判断倒地病人反应；指令旁人帮忙拨打120，寻找AED除颤仪；触摸病人颈动脉，判别心跳、观察病人胸腔起伏做呼吸判定；若病人颈动脉搏动消失，呼吸停止，立即启动胸外按压培训子模块和人工呼吸培训子模块，进行五组组合循环抢救；五组组合循环结束后立即复检病人；若复检病人结束后病人没有复苏，继续五组胸外按压与人工呼吸的组合循环抢救。
进一步地，所述现场处理培训子模块中在通过胸外按压培训子模块进行胸外按压的同时，若AED除颤仪到位，立即启动AED除颤仪除颤；且在执行五组循环的过程中，每隔5分钟内进行一次除颤电级片的自动分析病人心率情况，若病人出现室颤心率，除颤仪自动给出提示。
进一步地，所述心脏复苏传感器数据还包括声学传感器采集的语音数据和光学传感器采集的手势数据。
进一步地，所述培训模块还包括畅通气道培训子模块和事后处置培训子模块；所述畅通气道培训子模块用于实现清除病人口鼻异物并使气道畅通操作的训练；所述事后处置培训子模块用于实现对病人进行安置或安抚操作的训练。
本发明的有益技术效果是：
本发明所提出的心肺复苏训练系统，可以使使用者通过增强现实技术观看到三维立体的沉浸式虚拟画面，并且可以将三维立体的虚拟画面与现实世界中的场景进行叠加，从而使使用者在进行心肺复苏时产生身临其境的感觉，达到更好的培训效果。
本发明利用增强现实技术将心肺复苏的训练转为自主化培训，是虚拟现实技术与医疗急救培训领域的结合，通过增强现实系统的分析与设计，进行功能设计，将传统心肺复苏的流程进行了优化，可利用本发明系统实现用户的心肺复苏训练自主化。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1是本发明一种基于AR增强现实技术的心肺复苏训练系统的结构示意图；
图2是本发明具体实施例一种基于AR增强现实技术的心肺复苏训练系统架构图；
图3是本发明具体实施例中Hololens眼镜结构示意图；
图4是本发明具体实施例中心肺复苏传感器结构示意图；
图5是本发明具体实施例中心脏复苏训练时的系统交互示意图；
图6是本发明具体实施例中系统用户端的功能设计示例图；
图7是本发明具体实施例中进行心脏复苏训练的示例图；
图8是本发明具体实施例中进行心脏复苏训练的示例图；
图9是本发明具体实施例中进行心脏复苏训练的示例图；
图10是本发明具体实施例中进行心脏复苏训练的示例图；
图11是本发明具体实施例中进行心脏复苏训练的示例图；
图12是本发明具体实施例中进行心脏复苏训练的示例图；
图13是本发明具体实施例中进行心脏复苏训练的示例图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然，所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例，而不是全部的。基于本发明中的实施方式或实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例，都应当属于本发明保护的范围。
心肺复苏(Cardio Pulmonary Resuscitation,CPR)是急救手术中的一类,主要用于心脏骤停患者的急救。心肺复苏可以在患者不能自然呼吸或血液循环系统出现障碍时，通过一系列按压、人工呼吸等手段保持患者脑部功能正常。增强现实(AR)主要利用AR眼镜进行虚拟屏幕投影，合成虚拟场景叠加在现实世界的物体上以增强用户体验，使用户在现实世界中进行交互但现实中又存在局部的虚拟场景。用户对叠加在现实环境下的虚拟场景无法辨别真伪。AR眼镜不封闭人体感官，因此用户戴上AR眼镜依然可以在现实世界产生虚拟交互。AR眼镜hololens自带独立的系统，其本身既是传感器系统又是一个显示器。该系统通过跟踪眼球视线轨迹或声音识别判断用户的状态和用户发出的交互指令。
由此，本发明提出一种基于AR增强现实技术的心肺复苏训练系统，如图1所示，该系统包括用户端1、管理员端2和服务端3；其中，用户端1用于实现心肺复苏操作的训练，包括培训模块11、考核模块12和身份认证模块13；培训模块11包括现场处理培训子模块111、胸外按压培训子模块112、畅通气道培训子模块113、人工呼吸培训子模块114、事后处置培训子模块115；现场处理培训子模块111用于实现对心脏复苏操作进行现场处理的训练；胸外按压培训子模块112用于实现胸外按压操作的训练；畅通气道培训子模块113用于实现清除病人口鼻异物并使气道畅通操作的训练；人工呼吸培训子模块114用于实现人工呼吸操作的训练；事后处置培训子模块115用于实现对病人进行安置或安抚操作的训练；考核模块12用于考核检验用户对心肺复苏流程学习的效果，包括查看子模块121、视频回放子模块122和成绩导出子模块123；考核环节中的每一个操作与培训中的相同，但是数据流程主要是在考核的每一个环节动作是否标准，并且没有系统提示。在现场处理过程中，会出现人物呼救的语音输入，同时用户的操作也会输出语音；在胸外按压环节，用户在按压传感器上按压产生的按压幅度、频次和位置等物理信息将被输出并进行比对，其他动作同理。考核中，每一环节都会有规定时间范围以保证心肺复苏动作的流畅性，数据库中也会将虚拟图像数据对接进来，主要是场景模拟，在考试中会形成各个环节的分数，最后进行加总获得最后的成绩信息。在本地保存操作的视频信息，可进行事后查看，但当用户下机后，本地不保存该视频。身份认证模块13用于实现用户预约和用户验证。
管理员端2用于管理人员对系统的常规管理；管理员端包括权限管理模块21、用户管理模块22、资源管理模块23和指标管理模块24；其中，权限管理模块21用于设置和删除权限；用户管理模块22用于增加、查询和删除用户；资源管理模块23用于导入、导出和备份资源，资源主要是指用户身份信息、用户成绩信息、用户按压操作数据、用户培训考核视频、错误记录截图、虚拟现实场景资源和培训音视频资源等；指标管理模块24用于设计和赋值指标，指标是指为本系统实现自动评分功能而设计的一个考核评分体系，可以确定考核体系的一级指标和二级指标，即将胸外按压、开放气道和人工呼吸的大环节分步骤拆解，形成详细的系统考核要点，分解步骤进行考核评分后，再加入间隔时间、按压中断时间操作步骤和按压通气比要素进行整合评分。
服务端3包括数据采集模块31、虚拟场景生成模块32、AR眼镜显示模块33、头部跟踪模块34；数据采集模块31用于采集心脏复苏传感器数据，包括按压传感器数据、气流传感器数据、声学传感器采集的语音数据和光学传感器采集的手势数据；虚拟场景生成模块32用于负责心肺复苏训练的各类动态场景建模、管理及绘制；AR眼镜显示模块33用于显示虚拟现实融合场景；头部跟踪模块34用于跟踪用户视线变化并将虚拟场景投射在现实环境中。
进一步地，现场处理培训子模块111中对心脏复苏操作进行现场处理的具体步骤包括：确认现场环境安全；通过轻拍病人双肩或者在病人耳边大声呼唤判断倒地病人反应；指令旁人帮忙拨打120，寻找AED除颤仪；触摸病人颈动脉，判别心跳、观察病人胸腔起伏做呼吸判定；若病人颈动脉搏动消失，呼吸停止，立即启动胸外按压培训子模块和人工呼吸培训子模块，进行五组组合循环抢救；五组组合循环结束后立即复检病人；若复检病人结束后病人没有复苏，继续五组胸外按压与人工呼吸的组合循环抢救；在通过胸外按压培训子模块进行胸外按压的同时，若AED除颤仪到位，立即启动AED除颤仪除颤；且在执行五组循环的过程中，每隔5分钟内进行一次除颤电级片的自动分析病人心率情况，若病人出现室颤心率，除颤仪自动给出提示。
具体实施例一
系统总体架构采用C/S的搭建方式，基于系统需求分析，系统的总体架构如图2所示，可分为表现层、应用层、服务层和数据层和基础层。另外，单独建立系统管理模块，满足管理人员对系统的常规管理。
基础层主要是各类软硬件、网络技术设施等。其中，本发明系统中增强现实可穿戴设备主要指Hololens眼镜和数据手套。Hololens眼镜本身就是一个传感器系统，如图3所示，可以捕捉声音、手势动作等，基础层中传感器主要指按压传感器和气流传感器等。如图4所示，心肺复苏传感器起到帮助用户完成交互并进行用户训练数据采集、通过信号调理器进行培训数据的标准化转化；系统的数据接口由采购的传感器设备提供方提供接口，并将训练数据传入系统进行评分；
数据层中用户信息库主要用来验证用户预约信息，并保存用户基本信息；模型标准数据库保存标准手术操作的一系列语音、动作与虚拟现实视频图像；手术训练数据库是用来保存用户在手术训练与考核过程中产生的并通过相应的数据接口传输进来的外部数据，可以与标准库进行比对，从而向用户界面发送相关的反馈；成绩库用来生成和保存成绩，用户的基本信息，标准库与操作库的对比结果都会传输进来并进行用户反馈。
服务层主要起到业务支撑的作用。为了保证应用层系统正常运行，服务层需调用各类设备为语音、动作等各类信息的采集打好基础。另外，还需要调动各类模块进行数据的收集，通过数据接口保存至相关数据库。
应用层就是将各类应用集于一身，包括开始训练之前的登录系统，训练指导的培训系统，效果检验的考核系统。本虚拟现实系统采用的是AR增强现实技术。如图5所示，系统结构由虚拟场景生成单元、AR眼镜显示器、头部跟踪设备和交互设备构成。其中虚拟场景生成单元负责心肺复苏培训的各类动态场景建模、管理、绘制和其它外设的管理；透射式眼镜显示器负责显示虚拟现实融合场景，但其本身也是一个传感系统，其自带的跟踪设备跟踪用户视线变化，将虚拟场景投射在现实环境中；心肺复苏传感器作为用户与虚拟现实系统的交互工具，产生物理操作信号的输入输出。
用户进行心肺复苏训练时，首先AR眼镜显示器采集真实场景的视频和图像，传入后台的处理单元对其进行分析和重构，并结合头部跟踪设备的数据来分析虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景的融合计算；心肺复苏传感器采集训练数据，实现对虚实结合场景的交互操作。系统融合后的信息会实时地显示在头盔显示器中，展现在人的视野中。
表现层给用户提供简洁的虚拟操作界面。用户戴上眼镜后，会产生虚实结合的系统场景并通过AR眼镜投射虚拟显示屏，可以在上面选择不同的系统功能，也可以在虚拟屏幕上看到各类传回的指导与反馈信息。
结合功能模块和业务流程的分析，将系统分为身份认证、培训、考核和系统管理四个子系统。每一个子系统(模块)包含不同功能模块(子模块)，其中，系统管理子系统的功能主要包括用户管理、资源管理和指标管理三大类。系统具有自动评分计时数据比对等功能，这些功能会用在各个子系统中。心肺复苏训练系统的功能设计如图6所示。
身份认证子系统(即身份认证模块)：主要完成用户预约和用户验证的功能，用户前期可进入网络端或系统终端进行预约，填写预约信息，可使用身份证等进行刷卡验证。
培训子系统(即培训模块)：根据功能分析模块的划分，心肺复苏的虚拟界面提供应急环境模拟、人体模拟、设备模拟以及操作数据浏览的功能。用户在虚拟场景中进行操作的同时，也会出现虚拟屏幕投射至虚拟场景中的合适位置，显示训练期间的各类物理数据或者功能选项。培训一次的时间是40分钟，在培训过程中也会记录间隔时间、操作时间，作为检验用户操作是否标准，节奏是否合理的依据。用户在培训过程中有语音输出代替老师进行培训指导，同时有一些环节需要进行语音输入，如在心肺复苏过程中，现场处理环节，需要进行现场呼救，用户语音输入内容系统进行记录。语音输入后，系统对语音进行识别，并与标准语音内容进行比对，查看用户是否完成并且达到语音呼救要求。虚拟场景中有标准动作路径帮助用户快速准确掌握心肺复苏的要点，同时用户的各类要求姿势也会输入系统，此功能是系统进行动作姿势比对的基础。心肺复苏环节中有一些环节提出对姿势的要求，如进行胸外按压时，要求肘关节不能弯曲，系统将用户输入的姿势与标准库进行重叠比对，可以判断用户动作姿势的规范性。心肺复苏中的胸外按压环节，对按压的频率、深度等进行了严格规定，将标准数据输出，投放至虚拟屏幕，并将用户按压数据进行系统输入，为系统进行按压数据的比对做好准备。系统对用户培训过程中通过按压板产生的按压数据输入标准库进行比对，此功能可以发现用户在按压环节的动作失误。当系统进行语音比对、动作比对、按压数据比对后，对用户的错误动作或不规范动作提出语音警报，同时投射至虚拟屏幕，指明错误类型，让用户可以实时掌握自己的培训动态。当用户在培训时，某一环节出现动作不规范或者动作错误，在错误警报后，用户可以选择错误步骤重演，跳回至上一功能，进行该环节的第二次培训。当用户在培训过程中遇到突发状况时，可以暂停培训或者终止此次培训并退出培训。
考核子系统(即考核模块)：选择考核后即可进入心肺复苏的考核环节，进行学习效果检验。系统计时功能可记录操作节奏，操作时长等数据。系统将用户在考核过程中的语音进行输入记录。语音输入后，系统对语音进行识别，并与标准语音内容进行比对，检测是否达到得分要求。用户在心肺复苏系统中的操作动作和操作姿势会被系统捕捉并存入系统。用户心肺复苏考核中输入的姿势与标准库进行重叠比对，可以对用户动作姿势的规范性进行评分。将用户按压数据输入系统。系统将用户输入的按压数据与标准库进行比对，并给出分数。通过语音识别用户口述内容、用户动作姿势捕获进行环境确认、意识确认、现场呼救、摆正体位、呼吸判断的要点是否得分，并进行该环节评分。根据现场处理环节的得分点，对用户的现场处理一系列操作打分。得分点包括考核用户是否检查颈动脉搏、是否解开患者衣物及腰带、按压部位和操作姿势是否标准以及按压的幅度与频次是否达标。考核模块中，畅通气道部分的评分主要是动作是否完成，姿势是否标准，并给出此部分的分数。根据人工呼吸环节的得分点，对用户在考核环节中人工呼吸的一系列操作评分。根据后续处置环节的操作顺序，对用户在虚拟环境中的后续处置操作打分。根据用户每个环节的间隔时间综合评价用户的动作连贯性与流畅性并进行打分。用户在考核中出现动作不规范或操作不当的失误，系统将错误动作进行截图以备查验。用户在系统中将考试做完后，系统将每一个环节的分数汇总，整理出最终百分制成绩，用户可以选择成绩查看。当用户对某一个步骤的考核分数有异议时，可以选择错误截图查看，找出相关扣分原因。除了截图可以查看外，整个考核操作过程也进行了视频记录，可以在考核之后选择回放观察。用户考核结束后，可以将自己的成绩导出。
系统管理子系统(即管理员端)：为管理员能够实现权限管理、用户管理和资源管理的增删查改的功能。具体包括权限管理模块中的设置权限和删除权限功能；用户管理模块中的用户增加、用户查询和用户删除功能；资源管理模块中的资源导入、资源导出和资源备份功能。在指标管理中，包含指标设计和指标赋值。
数据库主要包含用户信息库，心肺复苏培训资源库和标准动作库。其中，用户信息库主要是用户信息库和管理员信息库。心肺复苏培训资源库主要是指在Unity3D平台中设计的全套场景资源，包括视频、音频和模型等。标准动作库分为传感器、标准操作表，操作错误表和评分规则表。用户在操作过程中利用操作传感器产生操作数据，该操作数据可以与标准操作表、操作错误表和评分规则表进行匹配，得到用户成绩。
具体实施例二
利用已开发完成的全流程量化心肺复苏培训系统的软件和硬件基础条件，利用AR增强现实技术进行技术融合，开发出具备虚拟场景和真实场景交互功能的升级版全流程量化心肺复苏培训系统。
1.应用环境需求：
1)硬件需求：保持原有全流程量化心肺复苏培训系统硬件不做改变的情况下，增加AR眼镜硬件，该AR眼镜硬件与原有系统硬件可以进行实时数据通讯，并且在AR眼镜端构建出与真实场景应用相交互的虚拟场景。
2)软件需求：构建数据。
3)网络环境：原有系统基于独立路由器构建的局域网络，再增加AR眼镜设备后如何构建新的网络环境是一个需要探讨的问题。
2.实际应用需求：
在学员操作过程中，需要实时反馈的内容有：确认现场环境安全(火灾、公路、有毒、地震现场)；发现病人倒地，判断病人反应(轻拍病人双肩、在左右耳边大声呼唤病人)；指令旁人帮忙拨打120，寻找AED；触摸病人颈动脉，判别心跳、观察病人胸腔起伏做呼吸判定；若病人颈动脉搏动消失，呼吸停止，立即启动胸外按压；胸外按压的同时，若除颤仪到位，应立即启动AED除颤仪除颤；除颤完成后，应立即启动五组胸外按压和人工呼吸(30：2模式)相结合的循环抢救；五组循环结束后，应立即复检病人；若复检病人结束后病人没有复苏，应继续五组30：2的循环按压与人工呼吸；在执行五组循环的过程中，每隔5分钟内将进行一次除颤电级片的自动分析病人心率情况，若病人出现室颤心率，除颤仪将自动给与提示“病人室颤，停止按压，准备除颤”
3.AR交互场景需求(包括动画制作画面和动作实时传输画面)：
在学员操作过程中，需要AR实时反馈的流程及内容有：
1)确认现场环境安全(火灾、公路、有毒、地震现场)；室内房间(办公桌椅、地毯等)，站立虚拟人附衣着；
创建模型：室内房间(办公桌椅、地毯等)，站立男性(病人)，拉链外套，牛仔裤，鞋子；
2)发现病人倒地，判断病人反应(轻拍病人双肩、在左右耳边大声呼唤病人)：虚拟人体突然倒地头部向右方位(穿拉链外套)；急救员跑到虚拟人右侧，跪姿(等待拍双肩信号)轻拍虚拟人双肩(同步真实操作者动作)；左右耳两边呼唤病人，声音+文字“你怎么啦？快醒醒”(左右各两次动画停止)；示意图如图7所示；
创建模型：男性(急救员)，短袖衬衫，休闲裤，鞋子；
3)指令旁人帮忙拨打120，寻找AED；急救员向周围人群呼喊“快拨打120”、“拿除颤仪”(一次动画)；示意图如图8所示；
创建模型：人群(一男一女)，附衣着；
4)触摸病人颈动脉，判别心跳、观察病人胸腔起伏做呼吸判定；急救员立即俯身，左耳贴近病人的口鼻处，同时眼睛看向病人胸廓；急救员左手食指和中指并拢触摸病人颈动脉(同步)，并大声读数“1001-1006”，示意图如图9所示；读数期间，颈部局部解剖画面凸显出来，两条颈动脉闪烁(皮肤、动脉、心脏)(直到读数结束)，示意图如图10所示；
创建模型：头部至胸腔部位皮肤，心脏，两条颈动脉；
5)若病人颈动脉搏动消失，呼吸停止，除颤仪到位，应立即启动AED除颤仪除颤；急救员拉开病人拉链，暴露皮肤，除颤仪启动(按钮闪动)+电极片2个(贴片位置闪动，贴合后闪动取消)+除颤信号(除颤按键闪动，按下按键后闪动取消)+虚拟手按键发生除颤动作+身体颤动抖一下(一次结束)语音+文字提示：“远离病人”；
6)除颤完成后，应立即启动五组胸外按压和人工呼吸(30：2模式)相结合的循环抢救；以按压姿势启动胸腔按压，持续动作直到真实操作员操作继续同步，示意图如图11所示；收到按压数据后，画面推进保留急救员的上臂下端和病人腹腔及以上部位，如图12、13所示；28次按压后语音提示“准备人工呼吸”；30次±2按压之后，开启人工呼吸；
创建模型：头部至胸腔部位皮肤，心脏及冠脉，两条颈动脉，两条颈静脉，颈部与心脏连接处动静脉，胸骨，脑仁；
7)五组循环结束后，应立即复检病人，并重复触摸病人颈动脉，判别心跳、观察病人胸腔起伏做呼吸判定；
8)病人复苏成功，人文关怀。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
Claims (9)
1.一种基于AR增强现实技术的心肺复苏训练系统，其特征在于，包括用户端、管理员端和服务端；其中，
用户端用于实现心肺复苏操作的训练，包括培训模块；所述培训模块包括现场处理培训子模块、胸外按压培训子模块和人工呼吸培训子模块；所述现场处理培训子模块用于实现对心脏复苏操作进行现场处理的训练；所述胸外按压培训子模块用于实现胸外按压操作的训练；所述人工呼吸培训子模块用于实现人工呼吸操作的训练；
管理员端用于管理人员对系统的常规管理；
服务端包括数据采集模块、虚拟场景生成模块、AR眼镜显示模块、头部跟踪模块；所述数据采集模块用于采集心脏复苏传感器数据；所述虚拟场景生成模块用于负责心肺复苏训练的各类动态场景建模、管理及绘制；所述AR眼镜显示模块用于显示虚拟现实融合场景；所述头部跟踪模块用于跟踪用户视线变化并将虚拟场景投射在现实环境中。
2.根据权利要求1所述的一种基于AR增强现实技术的心肺复苏训练系统，其特征在于，所述心脏复苏传感器数据包括按压传感器数据和气流传感器数据。
3.根据权利要求2所述的一种基于AR增强现实技术的心肺复苏训练系统，其特征在于，所述用户端还包括考核模块，所述考核模块用于检验考核用户对心肺复苏流程学习的效果，包括查看子模块、视频回放子模块和成绩导出子模块。
4.根据权利要求3所述的一种基于AR增强现实技术的心肺复苏训练系统，其特征在于，所述用户端还包括身份认证模块，所述身份认证模块用于实现用户预约和用户验证。
5.根据权利要求4所述的一种基于AR增强现实技术的心肺复苏训练系统，其特征在于，所述管理员端包括权限管理模块、用户管理模块、资源管理模块和指标管理模块；其中，权限管理模块用于设置和删除权限；用户管理模块用于增加、查询和删除用户；资源管理模块用于导入、导出和备份资源；指标管理模块用于设计和赋值指标。
6.根据权利要求5所述的一种基于AR增强现实技术的心肺复苏训练系统，其特征在于，所述现场处理培训子模块中对心脏复苏操作进行现场处理的具体步骤包括：确认现场环境安全；通过轻拍病人双肩或者在病人耳边大声呼唤判断倒地病人反应；指令旁人帮忙拨打120，寻找AED除颤仪；触摸病人颈动脉，判别心跳、观察病人胸腔起伏做呼吸判定；若病人颈动脉搏动消失，呼吸停止，立即启动胸外按压培训子模块和人工呼吸培训子模块，进行五组组合循环抢救；五组组合循环结束后立即复检病人；若复检病人结束后病人没有复苏，继续五组胸外按压与人工呼吸的组合循环抢救。
7.根据权利要求6所述的一种基于AR增强现实技术的心肺复苏训练系统，其特征在于，所述现场处理培训子模块中在通过胸外按压培训子模块进行胸外按压的同时，若AED除颤仪到位，立即启动AED除颤仪除颤；且在执行五组循环的过程中，每隔5分钟内进行一次除颤电级片的自动分析病人心率情况，若病人出现室颤心率，除颤仪自动给出提示。
8.根据权利要求7所述的一种基于AR增强现实技术的心肺复苏训练系统，其特征在于，所述心脏复苏传感器数据还包括声学传感器采集的语音数据和光学传感器采集的手势数据。
9.根据权利要求8所述的一种基于AR增强现实技术的心肺复苏训练系统，其特征在于，所述培训模块还包括畅通气道培训子模块和事后处置培训子模块；所述畅通气道培训子模块用于实现清除病人口鼻异物并使气道畅通操作的训练；所述事后处置培训子模块用于实现对病人进行安置或安抚操作的训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110789407.7A CN113409624A (zh) | 2021-07-13 | 2021-07-13 | 一种基于ar增强现实技术的心肺复苏训练系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110789407.7A CN113409624A (zh) | 2021-07-13 | 2021-07-13 | 一种基于ar增强现实技术的心肺复苏训练系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113409624A true CN113409624A (zh) | 2021-09-17 |
Family
ID=77685931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110789407.7A Pending CN113409624A (zh) | 2021-07-13 | 2021-07-13 | 一种基于ar增强现实技术的心肺复苏训练系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409624A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114120739A (zh) * | 2021-11-15 | 2022-03-01 | 武汉湾流医学技术有限公司 | 一种体外除颤模拟训练方法及系统 |
| CN114550563A (zh) * | 2022-02-28 | 2022-05-27 | 杭州师范大学 | 一种基于ar技术的多场景cpr护理教学实验系统 |
| CN117934232A (zh) * | 2024-03-21 | 2024-04-26 | 中山市人民医院 | 一种基于vr的ecmo插管操作方法 |
| CN117934231A (zh) * | 2024-03-21 | 2024-04-26 | 中山市人民医院 | 一种基于vr的ecmo导丝扩张操作方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015008935A1 (ko) * | 2013-07-16 | 2015-01-22 | 주식회사 아이엠랩 | 심폐소생술 훈련 시뮬레이션 시스템 및 그 운용방법 |
| US20150325148A1 (en) * | 2013-07-16 | 2015-11-12 | I.M.Lab Inc. | Cardio pulmonary resuscitation (cpr) training simulation system and method for operating same |
| WO2018200692A1 (en) * | 2017-04-26 | 2018-11-01 | The Trustees Of The University Of Pennsylvania | Methods and systems for virtual and augmented reality training for responding to emergency conditions |
| CN109445598A (zh) * | 2018-11-07 | 2019-03-08 | 深圳珑璟光电技术有限公司 | 一种基于视觉的增强现实系统装置 |
| US20190282324A1 (en) * | 2018-03-15 | 2019-09-19 | Zoll Medical Corporation | Augmented Reality Device for Providing Feedback to an Acute Care Provider |
| CN110796910A (zh) * | 2019-11-13 | 2020-02-14 | 南昌佰米哥物联科技有限公司 | 一种高效应急培训系统和培训方法 |
| CN111653170A (zh) * | 2020-07-20 | 2020-09-11 | 向心引力(深圳)科技有限公司 | 一种心肺复苏培训系统及其培训方法 |
-
2021
- 2021-07-13 CN CN202110789407.7A patent/CN113409624A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015008935A1 (ko) * | 2013-07-16 | 2015-01-22 | 주식회사 아이엠랩 | 심폐소생술 훈련 시뮬레이션 시스템 및 그 운용방법 |
| US20150325148A1 (en) * | 2013-07-16 | 2015-11-12 | I.M.Lab Inc. | Cardio pulmonary resuscitation (cpr) training simulation system and method for operating same |
| WO2018200692A1 (en) * | 2017-04-26 | 2018-11-01 | The Trustees Of The University Of Pennsylvania | Methods and systems for virtual and augmented reality training for responding to emergency conditions |
| US20190282324A1 (en) * | 2018-03-15 | 2019-09-19 | Zoll Medical Corporation | Augmented Reality Device for Providing Feedback to an Acute Care Provider |
| CN109445598A (zh) * | 2018-11-07 | 2019-03-08 | 深圳珑璟光电技术有限公司 | 一种基于视觉的增强现实系统装置 |
| CN110796910A (zh) * | 2019-11-13 | 2020-02-14 | 南昌佰米哥物联科技有限公司 | 一种高效应急培训系统和培训方法 |
| CN111653170A (zh) * | 2020-07-20 | 2020-09-11 | 向心引力(深圳)科技有限公司 | 一种心肺复苏培训系统及其培训方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴冰雪等: "徒手心肺复苏(CPR)虚拟现实系统分析与设计", 《中国数字医学》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114120739A (zh) * | 2021-11-15 | 2022-03-01 | 武汉湾流医学技术有限公司 | 一种体外除颤模拟训练方法及系统 |
| CN114550563A (zh) * | 2022-02-28 | 2022-05-27 | 杭州师范大学 | 一种基于ar技术的多场景cpr护理教学实验系统 |
| CN117934232A (zh) * | 2024-03-21 | 2024-04-26 | 中山市人民医院 | 一种基于vr的ecmo插管操作方法 |
| CN117934231A (zh) * | 2024-03-21 | 2024-04-26 | 中山市人民医院 | 一种基于vr的ecmo导丝扩张操作方法 |
| CN117934232B (zh) * | 2024-03-21 | 2024-05-28 | 中山市人民医院 | 一种基于vr的ecmo插管操作方法 |
| CN117934231B (zh) * | 2024-03-21 | 2024-06-04 | 中山市人民医院 | 一种基于vr的ecmo导丝扩张操作方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113409624A (zh) | 一种基于ar增强现实技术的心肺复苏训练系统 | |
| CN107369352A (zh) | 智能精准中医技能培训考核系统 | |
| Won et al. | Automatic detection of nonverbal behavior predicts learning in dyadic interactions | |
| CN208156892U (zh) | 智能精准中医技能培训考核系统 | |
| CN108938379A (zh) | 一种自闭症康复教育人机互动强化训练系统 | |
| US20190180637A1 (en) | Virtually Resilient Simulator | |
| US11270597B2 (en) | Simulated reality technologies for enhanced medical protocol training | |
| CN113223389A (zh) | 一种基于ar技术的心肺复苏自助培训考核系统 | |
| US20240153407A1 (en) | Simulated reality technologies for enhanced medical protocol training | |
| Lee et al. | Development of an extended reality simulator for basic life support training | |
| Boonbrahm et al. | Interactive marker-based augmented reality for CPR training | |
| KR102254071B1 (ko) | 다중사용자 가상환경 기반의 간호 교육 장치 및 간호 교육 콘텐츠 제공 방법 | |
| Lefter et al. | NAA: A multimodal database of negative affect and aggression | |
| AU2012200818B2 (en) | Medical simulation system | |
| Grünerbl et al. | Monitoring and enhancing nurse emergency training with wearable devices | |
| Zhou et al. | Bringing patient mannequins to life: 3D projection enhances nursing simulation | |
| KR20180097334A (ko) | 심폐 소생술 훈련 시뮬레이션 방법 | |
| KR102498558B1 (ko) | 엑스알(xr)기반 중증외상 처치훈련 시스템 | |
| Curiel et al. | Virtual Reality Self Co-embodiment: An Alternative to Mirror Therapy for Post-Stroke Upper Limb Rehabilitation | |
| WO2020073103A1 (en) | Virtual reality system | |
| Zikky et al. | Virtual Reality Simulator for Cardiopulmonary Resuscitation (CPR) as Lifesaving Method in Many Emergencies Patients | |
| KR20160004836A (ko) | 자가학습용 심폐소생술 교육시스템 및 교육방법 | |
| Uribe-Quevedo et al. | Physical and physiological data for customizing immersive VR training | |
| Pretto et al. | Augmented reality environment for life support training | |
| Zhao et al. | Towards Equitable CPR: An Interactive System for Female CPR Training |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |