CN111091732A - 一种基于ar技术的心肺复苏指导器及指导方法 - Google Patents

一种基于ar技术的心肺复苏指导器及指导方法 Download PDF

Info

Publication number
CN111091732A
CN111091732A CN201911358856.5A CN201911358856A CN111091732A CN 111091732 A CN111091732 A CN 111091732A CN 201911358856 A CN201911358856 A CN 201911358856A CN 111091732 A CN111091732 A CN 111091732A
Authority
CN
China
Prior art keywords
virtual
aid
image
guidance
pressing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911358856.5A
Other languages
English (en)
Other versions
CN111091732B (zh
Inventor
房晓俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tapuyihai Shanghai Intelligent Technology Co ltd
Original Assignee
Tapuyihai Shanghai Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tapuyihai Shanghai Intelligent Technology Co ltd filed Critical Tapuyihai Shanghai Intelligent Technology Co ltd
Priority to CN201911358856.5A priority Critical patent/CN111091732B/zh
Publication of CN111091732A publication Critical patent/CN111091732A/zh
Application granted granted Critical
Publication of CN111091732B publication Critical patent/CN111091732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Percussion Or Vibration Massage (AREA)

Abstract

本发明公开了一种基于AR技术的心肺复苏指导器及指导方法。其中,心肺复苏指导器包括:摄像模块,用于获取急救现场环境信息和/或患者信息;虚拟图像处理模块,用于调用和/或构建相应的虚拟急救指导视频/图像;数据分析处理模块,还用于根据摄像模块获取的急救现场环境信息和/或患者信息,确定虚拟急救指导视频/图像在急救现场环境中的显示位置;AR显示模块,用于在急救现场环境中显示和/或在相应位置叠加显示虚拟急救指导视频/图像。通过本发明,可减轻急救人员因紧张而遗忘或疏忽的情况,按部就班给予急救指引;对于非经过训练的普通人,也能瞬间上手进行心肺复苏急救操作。

Description

一种基于AR技术的心肺复苏指导器及指导方法
技术领域
本发明涉及现场急救技术领域,尤其涉及一种基于AR技术的心肺复苏指 导器及指导方法。
背景技术
心肺复苏术-CPR(CARDIOPULMONARY RESUSCITATION)。心肺复苏 术(CPR)是现场急救的技术,如果在患者倒地後四分钟之内进行CPR;心肺复 苏术,简称CPR,意指当一个人因某种因素造成呼吸,心跳停止,而产生悴死 现象,为紧急掌握患者生机,将患者从鬼门关抢救回来的一种急救技术。包括 胸外按压和人工呼吸。
自动体外除颤器-AED(Automated External Defibrillator)又称自动体外电 击器、自动电击器、自动除颤器、心脏除颤器及傻瓜电击器等,是一种便携式 的医疗设备,它可以诊断特定的心律失常,并且给予电击除颤,是可被非专业 人员使用的用于抢救心源性猝死患者的医疗设备。
现有技术中,一般是在相关软件中设置相关模拟教学视频,让使用者从 PAD或其它智能终端显示装置中看到这些。然而这种形式往往用户体验、感受 不佳,实践重复性不高,尤其是那些从未接触过CPR和AED的使用者,他们就 在现场试图去救治患者,但如果行为不当,反而对救治是不利的。
发明内容
为解决上述技术问题,本发明提供一种基于AR技术的心肺复苏指导器及 指导方法,用以给施救者提供更为直观的、沉浸式急救操作指引。具体的,本 发明的技术方案如下:
一方面,本发明公开了一种基于AR技术的心肺复苏指导器,包括:摄像 模块,用于获取急救现场环境信息和/或患者信息;虚拟图像处理模块,用于调 用和/或构建相应的虚拟急救指导视频/图像;数据分析处理模块,还用于根据 所述摄像模块获取的所述急救现场环境信息和/或患者信息,确定所述虚拟急救 指导视频/图像在所述急救现场环境中的显示位置;AR显示模块,用于在所述 急救现场环境中显示和/或在相应位置叠加显示所述虚拟急救指导视频/图像。
优选地,所述基于AR技术的心肺复苏指导器还包括:急救指导库;所述 急救指导库,用于预存储急救指导说明和/或虚拟急救指导视频/图像;所述急 救指导说明包括心肺复苏的按压部位信息、按压手势信息、AED使用说明;所 述虚拟急救指导视频/图像包括:CPR操作指引、AED使用流程指引。
优选地,所述CPR操作指引包括按压手势指引、按压部位指引、按压手臂 位置指引之中的任意一种或多种。
优选地,所述数据分析处理模块包括:图像处理子模块,用于根据所述摄 像模块获取的急救现场环境信息,识别施救目标;3D建模子模块,用于根据所 述施救目标信息,构建所述施救目标的虚拟3D轮廓模型;定位子模块,用于定 位所述虚拟急救指导视频/图像相对于所述施救目标的显示位置。
优选地,所述虚拟图像构建子模块包括以下任意一项或多项:按压部位指 引单元,用于构建心肺复苏的虚拟按压部位定位线;按压手臂指引单元,用于 构建心肺复苏的虚拟按压手臂虚拟线;按压手势指引单元,用于构建心肺复苏 的虚拟按压手势虚拟模型;AED使用指引单元,用于构建AED的使用流程指引。
优选地,所述虚拟图像处理模块包括:虚拟图像调用子模块和/或虚拟图像 构建子模块;其中:所述虚拟图像调用子模块,用于根据所述急救现场环境信 息,从所述急救指导库中,调用CPR操作指引图和/或AED使用流程指引图;所 述虚拟图像构建子模块,用于根据所述急救指导说明,构建相应的虚拟指导图 像。
优选地,所述基于AR技术的心肺复苏指导器还包括:传感数据获取模块, 所述传感数据获取模块,用于获取施救者的施救情况数据;所述数据分析处理 模块还包括:按压分析子模块,用于对所述传感数据获取模块获取到的所述施 救者的施救情况数据进行分析,并根据分析结果通过语音、视频或图像的方式 提醒指导所述施救者。
优选地,所述传感数据获取模块包括:身体传感子模块,用于实时获取所 述施救者的当前身体位姿信息;手势传感子模块,用于实时获取所述施救者的 按压手势信息;按压传感子模块,用于实时记录所述施救者进行心肺复苏操作 时的按压次数与力度。
优选地,所述按压分析子模块包括:高度差计算单元,用于根据所述身体 传感子模块获取所述施救者按压前后的身体位姿信息,获取按压高度差;按压 深度计算单元,用于通过所述按压传感子模块获取施救者进行心肺复苏操作的 按压力度、次数与位移,进一步获取按压频率与按压深度;分析提示单元,用 于通过所述AR显示模块,在所述急救现场环境中叠加显示虚拟高度尺,所述 虚拟高度尺动态显示所述按压高度差;还用于根据所述按压深度与频率,结合 标准的心肺复苏按压深度与频率,通过语音或图像的方式对所述施救者进行提 醒指导。
优选地,所述摄像模块,还用于扫描AED设备,获取AED设备图像;所述 数据分析处理模块,还包括:综合处理子模块,用于根据所述AED设备图像, 识别所述AED设备的品牌和型号,通过所述虚拟图像处理模块调用对应的AED 使用流程指引视频/图像。
优选地,所述基于AR技术的心肺复苏指导器还包括:通信模块,用于与 外界建立通信连接,并通过所述摄像模块分享急救现场情况。
另一方面,本发明还公开了一种基于AR技术的心肺复苏指导方法,包括: 获取急救现场环境信息和/或患者信息;基于预存的急救指导库,调用和/或构 建相应的虚拟急救指导视频/图像;根据所述急救现场环境信息和/或患者信息, 确定所述虚拟急救指导视频/图像在所述急救现场环境中的显示位置;在所述急 救现场环境中显示和/或在相应位置叠加显示所述虚拟急救指导视频/图像。
优选地,所述确定所述虚拟急救指导视频/图像在所述急救现场环境中的显 示位置具体包括:根据所述急救现场环境信息,识别施救目标;根据所述施救 目标信息,构建所述施救目标的虚拟3D轮廓模型;定位所述虚拟急救指导视频 /图像相对于所述施救目标的显示位置。
优选地,所述基于预存的急救指导库,调用相应的虚拟急救指导图像具体 包括:根据所述急救现场环境信息,从所述急救指导库中,调用CPR操作指引、 和/或AED使用流程指引;所述基于预存的急救指导库,构建相应的虚拟急救 指导图像具体包括:根据所述急救指导库中的急救指导说明,构建相应的虚拟 指导图像;所述虚拟指导图像包括心肺复苏的虚拟按压部位定位线、虚拟按压 手臂虚拟线、虚拟按压手势虚拟模型、AED的使用流程指引图之中的任意一种 或多种。
优选地,所述基于AR技术的心肺复苏指导方法还包括:获取施救者的施 救情况数据;分析所述施救者的施救情况数据,并根据分析结果通过语音、图 像或动画演示的方式提醒指导所述施救者。
优选地,所述获取施救者的施救情况数据具体包括以下任意一项或多项: 实时获取所述施救者的按压手势信息;实时获取所述施救者的当前身体位姿信 息;实时记录所述施救者进行心肺复苏操作时的按压次数与力度。
优选地,所述分析所述施救者的施救情况数据,并根据分析结果通过语音、 图像或动画演示的方式提醒指导所述施救者包括:按压手势提示步骤、和/或高 度差提示步骤、和/或按压指数提示步骤;其中:所述按压手势提示步骤具体包 括:根据获取的所述施救者的按压手势,结合标准的心肺复苏按压手势,判断 所述施救者的按压手势是否正确;当判定所述施救者的按压手势不正确时,通 过语音、图像或动画演示的方式对所述施救者进行提醒;所述高度差提示步骤 具体包括:根据获取的所述施救者按压前后的身体位姿信息,获取按压高度差; 在所述急救现场环境中叠加显示虚拟高度尺,所述虚拟高度尺动态显示所述按 压高度差;所述按压指数提示步骤具体包括:根据获取的施救者进行心肺复苏 操作的按压力度、次数与位移;计算按压频率与按压深度;根据所述按压深度 与频率,结合标准的心肺复苏按压深度与频率,通过语音、图像或动画演示的 方式对所述施救者进行提醒指导。
优选地,所述基于AR技术的心肺复苏指导方法还包括:扫描AED设备, 获取AED设备图像;根据所述AED设备图像,识别所述AED设备的品牌和型号; 根据所述AED设备的品牌和型号,调用所述AED设备的使用说明或使用流程指 导视频/图像。
优选地,所述基于AR技术的心肺复苏指导方法还包括:与外界建立通信 连接,通过视频或语音方式分享急救现场情况。
本发明及实施例至少包括以下一项技术效果:
(1)本发明通过AR技术,给予急救人员更为直观的急救指引,减轻急救 人员因紧张而遗忘或疏忽的情况,按部就班地给予急救指引。而对于非经过训 练的普通人,也能瞬间上手进行急救,而不是旁观,珍惜急救黄金4分钟。
(2)同样的,本发明通过AR技术对昂贵的AED设备的使用进行指引,避 免错误、无效的AED设备操作,帮助急救人员(哪怕是初次使用者)正确使用 该设备进行急救。
(3)对CPR的按压质量也能进行把控和提醒,错误的按压手势是无效的, 且有害于被救者;因此,本发明提供了正确的按压手势、按压部位、及按压手 臂线等等心肺复苏操作指引,并在施救者进行急救时监测急救情况,一旦发现 手势错误,或者按压不到位等及时给予沉浸式地指导和提醒。
(4)AED使用、CPR按压、人工呼吸救助,全程依靠AR眼镜的“观察 和提醒”进行计数、计时和下一步提醒,不需救助者自己计算按压频次和提醒 自己多少次按压后,执行人工呼吸操作。只要全神贯注的进行提示下的急救操 作就好,保证质量,忽视数量。时刻注意患者的反馈情况,维持急救场面的不 失控。
(5)本发明的心肺复苏指导器,可以进行解放双手情况下的全程录像, 即救人也(救己)保存急救证明。此外,视频还可共享给远程的专家,进行现 场指导。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所 需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的 一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提 下,还可以根据这些附图获得其他的附图。
图1为本发明基于AR技术的心肺复苏指导器的实施例一的结构框图;
图2为本发明基于AR技术的心肺复苏指导器的实施例二的结构框图;
图3为本发明基于AR技术的心肺复苏指导器的实施例三的结构框图;
图4为本发明基于AR技术的心肺复苏指导方法的实施例四的流程图;
图5为本发明基于AR技术的心肺复苏指导方法的实施例五的流程图;
图6为心肺复苏正确操作示意图;
图7a为本发明实施例七中按压手势指引图;
图7b为本发明实施例七中按压手势另一指引图;
图8为本发明实施例七中按压部位指引显示示意图;
图9为本发明实施例七中按压手臂交叉线显示示意图;
图10为本发明实施例七中按压高度差动态显示示意图;
图11为本发明创造使用到的一种AR眼镜示意图;
图12为本发明实施例八中AR眼镜视场中的AED机及功能部位指示;
图13为本发明实施例八中AR眼镜视场中的AED机及电极片敷贴指示;
图14a为心肺复苏操作过程中出现的错误的按压手势;
图14b为本发明创造AR眼镜视场中的错误的按压手势指示。
附图标记:
100--摄像模块;200--虚拟图像处理模块;210--虚拟图像调用子模块;220-- 虚拟图像构建子模块;300--数据分析处理模块;310--图像处理子模块;320--3D 建模子模块;330--定位子模块;340--按压分析子模块;350--综合处理子模块; 400--显示模块;500--急救指导库;600--传感数据获取模块;610--手势传感子 模块;620--身体传感子模块;630--按压传感子模块;700--通信模块;10--AR 眼镜的光学部分;33--AR眼镜的主机部分;610--手势传感子模块。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术 之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当 清楚,在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中, 省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节 妨碍本申请的描述。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示 所述描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或 多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。
为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并 不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具 有相同结构或功能的部件,仅示意性地绘出了其中的一个,或仅标出了其中的 一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个” 的情形。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和 /或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且 包括这些组合。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附 图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明 的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下, 还可以根据这些附图获得其他的附图,并获得其他的实施方式。
【实施例一】
本实施例公开了一种基于AR技术的心肺复苏指导器,具体的,如图1所示, 包括:
摄像模块100,用于获取急救现场环境信息和/或患者信息;具体的,通过 摄像头可采集急救现场的环境信息,或者患者当前的情况(即患者信息)。摄 像模块100可采用深度摄像头、鱼眼摄像头、和/或结构光摄像头等进行信息采 集。
虚拟图像处理模块200,用于调用和/或构建相应的虚拟急救指导视频/图 像;后续AR显示模块400要显示的虚拟急救指导视频或图像,则都是由虚拟图 像处理模块200来控制生成的。如果该指导器中有预存有一部分虚拟急救指导 视频或图像,比如按压手势指导视频或图像,则在心肺复苏急救中,如果需要 对施救者(急救人员)进行按压手势指导,则虚拟图像处理模块200则可直接 调用该按压手势指导视频或图像;而如果当前需要显示的急救指导视频或图像 未预存,则该虚拟图像处理模块200则可直接根据摄像模块100获取的急救现场 环境信息和/或患者信息,生成相应的虚拟急救指导视频/图像。
数据分析处理模块300,还用于根据所述摄像模块100获取的所述急救现场 环境信息和/或患者信息,确定所述虚拟急救指导视频/图像在所述急救现场环 境中的显示位置;具体的,虚拟图像处理模块200确定好了需要显示的虚拟急 救指导图像或视频后,还需要确定该虚拟急救指导图像或视频叠加显示在现实 环境中的哪个位置,因此,本实施例中的数据分析处理模块300则主要用来确 定虚拟急救指导图像/视频的显示位置。比如当前心肺复苏急救中,可能急救人 员不知道按压部位,那么就需要通过按压部位指引图像来告知急救人员按压的 部位,虚拟图像处理模块200调用或构建好按压部位指引图像后,数据分析处 理模块300则可根据摄像模块100获取的急救现场环境信息和/或患者信息,确定患者心肺复苏的按压点的位置,确定好正确的按压位置后,后续AR显示模块 400则可将该按压部位指引图像在该正确的按压位置进行叠加显示,从而给予 施救者(急救人员)以直观的指引。
AR显示模块400,用于在所述急救现场环境中显示和/或在相应位置叠加显 示所述虚拟急救指导视频/图像。具体的,AR显示模块400接收到数据分析处理 模块300的指示后,便可将虚拟急救指导图像或视频叠加显示在急救现场环境 中,或者相对患者的相应位置处,叠加显示该虚拟急救指导视频或图像。
急救人员佩戴的AR眼镜,如图11所示,透射式沉浸型AR眼镜的光学部分 10,手势传感子模块610,投射式沉浸型AR眼镜的主机部分33。
本实施例通过AR技术,给予急救人员更为直观的急救指引,减轻急救人 员因紧张而遗忘或疏忽的情况,按部就班给予急救指引。而对于非经过训练 的普通人,也能瞬间上手进行急救。
【实施例二】
本实施例的基于AR技术的心肺复苏指导器,如图2所示,在上一实施例的 基础上,还包括:急救指导库500;所述急救指导库500,用于预存储急救指导 说明和/或虚拟急救指导视频/图像。
所述急救指导说明包括心肺复苏的按压部位信息、按压手势信息、AED使 用说明;比如存储的按压部位信息为:成人胸外心脏按压的部位一般在胸骨的 中下1/3交界处,而小孩子一般在胸骨正中乳头连线下方水平。那么根据该存储 的按压部位信息,结合采集的急救现场环境和/或患者信息,便可确定出当前需 要现实的按压部位指引图像/视频的位置。
所述虚拟急救指导视频/图像包括:CPR操作指引、AED使用流程指引。其 中,所述CPR操作指引包括按压手势指引、按压部位指引、按压手臂位置指引 之中的任意一种或多种。具体的,该急救指导库500中还可存储多种虚拟急救 指导视频/图像,以便后续在急救中便可根据当前情况,直接调用相应的急救指 导视频/图像,相比于临时构建虚拟急救指导图像,更为方便快捷,时效性更强, 为患者赢取更多的急救时间。
本实施例中的数据分析处理模块300包括:
图像处理子模块310,用于根据所述摄像模块100获取的急救现场环境信 息,识别施救目标;具体的,摄像模块100拍摄到急救现场环境图像后,图像 处理子模块310则对该图像进行图像处理,识别急救现场环境图像中的施救目 标,也就是患者,从而获得患者当前情况,以及方便后续进行急救指引。
3D建模子模块320,用于根据所述施救目标信息,构建所述施救目标的虚 拟3D轮廓模型;具体的,识别到施救目标后,便可根据该施救目标信息构建相 应的虚拟3D轮廓模型,该虚拟3D轮廓模型与现实施救目标(患者)一致,当 然,在现实环境中,可以显示,也可不显示该虚拟3D轮廓模型。
定位子模块330,用于定位所述虚拟急救指导视频/图像相对于所述施救目 标的显示位置。具体的,该定位子模块330则主要用于确定虚拟急救指导图像 相对施救目标,其实就是相对该虚拟3D轮廓模型(显示或不显示均可)的位置。 比如按压部位指引图像,定位子模块330则定位该按压部位指引图像在施救目 标(虚拟3D轮廓模型)上叠加显示的正确按压位置。
本实施例中的虚拟图像处理模块200包括:虚拟图像调用子模块210和/或虚 拟图像构建子模块220;其中:
所述虚拟图像调用子模块210,用于根据所述急救现场环境信息,从所述 急救指导库500中,调用CPR操作指引图和/或AED使用流程指引图。具体的, 前面已经提到过,急救指导库500中存储有虚拟急救指导图像/视频,后续在急 救情况中,可根据急救现场情况或用户指令,调用相应的虚拟急救指导图像或 视频。比如,当前需要进行AED设备除颤,那么便可调用急救指导库500中的 AED使用流程指引图/视频,指引施救者使用该AED设备。
所述虚拟图像构建子模块220,用于根据所述急救指导说明,构建相应的 虚拟指导图像。比如,根据AED使用说明,构建AED使用流程图/视频;根据 心肺复苏的按压手势说明,构建按压手势模型等。
具体的,所述虚拟图像构建子模块220包括以下任意一项或多项:
按压部位指引单元,用于构建心肺复苏的虚拟按压部位定位线;
按压手臂指引单元,用于构建心肺复苏的虚拟按压手臂虚拟线;
按压手势指引单元,用于构建心肺复苏的虚拟按压手势虚拟模型;
AED使用指引单元,用于构建AED的使用流程指引。
本实施例中,通过AR技术构建或调用相应的虚拟急救指导图像/视频,在 现实环境中的相应位置进行显示,从而起到正确的急救操作指引,相比于普通 的急救视频或图像,本实施例更为直观,且因为是叠加显示在相应位置,从而 所起的指引作用更强,急救人员的操作性更强。更佳的,给予按压手势指引、 按压部位指引、按压手臂位置指引、AED使用流程指引等等,从而可从全方位 给予急救人员以急救操作指引,大大提高了急救操作的正确性。
【实施例三】
本实施例的基于AR技术的心肺复苏指导器,如图3所示,在上述任一实施 例的基础上,还包括:传感数据获取模块600,所述传感数据获取模块600,用 于获取施救者的施救情况数据;
所述数据分析处理模块300还包括:
按压分析子模块340,用于对所述传感数据获取模块600获取到的所述施救 者的施救情况数据进行分析,并根据分析结果通过语音、视频或图像的方式提 醒指导所述施救者。
本实施例中,通过传感数据获取模块600获取施救者(急救人员)当前的 施救情况数据,比如,当前的按压手势数据、当前的按压力度等等,数据分析 处理模块300中的按压分析子模块340则在接收到这些传感数据后,对其进行数 据分析,再根据分析结果进一步来指导施救者进行施救操作。比如,如果施救 者当前的按压手势不正确,那么按压分析子模块340分析到该施救者按压手势 有误之后,便可发出语音提示,告知施救者:按压手势有误,请调整按压手势; 并通过AR显示模块400再次给出正确的按压手势指引图像/视频。又比如,经分 析,发现施救者当前的按压频率不够,那么便会提醒施救者加快按压频率,提高心肺复苏操作的有效性。
较佳的,上述传感数据获取模块600具体包括:
身体传感子模块620,用于实时获取所述施救者的当前身体位姿信息;具 体的,比如通过高度计获取施救者按压前后高度数据;或者通过深度摄像头 (TOF)检测按压前后施救者头部(近视认为是眼部)与施救目标的距离;
手势传感子模块610,用于实时获取所述施救者的按压手势信息;具体的, 比如通过leap motion体感器检测施救者的按压手势;当然,除了Leap Motion外, 还可通过其感应器比如uSens Fingo、Kinect、Xtion Pro、Real Sense等体感传 感器来识别施救者的按压手势。
按压传感子模块630,用于实时记录所述施救者进行心肺复苏操作时的按 压次数与力度。具体的,可以在施救者的手掌根部设置一压力传感器,从而每 次按压时,该压力传感器便可实时记录当前的按压力度、深度等,还可记录按 压的次数。
本实施例中的按压分析子模块340包括:
高度差计算单元,用于根据所述身体传感子模块620获取所述施救者按压 前后的身体位姿信息,获取按压高度差;
按压深度计算单元,用于通过所述按压传感子模块630获取施救者进行心 肺复苏操作的按压力度、次数与位移,进一步获取按压频率与按压深度;
分析提示单元,用于通过所述AR显示模块400,在所述急救现场环境中叠 加显示虚拟高度尺,所述虚拟高度尺动态显示所述按压高度差;还用于根据所 述按压深度与频率,结合标准的心肺复苏按压深度与频率,通过语音或图像的 方式对所述施救者进行提醒指导。此外,还可在用户按压手势错误的情况下, 给予施救者以按压手势错误的提醒,并提供显示正确的按压手势模型。
本实施例对CPR的按压质量也能进行把控和提醒,错误的按压手势是无效 的,且有害于被救者;因此,本发明提供了正确的按压手势、按压部位、及按 压手臂线等等心肺复苏操作指引,并在施救者进行急救时监测急救情况,一旦 发现手势错误,或者按压不到位等及时给予提醒。
此外,本实施例的基于AR技术的心肺复苏指导器还包括:通信模块700, 用于与外界建立通信连接,并通过所述摄像模块100分享急救现场情况。如此, 通过通信模块700与外界建立通讯连接,将视频共享给远程的专家,以便进行 现场指导。
【实施例四】
基于相同的技术构思,本发明还公开了一种基于AR技术的心肺复苏指导 方法,具体的,如图4所示,本实施例的指导方法包括:
S101,获取急救现场环境信息和/或患者(被救者)信息;
S102,基于预存的急救指导库,调用和/或构建相应的虚拟急救指导视频/ 图像;
S103,根据所述急救现场环境信息和/或患者信息,确定所述虚拟急救指 导视频/图像在所述急救现场环境中的显示位置;
S104,在所述急救现场环境中显示和/或在相应位置叠加显示所述虚拟急 救指导视频/图像。
【实施例五】
本实施例的基于AR技术的更详细的心肺复苏指导方法如图5所示,包括:
S201,获取急救现场环境信息和/或患者信息;进入步骤S202或者S203;
S202,根据所述急救现场环境信息,从所述急救指导库中,调用CPR操作 指引,和/或AED使用流程指引;进入步骤S204;
S203,根据所述急救现场环境信息及所述急救指导库中的急救指导说明, 构建相应的虚拟指导图像;进入步骤S204;
S204,根据所述急救现场环境信息,识别施救目标;
S205,根据所述施救目标信息,构建所述施救目标的虚拟3D轮廓模型;
S206,定位所述虚拟急救指导视频/图像相对于所述施救目标的显示位置;
S207,在所述急救现场环境中显示和/或在相应位置叠加显示所述虚拟急 救指导视频/图像。
本实施例中,急救指导库,用于预存储急救指导说明和/或虚拟急救指导视 频/图像。
虚拟急救指导视频/图像包括:CPR操作指引、AED使用流程指引。其中, 所述CPR操作指引包括按压手势指引、按压部位指引、按压手臂位置指引之中 的任意一种或多种。具体的,该急救指导库中还可存储多种虚拟急救指导视频 /图像,以便后续在急救中便可根据当前情况,直接调用相应的急救指导视频/ 图像,相比于临时构建虚拟急救指导图像,更为方便快捷,时效性更强,为患 者赢取更多的急救时间。
急救指导库中还可以存储急救指导说明,包括心肺复苏的按压部位信息、 按压手势信息、AED使用说明。基于预存的急救指导库,便可构建相应的虚拟 急救指导图像;具体的,根据所述急救指导库中的急救指导说明,构建相应的 虚拟指导图像;所述虚拟指导图像包括心肺复苏的虚拟按压部位定位线、虚拟 按压手臂虚拟线、虚拟按压手势虚拟模型、AED的使用流程指引图之中的任意 一种或多种。
此外,本实施例中获取到急救现场环境图像后,便会对急救现场环境图像 进行图像识别处理,识别出施救目标,然后再根据该施救目标信息构建对应的 虚拟3D轮廓模型,该虚拟3D轮廓模型与现实施救目标(患者)一致,当然, 在现实环境中,可以显示,也可不显示该虚拟3D轮廓模型。最后,定位虚拟急 救指导视频/图像相对于所述施救目标的显示位置。具体的,确定虚拟急救指导 图像相对施救目标,其实就是相对该虚拟3D轮廓模型(显示或不显示均可)的 位置。比如定位按压部位指引图像在施救目标(虚拟3D轮廓模型)上叠加显示 的正确按压位置。最后再通过AR显示设备进行显示,让施救者佩戴好相关AR 设备后,便可在现实环境的相应位置(比如相对施救目标的某位置)处看到相 应的虚拟急救指导图像。
【实施例六】
本实施例在上述任一实施例的基础上,所述基于AR技术的心肺复苏指导 方法还包括:
获取施救者的施救情况数据;
分析所述施救者的施救情况数据,并根据分析结果通过语音、图像或动画 演示的方式提醒指导所述施救者。
具体的,通过相关传感器获取施救者(急救人员)当前的施救情况数据, 比如,当前的按压手势数据、当前的按压力度等等,获取到这些传感数据后, 再对其进行数据分析,最后根据分析结果进一步来指导施救者进行施救操作。 比如,如果施救者当前的按压手势不正确,那么根据获取的传感数据分析到该 施救者按压手势有误之后,便可发出语音提示,告知施救者:按压手势有误, 请调整按压手势;并通过AR显示设备再次给出正确的按压手势指引图像/视频。 又比如,经分析,发现施救者当前的按压频率不够,那么便会提醒施救者加快 按压频率,提高心肺复苏操作的有效性。
较佳的,本实施例中获取施救者的施救情况数据具体包括以下任意一项或 多项:
(1)实时获取所述施救者的按压手势信息;具体的,比如通过leap motion 体感器检测施救者的按压手势;当然,除了Leap Motion外,还可通过其感应器 比如uSens Fingo、Kinect、Xtion Pro、Real Sense等体感传感器来识别施救者 的按压手势。
(2)实时获取所述施救者的当前身体位姿信息;具体的,比如通过高度 计获取施救者按压前后高度数据;或者通过深度摄像头(TOF)检测按压前后施 救者头部(近视认为是眼部)与施救目标的距离。
(3)实时记录所述施救者进行心肺复苏操作时的按压次数与力度。具体 的,可以在施救者的手掌根部设置一压力传感器,从而每次按压时,该压力传 感器便可实时记录当前的按压力度、深度等,还可记录按压的次数。
获取到这些传感数据,也就是获取到了施救情况数据,然后再分析这些施 救情况数据,并根据分析结果通过语音、图像或动画演示的方式提醒指导所述 施救者。具体的提醒步骤包括:按压手势提示步骤、和/或高度差提示步骤、和 /或按压指数提示步骤;其中:
所述按压手势提示步骤具体包括:
根据获取的所述施救者的按压手势,结合标准的心肺复苏按压手势,判断 所述施救者的按压手势是否正确;正确的按压手势(标准的心肺复苏按压手势) 如图7a及7b所示,错误的按压手势如图14a、14b所示。
当判定所述施救者的按压手势不正确时,通过语音、图像或动画演示的方 式对所述施救者进行提醒;
如图10所示,所述高度差提示步骤具体包括:
根据获取的所述施救者按压前/后的身体位姿信息,获取按压高度差;
在所述急救现场环境中(如施救者的前方)叠加显示虚拟高度尺,所述虚 拟高度尺动态显示所述按压高度差,比如高度差的颜色变化,达标的为绿色, 不达标的为红色;
所述按压指数提示步骤具体包括:
根据获取的施救者进行心肺复苏操作的按压力度、次数与位移;计算按压 频率与按压深度;这些数据也可如图10中的“叠加显示虚拟高度尺”类似,在 高度尺周边叠加显示,用于提示和提醒。
根据所述按压深度与频率,结合标准的心肺复苏按压深度与频率,通过语 音、图像或动画演示的方式对所述施救者进行提醒指导。
本实施例对CPR的按压质量也能进行把控和提醒,错误的按压手势是无效 的,且有害于被救者;因此,本发明提供了正确的按压手势、按压部位、及按 压手臂线等等心肺复苏操作指引,并在施救者进行急救时监测急救情况,一旦 发现手势错误,或者按压不到位等及时给予提醒。
【实施例七】
本实施例中,我们以采用本发明的基于AR技术的心肺复苏指导器来进行 CPR指引为例。为便于理解,我们需要先了解下正确的心肺复苏操作,具体的, 如图6所示。
1、戴上AR头显/AR眼镜,调整设备中的各传感器(高度计、IMU、陀螺 仪、水平仪等)的初始状态,包括建立环境3维坐标系;自动输入救助者的个 人姿态参数:跪高(高度计/陀螺仪获取数据略大于头高)、肩宽(TOF摄像头 获取)、臂长(TOF摄像头获取)。
2、根据摄像头获取患者信息,然后根据患者信息生成个人的身体(外轮 廓)模型,半身轮廓,包括头部和胸部。救助者佩戴AR眼镜后可以先看到按 压手势的(动画/照片)示范,十指交叉紧扣如图7a,救助者可以比照这个“双 手10指交叉叠扣”的手势,这时手势传感器可以精准定位2双手的位置及手指 的位置,判断按压准备姿势的准确与否。然后以掌根作为触胸点对患者进行按 压,如图7b所示,其中圆圈部分为触胸点(即掌根部分)。错误的按压手势如 图14a和14b所示。
3、救助者佩戴AR眼镜后观察患者,让AR眼镜上的RGB摄像头和TOF摄像 头获取现场被救者的个人身体参数,包括躺高(即躺平后的身体各部位的高度, 取最高值)、两乳头的空间位置(需解除被救者胸前衣物),头部朝向等,实 时给该患者建立3D数据外轮廓模型。
4、救助者佩戴AR眼镜后可以观察到按压点,AR眼镜中在真实患者的体 表显示虚拟的十字线,十字线的交点即按压点(剑突软骨以上4-5cm);如图8 所示,图中的按压部位指示线则为虚拟急救指示图像。佩戴AR眼镜后还可以 观察到按压手势的朝向(根据AR眼镜观察救助者与患者的位置关系而确定); 一般救助者是侧跪于患者一侧身旁,AR眼镜中在真实患者的体表显示虚拟的 手势,手指朝向患者另一侧。
5、救助者佩戴AR眼镜可以看到(叠加显示的)按压双手臂的交叉线(双 手臂交叉与肩宽构成一个等腰三角形),如图9所示。错误的按压臂势(双臂 不直,会影响按压深度,深度不够则达不到按压效果);正确的按压臂势—— 双臂绷直,且肩部(肩部线)与双臂(双臂线)构成的平面垂直与患者身上十 字线构成的平面。只有这样按压才够有力度,按压的深度也够,按压的效果才 好。救助者需比照指引线去做按压。
6、在与患者身体接触的手掌的大鱼际肌与小鱼际肌之间的掌根部,如图 7b中的圆圈部分,即为掌根部,可在施救者掌根部贴一压力贴片。或者在患者 身体上显示十字按压点之间设置压力贴片(压力传感器)或者弹性拉伸贴片(形 变传感器),压力贴片/弹性拉伸贴片中设有线或者无线(蓝牙、WIFI)与AR 眼镜联系,用于记录并传输按压的次数和力度。
7、AR眼镜中设有计时器和数据分析处理模块,用于记录和跟踪按压次数、 频次和力度。按压部位:剑突软骨以上4-5cm处;按压频率:100~120次/分, 每5次心脏按压后,行人工呼吸1次;按压深度为3.8~5.0cm【避免超过6cm 的深度】(根据AR眼镜中的高度计、TOF摄像头、压力片等传感器给到的参 数进行综合运算);按压时双肘须伸直,垂直向下用力按压,挤压适当,防止 血气胸,心包积液发生。
本实施例补充说明1:
如图10所示,救助者在按压时需保持上体绷紧,高度计可以感知高度差; 陀螺仪可以感知空间位置差;TOF摄像头可以感知头部与地面/患者身体前胸 的距离差;压力贴片可以感知压力差值,从而推算按压深度;弹性拉伸贴片可 以感知贴片的拉伸差,从而推算按压深度。在救助者前方有高度厘米尺用作 显示,且高度尺上有对应按压状态下的高度差显示。
补充说明2:
在6DOF场景(X、Y、Z和旋转X、Y、Z)中,这样“3D数字轮廓”是跟 着患者移动而移动的(相对的是跟着救助者的AR头显的位置移动而移动的), 只是根据显示指令控制显示与否。患者身上的十字线也是跟着患者移动而移动 的,且一般默认设置为显示状态。肩线和交叉双臂所在平面应垂直与十字线所 在平面,且一般默认设置为显示状态。
寻边拟合技术,采用OpenCV技术(1),将书本的特征点通过SIFT*(2)进 行提取,然后将特征点输入到特征匹配库中,通过设备的摄像头拍摄出视野的 所见的照片,然后将原始图像转为单通道灰度图像,进行二值化处理,通过黑 白像素值差得到边缘点,在边缘点找到合适的区域,通过处理的2D图片和 3DOF相结合,计算出头显和患者的相对距离和坐标,将AR头显的虚拟身体 轮廓的坐标移动到和现实患者身体轮廓重合。
图形显示:采用Direct3D或者OpenGL的图像渲染技术,在头显中生成并 叠加显示(寻边拟合后)身体轮廓,并叠加显示色块的虚像。
(1)OpenCV技术说明:OpenCV的全称是Open Source Computer Vision Library,是一个跨平台的计算机视觉库。OpenCV是由英特尔公司发起并参与 开发,以BSD许可证授权发行,可以在商业和研究领域中免费使用。OpenCV 可用于开发实时的图像处理、计算机视觉以及模式识别程序。该程序库也可以 使用英特尔公司的IPP进行加速处理。
(2)SIFT:SIFT(Scale Invariant Feature Transform)—尺度不变特征变换,是由David G.Lowe在1999年(《Object Recognition from Local Scale-InvariantFeatures》)提出的高效区域检测算法,在2004年(《Distinctive Image Features fromScale-Invariant Keypoints》)得以完善。SIFT特征对旋转、尺度缩放、亮 度变化等保持不变性,是非常稳定的局部特征,现在应用很广泛。
手势识别技术的介绍(以LEAP MOTION传感器为例):LEAP MOTION 是一款微米级3D手动交互设备,可以追踪到小至0.01毫米的动作,拥有150 度的视角,可以跟踪1个人的10个手指的动作,最大频率是每秒290帧。 Leapmotion营造的空间中捕捉手势,显示手和手臂骨架,人的一只手,有29块 骨头、29个关节、123根韧带、48条神经和30条动脉。这是一种精密、复 杂和令人惊叹的技术。但人却能不费吹灰之力,轻松掌握。Leap Motion控制 器也几乎完全掌握这一技术,也就是说它不可能检测出非人手能及的手势出 来。LEAP MOTION空间叠加入AR三维展示空间,手势与AR三维展示空间 中的物体进行互动/反馈,LeapMotion控制器都能精确追踪。从技术上说,这 是一个8立方英尺的可交互式3D空间。
Leap Motion控制器可追踪全部人的10只手指,精度高达1/100毫米。 150°超宽幅的空间视场,可以像在真实世界一样随意在3D的空间移动双手。
基于AR/VR显示系统,结合LeapMotion(2个红外线摄像头)感应器, 来实现手势抓取虚拟物体的功能。
(1)利用Unity3D引擎,搭建一个3D的虚拟场景空间,在该虚拟场景空 间创建某3D虚拟物体。
(2)接入高通制作的六自由度的SDK(软件开发工具包(外语首字母缩写: SDK、外语全称:Software DevelopmentKit)一般都是一些软件工程师为特定的 软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集 合。)。通过设备上的陀螺仪定位数据,计算设备在虚拟场景中的位置,同时 映射到Unity3D创建的虚拟场景空间中,从而实现能够在3D空间中旋转以及 行走的6DOF效果。
(3)接入Leap Motion提供的识别手势(空间参数)的SDK,在虚拟场 景空间中加入手模型(包括手部和手臂)。这里需要Leap Motion的驱动以及 硬件设备支持。leapSDK能够把驱动检测到的手势信息参数传递到Unity3D。 映射这些信息到手模型上,即可实现将真实的手模拟成虚拟手,并呈现到虚拟 的3D场景空间中。
(4)在Unity3D引擎中将手势的信息进行分析计算,得到一些特定的手 势形状,比如“双手十指叠扣”。
除了Leap Motion通过其感应器和坐标体系能识别(徒手)手势控制以外, 还可以uSens Fingo、Kinect、Xtion Pro、Real Sense等体感传感器。另,通过 手柄控制、智慧手套、手表式IMU传感器等控制器获取手部动作参数的空间 值和反馈值。也是可以做到“双手十指叠扣”检测操作的。
本实施例中的心肺复苏指导器除了AR眼镜一体机的硬件系统外,用到了 计算机图形学中的寻边拟合技术、手势识别技术、AI图像识别技术等多种计算, 打通了实物人体与虚拟人体、真实人手和虚拟人手间的互动控制,通过陀螺仪、 高度计、深度摄像头的测量技术以及测量辅助技术,获取救助者和患者的各种 位置状态、朝向和空间位置。
AR眼镜也会根据实时情况,提醒救助者的下一步操作,不用顾头失尾。
【实施例八】
本实施例以采用本发明的基于AR技术的心肺复苏指导器来进行AED指 引为例:
心肺复苏整个过程中,有条件的话,还包括AED设备的使用,如图12至13 所示,所述摄像模块100,还用于扫描AED设备,获取AED设备图像;
所述数据分析处理模块300,还包括:综合处理子模块350,用于根据所述 AED设备图像,识别所述AED设备的品牌和型号,通过所述虚拟图像处理模块 调用对应的AED使用流程指引视频/图像。
具体的,不同型号的AED设备,其使用操作可能有所不同,施救人员,特 别是非专业人员,可能根本不知道如何使用AED设备,而本实施例则解决了这 一难题。本实施例中通过摄像模块扫描AED设备的品牌和型号,进而综合处理 子模块便可根据该品牌和型号调用对应的AED使用流程指引视频/图像,在施 救者的前方进行放映。还有如图12所示,在真实AED机上叠加显示各种虚拟标 签,用于指示AED机的各功能部位。
本实施例的基于AR技术的心肺复苏中AED设备的使用指导方法还包括:
通过AR眼镜设备,扫描AED设备,获取AED设备图像;
根据所述AED设备图像,识别所述AED设备的品牌和型号;
根据所述AED设备的品牌和型号,调用所述AED设备的使用说明或使用流 程指导视频/图像。
具体的,不同型号的AED设备,其使用操作略有所不同,施救人员,特别 是非专业人员,可能根本不知道如何使用AED设备,而本实施例则解决了这一 难题。本实施例中通过摄像模块扫描AED设备的品牌和型号,进而综合处理子 模块便可根据该品牌和型号调用对应的AED使用流程指引视频/图像。
更佳的,本实施例的基于AR技术的心肺复苏指导方法还包括:与外界建 立通信连接,通过视频或语音方式分享急救现场情况。如此,通过通信模块700 与外界建立通讯连接,将视频共享给远程的专家,以便进行现场指导。
拿到AED仪器设备后,就近放置,AR眼镜的摄像头会识别AED的品牌和 型号,通过调用对应AED的电子使用说明书,进行AR方式的使用指导。
步骤如下:①打开AED设备,取出成人版(还有儿童版)除颤电极片;② 如图13所示,根据AR眼镜中指示的裸露人体上指示的方位,贴上电极片;③ 连接电极片导线至AED接口,等待AED机的语音指示;④切换成人和儿童开关 按钮;⑤(充电完毕)根据语音指示,按下(AR眼镜中特殊指示的)放电按 钮。
⑥再根据AED设备的语音提示,继续进行CPR按压操作。
⑦若发现患者有正确的呼吸,但没有意识,AR眼镜中会做出患者侧身姿 势指引,救助者按照3D虚拟外轮廓的指引方式,摆放患者的手和脚(不要除去 电极片和关闭AED机),等待救护车的到来。
上述步骤可构建成相应的AED使用指引流程图,在急救操作使用AED设备 时,便可直接调用该AED设备指引流程图,指引急救人员一步一步操作。
【实施例九】
此外,在上述任一实施例的基础上,本申请的基于AR技术的心肺复苏指 导器还具备视频共享功能,从而可以共享视频给远程和远程专家指引。
具体的,使用的AR设备通过连接WIFI网络或移动蜂窝网络(比如5G), 打开摄像头的共享,将现场视频分享给远程的急救专家/120急救中心/赶来的 120救护车上的急救医生等,在急救专家的指导下进行CPR按压救助,以及AED 的使用。
现场与远端,还可以通过语音进行交流。摄像头还用于对全程的急救工作 进行记录,用于存证。
总的来说,本申请的基于AR技术的心肺复苏指导器,在硬件上,采用的 AR眼镜除了光学显示元件外,还包括RGB摄像头、深度摄像头TOF、高度传 感器和体感传感器等等、根据需要还可设有麦克风以及语音、语义判断模块和 扬声器。整个系统还用到了,寻边拟合技术、手势识别技术、图像识别和图像 覆盖技术等。该指导器可实现以下功能:
一、正确按压手势指引;
二、正确按压部位指引;
三、按压计时和计数;
四、按压多少次,提醒做一次人工呼吸——循环;
五、AED使用指引;
最后,专业救护车到场,再将患者移交给和职业的救护人员,完成整个的 急救过程。本申请的心肺复苏指导器通过AR技术,给予急救人员更为直观的 急救指引,减轻急救人员因紧张而遗忘或疏忽的情况,按部就班给予急救指引。 而对于非经过训练的普通人,也能瞬间上手进行急救。此外,AED设备的使用 进行指引,避免错误、无效的AED设备操作,帮助急救人员正确使用该设备进 行急救。急救人员在进行急救时,还可给予提醒和纠正,对按压质量进行了把 控。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产 品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入 式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算 机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一 个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中 的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处 理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基 本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要 求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发 明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (19)

1.一种基于AR技术的心肺复苏指导器,其特征在于,包括:
摄像模块,用于获取急救现场环境信息和/或患者信息;
虚拟图像处理模块,用于调用和/或构建相应的虚拟急救指导视频/图像;
数据分析处理模块,还用于根据所述摄像模块获取的所述急救现场环境信息和/或患者信息,确定所述虚拟急救指导视频/图像在所述急救现场环境中的显示位置;
AR显示模块,用于在所述急救现场环境中显示和/或在相应位置叠加显示所述虚拟急救指导视频/图像。
2.根据权利要求1所述的一种基于AR技术的心肺复苏指导器,其特征在于,还包括:急救指导库,
所述急救指导库,用于预存储急救指导说明和/或虚拟急救指导视频/图像;所述急救指导说明包括心肺复苏的按压部位信息、按压手势信息、AED使用说明;所述虚拟急救指导视频/图像包括:CPR操作指引、AED使用流程指引。
3.根据权利要求2所述的一种基于AR技术的心肺复苏指导器,其特征在于,所述CPR操作指引包括按压手势指引、按压部位指引、按压手臂位置指引之中的任意一种或多种。
4.根据权利要求2所述的一种基于AR技术的心肺复苏指导器,其特征在于,所述数据分析处理模块包括:
图像处理子模块,用于根据所述摄像模块获取的急救现场环境信息,识别施救目标;
3D建模子模块,用于根据所述施救目标信息,构建所述施救目标的虚拟3D轮廓模型;
定位子模块,用于定位所述虚拟急救指导视频/图像相对于所述施救目标的显示位置。
5.根据权利要求4所述的一种基于AR技术的心肺复苏指导器,其特征在于,
所述摄像模块,还用于扫描AED设备,获取AED设备图像;
所述数据分析处理模块,还包括:
综合处理子模块,用于根据所述AED设备图像,识别所述AED设备的品牌和型号,通过所述虚拟图像处理模块调用对应的AED使用流程指引视频/图像。
6.根据权利要求2所述的一种基于AR技术的心肺复苏指导器,其特征在于,所述虚拟图像处理模块包括:虚拟图像调用子模块和/或虚拟图像构建子模块;其中:
所述虚拟图像调用子模块,用于根据所述急救现场环境信息,从所述急救指导库中,调用CPR操作指引图和/或AED使用流程指引图;
所述虚拟图像构建子模块,用于根据所述急救指导说明,构建相应的虚拟指导图像。
7.根据权利要求6所述的一种基于AR技术的心肺复苏指导器,其特征在于,所述虚拟图像构建子模块包括以下任意一项或多项:
按压部位指引单元,用于构建心肺复苏的虚拟按压部位定位线;
按压手臂指引单元,用于构建心肺复苏的虚拟按压手臂虚拟线;
按压手势指引单元,用于构建心肺复苏的虚拟按压手势虚拟模型;
AED使用指引单元,用于构建AED的使用流程指引。
8.根据权利要求1所述的一种基于AR技术的心肺复苏指导器,其特征在于,还包括:传感数据获取模块,
所述传感数据获取模块,用于获取施救者的施救情况数据;
所述数据分析处理模块还包括:
按压分析子模块,用于对所述传感数据获取模块获取到的所述施救者的施救情况数据进行分析,并根据分析结果通过语音、视频或图像的方式提醒指导所述施救者。
9.根据权利要求8所述的一种基于AR技术的心肺复苏指导器,其特征在于,所述传感数据获取模块包括:
手势传感子模块,用于实时获取所述施救者的按压手势信息;
身体传感子模块,用于实时获取所述施救者的当前身体位姿信息;
按压传感子模块,用于实时记录所述施救者进行心肺复苏操作时的按压次数与力度。
10.根据权利要求9所述的一种基于AR技术的心肺复苏指导器,其特征在于,按压分析子模块包括:
高度差计算单元,用于根据所述身体传感子模块获取所述施救者按压前后的身体位姿信息,获取按压高度差;
按压深度计算单元,用于通过所述按压传感子模块获取施救者进行心肺复苏操作的按压力度、次数与位移,进一步获取按压频率与按压深度;
分析提示单元,用于通过所述AR显示模块,在所述急救现场环境中叠加显示虚拟高度尺,所述虚拟高度尺动态显示所述按压高度差;还用于根据所述按压深度与频率,结合标准的心肺复苏按压深度与频率,通过语音或图像的方式对所述施救者进行提醒指导。
11.根据权利要求1-10任一项所述的一种基于AR技术的心肺复苏指导器,其特征在于,还包括:通信模块,用于与外界建立通信连接,并通过所述摄像模块分享急救现场情况。
12.一种基于AR技术的心肺复苏指导方法,其特征在于,包括:
获取急救现场环境信息和/或患者信息;
基于预存的急救指导库,调用和/或构建相应的虚拟急救指导视频/图像;
根据所述急救现场环境信息和/或患者信息,确定所述虚拟急救指导视频/图像在所述急救现场环境中的显示位置;
在所述急救现场环境中显示和/或在相应位置叠加显示所述虚拟急救指导视频/图像。
13.根据权利要求12所述的一种基于AR技术的心肺复苏指导方法,其特征在于,确定所述虚拟急救指导视频/图像在所述急救现场环境中的显示位置具体包括:
根据所述急救现场环境信息,识别施救目标;
根据所述施救目标信息,构建所述施救目标的虚拟3D轮廓模型;
定位所述虚拟急救指导视频/图像相对于所述施救目标的显示位置。
14.根据权利要求12所述的一种基于AR技术的心肺复苏指导方法,其特征在于,所述基于预存的急救指导库,调用相应的虚拟急救指导图像具体包括:
根据所述急救现场环境信息,从所述急救指导库中,调用CPR操作指引、和/或AED使用流程指引;
所述基于预存的急救指导库,构建相应的虚拟急救指导图像具体包括:
根据所述急救指导库中的急救指导说明,构建相应的虚拟指导图像;所述虚拟指导图像包括心肺复苏的虚拟按压部位定位线、虚拟按压手臂虚拟线、虚拟按压手势虚拟模型、AED的使用流程指引图之中的任意一种或多种。
15.根据权利要求12所述的一种基于AR技术的心肺复苏指导方法,其特征在于,还包括:
获取施救者的施救情况数据;
分析所述施救者的施救情况数据,并根据分析结果通过语音、图像或动画演示的方式提醒指导所述施救者。
16.根据权利要求15所述的一种基于AR技术的心肺复苏指导方法,其特征在于,所述获取施救者的施救情况数据具体包括以下任意一项或多项:
实时获取所述施救者的当前身体位姿信息;
实时获取所述施救者的按压手势信息;
实时记录所述施救者进行心肺复苏操作时的按压次数与力度。
17.根据权利要求16所述的一种基于AR技术的心肺复苏指导方法,其特征在于,所述分析所述施救者的施救情况数据,并根据分析结果通过语音、图像或动画演示的方式提醒指导所述施救者包括:
按压手势提示步骤、和/或高度差提示步骤、和/或按压指数提示步骤;其中:
所述按压手势提示步骤具体包括:
根据获取的所述施救者的按压手势,结合标准的心肺复苏按压手势,判断所述施救者的按压手势是否正确;
当判定所述施救者的按压手势不正确时,通过语音、图像或动画演示的方式对所述施救者进行提醒;
所述高度差提示步骤具体包括:
根据获取的所述施救者按压前后的身体位姿信息,获取按压高度差;
在所述急救现场环境中叠加显示虚拟高度尺,所述虚拟高度尺动态显示所述按压高度差;
所述按压指数提示步骤具体包括:
根据获取的施救者进行心肺复苏操作的按压力度、次数与位移;计算按压频率与按压深度;
根据所述按压深度与频率,结合标准的心肺复苏按压深度与频率,通过语音、图像或动画演示的方式对所述施救者进行提醒指导。
18.根据权利要求12所述的一种基于AR技术的心肺复苏指导方法,其特征在于,还包括:
扫描AED设备,获取AED设备图像;
根据所述AED设备图像,识别所述AED设备的品牌和型号;
根据所述AED设备的品牌和型号,调用所述AED设备的使用说明或使用流程指导视频/图像。
19.根据权利要求12-18任一项所述的一种基于AR技术的心肺复苏指导方法,其特征在于,还包括:
与外界建立通信连接,通过视频或语音方式分享急救现场情况。
CN201911358856.5A 2019-12-25 2019-12-25 一种基于ar技术的心肺复苏指导器及指导方法 Active CN111091732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911358856.5A CN111091732B (zh) 2019-12-25 2019-12-25 一种基于ar技术的心肺复苏指导器及指导方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911358856.5A CN111091732B (zh) 2019-12-25 2019-12-25 一种基于ar技术的心肺复苏指导器及指导方法

Publications (2)

Publication Number Publication Date
CN111091732A true CN111091732A (zh) 2020-05-01
CN111091732B CN111091732B (zh) 2022-05-27

Family

ID=70397718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911358856.5A Active CN111091732B (zh) 2019-12-25 2019-12-25 一种基于ar技术的心肺复苏指导器及指导方法

Country Status (1)

Country Link
CN (1) CN111091732B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150862A (zh) * 2020-09-08 2020-12-29 江苏三台山数据应用研究院有限公司 一种基于vr岗位全景中的技能教学培训实现方法
CN112164271A (zh) * 2020-11-04 2021-01-01 楼子豪 一种以弓箭习射为载体的教学方法
CN113223389A (zh) * 2021-05-18 2021-08-06 北京大学 一种基于ar技术的心肺复苏自助培训考核系统
CN113240964A (zh) * 2021-05-13 2021-08-10 广西英腾教育科技股份有限公司 一种心肺复苏教学机器
CN113488179A (zh) * 2021-07-20 2021-10-08 重庆东登科技有限公司 基于虚拟现实的急救系统
CN113509645A (zh) * 2021-08-17 2021-10-19 久心医疗科技(苏州)有限公司 一种用于除颤器的患者触碰检测报警系统及方法
CN114185435A (zh) * 2021-12-13 2022-03-15 新疆大学 一种基于虚拟现实设备的急救培训装置及方法
CN114344125A (zh) * 2022-01-22 2022-04-15 郑州市中心医院 一种心肺复苏机智能监控系统与方法
CN116312952A (zh) * 2023-05-10 2023-06-23 苏州尚领医疗科技有限公司 一种胸腔按压反馈方法、装置、可读存储介质及程序产品
CN116456062A (zh) * 2023-06-16 2023-07-18 北京紫云智能科技有限公司 一种创伤复苏单元中复苏流程的教学实现方法和系统
CN116994746A (zh) * 2023-09-27 2023-11-03 苏州鱼跃医疗科技有限公司 智能化aed急救辅助方法及系统、装置、可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070299473A1 (en) * 2003-06-11 2007-12-27 Matos Jeffrey A System for cardiac resuscitation
WO2015008935A1 (ko) * 2013-07-16 2015-01-22 주식회사 아이엠랩 심폐소생술 훈련 시뮬레이션 시스템 및 그 운용방법
US20150325148A1 (en) * 2013-07-16 2015-11-12 I.M.Lab Inc. Cardio pulmonary resuscitation (cpr) training simulation system and method for operating same
CN107004044A (zh) * 2014-11-18 2017-08-01 皇家飞利浦有限公司 增强现实设备的用户引导系统和方法、使用
CN107393390A (zh) * 2017-08-25 2017-11-24 江苏嘉纳宝医疗科技有限公司 虚拟现实急救训练模型人和培训系统
CN108135772A (zh) * 2015-09-28 2018-06-08 皇家飞利浦有限公司 用于基于具有身体测量结果的在线存储资料的个性化治疗指导的便携式医疗设备和方法
CN109414164A (zh) * 2016-05-09 2019-03-01 奇跃公司 用于用户健康分析的增强现实系统和方法
CN109658772A (zh) * 2019-02-11 2019-04-19 三峡大学 一种基于虚拟现实的手术培训与考核方法
KR20190087912A (ko) * 2018-01-17 2019-07-25 대구보건대학교산학협력단 증강현실과 가상현실을 이용한 훈련용 응급처치 시뮬레이션 방법
CN209392096U (zh) * 2018-08-30 2019-09-17 上海霖晏医疗科技有限公司 一种手术导航系统
US20190282324A1 (en) * 2018-03-15 2019-09-19 Zoll Medical Corporation Augmented Reality Device for Providing Feedback to an Acute Care Provider

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070299473A1 (en) * 2003-06-11 2007-12-27 Matos Jeffrey A System for cardiac resuscitation
WO2015008935A1 (ko) * 2013-07-16 2015-01-22 주식회사 아이엠랩 심폐소생술 훈련 시뮬레이션 시스템 및 그 운용방법
US20150325148A1 (en) * 2013-07-16 2015-11-12 I.M.Lab Inc. Cardio pulmonary resuscitation (cpr) training simulation system and method for operating same
CN107004044A (zh) * 2014-11-18 2017-08-01 皇家飞利浦有限公司 增强现实设备的用户引导系统和方法、使用
CN108135772A (zh) * 2015-09-28 2018-06-08 皇家飞利浦有限公司 用于基于具有身体测量结果的在线存储资料的个性化治疗指导的便携式医疗设备和方法
CN109414164A (zh) * 2016-05-09 2019-03-01 奇跃公司 用于用户健康分析的增强现实系统和方法
CN107393390A (zh) * 2017-08-25 2017-11-24 江苏嘉纳宝医疗科技有限公司 虚拟现实急救训练模型人和培训系统
KR20190087912A (ko) * 2018-01-17 2019-07-25 대구보건대학교산학협력단 증강현실과 가상현실을 이용한 훈련용 응급처치 시뮬레이션 방법
US20190282324A1 (en) * 2018-03-15 2019-09-19 Zoll Medical Corporation Augmented Reality Device for Providing Feedback to an Acute Care Provider
CN209392096U (zh) * 2018-08-30 2019-09-17 上海霖晏医疗科技有限公司 一种手术导航系统
CN109658772A (zh) * 2019-02-11 2019-04-19 三峡大学 一种基于虚拟现实的手术培训与考核方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150862A (zh) * 2020-09-08 2020-12-29 江苏三台山数据应用研究院有限公司 一种基于vr岗位全景中的技能教学培训实现方法
CN112164271A (zh) * 2020-11-04 2021-01-01 楼子豪 一种以弓箭习射为载体的教学方法
CN113240964A (zh) * 2021-05-13 2021-08-10 广西英腾教育科技股份有限公司 一种心肺复苏教学机器
CN113223389A (zh) * 2021-05-18 2021-08-06 北京大学 一种基于ar技术的心肺复苏自助培训考核系统
CN113488179B (zh) * 2021-07-20 2022-03-15 重庆东登科技有限公司 基于虚拟现实的急救系统
CN113488179A (zh) * 2021-07-20 2021-10-08 重庆东登科技有限公司 基于虚拟现实的急救系统
CN113509645A (zh) * 2021-08-17 2021-10-19 久心医疗科技(苏州)有限公司 一种用于除颤器的患者触碰检测报警系统及方法
CN114185435A (zh) * 2021-12-13 2022-03-15 新疆大学 一种基于虚拟现实设备的急救培训装置及方法
CN114344125A (zh) * 2022-01-22 2022-04-15 郑州市中心医院 一种心肺复苏机智能监控系统与方法
CN114344125B (zh) * 2022-01-22 2024-02-02 郑州市中心医院 一种心肺复苏机智能监控系统与方法
CN116312952A (zh) * 2023-05-10 2023-06-23 苏州尚领医疗科技有限公司 一种胸腔按压反馈方法、装置、可读存储介质及程序产品
CN116456062A (zh) * 2023-06-16 2023-07-18 北京紫云智能科技有限公司 一种创伤复苏单元中复苏流程的教学实现方法和系统
CN116456062B (zh) * 2023-06-16 2023-08-25 北京紫云智能科技有限公司 一种创伤复苏单元中复苏流程的教学实现方法和系统
CN116994746A (zh) * 2023-09-27 2023-11-03 苏州鱼跃医疗科技有限公司 智能化aed急救辅助方法及系统、装置、可读存储介质
CN116994746B (zh) * 2023-09-27 2024-01-30 普美康(江苏)医疗科技有限公司 智能化aed急救辅助方法及系统、装置、可读存储介质

Also Published As

Publication number Publication date
CN111091732B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN111091732B (zh) 一种基于ar技术的心肺复苏指导器及指导方法
US11077017B2 (en) Cameras for emergency rescue
CN109432753B (zh) 动作矫正方法、装置、存储介质及电子设备
US10543147B2 (en) Optical techniques for the measurement of chest compression depth and other parameters during CPR
JP6124308B2 (ja) 動作評価装置及びそのプログラム
KR101694402B1 (ko) 투사 영상을 이용한 보행 재활 치료 보조 시스템 및 방법
EP2258265A2 (en) Human body measurement system and information provision method using the same
US20150004581A1 (en) Interactive physical therapy
CN104274183A (zh) 动作信息处理装置
JP7373788B2 (ja) リハビリ支援装置、リハビリ支援システム及びリハビリ支援方法
CN105469679A (zh) 基于Kinect的心肺复苏辅助训练系统及方法
US20230157925A1 (en) Cameras for Emergency Rescue
EP2797507A1 (en) A method and apparatus for tracking hand and/or wrist rotation of a user performing exercise
JP2024016153A (ja) プログラム、装置、及び方法
TW201914520A (zh) 肌少症簡易檢測方法及系統
Elsayed et al. CameraReady: Assessing the Influence of Display Types and Visualizations on Posture Guidance
JP5956473B2 (ja) 情報処理装置及びその制御方法、並びに立位バランス診断システム
KR20180099399A (ko) 증강현실 가상트레이너를 적용한 피트니스 센터 및 운동시설 시스템
WO2016014163A1 (en) Three dimensional sensor-based interactive pain maps for localizing pain
CN113633281A (zh) 一种在装配维修过程中对人体姿态的评估方法与系统
CN116153510B (zh) 矫正镜控制方法、装置、设备、存储介质及智能矫正镜
US20220406206A1 (en) Recording medium recorded with cardiopulmonary resuscitation training program, cardiopulmonary resuscitation training method, apparatus, and system
JP2019024580A (ja) リハビリテーション支援システム、リハビリテーション支援方法及びプログラム
Wojciechowski et al. Immersive rehabilitation monitoring system supported with Augmented Reality
NAN DEVELOPMENT OF A COMPUTER PROGRAM TO ASSIST UPPER LIMB REHABILITATION USING KINECT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant