CN113903448A - 基于物联网的可穿戴式ar远程医疗急救协作系统和方法 - Google Patents

Abstract

本申请公开了基于物联网的可穿戴式AR远程医疗急救协作系统和方法，本系统包括AR智能眼镜终端和后台救治指导系统；其中，AR智能眼镜终端用于采集救治现场的音视频影像数据，并通过物联网发送至后台救治指导系统，并接收后台救治指导系统发出的远程指导数据；后台救治指导系统用于根据现场的音视频影像数据生成远程指导数据。本申请能够实现基于现场医护人员的第一视角实施急救操作；提升院前医疗救治的成效。

Description

基于物联网的可穿戴式AR远程医疗急救协作系统和方法

技术领域

本申请属于院前远程医疗急救领域，具体涉及基于物联网的可穿戴式AR远程医疗急救协作系统和方法。

背景技术

目前，随着医疗体系的健全和相应规章的完善，我国已经在医疗急救领域有了相对应的流程，基本流程如下：拨打医疗急救电话，由医院派医护人员乘坐救护车到指定地点载运患者，并送往医院进行治疗。在现有医疗急救的过程中有以下方面需要可穿戴AR设备进行辅助：第一，急救中心医生需要现场医护人员传回从第一视角观察病人的图像、视频和音频，而现场人员随时要操作器械或徒手抢救，难以同时获取这些音视频图像；第二，医护人员通过与患者问答的方式了解病患的身体状况和病情，该方式因主要依靠病患的自述而存在隐患，亦存在医护人员误判的风险。同时，一旦患者有昏迷或者意识不清，更是会放大该风险；第三，医疗急救存在着时限性和复杂性，往往需要多专业医生的远程协同工作，一旦专科医生无法及时赶到医疗救护现场，可能贻误宝贵的抢救时间。上述情况反映出全面掌握病患的信息和及时救治的重要性，因此，需要借助信息技术，针对医疗急救的实际需求，优化院前医疗急救的工作方案和救治流程，进一步完善院前医疗的救治体系。如何开发设计一套能够实时汇总各方信息，又能让专科医生全面介入，还不影响现场急救的完整的协作系统，实现院前医疗急救，正确急救时间，成为医疗急救领域的研究重点。

发明内容

本申请提出了基于物联网的可穿戴式AR远程医疗急救协作系统和方法，在急救现场，急救医生佩戴一体式AR设备，采集现场音视频数据，各相关科室的专科医生使用后台救治指导系统，根据现场情况和患者的病历数据，给出急救指导方案，指导现场急救医生完成院前医疗急救。

为实现上述目的，本申请提供了如下方案：

基于物联网的可穿戴式AR远程医疗急救协作系统，包括AR智能眼镜终端和后台救治指导系统；

所述AR智能眼镜终端用于采集救治现场的音视频影像数据，生成现场视频数据和现场音频数据，并通过物联网发送至所述后台救治指导系统，并接收所述后台救治指导系统发出的远程指导数据；

所述后台救治指导系统用于接收所述现场视频数据和所述现场音频数据，生成所述远程指导数据。

优选的，所述AR智能眼镜终端包括视频采集单元、音频采集单元、音频播放单元、终端控制单元、通讯单元、电源单元和远程指导显示单元；

所述视频采集单元、所述音频采集单元、所述音频播放单元、所述通讯单元、所述电源单元和所述远程指导单元均与所述终端控制单元连接；

所述视频采集单元用于采集所述救治现场的视频影像，生成现场视频数据；

所述音频采集单元用于采集所述救治现场的音频数据，生成现场音频数据；

所述终端控制单元用于接收所述现场视频数据和所述现场音频数据，并通过所述通讯单元发送至所述后台救治指导系统；

所述终端控制单元还用于通过所述通讯单元接收所述后台救治指导系统发送的远程指导数据，并通过所述音频播放单元和所述远程指导显示单元进行显示；所述远程指导数据包括远程指导音频数据和远程指导图文数据；

所述音频播放单元用于播放所述远程指导音频数据；

所述远程指导显示单元用于显示所述远程指导图文数据；

所述电源单元用于向所述视频采集单元、所述音频采集单元、所述音频播放单元、所述终端控制单元、所述通讯单元和所述远程指导显示单元提供电能。

优选的，所述AR智能眼镜终端还包括存储单元；

所述存储单元用于存储所述现场视频数据、所述现场音频数据、所述远程指导音频数据和所述远程指导图文数据。

优选的，所述远程指导显示单元为显示镜片；

所述显示镜片固定安装于所述AR智能眼镜终端，并位于人眼正前方。

优选的，所述AR智能眼镜终端还包括光亮调节模块；

所述光亮调节模块用于根据现场光照强度调节所述显示镜片的图像对比度。

优选的，所述后台救治指导系统包括病历数据库和远程指导单元；

所述病历数据库用于储存患者的病历数据、历次医嘱和健康监测记录；

所述远程指导单元用于根据所述病历数据、所述健康监测记录、所述现场视频数据和所述现场音频数据，生成所述远程指导数据。

优选的，所述远程指导单元包括指导中心和若干个介入终端；

所述指导中心用于接收所述现场视频数据和所述现场音频数据，以及接收所述病历数据和所述健康监测记录，并向若干个所述介入终端传送所述病历数据、所述历次医嘱、所述健康监测记录、所述现场视频数据和所述现场音频数据；

所述介入终端用于根据所述病历数据、所述历次医嘱、所述健康监测记录、所述现场视频数据和所述现场音频数据，生成指导意见；

所述指导中心还用于根据所述指导意见，生成所述远程指导数据，并发送至所述AR智能眼镜终端。

本申请还公开了基于物联网的可穿戴式AR远程医疗急救协作方法，包括如下步骤：

采集救治现场的音视频影像数据，生成现场视频数据和现场音频数据；

根据所述现场视频数据和所述现场音频数据，以及患者的病历数据、历次医嘱和健康监测记录，生成远程指导数据；

根据所述远程指导数据，进行现场救治。

优选的，生成所述远程指导数据的方法包括：

根据患者身份信息，调取所述患者的病历和健康监测记录；

根据所述病历数据、所述历次医嘱、所述健康监测记录、所述现场视频数据和所述现场音频数据，生成指导意见；

根据所述指导意见，生成所述远程指导数据。

本申请的有益效果为：

本申请公开了基于物联网的可穿戴式AR远程医疗急救协作系统和方法，能够实现基于现场医护人员的第一视角实施急救操作，以及实时信息的高效全流程采集；提供对现场医护人员的救治全过程的历史查询和回溯留痕，有助于医疗纠纷的解决和救治过程的示范培训；解放现场医护人员的双手，以避免影响医护人员的现场施救，最大可能地救治病患，提升院前医疗救治的成效；通过将上传病患的健康状况和原有的病史记录信息的汇总，医护人员更加全面的了解病患的身体状况和病情程度，从而制定合理的医疗救治方案，克服医患问答方式所带来的局限性；通过语音和图像实时交互的多介入终端，能实现多人远程协同施救，相关的专业科室医生远程即可对复杂、有危险的现场救治做出专业化指导。降低救治等待时间，同时方便医疗救治，节约医疗资源，实现远程医疗的资源的互助和协调。本申请将AR技术应用到院前远程医疗的急救工作中，目的是辅助现场救治，提高救治的效率和质量，解放现场医护人员的双手，以第一视角引导医护人员完成复杂救治工作；在救治过程中实现与急救中心医生全程共享信息和互动，并且实现对救治过程的全程记录和监控，稳妥且高效地完成救治任务。本系统具有广阔的推广空间和使用价值。

附图说明

为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一基于物联网的可穿戴式AR远程医疗急救协作系统结构示意图；

图2为本申请实施例二基于物联网的可穿戴式AR远程医疗急救协作方法流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

实施例一

如图1所示，为本申请实施例一基于物联网的可穿戴式AR远程医疗急救协作系统结构示意图，包括AR智能眼镜终端和后台救治指导系统量大部分，其中，AR智能眼镜终端采用可佩戴式眼镜，用于采集救治现场的音视频影像数据，生成现场视频数据和现场音频数据，并通过物联网发送至后台救治指导系统，并接收后台救治指导系统发出的远程指导数据；后台救治指导系统用于接收现场视频数据和现场音频数据，生成远程指导数据。

具体的，在本实施例中，AR智能眼镜终端包括视频采集单元、音频采集单元、音频播放单元、终端控制单元、通讯单元、电源单元和远程指导显示单元，并且视频采集单元、音频采集单元、音频播放单元、通讯单元、电源单元和远程指导单元均与终端控制单元连接。

在本实施中，采用高清摄像头作为视频采集单元，固定安装在镜框上，用以采集救治现场的视频影像，生成现场视频数据；使用通常的麦克风作为音频采集单元，用于采集救治现场的音频数据，生成现场音频数据，此处需要注意的是，为了防止周边杂音的干扰，本实施例中的麦克风只接收佩戴人员自身的语音；使用FPGA可编程控制器作为本实施例中的终端控制单元，便于整套AR远程医疗急救协作系统的功能升级；FPGA控制器接收现场视频数据和现场音频数据，并通过通讯单元发送至后台救治指导系统；FPGA控制器还用于通过通讯单元接收后台救治指导系统发送的远程指导数据，并通过音频播放单元和远程指导显示单元进行显示，其中，远程指导数据包括远程指导音频数据和远程指导图文数据；本实施例的通讯单元基于物联网传输，可使用通常的无线通讯方式，例如可以是4G、5G、WIFI等，构成无线通讯单元；进一步的，可采用VPN技术，在AR智能眼镜终端与后台救治指导系统间建立虚拟专用网络，以保证急救过程中急救现场与后台专科医生间的通讯畅通。使用通常的音频播放器作为音频播放单元，播放远程指导音频数据，例如耳机，同时也为了方便其他医护人员接听，可同时附加声音外放设备；使用可调光显示镜片作为本实施例的远程指导显示单元，既可以透过镜片看清现实景象，又可在镜片上显示远程指导图文数据，同时，进一步的，还附加有光亮调节模块，能够根据现场光照强度调节显示镜片的图像对比度，保证显示的图文影像足够清晰，该显示镜片固定安装于AR智能眼镜终端上，并位于人眼正前方，另外，可以根据需要，为一只眼睛配置一片显示镜片，或两只眼睛各配置一片镜片；使用锂电池单元作为本实施例的电源单元，为AR智能眼镜终端中的各个设备单元提供电力，既可实现小型化，又能保证高电量。

进一步的，为了能够随时查看先前的各类数据，在本实施例中增加存储单元，可使用固定式或移动式存储介质实现，用于存储现场视频数据、现场音频数据、远程指导音频数据和远程指导图文数据。

在本实施例中，后台救治指导系统用于接收现场视频数据和现场音频数据，生成远程指导数据，包括病历数据库和远程指导单元。

具体的，病历数据库储存有患者的病历数据、历次医嘱和健康监测记录，及其他个人信息，能够综合反映已就诊患者及有过体检历史记录人员的健康状态、历史病症及诊疗情况，便于相关医护人员快速了解患者历史病情，做出准确判断。同步的，对于本次急救及相关的急救意见、措施等，也同步存储在病历数据库中，为患者的进一步住院治疗提供参考。

远程指导单元用于根据病历数据、健康监测记录、现场视频数据和现场音频数据，生成远程指导数据。鉴于患者的病情可能需要多个专业的专科医生共同会诊，在本实施例中，远程指导单元又包括指导中心和若干个介入终端；指导中心接收现场视频数据和现场音频数据，同时从病历数据库中调取该患者的病历数据、历次医嘱和健康监测记录，实时的向介入终端传送；相关专业的专科医生通过介入终端，可以方便、全面、准确、实时的了解现场情况和患者的病历数据以及健康监测记录，给出指导意见；进一步的，使用介入终端，多个专科医生可以相互交流，在指导中心上共同制定指导意见；再进一步的，指导中心还将急救现场的AR智能眼镜终端作为一个介入终端，使得现场急救人员参与到会诊中，共同制定指导意见。最后，由指导中心生成最终的远程指导数据，并发送至AR智能眼镜终端。进一步的，随着急救的进行和现场情况的变化，位于远程的专科医生通过介入终端，实时的与现场急救医护人员在线沟通，共同完成整个院前急救过程。

在本实施例中，更进一步的改进在于，指导中心可根据现场急救人员的语音，提取出关键的病症信息点，例如：高烧、抽搐、瞳孔缩小、骨折、呼吸困难等典型症状，指导中心根据这些关键信息，从候选专科医生数据库中，自动匹配相关的专科医生，并唤醒这些医生的介入终端，请求医生及时介入，同时将这些关键信息转换成文字，显示在介入终端上。在此处关于专科医生的匹配和自动连接时，首选的方式还是直接与相应的专科医生建立直接联系，但也会遇到该医生正处于手术中、或者有其他急诊而不能介入，此时，如果指导中心一直等待该医生介入，则很有可能贻误急救现场救治，因此，可进一步设定广播形式，其他位列专科医生数据库中的专科医生，会同时收到介入请求和现场信息，每一名专科医生都可以通过介入终端连入指导中心，介入急救过程。在本实施例中，使用手机、平板电脑和笔记本电脑作为介入终端，因此，指导中心与介入终端的连接方式，并不局限于医院内部局域网，指导中心可通过包括WIFI、4G、5G等多种联网形式，与院内或院外、甚至其他医院、其他外地医院的可介入急救的专科医生建立远程连接。

使用本实施例的基于物联网的可穿戴式AR远程医疗急救协作系统，可以让远程的各相关专业的专科医生实时查看到现场情况，同时还有患者的病历数据、历次医嘱和健康记录，能够更清楚的了解患者情况，共同作出远程指导协助，共同完成院前急救，为患者救治争取宝贵的时间。

实施例二

如图2所示，为本申请实施例二的基于物联网的可穿戴式AR远程医疗急救协作方法，包括以下步骤：

S1.急救医护人员抵达现场后，一边与患者沟通，一边通过佩戴的AR智能眼镜终端以第一视角采集救治现场的音视频影像数据，生成现场视频数据和现场音频数据，并发送至后台救治指导系统；

S2.各个相关专业的专科医生根据现场视频数据和现场音频数据，以及患者的病历数据和健康监测记录，生成远程指导数据，并发送至AR智能眼镜终端；具体的，包括以下步骤：

S2.1.根据患者身份信息，调取患者的病历和健康监测记录；

S2.2.相关专业的专科医生根据病历、健康监测记录、现场视频数据和现场音频数据，生成指导意见；进一步的，现场医护人员也参与会诊；

S2.3.根据指导意见，生成远程指导数据。

S3.现场医护人员根据远程指导数据，进行现场救治。

以上所述的实施例仅是对本申请优选方式进行的描述，并非对本申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本申请权利要求书确定的保护范围内。

Claims (9)

1.基于物联网的可穿戴式AR远程医疗急救协作系统，其特征在于，包括AR智能眼镜终端和后台救治指导系统；

所述AR智能眼镜终端用于采集救治现场的音视频影像数据，生成现场视频数据和现场音频数据，并通过物联网发送至所述后台救治指导系统，并接收所述后台救治指导系统发出的远程指导数据；

所述后台救治指导系统用于接收所述现场视频数据和所述现场音频数据，生成所述远程指导数据。

2.根据权利要求1所述的基于物联网的可穿戴式AR远程医疗急救协作系统，其特征在于，所述AR智能眼镜终端包括视频采集单元、音频采集单元、音频播放单元、终端控制单元、通讯单元、电源单元和远程指导显示单元；

所述视频采集单元、所述音频采集单元、所述音频播放单元、所述通讯单元、所述电源单元和所述远程指导单元均与所述终端控制单元连接；

所述视频采集单元用于采集所述救治现场的视频影像，生成现场视频数据；

所述音频采集单元用于采集所述救治现场的音频数据，生成现场音频数据；

所述终端控制单元用于接收所述现场视频数据和所述现场音频数据，并通过所述通讯单元发送至所述后台救治指导系统；

所述终端控制单元还用于通过所述通讯单元接收所述后台救治指导系统发送的远程指导数据，并通过所述音频播放单元和所述远程指导显示单元进行显示；所述远程指导数据包括远程指导音频数据和远程指导图文数据；

所述音频播放单元用于播放所述远程指导音频数据；

所述远程指导显示单元用于显示所述远程指导图文数据；

所述电源单元用于向所述视频采集单元、所述音频采集单元、所述音频播放单元、所述终端控制单元、所述通讯单元和所述远程指导显示单元提供电能。

3.根据权利要求2所述的基于物联网的可穿戴式AR远程医疗急救协作系统，其特征在于，所述AR智能眼镜终端还包括存储单元；

所述存储单元用于存储所述现场视频数据、所述现场音频数据、所述远程指导音频数据和所述远程指导图文数据。

4.根据权利要求2所述的基于物联网的可穿戴式AR远程医疗急救协作系统，其特征在于，所述远程指导显示单元为显示镜片；

所述显示镜片固定安装于所述AR智能眼镜终端，并位于人眼正前方。

5.根据权利要求4所述的基于物联网的可穿戴式AR远程医疗急救协作系统，其特征在于，所述AR智能眼镜终端还包括光亮调节模块；

所述光亮调节模块用于根据现场光照强度调节所述显示镜片的图像对比度。

6.根据权利要求1所述的基于物联网的可穿戴式AR远程医疗急救协作系统，其特征在于，所述后台救治指导系统包括病历数据库和远程指导单元；

所述病历数据库用于储存患者的病历数据、历次医嘱和健康监测记录；

所述远程指导单元用于根据所述病历数据、所述健康监测记录、所述现场视频数据和所述现场音频数据，生成所述远程指导数据。

7.根据权利要求6所述的基于物联网的可穿戴式AR远程医疗急救协作系统，其特征在于，所述远程指导单元包括指导中心和若干个介入终端；

所述指导中心用于接收所述现场视频数据和所述现场音频数据，以及接收所述病历数据和所述健康监测记录，并向若干个所述介入终端传送所述病历数据、所述历次医嘱、所述健康监测记录、所述现场视频数据和所述现场音频数据；

所述介入终端用于根据所述病历数据、所述历次医嘱、所述健康监测记录、所述现场视频数据和所述现场音频数据，生成指导意见；

所述指导中心还用于根据所述指导意见，生成所述远程指导数据，并发送至所述AR智能眼镜终端。

8.基于物联网的可穿戴式AR远程医疗急救协作方法，其特征在于，包括如下步骤：

采集救治现场的音视频影像数据，生成现场视频数据和现场音频数据；

根据所述现场视频数据和所述现场音频数据，以及患者的病历数据、历次医嘱和健康监测记录，生成远程指导数据；

根据所述远程指导数据，进行现场救治。

9.根据权利要求8所述的基于物联网的可穿戴式AR远程医疗急救协作方法，其特征在于，生成所述远程指导数据的方法包括：

根据患者身份信息，调取所述患者的病历和健康监测记录；

根据所述病历数据、所述历次医嘱、所述健康监测记录、所述现场视频数据和所述现场音频数据，生成指导意见；

根据所述指导意见，生成所述远程指导数据。

Images