CN111228655A

CN111228655A - 基于虚拟智能医疗平台的监控方法、装置及存储介质

Info

Publication number: CN111228655A
Application number: CN202010038083.9A
Authority: CN
Inventors: 于金明; 钱俊超; 穆向魁; 王琳琳; 卢洁; 贺小龙; 李彦飞
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-01-14
Filing date: 2020-01-14
Publication date: 2020-06-05

Abstract

本公开涉及一种基于虚拟智能医疗平台的监控方法、装置及存储介质，所述方法包括：基于数据采集设备当前时刻获取的目标对象的空间位置信息，通过预设的关键点提取网络，确定目标对象在当前时刻的人体关键点信息，其中，人体关键点信息包括目标对象的骨骼关节点信息和/或体表信息；基于目标对象在当前时刻的人体关键点信息以及在当前时刻之前的至少一个时刻的人体关键点信息，确定目标对象的肢体活动信息，其中，肢体活动信息包括目标对象的骨骼关节点位移信息和/或体表位移信息；在目标对象的肢体活动信息符合预设条件时，发送报警信息。本公开实施例的基于虚拟智能医疗平台的监控方法够避免人为过失且能够持续性地进行高精度监控。

Description

基于虚拟智能医疗平台的监控方法、装置及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种基于虚拟智能医疗平台的监控方法、装置及存储介质。

背景技术

在实际应用中，存在大量需要对目标对象进行监控的场景。以医疗领域的放疗为例，放疗是通过提高对肿瘤照射剂量来提高局部肿瘤控制率，放疗过程中，对患者行为进行监控是保证精确放疗的重要环节。如果放射治疗过程中，患者出现体位移动，会导致目标区域超出照射范围，健康组织进入照射范围，将降低治疗效果，增加放疗并发症的发生概率。

目前临床对患者行为进行监控的方式是：医疗人员观察或者通过视频监控患者行为。现有的监控方式完全依赖人的主观判断，如果医疗人员中途离开或者不注意，将可能错过患者的异常动作或者体位移动导致严重后果。

发明内容

有鉴于此，本公开提出了一种基于虚拟智能医疗平台的监控方法，能够避免人为过失且能够持续性地进行高精度监控。

根据本公开的一方面，提供了一种基于虚拟智能医疗平台的监控方法，包括：

基于数据采集设备当前时刻获取的目标对象的空间位置信息，通过预设的关键点提取网络，确定所述目标对象在当前时刻的人体关键点信息，其中，所述人体关键点信息包括所述目标对象的骨骼关节点信息和/或体表信息；

基于所述目标对象在当前时刻的人体关键点信息以及在当前时刻之前的至少一个时刻的人体关键点信息，确定所述目标对象的肢体活动信息，其中，所述肢体活动信息包括所述目标对象的骨骼关节点位移信息和/或体表位移信息；

在所述目标对象的肢体活动信息符合预设条件时，发送报警信息。

在一种可能的实现方式中，基于所述目标对象在当前时刻的人体关键点信息以及在当前时刻之前的至少一个时刻的人体关键点信息，确定所述目标对象的肢体活动信息，包括：

基于所述目标对象在当前时刻的骨骼关节点信息与上一时刻的骨骼关节点信息，确定所述目标对象在当前时刻相对于上一时刻的骨骼关节点位移信息，所述肢体活动信息包括所述骨骼关节点位移信息。

基于所述目标对象在当前时刻的体表信息与预设初始时刻的体表信息，确定所述目标对象在当前时刻相对于预设初始时刻的体表位移信息，所述肢体活动信息包括所述体表位移信息。

在一种可能的实现方式中，在所述目标对象的肢体活动信息符合预设条件时，发送报警信息，包括：

若所述骨骼关节点位移信息大于或等于第一预设阈值，则发送所述报警信息。

若所述体表位移信息大于或等于第二预设阈值，则发送所述报警信息。

在一种可能的实现方式中，所述方法还包括：

基于所述数据采集设备在当前时刻获取的所述目标对象的空间距离以及所述数据采集设备的位置，确定所述目标对象在当前时刻的空间位置信息。

在一种可能的实现方式中，所述数据采集设备的数量为多个，所述方法还包括：

基于各个数据采集设备在当前时刻获取的所述目标对象的空间距离以及各个数据采集设备的位置，分别确定所述目标对象在当前时刻的定位位置；

根据所述目标对象在当前时刻的多个定位位置，确定所述目标对象的空间位置信息。

在一种可能的实现方式中，所述数据采集设备包括TOF飞行时间设备。

根据本公开的另一方面，提供了一种基于虚拟智能医疗平台的监控装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行实现上述方法。

根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。

根据本公开的实施例，能够基于数据采集设备当前时刻所获取的目标对象的空间位置信息，通过预设的关键点提取网络，确定目标对象在当前时刻的人体关键点信息；基于所述目标对象在当前时刻的人体关键点信息以及在当前时刻之前的至少一个时刻的人体关键点信息，确定目标对象的肢体活动信息；在目标对象的肢体活动信息符合预设条件时，发送报警信息。通过数据采集设备获取目标对象的空间位置信息，能够持续性地对目标对象进行监控；基于目标对象的空间位置信息确定人体关键点信息，基于所述目标对象在当前时刻的人体关键点信息以及在当前时刻之前的至少一个时刻的人体关键点信息，确定目标对象的肢体活动信息，能够避免人为过失且能够进行高精度监控。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开实施例的基于虚拟智能医疗平台的监控方法的流程示意图。

图2示出根据本公开实施例的基于虚拟智能医疗平台的监控系统的架构示意图。

图3示出根据本公开实施例的数据采集设备部署示意图。

图4示出根据本公开实施例的基于虚拟智能医疗平台的监控系统的结构示意图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开实施例的基于虚拟智能医疗平台的监控方法的流程示意图。如图1所示，所述方法包括：

步骤S100，基于数据采集设备当前时刻获取的目标对象的空间位置信息，通过预设的关键点提取网络，确定所述目标对象在当前时刻的人体关键点信息；

步骤S200，基于所述目标对象在当前时刻的人体关键点信息以及在当前时刻之前的至少一个时刻的人体关键点信息，确定所述目标对象的肢体活动信息；

步骤S300，在所述目标对象的肢体活动信息符合预设条件时，发送报警信息。

本公开的实施例所述的数据采集设备可以包括TOF(Time of Flight，飞行时间)设备。TOF设备是通过向目标对象打光，测量光在TOF设备和目标对象之间的传输时间来测量目标对象与TOF设备的距离。可选地，TOF设备可以包括Azure Kinect设备。其中，AzureKinect设备能够采集多种类型的数据，包括但不限于目标对象的深度数据、灰度数据以及RGB数据。为了说明的方便，本公开实施例均以TOF设备为Azure Kinect设备为例进行说明。

本公开的实施例的方法能够运行在基于虚拟智能医疗平台的监控系统中。图2示出根据本公开实施例的基于虚拟智能医疗平台的监控系统的架构示意图。如图2所示，所述基于虚拟智能医疗平台的监控系统包括终端平台层21、应用层22、应用数据层23、基础平台层24以及数据存储层25。

其中，终端平台层21可以包括智能手机，个人电脑，平板设备和TOF设备等终端设备。应用层22可以用于实现数据自动化处理、人体动作跟踪以及人体体表建模等应用功能。应用数据层23可以用于分发病人信息、医疗人员信息以及监控记录等数据资源。基础平台层24可以包括程序编码平台、虚拟智能医疗平台以及数据分发平台等支撑性基础平台，其中，虚拟智能医疗平台是以虚拟现实、增强现实、混合现实等全息技术为基础，结合人工智能与大数据分析等方法构建的医疗平台，用于辅助和指导有创、微创、无创等临床诊断和治疗过程，可以应用于外科、内科、放疗科、介入科等领域。数据存储层25可以包括多种类型的数据库，用于缓存远程联动系统的数据。

在一种可能的实现方式中，在步骤S100之前，本公开实施例的方法还可以包括：

在实际应用中，数据采集设备可以与服务器端连接，数据采集设备可以将所获取的目标对象的空间距离发送至服务器端，由服务器端完成相应的计算，降低数据采集设备的计算压力，从而满足本公开实施例对监控的实时性要求。

举例来说，数据采集设备可以向目标对象连续发送光脉冲，然后通过其自身的传感器接收从目标对象返回的光脉冲，通过光脉冲的飞行时间确定数据采集设备与目标对象的空间距离。可以理解的是，数据采集设备所接收到的数据为光脉冲返回时间的集合。数据采集设备可以将光脉冲返回时间的集合传输至服务器端，服务器端可以根据数据采集设备发送的光脉冲返回时间的集合，确定数据采集设备与目标对象的空间距离。

根据数据采集设备与目标对象的空间距离以及数据采集设备自身的位置，确定所述目标对象在当前时刻的空间位置信息，其中，目标对象的空间位置信息可以包括以数据采集设备为坐标中心，目标对象的三维坐标矩阵。

为了能够全方位地获取目标对象的空间位置信息，可以采用多个数据采集设备获取目标对象的空间位置信息。其中，数据采集设备的数量可以为多个。

图3示出根据本公开实施例的数据采集设备部署示意图。如图3所示，以目标对象为中心建立方向坐标系，以数据采集设备的数量为3个为例进行说明，每个数据采集设备均可以相对于目标对象垂直放置，以便获取目标对象尽可能多的数据。其中，数据采集设备1可以放置在目标对象的北方向，数据采集设备2可以放置在目标对象的西方向，数据采集设备3可以放置在目标对象的东方向。

示例性地，基于数据采集设备1在当前时刻所获取的目标对象的空间距离d₁以及数据采集设备1的位置p₁，可以确定目标对象在当前时刻的定位位置m₁；同理，基于数据采集设备2和数据采集设备3所获取的目标对象的空间距离d₂和d₃，以及数据采集设备2和数据采集设备3的位置p₂和p₃，可以确定目标对象在当前时刻的定位位置m₂和m₃。根据目标对象在当前时刻的多个定位位置m₁，m₂和m₃，可以对多个定位位置求平均值、加权平均值等方式确定所述目标对象的空间位置信息。需要说明的是，本公开实施例对根据目标对象在当前时刻的多个定位位置，确定目标对象的空间位置信息的方式不作限定。

通过这种方式，能够实现对目标对象进行精确定位，为后续确定目标对象的肢体活动信息提供准确的数据。

在一种可能的实现方式中，可在步骤S100中，基于数据采集设备当前时刻获取的目标对象的空间位置信息，通过预设的关键点提取网络，确定所述目标对象在当前时刻的人体关键点信息。

其中，目标对象可例如为人员，人体关键点信息包括所述目标对象的骨骼关节点信息和/或体表信息。需要说明的是，骨骼关节点信息表示人体各个骨骼关节点(例如手、头部、脚等)的空间位置信息，体表信息是在骨骼关节点信息的基础上，更加细致地表示人体体表多个点的空间位置信息。

示例性地，关键点提取网络可以是预先训练好的神经网络，也可以是经过机器学习训练好的，用于识别人体轮廓的模式识别库(例如机器视觉库OpenCV等)，本公开实施例对关键点提取网络的类型不作限定。

通过数据采集设备当前时刻获取的目标对象的空间位置信息，通过预设的关键点提取网络，能够实时确定目标对象的人体关键点信息，通过实时确定的目标对象的人体关键点信息能够实现对目标对象进行实时监控。

在一种可能的实现方式中，可在步骤S200中，基于所述目标对象在当前时刻的人体关键点信息以及在当前时刻之前的至少一个时刻的人体关键点信息，确定所述目标对象的肢体活动信息。其中，步骤S200包括：

以医疗领域的放疗为例，放疗过程中，如果患者出现较大幅度的肢体动作(例如举手等)，有可能导致放疗射线照射到健康组织，降低治疗效果，并且导致放疗并发症。因此，需要在患者出现较大幅度的肢体动作时，及时发送报警信息。

患者出现较大幅度的肢体动作时，往往需要移动骨骼关节点，因此，可以通过骨骼关节点的位移判断患者的肢体活动情况。

通过目标对象在当前时刻的骨骼关节点信息与上一时刻的骨骼关节点信息，可以确定目标对象在当前时刻相对于上一时刻的骨骼关节点位移信息。可以理解的是，目标对象出现较大幅度的肢体动作往往只是很短时间，因此只需要确定目标对象在当前时刻相对于上一时刻的骨骼关节点位移信息即可判断出目标对象是否做出较大幅度的肢体动作。其中，上一时刻的具体时间可以根据用户需要进行设定，本公开实施例对上一时刻的具体时间不作限定。

在一种可能的实现方式中，可在步骤S300中，在所述目标对象的肢体活动信息符合预设条件时，发送报警信息。其中，步骤S300包括：

在实际应用中，若骨骼关节点位移信息大于或等于第一预设阈值，则可以认定目标对象做出较大幅度的肢体动作，符合预设条件，可以发送报警信息。其中，第一预设阈值可以根据用户需要进行设定，本公开实施例对第一预设阈值的具体取值不作限定。

需要说明的是，本公开实施例还可以通过预设的动作模式识别库识别目标对象的肢体动作，具体地，动作模式识别库中可以预先设定有多种类型的肢体动作，若目标对象在当前时刻相对于上一时刻的骨骼关节点位移信息与动作模式识别库中预先设定的肢体动作相符，则也可以认定目标对象做出较大幅度的肢体动作。

通过这种方式，能够准确地检测目标对象较大幅度的肢体动作，并及时报警，以便相关人员做出相应的保护措施。

在一种可能的实现方式中，步骤S200包括：

基于所述目标对象在当前时刻的体表信息与预设初始时刻的体表信息，确定所述目标对象在当前时刻相对于上一时刻的体表位移信息，所述肢体活动信息包括所述体表位移信息。

以医疗领域的放疗为例，放疗过程中，即使目标对象轻微移动也可能造成放疗射线超出照射范围，因此，即使目标对象只是出现轻微移动，也需要及时发送报警信息。为了实现高精度的监控，可以获取目标对象的高精度体表信息。

举例来说，通过目标对象在当前时刻的体表信息与预设初始时刻的体表信息，可以确定目标对象在当前时刻相对于预设初始时刻的体表位移信息。可以理解的是，目标对象出现体表位移是相对于初始位置而言的，因此，可以选定预设初始时刻的体表信息，将其与当前时刻的体表信息进行比较。

在一种可能的实现方式中，步骤S300包括：

也就是说，如果当前时刻相对于预设初始时刻的体表位移信息大于或等于第二预设阈值，则可以认定目标对象发生了体表位移，符合预设条件，可以发送报警信息。其中，预设初始时刻和第二预设阈值可以根据用户需要进行设定，本公开实施例对此不作限定。

在一种可能的实现方式中，以医疗领域为例，发送报警信息可以包括向医疗人员发送报警短信或者向医疗人员拨打电话等。在实际应用中，医疗人员接收到报警信息后，可以及时进行医疗处理，例如停止放疗加速器对患者进行放疗照射等。

通过这种方式，能够准确地检测目标对象细微的体位移动，满足高精度监控的要求，以便相关人员做出相应的保护措施。

图4示出根据本公开实施例的基于虚拟智能医疗平台的监控系统的结构示意图。如图4所示，所述基于虚拟智能医疗平台的监控系统包括：

数据采集设备41，连接到服务器端，用于获取当前时刻目标对象的空间位置信息，并将所述空间位置信息发送至所述服务器端；

服务器端42，连接到客户端，用于通过预设的关键点提取网络，确定所述目标对象在当前时刻的人体关键点信息，基于所述目标对象在当前时刻的人体关键点信息以及在当前时刻之前的至少一个时刻的人体关键点信息，确定所述目标对象的肢体活动信息，在所述目标对象的肢体活动信息符合预设条件时，向所述客户端发送报警信息；

客户端43，用于接收所述报警信息。

本公开实施例所述的客户端可以包括智能手机，个人电脑，平板设备和AR(Augmented Reality，增强现实)眼镜等终端设备。本公开实施例所述的服务器端可以包括云端服务器，客户端可以通过多种连接方式与服务器端连接，包括但不限于通过以太网接口、4G/5G移动通信网络以及WLAN无线网络与服务器端连接。本公开实施例的基于虚拟智能医疗平台的监控系统可以兼容多种网络通信方式，无论用户采用何种终端设备，无论用户身处何地，均能够及时接收到报警信息，以便用户及时做出相应的措施。

根据本公开的另一方面，提供了一种基于虚拟智能医疗平台的监控装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。

根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims

1.一种基于虚拟智能医疗平台的监控方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于所述目标对象在当前时刻的人体关键点信息以及在当前时刻之前的至少一个时刻的人体关键点信息，确定所述目标对象的肢体活动信息，包括：

3.根据权利要求1所述的方法，其特征在于，基于所述目标对象在当前时刻的人体关键点信息以及在当前时刻之前的至少一个时刻的人体关键点信息，确定所述目标对象的肢体活动信息，包括：

4.根据权利要求2所述的方法，其特征在于，在所述目标对象的肢体活动信息符合预设条件时，发送报警信息，包括：

5.根据权利要求3所述的方法，其特征在于，在所述目标对象的肢体活动信息符合预设条件时，发送报警信息，包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述数据采集设备的数量为多个，所述方法还包括：

8.根据权利要求7所述的方法，其特征在于，所述数据采集设备包括TOF飞行时间设备。

9.一种基于虚拟智能医疗平台的监控装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1至8中任意一项所述的方法。

10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至8中任意一项所述的方法。