CN113506309A - 基于人工智能的医疗数据变量测量监测方法及系统 - Google Patents

Abstract

本发明涉及基于人工智能的医疗数据变量测量监测方法及系统；其通过计算当前输液区域的液面下降速度；对所述液面下降速度进行修正，得到修正后的下降速度；根据实时获取的输液面高度以及修正后的下降速度，计算输液的剩余时间；当剩余时间小于预设阈值时，进行预警提示。即本发明的方案通过对输液区域的液面下降速度进行修正，能够对输液进度进行准确评估。

Description

基于人工智能的医疗数据变量测量监测方法及系统

技术领域

本发明涉及电数据变量检测技术领域，具体涉及基于人工智能的医疗数据变量测量监测方法及系统。

背景技术

现有公开的采用视觉成像技术进行输液预警，其一般都是直接采用摄像头拍摄输液容器的图像，获取对应的输液线，根据输液线以及对应容器的输液预警线，进行相应的预警识别；

但是，需要说明的是，上述现有的方法存在以下问题：

1）当药品与输液容器颜色基本相近时，常规的RGB相机很难有效的拍摄到较为清晰的输液面，这样导致输液面不清晰，无法有效、准确地获得输液进度。

2）同时，基于目前医院使用的输液容器几乎均为聚乙烯等医用塑料材质，在输液过程中受外界压强的作用而产生形变，进而，导致输液容器体积的发生变化，那么，在输液速率不变的情况下，输液面的位置并不恒定下降的。因此，通过获取的输液面进行输液的预警，其存在不准确的问题。

基于上述分析，现有的输液预警识别方法是无法有效获取输液进度，存在监测不准确的问题。

发明内容

本发明的目的在于提供基于人工智能的医疗数据变量测量监测方法及系统，用以解决现有输液监测方法无法有效获取输液进度，存在监测不准确的问题。

本发明提供的一种基于人工智能的医疗数据变量测量监测方法的技术方案，包括以下步骤：

计算当前输液区域的液面下降速度；

对所述液面下降速度进行修正，得到修正后的下降速度；

根据实时获取的输液面高度以及修正后的下降速度，计算输液的剩余时间；当剩余时间小于预设阈值时，进行预警提示；

其中，对所述液面下降速度进行修正的过程为：

获取输液区域对应的历史数据，所述历史数据包括输液容器的初始深度图像信息和当前深度图像信息；

将所述初始深度图像信息和当前深度图像信息分别转换到三维点云空间中，获取深度图像所在区域的初始位置坐标和当前位置坐标；

根据各像素点的初始位置坐标和当前位置坐标，计算各像素点在三维空间的欧氏距离，获得由各像素点的初始位置、当前位置以及对应的欧氏距离组成的三维位移差值块,并计算该三维位移差值块的质心；

根据所述质心，计算质心到当前气泡轨迹线的垂直距离，将所述垂直距离作为修正系数，对液面下降速度进行修正。

进一步地，所述液面下降速度的计算过程为：

获取任意两相邻周期内的多帧输液区域的图像；

对各周期内的多帧输液区域的图像进行处理，获取语义分割图，并将语义分割图与各输液区域的图像相乘，得到各输液装置的图像；

对各输液装置图像进行特征提取和图像融合，获取输液容器图像，并根据连通域分析法对所述输液容器图像进行特征提取，得到相邻两周期对应的气泡轨迹线以及对应的长度；根据相邻两周期的长度差值，得出当前输液区域的液面下降速度。

进一步地，所述输液容器图像的获取方法为：

对所述各周期对应的各输液装置的图像进行处理，获取各特征图像，并分别计算各特征图像的平均灰度；比较相邻两帧特征图像的平均灰度，分别筛选出平均灰度较小的特征图像，进行图像融合，得到背景图像；

将各特征图像与背景图像作差，获取各前景图像，进行各前景图像融合，得到融合后的前景图像。

进一步地，所述图像融合采用衰减模型进行图像融合，其中的衰减模型为：

其中

为经较小平均灰度筛选后的前一帧图像与后一帧图像经融合后的背景图像；

为一分钟周期内图像序列中由相邻帧图像经较小平均灰度筛选后的第

图像；同样

为相邻帧图像经较小平均灰度筛选后所获得的第

图像；

为背景衰减系数。

进一步地，还包括在前景图像融合之前，对各前景图像进行筛选的步骤。

进一步地，对各前景图像进行筛选的步骤为通过计算各前景图像的平均灰度，比较相邻两帧前景图像的平均灰度，分别筛选出平均灰度较大的前景图像

进一步地，所述输液面高度为气泡轨迹线的长度。

本发明提供的一种基于人工智能的医疗数据变量测量监测系统的技术方案，包括存储器和处理器，所述处理器执行存储器存储的上述基于人工智能的图像识别的输液监测方法的技术方案。

本发明的有益效果为：

本发明的方案结合输液容器在输液过程中发生形变，通过引入输液容器形变，也即扁胀程度的影响因素，对输液区域的液面下降速度进行修正，能够对输液进度进行准确评估。

同时，为了准确获取液面下降速度，本发明根据输液时液体产生的气泡获得有效的特征指标，从而准确获取相应的输液面，并输液进度进行有效、准确的监测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明的基于人工智能的医疗数据变量测量监测方法的实施例的方法流程图；

图2是本发明的基于人工智能的医疗数据变量测量监测方法的三维位移差值块的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行介绍。

本发明提供的基于人工智能的医疗数据变量测量监测方法的实施例，针对的是医院病房内的输液区域的输液容器内药品多少的监测，即通过设置在输液区域的摄像头，进行输液容器图像的拍摄，并对获取的输液容器的图像进行分析处理，获取分析结果，实现输液的监测。

上述中图像的分析处理是通过设置在后台控制区域（例如医院的中控室）的控制设备进行分析处理的；其中的控制设备还能够将多个输液容器的图像实时在显示屏幕上进行显示，进行输液过程的实时监控，通过实时监控的图像以及分析结果，实现输液的准确监测。

本发明实施例中，输液容器随着输液过程而发生形变，具体为输液袋或者输液瓶。

如图1所示，本发明的基于人工智能的医疗数据变量测量监测方法，包括以下步骤：

步骤1，计算当前输液区域的液面下降速度；

其中，液面下降速度的计算过程为：

1）获取任意两相邻周期内的多帧输液区域的图像；

本实施例中，摄像头为RGB相机，设置在输液区域内，拍照范围能够覆盖病房内所有的病床区域及对应的输液装置，并用于拍摄病人在输液时间段内不同时间下对应的多帧输液区域的图像，与位于后台控制区域内的控制设备进行网络连接，并将拍摄的输液区域的图像发送给控制设备。

其中，摄像头可以设置多个；当然摄像头也可以采用病房内的监控摄像头。本实施例中采集的输液区域的图像当然也可以为视频，即从视频中获取多帧输液区域的图像。

2）对各周期内的多帧输液区域的图像进行处理，获取语义分割图，并将语义分割图与各输液区域的图像相乘，得到各输液装置的图像；

本实施例中，通过语义分割的方式对输液区域的图像进行处理，获取语义分割图，并将语义分割图与输液区域的图像相乘，得到输液容器的图像；其中，语义分割图的获取是通过构建语义分割网络（网络为Encoder-Decoder结构），实现输液区域图像的分割。

上述中语义分割网络的训练过程为：

a）将采集到的含有输液装置的图像作为训练数据集，对数据集进行标注，输液装置标注为1，其他标注为0。其中随机选择数据集的80%作为训练集，剩余的20%作为验证集；

b）将图像数据和标签数据输入网络中，Encoder抽取图像特征，并将通道数变换为类别个数；然后通过Decoder将特征图的高和宽变换为输入图像的尺寸，从而输出每个像素的类别；

c）Loss函数使用交叉熵损失函数进行训练。

需要说明的是，病房内的环境相当复杂，如病房内的病床数量一般有一到三床，本发明中以三床为例进行分析；在使用语义分割网络获取到输液装置后，根据输液装置在成像中距离相机的距离为其分配对应床位的床号，防止因多床存在图像处理过程中数据的错误匹配。

3）对各输液装置图像进行特征提取和图像融合，获取输液容器图像，并根据连通域分析法对所述输液容器图像进行特征提取，得到相邻两周期对应的气泡轨迹线以及对应的长度；根据相邻两周期的长度差值，得出当前输液区域的液面下降速度。

其中，液面下降速度为：

其中，

，T为周期，取1min。

进一步地，为了提高液面下降速度的准确性，本发明还判断气泡运动轨迹的是否为竖直方向；也即当输液容器放置时为非竖直方向，则气泡的轨迹运动为非竖直方向，则此时获取的气泡轨迹线的长度等于输液面的实际高度，为了更准确地获取液面下降速度；则需要计算其沿竖直方向上的投影，该投影为输液面的高度；根据得到的相邻两周期对应的输液面的高度，计算相邻两周期的输液面高度差，得到液面下降速度。

上述中的竖直方向是由输液容器的容器口沿着气泡向上运动的方向，通常情况下，气泡是沿竖直方向运动的，此时输液面的高度为气泡轨迹线的长度；当气泡运动不是沿竖直方向，则计算气泡轨迹线在竖直方向上的投影即可。

作为其他实施方式，本发明的液面下降速度的获取，还可以通过在设定的时间段内，通过采集的图像，直接粗略的识别出前后时间的输液高度，从而直接计算出输液面高度差值，进而获取相应的液面下降速度；当然也可以通过人为操作，进行记录，即在输液开始过程中，通过直观地获取输液容器的高度差，得出输液面高度。

其中，本实施例中对各输液装置图像进行特征提取和图像融合的操作，具体为：

对所述各周期对应的各输液容器的图像进行处理，获取各特征图像，并分别计算各特征图像的平均灰度；比较相邻两帧特征图像的平均灰度，分别筛选出平均灰度较小的特征图像，进行图像融合，得到背景图像；

将各特征图像与背景图像作差，获取各前景图像，进行各前景图像融合，得到融合后的前景图像；对融合后的前景图像进行特征提取，得到气泡轨迹线；进而获取相邻两周期对应的气泡轨迹线。

本实施例中，采用衰减模型进行图像融合，其中的衰减模型为：

其中

为经较小平均灰度筛选后的前一帧图像与后一帧图像经融合后的背景图像；

为一分钟周期内图像序列中由相邻帧图像经较小平均灰度筛选后的第

图像；同样

为相邻帧图像经较小平均灰度筛选后所获得的第

图像；

为背景衰减系数，控制着噪声衰减的快慢。

上述公式中的

由于气泡是有规律的产生，因此其累积速度介于固定背景和随机噪声之间。

至此，可根据前后相邻两帧之间的背景衰减系数进行背景图像的叠加生成，获得最终的背景图像，为后续前景图像的获取提供了基础。

另外，前景图像的融合，同样采用上述衰减模型实现各前景图像的融合。

本实施例中，还包括在前景图像融合之前，对各前景图像进行筛选的步骤，即通过计算各前景图像的平均灰度，比较相邻两帧前景图像的平均灰度，分别筛选出平均灰度较大的前景图像。

本发明中，在获取前景图像时，选取相邻前后帧中平均灰度值较大的进行保留并进行后续的衰减累积操作；原因在于此时是为了获取前景图像，因此应尽量保留平均像素灰度值较大的图像，以与背景图像产生明显的对比。

本实施例中，对融合后的前景图像进行特征提取，获取气泡轨迹线的过程为：

1）对获取的语义分割图进行二值化处理；即获取所述语义分割图的边缘信息，将边缘信息像素点的灰度值置0，其他像素点置1，进而获取若干个连通域；

2）根据连通域分析法获取对应连通域的面积，选出连通域面积最大时对应的输液容器的图像；

3）根据连通域分析法提取输液容器区域的特征信息，所述特征信息为气泡轨迹线。

本实施例中的周期为一分钟，即对每分钟内获得的图像进行处理来获得对应的背景图像和前景图像，进而获取对应的气泡轨迹线。

本实施例中的各特征图像是将得到的输液容器的图像进行灰度图转换后进行顶帽运算获取的。其中的顶帽运算是输液容器的图像与对输液容器图像进行开运算后获得的图像的差。

需要说明的是，本实施例中采用顶帽运算的原因在于该操作下得到的效果图突出了比原图轮廓周围的区域更明亮的区域，往往用来分离比临近点亮一些的板块。因此当一幅图像具有大幅的背景时，且微小物品比较有规律的情况下，可以使用顶帽运算进行背景提取。

步骤2，对所述液面下降速度进行修正，得到修正后的下降速度；

上述步骤中，对输液面下降速度的修正的方法为：

A)获取输液区域对应的历史数据，所述历史数据包括输液容器的检测区域的深度图像信息；

B)将所述深度图像信息转换到三维点云空间中，获取对应区域的初始位置坐标；

C)计算每个像素点实时位置与初始位置在三维空间的欧氏距离，获得由所有像素点位置初始位置与实时位置以及对应的欧氏距离组成的三维位移差值块（图2中的区域1）,并计算该三维位移差值块的质心；

图2为本实施例的三维位移差值块的简单示意图，该三维位移差值块实际上是输液容器在发生形变时，由初始状态变为当前状态后损失的空间（多面体）。

D)根据所述质心，计算质心到当前气泡轨迹线的垂直距离，获取修正模型；根据所述修正模型，得到修正后的液面下降速度；

其中的修正模型为：

其中，

，

为优化系数，可根据大数据获得的多组不同

与所对应的输液下降高度经拟合得到。

其中的修正后的液面下降速度：

。

上述步骤中计算出的质心的特征，是基于吊瓶形变的过程中，每个像素点的变化程度都不尽相同，且变化过程受吊瓶或吊袋自身结构的影响可能不是直线变化，因此使用所有变化像素点所形成的三维位移差值块的质心能全面可靠的反映出吊瓶形变过程对气泡轨迹线变化的影响。

上述修正模型的获取，采用的历史数据是医院的中控室的控制设备存储的历史输液数据，即在一段时间内，输液区域进行输液时，采集到的图像数据，通过对该图像数据进行分析处理，获取输液容器发生形变时，其对气泡轨迹线产生的影响；而其中的深度图像信息转换到三维点云空间的方法以及欧式距离的计算均为现有技术，此处不再过多赘述。

需要说明的是，输液过程中，在滴管速率一定且输液瓶未发生形变时，液面高度下降速率保持定值。随着输液瓶中液体的减少，输液瓶受到大气挤压产生形变，此时虽然输液速率没发生改变，但是由于平身的挤压，其瓶内可用容积减少，此时液位面下降高度相对未发生形变时有所减少，从而使依据单位时间内液位面下降高度计算出的下降速率相对实际值减小，导致计算结果的不准确。因此理论上应该提高液面下降速度，这样才能使得药品的剩余时间的误差尽可能的小，提高输液监测的准确性。即本实施例中，通过对液面下降速度进行修正，实现输液监测的准确性；同时，对液面下降速度的修正，实际上也是对前后发生形变的输液容器的气泡轨迹线的高度差值的修正。因此，作为其他实施方式，本发明还可以直接对获取的输液高度进行修正。

作为其他实施方式，本发明还可以通过采集不同周期的输液容器的形变，以及对应的液面下降速度，并利用网络模型，获取相应的两者的映射关系，进而用于当前输液区域的输液容器的液面下降速度的修正。

步骤3，根据实时获取的输液面高度以及修正后的下降速度，计算输液的剩余时间；当剩余时间小于预设阈值时，进行预警提示。

至此，根据上述修正后的下降速度，即可评估当前时刻下药液距离输完所需的时间，由于从预警到护士到来进行其他操作需要一定的响应时间，即需要预留一定的时间；因此本发明的预设阈值，可以根据实际情况，进行相应的设定，如当计算到剩余药品在还需三分钟之内会输完时进行预警提醒，也即设定阈值时间可以为4min。

本实施例中的输液面高度为气泡轨迹线的长度或沿竖直方向上的投影长度。

当然作为其他实施方式，本实施例中的输液面高度也可以通过直接通过采集的图像获取。

需要说明的是，本发明的方案通过获得气泡的有效特征图像来对输液进度进行评估，其主要考虑了由于药液常常与输液装置颜色相近，多为透明状，所以相机不能直接有效获取输液装置中液位面的高度信息。然而病人在进行输液时，为保证输液装置内压强与外界保持一致，从而使药液能够正常匀速的流出，输液瓶口或输液袋口都有相应的进气口，因此在输液过程中会有空气持续不断的进行输液瓶或输液袋内，从而导致有气泡从倒吊的瓶口或袋口处向液位面冒出。

基于与方法同样的发明构思，本发明还提供了基于人工智能的医疗数据变量测量监测系统，包括存储器和处理器，处理器执行存储器存储的上述基于人工智能的图像识别的输液监测方法的程序，由于基于人工智能的图像识别的输液监测方法已在上述实施例中进行详细介绍，此处不再过多赘述。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于人工智能的医疗数据变量测量监测方法，其特征在于，包括以下步骤：

计算当前输液区域的液面下降速度；

对所述液面下降速度进行修正，得到修正后的下降速度；

根据实时获取的输液面高度以及修正后的下降速度，计算输液的剩余时间；当剩余时间小于预设阈值时，进行预警提示；

其中，对所述液面下降速度进行修正的过程为：

获取输液区域对应的历史数据，所述历史数据包括输液容器的初始深度图像信息和当前深度图像信息；

将所述初始深度图像信息和当前深度图像信息分别转换到三维点云空间中，获取深度图像所在区域的初始位置坐标和当前位置坐标；

根据各像素点的初始位置坐标和当前位置坐标，计算各像素点在三维空间的欧氏距离，获得由各像素点的初始位置、当前位置以及对应的欧氏距离组成的三维位移差值块,并计算该三维位移差值块的质心；

根据所述质心，计算质心到当前气泡轨迹线的垂直距离，将所述垂直距离作为修正系数，对液面下降速度进行修正。

2.根据权利要求1所述的基于人工智能的医疗数据变量测量监测方法，其特征在于，所述计算当前输液区域的液面下降速度包括：

获取任意两相邻周期内的多帧输液区域的图像；

对各周期内的多帧输液区域的图像进行处理，获取语义分割图，并将语义分割图与各输液区域的图像相乘，得到各输液装置的图像；

对各输液装置图像进行特征提取和图像融合，获取输液容器图像，并根据连通域分析法对所述输液容器图像进行特征提取，得到相邻两周期对应的气泡轨迹线以及对应的长度；根据相邻两周期的长度差值，得出当前输液区域的液面下降速度。

3.根据权利要求2所述的基于人工智能的医疗数据变量测量监测方法，其特征在于，所述输液容器图像的获取方法为：

对所述各周期对应的各输液装置的图像进行处理，获取各特征图像，并分别计算各特征图像的平均灰度；比较相邻两帧特征图像的平均灰度，分别筛选出平均灰度较小的特征图像，进行图像融合，得到背景图像；

将各特征图像与背景图像作差，获取各前景图像，进行各前景图像融合，得到融合后的前景图像。

4.根据权利要求3所述的基于人工智能的医疗数据变量测量监测方法，其特征在于，所述图像融合采用衰减模型进行图像融合，所述衰减模型为：

其中

为经较小平均灰度筛选后的前一帧图像与后一帧图像经融合后的背景图像；

为一分钟周期内图像序列中由相邻帧图像经较小平均灰度筛选后的第

图像；同样

为相邻帧图像经较小平均灰度筛选后所获得的第

图像；

为背景衰减系数。

5.根据权利要求3所述的基于人工智能的医疗数据变量测量监测方法，其特征在于，还包括在前景图像融合之前，对各前景图像进行筛选的步骤。

6.根据权利要求2所述的基于人工智能的医疗数据变量测量监测方法，其特征在于，对各前景图像进行筛选的步骤为通过计算各前景图像的平均灰度，比较相邻两帧前景图像的平均灰度，分别筛选出平均灰度较大的前景图像。

7.根据权利要求2所述的基于人工智能的医疗数据变量测量监测方法，其特征在于，所述输液面高度为气泡轨迹线的长度。

8.一种基于人工智能的医疗数据变量测量监测系统，包括存储器和处理器，其特征在于，所述处理器执行存储器存储的如权利要求1-7中任一项所述的基于人工智能的图像识别的输液监测方法的程序。

Images