CN111696085A - 一种肺冲击伤伤情现场快速超声评估方法及设备 - Google Patents

Abstract

本发明公开了一种肺冲击伤伤情现场快速超声评估方法及设备，包括如下步骤：通过手持超声探头分别对各个肺区进行依次扫查，获取超声图像视频流，并传输给主机；主机将获取的超声图像视频流输入给人工智能模型，所述人工智能模型根据输入的超声图像视频流进行动态估分,在扫查完各个肺区后分别输出各个肺区的最大得分值；对每个肺区的最大得分值相加计算肺超声总分。本发明的方法及设备可以辅助急诊医生快速完成伤者肺部损伤诊断与伤情评估以确定诊疗方案，缩短救治时间。

Description

一种肺冲击伤伤情现场快速超声评估方法及设备

技术领域

本发明涉及医学超声检查领域，具体涉及一种肺冲击伤伤情现场快速超声评估方法及设备。

背景技术

医学超声检查是一种通过发射高频声波并记录下人体内组织结构产生的反射波的医学影像学诊断技术。超声检查在临床诊断，如妇科、产科、心脏科等诊疗场景中，均有着广泛的应用。其无创、无害、普及度较高、价格相对便宜的特点，使其成为现在医学诊断学中难以取代的一种影像技术。肺部超声是肺部影像检查的主要手段,相比于超声,CT具有准确,但需要搬运和具有放射性的特点,X射线不准确并具有放射性,MRI则因耗时较长、费用较高不适用于危急重症患者,超声则具有准确性及与CT相关性较好的特点, 同时便携、方便、无放射,可重复性强。

传统台式超声设备通常体积大、重量重，不便于移动和运输。因此，使用台式超声设备通常需要在诊室中进行。作为台式超声的小型化和轻量化，便携式超声类似于笔记本电脑的体积，让超声检查脱离了必须在特定空间中进行的限制。然而，即便是便携超声，其设备重量仍达数公斤，对于远距离、长时间携带依然是很大的挑战。

肺冲击伤超声评估是针对急危重症患者提供的有目的、快速、有效的超声评估。其检查结果能为医生做出或调整临床诊疗决策提供依据。临床医生不可能对每个病人的肋间隙进行逐一检查。

发明内容

本发明的目的在于针对现有技术的不足，提供一种肺冲击伤伤情现场快速超声评估方法及设备，其能够快速准确地在医护人员进行分区超声扫查的过程中，实时对各肺区肺损伤进行评分，且轻便，易于携带，十分适合应用院前和院内急救，辅助急诊医生快速完成伤者肺部损伤诊断与伤情评估以确定诊疗方案，缩短救治时间。

本发明的目的是这样实现的：本发明公开了一种肺冲击伤伤情现场快速超声评估方法，包括如下步骤：

通过手持超声探头分别对各个肺区进行依次扫查，获取超声图像视频流，并传输给主机；

主机将获取的超声图像视频流输入给人工智能模型，所述人工智能模型根据输入的超声图像视频流进行动态估分,在扫查完各个肺区后分别记录各个肺区的最大得分值；

对每个肺区的最大得分值相加计算肺超声总分。

进一步地，人工智能模型的构建方法，包括：

获取手持超声探头采集的正常/肺损伤图像，对获取的正常/肺损伤图像进行分数标注，作为训练、测试人工智能模型的训练数据样本、测试数据样本；

开发人工智能模型，利用训练数据样本和测试数据样本训练人工智能模型，使该人工智能模型以超声图像为输入，输出估分结果。

将开发、训练完成的人工智能模型封装成可被主机应用程序调用的动态库；

通过预留的应用程序接口将人工智能模型接入到主机的应用程序中，以手持超声探头获取的图像为输入，返回人工智能模型分析后得到的结果。

进一步地，人工智能模型对是否存在散在A线/B线、融合的A线/B线、不规则碎片样回声或是软组织低回声在图像中的大致方位和数量与大小进行分析，根据设定规则输出评分值。

进一步地，所述人工智能模型采用深度卷积神经网络模型，深度卷积神经网络包括依次设置的输入卷积层、多个逆残差卷积层、1x1卷积层、均值池化层、1x1卷积层、全连接层、Softmax层。

进一步地，所述主机用于将分析结果通过网络传输至云端控制中心，用于留存分析结果。

进一步地，所述主机用于将扫查的视频流上传给云端控制中心，并将其分解作为输入数据重新训练云端模型。云端模型指部署在云端的人工智能模型，用于对肺超图像进行智能分析。

本发明公开了一种肺冲击伤伤情现场快速超声评估设备，包括手持超声探头、主机，所述手持超声探头用于获取各个肺区的超声图像数据，并传输给主机，所述主机设有人工智能模型，所述主机用于将超声图像数据传递给人工智能模型，所述人工智能模型用于接受各个肺区的超声图像数据进行动态评分, 并输出各个肺区的评分，所述主机用于保存各个肺区的最大得分值，并将所有肺区的最大分值进行求和，以及将评分结果显示于显示单元上；所述主机用于将超声视频图像显示于显示单元上。

手持超声探头用于发射和接受超声波，移动设备用于显示超声图像和智能分析结果，轻量化的人工智能模型用于对超声图像进行实时分析。

所述主机用于显示超声图像和智能分析结果。

进一步地，所述主机用于将分析结果通过网络传输至云端控制中心，用于留存分析结果。

进一步地，主机采用移动设备。

进一步地，所述移动设备包括手机或平板。

进一步地，所述手持超声探头用于将获取的超声图像通过视频采集卡采集图像数据向主机传输。

本发明的有益效果为：

本发明的肺冲击伤伤情现场快速超声评估设备，包括手持超声探头、主机以及轻量化的人工智能模型，手持超声探头用于发射和接受超声波，主机用于显示超声图像和智能分析结果，轻量化的人工智能模型用于对超声图像进行实时分析。本发明获取手持超声采集的正常/肺损伤图像，经过医生标注作为训练和测试智能模型的数据集；将开发、训练完成的轻量化智能模型封装成可被手持设备应用程序调用的动态库；通过预留的应用程序接口模块将模型接入到手持超声配备的应用程序中，以超声探头获取的图像为输入，返回模型分析后得到的结果；应用程序获取结果，通过适合的方式，在超声医生手持设备在可能受到肺部损伤对应的病人体表进行移动搜寻时动态估分,在完成搜寻时返回该区域最大值，作为判断肺冲击伤程度的依据；将智能模型直接部署于手持超声设备上，辅助急诊医生快速完成伤者的肺部损伤诊断与伤情评估以确定诊疗方案，缩短救治时间。

搭载人工智能模型的肺冲击伤伤情现场快速超声评估设备，能够快速准确地在医护人员进行超声扫查的过程中，实时对肺损伤进行评分。在人工智能技术的辅助下，即使是没有丰富的超声使用经验的医护人员，也能够快速的解读肺损伤超声图像，并做出相应的急救措施、后续检查安排及手术的准备。本发明引入人工智能技术，将有效缩短医生的学习曲线，使其能够快速上手利用手持超声获取的影像进行检查和诊断，为医生的工作带来实际的便利。将智能算法与手持设备结合起来，可使不具备超声诊断知识的医护人员具有针对肺冲击伤超声的基本诊断能力。本发明的智能辅助诊断系统的准确率达到95%，可实现基本的辅助诊断功能。

肺冲击伤伤情现场快速超声评估设备由手持超声探头和主机构成，可放入口袋的大小能够满足如战场救援或是偏远地区疾病筛查等对轻便性有较高要求的场景，本发明的肺冲击伤伤情现场快速超声评估设备轻便且易于携带，十分适合应用院前和院内急救，此外，手持超声价格实惠的特点，让普及和推广超声使用的难度大大降低。

由于本发明的人工智能模型采用深度卷积神经网络模型，深度卷积神经网络包括依次设置的输入卷积层、多个逆残差卷积层、1x1卷积层、均值池化层、1x1卷积层、全连接层、Softmax层，所述Softmax层用于输出分类0-7分的结果。且深度卷积神经网络模型根据尽可能保持精度的前提下减少网络参数量和计算量的设计思路，对卷积层进行优化。

由于本发明采用了轻量化的人工智能模型，可将模型集成到手持超声设备中，无需依赖网络通信，直接在本地进行运算和推理，辅助医生对特定的疾病(肺冲击伤)进行筛查。

本发明提出对人工智能模型实现轻量化，在小幅牺牲精度的情况下，大大减少模型的参数量和计算量，因此可以部署在主机上。轻量化主要是对模型中的卷积层进行计算上的优化设计，减少参数量和计算量。

附图说明

图1为本发明的0-7评分对应的超声影像；

图2为本发明的用于评分的十二个肺区的分布示意图；

图3为本发明的肺冲击伤评估流程图；

图4为本发明的智能模型网络结构示意图；

图5为本发明针对肺冲击伤扫查的人机交互流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例1

参见图1至图5，本实施例公开了一种肺冲击伤伤情现场快速超声评估方法，包括如下步骤：

通过手持超声探头分别对各个肺区进行依次扫查，获取超声图像视频流，并传输给主机；

主机将获取的超声图像视频流输入给人工智能模型，所述人工智能模型根据输入的超声图像视频流进行动态估分,在扫查完各个肺区后分别记录各个肺区的最大得分值；每个肺区获取的是超声视频，可以分隔出多个超声图像，会得到多个评分，肺区的最大得分值表示该肺区的最重损伤。

对每个肺区的最大得分值相加计算肺超声总分。每个肺区的得分值代表这个肺区的损伤程度，求和代表整个肺区的损伤，总分越大代表冲击伤损伤越重。

手持超声探头用于发射和接受超声波，主机用于显示超声图像和智能分析结果，轻量化的人工智能模型用于对超声图像进行实时分析。

进一步地，人工智能模型的构建方法，包括：

获取手持超声探头采集的正常/肺损伤图像，对获取的正常/肺损伤图像进行分数标注，作为训练、测试人工智能模型的训练数据样本、测试数据样本。本实施例在数据采集过程中，标注了0-7分的超声图片均会被收入数据集,以便对模型进行有针对性的训练。

开发人工智能模型，利用训练数据样本和测试数据样本训练人工智能模型。

将开发、训练完成的人工智能模型封装成可被主机应用程序调用的动态库；

通过预留的应用程序接口将人工智能模型接入到主机的应用程序中，以手持超声探头获取的图像为输入，返回人工智能模型分析后得到的结果。

如本实施例将开发、训练完成的轻量化智能模型封装成可被安卓应用程序调用的动态库；通过预留的应用程序接口将模型接入到手持超声配备的应用程序中，以超声探头获取的图像为输入，返回模型分析后得到的结果；应用程序获取结果，通过适合的方式，在超声医生手持设备在可能受到肺部损伤对应的病人体表进行移动搜寻时动态估分,在完成搜寻时返回该区域最大值。

主机上部署轻量化人工智能模型，并保存一份已经训练好的参数权重，在需要进行推理时候，载入权重。此时，输入图片，模型就会给出合理的判断结果。

探头和主机可通过无线通信技术传送数据（如WIFI或蓝牙）。

进一步地，人工智能模型对是否存在散在A线/B线、融合的A线/B线、不规则碎片样回声或是软组织低回声在图像中的大致方位和数量与大小等进行分析，根据设定规则输出评分值。

进一步地，所述人工智能模型采用深度卷积神经网络模型，深度卷积神经网络包括依次设置的卷积层、多个逆残差卷积层、1x1卷积层、均值池化层、1x1卷积层、全连接层、Softmax层。当然，本发明的人工智能模型并不限于上述深度卷积神经网络模型，还可以根据需要设置其他的卷积神经网络模型。

深度卷积神经网络的卷积层具有稀疏交互、参数共享和等变表示等特征, 层次递进地对输入的肺部超声图像流抽取从具体到抽象, 从局部到整体的特征，卷积计算对应双重分块循环矩阵。逆残差卷积层是一种特殊的包含卷积计算的层级结构, 它使用了与ResNet块相似的跳层相加, 但是与ResNet相反, 逆残差卷积层出采用先升维再降维,这样的结构可以使特征提取在高维空间中进行,也可以保证模型的精简需要学习的参数量较少。

1*1卷积层的作用是保持输入前和输出在尺寸上一致。

池化层使用某一位置的相邻输出的总体统计特征来代替网络在该位置的输出,可以减少输出的特征图大小,并帮助输入的表示近似不变。而Softmax层最常用作分类器的输出,可以表示n个不同类上的概率分布, 用于输出分类0-7分的结果。

进一步地，深度卷积神经网络模型根据尽可能保持精度的前提下减少网络参数量和计算量的设计思路，对卷积层进行优化。

卷积优化只是深度网络优化的一部分,其目的是部署在移动端上, 而应用在移动端的深度网络是整体个流程方案的一部分。卷积功能与所有相关工作的卷积层一致,有差别的是, 一般来说, 网络层数越深, 参数越多, 预测的表现就越好, 本发明使用逆残差卷积和可分离卷积的计算方法，减少了计算量和计算时间，可以使其部署到移动端且能得到与普通卷积相类的结果。

建立模型就是在程序中显式地加入层级结构, 也就是计算图, 它们相当于一个个函数嵌套, 但是函数的参数未定, 在监督学习的情况下,初始化参数之后, 通过输入数据计算一个专家标记和模型得到的结果的误差, 通常称为损失函数, 然后通过优化方法,一步步地降低这个损失函数在数据集上的损失, 反向传播并调整参数, 最后输出的参数将会被测试看看这个模型是否在更广泛的数据取样上仍能得到好的预测结果, 保存下来的参数和计算图就是深度学习模型, 深度学习模型包含在人工智能模型里。

进一步地，所述主机用于将分析结果通过网络传输至云端控制中心，用于留存分析结果。

进一步地，所述主机用于将扫查的视频流上传给云端控制中心，并将其分解作为输入数据重新训练云端模型。云端模型指部署在云端的人工智能模型，用于对肺超图像进行智能分析。

本实施例的人工智能模型是根据医生做肺冲击伤评估中，对肺损伤的程度进行评分需求而设计。在数据采集过程中，标注了0-7分的超声图片均会被收入数据集,以便对模型进行有针对性的训练。此外，智能模型结构也根据需求进行特定设计，能够应对是否存在散在A线/B线、融合的A线/B线、不规则碎片样回声或是软组织低回声在图像中的大致方位和数量与大小等进行分析（通过数A\B线数量），以满足医生的进一步使用需求。

特征提取器可以理解为许多的滤波器进行堆叠,抽取图像特征,经过特征提取器,人工智能在计算机视觉上的应用大部分分为三种, 跟我们的目标相吻合:

1.是否存在是一类二分类问题, 模型结果加上线性层再加上上述softmax层可得多分类结果,softmax通过指数化和归一化输出单张图片在各分类的概率, 比较出最大的概率并认为是该类;

2.大致方位在人工智能工作中是一个定位问题,大部分通过随机生成许多个锚框,并对锚框内的内容进行跟上述多分类问题同样的分类,通过调整损失函数到同时评估位置变量来进行学习, 多次迭代之后即可输入图片输出即为目标在图上的定位;

3.大小问题是分割问题,即为在像素层面上的分类。

参见图4，本发明采用轻量化的深度卷积神经网络作为模型。所述人工智能模型采用深度卷积神经网络模型，深度卷积神经网络包括依次设置的输入卷积层、多个逆残差卷积层、1x1卷积层、均值池化层、1x1卷积层、全连接层、Softmax层。输入经输入卷积层、多个逆残差卷积层、1x1卷积层再经均值池化、 1x1卷积层、全连接层，最后由softmax输出分类0-7分的结果。

深度卷积神经网络的核心结构是网络中的卷积层，通过卷积核对输入进行过滤以提取特征信息。网络中通常包含多个卷积层，层与层之间相互连接，逐级对输入图像提取更抽象、分辨性更强的特征，以便于网络对结果进行准确的预测。每层卷积层包含众多参数，需要大量的运算进行特征的提取。为了使模型能够成功部署在主机上使用，模型根据尽可能保持精度的前提下减少网络参数量和计算量的设计思路，对卷积层进行优化，在可接受的精度范围内，尽可能减少参数量和计算量，寻求模型在计算资源受限的情况中达到性能最佳。

本发明是人工智能赋能医疗在手持超声设备上的投射。在肺冲击伤评估场景中，具备人工智能技术加持的手持超声，能够快速准确地在医护人员进行超声扫查的过程中，实时判断肺冲击伤程度，在人工智能技术的辅助下，即使是没有丰富的超声使用经验的医护人员，也能够快速地解读肺冲击伤图像，并做出相应的急救措施、后续检查安排及手术的准备。

进一步地，人工智能模型用于对是否存在散在A线/B线、融合的A线/B线、不规则碎片样回声或是软组织低回声在图像中的大致方位和数量与大小进行分析，根据设定规则输出评分值。

表一为肺冲击伤模型在肺部超声影像上的临床评分依据

分值	肺损伤在超声影像上的
		0分	正常肺组织（胸膜线和A线）；
1分	胸膜线光滑，胸膜下有3条及以内散在B线；
		2分	胸膜线光滑，胸膜下有3条以上散在B线；
3分	胸膜下为融合B线，小于整个切面的1/2；
		4分	胸膜下为融合B线，占据整个切面的1/2以上；
5分	胸膜下有不规则、碎片样回声，深度小于及等于1cm；
		6分	肺实质有软组织样低回声影，深度小于及等于3cm；
7分	肺实质有软组织样低回声影，深度在3cm以上。

通过手持超声探头分别对病人左右前胸壁、侧胸壁及后胸壁的上下部共12个肺区（参见图2）进行检查, 人工智能模型将根据前期学习，对输入的图片进行推理，自动给出动态评分（给出 0~7的肺冲击评分），记录该区域内的最大值，并将每个分区的分值相加计算肺超声总分，输出最终评分。本发明将肺冲击伤根据图像特征将其分成0-7分, 表示肺损伤的程度，0-7评分对应的超声影像如图1所示，如同一切面内出现两种图像，以更高级别的分值计算。

图5展示了使用了本发明的肺冲击伤评估模型的人机交互流程, 操作人员手持超声探头对患者的十二个肺区进行扫查, 系统动态评分并在用户界面反馈给出的评分, 操作人员扫查完该区域系统将记录最大值, 在完成十二个区域的扫查后系统将给出总分。(可选项)经操作者同意将模型传回云端, 云端持续根据操作者反馈优化智能模型(训练)。

实施例2

参见图3至图5，本实施例公开了一种肺冲击伤伤情现场快速超声评估设备，包括手持超声探头、主机，包括手持超声探头、主机，所述手持超声探头用于获取各个肺区的超声图像数据，并传输给主机，所述主机设有人工智能模型，所述主机用于将超声图像数据传递给人工智能模型，所述人工智能模型用于接受各个肺区的超声图像数据进行动态评分, 并输出各个肺区的评分，所述主机用于保存各个肺区的最大得分值，并将所有肺区的最大分值进行求和，以及将评分结果显示于显示单元上；所述主机用于将超声视频图像显示于显示单元上。

所述超声回波为超声探头检测被检测者时接收的超声回波。

探头和主机可通过无线通信技术传送数据（如WIFI或蓝牙）。接收到的信号即为超声图片，也就是后面人工智能模型的输入，由人工智能模型进行后续推理计算。

进一步地，所述主机用于将分析结果通过网络传输至云端控制中心，用于留存分析结果。

进一步地，主机采用移动设备，如手机或平板。

进一步地，所述主机用于将扫查的视频流上传给云端控制中心，并将其分解作为输入数据重新训练云端模型以提高其效能。

主机上部署轻量化人工智能模型，并保存一份已经训练好的参数权重，在需要进行推理时候，载入权重，此时，输入图片，模型就会给出合理的判断结果。

使用本发明的设备的肺冲击伤评估步骤包括：

S1）对单个肺区进行扫查；操作人员移动手持超声对病人左右前胸壁、测胸壁及后胸壁的上下部共12个肺区进行检查。

S2）移动探头获取超声图像视频流，并传输给主机；手持超声获取发出声波信号接收回声并将其重建转化为图像信号。

S3）将移动探头获取的超声图像输入给主机的人工智能模型自动评分，判断是否为该肺区最大分值，若是，则记录该最大分值，继续执行步骤S4），若否，则返回执行步骤S2）；主机通过轻量级网络接收移动探头传输的图像信号, 经过计算将其转换为分值, 并得到动态评分, 软件接口获取模型给出的分值并存储当前最大分值, 在扫查完整个肺区后软件记录的应是该分区的最大分值。针对特定区域，得分值为各帧图像得分的最大值。整个肺区得分为各区域得分的总和。

S4）判断是否扫查完全部肺区，若是，则对每个肺区的最大分值求和，输出最后分数,扫查流程完毕，若否，则返回执行步骤S1）。

本发明的轻量化人工智能模型结构可以根据特定疾病的筛查需求将相应的完成开发的模型整合入手持超声设备中。在使用过程中，医生选定当前正在进行筛查的病种后，设备可以根据需求切换模型，并对采集的超声图像做相应的分析和结果输出。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种肺冲击伤伤情现场快速超声评估方法，其特征在于，包括如下步骤：

通过手持超声探头分别对各个肺区进行依次扫查，获取超声图像视频流，并传输给主机；

主机将获取的超声图像视频流输入给人工智能模型，所述人工智能模型根据输入的超声图像视频流进行动态估分,在扫查完各个肺区后分别记录各个肺区的最大得分值，肺区的最大得分值表示该肺区的最重损伤；

对每个肺区的最大得分值相加计算整个肺损伤的超声总分。

2.根据权利要求1所述的肺冲击伤伤情现场快速超声评估方法，其特征在于：人工智能模型的构建方法，包括：

获取手持超声探头采集的正常/肺损伤图像，对获取的正常/肺损伤图像进行分数标注，作为训练、测试人工智能模型的训练数据样本、测试数据样本；

开发人工智能模型，利用训练数据样本和测试数据样本训练人工智能模型，使该人工智能模型以超声图像为输入，输出估分结果。

3.根据权利要求2所述的肺冲击伤伤情现场快速超声评估方法，其特征在于：所述人工智能模型采用深度卷积神经网络模型，深度卷积神经网络包括依次设置的输入卷积层、多个逆残差卷积层、1x1卷积层、均值池化层、1x1卷积层、全连接层、Softmax层。

4.根据权利要求1所述的肺冲击伤伤情现场快速超声评估方法，其特征在于：所述主机用于将分析结果通过网络传输至云端控制中心，用于留存分析结果。

5.根据权利要求1所述的肺冲击伤伤情现场快速超声评估方法，其特征在于：所述主机用于将扫查的视频流上传给云端控制中心，并将其分解作为输入数据重新训练云端模型。

6.一种肺冲击伤伤情现场快速超声评估设备，其特征在于：包括手持超声探头、主机，所述手持超声探头用于获取各个肺区的超声图像数据，并传输给主机，所述主机设有人工智能模型，所述主机用于将超声图像数据传递给人工智能模型，所述人工智能模型用于接受各个肺区的超声图像数据进行动态评分, 并输出各个肺区的评分，所述主机用于保存各个肺区的最大得分值，并将所有肺区的最大分值进行求和，以及将评分结果显示于显示单元上；所述主机用于将超声视频图像显示于显示单元上。

7.根据权利要求6所述的肺冲击伤伤情现场快速超声评估设备，其特征在于：所述主机用于将分析结果通过网络传输至云端控制中心，用于留存分析结果。

8.根据权利要求6所述的肺冲击伤伤情现场快速超声评估设备，其特征在于：主机采用移动设备。

9.根据权利要求8所述的肺冲击伤伤情现场快速超声评估设备，其特征在于：所述移动设备包括手机或平板。

Images