CN110473619B - 基于深度学习的纤支镜插管辅助决策系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的纤支镜插管辅助决策方法，包括：采集插管视频并将视频拆分为图像帧；制定决策指令集；将操作指令作为图像决策的类别标签，对图像帧进行逐帧的标注；处理原始图像，制作数据集；提取训练集和验证集；对训练样本进行特征提取，逐步得到高层特征图；将特征图分别变换后的结果送入朴素贝叶斯分类器与softmax激活函数进行计算；输入训练样本，设定损失函数loss，对操作指令决策模型和朴素贝叶斯分类器模型分别进行单独训练；重复训练步骤，对网络模型进行交叉验证。本发明采用端到端的方法，由输入图像直接得到决策结果，大大降低了算法成本，决策速度快，具有很高的实时性。

Description

基于深度学习的纤支镜插管辅助决策系统

技术领域

本发明属于深度学习及图像处理领域，具体涉及一种基于深度学习的纤支镜插管辅助决策系统。

背景技术

在需要全身麻醉的部分手术前，为了保证患者安全，避免患者由于失去意识或者气管阻塞等原因而窒息，需要对患者进行气管插管，为患者肺部提供氧气供给。而目前最为广泛使用的方法是利用纤支镜外套输气管的方法对患者进行气管插管。纤支镜是一种软管状医疗器械，其头部有一个镜头，通过后端握柄上的推杆实现垂直于前端镜头所在的视野平面方向的上下弯曲；同时，通过操作医生手腕的扭动或是自身的位移，纤支镜镜头还可以实现平行于视野平面的转动，并且纤支镜本身在视野平面的法向量方向拥有前进后退的平动自由度。

在实际插管操作时，医生先将纤支镜头部放入患者口腔内，然后根据前端镜头拍摄到的画面，识别当前所在位置，并判断纤支镜前进方向，调整纤支镜头部位置，沿气管向体内进一步深入，到达支气管时停止。而现阶段我国存在麻醉医生数量不足，存在麻醉医生同患者比例严重失衡以及麻醉医生过劳工作的现状。另一方面由于过长的工作时间以及插管工作对丰富工作经验的需要，麻醉医生在气管插管的过程难免会有误操作的发生抑或是插管太久导致患者通气不足，急需一种辅助方法帮助麻醉医师进行插管。

目前，所有的插管操作都由麻醉医师手动执行，而这样复杂的操作过程需要医师有丰富的医学知识和临床经验。由于患者个体情况的差异，体内气管环境也不相同，某些生理或病理的情况会导致人工插管难以进行。总结来说，现有人工插管时包含两个难点，一是对纤支镜镜头拍摄的画面的识别以及对镜头移动方向的判断；二是根据画面进行的繁琐的镜头控制操作。

近年来，深度卷积网络在图像识别和处理方面展现出巨大的优势，可通过深度卷积网络帮助医师对画面进行识别，并提示与之对应的控制操作；如何让计算机理解画面的内容和医师的决策，让计算机拥有医师判断的能力等是需要解决的难题。

发明内容

本发明所要解决的技术问题是提供一种基于深度学习的纤支镜插管辅助决策系统，以纤支镜镜头拍摄的视频分割后得到的标注过的图片为输入，通过深度学习算法对决策模型进行训练，从而使决策系统能够对对新输入的图片进行识别和操作决策，实现辅助医师插管的目的。

为解决上述技术问题，本发明采用额技术方案是：

一种基于深度学习的纤支镜插管辅助决策系统，包括以下步骤：

(1)影像录制拆分模块：对插管时纤支镜镜头拍摄的影像进行录制，并将视频影像拆分为图像帧；

(2)决策制定模块：制定决策指令集，将其作为插管时的操作指令；

(3)数据标注模块：对原始图像帧数据进行标注，如果图像中能看清支气管隆突位置，则标记为终点，否则，将操作指令作为图像决策的类别标签，对图像帧进行逐帧的标注，用于后续任务的分类；

(4)图像处理模块：替换原始图像黑色背景，并进行尺寸变换及大小裁剪，只保留图像中间有效部分，制作成数据集；

数据集选取模块：从所述数据集中按比例随机取一部分作为训练集，其余作为验证集；

(6)特征提取模块：使用改进过的GoogleNet Inception V3卷积神经网络对训练样本进行特征提取，逐步得到高层特征图；

即在原GoogleNet Inception V3卷积神经网络的基础上，在网络构建时加入he_normal初始化方法，并根据采集到的图片大小，修改卷积尺寸，对训练样本进行特征提取，逐步得到高层特征图；并删去GoogleNet Inception V3原有的单一输出模块，将高层特征图经过不同的方法处理后分别输出；

(7)操作决策输出模块：将高层特征图分别变换后的结果送入朴素贝叶斯分类器与softmax激活函数进行计算，基于终点判断输出操作决策结果；

根据贝叶斯定理：

其中，P(Y)表示类变量Y的先验概率；P(X)表示特征属性集为X的证据概率；P(X|Y)为类条件概率；P(Y|X)表示Y的后验概率，由前三者计算得出；得到对于第i个输入样本其分到终点和非终点两类j＝{0,1}的概率为：

并以概率最大的类别为分类结果，对是否到达终点进行判断；

(8)模型训练模块：输入训练样本，设定损失函数loss，对操作指令决策模型和朴素贝叶斯分类器模型分别进行单独训练；

(9)模型验证模块：记录实验结果，重新对数据集进行随机划分，重复训练步骤，对网络模型进行交叉验证。

进一步的，在所述影像录制拆分模块中，采用OLYMPUS A10-T2纤支镜进行视频采集，其输出帧率为50帧每秒，按照该帧率将视频拆分为图像帧。

进一步的，所述决策指令包括逆时针旋转向上、逆时针旋转向下、顺时针旋转向上、顺时针旋转向下、后退这五类非终点的操作指令以及表示到达终点的终止决策指令。

进一步的，在所述图像处理模块中：替换原始图像黑色背景即是用合成的高斯噪声背景替换原图相中的黑色无效区域。

进一步的，在所述图像处理模块中，尺寸变换具体为：将图像比例调整为720×540的大小，再将被压缩的圆形视野还原为正圆；大小裁剪具体为：去掉对决策无效且冗余的高斯噪声背景边缘区域，只保留与图像中圆形视野区域近似相外切的正方形部分，裁剪后得到的图片尺寸为461×461。

进一步的，在所述数据集选取模块中，将每个插管视频得到的标注图片作为一个大样本，在随机选取样本时，按照大样本进行选取；设有M个大样本，采用设定比例随机抽样的方法，从M个大样本集中随即取出q％比例的大样本作为训练样本。

进一步的，在所述模型训练模块中，所述损失函数loss采用交叉熵损失函数，用符号

表示；根据制定的操作指令，包含5类对应有k＝{0,1,2,3,4}共5个标签值，记第i个样本预测为第k个标签值的概率为p_i,k＝Pr(t_i,k＝1)，一共有N个样本，则该数据集的损失函数对数形式为：

与现有技术相比，本发明的有益效果是：采用端到端的方法，极大简化了计算量，降低了算法成本；选择Adabound优化器，它结合了SGD和Adam两种优化方法的优点，提高了网络的优化速度和整体稳定性；本发明填补了麻醉手术中气管插管场景下人工智能与医疗相结合的空白。

附图说明

图1为本发明方法的流程图。

图2为本发明中图像处理方法流程图。

图3为本发明中神经网络结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明基于深度学习的纤支镜插管辅助决策方法包括以下步骤：

一、使用HD PVR ROCKET哈帕克便携式高清视频采集卡录制盒连接到纤支镜插管设备配套的数模转换器视频输出接口上，由专业医师对全身麻醉患者的气管插管过程中纤支镜前端摄像头拍摄到的由口腔至支气管隆突段的影像进行录制。并基于Opencv的方法，对录制完的每个视频按照每秒50帧拆分为一张张的图片。

视频采集自OLYMPUS A10-T2纤支镜设备配套的数模转换器，输出帧率为50帧每秒，按照该帧率将视频拆分为图像帧，拆分后的图像帧原始尺寸为720×576，对实际纤支镜正圆形视野区域存在横向压缩，且圆形视野外均为黑色无效区域。

二、在插管的过程中，需要对在当前图像下纤支镜应当往哪个方向移动做出判断，而除非有撞上管壁或者视野极度模糊的情况发生，纤支镜总是在前进的，所以判断的重点应该为纤支镜镜头在两个转动平面上分别该如何转动，以及当前视野下，是否有撞到管壁或是其他可能导致视野模糊的情况发生。除镜头前进后退外，镜头的转动控制类似于欧拉角姿态描述方式中横滚角(roll)和俯仰角(pitch)两种绕轴旋转。横滚角在这里是指绕纤支镜管身中心轴的旋转；而俯仰角在这里指镜头相对于管身的上下翘动。

为了让计算机更好的理解医生对当前图片做出的移动决策，并且简化移动操作方式，将横滚角的移动分为基于当前位置的逆时针旋转和顺时针旋转两类；将俯仰角的移动分为基于当前位置的向上和向下两类。将两类移动方式组合起来，就形成了逆时针旋转向上、逆时针旋转向下、顺时针旋转向上、顺时针旋转向下4类。配合纤支镜的前进与后退，纤支镜能够到达视野范围内任一位置。

本发明方法没有对操作指令的刻度做出要求，是考虑到在未来自动插管的情况下，系统对图片做出判断，一秒内就会有50张图片被决策，速度很快，所以只需每次决策都让纤支镜镜头以一定的小角度转动。若前后决策相同，纤支镜仍以同方向以小角度转动，直到系统提示更改决策操作为止。针对镜头撞上管壁或离管壁过近等无法前进的情况，设计了指令后退一定距离(例如10mm)，使镜头后退一定的距离重新进行决策。

决策不能无止尽的进行下去，决策的起点由人为操作设定(即打开系统开始决策)，终点则根据插管经验，选在了支气管隆突位置，大部分的插管到这个位置就结束了，后续针对特殊情况的支气管插管则需要进一步的研究，故在五个方向决策指令之外，还额外增加了一个用于终止系统决策的指令。

综上，指令集由逆时针旋转向上、逆时针旋转向下、顺时针旋转向上、顺时针旋转向下、后退、终止决策一共6个指令组成。

三、将上述六个指令直接作为每一张图像帧的标签。并使用自行开发的图像标注程序，按照统一的格式，从纤支镜进入口腔接近舌面的图像开始，到纤支镜抵达支气管隆突位置图像为止，对每一张图像进行标注，也称为打标签。在进行标注的时候，尽可能的选择较为清晰且辨识度高的图片，并舍弃掉那些质量较差的无效图片(可能由医师操作失误使镜头触碰到气管壁或镜头没有对焦造成等原因)。标记完成后，区分视频将标记完成的图片进行编号整理，作为后续任务的数据集。

四、由于采集到的视频的有效可视区域是椭圆形的，并且有横向压缩，但显示时是以矩形窗口呈现的，所以圆形区域外围绕着呈黑色的无效区域，本发明方法用合成的高斯噪声背景替换原图像中的黑色无效区域，并将图像比例调整为720×540的大小，将被压缩的圆形视野还原为正圆，最后去掉对决策无效且冗余的高斯噪声背景边缘区域，只保留与图像中圆形视野区域近似相外切的正方形部分，剪切成461×461规格的大小。经过这样的图像处理后，缩小了无效区域，也使得后续建立的网络规模以及训练的计算量显著减小。

五、由于插管过程是一个有时间顺序的操作，所以在对网络进行训练时，需要考虑训练样本时间上的关系。本发明方法将每个插管视频得到的标注图片作为一个大样本，在随机选取样本时，按照大样本进行选取。假设有M个大样本集，可以采用设定比例随机抽样的方法，从M个样本中随即取出q％比例的大样本作为训练样本。

六、用改进过的GoogleNet Inception V3。在网络构建时加入he_normal初始化方法，并根据本问题采集到的图片大小，修改卷积尺寸，对训练样本进行特征提取，逐步得到高层特征图。并删去GoogleNet Inception V3原有的单一输出模块，将高层特征图经过不同的方法处理后分别输出，如图3所示。

七、将特征图通过Flatten变换，展平为特征向量，送入贝叶斯分类模型中进行训练。在训练朴素贝叶斯分类模型时，只将训练样本分为两类：终点样本和非终点样本。根据贝叶斯定理：

其中，P(Y)表示类变量Y的先验概率；P(X)表示特征属性集为X的证据概率；P(X|Y)为类条件概率；P(Y|X)表示Y的后验概率，可由前三者计算得出。得到对于第i个输入样本其分到终点和非终点两类j＝{0,1}的概率为：

并以概率最大的类别为分类结果，对是否到达终点进行判断。

此外将特征图通过全局平均池化(Global Average Pooling)的方法得到表征图像的另一特征向量，输入softmax激活函数进行计算。两者的计算同时进行，但将朴素贝叶斯分类器的结果作为前提判断，若连续4次判断到达终点，则关闭系统，否则将softmax层操作决策的分类结果输出。

八、在对损失函数loss的设定中，使用交叉熵损失函数。针对本发明操作指令集，包含5类对应有k＝{0,1,2,3,4}共5个标签值，记第i个样本预测为第k个标签值的概率为p_i,k＝Pr(t_i,k＝1)，一共有N个样本，则该数据集的损失函数为：

将特征图通过全局平均池化(Global Average Pooling)的方法得到表征图像的特征向量为输入，采用上述损失函数loss对深度学习模型进行训练。

九、将得到的结果进行统计，并使用一些机器学习领域的常用指标(如召回率、ROC曲线等)对模型的总体性能进行评价。然后返回步骤五，重新随机选取训练集，并重复步骤六到九。用同样的指标对新的结果进行评价，并比较不同组结果的差异。

Claims (7)

1.一种基于深度学习的纤支镜插管辅助决策系统，其特征在于，包括以下模块：

(1)影像录制拆分模块：对插管时纤支镜镜头拍摄的影像进行录制，并将视频影像拆分为图像帧；

(2)决策制定模块：制定决策指令集，将其作为插管时的操作指令；

(3)数据标注模块：对原始图像帧数据进行标注，如果图像中能看清支气管隆突位置，则标记为终点，否则，将操作指令作为图像决策的类别标签，对图像帧进行逐帧的标注，用于后续任务的分类；

(4)图像处理模块：替换原始图像黑色背景，并进行尺寸变换及大小裁剪，只保留图像中间有效部分，制作成数据集；

(5)数据集选取模块：从所述数据集中按比例随机取一部分作为训练集，其余作为验证集；

(6)特征提取模块：使用改进过的GoogleNet Inception V3卷积神经网络对训练样本进行特征提取，逐步得到高层特征图；

即在原GoogleNet Inception V3卷积神经网络的基础上，在网络构建时加入he_normal初始化方法，并根据采集到的图片大小，修改卷积尺寸，对训练样本进行特征提取，逐步得到高层特征图；并删去GoogleNet Inception V3原有的单一输出模块，将高层特征图经过不同的方法处理后分别输出；

(7)操作决策输出模块：将高层特征图分别变换后的结果送入朴素贝叶斯分类器与softmax激活函数进行计算，基于终点判断输出操作决策结果；

根据贝叶斯定理：

其中，P(Y)表示类变量Y的先验概率；P(X)表示特征属性集为X的证据概率；P(X|Y)为类条件概率；P(Y|X)表示Y的后验概率，由前三者计算得出；得到对于第i个输入样本其分到终点和非终点两类j＝{0,1}的概率为：

并以概率最大的类别为分类结果，对是否到达终点进行判断；

(8)模型训练模块：输入训练样本，设定损失函数loss，对操作指令决策模型和朴素贝叶斯分类器模型分别进行单独训练；

(9)模型验证模块：记录实验结果，重新对数据集进行随机划分，重复训练步骤，对网络模型进行交叉验证。

2.根据权利要求1所述的基于深度学习的纤支镜插管辅助决策系统，其特征在于，在所述影像录制拆分模块中，采用OLYMPUS A10-T2纤支镜进行视频采集，其输出帧率为50帧每秒，按照该帧率将视频拆分为图像帧。

3.根据权利要求1所述的基于深度学习的纤支镜插管辅助决策系统，其特征在于，所述决策指令包括逆时针旋转向上、逆时针旋转向下、顺时针旋转向上、顺时针旋转向下、后退这五类非终点的操作指令以及表示到达终点的终止决策指令。

4.根据权利要求1所述的基于深度学习的纤支镜插管辅助决策系统，其特征在于，在所述图像处理模块中：替换原始图像黑色背景即是用合成的高斯噪声背景替换原图相中的黑色无效区域。

5.根据权利要求4所述的基于深度学习的纤支镜插管辅助决策系统，其特征在于，在所述图像处理模块中，尺寸变换具体为：将图像比例调整为720×540的大小，再将被压缩的圆形视野还原为正圆；大小裁剪具体为：去掉对决策无效且冗余的高斯噪声背景边缘区域，只保留与图像中圆形视野区域近似相外切的正方形部分，裁剪后得到的图片尺寸为461×461。

6.根据权利要求1所述的基于深度学习的纤支镜插管辅助决策系统，其特征在于，在所述数据集选取模块中，将每个插管视频得到的标注图片作为一个大样本，在随机选取样本时，按照大样本进行选取；设有M个大样本，采用设定比例随机抽样的方法，从M个大样本集中随即取出q％比例的大样本作为训练样本。

7.根据权利要求1所述的基于深度学习的纤支镜插管辅助决策系统，其特征在于，在所述模型训练模块中，所述损失函数loss采用交叉熵损失函数，用符号

表示；根据制定的操作指令，包含5类对应有k＝{0,1,2,3,4}共5个标签值，记第i个样本预测为第k个标签值的概率为p_i,k＝Pr(t_i,k＝1)，一共有N个样本，则该数据集的损失函数对数形式为：

Images