CN111666998B

CN111666998B - 一种基于目标点检测的内窥镜智能插管决策方法

Info

Publication number: CN111666998B
Application number: CN202010493487.7A
Authority: CN
Inventors: 杨路; 古衡; 李佑华; 王纬韬; 程序
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2020-06-03
Filing date: 2020-06-03
Publication date: 2022-04-22
Anticipated expiration: 2040-06-03
Also published as: CN111666998A

Abstract

本发明公开了一种基于目标点检测的内窥镜智能插管决策方法，包括以下步骤：标记训练数据；训练目标点分类网络；训练目标点坐标回归网络；拼接实现整体目标点回归网络；以及内窥镜插管决策模块。本发明将感知与决策显式分离，使得网络更加透明化，具有可解释性，便于修改，移植与拓展。单就算法而言，回归目标点位置，为连续决策提供了基础，有利于实现更高精度的插管决策。

Description

一种基于目标点检测的内窥镜智能插管决策方法

技术领域

本发明涉及计算机视觉与医疗图像处理领域，具体涉及一种基于目标点检测的内窥镜智能插管决策方法。

背景技术

内窥镜是一种集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器。它可以经口腔进入胃内、气管或经其他天然孔道进入体内，看到X射线不能显示的病变。目前内窥镜插管均由专业医生操作完成，这极大地增加了医生的工作负担。除此之外，内窥镜插管场景多为人体狭窄的腔道，阴暗且缺乏纹理，肉眼很难辨识，导致人员训练成本较高，人工操作缺乏普适性，难以应对许多复杂的插管问题。而使用计算机辅助插管，进而实现整个内窥镜插管操作的自动化，将大大减轻医师的负担，同时对患者刺激相对常规人工操作更小，成功率更高，减少医生和患者的直接接触，降低交叉感染风险。最近，深度学习的发展为内窥镜插管决策提供了新的可能，其借助于大量训练数据和高速GPU设备，只需要设定好相应的插管操作规则与指令集，就可大大提升内窥镜插管算法的性能。

目前国内外使用深度学习来辅助进行方向决策的研究都已经取得了一定的成果，其可行性已经经过了大量的实验验证。在无人驾驶领域，来自NVIDIA公司的研究人员们搭建了一个卷积神经网络对道路上的车辆行驶过程的方向盘转角进行决策，这是一种端到端的分类决策方法，车载摄像头拍摄到图像帧，经由网络直接输出对应的方向盘转向角决策命令。来自瑞士的Antonio Loquercio等人基于残差网络设计了一个用于四旋翼无人机沿道路在水平面上自动行驶的卷积神经网络DroNet，网络一共有两个输出，一个输出是无人机转向角决策命令，另一个输出是无人机碰撞障碍物的概率，这也是一种端到端的决策方法。

从理论来说，内窥镜插管与自动驾驶与无人机导航类似，都属于前进方向决策的问题。许多现有的端到端决策方案将决策问题映射为图像分类问题，首先对输入的拍摄的视频帧图像进行特征分析，根据特征语义分类输出不同的方向指令，实行方向决策。这种方法虽然有效且便捷，可以实现初步决策，然而却只能给出粗略的方向信息，而无法给出连续的具体的旋转和弯曲角度。对于内窥镜插管这一连续的变化过程，离散的、粗略的方向指令是难以控制内窥镜插管机器做出精确智能的操作的。且端到端的黑箱模型缺少中间步骤，整体缺乏可解释性，意味着进一步调优将变得困难，无法细化整体的问题所在，也难以从单个步骤入手提升整体的性能，不便于进一步改进与移植，需要一种更加灵活的，更透明的内窥镜插管决策方案。

发明内容

本发明所要解决的技术问题是提供一种基于目标点检测的内窥镜智能插管决策方法，对内窥镜插管决策进行一定程度的“解耦”，使得感知与决策分步走，流程更加透明，便于网络调优与模块改进，高效地完成内窥镜智能插管任务。

为解决上述技术问题，本发明采用的技术方案是：

一种基于目标点检测的内窥镜智能插管决策方法，包括以下步骤：

步骤一：标记训练数据

对内窥镜插管场景视频每一帧图片进行“有无目标点”及“目标点坐标”标记；对“无目标点”的数据，按照图像分类的方法直接将图像标签标注为“无目标点”；对“有目标点”的数据标记为该图像插管前进方向目标点的坐标位置；

步骤二：训练目标点分类网络

输入插管场景视频帧图像，通过卷积神经网络获取场景图片的高层语义特征图，后接全连接神经网络输出有无目标点预测结果，通过交叉熵损失函数和反向传播不断优化，得到最优目标点有无分类网络；

步骤三：训练目标点坐标回归网络

去掉分类网络的全连接部分，固定卷积部分的权重，与目标点坐标回归网络拼接；同时只输入“有目标点”视频帧图片序列进行训练，由分类网络得到高层语义特征图，然后输入回归网络，经由卷积层，残差网络与全连接层，通过均方误差损失函数和反向传播不断优化，得到最优目标点坐标回归网络；

步骤四：拼接实现整体目标点回归网络

将完整的目标点分类网络与目标点坐标回归网络拼接，冻结所有权重；输入任意图像视频，经由分类网络输出其有无目标点；若有，则进一步经由目标点回归网络输出目标点位置；若无，则输出无目标点；

步骤五：内窥镜插管决策

对于输出为无目标点的数据，则直接决策输出“后退”指令，内窥镜按默认速度执行后退指令直到当前帧输出其他决策指令为止；对于输出为目标点坐标信息的数据，以图像左上角为原点建立像素坐标系求得目标点坐标，然后映射至以图像中心点为原点的图像坐标系，再映射到极坐标系，最后决策输出内窥镜旋转角度与弯曲程度的具体数值。

进一步地，在步骤二中，所述分类网络由归一化预处理部分、卷积模块、残差网络与全连接层组成。

进一步地，在步骤三中，所述目标点坐标回归网络由改进的Inception卷积模块与全连接层组成，其中Inception模块通过使用多尺度的不同的滤波器子层对输入分别进行处理并拼接，提取不同尺度的特征信息。

进一步地，在步骤五中，所述极坐标系的极角的范围为[-180°,180°]，极径范围归一化为[-1,1]；极角为负则代表顺时针旋转，极角为正则代表顺时针旋转，而极径的值始终为正，代表只有前进才进行方向决策，后退则按默认指令执行。

与现有技术相比，本发明的有益效果是：

1)分类与回归方法结合：本发明利用分类网络实现视频帧图像有无目标点分类，利用回归网络实现目标点位置预测，提升了插管决策中场景图像的语义分析能力，同时回归方法为连续决策提供了基础，有利于实现更高精度的插管决策。

2)感知决策步骤显式分离：本发明将感知模块与决策模块分离，两步走更加符合人的思维模式，也更符合透明化的系统思维，便于修改，移植与拓展。

3)方法拓展：本发明简单、高效且快速地完成了人体内部腔道插管决策任务，能实时、精确地计算内窥镜前进方向，可拓展借鉴用于跟踪检测与自动驾驶等更多领域。

附图说明

图1为标记训练数据的示意图。

图2为目标点分类网络示意图。

图3为目标点坐标回归网络示意图。

图4为Inception模块一示意图。

图5为Inception模块二示意图。

图6为Inception模块三示意图。

图7为拼接目标点回归示意图。

图8为无目标点插管决策模块示意图。

图9为有目标点为插管决策模块示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明希望模仿人类医生插管的决策步骤，先对内窥镜视频帧图像进行目标点检测，搜寻到准确位置，然后将此坐标作为决策的依据，计算输出决策结果。这种方法将感知与决策两个步骤分开，更加符合人类的思维模式，也更具有鲁棒性。这种方法可以对端到端的黑箱模型进行一定程度的“解耦”，使系统的决策流程更加透明化，便于更精细化的操作与进一步的准确性的提升。

由于本发明具有很强的拓展性与移植性，故暂时忽略具体的硬件设备，只谈算法实现方式。本发明可以在Windows和Linux平台上实现，编程语言也是可以选择的，本发明方法具体包括以下步骤：

步骤一：标记训练数据

内窥镜设备都会带有一个操纵杆，可以通过操纵杆实现前端镜头上下弯曲，同时由于其圆柱形的镜管构造，可以很方便的绕镜管轴进行旋转。另外，内窥镜本身也可以在外力(如人力)作用下沿镜管方向前进后退，故内窥镜的自由度为3。在决策任务中，只需要考虑镜管前进方向的旋转与弯曲，后退则按默认设置匀速后退，等待新一轮指令。

如图1所示，操作者可从内窥镜影像帧明显观察到前进方向，但由于人体腔道本身物理限制，并不是所有图像都能观察到前进目标，有些图像缺乏可观测目标点。本发明将整个数据集分为“无目标点”与“有目标点”两部分标注，前者标注为“无目标点”，后者按照目标点检测的方法，每张视频帧样本标签为该图像插管目标的位置信息(即坐标点)。然而，由于单独的坐标点相对于一整副图像来说过小，人工标注单点的随机性过大，而标注目标区域的标注要更为合理。因此，本发明先使用一个能完全内切目标洞口区域的矩形标记样本，再通过矩形四个点的坐标计算得到其形心作为目标点。为了避免每张图片中冗余的计算，在标注需要前先对视频帧进行预处理，矩形区域标注的过程使用了开源的目标检测问题标注工具Label-Img。总的来说，样本数据的标注流程如下：

1.预处理：将视频帧尺度变换为720×540大小，再裁剪中间视野部分，得到460×460的有效图像。

2.类别划分：对于“无目标点”这一部分的数据，直接标注为“无目标”标签然后结束流程，对于“有目标点”这一部分的数据，按照后续步骤3、步骤4进行标注工作。

3.标注矩形目标区域：借助LabelImg工具对插管目标区域进行框选，保存得到矩形区域四个顶点以图像左上角为坐标原点的坐标信息。

4.目标点坐标计算：通过得到的矩形目标区域四个顶点的坐标计算形心，得到目标点相对于图像左上角的坐标位置，x与y的坐标值范围均为[0,459]。采用图像左上角为坐标原点的原因在于使坐标点的x值与y值均为非负，再加上后续网络中使用的ReLU激活函数，使网络输出值始终非负，便于反向传播训练。

步骤二：训练目标点分类网络

本发明设计的完整的目标点分类网络如图2所示。网络中输入场景视频即图片序列，通过卷积块与残差块逐渐获取运动场景图片的高层语义特征图，后接全连接模块输出分类结果。分类网络的任务只是检测有无目标点的二分类任务，且两类图像区别较为明显，类间差距较大，因此网络层数不用太深，采用简单的卷积神经网络便可以完成目标。

网络中，卷积块由一层卷积层、一层批标准化层(Batch Normalization,BN)与一层激活层顺序连接组成，所示。卷积块采用BN批标准化，ReLU激活函数，3×3的卷积的结构。在该卷积神经网络中，所有的卷积均采用步长为1的方式，经过卷积模块，特征图尺寸不变。卷积块一中卷积核大小为5×5，卷积块二中卷积核大小为3×3，填充方式为same padding。卷积层之间或卷积层与输入层之间关系如下式：

式中，Conv(i,j)表示第k卷积层中i行j列的数据，W_k-1,k(m,n)表示第k-1卷积层到第k卷积层的卷积核中第m行n列的数据，b_k-1,k表示第k-1个隐含层向第k个隐含层的线性单元的链接偏置；I表示输入层的输入图片，W_i,k(m,n)表示输入层向第k个隐含层的线性单元的链接权重，b_i,k表示输入层向第k个隐含层的线性单元的链接偏置。

此外，为了提升分类性能，本发明使用了一种在ResnetV2网络模型中提出的残差块结构。这种在网络结构中加入捷径连接(shortcut)的方法可以使网络更容易学习恒等映射。

输入图像先通过归一化层将取值[0,255]范围的像素点归一化到[0,1]，这么做可以加快网络学习收敛的速度，接着先后通过卷积块一与卷积块二提取特征，再经过一个最大值池化层(池化滤波器大小3×3，步长为2)下采样，得到的特征图经过一层卷积处理后送入两个残差块继续提取特征，为了减少网络参数，最后一层卷积输出的特征图经过全局平均池化层处理为特征向量后送入全连接层，由于是二分类，所以全连接层的神经元个数为2，最后这两个神经元的输出经由softmax层输出分类结果。整个网络通过交叉熵损失函数不断优化，得到最优有无目标点分类网络。交叉熵损失函数如下式：

其中，

表示交叉熵，代表真实类标签分布与模型预测的类标签分布，y⁽ⁱ⁾表示真实值，

表示预测值，c表示类别书，此处为0和1，分别表示有无目标点。

步骤三：训练目标点坐标回归网络

本发明设计的目标点坐标回归网络如图3所示。输入分类网络卷积部分提取的完整的特征图，后接三种改进的Inception模块组成的卷积网络，提取多尺度的高层语义特征，由全连接层输出回归坐标。

Inception模块设计初衷在于增加网络的稀疏性，同时又不影响神经网络的计算加速。Inception模块通过使用多尺度的不同的滤波器子层(典型的Inception模块包含一个1×1大小的卷积核，一个3×3大小的卷积核，一个5×5大小的卷积核以及一个3×3的最大值池化)对输入分别进行处理，再把四个子层的输出级联起来(在特征通道上进行堆叠组合)，经过ReLU激活函数后传送给下一个Inception模块。本发明一共使用了三种细化处理的Inception模块，分别为Inc1，Inc2，Inc3，具体如图4，图5，图6所示。

本发明的回归网络还使用了全局平均值池化层来代替传统卷积神经网络最后输出的特征图经过展平层(Flatten)与一层全连接层相连的结构，回归子网络最后一层全连接层的神经元数目为2，这是因为输出的坐标信息包含横坐标x与纵坐标y两个值。整个网络通过目标点坐标的预测值与真实值的均方误差损失函数(Mean Square Error，MSE)进行训练，如下式：

其中，[(x₁,y₁),......,(x_n,y_n)]坐标真值，

为网络预测值，λ₁，λ₂为权重。

步骤四：拼接实现整体目标点回归网络

如图7所示，按照先分类再回归的流程，将分类网络与回归网络组合起来，冻结权重。输入任意图像视频，经由分类网络输出的特征图一方面继续经过后续的全局平均值池化层、全连接层以及softmax输出目标点有无分类结果，另一方面作为回归网络的输入，通过Iception模块多尺度卷积处理与下采样继续提取深层特征，并最后输出坐标点结果。注意，并不是所有的输入图像在分类网络完成特征提取后都会输入回归网络，只有当分类子网络的分类结果为有目标点时，才会激活回归网络，输出回归的目标点坐标。

步骤五：内窥镜插管决策模块

内窥镜插管决策模块接收目标点信息输入，输出决策结果。对于无目标点的数据，如图8所示，则直接决策输出“后退”指令，内窥镜按默认速度执行后退指令直到当前帧的决策输为其他决策指令为止。

对于有目标点坐标信息的数据，如图9所示，基于先旋转再弯曲的操作流程，先将以图像左上角为原点的像素坐标系映射为以图像中心点(像素坐标系中点(229.5,229.5))为原点的图像坐标系，再将该图像坐标系的目标点坐标映射到极坐标系。由于表示内窥镜前端弯曲方向的笛卡尔坐标系y轴在极坐标系中对应90°，因此需要为坐标变换后的极坐标值添加一个-90°的补偿，使竖直向上成为极轴，则此时极坐标值的极角代表内窥镜旋转的角度，极径代表内窥镜弯曲的程度，极角的范围为[-180°,180°]，极径范围由[-229.5,229.5]归一化为[-1,1]。极角为负则代表顺时针旋转，极角为正则代表顺时针旋转，而极径的值始终为正。同时，也为了使每次操作的行程最小，当旋转角度大于90°或者小于-90°时，则输出对偶的决策指令，例如“旋转106°向上弯曲0.72°”对偶的决策指令是“旋转-74°向下弯曲0.72°”。

结合图9来分别讲解决策规则。图中目标点(298.57,351.02)，先将像素坐标系下的目标点坐标映射为图像中心点直角坐标系坐标，为(39.07,-91.52)，再将坐标值映射到极坐标系下，由规则可得决策输出为“逆时针旋转23.18°-向下弯曲0.38°”指令。

Claims

1.一种基于目标点检测的内窥镜智能插管决策方法，其特征在于，包括以下步骤：

步骤一：标记训练数据

步骤二：训练目标点分类网络

步骤三：训练目标点坐标回归网络

去掉分类网络的全连接部分，固定卷积部分的权重，与目标点坐标回归网络拼接；同时输入“有目标点”视频帧图片序列进行训练，由分类网络得到高层语义特征图，然后输入回归网络，经由卷积层，残差网络与全连接层，通过均方误差损失函数和反向传播不断优化，得到最优目标点坐标回归网络；

步骤四：拼接实现整体目标点回归网络

步骤五：内窥镜插管决策

对于输出为无目标点的数据，则直接决策输出“后退”指令，内窥镜按默认速度执行后退指令直到当前帧输出其他决策指令为止；对于输出为目标点坐标信息的数据，以图像左上角为原点建立像素坐标系求得目标点坐标，然后映射至以图像中心点为原点的图像坐标系，再映射到极坐标系，最后决策输出内窥镜旋转角度与弯曲程度的具体数值；极角代表内窥镜旋转的角度，极径代表内窥镜弯曲的程度；所述极坐标系的极角的范围为[-180°,180°]，极径范围归一化为[-1,1]；极角为负则代表顺时针旋转，极角为正则代表顺时针旋转，而极径的值始终为正，代表只有前进才进行方向决策，后退则按默认指令执行。

2.如权利要求1所述的一种基于目标点检测的内窥镜智能插管决策方法，其特征在于，在步骤二中，所述分类网络由归一化预处理部分、卷积模块、残差网络与全连接层组成。

3.如权利要求1所述的一种基于目标点检测的内窥镜智能插管决策方法，其特征在于，在步骤三中，所述目标点坐标回归网络由改进的Inception卷积模块与全连接层组成，其中Inception模块通过使用多尺度的不同的滤波器子层对输入分别进行处理并拼接，提取不同尺度的特征信息。