CN112861849B - 一种脊柱畸形矫正手术术中组织识别方法 - Google Patents

Abstract

本发明提供了一种脊柱畸形矫正手术术中组织识别方法，基于Faster R‑CNN算法模型，通过采集术野中图像并标记术野中主要区域构建脊柱畸形术中组织识别深度学习图像库。通过将标记后的图像输入构建的算法框架中提取其主要特征，训练算法模型中的各个参数，将待检测的图片输入训练完成的算法模型中，根据待测图片各区域图像特征对区域中物体位置与类别做出判断。本发明可有效识别脊柱畸形矫正手术术野中的主要区域，为脊柱畸形矫正手术提供导航。

Description

一种脊柱畸形矫正手术术中组织识别方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种脊柱畸形矫正手术术中组织识别方法。

背景技术

脊柱畸形是发生于任何年龄的一类疾病，由于脊柱畸形常常涉及到多种解剖结构的变异，使脊柱畸形矫正手术成为脊柱外科领域难度高、风险大的治疗方式。目前脊柱畸形矫正手术对术中组织的识别主要依靠人工识别，这种识别方式高度依赖医生的经验，这无疑增加了手术的难度与不确定性。通过对手术术野进行实时监测与目标识别可为医生的手术方案提供参考，有效增加手术的安全性，并有利于医疗机器人于该手术中的应用。

传统的图像识别技术常根据物体的颜色、形状、纹理等特征对物体进行识别，难以对较为复杂的物体进行有效的识别。

因此，如何提供一种脊柱畸形矫正手术中对目标区域精确识别的术中组织识别方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种脊柱畸形矫正手术术中组织识别方法，运用FasterR-CNN算法模型，通过构建脊柱畸形术中组织识别深度学习图像库与合理设置模型框架，通过多轮参数训练最终实现脊柱畸形矫正手术中相关组织的识别。

为了实现上述目的，本发明采用如下技术方案：

一种脊柱畸形矫正手术术中组织识别方法，包括如下步骤：

S1、采集多张脊柱畸形矫正手术术中场景图像，并对场景图像中的组织目标进行标注，构建得到深度学习图像库；

S2、以去除全连接层的卷积神经网络RESNET50作为特征提取网络，在特征提取网络的最后一个卷积层后方插入RPN网络用于生成候选框，网络后方添加ROI池化层与全连接层用于输出检测结果，得到目标检测模型；

S3、通过深度学习图像库中标注好的场景图像训练S2中目标检测构建的模型。

S4、将深度学习图像输入至修改后的卷积神经网络RESNET进行组织目标的图像特征提取，得到图像特征图；

S5、将所述图像特征图输入至RPN网络，生成包含组织目标的候选框，将候选框投影到特征图上获得相应的特征矩阵；

S6、将S5所得特征矩阵通过ROI池化层进行缩放，将缩放的特征图展平输入到全连接层中即可得到预测结果。

优选的，所述组织目标包括：脊突、椎板、矫正器械和手术工具。

优选的，所述目标检测模型使用Resnet50残差网络作为特征提取网络，对输入场景图像进行组织目标的特征提取。

优选的，所述S5具体包括：

通过RPN网络生成针对组织区域的初始检测框：在特征图中参照anchor box每一点设置多个不同尺寸、不同长宽比的初始检测框；

对生成的初始检测框通过RPN判断初始检测框中是否存在目标并对初始检测框位置与大小进行调整，最终生成包含目标的候选框。

优选的，所述S6中通过RPN网络收集候选框，将候选框与特征图对应位置相结合生成特征矩阵。

经由上述的技术方案可知，与现有技术相比，本发明的有益效果包括：

(1)将深度学习算法模型应用到脊柱畸形矫正手术中，通过合理设置算法模型结构与优化算法参数实现目标区域的精确识别。

(2)通过正确设置算法工作流程，在经过三百张手术图像的100轮训练之后，使整个检测过程达到识别平均准确率50％，部分目标识别准确率达90％以上的效果，而对每张图像的识别时间仅为2-3s。

(3)基于一定标准的对术中图像进行识别，在一定程度上避免了个人主观因素对识别结果的干扰，提高手术的成功率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图；

图1为本发明实施例提供的脊柱畸形手术术中组织识别的算法流程示意图；

图2为本发明实施例提供的特征提取网络Resnet50示意图；

图3为本发明实施例提供的脊柱畸形手术术中组织识别的具体训练检测过程示意图

图4为本发明实施例提供的脊柱畸形手术术中组织识别结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例公开的一种脊柱畸形矫正手术术中组织识别方法，目的是基于深度学习技术，参考Faster R-CNN算法框架，通过合理配置Resnet50卷积神经网络及RPN目标区域生成网络，有效的提取脊柱畸形矫正手术术中图像各区域主要特征。通过大量手术图像的多轮训练，训练算法模型中的各个参数，从而实现对手术中复杂场景下各目标区域的mAP50％以上的准确率，该发明将主要用于脊柱畸形矫正手术术中组织区域的识别中。

深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习依赖于大量的数据训练模型，而医疗影像庞大的数据量以及本身客观、可量化的特点，非常符合深度学习的应用场景。目前深度学习已广泛应用于医学影像处理，对医学领域中常见的分类、检测、分割等任务皆取得了较好的效果。目前常见的用于目标检测的深度学习算法包括Faster R-CNN、YOLO、SSD等，其中Faster R-CNN凭借其较高的识别精确度而得到广泛的应用。

本实施例中在Faster R-CNN框架的基础上引入RPN生成可能的目标区域，RPN的本质是“基于滑窗的无类别目标检测器”，算法模型工作时通过对RPN生成的候选区域进行分类与回归得到最终目标区域。目前世界上众多研究机构包括谷歌、微软等都在从事深度学习的算法研究，本实施例将深度学习应用在外科手术医学上。

参见图1，本实施例设计了脊柱畸形矫正手术中相关组织实时识别方法，其主要思想是参照深度学习原理利用脊柱畸形矫正手术术中存在的主要物体对模型参数进行训练进而实现自动识别场景中类似目标的能力。算法模型的训练首先构建脊柱畸形术中组织识别深度学习图像库，标注足够数量的手术图像中的脊突、椎板、手术器械、骨钉、连接杆等区域。在训练时将这些包含各目标区域信息的图像输入到搭建好的算法模型中，通过反向传播算法训练模型中的各个参数。在完成模型参数之后，将待检测的手术过程图像输入到训练完成的模型中，通过对各目标区域的特征提取最终得到图片中的目标区域的类别与位置信息。

具体实现步骤如下：

S1、在构建算法模型之前首先采集一定数量的脊柱畸形矫正手术术中场景图像，通过人工对场景中的主要区域，包括脊突、椎板、手术器械、骨钉、骨钉之间的连接杆等区域进行标注，并生成可输入算法模型的相关文件，从而构建用于训练算法模型参数的深度学习图像库。

S2、构建整个脊柱畸形矫正手术术中组织识别网络，具体的，以去除全连接层的卷积神经网络RESNET50作为特征提取网络，在主干网络的最后一个卷积层后方插入RPN网络用于生成候选框，网络后方添加ROI池化层与全连接层用于输出检测结果，得到目标检测模型。

本发明构建的目标检测网络参照Faster R-CNN。通过大量的图像资源的多轮训练不断优化模型参数，最终实现快速精准识别场景中主要目标的效果。

S3、通过深度学习图像库中标注完成的场景图像训练S2中构建的目标检测模型。

本发明中，以标注完成的手术图像对模型进行训练，训练过程可分为四步：首先利用网络中下载的ImageNet预训练分类模型初始化去除全连接层的Resnet50网络中的卷积层参数，并开始单独训练RPN网络参数；固定RPN网络参数，利用RPN生成的建议框训练其余网络；固定Resnet50网络参数，微调RPN网络参数；固定Resnet50网络参数，微调后方全连接层参数。

S4、将深度学习图像输入至去除全连接层的卷积神经网络RESNET50进行组织目标的图像特征提取，得到图像特征图。

本实施例中，用于提取图像特征的主干网络Resnet50如图2所示。本发明训练图像与测试图像皆为RGB三通道彩色图像，且图像质量较高，目前各种目标模型无法直接对原始图像进行处理，需通过卷积运算提取图像的特征，本发明所使用的卷积神经网络为Resnet50。Resnet50是目前常用的一种残差网络，包含50层卷积层，Resnet50与众多残差网络类似，通过将网络某几层的数据进行层级的跳跃作为网络后方的某些层的输入以提升算法的准确率。Resnet50主要由Conv Block与Identity Block两模块构成，二者的主要区别是Conv Block对数据处理前后存在尺寸的改变而Identity Block处理后数据尺寸不发生改变。在模块内部对数据的处理方式皆为卷积运算、数据归一化、Relu激活函数处理。通过多层卷积运算的叠加，Resnet50可实现对输入图像特征的提取。

S5、将所述图像特征图输入至RPN网络，生成包含组织目标的候选框，将候选框投影到特征图上获得相应的特征矩阵。

整个检测过程如图3所示，候选区域的生成方式为RPN搭配anchor box，RPN位于最后一个卷积层的后方，通过在神经网络生成的特征图中滑动，生成物体的大体位置信息，通过Resnet50对图像的处理可生成包含图像特征的特征图，特征图中每一点包含原始图像相关区域的图像信息。本发明通过RPN网络生成可能包含目标区域的建议框。在特征图中参照anchor box每一点设置多个不同尺寸、不同长宽比的初始检测框，之后对生成的初始检测框通过卷积运算判断检测框中是否存在目标并对检测框位置与大小进行调整，最终生成包含各类物体的建议框。anchor box主要应对目标形状的变化问题，通过生成长宽比各不相同的数个候选框适应不同的目标形状。

S6、将S5得到的特征矩阵通过ROI池化层进行缩放，将缩放的特征图展平输入到全连接层中即可得到预测结果。

ROI池化将不同尺寸的特征矩阵缩放为固定尺寸的输出，方便后方全连接层对数据的处理。在后续网络中分别设置用于对特征矩阵进行分类与位置回归的全连接层，从而最终实现对术中目标的识别，其最终识别结果如图4所示。

以上对本发明所提供的脊柱畸形矫正手术术中组织识别方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种脊柱畸形矫正手术术中组织识别方法，其特征在于，包括如下步骤：

S1、采集多张脊柱畸形矫正手术术中场景图像，并对场景图像中的组织目标进行标注，构建得到深度学习图像库；

S2、以去除全连接层的卷积神经网络RESNET50作为特征提取网络，在特征提取网络的最后一个卷积层后方插入RPN网络用于生成候选框，网络后方添加ROI池化层与全连接层用于输出检测结果，得到目标检测模型；

S3、通过深度学习图像库中标注好的场景图像训练S2中构建的目标检测模型，训练过程分为四步：

首先利用网络中下载的ImageNet预训练分类模型初始化去除全连接层的Resnet50网络中的卷积层参数，并开始单独训练RPN网络参数；

固定RPN网络参数，利用RPN生成的建议框训练其余网络；

固定Resnet50网络参数，微调RPN网络参数；

固定Resnet50网络参数，微调后方全连接层参数；

S4、将深度学习图像输入至修改后的卷积神经网络RESNET50进行组织目标的图像特征提取，得到图像特征图；

S5、将所述图像特征图输入至RPN网络，生成包含组织目标的候选框，将候选框投影到特征图上获得相应的特征矩阵；

S6、将S5得到的特征矩阵通过ROI池化层进行缩放，将缩放的特征图展平输入到全连接层中即可得到预测结果。

2.根据权利要求1所述的脊柱畸形矫正手术术中组织识别方法，其特征在于，所述组织目标包括：脊突、椎板、矫正器械和手术工具。

3.根据权利要求1所述的脊柱畸形矫正手术术中组织识别方法，其特征在于，所述目标检测模型使用Resnet50残差网络作为主干网络，对输入场景图像进行组织目标的特征提取。

4.根据权利要求1所述的脊柱畸形矫正手术术中组织识别方法，其特征在于，所述S5具体包括：

通过RPN网络生成针对组织区域的初始检测框：在特征图中参照anchor box每一点设置多个不同尺寸、不同长宽比的初始检测框；

对生成的初始检测框通过RPN网络判断初始检测框中是否存在目标并对初始检测框位置与大小进行调整，最终生成包含目标的候选框。

5.根据权利要求1所述的脊柱畸形矫正手术术中组织识别方法，其特征在于，所述S6中通过RPN网络收集候选框，将候选框与特征图对应位置相结合生成特征矩阵。

Images