CN115760867A - 一种基于改进U-Net网络的类器官分割方法及系统 - Google Patents

Abstract

本发明涉及一种基于改进U‑Net网络的类器官分割方法及系统，涉及图像分割领域，该方法包括：将待分割类器官图像输入类器官分割模型，输出类器官分割图；类器官分割模型为根据类器官数据集对改进的U‑Net训练得到的；编码器包括N个依次连接的编码层和与第N个编码层连接的特征加强单元，各编码层均包括动态卷积模块和下采样模块，特征加强单元包括动态卷积模块和协调注意力模块，协调注意力模块用于对输入的特征信息进行细化和加强；解码器包括N个依次连接的解码层，各解码层均包括依次连接的上采样模块和动态卷积模块；各编码层和与各编码层对应的解码层之间采用注意门跳跃连接；下采样模块采用卷积下采样操作。本发明提高了图像分割精度。

Description

一种基于改进U-Net网络的类器官分割方法及系统

技术领域

本发明涉及图像分割领域，特别是涉及一种基于改进U-Net网络的类器官分割方法及系统。

背景技术

类器官是一种三维模型，相对细胞模型能更好反应个体情况。目前，类器官已经可以模拟大脑、视网膜和肠道等器官。肿瘤类器官直接来源于患者，可以模拟体内肿瘤微环境，使离体培养的肿瘤细胞处在一个更接近于真实环境的状态，提高了在肿瘤药物筛选研究应用中的准确性。

近年来随着人工智能的不断发展，以SegNet、VGGNet、GAN和ResNet为代表的深度卷积神经网络广泛应用于计算机视觉领域。在卷积网络的加持下医学影像的采集和分析都取得了巨大的进步，如眼底视网膜病变检测与分类、肿瘤目标检测、肺部结节分类等应用。在类器官药物筛选的研究中，研究人员通常要用肉眼对类器官图像进行观察与筛选。这种工作方式强度大，且效率低下，巨大的工作量还可能会导致工作准确率的降低。Shelhamer等在2015年采用全卷积网络(Fully ConvolutionNetworks，FCN)来进行像素级、端对端的图像分割任务，FCN算得上是图像分割领域网络模型的开篇之作。随后Ronneberger等在FCN基础上提出了U-Net，该模型的跳跃连接很好地弥补了FCN在下采样过程中信息丢失的问题。该模型因为结构简单、参数量少以及可塑性强等特点，被广泛用于多种图像分割任务，尤其是在医学图像分割中效果显著。但是在对医学图像中一些细节部分的分割效果还有所欠缺，比如在视网膜血管分割任务中，末端小血管的分割会出现断裂、缺失等情况。后来的研究者以U-Net为基本框架进行改进，例如Quan等将U-Net分割网络与第一残差结构相结合，同时改进跳跃连接，构建了更深的模型来进行分割。Chen等将Transformer模型与U-Net相结合构建出TransUNet，用于多器官分割数据集Synapse(包括8个腹部器官：主动脉、胆囊、脾脏、肾脏等)取得了不错的分割效果。

目前，由于光学成像时存在成像亮度不均衡、类器官边界轮廓模糊、类器官重影粘连、与背景对比度低等问题，这些问题影响了类器官的分割精度，类器官的分割精度仍有待提高。

发明内容

本发明的目的是提供一种基于改进U-Net网络的类器官分割方法及系统，提高了图像分割精度。

为实现上述目的，本发明提供了如下方案：

一种基于改进U-Net网络的类器官分割方法，包括：

获取待分割类器官图像；

将所述待分割类器官图像输入类器官分割模型，输出类器官分割图；所述类器官分割模型为根据类器官数据集对改进的U-Net训练得到的；

所述改进的U-Net的编码器包括N个依次连接的编码层和与第N个所述编码层连接的特征加强单元，各所述编码层均包括动态卷积模块和下采样模块，所述特征加强单元包括动态卷积模块和协调注意力模块，所述协调注意力模块用于对输入的特征信息进行细化和加强；解码器包括N个依次连接的解码层，各所述解码层均包括依次连接的上采样模块和所述动态卷积模块；各所述编码层和与各所述编码层对应的解码层之间采用注意门跳跃连接；所述下采样模块采用卷积下采样操作。

可选地，还包括：

对所述类器官分割图进行二值化；

对二值化后的类器官分割图中各类器官的轮廓进行提取；

对提取的各轮廓中轮廓点进行压缩，将压缩后的轮廓点坐标按照类器官进行存储；

将存储的各类器官的轮廓点坐标编写为固定格式的JSON文件；

用标注软件打开所述JSON文件，获得携带标签的样本图像；

基于设定数量的所述类器官分割图对应的携带标签的样本图像，对所述类器官数据集进行扩充，获得扩充后的类器官数据集；

采用扩充后的类器官数据集对改进的U-Net进行训练，获得更新后的类器官分割模型；

采用更新后的类器官分割模型对待分割类器官图像进行类器官分割。

可选地，第1个编码层用于输入所述待分割类器官图像，第1个编码层至第N-1个编码层均包括依次连接的所述动态卷积模块和所述下采样模块，第N个编码层包括依次连接的所述动态卷积模块、所述协调注意力模块和所述下采样模块，所述特征加强单元包括依次连接的所述动态卷积模和所述协调注意力模块。

可选地，各所述动态卷积模块均依次连接的第一残差结构、第一批量归一化层、第一动态卷积层、第二批量归一化层、第二动态卷积层和第三批量归一化层，所述第一批量归一化层、所述第二批量归一化层和所述第三批量归一化层均包括ReLu激活函数，所述第一动态卷积层和所述第二动态卷积层的空洞率不同，所述动态卷积模块还包括第一卷积层，所述第一残差结构的输出连接所述第一卷积层的输入，所述第一卷积层的输出与所述第三批量归一化层的输出相减作为所述动态卷积模块输出，所述第一卷积层包括卷积核为1×1的卷积操作。

可选地，所述第一动态卷积层的卷积核为3×3，空洞率为1；所述第二动态卷积层的卷积核为3×3，空洞率为2。

可选地，所述解码器还包括分别与各解码层连接的第四卷积层和与所述特征加强单元连接的第五卷积层，各所述第四卷积层和所述第五卷积层输出的特征图进行特征融合后输出所述类器官分割图；所述第四卷积层和所述第五卷积层均包括卷积核为1×1的卷积操作。

可选地，所述待分割类器官图像为膀胱癌类器官图像。

本发明还公开了一种基于改进U-Net网络的类器官分割系统，包括：

待分割类器官图像获取模块，用于获取待分割类器官图像；

类器官分割模块，用于将所述待分割类器官图像输入类器官分割模型，输出类器官分割图；所述类器官分割模型为根据类器官数据集对改进的U-Net训练得到的；

所述改进的U-Net的编码器包括N个依次连接的编码层和与第N个所述编码层连接的特征加强单元，各所述编码层均包括动态卷积模块和下采样模块，所述特征加强单元包括动态卷积模块和协调注意力模块，所述协调注意力模块用于对输入的特征信息进行细化和加强；解码器包括N个依次连接的解码层，各所述解码层均包括依次连接的上采样模块和所述动态卷积模块；各所述编码层和与各所述编码层对应的解码层之间采用注意门跳跃连接；所述下采样模块采用卷积下采样操作。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明采用动态卷积模块提高特征提取能力，下采样模块采用卷积下采样操作，减少了信息丢失，通过在编码器底层加入协调注意力模块对提取的特征进行细化与加强，从而提高了图像分割精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于改进U-Net网络的类器官分割方法流程示意图；

图2为本发明样本原图像；

图3为本发明样本原图像对应的标签；

图4为本发明样本原图像对应的标签图像；

图5为本发明改进U-Net网络模型训练流程示意图；

图6为本发明改进U-Net网络结构示意图；

图7为本发明动态卷积模块结构示意图；

图8为本发明协调注意力模块结构示意图；

图9为本发明注意门结构示意图；

图10为不同模型分割性能指标对比示意图；

图11为不同模型分割结果对比示意图；

图12为基于本发明一种基于改进U-Net网络的类器官分割方法的药物筛选方法流程示意图；

图13为本发明类器官分割图的自动标注过程示意图；

图14为本发明类器官轮廓点坐标信息示意图；

图15为图12中药物筛选方法流中模型分割类器官和绘制小提琴图过程流程图；

图16为本发明类器官面积统计示意图；

图17为本发明反映类器官生长的小提琴示意图；

图18为本发明一种基于改进U-Net网络的类器官分割系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于改进U-Net网络的类器官分割方法及系统，提高了图像分割精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明一种基于改进U-Net网络的类器官分割方法流程示意图，如图1所示，一种基于改进U-Net网络的类器官分割方法，包括：

步骤101：获取待分割类器官图像。

所述待分割类器官图像为膀胱癌类器官图像。

步骤102：将所述待分割类器官图像输入类器官分割模型，输出类器官分割图；所述类器官分割模型为根据类器官数据集对改进U-Net网络训练得到的。

改进U-Net网络如图6所示，改进U-Net网络包括编码器和解码器。图6中左边部分为编码器，右边为解码器。输入图片进入编码器，通过动态卷积模块与下采样进行特征提取。随后在解码器中对提取到的特征图上采样还原到原始输入图像的尺寸，并将每层解码器的输出进行特征融合，最后通过一维卷积压缩通道数后输出类器官分割图。

图6中CA(CoordinateAttention)模块和AG(Attention Gate)模块分别是两种注意力机制。

所述改进U-Net网络的编码器包括N个依次连接的编码层和与第N个所述编码层连接的特征加强单元，各所述编码层均包括动态卷积模块和下采样模块，所述特征加强单元包括动态卷积模块和协调注意力模块，所述协调注意力模块用于对输入的特征信息进行细化和加强；解码器包括N个依次连接的解码层，各所述解码层均包括依次连接的上采样模块和所述动态卷积模块；各所述编码层和与各所述编码层对应的解码层之间采用注意门跳跃连接；所述下采样模块采用卷积下采样操作。

作为具体实施方式，本发明改进U-Net网络的编码器包括4个依次连接的编码层，4个依次连接的解码层。

下采样模块为卷积核为5×5的卷积操作(Conv5×5)。

统计类器官分割图中类器官的面积。

通过不同的药物为类器官构建不同的生成环境，通过比较不同生成环境下的待分割类器官图像对应的类器官统计面积，反应类器官在不同生成环境下的生长状况，从而实现对药物的筛选。

第1个编码层用于输入所述待分割类器官图像，第1个编码层至第N-1个编码层均包括依次连接的所述动态卷积模块和所述下采样模块，第N个编码层包括依次连接的所述动态卷积模块、所述协调注意力模块和所述下采样模块，所述特征加强单元包括依次连接的所述动态卷积模和所述协调注意力模块。

第i个所述注意门的第一输入端连接第i个所述编码层中所述动态卷积模块的输出端，第i个所述注意门的第二输入端连接第N+1-i个所述解码层中所述上采样模块的输出端，第i个所述注意门的输出端连接N+1-i所述解码层中所述动态卷积模块。

注意门结构如图9所示。第i个所述注意门用于通过一维卷积操作将第i个所述编码层中所述动态卷积模块的输出特征图和第N+1-i个所述解码层中所述上采样模块的输出的特征图的尺寸调整为相同，通道数调整为相同，获得第一特征图和第二特征图，对所述第一特征图和所述第二特征图进行逐点相加，获得第三特征图，将所述第三特征图经过ReLU激活函数和Sigmoid函数，获得权重系数矩阵，所述权重系数矩阵经过重采样还原为与第i个所述编码层中所述动态卷积模块的输出特征图相同大小后与第i个所述编码层中所述动态卷积模块的输出特征图相乘，获得第i个所述注意门的输出，图9中W_g、W_x和ψ均表示一维卷积运算。

上采样模块为图6中的Transposed Conv。

AG模块(注意门)则是为了解决跳跃连接处的语义鸿沟，具体是在编码器和解码器特征拼接处加入一个门控信号，以此来控制特征图不同空间位置处的特征的重要性，滤除和抑制无关区域的特征响应。解码器的特征图与上一层编码器的特征图作为模块输入，由于输入来自模型不同层，需要通过一维卷积将输入特征图的大小和通道数调整为一样。随后进行逐点相加，这一过程将输入x^l与g相同感兴趣的区域得到加强，x^l表示编码层的输出，g表示上采样模块的输出。在经过ReLU激活函数将这些感兴趣的区域进行加强，对无关区域进行抑制。最后通过Sigmoid函数计算权重系数，Resample(重采样)将权重系数矩阵还原与输入x^l相同大小再相乘，获得输出结果

AG模块采用了Soft-Attention的思想，注意力的权重系数可以随着模型的训练来不断调整。

如图7所示，各所述动态卷积模块(Res-double Dynamic Conv模块)均依次连接的第一残差结构(图7中Residual)、第一批量归一化层(BN,ReLu)、第一动态卷积层(Dy Conv3×3，rate＝1)、第二批量归一化层(BN,ReLu)、第二动态卷积层(Dy Conv3×3，rate＝2)和第三批量归一化层(BN,ReLu)，所述第一批量归一化层、所述第二批量归一化层和所述第三批量归一化层均包括ReLu激活函数，所述第一动态卷积层和所述第二动态卷积层的空洞率不同，所述动态卷积模块还包括第一卷积层，所述第一残差结构的输出连接所述第一卷积层的输入，所述第一卷积层的输出与所述第三批量归一化层的输出相减作为所述动态卷积模块输出，所述第一卷积层包括卷积核为1×1的卷积操作。

动态卷积模块不仅可以增强模型提取能力，还能防止深层网络训练时可能出现梯度爆炸和梯度消失的情况。同时给不同的卷积层添加不同的空洞率，可以在不增加额外计算量的前提下利用多尺度信息，进一步加强编码器特征提取的能力。

所述第一动态卷积层的卷积核为3×3，空洞率为1；所述第二动态卷积层的卷积核为3×3，空洞率为2，空洞率增加之后，卷积核大小扩充为5×5。

标准卷积表示为y＝g(W^Tx+b)。其中，y表示卷积结果，x表示输入，WT表示权重矩阵，g()表示激活函数，b表示偏置。

所述动态卷积模块的动态卷积的运算公式表述为：

其中，y表示所述动态卷积模块的输出，x表示所述动态卷积模块的输入，π_k(x)是第k个函数

的注意力权重，

表示K个卷积核聚合后的

权重，

表示K个卷积核聚合后的偏置，

表示第k个卷积核的权重，

表示第k个卷积核的偏置，K表示卷积核的数量。

π_k随每个输入x而变化，动态卷积模块代表给定输入的线性模型最佳聚合，此外聚合的模型为一个非线性函数，因此动态卷积相比传统卷积具有更多的特征表达能力。

通常卷积网络中为了增加感受野且不会增大计算量，总要用下采样的方式。下采样的方式虽然可以增加感受野，但是由于下采样必然导致分辨率的降低，不利于提高模型的分割精度。在动态卷积模块中加入空洞率，这一操作可以在不增加计算量的条件下扩大卷积核大小，增加感受野，同时保持空间分辨考不变，利于模型精确定位目标。此外将不同的空洞率卷积模块组合还可以提升模型学习多尺度特征的能力。

dilated kernel＝kernel+(kernel-1)(rate-1)；

其中，dilated kernel为添加空洞率后的卷积核大小，kernel为原始卷积核大小，rate为空洞率。当rate为1时为标准卷积3×3，rate为2时则将卷积核大小扩张为5×5。

为感受野计算公式，其中r_n为本层感受野，r_n-1为上一层感受野，s_i为第i层卷积或池化步长，k为卷积核大小。根据上述公式，可以计算出模型第一层经过原始的双层卷积模块后的感受野大小为5×5，而经过带有空洞率的卷积后感受野为7×7。

如图8所示，所述协调注意力模块(CA模块)包括第二残差结构(图8中Residual)、第一全局平均池化层(XAvgPool)、第二全局平均池化层(YAvg Pool)、拼接层(Concat+Conv)、归一化处理层(BatchNorm+Non-liner)、第二卷积层、第三卷积层、第一Sigmoid函数和第二Sigmoid函数。

图8中C表示图像的通道数，H表示图像的高度，W表示图像的宽度，r表示通道缩放率。

所述第二残差结构分别与所述第一全局平均池化层和所述第二全局平均池化层连接，所述第一全局平均池化层用于对所述第二残差结构输出的特征图的高度方向上进行全局平均池化，所述第二全局平均池化层用于对所述第二残差结构输出的特征图的宽度方向上进行全局平均池化，所述拼接层用于对所述第一全局平均池化层的输出和所述第二全局平均池化层的输出进行拼接和通道降维，所述归一化处理层用于对所述拼接层的输出进行归一化处理并对归一化处理后特征图沿空间维度切分为高度方向上特征图和宽度方向上特征图，所述归一化处理层分别与所述第二卷积层和所述第三卷积层连接，所述第二卷积层用于对所述高度方向上特征图进行卷积操作，所述第三卷积层连接用于对所述宽度方向上特征图进行卷积操作，所述第二卷积层与所述第一Sigmoid函数连接，所述第三卷积层与所述第二Sigmoid函数连接，所述第一Sigmoid函数用于输出第一权重系数，所述第二Sigmoid函数用于输出第二权重系数；将所述第二残差结构输出的特征图依次与所述第一权重系数和所述第二权重系数相乘后作为所述协调注意力模块的输出。

CA模块首先对输入特征图的高度和宽度两个方向上进行全局平均池化，获得两个方向上的一维特征图，这使注意力模块能够捕捉具有精准位置信息的远程空间交互。随后将这二者拼接、对通道数降维和归一化处理。接着沿着空间维度将其切分为高度和宽度两个方向，再通过一维卷积对通道数进行升维。最后在通过Sigmoid函数计算出权重系数再与初始输入特征图相乘。CA模块用于编码器底层，主要是对编码器提取到的高级特征进行加强和细化。卷积网络受卷积的局限性，很难捕捉到远程依赖关系，也就是无法有效的利用全局信息，因此引入CA模块来改善这一现象。CA模块不仅能捕获跨通道信息，还能捕获特征图的空间位置信息。

所述解码器还包括分别与各解码层连接的第四卷积层和与所述特征加强单元连接的第五卷积层，各所述第四卷积层和所述第五卷积层输出的特征图进行特征融合(图6中Contact)后通过Conv1×1(卷积核为1×1的卷积操作)输出所述类器官分割图。

第四卷积层和第五卷积层均包括卷积核为1×1的卷积操作。

本发明首先，将原始的双层卷积模块改为具有残差连接与空洞率组合的动态卷积模块，增强编码器特征提取能力和多尺度信息的利用；其次，加入注意力模块，不仅能解决跳跃连接所带来的语义鸿沟问题，还同时增强模型的抗干扰能力，即使在图像背景信息复杂的情况下也能有出色的分割效果；最后，在解码器部分加入多尺度特征拼接，增强特征恢复能力。通过这三点改进，类器官分割模型对类器官图像的分割精度得到提升。后续工作便是通过计算机自动对分割后的图像中的类器官进行面积统计，通过对不同生长环境下的类器官进行面积统计来反映其生长状况，从而达到药物筛选评估的作用。

本发明具体的改进包括：(1)用带有残差结构和空洞率的动态卷积模块代替标准卷积，在增加小幅计算量的前提下可显著提升模型的特征提取能力。(2)将原来的最大池化下采样改为5×5的卷积下采样，进一步减少下采样过程中信息丢失。(3)在编码器底层加入CA(CoordinateAttention)模块，对提取到的特征进行细化与加强。(4)在跳跃连接处加入Attention Gate(注意门)，来克服高级特征与低级特征相融合时所产生的语义鸿沟。(5)将解码器每一层的输出做拼接操作，通过特征融合的方式充分利用不同尺度的特征信息，增强解码器的特征恢复能力。(6)计算机自动统计和分析分割后类器官面积和绘制小提琴图。(7)开发计算机自动标注，在进行数据集扩充时，可以大幅度减少人工标注所消耗的时间。

本发明改进U-Net网络(Res-double Dynamic conv Attention U-Net，RDAU-Net)在数据集较少的情况下，也能获得较好的分割精度。

本次的RDAU-Net模型，在Python3.8的Pytorch框架下进行模型搭建，实验环境为Ubuntu20.04的操作系统，CPU型号是i97900，GPU型号是显存为24GB的NVIDIAGTX3090。数据集包含200张1至7天的类器官图像，其中70％为训练集，验证集和测试集各占15％。

在项目进行中，为了提升类器官分割模型的泛化能力和分割精度，会定期的对数据集进行扩充。然而一张膀胱癌细胞系类器官图像中含有100至200个类器官需要标注，传统的手动标注费时费力，效率低下。针对这一情况，如图13所示，本发明还公开了一种对类器官分割图像进行自动标注的方法，其关键点是提取分割后的二值化类器官图像中的类器官坐标信息。对图像中的每个类器官轮廓进行查找，并记录轮廓上每一个点的坐标，然后编写Python程序将这些坐标信息生成指定格式的JSON文件。然后在标注软件中打开该图所对应的JSON文件，就可直接在其基础上修改和保存已有的标注。经过实验对比发现，用此方法进行批量标注可将标注时间减少70％以上。具体包括以下步骤。

对所述类器官分割图进行二值化。

采用RETR_EXTERNAL函数对二值化后的类器官分割图中各类器官的轮廓进行提取。

采用CHAIN_APPROX_TC89_L1函数，使用The-Chini逼近算法，对提取的各轮廓中轮廓点进行压缩，将压缩后的轮廓点坐标按照类器官进行存储。存储形式如图14所示。

将存储的各类器官的轮廓点坐标编写为固定格式的JSON文件。

用标注软件打开所述JSON文件，获得携带标签的样本图像。

基于设定数量的所述类器官分割图对应的携带标签的样本图像，对所述类器官数据集进行扩充，获得扩充后的类器官数据集。

采用扩充后的类器官数据集对改进的U-Net进行训练，获得更新后的类器官分割模型。

采用更新后的类器官分割模型对待分割类器官图像进行类器官分割。

RETR_EXTERNAL函数和CHAIN_APPROX_TC89_L1函数均为OpenVC库中函数。

图14为某一个类器官的轮廓点坐标信息，因为标注软件Labelme实际上是对JSON文件进行操作，于是编写Python程序将提取出的轮廓点的坐标信息写入固定格式的JSON文件。然后再在标注软件中打开JSON文件，便可以对每个类器官的轮廓进行调整，然后生成新的标签。

图12为基于本发明一种基于改进U-Net网络的类器官分割方法的药物筛选方法流程示意图，如图12所示，本发明将最后三个步骤通过计算机自动完成，相比人工手动完成至少可节约70％的时间，大幅度加快了药物筛选研究进程。

改进U-Net网络训练的数据集为云南大学生命科学学院生命科学中心提供的。数据集是由1至7天经过不同药物处理后的膀胱癌细胞系类器官图像组成。有5X、10X、20X三种规模。其中5X图像用于面积统计，也是本发明所用数据集。现阶段数据集中包含200张图像，其中图像大小分别为1944×2592像素和768×1024像素。由于基于深度学习的图像分割需要专家手动绘制标签来供模型学习。本发明采用Labelme软件制作标签，首先把需要分割的类器官进行标记，最后再生成为黑白的二值化图像。图2为第三天的类器官图像，可以看见图中存在大量的类器官重影、气泡，这些情况大大增加了模型分割的难度；图3白色区域为目标类器官，黑色区域为背景；图4中标记区域为模型需要识别的类器官。本发明采用了非局部均值滤波(No-LocalMeans Filter，NL-Means)的方法对图像进行预处理，增强目标类器官与背景的对比度。

改进U-Net网络的训练流程如图5所示，首先运行主函数，读取改进U-Net网络所需要的配置文件和数据，构建好改进U-Net网络网络。读取所需要的类器官图像数据集，并放在改进U-Net网络中进行训练。当改进U-Net网络训练完成后，获得类器官分割模型，即达到目标分割精度，得到训练权重，有了训练权重才能够对后续类器官图像进行分割。

本发明采用三个指标对模型的分割性能进行评估，分别为查准率(Precision)、查全率(Recall)和Dice系数(Dice Similariy Coefficient，DSC)。查准率表示正确分类的类器官像素占总被预测为类器官像素的比例；查全率表示正确分类的类器官像素占实际总类器官像素的比例；Dice系数则是衡量分割结果与标签之间的相似度。下面将5个模型的分割指标进行对比，分别是U-Net、AttentionU-Net、U-Net++和MultiResU-Net，以及本发明的RDAU-Net模型，指标对比如图10，分割结果对比如图11。图10中每个模型对应的三个指标依次为查准率、查全率和Dice系数。

如图11所示，发现U-Net基础模型存在类器官重影误识别和分割类器官边界缺失等情况，经过改进后的RDAU-Net模型可以减少误识别的发生，同时还可以减少目标类器官区域漏识别、边界残缺的现象。图11中OR表示原图像，GT表示标签图像。

类器官分割模型分割类器官和绘制小提琴图过程流程图如图15所示，预测过程首先需要运行主函数，读取所需要的配置文件和数据后加载网络模型。从需要预测的图像出发，调整数据集的图片尺寸大小。再经过网络预测，得到分割后的二值化图像，并对图像中的类器官面积进行统计。将统计到的类器官面积数据通过小提琴图的方式呈现出来，以便后续药物评估工作。

其中类器官面积统计是利用Python中Opencv库的函数来实现的。编写程序对分割后的类器官二值化图像中的连通域进行查找和面积记录，如下图16所示。将1至7天的类器官图像分批次处理，并将图像中的类器官的面积数据存入Excel中，方便后续调用。绘制小提琴图也是利用了Python中的第三方库函数来实现的，将存储在Excel中的数据通过图形的方式呈现出来，可以更加直观和方便的比较膀胱癌细胞系类器官在不同药物环境下的生长情况。图17为小提琴图，可反映出膀胱癌细胞系类器官在三种环境下的1～7天的生长状况，其中CTR组表示无药物处理，为实验的对照组，RA和14分别表示药物名称的简写，图17中横坐标表示天数，纵坐标表示面积，图17中CTR组、RA和14三个一组，每组中依次为CTR、14和RA。为了更加直观、方便的比较，在小提琴图中加入了四分位分布图，中间的虚线表示本组数据的中位数。从15图中可以得出，1～3天为类器官的生长初期，经过药物处理的类器官与不经过药物处理的类器官并无明显的生长差异，到第5天后便逐渐显现差异。CTR组未经过药物处理，其类器官面积的峰值和中位数均要高于RA组和14组。这表明这两种药物对膀胱癌细胞系类器官的生长具有一定的抑制作用。为了保证实验的严谨性，此图所反映出的现象得经相关领域专业人士的证实是无误、可靠的。

经过实验对比，本发明对30张类器官图像进行分割和绘制反映其生长规律的小提琴图仅需要15分钟。而传统的人工手动观察提取的方法则需要4至6小时。由此可见本发明可加快药物研发进程，在类器官抗癌药物筛选研究方面有着广阔的应用前景。以此类推，本发明可以通过这种方式对更多种类的药物进行筛选测试来推动抗癌药物的研发。

图18为本发明一种基于改进U-Net网络的类器官分割系统结构示意图，如图18所示，一种基于改进U-Net网络的类器官分割系统包括：

待分割类器官图像获取模块201，用于获取待分割类器官图像。

类器官分割模块202，用于将所述待分割类器官图像输入类器官分割模型，输出类器官分割图；所述类器官分割模型为根据类器官数据集对改进的U-Net训练得到的。

所述改进的U-Net的编码器包括N个依次连接的编码层和与第N个所述编码层连接的特征加强单元，各所述编码层均包括动态卷积模块和下采样模块，所述特征加强单元包括动态卷积模块和协调注意力模块，所述协调注意力模块用于对输入的特征信息进行细化和加强；解码器包括N个依次连接的解码层，各所述解码层均包括依次连接的上采样模块和所述动态卷积模块；各所述编码层和与各所述编码层对应的解码层之间采用注意门跳跃连接。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于改进U-Net网络的类器官分割方法，其特征在于，包括：

获取待分割类器官图像；

将所述待分割类器官图像输入类器官分割模型，输出类器官分割图；所述类器官分割模型为根据类器官数据集对改进的U-Net训练得到的；

所述改进的U-Net的编码器包括N个依次连接的编码层和与第N个所述编码层连接的特征加强单元，各所述编码层均包括动态卷积模块和下采样模块，所述特征加强单元包括动态卷积模块和协调注意力模块，所述协调注意力模块用于对输入的特征信息进行细化和加强；解码器包括N个依次连接的解码层，各所述解码层均包括依次连接的上采样模块和所述动态卷积模块；各所述编码层和与各所述编码层对应的解码层之间采用注意门跳跃连接；所述下采样模块采用卷积下采样操作。

2.根据权利要求1所述的基于改进U-Net网络的类器官分割方法，其特征在于，还包括：

对所述类器官分割图进行二值化；

对二值化后的类器官分割图中各类器官的轮廓进行提取；

对提取的各轮廓中轮廓点进行压缩，将压缩后的轮廓点坐标按照类器官进行存储；

将存储的各类器官的轮廓点坐标编写为固定格式的JSON文件；

用标注软件打开所述JSON文件，获得携带标签的样本图像；

基于设定数量的所述类器官分割图对应的携带标签的样本图像，对所述类器官数据集进行扩充，获得扩充后的类器官数据集；

采用扩充后的类器官数据集对改进的U-Net进行训练，获得更新后的类器官分割模型；

采用更新后的类器官分割模型对待分割类器官图像进行类器官分割。

3.根据权利要求1所述的基于改进U-Net网络的类器官分割方法，其特征在于，第1个编码层用于输入所述待分割类器官图像，第1个编码层至第N-1个编码层均包括依次连接的所述动态卷积模块和所述下采样模块，第N个编码层包括依次连接的所述动态卷积模块、所述协调注意力模块和所述下采样模块，所述特征加强单元包括依次连接的所述动态卷积模和所述协调注意力模块。

4.根据权利要求1所述的基于改进U-Net网络的类器官分割方法，其特征在于，各所述动态卷积模块均依次连接的第一残差结构、第一批量归一化层、第一动态卷积层、第二批量归一化层、第二动态卷积层和第三批量归一化层，所述第一批量归一化层、所述第二批量归一化层和所述第三批量归一化层均包括ReLu激活函数，所述第一动态卷积层和所述第二动态卷积层的空洞率不同，所述动态卷积模块还包括第一卷积层，所述第一残差结构的输出连接所述第一卷积层的输入，所述第一卷积层的输出与所述第三批量归一化层的输出相减作为所述动态卷积模块输出，所述第一卷积层包括卷积核为1×1的卷积操作。

5.根据权利要求5所述的基于改进U-Net网络的类器官分割方法，其特征在于，所述第一动态卷积层的卷积核为3×3，空洞率为1；所述第二动态卷积层的卷积核为3×3，空洞率为2。

6.根据权利要求1所述的基于改进U-Net网络的类器官分割方法，其特征在于，所述解码器还包括分别与各解码层连接的第四卷积层和与所述特征加强单元连接的第五卷积层，各所述第四卷积层和所述第五卷积层输出的特征图进行特征融合后输出所述类器官分割图；所述第四卷积层和所述第五卷积层均包括卷积核为1×1的卷积操作。

7.根据权利要求1所述的基于改进U-Net网络的类器官分割方法，其特征在于，所述待分割类器官图像为膀胱癌类器官图像。

8.一种基于改进U-Net网络的类器官分割系统，其特征在于，包括：

待分割类器官图像获取模块，用于获取待分割类器官图像；

类器官分割模块，用于将所述待分割类器官图像输入类器官分割模型，输出类器官分割图；所述类器官分割模型为根据类器官数据集对改进的U-Net训练得到的；

所述改进的U-Net的编码器包括N个依次连接的编码层和与第N个所述编码层连接的特征加强单元，各所述编码层均包括动态卷积模块和下采样模块，所述特征加强单元包括动态卷积模块和协调注意力模块，所述协调注意力模块用于对输入的特征信息进行细化和加强；解码器包括N个依次连接的解码层，各所述解码层均包括依次连接的上采样模块和所述动态卷积模块；各所述编码层和与各所述编码层对应的解码层之间采用注意门跳跃连接；所述下采样模块采用卷积下采样操作。

Images