CN113192089B

CN113192089B - 一种用于图像分割的双向交叉连接的卷积神经网络

Info

Publication number: CN113192089B
Application number: CN202110387395.5A
Authority: CN
Inventors: 王雷; 常倩; 陈浩
Original assignee: Eye Hospital of Wenzhou Medical University
Current assignee: Eye Hospital of Wenzhou Medical University
Priority date: 2021-04-12
Filing date: 2021-04-12
Publication date: 2022-07-19
Anticipated expiration: 2041-04-12
Also published as: CN113192089A

Abstract

一种用于图像分割的双向交叉连接的卷积神经网络，执行多模态医学图像中不同兴趣目标的同时准确分割，该网络通过在现有的BiO‑Net分割网络中引入两个不同的网络分支和一种新的交叉跳跃连接，实现不同兴趣目标的有效提取，基于公开眼底图像的分割实验表明：本发明能够有效提取眼底图像中的视盘和视杯区域，获取优于U‑Net和BiO‑Net等现有网络的分割性能。

Description

一种用于图像分割的双向交叉连接的卷积神经网络

技术领域

本发明具体涉及图像分割与目标探测技术领域，具体涉及一种用于图像分割的双向交叉连接的卷积神经网络。

背景技术

图像分割是一种依据灰度分布和组织对比度等成像特性将整幅图像分为若干个互相独立的局部区域的技术。这种技术可用于医学图像的理解分析、病灶的探测定位及其形态特征的测量评估等任务，因而具有重要的临床诊断和学术研究价值。基于此，人们提出了大量的图像分割算法。这些算法依据图像评估策略的不同，可粗略分为无监督和有监督的分割算法。无监督分割算法通常根据图像固有的成像特性（如灰度分布或组织对比度等），执行目标区域与无关背景的分辨，从而实现兴趣区域的准确探测与提取。这类算法通常具有操作简单，耗时少的特点，能够有效处理高质量的医学图像，但易受图像中的各种伪影或噪声的影响，从而难以从具有严重成像伪影、噪声、或者较弱组织对比度等现象的图像中准确探测兴趣目标。此外，这类算法常常包含较多无法自适应调整的运算参数，这些参数一般依靠经验进行赋值，从而限制了算法的分割性能，导致其难以胜任大规模的临床医学图像的处理。

有监督分割算法一般结合图像的固有特性和手工标注或选择的信息，执行目标区域与无关背景的辨别与提取。这类算法由于手工标注特征信息的使用，能够有效缓解各种伪影或噪声对图像分割的影响并获得比无监督算法更好的分割性能。这类分割算法中，基于深度学习的处理方法是当前图像分割领域中的一个主要研究方向，它们能够全自动执行端到端的图像分割并且获得极高的精度。基于深度学习的算法中，U-Net是最为经典的一个卷积神经网络并被用于各种医学图像的处理中。然而，这种U-Net网络虽然具有较好的分割性能，但其难以处理目标的边界区域而具有较大的边界探测误差，因为（a）该网络多次使用图像下采样操作，虽然加快了卷积特征的探测效率但会极大降低了图像分辨率，导致目标边界的模糊和大量纹理信息的丢失；（b）分割网络只用单向的跳跃连接建立编码和解密卷积模块间的联系，不利于多层次多维度图像信息的探测与整合。为克服U-Net网络的不足，人们对其进行了各种不同的改进，从而构建出了M-Net、BiO-Net以及U-Net++等网络；然而这些网络使用较少的跳跃连接，不足以缓解多次下采样造成的信息丢失问题而存在诸多不足。

发明内容

为了解决现有技术存在的技术缺陷，本发明提供了一种用于图像分割的双向交叉连接的卷积神经网络，用于多模态医学图像中不同兴趣目标的同时准确提取，可辅助图像中关键区域的空间定位，准确提取及其形态特征的量化评估，为临床影像信息的处理奠定理论基础。

本发明采用的技术解决方案是：一种用于图像分割的双向交叉连接的卷积神经网络，包括以下步骤：

（1）网络分支的设计:现有用于图像分割的深度学习网络（如U-Net和BiO-Net）通常使用一个较为简单的网络结构，执行图像中多层次卷积特征的探测和兴趣目标的提取。这种网络结构一般由编码和解码卷积模块、图像下采样和上采样（一般为MaxPooling2×2和UpSampling2×2）、以及前向跳跃连接（Forward skip connections）三个基本操作构成，其中编码和解码卷积模块用于探测图像中各种卷积特征，因此在网络结构中具有极为重要的作用。这些卷积模块通常由两个相同的卷积层（convolutional layer）简单叠加而成，每个卷积层包括一个3×3的卷积运算（3×3 convolutional operation, Conv3×3），一个批正则化（batch normalization, BN）和一个线性修正激活函数（rectified linear unit,ReLU），即Conv3×3àBNàReLU。基于这些卷积模块的分割网络通常具有相对有限的特征探测性能，无法有效处理目标的边界区域，从而导致较大的边界分割误差。为改善分割网络的特征探测性能，就需要增加新的网络分支，引入更多的卷积特征，提升卷积模块对目标特征的探测敏感性，使它们在分割网络中具有更大的作用，以降低目标边界区域的分割有效性和准确性。为此，本发明全面分析U-Net和BiO-Net等分割网络的结构特点，在此基础上引入两个不同的网络分支，保存不同卷积层次不同图像维度上的各类特征信息，并将其整合到编码和解码卷积模块中以改善其对目标相关特征的探测有效性。这些网络分支能在一定程度上减少图像下采样造成的信息丢失，可实现卷积特征的多样化整合，确保分割网络对输入图像中的不同目标的边界区域具有更低的分割误差；

（2）交叉跳跃连接的设计:跳跃连接在U-Net和BiO-Net等现有分割网络中具有重要作用，可实现（a）低水平视觉特征和高水平语义特征的多样化整合，利于目标特征的探测学习；（b）为解码或解码卷积模态提供充足的输入信息，改善其对某些关键特征的探测敏感性；（c）隐性增加了分割网络的卷积深度，使其能够探测更多的宏观语义特征，有助于同时目标的分割精度。然而，这些跳跃连接仍存在诸多不足，主要表现为：（a）只能在单一方向上将特征信息传递给指定的卷积模块，不利于改善不同卷积模块的探测性能；（b）只能处理相同图像维度上的特征信息，不利于多维度图像信息的整合。这些不足在一定程度上降低了分割网络的目标分割降低，限制了它们的应用推广。为此，本发明在分析前向和反向跳跃连接的基础上，引入一种交叉跳跃连接，执行不同卷积层次不同图像维度上特征信息的传递与整合，建立编码卷积模块与解码卷积模块之间更紧密的联系，从而有效缓解多次图像下采样导致的信息丢失问题；

（3）双向交叉连接的图像分割网络:将上述设计的两个网络分支和交叉跳跃连接整合到现有分割网络中，即可构建不同的分割网络。本发明以现有的BiO-Net网络为例，将其与拟设计的网络分支和交叉跳跃连接整合起来，从而得到双向交叉连接的卷积神经网络（Bi-directional Cross-connections network, BiC-Net）。该分割网络包含三个不同的网络分支，分别为特征探测分支（Feature detection sub-network, FDS），编码连接分支（Encoding connection sub-network, ECS）和解码连接分支（Decoding connection sub-network, DCS）。这些网络分支利用前向跳跃连接，反向跳跃连接和交叉跳跃连接将不同水平上的编码和解码卷积模块对应的特征信息整合起来，以显著降低图像下采样造成的信息丢失，提升卷积模块和分割网络对目标特征的探测敏感性和准确性。拟设计的分割网络具有如下特点：（a）与BiO-Net网络具有相同的主体结构，能够继承其具有的一系列优点（如特征的循环使用和学习）；（b）借助图采样技术实现了不同图像维度上卷积特征的多样化整合，利于无关背景的排除；（c）利用交叉跳跃连接建立了编码与建模卷积模块间的紧密联系，隐性增加分割网络的卷积深度，有效改善了兴趣目标的分割精度。

所述的步骤(1)中两个网络分支分别为一个编码连接网络分支和一个解码连接网络分支,其仅包含图像采样操作，两个网络分支是非对称排列的，其保存了大量微观和宏观的图像特征。

所述的步骤（2）交叉跳跃连接的设计的构建步骤如下:分析编码和解码连接网络分支中每个卷积特征具有的维度情况，然后将其分别传递给具有相同水平的编码卷积模块和解码卷积模块，实现卷积神经网络对兴趣目标的有效探测和准确分割。

所述的交叉跳跃连接能在多个方向上进行特征信息的传递，并且将这些信息同时传递给编码与解码卷积特征，建立两种卷积模块间的紧密联系。

所述的步骤（3）双向交叉连接的图像分割网络中双向交叉连接的卷积神经网络（BiC-Net）。该分割网络包含三个不同的网络分支，分别为特征探测分支（FDS），编码连接分支（ECS）和解码连接分支（DCS）,所述的FDS与BiO-Net网络具有相似的组成结构，主要用于探测各种不同类型的卷积特征并将其中的部分特征进行串联，所述的ECS和DCS借助不同的采样操作分别对编码和解码过程中的特征信息进行保存。

所述的步骤（3）双向交叉连接的图像分割网络的构建步骤如下:将特征探测网络分支（FDS）中的四个指定的编码卷积特征和解码卷积特征分别进行4×4的图像下采样（MaxPooling4×4）和上采样（UpSampling4×4）操作，从而得到所需的编码和解码连接网络分支（ECS和DCS）；然后借助交叉跳跃连接将ECS和DCS两个网络分支中的每个卷积特征分别传递给相同水平上的不同卷积模块，即可得到所需的双向交叉连接的卷积神经网络,所述的ECS和DCS网络分支分别用于保存指定维度上的多层次编码和解码卷积特征。

本发明的有益效果是：本发明提供了一种用于图像分割的双向交叉连接的卷积神经网络，本发明从网络分支和跳跃连接两个方面对现有分割网络进行必要的改进，构建一个双向交叉连接的卷积神经网络，实现多模态医学图像中不同兴趣目标的同时准确分割，本发明可用于多模态医学图像中不同目标的同时有效分割，并且能够获得较高的精度，可为临床影像中的病灶的探测定位及其形态特征的量化评估提供重要的理论支撑。

附图说明

图1是本发明的构思流程图；

图2是本发明拟设计的一种双向交叉连接的卷积神经网络。

图3是用于验证拟设计卷积神经网络的分割性能的实验数据，其中第一行为来源于REFUGE数据集的彩色眼底图像，及其预处理结果和对应视盘视杯的手工标注；第二行为来源于Montgomery County chest X-ray set数据集的胸腔X-ray图像及其肺部手工标注。

图4是拟设计算法与现有网络基于彩色眼底图像的分割结果，其中，U-Net、Attention U-Net、BiO-Net、Asymmetric U-Net、BiC-Net、以及手工标注对应的视盘视杯边界曲线分别为青色、红色、紫红色、绿色、蓝色、以及白色。

图5是拟设计算法与现有网络基于胸腔X-ray图像的分割结果，其中，U-Net、Attention U-Net、BiO-Net、Asymmetric U-Net、BiC-Net、以及手工标注对应的左右肺部边界曲线分别为青色、红色、紫红色、绿色、蓝色、以及白色。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获的的所有其他实施例，都属于本发明保护的范围。

参考图1，本发明一种用于图像分割的双向交叉连接的卷积神经网络，包括如下步骤：

步骤1，评估现有分割网络（如U-Net和BiO-Net）组成结构的优缺点，在此基础上构建两个不同的网络分支，缓解多次图像下采样造成的信息丢失的问题，确保编码和解码卷积模块具有充足的输入特征。

现有的U-Net和BiO-Net等分割网络通常由一个较为简单的结构执行输入图像中特征信息的探测学习和卷积特征的编码分类，并且使用有限种类的跳跃链接串联不同卷积模块的输入输出信息，从而在一定程度上制约了网络的分割性能。为探测更多的图像特征，设计合适的网络分支改进现有分割网络，将能有效保存不同卷积层次不同维度的重要信息，改善卷积模块和分割网络对兴趣目标的探测敏感性和分割准确性。为此，借助不同的图像采样技术，处理和保存现有分割网络中的不同卷积特征，从而构建一个编码连接网络分支和一个解码连接网络分支，它们分别包含了编码和解码处理过程中的多水平特征，这些特征不同于现有网络中的特征信息，因此可将它们整合起来，用于改善目标的探测与提取精度。

步骤2，交叉跳跃连接的设计

现有分割网络通畅使用两种较为简单的跳跃链接（即前向和反向跳跃连接）指向特征信息的传递，这些跳跃连接只能在指定方向上将具有相同维度的特征信息传递给单一的卷积模块，因此难以有效缓解多次下采样造成的信息丢失问题，并且易受各种图像伪影或噪声等不利现象的干扰。为降低图像信息的丢失，本发明提出一种新的交叉跳跃连接，将不同维度不同层次的卷积特征同时传递给编码和解码卷积模块，从而能够在一定程度上改善这些卷积模块的特征探测性能，提升网络的目标分割精度。

步骤3，双向交叉连接的分割网络

将拟设计的网络分支和交叉跳跃连接整合到现有分割网络（本发明以BiO-Net为例），可构建一个双向交叉连接的卷积神经网络（BiC-Net），其中BiO-Net主要用于各种不同层次的卷积特征，实现输入图像的特征编码与信息解码；拟设计的网络分支主要用于获取不同于已有卷积特征的图像信息；交叉跳跃连接主要用于联系现有网络与拟设计的两个网络分支，确保多层次图像信息的灵活整合，以改善兴趣区域的探测敏感性和精确性。

1、仿真条件：

本发明在Windows 10 64bit Intel(R) Core(TM) i9-10920X CPU @ 3.50GHz3.50 GHz RAM 32GB平台上的Keras开源深度学习库执行多个目标的同时分割，实验数据为公开的眼底图像数据集（REFUGE）和胸腔X-ray图像数据集（Montgomery County chest X-ray set）。

2、仿真内容与结果

本仿真实验使用拟设计分割网络和现有网络（即U-Net、Attention U-Net、BiO-Net、以及Asymmetric U-Net）分别提取眼底图像中的视盘视杯区域和X-ray图像中的左右肺部区域，实验结果如图4和5所示：

图4是拟设计算法与现有网络基于彩色眼底图像的分割结果，其中，U-Net、Attention U-Net、BiO-Net、Asymmetric U-Net、BiC-Net、以及手工标注对应的视盘视杯边界曲线分别为青色、红色、紫红色、绿色、蓝色、以及白色。从分割结果可以看出，拟设计的卷积神经网络比现有分割网络具有更好的目标提取性能。

图5是拟设计算法与现有网络基于胸腔X-ray图像的分割结果，其中，U-Net、Attention U-Net、BiO-Net、Asymmetric U-Net、BiC-Net、以及手工标注对应的左右肺部边界曲线分别为青色、红色、紫红色、绿色、蓝色、以及白色。可以看出，拟设计网络的分割结果十分接近手工标注结果，因此可在一定程度上替代手工标注。

对比上述不同网络的分割结果可以发现：拟设计的分割网络能够同时提取不同大小的兴趣目标且获得较好的精度。现有的其他网络在图像分割中往往无法兼顾多个目标准确提取而存在一定的性能缺陷。

各位技术人员须知：虽然本发明已按照上述具体实施方式做了描述，但是本发明的发明思想并不仅限于此发明，任何运用本发明思想的改装，都将纳入本专利专利权保护范围内。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种用于图像分割的双向交叉连接的卷积神经网络的构建方法，其特征在于,包括以下步骤：

（1）网络分支的设计:分析U-Net和BiO-Net分割网络的结构特点，引入两个不同的网络分支，保存不同卷积层次不同图像维度上的各类特征信息，并将其整合到编码和解码卷积模块中以改善其对目标相关特征的探测有效性，两个网络分支分别为一个编码连接网络分支和一个解码连接网络分支,其仅包含图像采样操作，两个网络分支是非对称排列的，其保存了大量微观和宏观的图像特征；

（2）交叉跳跃连接的设计:在分析前向和反向跳跃连接的基础上，引入一种交叉跳跃连接，执行不同卷积层次不同图像维度上特征信息的传递与整合，建立编码卷积模块与解码卷积模块之间更紧密的联系，从而有效缓解多次图像下采样导致的信息丢失问题，交叉跳跃连接的设计的构建步骤如下:分析编码和解码连接网络分支中每个卷积特征具有的维度情况，然后将其分别传递给具有相同水平的编码卷积模块和解码卷积模块，实现卷积神经网络对兴趣目标的有效探测和准确分割，所述的交叉跳跃连接能在多个方向上进行特征信息的传递，并且将这些信息同时传递给编码与解码卷积特征，建立两种卷积模块间的紧密联系;

（3）双向交叉连接的图像分割网络:将上述步骤(1)和(2)设计的两个网络分支和交叉跳跃连接整合到现有分割网络中，即可构建不同的分割网络,将现有的BiO-Net网络与拟设计的网络分支和交叉跳跃连接整合起来，从而得到双向交叉连接的卷积神经网络BiC-Net，双向交叉连接的图像分割网络中双向交叉连接的卷积神经网络BiC-Net，该分割网络包含三个不同的网络分支，分别为特征探测分支FDS，编码连接分支ECS和解码连接分支DCS,所述的FDS与BiO-Net网络具有相似的组成结构，主要用于探测各种不同类型的卷积特征并将其中的部分特征进行串联，所述的ECS和DCS借助不同的采样操作分别对编码和解码过程中的特征信息进行保存，双向交叉连接的图像分割网络的构建步骤如下:将特征探测网络分支FDS中的四个指定的编码卷积特征和解码卷积特征分别进行4×4的图像下采样MaxPooling4×4和上采样UpSampling4×4操作，从而得到所需的编码和解码连接网络分支ECS和DCS；然后借助交叉跳跃连接将ECS和DCS两个网络分支中的每个卷积特征分别传递给相同水平上的不同卷积模块，即可得到所需的双向交叉连接的卷积神经网络,所述的ECS和DCS网络分支分别用于保存指定维度上的多层次编码和解码卷积特征。