CN113160261B - 一种用于oct图像角膜层分割的边界增强卷积神经网络 - Google Patents

Abstract

一种用于OCT图像角膜层分割的边界增强卷积神经网络,通过模块替换的方式将拟设计的卷积模块整合到BiO‑Net网络中同时作为编码和解码卷积模块，从而构建一个边界增强的卷积神经网络。该网络借助BiO‑Net中的前向和反向跳跃链接将边界卷积特征和非边界卷积特征传递给不同层次的卷积模块，通过两种卷积特征的学习与探测，共同提升图像中的兴趣目标及其边界区域的探测敏感性和有效性，降低目标边界区域的分割误差,本发明可实现OCT图像中不同角膜层的同时准确提取，并且优于现有的U‑Net和BiO‑Net等网络的分割性能。

Description

一种用于OCT图像角膜层分割的边界增强卷积神经网络

技术领域

本发明涉及图像分割技术领域，具体涉及一种用于OCT图像角膜层分割的边界增强卷积神经网络。

背景技术

图像分割是一个重要的影像处理技术，用于准确清晰地区分图像中的不同兴趣区域，使这些区域具有不同的成像特性(如灰度分布和组织对比度)，从而利于兴趣区域的定量分析。借助该技术，可执行医学图像中病灶区域的探测、定位及其形态特征的测量，能极大降低影像分析人员的图像处理时间，改善疾病的临床诊断精度，因而具有十分重要的研究价值。为准确分割图像，人们提出了各种不同类型的分割算法，目前常用的算法包括基于阈值的分割算法、基于活动轮廓的分割算法、基于图谱的分割算法，以及基于卷积神经网络的分割算法。众多种类的分割算法中，基于卷积神经网络的算法得到了大量的应用和广泛的研究，这类算法在标注信息的引导下可以自适应地选择不同层次不同位置上的特征信息，执行目标区域和周围背景的分辨，并在一定程度上降低图像伪影和噪声等现象对分割的负面影响。这类算法比其他类型的分割算法通常具有更高的图像分割性能，并且它们的性能与卷积神经网络的组成架构密切相关，从而导致网络架构的设计成为该类算法中的一个关键研究课题。卷积神经网络是一种由深度学习中的卷积操作、批样本正则化、串联操作、以及激活函数等基本运算单元组成的图像处理结构。现有卷积神经网络通常由大量相同的卷积层(如Conv3×3→BN→ReLU)简单叠加而成，这些卷积层能够执行不同层次图像特征的提取与整合，实现输入图像到大规模卷积特征再到概率分布图像的转换。

基于卷积神经网络的图像分割算法中，U-Net是较为经典的一个分割网络，其借助U型(U-Shape)网络架构将编码和解码卷积模块串联起来，并通过前向跳跃链接实现相同图像维度上卷积信息的整合。该网络被广泛用于各种不同的图像分割任务中并能够获得极高的分割精度。然而，U-Net通常无法有效处理目标的边界区域，从而导致较大的局部分割误差，引发边界分割误差的主要原因包括：(a)U-Net网络对各种不同类型的编码和解码卷积特征进行无差别地下采样和下采样处理，难以有效兼顾目标信息的保存与不相关背景信息的抑制，导致目标的边界区域易受周围背景的干扰；(b)为加速编码卷积特征的探测，U-Net多次使用下采样操作，显著降低了图像的分辨率，严重模糊了目标的边界区域，并且导致大量细微纹理信息的丢失；(c)分割网络中的编码和解码卷积模块每次卷积操作时只能获取大量单一种类的图像信息(即NCF)，使得U-Net倾向于探测目标的中心区域而忽略其边界区域，不利于目标及其周围背景的分辨。为改善图像的分割性能，基于U-Net的大量改进网络被开发出来，如M-Net、Attention U-Net、CE-Net以及BiO-Net等。这些改进的分割网络通常使用不同的卷积模块、跳跃链接以及网络分支等策略执行卷积特征的探测与整合，实现兴趣目标的准确分割。然而，上述分割网络都没有充分利用图像中的各种边界信息辅助兴趣目标的分割。

发明内容

为了解决现有技术存在的技术缺陷，本发明提供了一种用于OCT图像角膜层分割的边界增强卷积神经网络，主要用于眼前段OCT图像中不同角膜层的同时提取，也可用于具有低组织对比度和严重成像伪影等现象的医学图像的分割，辅助图像兴趣目标的空间定位其形态学特征的量化。

本发明采用的技术解决方案是：一种用于OCT图像角膜层分割的边界增强卷积神经网络，包括以下步骤：

(1)构建基于高斯差的边界探测算法:

现有的卷积神经网络(如U-Net和BiO-Net网络)通常借助大量的卷积操作执行各种不同的图像处理任务(如图像分割和分类)，每种卷积操作可视为一种独特的图像滤波器，通过设置不同的滤波器参数实现特定纹理特征的探测。滤波器参数与输入图像及其对应标注等密切相关，可借助优化算法求得。不同滤波器之间通常只进行简单的串联叠加而不存在其他类型的算术运算(如减法运算)，因此无法准确量化不同滤波器间的信息差异，不利于图像中大量细微纹理信息的探测。为了探测输入图像中的各种细微纹理，可借鉴传统的高斯差(Difference of Gaussian,DOG)边界探测算法，对现有分割网络(如U-Net和BiO-Net网络)中的卷积模块进行改进，从而改善兴趣目标的分割精度，降低目标边界区域的探测误差。此外，分析卷积模块与高斯差之间的运算相似性，阐述上述改进的可行性和有效性；

(2)新的卷积模块的设计：

现有的卷积神经网络在执行图像分割时通常使用较为简单的卷积模块执行各种图像特征的探测。这些卷积模块通常由两个相同的卷积层(convolutional layer)简单叠加而成，每个卷积层包含一个3×3的卷积操作(3×3convolutional operation,Conv3×3)，一个批样本正则化(batch normalization,BN)和一个基于线性修正函数(rectifiedlinear unit,ReLU)的卷积激活。这三个基本运算的顺序叠加(即Conv3×3→BN→ReLU)使卷积模块能够探测不同卷积层次不同图像位置上的各种特征信息，然而这些特征信息通常倾向于突出目标区域的中心部分而忽略其边界部分，从而导致分割网络在目标边界区域具有较大的分割误差。为了改善目标边界区域的分割精度，本发明受高斯差边界探测算法的启发对现有卷积模块进行改进，从而引入一个具有边界敏感特性的卷积模块。具体地，对现有卷积模块内两个相同卷积层的输出结果进行基于像素的作差运算(element-wisesubtraction)，以凸显相邻卷积层间兴趣目标的形态学差异，增强边界区域的细微信息变化。由于卷积层的输出结果和作差结果具有完全不同的图像特性，因此可将卷积层的输出结果视为非边界卷积特征(Non-edge convolutional features,NCF)，相邻卷积层间的作差结果视为边界卷积特征(Edge convolutional features,ECF)。借助基于通道的串联操作(channel-wise concatenation)，将这两种不同类型的卷积特征整合起来作为边界增强的卷积特征(Edge-enhanced convolutional features,EnCF)，该特征可提升边界信息在图像分割中的作用权重，增强边界区域的探测有效性，实现兴趣目标的准确分割；

(3)边界增强的卷积神经网络设计：

基于高斯差的卷积模块能够探测两种不同类型图像特征，确保它们在图像分割中具有不同的作用权重，从而改善目标边界区域的分割性能。为此，本发明通过卷积模块替换的方式将拟设计的卷积模块引入到现有的BiO-Net分割网络中，从而构建一个边界增强的卷积神经网络(Edge-enhanced convolutional neural network,EE-Net)。该网络借助前向和反向跳跃链接(forward and backward skip connections)将NCF和ECF分别传递给相同图像维度上的卷积模块，实现不同卷积层次上各种特征信息的多样化整合，降低冗余卷积特征对目标分割的干扰，利于目标特征的快速准确探测。借助EE-Net网络可将输入图像转化为多个具有相同维度的概率图(probability maps)，使用合适的阈值(一般为0.5)对概率图进行二值化处理，即可得到多个兴趣目标的分割结果。为了获得所需概率图，可借助基于区域重叠系数(通常为Dice系数)的多标签代价函数(multi-label loss function)，合适的优化算法(optimization algorithm)和已标注的图像数据对EE-Net网络进行模型训练，并基于独立的测试数据，对训练后的参数模型进行分割性能的评估。

所述的步骤(1)的具体步骤为：将卷积模块视为由不同滤波器组成的结构，基于此，将高斯差边界探测算法的工作原理引入卷积模块的设计中，从而构建一个新的具有边界敏感特性的卷积模块，高斯差可表示为：

其中，I表示输入的原始灰度图像，

和

分别表示标准差为ρ₁和ρ₂的高斯滤波器，*表示卷积运算符，D表示两个高斯滤波结果之间的差图。

所述的步骤(2)的具体步骤为：设计能够同时探测边界卷积特征(ECF)和非边界卷积特征(NCF)的卷积模块，通过有效整合这两种不同类型的图像特征，提升分割网络对目标边界的探测敏感性，改善其对边界区域的分割精度，将高斯差边界探测算法的操作原理引入卷积模块的设计中，从而获得两卷积层之间的信息变化情况，

其中，NCF₁和NCF₂分别表示卷积模块中两个相同卷积层输出的非边界卷积特征，

和

分别表示两个卷积层中第n卷积核，N表示卷积核的总个数，f(·)表示ReLU激活函数,将NCF₂和ECF两种特征信息串联起来，作为卷积模块的最终输出结果，从而可得到一个具有边界敏感特性的改进卷积模块。

所述的步骤(3)的具体步骤为：通过卷积模块替换的方式将拟设计的卷积模块引入到现有的分割网络中，构建一个边界增强的卷积神经网络(EE-Net)，借助前向和反向跳跃链接将NCF和ECF分别传递给相同图像维度上的卷积模块，实现不同卷积层次上各种特征信息的多样化整合，降低冗余卷积特征对目标分割的干扰，利于目标特征的快速准确探测，借助EE-Net网络将输入图像转化为多个具有相同维度的概率图，使用合适的阈值对概率图进行二值化处理，即可得到多个兴趣目标的分割结果，借助基于区域重叠系数的多标签代价函数，合适的优化算法和已标注的图像数据对EE-Net网络进行模型训练。

本发明的有益效果是：本发明提供一种用于OCT图像角膜层分割的边界增强卷积神经网络,通过模块替换的方式将拟设计的卷积模块整合到BiO-Net网络中同时作为编码和解码卷积模块，从而构建一个边界增强的卷积神经网络。该网络借助BiO-Net中的前向和反向跳跃链接将边界卷积特征和非边界卷积特征传递给不同层次的卷积模块，通过两种卷积特征的学习与探测，共同提升图像中的兴趣目标及其边界区域的探测敏感性和有效性，降低目标边界区域的分割误差,本发明可实现OCT图像中不同角膜层的同时准确提取，并且优于现有的U-Net和BiO-Net等网络的分割性能。

附图说明

图1是本发明的流程图；

图2是本发明中拟设计的用于OCT图像角膜层分割的一种边界增强卷积神经网络，其中拟设计的卷积模块被同时用作编码和解码卷积模块，其他操作还包括前向和反向跳跃链接，图像下采样(MaxPooling2×2)和上采用(UpSampling2×2)。

图3是本发明中受高斯差算法启发而设计的一种具有边界敏感性的卷积模块，其在拟设计的分割网络中被同时用作编码和解码卷积模块。

图4是本发明网络对OCT图像中三种不同角膜层进行分割后的结果，第1列为待分割的OCT图像，第2列为EE-Net的分割结果，第3列为OCT图像中三种角膜层的手工标注结果，其中绿色区域为上皮细胞层、红色区域为鲍曼层，白色区域为基质层。

图5对比显示了本发明中拟设计网络与现有的U-Net、BiO-Net和Deeplabv3三个分割网络间的性能差异，其中第1行为手工标注及其局部放大图像，第2-4行分别为U-Net、BiO-Net、Deeplabv3、以及EE-Net对应的分割结果。

具体实施方式

下面结合附图对一种用于OCT图像角膜层分割的边界增强卷积神经网络做进一步描述；

参考图1，本发明中一种用于OCT图像角膜层分割的边界增强卷积神经网络，包括如下步骤：

步骤1，分析高斯差边界探测算法与现有分割网络中的卷积模块间的操作相似性，然后基于高斯差算法改进分割网络中的卷积模块并阐述这种改进策略的可行性和合理性。

步骤2，卷积模块的设计

受高斯差边界探测算法的启发，在现有卷积模块的两个卷积层之间引入基于像素的作差运算，从而得到一种新的边界卷积特征；将该特征与卷积模块的原有输出结果进行串联处理，即可得到改进后卷积模块的输出结果。可以看出：改进后的卷积模块与改进前的版本仅多了一个作差运算和一个特征串联运算，并且这两种运算不涉及任何额外的运算参数。

步骤3，边界增强的卷积神经网络设计

上述设计的卷积模块能够从输入变量中同时探测边界卷积特征和非边界卷积特征，因此可用于替换现有各种卷积神经网络中的卷积模块，实现分割性能的提升。本发明以BiO-Net分割网络为例，通过模块替换的方式将拟设计的卷积模块整合到BiO-Net网络中，以改善其分割精度。

1、仿真条件：

本发明在Windows 10 64bit Intel(R)Xeon(R)Gold 5120CPU@2.20GHz 2.19GHzRAM 64GB平台上使用开源的Keras软件执行OCT图像中三种不同角膜层的同时分割实验，实验数据为温州医科大学附属眼视光医院获取的眼前段OCT图像数据，图像中的三种角膜层由院内临床医师手工标注。

2、仿真内容与结果

本仿真实验使用眼前段OCT图像对拟设计的边界增强的卷积神经网络进行模型训练和独立验证，以全面评估网络的分割性能，然后对比分析其与现有分割网络(即U-Net、BiO-Net和Deeplabv3)间的性能差异，实验结果如图4和5所示：

图4中，第1列为待分割的OCT图像，第2列为EE-Net的分割结果，第3列为OCT图像三种角膜层的手工标注，其中绿色区域为上皮细胞层、红色区域为鲍曼层，白色区域为基质层。

图5对比显示了本发明中拟设计网络与现有的U-Net、BiO-Net和Deeplabv3三个分割网络间的性能差异，其中第1行为角膜层的手工标注及其局部放大图像，第2-4行分别为U-Net、BiO-Net、Deeplabv3、以及EE-Net网络对应的分割结果。

对比四种卷积神经网络的分割结果可以看出：拟设计的EE-Net网络能够从OCT图像中同时准确地提取不同大小的角膜层；其他三种分割网络中在图像分割中通常无法有效处理相对较小的角膜层。

在本发明的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

各位技术人员须知：虽然本发明已按照上述具体实施方式做了描述，但是本发明的发明思想并不仅限于此发明，任何运用本发明思想的改装，都将纳入本专利专利权保护范围内。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种用于OCT图像角膜层分割的边界增强卷积神经网络的构建方法，其特征在于，包括以下步骤：

(1)构建基于高斯差的边界探测算法:基于高斯差边界探测算法，可对现有卷积神经网络中的卷积模块进行改造；

(2)新的卷积模块的设计：构建一个用于实现各种图像特征的探测的新的卷积模块，并将探测结果分为边界卷积特征和非边界卷积特征，串联这两种不同类型的卷积特征从而得到一种边界增强的卷积特征，将边界增强的卷积特征作为卷积模块的输出结果，具体步骤为：设计能够同时探测边界卷积特征ECF和非边界卷积特征NCF的卷积模块，通过有效整合这两种不同类型的图像特征，提升分割网络对目标边界的探测敏感性，改善其对边界区域的分割精度，将高斯差边界探测算法的操作原理引入卷积模块的设计中，从而获得两卷积层之间的信息变化情况，

其中，NCF₁和NCF₂分别表示卷积模块中两个相同卷积层输出的非边界卷积特征，

和

分别表示两个卷积层中第n卷积核，N表示卷积核的总个数，f(·)表示ReLU激活函数,将NCF₂和ECF两种特征信息串联起来，作为卷积模块的最终输出结果，从而可得到一个具有边界敏感特性的改进卷积模块；

(3)边界增强的卷积神经网络设计：借助卷积模块替换的方式，将拟设计的新的卷积模块整合到现有的卷积神经网络架构中，从而构建一个边界增强的卷积神经网络，执行各种边界特征和非边界特征的提取与整合，实现边界特征的增强和目标区域的探测，具体步骤为：通过卷积模块替换的方式将拟设计的卷积模块引入到现有的分割网络中，构建一个边界增强的卷积神经网络EE-Net，借助前向和反向跳跃链接将NCF和ECF分别传递给相同图像维度上的卷积模块，实现不同卷积层次上各种特征信息的多样化整合，降低冗余卷积特征对目标分割的干扰，利于目标特征的快速准确探测，借助EE-Net网络将输入图像转化为多个具有相同维度的概率图，使用合适的阈值对概率图进行二值化处理，即可得到多个兴趣目标的分割结果，借助基于区域重叠系数的多标签代价函数，合适的优化算法和已标注的图像数据对EE-Net网络进行模型训练。

2.根据权利要求1所述的一种用于OCT图像角膜层分割的边界增强卷积神经网络的构建方法，其特征在于，所述的步骤(1)的具体步骤为：将卷积模块视为由不同滤波器组成的结构，基于此，将高斯差边界探测算法的工作原理引入卷积模块的设计中，从而构建一个新的具有边界敏感特性的卷积模块，高斯差可表示为：

其中，I表示输入的原始灰度图像，

和

分别表示标准差为ρ₁和ρ₂的高斯滤波器，*表示卷积运算符，D表示两个高斯滤波结果之间的差图。

Images