CN112348825A - 一种用于视网膜血流图像分割的DR-U-net网络方法及装置 - Google Patents

Abstract

本发明公开了一种用于视网膜血流图像分割的DR‑U‑net网络方法及装置，通过对DR‑U‑net预测模型进行训练，得到DR‑U‑net预测模型对待检测图像进行分割，再对分割的待检测图像进行优化处理，得到最终的目标区域；通过将深度学习方法与传统图像处理方法相结合，可以有效解决视网膜OCTA图像信噪比比较低时容易产生的分割不准确的问题，能提高视网膜OCTA图像的分割精度，提高算法的抗干扰性能。能够更有效的获取图像的精细特征，使得网络模型能够获取精细的特征，分割出最佳的结果；在增加网络深度的同时，避免了在网络训练过程使得网络发生梯度消失或梯度爆炸，能够更加有效地进行特征复用，这使得预测的模型更加精确。

Description

一种用于视网膜血流图像分割的DR-U-net网络方法及装置

技术领域

本发明涉及光学相干层析成像领域，具体涉及一种用于视网膜血流图像分割的DR-U-net网络方法及装置。

背景技术

光学相干层析成像(optical coherence tomography,OCT)是20世纪90年代逐步发展而成的一种新的三维层析成像技术。由于OCT技术的不断成熟，已成为诊断和评估眼科疾病的金标准。近年来，随着OCT的快速发展也导致了光学相干层析血管造影(OCTA)技术的发展。OCTA使用低相干干涉测量法来测量反向散射信号的变化，以区分血流区域和静态组织区域，在相同的扫描位置上重复测量视网膜微血管的相位和强度来测量视网膜微血管中的血流。OCTA可以显示视网膜血管的浅层和深层毛细血管，相较于荧光血管造影，它不需要额外加入染料。虽然OCTA在一定程度上显示了其优势，但由于其成本和商用设备上的视场限制，这降低了评估视网膜血管疾病的能力。另外，由于OCTA需要在相同的扫描位置才能获取其图像，这限制了在不稳定的视觉融合和眼底运动伪影的眼睛中获取可解释图像的能力。

深度学习是人工智能的一个子领域，近年来，深度学习得到了快速的发展，已经被应用在计算机视觉、语音识别、自然语言处理、音频处理与生物信息学等领域。它在眼科疾病的研究中已经发挥了重要的作用，不仅能够有效的对眼部成像的疾病进行分类，而且其端到端特征分割技术还能提供丰富的量化和详细的眼部特征。其端到端特征分割技术是指将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类。目前最先进的图像分割模型是U型网络和全卷积网络(FCN)等编码器结构的变体。一般的语义分割结构可以被认为是一个编码器-解码器网络。编码器通常是一个预训练的分类网络，像VGG、Resnet，然后是一个解码器网络。解码器的任务是将编码器学习到的较低分辨率的可判别特征从语义上投影到较高分辨率的像素空间。这些编解码网络具有一个关键的相似性：跳转连接，它将来自解码器子网络的深度、语义、粗粒度特征映射结合起来，即使在复杂的背景下也可以用精细的细节生成分割掩码。但由于分割视网膜OCTA图像中的病变或异常需要比自然图像更高的分辨率。为了满足图像更精确分割的需要，本专利提出一个基于U-net改进的网络DR-U-net网络来更有效的去捕获前景图像中的细节。

本专利涉及的现有相关技术请参见以下参考文献：

1、Alom M Z,Hasan M,Yakopcic C,et al.Recurrent residual convolutionalneural network based on u-net(r2u-net)for medical image segmentation[J].arXivpreprint arXiv:1802.06955,2018.

2、Lee C S,Tyring A J,Wu Y,et al.Generating retinal flow maps fromstructural optical coherence tomography with artificial intelligence[J].Scientific reports,2019,9(1):1-11.

3、Wang C,Zhao Z,Ren Q,et al.Dense u-net based on patch-based learningfor retinal vessel segmentation[J].Entropy,2019,21(2):168.

发明内容

本发明的目的在于提出一种用于视网膜血流图像分割的DR-U-net网络方法及装置，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

本发明提供一种用于视网膜血流图像分割的DR-U-net网络方法及装置，通过对DR-U-net模型(Dense Residual U-net(密集残差U型网络)，DR-U-net)进行训练，得到DR-U-net预测模型；根据DR-U-net预测模型，对待测图像进行分割；对分割的待测模型进行优化处理，得到最终的目标区域。

本发明的目的是针对上述问题，提供一种用于视网膜血流图像分割的DR-U-net网络方法及装置，具体包括以下步骤：

S10，利用OCT设备获取视网膜OCTA图像作为待测图像；

S20，对DR-U-net模型进行训练得到DR-U-net预测模型；

S30，通过DR-U-net预测模型对待测图像进行分割得到分割图像；

S40，对分割图像进行优化处理得到最终的目标区域图像。

进一步的，在S10中，所述视网膜OCTA图像中至少包括一个目标区域(ROI,感兴趣区域)。

进一步的，在S20中，对DR-U-net模型进行训练得到DR-U-net预测模型的方法包括以下步骤：

S21，对视网膜OCTA图像进行随机块提取操作从而获得若干大小相同的图像块(即把视网膜OCTA图像分割成多个大小相同的图像块，并随机提取其中若干个)；

S22，以提取的各个图像块作为训练集；

S23，对训练集中的图像块进行标注；(通过Supervisely、labelimg、labelme、RectLabel、LabelBox和VGG Image Annotator中任意一种图像标注工具对训练集的图像块进行标注)；

S24，以训练集中的图像块及图像块的标注结果作为DR-U-net神经网络进行训练，训练完成后得到DR-U-net预测模型。(DR-U-net神经网络请参见：Wang C,Zhao Z,Ren Q,etal.Dense U-net Based on Patch-Based Learning for Retinal Vessel Segmentation[J].Entropy,2019,21(2):168)；

进一步的，所述步骤S23中，对训练集中的图像块进行标注的标注结果至少包含目标区域。

进一步的，所述标注结果中至少包含视网膜OCTA图像中每个像素的类别信息以及目标区域相关的坐标信息。

进一步的，所述步骤S24中，所述DR-U-net预测模型包括，编码结构、解码结构和级联操作。

进一步的，所述编码结构包括，卷积层、DR卷积模块和最大池化。

进一步的，所述DR卷积模块包括，Residual unit(残差单元)、Dense Block(密集块)和TransitionLayer(过渡层)。最后一个Dense Block的输出与DR卷积模块的输入进行相加作为下一个DR卷积模块的输入。

进一步的，所述Dense Block包括若干个Denselayer(密集层)。

进一步的，所述的Denselayer先后进行Batch Normalization(批归一化层)、Conv层(1×1)、Activation(ReLU，激活函数)，Batch Normalization、Conv层(3×3)、Activation(1×1，激活函数)和Dropout(正则化)操作。(1×1)表示维度为(1×1)；

进一步的，上面所述TransitionLayer(过渡层)先后进行Batch Normalization、Conv层(1×1)操作。

进一步的，步骤S30中，通过DR-U-net预测模型对待测图像进行分割得到分割图像的方法包括以下步骤：

S31、对待测图像进行预处理操作；预处理操作至少包括平滑、中值滤波、归一化、增强中一种或多种操作；

S32、将视网膜OCTA图像输入到DR-U-net预测模型中进行分割得到分割图像。

进一步的，分割图像中至少包含视网膜OCTA图像中每个像素级别的类别信息以及目标区域相关的坐标信息。

进一步的，步骤S40中，对分割图像进行优化处理得到最终的目标区域图像的方法为：

先对分割图像进行优化处理，然后再将处理后的分割图像映射到原始图像上，得到最终的目标区域；或者先将分割图像映射到原始图像上，然后再对原始图上的分割图像进行优化处理，得到最终的目标区域。

进一步的，所述对分割图像进行优化处理的方法为：检测分割图像的边界，获取边界坐标，所述分割图像的边界为分割图像中，目标区域与非目标区域的分界线；根据分割图像的边界坐标和原始视网膜OCTA图像的像素值，对分割图像的边界进行优化，得到最终的目标区域图像。

本发明还提供了一种用于视网膜血流图像分割的DR-U-net网络装置，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的模块中：

图像获取模块，用于利用OCT设备获取视网膜OCTA图像作为待测图像；

模型训练模块，用于对DR-U-net模型进行训练得到DR-U-net预测模型；

图像分割模块，用于通过DR-U-net预测模型对待测图像进行分割得到分割图像；

目标区域获取模块，用于对分割图像进行优化处理得到最终的目标区域图像。

本发明的有益效果为：本发明公开了一种用于视网膜血流图像分割的DR-U-net网络方法，通过对DR-U-net预测模型进行训练，得到DR-U-net预测模型对待检测图像进行分割，再对分割的待检测图像进行优化处理，得到最终的目标区域；通过将深度学习方法与传统图像处理方法相结合，可以有效解决视网膜OCTA图像信噪比比较低时容易产生的分割不准确的问题，能提高视网膜OCTA图像的分割精度，提高算法的抗干扰性能。能够更有效的获取图像的精细特征，以此达到评估视网膜疾病的目的。使用DR卷积模块，增加了神经网络模型网络的深度，使得网络模型能够获取精细的特征，分割出最佳的结果；在增加网络深度的同时，避免了在网络训练过程使得网络发生梯度消失或梯度爆炸。DR卷积模块中的DenseBlock能够更加有效地进行特征复用，这使得预测的模型更加精确。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为视网膜OCTA图像分割流程图；

图2所示为一种用于视网膜血流图像分割的DR-U-net网络装置结构图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

图1所示为视网膜OCTA图像分割流程图，下面结合图1来阐述根据本发明的实施方式的方法。

本发明提出一种用于视网膜血流图像分割的DR-U-net网络方法，具体包括以下步骤：

S10：利用OCT设备获取视网膜OCTA图像，OCT设备获取的区域分为非视网膜OCTA图像区域，视网膜OCTA图像区域和背景区域，而其中视网膜OCTA图像区域是要检测的目标区域。获取视网膜OCTA图像后，对其图像进行预处理，将所有图像大小转化为512*512的大小，然后对每张图像的非视网膜区、视网膜区和背景区进行分别标注。标注后，会生成保存有区域类别和相应坐标点的文件数据，最终生成标注图像。然后对标注后的图像再次进行预处理，对每张标记好的图像进行随机块提取操作得到20000个块图像(30*30)。将20000个块图像(30*30)作为数据集。

S20：DR-U-net是基于U-net改进的网络，DR-U-net是包括编码结构和解码结构，编码结构包括4个下采样层，解码结构包括4个上采样层，并且使用级联的方式进行连接，将下采样中的高分辨率特征与上采样中低分辨特征进行特征融合操作。DR-U-net网络采用的损失函数是交叉熵损失函数，交叉熵是用来评估当前网络经过训练得到的预测概率分布与真实分布之间的差异情况。交叉熵损失函数的大小反映的是实际输出概率与期望输出之间的距离，也就是交叉熵的值越小，两个概率分布就越接近，也就意味着预测的越准确。

DR卷积模块是残差单元和密集块组合而成，当输入为x1，最后一层的TransitionLayer输出为x2，则输出为X＝x1+x2。输入x1到Dense Block中，分别依次经过5个DenseLayer；

每个DenseLayer按先后顺序进行Batch Normalization(批归一化层)、Conv层(1×1)、Activation(ReLU，激活函数)，Batch Normalization(批归一化)、Conv层(3×3)、Activation(1×1，激活函数)和Dropout(正则化层)操作。然后通过TransitionLayer(过渡层)，经过Batch Normalization、Conv(1×1)操作。

设计好网络模型后，将步骤S10制作好的数据集输入到模型中，进行训练和测试，其中14000张作为训练集，6000张作为测试集。另外完成14000张图像的训练为一个周期。进行60个周期训练，最终得到一个效果最佳的网络模型。然后使用测试集对训练好的模型进行测试，并统计测试结果是否满足期望，如满足期望，则训练结束，保存模型，否则，调整训练策略继续训练，直到满足要求。

S30：首先对待测图像进行尺寸归一化处理成512*512的大小，将归一化后的视网膜OCTA图像输入到训练好的模型中，进行分割，分割的结果中至少包含视网膜OCTA图像中每个像素的类别信息以及目标区域相关的坐标信息。最后，得到一个分割图像。

S40:检测分割后的视网膜OCTA图像的边界，获取边界坐标，分割图像的边界为分割图像中目标区域与非目标区域的分界线，然后再将处理后的分割图像映射到原始图像上，得到最终的目标区域；或者先将分割图像映射到原始图像上，然后再对原始图上的分割图像进行优化处理，得到最终的目标区域。

进一步的，在S40中，所述对分割图像进行优化处理的方法为：检测分割图像的边界，获取边界坐标，所述分割图像的边界为分割图像中，目标区域与非目标区域的分界线；根据分割图像的边界坐标和原始视网膜OCTA图像的像素值，对分割图像的边界进行优化，得到最终的目标区域图像。

本发明的实施例提供的一种用于视网膜血流图像分割的DR-U-net网络装置，如图2所示为本发明的一种用于视网膜血流图像分割的DR-U-net网络装置结构图，该实施例的一种用于视网膜血流图像分割的DR-U-net网络装置包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种用于视网膜血流图像分割的DR-U-net网络装置实施例中的步骤。

所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的模块中：参见图2，

图像获取模块10，用于利用OCT设备获取视网膜OCTA图像作为待测图像；

模型训练模块20，用于对DR-U-net模型进行训练得到DR-U-net预测模型；

图像分割模块30，用于通过DR-U-net预测模型对待测图像进行分割得到分割图像；

目标区域获取模块40，用于对分割图像进行优化处理得到最终的目标区域图像。

所述一种用于视网膜血流图像分割的DR-U-net网络装置可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种用于视网膜血流图像分割的DR-U-net网络装置可运行的装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种用于视网膜血流图像分割的DR-U-net网络装置的示例，并不构成对一种用于视网膜血流图像分割的DR-U-net网络装置的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种用于视网膜血流图像分割的DR-U-net网络装置还可以包括输入输出设备、网络接入设备、总线等。所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种用于视网膜血流图像分割的DR-U-net网络装置运行装置的控制中心，利用各种接口和线路连接整个一种用于视网膜血流图像分割的DR-U-net网络装置可运行装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种用于视网膜血流图像分割的DR-U-net网络装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

Claims (9)

1.一种用于视网膜血流图像分割的DR-U-net网络方法，其特征在于，所述方法包括以下步骤：

S10，利用OCT设备获取视网膜OCTA图像作为待测图像；

S20，对DR-U-net模型进行训练得到DR-U-net预测模型；

S30，通过DR-U-net预测模型对待测图像进行分割得到分割图像；

S40，对分割图像进行优化处理得到最终的目标区域图像。

2.根据权利要求1所述的一种用于视网膜血流图像分割的DR-U-net网络方法，其特征在于，在S20中，对DR-U-net模型进行训练得到DR-U-net预测模型的方法包括以下步骤：

S21，对视网膜OCTA图像进行随机块提取操作从而获得若干大小相同的图像块；

S22，以提取的各个图像块作为训练集；

S23，对训练集中的图像块进行标注；

S24，以训练集中的图像块及图像块的标注结果作为DR-U-net神经网络进行训练，训练完成后得到DR-U-net预测模型。

3.根据权利要求2所述的一种用于视网膜血流图像分割的DR-U-net网络方法，其特征在于，在S24中，所述DR-U-net预测模型包括，编码结构、解码结构和级联操作，所述编码结构包括，卷积层、DR卷积模块和最大池化。

4.根据权利要求3所述的一种用于视网膜血流图像分割的DR-U-net网络方法，其特征在于，所述DR卷积模块包括，残差单元Residual unit、密集块Dense Block和过渡层TransitionLayer，最后一个Dense Block的输出与DR卷积模块的输入进行相加作为下一个DR卷积模块的输入，所述Dense Block包括若干个密集层Denselayer。

5.根据权利要求4所述的一种用于视网膜血流图像分割的DR-U-net网络方法，其特征在于，所述Denselayer先后进行批归一化Batch Normalization、1×1Conv、激活函数，Batch Normalization、3×3Conv、激活函数和正则化操作；所述过渡层先后进行BatchNormalization、1×1Conv操作。

6.根据权利要求1所述的一种用于视网膜血流图像分割的DR-U-net网络方法，其特征在于，步骤S30中，通过DR-U-net预测模型对待测图像进行分割得到分割图像的方法包括以下步骤：

S31，对待测图像进行预处理操作；

S32，将视网膜OCTA图像输入到DR-U-net预测模型中进行分割得到分割图像。

7.根据权利要求1所述的一种用于视网膜血流图像分割的DR-U-net网络方法，其特征在于，步骤S40中，对分割图像进行优化处理得到最终的目标区域图像的方法为：

先对分割图像进行优化处理，然后再将处理后的分割图像映射到原始图像上，得到最终的目标区域；或者先将分割图像映射到原始图像上，然后再对原始图上的分割图像进行优化处理，得到最终的目标区域。

8.根据权利要求7所述的一种用于视网膜血流图像分割的DR-U-net网络方法，其特征在于，所述对分割图像进行优化处理的方法为：检测分割图像的边界，获取边界坐标，所述分割图像的边界为分割图像中，目标区域与非目标区域的分界线；根据分割图像的边界坐标和原始视网膜OCTA图像的像素值，对分割图像的边界进行优化，得到最终的目标区域图像。

9.一种用于视网膜血流图像分割的DR-U-net网络装置，其特征在于，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的模块中：

图像获取模块，用于利用OCT设备获取视网膜OCTA图像作为待测图像；

模型训练模块，用于对DR-U-net模型进行训练得到DR-U-net预测模型；

图像分割模块，用于通过DR-U-net预测模型对待测图像进行分割得到分割图像；

目标区域获取模块，用于对分割图像进行优化处理得到最终的目标区域图像。

Images