CN114332278A - 一种基于深度学习的octa图像运动矫正方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的OCTA图像运动矫正方法，包括：采集OCTA图像，对OCTA图像进行预处理，获得初始数据集，并将初始数据集划分为训练集和测试集；构建神经网络模型，基于训练集对神经网络模型进行训练，获得第一神经网络模型；基于测试集对第一神经网络模型进行测试，获得第二神经网络模型；基于第二神经网络模型对OCTA图像进行修复，获得目标图像。本发明无需额外拍摄大量重复图像用来消除伪影，无需额外的集成用于检测运动的硬件，就可以高效的修复OCTA中因为运动而引起的图像伪影，结构简单，效率高，应用范围广。

Description

一种基于深度学习的OCTA图像运动矫正方法

技术领域

本发明属于深度学习领域，特别是涉及一种基于深度学习的OCTA图像运动矫正方法。

背景技术

光学相干断层扫描血管成像(OCTA)是一项新的医学影像检查技术。该技术的原理是基于血管中流动的血细胞，对同一横断面进行重复的光学相干层析成像(OCT)，合并连续的信息后得到完整的视网膜脉络膜三维血管图像。目前，OCTA技术已经广泛的应用到皮肤科和眼科临床前研究和临床诊断。为了区分血管系统和周围组织，OCTA利用内源性对比机制。然而，由于光栅的扫描速度有限和其他的缺陷，OCTA的成像容易受到各种组织运动(例如呼吸，心跳，机械震动等)的影响。

通常会使用基于硬件和软件的方法来消除B扫描期间产生的运动伪影。其中，基于硬件的方法是在B扫描期间来集成额外的硬件来对微动进行评估并引导OCTA重新扫描以抵消伪影。然而，基于硬件消除伪影的系统结构非常复杂且成本高昂，这大大的限制了它们的应用前景。基于软件的方法无需额外的集成硬件，因此，这种方法在临床前和临床都具有很高的竞争力。由于基于软件的方法往往需要额外采集相当多的重复图像进行处理来消除运动伪影，同时，会延长成像时间效率低，从而降低了临床实践的实用性。

发明内容

为解决上述背景技术中存在的技术问题，针对现有技术的缺陷，本发明提供了如下方案：一种基于深度学习的OCTA图像运动矫正方法，包括：

采集OCTA图像，对所述OCTA图像进行预处理，获得初始数据集，并将所述初始数据集划分为训练集和测试集；

构建神经网络模型，基于所述训练集对所述神经网络模型进行训练，获得第一神经网络模型；

基于所述测试集对所述第一神经网络模型进行测试，获得第二神经网络模型；

基于所述第二神经网络模型对所述OCTA图像进行修复，获得目标图像。

优选地，对所述OCTA图像进行预处理的过程包括对所述OCTA图像进行裁剪操作、数据增强操作；

所述裁剪操作为将所述OCTA图像裁剪为512x512大小；

所述数据增强操作为将裁剪后的得到的图片进行垂直翻转，水平翻转，顺时针旋转90度，顺时针旋转180度，顺时针旋转270度的翻转和旋转操作，获得所述初始数据集。

优选地，构建所述神经网络模型包括构建分类神经网络模型和构建分割修复神经网络模型；

构建所述分类神经网络模型的过程为，使用改进的ResNet50作为基础分类网络，将协同注意力模块嵌入到Inception结构中；

构建所述分割修复神经网络模型包括构建分割神经网络和构建修复神经网络。

优选地，所述分类神经网络模型的工作过程为，基于预处理后的OCTA图像，通过所述协同注意力模块沿第一空间方向捕获长程依赖，沿第二空间方向保留精确的位置信息，生成第一特征图并对所述第一特征图进行编码，获得一对方向感知和位置敏感的第二特征图；根据所述第二特征图对所述OCTA图像进行分类，获得分类结果；将分类结果中正常OCTA图像去除，异常OCTA图像发送至分割修复神经网络模型进行分割。

优选地，所述分割修复神经网络模型基于改进的U-Net卷积神经网络进行分割，通过堆叠门卷积层修复OCTA图像中的伪影；

所述改进的U-Net卷积神经网络包括编码器路径、上采样路径。

优选地，所述编码器路径包括使用ResNet-50的卷积神经网络进行下采样，在编码器编码过程中通道数上升，特征图缩小；在编码器的末端加入空间金字塔池化模块，采用不同大小的池化操作从编码器中提取目标，实现多尺度提取；

所述上采样路径包括，在上采样过程中每一步都对图像进行上采样，在恢复图像分辨率的过程中图像的通道数减半，上采样的特征图与来自收缩路径中经过协同注意力处理的特征图在通道维度上进行拼接，实现精准定位；基于第二特征图，通过1*1卷积层将通道数映射到分割的类别数，每个通道上的点为像素所属类别的概率；根据所述概率，通过堆叠门卷积层来修复OCTA图像中的伪影。

优选地，基于所述训练集对所述神经网络模型进行训练，所述训练过程为，采用PyTorch深度学习框架搭建训练模型，采用Dice Loss损失函数和Adam优化器进行模型训练，输入训练集数据经过多轮迭代，调整模型参数，获得所述第一神经网络模型。

优选地，基于所述测试集对所述第一神经网络模型进行测试包括，基于整体评价指标mIOU，各分类评价指标F1 Score和集合相似度度量指标Dice，通过将所述测试集输入所述第一神经网络模型完成模型的性能评估，获得所述第二神经网络模型。

本发明公开了以下技术效果：

本发明提供的一种基于深度学习的OCTA图像运动矫正方法，首先，将经过预处理的OCTA输入到分类网络，得到异常和正常的分类图像，将正常的OCTA图像去除。进而，将异常的OTCA图像输入改进的UNet网络中，得到分割结果。最后，将异常OCTA分割的结果输入到修复神经网络中进行修复，将间断的血管组织重连。与传统的基于硬件的成像方法相比本发明无需额外的集成用于检测运动的硬件，可以大大降低系统的成本和系统的复杂度，使得系统广泛应用成为可能。与传统的基于软件的成像方法相比无需额外拍摄大量重复图像用来消除伪影，拥有巨大的应用范围。同时，为了解决医学影响数据集样本量较小的问题，本发明在训练过程中使用迁移学习技术，通过使用预训练模型，可以在较小的训练集上获取较好的效果。综上可知，本发明的具有效率高，结构简单，应用范围广的特点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的方法流程图；

图2为本发明实施例中协同注意力模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供了一种基于深度学习的OCTA图像运动矫正方法,包括以下步骤：

1)数据获取：使用从医院所采集的OCTA的图像作为模型训练的数据集，数据集中包含正常的OCTA数据和在OCTA采集过程中受运动影响的异常OCTA数据；将采集到的OCTA数据集按照一定的比例划分成训练集和测试集，其中，训练集占数据集总量的75％，测试集占数据集总量的25％。

2)数据的预处理：将原始的OCTA数据集裁剪到合适的大小，同时，对数据集中的OCTA图像进行翻转和旋转的数据增强操作；具体步骤是将原始OCTA图像裁剪到512*512；利用数据增强方法对OCTA数据进行数据增强操作，增强方式包括，垂直翻转，水平翻转，顺时针旋转90度，顺时针旋转180度，顺时针旋转270度。

3)模型构建：

3.1)分类神经网络构建：使用改进的ResNet50作为基础分类网络，将协同注意力模块嵌入到Inception结构中。使用协同注意力模块可以沿着一个空间方向捕获长程依赖，沿着另一个空间方向保留精确的位置信息。然后，将生成的特征图分别编码，形成一对方向感知和位置敏感的特征图，它们可以互补地应用到输入特征图来增强感兴趣的目标的表示。

3.2)分割修复神经网络构建:分割修复神经网络可以分为两个部分，首先，分割神经网络在原始UNet基础上进行改进，其次，修复神经网络使用的编码器-解码器结构，通过堆叠门卷积层来修复OCTA图像中的伪影。

具体包括：U-Net卷积神经网络由编码器路径以及一个对称的上采样路径组成，使用ResNet-50的卷积神经网络进行下采样，在编码器过程中通道数逐步上升的同时，特征图大小缩小到原来的1/16；在编码器的末端加入空间金字塔池化模块(SPP)，采用不同大小的池化操作进一步从编码器中提取目标，实现多尺度提取，同时，使用SPP可以增加分割的精度。在上采样过程中每一步都对图像进行上采样，在恢复图像分辨率的过程中图像的通道数减半，上采样的特征图将于来自收缩路径中经过协同注意力处理的特征图在通道维度上进行拼接，以实现精准定位。使用协同注意力模块可以沿着一个空间方向捕获长程依赖，沿着另一个空间方向保留精确的位置信息。然后，将生成的特征图分别编码，形成一对方向感知和位置敏感的特征图，它们可以互补地应用到输入特征图来增强感兴趣的目标的表示。最后，通过1*1卷积层将通道数映射到分割的类别数，每个通道上的点表示该像素属于某一类别的概率。

4)模型训练：采用PyTorch深度学习框架搭建训练模型，采用Dice Loss损失函数和Adam优化器进行模型训练，经过多轮迭代，调整模型参数，提高模型训练效果。

其中，Dice loss的公式如下：

l_seg＝l_dice1+l_dice2

其中，y代表是真实标签，

代表预测结果，ε代表平滑项。

5)模型评估：采用整体评价指标mIOU，各分类评价指标F1 Score和集合相似度度量指标Dice，训练结束后在测试集上完成模型的性能评估。

其中，F1分数用来衡量模型的分类效果，F1分数是分类问题的一个衡量指标，是准确率和召回率的调和平均数，最大值是1，最小值是0。F1分数的计算公式为：

其中，precision表示差准率，指分类器判定正例中的正样本的比重，recall标志查全率，指被预测为正例数量占总正例的比重。

mIOU用来衡量模型的分割效果，mIOU是基于类进行计算的，将每一类的IOU计算之后累加，再进行平均，得到的就是基于全局的评价。mIOU的计算公式为：

其中，TN表示正样本数，TP表示负样本数，FP表示假阳性数，FN表示假阴性数。

实施例一

进一步地，本发明提供的基于深度学习的OCTA图像运动矫正方法,首先，将经过预处理的OCTA输入到分类网络，得到异常和正常的分类图像，将正常的OCTA图像去除。进而，将异常的OTCA图像输入改进的UNet网络中，得到分割结果。最后，将异常OCTA分割的结果输入到修复神经网络中进行修复，将间断的血管组织重连。

具体步骤包括：

1)获取OCTA数据集，本例使用了800张图片作为实验数据集，其中，600幅图像作为训练集，200幅图像作为测试集。

2)图像预处理，将原始的OCTA图像裁剪成512*512大小，利用数据增强方法对样本进行旋转90度，180度和270度，样本的数量变为原来的4倍。这样在增加样本数量的同时可以增加样本的多样性，有利于提高模型的鲁棒性。

3)模型构建，使用改进的ResNet50作为基础分类网络，将协同注意力模块嵌入到Inception结构中。使用协同注意力模块可以沿着一个空间方向捕获长程依赖，沿着另一个空间方向保留精确的位置信息。然后，将生成的特征图分别编码，形成一对方向感知和位置敏感的特征图，它们可以互补地应用到输入特征图来增强感兴趣的目标的表示。

分割网络构建使用改进的U-Net。U-Net卷积神经网络由编码器路径以及一个对称的上采样路径组成，使用ResNet-50的卷积神经网络进行下采样，在编码器过程中通道数逐步上升的同时，特征图大小缩小到原来的1/16；在编码器的末端加入空间金字塔池化模块(SPP)，采用不同大小的池化操作进一步从编码器中提取目标，实现多尺度提取，同时，使用SPP可以增加分割的精度。在上采样过程中每一步都对图像进行上采样，在恢复图像分辨率的过程中图像的通道数减半，上采样的特征图将与来自收缩路径中经过协同注意力处理的特征图在通道维度上进行拼接，以实现精准定位。使用协同注意力模块可以沿着一个空间方向捕获长程依赖，沿着另一个空间方向保留精确的位置信息。然后，将生成的特征图分别编码，形成一对方向感知和位置敏感的特征图，它们可以互补地应用到输入特征图来增强感兴趣的目标的表示。最后，通过1*1卷积层将通道数映射到分割的类别数，每个通道上的点表示该像素属于某一类别的概率。

修复神经网络使用的编码器-解码器结构，通过堆叠门卷积层来修复OCTA图像中的伪影。

4)模型训练，采用PyTorch深度学习框架搭建训练模型，采用Dice Loss损失函数和Adam优化器进行模型训练，经过多轮迭代，调整模型参数，提高模型训练效果。

Dice loss的公式如下：

l_seg＝l_dice1+l_dice2

其中，y代表是真实标签，

代表预测结果，ε代表平滑项。

具体训练流程为，将经过预处理的OCTA输入到分类网络，得到异常和正常的分类图像，将正常的OCTA图像去除。进而，将异常的OTCA图像输入改进的UNet网络中，得到分割结果。最后，将异常OCTA分割的结果输入到修复神经网络中进行修复，将间断的血管组织重连。

5)模型评估，采用整体评价指标mIOU，各分类评价指标F1 Score和集合相似度度量指标Dice，训练结束后在测试集上完成模型的性能评估。mIOU和F1 Score的公式为：

其中，TN表示正样本数，TP表示负样本数，FP表示假阳性数，FN表示假阴性数。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (8)

1.一种基于深度学习的OCTA图像运动矫正方法,其特征在于，包括：

采集OCTA图像，对所述OCTA图像进行预处理，获得初始数据集，并将所述初始数据集划分为训练集和测试集；

构建神经网络模型，基于所述训练集对所述神经网络模型进行训练，获得第一神经网络模型；

基于所述测试集对所述第一神经网络模型进行测试，获得第二神经网络模型；

基于所述第二神经网络模型对所述OCTA图像进行修复，获得目标图像。

2.根据权利要求1所述的基于深度学习的OCTA图像运动矫正方法，其特征在于，对所述OCTA图像进行预处理的过程包括对所述OCTA图像进行裁剪操作、数据增强操作；

所述裁剪操作为将所述OCTA图像裁剪为512x512大小；

所述数据增强操作为将裁剪后的得到的图片进行垂直翻转，水平翻转，顺时针旋转90度，顺时针旋转180度，顺时针旋转270度的翻转和旋转操作，获得所述初始数据集。

3.根据权利要求1所述的基于深度学习的OCTA图像运动矫正方法，其特征在于，

构建所述神经网络模型包括构建分类神经网络模型和构建分割修复神经网络模型；

构建所述分类神经网络模型的过程为，使用改进的ResNet50作为基础分类网络，将协同注意力模块嵌入到Inception结构中；

构建所述分割修复神经网络模型包括构建分割神经网络和构建修复神经网络。

4.根据权利要求3所述的基于深度学习的OCTA图像运动矫正方法，其特征在于，

所述分类神经网络模型的工作过程为，基于预处理后的OCTA图像，通过所述协同注意力模块沿第一空间方向捕获长程依赖，沿第二空间方向保留精确的位置信息，生成第一特征图并对所述第一特征图进行编码，获得一对方向感知和位置敏感的第二特征图；根据所述第二特征图对所述OCTA图像进行分类，获得分类结果；将分类结果中正常OCTA图像去除，异常OCTA图像发送至分割修复神经网络模型进行分割。

5.根据权利要求3所述的基于深度学习的OCTA图像运动矫正方法，其特征在于，还包括，

所述分割修复神经网络模型基于改进的U-Net卷积神经网络进行分割，通过堆叠门卷积层修复OCTA图像中的伪影；

所述改进的U-Net卷积神经网络包括编码器路径、上采样路径。

6.根据权利要求5所述的基于深度学习的OCTA图像运动矫正方法，其特征在于，还包括，

所述编码器路径包括使用ResNet-50的卷积神经网络进行下采样，在编码器编码过程中通道数上升，特征图缩小；在编码器的末端加入空间金字塔池化模块，采用不同大小的池化操作从编码器中提取目标，实现多尺度提取；

所述上采样路径包括，在上采样过程中每一步都对图像进行上采样，在恢复图像分辨率的过程中图像的通道数减半，上采样的特征图与来自收缩路径中经过协同注意力处理的特征图在通道维度上进行拼接，实现精准定位；基于第二特征图，通过1*1卷积层将通道数映射到分割的类别数，每个通道上的点为像素所属类别的概率；根据所述概率，通过堆叠门卷积层来修复OCTA图像中的伪影。

7.根据权利要求1所述的基于深度学习的OCTA图像运动矫正方法，其特征在于，

基于所述训练集对所述神经网络模型进行训练，所述训练过程为，采用PyTorch深度学习框架搭建训练模型，采用Dice Loss损失函数和Adam优化器进行模型训练，输入训练集数据经过多轮迭代，调整模型参数，获得所述第一神经网络模型。

8.根据权利要求1所述的基于深度学习的OCTA图像运动矫正方法，其特征在于，

基于所述测试集对所述第一神经网络模型进行测试包括，基于整体评价指标mIOU，各分类评价指标F1 Score和集合相似度度量指标Dice，通过将所述测试集输入所述第一神经网络模型完成模型的性能评估，获得所述第二神经网络模型。

Images