CN110880196B - 基于深度学习的肿瘤光声图像快速重建方法及装置 - Google Patents

Abstract

本发明实施例提供基于深度学习的肿瘤光声图像快速重建方法及装置，方法包括：通过k‑Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，通过光声实验补充实验数据集；构建端到端的SEU‑Net；采用预训练策略及有监督的学习方法在肿瘤光声仿真数据集和实验数据集上递进式训练SEU‑Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型；将目标肿瘤的初始光声信号图输入肿瘤光声图像重建模型，输出重建后的高质量肿瘤光声图像。可实现基于稀疏采样的快速、高质量的肿瘤光声图像重建。

Description

基于深度学习的肿瘤光声图像快速重建方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于深度学习的肿瘤光声图像快速重建方法及装置。

背景技术

光声成像作为一种新兴的医学影像技术，有机地结合了光学成像和声学成像的特点，可以提供深层组织的高分辨率和高对比度的组织断层图像。

光声成像融合了超声成像高空间分辨率，光学成像高对比度、光谱特异性等优点，突破了光学散射造成的成像深度“软极限”，具有非入侵、高分辨、高对比、深穿透、多模态等成像特点，能够获得肿瘤结构和功能的全面信息。

但是，光声信号全采样因数据量过大会带来采集装置、信号传输、图像重建时间等成本的剧增，因此实际中的光声信号采集模式均为稀疏采样。采样数据的稀疏性以及噪音的干扰，使得对信号质量要求较高的传统迭代重建算法，极易产生含有欠采样伪影的低质量重建图像，丢失结构生理等细节信息，影响后续的图像分析；而且缓慢的成像速度，严重制约了实时成像的实现。

发明内容

针对现有技术存在的问题，本发明实施例提供一种基于深度学习的肿瘤光声图像快速重建方法及装置。

本发明实施例提供一种基于深度学习的肿瘤光声图像快速重建方法，包括：

通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，并通过光声实验补充实验数据集；

构建端到端的卷积神经网络模型SEU-Net；

采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型；

将目标肿瘤的初始光声信号图输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像。

可选地，所述获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，包括：

以预设图像分辨率，依据光声成像原理，在k-Wave中模拟环阵、阵列式探头稀疏采样过程；

在所述环阵、阵列式探头的扫描区域内，随机生成预设数量个肿瘤仿体，随机设定所述肿瘤仿体的形状、大小、位置、光吸收系数及信噪比，每随机生成一组肿瘤仿体，通过k-Wave保存当前肿瘤仿体的初始光声信号图、对应的经迭代重建算法重建后的含有严重欠采样伪影的低质量光声图像、对应的高质量标签图像，作为当前肿瘤仿体的数据；

将随机生成的所有肿瘤仿体的数据组成肿瘤光声仿真数据集，将所述肿瘤光声仿真数据集中的数据按预设比例分为训练集和测试集。

可选地，所述通过光声实验补充实验数据集，包括：

获取以琼脂仿体及种有肿瘤的小鼠作为实验对象进行阵列探头实验、所保存的初始光声信号图和经迭代重建算法重建后的低质量光声图像，以及获取以所述琼脂仿体及种有肿瘤的小鼠作为实验对象进行环阵探头实验、所保存的经迭代重建算法重建后的图像，作为高质量标签图像；

将阵列探头实验所保存的初始光声信号图、低质量光声图像和环阵探头实验所保存的高质量标签图像组成实验数据集，

将所述实验数据集中的数据按预设比例补充到所述训练集和所述测试集中。

可选地，所构建的端到端的卷积神经网络模型SEU-Net，包括：左侧的特征提取模块、右侧的特征重组模块、中间的压缩激发模块和残差输出模块；

所述特征提取模块，由4组特征提取子单元串联构成，所述特征提取子单元包括两个连续的卷积块和一个大小为2×2且步长为2的最大池化层，所述特征提取子单元中的卷积块包括大小为3×3且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分，每经过一个所述特征提取子单元，特征图尺寸减半，深度加倍；

所述特征重组模块，由4组特征重组子单元串联构成，所述特征重组子单元包括一个大小为2×2且步长为2的反卷积层和两个连续的卷积块，所述特征重组子单元中的卷积块包括大小为3×3且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分，每经过一个所述特征重组子单元，特征图尺寸加倍，深度减半；

所述压缩激发模块，以所述特征提取子单元的第二个卷积块的输出特征图作为输入，首先通过全局平均池化压缩为一维向量，然后依次通过全连接层1降维、ReLU非线性激活、全连接层2升维、Sigmoid非线性激活，获得一组与输入的特征图深度相同的一维概率向量，所述概率向量用于表征输入的特征图的重要性，最后，所述概率向量与输入的特征图对应相乘，经过一个卷积块进行跨通道信息整合后，与对应的所述特征重组子单元的反卷积层的输出在深度维度上进行拼接，其中所述压缩激发模块中的卷积块包括大小为1×1且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分；

所述残差输出模块，将最后一个所述特征重组子单元的输出作为所述压缩激发模块的输入，通过所述压缩激发模块中的卷积块降维，得到与所述SEU-Net输入图像同维度的矩阵，然后在所述SEU-Net输入输出之间引入残差连接，将所述SEU-Net的输入图像和输出图像相加作为所述SEU-Net最终输出的结果；

其中，最后一个所述特征提取模块与第一个所述特征重组模块，除了通过所述压缩激发模块相互连接，还通过两个连续的卷积块首尾串联相接，所述卷积块包括大小为3×3且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分。

可选地，所述采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型，包括：

以所述肿瘤光声仿真数据集和所述实验数据集中的低质量光声图像作为网络输入，以所述肿瘤光声仿真数据集和所述实验数据集中对应的高质量标签图像作为期望输出，采用预训练策略、以有监督的学习方法训练、测试所述SEU-Net，得到预训练模型；

基于所述预训练模型，以所述肿瘤光声仿真数据集和所述实验数据集中的初始光声信号图作为网络输入，以所述肿瘤光声仿真数据集和所述实验数据集中对应的高质量标签图像作为期望输出，采用预训练策略、以有监督的学习方法进一步训练、测试所述SEU-Net，得到训练好的肿瘤光声图像重建模型。

可选地，所述有监督的学习方法，包括：

基于反向传播算法，批量输入所述训练集，以L1范数和正则化项损失作为损失函数，同时引入峰值信噪比、均方根误差、结构相似度三项指标共同评价训练效果；

在训练过程中实时打印各项指标，采用训练早停的方式选择效果相对较好的几组网络参数作为暂定模型；

对于所述暂定模型，批量输入所述测试集，以所述损失函数、峰值信噪比、均方根误差、结构相似度共同作为评价指标，在所述测试集上测试所述暂定模型的效果，在尽可能降低过拟合程度的前提下，选择效果最佳的一组网络参数作为最终模型。

可选地，所述将目标肿瘤的初始光声信号图输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像，包括：

通过仿真或光声实验获得目标肿瘤的初始光声信号图，通过预处理将目标肿瘤的初始光声信号图的分辨率转换为预设图像分辨率后，输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像。

本发明实施例提供一种基于深度学习的肿瘤光声图像重建快速装置，包括：

获取模块，用于通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，并通过光声实验补充实验数据集；

构建模块，用于构建端到端的卷积神经网络模型SEU-Net；

训练模块，用于采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型；

输出模块，用于将目标肿瘤的初始光声信号图输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像。

本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。

本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述方法的步骤。

本发明实施例提供的基于深度学习的肿瘤光声图像快速重建方法及装置，通过获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，通过光声实验补充实验数据集，构建端到端的卷积神经网络模型SEU-Net，采用预训练策略及有监督的学习方法在肿瘤光声仿真数据集和实验数据集上递进式地训练SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型，将目标肿瘤的初始光声信号图输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像。由此，能够实现稀疏采样下肿瘤初始光声信号图到高质量光声图像的快速重建，在保证质量的同时，既缓解了传统迭代重建算法对于光声信号质量的严格要求，又可显著缩减设备及时间成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种基于深度学习的肿瘤光声图像快速重建方法的流程示意图；

图2为本发明实施例提供的端到端的卷积神经网络模型SEU-Net的结构示意图；

图3为本发明实施例提供的压缩激发模块示意图；

图4为本发明一实施例提供的一种基于深度学习的肿瘤光声图像快速重建装置的结构示意图；

图5为本发明一实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明一实施例提供的一种基于深度学习的肿瘤光声图像快速重建方法的流程示意图，如图1所示，本实施例的基于深度学习的肿瘤光声图像快速重建方法，包括：

S1、通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，并通过光声实验补充实验数据集。

需要说明的是，本实施例所述基于深度学习的肿瘤光声图像快速重建方法的执行主体为处理器。

在具体应用中，举例来说，所述迭代重建算法可以包括滤波反投影算法等，本实施例并不对其进行限制。

可以理解的是，本实施例需要先通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，并通过光声实验补充实验数据集，进而后续在所述肿瘤光声仿真数据集和所述实验数据集的基础上，训练所构建的端到端的卷积神经网络模型SEU-Net。

S2、构建端到端的卷积神经网络模型SEU-Net。

在具体应用中，本实施例所构建的端到端的卷积神经网络模型SEU-Net，可以包括：左侧的特征提取模块、右侧的特征重组模块、中间的压缩激发模块(即SE模块)和残差输出模块，可以参考图2；

所述特征提取模块，由4组特征提取子单元串联构成，所述特征提取子单元包括两个连续的卷积块和一个大小为2×2且步长为2的最大池化层，所述特征提取子单元中的卷积块包括大小为3×3且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分，每经过一个所述特征提取子单元，特征图尺寸减半，深度加倍；

所述特征重组模块，由4组特征重组子单元串联构成，所述特征重组子单元包括一个大小为2×2且步长为2的反卷积层和两个连续的卷积块，所述特征重组子单元中的卷积块包括大小为3×3且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分，每经过一个所述特征重组子单元，特征图尺寸加倍，深度减半；

所述压缩激发模块，可以参考图3，以所述特征提取子单元第二个卷积快的输出特征图作为输入，首先通过全局平均池化压缩为一维向量，然后依次通过全连接层1降维、ReLU非线性激活、全连接层2升维、Sigmoid非线性激活，获得一组与输入的特征图深度相同的一维概率向量，所述概率向量用于表征输入的特征图的重要性，最后，所述概率向量与输入的特征图对应相乘，经过一个卷积块进行跨通道信息整合后，与对应的所述特征重组子单元的反卷积层的输出在深度维度上进行拼接，其中所述压缩激发模块中的卷积块包括大小为1×1且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分；

所述残差输出模块，将最后一个所述特征重组子单元的输出作为所述压缩激发模块的输入，通过所述压缩激发模块中的卷积块降维，得到与所述SEU-Net输入图像同维度的矩阵，然后在所述SEU-Net输入输出之间引入残差连接，将所述SEU-Net的输入图像和输出图像相加作为所述SEU-Net最终输出的结果；

其中，最后一个所述特征提取模块与第一个所述特征重组模块，除了通过所述压缩激发模块相互连接，还通过两个连续的卷积块首尾串联相接，所述卷积块包括大小为3×3且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分。

可以理解的是，本实施例需要先构建端到端的卷积神经网络模型SEU-Net，后续在所述肿瘤光声仿真数据集和所述实验数据集的基础上，训练所述SEU-Net，得到训练好的肿瘤光声图像重建模型。

S3、采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型。

可以理解的是，本实施例采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，能够得到训练好的肿瘤光声图像重建模型。

S4、将目标肿瘤的初始光声信号图输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像。

在具体应用中，本实施例通过仿真或光声实验获得目标肿瘤的初始光声信号图，通过预处理将目标肿瘤的初始光声信号图的分辨率转换为预设图像分辨率后，输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像。具体地，所述预设图像分辨率可以为256×256。

可以理解的是，深度学习中的卷积神经网络在图像处理方面具有快速、灵活、一劳永逸的特点。随着数据集的优化，网络的泛化性会不断提升，且训练好的网络，运行时间往往为毫秒级，这使得深度学习在光声实时成像方面有着很可观的应用潜力。本实施例是先通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，并通过光声实验补充实验数据集，然后构建端到端的卷积神经网络模型SEU-Net，采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型，进而将目标肿瘤的初始光声信号图输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像，快速实现肿瘤光声图像的重建。

本实施例提供的基于深度学习的肿瘤光声图像快速重建方法，通过获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，通过光声实验补充实验数据集，构建端到端的卷积神经网络模型SEU-Net，采用预训练策略及有监督的学习方法在肿瘤光声仿真数据集和实验数据集上递进式地训练SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型，将目标肿瘤的初始光声信号图输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像，由此，能够实现稀疏采样下肿瘤初始光声信号图到高质量光声图像的快速重建，在保证质量的同时，既缓解了传统迭代重建算法对于光声信号质量的严格要求，又可显著缩减设备及时间成本。

进一步地，在上述实施例的基础上，所述步骤S1中的“通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集”，可以包括：

以预设图像分辨率，依据光声成像原理，在k-Wave中模拟环阵、阵列式探头稀疏采样过程；

在所述环阵、阵列式探头的扫描区域内，随机生成预设数量个肿瘤仿体，随机设定所述肿瘤仿体的形状、大小、位置、光吸收系数及信噪比，每随机生成一组肿瘤仿体，通过k-Wave保存当前肿瘤仿体的初始光声信号图、对应的经迭代重建算法重建后的含有严重欠采样伪影的低质量光声图像、对应的高质量标签图像，作为当前肿瘤仿体的数据；

将随机生成的所有肿瘤仿体的数据组成肿瘤光声仿真数据集，将所述肿瘤光声仿真数据集中的数据按预设比例分为训练集和测试集。

在具体应用中，所述预设图像分辨率为256×256。

这样，本实施例能够实现通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集。

进一步地，所述步骤S1中的“通过光声实验补充实验数据集”，可以包括：

获取以琼脂仿体及种有肿瘤的小鼠作为实验对象进行阵列探头实验、所保存的初始光声信号图和经迭代重建算法重建后的低质量光声图像，以及获取以所述琼脂仿体及种有肿瘤的小鼠作为实验对象进行环阵探头实验、所保存的经迭代重建算法重建后的图像，作为高质量标签图像；

将阵列探头实验所保存的初始光声信号图、低质量光声图像和环阵探头实验所保存的高质量标签图像组成实验数据集，

将所述实验数据集中的数据按预设比例补充所述训练集和所述测试集中。

可以理解的是，后续可以利用所述训练集，采用预训练策略、以有监督的学习方法训练所述SEU-Net，利用所述测试集测试所述SEU-Net。

这样，本实施例能够实现通过光声实验补充实验数据集。

进一步地，在上述实施例的基础上，所述步骤S3，可以包括：

以所述肿瘤光声仿真数据集和所述实验数据集中的低质量光声图像作为网络输入，以所述肿瘤光声仿真数据集和所述实验数据集中对应的高质量标签图像作为期望输出，采用预训练策略、以有监督的学习方法训练、测试所述SEU-Net，得到预训练模型；

基于所述预训练模型，以所述肿瘤光声仿真数据集和所述实验数据集中的初始光声信号图作为网络输入，以所述肿瘤光声仿真数据集和所述实验数据集中对应的高质量标签图像作为期望输出，采用预训练策略、以有监督的学习方法进一步训练、测试所述SEU-Net，得到训练好的肿瘤光声图像重建模型。

具体地，所述有监督的学习方法，可以包括：

基于反向传播算法，批量输入所述训练集，以L1范数和正则化项损失作为损失函数，同时引入峰值信噪比、均方根误差、结构相似度三项指标共同评价训练效果；

在训练过程中实时打印各项指标，采用训练早停的方式选择效果相对较好的几组网络参数作为暂定模型；

对于所述暂定模型，批量输入所述测试集，以所述损失函数、峰值信噪比、均方根误差、结构相似度共同作为评价指标，在所述测试集上测试所述暂定模型的效果，在尽可能降低过拟合程度的前提下，选择效果最佳的一组网络参数作为最终模型。

这样，本实施例能够实现采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型。

本实施例提供的基于深度学习的肿瘤光声图像快速重建方法，能够实现稀疏采样下肿瘤初始光声信号图到高质量光声图像的快速重建，在保证质量的同时，既缓解了传统迭代重建算法对于光声信号质量的严格要求，又可显著缩减设备及时间成本。

图4示出了本发明一实施例提供的一种基于深度学习的肿瘤光声图像快速重建装置的结构示意图，如图4所示，本实施例的基于深度学习的肿瘤光声图像快速重建装置，包括：获取模块41、构建模块42、训练模块43和输出模块44；其中：

所述获取模块41，用于通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，并通过光声实验补充实验数据集；

所述构建模块42，用于构建端到端的卷积神经网络模型SEU-Net；

所述训练模块43，用于采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型；

所述输出模块44，用于将目标肿瘤的初始光声信号图输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像。

具体地，所述获取模块41通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，并通过光声实验补充实验数据集；所述构建模块42构建端到端的卷积神经网络模型SEU-Net；所述训练模块43采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型；所述输出模块44将目标肿瘤的初始光声信号图输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像。

需要说明的是，本实施例所述基于深度学习的肿瘤光声图像快速重建装置应用于处理器。

在具体应用中，举例来说，本实施例所述迭代重建算法可以包括滤波反投影算法等，本实施例并不对其进行限制。

在具体应用中，本实施例所构建的端到端的卷积神经网络模型SEU-Net，可以包括：左侧的特征提取模块、右侧的特征重组模块、中间的压缩激发模块(即SE模块)和残差输出模块，可以参考图2；

所述特征提取模块，由4组特征提取子单元串联构成，所述特征提取子单元包括两个连续的卷积块和一个大小为2×2且步长为2的最大池化层，所述特征提取子单元中的卷积块包括大小为3×3且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分，每经过一个所述特征提取子单元，特征图尺寸减半，深度加倍；

所述特征重组模块，由4组特征重组子单元串联构成，所述特征重组子单元包括一个大小为2×2且步长为2的反卷积层和两个连续的卷积块，所述特征重组子单元中的卷积块包括大小为3×3且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分，每经过一个所述特征重组子单元，特征图尺寸加倍，深度减半；

所述压缩激发模块，可以参考图3，以所述特征提取子单元的第二个卷积块的输出特征图作为输入，首先通过全局平均池化压缩为一维向量，然后依次通过全连接层1降维、ReLU非线性激活、全连接层2升维、Sigmoid非线性激活，获得一组与输入的特征图深度相同的一维概率向量，所述概率向量用于表征输入的特征图的重要性，最后，所述概率向量与输入的特征图对应相乘，经过一个卷积块进行跨通道信息整合后，与对应的所述特征重组子单元的反卷积层的输出在深度维度上进行拼接，其中所述压缩激发模块中的卷积块包括大小为1×1且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分；

所述残差输出模块，将最后一个所述特征重组子单元的输出作为所述压缩激发模块的输入，通过所述压缩激发模块中的卷积块降维，得到与所述SEU-Net输入图像同维度的矩阵，然后在所述SEU-Net输入输出之间引入残差连接，将所述SEU-Net的输入图像和输出图像相加作为所述SEU-Net最终输出的结果；

其中，最后一个所述特征提取模块与第一个所述特征重组模块，除了通过所述压缩激发模块相互连接，还通过两个连续的卷积块首尾串联相接，所述卷积块包括大小为3×3且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分。

可以理解的是，本实施例需要先构建端到端的卷积神经网络模型SEU-Net，后续在所述肿瘤光声仿真数据集和所述实验数据集的基础上，训练所述SEU-Net，得到训练好的肿瘤光声图像重建模型。

在具体应用中，所述输出模块44可以通过仿真或光声实验获得目标肿瘤的初始光声信号图，通过预处理将目标肿瘤的初始光声信号图的分辨率转换为预设图像分辨率后，输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像。具体地，所述预设图像分辨率可以为256×256。

可以理解的是，深度学习中的卷积神经网络在图像处理方面具有快速、灵活、一劳永逸的特点。随着数据集的优化，网络的泛化性会不断提升，且训练好的网络，运行时间往往为毫秒级，这使得深度学习在光声实时成像方面有着很可观的应用潜力。本实施例是先通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，并通过光声实验补充实验数据集，然后构建端到端的卷积神经网络模型SEU-Net，采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型，进而将目标肿瘤的初始光声信号图输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像，快速实现肿瘤光声图像的重建。

本实施例提供的基于深度学习的肿瘤光声图像快速重建装置，能够实现稀疏采样下肿瘤初始光声信号图到高质量光声图像的快速重建，在保证质量的同时，既缓解了传统迭代重建算法对于光声信号质量的严格要求，又可显著缩减设备及时间成本。

进一步地，在上述实施例的基础上，所述获取模块41中的“通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集”，可以包括：

以预设图像分辨率，依据光声成像原理，在k-Wave中模拟环阵、阵列式探头稀疏采样过程；

在所述环阵、阵列式探头的扫描区域内，随机生成预设数量个肿瘤仿体，随机设定所述肿瘤仿体的形状、大小、位置、光吸收系数及信噪比，每随机生成一组肿瘤仿体，通过k-Wave保存当前肿瘤仿体的初始光声信号图、对应的经迭代重建算法重建后的含有严重欠采样伪影的低质量光声图像、对应的高质量标签图像，作为当前肿瘤仿体的数据；

将随机生成的所有肿瘤仿体的数据组成肿瘤光声仿真数据集，将所述肿瘤光声仿真数据集中的数据按预设比例分为训练集和测试集。

在具体应用中，所述预设图像分辨率为256×256。

这样，本实施例能够实现通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集。

进一步地，所述获取模块41中的“通过光声实验补充实验数据集”，可以包括：

获取以琼脂仿体及种有肿瘤的小鼠作为实验对象进行阵列探头实验、所保存的初始光声信号图和经迭代重建算法重建后的低质量光声图像，以及获取以所述琼脂仿体及种有肿瘤的小鼠作为实验对象进行环阵探头实验、所保存的经迭代重建算法重建后的图像，作为高质量标签图像；

将阵列探头实验所保存的初始光声信号图、低质量光声图像和环阵探头实验所保存的高质量标签图像组成实验数据集，

将所述实验数据集中的数据按预设比例补充到所述训练集和所述测试集中。

可以理解的是，后续可以利用所述训练集，采用预训练策略、以有监督的学习方法训练所述SEU-Net，利用所述测试集测试所述SEU-Net。

这样，本实施例能够实现通过光声实验补充实验数据集。

进一步地，在上述实施例的基础上，所述训练模块43，可具体用于

以所述肿瘤光声仿真数据集和所述实验数据集中的低质量光声图像作为网络输入，以所述肿瘤光声仿真数据集和所述实验数据集中对应的高质量标签图像作为期望输出，采用预训练策略、以有监督的学习方法训练、测试所述SEU-Net，得到预训练模型；

基于所述预训练模型，以所述肿瘤光声仿真数据集和所述实验数据集中中的初始光声信号图作为网络输入，以所述肿瘤光声仿真数据集和所述实验数据集中对应的高质量标签图像作为期望输出，采用预训练策略、以有监督的学习方法进一步训练、测试所述SEU-Net，得到训练好的肿瘤光声图像重建模型。

具体地，所述有监督的学习方法策略，可以包括：

基于反向传播算法，批量输入所述训练集，以L1范数和正则化项损失作为损失函数，同时引入峰值信噪比、均方根误差、结构相似度三项指标共同评价训练效果；

在训练过程中实时打印各项指标，采用训练早停的方式选择效果相对较好的网络参数作为暂定模型；

对于所述暂定模型，批量输入所述测试集，以所述损失函数、峰值信噪比、均方根误差、结构相似度共同作为评价指标，在所述测试集上测试所述暂定模型的效果，在尽可能降低过拟合程度的前提下，选择效果最佳的一组网络参数作为最终模型。

这样，本实施例能够实现采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型。

本实施例提供的基于深度学习的肿瘤光声图像快速重建装置，能够实现稀疏采样下肿瘤初始光声信号图到高质量光声图像的快速重建，在保证质量的同时，既缓解了传统迭代重建算法对于光声信号质量的严格要求，又可显著缩减设备及时间成本。

本发明实施例提供的基于深度学习的肿瘤光声图像快速重建装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图5示出了本发明一实施例提供的一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括存储器502、处理器501、总线503及存储在存储器502上并可在处理器501上运行的计算机程序，其中，处理器501，存储器502通过总线503完成相互间的通信。所述处理器501执行所述计算机程序时实现上述方法的步骤，例如包括：通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，并通过光声实验补充实验数据集；构建端到端的卷积神经网络模型SEU-Net；采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型；将目标肿瘤的初始光声信号图输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像。

本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤，例如包括：通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，并通过光声实验补充实验数据集；构建端到端的卷积神经网络模型SEU-Net；采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型；将目标肿瘤的初始光声信号图输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的肿瘤光声图像快速重建方法，其特征在于，包括：

通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，并通过光声实验补充实验数据集；

构建端到端的卷积神经网络模型SEU-Net；

采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型；

将目标肿瘤的初始光声信号图输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像。

2.根据权利要求1所述的基于深度学习的肿瘤光声图像快速重建方法，其特征在于，所述获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，包括：

以预设图像分辨率，依据光声成像原理，在k-Wave中模拟环阵、阵列式探头稀疏采样过程；

在所述环阵、阵列式探头的扫描区域内，随机生成预设数量个肿瘤仿体，随机设定所述肿瘤仿体的形状、大小、位置、光吸收系数及信噪比，每随机生成一组肿瘤仿体，通过k-Wave保存当前肿瘤仿体的初始光声信号图、对应的经迭代重建算法重建后的含有严重欠采样伪影的低质量光声图像、对应的高质量标签图像，作为当前肿瘤仿体的数据；

将随机生成的所有肿瘤仿体的数据组成肿瘤光声仿真数据集，将所述肿瘤光声仿真数据集中的数据按预设比例分为训练集和测试集。

3.根据权利要求2所述的基于深度学习的肿瘤光声图像快速重建方法，其特征在于，所述通过光声实验补充实验数据集，包括：

获取以琼脂仿体及种有肿瘤的小鼠作为实验对象进行阵列探头实验、所保存的初始光声信号图和经迭代重建算法重建后的低质量光声图像，以及获取以所述琼脂仿体及种有肿瘤的小鼠作为实验对象进行环阵探头实验、所保存的经迭代重建算法重建后的图像，作为高质量标签图像；

将阵列探头实验所保存的初始光声信号图、低质量光声图像和环阵探头实验所保存的高质量标签图像组成实验数据集，

将所述实验数据集中的数据按预设比例补充到所述训练集和所述测试集中。

4.根据权利要求1所述的基于深度学习的肿瘤光声图像快速重建方法，其特征在于，所构建的端到端的卷积神经网络模型SEU-Net，包括：左侧的特征提取模块、右侧的特征重组模块、中间的压缩激发模块和残差输出模块；

所述特征提取模块，由4组特征提取子单元串联构成，所述特征提取子单元包括两个连续的卷积块和一个大小为2×2且步长为2的最大池化层，所述特征提取子单元中的卷积块包括大小为3×3且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分，每经过一个所述特征提取子单元，特征图尺寸减半，深度加倍；

所述特征重组模块，由4组特征重组子单元串联构成，所述特征重组子单元包括一个大小为2×2且步长为2的反卷积层和两个连续的卷积块，所述特征重组子单元中的卷积块包括大小为3×3且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分，每经过一个所述特征重组子单元，特征图尺寸加倍，深度减半；

所述压缩激发模块，以所述特征提取子单元的第二个卷积块的输出特征图作为输入，首先通过全局平均池化压缩为一维向量，然后依次通过全连接层1降维、ReLU非线性激活、全连接层2升维、Sigmoid非线性激活，获得一组与输入的特征图深度相同的一维概率向量，所述概率向量用于表征输入的特征图的重要性，最后，所述概率向量与输入的特征图对应相乘，经过一个卷积块进行跨通道信息整合后，与对应的所述特征重组子单元的反卷积层的输出在深度维度上进行拼接，其中所述压缩激发模块中的卷积块包括大小为1×1且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分；

所述残差输出模块，将最后一个所述特征重组子单元的输出作为所述压缩激发模块的输入，通过所述压缩激发模块中的卷积块降维，得到与所述SEU-Net输入图像同维度的矩阵，然后在所述SEU-Net输入输出之间引入残差连接，将所述SEU-Net的输入图像和输出图像相加作为所述SEU-Net最终输出的结果；

其中，最后一个所述特征提取模块与第一个所述特征重组模块，除了通过所述压缩激发模块相互连接，还通过两个连续的卷积块首尾串联相接，所述卷积块包括大小为3×3且步长为1的卷积层、批标准化层、Leaky ReLU激活函数三部分。

5.根据权利要求2所述的基于深度学习的肿瘤光声图像快速重建方法，其特征在于，所述采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型，包括：

以所述肿瘤光声仿真数据集和所述实验数据集中的低质量光声图像作为网络输入，以所述肿瘤光声仿真数据集和所述实验数据集中对应的高质量标签图像作为期望输出，采用预训练策略、以有监督的学习方法训练、测试所述SEU-Net，得到预训练模型；

基于所述预训练模型，以所述肿瘤光声仿真数据集和所述实验数据集中中的初始光声信号图作为网络输入，以所述肿瘤光声仿真数据集和所述实验数据集中对应的高质量标签图像作为期望输出，采用预训练策略、以有监督的学习方法进一步训练、测试所述SEU-Net，得到训练好的肿瘤光声图像重建模型。

6.根据权利要求5所述的基于深度学习的肿瘤光声图像快速重建方法，其特征在于，所述有监督的学习方法，包括：

基于反向传播算法，批量输入所述训练集，以L1范数和正则化项损失作为损失函数，同时引入峰值信噪比、均方根误差、结构相似度三项指标共同评价训练效果；

在训练过程中实时打印各项指标，采用训练早停的方式选择效果相对较好的几组网络参数作为暂定模型；

对于所述暂定模型，批量输入所述测试集，以所述损失函数、峰值信噪比、均方根误差、结构相似度共同作为评价指标，在所述测试集上测试所述暂定模型的效果，在尽可能降低过拟合程度的前提下，选择效果最佳的一组网络参数作为最终模型。

7.根据权利要求1所述的基于深度学习的肿瘤光声图像快速重建方法，其特征在于，所述将目标肿瘤的初始光声信号图输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像，包括：

通过仿真或光声实验获得目标肿瘤的初始光声信号图，通过预处理将目标肿瘤的初始光声信号图的分辨率转换为预设图像分辨率后，输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像。

8.一种基于深度学习的肿瘤光声图像重建快速装置，其特征在于，包括：

获取模块，用于通过k-Wave工具箱和迭代重建算法，获取稀疏采样下，不同数量、形状、大小、位置、光吸收系数及信噪比的肿瘤光声仿真数据集，并通过光声实验补充实验数据集；

构建模块，用于构建端到端的卷积神经网络模型SEU-Net；

训练模块，用于采用预训练策略及有监督的学习方法，在所述肿瘤光声仿真数据集和所述实验数据集上递进式地训练所构建的SEU-Net，依次实现迭代重建算法重建图像到高质量标签图像、初始光声信号图到高质量标签图像的重建任务，得到训练好的肿瘤光声图像重建模型；

输出模块，用于将目标肿瘤的初始光声信号图输入训练好的肿瘤光声图像重建模型，输出重建后的目标肿瘤的高质量图像，作为重建后的高质量肿瘤光声图像。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。

Images