CN111127320A - 基于深度学习的光声图像超分辨重建方法及装置 - Google Patents

基于深度学习的光声图像超分辨重建方法及装置 Download PDF

Info

Publication number
CN111127320A
CN111127320A CN201911341072.1A CN201911341072A CN111127320A CN 111127320 A CN111127320 A CN 111127320A CN 201911341072 A CN201911341072 A CN 201911341072A CN 111127320 A CN111127320 A CN 111127320A
Authority
CN
China
Prior art keywords
resolution
image
super
module
multiplied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911341072.1A
Other languages
English (en)
Other versions
CN111127320B (zh
Inventor
孙明健
沈毅
刘广兴
刘子超
马立勇
屈亚威
刘旸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology Weihai
Original Assignee
Harbin Institute of Technology Weihai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology Weihai filed Critical Harbin Institute of Technology Weihai
Priority to CN201911341072.1A priority Critical patent/CN111127320B/zh
Publication of CN111127320A publication Critical patent/CN111127320A/zh
Application granted granted Critical
Publication of CN111127320B publication Critical patent/CN111127320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明实施例提供一种基于深度学习的光声图像超分辨重建方法及装置，其中，方法包括：通过k‑Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集，并通过光声实验和图像下采样算法补充实验数据集；构建超分辨率网络SE‑EDSR；采用预训练策略在仿真数据集和实验数据集上递进式地训练SE‑EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型；将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像。可实现基于深度学习的光声图像超分辨重建，显著降低传统重建算法对光声信号质量的严苛要求，有效节省信号采集带来的经济成本及时间成本。

Description

基于深度学习的光声图像超分辨重建方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于深度学习的光声图像超分辨重建方法及装置。
背景技术
光声成像(Photoacoustic Imaging，PAI)是一种新兴的医学影像技术。光声成像融合了超声成像和光学成像的优点，凭借着高分辨、高对比、深穿透等成像特点，能够实现从器官到细胞器级别的跨尺度成像。光声成像的工作原理为：生物组织接受一定面积的激光照射后，根据组织各部分特性的不同会形成不同的光吸收分布，吸光受热后组织发生微小形变并形成初始声场——光声信号，由超声换能器采集并经算法重建可获得生物组织的光吸收分布图——光声图像，进而获取组织的结构特性信息。
目前光声成像的重建算法主要分为三类：(1)解析重建算法，作为光声成像中兴起最早的算法，其通过光声图像的数学物理解析式实现图像重建。该算法具有过程简洁、成像速度快等优点，但是数据依赖性强，极易产生重建伪影。(2)数值重建算法，其以光声成像的方程为依据，直接通过求解数学方程重建图像，但是没有考虑光声信号产生、传播和接收的物理意义及其在方程中的体现，极易受噪声干扰。(3)迭代重建算法，其通过对光声图像到光声信号的过程建模，首先设置一个初始光声图像，通过建立的前向模型计算模拟的光声信号，然后与真实光声信号求差，最后通过迭代不断调整光声图像，直至光声信号差值最小。虽然迭代的时间成本以及算法本身对信号质量的要求都很高，但是相比更好的重建效果，仍使其成为目前最常用的重建算法。
光声成像的分辨率，即所能检测出的目标的最小尺寸，首先取决于光声信号的质量，其次是算法性能等。分辨率越高，则光声图像所能提供的生物组织或细胞的结构和生理信息越丰富。若想获得高分辨率的光声图像，最理想的方式就是采用大量的超声换能器进行全角度覆盖式的高速采样。然而，现实中由于光声信号有限采集角度的必然限制，同时出于设备成本、数据存取、成像速度等因素的考虑，普遍采用有限角度下稀疏采样的采集模式。因此，研究人员大多寄希望于算法性能的优化。虽然迭代重建算法仍是主流选择，但是迭代的时间成本、信号的稀疏性、噪音的干扰以及算法只针对特定扫描形式的局限性，使得实际效果往往不尽如人意，阻碍了临床转化。因此，亟需一种对于光声信号质量要求较低的高分辨重建算法，或者能够作为传统重建算法的补充，来缓解甚至消除上述制约。
发明内容
针对现有技术存在的问题，本发明实施例提供一种基于深度学习的光声图像超分辨重建方法及装置。
本发明实施例提供一种基于深度学习的光声图像超分辨重建方法，包括：
通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集，并通过光声实验和图像下采样算法补充实验数据集；
构建超分辨率网络SE-EDSR；
采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型；
将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像。
可选地，所述通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集，包括：
任意选择一个初始图像分辨率，然后选择初始图像分辨率×2、×3、×4的三种高分辨率；
在所选择的四种分辨率内，使用k-Wave中的功能函数分别设计形状、大小、数量、位置、光吸收系数均为随机值的仿体目标，并设定随机的信噪比模拟实际中的噪音干扰；
利用迭代重建算法，基于光声成像原理，在所选择的四种分辨率内，每生成一组仿体目标，分别进行稀疏采样仿真实验，通过k-Wave保存经所述迭代重建算法重建后的分辨率最低的低质量伪影图像以及对应的×2、×3、×4的高分辨高质量标签图像，得到四种分辨率的仿真图像；
对于所得到的四种分辨率的仿真图像，分辨率最低的称为输入图像，按照(输入图像，×2的仿真标签图像)、(输入图像，×3的仿真标签图像)、(输入图像，×4的仿真标签图像)的组合方式，构成适用于不同超分辨重建任务的三种仿真数据集；
将所述三种仿真数据集分别按预设比例分为训练集和测试集两部分。
可选地，所述通过光声实验和图像下采样算法补充实验数据集，包括：
用仿体和小鼠进行光声成像实验，采用与仿真数据集相同的迭代重建算法进行光声图像重建，保证其分辨率为12的倍数且不低于预设分辨率，保存光声图像重建后结构和生理信息显示清晰的图像作为高分辨率标签图像；
采用图像下采样算法，对所述高分辨率标签图像分别进行/2、/3、/4的下采样，得到四种分辨率的实验图像；
对于上述四种分辨率的实验图像，同样按照(输入图像，×2的实验标签图像)、(输入图像，×3的实验标签图像)、(输入图像，×4的实验标签图像)的组合方式，构成适用于不同超分辨重建任务的三种实验数据集；
将所述三种实验数据集分别按预设比例补充到所述训练集和所述测试集中。
可选地，所述超分辨率网络SE-EDSR由一个特征提取模组和一个上采样模组构成；
其中，所述特征提取模组由首尾端的卷积模块、中间的32个SE-ResNet模块以及一条残差连接共同组成；所述特征提取模组中的卷积模块由大小为3×3、步长为1的卷积层和ReLU激活函数组成；所述SE-ResNet模块由简化的ResNet模块和SE模块组成；
其中，所述上采样模组有三种结构，分别对应×2、×3、×4三种分辨率放大倍数，且每种结构均由预设数量的卷积模块和含有上采样因子r的重组模块组成。
可选地，所述简化的ResNet模块采用大小为3×3、步长为1的卷积层，对输入特征图依次进行卷积、ReLU非线性激活、卷积，然后将结果与输入特征图相加作为本模块输出；
所述SE模块包含Squeeze和Excitation两个环节，Squeeze环节通过全局平均池化将输入特征图压缩成一维向量，然后Excitation环节依次通过全连接层a降维、ReLU非线性激活、全连接层b升维、Sigmoid非线性激活，将Squeeze环节输出的一维向量转化成一维权重向量，用于表征SE模块输入特征图各通道的重要性，最后将权重向量与SE模块的输入特征图对应相乘，分配权重；
所述SE-ResNet模块中，输入特征图首先经过简化的ResNet模块进一步提取特征，然后通过SE模块对提取到的特征的重要性分配权重，所得结果再与SE-ResNet模块的输入相加作为最终的输出结果，SE-ResNet模块的输入输出的维度相同，所述特征提取模组的输出结果作为所述上采样模组的输入；
所述上采样模组根据需要放大的倍数分为两类；其中，分辨率放大2或3倍的上采样模组对应：卷积模块+重组模块+卷积模块的结构，其中重组模块中r＝2或3；分辨率放大4倍的上采样模组对应：卷积模块+重组模块+卷积模块+重组模块+卷积模块的结构，其中重组模块中r＝2；
所述上采样模组中的卷积模块均由大小为3×3、步长为1的卷积层和ReLU激活函数组成，用于特征提取及通道数调整；所述上采样模组中的重组模块由三个连续的卷积模块和一个pixel shuffle模块组成，所述三个连续的卷积模块用于特征提取并将通道数扩大r2倍，pixel shuffle模块采用周期筛选的方法减小通道数并使分辨率×r。
可选地，所述采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型，包括：
以所述仿真数据集和所述实验数据集中分辨率最低的图像作为网络输入，相对应的×2、×3、×4的高分辨率图像作为递进式的期望输出，采用有监督的学习方法，首先在训练集上训练SE-EDSR，然后在测试集上测试网络，得到效果最佳的网络模型；其中，首先训练SE-EDSR实现×2的超分辨重建，然后以此作为预训练模型，进一步训练SE-EDSR实现×3的超分辨重建，最后在新的预训练模型上进一步训练SE-EDSR实现×4的超分辨重建，得到最终的光声图像×4超分辨重建网络模型，其中放大倍数由r决定；
其中，在训练过程中，通过数据增强方式，增加数据的丰富性；对于训练集和测试集，将输入的低分辨伪影图像和高分辨标签图像做相对应的切片处理，得到多个预设像素的图像块patch；
每次都向网络随机输入一定批量的上述patch，采用反向传播算法更新网络参数，以L1范数和正则化损失作为总的损失函数，同时通过峰值信噪比、均方根误差、结构相似度三项指标客观全面地评价网络训练效果；
训练过程实时记录损失函数变化，采用早停的方法选择效果相对最好的网络参数作为暂定模型；
对所述暂定模型，随机输入一定批量的测试集patch，以L1范数、峰值信噪比、均方根误差、结构相似度四项指标评价暂定模型的效果，在尽可能降低过拟合程度的前提下，选择出最佳的网络参数作为最终模型。
可选地，所述将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像，包括：
通过仿真或光声实验获得新的低质量、低分辨的目标光声图像作为训练好的光声图像×4超分辨重建模型的输入；
通过训练好的光声图像×4超分辨重建模型中的切片预处理，将输入图像分割成具有重叠关系的多个patch，对每个patch分别进行重建；
将输出的×4后的patch进行拼接，包括：按照输入patch的位置关系，将对应的输出patch重叠平铺，并将两个相邻patch间重叠的部分各自舍弃一半，最终得到一张完整的×4高分辨光声图像。
本发明实施例提供一种基于深度学习的光声图像超分辨重建装置，包括：
制备模块，用于通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集，并通过光声实验和图像下采样算法补充实验数据集；
构建模块，用于构建超分辨率网络SE-EDSR；
训练模块，用于采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型；
输出模块，用于将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像。
本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述方法的步骤。
本发明实施例提供的基于深度学习的光声图像超分辨重建方法及装置，通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集，并通过光声实验和图像下采样算法补充实验数据集，构建超分辨率网络SE-EDSR，采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型，将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像，由此，能够实现基于深度学习的光声图像超分辨重建，显著降低传统重建算法对光声信号质量的严苛要求，有效节省信号采集带来的经济成本及时间成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种基于深度学习的光声图像超分辨重建方法的流程示意图；
图2为本发明实施例所构建的超分辨率网络SE-EDSR的结构示意图；
图3为本发明实施例提供的SE-ResNet模块的结构示意图；
图4为本发明实施例提供的重组模块的结构示意图；
图5为本发明一实施例提供的一种基于深度学习的光声图像超分辨重建装置的结构示意图；
图6为本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明一实施例提供的一种基于深度学习的光声图像超分辨重建方法的流程示意图，如图1所示，本实施例的基于深度学习的光声图像超分辨重建方法，包括：
S1、通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集，并通过光声实验和图像下采样算法补充实验数据集。
需要说明的是，本实施例所述基于深度学习的光声图像超分辨重建方法的执行主体为处理器。
在具体应用中，举例来说，所述迭代重建算法可以包括滤波反投影算法等，本实施例并不对其进行限制。
可以理解的是，本实施例需要先通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集，并通过光声实验和图像下采样算法补充实验数据集，以便后续在所述光声图像超分辨重建仿真数据集和所述实验数据集的基础上，训练所构建的超分辨率网络SE-EDSR。
S2、构建超分辨率网络SE-EDSR。
在具体应用中，本实施例所述超分辨率网络SE-EDSR由一个特征提取模组和一个上采样模组构成；
其中，所述特征提取模组由首尾端的卷积模块、中间的32个SE-ResNet模块以及一条残差连接共同组成；所述特征提取模组中的卷积模块由大小为3×3、步长为1的卷积层和ReLU激活函数组成；所述SE-ResNet模块由简化的ResNet模块和SE模块组成，可参考图3。
具体地，所述简化的ResNet模块采用大小为3×3、步长为1的卷积层，对输入特征图依次进行卷积、ReLU非线性激活、卷积，然后将结果与输入特征图相加作为本模块输出；
所述SE模块包含Squeeze和Excitation两个环节，Squeeze环节通过全局平均池化将输入特征图压缩成一维向量，然后Excitation环节依次通过全连接层a降维、ReLU非线性激活、全连接层b升维、Sigmoid非线性激活，将Squeeze环节输出的一维向量转化成一维权重向量，用于表征SE模块输入特征图各通道的重要性，最后将权重向量与SE模块的输入特征图对应相乘，分配权重；
所述SE-ResNet模块中，输入特征图首先经过简化的ResNet模块进一步提取特征，然后通过SE模块对提取到的特征的重要性分配权重，所得结果再与SE-ResNet模块的输入相加作为最终的输出结果，SE-ResNet模块的输入输出的维度相同，所述特征提取模组的输出结果作为所述上采样模组的输入。
在经过特征提取模组后，SE-EDSR的输入通道数将统一调整为用户指定的C个通道，C为正整数，如256，以此作为上采样模组的输入。
其中，可参考图2，所述上采样模组有三种结构，分别对应×2、×3、×4三种分辨率放大倍数，且每种结构均由预设数量的卷积模块和含有上采样因子r的重组模块组成。
具体地，所述上采样模组根据需要放大的倍数可分为两类；
其中，分辨率放大2或3倍的上采样模组对应：卷积模块+重组模块+卷积模块的结构，其中重组模块中r＝2或3；分辨率放大4倍的上采样模组对应：卷积模块+重组模块+卷积模块+重组模块+卷积模块的结构，其中重组模块中r＝2；
所述上采样模组中的卷积模块均由大小为3×3、步长为1的卷积层和ReLU激活函数组成，用于特征提取及通道数调整；所述上采样模组中的重组模块由三个连续的卷积模块和一个pixel shuffle模块组成，所述三个连续的卷积模块用于特征提取并将通道数扩大r2倍，pixel shuffle模块采用周期筛选的方法减小通道数并使分辨率×r。
具体地，三个连续的卷积模块最终将输入特征图的每个通道都扩增为原来的r2倍，即假设输入特征图深度为C，则经过三个连续的卷积模块后输出通道数为r2*C；
pixel shuffle模块如图4所示，假设重组模块的输入为H(高)×W(宽)×1(多通道同理)，在经三个连续的卷积模块后，得到H×W×(r2*1)维度的特征图，显然这r2个通道的特征图全部来自于重组模块输入特征图的同一个通道；在上述r2个通道的特征图中，分别选择r2张特征图中相同位置的一个像素，以此作为遍历一次，将得到的r2个像素组成r×r×1维度的像素块；遍历H×W次即可遍历完所有像素点，得到H×W个r×r×1维度的像素块，按照所述像素点原来的位置关系拼接像素块，即可得到(r*H)×(r*W)×1维度的输出特征图，与重组模块H×W×1的输入相比，完成了×r的分辨率放大。
可以推断，H×W×C的输入在经过上采样因子为r的上采样模组后，将得到(r*H)×(r*W)×3的超分辨输出，其中3表示RGB图像，这也就是SE-EDSR最终的输出结果。
可以理解的是，本实施例需要先构建超分辨率网络SE-EDSR，以便后续在所述仿真数据集和所述实验数据集上，训练所述SE-EDSR，得到训练好的光声图像×4超分辨重建模型。
S3、采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型。
可以理解的是，本实施例采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，能够得到最终的光声图像×4超分辨重建模型，以便后续将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像，实现基于深度学习的光声图像超分辨重建。
S4、将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像。
在具体应用中，通过仿真或光声实验获得新的低质量、低分辨的目标光声图像。本实施例在采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型之后，将低质量、低分辨率的目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像。
可以理解的是，本实施例通过深度学习中的超分辨重建网络，对经过迭代重建等算法重建后的含有欠采样伪影的低质量、低分辨图像进一步重建，扩大图像的分辨率，修复目标的结构及生理细节。作为一种光声图像迭代重建算法的后处理，在降低前述传统重建算法对光声信号质量要求的同时，为通过有限角度下的稀疏采样获取高分辨光声图像提供可能，节约信号采集的设备成本及时间成本。
本实施例提供的基于深度学习的光声图像超分辨重建方法，通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集，并通过光声实验和图像下采样算法补充实验数据集，构建超分辨率网络SE-EDSR，采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型，将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像，由此，能够实现基于深度学习的光声图像超分辨重建，可以显著提高光声图像的分辨率，显著降低传统重建算法对光声信号质量的严苛要求，有效节省信号采集带来的经济成本及时间成本。
进一步地，在上述实施例的基础上，所述步骤S1中的“通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集”，可以包括：
任意选择一个初始图像分辨率，然后选择初始图像分辨率×2、×3、×4的三种高分辨率(如288×288、432×432、576×576)；
在所选择的四种分辨率内，使用k-Wave中的功能函数分别设计形状、大小、数量、位置、光吸收系数均为随机值的仿体目标，并设定随机的信噪比模拟实际中的噪音干扰；
利用迭代重建算法，基于光声成像原理，在所选择的四种分辨率内，每生成一组仿体目标，分别进行稀疏采样仿真实验，通过k-Wave保存经所述迭代重建算法重建后的分辨率最低的低质量伪影图像以及对应的×2、×3、×4的高分辨高质量标签图像，得到四种分辨率的仿真图像；
对于所得到的四种分辨率的仿真图像，分辨率最低的称为输入图像，按照(输入图像，×2的仿真标签图像)、(输入图像，×3的仿真标签图像)、(输入图像，×4的仿真标签图像)的组合方式，构成适用于不同超分辨重建任务的三种仿真数据集，其中，输入图像为本发明神经网络的输入，其余三种仿真标签图像分别作为三种超分辨重建任务的期望输出；
将所述三种仿真数据集分别按预设比例分为训练集和测试集两部分。
举例来说，所述初始图像分辨率可以选择144×144，则初始图像分辨率×2、×3、×4的三种高分辨率分别为288×288、432×432和576×576。
这样，本实施例能够实现通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集。
进一步地，在上述实施例的基础上，所述步骤S1中的“通过光声实验和图像下采样算法补充实验数据集”，可以包括：
用仿体和小鼠进行光声成像实验，采用与仿真数据集相同的迭代重建算法进行光声图像重建，保证其分辨率为12的倍数且不低于预设分辨率(如96×96)，保存光声图像重建后结构和生理信息显示清晰的图像作为高分辨率标签图像；
采用图像下采样算法，对所述高分辨率标签图像分别进行/2、/3、/4的下采样，得到四种分辨率的实验图像；
对于上述四种分辨率的实验图像，同样按照(输入图像，×2的实验标签图像)、(输入图像，×3的实验标签图像)、(输入图像，×4的实验标签图像)的组合方式，构成适用于不同超分辨重建任务的三种实验数据集，显然，输入图像为本发明神经网络的输入，其余三种标签图像为期望输出；
将所述三种实验数据集分别按预设比例补充到所述训练集和所述测试集中。
在具体应用中，所述图像下采样算法，可以包括：平均池化算法和最大池化算法等，本实施例并不对其进行限制。
这样，本实施例能够实现通过光声实验和图像下采样算法补充实验数据集。
进一步地，在上述实施例的基础上，所述步骤S3，可以包括：
以所述仿真数据集和所述实验数据集中分辨率最低的图像作为网络输入，相对应的×2、×3、×4的高分辨率图像作为递进式的期望输出，采用有监督的学习方法，首先在训练集上训练SE-EDSR，然后在测试集上测试网络，得到效果最佳的网络模型；其中，首先训练SE-EDSR实现×2的超分辨重建，然后以此作为预训练模型，进一步训练SE-EDSR实现×3的超分辨重建，最后在新的预训练模型上进一步训练SE-EDSR实现×4的超分辨重建，得到最终的光声图像×4超分辨重建网络模型，其中放大倍数由r决定；
其中，在训练过程中，通过数据增强方式(如翻转、旋转等数据增强方式)，增加数据的丰富性；对于训练集和测试集，将输入的低分辨伪影图像和高分辨标签图像做相对应的切片处理，得到多个预设像素的图像块patch(以144×144的伪影图像输入为例，每隔12个像素点取24×24的图像块，即patch，相应的在×r的标签图像中每隔r*12个像素点取(r*24)×(r*24)的patch)；
每次都向网络随机输入一定批量的上述patch，采用反向传播算法更新网络参数，以L1范数和正则化损失作为总的损失函数，同时通过峰值信噪比、均方根误差、结构相似度三项指标客观全面地评价网络训练效果；
训练过程实时记录损失函数变化，采用早停的方法选择效果相对最好的网络参数作为暂定模型；
对所述暂定模型，随机输入一定批量的测试集patch，以L1范数、峰值信噪比、均方根误差、结构相似度四项指标评价暂定模型的效果，在尽可能降低过拟合程度的前提下，选择出最佳的网络参数作为最终模型。
这样，本实施例能够实现采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型。
进一步地，在上述实施例的基础上，所述步骤S4，可以包括：
通过仿真或光声实验获得新的低质量、低分辨的目标光声图像作为训练好的光声图像×4超分辨重建模型的输入；
通过训练好的光声图像×4超分辨重建模型中的切片预处理，将输入图像分割成具有重叠关系的多个patch，对每个patch分别进行重建；
将输出的×4后的patch进行拼接，包括：按照输入patch的位置关系，将对应的输出patch重叠平铺，并将两个相邻patch间重叠的部分各自舍弃一半，最终得到一张完整的×4高分辨光声图像。
这样，本实施例能够将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像。
可以理解的是，通过创新的仿真实验设计，用简单易得、成本低廉的仿真图像满足深度学习对于大量数据集的需求，同时通过复杂多变的形状设计等，提高仿真数据的逼真性及网络模型的实用性，最终针对递进式的超分辨重建任务获得三种仿真图像；通过光声实验与图像下采样方法制备超分辨实验图像，在进一步丰富数据集的同时，可显著提高网络的泛化性，使得网络模型对于真实数据同样适用，最终获得三种实验图像。
可以理解的是，本实施例将SE模块与EDSR超分辨网络相结合，使网络提取的特征得到更加科学的利用；最终×4的超分辨重建，可以显著提高光声图像的分辨率。本实施例采用递进式的训练策略，可以有效降低网络的收敛难度；采用数据增强、将输入图像划分成patch等学习策略，可使数据集呈几十倍的增长，有效弥补光声实验图像稀缺的短板；采用重叠平铺策略，有效消除patch拼接的痕迹，提高边缘平滑度。
可以理解的是，本实施例创新性的将深度学习超分辨技术与光声图像重建相结合，拓宽了深度学习技术的应用领域，同时为光声图像高分辨重建提供了新的方法；从数据集制备、网络结构设计、网络训练到最终×4的超分辨重建模型，本实施例通过简单易得、成本低廉的仿真图像以及少量光声实验图像，可以显著降低迭代重建算法对于光声信号质量的严苛要求，有效节省昂贵的信号采集设备成本、漫长的信号采集及对于大量信号进行重建所需的时间成本，对于光声成像技术的临床转化具有一定的促进作用；×4的分辨率放大，对于进一步提高光声成像技术的检测精度具有重要意义，将提供巨大的科研价值。
本实施例提供的基于深度学习的光声图像超分辨重建方法，能够实现基于深度学习的光声图像超分辨重建，可以显著提高光声图像的分辨率，显著降低传统重建算法对光声信号质量的严苛要求，有效节省信号采集带来的经济成本及时间成本。
基于相同的发明构思，本发明另一实施例提供了一种基于深度学习的光声图像超分辨重建装置的结构示意图，参见图5，本实施例的基于深度学习的光声图像超分辨重建装置，包括：制备模块51、构建模块52、训练模块53和输出模块54；其中：
所述制备模块51，用于通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集，并通过光声实验和图像下采样算法补充实验数据集；
所述构建模块52，用于构建超分辨率网络SE-EDSR；
所述训练模块53，用于采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型；
所述输出模块54，用于将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像。
具体地，所述制备模块51通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集，并通过光声实验和图像下采样算法补充实验数据集；所述构建模块52构建超分辨率网络SE-EDSR；所述训练模块53采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型；所述输出模块54将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像。
需要说明的是，本实施例所述基于深度学习的光声图像超分辨重建装置的执行主体为处理器。
基于上述实施例的内容，在本实施例中，所述制备模块51中的“通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集”，可以包括：
任意选择一个初始图像分辨率，然后选择初始图像分辨率×2、×3、×4的三种高分辨率；
在所选择的四种分辨率内，使用k-Wave中的功能函数分别设计形状、大小、数量、位置、光吸收系数均为随机值的仿体目标，并设定随机的信噪比模拟实际中的噪音干扰；
利用迭代重建算法，基于光声成像原理，在所选择的四种分辨率内，每生成一组仿体目标，分别进行稀疏采样仿真实验，通过k-Wave保存经所述迭代重建算法重建后的分辨率最低的低质量伪影图像以及对应的×2、×3、×4的高分辨高质量标签图像，得到四种分辨率的仿真图像；
对于所得到的四种分辨率的仿真图像，分辨率最低的称为输入图像，按照(输入图像，×2的仿真标签图像)、(输入图像，×3的仿真标签图像)、(输入图像，×4的仿真标签图像)的组合方式，构成适用于不同超分辨重建任务的三种仿真数据集；
将所述三种仿真数据集分别按预设比例分为训练集和测试集两部分。
基于上述实施例的内容，在本实施例中，所述制备模块51中的“通过光声实验和图像下采样算法补充实验数据集”，可以包括：
用仿体和小鼠进行光声成像实验，采用与仿真数据集相同的迭代重建算法进行光声图像重建，保证其分辨率为12的倍数且不低于预设分辨率(如96×96)，保存光声图像重建后结构和生理信息显示清晰的图像作为高分辨率标签图像；
采用图像下采样算法，对所述高分辨率标签图像分别进行/2、/3、/4的下采样，得到四种分辨率的实验图像；
对于上述四种分辨率的实验图像，同样按照(输入图像，×2的实验标签图像)、(输入图像，×3的实验标签图像)、(输入图像，×4的实验标签图像)的组合方式，构成适用于不同超分辨重建任务的三种实验数据集；
将所述三种实验数据集分别按预设比例补充到所述训练集和所述测试集中。
基于上述实施例的内容，在本实施例中，所述超分辨率网络SE-EDSR由一个特征提取模组和一个上采样模组构成；
其中，所述特征提取模组由首尾端的卷积模块、中间的32个SE-ResNet模块以及一条残差连接共同组成；所述特征提取模组中的卷积模块由大小为3×3、步长为1的卷积层和ReLU激活函数组成；所述SE-ResNet模块由简化的ResNet模块和SE模块组成；
其中，所述上采样模组有三种结构，分别对应×2、×3、×4三种分辨率放大倍数，且每种结构均由预设数量的卷积模块和含有上采样因子r的重组模块组成。
具体地，所述上采样模组根据需要放大的倍数可分为两类；其中，分辨率放大2或3倍的上采样模组对应：卷积模块+重组模块+卷积模块的结构，其中重组模块中r＝2或3；分辨率放大4倍的上采样模组对应：卷积模块+重组模块+卷积模块+重组模块+卷积模块的结构，其中重组模块中r＝2；
所述上采样模组中的卷积模块均由大小为3×3、步长为1的卷积层和ReLU激活函数组成，用于特征提取及通道数调整；所述上采样模组中的重组模块由三个连续的卷积模块和一个pixel shuffle模块组成，所述三个连续的卷积模块用于特征提取并将通道数扩大r2倍，pixel shuffle模块采用周期筛选的方法减小通道数并使分辨率×r。
具体地，所述简化的ResNet模块采用大小为3×3、步长为1的卷积层，对输入特征图依次进行卷积、ReLU非线性激活、卷积，然后将结果与输入特征图相加作为本模块输出；
所述SE模块包含Squeeze和Excitation两个环节，Squeeze环节通过全局平均池化将输入特征图压缩成一维向量，然后Excitation环节依次通过全连接层a降维、ReLU非线性激活、全连接层b升维、Sigmoid非线性激活，将Squeeze环节输出的一维向量转化成一维权重向量，用于表征SE模块输入特征图各通道的重要性，最后将权重向量与SE模块的输入特征图对应相乘，分配权重；
所述SE-ResNet模块中，输入特征图首先经过简化的ResNet模块进一步提取特征，然后通过SE模块对提取到的特征的重要性分配权重，所得结果再与SE-ResNet模块的输入相加作为最终的输出结果，SE-ResNet模块的输入输出的维度相同，所述特征提取模组的输出结果作为所述上采样模组的输入。
具体地，三个连续的卷积模块最终将输入特征图的每个通道都扩增为原来的r2倍，即假设输入特征图深度为C，则经过三个连续的卷积模块后输出通道数为r2*C；
pixel shuffle模块如图4所示，假设重组模块的输入为H(高)×W(宽)×1(多通道同理)，在经三个连续的卷积模块后，得到H×W×(r2*1)维度的特征图，显然这r2个通道的特征图全部来自于重组模块输入特征图的同一个通道；在上述r2个通道的特征图中，分别选择r2张特征图中相同位置的一个像素，以此作为遍历一次，将得到的r2个像素组成r×r×1维度的像素块；遍历H×W次即可遍历完所有像素点，得到H×W个r×r×1维度的像素块，按照所述像素点原来的位置关系拼接像素块，即可得到(r*H)×(r*W)×1维度的输出特征图，与重组模块H×W×1的输入相比，完成了×r的分辨率放大。
可以推断，H×W×C的输入在经过上采样因子为r的上采样模组后，将得到(r*H)×(r*W)×3的超分辨输出，其中3表示RGB图像，这也就是SE-EDSR最终的输出结果。
可以理解的是，本实施例需要先构建超分辨率网络SE-EDSR，以便后续在所述仿真数据集和所述实验数据集上，训练所述SE-EDSR，得到训练好的光声图像×4超分辨重建模型。
基于上述实施例的内容，在本实施例中，所述训练模块53，可具体用于
以所述仿真数据集和所述实验数据集中分辨率最低的图像作为网络输入，相对应的×2、×3、×4的高分辨率图像作为递进式的期望输出，采用有监督的学习方法，首先在训练集上训练SE-EDSR，然后在测试集上测试网络，得到效果最佳的网络模型；其中，首先训练SE-EDSR实现×2的超分辨重建，然后以此作为预训练模型，进一步训练SE-EDSR实现×3的超分辨重建，最后在新的预训练模型上进一步训练SE-EDSR实现×4的超分辨重建，得到最终的光声图像×4超分辨重建网络模型，其中放大倍数由r决定；
其中，在训练过程中，通过数据增强方式，增加数据的丰富性；对于训练集和测试集，将输入的低分辨伪影图像和高分辨标签图像做相对应的切片处理，得到多个预设像素的图像块patch；
每次都向网络随机输入一定批量的上述patch，采用反向传播算法更新网络参数，以L1范数和正则化损失作为总的损失函数，同时通过峰值信噪比、均方根误差、结构相似度三项指标客观全面地评价网络训练效果；
训练过程实时记录损失函数变化，采用早停的方法选择效果相对最好的网络参数作为暂定模型；
对所述暂定模型，随机输入一定批量的测试集patch，以L1范数、峰值信噪比、均方根误差、结构相似度四项指标评价暂定模型的效果，在尽可能降低过拟合程度的前提下，选择出最佳的网络参数作为最终模型。
基于上述实施例的内容，在本实施例中，所述输出模块54，可具体用于
通过仿真或光声实验获得新的低质量、低分辨的目标光声图像作为训练好的光声图像×4超分辨重建模型的输入；
通过训练好的光声图像×4超分辨重建模型中的切片预处理，将输入图像分割成具有重叠关系的多个patch，对每个patch分别进行重建；
将输出的×4后的patch进行拼接，包括：按照输入patch的位置关系，将对应的输出patch重叠平铺，并将两个相邻patch间重叠的部分各自舍弃一半，最终得到一张完整的×4高分辨光声图像。
由于本实施例提供的基于深度学习的光声图像超分辨重建装置可以用于执行上述实施例所述的基于深度学习的光声图像超分辨重建方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图6，该电子设备可以包括存储器602、处理器601、总线603及存储在存储器602上并可在处理器601上运行的计算机程序，其中，处理器601，存储器602通过总线603完成相互间的通信。所述处理器601执行所述计算机程序时实现上述方法的步骤，例如包括：通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集，并通过光声实验和图像下采样算法补充实验数据集；构建超分辨率网络SE-EDSR；采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型；将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤，例如包括：通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集，并通过光声实验和图像下采样算法补充实验数据集；构建超分辨率网络SE-EDSR；采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型；将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的光声图像超分辨重建方法，其特征在于，包括：
通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集，并通过光声实验和图像下采样算法补充实验数据集；
构建超分辨率网络SE-EDSR；
采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型；
将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像。
2.根据权利要求1所述的基于深度学习的光声图像超分辨重建方法，其特征在于，所述通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集，包括：
任意选择一个初始图像分辨率，然后选择初始图像分辨率×2、×3、×4的三种高分辨率；
在所选择的四种分辨率内，使用k-Wave中的功能函数分别设计形状、大小、数量、位置、光吸收系数均为随机值的仿体目标，并设定随机的信噪比模拟实际中的噪音干扰；
利用迭代重建算法，基于光声成像原理，在所选择的四种分辨率内，每生成一组仿体目标，分别进行稀疏采样仿真实验，通过k-Wave保存经所述迭代重建算法重建后的分辨率最低的低质量伪影图像以及对应的×2、×3、×4的高分辨高质量标签图像，得到四种分辨率的仿真图像；
对于所得到的四种分辨率的仿真图像，分辨率最低的称为输入图像，按照(输入图像，×2的仿真标签图像)、(输入图像，×3的仿真标签图像)、(输入图像，×4的仿真标签图像)的组合方式，构成适用于不同超分辨重建任务的三种仿真数据集；
将所述三种仿真数据集分别按预设比例分为训练集和测试集两部分。
3.根据权利要求1所述的基于深度学习的光声图像超分辨重建方法，其特征在于，所述通过光声实验和图像下采样算法补充实验数据集，包括：
用仿体和小鼠进行光声成像实验，采用与仿真数据集相同的迭代重建算法进行光声图像重建，保证其分辨率为12的倍数且不低于预设分辨率，保存光声图像重建后结构和生理信息显示清晰的图像作为高分辨率标签图像；
采用图像下采样算法，对所述高分辨率标签图像分别进行/2、/3、/4的下采样，得到四种分辨率的实验图像；
对于上述四种分辨率的实验图像，同样按照(输入图像，×2的实验标签图像)、(输入图像，×3的实验标签图像)、(输入图像，×4的实验标签图像)的组合方式，构成适用于不同超分辨重建任务的三种实验数据集；
将所述三种实验数据集分别按预设比例补充到所述训练集和所述测试集中。
4.根据权利要求1所述的基于深度学习的光声图像超分辨重建方法，其特征在于，所述超分辨率网络SE-EDSR由一个特征提取模组和一个上采样模组构成；
其中，所述特征提取模组由首尾端的卷积模块、中间的32个SE-ResNet模块以及一条残差连接共同组成；所述特征提取模组中的卷积模块由大小为3×3、步长为1的卷积层和ReLU激活函数组成；所述SE-ResNet模块由简化的ResNet模块和SE模块组成；
其中，所述上采样模组有三种结构，分别对应×2、×3、×4三种分辨率放大倍数，且每种结构均由预设数量的卷积模块和含有上采样因子r的重组模块组成。
5.根据权利要求4所述的基于深度学习的光声图像超分辨重建方法，其特征在于，所述简化的ResNet模块采用大小为3×3、步长为1的卷积层，对输入特征图依次进行卷积、ReLU非线性激活、卷积，然后将结果与输入特征图相加作为本模块输出；
所述SE模块包含Squeeze和Excitation两个环节，Squeeze环节通过全局平均池化将输入特征图压缩成一维向量，然后Excitation环节依次通过全连接层a降维、ReLU非线性激活、全连接层b升维、Sigmoid非线性激活，将Squeeze环节输出的一维向量转化成一维权重向量，用于表征SE模块输入特征图各通道的重要性，最后将权重向量与SE模块的输入特征图对应相乘，分配权重；
所述SE-ResNet模块中，输入特征图首先经过简化的ResNet模块进一步提取特征，然后通过SE模块对提取到的特征的重要性分配权重，所得结果再与SE-ResNet模块的输入相加作为最终的输出结果，SE-ResNet模块的输入输出的维度相同，所述特征提取模组的输出结果作为所述上采样模组的输入；
所述上采样模组根据需要放大的倍数分为两类；其中，分辨率放大2或3倍的上采样模组对应：卷积模块+重组模块+卷积模块的结构，其中重组模块中r＝2或3；分辨率放大4倍的上采样模组对应：卷积模块+重组模块+卷积模块+重组模块+卷积模块的结构，其中重组模块中r＝2；
所述上采样模组中的卷积模块均由大小为3×3、步长为1的卷积层和ReLU激活函数组成，用于特征提取及通道数调整；所述上采样模组中的重组模块由三个连续的卷积模块和一个pixel shuffle模块组成，所述三个连续的卷积模块用于特征提取并将通道数扩大r2倍，pixel shuffle模块采用周期筛选的方法减小通道数并使分辨率×r。
6.根据权利要求1所述的基于深度学习的光声图像超分辨重建方法，其特征在于，所述采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型，包括：
以所述仿真数据集和所述实验数据集中分辨率最低的图像作为网络输入，相对应的×2、×3、×4的高分辨率图像作为递进式的期望输出，采用有监督的学习方法，首先在训练集上训练SE-EDSR，然后在测试集上测试网络，得到效果最佳的网络模型；其中，首先训练SE-EDSR实现×2的超分辨重建，然后以此作为预训练模型，进一步训练SE-EDSR实现×3的超分辨重建，最后在新的预训练模型上进一步训练SE-EDSR实现×4的超分辨重建，得到最终的光声图像×4超分辨重建网络模型，其中放大倍数由r决定；
其中，在训练过程中，通过数据增强方式，增加数据的丰富性；对于训练集和测试集，将输入的低分辨伪影图像和高分辨标签图像做相对应的切片处理，得到多个预设像素的图像块patch；
每次都向网络随机输入一定批量的上述patch，采用反向传播算法更新网络参数，以L1范数和正则化损失作为总的损失函数，同时通过峰值信噪比、均方根误差、结构相似度三项指标客观全面地评价网络训练效果；
训练过程实时记录损失函数变化，采用早停的方法选择效果相对最好的网络参数作为暂定模型；
对所述暂定模型，随机输入一定批量的测试集patch，以L1范数、峰值信噪比、均方根误差、结构相似度四项指标评价暂定模型的效果，在尽可能降低过拟合程度的前提下，选择出最佳的网络参数作为最终模型。
7.根据权利要求6所述的基于深度学习的光声图像超分辨重建方法，其特征在于，所述将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像，包括：
通过仿真或光声实验获得新的低质量、低分辨的目标光声图像作为训练好的光声图像×4超分辨重建模型的输入；
通过训练好的光声图像×4超分辨重建模型中的切片预处理，将输入图像分割成具有重叠关系的多个patch，对每个patch分别进行重建；
将输出的×4后的patch进行拼接，包括：按照输入patch的位置关系，将对应的输出patch重叠平铺，并将两个相邻patch间重叠的部分各自舍弃一半，最终得到一张完整的×4高分辨光声图像。
8.一种基于深度学习的光声图像超分辨重建装置，其特征在于，包括：
制备模块，用于通过k-Wave工具箱、迭代重建算法，制备光声图像超分辨重建仿真数据集，并通过光声实验和图像下采样算法补充实验数据集；
构建模块，用于构建超分辨率网络SE-EDSR；
训练模块，用于采用预训练策略在所述仿真数据集和所述实验数据集上递进式地训练SE-EDSR，依次完成×2、×3、×4的超分辨重建任务，得到最终的光声图像×4超分辨重建模型；
输出模块，用于将目标光声图像输入训练好的光声图像×4超分辨重建模型，输出超分辨重建后的×4的高分辨图像。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN201911341072.1A 2019-12-23 2019-12-23 基于深度学习的光声图像超分辨重建方法及装置 Active CN111127320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911341072.1A CN111127320B (zh) 2019-12-23 2019-12-23 基于深度学习的光声图像超分辨重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911341072.1A CN111127320B (zh) 2019-12-23 2019-12-23 基于深度学习的光声图像超分辨重建方法及装置

Publications (2)

Publication Number Publication Date
CN111127320A true CN111127320A (zh) 2020-05-08
CN111127320B CN111127320B (zh) 2023-08-04

Family

ID=70501314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911341072.1A Active CN111127320B (zh) 2019-12-23 2019-12-23 基于深度学习的光声图像超分辨重建方法及装置

Country Status (1)

Country Link
CN (1) CN111127320B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163449A (zh) * 2020-08-21 2021-01-01 同济大学 一种轻量化的多分支特征跨层融合图像语义分割方法
CN112419438A (zh) * 2020-12-01 2021-02-26 上海科技大学 一种用于光声成像有限视角补偿和去伪影的图像重构方法
CN112435305A (zh) * 2020-07-09 2021-03-02 上海大学 一种基于深度学习的超高分辨超声成像方法
CN113112405A (zh) * 2021-04-12 2021-07-13 广州超视计生物科技有限公司 超分辨率显微镜图像的自适应校正方法及sim-odt双模态系统
CN114331840A (zh) * 2021-12-24 2022-04-12 汉姆德(宁波)智能医疗科技有限公司 重建高保真超分辨显微图像的方法、装置
CN114926468A (zh) * 2022-07-22 2022-08-19 深圳华声医疗技术股份有限公司 超声图像质量控制方法、超声设备及存储介质
CN115736986A (zh) * 2022-11-09 2023-03-07 哈尔滨工业大学 基于l1范数的源编码全波形反演超声层析成像方法及设备
CN115993611A (zh) * 2023-03-22 2023-04-21 清华大学 一种基于瞬态信号超分辨网络的非视域成像方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1792335A (zh) * 2005-12-16 2006-06-28 华南师范大学 基于声透镜的光声成像和层析成像方法及其装置
CN105996997A (zh) * 2016-05-06 2016-10-12 北京航空航天大学 光声成像装置及方法
CN108577810A (zh) * 2018-03-21 2018-09-28 华北电力大学（保定） 解决声速不均匀问题的血管内光声图像重建方法及系统
US20180300855A1 (en) * 2015-12-21 2018-10-18 Sensetime Group Limited Method and a system for image processing
CN110111257A (zh) * 2019-05-08 2019-08-09 哈尔滨工程大学 一种基于特征通道自适应加权的超分辨图像重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1792335A (zh) * 2005-12-16 2006-06-28 华南师范大学 基于声透镜的光声成像和层析成像方法及其装置
US20180300855A1 (en) * 2015-12-21 2018-10-18 Sensetime Group Limited Method and a system for image processing
CN105996997A (zh) * 2016-05-06 2016-10-12 北京航空航天大学 光声成像装置及方法
CN108577810A (zh) * 2018-03-21 2018-09-28 华北电力大学（保定） 解决声速不均匀问题的血管内光声图像重建方法及系统
CN110111257A (zh) * 2019-05-08 2019-08-09 哈尔滨工程大学 一种基于特征通道自适应加权的超分辨图像重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BASTIEN ARNAL 等: "Super-resolution approaches in photoacoustic imaging", 《THE JOURNAL OF THE ACOUSTICAL SOCIETY OF AMERICA》 *
张静妙 等: "基于高低分辨影像字典学习的稀疏超分辨重建", 《 控制工程》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435305A (zh) * 2020-07-09 2021-03-02 上海大学 一种基于深度学习的超高分辨超声成像方法
CN112163449A (zh) * 2020-08-21 2021-01-01 同济大学 一种轻量化的多分支特征跨层融合图像语义分割方法
CN112419438A (zh) * 2020-12-01 2021-02-26 上海科技大学 一种用于光声成像有限视角补偿和去伪影的图像重构方法
CN112419438B (zh) * 2020-12-01 2023-07-14 上海科技大学 一种用于光声成像有限视角补偿和去伪影的图像重构方法
CN113112405A (zh) * 2021-04-12 2021-07-13 广州超视计生物科技有限公司 超分辨率显微镜图像的自适应校正方法及sim-odt双模态系统
CN113112405B (zh) * 2021-04-12 2022-04-12 广州超视计生物科技有限公司 超分辨率显微镜图像的自适应校正方法及sim-odt双模态系统
CN114331840A (zh) * 2021-12-24 2022-04-12 汉姆德(宁波)智能医疗科技有限公司 重建高保真超分辨显微图像的方法、装置
CN114331840B (zh) * 2021-12-24 2023-04-07 汉姆德(宁波)智能医疗科技有限公司 重建高保真超分辨显微图像的方法、装置
CN114926468A (zh) * 2022-07-22 2022-08-19 深圳华声医疗技术股份有限公司 超声图像质量控制方法、超声设备及存储介质
CN115736986A (zh) * 2022-11-09 2023-03-07 哈尔滨工业大学 基于l1范数的源编码全波形反演超声层析成像方法及设备
CN115993611A (zh) * 2023-03-22 2023-04-21 清华大学 一种基于瞬态信号超分辨网络的非视域成像方法及装置
CN115993611B (zh) * 2023-03-22 2023-06-20 清华大学 一种基于瞬态信号超分辨网络的非视域成像方法及装置

Also Published As

Publication number Publication date
CN111127320B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN111127320B (zh) 基于深度学习的光声图像超分辨重建方法及装置
Hauptmann et al. Deep learning in photoacoustic tomography: current approaches and future directions
CN108460726B (zh) 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN108648197B (zh) 一种基于图像背景掩膜的目标候选区域提取方法
CN110880196B (zh) 基于深度学习的肿瘤光声图像快速重建方法及装置
CN111507462B (zh) 一种端对端的三维医学图像超分辨率重建方法及系统
Sood et al. An application of generative adversarial networks for super resolution medical imaging
CN113506222B (zh) 一种基于卷积神经网络的多模态图像超分辨方法
He et al. Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks
Shahsavari et al. Proposing a novel Cascade Ensemble Super Resolution Generative Adversarial Network (CESR-GAN) method for the reconstruction of super-resolution skin lesion images
CN111353935A (zh) 基于深度学习的磁共振成像优化方法及其设备
Yancheng et al. RED-MAM: A residual encoder-decoder network based on multi-attention fusion for ultrasound image denoising
CN115063502A (zh) 基于优化迭代网络的ct图像重建方法以及系统
CN109544488B (zh) 一种基于卷积神经网络的图像合成方法
CN114549318A (zh) 基于亚体素卷积神经网络的超高分辨荧光显微成像方法
Wang et al. Sparse-view cone-beam CT reconstruction by bar-by-bar neural FDK algorithm
CN111815692A (zh) 无伪影数据及有伪影数据的生成方法、系统及存储介质
Rashid et al. Single MR image super-resolution using generative adversarial network
CN113538496A (zh) 一种mri头部影像的脑组织自动勾画方法、勾画系统、计算设备和存储介质
CN115294300A (zh) 多分支注意力先验参数化有限投影快速荧光断层重建方法
Tang et al. Learning spatially variant degradation for unsupervised blind photoacoustic tomography image restoration
Serkan et al. VarioGram–A colorful time-graph representation for time series
Sun et al. Autopath: image-specific inference for 3D segmentation
Loc et al. Speeding up Photoacoustic Imaging using Diffusion Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant