CN115937345A - 一种基于深度学习的光声图像重建方法及装置 - Google Patents
一种基于深度学习的光声图像重建方法及装置 Download PDFInfo
- Publication number
- CN115937345A CN115937345A CN202211641418.1A CN202211641418A CN115937345A CN 115937345 A CN115937345 A CN 115937345A CN 202211641418 A CN202211641418 A CN 202211641418A CN 115937345 A CN115937345 A CN 115937345A
- Authority
- CN
- China
- Prior art keywords
- photoacoustic
- layer
- training
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例提供的一种基于深度学习的光声图像重建方法及装置，其中，所述方法包括：响应于PACT成像设备对待成像目标进行光声探测，采样获得原始光声信号数据；将所述原始光声信号数据输入预设的光声图像预测模型中，以获得所述光声图像预测模型输出的重建光声图像，其中，所述光声图像预测模型为通过预先获得的训练数据训练得到的深度学习网络模型。本申请实施例中基于预先训练的深度学习网络模型实现光声图像的重建，与现有技术相比，本申请实施例提供的光声图像重建方法兼顾传统算法的鲁棒性和深度学习算法的自适应性，性能更优，提高了PACT系统光声图像的成像质量。
Description
技术领域
本申请涉及医疗图像重建领域，尤其涉及一种基于深度学习的光声图像重建方法及装置。
背景技术
光声计算断层成像(Photoacoustic Computed Tomography，PACT)是一种无损的生物医学成像技术，其兼具了光学成像对比度高和声学成像穿透深度大等优点，在生物医学领域获得了广泛的应用。PACT成像的基本原理如下：当成像物体被脉冲激光辐照时，物体内部的吸收体受热膨胀，激发出超声信号，向外传播的超声信号被超声探测器接收，通过相应的图像重建技术即可获得物体内部结构的可视化图像。
图像重建对PACT的成像质量有着关键性的影响，目前PACT的图像重建算法主要包括以下三类：解析重建算法、迭代重建算法和深度学习重建算法。其中，现有的基于深度学习的PACT图像重建方法主要通过神经网络学习低质量图像和高质量图像之间的映射关系，以实现图像伪影抑制和精度提升。此类方法仅能在图像域中对重建结果进行简单修正，当输入图像质量较差时，该类方法提升效果有限。因此，现在亟需一种光声图像重建方法，能够提供一种性能更优的光声图像重建方法，以提高PACT系统光声图像的成像质量。
发明内容
有鉴于此，本申请提供了一种基于深度学习的光声图像重建方法及装置，能够提供一种性能更优的光声图像重建方法，以提高PACT系统光声图像的成像质量。
其技术方案如下：
第一方面，本申请实施例提供了一种基于深度学习的光声图像重建方法，所述方法包括：
响应于PACT成像设备对待成像目标进行光声探测，采样获得原始光声信号数据；
将所述原始光声信号数据输入预设的光声图像预测模型中，以获得所述光声图像预测模型输出的重建光声图像，其中，所述光声图像预测模型为通过预先获得的训练数据训练得到的深度学习网络模型，所述训练数据包括所述PACT成像设备采样得到的光声训练信号与重建得到的光声训练图像，所述光声训练信号与所述光声训练图像一一对应。
可选的，所述原始光声信号数据包括：稀疏视角采样数据或有限视角采样数据。
可选的，所述光声图像预测模型包括：滤波模块、反投影模块以及融合模块；其中，所述滤波模块包括依次连接的第一卷积层、第二卷积层、第三卷积层以及跳跃连接层；所述反投影模块包括稀疏转换矩阵以及密集分解矩阵；所述融合模块包括编码器、解码器以及尺寸调整层。
可选的，所述滤波模块用于将输入的所述原始光声信号转换为反投影信号，并将所述反投影信号输入所述反投影模块；
所述第一卷积层包括16个尺寸维度为1×L×1的卷积核以及1个激活函数，所述第二卷积层包括1个尺寸维度为1×L×16的卷积核以及1个激活函数，所述第三卷积层包括Ns个尺寸维度为Nd×1×1的卷积核和1个尺寸维度为1×1×NdNs的卷积核，所述跳跃连接层用于根据所述原始光声信号与所述第三卷积层的输出信号获得所述反投影信号，所述反投影信号的尺寸维度为Nd×Ns×1，其中，所述L为所述原始光声信号采样长度的1/4，所述Ns为所述原始光声信号采样长度，所述Nd为所述PACT成像设备的探测器个数。
可选的，所述反投影模块用于将输入的所述反投影信号转换为投影图像，并将所述投影图像输入所述融合模块；
所述稀疏转换矩阵的尺寸维度为NxNy×NdNs×1，所述密集分解矩阵的尺寸维度为Nx×Ny×Nd，所述投影图像的尺寸维度为Nx×Ny×Nd，其中，所述Nx与所述Ny为所述光声图像预测模型的输出图像尺寸维度，所述Nd为所述PACT成像设备的探测器个数。
可选的，所述融合模块用于将输入的所述投影图像转换为所述重建光声图像；
所述编码器包括依次连接的1个特征提取子模块以及4个收缩子模块，其中，所述特征提取子模块由卷积层、归一化层以及激活函数层构成；所述收缩子模块由卷积层、归一化层、激活函数层以及最大池化层构成；
所述解码器包括依次连接的4个扩展子模块，其中，所述扩展子模块由卷积层、归一化层、激活函数层以及尺寸调整层构成，所述尺寸调整层由卷积层与上采样层构成，或由卷积层与下采样层构成。
可选的，所述光声图像预测模型包括：
p0(rs)＝fFusion(fBack-projection(fFiltering(p(rd,t))))，
其中，所述p0(rs)为重建光声图像，所述fFusion为融合模块，所述fBack-projection为反投影模块，所述fFiltering为滤波模块，所述p(rd,t)为原始光声信号数据，所述rs为所述待成像目标的光声源的位置，所述rd为所述PACT成像设备的探测器的位置。
第二方面，本申请实施例提供了一种基于深度学习的光声图像重建装置，所述装置包括：
数据获取模块，用于响应于PACT成像设备对待成像目标进行光声探测，采样获得原始光声信号数据；
图像重建模块，用于将所述原始光声信号数据输入预设的光声图像预测模型中，以获得所述光声图像预测模型输出的重建光声图像，其中，所述光声图像预测模型为通过预先获得的训练数据训练得到的深度学习网络模型，所述训练数据包括PACT成像设备采样得到的光声训练信号与重建得到的光声训练图像，所述光声训练信号与所述光声训练图像一一对应。
第三方面，本申请实施例提供了一种基于深度学习的光声图像重建设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如前述任一所述基于深度学习的光声图像重建方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如前述任一所述基于深度学习的光声图像重建方法的步骤。
上述技术方案具有如下有益效果：
本申请实施例提供的一种基于深度学习的光声图像重建方法，在执行所述方法时，响应于PACT成像设备对待成像目标进行光声探测，采样获得原始光声信号数据；将所述原始光声信号数据输入预设的光声图像预测模型中，以获得所述光声图像预测模型输出的重建光声图像，其中，所述光声图像预测模型为通过预先获得的训练数据训练得到的深度学习网络模型，所述训练数据包括所述PACT成像设备采样得到的光声训练信号与重建得到的光声训练图像，所述光声训练信号与所述光声训练图像一一对应。本申请实施例中基于预先训练的深度学习网络模型实现光声图像的重建，与现有技术相比，本申请实施例提供的光声图像重建方法兼顾传统算法的鲁棒性和深度学习算法的自适应性，性能更优，提高了PACT系统光声图像的成像质量。
本申请实施例还提供了与上述方法相对应的装置、设备以及存储介质，具有与上述方法相同的有益效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于深度学习的光声图像重建方法的流程示意图；
图2为本申请实施例提供的一种基于深度学习的光声图像重建方法涉及的光声图像预测模型工作流程示意图；
图3为本申请实施例提供的一种基于深度学习的光声图像重建方法涉及的光声图像预测模型网络示意图；
图4为本申请实施例光声图像预测模型在输入稀疏视角光声数据下的重建图像与FBP算法的重建图像的对比图；
图5为本申请实施例光声图像预测模型在输入稀疏视角光声数据下的重建图像与FBP算法的重建图像的定量评估结果对比图；
图6为本申请实施例光声图像预测模型在输入有限视角光声数据下的重建图像与FBP算法的重建图像的对比图；
图7为本申请实施例光声图像预测模型在输入有限视角光声数据下的重建图像与FBP算法的重建图像的定量评估结果对比图；
图8为本申请实施例提供的一种基于深度学习的光声图像重建装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了提高PACT系统光声图像的成像质量，本申请实施例提供了一种基于深度学习的光声图像重建方法，请参阅图1，该方法可以应用于PACT成像设备，该方法可以包括：
步骤S100：响应于PACT成像设备对待成像目标进行光声探测，采样获得原始光声信号数据。
具体的，利用PACT成像设备对待成像目标进行光声探测，采集获得原始光声信号数据，原始光声信号数据用于后续光声图像的重建。
需要说明的是，原始光声信号数据可以包括稀疏视角采样数据以及有限视角采样数据中的一种。稀疏视角采样数据是指PACT成像设备在360度视野下，探测器稀疏排布，获取的原始光声信号数据为空间欠采样的光声信号。有限视角采样数据是指PACT成像设备的扫描的角度被限制在一个特定的角度，所采集到的原始光声信号数据有限视角采样数据。
可以理解的是，稀疏视角采样数据重建获得的光声图像所覆盖的区域是相同的，探测器的排布越紧密，所获得的原始光声信号数据采样越丰富，继而重建得到的光声图像效果也会越佳，但由于采样量的上涨，采样成本以及计算成本同样上涨。而有限视角由于扫描角度的限制，在实际应用中，如乳腺成像、皮肤成像无法获取全视角的光声信号数据造成应用上的限制。
实际应用中，用于训练光声图像预测模型的训练数据包括PACT成像设备采样得到的光声训练信号与重建得到的光声训练图像，光声训练信号与光声训练图像一一对应。
具体实现中，为了获得较好的模型训练效果，用于训练模型的训练数据可以通过PACT成像设备采样在较高配置模式下采样获得的光声信号，并由光声信号重建获得光声训练图像，例如，用于训练模型的光声训练信号为稀疏视角采样数据或有限视角采样数据，则可以选择PACT成像设备探测器全采样的方式进行采样，尽量保证采样数据的全面性和丰富性，保证重建获得的用以模型训练的光声训练图像效果更佳，进而保证最终训练获得的光声图像预测模型的光声图像重建效果。
具体的应用中，用于获得光声训练图像的重建方法可以采用滤波反投影(Filtered Back Projection，FBP)算法，其重建过程可以表为：
式中，
b(rd,t)称作反投影项，v为声速，rs和rd分别表示光声源和探测器的位置，Ω为探测面所包裹的立体角，dΩ为探测单元dσ所对应的立体角，可表示为：
式中，nd是探测器表面指向感兴趣区域的单位法向量。
步骤S200：将原始光声信号数据输入预设的光声图像预测模型中，以获得光声图像预测模型输出的重建光声图像，光声图像预测模型为通过预先获得的训练数据训练得到的深度学习网络模型。
具体的，光声图像预测模型是预先通过训练数据训练得到的深度学习网络模型，实际应用中，光声图像预测模型可以包括：滤波模块、反投影模块以及融合模块，分别对应滤波、反投影以及融合三个处理步骤，参照图2示出的光声图像预测模型工作流程示意图，光声信号经由滤波模块滤波得到反投影信号，反投影信号经由反投影模块反投影获得多张投影图像，融合模块将多张投影图像进行融合处理获得重建后的光声图像。
进一步的，参见图3示出的光声图像预测模型网络示意图：
滤波模块可以表示为Y1＝F1(X)，其中，X为光声信号，F1为滤波模块网络模型，Y1为滤波模块输出的反投影信号。滤波模块网络模型包括依次连接的第一卷积层L1、第二卷积层L1、第三卷积层L2以及跳跃连接层；其中，第一卷积层包括16个尺寸维度为1×L×1的卷积核以及1个激活函数，第二卷积层包括1个尺寸维度为1×L×16的卷积核以及1个激活函数，第三卷积层包括Ns个尺寸维度为Nd×1×1的卷积核和1个尺寸维度为1×1×NdNs的卷积核，跳跃连接层将原始光声信号传递至第三卷积层的输出处，与第三卷积层的输出信号结合获得反投影信号，反投影信号的尺寸维度为Nd×Ns×1，L为原始光声信号采样长度的1/4，Ns为原始光声信号采样长度，Nd为PACT成像设备的探测器个数。需要说明的是，激活函数可以选用Tanh激活函数。
反投影模块可以表示为Y2＝F2(Y1)，其中，Y1为上述的反投影信号，F2为反投影模块网络模型，Y2为反投影模块输出的投影图像。反投影模块网络模型包括稀疏转换矩阵L4以及密集分解矩阵L5；其中，稀疏转换矩阵的尺寸维度为NxNy×NdNs×1，密集分解矩阵的尺寸维度为Nx×Ny×Nd，尺寸维度为Nd×Ns×1大小的反投影信号经由稀疏转换矩阵的乘法运算和重新排列，输出一个尺寸大小为Nx×Ny的图像，之后分解矩阵将该图像分解为三维的投影图像(即多张的二维图像)，尺寸大小为Nx×Ny×Nd，Nx与Ny为光声图像预测模型的输出图像尺寸维度，输出图像尺寸维度可以是技术人员根据需求预先设置的，Nd为PACT成像设备的探测器个数。
融合模块可以表示为Y3＝F3(Y2)，其中，Y2为上述的投影图像，F3为融合模块网络模型，Y3为融合模块输出的重建光声图像。融合模块网络模型主要包含包括编码器、解码器以及尺寸调整层。
编码器包括依次连接的1个特征提取子模块L6以及4个收缩子模块L7，其中，特征提取子模块由64个尺寸维度为3×3卷积核构成的卷积层、归一化层以及激活函数层构成；收缩子模块由尺寸维度为3×3卷积核、步长为1的卷积层、归一化层、激活函数层以及1个核大小为2×2、步长为2的最大池化层(Max pooling)构成，需要说明的是，为了提取更多的特征，沿着编码器处理进程，4个收缩子模块的卷积核的数量逐步翻倍，即第一个收缩子模块包括128个尺寸维度为3×3卷积核，第二个收缩子模块包括256个尺寸维度为3×3卷积核，第三个收缩子模块包括512个尺寸维度为3×3卷积核，第四个收缩子模块包括1024个尺寸维度为3×3卷积核。
解码器包括依次连接的4个扩展子模块，其中，扩展子模块由64个尺寸维度为3×3、步长为1的卷积核构成的卷积层、归一化层、激活函数层以及相对应的尺寸调整层构成。
尺寸调整层由64个尺寸维度为3×3、步长为1的卷积核构成的卷积层和一个下采样层或一个上采样层组成，通过设置适当的采样因子可以将不同尺寸的特征归一化到同一尺寸。
需要说明的是，模型最后可以通过一个核大小为1×1的卷积层，将反投影模块输出的三维的投影图像添加到最后一层，以降低网络的学习难度。
实际应用中，为了加速收敛和提高网络性能，在卷积层后添加了组归一化函数和激活函数。归一化层可以选用组群归一化(Group Normalization，GN)算法，激活函数层可以选用ReLU激活函数。
在一种可选的实施方式中，本申请实施例中光声图像预测模型可以包括：
p0(rs)＝fFusion(fBack-projection(fFiltering(p(rd,t))))，
其中，p0(rs)为重建光声图像，fFusion为融合模块，fBack-projection为反投影模块，fFiltering为滤波模块，p(rd,t)为原始光声信号数据，rs为待成像目标的位置，rd为PACT成像设备的探测器的位置。
由上可知，本申请实施例提供的光声图像预测模型是一种物理模型驱动的深度神经网络，该模型网络可以同时兼顾传统算法的鲁棒性和深度学习算法的自适应性，从而在实际应用中具有较好的图像重建性能。
实际在对光声图像预测模型进行训练时，训练过程可以包括：首先单独训练滤波模块，然后将滤波模块和反投影模块合起来训练，最后对整个网络执行端到端的训练；三个训练阶段的批尺寸Batch size分别设置为1、16和3；训练过程中可以选用Adam优化器，均方误差损失函数(Mean square error，MSE)，在第一阶段和第三阶段学习率设置为1.0×10-4，第二阶段设置为2.5×10-5；所有的训练都可以通过TensorFlow 2.0框架实现的，代码部署在单个NVIDIARTX TITAN GPU上，以加速网络训练。
图4示出了本申请实施例光声图像预测模型在输入稀疏视角光声数据下的重建图像与FBP算法的重建图像的对比图，其中，四组稀疏视角数据的通道数分别为：n＝32、64、128和256。稀疏视角光声数据作为网络的输入，2π视角512通道的光声数据重建的图像作为网络输出的参考。由稀疏视角光声数据的重建结果效果示意图可以看出，由于空间稀疏采样，FBP算法重建的图像中出现了大量的条纹伪影，同时也丢失了很多有价值的结构信息，而本申请实施例提供的光声图像预测模型能够有效地抑制了这些伪影，恢复了更多的结构信息，获得了更高质量的重建图像。
图5示出了本申请实施例光声图像预测模型在输入稀疏视角光声数据下的重建图像与FBP算法的定量评估结果对比图，可以看出本申请实施例提供的光声图像预测模型输入稀疏视角光声数据下的重建效果在均方根误差(Root Mean Square Error，RMSE)、峰值信噪比(Peak Signal to Noise Ratio，PSNR)以及结构相似性(Structural SimilarityIndex Measure，SSIM)三个评价指标下得分均优于FBP算法。
图6示出了本申请实施例光声图像预测模型在输入有限视角光声数据下的重建图像与FBP算法的重建图像的对比图，其中，4组有限视角的探测角度数分别为：Ω＝π/4、π/2、3π/4和π。有限视角光声数据作为网络的输入，2π视角512通道的光声数据重建的图像作为网络输出的参考。由有限视角光声数据的重建结果效果图可以看出，由于有限角度采样，FBP算法重建的图像失真严重，图像模糊，同时丢失了很多细节，而本申请实施例提供的光声图像预测模型有效地减轻了这些问题，重建的图像更清晰，伪影更少，同时增强了细节的可视性。
图7示出了本申请实施例光声图像预测模型在输入有限视角光声数据下的重建图像与FBP算法的定量评估结果对比图，可以看出本申请实施例提供的光声图像预测模型输入有限视角光声数据下的重建效果在均方根误差RMSE、峰值信噪比PSNR以及结构相似性SSIM三个评价指标下得分均优于FBP算法。
综上所述，本申请实施例提供了一种基于深度学习的光声图像重建方法，执行所述方式时，响应于PACT成像设备对待成像目标进行光声探测，采样获得原始光声信号数据；将所述原始光声信号数据输入预设的光声图像预测模型中，以获得所述光声图像预测模型输出的重建光声图像，其中，所述光声图像预测模型为通过预先获得的训练数据训练得到的深度学习网络模型，所述训练数据包括所述PACT成像设备采样得到的光声训练信号与重建得到的光声训练图像，所述光声训练信号与所述光声训练图像一一对应。本申请实施例中基于预先训练的深度学习网络模型实现光声图像的重建，与现有技术相比，本申请实施例提供的光声图像重建方法兼顾传统算法的鲁棒性和深度学习算法的自适应性，性能更优，提高了PACT系统光声图像的成像质量。
与上述方法相对应，本申请实施例还提供了一种基于深度学习的光声图像重建装置，请参阅图8，示出了该装置的结构示意图，该装置可以包括：
数据获取模块801，用于响应于PACT成像设备对待成像目标进行光声探测，采样获得原始光声信号数据；
图像重建模块802，用于将原始光声信号数据输入预设的光声图像预测模型中，以获得光声图像预测模型输出的重建光声图像，其中，光声图像预测模型为通过预先获得的训练数据训练得到的深度学习网络模型，训练数据包括PACT成像设备采样得到的光声训练信号与重建得到的光声训练图像，光声训练信号与光声训练图像一一对应。
在一种可选的实施方式中，所述原始光声信号数据包括：稀疏视角采样数据或有限视角采样数据。
在一种可选的实施方式中，所述光声图像预测模型包括：滤波模块、反投影模块以及融合模块；其中，所述滤波模块包括依次连接的第一卷积层、第二卷积层、第三卷积层以及跳跃连接层；所述反投影模块包括稀疏转换矩阵以及密集分解矩阵；所述融合模块包括编码器、解码器以及尺寸调整层。
在一种可选的实施方式中，所述滤波模块具体用于将输入的所述原始光声信号转换为反投影信号，并将所述反投影信号输入所述反投影模块；
所述第一卷积层包括16个尺寸维度为1×L×1的卷积核以及1个激活函数，所述第二卷积层包括1个尺寸维度为1×L×16的卷积核以及1个激活函数，所述第三卷积层包括Ns个尺寸维度为Nd×1×1的卷积核和1个尺寸维度为1×1×NdNs的卷积核，所述跳跃连接层用于根据所述原始光声信号与所述第三卷积层的输出信号获得所述反投影信号，所述反投影信号的尺寸维度为Nd×Ns×1，其中，所述L为所述原始光声信号采样长度的1/4，所述Ns为所述原始光声信号采样长度，所述Nd为所述PACT成像设备的探测器个数。
在一种可选的实施方式中，所述反投影模块具体用于将输入的所述反投影信号转换为投影图像，并将所述投影图像输入所述融合模块；
所述稀疏转换矩阵的尺寸维度为NxNy×NdNs×1，所述密集分解矩阵的尺寸维度为Nx×Ny×Nd，所述投影图像的尺寸维度为Nx×Ny×Nd，其中，所述Nx与所述Ny为所述光声图像预测模型的输出图像尺寸维度，所述Nd为所述PACT成像设备的探测器个数。
在一种可选的实施方式中，所述融合模块具体用于将输入的所述投影图像转换为所述重建光声图像；
所述编码器包括依次连接的1个特征提取子模块以及4个收缩子模块，其中，所述特征提取子模块由卷积层、归一化层以及激活函数层构成；所述收缩子模块由卷积层、归一化层、激活函数层以及最大池化层构成；
所述解码器包括依次连接的4个扩展子模块，其中，所述扩展子模块由卷积层、归一化层、激活函数层以及尺寸调整层构成，所述尺寸调整层由卷积层与上采样层构成，或由卷积层与下采样层构成。
在一种可选的实施方式中，所述光声图像预测模型具体包括：
p0(rs)＝fFusion(fBack-projection(fFiltering(p(rd,t))))，
其中，p0(rs)为重建光声图像，fFusion为融合模块，fBack-projection为反投影模块，fFiltering为滤波模块，p(rd,t)为原始光声信号数据，rs为待成像目标的光声源的位置，rd为PACT成像设备的探测器的位置。
需要说明的是，本申请实施例提供的一种基于深度学习的光声图像重建装置中各模块执行的步骤以及相关技术特征与申请实施例所提供方法相对应，装置部分的描述可以参见前述方法部分的实施例，此处不赘述。
综上所述，本申请实施例提供了一种基于深度学习的光声图像重建装置，所述装置包括：数据获取模块以及图像重建模块；其中，数据获取模块用于响应于PACT成像设备对待成像目标进行光声探测，采样获得原始光声信号数据；图像重建模块用于将原始光声信号数据输入预设的光声图像预测模型中，以获得光声图像预测模型输出的重建光声图像，光声图像预测模型为通过预先获得的训练数据训练得到的深度学习网络模型，训练数据包括PACT成像设备采样得到的光声训练信号与重建得到的光声训练图像，光声训练信号与光声训练图像一一对应。本申请实施例中基于预先训练的深度学习网络模型实现光声图像的重建，与现有技术相比，本申请实施例提供的光声图像重建方法兼顾传统算法的鲁棒性和深度学习算法的自适应性，性能更优，提高了PACT系统光声图像的成像质量。
在另一实施例中，本申请实施例还提供了一种基于深度学习的光声图像重建设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如前述实施例中任一项基于深度学习的光声图像重建方法的步骤。
在另一实施例中，本申请实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施例中任一项基于深度学习的光声图像重建方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本领域技术人员可以理解，图所示的流程图仅是本申请的实施方式可以在其中得以实现的一个示例，本申请实施方式的适用范围不受到该流程图任何方面的限制。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于深度学习的光声图像重建方法，其特征在于，所述方法包括：
响应于PACT成像设备对待成像目标进行光声探测，采样获得原始光声信号数据；
将所述原始光声信号数据输入预设的光声图像预测模型中，以获得所述光声图像预测模型输出的重建光声图像，其中，所述光声图像预测模型为通过预先获得的训练数据训练得到的深度学习网络模型，所述训练数据包括所述PACT成像设备采样得到的光声训练信号与重建得到的光声训练图像，所述光声训练信号与所述光声训练图像一一对应。
2.根据权利要求1所述的方法，其特征在于，所述原始光声信号数据包括：稀疏视角采样数据或有限视角采样数据。
3.根据权利要求1所述的方法，其特征在于，所述光声图像预测模型包括：滤波模块、反投影模块以及融合模块；其中，所述滤波模块包括依次连接的第一卷积层、第二卷积层、第三卷积层以及跳跃连接层；所述反投影模块包括稀疏转换矩阵以及密集分解矩阵；所述融合模块包括编码器、解码器以及尺寸调整层。
4.根据权利要求3所述的方法，其特征在于，所述滤波模块用于将输入的所述原始光声信号转换为反投影信号，并将所述反投影信号输入所述反投影模块；
所述第一卷积层包括16个尺寸维度为1×L×1的卷积核以及1个激活函数，所述第二卷积层包括1个尺寸维度为1×L×16的卷积核以及1个激活函数，所述第三卷积层包括Ns个尺寸维度为Nd×1×1的卷积核和1个尺寸维度为1×1×NdNs的卷积核，所述跳跃连接层用于根据所述原始光声信号与所述第三卷积层的输出信号获得所述反投影信号，所述反投影信号的尺寸维度为Nd×Ns×1，其中，所述L为所述原始光声信号采样长度的1/4，所述Ns为所述原始光声信号采样长度，所述Nd为所述PACT成像设备的探测器个数。
5.根据权利要求4所述的方法，其特征在于，所述反投影模块用于将输入的所述反投影信号转换为投影图像，并将所述投影图像输入所述融合模块；
所述稀疏转换矩阵的尺寸维度为NxNy×NdNs×1，所述密集分解矩阵的尺寸维度为Nx×Ny×Nd，所述投影图像的尺寸维度为Nx×Ny×Nd，其中，所述Nx与所述Ny为所述光声图像预测模型的输出图像尺寸维度，所述Nd为所述PACT成像设备的探测器个数。
6.根据权利要求5所述的方法，其特征在于，所述融合模块用于将输入的所述投影图像转换为所述重建光声图像；
所述编码器包括依次连接的1个特征提取子模块以及4个收缩子模块，其中，所述特征提取子模块由卷积层、归一化层以及激活函数层构成；所述收缩子模块由卷积层、归一化层、激活函数层以及最大池化层构成；
所述解码器包括依次连接的4个扩展子模块，其中，所述扩展子模块由卷积层、归一化层、激活函数层以及尺寸调整层构成，所述尺寸调整层由卷积层与上采样层构成，或由卷积层与下采样层构成。
7.根据权利要求3所述的方法，其特征在于，所述光声图像预测模型包括：
p0(rs)＝fFusion(fBack-projection(fFiltering(p(rd,t))))，
其中，所述p0(rs)为重建光声图像，所述fFusion为融合模块，所述fBack-projection为反投影模块，所述fFiltering为滤波模块，所述p(rd,t)为原始光声信号数据，所述rs为所述待成像目标的位置，所述rd为所述PACT成像设备的探测器的位置。
8.一种基于深度学习的光声图像重建装置，其特征在于，所述装置包括：
数据获取模块，用于响应于PACT成像设备对待成像目标进行光声探测，采样获得原始光声信号数据；
图像重建模块，用于将所述原始光声信号数据输入预设的光声图像预测模型中，以获得所述光声图像预测模型输出的重建光声图像，其中，所述光声图像预测模型为通过预先获得的训练数据训练得到的深度学习网络模型，所述训练数据包括PACT成像设备采样得到的光声训练信号与重建得到的光声训练图像，所述光声训练信号与所述光声训练图像一一对应。
9.一种基于深度学习的光声图像重建设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述基于深度学习的光声图像重建方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于深度学习的光声图像重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211641418.1A CN115937345A (zh) | 2022-12-20 | 2022-12-20 | 一种基于深度学习的光声图像重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211641418.1A CN115937345A (zh) | 2022-12-20 | 2022-12-20 | 一种基于深度学习的光声图像重建方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115937345A true CN115937345A (zh) | 2023-04-07 |
Family
ID=86655757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211641418.1A Pending CN115937345A (zh) | 2022-12-20 | 2022-12-20 | 一种基于深度学习的光声图像重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115937345A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740219A (zh) * | 2023-08-14 | 2023-09-12 | 之江实验室 | 一种三维光声断层成像方法、装置、设备及可读存储介质 |
-
2022
- 2022-12-20 CN CN202211641418.1A patent/CN115937345A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116740219A (zh) * | 2023-08-14 | 2023-09-12 | 之江实验室 | 一种三维光声断层成像方法、装置、设备及可读存储介质 |
| CN116740219B (zh) * | 2023-08-14 | 2024-01-09 | 之江实验室 | 一种三维光声断层成像方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11120582B2 (en) | Unified dual-domain network for medical image formation, recovery, and analysis | |
| Abdelhamed et al. | Ntire 2019 challenge on real image denoising: Methods and results | |
| US8971599B2 (en) | Tomographic iterative reconstruction | |
| CN109509235A (zh) | Ct图像的重建方法、装置、设备及存储介质 | |
| CN112396672B (zh) | 一种基于深度学习的稀疏角度锥束ct图像重建方法 | |
| CN111507462A (zh) | 一种端对端的三维医学图像超分辨率重建方法及系统 | |
| Xie et al. | Dual network architecture for few-view CT-trained on ImageNet data and transferred for medical imaging | |
| CN114219719A (zh) | 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法 | |
| CN114332283A (zh) | 基于双域神经网络的训练方法和光声图像重建方法 | |
| CN115937345A (zh) | 一种基于深度学习的光声图像重建方法及装置 | |
| CN115393191A (zh) | 一种轻量级遥感图像超分辨率重建方法、装置及设备 | |
| CN111369433A (zh) | 基于可分离卷积和注意力的三维图像超分辨率重建方法 | |
| CN114387236A (zh) | 基于卷积神经网络的低剂量Sinogram去噪与PET图像重建方法 | |
| CN110246200B (zh) | 磁共振心脏电影成像方法、装置及磁共振扫描仪 | |
| KR102357350B1 (ko) | 딥러닝을 이용한 저선량 ct 영상의 통계적 영상 복원 방법 및 시스템 | |
| CN114187181A (zh) | 基于残差信息精炼的双路径肺部ct图像超分辨率方法 | |
| CN112489200B (zh) | 一种火焰光谱的三维重建装置和方法 | |
| Li et al. | SUPER learning: a supervised-unsupervised framework for low-dose CT image reconstruction | |
| KR102165915B1 (ko) | 디지털 유방 단층촬영합성 영상의 재구성 장치 및 방법 | |
| CN111223161A (zh) | 一种图像重建方法、装置及存储介质 | |
| CN111325700A (zh) | 基于彩色图像的多维度融合算法和系统 | |
| CN116612009A (zh) | 一种多尺度连接生成对抗网络医学图像超分辨率重建方法 | |
| Tian et al. | Retinal fundus image superresolution generated by optical coherence tomography based on a realistic mixed attention GAN | |
| Bao et al. | Iterative convolutional neural network for noisy image super-resolution | |
| FR2547149A1 (fr) | Systeme et procede de reprojection en tomodensitometrie |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |