CN112465924A - 一种基于多特征融合的快速医学图像重构方法 - Google Patents

Abstract

本发明公开了一种基于多特征融合的快速医学图像重构方法，其特征在于，包括以下步骤：对原始光声信号进行预处理，使长序列形状的原始光声信号变为方形矩阵形式的预处理光声信号；将预处理光声信号输入基于多特征融合的快速医学图像重构深度学习网络后获得重构的光声图像。针对稀疏设置下的重构问题，本发明提出了一种快速高效的光声重构方法，该光声重构方法采用了一种基于多特征融合的快速医学图像重构深度学习网络，能够以较小的参数量快速的重构出高质量图像。

Description

一种基于多特征融合的快速医学图像重构方法

技术领域

本发明涉及一种快速医学图像重构方法，属于光声成像、医学图像重构、深度学习技术领域。

背景技术

光声成像是一种新兴的成像方式，其结合了光学和超声两种模态。在保持超声成像的高穿透深度的优点的同时还具备比超声成像更高的空间分辨率和对比度。

目前的光声成像系统根据系统配置和应用领域大致分为三类：PACT(光声计算机断层扫描)，PAM(光声显微成像)和PAE(光声内窥成像)。现已研究许多具有临床意义的应用，如早期的肿瘤检测和小动物的全身成像。光声计算机断层扫描因依赖于高速的信号采集和重建算法，在预临床和临床领域发挥重要作用，其检测早期肿瘤与颈部动脉硬化等疾病中具有重大意义。

在光声成像中，脉冲激光触发的光声信号的时空函数满足下式(1)：

式(1)中，▽表示哈密顿算子；v_s表示声波的传播速度；t表示时间变量；p(r,t)表示光声压力传播的时空函数；p₀(r)表示初始的压力分布；δ(t)表示狄拉克δ函数。

定义一个矩阵x等于初始压力分布p₀(r)，将矩阵x通过一个传感器转换成所接收到的时域光声信号，同时受到采样条件和环境因素影响，所接收到的时域光声信号y满足下式(2)：

y＝A(x) (2)

式(2)中，A表示测量矩阵。

光声图像重构的目标就是从时域光声信号y恢复矩阵x(即恢复初始压力分布p₀(r))。由于测量矩阵A受限于多个条件(物理性质和采样角度等)，通常无法直接求逆，因此通过时域光声信号y求出精确的矩阵x是一个不适定问题。

传统方法解决该问题的思路大致可以分为迭代方法和非迭代方法。迭代方法也被称为基于模型的重构方法，其通过不断迭代对A的近似矩阵模拟前向模型和y进行优化得到一个满意的结果，唯一的缺点是所消耗的时间让迭代方法无法应用于实时成像。非迭代方法所求出的x是一个近似解，其求解速度快可以满足实时成像的需求。一种新兴的非迭代方法是通过深度神经网络进行重构，其通过大量训练样本得到A的逆运算，其准确度受训练样本影响。

发明内容

本发明要解决的技术问题是：利用迭代方法通过时域光声信号y求出精确的矩阵x无法应用于实时成像；利用非迭代方法通过时域光声信号y求出精确的矩阵x的准确度受训练样本影响。

为了解决上述技术问题，本发明的技术方案是提供了一种基于多特征融合的快速医学图像重构方法，其特征在于，包括以下步骤：

步骤1、对原始光声信号进行预处理，使长序列形状的原始光声信号变为方形矩阵形式的预处理光声信号；

步骤2、将预处理光声信号输入基于多特征融合的快速医学图像重构深度学习网络后获得重构的光声图像，其中，基于多特征融合的快速医学图像重构深度学习网络包括信号-图像重构主模块、语义特征提取模块、特征融合模块一和特征融合模块二，预处理光声信号分别输入信号-图像重构主模块及语义特征提取模块：

信号-图像重构主模块用于提取预处理光声信号的信号特征将其映射到图像域，由带有注意力机制的自编码器、解码器以及位于自编码器与解码器之间的由空洞卷积实现的Inception模块组成，Inception模块用于底层特征的整合和增强；

语义特征提取模块利用预处理光声信号采用DAS重构方式获得重构图像，并从重构图像中提取语义特征；

语义特征提取模块提取的语义特征通过特征融合模块一融合到形状相对应的解码器的不同层中；

特征融合模块二借助注意力机制，在语义特征与解码器不同层的最终输出融合之后，输入到特征融合模块二进行再次的特征融合，进而生成最终的光声图像。

优选地，步骤1中，对于所述原始光声信号的预处理通过对所述原始光声信号进行特定频率的采样和重组来完成。

优选地，利用如下式(1)、(2)所示的损失函数L_aux对语义特征提取模块的输出进行监督：

L_aux＝smoothL₁(y-y_d) (1)

式(1)、(2)中，y表示重构的金标准，y_d为语义特征提取模块的输出，x＝y-y_d。

优选地，利用如下式(3)所示的损失函数L_recon对所述特征融合模块二的输出进行监督：

L_recon＝smoothL₁(y-y_r) (3)

式(3)中，y_r为所述特征融合模块二的输出，函数smoothL₁(·)如所示式(2)所示，此时，式(2)中x＝y-y_r。

优选地，利用如下式(4)所示的损失函数L_total对所述基于多特征融合的快速医学图像重构深度学习网络进行监督：

L_total＝λ_rL_recon+λ_aL_aux (4)

式(4)中，λ_r、λ_a是分别用来平衡L_recon、L_aux的权重。

优选地，所述特征融合模块一由金字塔池化和特征图连接组成，所述语义特征通过金字塔池化输出不同大小的特征图，特征图再通过特征图连接融合到形状相对应的解码器的不同层中。

针对稀疏设置下的重构问题，本发明提出了一种快速高效的光声重构方法，该光声重构方法采用了一种基于多特征融合的快速医学图像重构深度学习网络(以下简称为AS-Net)，能够以较小的参数量快速的重构出高质量图像。

附图说明

图1为本发明的整体示意图；

图2为注意力增强模块示意图；

图3为特征融合模块二示意图；

图4为仿真血管数据上的实验结果对比，从左到右分别是重构金标准、DAS、U-Net、FDU-Net、Ki-GAN、Y-Net和本发明方法；

图5为活体老鼠腹部和活体小鱼全身成像数据上的实验结果对比，其中，图5(a)及图5(h)是重构金标准的实验结果对比，图5(b)及图5(i)是DAS的实验结果对比，图5(c)及图5(j)是U-Net的实验结果对比，图5(d)及图5(k)是FDU-Net的实验结果对比，图5(e)及图5(l)是Ki-GAN的实验结果对比，图5(f)及图5(m)是Y-Net的实验结果对比，图5(g)及图5(n)是本发明方法的实验结果对比。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明公开了一种基于多特征融合的快速医学图像重构方法，具体技术方案包括一个对光声信号的预处理方法和一个对应的AS-Net，其整体示意图如图1所示。其中，对光声信号的预处理(光声信号的折叠变换处理)是为了将长序列形状的原始光声信号变为易于AS-Net处理的方形矩阵形式的预处理光声信号。对于原始光声信号的预处理是通过对光声信号进行特定频率的采样和重组来完成的，以变换后的信号作为AS-Net的输入，比起以原始信号作为网络输入，网络的参数量得到了大幅度的减少。

AS-Net由一个信号-图像重构主模块PA reconstruction、一个语义特征提取模块Semantic feature extraction和两个特征融合模块Feature fusionⅠ、Feature fusionⅡ构成。

信号-图像重构主模块负责提取预处理光声信号的信号特征将其映射到图像域。信号-图像重构主模块的主架构是一个自编码器，本发明在自编码器部分上引入注意力机制，使得网络聚焦在与重构密切相关的信号特征上。信号-图像重构主模块还包括解码器，本发明在自编码器和解码器的中间添加了一个底部模块，即由空洞卷积实现的Inception模块，用于底层特征的整合和增强。

语义特征提取模块负责从传统DAS重构的图像中提取语义特征来辅助重构，为信号-图像重构主模块提供其缺失的语义特征。语义特征提取模块由3x3卷积块和注意力增强模块构成。注意力增强模块的结构示意图如图2所示，其中GC block为全局上下文信息提取模块，可以对全局上下文进行建模，捕获长距离关系。此处的注意力增强模块是一个bottleneck模块(即1x1卷积，3x3卷积，1x1卷积的组合)和全局上下文模块的组合。本发明利用如下式(1)、(2)所示的损失函数L_aux对语义特征提取模块的输出进行监督：

L_aux＝smoothL₁(y-y_d) (1)

式(1)、(2)中，y表示重构的金标准，y_d为语义特征提取模块的输出，x＝y-y_d。

特征融合模块Feature fusionⅠ将语义特征提取模块提取出的语义特征融合到信号-图像重构主模块的输出中，进而增强图像的重构结果。特征融合模块Feature fusionⅠ主要由一个金字塔池化和特征图连接组成，语义特征提取模块提取出的语义特征通过金字塔池化输出不同大小的特征图，特征图通过特征图连接进一步融合到信号-图像重构主模块中形状相对应的解码器的不同层中。

特征融合模块Feature fusionⅡ则再一次借助了注意力机制，在语义特征与解码器的最终输出融合之后，输入到特征融合模块Feature fusionⅡ进行再次的特征融合，进而生成最终的光声图像。特征融合模块Feature fusionⅡ的结构如图3所示，即，先将两组特征进行矩阵拼接，然后通过一个全局上下文模块和三层3x3的卷积层。对于特征融合模块Feature fusionⅡ的输出，本发明利用如下式(3)所示的损失函数L_recon进行监督：

L_recon＝smoothL₁(y-y_r) (3)

式(3)中，y_r为所述特征融合模块二的输出，函数smoothL₁(·)如所示式(2)所示，此时，式(2)中x＝y-y_r。

本发明利用如下式(4)所示的损失函数L_total对AS-Net进行监督：

L_total＝λ_rL_recon+λ_aL_aux (4)

式(4)中，λ_r、λ_a是分别用来平衡L_recon、L_aux的权重，本实施例中，分别赋值为λ_a＝1，λ_r＝0.2。

为验证所提出的方法的优越性，通过仿真生成大量分割的血管原始光声信号与初始压力分布。所设置的实验由环型的传感器环绕包围，数量为30个传感器，环绕半径为18mm，声速为1500m/s，所有图片的尺寸为128x128的大小，传感器的中心频率被设置为5MHz，整个数据集由3600个训练集和400个测试集组成。此外，我们还在实验室采集了活体小鱼和老鼠的光声信号分布数据集，其中小鱼数据集由1744个训练对和200个测试对组成，老鼠数据集由1046个训练对和170个测试对组成。通过对比其它比较成熟的网络结构与所提方法的一些变体进行同时训练比较性能，所有的实验程序都在深度学习开源框架Pytorch上实现，且传统重构方法使用的是延迟叠加算法。定量评价指标选择结构相似度(SSIM)，峰值信噪比(PSNR)和信噪比(SNR)衡量算法的表现性能。

实验平台配置为两张Intel Xeon E5-2690(2.6GHz)CPU和四张NVIDIAGTX1080tiGPU，通过稀疏采样数据和实验数据来对比不同的实验结果。

在测试集上测试的实验的比较结果，在三个稀疏数据集的实验结果如下表所示：

仿真血管数据上的实验样图如图4所示，活体小鱼和老鼠血管数据上的实验样图如图5所示。

Claims (6)

1.一种基于多特征融合的快速医学图像重构方法，其特征在于，包括以下步骤：

步骤1、对原始光声信号进行预处理，使长序列形状的原始光声信号变为方形矩阵形式的预处理光声信号；

步骤2、将预处理光声信号输入基于多特征融合的快速医学图像重构深度学习网络后获得重构的光声图像，其中，基于多特征融合的快速医学图像重构深度学习网络包括信号-图像重构主模块、语义特征提取模块、特征融合模块一和特征融合模块二，预处理光声信号分别输入信号-图像重构主模块及语义特征提取模块：

信号-图像重构主模块用于提取预处理光声信号的信号特征将其映射到图像域，由带有注意力机制的自编码器、解码器以及位于自编码器与解码器之间的由空洞卷积实现的Inception模块组成，Inception模块用于底层特征的整合和增强；

语义特征提取模块利用预处理光声信号采用DAS重构方式获得重构图像，并从重构图像中提取语义特征；

语义特征提取模块提取的语义特征通过特征融合模块一融合到形状相对应的解码器的不同层中；

特征融合模块二借助注意力机制，在语义特征与解码器不同层的最终输出融合之后，输入到特征融合模块二进行再次的特征融合，进而生成最终的光声图像。

2.如权利要求1所述的一种基于多特征融合的快速医学图像重构方法，其特征在于，步骤1中，对于所述原始光声信号的预处理通过对所述原始光声信号进行特定频率的采样和重组来完成。

3.如权利要求1所述的一种基于多特征融合的快速医学图像重构方法，其特征在于，利用如下式(1)、(2)所示的损失函数L_aux对语义特征提取模块的输出进行监督：

L_aux＝smoothL₁(y-y_d) (1)

式(1)、(2)中，y表示重构的金标准，y_d为语义特征提取模块的输出，x＝y-y_d。

4.如权利要求3所述的一种基于多特征融合的快速医学图像重构方法，其特征在于，利用如下式(3)所示的损失函数L_recon对所述特征融合模块二的输出进行监督：

L_recon＝smoothL₁(y-y_r) (3)

式(3)中，y_r为所述特征融合模块二的输出，函数smoothL₁(·)如所示式(2)所示，此时，式(2)中x＝y-y_r。

5.如权利要求4所述的一种基于多特征融合的快速医学图像重构方法，其特征在于，利用如下式(4)所示的损失函数L_total对所述基于多特征融合的快速医学图像重构深度学习网络进行监督：

L_total＝λ_rL_recon+λ_aL_aux (4)

式(4)中，λ_r、λ_a是分别用来平衡L_recon、L_aux的权重。

6.如权利要求1所述的一种基于多特征融合的快速医学图像重构方法，其特征在于，所述特征融合模块一由金字塔池化和特征图连接组成，所述语义特征通过金字塔池化输出不同大小的特征图，特征图再通过特征图连接融合到形状相对应的解码器的不同层中。

Images