CN113674376B - 一种基于深度学习的超声平面波复合成像方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的超声平面波复合成像方法，包括：第一步，构建输入样本数据，包括数据的获取以及预处理，第二步，构建从平面波射频数据到超声复合图像的映射，训练网络，调整网络参数，得到平面波信号重建出高质量超声图像的最优模型，具体采用以U‑Net为基础的神经网络架构，整个网络包括下采样、中间层、上采样以及输出模块；第三步，图像数据后处理。本发明将单次发射获得的平面波信号，通过深度神经网络，重建出需要多次平面波合成才能产生的超声图像，从而能降低获取高质量超声图像的复杂度，并提高帧频，以推动深度学习超声成像的发展。

Description

一种基于深度学习的超声平面波复合成像方法

技术领域

本发明设计超声射频数据图像重建领域，具体涉及一种基于深度学习的平面波射频数据超声图像重建方法。

背景技术

超声成像是一种广泛应用于临床诊断的技术手段，具有安全性高、成本低、对患者无创等优点。平面波成像通过激发所有的孔径，从不同的角度发射平面波，每个角度发射得到一组平面波回波数据，根据这组回波数据进行延时叠加，然后进行取包络和对数压缩得到一幅超声图像。

传统的相干平面波合成(coherent plane-wave compounding,CPWC)从多个角度进行合成平面波数据，得到较高质量的图像；最小方差(Minimum variance,MV)波束形成通过计算通道数据的协方差矩阵和逆矩阵得到通道数据的权重，进行加权后，得到质量较高的超声图像，但是由于要计算协方差矩阵和逆矩阵，计算量很大。虽然现有的传统方法取得了好的效果，但是，这些方法是有条件限制，难以在不同的场景中自适应。

深度学习方法可以将复杂的计算过程交给神经网络进行学习，直接从信号到图像进行映射。此种端到端的学习方法的学习成本低、对信号的质量要求不是很高，低质量的信号也可以学习出高质量的图像。现有的深度学习方法很多也是对通道数据的权重进行学习，一旦场景改变，就较难重建出较好的图像。

发明内容

本发明提供一种基于深度学习的平面波射频数据超声图像重建方法，以期能直接从平面波的射频数据恢复到高质量的超声图像，从而降低获取高质量超声图像的复杂度。

本发明为解决问题，采用如下方案：

本发明一种基于深度学习的超声平面波复合成像方法的特点在于，包括以下步骤：

步骤一：构建输入样本数据，包括数据的获取以及预处理；

步骤1.1：获取单个角度平面波的射频信号RF，并对所述射频信号RF进行延时对齐、归一化的预处理，从而得到预处理后的三维射频数据矩阵S；

步骤1.2：获取多个角度平面波的射频信号RF′，并对射频信号RF′对应的多个角度进行延时叠加后的图像信号再进行归一化处理，得到归一化后的高质量超声图像Y；

步骤1.3、对三维射频数据矩阵S和高质量超声图像Y在深度方向分别进行切片得到射频切片集合{s₁,...,s_n,...,s_N}和图像切片集合{y₁,...,y_n,...,y_N}，并相应作为神经网络的输入数据和网络优化的标准数据；其中，s_n表示第n个射频切片，y_n表示第n个图像切片；N表示切片总数；

步骤二：构建U-Net架构的神经网络，包括：下采样模块、中间模块、上采样模块以及输出模块；并将所述射频切片集合{s₁,...,s_n,...,s_N}输入所述神经网络中；

步骤2.1：所述下采样模块由M个下采样块组成，M个下采样块分别为DSampleBlock₁,...,DSampleBlock_m,...,DSampleBlock_M；其中，DSampleBlock_m表示第m级下采样块，m＝1,2,...,M；所述第m级下采样块DSampleBlock_m由第m级多层二维卷积层Dconv2d_m和第m级下采样层DSample_m组成；

所述第m级多层二维卷积层Dconv2d_m包括：X个二维卷积层，X个批量归一化层以及X个ReLU激活函数层，其中，第x个二维卷积层的卷积核大小为k_x；x＝1,2,…,X；

所述第n个射频切片s_n输入第1级下采样模块DSampleBlock₁中的第1级多层二维卷积层Dconv2d₁后输出特征图DCresult₁，并经过第1级下采样层DSample₁的处理，将信号的空间分辨率转变为输入的倍后，输出特征图DResult₁；其中，a表示缩放尺度系数；

当m＝2,3,...,M时，将特征图DResult_m-1作为第m级下采样块DSampleBlock_m的输入，并得到相应输出的特征图DResult_m；从而由第M级下采样块DSampleBlock_M得到所述下采样模块最终输出的特征图DResult_M；

步骤2.2：所述中间模块是一个多层二维卷积层，包括：X个卷积核为k×k的二维卷积层、X个批量归一化层和X个ReLU激活函数；

所述特征图DResult_M经过所述中间模块的处理后，输出特征图midResult；

步骤2.3：所述上采样模块由M个上采样块组成，M个上采样块分别记为USampleBlock₁,...,USampleBlock_m,...,USampleBlock_M；其中，USampleBlock_m表示第m级上采样模块；

所述第m级上采样块USampleBlock_m由第m级多层二维卷积层Uconv2d_m和第m级上采样层USample_m组成；所述第m级多层二维卷积层Uconv2d_m包括，X个二维卷积层，X个批量归一化层以及X个ReLU激活函数层，其中，第x个二维卷积层的卷积核大小为k_x×k_x；

所述特征图midResult输入第M级上采样块USampleBlock_M中的第M级上采样层USample_M，将信号的空间分辨率变为输入的a倍后，输出特征图UResult_M；

所述特征图UResult_M与中间模块的输出mResult进行拼接形成跳跃连接层共同作为所述第M级多层二维卷积层Uconv2d_M的输入，并相应输出特征图UCresult_M；

当m＝1,2,...,M-1时，下采样模块中第m级下采样块DSampleBlock_m的第m级多层卷积层Dconv2d_m输出的特征图DCresult_m和第m+1级上采样块USampleBlock_m+1中第m+1级多层卷积层Dconv2d_m+1输出的特征图UCresult_m+1进行拼接形成跳跃连接层共同作为第m级多层二维卷积层Uconv2d_m的输入；从而由第1级上采样块USampleBlock₁得到所述上采样模块最终输出的特征图UCresult₁；

步骤2.4：所述输出模块由两层卷积层组成，包括：一个卷积核大小为b×b的二维卷积和一个卷积核大小为b的一维卷积；

所述特征图UCresult₁经过输出模块后输出切片超声图像CUIMG；

步骤2.5：使用式(1)建立反向传播的损失函数L：

L＝L_MSE (1)

式(1)中，L_MSE是均方误差损失，并由式(2)得到：

式(2)中，P为图像切片的像素点数，为第n个射频切片s_n经过神经网络生成的图像切片的第i个像素点，/>为标准数据中第n个图像切片对应的第i个像素点；

步骤2.6对神经网络进行训练，并计算损失函数L，当训练迭代次数达到设定的次数或损失误差达小于所设定的阈值时，训练停止，从而得到最优的重建模型；

步骤三、图像后处理：

利用最优的重建模型对射频切片集合{s₁,...,s_n,...,s_N}进行处理并输出相应的切片超声图像后再拼接回原来的尺寸，对拼接后的超声图像进行对数压缩，以得到完整的重建图像IMG。

与现有技术相比，本发明的有益效果在于：

1、本发明使用U-Net架构的神经网络，将单次发射获得的超声平面波射频信号，直接映射重建出需要多次平面波合成才能产生的超声图像，降低了获取高质量超声图像的复杂度，并提高了帧频。U-Net与一般的卷积神经网络相比，U-Net结构多了下采样、上采样以及跳跃连接层，能够捕捉到不同尺度的特征，避免了特征信息的丢失。

2、本发明是将射频信号作为输入，避免了手动提取特征。传统的基于深度学习的方法是学习信号之间的权重，将加权系数作为网络的输入，而本发明是将射频信号作为输入数据，充分利用信号包含的信息，加强了网络从射频数据重建出高质量图像的能力，同时，单个角度的超声平面波信号重建出需要多角度复合才能产生的高质量图像，在一定程度上提高了帧频。

3、本发明考虑到输入信号是三维信号，对输入数据进行了切片处理。将三维射频数据对齐后按照图像的深度进行切片，每次输入的是不同深度的射频数据，充分利用了二维卷积核，避免了使用三维的卷积核，降低了网络学习的难度。

4、本发明在各个模块中使用了多卷积层代替传统的卷积层。传统的卷积层是一层固定卷积核的卷积层，感受野较小，特征信息在一定程度上会丢失。多卷积层封装了多层卷积层、批归一化层以及激活函数层，能够扩大感受野的范围，提取特征范围更大，同时比相同特征提取能力的单层卷积核的卷积层的参数量会少，计算量也少，减少了网络参数量，同时，多卷积层整合了多个激活函数层，代替单一的激活函数层，提高了映射的能力。

附图说明

图1为本发明流程图；

图2为本发明网络的框架图；

图3为本发明下采样块结构图；

图4为本发明方法的多层二维卷积结构图；

图5为本发明上采样块结构图；

图6为本发明输出模块结构图。

具体实施方式

本实施例中，一种基于深度学习的超声平面波复合成像方法，具体流程如图1所示，包括以下步骤：

步骤一：构建输入样本数据，包括数据的获取以及预处理；

步骤1.1：获取单个角度平面波的射频信号RF，并对射频信号RF进行延时对齐、归一化的预处理，从而得到预处理后的三维射频数据矩阵S，本实施例中，使用的是2016年超声平面波挑战赛的公开数据集，数据包括仿真点、仿真斑、实验点、实验斑、以及人体实验数据，每种数据包含75个角度的平面波射频数据，读取单个超声平面波的射频数据，对单个平面波角度的射频数据进行延时、然后归一化操作，得到单个超声平面波射频数据大小为1024×128×256，其中，1024与256是对应的图像的尺寸，128是通道数；

步骤1.2：获取多个角度平面波的射频信号RF′，并对射频信号RF′对应的多个角度进行延时叠加后的图像信号再进行归一化处理，得到归一化后的高质量超声图像Y，在本实施例中，对75角度相干复合的超声平面波数据进行延时叠加，并进行归一化，得到高质量超声图像，得到超声图像的大小是1024×256；

步骤1.3、对三维射频数据矩阵S和高质量超声图像Y在深度方向分别进行切片得到射频切片集合{s₁,...,s_n,...,s_N}和图像切片集合{y₁,...,y_n,...,y_N}，并相应作为神经网络的输入数据和网络优化的标准数据；其中，s_n表示第n个射频切片，y_n表示第n个图像切片，N表示切片总数，在本实施例中，取射频数据和图像的深度为1024，即切为1024个切片；

步骤二：构建U-Net架构的神经网络，包括：下采样模块、中间模块、上采样模块以及输出模块，网络结构如图2所示；并将射频切片集合{s₁,...,s_n,...,s_N}输入神经网络中；

步骤2.1：下采样模块由M个下采样块组成，M个下采样块分别为DSampleBlock₁,...,DSampleBlock_m,...,DSampleBlock_M；其中，DSampleBlock_m表示第m级下采样块，m＝1,2,...,M；第m级下采样块DSampleBlock_m由第m级多层二维卷积层Dconv2d_m和第m级下采样层DSample_m组成，本实施例中，M＝4，第m级下采样块DSampleBlock_m如图3所示；

第m级多层二维卷积层Dconv2d_m包括：X个二维卷积层，X个批量归一化层以及X个ReLU激活函数层，其中，第x个二维卷积层的卷积核大小为k_x；x＝1,2,…,X；本实施例中，X＝2，k_x＝3，第m级多层二维卷积层Dconv2d_m的结构如图4所示；

第n个射频切片s_n输入第1级下采样块DSampleBlock₁中的第1级多层二维卷积层Dconv2d₁后输出特征图DCresult₁，并经过第1级下采样层DSample₁的处理，将信号的空间分辨率转变为输入的倍后，输出特征图DResult₁；其中，a表示缩放尺度系数；本实施例中，第1级多层二维卷积层中每层卷积的卷积核为3×3，卷积步长为1，填充补零，输出后特征图DCresult₁的通道数是64，下采样层采用Maxpooling对信号进行采样，步长为2，即a＝2；

当m＝2,3,...,M时，将特征图DResult_m-1作为第m级下采样块DSampleBlock_m的输入，并得到相应输出的特征图DResult_m；从而由第M级下采样块DSampleBlock_M得到下采样模块最终输出的特征图DResult_M；本实施例中，每级多层二维卷积层中每层卷积的卷积核为3×3，卷积步长为1，填充补零，第2级多层二维卷积层输出的特征图DCresult₂的通道数是128，第3级多层二维卷积层输出的特征图DCresult₃的通道数是256，第4级多层二维卷积层输出的特征图DCresult₄的通道数是512，每级下采样层采用Maxpooling对信号进行采样，步长为2；

步骤2.2：中间模块是一个多层二维卷积层，包括：X个卷积核为k×k的二维卷积层、X个批量归一化层和X个ReLU激活函数；

特征图DResult_M经过中间模块的处理后，输出特征图midResult；本实施例中，中间层的输入通道数为512，输出通道为1024，卷积核为3×3，卷积步长为1，填充补零；

步骤2.3：上采样模块由M个上采样块组成，M个上采样块分别记为USampleBlock₁,...,USampleBlock_m,...,USampleBlock_M；其中，USampleBlock_m表示第m级上采样模块；第m级上采样块的具体结构如图5所示；

第m级上采样块USampleBlock_m由第m级多层二维卷积层Uconv2d_m和第m级上采样层USample_m组成；第m级多层二维卷积层Uconv2d_m包括，X个二维卷积层，X个批量归一化层以及X个ReLU激活函数层，其中，第x个二维卷积层的卷积核大小为k_x×k_x；本实施例中，X＝2，k_x＝3，第m级多层二维卷积层Uconv2d_m的结构和下采样模块中Dconv2d_m的结构相同；

特征图midResult输入第M级上采样块USampleBlock_M中的第M级上采样层USample_M，将信号的空间分辨率变为输入的a倍后，输出特征图UResult_M；本实施例中，上采样层采用转置卷积convTransposed对信号进行上采样，步长为2，即a＝2；

特征图UResult_M与中间模块的输出mResult进行拼接形成跳跃连接层共同作为第M级多层二维卷积层Uconv2d_M的输入，并相应输出特征图UCresult_M；本实施例中，第M级多层二维卷积层中每层卷积的卷积核为3×3，卷积步长为1，填充补零，输出后特征图UCresult₁的通道数是512，

当m＝1,2,...,M-1时，下采样模块中第m级下采样块DSampleBlock_m的第m级多层卷积层Dconv2d_m输出的特征图DCresult_m和第m+1级上采样块USampleBlock_m+1中第m+1级多层卷积层Dconv2d_m+1输出的特征图UCresult_m+1进行拼接形成跳跃连接层共同作为第m级多层二维卷积层Uconv2d_m的输入；从而由第1级上采样块USampleBlock₁得到上采样模块最终输出的特征图UCresult₁；本实施例中，每级多层二维卷积层中每层卷积的卷积核为3×3，卷积步长为1，填充补零，第3级多层二维卷积层输出的特征图UCresult₃的通道数是256，第2级多层二维卷积层输出的特征图UCresult₂的通道数是128，第1级多层二维卷积层输出的特征图UCresult₁的通道数是64，每级上采样层采用转置卷积convTransposed对信号进行上采样，步长为2；

步骤2.4：输出模块由两层卷积层组成，包括：一个卷积核大小为b×b的二维卷积和一个卷积核大小为b的一维卷积；具体结构如图6所示，本实施例中，二维卷积的卷积核大小为1×1，输入通道为64，输出通道为1，这一层卷积操作的输入数据是64×128×256大小，输出为1×128×256大小，一维卷积的卷积核为1，输入通道为128，输出通道为1，这一层输入数据大小是128×256，输出大小为1×256；

特征图UCresult₁经过输出模块后输出切片超声图像CUIMG；

步骤2.5：使用式(1)建立反向传播的损失函数L：

L＝L_MSE (1)

式(1)中，L_MSE是均方误差损失，并由式(2)得到：

式(2)中，P为图像切片的像素点数，为第n个射频切片s_n经过神经网络生成的图像切片的第i个像素点，/>为标准数据中第n个图像切片对应的第i个像素点；

步骤2.6对神经网络进行训练，并计算损失函数L，当训练迭代次数达到设定的次数或损失误差达小于所设定的阈值时，训练停止，从而得到最优的重建模型；本实施例中，采用Adam优化器，学习率每迭代50次减半，训练迭代了200次，损失误差阈值到6×10^-8；

步骤三、图像后处理：

利用最优的重建模型对射频切片集合{s₁,...,s_n,...,s_N}进行处理并输出相应的切片超声图像后再拼接回原来的尺寸，对拼接后的超声图像进行对数压缩，以得到完整的重建图像IMG。本实施例中，先将1024个切片图像进行拼接，再对拼接的矩阵进行60dB对数压缩变换，即为完整的图像。

Claims (1)

1.一种基于深度学习的超声平面波复合成像方法，其特征在于，包括以下步骤：

步骤一：构建输入样本数据，包括数据的获取以及预处理；

步骤1.1：获取单个角度平面波的射频信号RF，并对所述射频信号RF进行延时对齐、归一化的预处理，从而得到预处理后的三维射频数据矩阵S；

步骤1.2：获取多个角度平面波的射频信号RF′，并对射频信号RF′对应的多个角度进行延时叠加后的图像信号再进行归一化处理，得到归一化后的高质量超声图像Y；

步骤1.3、对三维射频数据矩阵S和高质量超声图像Y在深度方向分别进行切片得到射频切片集合{s₁,...,s_n,...,s_N}和图像切片集合{y₁,...,y_n,...,y_N}，并相应作为神经网络的输入数据和网络优化的标准数据；其中，s_n表示第n个射频切片，y_n表示第n个图像切片；N表示切片总数；

步骤二：构建U-Net架构的神经网络，包括：下采样模块、中间模块、上采样模块以及输出模块；并将所述射频切片集合{s₁,...,s_n,...,s_N}输入所述神经网络中；

步骤2.1：所述下采样模块由M个下采样块组成，M个下采样块分别为DSampleBlock₁,...,DSampleBlock_m,...,DSampleBlock_M；其中，DSampleBlock_m表示第m级下采样块，m＝1,2,...,M；所述第m级下采样块DSampleBlock_m由第m级多层二维卷积层Dconv2d_m和第m级下采样层DSample_m组成；

所述第m级多层二维卷积层Dconv2d_m包括：X个二维卷积层，X个批量归一化层以及X个ReLU激活函数层，其中，第x个二维卷积层的卷积核大小为k_x；x＝1,2,…,X；

所述第n个射频切片s_n输入第1级下采样模块DSampleBlock₁中的第1级多层二维卷积层Dconv2d₁后输出特征图DCresult₁，并经过第1级下采样层DSample₁的处理，将信号的空间分辨率转变为输入的倍后，输出特征图DResult₁；其中，a表示缩放尺度系数；

当m＝2,3,…,M时，将特征图DResult_m-1作为第m级下采样块DSampleBlock_m的输入，并得到相应输出的特征图DResult_m；从而由第M级下采样块DSampleBlock_M得到所述下采样模块最终输出的特征图DResult_M；

步骤2.2：所述中间模块是一个多层二维卷积层，包括：X个卷积核为k×k的二维卷积层、X个批量归一化层和X个ReLU激活函数；

所述特征图DResult_M经过所述中间模块的处理后，输出特征图midResult；

步骤2.3：所述上采样模块由M个上采样块组成，M个上采样块分别记为USampleBlock₁,...,USampleBlock_m,...,USampleBlock_M；其中，USampleBlock_m表示第m级上采样模块；

所述第m级上采样块USampleBlock_m由第m级多层二维卷积层Uconv2d_m和第m级上采样层USample_m组成；所述第m级多层二维卷积层Uconv2d_m包括，X个二维卷积层，X个批量归一化层以及X个ReLU激活函数层，其中，第x个二维卷积层的卷积核大小为k_x×k_x；

所述特征图midResult输入第M级上采样块USampleBlock_M中的第M级上采样层USample_M，将信号的空间分辨率变为输入的a倍后，输出特征图UResult_M；

所述特征图UResult_M与中间模块的输出mResult进行拼接形成跳跃连接层共同作为所述第M级多层二维卷积层Uconv2d_M的输入，并相应输出特征图UCresult_M；

当m＝1,2,...,M-1时，下采样模块中第m级下采样块DSampleBlock_m的第m级多层卷积层Dconv2d_m输出的特征图DCresult_m和第m+1级上采样块USampleBlock_m+1中第m+1级多层卷积层Dconv2d_m+1输出的特征图UCresult_m+1进行拼接形成跳跃连接层共同作为第m级多层二维卷积层Uconv2d_m的输入；从而由第1级上采样块USampleBlock₁得到所述上采样模块最终输出的特征图UCresult₁；

步骤2.4：所述输出模块由两层卷积层组成，包括：一个卷积核大小为b×b的二维卷积和一个卷积核大小为b的一维卷积；

所述特征图UCresult₁经过输出模块后输出切片超声图像CUIMG；

步骤2.5：使用式(1)建立反向传播的损失函数L：

L＝L_MSE (1)

式(1)中，L_MSE是均方误差损失，并由式(2)得到：

式(2)中，P为图像切片的像素点数，为第n个射频切片s_n经过神经网络生成的图像切片的第i个像素点，/>为标准数据中第n个图像切片对应的第i个像素点；

步骤2.6对神经网络进行训练，并计算损失函数L，当训练迭代次数达到设定的次数或损失误差达小于所设定的阈值时，训练停止，从而得到最优的重建模型；

步骤三、图像后处理：

利用最优的重建模型对射频切片集合{s₁,...,s_n,...,s_N}进行处理并输出相应的切片超声图像后再拼接回原来的尺寸，对拼接后的超声图像进行对数压缩，以得到完整的重建图像IMG。