CN117814832A - 超声成像方法、装置和图像数据处理装置 - Google Patents

Abstract

一种超声成像方法、装置和图像数据处理装置，方法包括：控制超声探头向目标对象发射超声波，接收所述超声波的回波，并从所述回波获取超声回波数据，所述超声回波数据包括基波数据和谐波数据；基于所述超声回波数据，利用神经网络的网络层提取所述超声回波数据的特征，基于所述特征提取所述谐波数据，并基于所述谐波数据生成并显示超声图像；其中，所述神经网络的网络层包括输入层和输出层，还包括卷积层或隐藏层，所述特征包括频谱、幅值和相位中至少一种。该超声成像方法和装置利用神经网络提取和/或估计超声回波数据中的谐波数据，基于谐波数据生成并显示目标对象的超声图像，能够实现高轴向分辨率和高时间分辨率的超声成像。

Description

超声成像方法、装置和图像数据处理装置

技术领域

本申请涉及超声成像技术领域，更具体地涉及一种超声成像方法、装置和图像数据处理装置。

背景技术

在超声成像技术中，组织谐波成像技术的常用方法包括滤波谐波成像和发射脉冲相位反转的方法。

其中，滤波谐波成像适用于理想情况下，发射的基波信号与谐波信号频带完全分离的情况。当发射的基波信号频带比较宽的时候，谐波信号的频带与基波信号频带发生重叠。此时很难通过设计合适的滤波器获取谐波分量。但是，基波的频带与发射脉冲的持续时间相关，发射脉冲的持续时间越长，基波脉宽越窄，但是对应的轴向分辨率低；相反，发射脉冲的持续时间越短，对应的轴向分辨率高，但是基波脉宽越窄，滤波器设计难度大。

发射脉冲相位反转的方法可以平衡基波频带和轴向分辨率的问题，既保障了轴向分辨率，又能获取纯净的谐波信号。但是，发射脉冲相位反转的办法有一个难以克服的弊端，该方法需要在同一扫描线发射两次甚至四次。因此使得数据采集时间变长，降低了系统的时间分辨率。对于高速运动的组织，又容易引入运动带来的伪像问题。

综上所述，目前的组织谐波成像方法难以同时实现高时间分辨率和高轴向分辨率，而高时间分辨率和高轴向分辨率是超声诊断同时追求的两个指标。因此，需要一种能够解决该问题的超声成像方案。

发明内容

根据本申请一方面，提供了一种超声成像方法，所述方法包括：控制超声探头向目标对象发射超声波，接收所述超声波的回波，并从所述回波获取超声回波数据，所述超声回波数据包括基波数据和谐波数据；基于所述超声回波数据，利用神经网络的网络层提取所述超声回波数据的特征，基于所述特征提取所述谐波数据，并基于所述谐波数据生成并显示超声图像；其中，所述神经网络的网络层包括输入层和输出层，还包括卷积层或隐藏层，所述特征包括频谱、幅值和相位中至少一种。

根据本申请另一方面，提供了一种超声成像方法，所述方法包括：控制超声探头向目标对象发射超声波，接收所述超声波的回波，并从所述回波获取超声回波数据，所述超声回波数据包括基波数据和谐波数据；基于所述超声回波数据，利用神经网络提取所述谐波数据，并基于所述谐波数据生成并显示超声图像。

根据本申请再一方面，提供了一种超声成像方法，所述方法包括：控制超声探头向目标对象发射超声波，接收所述超声波的回波，并从所述回波获取超声回波数据，所述超声回波数据包括基波数据和谐波数据；获取所述超声回波数据中的近场回波数据和远场回波数据，作为待处理的超声回波数据；基于所述待处理的超声回波数据，利用神经网络估计谐波数据，并基于所述谐波数据生成并显示超声图像。

根据本申请又一方面，提供了一种超声成像方法，所述方法包括：控制超声探头向目标对象发射超声波，接收所述超声波的回波，并从所述回波获取超声回波数据；基于所述超声回波数据，利用神经网络提取和/或估计谐波数据，并基于所述谐波数据生成并显示超声图像。

根据本申请再一方面，提供了一种超声成像装置，所述装置包括发射接收电路、超声探头、处理器和显示器，其中：所述发射接收电路用于控制所述超声探头向目标对象发射超声波，接收所述超声波的回波；所述处理器用于从所述回波获取超声回波数据，并用于执行上述的超声成像方法而生成超声图像；所述显示器用于显示所述超声图像。

根据本申请又一方面，提供了一种超声成像装置，所述装置包括发射接收电路、超声探头、谐波处理电路、处理器和显示器，其中：所述发射接收电路用于控制所述超声探头向目标对象发射超声波，接收所述超声波的回波；所述谐波数据电路用于从所述回波获取超声回波数据，并基于所述超声回波数据，利用神经网络提取和/或估计谐波数据；所述处理器用于基于所述谐波数据生成超声图像；所述显示器用于显示所述超声图像。

根据本申请再一方面，提供了一种图像数据处理装置，所述装置包括存储器、处理器和显示器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在由所述处理器运行时，使得所述处理器执行上述的超声成像方法而生成超声图像，所述显示器用于显示所述超声图像。

根据本申请实施例的超声成像方法、装置和图像数据处理装置利用神经网络提取和/或估计超声回波数据中的谐波数据，基于谐波数据生成并显示目标对象的超声图像，能够实现高轴向分辨率和高时间分辨率的超声成像。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出发射脉冲相位反转的方法实现组织谐波成像的示例性示意图。

图2示出滤波谐波成像方法中谐波信号的频带与基波信号频带未发生重叠的示例性示意图。

图3示出滤波谐波成像方法中谐波信号的频带与基波信号频带发生重叠的示例性示意图。

图4示出根据本申请一个实施例的超声成像方法的示意性流程图。

图5示出根据本申请实施例的超声成像方法中训练神经网络的示例性示意图。

图6示出根据本申请实施例的超声成像方法中进行数据重排的一个示例的示意图。

图7示出根据本申请实施例的超声成像方法中进行数据重排的另一个示例的示意图。

图8示出根据本申请实施例的超声成像方法中进行数据重排的再一个示例的示意图。

图9示出根据本申请另一个实施例的超声成像方法的示意性流程图。

图10示出根据本申请再一个实施例的超声成像方法的示意性流程图。

图11示出组织谐波信号在超声成像过程中有逐渐增强到减弱的过程示意图。

图12示出根据本申请又一个实施例的超声成像方法的示意性流程图。

图13示出根据本申请一个实施例的超声成像装置的示意性结构框图。

图14示出根据本申请另一个实施例的超声成像装置的示意性结构框图。

图15示出根据本申请一个实施例的图像数据处理装置的示意性结构框图。

具体实施方式

为了使得本申请的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。

超声诊断是一种以超声波为信息载体，对人体组织和器官进行探查、显示和诊断的一种诊断方法。B型超声诊断法通过发射超声脉冲到生物组织中，并接收回波信号并以光点的形式显示出来。回声强则光点强，回声弱则光点弱。超声诊断方法常用来判断脏器的位置、大小、形态等，确定病灶的范围和物理性质，提供一些腺体的解剖图，鉴别胎儿的正常与异常，在眼科、妇产科以及心血管系统、消化系统、泌尿系统的应用十分广泛。

在超声诊断中，超声系统通过换能器向生物组织发射频率为f的超声波信号，并接收频率为f的回波信号。但是由于生物组织的非线性现象的存在，频率为f的超声波信号在生物组织内传播过程中会产生畸变，生成频率为2f的二次谐波，3f的三次谐波等…。利用次谐波成像能够获取更高质量的超声图像质量，其中通过生物组织自身产生的谐波成像成为组织谐波成像。

组织谐波成像技术相比于传统基波成像技术具有轴向、侧向分辨力高，可以消除近场伪像和旁瓣干扰的优点。谐波成像接收的高频谐波分量的衰减只发生在回程过程中，所以其衰减相对于通常情况下小了一半。因此，谐波成像有可能获取人体较深部位的细腻图像。另外，由于目标信号不包含系统的基波成分，因此，谐波成像模式可有效避免基波成分在发射和传播过程不可避免产生的各种伪像。由于多种来源的噪声被一致，所以二次谐波图像中的对比分辨率被增强，图像的边缘形态更突出。在空间分辨率上，因为较高的声压才能诱导出二次谐波，所以二次谐波往往产生于基波声束的中央部分，所以对应的谐波声束较窄，因此对应的二次谐波图像也具有更高的空间分辨能力。

基于二次谐波的上述有点，组织谐波成像被作为超声诊断设备的一项主要功能用于超声诊断过程中。

目前，滤波谐波成像和发射脉冲相位反转的方法是常用的组织谐波成像方法。

在理想情况下，如果发射的基波信号频带比较窄，则此时产生的二次谐波成分与基波成分就会分开处在各自的频段上。在这种情况下，通过设计一个高通滤波器来滤除基波成分可以获取二次谐波分量。该方法即为滤波谐波成像。

发射脉冲相位反转的方法指的是，在一条扫描线上连续发射两个信号频率保持一致，但是相位相差180°的信号。并将两次发射信号的回波信号相加作为该扫描线上的回波信号，如图1所示。此时，基波信号因为相位相差180°，叠加以后信号为0；而谐波信号因为产生于传播过程，所以相位相同，叠加后增强。因此，两个相位相差180°的信号叠加以后保留下的信号为谐波分量。

滤波谐波成像适用于理想情况下，发射的基波信号与谐波信号频带完全分离的情况，如图2所示。当发射的基波信号频带比较宽的时候，谐波信号的频带与基波信号频带发生重叠。此时很难通过设计合适的滤波器获取谐波分量，如图3所示。但是，基波的频带与发射脉冲的持续时间相关，发射脉冲的持续时间越长，基波脉宽越窄，但是对应的轴向分辨率低；相反，发射脉冲的持续时间越短，对应的轴向分辨率高，但是基波脉宽越窄，滤波器设计难度大。

虽然发射脉冲相位反转的方法可以平衡基波频带和轴向分辨率的问题，既保障了轴向分辨率，又能获取纯净的谐波信号。但是，发射脉冲相位反转的办法有一个难以克服的弊端，该方法需要在同一扫描线发射两次甚至四次。因此使得数据采集时间变长，降低了系统的时间分辨率。对于高速运动的组织，又容易引入运动带来的伪像问题。

综上所述，现有的组织谐波成像技术难以同时实现高时间分辨率和高轴向分辨率。而高时间分辨率和高轴向分辨率是超声诊断同时追求的两个指标。高轴向分辨率可以为诊断提供更多的细节信息，而高时间分辨率在心脏成像中尤为重要。

基于此，本申请提供了新的超声成像方案，能够同时实现高时间分辨率和高轴向分辨率。下面结合图4到图15来描述。

图4示出了根据本申请一个实施例的超声成像方法400的示意性流程图。如图4所示，超声成像方法400可以包括如下步骤：

在步骤S410，控制超声探头向目标对象发射超声波，接收超声波的回波，并从回波获取超声回波数据，超声回波数据包括基波数据和谐波数据。

在步骤S420，基于超声回波数据，利用神经网络的网络层提取超声回波数据的特征，基于特征提取谐波数据，并基于谐波数据生成并显示超声图像；其中，神经网络的网络层包括输入层和输出层，还包括卷积层或隐藏层，特征包括频谱、幅值和相位中至少一种。

在本申请的实施例中，将超声回波数据输入到神经网络，利用神经网络提取超声回波数据中的谐波数据，最终基于谐波数据生成并显示目标对象的超声图像。由于是利用神经网络的网络层(至少包括输入层和输出层，还可包括卷积层或者隐藏层)对超声回波数据进行特征提取，根据提取到的频谱、幅值、相位等至少一种特征从包括基波数据和谐波数据的超声回波数据中提取出谐波数据，因此该神经网络能够对基波数据和谐波数据进行区分。换言之，根据本申请实施例的超声成像方法400无需基波数据和谐波数据彼此频带完全分离也能从包括基波数据和谐波数据的超声回波数据中提取出谐波数据，因此其与前文所述的滤波谐波成像方法相比，可以设置更宽的发射信号带宽，从而获取更高的轴向分辨率。另一方面，根据本申请实施例的超声成像方法控制超声探头向目标对象发射超声波，接收超声波的回波，并从回波获取超声回波数据，超声回波数据包括基波数据和谐波数据。也即，根据本申请实施例的超声成像方法无需在一条扫描线上连续发射两次并将两次发射信号的回波信号相加作为该扫描线上的回波信号，而是常规发射接收方案即可，因此其与前述的发射脉冲相位反转方法相比，可以在不损失时间分辨率的前提下，获取同样高质量的纯净谐波信号数据。总体上，根据本申请实施例的超声成像方法利用神经网络提取超声回波数据中的谐波数据，基于谐波数据生成并显示目标对象的超声图像，能够实现高轴向分辨率和高时间分辨率的超声成像。

在本申请的实施例中，方法400还可以包括训练神经网络，其中，训练神经网络，包括：构建第一数据集和第二数据集，将第一数据集中的数据输入至神经网络，通过迭代，使得神经网络的输出不断接近于第二数据集中对应的数据；其中，第一数据集和第二数据集是真实采集到的数据，第一数据集包括正向脉冲信号或反向脉冲信号对应的超声回波数据，第二数据集包括正向脉冲信号和反向脉冲信号的叠加信号对应的超声回波数据；其中，对应的超声回波数据为经过信号域处理后的数据或者经过图像域处理后的数据。

在该实施例中，通过发射脉冲相位反转的方法构建数据集，即前述的第一数据集和第二数据集，如图5所示，第一数据集数据输入到合适的生成器，即神经网络(例如卷积神经网络、循环神经网络、对抗神经网络、注意力神经网络、全链接网络等)中，生成器输出的数据与第二数据集中数据这两者之间的误差作为反馈信息反馈给生成器以优化生成器，通过不断的迭代，使第一数据集中的数据不断接近于第二数据集中对应的数据，当经由判断器判断生成器输出的数据与第二数据集中数据的误差小于设定值时，则训练完成。最终训练好的神经网络，实现了基波到谐波的变化过程，从而能够实现从超声回波数据中提取谐波分量。

在本申请的实施例中，步骤S420中的基于超声回波数据，利用(训练好的)神经网络的网络层提取超声回波数据的特征，基于特征提取谐波数据，并基于谐波数据生成并显示超声图像，可以包括：对超声回波数据进行信号域处理中的部分处理，得到信号域数据；将信号域数据输入到神经网络，利用神经网络的网络层提取信号域数据的特征，基于特征提取并输出谐波数据；对谐波数据进行信号域处理中的其余部分处理后再进行图像域处理，得到超声图像；或者，对超声回波数据进行信号域处理，得到信号域数据；将信号域数据输入到神经网络，利用神经网络的网络层提取信号域数据的特征，基于特征提取并输出谐波数据；对谐波数据进行图像域处理，得到超声图像；或者，对超声回波数据进行信号域处理后再进行图像域处理中的部分处理，得到图像域数据；将图像域数据输入到神经网络，利用神经网络的网络层提取图像域数据的特征，基于特征提取并输出谐波数据；对谐波数据进行图像域处理中的其余部分处理，得到超声图像；其中，信号域处理包括以下中的至少一项：模数转换、信号解调、放大、滤波、降采样、数据归一化、主成分分析、数据增强、数据重排、波束合成；图像域处理包括取模、对数压缩、灰度变换。

在该实施例中，输入至神经网络进行特征提取的超声回波数据可以是经过信号域处理的全部处理的超声回波数据，也可以是经过信号域处理的部分处理的超声回波数据，还可以是经过信号域处理的全部处理以及图像域处理的部分处理的超声回波数据。在一般的超声成像技术中，从超声回波数据到超声图像数据需要依次经过信号域处理和图像域处理。因此，在本申请的实施例中，神经网络可以设置在超声成像技术中信号域处理和图像域处理这两者所包括的各种处理中的任意两个处理之间(稍后结合示例来描述)。也就是说，在本申请的实施例中，信号域处理和图像域处理均是要进行的，当这些处理中的部分处理在神经网络处理之前执行时，这些处理中的其余部分处理则需要在神经网络处理之后执行。下面结合一些不同的实施例来描述。

在一个实施例中，输入至神经网络进行特征提取的超声回波数据是经过信号域处理的全部处理的超声回波数据，其中，信号域处理包括模数转换、信号解调、放大、滤波、降采样、数据归一化、主成分分析、数据增强、数据重排和波束合成中的至少一项。在此之后，经过信号域处理的超声回波数据输入到神经网络，由神经网络从中提取出谐波数据。在此之后，对谐波数据进行图像域处理，得到最终要显示的超声图像，其中，图像域处理包括取模、对数压缩、灰度变换中的至少一项，这三项也可以合成为扫描变换。

现在结合一个具体示例来描述，在该示例中，信号域处理包括模数转换、正交解调和波束合成，图像域处理包括扫描变换。基于此，在该示例中，基于超声回波数据，利用神经网络提取谐波数据，并基于谐波数据生成超声图像，可以包括：对超声回波数据进行模数转换，得到模数转换后的数据；对模数转换后的数据进行正交解调，得到正交解调后的数据；对正交解调后的数据进行波束合成，得到波束合成后的数据；将波束合成后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行扫描变换，得到超声图像。

在另一个实施例中，输入至神经网络进行特征提取的超声回波数据是经过信号域处理中的部分处理的超声回波数据，其中，信号域处理包括模数转换、信号解调、放大、滤波、降采样、数据归一化、主成分分析、数据增强、数据重排和波束合成等。因此，部分信号域处理可以包括模数转换、信号解调、放大、滤波、降采样、数据归一化、主成分分析、数据增强、数据重排和波束合成中的至少一项。在此之后，经过信号域处理中的部分处理的超声回波数据输入到神经网络，由神经网络从中提取出谐波数据。在此之后，对谐波数据进行信号域处理中的其余处理后再进行图像域处理，得到最终要显示的超声图像。其中，图像域处理包括取模、对数压缩、灰度变换中的至少一项，这三项也可以合成为扫描变换。

现在结合几个具体示例来描述，在这些示例中，信号域处理包括模数转换、正交解调和波束合成，图像域处理包括扫描变换。

基于此，在一个示例中，基于超声回波数据，利用神经网络提取谐波数据，并基于谐波数据生成超声图像，可以包括：对超声回波数据进行模数转换，得到模数转换后的数据；将模数转换后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行正交解调、波束合成和扫描变换，得到超声图像。

在另一个示例中，基于超声回波数据，利用神经网络提取谐波数据，并基于谐波数据生成超声图像，可以包括：对超声回波数据进行模数转换，得到模数转换后的数据；将模数转换后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行正交解调、波束合成和扫描变换，得到超声图像。

在再一个示例中，基于超声回波数据，利用神经网络提取谐波数据，并基于谐波数据生成超声图像，可以包括：对超声回波数据进行模数转换，得到模数转换后的数据；对模数转换后的数据进行正交解调，得到正交解调后的数据；将正交解调后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行波束合成和扫描变换，得到超声图像。

在再一个实施例中，输入至神经网络进行特征提取的超声回波数据是经过信号域处理的全部处理以及图像域处理的部分处理的超声回波数据；其中，信号域处理包括模数转换、信号解调、放大、滤波、降采样、数据归一化、主成分分析、数据增强、数据重排和波束合成中的至少一项；图像域处理包括取模、对数压缩、灰度变换中的至少一项。在此之后，经过信号域处理中的全部处理以及图像域处理的部分处理的超声回波数据输入到神经网络，由神经网络从中提取出谐波数据。在此之后，对谐波数据进行图像域处理中的其余处理后，得到最终要显示的超声图像。

现在结合几个具体示例来描述，在这些示例中，信号域处理包括模数转换、正交解调和波束合成，图像域处理包括取模、对数压缩和灰度变换。

基于此，在一个示例中，基于超声回波数据，利用神经网络提取谐波数据，并基于谐波数据生成超声图像，可以包括：对超声回波数据进行模数转换，得到模数转换后的数据；对模数转换后的数据进行正交解调，得到正交解调后的数据；对正交解调后的数据进行波束合成，得到波束合成后的数据；对波束合成后的数据进行取模，得到取模后的数据；将取模后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行对数压缩和灰度变换，得到超声图像。

在另一个示例中，基于超声回波数据，利用神经网络提取谐波数据，并基于谐波数据生成超声图像，可以包括：对超声回波数据进行模数转换，得到模数转换后的数据；对模数转换后的数据进行正交解调，得到正交解调后的数据；对正交解调后的数据进行波束合成，得到波束合成后的数据；对波束合成后的数据进行取模，得到取模后的数据；对取模后的数据进行对数压缩，得到对数压缩后的数据；将对数压缩后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行灰度变换，得到超声图像。

以上结合一些具体示例描述了步骤S420的具体处理过程。在本申请的实施例中，除了上述示例中提及的模数转换、正交解调(信号解调的一种，也可以是其他解调方法)和波束合成，信号域处理还可以包括信号放大、滤波、降采样、数据归一化、主成分分析、数据增强、数据重排中的至少一项。

其中，放大包括：根据超声回波数据的接收时刻的不同，采用不同的放大倍数对超声回波数据进行放大，用以补偿数据信号衰减。滤波通常是在信号解调以后，通过例如一个低通滤波器，来提高信号质量。降采样是为了降低信号的采样率，减少计算量。数据归一化可以包括缩放归一化或者标准归一化，数据归一化可以使得数据被限定在一定的范围内，从而消除奇异(样本)数据导致的不良影响。

主成分分析包括：将超声回波数据进行特征中心化得到特征，求解特征的协方差矩阵，求解协方差矩阵的特征值，选取最大特征值构成特征向量，将超声回波数据投影到特征向量；主成分分析主要起到降低数据特征维度的作用。

数据增强包括对超声回波数据进行平移和/或加噪声处理，这是提高神经网络处理数据的精度。例如，在训练神经网络时，在有限的训练数据中，对数据进行平移、加噪声等操作扩大数据集大小，从而增强神经网络的精度。

数据重排包括将超声回波数据按照以下方式中的至少一种进行重新排列：将超声探头的每一阵元接收到的超声回波数据经解调后排列成两列(一列为I数据，一列为Q数据，假设某阵元接收数据为(Npoint*1)，则其排成两列如图6所示I₁Q₁两列数据)或者在解调前排列成一列；将超声探头同一次发射超声波后所有有效阵元接收到的超声回波数据(Npoint*2n)排列成矩阵(如图7所示I₁Q₁……I_nQ_n的N*2n的矩阵，其中n为有效阵元的个数)；将超声探头的每一阵元接收到的超声回波数据(Npoint*1)分割成多个(例如m个)后排列成矩阵(Npoint/m，2m，如图8所示I_1-1Q_1-1、I_1-2Q_1-2数据，图8中是m取值为2的示例)。需要说明的是，如果是解调前的数据，则不再设置成两列，即图6到图8中的列数减少一半。此外，在其他示例中，图6到图8之间还可以组合成三维甚至更高维度的数据输入。重新排列后的数据作为神经网络的输入数据输入到神经网络中，能够提高神经网络的精度。

以上描述了一些对超声回波数据的信号域处理的具体内容。应理解，在对神经网络进行训练时，应对训练数据也执行上述的操作。更准确地说，正是因为在训练阶段对训练数据执行了上述操作，在训练好神经网络后，利用神经网络提取谐波数据时也应当执行同样的操作。此外，神经网络输出的数据应当根据上述处理进行相应的处理，例如数据维度复原，数据大小复原等等。

在得到神经网络的输出数据即谐波数据后，对其进行信号域处理的其余部分处理、或者是图像域处理、或者是图像域处理的其余部分处理，得到超声图像，如前文所述的。

基于上面的描述，根据本申请实施例的超声成像方法400利用神经网络提取超声回波数据中的谐波数据，基于谐波数据生成并显示目标对象的超声图像，能够实现高轴向分辨率和高时间分辨率的超声成像。

下面结合图9描述根据本申请另一个实施例的超声成像方法900。如图9所示，超声成像方法900包括如下步骤：

在步骤S910，控制超声探头向目标对象发射超声波，接收超声波的回波，并从回波获取超声回波数据，超声回波数据包括基波数据和谐波数据。

在步骤S920，基于超声回波数据，利用神经网络提取谐波数据，并基于谐波数据生成并显示超声图像。

根据本申请实施例的超声成像方法900与前文所述的根据本申请实施例的超声成像方法400大体上类似，不同之处在于，超声成像方法900中采用的神经网络未限定其结构，且神经网络提取的特征未限定为频谱、幅值和相位中至少一种，但根据本申请实施例的超声成像方法900也同样是利用神经网络提取超声回波数据中的谐波数据，基于谐波数据生成并显示目标对象的超声图像，因此能够实现高轴向分辨率和高时间分辨率的超声成像。由于前文已经详细描述神经网络的训练及其在超声成像过程中的具体处理，因此本领域技术人员可以结合前文对超声成像方法400的描述理解超声成像方法900的操作，此处为了简洁，不再赘述具体细节，仅描述一些主要操作。

在本申请的实施例中，步骤S920的基于超声回波数据，利用神经网络提取谐波数据，并基于谐波数据生成超声图像，包括：对超声回波数据进行信号域处理中的部分处理，得到信号域数据；将信号域数据输入到神经网络，利用神经网络输出谐波数据；对谐波数据进行信号域处理中的其余部分处理后再进行图像域处理，得到超声图像；或者，对超声回波数据进行信号域处理，得到信号域数据；将信号域数据输入到神经网络，利用神经网络输出谐波数据；对谐波数据进行图像域处理，得到超声图像；或者，对超声回波数据进行信号域处理后再进行图像域处理中的部分处理，得到图像域数据；将图像域数据输入到神经网络，利用神经网络输出谐波数据；对谐波数据进行图像域处理中的其余部分处理，得到超声图像。

在本申请的一个实施例中，步骤S920的基于超声回波数据，利用神经网络提取谐波数据，并基于谐波数据生成超声图像，包括：对超声回波数据进行模数转换，得到模数转换后的数据；将模数转换后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行正交解调、波束合成和扫描变换，得到超声图像。

在本申请的另一个实施例中，步骤S920的基于超声回波数据，利用神经网络提取谐波数据，并基于谐波数据生成超声图像，包括：对超声回波数据进行模数转换，得到模数转换后的数据；对模数转换后的数据进行正交解调，得到正交解调后的数据；将正交解调后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行波束合成和扫描变换，得到超声图像。

在本申请的再一个实施例中，步骤S920的基于超声回波数据，利用神经网络提取谐波数据，并基于谐波数据生成超声图像，包括：对超声回波数据进行模数转换，得到模数转换后的数据；对模数转换后的数据进行正交解调，得到正交解调后的数据；对正交解调后的数据进行波束合成，得到波束合成后的数据；将波束合成后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行扫描变换，得到超声图像。

在本申请的又一个实施例中，步骤S920的基于超声回波数据，利用神经网络提取谐波数据，并基于谐波数据生成超声图像，包括：对超声回波数据进行模数转换，得到模数转换后的数据；对模数转换后的数据进行正交解调，得到正交解调后的数据；对正交解调后的数据进行波束合成，得到波束合成后的数据；对波束合成后的数据进行取模，得到取模后的数据；将取模后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行对数压缩和灰度变换，得到超声图像。

在本申请的再一个实施例中，步骤S920的基于超声回波数据，利用神经网络提取谐波数据，并基于谐波数据生成超声图像，包括：对超声回波数据进行模数转换，得到模数转换后的数据；对模数转换后的数据进行正交解调，得到正交解调后的数据；对正交解调后的数据进行波束合成，得到波束合成后的数据；对波束合成后的数据进行取模，得到取模后的数据；对取模后的数据进行对数压缩，得到对数压缩后的数据；将对数压缩后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行灰度变换，得到超声图像。

在本申请的实施例中，步骤S920的神经网络为以下中的任一项：卷积神经网络、循环神经网络、对抗神经网络、注意力神经网络、全链接网络。

在本申请的实施例中，方法900还包括：训练神经网络；其中，训练神经网络，包括：构建第一数据集和第二数据集，将第一数据集中的数据输入至神经网络，通过迭代，使得神经网络的输出不断接近于第二数据集中对应的数据；其中，第一数据集和第二数据集是真实采集到的数据，第一数据集包括正向脉冲信号或反向脉冲信号对应的超声回波数据，第二数据集包括正向脉冲信号和反向脉冲信号的叠加信号对应的超声回波数据。

在本申请的实施例中，对应的超声回波数据为经过信号域处理后的数据或者经过图像域处理后的数据。

基于上面的描述，根据本申请实施例的超声成像方法900利用神经网络提取超声回波数据中的谐波数据，基于谐波数据生成并显示目标对象的超声图像，能够实现高轴向分辨率和高时间分辨率的超声成像。

下面结合图10描述根据本申请另一个实施例的超声成像方法1000。如图10所示，超声成像方法1000包括如下步骤：

在步骤S1010，控制超声探头向目标对象发射超声波，接收超声波的回波，并从回波获取超声回波数据，超声回波数据包括基波数据和谐波数据。

在步骤S1020，获取超声回波数据中的近场回波数据和远场回波数据，作为待处理的超声回波数据。

在步骤S1030，基于待处理的超声回波数据，利用神经网络估计谐波数据，并基于谐波数据生成并显示超声图像。

根据本申请实施例的超声成像方法1000与前文所述的根据本申请实施例的超声成像方法900大体上类似，不同之处在于，根据本申请实施例的超声成像方法900是利用神经网络从超声回波数据中提取谐波数据，而根据本申请实施例的超声成像方法1000是利用神经网络从超声回波数据的近场回波数据和远场回波数据中估计谐波数据。因此，相对于超声成像方法900中采用的神经网络，超声成像方法1000中采用的神经网络的功能有所不同，训练所用数据有所不同，其他部分大体上相似。下面更详细地描述根据本申请实施例的超声成像方法1000。

根据超声的基本原理，组织谐波产生于超声信号在生物组织的传播过程。因此，组织谐波近场因为传播距离短，谐波信号弱；超声信号在组织中传播一定距离以后谐波信号成分才逐渐增强。但是随着传播距离增加，超声信号减弱，而谐波信号的幅度与声压二次方成正比。所以，传播距离进一步增加以后，谐波信号逐渐减弱。因此，组织谐波信号在超声成像过程中有逐渐增强到减弱的过程，如图11所示。基于这样的原理，对于近场和远场回波数据，其中的谐波数据信号较弱，采用前文所述的超声成像方法900难以提取出谐波数据，因此提出了根据本申请实施例的超声成像方法1000。该方法1000在获取超声回波数据后，从中获取近场回波数据和远场回波数据作为待处理的超声回波数据，将待处理器的超声回波数据输入到神经网络，利用神经网络估计超声回波数据中的谐波数据，最终基于谐波数据生成并显示目标对象的超声图像。由于是利用神经网络对超声回波数据进行处理而从中估计出谐波数据，因此该神经网络能够从基波数据中估计可能生成的谐波数据。因此，根据本申请实施例的超声成像方法1000也无需基波数据和谐波数据彼此频带完全分离，因此其与前文所述的滤波谐波成像方法相比，可以设置更宽的发射信号带宽，从而获取更高的轴向分辨率。另一方面，根据本申请实施例的超声成像方法控制超声探头向目标对象发射超声波，接收超声波的回波，并从回波获取超声回波数据，超声回波数据包括基波数据和谐波数据。也即，根据本申请实施例的超声成像方法无需在一条扫描线上连续发射两次并将两次发射信号的回波信号相加作为该扫描线上的回波信号，而是常规发射接收方案即可，因此其与前述的发射脉冲相位反转方法相比，可以在不损失时间分辨率的前提下，获取同样高质量的纯净谐波信号数据。总体上，根据本申请实施例的超声成像方法1000利用神经网络估计近场回波数据和远场回波数据中的谐波数据，基于谐波数据生成并显示目标对象的超声图像，能够实现高轴向分辨率和高时间分辨率的超声成像。

在本申请的实施例中，方法1000还可以包括训练神经网络，其中，训练神经网络，包括：构建第一数据集和第二数据集，将第一数据集中的数据输入至神经网络，通过迭代，使得神经网络的输出不断接近于第二数据集中对应的数据；其中，第一数据集和第二数据集是仿真得到的数据，第一数据集包括脉冲信号仿真通过线性组织后的超声回波数据，第二数据集包括脉冲信号仿真通过非线性组织后的超声回波数据。其中，仿真得到的超声回波数据为经过信号域处理后的数据或者经过图像域处理后的数据。

在该实施例中，将纯基波数据和考虑非线性参数时的回波数据分别作为第一数据集和第二数据集。第一数据集数据输入到合适的生成器，即神经网络(例如卷积神经网络、循环神经网络、对抗神经网络、注意力神经网络、全链接网络等)中，生成器输出的数据与第二数据集中数据这两者之间的误差作为反馈信息反馈给生成器以优化生成器，通过不断的迭代，使第一数据集中的数据不断接近于第二数据集中对应的数据，当经由判断器判断生成器输出的数据与第二数据集中数据的误差小于设定值时，则训练完成。最终训练好的神经网络，实现了从基波信号估计可能生成的谐波信号，主要可以应用于近场和远场谐波信号弱的区域的谐波数据估计。

在本申请的实施例中，步骤S1020中的基于待处理的超声回波数据，利用神经网络估计谐波数据，并基于谐波数据生成超声图像，包括：对待处理的超声回波数据进行信号域处理中的部分处理，得到信号域数据；将信号域数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行信号域处理中的其余部分处理后再进行图像域处理，得到超声图像；或者，对待处理的超声回波数据进行信号域处理，得到信号域数据；将信号域数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行图像域处理，得到超声图像；或者，对待处理的超声回波数据进行信号域处理后再进行图像域处理中的部分处理，得到图像域数据；将图像域数据输入到神经网络，由神经网络输出估计出的谐波数据；对谐波数据进行图像域处理中的其余部分处理，基于谐波数据得到超声图像。

在该实施例中，输入至神经网络的超声回波数据可以是经过信号域处理的全部处理的超声回波数据，也可以是经过信号域处理的部分处理的超声回波数据，还可以是经过信号域处理的全部处理以及图像域处理的部分处理的超声回波数据。在一般的超声成像技术中，从超声回波数据到超声图像数据需要依次经过信号域处理和图像域处理。因此，在本申请的实施例中，神经网络可以设置在超声成像技术中信号域处理和图像域处理这两者所包括的各种处理中的任意两个处理之间(稍后结合示例来描述)。也就是说，在本申请的实施例中，信号域处理和图像域处理均是要进行的，当这些处理中的部分处理在神经网络处理之前执行时，这些处理中的其余部分处理则需要在神经网络处理之后执行。下面结合一些不同的实施例来描述。

在一个实施例中，输入至神经网络的超声回波数据是经过信号域处理的全部处理的超声回波数据，其中，信号域处理包括模数转换、信号解调、放大、滤波、降采样、数据归一化、主成分分析、数据增强、数据重排和波束合成中的至少一项。在此之后，经过信号域处理的超声回波数据输入到神经网络，由神经网络从中估计出谐波数据。在此之后，对谐波数据进行图像域处理，得到最终要显示的超声图像，其中，图像域处理包括取模、对数压缩、灰度变换中的至少一项，这三项也可以合成为扫描变换。

现在结合一个具体示例来描述，在该示例中，信号域处理包括模数转换、正交解调和波束合成，图像域处理包括扫描变换。基于此，在该示例中，基于超声回波数据，利用神经网络估计谐波数据，并基于谐波数据生成超声图像，可以包括：对超声回波数据进行模数转换，得到模数转换后的数据；对模数转换后的数据进行正交解调，得到正交解调后的数据；对正交解调后的数据进行波束合成，得到波束合成后的数据；将波束合成后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行扫描变换，得到超声图像。

在另一个实施例中，输入至神经网络的超声回波数据是经过信号域处理中的部分处理的超声回波数据，其中，信号域处理包括模数转换、信号解调、放大、滤波、降采样、数据归一化、主成分分析、数据增强、数据重排和波束合成等。因此，部分信号域处理可以包括模数转换、信号解调、放大、滤波、降采样、数据归一化、主成分分析、数据增强、数据重排和波束合成中的至少一项。在此之后，经过信号域处理中的部分处理的超声回波数据输入到神经网络，由神经网络从中估计出谐波数据。在此之后，对谐波数据进行信号域处理中的其余处理后再进行图像域处理，得到最终要显示的超声图像。其中，图像域处理包括取模、对数压缩、灰度变换中的至少一项，这三项也可以合成为扫描变换。

现在结合几个具体示例来描述，在这些示例中，信号域处理包括模数转换、正交解调和波束合成，图像域处理包括扫描变换。

基于此，在一个示例中，基于超声回波数据，利用神经网络估计谐波数据，并基于谐波数据生成超声图像，可以包括：对超声回波数据进行模数转换，得到模数转换后的数据；将模数转换后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行正交解调、波束合成和扫描变换，得到超声图像。

在另一个示例中，基于超声回波数据，利用神经网络估计谐波数据，并基于谐波数据生成超声图像，可以包括：对超声回波数据进行模数转换，得到模数转换后的数据；将模数转换后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行正交解调、波束合成和扫描变换，得到超声图像。

在再一个示例中，基于超声回波数据，利用神经网络估计谐波数据，并基于谐波数据生成超声图像，可以包括：对超声回波数据进行模数转换，得到模数转换后的数据；对模数转换后的数据进行正交解调，得到正交解调后的数据；将正交解调后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行波束合成和扫描变换，得到超声图像。

在再一个实施例中，输入至神经网络的超声回波数据是经过信号域处理的全部处理以及图像域处理的部分处理的超声回波数据；其中，信号域处理包括模数转换、信号解调、放大、滤波、降采样、数据归一化、主成分分析、数据增强、数据重排和波束合成中的至少一项；图像域处理包括取模、对数压缩、灰度变换中的至少一项。在此之后，经过信号域处理中的全部处理以及图像域处理的部分处理的超声回波数据输入到神经网络，由神经网络从中估计出谐波数据。在此之后，对谐波数据进行图像域处理中的其余处理后，得到最终要显示的超声图像。

现在结合几个具体示例来描述，在这些示例中，信号域处理包括模数转换、正交解调和波束合成，图像域处理包括取模、对数压缩和灰度变换。

基于此，在一个示例中，基于超声回波数据，利用神经网络估计谐波数据，并基于谐波数据生成超声图像，可以包括：对超声回波数据进行模数转换，得到模数转换后的数据；对模数转换后的数据进行正交解调，得到正交解调后的数据；对正交解调后的数据进行波束合成，得到波束合成后的数据；对波束合成后的数据进行取模，得到取模后的数据；将取模后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行对数压缩和灰度变换，得到超声图像。

在另一个示例中，基于超声回波数据，利用神经网络估计谐波数据，并基于谐波数据生成超声图像，可以包括：对超声回波数据进行模数转换，得到模数转换后的数据；对模数转换后的数据进行正交解调，得到正交解调后的数据；对正交解调后的数据进行波束合成，得到波束合成后的数据；对波束合成后的数据进行取模，得到取模后的数据；对取模后的数据进行对数压缩，得到对数压缩后的数据；将对数压缩后的数据输入到神经网络，由神经网络输出谐波数据；对谐波数据进行灰度变换，得到超声图像。

以上结合一些具体示例描述了步骤S1020的具体处理过程。在本申请的实施例中，除了上述示例中提及的模数转换、正交解调(信号解调的一种，也可以是其他解调方法)和波束合成，信号域处理还可以包括信号放大、滤波、降采样、数据归一化、主成分分析、数据增强、数据重排中的至少一项。

其中，放大包括：根据超声回波数据的接收时刻的不同，采用不同的放大倍数对超声回波数据进行放大，用以补偿数据信号衰减。滤波通常是在信号解调以后，通过例如一个低通滤波器，来提高信号质量。降采样是为了降低信号的采样率，减少计算量。数据归一化可以包括缩放归一化或者标准归一化，数据归一化可以使得数据被限定在一定的范围内，从而消除奇异(样本)数据导致的不良影响。

主成分分析包括：将超声回波数据进行特征中心化得到特征，求解特征的协方差矩阵，求解协方差矩阵的特征值，选取最大特征值构成特征向量，将超声回波数据投影到特征向量；主成分分析主要起到降低数据特征维度的作用。

数据增强包括对超声回波数据进行平移和/或加噪声处理，这是提高神经网络处理数据的精度。例如，在训练神经网络时，在有限的训练数据中，对数据进行平移、加噪声等操作扩大数据集大小，从而增强神经网络的精度。

数据重排包括将超声回波数据按照以下方式中的至少一种进行重新排列：将超声探头的每一阵元接收到的超声回波数据经解调后排列成两列或者在解调前排列成一列；将超声探头同一次发射超声波后所有有效阵元接收到的超声回波数据排列成矩阵；将超声探头的每一阵元接收到的超声回波数据分割成多个后排列成矩阵。需要说明的是，如果是解调前的数据，则不再设置成两列。重新排列后的数据作为神经网络的输入数据输入到神经网络中，能够提高神经网络的精度。

以上描述了一些对超声回波数据的信号域处理的具体内容。应理解，在对神经网络进行训练时，应对训练数据也执行上述的操作。更准确地说，正是因为在训练阶段对训练数据执行了上述操作，在训练好神经网络后，利用神经网络估计谐波数据时也应当执行同样的操作。此外，神经网络输出的数据应当根据上述处理进行相应的处理，例如数据维度复原，数据大小复原等等。

在得到神经网络的输出数据即谐波数据后，对其进行信号域处理的其余部分处理、或者是图像域处理、或者是图像域处理的其余部分处理，得到超声图像，如前文所述的。

基于上面的描述，根据本申请实施例的超声成像方法1000利用神经网络估计近场回波数据和远场回波数据中的谐波数据，基于谐波数据生成并显示目标对象的超声图像，能够实现高轴向分辨率和高时间分辨率的超声成像。

下面结合图12描述根据本申请又一个实施例的超声成像方法1200。如图12所示，超声成像方法1200包括如下步骤：

在步骤S1210，控制超声探头向目标对象发射超声波，接收超声波的回波，并从回波获取超声回波数据。

在步骤S1210，基于超声回波数据，利用神经网络提取和/或估计谐波数据，并基于谐波数据生成并显示超声图像。

根据本申请实施例的超声成像方法1200是前述超声成像方法900和超声成像方法1000的总括，超声成像方法1200可以包括超声成像方法900和超声成像方法1000的结合。例如，对于近场超声回波数据和远场超声回波数据，可以采用方法1000估计出谐波数据；对于近场超声回波数据和远场超声回波数据这两者以外的超声回波数据，可以采用方法900提取出谐波数据。最终基于估计和提取出的谐波数据得到超声图像。由于前文已经详细描述超声成像方法900和1000，此处为了简洁，不再赘述。

下面结合图13描述根据本申请一个实施例的超声成像装置1300。如图13所示，超声成像装置1300可以包括发射接收电路1310、超声探头1320、处理器1330和显示器1340，其中：发射接收电路1310用于控制超声探头1320向目标对象发射超声波，接收超声波的回波；处理器1330用于从回波获取超声回波数据，并用于执行根据本申请实施例的超声成像方法400、900、1000或1200而生成超声图像；显示器1340用于显示超声图像。由于前文已经详细描述超声成像方法400、900、1000和1200，此处为了简洁，不再赘述处理器1330的详细操作，本领域技术人员可以结合前文所述理解根据本申请实施例的超声成像装置1300的结构和操作。

下面结合图14描述根据本申请另一个实施例的超声成像装置1400。如图14所示，超声成像装置1400可以包括发射接收电路1410、超声探头1420、谐波处理电路1430、处理器1440和显示器1450，其中：发射接收电路1410用于控制超声探头1420向目标对象发射超声波，接收超声波的回波；谐波数据电路1430用于从回波获取超声回波数据，并基于超声回波数据，利用神经网络提取和/或估计谐波数据；处理器1440用于基于谐波数据生成超声图像；显示器1450用于显示超声图像。

根据本申请实施例的超声成像装置1400能够实现根据本申请实施例的超声成像方法400、900、1000或1200，其与超声成像装置1300大体上类似，不同之处在于，超声成像装置1300中采用的神经网络部署在处理器中，而超声成像装置1400中采用的神经网络部署在电路中。由于前文已经详细描述超声成像方法400、900、1000和1200，此处为了简洁，不再赘述谐波处理电路1430的详细操作，本领域技术人员可以结合前文所述理解根据本申请实施例的超声成像装置1400的结构和操作。

下面结合图15描述根据本申请再一个实施例的图像数据处理装置1500。如图15所示，图像数据处理装置1500可以包括存储器1510、处理器1520和显示器1530，存储器1510上存储有由处理器1520运行的计算机程序，计算机程序在由处理器1520运行时，使得处理器1520执行根据本申请实施例的超声成像方法400、900、1000或1200而生成超声图像，显示器1530用于显示超声图像。由于前文已经详细描述超声成像方法400、900、1000和1200，此处为了简洁，不再赘述处理器1520的详细操作，本领域技术人员可以结合前文所述理解根据本申请实施例的图像数据处理装置1500的结构和操作。

此外，根据本申请实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本申请实施例的超声成像方法的相应步骤。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。

基于上面的描述，根据本申请实施例的超声成像方法、装置和图像数据处理装置利用神经网络提取和/或估计超声回波数据中的谐波数据，基于谐波数据生成并显示目标对象的超声图像，能够实现高轴向分辨率和高时间分辨率的超声成像。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的物品分析设备中的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。

Claims (33)

1.一种超声成像方法，其特征在于，所述方法包括：

控制超声探头向目标对象发射超声波，接收所述超声波的回波，并从所述回波获取超声回波数据，所述超声回波数据包括基波数据和谐波数据；

基于所述超声回波数据，利用神经网络的网络层提取所述超声回波数据的特征，基于所述特征提取所述谐波数据，并基于所述谐波数据生成并显示超声图像；

其中，所述神经网络的网络层包括输入层和输出层，还包括卷积层或隐藏层，所述特征包括频谱、幅值和相位中至少一种。

2.根据权利要求1所述的方法，其特征在于，所述基于所述超声回波数据，利用神经网络的网络层提取所述超声回波数据的特征，基于所述特征提取所述谐波数据，并基于所述谐波数据生成并显示超声图像，包括：

对所述超声回波数据进行信号域处理中的部分处理，得到信号域数据；将所述信号域数据输入到所述神经网络，利用所述神经网络的网络层提取所述信号域数据的特征，基于所述特征提取并输出所述谐波数据；对所述谐波数据进行所述信号域处理中的其余部分处理后再进行图像域处理，得到所述超声图像；或者

对所述超声回波数据进行信号域处理，得到信号域数据；将所述信号域数据输入到所述神经网络，利用所述神经网络的网络层提取所述信号域数据的特征，基于所述特征提取并输出所述谐波数据；对所述谐波数据进行图像域处理，得到所述超声图像；或者

对所述超声回波数据进行信号域处理后再进行图像域处理中的部分处理，得到图像域数据；将所述图像域数据输入到所述神经网络，利用所述神经网络的网络层提取所述图像域数据的特征，基于所述特征提取并输出所述谐波数据；对所述谐波数据进行所述图像域处理中的其余部分处理，得到所述超声图像；

其中，所述信号域处理包括以下中的至少一项：模数转换、信号解调、放大、滤波、降采样、数据归一化、主成分分析、数据增强、数据重排、波束合成；所述图像域处理包括取模、对数压缩、灰度变换。

3.根据权利要求2所述的方法，其特征在于，

所述放大包括：根据所述超声回波数据的接收时刻的不同，采用不同的放大倍数对所述超声回波数据进行放大；

所述主成分分析包括：将所述超声回波数据进行特征中心化得到特征，求解所述特征的协方差矩阵，求解所述协方差矩阵的特征值，选取最大特征值构成特征向量，将所述超声回波数据投影到所述特征向量；

所述数据增强包括：对所述超声回波数据进行平移和/或加噪声处理；

所述数据重排包括：将所述超声回波数据按照以下方式中的至少一种进行重新排列：将所述超声探头的每一阵元接收到的超声回波数据经解调后排列成两列或者在解调前排列成一列；将所述超声探头同一次发射超声波后所有有效阵元接收到的超声回波数据排列成矩阵；将所述超声探头的每一阵元接收到的超声回波数据分割成多个后排列成矩阵。

4.根据权利要求1-3中的任一项所述的方法，其特征在于，所述方法还包括：训练所述神经网络，

其中，所述训练所述神经网络，包括：

构建第一数据集和第二数据集，将所述第一数据集中的数据输入至所述神经网络，通过迭代，使得所述神经网络的输出不断接近于所述第二数据集中对应的数据；

其中，所述第一数据集和第二数据集是真实采集到的数据，所述第一数据集包括正向脉冲信号或反向脉冲信号对应的超声回波数据，所述第二数据集包括所述正向脉冲信号和所述反向脉冲信号的叠加信号对应的超声回波数据。

5.一种超声成像方法，其特征在于，所述方法包括：

控制超声探头向目标对象发射超声波，接收所述超声波的回波，并从所述回波获取超声回波数据，所述超声回波数据包括基波数据和谐波数据；

基于所述超声回波数据，利用神经网络提取所述谐波数据，并基于所述谐波数据生成并显示超声图像。

6.根据权利要求5所述的方法，其特征在于，所述基于所述超声回波数据，利用神经网络提取所述谐波数据，并基于所述谐波数据生成超声图像，包括：

对所述超声回波数据进行信号域处理中的部分处理，得到信号域数据；将所述信号域数据输入到所述神经网络，利用所述神经网络输出所述谐波数据；对所述谐波数据进行所述信号域处理中的其余部分处理后再进行图像域处理，得到所述超声图像；或者

对所述超声回波数据进行信号域处理，得到信号域数据；将所述信号域数据输入到所述神经网络，利用所述神经网络输出所述谐波数据；对所述谐波数据进行图像域处理，得到所述超声图像；或者

对所述超声回波数据进行信号域处理后再进行图像域处理中的部分处理，得到图像域数据；将所述图像域数据输入到所述神经网络，利用所述神经网络输出所述谐波数据；对所述谐波数据进行所述图像域处理中的其余部分处理，得到所述超声图像。

7.根据权利要求6所述的方法，其特征在于，所述基于所述超声回波数据，利用神经网络提取所述谐波数据，并基于所述谐波数据生成超声图像，包括：

对所述超声回波数据进行模数转换，得到模数转换后的数据；

将所述模数转换后的数据输入到所述神经网络，由所述神经网络输出所述谐波数据；

对所述谐波数据进行正交解调、波束合成和扫描变换，得到所述超声图像。

8.根据权利要求6所述的方法，其特征在于，所述基于所述超声回波数据，利用神经网络提取所述谐波数据，并基于所述谐波数据生成超声图像，包括：

对所述超声回波数据进行模数转换，得到模数转换后的数据；

对所述模数转换后的数据进行正交解调，得到正交解调后的数据；

将所述正交解调后的数据输入到所述神经网络，由所述神经网络输出所述谐波数据；

对所述谐波数据进行波束合成和扫描变换，得到所述超声图像。

9.根据权利要求6所述的方法，其特征在于，所述基于所述超声回波数据，利用神经网络提取所述谐波数据，并基于所述谐波数据生成超声图像，包括：

对所述超声回波数据进行模数转换，得到模数转换后的数据；

对所述模数转换后的数据进行正交解调，得到正交解调后的数据；

对所述正交解调后的数据进行波束合成，得到波束合成后的数据；

将所述波束合成后的数据输入到所述神经网络，由所述神经网络输出所述谐波数据；

对所述谐波数据进行扫描变换，得到所述超声图像。

10.根据权利要求6所述的方法，其特征在于，所述基于所述超声回波数据，利用神经网络提取所述谐波数据，并基于所述谐波数据生成超声图像，包括：

对所述超声回波数据进行模数转换，得到模数转换后的数据；

对所述模数转换后的数据进行正交解调，得到正交解调后的数据；

对所述正交解调后的数据进行波束合成，得到波束合成后的数据；

对所述波束合成后的数据进行取模，得到取模后的数据；

将所述取模后的数据输入到所述神经网络，由所述神经网络输出所述谐波数据；

对所述谐波数据进行对数压缩和灰度变换，得到所述超声图像。

11.根据权利要求6所述的方法，其特征在于，所述基于所述超声回波数据，利用神经网络提取所述谐波数据，并基于所述谐波数据生成超声图像，包括：

对所述超声回波数据进行模数转换，得到模数转换后的数据；

对所述模数转换后的数据进行正交解调，得到正交解调后的数据；

对所述正交解调后的数据进行波束合成，得到波束合成后的数据；

对所述波束合成后的数据进行取模，得到取模后的数据；

对所述取模后的数据进行对数压缩，得到对数压缩后的数据；

将所述对数压缩后的数据输入到所述神经网络，由所述神经网络输出所述谐波数据；

对所述谐波数据进行灰度变换，得到所述超声图像。

12.根据权利要求5-11中的任一项所述的方法，其特征在于，所述神经网络为以下中的任一项：卷积神经网络、循环神经网络、对抗神经网络、注意力神经网络、全链接网络。

13.根据权利要求5-11中的任一项所述的方法，其特征在于，所述方法还包括：训练所述神经网络；

其中，所述训练神经网络，包括：

构建第一数据集和第二数据集，将所述第一数据集中的数据输入至所述神经网络，通过迭代，使得所述神经网络的输出不断接近于所述第二数据集中对应的数据；

其中，所述第一数据集和第二数据集是真实采集到的数据，所述第一数据集包括正向脉冲信号或反向脉冲信号对应的超声回波数据，所述第二数据集包括所述正向脉冲信号和所述反向脉冲信号的叠加信号对应的超声回波数据。

14.根据权利要求13所述的方法，其特征在于，所述对应的超声回波数据为经过信号域处理后的数据或者经过图像域处理后的数据。

15.一种超声成像方法，其特征在于，所述方法包括：

控制超声探头向目标对象发射超声波，接收所述超声波的回波，并从所述回波获取超声回波数据，所述超声回波数据包括基波数据和谐波数据；

获取所述超声回波数据中的近场回波数据和远场回波数据，作为待处理的超声回波数据；

基于所述待处理的超声回波数据，利用神经网络估计谐波数据，并基于所述谐波数据生成并显示超声图像。

16.根据权利要求15所述的方法，其特征在于，所述基于所述待处理的超声回波数据，利用神经网络估计谐波数据，并基于所述谐波数据生成超声图像，包括：

对所述待处理的超声回波数据进行信号域处理中的部分处理，得到信号域数据；将所述信号域数据输入到所述神经网络，由所述神经网络输出所述谐波数据；对所述谐波数据进行所述信号域处理中的其余部分处理后再进行图像域处理，得到所述超声图像；或者

对所述待处理的超声回波数据进行信号域处理，得到信号域数据；将所述信号域数据输入到所述神经网络，由所述神经网络输出所述谐波数据；对所述谐波数据进行图像域处理，得到所述超声图像；或者

对所述待处理的超声回波数据进行信号域处理后再进行图像域处理中的部分处理，得到图像域数据；将所述图像域数据输入到所述神经网络，由所述神经网络输出所述谐波数据；对所述谐波数据进行所述图像域处理中的其余部分处理，基于所述谐波数据得到所述超声图像。

17.根据权利要求16所述的方法，其特征在于，所述基于所述待处理的超声回波数据，利用神经网络估计谐波数据，并基于所述谐波数据生成超声图像，包括：

对所述待处理的超声回波数据进行模数转换，得到模数转换后的数据；

将所述模数转换后的数据输入到所述神经网络，由所述神经网络输出所述谐波数据；

对所述谐波数据进行正交解调、波束合成和扫描变换，得到所述超声图像。

18.根据权利要求16所述的方法，其特征在于，所述基于所述待处理的超声回波数据，利用神经网络估计谐波数据，并基于所述谐波数据生成超声图像，包括：

对所述待处理的超声回波数据进行模数转换，得到模数转换后的数据；

对所述模数转换后的数据进行正交解调，得到正交解调后的数据；

将所述正交解调后的数据输入到所述神经网络，由所述神经网络输出所述谐波数据；

对所述谐波数据进行波束合成和扫描变换，得到所述超声图像。

19.根据权利要求16所述的方法，其特征在于，所述基于所述待处理的超声回波数据，利用神经网络估计谐波数据，并基于所述谐波数据生成超声图像，包括：

对所述待处理的超声回波数据进行模数转换，得到模数转换后的数据；

对所述模数转换后的数据进行正交解调，得到正交解调后的数据；

对所述正交解调后的数据进行波束合成，得到波束合成后的数据；

将所述波束合成后的数据输入到所述神经网络，由所述神经网络输出所述谐波数据；

对所述谐波数据进行扫描变换，得到所述超声图像。

20.根据权利要求16所述的方法，其特征在于，所述基于所述待处理的超声回波数据，利用神经网络估计谐波数据，并基于所述谐波数据生成超声图像，包括：

对所述待处理的超声回波数据进行模数转换，得到模数转换后的数据；

对所述模数转换后的数据进行正交解调，得到正交解调后的数据；

对所述正交解调后的数据进行波束合成，得到波束合成后的数据；

对所述波束合成后的数据进行取模，得到取模后的数据；

将所述取模后的数据输入到所述神经网络，由所述神经网络输出所述谐波数据；

对所述谐波数据进行对数压缩和灰度变换，得到所述超声图像。

21.根据权利要求16所述的方法，其特征在于，所述基于所述待处理的超声回波数据，利用神经网络估计谐波数据，并基于所述谐波数据生成超声图像，包括：

对所述待处理的超声回波数据进行模数转换，得到模数转换后的数据；

对所述模数转换后的数据进行正交解调，得到正交解调后的数据；

对所述正交解调后的数据进行波束合成，得到波束合成后的数据；

对所述波束合成后的数据进行取模，得到取模后的数据；

对所述取模后的数据进行对数压缩，得到对数压缩后的数据；

将所述对数压缩后的数据输入到所述神经网络，由所述神经网络输出所述谐波数据；

对所述谐波数据进行灰度变换，得到所述超声图像。

22.根据权利要求15-21中的任一项所述的方法，其特征在于，所述神经网络为以下中的任一项：卷积神经网络、循环神经网络、对抗神经网络、注意力神经网络、全链接网络。

23.根据权利要求15-21中的任一项所述的方法，其特征在于，所述神经网络的训练包括：

构建第一数据集和第二数据集，将所述第一数据集中的数据输入至所述神经网络，通过迭代，使得所述神经网络的输出不断接近于所述第二数据集中对应的数据；

其中，所述第一数据集和第二数据集是仿真得到的数据，所述第一数据集包括脉冲信号仿真通过线性组织后的超声回波数据，所述第二数据集包括所述脉冲信号仿真通过非线性组织后的超声回波数据。

24.根据权利要求23所述的方法，其特征在于，仿真得到的超声回波数据为经过信号域处理后的数据或者经过图像域处理后的数据。

25.根据权利要求6、14、16、24中的任一项所述的方法，其特征在于，所述信号域处理包括以下中的至少一项：信号解调、放大、滤波、降采样、数据归一化、主成分分析、数据增强和数据重排；所述图像域处理包括取模、对数压缩、灰度变换。

26.根据权利要求25所述的方法，其特征在于，所述放大包括：根据所述超声回波数据的接收时刻的不同，采用不同的放大倍数对所述超声回波数据进行放大，以补偿数据信号的衰减。

27.根据权利要求25所述的方法，其特征在于，所述主成分分析包括：将所述超声回波数据进行特征中心化得到特征，求解所述特征的协方差矩阵，求解所述协方差矩阵的特征值，选取最大特征值构成特征向量，将所述超声回波数据投影到所述特征向量。

28.根据权利要求25所述的方法，其特征在于，所述数据增强包括：对所述超声回波数据进行平移和/或加噪声处理。

29.根据权利要求25所述的方法，其特征在于，所述数据重排包括：将所述超声回波数据按照以下方式中的至少一种进行重新排列：

将所述超声探头的每一阵元接收到的超声回波数据经解调后排列成两列或者在解调前排列成一列；

将所述超声探头同一次发射超声波后所有有效阵元接收到的超声回波数据排列成矩阵；

将所述超声探头的每一阵元接收到的超声回波数据分割成多个后排列成矩阵。

30.一种超声成像方法，其特征在于，所述方法包括：

控制超声探头向目标对象发射超声波，接收所述超声波的回波，并从所述回波获取超声回波数据；

基于所述超声回波数据，利用神经网络提取和/或估计谐波数据，并基于所述谐波数据生成并显示超声图像。

31.一种超声成像装置，其特征在于，所述装置包括发射接收电路、超声探头、处理器和显示器，其中：

所述发射接收电路用于控制所述超声探头向目标对象发射超声波，接收所述超声波的回波；

所述处理器用于从所述回波获取超声回波数据，并用于执行权利要求1-30中的任一项所述的超声成像方法而生成超声图像；

所述显示器用于显示所述超声图像。

32.一种超声成像装置，其特征在于，所述装置包括发射接收电路、超声探头、谐波处理电路、处理器和显示器，其中：

所述发射接收电路用于控制所述超声探头向目标对象发射超声波，接收所述超声波的回波；

所述谐波数据电路用于从所述回波获取超声回波数据，并基于所述超声回波数据，利用神经网络提取和/或估计谐波数据；

所述处理器用于基于所述谐波数据生成超声图像；

所述显示器用于显示所述超声图像。

33.一种图像数据处理装置，其特征在于，所述装置包括存储器、处理器和显示器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在由所述处理器运行时，使得所述处理器执行权利要求1-30中的任一项所述的超声成像方法而生成超声图像，所述显示器用于显示所述超声图像。