CN111860664A - 超声平面波复合成像方法、装置及存储介质 - Google Patents

超声平面波复合成像方法、装置及存储介质 Download PDF

Info

Publication number
CN111860664A
CN111860664A CN202010725827.4A CN202010725827A CN111860664A CN 111860664 A CN111860664 A CN 111860664A CN 202010725827 A CN202010725827 A CN 202010725827A CN 111860664 A CN111860664 A CN 111860664A
Authority
CN
China
Prior art keywords
training
ultrasonic
data set
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010725827.4A
Other languages
English (en)
Other versions
CN111860664B (zh
Inventor
郭宝珠
张宾
马壮
李宁
包一平
于丹
熊晟博
李雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Neusoft Education Technology Group Co ltd
Original Assignee
Dalian Neusoft Education Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Neusoft Education Technology Group Co ltd filed Critical Dalian Neusoft Education Technology Group Co ltd
Priority to CN202010725827.4A priority Critical patent/CN111860664B/zh
Publication of CN111860664A publication Critical patent/CN111860664A/zh
Application granted granted Critical
Publication of CN111860664B publication Critical patent/CN111860664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的超声平面波成像方法、装置及存储介质，通过对自然图像进行图像处理，得到与真实超声图像相近但数量庞大的超声仿真图像，利用这海量的超声仿真图像对深度学习网络进行训练，将满足条件的训练模型应用到真实的小规模超声数据集上进行迁移学习，得到鲁棒性强泛化性高的实用模型；使用3个角度的低质量平面波超声图像，通过训练好的深度学习网络，直接生成与多角度复合成像得到的图像图像质量一致甚至更高的超声图像，最大程度上保留平面波超声成像成像速度快帧率高的优势。解决了目前基于深度学习的超声平面波成像方法中存在的训练数据少、存在过拟合现象，无法得到鲁棒性强、泛化性高的实用模型的问题。

Description

超声平面波复合成像方法、装置及存储介质
技术领域
本发明涉及图像处理技术领域，具体而言，尤其涉及超声平面波复合成像方法、装置及存储介质。
背景技术
超声设备发射不同角度的平面波，每个角度采集的超声信号通过波束合成生成超声图像。虽然超声平面波成像具有超高速的成像帧频，但是由于超声平面波没有聚焦，所以通过单角度获得的超声图像质量较低。多角度复合成像通过将多个角度的超声图像进行空间复合，可以提高图像质量，但是明显降低了成像帧频。因此，进一步通过图像处理或者深度学习方法既提高图像质量，又保持成像帧频，对于临床中需求的超快成像具有重要意义。
目前基于深度学习的超声平面波成像方法大部分采用如下思路：利用有限的多角度低质量超声图像进行深度学习网络训练，得到满足需求的网络模型，然后利用该网络模型生成高质量超声图像。
然而，现阶段无论是公开的超声图像还是各科研机构自发采集的超声图像，数量都非常少，无法满足深度学习领域通过海量训练数据自动挖掘数据特征从而解决问题的要求。利用有限的多角度低质量超声图像进行深度学习网络训练时，存在严重的过拟合现象，无法得到鲁棒性强、泛化性高的实用模型。
发明内容
本发明提供了一种超声平面波复合成像方法、装置及存储介质。解决了目前基于深度学习的超声平面波成像方法中存在的训练数据少、存在过拟合现象，无法得到鲁棒性强、泛化性高的实用模型的问题。
本发明提供了如下技术方案：
一方面，本发明提供了一种超声平面波复合成像方法，所述方法包括：
获取预定数量的自然图像，并将所述自然图像转化为灰度图像，得到自然图像数据集；
基于超声成像仿真方法和所述自然图像数据集，得到超声仿真图像数据集，并以所述超声仿真图像数据集作为预训练输入数据集；
对所述自然图像数据集中的自然图像添加高斯白噪声，得到预训练标签数据集；
利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到超声平面波复合成像模型；
从公开数据集或超声设备获取由三个角度得到的超声图像组成的超声图像组；所述三个角度分别为：0角度和±θ角度；θ为所有角度中与0度相距最大的角度；
对所述超声图像组中的超声图像进行预处理；所述预处理包括：将所述超声图像组中的三张超声图像归一化，并进行通道拼接；
将所述预处理后得到的超声图像输入所述超声平面波复合成像模型，得到增强图像。
优选地，所述利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，包括：
对所述预训练输入数据集和所述预训练标签数据集中的图像进行预处理；
使用深度学习网络生成图像，计算损失函数值，更新网络权重参数；
若损失函数值趋于不变，停止更新网络权重参数，保存超声平面波复合成像模型；否则，返回执行使用深度学习网络生成图像，计算损失函数值，更新网络权重参数。
优选地，所述预处理包括：
将所述预训练输入数据集和所述预训练标签数据集中的每幅图像除以255进行归一化；
将所述预训练输入数据集中的图像由单通道复制为3通道。
优选地，利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到超声平面波复合成像模型，包括：
利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到基本模型；
从公开数据集或超声设备获取不同对象的多角度超声图像组；
将每组中所有角度的超声图像通过复合成像生成一张高质量图像，将各组的高质量图像形成迁移学习标签数据集；
将每组中0角度和±θ角度对应的超声图像组成一张3通道的超声图像，将各组的3通道超声图像形成迁移学习输入数据集；其中θ为所有角度中与0度相距最大的角度；
利用所述迁移学习标签数据集和所述迁移学习输入数据集对所述基本模型进行迁移学习，得到超声平面波复合成像模型。
优选地，所述利用所述迁移学习标签数据集和所述迁移学习输入数据集对所述基本模型进行迁移学习，得到超声平面波复合成像模型；包括：
按照图像的灰阶范围对所述迁移学习输入数据集和所述迁移学习标签数据集中的图像进行归一化；
使用生成对抗网络生成图像，计算损失函数值，更新网络权重参数；其中所述生成对抗网络中的生成器与所述深度学习网络的网络结构相同；使用基本模型的参数对所述生成器初始化；所述生成对抗网络中的判别器使用卷积神经网络进行二分类判别，使用随机数进行初始化；
记录所述网络权重参数，并基于所述损失函数值绘制生成器损失函数曲线和判别器损失函数曲线；
基于所述生成器损失函数曲线与所述判别器损失函数曲线的变化趋势，确定训练停止时间；
若达到训练停止时间，则停止更新网络权重参数，保存超声平面波复合成像模型；
若未达到训练停止时间，则返回执行使用生成对抗网络生成图像，计算损失函数值，更新网络权重参数。
优选地，所述损失函数值包括：代表生成器与判别器之间对抗学习结果的对抗损失LGAN，代表生成图像与标签图像之间低频差异的L1损失LL1和代表生成图像与标签图像之高低频差异的梯度损失Ldiff，其中，LGAN包括用于更新生成器的LGAN_G和用于更新判别器的LGAN_D；所述基于所述损失函数值绘制生成器损失函数曲线和判别器损失函数曲线，包括：
以预设次迭代为一个单位节点；以所述单位节点为横坐标、LGAN_G为纵坐标绘制生成器对抗训练曲线；
以所述单位节点为横坐标、LGAN_D为纵坐标绘制判别器对抗训练曲线。
优选地，所述基于所述生成器损失函数曲线与所述判别器损失函数曲线的变化趋势，确定训练停止时间；
若所述生成器对抗训练曲线呈单调递增趋势或所述判别器对抗训练曲线呈单调递减趋势，则对抗训练失败，停止训练，调整参数重新开始训练；
若所述生成器对抗训练曲线与所述判别器对抗训练曲线呈交替趋势，此消彼长，则以所述单位节点为横坐标，生成器的LL1为纵坐标绘制低频信息差曲线；当所述低频信息差曲线下降至平缓阶段，且连续预设个迭代变化量小于预设值，则训练完成，将当前时刻作为训练停止时间。
另一方面，本发明还提供了一种超声平面波复合成像装置，所述装置包括：
预训练数据获取单元，用于获取预定数量的自然图像，并将所述自然图像转化为灰度图像，得到自然图像数据集；基于超声成像仿真方法和所述自然图像数据集，得到超声仿真图像数据集，并以所述超声仿真图像数据集作为预训练输入数据集；对所述自然图像数据集中的自然图像添加高斯白噪声，得到预训练标签数据集；
模型训练单元，用于利用所述预训练数据获取单元获取的所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到超声平面波复合成像模型；
超声图像生成单元，用于从公开数据集或超声设备获取由三个角度得到的超声图像组成的超声图像组；所述三个角度分别为：0角度和±θ角度；θ为所有角度中与0度相距最大的角度，并对所述数据获取单元获取的所述超声图像组中的超声图像进行预处理；所述预处理包括：将所述超声图像组中的三张超声图像归一化，并进行通道拼接；将所述经过预处理的超声图像输入所述模型训练单元得到的超声平面波复合成像模型，得到增强图像。
优选地，所述模型训练单元具体包括：
基本模型训练子单元，用于利用所述预训练数据获取单元获取的所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到基本模型；迁移数据获取子单元，用于从公开数据集或超声设备获取不同对象的多角度超声图像组；将每组中所有角度的超声图像通过复合成像生成一张高质量图像，将各组的高质量图像形成迁移学习标签数据集；将每组中0角度和±θ角度对应的超声图像组成一张3通道的超声图像，将各组的3通道超声图像形成迁移学习输入数据集；其中θ为所有角度中与0度相距最大的角度；
迁移模型训练子单元，利用所述迁移数据获取子单元获取的所述迁移学习标签数据集和所述迁移学习输入数据集对所述基本模型训练子单元得到的基本模型进行迁移学习，得到超声平面波复合成像模型。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有包括计算机程序，其中，所述计算机程序运行时，执行上述超声平面波复合成像方法。
本发明提供的超声平面波成像方法、装置及存储介质，通过对自然图像进行图像处理，得到与真实超声图像相近但数量庞大的超声仿真图像，利用这海量的超声仿真图像对深度学习网络进行训练，解决了目前基于深度学习的超声平面波成像方法中存在的训练数据少、存在过拟合现象，无法得到鲁棒性强、泛化性高的实用模型的问题。
同时，本发明中，将满足条件的训练模型应用到真实的小规模超声数据集上进行迁移学习，得到鲁棒性强泛化性高的实用模型；使用3个角度的低质量平面波超声图像，通过训练好的深度学习网络，直接生成与多角度(通常为75个角度)复合成像得到的图像图像质量一致甚至更高的超声图像，最大程度上保留平面波超声成像成像速度快帧率高的优势。
此外，本发明中，通过对比迁移学习过程中生成器与判别器各部分损失函数曲线变化趋势，来确定训练停止时间，极大程度上节约了训练时间和资源。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的一种超声平面波复合成像方法流程示意图；
图2为本发明一个实施例提供的又一种超声平面波复合成像方法流程示意图；
图3为本发明一个实施例提供的预训练数据示例；其中，(a)为自然图像；(b)为加高斯噪声自然图像；(c)为超声仿真图像；
图4为本发明一个实施例提供的真实超声图像和生成图像示例；其中，(a)为单角度超声图像；(b)为超声复合成像；(c)为增强图像；
图5为本发明一个实施例提供的迁移生成图像和原始生成图像示例；其中，(a)超声复合成像；(b)原始生成图像；(c)迁移生成图像；
图6为本发明一个实施例提供的模型训练和迁移学习框架图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
参见图1，其示出了本发明实施例中一种超声平面波复合成像方法的流程示意图，包括以下步骤：
S101、获取预定数量的自然图像，并将自然图像转化为灰度图像，得到自然图像数据集。
其中，自然图像可以从VOC、ImageNet、COCO等公开数据集中随机选取。
S102、基于超声成像仿真方法和自然图像数据集，得到超声仿真图像数据集，并以超声仿真图像数据集作为预训练输入数据集。
S103、对自然图像数据集中的自然图像添加高斯白噪声，得到预训练标签数据集。
步骤S101～S103完成了训练数据集准备工作。
S104、利用预训练输入数据集和预训练标签数据集对深度学习网络进行训练，得到超声平面波复合成像模型。
其中，超声平面复合成像模型可以是：利用预训练输入数据集和预训练标签数据集对深度学习网络进行训练，得到的基本模型；还可以是：利用预训练输入数据集和预训练标签数据集对深度学习网络进行训练，得到基本模型，再对基本模型进行迁移学习之后得到的迁移模型。
其中，利用预训练输入数据集和预训练标签数据集对深度学习网络进行训练，得到的基本模型可以按照以下步骤进行：
S1041、对预训练输入数据集和预训练标签数据集中的图像进行预处理。
其中，预处理包括：先将预训练输入数据集和预训练标签数据集中的每幅图像除以255进行归一化；然后将预训练输入数据集中的图像由单通道复制为3通道，预训练标签数据集中的图像保持单通道不变。
S1042、使用深度学习网络生成图像，计算损失函数值，更新网络权重参数；
S1043、若损失函数值趋于不变，停止更新网络权重参数，保存基本模型；否则，返回执行S1042。
S105、从公开数据集或超声设备获取由三个角度得到的超声图像组成的超声图像组。
其中，三个角度分别为：0角度和±θ角度；θ为所有角度中与0度相距最大的角度。
S106、对超声图像组中的超声图像进行预处理；预处理包括：将超声图像组中的三张超声图像归一化，并进行通道拼接。
S107、将预处理后得到的超声图像输入超声平面波复合成像模型，得到增强图像。
如图5(b)所示，其示出了基于基本模型生成的图像。
本发明实施例中提供的超声平面波成像方法，通过对自然图像进行图像处理，得到与真实超声图像相近但数量庞大的超声仿真图像，利用这海量的超声仿真图像对深度学习网络进行训练，解决了目前基于深度学习的超声平面波成像方法中存在的训练数据少、存在过拟合现象，无法得到鲁棒性强、泛化性高的实用模型的问题。
在另一实施例中，以迁移模型作为超声平面波复合成像模型。参见图2，其示出了本发明实施例中一种超声平面波复合成像方法的流程示意图。该方法包括：
S201、训练数据集准备，具体准备过程如下：
(a1)、从VOC、ImageNet、COCO等数据集中随机选取一定数量的自然图像(10000张以上)，将所有自然图像统一转化为灰度图像，得到自然图像数据集A(如图3(a)所示)。
(b1)、将A输入到超声成像仿真软件FieldII，通过设置超声成像参数，包括超声探头的中心频率、阵元个数、阵元尺寸、采样频率、成像深度等，通过仿真计算生成超声仿真图像数据集(如图3(c)所示)，作为预训练输入数据集U。
(c1)、对步骤(a1)得到的自然图像数据集A中的所有自然图像统一添加高斯白噪声，得到数据集AN(如图3(b)所示)作为预训练标签数据集。
(d1)、用于迁移学习的真实超声图像数据集准备，具体准备过程如下：
通过公开数据集或超声设备获得不同对象(包括仿真、体模、活体等)的多角度超声图像组(至少100组)，其中，每组包含的图像个数为奇数，一般为31或75，中间为0度的图像，其它角度的图像关于0度对称。
将每组中所有角度的超声图像通过复合成像生成一张高质量图像(如图4(b)和图5(a)所示)，构成迁移学习标签数据集C。
假设所有角度中与0度相距最大的角度为θ，选取每组超声图像组中的0角度(如图4(a)所示)和±θ角度对应的超声图像组成一张3通道的超声图像，构成迁移学习输入数据集I。
在得到训练数据集之后，进入模型训练和迁移学习过程，参见图6，其示出了本发明实施例中的模型训练和迁移学习框架图。
S202、使用通过自然图像生成的超声仿真图像进行预训练。具体过程如下：
(a2)、读入预训练输入数据集U和预训练标签数据集AN，将所有图像除以255进行归一化，然后将U中的图像由单通道复制为3通道，AN中的数据保持单通道不变。
(b2)、使用深度学习网络生成图像，计算损失函数值，更新网络权重参数。假设每次网络权重更新后得到的生成图像为Gi，对应的标签图像为Mi，则损失函数loss定义如下：
Figure BDA0002601621310000091
其中N为参与本次权重更新计算的所有生成图像总数，
Figure BDA0002601621310000092
代表水平方向梯度；
Figure BDA0002601621310000093
代表垂直方向梯度。
(c2)、若loss值趋于不变，停止更新网络权重参数，保存预训练模型N_model；否则，重复执行(b2)。
S203、利用真实的小规模超声图像数据进行迁移学习，具体训练过程如下：
(a3)、读入迁移学习输入数据集I和迁移学习标签数据集C，并将两个数据集按照各自的灰阶范围进行归一化。
(b3)、使用生成对抗网络(GAN)生成图像，计算损失函数值，更新网络权重参数。其中生成器G使用与步骤S202中相同的网络结构，使用预训练模型N_model中的参数进行初始化；判别器D使用CNN分类网络进行2分类判别，使用随机数进行初始化。
假设每次网络权重更新后得到的生成图像为Fi，对应的标签图像为Ti，则G和D的损失函数loss_G和loss_D具体定义如下：
loss_G＝LGAN_G+αLL1+βLdiff,α∈[0.1,100],β∈[0.1,100]
loss_D＝LGAN_D
Figure BDA0002601621310000101
Figure BDA0002601621310000102
Figure BDA0002601621310000103
Figure BDA0002601621310000104
其中N为参与本次权重更新计算的所有生成图像总数，
Figure BDA0002601621310000105
代表水平方向梯度；
Figure BDA0002601621310000106
代表垂直方向梯度，D(*)代表判别器D对输入其中的图像输出的概率。
(c3)、记录每轮迭代训练结束的LGAN_D、LGAN_G、LL1和Ldiff的数值。
损失函数由三部分组成，分别为代表生成器与判别器之间对抗学习结果的对抗损失LGAN(包括用于更新G的LGAN_G和用于更新D的LGAN_D)、代表生成图像与标签图像之间低频差异的L1损失LL1和代表生成图像与标签图像之高低频差异的梯度损失Ldiff。
(d4)、基于所述生成器损失函数曲线与所述判别器损失函数曲线的变化趋势，确定训练停止时间；若达到训练停止时间，则停止更新网络权重参数，保存迁移模型；若未达到训练停止时间，则返回执行步骤(b3)。
其中，确定训练停止时间，具体过程如下：
随着迭代次数的增加，以200个迭代为一个单位节点，以单位节点epoch为横坐标，LGAN_G为纵坐标绘制生成器对抗训练曲线PG；以单位节点epoch为横坐标，LGAN_D为纵坐标绘制判别器对抗训练曲线PD；
若PG呈单调递增趋势或PD呈单调递减趋势，则对抗训练失败，停止训练，调整参数重新开始步骤(b3)；
若PG与PD呈交替趋势，此消彼长，则以单位节点epoch为横坐标，生成器G的LL1为纵坐标绘制低频信息差曲线PL。
当曲线PL下降至平缓阶段，且连续100个迭代变化量ε≤k,k∈[0.1,0.15](其中，k为预设值，此处以0.1为例)，则训练完成，保存生成器模型U_model。否则重复执行步骤3c)。迭代变化量ε的定义如下：
Figure BDA0002601621310000111
S204、由3张单角度低质量超声图像获得高质量超声图像，具体实现过程如下：
(a4)、任选一组如步骤S201中所述的由三个角度得到的超声图像组成的超声图像组。
(b4)、将此超声图像组中的三张图像归一化，通道拼接后输入步骤S203中得到的生成器模型U_model中得到增强图像(如图4(c)和图5(c)所示)。
本发明实施例中提供的超声平面波成像方法，通过对自然图像进行图像处理，得到与真实超声图像相近但数量庞大的超声仿真图像，利用这海量的超声仿真图像对深度学习网络进行训练，解决了目前基于深度学习的超声平面波成像方法中存在的训练数据少、存在过拟合现象，无法得到鲁棒性强、泛化性高的实用模型的问题。同时，将满足条件的训练模型应用到真实的小规模超声数据集上进行迁移学习，得到鲁棒性强泛化性高的实用模型；使用3个角度的低质量平面波超声图像，通过训练好的深度学习网络，直接生成与多角度(通常为75个角度)复合成像得到的图像图像质量一致甚至更高的超声图像，最大程度上保留平面波超声成像成像速度快帧率高的优势。
此外，本发明实施例中，通过对比迁移学习过程中生成器与判别器各部分损失函数曲线变化趋势，来确定训练停止时间，极大程度上节约了训练时间和资源。
对应于本发明实施例提供的一种超声平面波复合成像方法，本发明还提供了一种超声平面波复合成像装置。该装置包括：
预训练数据获取单元，用于获取预定数量的自然图像，并将自然图像转化为灰度图像，得到自然图像数据集；基于超声成像仿真方法和自然图像数据集，得到超声仿真图像数据集，并以超声仿真图像数据集作为预训练输入数据集；对自然图像数据集中的自然图像添加高斯白噪声，得到预训练标签数据集；
模型训练单元，用于利用预训练数据获取单元获取的预训练输入数据集和预训练标签数据集对深度学习网络进行训练，得到超声平面波复合成像模型；
超声图像生成单元，用于从公开数据集或超声设备获取由三个角度得到的超声图像组成的超声图像组；三个角度分别为：0角度和±θ角度；θ为所有角度中与0度相距最大的角度，并对数据获取单元获取的超声图像组中的超声图像进行预处理；预处理包括：将超声图像组中的三张超声图像归一化，并进行通道拼接；将经过预处理的超声图像输入模型训练单元得到的超声平面波复合成像模型，得到增强图像。
在一种可能的实现中，上述实施例中的模型训练单元具体包括：
基本模型训练子单元，用于利用预训练数据获取单元获取的预训练输入数据集和预训练标签数据集对深度学习网络进行训练，得到基本模型；
迁移数据获取子单元，用于从公开数据集或超声设备获取不同对象的多角度超声图像组；将每组中所有角度的超声图像通过复合成像生成一张高质量图像，将各组的高质量图像形成迁移学习标签数据集；将每组中0角度和±θ角度对应的超声图像组成一张3通道的超声图像，将各组的3通道超声图像形成迁移学习输入数据集；其中θ为所有角度中与0度相距最大的角度；
迁移模型训练子单元，利用迁移数据获取子单元获取的迁移学习标签数据集和迁移学习输入数据集对基本模型训练子单元得到的基本模型进行迁移学习，得到超声平面波复合成像模型。
本发明实施例提供的超声平面波成像装置，通过对自然图像进行图像处理，得到与真实超声图像相近但数量庞大的超声仿真图像，利用这海量的超声仿真图像对深度学习网络进行训练，解决了目前基于深度学习的超声平面波成像方法中存在的训练数据少、存在过拟合现象，无法得到鲁棒性强、泛化性高的实用模型的问题。同时，将满足条件的训练模型应用到真实的小规模超声数据集上进行迁移学习，得到鲁棒性强泛化性高的实用模型；使用3个角度的低质量平面波超声图像，通过训练好的深度学习网络，直接生成与多角度(通常为75个角度)复合成像得到的图像图像质量一致甚至更高的超声图像，最大程度上保留平面波超声成像成像速度快帧率高的优势。
此外，本发明实施例中，通过对比迁移学习过程中生成器与判别器各部分损失函数曲线变化趋势，来确定训练停止时间，极大程度上节约了训练时间和资源。
对于本发明实施例的而言，由于其与上面实施例中的相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。
对应于本发明实施例提供的一种超声平面波复合成像方法，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有包括计算机程序，其中，计算机程序运行时，执行上述超声平面波复合成像方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种超声平面波复合成像方法，其特征在于，所述方法包括：
获取预定数量的自然图像，并将所述自然图像转化为灰度图像，得到自然图像数据集；
基于超声成像仿真方法和所述自然图像数据集，得到超声仿真图像数据集，并以所述超声仿真图像数据集作为预训练输入数据集；
对所述自然图像数据集中的自然图像添加高斯白噪声，得到预训练标签数据集；
利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到超声平面波复合成像模型；
从公开数据集或超声设备获取由三个角度得到的超声图像组成的超声图像组；所述三个角度分别为：0角度和±θ角度；θ为所有角度中与0度相距最大的角度；
对所述超声图像组中的超声图像进行预处理；所述预处理包括：将所述超声图像组中的三张超声图像归一化，并进行通道拼接；
将所述预处理后得到的超声图像输入所述超声平面波复合成像模型，得到增强图像。
2.如权利要求1所述的方法，其特征在于，所述利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，包括：
对所述预训练输入数据集和所述预训练标签数据集中的图像进行预处理；
使用深度学习网络生成图像，计算损失函数值，更新网络权重参数；
若损失函数值趋于不变，停止更新网络权重参数，保存超声平面波复合成像模型；否则，返回执行使用深度学习网络生成图像，计算损失函数值，更新网络权重参数。
3.如权利要求2所述的方法，其特征在于，所述预处理包括：
将所述预训练输入数据集和所述预训练标签数据集中的每幅图像除以255进行归一化；
将所述预训练输入数据集中的图像由单通道复制为3通道。
4.如权利要求2所述的方法，其特征在于，利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到超声平面波复合成像模型，包括：
利用所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到基本模型；
从公开数据集或超声设备获取不同对象的多角度超声图像组；
将每组中所有角度的超声图像通过复合成像生成一张高质量图像，将各组的高质量图像形成迁移学习标签数据集；
将每组中0角度和±θ角度对应的超声图像组成一张3通道的超声图像，将各组的3通道超声图像形成迁移学习输入数据集；其中θ为所有角度中与0度相距最大的角度；
利用所述迁移学习标签数据集和所述迁移学习输入数据集对所述基本模型进行迁移学习，得到超声平面波复合成像模型。
5.如权利要求4所述的方法，其特征在于，所述利用所述迁移学习标签数据集和所述迁移学习输入数据集对所述基本模型进行迁移学习，得到超声平面波复合成像模型；包括：
按照图像的灰阶范围对所述迁移学习输入数据集和所述迁移学习标签数据集中的图像进行归一化；
使用生成对抗网络生成图像，计算损失函数值，更新网络权重参数；其中所述生成对抗网络中的生成器与所述深度学习网络的网络结构相同；使用基本模型的参数对所述生成器初始化；所述生成对抗网络中的判别器使用卷积神经网络进行二分类判别，使用随机数进行初始化；
记录所述网络权重参数，并基于所述损失函数值绘制生成器损失函数曲线和判别器损失函数曲线；
基于所述生成器损失函数曲线与所述判别器损失函数曲线的变化趋势，确定训练停止时间；
若达到训练停止时间，则停止更新网络权重参数，保存超声平面波复合成像模型；
若未达到训练停止时间，则返回执行使用生成对抗网络生成图像，计算损失函数值，更新网络权重参数。
6.如权利要求4所述的方法，其特征在于，所述损失函数值包括：代表生成器与判别器之间对抗学习结果的对抗损失LGAN，代表生成图像与标签图像之间低频差异的L1损失LL1和代表生成图像与标签图像之高低频差异的梯度损失Ldiff，其中，LGAN包括用于更新生成器的LGAN_G和用于更新判别器的LGAN_D；所述基于所述损失函数值绘制生成器损失函数曲线和判别器损失函数曲线，包括：
以预设次迭代为一个单位节点；以所述单位节点为横坐标、LGAN_G为纵坐标绘制生成器对抗训练曲线；
以所述单位节点为横坐标、LGAN_D为纵坐标绘制判别器对抗训练曲线。
7.如权利要求4所述的方法，其特征在于，所述基于所述生成器损失函数曲线与所述判别器损失函数曲线的变化趋势，确定训练停止时间；
若所述生成器对抗训练曲线呈单调递增趋势或所述判别器对抗训练曲线呈单调递减趋势，则对抗训练失败，停止训练，调整参数重新开始训练；
若所述生成器对抗训练曲线与所述判别器对抗训练曲线呈交替趋势，此消彼长，则以所述单位节点为横坐标，生成器的LL1为纵坐标绘制低频信息差曲线；当所述低频信息差曲线下降至平缓阶段，且连续预设个迭代变化量小于预设值，则训练完成，将当前时刻作为训练停止时间。
8.一种超声平面波复合成像装置，其特征在于，所述装置包括：
预训练数据获取单元，用于获取预定数量的自然图像，并将所述自然图像转化为灰度图像，得到自然图像数据集；基于超声成像仿真方法和所述自然图像数据集，得到超声仿真图像数据集，并以所述超声仿真图像数据集作为预训练输入数据集；对所述自然图像数据集中的自然图像添加高斯白噪声，得到预训练标签数据集；
模型训练单元，用于利用所述预训练数据获取单元获取的所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到超声平面波复合成像模型；
超声图像生成单元，用于从公开数据集或超声设备获取由三个角度得到的超声图像组成的超声图像组；所述三个角度分别为：0角度和±θ角度；θ为所有角度中与0度相距最大的角度，并对所述数据获取单元获取的所述超声图像组中的超声图像进行预处理；所述预处理包括：将所述超声图像组中的三张超声图像归一化，并进行通道拼接；将所述经过预处理的超声图像输入所述模型训练单元得到的超声平面波复合成像模型，得到增强图像。
9.如权利要求8所述的装置，其特征在于，所述模型训练单元具体包括：
基本模型训练子单元，用于利用所述预训练数据获取单元获取的所述预训练输入数据集和所述预训练标签数据集对深度学习网络进行训练，得到基本模型；迁移数据获取子单元，用于从公开数据集或超声设备获取不同对象的多角度超声图像组；将每组中所有角度的超声图像通过复合成像生成一张高质量图像，将各组的高质量图像形成迁移学习标签数据集；将每组中0角度和±θ角度对应的超声图像组成一张3通道的超声图像，将各组的3通道超声图像形成迁移学习输入数据集；其中θ为所有角度中与0度相距最大的角度；
迁移模型训练子单元，利用所述迁移数据获取子单元获取的所述迁移学习标签数据集和所述迁移学习输入数据集对所述基本模型训练子单元得到的基本模型进行迁移学习，得到超声平面波复合成像模型。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有包括计算机程序，其中，所述计算机程序运行时，执行如权利要求1-7任一项所述的超声平面波复合成像方法。
CN202010725827.4A 2020-07-24 2020-07-24 超声平面波复合成像方法、装置及存储介质 Active CN111860664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010725827.4A CN111860664B (zh) 2020-07-24 2020-07-24 超声平面波复合成像方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010725827.4A CN111860664B (zh) 2020-07-24 2020-07-24 超声平面波复合成像方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111860664A true CN111860664A (zh) 2020-10-30
CN111860664B CN111860664B (zh) 2024-04-26

Family

ID=72949603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010725827.4A Active CN111860664B (zh) 2020-07-24 2020-07-24 超声平面波复合成像方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111860664B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113509208A (zh) * 2021-09-14 2021-10-19 西南石油大学 一种基于相位约束的超高速超声成像的重建方法
CN113533511A (zh) * 2021-06-29 2021-10-22 北京交通大学 基于深度学习网络模型的钢轨焊缝监测方法
CN113674376A (zh) * 2021-08-23 2021-11-19 合肥工业大学 一种基于深度学习的超声平面波复合成像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108836389A (zh) * 2018-06-01 2018-11-20 西安交通大学 平面波相关点相干自适应波束合成成像方法
CN110477947A (zh) * 2019-08-14 2019-11-22 中国科学院苏州生物医学工程技术研究所 基于深度学习的平面波波束合成方法、系统、存储介质、设备
US20200037994A1 (en) * 2017-04-25 2020-02-06 Sogang University Research Foundation Device and method for generating ultrasound vector doppler image using plane wave synthesis
CN111325236A (zh) * 2020-01-21 2020-06-23 南京大学 一种基于卷积神经网络的超声图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200037994A1 (en) * 2017-04-25 2020-02-06 Sogang University Research Foundation Device and method for generating ultrasound vector doppler image using plane wave synthesis
CN108836389A (zh) * 2018-06-01 2018-11-20 西安交通大学 平面波相关点相干自适应波束合成成像方法
CN110477947A (zh) * 2019-08-14 2019-11-22 中国科学院苏州生物医学工程技术研究所 基于深度学习的平面波波束合成方法、系统、存储介质、设备
CN111325236A (zh) * 2020-01-21 2020-06-23 南京大学 一种基于卷积神经网络的超声图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZIXIA ZHOU等: "Image Quality Improvement of Hand-held Ultrasound Devices with a Two-stage Generative Adversarial Network", 《IEEE TRANS BIOMED ENG》, vol. 67, no. 1, pages 1 - 13 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113533511A (zh) * 2021-06-29 2021-10-22 北京交通大学 基于深度学习网络模型的钢轨焊缝监测方法
CN113674376A (zh) * 2021-08-23 2021-11-19 合肥工业大学 一种基于深度学习的超声平面波复合成像方法
CN113674376B (zh) * 2021-08-23 2024-03-05 合肥工业大学 一种基于深度学习的超声平面波复合成像方法
CN113509208A (zh) * 2021-09-14 2021-10-19 西南石油大学 一种基于相位约束的超高速超声成像的重建方法

Also Published As

Publication number Publication date
CN111860664B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
Yu et al. Ec-net: an edge-aware point set consolidation network
CN108062753B (zh) 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
Wang et al. Hf-neus: Improved surface reconstruction using high-frequency details
CN109584337B (zh) 一种基于条件胶囊生成对抗网络的图像生成方法
CN111860664B (zh) 超声平面波复合成像方法、装置及存储介质
Mandal et al. Splinedist: Automated cell segmentation with spline curves
CN110074813B (zh) 一种超声图像重建方法及系统
CN102156875A (zh) 基于多任务ksvd字典学习的图像超分辨率重构方法
CN112215199B (zh) 基于多感受野与密集特征聚合网络的sar图像舰船检测方法
CN112184547B (zh) 红外图像的超分辨率方法及计算机可读存储介质
CN111915626B (zh) 心脏超声图像的心室区域自动分割方法、装置及存储介质
Li et al. Dictionary optimization and constraint neighbor embedding-based dictionary mapping for superdimension reconstruction of porous media
Jin et al. Defect identification of adhesive structure based on DCGAN and YOLOv5
Knop et al. Generative models with kernel distance in data space
CN112381845B (zh) 岩心图像生成方法、模型训练方法及装置
Hackstein et al. Evaluation metrics for galaxy image generators
CN117173464A (zh) 一种基于gan的非平衡医学图像分类方法、系统及电子设备
CN111695689A (zh) 一种自然语言处理方法、装置、设备及可读存储介质
CN114067832B (zh) 一种头相关传输函数的预测方法、装置和电子设备
Kalaie et al. A Geometric Deep Learning Framework for Generation of Virtual Left Ventricles as Graphs
CN112346126B (zh) 低级序断层的识别方法、装置、设备及可读存储介质
US20220138554A1 (en) Systems and methods utilizing machine learning techniques for training neural networks to generate distributions
CN103793720A (zh) 一种眼睛定位方法和系统
KR102340387B1 (ko) 뇌 연결성 학습 방법 및 이를 위한 시스템
Serkan et al. VarioGram–A colorful time-graph representation for time series

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 116000 room 206, no.8-9, software garden road, Ganjingzi District, Dalian City, Liaoning Province

Applicant after: Neusoft Education Technology Group Co.,Ltd.

Address before: 116000 room 206, no.8-9, software garden road, Ganjingzi District, Dalian City, Liaoning Province

Applicant before: Dalian Neusoft Education Technology Group Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant