CN112085649A - 乳腺超声图像风格转换方法、装置、乳腺扫查设备及介质 - Google Patents

乳腺超声图像风格转换方法、装置、乳腺扫查设备及介质 Download PDF

Info

Publication number
CN112085649A
CN112085649A CN202010733147.7A CN202010733147A CN112085649A CN 112085649 A CN112085649 A CN 112085649A CN 202010733147 A CN202010733147 A CN 202010733147A CN 112085649 A CN112085649 A CN 112085649A
Authority
CN
China
Prior art keywords
image
style
loss function
content
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010733147.7A
Other languages
English (en)
Inventor
谈继勇
李元伟
俞林昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hanwei Intelligent Medical Technology Co ltd
Original Assignee
Shenzhen Hanwei Intelligent Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hanwei Intelligent Medical Technology Co ltd filed Critical Shenzhen Hanwei Intelligent Medical Technology Co ltd
Priority to CN202010733147.7A priority Critical patent/CN112085649A/zh
Publication of CN112085649A publication Critical patent/CN112085649A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种乳腺超声图像风格转换方法，包括：获取原始图像与风格图像；加载预训练的卷积神经网络，并通过预训练的卷积神经网络，提取原始图像的内容特征以及风格图像的风格特征；根据内容特征和风格特征，分别定义生成图像与原始图像之间的内容损失函数，以及生成图像与风格图像之间的风格损失函数；根据内容损失函数和风格损失函数，定义生成图像的总损失函数；通过梯度下降算法对生成图像进行迭代运算，直至总损失函数收敛。本发明乳腺超声图像风格转换方法，可将其他风格的乳腺超声图像转换为目标风格，转换后的乳腺超声图像可作为智能诊断进行深度学习的数据集，因而无需采集各种风格的乳腺超声图像，从而降低乳腺超声图像的采集成本。

Description

乳腺超声图像风格转换方法、装置、乳腺扫查设备及介质
技术领域
本发明涉及乳腺超声图像处理领域，特别涉及一种乳腺超声图像风格转换方法、装置、乳腺扫查设备及介质。
背景技术
乳腺超声图像是对人体乳腺部位进行超声扫查后得到的医学影像，在得到乳腺超声图像后，再由医学影像科的医生对乳腺超声图像进行阅片，以据此给出诊断结果。
据不完全统计，乳腺超声图像数量的年增长率约为30％，而医生数量的年增长率约为4.1％，导致医学影像科医生的阅片工作量非常大。在阅片工作量很大的情况下，医生容易出现疲劳，可能出现阅片出错的情况。为此，出现了乳腺超声智能诊断方式，以替代传统的医生阅片诊断方式，从而极大减少医生的工作量，避免出现因医生疲劳而导致的阅片出错的情况。
可以理解的是，为保证乳腺超声智能诊断的识别率，需尽可能多的采集各种风格的乳腺超声图像，再对所采集到的各种风格的乳腺超声图进行深度学习。然而，由于乳腺超声图像的采集成本比较高，因此，在采集各种风格的乳腺超声图像时需要耗费很大的采集成本。
发明内容
本发明的主要目的在于提出一种乳腺超声图像风格转换方法，旨在解决现有的乳腺超声图像诊断方式存在采集成本高的技术问题。
为实现上述目的，本发明提出一种乳腺超声图像风格转换方法，该乳腺超声图像风格转换方法包括：获取原始图像与风格图像；加载预训练的卷积神经网络，并通过所述预训练的卷积神经网络，分别提取所述原始图像的内容特征以及所述风格图像的风格特征；根据所述内容特征和风格特征，分别定义生成图像与所述原始图像之间的内容损失函数，以及生成图像与所述风格图像之间的风格损失函数；根据所述内容损失函数和风格损失函数，定义所述生成图像的总损失函数；通过梯度下降算法对所述生成图像进行迭代运算，直至所述总损失函数收敛。
优选地，所述内容损失函数为：
Figure BDA0002603931530000021
其中，所述
Figure BDA0002603931530000022
为原始图像，所述
Figure BDA0002603931530000023
为生成图像，所述l为卷积神经网络的第l层，所述
Figure BDA0002603931530000024
为生成图像
Figure BDA0002603931530000025
在第l层的卷积特征，所述
Figure BDA0002603931530000026
为原始图像
Figure BDA0002603931530000027
在第l层的卷积特征，所述i表示卷积的第i个通道，所述j表示卷积的第j个位置。
优选地，所述风格损失函数为：
Figure BDA0002603931530000028
其中，所述
Figure BDA0002603931530000029
为原始图像，所述
Figure BDA00026039315300000210
为生成图像，所述l为卷积神经网络的第l层，所述
Figure BDA00026039315300000211
是防止风格损失的数量级相比内容损失过大的归一化项，所述
Figure BDA00026039315300000212
为原始图像某一次卷积的格拉姆矩阵，所述Gl为生成图像经过同样计算得到对应卷基层的格拉姆矩阵。
优选地，所述总损失函数为：
Figure BDA00026039315300000213
其中，所述
Figure BDA00026039315300000214
为原始图像，所述
Figure BDA00026039315300000215
为风格图像，所述
Figure BDA00026039315300000216
为生成图像，所述α，β是平衡内容损失与风格损失的两个超参数。
本发明还提出一种乳腺超声图像风格转换装置，该乳腺超声图像风格转换装置包括：图像获取模块，用于获取原始图像与风格图像；特征提取模块，用于加载预训练的卷积神经网络，并通过所述预训练的卷积神经网络，分别提取所述原始图像的内容特征以及所述风格图像的风格特征；第一函数定义模块，用于根据所述内容特征和风格特征，分别定义生成图像与所述原始图像之间的内容损失函数，以及生成图像与所述风格图像之间的风格损失函数；第二函数定义模块，用于根据所述内容损失函数和风格损失函数，定义所述生成图像的总损失函数；图像运算模块，用于通过梯度下降算法对所述生成图像进行迭代运算，直至所述总损失函数收敛。
优选地，所述内容损失函数为：
Figure BDA0002603931530000031
其中，所述
Figure BDA0002603931530000032
为原始图像，所述
Figure BDA0002603931530000033
为生成图像，所述l为卷积神经网络的第l层，所述
Figure BDA0002603931530000034
为生成图像
Figure BDA0002603931530000035
在第l层的卷积特征，所述
Figure BDA0002603931530000036
为原始图像
Figure BDA0002603931530000037
在第l层的卷积特征，所述i表示卷积的第i个通道，所述j表示卷积的第j个位置。
优选地，所述风格损失函数为：
Figure BDA0002603931530000038
其中，所述
Figure BDA0002603931530000039
为原始图像，所述
Figure BDA00026039315300000310
为生成图像，所述l为卷积神经网络的第l层，所述
Figure BDA00026039315300000311
是防止风格损失的数量级相比内容损失过大的归一化项，所述
Figure BDA00026039315300000312
为原始图像某一次卷积的格拉姆矩阵，所述Gl为生成图像经过同样计算得到对应卷基层的格拉姆矩阵。
优选地，所述总损失函数为：
Figure BDA00026039315300000313
其中，所述
Figure BDA00026039315300000314
为原始图像，所述
Figure BDA00026039315300000315
为风格图像，所述
Figure BDA00026039315300000316
为生成图像，所述α，β是平衡内容损失与风格损失的两个超参数。
本发明还提出一种乳腺扫查设备，该乳腺扫查设备包括：
存储器，用于存储计算机程序；
处理器，所述处理器执行所述计算机程序时实现前述各实施例记载的乳腺超声图像风格转换方法。
本发明还提出一种介质，所述介质存储有计算机程序，所述计算机程序被处理器执行时实现前述各实施例记载的乳腺超声图像风格转换方法。
与现有技术相比，本发明实施例的有益技术效果在于：
本发明所提出的乳腺超声图像风格转换方法，可将其他风格的乳腺超声图像转换为目标风格，转换为目标风格后的乳腺超声图像则可作为人工智能诊断进行深度学习的数据集，因而无需采集各种风格的乳腺超声图像，仅需对已采集的乳腺超声图像/低成本获取的乳腺超声图像进行风格转移即可，从而大大降低乳腺超声图像的采集成本。本发明所提出的乳腺超声图像风格转换方法还可减少对于原始数据的依赖，减少基础数据集的积累、标注过程。此外，在多终端获取的超声数据不一致时，可通过本发明实施例所提出的乳腺超声图像风格转换方法，让模型变得更稳健，泛化性能更好。
附图说明
图1为本发明乳腺超声图像风格转换方法一实施例的流程图；
图2为本发明乳腺超声图像风格转换装置一实施例的功能模块图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种乳腺超声图像风格转换方法，在一实施方式中，参见图1，该乳腺超声图像风格转换方法包括以下步骤：
步骤S10，获取原始图像与风格图像；
本实施例中，获取一些采集的乳腺超声图像/影像数据，比如用A型号超声终端采集的数据，再获取一些目标风格的乳腺超声图像/影像数据，比如用B型号超声终端采集的数据。在通过预训练的卷积神经网络提取特征之前，先对原始图像与风格图像进行预处理和后处理，并且定义预处理函数和后处理函数。具体的，先通过预处理函数对输入图像(原始图像、风格图像)在RGB三个通道分别做标准化，并将结果变换成卷积神经网络接受的输入格式。后处理函数则将输出图像中的像素值还原回标准化之前的值，由于图像打印函数要求每个像素的浮点数值在0-1之间，我们使用clamp函数对小于0和大于1的值分别取0和1。
步骤S20，加载预训练的卷积神经网络，并通过预训练的卷积神经网络，分别提取原始图像的内容特征以及风格图像的风格特征；
本实施例中，使用基于Image Net数据集预训练的VGG-16模型来提取输入图像的内容特征和风格特征。为了提取输入图像的内容特征和风格特征，可选择VGG网络中某些层的输出，一般来说，越靠近输入层的输出越容易提取图像的细节信息，反之则越容易提取图像的全局信息。为了避免生成图像过多保留内容图像的细节，我们选择VGG较靠近输出的层，也称内容层，来输出图像的内容特征。我们还从VGG中选择不同层的输出来匹配局部和全局的风格，这些层也叫风格层。
步骤S30，根据内容特征和风格特征，分别定义生成图像与原始图像之间的内容损失函数，以及生成图像与风格图像之间的风格损失函数；
本实施例中，内容损失函数为：
Figure BDA0002603931530000051
其中，
Figure BDA0002603931530000052
为原始图像，
Figure BDA0002603931530000053
为生成图像，l为卷积神经网络的第l层，
Figure BDA0002603931530000054
为生成图像
Figure BDA0002603931530000055
在第l层的卷积特征，
Figure BDA0002603931530000056
为原始图像
Figure BDA0002603931530000057
在第l层的卷积特征，i表示卷积的第i个通道，j表示卷积的第j个位置。
Figure BDA0002603931530000058
描述了原始图像
Figure BDA0002603931530000059
和生成图像
Figure BDA00026039315300000510
在内容上的差异，内容损失越小，表明原始图像
Figure BDA00026039315300000511
和生成图像
Figure BDA00026039315300000512
的内容越接近；内容损失越大，表明原始图像
Figure BDA00026039315300000513
和生成图像
Figure BDA00026039315300000514
的内容差距越大。先使用原始图像
Figure BDA00026039315300000515
计算出它的卷积特征
Figure BDA00026039315300000516
同时随机初始化生成图像
Figure BDA00026039315300000517
接着，以内容损失
Figure BDA00026039315300000518
为优化目标，通过梯度下降法逐步改变生成图像
Figure BDA00026039315300000519
经过多轮迭代后，得到的生成图像
Figure BDA00026039315300000520
是期望的还原图像，在此过程中，内容损失
Figure BDA00026039315300000521
越来越小。
风格损失函数为：
Figure BDA00026039315300000522
其中，
Figure BDA00026039315300000523
为原始图像，
Figure BDA00026039315300000524
为生成图像，l为卷积神经网络的第l层，
Figure BDA00026039315300000525
是防止风格损失的数量级相比内容损失过大的归一化项，
Figure BDA00026039315300000526
为原始图像某一次卷积的格拉姆矩阵，Gl为生成图像经过同样计算得到对应卷基层的格拉姆矩阵。
需要说明的是，本发明所提出的“风格”使用图像的卷基层特征的格拉姆Gram矩阵表示，Gram矩阵是关于一组向量的内积的对称矩阵。例如，向量组
Figure BDA0002603931530000061
的Gram矩阵是：
Figure BDA0002603931530000062
通常取内积为欧几里得空间上的标准内积，即
Figure BDA0002603931530000063
设卷基层的输出为
Figure BDA0002603931530000064
那么这个卷积特征对应的Gram矩阵的第i行第j个元素定义为：
Figure BDA0002603931530000065
设在第l层中，卷积特征的通道数为Nl，卷积的高、宽乘积为Ml，那么
Figure BDA0002603931530000066
满足1≤i≤Nl，1≤j≤Ml。G实际是向量组
Figure BDA0002603931530000067
的Gram矩阵，其中：
Figure BDA0002603931530000068
步骤S40，根据内容损失函数和风格损失函数，定义生成图像的总损失函数；
本实施例中，总损失函数为：
Figure BDA0002603931530000069
其中，
Figure BDA00026039315300000610
为原始图像，
Figure BDA00026039315300000611
为风格图像，
Figure BDA00026039315300000612
为生成图像，α，β是平衡内容损失与风格损失的两个超参数。
可以理解的是，若α偏大，生成的图像会更接近于原始图像
Figure BDA00026039315300000613
若β偏大，生成的图像会更接近于风格图像
Figure BDA00026039315300000614
步骤S50，通过梯度下降算法对生成图像进行迭代运算，直至总损失函数收敛。
本发明所提出的乳腺超声图像风格转换方法，可将其他风格的乳腺超声图像转换为目标风格，转换为目标风格后的乳腺超声图像则可作为人工智能诊断进行深度学习的数据集，因而无需采集各种风格的乳腺超声图像，仅需对已采集的乳腺超声图像/低成本获取的乳腺超声图像进行风格转移即可，从而大大降低乳腺超声图像的采集成本。本发明所提出的乳腺超声图像风格转换方法还可减少对于原始数据的依赖，减少基础数据集的积累、标注过程。此外，在多终端获取的超声数据不一致时，可通过本发明实施例所提出的乳腺超声图像风格转换方法，让模型变得更稳健，泛化性能更好。
基于前述所提出的乳腺超声图像风格转换方法，参见图2，本发明还提出一种乳腺超声图像风格转换装置，该乳腺超声图像风格转换装置包括：
图像获取模块10，用于获取原始图像与风格图像；
特征提取模块20，用于加载预训练的卷积神经网络，并通过预训练的卷积神经网络，分别提取原始图像的内容特征以及风格图像的风格特征；
第一函数定义模块30，用于根据内容特征和风格特征，分别定义生成图像与原始图像之间的内容损失函数，以及生成图像与风格图像之间的风格损失函数；
第二函数定义模块40，用于根据内容损失函数和风格损失函数，定义生成图像的总损失函数；
图像运算模块50，用于通过梯度下降算法对生成图像进行迭代运算，直至总损失函数收敛。
在一实施例中，本发明所提出的内容损失函数为：
Figure BDA0002603931530000071
其中，
Figure BDA0002603931530000072
为原始图像，
Figure BDA0002603931530000073
为生成图像，l为卷积神经网络的第l层，
Figure BDA0002603931530000074
为生成图像
Figure BDA0002603931530000075
在第l层的卷积特征，
Figure BDA0002603931530000076
为原始图像
Figure BDA0002603931530000077
在第l层的卷积特征，i表示卷积的第i个通道，j表示卷积的第j个位置。
在另一实施例中，本发明所提出的风格损失函数为：
Figure BDA0002603931530000078
其中，
Figure BDA0002603931530000079
为原始图像，
Figure BDA00026039315300000710
为生成图像，l为卷积神经网络的第l层，
Figure BDA00026039315300000711
是防止风格损失的数量级相比内容损失过大的归一化项，
Figure BDA00026039315300000712
为原始图像某一次卷积的格拉姆矩阵，Gl为生成图像经过同样计算得到对应卷基层的格拉姆矩阵。
在又一实施例中，本发明所提出的总损失函数为：
Figure BDA0002603931530000081
其中，
Figure BDA0002603931530000082
为原始图像，
Figure BDA0002603931530000083
为风格图像，
Figure BDA0002603931530000084
为生成图像，α，β是平衡内容损失与风格损失的两个超参数。
基于前述所提出的乳腺超声图像风格转换方法，本发明还提出一种乳腺扫查设备，该乳腺扫查设备包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时，实现如图1所示的乳腺超声图像风格转换方法中的各个步骤，该乳腺超声图像风格转换方法的步骤至少包括：
步骤S10，获取原始图像与风格图像；
步骤S20，加载预训练的卷积神经网络，并通过预训练的卷积神经网络，分别提取原始图像的内容特征以及风格图像的风格特征；
步骤S30，根据内容特征和风格特征，分别定义生成图像与原始图像之间的内容损失函数，以及生成图像与风格图像之间的风格损失函数；
步骤S40，根据内容损失函数和风格损失函数，定义生成图像的总损失函数；
步骤S50，通过梯度下降算法对生成图像进行迭代运算，直至总损失函数收敛。
基于前述所提出的乳腺超声图像风格转换方法，本发明还提出一种介质，该介质存储有计算机程序，该计算机程序被处理器执行时实现如图1所述的乳腺超声图像风格转换方法中的各个步骤，该乳腺超声图像风格转换方法的步骤至少包括：
步骤S10，获取原始图像与风格图像；
步骤S20，加载预训练的卷积神经网络，并通过预训练的卷积神经网络，分别提取原始图像的内容特征以及风格图像的风格特征；
步骤S30，根据内容特征和风格特征，分别定义生成图像与原始图像之间的内容损失函数，以及生成图像与风格图像之间的风格损失函数；
步骤S40，根据内容损失函数和风格损失函数，定义生成图像的总损失函数；
步骤S50，通过梯度下降算法对生成图像进行迭代运算，直至总损失函数收敛。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的仅为本发明的部分或优选实施例，无论是文字还是附图都不能因此限制本发明保护的范围，凡是在与本发明一个整体的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明保护的范围内。

Claims (10)

1.一种乳腺超声图像风格转换方法，其特征在于，包括：
获取原始图像与风格图像；
加载预训练的卷积神经网络，并通过所述预训练的卷积神经网络，分别提取所述原始图像的内容特征以及所述风格图像的风格特征；
根据所述内容特征和风格特征，分别定义生成图像与所述原始图像之间的内容损失函数，以及生成图像与所述风格图像之间的风格损失函数；
根据所述内容损失函数和风格损失函数，定义所述生成图像的总损失函数；
通过梯度下降算法对所述生成图像进行迭代运算，直至所述总损失函数收敛。
2.根据权利要求1所述的乳腺超声图像风格转换方法，其特征在于，所述内容损失函数为：
Figure FDA0002603931520000011
其中，所述
Figure FDA0002603931520000013
为原始图像，所述
Figure FDA0002603931520000014
为生成图像，所述l为卷积神经网络的第l层，所述
Figure FDA0002603931520000015
为生成图像
Figure FDA0002603931520000016
在第l层的卷积特征，所述
Figure FDA0002603931520000017
为原始图像
Figure FDA0002603931520000018
在第l层的卷积特征，所述i表示卷积的第i个通道，所述j表示卷积的第j个位置。
3.根据权利要求1所述的乳腺超声图像风格转换方法，其特征在于，所述风格损失函数为：
Figure FDA0002603931520000012
其中，所述
Figure FDA0002603931520000019
为原始图像，所述
Figure FDA00026039315200000110
为生成图像，所述l为卷积神经网络的第l层，所述
Figure FDA00026039315200000111
是防止风格损失的数量级相比内容损失过大的归一化项，所述
Figure FDA00026039315200000112
为原始图像某一次卷积的格拉姆矩阵，所述Gl为生成图像经过同样计算得到对应卷基层的格拉姆矩阵。
4.根据权利要求1所述的乳腺超声图像风格转换方法，其特征在于，所述总损失函数为：
Figure FDA0002603931520000021
其中，所述
Figure FDA0002603931520000023
为原始图像，所述
Figure FDA0002603931520000024
为风格图像，所述
Figure FDA0002603931520000025
为生成图像，所述α，β是平衡内容损失与风格损失的两个超参数。
5.一种乳腺超声图像风格转换装置，其特征在于，包括：
图像获取模块，用于获取原始图像与风格图像；
特征提取模块，用于加载预训练的卷积神经网络，并通过所述预训练的卷积神经网络，分别提取所述原始图像的内容特征以及所述风格图像的风格特征；
第一函数定义模块，用于根据所述内容特征和风格特征，分别定义生成图像与所述原始图像之间的内容损失函数，以及生成图像与所述风格图像之间的风格损失函数；
第二函数定义模块，用于根据所述内容损失函数和风格损失函数，定义所述生成图像的总损失函数；
图像运算模块，用于通过梯度下降算法对所述生成图像进行迭代运算，直至所述总损失函数收敛。
6.根据权利要求5所述的乳腺超声图像风格转换装置，其特征在于，所述内容损失函数为：
Figure FDA0002603931520000022
其中，所述
Figure FDA0002603931520000026
为原始图像，所述
Figure FDA0002603931520000027
为生成图像，所述l为卷积神经网络的第l层，所述
Figure FDA0002603931520000028
为生成图像
Figure FDA0002603931520000029
在第l层的卷积特征，所述
Figure FDA00026039315200000210
为原始图像
Figure FDA00026039315200000211
在第l层的卷积特征，所述i表示卷积的第i个通道，所述j表示卷积的第j个位置。
7.根据权利要求5所述的乳腺超声图像风格转换装置，其特征在于，所述风格损失函数为：
Figure FDA0002603931520000031
其中，所述
Figure FDA0002603931520000033
为原始图像，所述
Figure FDA0002603931520000034
为生成图像，所述l为卷积神经网络的第l层，所述
Figure FDA0002603931520000035
是防止风格损失的数量级相比内容损失过大的归一化项，所述
Figure FDA0002603931520000036
为原始图像某一次卷积的格拉姆矩阵，所述Gl为生成图像经过同样计算得到对应卷基层的格拉姆矩阵。
8.根据权利要求5所述的乳腺超声图像风格转换装置，其特征在于，所述总损失函数为：
Figure FDA0002603931520000032
其中，所述
Figure FDA0002603931520000037
为原始图像，所述
Figure FDA0002603931520000038
为风格图像，所述
Figure FDA0002603931520000039
为生成图像，所述α，β是平衡内容损失与风格损失的两个超参数。
9.一种乳腺扫查设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，所述处理器执行所述计算机程序时实现权利要求1-4任一项所述的乳腺超声图像风格转换方法。
10.一种介质，其特征在于，所述介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一项所述的乳腺超声图像风格转换方法。
CN202010733147.7A 2020-07-27 2020-07-27 乳腺超声图像风格转换方法、装置、乳腺扫查设备及介质 Pending CN112085649A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010733147.7A CN112085649A (zh) 2020-07-27 2020-07-27 乳腺超声图像风格转换方法、装置、乳腺扫查设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010733147.7A CN112085649A (zh) 2020-07-27 2020-07-27 乳腺超声图像风格转换方法、装置、乳腺扫查设备及介质

Publications (1)

Publication Number Publication Date
CN112085649A true CN112085649A (zh) 2020-12-15

Family

ID=73735933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010733147.7A Pending CN112085649A (zh) 2020-07-27 2020-07-27 乳腺超声图像风格转换方法、装置、乳腺扫查设备及介质

Country Status (1)

Country Link
CN (1) CN112085649A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108711137A (zh) * 2018-05-18 2018-10-26 西安交通大学 一种基于深度卷积神经网络的图像色彩表达模式迁移方法
CN109766895A (zh) * 2019-01-03 2019-05-17 京东方科技集团股份有限公司 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法
CN110111291A (zh) * 2019-05-10 2019-08-09 衡阳师范学院 基于局部和全局优化融合图像卷积神经网络风格迁移方法
US20200134797A1 (en) * 2018-10-31 2020-04-30 Boe Technology Group Co., Ltd. Image style conversion method, apparatus and device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108711137A (zh) * 2018-05-18 2018-10-26 西安交通大学 一种基于深度卷积神经网络的图像色彩表达模式迁移方法
US20200134797A1 (en) * 2018-10-31 2020-04-30 Boe Technology Group Co., Ltd. Image style conversion method, apparatus and device
CN109766895A (zh) * 2019-01-03 2019-05-17 京东方科技集团股份有限公司 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法
CN110111291A (zh) * 2019-05-10 2019-08-09 衡阳师范学院 基于局部和全局优化融合图像卷积神经网络风格迁移方法

Similar Documents

Publication Publication Date Title
CN109166130B (zh) 一种图像处理方法及图像处理装置
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN110232719B (zh) 一种医学图像的分类方法、模型训练方法和服务器
CN111986181B (zh) 基于双注意力机制的血管内支架图像分割方法和系统
CN114581662B (zh) 一种脑肿瘤图像的分割方法、系统、装置及存储介质
US20240212811A1 (en) Method and apparatus for processing of multi-modal data
US20230386048A1 (en) Ultrasound image segmentation method and apparatus, terminal device, and storage medium
US11580673B1 (en) Methods, systems, and computer readable media for mask embedding for realistic high-resolution image synthesis
CN111161269B (zh) 图像分割方法、计算机设备和可读存储介质
CN111325695B (zh) 基于多剂量等级的低剂量图像增强方法、系统及存储介质
CN110211205B (zh) 图像处理方法、装置、设备和存储介质
CN112070752B (zh) 一种医学图像的心耳分割方法、装置及存储介质
CN111028248A (zh) 一种基于ct图像的静动脉分离方法及装置
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN114863225B (zh) 图像处理模型训练方法、生成方法、装置、设备及介质
CN111341408A (zh) 影像报告模板的生成方法、计算机设备和存储介质
CN115375548A (zh) 一种超分辨率的遥感图像生成方法、系统、设备和介质
CN114359430A (zh) 一种pet图像重建方法和系统
CN112927235B (zh) 基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法
CN114169467A (zh) 图像标注方法、电子设备及存储介质
CN112085649A (zh) 乳腺超声图像风格转换方法、装置、乳腺扫查设备及介质
Guttulsrud Generating Synthetic Medical Images with 3D GANs
CN113327221B (zh) 融合roi区域的图像合成方法、装置、电子设备及介质
CN111402274B (zh) 一种磁共振左心室图像分割的处理方法、模型及训练方法
CN114066873A (zh) 一种利用ct图像检测骨质疏松的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201215