CN112634390B - 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置 - Google Patents

基于Wasserstein生成对抗网络模型的高能图像合成方法、装置 Download PDF

Info

Publication number
CN112634390B
CN112634390B CN202011499493.XA CN202011499493A CN112634390B CN 112634390 B CN112634390 B CN 112634390B CN 202011499493 A CN202011499493 A CN 202011499493A CN 112634390 B CN112634390 B CN 112634390B
Authority
CN
China
Prior art keywords
energy image
preset
network model
image
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011499493.XA
Other languages
English (en)
Other versions
CN112634390A (zh
Inventor
郑海荣
胡战利
梁栋
刘新
周豪杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202011499493.XA priority Critical patent/CN112634390B/zh
Publication of CN112634390A publication Critical patent/CN112634390A/zh
Application granted granted Critical
Publication of CN112634390B publication Critical patent/CN112634390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于Wasserstein生成对抗网络模型的高能图像合成方法，该方法包括获取待合成的低能图像；将待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，得到合成后的目标高能图像；Wasserstein生成对抗网络模型基于低能图像样本、标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到，Wasserstein生成对抗网络模型包括生成器网络和判别器网络，生成器网络用于提取待合成的低能图像的图像特征，并基于图像特征合成高能图像；判别器网络用于对生成器网络合成的高能图像进行判断，并进行反向调节训练；预设损失函数，至少根据用于减小图像噪声和去除图像伪影的损失函数建立。

Description

基于Wasserstein生成对抗网络模型的高能图像合成方法、 装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于Wasserstein生成对抗网络模型的高能图像合成方法、装置。
背景技术
双能计算机断层扫描(Dual-energy Computed Tomography，双能CT)，逐渐成为一种更有效的非侵入式诊断方法，可以应用于传统的计算机断层扫描中，它通过两种不同能量的x射线进行扫描，使得到的数据集拥有更丰富的扫描信息，进而可以适用于更多的临床应用，比如尿路结石检测，痛风石检测和去除骨骼与金属伪影等。并且，相对于传统计算机断层扫描而言，由于双能计算机断层扫描的扫描方式可以使用一半的低能扫描替代原来的高能扫描，因此，还可以实现辐射剂量的降低。
然而，由于双能CT在扫描过程中需要同时采用高、低能量扫描，因此容易出现信号交叉干扰，存在短时间的时间间隔。并且，随着高能扫描的能量积累，会造成各种疾病发生的可能性，进而影响人体健康。
因此，如何研究和开发一种生成干扰、偏差较小的高质量高能图像的方法，是本领域技术人员目前亟需解决的技术问题。
发明内容
本发明实施例提供一种基于Wasserstein生成对抗网络模型的高能图像合成方法，用以解决现有技术中采用双能CT方法扫描得到CT图像时存在干扰偏差较大，图像质量较差的问题。
本发明实施例还提供一种基于Wasserstein生成对抗网络模型的高能图像合成装置，一种电子设备，以及一种计算机可读存储介质。
本发明实施例采用下述技术方案：
一种基于Wasserstein生成对抗网络模型的高能图像合成方法，包括：
获取待合成的低能图像；
将待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，得到合成后的目标高能图像；
Wasserstein生成对抗网络模型基于低能图像样本、标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到，Wasserstein生成对抗网络模型包括生成器网络和判别器网络，生成器网络用于提取待合成的低能图像的图像特征，并基于图像特征合成高能图像；判别器网络用于对生成器网络合成的高能图像进行判断，并进行反向调节训练；
预设损失函数，至少根据用于减小图像噪声和去除图像伪影的损失函数建立。
可选的，用于减小图像噪声和去除图像伪影的损失函数，根据标准高能图像在x方向的梯度、标准高能图像在y方向的梯度、合成高能图像在x方向的梯度以及合成高能图像在y方向的梯度建立。
可选的，预设损失函数，具体还根据下述损失函数中的至少一个建立：
用于校准合成的高能图像和标准高能图像之间的像素差异的预设像素差异校准函数；
用于校准合成的高能图像和标准高能图像之间的结构性信息差异的预设结构性损失函数；
用于校准合成的高能图像和标准高能图像之间的纹理信息差异的预设多尺度特征损失函数。
可选的，预设损失函数根据预设梯度损失函数、预设像素差异校准函数、预设结构性损失函数、预设多尺度特征损失函数和预设生成对抗网络模型建立。
可选的，在将待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，得到合成后的目标高能图像之前，还包括：基于低能图像样本和标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到Wasserstein生成对抗网络模型；
其中，基于低能图像样本和标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到Wasserstein生成对抗网络模型，包括：
将低能图像样本输入至预设生成对抗网络模型的生成器网络，得到合成的第一高能图像；
将第一高能图像输入至预设生成对抗网络模型的判别器网络，得到第一判别结果；
基于第一高能图像和标准高能图像，根据预设损失函数计算得到第一损失值，第一损失值用于更新预设生成对抗网络模型的参数，直到预设生成对抗网络收敛；
基于第一损失值和第一判别结果更新预设生成对抗网络模型，直至预设生成对抗网络模型收敛，并将收敛后的预设生成对抗网络模型确定为Wasserstein生成对抗网络模型。
可选的，若预设损失函数包括预设像素差异校准函数，则基于第一高能图像和标准高能图像，根据预设损失函数计算得到第一损失值，包括：
通过预设像素差异校准函数，计算第一高能图像和标准高能图像之间的像素差异值；
将像素差异值确定为第一损失值。
可选的，若预设损失函数包括预设结构性损失函数，则基于第一高能图像和标准高能图像，根据预设损失函数计算得到第一损失值，包括：
通过预设结构性损失函数，确定第一高能图像和标准高能图像的结构性差异值；
将结构性差异值确定为第一损失值。
可选的，若预设损失函数包括预设多尺度特征损失函数，则基于第一高能图像和标准高能图像，根据预设损失函数计算得到第一损失值，包括：
通过预设多尺度特征损失函数，确定第一高能图像和标准高能图像之间的纹理信息差异值；
将纹理信息差异值确定为第一损失值。
可选的，Wasserstein生成对抗网络模型的生成器网络包括4层编解码的语义分割网络，每层编解码之间采用跳跃链接方式连接，语义分割网络的编码层和解码层之间包括9层的残差网络；
Wasserstein生成对抗网络模型的判别器网络包括8组3*3的卷积层和激活函数LReLU；其中，从左往右数位于单数位置的卷积层和激活函数LReLU的卷积步长为1，位于双数位置的卷积层和激活函数LReLU的卷积步长为2。
一种基于Wasserstein生成对抗网络模型的高能图像合成装置，包括获取模块和输入模块，其中：
获取模块，用于获取待合成的低能图像；
输入模块，用于将待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，得到合成后的目标高能图像；其中，Wasserstein生成对抗网络模型通过预设的生成对抗网络模型学习方法训练得到；
Wasserstein生成对抗网络模型基于低能图像样本、标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到，Wasserstein生成对抗网络模型包括生成器网络和判别器网络，生成器网络用于提取待合成的低能图像的图像特征，并基于图像特征合成高能图像；判别器网络用于对生成器网络合成的高能图像进行判断，并进行反向调节训练；
预设损失函数，至少根据用于减小图像噪声和去除图像伪影的损失函数建立。
可选的，用于减小图像噪声和去除图像伪影的损失函数，可以根据标准高能图像在x方向的梯度、标准高能图像在y方向的梯度、合成高能图像在x方向的梯度以及合成高能图像在y方向的梯度建立。
可选的，预设损失函数，具体还根据下述损失函数中的至少一个建立：
用于校准合成的高能图像和标准高能图像之间的像素差异的预设像素差异校准函数；
用于校准合成的高能图像和标准高能图像之间的结构性信息差异的预设结构性损失函数；
用于校准合成的高能图像和标准高能图像之间的纹理信息差异的预设多尺度特征损失函数。
可选的，预设损失函数根据预设梯度损失函数、预设像素差异校准函数、预设结构性损失函数、预设多尺度特征损失函数和预设生成对抗网络模型建立。
可选的，该装置还包括：训练模块，用于基于低能图像样本和标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到Wasserstein生成对抗网络模型；
其中，训练模块，包括：
第一输入单元，用于将低能图像样本输入至预设生成对抗网络模型的生成器网络，得到合成的第一高能图像；
第二输入单元，用于将第一高能图像输入至预设生成对抗网络模型的判别器网络，得到第一判别结果；
计算单元，用于基于第一高能图像和标准高能图像，根据预设损失函数计算得到第一损失值，第一损失值用于更新预设生成对抗网络模型的参数，直到预设生成对抗网络收敛；
更新单元，用于基于第一损失值和第一判别结果更新预设生成对抗网络模型，直至预设生成对抗网络模型收敛，并将收敛后的预设生成对抗网络模型确定为Wasserstein生成对抗网络模型。
可选的，若预设损失函数包括预设像素差异校准函数，则计算单元，用于：
通过预设像素差异校准函数，计算第一高能图像和标准高能图像之间的像素差异值；
将像素差异值确定为第一损失值。
可选的，若预设损失函数包括预设结构性损失函数，则计算单元，用于：
通过预设结构性损失函数，确定第一高能图像和标准高能图像的结构性差异值；
将结构性差异值确定为第一损失值。
可选的，若预设损失函数包括预设多尺度特征损失函数，则计算单元，用于：
通过预设多尺度特征损失函数，确定第一高能图像和标准高能图像之间的纹理信息差异值；
将纹理信息差异值确定为第一损失值。
可选的，Wasserstein生成对抗网络模型的生成器网络包括4层编解码的语义分割网络，每层编解码之间采用跳跃链接方式连接，语义分割网络的编码层和解码层之间包括9层的残差网络；
Wasserstein生成对抗网络模型的判别器网络包括8组3*3的卷积层和激活函数LReLU；其中，从左往右数位于单数位置的卷积层和激活函数LReLU的卷积步长为1，位于双数位置的卷积层和激活函数LReLU的卷积步长为2。
一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的基于Wasserstein生成对抗网络模型的高能图像合成方法的步骤。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于Wasserstein生成对抗网络模型的高能图像合成方法的步骤。
本发明实施例采用的上述至少一个技术方案能够达到以下有益效果：
采用本发明实施例提供的方法，由于Wasserstein生成对抗网络模型是基于低能图像样本、标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到的，而预设损失函数，至少根据用于减小图像噪声和去除图像伪影的损失函数建立，因此，通过将待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，合成目标高能图像的方式，可以减小图像噪声和图像伪影对图像边缘的影响，从而提高合成目标高能图像的质量。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的一种基于Wasserstein生成对抗网络模型的高能图像合成方法的实现流程示意图；
图2为本发明实施例提供的一种Wasserstein生成对抗网络模型的生成器网络的结构示意图；
图3为本发明实施例提供的一种Wasserstein生成对抗网络模型的判别器网络结构示意图；
图4为本发明实施例提供的一种Wasserstein生成对抗网络模型的模型训练实现流程示意图；
图5为本发明实施例提供的方法在实际中的一种应用流程的示意图
图6为本发明实施例提供一种基于Wasserstein生成对抗网络模型的高能图像合成装置的具体结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合附图，详细说明本发明各实施例提供的技术方案。
实施例1
为解决现有技术中采用双能CT方法扫描得到CT图像时存在干扰偏差较大，图像质量较差的问题，本发明实施例提供一种基于Wasserstein生成对抗网络模型的高能图像合成方法。
该方法的执行主体，可以是各种类型的计算设备，或者，可以是安装于计算设备上的应用程序或应用(Application，APP)。所述的计算设备，比如可以是手机、平板电脑、智能可穿戴设备等用户终端，也可以是服务器等。
为便于描述，本发明实施例以该方法的执行主体为服务器为例，对该方法进行介绍。本领域技术人员可以理解，本发明实施例以该服务器为例对方法进行介绍，仅是一种示例性说明，并不对本方案对应的权利要求保护范围构成限制。
具体地，本发明实施例提供的该方法的实现流程如图1所示，包括如下步骤：
步骤11，获取待合成的低能图像。
低能图像，可以理解为成像对象在低剂量射线/低能射线下的能谱CT图像。例如，以成像对象为肺部为例，则低能图像可以包括在低剂量X射线下的肺部能谱CT图像。
通常，在低剂量射线/低能射线下得到的能谱CT图像可能包含大量噪声和伪影，从而影响图像质量。为了降低噪声以及伪影对图像质量的影响，可以基于低能图像采用预设方法，将低能图像合成具有高密度高分辨率低噪声的高能CT图像。相应地，本发明实施例中待合成的低能图像即可以包括待合成高能图像的低能CT图像。
本发明实施例中，可以通过X射线管在较低管电流和较低管电压条件下，获取待合成的低能图像。或者，在不规则采样和数据缺失情况下，还可以通过统计重建方法，利用其物理模型准确、对噪声不敏感等优点，获取待合成的低能图像。
需要说明的是，上述例举的获取待合成低能图像的方法，仅是本发明实施例的一种示例性说明，并不对本发明实施例造成任何限定。
步骤12，将待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，得到合成后的目标高能图像。
其中，Wasserstein生成对抗网络模型基于低能图像样本、标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到，Wasserstein生成对抗网络模型包括生成器网络和判别器网络，生成器网络用于提取待合成的低能图像的图像特征，并基于图像特征合成高能图像；判别器网络用于对生成器网络合成的高能图像进行判断，并进行反向调节训练。
目标高能图像，可以理解为基于低能图像合成的具有高密度高分辨率低噪声的高能CT图像。标准高能图像，可以理解为具有高密度、高分辨率、高纹理细节以及低噪声的高能CT图像。
本发明实施例中，在将待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，得到合成后的目标高能图像之前，可以预先基于低能图像样本和标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到Wasserstein生成对抗网络模型。
具体地，可以预先确定预设生成对抗网络模型的生成器网络、判别器网络，以及参数；然后，根据确定出的生成器网络、判别器网络以及参数确定预设生成对抗网络模型；最后，基于低能图像样本和标准高能图像以及预设损失函数对该预设生成对抗网络模型进行模型训练得到Wasserstein生成对抗网络模型。
例如，如图2所示，本发明实施例的生成器网络可以包括4层编解码的语义分割网络U-Net和特征提取网络。其中，语义分割网络的编码层和解码层之间可以包括9层的残差网络(图中的Residual Block)，残差网络可以由9个3x3卷积与ReLU激活函数组成。并且，为了避免模型训练过程中可能出现的梯度消失和梯度爆炸等问题，本发明实施例中，可以选择在每层编解码之间采用跳跃链接方式进行连接。特征提取网络，可以包括两个3x 3的卷积和ReLU激活函数(图中的Conv+LReLU)；通常，经过特征提取网络进入下一网络层时，可以先针对特征提取网络提取到的特征信息进行一次池化操作(图中的Pooling)，通道数可以由第一层的64(图中的n64)，逐渐翻倍三次变为512(图中的n512)，进而到达残差网络。需要说明的是，编码过程与解码过程保持对称，最后的重建网络(图中的Conv)由3*3卷积压缩至1通道(图中的n1)。
如图3所示，判别器网络可以包括8组3*3的卷积层和激活函数LReLU(图中的Conv+LReLU)；其中，从左往右数位于单数位置的卷积层和激活函数LReLU的卷积步长s为1(图中的s1)，位于双数位置的卷积层和激活函数LReLU的卷积步长s为2(图中的s2)。换而言之，即卷积步长s分别为1与2交替。可选的，通道数n可以由32逐步翻倍增加至256，最后两层(图中的FC(1024)LReLU和FC(1))包括两个卷积层，用于判别输出的图像是否为标准高能图像。
执行完上述步骤，确定完预设生成对抗网络模型的生成器网络和判别器网络之后，则可以进一步确定预设生成对抗网络模型的目标函数以及对应的参数。
在一种可选的实施方式中，例如可以采用以Wasserstein距离测度为核心的生成对抗网络模型作为预设生成对抗网络模型，该生成对抗网络模型的目标参数如下公式(1)所示：
Figure BDA0002843133590000101
其中，LWGAN(G,D)表示Wasserstein对抗网络模型，G表示Wasserstein对抗网络模型的生成器网络，D表示Wasserstein对抗网络模型的判别器网络，
Figure BDA0002843133590000102
表示固定判别器网络D，尽可能地让判别器能够最大化地判别出样属于合成高能图像还是标准高能图像，
Figure BDA0002843133590000111
表示在固定判别器网络D条件下的生成器网络G，/>
Figure BDA0002843133590000112
表示判别器网络D的期望值，Pr表示高能图像的概率分布；Pz表示合成的高能图像的概率分布；/>
Figure BDA0002843133590000113
表示在标准高能图像和合成的高能图像分布中随机采集的概率分布；λ表示惩罚系数，用于避免预设生成对抗网络模型训练时出现的模式坍塌和梯度消失问题。
在确定完预设生成对抗网络模型之后，则可以基于低能图像样本和标准高能图像以及预设损失函数，对预设生成对抗网络模型进行模型训练，以得到Wasserstein生成对抗网络模型。
其中，在训练预设生成对抗网络模型时，如图4所示，可以采用如下步骤41～步骤44：
步骤41，将低能图像样本输入至预设生成对抗网络模型的生成器网络，得到合成的第一高能图像。
例如，可以将一个图像尺寸为256x256的低能图像样本输入至预设生成对抗网络模型的生成器网络，以便该生成器网络中的特征提取网络可以基于低能图像提取该低能图像中的高频信息与低频信息，进而针对提取的特征信息进行图像重建得到合成的第一高能图像。
具体地，可以先通过生成器网络中的特征提取网络提取到低能图像的高频信息与低频信息；然后，基于语义分割网络的编码层对提取到的低能图像的高频信息和低频信息进行编码，其中，在编码过程中，每进入下一层之前，均需要先针对低能图像的高频信息与低频信息进行一次池化操作，通道由第一层的64，逐渐翻倍三次变为512，到达生成器网络中的残差网络；最后，再基于语义分割网络的解码层进行解码，其中，在解码过程中，每进入下一层之前，均需要先进行一次上采样Upsampling操作，通道由第一层的512，逐渐压缩至64，到达重建网络，得到合成的第一高能图像。
步骤42，将第一高能图像输入至预设生成对抗网络模型的判别器网络，得到第一判别结果。
本发明实施例中，为了判断合成的第一高能图形是否与标准高能图像相似，在得到第一高能图像之后，可以将将第一高能图像输入至预设生成对抗网络模型的判别器网络，得到第一判别结果。
其中，若第一判别结果表征第一高能图形与标准高能图像相似，则此时可以认为预设生成对抗网络模型的生成器网络收敛，也即基于生成器网络合成的第一高能图像已达到标准高能图像的标准，可以停止对生成器网络的训练。
或者，若第一判别结果表征第一高能图形与标准高能图像不相似，则此时可以认为预设生成对抗网络模型的生成器网络并不收敛，也即基于生成器网络合成的第一高能图像暂不能达到标准高能图像的标准，仍需要对生成器网络进行进一步训练。
上述两种情况仅是对本发明实施例的一种示例性说明，并不对本发明实施例造成任何限定。比如，在一种可选的实施例中，即使第一判别结果可以表征第一高能图形与标准高能图像相似，但为了避免出现由于判别器网络精度不高，导致判别结果不准确的情况，本发明实施例还可以基于第一判别结果，对预设生成对抗网络模型的生成器网络和判别器网络进行进一步训练，详细步骤可参见如下步骤43至步骤44。
步骤43，基于第一高能图像和标准高能图像，根据预设损失函数计算得到第一损失值，第一损失值用于更新预设生成对抗网络模型的参数，直到预设生成对抗网络收敛。
预设损失函数，至少根据用于减小图像噪声和去除图像伪影的损失函数建立。例如，考虑到本发明实施例中是为了解决现有技术中采用双能CT方法扫描得到CT图像时存在噪声、伪影干扰较大，图像质量较差的问题，而实际应用中可以通过图像之间的梯度差来增强图像的梯度信息，尤其是图像的边缘轮廓，进而减小噪声和伪影对图像边缘的影响，因此，本发明实施例中用于减小图像噪声和去除图像伪影的损失函数可以是梯度损失函数。
其中，用于减小图像噪声和去除图像伪影的梯度损失函数，可以根据标准高能图像在x方向的梯度、标准高能图像在y方向的梯度、合成高能图像在x方向的梯度以及合成高能图像在y方向的梯度建立。例如，如下公式(2)所示：
Figure BDA0002843133590000131
其中，Lgdl(G(x),Y)表示梯度损失函数；G(x)表示合成高能图像；Y表示标准高能图像；
Figure BDA0002843133590000132
表示标准高能图像在x方向上的梯度；/>
Figure BDA0002843133590000133
表示标准高能图像在y方向的梯度；
Figure BDA0002843133590000134
表示合成高能图像在x方向的梯度；/>
Figure BDA0002843133590000135
表示合成高能图像在y方向的梯度。
本发明实施例中，假设以预设损失函数为上述公式(2)所示的用于减小图像噪声和去除图像伪影的梯度损失函数为例，则基于第一高能图像和标准高能图像，根据预设损失函数计算得到第一损失值，第一损失值用于更新预设生成对抗网络模型的参数，直到预设生成对抗网络收敛时，可以如下：
根据第一高能图像和标准高能图像，采用公式(2)所示的梯度损失函数计算第一高能图像和标准高能图像的梯度差，并将计算得到的梯度差确定为第一损失值。
步骤44，基于第一损失值和第一判别结果更新预设生成对抗网络模型，直至预设生成对抗网络模型收敛，并将收敛后的预设生成对抗网络模型确定为Wasserstein生成对抗网络模型。
根据步骤43得到第一高能图像和标准高能图像的第一损失值后，则可以基于第一损失值和第一判别结果使用Adam优化器对预设生成对抗网络模型进行优化，并且当预设损失函数的曲线收敛于预设范围时，将收敛后的预设生成对抗网络模型确定为Wasserstein生成对抗网络模型。
经过上述步骤得到Wasserstein生成对抗网络模型之后，则可以将待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，得到合成后的目标高能图像。
采用本发明实施例提供的方法，由于Wasserstein生成对抗网络模型是基于低能图像样本、标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到的，而预设损失函数，至少根据用于减小图像噪声和去除图像伪影的损失函数建立，因此，通过将待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，合成目标高能图像的方式，可以减小图像噪声和图像伪影对图像边缘的影响，从而提高合成目标高能图像的质量。
实施例2
出于与上述方法相同的发明构思，本发明实施例还基于Wasserstein生成对抗网络模型的高能图像合成方法，用以解决现有技术中采用双能CT方法扫描得到CT图像时存在干扰偏差较大，图像质量较差的问题。
以下对该方法进行详细介绍。
实际应用中，考虑到训练像素级的生成器网络时，通常会出现配对像素之间的偏移，使得细节上出现错误，从而降低合成高能图像的质量，因此，在基于待合成的低能图像合成高能图像时，为了保证合成高能图像的质量，除了可以减少合成高能图像的噪声和伪影之外，还需要校准合成高能图像和标准高能图像之间的像素误差。基于此，本发明实施例1中步骤43中的预设损失函数还可以包括用于校准合成的高能图像和标准高能图像之间的像素差异的预设像素差异校准函数。
其中，用于校准合成的高能图像和标准高能图像之间的像素差异的预设像素差异校准函数，例如可以如下公式(3)所示：
Figure BDA0002843133590000141
其中，LMSE(G(x),Y)表示预设像素差异校准函数，G(x)表示合成的第一高能图像，Y表示标准高能图像；w、h分别表示采样的宽和高，(i，j)表示图像的像素点。
可选的，在校准像素误差的同时，还需要保证合成高能图像的图像亮度、对比度以及结构信息，因此，预设损失函数还可以包括用于校准合成的高能图像和标准高能图像之间的结构性信息差异的预设结构性损失函数，例如，如下公式(4)所示：
LSSIM(G(x),Y)＝-log(max(0,SSIM(G(x),Y))) (4)
其中，LSSIM(G(x),Y)表示预设结构性损失函数，G(x)表示合成的第一高能图像，Y表示标准高能图像；SSIM(G(x),Y)表示结构性相似性函数，具体计算方式如下公式(5)所示：
Figure BDA0002843133590000151
其中，μ和σ分别表示图像的均值和标准差，C1＝(k1L)2和C2＝(k2L)2是两个较小的常数项，用于避免分母为0。
可选的，在生成第一高能图像的边缘信息时，为了保证图像的局部模式和纹理信息可以被有效地提取，且不会被特定的像素约束，本发明实施例中，预设损失函数还可以包括用于校准所述合成的高能图像和所述标准高能图像之间的纹理信息差异的预设多尺度特征损失函数，增加该预设损失函数后，可以有效地提取图像的高频信息。
其中，用于校准所述合成的高能图像和所述标准高能图像之间的纹理信息差异的预设多尺度特征损失函数例如可以如下公式(6)所示：
Figure BDA0002843133590000152
其中，Lcontent(G(x),Y)表示预设多尺度特征损失函数；G(x)表示合成的第一高能图像，Y表示标准高能图像；conv表示多尺度的卷积核，m表示多尺度卷积核的数量，size是采样图片的尺寸大小，βm是每一个尺度的权重，比如，可以设置为0.3，0.2和0.3。
综上所述，本发明实施例中预设损失函数，具体还可以根据下述损失函数中的至少一个建立：
用于校准合成的高能图像和标准高能图像之间的像素差异的预设像素差异校准函数；
用于校准合成的高能图像和标准高能图像之间的结构性信息差异的预设结构性损失函数；
用于校准合成的高能图像和标准高能图像之间的纹理信息差异的预设多尺度特征损失函数。
以下，将以预设损失函数同时根据预设梯度损失函数、预设像素差异校准函数、预设结构性损失函数、预设多尺度特征损失函数和预设生成对抗网络模型建立为例，对上述实施例1中的步骤43和步骤44进行说明：
其中，预设函数可以如下公式(7)所示：
Figure BDA0002843133590000161
其中，
Figure BDA0002843133590000162
表示预设生成对抗网络模型，G表示预设生成对抗网络模型的生成器网络，D表示预设生成对抗网络模型的判别器网络；LMSE(G(x),Y)表示预设像素差异校准函数；LSSIM(G(x),Y)表示预设结构性损失函数；Lcontent(G(x),Y)表示预设多尺度特征损失函数；Lgdl(G(x),Y)表示梯度损失函数；λadv，λmse，λssim，λcontent，λgdl分别表示各个损失函数的权重，比如，在一种可选的实施方式中，可以将各个损失函数的权重设置为超参数。
需要说明的是，关于各损失函数的具体计算方式可以参照前述的相关内容，为避免赘述，此处不再说明。
根据上述内容，确定预设损失函数之后，则可以基于第一高能图像和标准高能图像，根据预设损失函数计算得到第一损失值，第一损失值用于更新预设生成对抗网络模型的参数，直到预设生成对抗网络收敛。
具体地，首先可以通过预设像素差异校准函数，计算第一高能图像和标准高能图像之间的像素差异值，并将像素差异值确定为第一个第一损失值。
其次，通过预设结构性损失函数，确定第一高能图像和标准高能图像的结构性差异值，并将结构性差异值确定为第二个第一损失值。
然后，通过预设多尺度特征损失函数，确定第一高能图像和标准高能图像之间的纹理信息差异值，并将纹理信息差异值确定为第三个第一损失值。
最后，通过用于减小图像噪声和去除图像伪影的梯度损失函数，确定第一高能图像和标准高能图像的梯度差，并将梯度差确定为第四个第一损失值。
在得到上述四个第一损失值后，则可以基于上述四个损失值进行加权求和，确定最终的第一损失值，然后基于最终的第一损失值和第一判别结果更新预设生成对抗网络模型，直至预设生成对抗网络模型收敛，并将收敛后的预设生成对抗网络模型确定为Wasserstein生成对抗网络模型。
采用本发明实施例提供的方法，由于Wasserstein生成对抗网络模型是基于低能图像样本、标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到的，而预设损失函数，至少根据用于减小图像噪声和去除图像伪影的损失函数、用于校准合成的高能图像和标准高能图像之间的像素差异的预设像素差异校准函数、用于校准合成的高能图像和标准高能图像之间的结构性信息差异的预设结构性损失函数以及用于校准合成的高能图像和标准高能图像之间的纹理信息差异的预设多尺度特征损失函数建立，因此，通过将待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，合成目标高能图像的方式，一方面，可以减小图像噪声和图像伪影对图像边缘的影响，从而提高合成目标高能图像的质量。另一方面，还可以校准合成的高能图像和标准高能图像之间的像素差异，避免合成高能图像的细节出现差异；可以校准合成的高能图像和标准高能图像之间的结构性信息差异，保证合成的高能图像的结构性信息、图像亮度和对比度等；以及，也可以校准合成的高能图像和标准高能图像之间的纹理信息差异，保证图像的局部模式和纹理信息可以被有效地提取。
实施例3
以下结合实际场景，说明本发明实施例提供的方法在实际中如何应用。
请参见图5，为本发明实施例提供的方法在实际中的一种应用流程的示意图。该流程具体包括如下步骤：
首先，可以将低能图像(图中的LECT)进行切片，得到尺寸为256*256的切片(图中的Patch)，然后将得到的切片输入Wasserstein生成对抗网络模型的生成器网络(图中的Generator)，得到合成的高能图像(图中的sHECT)。
另一方面，获取标准高能图像(图中的HECT)，将标准的高能图像进行切片，然后基于标准高能图像对Wasserstein生成对抗网络模型的判别器网络(图中的Discriminator)进行训练，并基于训练后的判别器网络判别合成的高能图像。
在得到合成的高能图像之后，可以基于梯度流(图中的Gradient Flow)计算合成的高能图像和标准高能图像之间的梯度差，然后基于预设梯度损失函数(图中的GradientDiffercnce)反向更新生成器网络的参数。
本发明实施例中，考虑到训练像素级的生成器网络时，通常会出现配对像素之间的偏移，使得细节上出现错误，从而降低合成高能图像的质量，因此，在基于预设梯度损失函数反向更新生成器网络的参数时，其中的预设梯度损失函数还可以包括(图中的MES)，以及为了保证合成高能图像的图像亮度、对比度以及结构信息，预设梯度损失函数还可以包括(图中的SSIM)，以及保证图像的局部模式和纹理信息可以被有效地提取，预设梯度损失函数还可以包括(图中的Content)。
采用本发明实施例提供的方法，由于Wasserstein生成对抗网络模型是基于低能图像样本、标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到的，而预设损失函数，至少根据用于减小图像噪声和去除图像伪影的损失函数、用于校准合成的高能图像和标准高能图像之间的像素差异的预设像素差异校准函数、用于校准合成的高能图像和标准高能图像之间的结构性信息差异的预设结构性损失函数以及用于校准合成的高能图像和标准高能图像之间的纹理信息差异的预设多尺度特征损失函数建立，因此，通过将待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，合成目标高能图像的方式，一方面，可以减小图像噪声和图像伪影对图像边缘的影响，从而提高合成目标高能图像的质量。另一方面，还可以校准合成的高能图像和标准高能图像之间的像素差异，避免合成高能图像的细节出现差异；可以校准合成的高能图像和标准高能图像之间的结构性信息差异，保证合成的高能图像的结构性信息、图像亮度和对比度等；以及，也可以校准合成的高能图像和标准高能图像之间的纹理信息差异，保证图像的局部模式和纹理信息可以被有效地提取。
实施例4
以上为本发明实施例提供的一种基于Wasserstein生成对抗网络模型的高能图像合成方法，基于同样的思路，本发明实施例还提供一种基于Wasserstein生成对抗网络模型的高能图像合成装置，如图6所示。
该装置60包括：包括获取模块61和输入模块62，其中：
获取模块61，用于获取待合成的低能图像；
输入模块62，用于将待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，得到合成后的目标高能图像；其中，Wasserstein生成对抗网络模型通过预设的生成对抗网络模型学习方法训练得到；
Wasserstein生成对抗网络模型基于低能图像样本、标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到，Wasserstein生成对抗网络模型包括生成器网络和判别器网络，生成器网络用于提取待合成的低能图像的图像特征，并基于图像特征合成高能图像；判别器网络用于对生成器网络合成的高能图像进行判断，并进行反向调节训练；
预设损失函数，至少根据用于减小图像噪声和去除图像伪影的损失函数建立。
可选的，用于减小图像噪声和去除图像伪影的损失函数，可以根据标准高能图像在x方向的梯度、标准高能图像在y方向的梯度、合成高能图像在x方向的梯度以及合成高能图像在y方向的梯度建立。
可选的，预设损失函数，具体还根据下述损失函数中的至少一个建立：
用于校准合成的高能图像和标准高能图像之间的像素差异的预设像素差异校准函数；
用于校准合成的高能图像和标准高能图像之间的结构性信息差异的预设结构性损失函数；
用于校准合成的高能图像和标准高能图像之间的纹理信息差异的预设多尺度特征损失函数。
可选的，预设损失函数根据预设梯度损失函数、预设像素差异校准函数、预设结构性损失函数、预设多尺度特征损失函数和预设生成对抗网络模型建立。
可选的，该装置还包括：训练模块，用于基于低能图像样本和标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到Wasserstein生成对抗网络模型；
其中，训练模块，包括：
第一输入单元，用于将低能图像样本输入至预设生成对抗网络模型的生成器网络，得到合成的第一高能图像；
第二输入单元，用于将第一高能图像输入至预设生成对抗网络模型的判别器网络，得到第一判别结果；
计算单元，用于基于第一高能图像和标准高能图像，根据预设损失函数计算得到第一损失值，第一损失值用于更新预设生成对抗网络模型的参数，直到预设生成对抗网络收敛；
更新单元，用于基于第一损失值和第一判别结果更新预设生成对抗网络模型，直至预设生成对抗网络模型收敛，并将收敛后的预设生成对抗网络模型确定为Wasserstein生成对抗网络模型。
可选的，若预设损失函数包括预设像素差异校准函数，则计算单元，用于：
通过预设像素差异校准函数，计算第一高能图像和标准高能图像之间的像素差异值；
将像素差异值确定为第一损失值。
可选的，若预设损失函数包括预设结构性损失函数，则计算单元，用于：
通过预设结构性损失函数，确定第一高能图像和标准高能图像的结构性差异值；
将结构性差异值确定为第一损失值。
可选的，若预设损失函数包括预设多尺度特征损失函数，则计算单元，用于：
通过预设多尺度特征损失函数，确定第一高能图像和标准高能图像之间的纹理信息差异值；
将纹理信息差异值确定为第一损失值。
可选的，Wasserstein生成对抗网络模型的生成器网络包括4层编解码的语义分割网络，每层编解码之间采用跳跃链接方式连接，语义分割网络的编码层和解码层之间包括9层的残差网络；
Wasserstein生成对抗网络模型的判别器网络包括8组3*3的卷积层和激活函数LReLU；其中，从左往右数位于单数位置的卷积层和激活函数LReLU的卷积步长为1，位于双数位置的卷积层和激活函数LReLU的卷积步长为2。
采用本发明实施例提供的装置，由于Wasserstein生成对抗网络模型是基于低能图像样本、标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到的，而预设损失函数，至少根据用于减小图像噪声和去除图像伪影的损失函数建立，因此，通过输入模块将待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，得到合成的目标高能图像，可以减小图像噪声和图像伪影对图像边缘的影响，从而提高合成目标高能图像的质量。
实施例5
图7为实现本发明各个实施例的一种电子设备的硬件结构示意图，该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、处理器710、以及电源711等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中，处理器710，用于获取待合成的低能图像；将待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，得到合成后的目标高能图像；Wasserstein生成对抗网络模型基于低能图像样本、标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到，Wasserstein生成对抗网络模型包括生成器网络和判别器网络，生成器网络用于提取待合成的低能图像的图像特征，并基于图像特征合成高能图像；判别器网络用于对生成器网络合成的高能图像进行判断，并进行反向调节训练；预设损失函数，至少根据用于减小图像噪声和去除图像伪影的损失函数建立。
可选的，用于减小图像噪声和去除图像伪影的损失函数，根据标准高能图像在x方向的梯度、标准高能图像在y方向的梯度、合成高能图像在x方向的梯度以及合成高能图像在y方向的梯度建立。
可选的，预设损失函数，具体还根据下述损失函数中的至少一个建立：
用于校准合成的高能图像和标准高能图像之间的像素差异的预设像素差异校准函数；
用于校准合成的高能图像和标准高能图像之间的结构性信息差异的预设结构性损失函数；
用于校准合成的高能图像和标准高能图像之间的纹理信息差异的预设多尺度特征损失函数。
可选的，预设损失函数根据预设梯度损失函数、预设像素差异校准函数、预设结构性损失函数、预设多尺度特征损失函数和预设生成对抗网络模型建立。
可选的，在将待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，得到合成后的目标高能图像之前，还包括：基于低能图像样本和标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到Wasserstein生成对抗网络模型；
其中，基于低能图像样本和标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到Wasserstein生成对抗网络模型，包括：
将低能图像样本输入至预设生成对抗网络模型的生成器网络，得到合成的第一高能图像；
将第一高能图像输入至预设生成对抗网络模型的判别器网络，得到第一判别结果；
基于第一高能图像和标准高能图像，根据预设损失函数计算得到第一损失值，第一损失值用于更新预设生成对抗网络模型的参数，直到预设生成对抗网络收敛；
基于第一损失值和第一判别结果更新预设生成对抗网络模型，直至预设生成对抗网络模型收敛，并将收敛后的预设生成对抗网络模型确定为Wasserstein生成对抗网络模型。
可选的，若预设损失函数包括预设像素差异校准函数，则基于第一高能图像和标准高能图像，根据预设损失函数计算得到第一损失值，包括：
通过预设像素差异校准函数，计算第一高能图像和标准高能图像之间的像素差异值；
将像素差异值确定为第一损失值。
可选的，若预设损失函数包括预设结构性损失函数，则基于第一高能图像和标准高能图像，根据预设损失函数计算得到第一损失值，包括：
通过预设结构性损失函数，确定第一高能图像和标准高能图像的结构性差异值；
将结构性差异值确定为第一损失值。
可选的，若预设损失函数包括预设多尺度特征损失函数，则基于第一高能图像和标准高能图像，根据预设损失函数计算得到第一损失值，包括：
通过预设多尺度特征损失函数，确定第一高能图像和标准高能图像之间的纹理信息差异值；
将纹理信息差异值确定为第一损失值。
可选的，Wasserstein生成对抗网络模型的生成器网络包括4层编解码的语义分割网络，每层编解码之间采用跳跃链接方式连接，语义分割网络的编码层和解码层之间包括9层的残差网络；
Wasserstein生成对抗网络模型的判别器网络包括8组3*3的卷积层和激活函数LReLU；其中，从左往右数位于单数位置的卷积层和激活函数LReLU的卷积步长为1，位于双数位置的卷积层和激活函数LReLU的卷积步长为2。
存储器709，用于存储可在处理器710上运行的计算机程序，该计算机程序被处理器710执行时，实现处理器710所实现的上述功能。
应理解的是，本发明实施例中，射频单元701可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器710处理；另外，将上行的数据发送给基站。通常，射频单元701包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元701还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块702为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元703可以将射频单元701或网络模块702接收的或者在存储器709中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元703还可以提供与电子设备700执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元703包括扬声器、蜂鸣器以及受话器等。
输入单元704用于接收音频或视频信号。输入单元704可以包括图形处理器(Graphics Processing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元706上。经图形处理器7041处理后的图像帧可以存储在存储器709(或其它存储介质)中或者经由射频单元701或网络模块702进行发送。麦克风7042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元701发送到移动通信基站的格式输出。
电子设备700还包括至少一种传感器705，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板7061的亮度，接近传感器可在电子设备700移动到耳边时，关闭显示面板7061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器705还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
显示单元706用于显示由用户输入的信息或提供给用户的信息。显示单元706可包括显示面板7061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板7061。
用户输入单元707可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板7071上或在触控面板7071附近的操作)。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器710，接收处理器710发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板7071。除了触控面板7071，用户输入单元707还可以包括其他输入设备7072。具体地，其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板7071可覆盖在显示面板7071上，当触控面板7071检测到在其上或附近的触摸操作后，传送给处理器710以确定触摸事件的类型，随后处理器710根据触摸事件的类型在显示面板7061上提供相应的视觉输出。虽然在图7中，触控面板7071与显示面板7061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板7071与显示面板7061集成而实现电子设备的输入和输出功能，具体此处不做限定。
接口单元708为外部装置与电子设备700连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元708可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备700内的一个或多个元件或者可以用于在电子设备700和外部装置之间传输数据。
存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器709可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器710是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器709内的软件程序和/或模块，以及调用存储在存储器709内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器710可包括一个或多个处理单元；优选的，处理器710可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。
电子设备700还可以包括给各个部件供电的电源711(比如电池)，优选的，电源711可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外，电子设备700包括一些未示出的功能模块，在此不再赘述。
优选的，本发明实施例还提供一种电子设备，包括处理器710，存储器709，存储在存储器709上并可在所述处理器710上运行的计算机程序，该计算机程序被处理器710执行时实现上述基于Wasserstein生成对抗网络模型的高能图像合成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述基于Wasserstein生成对抗网络模型的高能图像合成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (9)

1.一种基于Wasserstein生成对抗网络模型的高能图像合成方法，其特征在于，包括：
获取待合成的低能图像；
将所述待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，得到合成后的目标高能图像；
所述Wasserstein生成对抗网络模型基于低能图像样本、标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到，所述Wasserstein生成对抗网络模型包括生成器网络和判别器网络，所述生成器网络用于提取所述待合成的低能图像的图像特征，并基于所述图像特征合成高能图像；所述判别器网络用于对生成器网络合成的高能图像进行判断，并进行反向调节训练；
所述预设损失函数，至少根据用于减小图像噪声和去除图像伪影的损失函数建立；
所述预设损失函数如下所示：
Figure QLYQS_1
其中，G(x)表示合成的第一高能图像，Y表示标准高能图像，
Figure QLYQS_4
表示预设生成对抗网络模型，G表示预设生成对抗网络模型的生成器网络，D表示预设生成对抗网络模型的判别器网络；/>
Figure QLYQS_7
表示预设像素差异校准函数；/>
Figure QLYQS_9
表示预设结构性损失函数；/>
Figure QLYQS_3
表示预设多尺度特征损失函数；/>
Figure QLYQS_6
表示梯度损失函数；/>
Figure QLYQS_8
，/>
Figure QLYQS_11
，/>
Figure QLYQS_2
，/>
Figure QLYQS_5
，/>
Figure QLYQS_10
分别表示各个损失函数的权重。
2.如权利要求1所述的方法，其特征在于，在将所述待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，得到合成后的目标高能图像之前，还包括：基于低能图像样本和标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到所述Wasserstein生成对抗网络模型；
其中，基于低能图像样本和标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到所述Wasserstein生成对抗网络模型，包括：
将所述低能图像样本输入至预设生成对抗网络模型的生成器网络，得到合成的第一高能图像；
将所述第一高能图像输入至预设生成对抗网络模型的判别器网络，得到第一判别结果；
基于所述第一高能图像和所述标准高能图像，根据所述预设损失函数计算得到第一损失值，所述第一损失值用于更新所述预设生成对抗网络模型的参数，直到所述预设生成对抗网络收敛；
基于所述第一损失值和所述第一判别结果更新所述预设生成对抗网络模型，直至所述预设生成对抗网络模型收敛，并将收敛后的预设生成对抗网络模型确定为所述Wasserstein生成对抗网络模型。
3.如权利要求2所述的方法，其特征在于，若所述预设损失函数包括预设像素差异校准函数，则基于所述第一高能图像和所述标准高能图像，根据所述预设损失函数计算得到第一损失值，包括：
通过所述预设像素差异校准函数，计算所述第一高能图像和所述标准高能图像之间的像素差异值；
将所述像素差异值确定为第一个第一损失值。
4.如权利要求2所述的方法，其特征在于，若所述预设损失函数包括预设结构性损失函数，则基于所述第一高能图像和所述标准高能图像，根据所述预设损失函数计算得到第一损失值，包括：
通过所述预设结构性损失函数，确定所述第一高能图像和所述标准高能图像的结构性差异值；
将结构性差异值确定为第二个第一损失值。
5.如权利要求2所述的方法，其特征在于，若所述预设损失函数包括预设多尺度特征损失函数，则基于所述第一高能图像和所述标准高能图像，根据所述预设损失函数计算得到第一损失值，包括：
通过所述预设多尺度特征损失函数，确定所述第一高能图像和所述标准高能图像之间的纹理信息差异值；
将所述纹理信息差异值确定为第三个第一损失值。
6.如权利要求1所述的方法，其特征在于，所述Wasserstein生成对抗网络模型的生成器网络包括4层编解码的语义分割网络，每层编解码之间采用跳跃链接方式连接，所述语义分割网络的编码层和解码层之间包括9层的残差网络；
所述Wasserstein生成对抗网络模型的判别器网络包括8组3*3的卷积层和激活函数LReLU；其中，从左往右数位于单数位置的卷积层和激活函数LReLU的卷积步长为1，位于双数位置的卷积层和激活函数LReLU的卷积步长为2。
7.一种基于Wasserstein生成对抗网络模型的高能图像合成装置，其特征在于，包括获取模块和输入模块，其中：
获取模块，用于获取待合成的低能图像；
输入模块，用于将所述待合成的低能图像输入到预先训练得到的Wasserstein生成对抗网络模型，得到合成后的目标高能图像；其中，所述Wasserstein生成对抗网络模型通过预设的生成对抗网络模型学习方法训练得到；
所述Wasserstein生成对抗网络模型基于低能图像样本、标准高能图像以及预设损失函数，通过预设生成对抗网络模型训练得到，所述Wasserstein生成对抗网络模型包括生成器网络和判别器网络，所述生成器网络用于提取所述待合成的低能图像的图像特征，并基于所述图像特征合成高能图像；所述判别器网络用于对生成器网络合成的高能图像进行判断，并进行反向调节训练；
所述预设损失函数，至少根据用于减小图像噪声和去除图像伪影的损失函数建立；
所述预设损失函数如下所示：
Figure QLYQS_12
其中，G(x)表示合成的第一高能图像，Y表示标准高能图像，
Figure QLYQS_15
表示预设生成对抗网络模型，G表示预设生成对抗网络模型的生成器网络，D表示预设生成对抗网络模型的判别器网络；/>
Figure QLYQS_18
表示预设像素差异校准函数；/>
Figure QLYQS_21
表示预设结构性损失函数；/>
Figure QLYQS_14
表示预设多尺度特征损失函数；/>
Figure QLYQS_17
表示梯度损失函数；/>
Figure QLYQS_20
，/>
Figure QLYQS_22
，/>
Figure QLYQS_13
，/>
Figure QLYQS_16
，/>
Figure QLYQS_19
分别表示各个损失函数的权重。
8.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于Wasserstein生成对抗网络模型的高能图像合成方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于Wasserstein生成对抗网络模型的高能图像合成方法的步骤。
CN202011499493.XA 2020-12-17 2020-12-17 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置 Active CN112634390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011499493.XA CN112634390B (zh) 2020-12-17 2020-12-17 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011499493.XA CN112634390B (zh) 2020-12-17 2020-12-17 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置

Publications (2)

Publication Number Publication Date
CN112634390A CN112634390A (zh) 2021-04-09
CN112634390B true CN112634390B (zh) 2023-06-13

Family

ID=75316627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011499493.XA Active CN112634390B (zh) 2020-12-17 2020-12-17 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置

Country Status (1)

Country Link
CN (1) CN112634390B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506353A (zh) * 2021-07-22 2021-10-15 深圳高性能医疗器械国家研究院有限公司 一种图像处理方法、系统及其应用
WO2023000244A1 (zh) * 2021-07-22 2023-01-26 深圳高性能医疗器械国家研究院有限公司 一种图像处理方法、系统及其应用
CN114723841A (zh) * 2022-04-22 2022-07-08 广州柏视医疗科技有限公司 影像处理的方法、影像处理模型的训练方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696066A (zh) * 2020-06-13 2020-09-22 中北大学 基于改进wgan-gp的多波段图像同步融合与增强方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012233781A (ja) * 2011-04-28 2012-11-29 Fujifilm Corp 放射線画像検出装置、及び放射線撮影装置
CA3078728A1 (en) * 2017-10-09 2019-04-18 The Board Of Trustees Of The Leland Stanford Junior University Contrast dose reduction for medical imaging using deep learning
KR102220029B1 (ko) * 2018-10-12 2021-02-25 한국과학기술원 뉴럴 네트워크를 이용한 비매칭 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치
CN109949215B (zh) * 2019-03-29 2023-03-31 浙江明峰智能医疗科技有限公司 一种低剂量ct图像模拟方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696066A (zh) * 2020-06-13 2020-09-22 中北大学 基于改进wgan-gp的多波段图像同步融合与增强方法

Also Published As

Publication number Publication date
CN112634390A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112634390B (zh) 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置
JP7085062B2 (ja) 画像セグメンテーション方法、装置、コンピュータ機器およびコンピュータプログラム
WO2022126480A1 (zh) 基于Wasserstein生成对抗网络模型的高能图像合成方法、装置
CN107895369B (zh) 图像分类方法、装置、存储介质及设备
CN110517759B (zh) 一种待标注图像确定的方法、模型训练的方法及装置
CN112651890B (zh) 基于双编码融合网络模型的pet-mri图像去噪方法、装置
CN111598900B (zh) 一种图像区域分割模型训练方法、分割方法和装置
EP2839389B1 (en) Image retargeting quality assessment
WO2022036972A1 (zh) 图像分割方法及装置、电子设备和存储介质
US11900594B2 (en) Methods and systems for displaying a region of interest of a medical image
CN108234882B (zh) 一种图像虚化方法及移动终端
CN113610750B (zh) 对象识别方法、装置、计算机设备及存储介质
CN104094312B (zh) 对基于测得的知觉质量特性的视频处理算法的控制
CN110766610B (zh) 一种超分辨率图像的重建方法及电子设备
CN110781899A (zh) 图像处理方法及电子设备
CN112084959B (zh) 一种人群图像处理方法及装置
CN110827217B (zh) 图像处理方法、电子设备及计算机可读存储介质
US20230419452A1 (en) Method and device for correcting image on basis of compression quality of image in electronic device
CN111145151B (zh) 一种运动区域确定方法及电子设备
CN111028161B (zh) 图像校正方法及电子设备
CN111028192A (zh) 一种图像合成方法及电子设备
CN114399028A (zh) 信息处理方法、图卷积神经网络训练方法及电子设备
CN113724188A (zh) 一种病灶图像的处理方法以及相关装置
CN108846817A (zh) 图像处理方法、装置以及移动终端
CN108230312A (zh) 一种图像分析方法、设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant