CN112767505A - 图像处理方法、训练方法、装置、电子终端及存储介质 - Google Patents

图像处理方法、训练方法、装置、电子终端及存储介质 Download PDF

Info

Publication number
CN112767505A
CN112767505A CN202011634516.3A CN202011634516A CN112767505A CN 112767505 A CN112767505 A CN 112767505A CN 202011634516 A CN202011634516 A CN 202011634516A CN 112767505 A CN112767505 A CN 112767505A
Authority
CN
China
Prior art keywords
loss function
generator
dose
image
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011634516.3A
Other languages
English (en)
Other versions
CN112767505B (zh
Inventor
韦子权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen United Imaging Research Institute of Innovative Medical Equipment
Original Assignee
Shenzhen United Imaging Research Institute of Innovative Medical Equipment
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen United Imaging Research Institute of Innovative Medical Equipment filed Critical Shenzhen United Imaging Research Institute of Innovative Medical Equipment
Priority to CN202011634516.3A priority Critical patent/CN112767505B/zh
Publication of CN112767505A publication Critical patent/CN112767505A/zh
Application granted granted Critical
Publication of CN112767505B publication Critical patent/CN112767505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置、电子终端及存储介质，该方法包括：将接收的第一剂量的CT图像输入第一生成器，以生成第二剂量的预测CT图像，其中第二剂量大于第一剂量；其中，第一生成器在训练过程中包含于预设生成对抗网络，且随预设生成对抗网络基于对抗损失函数和循环损失函数进行训练；其中，循环损失函数包括基于图像的风格损失函数和/或感知损失函数。利用训练完毕的网络中的第一生成器，能够根据低剂量的CT图像生成高剂量的预测CT图像，以抑制低剂量CT图像中的噪声和伪影，提高图像质量。

Description

图像处理方法、训练方法、装置、电子终端及存储介质
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种图像处理方法、训练方法、装置、电子终端及存储介质。
背景技术
电子计算机断层扫描(Computed Tomography，CT)，是用射线束对人体某部一定厚度的层面进行扫描，根据探测器接收透过该层面的射线构建图像的一种技术。CT扫描为医学上广泛使用的成像手段之一，可用于多种疾病的检查。
由于CT扫描过程采用的放射线具备一定的风险性，在临床上常采用降低辐射剂量的方式规避这种风险。然而，通过低剂量CT扫描，重建得到的低剂量CT图像中存在明显的噪声和伪影。因此，亟需一种图像处理方法，能够抑制低剂量CT图像中的噪声和伪影。
发明内容
有鉴于此，本发明实施例提供了一种图像处理方法、训练方法、装置、电子终端及存储介质，能够抑制低剂量CT图像中的噪声和伪影，提高图像质量。
第一方面，本发明实施例提供了一种图像处理方法，包括：
接收第一剂量的CT图像；
将所述第一剂量的CT图像输入第一生成器，以利用所述第一生成器生成第二剂量的预测CT图像，其中所述第二剂量大于所述第一剂量；
其中，所述第一生成器在训练过程中包含于预设生成对抗网络，且随所述预设生成对抗网络基于对抗损失函数和循环损失函数进行训练；其中，所述循环损失函数包括基于图像的风格损失函数和/或感知损失函数。
第二方面，本发明实施例提供了一种一种生成对抗网络的训练方法，包括：
构建包含第一生成器、第二生成器、第一判别器和第二判别器的预设生成对抗网络；
基于第一生成器的输出、第二生成器的输出和第一判别器的输出构建第一对抗损失函数，以及基于第一生成器的输出、第二生成器的输出和第二判别器的输出构建第二对抗损失函数；
基于第一生成器的输出和第二生成器的输出构建循环损失函数；其中，所述循环损失函数包括基于图像的风格损失函数和/或感知损失函数；
根据所述第一对抗损失函数、第二对抗损失函数和循环损失函数，对所述预设生成对抗网络进行训练。
第三方面，本发明实施例还提供了一种图像处理装置，包括：
图像接收模块，用于接收第一剂量的CT图像；
图像生成模块，用于将所述第一剂量的CT图像输入第一生成器，以利用所述第一生成器生成第二剂量的预测CT图像，其中所述第二剂量大于所述第一剂量；
其中，所述第一生成器在训练过程中包含于预设生成对抗网络，且随所述预设生成对抗网络基于对抗损失函数和循环损失函数进行训练；其中，所述循环损失函数包括基于图像的风格损失函数和/或感知损失函数。
第四方面，本发明实施例还提供了一种生成对抗网络的训练装置，包括：
网络构建模块，用于构建包含第一生成器、第二生成器、第一判别器和第二判别器的预设生成对抗网络；
对抗损失函数构建模块，用于基于第一生成器的输出、第二生成器的输出和第一判别器的输出构建第一对抗损失函数，以及基于第一生成器的输出、第二生成器的输出和第二判别器的输出构建第二对抗损失函数；
循环损失函数构建模块，用于基于第一生成器的输出和第二生成器的输出构建循环损失函数；其中，所述循环损失函数包括基于图像的风格损失函数和/或感知损失函数；
训练模块，用于根据所述第一对抗损失函数、第二对抗损失函数和循环损失函数，对所述预设生成对抗网络进行训练。
第五方面，本发明实施例还提供了一种电子终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请任意实施例提供的图像处理方法，或实现如本申请任意实施例提供的生成对抗网络的训练方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请任意实施例提供的图像处理方法，或实现如本申请任意实施例提供的生成对抗网络的训练方法。
本发明实施例提供的一种图像处理方法、装置、电子终端及存储介质，该图像处理方法包括：将接收的第一剂量的CT图像输入第一生成器，以生成第二剂量的预测CT图像，其中第二剂量大于第一剂量；其中，第一生成器在训练过程中包含于预设生成对抗网络，且随预设生成对抗网络基于对抗损失函数和循环损失函数进行训练；其中，循环损失函数包括基于图像的风格损失函数和/或感知损失函数。
预设生成对抗网络属于生成对抗网络(Generative Adversarial Networks，GAN)，GAN网络中包含有生成器和判别器两模块，通过采用两模块之间极小极大博弈，能提高生成器的生成精确度，可实现网络的对抗训练。为实现预设生成网络基于循环损失函数进行训练，网络中包含除第一生成器外的另一生成器，通过循环损失函数训练预设生成对抗网络，能够避免高低剂量两个域图像直接作用，能够实现预设生成对抗网络中高低剂量的CT图像间双向映射，有利于基于不配对图像进行训练。通过使循环损失函数中包括基于图像的风格损失函数和/或感知损失函数，能够实现多尺度比对图像差异，提高网络训练精度。进而利用训练完毕的网络中的第一生成器，能够根据低剂量的CT图像生成高剂量的预测CT图像，以抑制低剂量CT图像中的噪声和伪影，提高图像质量。
附图说明
图1是本发明实施例一提供的一种图像处理方法的流程示意图；
图2是本发明实施例二提供的一种图像处理方法的流程示意图；
图3是本发明实施例三提供的一种图像处理方法的流程示意图；
图4是本发明实施例三提供的一种图像处理方法中预设生成对抗网络的结构示意图；
图5是本发明实施例四提供的一种生成对抗网络的训练方法的流程示意图；
图6是本发明实施例五提供的一种图像处理装置的结构示意图；
图7是本发明实施例六提供的一种生成对抗网络的训练装置的结构示意图；
图8是本发明实施例七提供的一种电子终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下述各实施例中，每个实施例中同时提供了可选特征和示例，实施例中记载的各个特征可进行组合，形成多个可选方案，不应将每个编号的实施例仅视为一个技术方案。
实施例一
图1为本发明实施例一提供的一种图像处理方法的流程示意图。本实施例可适用于利用低剂量的CT图像，生成高剂量的预测CT图像的情况。该方法可以由本发明实施例提供的图像处理装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于安装有图像处理功能的软件的电子终端中，例如计算机中。
参见图1，本实施例提供的图像处理方法，包括如下步骤：
S110、接收第一剂量的CT图像。
CT图像的辐射剂量，与扫描设备的球管中的管电流相关。通常，可通过降低扫描过程中的管电流的大小的方式，来降低CT扫描的辐射剂量。随着管电流的降低，到达扫描设备的探测器上的光子数减少，使得采集到的投影信号被噪声信号影响严重，重建得到的CT图像中存在明显的噪声和条形伪影。
本发明实施例中，第一剂量可以认为是较低的辐射剂量，例如对应管电流为40mA的辐射剂量。且第一剂量的CT图像中，可能存在有明显的噪声和条形伪影。其中，第一剂量的CT图像可以认为是通过真实扫描得到的低剂量CT图像。其中，可以通过读取预设存储介质的方式接收第一剂量的CT图像，也可以通过直接扫描重构的方式接收第一剂量的CT图像，在此不对图像接收方式进行穷举。
S120、将第一剂量的CT图像输入第一生成器，以利用第一生成器生成第二剂量的预测CT图像，其中第二剂量大于第一剂量。
本发明实施例中，第二剂量可以认为是正常的辐射剂量，可以为第一剂量的数倍，例如对应管电流为265mA的辐射剂量。且第二剂量的CT图像中，可以认为噪声和伪影皆得到改善，其图像质量高于第一剂量的CT图像。通过第一生成器，能够对真实的低剂量CT图像中的噪声和伪影进行抑制，以模拟出第二剂量的预测CT图像，从而能够实现图像质量的提高。
本实施例中，第一生成器在训练过程中包含于预设生成对抗网络，且随预设生成对抗网络基于对抗损失函数和循环损失函数进行训练；其中，循环损失函数包括基于图像的风格损失函数和/或感知损失函数。
其中，预设生成对抗网络属于生成对抗网络(Generative AdversarialNetworks，GAN)，例如可采用Cycle GAN网络作为网络基底。其中，GAN为一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。GAN中至少包含两个模块：生成器和判别器，两个模块的互相博弈学习可使生成模型产生良好的输出。
本实施例中，为实现预设生成网络基于循环损失函数进行训练，预设生成对抗网络除包含第一生成器之外，还可以包含其他生成器和判别器，且可以根据第一生成器、其他生成器和判别器构建对抗损失函数和循环损失函数，以进行预设生成对抗网络的训练。
其中，可以设定第一剂量的CT图像对应一个域，第二剂量的CT图像对应另一个域。通过构建对抗损失函数，能够实现生成器和判别器对抗训练，即尽可能使得生成器的输出能够让判别器判断为真，而判别器将生成器的输出判断为假。通过构建循环损失函数，能够约束一个域的图像，经过两次域的变换后，能尽可能地接近本身，即能够避免高低剂量两个域图像直接作用，从而实现预设生成对抗网络中高低剂量的CT图像间双向映射，有利于基于不配对的第一剂量的图像和第二剂量的图像(即并非同一身体部位的高低剂量的CT图像)进行训练。
其中，循环损失函数可以包括基于图像的风格损失函数和/或感知损失函数。通过基于图像的风格损失函数和/或感知损失函数的多尺度特征的损失函数，能够实现多尺度比对图像之间的差异，使得循环损失函数表征的损失更准确，有利于提高网络训练精度，以提高第一生成器生成图像的质量。在此基础上，循环损失函数还可以包括基于图像的逐像素特征的损失函数，进一步能够实现逐像素比对图像之间的差异，以使循环损失函数表征的损失更加准确。
在一些可选的实施方式中，逐像素特征可基于两图像间逐像素的均方误差(mean-square error，MSE)确定；多尺度特征可基于可视化几何组网络(Visual Geometry GroupNetwork，VGG)确定，即将两张图像输入预训练的VGG网络，以分别提取各图像的多尺度特征进行比对。在利用VGG网络提取各图像的多尺度特征后，可以引入感知损失函数和风格损失函数，从而能够衡量图像间在多尺度上特征上的差异，使得网络在实现降噪去伪影的同时保持组织结构的边缘细节信息。
本发明实施例提供的一种图像处理方法，预设生成对抗网络属于生成对抗网络(Generative Adversarial Networks，GAN)，GAN网络中包含有生成器和判别器两模块，通过采用两模块之间极小极大博弈，能提高生成器的生成精确度，可实现网络的对抗训练。为实现预设生成网络基于循环损失函数进行训练，网络中包含除第一生成器外的另一生成器，通过循环损失函数训练预设生成对抗网络，能够避免高低剂量两个域图像直接作用，能够实现预设生成对抗网络中高低剂量的CT图像间双向映射，有利于基于不配对图像进行训练。通过使循环损失函数中包括基于图像的风格损失函数和/或感知损失函数，能够实现多尺度比对图像差异，提高网络训练精度。进而利用训练完毕的网络中的第一生成器，能够根据低剂量的CT图像生成高剂量的预测CT图像，以抑制低剂量CT图像中的噪声和伪影，提高图像质量。
实施例二
本实施例提供的图像处理方法，能够与上述实施例中所提供的图像处理方法中各个可选方案相结合。本实施例提供的生图像处理方法，对抗损失函数和循环损失函数的构建进行了优化，能够根据对抗损失函数和循环损失函数，对预设生成对抗网络中的生成器和判别器进行训练。
图2是本发明实施例二提供的一种图像处理方法的流程示意图。参见图2，本实施例提供的图像处理方法，包括如下步骤：
S210、构建包含第一生成器、第二生成器、第一判别器和第二判别器的预设生成对抗网络。
本实施例中，预设生成对抗网络，采用Cycle GAN网络作为网络基底，且可以包括：第一生成器，用于根据第一剂量CT图像，生成第二剂量的CT图像；第二生成器，用于根据第二剂量CT图像，生成第一剂量的CT图像；第一判别器，用于判断输入是否为真实的第一剂量的CT图像；第二判别器，用于判断输入是否为真实的第二剂量CT图像。由于预设生成对抗网络采用了两个生成器和两个判别器，实现了无监督训练模式。
S220、基于第一生成器的输出、第二生成器的输出和第一判别器的输出构建第一对抗损失函数，以及基于第一生成器的输出、第二生成器的输出和第二判别器的输出构建第二对抗损失函数。
其中，可以利用第一判别器，分别判别真实的第一剂量的CT图像，和真实的第一剂量的CT图像依次经过第一生成器和第二生成器后，生成的伪造的第一剂量的CT图像。可以利用第二判别器，分别判别真实的第二剂量的CT图像，和真实的第二剂量的CT图像依次经过第二生成器和第一生成器后，生成的伪造的第二剂量的CT图像。其中，第一判别器和第二判别器的输出，皆可以是0-1之间的数，指的是输入图像是真的概率。输出越接近1，表明判别器认为输入图像是真实图像的可能性越大。
其中，第一对抗损失函数可以为两部分的加和，第一部分可以与第一判别器判别真实的第一剂量的CT图像的输出呈正相关，第二部分可以与第一判别器判别伪造的第一剂量的CT图像的输出呈负相关。这样的构造，可使得第一对抗损失函数在第一判别器的训练阶段，表征第一判别器的损失；在第一生成器和第二生成器的训练阶段，表征第一生成器和第二生成器的损失。
具体可以为，在生成器训练阶段，保持第一判别器的网络参数不变，训练第一生成器和第二生成器的参数。此时，第一对抗损失函数表征生成器的损失。由于第一损失函数中的第一部分固定，第一损失函数中的第二部分越小，则表征第一生成器和第二生成器的训练效果越好。在生成器训练阶段，我们期望第一对抗损失函数得到最小值。
在判别器训练阶段，保持两生成器的网络参数不变，训练第一判别器的参数。此时，第一对抗损失函数表征第一判别器的损失。此时，由于第一损失函数中的第一部分越大，第一损失函数中的第二部分越大，则表征第一判别器的训练效果越好。在判别器训练阶段，我们期望第一对抗损失函数得到最大值。
通过第一对抗损失函数极大极小值的博弈，能够实现第一生成器、第二生成器和第一判别器的对抗训练，以提高第一生成器、第二生成器和第一判别器的精度。
其中，第二对抗损失函数的构建同第一对抗损失函数，同样可为两部分的加和，且第一部分可以与第二判别器判别真实的第二剂量的CT图像的输出呈正相关，第二部分可以与第二判别器判别伪造的第二剂量的CT图像的输出呈负相关。通过第二对抗损失函数极大极小值的博弈，能够实现第一生成器、第二生成器和第二判别器的对抗训练，提高第一生成器、第二生成器和第二判别器的精度。
S230、基于第一生成器的输出和第二生成器的输出构建循环损失函数。
其中，循环损失函数可以包括两部分，第一部分可以为根据真实的第一剂量的CT图像，和真实的第一剂量的CT图像依次经过第一生成器和第二生成器后，生成的伪造的第一剂量的CT图像之间的差异，构建的损失函数；第二部分可以为根据真实的第二剂量的CT图像，和真实的第二剂量的CT图像依次经过第二生成器和第一生成器后，生成的伪造的第二剂量的CT图像之间的差异，构建的损失函数。
在训练过程中，通过期望循环损失函数最小，能够约束一个域的图像，经过两次域的变换后，能尽可能地接近本身，避免了两个域图像直接作用，从而实现预设生成对抗网络中高低剂量的CT图像间双向映射，有利于基于不配对的第一剂量的图像和第二剂量的图像进行训练。
S240、根据第一对抗损失函数、第二对抗损失函数和循环损失函数，对预设生成对抗网络进行训练。
其中，可以利用第一对抗损失函数、第二对抗损失函数和循环损失函数的加权平均，对预设生成对抗网络中的各生成器和判别器进行训练。
S250、接收第一剂量的CT图像。
S260、将第一剂量的CT图像输入第一生成器，以利用第一生成器生成第二剂量的预测CT图像，其中第二剂量大于第一剂量。
利用训练完毕的网络中的第一生成器，能够根据低剂量的CT图像生成高剂量的预测CT图像，以抑制低剂量CT图像中的噪声和伪影，提高图像质量。
本发明实施例提供的图像处理方法，对抗损失函数和循环损失函数的构建进行了优化，能够根据对抗损失函数和循环损失函数，对预设生成对抗网络中的生成器和判别器进行训练。此外，本实施例提供的图像处理方法与上述实施例提供的图像处理方法属于同一技术构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且相同的技术特征在本实施例与上述实施例中具有相同的有益效果。
实施例三
本实施例提供的图像处理方法，能够与上述实施例中所提供的图像处理方法中各个可选方案相结合。本实施例提供的图像处理方法，对预设生成对抗网络的训练步骤进行了优化，例如第一生成器随预设生成对抗网络基于对抗损失函数和循环损失函数进行训练的同时，还包括：第一生成器随预设生成对抗网络基于恒等损失函数进行训练；和/或，例如第一生成器随预设生成对抗网络基于对抗损失函数和循环损失函数进行训练的同时，还包括：第一生成器随预设生成对抗网络基于全变分损失函数进行训练。
通过在训练网络是引入恒等损失函数，能够约束同一个域的图像经过变换到此域的生成器的输出，能够尽可能地接近本身，从而能够保证每个生成器输出的稳定，使得每次输出不会偏离过大，避免图像失真。通过在网络训练时引入全变分损失函数，可以用来约束第一生成器，使得若通过第一生成器生成的图像存在像素灰度均匀部分，则可以使该均匀部分更加均匀，从而增加图像的分片光滑约束，使得第一生成器针对均匀区域能够更好的去噪效果。
图3是本发明实施例三提供的一种图像处理方法的流程示意图。参见图3，本实施例提供的图像处理方法，包括如下步骤：
S310、构建包含第一生成器、第二生成器、第一判别器和第二判别器的预设生成对抗网络。
S320、基于第一生成器的输出、第二生成器的输出和第一判别器的输出构建第一对抗损失函数，以及基于第一生成器的输出、第二生成器的输出和第二判别器的输出构建第二对抗损失函数。
S330、基于第一生成器的输出和第二生成器的输出构建循环损失函数。
S340、基于第一生成器的输出构建第一恒等损失函数，以及基于第二生成器的输出构建第二恒等损失函数。
其中，第一恒等损失函数可以为，根据真实的第一剂量的CT图像，和真实的第一剂量的CT图像经过第二生成器后，生成的伪造的第一剂量的CT图像之间的差异，构造的损失函数；第二恒等损失函数可以为，根据真实的第二剂量的CT图像，和真实的第二剂量的CT图像经过第一生成器后，生成的伪造的第二剂量的CT图像之间的差异，构造的损失函数。
其中，恒等损失函数也可以包括基于图像的风格损失函数和/或感知损失函数。通过基于图像的多尺度特征的损失函数，能够实现多尺度比对图像之间的差异，使得恒等损失函数表征的损失更准确，有利于提高网络训练精度，以提高第一生成器生成图像的质量。在此基础上，恒等损失函数还可以包括基于图像的逐像素特征的损失函数，进一步能够实现逐像素比对图像之间的差异，以使恒等损失函数表征的损失更加准确。
在训练过程中，通过期望第一恒等损失函数和第二恒等损失函数最小，能够使生成器在输入的图像与生成的图像的域不同时，进行图像的域的变换，在输入的图像与生成的图像的域相同时，尽可能地使输出接近输入，避免引入不必要的特征。通过构建恒等损失函数，能够约束同一个域的图像经过变换到此域的生成器的输出，能够尽可能地接近本身，从而能够保证每个生成器输出的稳定，使得每次输出不会偏离过大，导致图像失真。
S350、将第一剂量的样本CT图像输入第一生成器，根据第一生成器输出第二剂量的样本预测CT图像；根据第一剂量的样本CT图像，和第二剂量的样本预测CT图像，确定全变分损失函数。
在网络训练时，还可以引入了全变分损失函数，以用来约束第一生成器，使得若通过第一生成器生成的图像存在像素灰度均匀部分，则可以使该均匀部分更加均匀，从而增加图像的分片光滑约束，使得第一生成器针对均匀区域能够更好的去噪效果。
S360、根据第一对抗损失函数、第二对抗损失函数、循环损失函数、第一恒等损失函数、第二恒等损失函数和全变分损失函数，对预设生成对抗网络进行训练。
S370、接收第一剂量的CT图像。
S380、将第一剂量的CT图像输入第一生成器，以利用第一生成器生成第二剂量的预测CT图像，其中第二剂量大于第一剂量。
通过基于第一对抗损失函数、第二对抗损失函数、循环损失函数、第一恒等损失函数和第二恒等损失函数，能够实现不匹配、无监督训练预设生成对抗网络。进而，利用训练完毕的网络中的第一生成器，能够根据低剂量的CT图像生成高剂量的预测CT图像，以抑制低剂量CT图像中的噪声和伪影，提高图像质量。示例性的，图4是本发明实施例三提供的一种图像处理方法中预设生成对抗网络的结构示意图。图4中，(a)图和(b)图可认为是同一预设生成对抗网络，且该预设生成对抗网络可采用Cycle GAN网络作为网络基底。假设第一剂量的CT图像所在的域为1，第二剂量的CT图像所在的域为2，预设生成对抗网络可包括第一生成器G12、第二生成器G21、第一判别器D1和第二判别器D2。
参见图4(a)，在一些可选的实施方式中，基于第一生成器G12的输出、第二生成器G21的输出和第一判别器D1的输出构建第一对抗损失函数，以及基于第一生成器G12的输出、第二生成器G21的输出和第二判别器D2的输出构建第二对抗损失函数，包括：
步骤1，获取第一剂量的样本CT图像x1和第二剂量的样本CT图像y2。
现实训练过程中，配对的高低剂量的CT图像并不容易获取。本发明实施例中，通过将不配对的低剂量CT图像与高剂量CT图像均作为训练样本，能够实现训练样本的扩充，以可以通过少的样本量获得足够多的训练数据。
在一些进一步的实施方式中，获取第二剂量的样本CT图像，包括：获取扫描过程中，属于相邻扫描层的第二剂量的CT图像；将相邻扫描层的第二剂量的CT图像的平均图像，作为第二剂量的样本CT图像。其中，通过使用相邻两个扫描层的高剂量CT图像的平均图像，作为第二剂量的样本CT图像，能够在一定程度上抑制高剂量的CT图像的噪声，从而实现高剂量的CT图像的优化，即实现训练标签的优化，有利于提高预设生成对抗网络的训练精度。
步骤2，将第一剂量的样本CT图像x1输入第一生成器G12，并将第一生成器G12的输出
Figure BDA0002880854890000151
作为第二生成器G21的输入，以使第二生成器G21输出第一剂量的样本再预测CT图像
Figure BDA0002880854890000152
步骤3，将第二剂量的样本CT图像y2输入第二生成器G21，并将第二生成器G21的输出
Figure BDA0002880854890000153
作为第一生成器G12的输入，以使第一生成器G12输出第二剂量的样本再预测CT图像
Figure BDA0002880854890000154
步骤4，将第一剂量的样本CT图像x1，和第一剂量的样本再预测CT图像
Figure BDA0002880854890000161
输入第一判别器D1，以利用第一判别器D1判别第一剂量的样本CT图像x1，和第一剂量的样本再预测CT图像
Figure BDA0002880854890000162
的真伪，根据判别结果构建第一对抗损失函数。
步骤5，将第二剂量的样本CT图像y2，和第二剂量的样本再预测CT图像
Figure BDA0002880854890000163
输入第二判别器D2，以利用第二判别器D2判别第二剂量的样本CT图像y2，和第二剂量的样本再预测CT图像
Figure BDA0002880854890000164
的真伪，根据判别结果构建第二对抗损失函数。
在一些可选的实施方式中，基于第一生成器G12的输出和第二生成器G21的输出构建循环损失函数，包括：
将第一剂量的样本CT图像x1，和第一剂量的样本再预测CT图像
Figure BDA0002880854890000165
的风格损失函数和/或感知损失函数，作为第一循环损失函数Lcyc(G12,G21)；将第二剂量的样本CT图像y2，和第二剂量的样本再预测CT图像
Figure BDA0002880854890000166
的风格损失函数和/或感知损失函数，作为第二循环损失函数Lcyc(G21,G12)。
在一些可选的实施方式中，基于第一生成器G12的输出构建第一恒等损失函数，以及基于第二生成器G12的输出构建第二恒等损失函数，包括：
获取第一剂量的样本CT图像x1和第二剂量的样本CT图像y2；将第二剂量的样本CT图像y2输入第一生成器G12，根据第一生成器G12输出的与第二剂量的样本CT图像对应的图像，和第二剂量的样本CT图像y2的风格损失函数和/或感知损失函数，作为第一恒等损失函数Lidt(G12)；将第一剂量的样本CT图像x1输入第二生成器G21，根据第二生成器G21输出的与第一剂量的样本CT图像对应的图像，和第一剂量的样本CT图像x1的风格损失函数和/或感知损失函数，作为第二恒等损失函数Lidt(G21)。
其中，还可以包括获得多尺度特征的风格损失函数和感知损失函数。
参见图4(b)，以第一剂量的样本CT图像x1，和第一剂量的样本再预测CT图像
Figure BDA0002880854890000171
为例，获得风格损失函数和感知损失函数，可以为：将第一剂量的样本CT图像x1，和第一剂量的样本再预测CT图像
Figure BDA0002880854890000172
分别输入预训练的VGG网络，以分别输出第一剂量的样本CT图像x1的多尺度特征F1(x1)、F2(x1)、...、Fi(x1)，以及第一剂量的样本再预测CT图像
Figure BDA0002880854890000173
的多尺度特征
Figure BDA0002880854890000174
根据F1(x1)、F2(x1)、...、Fi(x1)和
Figure BDA0002880854890000175
可构建多尺度的风格损失函数Lstyle和感知损失函数Lpercep。此外，y2和
Figure BDA0002880854890000176
的风格损失函数和感知损失函数、y2和G12输出的与y2对应图像的风格损失函数和感知损失函数、x1和G21输出的与x1对应图像的风格损失函数和感知损失函数，皆可以参考上述方式进行构建。
此外，第一生成器随预设生成对抗网络基于全变分损失函数进行训练，包括：获取第一剂量的样本CT图像x1；将第一剂量的样本CT图像x1输入第一生成器，根据第一生成器输出第二剂量的样本预测CT图像
Figure BDA0002880854890000177
根据第一剂量的样本CT图像x1，和第二剂量的样本预测CT图像
Figure BDA0002880854890000178
确定全变分损失函数Ltv(图4中未示出)，并基于全变分损失函数Ltv训练预设生成对抗网络。
本发明实施例提供的图像处理方法，对预设生成对抗网络的训练步骤进行了优化，能够根据恒等损失函数和全变分损失函数，对预设生成对抗网络中的生成器和判别器进行训练。通过在训练网络是引入恒等损失函数，能够约束同一个域的图像经过变换到此域的生成器的输出，能够尽可能地接近本身，从而能够保证每个生成器输出的稳定，使得每次输出不会偏离过大，避免图像失真。通过在网络训练时引入全变分损失函数，可以用来约束第一生成器，使得若通过第一生成器生成的图像存在像素灰度均匀部分，则可以使该均匀部分更加均匀，从而增加图像的分片光滑约束，使得第一生成器针对均匀区域能够更好的去噪效果。
此外，本实施例提供的图像处理方法与上述实施例提供的图像处理方法属于同一技术构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且相同的技术特征在本实施例与上述实施例中具有相同的有益效果。
实施例四
图5是本发明实施例四提供的一种生成对抗网络的训练方法的流程示意图。本实施例可适用于生成对抗网络训练，且训练得到的第一生成器可适用于本发明任意实施例提供的图像处理方法中。该方法可以由本发明实施例提供的图像处理装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于安装有图像处理功能的软件的电子终端中，例如计算机中。
参见图5，本实施例提供的生成对抗网络的训练方法，包括如下步骤：
S510、构建包含第一生成器、第二生成器、第一判别器和第二判别器的预设生成对抗网络；
S520、基于第一生成器的输出、第二生成器的输出和第一判别器的输出构建第一对抗损失函数，以及基于第一生成器的输出、第二生成器的输出和第二判别器的输出构建第二对抗损失函数；
S530、基于第一生成器的输出和第二生成器的输出构建循环损失函数；其中，循环损失函数包括基于图像的风格损失函数和/或感知损失函数；
S540、根据第一对抗损失函数、第二对抗损失函数和循环损失函数，对预设生成对抗网络进行训练。
在一些可选的实施方式中，基于第一生成器的输出、第二生成器的输出和第一判别器的输出构建第一对抗损失函数，以及基于第一生成器的输出、第二生成器的输出和第二判别器的输出构建第二对抗损失函数，包括：
获取第一剂量的样本CT图像和第二剂量的样本CT图像；
将第一剂量的样本CT图像输入第一生成器，并将第一生成器的输出作为第二生成器的输入，以使第二生成器输出第一剂量的样本再预测CT图像；
将第二剂量的样本CT图像输入第二生成器，并将第二生成器的输出作为第一生成器的输入，以使第一生成器输出第二剂量的样本再预测CT图像；
将第一剂量的样本CT图像，和第一剂量的样本再预测CT图像，输入第一判别器，以利用第一判别器判别第一剂量的样本CT图像，和第一剂量的样本再预测CT图像的真伪，根据判别结果构建第一对抗损失函数；
将第二剂量的样本CT图像，和第二剂量的样本再预测CT图像，输入第二判别器，以利用第二判别器判别第二剂量的样本CT图像，和第二剂量的样本再预测CT图像的真伪，根据判别结果构建第二对抗损失函数。
在一些可选的实施方式中，基于第一生成器的输出和第二生成器的输出构建循环损失函数，包括：
将第一剂量的样本CT图像和第一剂量的样本再预测CT图像比较后确定的风格损失函数和/或感知损失函数，作为第一循环损失函数；
将第二剂量的样本CT图像和第二剂量的样本再预测CT图像比较后确定的风格损失函数和/或感知损失函数，作为第二循环损失函数。
在一些可选的实施方式中，获取第二剂量的样本CT图像，包括：
获取扫描过程中，属于相邻扫描层的第二剂量的CT图像；
将相邻扫描层的第二剂量的CT图像的平均图像，作为第二剂量的样本CT图像。
在一些可选的实施方式中，预设生成对抗网络基于对抗损失函数和循环损失函数进行训练的同时，还包括：
第一生成器随预设生成对抗网络基于恒等损失函数进行训练。
在一些可选的实施方式中，第一生成器随预设生成对抗网络基于恒等损失函数进行训练，包括：
构建包含第一生成器、第二生成器、第一判别器和第二判别器的预设生成对抗网络；
基于第一生成器的输出构建第一恒等损失函数，以及基于第二生成器的输出构建第二恒等损失函数；
根据第一对恒等失函数和第二恒等损失函数，对预设生成对抗网络进行训练。
在一些可选的实施方式中，基于第一生成器的输出构建第一恒等损失函数，以及基于第二生成器的输出构建第二恒等损失函数，包括：
获取第一剂量的样本CT图像和第二剂量的样本CT图像；
将第二剂量的样本CT图像输入第一生成器，以使第一生成器输出与第二剂量的样本CT图像对应的图像，该第二剂量的样本CT图像和第二剂量的样本CT图像对应的图像比较后确定的风格损失函数和/或感知损失函数，作为第一恒等损失函数；
将第一剂量的样本CT图像输入第二生成器，以使第二生成器输出与第一剂量的样本CT图像对应的图像，该第一剂量的样本CT图像和第一剂量的样本CT图像对应的图像比较后确定的风格损失函数和/或感知损失函数，作为第二恒等损失函数。
在一些可选的实施方式中，预设生成对抗网络基于对抗损失函数和循环损失函数进行训练的同时，还包括：
第一生成器随预设生成对抗网络基于全变分损失函数进行训练。
在一些可选的实施方式中，第一生成器随预设生成对抗网络基于全变分损失函数进行训练，包括：
获取第一剂量的样本CT图像；
将第一剂量的样本CT图像输入第一生成器，根据第一生成器输出第二剂量的样本预测CT图像；
根据第一剂量的样本CT图像，和第二剂量的样本预测CT图像，确定全变分损失函数，并基于全变分损失函数训练预设生成对抗网络。
本发明实施例提供的生成对抗网络的训练方法，预设生成对抗网络属于生成对抗网络(Generative Adversarial Networks，GAN)，且包含有两个生成器和两个判别器，通过采用生成器和判别器之间极小极大博弈，能提高生成器的生成精确度，可实现网络的对抗训练。通过两个生成器间的循环损失函数训练预设生成对抗网络，能够避免高低剂量两个域图像直接作用，能够实现预设生成对抗网络中高低剂量的CT图像间双向映射，有利于基于不配对图像进行训练。通过使循环损失函数中包括基于图像的风格损失函数和/或感知损失函数，能够实现多尺度比对图像差异，提高网络训练精度。
此外，本发明实施例提供的生成对抗网络的训练方法，与上述实施例提供的图像处理方法属于同一技术构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且相同的技术特征具有相同的有益效果。
实施例五
图6是本发明实施例五提供的一种图像处理装置的结构示意图。应用该图像处理装置可以实现本发明实施例所提供的图像处理方法。
参见图6，本发明提供的图像处理装置，包括：
图像接收模块610，用于接收第一剂量的CT图像；
图像生成模块620，用于将第一剂量的CT图像输入第一生成器，以利用第一生成器生成第二剂量的预测CT图像，其中第二剂量大于第一剂量；
其中，第一生成器在训练过程中包含于预设生成对抗网络，且随预设生成对抗网络基于对抗损失函数和循环损失函数进行训练；其中，循环损失函数包括基于图像的风格损失函数和/或感知损失函数。
在一些可选的实施方式中，图像处理装置，还包括训练模块；且训练模块，用于：
构建包含第一生成器、第二生成器、第一判别器和第二判别器的预设生成对抗网络；
基于第一生成器的输出、第二生成器的输出和第一判别器的输出构建第一对抗损失函数，以及基于第一生成器的输出、第二生成器的输出和第二判别器的输出构建第二对抗损失函数；
基于第一生成器的输出和第二生成器的输出构建循环损失函数；
根据第一对抗损失函数、第二对抗损失函数和循环损失函数，对预设生成对抗网络进行训练。
在一些可选的实施方式中，训练模块，包括对抗损失函数构建单元；且对抗损失函数构建单元，用于：
获取第一剂量的样本CT图像和第二剂量的样本CT图像；
将第一剂量的样本CT图像输入第一生成器，并将第一生成器的输出作为第二生成器的输入，以使第二生成器输出第一剂量的样本再预测CT图像；
将第二剂量的样本CT图像输入第二生成器，并将第二生成器的输出作为第一生成器的输入，以使第一生成器输出第二剂量的样本再预测CT图像；
将第一剂量的样本CT图像，和第一剂量的样本再预测CT图像，输入第一判别器，以利用第一判别器判别第一剂量的样本CT图像，和第一剂量的样本再预测CT图像的真伪，根据判别结果构建第一对抗损失函数；
将第二剂量的样本CT图像，和第二剂量的样本再预测CT图像，输入第二判别器，以利用第二判别器判别第二剂量的样本CT图像，和第二剂量的样本再预测CT图像的真伪，根据判别结果构建第二对抗损失函数。
在一些可选的实施方式中，训练模块，还包括循环损失函数构建单元；且循环损失函数构建单元，用于：
将第一剂量的样本CT图像，和第一剂量的样本再预测CT图像比较后确定的风格损失函数和/或感知损失函数，作为第一循环损失函数；
将第二剂量的样本CT图像，和第二剂量的样本再预测CT图像比较后确定的风格损失函数和/或感知损失函数，作为第二循环损失函数。
在一些可选的实施方式中，训练模块，还包括：
样本获取单元，用于获取扫描过程中，属于相邻扫描层的第二剂量的CT图像；将相邻扫描层的第二剂量的CT图像的平均图像，作为第二剂量的样本CT图像。
在一些可选的实施方式中，第一生成器随预设生成对抗网络基于对抗损失函数和循环损失函数进行训练的同时，还包括：
第一生成器随预设生成对抗网络基于恒等损失函数进行训练。
在一些可选的实施方式中，训练模块，还用于：
构建包含第一生成器、第二生成器、第一判别器和第二判别器的预设生成对抗网络；
基于第一生成器的输出构建第一恒等损失函数，以及基于第二生成器的输出构建第二恒等损失函数；
根据第一对恒等失函数和第二恒等损失函数，对预设生成对抗网络进行训练。
在一些可选的实施方式中，训练模块，包括恒等损失函数构建单元；且恒等损失函数构建单元，用于：
获取第一剂量的样本CT图像和第二剂量的样本CT图像；
将第二剂量的样本CT图像输入第一生成器，以使第一生成器输出与第二剂量的样本CT图像对应的图像，该第二剂量的样本CT图像和该第二剂量的样本CT图像对应的图像比较后确定的风格损失函数和/或感知损失函数，作为第一恒等损失函数；
将第一剂量的样本CT图像输入第二生成器，以使第二生成器输出与第一剂量的样本CT图像对应的图像，该第一剂量的样本CT图像和该第一剂量的样本CT图像对应的图像比较后确定的风格损失函数和/或感知损失函数，作为第二恒等损失函数。
在一些可选的实施方式中，第一生成器随预设生成对抗网络基于对抗损失函数和循环损失函数进行训练的同时，还包括：
第一生成器随预设生成对抗网络基于全变分损失函数进行训练。
在一些可选的实施方式中，训练模块，包括全变分损失函数构建单元；且全变分损失函数构建单元，用于：
获取第一剂量的样本CT图像；
将第一剂量的样本CT图像输入第一生成器，根据第一生成器输出第二剂量的样本预测CT图像；
根据第一剂量的样本CT图像，和第二剂量的样本预测CT图像，确定全变分损失函数，并基于全变分损失函数训练预设生成对抗网络。
本发明实施例所提供的图像处理装置可执行本发明实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。未详尽描述的技术细节，可参见本发明实施例所提供的图像处理方法。
实施例六
图7是本发明实施例六提供的一种生成对抗网络的训练装置的结构示意图。应用该训练装置可以实现本发明实施例所提供的生成对抗网络的训练方法。
参见图7，本发明提供的生成对抗网络的训练装置，包括：
网络构建模块710，用于构建包含第一生成器、第二生成器、第一判别器和第二判别器的预设生成对抗网络；
对抗损失函数构建模块720，用于基于第一生成器的输出、第二生成器的输出和第一判别器的输出构建第一对抗损失函数，以及基于第一生成器的输出、第二生成器的输出和第二判别器的输出构建第二对抗损失函数；
循环损失函数构建模块730，用于基于第一生成器的输出和第二生成器的输出构建循环损失函数；其中，循环损失函数包括基于图像的风格损失函数和/或感知损失函数；
训练模块740，用于根据第一对抗损失函数、第二对抗损失函数和循环损失函数，对预设生成对抗网络进行训练。
在一些可选的实施方式中，对抗损失函数构建模块，具体用于：
获取第一剂量的样本CT图像和第二剂量的样本CT图像；
将第一剂量的样本CT图像输入第一生成器，并将第一生成器的输出作为第二生成器的输入，以使第二生成器输出第一剂量的样本再预测CT图像；
将第二剂量的样本CT图像输入第二生成器，并将第二生成器的输出作为第一生成器的输入，以使第一生成器输出第二剂量的样本再预测CT图像；
将第一剂量的样本CT图像，和第一剂量的样本再预测CT图像，输入第一判别器，以利用第一判别器判别第一剂量的样本CT图像，和第一剂量的样本再预测CT图像的真伪，根据判别结果构建第一对抗损失函数；
将第二剂量的样本CT图像，和第二剂量的样本再预测CT图像，输入第二判别器，以利用第二判别器判别第二剂量的样本CT图像，和第二剂量的样本再预测CT图像的真伪，根据判别结果构建第二对抗损失函数。
在一些可选的实施方式中，循环损失函数构建模块，具体用于：
将第一剂量的样本CT图像，和第一剂量的样本再预测CT图像比较后确定的风格损失函数和/或感知损失函数，作为第一循环损失函数；
将第二剂量的样本CT图像，和第二剂量的样本再预测CT图像比较后确定的风格损失函数和/或感知损失函数，作为第二循环损失函数。
在一些可选的实施方式中，获取第二剂量的样本CT图像，包括：
获取扫描过程中，属于相邻扫描层的第二剂量的CT图像；将相邻扫描层的第二剂量的CT图像的平均图像，作为第二剂量的样本CT图像。
在一些可选的实施方式中，训练模块在根据第一对抗损失函数、第二对抗损失函数和循环损失函数，对预设生成对抗网络进行训练的同时，还包括：
根据预设生成对抗网络恒等损失函数对预设生成对抗网络进行训练。
在一些可选的实施方式中，训练装置还包括恒等损失函数构建模块；且恒等损失函数构建模块，用于：
基于第一生成器的输出构建第一恒等损失函数，以及基于第二生成器的输出构建第二恒等损失函数；
相应的，训练模块，还用于根据第一对恒等失函数和第二恒等损失函数，对预设生成对抗网络进行训练。
在一些可选的实施方式中，恒等损失函数构建模块，用于：
获取第一剂量的样本CT图像和第二剂量的样本CT图像；
将第二剂量的样本CT图像输入第一生成器，以使第一生成器输出与第二剂量的样本CT图像对应的图像，该第二剂量的样本CT图像和该第二剂量的样本CT图像对应的图像比较后确定的风格损失函数和/或感知损失函数，作为第一恒等损失函数；
将第一剂量的样本CT图像输入第二生成器，以使第二生成器输出与第一剂量的样本CT图像对应的图像，该第一剂量的样本CT图像和该第一剂量的样本CT图像对应的图像比较后确定的风格损失函数和/或感知损失函数，作为第二恒等损失函数。
在一些可选的实施方式中，训练模块在根据第一对抗损失函数、第二对抗损失函数和循环损失函数，对预设生成对抗网络进行训练的同时，还包括：
第一生成器随预设生成对抗网络基于全变分损失函数进行训练。
在一些可选的实施方式中，训练装置还包括全变分损失函数构建模块；且全变分损失函数构建模块，用于：
获取第一剂量的样本CT图像；
将第一剂量的样本CT图像输入第一生成器，根据第一生成器输出第二剂量的样本预测CT图像；
根据第一剂量的样本CT图像，和第二剂量的样本预测CT图像，确定全变分损失函数，并基于全变分损失函数训练预设生成对抗网络。
本发明实施例所提供的图像处理装置可执行本发明实施例所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。未详尽描述的技术细节，可参见本发明实施例所提供的图像处理方法。
实施例七
图8是本发明实施例七提供的一种电子终端的结构示意图。图8示出了适于用来实现本发明实施方式的示例性电子终端12的框图。图8显示的电子终端12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备12典型的是承担图像处理功能的电子终端。
如图8所示，电子终端12以通用计算设备的形式表现。电子终端12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，存储器28，连接不同组件(包括存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
电子终端12典型地包括多种计算机可读介质。这些介质可以是任何能够被电子终端12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机装置可读介质，例如随机存取存储器(Random Access Memory，RAM)30和/或高速缓存存储器32。电子终端12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品40，该程序产品40具有一组程序模块42，这些程序模块被配置以执行本发明各实施例的功能。程序产品40，可以存储在例如存储器28中，这样的程序模块42包括但不限于一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子终端12也可以与一个或多个外部设备14(例如键盘、鼠标、摄像头等和显示器)通信，还可与一个或者多个使得用户能与该电子终端12交互的设备通信，和/或与使得该电子终端12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子终端12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网WideArea Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子终端12的其它模块通信。应当明白，尽管图中未示出，可以结合电子终端12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)装置、磁带驱动器以及数据备份存储装置等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的图像处理方法，包括：
接收第一剂量的CT图像；将第一剂量的CT图像输入第一生成器，以利用第一生成器生成第二剂量的预测CT图像，其中第二剂量大于第一剂量；其中，第一生成器在训练过程中包含于预设生成对抗网络，且随预设生成对抗网络基于对抗损失函数和循环损失函数进行训练；其中，循环损失函数包括基于图像的风格损失函数和/或感知损失函数；
或者，例如实现本发明上述实施例所提供的生成对抗网络的训练方法，包括：
构建包含第一生成器、第二生成器、第一判别器和第二判别器的预设生成对抗网络；基于第一生成器的输出、第二生成器的输出和第一判别器的输出构建第一对抗损失函数，以及基于第一生成器的输出、第二生成器的输出和第二判别器的输出构建第二对抗损失函数；基于第一生成器的输出和第二生成器的输出构建循环损失函数；其中，循环损失函数包括基于图像的风格损失函数和/或感知损失函数；根据第一对抗损失函数、第二对抗损失函数和循环损失函数，对预设生成对抗网络进行训练。
当然，本领域技术人员可以理解，处理器还可以实现本发明实施例所提供的图像处理方法的技术方案。
实施例八
本发明实施例八还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的图像处理方法，该方法包括：
接收第一剂量的CT图像；将第一剂量的CT图像输入第一生成器，以利用第一生成器生成第二剂量的预测CT图像，其中第二剂量大于第一剂量；其中，第一生成器在训练过程中包含于预设生成对抗网络，且随预设生成对抗网络基于对抗损失函数和循环损失函数进行训练；其中，循环损失函数包括基于图像的风格损失函数和/或感知损失函数；
或者，例如实现本发明上述实施例所提供的生成对抗网络的训练方法，包括：
构建包含第一生成器、第二生成器、第一判别器和第二判别器的预设生成对抗网络；基于第一生成器的输出、第二生成器的输出和第一判别器的输出构建第一对抗损失函数，以及基于第一生成器的输出、第二生成器的输出和第二判别器的输出构建第二对抗损失函数；基于第一生成器的输出和第二生成器的输出构建循环损失函数；其中，循环损失函数包括基于图像的风格损失函数和/或感知损失函数；根据第一对抗损失函数、第二对抗损失函数和循环损失函数，对预设生成对抗网络进行训练。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上的方法操作，还可以执行本发明实施例所提供的图像处理方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
接收第一剂量的CT图像；
将所述第一剂量的CT图像输入第一生成器，以利用所述第一生成器生成第二剂量的预测CT图像，其中所述第二剂量大于所述第一剂量；
其中，所述第一生成器在训练过程中包含于预设生成对抗网络，且随所述预设生成对抗网络基于对抗损失函数和循环损失函数进行训练；其中，所述循环损失函数包括基于图像的风格损失函数和/或感知损失函数。
2.根据权利要求1所述的方法，其特征在于，第一生成器随所述预设生成对抗网络基于对抗损失函数和循环损失函数进行训练，包括：
构建包含第一生成器、第二生成器、第一判别器和第二判别器的预设生成对抗网络；
基于第一生成器的输出、第二生成器的输出和第一判别器的输出构建第一对抗损失函数，以及基于第一生成器的输出、第二生成器的输出和第二判别器的输出构建第二对抗损失函数；
基于第一生成器的输出和第二生成器的输出构建循环损失函数；
根据所述第一对抗损失函数、第二对抗损失函数和循环损失函数，对所述预设生成对抗网络进行训练。
3.根据权利要求2所述的方法，其特征在于，所述基于第一生成器的输出、第二生成器的输出和第一判别器的输出构建第一对抗损失函数，以及基于第一生成器的输出、第二生成器的输出和第二判别器的输出构建第二对抗损失函数，包括：
获取第一剂量的样本CT图像和第二剂量的样本CT图像；
将所述第一剂量的样本CT图像输入所述第一生成器，并将所述第一生成器的输出作为所述第二生成器的输入，以使所述第二生成器输出第一剂量的样本再预测CT图像；
将所述第二剂量的样本CT图像输入所述第二生成器，并将所述第二生成器的输出作为所述第一生成器的输入，以使所述第一生成器输出第二剂量的样本再预测CT图像；
将所述第一剂量的样本CT图像，和所述第一剂量的样本再预测CT图像，输入所述第一判别器，以利用所述第一判别器判别所述第一剂量的样本CT图像，和所述第一剂量的样本再预测CT图像的真伪，根据判别结果构建第一对抗损失函数；
将所述第二剂量的样本CT图像，和所述第二剂量的样本再预测CT图像，输入所述第二判别器，以利用所述第二判别器判别所述第二剂量的样本CT图像，和所述第二剂量的样本再预测CT图像的真伪，根据判别结果构建第二对抗损失函数。
4.根据权利要求3所述的方法，其特征在于，所述基于第一生成器的输出和第二生成器的输出构建循环损失函数，包括：
将所述第一剂量的样本CT图像，和所述第一剂量的样本再预测CT图像比较后确定的风格损失函数和/或感知损失函数，作为第一循环损失函数；
将所述第二剂量的样本CT图像，和所述第二剂量的样本再预测CT图像比较后确定的风格损失函数和/或感知损失函数，作为第二循环损失函数。
5.根据权利要求3所述的方法，其特征在于，获取第二剂量的样本CT图像，包括：
获取扫描过程中，属于相邻扫描层的第二剂量的CT图像；
将所述相邻扫描层的第二剂量的CT图像的平均图像，作为第二剂量的样本CT图像。
6.根据权利要求1所述的方法，其特征在于，第一生成器随所述预设生成对抗网络基于对抗损失函数和循环损失函数进行训练的同时，还包括：
第一生成器随所述预设生成对抗网络基于恒等损失函数进行训练。
7.根据权利要求6所述的方法，其特征在于，所述第一生成器随所述预设生成对抗网络基于恒等损失函数进行训练，包括：
构建包含第一生成器、第二生成器、第一判别器和第二判别器的预设生成对抗网络；
基于第一生成器的输出构建第一恒等损失函数，以及基于第二生成器的输出构建第二恒等损失函数；
根据所述第一对恒等失函数和第二恒等损失函数，对所述预设生成对抗网络进行训练。
8.根据权利要求7所述的方法，其特征在于，所述基于第一生成器的输出构建第一恒等损失函数，以及基于第二生成器的输出构建第二恒等损失函数，包括：
获取第一剂量的样本CT图像和第二剂量的样本CT图像；
将所述第二剂量的样本CT图像输入所述第一生成器，以使所述第一生成器输出的与所述第二剂量的样本CT图像对应的图像，通过比较所述第二剂量的样本CT图像和与所述第二剂量的样本CT图像对应的图像确定风格损失函数和/或感知损失函数，并将其风格损失函数和/或感知损失函数作为第一恒等损失函数；
将所述第一剂量的样本CT图像输入所述第二生成器，以使所述第二生成器输出的与所述第一剂量的样本CT图像对应的图像，通过比较所述第一剂量的样本CT图像和与所述第一剂量的样本CT图像对应的图像确定风格损失函数和/或感知损失函数，并将其风格损失函数和/或感知损失函数作为第二恒等损失函数。
9.根据权利要求1所述的方法，其特征在于，第一生成器随所述预设生成对抗网络基于对抗损失函数和循环损失函数进行训练的同时，还包括：
第一生成器随所述预设生成对抗网络基于全变分损失函数进行训练。
10.根据权利要求9所述的方法，其特征在于，所述第一生成器随所述预设生成对抗网络基于全变分损失函数进行训练，包括：
获取第一剂量的样本CT图像；
将所述第一剂量的样本CT图像输入所述第一生成器，根据所述第一生成器输出第二剂量的样本预测CT图像；
根据所述第一剂量的样本CT图像，和所述第二剂量的样本预测CT图像，确定全变分损失函数，并基于所述全变分损失函数训练所述预设生成对抗网络。
11.一种生成对抗网络的训练方法，其特征在于，包括：
构建包含第一生成器、第二生成器、第一判别器和第二判别器的预设生成对抗网络；
基于第一生成器的输出、第二生成器的输出和第一判别器的输出构建第一对抗损失函数，以及基于第一生成器的输出、第二生成器的输出和第二判别器的输出构建第二对抗损失函数；
基于第一生成器的输出和第二生成器的输出构建循环损失函数；其中，所述循环损失函数包括基于图像的风格损失函数和/或感知损失函数；
根据所述第一对抗损失函数、第二对抗损失函数和循环损失函数，对所述预设生成对抗网络进行训练。
12.一种图像处理装置，其特征在于，包括：
图像接收模块，用于接收第一剂量的CT图像；
图像生成模块，用于将所述第一剂量的CT图像输入第一生成器，以利用所述第一生成器生成第二剂量的预测CT图像，其中所述第二剂量大于所述第一剂量；
其中，所述第一生成器在训练过程中包含于预设生成对抗网络，且随所述预设生成对抗网络基于对抗损失函数和循环损失函数进行训练；其中，所述循环损失函数包括基于图像的风格损失函数和/或感知损失函数。
13.一种生成对抗网络的训练装置，其特征在于，包括：
网络构建模块，用于构建包含第一生成器、第二生成器、第一判别器和第二判别器的预设生成对抗网络；
对抗损失函数构建模块，用于基于第一生成器的输出、第二生成器的输出和第一判别器的输出构建第一对抗损失函数，以及基于第一生成器的输出、第二生成器的输出和第二判别器的输出构建第二对抗损失函数；
循环损失函数构建模块，用于基于第一生成器的输出和第二生成器的输出构建循环损失函数；其中，所述循环损失函数包括基于图像的风格损失函数和/或感知损失函数；
训练模块，用于根据所述第一对抗损失函数、第二对抗损失函数和循环损失函数，对所述预设生成对抗网络进行训练。
14.一种电子终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-10中任一所述的图像处理方法，或实现如权利要求11所述的生成对抗网络的训练方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的图像处理方法，或实现如权利要求11所述的生成对抗网络的训练方法。
CN202011634516.3A 2020-12-31 2020-12-31 图像处理方法、训练方法、装置、电子终端及存储介质 Active CN112767505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011634516.3A CN112767505B (zh) 2020-12-31 2020-12-31 图像处理方法、训练方法、装置、电子终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011634516.3A CN112767505B (zh) 2020-12-31 2020-12-31 图像处理方法、训练方法、装置、电子终端及存储介质

Publications (2)

Publication Number Publication Date
CN112767505A true CN112767505A (zh) 2021-05-07
CN112767505B CN112767505B (zh) 2023-12-22

Family

ID=75697977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011634516.3A Active CN112767505B (zh) 2020-12-31 2020-12-31 图像处理方法、训练方法、装置、电子终端及存储介质

Country Status (1)

Country Link
CN (1) CN112767505B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780519A (zh) * 2021-08-13 2021-12-10 深圳市联影高端医疗装备创新研究院 生成对抗网络训练方法、装置、计算机设备和存储介质
CN113822976A (zh) * 2021-06-08 2021-12-21 腾讯科技（深圳）有限公司 生成器的训练方法及装置、存储介质和电子装置
CN114331921A (zh) * 2022-03-09 2022-04-12 南昌睿度医疗科技有限公司 一种低剂量ct图像降噪方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016103089A1 (en) * 2014-12-24 2016-06-30 Koninklijke Philips N.V. Tracking quality control for electromagnetic guidance
US20170027168A1 (en) * 2015-07-27 2017-02-02 Stephan HEATH Methods, products, and systems relating to making, providing, and using nanocrystalline (nc) products comprising nanocrystalline cellulose (ncc), nanocrystalline (nc) polymers and/or nanocrystalline (nc) plastics or other nanocrystals of cellulose composites or structures, in combination with other materials
CN111008940A (zh) * 2019-11-27 2020-04-14 北京科技大学 一种图像增强方法及装置
CN111476294A (zh) * 2020-04-07 2020-07-31 南昌航空大学 一种基于生成对抗网络的零样本图像识别方法及系统
US20200311914A1 (en) * 2017-04-25 2020-10-01 The Board Of Trustees Of Leland Stanford University Dose reduction for medical imaging using deep convolutional neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016103089A1 (en) * 2014-12-24 2016-06-30 Koninklijke Philips N.V. Tracking quality control for electromagnetic guidance
US20170027168A1 (en) * 2015-07-27 2017-02-02 Stephan HEATH Methods, products, and systems relating to making, providing, and using nanocrystalline (nc) products comprising nanocrystalline cellulose (ncc), nanocrystalline (nc) polymers and/or nanocrystalline (nc) plastics or other nanocrystals of cellulose composites or structures, in combination with other materials
US20200311914A1 (en) * 2017-04-25 2020-10-01 The Board Of Trustees Of Leland Stanford University Dose reduction for medical imaging using deep convolutional neural networks
CN111008940A (zh) * 2019-11-27 2020-04-14 北京科技大学 一种图像增强方法及装置
CN111476294A (zh) * 2020-04-07 2020-07-31 南昌航空大学 一种基于生成对抗网络的零样本图像识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QINGSONG YANG等: "Low-Dose CT Image Denoising Using a Generative Adversarial Network With Wasserstein Distance and Perceptual Loss", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
QINGSONG YANG等: "Low-Dose CT Image Denoising Using a Generative Adversarial Network With Wasserstein Distance and Perceptual Loss", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, vol. 37, no. 6, 30 June 2018 (2018-06-30), pages 1348 - 1357 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822976A (zh) * 2021-06-08 2021-12-21 腾讯科技（深圳）有限公司 生成器的训练方法及装置、存储介质和电子装置
CN113780519A (zh) * 2021-08-13 2021-12-10 深圳市联影高端医疗装备创新研究院 生成对抗网络训练方法、装置、计算机设备和存储介质
CN114331921A (zh) * 2022-03-09 2022-04-12 南昌睿度医疗科技有限公司 一种低剂量ct图像降噪方法及装置

Also Published As

Publication number Publication date
CN112767505B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN109961491B (zh) 多模态图像截断补偿方法、装置、计算机设备和介质
CN112767505B (zh) 图像处理方法、训练方法、装置、电子终端及存储介质
CN111524106B (zh) 颅骨骨折检测和模型训练方法、装置、设备和存储介质
CN112132959B (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
EP3926537A1 (en) Medical image segmentation method, image segmentation method, related device and system
CN109785243B (zh) 基于对抗生成网络未配准低剂量ct的去噪方法、计算机
CN111325714B (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN110991636B (zh) 生成式对抗网络的训练方法及装置、图像增强方法及设备
WO2021120069A1 (zh) 基于解剖结构差异先验的低剂量图像重建方法和系统
CN112949654A (zh) 图像检测方法及相关装置、设备
Haq et al. Dynamic multiatlas selection‐based consensus segmentation of head and neck structures from CT images
CN114897756A (zh) 模型训练方法、医学图像融合方法、装置、设备和介质
Gheorghiță et al. Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data
Tiago et al. A domain translation framework with an adversarial denoising diffusion model to generate synthetic datasets of echocardiography images
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
CN112017258A (zh) Pet图像重建方法、装置、计算机设备以及存储介质
KR101948701B1 (ko) 피검체의 뇌 구조를 기술하는 잠재 변수에 기반하여 상기 피검체의 뇌질환을 판정하는 방법 및 이를 이용한 장치
WO2020253138A1 (zh) 一种分类方法、装置、设备和存储介质
CN111863206A (zh) 一种图像预处理方法、装置、设备及存储介质
US20230115927A1 (en) Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection
CN116416221A (zh) 一种超声图像分析方法
CN116051538A (zh) 基于Transformer超声心动图左心室分割方法
CN113409273B (zh) 一种图像分析方法、装置、设备和介质
WO2022127318A1 (zh) 一种扫描定位方法、装置、存储介质及电子设备
CN115439423A (zh) 一种基于ct图像的识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant