CN111047512B - 图像增强方法、装置及终端设备 - Google Patents
图像增强方法、装置及终端设备 Download PDFInfo
- Publication number
- CN111047512B CN111047512B CN201911168004.XA CN201911168004A CN111047512B CN 111047512 B CN111047512 B CN 111047512B CN 201911168004 A CN201911168004 A CN 201911168004A CN 111047512 B CN111047512 B CN 111047512B
- Authority
- CN
- China
- Prior art keywords
- information
- image
- generator
- characteristic information
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 60
- 230000009466 transformation Effects 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims description 40
- 238000001228 spectrum Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 18
- 230000006870 function Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 230000001902 propagating effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000001647 Renal Insufficiency Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000036471 bradycardia Effects 0.000 description 1
- 208000006218 bradycardia Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 229940039231 contrast media Drugs 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 201000006370 kidney failure Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像增强方法、装置、终端设备及计算机可读存储介质，其中，该图像增强方法包括：获取待处理图像；对所述待处理图像进行小波变换操作，获取所述待处理图像的原始特征信息，其中，所述原始特征信息包括全局轮廓特征信息、横向细节特征信息、纵向细节特征信息和对角细节特征信息；将所述原始特征信息输入已训练的目标网络进行处理，得到对应的重构特征信息；其中，所述重构特征信息包括全局轮廓重构信息、横向细节重构信息、纵向细节重构信息和对角细节重构信息；对所述重构特征信息进行逆小波变换操作，得到重构图像；所述重构图像的分辨率高于所述待处理图像的分辨率。本申请实施例能够根据待处理图像准确地得到清晰重构的图像。
Description
技术领域
本申请属于图像处理技术领域，尤其涉及一种图像增强方法、装置及终端设备。
背景技术
随着图像处理技术的发展，图像的分析和识别被广泛应用于医学影像、视频监控、遥感成像、人脸识别等领域。在具体应用时，由于摄像环境或者摄像设备的局限，通常采集到的图像为低分辨率图像，需将低分辨率图像转换为高分辨率图像才能对图像进行进一步分析、识别。
然而，现有技术中，将低分辨率图像转换得到的高分辨率图像比较模糊，从而影响后续图像分析、识别的准确性。
发明内容
有鉴于此，本申请实施例提供了一种图像增强方法、装置及终端设备，以解决现有技术中将低分辨率图像转换得到的高分辨率图像比较模糊的问题。
本申请第一方面提供一种图像增强方法，包括：
获取待处理图像；
对所述待处理图像进行小波变换操作，获取所述待处理图像的原始特征信息，其中，所述原始特征信息包括全局轮廓特征信息、横向细节特征信息、纵向细节特征信息和对角细节特征信息；
将所述原始特征信息输入已训练的目标网络进行处理，得到对应的重构特征信息；其中，所述重构特征信息包括全局轮廓重构信息、横向细节重构信息、纵向细节重构信息和对角细节重构信息；所述目标网络是基于四个生成对抗网络，对第一样本图像及对应的第二样本图像训练得到的生成器组；所述第一样本图像的分辨率高于所述第二样本图像的分辨率；
对所述重构特征信息进行逆小波变换操作，得到重构图像；所述重构图像的分辨率高于所述待处理图像的分辨率。
本申请第二方面提供一种图像增强装置，包括：
待处理图像获取单元，用于获取待处理图像；
小波变换单元，用于对所述待处理图像进行小波变换操作，获取所述待处理图像的原始特征信息，其中，所述原始特征信息包括全局轮廓特征信息、横向细节特征信息、纵向细节特征信息和对角细节特征信息；
重构特征信息获取单元，用于将所述原始特征信息输入已训练的目标网络进行处理，得到对应的重构特征信息；其中，所述重构特征信息包括全局轮廓重构信息、横向细节重构信息、纵向细节重构信息和对角细节重构信息；所述目标网络是基于四个生成对抗网络，对第一样本图像及对应的第二样本图像训练得到的生成器组；所述第一样本图像的分辨率高于所述第二样本图像的分辨率；
逆小波变换单元，用于对所述重构特征信息进行逆小波变换操作，得到重构图像；所述重构图像的分辨率高于所述待处理图像的分辨率。
本申请第三方面提供一种终端设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现上述提及的图像增强方法。
本申请第四方面提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现上述提及的图像增强方法。
本申请第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中所述的图像增强方法。
本申请实施例中，通过对待处理图像进行小波变换操作，得到包括全局轮廓特征信息、横向细节特征信息、纵向细节特征信息和对角细节特征信息的原始特征信息，并分别通过已训练的目标网络得到包括全局轮廓重构信息、横向细节重构信息、纵向细节重构信息和对角细节重构信息的重构特征信息，再对该重构特征信息进行逆小波变换，得到分辨率高于待处理图像的重构图像。由于该目标网络为基于四个生成对抗网络，对第一样本图像及对应的第二样本图像训练得到的生成器组，在将待处理图像的全局轮廓特征信息和各向细节特征信息区分开后，通过该目标网络能够对应准确生成包含全局轮廓重构信息、横向细节重构信息、纵向细节重构信息和对角细节特征信息的重构特征信息，再进行逆小波变换，使得每个细节信息都能够分别准确地进行重构，因此能够使得最终得到的重构图像更加清晰准确。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的第一种图像增强方法的实现流程示意图；
图2为本申请提供的一种图像增强方法的流程图解示意图；
图3为本申请提供的小波变换操作的示意图；
图4为本申请提供的一种图像增强方法的系统架构示意图；
图5为本申请提供的一种生成器的网络结构示意图；
图6为本申请提供的第二种图像增强方法的实现流程示意图；
图7为本申请提供的图像增强装置的示意图；
图8为本申请提供的终端设备一个实施例结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
实施例一：
请参见图1，图1是本申请实施例提供的第一种图像增强方法的示意流程图。本实施例中图像增强方法的执行主体为终端设备，终端设备包括但不限于智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等移动终端，还可以包括台式电脑、服务器等终端设备。如图1所示的图像增强方法包括：
S101：获取待处理图像。
该待处理图像为分辨率较低、需要进行图像增强的图像，可通过图像采集设备采集得到待处理图像，或者，从本端或第三方的存储单元中读取得到待处理图像。根据本申请实施例的图像增强方法的具体应用场景，该待处理图像具体可以为低分辨率医学影像、低分辨率人脸图像、低分辨率遥感影像等。
S102：对所述待处理图像进行小波变换操作，获取所述待处理图像的原始特征信息，其中，所述原始特征信息包括全局轮廓特征信息、横向细节特征信息、纵向细节特征信息和对角细节特征信息。
将待处理图像输入离散小波变换模型，对该待处理图像进行小波变换操作，获取待处理图像的原始特征信息。具体地，先根据离散小波变换函数，获取待处理图像的频谱信息并分离出频谱信息中的各个频率分量；再将各个频率分量组合成四个频率组合分量，并将四个频率组合分量分别转换到空间频率域，得到对应的全局轮廓特征信息、横向细节特征信息、纵向细节特征信息和对角细节特征信息，这四个特征信息即为原始特征信息。如图2所示，将待处理图像输入离散小波变换模型(Discrete Wavelet Transformation,DWT)，得到对应的原始特征信息，该原始特征信息从上至下的四幅图像分别为全局轮廓特征信息、横向细节特征信息、纵向细节特征信息和对角细节特征信息。
进一步地，该小波变换操作具体为具有对称性的紧支集正交小波变换操作。
由于紧支集正交小波变换能够加快运算速度，节省运算时间，而具有对称性的紧支集正交小波变换在图像处理中还可以很有效地避免相位畸变，使得图像特征信息的提取更加准确。具体地，本申请实施例采用近似对称的紧支集正交小波变换函数进行小波变换，该近似对称的紧支集小波变换的数学表达式如下：
为小波函数；uj,k为尺度系数，等于x和φj,k的内积，即uj,k＝<x,φj,k>；ωj,k为小波系数，等于x和ψj,k的内积，即ωj,k＝<x,ψj,k>；j0为任意值，表示任意开始尺度。
进一步地，所述待处理图像具体为三维图像，所述对所述待处理图像进行小波变换操作，获取所述待处理图像的原始特征信息，包括：
S10201：对所述待处理图像在x轴方向上进行小波变换操作，得到第一频谱信息；
S10202：对所述第一频谱信息在y轴方向上进行小波变换操作，得到第二频谱信息；
S10203：对所述第二频谱信息在z轴方向上进行小波变换操作，得到第三频谱信息；
S10204：根据所述第三频谱信息，获取所述原始特征信息。
本申请实施例中的待处理图像具体为三维图像，因此需要对该待处理图像进行三维小波变换操作，即依次进行x轴方向上的小波变换、y轴方向上的小波变换、z轴方向上的小波变换这三次小波变换操作，分离出待处理图像中的各向频率分量信息，再根据这各向频率分量信息，转换到空间频率域，得到原始特征信息。
具体地，三次小波变换操作的示意图如图3所示，其中“↓x2”表示在x轴方向上进行采样间隔为2的下采样操作，“↓y2”表示在 y轴方向上进行采样间隔为2的下采样操作，“↓z2”表示在z轴方向上进行采样间隔为2的下采样操作，详述如下：
在S10201中，将待处理图像在x轴方向上进行小波变换操作，得到第一频谱信息，该第一频谱信息由第一频率分量和第二频率分量组成，其中第一频率包含x轴方向的低频分量信息，第二频率分量包含x轴方向的高频分量信息。
在S10202中，将第一频谱信息进行下采样后在y轴方向上进行小波变换操作，得到第二频谱信息，该第二频谱信息包括第三频率分量、第四频率分量、第五频率分量和第六分量频率分量。具体地，第三频率分量包含x轴方向的低频分量信息和y轴方向的低频分量信息；第四频率分量包含x轴方向的低频分量信息和y轴方向的高频分量信息；第五频率分量包含x轴方向的高频分量信息和y轴方向的低频分量信息；第六频率分量包含在x轴方向的高频分量信息和y轴方向的高频分量信息。
在S10203中，将第二频谱信息进行下采样后在z轴方向上进行小波变换操作，得到第三频谱信息，该第三频谱信息包含八个频率分量。
在S10204中，将第三频谱信息的八个频率分量分别进行下采样后，得到八个目标分量。具体地，第一目标分量包含x轴方向的低频分量信息、y轴方向的低频分量信息和z轴方向上的低频分量信息；第二目标分量包含x轴方向的低频分量信息、y轴方向的低频分量信息和z轴方向上的高频分量信息；第三目标分量包含x轴方向的低频分量信息、y轴方向的高频分量信息和z轴方向上的低频分量信息；第四目标分量包含x轴方向的低频分量信息、y轴方向的高频分量信息和z轴方向上的高频分量信息；第五目标分量包含x轴方向的高频分量信息、y轴方向的低频分量信息和z轴方向上的低频分量信息；第六目标分量包含x轴方向的高频分量信息、y轴方向的低频分量信息和z轴方向上的高频分量信息；第七目标分量包含x轴方向的高频分量信息、y轴方向的高频分量信息和z轴方向上的低频分量信息；第八目标分量包含x轴方向的高频分量信息、y轴方向的高频分量信息和z轴方向上的高频分量信息。
之后，根据第一目标分量和第二目标分量组合进行空间频率域变换，得到全局轮廓特征信息；根据第三目标分量和第四目标分量组合进行空间频率域变换，得到横向细节特征信息；根据第五目标分量和第六目标分量组合进行空间频率域变换，得到纵向细节特征信息；根据第七目标分量和第八目标分量组合进行空间频率域变换，得到对角细节特征信息，从而得到完整的原始特征信息。
本申请实施例中，由于当待处理图像为三维图像时，从x轴、y 轴、z轴三个方向分别进行三次变换准确地得到包含各个频率分量，再根据各个频率分量组合变换得到对应的全局轮廓特征信息、横向细节特征信息、纵向细节特征信息和对角细节特征信息，可以使得原始特征信息的提取更加完整、准确。
S103：将所述原始特征信息输入已训练的目标网络进行处理，得到对应的重构特征信息；其中，所述重构特征信息包括全局轮廓重构信息、横向细节重构信息、纵向细节重构信息和对角细节重构信息；所述目标网络是基于四个生成对抗网络，对第一样本图像及对应的第二样本图像训练得到的生成器组；所述第一样本图像的分辨率高于所述第二样本图像的分辨率。
如图2所示，将原始特征信息输入已训练的目标网络进行处理，得到对应的重构特征信息，该重构特征信息包括全局轮廓重构信息、横向细节重构信息、纵向细节重构信息和对角细节重构信息，分别对应图2的重构特征信息中从上至下的四幅图像。具体地，该目标网络为包含四个生成器的生成器组。具体地，如图4所示的系统架构中，目标网络是基于四个生成对抗网络对第一样本图像及对应的第二样本图像训练得到的生成器组；其中第一样本图像的分辨率高于所述第二样本图像的分辨率。具体地，该四个生成对抗网络由生成器组和判别器组组成，生成器组包含第一生成器GA、第二生成器GH、第三生成器GV、第四生成器GD，判别器组包含第一判别器DA、第二判别器DH、第三判别器DV、第四判别器DD；第一生成器GA和第一判别器DA对应，组成第一个生成对抗网络，第二生成器GH和第二判别器DH对应，组成第二个生成对抗网络，第三生成器GV和第三判别器DV对应，组成第三个生成对抗网络，第四生成器GD和第四判别器DD对应，组成第四个生成对抗网络。
进一步地，所述四个生成对抗网络具体为四个相对均值生成对抗网络。由于相对均值生成对抗网络在训练时是根据相对判别概率对判别器和生成器进行约束，综合考虑真实样本和生成数据之间相对真实度的概率，解决生成对抗网络训练过程不稳定的问题，从而实现更加精准的训练，使得最终得到的目标网络对细节特征的提取更加准确。
进一步地，所述已训练的目标网络包括第一生成器、第二生成器、第三生成器和第四生成器，所述步骤S103包括：
S10301：将所述全局轮廓特征信息输入所述第一生成器进行处理，得到所述全局轮廓重构信息；
S10302：将所述横向细节特征信息输入所述第二生成器进行处理，得到所述横向细节重构信息；
S10303：将所述纵向细节特征信息输入所述第三生成器进行处理，得到所述纵向细节重构信息；
S10304：将所述对角细节特征信息输入所述第四生成器进行处理，得到所述对角细节重构信息。
本申请实施例中，目标网络具体由第一生成器GA、第二生成器 GH、第三生成器GV、第四生成器GD组成。
在S10301中，具体将原始特征信息中的全局轮廓特征信息输入第一生成器GA进行全局轮廓特征的学习重构，得到对应的全局轮廓重构信息。
在S10302中，具体将原始特征信息中的横向细节特征信息输入第二生成器GH进行横向细节特征的学习重构，得到对应的横向细节重构信息。
在S10303中，具体将原始特征信息中的纵向细节特征信息输入第三生成器GV进行横向细节特征的学习重构，得到对应的纵向细节重构信息。
在S10304中，具体将原始特征信息中的对角细节特征信息输入第四生成器GD进行横向细节特征的学习重构，得到对应的对角细节重构信息。
应理解，上述步骤S10301至步骤S10304是分别独立进行的，这四个步骤可以同时进行也可以以任意顺序先后进行。进一步地，这四个步骤具体是同时进行，从而提高目标网络的处理效率。
本申请实施例中，目标网络的四个生成器分别对四个特征信息进行准确地重构得到四个重构信息，使得目标网络对细节特征的提取更加准确。
进一步地，所述第一生成器、第二生成器、第三生成器、第四生成器均为包括n个残差块的残差网络结构，其中n为正整数；对应地，所述将所述原始特征信息输入已训练的目标网络进行处理，得到对应的重构特征信息，包括：
S10301A:将所述全局轮廓特征信息输入所述第一生成器，通过n 个第一残差块获得n个第一中间特征信息；根据所述n个第一中间特征信息，获取所述全局轮廓重构信息；
S10302A:将所述横向细节特征信息输入所述第二生成器，通过n 个第二残差块获得n个第二中间特征信息；根据所述n个第二中间特征信息，获取所述横向细节重构信息；
S10303A:将所述纵向细节特征信息输入所述第三生成器，通过n 个第三残差块获得n个第三中间特征信息；根据所述n个第三中间特征信息，获取所述纵向细节重构信息；
S10304A:将所述对角细节特征信息输入所述第四生成器，通过n 个第四残差块获得n个第四中间特征信息；根据所述n个第四中间特征信息，获取所述对角细节重构信息。
本申请实施例中，目标网络中的各生成器均为包括n个残差块的残差网络结构，其中n为正整数。如图5所示各生成器的网络结构具体包括第一3D卷积层、n个残差块、(n-1)个长连接(其中每个长连接中包含一个第二3D卷积层)、上采样层和第三3D卷积层。其中，每个残差块由两个3D卷积层及两个3D卷积层之间的激活函数组成。
具体地，作为一个示例，n为20，第一3D卷积层为9×9×9卷积层，每个残差块依次由3×3×3卷积层、Leaky ReLU激活函数、3 ×3×3卷积层组成，第二3D卷积层为1×1×1卷积层，第三3D卷积层为3×3×3卷积层。
具体地，以步骤S10301A为例，详述如下：
S10301A1：将全局轮廓特征信息通过第一生成器的第一3D卷积，得到第一特征向量。
S10301A2：将第一特征向量依次经过n个第一残差块，得到n 个第一中间特征信息。具体地，前(n-1)第一残差块中每个残差块进行数据处理后，生成的特征信息既输入到下一个残差块进行处理，同时通过一个包含第二3D卷积层的长连接连接到最后一个第一残差块的末端作为一个中间特征信息；将经过最后一个第一残差块输出的信息也视为一个中间特征信息，同其它经过长连接获得的(n-1)个中间特征信息共同组成的n个中间特征信息，进行加权处理，得到第二特征向量。
S10301A3：将第二特征向量输入上采样层进行上采样处理，得到第三特征向量。
S10301A4：将第三特征向量输入最后的第三3D卷积层，得到全局轮廓重构信息。
步骤S10302A-S10304A中各生成器对各细节特征信息的处理过程与步骤S10301A的类似，此处不再赘述。
本申请实施例中，由于各生成器具体为残差网络结构，通过长连接使得中间特征信息能够直接连到最后的残差块之后，使得后面的网络层可以直接学习前面的中间特征信息，减少特征信息在经过各层卷积层进行传递时的信息丢失、损耗问题，从而提高特征提取的准确性。
S104：对所述重构特征信息进行逆小波变换操作，得到重构图像；所述重构图像的分辨率高于所述待处理图像的分辨率。
如图2所示，将经过目标网络处理得到的重构特征信息输入逆小波变换模型(Inverse Wavelet Transformation，IWT)，进行逆小波变换操作，将各个细节特征信息合成转换得到重构图像，该重构图像的分辨率高于待处理图像的分辨率。由于重构特征信息中的全局轮廓重构信息、横向细节重构信息、纵向细节重构信息和对角细节重构特征信息为经过已训练的目标网络分别准确重构得到的信息，因此能够避免丢失细节特征信息，提高最终合成的重构图像的清晰度及准确性。
本申请实施例中，通过对待处理图像进行小波变换操作，得到包括全局轮廓特征信息、横向细节特征信息、纵向细节特征信息和对角细节特征信息的原始特征信息，并分别通过已训练的目标网络得到包括全局轮廓重构信息、横向细节重构信息、纵向细节重构信息和对角细节重构信息的重构特征信息，再对该重构特征信息进行逆小波变换，得到分辨率高于待处理图像的重构图像。由于该目标网络为基于四个生成对抗网络，对第一样本图像及对应的第二样本图像训练得到的生成器组，在将待处理图像的全局轮廓特征信息和各向细节特征信息区分开后，通过该目标网络能够对应准确生成包含全局轮廓重构信息、横向细节重构信息、纵向细节重构信息和对角细节特征信息的重构特征信息，再进行逆小波变换，使得每个细节信息都能够分别准确地进行重构，因此能够使得最终得到的重构图像更加清晰准确。
实施例二：
请参见图6，图6是本申请实施例提供的第二种图像增强方法的示意流程图。本实施例中图像增强方法的执行主体为终端设备，终端设备包括但不限于智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等移动终端，还可以包括台式电脑、服务器等终端设备。
本实施例在上一实施例的基础上增加了目标网络的训练步骤 S601-S602。本实施例中S603-S606与上一实施例中的S101-S104完全相同，具体请参阅上一实施例中S101-S104的相关描述，此处不赘述。如图6所示图像增强方法，为了提高目标网络获取重构特征信息的准确率，S601-S602，具体如下：
S601：获取第一样本图像，并对所述第一样本图像进行下采样，得到对应的第二样本图像。
获取分辨率较高的第一样本图像，并对该第一样本图像进行下采样操作，得到对应的分辨率较低的第二样本图像。每一张第一样本图像对应其下采样得到的一张第二样本图像。
S602：根据所述第一样本图像和所述第二样本图像对四个生成对抗网络进行训练，得到已训练的目标网络，其中所述四个生成对抗网络包括生成器组及对应的判别器组，所述目标网络为所述四个生成对抗网络中的生成器组。
如图4所示，本申请实施例的四个生成对抗网络包括生成器组和对应的判别器组，生成器组包含第一生成器GA、第二生成器GH、第三生成器GV、第四生成器GD，判别器组包含第一判别器DA、第二判别器DH、第三判别器DV、第四判别器DD；第一生成器GA和第一判别器DA对应，组成第一个生成对抗网络，第二生成器GH和第二判别器DH对应，组成第二个生成对抗网络，第三生成器GV和第三判别器DV对应，组成第三个生成对抗网络，第四生成器GD和第四判别器DD对应。本申请实施例的目标网络具体为四个生成对抗网络中的生成器组。
根据分辨率较高的第一样本图像，以及与第一样本图像对应的分辨率较低的第二样本图像，对四个生成对抗网络进行训练，得到已训练的四个生成对抗网络。从已训练的四个生成对抗网络中获取其中的生成器组，得到已训练的目标网络。
进一步地，所述步骤S602包括：
S60201：对所述第一样本图像进行小波变换，获取所述第一样本图像的第一原始特征信息，所述第一原始特征信息包括第一全局轮廓特征信息、第一横向细节特征信息、第一纵向细节特征信息和第一对角细节特征信息；
S60202：对所述第二样本图像进行小波变换，获取所述第二样本图像的第二原始特征信息，所述第二原始特征信息包括第二全局轮廓特征信息、第二横向细节特征信息、第二纵向细节特征信息和第二对角细节特征信息；
S60203：将所述第二原始特征信息输入所述生成器组进行处理，得到对应的样本数据重构信息，所述样本数据重构信息包括样本全局轮廓重构信息、样本横向细节重构信息、样本纵向细节重构信息和样本对角细节重构信息；
S60204：将所述第一原始特征信息及所述样本数据重构信息输入所述判别器组进行处理，得到对应的判别输出结果；
S60205：根据所述判别输出结果，计算所述判别器组中各个判别器各自对应的判别器损失值及所述生成器组中各个生成器各自对应的生成器损失值；
S60206：根据各个所述判别器损失值及各个所述生成器损失值，分别通过梯度下降反向传播算法迭代更新所述各个判别器及所述各个生成器各自的网络参数，最小化各个所述判别器损失值及各个所述生成器损失值，得到已训练的目标网络。
在S60201中，将第一样本图像输入离散小波变换模型DWT中，进行小波变换并转换空间频率域，得到第一样本图像的第一原始特征信息，该第一原始特征信息包括第一全局轮廓特征信息、第一横向细节特征信息、第一纵向细节特征信息和第一对角细节特征信息这四个分离得到的特征信息。
在S60202中，将第二样本图像输入离散小波变换模型DWT中，进行小波变换并转换空间频率域，得到第二样本图像的第二原始特征信息，该第二原始特征信息包括第二全局轮廓特征信息、第二横向细节特征信息、第二纵向细节特征信息和第二对角细节特征信息这四个分离得到的特征信息。
在S60203中，第二原始特征信息输入生成器组中进行处理，得到对应的样本数据重构信息。具体地，将第二原始特征信息中的第二全局轮廓特征信息输入生成器组中的第一生成器进行处理，得到样本数据重构信息中的样本全局轮廓重构信息；将第二横向细节特征信息输入生成器组中的第二生成器进行处理，得到对应的样本横向细节重构信息；将第二纵向细节特征信息输入生成器组中的第三生成器进行处理，得到对应的样本纵向细节重构信息；将第二对角细节特征信息输入第四生成器进行处理，得到对应的样本对角细节重构信息。
在S60204中，具体地，将第一原始特征信息中的第一全局轮廓特征信息和样本数据重构信息中的样本全局轮廓重构信息输入判别器组中的第一判别器中进行处理，得到第一判别器的判别输出结果；将第一原始特征信息中的第一横向细节特征信息和样本数据重构信息中的样本横向细节重构信息输入判别器组中的第二判别器中进行处理，得到第二判别器的判别输出结果；将第一原始特征信息中的第一纵向细节特征信息和样本数据重构信息中的样本纵向细节重构信息输入判别器组中的第三判别器中进行处理，得到第三判别输出结果；将第一原始特征信息中的第一对角细节特征信息和样本数据重构信息中的样本对角细节重构信息输入判别器组中的第四判别器中进行处理，得到第四判别输出结果。
在S60205中，根据判别输出结果及预设的判别器损失值计算公式，计算得到各个判别器各自对应的判别器损失值，具体包括第一判别器损失值LossDA，第二判别器损失值LossDH，第三判别器损失值 LossDV，第四判别器损失值LossDD。根据判别输出结果及预设的生成器损失值计算公式，计算得到各个生成器各自对应的生成器损失值，具体包括第一生成器损失值LossGA，第二生成器损失值LossGH，第三生成器损失值LossGV，第四生成器损失值LossGD。
进一步地，本申请实施例中的四个生成对抗网络均为相对均值生成对抗网络，在相对均值生成对抗网络中，其判别器损失值LossD和生成器损失值LossG的计算公式如下：
其中，xr表示直接输入判别器的真实数据，xf数据表示生成器生成后输入判别器的生成数据；D(xr,xf)＝sigmoid(C(xr)-E[C(xf)])，C(xr) 表示判别器将真实数据xr判别为真的概率，C(xf)表示判别器将生成数据xf判别为真的概率。
根据判别输出结果，基于(1)式，可以计算得到各判别器对应的判别器损失值。具体地：
对于第一判别器损失值LossDA，令(1)式中的xr具体为第一样本图像的第一全局轮廓特征信息yA,式中的xf具体为第一生成器生成的样本全局轮廓重构信息xA，根据第一判别器的输出结果确定DA (yA，xA),得到
同样地，对于第一生成器损失值LossGA，根据(2)式，得到
对于第二判别器损失值LossDH，令(1)式中的xr具体为第一样本图像的第一横向细节特征信息yH,式中的xf具体为第二生成器生成的样本横向细节重构信息xH，根据第二判别器的输出结果确定DH (yH，xH),得到
同样地，对于第二生成器损失值LossGH，根据(2)式，得到
对于第三判别器损失值LossDV，令(1)式中的xr具体为第一样本图像的第一纵向细节特征信息yV,式中的xf具体为第三生成器生成的样本纵向细节重构信息xH，根据第三判别器的输出结果确定DV (yV，xV),得到
同样地，对于第三生成器损失值LossGV，根据(2)式，得到
对于第四判别器损失值LossDD，令(1)式中的xr具体为第一样本图像的第一横向细节特征信息yD,式中的xf具体为第四生成器生成的样本横向细节重构信息xD，根据第四判别器的输出结果确定DD (yD，xD),得到
同样地，对于第四生成器损失值LossGD，根据(2)式，得到
本申请实施例中，由于相对均值生成对抗网络在训练时是根据相对判别概率对判别器和生成器进行约束，综合考虑真实样本和生成数据之间相对真实度的概率，解决生成对抗网络训练过程不稳定的问题，从而实现更加精准的训练，使得最终得到的目标网络对细节特征的提取更加准确。
在S60206中，根据步骤S60205计算得到的各个判别器损失值和各个生成器损失值，通过梯度下降算法计算各个判别器、各个生成器需调整参数值，并反向传播迭代更新各个判别器和各个生成器各自的网络参数，最小化各个判别器损失值、各个生成器损失值，得到已训练的四个生成对抗网络，并从中获取已训练的生成器组作为已训练的目标网络。具体地，每个生成对抗网络都是分别独立训练的，当四个生成对抗网络均训练完成时，得到已训练的生成对抗网络。具体地，每个生成对抗网络在训练时，先固定生成器的网络参数，最小化判别器损失值，反向传播更新判别器的网络参数，完成判别器的训练；之后，固定判别器的网络参数，最小化生成器损失值，反向传播更新生成器的网络参数，完成生成器的训练，从而完成一个生成对抗网络的训练。
进一步地，在所述步骤S60203之后，还包括:
S602031:对所述样本数据重构信息进行逆小波变换操作得到样本重构图像；
S602032:将所述样本重构图像与对应的所述第一样本图像进行逐像素比较，计算逐像素差别损失值；
对应地，所述步骤S60206具体为：
S60206A:根据各个所述判别器损失值、各个所述生成器损失值及所述逐像素差别损失值，分别通过梯度下降反向传播算法迭代更新所述各个判别器及所述各个生成器各自的网络参数，最小化各个所述判别器损失值、各个所述生成器损失值及所述逐像素差别损失值，得到已训练的目标网络。
本申请实施例中在基于四个生成对抗网络实现对目标网络的训练时，除了最小化各判别器损失值、各生成器损失值外，还在此基础上增加了根据样本重构图像和对应的第一样本图像进行逐像素比较计算得到的逐像素差别损失值，通过进一步最小化逐像素差别损失值来进一步提高已训练的目标网络的准确性。
具体地，在S602031中，根据样本数据重构信息中的样本全局轮廓重构信息、样本横向细节重构信息、样本纵向细节重构信息和样本对角细节重构信息进行逆小波变换，合成样本重构图像。
在S602032中，将样本重构图像和对应的第一样本图像(即与重构前的第二样本图像对应的第一样本图像)输入逐像素比较模块，对两个图像中的每个像素点信息一一进行比较，计算逐像素差别损失值LossF。其中，LossF＝Ex∈X,y∈Y[||y-G(x)||1]，y表示分辨率较高的、真实的第一样本图像，G(x)表示通过生成器生成的样本重构图像，|| ||1表示L1范式，此处使用L1范式有利于使生成的图像边缘更加清晰。
在S60206A中，具体地，每个生成对抗网络在训练时，先固定生成器的网络参数，最小化判别器损失值，反向传播更新判别器的网络参数，完成判别器的训练；接着，固定判别器的网络参数，最小化生成器损失值，反向传播更新生成器的网络参数；之后，最小化逐像素差别损失值LossF，进一步通过反向传播更新生成器、判别器的网络参数，从而完成生成对抗网络的训练。在每个生成对抗网络都训练完成后，得到已训练的四个生成对抗网络。提取四个生成对抗网络的四个生成器得到生成器组，作为已训练的目标网络。
进一步地，在所述S60205之后，还包括：
S602051：根据所述各个判别器对应的判别损失函数及全局轮廓权重、纹理细节权重、横向细节权重、纵向细节权重、对角细节权重，得到生成对抗网络损失值；
S602052：根据所述生成对抗网络损失值、逐像素差别损失值、生成对抗网络损失权重及逐像素差别损失权重，计算总损失值；
对应地，所述S60206具体为：
S60206B:根据各个所述判别器损失值、各个所述生成器损失值、所述逐像素差别损失值及所述总损失值，分别通过梯度下降反向传播算法迭代更新所述各个判别器及所述各个生成器各自的网络参数，最小化各个所述判别器损失值、各个所述生成器损失值、所述逐像素差别损失值及所述总损失值，得到已训练的目标网络。
具体地，在S602051中，根据步骤S60205计算得到的第一判别器损失值LossDA、第二判别器损失值LossDH、第三判别器损失值 LossDV、第四判别器损失值LossDD，以及全局轮廓权重α1、纹理细节权重α2、横向细节权重β1、纵向细节权重β2、对角细节权重β3和公式LossGAN＝α1LossDA+α2(β1LossDH+β2LossDV+β3LossDD)，计算得到生成对抗网络损失值LossGAN。其中，全局轮廓权重α1、纹理细节权重α2、横向细节权重β1、纵向细节权重β2、对角细节权重β3均为预先根据图像的峰值信噪比(peak signal noise ranting，psnr)调整得到的超参数。本申请实施例中，引入全局轮廓权重α1、和纹理细节权重α2平衡全局轮廓特征信息和纹理细节特征信息间的权重，调整重构图像中的全局轮廓和细节纹理；引入横向细节权重β1、纵向细节权重β2、对角细节权重β3、调整横向、纵向和对角细节特征信息在图像中的比例，实现对图像的增强处理。
具体地，在S602052中，根据生成对抗网络损失值LossGAN、逐像素差别损失值LossF、生成对抗网络损失权重λ1及逐像素差别损失权重λ2，通过公式Losstotal＝λ1LossGAN+λ2LossF计算得到总损失值。其中，生成对抗网络损失权重λ1及逐像素差别损失权重λ2均为预先根据图像的psnr调整得到的超参数
具体地，在S60206B中，每个生成对抗网络在训练时，先固定生成器的网络参数，最小化判别器损失值，反向传播更新判别器的网络参数，完成判别器的训练；接着，固定判别器的网络参数，最小化生成器损失值，反向传播更新生成器的网络参数；之后，最小化逐像素差别损失值LossF，进一步通过反向传播更新生成器、判别器的网络参数；最后，最小化总损失值Losstotal，更进一步地反向传播更新生成器、判别器的网络参数，完成生成对抗网络的训练。在每个生成对抗网络都训练完成后，得到已训练的四个生成对抗网络。提取四个生成对抗网络的四个生成器得到生成器组，作为已训练的目标网络。
本申请实施例中，通过各个判别器损失值及各个权重来得到总损失值，从而通过权重来调整目标网络中各生成器的网络参数，使得各生成器能够生成预设比例的全局轮廓重构信息和各个细节重构信息，使得最终得到的重构图像中的轮廓特征和各个细节特征能够按照预期准确地呈现，从而提高重构图像的准确性。
本申请实施例中，通过四个生成对抗网络分别学习分辨率较高的第一样本图像的整体轮廓、横向、纵向以及对角纹理细节在小波空间频率域的分布，使得已训练的目标网络中的每个生成器能分别专注于图像全局轮廓特征信息和各个方向细节特征信息的生成，从而能够根据准确完整的特征信息通过逆小波变换合成分辨率较高、细节清晰的重构图像，解决将低分辨率图像转换得到的高分辨率图像比较模糊的问题。
进一步地，本申请实施例的图像增强方法应用于医学影像的图像增强，对应地，所述第一样本图像为高分辨率医学影像样本数据。
在临床诊断工作中，患者的医学影像特征是临床医师做出准确诊断的主要依据。因此，在对患者进行病理医学成像时，获得具有更加清晰病理细节的高分辨率医学影像，有助于医师对患者病情进行更加精确的分析和更加准确的诊断。然而在社区医院等基础医疗机构，其设备只指除较低分辨率的普通医学成像，不支持高分辨率医学影像扫描。并且通过电子计算机断层扫描(Computed Tomography，CT)获取高分辨率的医学影像需要使用高剂量的造影剂，而使用高剂量造影剂给患者带来其他的潜在风险，如诱发肾功能衰竭、心率过缓等。对于核磁共振成像(Magnetic Resonance Imaging，MRI)，获取高分辨率图像需要较长的扫描时间(约30min)，期间病人需要保持静止，若发生位移容易造成成像结果重影、模糊等问题。同时长时间扫描也给医生带来较高的人力和时间成本，最终也就增加了患者的医疗成本。综上，在医学影像领域中，通常是先采集低分辨率医学影像，再将采集到的低分辨率医学影像转换为高分辨率医学影像以辅助于医学诊断。为了更好地辅助医学诊断，需要解决如何将低分辨率医学影像准确地转换到得到清晰的高分辨率医学影像的问题。
本申请实施例中，具体将上述图像增强方法的各步骤应用于医学影像的图像增强以解决上述问题。具体以采集到的低分辨率医学影像作为待处理图像，通过上述图像增强方法各步骤的处理得到的重构图像即为高分辨率医学影像。对应地，基于四个生成对抗网络对目标网络进行训练时，具体以高分辨率医学影像样本数据作为第一样本图像，以及通过该高分辨率医学影像样本数据进行下采样得到的低分辨率医学影像样本数据作为第二样本图像，对目标网络进行训练，使得最终训练得到的目标网络能够准确地学习高分辨率医学影像样本数据的特征信息，从而使得之后逆小波变换得到的重构图像为细节清晰、准确的高分辨率医学影像。进一步地，本申请实施例还可根据医学影像中所需分析的病灶区域位置，确定全局轮廓权重α1、和纹理细节权重α2平衡全局轮廓特征信息和纹理细节特征信息间的权重、横向细节权重β1、纵向细节权重β2、对角细节权重β3等权重参数，增强医学影像中病灶的细节信息。
实施例三：
本申请实施例还提供一种图像增强装置，如图7所示，为了便于说明，仅示出了与本申请实施例相关的部分：
该图像装置包括：待处理图像获取单元71、小波变换单元72、重构特征信息获取单元73、逆小波变换单元74。其中：
待处理图像获取单元71，用于获取待处理图像。
小波变换单元72，用于对所述待处理图像进行小波变换操作，获取所述待处理图像的原始特征信息，其中，所述原始特征信息包括全局轮廓特征信息、横向细节特征信息、纵向细节特征信息和对角细节特征信息。
进一步地，所述小波变换操作具体为具有对称性的紧支集正交小波变换操作。
进一步地，所述四个生成对抗网络具体为四个相对均值生成对抗网络。
重构特征信息获取单元73，用于将所述原始特征信息输入已训练的目标网络进行处理，得到对应的重构特征信息；其中，所述重构特征信息包括全局轮廓重构信息、横向细节重构信息、纵向细节重构信息和对角细节重构信息；所述目标网络是基于四个生成对抗网络，对第一样本图像及对应的第二样本图像训练得到的生成器组；所述第一样本图像的分辨率高于所述第二样本图像的分辨率。
逆小波变换单元74，用于对所述重构特征信息进行逆小波变换操作，得到重构图像；所述重构图像的分辨率高于所述待处理图像的分辨率。
进一步地，所述小波变换单元包括：
第一小波变换模块，用于对所述待处理图像在x轴方向上进行小波变换操作，得到第一频谱信息；
第二小波变换模块，用于对所述第一频谱信息在y轴方向上进行小波变换操作，得到第二频谱信息；
第三小波变换模块，用于对所述第二频谱信息在z轴方向上进行小波变换操作，得到第三频谱信息；
原始特征信息获取模块，用于根据所述第三频谱信息，获取所述原始特征信息。
进一步地，所述已训练的目标网络包括第一生成器、第二生成器、第三生成器和第四生成器，所述重构特征信息获取单元包括：
全局轮廓重构信息获取模块，用于将所述全局轮廓特征信息输入所述第一生成器进行处理，得到所述全局轮廓重构信息；
横向细节重构信息获取模块，用于将所述横向细节特征信息输入所述第二生成器进行处理，得到所述横向细节重构信息；
纵向细节重构信息获取模块，用于将所述纵向细节特征信息输入所述第三生成器进行处理，得到所述纵向细节重构信息；
对角细节重构信息获取模块，用于将所述对角细节特征信息输入所述第四生成器进行处理，得到所述对角细节重构信息。
进一步地，所述全局轮廓重构信息获取模块，具体用于将所述全局轮廓特征信息输入所述第一生成器，通过n个第一残差块获得n个第一中间特征信息；根据所述n个第一中间特征信息，获取所述全局轮廓重构信息；
所述横向细节重构信息获取模块，具体用于将所述横向细节特征信息输入所述第二生成器，通过n个第二残差块获得n个第二中间特征信息；根据所述n个第二中间特征信息，获取所述横向细节重构信息；
所述纵向细节重构信息获取模块，具体用于将所述纵向细节特征信息输入所述第三生成器，通过n个第三残差块获得n个第三中间特征信息；根据所述n个第三中间特征信息，获取所述纵向细节重构信息；
所述对角细节重构信息获取模块，具体用于将所述对角细节特征信息输入所述第四生成器，通过n个第四残差块获得n个第四中间特征信息；根据所述n个第四中间特征信息，获取所述对角细节重构信息。
进一步地，所述图像增强装置还包括：
样本图像获取单元，用于获取第一样本图像，并对所述第一样本图像进行下采样，得到对应的第二样本图像；
训练单元，用于根据所述第一样本图像和所述第二样本图像对四个生成对抗网络进行训练，得到已训练的目标网络，其中所述四个生成对抗网络包括生成器组及对应的判别器组，所述目标网络为所述四个生成对抗网络中的生成器组。
进一步地，所述训练单元包括：
第一小波变换模块，用于对所述第一样本图像进行小波变换，获取所述第一样本图像的第一原始特征信息，所述第一原始特征信息包括第一全局轮廓特征信息、第一横向细节特征信息、第一纵向细节特征信息和第一对角细节特征信息；
第二小波变换模块，用于对所述第二样本图像进行小波变换，获取所述第二样本图像的第二原始特征信息，所述第二原始特征信息包括第二全局轮廓特征信息、第二横向细节特征信息、第二纵向细节特征信息和第二对角细节特征信息；
样本数据重构信息获取模块，用于将所述第二原始特征信息输入所述生成器组进行处理，得到对应的样本数据重构信息，所述样本数据重构信息包括样本全局轮廓重构信息、样本横向细节重构信息、样本纵向细节重构信息和样本对角细节重构信息；
判别模块，用于将所述第一原始特征信息及所述样本数据重构信息输入所述判别器组进行处理，得到对应的判别输出结果；
第一计算模块，用于根据所述判别输出结果，计算所述判别器组中各个判别器各自对应的判别器损失值及所述生成器组中各个生成器各自对应的生成器损失值；
训练模块，用于根据各个所述判别器损失值及各个所述生成器损失值，分别通过梯度下降反向传播算法迭代更新所述各个判别器及所述各个生成器各自的网络参数，最小化各个所述判别器损失值及各个所述生成器损失值，得到已训练的目标网络。
进一步地，所述训练单元还包括：
样本重构图像获取模块，用于对所述样本数据重构信息进行逆小波变换操作得到样本重构图像；
第二计算模块，用于将所述样本重构图像与对应的所述第一样本图像进行逐像素比较，计算逐像素差别损失值；
对应地，所述训练模块，具体用于根据各个所述判别器损失值、各个所述生成器损失值及所述逐像素差别损失值，分别通过梯度下降反向传播算法迭代更新所述各个判别器及所述各个生成器各自的网络参数，最小化各个所述判别器损失值、各个所述生成器损失值及所述逐像素差别损失值，得到已训练的目标网络。
进一步地，所述训练单元还包括：
第三计算模块，用于根据所述各个判别器对应的判别损失值及全局轮廓权重、纹理细节权重、横向细节权重、纵向细节权重、对角细节权重，得到生成对抗网络损失值；
第四计算模块，用于根据所述生成对抗网络损失值、逐像素差别损失值、生成对抗网络损失权重及逐像素差别损失权重，计算总损失值；
对应地，所述训练模块，具体用于根据各个所述判别器损失值、各个所述生成器损失值、所述逐像素差别损失值及所述总损失值，分别通过梯度下降反向传播算法迭代更新所述各个判别器及所述各个生成器各自的网络参数，最小化各个所述判别器损失值、各个所述生成器损失值、所述逐像素差别损失值及所述总损失值，得到已训练的目标网络。
进一步地，所述图像增强装置应用于三维医学影像的图像增强，对应地，所述第一样本图像为高分辨率三维医学影像样本数据。
实施例四：
请参见图8，图8是本申请另一实施例提供的一种终端设备的示意图。如图8所示，该实施例的终端设备包括：处理器80、存储器 81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82。所述处理器80执行所述计算机程序82时实现上述各个终端设备在图像增强方法实施例中的步骤，例如图1所示的S101至 S104。或者，所述处理器80执行所述计算机程序82时实现上述各实施例中各单元的功能，例如图7所示单元71至74功能。
示例性的，所述计算机程序82可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器81中，并由所述处理器 80执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序段，该指令段用于描述所述计算机程序82 在所述终端设备8中的执行过程。例如，所述计算机程序82可以被获取单元、预处理单元以及分类单元，各单元具体功能如上所述。
所述终端设备可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图7仅仅是终端设备8的示例，并不构成对终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出终端设备、网络接入终端设备、总线等。
所称处理器80可以是中央处理单元(Central Processing Unit， CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array， FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81可以是所述终端设备8的内部存储单元，例如终端设备8的硬盘或内存。所述存储器81也可以是所述终端设备8的外部存储终端设备，例如所述终端设备8上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储终端设备。所述存储器81用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神范围，均应包含在本申请的保护范围之内。
Claims (9)
1.一种图像增强方法，其特征在于，包括：
获取待处理图像；
对所述待处理图像进行小波变换操作，获取所述待处理图像的原始特征信息，其中，所述原始特征信息包括全局轮廓特征信息、横向细节特征信息、纵向细节特征信息和对角细节特征信息；
将所述原始特征信息输入已训练的目标网络进行处理，得到对应的重构特征信息；其中，所述重构特征信息包括全局轮廓重构信息、横向细节重构信息、纵向细节重构信息和对角细节重构信息；所述目标网络是基于四个生成对抗网络，对第一样本图像及对应的第二样本图像训练得到的生成器组；所述第一样本图像的分辨率高于所述第二样本图像的分辨率；
对所述重构特征信息进行逆小波变换操作，得到重构图像；所述重构图像的分辨率高于所述待处理图像的分辨率；
其中，所述已训练的目标网络包括第一生成器、第二生成器、第三生成器和第四生成器，所述将所述原始特征信息输入已训练的目标网络进行处理，得到对应的重构特征信息，包括：
将所述全局轮廓特征信息输入所述第一生成器进行处理，得到所述全局轮廓重构信息；
将所述横向细节特征信息输入所述第二生成器进行处理，得到所述横向细节重构信息；
将所述纵向细节特征信息输入所述第三生成器进行处理，得到所述纵向细节重构信息；
将所述对角细节特征信息输入所述第四生成器进行处理，得到所述对角细节重构信息。
2.如权利要求1所述的图像增强方法，其特征在于，所述待处理图像具体为三维图像，所述对所述待处理图像进行小波变换操作，获取所述待处理图像的原始特征信息，包括：
对所述待处理图像在x轴方向上进行小波变换操作，得到第一频谱信息；
对所述第一频谱信息在y轴方向上进行小波变换操作，得到第二频谱信息；
对所述第二频谱信息在z轴方向上进行小波变换操作，得到第三频谱信息；
根据所述第三频谱信息，获取所述原始特征信息。
3.如权利要求1所述的图像增强方法，其特征在于，在所述获取待处理图像之前，还包括:
获取第一样本图像，并对所述第一样本图像进行下采样，得到对应的第二样本图像；
根据所述第一样本图像和所述第二样本图像对四个生成对抗网络进行训练，得到已训练的目标网络，其中所述四个生成对抗网络包括生成器组及对应的判别器组，所述目标网络为所述四个生成对抗网络中的生成器组。
4.如权利要求3所述的图像增强方法，其特征在于，所述根据所述第一样本图像和所述第二样本图像对四个生成对抗网络进行训练，得到已训练的目标网络，包括：
对所述第一样本图像进行小波变换，获取所述第一样本图像的第一原始特征信息，所述第一原始特征信息包括第一全局轮廓特征信息、第一横向细节特征信息、第一纵向细节特征信息和第一对角细节特征信息；
对所述第二样本图像进行小波变换，获取所述第二样本图像的第二原始特征信息，所述第二原始特征信息包括第二全局轮廓特征信息、第二横向细节特征信息、第二纵向细节特征信息和第二对角细节特征信息；
将所述第二原始特征信息输入所述生成器组进行处理，得到对应的样本数据重构信息，所述样本数据重构信息包括样本全局轮廓重构信息、样本横向细节重构信息、样本纵向细节重构信息和样本对角细节重构信息；
将所述第一原始特征信息及所述样本数据重构信息输入所述判别器组进行处理，得到对应的判别输出结果；
根据所述判别输出结果，计算所述判别器组中各个判别器各自对应的判别器损失值及所述生成器组中各个生成器各自对应的生成器损失值；
根据各个所述判别器损失值及各个所述生成器损失值，分别通过梯度下降反向传播算法迭代更新所述各个判别器及所述各个生成器各自的网络参数，最小化各个所述判别器损失值及各个所述生成器损失值，得到已训练的目标网络。
5.如权利要求4所述的图像增强方法，其特征在于，在所述将所述第二原始特征信息输入所述生成器组进行处理，得到对应的样本数据重构信息之后，还包括：
对所述样本数据重构信息进行逆小波变换操作得到样本重构图像；
将所述样本重构图像与对应的所述第一样本图像进行逐像素比较，计算逐像素差别损失值；
对应地，所述根据各个所述判别器损失值及各个所述生成器损失值，分别通过梯度下降反向传播算法迭代更新所述各个判别器及所述各个生成器各自的网络参数，最小化各个所述判别器损失值及各个所述生成器损失值，得到已训练的目标网络，包括：
根据各个所述判别器损失值、各个所述生成器损失值及所述逐像素差别损失值，分别通过梯度下降反向传播算法迭代更新所述各个判别器及所述各个生成器各自的网络参数，最小化各个所述判别器损失值、各个所述生成器损失值及所述逐像素差别损失值，得到已训练的目标网络。
6.如权利要求5所述的图像增强方法，其特征在于，在所述根据所述判别输出结果，计算所述判别器组中各个判别器各自对应的判别器损失值及所述生成器组中各个生成器各自对应的生成器损失值之后，还包括：
根据所述各个判别器对应的判别损失值及全局轮廓权重、纹理细节权重、横向细节权重、纵向细节权重、对角细节权重，得到生成对抗网络损失值；
根据所述生成对抗网络损失值、逐像素差别损失值、生成对抗网络损失权重及逐像素差别损失权重，计算总损失值；
对应地，所述根据各个所述判别器损失值及各个所述生成器损失值，分别通过梯度下降反向传播算法迭代更新所述各个判别器及所述各个生成器各自的网络参数，最小化各个所述判别器损失值及各个所述生成器损失值，得到已训练的目标网络，包括：
根据各个所述判别器损失值、各个所述生成器损失值、所述逐像素差别损失值及所述总损失值，分别通过梯度下降反向传播算法迭代更新所述各个判别器及所述各个生成器各自的网络参数，最小化各个所述判别器损失值、各个所述生成器损失值、所述逐像素差别损失值及所述总损失值，得到已训练的目标网络。
7.一种图像增强装置，其特征在于，包括：
待处理图像获取单元，用于获取待处理图像；
小波变换单元，用于对所述待处理图像进行小波变换操作，获取所述待处理图像的原始特征信息，其中，所述原始特征信息包括全局轮廓特征信息、横向细节特征信息、纵向细节特征信息和对角细节特征信息；
重构特征信息获取单元，用于将所述原始特征信息输入已训练的目标网络进行处理，得到对应的重构特征信息；其中，所述重构特征信息包括全局轮廓重构信息、横向细节重构信息、纵向细节重构信息和对角细节重构信息；所述目标网络是基于四个生成对抗网络，对第一样本图像及对应的第二样本图像训练得到的生成器组；所述第一样本图像的分辨率高于所述第二样本图像的分辨率；
逆小波变换单元，用于对所述重构特征信息进行逆小波变换操作，得到重构图像；所述重构图像的分辨率高于所述待处理图像的分辨率；
其中，所述已训练的目标网络包括第一生成器、第二生成器、第三生成器和第四生成器，所述重构特征信息获取单元包括：
全局轮廓重构信息获取模块，用于将所述全局轮廓特征信息输入所述第一生成器进行处理，得到所述全局轮廓重构信息；
横向细节重构信息获取模块，用于将所述横向细节特征信息输入所述第二生成器进行处理，得到所述横向细节重构信息；
纵向细节重构信息获取模块，用于将所述纵向细节特征信息输入所述第三生成器进行处理，得到所述纵向细节重构信息；
对角细节重构信息获取模块，用于将所述对角细节特征信息输入所述第四生成器进行处理，得到所述对角细节重构信息。
8.一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911168004.XA CN111047512B (zh) | 2019-11-25 | 2019-11-25 | 图像增强方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911168004.XA CN111047512B (zh) | 2019-11-25 | 2019-11-25 | 图像增强方法、装置及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111047512A CN111047512A (zh) | 2020-04-21 |
| CN111047512B true CN111047512B (zh) | 2022-02-01 |
Family
ID=70233306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911168004.XA Active CN111047512B (zh) | 2019-11-25 | 2019-11-25 | 图像增强方法、装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111047512B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508097B (zh) * | 2020-12-08 | 2024-01-19 | 深圳市优必选科技股份有限公司 | 图像转换模型训练方法、装置、终端设备及存储介质 |
| CN113158997B (zh) * | 2021-05-22 | 2023-04-18 | 河南工业大学 | 基于深度学习的粮库监控图像去噪方法、装置及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801221A (zh) * | 2019-01-18 | 2019-05-24 | 腾讯科技（深圳）有限公司 | 生成对抗网络的训练方法、图像处理方法、装置和存储介质 |
| CN110119780A (zh) * | 2019-05-10 | 2019-08-13 | 西北工业大学 | 基于生成对抗网络的高光谱图像超分辨重建方法 |
| CN110222758A (zh) * | 2019-05-31 | 2019-09-10 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN110443867A (zh) * | 2019-08-01 | 2019-11-12 | 太原科技大学 | 基于生成对抗网络的ct图像超分辨率重构方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018053340A1 (en) * | 2016-09-15 | 2018-03-22 | Twitter, Inc. | Super resolution using a generative adversarial network |
| US11501438B2 (en) * | 2018-04-26 | 2022-11-15 | Elekta, Inc. | Cone-beam CT image enhancement using generative adversarial networks |
-
2019
- 2019-11-25 CN CN201911168004.XA patent/CN111047512B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801221A (zh) * | 2019-01-18 | 2019-05-24 | 腾讯科技（深圳）有限公司 | 生成对抗网络的训练方法、图像处理方法、装置和存储介质 |
| CN110119780A (zh) * | 2019-05-10 | 2019-08-13 | 西北工业大学 | 基于生成对抗网络的高光谱图像超分辨重建方法 |
| CN110222758A (zh) * | 2019-05-31 | 2019-09-10 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN110443867A (zh) * | 2019-08-01 | 2019-11-12 | 太原科技大学 | 基于生成对抗网络的ct图像超分辨率重构方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《Image super-resolution using progressive generative adversarial networks for medical image analysis 》;DwarikanathMahapatra 等;《ELSEVIER:COMPUTERIZED MEDIACAL IMAGIING AND GRAPHICS》;20190131;第71卷;正文第30-39页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111047512A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dar et al. | Prior-guided image reconstruction for accelerated multi-contrast MRI via generative adversarial networks | |
| EP4148660B1 (en) | Improving quality of medical images using multi-contrast and deep learning | |
| US20240118359A1 (en) | Self ensembling techniques for generating magnetic resonance images from spatial frequency data | |
| Trinh et al. | Novel example-based method for super-resolution and denoising of medical images | |
| Van Reeth et al. | Super‐resolution in magnetic resonance imaging: a review | |
| WO2020134826A1 (zh) | 磁共振并行成像方法及相关设备 | |
| WO2021102644A1 (zh) | 图像增强方法、装置及终端设备 | |
| Zhao et al. | SwinGAN: A dual-domain Swin Transformer-based generative adversarial network for MRI reconstruction | |
| CN110070612B (zh) | 一种基于生成对抗网络的ct图像层间插值方法 | |
| CN112489154A (zh) | 基于局部优化生成对抗网络的mri运动伪影校正方法 | |
| CN111047512B (zh) | 图像增强方法、装置及终端设备 | |
| CN112419437A (zh) | 用于重建磁共振图像的系统和方法 | |
| Florkow et al. | The impact of MRI-CT registration errors on deep learning-based synthetic CT generation | |
| Chen et al. | Wavelet improved GAN for MRI reconstruction | |
| Singh et al. | Medical image generation using generative adversarial networks | |
| Yang et al. | Generative Adversarial Networks (GAN) Powered Fast Magnetic Resonance Imaging--Mini Review, Comparison and Perspectives | |
| Wahid et al. | Multi-layer basis pursuit for compressed sensing MR image reconstruction | |
| Huang et al. | TransMRSR: transformer-based self-distilled generative prior for brain MRI super-resolution | |
| WO2020113148A1 (en) | Single or a few views computed tomography imaging with deep neural network | |
| Huang et al. | Simultaneous super-resolution and cross-modality synthesis in magnetic resonance imaging | |
| WO2024021796A1 (zh) | 一种图像处理方法、装置、电子设备、存储介质及程序产品 | |
| Prince et al. | Image synthesis and superresolution in medical imaging | |
| Zeng et al. | MG-CNFNet: A multiple grained channel normalized fusion networks for medical image deblurring | |
| US11941732B2 (en) | Multi-slice MRI data processing using deep learning techniques | |
| Hu et al. | Single image super resolution of 3D MRI using local regression and intermodality priors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |