CN112734658A - 图像增强方法、装置及电子设备 - Google Patents

图像增强方法、装置及电子设备 Download PDF

Info

Publication number
CN112734658A
CN112734658A CN202011590430.5A CN202011590430A CN112734658A CN 112734658 A CN112734658 A CN 112734658A CN 202011590430 A CN202011590430 A CN 202011590430A CN 112734658 A CN112734658 A CN 112734658A
Authority
CN
China
Prior art keywords
image set
image
processed
loss function
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011590430.5A
Other languages
English (en)
Inventor
刘行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Hangzhou Co Ltd
Original Assignee
Vivo Mobile Communication Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Hangzhou Co Ltd filed Critical Vivo Mobile Communication Hangzhou Co Ltd
Priority to CN202011590430.5A priority Critical patent/CN112734658A/zh
Publication of CN112734658A publication Critical patent/CN112734658A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像增强方法、装置及电子设备，属于图像处理技术领域。方法通过获取第一图像集和第二图像集；其中，所述第一图像集中的图像在目标特征上具有第一共性；所述第二图像集中的图像在所述目标特征上具有第二共性，所述第二共性优于所述第一共性；根据所述第一图像集和所述第二图像集，对图像增强生成对抗网络模型进行迭代训练，得到目标生成器；所述目标生成器用于对待处理图像进行所述目标特征上的增强处理。通过本申请不用投入大量的硬件成本，也不需要收集成对的样本数据集，即能够实现对待处理的图像进行增强处理，解决了现有的图像质量增强方法存在的硬件成本较大和强监督图像的样本收集困难的问题。

Description

图像增强方法、装置及电子设备
技术领域
本申请属于图像处理技术领域，具体涉及一种图像增强方法、装置及电子设备。
背景技术
智能手机越来越普及，用户选择手机时会特别关注手机的拍照质量。目前，提升手机的拍照质量的方案主要包括两种，第一种是通过硬件的方案或者软件的方案来实现，硬件的方案通常通过配置更高像素的摄像头来达到提升拍照图像画质的作用，第二种是软件的方案主要是利用卷积神经网络学习一个强监督的图像质量增强的深度网络来实现。
在实现本申请过程中，发明人发现现有技术中至少存在如下问题：
对于第一种方案，需要投入大量的硬件成本，并且有时就算硬件配置再高拍照时也会出现运动模糊、不清晰等情况。对于第二种方案关键在于训练数据难以获取，不仅需要拍摄低质量的图片，还要对应拍摄一张高质量的图片，这种强监督的图像样本很难得到。
申请内容
本申请实施例的目的是提供一种图像增强方法、装置及电子设备，能够解决现有的图像质量增强方法存在的硬件成本较大和强监督图像样本收集困难的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种图像增强方法，包括：
获取第一图像集和第二图像集；
其中，所述第一图像集中的图像在目标特征上具有第一共性；所述第二图像集中的图像在所述目标特征上具有第二共性，所述第二共性优于所述第一共性；
根据所述第一图像集和所述第二图像集，对图像增强生成对抗网络模型进行迭代训练，得到目标生成器；所述目标生成器用于对待处理图像进行所述目标特征上的增强处理。
第二方面，本申请实施例提供了一种图像增强装置，包括：
获取模块，用于获取第一图像集和第二图像集；
其中，所述第一图像集中的图像在目标特征上具有第一共性；所述第二图像集中的图像在所述目标特征上具有第二共性，所述第二共性优于所述第一共性；
训练模块，用于根据所述第一图像集和所述第二图像集，对图像增强生成对抗网络模型进行迭代训练，得到目标生成器；所述目标生成器用于对待处理图像进行所述目标特征上的增强处理。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
在本申请实施例中，通过第一图像集和第二图像集；其中，所述第一图像集中的图像在目标特征上具有第一共性；所述第二图像集中的图像在所述目标特征上具有第二共性，所述第二共性优于所述第一共性；进一步根据所述第一图像集和所述第二图像集，对图像增强生成对抗网络模型进行迭代训练，得到目标生成器；所述目标生成器用于对待处理图像进行所述目标特征上的增强处理。这样，不用投入大量的硬件成本，也不需要成对的样本数据集，即可实现对待处理的图像进行增强处理，解决了现有的图像质量增强方法存在的硬件成本较大和强监督图像样本收集困难的问题。
附图说明
图1是本申请实施例的图像增强方法的流程示意图；
图2是本申请实施例的算法架构示意图之一；
图3是本申请实施例的算法架构示意图之二；
图4是本申请实施例的图像处理装置的框图；
图5是本申请实施例的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
如图1，本申请提供一种图像处理方法，包括以下步骤：
步骤11：获取第一图像集和第二图像集；其中，所述第一图像集中的图像在目标特征上具有第一共性；所述第二图像集中的图像在所述目标特征上具有第二共性，所述第二共性优于所述第一共性；
本步骤中，第一图像集的低质量需要具有统一的共同特性，对应的第二图像集的高质量图片集合也具有统一的共同特性。
示例性的，第一图像集都是光线比较暗的图片，这就是第一图像集的第一共性，对应的第二图像集都是光照正常的图片集，这就是第二图像集的第二共性，这样目标特征为图像亮度。
示例性的，第一图像集(低质量的图片集合A)中的图像质量都比较模糊，这就是图片集合A的第一共性，而第二图像集(高质量的图片集合B)中的图片质量都比较高清晰，这是图片集合B的第二共性。第一图像集都是比较模糊的图片，对应的第二图像集都是比较清晰的图片集，这样目标特征为图像清晰度。
步骤12：根据所述第一图像集和所述第二图像集，对图像增强生成对抗网络模型进行迭代训练，得到目标生成器；所述目标生成器用于对待处理图像进行所述目标特征上的增强处理
示例性的，在对待处理图像的清晰度进行增强处理时，不用去花费大量的人力和物力去收集一一对应的图像对，而仅需要收集一定量的模糊图片集A(如约2万张)，和一定的高清图片集合(如约2万张)，图像增强生成对抗网络(image Enhance GAN)只需要从图片集合A中随机选取一个图像x，再从图片集合B中随机选取一个图像y，就可以进行图像增强生成对抗网络的训练。利用这样的训练图像集合训练image Enhance GAN，就可以实现对低质量的图片进行增强生成高质量的清晰图片。
同理，在对待处理图像的亮度进行增强处理时，如果收集的图片集合A都是暗光的图片，收集的图片集合B都是正常光的图片，那么通过image Enhance GAN就可以实现图像暗光提亮的图像增强效果。
其中，图像增强生成对抗网络模型为循环一致性生成对抗网络模型，同时包括两个生成器和两个判别器。循环一致性是指第一个生成器输出的图像可以用作第二个生成器的输入，而第二个生成器的输出应该与原始图像匹配，反之亦然。判别器用来确定生成器生成的图像是否可信，并相应的更新生成器模型，从而指导生成器模型由图像生成过程向图像转换过程学习，能够解决传统的生成对抗网络GAN网络生成的是虚拟的图片，导致出现假和不真实的情况的问题。
即，构建两个循环生成对抗网络，一个负责从低质量图片集A中学习映射转换到高质量图片集B的转换能力，另一个网络学习从高质量图片集B中学习映射转换到低质量图片集A的转换能力，最后还要考虑A生成B的同时还要同步学习B转回A的能力，B生成A的同时还要同步学习A转回到B的能力。这样转换和逆转换学习的思路，可以保证A转换到B足够真实，并且不会脱离A本身的图像模式和整体的特征，只是对图像质量进行了增强，而不是变得和原理图像不像了。
如图2和3所示，其示出有算法的架构示意图，其中，X表示低质量的图片集合，Y表示高质量的图片集合，图2中，G(X)表示从X生成Y的生成器，G(Y)表示从Y生成得到X的生成器，即X11＝G(G(X))，特别注意的是，我不仅从完成X生成Y再生成X的一个循环，并且我们要保证X与X11一致性，即需要保证经过循环转换之后两个图片是一致的。这样就保证了从X生成到Y不是随便进行生成的，而是需要保存图片X的整体结构和相似度，另外对需要增强的地方进行图像增强。同理，图3中实现的是从Y生成X再生成Y的过程，这样的循环设计方案就可以实现不需要一一对应的图像对就可以训练生成对抗网络进行图像增强的目的。
上述实施例中，根据获取在目标特征上具有第一共性的第一图像集和在所述目标特征上具有第二共性的第二图像集，将第一图像集和第二图像集作为图像增强生成对抗网络模型的训练样本，通过对图像增强生成对抗网络模型进行迭代训练，得到目标生成器；通过目标生成器对待处理图像进行目标特征上的增强处理。该实施例通过控制第一图像集和第二图像集，即能够控制图像的增强效果，即只需要改变训练集合第一图像集和第二图像集就可以实现用户期望的图像增强效果，不用投入大量的硬件成本，也不需要成对的样本数据集，即能够实现对待处理的图像进行目标特征上的增强处理，能够解决现有的图像质量增强方法存在的硬件成本较大和强监督图像样本收集困难的问题。
在一实施例中，所述图像增强生成对抗网络模型包括：第一网络模型和第二网络模型；进一步的，上述步骤12，包括：
将所述第一图像集输入至所述第一网络模型中，得到第一处理图像集；将所述第一处理图像集输入至所述第二网络模型中，得到第一相似图像集；
将所述第二图像集输入至所述第二网络模型中，得到第二处理图像集；将所述第二处理图像集输入至所述第一网络模型中，得到第二相似图像集；
将所述第一图像集、所述第一相似图像集、所述第二图像集和第二相似图像集，代入至生成器损失函数，得到第一损失值；
将所述第一图像集、所述第二处理图像集、所述第二图像集和所述第一处理图像集，代入至判别器损失函数，得到第二损失值；
根据所述第一损失值和第二损失值，对所述图像增强生成对抗网络模型进行迭代训练，将训练好的第一网络模型中的生成器作为所述目标生成器。
如图2中，第一图像集X输入至第一网络模型G(X)中，得到第一处理图像集Y1，第一处理图像集Y1输入至所述第二网络模型G(Y)中，得到第一相似图像集X11；如图3中，将所述第二图像集Y输入至所述第二网络模型G(Y)中，得到第二处理图像集X1；将所述第二处理图像集X1输入至所述第一网络模型G(X)中，得到第二相似图像集Y11。
该实施例中，第一网络模型包括一生成器和一判别器，第二网络模型包括一生成器和一判别器。根据第一图像集和第二图像集，基于生成器损失函数和判别器损失函数对循环一致性生成对抗网络模型进行迭代训练，得到训练好的生成器，利用该生成器对待处理图像进行处理，能够保证图像增强处理的过程不是生成其他图像而是在原有图像的基础上进行图像质量的增强，从而保证生成的图片和原始图像在模式和整体结构上是一样的，不会脱离原始图像的图像模式和整体的特征，只是对图像质量进行了增强，而不是变得和原理图像不像了。
在一实施例中，所述生成器损失函数是根据循环一致性损失函数、映射损失函数和对抗网络损失函数构建的；
其中，所述循环一致性损失函数用于基于所述第一图像集与所述第一相似图像集，以及所述第二图像集与所述第二相似图像集计算损失值；
所述映射损失函数用于基于所述第一图像集与所述第一处理图像集，以及所述第二图像集与所述第二处理图像集计算损失值；
所述对抗网络损失函数用于基于所述第二处理图像集与所述第一处理图像集计算损失值。
该实施例中，通过循环一致性损失函数能够保证第一图像集与所述第一相似图像集高度相似，第二图像集与第二相似图像集高度相似；通过映射损失函数保证第一图像集与第一处理图像集尽可能的相似，第二图像集与第二处理图像集尽可能的相似；通过对抗网络损失函数对第二处理图像集与第一处理图像集进行判别。以区分是第二处理图像集与第一处理图像集是来自真实的数据集还是生成的数据。基于上述三个损失函数构建的生成器损失函数对图像增强生成对抗网络进行训练后得到的生成器，能够保证图像增强的过程不是生成其他的高清图像，而是在原有图像的基础上进行图像质量的增强，从而保证生成的图片和原始图像在模式和整体结构上是一样的，不会脱离原始图像的图像模式和整体的特征，只是对图像质量进行了增强，而不是变得和原理图像不像了。
具体的，构建的生成器损失函数为：argminG[-AG+pI+10pC]，其中，argminG函数指使[-AG+pI+10pC]取最小值时的变量值，arg为变元(即自变量argument)；AG表示对抗损失函数，I表示映射损失函数，C表示循环一致性损失函数，p为常数，用于平衡不同损失函数的权重。
具体的，各损失函数定义如下：
一、循环一致性损失函数，用于保证X与X11、Y与Y11要保证高度相似和一致性。具体的，循环一致性损失函数定义为：
C＝EX,X11[MSE(x,x11)]+EY,Y11[MSE(y,y11)]；
其中，C为循环一致性损失函数，MSE表示计算最小二乘距离，E表示求平均，X表示低质量的图片集合(第一图像集)，Y表示高质量的图片集合(第二图像集)，x为X中的一个图片，y为Y中的一个图片，x11为X11中的一个图片，y11为Y11中的一个图片，X11为第一相似图像集，Y11为第二相似图像集。
二、映射损失函数是一种X与Y映射的损失函数，用于基于所述第一图像集与所述第一处理图像集以及所述第二图像集与所述第二处理图像集计算损失值，即需要保证X与生成的Y1，以及Y和X1尽可能的相似，因为图像增强不是生成其他高清的图像而是在原有图像的基础上进行图像质量的增强。
具体的，映射损失函数定义为：
I＝EX,Y1[MSE(x,y1)]+EY,X1[MSE(y,x1)]；
其中，MSE表示计算最小二乘距离，E表示求平均，X表示低质量的图片集合(第一图像集)，Y表示高质量的图片集合(第二图像集)，x为X中的一个图片，y为Y中的一个图片，x1为X1中的一个图片，y1为Y1中的一个图片，X1为第二处理图像集，Y1为第一处理图像集。
三、对抗损失函数用于基于所述第二处理图像集与所述第一处理图像集计算损失值，以考虑判别器对生成的X1和Y1进行判定，区分它是来自真实数据集还是生成的数据集。具体的，对抗损失函数定义为：
AG＝EX1[DX1(x1)]+EY1[DY1(y1)]；
其中，E表示求平均，X表示低质量的图片集合(第一图像集)，Y表示高质量的图片集合(第二图像集)，X1为第二处理图像集，Y1为第一处理图像集，x1为X1中的一个图片，y1为Y1中的一个图片；DX(x1)表示对x1计算损失值，DY1(y1)表示对y1计算损失值。
四、判别器损失函数用于区别真实的X和生成X1，还要区分真实的Y和生成的Y1，判别器损失函数定义为：
argminDAD＝argminD(EX[DX(x)]-EX1[DX1(x1)]+EY[DY(y)]-EY1[DY1(y1)])；
其中，argminD为使AD取得最小值时的变量值，AD为判别器损失值，DX(x)表示对x计算损失值，DX1(x1)表示对x1计算损失值，DY(y)表示对y计算损失值，DY1(y1)表示对y1计算损失值；E表示求平均；X为所述第一图像集，x为所述第一图像集中的图片，X1为第二处理图像集，x1为所述第二处理图像集中的图片，Y为第二图像集，y为所述第二图像集中的图片，Y1为第一处理图像集，y1为所述第一处理图像集中的图片。
需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行加载图像处理方法的控制模块。本申请实施例中以图像处理装置执行加载图像处理方法为例，说明本申请实施例提供的图像处理方法。
如图4所示，本申请实施例还提供了一种图像处理装置400，包括：
获取模块401，用于获取第一图像集和第二图像集；其中，所述第一图像集中的图像在目标特征上具有第一共性；所述第二图像集中的图像在所述目标特征上具有第二共性，所述第二共性优于所述第一共性；
训练模块402，用于根据所述第一图像集和所述第二图像集，对图像增强生成对抗网络模型进行迭代训练，得到目标生成器；所述目标生成器用于对待处理图像进行所述目标特征上的增强处理。
可选的，所述图像增强生成对抗网络模型包括：第一网络模型和第二网络模型；
所述训练模块402包括：
第一训练子模块，用于将所述第一图像集输入至所述第一网络模型中，得到第一处理图像集；将所述第一处理图像集输入至所述第二网络模型中，得到第一相似图像集；
第二训练子模块，用于将所述第二图像集输入至所述第二网络模型中，得到第二处理图像集；将所述第二处理图像集输入至所述第一网络模型中，得到第二相似图像集；
第三训练子模块，用于将所述第一图像集、所述第一相似图像集、所述第二图像集和第二相似图像集，代入至生成器损失函数，得到第一损失值；
第四训练子模块，用于将所述第一图像集、所述第二处理图像集、所述第二图像集和所述第一处理图像集，代入至判别器损失函数，得到第二损失值；
第五训练子模块，用于根据所述第一损失值和第二损失值，对所述图像增强生成对抗网络模型进行迭代训练，将训练好的第一网络模型中的生成器作为所述目标生成器。
可选的，所述生成器损失函数是根据循环一致性损失函数、映射损失函数和对抗网络损失函数构建的；
其中，所述循环一致性损失函数用于基于所述第一图像集与所述第一相似图像集，以及所述第二图像集与所述第二相似图像集计算损失值；
所述映射损失函数用于基于所述第一图像集与所述第一处理图像集，以及所述第二图像集与所述第二处理图像集计算损失值；
所述对抗网络损失函数用于基于所述第二处理图像集与所述第一处理图像集计算损失值。
可选的，所述生成器损失函数为：argminG[-AG+pI+10pC]；
其中，argminG函数指的是使[-AG+pI+10pC]取最小值时的变量值，arg为变元(即自变量argument)的英文缩写；AG表示对抗损失函数；I表示映射损失函数；C表示循环一致性损失函数；p为常数，用于平衡不同损失函数的权重。
可选的，所述判别器损失函数为：
argminDAD＝argminD(EX[DX(x)]-EX1[DX1(x1)]+EY[DY(y)]-EY1[DY1(y1)])；
其中，argminD为使AD取得最小值时的变量值，AD为判别器损失值，DX(x)表示对x计算损失值，DX1(x1)表示对x1计算损失值，DY(y)表示对y计算损失值，DY1(y1)表示对y1计算损失值；E表示求平均；X为所述第一图像集，x为所述第一图像集中的图片，X1为第二处理图像集，x1为所述第二处理图像集中的图片，Y为第二图像集，y为所述第二图像集中的图片，Y1为第一处理图像集，y1为所述第一处理图像集中的图片。
本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1的方法实施例中图像处理装置实现的各个过程，为避免重复，这里不再赘述。
本申请实施例中的图像处理装置400，根据获取的训练样本图像集，基于多个目标损失函数对图像增强生成对抗网络模型进行迭代训练，得到目标生成器；所述目标生成器用于对待处理图像进行目标方向上的增强处理；其中，所述多个目标损失函数包括：循环一致性损失函数和判别器损失函数。这样，不用投入大量的硬件成本，也不需要成对的样本数据集，即可实现对待处理的图像进行增强处理，能够解决现有的图像质量增强方法存在的硬件成本较大和强监督图像对收集困难的问题。
可选的，本申请实施例还提供一种电子设备，包括处理器510，存储器509，存储在存储器509上并可在所述处理器510上运行的程序或指令，该程序或指令被处理器510执行时实现上述折叠式电子设备的控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件。
本领域技术人员可以理解，电子设备500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器510，用于获取第一图像集和第二图像集；其中，所述第一图像集中的图像在目标特征上具有第一共性；所述第二图像集中的图像在所述目标特征上具有第二共性，所述第二共性优于所述第一共性；
根据所述第一图像集和所述第二图像集，对图像增强生成对抗网络模型进行迭代训练，得到目标生成器；所述目标生成器用于对待处理图像进行所述目标特征上的增强处理。
本申请的电子设备500，根据获取的训练样本图像集，基于多个目标损失函数对图像增强生成对抗网络模型进行迭代训练，得到目标生成器；所述目标生成器用于对待处理图像进行目标方向上的增强处理；其中，所述多个目标损失函数包括：循环一致性损失函数和判别器损失函数。这样，不用投入大量的硬件成本，也不需要成对的样本数据集，即可实现对待处理的图像进行增强处理，能够解决现有的图像质量增强方法存在的硬件成本较大和强监督图像对收集困难的问题。
可选的，所述图像增强生成对抗网络模型包括：第一网络模型和第二网络模型；处理器510，还用于
将所述第一图像集输入至所述第一网络模型中，得到第一处理图像集；将所述第一处理图像集输入至所述第二网络模型中，得到第一相似图像集；
将所述第二图像集输入至所述第二网络模型中，得到第二处理图像集；将所述第二处理图像集输入至所述第一网络模型中，得到第二相似图像集；
将所述第一图像集、所述第一相似图像集、所述第二图像集和第二相似图像集，代入至生成器损失函数，得到第一损失值；
将所述第一图像集、所述第二处理图像集、所述第二图像集和所述第一处理图像集，代入至判别器损失函数，得到第二损失值；
根据所述第一损失值和第二损失值，对所述图像增强生成对抗网络模型进行迭代训练，将训练好的第一网络模型中的生成器作为所述目标生成器。
可选的，所述生成器损失函数是根据循环一致性损失函数、映射损失函数和对抗网络损失函数构建的；
其中，所述循环一致性损失函数用于基于所述第一图像集与所述第一相似图像集，以及所述第二图像集与所述第二相似图像集计算损失值；
所述映射损失函数用于基于所述第一图像集与所述第一处理图像集，以及所述第二图像集与所述第二处理图像集计算损失值；
所述对抗网络损失函数用于基于所述第二处理图像集与所述第一处理图像集计算损失值。
可选的，所述生成器损失函数为：argminG[-AG+pI+10pC]；
其中，argminG函数指的是使[-AG+pI+10pC]取最小值时的变量值；AG表示对抗损失函数；I表示映射损失函数；C表示循环一致性损失函数；p为常数，用于平衡不同损失函数的权重。
可选的，所述判别器损失函数为：
argminDAD＝argminD(EX[DX(x)]-EX1[DX1(x1)]+EY[DY(y)]-EY1[DY1(y1)])；
其中，argminD为使AD取得最小值时的变量值，AD为判别器损失值，DX(x)表示对x计算损失值，DX1(x1)表示对x1计算损失值，DY1(y)表示对y计算损失值，DY1(y1)表示对y1计算损失值；E表示求平均；X为所述第一图像集，x为所述第一图像集中的图片，X1为第二处理图像集，x1为所述第二处理图像集中的图片，Y为第二图像集，y为所述第二图像集中的图片，Y1为第一处理图像集，y1为所述第一处理图像集中的图片。
应理解的是，本申请实施例中，输入单元504可以包括图形处理器(GraphicsProcessing Unit，GPU)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071，也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器509可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器510可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种图像增强方法，其特征在于，包括：
获取第一图像集和第二图像集；
其中，所述第一图像集中的图像在目标特征上具有第一共性；所述第二图像集中的图像在所述目标特征上具有第二共性，所述第二共性优于所述第一共性；
根据所述第一图像集和所述第二图像集，对图像增强生成对抗网络模型进行迭代训练，得到目标生成器；所述目标生成器用于对待处理图像进行所述目标特征上的增强处理。
2.根据权利要求1所述的图像增强方法，其特征在于，所述图像增强生成对抗网络模型包括：第一网络模型和第二网络模型；
所述根据所述第一图像集和所述第二图像集，对图像增强生成对抗网络模型进行迭代训练，得到目标生成器，包括：
将所述第一图像集输入至所述第一网络模型中，得到第一处理图像集；将所述第一处理图像集输入至所述第二网络模型中，得到第一相似图像集；
将所述第二图像集输入至所述第二网络模型中，得到第二处理图像集；将所述第二处理图像集输入至所述第一网络模型中，得到第二相似图像集；
将所述第一图像集、所述第一相似图像集、所述第二图像集和第二相似图像集，代入至生成器损失函数，得到第一损失值；
将所述第一图像集、所述第二处理图像集、所述第二图像集和所述第一处理图像集，代入至判别器损失函数，得到第二损失值；
根据所述第一损失值和第二损失值，对所述图像增强生成对抗网络模型进行迭代训练，将训练好的第一网络模型中的生成器作为所述目标生成器。
3.根据权利要求2所述的图像增强方法，其特征在于，所述生成器损失函数是根据循环一致性损失函数、映射损失函数和对抗网络损失函数构建的；
其中，所述循环一致性损失函数用于基于所述第一图像集与所述第一相似图像集，以及所述第二图像集与所述第二相似图像集计算损失值；
所述映射损失函数用于基于所述第一图像集与所述第一处理图像集，以及所述第二图像集与所述第二处理图像集计算损失值；
所述对抗网络损失函数用于基于所述第二处理图像集与所述第一处理图像集计算损失值。
4.根据权利要求3所述的图像增强方法，其特征在于，所述生成器损失函数为：argminG[-AG+pI+10pC]；
其中，argminG函数指的是使[-AG+pI+10pC]取最小值时的变量值；AG表示对抗损失函数；I表示映射损失函数；C表示循环一致性损失函数；p为常数，用于平衡不同损失函数的权重。
5.根据权利要求2所述的图像增强方法，其特征在于，所述判别器损失函数为：
argminDAD＝argminD(EX[DX(x)]-EX1[DX1(x1)]+EY[DY(y)]-EY1[DY1(y1)])；
其中，argminD为使AD取得最小值时的变量值，AD为判别器损失值，DX(x)表示对x计算损失值，DX1(x1)表示对x1计算损失值，DY(y)表示对y计算损失值，DY1(y1)表示对y1计算损失值；E表示求平均；X为所述第一图像集，x为所述第一图像集中的图片，X1为第二处理图像集，x1为所述第二处理图像集中的图片，Y为第二图像集，y为所述第二图像集中的图片，Y1为第一处理图像集，y1为所述第一处理图像集中的图片。
6.一种图像增强装置，其特征在于，包括：
获取模块，用于获取第一图像集和第二图像集；
其中，所述第一图像集中的图像在目标特征上具有第一共性；所述第二图像集中的图像在所述目标特征上具有第二共性，所述第二共性优于所述第一共性；
训练模块，用于根据所述第一图像集和所述第二图像集，对图像增强生成对抗网络模型进行迭代训练，得到目标生成器；所述目标生成器用于对待处理图像进行所述目标特征上的增强处理。
7.根据权利要求6所述的图像增强装置，其特征在于，所述图像增强生成对抗网络模型包括：第一网络模型和第二网络模型；
所述训练模块包括：
第一训练子模块，用于将所述第一图像集输入至所述第一网络模型中，得到第一处理图像集；将所述第一处理图像集输入至所述第二网络模型中，得到第一相似图像集；
第二训练子模块，用于将所述第二图像集输入至所述第二网络模型中，得到第二处理图像集；将所述第二处理图像集输入至所述第一网络模型中，得到第二相似图像集；
第三训练子模块，用于将所述第一图像集、所述第一相似图像集、所述第二图像集和第二相似图像集，代入至生成器损失函数，得到第一损失值；
第四训练子模块，用于将所述第一图像集、所述第二处理图像集、所述第二图像集和所述第一处理图像集，代入至判别器损失函数，得到第二损失值；
第五训练子模块，用于根据所述第一损失值和第二损失值，对所述图像增强生成对抗网络模型进行迭代训练，将训练好的第一网络模型中的生成器作为所述目标生成器。
8.根据权利要求7所述的图像增强装置，其特征在于，所述生成器损失函数是根据循环一致性损失函数、映射损失函数和对抗网络损失函数构建的；
其中，所述循环一致性损失函数用于基于所述第一图像集与所述第一相似图像集，以及所述第二图像集与所述第二相似图像集计算损失值；
所述映射损失函数用于基于所述第一图像集与所述第一处理图像集，以及所述第二图像集与所述第二处理图像集计算损失值；
所述对抗网络损失函数用于基于所述第二处理图像集与所述第一处理图像集计算损失值。
9.根据权利要求8所述的图像增强装置，其特征在于，所述生成器损失函数为：argminG[-AG+pI+10pC]；
其中，argminG函数指的是使[-AG+pI+10pC]取最小值时的变量值；AG表示对抗损失函数；I表示映射损失函数；C表示循环一致性损失函数；p为常数，用于平衡不同损失函数的权重。
10.根据权利要求7所述的图像增强装置，其特征在于，所述判别器损失函数为：
argminDAD＝argminD(EX[DX(x)]-EX1[DX1(x1)]+EY[DY(y)]-EY1[DY1(y1)])；
其中，argminD为使AD取得最小值时的变量值，AD为判别器损失值，DX(x)表示对x计算损失值，DX1(x1)表示对x1计算损失值，DY(y)表示对y计算损失值，DY1(y1)表示对y1计算损失值；E表示求平均；X为所述第一图像集，x为所述第一图像集中的图片，X1为第二处理图像集，x1为所述第二处理图像集中的图片，Y为第二图像集，y为所述第二图像集中的图片，Y1为第一处理图像集，y1为所述第一处理图像集中的图片。
11.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至5中任一项所述的图像增强方法的步骤。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5中任一项所述的图像增强方法的步骤。
CN202011590430.5A 2020-12-29 2020-12-29 图像增强方法、装置及电子设备 Pending CN112734658A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011590430.5A CN112734658A (zh) 2020-12-29 2020-12-29 图像增强方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011590430.5A CN112734658A (zh) 2020-12-29 2020-12-29 图像增强方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN112734658A true CN112734658A (zh) 2021-04-30

Family

ID=75607780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011590430.5A Pending CN112734658A (zh) 2020-12-29 2020-12-29 图像增强方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112734658A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591917A (zh) * 2021-06-29 2021-11-02 深圳市捷顺科技实业股份有限公司 一种数据增强的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591917A (zh) * 2021-06-29 2021-11-02 深圳市捷顺科技实业股份有限公司 一种数据增强的方法及装置
CN113591917B (zh) * 2021-06-29 2024-04-09 深圳市捷顺科技实业股份有限公司 一种数据增强的方法及装置

Similar Documents

Publication Publication Date Title
Zhang et al. Hierarchical feature fusion with mixed convolution attention for single image dehazing
CN108229277B (zh) 手势识别、手势控制及多层神经网络训练方法、装置及电子设备
Huang et al. RGB-D salient object detection by a CNN with multiple layers fusion
US11641446B2 (en) Method for video frame interpolation, and electronic device
CN112584077A (zh) 视频的插帧方法、装置及电子设备
CN113050860B (zh) 一种控件识别方法和相关装置
CN111768377B (zh) 图像色彩评估方法、装置、电子设备及存储介质
CN112381707B (zh) 图像生成方法、装置、设备以及存储介质
CN112561846A (zh) 训练图像融合模型的方法、装置和电子设备
CN112950640A (zh) 视频人像分割方法、装置、电子设备及存储介质
CN112837251A (zh) 图像处理方法及装置
JP2023545052A (ja) 画像処理モデルの訓練方法及び装置、画像処理方法及び装置、電子機器並びにコンピュータプログラム
CN112734658A (zh) 图像增强方法、装置及电子设备
CN113628259A (zh) 图像的配准处理方法及装置
CN112508820A (zh) 图像处理方法、装置及电子设备
WO2023001110A1 (zh) 神经网络训练方法、装置及电子设备
CN114004750A (zh) 图像处理方法、装置和系统
CN113038055B (zh) 图像处理方法、装置及电子设备
CN115439386A (zh) 图像融合方法、装置、电子设备和存储介质
CN113902639A (zh) 图像处理方法、装置、电子设备及存储介质
CN113592922A (zh) 图像的配准处理方法及装置
CN117196957B (zh) 基于人工智能的图像分辨率转换方法及装置
CN112446848A (zh) 图像处理方法、装置及电子设备
CN112333388B (zh) 图像显示方法、装置和电子设备
CN113709370B (zh) 图像生成方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination