CN111047543A - 图像增强方法、装置和存储介质 - Google Patents
图像增强方法、装置和存储介质 Download PDFInfo
- Publication number
- CN111047543A CN111047543A CN201911420305.7A CN201911420305A CN111047543A CN 111047543 A CN111047543 A CN 111047543A CN 201911420305 A CN201911420305 A CN 201911420305A CN 111047543 A CN111047543 A CN 111047543A
- Authority
- CN
- China
- Prior art keywords
- image
- quality
- loss
- real
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000003860 storage Methods 0.000 title claims description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 37
- 238000013527 convolutional neural network Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 14
- 230000008447 perception Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 14
- 238000005286 illumination Methods 0.000 description 12
- 238000010606 normalization Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- NEVVHGHXJACRQZ-OCZHUQCSSA-N (7r,8s,9s,10r,13r,14r,17s)-17-acetyl-7,14-dihydroxy-10,13-dimethyl-2,6,7,8,9,11,12,15,16,17-decahydro-1h-cyclopenta[a]phenanthren-3-one Chemical compound C([C@H]1O)C2=CC(=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@]1(O)CC[C@H](C(=O)C)[C@@]1(C)CC2 NEVVHGHXJACRQZ-OCZHUQCSSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像增强方法和装置。该图像增强方法包括：获取原始图像；对原始图像的各个像素值进行灰度变换得到原始图像的各个目标像素值；并且利用经预先训练的第一图像生成器对原始图像的各个目标像素值进行增强以得到增强后的图像，以使增强后的图像的内容、色彩和纹理损失小于预定阈值。
Description
技术领域
本发明涉及深度学习领域，特别涉及基于深度学习的图像增强方法、装置以及存储介质。
背景技术
图像增强方法主要包括传统图像增强方法和基于深度学习的图像增强方法。在传统的基于直方图均衡的图像增强中，可以增加噪声的对比度，降低有用信号的对比度，减少了灰度级别，因此图像过渡不自然，仅针对灰度图像效果较好，针对彩色图像会造成失真。基于深度学习的图像增强方法包括基于LightNet网络的图像增强。然而，该方法针对噪声较大的低光图像会引起图像的块效应。此外，该网络在训练时需要高亮度和低亮度严格对应的图像对，而该图像对难以获得，通常需要手动生成。本发明设计了一种图像增强方法，能够联合多种方法对端侧设备采集的图像进行图像质量增强，有助于用户更加高效地拍出更美观的图像。
发明内容
根据本发明的第一方面，提供了一种图像增强方法。该方法包括：获取原始图像；对原始图像的各个像素值进行灰度变换得到原始图像的各个目标像素值；并且利用第一图像生成器对原始图像的各个目标像素值进行增强以得到增强后的图像，利用经预先训练的第一图像生成器对所述原始图像的各个目标像素值进行增强以得到增强后的图像，以使增强后的图像的内容、色彩和纹理损失小于预定阈值。
在一些实施例中，灰度变换包括：基于预定灰度值将原始图像的各个像素值按照灰度进行划分，和对低于预定灰度值的像素值进行扩展，以及对高于预定灰度值的像素值进行压缩。
在一些实施例中，第一图像生成器基于下述步骤训练得到：学习从第一质量的真实图像集合到第二质量的真实图像集合的映射，和学习从第二质量的真实图像集合到第一质量的真实图像集合的映射，第二质量高于第一质量。
在一些实施例中，第一图像生成器基于下述步骤训练得到：将第一质量的真实图像集合中的第一质量的真实图像输入第一图像生成器，得到第二质量的第一生成图像，并确定第二质量的真实图像集合中的第二质量的真实图像与第二质量的第一生成图像之间的第一全局变化损失、第一色彩损失和第一纹理损失，第二质量高于第一质量；将第二质量的第一生成图像输入第二图像生成器，得到第一质量的第二生成图像，并确定第一质量的真实图像与第一质量的第二生成图像之间的第一感知损失；将第二质量的真实图像输入第二图像生成器，得到第一质量的第一生成图像，并确定第一质量的真实图像与第一质量的第一生成图像之间的第二全局变化损失、第二色彩损失和第二纹理损失；将第一质量的第一生成图像输入第一图像生成器，得到第二质量的第二生成图像，并确定第二质量的真实图像与第二质量的第二生成图像之间的第二感知损失；基于第一全局变化损失、第一色彩损失、第一纹理损失、第一感知损失、第二全局变化损失、第二色彩损失、第二纹理损失和第二感知损失来确定总损失函数；利用第一质量的真实图像集合中的第一质量的真实图像和第二质量的真实图像集合中的第二质量的真实图像对第一图像生成器进行训练，使得总损失函数收敛。
在一些实施例中，确定第二质量的真实图像与第二质量的第一生成图像之间的第一全局变化损失包括：通过经预训练的第一卷积神经网络确定第二质量的真实图像与第二质量的第一生成图像之间的第一全局变化损失，并且其中确定第一质量的真实图像与第一质量的第二生成图像之间的第一感知损失包括：通过经预训练的第一卷积神经网络确定第一质量的真实图像与第一质量的第二生成图像之间的第一感知损失。
在一些实施例中，确定第一质量的真实图像与第一质量的第一生成图像之间的第二全局变化损失包括：通过经预训练的第一卷积神经网络确定第一质量的真实图像与第一质量的第一生成图像之间的第二全局变化损失，并且确定第二质量的真实图像与第二质量的第二生成图像之间的第二感知损失包括：通过经预训练的第一卷积神经网络确定第二质量的真实图像与第二质量的第二生成图像之间的第二感知损失。
在一些实施例中，确定第二质量的真实图像与第二质量的第一生成图像之间的第一色彩损失包括：对第二质量的真实图像与第二质量的第一生成图像进行高斯加噪处理，得到经高斯加噪后的第二质量的真实图像和经高斯加噪后的第二质量的第一生成图像，将经高斯加噪后的第二质量的真实图像和经高斯加噪后的第二质量的第一生成图像输入第一判别器中得到第一色彩损失。
在一些实施例中，确定第一质量的真实图像与第一质量的第一生成图像之间的第二色彩损失包括：对第一质量的真实图像与第一质量的第一生成图像进行高斯加噪处理，得到经高斯加噪后的第一质量的真实图像和经高斯加噪后的第一质量的第一生成图像，将经高斯加噪后的第一质量的真实图像和经高斯加噪后的第一质量的第一生成图像输入第一判别器中得到第二色彩损失。
在一些实施例中，确定第二质量的真实图像与第二质量的第一生成图像之间的第一纹理损失包括：对第二质量的真实图像和第二质量的第一生成图像进行灰度化处理，得到经灰度化处理的第二质量的真实图像和经灰度化处理的第二质量的第一生成图像，将经灰度化处理的第二质量的真实图像和经灰度化处理的第二质量的第一生成图像输入第二判别器中，得到第一纹理损失。
在一些实施例中，确定第一质量的真实图像与第一质量的第一生成图像之间的第二纹理损失包括：对第一质量的真实图像和第一质量的第一生成图像进行灰度化处理，得到经灰度化处理的第一质量的真实图像和经灰度化处理的第一质量的第一生成图像，将经灰度化处理的第一质量的真实图像和经灰度化处理的第一质量的第一生成图像输入第二判别器中，得到第二纹理损失。
在一些实施例中，该方法还包括：基于经预先训练的第二卷积神经网络对增强后的图像评分，并显示评分结果。
在一些实施例中，第一判别器和第二判别器被配置用于判断输入的图像是真实图像还是经过第一图像生成器或第二图像生成器生成的图像。
根据本发明的第二方面，提供了一种图像增强装置。该装置包括：获取模块，被配置用于获取原始图像；灰度变换模块，被配置用于对原始图像的各个像素值进行灰度变换得到原始图像的各个目标像素值；并且图像增强模块，被配置用于利用经预先训练的第一图像生成器对原始图像的各个目标像素值进行增强以得到增强后的图像，以使增强后的图像的内容、色彩和纹理损失小于预定阈值。
根据本发明的一些实施例，提供了一种计算机设备，包括：处理器；以及存储器，其上存储有指令，指令当在处理器上执行时促使处理器执行如上的方法中的任一个。
根据本发明的一些实施例，提供了一种计算机可读存储介质，其上存储有指令，指令当在处理器上执行时促使处理器执行如上的方法中的任一个。
本发明提供的方法及装置联合了传统图像增强方法和基于深度学习的图像增强方法，无需高质量和低质量图像严格对应的图像对来对深度学习模型进行训练，因此训练数据容易获得。本发明提出的联合图像增强方法和装置能够搭载在各种终端（例如，智能手机、平板电脑等）以及各种相机（例如，单反相机等设备）上，应用广泛。该联合图像增强方法和装置通过提供图像增强功能，大大降低了拍照的难度，更便捷地拍摄效果更好的照片，大大提升了用户体验度，提高了用户拍照的效率。
根据在下文中所描述的实施例，本发明的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
在下面结合附图对于示例性实施例的描述中，本发明的更多细节、特征和优点被公开，在附图中：
图1示出了应用本发明提供的终端的示例界面；
图2示出了根据本发明实施例的方法的示例性流程图；
图3示出了根据本发明一个实施例用于训练第一图像生成器的深度学习网络模型的示意图；
图4示出了根据本发明实施例的图像生成器的网络示意图；
图5示出了根据本发明实施例的判别器的网络示意图；
图6示出了图像增强的效果示意图；
图7示出了用于对图像进行评分的卷积神经网络的结构；
图8示出了根据本发明实施例的图像增强装置的示意图；并且
图9示出了一个示例计算机处理系统。
具体实施方式
人工智能（Artificial Intelligence, AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换言之，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
机器学习（Machine Learning, ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
近年来，机器学习（尤其是机器学习中的深度学习）已经在计算机视觉的各个场景下都有非常好的表现。基于深度学习的图像增强方法包括基于RetinexNet网络的图像增强。RetinexNet网络以弱光照的图像作为输入，并输出增强后的图像。RetinexNet模型认为低光照的图像是正常图像与一个光照映射作用的结果，因此仅需移除该光照，即可获得正常图像以实现图像增强。该方法通过学习RetinexNet网络模型的参数（即光照映射），使用低光照图像进行光照逆运算得到正常图像，即增强图像。然而，该方法针对噪声较大的低光图像会引起图像的块效应。此外，该网络在训练时需要高亮度和低亮度的图像对。而该高亮度和低亮度的图像对难以获得，通常需要手动生成。
在详细介绍本发明的实施例之前，首先对一些相关的概念进行解释：
1、Retinex图像增强：任何一幅图像可以分解为光照图像和反射图像，反射图像是物体的本身性质决定的即为不变的部分，光照图则受外界影响比较大，可以去除光照影响或者对光照图像进行校正，则可以达到增强图像的目的。Retinex包括一个用于分解的分解网络（Decom）和一个用于照明调节（Relight）的增强网络。
2、生成对抗网络（Generative Adversarial Networks）：是一种深度学习模型，网络中有生成器G（generator）和判别器D（Discriminator）。有两个数据域分别为X和Y。G负责把X域中的数据模仿成真实数据并把它们藏在真实数据中，而 D 就要把伪造数据和真实数据分开。经过二者的博弈以后，直到D再也分不出数据是真实的还是生成的数据的时候，这个对抗的过程达到一个动态的平衡。
3、VGG-19：VGG是牛津大学计算机视觉组（Visual Geometry Group）和GoogleDeepMind公司的研究员一起研发出的深度卷积神经网络。VGG-19中包含19层深的卷积神经网络。
图1示意性示出了应用本发明提供的终端的示例界面100。如图1所示，本发明所提出的图像增强方法可以被嵌入各种拍照设备例如手机、单反相机等中。用户可以通过选择图像增强功能对图像进行增强。首先利用摄像头拍摄照片（即，取流），获得前端的图像数据，然后基于传统对数图像增强对图像进行增强，随后基于深度学习图像增强对图像进行增强。因为本发明所提出的联合图像增强方法对计算资源要求较小，在普通端侧设备上即可快速完成。另外通过训练一个神经网络模型来拍摄完成后的图像、或拍摄预览中的图像评分，由此可以引导用户对取景进行调整。例如，图1中在拍摄完成后可以向同用户通知“提示：得分80分，建议增强光照”，用户即可做出相应调整，拍摄出效果更好的照片。
图2示出了根据本发明实施例的方法的示例性流程图200。该方法旨在将传统对数图像增强与基于深度学习的图像增强算法结合起来。首先，在步骤201中，获取原始图像。原始图像可以通过手机、相机或其他图像采集设备获得。在步骤202中，对原始图像的各个像素值进行灰度变换得到原始图像的各个目标像素值。由此，基于预定灰度值将原始图像的各个像素值按照灰度进行划分，并对低于预定灰度值的像素值进行扩展，以及对高于预定灰度值的像素值进行压缩。典型地，灰度变换包括对数变换、图像直方图均衡化等。在一个实施例中，灰度变换采用对数图像增强。对数图像增强可以通过基于预定灰度值将原始图像的各像素值按照灰度进行划分，并对低于预定灰度值的部分进行扩展，以及对高于预定灰度值的部分进行压缩来增强图像，其公式为： S = c log2(r+1)，其中c是常数（本方法使用c=255/(log2 256），r为源像素值，S为目标像素值。这样可以实现整个画面的亮度增大。对数变换可以将图像的低灰度值部分扩展，显示出低灰度部分更多的细节，将其高灰度值部分压缩，减少高灰度值部分的细节，从而达到强调图像低灰度部分的目的。在步骤203中，利用经预先训练的、基于深度学习的第一图像生成器对原始图像的各个目标像素值进行增强，以得到增强后的图像，以使增强后的图像的内容、色彩和纹理损失小于预定阈值。第一图像生成器是基于图3中所示的深度学习模型进行训练的。
图3示出了根据本发明一个实施例用于训练第一图像生成器的深度学习网络模型300的示意图。本发明设计的深度学习网络模型利用了生成对抗网络和卷积神经网络实现了端到端的图像增强。该机器学习网络模型区别于其他的网络，是一种弱监督的图像增强模型，不需要严格对应的图像对即可完成训练。同时本网络还定义了新的损失函数，保证图像的纹理、色彩和平滑性上都具有良好的表现。
通常，网络模型的训练需要严格对应的图像对，例如相同场景、不同照度下的图像对。图3中的深度学习网络模型300是一种弱监督下的深度学习网络模型，不需要严格对应的图像对。具体地，所需数据集包括低质量图像集和高质量图像集，但这两个数据集不需要严格对应。这里获取第一质量的真实图像集合Ｘ和第二质量的真实图像集合Y。第一质量的真实图像集合X包括第一质量的真实图像xk（k=1,2,3,…,N），并且第二质量的真实图像集合Y包括第二质量的真实图像yk（k=1,2,3,…,N）。具体地，第一质量的真实图像可以表示质量低于预定条件的真实图像，第二质量的真实图像可以表示质量高于预定条件的真实图像。第一质量的真实图像集合X可以包括来自手机、低端相机采集的低质量图像。第二质量的真实图像集合Y可以包括从互联网上爬取的高质量图像。例如，可以获取第一质量的真实图像和第二质量的真实图像各10000张用于本次训练。两个生成器第一图像生成器G1 301和第二图像生成器G2 302的循环训练，G1主要实现第一质量图像的增强，G2主要实现第二质量图像还原成第一质量图像。第一图像生成器经预先训练，以对原始图像的各个目标像素值进行增强以得到增强后的图像，以使增强后的图像的内容、色彩和纹理损失小于预定阈值。第一图像生成器基于下述步骤训练得到，主要包括第一与第二两个阶段。第一阶段学习从第一质量的真实图像集合到第二质量的真实图像集合的映射，并且第二阶段学习从第二质量的真实图像集合到第一质量的真实图像集合的映射。在本文中，第二质量高于第一质量。
在第一阶段中，将第一质量的真实图像集合Ｘ中的第一质量的真实图像xk（k=1,2,3,…,N）输入第一图像生成器，得到第二质量生成图像yk'，并确定第二质量的真实图像集合Ｙ中的第二质量的真实图像yk（k=1,2,3,…,N）与第二质量生成图像yk'之间的全局变化损失Ltv１、色彩损失Lc1和纹理损失Lｔ1；将第二质量生成图像yk'输入第二图像生成器，得到第一质量生成图像xk''，并确定第一质量的真实图像xk与第一质量生成图像xk''之间的感知损失Lp1。在一个实施例中，其中确定第二质量的真实图像yk与第二质量生成图像yk'之间的全局变化损失Ltv１包括：通过经预训练的卷积神经网络（如本领域技术人员所理解的，可以是任何使用的卷积神经网络，如DenseNet, ResNet, VGG-16，VGG-19等）网络确定第二质量的真实图像yk与第二质量生成图像yk'之间的全局变化损失Ltv１。在一个实施例中，确定第一质量的真实图像xk与第一质量生成图像xk''之间的感知损失Lp1包括：通过经预训练的卷积神经网络确定第一质量的真实图像xk与第一质量生成图像xk''之间的感知损失Lp1。在另一实施例中，确定第二质量的真实图像yk与第二质量生成图像yk'之间的色彩损失Lc1包括：对第二质量的真实图像y和第二质量生成图像y'进行高斯加噪处理，得到经高斯加噪后的第二质量的真实图像yk加噪和经高斯加噪后的第二质量的生成图像yk'加噪，将yk加噪和yk'加噪输入第一判别器305中得到色彩损失Lc1。高斯加噪处理（也称为高斯blur）由图3中的高斯噪声处理模块303执行，其主要利用高斯模糊方法对图像进行处理，加噪可以去除其他因素（例如，图像的纹理、内容）对颜色损失的影响。因为使用的第二质量图像源y和第一质量图像内容不一样，通过高斯加噪可以让第一判别器305尽量专注得分析颜色分布（包括亮度、对比度等）问题。在又一实施例中，确定第二质量的真实图像yk与第二质量生成图像yk'之间的纹理损失Lｔ1包括：对第二质量的真实图像yk和第二质量生成图像yk'进行灰度化处理，得到经灰度化处理的第二质量的真实图像yk灰度和经灰度化处理的第二质量生成图像yk'灰度，将yk灰度和yk'灰度输入第二判别器Dt 306中，得到纹理损失Lt1。灰度化（Gray）由图3中的灰度化处理模块304执行，其将第二质量的真实图像yk与第二质量生成图像yk'经过取灰度图，以去除颜色等因素的影响。
在第二阶段中，将第二质量的真实图像yk输入第二图像生成器G2 302，得到第一质量生成图像xk'，并确定第一质量的真实图像xk与第一质量生成图像xk'之间的全局变化损失Ltv２、色彩损失Lc２和纹理损失Lｔ２；将第一质量生成图像xk'输入第一图像生成器G1 301，得到第二质量生成图像yk''，并确定第二质量的真实图像yk与第二质量生成图像yk''之间的感知损失Lp２。在一个实施例中，确定第二质量的真实图像yk与第二质量生成图像ｙk''之间的感知损失Lp２包括：通过经预训练的卷积神经网络确定第二质量的真实图像yk与第二质量生成图像ｙk''之间的感知损失Lp２。在一个实施例中，确定第一质量的真实图像xk与第一质量生成图像ｘk'之间的全局变化损失Ltv2包括：通过经预训练的卷积神经网络确定第一质量的真实图像xk与第一质量生成图像ｘk'之间的全局变化损失Ltv2。在另一实施例中，确定第一质量的真实图像xk与第一质量生成图像ｘk'的色彩损失Lc２包括：对第一质量的真实图像xk与第一质量生成图像ｘk'进行高斯加噪处理，得到经高斯加噪后的第一质量的真实图像xk加噪和经高斯加噪后的第一质量生成图像ｘk'加噪，将xk加噪和ｘk'加噪输入第一判别器Dc中得到色彩损失Lc2。高斯加噪处理（也称为高斯blur）由图3中的高斯噪声处理模块303执行，其主要利用高斯模糊方法对图像进行处理，加噪可以去除其他因素（例如，图像的纹理、内容）对颜色损失的影响。在又一实施例中，确定第一质量的真实图像xk与第一质量生成图像ｘk'之间纹理损失Lｔ２包括：对第一质量的真实图像xk和第一质量生成图像ｘk'进行灰度化处理，得到经灰度化处理的第一质量的真实图像xk灰度和经灰度化处理的第一质量图像生成ｘk'灰度，将xk灰度和ｘk'灰度输入第二判别器Dt中，得到纹理损失Lt2。灰度化（Gray）由图3中的灰度化处理模块304执行。
感知损失函数的定义是为了衡量低质量图像xk和低质量图像xk'、高质量图像yk和yk'的内容一致性，利用经预训练的卷积神经网络（例如，VGG-19）网络的特征层计算其感知损失Lp1和Lp2如下,以此规避感知的偏差。
其中C、H、W分别表示VGG-19网络的通道、高和宽，j表示VGG-19的网络的层数，该损失通过计算生成图像和真实图像的对应点的平均L2范式衡量内容的损失量。
色彩损失的定义是为了实现色彩的判别。基于判别器Dc输出色彩损失Lc，将输入图像经过高斯模糊后，再计算色彩损失。二维空间的高斯函数如下：
其中u和v分辨表示两个维度上的模糊半径，在本文中 
为3，则实际的判别器Dc的输入的各个像素值为：
则Lc损失的表达式是经典的GAN的损失函数如下：
其中，G1表示第一图像生成器，Dc表示第一判别器（色彩判别器），G2表示第二图像生成器，m是图像的张数。
纹理损失的定义是为了实现纹理的判别。基于判别器Dt计算纹理损失Lt，可以定义纹理损失如下：
其中，G1表示第一图像生成器，Dt表示第二判别器（纹理判别器），G2表示第二图像生成器，m是图像的张数。
在上述内容基础上，为了使生成的增强图像尽量平滑，引入了Ltv全局变化损失。全局变化损失常被用在损失函数里的正则项，可以起到平滑图像，去除鬼影，消除噪声的作用。全局变化即是信号的变化程度之和，即相邻像素之间的差的绝对值的和。一般地，由于噪音信号（图像）相邻信号间不平滑，随机变化较大，故全局变化较大，而平滑信号全局变化较小。通过使全局变化最小化，可以去除噪音，平滑信号。
其中C、H、W分别表示VGG-19网络的通道、高和宽，比较x和y两个方向上相邻两个特征值的差的平方，i和j分别标识特征图的二维索引。由此可以得出
和
。
最后，基于全局变化损失Ltv１、色彩损失Lc1、纹理损失Lｔ1、感知损失Lp1、全局变化损失Ltv２、色彩损失Lc２、纹理损失Lｔ２和感知损失Lp２来确定总损失函数。利用第一质量的真实图像集合Ｘ中的第一质量的真实图像xk和第二质量的真实图像集合Ｙ中的第二质量的真实图像yk对第一图像生成器进行训练，使得对于每个xk和yk总损失函数收敛。
综上所述，总的损失为：
，
其中，
分别为预先设定的常数。在一个实施例中，
分别为1，0.002和100。经过训练达到平衡状态（即总损失函数收敛）后，获得第一图像生成器G1，由此可以完成图像的增强。
图4示出了根据本发明实施例的图像生成器（包括第一图像生成器、第二图像生成器）400的网络示意图。在生成器400中，输入图像401首先输经过卷积层402和激活层403，然后分别输入4个相同的块404~407。值得注意的是，输入图像后的第一次卷积，即卷积层402是全尺寸卷积，也就是卷积核的尺寸等于输入图像的尺寸，以此学习全局特征。全局特征包括高层次的信息，例如场景分类、主题类型、全局亮度等。如图4中所示，404~407每个块的结构相同。以块404为例，依次包括卷积层4041、归一化层4042、激活层4043、卷积层4044和激活层4045，并且基于ResNet的思想，将块404的输入累加到层4045的输出端。块405依次包括卷积层4051、归一化层4052、激活层4053、卷积层4054和激活层4055；块406依次包括卷积层4061、归一化层4062、激活层4063、卷积层4064和激活层4065；块407依次包括卷积层4071、归一化层4072、激活层4073、卷积层4074和激活层4075。在类似地经过块405~407的处理后，块407的输出依次经过卷积层408、归一化层409，并基于ResNet的思想将层409的输出与块404的输入相加。在相加后，依次经过卷积层410、归一化层411、卷积层412和归一化层413的处理，输出生成的图像414。如本领域技术人员应理解的，与块404~407结构相同的块的个数不限于4，也可以具有其他合适数量的该结构。
图5示出了根据本发明实施例的判别器（包括第一判别器、第二判别器）500的网络示意图。第一判别器Dc和第二判别器Dt被配置用于判断输入的图像是真实图像还是经过所述第一图像生成器或所述第二图像生成器生成的图像。输入图像501、502依次输入卷积层503、激活层504后，输入四个结构相同的块505~508。块505中包括卷积层5051、归一化层5052和激活层5053。块506包括卷积层5061、归一化层5062和激活层5063。块507包括卷积层5071、归一化层5072和激活层5073。块508包括卷积层5081、归一化层5082和激活层5083。块508的输出再经过两次全连接获得概率分数，以确定图像的真伪。
图6示出了图像增强的效果示意图。图6a、6c、6e分别为真实原始图像，图6b、6d和6f分别为增强后的图像。可以看出，增强效果显著。针对图像增强的指标主要包括PSNR和SSIM。PSNR是“Peak Signal to Noise Ratio”的缩写，即峰值信噪比，是一种评价图像的客观标准，其计算方式如下图所示：
其中MSE是原图像与处理图像之间均方误差，利用该指标能够评价处理图像的质量高低。PSNR越高表示图像质量越高，失真越少。
SSIM(structural similarity index)结构相似性，是一种衡量两幅图像相似度的指标，其计算方式如下图所示：
其中
是x的平均值，
是y的平均值，
是x的方差，
是y的方差，
是x和y的协方差。
，
是用来维持稳定的常数。L是像素值的动态范围。
，
。SSIM值越大表示两幅图像的结构相似性越高。通过在DPED 数据集上的实验表明，针对PSNR和SSIM指标，本方法具有良好的性能。
在步骤204中，图像增强方法还包括：基于经预先训练的神经网络对所述增强后的图像评分，并显示所述评分结果。
图7示出了用于对图像进行评分的卷积神经网络的结构700。首先，对网络上爬取的图像进行人工评分，构成训练集。经过训练得出图像质量评分模型，同时考虑到端侧设备的计算能力，该模型需要保证效果的同时不能牺牲速度。该模型将增强后的图像进行评分，并将评分结果实时显示在设备的显示器上，以此来引导用户调整构图，获得质量更佳的图像。如图7中所示，在一个实施例中，输入图像依次经过卷积层701、激活层702、卷积层703、池化层704、激活层705、元素加和层706、卷积层707、池化层708、激活层709、元素加和层710、卷积层711、池化层712、激活层713、元素加和层714后，再经过卷积层715、激活层716、元素加和层717、激活层718、卷积层719、全连接层720、激活层721以及全连接层722。最后，输出质量分数，即对图像的评分。
在一个应用场景下，对图像进行评分有助于用户更高效地拍摄图像。在用户通过诸如手机、平板电脑、智能单反相机等终端拍摄照片时，可以选择预览模式，显示界面可以实时提示取景框内图像的评分，以及应当进行的调整动作。例如，当选定拍摄图像并放入取景框后，显示屏幕可以提示“当前图像为60分，需要提高亮度”，由此用户在拍摄照片前可以借助提示对拍摄环境和动作进行合适的调整，以更高效地拍摄出效果更好的照片。
在另一应用场景下，对图像评分有助于用户对图像进行更高效的修改。例如，用户将已经拍摄的图像输入该图像增强系统，该系统对上述已经拍摄的图像进行评分，并在显示屏幕上提示应当进行相应的修改。例如，在输入已经给拍摄的图像之后，在显示屏幕上显示“该图像为80分，可以选择增加对比度”。由此，用户可以藉由提示对已经拍摄的图像进行更适合的修改和增强。
图8示意性示出根据本发明实施例的图像增强装置800的示意图。该图像增强装置800包括：获取模块801、灰度变换模块802和图像增强模块803。获取模块801被配置用于获取原始图像。灰度变换模块802被配置用于对原始图像的各个像素值进行灰度变换得到原始图像的各个目标像素值。进行灰度变换包括：扩展原始图像的各个像素值的第一灰度值部分；和压缩原始图像的各个像素值的第二灰度值部分，第二灰度值大于第一灰度值。图像增强模块803被配置用于利用经预先训练的第一图像生成器对原始图像的各个目标像素值进行增强以得到增强后的图像，以使增强后的图像的内容、色彩和纹理损失小于预定阈值。在一个实施例中，该装置还包括：评分模块804，其被配置用于基于经预先训练的神经网络对增强后的图像评分，并显示评分结果。
图9示意性示出了一个示例系统900，其包括代表可以实现本文描述的各种技术的一个或多个系统和/或设备的示例计算设备910。
计算设备910可以是例如服务提供商的服务器或任何其它合适的计算设备或计算系统，其范围从具有大量存储器和处理器资源的全资源设备到具有有限的存储器和/或处理资源的低资源设备。在一些实施例中，上面关于图8描述的图像增强装置800可以采取计算设备910的形式。
如图示的示例计算设备910包括彼此通信耦合的处理系统911、一个或多个计算机可读介质912以及一个或多个I/O接口913。尽管未示出，但是计算设备910还可以包括系统总线或其他数据和命令传送系统，其将各种组件彼此耦合。系统总线可以包括不同总线结构的任何一个或组合，所述总线结构诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任何一种的处理器或局部总线。
处理系统911代表使用硬件执行一个或多个操作的功能。因此，处理系统911被图示为包括可被配置为处理器、功能块等的硬件元件914。这可以包括在硬件中实现作为专用集成电路或使用一个或多个半导体形成的其它逻辑器件。硬件元件914不受其形成的材料或其中采用的处理机构的限制。例如，处理器可以由（多个）半导体和/或晶体管（例如，电子集成电路（IC））组成。在这样的上下文中，处理器可执行指令可以是电子可执行指令。
计算机可读介质912被图示为包括存储器/存储装置919。存储器/存储装置915表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储装置915可以包括易失性介质（诸如随机存取存储器（RAM））和/或非易失性介质（诸如只读存储器（ROM）、闪存、光盘、磁盘等）。存储器/存储装置915可以包括固定介质（例如，RAM、ROM、固定硬盘驱动器等）以及可移动介质（例如，闪存、可移动硬盘驱动器、光盘等）。计算机可读介质912可以以下面进一步描述的各种其他方式进行配置。
一个或多个输入/输出接口913代表允许用户向计算设备910键入命令和信息并且还允许使用各种输入/输出设备将信息呈现给用户和/或发送给其他组件或设备的功能。输入设备的示例包括键盘、光标控制设备（例如，鼠标）、麦克风（例如，用于语音输入）、扫描仪、触摸功能（例如，被配置为检测物理触摸的容性或其他传感器）、相机（例如，可以采用可见或不可见的波长（诸如红外频率）将不涉及触摸的运动检测为手势）、网卡、接收机等等。输出设备的示例包括显示设备（例如，监视器或投影仪）、扬声器、打印机、触觉响应设备、网卡、发射机等。
计算设备910还包括图像增强应用916。图像增强应用916可以作为计算程序指令存储在存储器/存储装置919中。图像增强应用916可以连同处理系统911、I/O接口一起实现关于图8描述的图像增强装置800的各个模块的全部功能。
本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。一般地，这些模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元素、组件、数据结构等。本文所使用的术语“模块”、“功能”和“组件”一般表示软件、固件、硬件或其组合。本文描述的技术的特征是与平台无关的，意味着这些技术可以在具有各种处理器的各种计算平台上实现。
所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上或者跨某种形式的计算机可读介质传输。计算机可读介质可以包括可由计算设备910访问的各种介质。作为示例而非限制，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
与单纯的信号传输、载波或信号本身相反，“计算机可读存储介质”是指能够持久存储信息的介质和/或设备，和/或有形的存储装置。因此，计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括诸如易失性和非易失性、可移动和不可移动介质和/或以适用于存储信息（诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据）的方法或技术实现的存储设备之类的硬件。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘（DVD）或其他光学存储装置、硬盘、盒式磁带、磁带，磁盘存储装置或其他磁存储设备，或其他存储设备、有形介质或适于存储期望信息并可以由计算机访问的制品。
“计算机可读信号介质”是指被配置为诸如经由网络将指令发送到计算设备910的硬件的信号承载介质。信号介质典型地可以将计算机可读指令、数据结构、程序模块或其他数据体现在诸如载波、数据信号或其它传输机制的调制数据信号中。信号介质还包括任何信息传递介质。术语“调制数据信号”是指以这样的方式对信号中的信息进行编码来设置或改变其特征中的一个或多个的信号。作为示例而非限制，通信介质包括诸如有线网络或直接连线的有线介质以及诸如声、RF、红外和其它无线介质的无线介质。
如前所述，硬件元件914和计算机可读介质912代表以硬件形式实现的指令、模块、可编程器件逻辑和/或固定器件逻辑，其在一些实施例中可以用于实现本文描述的技术的至少一些方面。硬件元件可以包括集成电路或片上系统、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、复杂可编程逻辑器件（CPLD）以及硅中的其它实现或其他硬件设备的组件。在这种上下文中，硬件元件可以作为执行由硬件元件所体现的指令、模块和/或逻辑所定义的程序任务的处理设备，以及用于存储用于执行的指令的硬件设备，例如，先前描述的计算机可读存储介质。
前述的组合也可以用于实现本文所述的各种技术和模块。因此，可以将软件、硬件或程序模块和其它程序模块实现为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件914体现的一个或多个指令和/或逻辑。计算设备910可以被配置为实现与软件和/或硬件模块相对应的特定指令和/或功能。因此，例如通过使用处理系统的计算机可读存储介质和/或硬件元件914，可以至少部分地以硬件来实现将模块实现为可由计算设备910作为软件执行的模块。指令和/或功能可以由一个或多个制品（例如，一个或多个计算设备910和/或处理系统911）可执行/可操作以实现本文所述的技术、模块和示例。
本文描述的技术可以由计算设备910的这些各种配置来支持，并且不限于本文所描述的技术的具体示例。计算设备910的功能还可以通过使用分布式系统、诸如通过如下所述的平台930在“云”920上全部或部分地实现。
云920包括和/或代表用于资源932的平台930。平台930抽象云920的硬件（例如，服务器）和软件资源的底层功能。资源932可以包括在远离计算设备910的服务器上执行计算机处理时可以使用的应用和/或数据。资源932还可以包括通过因特网和/或通过诸如蜂窝或Wi-Fi网络的客户网络提供的服务。
平台930可以抽象资源和功能以将计算设备910与其他计算设备连接。平台930还可以用于抽象资源的分级以提供遇到的对于经由平台930实现的资源932的需求的相应水平的分级。因此，在互连设备实施例中，本文描述的功能的实现可以分布在整个系统900内。例如，功能可以部分地在计算设备910上以及通过抽象云920的功能的平台930来实现。
通过研究附图、公开内容和所附的权利要求书，本领域技术人员在实践所要求保护的主题时，能够理解和实现对于所公开的实施例的变型。在权利要求书中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。在相互不同的从属权利要求中记载了某些措施的仅有事实并不表明这些措施的组合不能用来获利。
Claims (15)
1.一种图像增强方法，包括：
获取原始图像；
对所述原始图像的各个像素值进行灰度变换得到所述原始图像的各个目标像素值；并且
利用经预先训练的第一图像生成器对所述原始图像的各个目标像素值进行增强以得到增强后的图像，以使所述增强后的图像的内容、色彩和纹理损失小于预定阈值。
2.如权利要求1所述的方法，其中所述灰度变换包括：基于预定灰度值将原始图像的各个像素值按照灰度进行划分，和对低于所述预定灰度值的像素值进行扩展，以及对高于所述预定灰度值的像素值进行压缩。
3.如权利要求1所述的方法，其中所述第一图像生成器基于下述步骤训练得到：
学习从所述第一质量的真实图像集合到所述第二质量的真实图像集合的映射，和学习从所述第二质量的真实图像集合到所述第一质量的真实图像集合的映射，所述第二质量高于所述第一质量。
4.如权利要求1所述的方法，其中所述第一图像生成器基于下述步骤训练得到：
将第一质量的真实图像集合中的第一质量的真实图像输入所述第一图像生成器，得到第二质量的第一生成图像，并确定第二质量的真实图像集合中的第二质量的真实图像与所述第二质量的第一生成图像之间的第一全局变化损失、第一色彩损失和第一纹理损失，所述第二质量高于所述第一质量；
将所述第二质量的第一生成图像输入第二图像生成器，得到第一质量的第二生成图像，并确定所述第一质量的真实图像与所述第一质量的第二生成图像之间的第一感知损失；
将所述第二质量的真实图像输入所述第二图像生成器，得到第一质量的第一生成图像，并确定所述第一质量的真实图像与第一质量的第一生成图像之间的第二全局变化损失、第二色彩损失和第二纹理损失；
将所述第一质量的第一生成图像输入所述第一图像生成器，得到第二质量的第二生成图像，并确定所述第二质量的真实图像与所述第二质量的第二生成图像之间的第二感知损失；
基于所述第一全局变化损失、第一色彩损失、第一纹理损失、第一感知损失、第二全局变化损失、第二色彩损失、第二纹理损失和第二感知损失来确定总损失函数；
利用所述第一质量的真实图像集合中的第一质量的真实图像和所述第二质量的真实图像集合中的第二质量的真实图像对所述第一图像生成器进行训练，使得所述总损失函数收敛。
5.如权利要求4所述的方法，
其中所述确定所述第二质量的真实图像与所述第二质量的第一生成图像之间的第一全局变化损失包括：通过经预训练的第一卷积神经网络确定所述第二质量的真实图像与所述第二质量的第一生成图像之间的第一全局变化损失，并且
其中所述确定所述第一质量的真实图像与所述第一质量的第二生成图像之间的第一感知损失包括：通过所述经预训练的第一卷积神经网络确定所述第一质量的真实图像与所述第一质量的第二生成图像之间的第一感知损失。
6.如权利要求4所述的方法，
其中所述确定所述第一质量的真实图像与第一质量的第一生成图像之间的第二全局变化损失包括：通过经预训练的第一卷积神经网络确定所述第一质量的真实图像与第一质量的第一生成图像之间的第二全局变化损失，并且
其中所述确定所述第二质量的真实图像与所述第二质量的第二生成图像之间的第二感知损失包括：通过所述经预训练的第一卷积神经网络确定所述第二质量的真实图像与所述第二质量的第二生成图像之间的第二感知损失。
7.如权利要求4所述的方法，其中所述确定所述第二质量的真实图像与所述第二质量的第一生成图像之间的所述第一色彩损失包括：
对所述第二质量的真实图像与所述第二质量的第一生成图像进行高斯加噪处理，得到经高斯加噪后的第二质量的真实图像和经高斯加噪后的第二质量的第一生成图像，将所述经高斯加噪后的第二质量的真实图像和所述经高斯加噪后的第二质量的第一生成图像输入第一判别器中得到所述第一色彩损失。
8.如权利要求4所述的方法，其中所述确定所述第一质量的真实图像与第一质量的第一生成图像之间的第二色彩损失包括：
对所述第一质量的真实图像与所述第一质量的第一生成图像进行高斯加噪处理，得到经高斯加噪后的第一质量的真实图像和经高斯加噪后的第一质量的第一生成图像，将所述经高斯加噪后的第一质量的真实图像和所述经高斯加噪后的第一质量的第一生成图像输入第一判别器中得到第二色彩损失。
9.如权利要求4所述的方法，其中所述确定所述第二质量的真实图像与所述第二质量的第一生成图像之间的所述第一纹理损失包括：
对所述第二质量的真实图像和所述第二质量的第一生成图像进行灰度化处理，得到经灰度化处理的第二质量的真实图像和经灰度化处理的第二质量的第一生成图像，将所述经灰度化处理的第二质量的真实图像和所述经灰度化处理的第二质量的第一生成图像输入第二判别器中，得到第一纹理损失。
10.如权利要求4所述的方法，其中所述确定所述第一质量的真实图像与第一质量的第一生成图像之间的所述第二纹理损失包括：
对所述第一质量的真实图像和所述第一质量的第一生成图像进行灰度化处理，得到经灰度化处理的第一质量的真实图像和经灰度化处理的第一质量的第一生成图像，将所述经灰度化处理的第一质量的真实图像和所述经灰度化处理的第一质量的第一生成图像输入第二判别器中，得到第二纹理损失。
11.如前述权利要求中任一项所述的方法，还包括：
基于经预先训练的第二卷积神经网络对所述增强后的图像评分，并显示所述评分结果。
12.如前述权利要求4-10中任一项所述的方法，其中所述第一判别器和第二判别器被配置用于判断输入的图像是真实图像还是经过所述第一图像生成器或所述第二图像生成器生成的图像。
13.一种图像增强装置，包括：
获取模块，被配置用于获取原始图像；
灰度变换模块，被配置用于对所述原始图像的各个像素值进行灰度变换得到所述原始图像的各个目标像素值；并且
图像增强模块，被配置用于利用经预先训练的第一图像生成器对所述原始图像的各个目标像素值进行增强以得到增强后的图像，以使所述增强后的图像的内容、色彩和纹理损失小于预定阈值。
14.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-12中任一项所述的方法的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1-12中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911420305.7A CN111047543A (zh) | 2019-12-31 | 2019-12-31 | 图像增强方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911420305.7A CN111047543A (zh) | 2019-12-31 | 2019-12-31 | 图像增强方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111047543A true CN111047543A (zh) | 2020-04-21 |
Family
ID=70243230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911420305.7A Pending CN111047543A (zh) | 2019-12-31 | 2019-12-31 | 图像增强方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111047543A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111882495A (zh) * | 2020-07-05 | 2020-11-03 | 东北林业大学 | 一种基于自定义模糊逻辑与gan的图像高光处理方法 |
| CN111899176A (zh) * | 2020-07-31 | 2020-11-06 | 罗雄彪 | 一种视频图像增强方法 |
| CN112000029A (zh) * | 2020-08-17 | 2020-11-27 | 江苏建筑职业技术学院 | 一种室内装饰用集成吊顶结构系统及其控制方法 |
| CN112233615A (zh) * | 2020-12-09 | 2021-01-15 | 卡莱特（深圳）云科技有限公司 | 一种提升led显示屏显示效果的方法及装置 |
| CN112541877A (zh) * | 2020-12-24 | 2021-03-23 | 广东宜教通教育有限公司 | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 |
| WO2021218119A1 (zh) * | 2020-04-30 | 2021-11-04 | 中国科学院深圳先进技术研究院 | 图像调色增强方法和图像调色增强神经网络训练方法 |
| CN114529484A (zh) * | 2022-04-25 | 2022-05-24 | 征图新视(江苏)科技股份有限公司 | 针对成像中直流分量变化的深度学习样本增强方法 |
-
2019
- 2019-12-31 CN CN201911420305.7A patent/CN111047543A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021218119A1 (zh) * | 2020-04-30 | 2021-11-04 | 中国科学院深圳先进技术研究院 | 图像调色增强方法和图像调色增强神经网络训练方法 |
| CN111882495A (zh) * | 2020-07-05 | 2020-11-03 | 东北林业大学 | 一种基于自定义模糊逻辑与gan的图像高光处理方法 |
| CN111899176A (zh) * | 2020-07-31 | 2020-11-06 | 罗雄彪 | 一种视频图像增强方法 |
| CN111899176B (zh) * | 2020-07-31 | 2022-08-12 | 罗雄彪 | 一种视频图像增强方法 |
| CN112000029A (zh) * | 2020-08-17 | 2020-11-27 | 江苏建筑职业技术学院 | 一种室内装饰用集成吊顶结构系统及其控制方法 |
| CN112233615A (zh) * | 2020-12-09 | 2021-01-15 | 卡莱特（深圳）云科技有限公司 | 一种提升led显示屏显示效果的方法及装置 |
| CN112233615B (zh) * | 2020-12-09 | 2021-03-05 | 卡莱特（深圳）云科技有限公司 | 一种提升led显示屏显示效果的方法及装置 |
| CN112541877A (zh) * | 2020-12-24 | 2021-03-23 | 广东宜教通教育有限公司 | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 |
| CN112541877B (zh) * | 2020-12-24 | 2024-03-19 | 广东宜教通教育有限公司 | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 |
| CN114529484A (zh) * | 2022-04-25 | 2022-05-24 | 征图新视(江苏)科技股份有限公司 | 针对成像中直流分量变化的深度学习样本增强方法 |
| CN114529484B (zh) * | 2022-04-25 | 2022-07-12 | 征图新视(江苏)科技股份有限公司 | 针对成像中直流分量变化的深度学习样本增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ren et al. | Low-light image enhancement via a deep hybrid network | |
| Kim et al. | Deep learning of human visual sensitivity in image quality assessment framework | |
| Li et al. | Which has better visual quality: The clear blue sky or a blurry animal? | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN112614077B (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
| CN113240580A (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| US20240062530A1 (en) | Deep perceptual image enhancement | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| Kim et al. | Multiple level feature-based universal blind image quality assessment model | |
| KR20200140713A (ko) | 이미지 디테일 향상을 위한 신경 네트워크 모델 학습 방법 및 장치 | |
| Yan et al. | Enhanced network optimized generative adversarial network for image enhancement | |
| JP7353803B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN111127476A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| Steffens et al. | Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing | |
| Liu et al. | Learning hadamard-product-propagation for image dehazing and beyond | |
| Lepcha et al. | A deep journey into image enhancement: A survey of current and emerging trends | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| Pu et al. | Fractional-order retinex for adaptive contrast enhancement of under-exposed traffic images | |
| Ko et al. | IceNet for interactive contrast enhancement | |
| WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
| CN114119428B (zh) | 一种图像去模糊方法和装置 | |
| CN114841887A (zh) | 一种基于多层次差异学习的图像恢复质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40022324 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |