CN109919869B - 一种图像增强方法、装置及存储介质 - Google Patents

一种图像增强方法、装置及存储介质 Download PDF

Info

Publication number
CN109919869B
CN109919869B CN201910148574.6A CN201910148574A CN109919869B CN 109919869 B CN109919869 B CN 109919869B CN 201910148574 A CN201910148574 A CN 201910148574A CN 109919869 B CN109919869 B CN 109919869B
Authority
CN
China
Prior art keywords
image
original image
enhanced
illumination map
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910148574.6A
Other languages
English (en)
Other versions
CN109919869A (zh
Inventor
王瑞星
陶鑫
沈小勇
賈佳亞
戴宇榮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910148574.6A priority Critical patent/CN109919869B/zh
Publication of CN109919869A publication Critical patent/CN109919869A/zh
Priority to PCT/CN2020/075472 priority patent/WO2020173320A1/zh
Priority to US17/324,336 priority patent/US11790497B2/en
Application granted granted Critical
Publication of CN109919869B publication Critical patent/CN109919869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像增强方法、装置及存储介质，其中，本申请实施例获取原始图像，对原始图像的特征进行合成处理，得到原始图像对应的第一光照图，第一光照图的分辨率低于原始图像的分辨率，基于第一光照图，获取用于将图像映射成第二光照图的映射关系，基于映射关系对原始图像进行映射处理，得到第二光照图，第二光照图的分辨率与原始图像的分辨率相同，根据第二光照图对原始图像进行图像增强处理，得到目标图像，该方案可以提高图像增强的效率。

Description

一种图像增强方法、装置及存储介质
技术领域
本申请涉及图像处理领域，具体涉及一种图像增强方法、装置及存储介质。
背景技术
近年来，随着电子设备中拍摄技术的提升，人们对于拍摄图像的质量要求也在不断提升。由于光线不足或者背光等造成的曝光不足不仅会对图像的质量产生影响，并且会捕捉不到希望捕捉的细节等等。
因此，可以通过图像增强的方式，提高图像的质量。目前对于图像增强的方式是采用原始图像到标注图像的方式对网络模型进行训练，以得到可以增强图像的网络模型。
由于目前对于网络模型的训练采用了原始图像到标注图像的方式，这种方式会降低训练网络模型的效率。
发明内容
有鉴于此，本申请实施例提供了一种图像增强方法、装置及存储介质，能够提高图像增强的效率。
第一方面，本申请实施例提供了一种图像增强方法，包括：
获取原始图像；
对所述原始图像的特征进行合成处理，得到所述原始图像对应的第一光照图，所述第一光照图的分辨率低于所述原始图像的分辨率；
基于所述第一光照图，获取用于将图像映射成第二光照图的映射关系；
基于所述映射关系对所述原始图像进行映射处理，得到第二光照图，所述第二光照图的分辨率与所述原始图像的分辨率相同；
根据所述第二光照图对所述原始图像进行图像增强处理，得到目标图像。
第二方面，本申请实施例提供了一种图像增强装置，包括：
获取模块，用于获取原始图像；
特征合成模块，用于对所述原始图像的特征进行合成处理，得到所述原始图像对应的第一光照图，所述第一光照图的分辨率低于所述原始图像的分辨率；
映射关系获取模块，用于基于所述第一光照图，获取用于将图像映射成第二光照图的映射关系；
映射模块，用于基于所述映射关系对所述原始图像进行映射处理，得到第二光照图，所述第二光照图的分辨率与所述原始图像的分辨率相同；
图像增强模块，用于根据所述第二光照图对所述原始图像进行图像增强处理，得到目标图像。
第三方面，本申请实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请任一实施例提供的图像增强方法。
本申请实施例获取原始图像，对原始图像的特征进行合成处理，得到原始图像对应的第一光照图，第一光照图的分辨率低于原始图像的分辨率，基于第一光照图，获取用于将图像映射成第二光照图的映射关系，基于映射关系对原始图像进行映射处理，得到第二光照图，第二光照图的分辨率与原始图像的分辨率相同，根据第二光照图对原始图像进行图像增强处理，得到目标图像。该方案可以提高图像增强的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像增强方法的应用场景示意图。
图2是本申请实施例提供的图像增强方法的第一流程示意图。
图3是本申请实施例提供的图像增强方法的第二流程示意图。
图4是本申请实施例提供的图像增强方法的第三流程示意图。
图5是本申请实施例提供的第二光照图。
图6是本申请实施例提供的卷积网络结构示意图。
图7是本申请实施例提供的图像增强流程示意图。
图8是本申请实施例提供的图像增强方法输入输出示意图。
图9是本申请实施例提供的第一实验结果示意图。
图10是本申请实施例提供的第二实验结果示意图。
图11是本申请实施例提供的第三实验结果示意图。
图12是本申请实施例提供的第四实验结果示意图。
图13是本申请实施例提供的第五实验结果示意图。
图14是本申请实施例提供的第六实验结果示意图。
图15是本申请实施例提供的图像增强装置的第一结构示意图。
图16是本申请实施例提供的图像增强装置的第二结构示意图。
图17是本申请实施例提供的网络设备示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。
在以下的说明中，本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本申请原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本文所使用的术语“模块”可看作为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看作为在该运算系统上的实施对象。而本文所述的装置及方法可以以软件的方式进行实施，当然也可在硬件上进行实施，均在本申请保护范围之内。
本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种图像增强方法，该图像增强方法的执行主体可以是本申请实施例提供的图像增强装置，或者集成了该图像增强装置的网络设备，其中该图像增强装置可以采用硬件或者软件的方式实现。其中，网络设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参阅图1，图1为本申请实施例提供的图像增强方法的应用场景示意图，以图像增强装置集成在网络设备中为例，网络设备可以获取原始图像，对原始图像的特征进行合成处理，得到原始图像对应的第一光照图，第一光照图的分辨率低于原始图像的分辨率，基于第一光照图，获取用于将图像映射成第二光照图的映射关系，基于映射关系对原始图像进行映射处理，得到第二光照图，第二光照图的分辨率与原始图像的分辨率相同，根据第二光照图对原始图像进行图像增强处理，得到目标图像。
请参阅图2，图2为本申请实施例提供的图像增强方法的流程示意图。本申请实施例提供的图像增强方法的具体流程可以如下：
201、获取原始图像。
其中，原始图像为需要进行图像增强的图像，对于原始图像的拍摄可以包括多种拍摄情况，比如，原始图像可以包括拍摄时正常曝光的图像、曝光不足的图像、光线不足的图像或者背光的图像等等。对原始图像中包括的内容可以不进行要求。
由于原始图像拍摄情况的多样化，因此该图像增强方法可以对多种拍摄情况的原始图像进行图像增强，而不仅限于对正常曝光的图像进行图像增强，从而扩大了图像增强方法应用的广泛性。
其中，获取原始图像的方式可以有多种，比如，可以从本地存储中获取原始图像，或者从网络侧设备获取原始图像，等等。
在一实施例中，比如，还可以在通过摄像设备采集图像时，选择当前采集到的图像作为原始图像。又比如，当通过摄像设备采集图像并在图像拍摄界面(如图像预览界面)中显示时，可以截取当前界面显示的图像作为原始图像，等等。
在一实施例中，还可以从本地或者外部存储单元中获取原始图像；比如，还可以从本地图像数据库中获取原始图像。
其中，图像增强可以通过对图像中有用信息进行增强，以实现针对图像的应用场合，相应的改善图像的视觉效果。图像增强可以通过有目的地强调图像的整体特征或者局部特征，将原来不清晰的图像变得清晰，或者通过强调某些感兴趣的特征，以放大图像中不同物体特征之间的差别，通过抑制不感兴趣的特征，改善图像质量，丰富图像的信息量，加强图像的判读和识别效果，从而满足某些特殊分析情况的需要。
202、对原始图像的特征进行合成处理，得到原始图像对应的第一光照图。
其中，如图5所示，光照图(illumination map)是本征图像分解后的阴影图。本征图像包括将原图像分解后得到的反射图和照射图。照射图是反应原图像光照情况的图像，反射图是指在变化的光照条件下能够维持不变的图像部分，即原图像去掉高光后的图像。
其中，第一光照图的分辨率低于原始图像的分辨率。第一光照图可以为光照图在一种分辨率下的图像形式。其中，该第一光照图可以为分辨率低于原始图像分辨率的光照图，比如，第一光照图可以成为低分辨率光照图。
其中，图像分辨率代表图像中存储的信息量，可以通过每英寸图像内的像素点数目表示图像分辨率。
由于目前采用深度学习的方法对图像进行图像增强时，通常是采用原始图像到标注图像进行回归学习得到的网络模型进行图像增强操作，但是这样的方法，会使得网络模型的学习效率低，网络模型的鲁棒性不强，并且在图像对比度方面也存在缺陷。
在一实施例中，可以采用原始图像到光照图进行回归学习得到的图像增强网络模型，进行图像增强操作。采用原始图像到光照图进行回归学习得到的图像增强网络模型，网络模型的学习效率高，网络模型的鲁棒性强，并且容易对图像进行更近一步的操作。
该图像增强方法可以适用于图像增强网络模型。图像增强网络模型采用原始图像到光照图之间的映射关系，替代原始图像到标注图像之间的映射关系。这种方式的优势在于，原始图像到光照图之间的映射，通常具有相对简单的形式和已知的先验。因此，使得该图像增强网络模型具有较强的泛化能力，能够有效处理复杂摄影条件下获取的不同情况的原始图像。
在实际应用中，原始图像对应的第一光照图可以通过特征合成得到。比如，可以首先提取出原始图像的特征，并对该提取出的特征进行特征合成，生成第一光照图。
在一实施例中，比如，可以通过包括卷积运算的网络结构对原始图像的特征进行特征提取。
其中，由于在传统方法中，通常采用调整图像直方图分布曲线的方法，从全局上对图像进行增强，但是这种方法会导致局部光亮、过曝、过暗等问题，并且生成的图像颜色不会很鲜艳。
又由于增强曝光不足的图像需要同时对图像的局部特征(比如对比度、细节清晰度、阴影和高光，等等)和全局特征(比如颜色分布、平均亮度和场景类别等等)进行调整。因此，可以通过分别提取出原始图像的局部特征和全局特征，来提高图像增强的准确性。
在一实施例中，具体地，步骤“对所述原始图像的特征进行合成处理，得到所述原始图像对应的第一光照图”可以包括：
基于卷积网络提取所述原始图像的局部特征和全局特征；
对所述局部特征和所述全局特征进行特征合成，得到所述原始图像对应的第一光照图。
其中，卷积网络为可以对图像的特征进行提取的网络结构，比如，卷积网络中可以包括卷积层，卷积层可以通过卷积运算提取图像的特征。
其中，图像的局部特征是图像特征的局部表达，图像的局部特征可以反应图像具有的局部特性。比如，图像的局部特征可以包括对比度、细节清晰度、阴影和高光，等等。
其中，图像的全局特征可以表示图像整体的特征，全局特征是相对于局部特征而言的，可以用于描述图像或者目标的颜色和形状等整体特征。比如，图像的全局特征可以包括颜色分布、平均亮度和场景类别等等。
在实际应用中，比如，可以将原始图像输入卷积网络中，提取出原始图像的局部特征和全局特征，之后将提取出的局部特征和全局特征进行特征合成，得到第一光照图。
其中，为了提高图像特征提取的准确性，可以采用网络模型对图像的特征进行提取。
在一实施例中，具体地，步骤“基于卷积网络提取所述原始图像的局部特征和全局特征”可以包括：
将所述原始图像输入至卷积网络；
基于所述初级特征提取网络对所述原始图像进行卷积运算，提取出所述原始图像的初级特征；
基于所述局部特征提取网络对所述初级特征进行卷积运算，提取出局部特征；
基于所述全局特征提取网络对所述初级特征进行卷积运算，提取出全局特征。
其中，如图6所示，卷积网络可以包括初级特征提取网络、局部特征提取网络和全局特征提取网络，其中，局部特征提取网络和全局特征提取网络并联，并与初级特征提取网络串联。
其中，初级特征提取网络为可以提取出原始图像初级特征的网络模型，比如，该初级特征提取网络可以包括预训练好的VGG16网络模型。VGG16网络模型可以包括16层结构，比如VGG16网络模型可以包括卷积层、全连接层、池化层，等等。
在一实施例中，可以基于预训练好的VGG16网络模型对原始图像进行卷积运算，提取出原始图像的初级特征。比如，可以将原始图像输入VGG16网络模型中，通过卷积层进行卷积运算，每经过一个卷积核扫描图像，就生成一个新的矩阵；之后经过池化层缩小参数矩阵的尺寸，从而减少最后全连层中的参数数量；随后经过全连接层，提取出原始图像的初级特征。
在一实施例中，还可以根据实际情况，选择包括若干卷积层的其他类型网络模型，对原始图像进行卷积运算，以提取原始图像的初级特征。
其中，局部特征提取网络为可以提取出图像局部特征的网络模型，比如，局部特征提取网络可以包括两层卷积层，可以采用卷积层进行局部特征的提取。全局特征提取网络为可以提取出全局特征的网络模型，比如，全局特征提取网络可以包括两层卷积层和三层全连接层，可以采用卷积层进行全局特征的提取。
在实际应用中，比如，可以将原始图像输入初级特征提取网络中，提取出原始图像的初级特征，之后将初级特征同时输入并联的局部特征提取网络和全局特征提取网络中，提取出局部特征和全局特征。
为了能够实时处理高分辨率图像，可以使得大多数网络计算都在低分辨率中完成，比如，可以通过下采样的方式对图像进行分辨率的转换。
在一实施例中，具体地，步骤“对所述原始图像的特征进行合成处理，得到所述原始图像对应的第一光照图”可以包括：
对所述原始图像的像素进行下采样，得到输入图像；
对所述输入图像的特征进行合成处理，得到所述原始图像对应的第一光照图。
其中，可以通过对图像进行下采样的操作以缩小图像，使得图像符合显示区域的大小，并且生成对应图像的缩略图。比如，对于尺寸为m*n的图像，对该图像进行s倍下采样操作，可以得到尺寸为(m/s)*(n/s)的低分辨率图像，其中，s应当为m和n的公约数。当考虑矩阵形式的图像像素时，图像的下采样就是把s*s窗口内的图像像素变成一个图像像素，该像素点的值可以为s*s窗口内所有图像像素的均值，还可以根据实际情况以其他计算方法获取像素点的值，等等。
在实际应用中，比如，可以在原始图像像素构成的矩阵中，获取一个预设尺寸s*s的矩阵，之后将预设尺寸矩阵内的像素变成一个像素，这个像素可以根据预设规则进行获取，比如这个像素可以是预设尺寸矩阵内所有像素的均值。将整张原始图像的像素都进行变换后，可以得到下采样后的分辨率低于原始图像分辨率的输入图像。之后可以将该输入图像输入到卷积网络中进行特征提取，以及进行后续的步骤。
203、基于第一光照图，获取用于将图像映射成第二光照图的映射关系。
其中，第二光照图的分辨率与原始图像的分辨率相同。第二光照图可以为光照图在一种分辨率下的图像形式。其中，如图5所示，该第二光照图可以为分辨率等于原始图像分辨率的光照图，比如，第二光照图可以称为原分辨率光照图。
其中，该映射关系可以将图像映射为光照图，比如，通过该映射关系可以实现将原始图像映射为第二光照图。比如，该映射关系可以为一种矩阵式的映射关系，为一种映射变换矩阵，图与图之间可以通过这种映射关系实现映射变换，比如，原始图像可以根据该映射变换矩阵，经过映射变换得到第二光照图。
在实际应用中，可以基于第一光照图获取该映射关系。
其中，为了提高图像增强的准确性，可以通过双边网格的方式，基于第一光照图获取映射关系。
在一实施例中，具体地，步骤“基于所述第一光照图，获取映射关系”可以包括：
对所述第一光照图的像素进行采样，得到采样后的像素；
将所述采样后的像素对应至双边网格中，获取映射关系。
其中，双边网格是通过对图像的空间域和亮度域进行采样，并划分成网格的一种方式。双边网格中的双边指的是空间和亮度。离散处理后，将图像中每个点的坐标和亮度信息取整到对应的网格内。通过在网格内进行滤波等处理，再通过上采样方法进行插值，可以得到处理后的图像。
比如，可以对第一光照图的像素进行空域和值域的采样，得到采样后的像素，之后找到对应像素在网格中的位置，并进行网格差值运算，得到映射变换矩阵。
204、基于映射关系对原始图像进行映射处理，得到第二光照图。
其中，为了提高图像增强的准确性，可以通过双边网格的方式，对原始图像进行映射处理。
在一实施例中，具体地，步骤“基于所述映射关系对所述原始图像进行映射处理，得到第二光照图”可以包括：
基于所述映射关系对所述原始图像进行映射处理，得到映射后图像；
对所述映射后图像进行上采样，得到第二光照图。
其中，双边网格上采样的原理是选择一个参考图像，对参考图像任意一个空间的像素进行空域和值域的采样，然后找到其在网格中的位置，通过三线性插值的方法，实现未知范围的亮度值的计算。
在实际应用中，比如，如图7所示，可以根据第一光照图，得到映射变换矩阵，之后可以通过该映射变换矩阵，对原始图像进行映射处理，得到映射后图像，该映射后图像为一种分辨率低于原始图像分辨率的图像。之后可以对该映射后图像进行双边网格上采样操作，在映射后图像像素的基础上，在像素点之间采用合适的插值算法插入新的元素，得到第二光照图。
205、根据第二光照图对原始图像进行图像增强处理，得到目标图像。
其中，目标图像可以为经过图像增强后获得的图像。
其中，可以将图像的增强问题看作是寻找原始图像与目标图像之间映射关系的问题。比如，可以采用
Figure GDA0003008715040000101
代表目标图像对应的矩阵，采用I代表原始图像对应的矩阵，采用函数F代表原始图像与目标图像之间的映射函数，那么映射函数F可以通过下式进行表示：
Figure GDA0003008715040000102
由于目标图像、原始图像和第二光照图之间存在关系，比如，可以采用S表示第二光照图对应的矩阵，采用
Figure GDA0003008715040000103
表示目标图像对应的矩阵，采用I代表原始图像对应的矩阵，那么目标图像、原始图像和第二光照图之间的关系可以如下式所示：
Figure GDA0003008715040000111
因此，可以通过原始图像和第二光照图，获得目标图像。根据原始图像I和第二光照图S，获得目标图像
Figure GDA0003008715040000112
可以如下式所示：
F(I)＝S-1·I
在一实施例中，比如，如图7所示，可以首先获取原始图像，并对原始图像进行下采样，得到256x256像素的输入图像。之后将该输入图像输入至包括预训练好的VGG16网络模型的初级特征提取网络中，提取原始图像的初级特征，之后将该初级特征分别输入并联的局部特征提取网络和全局特征提取网络中，提取出局部特征和全局特征，并将局部特征和全局特征进行合并操作，得到第一光照图。之后通过双边网格上采样，得到映射关系，并根据这种映射关系，得到第二光照图。最后通过公式
Figure GDA0003008715040000113
得到目标图像。通过这种方式增强图像，可以加速图像增强的过程，从而提高图像增强的效率。
在一实施例中，该图像增强方法还可以包括图像增强网络模型的训练过程，如图3所示，该图像增强方法还可以包括如下流程：
301、基于图像增强网络模型和训练图像，获取训练图像对应的预测增强图像。
其中，训练图像可以为网络模型在训练过程中所应用的图像，该训练图像中包括样本增强图像。该样本增强图像为对训练图像进行的与图像增强相关的标注。
其中，获取训练图像的方式可以有多种，比如，可以从本地存储中获取训练图像，或者从网络侧设备获取训练图像，还可以通过拍摄设备进行拍摄，获取到训练图像等等。
其中，对训练图像进行标注的方式可以有多种，比如，可以通过训练好的网络模型对未经过图像增强的图像进行图像增强后，获取到样本增强图像；还可以通过专家对训练图像进行标注，获取到样本增强图像等等。
其中，预测增强图像可以为训练图像经过网络模型增强后得到的图像。该预测增强图像与真实的样本增强图像之间可以具有一定的差异，但这种差异可以通过对网络模型进行训练而缩小。
在实际应用中，比如，可以将训练图像输入图像增强网络模型中，获取到训练图像对应的预测增强图像，其中，通过该图像增强网络模型进行训练图像的图像增强方法，与通过该图像增强网络模型进行原始图像的图像增强方法相同，上文已经叙述，此处不再赘述。
在一实施例中，还可以通过对训练图像进行随机裁剪的方式，提高训练样本的多样性。比如，还可以将训练图像随机裁剪为多张512x512尺寸的图像，以增加样本的多样性。
其中，可以通过提高训练图像的多样性，提高网络模型的准确性。训练图像中可以包括多种拍摄情况的图像，比如正常曝光、曝光不足、光线不足或者背光等多种情况的图像，根据这样的训练图像训练出的网络模型，能够适应不同实际拍摄情况下获取的图像。
在一实施例中，比如，可以通过获取标准条件数据集、以及特殊条件数据集，并根据标准条件数据集以及特殊条件数据集，构建包括多种拍摄类型的训练图像。
其中，标准条件数据集为包括正常曝光图像的数据集，比如，标准条件数据集可以为MIT-Adobe Five K Dataset，该标准条件数据集中包括多张由一组不同摄影师用单反相机拍摄的原始格式的图像，也就是说摄像机传感器记录的所有信息都会被保存下来，这些图像涵盖了广泛的场景、主题和光照条件。之后采用专门用于调整图像的软件对拍摄的图像进行了重新润色，从而获取到标准条件数据集。
在一实施例中，比如，标准条件数据集可以使用MIT-Adobe Five K Dataset，数据集中训练样本的标注可以选择专家C的标注。但是由于标准条件数据集的创建主要是为了增强一般图像，而不是曝光不足的图像，标准条件数据集中只包括很小的一部分(约4％)的未曝光图像，因此标准条件数据集中缺乏特殊拍摄条件的情况，比如夜间拍摄的图像和在非均匀光照情况下获取的图像等等。为了增加样本的多样性，还可以引入特殊条件数据集。
其中，特殊条件数据集为包括非正常曝光图像的数据集，比如，特殊条件数据集中可以包括曝光不足、光线不足、背光等特殊拍摄条件下获取的图像等等。这种特殊条件数据集可以包括多样的拍摄情况、场景、主题和样式等。通过增加特殊条件数据集，可以对标准条件数据集中缺乏的图像种类进行补充。
比如，可以使用相机捕获分辨率为6000x4000的图像，然后通过搜索“曝光不足”、“光线不足”、“背光”等关键字，从图片分享数据库中收集大约15％的图像。之后专家利用图形工具软件为收集到的每一幅图像进行重新润色，得到对应的参考图像，建立特殊条件数据集。最后，可以将数据集中图像随机分成两个子集，2750张用于网络模型的训练，2750张用于网络模型的测试。
根据标准条件数据集以及特殊条件数据集构建的训练图像，进行网络模型的训练，可以使得训练后的网络模型适应多种拍摄情况，从而提高了图像增强的准确性。
302、基于目标损失函数获取预测增强图像与样本增强图像之间的损失信息。
其中，损失信息可以包括对比度损失信息、颜色损失信息、平滑度损失信息中的一种或多种，该损失信息可以表示预测增强图像与样本增强图像之间的差异，这种差异可以通过对网络模型的训练缩小。
其中，损失函数可以用来对网络模型的预测值与真实值的不一致程度进行估量的函数。损失函数越小，说明网络模型的鲁棒性越好。
在实际应用中，比如，可以通过目标损失函数，对预测增强图像与样本增强图像之间的损失信息进行获取，该损失信息可以为预测增强图像与样本增强图像之间的差异，通过网络模型的训练可以减少该损失信息。
其中，该目标损失函数可以根据实际应用需求进行灵活设置。目前通常通过调整图像的光照图，进行光照图的局部平滑优化操作，来增强图像。但是这种方法会造成一些光环的人工痕迹，以及图像局部过度曝光的情况，导致图像过度增强。
在一实施例中，因此，可以设计一种目标损失函数，该目标损失函数可以包括重构损失函数、局部平滑损失函数、以及颜色损失函数中的一种或几种损失函数。通过对于光照图进行约束，使得图像不会产生过度曝光，过度增强的情况。
具体地，该图像增强方法还可以包括：
基于所述图像增强网络模型和训练图像，获取所述训练图像对应的预测增强图像；
基于重构损失函数获取所述预测增强图像与样本增强图像之间的对比度损失信息，所述样本增强图像为所述训练图像对应的增强图像；
基于所述对比度损失信息对所述预测增强图像与所述样本增强图像进行收敛，得到训练后图像增强网络模型。
其中，重构损失函数可以获取图像的对比度损失信息，比如，重构损失函数可以通过度量欧式距离误差来获取。
其中，欧式距离为欧几里得空间中两点间直线的距离。
在一实施例中，比如，可以根据欧式距离误差度量获取重构损失函数。比如，可以采用S表示预测增强图像对应的原分辨率光照图矩阵，采用
Figure GDA0003008715040000141
表示样本增强图像，采用Ii表示训练图像，可以通过预测增强图像对应的原分辨率光照图矩阵S和样本增强图像
Figure GDA0003008715040000142
相乘，计算与训练图像Ii之间欧式距离误差度量，以得到重构损失函数。重构损失函数
Figure GDA0003008715040000143
的公式可以如下：
Figure GDA0003008715040000144
其中，多通道光照范围可以为(Ii)c≤(S)c≤1，样本增强图像
Figure GDA0003008715040000145
和训练图像Ii中的所有像素通道都被标准化为[0,1]。()c∈{r,g,b}表示像素颜色的通道，可以包括RGB(红绿蓝)三种像素颜色通道。由于F(Ii)＝S-1×Ii，可以将Ii设为S的下限，以确保图像经过图像增强后F(Ii)的所有颜色通道都以1为上限，以此避免颜色超出色域。而将1设置为S的上限，可以避免错误地使曝光不足的区域变暗。
在一实施例中，还可以对重构损失函数中光照图的约束范围进行调整，以满足不同情况的实际需求。比如，还可以通过对S添加不同的约束，以调节图像的亮暗程度、图像的颜色鲜艳程度，等等。
通过重构损失函数，可以使得获得的增强后图像更加清晰，以及使得图像对比度更好。但是目标函数中仅仅包括重构损失函数，仍然存在无法正确生成图像对比度细节和图像准确颜色的风险。
因此，在一实施例中，还可以在目标损失函数中添加局部平滑损失函数，以提升图像增强的准确性。
具体地，该图像增强方法还可以包括：
基于所述图像增强网络模型和训练图像，获取所述训练图像对应的预测增强图像；
基于局部平滑损失函数获取所述预测增强图像与样本增强图像之间的平滑度损失信息，所述样本增强图像为所述训练图像对应的增强图像；
基于所述平滑度损失信息对所述预测增强图像与所述样本增强图像进行收敛，得到训练后图像增强网络模型。
由于在传统方法里，通常利用调整图像的直方图分布曲线，以及利用优化图像的光照图局部平滑，来进行图像增强，但是这类方法通常使用单通道的光照图进行图像增强，会导致对于图像颜色的把控出现偏差，在图像颜色增强的方面出现欠缺。
因此，可以通过对图像的RGB三通道同时进行优化，并利用网络模型的学习能力，对光照图进行学习的方式，提高图像增强的准确性。
其中，局部平滑损失函数可以获取图像的平滑度损失信息，该局部平滑损失函数可以通过对图像像素三通道进行求和获取。
在实际应用中，可以通过对图像像素三通道求和获取局部平滑损失函数，比如，可以采用p表示图像像素，采用S表示光照图，局部平滑损失函数
Figure GDA00030087150400001510
的计算公式可以如下：
Figure GDA0003008715040000151
其中，可以对像素的三通道进行求和得到局部平滑损失函数
Figure GDA0003008715040000152
可以采用
Figure GDA0003008715040000153
和
Figure GDA0003008715040000154
表示图像空间水平和垂直方向的偏导数，采用
Figure GDA0003008715040000155
和
Figure GDA0003008715040000156
表示像素三通道空间变化的平滑度权重，
Figure GDA0003008715040000157
和
Figure GDA0003008715040000158
计算公式可以如下：
Figure GDA0003008715040000159
其中，Li是训练图像Ii的对数图像，θ＝1.2是控制图像灵敏度的参数，ε是一个常量，通常设置为0.0001，以防止被零除。
其中，采用局部平滑损失函数对网络模型进行训练，可以减少过拟合，提高网络模型的泛化能力，还可以恢复良好的图像对比度和图像中更清晰的细节。
在一实施例中，虽然重构损失函数中已经隐式地测量了色差的欧式距离，但是欧式距离的度量仅可以对色差进行数值上的测量，而无法保证颜色向量方向一致，因此可能导致明显的颜色不匹配。为了准确还原图像中颜色信息，还可以引入颜色损失函数。
具体地，该图像增强方法还可以包括：
基于所述图像增强网络模型和训练图像，获取所述训练图像对应的预测增强图像；
基于颜色损失函数获取所述预测增强图像与样本增强图像之间的颜色损失信息，所述样本增强图像为所述训练图像对应的增强图像；
基于所述颜色损失信息对所述预测增强图像与所述样本增强图像进行收敛，得到训练后图像增强网络模型。
其中，颜色损失函数可以获取图像的颜色损失信息，比如，颜色损失函数可以通过计算图像像素三通道构成的向量夹角来获取。
在实际应用中，可以通过图像像素三通道构成的向量夹角获取颜色损失函数，比如，可以通过颜色损失函数使得经过网络模型得到的预测增强图像与样本增强图像之间的颜色相对应。对于预测增强图像与样本增强图像，可以将图像的RGB值，视为空间上的向量，从而计算预测增强图像与样本增强图像对应颜色通道向量之间的夹角，夹角越小，说明向量之间的方向越接近。
在一实施例中，比如，可以采用F(Ii)表示预测增强图像，采用
Figure GDA0003008715040000161
表示样本增强图像，颜色损失函数
Figure GDA0003008715040000162
的计算公式可以如下：
Figure GDA0003008715040000163
在一实施例中，目标损失函数可以包括重构损失函数、局部平滑损失函数、以及颜色损失函数，比如，可以采用
Figure GDA0003008715040000174
表示重构损失函数，采用
Figure GDA0003008715040000171
表示局部平滑损失函数，采用
Figure GDA0003008715040000172
表示颜色损失函数，采用L表示目标损失函数。其中，可以采用ωr表示重构损失函数在训练中所占的权重，采用ωs表示局部平滑损失函数在训练中所占的权重，采用ωc表示颜色损失函数在训练中所占的权重。目标损失函数的计算公式可以如下所示：
Figure GDA0003008715040000173
在一实施例中，比如，可以使得图像增强网络模型训练过程中，ωr＝1，ωs＝2，ωc＝3。
303、基于损失信息对预测增强图像与样本增强图像进行收敛，得到训练后图像增强网络模型。
在实际应用中，可以基于损失信息对预测增强图像与样本增强图像进行收敛，并得到训练后图像增强网络模型。
在一实施例中，比如，可以采用损失函数，对预测增强图像与样本增强图像进行收敛，通过降低预测增强图像与样本增强图像之间的误差，进行不断的训练，以调整权重至合适数值，便可得到训练后图像增强网络模型。
通过图像增强方法对网络模型进行训练，并采用训练后的网络模型进行图像的增强，可以加快网络运行的速度，提升图像增强的效率，并且不损害增强的效果，提升图像增强的准确率。
采用上述方法训练出的网络模型可以通过对光照进行约束，从而实现图像增强效果的自定义，比如，可以通过增强局部平滑光照来增强对比度，通过限制光照大小来设置首选曝光级别，等等。
在一实施例中，该图像增强方法还可以通过调整损失函数中对光照图的约束，使得用户能够根据个人喜好对图像进行调整，比如图像的亮暗、图像中颜色的鲜艳程度等等。
在一实施例中，该图像增强方法还可以通过增加图像去噪处理以及对图像完全丢失细节的补充生成处理，以获得增强效果更好的图像。
该图像增强方法可以广泛应用在各种拍摄条件中，对于白天暗光不足、背光拍摄的图像或者夜晚的原始图像，都可以运用该图像增强方法进行增强。还可以在拍照的时候解决部分光照不均匀的问题。如图8所示，可以将原始图像输入，通过该图像增强方法可以直接得到增强后的目标图像。对于1080P的高清大图也可以实时进行图像增强处理，因此，该图像增强方法也可以拓展到对于视频中的图像进行图像增强。
该图像增强方法可以生成高质量的图像，增强后图像具体表现在图像细节清晰、对比度明显、曝光适中、不会产生局部过曝或者过暗等问题，同时图像的颜色方面更加鲜艳，更加美观。该图像增强方法可以处理不同像素的图像，比如，可以对1080P大小的图像进行实时的增强，还可以处理单反相机拍摄的分辨率4k的图像。
在一实施例中，将本申请的图像增强方法与五种最新的图像增强方法进行正确率的比较，五种最新的图像增强方法包括基于Retinex的图像增强方法JieP、基于深度学习的图像增强方法HDRNet、DPE、White-Box以及Distort-and-Recover。对于以上方法都采用推荐的参数进行公开实验，并分别得到图像增强结果，其中，对于四种基于深度学习的图像增强方法，都在特殊条件数据集和标准条件数据集上进行了重新的训练。实验结果表明，本申请的图像增强方法正确率大约为其他方法正确率的三倍。
在一实施例中，还进行了本申请图像增强方法与其他图像增强方法之间的视觉比较。使用了两张特殊的图像进行视觉对比，其中一张为曝光不均匀的图像，该图像中包括难以察觉的风车细节(该图像来自特殊条件数据集)，另一张为整体低光的图像，该图像中包括少量的肖像细节(该图像来自标准条件数据集)。将这两张图像分别通过不同的图像增强方法进行图像增强后，进行视觉对比。对比结果显示，本申请的图像增强方法能够在前景和背景中恢复更多的细节，并得到更好的对比度，且不会明显牺牲图像中过度曝光或者曝光不足的部分图像。其次，本申请的图像增强方法能够展现更生动自然的色彩，使得经过图像增强后的图像效果更加逼真。
在一实施例中，为了评估深度学习网络模型的学习效率和泛化能力，可以使用PSNR(Peak Signal to Noise Ratio，峰值信噪比)和SSIM(structural similarityindex，结构相似性)对多种图像增强方法进行度量。为了保证度量结果的准确性，将所有图像增强方法的网络模型都在特殊条件数据集和标准条件数据集上进行重新训练。表一为在特殊条件数据集和标准条件数据集上进行重新训练后，多种图像增强方法之间PSNR和SSIM的比较。表二为在MIT-Adobe Five K Dataset数据集上进行重新训练后，多种图像增强方法之间PSNR和SSIM的比较。如表一和表二所示，本申请的图像增强方法优于其他图像增强方法，说明本申请的图像增强方法不仅能够适用于特殊条件数据集，而且可以推广到MIT-Adobe Five K Dataset数据集。
Figure GDA0003008715040000191
表1
Figure GDA0003008715040000201
表2
由表1和表2所示，通过比较两表中包括三种损失函数的本申请图像增强方法和不包括三种损失函数的本申请图像增强方法发现，本申请图像增强方法在学习图像到光照图的映射优于学习图像到图像的映射。另外，表中还显示了损失函数种类的不同，对结果的改进情况，从而证明了每种损失函数起到的作用。
在一实施例中，还进行了对用户评价的研究，以进行图像增强方法之间的比较。首先从图片分享数据库中通过“City”、“Flower”、“Food”、“Landscape”和“Portrait”等关键字搜索了100张图像，这些图像中超过50％的像素强度低于0.3。然后使用多种图像增强方法对上述图像进行图像增强，并通过参与者对每种图像增强方法对应的增强结果进行评级。为了保证结果的准确性，这些增强结果以随机的方式呈现给参与者。
如图9至图14所示，参与者对图中所示的六个问题分别给出评分，从1分至5分。六个问题分别为“容易辨认出图像中的细节吗？”“图像颜色鲜艳吗？”“结果图像视觉上真实吗？”“结果图像是否没有过度曝光？”“结果图像比输入图像更吸引人吗？”“你的总分是多少？”。每张图显示了特定问题的评分情况。比较结果显示，本申请的图像增强方法获得的高分更多，更受用户的青睐。
由上可知，本申请实施例获取原始图像，对原始图像的特征进行合成处理，得到原始图像对应的第一光照图，第一光照图的分辨率低于原始图像的分辨率，基于第一光照图，获取用于将图像映射成第二光照图的映射关系，基于映射关系对原始图像进行映射处理，得到第二光照图，第二光照图的分辨率与原始图像的分辨率相同，根据第二光照图对原始图像进行图像增强处理，得到目标图像。该方案通过深度学习进行图像增强，提高了图像增强的效率和准确性。还通过对原始图像和标注过的光照图进行回归学习，获取图像增强所需的网络模型，使得网络模型的训练更加容易，网络模型的鲁棒性更强，并且便于对图像进行进一步的操作。同时设计了三种损失函数，提升增强图像在颜色、对比度方面的准确性。并且通过在网络模型训练过程中，对光照图进行约束，使得图像不会产生过度曝光、过度增强的情况。
根据上述实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，如图4所示，将以该图像增强装置具体集成在网络设备中为例进行说明。
401、网络设备获取原始图像。
在实际应用中，网络设备可以获取多种拍摄情况的原始图像进行图像增强，比如，原始图像可以为拍摄时正常曝光的图像、曝光不足的图像、光线不足的图像或者背光的图像等等。而不仅限于对正常曝光的图像进行图像增强，从而扩大了图像增强方法应用的广泛性。
在实际应用中，网络设备获取原始图像的方式可以有多种，比如，可以从本地存储中获取原始图像，或者从网络侧设备获取原始图像，等等。
在一实施例中，比如，网络设备还可以在通过摄像设备采集图像时，选择当前采集到的图像作为原始图像。又比如，当通过摄像设备采集图像并在图像拍摄界面(如图像预览界面)中显示时，可以截取当前界面显示的图像作为原始图像，等等。
在一实施例中，网络设备还可以从本地或者外部存储单元中获取原始图像；比如，还可以从本地图像数据库中获取原始图像。
402、网络设备对原始图像的特征进行合成处理，得到原始图像对应的低分辨率光照图。
由于目前采用深度学习的方法对图像进行图像增强时，通常是采用原始图像到标注图像进行回归学习得到的网络模型进行图像增强操作，但是这样的方法，会使得网络模型的学习效率低，网络模型的鲁棒性不强，并且在图像对比度方面也存在缺陷。
在实际应用中，网络设备可以采用原始图像到光照图进行回归学习得到的图像增强网络模型，进行图像增强操作。采用原始图像到光照图进行回归学习得到的图像增强网络模型，网络模型的学习效率高，网络模型的鲁棒性强，并且容易对图像进行更近一步的操作。
该图像增强方法可以适用于图像增强网络模型。图像增强网络模型采用原始图像到光照图之间的映射关系，替代原始图像到标注图像之间的映射关系。这种方式的优势在于，原始图像到光照图之间的映射，通常具有相对简单的形式和已知的先验。因此，使得该图像增强网络模型具有较强的泛化能力，能够有效处理复杂摄影条件下获取的不同情况的原始图像。
在实际应用中，原始图像对应的低分辨率光照图可以通过特征合成得到。网络设备可以首先提取出原始图像的特征，并对该提取出的特征进行特征合成，生成低分辨率光照图。
其中，由于在传统方法中，通常采用调整图像直方图分布曲线的方法，从全局上对图像进行增强，但是这种方法会导致局部光亮、过曝、过暗等问题，并且生成的图像颜色不会很鲜艳。
又由于增强曝光不足的图像需要同时对图像的局部特征(比如对比度、细节清晰度、阴影和高光，等等)和全局特征(比如颜色分布、平均亮度和场景类别等等)进行调整。因此，可以通过分别提取出原始图像的局部特征和全局特征，来提高图像增强的准确性。
在实际应用中，网络设备可以将原始图像输入卷积网络中，提取出原始图像的局部特征和全局特征，之后将提取出的局部特征和全局特征进行特征合成，得到低分辨率光照图。
其中，为了提高图像特征提取的准确性，可以采用网络模型对图像的特征进行提取。
其中，如图6所示，卷积网络可以包括初级特征提取网络、局部特征提取网络和全局特征提取网络，其中，局部特征提取网络和全局特征提取网络并联，并与初级特征提取网络串联。
在实际应用中，网络设备可以将原始图像输入包括预训练好的VGG16网络结构的初级特征提取网络中，提取出原始图像的初级特征，之后将初级特征同时输入并联的局部特征提取网络和全局特征提取网络中，提取出局部特征和全局特征，该局部特征提取网络包括两层卷积层，该全局特征提取网络包括两层卷积层和三层全连接层。
为了能够实时处理高分辨率图像，可以使得大多数网络计算都在低分辨率中完成，可以通过下采样的方式对图像进行分辨率的转换。
在实际应用中，网络设备可以在原始图像像素构成的矩阵中，获取一个预设尺寸s*s的矩阵，之后将预设尺寸矩阵内的像素变成一个像素，这个像素可以根据预设规则进行获取，比如这个像素可以是预设尺寸矩阵内所有像素的均值。将整张原始图像的像素都进行变换后，可以得到下采样后的低分辨率输入图像。之后可以将该低分辨率输入图像输入到卷积网络中进行特征提取，以及进行后续的步骤。
403、网络设备基于低分辨率光照图，获取用于将图像映射成第二光照图的映射变换矩阵。
比如，网络设备可以对低分辨率光照图的像素进行空域和值域的采样，得到采样后的像素，之后找到对应像素在网格中的位置，并进行网格差值运算，得到映射变换矩阵。
404、网络设备基于映射变换矩阵对原始图像进行映射处理，得到原分辨率光照图。
其中，为了提高图像增强的准确性，可以通过双边网格的方式，对原始图像进行映射处理。
在实际应用中，如图7所示，网络设备可以根据低分辨率光照图，得到映射变换矩阵，之后可以通过这种映射关系，对原始图像进行映射处理，得到映射后的图像，该映射后的图像为一种低分辨率图像。之后可以对该映射后图像进行双边网格上采样操作，在映射后图像像素的基础上，在像素点之间采用合适的插值算法插入新的元素，得到原分辨率光照图。
405、网络设备根据原分辨率光照图对原始图像进行图像增强处理，得到目标图像。
其中，可以将图像的增强问题看作是寻找原始图像与目标图像之间映射关系的问题。采用
Figure GDA0003008715040000241
代表目标图像对应的矩阵，采用I代表原始图像对应的矩阵，采用函数F代表原始图像与目标图像之间的映射函数，那么映射函数F可以通过下式进行表示：
Figure GDA0003008715040000242
由于目标图像、原始图像和原分辨率光照图之间存在关系，可以采用S表示原分辨率光照图对应的矩阵，采用
Figure GDA0003008715040000243
表示目标图像对应的矩阵，采用I代表原始图像对应的矩阵，那么目标图像、原始图像和原分辨率光照图之间的关系如下式所示：
Figure GDA0003008715040000244
因此，网络设备可以通过原始图像和原分辨率光照图，获得目标图像。根据原始图像I和原分辨率光照图S，获得目标图像
Figure GDA0003008715040000245
如下式所示：
F(I)＝S-1·I
在实际应用中，如图7所示，网络设备首先获取原始图像，并对原始图像进行下采样，得到256x256像素的低分辨率输入图像。之后将该低分辨率输入图像输入至包括预训练好的VGG16网络模型的初级特征提取网络中，提取原始图像的初级特征，之后将该初级特征分别输入并联的局部特征提取网络和全局特征提取网络中，提取出局部特征和全局特征，并将局部特征和全局特征进行合并操作，得到低分辨率光照图。之后通过双边网格上采样，得到映射变换矩阵，并根据映射变换矩阵，得到原分辨率光照图。最后通过公式
Figure GDA0003008715040000251
得到目标图像。通过这种方式增强图像，可以加速图像增强的过程，从而提高图像增强的效率。
在实际应用中，该图像增强方法还包括图像增强网络模型的训练过程，该图像增强方法还包括如下流程：
A、网络设备基于图像增强网络模型和训练图像，获取训练图像对应的预测增强图像。
在实际应用中，网络设备可以将训练图像输入图像增强网络模型中，获取到训练图像对应的预测增强图像，其中，通过该图像增强网络模型进行训练图像的图像增强方法，与通过该图像增强网络模型进行原始图像的图像增强方法相同，上文已经叙述，此处不再赘述。
在实际应用中，网络设备还可以通过对训练图像进行随机裁剪的方式，提高训练样本的多样性。将训练图像随机裁剪为多张512x512尺寸的图像，以增加样本的多样性。
其中，可以通过提高训练图像的多样性，提高网络模型的准确性。训练图像中可以包括多种拍摄情况的图像，比如正常曝光、曝光不足、光线不足或者背光等多种情况的图像，根据这样的训练图像训练出的网络模型，能够适应不同实际拍摄情况下获取的图像。
在实际应用中，网络设备可以通过获取标准条件数据集、以及特殊条件数据集，并根据标准条件数据集以及特殊条件数据集，构建包括多种拍摄类型的训练图像。标准条件数据集为包括正常曝光图像的数据集，该标准条件数据集使用MIT-Adobe Five KDataset，数据集中训练样本的标注选择专家C的标注。但是由于标准条件数据集的创建主要是为了增强一般图像，而不是曝光不足的图像，标准条件数据集中只包括很小的一部分(约4％)的未曝光图像，因此标准条件数据集中缺乏特殊拍摄条件的情况，比如夜间拍摄的图像和在非均匀光照情况下获取的图像等等。为了增加样本的多样性，引入特殊条件数据集。
其中，特殊条件数据集为包括非正常曝光图像的数据集，比如，特殊条件数据集中可以包括曝光不足、光线不足、背光等特殊拍摄条件下获取的图像等等。这种特殊条件数据集可以包括多样的拍摄情况、场景、主题和样式等。通过增加特殊条件数据集，可以对标准条件数据集中缺乏的图像种类进行补充。
根据标准条件数据集以及特殊条件数据集构建的训练图像，进行网络模型的训练，可以使得训练后的网络模型适应多种拍摄情况，从而提高了图像增强的准确性。
B、网络设备基于目标损失函数获取预测增强图像与样本增强图像之间的损失信息。
在实际应用中，网络设备可以通过目标损失函数，对预测增强图像与样本增强图像之间的损失信息进行获取，该损失信息可以为预测增强图像与样本增强图像之间的差异，通过网络模型的训练可以减少该损失信息。
目前通常通过调整图像的光照图，进行光照图的局部平滑优化操作，来增强图像。但是这种方法会造成一些光环的人工痕迹，以及图像局部过度曝光的情况，导致图像过度增强。因此，可以设计一种包括重构损失函数、局部平滑损失函数、以及颜色损失函数的目标损失函数，通过对于光照图进行约束，使得图像不会产生过度曝光，过度增强的情况。
在实际应用中，目标损失函数包括重构损失函数、局部平滑损失函数、以及颜色损失函数，采用
Figure GDA0003008715040000261
表示重构损失函数，采用
Figure GDA0003008715040000262
表示局部平滑损失函数，采用
Figure GDA0003008715040000263
表示颜色损失函数，采用L表示目标损失函数。采用ωr表示重构损失函数在训练中所占的权重，采用ωs表示局部平滑损失函数在训练中所占的权重，采用ωc表示颜色损失函数在训练中所占的权重。目标损失函数的计算公式如下所示：
Figure GDA0003008715040000264
在实际应用中，使得图像增强网络模型训练过程中，ωr＝1，ωs＝2，ωc＝3。
在实际应用中，网络设备采用S表示预测增强图像对应的原分辨率光照图矩阵，采用
Figure GDA0003008715040000265
表示样本增强图像，采用Ii表示训练图像，可以通过预测增强图像对应的原分辨率光照图矩阵S和样本增强图像
Figure GDA0003008715040000271
相乘，计算与训练图像Ii之间欧式距离误差度量，以得到重构损失函数。重构损失函数
Figure GDA0003008715040000272
的公式可以如下：
Figure GDA0003008715040000273
其中，多通道光照范围可以为(Ii)c≤(S)c≤1，样本增强图像
Figure GDA0003008715040000274
和训练图像Ii中的所有像素通道都被标准化为[0,1]。()c∈{r,g,b}表示像素颜色的通道，可以包括RGB(红绿蓝)三种像素颜色通道。由于F(Ii)＝S-1×Ii，可以将Ii设为S的下限，以确保图像经过图像增强后F(Ii)的所有颜色通道都以1为上限，以此避免颜色超出色域。而将1设置为S的上限，可以避免错误地使曝光不足的区域变暗。
在实际应用中，网络设备还可以对重构损失函数中光照图的约束范围进行调整，以满足不同情况的实际需求。网络设备通过对S添加不同的约束，以调节图像的亮暗程度、图像的颜色鲜艳程度，等等。
通过重构损失函数，可以使得获得的增强后图像更加清晰，以及使得图像对比度更好。但是目标函数中仅仅包括重构损失函数，仍然存在无法正确生成图像对比度细节和图像准确颜色的风险。
由于在传统方法里，通常利用调整图像的直方图分布曲线，以及利用优化图像的光照图局部平滑，来进行图像增强，但是这类方法通常使用单通道的光照图进行图像增强，会导致对于图像颜色的把控出现偏差，在图像颜色增强的方面出现欠缺。
因此，可以通过对图像的RGB三通道同时进行优化，并利用网络模型的学习能力，对光照图进行学习的方式，提高图像增强的准确性。
其中，局部平滑损失函数可以获取图像的平滑度损失信息，该局部平滑损失函数可以通过对图像像素三通道进行求和获取。
在实际应用中，网络设备通过对图像像素三通道求和获取局部平滑损失函数，采用p表示图像像素，采用S表示光照图，局部平滑损失函数
Figure GDA0003008715040000277
的计算公式可以如下：
Figure GDA0003008715040000275
其中，网络设备对像素的三通道进行求和得到局部平滑损失函数
Figure GDA0003008715040000276
采用
Figure GDA0003008715040000281
和
Figure GDA0003008715040000282
表示图像空间水平和垂直方向的偏导数，采用
Figure GDA0003008715040000283
和
Figure GDA0003008715040000284
表示像素三通道空间变化的平滑度权重，
Figure GDA0003008715040000285
和
Figure GDA0003008715040000286
计算公式可以如下：
Figure GDA0003008715040000287
其中，Li是训练图像Ii的对数图像，θ＝1.2是控制图像灵敏度的参数，ε是一个常量，通常设置为0.0001，以防止被零除。
其中，采用局部平滑损失函数对网络模型进行训练，可以减少过拟合，提高网络模型的泛化能力，还可以恢复良好的图像对比度和图像中更清晰的细节。
虽然重构损失函数中已经隐式地测量了色差的欧式距离，但是欧式距离的度量仅可以对色差进行数值上的测量，而无法保证颜色向量方向一致，因此可能导致明显的颜色不匹配。为了准确还原图像中颜色信息，还可以引入颜色损失函数。
其中，颜色损失函数可以获取图像的颜色损失信息，颜色损失函数可以通过计算图像像素三通道构成的向量夹角来获取。
在实际应用中，网络设备可以通过图像像素三通道构成的向量夹角获取颜色损失函数，比如，可以通过颜色损失函数使得经过网络模型得到的预测增强图像与样本增强图像之间的颜色相对应。对于预测增强图像与样本增强图像，可以将图像的RGB值，视为空间上的向量，从而计算预测增强图像与样本增强图像对应颜色通道向量之间的夹角，夹角越小，说明向量之间的方向越接近。
在实际应用中，采用F(Ii)表示预测增强图像，采用
Figure GDA0003008715040000288
表示样本增强图像，颜色损失函数
Figure GDA0003008715040000289
的计算公式可以如下：
Figure GDA00030087150400002810
C、网络设备基于损失信息对预测增强图像与样本增强图像进行收敛，得到训练后图像增强网络模型。
在实际应用中，网络设备可以基于损失信息对预测增强图像与样本增强图像进行收敛，并得到训练后图像增强网络模型。
在实际应用中，网络设备可以采用重构损失函数、局部平滑损失函数、以及颜色损失函数，对预测增强图像与样本增强图像进行收敛，通过降低预测增强图像与样本增强图像之间的误差，进行不断的训练，以调整权重至合适数值，便可得到训练后图像增强网络模型。
通过图像增强方法对网络模型进行训练，并采用训练后的网络模型进行图像的增强，可以加快网络运行的速度，提升图像增强的效率，并且不损害增强的效果，提升图像增强的准确率。
采用上述方法训练出的网络模型可以通过对光照进行约束，从而实现图像增强效果的自定义，比如，可以通过增强局部平滑光照来增强对比度，通过限制光照大小来设置首选曝光级别，等等。
在一实施例中，该图像增强方法还可以通过调整损失函数中对光照图的约束，使得用户能够根据个人喜好对图像进行调整，比如图像的亮暗、图像中颜色的鲜艳程度等等。
在一实施例中，该图像增强方法还可以通过增加图像去噪处理以及对图像完全丢失细节的补充生成处理，以获得增强效果更好的图像。
在实际应用中，该图像增强方法需要拥有一个满足性能要求的图形处理器(GPU)，并且需要配置好TensorFlow深度学习平台，在该深度学习平台上可以对图像增强方法进行直接的运行。
该图像增强方法可以广泛应用在各种拍摄条件中，对于白天暗光不足、背光拍摄的图像或者夜晚的原始图像，都可以运用该图像增强方法进行增强。还可以在拍照的时候解决部分光照不均匀的问题。如图8所示，可以将原始图像输入，通过该图像增强方法可以直接得到增强后的目标图像。对于1080P的高清大图也可以实时进行图像增强处理，因此，该图像增强方法也可以拓展到对于视频中的图像进行图像增强。
该图像增强方法可以生成高质量的图像，增强后图像具体表现在图像细节清晰、对比度明显、曝光适中、不会产生局部过曝或者过暗等问题，同时图像的颜色方面更加鲜艳，更加美观。该图像增强方法可以处理不同像素的图像，比如，可以对1080P大小的图像进行实时的增强，还可以处理单反相机拍摄的分辨率4k的图像。
由上可知，本申请实施例通过网络设备获取原始图像，对原始图像的特征进行合成处理，得到原始图像对应的低分辨率光照图，基于低分辨率光照图，获取用于将图像映射成第二光照图的映射变换矩阵，基于映射变换矩阵对原始图像进行映射处理，得到原分辨率光照图，根据原分辨率光照图对原始图像进行图像增强处理，得到目标图像。该方案通过深度学习进行图像增强，提高了图像增强的效率和准确性。还通过对原始图像和标注过的光照图进行回归学习，获取图像增强所需的网络模型，使得网络模型的训练更加容易，网络模型的鲁棒性更强，并且便于对图像进行进一步的操作。同时设计了三种损失函数，提升增强图像在颜色、对比度方面的准确性。并且通过在网络模型训练过程中，对光照图进行约束，使得图像不会产生过度曝光、过度增强的情况。
为了更好地实施以上方法，本申请实施例还提供一种图像增强装置，该图像增强装置具体可以集成在网络设备中。
例如，如图15所示，该图像增强装置可以包括获取模块151、特征合成模块152、映射关系获取模块153、映射模块154和图像增强模块155，如下：
获取模块151，用于获取原始图像；
特征合成模块152，用于对所述原始图像的特征进行合成处理，得到所述原始图像对应的第一光照图，所述第一光照图的分辨率低于所述原始图像的分辨率；
映射关系获取模块153，用于基于所述第一光照图，获取用于将图像映射成第二光照图的映射关系；
映射模块154，用于基于所述映射关系对所述原始图像进行映射处理，得到第二光照图，所述第二光照图的分辨率与所述原始图像的分辨率相同；
图像增强模块155，用于根据所述第二光照图对所述原始图像进行图像增强处理，得到目标图像。
在一实施例中，参考图16，所述特征合成模块152，可以包括：
特征提取子模块1521，用于基于卷积网络提取所述原始图像的局部特征和全局特征；
特征合成子模块1522，用于对所述局部特征和所述全局特征进行特征合成，得到所述原始图像对应的第一光照图。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本申请实施例通过获取模块151获取原始图像，通过特征合成模块152对原始图像的特征进行合成处理，得到原始图像对应的第一光照图，第一光照图的分辨率低于原始图像的分辨率，通过映射关系获取模块153基于第一光照图，获取用于将图像映射成第二光照图的映射关系，通过映射模块154基于映射关系对原始图像进行映射处理，得到第二光照图，第二光照图的分辨率与原始图像的分辨率相同，通过图像增强模块155根据第二光照图对原始图像进行图像增强处理，得到目标图像。该方案通过深度学习进行图像增强，提高了图像增强的效率和准确性。还通过对原始图像和标注过的光照图进行回归学习，获取图像增强所需的网络模型，使得网络模型的训练更加容易，网络模型的鲁棒性更强，并且便于对图像进行进一步的操作。同时设计了三种损失函数，提升增强图像在颜色、对比度方面的准确性。并且通过在网络模型训练过程中，对光照图进行约束，使得图像不会产生过度曝光、过度增强的情况。
本申请实施例还提供一种网络设备，该网络设备可以为服务器或终端等设备，其集成了本申请实施例所提供的任一种图像增强装置。如图17所示，图17是本申请实施例提供的网络设备的结构示意图，具体来讲：
该网络设备可以包括一个或者一个以上处理核心的处理器171、一个或一个以上计算机可读存储介质的存储器172、电源173和输入单元174等部件。本领域技术人员可以理解，图17中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器171是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器172内的软件程序和/或模块，以及调用存储在存储器172内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器171可包括一个或多个处理核心；优选的，处理器171可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器171中。
存储器172可用于存储软件程序以及模块，处理器171通过运行存储在存储器172的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器172可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器172可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器172还可以包括存储器控制器，以提供处理器171对存储器172的访问。
网络设备还包括给各个部件供电的电源173，优选的，电源173可以通过电源管理系统与处理器171逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源173还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该网络设备还可包括输入单元174，该输入单元174可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器171会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器172中，并由处理器171来运行存储在存储器172中的应用程序，从而实现各种功能，如下：
获取原始图像，对原始图像的特征进行合成处理，得到原始图像对应的第一光照图，第一光照图的分辨率低于原始图像的分辨率，基于第一光照图，获取用于将图像映射成第二光照图的映射关系，基于映射关系对原始图像进行映射处理，得到第二光照图，第二光照图的分辨率与原始图像的分辨率相同，根据第二光照图对原始图像进行图像增强处理，得到目标图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本申请实施例获取原始图像，对原始图像的特征进行合成处理，得到原始图像对应的第一光照图，第一光照图的分辨率低于原始图像的分辨率，基于第一光照图，获取用于将图像映射成第二光照图的映射关系，基于映射关系对原始图像进行映射处理，得到第二光照图，第二光照图的分辨率与原始图像的分辨率相同，根据第二光照图对原始图像进行图像增强处理，得到目标图像。该方案通过深度学习进行图像增强，提高了图像增强的效率和准确性。还通过对原始图像和标注过的光照图进行回归学习，获取图像增强所需的网络模型，使得网络模型的训练更加容易，网络模型的鲁棒性更强，并且便于对图像进行进一步的操作。同时设计了三种损失函数，提升增强图像在颜色、对比度方面的准确性。并且通过在网络模型训练过程中，对光照图进行约束，使得图像不会产生过度曝光、过度增强的情况。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像增强方法中的步骤。例如，该指令可以执行如下步骤：
获取原始图像，对原始图像的特征进行合成处理，得到原始图像对应的第一光照图，第一光照图的分辨率低于原始图像的分辨率，基于第一光照图，获取用于将图像映射成第二光照图的映射关系，基于映射关系对原始图像进行映射处理，得到第二光照图，第二光照图的分辨率与原始图像的分辨率相同，根据第二光照图对原始图像进行图像增强处理，得到目标图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像增强方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像增强方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种图像增强方法、装置及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像增强方法，其特征在于，包括：
获取原始图像；
对所述原始图像的特征进行合成处理，得到所述原始图像对应的第一光照图，所述第一光照图的分辨率低于所述原始图像的分辨率；
基于所述第一光照图，获取用于将图像映射成第二光照图的映射关系，所述映射关系用于将所述原始图像映射为光照图；
基于所述映射关系对所述原始图像进行映射处理，得到第二光照图，所述第二光照图的分辨率与所述原始图像的分辨率相同；
根据所述第二光照图对所述原始图像进行图像增强处理，得到目标图像。
2.根据权利要求1所述的图像增强方法，其特征在于，对所述原始图像的特征进行合成处理，得到所述原始图像对应的第一光照图，包括：
基于卷积网络提取所述原始图像的局部特征和全局特征；
对所述局部特征和所述全局特征进行特征合成，得到所述原始图像对应的第一光照图。
3.根据权利要求2所述的图像增强方法，其特征在于，基于卷积网络提取所述原始图像的局部特征和全局特征，包括：
将所述原始图像输入至卷积网络，其中，所述卷积网络包括初级特征提取网络、局部特征提取网络和全局特征提取网络，其中，局部特征提取网络和全局特征提取网络并联，并与初级特征提取网络串联；
基于所述初级特征提取网络对所述原始图像进行卷积运算，提取出所述原始图像的初级特征；
基于所述局部特征提取网络对所述初级特征进行卷积运算，提取出局部特征；
基于所述全局特征提取网络对所述初级特征进行卷积运算，提取出全局特征。
4.根据权利要求1所述的图像增强方法，其特征在于，对所述原始图像的特征进行合成处理，得到所述原始图像对应的第一光照图，包括：
对所述原始图像的像素进行下采样，得到输入图像；
对所述输入图像的特征进行合成处理，得到所述原始图像对应的第一光照图。
5.根据权利要求1所述的图像增强方法，其特征在于，基于所述映射关系对所述原始图像进行映射处理，得到第二光照图，包括：
基于所述映射关系对所述原始图像进行映射处理，得到映射后图像；
对所述映射后图像进行上采样，得到第二光照图。
6.根据权利要求1所述的图像增强方法，其特征在于，所述图像增强方法适用于图像增强网络模型；
所述方法还包括：
基于所述图像增强网络模型和训练图像，获取所述训练图像对应的预测增强图像；
基于重构损失函数获取所述预测增强图像与样本增强图像之间的对比度损失信息，所述样本增强图像为所述训练图像对应的增强图像；
基于所述对比度损失信息对所述预测增强图像与所述样本增强图像进行收敛，得到训练后图像增强网络模型。
7.根据权利要求1所述的图像增强方法，其特征在于，所述图像增强方法适用于图像增强网络模型；
所述方法还包括：
基于所述图像增强网络模型和训练图像，获取所述训练图像对应的预测增强图像；
基于局部平滑损失函数获取所述预测增强图像与样本增强图像之间的平滑度损失信息，所述样本增强图像为所述训练图像对应的增强图像；
基于所述平滑度损失信息对所述预测增强图像与所述样本增强图像进行收敛，得到训练后图像增强网络模型。
8.根据权利要求1所述的图像增强方法，其特征在于，所述图像增强方法适用于图像增强网络模型；
所述方法还包括：
基于所述图像增强网络模型和训练图像，获取所述训练图像对应的预测增强图像；
基于颜色损失函数获取所述预测增强图像与样本增强图像之间的颜色损失信息，所述样本增强图像为所述训练图像对应的增强图像；
基于所述颜色损失信息对所述预测增强图像与所述样本增强图像进行收敛，得到训练后图像增强网络模型。
9.一种图像增强装置，其特征在于，包括：
获取模块，用于获取原始图像；
特征合成模块，用于对所述原始图像的特征进行合成处理，得到所述原始图像对应的第一光照图，所述第一光照图的分辨率低于所述原始图像的分辨率；
映射关系获取模块，用于基于所述第一光照图，获取用于将图像映射成第二光照图的映射关系，所述映射关系用于将所述原始图像映射为光照图；
映射模块，用于基于所述映射关系对所述原始图像进行映射处理，得到第二光照图，所述第二光照图的分辨率与所述原始图像的分辨率相同；
图像增强模块，用于根据所述第二光照图对所述原始图像进行图像增强处理，得到目标图像。
10.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-8任一项所述的图像增强方法。
11.一种网络设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至8任一项所述的图像增强方法中的步骤。
CN201910148574.6A 2019-02-28 2019-02-28 一种图像增强方法、装置及存储介质 Active CN109919869B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910148574.6A CN109919869B (zh) 2019-02-28 2019-02-28 一种图像增强方法、装置及存储介质
PCT/CN2020/075472 WO2020173320A1 (zh) 2019-02-28 2020-02-17 一种图像增强方法、装置及存储介质
US17/324,336 US11790497B2 (en) 2019-02-28 2021-05-19 Image enhancement method and apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910148574.6A CN109919869B (zh) 2019-02-28 2019-02-28 一种图像增强方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109919869A CN109919869A (zh) 2019-06-21
CN109919869B true CN109919869B (zh) 2021-06-04

Family

ID=66962576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910148574.6A Active CN109919869B (zh) 2019-02-28 2019-02-28 一种图像增强方法、装置及存储介质

Country Status (3)

Country Link
US (1) US11790497B2 (zh)
CN (1) CN109919869B (zh)
WO (1) WO2020173320A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919869B (zh) * 2019-02-28 2021-06-04 腾讯科技（深圳）有限公司 一种图像增强方法、装置及存储介质
CN110838084B (zh) * 2019-09-24 2023-10-17 咪咕文化科技有限公司 一种图像的风格转移方法、装置、电子设备及存储介质
CN110766682A (zh) * 2019-10-29 2020-02-07 慧影医疗科技（北京）有限公司 肺结核定位筛查装置及计算机设备
CN111145097B (zh) * 2019-12-31 2023-09-01 华为技术有限公司 图像处理方法、装置和图像处理系统
CN115004219A (zh) * 2020-01-07 2022-09-02 Oppo广东移动通信有限公司 调整获取图像的方法和电子装置
CN118710571A (zh) * 2020-02-19 2024-09-27 华为技术有限公司 图像增强方法以及图像增强装置
CN111654746B (zh) * 2020-05-15 2022-01-21 北京百度网讯科技有限公司 视频的插帧方法、装置、电子设备和存储介质
CN111626954B (zh) * 2020-05-22 2022-05-06 兰州理工大学 壁画图像色彩还原方法、装置、存储介质及计算机设备
CN112232307B (zh) * 2020-11-20 2022-07-05 四川轻化工大学 夜视环境下的安全帽佩戴检测方法
CN112330788A (zh) * 2020-11-26 2021-02-05 北京字跳网络技术有限公司 图像处理方法、装置、可读介质及电子设备
CN112435197A (zh) * 2020-12-02 2021-03-02 携程计算机技术（上海）有限公司 图像美化方法、装置、电子设备和存储介质
KR20220114209A (ko) * 2021-02-08 2022-08-17 삼성전자주식회사 연사 영상 기반의 영상 복원 방법 및 장치
CN115018715A (zh) * 2021-03-05 2022-09-06 上海肇观电子科技有限公司 图像处理方法、电子设备及计算机可读存储介质
CN113421269B (zh) * 2021-06-09 2024-06-07 南京瑞易智能科技有限公司 一种基于双分支深度卷积神经网络的实时语义分割方法
CN113436105A (zh) * 2021-06-30 2021-09-24 北京百度网讯科技有限公司 模型训练和图像优化方法、装置、电子设备及存储介质
CN113436107B (zh) * 2021-07-05 2023-06-20 鹏城实验室 图像增强方法、智能设备、计算机存储介质
CN113505848B (zh) * 2021-07-27 2023-09-26 京东科技控股股份有限公司 模型训练方法和装置
CN113643202B (zh) * 2021-07-29 2024-07-12 南京景曜智能科技有限公司 一种基于噪声注意力图指导的微光图像增强方法
CN113744169A (zh) * 2021-09-07 2021-12-03 讯飞智元信息科技有限公司 图像增强方法、装置、电子设备和存储介质
CN114266705A (zh) * 2021-11-04 2022-04-01 山东师范大学 低光图像增强方法及系统
CN114170095A (zh) * 2021-11-22 2022-03-11 西安理工大学 Transformers与CNN结合的低照度图像增强方法
CN114255193A (zh) * 2021-12-28 2022-03-29 湖南云箭智能科技有限公司 一种板卡图像增强方法、装置、设备及可读存储介质
CN114511462B (zh) * 2022-02-11 2023-04-18 电子科技大学 一种视觉图像增强方法
CN114693545A (zh) * 2022-02-15 2022-07-01 北京大学 一种基于曲线族函数的低光照增强方法及系统
CN114708250B (zh) * 2022-04-24 2024-06-07 上海人工智能创新中心 一种图像处理方法、装置及存储介质
CN115018729B (zh) * 2022-06-17 2024-04-02 重庆米弘科技有限公司 一种面向内容的白盒图像增强方法
CN115082427B (zh) * 2022-07-20 2022-11-11 山东智领新材料有限公司 基于人工智能的铝材压延工艺参数控制方法
CN115423809B (zh) * 2022-11-04 2023-04-07 江西电信信息产业有限公司 图像质量评价方法、装置、可读存储介质及电子设备
CN116188332B (zh) * 2023-04-27 2023-07-28 深圳思谋信息科技有限公司 一种图像处理方法、装置、设备及存储介质
CN117078561B (zh) * 2023-10-13 2024-01-19 深圳市东视电子有限公司 基于rgb的自适应颜色校正与对比度增强方法及装置
CN117372307B (zh) * 2023-12-01 2024-02-23 南京航空航天大学 一种多无人机协同探测分布式图像增强方法
CN118279881B (zh) * 2024-05-30 2024-08-30 名商科技有限公司 用于驾驶员疲劳状态和注意力集中度的监测方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102399A (zh) * 2007-07-26 2008-01-09 上海交通大学 带有去噪功能的实时数字图像处理增强方法
CN105096278A (zh) * 2015-09-22 2015-11-25 南阳理工学院 基于光照调整的图像增强方法和设备
CN109102468A (zh) * 2018-06-27 2018-12-28 广州视源电子科技股份有限公司 图像增强方法、装置、终端设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009012659A1 (en) * 2007-07-26 2009-01-29 Omron Corporation Digital image processing and enhancing system and method with function of removing noise
CN101102398B (zh) * 2007-07-26 2010-05-19 上海交通大学 全自动的实时数字图像处理增强系统
US9836820B2 (en) * 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
CN108021933B (zh) * 2017-11-23 2020-06-05 深圳市华尊科技股份有限公司 神经网络识别装置及识别方法
CN108305236B (zh) * 2018-01-16 2022-02-22 腾讯科技（深圳）有限公司 图像增强处理方法及装置
CN108764250B (zh) * 2018-05-02 2021-09-17 西北工业大学 一种运用卷积神经网络提取本质图像的方法
CN109086656B (zh) * 2018-06-06 2023-04-18 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN108764202B (zh) * 2018-06-06 2023-04-18 平安科技（深圳）有限公司 机场异物识别方法、装置、计算机设备及存储介质
CN109003231B (zh) * 2018-06-11 2021-01-29 广州视源电子科技股份有限公司 一种图像增强方法、装置和显示设备
CN109102483B (zh) * 2018-07-24 2020-12-18 厦门美图之家科技有限公司 图像增强模型训练方法、装置、电子设备及可读存储介质
CN109345485B (zh) * 2018-10-22 2021-04-16 北京达佳互联信息技术有限公司 一种图像增强方法、装置、电子设备及存储介质
CN109919869B (zh) * 2019-02-28 2021-06-04 腾讯科技（深圳）有限公司 一种图像增强方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102399A (zh) * 2007-07-26 2008-01-09 上海交通大学 带有去噪功能的实时数字图像处理增强方法
CN105096278A (zh) * 2015-09-22 2015-11-25 南阳理工学院 基于光照调整的图像增强方法和设备
CN109102468A (zh) * 2018-06-27 2018-12-28 广州视源电子科技股份有限公司 图像增强方法、装置、终端设备及存储介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
De ep Bilateral Learning for Real-Time Image Enhancement;MICHAËL GHARBI等;《ACM Transactions on Graphics》;20170731;第36卷(第4期);第1-12页 *
Deep Retinex Decomposition for Low-Light Enhancement;Chen Wei等;《ResearchGate》;20180831;第1-12页 *
Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images;Jianrui Cai等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20180430;第27卷(第4期);第2049-2062页 *
Learning to See in the Dark;Chen Chen等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181231;第3291-3300页 *
LIME: Low-Light Image Enhancement via Illumination Map Estimation;Xiaojie Guo等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20170228;第26卷(第2期);第982-993页 *
基于卷积神经网络的弱光照图像增强算法;程宇等;《计算机应用》;20181231;第1-10页 *
自适应图像实时增强算法的技术研究;李赓飞;《中国博士学位论文全文数据库 信息科技辑》;20180430(第4期);I138-9 *

Also Published As

Publication number Publication date
WO2020173320A1 (zh) 2020-09-03
US11790497B2 (en) 2023-10-17
CN109919869A (zh) 2019-06-21
US20210272236A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
CN109919869B (zh) 一种图像增强方法、装置及存储介质
Li et al. Low-light image and video enhancement using deep learning: A survey
Liu et al. HoLoCo: Holistic and local contrastive learning network for multi-exposure image fusion
US11037278B2 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
US10762608B2 (en) Sky editing based on image composition
WO2020108358A1 (zh) 图像修复方法、装置、计算机设备和存储介质
CN107516319B (zh) 一种高精度简易交互式抠图方法、存储设备及终端
CN104899845B (zh) 一种基于lαβ空间场景迁移的多曝光图像融合方法
CN113034358B (zh) 一种超分辨率图像处理方法以及相关装置
CN109376256B (zh) 图像搜索方法及装置
WO2018136373A1 (en) Image fusion and hdr imaging
Cheng et al. Zero-shot image super-resolution with depth guided internal degradation learning
WO2023284401A1 (zh) 图像美颜处理方法、装置、存储介质与电子设备
CN111127476A (zh) 一种图像处理方法、装置、设备及存储介质
CN109064525A (zh) 一种图片格式转换方法、装置、设备和存储介质
CN116012232A (zh) 图像处理方法、装置及存储介质、电子设备
US20220398704A1 (en) Intelligent Portrait Photography Enhancement System
CN103685858A (zh) 视频实时处理的方法及设备
CN113034412B (zh) 视频处理方法及装置
CN117689550A (zh) 基于渐进式生成对抗网络的低光图像增强方法及装置
CN112132923A (zh) 一种基于风格小图高清化的两阶段数字图像风格变换方法及系统
Ko et al. IceNet for interactive contrast enhancement
CN113627342B (zh) 视频深度特征提取优化的方法、系统、设备及存储介质
CN106469437A (zh) 图像处理方法和图像处理装置
CN115049558A (zh) 模型训练、人脸图像处理方法及装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant