CN110363720A - 一种图像的色彩增强方法、装置、设备和存储介质 - Google Patents
一种图像的色彩增强方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110363720A CN110363720A CN201910600297.8A CN201910600297A CN110363720A CN 110363720 A CN110363720 A CN 110363720A CN 201910600297 A CN201910600297 A CN 201910600297A CN 110363720 A CN110363720 A CN 110363720A
- Authority
- CN
- China
- Prior art keywords
- image
- original image
- color
- original
- color enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000002708 enhancing effect Effects 0.000 claims abstract description 111
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 230000004927 fusion Effects 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000011282 treatment Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims description 66
- 238000004040 coloring Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 2
- 230000035699 permeability Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- TVZRAEYQIKYCPH-UHFFFAOYSA-N 3-(trimethylsilyl)propane-1-sulfonic acid Chemical compound C[Si](C)(C)CCCS(O)(=O)=O TVZRAEYQIKYCPH-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 241000669244 Unaspis euonymi Species 0.000 description 1
- 239000012491 analyte Substances 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像的色彩增强方法、装置、设备和存储介质。该方法包括：获取待色彩增强的原始图像；对所述原始图像执行前景检测操作，获得所述原始图像对应的前景置信度图像；对所述原始图像执行色彩增强处理，获得所述原始图像对应的普通色彩增强图像；对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到所述原始图像对应的显著色彩增强图像。本发明将前景置信度图像应用到色彩增加中，使得增强后的图像色彩更加鲜明，层次感更加分明。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像的色彩增强方法、装置、设备和存储介质。
背景技术
随着人们观赏水平的不断提升，人们对图像画质的要求也不断提高，不但要求图像画质清晰，还要求图像的色彩鲜艳。由此，色彩增强技术随之产生，色彩增强技术可以对图像进行色彩调整，增加图像的鲜艳度。
目前，可以利用基于深度学习的端到端网络对图像进行色彩增强，得到该图像对应的色彩增强图像。进一步地，可以利用大量数据训练该端到端网络，使该端到端网络对图像进行色彩增强处理，生成图像对应的色彩增强图像。但是，在实际应用中发现，该端到端网络是对图像进行全图色彩增强，并且对全图做相同强度的色彩增强。这就容易导致原图中的背景或者次要景物被增强后反而比主要景物(前景)更鲜艳，从而改变了原图所突出的重点，使得色彩增强图像的层次感差，主次景物不分明。
发明内容
本发明的主要目的在于提供一种图像的色彩增强方法、装置、设备和存储介质，以解决利用现有色彩增强方式获得的色彩增强图像层次感差的问题。
针对上述技术问题，本发明是通过以下技术方案来解决的：
本发明提供了一种图像的色彩增强方法，包括：获取待色彩增强的原始图像；对所述原始图像执行前景检测操作，获得所述原始图像对应的前景置信度图像；对所述原始图像执行色彩增强处理，获得所述原始图像对应的普通色彩增强图像；对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到所述原始图像对应的显著色彩增强图像。
其中，对所述原始图像执行前景检测操作，获得所述原始图像对应的前景置信度图像，包括：将所述原始图像输入预先训练的显著性检测网络；所述显著性检测网络用于检测所述原始图像的前景，输出所述原始图像对应的前景置信度图像；获取所述显著性检测网络输出的所述原始图像对应的前景置信度图像。
其中，对所述原始图像执行色彩增强处理，获得所述原始图像对应的普通色彩增强图像，包括：将所述原始图像输入预先训练的色彩增强网络；所述色彩增强网络用于对所述原始图像进行色彩增强处理，输出所述原始图像对应的普通色彩增强图像；获取所述色彩增强网络输出的所述原始图像对应的普通色彩增强图像。
其中，对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到显著色彩增强图像，包括：叠加所述原始图像、所述前景置信度图像以及所述普通色彩增强图像，得到叠加图像；提取所述叠加图像中的前景背景特征和颜色分布特征；根据所述前景背景特征、所述颜色分布特征以及所述原始图像的像素信息，生成所述显著色彩增强图像。
其中，根据所述前景背景特征、所述颜色分布特征以及所述原始图像的像素信息，生成所述显著色彩增强图像，包括：根据所述前景背景特征和所述原始图像的像素信息，确定所述原始图像中属于前景区域的像素点和所述原始图像中属于背景区域的像素点；根据所述颜色分布特征，确定所述原始图像中前景区域像素点的色调和所述原始图像中背景区域像素点的色调；根据所述前景区域像素点的色调，调整所述前景区域像素点的色彩强度，根据所述背景区域像素点的色调，调整所述背景区域像素点的色彩强度，得到所述显著色彩增强图像；其中，为所述前景区域像素点调整的色彩强度大于为所述背景区域像素点调整的色彩强度。
其中，对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到所述原始图像对应的显著色彩增强图像，包括：将所述原始图像、所述前景置信度图像以及所述普通色彩增强图像以通道并联的方式输入预先训练的融合网络，获取所述融合网络输出的所述原始图像对应的显著色彩增强图像；其中，所述融合网络用于对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理。
其中，所述融合网络包括：四个步幅为2的3×3卷积核、七个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核；其中，所述融合网络从输入端到输出端顺序串联四个步幅为2的3×3卷积核、三个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核；在剩余的四个步幅为1的3×3卷积核中，每个步幅为1的3×3卷积核的两端分别连接位置对应的一个步幅为2的3×3卷积核和一个步幅为2的3×3反卷积核。
其中，在将所述原始图像、所述前景置信度图像以及所述普通色彩增强图像以通道并联的方式输入预先训练的融合网络之前，还包括：训练所述融合网络；其中，在训练所述融合网络之前，获取训练样本集，并对包含多个样本对的训练样本集执行样本处理；所述样本处理，包括：对每个样本对中的原始样本图像进行模糊处理，得到用于替换所述原始样本图像的新原始样本图像；和/或，将每个样本对中的增强样本图像输入预先训练的显著性检测网络，获取所述显著性检测网络输出的前景置信度图像，对所述增强样本图像对应的原始样本图像、所述前景置信度图像以及所述增强样本图像执行融合处理，得到用于替换所述增强样本图像的新增强样本图像。
本发明还提供了一种图像的色彩增强装置，包括：获取模块，用于获取待色彩增强的原始图像；操作模块，用于对所述原始图像执行前景检测操作，获得所述原始图像对应的前景置信度图像；处理模块，用于对所述原始图像执行色彩增强处理，获得所述原始图像对应的普通色彩增强图像；融合模块，用于对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到所述原始图像对应的显著色彩增强图像。
其中，所述操作模块，用于：将所述原始图像输入预先训练的显著性检测网络；所述显著性检测网络用于检测所述原始图像的前景，输出所述原始图像对应的前景置信度图像；获取所述显著性检测网络输出的所述原始图像对应的前景置信度图像。
其中，所述处理模块，用于：将所述原始图像输入预先训练的色彩增强网络；所述色彩增强网络用于对所述原始图像进行色彩增强处理，输出所述原始图像对应的普通色彩增强图像；获取所述色彩增强网络输出的所述原始图像对应的普通色彩增强图像。
其中，所述融合模块，用于：叠加所述原始图像、所述前景置信度图像以及所述普通色彩增强图像，得到叠加图像；提取所述叠加图像中的前景背景特征和颜色分布特征；根据所述前景背景特征、所述颜色分布特征以及所述原始图像的像素信息，生成所述显著色彩增强图像。
其中，所述融合模块进一步用于：根据所述前景背景特征和所述原始图像的像素信息，确定所述原始图像中属于前景区域的像素点和所述原始图像中属于背景区域的像素点；根据所述颜色分布特征，确定所述原始图像中前景区域像素点的色调和所述原始图像中背景区域像素点的色调；根据所述前景区域像素点的色调，调整所述前景区域像素点的色彩强度，根据所述背景区域像素点的色调，调整所述背景区域像素点的色彩强度，得到所述显著色彩增强图像；其中，为所述前景区域像素点调整的色彩强度大于为所述背景区域像素点调整的色彩强度。
其中，所述融合模块，用于：将所述原始图像、所述前景置信度图像以及所述普通色彩增强图像以通道并联的方式输入预先训练的融合网络，获取所述融合网络输出的所述原始图像对应的显著色彩增强图像；其中，所述融合网络用于对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理。
其中，所述融合网络包括：四个步幅为2的3×3卷积核、七个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核；其中，所述融合网络从输入端到输出端顺序串联四个步幅为2的3×3卷积核、三个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核；在剩余的四个步幅为1的3×3卷积核中，每个步幅为1的3×3卷积核的两端分别连接位置对应的一个步幅为2的3×3卷积核和一个步幅为2的3×3反卷积核。
其中，所述融合模块，还用于：在将所述原始图像、所述前景置信度图像以及所述普通色彩增强图像以通道并联的方式输入预先训练的融合网络之前，训练所述融合网络；其中，在训练所述融合网络之前，获取训练样本集，并对包含多个样本对的训练样本集执行样本处理；所述样本处理，包括：对每个样本对中的原始样本图像进行模糊处理，得到用于替换所述原始样本图像的新原始样本图像；和/或，将每个样本对中的增强样本图像输入预先训练的显著性检测网络，获取所述显著性检测网络输出的前景置信度图像，对所述增强样本图像对应的原始样本图像、所述前景置信度图像以及所述增强样本图像执行融合处理，得到用于替换所述增强样本图像的新增强样本图像。
本发明还提供了一种图像的色彩增强设备，所述图像的色彩增强设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的图像的色彩增强方法。
本发明还提供了一种存储介质，所述存储介质上存储有图像的色彩增强程序，所述图像的色彩增强程序被处理器执行时实现上述的图像的色彩增强方法。
本发明有益效果如下：
本发明在需要对原始图像进行色彩增强时，先获得原始图像对应的前景置信度图像，以及原始图像对应的普通色彩增强图像，对原始图像、前景置信度图像和普通色彩增强图像进行融合，从而利用前景置信度图像和普通色彩增强图像，对原始图像的色彩进行调整，达到生成有层次感的色彩增强图像的目的。本发明将前景置信度图像应用到色彩增强中，使得色彩增强后的图像色彩更加鲜明，层次感更加分明。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明一实施例的图像的色彩增强方法的流程图；
图2是根据本发明一实施例的融合网络的网络结构图；
图3是根据本发明一实施例的图像的色彩增强方法的示意图；
图4是根据本发明一实施例的图像的色彩增强方法的流程图；
图5是根据本发明一实施例的图像的色彩增强装置的结构图；
图6是根据本发明一实施例的图像的色彩增强设备的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本发明作进一步地详细说明。
根据本发明的实施例，提供了一种图像的色彩增强方法。如图1所示，为根据本发明一实施例的图像的色彩增强方法的流程图。
步骤S110，获取待色彩增强的原始图像。
原始图像为待色彩增强的图像。
在本实施例中，原始图像可以是RGB(Red、Green、Blue color mode，红绿蓝色彩模式)图像。
在本实施例中，原始图像可以是视频图像或者图片图像。
例如：输入一段视频，按照播放顺序，顺次获取该段视频中的每帧图像，并将顺次获取的每帧图像作为待色彩增强的原始图像。
又如：获取移动终端拍摄的照片，将该照片作为待色彩增强的原始图像。
步骤S120，对所述原始图像执行前景检测操作，获得所述原始图像对应的前景置信度图像。
前景检测操作，包括：检测原始图像中的前景，即靠近拍摄该原始图像的镜头的人和景物。进一步地，前景是图像中可见性、显著性最强的部分。前景检测是在图像中识别感兴趣区域或识别运动目标(前景)和静态部分(背景)的过程。
前景置信度图像，是指原始图像的显著性蒙版。显著性蒙版是尺度大小与原始图片相同的单通道灰度图，灰度图中的每个像素点代表原始图像对应位置的像素点是前景的概率(0～1)。显著性蒙版中的前景突出，背景削弱。
在本实施例中，将原始图像输入预先训练的显著性检测网络；显著性检测网络用于检测所述原始图像的前景，并且输出所述原始图像对应的前景置信度图像；获取所述显著性检测网络输出的所述原始图像对应的前景置信度图像。
进一步地，显著性检测网络的种类包括但不限于：DSS(Deeply SupervisedSalient Object Detection，深度有监督显著性目标检测)网络、MBS(Minimum BarrierSalient Object Detection，最小障碍突出物检测)网络。本实施例优选的，显著性检测网络为DSS网络。
步骤S130，对所述原始图像执行色彩增强处理，获得所述原始图像对应的普通色彩增强图像。
色彩增强处理，包括：对原始图像的全图进行相同强度的色彩增强。
普通色彩增强图像，是指对原始图像进行色彩增强处理后，得到的色彩增强图像。根据本实施例的色彩增强处理获得的普通色彩增强图像，层次感较差，主次景物不分明，不通透。
在本实施例中，将原始图像输入预先训练的色彩增强网络；所述色彩增强网络用于对所述原始图像执行色彩增强处理，并输出所述原始图像对应的普通色彩增强图像；获取所述色彩增强网络输出的所述原始图像对应的普通色彩增强图像。
进一步地，色彩增强网络的种类包括但不限于：DPE(Deeply Photo Enhancement，深度图像增强)网络、Distort-and-Recover(扭曲恢复方法)网络、photo-auto-balance(照片自动平衡)网络。本实施例优选的，色彩增强网络为DPE网络。
步骤S140，对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到显著色彩增强图像。
显著色彩增强图像，是指利用原始图像对应的前景置信度图像和普通色彩增强图像，对该原始图像进行色彩增强处理，得到的色彩增强图像。
在本实施例中，提供两种融合处理的方式，但是本领域技术人员应当知道的是，以下两种融合处理的方式仅用于说明本实施例，而不用于限定本实施例。
方式一，融合处理，包括：叠加所述原始图像、所述前景置信度图像以及所述普通色彩增强图像，得到叠加图像；提取所述叠加图像中的前景背景特征和颜色分布特征；根据所述前景背景特征、所述颜色分布特征以及所述原始图像的像素信息，生成所述显著色彩增强图像。前景背景特征为图像中前景区域和背景区域的分布信息。颜色分布特征为图像的颜色分布信息。
进一步地，根据所述前景背景特征、所述颜色分布特征以及所述原始图像的像素信息，生成所述显著色彩增强图像，包括：根据前景背景特征和原始图像的像素信息，确定原始图像中属于前景区域的像素点和原始图像中属于背景区域的像素点；根据颜色分布特征，确定原始图像中前景区域像素点的色调和原始图像中背景区域像素点的色调；根据前景区域像素点的色调，调整前景区域像素点的色彩强度，根据背景区域像素点的色调，调整背景区域像素点的色彩强度，得到所述显著色彩增强图像；其中，为前景区域像素点调整的色彩强度大于为背景区域像素点调整的色彩强度。
色彩强度，包括但不限于：饱和度、对比度和亮度中的至少一个。例如，为前景区域像素点调整的饱和度、对比度和亮度分别大于为背景区域像素点调整的饱和度、对比度和亮度。
方式二，融合处理可以利用经过训练的融合网络来完成。进一步地，将原始图像、该原始图像对应的前景置信度图像和普通色彩增强图像以通道并联的方式输入预先训练的融合网络，获取所述融合网络输出的显著色彩增强图像；其中，所述融合网络用于对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理。
本发明实施例在需要对原始图像进行色彩增强时，先获得原始图像对应的前景置信度图像，以及原始图像对应的普通色彩增强图像，对原始图像、前景置信度图像和普通色彩增强图像进行融合，从而利用前景置信度图像和普通色彩增强图像，对原始图像的色彩进行调整，达到生成有层次感的色彩增强图像的目的。
本发明实施例将前景置信度图像应用到色彩增强中，使得色彩增强后的图像色彩更加鲜明，层次感更加分明。进一步地，本发明实施例提取前景背景特征和颜色分布特征，根据前景背景特征区分原始图像的前景和背景，根据颜色分布特征，区分原始图像前景的色调和背景的色调，进而可以对原始图像的前景和背景分别进行不同程度的色彩强度调节，使得显著色彩增强图像的色彩更加鲜明，层次感更加分明。
本发明实施例可以应用在视频图像色彩增强领域，例如：输入待色彩增强的视频，按照播放顺序，顺次获取视频中的每帧视频图像，并对获取到的每帧视频图像执行以下处理：对获取的当前帧的视频图像执行前景检测操作，获得该视频图像对应的前景置信度图像；对该视频图像执行色彩增强处理，获得该视频图像对应的普通色彩增强图像；对该视频图像、该前景置信度图像以及该普通色彩增强图像执行融合处理，得到该视频图像对应的显著色彩增强图像；待处理完视频中的所有视频图像之后，将得到所有显著色彩增强图像合成为色彩增强后的视频，或者，在处理视频图像的过程中，根据得到的每帧显著色彩增强图像，逐帧合成为色彩增强后的视频。
下面针对融合网络进行进一步地描述。
如图2所示，为根据本发明一实施例的融合网络的网络结构图。在图2中，矩形框表示步幅为2的3×3卷积核，虚线框表示步幅为1的3×3卷积核，圆角框表示步幅为2的3×3反卷积核，箭头表示数据流向。
融合网络包括：四个步幅为2的3×3卷积核、七个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核。其中，四个步幅为2的3×3卷积核都为下采样卷积核，四个步幅为2的3×3反卷积核都为上采样卷积核。
在本实施例中，该融合网络从输入端到输出端顺序串联四个步幅为2的3×3卷积核、三个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核；在剩余的四个步幅为1的3×3卷积核中，每个步幅为1的3×3卷积核的两端分别连接位置对应的一个步幅为2的3×3卷积核和一个步幅为2的3×3反卷积核。每个步幅为1的3×3卷积核连接的位置对应的步幅为2的3×3卷积核和幅为2的3×3反卷积核不重复。
具体的，四个步幅为2的3×3卷积核、七个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核的连接关系如下：
第一个、第二个、第三个、第四个步幅为2的3×3卷积核，第一个、第二个、第三个步幅为1的3×3卷积核，以及第一个、第二个、第三个、第四个步幅为2的3×3反卷积核串联在一起；
第一个步幅为2的3×3卷积核的输出端以通道拼接方式连接第四个步幅为1的3×3卷积核的输入端，并将第四个步幅为1的3×3卷积核的输出端以通道拼接方式连接第四个步幅为2的3×3反卷积核的输入端；
第二个步幅为2的3×3卷积核的输出端以通道拼接方式连接第五个步幅为1的3×3卷积核的输入端，并将第五个步幅为1的3×3卷积核的输出端以通道拼接方式连接第三个步幅为2的3×3反卷积核的输入端；
第三个步幅为2的3×3卷积核的输出端以通道拼接方式连接第六个步幅为1的3×3卷积核的输入端，并将第六个步幅为1的3×3卷积核的输出端以通道拼接方式连接第二个步幅为2的3×3反卷积核的输入端；
第四个步幅为2的3×3卷积核的输出端以通道拼接方式连接第七个步幅为1的3×3卷积核的输入端，并将第七个步幅为1的3×3卷积核的输出端以通道拼接方式连接第一个步幅为2的3×3反卷积核的输入端。
上述融合网络可以单独使用，也可以结合显著性检测网络和/或色彩增强网络使用。
为了使本发明更加清楚，下面提供一个较为具体的图像的色彩增强方法的实施例。
如图3所示，为根据本发明一实施例的图像的色彩增强方法的示意图。
在本实施例中，图像输入端连接显著性检测网络的输入端、色彩增强网络的输入端以及融合网络的输入端，显著性检测网络的输出端和色彩增强网络的输出端都连接融合网络的输入端，融合网络的输出端连接图像输出端。
可以将上述连接关系的显著性检测网络、色彩增强网络和融合网络看做一个整体，作为色彩增强模型，将原始图像输入色彩增强模型，就可以输出原始图像对应的显著色彩增强图像。
如图4所示，为根据本发明一实施例的图像的色彩增强方法的流程图。
步骤S410，将原始图像输入预先训练的显著性检测网络，该显著性检测网络生成该原始图像对应的前景置信度图像。
步骤S420，将原始图像输入预先训练的色彩增强网络，该色彩增强网络生成该原始图像对应的普通色彩增强图像。
步骤S430，将显著性检测网络输出的前景置信度图像，色彩增强网络输出的普通色彩增强图像以及该原始图像，输入预先训练的融合网络，该融合网络根据该原始图像及其对应的前景置信度图像和普通色彩增强图像，生成该原始图像对应的显著色彩增强图像。
步骤S440，获取融合网络输出的原始图像对应的显著色彩增强图像。
在本实施例中，原始图像为RGB图像，即原始图像为3通道图像。
显著性检测网络输出的前景置信度图像为1通道图像。
色彩增强网络输出的普通色彩增强图像为3通道图像。
原始图像、前景置信度图像和普通色彩增强图像通道并联(叠加)，形成7通道的叠加图像输入融合网络；融合网络对7通道的叠加图像执行融合处理，输出3通道的显著色彩增强图像。该显著色彩增强图像为RGB图像。
原始图像、前景置信度图像、普通色彩增强图像和显著色彩增强图像的尺度相同。例如：原始图像、前景置信度图像、普通色彩增强图像和显著色彩增强图像都为512×512。原始图像是512×512×3的张量(tensor)，前景置信度图像是512×512×1的张量，普通色彩增强图像是512×512×3的张量，融合网络输入是原始图像、前景置信度图像和普通色彩增强图像经叠加后的512×512×7的张量，最终输出512×512×3的显著色彩增强图像。
下面对显著性检测网络、色彩增强网络和融合网络的训练进行描述。
显著性检测网络的训练：
获取预设的显著性检测网络数据集，训练显著性检测网络。
显著性检测网络数据集可以选取MSRA-B(Microsoft Research Asia Dataset，微软亚洲研究院数据集)、HKU-IS(The University of Hong Kong Dataset，香港大学数据集)、PASCALS(Pattern Analysis,Statistical Modelling and Computationallearning，模式分析、统计建模和计算学习数据集)、SOD(Salient Object Dataset，显著性检测数据集)等。该显著性检测网络数据集中包括多个样本对，每个样本对包括一个样本图像和一个监督图像。其中，样本图像是原始图像。监督图像是针对样本图像进行人工前景标注的图像，即样本图像对应的正确的前景置信度图像。监督图像可以监督显著性检测网络处理样本图像的准确率。
在本实施例中，为了扩充显著性检测网络数据集中的样本对数量，可以对显著性检测网络数据集中的样本图像和监督图像分别进行水平翻转，得到新的样本对，即相互对应的新样本图像和新监督图像。
将样本图像依次输入显著性检测网络，显著性检测网络依次输出每个样本图像对应的显著性蒙版，如此往复，显著性检测网络迭代训练(如训练50万次)，直至监督图像和显著性检测网络输出的显著性蒙版之间的损失稳定且小于预设损失阈值，可以确认显著性检测网络收敛。
进一步地，显著性检测网络可以将样本图像的RGB色彩值从0～255归一化到0～1，得到样本图像对应的显著性蒙版，即尺度大小与输入的样本图片相同的单通道灰度图，灰度图中的每个像素点代表样本图像对应位置像素点是前景的概率。
色彩增强网络的训练：
获取预设的色彩增强网络数据集，训练色彩增强网络。
该色彩增强网络数据集中包括多个样本对，每个样本对包括一个色彩增强前图像和一个色彩增强后图像。色彩增强前图像即是原始图像，色彩增强后图像即是人工对原始图像进行色彩增强之后的图像。色彩增强后图像可以用于判断色彩增强网络对色彩增强前图像进行色彩增强的准确性。
色彩增强网络可以采用端到端的训练方式。
可以在色彩增强网络数据集中选择部分样本对作为训练集，部分样本对作为验证集，部分样本对作为测试集，快速训练色彩增强网络。例如：使用公共数据集中的5000个样本对，选择其中4000个样本对作为训练集，选择剩余1000个样本对中的500个样本对作为验证集，选择剩余的500个样本对作为测试集。
在训练色彩增强网络时，先使用训练集训练色彩增强网络，确定色彩增强网络中的参数，再使用验证集训练色彩增强网络，对色彩增强网络进行超参优化，最后使用预测集测试色彩增强网络的准确性。
色彩增强网络的输出结果基本满足色彩艳丽的要求，但是普遍存在不通透、层次感不分明的问题。
融合网络的训练：
在显著性检测网络和色彩增强网络训练完成之后，固定显著性检测网络和色彩增强网络中的参数，开始对融合网络进行训练。
在训练融合网络之前，需要获取训练样本集，并且对包含多个样本对的训练样本集执行样本处理；利用样本处理后的训练样本集训练融合网络。
所述样本处理，包括：对每个样本对中的原始样本图像进行模糊处理，得到用于替换所述原始样本图像的新原始样本图像；该模糊处理可以是高斯模糊处理。和/或，将每个样本对中的增强样本图像输入预先训练的显著性检测网络，获取所述显著性检测网络输出的前景置信度图像，对所述增强样本图像对应的原始样本图像、所述前景置信度图像以及所述增强样本图像执行融合处理，得到用于替换所述增强样本图像的新增强样本图像。
这样，最终得到的用于训练融合网络的训练样本集中依旧包含多个样本对，每个样本对包括一个原始样本图像和一个新增强样本图像，或者包括一个新原始样本图像和一个增强样本图像，或者一个新原始样本图像和一个新增强样本图像。
进一步地，为了使训练样本集中的图像更加强调层次感，还可以在训练样本集中选择更具代表性的样本对训练融合网络，例如：选择人物通透性强(主次景物分明)的图像训练融合网络。当然，也可以不对训练样本集执行样本处理，直接在训练样本集中选择人物通透性强的图像训练融合网络。
具体的，方法一，采用多人投票挑选的方式，从训练样本集中选取人物通透性强的图像对作为样本对，例如：共5000对图片，5人进行投票，若一张图片投票超过3票，认为这张图片是通透性强的。方法二，通过对原始样本图像模糊处理，或者针对增强样本图像，使用显著性检测网络输出的前景置信度图像和色彩增强网络输出的普通色彩增强图像进行显著性色彩增强，再通过人工筛选的方式，选择层次感明显的差图对(如：原图通透性变差和/或色彩增强图通透性变好的差图对)，作为最终的层次感强的样本对。
在训练融合网络之时，可以采用训练色彩增强网络时使用的训练样本集对融合网络进行预训练，设置学习率为0.01，学习率每5个循环周期减半，共30个循环周期，在损失(loss)下降并稳定后，使用新的训练样本集(该新的训练样本集包括层次感强的多个样本对)继续进行训练，设置学习率为0.001，学习率每3个循环周期减半，共30个循环周期，待融合网络收敛，得到最终的融合网络，固定融合网络中的参数，得到色彩增强模型。
本发明的融合网络结合显著性检测网络和色彩增强网络，形成基于显著性的色彩增强模型，可以生成更自然、更能突出重点和画面层次感的图像。
本发明实施例提供了一种图像的色彩增强装置。如图5所示，为根据本发明一实施例的图像的色彩增强装置的结构图。
该图像的色彩增强装置，包括：获取模块510，操作模块520，处理模块530和融合模块540。
获取模块510，用于获取待色彩增强的原始图像。
操作模块520，用于对所述原始图像执行前景检测操作，获得所述原始图像对应的前景置信度图像。
处理模块530，用于对所述原始图像执行色彩增强处理，获得所述原始图像对应的普通色彩增强图像。
融合模块540，用于对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到所述原始图像对应的显著色彩增强图像。
可选的，所述操作模块520，用于：将所述原始图像输入预先训练的显著性检测网络；所述显著性检测网络用于检测所述原始图像的前景，输出所述原始图像对应的前景置信度图像；获取所述显著性检测网络输出的所述原始图像对应的前景置信度图像。
可选的，所述处理模块530，用于：将所述原始图像输入预先训练的色彩增强网络；所述色彩增强网络用于对所述原始图像进行色彩增强处理，输出所述原始图像对应的普通色彩增强图像；获取所述色彩增强网络输出的所述原始图像对应的普通色彩增强图像。
可选的，所述融合模块540，用于：叠加所述原始图像、所述前景置信度图像以及所述普通色彩增强图像，得到叠加图像；提取所述叠加图像中的前景背景特征和颜色分布特征；根据所述前景背景特征、所述颜色分布特征以及所述原始图像的像素信息，生成所述显著色彩增强图像。
可选的，所述融合模块540进一步用于：根据所述前景背景特征和所述原始图像的像素信息，确定所述原始图像中属于前景区域的像素点和所述原始图像中属于背景区域的像素点；根据所述颜色分布特征，确定所述原始图像中前景区域像素点的色调和所述原始图像中背景区域像素点的色调；根据所述前景区域像素点的色调，调整所述前景区域像素点的色彩强度，根据所述背景区域像素点的色调，调整所述背景区域像素点的色彩强度，得到所述显著色彩增强图像；其中，为所述前景区域像素点调整的色彩强度大于为所述背景区域像素点调整的色彩强度。
可选的，所述融合模块540，用于：将所述原始图像、所述前景置信度图像以及所述普通色彩增强图像以通道并联的方式输入预先训练的融合网络，获取所述融合网络输出的所述原始图像对应的显著色彩增强图像；其中，所述融合网络用于对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理。
可选的，所述融合网络包括：四个步幅为2的3×3卷积核、七个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核；其中，所述融合网络从输入端到输出端顺序串联四个步幅为2的3×3卷积核、三个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核；在剩余的四个步幅为1的3×3卷积核中，每个步幅为1的3×3卷积核的两端分别连接位置对应的一个步幅为2的3×3卷积核和一个步幅为2的3×3反卷积核。
可选的，所述融合模块540，还用于：在将所述原始图像、所述前景置信度图像以及所述普通色彩增强图像以通道并联的方式输入预先训练的融合网络之前，训练所述融合网络；其中，在训练所述融合网络之前，获取训练样本集，并对包含多个样本对的训练样本集执行样本处理；所述样本处理，包括：对每个样本对中的原始样本图像进行模糊处理，得到用于替换所述原始样本图像的新原始样本图像；和/或，将每个样本对中的增强样本图像输入预先训练的显著性检测网络，获取所述显著性检测网络输出的前景置信度图像，对所述增强样本图像对应的原始样本图像、所述前景置信度图像以及所述增强样本图像执行融合处理，得到用于替换所述增强样本图像的新增强样本图像。
本发明所述的装置的功能已经在图1～图4所示的方法实施例中进行了描述，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。
本发明实施例还提供了一种图像的色彩增强设备。如图6所示，为根据本发明一实施例的图像的色彩增强设备的结构图。
在本实施例中，所述图像的色彩增强设备，包括但不限于：处理器610、存储器620。
所述处理器610用于执行存储器620中存储的图像的色彩增强程序，以实现上述的图像的色彩增强方法。
具体而言，所述处理器610用于执行存储器620中存储的图像的色彩增强程序，以实现以下步骤：获取待色彩增强的原始图像；对所述原始图像执行前景检测操作，获得所述原始图像对应的前景置信度图像；对所述原始图像执行色彩增强处理，获得所述原始图像对应的普通色彩增强图像；对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到所述原始图像对应的显著色彩增强图像。
其中，对所述原始图像执行前景检测操作，获得所述原始图像对应的前景置信度图像，包括：将所述原始图像输入预先训练的显著性检测网络；所述显著性检测网络用于检测所述原始图像的前景，输出所述原始图像对应的前景置信度图像；获取所述显著性检测网络输出的所述原始图像对应的前景置信度图像。
其中，对所述原始图像执行色彩增强处理，获得所述原始图像对应的普通色彩增强图像，包括：将所述原始图像输入预先训练的色彩增强网络；所述色彩增强网络用于对所述原始图像进行色彩增强处理，输出所述原始图像对应的普通色彩增强图像；获取所述色彩增强网络输出的所述原始图像对应的普通色彩增强图像。
其中，对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到显著色彩增强图像，包括：叠加所述原始图像、所述前景置信度图像以及所述普通色彩增强图像，得到叠加图像；提取所述叠加图像中的前景背景特征和颜色分布特征；根据所述前景背景特征、所述颜色分布特征以及所述原始图像的像素信息，生成所述显著色彩增强图像。
其中，根据所述前景背景特征、所述颜色分布特征以及所述原始图像的像素信息，生成所述显著色彩增强图像，包括：根据所述前景背景特征和所述原始图像的像素信息，确定所述原始图像中属于前景区域的像素点和所述原始图像中属于背景区域的像素点；根据所述颜色分布特征，确定所述原始图像中前景区域像素点的色调和所述原始图像中背景区域像素点的色调；根据所述前景区域像素点的色调，调整所述前景区域像素点的色彩强度，根据所述背景区域像素点的色调，调整所述背景区域像素点的色彩强度，得到所述显著色彩增强图像；其中，为所述前景区域像素点调整的色彩强度大于为所述背景区域像素点调整的色彩强度。
其中，对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到所述原始图像对应的显著色彩增强图像，包括：将所述原始图像、所述前景置信度图像以及所述普通色彩增强图像以通道并联的方式输入预先训练的融合网络，获取所述融合网络输出的所述原始图像对应的显著色彩增强图像；其中，所述融合网络用于对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理。
其中，所述融合网络包括：四个步幅为2的3×3卷积核、七个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核；其中，所述融合网络从输入端到输出端顺序串联四个步幅为2的3×3卷积核、三个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核；在剩余的四个步幅为1的3×3卷积核中，每个步幅为1的3×3卷积核的两端分别连接位置对应的一个步幅为2的3×3卷积核和一个步幅为2的3×3反卷积核。
其中，在将所述原始图像、所述前景置信度图像以及所述普通色彩增强图像以通道并联的方式输入预先训练的融合网络之前，还包括：训练所述融合网络；其中，在训练所述融合网络之前，获取训练样本集，并对包含多个样本对的训练样本集执行样本处理；所述样本处理，包括：对每个样本对中的原始样本图像进行模糊处理，得到用于替换所述原始样本图像的新原始样本图像；和/或，将每个样本对中的增强样本图像输入预先训练的显著性检测网络，获取所述显著性检测网络输出的前景置信度图像，对所述增强样本图像对应的原始样本图像、所述前景置信度图像以及所述增强样本图像执行融合处理，得到用于替换所述增强样本图像的新增强样本图像。
本发明实施例还提供了一种存储介质。这里的存储介质存储有一个或者多个程序。其中，存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。
当存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述的图像的色彩增强方法。
具体而言，所述处理器用于执行存储器中存储的图像的色彩增强程序，以实现以下步骤：获取待色彩增强的原始图像；对所述原始图像执行前景检测操作，获得所述原始图像对应的前景置信度图像；对所述原始图像执行色彩增强处理，获得所述原始图像对应的普通色彩增强图像；对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到所述原始图像对应的显著色彩增强图像。
其中，对所述原始图像执行前景检测操作，获得所述原始图像对应的前景置信度图像，包括：将所述原始图像输入预先训练的显著性检测网络；所述显著性检测网络用于检测所述原始图像的前景，输出所述原始图像对应的前景置信度图像；获取所述显著性检测网络输出的所述原始图像对应的前景置信度图像。
其中，对所述原始图像执行色彩增强处理，获得所述原始图像对应的普通色彩增强图像，包括：将所述原始图像输入预先训练的色彩增强网络；所述色彩增强网络用于对所述原始图像进行色彩增强处理，输出所述原始图像对应的普通色彩增强图像；获取所述色彩增强网络输出的所述原始图像对应的普通色彩增强图像。
其中，对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到显著色彩增强图像，包括：叠加所述原始图像、所述前景置信度图像以及所述普通色彩增强图像，得到叠加图像；提取所述叠加图像中的前景背景特征和颜色分布特征；根据所述前景背景特征、所述颜色分布特征以及所述原始图像的像素信息，生成所述显著色彩增强图像。
其中，根据所述前景背景特征、所述颜色分布特征以及所述原始图像的像素信息，生成所述显著色彩增强图像，包括：根据所述前景背景特征和所述原始图像的像素信息，确定所述原始图像中属于前景区域的像素点和所述原始图像中属于背景区域的像素点；根据所述颜色分布特征，确定所述原始图像中前景区域像素点的色调和所述原始图像中背景区域像素点的色调；根据所述前景区域像素点的色调，调整所述前景区域像素点的色彩强度，根据所述背景区域像素点的色调，调整所述背景区域像素点的色彩强度，得到所述显著色彩增强图像；其中，为所述前景区域像素点调整的色彩强度大于为所述背景区域像素点调整的色彩强度。
其中，对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到所述原始图像对应的显著色彩增强图像，包括：将所述原始图像、所述前景置信度图像以及所述普通色彩增强图像以通道并联的方式输入预先训练的融合网络，获取所述融合网络输出的所述原始图像对应的显著色彩增强图像；其中，所述融合网络用于对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理。
其中，所述融合网络包括：四个步幅为2的3×3卷积核、七个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核；其中，所述融合网络从输入端到输出端顺序串联四个步幅为2的3×3卷积核、三个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核；在剩余的四个步幅为1的3×3卷积核中，每个步幅为1的3×3卷积核的两端分别连接位置对应的一个步幅为2的3×3卷积核和一个步幅为2的3×3反卷积核。
其中，在将所述原始图像、所述前景置信度图像以及所述普通色彩增强图像以通道并联的方式输入预先训练的融合网络之前，还包括：训练所述融合网络；其中，在训练所述融合网络之前，获取训练样本集，并对包含多个样本对的训练样本集执行样本处理；所述样本处理，包括：对每个样本对中的原始样本图像进行模糊处理，得到用于替换所述原始样本图像的新原始样本图像；和/或，将每个样本对中的增强样本图像输入预先训练的显著性检测网络，获取所述显著性检测网络输出的前景置信度图像，对所述增强样本图像对应的原始样本图像、所述前景置信度图像以及所述增强样本图像执行融合处理，得到用于替换所述增强样本图像的新增强样本图像。
以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (18)
1.一种图像的色彩增强方法，其特征在于，包括：
获取待色彩增强的原始图像；
对所述原始图像执行前景检测操作，获得所述原始图像对应的前景置信度图像；
对所述原始图像执行色彩增强处理，获得所述原始图像对应的普通色彩增强图像；
对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到所述原始图像对应的显著色彩增强图像。
2.根据权利要求1所述的方法，其特征在于，对所述原始图像执行前景检测操作，获得所述原始图像对应的前景置信度图像，包括：
将所述原始图像输入预先训练的显著性检测网络；所述显著性检测网络用于检测所述原始图像的前景，输出所述原始图像对应的前景置信度图像；
获取所述显著性检测网络输出的所述原始图像对应的前景置信度图像。
3.根据权利要求1所述的方法，其特征在于，对所述原始图像执行色彩增强处理，获得所述原始图像对应的普通色彩增强图像，包括：
将所述原始图像输入预先训练的色彩增强网络；所述色彩增强网络用于对所述原始图像进行色彩增强处理，输出所述原始图像对应的普通色彩增强图像；
获取所述色彩增强网络输出的所述原始图像对应的普通色彩增强图像。
4.根据权利要求1所述的方法，其特征在于，对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到显著色彩增强图像，包括：
叠加所述原始图像、所述前景置信度图像以及所述普通色彩增强图像，得到叠加图像；
提取所述叠加图像中的前景背景特征和颜色分布特征；
根据所述前景背景特征、所述颜色分布特征以及所述原始图像的像素信息，生成所述显著色彩增强图像。
5.根据权利要求4所述的方法，其特征在于，根据所述前景背景特征、所述颜色分布特征以及所述原始图像的像素信息，生成所述显著色彩增强图像，包括：
根据所述前景背景特征和所述原始图像的像素信息，确定所述原始图像中属于前景区域的像素点和所述原始图像中属于背景区域的像素点；
根据所述颜色分布特征，确定所述原始图像中前景区域像素点的色调和所述原始图像中背景区域像素点的色调；
根据所述前景区域像素点的色调，调整所述前景区域像素点的色彩强度，根据所述背景区域像素点的色调，调整所述背景区域像素点的色彩强度，得到所述显著色彩增强图像；
其中，为所述前景区域像素点调整的色彩强度大于为所述背景区域像素点调整的色彩强度。
6.根据权利要求1所述的方法，其特征在于，对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到所述原始图像对应的显著色彩增强图像，包括：
将所述原始图像、所述前景置信度图像以及所述普通色彩增强图像以通道并联的方式输入预先训练的融合网络，获取所述融合网络输出的所述原始图像对应的显著色彩增强图像；其中，
所述融合网络用于对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理。
7.根据权利要求6所述的方法，其特征在于，
所述融合网络包括：四个步幅为2的3×3卷积核、七个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核；其中，
所述融合网络从输入端到输出端顺序串联四个步幅为2的3×3卷积核、三个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核；
在剩余的四个步幅为1的3×3卷积核中，每个步幅为1的3×3卷积核的两端分别连接位置对应的一个步幅为2的3×3卷积核和一个步幅为2的3×3反卷积核。
8.根据权利要求6或7所述的方法，其特征在于，在将所述原始图像、所述前景置信度图像以及所述普通色彩增强图像以通道并联的方式输入预先训练的融合网络之前，还包括：
训练所述融合网络；其中，在训练所述融合网络之前，获取训练样本集，并对包含多个样本对的训练样本集执行样本处理；
所述样本处理，包括：
对每个样本对中的原始样本图像进行模糊处理，得到用于替换所述原始样本图像的新原始样本图像；和/或，
将每个样本对中的增强样本图像输入预先训练的显著性检测网络，获取所述显著性检测网络输出的前景置信度图像，对所述增强样本图像对应的原始样本图像、所述前景置信度图像以及所述增强样本图像执行融合处理，得到用于替换所述增强样本图像的新增强样本图像。
9.一种图像的色彩增强装置，其特征在于，包括：
获取模块，用于获取待色彩增强的原始图像；
操作模块，用于对所述原始图像执行前景检测操作，获得所述原始图像对应的前景置信度图像；
处理模块，用于对所述原始图像执行色彩增强处理，获得所述原始图像对应的普通色彩增强图像；
融合模块，用于对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理，得到所述原始图像对应的显著色彩增强图像。
10.根据权利要求9所述的装置，其特征在于，所述操作模块，用于：
将所述原始图像输入预先训练的显著性检测网络；所述显著性检测网络用于检测所述原始图像的前景，输出所述原始图像对应的前景置信度图像；
获取所述显著性检测网络输出的所述原始图像对应的前景置信度图像。
11.根据权利要求9所述的装置，其特征在于，所述处理模块，用于：
将所述原始图像输入预先训练的色彩增强网络；所述色彩增强网络用于对所述原始图像进行色彩增强处理，输出所述原始图像对应的普通色彩增强图像；
获取所述色彩增强网络输出的所述原始图像对应的普通色彩增强图像。
12.根据权利要求9所述的装置，其特征在于，所述融合模块，用于：
叠加所述原始图像、所述前景置信度图像以及所述普通色彩增强图像，得到叠加图像；
提取所述叠加图像中的前景背景特征和颜色分布特征；
根据所述前景背景特征、所述颜色分布特征以及所述原始图像的像素信息，生成所述显著色彩增强图像。
13.根据权利要求12所述的装置，其特征在于，所述融合模块进一步用于：
根据所述前景背景特征和所述原始图像的像素信息，确定所述原始图像中属于前景区域的像素点和所述原始图像中属于背景区域的像素点；
根据所述颜色分布特征，确定所述原始图像中前景区域像素点的色调和所述原始图像中背景区域像素点的色调；
根据所述前景区域像素点的色调，调整所述前景区域像素点的色彩强度，根据所述背景区域像素点的色调，调整所述背景区域像素点的色彩强度，得到所述显著色彩增强图像；
其中，为所述前景区域像素点调整的色彩强度大于为所述背景区域像素点调整的色彩强度。
14.根据权利要求9所述的装置，其特征在于，所述融合模块，用于：
将所述原始图像、所述前景置信度图像以及所述普通色彩增强图像以通道并联的方式输入预先训练的融合网络，获取所述融合网络输出的所述原始图像对应的显著色彩增强图像；其中，
所述融合网络用于对所述原始图像、所述前景置信度图像以及所述普通色彩增强图像执行融合处理。
15.根据权利要求14所述的装置，其特征在于，
所述融合网络包括：四个步幅为2的3×3卷积核、七个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核；其中，
所述融合网络从输入端到输出端顺序串联四个步幅为2的3×3卷积核、三个步幅为1的3×3卷积核、四个步幅为2的3×3反卷积核；
在剩余的四个步幅为1的3×3卷积核中，每个步幅为1的3×3卷积核的两端分别连接位置对应的一个步幅为2的3×3卷积核和一个步幅为2的3×3反卷积核。
16.根据权利要求14或15所述的装置，其特征在于，所述融合模块，还用于：
在将所述原始图像、所述前景置信度图像以及所述普通色彩增强图像以通道并联的方式输入预先训练的融合网络之前，训练所述融合网络；其中，在训练所述融合网络之前，获取训练样本集，并对包含多个样本对的训练样本集执行样本处理；
所述样本处理，包括：
对每个样本对中的原始样本图像进行模糊处理，得到用于替换所述原始样本图像的新原始样本图像；和/或，
将每个样本对中的增强样本图像输入预先训练的显著性检测网络，获取所述显著性检测网络输出的前景置信度图像，对所述增强样本图像对应的原始样本图像、所述前景置信度图像以及所述增强样本图像执行融合处理，得到用于替换所述增强样本图像的新增强样本图像。
17.一种图像的色彩增强设备，其特征在于，所述图像的色彩增强设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1～8中任一项所述的图像的色彩增强方法。
18.一种存储介质，其特征在于，所述存储介质上存储有图像的色彩增强程序，所述图像的色彩增强程序被处理器执行时实现如权利要求1～8中任一项所述的图像的色彩增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910600297.8A CN110363720A (zh) | 2019-07-04 | 2019-07-04 | 一种图像的色彩增强方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910600297.8A CN110363720A (zh) | 2019-07-04 | 2019-07-04 | 一种图像的色彩增强方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110363720A true CN110363720A (zh) | 2019-10-22 |
Family
ID=68217925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910600297.8A Pending CN110363720A (zh) | 2019-07-04 | 2019-07-04 | 一种图像的色彩增强方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110363720A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145128A (zh) * | 2020-03-02 | 2020-05-12 | Oppo广东移动通信有限公司 | 色彩增强方法及相关装置 |
| CN111462016A (zh) * | 2020-04-09 | 2020-07-28 | 苏州科技大学 | 一种结合人因的深度学习图像色彩引擎 |
| CN112070703A (zh) * | 2020-09-16 | 2020-12-11 | 山东建筑大学 | 一种仿生机器鱼水下视觉图像增强方法及系统 |
| US10963988B2 (en) * | 2018-09-25 | 2021-03-30 | Fujifilm Corporation | Image processing device, image processing system, image processing method, and program |
| CN113362294A (zh) * | 2021-05-27 | 2021-09-07 | 同济大学 | 含穿刺针超声血管图像的穿刺针识别方法、系统和设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020930A (zh) * | 2012-11-26 | 2013-04-03 | 天津大学 | 一种夜间监控视频增强方法 |
| CN103530848A (zh) * | 2013-09-27 | 2014-01-22 | 中国人民解放军空军工程大学 | 一种非均匀光照图像二次曝光的实现方法 |
| US20140293074A1 (en) * | 2009-12-10 | 2014-10-02 | Microsoft Corporation | Generating a composite image from video frames |
| US20160078303A1 (en) * | 2006-12-01 | 2016-03-17 | Sri International | Unified framework for precise vision-aided navigation |
| CN106791471A (zh) * | 2016-12-29 | 2017-05-31 | 宇龙计算机通信科技(深圳)有限公司 | 图像优化方法、图像优化装置和终端 |
| CN108510560A (zh) * | 2018-04-11 | 2018-09-07 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
| CN108600655A (zh) * | 2018-04-12 | 2018-09-28 | 视缘(上海)智能科技有限公司 | 一种视频图像合成方法及装置 |
| CN108921799A (zh) * | 2018-06-22 | 2018-11-30 | 西北工业大学 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
| CN108932517A (zh) * | 2018-06-28 | 2018-12-04 | 中山大学 | 一种基于精细化网络模型的多标签服装解析方法 |
| CN109410144A (zh) * | 2018-10-31 | 2019-03-01 | 聚时科技(上海)有限公司 | 一种基于深度学习的端到端图像去雾处理方法 |
| CN109584182A (zh) * | 2018-12-03 | 2019-04-05 | 董育理 | 一种图像处理方法和系统 |
| CN109685801A (zh) * | 2018-12-10 | 2019-04-26 | 杭州帝视科技有限公司 | 结合纹理特征和深度神经网络信息的皮肤镜图像处理方法 |
-
2019
- 2019-07-04 CN CN201910600297.8A patent/CN110363720A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160078303A1 (en) * | 2006-12-01 | 2016-03-17 | Sri International | Unified framework for precise vision-aided navigation |
| US20140293074A1 (en) * | 2009-12-10 | 2014-10-02 | Microsoft Corporation | Generating a composite image from video frames |
| CN103020930A (zh) * | 2012-11-26 | 2013-04-03 | 天津大学 | 一种夜间监控视频增强方法 |
| CN103530848A (zh) * | 2013-09-27 | 2014-01-22 | 中国人民解放军空军工程大学 | 一种非均匀光照图像二次曝光的实现方法 |
| CN106791471A (zh) * | 2016-12-29 | 2017-05-31 | 宇龙计算机通信科技(深圳)有限公司 | 图像优化方法、图像优化装置和终端 |
| CN108510560A (zh) * | 2018-04-11 | 2018-09-07 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
| CN108600655A (zh) * | 2018-04-12 | 2018-09-28 | 视缘(上海)智能科技有限公司 | 一种视频图像合成方法及装置 |
| CN108921799A (zh) * | 2018-06-22 | 2018-11-30 | 西北工业大学 | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 |
| CN108932517A (zh) * | 2018-06-28 | 2018-12-04 | 中山大学 | 一种基于精细化网络模型的多标签服装解析方法 |
| CN109410144A (zh) * | 2018-10-31 | 2019-03-01 | 聚时科技(上海)有限公司 | 一种基于深度学习的端到端图像去雾处理方法 |
| CN109584182A (zh) * | 2018-12-03 | 2019-04-05 | 董育理 | 一种图像处理方法和系统 |
| CN109685801A (zh) * | 2018-12-10 | 2019-04-26 | 杭州帝视科技有限公司 | 结合纹理特征和深度神经网络信息的皮肤镜图像处理方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10963988B2 (en) * | 2018-09-25 | 2021-03-30 | Fujifilm Corporation | Image processing device, image processing system, image processing method, and program |
| CN111145128A (zh) * | 2020-03-02 | 2020-05-12 | Oppo广东移动通信有限公司 | 色彩增强方法及相关装置 |
| WO2021175045A1 (zh) * | 2020-03-02 | 2021-09-10 | Oppo广东移动通信有限公司 | 色彩增强方法及相关装置 |
| CN111462016A (zh) * | 2020-04-09 | 2020-07-28 | 苏州科技大学 | 一种结合人因的深度学习图像色彩引擎 |
| CN112070703A (zh) * | 2020-09-16 | 2020-12-11 | 山东建筑大学 | 一种仿生机器鱼水下视觉图像增强方法及系统 |
| CN112070703B (zh) * | 2020-09-16 | 2024-05-03 | 山东建筑大学 | 一种仿生机器鱼水下视觉图像增强方法及系统 |
| CN113362294A (zh) * | 2021-05-27 | 2021-09-07 | 同济大学 | 含穿刺针超声血管图像的穿刺针识别方法、系统和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363720A (zh) | 一种图像的色彩增强方法、装置、设备和存储介质 | |
| CN107341805B (zh) | 图像前背景分割及网络模型训练、图像处理方法和装置 | |
| CN105096259B (zh) | 深度图像的深度值恢复方法和系统 | |
| CN110288537A (zh) | 基于自注意力的深度生成式对抗网络的人脸图像补全方法 | |
| CN109934154B (zh) | 一种遥感影像变化检测方法及检测装置 | |
| CN110378943A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN109886153B (zh) | 一种基于深度卷积神经网络的实时人脸检测方法 | |
| CN110414519A (zh) | 一种图片文字的识别方法及其识别装置 | |
| CN108520219A (zh) | 一种卷积神经网络特征融合的多尺度快速人脸检测方法 | |
| CN109791688A (zh) | 曝光相关的亮度变换 | |
| CN109544442A (zh) | 基于双重对抗的生成式对抗网络的图像局部风格迁移方法 | |
| CN106204779A (zh) | 基于多人脸数据采集策略和深度学习的课堂考勤方法 | |
| CN110443763B (zh) | 一种基于卷积神经网络的图像阴影去除方法 | |
| CN109920012A (zh) | 基于卷积神经网络的图像着色系统及方法 | |
| CN108573222A (zh) | 基于循环对抗生成网络的行人图像遮挡检测方法 | |
| CN103914699A (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
| CN110348387A (zh) | 一种图像数据处理方法、装置以及计算机可读存储介质 | |
| CN106855996B (zh) | 一种基于卷积神经网络的灰阶图像着色方法及其装置 | |
| CN104636759A (zh) | 一种获取图片推荐滤镜信息的方法及图片滤镜信息推荐系统 | |
| CN109472193A (zh) | 人脸检测方法及装置 | |
| CN107507145A (zh) | 一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法 | |
| CN109829868A (zh) | 一种轻量级深度学习模型图像去雾方法、电子设备及介质 | |
| CN109800817A (zh) | 基于融合语义神经网络的图像分类方法 | |
| CN110363770A (zh) | 一种边缘引导式红外语义分割模型的训练方法及装置 | |
| CN111583201B (zh) | 一种用于构建超分辨率病理显微镜的迁移学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191022 |