CN113052775B - 一种图像去阴影方法及装置 - Google Patents
一种图像去阴影方法及装置 Download PDFInfo
- Publication number
- CN113052775B CN113052775B CN202110346503.4A CN202110346503A CN113052775B CN 113052775 B CN113052775 B CN 113052775B CN 202110346503 A CN202110346503 A CN 202110346503A CN 113052775 B CN113052775 B CN 113052775B
- Authority
- CN
- China
- Prior art keywords
- shadow
- image
- feature
- module
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000005070 sampling Methods 0.000 claims abstract description 147
- 238000005286 illumination Methods 0.000 claims abstract description 37
- 238000006243 chemical reaction Methods 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims description 21
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 239000000047 product Substances 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- LQERIDTXQFOHKA-UHFFFAOYSA-N nonadecane Chemical compound CCCCCCCCCCCCCCCCCCC LQERIDTXQFOHKA-UHFFFAOYSA-N 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像去阴影方法及装置，方法首先对输入阴影图像进行初步特征提取；然后对初步特征进行下采样来提取出输入阴影图像的语义信息，得到下采样特征图；对下采样特征图进行上采样来放大下采样特征，并扩散光照信息到全局，得到上采样特征图；再根据上采样特征图的阴影区域和非阴影区域的统计信息来引导下采样特征图的转换，使下采样特征图阴影区域和非阴影区域的光照信息调整成与上采样特征图的光照信息一致，得到转换后的特征图；接着将转换后的特征图与输入阴影图像相结合，得到阴影蒙版；利用去除阴影模块将阴影蒙版和输入阴影图像相结合，以去除输入阴影图像的阴影，得到最终的去除阴影图像。本发明能实现高精度的图像去阴影。
Description
技术领域
本发明涉及人工智能和计算机视觉技术领域，特别是一种图像去阴影方法及装置。
背景技术
近年来，随着深度学习以及人工智能的兴起，以及成本逐渐降低的硬件，人工智能领域取得了井喷式的发展，各行各业纷纷引入人工智能来给产品增加竞争力。自动驾驶是其中备受关注的一个领域，自动驾驶需要准确判断行驶道路上的路面状况来作出合理决策，但现实生活场景是复杂的，自动驾驶系统里面的目标检测系统可能会由于雾霾、下雨、光照强度弱、甚至因光被物体遮挡而形成的阴影而影响检测性能，进而影响到自动驾驶技术的广泛安全应用。另外，在视频图像处理领域，图像中的阴影可能会影响图像的美观性及图像中内容的清晰度，当下很多人喜欢分享图像或者视频，如果能够得到一个更加美观清晰的图，则能进一步增加用户分享生活的欲望，从而提高用户粘性。
目前，图像去阴影的工作大部分都是基于监督训练的方法，也出现了不少无监督的方法，但是当前去阴影的方法并没有良好地针对图像去阴影任务的特殊性，如阴影区域大小、图像中的内容以及阴影强弱等的不同造成了图像去阴影较为复杂，因此，如何做到有效去除图像中的阴影是目前亟待解决的技术问题。
发明内容
本发明的第一目的在于解决现有图像去阴影技术存在的缺点与不足，提出一种图像去阴影方法，可实现高精度的图像去阴影。
本发明的第二目的在于提出一种图像去阴影装置。
本发明的第三目的在于提出一种计算机可读存储介质。
本发明的第四目的在于提出一种计算设备。
本发明的第一目的通过下述技术方案实现：一种图像去阴影方法，包括：
第一阶段：
1-1)对待去除阴影的输入阴影图像进行初步特征提取；
1-2)对初步特征进行下采样来提取出输入阴影图像的语义信息，得到下采样特征图；对下采样特征图进行上采样来放大下采样特征，并扩散光照信息到全局，得到上采样特征图；
1-3)根据上采样特征图的阴影区域和非阴影区域的统计信息来引导下采样特征图的转换，使下采样特征图阴影区域和非阴影区域的光照信息调整成与上采样特征图的光照信息一致，得到转换后的特征图；
第二阶段：
2-1)将第一阶段得到的转换后的特征图与输入阴影图像相结合，得到阴影蒙版；
2-2)利用去除阴影模块将阴影蒙版和输入阴影图像相结合，以去除输入阴影图像的阴影，得到最终的去除阴影图像。
优选的，骤1-3)中下采样特征图的转换过程如下：
计算上采样特征图的阴影区域及非阴影区域的均值和方差，计算下采样特征图的阴影区域及非阴影区域的均值和方差；
然后将上采样特征图和下采样特征图的阴影区域的均值串联输入到特征对齐器中，得到需要转换后的阴影区域的目标均值，再将下采样特征图的阴影区域的均值调整为该目标均值；
同样，将上采样特征图和下采样特征图的阴影区域的方差串联输入到特征对齐器中，得到需要转换后的阴影区域的目标方差，再将下采样特征图的阴影区域的方差调整为该目标方差；
将上采样特征图和下采样特征图的非阴影区域的均值串联输入到特征对齐器中，得到需要转换后的非阴影区域的目标均值，再将下采样特征图的非阴影区域的均值调整为该目标均值；
将上采样特征图和下采样特征图的非阴影区域的方差串联输入到特征对齐器中，得到需要转换后的非阴影区域的目标方差，再将下采样特征图的非阴影区域的方差调整为该目标方差。
优选的，在步骤2-1)中，阴影蒙版
的计算公式如下：
其中，Sigmoid为Sigmoid激活函数，其将输入转换成0到1的范围；
表示输入阴影图像，其像素值范围为[0,1]，x表示图像的索引值；output表示的是转换后的特征图。
优选的，在步骤2-2)中，去除阴影模块的处理表示成如下公式：
其中，
为去除阴影后的图像；/>
为输入阴影图像；x表示图像的索引值；/>
为阴影蒙版的倒数；*为点乘运算。
优选的，在步骤1-1)中，利用一个卷积层对待去除阴影的输入阴影图像进行初步特征提取；
在步骤1-2)中，利用由卷积层构成的下采样模块做下采样处理，利用由反卷积层构成的上采样模块做上采样处理。
更进一步的，去除阴影模块在配对的阴影数据集上进行迭代训练，配对的阴影数据集包括输入阴影图像、描述阴影区域的掩码、对应的目标图像；
在每一轮迭代训练中，先对输入阴影图像样本进行初步特征提取得到特征，然后对该特征逐步进行下采样处理并提取对应的下采样特征；然后对最后一步下采样得到的下采样特征进行上采样处理，且将该下采样特征的光照信息变换成与上采样特征的光照信息一致；再将变换后的下采样特征与上采样特征串联输入到上采样模块的下一反卷积层中得到一个新的上采样特征，以此类推进行多次上采样处理，直至上采样特征达到上采样最大分辨率，再直接将对应的上采样特征与下采样特征输入到下一卷积层中，得到变换后的特征图；将变换后的特征图与输入阴影图像结合，得到阴影蒙版，再将输入阴影图像和阴影蒙版输入到去除阴影模块，由去除阴影模块输出去除阴影图像。
优选的，去除阴影模块在每一轮迭代中，计算第二阶段得到的去除阴影图像与目标图像的目标损失，并根据目标损失来更新网络参数，直到迭代停止，去除阴影模块即训练完毕；
目标损失Loss的计算公式具体为：
其中，Φ(·)表示在ImageNet上训练好的VGG-16网络的计算；l表示VGG-16网络层；
表示去除阴影后的图像，x表示图像的索引值；/>
表示目标图像；‖·‖1表示L1距离。
本发明的第二目的通过下述技术方案实现：一种图像去阴影装置，包括相连接的第一阶段网络和第二阶段网络；第一阶段网络用于处理输入阴影图像，包括依次连接的特征提取模块、下采样模块、上采样模块和特征转换模块，下采样模块还连接至特征转换模块；
其中，特征提取模块，用于对待去除阴影的输入阴影图像进行初步特征提取；
下采样模块，用于对初步特征进行下采样来提取出输入阴影图像的语义信息，得到下采样特征图；
上采样模块，用于对下采样特征图进行上采样来放大下采样特征，并扩散光照信息到全局，得到上采样特征图；
特征转换模块，用于根据上采样特征图的阴影区域和非阴影区域的统计信息来引导下采样特征图的转换，使下采样特征图阴影区域和非阴影区域的光照信息调整成与上采样特征图的光照信息一致，得到转换后的特征图；
第二阶段网络用于去除阴影，包括相连接的阴影蒙版合成模块、去除阴影模块：
阴影蒙版合成模块，用于将第一阶段得到的转换后的特征图与输入阴影图像相结合，得到阴影蒙版；
去除阴影模块，用于将阴影蒙版和输入阴影图像相结合，以去除输入阴影图像的阴影，得到最终的去除阴影图像。
优选的，特征转换模块进一步包括基于掩码的自适应实例规范化模块以及特征对齐器模块：
基于掩码的自适应实例规范化模块，用于计算上采样特征图的阴影区域及非阴影区域的均值和方差，计算下采样特征图的阴影区域及非阴影区域的均值和方差，用于将下采样特征图的阴影区域的均值调整为阴影区域的目标均值，将下采样特征图的阴影区域的方差调整为阴影区域的目标方差，将下采样特征图的非阴影区域的均值调整为非阴影区域的目标均值，将下采样特征图的非阴影区域的方差调整为非阴影区域的目标方差；
特征对齐器模块含有分别连接基于掩码的自适应实例规范化模块的多个特征对齐器，这些特征对齐器分别用于根据串联输入的上采样特征图和下采样特征图的阴影区域的均值计算出需要转换后的阴影区域的目标均值，根据串联输入的上采样特征图和下采样特征图的阴影区域的方差计算出需要转换后的阴影区域的目标方差，根据串联输入的上采样特征图和下采样特征图的非阴影区域的均值计算出需要转换后的非阴影区域的目标均值；根据串联输入的上采样特征图和下采样特征图的非阴影区域的方差计算出需要转换后的非阴影区域的目标方差。
优选的，所述装置还包括连接去除阴影模块的目标损失计算模块，用于计算去除阴影图像与目标图像的目标损失，去除阴影模块用于根据目标损失来更新自己的网络参数。
本发明相对于现有技术具有如下的优点及效果：
本发明在硬件成本要求很低和网络复杂度很低的情况下，可以准确去除图像中的阴影，同时保证了图片的清晰度。与其他主流的图像去阴影的方法相比，本发明在阴影区域、非阴影区域和阴影边缘的数值评测指标，以及视觉效果上更好。
附图说明
图1为本发明图像去阴影方法的流程示意图。
图2为图1方法两个阶段的示意图。
图3是本发明图像去阴影装置的整体结构示意图。
图4是特征转换过程示意图。
图5是图3装置与其他网络模型的图像去阴影效果比较图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
图像去阴影旨在将图像中的阴影区域进行光照恢复，使阴影区域光照信息与非阴影区域相同。由于阴影区域大小不固定、图像内容不固定以及阴影强弱不同等，使得阴影较难去除；并且，图像去阴影不仅与该点像素值有关，其还与该像素值所表示的语义信息相关，所以在去阴影的过程中还需要提取图像的语义信息；另外图像去阴影还需要知道非阴影区域的光照关系，这是由于阴影大小不一，需要一个足够大的感受野，而这些使得图像去阴影变得非常复杂。
在大多数情况，在同一阴影图像中，阴影区域的光照强度和非阴影区域的光照强度分别是统一的，所以可以尽量利用这种统一性，对阴影区域作统一的调整，另一方面，还需要考虑对应位置的语义信息，以及目前很多方法没有考虑到的条件限制：最后去除阴影后的像素值不应该低于去除阴影前的像素值。
本发明主要解决了4个问题：
(1)如何在有限的硬件条件下，实现阴影图像的全局特征抽取；
(2)如何更加有效地对图像的阴影区域作一个统一的调整；
(3)如何有效的将非阴影区域的光照信息得到并合理地迁移到阴影区域；
(4)如何充分更加有效地去除阴影，保证去除阴影后的图像像素值不会低于原阴影图像对应位置的像素值。
针对第一个问题，本发明设计了一个类似于U-Net的网络结构(上采样模块、下采样模块)，该结构能够在有效快速提取输入阴影图像的全局特征的同时而不占用大量存储。相比于别的方法在一个较大的分辨率来进行特征处理来说，可节省大量存储。
针对第二个问题，本发明设计的一个特征转换模块(基于掩码的自适应实例规范化模块、特征对齐器模块)，该模块使用U-Net网络结构中上采样的特征来引导下采样特征，即分别用上采样特征中阴影区域的均值和方差以及非阴影区域的均值和方差来引导下采样特征中的阴影区域以及非阴影区域进行变换，从而达到了上采样过程中补充细节的同时，也补充了细节信息。
针对第三个问题，本发明设计网络结构/去阴影方法的时候考虑到当特征分辨率足够小，如本发明实施1是达到(4×4)的时候能得到全局光照，然后在上采样的过程中光照信息会随着上采样特征的扩散而扩散，最后逐步扩散到全局分辨率上。
针对第四个问题，本发明设计了一个阴影蒙版合成模块/方法，该模块/方法有效结合了输入的阴影图像和网络输出，以保证经过去阴影网络处理，输出的无阴影图像的像素值不会比输入的阴影图像对应位置的像素值小。
实施例1
本实施例提供了一种图像去阴影方法，如图1和图2所示，包括两个阶段，第一阶段用来对待去除阴影的输入阴影图像进行处理，以便在第二阶段去除输入阴影图像中的阴影，得到去除阴影图像。
其中，第一阶段具体如下：
1-1)利用一个卷积层对待去除阴影的输入阴影图像进行初步特征提取。
1-2)利用由大步长卷积层构成的下采样模块对初步特征进行下采样，从而提取出输入阴影图像的语义信息，得到下采样特征图；利用由反卷积层构成的上采样模块对下采样特征图进行上采样，从而放大下采样特征，并扩散光照信息到全局，得到上采样特征图。
1-3)根据上采样特征图的阴影区域和非阴影区域的统计信息来引导下采样特征图的转换，使下采样特征图阴影区域和非阴影区域的光照信息调整成与上采样特征图的光照信息一致，得到转换后的特征图。这一过程可由特征转换模块(含有特征对齐器)实现。
如图2和图4所示，该转换过程具体如下：
首先，计算上采样特征图的阴影区域及非阴影区域的均值和方差，计算下采样特征图的阴影区域及非阴影区域的均值和方差；
然后，将上采样特征图和下采样特征图的阴影区域的均值串联输入到特征对齐器中，得到需要转换后的阴影区域的目标均值，再将下采样特征图的阴影区域的均值调整为该目标均值；
同样，将上采样特征图和下采样特征图的阴影区域的方差串联输入到特征对齐器中，得到需要转换后的阴影区域的目标方差，再将下采样特征图的阴影区域的方差调整为该目标方差；
将上采样特征图和下采样特征图的非阴影区域的均值串联输入到特征对齐器中，得到需要转换后的非阴影区域的目标均值，再将下采样特征图的非阴影区域的均值调整为该目标均值；
将上采样特征图和下采样特征图的非阴影区域的方差串联输入到特征对齐器中，得到需要转换后的非阴影区域的目标方差，再将下采样特征图的非阴影区域的方差调整为该目标方差。
第二阶段具体如下：
2-1)将第一阶段得到的转换后的特征图与输入阴影图像相结合，得到阴影蒙版。该过程可由阴影蒙版合成模块实现，阴影蒙版合成模块为深度神经网络，阴影蒙版
的计算公式如下：
其中，Sigmoid为Sigmoid激活函数，其将输入转换成0到1的范围；
表示输入阴影图像，其像素值范围为[0,1]，x表示图像的索引值；output表示的是转换后的特征图。
2-2)利用去除阴影模块将阴影蒙版和输入阴影图像相结合，以去除输入阴影图像的阴影，得到最终的去除阴影图像。
这里，去除阴影模块的处理表示成如下公式：
其中，
为去除阴影后的图像；/>
为输入阴影图像；x表示图像的索引值；/>
为阴影蒙版的倒数；*为点乘运算。
在本实施例中，去除阴影模块是在配对的阴影数据集上进行迭代训练，配对的阴影数据集包括输入阴影图像、描述阴影区域的掩码、对应的目标图像，可采用现有的ISTD数据集。配对的阴影数据集可划分成用于迭代训练去除阴影模块的训练数据集和用于验证去除阴影模块的阴影去除效果的测试数据集，例如本实施例是将四分之三的数据集作为训练数据集、四分之一的数据集作为测试数据集。
在每一轮迭代训练中，先对输入阴影图像样本进行初步特征提取得到特征，然后对该特征逐步进行下采样处理并提取对应的下采样特征；然后对最后一步下采样得到的下采样特征进行上采样处理，且将该下采样特征的光照信息变换成与上采样特征的光照信息一致；再将变换后的下采样特征与上采样特征串联输入到上采样模块的下一反卷积层中得到一个新的上采样特征，以此类推再进行多次上采样处理(变换后的下采样特征与每次输出的新的上采样特征串联输入到再下一反卷积层)，直至上采样特征达到上采样最大分辨率，再直接将对应的上采样特征与下采样特征输入到下一卷积层中，得到变换后的特征图。本实施例是设定达到特征大小为(4×4)时停止下采样，具体是下采样6次，上采样过程也进行了6次。这一过程可以对上采样特征补充细节，同时可以去除下采样特征中的阴影信息。
将变换后的特征图与输入阴影图像结合，得到阴影蒙版，再将输入阴影图像和阴影蒙版输入去除阴影模块，由去除阴影模块输出去除阴影图像。
另外，还计算了第二阶段得到的去除阴影图像与目标图像的目标损失，并根据目标损失来更新网络参数，直到迭代停止，去除阴影模块即训练完毕。
这里，目标损失Loss为感知距离损失，计算公式具体为：
其中，Φ(·)表示在ImageNet上训练好的VGG-16网络的计算；l表示VGG-16网络层；
表示去除阴影后的图像，x表示图像的索引值；/>
表示目标图像；‖·‖1表示L1距离。
实施例2
本实施例提供了一种图像去阴影装置，可实现实施例1中的图像去阴影方法。该装置如图3所示，包括相连接的第一阶段网络和第二阶段网络。如图2和图3所示，第一阶段网络用于处理输入阴影图像，包括依次连接的特征提取模块、下采样模块、上采样模块和特征转换模块，下采样模块还连接至特征转换模块。
其中，特征提取模块，用于对待去除阴影的输入阴影图像进行初步特征提取。
下采样模块，用于对初步特征进行下采样来提取出输入阴影图像的语义信息，得到下采样特征图。
上采样模块，用于对下采样特征图进行上采样来放大下采样特征，并扩散光照信息到全局，得到上采样特征图。
特征转换模块，用于根据上采样特征图的阴影区域和非阴影区域的统计信息来引导下采样特征图的转换，使下采样特征图阴影区域和非阴影区域的光照信息调整成与上采样特征图的光照信息一致，得到转换后的特征图。
这里，特征转换模块还进一步包括基于掩码的自适应实例规范化模块以及特征对齐器模块，可参见图4。在图4中，D表示下采样特征，M表示描述阴影区域的掩码，
表示掩码M的补集，即非阴影区域，M和/>
的每一点的值非0即1，u表示上采样特征，F(·，·,·)代表的是基于掩码的自适应实例规范化模块。
基于掩码的自适应实例规范化模块，用于计算上采样特征图的阴影区域及非阴影区域的均值和方差，计算下采样特征图的阴影区域及非阴影区域的均值和方差，用于将下采样特征图的阴影区域的均值调整为阴影区域的目标均值，将下采样特征图的阴影区域的方差调整为阴影区域的目标方差，将下采样特征图的非阴影区域的均值调整为非阴影区域的目标均值，将下采样特征图的非阴影区域的方差调整为非阴影区域的目标方差；
特征对齐器模块含有分别连接基于掩码的自适应实例规范化模块的多个特征对齐器，这些特征对齐器分别用于根据串联输入的上采样特征图和下采样特征图的阴影区域的均值计算出需要转换后的阴影区域的目标均值，根据串联输入的上采样特征图和下采样特征图的阴影区域的方差计算出需要转换后的阴影区域的目标方差，根据串联输入的上采样特征图和下采样特征图的非阴影区域的均值计算出需要转换后的非阴影区域的目标均值，根据串联输入的上采样特征图和下采样特征图的非阴影区域的方差计算出需要转换后的非阴影区域的目标方差。
从图4也可以看出，特征转换模块通过对阴影区域和非阴影区域分别作变换后，再与对应的区域进行点积，然后再相加即可得到变换后的特征。
如图2和图3所示，第二阶段网络用于去除阴影，包括依次连接的阴影蒙版合成模块、去除阴影模块和目标损失计算模块：
阴影蒙版合成模块，用于将第一阶段得到的转换后的特征图与输入阴影图像相结合，得到阴影蒙版；
去除阴影模块，用于将阴影蒙版和输入阴影图像相结合，以去除输入阴影图像的阴影，得到最终的去除阴影图像。
目标损失计算模块，用于计算去除阴影图像与目标图像的目标损失，以便去除阴影模块根据目标损失来更新自己的网络参数。这里，目标损失计算模块采用的是VGG-16网络中对应的网络层Conv2_1，Conv3_1，Conv4_1的特征计算L1距离，然后将它们的L1距离求和即得目标损失。
为了评估本实施例装置的图像去阴影性能。本实施例还与当前多个主流方法进行了对比。图5和表1展示了本实施例和ST-CGAN，DeshadowNet，MaskShadowGAN，Param+M+D-Net，SP+M-Net,Ghost-Free等主流方法的图像去阴影结果。对比的指标为计算去除阴影图像和目标图像在LAB色彩空间的均方根误差，可参见表1中的数值。均方根误差数值越低，表示图像去阴影越准确，效果越好。从表1可以看出，相比于其他图像去阴影网络模型，本实施例装置在综合性能指标阴影区域、非阴影区域以及完整图像上都取得了最好的表现，说明了本实施例能够有效地去除图像阴影。
表1
以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。
Claims (8)
1.一种图像去阴影方法，其特征在于，包括：
第一阶段：
1-1)对待去除阴影的输入阴影图像进行初步特征提取；
1-2)对初步特征进行下采样来提取出输入阴影图像的语义信息，得到下采样特征图；对下采样特征图进行上采样来放大下采样特征，并扩散光照信息到全局，得到上采样特征图；
1-3)根据上采样特征图的阴影区域和非阴影区域的统计信息来引导下采样特征图的转换，使下采样特征图阴影区域和非阴影区域的光照信息调整成与上采样特征图的光照信息一致，得到转换后的特征图；
步骤1-3)中下采样特征图的转换过程如下：
计算上采样特征图的阴影区域及非阴影区域的均值和方差，计算下采样特征图的阴影区域及非阴影区域的均值和方差；
然后将上采样特征图和下采样特征图的阴影区域的均值串联输入到特征对齐器中，得到需要转换后的阴影区域的目标均值，再将下采样特征图的阴影区域的均值调整为该目标均值；
同样，将上采样特征图和下采样特征图的阴影区域的方差串联输入到特征对齐器中，得到需要转换后的阴影区域的目标方差，再将下采样特征图的阴影区域的方差调整为该目标方差；
将上采样特征图和下采样特征图的非阴影区域的均值串联输入到特征对齐器中，得到需要转换后的非阴影区域的目标均值，再将下采样特征图的非阴影区域的均值调整为该目标均值；
将上采样特征图和下采样特征图的非阴影区域的方差串联输入到特征对齐器中，得到需要转换后的非阴影区域的目标方差，再将下采样特征图的非阴影区域的方差调整为该目标方差；
第二阶段：
2-1)将第一阶段得到的转换后的特征图与输入阴影图像相结合，得到阴影蒙版；
2-2)利用去除阴影模块将阴影蒙版和输入阴影图像相结合，以去除输入阴影图像的阴影，得到最终的去除阴影图像。
2.根据权利要求1所述的图像去阴影方法，其特征在于，在步骤2-1)中，阴影蒙版
的计算公式如下：
其中，Sigmoid为Sigmoid激活函数，其将输入转换成0到1的范围；
表示输入阴影图像，其像素值范围为[0,1]，x表示图像的索引值；output表示的是转换后的特征图。
3.根据权利要求1所述的图像去阴影方法，其特征在于，在步骤2-2)中，去除阴影模块的处理表示成如下公式：
其中，
为去除阴影后的图像；/>
为输入阴影图像；x表示图像的索引值；/>
为阴影蒙版的倒数；*为点乘运算。
4.根据权利要求1所述的图像去阴影方法，其特征在于，在步骤1-1)中，利用一个卷积层对待去除阴影的输入阴影图像进行初步特征提取；
在步骤1-2)中，利用由卷积层构成的下采样模块做下采样处理，利用由反卷积层构成的上采样模块做上采样处理。
5.根据权利要求4所述的图像去阴影方法，其特征在于，去除阴影模块在配对的阴影数据集上进行迭代训练，配对的阴影数据集包括输入阴影图像、描述阴影区域的掩码、对应的目标图像；
在每一轮迭代训练中，先对输入阴影图像样本进行初步特征提取得到特征，然后对该特征逐步进行下采样处理并提取对应的下采样特征；然后对最后一步下采样得到的下采样特征进行上采样处理，且将该下采样特征的光照信息变换成与上采样特征的光照信息一致；再将变换后的下采样特征与上采样特征串联输入到上采样模块的下一反卷积层中得到一个新的上采样特征，以此类推进行多次上采样处理，直至上采样特征达到上采样最大分辨率，再直接将对应的上采样特征与下采样特征输入到下一卷积层中，得到变换后的特征图；将变换后的特征图与输入阴影图像结合，得到阴影蒙版，再将输入阴影图像和阴影蒙版输入到去除阴影模块，由去除阴影模块输出去除阴影图像。
6.根据权利要求1所述的图像去阴影方法，其特征在于，去除阴影模块在每一轮迭代中，计算第二阶段得到的去除阴影图像与目标图像的目标损失，并根据目标损失来更新网络参数，直到迭代停止，去除阴影模块即训练完毕；
目标损失Loss的计算公式具体为：
其中，Φ(·)表示在ImageNet上训练好的VGG-16网络的计算；l表示VGG-16网络层；
表示去除阴影后的图像，表示图像的索引值；/>
表示目标图像；||·||1表示L1距离。
7.一种图像去阴影装置，其特征在于，包括相连接的第一阶段网络和第二阶段网络；第一阶段网络用于处理输入阴影图像，包括依次连接的特征提取模块、下采样模块、上采样模块和特征转换模块，下采样模块还连接至特征转换模块；
其中，特征提取模块，用于对待去除阴影的输入阴影图像进行初步特征提取；
下采样模块，用于对初步特征进行下采样来提取出输入阴影图像的语义信息，得到下采样特征图；
上采样模块，用于对下采样特征图进行上采样来放大下采样特征，并扩散光照信息到全局，得到上采样特征图；
特征转换模块，用于根据上采样特征图的阴影区域和非阴影区域的统计信息来引导下采样特征图的转换，使下采样特征图阴影区域和非阴影区域的光照信息调整成与上采样特征图的光照信息一致，得到转换后的特征图；
特征转换模块进一步包括基于掩码的自适应实例规范化模块以及特征对齐器模块：
基于掩码的自适应实例规范化模块，用于计算上采样特征图的阴影区域及非阴影区域的均值和方差，计算下采样特征图的阴影区域及非阴影区域的均值和方差，用于将下采样特征图的阴影区域的均值调整为阴影区域的目标均值，将下采样特征图的阴影区域的方差调整为阴影区域的目标方差，将下采样特征图的非阴影区域的均值调整为非阴影区域的目标均值，将下采样特征图的非阴影区域的方差调整为非阴影区域的目标方差；
特征对齐器模块含有分别连接基于掩码的自适应实例规范化模块的多个特征对齐器，这些特征对齐器分别用于根据串联输入的上采样特征图和下采样特征图的阴影区域的均值计算出需要转换后的阴影区域的目标均值，根据串联输入的上采样特征图和下采样特征图的阴影区域的方差计算出需要转换后的阴影区域的目标方差，根据串联输入的上采样特征图和下采样特征图的非阴影区域的均值计算出需要转换后的非阴影区域的目标均值；根据串联输入的上采样特征图和下采样特征图的非阴影区域的方差计算出需要转换后的非阴影区域的目标方差；
第二阶段网络用于去除阴影，包括相连接的阴影蒙版合成模块、去除阴影模块：
阴影蒙版合成模块，用于将第一阶段得到的转换后的特征图与输入阴影图像相结合，得到阴影蒙版；
去除阴影模块，用于将阴影蒙版和输入阴影图像相结合，以去除输入阴影图像的阴影，得到最终的去除阴影图像。
8.根据权利要求7所述的图像去阴影装置，其特征在于，所述装置还包括连接去除阴影模块的目标损失计算模块，用于计算去除阴影图像与目标图像的目标损失，去除阴影模块用于根据目标损失来更新自己的网络参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110346503.4A CN113052775B (zh) | 2021-03-31 | 2021-03-31 | 一种图像去阴影方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110346503.4A CN113052775B (zh) | 2021-03-31 | 2021-03-31 | 一种图像去阴影方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113052775A CN113052775A (zh) | 2021-06-29 |
| CN113052775B true CN113052775B (zh) | 2023-05-23 |
Family
ID=76516846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110346503.4A Active CN113052775B (zh) | 2021-03-31 | 2021-03-31 | 一种图像去阴影方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113052775B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436115B (zh) * | 2021-07-30 | 2023-09-19 | 西安热工研究院有限公司 | 一种基于深度无监督学习的图像阴影检测方法 |
| CN114820398B (zh) * | 2022-07-01 | 2022-11-04 | 北京汉仪创新科技股份有限公司 | 基于扩散模型的图片字体替换方法、系统、设备和介质 |
| CN115375589B (zh) * | 2022-10-25 | 2023-02-10 | 城云科技（中国）有限公司 | 一种去除图像阴影模型及其构建方法、装置及应用 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666842A (zh) * | 2020-05-25 | 2020-09-15 | 东华大学 | 一种基于双流空洞卷积神经元网络的阴影检测方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410219B (zh) * | 2018-10-09 | 2021-09-03 | 山东大学 | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 |
| CN111986112B (zh) * | 2020-08-19 | 2023-01-06 | 北京航空航天大学 | 一种软注意力机制的深度全卷积神经网络图像去噪方法 |
| CN112288647B (zh) * | 2020-10-13 | 2022-06-03 | 武汉大学 | 一种基于门控卷积的遥感影像云和阴影修复的方法 |
| CN112257766B (zh) * | 2020-10-16 | 2023-09-29 | 中国科学院信息工程研究所 | 一种基于频域滤波处理的自然场景下阴影识别检测方法 |
-
2021
- 2021-03-31 CN CN202110346503.4A patent/CN113052775B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111666842A (zh) * | 2020-05-25 | 2020-09-15 | 东华大学 | 一种基于双流空洞卷积神经元网络的阴影检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113052775A (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113052775B (zh) | 一种图像去阴影方法及装置 | |
| CN109299274B (zh) | 一种基于全卷积神经网络的自然场景文本检测方法 | |
| CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| CN110287969B (zh) | 基于图残差注意力网络的摩尔文本图像二值化系统 | |
| CN113052210B (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
| CN114758383A (zh) | 基于注意力调制上下文空间信息的表情识别方法 | |
| CN113033570B (zh) | 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法 | |
| CN108364270B (zh) | 偏色图像颜色还原方法及装置 | |
| CN111340814A (zh) | 一种基于多模态自适应卷积的rgb-d图像语义分割方法 | |
| CN109410144B (zh) | 一种基于深度学习的端到端图像去雾处理方法 | |
| CN111062329B (zh) | 基于增广网络的无监督行人重识别方法 | |
| CN109509156B (zh) | 一种基于生成对抗模型的图像去雾处理方法 | |
| CN114048822A (zh) | 一种图像的注意力机制特征融合分割方法 | |
| CN111696038A (zh) | 图像超分辨率方法、装置、设备及计算机可读存储介质 | |
| CN111401247A (zh) | 一种基于级联卷积神经网络的人像分割方法 | |
| CN110992374A (zh) | 一种基于深度学习的头发精细化分割方法及系统 | |
| CN111860046A (zh) | 一种改进MobileNet模型的人脸表情识别方法 | |
| CN116958827A (zh) | 一种基于深度学习的撂荒区域提取方法 | |
| CN113066025A (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
| CN114821050A (zh) | 一种基于transformer的指称图像分割方法 | |
| CN115018725A (zh) | 一种基于块最小像素先验的衍射图像复原方法 | |
| CN114626984A (zh) | 中文文本图像的超分辨率重建方法 | |
| CN116740362B (zh) | 一种基于注意力的轻量化非对称场景语义分割方法及系统 | |
| CN113256528B (zh) | 基于多尺度级联深度残差网络的低照度视频增强方法 | |
| CN114821580A (zh) | 一种分阶段融入去噪模块的含噪图像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |