CN108986052A - 一种自适应的图像去光照方法和系统 - Google Patents
一种自适应的图像去光照方法和系统 Download PDFInfo
- Publication number
- CN108986052A CN108986052A CN201810863971.7A CN201810863971A CN108986052A CN 108986052 A CN108986052 A CN 108986052A CN 201810863971 A CN201810863971 A CN 201810863971A CN 108986052 A CN108986052 A CN 108986052A
- Authority
- CN
- China
- Prior art keywords
- image
- adaptive
- shadow edge
- illumination
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 102
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000009466 transformation Effects 0.000 claims description 26
- 238000010606 normalization Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000006978 adaptation Effects 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 5
- 230000003760 hair shine Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 17
- 238000012937 correction Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012948 formulation analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种自适应的图像去光照方法和系统，该图像去光照方法具体包括以下步骤：步骤S10、获取待处理图像；步骤S20、将所述待处理图像进行自适应光照预处理，获得自适应光照预处理图像；步骤S30、将所述待处理图像进行自适应阴影边界提取，获得阴影边界图像；步骤S40、基于所述自适应光照预处理图像和阴影边界图像，重建去光照图像。本发明通过获取待处理图像，并将所述待处理图像先分别进行自适应光照预处理和自适应阴影边界提取，然后再通过图像重建获得光照校正和去阴影后的图像，从而校正偏亮或偏暗的图像，并去除阴影，有效的提高了去光照的效果和使用性能。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种自适应的图像去光照方法和系统。
背景技术
近几年来，随着人工智能技术的飞速发展，图像识别、智能监控、图像美化及短视频技术、无人驾驶和智能机器人等成为全球科技领域竞相研发和攻克的热点与难点。然而，只有在图像采集光照比较好的情况下，图像识别、智能监控等才能达到更好的性能和效果，美化的图像和视频也才能有更好的视觉呈现效果，无人驾驶和智能机器人的视觉信息才能更好的被利用。在实际应用场景中，自然光照下采集的图像效果往往差强人意。因此，必须对图像进行光照处理，通过光照处理，减少图像中光线引起的干扰信息、噪声(光点、光斑)、阴影等，进而让图像在后续的视觉工作中表现出更好的效果和性能。
图像中的阴影是计算机视觉中的一个痛点，这直接影响图像在后续计算机视觉工作中的表现，阴影抑制技术因此获得越来越多的关注。近年来，图像视频数据越来越多的代替语音信息、文本信息等，人们对图像数据的也提出了越来越多的要求，这一方面可以从采集设备上面改进，另一方面为了节省成本以及更强的通用性，图像预处理技术也成为一项热点技术与难点技术，其中阴影的处理尤为关键。例如在无人驾驶中采集的视觉信息需要进行图像分割，阴影将成为一个很大的干扰项。
发明内容
本发明的目的在于：针对采集图像存在的整体或局部出现过亮或过暗以及阴影现象的光照问题，提供一种自适应的图像去光照方法和系统，通过校正偏亮或偏暗的图像，并去除阴影，从而提高图像的视觉效果。
本发明采用的技术方案如下：
一种自适应的图像去光照方法，具体包括以下步骤：
步骤S10、获取待处理图像；
步骤S20、将所述待处理图像进行自适应光照预处理，获得自适应光照预处理图像；
步骤S30、将所述待处理图像进行自适应阴影边界提取，获得阴影边界图像；
步骤S40、基于所述自适应光照预处理图像和阴影边界图像，重建去光照图像。
进一步地，步骤S20中的所述自适应光照预处理，具体包括：
步骤S21、对所述待处理图像进行通道分离，获得三个通道的单色图像；
步骤S22、计算所述单色图像的自适应系数，并对每个通道的单色图像依次进行对数变换、指数变换和强度保留；
步骤S23、通过通道合并，得到自适应光照预处理图像。
进一步地，步骤S21具体为：对所述待处理图像进行通道分离，获得R/G/B三个通道的单色图像IR/IG/IB；
步骤S22具体为：通过计算单色图像IR/IG/IB的自适应系数bR/bG/bB，其中，i表示图像的三个通道，表示第i个通道图像的像素期望值，refi表示该通道对应的标准参考值；
再通过Ii0＝log(Ii+1)对每个通道的单色图像IR/IG/IB进行对数变换，得到单色图像IR0/IG0/IB0；
再通过对每个通道的单色图像IR0/IG0/IB0进行指数变换，得到单色图像IR1/IG1/IB1；
再通过Ii2＝max(Ii)*(Ii1/max(Ii1))对每个通道的单色图像IR1/IG1/IB1进行强度保留，得到单色图像IR2/IG2/IB2；
步骤S23具体为：对单色图像IR2/IG2/IB2进行通道合并，输出自适应光照预处理图像。
进一步地，步骤S30中的自适应阴影边界提取，具体包括：
步骤S31、对所述待处理图像的三个通道进行几何平均归一化；
步骤S32、使用投影矩阵将3D图像降维投影到2D图像；
步骤S33、通过各向投影将2D图像降维成1D灰度图；
步骤S34、对1D灰度图做全局强度归一化；
步骤S35、对所述全局强度归一化后的1D灰度图中的投影点分布计算信息熵，从而获得光不变图像和光保留图像；
步骤S36、对所述光不变图像和光保留图像做梯度映射，并通过计算出阴影边界掩模得到阴影边界图像。
进一步地，步骤S31具体为：所述待处理图像的色彩值公式化为光谱的函数：
通过对图像的三个通道进行几何平均归一化获得的c，消去不同图像的强度差异并引入归一化约束cR*cG*cB＝1；然后通过将c转换到对数空间获得ψ，其中Wi和W由表示，同时归一化约束变为ψR+ψG+ψB＝0；
步骤S32具体为：通过投影矩阵获得2D图像
步骤S33具体为：通过χ＝φ1cosθ+φ2sinθ对所有方向都做投影，将2D图像降维成1D灰度图；
步骤S34具体为：通过μ＝(mean(χ(x,y)m))1/m对1D灰度图做全局强度归一化，其中m是归一化系数，默认值m＝0.1；
步骤S35具体为：通过计算χ分布的信息熵，获得信息熵函数；通过信息熵函数可找到最大信息熵和最小信息熵，其中最小信息熵对应的图像为光不变图像χmin，最大信息熵对应的图像为光保留图像χmax；
步骤S36具体为：对所述光不变图像χmin和光保留图像χmax做梯度映射，得到和再通过式子计算出阴影边界掩模，将符合这样条件的像素点标记为阴影边界，获得阴影边界图像；
自适应阈值
进一步地，步骤S32中的d1和d2由表示。
进一步地，通过阴影边界连续的特性，用形态学闭运算将阴影边界增强，进一步优化阴影边界图像。
进一步地，步骤S40中重建去光照图像，具体包括：
步骤S41、对所述自适应光照预处理图像进行对数变换，获得对数变换图像，并定义梯度映射；
步骤S42、利用所述阴影边界图像校正所述对数变换图像的拉普拉斯图像；
步骤S43、建立泊松方程式；
步骤S44、利用矩阵运算求解泊松方程之后，获得对数空间重建图像；
步骤S45、对所述对数空间重建图像做指数映射，并将每个通道应用一个乘法比例因子进行强度保留，输出去阴影重建图像。
进一步地，步骤S41具体为：对所述自适应光照预处理图像进行对数变换，获得对数变换图像L，并定义梯度映射为其中，i表示图像的三个通道，k∈{x,y}；
步骤S42具体为：通过利用所述阴影边界图像校正所述对数变换图像的拉普拉斯图像；
步骤S43具体为：建立泊松方程式
步骤S44具体为：使用式的2D卷积核来卷积M*N大小的图像，将拉普拉斯算子表示为一个大小为MN*MN的稀疏矩阵Λ左乘一个像素被排成一列的图像即
一种基于所述图像去光照方法的图像去光照系统，包括：
图像输入单元，用于输入待处理图像；
自适应光照预处理单元，用于将所述待处理图像进行自适应光照预处理，获得自适应光照预处理图像；
自适应阴影边界提取单元，用于将所述待处理图像进行自适应阴影边界提取，获得阴影边界图像；
图像重建单元，用于基于所述自适应光照预处理图像和阴影边界图像，重建去光照图像。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明通过获取待处理图像，并将所述待处理图像先分别进行自适应光照预处理和自适应阴影边界提取，然后再通过图像重建获得光照校正和去阴影后的图像，从而校正偏亮或偏暗的图像，并去除阴影，有效的提高了去光照的效果和使用性能。相比现有的公职技术，本发明通过创新性的优化操作，使得算法效果在现有去光照技术的基础上有所增强，达到了1+1>2的效果。
2、本发明提出的阴影边界图像的生成过程，将原来通过4个2D图像计算调整为通过1D灰度图的光不变图像和光保留图像进行计算，提升了计算效率同时效果也得以提升。
3、本发明在阴影边界图像形成的过程中，使用了自适应的阈值。在现有的公知技术中，对于不同的光照情况，阈值的选择各不相同，具有不确定性和复杂性。这一改进使得去光照的自适应性得以改善和增强。
4、本发明通过形态学闭运算对提取的阴影边界图像作了进一步优化，使得原本断断续续的阴影边界连接起来，提升了阴影边界提取的效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的图像去光照方法的流程图。
图2为本发明的图像去光照方法中步骤S20的详细流程图。
图3为本发明的图像去光照方法中步骤S30的详细流程图。
图4为本发明的图像去光照方法中步骤S40的详细流程图。
图5为本发明的图像去光照系统的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
一种自适应的图像去光照方法，其特征在于，具体包括以下步骤：
步骤S10、获取待处理图像；
步骤S20、将所述待处理图像进行自适应光照预处理，获得自适应光照预处理图像；
步骤S30、将所述待处理图像进行自适应阴影边界提取，获得阴影边界图像；
步骤S40、基于所述自适应光照预处理图像和阴影边界图像，重建去光照图像。
一种基于所述图像去光照方法的图像去光照系统，包括：
图像输入单元，用于输入待处理图像；
自适应光照预处理单元，用于将所述待处理图像进行自适应光照预处理，获得自适应光照预处理图像；
自适应阴影边界提取单元，用于将所述待处理图像进行自适应阴影边界提取，获得阴影边界图像；
图像重建单元，用于基于所述自适应光照预处理图像和阴影边界图像，重建去光照图像；
图像输出单元，用于输出去光照图像。
本发明通过获取待处理图像，并将所述待处理图像先分别进行自适应光照预处理和自适应阴影边界提取，然后再通过图像重建获得光照校正和去阴影后的图像，从而校正偏亮或偏暗的图像，并去除阴影，有效的提高了去光照的效果和使用性能；另一方面在许多图像处理和计算机视觉处理任务中对图像进行自适应光照预处理可以提高后续处理工作的实现效果或性能。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
实施例1
一种自适应的图像去光照方法，如图1所示，具体包括以下步骤：
步骤S10、获取待处理图像；本实施例的所述待处理图像是未经过处理的全彩色图像；
步骤S20、将所述待处理图像进行自适应光照预处理，获得自适应光照预处理图像；
具体地，自适应光照预处理，基于指对数映射的特性，通过自适应系数将过亮或过暗的图像调整到一个合适的范围。由于指数映射可以将过亮的像素强度降低，对数映射可以将较暗的像素强度提升，因此通过将两者结合，自适应的调整过亮或过暗的图像。通过自适应的图像光照校正，图像质量获得初步的提升。步骤S20中的所述自适应光照预处理，如图2所示，具体包括：
步骤S21、对所述待处理图像进行通道分离，获得R/G/B三个通道的单色图像IR/IG/IB；
步骤S22、计算所述单色图像的自适应系数bR/bG/bB，并对每个通道的单色图像依次进行对数变换、指数变换和强度保留；
所述单色图像的自适应系数bR/bG/bB用于平衡指数变换与对数变换的效果：
其中，i表示图像的三个通道，表示第i个通道图像的像素期望值，refi表示该通道对应的标准参考值。一般由多张正常光照下的图像的像素求期望得到(三个通道会有三个标准参考值)，r∈[0,1]是对bi进行调整的参数，可以根据不同的场景设置不同的值；
对每个通道的单色图像IR/IG/IB进行对数变换，以此增强图像中较暗的像素，得到IR0/IG0/IB0；
Ii0＝log(Ii+1) (2)
对每个通道的单色图像IR0/IG0/IB0进行指数变换，以此减弱图像中较亮的像素，并平衡对数变换的效果，得到IR1/IG1/IB1；
对每个通道的单色图像IR1/IG1/IB1进行强度保留，以此保留原图像中最亮像素的强度；因为之前的操作会使得图像整体的强度发生变化，通过此步骤保持原有图像的颜色和色彩强度；
Ii2＝max(Ii)*(Ii1/max(Ii1)) (4)
步骤S23、对每个通道的所述单色图像IR2/IG2/IB2进行通道合并，得到自适应光照预处理图像；
步骤S30、将所述待处理图像进行自适应阴影边界提取，获得阴影边界图像；
需要说明的是，本申请中1D均是指一通道，2D均是指二通道，3D均是指三通道，与矩阵的维数无关。
因为最终成像的色度主要受到三个因子的影响：光源、物体表面材料和采集设备，为了去除不同图片整体强度差异的影响和引入归一化约束，首先对图像各个通道做几何归一化，同时为了将各个因子之间的乘积关系转化为和式关系方便进一步处理，将全彩色图各个通道分别转化到对数空间进行分析。接着通过归一化约束进行光照归一化投影，将3D色度空间图像降维到2D。然后通过公式化分析2D色度空间图像色度的分布特性，说明将2D色度空间图像投射到1D的可行性以及投射后图像的相关性质。在分析投射后1D图像的信息熵之后，寻找光照不变投射方向和光照相关投射方向，进行投射，从而获得1D的光不变图像与光保留图像。虽然光照被归一化了，但是由于图像采集环境不同，图像整体的强度之间还存在差异，因此需对光不变图像和光保留图像做全局强度归一化。
除了在阴影边界附近，光照条件在空间中的变化是十分缓慢的，因此近似认为阴影边界之外的区域不受光照影响。在该模块中，最终目标是获得阴影边界的掩模，为了分析出图像中阴影的分布情况，需要用到光不变图像与光保留图像之间的差异信息。当在某区域，光保留图像的强度变化明显大于光不变图像时，可以确定该区域受到了光照的污染。基于这样的认知，首先提取出光不变图像与光保留图像的梯度变化图像，然后设定自适应阈值确定出阴影边界区域分布的二值图。同时，为了达到更好的阴影边界提取效果，在自适应阈值处理前先对光不变图像和光保留图像做均值滤波以达到更好的效果。最后通过阴影边界连续的特性，通过形态学闭运算将阴影边界增强，获得进一步优化的阴影边界图像，为最后的重建做好准备。
具体地，步骤S30中的自适应阴影边界提取，如图3所示，具体包括：
步骤S31、所述待处理图像的色彩值可由式(5)公式化为光谱的函数：
其中i表示所述待处理图像的三个通道，Ci表示在第i个通道最终成像的色彩值，α表示物体表面法线与光照方向的内积，I表示输入图像，k1和k2为常数，fi表示摄像采集传感器对第i个通道色彩的响应强度，λi表示第i个通道色彩的光谱值，T表示光线色温，S(λ)表示物体表面的光谱反射函数；
对所述待处理图像的三个通道进行几何平均归一化；
通过(6)式对图像的三个通道进行几何平均归一化获得公式(7)的c，消去不同图像的强度差异并引入归一化约束cR*cG*cB＝1。
然后通过(8)式将c转换到对数空间获得ψ，其中Wi和W由(9)式表示，同时归一化约束变为ψR+ψG+ψB＝0；
步骤S32、使用投影矩阵将3D图像降维投影到2D图像，所述投影矩阵由公式(10)表示，获得由公式(11)表示的2D图像φ，其中d1和d2由公式(12)表示；
通过消去公式(11)中的可获得φ1与φ2之间参数化的线性关系，由公式(13)可看到斜率由三个通道的光谱值表示并且是一个常数，截距d由{W1,W2,W3}决定，而Wi仅仅依赖于物体表面反射特性并且对于不同的光照条件都保持为常数。因此，对于相同的材料，点(φ1，φ2)分布在同一条直线上，分布的线段的长度表示了光照对这种材料的变化范围大小。相应的，每对平行线之间的距离反映了物体表面性质之间的差异。
步骤S33、通过各向投影将2D图像降维成1D灰度图；
将一种材料对应的直线上的点都向他的垂线投影，直线将会汇聚成一点，这一点消去了与光照有关的信息，仅与材料本身有关。由于实际中噪声的干扰和材料自身的差异，点不会严格分布于一条直线上，为了寻找最佳的投影方向，先通过(14)式对所有方向都做投影，在通过(14)完成各个方向的投影之后，3D图像已经变成了1D灰度图；
χ＝φ1cosθ+φ2sinθ (14)
步骤S34、对1D灰度图做全局强度归一化；
由于图像之间的整体差异，通过(15)式对1D灰度图做全局强度归一化；
μ＝(mean(χ(x,y)m))1/m (15)
其中m是归一化系数，可以减少χ中较大值的影响，默认值m＝0.1。用计算出的μ值代表大部分像素区域的颜色强度，然后将这个值缩放到0.5，即缩放因子为1/2μ。将这一缩放因子应用到所有像素，获得全局强度归一化后的1D灰度图。
步骤S35、对所述全局强度归一化后的1D灰度图中的投影点分布计算信息熵，从而获得光不变图像和光保留图像。信息熵越小，点分布越集中有规律，光照信息被消去的越多，信息熵越大，点分布越分散，此时投影所消去的信息大多是与材料本身有关的信息而保留了与光照有关的信息；
具体地，通过计算χ分布的信息熵，获得信息熵函数。通过信息熵函数可找到最大信息熵和最小信息熵，其中最小信息熵对应的图像为光不变图像χmin，最大信息熵对应的图像为光保留图像χmax。
步骤S36、对所述光不变图像和光保留图像做梯度映射，并通过计算出阴影边界掩模得到阴影边界图像。除了在阴影边界附近，光照条件在空间中的变化是十分缓慢的，因此我们近似认为阴影边界之外的区域不受光照影响。
为了通过这两个图像计算出阴影边界图像，需先对所述光不变图像和光保留图像做梯度映射，得到和再通过(16)式计算出阴影边界掩模，当某区域在光保留图像χmax中变化很大而在光不变图像χmin中无变化时，可以确定这是光照造成的影响；
将符合这样条件的像素点标记为阴影边界，获得阴影边界图像。其中式(16)中的τmin和τmax是自适应阈值，由式(17)确定；
其中smin∈[0,1],smax∈[0,1]且均为常数，M和N表示阴影边界图像的高和宽，函数Tχ(t)是将图像χ的所有像素按像素值从小到大进行排列，取出排列后的第t个像素值作为输出。
同时，为了达到更好的阴影边界提取效果，在自适应阈值处理前先对光不变图像和光保留图像做均值滤波以达到更好的效果。最后通过阴影边界连续的特性，用形态学闭运算将阴影边界增强，获得进一步优化的阴影边界图像。
步骤S40、基于所述自适应光照预处理图像和阴影边界图像，进行图像重建。
自适应光照预处理在矫正过亮过暗的像素区域之后，还受到光照造成的阴影的影响，在完成自适应阴影边界提取的处理之后，可以通过阴影边界图像消除自适应光照预处理图像中的阴影。为了与自适应阴影边界提取保持一致，图像在重建之前也应变换到对数空间进行分析。通过校正图像在阴影边界处的梯度，可以完成对图像自然的校正，因此首先获得图像在各个通道的梯度图，然后通过阴影边界图像对全彩图的梯度图进行校正，当某像素属于阴影边界时，将其在梯度图中的值置零。为了梯度分析的方向对称性和完整性，使用拉普拉斯算子操作图像，同时使用前述的梯度校正方法。校正后的图像的拉普拉斯图像可作为去阴影后图像的拉普拉斯图像，因此可建立泊松方程，为了方便可将边界条件置零。完成泊松方程求解后，获得对数空间的重建后的图像，接着对图像做指数映射，最后对重建图像的每个通道乘以相应的比例因子使重建图像最亮像素与原彩色图像的强度相一致。
具体地，步骤S40如图4所示，具体包括：
步骤S41、对所述自适应光照预处理图像进行对数变换，获得对数变换图像，并定义梯度映射。
由于阴影边界图像是在对数空间进行分析获得的，因此首先对带有阴影的自适应光照预处理图像进行对数变换获得对数变换图像L。为了通过阴影边界图像校正自适应去光照预处理图像，定义梯度映射：
其中，i表示图像的三个通道，k∈{x,y}。当对数变换图像L中某像素属于阴影边界时，将其梯度置零。
步骤S42、利用所述阴影边界图像校正所述对数变换图像的拉普拉斯图像，如(19)式：
步骤S43、建立泊松方程式；
设去阴影之后的对数空间图像为则可建立一个泊松方程式(20)，为了方便，设边界条件为零。
步骤S44、利用矩阵运算求解泊松方程之后，获得对数空间重建图像；
给定一个M*N大小的图像，拉普拉斯算子使用式(21)的2D卷积核来卷积图像：
则拉普拉斯算子表示为一个大小为MN*MN的稀疏矩阵Λ左乘一个像素被排成一列的图像如式(22)：
其中矩阵Λ为式(23)，公式中的D为式(24)，I表示M*M的单位矩阵：
Λ的每一行左乘图像相当于(21)式的卷积核卷积图像的对应行的一个像素。
步骤S45、对所述对数空间重建图像做指数映射，并将每个通道应用一个乘法比例因子进行强度保留，输出去阴影重建图像。通过该步骤使当前重建图像的最亮像素与原待处理图像中最亮像素的强度相等，使得图像的色彩和强度都得以适当的重建，从而得到与原待处理图像的色彩和强度相等的去阴影重建图像。
实施例2
通过实施例1的自适应的图像去光照方法可建立一种自适应的图像去光照系统，如图5所示，包括：
图像输入单元，用于输入待处理图像；
自适应光照预处理单元，用于将所述待处理图像进行自适应光照预处理，获得自适应光照预处理图像；
自适应阴影边界提取单元，用于将所述待处理图像进行自适应阴影边界提取，获得阴影边界图像；
图像重建单元，用于基于所述自适应光照预处理图像和阴影边界图像，重建去光照图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简沽，上述描述的图像去光照系统以及其各功能单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。并且，应当理解的是，所述图像去光照系统在应用时，还可以加入图像输出单元，例如通过显示单元进行显示，或者通过输出到存储单元进行存储，或者输出到网络中进行传输等。
上述的明各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的各功能单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、平板电脑、个人计算机，服务器，或者网络设备等)执行本发明所述图像去光照方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种自适应的图像去光照方法，其特征在于，具体包括以下步骤：
步骤S10、获取待处理图像；
步骤S20、将所述待处理图像进行自适应光照预处理，获得自适应光照预处理图像；
步骤S30、将所述待处理图像进行自适应阴影边界提取，获得阴影边界图像；
步骤S40、基于所述自适应光照预处理图像和阴影边界图像，重建去光照图像。
2.如权利要求1所述的图像去光照方法，其特征在于，步骤S20中的所述自适应光照预处理，具体包括：
步骤S21、对所述待处理图像进行通道分离，获得三个通道的单色图像；
步骤S22、计算所述单色图像的自适应系数，并对每个通道的单色图像依次进行对数变换、指数变换和强度保留；
步骤S23、通过通道合并，得到自适应光照预处理图像。
3.如权利要求2所述的图像去光照方法，其特征在于，
步骤S21具体为：对所述待处理图像进行通道分离，获得R/G/B三个通道的单色图像IR/IG/IB；
步骤S22具体为：通过i＝R,G,B计算单色图像IR/IG/IB的自适应系数bR/bG/bB，其中，i表示图像的三个通道，表示第i个通道图像的像素期望值，refi表示该通道对应的标准参考值；
再通过Ii0＝log(Ii+1)对每个通道的单色图像IR/IG/IB进行对数变换，得到单色图像IR0/IG0/IB0；
再通过对每个通道的单色图像IR0/IG0/IB0进行指数变换，得到单色图像IR1/IG1/IB1；
再通过Ii2＝max(Ii)*(Ii1/max(Ii1))对每个通道的单色图像IR1/IG1/IB1进行强度保留，得到单色图像IR2/IG2/IB2；
步骤S23具体为：对单色图像IR2/IG2/IB2进行通道合并，输出自适应光照预处理图像。
4.如权利要求1所述的图像去光照方法，其特征在于，步骤S30中的自适应阴影边界提取，具体包括：
步骤S31、对所述待处理图像的三个通道进行几何平均归一化；
步骤S32、使用投影矩阵将3D图像降维投影到2D图像；
步骤S33、通过各向投影将2D图像降维成1D灰度图；
步骤S34、对1D灰度图做全局强度归一化；
步骤S35、对所述全局强度归一化后的1D灰度图中的投影点分布计算信息熵，从而获得光不变图像和光保留图像；
步骤S36、对所述光不变图像和光保留图像做梯度映射，并通过计算出阴影边界掩模得到阴影边界图像。
5.如权利要求4所述的图像去光照方法，其特征在于，
步骤S31具体为：所述待处理图像的色彩值公式化为光谱的函数：
通过对图像的三个通道进行几何平均归一化获得的c，消去不同图像的强度差异并引入归一化约束cR*cG*cB＝1；然后通过将c转换到对数空间获得ψ，其中Wi和W由表示，同时归一化约束变为ψR+ψG+ψB＝0；
步骤S32具体为：通过投影矩阵获得2D图像
步骤S33具体为：通过χ＝φ1cosθ+φ2sinθ对所有方向都做投影，将2D图像降维成1D灰度图；
步骤S34具体为：通过μ＝(mean(χ(x,y)m))1/m对1D灰度图做全局强度归一化，其中m是归一化系数，默认值m＝0.1；
步骤S35具体为：通过计算χ分布的信息熵，获得信息熵函数；通过信息熵函数可找到最大信息熵和最小信息熵，其中最小信息熵对应的图像为光不变图像χmin，最大信息熵对应的图像为光保留图像χmax；
步骤S36具体为：对所述光不变图像χmin和光保留图像χmax做梯度映射，得到和再通过式子计算出阴影边界掩模，将符合这样条件的像素点标记为阴影边界，获得阴影边界图像；
自适应阈值
6.如权利要求5所述的图像去光照方法，其特征在于，步骤S32中的d1和d2由表示。
7.如权利要求5所述的图像去光照方法，其特征在于，通过阴影边界连续的特性，用形态学闭运算将阴影边界增强，进一步优化阴影边界图像。
8.如权利要求1所述的图像去光照方法，其特征在于，步骤S40中重建去光照图像，具体包括：
步骤S41、对所述自适应光照预处理图像进行对数变换，获得对数变换图像，并定义梯度映射；
步骤S42、利用所述阴影边界图像校正所述对数变换图像的拉普拉斯图像；
步骤S43、建立泊松方程式；
步骤S44、利用矩阵运算求解泊松方程之后，获得对数空间重建图像；
步骤S45、对所述对数空间重建图像做指数映射，并将每个通道应用一个乘法比例因子进行强度保留，输出去阴影重建图像。
9.如权利要求8所述的图像去光照方法，其特征在于，
步骤S41具体为：对所述自适应光照预处理图像进行对数变换，获得对数变换图像L，并定义梯度映射为i＝R,G,B；其中，i表示图像的三个通道，k∈{x,y}；
步骤S42具体为：通过利用所述阴影边界图像校正所述对数变换图像的拉普拉斯图像；
步骤S43具体为：建立泊松方程式
步骤S44具体为：使用式的2D卷积核来卷积M*N大小的图像，将拉普拉斯算子表示为一个大小为MN*MN的稀疏矩阵Λ左乘一个像素被排成一列的图像即
10.一种基于权利要求1-9任一项所述的图像去光照方法的图像去光照系统，包括：
图像输入单元，用于输入待处理图像；
自适应光照预处理单元，用于将所述待处理图像进行自适应光照预处理，获得自适应光照预处理图像；
自适应阴影边界提取单元，用于将所述待处理图像进行自适应阴影边界提取，获得阴影边界图像；
图像重建单元，用于基于所述自适应光照预处理图像和阴影边界图像，重建去光照图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810863971.7A CN108986052B (zh) | 2018-08-01 | 2018-08-01 | 一种自适应的图像去光照方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810863971.7A CN108986052B (zh) | 2018-08-01 | 2018-08-01 | 一种自适应的图像去光照方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108986052A true CN108986052A (zh) | 2018-12-11 |
| CN108986052B CN108986052B (zh) | 2021-02-19 |
Family
ID=64550925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810863971.7A Active CN108986052B (zh) | 2018-08-01 | 2018-08-01 | 一种自适应的图像去光照方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108986052B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264411A (zh) * | 2019-05-13 | 2019-09-20 | 北京中科晶上科技股份有限公司 | 用于图像的光照校正方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101425179A (zh) * | 2008-11-18 | 2009-05-06 | 清华大学 | 一种人脸图像重光照的方法及装置 |
| US8009880B2 (en) * | 2007-05-11 | 2011-08-30 | Microsoft Corporation | Recovering parameters from a sub-optimal image |
| US8705857B2 (en) * | 2011-08-10 | 2014-04-22 | The United States Of America, As Represented By The Secretary Of The Navy | System and method of image processing perceptual visibility of imagery |
| CN104182947A (zh) * | 2014-09-10 | 2014-12-03 | 安科智慧城市技术（中国）有限公司 | 一种低照度图像增强方法和系统 |
| CN106971153A (zh) * | 2017-03-08 | 2017-07-21 | 重庆三峡学院 | 一种人脸图像光照补偿方法 |
| CN107358572A (zh) * | 2017-07-12 | 2017-11-17 | 杭州字节信息技术有限公司 | 一种改进型基于战术信息终端的环境光线自适应方法 |
| CN107358586A (zh) * | 2017-07-06 | 2017-11-17 | 中山大学 | 一种图像增强方法、装置及设备 |
-
2018
- 2018-08-01 CN CN201810863971.7A patent/CN108986052B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8009880B2 (en) * | 2007-05-11 | 2011-08-30 | Microsoft Corporation | Recovering parameters from a sub-optimal image |
| CN101425179A (zh) * | 2008-11-18 | 2009-05-06 | 清华大学 | 一种人脸图像重光照的方法及装置 |
| US8705857B2 (en) * | 2011-08-10 | 2014-04-22 | The United States Of America, As Represented By The Secretary Of The Navy | System and method of image processing perceptual visibility of imagery |
| CN104182947A (zh) * | 2014-09-10 | 2014-12-03 | 安科智慧城市技术（中国）有限公司 | 一种低照度图像增强方法和系统 |
| CN106971153A (zh) * | 2017-03-08 | 2017-07-21 | 重庆三峡学院 | 一种人脸图像光照补偿方法 |
| CN107358586A (zh) * | 2017-07-06 | 2017-11-17 | 中山大学 | 一种图像增强方法、装置及设备 |
| CN107358572A (zh) * | 2017-07-12 | 2017-11-17 | 杭州字节信息技术有限公司 | 一种改进型基于战术信息终端的环境光线自适应方法 |
Non-Patent Citations (4)
| Title |
|---|
| WUMING ZHANG, XI ZHAO, JEAN-MARIE MORVAN，LIMING CHEN: "Improving Shadow Suppression for Illumination Robust Face Recognition", 《ARXIV:1710.05073V1[CS.CV]》 * |
| 杜明，赵向军: "改进Retinex的光照变化人脸图像增强算法", 《计算机科学》 * |
| 肖泉，丁兴号，王守觉，廖英豪，郭东辉: "有效消除光晕现象和颜色保持的彩色图像增强算法", 《计算机辅助设计与图形学学报》 * |
| 赵荣椿，赵忠明，张艳宁，赵歆波: "《数字图像处理》", 30 April 2016 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264411A (zh) * | 2019-05-13 | 2019-09-20 | 北京中科晶上科技股份有限公司 | 用于图像的光照校正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108986052B (zh) | 2021-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bianco et al. | Single and multiple illuminant estimation using convolutional neural networks | |
| Bianco et al. | Color constancy using CNNs | |
| Vanmali et al. | Visible and NIR image fusion using weight-map-guided Laplacian–Gaussian pyramid for improving scene visibility | |
| Yang et al. | An adaptive method for image dynamic range adjustment | |
| US10592764B2 (en) | Reconstructing document from series of document images | |
| JP2014515587A (ja) | デジタル画像装置用の画像処理パイプラインの学習 | |
| EP1658589A2 (en) | Detecting and correcting redeye in an image | |
| Mondal et al. | Image dehazing by joint estimation of transmittance and airlight using bi-directional consistency loss minimized FCN | |
| CN113129236B (zh) | 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统 | |
| CN116681636B (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
| CN113658057A (zh) | 一种Swin Transformer微光图像增强方法 | |
| Tsai et al. | Contrast compensation by fuzzy classification and image illumination analysis for back-lit and front-lit color face images | |
| Lepcha et al. | A deep journey into image enhancement: A survey of current and emerging trends | |
| Abebe et al. | Towards an automatic correction of over-exposure in photographs: Application to tone-mapping | |
| CN113096023A (zh) | 神经网络的训练方法、图像处理方法及装置、存储介质 | |
| CN108986052A (zh) | 一种自适应的图像去光照方法和系统 | |
| Kınlı et al. | Modeling the lighting in scenes as style for auto white-balance correction | |
| JP2023082065A (ja) | ユーザのバイオメトリック特性を有する画像中の物体を識別して、画像のうちバイオメトリック特性を含む部分を他の部分から分離することにより当該ユーザのｉｄを検証するための方法 | |
| Dadkhahi et al. | Out-of-sample extension for dimensionality reduction of noisy time series | |
| Ataman et al. | Visible and infrared image fusion using encoder-decoder network | |
| Zini et al. | Shallow camera pipeline for night photography rendering | |
| Choudhury et al. | Perceptually motivated automatic color contrast enhancement based on color constancy estimation | |
| Xie et al. | Underwater image enhancement based on zero-shot learning and level adjustment | |
| Tao et al. | LEGAN: A low-light image enhancement generative adversarial network for industrial internet of smart-cameras | |
| CN114757892B (zh) | 基于人工智能的透视材料缺陷检测方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |