CN103793885B - 强散射光学成像环境中非均匀光照下区域化图像恢复方法 - Google Patents

Abstract

本发明公开一种强散射光学成像环境中非均匀光照下区域化图像恢复方法，该方法能够区分由于非均匀光照所造成的不同图像区域中光学信息组成成分上的差异，分别建立不同图像区域所对应的成像模型及模型解析方法。针对非均匀光照下的图像，在区域化的成像模型基础上研究有图像区域针对性的去光幕光噪声及色彩信道补偿的图像恢复算法。公开了能够有效辨识成像光线成分差异的亮原色先验知识模型实现图像区域化，引入并推广现有强散射环境中的暗原色先验知识模型实现区域化的背景光估计和视距估计方法，最终通过成像模型的反变换形成区域化的图像恢复方法。

Description

强散射光学成像环境中非均匀光照下区域化图像恢复方法

技术领域

本发明涉及一种用于提高图像的质量的图像恢复方法，具体是一种强散射光学成像环境中非均匀光照下区域化图像恢复方法，属于图像处理技术领域。

背景技术

自然界中普遍存在强衰减光学成像环境，如，水介质及其中悬浮颗粒对水下光线的散射，雾天气象条件下的空气中悬浮颗粒对大气中光线的散射，井下矿井环境中空气中的悬浮颗粒对其中光线的散射等，由于强散射光学环境中较为严重的光强衰减，通常采用人工光补光成像技术以补偿光线在传播过程中能量的衰减。然而，在强散射光学成像环境中采用人工补光照射成像场景，会形成了一种非均匀光照现象。然而，尽管采用人工补光技术，在强散射、强衰减光学环境中所获得图像质量仍然较低。主要表现在两个方面，首先，光线的散射作用会显著降低图像的分辨率和对比度，造成图像的模糊。其次，图像中的色彩信息会受到介质光谱选择性吸收的影响而发生畸变。此外，在补偿能量衰减的同时，大功率可见光补光会显著污染场景内的光学环境，主要表现在非均匀化光幕光噪声和图像信息的畸变上。因此，在人工补光成像条件下，图像噪声更加强烈并且会表现出图像信息及噪声强度的非均匀分布。

发明内容

发明目的：针对强散射光学成像环境中非均匀光照下恢复方法无法解决非均匀光照对图像所形成的影响这一问题，本发明提供一种能够区分图像不同区域中成像光线成分及组成的区域化的图像恢复方法，利用区域化的光学成像模型对图像进行恢复。

技术方案：一种强散射光学成像环境中非均匀光照下区域化图像恢复方法，包括如下步骤：

(1)建立自然光照和人工补光两种条件下的成像模型，并同图像表征进行对应，建模模拟图像数据非均匀分布状态。利用大数量自然图像统计学习得到的亮信道先验，根据亮信道先验模型，计算图像中每个像素的亮信道特征。

(2)根据亮信道特征，采用半监督方法识别图像不同的区域所对应的不同的成像光线。

(3)针对人工光照准区域，分别估计该区域的背景光和视距。

(4)针对自然光占优的区域，分别估计该区域的背景光和视距。

(5)针对人工光照射和自然光照射的图像区域，分别对成像模型进行反变换，实现对区域化的图像恢复。

有益效果：与现有是技术相比，本发明提供的强散射光学成像环境中非均匀光照下区域化图像恢复方法，主要通过三步实现：首先建立自然光照和人工补光两种条件下的成像模型，并同图像表征进行对应，建模模拟图像数据非均匀分布状态。其次，利用大数量自然图像统计学习得到的亮信道先验，根据不同光照的影响(是否受到人工光较强的照射)对图像进行区域化分割，每个区域均对应于一个独立的成像模型。最后，基于暗信道先验模型依次对不同图像区域中各点视距和背景光进行估计，区分不同区域中所对应的成像模型并进行反变换计算。建立了一种区域化的图像恢复方法，能够准确地实现强散射光学成像环境中非均匀光照下区域化图像方法，结果显著优于同类方法。

附图说明

图1为非均匀光照下区域化图像恢复方法框架图；

图2为区域化图像恢复方法操作流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1-2所示，强散射光学成像环境中非均匀光照下区域化图像恢复方法，包括如下内容：

一，考虑到人工光照射非均匀光照下的图像区域化成像建模

在强散射环境中所成图像主要包含成像光线和光幕光两种信息，并会在图像表现出不同的表征。成像光线指的是目标辐射出的准直光线，该部分的光线在传播过程中仅发生能量的衰减而并没有发生光路的变化。另一部分并不源于照准区域的光线通常称为光幕光，该部分光线源于环境中悬浮颗粒物的多次散射效应。自然光照占优区域内，目标辐射光线是目标对背景光的反射而形成的，成像过程可以建模为：

I_x＝Bρ_xexp[-αr_x]+B(1-exp[-αr_x])(1)

其中I_x为场景中空间x处成像所捕获的光线，B为场景中的自然背景光，ρ_x为场景中空间x处目标表面的反射率，α为介质对光线的衰减系数，r_x为场景中空间x处的成像距离。

当人工补光光源用于成像时，环境光线的分布变得不均匀，此时图像不仅仅由自然场景中的背景光线还会受到发散的人工光线的影响，对于人工光照准图像区域，成像过程可以建模为：

其中，I_x为空间x处所接收到的光线，L为人工照准光线，为x点邻域Ω_x内的光线累积，η为对散射光的调制系数，B为场景中的自然背景光，ρ_x为场景中空间x处目标表面的反射率，α为介质对光线的衰减系数，r_x为场景中空间x处的成像距离。

将自然光照图像区域的成像模型式(1)同人工光照准区域的成像模型式(2)进行比较后可以看到，在两种光照条件下的成像光线和噪声光线的成分显著不同。人工光补光所照准的图像区域不仅仅表现为具有更高的亮度，更表现为噪声的复杂性和多变性。

总体上，在人工补光的成像环境中，图像大体上可以分为两类区域。第一类为人工光照准区域，这部分区域受到自然背景光和人工光的照射，其成像模型如式(2)。第二类区域主要受到自然背景光的照射，由于场景目标同人工光主光轴间的角距离较大，该区域中受到人工光的影响较小，其成像模型如式(1)。假定所选用的人工光源为平行光或近似平行光，则可近似认为在人工光照准区域中各点所接收的光照射量相同，即照准区域内的各点的散射光同该点的空间位置无关，则式(2)可以近似为：

I_x＝(B+Lexp[-αr_x])ρ_xexp[-αr_x]+(B+β)(1-exp[-αr_x])(3)

其中，β为人工光散射光。综合上述研究，在非均匀光照条件下，大体上图像可以分为两块区域，其成像模型分别对应为：

其中，R_B为自然背景光占优的区域，R_A为人工光照准区域。

二，亮信道先验知识模型及成像光线表征

在对大量清晰自然图像统计的基础上发现了一种亮信道先验，即在清晰的自然图像中大多的图像块中必然包含一些像素点，该点至少对应一个强度接近饱和的信道。这种亮信道先验可以建模为：

其中I^c(y)为像素点y处c信道上的所对应的光强度，Ω_x为以x为中心的图像局部区域。这种亮信道中的高强度主要是由于场景中目标的镜面反射或色彩目标，该目标在亮信道上所对应反射率近似于1：

为像素点y处亮信道所对应的光反射率，假定在单个图像局部区块中每一像素点所对应的视距相近，并且局部环境光照统一、均匀，合并式(1)和式(5)，可以发现，在自然背景光占优的区域R_B，亮信道中所包含的信息近似为成像自然背景光的表征：

而在人工光影响较大的区域R_A中，亮信道中所包含的信息近似为人造光和自然背景光的调制叠加：

从式(7)和式(8)中可以看出，亮信道中的信息随着R_A和R_B图像区域的变化而变化，并能够体现其成像光线的光学特征。因此可以利用亮信道特征对图像按照其成像光线的差异进行分割。

三，基于亮信道先验知识模型区分成像光线成分及组成差异的图像分割

为了有效区分非均匀光照下图像中人工光或自然光成像占优的图像区域，根据亮信道中所包含的信息，可以提取亮信道光强和色彩两类特征。若采用光强特征，必须预设阈值作为分类判决的准则。但是，在实际应用中由于先验知识的匮乏，很难预设一个准确的阈值。即使能够寻找到适宜于某个图像的阈值，该判决准则也很难推广到其他场景所获图像中。考虑到由于人工光的照射，成像光线的色谱带会被扩展和偏移，而亮信道的颜色也会相应的变化。由于不需要阈值的设定，亮信道的色彩信息是一种更加便捷的特征，能够区分不同区域的光照特性，如式(9)。

其中c₁为人工光照准区域亮信道的色彩，c₂为自然光照区域亮信道的色彩，r,g,b分别为红色，绿色及蓝色色彩信道。本发明采用了一种手动的方式确定R_B图像区域中亮信道色彩信道。在图像中手动选择自然光照射区域区块作为参考样本，如式(10)

其中Ω_smaple为手动选择的图像中背景参考样本图块。

四，区域化的图像恢复

为了有效的实现区域化的图像恢复，在区域化的成像模型基础上，首先必须实现区域化的背景光估计和视距估计。本发明采用散射环境中基于暗信道先验模型估计实现。暗信道先验发现在每个非背景区域的小图像块中，至少有一个像素中的至少一个色彩信道的强度很低，如式(11)。

这种暗信道中极低强度的成因主要包括以下三种情况：全黑色目标、彩色目标或阴影。这三种情况可以大致的归结为这些点在某些信道上的反射率极低，接近为0，如式(12)。

因此，根据成像模型，在自然光照图像区域中暗信道信息是散射背景光(光幕光)的表征，如式(13)。

其中，B^dark为背景光在暗信道中的强度，B^dark＝r、B^dark＝g、B^dark＝b分别为背景光暗信道中红、绿、蓝三分量的强度，在人工光照准图像区域，暗信道估计结果并非仅仅是背景散射光，而是背景散射光和人工散射光的叠加。式(14)。

在光照均匀的散射成像环境中，图像光幕噪声的浓度随着视距的增加而提高。但是，在非均匀光照环境中这种光幕光的浓度不仅仅随视距发生变化，其成分和浓度也因光照区域的差异而变化。在R_B区域中，由于自然背景光照占优，暗信道仅仅是自然背景散射光的表征，衰减项可以通过式(15)计算得到。

exp[-α^darkr_x]＝(B^dark-I^dark)/B^darkx∈R_B(15)

其中，B^dark，I^dark为背景光和接收光线在暗信道中的强度，β^dark为人工散射光在暗信道中的强度，α^dark为暗信道的衰减参数，β^dark＝r、β^dark＝g、β^dark＝b分别为人工散射光暗信道中红、绿、蓝三分量的强度。然而在R_A区域中，由于人工补光光照占优，暗信道是自然背景散射光和散射人工光的表征，在衰减项的计算中必然需要引入人工散射光β^dark，如式(16)。

exp[-α^darkr_x]＝(B^dark+β^dark-I^dark)/(B^dark+β^dark)x∈R_B(16)

综合式(15)，式(16)，非均匀光照下图像中任一点的视距可以通过式(17)估计得到。

根据成像模型，非均匀光照下光幕光噪声和色彩的畸变随着成像视距的增加而加重，并且因图像区域的变化而变化。区域化的图像恢复方法主要包括区域化的去光幕光及色彩信道补偿两个步骤。

在对光幕光抑制时，可以通过模型的反变换消除内散射项，分别实现对区域R_BR_A中的光幕光噪声抑制，如式(18)和式(19)。

在进行有效的光幕光噪声抑制后，在本发明中在视距准确估计的基础上继续对光线从目标到相机传播过程中的光谱选择性吸收效应进行补偿。从而获得场景中每一点上的成像光线，如式(20)，式(21)，以此实现图像恢复。

Bρ_x＝(I(x∈R_B)-B(1-exp[-αr_x]))/exp[-αr_x]c＝{r,g,b}(21)。

Claims (3)

1.一种强散射光学成像环境中非均匀光照下区域化图像恢复方法，其特征在于：首先针对非均匀光照下图像不同区域中不同的光学信息组成及成分差异，分别建立自然光照图像区域成像模型和人工光照准图像区域成像模型；其次根据统计所得到的亮信道先验知识模型，区分不同区域中光照成分及组成的差异，对非均匀光照下的图像进行分割，将其分成自然光照图像区域和人工光照准图像区域；最后在不同成像模型的指导下分别对两块图像区域进行不同的去模糊化和色彩信道补偿处理，实现图像恢复；

针对自然光照准和人工光照准两种条件下的图像成像过程提出了一种有区域针对性的成像模型；

对于自然光照准区域，成像模型为背景光目标反射光模型和背景光散射光幕光模型的组合：I_x＝Bρ_xexp[-αr_x]+B(1-exp[-αr_x])，其中I_x为成像时空间x处所接收到的光线，B为场景中的背景光，ρ_x为空间x处的光反射率，α为水体对光线的衰减系数，r_x为空间x处的成像距离；

对于人工光照准区域，成像模型为背景目标反射光模型、人工光目标反射光模型、背景散射光幕光、人工光散射光幕光模型的调制组合：

I_x＝(B+Lexp[-αr_x])ρ_xexp[-αr_x]+(B+β)(1-exp[-αr_x])，其中，I_x为空间x处所接收到的光线，L为人工照准光线，ρ_x为空间x为反射率，β为人工散射光，r_x为空间x处的成像距离；

所述成像模型能够形式化表征不同图像区域中由于成像光照差异所形成的光学信息成分及组成的差异，有助于自然光照区域和人工照准光区域的识别。

2.如权利要求1所述的强散射光学成像环境中非均匀光照下区域化图像恢复方法，其特征在于：在对大量自然图像统计的基础上，提出了一种亮信道先验知识模型，即在清晰的自然图像中大多的图像块中必然包含一些像素点，该点至少对应一个强度接近饱和的信道：其中I^c(y)为像素点y处c信道上的所对应的光强度，Ω_x为以x为中心的图像局部区域；这种亮信道中的高强度主要是由于目标的镜面反射或色彩目标，该目标在亮信道上所对应反射率近似于 为像素点y处亮信道所对应的光反射率，在非均匀光照区域化成像模型的基础上，该先验知识能够提取图像中每个像素的成像光线成分；在此基础上，考虑到自然光照光线以及人工光照光线所特有的光谱特征，根据亮信道的色彩差异对人工光照准区域和自然光照区域进行识别其中R_B为自然光照射区域，R_A为人工光照射区域，c₁为人工光照准区域亮信道的色彩，c₂为自然光照区域亮信道的色彩，r,g,b分别为红色，绿色及蓝色色彩；同时采用了一种手动的方式确定R_B区域的亮信道色彩；在图像中手动选择背景区域区块作为参考样本：其中Ω_smaple为手动选择的图像中背景参考样本图块；最终将非均匀光照下的图像分割为受到人工光照射影响较小的自然光照区域，以及受到人工光照射影响较为严重人工光照区域。

3.如权利要求2所述的强散射光学成像环境中非均匀光照下区域化图像恢复方法，其特征在于：在对图像区域识别及建模的基础上，对不同图像区域中所对应的光幕光成分利用暗信道先验经验模型进行估计：

$\begin{array}{cc}{B}^{dark}\≈\underset{x}{max}\left(I^{dark}\right(x\∈R_B\left)\right)& B=\[B^{dark=r},B^{dark=g},B^{dark=b}\]\end{array},$

$B^{dark}+{\mathrm{\β}}^{dark}\≈\underset{x}{max}\left(I^{dark}\right(x\∈R_A\left)\right)$

B+β＝[B^dark＝r+β^dark＝r,B^dark＝g+β^dark＝g,B^dark＝b+β^dark＝b]，其中R_B为自然光照射区域，R_A为人工光照射区域，B^dark为背景光在暗信道中的强度，β^dark为人工散射光在暗信道中的强度，B^dark＝r、B^dark＝g、B^dark＝b分别为背景光暗信道中红、绿、蓝三分量的强度，β^dark＝r、β^dark＝g、β^dark＝b分别为人工散射光暗信道中红、绿、蓝三分量的强度；进而区域化估计每个像素点所对应的视距：

$r_x(x\∈R_B)=\frac{-log\left(\right(B^{dark}+{\mathrm{\β}}^{dark}-I^{dark})/(B^{dark}+{\mathrm{\β}}^{dark}\left)\right)}{{\mathrm{\α}}^{dark}},$ 利用对成像模型的反变换操作，分别通过区域化去模糊：

$I^c(x\∈R_A)-(B^c+{\mathrm{\β}}^c)(1-\exp [-{\mathrm{\α}}^c{r}_x\left]\right)=(B^c+L^c\exp [-{\mathrm{\α}}^c{r}_x\left]\right){\mathrm{\ρ}}_x^c\exp [-{\mathrm{\α}}^c{r}_x]c=\{r,g,b\}$ ，及色彩信道补偿

Bρ_x＝(I(x∈R_B)-B(1-exp[-αr_x]))/exp[-αr_x]c＝{r,g,b}；两个步骤实现强散射光学成像环境中非均匀光照下图像恢复。