CN106204470A - 基于模糊理论的低照度成像方法 - Google Patents

Abstract

本发明提供一种基于模糊理论的低照度成像方法，通过将图像色彩空间从RGB转换到HSV空间，从而保持颜色的恒定性，利用非线性函数提升低照度图像的亮度，然后将图像从空间域利用隶属度函数变换到模糊域中，在模糊特征平面上再对图像进行增强处理，增加图像的对比度；最后采用细节保持度最好的双边滤波器对待处理图像进行最后的滤波降噪处理，输出最后的低照度图像。该方法在增强图像对比度的同时更多的保留了图像中的场景细节信息，是一种高效的低照度图像增强方法。

Description

基于模糊理论的低照度成像方法

技术领域

本发明涉及图像处理技术领域，具体的涉及一种基于模糊理论的低照度成像方法。

背景技术

照度：是指单位面积上所接受可见光的光通量，单位勒克斯(Lux或Lx)。用于指示光照的强弱和物体表面积被照明程度的量。影视拍摄时照度使摄像机输出的视频信号电平低到某一规定值时的景物光亮度值时，将其称为低照度。一般以专业摄像器材所获取的照度低于5LX时的拍摄环境输出的图像，如夜间等环境下获得的照片，称为低照度图像。

在低照度条件下，由于场景的照度低(光信号微弱)，导致能见度低，所观察的景物信号非常微弱，图像成像质量低，目标模糊不清，尤其在图像经过存储、转换、传输等操作后，更进一步降低了低照度图像的质量，使成像系统无法正常工作。而大多数室外视觉系统，如视频监控、目标识别和卫星遥感监测等情况下，均需获取具有清晰特征的图像。

低照度下获取的图像灰度范围窄、灰度变化不明显，且相邻像素的空间关联性高，使得图像中的细节、背景和噪声等都包含在较窄的灰度范围之内。因此为了改善低照度下所获取图像的视觉效果，将其转换为一种更适于人眼观察和计算机处理的形式，便于提取有用信息，需要对被拍摄物在低照度下的成像进行增强处理。

现有的低照度条件下成像方法，大多仅通过对低照度下获取的单幅图像进行先去噪再增强的处理，采用该方法会导致部分图像细节无法精确体现，例如造成图像的边缘模糊。另一方面，由于低照度下所得图像的信噪比已接近可探测的极限，图像上还附加了严重的量子噪声同时所得图像的对比度已接近视觉的灵敏限，现有算法(例如张伟；汪岳峰；董伟；周冰发表于《光电子技术》2002年02期:90-91+113《利用帧积分法去除微光图像噪声研究》)均难以对此类图像取得较好的增强效果，即使勉强处理，经处理后所得图像的细节难以辨别，甚至消失，同时，在图像欠曝光区域原来不可见的噪声凸显出来，从而降低了图像整体的成像效果。因此采用常规的数字图像处理技术，将很难获得预期的效果。例如CN201410189595.X中公开的一种基于抛物线函数的低照度图像增强算法，该方法首先将所得低照度图像转换为HSV颜色空间，获得亮度分量V，之后通过求取夜光照值A；根据夜光照值A的值衡量图像光照情况；确定增强函数对图像的亮度分量V进行增强后将增强后的图像转换为YUV空间，之后再经过细节补偿得到增强后的图像。该方法存在的问题：在增强图像细节的同时也相同强度的增强了图像中的噪声，即使对图像进行滤波处理也达不到原有的成像效果，造成图像过增强，同时为了增加运算效率，该方法并没有考虑图像的整体特点，对图像进行增强处理后反而会削弱图像的层次感，造成图像细节不清楚、鲁棒性较差等问题。

模糊理论是指用到了模糊集合的基本概念或连续隶属度函数的理论。模糊理论主要用于模糊控制领域，也存在以下基于模糊理论进行图像增强处理算法例如：鱼海涛的论文.《基于模糊集理论的图像增强算法研究》[D].西安科技大学,2005.；姜庆伟的论文.《基于模糊理论的图像增强技术研究与实现》[D].华东师范大学,2009.。现行的大多数经典基于模糊理论的图像增强算法提出和采用的模糊隶属度函数和增强算子比较复杂，处理速度较慢；同时经典的模糊理论算法在图像增强的过程中，增强算子、隶属函数等函数中的多个参数需要人为主观选定，或是采用其他函数或算法结合来确定这些参数。所以，经典的模糊理论算法用于增强图像不但存在增强处理工作过程繁琐、时间慢，同时存在图像增强的临界点T选取随机性大，不适用于多样化图像的要求。

发明内容

本发明的目的在于提供一种基于模糊理论的低照度成像方法，该发明解决了现有技术中低照度图像处理实时性差；低照度图像经过处理后所得图像的质量和细节可辨识度低的技术问题。

本发明提供了一种基于模糊理论的低照度成像方法，包括以下步骤：

步骤S100：图像预处理：把输入的低照度RGB图像转换到HSV空间后，对该图像的整体亮度分量进行对数变换增强处理，进行空间逆变换将HSV空间图像变换回RGB图像，得到亮度增强图像；

步骤S200：基于模糊理论的图像增强处理：采用正弦隶属度函数将亮度增强图像由空间域到模糊域进行映射，得到模糊特征平面，在模糊特征平面上按模糊增强算子对该图像的对比度进行增强处理，再对经过对比度增强的图像进行灰度逆变换，得到对比度增强图像；

步骤S300：滤波去噪：采用双边滤波器对对比度增强图像进行滤波去噪处理，输出图像。

正弦隶属度函数：

$u_{ij}={\[sin\left(\frac{f(i,j)-f_{min}}{f_{max}-f_{min}}\right)\×\frac{\mathrm{\π}}{2}\]}^k---\left(8\right)$

其中，u_ij为像素(i,j)的灰阶x_ij相对于f_max的隶属度，f_max为亮度增强图像的最大灰度级，f_min为亮度增强图像的最小灰度级，k为可调节参数，

k值：

k＝mean(f)/(f_max-f_min) (9)

其中，mean(f)表示亮度增强图像的平均灰度值；

模糊增强算子：

$u_{ij}^{\′}=\left\{\begin{array}{c}1-2{(1-u_{ij})}^2,0\≤u_{ij}\≤T\\ 2{\left(u_{ij}\right)}^2,T\≤u_{ij}\≤1\end{array}\right.---\left(10\right)$

其中，T作为图像增强的临界点，T的取值为图像灰度的平均值。

进一步地，步骤S100中对数变换增强处理中所用对数函数为：

f′＝lg(Vd+1) (7)

其中，V代表HSV色彩空间的亮度分量，d为亮度调节参数，d的取值范围为10～100。

进一步地，步骤S100中低照度RGB图像转换到HSV空间按公式(1)～(3)进行：

$S=\frac{max(R,G,B)-\min (R,G,B)}{max(R,G,B)}---\left(2\right)$

V＝max(R,G,B) (3)

式中，R，G，B分别为归一化的RGB空间的各分量的值，H为HSV空间的色调分量取值范围为[0,360)，S为HSV空间的饱和度分量取值范围为(0,1]，V分量为HSV空间的亮度分量取值范围为[0,1]。

进一步地，步骤S100中从HSV空间到RGB空间的空间逆变换表达式：

设i＝H/60,其中，i为被60整除的除数，f为被60整除的余数；

设P＝v(1-S),Q＝V(1-Sf),T＝V[1-S(1-f)]，

$\left\{\begin{array}{c}R=V,G=T,B=P,(i=0)\\ R=Q,G=V,B=P,(i=1)\\ R=P,G=Q,B=T,(i=2)\\ R=P,G=Q,B=V,(i=3)\\ R=T,G=P,B=V,(i=4)\\ R=V,G=P,B=Q,(i=5)\end{array}\right.---\left(4\right)$

其中，R为RGB空间的红值，G为RGB空间的绿值，B为RGB空间的蓝值。

进一步地，灰度逆变换按公式(11)进行：

$f^{\′}(i,j)=G^{-1}\left(u_{ij}^{\′}\right)={(u_{\min }+(u_{max}-u_{\min }){\mathrm{arcsinu}}_{ij}\×\frac{2}{\mathrm{\π}})}^{\frac{1}{k}}---\left(11\right)$

其中，G^-1为图像的逆变换，f′(i,j)为像素点(i,j)处的灰度级。

现对现有技术，本发明的技术效果：

1、本发明提供的基于模糊理论的低照度成像方法，将图像色彩空间从颜色通道紧密相关的RGB转换到HSV空间，以保持颜色的恒定性，之后利用对数函数提升低照度图像的亮度，最后将图像从空间域采用隶属度函数变换到模糊域中，在模糊特征平面上再对图像进行对比度增强。采用基于模糊理论的处理算法对图像进行处理，能提高图像的信噪比，增强显示图像的细节部分。

2、本发明提供的基于模糊理论的低照度成像方法，能够使低照度图像的亮度迅速提升，因为在非线性变换中所用对数函数符合从人眼接收图像信号到大脑中形成形象的过程，因而增强后的图像视觉效果较好。

3、本发明提供的基于模糊理论的低照度成像方法，各步骤计算精度要求低，整体步骤简单，使得该算法的处理效率较高，实时性较好。

4、本发明提供的基于模糊理论的低照度成像方法，相对大多数现行的基于模糊理论的图像增强方法，执行图像增强过程的速度快；本发明所用算法中的隶属度函数不会丢失灰度值较低的灰度信息；本发明提供方法可根据不同的图像灵活设置阈值T，增强了算法针对不同图像的处理能力，同时对增强图像的细节还原度高，成像质量好。

具体请参考根据本发明的基于模糊理论的低照度成像方法提出的各种实施例的如下描述，将使得本发明的上述和其他方面显而易见。

附图说明

图1是本发明提供的基于模糊理论的低照度成像方法流程示意图；

图2是本发明优选实施例中所用对数函数的曲线示意图；

图3是本发明优选实施例中低照度图像处理前后对比图；其中a)为待处理低照度图像，b)为采用本发明提供方法处理后的图像；

图4是本发明优选实施例中低照度图像处理前后对比图；其中a)为待处理低照度图像，b)为采用本发明提供方法处理后的图像。

具体实施方式

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

参见图1，本发明提供的基于模糊理论的低照度成像方法包括以下步骤：

步骤S100：图像预处理：把输入的低照度RGB图像转换到HSV空间后，对该图像的整体亮度分量进行对数变换增强处理，进行空间逆变换将HSV空间图像变换回RGB图像，得到亮度增强图像；

其中的RGB图像转换可以按常规方法进行。

步骤S100包括以下步骤：

步骤S110：HSV色彩空间变换：

为避免直接对所得低照度图像中各颜色分量进行非线性处理造成图像颜色的失真，将所得图像中的RGB空间转换为HSV空间。HSV空间不仅比RGB空间更适合于人类对色彩感觉的描述，而且还能有效分离了色度、饱和度和亮度，使色度与色饱和度和亮度近似正交，对后续的真彩图像增强提供便利。

优选的，由RGB空间转换到HSV空间按公式(1)～(3)进行：

$S=\frac{max(R,G,B)-\min (R,G,B)}{max(R,G,B)}---\left(2\right)$

V＝max(R,G,B) (3)

式中，R，G，B分别为归一化的RGB空间的各分量的值，H为HSV空间的色调分量取值范围为[0,360)，S为HSV空间的饱和度分量取值范围为(0,1]，V分量为HSV空间的亮度分量取值范围为[0,1]。RGB空间包括红(R)值、绿(G)值和蓝(B)值。按此公式进行，转换后图像的色彩保持度较好。

显然变换为HSV空间的图像也可以按公式(4)处理后，变换为RGB图像，且经过此类变换后的图像并不会对其所呈现的图像造成较大改变。

优选的，HSV到RGB的转变按此进行：设其中，i为被60整除的除数，f为被60整除的余数。设P＝v(1-S),Q＝V(1-Sf),T＝V[1-S(1-f)]，从HSV空间到RGB空间的变换表达式：

$\left\{\begin{array}{c}R=V,G=T,B=P,(i=0)\\ R=Q,G=V,B=P,(i=1)\\ R=P,G=Q,B=T,(i=2)\\ R=P,G=Q,B=V,(i=3)\\ R=T,G=P,B=V,(i=4)\\ R=V,G=P,B=Q,(i=5)\end{array}\right.---\left(4\right)$

其中，R为RGB空间的红值，G为RGB空间的绿值，B为RGB空间的蓝值。

步骤S120：非线性变换

在光照补偿过程中，把RGB图像转换到HSV空间后，对图像的整体亮度分量进行增强处理，同时保持色调和饱和度不变，最后将生成的亮度分量与色调、饱和度分量进行空间逆变换得到HSV图像。

通过对图像进行非线性变化提高低照度图像的亮度，从而让那些由于光照不足导致看起来比较暗的图像低灰度级区域的亮度得以快速提升，改善低照度图像的视觉效果。非线性变换是通过一个光滑的映射曲线，以使得处理后的图像灰度变化比较平滑。考虑到从人眼接收图像信号到大脑中形成一个形象的过程中，有一个近似对数的环节，以对数变换作为非线性变换，所用对数变换函数如图2所示，为非线性函数。图2中横纵坐标均为灰度值，为0～255之间的数值。

对数变换是指输出图像与输入图像像素点的灰度值为一一对数对应关系，经过对数变换的输入图像f(x,y)的灰度和输出图像g(x,y)的灰度之间的关系符合下式：

g(x,y)＝log[f(x,y)] (5)

采用对数变换可以压缩输入图像中较高灰度区域的对比度，与此同时对输入图像中灰度值较低的区域进行扩展。

为了使变换的动态范围可以更加灵活，以便与修改对数曲线的变化速度或起始位置等参数，在公式(5)中加入可调节参数：

g(x,y)＝a+ln(f(x,y)+1)/(b ln c) (6)

式中，a,b,c是可调参数，f(x,y)为输入图像中的像素点灰度值。

a,b,c可以人为设定，从而对所用对数变换函数的在y轴上的截距、变化速率进行调整。其中，f(x,y)+1是为了避免对数字0取对数，确保分子部分大于或等于0。当f(x,y)＝0时，ln(f(x,y)+1)＝0，则y＝a，此时a为y轴上的截距，确定了变换函数的初始位置的函数变换关系，再通过b,c两个参数来确定变换函数的变化速率。

优选的，对数函数为：

f′＝lg(Vd+1) (7)

其中，V代表HSV色彩空间的亮度分量，d为亮度调节参数。

公式(7)中加1是为了避免当V等于0时对0取对数。通过亮度调节参数d可对图像的亮度进行不同程度的提升。可以人为根据需要进行设定。

本发明中发现增大参数d可对低照度图像的亮度进行提升，从而改善了图像的视觉效果。亮度调节参数设置过大会导致图像过亮而丢失图像信息，而如果设置过小又无法实现对低照度图像的处理效果。优选亮度调节参数d10～100。此时采用公式(7)进行亮度增强时，能有效避免图像深色区域细节的丢失。

经过对数变换之后输入图像的亮度得到改善，但降低了图像的对比度，使图像并未达到理想的视觉效果，引入模糊理论，将图像从空间域利用隶属度函数变换到模糊域中，在模糊特征平面上对图像进行增强处理，增加图像的对比度。

步骤S200：基于模糊理论的图像增强处理：采用正弦隶属度函数将亮度增强图像由空间域到模糊域进行映射，得到模糊特征平面，在所述模糊特征平面上按模糊增强算子对该图像的对比度进行增强处理，再对经过对比度增强的图像进行灰度逆变换，得到对比度增强图像；

基于模糊理论的图像增强处理：将图像从空间域利用隶属度函数变换到模糊域中，在模糊特征平面上再对图像的对比度进行增强处理。

步骤S210：空间域映射到模糊域的变换

利用正弦隶属度函数将图像由空间域到模糊域进行映射，得到模糊特征平面。

定义正弦隶属度函数：

$u_{ij}={\[sin\left(\frac{f(i,j)-f_{min}}{f_{max}-f_{min}}\right)\×\frac{\mathrm{\π}}{2}\]}^k---\left(8\right)$

其中，u_ij为像素(i,j)的灰阶x_ij相对于f_max的隶属度，f_max为亮度增强图像的最大灰度级，相应的f_min为亮度增强图像的最小灰度级。

k为可调节参数，通过对k的调节可改变u_ij的值，针对不同图像产生不同的模糊特征平面，进而可以适应不同图像的增强要求，k值：

k＝mean(f)/(f_max-f_min) (9)

其中，mean(f)表示亮度增强图像的平均灰度值。按公式(9)定义，你能使得k值与图像产生内在的相关性，不同亮度图像的k值也会随之改变，增加了算法的灵活性，适应不同亮度图像的增强需求，避免亮度增强过于机械导致增强亮度后，图像细节丢失的问题。

步骤S220：模糊域图像增强

对隶属度函数u_ij，利用上述两个公式进行变换得到模糊特征平面。定义模糊增强算子：

$u_{ij}^{\′}=\left\{\begin{array}{c}1-2{(1-u_{ij})}^2,0\≤u_{ij}\≤T\\ 2{\left(u_{ij}\right)}^2,T\≤u_{ij}\≤1\end{array}\right.---\left(10\right)$

其中，T作为图像增强的临界点，针对不同亮度图像T的取值不同，对于本发明中所处理的低照度图像T的取值为图像灰度的平均值。按公式(10)定义，能随着迭代次数的增加，所处理图像的对比度也随之增强。

步骤S230：模糊图像逆变换

优选的，在所得模糊特征平面上，经过灰度逆变换将图像从模糊域映射到灰度空间中，得到对比度增强图像。灰度逆变换按公式(11)进行：

$f^{\′}(i,j)=G^{-1}\left(u_{ij}^{\′}\right)={(u_{\min }+(u_{max}-u_{\min }){\mathrm{arcsinu}}_{ij}\×\frac{2}{\mathrm{\π}})}^{\frac{1}{k}}---\left(11\right)$

其中，G^-1为图像的逆变换，f′(i,j)为像素点(i,j)处的灰度级。经过模糊图像逆变换后，图像便于辨认，对比度增强图像经过图像滤波后即可输出。

步骤S300：滤波去噪：采用双边滤波器对对比度增强图像进行滤波去噪处理，输出图像。

双边滤波是利用两个高斯平滑函数分别考察邻域像素在数值和位置上与当前点之间的相似性，获得邻域像素的权重。双边滤波本质上是一种改进的高斯加权平均算子，由于同时考虑了像素在数值和位置上性质，使双边滤波在做加权平均时能够充分考虑到物体边界处光照的突变情况.双边滤波通过对与当前点位置相近且数值上相差不大的点赋以较大的权重.而对于数值上相差较大即使位置很相近的点也赋以较小的权重，从而有效克服边界处光照突变对邻域的平均亮度的影响。

采用现行通用的双边滤波器，对对比度增强图像进行进一步滤波去噪处理，所输出图像即为图像质量较高，清晰度较好的，亮度和对比度均得到增强的处理后低照度图像。

按上述方法本发明提供的方法对图3中的a)和图4中的b)进行处理，所得结果分别对应列于图3b)和图4b)中。由图3～4可见，图3a)中低照度的图像经过处理后，输出图像不旦整体亮度得到提高，对比度也得到提高，同时原图中模糊的景物轮廓经过处理后也清晰化，而且深色部分景物显示清楚。图4a)中的低照度图像经过处理后，深色区域景物轮廓清晰，细节清楚。本发明提供的方法在增强低照度图像对比度的同时能有效保留图像场景中的细节信息。

本发明中提出的方法实际上可嵌入FPGA实现，运用于具有实时输出图像功能的低照度成像功能的相机或摄像机中。

本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。

通过对附图，说明书和权利要求书的研究，在实施本发明时本领域技术人员可以理解和实现所公开的实施例的变形。在权利要求书中，术语“包括”不排除其他步骤或元素，而不定冠词“一个”或“一种”不排除多个。在彼此不同的从属权利要求中引用的某些措施的事实不意味着这些措施的组合不能被有利地使用。权利要求书中的任何参考标记不构成对本发明的范围的限制。

Claims (5)

1.一种基于模糊理论的低照度成像方法，其特征在于，包括以下步骤：

步骤S100：图像预处理：把输入的低照度RGB图像转换到HSV空间后，对该图像的整体亮度分量进行对数变换增强处理，进行空间逆变换将HSV空间图像变换回RGB图像，得到亮度增强图像；

步骤S200：基于模糊理论的图像增强处理：采用正弦隶属度函数将亮度增强图像由空间域到模糊域进行映射，得到模糊特征平面，在所述模糊特征平面上按模糊增强算子对该图像的对比度进行增强处理，再对经过对比度增强的图像进行灰度逆变换，得到对比度增强图像；

步骤S300：滤波去噪：采用双边滤波器对对比度增强图像进行滤波去噪处理，输出图像。

所述正弦隶属度函数：

$u_{ij}={\[sin\left(\frac{f(i,j)-f_{min}}{f_{max}-f_{min}}\right)\×\frac{\mathrm{\π}}{2}\]}^k---\left(8\right)$

其中，u_ij为像素(i,j)的灰阶x_ij相对于f_max的隶属度，f_max为亮度增强图像的最大灰度级，f_min为亮度增强图像的最小灰度级，k为可调节参数，

k值：

k＝mean(f)/(f_max-f_min) (9)

其中，mean(f)表示亮度增强图像的平均灰度值；

所述模糊增强算子：

$u_{ij}^{\′}=\left\{\begin{array}{c}1-2{(1-u_{ij})}^2,0\≤u_{ij}\≤T\\ 2{\left(u_{ij}\right)}^2,T\≤u_{ij}\≤1\end{array}\right.---\left(10\right)$

其中，T作为图像增强的临界点，T的取值为图像灰度的平均值。

2.根据权利要求1所述的基于模糊理论的低照度成像方法，其特征在于，所述步骤S100中对数变换增强处理中所用对数函数为：

f′＝lg(Vd+1) (7)

其中，V代表HSV色彩空间的亮度分量，d为亮度调节参数，d的取值范围为10～100。

3.根据权利要求1所述的基于模糊理论的低照度成像方法，其特征在于，所述步骤S100中低照度RGB图像转换到HSV空间按公式(1)～(3)进行：

$S=\frac{max(R,G,B)-\min (R,G,B)}{max(R,G,B)}---\left(2\right)$

V＝max(R,G,B) (3)

式中，R，G，B分别为归一化的RGB空间的各分量的值，H为HSV空间的色调分量取值范围为[0,360)，S为HSV空间的饱和度分量取值范围为(0,1]，V分量为HSV空间的亮度分量取值范围为[0,1]。

4.根据权利要求3所述的基于模糊理论的低照度成像方法，其特征在于，所述步骤S100中从HSV空间到RGB空间的空间逆变换表达式：

设i＝H/60,其中，i为被60整除的除数，f为被60整除的余数；

设P＝v(1-S),Q＝V(1-Sf),T＝V[1-S(1-f)]，

$\left\{\begin{array}{c}R=V,G=T,B=P,(i=0)\\ R=Q,G=V,B=P,(i=1)\\ R=P,G=Q,B=T,(i=2)\\ R=P,G=Q,B=V,(i=3)\\ R=T,G=P,B=V,(i=4)\\ R=V,G=P,B=Q,(i=5)\end{array}\right.---\left(4\right)$

其中，R为RGB空间的红值，G为RGB空间的绿值，B为RGB空间的蓝值。

5.根据权利要求1所述的基于模糊理论的低照度成像方法，其特征在于，所述灰度逆变换按公式(11)进行：

$f^{\′}(i,j)=G^{-1}\left(u_{ij}^{\′}\right)={(u_{\min }+(u_{max}-u_{\min }){\mathrm{arcsinu}}_{ij}\×\frac{2}{\mathrm{\π}})}^{\frac{1}{k}}---\left(11\right)$

其中，G^-1为图像的逆变换，f′(i,j)为像素点(i,j)处的灰度级。