CN111986120A - 一种基于帧累加和多尺度Retinex的低光照图像增强优化方法 - Google Patents
一种基于帧累加和多尺度Retinex的低光照图像增强优化方法 Download PDFInfo
- Publication number
- CN111986120A CN111986120A CN202010966650.7A CN202010966650A CN111986120A CN 111986120 A CN111986120 A CN 111986120A CN 202010966650 A CN202010966650 A CN 202010966650A CN 111986120 A CN111986120 A CN 111986120A
- Authority
- CN
- China
- Prior art keywords
- image
- color
- value
- channel
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000005286 illumination Methods 0.000 title claims abstract description 40
- 238000009825 accumulation Methods 0.000 title claims abstract description 38
- 238000005457 optimization Methods 0.000 title claims abstract description 22
- 238000001914 filtration Methods 0.000 claims abstract description 56
- 230000002146 bilateral effect Effects 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000000926 separation method Methods 0.000 claims abstract description 6
- 238000010606 normalization Methods 0.000 claims description 14
- 238000012935 Averaging Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 10
- 230000007547 defect Effects 0.000 claims description 9
- 239000012528 membrane Substances 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 19
- 238000005516 engineering process Methods 0.000 abstract description 11
- 238000011084 recovery Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 10
- 239000000654 additive Substances 0.000 description 5
- 230000000996 additive effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000002401 inhibitory effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于帧累加和多尺度Retinex的低光照图像增强优化方法：其主要包括：（1）对原始数据RGB三通道分离进行帧累加处理，提高低光照图像信噪比和灰阶分辨率（2）对帧累加处理过的单通道图像进行高斯均值滤波，去除数据采集过程中产生的噪声（3）对传统多尺度Retinex理论进行改进，将原图像其中的反射分量图像增加了双边滤波以削弱光圈伪影的产生（4）利用帧累加技术和改进后的多尺度Retinex对低光照图像进行联合增强优化，在提高图像信噪比和灰阶分辨率的同时保留了较多的图像边缘和细节纹理，并且在一定程度上减少了色彩失真，削弱了光圈伪影的产生，本发明实验结果与原图具有较高结构相似性，图像整体质量得到了一定提升。
Description
技术领域
本发明涉及图像增强技术领域，具体而言，尤其涉及的是帧累加技术和改进的多尺度Retinex色彩恢复方法，主要应用各种类型的图像增强，本方法处理后的图像具有较高的灰阶分辨率和信噪比，保留了更多的图像边缘和细节纹理，同时在一定程度上减少了色彩失真，削弱了光圈伪影的产生，实验结果更贴近于图像原始色彩，与原图具有较高的结构相似性，图像整体质量得到了一定改善。
背景技术
在现实生活中由于光照不足、噪声外界环境等因素影响，拍摄成像过程中，摄像机捕获的光子数量很少，导致图像整体亮度很低，图像视觉感也很差，并且很多重要信息被隐藏。目前研究人员主要通过降噪、去模糊、低光图像增强等一系列技术用于处理低光环境下的图像。早期的传统方法主要围绕着直方图均衡化(histogram equalization，HE)和伽马修正。利用图像的直方图来增加图像的全局对比度，经典的伽马修正方法则通过加大图像的明暗区域的差值达到图像增强的目的。
增强技术可以突出显示图像中人们感兴趣部分，高可见度图像能够更清楚地反映目标场景中的细节，在目标识别跟踪以医学图像研究等计算机视觉技术方向具有重要作用。 经典的图像增强技术有：空间域法和频域法。空间域法直接对图像的像素进行处理，不进行其他域变换，常见方法的有线性增强和直方图均衡处理。但是带来的问题是存在已饱和的较亮的区域，会过度增强丢失相应的细节，原本区域的纹理特征可能变得不可见。频域法主要有高通滤波、同态滤波等方法以上算法都是简单且易实现，但在低光照情况下，图像的信息不规则被隐藏在黑暗中，简单的增强效果并不理想，不能得到较高质量的图像。研究人员在经典算法上提出许多改进，上下文差异对比增强算法试图找到差异直方图映射，虽然在一定程度上避免像素的溢出和过度增压强制像素值在范围内，这些方法有一定的效果，但缺点也很明显，色度恢复不够，会产生一定程度的光圈伪影现象等问题。
发明内容
本发明针对上述方案中的存在的一些不足，提出了一种基于帧累加和改进多尺度Retinex的低光照图像增强优化方法，经由该发明优化方法处理后的图像具有较高的灰阶分辨率和信噪比，保留了更多的图像边缘和细节纹理，同时在一定程度上减少了色彩失真，削弱了光圈伪影的产生，实验结果更贴近于图像原始色彩，与原图具有较高的结构相似性，图像整体质量得到了一定提升。
为实现上述目的，本发明公开了一种基于帧累加和改进多尺度Retinex的低光照图像增强优化方法，其特征在于该方法包括以下步骤：
（1）在低光照条件下采集实验数据，对采集的实验图像进行通道分离，得到单通道灰度图像，然后对单通道图像做累加平均提高图像灰阶分辨率及信噪比；
单通道图像每帧累加有：
累加后计算单通道平均值：
实验过程中，对N多次取值（包括 20、 50、 100、 500、1000）进行试验，最后发现当N取100时，帧累加平均得到的图像质量及运算速度都在较高水平,所以这里N取 100。
（2）对累加平均后的单通道灰度图用高斯均值滤波去噪，
高斯滤波是一种线性平滑滤波器，对于服从正态分布的噪声有很好的抑制作用，是利用一个掩膜和图像进行卷积求解，模板系数随着距离模板中心的增大而系数减小（服从二维高斯分布），对图像模糊程度较小，更能够保持图像的整体细节。其表达式如下：
其中
是一个常数，不影响比例关系，
为淹膜内任一点的坐标。
为淹膜中心的坐标。可认为是整数，
是标准差。
（3）对图像进行直方图均衡化，使图像整体灰度更加均匀，提升一定的视觉效果；
（4）将处理后的RGB三通道图像合成彩色图像；
（4）对（2）的实验结果进行改进的多尺度Retinex增强方法处理。
Retinex理论是一种重要的图像增强技术，适用于处理光照不均问题，基于视觉系统，主要假设（彩色）图像可以分解为反射率和照明度两个因素。物体的色彩不受光照非均匀性的影响，具有一致性，可以保留住物体的固有属性，在边缘增强和保护纹理的过程中，黑暗区域中重叠的成像和噪声可能同时被放大；不同于传统的线性、非线性的只能增强图像某一类特征的方法，Retinex以色感一致性（颜色恒常性）为基础，可以在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，可以对各种不同类型的图像进行自适应增强。
Retinex原理结构图见图1，观察者处成像的图像为表达式如下：
，l(𝑥, 𝑦)表示入射光𝐿的光照强度，它决定了图像中像素值的动态范围；r(𝑥, 𝑦)表示一个物体在经由入射光照射后的物体图像的反射分量，它含有大量的边缘细节信息。通过照射分量l和反射分量r人们可以很好的区分出图像中的照度信息和反射信息，进而可以解决在低照度情况下图像的亮度和颜色的问题。
（5）由于l和r是乘积的关系，为了便于处理，一般对观测图像S先进行对数处理，转换成加性关系，这样可以极大的提升暗区域的像素值，以增加对比度。对上式取对数
有
，Retinex 算法基本处理过程见图2，输入一幅图像并取其对数，而后进行光照分量的估计，再通过数学运算得到反射分量，即为最后的增强图像。
（6）单尺度Retinex(SSR)算法比较拟合人眼的视觉成像过程，该算法的基本思路是：首先构建高斯环绕函数，然后利用高斯环绕函数分别对图像的三个色彩通道 (R 、 G和 B) 进行 滤波，滤波后的图像是所估计的光照分量，接着再在对数域中对原始图像和光照分量进行相减得到反射分量作为输出结果图像。该算法可压缩图像的动态范围，在一定程度上能保持图像的颜色和细节的增强。
其中i表示图像RGB三通道， 是中心环绕函数，通常使用高斯环绕函数，可以估计出光照分量L所对应图像的低频成分，并从S中去除低频成分，留下高频分量，可保留图像边缘细节，其表达式如下：
其中
是归一化常数，确保卷积核内的积分为1，c为尺度参数，常用的卷积核半径有三个尺度。c值的选择不同可以用来控制图像中细节信息被保留的程度，当取值较小时，处理后的图像能够较好的还原边缘信息即细节能很好的恢复，但会导致色调变浅；当取值较大时，处理后的图像细节恢复不明显，颜色保持性较好。
（7）由于SSR单尺度在颜色保真度和细节保持度上较难实现的平衡，研究人员再次提出了多尺度的Retinex算法 (MSR)，即对一幅图像在不同的尺度上利用高斯进行滤波，然后对不同尺度上的滤波结果进行平均求和，可以保持图像高保真度，对图像的动态范围进行压缩，同时也可实现色彩增强、颜色恒常性、局部动态范围压缩。此方法有较好的细节恢复能力和色彩保持能力其表达式如下：
其中，k是尺度参数的个数，当k=1即为单尺度的Retinex算法。由前人研究者实验验证当k大于3时，增强效果几乎没有提高，但计算量却呈指数转增A级，所以k一般取3，即使用三个不同尺度的高斯滤波器对原始图像进行滤波处理时，效果最好。
（8）MSR算法是对三个通道分别处理，没有考虑RGB三个通道的内在关联，RGB三通道的强耦合性会导致图像产生图像淡化和部细节色彩失真等问题，带色彩恢复的多尺度Retinex(MSRCR)方法。在此基础上通过引入颜色恢复因子C，将MSR得到的结果按照一定的比例进行调整以恢复原来的比例数值，加上颜色恢复和颜色均衡，补偿由于图像局部区域对比度增强而导致颜色失真的缺陷。
其中
是一个增益常量，
是受控制的非线性强度，经实验证明，参数
取125，
取46时，可以得到理想的图像增强效果。MSRCR增强方法利用彩色恢复因子C，调节原始图像三个颜色通道的比例关系，把相对较暗的区域的信息凸显出来，达到了消除图像色彩失真的缺陷，从实验结果看出，虽然消除了一定程度的色彩失真，但有比较明显的光圈伪影现象。
（9）经典MSRCR多尺度算法使用的是高斯低通滤波，对图像的每一处都使用同一个滤波模板。考虑邻近像素间的灰度值差异以及产生的光圈伪影现象，本方法在传统MSRCR增强方法的基础上对原图像的反射分量图像用双边滤波代替高斯滤波处理，保留了更为丰富的细节信息，削弱光晕伪影的产生，在一定程度上改善了图像的质量。
双边滤波器是一种包括一个值域滤波和一个空间域滤波的非线性滤波算法，其能够很好地结合空、值域的内容，同时考虑空间域信息的邻近性和灰度值域的相似性，从而达到较好的滤波结果。
其空间域滤波表达式如下：
式中：𝑓(x)代表未经过滤波的图像，归一化系数用𝑘(𝑥)表示，ℎ(𝑥)代表经过滤波以后的结果图像，像素点x与其邻域内的相邻点ξ之间的几何邻近度用𝑐(𝜉, 𝑥)表示。其中，
的数值不会因为几何位置的改变而发生变化，而且其数值和图像本身的信息相关联。
归一化参数表达式如下：
值域滤波器表达式如下：
归一化常量为：
相邻像素之间权值从图像像素空间位置和亮度相似度两个方面计算，双边滤波器可以用中心像素点既空间邻近又灰度相似的点的像素值的平均值替换中心像素点上原来的像素值。其传递函数为：
归一化参数为：
本发明进一步公开了基于帧累加和改进多尺度Retinex的低光照图像增强方法在减少图像色彩失真、削弱光圈伪影、提高图像整体质量方面的应用，实验结果显示：经由经过本发明处理后的图像峰值信噪比（PSNR）提高到51.2041dB，比原图信噪比提高了15.2633dB，比只经多尺度Retinex算法处理的图像高出1.799dB，同时处理后的图像保留了更多的图像边缘和细节纹理，具有较好的清晰度，而且在一定程度上减少了色彩失真，削弱了光圈伪影的产生，本发明实验结果更贴近于图像原始色彩，与原图具有较高的结构相似性，图像整体质量得到了一定改善。
本发明更加详细的描述如下：
一种基于帧累加和多尺度Retinex联合增强优化方法，所述优化方法包括以下步骤：
步骤A1 : 获取低光照条件下实验数据，对采集的实验图像进行通道分离，得到单通道灰度图像，然后根据帧累加技术公式，对单通道图像做累加平均以提高图像灰阶分辨率及信噪比，实验结果见图3和4。
单通道图像每帧累加有：
累加后计算单通道平均值：
步骤A2 : 对累加平均后的灰度图用高斯滤波和均值滤波去噪。高斯滤波是一种线性平滑滤波器，对于服从正态分布的噪声有很好的抑制作用，是利用一个掩膜和图像进行卷积求解，模板系数随着距离模板中心的增大而系数减小（服从二维高斯分布），对图像模糊程度较小，更能够保持图像的整体细节。其表达式如下：
其中
是一个常数，不影响比例关系，
为淹膜内任一点的坐标。
为淹膜中心的坐标，
是标准差，实验结果见图5。
步骤A3 : 对图像进行直方图均衡化，使图像整体灰度更加均匀，提升一定的视觉效果，其直方图见图6；
步骤A4 : 将RGB三通道灰度图合成彩色图像，实验结果见图7；
步骤B1 : 对帧累加技术的输出图像进行多尺度Retinex颜色恢复增强。 一幅给定的图像s(x,y)可以分解为两个不同的图像：反射图像r(x,y)和入射图像l(x,y)，其原理见附图2，观察者处成像的图像为
表达式如下：
l(𝑥, 𝑦)表示入射光𝐿的光照强度，它决定了图像中像素值的动态范围;r(𝑥, 𝑦)表示一个物体在经由入射光照射后的物体图像的反射分量，它含有大量的边缘细节信息。
由于l和r是乘积的关系，为了便于处理，一般对观测图像S先进行对数处理，转换成加性关系，这样可以极大的提升暗区域的像素值，以增加对比度。对上式取对数
Retinex 算法基本处理过程如图所示，输入一幅图像并取其对数，而后进行光照分量的估计，再通过数学运算得到反射分量，即为最后的增强图像，算法流程图请见附图1。
观测图像S先进行对数处理，转换成加性关系，可以极大的提升暗区域的像素值，以增加对比度，对上式取对数
，
则有
步骤B2 : 单尺度Retinex（SSR），首先构建高斯环绕函数，然后利用高斯环绕函数分别对图像的三个色彩通道 (R，G和B) 进行滤波，滤波后的图像是所估计的光照分量，
步骤B3 : 在对数域中对原始图像和光照分量进行相减得到反射分量作为输出结果图像。其表达式如下：
其中i表示图像RGB三通道，
，其中
是归一化常数，确保卷积核内的积分为1， c为尺度参数，是中心环绕函数，通常使用高斯环绕函数，可以估计出光照分量L所对应图像的低频成分，并从S中去除低频成分，留下高频分量，可保留图像边缘细节。
步骤B4 : 多尺度MSR在单尺度的基础上做了改进，对一幅图像在不同的尺度上利用高斯进行滤波，然后对不同尺度上的滤波结果进行平均求和，可以保持图像高保真度，对图像的动态范围进行压缩，同时也可实现色彩增强、颜色恒常性、局部动态范围压缩。其表达式为
，k一般取3，即使用三个不同尺度的高斯滤波器对原始图像进行滤波处理时，效果最好。
步骤B5 : 带色彩恢复的多尺度Retinex算法(MSRCR)，MSR算法是对三个通道分别处理，没有考虑RGB三个通道的内在关联，RGB的强耦合性可能导致图像产生图像淡化和部细节色彩失真等问题，MSRCR在此基础上通过引入颜色恢复因子C，将MSR得到的结果按照一定的比例进行调整以恢复原来的比例数值，加上颜色恢复和颜色均衡，补偿由于图像局部区域对比度增强而导致颜色失真的缺陷。
其表达式如下：
MSRCR算法利用彩色恢复因子C，调节原始图像三个颜色通道的比例关系，从而把相对较暗的区域的信息凸显出来，达到了消除图像色彩失真的缺陷，从实验结果看出，虽然消除了一定程度的色彩失真，但有比较明显的光圈伪影现象。
步骤C1 : 本发明在传统MSRCR增强方法的基础上用双边滤波代替了高斯滤波对其中的反射分量进行滤波，在一定程度上削弱了光圈伪影的产生。
双边滤波器是一种包括一个值域滤波和一个空间域滤波的非线性滤波算法，其能够很好地结合空、值域的内容，同时考虑空间域信息的邻近性和灰度值域的相似性，从而达到较好的滤波结果，其传递函数为：
归一化参数为：
𝑓(x)代表未经过滤波的图像，归一化系数用𝑘(𝑥)表示，ℎ(𝑥)代表经过滤波以后的结果图像，像素点x与其邻域内的相邻点ξ之间的几何邻近度用𝑐(𝜉, 𝑥)表示，的数值不会因为几何位置的改变而发生变化，而且其数值和图像本身的信息相关联，实验结果见图8。
步骤C2 : 通过图像质量评价指标PSNR和结构相似度分析图像质量得到明显提高。PSNR是一种被应用最多的衡量画质的客观测量方法，PSNR值越大说明图像失真越小。其表达式如下：
其中，
表示原始模糊图像的像素点，
表示增强后的图像像素点，图像大小为 ，MSE是均方误差。
结构相似度(SSIM)是衡量两幅图像之间的结构相似比，是一种无参考图像质量的评估指标。SSIM的值是与人眼视觉系统的感知有关，参数SSIM的值越大，说明增强后的图像质量越好，图中的数据都是和原图相对比。
表1为图像评价指标对比：
本发明的效果主要体现在：对传统的多尺度Retinex图像增强方法进行改进，对其中的反射分量进行双边滤波处理，同时与帧累加技术对原始的图像联合增强优化，实验结果证明，本发明优化方法具有较好的实验结果，经由本发明优化方法处理后的图像峰值信噪比（PSNR）提高到51.2041dB，比原图信噪比提高了15.2633dB，比只经多尺度Retinex算法处理的图像高出1.799dB，同时处理后的图像保留了更多的图像边缘和细节纹理，具有较好的清晰度，而且在一定程度上减少了色彩失真，削弱了光圈伪影的产生，本发明实验结果更贴近于图像原始色彩，与原图具有较高的结构相似性，图像整体质量得到了一定提高。
附图说明
图1为Retinex算法流程图；
图2为Retinex理论原理图；
图3为低光照图像三通道分离；
图4为优化方法之三通道实施帧累加技术实验结果；
图5为优化方法之高斯均值滤波实验结果；
图6为进行帧累加技术前后直方图对比；其中（a）为原图，（b）为（a）图的直方图，（c）为帧累加和高斯均值滤波处理后的灰度图，（d）为（c）的直方图；
图7为优化方法帧累加滤波之后图像合成彩色图像；
图8为优化方法对比实验结果图；其中（a）为原图（b）为原图经过传统多尺度Retinex方法处理实验室结果（c）原图经过帧累加技术和高斯均值滤波后结果（d）为经过帧累加技术和传统多尺度Retinex增强方法的结果（e）本发明优化方法的实验结果。
具体实施方式
为使本发明的目的、技术方案和更加清楚下面结合附图对本发明实施方案作进一步描述。除非特别说明，本发明中所用的技术手段均为本领域技术人员所公知的方法。另外，实施方案应理解为说明性的，而非限制本发明的范围，本发明的实质和范围仅由权利要求书所限定。
实施例1
一种基于帧累加和改进多尺度Retinex的低光照图像增强优化方法可在一定程度提升低光照图像的灰阶分辨率和信噪比，同时具有较高的清晰度。
具体步骤包括：
（1）获取低光照条件下实验数据，对采集的实验图像进行通道分离，得到单通道灰度图像。
（2）根据帧累加技术公式，对单通道图像做累加平均以提高图像灰阶分辨率及信噪比。单通道图像每帧累加有：
累加后计算单通道平均值：
（3）对累加平均后的灰度图用高斯均值滤波去噪。高斯滤波是一种线性平滑滤波器，对于服从正态分布的噪声有很好的抑制作用，是利用一个掩膜和图像进行卷积求解，模板系数随着距离模板中心的增大而系数减小（服从二维高斯分布），对图像模糊程度较小，更能够保持图像的整体细节。其表达式如下：
其中
是一个常数，不影响比例关系，
为淹膜内任一点的坐标。
为淹膜中心的坐标。可认为是整数，
是标准差。
（4）对图像进行直方图均衡化，使图像整体灰度更加均匀，提升一定的视觉效果；
（5）将经由帧累处理后的RGB三通道灰度图合成彩色图像。
实施例2
（1）对帧累加技术的输出图像进行多尺度Retinex颜色恢复增强。一幅给定的图像s(x,y)可以分解为两个不同的图像：反射图像r(x,y)和入射图像l(x,y)， 观察者处成像的图像为
表达式如下：
l(𝑥, 𝑦)表示入射光𝐿的光照强度，它决定了图像中像素值的动态范围;r(𝑥, 𝑦)表示一个物体在经由入射光照射后的物体图像的反射分量，它含有大量的边缘细节信息。
由于l和r是乘积的关系，为了便于处理，一般对观测图像S先进行对数处理，转换成加性关系，这样可以极大的提升暗区域的像素值，以增加对比度。对上式取对数
（2）观测图像S先进行对数处理，转换成加性关系，可以极大的提升暗区域的像素值，以增加对比度，对上式取对数
，
则有
（3）单尺度Retinex（SSR），首先构建高斯环绕函数，然后利用高斯环绕函数分别对图像的三个色彩通道 (R，G和B) 进行滤波，滤波后的图像是所估计的光照分量，步骤B3 : 在对数域中对原始图像和光照分量进行相减得到反射分量作为输出结果图像。其表达式如下：
其中i表示图像RGB三通道，
，其中
是归一化常数，确保卷积核内的积分为1， c为尺度参数，是中心环绕函数，通常使用高斯环绕函数，可以估计出光照分量L所对应图像的低频成分，并从S中去除低频成分，留下高频分量，可保留图像边缘细节。
（4）多尺度MSR在单尺度的基础上做了改进，对一幅图像在不同的尺度上利用高斯进行滤波，然后对不同尺度上的滤波结果进行平均求和，可以保持图像高保真度，对图像的动态范围进行压缩，同时也可实现色彩增强、颜色恒常性、局部动态范围压缩。其表达式为
，k一般取3，即使用三个不同尺度的高斯滤波器对原始图像进行滤波处理时，效果最好。
（5）带色彩恢复的多尺度Retinex算法(MSRCR)，MSR算法是对三个通道分别处理，没有考虑RGB三个通道的内在关联，RGB的强耦合性可能导致图像产生图像淡化和部细节色彩失真等问题，MSRCR在此基础上通过引入颜色恢复因子C，将MSR得到的结果按照一定的比例进行调整以恢复原来的比例数值，加上颜色恢复和颜色均衡，补偿由于图像局部区域对比度增强而导致颜色失真的缺陷。
其中
表示第i个通道的图像，颜色恢复因子
，用来调节三个通道颜色的比例， 
是一个增益常量， 
是受控制的非线性强度，经实验证明，参数
取125，
取46时，可以得到理想的图像增强效果，其表达式如下：
MSRCR算法利用彩色恢复因子C，调节原始图像三个颜色通道的比例关系，从而把相对较暗的区域的信息凸显出来，达到了消除图像色彩失真的缺陷，从实验结果看出，虽然消除了一定程度的色彩失真，但有比较明显的光圈伪影现象。
（6）本发明在传统MSRCR增强方法的基础上用双边滤波代替了高斯滤波对其中的反射分量进行滤波，在一定程度上削弱了光圈伪影的产生。
双边滤波器是一种包括一个值域滤波和一个空间域滤波的非线性滤波算法，其能够很好地结合空、值域的内容，同时考虑空间域信息的邻近性和灰度值域的相似性，从而达到较好的滤波结果，其传递函数为：
归一化参数为：
𝑓(x)代表未经过滤波的图像，归一化系数用𝑘(𝑥)表示，ℎ(𝑥)代表经过滤波以后的结果图像，像素点x与其邻域内的相邻点ξ之间的几何邻近度用𝑐(𝜉, 𝑥)表示，
的数值不会因为几何位置的改变而发生变化，其数值和图像本身的信息相关联。
结论：本发明优化方法对传统的多尺度Retinex图像增强进行改进，对其中的反射分量进行双边滤波处理，同时与帧累加技术对原始的图像联合优化增强方法，实验结果证明，该优化方法具有较好的实验结果，经由本发明优化方法处理后的图像峰值信噪比（PSNR）提高到51.2041dB，比原图信噪比提高了15.2633dB，比只经多尺度Retinex算法处理的图像高出1.799dB，同时处理后的图像保留了更多的图像边缘和细节纹理，具有较好的清晰度，而且在一定程度上减少了色彩失真，削弱了光圈伪影的产生，本发明优化方法实验结果更贴近于图像原始色彩，与原图具有较高的结构相似性，图像整体质量得到了一定改善，其观评价和客观评价均优于传统增强方法。
Claims (2)
1.一种基于帧累加和改进多尺度Retinex的低光照图像增强方法，其特征在于该方法包括以下步骤：
（1）在低光照条件下采集实验数据，对采集的实验图像进行通道分离，得到单通道灰度图像，然后对单通道图像做累加平均提高图像灰阶分辨率及信噪比；
单通道图像每帧累加有：
累加后计算单通道平均值：
优化过程中，对N多次取值（包括 20、 50、 100、 500、1000）进行试验，最后发现当N取100时，帧累加平均得到的图像质量及运算速度都在较高水平,所以这里N取 100；
（2）对累加平均后的单通道灰度图用高斯均值滤波去噪：
高斯滤波表达式如下：
其中
是一个常数，不影响比例关系，
为淹膜内任一点的坐标；
为淹膜中心的坐标， 
是标准差；
（3）对图像进行直方图均衡化，使图像整体灰度更加均匀，提升一定的视觉效果；
（4）将处理后的RGB三通道图像合成彩色图像；对（2）的实验结果进行改进的多尺度Retinex增强方法处理；观察者处成像的图像表达式为
（5）对上式
取对数
（6）单尺度Retinex(SSR)算法比较拟合人眼的视觉成像过程：首先构建高斯环绕函数，然后利用高斯环绕函数分别对图像的三个色彩通道 (R 、 G 和 B) 进行滤波，滤波后的图像是所估计的光照分量，接着再在对数域中对原始图像和光照分量进行相减得到反射分量作为输出结果图像：
其中i表示图像RGB三通道，
表示某一通道的最后成像，
为对某通道的反射分量取对数所得，
表示某一个通道的单尺度增强图像，
是中心环绕函数，通常使用高斯环绕函数，可以估计出光照分量L所对应图像的低频成分，并从S中去除低频成分，留下高频分量，可保留图像边缘细节，其表达式如下：
其中
是归一化常数，确保卷积核内的积分为1，c为尺度参数，常用的卷积核半径有三个尺度，c值的选择不同可以用来控制图像中细节信息被保留的程度，当取值较小时，处理后的图像能够较好的还原边缘信息即细节能很好的恢复，但会导致色调变浅；当取值较大时，处理后的图像细节恢复不明显，颜色保持性较好；
（7）对一幅图像在不同的尺度上利用高斯进行滤波，然后对不同尺度上的滤波结果进行平均求和，可以保持图像高保真度，对图像的动态范围进行压缩，同时也可实现色彩增强、颜色恒常性、局部动态范围压缩，其表达式如下
其中，k是尺度参数的个数，一般k=3， 
为不同尺度所占的权重，
为单尺度retinex增强图像结果；
（8）引入颜色恢复因子C，将MSR得到的结果按照一定的比例进行调整以恢复原来的比例数值，加上颜色恢复和颜色均衡，补偿由于图像局部区域对比度增强而导致颜色失真的缺陷，颜色恢复因子
，用来调节三个通道颜色的比例，其表达式如下：
（9）双边滤波器是一种包括一个值域滤波和一个空间域滤波的非线性滤波算法，其能够很好地结合空、值域的内容，同时考虑空间域信息的邻近性和灰度值域的相似性， 其空间域滤波表达式如下：
式中：𝑓(x)代表未经过滤波的图像，归一化系数用𝑘(𝑥)表示，ℎ(𝑥)代表经过滤波以后的结果图像，像素点x与其邻域内的相邻点ξ之间的几何邻近度用𝑐(𝜉, 𝑥)表示；其中，
的数值不会因为几何位置的改变而发生变化，而且其数值和图像本身的信息相关联；归一化参数表达式如下：
值域滤波器表达式如下：
归一化常量为：
相邻像素之间权值从图像像素空间位置和亮度相似度两个方面计算，双边滤波器可以用中心像素点既空间邻近又灰度相似的点的像素值的平均值替换中心像素点上原来的像素值；其传递函数为：
归一化参数为：
2.权利要求1所述的基于帧累加和改进多尺度Retinex的低光照图像增强方法在减少图像色彩失真、削弱光圈伪影，提高图像整体质量方面的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010966650.7A CN111986120A (zh) | 2020-09-15 | 2020-09-15 | 一种基于帧累加和多尺度Retinex的低光照图像增强优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010966650.7A CN111986120A (zh) | 2020-09-15 | 2020-09-15 | 一种基于帧累加和多尺度Retinex的低光照图像增强优化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111986120A true CN111986120A (zh) | 2020-11-24 |
Family
ID=73449868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010966650.7A Pending CN111986120A (zh) | 2020-09-15 | 2020-09-15 | 一种基于帧累加和多尺度Retinex的低光照图像增强优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111986120A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669239A (zh) * | 2021-01-15 | 2021-04-16 | 华南理工大学 | 一种工业x射线图像对比度增强方法 |
| CN113256522A (zh) * | 2021-05-21 | 2021-08-13 | 上海国茂数字技术有限公司 | 低照度图像增强的方法、装置及可读存储介质 |
| CN113420587A (zh) * | 2021-05-10 | 2021-09-21 | 江苏大学 | 一种基于路面坑洞检测的车辆主动避撞方法 |
| CN113724274A (zh) * | 2021-09-08 | 2021-11-30 | 浙江云电笔智能科技有限公司 | 一种温度智能监测方法及系统 |
| CN113724158A (zh) * | 2021-08-13 | 2021-11-30 | 浙江大学 | 一种动态对比增强磁共振成像的降噪方法 |
| CN113744702A (zh) * | 2021-08-26 | 2021-12-03 | 蔡婷 | 一种液晶显示面板的驱动系统 |
| CN114119614A (zh) * | 2022-01-27 | 2022-03-01 | 天津风霖物联网科技有限公司 | 一种远程检测建筑物的裂缝的方法 |
| CN114418890A (zh) * | 2022-01-20 | 2022-04-29 | 中国人民解放军国防科技大学 | 光照不均文本图像处理方法 |
| CN115205163A (zh) * | 2022-09-15 | 2022-10-18 | 深圳前海量子云码科技有限公司 | 一种标识图像的处理方法、装置、设备及存储介质 |
| CN115272135A (zh) * | 2022-09-27 | 2022-11-01 | 江苏游隼微电子有限公司 | 一种单帧图片降噪并消除图片伪彩的方法 |
| CN115482216A (zh) * | 2022-09-20 | 2022-12-16 | 河南大学第一附属医院 | 一种腹腔镜图像增强方法及系统 |
| CN115817340A (zh) * | 2022-12-09 | 2023-03-21 | 重庆长安汽车股份有限公司 | 预警方法、预警装置、车及计算机可读存储介质 |
| WO2023092386A1 (zh) * | 2021-11-25 | 2023-06-01 | 中国科学院深圳先进技术研究院 | 一种图像处理方法、终端设备及计算机可读存储介质 |
| CN116597392A (zh) * | 2023-07-19 | 2023-08-15 | 山东天力润滑油有限公司 | 基于机器视觉的液压油杂质识别方法 |
| CN117173642A (zh) * | 2023-11-03 | 2023-12-05 | 昊金海建设管理有限公司 | 一种基于大数据的建筑施工视频实时监测预警方法 |
| CN117368122A (zh) * | 2023-12-07 | 2024-01-09 | 津泰(天津)医疗器械有限公司 | 一种基于比色卡的frd宫颈染色实时比对方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654433A (zh) * | 2015-12-28 | 2016-06-08 | 桂林电子科技大学 | 基于改进多尺度Retinex的彩色图像增强方法 |
| CN105844601A (zh) * | 2016-05-20 | 2016-08-10 | 中国矿业大学(北京) | 一种基于双边滤波和多尺度Retinex算法的矿井图像增强方法 |
| CN106846274A (zh) * | 2017-01-23 | 2017-06-13 | 重庆师范大学 | 结合he和引导滤波的msrcr交通图像去雾霾方法 |
| CN107527332A (zh) * | 2017-10-12 | 2017-12-29 | 长春理工大学 | 基于改进Retinex的低照度图像色彩保持增强方法 |
| CN110175964A (zh) * | 2019-05-30 | 2019-08-27 | 大连海事大学 | 一种基于拉普拉斯金字塔的Retinex图像增强方法 |
-
2020
- 2020-09-15 CN CN202010966650.7A patent/CN111986120A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654433A (zh) * | 2015-12-28 | 2016-06-08 | 桂林电子科技大学 | 基于改进多尺度Retinex的彩色图像增强方法 |
| CN105844601A (zh) * | 2016-05-20 | 2016-08-10 | 中国矿业大学(北京) | 一种基于双边滤波和多尺度Retinex算法的矿井图像增强方法 |
| CN106846274A (zh) * | 2017-01-23 | 2017-06-13 | 重庆师范大学 | 结合he和引导滤波的msrcr交通图像去雾霾方法 |
| CN107527332A (zh) * | 2017-10-12 | 2017-12-29 | 长春理工大学 | 基于改进Retinex的低照度图像色彩保持增强方法 |
| CN110175964A (zh) * | 2019-05-30 | 2019-08-27 | 大连海事大学 | 一种基于拉普拉斯金字塔的Retinex图像增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| BAOJU ZHANG ET AL: "Multispectral Heterogeneity Detection Based on Frame Accumulation and Deep Learning", 《SPECIAL SECTION ON MISSION CRITICAL SENSORS AND SENSOR NETWORKS (MC-SSN)》 * |
| 张诗: "基于Retinex理论的图像与视频增强算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669239A (zh) * | 2021-01-15 | 2021-04-16 | 华南理工大学 | 一种工业x射线图像对比度增强方法 |
| CN112669239B (zh) * | 2021-01-15 | 2023-07-18 | 华南理工大学 | 一种工业x射线图像对比度增强方法 |
| CN113420587A (zh) * | 2021-05-10 | 2021-09-21 | 江苏大学 | 一种基于路面坑洞检测的车辆主动避撞方法 |
| CN113256522A (zh) * | 2021-05-21 | 2021-08-13 | 上海国茂数字技术有限公司 | 低照度图像增强的方法、装置及可读存储介质 |
| CN113724158A (zh) * | 2021-08-13 | 2021-11-30 | 浙江大学 | 一种动态对比增强磁共振成像的降噪方法 |
| CN113724158B (zh) * | 2021-08-13 | 2024-01-02 | 浙江大学 | 一种动态对比增强磁共振成像的降噪方法 |
| CN113744702A (zh) * | 2021-08-26 | 2021-12-03 | 蔡婷 | 一种液晶显示面板的驱动系统 |
| CN113724274A (zh) * | 2021-09-08 | 2021-11-30 | 浙江云电笔智能科技有限公司 | 一种温度智能监测方法及系统 |
| WO2023092386A1 (zh) * | 2021-11-25 | 2023-06-01 | 中国科学院深圳先进技术研究院 | 一种图像处理方法、终端设备及计算机可读存储介质 |
| CN114418890A (zh) * | 2022-01-20 | 2022-04-29 | 中国人民解放军国防科技大学 | 光照不均文本图像处理方法 |
| CN114418890B (zh) * | 2022-01-20 | 2024-01-23 | 中国人民解放军国防科技大学 | 光照不均文本图像处理方法 |
| CN114119614A (zh) * | 2022-01-27 | 2022-03-01 | 天津风霖物联网科技有限公司 | 一种远程检测建筑物的裂缝的方法 |
| CN114119614B (zh) * | 2022-01-27 | 2022-07-26 | 天津风霖物联网科技有限公司 | 一种远程检测建筑物的裂缝的方法 |
| CN115205163A (zh) * | 2022-09-15 | 2022-10-18 | 深圳前海量子云码科技有限公司 | 一种标识图像的处理方法、装置、设备及存储介质 |
| CN115482216A (zh) * | 2022-09-20 | 2022-12-16 | 河南大学第一附属医院 | 一种腹腔镜图像增强方法及系统 |
| CN115272135A (zh) * | 2022-09-27 | 2022-11-01 | 江苏游隼微电子有限公司 | 一种单帧图片降噪并消除图片伪彩的方法 |
| CN115817340A (zh) * | 2022-12-09 | 2023-03-21 | 重庆长安汽车股份有限公司 | 预警方法、预警装置、车及计算机可读存储介质 |
| CN115817340B (zh) * | 2022-12-09 | 2024-08-13 | 重庆长安汽车股份有限公司 | 预警方法、预警装置、车及计算机可读存储介质 |
| CN116597392A (zh) * | 2023-07-19 | 2023-08-15 | 山东天力润滑油有限公司 | 基于机器视觉的液压油杂质识别方法 |
| CN116597392B (zh) * | 2023-07-19 | 2023-10-03 | 山东天力润滑油有限公司 | 基于机器视觉的液压油杂质识别方法 |
| CN117173642A (zh) * | 2023-11-03 | 2023-12-05 | 昊金海建设管理有限公司 | 一种基于大数据的建筑施工视频实时监测预警方法 |
| CN117173642B (zh) * | 2023-11-03 | 2024-02-02 | 昊金海建设管理有限公司 | 一种基于大数据的建筑施工视频实时监测预警方法 |
| CN117368122A (zh) * | 2023-12-07 | 2024-01-09 | 津泰(天津)医疗器械有限公司 | 一种基于比色卡的frd宫颈染色实时比对方法 |
| CN117368122B (zh) * | 2023-12-07 | 2024-02-13 | 津泰(天津)医疗器械有限公司 | 一种基于比色卡的frd宫颈染色实时比对方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986120A (zh) | 一种基于帧累加和多尺度Retinex的低光照图像增强优化方法 | |
| CN107527332B (zh) | 基于改进Retinex的低照度图像色彩保持增强方法 | |
| Bai et al. | Underwater image enhancement based on global and local equalization of histogram and dual-image multi-scale fusion | |
| US11127122B2 (en) | Image enhancement method and system | |
| CN110889812B (zh) | 一种多尺度融合图像特征信息的水下图像增强方法 | |
| Wang et al. | Low-light image joint enhancement optimization algorithm based on frame accumulation and multi-scale Retinex | |
| CN111968065B (zh) | 一种亮度不均匀图像的自适应增强方法 | |
| CN112561804A (zh) | 基于多尺度细节增强的低光照水下图像增强方法 | |
| CN104318529A (zh) | 处理在恶劣环境中所拍摄低照度图像的方法 | |
| Priyanka et al. | Low-light image enhancement by principal component analysis | |
| Mu et al. | Low and non-uniform illumination color image enhancement using weighted guided image filtering | |
| CN117252773A (zh) | 基于自适应颜色校正和导向滤波的图像增强方法及系统 | |
| KR20140109801A (ko) | 3d이미지 품질을 향상시키는 방법과 장치 | |
| Han et al. | Automatic illumination and color compensation using mean shift and sigma filter | |
| CN116630198A (zh) | 一种结合自适应伽马校正的多尺度融合水下图像增强方法 | |
| CN111260588A (zh) | 一种高清数字cmos成像组件图像增强方法 | |
| CN115829967A (zh) | 一种工业金属表面缺陷图像去噪和增强方法 | |
| Yin et al. | A novel framework for low-light colour image enhancement and denoising | |
| CN116416175A (zh) | 一种基于自适应边缘保持平滑金字塔的图像融合方法 | |
| CN114359083B (zh) | 一种面向干扰环境的高动态热红外图像自适应预处理方法 | |
| CN116228569A (zh) | 一种用于保留结构及平衡亮度的低质量焊接图像增强方法 | |
| Tang et al. | Sky-preserved image dehazing and enhancement for outdoor scenes | |
| Zheng et al. | An illumination adaptive underwater image enhancement method | |
| Prasad et al. | A Systematic Review of Noise Types, Denoising Methods, and Evaluation Metrics in Images | |
| Kumar | Satellite image denoising using local spayed and optimized center pixel weights |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201124 |