CN110428389B - 基于msr理论和曝光融合的微光图像增强方法 - Google Patents

Abstract

本发明公开了一种基于MSR理论和曝光融合的微光图像增强方法，解决了微光图像增强中对图像整体结构破坏和过度增强等问题。实现步骤为：输入原图并提出原图V分量；用局部细节处理算子处理V分量得到细节处理图；用整体结构保持算子处理V分量得到结构处理图；用原图V分量定义为校正处理图；采用曝光融合法合并三幅处理图得到增强结果图；从HSV空间转到RGB空间显示得到增强结果图。本发明用基于信息熵的区域细节丰富度准确衡量图像细节丰富程度并根据区域细节丰富度来自适应计算3个不同的高斯核权值，结合曝光融合法合并3个处理图。本发明在微光图像增强的同时兼顾图像细节增强、结构与亮度保持。可以应用于遥感、军事、工业、医学等领域中。

Description

基于MSR理论和曝光融合的微光图像增强方法

技术领域

本发明属于图像处理技术领域，更进一步涉及微光图像处理技术领域中的图像增强，具体是一种基于MSR(Multi-scale Retinex，多尺度Retinex)理论和曝光融合的微光图像增强方法。本发明可以对遥感、军事、工业、医学等领域中获得的微光图像进行对比度增强处理。

背景技术

随着信息技术的不断发展，数字图像已成为人类获取信息的一种重要手段，广泛应用于通信、军事、医学等领域。微光环境是比较常见的拍摄环境，夜晚或者阴雨天，甚至在背光环境下拍摄的照片都具有微光的特点。使用MSR理论可以有效地解决微光图像中细节丢失、对比度较低、颜色失真严重并且容易受到噪声的干扰等问题。曝光融合可以将多个图像合并创建单个图像，同时仅保留正确曝光的元素，因此研究MSR理论和曝光融合的结合可以使微光图像满足工业应用、科研、日常生活等需求。

Ming-Chih Hsu等人在其发表的论文“Retinex Image Enhancement Based onExposure Fusion(2018 3rd International Conference on Intelligent GreenBuilding and Smart Grid(IGBSG))”中提出了一种基于retinex理论和曝光融合的图像增强方法，该方法的实现过程是：使用局部处理器和全局处理器并通过曝光融合法合并结果图。该系统存在的不足之处是：在其局部处理器中，不能根据局部细节的丰富程度来调整高斯核的权值，在全局处理器中，对整体结构破坏较大。

西安电子科技大学的李勇在其2018年硕士毕业论文《基于Retinex理论的低照度图像增强算法研究与实现》中提出了一种自适应权值的多尺度Retinex图像增强新算法，该方法的实现过程为：将图像分块，并根据图像的区域特性计算尺度参数，在子块内部采用自适应权值的MSR算法，并对增强结果进行了亮度保持，避免了过度增强。该方法存在的不足之处是：在细节处理过程中没有兼顾结构处理，导致结构破坏较为严重。

西安电子科技大学的李锦等人在其发表的论文“LI Jin；WANG Junping；WANGuoting；LI Ziyang；XU Dan；CAO Honghua；ZHANG Guangyan.Novel algorithm for imageenhancement with histogram equalization and MSRCR[J].J4,2014,41(3):103-109.”中提出了一种结合直方图均衡化(HE)和多尺度Retinex彩色恢复(MSRCR)算法的彩色图像增强方法，该方法的实现过程为：为提取集成电路(IC)真实缺陷形貌图的缺陷特征，将图像先分别进行HE增强和MSRCR增强,然后按照一定的图像融合规则进行加权融合。该方法存在的不足之处是：其主要应用于提取集成电路真实缺陷形貌图的缺陷特征，应用范围较窄，在进行MSRCR处理时，不能衡量局域的细节丰富程度，不能根据局部细节的丰富程度来调整高斯核的权值，不能在细节增强过程中同时进行图像整体结构和图像亮度的保持。

总之，现有技术中对微光图像进行图像增强的过程中，在细节处理方法实现过程中不能兼顾对整体结构的保持。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种细节、结构和亮度同时得到保持的基于MSR理论和曝光融合的微图像增强方法。

本发明是一种基于MSR和曝光融合的微光图像增强方法，其特征在于，包括有如下步骤：

步骤1.输入微光图像，将图像从RGB空间转化到HSV空间并提取出原图V分量；

步骤2.采用基于MSR理论的局部细节处理算子处理V分量得到细节处理图：将原图V分量均分为N块，定义一个衡量每块细节丰富程度的区域细节丰富度r，通过计算原图V分量每i块的信息熵来衡量每块的信息丰富程度；根据区域细节丰富度来自适应计算MSR的3个不同高斯核的权值；根据MSR理论，3个不同高斯核分别卷积每块原图V分量后相加得到原图V分量每块的入射光分量，利用局部细节处理算子得到原图V分量每块的反射光分量，将原图V分量每块的反射光分量依次求出，得到原图V分量全图的细节处理图C₁；

步骤3.采用基于引导滤波理论的整体结构保持算子处理V分量得到结构处理图：将原图V分量同时做为引导图像和输入待滤波图像，利用引导滤波公式计算得到引导滤波处理的输出图像，即为结构处理图C₂；

步骤4.调用原图V分量并把它定义为校正处理图C₃；

步骤5.采用曝光融合法合并3幅处理图，得到增强结果图像：分别用细节处理图、结构处理图、校正处理图三幅处理图对应的像素的值与原图OSTU阈值的二维高斯函数计算三幅处理图相应像素点的融合权值；遍历全图得到融合权值图；构建3个处理图的拉普拉斯金字塔与相对应归一化融合权值图的高斯金字塔，将3幅处理图的拉普拉斯金字塔进行每层加权相加，得到重构图像的拉普拉斯金字塔，使用重构图像的拉普拉斯金字塔得到初步增强结果图，得到初步增强结果图；将初步增强结果图进行亮度保持处理，得到增强结果图；

步骤6.将增强结果图从HSV空间转化到RGB空间进行显示，得到显示图。

本发明针对不同图像自身的特点，可以自适应的获得不同区域的细节丰富度和不同区域的高斯核权值。

本发明与现有的技术相比具有以下优点：

第一，由于本发明中用提出了一个衡量区域细节丰富程度的概念，可根据信息熵来衡量图像各区域的细节丰富程度，可自适应计算不同高斯核的权值，克服了现有方法中用基本的高斯核权值计算图像的入射光分量，不能根据图像各区域的细节丰富程度改变不同高斯核的权值而导致原图像局部细节信息丢失严重的问题，使得本发明在处理微光图像的时能够实现对不同区域的自适应计算不同的高斯核的权值，使得细节处理结果对比度更高。

第二，由于本发明在增强微光图像的同时采用引导滤波来保持图像的整体结构，克服了现有方法中在增强微光图像细节时对整体结构的破坏较为严重的问题，使得本发明在增强微光图像细节时能够保持微光图像的整体结构，增强的到的图像的整体结构与原图像更加贴合。

第三，由于本发明采用曝光融合法合并细节处理图、结构处理图、校正处理图，得到增强结果图像，克服了现有方法中在增强微光图像时不能兼顾局部细节处理、整体结构保持、亮度校正的问题，使得本发明增强微光图像的结果图在细节上，结构上和亮度上更加符合人眼的视觉特性。

附图说明

图1是本发明的流程框图。

图2是本发明的局部细节处理算子的流程框图。

图3是本发明的曝光融合法合并3幅处理图，得到增强结果图像的流程框图。

图4是实验用图，其中图4(a)是本发明得到的结果显示图，图4(b)是本发明实验用原图。

具体实施方式

下面结合附图对本发明详细的描述。

实施例1

现代社会图像的重要性日益重要，现代社会对图像的清晰程度要求也日益增加，但由于微光环境是比较常见的拍摄环境，夜晚或者阴雨天，甚至在背光环境下拍摄的照片都具有微光的特点。微光图像存在细节不明显、对比度较低、颜色失真严重并且容易受到噪声的干扰等问题。图像应用中必须通过微光图像增强的方式改善图像质量，因此微光图像增强的研究成果将在监控系统、航拍、军事监测、遥感成像系统和智能交通系统等计算机与视觉应用领域具有广阔的应用前景。

现有技术中实现过程中对整体结构的破坏较大，在其局部处理器中，不能根据局部细节的丰富程度来调整高斯核的权值，在全局处理器中，不能保持图像的边缘轮廓，对整体结构破坏较大。本发明针对这种现状，展开了分析与研究，提出一种基于MSR和曝光融合的微光图像增强方法，参见图1，采用基于MSR理论的局部细节处理算子处理图像细节；采用基于引导滤波的整体结构保持算子处理图像整体结构；采用原图校正算子进行校正，最后将三种处理图进行曝光融合，包括有如下步骤：

步骤1.输入微光图像即原图，将图像从RGB空间转化到HSV空间并提取出原图V分量，这样的处理不改变HSV空间的H分量和S分量，可以尽可能的保持图像颜色不变，避免增强处理完的图像颜色失真。

步骤2.采用基于MSR理论的局部细节处理算子处理V分量得到细节处理图：参见图2，将原图V分量均分为N块，本例中N可以为任何正整数。图像不同块的细节丰富程度是不一样的，需要用的3个不同高斯核的权值也是不一样的，因此本发明定义一个衡量每块细节丰富程度的概念区域细节丰富度r，通过计算原图V分量每块的信息熵来衡量第i块的信息丰富程度即区域细节丰富度r_i。本发明根据区域细节丰富度来自适应计算MSR理论的3个不同高斯核的权值；根据MSR理论，3个不同高斯核分别卷积每块原图V分量后相加得到原图V分量每块的入射光分量，利用局部细节处理算子得到原图V分量每块的反射光分量，将原图V分量每块的反射光分量依次求出，得到原图V分量全图的细节处理图C₁，这样的处理根据区域的细节丰富度准确的调整不同高斯核的权值，尽可能的保留图像细节和去除噪声。

步骤3.采用基于引导滤波理论的整体结构保持算子处理V分量得到结构处理图：引导滤波处理后的输出图会保持与输入带滤波图像相同的细节和与引导图像相同的梯度即轮廓结构，因此将原图V分量同时做为引导图像和输入待滤波图像，利用引导滤波公式计算得到引导滤波处理的输出图像，即为结构处理图C₂，这样的处理能够保持原图整体的结构。

步骤4.调用原图V分量并把它定义为校正处理图C₃：校正处理图在步骤5中用于校正细节、结构和亮度，这样的处理能够补充细节处理图丢失的细节和结构处理图破坏的结构以及提供原图V分量亮度的校正。

步骤5.采用曝光融合法合并3幅处理图，得到增强结果图像：参见图3，依据像素值在越接近的OSTU阙值时曝光越恰当，权值越大的原则，分别用细节处理图、结构处理图、校正处理图三幅处理图对应的像素的值与原图OSTU阈值的二维高斯函数计算三幅处理图相应像素点的融合权值。遍历3幅处理图全图得到3幅处理图相对应的融合权值图。构建3个处理图的拉普拉斯金字塔与相对应归一化融合权值图的高斯金字塔，将3幅处理图的拉普拉斯金字塔进行每层加权相加，得到重构图像的拉普拉斯金字塔，使用重构图像的拉普拉斯金字塔得到初步增强结果图，得到初步增强结果图；将初步增强结果图进行亮度保持处理，得到增强结果图。

步骤6.将增强结果图从HSV空间转化到RGB空间进行显示，得到增强后的显示图。

本发明的思路是：先对原图进行局部细节处理得到细节处理图，同时原图进行结构处理得到结构处理图，再将原图作为原图校正图，然后用曝光融合法合并细节处理图、结构处理图和原图校正图合并成增强结果图像。

本发明采用曝光融合法合并细节处理图、结构处理图、校正处理图，形成一个整体的技术方案，得到增强结果图像。克服了现有方法中在增强微光图像时不能兼顾局部细节处理、整体结构保持、亮度校正的问题，使得本发明增强微光图像的结果图在细节上，结构上和亮度上更加符合人眼的视觉特性，使增强图像的细节、结构和亮度同时得到保持。

实施例2

基于MSR和曝光融合的微光图像增强方法同实施例1，本发明步骤2中所述的采用基于MSR理论的局部细节处理算子处理原图得到细节处理图，具体包括有如下步骤：

2.1把原图图像从日常的三原色RGB空间转化到HSV空间，并提出原图V分量I_V，V分量是明度分量，包涵原图全部细节。

2.2将原图V分量进行分块，分为N块，N是分块总数，N为任意正整数，本例中，N＝6。

2.3本发明定义一个衡量每块细节丰富程度的概念，即区域细节丰富度r，计算原图V分量第i块的区域细节丰富度r_i。

2.3a信息熵衡量图像细节信息的丰富程度，因此计算原图V分量第i块的信息熵S_i，公式如下：

其中，S_i为第i块原图V分量的信息熵，n为图像像素值范围，m为像素值，p_m为原图V分量中像素灰度值为m的概率。

2.3b按照区域细节丰富度计算公式，计算原图V分量第i块的区域细节丰富度r_i。

2.4按照高斯核自适应权值公式，计算原图V分量每块的3个高斯核σ_min＝15,σ_mid＝80,σ_max＝250的权值w_ij,i∈[1,N],j∈(min,mid,max)。

2.5计算原图V分量每块的入射光分量I_i(x,y),i∈[1,N]。

I_i(x,y)＝I_Vi(x,y)*σ_j,j∈(min,mid,max),i∈[1,N]

其中，I_i(x,y)是第i块原图V分量坐标为(x,y)的入射光分量值，I_Vi(x,y)是坐标为(x,y)第i块原图V分量的像素值，σ_j,j∈(min,mid,max)是3个不同的高斯核。

2.6根据MSR理论，计算原图V分量第i块的反射光分量R_i(x,y)。

其中，R_i(x,y)是第i块原图V分量坐标为(x,y)的反射光分量值，w_ij是第i块原图V分量的第j个高斯核权值，I_Vi(x,y)是坐标为(x,y)第i块原图V分量的像素值，Δ_CF为幅度补偿常数，为避免对数函数在像素值为0处的信息丢失，I_i(x,y)是第i块原图V分量坐标为(x,y)的入射光分量值。

2.7将原图V分量每块的反射光分量依次由步骤2.6算出，得到原图V分量全图的细节处理图C₁。

其中，C₁为细节处理图，R_i是第i块原图V分量的反射光分量。N是原图V分量分块总数。

本发明提出的细节处理算子处理微光图像的时能够实现对不同区域的自适应计算3个不同的高斯核的权值，使得细节处理结果对比度更高。

实施例3

基于MSR和曝光融合的微光图像增强方法同实施例1-2，对于一幅图像，依据局部特性可以分为细节丰富区域和细节非丰富区域，在细节丰富区域，细节较多，信息熵较高，边缘较多，像素之间的差别很大，变化剧烈，很难观察到噪声。而在细节非丰富区域，细节较少，较容易的观察到小的像素值之间的差异，噪声的可见性较高。本发明为了准确区分细节丰富区域和细节非丰富区域，因此采用区域细节丰富度计算公式来进行计算以区分细节丰富区域和细节非丰富区域。

步骤2.3b中所述的区域细节丰富度计算公式：

其中，r_i为原图V分量第i块的区域细节丰富度，S_i为原图V分量第i块的信息熵，N为原图V分量的分块总数，

为原图V分量整体的信息熵。

本发明通过不断的实验总结分析得出区域细节丰富度的计算公式，采用信息熵为基础指标能够准确的衡量细节的丰富程度，因此用信息熵为基础的区域细节丰富度的计算公式能够准确的调整3个不同高斯核的权值。

实施例4

基于MSR和曝光融合的微光图像增强方法同实施例1-3，越小高斯核对图像细节的损失就越小，但对降噪效果也越差。因此本发明寻求一个最佳方案，为了简化计算，提高计算速度，本发明对高斯核σ_mid的权值保持最佳1/3不变，只自适应计算最小和最大的两个高斯核σ_min,σ_max的权值，使其3个不同高斯核的权值之和为1，步骤2.4中所述的高斯核自适应权值公式分别为：

其中，w_imin为原图V分量第i块的高斯核σ_min的权值，w_imid为原图V分量第i块的高斯核σ_mid的权值，w_imax为原图V分量第i块的高斯核σ_max的权值，r_i为原图V分量第i块的区域细节丰富度。本例中具体3个不同的高斯核的取值分别是σ_min＝15,σ_mid＝80,σ_max＝250，这是本发明在实验中获得的最佳高斯核取值，在每一个不同的方法中，也是可以改变的，但其权值遵循上述公式来确定。

本发明根据区域细节丰富度来计算3个不同高斯核的权值且运算量较少，可以根据区域的细节丰富程度来准确的调整3个不同高斯核的权值。

实施例5

基于MSR和曝光融合的微光图像增强方法同实施例1-4，步骤5中所述的采用曝光融合法合并3幅处理图，参见图3，得到增强结果图像包括有如下：

5.1用二维高斯函数计算不同处理图的融合权值图，不同处理图分别为细节处理图，结构处理图、校正处理图，得到3幅处理图各自对应的融合权值矩阵图w_k。

其中，C_k是第k幅处理图，k∈[1,3]，1-3分别表示细节处理图、结构处理图、原图校正图；X是原图的OSTU阙值，σ_w是尺度参数，根据大量实验数据得知，本例中取为0.2。

5.2对3幅不同的融合权值矩阵图进行归一化处理，即3幅处理图对应像素点的融合权值矩阵的数值相加总和为1。

其中，W_k是归一化后第k幅处理图相对应的融合权值矩阵图，w_k是第k幅融合权值矩阵图，k∈[1,3]，k为3幅融合权值矩阵图的序号。

5.3按照高斯金字塔规则，构建3个归一化后的融合权值图的高斯金字塔。

5.3a将3个归一化后的融合权值矩阵图作为相对应的高斯金字塔的底层G_l。

5.3b将高斯金字塔此层的偶数行和列去除，只保留奇数行和列，得到高斯金字塔初步下层。

5.3c将高斯金字塔初步下层进行尺寸为5*5的高斯内核卷积，得到高斯金字塔下层，以此类推，得到融合权值矩阵图4层的高斯金字塔。

5.4按照5.3高斯金字塔规则，构建3个处理图的4层高斯金字塔,3个处理图的高斯金字塔按照如下规则构建相对应的3个处理图的拉普拉斯金字塔。

5.4a将第l层高斯金字塔G_l,l∈[0,3]的行数和列数乘2，奇数行和列填充高斯金字塔G_l的行列数值，偶数行和列填充为0，并卷积4倍的高斯金字塔相同5*5高斯内核得到高斯金字塔内插放大图像

5.4b按照下式构建拉普拉斯金字塔。

LP_l＝G_l,l＝3

其中LP_l是第l层的拉普拉斯金字塔，G_l是第l层的高斯金字塔，

是第l层高斯金字塔内插放大图像。

5.5对三幅处理图的拉普拉斯金字塔进行融合：将3幅处理图的拉普拉斯金字塔进行每层加权相加，得到重构图像的拉普拉斯金字塔，使用重构图像的拉普拉斯金字塔得到初步增强结果图。

5.6按照亮度保持公式，将初步增强结果图进行亮度保持处理，得到增强结果图。

本发明采用曝光融合法合并细节处理图、结构处理图、校正处理图，得到增强结果图像，使得本发明能够保留3幅处理图的优点，并且增强微光图像的结果图在细节上，结构上和亮度上更加符合人眼的视觉特性。

实施例6

基于MSR和曝光融合的微光图像增强方法同实施例1-5，亮度保持避免过度增强问题，步骤5.6中所述的亮度保持公式：

其中，B是亮度保持后输出增强结果图，T是初步增强结果图，f是原图V分量，f_min,f_max分别是是原图V分量的最小值和最大值。

本发明在处理微光图像局部细节和保持图像整体结构之后进行亮度保持处理，以避免因图像的过度增强而导致的颜色失真和细节不清晰等问题。

下面给出一个结合实验的例子，对本发明的技术方案进一步说明

实施例7

基于MSR和曝光融合的微光图像增强方法同实施例1-6，具体步骤如下：

步骤1.输入任一微光图像，将图像从日常所用的RGB空间转化到科研常用的HSV空间并提取出HSV空间中代表明度的原图V分量。

步骤2.采用基于MSR理论的局部细节处理算子处理V分量得到细节处理图：将原图V分量均分为N块，理论上块数N越大，图像细节处理后对比度提升越高，但是运算效率就会较差，本发明通过大量实验与分析总结得到，N＝4时处理效果与运算效率都较优良，因此本实例中N＝4；为达到准确衡量每块的细节丰富程度目的，需定义一个衡量每块细节丰富程度的概念区域细节丰富度r，通过计算原图V分量第i块的信息熵来衡量第i块的信息丰富程度即区域细节丰富度r_i,i∈[1,4]。根据区域细节丰富度来自适应计算MSR理论的3个不同高斯核的权值。又根据MSR理论，3个不同高斯核分别卷积每块原图V分量后相加得到原图V分量每块的入射光分量，利用局部细节处理算子得到原图V分量每块的反射分量，将原图V分量每块的反射分量依次算出，得到原图V分量全图的细节处理图C₁。

得到细节处理图，具体包括有如下步骤：

2.1把原图图像从RGB空间转化到HSV空间，并提出原图V分量I_V。

2.2将原图V分量进行分块，分为N块，N是分块总数，本例中，N＝4。

2.3本发明定义一个衡量第i块细节丰富程度的概念，即区域细节丰富度r_i，然后计算原图V分量第i块的区域细节丰富度r_i。

2.3a信息熵是图像细节信息的丰富程度的准确度量化变量，因此计算原图V分量第i块的信息熵S_i。

其中，S_i为第i块图像的信息熵，n为图像像素值范围，m为像素值，p_m为原图V分量中像素灰度值为m的概率。

2.3b按照区域细节丰富度计算公式，计算原图V分量第i块的区域细节丰富度r_i。

其中，r_i为原图V分量第i块的区域细节丰富度，S_i为原图V分量第i块的信息熵，N为原图V分量的分块总数，

为原图V分量整体的信息熵。

2.4按照高斯核自适应权值公式，计算原图V分量第i块的3个高斯核(σ_min＝15,σ_mid＝80,σ_max＝250)的权值w_ij,j∈(min,mid,max)。

其中，w_imin为原图V分量第i块的高斯核σ_min的权值，w_imid为原图V分量第i块的高斯核σ_mid的权值，w_imax为原图V分量第i块的高斯核σ_max的权值，r_i为原图V分量第i块的区域细节丰富度。本实例中，具体3个高斯核的取值分别是σ_min＝15,σ_mid＝80,σ_max＝250。

2.5计算原图V分量第i块的入射光分量I_i(x,y)。

I_i(x,y)＝I_Vi(x,y)*σ_j,j∈(min,mid,max),i∈[1,4]

其中，I_i(x,y)是第i块原图V分量坐标为(x,y)的入射光分量值，I_Vi(x,y)是坐标为(x,y)第i块原图V分量的像素值，σ_j,j∈(min,mid,max)是3个不同的高斯核。

2.6根据MSR理论：图像等于入射光分量乘反射光分量，由于二维图像矩阵进行除法运算较为复杂，本发明采用对数函数来简化运算；为避免图像像素值为0时对数函数值发生突变，本实例中引入幅度补偿常数Δ_CF，经过大量实验与总结分析得知，Δ_CF＝4时，细节处理效果较好；计算原图V分量第i块的反射光分量R_i(x,y)。

其中，R_i(x,y)是第i块原图V分量坐标为(x,y)的反射光分量值，w_ij是第i块原图V分量的第j个高斯核权值，I_Vi(x,y)是坐标为(x,y)第i块原图V分量的像素值，Δ_CF为幅度补偿常数，本实例中为5，I_i(x,y)是第i块原图V分量坐标为(x,y)的入射光分量值。

2.7将原图V分量每块的反射光分量依次由步骤2.6算出，得到原图V分量的细节处理图C₁。

其中，C₁为细节处理图，R_i是第i块原图V分量的反射光分量。N是原图V分量分块总数。

步骤3.采用基于引导滤波理论的整体结构保持算子处理V分量得到结构处理图：引导滤波处理后的输出图会保持与输入带滤波图像相同的细节和与引导图像相同的梯度即轮廓结构，因此引导滤波将原图V分量同时做为引导图像和输入待滤波图像，利用引导滤波公式计算得到引导滤波处理的输出图像，即为结构处理图C₂。

步骤4.调用原图V分量并把它定义为校正处理图C₃，原图V分量作为校正处理图在曝光融合方法中用于校正细节、结构和亮度，这样的处理能够补充细节处理图丢失的细节和结构处理图破坏的结构以及提供原图V分量亮度的校正。

步骤5.采用曝光融合法合并3幅处理图，得到增强结果图像：依据像素值在越接近的OSTU阙值时曝光越恰当，权值越大的原则，该原则与二维高斯函数特性相似，因此用分别用细节处理图、结构处理图、校正处理图三幅处理图对应的像素的值与原图OSTU阈值的二维高斯函数计算三幅处理图相应像素点的融合权值；遍历3幅处理图全图得到3幅处理图相对应的融合权值图。再依次构建3个处理图的拉普拉斯金字塔与相对应归一化融合权值图的高斯金字塔，将3幅处理图的拉普拉斯金字塔进行每层加权相加，以得到重构图像的拉普拉斯金字塔，使用重构图像的拉普拉斯金字塔得到初步增强结果图，得到初步增强结果图；将初步增强结果图进行亮度保持处理，得到增强结果图。

5.1用二维高斯函数计算不同处理图的融合权值图，不同处理图分别为细节处理图，结构处理图、校正处理图，得到3幅处理图各自对应的融合权值矩阵图w_k。

其中，C_k是第k幅处理图，k∈[1,3](1-3分别表示细节处理图，结构处理图，原图校正图)，X是原图的OSTU阙值，根据大量实验数据得知，σ_w是尺度参数，本例中为0.2。

5.2对3幅不同的融合权值矩阵图进行归一化处理，即让3幅处理图对应像素点的融合权值矩阵的数值相加总和为1。

其中，W_k是归一化后第k幅融合权值矩阵图，w_k是第k幅融合权值矩阵图，k∈[1,3]，1-3分别表示细节处理图，结构处理图，原图校正图。

5.3按照高斯金字塔规则，依次构建3个归一化后的融合权值图的高斯金字塔。

5.3a将3个归一化后的融合权值矩阵图作为相对应的高斯金字塔的底层G_l。

5.3b将高斯金字塔此层的偶数行和列去除，只保留奇数行和列，得到高斯金字塔初步下层。

5.3c将高斯金字塔初步下层进行尺寸为5*5的高斯内核卷积，得到高斯金字塔下层，以此类推，得到融合权值矩阵图4层的高斯金字塔。

5.4按照5.3高斯金字塔规则，构建3个处理图的4层高斯金字塔,3个处理图的高斯金字塔按照如下规则构建3个相对应处理图的拉普拉斯金字塔。

5.4a将高斯金字塔G_l,l∈[0,3]的行数和列数乘2，奇数行和列填充高斯金字塔G_l的行列数值，偶数行和列填充为0，并卷积4倍的高斯金字塔相同5*5高斯内核得到高斯金字塔内插放大图像

5.4b按照下式构建拉普拉斯金字塔。

LP_l＝G_l,l＝3

其中LP_l是第l层的拉普拉斯金字塔，G_l是第l层的高斯金字塔，

是第l层高斯金字塔内插放大图像。

5.5对三幅处理图的拉普拉斯金字塔进行融合：将3幅处理图的拉普拉斯金字塔进行每层加权相加，得到重构图像的拉普拉斯金字塔，使用重构图像的拉普拉斯金字塔得到初步增强结果图。

5.6按照亮度保持公式，将初步增强结果图进行亮度保持处理，得到增强结果图。

步骤6.将增强结果图从HSV空间转化到RGB空间进行显示，得到增强结果显示图。

本例中显示图参见图4(a)。由于本发明的方法在图像增强的过程中能够同时兼顾微光图像的细节增强、结构与亮度保持，因此本发明的方法可以对遥感、军事、工业、医学等领域中获得的微光图像进行对比度增强处理。

下面结合实验和数据对发明的技术效果再做说明

实施例8

基于MSR和曝光融合的微光图像增强方法同实施例1-7，

实验条件：实验的编程软件为Matlab R2018a。

实验内容：实验中所使用两种现有技术作为与本发明进行效果对比：

一种是自适应权值的Retinex图像增强方法，参考文献为西安电子科技大学李勇硕士毕业论文《基于Retinex理论的低照度图像增强算法研究与实现》。

另一种是基于曝光融合的Retinex图像增强方法，参考文献为“Retinex ImageEnhancement Based on Exposure Fusion(2018 3rd International Conference onIntelligent Green Building and Smart Grid(IGBSG))”。

实验用原图为图4(b)，增强结果图为图4(a)。

表1给出本发明与现有技术的实验客观参数。

实验结果与分析：

参见图4(b)，图4(b)是本发明的实验用原图，图为一位女子的微光图像，该图对比度较低，头发与脸部靠近额顶边缘轮廓、头发与背景的轮廓皆不完整，眉毛和睫毛处等脸部的细节模糊。

参见图4(a)，图4(a)是用本发明对图4(b)进行图像增强的结果图，对比图4(b)和图4(a)可见：本发明得到的实验增强结果图的对比度相较于原图有明显提高；头发与脸部的额顶边缘轮廓、头发与背景的轮廓相较于原图在完整性上有明显提高；眉毛和睫毛处等脸部的细节相较于原图在清晰程度上有明显提高。

图中的区别是从人眼的视觉分辨出的区别，实验的数据还可以从表1中得到更细化的客观评价。

表1给出本发明与现有技术的实验客观参数

表1.现有方法与本发明的客观评价指标对比表

参见表1，均方误差指数越小表明图像越稳定、边缘保护指数越小表明图像边缘保护的越好、峰值信噪比越大说明图像细节信息和噪声的比值越大、结构相似度越大说明图像结构保护的越好、信息熵越大说明图像细节信息越多。现有方法对整体结构的破坏较大，根据实验得到的客观质量评价指标边缘保护指数，结构相似度也验证了现有技术的这一不足，现有方法对细节的丢失和受的噪声的干扰较大，根据实验得到的客观质量评价指标信息熵，均方误差，峰值信噪比也验证了现有技术的这一不足。

无论是从肉眼直觉还是从客观数据都证明了本发明方法相较于现有方法都有非常显著的提升。本发明方法在各个客观图像评价参数上均有大幅提高，在客观性评价上，可得本发明方法比现有技术有较大的进步。

简而言之，本发明公开的基于MSR理论和曝光融合的微光图像增强方法。解决了微光图像增强工程中对图像整体结构破坏和过度增强等技术问题。实现步骤为：(1)输入原图，把原图图像从RGB空间转化到HSV空间，并提出原图V分量；(2)采用基于MSR理论的局部细节处理算子处理V分量得到细节处理图(3)采用基于引导滤波理论的整体结构保持算子处理V分量得到结构处理图；(4)调用原图V分量并把它定义为校正处理图；(5)采用曝光融合法合并3幅处理图，得到增强结果图像。(6)将增强结果图从HSV空间转化到RGB空间进行显示，得到增强结果显示图。本发明的使用基于信息熵的区域细节丰富度来准确衡量图像局部的细节丰富程度并根据区域细节丰富度来自适应计算3个不同的高斯核的权值，并结合曝光融合法以合并3个处理图，得到增强结果图。本发明在微光图像增强的同时兼顾图像细节增强、结构与亮度保持。本发明可以应用于遥感、军事、工业、医学等领域中。

Claims (5)

1.一种基于MSR和曝光融合的微光图像增强方法，其特征在于，包括有如下步骤：

步骤1.输入微光图像，将图像从RGB空间转化到HSV空间并提取出原图V分量；

步骤2.采用基于MSR理论的局部细节处理算子处理V分量得到细节处理图：将原图V分量均分为N块，定义一个衡量每块细节丰富程度的区域细节丰富度r，通过计算原图V分量每i块的信息熵来衡量每块的信息丰富程度；根据区域细节丰富度来自适应计算MSR的3个不同高斯核的权值；根据MSR理论，3个不同高斯核分别卷积每块原图V分量后相加得到原图V分量每块的入射光分量，利用局部细节处理算子得到原图V分量每块的反射光分量，将原图V分量每块的反射光分量依次求出，得到原图V分量全图的细节处理图C₁；

步骤3.采用基于引导滤波理论的整体结构保持算子处理V分量得到结构处理图：将原图V分量同时做为引导图像和输入待滤波图像，利用引导滤波公式计算得到引导滤波处理的输出图像，即为结构处理图C₂；

步骤4.调用原图V分量并把它定义为校正处理图C₃；

步骤5.采用曝光融合法合并3幅处理图，得到增强结果图像：分别用细节处理图、结构处理图、校正处理图三幅处理图对应的像素的值与原图OSTU阈值的二维高斯函数计算三幅处理图相应像素点的融合权值；遍历全图得到融合权值图；构建3个处理图的拉普拉斯金字塔与相对应归一化融合权值图的高斯金字塔，将3幅处理图的拉普拉斯金字塔进行每层加权相加，得到重构图像的拉普拉斯金字塔，使用重构图像的拉普拉斯金字塔得到初步增强结果图，得到初步增强结果图；将初步增强结果图进行亮度保持处理，得到增强结果图；

步骤6.将增强结果图从HSV空间转化到RGB空间进行显示，得到显示图。

2.根据权利要求1所述的基于MSR和曝光融合的微光图像增强方法，其特征在于，步骤2中所述的采用基于MSR理论的局部细节处理算子处理原图得到细节处理图，包括有如下步骤：

2.1把原图图像从RGB空间转化到HSV空间，并提出原图V分量I_V；

2.2将原图V分量均分N块，N是分块总数,N＝4；

2.3定义一个衡量每块细节丰富程度的概念，即区域细节丰富度r_i，计算原图V分量每块的区域细节丰富度：

2.3a计算原图V分量第i块的信息熵S_i；

2.3b按照区域细节丰富度计算公式，计算原图V分量第i块的区域细节丰富度r_i：

2.4按照高斯核自适应权值公式，计算原图V分量第i块的3个高斯核σ_min＝15,σ_mid＝80,σ_max＝250的权值w_ij：

2.5计算原图V分量第i块的入射光分量I_i(x,y)；

2.6根据MSR理论，计算原图V分量第i块的反射光分量R_i(x,y)；

2.7将原图V分量每块的反射光分量依次求出，得到原图V分量全图的细节处理图C₁。

3.根据权利要求2所述的基于MSR和曝光融合的微光图像增强方法，其特征在于，步骤2.3b中所述的区域细节丰富度计算公式：

其中，r_i为原图V分量第i块的区域细节丰富度，S_i为原图V分量第i块的信息熵，

为原图V分量整体的信息熵。

4.根据权利要求2所述的基于MSR和曝光融合的微光图像增强方法，其特征在于，步骤2.4中所述的高斯核自适应权值公式：

其中，w_imin为原图V分量第i块的高斯核σ_min的权值，w_imid为原图V分量第i块的高斯核σ_mid的权值，w_imax为原图V分量第i块的高斯核σ_max的权值，r_i为原图V分量第i块的区域细节丰富度。

5.根据权利要求1所述的基于MSR和曝光融合的微光图像增强方法，其特征在于，步骤5中所述的采用曝光融合法合并3幅处理图，得到增强结果图像包括有如下：

5.1用二维高斯函数计算不同处理图的融合权值图，不同处理图分别为细节处理图，结构处理图、校正处理图，得到3幅处理图各自对应的融合权值矩阵图；

5.2对3幅不同的融合权值矩阵图进行归一化处理，即3幅处理图对应像素点的融合权值矩阵值相加总和为1；

5.3按照高斯金字塔规则，构建3个归一化后的融合权值图的高斯金字塔；

5.4按照拉普拉斯金字塔规则，构建3个处理图拉普拉斯金字塔；

5.5对三幅处理图的拉普拉斯金字塔进行融合：将3幅处理图的拉普拉斯金字塔进行每层加权相加，得到重构图像的拉普拉斯金字塔，使用重构图像的拉普拉斯金字塔得到初步增强结果图；

5.6将初步增强结果图进行亮度保持处理，得到增强结果图。

Images