CN110428389A - 基于msr理论和曝光融合的微光图像增强方法 - Google Patents
基于msr理论和曝光融合的微光图像增强方法 Download PDFInfo
- Publication number
- CN110428389A CN110428389A CN201910632491.4A CN201910632491A CN110428389A CN 110428389 A CN110428389 A CN 110428389A CN 201910632491 A CN201910632491 A CN 201910632491A CN 110428389 A CN110428389 A CN 110428389A
- Authority
- CN
- China
- Prior art keywords
- component
- original image
- image
- details
- piece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000004927 fusion Effects 0.000 title claims description 29
- 238000012545 processing Methods 0.000 claims abstract description 107
- 230000002708 enhancing effect Effects 0.000 claims abstract description 61
- 238000012937 correction Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 21
- 230000003044 adaptive effect Effects 0.000 claims abstract description 17
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 16
- 238000002156 mixing Methods 0.000 claims description 34
- 238000010586 diagram Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 5
- 239000010931 gold Substances 0.000 claims description 5
- 229910052737 gold Inorganic materials 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 239000003814 drug Substances 0.000 abstract description 5
- 238000002474 experimental method Methods 0.000 description 19
- 238000011160 research Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 210000004209 hair Anatomy 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000003702 image correction Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000720 eyelash Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 101100493820 Caenorhabditis elegans best-1 gene Proteins 0.000 description 1
- 238000005267 amalgamation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于MSR理论和曝光融合的微光图像增强方法,解决了微光图像增强中对图像整体结构破坏和过度增强等问题。实现步骤为:输入原图并提出原图V分量;用局部细节处理算子处理V分量得到细节处理图;用整体结构保持算子处理V分量得到结构处理图;用原图V分量定义为校正处理图;采用曝光融合法合并三幅处理图得到增强结果图;从HSV空间转到RGB空间显示得到增强结果图。本发明用基于信息熵的区域细节丰富度准确衡量图像细节丰富程度并根据区域细节丰富度来自适应计算3个不同的高斯核权值,结合曝光融合法合并3个处理图。本发明在微光图像增强的同时兼顾图像细节增强、结构与亮度保持。可以应用于遥感、军事、工业、医学等领域中。
Description
技术领域
本发明属于图像处理技术领域,更进一步涉及微光图像处理技术领域中的图像增强,具体是一种基于MSR(Multi-scale Retinex,多尺度Retinex)理论和曝光融合的微光图像增强方法。本发明可以对遥感、军事、工业、医学等领域中获得的微光图像进行对比度增强处理。
背景技术
随着信息技术的不断发展,数字图像已成为人类获取信息的一种重要手段,广泛应用于通信、军事、医学等领域。微光环境是比较常见的拍摄环境,夜晚或者阴雨天,甚至在背光环境下拍摄的照片都具有微光的特点。使用MSR理论可以有效地解决微光图像中细节丢失、对比度较低、颜色失真严重并且容易受到噪声的干扰等问题。曝光融合可以将多个图像合并创建单个图像,同时仅保留正确曝光的元素,因此研究MSR理论和曝光融合的结合可以使微光图像满足工业应用、科研、日常生活等需求。
Ming-Chih Hsu等人在其发表的论文“Retinex Image Enhancement Based onExposure Fusion(2018 3rd International Conference on Intelligent GreenBuilding and Smart Grid(IGBSG))”中提出了一种基于retinex理论和曝光融合的图像增强方法,该方法的实现过程是:使用局部处理器和全局处理器并通过曝光融合法合并结果图。该系统存在的不足之处是:在其局部处理器中,不能根据局部细节的丰富程度来调整高斯核的权值,在全局处理器中,对整体结构破坏较大。
西安电子科技大学的李勇在其2018年硕士毕业论文《基于Retinex理论的低照度图像增强算法研究与实现》中提出了一种自适应权值的多尺度Retinex图像增强新算法,该方法的实现过程为:将图像分块,并根据图像的区域特性计算尺度参数,在子块内部采用自适应权值的MSR算法,并对增强结果进行了亮度保持,避免了过度增强。该方法存在的不足之处是:在细节处理过程中没有兼顾结构处理,导致结构破坏较为严重。
西安电子科技大学的李锦等人在其发表的论文“LI Jin;WANG Junping;WANGuoting;LI Ziyang;XU Dan;CAO Honghua;ZHANG Guangyan.Novel algorithm for imageenhancement with histogram equalization and MSRCR[J].J4,2014,41(3):103-109.”中提出了一种结合直方图均衡化(HE)和多尺度Retinex彩色恢复(MSRCR)算法的彩色图像增强方法,该方法的实现过程为:为提取集成电路(IC)真实缺陷形貌图的缺陷特征,将图像先分别进行HE增强和MSRCR增强,然后按照一定的图像融合规则进行加权融合。该方法存在的不足之处是:其主要应用于提取集成电路真实缺陷形貌图的缺陷特征,应用范围较窄,在进行MSRCR处理时,不能衡量局域的细节丰富程度,不能根据局部细节的丰富程度来调整高斯核的权值,不能在细节增强过程中同时进行图像整体结构和图像亮度的保持。
总之,现有技术中对微光图像进行图像增强的过程中,在细节处理方法实现过程中不能兼顾对整体结构的保持。
发明内容
本发明的目的是针对上述现有技术的不足,提出一种细节、结构和亮度同时得到保持的基于MSR理论和曝光融合的微图像增强方法。
本发明是一种基于MSR和曝光融合的微光图像增强方法,其特征在于,包括有如下步骤:
步骤1.输入微光图像,将图像从RGB空间转化到HSV空间并提取出原图V分量;
步骤2.采用基于MSR理论的局部细节处理算子处理V分量得到细节处理图:将原图V分量均分为N块,定义一个衡量每块细节丰富程度的区域细节丰富度r,通过计算原图V分量每i块的信息熵来衡量每块的信息丰富程度;根据区域细节丰富度来自适应计算MSR的3个不同高斯核的权值;根据MSR理论,3个不同高斯核分别卷积每块原图V分量后相加得到原图V分量每块的入射光分量,利用局部细节处理算子得到原图V分量每块的反射光分量,将原图V分量每块的反射光分量依次求出,得到原图V分量全图的细节处理图C1;
步骤3.采用基于引导滤波理论的整体结构保持算子处理V分量得到结构处理图:将原图V分量同时做为引导图像和输入待滤波图像,利用引导滤波公式计算得到引导滤波处理的输出图像,即为结构处理图C2;
步骤4.调用原图V分量并把它定义为校正处理图C3;
步骤5.采用曝光融合法合并3幅处理图,得到增强结果图像:分别用细节处理图、结构处理图、校正处理图三幅处理图对应的像素的值与原图OSTU阈值的二维高斯函数计算三幅处理图相应像素点的融合权值;遍历全图得到融合权值图;构建3个处理图的拉普拉斯金字塔与相对应归一化融合权值图的高斯金字塔,将3幅处理图的拉普拉斯金字塔进行每层加权相加,得到重构图像的拉普拉斯金字塔,使用重构图像的拉普拉斯金字塔得到初步增强结果图,得到初步增强结果图;将初步增强结果图进行亮度保持处理,得到增强结果图;
步骤6.将增强结果图从HSV空间转化到RGB空间进行显示,得到显示图。
本发明针对不同图像自身的特点,可以自适应的获得不同区域的细节丰富度和不同区域的高斯核权值。
本发明与现有的技术相比具有以下优点:
第一,由于本发明中用提出了一个衡量区域细节丰富程度的概念,可根据信息熵来衡量图像各区域的细节丰富程度,可自适应计算不同高斯核的权值,克服了现有方法中用基本的高斯核权值计算图像的入射光分量,不能根据图像各区域的细节丰富程度改变不同高斯核的权值而导致原图像局部细节信息丢失严重的问题,使得本发明在处理微光图像的时能够实现对不同区域的自适应计算不同的高斯核的权值,使得细节处理结果对比度更高。
第二,由于本发明在增强微光图像的同时采用引导滤波来保持图像的整体结构,克服了现有方法中在增强微光图像细节时对整体结构的破坏较为严重的问题,使得本发明在增强微光图像细节时能够保持微光图像的整体结构,增强的到的图像的整体结构与原图像更加贴合。
第三,由于本发明采用曝光融合法合并细节处理图、结构处理图、校正处理图,得到增强结果图像,克服了现有方法中在增强微光图像时不能兼顾局部细节处理、整体结构保持、亮度校正的问题,使得本发明增强微光图像的结果图在细节上,结构上和亮度上更加符合人眼的视觉特性。
附图说明
图1是本发明的流程框图。
图2是本发明的局部细节处理算子的流程框图。
图3是本发明的曝光融合法合并3幅处理图,得到增强结果图像的流程框图。
图4是实验用图,其中图4(a)是本发明得到的结果显示图,图4(b)是本发明实验用原图。
具体实施方式
下面结合附图对本发明详细的描述。
实施例1
现代社会图像的重要性日益重要,现代社会对图像的清晰程度要求也日益增加,但由于微光环境是比较常见的拍摄环境,夜晚或者阴雨天,甚至在背光环境下拍摄的照片都具有微光的特点。微光图像存在细节不明显、对比度较低、颜色失真严重并且容易受到噪声的干扰等问题。图像应用中必须通过微光图像增强的方式改善图像质量,因此微光图像增强的研究成果将在监控系统、航拍、军事监测、遥感成像系统和智能交通系统等计算机与视觉应用领域具有广阔的应用前景。
现有技术中实现过程中对整体结构的破坏较大,在其局部处理器中,不能根据局部细节的丰富程度来调整高斯核的权值,在全局处理器中,不能保持图像的边缘轮廓,对整体结构破坏较大。本发明针对这种现状,展开了分析与研究,提出一种基于MSR和曝光融合的微光图像增强方法,参见图1,采用基于MSR理论的局部细节处理算子处理图像细节;采用基于引导滤波的整体结构保持算子处理图像整体结构;采用原图校正算子进行校正,最后将三种处理图进行曝光融合,包括有如下步骤:
步骤1.输入微光图像即原图,将图像从RGB空间转化到HSV空间并提取出原图V分量,这样的处理不改变HSV空间的H分量和S分量,可以尽可能的保持图像颜色不变,避免增强处理完的图像颜色失真。
步骤2.采用基于MSR理论的局部细节处理算子处理V分量得到细节处理图:参见图2,将原图V分量均分为N块,本例中N可以为任何正整数。图像不同块的细节丰富程度是不一样的,需要用的3个不同高斯核的权值也是不一样的,因此本发明定义一个衡量每块细节丰富程度的概念区域细节丰富度r,通过计算原图V分量每块的信息熵来衡量第i块的信息丰富程度即区域细节丰富度ri。本发明根据区域细节丰富度来自适应计算MSR理论的3个不同高斯核的权值;根据MSR理论,3个不同高斯核分别卷积每块原图V分量后相加得到原图V分量每块的入射光分量,利用局部细节处理算子得到原图V分量每块的反射光分量,将原图V分量每块的反射光分量依次求出,得到原图V分量全图的细节处理图C1,这样的处理根据区域的细节丰富度准确的调整不同高斯核的权值,尽可能的保留图像细节和去除噪声。
步骤3.采用基于引导滤波理论的整体结构保持算子处理V分量得到结构处理图:引导滤波处理后的输出图会保持与输入带滤波图像相同的细节和与引导图像相同的梯度即轮廓结构,因此将原图V分量同时做为引导图像和输入待滤波图像,利用引导滤波公式计算得到引导滤波处理的输出图像,即为结构处理图C2,这样的处理能够保持原图整体的结构。
步骤4.调用原图V分量并把它定义为校正处理图C3:校正处理图在步骤5中用于校正细节、结构和亮度,这样的处理能够补充细节处理图丢失的细节和结构处理图破坏的结构以及提供原图V分量亮度的校正。
步骤5.采用曝光融合法合并3幅处理图,得到增强结果图像:参见图3,依据像素值在越接近的OSTU阙值时曝光越恰当,权值越大的原则,分别用细节处理图、结构处理图、校正处理图三幅处理图对应的像素的值与原图OSTU阈值的二维高斯函数计算三幅处理图相应像素点的融合权值。遍历3幅处理图全图得到3幅处理图相对应的融合权值图。构建3个处理图的拉普拉斯金字塔与相对应归一化融合权值图的高斯金字塔,将3幅处理图的拉普拉斯金字塔进行每层加权相加,得到重构图像的拉普拉斯金字塔,使用重构图像的拉普拉斯金字塔得到初步增强结果图,得到初步增强结果图;将初步增强结果图进行亮度保持处理,得到增强结果图。
步骤6.将增强结果图从HSV空间转化到RGB空间进行显示,得到增强后的显示图。
本发明的思路是:先对原图进行局部细节处理得到细节处理图,同时原图进行结构处理得到结构处理图,再将原图作为原图校正图,然后用曝光融合法合并细节处理图、结构处理图和原图校正图合并成增强结果图像。
本发明采用曝光融合法合并细节处理图、结构处理图、校正处理图,形成一个整体的技术方案,得到增强结果图像。克服了现有方法中在增强微光图像时不能兼顾局部细节处理、整体结构保持、亮度校正的问题,使得本发明增强微光图像的结果图在细节上,结构上和亮度上更加符合人眼的视觉特性,使增强图像的细节、结构和亮度同时得到保持。
实施例2
基于MSR和曝光融合的微光图像增强方法同实施例1,本发明步骤2中所述的采用基于MSR理论的局部细节处理算子处理原图得到细节处理图,具体包括有如下步骤:
2.1把原图图像从日常的三原色RGB空间转化到HSV空间,并提出原图V分量IV,V分量是明度分量,包涵原图全部细节。
2.2将原图V分量进行分块,分为N块,N是分块总数,N为任意正整数,本例中,N=6。
2.3本发明定义一个衡量每块细节丰富程度的概念,即区域细节丰富度r,计算原图V分量第i块的区域细节丰富度ri。
2.3a信息熵衡量图像细节信息的丰富程度,因此计算原图V分量第i块的信息熵Si,公式如下:
其中,Si为第i块原图V分量的信息熵,n为图像像素值范围,m为像素值,pm为原图V分量中像素灰度值为m的概率。
2.3b按照区域细节丰富度计算公式,计算原图V分量第i块的区域细节丰富度ri。
2.4按照高斯核自适应权值公式,计算原图V分量每块的3个高斯核σmin=15,σmid=80,σmax=250的权值wij,i∈[1,N],j∈(min,mid,max)。
2.5计算原图V分量每块的入射光分量Ii(x,y),i∈[1,N]。
Ii(x,y)=IVi(x,y)*σj,j∈(min,mid,max),i∈[1,N]
其中,Ii(x,y)是第i块原图V分量坐标为(x,y)的入射光分量值,IVi(x,y)是坐标为(x,y)第i块原图V分量的像素值,σj,j∈(min,mid,max)是3个不同的高斯核。
2.6根据MSR理论,计算原图V分量第i块的反射光分量Ri(x,y)。
其中,Ri(x,y)是第i块原图V分量坐标为(x,y)的反射光分量值,wij是第i块原图V分量的第j个高斯核权值,IVi(x,y)是坐标为(x,y)第i块原图V分量的像素值,ΔCF为幅度补偿常数,为避免对数函数在像素值为0处的信息丢失,Ii(x,y)是第i块原图V分量坐标为(x,y)的入射光分量值。
2.7将原图V分量每块的反射光分量依次由步骤2.6算出,得到原图V分量全图的细节处理图C1。
其中,C1为细节处理图,Ri是第i块原图V分量的反射光分量。N是原图V分量分块总数。
本发明提出的细节处理算子处理微光图像的时能够实现对不同区域的自适应计算3个不同的高斯核的权值,使得细节处理结果对比度更高。
实施例3
基于MSR和曝光融合的微光图像增强方法同实施例1-2,对于一幅图像,依据局部特性可以分为细节丰富区域和细节非丰富区域,在细节丰富区域,细节较多,信息熵较高,边缘较多,像素之间的差别很大,变化剧烈,很难观察到噪声。而在细节非丰富区域,细节较少,较容易的观察到小的像素值之间的差异,噪声的可见性较高。本发明为了准确区分细节丰富区域和细节非丰富区域,因此采用区域细节丰富度计算公式来进行计算以区分细节丰富区域和细节非丰富区域。
步骤2.3b中所述的区域细节丰富度计算公式:
其中,ri为原图V分量第i块的区域细节丰富度,Si为原图V分量第i块的信息熵,N为原图V分量的分块总数,为原图V分量整体的信息熵。
本发明通过不断的实验总结分析得出区域细节丰富度的计算公式,采用信息熵为基础指标能够准确的衡量细节的丰富程度,因此用信息熵为基础的区域细节丰富度的计算公式能够准确的调整3个不同高斯核的权值。
实施例4
基于MSR和曝光融合的微光图像增强方法同实施例1-3,越小高斯核对图像细节的损失就越小,但对降噪效果也越差。因此本发明寻求一个最佳方案,为了简化计算,提高计算速度,本发明对高斯核σmid的权值保持最佳1/3不变,只自适应计算最小和最大的两个高斯核σmin,σmax的权值,使其3个不同高斯核的权值之和为1,步骤2.4中所述的高斯核自适应权值公式分别为:
其中,wimin为原图V分量第i块的高斯核σmin的权值,wimid为原图V分量第i块的高斯核σmid的权值,wimax为原图V分量第i块的高斯核σmax的权值,ri为原图V分量第i块的区域细节丰富度。本例中具体3个不同的高斯核的取值分别是σmin=15,σmid=80,σmax=250,这是本发明在实验中获得的最佳高斯核取值,在每一个不同的方法中,也是可以改变的,但其权值遵循上述公式来确定。
本发明根据区域细节丰富度来计算3个不同高斯核的权值且运算量较少,可以根据区域的细节丰富程度来准确的调整3个不同高斯核的权值。
实施例5
基于MSR和曝光融合的微光图像增强方法同实施例1-4,步骤5中所述的采用曝光融合法合并3幅处理图,参见图3,得到增强结果图像包括有如下:
5.1用二维高斯函数计算不同处理图的融合权值图,不同处理图分别为细节处理图,结构处理图、校正处理图,得到3幅处理图各自对应的融合权值矩阵图wk。
其中,Ck是第k幅处理图,k∈[1,3],1-3分别表示细节处理图、结构处理图、原图校正图;X是原图的OSTU阙值,σw是尺度参数,根据大量实验数据得知,本例中取为0.2。
5.2对3幅不同的融合权值矩阵图进行归一化处理,即3幅处理图对应像素点的融合权值矩阵的数值相加总和为1。
其中,Wk是归一化后第k幅处理图相对应的融合权值矩阵图,wk是第k幅融合权值矩阵图,k∈[1,3],k为3幅融合权值矩阵图的序号。
5.3按照高斯金字塔规则,构建3个归一化后的融合权值图的高斯金字塔。
5.3a将3个归一化后的融合权值矩阵图作为相对应的高斯金字塔的底层Gl。
5.3b将高斯金字塔此层的偶数行和列去除,只保留奇数行和列,得到高斯金字塔初步下层。
5.3c将高斯金字塔初步下层进行尺寸为5*5的高斯内核卷积,得到高斯金字塔下层,以此类推,得到融合权值矩阵图4层的高斯金字塔。
5.4按照5.3高斯金字塔规则,构建3个处理图的4层高斯金字塔,3个处理图的高斯金字塔按照如下规则构建相对应的3个处理图的拉普拉斯金字塔。
5.4a将第l层高斯金字塔Gl,l∈[0,3]的行数和列数乘2,奇数行和列填充高斯金字塔Gl的行列数值,偶数行和列填充为0,并卷积4倍的高斯金字塔相同5*5高斯内核得到高斯金字塔内插放大图像
5.4b按照下式构建拉普拉斯金字塔。
LPl=Gl,l=3
其中LPl是第l层的拉普拉斯金字塔,Gl是第l层的高斯金字塔,是第l层高斯金字塔内插放大图像。
5.5对三幅处理图的拉普拉斯金字塔进行融合:将3幅处理图的拉普拉斯金字塔进行每层加权相加,得到重构图像的拉普拉斯金字塔,使用重构图像的拉普拉斯金字塔得到初步增强结果图。
5.6按照亮度保持公式,将初步增强结果图进行亮度保持处理,得到增强结果图。
本发明采用曝光融合法合并细节处理图、结构处理图、校正处理图,得到增强结果图像,使得本发明能够保留3幅处理图的优点,并且增强微光图像的结果图在细节上,结构上和亮度上更加符合人眼的视觉特性。
实施例6
基于MSR和曝光融合的微光图像增强方法同实施例1-5,亮度保持避免过度增强问题,步骤5.6中所述的亮度保持公式:
其中,B是亮度保持后输出增强结果图,T是初步增强结果图,f是原图V分量,fmin,fmax分别是是原图V分量的最小值和最大值。
本发明在处理微光图像局部细节和保持图像整体结构之后进行亮度保持处理,以避免因图像的过度增强而导致的颜色失真和细节不清晰等问题。
下面给出一个结合实验的例子,对本发明的技术方案进一步说明
实施例7
基于MSR和曝光融合的微光图像增强方法同实施例1-6,具体步骤如下:
步骤1.输入任一微光图像,将图像从日常所用的RGB空间转化到科研常用的HSV空间并提取出HSV空间中代表明度的原图V分量。
步骤2.采用基于MSR理论的局部细节处理算子处理V分量得到细节处理图:将原图V分量均分为N块,理论上块数N越大,图像细节处理后对比度提升越高,但是运算效率就会较差,本发明通过大量实验与分析总结得到,N=4时处理效果与运算效率都较优良,因此本实例中N=4;为达到准确衡量每块的细节丰富程度目的,需定义一个衡量每块细节丰富程度的概念区域细节丰富度r,通过计算原图V分量第i块的信息熵来衡量第i块的信息丰富程度即区域细节丰富度ri,i∈[1,4]。根据区域细节丰富度来自适应计算MSR理论的3个不同高斯核的权值。又根据MSR理论,3个不同高斯核分别卷积每块原图V分量后相加得到原图V分量每块的入射光分量,利用局部细节处理算子得到原图V分量每块的反射分量,将原图V分量每块的反射分量依次算出,得到原图V分量全图的细节处理图C1。
得到细节处理图,具体包括有如下步骤:
2.1把原图图像从RGB空间转化到HSV空间,并提出原图V分量IV。
2.2将原图V分量进行分块,分为N块,N是分块总数,本例中,N=4。
2.3本发明定义一个衡量第i块细节丰富程度的概念,即区域细节丰富度ri,然后计算原图V分量第i块的区域细节丰富度ri。
2.3a信息熵是图像细节信息的丰富程度的准确度量化变量,因此计算原图V分量第i块的信息熵Si。
其中,Si为第i块图像的信息熵,n为图像像素值范围,m为像素值,pm为原图V分量中像素灰度值为m的概率。
2.3b按照区域细节丰富度计算公式,计算原图V分量第i块的区域细节丰富度ri。
其中,ri为原图V分量第i块的区域细节丰富度,Si为原图V分量第i块的信息熵,N为原图V分量的分块总数,为原图V分量整体的信息熵。
2.4按照高斯核自适应权值公式,计算原图V分量第i块的3个高斯核(σmin=15,σmid=80,σmax=250)的权值wij,j∈(min,mid,max)。
其中,wimin为原图V分量第i块的高斯核σmin的权值,wimid为原图V分量第i块的高斯核σmid的权值,wimax为原图V分量第i块的高斯核σmax的权值,ri为原图V分量第i块的区域细节丰富度。本实例中,具体3个高斯核的取值分别是σmin=15,σmid=80,σmax=250。
2.5计算原图V分量第i块的入射光分量Ii(x,y)。
Ii(x,y)=IVi(x,y)*σj,j∈(min,mid,max),i∈[1,4]
其中,Ii(x,y)是第i块原图V分量坐标为(x,y)的入射光分量值,IVi(x,y)是坐标为(x,y)第i块原图V分量的像素值,σj,j∈(min,mid,max)是3个不同的高斯核。
2.6根据MSR理论:图像等于入射光分量乘反射光分量,由于二维图像矩阵进行除法运算较为复杂,本发明采用对数函数来简化运算;为避免图像像素值为0时对数函数值发生突变,本实例中引入幅度补偿常数ΔCF,经过大量实验与总结分析得知,ΔCF=4时,细节处理效果较好;计算原图V分量第i块的反射光分量Ri(x,y)。
其中,Ri(x,y)是第i块原图V分量坐标为(x,y)的反射光分量值,wij是第i块原图V分量的第j个高斯核权值,IVi(x,y)是坐标为(x,y)第i块原图V分量的像素值,ΔCF为幅度补偿常数,本实例中为5,Ii(x,y)是第i块原图V分量坐标为(x,y)的入射光分量值。
2.7将原图V分量每块的反射光分量依次由步骤2.6算出,得到原图V分量的细节处理图C1。
其中,C1为细节处理图,Ri是第i块原图V分量的反射光分量。N是原图V分量分块总数。
步骤3.采用基于引导滤波理论的整体结构保持算子处理V分量得到结构处理图:引导滤波处理后的输出图会保持与输入带滤波图像相同的细节和与引导图像相同的梯度即轮廓结构,因此引导滤波将原图V分量同时做为引导图像和输入待滤波图像,利用引导滤波公式计算得到引导滤波处理的输出图像,即为结构处理图C2。
步骤4.调用原图V分量并把它定义为校正处理图C3,原图V分量作为校正处理图在曝光融合方法中用于校正细节、结构和亮度,这样的处理能够补充细节处理图丢失的细节和结构处理图破坏的结构以及提供原图V分量亮度的校正。
步骤5.采用曝光融合法合并3幅处理图,得到增强结果图像:依据像素值在越接近的OSTU阙值时曝光越恰当,权值越大的原则,该原则与二维高斯函数特性相似,因此用分别用细节处理图、结构处理图、校正处理图三幅处理图对应的像素的值与原图OSTU阈值的二维高斯函数计算三幅处理图相应像素点的融合权值;遍历3幅处理图全图得到3幅处理图相对应的融合权值图。再依次构建3个处理图的拉普拉斯金字塔与相对应归一化融合权值图的高斯金字塔,将3幅处理图的拉普拉斯金字塔进行每层加权相加,以得到重构图像的拉普拉斯金字塔,使用重构图像的拉普拉斯金字塔得到初步增强结果图,得到初步增强结果图;将初步增强结果图进行亮度保持处理,得到增强结果图。
5.1用二维高斯函数计算不同处理图的融合权值图,不同处理图分别为细节处理图,结构处理图、校正处理图,得到3幅处理图各自对应的融合权值矩阵图wk。
其中,Ck是第k幅处理图,k∈[1,3](1-3分别表示细节处理图,结构处理图,原图校正图),X是原图的OSTU阙值,根据大量实验数据得知,σw是尺度参数,本例中为0.2。
5.2对3幅不同的融合权值矩阵图进行归一化处理,即让3幅处理图对应像素点的融合权值矩阵的数值相加总和为1。
其中,Wk是归一化后第k幅融合权值矩阵图,wk是第k幅融合权值矩阵图,k∈[1,3],1-3分别表示细节处理图,结构处理图,原图校正图。
5.3按照高斯金字塔规则,依次构建3个归一化后的融合权值图的高斯金字塔。
5.3a将3个归一化后的融合权值矩阵图作为相对应的高斯金字塔的底层Gl。
5.3b将高斯金字塔此层的偶数行和列去除,只保留奇数行和列,得到高斯金字塔初步下层。
5.3c将高斯金字塔初步下层进行尺寸为5*5的高斯内核卷积,得到高斯金字塔下层,以此类推,得到融合权值矩阵图4层的高斯金字塔。
5.4按照5.3高斯金字塔规则,构建3个处理图的4层高斯金字塔,3个处理图的高斯金字塔按照如下规则构建3个相对应处理图的拉普拉斯金字塔。
5.4a将高斯金字塔Gl,l∈[0,3]的行数和列数乘2,奇数行和列填充高斯金字塔Gl的行列数值,偶数行和列填充为0,并卷积4倍的高斯金字塔相同5*5高斯内核得到高斯金字塔内插放大图像
5.4b按照下式构建拉普拉斯金字塔。
LPl=Gl,l=3
其中LPl是第l层的拉普拉斯金字塔,Gl是第l层的高斯金字塔,是第l层高斯金字塔内插放大图像。
5.5对三幅处理图的拉普拉斯金字塔进行融合:将3幅处理图的拉普拉斯金字塔进行每层加权相加,得到重构图像的拉普拉斯金字塔,使用重构图像的拉普拉斯金字塔得到初步增强结果图。
5.6按照亮度保持公式,将初步增强结果图进行亮度保持处理,得到增强结果图。
步骤6.将增强结果图从HSV空间转化到RGB空间进行显示,得到增强结果显示图。
本例中显示图参见图4(a)。由于本发明的方法在图像增强的过程中能够同时兼顾微光图像的细节增强、结构与亮度保持,因此本发明的方法可以对遥感、军事、工业、医学等领域中获得的微光图像进行对比度增强处理。
下面结合实验和数据对发明的技术效果再做说明
实施例8
基于MSR和曝光融合的微光图像增强方法同实施例1-7,
实验条件:实验的编程软件为Matlab R2018a。
实验内容:实验中所使用两种现有技术作为与本发明进行效果对比:
一种是自适应权值的Retinex图像增强方法,参考文献为西安电子科技大学李勇硕士毕业论文《基于Retinex理论的低照度图像增强算法研究与实现》。
另一种是基于曝光融合的Retinex图像增强方法,参考文献为“Retinex ImageEnhancement Based on Exposure Fusion(2018 3rd International Conference onIntelligent Green Building and Smart Grid(IGBSG))”。
实验用原图为图4(b),增强结果图为图4(a)。
表1给出本发明与现有技术的实验客观参数。
实验结果与分析:
参见图4(b),图4(b)是本发明的实验用原图,图为一位女子的微光图像,该图对比度较低,头发与脸部靠近额顶边缘轮廓、头发与背景的轮廓皆不完整,眉毛和睫毛处等脸部的细节模糊。
参见图4(a),图4(a)是用本发明对图4(b)进行图像增强的结果图,对比图4(b)和图4(a)可见:本发明得到的实验增强结果图的对比度相较于原图有明显提高;头发与脸部的额顶边缘轮廓、头发与背景的轮廓相较于原图在完整性上有明显提高;眉毛和睫毛处等脸部的细节相较于原图在清晰程度上有明显提高。
图中的区别是从人眼的视觉分辨出的区别,实验的数据还可以从表1中得到更细化的客观评价。
表1给出本发明与现有技术的实验客观参数
表1.现有方法与本发明的客观评价指标对比表
参见表1,均方误差指数越小表明图像越稳定、边缘保护指数越小表明图像边缘保护的越好、峰值信噪比越大说明图像细节信息和噪声的比值越大、结构相似度越大说明图像结构保护的越好、信息熵越大说明图像细节信息越多。现有方法对整体结构的破坏较大,根据实验得到的客观质量评价指标边缘保护指数,结构相似度也验证了现有技术的这一不足,现有方法对细节的丢失和受的噪声的干扰较大,根据实验得到的客观质量评价指标信息熵,均方误差,峰值信噪比也验证了现有技术的这一不足。
无论是从肉眼直觉还是从客观数据都证明了本发明方法相较于现有方法都有非常显著的提升。本发明方法在各个客观图像评价参数上均有大幅提高,在客观性评价上,可得本发明方法比现有技术有较大的进步。
简而言之,本发明公开的基于MSR理论和曝光融合的微光图像增强方法。解决了微光图像增强工程中对图像整体结构破坏和过度增强等技术问题。实现步骤为:(1)输入原图,把原图图像从RGB空间转化到HSV空间,并提出原图V分量;(2)采用基于MSR理论的局部细节处理算子处理V分量得到细节处理图(3)采用基于引导滤波理论的整体结构保持算子处理V分量得到结构处理图;(4)调用原图V分量并把它定义为校正处理图;(5)采用曝光融合法合并3幅处理图,得到增强结果图像。(6)将增强结果图从HSV空间转化到RGB空间进行显示,得到增强结果显示图。本发明的使用基于信息熵的区域细节丰富度来准确衡量图像局部的细节丰富程度并根据区域细节丰富度来自适应计算3个不同的高斯核的权值,并结合曝光融合法以合并3个处理图,得到增强结果图。本发明在微光图像增强的同时兼顾图像细节增强、结构与亮度保持。本发明可以应用于遥感、军事、工业、医学等领域中。
Claims (5)
1.一种基于MSR和曝光融合的微光图像增强方法,其特征在于,包括有如下步骤:
步骤1.输入微光图像,将图像从RGB空间转化到HSV空间并提取出原图V分量;
步骤2.采用基于MSR理论的局部细节处理算子处理V分量得到细节处理图:将原图V分量均分为N块,定义一个衡量每块细节丰富程度的区域细节丰富度r,通过计算原图V分量每i块的信息熵来衡量每块的信息丰富程度;根据区域细节丰富度来自适应计算MSR的3个不同高斯核的权值;根据MSR理论,3个不同高斯核分别卷积每块原图V分量后相加得到原图V分量每块的入射光分量,利用局部细节处理算子得到原图V分量每块的反射光分量,将原图V分量每块的反射光分量依次求出,得到原图V分量全图的细节处理图C1;
步骤3.采用基于引导滤波理论的整体结构保持算子处理V分量得到结构处理图:将原图V分量同时做为引导图像和输入待滤波图像,利用引导滤波公式计算得到引导滤波处理的输出图像,即为结构处理图C2;
步骤4.调用原图V分量并把它定义为校正处理图C3;
步骤5.采用曝光融合法合并3幅处理图,得到增强结果图像:分别用细节处理图、结构处理图、校正处理图三幅处理图对应的像素的值与原图OSTU阈值的二维高斯函数计算三幅处理图相应像素点的融合权值;遍历全图得到融合权值图;构建3个处理图的拉普拉斯金字塔与相对应归一化融合权值图的高斯金字塔,将3幅处理图的拉普拉斯金字塔进行每层加权相加,得到重构图像的拉普拉斯金字塔,使用重构图像的拉普拉斯金字塔得到初步增强结果图,得到初步增强结果图;将初步增强结果图进行亮度保持处理,得到增强结果图;
步骤6.将增强结果图从HSV空间转化到RGB空间进行显示,得到显示图。
2.根据权利要求1所述的基于MSR和曝光融合的微光图像增强方法,其特征在于,步骤2中所述的采用基于MSR理论的局部细节处理算子处理原图得到细节处理图,包括有如下步骤:
2.1把原图图像从RGB空间转化到HSV空间,并提出原图V分量IV;
2.2将原图V分量均分N块,N是分块总数(N=4);
2.3定义一个衡量每块细节丰富程度的概念,即区域细节丰富度ri,计算原图V分量每块的区域细节丰富度:
2.3a计算原图V分量第i块的信息熵Si;
2.3b按照区域细节丰富度计算公式,计算原图V分量第i块的区域细节丰富度ri:
2.4按照高斯核自适应权值公式,计算原图V分量第i块的3个高斯核σmin=15,σmid=80,σmax=250的权值wij:
2.5计算原图V分量第i块的入射光分量Ii(x,y);
2.6根据MSR理论,计算原图V分量第i块的反射光分量Ri(x,y);
2.7将原图V分量每块的反射光分量依次求出,得到原图V分量全图的细节处理图C1。
3.根据权利要求2所述的基于MSR和曝光融合的微光图像增强方法,其特征在于,步骤2.3b中所述的区域细节丰富度计算公式:
其中,ri为原图V分量第i块的区域细节丰富度,Si为原图V分量第i块的信息熵,为原图V分量整体的信息熵。
4.根据权利要求2所述的基于MSR和曝光融合的微光图像增强方法,其特征在于,步骤2.4中所述的高斯核自适应权值公式:
其中,wimin为原图V分量第i块的高斯核σmin的权值,wimid为原图V分量第i块的高斯核σmid的权值,wimax为原图V分量第i块的高斯核σmax的权值,ri为原图V分量第i块的区域细节丰富度。
5.根据权利要求1所述的基于MSR和曝光融合的微光图像增强方法,其特征在于,步骤5中所述的采用曝光融合法合并3幅处理图,得到增强结果图像包括有如下:
5.1用二维高斯函数计算不同处理图的融合权值图,不同处理图分别为细节处理图,结构处理图、校正处理图,得到3幅处理图各自对应的融合权值矩阵图;
5.2对3幅不同的融合权值矩阵图进行归一化处理,即3幅处理图对应像素点的融合权值矩阵值相加总和为1;
5.3按照高斯金字塔规则,构建3个归一化后的融合权值图的高斯金字塔;
5.4按照拉普拉斯金字塔规则,构建3个处理图拉普拉斯金字塔;
5.5对三幅处理图的拉普拉斯金字塔进行融合:将3幅处理图的拉普拉斯金字塔进行每层加权相加,得到重构图像的拉普拉斯金字塔,使用重构图像的拉普拉斯金字塔得到初步增强结果图;
5.6将初步增强结果图进行亮度保持处理,得到增强结果图。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2018115993994 | 2018-12-26 | ||
CN201811599399 | 2018-12-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110428389A true CN110428389A (zh) | 2019-11-08 |
CN110428389B CN110428389B (zh) | 2023-03-24 |
Family
ID=68409385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910632491.4A Active CN110428389B (zh) | 2018-12-26 | 2019-07-13 | 基于msr理论和曝光融合的微光图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110428389B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111080565A (zh) * | 2019-12-11 | 2020-04-28 | 九江学院 | 基于图像质量变化规律的曝光融合方法、设备和存储介质 |
CN111626965A (zh) * | 2020-06-04 | 2020-09-04 | 成都星时代宇航科技有限公司 | 遥感图像处理方法,装置,电子设备及存储介质 |
CN112070692A (zh) * | 2020-08-26 | 2020-12-11 | 西安理工大学 | 一种基于虚拟曝光的单幅逆光图像增强方法 |
CN112950499A (zh) * | 2021-02-24 | 2021-06-11 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113591617A (zh) * | 2021-07-14 | 2021-11-02 | 武汉理工大学 | 基于深度学习的水面小目标检测与分类方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1993023823A1 (en) * | 1992-05-15 | 1993-11-25 | David Sarnoff Research Center, Inc. | Method for fusing images and apparatus therefor |
US20090169102A1 (en) * | 2007-11-29 | 2009-07-02 | Chao Zhang | Multi-scale multi-camera adaptive fusion with contrast normalization |
CN107845128A (zh) * | 2017-11-03 | 2018-03-27 | 安康学院 | 一种多尺度细节融合的多曝光高动态图像重建方法 |
-
2019
- 2019-07-13 CN CN201910632491.4A patent/CN110428389B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1993023823A1 (en) * | 1992-05-15 | 1993-11-25 | David Sarnoff Research Center, Inc. | Method for fusing images and apparatus therefor |
US20090169102A1 (en) * | 2007-11-29 | 2009-07-02 | Chao Zhang | Multi-scale multi-camera adaptive fusion with contrast normalization |
CN107845128A (zh) * | 2017-11-03 | 2018-03-27 | 安康学院 | 一种多尺度细节融合的多曝光高动态图像重建方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111080565A (zh) * | 2019-12-11 | 2020-04-28 | 九江学院 | 基于图像质量变化规律的曝光融合方法、设备和存储介质 |
CN111080565B (zh) * | 2019-12-11 | 2023-07-18 | 九江学院 | 基于图像质量变化规律的曝光融合方法、设备和存储介质 |
CN111626965A (zh) * | 2020-06-04 | 2020-09-04 | 成都星时代宇航科技有限公司 | 遥感图像处理方法,装置,电子设备及存储介质 |
CN111626965B (zh) * | 2020-06-04 | 2021-03-16 | 成都星时代宇航科技有限公司 | 遥感图像处理方法,装置,电子设备及存储介质 |
CN112070692A (zh) * | 2020-08-26 | 2020-12-11 | 西安理工大学 | 一种基于虚拟曝光的单幅逆光图像增强方法 |
CN112070692B (zh) * | 2020-08-26 | 2023-10-20 | 西安理工大学 | 一种基于虚拟曝光的单幅逆光图像增强方法 |
CN112950499A (zh) * | 2021-02-24 | 2021-06-11 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN112950499B (zh) * | 2021-02-24 | 2023-11-28 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113591617A (zh) * | 2021-07-14 | 2021-11-02 | 武汉理工大学 | 基于深度学习的水面小目标检测与分类方法 |
CN113591617B (zh) * | 2021-07-14 | 2023-11-28 | 武汉理工大学 | 基于深度学习的水面小目标检测与分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110428389B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110428389A (zh) | 基于msr理论和曝光融合的微光图像增强方法 | |
CN110532871B (zh) | 图像处理的方法和装置 | |
CN110399929B (zh) | 眼底图像分类方法、装置以及计算机可读存储介质 | |
CN106846289B (zh) | 一种红外光强与偏振图像融合方法 | |
Hu et al. | Singular value decomposition and local near neighbors for face recognition under varying illumination | |
CN110276767A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN114119378A (zh) | 图像融合方法、图像融合模型的训练方法和装置 | |
Yan et al. | Dual-attention-guided network for ghost-free high dynamic range imaging | |
CN113191489B (zh) | 二值神经网络模型的训练方法、图像处理方法和装置 | |
Hafner et al. | Simultaneous HDR and optic flow computation | |
CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
Tan et al. | High dynamic range imaging for dynamic scenes with large-scale motions and severe saturation | |
CN114708173A (zh) | 图像融合方法、计算机程序产品、存储介质及电子设备 | |
Avcı et al. | MFIF-DWT-CNN: Multi-focus ımage fusion based on discrete wavelet transform with deep convolutional neural network | |
CN112508863B (zh) | 一种基于rgb图像和msr图像双通道的目标检测方法 | |
Singh et al. | Multiscale reflection component based weakly illuminated nighttime image enhancement | |
Le Meur et al. | From low-level perception to high-level perception: a coherent approach for visual attention modeling | |
Chen et al. | SRCBTFusion-Net: An Efficient Fusion Architecture via Stacked Residual Convolution Blocks and Transformer for Remote Sensing Image Semantic Segmentation | |
Zhou et al. | Low‐light image enhancement for infrared and visible image fusion | |
CN114549340A (zh) | 对比度增强方法、计算机程序产品、存储介质及电子设备 | |
Zhang et al. | Display method for high dynamic range infrared image based on gradient domain guided image filter | |
Li et al. | A novel edge detector for color images based on MCDM with evidential reasoning | |
Guo et al. | Face illumination normalization based on generative adversarial network | |
Yin et al. | Headdress Detection Based on Saliency Map for Thangka Portrait Image. | |
Wilson et al. | FPGA implementation of hardware efficient algorithm for image contrast enhancement using Xilinx System Generator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |