CN117611501A - 一种低照度图像增强方法、装置、设备及可读存储介质 - Google Patents
一种低照度图像增强方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN117611501A CN117611501A CN202311325729.1A CN202311325729A CN117611501A CN 117611501 A CN117611501 A CN 117611501A CN 202311325729 A CN202311325729 A CN 202311325729A CN 117611501 A CN117611501 A CN 117611501A
- Authority
- CN
- China
- Prior art keywords
- image
- weights
- original
- fusion
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000005286 illumination Methods 0.000 title claims abstract description 54
- 230000004927 fusion Effects 0.000 claims abstract description 78
- 238000012937 correction Methods 0.000 claims abstract description 71
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 48
- 238000010606 normalization Methods 0.000 claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 38
- 238000001914 filtration Methods 0.000 claims description 33
- 230000002146 bilateral effect Effects 0.000 claims description 20
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 27
- 230000000694 effects Effects 0.000 description 24
- 238000011156 evaluation Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 2
- 235000011941 Tilia x europaea Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004571 lime Substances 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种低照度图像增强方法、装置、设备及可读存储介质,涉及图像处理技术领域,包括获取第一信息,所述第一信息包括原始图像;对所述原始图像进行颜色校正,得到颜色校正图像;将所述颜色校正图像分别输入基于Retinex算法的模型和基于HSV色彩空间转化的模型,分别输出第一图像和第二图像;对所述第一图像、第二图像和原始图像分别进行归一化处理,得到归一化处理后的三个图像;对归一化处理后的三个图像进行图像融合,对图像融合所得的图像进行白平衡处理,得到最终增强图像。本发明不仅可以提高低照度图像的可视性和细节特征,更加适用于实际应用场景。为低照度图像处理提供了一种更可靠、更有效的解决方案。
Description
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种低照度图像增强方法、装置、设备及可读存储介质。
背景技术
低照度环境光线较差,图像会出现灰度值失真以及图像细节不清晰的问题,导致图像的显示效果较差,比如夜间拍摄的图像。目前的低照度图像增强方法虽然能够在保证图像清晰度的情况下进行增强操作,但现有的低照度图像增强方法引入噪声来生成光照和反射分量,增强的效果不够显著,还会导致部分图像出现色彩失真的情况。
发明内容
本发明的目的在于提供一种低照度图像增强方法、装置、设备及可读存储介质,以改善上述问题。为了实现上述目的,本发明采取的技术方案如下:
第一方面,本申请提供了一种低照度图像增强方法,包括:
获取第一信息,所述第一信息包括原始图像;
对所述原始图像进行颜色校正,得到颜色校正图像;
将所述颜色校正图像分别输入Retinex模型和HSV色彩空间转化模型,分别输出第一图像和第二图像;
分别计算所述第一图像、第二图像和原始图像的图像融合权重,所述图像融合权重包括对比度权重、饱和度权重和照度权重;
分别对第一图像、第二图像和原始图像的图像融合权重进行归一化处理,分别得到第一图像、第二图像和原始图像的归一化权重;
根据所述第一图像、第二图像和原始图像分别对应的归一化权重,并基于拉普拉斯金字塔的图像融合模型对所述第一图像、第二图像和原始图像进行图像融合,得到增强图像后的融合图像。
第二方面,本申请还提供了一种图像增强装置,包括:
第一获取模块,所述第一获取模块用于获取第一信息,所述第一信息包括原始图像;
颜色校正模块,所述颜色校正模块用于对所述原始图像进行颜色校正,得到颜色校正图像;
处理模块,所述处理模块用于将所述颜色校正图像分别输入Retinex模型和HSV色彩空间转化模型,分别输出第一图像和第二图像;
第一计算模块,所述第一计算模块用于分别计算所述第一图像、第二图像和原始图像的图像融合权重,所述图像融合权重包括对比度权重、饱和度权重和照度权重;
归一化模块,所述归一化模块用于分别对第一图像、第二图像和原始图像的图像融合权重进行归一化处理,分别得到第一图像、第二图像和原始图像的归一化权重;
图像融合模块,所述图像融合模块用于根据所述第一图像、第二图像和原始图像分别对应的归一化权重,并基于拉普拉斯金字塔的图像融合模型对所述第一图像、第二图像和原始图像进行图像融合,得到增强图像后的融合图像。
第三方面,本申请还提供了一种图像增强设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现所述增强图像方法的步骤。
第四方面,本申请还提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述基于低照度图像增强方法的步骤。
本发明的有益效果为:本发明通过将Retinex模型、HSV色彩空间转化模型和原始图像这三个支路的图像进行融合处理,从而解决了传统低照度图像增强方法导致的灰度值失真的问题,同时可以显著增强图像的细节特征,并优化图像的显示效果,提高了图像处理的效率和准确性。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的一种低照度图像增强方法流程示意图;
图2为本发明实施例中所述的一种图像增强装置结构示意图;
图3为本发明实施例中所述的一种图像增强设备结构示意图;
图4为本发明实施例中一种可对Gamma校正指数参数进行自适应选取的算法的流程图;
图5为发明实施例中所述的一种图像融合的流程示意图;
图6为本发明实施例中夜间公交图像各个算法处理结果对比;
图7为本发明实施例中夜间摩托车图像各个算法处理结果对比。
图中标记:800、图像增强设备;801、处理器;802、存储器;803、多媒体组件;804、I/O接口;805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例1:
本实施例提供了一种低照度图像增强方法。
参见图1,图中示出了本方法包括步骤S100、步骤S200、步骤S300、步骤S400、步骤S500、步骤S600。
所述步骤100包括:获取第一信息,所述第一信息包括原始图像;
其中所述原始图像例如在低照度环境下拍摄的低照度图像。
所述步骤S200包括:对所述原始图像进行颜色校正,得到颜色校正图像;
为了消除低照度图像中的色偏问题,对原始图像进行颜色校正的预处理操作。
具体操作为通过对RGB色彩空间中三个通道的像素进行拉伸来解决低照度图像的色偏问题,具体算法的公式如下所示:
式中C代表RGB三个通道,IC代表RGB色彩空间中各个通道的值,代表RGB色彩空间中各个通道中的最大值,代表各个通道中的最小值。
所述步骤S300包括:将所述颜色校正图像分别输入Retinex模型和HSV色彩空间转化模型,分别输出第一图像和第二图像;
所述步骤S300具体包括:
将所述颜色校正图像输入Retinex模型,所述Retinex模型先将所述颜色校正图像通过Retinex-DIP算法迭代后得到迭代后的图像,之后对所述迭代后的图像进行自适应Gamma校正,得到并输出第一图像;
具体先通过Retinex-DIP算法对所述颜色校正图像进行100次迭代生成增强图像;
为了提高图像的整体亮度,增强图像细节显示,本发明在基于生成的Retinex分解算法分支中将进行颜色校正后得到的颜色校正图像输入到Retinex-DIP算法中进行处理。
首先通过Retinex-DIP算法对颜色校正图像进行Retinex分解,通过生成的方式产生反射分量和光照分量,然后针对获得的光照分量进行增强。为了同时估计这两个分量并削弱彼此之间的耦合关系,通过引入随机初始化网络,将随机噪声作为输入,通过迭代生成反射分量和光照分量,随后使用调整后的照明图,通过简单的除法运算获得增强图像。
之后使用自适应的Gamma校正对图像亮度进行调整。虽然Gamma校正在图像处理中有着许多优点,然而,与Gamma校正相关的问题也不可避免地出现。具体而言,Gamma校正通常是全局性的处理,因此它在忽略不同区域特点的同时,也会导致相应区域的失真;而手动选择Gamma校正参数γ也是一项复杂的任务,需要进行多次调整以达到最佳效果,且对于水平稍低的用户而言,他们可能无法把握住参数变化对结果的影响。另外,Gamma校正也存在着一定的信息丢失问题,特别是在高灰度级区域,这些区域在被压缩的同时也会丢失信息。为解决Gamma校正存在的信息丢失、手动调参以及低照度图像照度不良的问题,因此本申请采用一种可对Gamma校正指数参数进行自适应选取的算法,该算法的具体流程如图4所示。
如图4所示,该算法基于计算亮度图的平均像素值来评估图像的明暗情况。并规定如果平均像素值大于50,则将该图像视为亮度过高,采用Gamma指数大于1的校正方法,以增加对比度并降低亮度,从而达到更佳的视觉效果。相反地,当平均像素值小于50时,将其视为亮度过低的图像,采用Gamma指数小于1的方法,以增加亮度并改善图像的对比度。这些自适应校正规则能够使得图像的明暗及其表现出来的细节更加真实、清晰。通过这种方法,能够让图像在不同的光照条件下都能有出色的表现,从而提高图像处理和分析的效率和准确性。具体的Gamma校正指数参数表达式详见下式。通过这种方法,能够让图像在不同的光照条件下都能有出色的表现,从而提高图像处理和分析的效率和准确性。
式中,γ(x,y)为Gamma校正指数参数,Lmean(x,y)为亮度通道中的平均像素值。
本申请基于图像的明暗特性进行调整,通过对Gamma校正指数参数进行自适应选取,能够应对低照度图像照度不均的问题,防止图像过度增强以及增强效果不佳等问题。
将所述颜色校正图像输入HSV色彩空间转化模型,所述HSV色彩空间转化模型先将颜色校正图像从RGB模式图像转换为HSV模式图像,之后对所述HSV模式图像的S通道进行饱和度拉伸处理、V通道进行双边滤波处理得到处理后的HSV模式图像,最后将所述处理后的HSV模式图像转换为RGB模式,得到并输出第二图像,具体如下:
首先,本申请采用HSV模式转换图像,先将颜色校正图像从RGB模式图像转换为HSV模式图像,并对S通道进行饱和度增强,同时对V通道进行高斯双边滤波增强来对低照度低照度图像进行平滑去噪处理。计算完HSV值并进行相应处理后,可以将其转换回RGB模式。通过RGB到HSV的转换,可以在两种颜色表示模式之间灵活地切换,便于实现各种颜色效果。
其中,对所述HSV模式图像的S通道进行饱和度增强具体包括:
饱和度的增强有利于进一步对低照度下照成的色彩丢失图像进行颜色恢复。本申请采用自适应的饱和度拉伸方法来实现S通道的饱和度增强,计算公式如下所示:
其中,S和S'分别表示原图饱和度和进行线性拉伸后的图像饱和度,min(R,G,B)和max(R,G,B)分别表示图像R,G,B三个分量中的最小和最大值,MV表示待增强图像的平均值。
通过使用以上算法,将HSV空间中的S分量进行拉伸,得到增强后的S分量。通过实验发现,使用自适应的拉伸方法不仅能够使图像的色彩得到有效的增强,并且能够防止对图像颜色的过度增强。当HSV空间中的V分量进行高斯加权双边滤波处理操作后,将HSV的三个分量进行合并,并转换到RGB空间中,从而得到了本小节分支增强的图像。
其中,对所述HSV模式图像的V通道进行双边滤波处理具体包括:
构建空间距离系数计算函数,所述空间距离系数计算函数为通过滑动窗口中心点与滑动窗口内除中心点外的其他点之间的欧式距离、空间尺度参数和指数函数构成的函数;
构建像素差系数计算函数,所述像素差系数计算函数为通过滑动窗口中心点与滑动窗口内除中心点外的其他点之间的欧式距离、像素值尺度参数、预设的正则化参数和指数函数构成的函数;
构建第一函数,所述第一函数为输入图像、滑动窗口中心点坐标、滑动窗口内除中心点坐标外其他点的坐标、滑动窗口的大小、空间距离系数计算函数、像素差系数计算函数、乘法函数和求和函数构成的函数;
构建第二函数,所述第二函数为滑动窗口中心点坐标、滑动窗口内除中心点坐标外其他点的坐标、滑动窗口的大小、空间距离系数计算函数、像素差系数计算函数、乘法函数和求和函数构成的函数;
根据所述第一函数、第二函数和分数函数构建双边滤波模型;
将所述HSV模式图像作为所述双边滤波模型的输入图像,输出双边滤波处理后的图像。
本申请采用的双边滤波算法的表达式如下式所示:
其中,S(x,y)代表原始输入图像,L(x,y)代表照度输出图像,p代表滑动窗口的大小,(i,j)表示滑动窗口的中心点坐标,而(m,n)则代表滑动窗口内其他点的坐标,α代表空间距离系数,β代表像素差系数,它们的计算公式如下:
其中,d(i,j)-d(m,n)表示像素坐标点(i,j)和(m,n)两点之间的欧氏距离,γ为正则化参数,σd为空间尺度参数,σl为像素值尺度参数。
其中空间尺度参数控制了在计算空间距离时,邻域像素之间的距离对权重的衰减程度。较大的σd值会使得更远的像素点对当前像素的贡献减小,从而使得滤波结果更加平滑。较小的σd值则会保留较多的细节信息。σd的取值范围为正整数或半径形式,具体取值根据图像的尺寸和细节特征来选择,取值在5到50之间。
其中像素值尺度参数控制了在计算灰度值差异时,邻域像素与当前像素之间灰度值差异对权重的衰减程度。较大的σl值会使得灰度值差异对权重的影响减小,从而减少滤波结果对边缘的模糊程度。较小的σl值则会增强对灰度值差异的敏感性性。σl的取值范围为非负实数,具体取值也要根据图像的特性和需求来选选择。σl的取值不小于0.01。
通过本申请中正则化处理后像素差系数β,从而更精细地实现图像滤波和去噪。然而,由于不同区域的像素值差异较大,同一个β参数对于不同区域的影响程度不同,因此引入正则化参数γ,并在双边滤波算法的距离权重的基础上,使用高斯函数对像素值的权重进行处理,从而更好地适应不同区域的像素特征,在保持处理效果准确和可靠的同时,提高了算法的实用性。在图像去噪方面,相比传统双边滤波算法,本申请改进后的双边滤波算法表现更加出色,可以更好地处理高斯噪声。
上述γ的取值会直接影响到每个像素点的滤波效果。当γ的取值偏大时,则会对目标点之间的像素值差异产生影响,进而控制值域尺度差参数β的作用程度,从而最终影响滤波效果的精度和准确性。而当γ的取值较小时,其滤波效果类似于传统的双边滤波算法,不会对目标点像素值之间的差别产生影响。
对于不同的图像类型和滤波需求,适当地调整γ的取值可以得到更加精确的滤波效果。例如,对于具有较强纹理特征的图像,适当增大γ的取值可以更好地保存其细节信息,从而不至于使图像产生模糊或者失真的问题。而对于一些光线偏暗的图像,则可以适当降低γ的取值,以获得更加明亮的滤波效果。
所述步骤S400包括:分别计算所述第一图像、第二图像和原始图像的图像融合权重,所述图像融合权重包括对比度权重、饱和度权重和照度权重;
所述步骤S400具体包括:
分别根据第一图像、第二图像和原始图像的灰度级数量、灰度级的取值范围、像素个数、平均灰度值、灰度值方差、预设的调节参数和融合的图像数目计算所述第一图像、第二图像和原始图像的对比度权重;
分别根据第一图像、第二图像和原始图像的各像素的饱和度、图像的像素总数和融合的图像数目计算所述第一图像、第二图像和原始图像的饱和度权重;
分别根据第一图像、第二图像和原始图像的灰度值以及对应灰度值的像素所占比例计算所述第一图像、第二图像和原始图像的照度权重。
其中,对于第i′幅图像Ii′,其对比度Ci′可以计算为:
其中,Li′表示图像Ii′的灰度级数量,j'表示Ii'的灰度级别取值范围,ni′(j')表示Ij'中灰度值为j'的像素个数,μi′表示Ii′的平均灰度值,表示Ii′的灰度值方差。
然后,对于图像Ii′,其对应的对比度权重W1可以计算为:
其中,β'是调节参数,取值为1或2,M是融合的图像数目。这个公式表示,每幅图像的对比度越大,其对应的权重就越大,越有利于最终融合后的图像表现。
其中,对于第i′幅图像Ii′,其饱和度权重W2可以计算为:
其中,表示第i幅图像的饱和度,N是图像中像素总数,M是融合的图像数目,表示j”'=1到M的所有融合图像计算出的饱和度相加。
照度权重
设共有M幅图像,第i′幅图像的归一化累计直方图为hi'(x),第i′幅图像的归一化累计直方图为hi(x)加权平均权重为W3,则照度权重的计算公式为:
其中,hi'(x)对应第i幅图像的灰度值为x的像素所占比例。hj”'(x)表示求和的第j”'幅图像的照度,表示j”'=1到M的所有融合图像计算出的照度总值,最后计算得到的W3值将作为图像加权融合中的照度权重进行使用。
所述步骤S500包括:分别对第一图像、第二图像和原始图像的图像融合权重进行归一化处理,分别得到第一图像、第二图像和原始图像的归一化权重;
为了后续的加权融合,则需要对对比度、饱和度、照度权重作归一化处理,其计算公式如下:
其中,表示图像k的归一化权重,Wk表示第k幅图像的对比度、饱和度、照度权重之和,具体的计算表示为:
Wk=W1+W2+W3
所述步骤S600包括:根据所述第一图像、第二图像和原始图像分别对应的归一化权重,并基于拉普拉斯金字塔的图像融合模型对所述第一图像、第二图像和原始图像进行图像融合,得到增强图像后的融合图像。
如图5所示,本发明中图像融合主要将三个分支获得的处理图像进行融合操作。首先,为增强照度不均图像的显示效果,并增强图像细节,降低噪点,将三个分支得到的图像进行融合操作。为了防止图像过曝,并平衡图像对比度、饱和度和照度的数值,选择对比度、饱和度和照度作为权重参数。为增加视觉舒适度,在输出最终图像之前进行白平衡处理,最后得到最终增强后的图像。该方法首先将三个分支的图像进行权重图的计算,然后对计算后的权重进行归一化处理,并进行拉普拉斯金字塔融合操作,具体操作为将归一化的权重和对应分支增强图像分别进行高斯和拉普拉斯金字塔分解,再进行拉普拉斯金字塔图像加权融合。
加权融合可以更好地反映不同区域在图像中的贡献。高对比度区域的贡献比低对比度区域更大,这有助于准确区分出不同区域的特点,并获得更好的图像融合效果。此外,由于对比度低的区域往往包含更多的细节信息,因此强化这些区域可以更好地保留图像中的细节,使其更加清晰明了。拉普拉斯金字塔将最顶层和最底层分别分配给图像的低频轮廓和高频细节分量。为了在加权融合中实现高效处理,拉普拉斯金字塔采用单独对顶层和最底层进行加权融合的方法,从而获得更优秀的图像质量。顶层图像包含图像的轮廓信息,而最底层图像包含着图像的细节信息和纹理,因此在加权融合中给予顶层和最底层足够的权重,能够有效地增强图像的质量,从而获得更加清晰、具有深度的图像。
图像融合的具体公式如下:
设第一图像、第二图像和原始图像为A、B和C,拉普拉斯金字塔的层数为K'。对第一图像、第二图像和原始图像分别构建拉普拉斯金字塔,得到三组拉普拉斯金字塔:
LA,r=GA,r-Up(GA,r+1)
LB,r=GB,r-Up(GB,r+1)
LC,r=GC,r-Up(GC,r+1)
其中,GA,r、GB,r、GC,r表示第一图像、第二图像和原始图像的第r层,Up(GA,r+1)、Up(GB,r+1)和Up(GC,r+1)表示上采样操作,LA,r、LB,r和LC,r表示第一图像、第二图像和原始图像的构建的拉普拉斯金字塔。
对每组金字塔的底层进行求平均计算,得到融合后的底层图像:
GA,0、GB,0、GC,0表示第一图像、第二图像和原始图像拉普拉斯金字塔底层;
对每组金字塔的顶层进行加权融合,可以得到进行加权融合后的顶层图像:
其中,和和分别表示第一图像、第二图像和原始图像的归一化权重,LA,K'、LA,K'和LC,K'为拉普拉斯金字塔的顶层。
将融合后的底层图像和顶层图像叠加,得到融合后的图像:
GL=Down(LL,K')+GL,0
其中,Down(LL,K')表示下采样操作。
所述方法还包括对所述融合图像进行白平衡校正,对所述融合图像进行白平衡校正包括:
分别计算所述融合图像的RGB色彩空间中各个通道的平均值;
根据所述融合图像的RGB色彩空间中各个通道的平均值计算所有通道总的平均值;
通过所述所有通道总的平均值分别除以各个通道的平均值得到各个通道的增益,将各个通道的所述增益乘以各个通道的像素值,完成白平衡校正。
为了让融合后的图像更加真实自然,本发明使用白平衡技术进行颜色校正。具体的计算公式如下:
首先求取RGB通道中各个通道的平均值。在图像的RGB色彩空间中,红、绿、蓝三个通道的平均值分别如下式所示:
其中,m'和n'分别表示图像的宽和高,R(i”,j”)、G(i”,j”)和B(i”,j”)分别表示图像在(i”,j”)处的红、绿、蓝三个通道的像素值。接着计算总的平均值,平均值的计算如下所示:
将三通道的平均值除以各个通道的平均值得到通道的增益,将增益乘以各个通道的像素值后,完成白平衡校正。三个通道白平衡的计算公式如下所示:
其中,R'(i”,j”)、G'(i”,j”)和B'(i”,j”)分别表示增益调整后的像素值。
本发明通过使用白平衡计算,对金字塔融合之后的图像进行处理,来对图像的颜色进行柔和,调整色彩偏差,使图像更加自然。
实施例2:
如图2所示,本实施例提供了一种图像增强装置,包括:
第一获取模块,所述第一获取模块用于获取第一信息,所述第一信息包括原始图像;
颜色校正模块,所述颜色校正模块用于对所述原始图像进行颜色校正,得到颜色校正图像;
具体的颜色校正模块通过对RGB色彩空间中三个通道的像素进行拉伸来解决低照度图像的色偏问题,具体算法的公式如下所示:
式中C代表RGB三个通道,IC代表RGB色彩空间中各个通道的值,代表RGB色彩空间中各个通道中的最大值,代表各个通道中的最小值。
处理模块,所述处理模块用于将所述颜色校正图像分别输入Retinex模型和HSV色彩空间转化模型,分别输出第一图像和第二图像;
所述处理模块包括:
Retinex模型处理模块,所述Retinex模型处理模块用于将所述颜色校正图像输入Retinex模型,所述Retinex模型先将所述颜色校正图像通过Retinex-DIP算法迭代后得到迭代后的图像,之后对所述迭代后的图像进行自适应Gamma校正,得到并输出第一图像;
在所述Retinex模型处理模块中,Gamma校正指数参数表达式详见下式。通过这种方法,能够让图像在不同的光照条件下都能有出色的表现,从而提高图像处理和分析的效率和准确性。
式中,γ(x,y)为Gamma校正指数参数,Lmean(x,y)为亮度通道中的平均像素值。
转化模型处理模块,所述转化模型处理模块用于将所述颜色校正图像输入HSV色彩空间转化模型,所述HSV色彩空间转化模型先将颜色校正图像从RGB模式图像转换为HSV模式图像,之后对所述HSV模式图像的S通道进行饱和度拉伸处理、V通道进行双边滤波处理得到处理后的HSV模式图像,最后将所述处理后的HSV模式图像转换为RGB模式,得到并输出第二图像。
在所述转化模型处理模块中采用的双边滤波算法的表达式如下式所示:
其中,S(x,y)代表原始输入图像,L(x,y)代表照度输出图像,p代表滑动窗口的大小,(i,j)表示滑动窗口的中心点坐标,而(m,n)则代表滑动窗口内其他点的坐标,α代表空间距离系数,β代表像素差系数,它们的计算公式如下:
它们的计算公式如下:
其中,d(i,j)-d(m,n)表示像素坐标点(i,j)和(m,n)两点之间的欧氏距离,γ为正则化参数,σd为空间尺度参数,σl为像素值尺度参数。
通过本申请中正则化处理后像素差系数β,从而更精细地实现图像滤波和去噪。然而,由于不同区域的像素值差异较大,同一个β参数对于不同区域的影响程度不同,因此引入正则化参数γ,并在双边滤波算法的距离权重的基础上,使用高斯函数对像素值的权重进行处理,从而更好地适应不同区域的像素特征,在保持处理效果准确和可靠的同时,提高了算法的实用性。在图像去噪方面,相比传统双边滤波算法,本申请改进后的双边滤波算法表现更加出色,可以更好地处理高斯噪声。
上述γ的取值会直接影响到每个像素点的滤波效果。当γ的取值偏大时,则会对目标点之间的像素值差异产生影响,进而控制值域尺度差参数β的作用程度,从而最终影响滤波效果的精度和准确性。而当γ的取值较小时,其滤波效果类似于传统的双边滤波算法,不会对目标点像素值之间的差别产生影响。
第一计算模块,所述第一计算模块用于分别计算所述第一图像、第二图像和原始图像的图像融合权重,所述图像融合权重包括对比度权重、饱和度权重和照度权重;
所述第一计算模块包括:
第二计算模块,所述第二计算模块用于分别根据第一图像、第二图像和原始图像的灰度级数量、灰度级的取值范围、像素个数、平均灰度值、灰度值方差、预设的调节参数和融合的图像数目计算所述第一图像、第二图像和原始图像的对比度权重;
第三计算模块,所述第三计算模块用于分别根据第一图像、第二图像和原始图像的各像素的饱和度、图像的像素总数和融合的图像数目计算所述第一图像、第二图像和原始图像的饱和度权重;
第四计算模块,所述第四计算模块用于分别根据第一图像、第二图像和原始图像的灰度值以及对应灰度值的像素所占比例计算所述第一图像、第二图像和原始图像的照度权重。
所述第一计算模块中,其中,对于第i′幅图像Ii′,其对比度Ci′可以计算为:
其中,Li′表示图像Ii′的灰度级数量,j'表示Ii'的灰度级别取值范围,ni′(j')表示Ij'中灰度值为j'的像素个数,μi′表示Ii′的平均灰度值,表示Ii′的灰度值方差。
然后,对于图像Ii′,其对应的对比度权重W1可以计算为:
其中,β'是调节参数,取值为1或2,M是融合的图像数目。这个公式表示,每幅图像的对比度越大,其对应的权重就越大,越有利于最终融合后的图像表现。
其中,对于第i′幅图像Ii′,其饱和度权重W2可以计算为:
其中,表示第i幅图像的饱和度,N是图像中像素总数,M是融合的图像数目,表示j”'=1到M的所有融合图像计算出的饱和度相加。
照度权重
设共有M幅图像,第i′幅图像的归一化累计直方图为hi'(x),第i′幅图像的归一化累计直方图为hi(x)加权平均权重为W3,则照度权重的计算公式为:
其中,hi'(x)对应第i幅图像的灰度值为x的像素所占比例。hj”'(x)表示求和的第j”'幅图像的照度,表示j”'=1到M的所有融合图像计算出的照度总值,最后计算得到的W3值将作为图像加权融合中的照度权重进行使用。
所述步骤S500包括:分别对第一图像、第二图像和原始图像的图像融合权重进行归一化处理,分别得到第一图像、第二图像和原始图像的归一化权重;
为了后续的加权融合,则需要对对比度、饱和度、照度权重作归一化处理,其计算公式如下:
其中,表示图像k的归一化权重,Wk表示第k幅图像的对比度、饱和度、照度权重之和,具体的计算表示为:
Wk=W1+W2+W3
归一化模块,所述归一化模块用于分别对第一图像、第二图像和原始图像的图像融合权重进行归一化处理,分别得到第一图像、第二图像和原始图像的归一化权重;
所述归一化模块中对对比度、饱和度、照度权重作归一化处理的计算公式如下:
其中,表示图像k的归一化权重,Wk表示第k幅图像的对比度、饱和度、照度权重之和,具体的计算表示为:
Wk=W1+W2+W3
图像融合模块,所述图像融合模块用于根据所述第一图像、第二图像和原始图像分别对应的归一化权重,并基于拉普拉斯金字塔的图像融合模型对所述第一图像、第二图像和原始图像进行图像融合,得到增强图像后的融合图像。
所述图像融合模块包括:
第一构建模块,所述第一构建模块用于对所述第一图像、第二图像和原始图像分别构建拉普拉斯金字塔;
变换模块,所述变换模块用于分别对所述第一图像、第二图像和原始图像拉普拉斯金字塔的每一层进行拉普拉斯变换,得到所述第一图像、第二图像和原始图像每层的拉普拉斯图像;
求平均计算模块,所述求平均计算模块用于对所述第一图像、第二图像和原始图像的拉普拉斯金字塔底层进行求平均计算,得到图像融合后的底层图像;
加权融合模块,所述加权融合模块用于根据所述第一图像、第二图像和原始图像的归一化权重对所述第一图像、第二图像和原始图像的拉普拉斯金字塔顶层进行加权融合,得到图像融合后的顶层图像;
叠加模块,所述叠加模块用于将所述图像融合后的底层图像和图像融合后的顶层图像进行叠加,得到增强图像后的融合图像。
为了让融合后的图像更加真实自然,本发明还包括白平衡模块,在所述白平衡模块中采用具体的计算公式如下:
首先求取RGB通道中各个通道的平均值。在图像的RGB色彩空间中,红、绿、蓝三个通道的平均值分别如下式所示:
其中,m'和n'分别表示图像的宽和高,R(i”,j”)、G(i”,j”)和B(i”,j”)分别表示图像在(i”,j”)处的红、绿、蓝三个通道的像素值。接着计算总的平均值,平均值的计算如下所示:
将三通道的平均值除以各个通道的平均值得到通道的增益,将增益乘以各个通道的像素值后,完成白平衡校正。三个通道白平衡的计算公式如下所示:
其中,R'(i”,j”)、G'(i”,j”)和B'(i”,j”)分别表示增益调整后的像素值。
过使用白平衡计算,对金字塔融合之后的图像进行处理,来对图像的颜色进行柔和,调整色彩偏差,使图像更加自然。
需要说明的是,关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
实施例3:
相应于上面的方法实施例,本实施例中还提供了一种图像增强设备,下文描述的一种图像增强设备与上文描述的一种低照度图像增强方法可相互对应参照。
图3是根据示例性实施例示出的一种图像增强设备800的框图。如图3所示,该图像增强设备800可以包括:处理器801,存储器802。该图像增强设备800还可以包括多媒体组件803,I/O接口804,以及通信组件805中的一者或多者。
其中,处理器801用于控制该图像增强设备800的整体操作,以完成上述的低照度图像增强方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该图像增强设备800的操作,这些数据例如可以包括用于在该图像增强设备800上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(StaticRandomAccessMemory,简称SRAM),电可擦除可编程只读存储器(ElectricallyErasableProgrammableRead-OnlyMemory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammableRead-OnlyMemory,简称EPROM),可编程只读存储器(ProgrammableRead-OnlyMemory,简称PROM),只读存储器(Read-OnlyMemory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该图像增强设备800与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(NearFieldCommunication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件805可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,图像增强设备800可以被一个或多个应用专用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)、数字信号处理器(DigitalSignalProcessor,简称DSP)、数字信号处理设备(DigitalSignalProcessingDevice,简称DSPD)、可编程逻辑器件(ProgrammableLogicDevice,简称PLD)、现场可编程门阵列(FieldProgrammableGateArray,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的低照度图像增强方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的低照度图像增强方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器802,上述程序指令可由图像增强设备800的处理器801执行以完成上述的低照度图像增强方法。
实施例4:
相应于上面的方法实施例,本实施例中还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种低照度图像增强方法可相互对应参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的低照度图像增强方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(RandomAccessMemory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
实施例5
为了增加数据集的样本数量和多样性,使用拍摄的方式对城市市区的夜间真实低照度街道交通情况进行了采集,采集地点主要包括没有路灯的街道旁、城市高速公上方的人行天桥等。本文通过摄像的方式采集到了极暗条件下的城市街道交通视频,并将收集到的视频数据进行逐帧分解,对每20帧的图像进行收集,确保了每张收集图像的差异性,提高了采集数据集的可用性。通过这种收集方式,得到了7836张不同的真实街景低照度图片,种类包含汽车、公交车、摩托车、自行车、行人等道路交通常见类别。
为保证实验的稳定性,本文所有的实验均在同一台服务器上运行。采用的实验环境是由本地主机搭建的,其中实验环境配置如下表1
表1
为了确保评价结果的准确性,采用了两种不同的评价方法。首先进行主观评价,即通过人眼观察图像增强结果图像来评估算法的效果。其次,采用客观评价方法,即通过计算相关指标的数值大小来评估图像增强算法的效果,以更加科学地评价算法的优劣。主观评价能够反映出人眼对图像增强效果的感知;客观评价能够提供更全面的图像数据分析,帮助更好地理解图像增强算法的优劣。因此,综合使用这两种方法进行评估,才能准确地评估图像增强算法的表现。
如图6所示,本申请方法与其他图像处理算法进行了比较,主要比较它们在色彩和细节方面的表现,以及对亮度和对比度的增强效果。对比几种图像增强处理方法结果可以看出,对夜间公交低照度图像来说,图6的a)表示原图,图6的b)图证明了MSRCP算法造成了图像的噪点增加,同时,在原本亮度比较高的部分,如路灯、车灯以及街道旁边的商店和招牌等,均存在着一定的过度增强,这也导致了图像的颜色等出现了误差的情况。图6中c)图存在着严重的色彩失真的问题,从图6中d)图可以看出,AutoMSRCR算法伴随着过多的噪点和色彩的失真。图6中e)图的Retinex-DIP算法亮度上不足。图6中f)图证明Gamma变换也存在一定的色彩失真的情况。从图6中g)图可以看出,LIME算法存在着明显的光晕效应。图6中h)图对比于e)图和g)图,既保持了亮度和细节,也解决了光晕效应,证明了本文算法在图像增强上的有效性。
如图7所示,对于存在高光的夜间摩托车图像,即图7中a)图,从图7中b)图和d)图可以看出,其所对应的MSRCP算法和AutoMSRCR算法在灯光方面存在明细的过曝情况,对于远处灯光的处理不到位,存在泛白的情况,图7中c)图整体的对比度偏低,和图7中b)图和d)图一样存在着视觉上“朦胧”的问题,边缘保留不明显,证明了MSRCR算法在图像增强处理中存在的对比度低的问题。从图7中e)图看出,其对应的Retinex-DIP算法整体的亮度增强不够高,从图7中f)图看出,Gamma变换引入了噪声。图7中g)图看出,其对应的LIME算法车灯存在着过曝的情况,而且人脸的饱和度过高。图7中h)对比于图7中g)图,说明本申请算法在图像的感观上更加自然,人脸的曝光问题也得到了解决,整体的噪声也更小,灯光的过曝情况也得到了改善。
本申请在采集数据集以及ExDark上的车辆类数据集上进行实验评估,分别在采集数据集中截取的3000张图片以及ExDark数据集上选取的交通相关类别的2500张图片上进行实验,并将各个算法得到的图像与原输入图像进行四项量化指标的计算,并取平均值得到最终的算法评价指标,表2和表3展示了不同增强算法分别在采集数据集以及ExDark数据集上的客观量化指标对比。
表2
表3
其中,表2和表3的ours表示本申请方法。
根据表2结果显示,本申请方法在信息熵方面相较于其他算法,在ExDark数据集上提升效果更为明显。当处理低光照的夜间图像时,经本申请方法增强后,信息熵的均值提高了63%。中,本申请方法图像的亮度均值得到了提升,夜间图像亮度提升了2.26倍,视觉效果良好。在标准差方面,本申请方法比其他算法在ExDark数据集上表现出色,这也表明本申请方法在细节表现和边缘纹理的保留方面表现好。而在无参考结构清晰度方面,本申请方法同样获得了不错的结果。
而针对拍摄的自制数据集而言,通过对自制数据集中的图片进行多种算法的增强,本申请方法在亮度均值方面同样保持在自然亮度的水平,没有出现过曝的情况。同时,本申请方法在其他三项指标平均值中均达到了高的数值结果。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种低照度图像增强方法,其特征在于,包括:
获取第一信息,所述第一信息包括原始图像;
对所述原始图像进行颜色校正,得到颜色校正图像;
将所述颜色校正图像分别输入Retinex模型和HSV色彩空间转化模型,分别输出第一图像和第二图像;
分别计算所述第一图像、第二图像和原始图像的图像融合权重,所述图像融合权重包括对比度权重、饱和度权重和照度权重;
分别对第一图像、第二图像和原始图像的图像融合权重进行归一化处理,分别得到第一图像、第二图像和原始图像的归一化权重;
根据所述第一图像、第二图像和原始图像分别对应的归一化权重,并基于拉普拉斯金字塔的图像融合模型对所述第一图像、第二图像和原始图像进行图像融合,得到增强图像后的融合图像。
2.根据权利要求1所述的一种低照度图像增强方法,其特征在于,将所述颜色校正图像分别输入Retinex模型和HSV色彩空间转化模型,分别输出第一图像和第二图像,包括:
将所述颜色校正图像输入Retinex模型,所述Retinex模型先将所述颜色校正图像通过Retinex-DIP算法迭代后得到迭代后的图像,之后对所述迭代后的图像进行自适应Gamma校正,得到并输出第一图像;
将所述颜色校正图像输入HSV色彩空间转化模型,所述HSV色彩空间转化模型先将颜色校正图像从RGB模式图像转换为HSV模式图像,之后对所述HSV模式图像的S通道进行饱和度拉伸处理、V通道进行双边滤波处理得到处理后的HSV模式图像,最后将所述处理后的HSV模式图像转换为RGB模式,得到并输出第二图像。
3.根据权利要求1所述的一种低照度图像增强方法,其特征在于,分别计算所述第一图像、第二图像和原始图像的图像融合权重,所述图像融合权重包括对比度权重、饱和度权重和照度权重,包括:
分别根据第一图像、第二图像和原始图像的灰度级数量、灰度级的取值范围、像素个数、平均灰度值、灰度值方差、预设的调节参数和融合的图像数目计算所述第一图像、第二图像和原始图像的对比度权重;
分别根据第一图像、第二图像和原始图像的各像素的饱和度、图像的像素总数和融合的图像数目计算所述第一图像、第二图像和原始图像的饱和度权重;
分别根据第一图像、第二图像和原始图像的灰度值以及对应灰度值的像素所占比例计算所述第一图像、第二图像和原始图像的照度权重。
4.根据权利要求1或3所述的一种低照度图像增强方法,其特征在于,根据所述第一图像、第二图像和原始图像分别对应的归一化权重,并基于拉普拉斯金字塔的图像融合模型对所述第一图像、第二图像和原始图像进行图像融合,得到增强图像后的融合图像,包括:
对所述第一图像、第二图像和原始图像分别构建拉普拉斯金字塔;
分别对所述第一图像、第二图像和原始图像拉普拉斯金字塔的每一层进行拉普拉斯变换,得到所述第一图像、第二图像和原始图像每层的拉普拉斯图像;
对所述第一图像、第二图像和原始图像的拉普拉斯金字塔底层进行求平均计算,得到图像融合后的底层图像;
根据所述第一图像、第二图像和原始图像的归一化权重对所述第一图像、第二图像和原始图像的拉普拉斯金字塔顶层进行加权融合,得到图像融合后的顶层图像;
将所述图像融合后的底层图像和图像融合后的顶层图像进行叠加,得到增强图像后的融合图像。
5.一种图像增强装置,其特征在于,包括:
第一获取模块,所述第一获取模块用于获取第一信息,所述第一信息包括原始图像;
颜色校正模块,所述颜色校正模块用于对所述原始图像进行颜色校正,得到颜色校正图像;
处理模块,所述处理模块用于将所述颜色校正图像分别输入Retinex模型和HSV色彩空间转化模型,分别输出第一图像和第二图像;
第一计算模块,所述第一计算模块用于分别计算所述第一图像、第二图像和原始图像的图像融合权重,所述图像融合权重包括对比度权重、饱和度权重和照度权重;
归一化模块,所述归一化模块用于分别对第一图像、第二图像和原始图像的图像融合权重进行归一化处理,分别得到第一图像、第二图像和原始图像的归一化权重;
图像融合模块,所述图像融合模块用于根据所述第一图像、第二图像和原始图像分别对应的归一化权重,并基于拉普拉斯金字塔的图像融合模型对所述第一图像、第二图像和原始图像进行图像融合,得到增强图像后的融合图像。
6.根据权利要求5所述的一种图像增强装置,其特征在于,所述处理模块包括:
Retinex模型处理模块,所述Retinex模型处理模块用于将所述颜色校正图像输入Retinex模型,所述Retinex模型先将所述颜色校正图像通过Retinex-DIP算法迭代后得到迭代后的图像,之后对所述迭代后的图像进行自适应Gamma校正,得到并输出第一图像;
转化模型处理模块,所述转化模型处理模块用于将所述颜色校正图像输入HSV色彩空间转化模型,所述HSV色彩空间转化模型先将颜色校正图像从RGB模式图像转换为HSV模式图像,之后对所述HSV模式图像的S通道进行饱和度拉伸处理、V通道进行双边滤波处理得到处理后的HSV模式图像,最后将所述处理后的HSV模式图像转换为RGB模式,得到并输出第二图像。
7.根据权利要求5所述的一种图像增强装置,其特征在于,所述第一计算模块包括:
第二计算模块,所述第二计算模块用于分别根据第一图像、第二图像和原始图像的灰度级数量、灰度级的取值范围、像素个数、平均灰度值、灰度值方差、预设的调节参数和融合的图像数目计算所述第一图像、第二图像和原始图像的对比度权重;
第三计算模块,所述第三计算模块用于分别根据第一图像、第二图像和原始图像的各像素的饱和度、图像的像素总数和融合的图像数目计算所述第一图像、第二图像和原始图像的饱和度权重;
第四计算模块,所述第四计算模块用于分别根据第一图像、第二图像和原始图像的灰度值以及对应灰度值的像素所占比例计算所述第一图像、第二图像和原始图像的照度权重。
8.根据权利要求5或7所述的一种图像增强装置,其特征在于,所述图像融合模块包括:
第一构建模块,所述第一构建模块用于对所述第一图像、第二图像和原始图像分别构建拉普拉斯金字塔;
变换模块,所述变换模块用于分别对所述第一图像、第二图像和原始图像拉普拉斯金字塔的每一层进行拉普拉斯变换,得到所述第一图像、第二图像和原始图像每层的拉普拉斯图像;
求平均计算模块,所述求平均计算模块用于对所述第一图像、第二图像和原始图像的拉普拉斯金字塔底层进行求平均计算,得到图像融合后的底层图像;
加权融合模块,所述加权融合模块用于根据所述第一图像、第二图像和原始图像的归一化权重对所述第一图像、第二图像和原始图像的拉普拉斯金字塔顶层进行加权融合,得到图像融合后的顶层图像;
叠加模块,所述叠加模块用于将所述图像融合后的底层图像和图像融合后的顶层图像进行叠加,得到增强图像后的融合图像。
9.一种图像增强设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至4任一项所述一种低照度图像增强方法的步骤。
10.一种可读存储介质,其特征在于:所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述一种低照度图像增强方法的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311007248 | 2023-08-10 | ||
CN2023110072486 | 2023-08-10 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117611501A true CN117611501A (zh) | 2024-02-27 |
Family
ID=89950465
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311325729.1A Pending CN117611501A (zh) | 2023-08-10 | 2023-10-12 | 一种低照度图像增强方法、装置、设备及可读存储介质 |
CN202311351283.XA Pending CN117609905A (zh) | 2023-08-10 | 2023-10-18 | 一种监测数据预测方法、系统、设备以及可读存储介质 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311351283.XA Pending CN117609905A (zh) | 2023-08-10 | 2023-10-18 | 一种监测数据预测方法、系统、设备以及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN117611501A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118154487A (zh) * | 2024-05-10 | 2024-06-07 | 南京龟兔赛跑软件研究院有限公司 | 基于光照校正的图像增强方法及系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118604501B (zh) * | 2024-07-31 | 2024-10-18 | 成都华太航空科技股份有限公司 | 用于飞机高清显示器的信号测试设备及方法 |
-
2023
- 2023-10-12 CN CN202311325729.1A patent/CN117611501A/zh active Pending
- 2023-10-18 CN CN202311351283.XA patent/CN117609905A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118154487A (zh) * | 2024-05-10 | 2024-06-07 | 南京龟兔赛跑软件研究院有限公司 | 基于光照校正的图像增强方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117609905A (zh) | 2024-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liang et al. | Single underwater image enhancement by attenuation map guided color correction and detail preserved dehazing | |
Wang et al. | Single image dehazing based on the physical model and MSRCR algorithm | |
CN107527332B (zh) | 基于改进Retinex的低照度图像色彩保持增强方法 | |
CN112734650B (zh) | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 | |
Gao et al. | Sand-dust image restoration based on reversing the blue channel prior | |
CN103218778B (zh) | 一种图像和视频的处理方法及装置 | |
Khan et al. | Localization of radiance transformation for image dehazing in wavelet domain | |
Li et al. | A multi-scale fusion scheme based on haze-relevant features for single image dehazing | |
CN117611501A (zh) | 一种低照度图像增强方法、装置、设备及可读存储介质 | |
CN108416745B (zh) | 一种具有色彩恒常性的图像自适应去雾增强方法 | |
CN107798661B (zh) | 一种自适应的图像增强方法 | |
CN114331873B (zh) | 一种基于区域划分的非均匀光照彩色图像校正方法 | |
CN105447825B (zh) | 图像去雾方法及其系统 | |
CN109389569B (zh) | 基于改进DehazeNet的监控视频实时去雾方法 | |
Zhou et al. | A multifeature fusion method for the color distortion and low contrast of underwater images | |
CN113039576A (zh) | 图像增强系统和方法 | |
Lei et al. | Low-light image enhancement using the cell vibration model | |
Feng et al. | Low-light image enhancement algorithm based on an atmospheric physical model | |
Dar et al. | An enhanced adaptive histogram equalization based local contrast preserving technique for HDR images | |
Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
Zhou et al. | Underwater image enhancement method based on color correction and three-interval histogram stretching | |
KR102277005B1 (ko) | 비지도 학습을 이용한 저조도 영상 처리 방법 및 장치 | |
Wang et al. | Nighttime image dehazing using color cast removal and dual path multi-scale fusion strategy | |
Pal et al. | Visibility enhancement of images degraded by hazy weather conditions using modified non-local approach | |
Lee et al. | Image enhancement approach using the just-noticeable-difference model of the human visual system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |