CN111507913A - 一种基于纹理特征的图像融合算法 - Google Patents

一种基于纹理特征的图像融合算法 Download PDF

Info

Publication number
CN111507913A
CN111507913A CN202010271482.XA CN202010271482A CN111507913A CN 111507913 A CN111507913 A CN 111507913A CN 202010271482 A CN202010271482 A CN 202010271482A CN 111507913 A CN111507913 A CN 111507913A
Authority
CN
China
Prior art keywords
image
pixel
window
value
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010271482.XA
Other languages
English (en)
Other versions
CN111507913B (zh
Inventor
赵良军
董林鹭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University of Science and Engineering
Original Assignee
Sichuan University of Science and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University of Science and Engineering filed Critical Sichuan University of Science and Engineering
Priority to CN202010271482.XA priority Critical patent/CN111507913B/zh
Publication of CN111507913A publication Critical patent/CN111507913A/zh
Application granted granted Critical
Publication of CN111507913B publication Critical patent/CN111507913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域,具体涉及一种基于纹理特征的图像融合算法,包括如下步骤:S1、判断可见光传感器采集图像是否需要增强处理,若光线较暗则增强处理,反之,则不需要增强处理;S2、获取步骤S1所得图像的基层;S3、利用原图减去基层图获得亮像素的细节层,同理利用基层图减去原图获得暗像素细节层,若是非可见光图像,则利用光晕边缘去除细节图像中的光晕获得去光晕后的最终细节图;S4、采用加权方式融合各传感器采集图像的基层;S5、将步骤S4获得的基层融合图像与亮像素细节层加权相加融合,再与暗细节层加权相减融合,获得最终的融合图像。本发明的算法可以清晰的反应物体所在的位置和场景细节。

Description

一种基于纹理特征的图像融合算法
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于纹理特征的图像融合算法。
背景技术
不同图像采集传感器的作用是不同的,正如人类的感官一样,视觉感官结合听觉感官,能让我们大脑更好了解这个多姿多彩的世界,图像信息也如此,一些目标的出现常伴随着发热现象,利用红外传感器采集的图像主要反映场景的温度与辐射差,不会受到外界复杂环境的影响,因此能快速定位出发热物体在图像中的位置和轮廓,但由于红外传感器对可见光的感知能力较差无法获取目标周围环境的分布信息可视性差,无法提供图像的细节信息。可见光传感器采集的图像在反映图像环境细节方面较为突出,但在环境光线较暗或者有烟雾遮挡情况下,无法正确知道目标物体的具体动向。当然,在同一传感器对环境进行图像采集时由于不同目标距离传感器的位置不同,为了采集到清晰的目标信息,传感器会以不同焦距进行拍摄,这将造成图像的部分区域模糊的现象,好比人类的眼睛一样,当我们专注书上某一行文字时其他行文字就会变得模糊,因此通过对不同焦距的图像进行融合能获得一幅完整清晰的多目标图像。于是将两种图像融合相互取长补短,减少冗余信息增强成像质量,成为了目前图像处理研究的热点问题,对于军事领域、工业领域、医学领域、安防监控、数字摄影和遥感领域具有重要的研究意义。
经过近年来图像融合算法的发展,已经踊跃出许多的图像融合方案和方法。归根结底这些方法可以分为两类,第一类是基于空间域的图像融合该技术直接利用图像的像素或图像区域为融合规则,其优点是算法复杂度低融合所消耗的时间短利于大批量图像的融合实现,但是在分割红外线图像中显著特征区域时比较困难,导致此类算法在对抗干扰方面的能力还不够突出信息丢失量大。第二类是基于变换域的图像融合该技术,该技术应用多尺度分解方法对图像叠加的多层空间特征信息进行尺度变换,获得不同的尺度空间,使红外图像与可见光图像达到有效的融合,目前较为熟知的尺度变化算法有金字塔、小波变换曲波变换、轮廓波变换、非下采样轮廓波变换、非下采样剪切波变换和数据驱动方法等。这些算法都证明了多尺度分解方法在图像融合技术中的重要地位,但利用多尺度变化获得的融合图像存在光晕和伪影,同时多尺度分解方法在分解图像空间层数上处于两难的境地,为了保证图像融合后纹理细节的丰富分解层数需要尽可能的多,但是当层数过多时在图像融合中低通波段层的系数将会影响大多数的融合像素值,为了平衡两者的关系常降低了此类算法的鲁棒性。
发明内容
为解决上述问题,本发明提供了种基于纹理特征的图像融合算法。
为实现上述目的,本发明采取的技术方案为:
一种基于纹理特征的图像融合算法,包括如下步骤:
S1、判断可见光传感器采集图像是否需要增强处理,若光线较暗则增强处理,反之,则不需要增强处理;
S2、获取步骤S1所得图像的基层;
S3、利用原图减去基层图获得亮像素的细节层,同理利用基层图减去原图获得暗像素细节层,若是非可见光图像,则利用光晕边缘去除细节图像中的光晕获得去光晕后的最终细节图;
S4、采用加权方式融合各传感器采集图像的基层;
S5、将步骤S4获得的基层融合图像与亮像素细节层加权相加融合,再与暗细节层加权相减融合,获得最终的融合图像。
进一步地,所述步骤S1中,将图片亮度层的平均像素值115作为判断图像是否要增强处理的阈值,当图像中平均像素值小于阈值则需要增强处理,反之则不用增强处理,满足公式:
Figure BDA0002442819840000031
式中,fav(i,j)表示图像中像素值的平均值,f(i,j)表示原图像素值M,N分别表示图像的行和列;当fav(i,j)>115时,图像无需增强处理;当fav(i,j)<115时,图像需要增强处理。
进一步地,所述步骤S2具体包括如下步骤:
S21、首先采用n×n的平滑窗口对可见光传感器拍摄的图像进行遍历处理,判断该窗口内是否存在不同的像素值,如式(2)所示;
Wn×n[f(i+k,j+k)]≠Wn×n[fmean(i,j)]k∈{…-1,1…} (2)
式中,Wn×n为滤波窗口的大小,fmean(i,j)表示窗口中心位置处的像素值;
若存在则将窗口中心值与该窗口内所有像素值比较,平滑窗口内超过半数像素值与窗口中心处像素值相等则判定中心处像素值为正常像素值输出,反之,没有超过平滑窗口内半数像素值与窗口中心处像素值相等则标记为可疑噪声像素Z*(i,j);若平滑窗口内所有像素值相等,则扩大滤波窗口继续判断,直到窗口大小为图像长(M)与宽(N)像素值个数中最小值的窗口为止,其范围为3≤n≤min{N,M};若还没能找到不同像素值,就判定该滤波窗口内无可疑噪声点输出原像素值,如式(3)所示;
Figure BDA0002442819840000032
式中,Z*(i,j)A表示可疑噪声点;
S22、进一步判断可疑噪声,引入噪声判断值P(i,j),并设立阀值K,当 P(i,j)>K时判定该为噪声;反之,当P(i,j)<K时判定为原图像像素值;其数学表达式如式(4)、(5)所示;
PN(i,j)=|255/2-Wn×n[f(i+k,j+k)]|k∈{…-1,1…} (4)
式中,P1,P2…PN表示计算平滑窗口内所有像素值与255/2的差值取绝对值,对求取的P值由小到大排序;k表示一个窗口内像素的位置,如一个9x9大小的窗口,中间位置用f(x,y)表示,则其左上角的像素位置为f(x-1,y-1),与它相邻的像素位置以此类推获得;
Figure BDA0002442819840000041
式中,fmean(i,j)表示该窗口中心位置处的像素的中值,P min(i,j)、P max(i,j)分别表示式(4)做差后绝对值的最小值与做差后绝对值的最大值;
S23、对辐照噪声进行平滑处理,将存在噪声点的平滑滤波窗口内所有像素值进行排序,取像素中值乘以权值w,作为该噪声点的输出像素值fl=(j, j),如式(6)、(7)、(8)所示;
fl(i,j)=Wn×n[fmean(i,j)]·w (6)
式中,fmean(i,j)表示滤波窗口中心位置处的像素值,w表示权值;
Figure BDA0002442819840000042
式中,fmed(i,j)表示滤波窗口内所有元素的中值像素值,c表示滤波窗口内各像素值与滤波窗口内所有像素求得的均值做差后平方的均值;
Figure BDA0002442819840000043
利用公式(6),获得可见光图像和红外线图像的基层。
进一步地,所述步骤S3具体包括如下步骤:
S31、在获得图像基层后,利用原图或原图增强图减去基层图获得亮像素的细节层,满足表达式:
fb(i,j)=f(i,j)-fl(i,j) (9)
式中,f(i,j)表示图像原图,公式中减数为增强图像fs(i,j)或原图f(i,j),由公式(2)与阈值决定做比较决定,fb(i,j)表示亮像素的细节层;
S32、利用基层图像减去原图或增强后的原图获得暗像素的细节层,满足表达式:
fd(i,j)=fl(i,j)-f(i,j) (10)
式中,fd(i,j)表示暗像素的细节层;
对于红外线图像的细节层由于有光晕的影响,因此,利用细节层减去光晕边缘,凸显图像的细节,满足表达式:
fbe(i,j)=fb(i,j)-fe(i,j) (11)
式中,fbe(i,j)表示红外线图像的最终亮像素的细节层,fe(i,j)表示红外线光晕边缘;同理求得最终暗像素的细节层fed(i,j)。
进一步地,所述红外线光晕边缘fe(i,j)通过以下方法求得:
首先计算出图像的像素梯度幅值和其方向值,分别用M(i,j)、θ(i,j)表示,表达式满足:
梯度幅值和其方向值,分别用M(i,j)、θ(i,j)表示,表达式满足:
Figure BDA0002442819840000051
Figure BDA0002442819840000052
其中Gi、Gj数学表达式如下所示:
Gi=fr(x,y)-fr(i+1,j+1) (14)
Gj=fr(x,y+1)-fr(x+1,y) (15)
式中,fr(x,y)表示红外线图像中信息区域边界确定时某一点的像素值。
对计算出的M(i,j)值做非极大值抑制处理,目的是细化不同信息区域边界上的像素点;最后根据细化的M(i,j)值确定出边界,原理是对图像中相邻两个像素点的值变化较大的点作为不同区域分界线的标定点,遍历整幅图像获得不同区域的信息集获得光晕边缘fe(i,j)。
进一步地,所述步骤S4采用加权的方式对不同传感器获得的图像进行基层融合满足表达式:
flf(i,j)=0.5fl1(i,j)+0.5fl2(i,j) (16)
式中,fl1(i,j)、fl2(i,j)表示不同传感器采集图像的基础图,flf(i,j)表示基层图融合后的图像;我们采用各取一半像素值进行基层融合,目的是将各图像中信息尽可能的包含到融合图像中。
进一步地,所述步骤S5首先利用基层融合图像flf(i,j)加上亮像素的细节图fb(i,j)、fbe(i,j),然后利用第一部分的结果图减去权重为0.5的暗像素的细节图fd(i,j)、fed(i,j),满足公式:
ffusion=flf(i,j)+fb(i,j)+0.5fbe(i,j)-fd(i,j)-0.5fed(i,j) (17)。
本发明针对图像融合中出现的问题,我们提出一种图像融合算法,首先对可见光图和红外线图像去光晕处理,目的是减少光在空气中传播发生散射的影响。然后求出可见光图的像素值的平均值判断该图像是否需要增强处理。其次利用自适应权值平滑待融合图像提取基底和细节层,最后按扩大融合图像纹理细节的原则作融合处理获得高质量的融合图像。本发明的算法具有以下有益效果:
(1)利用梯度值去除红外图像或微波图像中光晕对图像细节的影响,增加图像的纹理结构,减少图像的模糊性。
(2)利用传统的对数图像增强公式,同时给出判断图像是否需要增强的阈值,提高融合算法的鲁棒性。
(2)提出一种新型图像的基层和细节层的提取算法,并将细节层分为亮细节层和暗细节层分开提取提高了融合图像的细节信息更完整,使融合算法对噪声和异常值具有更稳定的鲁棒性。
(3)提出按扩大融合图像细节纹理原则的融合算法,保证了融合图像的清晰度。
附图说明
图1为本发明实施例一种基于纹理特征的图像融合算法的流程图。
图2为本发明实施例中的人物图像;
图中:(a)人物原图;(b)人物微波图;(c)ADF;(d)GTF;(e)LAP; (f)RP;(g)DWT;(h)CDWT;(i)CT;(j)MST;(k)CP;(l)GT;(m)SAL;(n)SVD; (o)本发明的算法。
图3为本发明实施例中的街道图像;
图中:(a)街道原图;(b)街道红外图;(c)ADF;(d)GTF;(e)LAP; (f)RP;(g)DWT;(h)CDWT;(i)CT;(j)MST;(k)CP;(l)GT;(m)SAL;(n)SVD; (o)本发明的算法。
图4为本发明实施例中的汽车图像;
图中:(a)汽车原图;(b)汽车红外图;(c)ADF;(d)GTF;(e)LAP; (f)RP;(g)DWT;(h)CDWT;(i)CT;(j)MST;(k)CP;(l)GT;(m)SAL;(n)SVD; (o)本发明的算法。
图5为本发明实施例中的门道图像;
图中:(a)门道原图;(b)门道红外图;(c)ADF;(d)GTF;(e)LAP; (f)RP;(g)DWT;(h)CDWT;(i)CT;(j)MST;(k)CP;(l)GT;(m)SAL;(n)SVD; (o)本发明的算法。
图6为本发明实施例中的脑部图像;
图中:(a)脑部MRI原图;(b)脑部CT图;(c)ADF;(d)GTF;(e)LAP; (f)RP;(g)DWT;(h)CDWT;(i)CT;(j)MST;(k)CP;(l)GT;(m)SAL;(n)SVD; (o)本发明的算法。
图7为本发明实施例中的实验室图像;
图中:(a)实验室左聚焦图;(b)实验室左聚焦图;(c)ADF;(d)GTF; (e)LAP;(f)RP;(g)DWT;(h)CDWT;(i)CT;(j)MST;(k)CP;(l)GT;(m)SAL;(n)SVD;(o)本发明的算法。
图8为本发明实施例中的眼球图像;
图中:(a)眼球左聚焦图;(b)眼球右聚焦图;(c)ADF;(d)GTF;(e) LAP;(f)RP;(g)DWT;(h)CDWT;(i)CT;(j)MST;(k)CP;(l)GT;(m)SAL; (n)SVD;(o)本发明的算法。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示,本发明实施例提供了一种基于纹理特征的图像融合算法,包括如下步骤:
S1、判断可见光传感器采集图像是否需要增强处理,若光线较暗则增强处理,反之,则不需要增强处理;具体的:
将图片亮度层的平均像素值115作为判断图像是否要增强处理的阈值,当图像中平均像素值小于阈值则需要增强处理,反之则不用增强处理,满足公式:
Figure BDA0002442819840000081
式中,fav(i,j)表示图像中像素值的平均值,f(i,j)表示原图像素值M,N分别表示图像的行和列;当fav(i,j)>115时,图像无需增强处理;当fav(i,j)<115时,图像需要增强处理。
图像增强公式可以选着增强效果较好的先进算法也可选着传统的增强公式,视实际工程对增强质量和增强工过程中花费的时间要求而定,本申请选择的是对数图像增强公式:
fs(x,y)=b log(f(x,y)+1)
其中,fs(x,y)表示增强后的图像,b表示常数,f(x,y)表示原图。
S2、获取步骤S1所得图像的基层;
S21、首先采用n×n的平滑窗口对可见光传感器拍摄的图像进行遍历处理,判断该窗口内是否存在不同的像素值,如式(2)所示;
Wn×n[f(i+k,j+k)]≠Wn×n[fmean(i,j)]k∈{…-1,1…} (2)
式中,Wn×n为滤波窗口的大小,fmean(i,j)表示窗口中心位置处的像素值;
若存在则将窗口中心值与该窗口内所有像素值比较,平滑窗口内超过半数像素值与窗口中心处像素值相等则判定中心处像素值为正常像素值输出,反之,没有超过平滑窗口内半数像素值与窗口中心处像素值相等则标记为可疑噪声像素Z*(i,j);若平滑窗口内所有像素值相等,则扩大滤波窗口继续判断,直到窗口大小为图像长(M)与宽(N)像素值个数中最小值的窗口为止,其范围为3≤n≤min{N,M};若还没能找到不同像素值,就判定该滤波窗口内无可疑噪声点输出原像素值,如式(3)所示;
Figure BDA0002442819840000091
式中,Z*(i,j)A表示可疑噪声点;
S22、进一步判断可疑噪声,引入噪声判断值P(i,j),并设立阀值K,当 P(i,j)>K时判定该为噪声;反之,当P(i,j)<K时判定为原图像像素值;其数学表达式如式(4)、(5)所示;
PN(i,j)=|255/2-Wn×n[f(i+k,j+k)]|k∈{…-1,1…} (4)
式中,P1,P2…PN表示计算平滑窗口内所有像素值与255/2的差值取绝对值,对求取的P值由小到大排序;k表示一个窗口内像素的位置,如一个9x9大小的窗口,中间位置用f(x,y)表示,则其左上角的像素位置为f(x-1,y-1),与它相邻的像素位置以此类推获得;
Figure BDA0002442819840000101
式中,fmean(i,j)表示该窗口中心位置处的像素的中值,P min(i,j)、P max(i,j)分别表示式(4)做差后绝对值的最小值与做差后绝对值的最大值;
S23、对辐照噪声进行平滑处理,将存在噪声点的平滑滤波窗口内所有像素值进行排序,取像素中值乘以权值w,作为该噪声点的输出像素值fl=(j,j),如式(6)、(7)、(8)所示;
fl(i,j)=Wn×n[fmean(i,j)]·w (6)
式中,fmean(i,j)表示滤波窗口中心位置处的像素值,w表示权值;
Figure BDA0002442819840000102
式中,fmed(i,j)表示滤波窗口内所有元素的中值像素值,c表示滤波窗口内各像素值与滤波窗口内所有像素求得的均值做差后平方的均值;
Figure BDA0002442819840000103
利用公式(6),获得可见光图像和红外线图像的基层。
S3、利用原图减去基层图获得亮像素的细节层,同理利用基层图减去原图获得暗像素细节层,若是非可见光图像,则利用光晕边缘去除细节图像中的光晕获得去光晕后的最终细节图;
S31、在获得图像基层后,利用原图或原图增强图减去基层图获得亮像素的细节层,满足表达式:
fb(i,j)=f(i,j)-fl(i,j) (9)
式中,f(i,j)表示图像原图,公式中减数为增强图像fs(i,j)或原图f(i,j),由公式(2)与阈值决定做比较决定,fb(i,j)表示亮像素的细节层;
S32、利用基层图像减去原图或增强后的原图获得暗像素的细节层,满足表达式:
fd(i,j)=fl(i,j)-f(i,j) (10)
式中,fd(i,j)表示暗像素的细节层;
对于红外线图像的细节层由于有光晕的影响,因此,利用细节层减去光晕边缘,凸显图像的细节,满足表达式:
fbe(i,j)=fb(i,j)-fe(i,j) (11)
式中,fbe(i,j)表示红外线图像的最终亮像素的细节层,fe(i,j)表示红外线光晕边缘;同理求得最终暗像素的细节层fed(i,j)。
所述红外线光晕边缘fe(i,j)通过以下方法求得:
首先计算出图像的像素梯度幅值和其方向值,分别用M(i,j)、θ(i,j)表示,表达式满足:
梯度幅值和其方向值,分别用M(i,j)、θ(i,j)表示,表达式满足:
Figure BDA0002442819840000111
Figure BDA0002442819840000112
其中Gi、Gj数学表达式如下所示:
Gi=fr(x,y)-fr(i+1,j+1) (14)
Gj=fr(x,y+1)-fr(x+1,y) (15)
式中,fr(x,y)表示红外线图像中信息区域边界确定时某一点的像素值;
对计算出的M(i,j)值做非极大值抑制处理,目的是细化不同信息区域边界上的像素点;最后根据细化的M(i,j)值确定出边界,原理是对图像中相邻两个像素点的值变化较大的点作为不同区域分界线的标定点,遍历整幅图像获得不同区域的信息集获得光晕边缘fe(i,j)。
S4、采用加权方式融合各传感器采集图像的基层,满足表达式:
flf(i,j)=0.5fl1(i,j)+0.5fl2(i,j) (16)
式中,fl1(i,j)、fl2(i,j)表示不同传感器采集图像的基础图,flf(i,j)表示基层图融合后的图像;我们采用各取一半像素值进行基层融合,目的是将各图像中信息尽可能的包含到融合图像中。
S5、将步骤S4获得的基层融合图像与亮像素细节层加权相加融合,再与暗细节层加权相减融合,获得最终的融合图像;具体的:
首先利用基层融合图像flf(i,j)加上亮像素的细节图fb(i,j)、fbe(i,j),然后利用第一部分的结果图减去权重为0.5的暗像素的细节图fd(i,j)、fed(i,j),满足公式:
ffusion=flf(i,j)+fb(i,j)+0.5fbe(i,j)-fd(i,j)-0.5fed(i,j) (17)
实验例
图像融合评价指标
熵(H):
图像的信息熵是衡量图像信息丰富程度的一个重要指标,融合图像的熵越大,表示融合图像的信息量越大。对于一幅单独的图像,可以认为其各元素的灰度值是相互独立的样本,则这幅图像的灰度分布为p={p1,p2,pi,pn},pi为灰度值等于i的像素数与图像总像素之比,N为灰度级总数。公式满足:
Figure BDA0002442819840000121
标准差(SD):
标准差反映了灰度相对于灰度均值的离散情况,标准差越大,则灰度级分布越分散凸显纹理细节。公式满足:
Figure BDA0002442819840000122
一般如果标准差较小时刻采用去对数的方法将标准差放大。
清晰度(平均梯度)(AG):
反映图像质量的改进及图像中微小细节反差和纹理变特特征。公式满足:
Figure BDA0002442819840000131
式中:Δxf(i,j)=f(i,j)-f(i-1,j),Δyf(i,j)=f(i,j)-f(i,j-1)分别表示为f(i,j)沿 x和y方向的差分。
空间频率(SF):
反映了一幅图像空间域的总体活跃程度,公式满足:
Figure BDA0002442819840000132
式(29)中,RF为空间行频率,CF为空间列频率,满足:
Figure BDA0002442819840000133
Figure BDA0002442819840000134
对比算法
为了验证本发明的算法的性能,我们设计了两组实验,第一组是不同类型的传感器采集的图像融合实验,第二组是相同类型的传感器采集的图像融合实验。分别从主观评价和客观评价两方面进行验证,其中客观比较采用目前较为成熟图像融合算法和近年来学者的研究成果作为本发明的算法的对比算法包括基于各向异性扩散和Karhunen-LoeveTransform的图像融合(Fusion of lmages Basedon Anisotropic DiflusionandKarhunen-Loeve Transform,ADF)、基于梯度变换的融合方法(Fusion method based ongradient Transformation,GTF)、拉普拉斯金字塔压缩图像编码(The laplacian pyramidas a compact image code,LAP)、一种低通金字塔比的图像融合方法(lmage fusion by aratio of low pass pyramid,RP)、通过取近似和细节的平均值进行融合(fusion bytaking the mean for both approximations and details,DWT)、基于像素和区域的复小波图像融合(Pixel-and region-based image fusion with complex wavelets,CDWT)、基于曲线变换的遥感图像融合(Remote sensing image fusion using the curvelettransform,CT)、基于多尺度变换和稀疏表示的图像融合通用框架(A general frameworkfor image fusion based on multi-scale transform and sparse representation,MST)、基于对比度金字塔的图像融合(image fusion based on contrast pyramid,CP)、基于梯度金字塔的图像融合(image fusion based on gradient pyrami,GT)、基于显着地图的图像融合(image fusion based on salient map,SAL)、基于多分辨率奇异值分解的图像融合技术(lmage Fusion technique using Multi-resolution singular Valuedecomposition,SVD)。
(1)不同类型传感器采集的图像融合实验
表1不同类型传感器采集的图像融合实验客观评价值和运行时间
Figure BDA0002442819840000141
Figure BDA0002442819840000151
分析图2和表1中人物图像的客观评价值,该图像是可见光图像与微波图像融合的实验图像。其中可见光图像反映的信息是三位并排坐着的人,微波图像反映的信息是人体轮廓和右边人物胸怀中武器轮廓。GTF、RP、CP对两种图像融合后得到的图像如图1中图(d)、(f)、(k)所示,GTF仅反映了部分场景信息,RP无法反映出武器的位置信息并且图像中含有光斑影响对图像的观察,CP无法反映出人脸和场景信息同时也没有反映出武器的位置信息。LAP、 DWT、CDWT、CT、MST、GT、SAL、SVD与本发明的算法都能清晰的反映出武器的位置,但在反映场景细节和清晰度上本发明的算法最优。客观评价值上本发明的算法除了运行时间为11.33秒较长外,其余评价值均优于其余算法。
分析图3和表1中街道图像的客观评价值,该图像是街道的可见光图像和街道的红外线图像融合的实验图像。如图3中(c)是ADF融合的结果图像,可以看到图中文字较为模糊,场景也模糊和暗淡。其余算法文字相对较清晰,但与本发明的算法对比,如图3中(o)所示,本发明的算法能反映出街道中人物的动作和手中物品细节、街道建筑物的细节和街边文字下方桌椅的细节,其余算法融合结果图对街边场景细节的反映都比较模糊。客观评价值本发明的算法消耗时间较长,但其余评价值均最优。
分析图4和表1中汽车图像的客观评价值,MST融合图像的熵(H)值最优达到7.63,GTF融合图像的标准差(SD)值最高达到58.67,本发明的算法在清晰度和空间频域的评价值最高分别为5.26和14.37。再看主观评价中MST 融合效果图如图4中(j)所示,图像中出现了明显的光晕现象,同时红外图像部分的强度过强导致可见光图像的细节被掩盖,因此造成客观评价值熵较大。观察图4中(d)是GTF的融合结果图,明显看到图像较模糊,大部分细节被平滑或消失,导致GTF融合图像的标准差(SD)值高于其他算法。ADF、LAP、 CDWT、CT、SAL能反映出地面纹理信息,但没有反映出汽车车身的纹理信息,反之,RP、CP能反映出汽车车身纹理信息,但没有反映出地面纹理信息。本发明的算法不但能反映出地面纹理信息和汽车车身纹理信息,而且对整个环境的纹理信息的反映和汽车发热部分信息的反映都很明显,凸显了本发明的算法的优势。
分析图5和表1中门道图像的客观评价值,可以看到本发明的算法的客观评价值中标准差(SD)的值为40.77低于MST的56.01,但本发明的算法在信息熵(H)、清晰度(AG)和空间频率(SF)等评价值均高于其他算法。在结合主观评价,观察MST的融合结果图像如图5中(j)所示,图像能反映出目标位置信息和地面纹理信息但光晕现象非常明显,导致MST客观评价值标准差(SD) 高于本发明的算法。GTF、RP、CP融合结果图像质量较差,尤其是在反映天空的细节上。CDWT、CT、GT融合结果图中重影较为严重。SAL融合结果图出现了重影、光晕和部分场景过于黑暗。ADF、LAP、DWT、SVD融合结果图没有上述缺陷,但是与本发明的算法相比,在场景细节上没有本发明的算法突出,如路面纹理、道路两边的植被纹理。
分析图6与表1中脑部图像的客观评价值,是脑部核磁共振图像(MRI)与电子计算机断层扫描图像(CT),首先观察客观平均值,可以看到SCD的信息熵(H)评价值为6.55高于本发明的算法的6.31,CP的空间频率(SF)值为 18.26高于本文算的17.45,但本发明的算法在清晰度(AG)和标准差(SD) 的客观评价值上最优。结合主观评价首先观察图6中(m)、(o),虽然SCD在信息熵(H)的评价值优于本发明的算法,但在反映大脑组织纹理和图像顶部轮廓,SCD没有本发明的算法清晰。在观察图6中图(k),虽然CP图像的空间频率(SF)值高于本发明的算法,但是可以明显看到CP融合的结果图只反映出电子计算机断层扫描图像(CT)信息没有反映出核磁共振图像(MRI)的信息。如图6中图(j)所示仅MST融合结果图较完整的反映出两种图像的信息,但与本发明的算法融合结果图(o)相比,图像顶部轮廓和大脑两边和中间的脑部组织纹理,本发明的算法更优。本发明的算法消耗时间2.51秒,高于其他算法。
(2)同类型传感器采集的图像融合实验
表2同类型传感器采集的图像融合实验客观评价值和运行时间
Figure BDA0002442819840000171
分析图7和表2中实验室图像,该图像是在同一场景下不同聚焦目标图像。左聚焦图像是左边清晰右边模糊,反之,右聚焦图像是右边清晰左边模糊。首先分析表2实验室图像部分,可以看到信息熵(H)客观平均值最高的是SAL,标准差(SD)、清晰度(AG)和空间频率(SF)客观评价值均是本发明的算法最高,运算时间最短的算法是LAP。结合主观图像,图7中图(m)表示SAL 融合结果,与本发明的算法的融合结果图(o)比较,本发明的算法融合结果图像清晰度较高,不但能去除原本图像中各自模糊的部分,还将原本图像中无法观察到的纹理信息凸显了出来,如图7中钟表数字、人物衣服纹理、桌面纹理和电脑显示器中文字纹理,其余算法融合结果图像场景纹理都较模糊细节纹理很难辨识。
分析图8和表2中眼球图像,该图像表示在显微镜下不同焦距下的同一眼球图像。分析表2中眼球图像的客观评价值,GT的信息熵(H)的评价值最高到达7.23,时间评价值最小的是LAP,其余客观评价值均是本发明的算法最优。观察GT的融合结果图像(I),虽然信息熵客观评价值最高但是与其他算法相比,血管纹理和眼球表明纹理都比较模糊。再观察本发明的算法的融合结果图像(o),无论是眼球血管纹理还是眼球表面纹理都被清晰的反映出。为观察眼球病变部位提供了清晰的位置信息。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种基于纹理特征的图像融合算法,其特征在于:包括如下步骤:
S1、判断可见光传感器采集图像是否需要增强处理,若光线较暗则增强处理,反之,则不需要增强处理;
S2、获取步骤S1所得图像的基层;
S3、利用原图减去基层图获得亮像素的细节层,同理利用基层图减去原图获得暗像素细节层,若是非可见光图像,则利用光晕边缘去除细节图像中的光晕获得去光晕后的最终细节图;
S4、采用加权方式融合各传感器采集图像的基层;
S5、将步骤S4获得的基层融合图像与亮像素细节层加权相加融合,再与暗细节层加权相减融合,获得最终的融合图像。
2.如权利要求1所述的一种基于纹理特征的图像融合算法,其特征在于:所述步骤S1中,将图片亮度层的平均像素值115作为判断图像是否要增强处理的阈值,当图像中平均像素值小于阈值则需要增强处理,反之则不用增强处理,满足公式:
Figure FDA0002442819830000011
式中,fav(i,j)表示图像中像素值的平均值,f(i,j)表示原图像素值M,N分别表示图像的行和列;当fav(i,j)>115时,图像无需增强处理;当fav(i,j)<115时,图像需要增强处理。
3.如权利要求1所述的一种基于纹理特征的图像融合算法,其特征在于:所述步骤S2具体包括如下步骤:
S21、首先采用n×n的平滑窗口对可见光传感器拍摄的图像f(x,y),若是增强后的图像则为fs(x,y)进行遍历处理,判断该窗口内是否存在不同的像素值,如式(2)所示;
Wn×n[f(i+k,j+k)]≠Wn×n[fmean(i,j)]k∈{…-1,1…} (2)
式中,Wn×n为滤波窗口的大小,fmean(i,j)表示窗口中心位置处的像素值;
若存在则将窗口中心值与该窗口内所有像素值比较,平滑窗口内超过半数像素值与窗口中心处像素值相等则判定中心处像素值为正常像素值输出,反之,没有超过平滑窗口内半数像素值与窗口中心处像素值相等则标记为可疑噪声像素Z*(i,j);若平滑窗口内所有像素值相等,则扩大滤波窗口继续判断,直到窗口大小为图像长(M)与宽(N)像素值个数中最小值的窗口为止,其范围为3≤n≤min{N,M};若还没能找到不同像素值,就判定该滤波窗口内无可疑噪声点输出原像素值,如式(3)所示;
Figure FDA0002442819830000021
式中,Z*(i,j)A表示可疑噪声点;
S22、进一步判断可疑噪声,引入噪声判断值P(i,j),并设立阀值K,当P(i,j)>K时判定该为噪声;反之,当P(i,j)<K时判定为原图像像素值;其数学表达式如式(4)、(5)所示;
PN(i,j)=|255/2-Wn×n[f(i+k,j+k)]| k∈{…-1,1…} (4)
式中,P1,P2…PN表示计算平滑窗口内所有像素值与255/2的差值取绝对值,对求取的P值由小到大排序,k表示一个窗口内像素的位置,如一个9x9大小的窗口,中间位置用f(x,y)表示,则其左上角的像素位置为f(x-1,y-1),与它相邻的像素位置以此类推获得;
Figure FDA0002442819830000022
式中,fmean(i,j)表示该窗口中心位置处的像素的中值,Pmin(i,j)、Pmax(i,j)分别表示式(4)做差后绝对值的最小值与做差后绝对值的最大值;
S23、对辐照噪声进行平滑处理,将存在噪声点的平滑滤波窗口内所有像素值进行排序,取像素中值乘以权值w,作为该噪声点的输出像素值fl(i,j),如式(6)、(7)、(8)所示;
fl(i,j)=Wn×n[fmean(i,j)]·w (6)
式中,fmean(i,j)表示滤波窗口中心位置处的像素值,w表示权值;
Figure FDA0002442819830000031
式中,fmed(i,j)表示滤波窗口内所有元素的中值像素值,c表示滤波窗口内各像素值与滤波窗口内所有像素求得的均值做差后平方的均值;
Figure FDA0002442819830000032
式中,n为窗口的维度;利用公式(6),获得可见光图像和红外线图像的基层。
4.如权利要求1所述的一种基于纹理特征的图像融合算法,其特征在于:所述步骤S3具体包括如下步骤:
S31、在获得图像基层后,利用原图或原图增强图减去基层图获得亮像素的细节层,满足表达式:
fb(i,j)=f(i,j)-fl(i,j) (9)
式中,f(i,j)表示图像原图,公式中减数为增强图像fs(i,j)或原图f(i,j),由公式(2)与阈值决定做比较决定,fb(i,j)表示亮像素的细节层;
S32、利用基层图像减去原图或增强后的原图获得暗像素的细节层,满足表达式:
fd(i,j)=fl(i,j)-f(i,j) (10)
式中,fd(i,j)表示暗像素的细节层;
对于红外线图像的细节层由于有光晕的影响,因此,利用细节层减去光晕边缘,凸显图像的细节,满足表达式:
fbe(i,j)=fb(i,j)-fe(i,j) (11)
式中,fbe(i,j)表示红外线图像的最终亮像素的细节层,fe(i,j)表示红外线光晕边缘;同理求得最终暗像素的细节层fed(i,j)。
5.如权利要求4所述的一种基于纹理特征的图像融合算法,其特征在于:所述红外线光晕边缘fe(i,j)通过以下方法求得:
首先计算出图像的像素梯度幅值和其方向值,分别用M(i,j)、θ(i,j)表示,表达式满足:
梯度幅值和其方向值,分别用M(i,j)、θ(i,j)表示,表达式满足:
Figure FDA0002442819830000041
Figure FDA0002442819830000042
其中Gi、Gj数学表达式如下所示:
Gi=fr(x,y)-fr(i+1,j+1) (14)
Gj=fr(x,y+1)-fr(x+1,y) (15)
式中,fr(x,y)表示红外线图像中信息区域边界确定时某一点的像素值;
对计算出的M(i,j)值做非极大值抑制处理,目的是细化不同信息区域边界上的像素点;最后根据细化的M(i,j)值确定出边界,原理是对图像中相邻两个像素点的值变化较大的点作为不同区域分界线的标定点,遍历整幅图像获得不同区域的信息集获得光晕边缘fe(i,j)。
6.如权利要求1所述的一种基于纹理特征的图像融合算法,其特征在于:所述步骤S4采用加权的方式对不同传感器获得的图像进行基层融合满足表达式:
flf(i,j)=0.5fl1(i,j)+0.5fl2(i,j) (16)
式中,fl1(i,j)、fl2(i,j)表示不同传感器采集图像的基础图,flf(i,j)表示基层图融合后的图像;我们采用各取一半像素值进行基层融合,目的是将各图像中信息尽可能的包含到融合图像中。
7.如权利要求1所述的一种基于纹理特征的图像融合算法,其特征在于:所述步骤S5首先利用基层融合图像flf(i,j)加上亮像素的细节图fb(i,j)、fbe(i,j),然后利用第一部分的结果图减去权重为0.5的暗像素的细节图fd(i,j)、fed(i,j),满足公式:
ffusion=flf(i,j)+fb(i,j)+0.5fbe(i,j)-fd(i,j)-0.5fed(i,j) (17)。
CN202010271482.XA 2020-04-08 2020-04-08 一种基于纹理特征的图像融合算法 Active CN111507913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010271482.XA CN111507913B (zh) 2020-04-08 2020-04-08 一种基于纹理特征的图像融合算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010271482.XA CN111507913B (zh) 2020-04-08 2020-04-08 一种基于纹理特征的图像融合算法

Publications (2)

Publication Number Publication Date
CN111507913A true CN111507913A (zh) 2020-08-07
CN111507913B CN111507913B (zh) 2023-05-05

Family

ID=71878695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010271482.XA Active CN111507913B (zh) 2020-04-08 2020-04-08 一种基于纹理特征的图像融合算法

Country Status (1)

Country Link
CN (1) CN111507913B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612716A (zh) * 2020-05-20 2020-09-01 四川轻化工大学 一种图像增强的方法
CN112102217A (zh) * 2020-09-21 2020-12-18 四川轻化工大学 一种可见光图像与红外图像快速融合方法及系统
CN114782464A (zh) * 2022-04-07 2022-07-22 中国人民解放军国防科技大学 基于目标区域局部增强的反射层析激光雷达图像分割方法
CN115115554A (zh) * 2022-08-30 2022-09-27 腾讯科技(深圳)有限公司 基于增强图像的图像处理方法、装置和计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268847A (zh) * 2014-09-23 2015-01-07 西安电子科技大学 一种基于交互非局部均值滤波的红外与可见光图像融合方法
CN107909560A (zh) * 2017-09-22 2018-04-13 洛阳师范学院 一种基于SiR的多聚焦图像融合方法及系统
US20190005630A1 (en) * 2016-03-09 2019-01-03 Huawei Technologies Co., Ltd. High Dynamic Range Image Processing Method and Apparatus
CN110175959A (zh) * 2019-05-20 2019-08-27 南京信息工程大学 一种台风云图增强方法
CN110189284A (zh) * 2019-05-24 2019-08-30 南昌航空大学 一种红外与可见光图像融合方法
CN110490914A (zh) * 2019-07-29 2019-11-22 广东工业大学 一种基于亮度自适应和显著性检测的图像融合方法
AU2020100199A4 (en) * 2020-02-08 2020-03-19 Cao, Sihua MR A medical image fusion method based on two-layer decomposition and improved spatial frequency

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268847A (zh) * 2014-09-23 2015-01-07 西安电子科技大学 一种基于交互非局部均值滤波的红外与可见光图像融合方法
US20190005630A1 (en) * 2016-03-09 2019-01-03 Huawei Technologies Co., Ltd. High Dynamic Range Image Processing Method and Apparatus
CN107909560A (zh) * 2017-09-22 2018-04-13 洛阳师范学院 一种基于SiR的多聚焦图像融合方法及系统
CN110175959A (zh) * 2019-05-20 2019-08-27 南京信息工程大学 一种台风云图增强方法
CN110189284A (zh) * 2019-05-24 2019-08-30 南昌航空大学 一种红外与可见光图像融合方法
CN110490914A (zh) * 2019-07-29 2019-11-22 广东工业大学 一种基于亮度自适应和显著性检测的图像融合方法
AU2020100199A4 (en) * 2020-02-08 2020-03-19 Cao, Sihua MR A medical image fusion method based on two-layer decomposition and improved spatial frequency

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李博博;马泳;张晓晔;樊凡;: "基于BMA滤波器和边缘的红外与可见光图像融合" *
李博博;马泳;张晓晔;樊凡;: "基于BMA滤波器和边缘的红外与可见光图像融合", 红外技术 *
赵建章: "基于FPGA的红外图像采集与分层增强处理技术研究" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612716A (zh) * 2020-05-20 2020-09-01 四川轻化工大学 一种图像增强的方法
CN111612716B (zh) * 2020-05-20 2022-09-02 四川轻化工大学 一种图像增强的方法
CN112102217A (zh) * 2020-09-21 2020-12-18 四川轻化工大学 一种可见光图像与红外图像快速融合方法及系统
CN112102217B (zh) * 2020-09-21 2023-05-02 四川轻化工大学 一种可见光图像与红外图像快速融合方法及系统
CN114782464A (zh) * 2022-04-07 2022-07-22 中国人民解放军国防科技大学 基于目标区域局部增强的反射层析激光雷达图像分割方法
CN114782464B (zh) * 2022-04-07 2023-04-07 中国人民解放军国防科技大学 基于目标区域局部增强的反射层析激光雷达图像分割方法
CN115115554A (zh) * 2022-08-30 2022-09-27 腾讯科技(深圳)有限公司 基于增强图像的图像处理方法、装置和计算机设备
CN115115554B (zh) * 2022-08-30 2022-11-04 腾讯科技(深圳)有限公司 基于增强图像的图像处理方法、装置和计算机设备

Also Published As

Publication number Publication date
CN111507913B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN111507913A (zh) 一种基于纹理特征的图像融合算法
Li et al. Image fusion with guided filtering
Yan et al. Injected infrared and visible image fusion via $ l_ {1} $ decomposition model and guided filtering
CN105976330B (zh) 一种嵌入式雾天实时视频稳像方法
Zhu et al. Multiscale infrared and visible image fusion using gradient domain guided image filtering
CN113837974B (zh) 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法
CN104036455B (zh) 基于二代小波的红外图像细节增强方法
Wang et al. Low-light image joint enhancement optimization algorithm based on frame accumulation and multi-scale Retinex
Kwok et al. Visual impact enhancement via image histogram smoothing and continuous intensity relocation
CN106157264B (zh) 基于经验模式分解的大幅面图像不均匀光照校正方法
CN112215787B (zh) 基于显著度分析及自适应滤波器的红外和可见光图像融合方法
Luo et al. Infrared and visible image fusion based on visibility enhancement and hybrid multiscale decomposition
Zhao et al. Infrared and visible image fusion algorithm based on saliency detection and adaptive double-channel spiking cortical model
Karalı et al. Adaptive image enhancement based on clustering of wavelet coefficients for infrared sea surveillance systems
Junwu et al. An infrared and visible image fusion algorithm based on LSWT-NSST
CN113592729A (zh) 基于nsct域的电力设备红外图像增强方法
Cheng et al. Adaptive fusion framework of infrared and visual image using saliency detection and improved dual-channel PCNN in the LNSST domain
CN111815550A (zh) 一种基于灰度共生矩阵的红外与可见光图像融合方法
Shen et al. RETRACTED: A novel Gauss-Laplace operator based on multi-scale convolution for dance motion image enhancement [EAI Endorsed Scal Inf Syst (2022), Online First]
Yang et al. Infrared and visible image fusion based on QNSCT and Guided Filter
Tan et al. Infrared image enhancement algorithm based on detail enhancement guided image filtering
Xie et al. Infrared and visible image fusion based on NSST and phase consistency adaptive DUAL channel PCNN
CN112288644A (zh) 一种基于图像分层的实时高效红外图像细节增强方法
Kim et al. Detail restoration and tone mapping networks for x-ray security inspection
Zhu et al. Near-infrared and visible fusion for image enhancement based on multi-scale decomposition with rolling WLSF

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant