基于三元数小波变换的彩色图像融合系统及方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种色彩图像融合系统及方法。
背景技术
图像融合(Image Fusion)是指将具有信息互补的多源信道所采集到的关于同一场景的图像信息加以综合,利用数学算法及特定的图像处理和计算机技术等,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像,以获得新的关于此场景更准确的描述。图像融合的主要目的是减少由单一成像传感器所获取的图像信息的不确定性,它通过对多幅图像间信息的互补来提高图像信息的利用率、提升原始图像的空间分辨率和光谱分辨率,为后续的决策提供更可靠的信息来源。
自上个世纪80年代以来,图像融合领域已经有了很多方案,但这些方案以灰度图像融合算法居多,而彩色图像的融合算法相对较少,仍处于起步阶段。
目前彩色图像融合算法主要有分通道方法、基于颜色空间方法、基于主分量分析的方法。
彩色图像融合中重要的评价指标是融合图像的色彩还原度高、图像清晰。然而这些方案都存在这融合图像失真的问题。
分通道方法是把彩色图像的R、G、B通道看成灰度图像,用灰度图像的融合方法分别对两幅图像的对应颜色分量进行融合,然后把融合后的三个通道数据拟合到一起形成彩色图像。该方法的最大缺点是存在颜色失真。
基于颜色空间的融合方法能够部分解决颜色失真问题。基于颜色空间的融 合方法把彩色图像从RGB颜色空间变换到IHS颜色空间,然后对I分量采用灰度图像融合策略得到新的I分量,再利IHS反变换来得到融合后的彩色图像。之所以采取这种方法主要是由于I分量与图像的色彩分量无关,H分量和S分量与人感受色彩的方式是紧密相连的。这使得IHS颜色模型非常适合于借助人的视觉系统来感知彩色特性的图像处理算法。尽管该方法能够部分解决颜色失真问题,但融合后的彩色图像存在一定的模糊失真,局部会出现马赛克效应。
基于主分量分析(PCA)的彩色图像融合技术借助于数学上的子空间概念,把图像投影到低维子空间,在子空间进行相应的融合操作,然后再通过适当的算法重构出融合后的彩色图像。然而,该方法的主要缺点是颜色失真大,在高光谱图像融合领域有应用,但是在彩色图像融合上只能提高融合图像的分辨率。
发明内容
针对上述问题,本发明旨在提供一种基于三元数小波变换的色彩图像融合系统及方法,其通过三元数矩阵对彩色图像进行建模,来实现彩色图像的整体处理,同时,通过三元数小波变换,利用变换在变换域进行彩色图像融合,以此解决图像颜色失真以及图像模糊的技术问题。
本发明提供的技术方案如下:
一种基于三元数小波变换的彩色图像融合方法,包括如下步骤:
步骤S1:获取待融合图像,并使用三元数矩阵对获取的待融合图像进行建模;
步骤S2:对所述三元矩阵构建三元数小波变换函数;
步骤S3:获取待融合图像的三元数多分辨率分析结果;
步骤S4:确定融合规则,获取融合后图像的三元数分辨率分析结果;
步骤S5:获取融合后图像。
优选地,所述步骤S1中使用三元数矩阵对获取的待融合图像进行建模的公式如下:
其中,“I”是待融合图像的建模矩阵,“I(1,1)”-“I(m,n)”是建模矩阵中的所有矩阵元素;
其中,矩阵元素是由待融合图像的R、G和B通道颜色分量构成,具体公式如下:
I(x,y)=IR(x,y)+IG(x,y)·i+IB(x,y)·j
其中,“I(x,y)”是“I(1,1)”-“I(m,n)”矩阵元素的计算函数,“x”是1~m中任一整数,“y”是1~n中任一整数,“IR(x,y),IG(x,y),IB(x,y)”分别是待融合图像的R、G和B颜色分量,“i”和“j”是三元数的虚数单位;“i”和“j”满足如下条件:
i2=j2=-1;i·j=0
优选地,所述步骤S2中对所述三元矩阵构建三元数小波变换函数的公式如下:
其中,“TWTI(a,b)”是三元数小波变换结果,“a”是尺度因子;a=2P,“P”是任意整数,“b”是沿x轴和y轴方向的平移因子;b=(b1,b2);0≤b1≤n;0≤b2≤m。
优选地,所述步骤S3中获取待融合图像的三元数多分辨率分析结果,包括 获取待融合图像的粗尺度系数和待融合图像的细尺度系数。
优选地,所述步骤S3中获取待融合图像的粗尺度系数和待融合图像的细尺度系数的方法包括如下步骤:
步骤S301:构建离散形式的三元数小波函数;
步骤S302:将步骤S301中构建离散形式的三元数小波代入步骤S2的三元数小波变换公式中。
优选地,所述步骤S301中构建离散形式的三元数小波函数包括:
计算粗尺度系数时,构建离散形式的三元数小波函数,公式如下:
计算细尺度系数时,构建离散形式的三元数小波函数,公式如下:
其中,
和/或,
所述步骤S302中构建离散形式的三元数小波函数代入步骤S2的三元数小波变换公式中的方法包括如下步骤:
步骤S30201:将构建的离散形式的三元小波函数代入三元小波变换公式进行第一层分解变换,分别得到x轴方向以及y轴方向和对角线方向的三元数值小波系数和一个三元数值尺度系数矩阵;
步骤S30202:将步骤30201中获得的一个三元数值尺度系数矩阵通过构建的离散形式的三元小波函数以及三元小波变换公式进行第二层分解变换,分别得到x轴方向以及y轴方向和对角线方向的三元数值小波系数和一个三元数值尺度系数矩阵;
步骤S30203:将步骤30202中获得的一个三元数值尺度系数矩阵通过构建的离散形式的三元小波函数以及三元小波变换公式进行第三层分解变换,分别得到x轴方向以及y轴方向和对角线方向的三元数值小波系数和一个三元数值尺度系数矩阵。
优选地,所述步骤S4中确定融合规则的方法包括:
选取步骤S3中获取的待融合图像的所有粗尺度系数中最小的粗尺度系数,作为待融合图像融合后的粗尺度系数;
选取步骤S3中获取的待融合图像的所有细尺度系数中最大的细尺度系数,作为待融合图像融合后的细尺度系数。
优选地,所述步骤S5中获取融合后图像的方法包括:
对三元数小波变换函数进行逆变,获得融合后图像;
具体公式如下:
其中,“a1”和“a2”是尺度变量,“a=(a1,a2)”,“CΨ”是容许条件;“CΨ”计算公式如下:
其中,“u”和“v”是频域变量。
一种基于三元数小波变换的色彩图像融合系统,包括图像输入接口电路、图像融合芯片、控制芯片、第一存储芯片、第二存储芯片以及显示芯片;其中,
所述控制芯片,分别与所述图像融合芯片和显示芯片连接,所述控制芯片用于控制所述图像融合芯片和所述显示芯片的工作;
所述图像输入接口电路,用于输入待融合图像;
所述图像融合芯片,与所述图像输入接口电路连接,所述图像融合芯片对所述待融合图像进行三元数小波变换及融合处理生成融合图像;
所述第一存储芯片,与所述图像融合芯片连接,所述第一存储芯片用于存储所述图像融合芯片处理所述待融合图像生成的融合数据;
所述第二存储芯片,与所述控制芯片连接,所述第二存储芯片用于存储所述图像融合芯片对所述待融合图像进行三元数小波变换生成的辅助系数;
所述显示芯片,与所述控制芯片连接,所述显示芯片用于显示生成的融合图像和融合数据。
优选地,所述图像融合芯片为CPLD芯片;
和/或,
所述控制芯片为ARM芯片。
优选地,所述图像输入接口电路为相机接口电路;
和/或,
所述第一存储芯片为SRAM芯片;
和/或,
所述第二存储芯片为Flash芯片。
优选地,在所述第一存储芯片中,所述融合数据包括:所述图像融合芯片处理所述待融合图像生成的三元数粗尺度系数、三元数细尺度系数、融合图像的系数以及生成的融合图像。
优选地,所述基于三元数小波变换的色彩图像融合系统中还包括与所述控制芯片连接的硬件接口电路,实现所述控制芯片与外界硬件的通信连接。
通过本发明提供的基于三元数小波变换的色彩图像融合系统及方法,能够 带来以下至少一种有益效果:
1.在本发明中,通过构建全新的技术架构,以三元数矩阵对待融合图像进行建模,来实现图像的整体处理。运用三元数小波变换,利用变换在变换域进行图像融合,从根本上解决图像颜色融合后失真以及模糊的技术问题。
2.在本发明中,采用图像的R、G和B颜色分量结合三元数的虚数单元计算矩阵元素值的技术方案,能够有效克服融合图像的颜色失真问题。
3.在本发明中,利用三元数小波对图像进行三层分解的技术方案,可以获得质量很高的融合图像。
4.在本发明中,通过将待融合图像的最小粗尺度系数和最大细尺度系数作为融合后图像的粗尺度系数和细尺度系数的技术方案,可以增加对比度,突出融合图像的细节信息。
5.在本发明中,由于整个融合过程不设计分通道处理,而采用粗尺度系数和细尺度系数,能够最大限度的避免融合图像的颜色失真。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施方式,对一种滑梯与画架转换装置的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明中基于三元数小波变换的色彩图像融合系统的示意图;
图2是本发明中基于三元数小波变换的色彩图像融合方法的步骤图;
图3是本发明中基于三元数小波变换的色彩图像融合方法的具体实施例图;
图4是本发明中基于三元数小波变换的色彩图像融合方法的另一具体实施例图;
附图标记:
1-图像输入接口电路;2-图像融合芯片;3-控制芯片;4-第一存储芯片;5-第二存储芯片;6-显示芯片;7-硬件接口电路。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
为使图面简洁,各图中的只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。
如图1所示为本发明提供的一种基于三元数小波变换的色彩图像融合系统示意图,系统包括:图像输入接口电路1、图像融合芯片2、控制芯片3、第一存储芯片4、第二存储芯片5以及显示芯片6;其中,
控制芯片3,分别与图像融合芯片2和显示芯片6连接,控制芯片3用于控制图像融合芯片2和显示芯片6的工作;
图像输入接口电路1,用于输入待融合图像;
图像融合芯片2,与图像输入接口电路1连接,图像融合芯片2对待融合图像进行三元数小波变换及融合处理生成融合图像;
第一存储芯片4,与图像融合芯片2连接,第一存储芯片4用于存储图像融合芯片处理待融合图像生成的融合数据;
第二存储芯片5,与控制芯片3连接,第二存储芯片5用于存储图像融合芯片对待融合图像进行三元数小波变换生成的辅助系数;
显示芯片6,与控制芯片3连接,显示芯片6用于显示生成的融合图像和融合数据;
具体来说,本系统中可以用相机作为图像采集工具,将相机与图像输入接口电路1连接,相机所采集的原始待融合图像输入到起图像融合作用的可编程逻辑器件(CPLD)芯片内部。CPLD芯片采用Altera公司的Max V系列的5M2210ZF256I5N,该芯片具有2210个逻辑单元以及丰富的I/O接口。运用三星公司的S3C2440型号的ARM芯片作为控制芯片3,完成对存储芯片以及显示芯片6的控制。由于图像融合过程中需要对待融合图像、处理过程中的图像以及融合后的图像进行保存,所以采用第一存储芯片4对上述图像进行存储。同时在融合图像的过程中,会产生三元数小波变换的一些辅助系数,例如:粗尺度系数以及细尺度系数等,这些系数也需要实时保存,所以采用第二存储芯片5对上述辅助系数进行存储。第一存储芯片4可以采用同步动态随机存储器(SDRAM),第二存5储芯片可以采用Flash芯片。本系统还包括与控制芯片3连接的硬件接口电路7,实现控制芯片3与外界硬件的通信连接。
如图2所示为本发明提供的一种基于三元数小波变换的彩色图像融合方法,包括如下步骤:
步骤S1:获取待融合图像,并使用三元数矩阵对获取的待融合图像进行建模;
步骤S2:对所述三元矩阵构建三元数小波变换函数;
步骤S3:获取待融合图像的三元数多分辨率分析结果;
步骤S4:确定融合规则,获取融合后图像的三元数分辨率分析结果;
步骤S5:获取融合后图像。
具体来说,第一步通过硬件部分获取待融合图像,获取后,通过三元数矩阵对待融合图像进行建模,假设图像I的分辨率是m行和列。图像I的分辨率建模如下:
(公式1)
其中,I(1,1),I(1,2)…I(m,n)是整个矩阵中的每个元素,函数I(x,y)可计算每个元素,函数中x=1,2,3,…,m;y=1,2,3,…,n;计算公式如下:
I(x,y)=IR(x,y)+IG(x,y)·i+IB(x,y)·j(公式2)
其中,R、G和B彩色图像的通道颜色分量,i,j是两个满足如下条件的三元数虚数单位:
i2=j2=-1;i·j=0(公式3)
由公式可以看出,每个矩阵元素是由彩色图像的R、G和B通道颜色分量以及虚数单位组合构成。
第二步,三元数矩阵构筑完成后,根据矩阵构建三元数小波变换函数,该函数用于对构建的三元数矩阵进行处理,实现对图像的三元数多分辨率分析,并得到一系列用于图像融合的系数。三元数小波变换函数公式如下:
(公式4)
其中,φ(·,·)是三元数小波函数,a是尺度因子;a=2P;P为任意整数,b=(b1,b2)是沿x轴和y轴方向的平移因;0≤b1≤n;0≤b2≤m。
第三步,通过上述公式4对待融合的图像的I(x,y)的三元数的分辨率进行 分析,并获得分析结果。
进一步地,第三步主要是获得对待融合的图像的I(x,y)的一系列粗尺度系数以及一系列细尺度系数。
进一步地,获得上述系数的方法包括如下步骤(如图2):
步骤S301:构建离散形式的三元数小波函数;
步骤S302:将步骤S301中构建离散形式的三元数小波代入步骤S2的三元数小波变换公式中;
其中,步骤S301和步骤S302是对图1中步骤S3的进一步具体化。
我们分别构建两个离散形式的三元数小波函数,一个用于计算粗尺度系数;具体公式如下:
(公式5)
一个用于计算细尺度系数;具体公式如下:
(公式6)
其中,
进一步地,我们把公式5、公式6带入公式4中进行一次变换可以得到x轴方向、y轴方向和对角线方向的三元数值小波系数和一个三元数值尺度系数,这一过程我们称为利用三元数小波对彩色图像进行第一层分解。实际上,第一层分解中所得到的小波系数和尺度系数是m/2行,n/2列的三元数矩阵;例如:假设原始图像的分辨率是512*512,第一次分解所得到的尺度系数和x轴方向、Y轴方向以及对角线方向三元数值小波系数;分别构成256*256的三元数值尺度系数矩阵。接下来,对生成的尺度系数矩阵再一次利用公式4、公式5和公式6来进行变换,得到三个小波系数和一个尺度系数,他们都是m/4行,n/4列的三 元数矩阵,这就是第二层分解。最后,对第二层分解得到的尺度系数再一次利用公式4、公式5和公式6来进行变换,得到三个小波系数和一个尺度系数,他们都是m/8行,n/8列的三元数矩阵。根据经验,我们只需进行三层分解就可得到质量很高的融合图像。
第四步,确定融合规则,运用融合规则,通过待融合图像的分辨率分析结果,得到融合后图像三元数分辨率分析结果。
进一步地,我们选取步骤S3中获取的待融合图像的所有粗尺度系数中最小的粗尺度系数,作为待融合图像融合后的粗尺度系数;
选取步骤S3中获取的待融合图像的所有细尺度系数中最大的细尺度系数,作为待融合图像融合后的细尺度系数。
这么选取的目的有助于增加对比度,突出融合图像的细节信息。同时,整个算法并不涉及分通道处理,粗尺度系数和细尺度系数本身就包含颜色信息,能够最大限度的避免融合图像的颜色失真。
第五步,通过融合后图像的分辨率分析结果融合图像。
由于分辨率分析结果是将矩阵元素通过公式4、公式5以及公式6,结合运算获得的,所以我们可以对公式4;即三元小波变换函数,进行逆变换,获得三元数小波逆变换函数,具体公式如下:
(公式7)
其中,a1和a2是尺度变量,a=(a1,a2),CΨ是容许条件,定义如下:
其中,u和v是频域变量。
通过公式7我们可以看出,矩阵元素可以通过分辨率分析结果逆运算来获得;从而可以实现在获得融合后图像的分辨率分析结果后,通过分析结果来获得图像矩阵建模,最终获得融合图像的。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。