CN103971329A - 一种基于遗传优化细胞神经网络的多源图像融合方法 - Google Patents

Abstract

本发明公开了一种基于遗传优化细胞神经网络的多源图像融合方法，属于多源图像融合领域，本发明以细胞神经网络系统为框架，结合遗传算法自适应计算网络模板参数，将同一场景的多源图像通过已确定好模板参数的细胞神经网络（CNN），即可输出效果较好的融合图像，便于为图像信息的后续处理，如特征提取、图像识别、人为决策等方面提供更加有用而高效的信息；并且在可快速得到融合结果的同时，能有效提高所融合图像的准确度，以利于人眼的观察和机器探测，便于分析和实际的应用。

Description

一种基于遗传优化细胞神经网络的多源图像融合方法

技术领域

本发明涉及多源图像融合领域，具体涉及一种基于遗传优化细胞神经网络(Cellular Neural Networks with genetic algorithm，GACNN)的多源图像融合方法，该方法将同一场景的多源图像通过已确定好模板参数的细胞神经网络(CNN)输出效果较好的融合图像，良好的融合图像便于图像信息的后续处理，如特征提取、图像识别、人为决策等方面提供更加有用而高效的信息，具有很好的实用价值。

背景技术

随着图像处理技术的快速发展，对于同一场景，由不同物理特性的成像传感器所获取的图像信息差别很大，综合分析这些信息有利于提高图像信息的利用率。多源图像融合技术是一项能有效地综合分析同一场景的多幅图像信息的技术，可以将不同的传感器获取到的某些场景的图像或序列图像，运用某种方法，将图像的信息综合起来，使得生成的新图像包含更多的信息，从而克服单一图像在空间、分辨率等方面存在的局限性和差异性，同时提高图像的质量，有利于人眼的观察和机器探测，便于分析和实际的应用。

图像融合的概念始于20世纪80年代，最早的图像融合技术是被应用在遥感图像处理领域，之后有关图像融合技术的报告越来越多，在国际上关于图像融合的算法研究也逐渐升温。我国图像融合技术起步较晚，直到90年以后才有学者开始对这一技术进行研究，国内不少大学以及研究机构也才开始重视这一技术，然而就目前发展状况而言，与国际先进水平仍存在不小的差距，尤其在理论的探索方面。国内外关于多源图像融合的算法很多，主要有：加权法、高通滤波法、主成分分析法、IHS变换法、基于金字塔分解的方法、小波变换法、神经网络法等。加权法和滤波法属于空间域方法，这些方法不需要经过分解或者变换，而是直接对每一个像素点进行处理，是最简单的多源图像融合方法，对于复杂背景下的多源图像融合效果不好。Burt(1984)提出了将拉普拉斯金字塔变换应用于图像融合，从那以后不断有人提出关于金字塔分解的理论，并产生了梯度金字塔、对比度金字塔、形态学金字塔等图像融合方法，但金字塔分解方法相邻分解层之间有很强的相关性，因此融合后的效果并不理想。Ranchin T和Wald L(1993)提出了基于离散小波变换的图像融合算法。由于小波变换具有多尺度性，小波基函数选用的灵活性，其能很好地保持图像信息，保留图像的特征和边缘。为了克服小波理论自身的缺陷，研究人员不断探索和研究，第二代小波和超小波的理论也相应提出和发展，弥补了小波理论在平移不变性方面的缺陷，实现了多个方向的可变换性。目前存在的多源图像融合方法仍存在着效率不高，融合效果不好等缺陷，因此对新型的多源图像融合方法的探索仍在进行，直至目前，多源图像融合技术仍然是国内外研究机构的重点。

细胞神经网络最早是由两名华裔学者蔡绍棠(L.O.Chua)和杨林(Lin.Yang)(1988)结合细胞自动机的连接结构和Hopfield神经网络处理机制提出的一种新型的人工神经网络模型。与传统神经网络相比，CNN最显著的特点是对信号具有高速并行计算能力，这种并行处理性质使得其计算量不会因为数学模型的维数增加而发生指数“爆炸”。廖晓昕(1994)提出关于CNN的数学理论，通过拓宽CNN的激活函数类，给出更一般的时滞细胞神经网络模型。随着研究的深入，大量的CNN理论和应用性文章在国际权威期刊上出现，其理论不断得到完善，应用范围也越来越广。近些年来，CNN在图像处理和模式识别得到很好的应用，如图像压缩编码、机器人视觉、水印加密、目标跟踪、运动预测和手写识别等。但CNN在图像融合方面的研究还很少被提及，仅有Amenta(2006)提出了基于CNN的数据融合以及Vagliasindib(2007)在离子融合中运用了CNN方法，而国内关于CNN的研究起步于1990年，但没有将CNN运用于数据或图像融合的研究。

遗传算法(Genetic Algorithms，GA)是受生物学进化学说和遗传学理论的启发而发展起来的一类模拟自然生物进化过程与机制求解问题的自组织与自适应的人工智能技术，由Holland(1975)提出，同年De Jong发表的博士论文中结合模式定理进行大量的数值函数优化计算试验，建立了遗传算法的工作框架，定义了评价遗传算法的性能指标。经过三十几年的努力，遗传算法不论是在应用研究上，算法设计上，还是在基础理论上，均取得了长足的发展，己经成为信息科学、计算机科学、运筹学和应用科学等诸多学科所共同关注的热点研究领域。将遗传算法用于计算细胞神经网络模板参数是由Chandler、Rekeczky B、Nishio C和Ushida Y(1996)提出的，国内的学者也于2001年发表过相关文章，但这一思想未用于图像融合当中。

发明内容

针对上述现有技术，本发明针对目前的多源图像融合方法存在的缺陷，提出了一种基于遗传优化细胞神经网络的多源图像融合方法，采用遗传算法确定模板参数的细胞神经网络系统对多源图像进行融合，达到在快速得到融合结果的同时，有效提高所融合图像的准确度，以利于人眼的观察和机器探测，便于分析和实际的应用。

为了解决上述技术问题，达到上述目的，本发明采用如下技术方案：

一种基于遗传优化细胞神经网络的多源图像融合方法，其特征在于，包括如下步骤：

①输入待融合的预处理后的图像；

②图像映射处理；

③CNN网络目标参数初始化；

④计算各细胞元的状态及其输出；

⑤计算网络的能量函数E,并判断能量函数E是否不再变化，若是，网络处于稳定状态得到网络输出，若不是重新计算各细胞元的状态及其输出；

⑥进行输出反映射处理；

⑦输出融合结果。

在本发明中，所述步骤②的具体流程为：读入原始源图像，将预处理过后的图像作图像灰度值映射处理，使所有像素的值都归一化于[-1.0,+1.0]之间，满足CNN网络的输入要求，图像灰度值映射处理公式如下：

u_ij＝1-2g_ij/255其中，g_ij表示源图像第i行、j列的像素值。

在本发明中，所述步骤③的具体流程为：根据输入图像的大小，确定网络的细胞元邻域大小，从而确定网络的结构，根据静态图像的融合处理的离散状态方程：

$\begin{array}{c}{x}_{\mathrm{ij}}\left(n\right)-x_{\mathrm{ij}}(n-1)={-x}_{\mathrm{ij}}(n-1)+\underset{C(k,l)\∈N_r(i,j)}{\mathrm{\Σ}}A(i,j;k,l)y_{\mathrm{kl}}(n-1)+\underset{e=1}{\overset{p}{\mathrm{\Σ}}}\underset{C(k,l)\∈N_r(i,j)}{\mathrm{\Σ}}{B}_e(i,j;k,l){u^e}_{\mathrm{kl}}+I\\ x_{\mathrm{ij}}\left(n\right)=\underset{C(k,l)\∈N_r(i,j)}{\mathrm{\Σ}}A(i,j;k,l)y_{\mathrm{kl}}(n-1)+\underset{e=1}{\overset{p}{\mathrm{\Σ}}}\underset{C(k,l)\∈N_r(i,j)}{\mathrm{\Σ}}{B}_e(i,j;k,l){u^e}_{\mathrm{kl}}+I\end{array}$

以及输出方程：

$y_{\mathrm{ij}}\left(n\right)=\frac{1}{2}\left(\right|x_{\mathrm{ij}}\left(n\right)+1|-|x_{\mathrm{ij}}\left(n\right)-1\left|\right)=\left\{\begin{array}{cc}1& x_{\mathrm{ij}}\left(n\right)\&GreaterEqual;1\\ x_{\mathrm{ij}}\left(n\right)& x_{\mathrm{ij}}\left(n\right)<1\\ -1& x_{\mathrm{ij}}\left(n\right)\&le;-1\end{array}\right.$

得到要确定网络的结构需要初始化模版参数A、B和I，由于邻域大小为3×3，因此模板参数形式如下：

$A=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right],B=\left[\begin{array}{ccc}{b}_{11}& b_{12}& b_{13}\\ b_{21}& b_{22}& b_{23}\\ b_{31}& b_{32}& b_{33}\end{array}\right],I;$ 其中，矩阵A、B矩阵内的各个参数都是待确定的参数。

在本发明中，所述步骤④计算各细胞元的状态及其输出，即运用遗传算法计算模型参数A、B和I内的各个参数。

在本发明中，所述步骤⑤的具体流程为：进入到循环迭代处理，将遗传算法确定的模板参数应用于CNN网络中，对于每个细胞元，在每次迭代处理中，通过遗传算法确定好模板参数的CNN网络；根据公式

$x_{\mathrm{ij}}\left(n\right)-x_{\mathrm{ij}}(n-1)=-x_{\mathrm{ij}}(n-1)+\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}A(i,j;k,l)y_{\mathrm{kl}}(n-1)+\underset{e=1}{\overset{p}{\mathrm{\&Sigma;}}}\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}{B}_e(i,j;k,l){u^e}_{\mathrm{kl}}+I$

和公式

$x_{\mathrm{ij}}\left(n\right)=\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}A(i,j;k,l)y_{\mathrm{kl}}(n-1)+\underset{e=1}{\overset{p}{\mathrm{\&Sigma;}}}\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}{B}_e(i,j;k,l){u^e}_{\mathrm{kl}}+I$

分别计算状态及其输出；然后计算网络的Lyapunov能量函数E：

$\begin{array}{c}E\left(t\right)=-\frac{1}{2}\underset{(i,j)}{\mathrm{\&Sigma;}}\underset{(k,l)}{\mathrm{\&Sigma;}}A(i,j;k,l)y_{\mathrm{ij}}\left(t\right)y_{\mathrm{kl}}\left(t\right)+\\ \frac{1}{2R_x}\underset{(i,j)}{\mathrm{\&Sigma;}}{y}_{\mathrm{ij}}{\left(t\right)}^2-\underset{(i,j)}{\mathrm{\&Sigma;}}\underset{(i,j)}{\mathrm{\&Sigma;}}B(i,j;k,l)y_{\mathrm{ij}}\left(t\right)u_{\mathrm{kl}}\left(t\right)-\underset{(i,j)}{\mathrm{\&Sigma;}}{\mathrm{Iy}}_{\mathrm{ij}}\left(t\right)\end{array}$

当E不再变化时，网络已处于稳定状态，终止网络的迭代处理。

在本发明中，所述步骤⑥的具体流程为：得到稳定状态下的网络输出，进行反映射处理，使图像的输出在[0,255]。

所述步骤④具体包括如下步骤：

(a)生成初始种群：根据参数的定义域及精度ω确定编码长度，编码长度的计算公式如下：

其中，x_min表示变量的最小值，x_max表示变量的最大值，而l表示二进制串长，表示向上取整；

(b)计算适应度：选择适应度函数以及约束条件实现适应度的计算，采用融合图像的边缘保持度作为适应度函数，边缘保持度定义如下：

$Q^{\mathrm{AB}/F}=\frac{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}[Q^{\mathrm{AF}}(i,j)w^A(i,j)+Q^{\mathrm{BF}}(i,j)w^B(i,j)]}{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}[w^A(i,j)+w^B(i,j)]}$

其中，w^A(i,j)和w^B(i,j)为权值，Q^AF(i,j)和Q^BF(i,j)分别为融合图像F相对源图像A与源图像B的边缘保持度；计算公式(以源图像A为例，对于源图像B的计算亦然)：

$Q^{\mathrm{AF}}(i,j)=Q_g^{\mathrm{AF}}(i,j)Q_{\mathrm{\&alpha;}}^{\mathrm{AF}}(i,j)={\mathrm{\&Gamma;}}_g{\mathrm{\&Gamma;}}_{\mathrm{\&alpha;}}{[1+e^{{\mathrm{\&kappa;}}_g(G^{\mathrm{AF}}(i,j)-{\mathrm{\&sigma;}}_g)}]}^{-1}{[1+e^{{\mathrm{\&kappa;}}_{\mathrm{\&alpha;}}(A^{\mathrm{AF}}(i,j)-{\mathrm{\&sigma;}}_{\mathrm{\&alpha;}})}]}^{-1}$

其中，Γ_g、Γ_α、κ_g、κ_α、σ_g和σ_α为可调节的常数，G^AF，A^AF为融合图像F和源图像A的相对边缘强度和方向值，分别为：

$G^{\mathrm{AF}}(i,j)=\left\{\begin{array}{c}\frac{g_F(i,j)}{g_A(i,j)},\mathrm{if}{g}_A(i,j)>g_F(i,j)\\ \frac{g_A(i,j)}{g_F(i,j)},\mathrm{otherwise}\end{array}\right.$

其中，g(i,j)与α(i,j)分别为图像经Sobel滤波后，像素f(i,j)得到的边缘强度及其方向为，定义如下：

$g(i,j)=\sqrt{s^x{(i,j)}^2+s^y{(i,j)}^2}\mathrm{\&alpha;}(i,j)={\tan }^{-1}\left(\frac{s^y(i,j)}{s^x(i,j)}\right),$ 其中，s^x(i,j)和s^y(i,j)分别为图像的像素f(i,j)在Sobel滤波后的水平和垂直方向的幅值；

(c)选择：对种群进行优胜劣汰的操作，根据计算得到适应度值所占群体内的百分比当成遗传到下一代的概率，适应度值大的个体遗传到下一代的概率高，适应度值小的个体遗传到下一代的概率低，采用赌轮法进行选择操作；

(d)交叉：产生新个体，将选择过后的种群内个体两两配对，根据交叉概率Pc随机选择编码串中某一段进行交叉运算，保留适应度最优个体；

(e)变异：依据变异概率P_m将个体编码串中的某些基因值用其它基因值来替换，从而形成一个新的个体，同样保留最优个体，本专利采用的交叉概率为0.1；

(f)经过上述过程，产生新种群，判断遗传算法是否满足终止条件，如果满足则输出参数值继续下一步骤的流程，如果不满足则返回(b)重新迭代。

与现有技术相比，本发明具有如下有益效果：

本发明采用遗传算法确定模板参数的细胞神经网络系统对多源图像进行融合，达到在快速得到融合结果的同时，可有效提高所融合图像的准确度，以利于人眼的观察和机器探测，便于分析和实际的应用。

附图说明

图1为基于遗传优化细胞神经网络的多源图像融合方法的原理结构流程图；

图2为运用基于遗传优化细胞神经网络融合方法对多聚焦图像进行融合的结果，图2-a为左聚焦图像、图2-b为右聚焦图像、图2-c为融合结果；

图3为运用基于遗传优化细胞神经网络融合方法对可见光图像与红外图像进行融合的结果，图3-a为可见光图像、图3-b为红外图像、图3-c为融合结果；

图4为运用基于遗传优化细胞神经网络融合方法对多光谱图像与全色图像进行融合的结果，图4-a为多光谱图像、图4-b为全色图像、图4-c为融合图像结果。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

一种基于遗传优化细胞神经网络的多源图像融合方法，包括如下步骤：

①输入待融合的预处理后的图像；

②图像映射处理；

③CNN网络目标参数初始化；

④计算各细胞元的状态及其输出；

⑤计算网络的能量函数E,并判断能量函数E是否不再变化，若是，网络处于稳定状态得到网络输出，若不是重新计算各细胞元的状态及其输出；

⑥进行输出反映射处理；

⑦输出融合结果。

实施例

①读入原始源图像，将预处理过后的图像实现映射处理，使所有像素的值都归一化于[-1.0,+1.0]之间，满足CNN网络的输入要求，图像灰度值映射处理公式如下：

u_ij＝1-2g_ij/255，其中，g_ij表示源图像第i行、j列的像素值。 (1)

②根据输入图像的大小，确定网络的细胞元邻域大小，从而确定网络的结构，在本实施例中所用细胞元的邻域大小一律采用3×3，根据静态图像的融合处理的离散状态方程：

$x_{\mathrm{ij}}\left(n\right)-x_{\mathrm{ij}}(n-1)=-x_{\mathrm{ij}}(n-1)+\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}A(i,j;k,l)y_{\mathrm{kl}}(n-1)+\underset{e=1}{\overset{p}{\mathrm{\&Sigma;}}}\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}{B}_e(i,j;k,l){u^e}_{\mathrm{kl}}+I---\left(2\right)$

$x_{\mathrm{ij}}\left(n\right)=\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}A(i,j;k,l)y_{\mathrm{kl}}(n-1)+\underset{e=1}{\overset{p}{\mathrm{\&Sigma;}}}\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}{B}_e(i,j;k,l){u^e}_{\mathrm{kl}}+I---\left(3\right)$

以及输出方程：

$y_{\mathrm{ij}}\left(n\right)=\frac{1}{2}\left(\right|x_{\mathrm{ij}}\left(n\right)+1|-|x_{\mathrm{ij}}\left(n\right)-1\left|\right)=\left\{\begin{array}{cc}1& x_{\mathrm{ij}}\left(n\right)\&GreaterEqual;1\\ x_{\mathrm{ij}}\left(n\right)& x_{\mathrm{ij}}\left(n\right)<1\\ -1& x_{\mathrm{ij}}\left(n\right)\&le;-1\end{array}\right.---\left(4\right)$

可以得到，要确定网络的结构需要初始化模版参数A、B和I，由于邻域大小为3×3，因此模板参数形式如下：

$A=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right],B=\left[\begin{array}{ccc}{b}_{11}& b_{12}& b_{13}\\ b_{21}& b_{22}& b_{23}\\ b_{31}& b_{32}& b_{33}\end{array}\right],I---\left(5\right)$

其中，矩阵A、B矩阵内的各个参数都是待确定的参数。

③运用遗传算法计算模型参数A、B和和I内的各个参数。为了提高效率和分析方便，本专利中依据经验取a₁₁＝a₁₃＝a₃₁＝a₃₃＝0，b₁₁＝b₁₃＝b₃₁＝b₃₃＝0，a₁₂＝a₂₁＝a₂₃＝a₃₂，b₁₂＝b₂₁＝b₂₃＝b₃₂。通过遗传算法计算的参数仅有a₁₂,a₂₁,a₂₃,a₃₂,a₂₂,b₁₂,b₂₁,b₂₃,b₃₂,b₂₂，令a＝a₁₂＝a₂₁＝a₂₃＝a₃₂，b＝b₁₂＝b₂₁＝b₂₃＝b₃₂，则本专利中遗传算法计算的参数仅有a、b、a₂₂和b₂₂四个(实际上所有参数均可运用遗传算法确定)，通过遗传算法的迭代计算即可得到适合图像融合的模板参数。接下来为遗传算法确定模型参数的步骤：

A、生成初始种群：根据问题的参数个数和精度要求确定种群的数量，本专利一律选取种群数量为20，并且采用二进制方式实现问题解空间的编码，根据参数的定义域及精度ω确定编码长度，编码长度的计算公式如下：

其中，x_min表示变量的最小值，x_max表示变量的最大值，而l表示二进制串长，表示向上取整。

B、计算适应度：选择适应度函数以及约束条件实现适应度的计算，本专利采用融合图像的边缘保持度作为适应度函数，边缘保持度定义如下：

$Q^{\mathrm{AB}/F}=\frac{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}[Q^{\mathrm{AF}}(i,j)w^A(i,j)+Q^{\mathrm{BF}}(i,j)w^B(i,j)]}{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}[w^A(i,j)+w^B(i,j)]}---\left(7\right)$

其中，w^A(i,j)和w^B(i,j)为权值，Q^AF(i,j)和Q^BF(i,j)分别为融合图像F相对源图像A与源图像B的边缘保持度。计算公式(以源图像A为例，对于源图像B的计算亦然)：

$Q^{\mathrm{AF}}(i,j)=Q_g^{\mathrm{AF}}(i,j)Q_{\mathrm{\&alpha;}}^{\mathrm{AF}}(i,j)={\mathrm{\&Gamma;}}_g{\mathrm{\&Gamma;}}_{\mathrm{\&alpha;}}{[1+e^{{\mathrm{\&kappa;}}_g(G^{\mathrm{AF}}(i,j)-{\mathrm{\&sigma;}}_g)}]}^{-1}{[1+e^{{\mathrm{\&kappa;}}_{\mathrm{\&alpha;}}(A^{\mathrm{AF}}(i,j)-{\mathrm{\&sigma;}}_{\mathrm{\&alpha;}})}]}^{-1}---\left(8\right)$

其中，Γ_g、Γ_α、κ_g、κ_α、σ_g和σ_α为可调节的常数，G^AF，A^AF为融合图像F和源图像A的相对边缘强度和方向值，分别为：

$G^{\mathrm{AF}}(i,j)=\left\{\begin{array}{c}\frac{g_F(i,j)}{g_A(i,j)},\mathrm{if}{g}_A(i,j)>g_F(i,j)\\ \frac{g_A(i,j)}{g_F(i,j)},\mathrm{otherwise}\end{array}\right.---\left(9\right)$

$A^{\mathrm{AF}}(i,j)=\frac{\left|\right|{\mathrm{\&alpha;}}_A(i,j)-{\mathrm{\&alpha;}}_F(i,j)|-\mathrm{\&pi;}/2|}{\mathrm{\&pi;}/2}---\left(10\right)$

其中，g(i,j)与α(i,j)分别为图像经Sobel滤波后，像素f(i,j)得到的边缘强度及其方向为，定义如下：

$(i,j)=\sqrt{s^x{(i,j)}^2+s^y{(i,j)}^2}---\left(11\right)$

$\mathrm{\&alpha;}(i,j)={\tan }^{-1}\left(\frac{s^y(i,j)}{s^x(i,j)}\right)---\left(12\right)$

其中，s^x(i,j)和s^y(i,j)分别为图像的像素f(i,j)在Sobel滤波后的水平和垂直方向的幅值。

C、选择：对种群进行优胜劣汰的操作，根据计算得到适应度值所占群体内的百分比当成遗传到下一代的概率，适应度值大的个体遗传到下一代的概率高，适应度值小的个体遗传到下一代的概率低，采用赌轮法进行选择操作；

D、交叉：产生新个体，将选择过后的种群内个体两两配对，根据交叉概率P_c随机选择编码串中某一段进行交叉运算，保留适应度最优个体，本专利采用的交叉概率为0.6；

E、变异：依据变异概率P_m将个体编码串中的某些基因值用其它基因值来替换，从而形成一个新的个体，同样保留最优个体，本专利采用的交叉概率为0.1；

F、经过上述过程，产生新种群，判断遗传算法是否满足终止条件，如果满足则输出参数值继续下一步骤的流程，如果不满足则返回(b)重新迭代。

④最后进入到循环迭代处理：将遗传算法确定的模板参数应用于CNN网络中，对于每个细胞元，在每次迭代处理中，通过遗传算法确定好模板参数的CNN网络根据式(3)和式(4)分别计算状态及其输出。然后计算网络的Lyapunov能量函数E：

$\begin{array}{c}E\left(t\right)=-\frac{1}{2}\underset{(i,j)}{\mathrm{\&Sigma;}}\underset{(k,l)}{\mathrm{\&Sigma;}}A(i,j;k,l)y_{\mathrm{ij}}\left(t\right)y_{\mathrm{kl}}\left(t\right)+\\ \frac{1}{2R_x}\underset{(i,j)}{\mathrm{\&Sigma;}}{y}_{\mathrm{ij}}{\left(t\right)}^2-\underset{(i,j)}{\mathrm{\&Sigma;}}\underset{(i,j)}{\mathrm{\&Sigma;}}B(i,j;k,l)y_{\mathrm{ij}}\left(t\right)u_{\mathrm{kl}}\left(t\right)-\underset{(i,j)}{\mathrm{\&Sigma;}}{\mathrm{Iy}}_{\mathrm{ij}}\left(t\right)\end{array}---\left(13\right)$

当E不再变化时，网络已处于稳定状态，终止网络的迭代处理。

⑤将步骤④得到的稳定状态下的网络输出，进行反映射处理，使图像的输出在[0,255]，最终实现图像的融合。

Claims (7)

1.一种基于遗传优化细胞神经网络的多源图像融合方法，其特征在于，运用细胞神经网络框架进行图像融合处理，包括如下步骤：

①输入待融合的预处理后的图像；

②图像映射处理；

③CNN网络目标参数初始化；

④计算各细胞元的状态及其输出；

⑤计算网络的能量函数E,并判断能量函数E是否不再变化，若是，网络处于稳定状态得到网络输出，若不是重新计算各细胞元的状态及其输出；

⑥进行输出反映射处理；

⑦输出融合结果。

2.根据权利要求1所述的基于遗传优化细胞神经网络的多源图像融合方法，其特征在于，所述步骤②的具体流程为：读入原始源图像，将预处理过后的图像作图像灰度值映射处理，使所有像素的值都归一化于[-1.0,+1.0]之间，满足CNN网络的输入要求，图像灰度值映射处理公式如下：

u_ij＝1-2g_ij/255其中，g_ij表示源图像第i行、j列的像素值。

3.根据权利要求1所述的基于遗传优化细胞神经网络的多源图像融合方法，其特征在于，所述步骤③的具体流程为：根据输入图像的大小，确定网络的细胞元邻域大小，从而确定网络的结构，根据静态图像的融合处理的离散状态方程：

$\begin{array}{c}{x}_{\mathrm{ij}}\left(n\right)-x_{\mathrm{ij}}(n-1)={-x}_{\mathrm{ij}}(n-1)+\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}A(i,j;k,l)y_{\mathrm{kl}}(n-1)+\underset{e=1}{\overset{p}{\mathrm{\&Sigma;}}}\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}{B}_e(i,j;k,l){u^e}_{\mathrm{kl}}+I\\ x_{\mathrm{ij}}\left(n\right)=\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}A(i,j;k,l)y_{\mathrm{kl}}(n-1)+\underset{e=1}{\overset{p}{\mathrm{\&Sigma;}}}\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}{B}_e(i,j;k,l){u^e}_{\mathrm{kl}}+I\end{array}$

以及输出方程：

$y_{\mathrm{ij}}\left(n\right)=\frac{1}{2}\left(\right|x_{\mathrm{ij}}\left(n\right)+1|-|x_{\mathrm{ij}}\left(n\right)-1\left|\right)=\left\{\begin{array}{cc}1& x_{\mathrm{ij}}\left(n\right)\&GreaterEqual;1\\ x_{\mathrm{ij}}\left(n\right)& x_{\mathrm{ij}}\left(n\right)<1\\ -1& x_{\mathrm{ij}}\left(n\right)\&le;-1\end{array}\right.$

得到要确定网络的结构需要初始化模版参数A、B和I，由于邻域大小为3×3，因此模板参数形式如下：

$A=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right],B=\left[\begin{array}{ccc}{b}_{11}& b_{12}& b_{13}\\ b_{21}& b_{22}& b_{23}\\ b_{31}& b_{32}& b_{33}\end{array}\right],I;$ 其中，矩阵A、B矩阵内的各个参数都是待确定的参数。

4.根据权利要求1所述的基于遗传优化细胞神经网络的多源图像融合方法，其特征在于，所述步骤④计算各细胞元的状态及其输出，即运用遗传算法计算模型参数A、B和I内的各个参数。

5.根据权利要求1所述的基于遗传优化细胞神经网络的多源图像融合方法，其特征在于，所述步骤⑤的具体流程为：进入到循环迭代处理，将遗传算法确定的模板参数应用于CNN网络中，对于每个细胞元，在每次迭代处理中，通过遗传算法确定好模板参数的CNN网络；根据公式

$x_{\mathrm{ij}}\left(n\right)-x_{\mathrm{ij}}(n-1)=-x_{\mathrm{ij}}(n-1)+\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}A(i,j;k,l)y_{\mathrm{kl}}(n-1)+\underset{e=1}{\overset{p}{\mathrm{\&Sigma;}}}\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}{B}_e(i,j;k,l){u^e}_{\mathrm{kl}}+I$

和公式

$x_{\mathrm{ij}}\left(n\right)=\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}A(i,j;k,l)y_{\mathrm{kl}}(n-1)+\underset{e=1}{\overset{p}{\mathrm{\&Sigma;}}}\underset{C(k,l)\&Element;N_r(i,j)}{\mathrm{\&Sigma;}}{B}_e(i,j;k,l){u^e}_{\mathrm{kl}}+I$

分别计算状态及其输出；然后计算网络的Lyapunov能量函数E：

$\begin{array}{c}E\left(t\right)=-\frac{1}{2}\underset{(i,j)}{\mathrm{\&Sigma;}}\underset{(k,l)}{\mathrm{\&Sigma;}}A(i,j;k,l)y_{\mathrm{ij}}\left(t\right)y_{\mathrm{kl}}\left(t\right)+\\ \frac{1}{2R_x}\underset{(i,j)}{\mathrm{\&Sigma;}}{y}_{\mathrm{ij}}{\left(t\right)}^2-\underset{(i,j)}{\mathrm{\&Sigma;}}\underset{(i,j)}{\mathrm{\&Sigma;}}B(i,j;k,l)y_{\mathrm{ij}}\left(t\right)u_{\mathrm{kl}}\left(t\right)-\underset{(i,j)}{\mathrm{\&Sigma;}}{\mathrm{Iy}}_{\mathrm{ij}}\left(t\right)\end{array}$

当E不再变化时，网络已处于稳定状态，终止网络的迭代处理。

6.根据权利要求1所述的基于遗传优化细胞神经网络的多源图像融合方法，其特征在于，所述步骤⑥的具体流程为：得到稳定状态下的网络输出，进行反映射处理，使图像的输出在[0,255]。

7.根据权利要求4所述的基于遗传优化细胞神经网络的多源图像融合方法，其特征在于，所述步骤④具体包括如下步骤：

(a)生成初始种群：根据参数的定义域及精度ω确定编码长度，编码长度的计算公式如下：

其中，x_min表示变量的最小值，x_max表示变量的最大值，而l表示二进制串长，表示向上取整；

(b)计算适应度：选择适应度函数以及约束条件实现适应度的计算，采用融合图像的边缘保持度作为适应度函数，边缘保持度定义如下：

$Q^{\mathrm{AB}/F}=\frac{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}[Q^{\mathrm{AF}}(i,j)w^A(i,j)+Q^{\mathrm{BF}}(i,j)w^B(i,j)]}{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}[w^A(i,j)+w^B(i,j)]}$

其中，w^A(i,j)和w^B(i,j)为权值，Q^AF(i,j)和Q^BF(i,j)分别为融合图像F相对源图像A与源图像B的边缘保持度；计算公式(以源图像A为例，对于源图像B的计算亦然)：

$Q^{\mathrm{AF}}(i,j)=Q_g^{\mathrm{AF}}(i,j)Q_{\mathrm{\&alpha;}}^{\mathrm{AF}}(i,j)={\mathrm{\&Gamma;}}_g{\mathrm{\&Gamma;}}_{\mathrm{\&alpha;}}{[1+e^{{\mathrm{\&kappa;}}_g(G^{\mathrm{AF}}(i,j)-{\mathrm{\&sigma;}}_g)}]}^{-1}{[1+e^{{\mathrm{\&kappa;}}_{\mathrm{\&alpha;}}(A^{\mathrm{AF}}(i,j)-{\mathrm{\&sigma;}}_{\mathrm{\&alpha;}})}]}^{-1}$

其中，Γ_g、Γ_α、κ_g、κ_α、σ_g和σ_α为可调节的常数，G^AF，A^AF为融合图像F和源图像A的相对边缘强度和方向值，分别为：

$G^{\mathrm{AF}}(i,j)=\left\{\begin{array}{c}\frac{g_F(i,j)}{g_A(i,j)},\mathrm{if}{g}_A(i,j)>g_F(i,j)\\ \frac{g_A(i,j)}{g_F(i,j)},\mathrm{otherwise}\end{array}\right.$

其中，g(i,j)与α(i,j)分别为图像经Sobel滤波后，像素f(i,j)得到的边缘强度及其方向为，定义如下：

$g(i,j)=\sqrt{s^x{(i,j)}^2+s^y{(i,j)}^2}\mathrm{\&alpha;}(i,j)={\tan }^{-1}\left(\frac{s^y(i,j)}{s^x(i,j)}\right),$ 其中，s^x(i,j)和s^y(i,j)分别为图像的像素f(i,j)在Sobel滤波后的水平和垂直方向的幅值；

(c)选择：对种群进行优胜劣汰的操作，根据计算得到适应度值所占群体内的百分比当成遗传到下一代的概率，适应度值大的个体遗传到下一代的概率高，适应度值小的个体遗传到下一代的概率低，采用赌轮法进行选择操作；

(d)交叉：产生新个体，将选择过后的种群内个体两两配对，根据交叉概率P_c随机选择编码串中某一段进行交叉运算，保留适应度最优个体；

(e)变异：依据变异概率P_m将个体编码串中的某些基因值用其它基因值来替换，从而形成一个新的个体，同样保留最优个体，本专利采用的交叉概率为0.1；

(f)经过上述过程，产生新种群，判断遗传算法是否满足终止条件，如果满足则输出参数值继续下一步骤的流程，如果不满足则返回(b)重新迭代。