CN109389576A - 基于多通道机制的脉冲耦合图像融合方法 - Google Patents
基于多通道机制的脉冲耦合图像融合方法 Download PDFInfo
- Publication number
- CN109389576A CN109389576A CN201811178840.1A CN201811178840A CN109389576A CN 109389576 A CN109389576 A CN 109389576A CN 201811178840 A CN201811178840 A CN 201811178840A CN 109389576 A CN109389576 A CN 109389576A
- Authority
- CN
- China
- Prior art keywords
- pulse
- image
- fusion
- multichannel
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 230000007246 mechanism Effects 0.000 title claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 77
- 239000011159 matrix material Substances 0.000 claims abstract description 34
- 238000002156 mixing Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000003062 neural network model Methods 0.000 claims abstract description 15
- 238000010304 firing Methods 0.000 claims abstract description 13
- 230000003321 amplification Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 16
- 238000012545 processing Methods 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 26
- 238000002474 experimental method Methods 0.000 description 19
- 238000011156 evaluation Methods 0.000 description 13
- 230000009977 dual effect Effects 0.000 description 12
- 230000001360 synchronised effect Effects 0.000 description 11
- 238000007500 overflow downdraw method Methods 0.000 description 9
- 238000010168 coupling process Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 239000013256 coordination polymer Substances 0.000 description 7
- 230000008878 coupling Effects 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 239000000155 melt Substances 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 238000005303 weighing Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域，提供了一种基于多通道机制的脉冲耦合图像融合方法，包括以下步骤:S1、建立多通道脉冲耦合神经网络模型结构，并对各个通道的输入图像矩阵进行归一化后，输入所述多通道脉冲耦合神经网络模型结构中；S2、计算各个通道链路权重βij α的值，并将计算得到的链路权重输入多通道脉冲耦合神经网络模型结构中；S3、在融合池中进行融合计算，得到内部输出量Uij[m]；S4、进行迭代计算，生成脉冲点火矩阵Yij[m]；S5、将脉冲点火矩阵Yij[m]作为融合图像的灰度矩阵，生成融合图像并输出融合结果。本发明可以提高融合效果和效率，可以广泛应用于图像融合领域。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于多通道机制的脉冲耦合图像融合方法。
背景技术
基于脉冲耦合神经网络模型的图像融合方法虽已被有效地应用于多个方面。但当前的研究仅局限于双通道脉冲耦合神经网络图像融合模型，伴随着应用的不断发展，上述方法都依然面临着一些共同的局限性。伴随着科技不断进步和社会的发展，在众多领域中需要将多张图像融合为一张包含更多信息、更加清晰的图像。目前在脉冲耦合神经网络模型领域内解决这一问题的具体作法是以双通道模型为依据，先将两幅图像融合，再将融合图像与第三、四……幅图像依次融合，直到得到最终的融合图像。双通道脉冲耦合神经网络是在原始脉冲耦合神经网络模型中将反馈输入域和连接输入域作为平等的两个分支，分别输入、刺激、反馈，产生一系列的点火迭代过程。具体来讲，双通道脉冲耦合神经网络模型由树突状树、信息融合池和脉冲产生器三部分构成。其中树突状树的主要功能是接受外部刺激和内部神经元刺激，信息融合池是所有数据融合的地方，脉冲产生器主要功能是产生外部脉冲。
根据上述策略来实现多幅图像的融合存在以下几个问题。
(1)多幅图像按照怎样的顺序进行融合很难确定，而且不同的融合顺序会导致最终融合结果的差异。实验研究发现多张图像的不同融合顺序会对融合结果造成较大的影响。特别是前几张图像的选择至关重要，如果起始阶段融合的结果不理想，将给最终融合结果带来很大不利影响。
(2)由于需要反复调用双通道模型，导致要付出较大的时间代价。
(3)两幅图像进行融合过程中，在计算链接权重信息时是根据目前的两幅图像情况来确定，由于缺乏全局性，并不能照顾到所有图像的情况，会造成某些有价值信息的损失。
因此，有必要提出一种更加合理的脉冲耦合图像融合方法。
发明内容
为适应图像处理领域的实际需求，本发明克服现有技术存在的不足，所要解决的技术问题为提供一种多通道脉冲耦合神经网络图像融合方法，以便于更好地适用于多张图像同步融合的情况。
为了解决上述技术问题，本发明采用的技术方案为：一种基于多通道机制的脉冲耦合图像融合方法，包括以下步骤:
S1、建立多通道脉冲耦合神经网络模型结构，并对各个通道的输入图像矩阵进行归一化后，输入所述多通道脉冲耦合神经网络模型结构中；
S2、计算各个通道链路权重βij α的值，并将计算得到的链路权重输入多通道脉冲耦合神经网络模型结构中；
S3、在融合池中进行融合计算，得到内部输出量Uij[m]；
S4、进行迭代计算，生成脉冲点火矩阵Yij[m]；
S5、将脉冲点火矩阵Yij[m]作为融合图像的灰度矩阵，生成融合图像并输出融合结果；
所述步骤S2中，各个通道链路权重的计算公式为：
所述步骤S3中，所述内部输出量Uij[m]的计算公式为：
其中，n表示通道数，m表示循环次数，i，j表图像像素点，Hij 1,……,Hij n分别表示第1幅～第n幅图像的输入，βij α表示第α个通道的加权系数，Sij α表示第α幅图像像素点(i，j)灰度值，θ、η表示调节参数，σ表示水平调节参数，γα表示协同参数。
所述脉冲点火矩阵Yij[m]的迭代公式为：
其中，其中，k表示链接权重矩阵，αT表示衰减时间，Tij[m]表示点火次数；VT表示放大系数。
所述协同参数γα的取值为2/n。
所述步骤S1中，建立多通道脉冲耦合神经网络模型结构时，其公式为：
……
其中，Sij 1,，……，Sij n分别表示第一个通道～第n个通道的外部刺激；w1，……wn分别表示链路权重矩阵。
本发明与现有技术相比具有以下有益效果：
1、本发明的提出的一种基于多通道机制的脉冲耦合图像融合方法，采用全新的多通道脉冲耦合神经网络图像融合模型，能更好地适用于多张图像同步融合的情况，其不仅具有较少的时间代价，能较好地解决了多幅图像同步融合的问题，而且可以有效地克服因融合顺序不同造成融合结果差异之缺陷，提高了融合效果；
2、本发明的提出的一种基于多通道机制的脉冲耦合图像融合方法，基于图像的灰度矩阵重新进行图像能量计算，进而确定链路权重，能有效地解决多通道脉冲耦合神经网络图像融合算法中确定链路权重的问题，同时实现在保证融合效果的前提下有效地提高计算速度；由于采用了合理的权重计算方法，各通道能够从全局的角度实现良好协作。
附图说明
图1为现有技术中基于双通道脉冲耦合模型的图像融合方法采用的脉冲耦合神经网络模型结构；
图2为本发明提出的基于多通道机制的脉冲耦合图像融合方法采用的脉冲耦合神经网络模型结构；
图3为本发明提出的基于多通道机制的脉冲耦合图像融合方法的原理图；
图4为本发明提出的基于多通道机制的脉冲耦合图像融合方法与双通道脉冲耦合神经网络图像融合方法进行比较实验时的实验结果图；
图5为本发明提出的基于多通道机制的脉冲耦合图像融合方法与其它脉冲耦合和非脉冲耦合神经网络图像融合方法进行比较实验时的实验结果图；
图6为本发明提出的基于多通道机制的脉冲耦合图像融合方法与其它脉冲耦合和非脉冲耦合神经网络图像融合方法进行比较实验时的实验评价指标比价图；
图7为本发明提出的基于多通道机制的脉冲耦合图像融合方法在进行通道分别为5、6、7个的实验时的实验结果图。
具体实施方式
为使本发明的技术方案和优点更加清楚，下面将结合具体实施例和附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种基于多通道机制的脉冲耦合图像融合方法，包括以下步骤：
S1、建立多通道脉冲耦合神经网络模型结构，并对各个通道的输入图像矩阵进行归一化后，输入所述多通道脉冲耦合神经网络模型结构中。
如图1所示，为现有技术中的一种基于双通道脉冲耦合模型的图像融合方法采用的脉冲耦合模型。基于此模型的图像融合原理可以通过下述公式(1)-(5)来描述：
模型中和表示两幅图像的输入；m表示循环次数；分别表示两个通道的外部刺激；Yij[n]表示模型输出；βij A和βij B分别代表两个通道的加权系数。σ是水平调节参数，用来调节内部输出的平均水平；Uij[n]表示内部输出；其中k、W、M为链接权重矩阵，一般k＝W＝M；Tij[n]表示点火次数；αT表示衰减时间。
虽然上述双通道脉冲耦合模型较大地改善了单通道脉冲耦合模型计算复杂、准确率低等缺陷。但其只有两个输入通道，如果遇到多张图像需要同步融合的问题，只能采用先两张图像输入双通道脉冲耦合模型进行运算以完成融合过程，再依次与第三张图像、第四张图像……采用相同的方法进行融合以得到最终融合结果。然而实验研究发现多张图像的不同融合顺序会对融合结果造成较大的影响。特别是前几张图像的选择至关重要，如果起始阶段融合的结果不理想，将给最终融合结果带来很大不利影响。另外反复使用双通道脉冲耦合模型来实现多张图像融合也十分浪费时间。
如图2～3所示，本发明实施例基于上述双通道模型提出了一种全新的多通道脉冲耦合神经网络图像融合模型，该模型能更好地适用于多张图像同步融合的情况。
本发明实施例提供多通道脉冲耦合神经网络图像融合模型是在双通道脉冲耦合模型的基础上将输入分支增加为n条，相应的链路加权分支也增加为n条，而脉冲产生和引发点火发生机理不变。新模型中W1,……，Wn对应于双通道模型的输入项W、M；Hij 1,……,Hij n分别表示第1幅～第n幅图像的输入；Sij 1,，……，Sij n分别表示第1个通道～第n个通道的外部刺激，βij 1，……，βij n分别代表第1个通道～第n个通道的加权系数。脉冲点火矩阵Yij[m]、内部输出Uij[m]及参数i、j、m、σ的含义与双通道模型相同。根据以上改进，该模型原理可以通过公式(6)-(10)来描述(参数含义与双通道模型相同)。
……
其中，m表示循环次数，i，j表图像像素点，公式(6)-(7)表示模型的输入项，其中，n表示通道数，通常采用权重矩阵W(W1,……，Wn)和脉冲矩阵Yij相乘求和的方法产生模型的输入项；公式(8)表示模型融合过程，通常采用各通道输入分别与各自权重βij相乘求和的方法实现融合。公式(9)表示脉冲产生，只有当内部融合结果Uij大于点火项Tij时，才有脉冲产生，其它情况下不产生脉冲，其中一般k＝W1＝……＝Wn(参数含义与双通道模型相同)。另外，大多数情况下需要在公式(7)中增加调节因子σ，其主要作用是调节脉冲的产生频率。由于根据公式(8)当内部融合结果Uij大于点火项Tij时，才有脉冲产生，因而增加参数σ，可以调节脉冲产生的频率。公式(9)表示点火矩阵的生成，其中Tij[m]表示点火次数；VT表示放大系数，在完成一次点火后Tij的值会按照递减指数(-αT)变化逐渐变小，当减小到一定程度时模型需要一个放大系数，使其满足点火条件来触发下一次点火过程，然后再进入衰减过程，此过程周而复始的进行；αT表示衰减时间，即衰减指数变化中的指数项。其选取直接影响到衰减的快慢，进而影响到融合图像。由于公式(10)中指数变化的导数小于零，说明这个变化是递减的，如果衰减时间选的大，也就是衰减的速度快，点火的密度就大，反之则恰恰相反。所以，这两个参数的不同取值也会给融合结果带来较大影响。
S2、计算各个通道链路权重βij α的值，并将计算得到的链路权重输入多通道脉冲耦合神经网络模型结构中。
链路权重β表示脉冲耦合模型中各神经元链接行动的强弱。若β＝0表示各神经元各自为战，互不干扰。相反，若β≠0表示各通道相应神经元间存在耦合链接关系，也就是一个神经元点火，有可能引发其他神经元点火。在发明实施例提供的多通道脉冲耦合神经网络图像融合模型中，将图像灰度矩阵中每个像素点看作一个神经元。权重β取得大能够获取到这一通道上图像的较多信息，反之只能获取到较少的信息。据此可以将链接权重β看作双通道脉冲耦合神经网络模型中各个通道的权重，该参数对于融合效果有十分重要的影响。
目前链路权重β通常采用平均梯度、EOL(Energy of Laplacian)、SML(SumModified Laplacian)等方法来计算。但这些方法均存在一定的缺陷。如，平均梯度法的链接权重确定方法仅从图像的清晰度角度出发进行相关计算，容易忽略诸如亮度、包含信息量等相关信息。此外，对于EOL和SML这两种方法，在计算链路权重时均需要首先确定图像能量和拉普拉斯算子模板，存在着计算复杂和重复计算的问题，同时，这不仅为图像融合过程引入了较多时间，而且该方法的计算结果与拉普拉斯算子模板、权重矩阵的选取密切相关。虽然这些方法在双通道图像融合模型中一定程度上均显示出一定的有效性，但是由于该类方法主要是针对双通道模型来设计的，使得其不能直接迁移到多通道模型。以SML方法为例，如果直接将其用于多通道模型，易导致最终的融合图像具有高灰度值，因而上述方法不能简单地移植到多通道图像融合模型。
针对以上问题，本发明实施例基于图像的灰度矩阵重新进行图像能量计算，进而确定链路权重。以期有效地解决多通道脉冲耦合神经网络图像融合算法中确定链路权重的问题，同时实现在保证融合效果的前提下有效地提高计算速度。
因此，本发明实施例里中，提出了一种适合于多通道图像融合模型的链路权重计算新方法，其中各个通道链路权重的计算公式为：
其中，βij α表示第α个通道的加权系数，Sij α表示第α幅图像像素点(i，j)灰度值，θ、η表示调节参数，其人为设定，σ表示水平调节参数，γα表示协同参数。
特别地，为了使各通道中的信息进行有效的耦合，本发明实施例在公式(11)中引入两个新的参数：(-1)a因子和γα。对式(11)，我们进一步做如下说明和分析。
首先，通过引入(-1)a因子。当α为奇数时表示奇数通道，此时(-1)a取值为-1；为偶数时表示偶数通道，(-1)a取值为1，这样(-1)a因子可以根据通道数α的奇偶性交替取正与负来实现较好的耦合。
其次，通过引入参数γα。在权重计算中通过参数γα协同η调节权重大小来突出这些通道的输入信息。在传统SML方法中针对两通道模型通常仅通过参数η调整各个通道的重要性，但在多通道模型中仅依靠参数η调整不能达到适当调整多个通道重要性之目的。为了提高多通道模型的适应性，引入调节参数γα。经过实验验证发现当参数γα取值近似在2/n附近时是较为理想的取值，这里n表示通道数。这一点可以从实验部分的图像融合视觉效果和客观评价指标两个方面加以验证。
S3、在融合池中进行融合计算，得到内部输出量Uij[m]；
其中，所述内部输出量Uij[m]的计算公式为：其中，θ和σ均表示调节参数。
S4、进行迭代计算，生成脉冲点火矩阵Yij[m]；
S5、将脉冲点火矩阵Yij[m]作为融合图像的灰度矩阵，生成融合图像并输出融合结果；
如上述算法所示，多通道脉冲耦合神经网络图像融合算法基本可以分为图像灰度矩阵预处理、计算各通道链路权重、根据多通道模型内部输出情况迭代产生脉冲和点火、融合图像生成四部分。其中计算链路权重和点火矩阵的产生是两个关键环节，点火矩阵的取值取决于脉冲的产生，脉冲的产生则取决于内部输出和上一趟点火取值的大小关系，内部输出取决于n通道的输入和各通道的权重信息，这样四部分相互联系构成了一条关系紧密的融合链。
上述这四部分工作可以在较短时间内实现多幅图像的同步融合，有效地避免了采用双通道模型实现多通道融合存在的融合结果受融合顺序影响较大、融合准确度低与耗费时间较多等缺陷。提出的计算链路权重的新方法计算得到的权重值可以同时照顾到各通道上的信息，相对于采用双通道模型融合多幅图像的方法更能保障各通道间可以较好的融合，这对融合效果起到重要的作用。据此可以看出提出的多通道脉冲耦合神经网络图像融合方法具有如下特色：(1)较为有效地实现多幅图像同步融合。(2)各通道因为采用了合理的适合于多通道模型的权重计算方法，能够从所有通道的全局角度最大化地实现良好协作和引发点火的发生。(3)较之于利用双通道方法实现多幅图像融合，较好地节约了融合时间。
由于多聚焦图像是图像融合领域中具有代表性的几大类型图像之一，在该类型图像上的实验效果在一定程度上可以说明方法的有效性。因而，本发明实施例在多聚焦图像上进行了相关实验研究和实验分析。
为了有效地全面、客观地对各种融合方法进行性能评估，本发明的实验例采用适用性较为广泛的不需要标准图像作为参考图像的评价指标(信息熵、均值、方差和梯度)，需要标准图像作为参考图像的评价指标(均方根误差和结构相似性)和计算时间来共同进行性能评价。同时，本发明实验例还将本发明的融合方法方法和众多已有的经典方法进行了比较，表1简单介绍了用于比较的方法。
表1用于比较的不同方法及其名称缩写
Tab.1 Different methods used for comparison and their abbreviation
实验例一：与双通道脉冲耦合神经网络图像融合方法比较实验
本实验中选取多聚焦图像，并通过与双通道脉冲耦合神经网络图像融合方法相比，进行了有关的性能分析。
其中，采用双通道模型实现4通道融合过程为：将四幅原图像分别按照不同的顺序排列，首先将排列在前面的两幅图像先采用双通道脉冲耦合神经网络图像融合方法进行融合，然后按照排列顺序将融合结果依次与第三幅待融合原图像和第四幅待融合原图像采用相同的方法融合得到最终融合结果。四幅原图像由于排列顺序不同共有12种情况，实验中分别针对这12种情况下的融合效果进行了详细地比较分析。实验中4幅原图、标准图、双通道分别按照1-2-3-4、1-2-4-3、1-3-4-2、1-3-2-4、1-4-2-3、1-4-3-2、2-3-1-4、2-3-4-1、3-4-1-2、3-4-2-1、2-4-1-3、2-4-3-1的融合顺序得到的融合图像以及M-PCNN方法所得融合图像如图4(a)～图4(r)所示，相应评价指标值如表2所示。
表2‘Clock’实验结果比较
Tab.2 Comparison of results obtained by different methods on the‘Clock’images
实验结果分析：
1)融合效果和性能评价数据分析
实验结果显示12组双通道脉冲耦合神经网络图像融合方法得到的实验结果，同样由于4幅原图像融合的顺序不同，这些结果在方差、平均梯度、均方根误差、结构相似性、图像灰度、清晰度、分辨率、时间性能等方面存在一些差异。比如第一组实验中按照1-3-4-2的融合顺序经双通道脉冲耦合神经网络图像融合模型得到的融合图像的信息熵接近最大，可达到7.2602；按照2-3-1-4的融合顺序经双通道脉冲耦合神经网络图像融合模型得到的融合图像耗时最多。而按照本文的方法融合得到的图像在图像方差、均方根误差、结构相似性、时间性能四方面均明显优于或接近于双通道融合的结果。根据上述分析结论，可以看出得到的多幅图像同步融合的融合图像均具有灰度趋于分散，图像反差较大，分辨率较高，图像中微小细节反差明显等特征。本文方法融合的结果不仅具有较少的时间代价，能较好地解决了多幅图像同步融合的问题，而且可以有效地克服了因融合顺序不同造成融合结果差异之缺陷。因而，本文方法同时兼具以下几点特点：1)由于可以实现多幅图像同步融合，因而较好地节约了时间；2)由于采用了合理的权重计算方法，各通道能够从全局的角度实现良好协作。
2)时间性能分析
由于在融合过程中时间性能对一个方法的评价有着重要的参考价值，所以本文从时间性能方面对上述多通道脉冲耦合神经网络图像融合模型与双通道脉冲耦合神经网络图像融合模型进行了详细比较、分析。由于采用双通道模型实现多幅图像同步融合任务，较多的时间均花在图像输入等工作上，本章提出的方法有效克服了这个问题，在时间性能方面表现突出，只需要花费其他方法三分之二的时间可以得到接近于多幅图像多次反复双通道融合的最佳融合效果。这一点为海量图像融合工作提供了有利条件，具有一定的实际使用价值。
实验例2：与其它脉冲耦合和非脉冲耦合神经网络图像融合方法比较实验
为了进一步验证新型多通道脉冲耦合图像融合方法在多幅图像同步融合中的有效性，本实验例例将本发明的方法与其它多种方法进行了比较。具体比较的方法有：非脉冲耦合神经网络图像融合方法NSCT，LP，DWT，CP，MP，RP，SIDWT和脉冲耦合图像融合方法Wang-1，PCNN-1，PCNN-2，Fu-1。NSCT方法中高频部分选取取最大，低频部分选取取平均的融合规则；非脉冲耦合方法当需要小波分解时分解层数均设置为2，高频部分采用选取最大的融合策略，低频部分采用选取第一幅图像信息的融合策略；PCNN-1、PCNN-2采用的参数设置为：循环次数m＝200，α＝1，αT＝0.2，β＝3，VL＝1，VT＝20。Fu-1方法的参数设置与文献中的参数相同。其它方法融合顺序均采用1-2-3-4。实验中4幅原图、标准图、依次按Fu-1、NSCT、Wang-1、PCNN-1、PCNN-2、Laplacian、DWT、Contrast、Morphological、Ratio、SIDWT和本发明的M-PCNN得到的融合图像如图5(a)～图5(q)所示，相应评价指标值如表3和图6所示。
表3’Clock’图像上与其它方法实验评价指标比较
Tab.3 Comparison of results obtained by different methods on the‘Clock’images
从实验结果可以看出，本发明的融合方法在方差、平均梯度、均方根误差、结构相似性四个方面均明显优于Fu-1、NSCT、Wang-1、PCNN-1、PCNN-2、LP、DWT、CP、MP、RP、SIDWT图像融合方法。这一点进一步验证本发明的方法融合得到的图像包含信息较多，分辨率较高。在均值方面除了比Fu-1、NSCT、Wang-1方法略差些外，均比其它方法优。在熵方面除基本与Fu-1、DWT方法相近外，优于CP、RP、SIDWT方法，比NSCT、Wang-1、PCNN-1、PCNN-2、LP、MP差些。说明本发明的方法在融合结果的信息量上没有滤波类融合方法好。从时间性能方面来看，本发明方法所用的时间比其他PCNN方法好，但比其他非PCNN方法差。本发明方法虽然比LP、DWT、CP、MP、RP、SIDWT等方法在时间性能上没有优势，但其可以实现多幅图像一次同步融合，而其他方法均需要按照一定的次序反复多次进行两两融合，而且有效地避免最终融合结果受融合顺序影响之问题。
此外，如图6所示为各种融合方法的评价指标柱形图，图6中a～j分别表示(a)Wang-1(b)PCNN-1(c)PCNN-2(d)LP(e)DWT(f)CP(g)MP(h)RP(i)SIDWT(j)M-PCNN，图中每个评价方法的柱形图从左到右分别对应：MEAN，STD、ENT、GRAD指标。实验结果显示，本发明的方法在均值方差、熵三个方面均明显优于Wang-1、PCNN-1、PCNN-2、LP、DWT、CP、MP、RP、SIDWT这六种非脉冲耦合图像融合方法。进一步证明本文方法融合得到的图像包含信息较多，分辨率较高。在平均梯度方面除比RP好些，比LP、DWT、CP、MP、SIDWT要差些。说明本发明的方法在融合结果的清晰度上没有滤波类融合方法清晰。
实验例三：N通道实验(N>4)
为了进一步验证本发明方法的有效性，在通道个数多余4个时也进行了大量实验研究，但考虑到实验条件和图像来源限制等因素，仅在5通道、6通道、7通道进行相关实验。
实验结果如图7和表8所示，从实验结果来看，本发明提出的多通道模型融合方法，在通道个数多余4个时也能够得到较好的融合效果。但是伴随着通道个数的增多，融合图像的均值会不断提高，这与本文采用的链路权重计算方法有关。同时，由于需要计算融合信息的通道数目增加，计算量会伴随着增加，势必带来运算时间的延长。
综上所述，本发明提供了一种基于多通道机制的耦合脉冲图像耦合方法，该方法建立了新型多通道脉冲耦合神经网络图像融合模型，并对链接权重计算方法进行了改进，通过一系列实验，验证了本发明不仅可以较好地解决多幅图像同步融合的问题，而且在融合实验效果和时间性能等方面均显示出有效性。
上面结合附图对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (4)
1.一种基于多通道机制的脉冲耦合图像融合方法，其特征在于，包括以下步骤:
S1、建立多通道脉冲耦合神经网络模型结构，并对各个通道的输入图像矩阵进行归一化后，输入所述多通道脉冲耦合神经网络模型结构中；
S2、计算各个通道链路权重βij α的值，并将计算得到的链路权重输入多通道脉冲耦合神经网络模型结构中；
S3、在融合池中进行融合计算，得到内部输出量Uij[m]；
S4、进行迭代计算，生成脉冲点火矩阵Yij[m]；
S5、将脉冲点火矩阵Yij[m]作为融合图像的灰度矩阵，生成融合图像并输出融合结果；所述步骤S2中，各个通道链路权重的计算公式为：
所述步骤S3中，所述内部输出量Uij[m]的计算公式为：
其中，n表示通道数，m表示循环次数，i，j表图像像素点，Hij 1,……,Hij n分别表示第1幅～第n幅图像的输入，βij α表示第α个通道的加权系数，Sij α表示第α幅图像像素点(i，j)灰度值，θ、η表示调节参数，σ表示水平调节参数，γα表示协同参数。
2.根据权利要求1所述的一种基于多通道机制的脉冲耦合图像融合方法，其特征在于，所述脉冲点火矩阵Yij[m]的迭代公式为：
其中，其中，k表示链接权重矩阵，αT表示衰减时间，Tij[m]表示点火次数；VT表示放大系数。
3.根据权利要求1所述的一种基于多通道机制的脉冲耦合图像融合方法，其特征在于，所述协同参数γα的取值为2/n。
4.根据权利要求1所述的一种基于多通道机制的脉冲耦合图像融合方法，其特征在于，所述步骤S1中，建立多通道脉冲耦合神经网络模型结构时，其公式为：
……
其中，Sij 1,，……，Sij n分别表示第一个通道～第n个通道的外部刺激；w1，……wn分别表示链路权重矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811178840.1A CN109389576A (zh) | 2018-10-10 | 2018-10-10 | 基于多通道机制的脉冲耦合图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811178840.1A CN109389576A (zh) | 2018-10-10 | 2018-10-10 | 基于多通道机制的脉冲耦合图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109389576A true CN109389576A (zh) | 2019-02-26 |
Family
ID=65426907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811178840.1A Withdrawn CN109389576A (zh) | 2018-10-10 | 2018-10-10 | 基于多通道机制的脉冲耦合图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109389576A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161203A (zh) * | 2019-12-30 | 2020-05-15 | 国网北京市电力公司 | 一种基于忆阻脉冲耦合神经网络的多聚焦图像融合方法 |
| CN112241940A (zh) * | 2020-09-28 | 2021-01-19 | 北京科技大学 | 一种多张多聚焦图像融合方法及装置 |
-
2018
- 2018-10-10 CN CN201811178840.1A patent/CN109389576A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161203A (zh) * | 2019-12-30 | 2020-05-15 | 国网北京市电力公司 | 一种基于忆阻脉冲耦合神经网络的多聚焦图像融合方法 |
| CN112241940A (zh) * | 2020-09-28 | 2021-01-19 | 北京科技大学 | 一种多张多聚焦图像融合方法及装置 |
| CN112241940B (zh) * | 2020-09-28 | 2023-12-19 | 北京科技大学 | 一种多张多聚焦图像融合方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197468A (zh) | 一种基于多尺度残差学习网络的单图像超分辨重建算法 | |
| CN109389576A (zh) | 基于多通道机制的脉冲耦合图像融合方法 | |
| CN109543502A (zh) | 一种基于深度多尺度神经网络的语义分割方法 | |
| CN109614968B (zh) | 一种基于多尺度混合图像风格化的车牌检测场景图片生成方法 | |
| CN108876735A (zh) | 一种基于深度残差网络的真实图像盲去噪方法 | |
| CN109509149A (zh) | 一种基于双通道卷积网络特征融合的超分辨率重建方法 | |
| CN107092960A (zh) | 一种改进的并行通道卷积神经网络训练方法 | |
| CN112614077A (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
| CN111814626B (zh) | 一种基于自注意力机制的动态手势识别方法和系统 | |
| CN108510013A (zh) | 基于低秩核心矩阵的改进稳健张量主成分分析方法 | |
| CN110751121A (zh) | 基于聚类与sofm的无监督雷达信号分选方法 | |
| CN109376787A (zh) | 流形学习网络及基于其的计算机视觉图像集分类方法 | |
| CN103679670B (zh) | 一种基于改进模型的pcnn多源图像融合方法 | |
| CN109785279A (zh) | 一种基于深度学习的图像融合重建方法 | |
| CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
| CN108596044A (zh) | 基于深度卷积神经网络的行人检测方法 | |
| Ding et al. | Take a close look at mode collapse and vanishing gradient in GAN | |
| CN106683043A (zh) | 一种多通道光学探测系统的并行图像拼接方法、装置 | |
| CN110084771A (zh) | 一种基于集值映射的双模态红外图像分块多算法优化融合方法 | |
| CN108961346A (zh) | 基于bp神经网络对颜色和谐度进行预测的方法 | |
| CN114529794B (zh) | 一种红外与可见光图像融合方法、系统及介质 | |
| CN113033777B (zh) | 一种基于神经网络标定模型的车载氛围灯色度标定方法 | |
| CN110472668A (zh) | 一种图像分类方法 | |
| CN109523386A (zh) | 一种gmm与lstm结合的投资组合风险预测方法 | |
| Wang et al. | Spiking cortical model: a new member in the third generation of artificial neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190226 |
|
| WW01 | Invention patent application withdrawn after publication |