CN113240616A - 一种脑部医学图像融合方法及系统 - Google Patents
一种脑部医学图像融合方法及系统 Download PDFInfo
- Publication number
- CN113240616A CN113240616A CN202110584342.2A CN202110584342A CN113240616A CN 113240616 A CN113240616 A CN 113240616A CN 202110584342 A CN202110584342 A CN 202110584342A CN 113240616 A CN113240616 A CN 113240616A
- Authority
- CN
- China
- Prior art keywords
- frequency
- image
- source image
- fusion
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 30
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 162
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 65
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 210000002569 neuron Anatomy 0.000 claims description 49
- 230000005284 excitation Effects 0.000 claims description 16
- 230000001054 cortical effect Effects 0.000 claims description 12
- 238000000034 method Methods 0.000 abstract description 23
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及一种脑部医学图像融合方法及系统。该方法包括：获取待融合的源图像对；分别对第一源图像和第二源图像进行多尺度极值分解，得到第一源图像的低频分解图像和高频分量以及第二源图像的低频分解图像和高频分量；根据两个源图像的低频分解图像，采用双通道脉冲发放皮层模型，得到低频分量，进而融合得到低频融合图像；根据所述合的源图像对，利用暹罗神经网络，得到待融合的源图像对的先验融合权重；利用第一源图像的高频分量的信息熵对先验融合权重进行加权平均；利用高频融合权重对两个源图像的高频分量进行融合；利用低频融合图像和高频融合分量得到融合图像。本发明提高了融合图像的抗噪能力，充分的反映图像中的细节信息。
Description
技术领域
本发明涉及数值图像处理领域，特别是涉及一种脑部医学图像融合方法及系统。
背景技术
医学图像融合技术通过添加互补高效的特征来增强人类的视觉，在各种医疗诊断和治疗中发挥着越来越重要的作用，节省了成像成本，能够提供更多有效的重要信息。
近年来，多尺度变换(MST)方法的成功应用推动了图像融合的发展。该方法对图像进行多尺度分层提取特征，提高了图像分解的性能。为了进一步提高性能，进行了一些重要的研究。该工作从拉普拉斯金字塔和离散小波变换开始，接着进行了曲波变换(CVT)、双树复小波变换(DTCWT)、非下采样轮廓波变换(NSCT)和非下采样剪切波变换(NSST)等变换。NSCT结合脉冲耦合神经网络(PCNN)医学图像融合方案和一种使用级联框架的计算机断层扫描-磁共振成像(CT-MRI)图像融合方案在小波域和NSST域中都取得了良好的融合效果。此外，各种基于MST的融合算法已被证明具有良好的性能。然而，基于MST的方法仍然有一些局限性。例如，NSCT操作效率低，CVT和DTCWT仅适用于少数类型的图像。
因此，为了解决这些问题，学者们提出了更多结合MST与其他融合策略的方法。现有技术公开了一种结合多尺度局部极值分解和SCM模型的医学图像融合方法(《计算机应用与软件》第37卷第7期)，针对CT-MRI图像融合中容易造成细节和对比度信息丢失等问题，提出一种基于多尺度局部极值分解方法(LES)和双通道脉冲发放皮层模型(DCSCM)的图像融合方法。利用多尺度局部极值分解方法将源图像分解为一系列不同尺度的平滑图像和细节图像；使用最大值法分别提取两个系列平滑图像的最大值，使用稀疏表示方法进行平滑图像的融合；对两个系列的细节图像取均值，使用DCSCM模型对细节图像进行融合；通过融合后的平滑图像和细节图像重构出最终的融合图像。该方法基于区域能量的稀疏表示字典融合方法会导致算法运行复杂度上升，运行时间略长。
神经网络具有很强的非线性映射能力，能够很好地实现信息的整合。PCNN是一种典型的简化神经网络，与基于稀疏表示(SR)的方法一样，PCNN在频域融合中取得了积极的效果。现有文献公开了一种基于脉冲耦合神经网络的图像融合(《计算机仿真》2004，21(4))，该方法借助PCNN的点火捕获特性和辅PCNN向主PCNN的链接通道设计，将多个辅PCNN网络的信息耦合到主PCNN中，以实现多个图像的融合。这种PCNN融合方法要求各图像目标区域较亮而且对源的图像有主次要求且参数量大，迭代次数高，运行时间长。对于脑部医学图像，往往无法满足目标区域亮度的要求，笼统的像素值取大的策略无法有效的保留更多的有效细节信息，基于PCNN的融合方法无法实现有效融合。
随着科学技术的发展，深度学习在信息融合领域得到了广泛的应用，卷积神经网络(convolutional neural networksCNNs)作为许多先进神经网络的进化基础，在图像处理领域受到了相当大的关注。然而，由于医学图像的特点，源图像的局部相似性通常不一致。因此，在医学图像融合任务中，CNNs获取的特征图不能直接获得决策权重图，需要使用特定的工具进行处理。因此，这种方法在融合任务中有时是无效的。
基于上述，亟需提出一种新的脑部医学图像融合方法，使融合的图像有较强的抗噪能力，并且很好的反映图像中的细节信息。
发明内容
本发明的目的是提供一种脑部医学图像融合方法及系统，提高融合图像的抗噪能力，充分的反映图像中的细节信息。
为实现上述目的，本发明提供了如下方案：
一种脑部医学图像融合方法，包括：
获取待融合的源图像对；所述待融合的源图像对包括互相配准的第一源图像和第二源图像；
分别对所述第一源图像和所述第二源图像进行多尺度极值分解，得到所述第一源图像的低频分解图像和高频分量以及所述第二源图像的低频分解图像和高频分量；
根据所述第一源图像的低频分解图像和所述第二源图像的低频分解图像，采用双通道脉冲发放皮层模型，得到低频分量，进而融合得到低频融合图像；
根据所述待融合的源图像对，利用暹罗神经网络，得到所述待融合的源图像对的先验融合权重；
利用所述第一源图像的高频分量的信息熵对所述先验融合权重进行加权平均，得到高频融合权重；
利用所述高频融合权重对所述第一源图像的高频分量和所述第二源图像的高频分量进行融合，得到高频融合分量；
利用所述低频融合图像和所述高频融合分量得到融合图像。
可选地，所述根据所述第一源图像的低频分解图像和所述第二源图像的低频分解图像，采用双通道脉冲发放皮层模型，得到低频分量，进而融合得到低频融合图像，具体包括：
利用公式
确定双通道脉冲发放皮层模型；
利用公式
确定融合得到低频融合图像；
其中，RF1(p,q)为低频融合图像，p和q均为像素点，RA1(p,q)为第一源图像的低频分解图像，RB1(p,q)为第二源图像的低频分解图像，Ap,q(n)为n时刻双通道神经元内部状态最大值，
为n时刻第一通道神经元状态值，
为n时刻第二通道神经元状态值，f为神经元连接输入的衰减权重，
为n-1时刻第一通道神经元状态值，
为第一通道的输入激励信号，
为n-1时刻第二通道神经元状态值，
为第二通道的输入激励信号，Wwl为输入值得权重，Ywl(n-1)为n-1时刻输入值，Ep,q(n)为n时刻动态阈值，g为n-1时刻神经元衰减系数，Ep,q(n-1)为n-1时刻动态阈值，Vθ为放大系数，Xp,q(n)为外部激励，Ep,q为当前状态动态阈值，Ap,q为当前状态神经元状态值，Yp,q(n)为输出值，n为迭代次数，w和l为该像素点的空间坐标。
可选地，所述利用所述第一源图像的高频分量的信息熵对所述先验融合权重进行加权平均，得到高频融合权重，具体包括：
利用公式
确定高频融合权重；
其中，WF为高频融合权重，WP为先验融合权重，
为第一源图像在k尺度上的分量，
为第二源图像在k尺度上的分量，
为第一源图像在k尺度上分量的信息熵值，
为第二源图像在k尺度上分量的信息熵值，k为尺度值，K为最大尺度值。
可选地，所述利用所述高频融合权重对所述第一源图像的高频分量和所述第二源图像的高频分量进行融合，得到高频融合分量，具体包括：
利用公式
确定高频融合分量；
其中，RFN为高频融合分量，RAk为第一源图像的高频分量，RBk为第二源图像的高频分量。
一种脑部医学图像融合系统，包括：
待融合的源图像对获取模块，用于获取待融合的源图像对；所述待融合的源图像对包括互相配准的第一源图像和第二源图像；
多尺度极值分解模块，用于分别对所述第一源图像和所述第二源图像进行多尺度极值分解，得到所述第一源图像的低频分解图像和高频分量以及所述第二源图像的低频分解图像和高频分量；
低频融合图像确定模块，用于根据所述第一源图像的低频分解图像和所述第二源图像的低频分解图像，采用双通道脉冲发放皮层模型，得到低频分量，进而融合得到低频融合图像；
先验融合权重确定模块，用于根据所述待融合的源图像对，利用暹罗神经网络，得到所述待融合的源图像对的先验融合权重；
高频融合权重确定模块，用于利用所述第一源图像的高频分量的信息熵对所述先验融合权重进行加权平均，得到高频融合权重；
高频融合分量确定模块，用于利用所述高频融合权重对所述第一源图像的高频分量和所述第二源图像的高频分量进行融合，得到高频融合分量；
融合图像确定模块，用于利用所述低频融合图像和所述高频融合分量得到融合图像。
可选地，所述低频融合图像确定模块具体包括：
双通道脉冲发放皮层模型确定单元，用于利用公式
确定双通道脉冲发放皮层模型；
低频融合图像确定单元，用于利用公式
确定融合得到低频融合图像；
其中，RF1(p,q)为低频融合图像，p和q均为像素点，RA1(p,q)为第一源图像的低频分解图像，RB1(p,q)为第二源图像的低频分解图像，Ap,q(n)为n时刻双通道神经元内部状态最大值，
为n时刻第一通道神经元状态值，
为n时刻第二通道神经元状态值，f为神经元连接输入的衰减权重，
为n-1时刻第一通道神经元状态值，
为第一通道的输入激励信号，
为n-1时刻第二通道神经元状态值，
为第二通道的输入激励信号，Wwl为输入值得权重，Ywl(n-1)为n-1时刻输入值，Ep,q(n)为n时刻动态阈值，g为n-1时刻神经元衰减系数，Ep,q(n-1)为n-1时刻动态阈值，Vθ为放大系数，Xp,q(n)为外部激励，Ep,q为当前状态动态阈值，Ap,q为当前状态神经元状态值，Yp,q(n)为输出值，n为迭代次数，w和l为该像素点的空间坐标。
可选地，所述高频融合权重确定模块具体包括：
高频融合权重确定单元，用于利用公式
确定高频融合权重；
其中，WF为高频融合权重，WP为先验融合权重，
为第一源图像在k尺度上的分量，
为第二源图像在k尺度上的分量，
为第一源图像在k尺度上分量的信息熵值，
为第二源图像在k尺度上分量的信息熵值，k为尺度值，K为最大尺度值。
可选地，所述高频融合分量确定模块具体包括：
高频融合分量确定单元，用于利用公式
确定高频融合分量；
其中，RFN为高频融合分量，RAk为第一源图像的高频分量，RBk为第二源图像的高频分量。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种脑部医学图像融合方法及系统，本发明利用多尺度局部极值分解的优点，对图像进行有效的多尺度分解；利用ADCSCM和暹罗神经网络设计低频分量和高频分量的融合方案。脑部医学图像往往无法满足目标区域亮度的要求，而多尺度局部极值分解(MSLES)的特性，亮度信息被保存在低频分量中。本发明设计并提出了基于图像信息熵和局部能量极大值的方法，将双通道脉冲耦合发放皮质模型(DCSCM)改进为自适应的低频细节层融合策略，减少了参数量的手工设计，减少了迭代次数，减少了运行时间。高频分量往往包含更多的图像细节信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种脑部医学图像融合方法流程示意图；
图2为本发明所提供的一种脑部医学图像融合方法原理示意图；
图3为其他的脑部医学图像在本发明算法下的融合结果示意图；
图4为基于LP变换及PCNN的多聚焦图像融合方法的融合结果评价示意图；
图5为本发明所提供的一种脑部医学图像融合系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种脑部医学图像融合方法及系统，提高融合图像的抗噪能力，充分的反映图像中的细节信息。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种脑部医学图像融合方法流程示意图，图2为本发明所提供的一种脑部医学图像融合方法原理示意图，如图1和图2所示，本发明所提供的一种脑部医学图像融合方法，包括：
S101，获取待融合的源图像对；所述待融合的源图像对包括互相配准的第一源第一源图像和第二源第二源图像。
S102，分别对所述第一源图像和所述第二源图像进行多尺度极值分解，得到所述第一源图像的低频分解图像RA1和高频分量{RA2，…RAN}以及所述第二源图像的低频分解图像RB1和高频分量{RB2，…RBN}。
源图像的分解过程为：
利用公式
确定求得图像的极大值包络面；
利用公式
确定求得图像的极小值包络面；
求平均值平面RI1和残差平面CI2＝RI-RI1，对CI2再次进行局部极值分解，得到RI2和CI3，重复以上计算，最终得到
其中，m(p)和n(p)是插值，Imax和Imin分别是极大值和极小值平面，Ω(p)是像素点p的领域。
S103，根据所述第一源图像的低频分解图像和所述第二源图像的低频分解图像，采用双通道脉冲发放皮层模型，得到低频分量，进而融合得到低频融合图像。
S103具体包括：
利用公式
确定双通道脉冲发放皮层模型。
利用公式
确定融合得到低频融合图像。
其中，RF1(p,q)为低频融合图像，p和q均为像素点，RA1(p,q)为第一源图像的低频分解图像，RB1(p,q)为第二源图像的低频分解图像，Ap,q(n)为n时刻双通道神经元内部状态最大值，
为n时刻第一通道神经元状态值，
为n时刻第二通道神经元状态值，f为神经元连接输入的衰减权重，
为n-1时刻第一通道神经元状态值，
为第一通道的输入激励信号，
为n-1时刻第二通道神经元状态值，
为第二通道的输入激励信号，Wwl为输入值得权重，Ywl(n-1)为n-1时刻输入值，Ep,q(n)为n时刻动态阈值，g为n-1时刻神经元衰减系数，Ep,q(n-1)为n-1时刻动态阈值，Vθ为放大系数，Xp,q(n)为外部激励，Ep,q为当前状态动态阈值，Ap,q为当前状态神经元状态值，Yp,q(n)为输出值，n为迭代次数，w和l为该像素点的空间坐标。
S104，根据所述待融合的源图像对，利用暹罗神经网络，得到所述待融合的源图像对的先验融合权重。
S105，利用所述第一源图像的高频分量的信息熵对所述先验融合权重进行加权平均，得到高频融合权重。
S105利用公式
确定高频融合权重。
其中，WF为高频融合权重，WP为先验融合权重，
为第一源图像在k尺度上的分量，
为第二源图像在k尺度上的分量，
为第一源图像在k尺度上分量的信息熵值，
为第二源图像在k尺度上分量的信息熵值，k为尺度值，K为最大尺度值。
S106，利用所述高频融合权重对所述第一源图像的高频分量和所述第二源图像的高频分量进行融合，得到高频融合分量。
S106利用公式
确定高频融合分量。
其中，RFN为高频融合分量，RAk为第一源图像的高频分量，RBk为第二源图像的高频分量。
S107，利用所述低频融合图像和所述高频融合分量得到融合图像。
为了验证本发明基于多尺度极值分解和暹罗神经网络的脑部医学图像融合方法的性能，选取了多种多聚焦图像作为融合图像如图3，图4所示，其中图3中(c)、(d)、(e)、(f)、(g)、(h)和(i)分别代表双复数小波变换(DTCWT)、拉普拉斯变换(LP)、曲波变换与字典学习算法(CVT)、非下采样轮廓波变换与脉冲耦合神经网络算法(NSCT-PCNN)、非下采样剪切波变换与改进PCNN算法(NSST-PAPCNN)、基于空间频率的NSCT算法(NSCT-SF)、局部极值分解算法(LES)和本发明算法融合的结果。为了更好的对融合结果进行分析和对比，采用了边缘强度(EI)、互信息(MI)、平均梯度(AG)、标准差(SD)、平均结构相似度(MSSIM)和边缘信息保留度(Qabf)等客观评价标准进行了计算，得到的结果如表1所示。本发明方法的融合结果在各项客观评价指标上均增加了，这也从客观角度有效地说明了本发明方法的融合性能要优于其它各种方法。从表1可知，本发明提出的算法在清晰度和亮度方面都优于其他算法，融合图像中包含了更多有效信息。
表1
本发明使用已训练的暹罗神经网络作为图像高频分量的融合策略，暹罗神经网络从大量的自然图像中学习到图像最本征的特征，能够从A和B两幅源图像中自适应地选取需要保留的细节信息，保留更多更有效的图像细节特征。进而解决了张军英等人提出使用PCNN网络构建图像融合的方法无法有效的融合高频分量中的细节信息的问题。
目前的研究当中结合多尺度局部极值分解和SCM模型的医学图像使用了DCSCM模型对细节图像进行融合。其中的DCSCM参数f1，f2表示为相应通道的链接强度，通道的链接强度决定了输入信号对神经元的激励强度，作用在图像融合的结果中，直接影响融合图像的性能。现有文献通过试错实验进行参数值的筛选，最终将f1，f2的数值都设定为0.2；而本发明综合考虑输入图像的特性，发现CT图像和MRI图像的输入激励强度应该予以区分，而信息熵能够表示图像的信息量，是图像中的重要特征，又考虑到参数试错过程繁杂冗余，提出以各自图像的信息熵(EN)为其输入激励强度，即f1＝EN(RA)，f2＝EN(RB)，成功省去手工设计参数数值花费的时间，并且能够区分源图像间的信息重要性，容易获得低频分量的融合策略，最终获得了更丰富的细节信息，更完整的基础信息的融合图像。
图5为本发明所提供的一种脑部医学图像融合系统结构示意图，如图5所示，本发明所提供的一种脑部医学图像融合系统，包括：
待融合的源图像对获取模块501，用于获取待融合的源图像对；所述待融合的源图像对包括互相配准的第一源图像和第二源图像。
多尺度极值分解模块502，用于分别对所述第一源图像和所述第二源图像进行多尺度极值分解，得到所述第一源图像的低频分解图像和高频分量以及所述第二源图像的低频分解图像和高频分量。
低频融合图像确定模块503，用于根据所述第一源图像的低频分解图像和所述第二源图像的低频分解图像，采用双通道脉冲发放皮层模型，得到低频分量，进而融合得到低频融合图像。
先验融合权重确定模块504，用于根据所述待融合的源图像对，利用暹罗神经网络，得到所述待融合的源图像对的先验融合权重。
高频融合权重确定模块505，用于利用所述第一源图像的高频分量的信息熵对所述先验融合权重进行加权平均，得到高频融合权重。
高频融合分量确定模块506，用于利用所述高频融合权重对所述第一源图像的高频分量和所述第二源图像的高频分量进行融合，得到高频融合分量。
融合图像确定模块507，用于利用所述低频融合图像和所述高频融合分量得到融合图像。
所述低频融合图像确定模块503具体包括：
双通道脉冲发放皮层模型确定单元，用于利用公式
确定双通道脉冲发放皮层模型。
低频融合图像确定单元，用于利用公式
确定融合得到低频融合图像。
其中，RF1(p,q)为低频融合图像，p和q均为像素点，RA1(p,q)为第一源图像的低频分解图像，RB1(p,q)为第二源图像的低频分解图像，Ap,q(n)为n时刻双通道神经元内部状态最大值，
为n时刻第一通道神经元状态值，
为n时刻第二通道神经元状态值，f为神经元连接输入的衰减权重，
为n-1时刻第一通道神经元状态值，
为第一通道的输入激励信号，
为n-1时刻第二通道神经元状态值，
为第二通道的输入激励信号，Wwl为输入值得权重，Ywl(n-1)为n-1时刻输入值，Ep,q(n)为n时刻动态阈值，g为n-1时刻神经元衰减系数，Ep,q(n-1)为n-1时刻动态阈值，Vθ为放大系数，Xp,q(n)为外部激励，Ep,q为当前状态动态阈值，Ap,q为当前状态神经元状态值，Yp,q(n)为输出值，n为迭代次数，w和l为该像素点的空间坐标。
所述高频融合权重确定模块505具体包括：
高频融合权重确定单元，用于利用公式
确定高频融合权重。
其中，WF为高频融合权重，WP为先验融合权重，
为第一源图像在k尺度上的分量，
为第二源图像在k尺度上的分量，
为第一源图像在k尺度上分量的信息熵值，
为第二源图像在k尺度上分量的信息熵值，k为尺度值，K为最大尺度值。
所述高频融合分量确定模块506具体包括：
高频融合分量确定单元，用于利用公式
确定高频融合分量。
其中，RFN为高频融合分量，RAk为第一源图像的高频分量，RBk为第二源图像的高频分量。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种脑部医学图像融合方法，其特征在于，包括：
获取待融合的源图像对；所述待融合的源图像对包括互相配准的第一源图像和第二源图像；
分别对所述第一源图像和所述第二源图像进行多尺度极值分解，得到所述第一源图像的低频分解图像和高频分量以及所述第二源图像的低频分解图像和高频分量；
根据所述第一源图像的低频分解图像和所述第二源图像的低频分解图像，采用双通道脉冲发放皮层模型，得到低频分量，进而融合得到低频融合图像；
根据所述待融合的源图像对，利用暹罗神经网络，得到所述待融合的源图像对的先验融合权重；
利用所述第一源图像的高频分量的信息熵对所述先验融合权重进行加权平均，得到高频融合权重；
利用所述高频融合权重对所述第一源图像的高频分量和所述第二源图像的高频分量进行融合，得到高频融合分量；
利用所述低频融合图像和所述高频融合分量得到融合图像。
2.根据权利要求1所述的一种脑部医学图像融合方法，其特征在于，所述根据所述第一源图像的低频分解图像和所述第二源图像的低频分解图像，采用双通道脉冲发放皮层模型，得到低频分量，进而融合得到低频融合图像，具体包括：
利用公式
确定双通道脉冲发放皮层模型；
利用公式
确定融合得到低频融合图像；
其中，RF1(p,q)为低频融合图像，p和q均为像素点，RA1(p,q)为第一源图像的低频分解图像，RB1(p,q)为第二源图像的低频分解图像，Ap,q(n)为n时刻双通道神经元内部状态最大值，
为n时刻第一通道神经元状态值，
为n时刻第二通道神经元状态值，f为神经元连接输入的衰减权重，
为n-1时刻第一通道神经元状态值，
为第一通道的输入激励信号，
为n-1时刻第二通道神经元状态值，
为第二通道的输入激励信号，Wwl为输入值得权重，Ywl(n-1)为n-1时刻输入值，Ep,q(n)为n时刻动态阈值，g为n-1时刻神经元衰减系数，Ep,q(n-1)为n-1时刻动态阈值，Vθ为放大系数，Xp,q(n)为外部激励，Ep,q为当前状态动态阈值，Ap,q为当前状态神经元状态值，Yp,q(n)为输出值，n为迭代次数，w和l为该像素点的空间坐标。
3.根据权利要求2所述的一种脑部医学图像融合方法，其特征在于，所述利用所述第一源图像的高频分量的信息熵对所述先验融合权重进行加权平均，得到高频融合权重，具体包括：
利用公式
确定高频融合权重；
其中，WF为高频融合权重，WP为先验融合权重，
为第一源图像在k尺度上的分量，
为第二源图像在k尺度上的分量，
为第一源图像在k尺度上分量的信息熵值，
为第二源图像在k尺度上分量的信息熵值，k为尺度值，K为最大尺度值。
4.根据权利要求3所述的一种脑部医学图像融合方法，其特征在于，所述利用所述高频融合权重对所述第一源图像的高频分量和所述第二源图像的高频分量进行融合，得到高频融合分量，具体包括：
利用公式
确定高频融合分量；
其中，RFN为高频融合分量，RAk为第一源图像的高频分量，RBk为第二源图像的高频分量。
5.一种脑部医学图像融合系统，其特征在于，包括：
待融合的源图像对获取模块，用于获取待融合的源图像对；所述待融合的源图像对包括互相配准的第一源图像和第二源图像；
多尺度极值分解模块，用于分别对所述第一源图像和所述第二源图像进行多尺度极值分解，得到所述第一源图像的低频分解图像和高频分量以及所述第二源图像的低频分解图像和高频分量；
低频融合图像确定模块，用于根据所述第一源图像的低频分解图像和所述第二源图像的低频分解图像，采用双通道脉冲发放皮层模型，得到低频分量，进而融合得到低频融合图像；
先验融合权重确定模块，用于根据所述待融合的源图像对，利用暹罗神经网络，得到所述待融合的源图像对的先验融合权重；
高频融合权重确定模块，用于利用所述第一源图像的高频分量的信息熵对所述先验融合权重进行加权平均，得到高频融合权重；
高频融合分量确定模块，用于利用所述高频融合权重对所述第一源图像的高频分量和所述第二源图像的高频分量进行融合，得到高频融合分量；
融合图像确定模块，用于利用所述低频融合图像和所述高频融合分量得到融合图像。
6.根据权利要求5所述的一种脑部医学图像融合系统，其特征在于，所述低频融合图像确定模块具体包括：
双通道脉冲发放皮层模型确定单元，用于利用公式
确定双通道脉冲发放皮层模型；
低频融合图像确定单元，用于利用公式
确定融合得到低频融合图像；
其中，RF1(p,q)为低频融合图像，p和q均为像素点，RA1(p,q)为第一源图像的低频分解图像，RB1(p,q)为第二源图像的低频分解图像，Ap,q(n)为n时刻双通道神经元内部状态最大值，
为n时刻第一通道神经元状态值，
为n时刻第二通道神经元状态值，f为神经元连接输入的衰减权重，
为n-1时刻第一通道神经元状态值，
为第一通道的输入激励信号，
为n-1时刻第二通道神经元状态值，
为第二通道的输入激励信号，Wwl为输入值得权重，Ywl(n-1)为n-1时刻输入值，Ep,q(n)为n时刻动态阈值，g为n-1时刻神经元衰减系数，Ep,q(n-1)为n-1时刻动态阈值，Vθ为放大系数，Xp,q(n)为外部激励，Ep,q为当前状态动态阈值，Ap,q为当前状态神经元状态值，Yp,q(n)为输出值，n为迭代次数，w和l为该像素点的空间坐标。
7.根据权利要求6所述的一种脑部医学图像融合系统，其特征在于，所述高频融合权重确定模块具体包括：
高频融合权重确定单元，用于利用公式
确定高频融合权重；
其中，WF为高频融合权重，WP为先验融合权重，
为第一源图像在k尺度上的分量，
为第二源图像在k尺度上的分量，
为第一源图像在k尺度上分量的信息熵值，
为第二源图像在k尺度上分量的信息熵值，k为尺度值，K为最大尺度值。
8.根据权利要求7所述的一种脑部医学图像融合系统，其特征在于，所述高频融合分量确定模块具体包括：
高频融合分量确定单元，用于利用公式
确定高频融合分量；
其中，RFN为高频融合分量，RAk为第一源图像的高频分量，RBk为第二源图像的高频分量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110584342.2A CN113240616A (zh) | 2021-05-27 | 2021-05-27 | 一种脑部医学图像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110584342.2A CN113240616A (zh) | 2021-05-27 | 2021-05-27 | 一种脑部医学图像融合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113240616A true CN113240616A (zh) | 2021-08-10 |
Family
ID=77139258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110584342.2A Pending CN113240616A (zh) | 2021-05-27 | 2021-05-27 | 一种脑部医学图像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113240616A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063715A (zh) * | 2010-12-25 | 2011-05-18 | 浙江师范大学 | 基于nsct和粒子群优化算法的台风云图融合方法 |
| CN107194904A (zh) * | 2017-05-09 | 2017-09-22 | 西北工业大学 | 基于增补机制和pcnn的nsct域图像融合方法 |
| CN107977926A (zh) * | 2017-12-01 | 2018-05-01 | 新乡医学院 | 一种改进神经网络的pet/mri异机脑部影像信息融合方法 |
| CN109035189A (zh) * | 2018-07-17 | 2018-12-18 | 桂林电子科技大学 | 基于柯西模糊函数的红外与弱可见光图像融合方法 |
| CN109063729A (zh) * | 2018-06-20 | 2018-12-21 | 上海电力学院 | 一种基于pso-nsct的多传感器图像融合方法 |
| CN109801250A (zh) * | 2019-01-10 | 2019-05-24 | 云南大学 | 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法 |
| CN109934887A (zh) * | 2019-03-11 | 2019-06-25 | 吉林大学 | 一种基于改进的脉冲耦合神经网络的医学图像融合方法 |
-
2021
- 2021-05-27 CN CN202110584342.2A patent/CN113240616A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063715A (zh) * | 2010-12-25 | 2011-05-18 | 浙江师范大学 | 基于nsct和粒子群优化算法的台风云图融合方法 |
| CN107194904A (zh) * | 2017-05-09 | 2017-09-22 | 西北工业大学 | 基于增补机制和pcnn的nsct域图像融合方法 |
| CN107977926A (zh) * | 2017-12-01 | 2018-05-01 | 新乡医学院 | 一种改进神经网络的pet/mri异机脑部影像信息融合方法 |
| CN109063729A (zh) * | 2018-06-20 | 2018-12-21 | 上海电力学院 | 一种基于pso-nsct的多传感器图像融合方法 |
| CN109035189A (zh) * | 2018-07-17 | 2018-12-18 | 桂林电子科技大学 | 基于柯西模糊函数的红外与弱可见光图像融合方法 |
| CN109801250A (zh) * | 2019-01-10 | 2019-05-24 | 云南大学 | 基于adc-scm与低秩矩阵表达的红外与可见光图像融合方法 |
| CN109934887A (zh) * | 2019-03-11 | 2019-06-25 | 吉林大学 | 一种基于改进的脉冲耦合神经网络的医学图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHAISHENG DING: "Siamese networks and multi-scale local extrema scheme for multimodal brain medical image fusion", 《BIOMEDICAL SIGNAL PROCESSING AND CONTROL》 * |
| 侯瑞超: "面向多模块图像融合的神经网络方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062880B (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
| CN110322423B (zh) | 一种基于图像融合的多模态图像目标检测方法 | |
| CN109035189B (zh) | 基于柯西模糊函数的红外与弱可见光图像融合方法 | |
| CN108399611B (zh) | 基于梯度正则化的多聚焦图像融合方法 | |
| CN101980290B (zh) | 抗噪声环境多聚焦图像融合方法 | |
| CN105917353A (zh) | 用于生物认证的特征提取及匹配以及模板更新 | |
| CN113837974B (zh) | 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法 | |
| CN113808042B (zh) | 一种基于小波变换和生成对抗网络的sar图像去噪方法 | |
| CN104008536A (zh) | 基于cs-chmt和idpcnn的多聚焦噪声图像融合方法 | |
| CN109191389A (zh) | 一种x光图像自适应局部增强方法 | |
| CN111598822B (zh) | 一种基于gfrw与iscm的图像融合方法 | |
| CN115239674B (zh) | 基于多尺度判别的计算机血管造影成像合成方法 | |
| CN114429151A (zh) | 一种基于深度残差网络的大地电磁信号识别与重建方法及其系统 | |
| CN112233199A (zh) | 基于离散表征和条件自回归的fMRI视觉重构方法 | |
| CN113143295A (zh) | 基于运动想象脑电信号的设备控制方法及终端 | |
| CN113724308B (zh) | 基于光度与对比度互注意力的跨波段立体匹配算法 | |
| CN104616252A (zh) | 基于nsct和pcnn的数字图像增强方法 | |
| CN117115452B (zh) | 可控的医学超声图像去噪方法、系统及计算机存储介质 | |
| Tian et al. | Multimodal medical image fusion based on nonsubsampled contourlet transform using improved PCNN | |
| CN113240616A (zh) | 一种脑部医学图像融合方法及系统 | |
| CN112101438A (zh) | 一种左右眼分类方法、装置、服务器和存储介质 | |
| CN113177904B (zh) | 一种图像融合方法及系统 | |
| Song et al. | A Novel Fusion Framework Based on Adaptive PCNN in NSCT Domain for Whole‐Body PET and CT Images | |
| CN113096142A (zh) | 基于联合嵌入空间的白质神经束自动分割方法 | |
| CN106127719A (zh) | 一种新型的神经网络医学图像融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210810 |
|
| RJ01 | Rejection of invention patent application after publication |