CN115222724B - 一种基于nsst域混合滤波与ed-pcnn的医学图像融合方法 - Google Patents

一种基于nsst域混合滤波与ed-pcnn的医学图像融合方法 Download PDF

Info

Publication number
CN115222724B
CN115222724B CN202210940365.7A CN202210940365A CN115222724B CN 115222724 B CN115222724 B CN 115222724B CN 202210940365 A CN202210940365 A CN 202210940365A CN 115222724 B CN115222724 B CN 115222724B
Authority
CN
China
Prior art keywords
image
pcnn
value
neuron
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210940365.7A
Other languages
English (en)
Other versions
CN115222724A (zh
Inventor
邸敬
任莉
郭文庆
廉敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou Jiaotong University
Original Assignee
Lanzhou Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou Jiaotong University filed Critical Lanzhou Jiaotong University
Priority to CN202210940365.7A priority Critical patent/CN115222724B/zh
Publication of CN115222724A publication Critical patent/CN115222724A/zh
Application granted granted Critical
Publication of CN115222724B publication Critical patent/CN115222724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于NSST域混合滤波与ED‑PCNN的医学图像融合方法，该方法将已配准好的彩色医学图像利用YUV空间转换分离出亮度通道Y、色度通道U、浓度通道V，对分离出的亮度通道的灰度图像和已配准好的MRI图像分别采用混合滤波进行增强，增强后的图像进行NSST分解，低频子带采用局部区域能量加权和与改进的拉普拉斯能量和，高频子带采用ED‑PCNN算法，最后经NSST重构得到最终融合图。本发明，混合滤波融合了两种图像增强算法，在保证图像对比度增强的同时不增加噪声和丢失细节信息。本发明，ED‑PCNN算法合并了多种图像融合相关算法，进一步发挥出PCNN模型较传统模型精确度高、复杂性低的优点，且能精确控制神经元的点火次数与点火频率，提高了模型对像素空间的描述能力。

Description

一种基于NSST域混合滤波与ED-PCNN的医学图像融合方法
技术领域
本发明涉及图像融合处理领域，具体为一种基于NSST域混合滤波与ED-PCNN的医学图像融合方法。
背景技术
医学图像融合对提高解剖图像的分辨率及为医生后续诊断提供更清晰、准确的病灶信息起着关键作用，由于成像设备的成像机理不同，不同设备获取到人体的组织和结构信息是不同的，核磁共振成像(MRI)对于软组织信息显示较好，但对于骨性组织则不能体现，单光子发射计算机断层成像(SPECT)对于组织器官有较好的显示，但在呈现软硬组织却有障碍；正电子发射计算机断层扫描(PET)可以显示出人体的代谢情况，但图像分辨率不高，仅依赖单幅医学图像获得的信息具有一定的局限性，不利于病灶诊断，但不同单模态医学图像之间的信息可以互补，因此，在实际应用中，通常采用图像融合技术将单模态医学图像融合成一幅细节信息更全、清晰度更高的多模态图像，以适应人眼观察和机器自动分析，医学图像融合的目的是发挥不同成像原理信息的优势，弥补某一种成像原理信息的不足，提高所得信息的准确性、全面性、可用性；
传统医学图像融合过程中容易引入伪吉斯现象，在图像边缘细节处容易产生“伪影”，导致融合后图像能量缺失、细节模糊。
医学图像融合技术升级的核心在于优化算法，提升算力和融合质量。目前常用的医学图像融合算法大致分为三类：基于空域的图像融合算法、基于多尺度变换域的融合算法、基于学习的图像融合算法。基于空域的图像融合算法是将图像看成由无数多像素点组成的，直接操作图像的像素值。基于多尺度变换域的融合算法是通过数学变换方法将图像转换为频域表示方式得到相应的频域系数，随后采用合适的融合规则对系数进行融合，最后用相应逆变换得到融合图像。基于学习的图像融合算法，其中具有代表性的有卷积神经网络算法和循环神经网络算法等。医学图像融合的最终目的是通过一定的分解工具进行特征提取，后期利用中心像素与领域内像素的关系，进行特征优化，选择合适的融合策略将两幅或者多幅图像信息完整的、清晰的、全面的整合在一幅图像中。
发明内容
本发明的目的在于提供一种基于NSST域混合滤波与ED-PCNN的医学图像融合方法，能够在降低算法计算复杂度的同时，显著提升融合后图像细节信息和轮廓信息，提高医学图像诊断速度，从而改进临床决策准确性。
为实现上述目的，本发明提供如下技术方案：一种基于NSST域混合滤波与ED-PCNN的医学图像融合方法，该方法步骤如下：
1)将已经配准好的彩色医学图像利用YUV空间转换分离出亮度通道Y、色度通道U、浓度通道V，对分离出的亮度通道的灰度图像和已经配准好的MRI图像分别采用混合滤波进行增强，混合滤波则是基于直方图均衡化的基础上通过将输入的图像划分成网格，对网格中的每一个单元进行均衡化处理，通过对每个单元计算出的局部直方图重新分布图像的亮度提出自适应直方图均衡化算法并结合高频强调滤波形成混合滤波器；
2)对已增强的Y通道灰度图像和MRI图像分别采用NSST分解工具，得到高频子带
Figure BDA0003785252710000021
和低频子带LA、LB，其中设定NSST分解层数为4层；
Figure BDA0003785252710000022
Figure BDA0003785252710000023
3)计算低频子带LA、LB的局部区域能量加权和，其局部区域能量加权和的计算公式如下：
Figure BDA0003785252710000031
在公式(3)中，S∈{LA,LB}，W是一个半径为r的(2r+1)(2r+1)权重矩阵，r的取值为1，将矩阵元素设置为22r-d，d为其到矩阵中心四领域的距离，
Figure BDA0003785252710000032
4)计算低频子带LA、LB的修正拉普拉斯能量和WSEMLS(i,j)，其修正拉普拉斯能量和的计算公式如下：
Figure BDA0003785252710000033
其中，S∈{LA,LB}，EML如公式(3)所示：
Figure BDA0003785252710000034
5)根据计算的局部区域能量和与修正的拉普拉斯能量和算法得到低频融合算法方法对应的公式如下：
Figure BDA0003785252710000035
6)设定ED-PCNN模型的相关参数。首先，设定预定义迭代次数的值n＝5，链接强度β＝3，链接输入振幅增益VL＝1，动态阈值振幅增益Vθ＝20；其次，设定1个权重矩阵和简化ED-PCNN参数使其成为自适应参数。表达式如下：
αL＝αθ＝e-I (7)
Figure BDA0003785252710000036
在公式(7)-(8)中时间衰减常数αL决定了链接输入通道的自衰减速度，此值越大衰减速度越快，αθ调节着PCNN模型每次迭代后阈值的衰减量，控制着输出的分辨率，此值越大，阈值衰减速度越快，模型运行的次数越少；Wijab表示神经元的突触权重矩阵，该矩阵数值越大，说明周围神经元与中心神经元的相互作用力越大；
7)设定ED-PCNN模型的馈送输入，利用Kirsch边缘算子进行边缘检测计算出边缘响应幅度最大值再乘以改进的空间频率作为PCNN的馈送输入Fij(n)。
D(x,y)＝max{|5rk-3uk|；k＝0,1...,7} (9)
rk＝ak+ak+1+ak+2 (10)
uk＝ak+3+ak+4+ak+7 (11)
Figure BDA0003785252710000041
Figure BDA0003785252710000042
Figure BDA0003785252710000043
Figure BDA0003785252710000044
Figure BDA0003785252710000045
Figure BDA0003785252710000046
式中D(x,y)是最大的边缘梯度幅值。(9)式中角标取值范围不大于8，若角标取值大于8，用8整除取余。RF(i,j)、CF(i,j)、MDF(i,j)和SDF(i,j)分别是高频子带的4个方向上的第一梯度，距离权值wb的取值一般为
Figure BDA0003785252710000047
8)设定ED-PCNN模型的链接输入，将反向捕捉ICPCNN和正向捕捉PCNN神经元捕捉领域的全部链接输入作为ED-PCNN的链接输入。
Figure BDA0003785252710000048
Figure BDA0003785252710000049
LM(n)＝LPCNNij(n)+LICPCNNij(n) (20)
Lij(n)＝exp(αL)Lij(n-1)+VLLM(n) (21)
Lij(n)是神经元的链接输入，它反映了中心神经元与周围神经元的相互影响。
9)设定ED-PCNN模型的内部活动项、脉冲输出幅度，点火条件；
Uij(n)＝Fij(n)(1+βLij(n)) (22)
Figure BDA0003785252710000051
Figure BDA0003785252710000052
采用Tanh函数对各个系数迭代过程中的点火输出幅度进行计算，将输出幅度和作为系数选择的判决依据，Uij(n)是神经元的内部活动项，其值由馈送输入和链接输入决定；Yij(n)为神经元的点火条件，当输出幅度大于0时，对应神经元点火，否则，对应神经元不点火。
10)当迭代次数达到最大值时迭代停止，且每次累积计算脉冲点火输出幅度，计算增强后输入图像的各个高频系数的点火输出幅度总和
Figure BDA0003785252710000053
确定融合后各带通方向的融合系数
Tij＝Tij(n-1)+Yij(n) (25)
Figure BDA0003785252710000054
11)通过NSST逆变换计算最终的融合图像结果图，算法如下所示：
Figure BDA0003785252710000055
与现有技术相比，本发明的有益效果是：
ED-PCNN算法合并了多种图像融合相关算法，实现了彩色图像和灰度图像的融合，其中图像融合共计十一个步骤和四个算法；
ED-PCNN算法仅需四个参数，且其中包含了自适应参数，算法简明度提高；
ED-PCNN算法迭代次数仅由预定义迭代次数T决定，迭代过程收敛，图像融合效率提高。
ED-PCNN算法进一步发挥出PCNN模型较传统模型精确度高、复杂性低的优点，该模型能精确控制神经元的点火次数与点火频率，提高了模型对像素空间的描述能力，本发明提出局部能量和与改进的拉普拉斯能量和对低频子带进行融合，有效提高了图像提取细节信息、轮廓边缘的能力。
附图说明
图1为本发明的方法流程图。
图2为本发明实施例转移性支气管癌MRI与SPECT融合图像。
图3为本发明实施例脑弓形虫病MRI与SPECT融合图像。
图4为本发明实施例阿尔茨海默症MRI与PET融合图像。
图5为本发明实施例神经胶质瘤MRI与PET融合图像。
图6为本发明实施例脑肿瘤疾病MRI和PET融合图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1所示，本发明提供一种技术方案：一种基于NSST域混合滤波与ED-PCNN的医学图像融合方法，该方法步骤如下：
1)将已经配准好的彩色医学图像利用YUV空间转换分离出亮度通道Y、色度通道U、浓度通道V，对分离出的亮度通道的灰度图像和已经配准好的MRI图像分别采用混合滤波进行增强。混合滤波则是基于直方图均衡化的基础上通过将输入的图像划分成网格，对网格中的每一个单元进行均衡化处理，通过对每个单元计算出的局部直方图重新分布图像的亮度提出自适应直方图均衡化算法并结合高频强调滤波形成混合滤波器；
2)对已增强的Y通道灰度图像和MRI图像分别采用NSST分解工具，得到高频子带
Figure BDA0003785252710000071
和低频子带LA、LB，其中设定NSST分解层数为4层(该值通常是根据算法选择最佳的分解层数)。
Figure BDA0003785252710000072
Figure BDA0003785252710000073
3)计算低频子带LA、LB的局部区域能量加权和，其局部区域能量加权和的计算公式如下：
Figure BDA0003785252710000074
在公式(3)中，S∈{LA,LB}，W是一个半径为r的(2r+1)(2r+1)权重矩阵，r的取值为1，将矩阵元素设置为22r-d，d为其到矩阵中心四领域的距离，
Figure BDA0003785252710000075
4)计算低频子带LA、LB的修正拉普拉斯能量和WSEMLS(i,j)，其修正拉普拉斯能量和的计算公式如下：
Figure BDA0003785252710000076
其中，S∈{LA,LB}，EML公式(3)所示：
Figure BDA0003785252710000077
5)根据计算的局部区域能量和与修正的拉普拉斯能量和算法得到低频融合算法方法对应的公式如下：
Figure BDA0003785252710000081
6)设定ED-PCNN模型的相关参数。首先，设定预定义迭代次数的值n＝5，链接强度β＝3，链接输入振幅增益VL＝1，动态阈值振幅增益Vθ＝20(这四个参数的设定为算法想要的参数取值，本算法根据实际需要将其设定为n＝5，β＝3，VL＝1，Vθ＝20)；其次，设定1个权重矩阵和简化ED-PCNN参数使其成为自适应参数。表达式如下：
αL＝αθ＝e-I (7)
Figure BDA0003785252710000082
在公式(7)-(8)中时间衰减常数αL决定了链接输入通道的自衰减速度，此值越大衰减速度越快，αθ调节着PCNN模型每次迭代后阈值的衰减量，控制着输出的分辨率，此值越大，阈值衰减速度越快，模型运行的次数越少；Wijab表示神经元的突触权重矩阵，该矩阵数值越大，说明周围神经元与中心神经元的相互作用力越大。
7)设定ED-PCNN模型的馈送输入，利用Kirsch边缘算子进行边缘检测计算出边缘响应幅度最大值再乘以改进的空间频率作为PCNN的馈送输入Fij(n)。
D(x,y)＝max{|5rk-3uk|；k＝0,1...,7} (9)
rk＝ak+ak+1+ak+2 (10)
uk＝ak+3+ak+4+ak+7 (11)
Figure BDA0003785252710000083
Figure BDA0003785252710000091
Figure BDA0003785252710000092
Figure BDA0003785252710000093
Figure BDA0003785252710000094
Figure BDA0003785252710000095
式中D(x,y)是最大的边缘梯度幅值。(9)式中角标取值范围不大于8，若角标取值大于8，用8整除取余。RF(i,j)、CF(i,j)、MDF(i,j)和SDF(i,j)分别是高频子带的4个方向上的第一梯度，距离权值wb的取值一般为
Figure BDA0003785252710000096
8)设定ED-PCNN模型的链接输入，将反向捕捉ICPCNN和正向捕捉PCNN神经元捕捉领域的全部链接输入作为ED-PCNN的链接输入。
Figure BDA0003785252710000097
Figure BDA0003785252710000098
LM(n)＝LPCNNij(n)+LICPCNNij(n) (20)
Lij(n)＝exp(αL)Lij(n-1)+VLLM(n) (21)
Lij(n)是神经元的链接输入，它反映了中心神经元与周围神经元的相互影响。
9)设定ED-PCNN模型的内部活动项、脉冲输出幅度，点火条件。
Uij(n)＝Fij(n)(1+βLij(n)) (22)
Figure BDA0003785252710000099
/>
Figure BDA00037852527100000910
采用Tanh函数对各个系数迭代过程中的点火输出幅度进行计算，将输出幅度和作为系数选择的判决依据，Uij(n)是神经元的内部活动项，其值由馈送输入和链接输入决定；Yij(n)为神经元的点火条件，当输出幅度大于0时，对应神经元点火，否则，对应神经元不点火。
10)当迭代次数达到最大值时迭代停止，且每次累积计算脉冲点火输出幅度。计算增强后输入图像的各个高频系数的点火输出幅度总和
Figure BDA0003785252710000101
确定融合后各带通方向的融合系数
Tij＝Tij(n-1)+Yij(n) (25)
Figure BDA0003785252710000102
11)通过NSST逆变换计算最终的融合图像结果图，算法如下所示：
Figure BDA0003785252710000103
本实施例选择的MRI图像、SPECT图像、PET图像都来自哈佛医学库中的数据集，并挑选了五种不同疾病的图像作为本实验的源图像，为增强本文算法的可比性和有效性，本实验涉及到的对比算法有本发明的算法以及NSST结合自适应PCNN的医学图像融合算法、拉普拉斯重分解医学图像融合算法、基于加权参数自适应双通道PCNN的NSST医学图像融合算法、基于卷积神经网络的医学图像融合算法、基于边界测量脉冲耦合神经网络和区域能量和的医学图像融合算法、基于多级边缘保持滤波分解的多模态医学图像融合算法，本实验的评价指标采用信息熵(EN)、改进空间频率(SF)、平均梯度(AG)、标准差(STD)、融合质量(Qabf)、方差(Var)、互信息(MI)、基于视觉信息保真度(VIFF)，Qabf和MI用来评价融合后图像包含多少原始图像信息，EN、SF、AG、STD数值越大，则代表图像融合效果越好，VIFF是利用信息论的知识衡量图像质量的指标，数值越大，表示与人眼主观特性一致，图像融合效果高，五组不同源图像疾病特征的实验数据如表1所示。
表1五组不同疾病不同方法融合结果对比图
Figure BDA0003785252710000111
/>
Figure BDA0003785252710000121
从表1的五组不同疾病融合结果对比可以看出，本发明的基于NSST域混合滤波与ED-PCNN图像融合算法EN值高，说明融合后图像包含信息量丰富；SF值高，说明融合后图像清晰度高；AG值高，说明融合后图像的细节表征和纹理特征明显；STD值高，说明图像灰度值离散度高，图像携带的细节信息越丰富；Qabf值越高，说明图像融合质量好；MI值高，说明融合后图像获取了大量源图像信息；VIFF值高，说明图像与人眼视觉特性一致。通过观察表1中的八种指标值，本算法除了在Qabf、MI、VIFF指标上针对不同疾病略低于某类对比方法，其余五种评价指标都高于对比方法，这表明本发明方法图像融合后的图像效果好。
为了凸显本发明算法的运行复杂度低，运行效率高，测量了各个融合算法的时间复杂度(单位为秒)，T值越小，时间复杂度越低，反之亦然。实验数据结果如表2所示。
表2不同融合算法的运行时间
Figure BDA0003785252710000131
从表2中可以看出本文针对不同疾病进行图像融合的时间复杂度低，证明本发明方法图像融合算法复杂度低、运行效率高。
图2至图6为不同疾病不同方法融合对比图，其中子图(a)和(b)为原始MRI、PET、或者SPECT图像；子图(c)为NSST结合自适应PCNN的医学图像融合算法处理后的图片；(d)为拉普拉斯重分解医学图像融合算法处理后的图片；(e)为基于加权参数自适应双通道PCNN的NSST医学图像融合算法处理后的图片；(f)为基于卷积神经网络的医学图像融合算法处理后的代表图片；(g)为基于边界测量脉冲耦合神经网络和区域能量和的医学图像融合算法处理后的图片；(h)为基于多级边缘保持滤波分解的多模态医学图像融合算法处理后的图片；(i)为本发明医学图像融合算法的结果图；综上所述，本发明方法得到的融合图像从主观感受和客观评价方面均明显好于其他融合算法，这表明本发明方法的实验效果更好，本实验MRI、SPECT、PET图像全部来自于哈佛医学库数据集，并挑选了五种不同疾病的图像作为本实验的源图像，图像中每个像素对应红、绿、蓝三个通道的像素灰度值，并且每一个像素都有256个灰度级。
本发明在ED-PCNN算法中，提出了ED-PCNN模型及参数设定、在局部区域能量加权和中的权重矩阵W的设定，合并灰度图像与彩色图像融合技术的多个步骤，形成过程完整的医学图像融合方法，最终得到医学图像融合结果。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (1)

1.一种基于NSST域混合滤波与ED-PCNN的医学图像融合方法，其特征在于，该方法步骤如下：
1)将已经配准好的彩色医学图像利用YUV空间转换分离出亮度通道Y、色度通道U、浓度通道V，对分离出的亮度通道的灰度图像和已经配准好的MRI图像分别采用混合滤波进行增强，混合滤波则是基于直方图均衡化的基础上通过将输入的图像划分成网格，对网格中的每一个单元进行均衡化处理，通过对每个单元计算出的局部直方图重新分布图像的亮度提出自适应直方图均衡化算法并结合高频强调滤波形成混合滤波器；
2)对已增强的Y通道灰度图像和MRI图像分别采用NSST分解工具，得到高频子带
Figure FDA0004142580710000011
和低频子带LA、LB，其中设定NSST分解层数为4层，公式表现为
Figure FDA0004142580710000012
Figure FDA0004142580710000013
3)计算低频子带LA、LB的局部区域能量加权和，其局部区域能量加权和的计算公式如下：
Figure FDA0004142580710000014
在公式(3)中，S∈{LA,LB}，W是一个半径为r的(2r+1)(2r+1)权重矩阵，r的取值为1，将矩阵元素设置为22r-d，d为其到矩阵中心四领域的距离，
Figure FDA0004142580710000015
4)计算低频子带LA、LB的修正拉普拉斯能量和WSEMLS(i,j)，其修正拉普拉斯能量和的计算公式如下：
Figure FDA0004142580710000016
其中，S∈{LA,LB}，EML如公式(3)所示：
Figure FDA0004142580710000021
5)根据计算的局部区域能量和与修正的拉普拉斯能量和算法得到低频融合算法方法对应的公式如下：
Figure FDA0004142580710000022
6)设定ED-PCNN模型的相关参数，首先，设定预定义迭代次数的值n＝5，链接强度β＝3，链接输入振幅增益VL＝1，动态阈值振幅增益Vθ＝20；其次，设定1个权重矩阵和简化ED-PCNN参数使其成为自适应参数；表达式如下：
αL＝αθ＝e-I (7)
Figure FDA0004142580710000023
在公式(7)-(8)中时间衰减常数αL决定了链接输入通道的自衰减速度，此值越大衰减速度越快，αθ调节着PCNN模型每次迭代后阈值的衰减量，控制着输出的分辨率，此值越大，阈值衰减速度越快，模型运行的次数越少，Wijab表示神经元的突触权重矩阵，该矩阵数值越大，说明周围神经元与中心神经元的相互作用力越大；
7)设定ED-PCNN模型的馈送输入，利用Kirsch边缘算子进行边缘检测计算出边缘响应幅度最大值再乘以改进的空间频率作为PCNN的馈送输入Fij(n)；
D(x,y)＝max{|5rk-3uk|；k＝0,1...,7} (9)
rk＝ak+ak+1+ak+2 (10)
uk＝ak+3+ak+4+ak+7 (11)
Figure FDA0004142580710000031
Figure FDA0004142580710000032
Figure FDA0004142580710000033
Figure FDA0004142580710000034
Figure FDA0004142580710000035
Figure FDA0004142580710000036
式中D(x,y)是最大的边缘梯度幅值，(9)式中角标取值范围不大于8，若角标取值大于8，用8整除取余；RF(i,j)、CF(i,j)、MDF(i,j)和SDF(i,j)分别是高频子带的4个方向上的第一梯度，距离权值wb的取值为
Figure FDA0004142580710000037
8)设定ED-PCNN模型的链接输入，将反向捕捉ICPCNN和正向捕捉PCNN神经元捕捉领域的全部链接输入作为ED-PCNN的链接输入；
Figure FDA0004142580710000038
Figure FDA0004142580710000039
LM(n)＝LPCNNij(n)+LICPCNNij(n) (20)
Lij(n)＝exp(αL)Lij(n-1)+VLLM(n) (21)
Lij(n)是神经元的链接输入，它反映了中心神经元与周围神经元的相互影响；
9)设定ED-PCNN模型的内部活动项、脉冲输出幅度，点火条件；
Uij(n)＝Fij(n)(1+βLij(n)) (22)
Figure FDA00041425807100000310
Figure FDA0004142580710000041
采用Tanh函数对各个系数迭代过程中的点火输出幅度进行计算，将输出幅度和作为系数选择的判决依据，Uij(n)是神经元的内部活动项，其值由馈送输入和链接输入决定；Yij(n)为神经元的点火条件，当输出幅度大于0时，对应神经元点火，否则，对应神经元不点火；
10)当迭代次数达到最大值时迭代停止，且每次累积计算脉冲点火输出幅度，计算增强后输入图像的各个高频系数的点火输出幅度总和
Figure FDA0004142580710000044
确定融合后各带通方向的融合系数；
Tij＝Tij(n-1)+Yij(n) (25)
Figure FDA0004142580710000042
11)通过NSST逆变换计算最终的融合图像结果图，算法如下所示：
Figure FDA0004142580710000043
/>
CN202210940365.7A 2022-08-05 2022-08-05 一种基于nsst域混合滤波与ed-pcnn的医学图像融合方法 Active CN115222724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210940365.7A CN115222724B (zh) 2022-08-05 2022-08-05 一种基于nsst域混合滤波与ed-pcnn的医学图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210940365.7A CN115222724B (zh) 2022-08-05 2022-08-05 一种基于nsst域混合滤波与ed-pcnn的医学图像融合方法

Publications (2)

Publication Number Publication Date
CN115222724A CN115222724A (zh) 2022-10-21
CN115222724B true CN115222724B (zh) 2023-05-23

Family

ID=83616275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210940365.7A Active CN115222724B (zh) 2022-08-05 2022-08-05 一种基于nsst域混合滤波与ed-pcnn的医学图像融合方法

Country Status (1)

Country Link
CN (1) CN115222724B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105551010A (zh) * 2016-01-20 2016-05-04 中国矿业大学 基于nsct及深度信息激励pcnn的多聚焦图像融合方法
CN109102485A (zh) * 2018-09-11 2018-12-28 中国科学院长春光学精密机械与物理研究所 基于nsst和自适应双通道pcnn的图像融合方法及装置
CN112488976B (zh) * 2020-12-11 2022-05-17 华中科技大学 一种基于darts网络的多模态医学图像融合方法

Also Published As

Publication number Publication date
CN115222724A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
Hou et al. Brain CT and MRI medical image fusion using convolutional neural networks and a dual-channel spiking cortical model
AU2020100199A4 (en) A medical image fusion method based on two-layer decomposition and improved spatial frequency
CN108537794B (zh) 医学图像数据处理方法、装置和计算机可读存储介质
CN109685814B (zh) 基于mspcnn的胆囊结石超声图像全自动分割方法
CN107730516B (zh) 一种基于模糊聚类的脑mr影像分割方法
CN109934887B (zh) 一种基于改进的脉冲耦合神经网络的医学图像融合方法
CN109360152A (zh) 基于稠密卷积神经网络的三维医学图像超分辨率重建方法
CN110533683B (zh) 一种融合传统特征与深度特征的影像组学分析方法
Li et al. Multi-modal sensor medical image fusion based on multiple salient features with guided image filter
Li et al. A multiscale double-branch residual attention network for anatomical–functional medical image fusion
Wang et al. Medical image fusion based on hybrid three-layer decomposition model and nuclear norm
Wang et al. Multimodal medical image fusion based on Gabor representation combination of multi-CNN and fuzzy neural network
CN115100093A (zh) 一种基于梯度滤波的医学图像融合方法
CN107967674B (zh) 基于图像块自相似性先验的核磁共振图像去噪方法
Fu et al. MDRANet: A multiscale dense residual attention network for magnetic resonance and nuclear medicine image fusion
CN113191968A (zh) 三维超声图像盲去噪模型的建立方法及其应用
Akkar et al. Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm
CN114821259A (zh) 一种基于孪生卷积神经网络的零学习医学图像融合方法
WO2021153604A1 (ja) 画像処理装置および画像処理方法
CN115222724B (zh) 一种基于nsst域混合滤波与ed-pcnn的医学图像融合方法
CN115222725B (zh) 一种基于nsct域pcrgf与双通道pcnn医学图像融合方法
CN110969590B (zh) 一种基于ca-spcnn的图像增强算法
Sriwong et al. The Study of Noise Effect on CNN-Based Deep Learning from Medical Images
Zhou et al. Tone mapping high dynamic range images based on region-adaptive self-supervised deep learning
Das et al. Multimodal image sensor fusion in a cascaded framework using optimized dual channel pulse coupled neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant