CN112785538B - 一种多方向边缘特征激励的ct和mri图像融合方法 - Google Patents

一种多方向边缘特征激励的ct和mri图像融合方法 Download PDF

Info

Publication number
CN112785538B
CN112785538B CN202110130926.2A CN202110130926A CN112785538B CN 112785538 B CN112785538 B CN 112785538B CN 202110130926 A CN202110130926 A CN 202110130926A CN 112785538 B CN112785538 B CN 112785538B
Authority
CN
China
Prior art keywords
image
frequency
feature
mri
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110130926.2A
Other languages
English (en)
Other versions
CN112785538A (zh
Inventor
那彦
杨凌波
孙婕
郑亚楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110130926.2A priority Critical patent/CN112785538B/zh
Publication of CN112785538A publication Critical patent/CN112785538A/zh
Application granted granted Critical
Publication of CN112785538B publication Critical patent/CN112785538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种多方向边缘特征激励的CT和MRI图像融合方法，克服现有技术存在的所获得的高频特征图像所提取的信息重复，未充分提取高频多方向特征的问题。本发明的实现步骤为：(1)构建含有高斯方向滤波器的反卷积神经网络；(2)对图像进行归一化处理；(3)对图像进行自适应变换分解；(4)对低频和高频特征图进行融合；(5)得到最终融合图像。本发明对同一部位的大小相同的一幅CT图像和一幅MRI图像进行融合，通过多方向高频特征的提取，强化了图像中的特征信息，显著提高了融合图像的特征显示能力，使图像清晰度更优。

Description

一种多方向边缘特征激励的CT和MRI图像融合方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像融合技术领域中的一种多方向边缘特征激励的电子计算机断层扫描CT(Computed Tomography)和核磁共振成像MRI(Magnetic Resonance Imaging)图像融合方法。本发明可用于在同一部位拍摄的电子计算机断层扫描CT(Computed Tomography)和核磁共振成像MRI(Magnetic ResonanceImaging)医学图像进行融合，最终获取一幅骨组织及软组织均清晰的医学融合图像。
背景技术
图像融合涉及两大主要步骤，包括图像变换得到特征图像以及利用融合规则获得融合图像。目前常用的图像变换多是固定变换，不能根据图像内容进行自适应特征提取，所获得的特征图像并不能表征图像内容。融合规则设计也没有充分根据特征图像内容设计相应的融合规则，导致融合图像不能对两幅源图像进行有效融合。
吉林大学在其申请的专利文献“一种基于改进的脉冲耦合神经网络的医学图像融合方法”(申请日：2019年3月11日，申请号：201910177917.1，申请公布号：109934887 A)中公开了一种利用改进的脉冲耦合神经网络PCNN(Pulse Coupled Neural Network) 对CT和MRI图像进行融合的方法。该方法首先采用非下采样剪切波对待融合图像进行多尺度分解，得到低频子图和高频子图；然后采用改进的区域能量算法对低频子图进行融合，采用改进的PCNN算法对高频子图进行融合，最后采用非下采样剪切波逆变换对融合后的高、低频子图进行重构得到最终的融合图像。针对PCNN模型参数过多的问题，该方法在高频特征图融合过程中采用自动设置参数的PCNN确定最终的融合像素点。但是，该方法仍然存在的不足之处是，经过非下采样剪切波变换获得的高频子图由于该变换方式固定模式，不具备方向针对性导致方向边缘信息模糊，在PCNN 融合过程中只依据原始高频子图像作为最终融合图像选择，对于方向边缘信息保留不充分，导致融合图像存在清晰度有待提高的问题。
图像边缘信息在高频融合过程中未充分考虑其多方向边缘细节保留，
西安电子科技大学在其申请的专利文献“基于反卷积网络和引导滤波的医学图像融合方法”(申请日：2020年1月22日，申请号：202010074946.8，申请公布号：111311529 A)公开了一种利用反卷积神经网络对CT和MRI图像进行特征提取的方法。该方法首先采用巴特沃斯滤波器作为反卷积神经网络的预置滤波器，利用反卷积神经网络训练提取医学CT和MRI图像高低频特征图，然后利用基于引导滤波的融合规则对高、低频特征图进行融合，最后将特征图与滤波器卷积获得最终融合图像。该方法在网络预置滤波器设计部分选择巴特沃斯滤波器，根据图像特定设计不同截止频率滤波器，避免随机滤波器设计问题。但是，该方法仍然存在的不足之处是，反卷积网络多个预置高通滤波器设计相同，导致所获得的高频特征图像所提取的信息重复，未充分提取高频多方向特征，导致高频特征图融合缺失方向性边缘信息。
发明内容
本发明的目的是针对上述现有技术的不足，提出一种多方向边缘特征激励的CT和MRI图像融合方法。用于解决融合图像存在模糊现象，所获得的高频特征图像提取的信息重复，高频特征图融合缺失方向性边缘信息的问题。
实现本发明目的的思路是，利用高斯方向滤波器在图像变换部分增强对多方向边缘特征的提取，利用最小吸收核同值区边缘提取算子获得高频图像的边缘特征提取图，将其输入到双通道脉冲耦合网络中，加强图像融合部分对多方向边缘信息的保留，二者结合共同保证融合图像边缘细节清晰度提升。
为实现上述目的，本发明包括如下主要步骤：
(1)构建含有高斯方向滤波器的反卷积神经网络：
(1a)构造一个由输入层和反卷积层组成的反卷积神经网络，所述反卷积层包含五个5*5大小和截止频率均相同并联的滤波器，其中一个为高斯低通滤波器，其余四个为0°、45°、90°、135°角度的高斯方向滤波器，在
Figure RE-GDA0002985760000000021
范围内按照步长
Figure RE-GDA0002985760000000022
依次选取每个滤波器的16个截止频率；
(2)对图像进行归一化处理：
选取配准后同一部位的大小相同的一幅CT图像和一幅MRI图像，对两幅图像分别进行归一化处理；
(3)对图像进行自适应变换分解：
(3a)将归一化处理后的图像输入到反卷积神经网络的反卷积层中，固定滤波器，利用目标函数分别计算CT重构图像和重构前CT图像的误差以及MRI重构图像与重构前MRI图像的误差，通过迭代收缩阈值算法更新每个特征图，直到目标函数收敛为止，分别得到CT和MRI的最优特征图；
(3b)固定特征图，利用目标函数分别计算重构的CT图像和重构前CT图像的误差以及重构的MRI图像与重构前MRI图像的误差，通过共轭梯度公式更新每个滤波器，直到目标函数收敛为止，得到最优滤波器以及与CT图像对应的一张低频特征图和四张高频特征图以及与MRI图像对应的一张低频特征图和四张高频特征图；
(4)对低频和高频特征图进行融合：
采用绝对值取大融合规则，对低频特征图进行融合，利用最小吸收核同值区边缘检测算子提取高频特征图像的边缘特征图像，输入双通道脉冲耦合神经网络对高频特征图进行融合；
(5)得到最终融合图像：
将融合后的低频特征图与融合后的高频特征图分别与对应滤波器的卷积核卷积，将得到的五个卷积图像组成最终融合图像。
与现有的技术相比本发明具有以下优点：
第一，本发明构建含有高斯方向滤波器的反卷积神经网络，设计了五个5*5大小和截止频率均相同并联的滤波器，其中一个为高斯低通滤波器，其余四个为0°、45°、 90°、135°方向角度的高斯方向滤波器，将图像与滤波器卷积核卷积，提取多方向高频特征，克服了现有技术存在的所获得的高频特征图像所提取的信息重复，未充分提取高频多方向特征的不足，使得本发明通过多方向高频特征的提取，强化了图像中的特征信息，显著提高了融合图像的特征显示能力，使图像清晰度更优。
第二，本发明在对低频和高频特征图进行融合时，利用最小吸收核同值区边缘检测算子提取高频特征图像的边缘特征图像，输入双通道脉冲耦合神经网络对高频特征图进行融合，保证高频特征图像多方边缘特征在融合过程中进行了有效的增强与保留，克服了现有技术当对于方向边缘信息保留不充分，导致融合图像细节模糊的不足，使得本发明所获得的融合图像包含了更为全面、丰富的信息，更符合人和机器的视觉特性。
附图说明
图1是本发明的流程图；
图2是本发明的仿真图。
具体实施方式
下面结合附图对本发明作进一步的描述。
参考附图1，对本发明实现的步骤作进一步的详细描述。
步骤1，构建含有高斯方向滤波器的反卷积神经网络。
构造一个由输入层、反卷积层和池化层组成的反卷积神经网络，所述反卷积层包含五个5*5大小和截止频率均相同并联的滤波器，其中一个为高斯低通滤波器，其余四个为0°、45°、90°、135°方向角度的高斯方向滤波器，在
Figure RE-GDA0002985760000000041
范围内按照步长
Figure RE-GDA0002985760000000042
依次选取每个滤波器的16个截止频率。
高斯方向滤波器由二维高斯函数构造，对二维高斯函数的自变量x求导得到0°方向的高斯滤波器，对二维高斯函数的自变量y求导得到90°θ方向的高斯滤波器，利用 0°方向的高斯滤波器和90°方向的高斯滤波器可以线性组合出任意角度θ方向的高斯滤波器。
步骤2，对图像进行归一化处理。
选取配准后同一部位的大小相同的一幅CT图像和一幅MRI图像，对两幅图像分别进行归一化处理。
步骤3，对图像进行自适应变换分解。
将归一化处理后的图像输入到反卷积神经网络的反卷积层中，固定滤波器，利用目标函数分别计算CT重构图像和重构前CT图像的误差以及MRI重构图像与重构前 MRI图像的误差，通过迭代收缩阈值算法更新每个特征图，直到目标函数收敛为止，分别得到CT和MRI的最优特征图。
所述目标函数如下：
Figure RE-GDA0002985760000000043
其中，C(y)表示重构后图像与重构前图像的误差，||·||2表示二范数操作，
Figure RE-GDA0002985760000000044
表示重构后图像，y表示重构前图像。
所述迭代收缩阈值算法的步骤如下：
第一步，按照下式，对当前迭代的每个特征图进行梯度更新，得到当前迭代梯度更新后的每个特征图：
Figure RE-GDA0002985760000000051
其中，Tk表示第k个梯度更新后的特征图，k＝1…5，Zk表示第k个更新前的特征图，λ表示取值为0.1的正则权重系数，β表示梯度取值为0.2的更新步长；
第二步，对梯度更新后的每个特征图进行收缩操作，得到收缩后的每个特征图：
Sm＝max(|Tm|-β,0)sign(Tm)
其中，Sm表示第m个收缩后的特征图，max(·)表示取大值操作，|·|表示取绝对值操作，sign(Tm)表示一个与特征图Tm大小相同的矩阵，该矩阵与特征图Tm中像素值为正数对应位置的元素取值为1，该矩阵与特征图中像素值为负数对应位置的元素取值为-1；
第三步，按照下式，对收缩后的每个特征图进行反池化操作，得到反池化操作后的每个特征图：
Cn＝u*Sn
其中，Cn表示第n个反池化操作后的特征图，u表示取值为0.5的反池化系数， *表示卷积操作，其中，k，m，n的取值对应相等。
将固定特征图，利用目标函数分别计算重构的CT图像和重构前CT图像的误差以及重构的MRI图像与重构前MRI图像的误差，通过共轭梯度公式更新每个滤波器，直到目标函数收敛为止，得到最优滤波器以及与CT图像对应的一张低频特征图和四张高频特征图以及与MRI图像对应的一张低频特征图和四张高频特征图。
利用目标函数，重构的CT图像和重构前CT图像的误差以及重构的MRI图像与重构前MRI图像的误差，通过共轭梯度公式更新每个滤波器，直到目标函数收敛为止，得到最优滤波器和训练好的反卷积神经网络；
所述目标函数如下：
Figure RE-GDA0002985760000000061
其中，C(y)表示卷积后图像与卷积前图像的误差，||·||2表示二范数操作，
Figure RE-GDA0002985760000000062
表示卷积后图像，y表示卷积前图像。
所述共轭梯度公式如下：
Figure RE-GDA0002985760000000063
其中，Er表示卷积后图像与卷积前图像的误差，N表示特征图的总数，fk表示第 k个更新前的滤波器，将位于(0，0.0005)范围的与误差Er对应的滤波器作为更新后的滤波器。
步骤4，对低频和高频特征图进行融合。
采用绝对值取大融合规则，对低频特征图进行融合，利用最小吸收核同值区边缘检测算子提取高频特征图像的边缘特征图像，输入双通道脉冲耦合神经网络对高频特征图进行融合。
低频特征图采用绝对值取大融合规则进行融合：
将CT图像的低频特征图和MRI图像的低频特征图基于每个像素进行比较，取两者之中绝对值较大者作为融合后医学图像的低频特征图。
所述利用最小吸收核同值区边缘检测算子提取高频特征图像的边缘特征图像的步骤如下：
第一步，采用下述7×7矩阵作为最小吸收核同值区边缘检测算子模板：
Figure RE-GDA0002985760000000064
第二步，用边缘检测算子模板在图像上滑动，得到多个滑动窗口框，比较每个边缘滑动框中每个像素值与中心滑动框中对应位置像素值的大小，将小于灰度阈值的像素值判定为与中心滑动框中对应位置的像素值具有相同的灰度，将所有满足该条件的像素组成该边缘滑动框中吸收核同值区域，所述灰度阈值取值范围为[10,30]。本发明的实施例中灰度阈值取值为25；
第三步，用每个吸收核同值区域中像素值的求和值与图像边缘点判定阈值进行比较，将求和值大于边缘点判定阈值的所有吸收核同值区域提取出来，组成吸收核同值区域边缘特征图像区域，所述图像边缘点判定阈值取值范围为[15,50]。本发明的实施例中图像边缘点判定阈值为27.75。
将CT图像的高频特征图和MRI图像的高频特征图输入到脉冲耦合神经网络中进行多次迭代进行高频特征提取，将其最小吸收核同值区边缘检测算子特征图像作为权重进行加权融合输出融合后医学图像的高频特征图，具体步骤如下：
首先设定网络参数，包括神经元与周围神经元的连接矩阵、连接域衰减时间常数和放大系数、脉冲发生器的衰减时间常数和放大系数、双通道脉冲耦合神经网络第一通道和第二通道的外部激励输入、双通道脉冲耦合神经网络第一通道和第二通道的神经元链接强度：其中神经元与周围神经元的连接矩阵设定为 [0.707，1，0707；1，0，1；0.707，1，0707]，连接域衰减时间常数设定为0.1，,连接域放大系数设定为0.2，脉冲发生器的衰减时间常数设定为0.01，脉冲发生器的放大系数设定为25,双通道脉冲耦合神经网络第一通道的神经元链接强度为CT高频特征图像的改进空间频率特征图像，双通道脉冲耦合神经网络第二通道的神经元链接强度为MRI高频特征图像的改进空间频率特征图像，双通道脉冲耦合神经网络第一通道的外部激励输入为CT高频特征图像的改进拉普拉斯能量和特征图像，双通道脉冲耦合神经网络第二通道的外部激励输入为MRI高频特征图像的改进拉普拉斯能量和特征图像。
设定网络迭代次数，通过更改迭代次数观察迭代过程中中间结果图标准差、信息熵、平均梯度以及边缘强度的变化情况发现，随着迭代次数的增加，融合图像的效果以及评价参数都在不断上升，综合考虑算法时间复杂度，最终设定网络迭代次数为 200次；
网络参数以及网络迭代次数设置完毕后开始进行网络训练，记录双通道脉冲耦合神经网络两通道的点火次数，根据点火次数取大决定高频特征图最终加权融合方式，当第一通道的点火次数较大时，利用CT的高频特征图像最小吸收核同值区边缘特征图作为权值对两幅高频图像进行融合，当第二通道的点火次数较大时，利用MRI的高频特征图像最小吸收核同值区边缘特征图作为权值对两幅高频图像进行融合，当点火次数相等时，取二者的平均值。
步骤5，得到最终融合图像。
将融合后的低频特征图与融合后的高频特征图分别与对应滤波器的卷积核卷积，将得到的五个卷积图像组成最终融合图像。
下面结合附图2对本发明的仿真效果做进一步说明。
1.仿真条件和内容：
本发明的仿真实验采用的硬件测试平台是：处理器为Intel Core i5，主频为2.2GHz，内存4GB。
软件平台为：Windows 10 64位操作系统、Matlab R2017a进行仿真测试。
本发明仿真实验所使用的CT图像和MRI图像采集于哈佛医学院全脑库中2018年公开的一组癫痫患者的脑部CT和MRI图像。
2.仿真内容与结果分析：
本发明的仿真实验是采用本发明的方法和一个融合的现有技术分别对所采集的CT 图像和MRI图像进行融合仿真。
所述融合的现有技术是指，在利用小波变换对所采集的CT图像和MRI图像进行变换的基础上，再采用与本发明相同的高、低频融合规则对高、低频特征图进行融合仿真的方法。
下面结合附图2，对本发明仿真实验的效果作进一步的描述。
图2(a)为采集的CT图像，图2(b)为采集的MRI图像，图2(c)为采用融合的现有技术分别对图2(a)和图2(b)进行融合后获得的融合图像，图2(d)为采用本发明的方法分别对图2(a)和图2(b)进行融合后获得的融合图像。
对比图2(c)与图2(d)可发现，本实施例的仿真结果图像分辨率更高，图像更清晰，细节更丰富。
利用两个评价指标(标准差、平均梯度)分别对本发明仿真得到的融合图像进行评价。利用下面公式，分别计算融合图像的标准差和平均梯度：
Figure RE-GDA0002985760000000091
其中，σ表示融合图像的标准差，
Figure RE-GDA0002985760000000092
表示开方操作，∑·表示求和符号，Bi,j表示融合图像的第i行第j列的像素值，
Figure RE-GDA0002985760000000093
表示融合图像的像素均值，M表示融合图像的长度，N表示融合图像的宽度。
Figure RE-GDA0002985760000000094
其中，AG表示融合图像的平均梯度，Sx表示融合图像的在水平方向的一阶偏导数，Sy表示融合图像的在垂直方向的一阶偏导数。
利用本发明得到的融合图像的标准差和平均梯度，与融合的现有技术得到的融合图像的标准差和平均梯度结果共同绘制成表1。
表1融合图像的标准差和平均梯度评价参数表
Figure RE-GDA0002985760000000095
由表1中可见，本发明所得的医学融合图像的标准差、平均梯度两个评价参数与现有技术相比更高，说明本发明图像信息丰富，图像分辨率高，边缘信息更丰富，融合效果更好。
综上所述，本发明用于医学图像融合能够取得较好的融合结果，能更好的应用在临床医疗诊断中。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (5)

1.一种多方向边缘特征激励的CT和MRI图像融合方法，其特征在于，该CT和MRI图像融合方法的步骤包括如下：
(1)构建含有高斯方向滤波器的反卷积神经网络：
(1a)构造一个由输入层和反卷积层组成的反卷积神经网络，所述反卷积层包含五个5*5大小和截止频率均相同并联的滤波器，其中一个为高斯低通滤波器，其余四个为0°、45°、90°、135°角度的高斯方向滤波器，在
Figure FDA0004055948260000011
范围内按照步长
Figure FDA0004055948260000012
依次选取每个滤波器的16个截止频率；
(2)对图像进行归一化处理：
选取配准后同一部位的大小相同的一幅CT图像和一幅MRI图像，对两幅图像分别进行归一化处理；
(3)对图像进行自适应变换分解：
(3a)将归一化处理后的图像输入到反卷积神经网络的反卷积层中，固定滤波器，利用目标函数分别计算CT重构图像和重构前CT图像的误差以及MRI重构图像与重构前MRI图像的误差，通过迭代收缩阈值算法更新每个特征图，直到目标函数收敛为止，分别得到CT和MRI的最优特征图；
(3b)固定特征图，利用目标函数分别计算重构的CT图像和重构前CT图像的误差以及重构的MRI图像与重构前MRI图像的误差，通过共轭梯度公式更新每个滤波器，直到目标函数收敛为止，得到最优滤波器以及与CT图像对应的一张低频特征图和四张高频特征图以及与MRI图像对应的一张低频特征图和四张高频特征图；
(4)对低频和高频特征图进行融合：
采用绝对值取大融合规则，对低频特征图进行融合，将CT图像的高频特征图和MRI图像的高频特征图输入到脉冲耦合神经网络中进行多次迭代进行高频特征提取，将其最小吸收和同值区边缘检测算子特征图像作为权重进行加权融合输出融合后的医学高频图；其中，双通道脉冲耦合神经网络第一通道的外部激励输入为CT高频特征图像的改进拉普拉斯能量和特征图像，双通道脉冲耦合神经网络第二通道的外部激励输入为MRI高频特征图像的改进拉普拉斯能量和特征图像；
(5)得到最终融合图像：
将融合后的低频特征图与融合后的高频特征图分别与对应滤波器的卷积核卷积，将得到的五个卷积图像组成最终融合图像。
2.根据权利要求1所述的一种多方向边缘特征激励的CT和MRI图像融合方法，其特征在于：步骤(3a)、步骤(3b)中所述目标函数如下：
Figure FDA0004055948260000021
其中，C(y)表示重构后图像与重构前图像的误差，||·||2表示二范数操作，
Figure FDA0004055948260000023
表示重构后图像，y表示重构前图像。
3.根据权利要求2所述的一种多方向边缘特征激励的CT和MRI图像融合方法，其特征在于：步骤(3a)中所述迭代收缩阈值算法的步骤如下：
第一步，按照下式，对当前迭代的每个特征图进行梯度更新，得到当前迭代梯度更新后的每个特征图：
Figure FDA0004055948260000022
其中，Tk表示第k个梯度更新后的特征图，k＝1…5，Zk表示第k个更新前的特征图，λ表示取值为0.1的正则权重系数，β表示梯度取值为0.2的更新步长；
第二步，对梯度更新后的每个特征图进行收缩操作，得到收缩后的每个特征图：
Sm＝max(|Tm|-β,0)sign(Tm)
其中，Sm表示第m个收缩后的特征图，max(·)表示取大值操作，|·|表示取绝对值操作，sign(Tm)表示一个与特征图Tm大小相同的矩阵，该矩阵与特征图Tm中像素值为正数对应位置的元素取值为1，该矩阵与特征图中像素值为负数对应位置的元素取值为-1；
第三步，按照下式，对收缩后的每个特征图进行反池化操作，得到反池化操作后的每个特征图：
Cn＝u*Sn
其中，Cn表示第n个反池化操作后的特征图，u表示取值为0.5的反池化系数，*表示卷积操作，其中，k，m，n的取值对应相等。
4.根据权利要求3所述的一种多方向边缘特征激励的CT和MRI图像融合方法，其特征在于：步骤(3b)中所述共轭梯度公式如下：
Figure FDA0004055948260000031
其中，Er表示卷积后图像与卷积前图像的误差，N表示特征图的总数，fk表示第k个更新前的滤波器，将位于(0，0.0005)范围的与误差Er对应的滤波器作为更新后的滤波器。
5.根据权利要求1所述的一种多方向边缘特征激励的CT和MRI图像融合方法，其特征在于：步骤(4)中所述利用最小吸收核同值区边缘检测算子提取高频特征图像的边缘特征图像的步骤如下：
第一步，采用下述7×7矩阵作为最小吸收核同值区边缘检测算子模板：
Figure FDA0004055948260000032
第二步，用边缘检测算子模板在图像上滑动，得到多个滑动窗口框，比较每个边缘滑动框中每个像素值与中心滑动框中对应位置像素值的大小，将小于灰度阈值的像素值判定为与中心滑动框中对应位置的像素值具有相同的灰度，将所有满足该条件的像素组成该边缘滑动框中吸收核同值区域，所述灰度阈值取值范围为[10,30]；
第三步，用每个吸收核同值区域中像素值的求和值与图像边缘点判定阈值进行比较，将求和值大于边缘点判定阈值的所有吸收核同值区域提取出来，组成吸收核同值区域边缘特征图像区域，所述图像边缘点判定阈值取值范围为[15,50]。
CN202110130926.2A 2021-01-30 2021-01-30 一种多方向边缘特征激励的ct和mri图像融合方法 Active CN112785538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110130926.2A CN112785538B (zh) 2021-01-30 2021-01-30 一种多方向边缘特征激励的ct和mri图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110130926.2A CN112785538B (zh) 2021-01-30 2021-01-30 一种多方向边缘特征激励的ct和mri图像融合方法

Publications (2)

Publication Number Publication Date
CN112785538A CN112785538A (zh) 2021-05-11
CN112785538B true CN112785538B (zh) 2023-04-07

Family

ID=75760079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110130926.2A Active CN112785538B (zh) 2021-01-30 2021-01-30 一种多方向边缘特征激励的ct和mri图像融合方法

Country Status (1)

Country Link
CN (1) CN112785538B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106611408A (zh) * 2016-10-26 2017-05-03 成都易云知科技有限公司 一种图像融合方法
CN111311530A (zh) * 2020-01-22 2020-06-19 西安电子科技大学 基于方向滤波器及反卷积神经网络的多聚焦图像融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9247880B2 (en) * 2012-02-23 2016-02-02 Siemens Aktiengesellschaft Image fusion for interventional guidance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106611408A (zh) * 2016-10-26 2017-05-03 成都易云知科技有限公司 一种图像融合方法
CN111311530A (zh) * 2020-01-22 2020-06-19 西安电子科技大学 基于方向滤波器及反卷积神经网络的多聚焦图像融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Multi-focus Microscopic Image Fusion Algorithm Based on Sparse Representation and Pulse Coupled Neural Network;junfeng li et al.;《acta microscopica》;20201231;第1816-1823页 *
基于双树复Shearlet变换与改进PCNN的图像融合算法;魏志军等;《电子测量与仪器学报》;20180615(第06期);第84-91页 *
基于双通道PCNN的NSST域红外与可见光图像融合;王兴龙等;《平顶山学院学报》;20200425(第02期);第60-66页 *
神经网络结合NSCT的多源图像融合算法;孙雪峰等;《激光杂志》;20200725(第07期);第86-90页 *

Also Published As

Publication number Publication date
CN112785538A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
Yang et al. Multiple visual features measurement with gradient domain guided filtering for multisensor image fusion
Hou et al. Brain CT and MRI medical image fusion using convolutional neural networks and a dual-channel spiking cortical model
Du et al. An overview of multi-modal medical image fusion
Li et al. Deep learning based imaging data completion for improved brain disease diagnosis
Kumar et al. Breast cancer classification of image using convolutional neural network
CN109584254A (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
CN108416821B (zh) 一种深度神经网络的ct图像超分辨重建方法
Zhao et al. Medical image fusion method based on dense block and deep convolutional generative adversarial network
Gupta Nonsubsampled shearlet domain fusion techniques for CT–MR neurological images using improved biological inspired neural model
Du et al. Medical image fusion by combining parallel features on multi-scale local extrema scheme
Li et al. A multiscale double-branch residual attention network for anatomical–functional medical image fusion
CN111583285A (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN109118487B (zh) 基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法
CN112785539B (zh) 基于图像自适应分解及参数自适应的多聚焦图像融合方法
Wang et al. Medical image fusion based on hybrid three-layer decomposition model and nuclear norm
CN109949288A (zh) 肿瘤类型确定系统、方法及存储介质
CN116342444B (zh) 一种双通道多模态图像融合方法及电子设备
CN115457359A (zh) 基于自适应对抗生成网络的pet-mri图像融合方法
CN114821259A (zh) 一种基于孪生卷积神经网络的零学习医学图像融合方法
CN115205308A (zh) 一种基于线状滤波和深度学习的眼底图像血管分割方法
Zhang et al. Research on image fusion algorithm based on NSST frequency division and improved LSCN
Huang et al. ADDNS: An asymmetric dual deep network with sharing mechanism for medical image fusion of CT and MR-T2
CN117953208A (zh) 一种基于图的边缘注意力门医学影像分割方法及装置
CN112785538B (zh) 一种多方向边缘特征激励的ct和mri图像融合方法
Huang et al. Anatomical‐functional image fusion based on deep convolution neural networks in local Laplacian pyramid domain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant