CN111311529B - 基于反卷积网络和引导滤波的医学图像融合方法 - Google Patents

基于反卷积网络和引导滤波的医学图像融合方法 Download PDF

Info

Publication number
CN111311529B
CN111311529B CN202010074946.8A CN202010074946A CN111311529B CN 111311529 B CN111311529 B CN 111311529B CN 202010074946 A CN202010074946 A CN 202010074946A CN 111311529 B CN111311529 B CN 111311529B
Authority
CN
China
Prior art keywords
image
fused
medical
low
frequency characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010074946.8A
Other languages
English (en)
Other versions
CN111311529A (zh
Inventor
那彦
马晋珺
杨凌波
郑亚楠
蔡晨溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010074946.8A priority Critical patent/CN111311529B/zh
Publication of CN111311529A publication Critical patent/CN111311529A/zh
Application granted granted Critical
Publication of CN111311529B publication Critical patent/CN111311529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于反卷积网络和引导滤波的医学图像融合方法，主要解决现有技术融合图像分辨率低的问题，其实现方案为：获取待融合的两幅医学图像；构造空域中的低、高通滤波器，并替换反卷积网络原本的随机化滤波器，得到初始化后的反卷积网络；对初始化后的反卷积网络进行训练，并获得待融合医学图像的低、高频特征图；优化引导滤波器的参数，对待融合医学图像的低、高频特征图进行滤波，得到待融合图像低、高频特征图的重定义权重图；加权融合这两种特征图的重定义权重图，得到融合后的低、高频特征图；将融合后的低、高频特征图输入到训练后的反卷积网络中，得到医学融合图像。本发明提高了融合图像的分辨率，可用于对医学图像的处理。

Description

基于反卷积网络和引导滤波的医学图像融合方法
技术领域
本发明属于图像处理技术领域，主要涉及一种医学图像融合方法，可用于临床中对图像的分析与处理。
背景技术
医学CT图像和MRI图像用于医疗诊断，主要为了确定病变区域，对病变区域有效且精确的定位。CT图像对人体骨骼成像较好，但软组织可见能力却不高，MRI图像在神经系统、软组织等区域成像较好，但对骨骼却无法成像。CT图像和MRI图像的融合图像能够将两种成像方式的优势集中起来，为医疗工作者提供诊断参考依据。
反卷积神经网络是由Zeiler等人在过去几年间提出和改进的一种使用无监督且自适应训练方式的网络。反卷积神经网络是可采用推断分解手段建立层级图像表示的一种架构。这些分层特征图像包含了低、中、高等全尺度的信息，同时这些分层特征图像也能够重构回输入图像。反卷积神经网络与卷积神经网络的相同之处在于都存在卷积和池化运算，其思想大体相似，不同之处在于卷积神经网络是执行输入图像和滤波器从底层到上层的卷积运算，实现获取上层的特征图。而反卷积神经网络中特征图与滤波器的卷积是从顶层向下层依次实施的。
图像滤波的应用很广泛，在计算机视觉和图形学中都有所涉及，它可以减少图像中的噪声，或者提取出图像中有用的结构。线性平移不变滤波器的内核在空间上是不变的，并且与图像的内容无关，但是在很多情况下，需要在对图像滤波的过程中包含给定引导图像的信息，双边滤波器可以起到平滑作用并保留图像边缘，但在图像边缘附近可能会出现梯度反转。2010年，何凯明首次提出引导滤波器的概念，引导滤波器作为一种保边滤波器，它的滤波器核能够根据图像内容进行改变，在滤除图像噪声的同时还能保留图像的边缘信息和细节信息，并且克服了双边滤波器存在的缺点，算法复杂度低，效率较高，因此引导滤波应用于图像融合中能取得较好的结果。
2018年，申请公布号为CN108596222A，名称为“基于反卷积神经网络的图像融合方法”的专利申请，该方法先设置反卷积神经网络；获取训练样本集；用训练样本集对反卷积神经网络进行训练；用训练好的反卷积神经网络推断待融合图像的特征图；对待融合图像的特征图进行融合；用融合后的特征图和训练好的反卷积神经网络中的滤波器进行卷积求和，获得融合图像。然而，在反卷积神经网络训练过程中，由于所使用的是随机滤波器，无法针对性的获得各个频率的特征图，并且使用所有待融合图像对滤波器进行训练，导致不同内容的图像所得到的滤波器特性均相同，无法根据不同的图像内容对滤波器进行调整，融合图像分辨率低，评价参数低。
2017年，公开号为107194902A，名称为“图像融合中自动确定引导滤波器参数的方法”，公开了一种图像融合中自动确定引导滤波器参数的方法，该方法首先通过遍历调整参数ε的中间变化指数a'，得到调整参数εa'，并将其代入引导滤波方程，再将此引导滤波器方程用于图像融合，并将融合图像的评价参数收敛时εa'的值作为最佳调整参数；其次，以步长为1，遍历窗口半径r的值，代入引导滤波方程，并将此引导滤波器方程用于图像融合，得到融合后图像的评价参数曲线C(r)，评价参数曲线C(r)的最值点时对应的r的值即为最佳的窗口半径rb。然而通过遍历的方法寻找最优解的效率较为低下，时间复杂度较高。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于反卷积网络和引导滤波的医学图像融合方法，以根据图像内容对滤波器进行调整，提高融合图像的分辨率低和评价参数，并提高引导滤波器参数优化的效率。
为实现上述目的，本发明的技术方案包括如下步骤：
(1)从数据库中选取对同一部位拍摄的一幅CT图像和一幅MRI图像作为待融合医学图像；
(2)初始化反卷积神经网络：
(2a)构造低通滤波器和高通滤波器，即一个低通巴特沃斯滤波器和三个高通巴特沃斯滤波器；
(2b)用已构造的通滤波器和高通滤波器替换反卷积神经网络原本的随机化滤波器，得到初始化后的反卷积神经网络；
(3)获取待融合医学图像的低频特征图和高频特征图：
(3a)将获取的一幅待融合CT图像和一幅待融合MRI图像输入到初始化反卷积神经网络中；
(3b)保持初始化后的反卷积神经网络的滤波器不变，初始化待融合CT图像和待融合MRI图像的特征图并不断对其进行调整，计算特征图与滤波器重构得到的图像与其对应的原图像之间的重构误差，重构误差最小时，得到待融合CT图像和MRI图像的最优特征图；
(3c)保持最优特征图不变，不断改变反卷积神经网络中的滤波器，计算最优特征图与滤波器重构得到的图像与其对应的原图像之间的重构误差，重构误差最小时，得到已完成滤波器学习的反卷积神经网络；
(3d)将这幅待融合CT图像和这幅待融合MRI图像，再输入到已完成滤波器学习的反卷积神经网络中，分解获得待融合医学图像低频特征图和高频特征图；
(4)应用引导滤波融合规则分别对医学图像的低频特征图和高频特征图进行融合；
(4a)利用遗传算法优化引导滤波器的窗口半径r，获得引导滤波器最佳窗口半径rb：
设遗传优化算法的适应度函数为：
Figure BDA0002378256520000031
其中，σ(r)为在窗口半径r处融合后图像的标准差,σ(1)为r＝1时融合后图像的标准差,
Figure BDA0002378256520000032
为r处融合后图像的平均梯度,
Figure BDA0002378256520000033
为r＝1时融合后图像的平均梯度,ES(r)为r处融合后图像的边缘强度,ES(1)为r＝1时融合后图像的边缘强度r的取值范围为1至
Figure BDA0002378256520000034
M为引导滤波器引导图像在行方向上的像素个数，N为引导滤波器引导图像在列方向上的像素个数；
计算C(r)的最大值，此时r的值即为引导滤波器最佳窗口半径rb；
(4b)判断待融合医学CT图像低频特征图在每个像素点上的值是否大于待融合医学MRI图像低频特征图对应像素点位置上的值：
若是，则将1作为对应像素点位置的低频特征图的第一权重图W1L，
否则，则将1作为对应像素点位置的低频特征图的第二权重图W2L，其余像素点的值均为0；
(4c)判断待融合医学CT图像高频特征图在每个像素点上的值是否大于待融合医学MRI图像高频特征图对应像素点位置上的值：
若是，则将1作为对应像素点位置的高频特征图的第一权重图W1H，
否则，将1作为对应像素点位置的高频特征图的第二权重图W2H，其余像素点的值均为0；
(4d)计算待融合医学CT图像低频特征图的方差σ1L和待融合医学MRI图像低频特征图的方差σ2L，设置引导滤波器的低频调整参数为εl1＝σ1L×σ2L×10-20，最佳窗口半径为rb，利用引导滤波器分别对低频特征图的第一权重图W1L和第二权重图W2L进行滤波，得到待融合医学图像低频特征图的第一重定义权重图M1L和第二重定义权重图M2L；
(4e)计算待融合医学CT图像高频特征图的方差σ1H和待融合医学MRI图像高频特征图的方差σ2H，设置引导滤波器的高频调整参数为εl2＝σ1H×σ2H×10-20，引导滤波器的窗口半径为rb，利用引导滤波器分别对待融合医学图像高频特征图的第一权重图W1H和第二权重图W2H进行滤波，得到待融合医学图像高频特征图的第一重定义权重图M1H和第二重定义权重图M2H；
(4f)对待融合医学图像低频特征图的第一重定义权重图、第二重定义权重图和低频特征图进行加权融合，得到融合后的低频特征图；
(4g)对待融合医学图像高频特征图的第一重定义权重图、第二重定义权重图和高频特征图进行加权融合，得到融合后的高频特征图；
(5)将融合后的低频特征图和高频特征图输入到已完成学习的反卷积神经网络中，重构得到医学融合图像。
本发明与现有的技术相比，具有以下优点：
第一，本发明设计不同截止频率的滤波器，应用于反卷积神经网络中，且在网络训练时根据图像内容获得最优截止频率滤波器，相比现有技术使用随机滤波器，得到的融合图像更具有频率针对性。
第二，本发明训练滤波器时使用两幅同一部位拍摄的待融合图像，而不再是使用传统的训练集，获得的训练后滤波器更能切合待融合图像的特征，可保留待融合图像的特性。
第三，本发明应用遗传优化算法对引导滤波器的参数进行优化，消除了现有技术中引导滤波器参数优化速度过慢的缺点。
附图说明
图1是本发明的实现总流程图；
图2是本发明中用引导滤波融合医学图像特征图的子流程图；
图3是本发明实施例采用的两幅待融合医学图像；
图4为用现有技术对图3进行医学融合的仿真结果图；
图5为用本发明对图3进行医学融合的仿真结果图。
具体实施方式
下面结合附图对本发明的具体实施例作和效果进一步详细描述。
参照图1，本实例的实施步骤如下：
步骤1，获取待融合医学图像。
从数据库中选取对同一部位拍摄的一幅CT图像和一幅MRI图像作为待融合医学图像，如图3所示，其中图3(a)为对脑部同一部位拍摄的医学图像，为灰度的电子计算机断层扫描图像CT图像，图3(b)为对脑部同一部位拍摄的医学图像，为灰度的核磁共振图像MRI图像。
步骤2，初始化反卷积神经网络。
(2.1)构造低通滤波器和高通滤波器，即一个低通巴特沃斯滤波器和三个高通巴特沃斯滤波器：
(2.1.1)利用巴特沃斯低通滤波器和高通滤波器的传递函数计算得到时域中的低通滤波器L(u,v)和高通滤波器H(u,v)：
Figure BDA0002378256520000051
Figure BDA0002378256520000052
其中，u和v为频域平面的横方向和纵方向坐标位置，D(u,v)为频率点(u,v)到频率原点的像素距离，D0为截止频率，n为滤波器阶数；
本实例采用一个低通滤波器，三个高通滤波器，每个滤波器的大小均为5*5，阶数n＝4；
(2.1.2)对时域中的低通滤波器和高通滤波器进行二维逆傅里叶变换，得到低通滤波器和高通滤波器，该滤波器的截止频率以小波变换的主要频率π/2和π/2为基准，设置不同的截止频率组合，共15组，如下表1所示：
表1低通滤波器和高通滤波器截止频率组合
组数 低通截止频率 高通截止频率
1 π/8 π/8
2 π/4 π/4
3 π/2 π/2
4 5π/8 5π/8
5 3π/4 3π/4
6 π/8 π/4
7 π/8 π/2
8 π/8 5π/8
9 π/8 3π/4
10 π/4 π/2
11 π/4 5π/8
12 π/4 3π/4
13 π/2 5π/8
14 π/2 3π/4
15 5π/8 3π/4
(2.2)用已构造低通滤波器和高通滤波器替换反卷积神经网络原本的随机化滤波器，得到初始化后的反卷积神经网络。
步骤3，获取待融合医学图像的低频特征图和高频特征图。
(3.1)将获取的一幅待融合CT图像和一幅待融合MRI图像输入到初始化反卷积神经网络中；
(3.2)保持初始化后的反卷积神经网络的滤波器不变，初始化待融合CT图像和待融合MRI图像的特征图并不断对其进行调整，计算特征图与滤波器重构得到的图像与其对应的原图像之间的重构误差，重构误差最小时，得到待融合CT图像和MRI图像的最优特征图；
(3.3)保持最优特征图不变，不断改变反卷积神经网络中的滤波器，计算最优特征图与滤波器重构得到的图像与其对应的原图像之间的重构误差，重构误差最小时，得到已完成滤波器学习的反卷积神经网络；
(3.4)将一幅待融合CT图像和一幅待融合MRI图像，再输入到已完成滤波器学习的反卷积神经网络中，分解得到待融合医学图像低频特征图和高频特征图。
步骤4，利用遗传算法优化引导滤波器的窗口半径r，获得引导滤波器最佳窗口半径rb。
(4.1)设遗传优化算法的适应度函数为：
Figure BDA0002378256520000071
其中，σ(r)为在窗口半径r处融合后图像的标准差,计算公式为：
Figure BDA0002378256520000072
式中，M为医学融合图像在行方向上的像素个数，N为医学融合图像在列方向上的像素个数，Bi,j表示医学融合图像在(i,j)处的灰度值，
Figure BDA0002378256520000073
为医学融合图像的均值，计算公式为：
Figure BDA0002378256520000074
σ(1)为r＝1时融合后图像的标准差；
Figure BDA0002378256520000075
为r处融合后图像的平均梯度，计算公式为：
Figure BDA0002378256520000076
式中，Sx(i,j)和Sy(i,j)分别表示医学融合图像在(i,j)处行方向和列方向的Sobel算子：
Figure BDA0002378256520000077
Oi,j为医学融合图像在(i,j)处的像素值；
Figure BDA0002378256520000078
为r＝1时融合后图像的平均梯度；
ES(r)为r处融合后图像的边缘强度,计算公式为：
Figure BDA0002378256520000081
式中，HOE(i,j)，VOE(i,j)，DOE(i,j)，BOE(i,j)分别是医学融合图像在水平、垂直、对角线和反对角线上的一阶偏导数，定义如下：
HOE(i,j)＝|Bi-1,j+1+2Bi,j+1+Bi+1,j+1-Bi-1,j-1-2Bi,j-1-Bi+1,j-1|/4
VOE(i,j)＝|Bi+1,j-1+2Bi+1,j+Bi+1,j+1-Bi-1,j-1-2Bi-1,j-Bi-1,j+1|/4
DOE(i,j)＝|2Bi-1,j-1+Bi-1,j+Bi,j-1-2Bi+1,j+1-Bi,j+1-Bi+1,j|/4
NOE(i,j)＝|2Bi-1,j+1+Bi-1,j+Bi,j+1-2Bi+1,j-1-Bi,j-1-Bi+1,j|/4。
ES(1)为r＝1时融合后图像的边缘强度；
r的取值范围为1至
Figure BDA0002378256520000082
M为引导滤波器引导图像在行方向上的像素个数，N为引导滤波器引导图像在列方向上的像素个数，
(4.2)计算C(r)的最大值，此时r的值即为引导滤波器最佳窗口半径rb。
步骤5，应用引导滤波融合规则对医学图像的低频特征图进行融合。
(5.1)判断待融合医学CT图像低频特征图在每个像素点上的值是否大于待融合医学MRI图像低频特征图对应像素点位置上的值：
若是，则将1作为对应像素点位置的低频特征图的第一权重图W1L，
否则，则将1作为对应像素点位置的低频特征图的第二权重图W2L，其余像素点的值均为0；
待融合医学图像特征图的低频特征图的第一权重图W1L和第二权重图W2L的表达式分别为：
Figure BDA0002378256520000083
Figure BDA0002378256520000084
其中，LCT表示待融合医学CT图像低频特征图，LMRI表示待融合医学MRI图像低频特征图；
(5.2)获取待融合医学图像低频特征图的第一重定义权重图M1L和第二重定义权重图M2L:
(5.2.1)计算待融合医学CT图像低频特征图的均值
Figure BDA0002378256520000091
Figure BDA0002378256520000092
其中，X1表示待融合医学CT图像低频特征图的横方向上像素个数，Y1表示待融合医学CT图像低频特征图的列方向上像素个数，Ci,j表示待融合医学CT图像低频特征图在点(i，j)处的像素值；
(5.2.2)计算待融合医学CT图像低频特征图的方差σ1L：
Figure BDA0002378256520000093
(5.2.3)计算待融合医学MRI图像低频特征图的均值
Figure BDA0002378256520000094
Figure BDA0002378256520000095
其中，X2表示待融合医学MRI图像低频特征图的横方向上像素个数，Y2表示待融合医学MRI图像低频特征图的列方向上像素个数，Mi,j表示待融合医学MRI图像低频特征图在点(i，j)处的像素值；
(5.2.4)计算待融合医学MRI图像低频特征图的方差σ2L：
Figure BDA0002378256520000096
(5.2.5)设置引导滤波器的低频调整参数为εl1＝σ1L×σ2L×10-20，最佳窗口半径为rb，将待融合医学图像低频特征图的第一权重图W1L作为引导滤波器的输入图像，将待融合医学CT图像低频特征图作为引导滤波器的引导图像，利用引导滤波器对输入图像和引导图像进行滤波，得到待融合医学图像低频特征图的第一重定义权重图M1L：
M1L＝GL(W1L,HCT_L)
其中，GL表示低频引导滤波器，HCT_L为待融合医学CT图像低频特征图；
(5.2.6)将待融合医学图像低频特征图的第二权重图W2L作为引导滤波器的输入图像，将待融合医学MRI图像低频特征图作为引导滤波器的引导图像，利用引导滤波器对输入图像和引导图像进行滤波，得到待融合医学图像低频特征图的第二重定义权重图M2L：
M2L＝GL(W2L,HMRI_H)
其中，HMRI_H为待融合医学MRI图像低频特征图；
(5.3)对待融合医学图像低频特征图的第一重定义权重图、第二重定义权重图和低频特征图进行加权融合，得到融合后的低频特征图：
LN＝LCT×M1L+LMRI×M2L
其中，LN表示医学图像融合后的低频特征图，LCT表示待融合医学CT图像低频特征图，LMRI表示待融合医学MRI图像低频特征图，M1L表示待融合医学图像低频特征图的第一重定义权重图，M2L表示待融合医学图像低频特征图的第二重定义权重图。
步骤6，应用引导滤波融合规则对医学图像的高频特征图进行融合。
(6.1)判断待融合医学CT图像高频特征图在每个像素点上的值是否大于待融合医学MRI图像高频特征图对应像素点位置上的值：
若是，则将1作为对应像素点位置的高频特征图的第一权重图W1H，
否则，将1作为对应像素点位置的高频特征图的第二权重图W2H，其余像素点的值均为0；
待融合医学图像高频特征图的第一权重图W1H和第二权重图W2H的表达式分别为：
Figure BDA0002378256520000111
Figure BDA0002378256520000112
其中，HCT表示融合医学CT图像高频特征图，HMRI表示待融合医学MRI图像高频特征图；
(6.2)获取待融合医学图像高频特征图的第一重定义权重图M1H和第二重定义权重图M2H：
(6.2.1)计算待融合医学CT图像高频特征图的均值
Figure BDA0002378256520000113
Figure BDA0002378256520000114
其中，M1表示待融合医学CT图像高频特征图的横方向上像素个数，N1表示待融合医学CT图像高频特征图的列方向上像素个数，Ti,j表示待融合医学CT图像高频特征图在点(i，j)处的像素值；
(6.2.2)计算待融合医学CT图像高频特征图的方差σ1H：
Figure BDA0002378256520000115
(6.2.3)计算待融合医学MRI图像高频特征图的均值
Figure BDA0002378256520000116
Figure BDA0002378256520000117
其中，M2表示待融合医学MRI图像高频特征图的横方向上像素个数，N2表示待融合医学MRI图像高频特征图的横方向上像素个数，Ri,j表示待融合医学MRI图像高频特征图在点(i，j)处的像素值；
(6.2.4)计算待融合医学MRI图像高频特征图的方差σ2H：
Figure BDA0002378256520000121
(6.2.5)设置引导滤波器的高频调整参数为εl2＝σ1H×σ2H×10-20，引导滤波器的窗口半径为rb，将待融合医学图像高频特征图的第一权重图W1H作为引导滤波器的输入图像，将待融合医学CT图像高频特征图作为引导滤波器的引导图像，利用引导滤波器对输入图像和引导图像进行滤波，得到待融合医学图像高频特征图的第一重定义权重图M1H：
M1H＝GH(W1H,HCT_H)
其中，GH表示高频引导滤波器，HCT_H为待融合医学CT图像高频特征图；
(6.2.6)将待融合医学图像高频特征图的第二权重图W2H作为引导滤波器的输入图像，将待融合医学MRI图像高频特征图作为引导滤波器的引导图像，利用引导滤波器对输入图像和引导图像进行滤波，得到待融合医学图像高频特征图的第二重定义权重图M2H：
M2H＝GH(W2H,HMRI_H)，
其中，HMRI_H为待融合医学MRI图像高频特征图；
(6.3)对待融合医学图像高频特征图的第一重定义权重图、第二重定义权重图和高频特征图进行加权融合，得到融合后的高频特征图；
HN＝HCT×M1H+HMRI×M2H
其中，HN表示医学图像融合后的高频特征图，HCT表示待融合医学CT图像高频特征图，HMRI表示待融合医学MRI图像高频特征图，M1H表示待融合医学图像高频特征图的第一重定义权重图，M2H表示待融合医学图像高频特征图的第二重定义权重图。
步骤7，将融合后的低频特征图和高频特征图输入到已完成学习的反卷积神经网络中，重构得到医学融合图像。
下面结合仿真实验，对本发明的技术效果作进一步详细描述。
1.仿真条件和内容：
本发明的仿真实验采用的硬件测试平台是：处理器为Inter Core i7，主频为2.4GHz，内存8GB；软件平台为Windows 10 64位操作系统、Matlab R2017b进行仿真测试。
2.仿真内容与结果：
仿真1，用现有技术小波变换方法对图3的CT图像和MRI图像进行融合仿真，结果如图4所示。
仿真2，用本发明对图3的CT图像和MRI图像进行融合仿真，结果如图5所示。
对比图4与图5可发现，本实施例的仿真结果图像分辨率更高，图像更清晰。
将本实施例医学融合图像与现有技术在三个评价参数上进行对比，评价参数分别为医学融合图像的标准差、平均梯度、边缘强度，分别计算本发明和现有技术医学融合图像的标准差、平均梯度、边缘强度，结果如表2所示。
表2医学融合图像评价参数表
Figure BDA0002378256520000131
由表2中可见，本发明所得的医学融合图像的标准差、平均梯度和边缘强度，三个评价参数与现有技术相比更高，说明本方法图像信息丰富，图像分辨率高，边缘信息更丰富，融合效果更好。
综上所述，本发明用于医学图像融合能够取得较好的融合结果，能更好的应用在临床医疗诊断中。
以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于反卷积网络和引导滤波的医学图像融合方法，其特征在于，包括如下：
(1)从数据库中选取对同一部位拍摄的一幅CT图像和一幅MRI图像作为待融合医学图像；
(2)初始化反卷积神经网络：
(2a)构造低通滤波器和高通滤波器，即一个低通巴特沃斯滤波器和三个高通巴特沃斯滤波器；
(2b)用已构造的通滤波器和高通滤波器替换反卷积神经网络原本的随机化滤波器，得到初始化后的反卷积神经网络；
(3)获取待融合医学图像的低频特征图和高频特征图：
(3a)将获取的一幅待融合CT图像和一幅待融合MRI图像输入到初始化反卷积神经网络中；
(3b)保持初始化后的反卷积神经网络的滤波器不变，初始化待融合CT图像和待融合MRI图像的特征图并不断对其进行调整，计算特征图与滤波器重构得到的图像与其对应的原图像之间的重构误差，重构误差最小时，得到待融合CT图像和MRI图像的最优特征图；
(3c)保持最优特征图不变，不断改变反卷积神经网络中的滤波器，计算最优特征图与滤波器重构得到的图像与其对应的原图像之间的重构误差，重构误差最小时，得到已完成滤波器学习的反卷积神经网络；
(3d)将这幅待融合CT图像和这幅待融合MRI图像，再输入到已完成滤波器学习的反卷积神经网络中，分解获得待融合医学图像低频特征图和高频特征图；
(4)应用引导滤波融合规则分别对医学图像的低频特征图和高频特征图进行融合；
(4a)利用遗传算法优化引导滤波器的窗口半径r，获得引导滤波器最佳窗口半径rb：
设遗传优化算法的适应度函数为：
Figure FDA0003533953350000011
其中，σ(r)为在窗口半径r处融合后图像的标准差，σ(1)为r＝1时融合后图像的标准差，
Figure FDA0003533953350000012
为窗口半径r处融合后图像的平均梯度，
Figure FDA0003533953350000013
为r＝1时融合后图像的平均梯度，ES(r)为窗口半径r处融合后图像的边缘强度，ES(1)为r＝1时融合后图像的边缘强度，窗口半径r的取值范围为1至
Figure FDA0003533953350000021
M为引导滤波器引导图像在行方向上的像素个数，N为引导滤波器引导图像在列方向上的像素个数；
计算C(r)的最大值，此时r的值即为引导滤波器最佳窗口半径rb；
(4b)判断待融合医学CT图像低频特征图在每个像素点上的值是否大于待融合医学MRI图像低频特征图对应像素点位置上的值：
若是，则将1作为对应像素点位置的低频特征图的第一权重图W1L，
否则，则将1作为对应像素点位置的低频特征图的第二权重图W2L，其余像素点的值均为0；
(4c)判断待融合医学CT图像高频特征图在每个像素点上的值是否大于待融合医学MRI图像高频特征图对应像素点位置上的值：
若是，则将1作为对应像素点位置的高频特征图的第一权重图W1H，
否则，将1作为对应像素点位置的高频特征图的第二权重图W2H，其余像素点的值均为0；
(4d)计算待融合医学CT图像低频特征图的方差σ1L和待融合医学MRI图像低频特征图的方差σ2L，设置引导滤波器的低频调整参数为εl1＝σ1L×σ2L×10-20，最佳窗口半径为rb，利用引导滤波器分别对低频特征图的第一权重图W1L和第二权重图W2L进行滤波，得到待融合医学图像低频特征图的第一重定义权重图M1L和第二重定义权重图M2L；
(4e)计算待融合医学CT图像高频特征图的方差σ1H和待融合医学MRI图像高频特征图的方差σ2H，设置引导滤波器的高频调整参数为εl2＝σ1H×σ2H×10-20，引导滤波器的窗口半径为rb，利用引导滤波器分别对待融合医学图像高频特征图的第一权重图W1H和第二权重图W2H进行滤波，得到待融合医学图像高频特征图的第一重定义权重图M1H和第二重定义权重图M2H；
(4f)对待融合医学图像低频特征图的第一重定义权重图、第二重定义权重图和低频特征图进行加权融合，得到融合后的低频特征图；
(4g)对待融合医学图像高频特征图的第一重定义权重图、第二重定义权重图和高频特征图进行加权融合，得到融合后的高频特征图；
(5)将融合后的低频特征图和高频特征图输入到已完成学习的反卷积神经网络中，重构得到医学融合图像。
2.根据权利要求1所述的方法，其特征在于，步骤(2a)中构造低通滤波器和高通滤波器，即一个低通巴特沃斯滤波器和三个高通巴特沃斯滤波器，其实现如下：
(2a1)利用巴特沃斯低通滤波器和高通滤波器的传递函数计算得到时域中的低通滤波器和高通滤波器：
Figure FDA0003533953350000031
Figure FDA0003533953350000032
其中L(u,v)为时域低通滤波器，H(u,v)为时域高通滤波器，u和v为频域平面的横方向和纵方向坐标位置，D(u,v)为频率点(u,v)到频率原点的像素距离，D0为截止频率，n为滤波器阶数；
(2a2)对时域中的低通滤波器和高通滤波器进行二维逆傅里叶变换，得到低通滤波器和高通滤波器。
3.根据权利要求1所述的方法，其特征在于，(4d)中计算待融合医学CT图像低频特征图的方差σ1L和待融合医学MRI图像低频特征图的方差σ2L，其实现如下：
(4d1)计算待融合医学CT图像低频特征图的均值
Figure FDA0003533953350000033
Figure FDA0003533953350000034
其中，X1表示待融合医学CT图像低频特征图的横方向上像素个数，Y1表示待融合医学CT图像低频特征图的列方向上像素个数，Ci,j表示待融合医学CT图像低频特征图在点(i，j)处的像素值；
(4d2)计算待融合医学CT图像低频特征图的方差σ1L：
Figure FDA0003533953350000041
(4d3)计算待融合医学MRI图像低频特征图的均值
Figure FDA0003533953350000042
Figure FDA0003533953350000043
其中，X2表示待融合医学MRI图像低频特征图的横方向上像素个数，Y2表示待融合医学MRI图像低频特征图的列方向上像素个数，Mi,j表示待融合医学MRI图像低频特征图在点(i，j)处的像素值；
(4d4)计算待融合医学MRI图像低频特征图的方差σ2L：
Figure FDA0003533953350000044
4.根据权利要求1所述的方法，其特征在于，(4e)中计算待融合医学CT图像高频特征图的方差σ1H和待融合医学MRI图像高频特征图的方差σ2H，其实现如下：
(4e1)计算待融合医学CT图像高频特征图的均值
Figure FDA0003533953350000045
Figure FDA0003533953350000046
其中，M1表示待融合医学CT图像高频特征图的横方向上像素个数，N1表示待融合医学CT图像高频特征图的列方向上像素个数，Ti,j表示待融合医学CT图像高频特征图在点(i，j)处的像素值；
(4e2)计算待融合医学CT图像高频特征图的方差σ1H：
Figure FDA0003533953350000051
(4e3)计算待融合医学MRI图像高频特征图的均值
Figure FDA0003533953350000052
Figure FDA0003533953350000053
其中，M2表示待融合医学MRI图像高频特征图的横方向上像素个数，N2表示待融合医学MRI图像高频特征图的横方向上像素个数，Ri,j表示待融合医学MRI图像高频特征图在点(i，j)处的像素值；
(4e4)计算待融合医学MRI图像高频特征图的方差σ2H：
Figure FDA0003533953350000054
5.根据权利要求1所述的方法，其特征在于，(4d)中利用引导滤波器分别对低频特征图的第一权重图W1L和第二权重图W2L进行滤波，其实现如下：
(4d1)将待融合医学图像低频特征图的第一权重图W1L作为引导滤波器的输入图像，将待融合医学CT图像低频特征图作为引导滤波器的引导图像，对输入图像和引导图像进行滤波，得到待融合医学图像低频特征图的第一重定义权重图M1L：
M1L＝GL(W1L,HCT_L)，
其中，GL表示低频引导滤波器，HCT_L为待融合医学CT图像低频特征图；
(4d2)将待融合医学图像低频特征图的第二权重图W2L作为引导滤波器的输入图像，将待融合医学MRI图像低频特征图作为引导滤波器的引导图像，对输入图像和引导图像进行滤波，得到待融合医学图像低频特征图的第二重定义权重图M2L：
M2L＝GL(W2L,HMRI_H)
其中，HMRI_H为待融合医学MRI图像低频特征图。
6.根据权利要求1所述的方法，其特征在于，(4e)中利用引导滤波器分别对待融合医学图像高频特征图的第一权重图W1H和第二权重图W2H进行滤波，其实现如下：
(4e1)将待融合医学图像高频特征图的第一权重图W1H作为引导滤波器的输入图像，将待融合医学CT图像高频特征图作为引导滤波器的引导图像，对输入图像和引导图像进行滤波，得到待融合医学图像高频特征图的第一重定义权重图M1H：
M1H＝GH(W1H,HCT_H)
其中，GH表示高频引导滤波器，HCT_H为待融合医学CT图像高频特征图；
(4e2)将待融合医学图像高频特征图的第二权重图W2H作为引导滤波器的输入图像，将待融合医学MRI图像高频特征图作为引导滤波器的引导图像，对输入图像和引导图像进行滤波，得到待融合医学图像高频特征图的第二重定义权重图M2H：
M2H＝GH(W2H,HMRI_H)
其中，HMRI_H为待融合医学MRI图像高频特征图。
7.根据权利要求1所述的方法，其特征在于，(4f)中对待融合医学图像低频特征图的第一重定义权重图、第二重定义权重图和低频特征图进行加权融合，通过如下公式进行：
LN＝LCT×M1L+LMRI×M2L
其中，LN表示医学图像融合后的低频特征图，LCT表示待融合医学CT图像低频特征图，LMRI表示待融合医学MRI图像低频特征图，M1L表示待融合医学图像低频特征图的第一重定义权重图，M2L表示待融合医学图像低频特征图的第二重定义权重图。
8.根据权利要求1所述的方法，其特征在于，(4g)中对待融合医学图像高频特征图的第一重定义权重图、第二重定义权重图和高频特征图进行加权融合，通过如下公式进行：
HN＝HCT×M1H+HMRI×M2H
其中，HN表示医学图像融合后的高频特征图，HCT表示待融合医学CT图像高频特征图，HMRI表示待融合医学MRI图像高频特征图，M1H表示待融合医学图像高频特征图的第一重定义权重图，M2H表示待融合医学图像高频特征图的第二重定义权重图。
CN202010074946.8A 2020-01-22 2020-01-22 基于反卷积网络和引导滤波的医学图像融合方法 Active CN111311529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010074946.8A CN111311529B (zh) 2020-01-22 2020-01-22 基于反卷积网络和引导滤波的医学图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010074946.8A CN111311529B (zh) 2020-01-22 2020-01-22 基于反卷积网络和引导滤波的医学图像融合方法

Publications (2)

Publication Number Publication Date
CN111311529A CN111311529A (zh) 2020-06-19
CN111311529B true CN111311529B (zh) 2022-07-01

Family

ID=71145295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010074946.8A Active CN111311529B (zh) 2020-01-22 2020-01-22 基于反卷积网络和引导滤波的医学图像融合方法

Country Status (1)

Country Link
CN (1) CN111311529B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117952858B (zh) * 2024-03-27 2024-06-11 中国人民解放军总医院第一医学中心 基于磁共振成像的脑电神经活动定位与分辨率增强方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648174A (zh) * 2018-04-04 2018-10-12 上海交通大学 一种基于自动对焦技术的多层图像融合方法及系统
CN108872991A (zh) * 2018-05-04 2018-11-23 上海西井信息科技有限公司 目标物检测与识别方法、装置、电子设备、存储介质
CN110070518A (zh) * 2019-03-15 2019-07-30 南京航空航天大学 一种基于双路径支持下的高光谱图像超分辨率制图方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014177750A1 (en) * 2013-04-29 2014-11-06 Nokia Corporation A method and apparatus for fusing distance data from a distance sensing camera with an image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648174A (zh) * 2018-04-04 2018-10-12 上海交通大学 一种基于自动对焦技术的多层图像融合方法及系统
CN108872991A (zh) * 2018-05-04 2018-11-23 上海西井信息科技有限公司 目标物检测与识别方法、装置、电子设备、存储介质
CN110070518A (zh) * 2019-03-15 2019-07-30 南京航空航天大学 一种基于双路径支持下的高光谱图像超分辨率制图方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《A new fusion model for classification of the lung diseases using genetic algorithm》;C.Bhuvaneswari et al;《Enyptian Informatics Journal》;20140606;全文 *
《超分辨率图像重构算法的研究》;雷丽明;《中国优秀硕士学位论文全文数据库 信息科技辑》;20090415(第2009年第04期);全文 *

Also Published As

Publication number Publication date
CN111311529A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN108537794B (zh) 医学图像数据处理方法、装置和计算机可读存储介质
Ramlal et al. An improved multimodal medical image fusion scheme based on hybrid combination of nonsubsampled contourlet transform and stationary wavelet transform
CN106485721B (zh) 从光学相干断层图像获取视网膜结构的方法及其系统
CN103942780B (zh) 基于改进模糊连接度算法的丘脑及其子结构分割方法
Zhou et al. An iterative speckle filtering algorithm for ultrasound images based on bayesian nonlocal means filter model
CN113837974B (zh) 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法
CN116993628B (zh) 一种用于肿瘤射频消融引导的ct图像增强系统
CN109685814A (zh) 基于mspcnn的胆囊结石超声图像全自动分割方法
CN106910179A (zh) 基于小波变换的多模态医学图像融合方法
Wang et al. Multimodal medical image fusion based on Gabor representation combination of multi-CNN and fuzzy neural network
CN113344810A (zh) 基于动态数据分布的图像增强方法
CN111311529B (zh) 基于反卷积网络和引导滤波的医学图像融合方法
CN115546136A (zh) 一种医学图像的图像处理方法、设备及装置
CN115984157A (zh) 一种基于分频域融合的多模态医学图像融合方法
CN115100093A (zh) 一种基于梯度滤波的医学图像融合方法
El-Shafai et al. An efficient medical image deep fusion model based on convolutional neural networks
CN111815610A (zh) 一种病变图像的病灶检测方法及装置
CN109389567B (zh) 一种快速光学成像数据的稀疏滤波方法
Lepcha et al. Multimodal medical image fusion based on pixel significance using anisotropic diffusion and cross bilateral filter
Kumar et al. Spatial mutual information based detail preserving magnetic resonance image enhancement
Kim et al. Wavelet subband-specific learning for low-dose computed tomography denoising
Chandrashekar et al. Assessment of non-linear filters for MRI images
Zhang et al. Research on image fusion algorithm based on NSST frequency division and improved LSCN
CN109903262B (zh) 一种图像融合的方法、系统及相关装置
CN115222725B (zh) 一种基于nsct域pcrgf与双通道pcnn医学图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant