CN115984157A - 一种基于分频域融合的多模态医学图像融合方法 - Google Patents

一种基于分频域融合的多模态医学图像融合方法 Download PDF

Info

Publication number
CN115984157A
CN115984157A CN202310131023.5A CN202310131023A CN115984157A CN 115984157 A CN115984157 A CN 115984157A CN 202310131023 A CN202310131023 A CN 202310131023A CN 115984157 A CN115984157 A CN 115984157A
Authority
CN
China
Prior art keywords
image
fusion
frequency
texture
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310131023.5A
Other languages
English (en)
Inventor
赵婉婉
方贤进
杨高明
张海永
程颖
李想
薛明均
华楷文
李琪亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Anhui University of Science and Technology
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology, Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Anhui University of Science and Technology
Priority to CN202310131023.5A priority Critical patent/CN115984157A/zh
Publication of CN115984157A publication Critical patent/CN115984157A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于分频域融合的多模态医学图像融合方法，属于医学图像融合技术领域，包括以下步骤：S1：源图像分解；S2：分频域融合；S3：去噪处理；S4：重构处理。本发明通过分解获取源图像不同结构和纹理细节信息，分解后的图像对比离散小波变换很大程度上减少了噪声的出现；对高频部分的融合方式能够有效的提取图像的结构和细节信息，并且能够减少噪声的出现，对结构纹理部分的融合方法结合深度学习的特点有效的提取图像特征，最后采用的高斯平滑操作能够减少该部分噪声的出现；融合之后的图片结合了不同模态的特征，有利于医生临床上的诊断治疗。

Description

一种基于分频域融合的多模态医学图像融合方法
技术领域
本发明涉及医学图像融合技术领域，具体涉及一种基于分频域融合的多模态医学图像融合方法。
背景技术
在现代医学诊断和治疗中，医学图像融合扮演着一个不可替代的角色。一些医学图像模态，例如：magnetic resonance imaging(MRI),computed tomography(CT),positron emission tomography(PET)等，单一模态使医生难以做出准确的判断，多模态医学图像融合将各个模态的功能进行融合，得到两个或多个模态医学图像的融合图像，有利于专家诊断和病人的治疗。
医学图像融合包含一个广泛通常的融合技术去整合来自于不同模态的互补信息。对于医学分析图像融合提供了图像特征很棒的多样性，通常会产生很好的医学诊断，额外信息从融合图像中获得，可以被很好的利用，进而准确地发现病变位置。由于多模态医学图像的高要求，一些融合技术在最近几年已经被发展。通常，图像融合技术可以被归为两类，例如：空间域和变换域的方法。由于空间信息的特点，空间域的方法选择来自于每个源图像的像素或者块去建造一个融合图像，源图像的细节信息可以被精确的保存，所有的信息被保存在融合图像中就像保存在源图像中一样。自从空间域的方法可以完美地保存源图像的空间信息，它们有很好的性能在多聚焦，多曝光图像融合中。然而，空间域方法的缺点也是显著的。空间域的方法很难整合来自于每个源图像相同位置的信息，除了图像像素的加权平均方法，但是图像像素加权平均方法，时常会造成融合图像的对比度和清晰度的降低，该缺点在医学图像融合中是不被接受的。
不同于空间域方法，变换域的方法是通常被使用的。变换域的方法首先转换源图像进入特殊系数；然后，融合系数；最后，经过逆变换所有的系数得到一个融合图像。基于稀疏表示和多尺度变换的方法近年已经成为了最受欢迎的融合策略。基于多尺度变换的方法在图像处理中是一个频域的方法，该算法分解源图通过变换(例如：CVT,NSCT,NSST)进入高频和低频，然后对于高频和低频设计不同的融合规则去获得融合图像。基于稀疏表示的方法是一个图像的时域处理方法，通过字典学习获得原图的稀疏表示。稀疏表示和多尺度变换分解源图像分别在时域和频域，是变换域最主流的两种图像融合方法。然而，基于稀疏表示的计算花费通常是比较久的。因此，基于多尺度变换方法成为了基于变换域为基础图像融合中最受欢迎的算法。在多模态图像融合中，基于多尺度变换的方法是通常被使用的，比较于稀疏表示的方法，基于多尺度变换的方法运行更快。然而，对于基于多尺度变换的方法，简单的融合规则不能总是成功的辨别来自系数的细节和结构信息，可能会引起图像质量的降低。所以，去设计一个有效的融合规则是很重要的。
为了更好的提取医学图像的细节和保存更多的图像能量，同时也提高图像的视觉感知。为此，提出一种基于分频域融合的多模态医学图像融合方法。
发明内容
本发明所要解决的技术问题在于：如何更好地提取医学图像的细节和保存更多的图像能量，同时也提高图像的视觉感知，提供了一种基于分频域融合的多模态医学图像融合方法，能够将源图像分解到不同的频域，在不同频域采用适当的融合方法，提高源图像特征的保留；同时，使源MRI和CT图像的结构和纹理信息在融合图像中展现的更加丰富，在临床治疗中对医生起到辅助作用，提高诊断效率。
本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
S1：源图像分解
将配准好的源图像A和源图像B输入到加权最小二乘滤波器，进行二层分解，得到高频部分和低频部分，对于低频部分将其经过间接梯度滤波进行结构纹理分解，最终得到三层分解图像，分别为高频部分、纹理部分和结构部分；
S2：分频域融合
对分解后的源图像A和源图像B的各个部分的图像进行分频域融合，进而得到高频融合图、结构融合图与纹理融合图；
S3：去噪处理
对得到的结构融合图与纹理融合图进行高斯平滑处理，得到去噪之后的特征图像；
S4：重构处理
采用加权最小二乘滤波和间接梯度滤波的逆变换处理，即将高频融合图、结构融合图与纹理融合图经过去噪之后特征图像进行相加，得到最终的融合图像。
更进一步地，在所述步骤S1中，源图像A、源图像B分别为同一患者脑部同一部位的源MRI图像、源CT图像。
更进一步地，在所述步骤S1中，具体包括以下过程：
S11：采用加权最小二乘滤波器将第i个源图像Ii分解为两部分，分别为低频部分
Figure BDA0004083835370000021
和高频部分
Figure BDA0004083835370000022
S12：将低频部分放入到间接梯度滤波器，采用以下公式重新调节低频部分图像的梯度和相应的间接梯度：
Figure BDA0004083835370000031
其中，π是中心像素p的相邻像素，I是离散信号，
Figure BDA0004083835370000032
是重新调整后的梯度,Wp是重新调整后的权重，定义如下：
Figure BDA0004083835370000033
其中，ε为常数；
S13：为了得到低频部分
Figure BDA0004083835370000034
的滤波结果，首先定义一个暂时信号R，对于每个暂时信号R，1D引导过滤过程寻找最好的线性变换系数ap和bp，使其最小化，如下公式所述：
Figure BDA0004083835370000035
其中，β是平滑参数，σ是尺度参数，Wn是高斯权重，定义如下：
Figure BDA0004083835370000036
结构部分由以下公式获得：
Sp＝gσ(ap)Rp+gσ(bp)
纹理部分由以下公式获得：
Figure BDA0004083835370000037
更进一步地，在所述步骤S2中，对于高频部分，引入相位一致性、局部锐度变化和局域能量来共同调节融合图像的信息，得到高频融合图。
更进一步地，在所述步骤S2中，得到高频融合图的具体过程如下：
S201：将图像视为一个二维信号，图像在(x，y)位置的相位一致性通过以下公式计算：
Figure BDA0004083835370000038
其中，θk是在k处的方向角，
Figure BDA0004083835370000039
和θk分别表示第k个傅里叶分量的振幅和角度；参数ε是常数，用于去除图像信号中的直流成分，
Figure BDA00040838353700000310
由下式计算：
Figure BDA00040838353700000311
其中，
Figure BDA00040838353700000312
和
Figure BDA00040838353700000313
是输入图像在(x，y)处的卷积结果；
S202：引入锐度变化，锐度变化的计算公式如下：
Figure BDA0004083835370000041
其中，Ω表示在(x,y)处输入大小为3×3的一个局部区域，(x0,y0)表示局部区域Ω中的一个像素点；
同时，计算(x,y)邻域系数，局部锐度变化的计算公式如下：
Figure BDA0004083835370000042
S203：引入局域能量，计算公式如下：
Figure BDA0004083835370000043
S204：最终得到NAM算法公式如下：
NAM(x,y)＝(PC(x,y))α1·(LSCM(x,y))β1·(LE(x,y))γ1
其中，α1、β1、γ1是用来调节PC、LSCM和LE在NAM中的参数；
当NAM被获得后，融合的高通子带图像通过下式提出的规则计算：
Figure BDA0004083835370000044
其中，HF、HA和HB分别是高频子带融合图像、源图像A和B；
S205：最后的高频融合图由下列公式得出：
Figure BDA0004083835370000045
其中，M×N表示以(x,y)为中心的滑动窗口大小。
更进一步地，在所述步骤S2中，对于结构和纹理部分，使用卷积神经网络提取深度特征，通过一个Softmax激活函数，分别得到结构和纹理部分的权重图，进而基于权重图得到结构融合图与纹理融合图。
更进一步地，在所述步骤S2中，得到结构融合图与纹理融合图的具体过程如下：
S211：使用预训练后的VGG19卷积神经网络提取深度特征，对于每个源图像的每一层特征图定义如下：
Figure BDA0004083835370000046
其中，Ii表示第i个源图像，定义
Figure BDA0004083835370000051
为第i个源图像的第l层特征图，max()表示ReLU操作，对于每个特征图，经过l1正则化计算得到
Figure BDA0004083835370000052
作为第l层特征图，如下公式所示：
Figure BDA0004083835370000053
相应的权重图如下：
Figure BDA0004083835370000054
其中，e()是基于e的求幂；
S212：基于得到的权重图得到第l层图像融合的结果为：
Figure BDA0004083835370000055
选择每一层的最大像素值，得到的融合图为：
Figure BDA0004083835370000056
更进一步地，在所述步骤S3中，对得到的结构融合图与纹理融合图进行高斯平滑处理的公式如下：
Figure BDA0004083835370000057
其中，w和h是权重图的空间维度。
更进一步地，在所述步骤S4中，最后的融合图像可以通过以下公式产生：
F＝Fh+Fl,s+Fl,t。
本发明相比现有技术具有以下优点：该基于分频域融合的多模态医学图像融合方法，通过分解获取源图像不同结构和纹理细节信息，分解后的图像对比离散小波变换很大程度上减少了噪声的出现；对高频部分的融合方式能够有效的提取图像的结构和细节信息，并且能够减少噪声的出现，对结构纹理部分的融合方法结合深度学习的特点有效的提取图像特征，最后采用的高斯平滑操作能够减少该部分噪声的出现；融合之后的图片结合了不同模态的特征，有利于医生临床上的诊断治疗。
附图说明
图1是本发明实施例一中基于分频域融合的多模态医学图像融合方法的流程示意图；
图2是本发明实施例一中详细步骤的实施流程示意图；
图3(a)是本发明实施例一中源CT图像；
图3(b)是本发明实施例一中源CT图像经过离散小波变换得到的纵向边缘特征图像；
图3(c)是本发明实施例一中源CT图像经过离散小波变换得到的横向边缘特征图像；
图3(d)是本发明实施例一中源CT图像经过离散小波变换得到的对角特征图像；
图4是本发明实施例一中分解策略示意图；
图5是本发明实施例二中基于分频域融合的多模态医学图像融合方法的流程示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例一
如图1所示，本实施例提供一种技术方案：一种基于分频域融合的多模态医学图像融合方法，包括以下主要步骤：
分解步骤：将配准好的源MRI图像(源图像A)和源CT图像(源图像B)输入到加权最小二乘滤波器，进行二层分解，得到高频部分和低频部分，针对低频部分近似于源图像，将低频部分经过间接梯度滤波进行结构纹理分解，最终得到三层分解图像，分别是：高频部分，纹理部分和结构部分。
融合步骤：对分解后的MRI和CT图像的各个部分的图像进行融合，针对高频部分的噪声，引入相位一致性、局部锐度变化和局域能量来共同调节融合图像的信息，得到高频融合图；对于结构和纹理部分，使用卷积神经网络提取深度特征，通过一个Softmax激活函数，分别得到结构和纹理部分的权重图，进而基于权重图得到结构融合图与纹理融合图。
去噪步骤：为了消除不必要的噪声产生，对得到的结构融合图与纹理融合图进行高斯平滑处理，得到去噪之后的特征图像。
重构步骤：采用加权最小二乘滤波和间接梯度滤波的逆变换处理，即将高频融合图、结构融合图与纹理融合图经过去噪之后特征图像进行相加，得到最终的融合图像。
详细步骤如下(见图2)：
一、分解步骤
如图3(b)、3(c)、3(d)所示，是图3(a)中的源CT图像经过离散小波变换分解到三个方向的图像，分别是：纵向边缘特征图像，横向边缘特征图像，对角特征图像。可以看出经过离散小波变换的图像有明显的噪声。因此，本实施例中采用以下分解策略(如图4所示)，可以有效较少噪声出现。
1)、采用加权最小二乘滤波器将第i个源图像Ii分解为两部分，分别为：低频部分
Figure BDA0004083835370000061
和高频部分
Figure BDA0004083835370000071
由图4可以看出分解后的图像相对于经过离散小波变换分解后的图像，噪声明显减少。
2)、由图4可以看出低频部分
Figure BDA0004083835370000072
近似于输入的源图像Ii，因此，将低频部分图像放入到间接梯度滤波器，采用以下公式重新调节低频部分图像的梯度和相应的间接梯度：
Figure BDA0004083835370000073
其中，π是中心像素p的相邻像素，I是离散信号，
Figure BDA0004083835370000074
是重新调整后的梯度,Wp是重新调整后的权重，定义如下：
Figure BDA0004083835370000075
其中，ε是一个常数，ε值越大会使该算法对噪声越敏感，但如果ε太大，纹理就不能被完全过滤，所以在本实施例中将ε设置为10-4。
为了得到低频部分
Figure BDA0004083835370000076
的滤波结果，首先定义一个暂时信号R，对于每个暂时信号R，1D引导过滤过程寻找最好的线性变换系数ap和bp，使其最小化，如下公式所述：
Figure BDA0004083835370000077
其中，β是平滑参数，σ是尺度参数，Wn是高斯权重，定义如下：
Figure BDA0004083835370000078
结构部分由以下公式获得：
Sp＝gσ(ap)Rp+gσ(bp)
纹理部分由以下公式获得：
Figure BDA0004083835370000079
二、融合步骤
1)、结构及纹理部分融合方法(V-CNN)
为了更好的提取深度特征，使用预训练后的VGG19卷积神经网络提取更多的有效信息，对于每个源图像的每一层特征图定义如下：
Figure BDA00040838353700000710
其中，Ii表示第i个源图像，定义
Figure BDA00040838353700000711
为第i个源图的第l层特征图，max()表示ReLU操作，对于每个特征图，经过l1正则化计算得到
Figure BDA0004083835370000081
作为第l层特征图，如下公式所示：
Figure BDA0004083835370000082
相应的权重图如下：
Figure BDA0004083835370000083
其中，e()是基于e的求幂；
为了消除不必要的噪声产生，在得到权重图后，采用高斯平滑
Figure BDA0004083835370000084
w和h是权重图的空间维度。
最后，基于得到的权重图得到第l层图像融合的结果为：
Figure BDA0004083835370000085
为了在每一层得到最优的融合结果，选择每一层的最大像素值，得到的融合图为：
Figure BDA0004083835370000086
2)、高频部分融合方法(NAM算法)
高通子带融合的关键是增强每个源图像的细节特征，通常，病变往往是通过细节信息来发现，为了使高通子带图像的包含更多的信息量，采用相位一致性来增强图像的特征，利用相位一致性处理图像，可以提高中心坐标提取的鲁棒性。在高通子带中，相位一致性(PC)的值与图像对象的清晰度相对应，所以，PC被用作具有最大局部锐度的系数的相位。由于图像可以被看作是一个二维信号，图像在(x，y)位置的PC可以通过以下公式计算：
Figure BDA0004083835370000087
其中，θk是在k处的方向角，
Figure BDA0004083835370000088
和θk分别表示第k个傅里叶分量的振幅和角度；参数ε是一个常数，用于去除图像信号中的直流成分，本实施例中参数ε被设置为0.001，
Figure BDA0004083835370000089
可由下式计算：
Figure BDA00040838353700000810
其中，
Figure BDA00040838353700000811
和
Figure BDA00040838353700000812
是输入图像在(x，y)处的卷积结果；
PC作为一个对比变量，不能反映局部对比改变，为弥补PC的不足，引入锐度变化(SCM)，锐度变化的计算公式如下：
Figure BDA0004083835370000091
其中，Ω表示在(x,y)处输入大小为3×3的一个局部区域。(x0,y0)表示局部区域Ω中的一个像素点；同时，计算(x,y)邻域系数，局部锐度变化(LSCM)的计算公式如下：
Figure BDA0004083835370000092
由于LSCM和PC不能完全反映局部亮度信息，局域能量(LE)被引入，并可由下式计算：
Figure BDA0004083835370000093
最终NAM算法公式如下：
NAM(x,y)＝(PC(x,y))α1·(LSCM(x,y))β1·(LE(x,y))γ1
其中，α1、β1、γ1是用来调节PC、LSCM和LE在NAM中的参数，在本实施例中，参数α1、β1和γ1同样被设置为1、2和2。
当NAM被获得后，融合的高通子带图像可以通过下式提出的规则计算：
Figure BDA0004083835370000094
其中，HF、HA和HB分别是高频子带融合图像、源图像A和B；
最后的高频融合图由下列公式得出：
Figure BDA0004083835370000095
其中，M×N表示以(x,y)为中心的滑动窗口大小。
三、去噪步骤
高斯平滑操作是一个二维卷积操作，为了去除噪音采用高斯平滑，对结构纹理分解后的图像进行高斯平滑操作，公式如下：
Figure BDA0004083835370000096
其中，w和h是权重图的空间维度。
四、重构步骤
最后的融合图像可以通过以下公式产生：
F＝Fh+Fl,s+Fl,t
实施例二
如图5所示，本实施例中的一种基于分频域融合的多模态医学图像融合方法，具体包括以下主要步骤：
获取同一患者同一脑部同一部位的MRI和CT图像(即源图像A和源图像B)；
分解MRI图像获取第一高频图像和第一低频图像以及分解CT图像获得第二高频图像和第二低频图像；
分别将第一低频图像和第二低频图像分解为结构和纹理部分；
根据第一高频图像与第二高频图像的高通特性采用NAM融合方法进行融合并降噪；
根据结构纹理的结构性和纹理性采用V-CNN分别进行两个横态的图像融合；
对经过V-CNN融合后的图像通过高斯平滑进行降噪处理；
对高频部分融合图像与纹理和结构部分融合图像进行重构，得到最后的融合图像。
具体处理步骤可参照实施例一，此处不在赘述。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于分频域融合的多模态医学图像融合方法，其特征在于，包括以下步骤：
S1：源图像分解
将配准好的源图像A和源图像B输入到加权最小二乘滤波器，进行二层分解，得到高频部分和低频部分，对于低频部分将其经过间接梯度滤波进行结构纹理分解，最终得到三层分解图像，分别为高频部分、纹理部分和结构部分；
S2：分频域融合
对分解后的源图像A和源图像B的各个部分的图像进行分频域融合，进而得到高频融合图、结构融合图与纹理融合图；
S3：去噪处理
对得到的结构融合图与纹理融合图进行高斯平滑处理，得到去噪之后的特征图像；
S4：重构处理
采用加权最小二乘滤波和间接梯度滤波的逆变换处理，即将高频融合图、结构融合图与纹理融合图经过去噪之后特征图像进行相加，得到最终的融合图像。
2.根据权利要求1所述的一种基于分频域融合的多模态医学图像融合方法，其特征在于：在所述步骤S1中，源图像A、源图像B分别为同一患者脑部同一部位的源MRI图像、源CT图像。
3.根据权利要求1所述的一种基于分频域融合的多模态医学图像融合方法，其特征在于：在所述步骤S1中，具体包括以下过程：
S11：采用加权最小二乘滤波器将第i个源图像Ii分解为两部分，分别为低频部分
Figure FDA0004083835360000011
和高频部分
Figure FDA0004083835360000012
S12：将低频部分放入到间接梯度滤波器，采用以下公式重新调节低频部分图像的梯度和相应的间接梯度：
Figure FDA0004083835360000013
其中，π是中心像素p的相邻像素，I是离散信号，
Figure FDA0004083835360000014
是重新调整后的梯度,Wp是重新调整后的权重，定义如下：
Figure FDA0004083835360000015
其中，ε为常数；
S13：为了得到低频部分
Figure FDA0004083835360000021
的滤波结果，首先定义一个暂时信号R，对于每个暂时信号R，1D引导过滤过程寻找最好的线性变换系数ap和bp，使其最小化，如下公式所述：
Figure FDA0004083835360000022
其中，β是平滑参数，σ是尺度参数，Wn是高斯权重，定义如下：
Figure FDA0004083835360000023
结构部分由以下公式获得：
Sp＝gσ(ap)Rp+gσ(bp)
纹理部分由以下公式获得：
Figure FDA0004083835360000024
4.根据权利要求3所述的一种基于分频域融合的多模态医学图像融合方法，其特征在于：在所述步骤S2中，对于高频部分，引入相位一致性、局部锐度变化和局域能量来共同调节融合图像的信息，得到高频融合图。
5.根据权利要求4所述的一种基于分频域融合的多模态医学图像融合方法，其特征在于：在所述步骤S2中，得到高频融合图的具体过程如下：
S201：将图像视为一个二维信号，图像在(x，y)位置的相位一致性通过以下公式计算：
Figure FDA0004083835360000025
其中，θk是在k处的方向角，
Figure FDA0004083835360000026
和θk分别表示第k个傅里叶分量的振幅和角度；参数ε是常数，用于去除图像信号中的直流成分，
Figure FDA0004083835360000027
由下式计算：
Figure FDA0004083835360000028
其中，
Figure FDA0004083835360000029
Figure FDA00040838353600000210
和
Figure FDA00040838353600000211
是输入图像在(x，y)处的卷积结果；
S202：引入锐度变化，锐度变化的计算公式如下：
Figure FDA00040838353600000212
其中，Ω表示在(x,y)处输入大小为3×3的一个局部区域，(x0,y0)表示局部区域Ω中的一个像素点；
同时，计算(x,y)邻域系数，局部锐度变化的计算公式如下：
Figure FDA0004083835360000031
S203：引入局域能量，计算公式如下：
Figure FDA0004083835360000032
S204：最终得到NAM算法公式如下：
NAM(x,y)＝(PC(x,y))α1·(LSCM(x,y))β1·(LE(x,y))γ1
其中，α1、β1、γ1是用来调节PC、LSCM和LE在NAM中的参数；
当NAM被获得后，融合的高通子带图像通过下式提出的规则计算：
Figure FDA0004083835360000033
其中，HF、HA和HB分别是高频子带融合图像、源图像A和B；
S205：最后的高频融合图由下列公式得出：
Figure FDA0004083835360000034
其中，M×N表示以(x,y)为中心的滑动窗口大小。
6.根据权利要求5所述的一种基于分频域融合的多模态医学图像融合方法，其特征在于：在所述步骤S2中，对于结构和纹理部分，使用卷积神经网络提取深度特征，通过一个Softmax激活函数，分别得到结构和纹理部分的权重图，进而基于权重图得到结构融合图与纹理融合图。
7.根据权利要求6所述的一种基于分频域融合的多模态医学图像融合方法，其特征在于：在所述步骤S2中，得到结构融合图与纹理融合图的具体过程如下：
S211：使用预训练后的VGG19卷积神经网络提取深度特征，对于每个源图像的每一层特征图定义如下：
fi l＝max(0,Fl(Ii))
其中，Ii表示第i个源图像，定义fi l为第i个源图像的第l层特征图，max()表示ReLU操作，对于每个特征图，经过l1正则化计算得到
Figure FDA0004083835360000035
作为第l层特征图，如下公式所示：
Figure FDA0004083835360000036
相应的权重图如下：
Figure FDA0004083835360000041
其中，e()是基于e的求幂；
S212：基于得到的权重图得到第l层图像融合的结果为：
Figure FDA0004083835360000042
选择每一层的最大像素值，得到的融合图为：
Figure FDA0004083835360000043
8.根据权利要求1所述的一种基于分频域融合的多模态医学图像融合方法，其特征在于：在所述步骤S3中，对得到的结构融合图与纹理融合图进行高斯平滑处理的公式如下：
Figure FDA0004083835360000044
其中，w和h是权重图的空间维度。
9.根据权利要求1所述的一种基于分频域融合的多模态医学图像融合方法，其特征在于：在所述步骤S4中，最后的融合图像可以通过以下公式产生：
F＝Fh+Fl,s+Fl,t。
CN202310131023.5A 2023-02-17 2023-02-17 一种基于分频域融合的多模态医学图像融合方法 Pending CN115984157A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310131023.5A CN115984157A (zh) 2023-02-17 2023-02-17 一种基于分频域融合的多模态医学图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310131023.5A CN115984157A (zh) 2023-02-17 2023-02-17 一种基于分频域融合的多模态医学图像融合方法

Publications (1)

Publication Number Publication Date
CN115984157A true CN115984157A (zh) 2023-04-18

Family

ID=85965031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310131023.5A Pending CN115984157A (zh) 2023-02-17 2023-02-17 一种基于分频域融合的多模态医学图像融合方法

Country Status (1)

Country Link
CN (1) CN115984157A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778021A (zh) * 2023-08-22 2023-09-19 北京大学 医学图像生成方法、装置、电子设备和存储介质
CN116823821A (zh) * 2023-08-29 2023-09-29 成都中科卓尔智能科技集团有限公司 基于相位恢复的芯片掩模版瑕疵检测方法
CN117197014A (zh) * 2023-09-12 2023-12-08 南京诺源医疗器械有限公司 一种可降噪的肺部医学图像融合方法、系统和电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778021A (zh) * 2023-08-22 2023-09-19 北京大学 医学图像生成方法、装置、电子设备和存储介质
CN116778021B (zh) * 2023-08-22 2023-11-07 北京大学 医学图像生成方法、装置、电子设备和存储介质
CN116823821A (zh) * 2023-08-29 2023-09-29 成都中科卓尔智能科技集团有限公司 基于相位恢复的芯片掩模版瑕疵检测方法
CN116823821B (zh) * 2023-08-29 2023-12-15 成都中科卓尔智能科技集团有限公司 基于相位恢复的芯片掩膜板瑕疵检测方法
CN117197014A (zh) * 2023-09-12 2023-12-08 南京诺源医疗器械有限公司 一种可降噪的肺部医学图像融合方法、系统和电子设备
CN117197014B (zh) * 2023-09-12 2024-02-20 南京诺源医疗器械有限公司 一种可降噪的肺部医学图像融合方法、系统和电子设备

Similar Documents

Publication Publication Date Title
CN115984157A (zh) 一种基于分频域融合的多模态医学图像融合方法
Diwakar et al. CT image denoising using NLM and its method noise thresholding
Mohanapriya et al. Adaptive Image Enhancement Using Hybrid Particle Swarm Optimization and Watershed Segmentation.
CN104616255B (zh) 基于乳腺x线图像的自适应增强方法
JP2001057677A (ja) 画像処理方法および装置並びに記録媒体
CN107610165B (zh) 基于多特征的3-d剪切波域多模态医学序列图像融合方法
Du et al. Three-layer image representation by an enhanced illumination-based image fusion method
CN109003232B (zh) 基于频域尺度平滑Shearlet的医学MRI图像去噪方法
US8139891B2 (en) System and method for structure enhancement and noise reduction in medical images
Xia et al. A novel medical image enhancement algorithm based on improvement correction strategy in wavelet transform domain
CN102682439B (zh) 基于多向经验模式分解的医学图像融合方法
CN117173038A (zh) 一种核磁共振图像增强方法与系统
Lepcha et al. Multimodal medical image fusion based on pixel significance using anisotropic diffusion and cross bilateral filter
Samiappan et al. Enhancing machine learning aptitude using significant cluster identification for augmented image refining
CN100336080C (zh) 基于尺度空间分解与重构的x射线图像均衡显示处理方法
CN109377461B (zh) 一种基于nsct的乳腺x射线图像自适应增强方法
Aosiman et al. Medical image enhancement algorithm based on histogram equalization and dyadic wavelet transform
CN109584322B (zh) 基于频域方向平滑Shearlet医学PET图像去噪方法
CN107845081B (zh) 一种磁共振图像去噪方法
Jana et al. NSCT-DCT based Fourier analysis for fusion of multimodal images
Li et al. Dual-domain fusion deep convolutional neural network for low-dose CT denoising
Al-Azzawi et al. An efficient medical image fusion method using contourlet transform based on PCM
CN114926383A (zh) 基于细节增强分解模型的医学图像融合方法
Cao et al. Medical image fusion based on GPU accelerated nonsubsampled shearlet transform and 2D principal component analysis
Datta et al. Denoising magnetic resonance images with Rician noise based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination