CN114821259A - 一种基于孪生卷积神经网络的零学习医学图像融合方法 - Google Patents

一种基于孪生卷积神经网络的零学习医学图像融合方法 Download PDF

Info

Publication number
CN114821259A
CN114821259A CN202210478942.5A CN202210478942A CN114821259A CN 114821259 A CN114821259 A CN 114821259A CN 202210478942 A CN202210478942 A CN 202210478942A CN 114821259 A CN114821259 A CN 114821259A
Authority
CN
China
Prior art keywords
image
layer
images
fusion
source image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210478942.5A
Other languages
English (en)
Inventor
陈广秋
段锦
黄丹丹
刘广文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN202210478942.5A priority Critical patent/CN114821259A/zh
Publication of CN114821259A publication Critical patent/CN114821259A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于孪生卷积神经网络的零学习医学图像融合方法，属于及医学图像处理技术领域。对源图像进行预处理生成输入源图像，得到各卷积层的初始显著特征图，进行上采样运算处理，对各层的显著特征图进行指数运算，以归一化源图像作为引导滤波器的引导图像，得到引导滤波器输出图像，利用各层的权重图，采用加权平均融合算法，得到各层的融合图像，采用像素取大算法，得到最后的融合图像。本发明自动实现多模态医学图像的显著特征提取，省时省力，能够更加全面、深层次地表达图像，实现多个抽象层次上图像语义的表征，有利于实现高精度低硬件复杂度的图像融合平台的搭建，提高了融合精度和效率。

Description

一种基于孪生卷积神经网络的零学习医学图像融合方法
技术领域
本发明涉及医学图像处理技术领域，更具体地涉及一种基于孪生卷积神经网络的零学习医学图像融合方法。
背景技术
在医学图像处理技术领域，由于成像机制的多样性和成像设备的局限性，不同模态的医学图像侧重不同类别的器官/组织信息，如计算机断层扫描成像(CT)可以精确检测致密结构的骨骼和植入物体等；磁共振成像(MRI)为软组织提供高分辨率的解剖信息，但对骨骼的诊断不如CT敏感；正电子发射断层扫描(PET)图像包含丰富的关于肿瘤功能和代谢信息；单光子发射计算机断层扫描(SPECT)图像可以反映组织和器官的血流信息，但PET和SPECT图像的分辨率都较低，单一的医学成像设备对器官和组织信息进行解释和判读往往只能获得某一方面的特征，不能够对病人的病情做出准确可靠的诊断，因此，在医学图像处理过程中，综合利用多模态医学图像信息是提升多模态医学图像应用价值的一个重要途径。
传统的多模态医学图像融合方法通常包括分解、融合和重构三步，图像分解和融合规则的设计是影响融合质量的两个主要因素，常用的一些图像分解方法往往不能对空间重叠特征进行有效的分离，在图像边缘处容易出现梯度反转现象，从而在融合图像中引入伪影或虚假信息，融合规则的设计往往是通过手工提取图像特征，生成权重值，进行加权或选择性融合，手工提取的特征往往不能准确地表达图像的显著特征，对源图像的噪声、失配等情况的鲁棒性差，造成融合图像的亮度和对比度下降。
近年来，深度学习方法以其强大的特征提取和数据表示能力，被应用于多模态医学图像融合领域，深度学习网络本身可以被视为特征提取器，中间映射表示可用于重建融合图像的显著特征，相比较于传统方法，基于深度学习的融合方法能够取得更好的融合性能，但深度学习网络是基于图像数据集的训练得来的，因而需要大量的特定类型的图像数据，这在实际应用中是无法得到的，另外卷积神经网络(CNN)在训练和融合过程中占用大量的内存，并且耗时耗能，不利于多模态医学图像融合的工程应用，因此本领域迫切需要一种能克服上述缺陷的多模态医学图像融合方法。
发明内容
本发明提供一种基于孪生卷积神经网络的零学习医学图像融合方法，以解决现有技术存在图像分解不能有效分离空间重叠特征，手工提取的特征不能准确表达源图像的显著特征，造成融合图像亮度和对比度下降，且对源图像的噪声和失配敏感，深度学习网络需要大量的学习训练数据和占用大量的硬件资源，耗时耗能的问题。，
本发明采取的技术方案是，包括下列步骤：
步骤A：对源图像φk进行预处理，生成输入源图像fk，然后进行归一化处理，生成归一化源图像
Figure BDA0003626389120000021
将其作为预先训练的三层孪生卷积神经网络的输入，得到3个卷积层的特征图，表示为
Figure BDA0003626389120000022
和全连接层的初始显著特征图，表示为
Figure BDA0003626389120000023
k∈{1,2}为图像索引，d∈{1,2,3}为卷积层索引，M∈{64,128,256}为卷积层的特征图个数，1：M表示从特征图1到特征图M；
步骤B：在各卷积层的特征图中，以滑动窗口方式选择5×5×M的窗口，排列成25×M矩阵，计算其核范数，得到一个像素值，当滑动窗口遍历整个特征图后，得到各卷积层的初始显著特征图，表示为
Figure BDA0003626389120000024
步骤C：对卷积层3的初始显著特征图
Figure BDA0003626389120000025
和全连接层的初始显著特征图
Figure BDA0003626389120000026
进行上采样运算处理，生成卷积层3的显著特征图
Figure BDA0003626389120000027
和全连接层的显著特征图
Figure BDA0003626389120000028
其尺寸与归一化源图像
Figure BDA0003626389120000029
的尺寸一致，令
Figure BDA00036263891200000210
得到卷积层1的显著特征图
Figure BDA00036263891200000211
令
Figure BDA00036263891200000212
得到卷积层2的显著特征图
Figure BDA00036263891200000213
这样各层的显著特征图统一表示成
Figure BDA00036263891200000214
l∈{1,2,3,4}为显著特征图的层索引；
步骤D：对各层的显著特征图
Figure BDA00036263891200000215
进行指数运算，应用Softmax算子生成各层初始权重图
Figure BDA00036263891200000216
步骤E：以归一化源图像
Figure BDA00036263891200000217
作为引导滤波器的引导图像，对各层初始权重图
Figure BDA00036263891200000218
进行引导滤波，得到引导滤波器输出图像
Figure BDA00036263891200000219
应用Softmax算子，生成各层的权重图
Figure BDA00036263891200000220
步骤F：利用各层的权重图
Figure BDA00036263891200000221
采用加权平均融合算法，得到各层的融合图像
Figure BDA00036263891200000222
采用像素取大算法，得到最后的融合图像fF。
本发明所述步骤A包括：
子步骤A1：对源图像进行预处理，生成输入源图像，然后进行归一化处理，生成归一化源图像；
源图像为φk，若φk为灰度图像，则令fk＝φk，得到输入源图像fk，对其进行归一化处理，得到归一化源图像
Figure BDA0003626389120000031
计算公式为：
Figure BDA0003626389120000032
式中，k∈{1,2}为图像索引，fk和
Figure BDA0003626389120000033
分别表示归一化处理前第k个输入源图像和归一化处理后第k个归一化源图像，fkmin和fkmax分别表示第k个输入源图像fk中像素的最小值和最大值；
若源图像φk中，φ1为灰度图像，φ2为RGB彩色图像，需要将φ2预处理转换到YUV空间，RGB到YUV图像空间的转换公式为：
Figure BDA0003626389120000034
式中φ2R，φ2G，φ2B分别表示源图像φ2在RGB色彩空间中的红、绿、蓝通道图像，
Figure BDA0003626389120000035
Figure BDA0003626389120000036
分别表示转换后图像
Figure BDA0003626389120000037
在YUV色彩空间中的亮度、色彩、饱和度三个分量图像；
令f1＝φ1，
Figure BDA0003626389120000038
此时输入源图像fk中，f1和f2均为灰度图像，对其进行归一化处理，得到归一化源图像
Figure BDA0003626389120000039
同时对
Figure BDA00036263891200000310
和
Figure BDA00036263891200000311
分量也进行归一化处理，得到归一化图像
Figure BDA00036263891200000312
和
Figure BDA00036263891200000313
计算公式为：
Figure BDA00036263891200000314
式中，k∈{1,2}为图像索引，fk和
Figure BDA00036263891200000315
分别表示归一化处理前第k个输入源图像和归一化处理后第k个归一化源图像，fkmin和fkmax分别表示第k个输入源图像fk中像素的最小值和最大值，Umin表示U分量图像中最小的像素值，Umin表示U分量图像中最大的像素值，Vmin表示V分量图像中最小的像素值，Vmax表示V分量图像中最小的像素值；
子步骤A2：构建孪生卷积神经网络模型，输入至输出依次为：卷积层1、卷积层2、池化层、卷积层3和全连接层；
孪生卷积神经网络包括两个权重参数相同的网络分支，每个分支包含3个卷积层、1个最大池化层和1个全连接层，顺序为卷积层1>卷积层2>最大池化层>卷积层3>全连接层；
两个网络分支中卷积层的卷积核尺寸和步长分别为3×3和1，最大池化层的核尺寸和步长分别为2×2和2，全连接层的权重向量为1×32768；在两个分支输入的归一化源图像
Figure BDA00036263891200000411
中，通过步长为2的两个滑动窗口方式得到2个16×16的图像块，送入孪生卷积神经网络中，每个网络分支上的卷积层1、卷积层2和卷积层3生成的特征图数量分别为64、128和256，尺寸分别为16×16、16×16和8×8，全连接层是将两个网络分支中卷积层3所生成的共计512个尺寸为8×8的特征图进行串联，形成32768×1的矩阵，然后分别与两个尺寸相同、元素不同的权重向量进行线性加权运算，得到2个不同的神经元，在两个网络分支中，当两个滑动窗口分别遍历2个归一化源图像后，就会得到两个滑动窗口所对应的所有神经元，最后在全连接层中生成2个表示归一化源图像清晰度的初始显著特征图
Figure BDA0003626389120000041
由于在卷积层2后存在最大池化层，所以卷积层1中的64个特征图和卷层2中的128个特征图尺寸与归一化源图像
Figure BDA0003626389120000042
尺寸一致，卷积层3中的256个特征图和全连接层中的初始显著特征图的尺寸为归一化源图像的四分之一；
归一化源图像
Figure BDA0003626389120000043
经过孪生卷积神经网络模型运算后，在卷积层中会生成M个特征图，k∈{1,2}为输入归一化源图像索引，M∈{64,128,256}为卷积层特征图数目，三个卷积层的特征图统一表示为
Figure BDA0003626389120000044
d∈{1,2,3}为卷积层索引，全连接层生成的初始显著特征图表示为
Figure BDA0003626389120000045
1：M表示从特征图1到特征图M。
本发明所述步骤B包括：
矩阵的核范数为矩阵奇异值的总和，在各卷积层的特征图
Figure BDA0003626389120000046
中，采用窗口滑动方式选择5×5×M的窗口，将其排列成25×M矩阵，求出该矩阵的奇异值总和，即为该窗口的核范数，得到初始显著特征图中的一个像素值，当滑动窗口遍历整个特征图后，就得到该卷积层的初始显著特征图，各卷积层的初始显著特征图表示为
Figure BDA0003626389120000047
本发明所述步骤C包括：
卷积层3和全连接层的初始显著特征图分别表示为
Figure BDA0003626389120000048
和
Figure BDA0003626389120000049
利用双三次插值算法对其进行上采样运算处理，得到卷积层3和全连接层的显著特征图，分别表示为
Figure BDA00036263891200000410
和
Figure BDA0003626389120000051
计算公式为：
Figure BDA0003626389120000052
式中s∈{3,4}为卷积层3和全连接层的初始显著特征图的索引值，
Figure BDA0003626389120000053
为待插值点，
Figure BDA0003626389120000054
为待插值点
Figure BDA0003626389120000055
处的像素值，
Figure BDA0003626389120000056
为
Figure BDA0003626389120000057
附近的4×4邻域点，m,n∈{0,1,2,3}，
Figure BDA0003626389120000058
为点
Figure BDA0003626389120000059
处的像素值，
Figure BDA00036263891200000510
和
Figure BDA00036263891200000511
为系数值，其计算公式如下：
Figure BDA00036263891200000512
Figure BDA00036263891200000513
式中τ取-0.5
经过双三次插值算法运算后，
Figure BDA00036263891200000514
和
Figure BDA00036263891200000515
的尺寸与归一化源图像
Figure BDA00036263891200000516
的尺寸一致，令
Figure BDA00036263891200000517
得到卷积层1的显著特征图
Figure BDA00036263891200000518
令
Figure BDA00036263891200000519
得到卷积层2的显著特征图
Figure BDA00036263891200000520
这样各层的显著特征图表示为
Figure BDA00036263891200000521
l∈{1,2,3,4}为显著特征图的层索引。
本发明所述步骤D包括：
对各层的显著特征图进行指数运算，应用Softmax算子生成初始权重图
Figure BDA00036263891200000522
其计算公式为：
Figure BDA00036263891200000523
式中e(·)是以e为底的指数运算，
Figure BDA00036263891200000524
为初始权重图，
Figure BDA00036263891200000525
为各层的显著特征图，l∈{1,2,3,4}为显著特征图的层索引。
本发明所述步骤E包括：
将初始权重图
Figure BDA0003626389120000061
作为引导滤波器的输入图像，归一化源图像
Figure BDA0003626389120000062
作为引导滤波器的引导图像，引导滤波器输出图像为
Figure BDA0003626389120000063
按照像素输出的表示方法，引导滤波器滤波的输出计算公式为：
Figure BDA0003626389120000064
式中
Figure BDA0003626389120000065
和
Figure BDA0003626389120000066
分别为引导滤波器输出图像
Figure BDA0003626389120000067
和归一化源图像
Figure BDA0003626389120000068
中θ点处的像素值，θ为以z点为中心的窗口ωz内的像素点，ωz的大小为(2λ+1)×(2λ+1)，λ为窗口尺寸半径，
Figure BDA0003626389120000069
和
Figure BDA00036263891200000610
分别为包含θ点和z点的所有重叠窗口中δz和hz的平均值，其计算公式为
Figure BDA00036263891200000611
式中ωθ为包含θ点和z点的窗口，大小仍为(2λ+1)×(2λ+1)，δz和hz值的计算公式分别为：
Figure BDA00036263891200000612
式中μz和
Figure BDA00036263891200000613
为归一化源图像
Figure BDA00036263891200000614
在ωz中的均值和方差，|ω|为ωz内的像素数，
Figure BDA00036263891200000615
为初始权重图
Figure BDA00036263891200000616
在ωz中的均值，ε为正则化参数，防止分母为零，上述计算过程遍历整幅图像，能够得到引导滤波器输出图像
Figure BDA00036263891200000617
应用Softmax算子生始权重图：
Figure BDA00036263891200000618
式中
Figure BDA00036263891200000619
为第l层权重图。
本发明所述步骤F包括：
如果源图像φk为灰度图像，利用各层生成的权重图
Figure BDA00036263891200000620
采用加权平均融合算法，得到各层的融合图像
Figure BDA00036263891200000621
然后采用像素取大算法，得到最后的融合图像fF，各层的加权平均融合计算公式为：
Figure BDA00036263891200000622
式中
Figure BDA0003626389120000071
为第l层融合后的图像，
Figure BDA0003626389120000072
为第l层的权重图，
Figure BDA0003626389120000073
为归一化源图像；
像素取大算法计算公式为：
Figure BDA0003626389120000074
式中，max{·}为取最大值运算，fF为最后的融合图像，
Figure BDA0003626389120000075
分别为第一层、第二层、第三层和第四层的融合图像；
如果源图像φk中，φ1为灰度图像，φ2为RGB彩色图像，利用各层生成的权重图
Figure BDA0003626389120000076
采用加权平均融合算法，得到各层的融合图像
Figure BDA0003626389120000077
然后采用像素取大算法，得到灰度融合图像fY，加权平均融合计算公式为：
Figure BDA0003626389120000078
式中
Figure BDA0003626389120000079
为第l层融合后的图像，
Figure BDA00036263891200000710
为第l层的权重图，
Figure BDA00036263891200000711
为归一化源图像；
像素取大算法计算公式为：
Figure BDA00036263891200000712
式中，max{·}为取最大值运算，fY为灰度融合图像，
Figure BDA00036263891200000713
分别为第一层、第二层、第三层和第四层的融合图像；
将灰度融合图像fY赋值给
Figure BDA00036263891200000714
即
Figure BDA00036263891200000715
与
Figure BDA00036263891200000716
和
Figure BDA00036263891200000717
一起形成YUV空间图像，然后将其转换到RGB彩色空间，形成最后的彩色融合图像fF，YUV空间至RGB彩色空间的转换公式为：
Figure BDA00036263891200000718
式中fFR、fFG和fFB分别为RGB彩色空间的红、绿、蓝三通道图像，
Figure BDA00036263891200000719
和
Figure BDA00036263891200000720
分别为YUV空间的亮度、色彩、饱和度三个分量图像，fFR、fFG和fFB三通道图像形成RGB彩色空间的融合图像fF。
本发明具有以下有益效果：
(1)利用预先训练的孪生卷积神经网络方法自动实现多模态医学图像的显著特征提取，无需图像变换和手工设计图像特征提取方法，省时省力，便于多模态医学图像融合的工程应用。
(2)利用预先训练的孪生卷积神经网络方法自动实现多模态医学图像显著特征的提取，能够更加全面、深层次地表达图像，实现多个抽象层次上图像语义的表征，无需训练学习数据集和复杂的硬件配置，消除了以往基于深度学习融合方法过度依赖训练数据集和先进的硬件平台，有利于实现高精度低硬件复杂度的图像融合平台的搭建，提高了融合精度和效率。
附图说明
图1是本发明的流程图；
图2是本发明孪生卷积神经网络模型图；
图3是本发明各卷积层的初始显著特征图生成示意图；
图4是本发明实施例的测试数据集和融合结果，其中A1为CT图像；A2为MRI图像；A3为对比方法一对CT与MRI的融合图像；A4为对比方法二对CT与MRI的融合图像；A5为本发明方法对CT与MRI的融合图像；B1为MRI图像；B2为PET图像；B3为对比方法一对MRI与PET融合图像；B4为对比方法二对MRI与PET融合图像；B5为本发明方法对MRI与PET融合图像；C1为MRI图像；C2为SPECT图像；C3为对比方法一对MRI与SPECT融合图像；C4为对比方法二对MRI与SPECT融合图像；C5为本发明方法对MRI与SPECT融合图像。
具体实施方式
参见图1、2，包括下列步骤：
步骤A：对源图像φk进行预处理，生成输入源图像fk，然后进行归一化处理，生成归一化源图像
Figure BDA0003626389120000081
将其作为预先训练的三层孪生卷积神经网络的输入，得到3个卷积层的特征图，表示为
Figure BDA0003626389120000082
和全连接层的初始显著特征图，表示为
Figure BDA0003626389120000083
k∈{1,2}为图像索引，d∈{1,2,3}为卷积层索引，M∈{64,128,256}为卷积层的特征图个数，1：M表示从特征图1到特征图M；
步骤B：在各卷积层的特征图中，以滑动窗口方式选择5×5×M的窗口，排列成25×M矩阵，计算其核范数，得到一个像素值，当滑动窗口遍历整个特征图后，得到各卷积层的初始显著特征图，表示为
Figure BDA0003626389120000084
步骤C：对卷积层3的初始显著特征图
Figure BDA0003626389120000091
和全连接层的初始显著特征图
Figure BDA0003626389120000092
进行上采样运算处理，生成卷积层3的显著特征图
Figure BDA0003626389120000093
和全连接层的显著特征图
Figure BDA0003626389120000094
其尺寸与归一化源图像
Figure BDA0003626389120000095
的尺寸一致，令
Figure BDA0003626389120000096
得到卷积层1的显著特征图
Figure BDA0003626389120000097
令
Figure BDA0003626389120000098
得到卷积层2的显著特征图
Figure BDA0003626389120000099
这样各层的显著特征图统一表示成
Figure BDA00036263891200000910
l∈{1,2,3,4}为显著特征图的层索引；
步骤D：对各层的显著特征图
Figure BDA00036263891200000911
进行指数运算，应用Softmax算子生成各层初始权重图
Figure BDA00036263891200000912
步骤E：以归一化源图像
Figure BDA00036263891200000913
作为引导滤波器的引导图像，对各层初始权重图
Figure BDA00036263891200000914
进行引导滤波，得到引导滤波器输出图像
Figure BDA00036263891200000915
应用Softmax算子，生成各层的权重图
Figure BDA00036263891200000916
步骤F：利用各层的权重图
Figure BDA00036263891200000917
采用加权平均融合算法，得到各层的融合图像
Figure BDA00036263891200000918
采用像素取大算法，得到最后的融合图像fF。
本发明所述步骤A包括：
子步骤A1：对源图像进行预处理，生成输入源图像，然后进行归一化处理，生成归一化源图像；
源图像为φk，若φk为灰度图像，则令fk＝φk，得到输入源图像fk，对其进行归一化处理，得到归一化源图像
Figure BDA00036263891200000919
计算公式为：
Figure BDA00036263891200000920
式中，k∈{1,2}为图像索引，fk和
Figure BDA00036263891200000921
分别表示归一化处理前第k个输入源图像和归一化处理后第k个归一化源图像，fkmin和fkmax分别表示第k个输入源图像fk中像素的最小值和最大值；
若源图像φk中，φ1为灰度图像，φ2为RGB彩色图像，需要将φ2预处理转换到YUV空间，RGB到YUV图像空间的转换公式为：
Figure BDA00036263891200000922
式中φ2R，φ2G，φ2B分别表示源图像φ2在RGB色彩空间中的红、绿、蓝通道图像，
Figure BDA0003626389120000101
Figure BDA0003626389120000102
分别表示转换后图像
Figure BDA0003626389120000103
在YUV色彩空间中的亮度、色彩、饱和度三个分量图像；
令f1＝φ1，
Figure BDA0003626389120000104
此时输入源图像fk中，f1和f2均为灰度图像，对其进行归一化处理，得到归一化源图像
Figure BDA0003626389120000105
同时对
Figure BDA0003626389120000106
和
Figure BDA0003626389120000107
分量也进行归一化处理，得到归一化图像
Figure BDA0003626389120000108
和
Figure BDA0003626389120000109
计算公式为：
Figure BDA00036263891200001010
式中，k∈{1,2}为图像索引，fk和
Figure BDA00036263891200001011
分别表示归一化处理前第k个输入源图像和归一化处理后第k个归一化源图像，fkmin和fkmax分别表示第k个输入源图像fk中像素的最小值和最大值，Umin表示U分量图像中最小的像素值，Umin表示U分量图像中最大的像素值，Vmin表示V分量图像中最小的像素值，Vmax表示V分量图像中最小的像素值；
子步骤A2：构建孪生卷积神经网络模型，输入至输出依次为：卷积层1、卷积层2、池化层、卷积层3和全连接层；
孪生卷积神经网络包括两个权重参数相同的网络分支，每个分支包含3个卷积层、1个最大池化层和1个全连接层，顺序为卷积层1>卷积层2>最大池化层>卷积层3>全连接层；
两个网络分支中卷积层的卷积核尺寸和步长分别为3×3和1，最大池化层的核尺寸和步长分别为2×2和2，全连接层的权重向量为1×32768；在两个分支输入的归一化源图像
Figure BDA00036263891200001013
中，通过步长为2的两个滑动窗口方式得到2个16×16的图像块，送入孪生卷积神经网络中，每个网络分支上的卷积层1、卷积层2和卷积层3生成的特征图数量分别为64、128和256，尺寸分别为16×16、16×16和8×8，全连接层是将两个网络分支中卷积层3所生成的共计512个尺寸为8×8的特征图进行串联，形成32768×1的矩阵，然后分别与两个尺寸相同、元素不同的权重向量进行线性加权运算，得到2个不同的神经元，在两个网络分支中，当两个滑动窗口分别遍历2个归一化源图像后，就会得到两个滑动窗口所对应的所有神经元，最后在全连接层中生成2个表示归一化源图像清晰度的初始显著特征图
Figure BDA00036263891200001012
由于在卷积层2后存在最大池化层，所以卷积层1中的64个特征图和卷层2中的128个特征图尺寸与归一化源图像
Figure BDA0003626389120000111
尺寸一致，卷积层3中的256个特征图和全连接层中的初始显著特征图的尺寸为归一化源图像的四分之一；
归一化源图像
Figure BDA0003626389120000112
经过孪生卷积神经网络模型运算后，在卷积层中会生成M个特征图，k∈{1,2}为输入归一化源图像索引，M∈{64,128,256}为卷积层特征图数目，三个卷积层的特征图统一表示为
Figure BDA0003626389120000113
d∈{1,2,3}为卷积层索引，全连接层生成的初始显著特征图表示为
Figure BDA0003626389120000114
1：M表示从特征图1到特征图M。
本发明所述步骤B包括：
矩阵的核范数为矩阵奇异值的总和，在各卷积层的特征图
Figure BDA0003626389120000115
中，采用窗口滑动方式选择5×5×M的窗口，将其排列成25×M矩阵，求出该矩阵的奇异值总和，即为该窗口的核范数，得到初始显著特征图中的一个像素值，当滑动窗口遍历整个特征图后，就得到该卷积层的初始显著特征图，各卷积层的初始显著特征图表示为
Figure BDA0003626389120000116
其过程见图3所示。
本发明所述步骤C包括：
卷积层3和全连接层的初始显著特征图分别表示为
Figure BDA0003626389120000117
和
Figure BDA0003626389120000118
利用双三次插值算法对其进行上采样运算处理，得到卷积层3和全连接层的显著特征图，分别表示为
Figure BDA0003626389120000119
和
Figure BDA00036263891200001110
计算公式为：
Figure BDA00036263891200001111
式中s∈{3,4}为卷积层3和全连接层的初始显著特征图的索引值，
Figure BDA00036263891200001112
为待插值点，
Figure BDA00036263891200001113
为待插值点
Figure BDA00036263891200001114
处的像素值，
Figure BDA00036263891200001115
为
Figure BDA00036263891200001116
附近的4×4邻域点，m,n∈{0,1,2,3}，
Figure BDA00036263891200001117
为点
Figure BDA00036263891200001118
处的像素值，
Figure BDA00036263891200001119
和
Figure BDA00036263891200001120
为系数值，其计算公式如下：
Figure BDA00036263891200001121
Figure BDA0003626389120000121
式中τ取-0.5
经过双三次插值算法运算后，
Figure BDA0003626389120000122
和
Figure BDA0003626389120000123
的尺寸与归一化源图像
Figure BDA0003626389120000124
的尺寸一致，令
Figure BDA0003626389120000125
得到卷积层1的显著特征图
Figure BDA0003626389120000126
令
Figure BDA0003626389120000127
得到卷积层2的显著特征图
Figure BDA0003626389120000128
这样各层的显著特征图表示为
Figure BDA0003626389120000129
l∈{1,2,3,4}为显著特征图的层索引。
本发明所述步骤D包括：
对各层的显著特征图进行指数运算，应用Softmax算子生成初始权重图
Figure BDA00036263891200001210
其计算公式为：
Figure BDA00036263891200001211
式中e(·)是以e为底的指数运算，
Figure BDA00036263891200001212
为初始权重图，
Figure BDA00036263891200001213
为各层的显著特征图，l∈{1,2,3,4}为显著特征图的层索引。
本发明所述步骤E包括：
将初始权重图
Figure BDA00036263891200001214
作为引导滤波器的输入图像，归一化源图像
Figure BDA00036263891200001215
作为引导滤波器的引导图像，引导滤波器输出图像为
Figure BDA00036263891200001216
按照像素输出的表示方法，引导滤波器滤波的输出计算公式为：
Figure BDA00036263891200001217
式中
Figure BDA00036263891200001218
和
Figure BDA00036263891200001219
分别为引导滤波器输出图像
Figure BDA00036263891200001220
和归一化源图像
Figure BDA00036263891200001221
中θ点处的像素值，θ为以z点为中心的窗口ωz内的像素点，ωz的大小为(2λ+1)×(2λ+1)，λ为窗口尺寸半径，
Figure BDA00036263891200001222
和
Figure BDA00036263891200001223
分别为包含θ点和z点的所有重叠窗口中δz和hz的平均值，其计算公式为
Figure BDA00036263891200001224
式中ωθ为包含θ点和z点的窗口，大小仍为(2λ+1)×(2λ+1)，δz和hz值的计算公式分别为：
Figure BDA0003626389120000131
式中μz和
Figure BDA0003626389120000132
为归一化源图像
Figure BDA0003626389120000133
在ωz中的均值和方差，|ω|为ωz内的像素数，
Figure BDA0003626389120000134
为初始权重图
Figure BDA0003626389120000135
在ωz中的均值，ε为正则化参数，防止分母为零，上述计算过程遍历整幅图像，能够得到引导滤波器输出图像
Figure BDA0003626389120000136
应用Softmax算子生始权重图：
Figure BDA0003626389120000137
式中
Figure BDA0003626389120000138
为第l层权重图。
本发明所述步骤F包括：
如果源图像φk为灰度图像，利用各层生成的权重图
Figure BDA0003626389120000139
采用加权平均融合算法，得到各层的融合图像
Figure BDA00036263891200001310
然后采用像素取大算法，得到最后的融合图像fF，各层的加权平均融合计算公式为：
Figure BDA00036263891200001311
式中
Figure BDA00036263891200001312
为第l层融合后的图像，
Figure BDA00036263891200001313
为第l层的权重图，
Figure BDA00036263891200001314
为归一化源图像；
像素取大算法计算公式为：
Figure BDA00036263891200001315
式中，max{·}为取最大值运算，fF为最后的融合图像，
Figure BDA00036263891200001316
分别为第一层、第二层、第三层和第四层的融合图像；
如果源图像φk中，φ1为灰度图像，φ2为RGB彩色图像，利用各层生成的权重图
Figure BDA00036263891200001317
采用加权平均融合算法，得到各层的融合图像
Figure BDA00036263891200001318
然后采用像素取大算法，得到灰度融合图像fY，加权平均融合计算公式为：
Figure BDA0003626389120000141
式中
Figure BDA0003626389120000142
为第l层融合后的图像，
Figure BDA0003626389120000143
为第l层的权重图，
Figure BDA0003626389120000144
为归一化源图像；
像素取大算法计算公式为：
Figure BDA0003626389120000145
式中，max{·}为取最大值运算，fY为灰度融合图像，
Figure BDA0003626389120000146
分别为第一层、第二层、第三层和第四层的融合图像；
将灰度融合图像fY赋值给
Figure BDA0003626389120000147
即
Figure BDA0003626389120000148
与
Figure BDA0003626389120000149
和
Figure BDA00036263891200001410
一起形成YUV空间图像，然后将其转换到RGB彩色空间，形成最后的彩色融合图像fF，YUV空间至RGB彩色空间的转换公式为：
Figure BDA00036263891200001411
式中fFR、fFG和fFB分别为RGB彩色空间的红、绿、蓝三通道图像，
Figure BDA00036263891200001412
和
Figure BDA00036263891200001413
分别为YUV空间的亮度、色彩、饱和度三个分量图像，fFR、fFG和fFB三通道图像形成RGB彩色空间的融合图像fF。
为解决传统多模态医学图像融合过程中，图像分解不能最优地分离重叠特征，图像显著特征提取的自动化程度低，难以最优地实现多模态医学图像的加权或选择性融合等问题，同时为了解决基于深度学习融合方法过程中需要特定类型的图像训练集和高配置的硬件处理平台，无法满足实际应用需求等问题，本发明提供了一种基于孪生卷积神经网络的零学习医学图像融合方法，无需训练数据集和高性能硬件处理设备，利用预先训练的孪生卷积神经网络技术，自动进行多模态医学图像特征提取及特征的多层次抽象，以克服传统多模态医学图像融合中人工特征提取的弊端，以期增强多模态医学图像融合的实用性，并最终提升多模态医学图像的融合精度。
本发明提供的基于孪生卷积神经网络的零学习医学图像融合方法，该方法利用孪生卷积神经网络对每种模态图像进行自动特征提取，并基于提取的特征生成显著特征图，联合引导滤波实现权重分配，对不同模态的医学图像进行有效的融合。
卷积神经网络是一个可训练的多阶段前馈人工神经网络，是一种典型的深度学习模型，能够学习具有不同抽象层次的信号/图像数据的分层特征表示机制，每个阶段包含一定数量的对应于特征抽象级别的特征图，特征图中的每个单元或系数称为神经元，通过对神经元进行线性卷积、非线性激活和空间池化等操作，将不同阶段的特征图连接起来。孪生卷积神经网络包含两个权重完全相同的卷积分支，每个分支由三个卷积层和一个最大池化层组成，为了减少内存消耗并提高计算效率，采用预先训练的轻量化孪生卷积网络模型实现多个抽象层次上的图像语义表征，从而最终提高多模态医学图像的融合精度。
为了验证本发明提出的多模态医学图像融合方法的有效性，在多个真实测试数据集上对本发明方案进行了测试。这里给出一组典型测试数据集上的测试结果：测试数据集为哈佛全脑图谱数据集(http://www.med.harvard.edu/AANLIB/)，该数据集是由Keitha.Johnson和J.Alex Becker两位学者在哈佛医学院建立的主要用于评估多模态医学图像融合方法性能的公开基准数据库。全脑图谱数据集主要是描述正常和异常脑结构，包括四种成像类型：CT、MRI、PET和SPECT。
在发明测试实例中，使用全脑图谱数据集中的三组大脑图像作为实验数据，每组图像都是来自不同成像设备的医学图像，图4(A1)(A2)为一组致命性中风病的大脑切片图像，图4(A1)为CT模态下的脑切片图像；图4(A2)为MRI模态下的脑切片图像；图4(B1)(B2)为一组轻度阿尔茨海默病的大脑切片图像,图4(B1)为MRI模态下的脑切片图像，图4(B2)为PET模态下的脑切片图像；图4(C1)(C2)为一组转移性支气管癌病的大脑切片图像，图4(C1)为MRI模态下的脑切片图像，图4(C2)为SPECT模态下的脑切片凸图像。另外，将本发明方法获得的融合结果与现有两种方法[Xu,Zhiping.Medical image fusion using multi-level local extrema[J].Information Fusion,2014,19:38-48.](对比方法一)[LiangX,Hu P,Zhang L,et al.MCFNet:Multi-Layer Concatenation Fusion Network forMedical Images Fusion[J].IEEE Sensors Journal,2019,19(16):7107-7119.](对比方法二)获得的融合结果进行比较，相应的测试结果如图4(A3)(A4)(A5)(B3)(B4)(B5)(C3)(C4)(C5)所示。
对比方法一：采用多尺度局部极值分解方法，将源图像分解为近似层图像和细节层图像，近似层图像采用局部能量选择性融合规则，细节层图像采用局部区域对比度选择性融合规则；
对比方法二：采用均方误差函数作为损失函数，训练得到多层级联融合网络，利用卷积神经网络提取输入图像的特征，然后将特征图进行级联，利用卷积运算对级联特征图进行编码处理，最后利用去卷积运算得到融合图像。本发明方法中所以用的引导滤波器的参数为窗口半径λ＝1，正则化参数ε＝0.0001。图4(A3)(A4)(A5)分别为对比方法一、对比方法二和本发明方法对图4(A1)(A2)所表示的一组CT和MRI图像的融合结果；图4(B3)(B4)(B5)分别为对比方法一、对比方法二和本发明方法对图4(B1)(B2)所表示的一组MRI和PET图像的融合结果；图4(C3)(C4)(C5)分别为对比方法一、对比方法二和本发明方法对图4(C1)(C2)所表示的一组MRI和SPECT图像的融合结果；
在CT和MRI图像的融合结果中，对比方法一的融合结果中，融合图像丢失了许多能量，整体亮度和对比度较低，有轻微的伪影现象出现，不利于视觉观察，如图4(A3)；对比方法二的融合结果中，融合图像亮度和对比度有所改善，但边缘刻画不细致，软组织信息有所缺失，如图4(A4)；本发明方法的融合结果中，融合图像的结构信息清晰完整，很好地保留了CT和MRI图像的互补信息，保留了边缘细节信息而不产生伪影和虚假信息，如图4(A5)。
在MRI和PET图像的融合结果中，对比方法一的融合结果中，融合图像的整体亮度较低，有轻微的颜色失真和结构信丢失，如图4(B3)；对比方法二的融合结果中，融合图像颜色失真较严重，边缘细节信息缺失严重，如图4(B4)，本发明方法的融合结果中，融合图像的色彩信息丰富，清晰自然，有较高的亮度和对比度，结构和强度信息得到了较好的保留，视觉感受良好，如图4(B5)。
在MRI和SPECT图像的融合结果中，对比方法一和对比方法二的融合结果中，融合图像均存在颜色失真问题，丢失了SPECT源图像中包含的一些重要功能信息，如图4(C3)(C4)；本发明方法的融合结果中,融合图像与SPECT源图像非常接近，图像亮度和对比度适中，结构细节清晰，如图4(C5)。
为了更好地评价融合方法的性能，除了上述的主观评价外，对不同方法的融合结果采用客观评价指标进行客观分析。本发明中所用的客观评价指标包括结构信息相似度(SSIM)，人类视觉系统感知质量评价系数(QHVS)，特征互信息(FMIw)、边缘融合质量因子(QE)和视觉信息保真度(VIFF)。SSIM是利用融合图像与输入源图像在亮度、对比度和结构方面的相似程度来评价融合图像的质量；QHVS是基于人眼视觉特性模型，通过计算融合图像与输入源图像感知对比度的保持程度对融合图像质量进行评价；FMIw是通过计算融合图像与输入源图像特征信息间的互信息来评价融合图像的质量，QE是通过显著特征加权边缘图像的结构信息相似度对融合图像进行质量评价，VIFF是结合自然图像统计模型、图像失真模型和人眼视觉系统模型的图像质量评价指标，上述评价指标值越大表明融合图像质量越好，反之越差。客观评价指标数据如表1、表2和表3所示。
表1为CT和MRI图像融合结果的客观评价指标数据
Figure BDA0003626389120000171
表2为MRI和PET图像融合结果的客观评价指标数据
Figure BDA0003626389120000172
表3为MRI和SPECT图像融合结果的客观评价指标数据
Figure BDA0003626389120000173
从表1、表2和表3中可看出，本发明的融合方法得到结果图像在客观指标评价方面均优于对比方法一和对比方法二，这说明本发明方法能够稳定地得到高质量的融合结果。
至此，已经结合附图对本发明实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明的基于孪生卷积神经网络的零学习医学图像融合方法有了清楚的认识。
本发明的基于孪生卷积神经网络的零学习医学图像融合方法，利用预先训练的孪生卷积神经网络自动实现多模态医学图像特征的提取，无需手工特征选择，无需特定的训练学习数据集和先进的硬件设备，减少内存需求，提升计算效率，便于医学图像融合方法的工程应用，在医学图像融合领域取得优异结果。

Claims (7)

1.一种基于孪生卷积神经网络的零学习医学图像融合方法，其特征在于，包括下列步骤：
步骤A：对源图像φk进行预处理，生成输入源图像fk，然后进行归一化处理，生成归一化源图像
Figure FDA0003626389110000011
将其作为预先训练的三层孪生卷积神经网络的输入，得到3个卷积层的特征图，表示为
Figure FDA0003626389110000012
和全连接层的初始显著特征图，表示为
Figure FDA0003626389110000013
k∈{1,2}为图像索引，d∈{1,2,3}为卷积层索引，M∈{64,128,256}为卷积层的特征图个数，1：M表示从特征图1到特征图M；
步骤B：在各卷积层的特征图中，以滑动窗口方式选择5×5×M的窗口，排列成25×M矩阵，计算其核范数，得到一个像素值，当滑动窗口遍历整个特征图后，得到各卷积层的初始显著特征图，表示为
Figure FDA0003626389110000014
步骤C：对卷积层3的初始显著特征图
Figure FDA0003626389110000015
和全连接层的初始显著特征图
Figure FDA0003626389110000016
进行上采样运算处理，生成卷积层3的显著特征图
Figure FDA0003626389110000017
和全连接层的显著特征图
Figure FDA0003626389110000018
其尺寸与归一化源图像
Figure FDA0003626389110000019
的尺寸一致，令
Figure FDA00036263891100000110
得到卷积层1的显著特征图
Figure FDA00036263891100000111
令
Figure FDA00036263891100000112
得到卷积层2的显著特征图
Figure FDA00036263891100000113
这样各层的显著特征图统一表示成
Figure FDA00036263891100000114
l∈{1,2,3,4}为显著特征图的层索引；
步骤D：对各层的显著特征图
Figure FDA00036263891100000115
进行指数运算，应用Softmax算子生成各层初始权重图
Figure FDA00036263891100000116
步骤E：以归一化源图像
Figure FDA00036263891100000117
作为引导滤波器的引导图像，对各层初始权重图
Figure FDA00036263891100000118
进行引导滤波，得到引导滤波器输出图像
Figure FDA00036263891100000119
应用Softmax算子，生成各层的权重图
Figure FDA00036263891100000120
步骤F：利用各层的权重图
Figure FDA00036263891100000121
采用加权平均融合算法，得到各层的融合图像
Figure FDA00036263891100000122
采用像素取大算法，得到最后的融合图像fF。
2.根据权利要求1所述的一种基于孪生卷积神经网络的零学习医学图像融合方法，其特征在于，所述步骤A包括：
子步骤A1：对源图像进行预处理，生成输入源图像，然后进行归一化处理，生成归一化源图像；
源图像为φk，若φk为灰度图像，则令fk＝φk，得到输入源图像fk，对其进行归一化处理，得到归一化源图像
Figure FDA0003626389110000021
计算公式为：
Figure FDA0003626389110000022
式中，k∈{1,2}为图像索引，fk和
Figure FDA0003626389110000023
分别表示归一化处理前第k个输入源图像和归一化处理后第k个归一化源图像，fkmin和fkmax分别表示第k个输入源图像fk中像素的最小值和最大值；
若源图像φk中，φ1为灰度图像，φ2为RGB彩色图像，需要将φ2预处理转换到YUV空间，RGB到YUV图像空间的转换公式为：
Figure FDA0003626389110000024
式中φ2R，φ2G，φ2B分别表示源图像φ2在RGB色彩空间中的红、绿、蓝通道图像，
Figure FDA0003626389110000025
Figure FDA0003626389110000026
分别表示转换后图像
Figure FDA0003626389110000027
在YUV色彩空间中的亮度、色彩、饱和度三个分量图像；
令f1＝φ1，
Figure FDA0003626389110000028
此时输入源图像fk中，f1和f2均为灰度图像，对其进行归一化处理，得到归一化源图像
Figure FDA0003626389110000029
同时对
Figure FDA00036263891100000210
和
Figure FDA00036263891100000211
分量也进行归一化处理，得到归一化图像
Figure FDA00036263891100000212
和
Figure FDA00036263891100000213
计算公式为：
Figure FDA00036263891100000214
式中，k∈{1,2}为图像索引，fk和
Figure FDA00036263891100000215
分别表示归一化处理前第k个输入源图像和归一化处理后第k个归一化源图像，fkmin和fkmax分别表示第k个输入源图像fk中像素的最小值和最大值，Umin表示U分量图像中最小的像素值，Umin表示U分量图像中最大的像素值，Vmin表示V分量图像中最小的像素值，Vmax表示V分量图像中最小的像素值；
子步骤A2：构建孪生卷积神经网络模型，输入至输出依次为：卷积层1、卷积层2、池化层、卷积层3和全连接层；
孪生卷积神经网络包括两个权重参数相同的网络分支，每个分支包含3个卷积层、1个最大池化层和1个全连接层，顺序为卷积层1>卷积层2>最大池化层>卷积层3>全连接层；
两个网络分支中卷积层的卷积核尺寸和步长分别为3×3和1，最大池化层的核尺寸和步长分别为2×2和2，全连接层的权重向量为1×32768；在两个分支输入的归一化源图像
Figure FDA0003626389110000031
中，通过步长为2的两个滑动窗口方式得到2个16×16的图像块，送入孪生卷积神经网络中，每个网络分支上的卷积层1、卷积层2和卷积层3生成的特征图数量分别为64、128和256，尺寸分别为16×16、16×16和8×8，全连接层是将两个网络分支中卷积层3所生成的共计512个尺寸为8×8的特征图进行串联，形成32768×1的矩阵，然后分别与两个尺寸相同、元素不同的权重向量进行线性加权运算，得到2个不同的神经元，在两个网络分支中，当两个滑动窗口分别遍历2个归一化源图像后，就会得到两个滑动窗口所对应的所有神经元，最后在全连接层中生成2个表示归一化源图像清晰度的初始显著特征图
Figure FDA0003626389110000032
由于在卷积层2后存在最大池化层，所以卷积层1中的64个特征图和卷层2中的128个特征图尺寸与归一化源图像
Figure FDA0003626389110000033
尺寸一致，卷积层3中的256个特征图和全连接层中的初始显著特征图的尺寸为归一化源图像的四分之一；
归一化源图像
Figure FDA0003626389110000034
经过孪生卷积神经网络模型运算后，在卷积层中会生成M个特征图，k∈{1,2}为输入归一化源图像索引，M∈{64,128,256}为卷积层特征图数目，三个卷积层的特征图统一表示为
Figure FDA0003626389110000035
d∈{1,2,3}为卷积层索引，全连接层生成的初始显著特征图表示为
Figure FDA0003626389110000036
1：M表示从特征图1到特征图M。
3.根据权利要求1所述的一种基于孪生卷积神经网络的零学习医学图像融合方法，其特征在于，所述步骤B包括：
矩阵的核范数为矩阵奇异值的总和，在各卷积层的特征图
Figure FDA0003626389110000037
中，采用窗口滑动方式选择5×5×M的窗口，将其排列成25×M矩阵，求出该矩阵的奇异值总和，即为该窗口的核范数，得到初始显著特征图中的一个像素值，当滑动窗口遍历整个特征图后，就得到该卷积层的初始显著特征图，各卷积层的初始显著特征图表示为
Figure FDA0003626389110000038
4.根据权利要求1所述的一种基于孪生卷积神经网络的零学习医学图像融合方法，其特征在于，所述步骤C包括：
卷积层3和全连接层的初始显著特征图分别表示为
Figure FDA0003626389110000039
和
Figure FDA00036263891100000310
利用双三次插值算法对其进行上采样运算处理，得到卷积层3和全连接层的显著特征图，分别表示为
Figure FDA00036263891100000311
和
Figure FDA0003626389110000041
计算公式为：
Figure FDA0003626389110000042
式中s∈{3,4}为卷积层3和全连接层的初始显著特征图的索引值，
Figure FDA0003626389110000043
为待插值点，
Figure FDA0003626389110000044
为待插值点
Figure FDA0003626389110000045
处的像素值，
Figure FDA0003626389110000046
为
Figure FDA0003626389110000047
附近的4×4邻域点，m,n∈{0,1,2,3}，
Figure FDA0003626389110000048
为点
Figure FDA0003626389110000049
处的像素值，
Figure FDA00036263891100000410
和
Figure FDA00036263891100000411
为系数值，其计算公式如下：
Figure FDA00036263891100000412
Figure FDA00036263891100000413
式中τ取-0.5
经过双三次插值算法运算后，
Figure FDA00036263891100000414
和
Figure FDA00036263891100000415
的尺寸与归一化源图像
Figure FDA00036263891100000416
的尺寸一致，令
Figure FDA00036263891100000417
得到卷积层1的显著特征图
Figure FDA00036263891100000418
令
Figure FDA00036263891100000419
得到卷积层2的显著特征图
Figure FDA00036263891100000420
这样各层的显著特征图表示为
Figure FDA00036263891100000421
l∈{1,2,3,4}为显著特征图的层索引。
5.根据权利要求1所述的一种基于孪生卷积神经网络的零学习医学图像融合方法，其特征在于，所述步骤D包括：
对各层的显著特征图进行指数运算，应用Softmax算子生成初始权重图
Figure FDA00036263891100000422
其计算公式为：
Figure FDA00036263891100000423
式中e(·)是以e为底的指数运算，
Figure FDA00036263891100000424
为初始权重图，
Figure FDA00036263891100000425
为各层的显著特征图，l∈{1,2,3,4}为显著特征图的层索引。
6.根据权利要求1所述的一种基于孪生卷积神经网络的零学习医学图像融合方法，其特征在于，所述步骤E包括：
将初始权重图
Figure FDA0003626389110000051
作为引导滤波器的输入图像，归一化源图像
Figure FDA0003626389110000052
作为引导滤波器的引导图像，引导滤波器输出图像为
Figure FDA0003626389110000053
按照像素输出的表示方法，引导滤波器滤波的输出计算公式为：
Figure FDA0003626389110000054
式中
Figure FDA0003626389110000055
和
Figure FDA0003626389110000056
分别为引导滤波器输出图像
Figure FDA0003626389110000057
和归一化源图像
Figure FDA0003626389110000058
中θ点处的像素值，θ为以z点为中心的窗口ωz内的像素点，ωz的大小为(2λ+1)×(2λ+1)，λ为窗口尺寸半径，
Figure FDA0003626389110000059
和
Figure FDA00036263891100000510
分别为包含θ点和z点的所有重叠窗口中δz和hz的平均值，其计算公式为
Figure FDA00036263891100000511
式中ωθ为包含θ点和z点的窗口，大小仍为(2λ+1)×(2λ+1)，δz和hz值的计算公式分别为：
Figure FDA00036263891100000512
式中μz和
Figure FDA00036263891100000513
为归一化源图像
Figure FDA00036263891100000514
在ωz中的均值和方差，|ω|为ωz内的像素数，
Figure FDA00036263891100000515
为初始权重图
Figure FDA00036263891100000516
在ωz中的均值，ε为正则化参数，防止分母为零，上述计算过程遍历整幅图像，能够得到引导滤波器输出图像
Figure FDA00036263891100000517
应用Softmax算子生始权重图：
Figure FDA00036263891100000518
式中
Figure FDA00036263891100000519
为第l层权重图。
7.根据权利要求1所述的一种基于孪生卷积神经网络的零学习医学图像融合方法，其特征在于，所述步骤F包括：
如果源图像φk为灰度图像，利用各层生成的权重图
Figure FDA00036263891100000520
采用加权平均融合算法，得到各层的融合图像
Figure FDA00036263891100000521
然后采用像素取大算法，得到最后的融合图像fF，各层的加权平均融合计算公式为：
Figure FDA0003626389110000061
式中
Figure FDA0003626389110000062
为第l层融合后的图像，
Figure FDA0003626389110000063
为第l层的权重图，
Figure FDA0003626389110000064
为归一化源图像；
像素取大算法计算公式为：
Figure FDA0003626389110000065
式中，max{·}为取最大值运算，fF为最后的融合图像，
Figure FDA0003626389110000066
分别为第一层、第二层、第三层和第四层的融合图像；
如果源图像φk中，φ1为灰度图像，φ2为RGB彩色图像，利用各层生成的权重图
Figure FDA0003626389110000067
采用加权平均融合算法，得到各层的融合图像
Figure FDA0003626389110000068
然后采用像素取大算法，得到灰度融合图像fY，加权平均融合计算公式为：
Figure FDA0003626389110000069
式中
Figure FDA00036263891100000610
为第l层融合后的图像，
Figure FDA00036263891100000611
为第l层的权重图，
Figure FDA00036263891100000612
为归一化源图像；
像素取大算法计算公式为：
Figure FDA00036263891100000613
式中，max{·}为取最大值运算，fY为灰度融合图像，
Figure FDA00036263891100000614
分别为第一层、第二层、第三层和第四层的融合图像；
将灰度融合图像fY赋值给
Figure FDA00036263891100000615
即
Figure FDA00036263891100000616
与
Figure FDA00036263891100000617
和
Figure FDA00036263891100000618
一起形成YUV空间图像，然后将其转换到RGB彩色空间，形成最后的彩色融合图像fF，YUV空间至RGB彩色空间的转换公式为：
Figure FDA00036263891100000619
式中fFR、fFG和fFB分别为RGB彩色空间的红、绿、蓝三通道图像，
Figure FDA00036263891100000620
和
Figure FDA00036263891100000621
分别为YUV空间的亮度、色彩、饱和度三个分量图像，fFR、fFG和fFB三通道图像形成RGB彩色空间的融合图像fF。
CN202210478942.5A 2022-05-04 2022-05-04 一种基于孪生卷积神经网络的零学习医学图像融合方法 Pending CN114821259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210478942.5A CN114821259A (zh) 2022-05-04 2022-05-04 一种基于孪生卷积神经网络的零学习医学图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210478942.5A CN114821259A (zh) 2022-05-04 2022-05-04 一种基于孪生卷积神经网络的零学习医学图像融合方法

Publications (1)

Publication Number Publication Date
CN114821259A true CN114821259A (zh) 2022-07-29

Family

ID=82510919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210478942.5A Pending CN114821259A (zh) 2022-05-04 2022-05-04 一种基于孪生卷积神经网络的零学习医学图像融合方法

Country Status (1)

Country Link
CN (1) CN114821259A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117131712A (zh) * 2023-10-26 2023-11-28 南开大学 一种虚实结合的应急救护模拟系统和方法
CN117197014A (zh) * 2023-09-12 2023-12-08 南京诺源医疗器械有限公司 一种可降噪的肺部医学图像融合方法、系统和电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197014A (zh) * 2023-09-12 2023-12-08 南京诺源医疗器械有限公司 一种可降噪的肺部医学图像融合方法、系统和电子设备
CN117197014B (zh) * 2023-09-12 2024-02-20 南京诺源医疗器械有限公司 一种可降噪的肺部医学图像融合方法、系统和电子设备
CN117131712A (zh) * 2023-10-26 2023-11-28 南开大学 一种虚实结合的应急救护模拟系统和方法
CN117131712B (zh) * 2023-10-26 2024-01-16 南开大学 一种虚实结合的应急救护模拟系统和方法

Similar Documents

Publication Publication Date Title
Liang et al. MCFNet: Multi-layer concatenation fusion network for medical images fusion
Hou et al. Brain CT and MRI medical image fusion using convolutional neural networks and a dual-channel spiking cortical model
WO2022047625A1 (zh) 一种图像处理方法、系统和计算机存储介质
Fu et al. A multiscale residual pyramid attention network for medical image fusion
CN114821259A (zh) 一种基于孪生卷积神经网络的零学习医学图像融合方法
CN112258456B (zh) 一种基于卷积神经网络监督的三维图像分割方法
Shabanzade et al. Combination of wavelet and contourlet transforms for PET and MRI image fusion
CN111487573B (zh) 一种用于磁共振欠采样成像的强化型残差级联网络模型
Chao et al. Medical image fusion via discrete stationary wavelet transform and an enhanced radial basis function neural network
CN111899165A (zh) 一种基于功能模块的多任务图像重建卷积网络模型
Li et al. A multiscale double-branch residual attention network for anatomical–functional medical image fusion
CN116612334B (zh) 一种基于空谱联合注意力机制的医学高光谱图像分类方法
CN114219719A (zh) 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
CN112488971A (zh) 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法
Jiang et al. CT image super resolution based on improved SRGAN
CN115457359A (zh) 基于自适应对抗生成网络的pet-mri图像融合方法
CN114565816A (zh) 一种基于全局信息融合的多模态医学图像融合方法
Ullah et al. Fast local Laplacian filtering based enhanced medical image fusion using parameter-adaptive PCNN and local features-based fuzzy weighted matrices
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
Tawfik et al. Multimodal medical image fusion using stacked auto-encoder in NSCT domain
CN113421250A (zh) 一种基于无病变影像训练的眼底疾病智能诊断方法
CN115731444A (zh) 一种基于人工智能和超像素分割的医学影像融合方法
Battula et al. Medical Image Data Classification Using Deep Learning Based Hybrid Model with CNN and Encoder.
CN116630964A (zh) 一种基于离散小波注意力网络的食品图像分割方法
Kusakunniran et al. Automated tongue segmentation using deep encoder-decoder model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination