CN115272261A - 一种基于深度学习的多模态医学图像融合方法 - Google Patents

一种基于深度学习的多模态医学图像融合方法 Download PDF

Info

Publication number
CN115272261A
CN115272261A CN202210936228.6A CN202210936228A CN115272261A CN 115272261 A CN115272261 A CN 115272261A CN 202210936228 A CN202210936228 A CN 202210936228A CN 115272261 A CN115272261 A CN 115272261A
Authority
CN
China
Prior art keywords
frequency
image
information
low
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210936228.6A
Other languages
English (en)
Other versions
CN115272261B (zh
Inventor
方美娥
姚丹阳
温金玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202210936228.6A priority Critical patent/CN115272261B/zh
Publication of CN115272261A publication Critical patent/CN115272261A/zh
Application granted granted Critical
Publication of CN115272261B publication Critical patent/CN115272261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明公开了一种基于深度学习的多模态医学图像融合方法，属于医学图像分析领域，包括：输入三种不同模态的医学图像；其中多模态医学图像根据成像特征可分为解剖图像和功能图像，分别对解剖图像进行高、低频特征信息提取，对功能图像同时进行高、低频特征信息提取；对解剖图像的特征信息进行频域转换，得到频域特征信息；将频域特征信息与功能图像中提取的空间特征信息进行融合，基于融合结果输出融合图像。本发明通过以上技术方案，可以实现精确对应各模态精确提取特征信息的三模态医学图像融合。

Description

一种基于深度学习的多模态医学图像融合方法
技术领域
本发明属于医学图像分析领域，特别是涉及一种基于深度学习的多模态医学图像融合方法。
背景技术
现代医学图像对疾病的准确诊断往往需要使用多模态医学图像，如计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)，它们反映了不同的医疗信息。两个或更多的图像被融合成一个，以补充彼此的信息，这有助于帮助医生定位疾病类型、病灶和病变。
图像融合算法可大致分为两类：传统方法和基于深度学习的方法。传统的方法主要是使用各种数学和统计工具来优化算法。不同的传统方法都各有其优点，但无法获得图像的深层特征。近年来，基于深度学习的图像融合方法得到了快速的发展和广泛的应用，但现有的模型缺乏泛化能力，只能有效地融合特定类型的图像，而且大部分模型受到两种模态图像融合的限制，效果不理想。
目前大多数医学图像上的多模态图像融合都基于两模态融合，在实际临床应用的图像处理软件和放射治疗规划系统中，也局限于两种模态图像的融合和显示。但是现有技术中，医学图像上的两模态图像融合无法同时产生多个参数，如区分组织、血流、代谢和位置，无法区分术后病变和脑胶质瘤中残留的肿瘤，无法提高肿瘤轮廓的准确性，最终导致目标定位不准确，观察者之间的差异很大，融合两种以上模态医学图像有利于更清晰地对病灶组织定量、定性和定位。
发明内容
本发明的目的是提供一种基于深度学习的多模态医学图像融合方法，以解决上述现有技术存在的问题。
为实现上述目的，本发明提供了一种基于深度学习的多模态医学图像融合方法，包括以下步骤：
获取多模态医学图像；其中所述多模态图像包括解剖图像和功能图像，所述解剖图像包括第一解剖图像和第二解剖图像；
对所述第一解剖图像和所述功能图像分别进行高频特征提取，得到第一高频特征信息和第二高频特征信息；
对所述第二解剖图像和所述功能图像分别进行低频特征提取，得到第一低频特征信息和第二低频特征信息；
对所述解剖图像的特征信息进行频域转换，得到频域特征信息；其中所述频域特征信息包括第一高频频域信息和第一低频频域信息；
将所述频域特征信息与功能特征信息进行融合，基于融合结果输出融合图像；其中所述功能特征信息包括第二高频特征信息和第二低频特征信息。
优选地，获取多模态医学图像之前的过程包括：
获取多模态医学图像的训练集，构建卷积神经网络，通过所述训练集训练所述卷积神经网络，基于训练好的卷积神经网络，匹配多模态医学图像。
优选地，得到第一高频特征信息和第二高频特征信息的过程包括：
基于训练好的卷积神经网络，通过卷积操作、批处理归一化，对所述第一解剖图像进行高频特征提取，得到第一高频特征信息；
基于训练好的卷积神经网络，通过卷积操作、批处理归一化，对所述功能图像进行高频特征提取，得到第二高频特征信息。
优选地，得到第一低频特征信息和第二低频特征信息的过程包括：
基于训练好的卷积神经网络，通过卷积操作、批处理归一化及改变卷积通道，对所述第二解剖图像进行低频特征提取，得到第一低频特征信息；
基于训练好的卷积神经网络，通过卷积操作、批处理归一化及改变卷积通道，对所述功能图像进行低频特征提取，得到第二低频特征信息。
优选地，得到频域特征信息的过程包括：
将所述解剖图像的特征信息从空间域转换到频率域，并转换为振幅值和不同频率下的相位，得到频域特征信息。
优选地，将所述解剖图像的特征信息从空间域转换到频率域的过程还包括：
将所述解剖图像提取的高、低频信息转换为能量梯度，消除周期性噪声。
优选地，将所述频域特征信息与功能特征信息进行融合的过程包括：
将所述第一高频频域信息和所述第二高频特征信息进行融合求平均操作，得到高频融合信息；
将所述第一低频频域信息和所述第二低频特征信息进行融合求平均操作，得到低频融合信息。
优选地，输出融合图像的过程包括：
基于所述高频融合信息和所述低频融合信息，通过均值计算、卷积操作、Tanh函数处理，输出融合图像。
本发明的技术效果为：
本发明根据医学图像中解剖图像和功能图像的信息特征，将提取的图像特征信息从空间域转换到频率域，可以实现精确对应各模态精确提取特征信息的三模态医学图像融合。本发明提供了一种基于深度学习的多模态医学图像融合方法，本发明能够产生多个参数，基于多个参数能够准确区分术后病变和脑胶质瘤中残留的肿瘤，同时能够提高肿瘤轮廓的准确性，本发明提供的图像融合方法，有利于准确定位目标，使观察者之间的差异减小。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中的融合过程示意图；
图2为本发明实施例中的局部细节特征提取模块示意图；
图3为本发明实施例中全局纹理特征提取模块示意图；
图4为本发明实施例中的流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
如图1，图4所示，本实施例中提供一种基于深度学习的多模态图像融合方法，包括以下步骤：
获取多模态图像；其中多模态图像包括解剖图像和功能图像，解剖图像包括第一解剖图像和第二解剖图像；
对第一解剖图像和功能图像分别进行高频特征提取，得到第一高频特征信息和第二高频特征信息；
对第二解剖图像和功能图像分别进行低频特征提取，得到第一低频特征信息和第二低频特征信息；
对解剖图像的特征信息进行频域转换，得到频域特征信息；其中频域特征信息包括第一高频频域信息和第一低频频域信息；
将频域特征信息与功能特征信息进行融合，基于融合结果输出融合图像；其中功能特征信息包括第二高频特征信息和第二低频特征信息。
在一些实施例中，获取多模态图像之前还过程包括：获取多模态图像的训练集，构建卷积神经网络，通过训练集训练卷积神经网络，基于训练好的卷积神经网络，匹配多模态图像。
在一些实施例中，得到第一高频特征信息和第二高频特征信息的过程包括：基于训练好的卷积神经网络，通过卷积操作、批处理归一化，对第一解剖图像进行高频特征提取，得到第一高频特征信息；基于训练好的卷积神经网络，通过卷积操作、批处理归一化，对功能图像进行高频特征提取，得到第二高频特征信息。
在一些实施例中，得到第一低频特征信息和第二低频特征信息的过程包括：基于训练好的卷积神经网络，通过卷积操作、批处理归一化、ReLU激活函数及改变卷积通道，对第二解剖图像进行低频特征提取，得到第一低频特征信息；基于训练好的卷积神经网络，通过卷积操作、批处理归一化、ReLU激活函数及改变卷积通道，对功能图像进行低频特征提取，得到第二低频特征信息。
在一些实施例中，得到频域特征信息的过程包括：将解剖图像的特征信息从空间域转换到频率域，并转换为振幅值和不同频率下的相位，得到频域特征信息。
在一些实施例中，将解剖图像的特征信息从空间域转换到频率域的过程还包括：将解剖图像中提取的高、低频信息转换为能量梯度，消除周期性噪声。
在一些实施例中，将频域特征信息与功能特征信息进行融合的过程包括：将第一高频频域信息和第二高频特征信息进行融合求平均操作，得到高频融合信息；将第一低频频域信息和第二低频特征信息进行融合求平均操作，得到低频融合信息。
在一些实施例中，输出融合图像的过程包括：基于高频融合信息和低频融合信息，通过均值计算、卷积操作、Tanh函数处理，输出融合图像。
本实施例中，基于深度学习的方法基础上根据解剖图像和功能图像的成像特点，设计了局部细节模块和全局纹理模块进行空间域特征提取，并且将空间域与频域变换相结合，在融合策略中加入傅里叶变换，将图像特征信息从空间域转换到频率域，将像素级高、低频信息转换为能量梯度，保留有效信息，消除周期性噪声，解决了目前三模态医学图像融合研究匮乏的问题，更重要的是本发明提出的方法在主观视觉及客观指标上精度都大大提升。具体过程包括：
首先输入三种模态的医学图像，分别为CT、MRI、SPECT。其中CT和MRI为解剖图像，SPECT为功能图像。提取CT图像中的高频信息，MRI图像中的低频信息，对SPECT图像同时进行高、低频信息的提取。
局部细节模块提取高频信息：像以256×256大小作为输入，通过卷积运算获得特征映射，并通过上采样和一系列CBR运算将特征维度提高到128维。
在最大池化和降维后的CBR操作中，维度降至16维作为输出维度。CBR操作，即卷积操作、批处理归一化和ReLU激活函数。
局部细节模块的示意图如图2所示，提取图像中的高频信息，可以理解为图像中的细节信号。它主要用于测量图像的边缘和轮廓，可以获得具体的细节信息。
全局纹理模块提取低频信息：通过卷积操作、批归一化和ReLU激活函数操作对输入图像进行特征提取，改变不同卷积层中的通道数来获取上下文的全局信息；
图像以256×256大小作为输入，通过卷积运算获得特征映射，并通过将卷积通道数从1维增加到64维进行特征信息提取，最后将维度降至16作为输出。
全局纹理模块的示意图如图3所示，提取图像中的低频信息，即图像中亮度和灰度值变化缓慢的大平坦区域，这是对整个图像强度的综合测量，可以获得图像中大范围的信息。
空间域频域转换：将CT图像中提取的高频信息和MRI图像中提取的低频信息进行离散傅里叶变换。将图像特征信息从空间域转换到频率域，将提取的高、低频信息转换为能量梯度，保留有效信息，消除周期性噪声。
将从解剖图像中提取的空间高频、低频信息转换为频域信息，并将空间信号转换为振幅值和不同频率下的相位。
振幅包括图像的全局信息，如纹理和颜色。相位包含图像的局部信息，即轮廓、形状和其他信息。经过特征集中处理后，有利于区分高频信息和低频信息。
三模态医学图像融合：将CT图像中提取的高频信息与SPECT图像中提取的高频信息融合相加求取平均值；将MRI图像中提取的低频信息与SPECT图像中提取的低频信息融合相加求取平均值；再将融合后的高、低频信息相加求取平均值，输出融合后的结果图像。
其中，损失函数：
L＝λLs+Lp,
Figure BDA0003783489350000081
Figure BDA0003783489350000082
其中，λ根据测试，0.8时获得最好的融合效果。α、β和γ分别设置为0.3、0.3、0.4。为了减少错误，∈被设置为10-6。I1、I2为解剖图像，对应于CT和MRI。I3是功能图像，对应于SPECT或PET。
特征提取及融合策略示意图如图1所示，对输入的CT、MRI、SPECT图像根据其成像特点分别进行高、低频信息提取，再对CT提取的高频信息以及从MRI源图像中提取的低频信息进行傅里叶变换。最后与SPECT中提取的高、低频信息分别进行融合求平均，输出三模态医学图像融合结果。
本实施例的流程示意图如图4所示：
输入预配准后的CT、MRI、SPECT三种模态的医学图像作为源图像；
对CT、SPECT进行高频信息提取，对MRI和SPECT进行低频信息提取；
对解剖图像，即CT和MRI中提取出的高、低频信息进行傅里叶变换，进行空间域到频域的转换；
将转换后的高、低频信息与功能图像即SPECT中提取的高低频信息分别进行融合，并输出融合结果。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于深度学习的多模态医学图像融合方法，其特征在于，包括以下步骤：
获取多模态医学图像；其中所述多模态医学图像包括解剖图像和功能图像，所述解剖图像包括第一解剖图像和第二解剖图像；
对所述第一解剖图像和所述功能图像分别进行高频特征提取，得到第一高频特征信息和第二高频特征信息；
对所述第二解剖图像和所述功能图像分别进行低频特征提取，得到第一低频特征信息和第二低频特征信息；
对所述解剖图像的特征信息进行频域转换，得到频域特征信息；其中所述频域特征信息包括第一高频频域信息和第一低频频域信息；
将所述频域特征信息与功能特征信息进行融合，基于融合结果输出融合图像；其中所述功能特征信息包括第二高频特征信息和第二低频特征信息。
2.根据权利要求1所述的基于深度学习的多模态医学图像融合方法，其特征在于，获取多模态医学图像之前还过程包括：
获取多模态医学图像的训练集，构建卷积神经网络，通过所述训练集训练所述卷积神经网络，基于训练好的卷积神经网络，匹配多模态医学图像。
3.根据权利要求2所述的基于深度学习的多模态医学图像融合方法，其特征在于，得到第一高频特征信息和第二高频特征信息的过程包括：
基于训练好的卷积神经网络，通过卷积操作、批处理归一化，对所述第一解剖图像进行高频特征提取，得到第一高频特征信息；
基于训练好的卷积神经网络，通过卷积操作、批处理归一化，对所述功能图像进行高频特征提取，得到第二高频特征信息。
4.根据权利要求1所述的基于深度学习的多模态医学图像融合方法，其特征在于，得到第一低频特征信息和第二低频特征信息的过程包括：
基于训练好的卷积神经网络，通过卷积操作、批处理归一化及改变卷积通道，对所述第二解剖图像进行低频特征提取，得到第一低频特征信息；
基于训练好的卷积神经网络，通过卷积操作、批处理归一化及改变卷积通道，对所述功能图像进行低频特征提取，得到第二低频特征信息。
5.根据权利要求1所述的基于深度学习的多模态医学图像融合方法，其特征在于，得到频域特征信息的过程包括：
将所述解剖图像的特征信息从空间域转换到频率域，并将所述解剖图像的特征信息转换为振幅值和不同频率下的相位，得到频域特征信息。
6.根据权利要求5所述的基于深度学习的多模态医学图像融合方法，其特征在于，将所述解剖图像的特征信息从空间域转换到频率域的过程还包括：
将所述解剖图像提取的高、低频信息转换为能量梯度，消除周期性噪声。
7.根据权利要求1所述的基于深度学习的多模态医学图像融合方法，其特征在于，将所述频域特征信息与功能特征信息进行融合的过程包括：
将所述第一高频频域信息和所述第二高频特征信息进行融合求平均操作，得到高频融合信息；
将所述第一低频频域信息和所述第二低频特征信息进行融合求平均操作，得到低频融合信息。
8.根据权利要求7所述的基于深度学习的多模态医学图像融合方法，其特征在于，输出融合图像的过程包括：
基于所述高频融合信息和所述低频融合信息，通过均值计算、卷积操作、Tanh函数处理，输出融合图像。
CN202210936228.6A 2022-08-05 2022-08-05 一种基于深度学习的多模态医学图像融合方法 Active CN115272261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210936228.6A CN115272261B (zh) 2022-08-05 2022-08-05 一种基于深度学习的多模态医学图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210936228.6A CN115272261B (zh) 2022-08-05 2022-08-05 一种基于深度学习的多模态医学图像融合方法

Publications (2)

Publication Number Publication Date
CN115272261A true CN115272261A (zh) 2022-11-01
CN115272261B CN115272261B (zh) 2023-04-21

Family

ID=83749493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210936228.6A Active CN115272261B (zh) 2022-08-05 2022-08-05 一种基于深度学习的多模态医学图像融合方法

Country Status (1)

Country Link
CN (1) CN115272261B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN111242959A (zh) * 2020-01-15 2020-06-05 中国科学院苏州生物医学工程技术研究所 基于卷积神经网络的多模态医学图像的目标区域提取方法
CN111667447A (zh) * 2020-06-05 2020-09-15 全景恒升（北京）科学技术有限公司 血管内图像融合方法、系统及图像采集装置
CN111882514A (zh) * 2020-07-27 2020-11-03 中北大学 一种基于双残差超密集网络的多模态医学图像融合方法
CN111899208A (zh) * 2020-08-11 2020-11-06 四川警察学院 基于卷积分析算子的多模态图像融合方法
WO2021022752A1 (zh) * 2019-08-07 2021-02-11 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN112819740A (zh) * 2021-02-02 2021-05-18 南京邮电大学 一种基于多成份低秩字典学习的医学图像融合方法
CN113284079A (zh) * 2021-05-27 2021-08-20 山东第一医科大学(山东省医学科学院) 一种多模态医学图像融合方法
CN113393408A (zh) * 2020-03-13 2021-09-14 桂林电子科技大学 一种基于双树复数小波和卷积神经网络的多聚焦图像处理方法
CN113837980A (zh) * 2021-10-12 2021-12-24 Oppo广东移动通信有限公司 分辨率的调整方法、装置、电子设备及存储介质
CN114259255A (zh) * 2021-12-06 2022-04-01 深圳信息职业技术学院 一种基于频域信号与时域信号的模态融合胎心率分类方法
CN114821740A (zh) * 2022-05-17 2022-07-29 中国科学技术大学 基于多模态信息融合的情感识别方法、装置及电子设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
WO2021022752A1 (zh) * 2019-08-07 2021-02-11 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN111242959A (zh) * 2020-01-15 2020-06-05 中国科学院苏州生物医学工程技术研究所 基于卷积神经网络的多模态医学图像的目标区域提取方法
CN113393408A (zh) * 2020-03-13 2021-09-14 桂林电子科技大学 一种基于双树复数小波和卷积神经网络的多聚焦图像处理方法
CN111667447A (zh) * 2020-06-05 2020-09-15 全景恒升（北京）科学技术有限公司 血管内图像融合方法、系统及图像采集装置
CN111882514A (zh) * 2020-07-27 2020-11-03 中北大学 一种基于双残差超密集网络的多模态医学图像融合方法
CN111899208A (zh) * 2020-08-11 2020-11-06 四川警察学院 基于卷积分析算子的多模态图像融合方法
CN112819740A (zh) * 2021-02-02 2021-05-18 南京邮电大学 一种基于多成份低秩字典学习的医学图像融合方法
CN113284079A (zh) * 2021-05-27 2021-08-20 山东第一医科大学(山东省医学科学院) 一种多模态医学图像融合方法
CN113837980A (zh) * 2021-10-12 2021-12-24 Oppo广东移动通信有限公司 分辨率的调整方法、装置、电子设备及存储介质
CN114259255A (zh) * 2021-12-06 2022-04-01 深圳信息职业技术学院 一种基于频域信号与时域信号的模态融合胎心率分类方法
CN114821740A (zh) * 2022-05-17 2022-07-29 中国科学技术大学 基于多模态信息融合的情感识别方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵丹: "基于NSST变换的多模态医学图像融合算法研究" *

Also Published As

Publication number Publication date
CN115272261B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
Huang et al. A review of multimodal medical image fusion techniques
Bahrami et al. Comparison of different deep learning architectures for synthetic CT generation from MR images
CN107230206B (zh) 一种基于多模态数据的超体素序列肺部图像的3d肺结节分割方法
Liu et al. Automatic whole heart segmentation using a two-stage u-net framework and an adaptive threshold window
Zhang et al. Can signal-to-noise ratio perform as a baseline indicator for medical image quality assessment
Zeng et al. Prostate segmentation in transrectal ultrasound using magnetic resonance imaging priors
CN106709920B (zh) 血管提取方法及其装置
CN110910405A (zh) 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统
CN110619635B (zh) 基于深度学习的肝细胞癌磁共振图像分割系统和方法
Zhou et al. Deep learning methods for medical image fusion: A review
CN115830016B (zh) 医学图像配准模型训练方法及设备
Yang et al. Research and development of medical image fusion
CN112150564A (zh) 基于深度卷积神经网络医学图像融合算法
Alam et al. Evaluation of medical image registration techniques based on nature and domain of the transformation
Feng et al. MRI generated from CT for acute ischemic stroke combining radiomics and generative adversarial networks
CN114881848A (zh) 一种多序列mr转ct的方法
Jha et al. Single-shell to multi-shell dMRI transformation using spatial and volumetric multilevel hierarchical reconstruction framework
Padgett et al. Towards Universal MRI Atlas of the Prostate and Prostate Zones: Evaluation of Performance between Vendor and Acquisition Parameters
CN116778021B (zh) 医学图像生成方法、装置、电子设备和存储介质
Kim et al. NEOCIVET: Extraction of cortical surface and analysis of neonatal gyrification using a modified CIVET pipeline
Dai et al. The application of multi-modality medical image fusion based method to cerebral infarction
CN111477304A (zh) 一种pet和mri图像相融合的肿瘤照射成像组合方法
CN115272261B (zh) 一种基于深度学习的多模态医学图像融合方法
Chen et al. Preserving-texture generative adversarial networks for fast multi-weighted MRI
CN116168097A (zh) 构建cbct勾画模型和勾画cbct图像的方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant