CN115187584A - 神经胶质瘤分级中的多模脑图像融合方法 - Google Patents

神经胶质瘤分级中的多模脑图像融合方法 Download PDF

Info

Publication number
CN115187584A
CN115187584A CN202211019245.XA CN202211019245A CN115187584A CN 115187584 A CN115187584 A CN 115187584A CN 202211019245 A CN202211019245 A CN 202211019245A CN 115187584 A CN115187584 A CN 115187584A
Authority
CN
China
Prior art keywords
image
layer image
structure layer
fused
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211019245.XA
Other languages
English (en)
Inventor
吴龙文
孙浩
左伊芮
赵雅琴
谢丹
丁沁宇
张真源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202211019245.XA priority Critical patent/CN115187584A/zh
Publication of CN115187584A publication Critical patent/CN115187584A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

神经胶质瘤分级中的多模脑图像融合方法，本发明涉及医学图像融合。本发明的目的是为了解决在单一模态图像上无法准确确定肿瘤与正常组织的边界和边缘，导致无法获得准确的融合后的图像的问题。具体过程为：一：采用多级保边滤波MLEPF算法对输入的图像进行分解，分解为不同级别的图像；二：获取任意两个已配准的图像；三：对图像A(x,y)和B(x,y)分别执行一，得到图像A(x,y)的精细结构层图像、粗略结构层图像、基础结构层图像；图像B(x,y)的精细结构层图像、粗略结构层图像以及基础结构层图像；得到融合后的精细结构层图像和粗略结构层图像；四：得到融合后的基础结构层图像；五：得到最终融合后图像。

Description

神经胶质瘤分级中的多模脑图像融合方法
技术领域
本发明涉及医学图像融合。
背景技术
在不同的模态中，经常使用磁共振成像(MRI)和正电子发射型计算机断层显像(PET)扫描仪来识别脑肿瘤。从这些模态获得的图像中检测脑肿瘤一直是一个有效的研究领域。脑肿瘤患者通过MRI和PET扫描仪获得的图像通常包含扫描仪噪声和畸变，因此某些区域有着过高的强度。此外，放射科医师和肿瘤科医师获取的医学图像的来源不同，这会导致各种信息过载问题。从文献来看，没有一种单一的成像方式可以提供关于急性疾病的完整明确的信息。因此在分离过程中，放射科医生和肿瘤科医生在单一模态图像上无法准确确定肿瘤与正常组织的边界和边缘，导致无法获得准确的融合后的图像。
发明内容
本发明的目的是为了解决在单一模态图像上无法准确确定肿瘤与正常组织的边界和边缘，导致无法获得准确的融合后的图像的问题，而提出神经胶质瘤分级中的多模脑图像融合方法。
神经胶质瘤分级中的多模脑图像融合方法具体过程为：
步骤一：采用多级保边滤波MLEPF算法对输入的图像进行分解，分解为不同级别的图像；
步骤二：获取任意两个已配准的图像A(x,y)和B(x,y)；
步骤三：对图像A(x,y)和B(x,y)分别执行步骤一，得到图像A(x,y)的精细结构层图像FSA (i)、图像B(x,y)的精细结构层图像FSB (i)、图像A(x,y)的粗略结构层图像CSA (i)、图像B(x,y)的粗略结构层图像CSB (i)以及图像A(x,y)的基础结构层图像BSA、图像B(x,y)的基础结构层图像BSB；
对图像A(x,y)的精细结构层图像FSA (i)和图像B(x,y)的精细结构层图像FSB (i)进行融合，得到融合后的精细结构层图像FS(i)；
对图像A(x,y)的粗略结构层图像CSA (i)和图像B(x,y)的粗略结构层图像CSB (i)进行融合，得到融合后的粗略结构层图像CS(i)；
步骤四：对图像A(x,y)的基础结构层图像BSA和图像B(x,y)的基础结构层图像BSB进行融合，得到融合后的基础结构层图像BS；
步骤五：基于步骤三得到的融合后的精细结构层图像FS(i)、步骤三得到的融合后的粗略结构层图像CS(i)以及步骤四得到的融合后的基础结构层图像BS，得到最终融合后图像。
本发明的有益效果为：
本发明所涉及的医疗图像融合方案可以很好地帮助CAD和放射科医师辅助胶质瘤的检测和分级，并且进一步论证了MLEPF分解模型、基于NSML的PA-PCNN融合策略以及基于局部特征的模糊融合规则都能有效地提高融合结果。与采用SMD的分类方法相比，本发明能够有效在FMD中提取的互补信息在学习显著特征分类LGG和HGG方面表现出良好的效果。
附图说明
图1为本发明融合方案的框架图；
图2为MLEPF分解结构图；
图3为残差网络的完整架构图，包括ResNet-50、ResNet-101、ResNet-152；
图4为Inception3的框架图；
图5为DenseNet的框架图；
图6为融合结果图；
图7为具有高级别胶质瘤(HGG)的MRI图像，(a)为具有HGG的第一个MRI切片，(b)为具有HGG的第二个MRI切片，(c)为具有HGG的第三个MRI切片，(d)为具有HGG的第四个MRI切片，(e)为具有HGG的第五个MRI切片，(f)为具有HGG的第六个MRI切片，(g)为具有HGG的第七个MRI切片，(h)为具有HGG的第八个MRI切片；
图8为具有低级别胶质瘤(LGG)的MRI图像，(a)为具有LGG的第一个MRI切片，(b)为具有LGG的第二个MRI切片，(c)为具有LGG的第三个MRI切片，(d)为具有LGG的第四个MRI切片，(e)为具有LGG的第五个MRI切片，(f)为具有LGG的第六个MRI切片，(g)为具有LGG的第七个MRI切片，(h)为具有LGG的第八个MRI切片；
图9为SMD的混淆矩阵图，(HGG＝252,LGG＝252images)；
图10为FMD的混淆矩阵图，(HGG＝84,LGG＝84images)。
具体实施方式
具体实施方式：本实施方式神经胶质瘤分级中的多模脑图像融合方法具体过程为：
步骤一：采用多级保边滤波MLEPF算法对输入的图像进行分解，分解为不同级别的图像；
步骤二：获取任意两个已配准的图像A(x,y)和B(x,y)；
步骤三：对图像A(x,y)和B(x,y)分别执行步骤一，得到图像A(x,y)的精细结构层图像FSA (i)、图像B(x,y)的精细结构层图像FSB (i)、图像A(x,y)的粗略结构层图像CSA (i)、图像B(x,y)的粗略结构层图像CSB (i)以及图像A(x,y)的基础结构层图像BSA、图像B(x,y)的基础结构层图像BSB；
对图像A(x,y)的精细结构层图像FSA (i)和图像B(x,y)的精细结构层图像FSB (i)进行融合，得到融合后的精细结构层图像FS(i)；
对图像A(x,y)的粗略结构层图像CSA (i)和图像B(x,y)的粗略结构层图像CSB (i)进行融合，得到融合后的粗略结构层图像CS(i)；
步骤四：对图像A(x,y)的基础结构层图像BSA和图像B(x,y)的基础结构层图像BSB进行融合，得到融合后的基础结构层图像BS；
BS层主要包含源图像的纹理、背景和结构信息等基本特征。由于在分解过程中，所有显着特征都被FS和CS层以不同的尺度封装。通常用于融合BS层的最简单方法是采用传统平均值。但是，在医学图像的情况下，它可能会隐藏一些信息并且使结果模糊。
因此，为了满足高压系统的特点，我们提出了一种新的融合策略，用于基于活动水平测量和基于模糊像素的融合规则的BS层融合。
步骤五：基于步骤三得到的融合后的精细结构层图像FS(i)、步骤三得到的融合后的粗略结构层图像CS(i)以及步骤四得到的融合后的基础结构层图像BS，得到最终融合后图像。
MRI：Magnetic Resonance Imaging，磁共振成像
PET：Positron Emission Computed Tomography，正电子发射型计算机断层显像
PCNN：Pulse Coupled Neural Network，脉冲耦合神经网络
PA-PCNN：Parameter-adaptive Pulse Coupled Neural Network，参数自适应脉冲耦合神经网络模型
FS：Fine-Structure，(多级保边滤波的)精细结构
CS：Coarse-Structure，(多级保边滤波的)粗略结构
BS：Base-Structure，(多级保边滤波的)基础结构
SML：Sum-Modified Laplacian，总和修正拉普拉斯算子
WSML：Weighted Sum-Modified Laplacian，加权和修正拉普拉斯算子
IE：Information Entropy，参数局部信息熵
RE：Region Energy，区域能量
FIS：Fuzzy Interface System，模糊界面系统
EPF：Edge Preserving Filter，保边滤波器
MLEPF：Multi-Level EPF，多级保边滤波
WMCF：Weighted Mean Curvature Filtering，加权平均曲率滤波
GF：Guided Filtering，导向滤波
CNN：Convolutional Neural Networks，卷积神经网络
HGG：High-Grade Gliomas，高级别胶质瘤
LGG：Low-Grade Gliomas，低级别胶质瘤
SSIM：Structural Similarities Index Measure，结构相似性指数测度
SMD：Single Modality Dataset，单模态数据集
FMD：Fused Modalities Dataset，多模态数据集
具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤一中采用多级保边滤波MLEPF算法对输入的图像进行分解，分解为不同级别的图像；具体过程为：
MLEPF算法是一个基于引导滤波(Guided Filtering,GF)和WMCF的两步过程；
步骤一一：Ain表示输入图像，则
Figure BDA0003813325170000041
表示进行i次加权平均曲率滤波WMCF后的图像，用
Figure BDA0003813325170000042
表示进行i次引导滤波GF后的图像，i＝1,2,3；
Figure BDA0003813325170000043
和
Figure BDA0003813325170000044
的计算公式为：
Figure BDA0003813325170000045
其中，Ain表示输入图像；μ和σ表示均值和方差，经验值为2和20；
Figure BDA0003813325170000051
表示进行i-1次引导滤波GF后的图像，GF表示引导滤波；
Figure BDA0003813325170000052
其中，WMCF表示加权平均曲率滤波；
在给定图像上实施WMCF以保留边缘信息；
用GF作为平滑算子；
步骤一二：基于
Figure BDA0003813325170000053
和
Figure BDA0003813325170000054
获得第i个精细结构层图像FS(i)和第i个粗略结构层图像CS(i)，以及一个基础结构层图像BS，表达式为：
Figure BDA0003813325170000055
Figure BDA0003813325170000056
Figure BDA0003813325170000057
并且MLEPF的精细结构层图像FS(i)、粗略结构层图像CS(i)以及基础结构层图像BS满足以下等式：
Figure BDA0003813325170000058
其中，n为进行GF和WMCF的次数，n＝3。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述加权平均曲率滤波WMCF的具体过程为：
对输入图像Ain进行处理，表达式为：
Figure BDA0003813325170000059
其中，Δ表示各向同性拉普拉斯算子，(Ain)x表示图像Ain在x方向上的一阶偏导数，(Ain)y表示图像Ain在y方向上的一阶偏导数，(Ain)xy表示图像Ain在x和y方向上的二阶偏导数；(Ain)xx表示图像Ain在x方向上的二阶偏导数，(Ain)yy表示图像Ain在y方向上的二阶偏导数，Ain表示输入图像，Af′表示对图像Ain进行滤波后的图像；
对公式(7)进行离散处理得到公式(8)：
Af′＝dm,where m＝argmin|dk| (8)
式中，dm表示输出图像，m表示dk最小值时对应的k值，dk表示输入图像，k表示下面的8个卷积核；
对公式(8)中Af′进行处理，表达式：
Af＝hk*Af′,k＝1,2,...,8 (9)
式中，*代表卷积；hk代表卷积核；Af代表对输入图像Ain进行加权平均曲率滤波WMCF后的图像；
hk表达式为：
Figure BDA0003813325170000061
Figure BDA0003813325170000062
Figure BDA0003813325170000071
Figure BDA0003813325170000072
根据8个核计算8个空间或距离。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤二中获取任意两个已配准的图像A(x,y)和B(x,y)；具体过程为：
确保图像A(x,y)和B(x,y)的像素相等并且彼此正确对齐；否则会影响整体融合结果；图像A(x,y)为磁共振成像(MRI)图像，图像B(x,y)为正电子发射型计算机断层显像(PET)图像。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤三中对图像A(x,y)和B(x,y)分别执行步骤一，得到图像A(x,y)的精细结构层图像FSA (i)、图像B(x,y)的精细结构层图像FSB (i)、图像A(x,y)的粗略结构层图像CSA (i)、图像B(x,y)的粗略结构层图像CSB (i)以及图像A(x,y)的基础结构层图像BSA、图像B(x,y)的基础结构层图像BSB；
对图像A(x,y)的精细结构层图像FSA (i)和图像B(x,y)的精细结构层图像FSB (i)进行融合，得到融合后的精细结构层图像FS(i)；
对图像A(x,y)的粗略结构层图像CSA (i)和图像B(x,y)的粗略结构层图像CSB (i)进行融合，得到融合后的粗略结构层图像CS(i)；
具体过程为：
采用加权和修正拉普拉斯算子WSML，WSML表示为：
Figure BDA0003813325170000081
其中ML定义为
Figure BDA0003813325170000082
其中，x表示图像A(x,y)或图像B(x,y)的像素点的横坐标，y表示图像A(x,y)或图像B(x,y)的纵坐标；m表示x的权重，n表示y的权重；ML(i)(x,y)为中间变量，w(m,n)表示权重，P表示x的长方向的像素数，Q表示y的宽方向的像素数；
Figure BDA0003813325170000083
表示对图像A(x,y)或图像B(x,y)计算加权和修正拉普拉斯算子；ML(i)(x,y)为中间变量，MP(i)(x,y)表示对图像A(x,y)或图像B(x,y)进行i次MP，MP表示带通滤波的子带系数；
为了最大限度地得到源图像的精细纹理细节和宏观纹理细节特征细节，我们使用总和修正拉普拉斯算子(SML)反映源图像的边缘和轮廓信息等详细特征，以及表征图像聚焦特征和清晰度的特性。这里使用由M.Yin等人最近提出的加权和修正拉普拉斯算子WSML；
将
Figure BDA0003813325170000084
作为自适应脉冲耦合神经网络(PA-PCNN)模型的输入，一个神经元对应一个像素；直到自适应脉冲耦合神经网络(PA-PCNN)模型所有神经元都被激活；表达式为：
Figure BDA0003813325170000085
X＝[FS,CS]， (13)
自适应脉冲耦合神经网络(PA-PCNN)模型的触发时间为：
T(x,y)[n]＝T(x,y)[n-1]+Y(x,y)[n] (14)
其中，N表示N次迭代，
Figure BDA0003813325170000086
为神经元
Figure BDA0003813325170000087
的触发时间(对图像A(x,y)计算的加权和修正拉普拉斯算子
Figure BDA0003813325170000088
输入自适应脉冲耦合神经网络(PA-PCNN)模型中对应的神经元
Figure BDA0003813325170000091
Figure BDA0003813325170000092
为神经元
Figure BDA0003813325170000093
的触发时间(对图像B(x,y)计算的加权和修正拉普拉斯算子
Figure BDA0003813325170000094
输入自适应脉冲耦合神经网络(PA-PCNN)模型中对应的神经元
Figure BDA0003813325170000095
Figure BDA0003813325170000096
表示融合后图像的一个像素(一个神经元对应一个像素)，
Figure BDA0003813325170000097
表示图像A(x,y)的像素，
Figure BDA0003813325170000098
表示图像B(x,y)的像素；Y(x,y)[n]表示自适应脉冲耦合神经网络(PA-PCNN)模型的输出，称为脉冲发生器模块，用于确定两个触发事件：触发Y(x,y)[n]＝1和未触发Y(x,y)[n]＝0(模型输入
Figure BDA0003813325170000099
表示对图像A(x,y)或图像B(x,y)计算加权和修正拉普拉斯算子；当输入的是对图像A(x,y)计算加权和修正拉普拉斯算子时，输出Y(x,y)[n]对应A图像的输出，此时计算的图像A(x,y)的T(x,y)[n]中Y(x,y)[n]＝1，计算的图像B(x,y)的T(x,y)[n]中Y(x,y)[n]＝0；)(模型输入
Figure BDA00038133251700000910
表示对图像A(x,y)或图像B(x,y)计算加权和修正拉普拉斯算子；当输入的是对图像B(x,y)计算加权和修正拉普拉斯算子时，输出Y(x,y)[n]对应B图像的输出，此时计算的图像B(x,y)的T(x,y)[n]中Y(x,y)[n]＝1，计算的图像A(x,y)的T(x,y)[n]中Y(x,y)[n]＝0；)；T(x,y)[n]表示触发时间，表示
Figure BDA00038133251700000911
或
Figure BDA00038133251700000912
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤四中对图像A(x,y)的基础结构层图像BSA和图像B(x,y)的基础结构层图像BSB进行融合，得到融合后的基础结构层图像BS；具体过程为：
BS层主要包含源图像的纹理、背景和结构信息等基本特征。由于在分解过程中，所有显着特征都被FS和CS层以不同的尺度封装。通常用于融合BS层的最简单方法是采用传统平均值。但是，在医学图像的情况下，它可能会隐藏一些信息并且使结果模糊。
因此，为了满足高压系统的特点，我们提出了一种新的融合策略，用于基于活动水平测量和基于模糊像素的融合规则的BS层融合。
步骤四一：用参数局部信息熵IE和区域能量RE作为活动水平测量；
其中，IE和RE分别表示为
Figure BDA0003813325170000101
Figure BDA0003813325170000102
其中，BS(x,y)表示基础结构层图像，w(m,n)表示权重，m表示基础结构层图像BS长方向的像素数，n表示基础结构层图像BS宽方向的像素数；
借助隶属函数将IE和RE转换为模糊集，并将模糊集输入到模糊界面系统FIS，模糊语言变量IE为MIE，RE为MRE，输出权重为MW；
这里是一个窗口的大小。接下来，FIS采用基于IE和RE的模糊集，执行几个模糊规则，并计算必须分配给BS层中每个像素的权重。对于FIS，首先借助隶属函数将参数IE和RE转换为模糊集；模糊语言变量IE为MIE，RE为MRE，输出权重为MW；
模糊蕴含最小运算类型的FIS中定义的模糊规则为，如果一个分割区域的MIE和MRE大则其输出MW必然大，反之亦然，即成正相关；
步骤四二：对图像A(x,y)的基础结构层图像BSA进行步骤四一，得到图像A(x,y)的权重MWA；
对图像B(x,y)的基础结构层图像BSB进行步骤四一，得到图像B(x,y)的权重MWB；
步骤四三：对图像A(x,y)的基础结构层图像BSA和图像B(x,y)的基础结构层图像BSB进行融合，得到融合后的基础结构层图像BS；表示为
BS(x,y)＝MWA(x,y)*BSA(x,y)+MWB*BSB(x,y) (17)
其中，BSF(x,y)表示基础层图像，MWA表示图像A(x,y)的权重，MWB表示图像B(x,y)的权重，*表示卷积。
其它步骤及参数与具体实施方式一至五之一相同。
预训练的卷积神经网络(CNN)结构，是一种用于图像处理和识别的人工神经网络，其被设计用于处理像素数据。在这里分别使用三种预训练的深度神经网络用于肿瘤等级分类，即；ResNet152、InceptionV3和DenseNet201。
其中残差网络解决了梯度消失的问题，并且利用残差块和跳过连接将隐藏层的数量增加到152。在本发明中使用了ResNet152，ResNet152构架如图3所示。
InceptionV3是一种常用的图像识别模型，已被证明在ImageNet数据集上的准确率大于78.1％。InceptionV3模型的构架图如图4所示。
密集连接卷积网络也被称为DenseNets，其目的是不断增加可变形神经网络的深度。在DenseNet中，每一层从所有前面的层接收进一步的输入，并将其通过自己的特征映射传递给所有后面的层。因此，每一层都从前面的所有层接收“集体知识”。其构架如图5。
采用以下实施例验证本发明的有益效果：
实施例一：
通过采用两种不同类型的数据集对融合方案进行综合性能评估与验证。第一种为CT和MRI模态的数据集，其中包含在单一模态中不明确可见的特征细节的人脑图像。第二类是使用MICCAI脑肿瘤分割(BRATS-2020)挑战数据库中的MRI及其各种序列切片。这些切片包含不同类型的高级别胶质瘤(HGG)和低级别胶质瘤(LGG)。
本发明使用下面三种评估指标来对整合结果进行评估：熵(H)表示图像包含的信息量，Xydeas-Petrovic度量表示边缘相关信息传递的程度，结构相似性指数测度(SSIM)。在图6所示的4个CT和MRI图像数据集上展示了4个比较先进的方案以及本文(proposed)的融合方案的结果。方法一的分解方法为稀疏表示，融合策略为基于卷积稀疏性的形态分量分析融合；方法二的分解方法为基于多边保边滤波的分解，融合策略为梯度域PCNN和区域能量被用于融合；方法三的分解方法为非子采样剪切层变换域，融合策略为PA-PCNN与能量保持，细节提取；方法四的分解方法为拉普拉斯金字塔域，融合策略为基于本地能源和暹罗CNN的融合。
具有HGG的不同MRI切片的融合如图7所示，(a)为具有HGG的第一个MRI切片，(b)为具有HGG的第二个MRI切片，(c)为具有HGG的第三个MRI切片，(d)为具有HGG的第四个MRI切片，(e)为具有HGG的第五个MRI切片，(f)为具有HGG的第六个MRI切片，(g)为具有HGG的第七个MRI切片，(h)为具有HGG的第八个MRI切片，具有LGG的不同MRI切片的融合如图8所示，(a)为具有LGG的第一个MRI切片，(b)为具有LGG的第二个MRI切片，(c)为具有LGG的第三个MRI切片，(d)为具有LGG的第四个MRI切片，(e)为具有LGG的第五个MRI切片，(f)为具有LGG的第六个MRI切片，(g)为具有LGG的第七个MRI切片，(h)为具有LGG的第八个MRI切片。
对训练前的模型进行SMD训练：通过将数据分成80％和20％用于训练和验证，我们有2016张图像用于训练，504张图像用于验证。在第50个epoch，ResNet152的训练精度为73.61％，InceptionV3为93.35％，DenseNet201为95.73％。同样，ResNet152的验证准确率为75％，InceptionV3为88.10％，DenseNet201为91.07％。与其他两个模型相比，DensNet201模型获得了所有这些参数的最高值。这些模型的分类结果通过混淆矩阵显示，如图9所示，图9为SMD的混淆矩阵图，(HGG＝252,LGG＝252images)，(a)为ResNet152，(b)为InceptionV3，(c)为DenseNet201。
对训练前的模型进行FMD训练：通过将数据分成80％和20％用于训练和验证，我们有672张图像用于训练，168张图像用于验证。在第50个epoch,ResNet152的训练精度为82.44％，InceptionV3为95.83％，DenseNet201为94.49％。同样，ResNet152、InceptionV3和DenseNet201的验证准确率分别为80.36％、91.67％和95.83％。与其他两个模型相比，DensNet201模型获得了所有这些参数的最高值，这些模型的分类结果通过混淆矩阵显示，如图10所示，图10为FMD的混淆矩阵图，(HGG＝84,LGG＝84images)，(a)为ResNet152，(b)为InceptionV3，(c)为DenseNet201。
总的来说，同时比较这些图像时，所有的方法都表现良好，几乎融合了完整的源信息。然而，仔细观察仍然可以明确地看出指特定部分、模糊度和差异。例如方法1完成了图像显著特征的提取，但在边缘附近形成了一些伪影，降低了融合质量。方法2得到的图像模糊，边缘和轮廓检测困难。同样，方法3过分增强了源图像空间特征细节的亮度和对比度，破坏了原有的结构信息。方法4由于CNN性能较好，提取了最大程度的显著性和纹理特征信息。但是，由于应用了拉普拉斯金字塔模型，该模型仍然存在环形现象，在融合图像的尖锐边缘附近出现了波纹伪影。本文的方案由于采用了基于局部特征的模糊逻辑和基于NSML的PA-PCNN，该方案得到的图像无伪、更清晰、包含最大的结构特征和更好的视觉质量。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.神经胶质瘤分级中的多模脑图像融合方法，其特征在于：所述方法具体过程为：
步骤一：采用多级保边滤波MLEPF算法对输入的图像进行分解，分解为不同级别的图像；
步骤二：获取任意两个已配准的图像A(x,y)和B(x,y)；
步骤三：对图像A(x,y)和B(x,y)分别执行步骤一，得到图像A(x,y)的精细结构层图像FSA (i)、图像B(x,y)的精细结构层图像FSB (i)、图像A(x,y)的粗略结构层图像CSA (i)、图像B(x,y)的粗略结构层图像CSB (i)以及图像A(x,y)的基础结构层图像BSA、图像B(x,y)的基础结构层图像BSB；
对图像A(x,y)的精细结构层图像FSA (i)和图像B(x,y)的精细结构层图像FSB (i)进行融合，得到融合后的精细结构层图像FS(i)；
对图像A(x,y)的粗略结构层图像CSA (i)和图像B(x,y)的粗略结构层图像CSB (i)进行融合，得到融合后的粗略结构层图像CS(i)；
步骤四：对图像A(x,y)的基础结构层图像BSA和图像B(x,y)的基础结构层图像BSB进行融合，得到融合后的基础结构层图像BS；
步骤五：基于步骤三得到的融合后的精细结构层图像FS(i)、步骤三得到的融合后的粗略结构层图像CS(i)以及步骤四得到的融合后的基础结构层图像BS，得到最终融合后图像。
2.根据权利要求1所述的神经胶质瘤分级中的多模脑图像融合方法，其特征在于：所述步骤一中采用多级保边滤波MLEPF算法对输入的图像进行分解，分解为不同级别的图像；具体过程为：
步骤一一：Ain表示输入图像，则
Figure FDA0003813325160000011
表示进行i次加权平均曲率滤波WMCF后的图像，用
Figure FDA0003813325160000012
表示进行i次引导滤波GF后的图像，i＝1,2,3；
Figure FDA0003813325160000013
和
Figure FDA0003813325160000014
的计算公式为：
Figure FDA0003813325160000015
其中，Ain表示输入图像；μ和σ表示均值和方差；
Figure FDA0003813325160000021
表示进行i-1次引导滤波GF后的图像，GF表示引导滤波；
Figure FDA0003813325160000022
其中，WMCF表示加权平均曲率滤波；
步骤一二：基于
Figure FDA0003813325160000023
和
Figure FDA0003813325160000024
获得第i个精细结构层图像FS(i)和第i个粗略结构层图像CS(i)，以及一个基础结构层图像BS，表达式为：
Figure FDA0003813325160000025
Figure FDA0003813325160000026
Figure FDA0003813325160000027
并且精细结构层图像FS(i)、粗略结构层图像CS(i)以及基础结构层图像BS满足以下等式：
Figure FDA0003813325160000028
其中，n为进行GF和WMCF的次数，n＝3。
3.根据权利要求2所述的神经胶质瘤分级中的多模脑图像融合方法，其特征在于：所述加权平均曲率滤波WMCF的具体过程为：
对输入图像Ain进行处理，表达式为：
Figure FDA0003813325160000029
其中，Δ表示各向同性拉普拉斯算子，(Ain)x表示图像Ain在x方向上的一阶偏导数，(Ain)y表示图像Ain在y方向上的一阶偏导数，(Ain)xy表示图像Ain在x和y方向上的二阶偏导数；(Ain)xx表示图像Ain在x方向上的二阶偏导数，(Ain)yy表示图像Ain在y方向上的二阶偏导数，Ain表示输入图像，Af′表示对图像Ain进行滤波后的图像；
对公式(7)进行离散处理得到公式(8)：
Af′＝dm,where m＝arg min|dk| (8)
式中，dm表示输出图像，m表示dk最小值时对应的k值，dk表示输入图像，k表示下面的8个卷积核；
对公式(8)中Af′进行处理，表达式：
Af＝hk*Af′,k＝1,2,...,8 (9)
式中，*代表卷积；hk代表卷积核；Af代表对输入图像Ain进行加权平均曲率滤波WMCF后的图像；
hk表达式为：
Figure FDA0003813325160000031
Figure FDA0003813325160000032
Figure FDA0003813325160000033
Figure FDA0003813325160000034
4.根据权利要求3所述的神经胶质瘤分级中的多模脑图像融合方法，其特征在于：所述步骤二中获取任意两个已配准的图像A(x,y)和B(x,y)；具体过程为：
确保图像A(x,y)和B(x,y)的像素相等并且彼此正确对齐。
5.根据权利要求4所述的神经胶质瘤分级中的多模脑图像融合方法，其特征在于：所述步骤三中对图像A(x,y)和B(x,y)分别执行步骤一，得到图像A(x,y)的精细结构层图像FSA (i)、图像B(x,y)的精细结构层图像FSB (i)、图像A(x,y)的粗略结构层图像CSA (i)、图像B(x,y)的粗略结构层图像CSB (i)以及图像A(x,y)的基础结构层图像BSA、图像B(x,y)的基础结构层图像BSB；
对图像A(x,y)的精细结构层图像FSA (i)和图像B(x,y)的精细结构层图像FSB (i)进行融合，得到融合后的精细结构层图像FS(i)；
对图像A(x,y)的粗略结构层图像CSA (i)和图像B(x,y)的粗略结构层图像CSB (i)进行融合，得到融合后的粗略结构层图像CS(i)；
具体过程为：
采用加权和修正拉普拉斯算子WSML，WSML表示为：
Figure FDA0003813325160000041
其中ML定义为
Figure FDA0003813325160000042
其中，x表示图像A(x,y)或图像B(x,y)的像素点的横坐标，y表示图像A(x,y)或图像B(x,y)的纵坐标；m表示x的权重，n表示y的权重；ML(i)(x,y)为中间变量，w(m,n)表示权重，P表示x的长方向的像素数，Q表示y的宽方向的像素数；
Figure FDA0003813325160000043
表示对图像A(x,y)或图像B(x,y)计算加权和修正拉普拉斯算子；ML(i)(x,y)为中间变量，MP(i)(x,y)表示对图像A(x,y)或图像B(x,y)进行i次MP，MP表示带通滤波的子带系数；
将
Figure FDA0003813325160000051
作为自适应脉冲耦合神经网络模型的输入，一个神经元对应一个像素；直到自适应脉冲耦合神经网络模型所有神经元都被激活；表达式为：
Figure FDA0003813325160000052
X＝[FS,CS]， (13)
自适应脉冲耦合神经网络模型的触发时间为：
T(x,y)[n]＝T(x,y)[n-1]+Y(x,y)[n] (14)
其中，N表示N次迭代，
Figure FDA0003813325160000053
为神经元
Figure FDA0003813325160000054
的触发时间，
Figure FDA0003813325160000055
为神经元
Figure FDA0003813325160000056
的触发时间，
Figure FDA0003813325160000057
表示融合后图像的一个像素，
Figure FDA0003813325160000058
表示图像A(x,y)的像素，
Figure FDA0003813325160000059
表示图像B(x,y)的像素；Y(x,y)[n]表示自适应脉冲耦合神经网络模型的输出，用于确定两个触发事件：触发Y(x,y)[n]＝1和未触发Y(x,y)[n]＝0；T(x,y)[n]表示触发时间，表示
Figure FDA00038133251600000510
或
Figure FDA00038133251600000511
6.根据权利要求5所述的神经胶质瘤分级中的多模脑图像融合方法，其特征在于：所述步骤四中对图像A(x,y)的基础结构层图像BSA和图像B(x,y)的基础结构层图像BSB进行融合，得到融合后的基础结构层图像BS；具体过程为：
步骤四一：用参数局部信息熵IE和区域能量RE作为活动水平测量；
其中，IE和RE分别表示为
Figure FDA00038133251600000512
Figure FDA00038133251600000513
其中，BS(x,y)表示基础结构层图像，w(m,n)表示权重，m表示基础结构层图像BS长方向的像素数，n表示基础结构层图像BS宽方向的像素数；
借助隶属函数将IE和RE转换为模糊集，并将模糊集输入到模糊界面系统FIS，模糊语言变量IE为MIE，RE为MRE，输出权重为MW；
步骤四二：对图像A(x,y)的基础结构层图像BSA进行步骤四一，得到图像A(x,y)的权重MWA；
对图像B(x,y)的基础结构层图像BSB进行步骤四一，得到图像B(x,y)的权重MWB；
步骤四三：对图像A(x,y)的基础结构层图像BSA和图像B(x,y)的基础结构层图像BSB进行融合，得到融合后的基础结构层图像BS；表示为
BS(x,y)＝MWA(x,y)*BSA(x,y)+MWB*BSB(x,y) (17)
其中，BSF(x,y)表示基础层图像，MWA表示图像A(x,y)的权重，MWB表示图像B(x,y)的权重，*表示卷积。
CN202211019245.XA 2022-08-24 2022-08-24 神经胶质瘤分级中的多模脑图像融合方法 Pending CN115187584A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211019245.XA CN115187584A (zh) 2022-08-24 2022-08-24 神经胶质瘤分级中的多模脑图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211019245.XA CN115187584A (zh) 2022-08-24 2022-08-24 神经胶质瘤分级中的多模脑图像融合方法

Publications (1)

Publication Number Publication Date
CN115187584A true CN115187584A (zh) 2022-10-14

Family

ID=83522969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211019245.XA Pending CN115187584A (zh) 2022-08-24 2022-08-24 神经胶质瘤分级中的多模脑图像融合方法

Country Status (1)

Country Link
CN (1) CN115187584A (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269704A (zh) * 2021-06-29 2021-08-17 南昌航空大学 一种红外与可见光图像融合方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269704A (zh) * 2021-06-29 2021-08-17 南昌航空大学 一种红外与可见光图像融合方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEI TAN: "Multi-modal brain image fusion based on multi-level edge-preserving filtering" *
郑义军;任仙怡;刘秀坚;胡涛;张基宏;: "结合VAM和模糊逻辑的NSCT图像融合方法" *
颜文;龚飞;周颖;周峰;金炜;符冉迪;: "基于NSST与自适应PCNN相结合的卫星云图融合" *

Similar Documents

Publication Publication Date Title
Xiuqin et al. A fundus retinal vessels segmentation scheme based on the improved deep learning U-Net model
CN108985345B (zh) 一种基于肺部医学图像融合分类的检测装置
Joshi et al. Classification of brain cancer using artificial neural network
CN107644420B (zh) 基于中心线提取的血管图像分割方法、核磁共振成像系统
CN107341265B (zh) 一种融合深度特征的乳腺图像检索系统与方法
CN109272507B (zh) 基于结构随机森林模型的相干光断层图像的层分割方法
CN109685804B (zh) 一种多通道头部磁共振成像组织分割方法
Elsayed et al. Corpus callosum MR image classification
Zacharaki et al. Abnormality segmentation in brain images via distributed estimation
CN115147600A (zh) 基于分类器权重转换器的gbm多模态mr图像分割方法
CN116664605A (zh) 基于扩散模型和多模态融合的医学图像肿瘤分割方法
Alves et al. Extracting lungs from ct images using fully convolutional networks
CN116758336A (zh) 一种基于人工智能的医学图像智能分析系统
Singh et al. An efficient combined approach for medical brain tumour segmentation
CN110991554A (zh) 一种基于改进pca的深度网络图像分类方法
Bhuvaneswari et al. Contrast enhancement of retinal images using green plan masking and whale optimization algorithm
Gasmi et al. Automated segmentation of brain tumor using optimal texture features and support vector machine classifier
CN115187584A (zh) 神经胶质瘤分级中的多模脑图像融合方法
Hussain et al. Segmentation of brain MRI with statistical and 2D wavelet features by using neural networks
CN115205308A (zh) 一种基于线状滤波和深度学习的眼底图像血管分割方法
CN114693698B (zh) 一种基于神经网络的计算机辅助肺气道分割方法
CN113470042A (zh) 肺部ct图像的支气管分割方法及相关系统和存储介质
Zhang et al. A modified MRF segmentation of brain MR images
Kiruthiga et al. Gradient-Driven Texture-Normalized Liver Tumor Detection Using Deep Learning
Sheela Kumari et al. Longitudinal evaluation of structural changes in frontotemporal dementia using artificial neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination