CN103186895A - 一种基于神经网络模型的ct灌注医疗图像智能融合方法 - Google Patents

Abstract

本发明提供一种基于神经网络模型的CT灌注医疗图像智能融合方法，采用多种头颅灌注参数的测试图像和对应的头颅血液分布情况训练神经网络；输入多种头颅灌注参数的待融合图像到训练好的神经网络，得到头颅灌注多参数图像；按以下基于代数加权的乘积变换融合模型，将头颅灌注多参数图像与原始灰阶图像融合，得到需要的融合图像。应用本发明可以有效地综合纹理信息和特征信息，实现头颅灌注图像信息的准确直观的表达，初步实现计算机辅助诊断系统，为最终脑血管病的预防打下坚实的理论依据和有效的实践基础。

Description

一种基于神经网络模型的CT灌注医疗图像智能融合方法

技术领域

本发明属于计算机与医疗交叉领域，特别是一种基于神经网络模型的CT灌注医疗图像智能融合方法。

背景技术

随着医学图像成像技术的不断提高，医学图像融合逐渐成为图像处理研究的热点。医学图像配准和医学图像融合有着密切的联系，特别是对多模态图像而言，图像配准是图像融合的先决条件，必须进行配准变换，才能准确实现准确的融合。

计算机体层摄影（CT）和磁共振（MR）脑灌注成像（Perfusion Imaging）是一种用于了解脑组织血流灌注状态的功能成像手段，现已列入诊断缺血性脑血管病的常规检查方法。不同于常规解剖学成像的是，该技术在静脉注射对比剂的同时对选定的感兴趣层面进行连续动态扫描以获得所选层面内各像素的时间-密度曲线（TDC），根据指示剂稀释原理和中心法则并通过复杂的数学模型计算得到脑血流量（CBF）、脑血流容积（CBV）、对比剂平均通过时间（MTT）和峰值时间（TTP）等一系列灌注参数。对脑组织的灌注状态评价依赖于放射科医生通过对上述血流动力学参数的定量分析和各脑区在各种灌注参数图像上的表现来判断脑组织缺血情况，并需结合解剖学成像所获取的信息来分析脑组织缺血的病变区域和病变程度信息。

发明内容

针对上述问题，本发明提出一种基于神经网络模型的CT灌注医疗图像智能融合方法。

本发明的技术方案为一种基于神经网络模型的CT灌注医疗图像智能融合方法，包括以下步骤：

步骤1，采用多种头颅灌注参数的测试图像和对应的头颅血液分布情况训练神经网络；

步骤2，输入多种头颅灌注参数的待融合图像到训练好的神经网络，得到头颅灌注多参数图像；

步骤3，按以下基于代数加权的乘积变换融合模型，将头颅灌注多参数图像与原始灰阶图像融合，得到需要的融合图像，

$F(i,j)=\frac{I_{2\mathrm{ij}}}{\max \left(I_{2\mathrm{ij}}\right)}$

$(\left(\frac{\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(I_{1\mathrm{ij}}-\stackrel{\‾}{I_1})(I_{2\mathrm{ij}}-\stackrel{\‾}{I_2})}{\sqrt{\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(I_{1\mathrm{ij}}-\stackrel{\‾}{I_1})}^2\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(I_{2\mathrm{ij}}-\stackrel{\‾}{I_2})}^2}}\right|\×0.5+0.5)\×I_{1\mathrm{ij}}+(1-\left(\right|\frac{\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(I_{1\mathrm{ij}}-\stackrel{\‾}{I_1})(I_{2\mathrm{ij}}-\stackrel{\‾}{I_2})}{\sqrt{\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(I_{1\mathrm{ij}}-\stackrel{\‾}{I_1})}^2\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(I_{2\mathrm{ij}}-\stackrel{\‾}{I_2})}^2}}|\×0.5+0.5))\×I_{2\mathrm{ij}})+B$

其中，

F(i,j)为融合图像；i为行数，取值为1到m，m为总行数；j为列数，取值为1到n，n为总列数；B为常数；I_1ij为头颅灌注多参数图像；I_2ij为原始灰阶图像，max(I_2ij)为原始灰阶影像的最大值；和

分别为头颅灌注多参数图像和原始灰阶图像的均值。

而且，所述神经网络采用Fuzzy ARTMAP神经网络。

而且，神经网络采用四种头颅灌注参数，包括血液浓度、血流速度、平均通过时间以及血液达峰时间；对应有四种头颅血液分布情况，包括缺血代偿期、缺血失代偿期、梗死区和异常高灌注。

本发明的特点：

1、采用新型的智能化神经网络模型——Fuzzy ARTMAP，该模型具有传统神经网络模型不可比拟的优势，例如：适应性和自归一能力强，训练易收敛，对噪声并不敏感等特点，将其运用到医学头颅灌注参数图像信息提取是完全可行的。该模型构建成功后，可以自适应综合头颅灌注单参数图像的特征信息，实现头颅灌注多参数图像综合分析的智能化和自动化，为下一步进行图像信息可视化提供前期的基础。

2、针对头颅灌注多参数信息图像和原始灰阶图像的不同特征，构建一种代数加权的乘积变化融合模型，有效地综合纹理信息和特征信息，实现头颅灌注图像信息的准确直观的表达，初步实现计算机辅助诊断系统，为最终脑血管病的预防打下坚实的理论依据和有效的实践基础。

附图说明

图1是本发明的基于Fuzzy ARTMAP神经网络的融合模型图。

图2是本发明实施例的灌注参数神经网络模型示意图。

具体实施方式

本发明将神经网络运用于CT灌注图像的融合处理，具体实施时可采用计算机软件技术实现自动运行。以下结合附图和实施例详细说明本发明技术方案。

实施例的流程如下：

步骤1，采用多种头颅灌注参数的测试图像和对应的头颅血液分布情况训练神经网络；

步骤2，输入多种头颅灌注参数的待融合图像到训练好的神经网络，得到头颅灌注多参数图像；

步骤3，按以下基于代数加权的乘积变换融合模型，将头颅灌注多参数图像与原始灰阶图像融合，获得同时具备病变区域纹理信息和病变程度特征信息的诊断图像

为便于本领域技术人员理解技术方案起见，首先提供理论基础：

由于脑血管诊断需要大量的临床信息和分析数据,因此单纯利用头颅灌注单参数图像无法满足要求。尽管基于单一特征的方法降低了图像分析的难度，但是在实际应用中，利用该方法无法得到所需要的诊断精度。因此，有效地综合头颅灌注单参数图像信息，实现头颅灌注多参数图像综合分析的智能化和自动化，同时获得兼备纹理信息（病变区域）和特征信息（病变程度）的可视化诊断结果，对脑血管诊断是非常有意义的。

针对头颅灌注单参数图像的特征，为了实现头颅灌注多参数图像综合分析智能化和自动化，以便于快速准确的对患者病变区域（缺血代偿期、缺血失代偿期、梗死区、异常高灌注等）进行综合分析诊断。本发明构建一种Fuzzy ARTMAP神经网络模型对单参数图像的信息进行融合处理，该模型的核心算法理论原型为现有技术，如附图1所示：它可以分为ART^a和ART^b两个模块，每个模块分别由输入层F₀、比较层F₁，以及识别层F₂三层组成，分别记为

和

ART^a和ART^b两者通过一个映射域F^ab连接起来，实现输入模式a和输入模式b的映射关系，如图中输入向量A=（a，a^c），a^c表示补码。当满足匹配条件时，修改权值Z并反向训练ART^a，否则增加ART^a的警戒系数ρ_a，以增加

的神经元，直到满足中间映射域匹配规则。Fuzzy ARTMAP映射机制通过自动调节ρ_a，从而调节

神经元，使得

与之间通过F^ab取得映射关系。基本的算法步骤如下所示：

(1)、网络初始化：在两个模块ART^a和ART^b的输入层中，分别输入的是历史灌注参数图里面每个像素值，以及对应的头颅血液分布情况。

(2)、输入样本对，开始训练，训练方式采取交叉训练：对于两个ART模块均采用相似的训练方式利用此函数选择竞争获胜的节点，从而对应获胜节点的层被激发，完成一次的训练。直到满足测试要求为止。

(3)、获胜并发生谐振的节点所对应的权值矢量学习更新，在满足警戒阈值ρ_a的条件下，达到期望的精度。

(4)、测试：通过输入到ART^a的向量，即归一化后不同的灌注参数值，利用映射函数在ART^b中得到输出所求的头颅血液情况分布图。

在获取了头颅灌注多参数图像信息以后，为了实现头颅灌注成像结果同时具备区域纹理信息和区域特征信息，更多更全面的反映患者的病变情况。根据这一理论，本发明提出并实现了一个新的负载均衡方法。构建一种基于代数加权乘积变换融合模型对多参数信息和原始灰阶图像进行融合。该模型利用代数加权的原理，可以针对不同的图像特征和诊断要求，对参加融合计算的图像的权重系数进行自适应的设置，以达到最优的融合效果。

为便于实施参考起见，想详细说明融合实现过程如下：

（1）头颅灌注多参数图像融合

灌注参数是分析颅脑灌注成像信息和判断分析结果的重要依据，因为其涉及到的信息量非常大，全脑成像层面众多。操作者根据已有的灌注参数图将患者的头颅血液分布区分为：缺血代偿期，缺血失代偿期，梗死区和异常高灌注等四个区域。

采用Fuzzy ARTMAP神经网络来构建模型，以四种灌注参数信息（血液浓度（rCBV），血流速度（rCBF），平均通过时间（MTT）以及血液达峰时间（TTP））为例，这四种灌注参数可以生成四种不同的参数图，对四种灌注参数进行融合比较和分析，模型包含两大相对独立的模块——训练模块和分析模块，分别进行：模型纠正(训练)和模拟分析，这两个模块使用同一网络模型。在模型纠正模块中，利用训练数据自动获取模型的参数，然后该参数被输入到模拟模块进行模拟运算。整个模型的结构十分简单，无须人工定义转换规则及参数。

网络模型如附图2所示：其描述了当生成四种灌注参数图以后，与其对应的不同血液分布区间的一种对应关系。为方便描述，这个过程可以简单的按照如下公式所描述，比如：令x₁～x₄代表代表rCBV，rCBF，MTT以及TTP这四个参数，也就是灌注参数图中对应的像素值，公式右边是头颅血液分布区，即缺血代偿期，缺血失代偿期，梗死区和异常高灌注，用y₁～y₄来表示，这样建立起一个对应关系，即：

$\left[\begin{array}{cc}{x}_1& x_2\\ x_3& x_4\end{array}\right]\→\left[\begin{array}{cc}{y}_1& y_2\\ y_3& y_4\end{array}\right]---\left(1\right)$

具体算法如下：首先将网络初始化，分别对两个ART模块输入样本对进行训练，其中，ART^a模块中的

层作为数据输入层，设该层中各个神经元分别对应于不同灌注参数图像中的DN值（灰度值），它们决定了目标类型中不同的灌注参数分布状况，可表达为：

X(k)＝[x₁(k),x₂(k),......,x_n(k)]^T    （2）

其中，i=1,2,…,n，x₁(k),x₂(k),......,x_n(k)分别为像元k在n个不同的灌注参数图像中的DN值，T为转置；将灌注参数图像灰度值向量集X(k)转化为补码形式进行输入，利用补码的目的是确保即使从不同的参数图像中，所获取的训练模式是一致的。然后再利用选择函数

选择竞争获胜的节点J，从而对应获胜节点的层被激发，其中T_j(A)是指选择函数的值，A是指输入向量，α是指选择参数，W_j是指权向量，∧是模糊算子；类似的，在ART^b模块中的输入层

依次输入对应于图像像元k确定为目标类型的概率p_j(k)，j代表血液分布情况中不同的区间，通过学习

层的目标类别向量集而获得

层的原型类别向量，并以此确定获胜节点K，中间映射层F^ab通过匹配规则检验匹配度，如果两个节点数能够确定一一对应的映射关系：κ(J)＝K。那么修改ART^a权值W并反向训练ART^a，否则增加ART^a的警戒系数ρ_a，以增加

的神经元，直到满足中间映射域匹配规则。

训练完毕后，可以得到两个模块不同的权重，有了这两组权重，便能进行研究区的模拟了，在模拟过程中，输入层的信号来自研究区的合成图像，ART^b模块的目标输出为：p_j(k)。该输出结果p_j(k)意为灌注参数图中第k个像元被确定为第j种目标类型的概率。最后，需要对输出端元进行概率值进行从大到小的排序，依次确定目标类型。这样，头颅血液区间的空间部分情况得到了确定，获取到最后的病理结果图，即头颅灌注多参数图像。

（2）头颅灌注多参数图像与原始灰阶图像融合

在获得头颅灌注多参数图像后，该图像可以综合的反映脑部的缺血程度，但是无法反映缺血的区域，同样，原始灰阶图像可以反映脑部的各个不同区域，但是无法反映该区域的缺血程度，因此为了实现诊断结果可视化，使结果同时具备区域纹理信息和区域特征信息。在本发明中，发展一种基于代数加权的乘积变换融合模型去构建融合图像。该模型的具体表达式如下：

F(i,j)＝A(P_1ijI_1ij+P_2ijI_2ij)+B    （3）

$A=\frac{I_{2\mathrm{ij}}}{\max \left(I_{2\mathrm{ij}}\right)}---\left(4\right)$

P_1ij＝|r_ij|×0.5+0.5   （5）

$r_{\mathrm{ij}}=\frac{\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(I_{1\mathrm{ij}}-\stackrel{\‾}{I_1})(I_{2\mathrm{ij}}-\stackrel{\‾}{I_2})}{\sqrt{\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(I_{1\mathrm{ij}}-\stackrel{\‾}{I_1})}^2\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(I_{2\mathrm{ij}}-\stackrel{\‾}{I_2})}^2}}---\left(6\right)$

其中，F(i,j)为融合图像；i为行数，取值为1到m，m为总行数；j为列数，取值为1到n，n为总列数；B为常数；I_1ij为头颅灌注多参数图像；I_2ij为原始灰阶图像；

A为原始灰阶影像的像素与该图像像素最大值max(I_2ij)的比值；

P_1ij为通过相关系数r_ij确定的融合影像中头颅灌注多参数图像的权重；

P_2ij为通过相关系数r_ij确定的融合影像中原始灰阶图像的权重，P_2ij=1-P_1ij；

和

分别为头颅灌注多参数图像和原始灰阶图像的均值。

将相关条件参数带入融合图像，得到如下表达式为：

$F(i,j)=\frac{I_{2\mathrm{ij}}}{\max \left(I_{2\mathrm{ij}}\right)}$

$(\left(\frac{\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(I_{1\mathrm{ij}}-\stackrel{\‾}{I_1})(I_{2\mathrm{ij}}-\stackrel{\‾}{I_2})}{\sqrt{\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(I_{1\mathrm{ij}}-\stackrel{\‾}{I_1})}^2\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(I_{2\mathrm{ij}}-\stackrel{\‾}{I_2})}^2}}\right|\×0.5+0.5)\×I_{1\mathrm{ij}}+(1-\left(\right|\frac{\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(I_{1\mathrm{ij}}-\stackrel{\‾}{I_1})(I_{2\mathrm{ij}}-\stackrel{\‾}{I_2})}{\sqrt{\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(I_{1\mathrm{ij}}-\stackrel{\‾}{I_1})}^2\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(I_{2\mathrm{ij}}-\stackrel{\‾}{I_2})}^2}}|\×0.5+0.5))\×I_{2\mathrm{ij}})+B---\left(7\right)$

通过基于代数加权的乘积变化融合法构造的融合图像同时考虑了头颅灌注多参数图像和原始灰度图像的变化信息，有效地综合灰阶图像的纹理信息和多参数伪彩色图像的特征信息，实现信息可视化，使灌注成像结果更易于准确直观的表达。

具体实施时，可采用计算机程序提供训练模块和分析模块，训练模块与分析模块分工合作，训练模块的反复训练确定内部神经网络内的参数值，分析模块将输入多幅图像融合成单幅图像。可采用以下工作过程：

一、构建一个由训练模块和分析模块组成的神经网络程序；

二、将四幅测试图像输入程序中的训练模块，读出各像素点的灰度值；

三、运用神经网络处理各像素点的灰度值，将四幅图相同位置像素点处的处理值加权，得到该位置处的输出灰度值；

四、将输出的灰度值与期望图像的相应点灰度值对比求差；

五、应用误差反向传播算法同步调整神经网络中训练模块和分析模块的各权值、学习参数值及阈值；

六、对当前的四副测试图像继续训练，包括在训练模块中通过循环结构重复第三至五步，自动调整学习参数及阈值，直到最终得到的头颅灌注多参数图像与期望图像的误差在允许范围内时停止循环，进入步骤七；

七、取新的四幅测试图像，重复步骤二至六，直到利用足够次数（一般多于20次）的训练调整出神经网络中各参数的合适值，进入步骤八；

八、将待融合的四幅图像输入分析模块中，运行第二步得出各像素点处的灰度值，与原始灰阶图像融合，得到需要的融合图像。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (3)

1.一种基于神经网络模型的CT灌注医疗图像智能融合方法，其特征是，包括以下步骤：

步骤1，采用多种头颅灌注参数的测试图像和对应的头颅血液分布情况训练神经网络；

步骤2，输入多种头颅灌注参数的待融合图像到训练好的神经网络，得到头颅灌注多参数图像；

步骤3，按以下基于代数加权的乘积变换融合模型，将头颅灌注多参数图像与原始灰阶图像融合，获得同时具备病变区域纹理信息和病变程度特征信息的诊断图像，

$F(i,j)=\frac{I_{2\mathrm{ij}}}{\max \left(I_{2\mathrm{ij}}\right)}$

$(\left(\frac{\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(I_{1\mathrm{ij}}-\stackrel{\‾}{I_1})(I_{2\mathrm{ij}}-\stackrel{\‾}{I_2})}{\sqrt{\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(I_{1\mathrm{ij}}-\stackrel{\‾}{I_1})}^2\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(I_{2\mathrm{ij}}-\stackrel{\‾}{I_2})}^2}}\right|\×0.5+0.5)\×I_{1\mathrm{ij}}+(1-\left(\right|\frac{\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(I_{1\mathrm{ij}}-\stackrel{\‾}{I_1})(I_{2\mathrm{ij}}-\stackrel{\‾}{I_2})}{\sqrt{\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(I_{1\mathrm{ij}}-\stackrel{\‾}{I_1})}^2\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(I_{2\mathrm{ij}}-\stackrel{\‾}{I_2})}^2}}|\×0.5+0.5))\×I_{2\mathrm{ij}})+B$

其中，

F(i,j)为融合图像；i为行数，取值为1到m，m为总行数；j为列数，取值为1到n，n为总列数；B为常数；I_1ij为头颅灌注多参数图像；I_2ij为原始灰阶图像，max(I_2ij)为原始灰阶影像的最大值；

和

分别为头颅灌注多参数图像和原始灰阶图像的均值。

2.根据权利要求1所述的基于神经网络模型的CT灌注医疗图像智能融合方法，其特征是：所述神经网络采用Fuzzy ARTMAP神经网络。

3.根据权利要求1或2所述的基于神经网络模型的CT灌注医疗图像智能融合方法，其特征是：神经网络采用四种头颅灌注参数，包括血液浓度、血流速度、平均通过时间以及血液达峰时间；对应有四种头颅血液分布情况，包括缺血代偿期、缺血失代偿期、梗死区和异常高灌注。

Images