CN103699904A - 多序列核磁共振影像的图像计算机辅助判断方法 - Google Patents

Abstract

本发明多序列核磁共振影像的图像计算机辅助判断方法属于计算机辅助判断领域，涉及一种基于MRI的T1WI、T2WI、动脉期、门静脉期、平衡期多序列的图像处理、纹理特征提取、分类及决策融合的计算机辅助判断方法。该方法在数字图像处理和模式识别框架下，集成MRI的T1WI、T2WI、动脉期、门静脉期、平衡期五种序列，依照ROI处理、多序列MRI分类和个体分类三个层次，借助神经网络、投票机制和决策树完成图像计算机辅助判断。该方法提供多参数、多序列、多方位的成像，并且组合的分类器能根据异常结构的不同阶段选择五种序列中具有最佳区分性能的序列作为该阶段的分类属性。本发明具有信息丰富，层次分明，分类正确率高。

Description

多序列核磁共振影像的图像计算机辅助判断方法

技术领域

本发明属于基于核磁共振影像的计算机辅助判断领域，涉及一种基于MRI的T1WI、T2WI、动脉期、门静脉期、平衡期多序列的图像处理、纹理特征提取、分类及决策融合的计算机辅助判断方法。

背景技术

目前，基于核磁共振影像（magnetic resonance imaging，MRI）的图像计算机辅助判断方法技术仍处于初步发展阶段，判断的准确性有待提高，且存在诸多不足。（1）大多数方法是针对X线电子计算机断层扫描（computed tomography，CT）影像进行的分类，对MRI的研究处理涉及相对较少。（2）在基于MRI的方法中，多数算法仅用到单一的影像序列，而没有充分利用MRI具有多序列这一优点。例如，Zeng，Y.F.等人在Advanced Materials Research杂志2013年发表的“基于肝脏纤维纹理特征的MRI的计算机辅助诊断”一文中，仅采用MR动态对比静脉序列分类，没有充分利用MR多序列这一特性。（3）多数方法分类结果仅停留在二分类上，如Gobert Lee等人在Medical Imaging杂志2007年发表的“基于金轧增强MR影像的肝硬化分类方法”中，仅将影像分为两类。而实际上，对影像的细分能够提供更为细致全面的信息，从而保证方法的实际应用效果。（4）分类器的单一使用。目前，大多数对MRI影像分类所使用的分类器均为单一的分类器，或使用经典分类器，或对其进行改进。Yuan Cao在BioMedresearch international杂志2013年发表的“基于血清缩氨酸的乙型肝炎病毒肝硬化的二分类预测”一文中，也仅使用SVM分类器对其提取的特征进行分类。然而，值得关注的是不同分类器各具特点，针对图像计算机辅助判断融合多种分类器以确保分类性能的可靠性是很有必要的。

发明内容

本发明的主要目的克服现有技术的缺陷，发明一种多序列MRI的图像计算机辅助判断方法。该方法通过三层次分析的结构多角度全方位识别，包括：最底层病灶区域层的感兴趣区域（region of interests，ROI）处理层，中级多序列MRI分类层以及最高级的个体分类层三个层次，从而实现全面细致的建模，完成基于MRI影像的图像计算机辅助判断。为避免不同序列图像样本的特异性影响分类效果，本发明在ROI处理层和多序列MRI分类层对每种序列图像样本分别进行基于模式识别的分类处理，考虑到异常结构表征的多样性，本发明采用神经网络分类器和投票机制结合的方式实现多序列MRI样本的分类。而在个体分类层，本发明将同一个体的多序列MRI分类结论借助决策树进行决策融合，从而得出该个体分类结果。因此本发明是在数字图像处理和模式识别框架下，集成MRI的T1WI、T2WI、动脉期、门静脉期、平衡期五种序列，依照ROI处理、多序列MRI分类和个体分类三个层次，借助神经网络、投票机制和决策树，提出基于MRI的图像计算机辅助判断方法，弥补了现有技术在MRI图像应用不充分、分类类别粗糙、分类器使用单一和分类准确率低等方面的不足。

本发明采用的技术方案：一种多序列核磁共振影像的图像计算机辅助判断方法，其特征在于，该判断方法是在数字图像处理和模式识别框架下，集成MRI的T1WI、T2WI、动脉期、门静脉期、平衡期五种序列，依照ROI处理、多序列MRI分类和个体分类三个层次，借助神经网络、投票机制和决策树，提出三类计算机辅助判断方法；具体步骤如下：

步骤一、从个体图像数据集MRI的T1WI、T2WI、动脉期、门静脉期、平衡期五种序列中按图像扫描顺序人工筛选出结构清晰的图像；

步骤二、利用步骤一筛选出的具体图像，根据异常结构的均匀性与面积，对图像手工提取ROI，同时，需根据图像中异常结构均匀区域的大小调整ROI大小；

步骤三、提取步骤二中ROI样本的[0°、45°、90°、135°]共56维灰度共生矩阵的纹理特征，图像中第i行j列元素的灰度共生矩阵计算公式为：

P(i,j,λ,θ)＝{[(x,y),(x+dx,y+dy)]|f(x,y)＝i,f(x+dx,y+dy)＝j}  (1)

其中，(x,y)是图像中每个像素点的坐标，θ为方向，λ为步长，dx和dy分别是步长λ方向θ在x和y方向上的投影；基于灰度共生矩阵的[0°、45°、90°、135°]四个方向的共56维纹理特征在每个方向上分别提取14种纹理特征，包括角二阶矩、对比度、相关性、方差、逆差矩、和平均、和方差、和熵、熵、差平均、差熵、互信息度量和最大相关系数；

1）角二阶矩

$F_1=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{\left\{p(i,j)\right\}}^2---\left(2\right)$

其中，p(i,j)为正规化的灰度共生矩阵；

2）对比度

$F_2=\underset{n=0}{\overset{N_{g-1}}{\mathrm{\Σ}}}{n}^2\left\{\underset{i=1}{\overset{N_g}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_g}{\mathrm{\Σ}}}p(i,j)\right\},|i-j|=n---\left(3\right)$

3）相关性

$F_3=\frac{\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\left(\mathrm{ij}\right)p(i,j)-{\mathrm{\μ}}_x{\mathrm{\μ}}_y}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}---\left(4\right)$

其中，μ_x和σ_x是p_x的均值与方差，μ_y和σ_y是p_y的均值与方差；

${\mathrm{\μ}}_x=\underset{i=1}{\overset{N_g}{\mathrm{\Σ}}}i*\underset{j=1}{\overset{N_g}{\mathrm{\Σ}}}p(i,j),{\mathrm{\σ}}_x^2={(i-{\mathrm{\μ}}_x)}^2{\mathrm{\μ}}_x$

${\mathrm{\μ}}_y=\underset{j=1}{\overset{N_g}{\mathrm{\Σ}}}j*\underset{i=1}{\overset{N_g}{\mathrm{\Σ}}}p(i,j),{\mathrm{\σ}}_y^2={(j-{\mathrm{\μ}}_y)}^2{\mathrm{\μ}}_y$

4）方差

$F_4=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{(i-\mathrm{\μ})}^{2}p(i,j)---\left(5\right)$

其中，μ为p(i,j)的均值；

5）逆差矩

$F_5=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\frac{1}{1+{(i-j)}^2}p(i,j)---\left(6\right)$

6）和平均

$F_6=\underset{i=2}{\overset{2L}{\mathrm{\Σ}}}i{p}_{x+y}\left(i\right)---\left(7\right)$

其中，

,k＝2,3,...,2L,i+j＝k，L为图像的灰度级数量；

7）和方差

$F_7=\underset{i=2}{\overset{{2N}_g}{\mathrm{\Σ}}}{(i-f_8)}^2{p}_{x+y}\left(i\right)---\left(8\right)$

8）和熵

$F_8=-\underset{i=2}{\overset{2L}{\mathrm{\Σ}}}{p}_{x+y}\left(i\right)\log \left\{p_{x+y}\left(i\right)\right\}---\left(9\right)$

9）熵

$F_9=-\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}p(i,j)\log \left(p(i,j)\right)---\left(10\right)$

10）差平均

F₁₀＝Var(p_x-y)              (11)

其中，

,k＝0,1,...,L-1,|i-j|＝k

11）差熵

$F_{11}=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_{x-y}\left(i\right)\log \left\{p_{x-y}\left(i\right)\right\}---\left(12\right)$

12）互信息度量

$F_{12}=\frac{\mathrm{HXY}-\mathrm{HXY}1}{\max \{\mathrm{HX},\mathrm{HY}\}}---\left(13\right)$

其中，HX，HY分别是p_x和p_y的熵；

$\mathrm{HXY}=-\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}p(i,j)\log \left(p(i,j)\right)$

$\mathrm{HXY}=-\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}p(i,j)\log \left(p(i,j)\right)$

$p_x\left(i\right)=\underset{j=1}{\overset{L}{\mathrm{\Σ}}}p(i,j),p_y\left(i\right)=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}p(i,j)$

13）最大相关系数1

F₁₃＝(1-exp[-2.0(HXY2-HXY)])         (14)

其中， $\mathrm{HXY}2=-\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{p}_x\left(i\right)p_y\left(j\right)\log \left\{p_x\left(i\right)p_y\left(j\right)\right\};$

14）最大相关系数2

F₁₄＝(矩阵Q的第二大特征值)^1/2        (15)

其中，Q矩阵的计算式为：

$Q(i,j)=\underset{k}{\mathrm{\Σ}}\frac{p(i,k)p(j,k)}{p_x\left(i\right)p_y\left(k\right)}$

步骤四、对步骤三的ROI纹理特征样本分类；采用神经网络的方法分别对T1WI、T2WI、动脉期、门静脉期、平衡期五种序列的ROI样本分类；下面以T1WI序列图像为例说明分类过程；首先，将个体图像数据集分为训练集和测试集；训练集个体的ROI样本纹理特征用于训练神经网络，生成神经网络模型；然后，将测试集个体T1WI序列图像经过步骤一至步骤三后得到的ROI纹理特征作为神经网络模型的输入，得出测试集个体所有的ROI分类结论；最后，将测试集与训练集个体互换，再进行一次神经网络分类，从而得到所有个体T1WI序列的ROI分类结论；对于T2WI、动脉期、门静脉期、平衡期序列，采取相同的操作，从而得到每个个体的T1WI、T2WI、动脉期、门静脉期、平衡期序列的ROI分类结论；

步骤五、根据投票机制，统一同一个体同一序列图像的ROI样本分类结论；下面以T1WI序列图像为例说明该过程；由于每个个体都有多个T1WI图像的ROI及其相应的ROI分类结论，所以，根据投票机制，即同一个体中的T1WI序列图像的少数ROI类别服从多数ROI类别，确定测试集中的每个个体T1WI序列的个体分类结论；对于T2WI、动脉期、门静脉期、平衡期序列，采取相同的操作，从而得到每个个体的T1WI、T2WI、动脉期、门静脉期、平衡期序列的个体分类结论，即每个个体的将有五个个体分类结论；

步骤六、通过C4.5决策树融合同一个体五种序列图像的样本分类结论，从而得到该个体分类结果，即利用个体训练集中的每个个体的五种序列图像的个体分类结果训练出C4.5决策树；C4.5决策树采用信息增益率算子作为属性选择的度量；设样本集X由c类样本组成，类别分别为w₁,w₂,...w_c，各类的概率分别为P₁,P₂,...P_c，X的分类信息熵为

$H\left(X\right)=-\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{P}_i{\log }_2{P}_i---\left(16\right)$

设属性A有m个不同取值，根据属性的m个不同取值将样本X分划成m个集合X₁,X₂,...X_m，令

,i＝1,2,...m；

,j＝1,2,...c；|Z|表示样本集Z中样个数，用属性A将样本集X划分之后，样本集X的信息熵为

$H(X,A)=-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{p}_i\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{p}_{\mathrm{ij}}{\log }_2{p}_{\mathrm{ij}}\widehat{=}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{p}_{i}H\left(X_i\right)---\left(17\right)$

样本集X的分类信息熵的减小量（熵差）为gain(X,A)

gian(X,A)＝H(X)-H(X,A)           (18)

决策树T的信息熵H(T)为各叶节点处信息熵的加权和

$H\left(T\right)=\underset{i=1}{\overset{m^{\′}}{\mathrm{\Σ}}}\frac{\left|X_i\right|}{\left|X\right|}H\left(X_i\right)---\left(19\right)$

原决策树T生长成新的决策树T'，考察决策树T'的信息熵H(T')

$\begin{array}{c}H\left(T^{\′}\right)=\underset{i=1}{\overset{m^{\′}+m-1}{\mathrm{\Σ}}}\frac{\left|{X^{\′}}_i\right|}{\left|X\right|}H\left({X^{\′}}_i\right)\\ =\underset{i=1}{\overset{m^{\′}}{\mathrm{\Σ}}}\frac{\left|X_i\right|}{\left|X\right|}H\left(X_i\right)-\frac{\left|X_j\right|}{\left|X\right|}H\left(X_j\right)+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\frac{\left|{X^{\′}}_i\right|}{\left|X\right|}H\left({X^{\′}}_i\right)\\ =H\left(T\right)-\frac{\left|X_j\right|}{\left|X\right|}[H\left(X_j\right)-H(X_j,A)]\\ =H\left(T\right)-\frac{\left|X_j\right|}{\left|X\right|}\mathrm{gain}(X_j,A)\end{array}---\left(20\right)$

在节点(X_j,Q_j)处分裂生长时，选择具有最小信息熵增益算子GainRatio(X,A)作为属性选择准则；

$\mathrm{GainRatio}(X,A)=\frac{\mathrm{gain}(X,A)}{\mathrm{SplitInfo}(X,A)}---\left(21\right)$

其中，分裂信息SplitInfo(X,A)为

$\mathrm{SplitInfo}(X,A)=-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\frac{\left|X_i\right|}{\left|X\right|}{\log }_2\frac{\left|X_i\right|}{\left|X\right|}---\left(22\right)$

其中，T1WI、T2WI、动脉期、门静脉期、平衡期这五种序列将作为决策树的分类属性，将测试集中每个个体的五种分类结果作为决策树的输入，从而测试集中的每个个体得到最终的一个分类结果，交换测试集个体与训练集个体，再进行一次决策树融合，从而得到所有个体的最终分类结果。

本发明的有益效果是：本发明利用MRI的T1WI、T2WI、动脉期、门静脉期、平衡期图像实现多序列MRI的图像计算机辅助判断。实现对人体异常结构的三分类，即Ⅰ型、Ⅱ型和Ⅲ型。（1）信息丰富。采用MRI影像手段，并充分利用MRI多序列特性。MRI技术具有对软组织分辨率高，并可提供出多参数、多序列、多方位的成像，是图像计算机辅助判断分类方法的重要发展方向之一。同时，本发明利用MRI的T1WI、T2WI、动脉期、门静脉期、平衡期共五种序列，根据各个序列对异常结构的不同表现，做出更准确的分类。（2）层次分明。本发明通过三层次分析的结构，多角度全方位识别，包含：最底层异常结构区域层的ROI处理，中级多序列MRI分类层以及最高级的个体分类三个层次以完成多序列MRI的图像计算机辅助判断。（3）分类器组合方式。本发明将神经网络、投票机制和决策树结合的分类器组合方式。在分类时，这种组合的分类器能根据MRI中异常结构的不同阶段选择五种序列中具有最佳区分性能的序列作为该阶段的分类属性，从而能够保证该方法对异常结构的分类性能。本发明具有信息丰富，层次分明，分类正确率高等优点。

附图说明

图1是三层次示意图，图2是个体图像序列关系图，图3是神经网络训练流程图，图4是TIWI序列图像神经网络测试流程图，图5是决策树的训练和测试流程图，图6是框选ROI示意图。

具体实施方式

下面结合附图和技术方案详细说明本发明的具体实施。本发明利用MRI的T1WI、T2WI、动脉期、平衡相位期、门静脉期五种序列对异常结构分类。MRI包含细胞密度、脂肪、血流等大量的数字与形态信息，对软组织分辨率高，并可提供多参数、多序列、多方位的成像，已成为国际上异常结构判断的重要手段之一。同时，异常结构在这五种MRI序列中的表现各有优势。本发明所提供的基于多序列MRI的多层次三分类的图像计算机辅助判断分类方法从ROI处理、多序列MRI分类和个体分类三个层次进行，如图1所示。

一、在ROI处理层进行特征提取，包括ROI提取和ROI纹理特征提取两部分。

1、ROI提取

如图2所示，每个个体，都包含T1WI、T2WI、动脉期、门静脉期、平衡期五种序列，首先从这五种序列中，人工筛选出结构较清晰的图像；然后分别针对五种序列图像手工选取异常结构ROI。由此，每个个体的每一种序列都有多个ROI。同时，由于个体数量有限，为了提取尽量多的ROI，需根据图像中异常结构区域的大小调整ROI大小。由于图像集的限制，本发明所使用的ROI大小有30×30和60×60两种。

2、ROI纹理特征提取

本发明采用基于GLCM的纹理特征以建模异常结构ROI的纹理表现，包括[0°、45°、90°、135°]四个方向共56个GLCM的纹理特征。其中，每一方向提取14种纹理特征，如公式（2）至公式（15）所示，包括角二阶矩、对比度、相关性、方差、逆差矩、和平均、和方差、和熵、熵、差平均、差熵、互信息度量和最大相关系数。

二、在多序列MRI分类层，本发明采用神经网络分类方法，分别对五种序列图像的ROI纹理特征分类，并利用投票机制融合同一个体的同一序列图像样本的分类结论。

下面以T1WI序列图像为例说明分类过程。首先，将个体分为训练集和测试集。训练集个体经过ROI处理层后得到的ROI样本纹理特征用于训练神经网络，生成神经网络模型I，如图3所示。然后，将测试集个体T1WI序列图像经ROI处理层后得到的ROI纹理特征作为神经网络模型I的输入，得出测试集个体所有的ROI分类结论，如图4所示。最后，将测试集与训练集个体互换，再进行一次神经网络分类，从而得到所有个体T1WI序列的ROI分类结论。由于每个个体都有多个T1WI图像的ROI及其相应的ROI分类结论，所以，根据投票机制，即同一个体中的T1WI序列图像的少数ROI类别服从多数ROI类别，确定测试集中的每个个体T1WI序列的个体分类结论。对于T2WI、动脉期、门静脉期、平衡期序列，采取相同的操作，从而得到每个个体的T1WI、T2WI、动脉期、门静脉期、平衡期序列的个体分类结论，即每个个体将有五个个体分类结论。

三、在个体分类层，本发明通过C4.5决策树融合同一个体五种序列图像的样本分类结论，从而得到该个体的分类结果。首先，利用公式（16）至公式（22），将训练集中的每个个体的五种个体分类结果作为输入训练出C4.5决策树K，如图5所示。其中，T1WI、T2WI、动脉期、门静脉期、平衡期这五种序列将作为决策树的分类属性，将测试集中每个个体的五种分类结果作为决策树K的输入，从而测试集中的每个个体得到最终的一个分类结果，交换测试集个体与训练集个体，再进行一次决策树融合，从而得到所有个体的最终分类结果。

下面结合具体实例对本发明做进一步详细说明。

在具体实例中，本发明采用1.5T和3.0T的MRI扫描设备获取的48例个体的影像序列数据。其中，临床确诊为Ⅰ型的为26例，Ⅱ型13例，Ⅲ型为9例。所有个体均进行了多序列MR扫描，包括常规MR平扫T1WI和T2WI及Gd-DTPA三期增强扫描（动脉期、门静脉期和平衡期）。扫描顺序为首先进行T1WI和T2WI平扫图像扫描，然后，注入Gd-DTPA后的25s、65s和120s，分别进行动脉期、门静脉期和平衡期三期动态增强扫描。

如图2-图6所示，本发明包括以下步骤：

第一步，从图像数据集MRI的T1WI、T2WI、动脉期、门静脉期、平衡期五种序列中按扫描顺序人工选取异常结构清晰的层面图像；在具体实例中，本发明共选取332幅图像。T1WI图像93幅，其中，Ⅰ型个体37幅，Ⅱ型个体36幅，Ⅲ型个体20幅；T2WI图像64幅，其中，Ⅰ型个体24幅，Ⅱ型个体25幅，Ⅲ型个体15幅；动脉期图像59幅，其中，Ⅰ型个体23幅，Ⅱ型个体20幅，Ⅲ型个体16幅；门静脉期图像57幅，其中，Ⅰ型个体21幅，Ⅱ型个体22幅，Ⅲ型个体14幅；平衡期图像59幅，其中，Ⅰ型个体22幅，Ⅱ型个体20幅，Ⅲ型个体17幅。

第二步，根据具体图像中异常结构的均匀性与面积，对第一步中选出的图像手工选取30×30或60×60大小的ROI，如图6所示。由于可用序列图像数量的局限性，本发明在提取ROI时，并不局限于每幅图像只能提取一个ROI，而是对于同一幅图像，尽量提取多个ROI。在具体实例中，共提取765个ROI。其中，Ⅰ型T1WI序列包括91个，T2WI序列44个，动脉期序列78个，门静脉期序列77个，平衡期序列22个，共365个ROI；Ⅱ型T1WI序列44个，T2WI序列23个，动脉期序列40个，门静脉期序列35个，平衡期序列39个，共181个；Ⅲ型T1WI序列53个，T2WI序列34个，动脉期序列38个，门静脉期序列38个，平衡期序列56个，共219个。

第三步，提取第二步中得到的每个ROI样本的四个方向[0°、45°、90°、135°]的GLCM的纹理特征，共56维纹理特征，其中每一方向提取14种纹理特征。在具体实例中个，本发明共提取了765个ROI样本的纹理特征，生成分别代表Ⅰ型、Ⅱ型和Ⅲ型的365×58、181×58、219×58大小的三个矩阵，其中，每个矩阵的最后两列分别为该样本所属的个体编号以及该ROI在所属个体中的序号，以方便后续分类时查看数据。

第四步，利用第三步的纹理特征对每个ROI样本进行分类，分类类别为Ⅰ型、Ⅱ型和Ⅲ型。利用神经网络分类方法，采取对T1WI、T2WI、动脉期、门静脉期、平衡期这五种序列图像分别分类的方法。下面以T1WI序列为例说明分类过程。首先，将个体分为训练集和测试集。将训练集个体用于训练神经网络，如图3所示。然后，针对训练集个体的T1WI图像序列进行筛选，得到具有结构清晰的T1WI图像，对上述图像提取ROI及相应的GLCM的纹理特征后，用该纹理特征训练出神经网络模型I。然后，如图4所示，将测试集个体T1WI序列图像得到的ROI纹理特征作为神经网络模型I的输入，得到测试集个体所有的ROI分类结论。交换训练集与测试集个体，从而得到个体的所有ROI分类结论。对T2WI、动脉期、门静脉期和平衡期采取相同操作，从而得到五种序列的所有个体共765个ROI的分类类别。

第五步，确定同一个体同一种序列图像的个体分类结论。同样以T1WI序列为例，鉴于每个个体都有多个T1WI序列图像ROI及其相应的ROI分类类别，所以，根据投票机制，确定测试集中的每个个体T1WI序列的个体分类结论。对于T2WI、动脉期、门静脉期、平衡期序列，采取相同的操作，从而得到每个个体的T1WI、T2WI、动脉期、门静脉期、平衡期序列的个体分类结果，即每个个体将有五个个体分类结论。在具体实例中，个体的五种序列图像分类结论错误率较高，其中，Ⅰ型类别，1例个体的T1WI序列分错，5例个体的动脉期序列分错，9列个体的门静脉期序列分错，8例个体平衡期序列分错；Ⅱ型类别初步分类均正确；Ⅲ型类别，1例个体的T1WI序列分错，1例个体的动脉期序列分错，4例个体的门静脉期序列分错，3例个体的平衡期序列分错。由此可知，神经网络分类结论还需要进一步处理。

第六步，决策树分类获取个体的最终分类结果。首先利用训练集中的每一个体的五种序列图像的分类结果训练出C4.5决策树K，如图5所示。其中，T1WI、T2WI、动脉期、门静脉期、平衡期这五种序列将作为决策树的分类属性。然后，将测试集中每一个体的五种序列图像的分类结果作为决策树K的输入，从而得到每个个体最终的一个分类结果。在具体实例中，本发明的正确率为95.83%。

本发明是在数字图像处理和模式识别框架下，集成MRI的T1WI、T2WI、动脉期、门静脉期、平衡期五种序列，依照ROI处理、多序列MRI分类和个体分类三个层次，借助神经网络、投票机制和决策树，提出多序列MRI的图像计算机辅助判断方法，具有信息丰富，层次分明，分类正确率高等优点。

Claims (1)

1.一种多序列核磁共振影像的图像计算机辅助判断方法，其特征在于，该判断方法是在数字图像处理和模式识别框架下，集成MRI的T1WI、T2WI、动脉期、门静脉期、平衡期五种序列，依照ROI处理、多序列MRI分类和个体分类三个层次，借助神经网络、投票机制和决策树，提出三类计算机辅助判断方法；具体步骤如下：

步骤一、从个体图像数据集MRI的T1WI、T2WI、动脉期、门静脉期、平衡期五种序列中按图像扫描顺序人工筛选出结构清晰的图像；

步骤二、利用步骤一筛选出的具体图像，根据异常结构的均匀性与面积，对图像手工提取ROI，同时，需根据图像中异常结构均匀区域的大小调整ROI大小；

步骤三、提取步骤二中ROI样本的[0°、45°、90°、135°]共56维灰度共生矩阵的纹理特征，图像中第i行j列元素的灰度共生矩阵计算公式为：

P(i,j,λ,θ)＝{[(x,y),(x+dx,y+dy)]|f(x,y)＝i,f(x+dx,y+dy)＝j}   (1)

其中，(x,y)是图像中每个像素点的坐标，θ为方向，λ为步长，dx和dy分别是步长λ方向θ在x和y方向上的投影；基于灰度共生矩阵的[0°、45°、90°、135°]四个方向的共56维纹理特征在每个方向上分别提取14种纹理特征，包括角二阶矩、对比度、相关性、方差、逆差矩、和平均、和方差、和熵、熵、差平均、差熵、互信息度量和最大相关系数；

1）角二阶矩

$F_1=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{\left\{p(i,j)\right\}}^2---\left(2\right)$

其中，p(i,j)为正规化的灰度共生矩阵；

2）对比度

$F_2=\underset{n=0}{\overset{N_{g-1}}{\mathrm{\Σ}}}{n}^2\left\{\underset{i=1}{\overset{N_g}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_g}{\mathrm{\Σ}}}p(i,j)\right\},|i-j|=n---\left(3\right)$

3）相关性

$F_3=\frac{\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\left(\mathrm{ij}\right)p(i,j)-{\mathrm{\μ}}_x{\mathrm{\μ}}_y}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}---\left(4\right)$

其中，μ_x和σ_x是p_x的均值与方差，μ_y和σ_y是p_y的均值与方差；

${\mathrm{\μ}}_x=\underset{i=1}{\overset{N_g}{\mathrm{\Σ}}}i*\underset{j=1}{\overset{N_g}{\mathrm{\Σ}}}p(i,j),{\mathrm{\σ}}_x^2={(i-{\mathrm{\μ}}_x)}^2{\mathrm{\μ}}_x$

${\mathrm{\μ}}_y=\underset{j=1}{\overset{N_g}{\mathrm{\Σ}}}j*\underset{i=1}{\overset{N_g}{\mathrm{\Σ}}}p(i,j),{\mathrm{\σ}}_y^2={(j-{\mathrm{\μ}}_y)}^2{\mathrm{\μ}}_y$

4）方差

$F_4=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{(i-\mathrm{\μ})}^{2}p(i,j)---\left(5\right)$

其中，μ为p(i,j)的均值；

5）逆差矩

$F_5=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}\frac{1}{1+{(i-j)}^2}p(i,j)---\left(6\right)$

6）和平均

$F_6=\underset{i=2}{\overset{2L}{\mathrm{\Σ}}}i{p}_{x+y}\left(i\right)---\left(7\right)$

其中，

k＝2,3,...,2L,i+j＝k，L为图像的灰度级数量；

7）和方差

$F_7=\underset{i=2}{\overset{{2N}_g}{\mathrm{\Σ}}}{(i-f_8)}^2{p}_{x+y}\left(i\right)---\left(8\right)$

8）和熵

$F_8=-\underset{i=2}{\overset{2L}{\mathrm{\Σ}}}{p}_{x+y}\left(i\right)\log \left\{p_{x+y}\left(i\right)\right\}---\left(9\right)$

9）熵

$F_9=-\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}p(i,j)\log \left(p(i,j)\right)---\left(10\right)$

10）差平均

F₁₀＝Var(p_x-y)          (11)

其中，

k＝0,1,...,L-1,|i-j|＝k

11）差熵

$F_{11}=-\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{p}_{x-y}\left(i\right)\log \left\{p_{x-y}\left(i\right)\right\}---\left(12\right)$

12）互信息度量

$F_{12}=\frac{\mathrm{HXY}-\mathrm{HXY}1}{\max \{\mathrm{HX},\mathrm{HY}\}}---\left(13\right)$

其中，HX，HY分别是p_x和p_y的熵；

$\mathrm{HXY}=-\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}p(i,j)\log \left(p(i,j)\right)$

$\mathrm{HXY}=-\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}p(i,j)\log \left(p(i,j)\right)$

$p_x\left(i\right)=\underset{j=1}{\overset{L}{\mathrm{\Σ}}}p(i,j),p_y\left(i\right)=\underset{i=1}{\overset{L}{\mathrm{\Σ}}}p(i,j)$

13）最大相关系数1

F₁₃＝(1-exp[-2.0(HXY2-HXY)])          (14)

其中， $\mathrm{HXY}2=-\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{p}_x\left(i\right)p_y\left(j\right)\log \left\{p_x\left(i\right)p_y\left(j\right)\right\};$

14）最大相关系数2

F₁₄＝(矩阵Q的第二大特征值)^1/2            (15)

其中，Q矩阵的计算式为：

$Q(i,j)=\underset{k}{\mathrm{\Σ}}\frac{p(i,k)p(j,k)}{p_x\left(i\right)p_y\left(k\right)}$

步骤四、对步骤三的ROI纹理特征样本分类；采用神经网络的方法分别对T1WI、T2WI、动脉期、门静脉期、平衡期五种序列的ROI样本分类；下面以T1WI序列图像为例说明分类过程；首先，将个体图像数据集分为训练集和测试集；训练集个体的ROI样本纹理特征用于训练神经网络，生成神经网络模型；然后，将测试集个体T1WI序列图像经过步骤一至步骤三后得到的ROI纹理特征作为神经网络模型的输入，得出测试集个体所有的ROI分类结论；最后，将测试集与训练集个体互换，再进行一次神经网络分类，从而得到所有个体T1WI序列的ROI分类结论；对于T2WI、动脉期、门静脉期、平衡期序列，采取相同的操作，从而得到每个个体的T1WI、T2WI、动脉期、门静脉期、平衡期序列的ROI分类结论；

步骤五、根据投票机制，统一同一个体同一序列图像的ROI样本分类结论；下面以T1WI序列图像为例说明该过程；由于每个个体都有多个T1WI图像的ROI及其相应的ROI分类结论，所以，根据投票机制，即同一个体中的T1WI序列图像的少数ROI类别服从多数ROI类别，确定测试集中的每个个体T1WI序列的个体分类结论；对于T2WI、动脉期、门静脉期、平衡期序列，采取相同的操作，从而得到每个个体的T1WI、T2WI、动脉期、门静脉期、平衡期序列的个体分类结论，即每个个体的将有五个个体分类结论；

步骤六、通过C4.5决策树融合同一个体五种序列图像的样本分类结论，从而得到该个体分类结果，即利用个体训练集中的每个个体的五种序列图像的个体分类结果训练出C4.5决策树；C4.5决策树采用信息增益率算子作为属性选择的度量；设样本集X由c类样本组成，类别分别为w₁,w₂,...w_c，各类的概率分别为P₁,P₂,...P_c，X的分类信息熵为

$H\left(X\right)=-\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{P}_i{\log }_2{P}_i---\left(16\right)$

设属性A有m个不同取值，根据属性的m个不同取值将样本X分划成m个集合X₁,X₂,...X_m，令

,i＝1,2,...m；

,j＝1,2,...c；|Z|表示样本集Z中样个数，用属性A将样本集X划分之后，样本集X的信息熵为

$H(X,A)=-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{p}_i\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{p}_{\mathrm{ij}}{\log }_2{p}_{\mathrm{ij}}\widehat{=}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{p}_{i}H\left(X_i\right)---\left(17\right)$

样本集X的分类信息熵的减小量（熵差）为gain(X,A)

gian(X,A)＝H(X)-H(X,A)          (18)

决策树T的信息熵H(T)为各叶节点处信息熵的加权和

$H\left(T\right)=\underset{i=1}{\overset{m^{\′}}{\mathrm{\Σ}}}\frac{\left|X_i\right|}{\left|X\right|}H\left(X_i\right)---\left(19\right)$

原决策树T生长成新的决策树T'，考察决策树T'的信息熵H(T')

$\begin{array}{c}H\left(T^{\′}\right)=\underset{i=1}{\overset{m^{\′}+m-1}{\mathrm{\Σ}}}\frac{\left|{X^{\′}}_i\right|}{\left|X\right|}H\left({X^{\′}}_i\right)\\ =\underset{i=1}{\overset{m^{\′}}{\mathrm{\Σ}}}\frac{\left|X_i\right|}{\left|X\right|}H\left(X_i\right)-\frac{\left|X_j\right|}{\left|X\right|}H\left(X_j\right)+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\frac{\left|{X^{\′}}_i\right|}{\left|X\right|}H\left({X^{\′}}_i\right)\\ =H\left(T\right)-\frac{\left|X_j\right|}{\left|X\right|}[H\left(X_j\right)-H(X_j,A)]\\ =H\left(T\right)-\frac{\left|X_j\right|}{\left|X\right|}\mathrm{gain}(X_j,A)\end{array}---\left(20\right)$

在节点(X_j,Q_j)处分裂生长时，选择具有最小信息熵增益算子GainRatio(X,A)作为属性选择准则；

$\mathrm{GainRatio}(X,A)=\frac{\mathrm{gain}(X,A)}{\mathrm{SplitInfo}(X,A)}---\left(21\right)$

其中，分裂信息SplitInfo(X,A)为

$\mathrm{SplitInfo}(X,A)=-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\frac{\left|X_i\right|}{\left|X\right|}{\log }_2\frac{\left|X_i\right|}{\left|X\right|}---\left(22\right)$

其中，T1WI、T2WI、动脉期、门静脉期、平衡期这五种序列将作为决策树的分类属性，将测试集中每个个体的五种分类结果作为决策树的输入，从而测试集中的每个个体得到最终的一个分类结果，交换测试集个体与训练集个体，再进行一次决策树融合，从而得到所有个体的最终分类结果。

Images