CN108197629B - 一种基于标签相关性约束张量分解的多模态医学影像特征提取方法 - Google Patents

Abstract

本发明公开了一种基于标签相关性约束张量分解的多模态医学影像特征提取方法，属于医学图像技术领域；本发明结合不同模态的图像综合分析，获取关于医学图像特征区域更丰富的融合数据，并结合标签约束对数据进行投影，提取具有特定意义的特征，进而提出一种基于标签相关性约束张量分解的多模态医学影像特征提取和分类方法，这种方法兼顾多种模态医学影像提供的特征区域信息，利用该特征区域标签信息有针对性的将原始数据投影到新的特征空间，在此基础上进行对应标签模型的训练，更加符合医学上的针对性。

Description

一种基于标签相关性约束张量分解的多模态医学影像特征提 取方法

技术领域

本发明涉及医学图像技术领域，具体涉及一种基于标签相关性约束张量分解的多模态医学影像特征提取方法。

背景技术

随着医学成像技术、数学应用技术以及人工智能技术的发展，将计算机技术应用于医学图像的特征提取和分类成为当前研究热点。

医学成像技术为临床诊断提供了多种模态的医学影像，如CT(计算机X线断层扫描)、MRI(核磁共振成像)、SPECT(单光子发射计算机断层成像)、PET(正电子发射计算机断层扫描)、超声图像等。不同的医学影像提供了相关脏器的不同信息，比如CT和MRI以较高的空间分辨率提供了脏器的解剖结构信息，而PET虽然空间分辨率较差，但提供了脏器的新陈代谢功能信息。而在实际临床应用中，单一模态的图像往往不能提供医生诊断所需要的足够信息，通常需要结合不同模态的图像综合分析，获取关于解病变组织或器官更丰富的融合信息。

张量理论是数学的一个分支学科，最初是应用于力学和物理学的一个有力的数学工具，近几年张量已被应用于数据挖掘、打分推荐系统和图像处理方面。张量分解是张量理论的一个重要方面，可以看作对高维数据的一种低秩逼近。目前大多数分解算法都是基于CP分解和Tucker分解的，其中张量的Tucker分解将张量分解为核心张量和模式因子矩阵的多模式乘法，张量本质是不变的量，所以核心张量的选取不同，分解后的因子矩阵意义也不同。基于张量特征提取希望能选取有意义的核心张量，也就是子空间，使得数据在子空间的投影具有某种有意义的解释。

而在计算机技术方面，基于数据的模式识别方法是当前研究热点。最具代表性的模式识别方法有人工神经网络(ANN)、支持向量机(SVM)、近邻算法、随机森林、Boosting方法等；图像特征包括颜色特征、形状特征、纹理特征、空间关系特征，常用的图像特征方法是以HOG、Harr、LoG、LBP、SIFT等算子为核心的特征提取算法，这些分类算法和特征提取算法在包括医学图像领域在内的各个领域得到了广泛的应用。

发明内容

本发明的目的在于提供一种基于标签相关性约束张量分解的多模态医学影像特征提取和分类方法，将多模态医学影像表示成张量，张量蕴含了相关脏器或病灶的不同信息，并使用基于标签相关性约束的张量分解方法对多模态医学影像进行分解，获取基于标签约束的多模态图像特征。多模态医学影像主要包含核磁动态增强扫描(MRI-DCE)的多期影像、磁共振弹性成像(MRE)、T1WI、T2WI等。

为了实现上述目的，本发明采用以下技术方案：上述多模态医学影像原始数据为DICOM 格式，针对其数据特点对各个模态数据进行预处理和归一化；然后将预处理后的数据表示成张量形式；对蕴含多模态影像数据信息的张量进行带标签约束的张量分解方法得到标签约束下的核心张量，也即子空间；将原始张量投影到该子空间，得到在子空间下的原始数据对应的特征；用子空间下的特征数据训练分类器。

一种基于标签相关性约束张量分解的多模态医学影像特征提取方法，包括以下步骤：

步骤1，多模态医学影像预处理及张量构造。

步骤1.1，读取多模态医学DICOM格式图像。

步骤1.2，根据标注信息提取图像待提取区域并对多模态图像进行归一化。

步骤1.3，用张量形式表示归一化后的多模态图像数据。

步骤2，带标签约束的张量分解及特征空间数据投影。

步骤2.1，对步骤1得到的张量进行带标签约束的张量分解得到核心张量。

步骤2.2，将张量数据投影到核心张量对应的子空间上。

步骤2.3，用投影空间上的数据作为训练数据训练分类器。

步骤3，多模态医疗影像融合。

步骤3.1，提取多模态影像数据的候选区域。

步骤3.2，将候选区域投影到子空间上，输入步骤2训练好的分类器中得出待提取区域的提取结果。

与现有技术相比，本发明具有以下明显优势：

本发明结合不同模态的图像综合分析，获取关于医学图像特征区域更丰富的融合数据，并结合标签约束对数据进行投影，提取具有特定意义的特征，进而提出一种基于标签相关性约束张量分解的多模态医学影像特征提取和分类方法，这种方法兼顾多种模态医学影像提供的特征区域信息，利用该特征区域标签信息有针对性的将原始数据投影到新的特征空间，在此基础上进行对应标签模型的训练，更加符合医学上的针对性。

附图说明

图1为本发明所涉及方法的流程图；

图2为三线性插值示意图；

图3为张量分解示意图；

图4候选区域提取示意图。

图5为实施对比图。

具体实施方式

以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明所述方法的流程图如图1所示，具体包括以下步骤：

步骤1，多模态医学影像预处理及张量构造。

步骤1.1，读取多模态医学DICOM格式图像。

所使用的数据为DICOM数据的存储位宽10～12bit，因此即使不做窗宽窗位转换也需要将10～12bit的数据映射到8bit来显示，根据医生阅片经验，针对图像的特征做不同的窗宽窗位变换，变换公式如下：

其中，V为图像数据；G(V)为显示器的显示值；255为显示器的最大显示值；W为窗宽；C 为窗位。也可以进行非线性窗宽窗位变换表达式为：

其中，γ为非线性参数，当γ＝1时，此变换即为线性变换。

步骤1.2，根据标注信息提取图像特征区域并对多模态图像进行归一化。

根据标注的图像特征区域位置从各个模态的DICOM数据中提取特征区域像素信息。由于不同模态医学影像数据存在扫描层厚度和分辨率的差异，需要对不同模态数据进行尺度归一化，对于层厚过厚或者分辨率过低的图像采用三线性插值方法，如图2所示的一个步距为 1的周期性立方网格上，设x,y,z分别表示插值后立体图像中体素点的空间坐标，取x_d,y_d,z_d为待计算点(x,y,z)距离小于该位置坐标数值的最大整数的差值，即图中(x,y,z)点距离 (0,0,0)点的距离，具体计算公式为：

其中

为向下取整符号。

首先沿着z轴插值，得到：

其中v[x,y,z]为图像中坐标为(x,y,z)点的像素值，i₁,i₂,j₁,j₂均为中间变量，

为向上取整符号。

然后沿着y轴方向插值得到：

其中的w₁,w₂同样为中间变量，最后沿着x轴插值得到：

I＝w₁(1-x_d)+w₂x_d.

这里的I即为经过插值之后(x,y,z)点的值。

这样就将不同模态数据进行任意尺度的归一化方便后续操作。

步骤1.3，用张量形式表示归一化后的多模态影像数据。

将步骤1.2中的多模态数据在某一个维度上拼接成高一阶的张量，在另一个维度按照样本个体拼接成张量形式的数据集。

步骤2，带标签约束的张量分解及特征空间数据投影。

步骤2.1，对步骤1得到的张量进行带标签约束的张量分解得到核心张量。

对核心张量形式的数据集进行Tucker张量分解：

T≈G×₁U⁽¹⁾×₂U⁽²⁾×₃…×_N+1U^(N+1)

其中

是一个核张量，其中J_n为每阶的维度，这里n∈{1,…,N}且J_n＜rank_(n)(X)，以三阶张量为例，Tucker分解示意图如图3所示。

在张量分解的基础上采用基于最大的优化目标函数，即对Tucker分解因子矩阵加上相关性约束，得到与图像特征相关的张量分解方法，也即核心张量。基于该张量分解方法，对M 组影像张量构成的N+1阶张量T进行特征相关性约束的Tucker分解，则优化目标函数如下：

其中b,ξ₁,…,ξ_N+1均为优化参数，c为固定常量，

表示第k种影像特征的第i个样本的特征标签，

为因子矩阵，G为Tucker分解的核心张量，对应特定影像特征需要投影的子空间，目标函数中将特征标签

作为张量分解的约束条件，约束张量分解过程，使用特征标签约束的目标函数进行张量分解，求得特定的张量投影空间用于图像的特征投影。

步骤2.2，将张量数据投影到核心张量对应的子空间上。

求出张量分解的投影矩阵

张成了描述多模态影像数据的 NAFLD对应的特征空间，对需要标注影像数据进行投影。

步骤2.3，用投影空间上的数据作为训练数据训练分类器。

步骤3，多模态医疗影像融合输出。

步骤3.1，提取多模态影像数据的候选区域。

对于图像特征待判断的多模态医学影像数据，首先，采用滑动窗口或者SelectiveSearch 方法确定候选区域，其中使用Selective Search方法确定候选区域如图4所示。

步骤3.2，将候选区域投影到子空间上，输入步骤2训练好的分类器中得出区域输出结果。

以非酒精性脂肪肝的影像图像为例，对多模态影像数据(MRI的DCE、IDEAL-IQIVIM等)将多个模态数据的张量

作为输入；根据三种NAFLD诊断目标给出输出标签，即NASH诊断、炎症程度(三类)和纤维化分期(五期)：NASH诊断记为y¹，其中y¹∈{0,1}、炎症程度，记为y²，其中y²∈{C₁,C₂,C₃}、纤维化分期记为y³，其中y³∈{F₁,F₂,F₃,F₄}，M 组影像张量及其输出标签构成了张量型训练样本集

将M组影像张量数据集S的样本数据进行拼接构造为阶张量

至此，本发明的具体实施过程就描述完毕。

Claims (1)

1.一种基于标签相关性约束张量分解的多模态医学影像特征提取方法，其特征在于：该方法包括以下步骤：

步骤1，多模态医学影像预处理及张量构造；

步骤1.1，读取多模态医学DICOM格式图像；

步骤1.2，根据标注信息提取图像待提取区域并对多模态图像进行归一化；

步骤1.3，用张量形式表示归一化后的多模态图像数据；

步骤2，带标签约束的张量分解及特征空间数据投影；

步骤2.1，对步骤1得到的张量进行带标签约束的张量分解得到核心张量；

步骤2.2，将张量数据投影到核心张量对应的子空间上；

步骤2.3，用投影空间上的数据作为训练数据训练分类器；

步骤3，多模态医疗影像融合；

步骤3.1，提取多模态影像数据的候选区域；

步骤3.2，将候选区域投影到子空间上，输入步骤2训练好的分类器中得出待提取区域的提取结果；

该方法具体包括以下步骤：

步骤1，多模态医学影像预处理及张量构造；

步骤1.1，读取多模态医学DICOM格式图像；

所使用的数据为DICOM数据的存储位宽10～12bit，因此即使不做窗宽窗位转换也需要将10～12bit的数据映射到8bit来显示，根据医生阅片经验，针对图像的特征做不同的窗宽窗位变换，变换公式如下：

2≤V≤C+W/2

其中，V为图像数据；G(V)为显示器的显示值；255为显示器的最大显示值；W为窗宽；C为窗位；进行非线性窗宽窗位变换表达式为：

其中，γ为非线性参数，当γ＝1时，此变换即为线性变换；

步骤1.2，根据标注信息提取图像特征区域并对多模态图像进行归一化；

根据标注的图像特征区域位置从各个模态的DICOM数据中提取特征区域像素信息；由于不同模态医学影像数据存在扫描层厚度和分辨率的差异，需要对不同模态数据进行尺度归一化，对于层厚过厚或者分辨率过低的图像采用三线性插值方法，一个步距为1的周期性立方网格上，设x,y,z分别表示插值后立体图像中体素点的空间坐标，取x_d,y_d,z_d为待计算点x,y,z距离小于该位置坐标数值的最大整数的差值，即图中x,y,z点距离(0,0,0)点的距离，具体计算公式为：

其中

为向下取整符号；

首先沿着z轴插值，得到：

其中v[x,y,z]为图像中坐标为(x,y,z)点的像素值，i₁,i₂,j₁,j₂均为中间变量，下文的w₁,w₂同样为中间变量，

为向上取整符号；

然后沿着y轴方向插值得到：

最后沿着x轴插值得到：

I＝w₁(1-x_d)+w₂x_d.

这里的I即为经过插值之后(x,y,z)点的值；

将不同模态数据进行任意尺度的归一化方便后续操作；

步骤1.3，用张量形式表示归一化后的多模态影像数据；

将步骤1.2中的多模态数据在某一个维度上拼接成高一阶的张量，在另一个维度按照样本个体拼接成张量形式的数据集；

步骤2，带标签约束的张量分解及特征空间数据投影；

步骤2.1，对步骤1得到的张量进行带标签约束的张量分解得到核心张量；

对核心张量形式的数据集进行Tucker张量分解：

T≈G×₁U⁽¹⁾×₂U⁽²⁾×₃…×_N+1U^(N+1)

其中

是一个核张量，其中J_n为每阶的维度，这里n∈{1,…,N}且J_n＜rank_(n)(X)；

在张量分解的基础上采用基于最大的优化目标函数，即对Tucker分解因子矩阵加上相关性约束，得到与图像特征相关的张量分解方法，也即核心张量；基于该张量分解方法，对M组影像张量构成的N+1阶张量T进行特征相关性约束的Tucker分解，则优化目标函数如下：

s.t.

其中b,ξ₁,…,ξ_N+1均为优化参数，c为固定常量，

表示第k种影像特征的第i个样本的特征标签，

为因子矩阵，G为Tucker分解的核心张量，对应特定影像特征需要投影的子空间，此目标函数将特征标签

作为张量分解的约束条件，约束张量分解过程，使用此目标函数进行张量分解，求得特定的张量投影空间用于图像的特征投影；

步骤2.2，将张量数据投影到核心张量对应的子空间上；

求出张量分解的投影矩阵

张成了描述多模态影像数据的NAFLD对应的特征空间，对需要标注影像数据进行投影；

步骤2.3，用投影空间上的数据作为训练数据训练分类器；

步骤3，多模态医疗影像融合输出；

步骤3.1，提取多模态影像数据的候选区域；

对于图像特征待判断的多模态医学影像数据，首先，采用滑动窗口或者SelectiveSearch方法确定候选区域，其中使用Selective Search方法确定候选区域；

步骤3.2，将候选区域投影到子空间上，输入步骤2训练好的分类器中得出区域输出结果。

Images