CN110717550A - 一种基于多模态图像缺失补全的分类方法 - Google Patents

Abstract

本发明提出了一种基于多模态图像缺失补全的分类方法。首先，采用多向延迟嵌入转换，捕获数据中的移位不变结构。其次，使用平滑CP分解补全高阶不完整Hankel张量，其中平滑约束有助于去除非平滑噪声。最后，利用多向延迟嵌入的逆转换恢复数据的原本阶数和尺寸，完成数据的补全。在BraTS2017数据集上进行了算法验证，我们的方法优于传统的方法，具有更好的补全效果。

Description

一种基于多模态图像缺失补全的分类方法

技术领域

本发明属于图像处理与分析技术领域，具体涉及一种基于多模态图像缺失补全的分类方法。

背景技术

在许多图像处理和计算机视觉的应用中，都需要多组输入图像来产生所需的输出。使用多模态图像进行分类可以提高分类准确率。当对多模态图像提取特征后，使用特征数据训练模型进行分类时，往往需要将具有缺失模态的特征数据丢弃掉，这就造成了数据的极大浪费。在现实生活中，再次获取缺失模态的数据是不可行的，所以通常用估算值替代缺失的特征数据，这个过程通常被称为插补。缺失值被补全后，原本应该被丢弃的特征数据可以得到利用，从而在很大程度上避免了数据的浪费。

目前在这些领域中，已经做出了相当大的努力来处理缺失的数据。比如一些众所周知的缺失值估计技术：最大期望算法，K最近邻算法，奇异值分解算法和低秩矩阵补全算法。上述传统算法虽然针对随机缺失的数据具有比较好的补全效果，但是面对特征数据的条状缺失或块状缺失，恢复效果不理想。

发明内容

针对上述问题，本发明提出了一种基于多向延迟嵌入的平滑张量CP分解模型的数据补全方法，首先通过多向延迟嵌入转换将给定的不完整N阶张量作为输入并输出2N阶的不完整Hankel张量，然后通过平滑CP分解来恢复高阶张量，最后，通过使用恢复的高阶张量的逆多向延迟嵌入变换可以获得最终补全的张量。该方法可以利用在高维空间捕获的一些延迟/移位不变结构，来恢复传统的核范数或总变差正则化方法通常无法恢复的缺失元素。

本发明采用的技术方案如下：

一种基于多模态图像缺失补全的分类方法，该方法使用多向延迟嵌入转换和平滑CP分解，捕获高维空间的移位不变结构，对数据的条状或者块状缺失进行补全，最后进行分类，具体步骤包括：

(一)数据预处理：采集多种模态的数据，进行特征提取，分别对每一种模态提取一阶统计特征和二阶纹理特征，将提取的特征依次放入张量T中，最终得到

其中N为张量的阶数，I₁,I₂,···,I_N为张量维度大小；

(二)数据随机缺失设置：每个模态随机挑选一定比例的样本，将挑选出的样本的对应模态特征做缺失处理，得到不完整的张量T；

(三)对数据进行多向延迟嵌入转换，对于张量T来说，多向延迟嵌入转换可表示为H_τ(T)＝fold_(I,τ)(T×₁S₁×₂S₂...×_NS_N),其中H_τ(T)代表将T转换为汉克尔矩阵，τ表示复制长度，S_i∈{0,1}^{τ(I-τ+1)×I}为复制矩阵，符号“×₁”，“×₂”，“×_N”分别代表张量与矩阵在第N阶上的连乘操作，

将输入的N阶张量折叠为2N阶张量；

(四)经过多向延迟嵌入转换后对张量T进行平滑CP分解：

其中X是完整的输出张量，Z是CP分解值，G为超对角核心张量，由缩放倍数g_r构成，U^(N)为因子矩阵，由分量构成,Ω代表T的可用元素的索引，代表T缺失元素的索引，

代表F范数；ρ＝[ρ⁽¹⁾,ρ⁽²⁾,...,ρ^(N)]^T代表平滑参数，p∈{1,2}是用来选择平滑约束类型的参数，当p＝1时，约束项为总变分约束，当p＝2时约束项变为二次变分约束，矩阵L⁽ⁿ⁾代表平滑约束矩阵；

为自适应因子，R代表张量CP分解中秩的个数，N为张量阶数；对目标函数使用分层交替最小二乘法求解，最后输出张量X；

(五)得到输出张量X后，通过多向延迟嵌入转换的逆过程得到最终的补全张量T，

其中

表示摩尔-彭若斯伪逆(S^TS)^-1S^T,

unfold_(I,τ)表示多向延迟嵌入的逆，

(六)得到补全后的张量T，使用支持向量机对样本进行分类。

附图说明

图1是本发明的方法进行分类的示意框图。

图2是基于多模态图像缺失补全的分类方法示意框图。

具体实施方式

下面通过附图和实例对本发明技术方案进行详细说明。

如图2所示，基于多模态图像缺失补全的分类方法具体结构与方法如下文所示：

(一)数据预处理：使用BraTS2017数据集，分别对每一种模态提取一阶统计特征和二阶纹理特征。一阶统计特征包括体积，坚固性和偏心度，二阶纹理特征包括3种全局纹理特征以及从灰度共生矩阵，灰度游程矩阵，灰度区域尺寸矩阵和邻域灰度差分矩阵中分别提取的9,13，13，5个特征，最后每个模态提取46种特征，一共得到184个特征，将提取的特征依次放入变量T中，对于提取特征后的数据来说，

其中I₁为样本个数285，I₂为特征个数184；

(二)数据随机缺失设置：每个模态随机挑选20％的样本，将挑选出的样本的对应模态特征做缺失处理，得到不完整的矩阵T；

(三)对数据进行多向延迟嵌入转换，对于矩阵T来说，多向延迟嵌入转换可表示为H_τ(T)＝fold_(I,τ)T×₁S₁×₂S₂...×_NS_N,其中H_τ(T)代表将T转换为汉克尔矩阵，τ表示复制长度，S∈{0,1}^{τ(I-τ+1)×I}为复制矩阵，假设τ＝3,I＝7时S可表示为：

符号“×₁”，“×₂”，“×_N”分别代表代表张量与矩阵在第N阶上的连乘操作，

将输入的N阶张量折叠为2N阶张量。输入步骤(一)的特征矩阵，经过多向延迟嵌入转换后得到四阶张量T；

(四)经过多向延迟嵌入转换后对张量T进行平滑CP分解：

其中X是完整的输出张量，Z是CP分解值，G为超对角核心张量，由缩放倍数g_r构成，U^(N)为因子矩阵，由分量构成。Ω代表T的可用元素的索引，

代表T缺失元素的索引，

代表F范数；ρ＝[ρ⁽¹⁾,ρ⁽²⁾,...,ρ^(N)]^T代表平滑参数，p∈{1,2}是用来选择平滑约束类型的参数，当p＝1时，约束项为总变分约束，当p＝2时约束项变为二次变分约束，矩阵L⁽ⁿ⁾代表平滑约束矩阵；

为自适应因子，R代表张量CP分解中秩的个数，N为张量阶数；对目标函数使用分层交替最小二乘法求解，最后输出张量X。

(五)得到输出的四阶张量X后，通过多向延迟嵌入转换的逆过程得到最终的补全矩阵

其中

表示摩尔-彭若斯伪逆(S^TS)^-1ST,

(六)得到补全后的矩阵T，使用支持向量机对样本进行分类。

本发明的效果可以通过实验结果进一步说明：

实验用的数据集为BraTS2017数据集，将数据随机划分为5等份，轮流将其中4份作为训练集，剩余的1份作为测试集，使用支持向量机SVM进行二分类，重复5次，将分类准确率取平均，得到最终的平均分类准确率。实验过程中与传统数据补全算法进行比较，表1记录了实验结果。其中“完整数据”代表的是直接使用完整特征数据进行分类的结果，而ZERO，KNN，EM，SVD，LRMC，HaLRTC，Hankel-Tucker均为传统方法，Hankel-SPC为本专利方法。从表中可以看到，采用本发明补全数据后，SVM分类的准确度得到了有效提升，说明基于多向延迟嵌入的张量CP分解模型的数据补全方法相对于传统数据补全算法来说，能够更好地恢复条状或者块状缺失，从而有利于分类精度的提高。

表1

Claims (1)

1.一种基于多模态图像缺失补全的分类方法，该方法使用多向延迟嵌入转换和平滑CP分解，捕获高维空间的移位不变结构，对数据的条状或者块状缺失进行补全，最后进行分类，具体步骤包括：

(一)数据预处理：采集多种模态的数据，进行特征提取，分别对每一种模态提取一阶统计特征和二阶纹理特征，将提取的特征依次放入变量T中，最终得到

其中N为张量的阶数，I₁,I₂,···,I_N为张量维度大小；

(二)数据随机缺失设置：每个模态随机挑选一定比例的样本，将挑选出的样本的对应模态特征做缺失处理，得到不完整的张量T；

(三)对数据进行多向延迟嵌入转换，对于张量T来说，多向延迟嵌入转换可表示为H_τ(T)＝fold_(I,τ)(T×₁S₁×₂S₂...×_NS_N),其中H_τ(T)代表将T转换为汉克尔矩阵，τ表示复制长度，S∈{0,1}^{τ(I-τ+1)×I}为复制矩阵，符号“×₁”，“×₂”，“×_N”分别代表张量与矩阵在第N阶上的相乘操作，

将输入的N阶张量折叠为2N阶张量；

(四)经过多向延迟嵌入转换后对张量T进行平滑CP分解：

其中X是完整的输出张量，Z是CP分解值，G为超对角核心张量，由缩放倍数g_r构成，U^(N)为因子矩阵，由分量

构成。Ω代表T的可用元素的索引，

代表T缺失元素的索引，

代表F范数；ρ＝[ρ⁽¹⁾,ρ⁽²⁾,...,ρ^(N)]^T代表平滑参数，p∈{1,2}是用来选择平滑约束类型的参数，当p＝1时，约束项为总变分约束，当p＝2时约束项变为二次变分约束，矩阵L⁽ⁿ⁾代表平滑约束矩阵；

为自适应因子，R代表张量CP分解中秩的个数，N为张量阶数；对目标函数使用分层交替最小二乘法求解，最后输出张量X。

(五)得到输出张量X后，通过多向延迟嵌入转换的逆过程得到最终的补全张量T，

其中表示摩尔-彭若斯伪逆(S^TS)^-1S^T,unfold_(I,τ)表示多向延迟嵌入的逆，

(六)得到补全后的张量T，使用支持向量机对样本进行分类。

Images