CN110942087B - 一种基于分离求解的矩阵型图像数据分类方法 - Google Patents

Abstract

本发明公开了一种基于分离求解的矩阵型图像数据分类方法，包括将输入的矩阵型图像数据，根据输入的矩阵型数据所属类别两两划分为多对二分类图像数据，对二分类数据中多数类样本与少数类样本的比例设计的权重对角矩阵，利用双边向量控制矩阵数据输出，以及最小化解向量二范数，设计基于矩阵型图像数据分类方法目标函数。通过分离双边向量求解过程，提高求解速度。将测试数据转换成与训练数据相同的矩阵形式，根据求解的得到的双边向量，计算测试样本的输出，断别测试样本在而分类数据中所属类别，并投票。最后根据所有二分类数据投票结果，得到待判别样本最终所属类别。

Description

一种基于分离求解的矩阵型图像数据分类方法

技术领域

本发明涉及数据分类领域，尤其设计了一种对图像数据进行处理的矩阵型图像数据分类方法。

背景技术

在数据分类领域，需要处理经典问题之一是对二维数据，即使用矩阵型数据，最典型的就是图像数据。在实际应用中，矩阵表示的数据常见于图像识别问题，例如人脸识别，指纹识别，或光谱识别。利用矩阵型数据，设计可以针对矩阵型数据分类的方法，并设计快速有效的求解方式，可以更好地对数据进行分类。

传统的模式分类方法通常只能处理向量型数据，如支持向量机(Support VectorMachine)和逻辑回归(Logistic Regression)等方法，必须要将矩阵型数据转化为向量型数据，才能处理数据。对于高维数据，则会面对维数灾难的问题。将矩阵型数据如图像，转换为向量型数据，则会损失象素间的结构信息。

传统的模式分类方法在处理不平衡问题时，通常将多有数据一视同仁，导致决策时更偏向于多数类，然后在不平衡问题中，少数类更值得关注。为了解决不平衡问题，当前方法可以分为三类：第一类是基于采样的方法，使不同类别的数据量趋向平衡。第二类是基于代价敏感的方法，通过增加少数类样本的权重，使得在分类中将少数类的错误分类代价提高，从而纠正传统分类器决策时偏向于多数类的情况。第三类是集成方法，通过设计识别能力弱的分类器，并集成弱分类器获得强分类结果。

对于矩阵型数据，通过双边向量控制数据的输出。但是双边向量为求解带来了困难。在迭代过程中，存在两个未知向量，需要双边向量交替求解。由于需要考虑两个向量，双边向量之间的关系难以确定，很难保证双边向量是否往最优解方向前进，此外各自的学习步长的调整，求解所需要的训练时间，都需要考虑。

针对上述问题，若能设计出基于矩阵型数据的分类方法，且该方法具有分类性能好，少数类识别率高，同时又兼顾学习效率的求解算法，将会进一步提高矩阵型数据的处理能力。

发明内容

矩阵型数据广泛存在于数据分类领域，如图像数据就是典型的矩阵型数据。但是，传统的模式分类方法，必须将矩阵型数据转化为向量形式，再进行处理，这就破坏了矩阵型数据的结构信息。对于高维数据，其向量形式会面对位数灾难问题，通过将向量型数据转换为矩阵型数据，可以极大地减少解向量的维度，从而避免了高维所带来的问题。值得注意的是，不同类别的数据数量上也存在明显的差异，存在分布不平衡性，其不平衡性也对分类带来了困难。针对现有的代价敏感学习方法中，对原始分类算法分类性能的要求，合适的少数类样本错误分类代价，以及少数类样本和多数类样本各自的准确率。此外，对于矩阵型数据，由于需要双边向量控制其输出，相应地也需要快速稳定的方法求解双边向量。本发明提供了一种基于分离求解的矩阵型数据分类方法。

本发明解决其技术问题所采用的技术方案，将输入的图像数据转，根据其描述转换为其对应的矩阵形式，再根据其类别信息，通过两两划分为多对二分类数据。对于输入的每一对数据通过计算数据的不平衡率，得到了对应训练数据的权重矩阵。利用双边向量控制矩阵型数据的输出，并利用权重对角矩阵，设计基于训练数据的误差函数。通过最小化双边向量二范数的输出值，提高解向量的稀疏性以及泛化性能。通过将基于训练数据的误差函数与双边向量二范数的输出值相加,设计矩阵型数据分类方法的目标函数。利用分离双边向量，固定双边向量中的一个，求解另一个向量的方法，最后求解目标函数下的双边向量。测试过程中，将待判别数据转变为训练数据的矩阵形式，然后使用双边向量控制待判别数据，输出判别结果。

本发明解决其技术问题所采用的技术方案还可以进一步完善。对于输入的图像数据，不仅限于其自身本来的矩阵形式，利用特征组合的方式，寻找二维图像信息中像素点之间关联信息，从而更好地利用其矩阵形式。此外，本发明直接利用不同类别数据量的比例设计数据权重，虽然快速简单，但是没有充分开率每一个样本个题的情况，其数据权重可以针对每一个样本进行设计。虽然利用分离求解方式解双边向量高效，可以在训练过程中可以进行筛选样本，每次迭代过程中，不需要全部训练数据参与，从而进一步提高训练速度。

本发明有益的效果是：这届处理图像数据的分类方法，利用双边向量控制矩阵型样本输出，利用不同类别数据量的比例平衡数据误分代价，利用双边向量二范数最小化提高泛化性能，再利用分离求解的方法高效地求得双边向量的解，设计出基于分离求解的矩阵型数据分类方法。该方法针对矩阵型数据，利用矩阵学习拓展了适用范围，并且具有良好分类结果，并保证了数据不平衡分布时，少数类与多数类数据的误差代价。此外，通过分离求解双边向量，快速求解出双边向量具体的值。

附图说明

图1是本发明应用于矩阵型图像数据分类问题的系统框架；

图2是本发明在测试步骤的流程图；

具体实施方式

下面结合附图和实施例对本发明作进一步介绍

输入的训练数据为，

其中x_i代表输入的训练数据中第i个图像数据，y_i∈{1，2,…,c}为样本的类标记,共c类。将输入的多数类数据，两两之间进行匹配，得到

对二分类训练数据。

对于输入的每一对二分类图像数据为，

其中x_i代表输入的第i个训练数据，y_i∈{-1,+1}为第二个样本的类标记，y_i＝+1代表少数类样本，y_i＝-1代表多数类样本。N为输入的训练数据的数量，前N₊个数据为少数类样本，后N_-个数据为多数类样本。

利用输入的训练数据中，少数类和多数类样本的数量，计算所输入的训练数据的不平衡率：

根据不平衡率设计权重对角矩阵，所设计计权重对角矩阵中对角线上前N₊个元素值为IR,后N_-个元素值为1。所设计的权重对角矩阵其表示为：

对d维图像数据X＝[x₁,x₂,...,x_d]，首先将d分解成与图像描述相符的形式，即d＝d₁×d₂，将训练数据

转换为矩阵型数据

再将阈值信息补充入矩阵型数据A，得到，

并将转换后的数据作为训练数据。

对于每一个训练数据，利用双边向量

以及

控制训练数据A的输出，并利用权重对角矩阵，得到基于训练数据的误差函数表示为：

并出初始化每一个训练数据的阈值b_i为10^-6。

对于双边向量

以及

通过最小化u和v的二范数值表示其稀疏性，表示为u^TS₁u+v^TS₂v,其中S₁为d₁×d₁的单位阵，S₂为d₂×d₂的单位阵。

利用训练数据的误差函数，与u和v的二范数值相加，矩阵型数据分类方法的目标函数表示为

其中D_i为对角矩阵D的第i各元素，c为控制正则函数的在目标函数L中的作用大小。

固定v为值全为1的向量，将所有训练数据右乘v，将矩阵型数据分类方法的目标函数表示；

minL(u)＝(X_uu-1_N×1-b)^TD(X_uu-1_N×1-b)+cu^TS₁u

其中X_u＝[y₁A₁v,y₂A₂v,...,y_NA_Nv]^T,1_N×1＝[1,...,1]_N×1，

b＝[b₁,b₂,...,b_N]^T其中b中所有值初始化为10^-6。

设最大迭代次数iterations，迭代终止值ξ，以及学习率ρ，当前迭代次数k＝1。

计算

计算第k次迭代中的解向量u＝Pinv_u(1_N×1+b)

计算误差e＝X_uu-1_N×1-b

计算b'＝b+ρ(e+|e|)

如果||b'-b||₂≤ξ并且k≤iterations,将b赋值为b'，计算u＝Pinv_u(1_N×1+b)，计算k＝k+1，然后跳转到步骤[0026]。

解得到u的解向量后，固定u，将所有训练数据左乘u，将矩阵型数据分类方法的目标函数表示；

minL(v)＝(X_vv-1_N×1-b)^TD(X_vv-1_N×1-b)+cv^TS₂v

其中X_v＝[(y₁u^TA₁)^T,(y₂u^TA₂)^T,...,(y_Nu^TA_N)^T]^T,

b＝[b₁,b₂,...,b_N]^T，其中b中所有值初始化为10^-6。

当前迭代次数k＝1。

计算

计算第k次迭代中的解向量v＝Pinv_v(1_N×1+b)

计算误差e＝X_vv-1_N×1-b

计算b'＝b+ρ(e+|e|)

如果||b'-b||₂≤ξ并且k≤iterations,将b赋值为b'，计算v＝Pinv_v(1_N×1+b)，计算k＝k+1，然后跳转到步骤[0032]。

对于待判断别数据x'，将待判别样本转化为与训练数据相同的矩阵形式A',再利用求解得到的双边向量u和v，输出A的判定值为u^TA'v。

如果u^TA'v大于等于0，则待判断别数据类标为+1，否则待判断别数据类标为-1。对当前二分类数据所属的类别进行投票。

最后，根据待判断别样本每一类别的投票数，将待判断别样本判定为得到投票数最多的类别。

实验设计

实验数据集选取：该实验选择了UCI标准数据集中Yale和JAFFE人脸图像数据集，其类数目、样本维度和样本总数如下表所示。

所有使用的数据集均采用五折交叉方式处理，即将数据集分为大致均匀的五份，每一次选择其中一份作为测试数据，另外四份为训练数据。不重复选取测试数据五次。

对比算法：发明所使用的核心算法，即基于分离求解的矩阵型数据分类方法，简称为EMatMHKS。另外，我们选择MHKS、SVM、Adaboost、Random Forest为基准算法。每个算法的参数描述及值域设置如下表：

性能度量方法：实验统一使用少数类准确率与多数类准确率的算术平均(AAcc),来记录不同方法对各数据集的分类结果。结果均为对应算法在该数据集上使用最优参数配置时获得的结果，即最优结果。AAcc的计算公式为：

其中c为数据的类别数，Acc_i为第i类数据的准确率。

实验结果

首先是EMatMHKS与基准算法进行对比，在实验中每个对比算法的结果都是其最有参数对应的最佳结果，为了突出显示。每个数据集的最好结果标记为粗体。结果如下表：

如表可知，EMatMHKS在图像数据集上取得最高AAcc值，即最优结果。

Claims (7)

1.一种基于分离求解的矩阵型图像数据分类方法，所述方法包括以下步骤：

1)根据输入的图像数据，不同类别间两两匹配，得到多对二分类图像数据；对每一对二分类图像数据，得到多数类样本数量与少数类样本数量，利用多数类样本数量与少数类样本数量，得到权重对角矩阵；

2)对输入的每一对二分类图像数据问题描述，将输入的数据转化为成矩阵形式，作为训练数据；

3)利用双边向量控制矩阵型数据的输出，并利用权重对角矩阵，设计基于输二分类图像数据的误差函数；

4)利用最小化双边向量二范数，以及基于输入数据的误差函数,设计矩阵型数据分类方法的目标函数；

5)利用分离求解，将双边向量的一个向量固定，求解另一个向量，再固定求解得到的向量，求解另一个向量；

6)对于待判断别数据，将待判别样本转化为与训练样数据相同的矩阵形式，再利用求解得到双边向量，对待判断别样本进行分类。

2.如权利要求1所述的方法，其特征在于，步骤1)还包括：输入的每一对二分类图像数据为，

其中x_i代表输入的第i个图像数据，y_i∈{-1,+1}为第i个图像数据的类标记，y_i＝+1代表少数类样本，y_i＝-1代表多数类样本，N为输入数据的数量，前N₊个数据为少数类样本，后N_-个数据为多数类样本，将多数类样本数N_-除以少数类样本数N₊，得到不平衡数据的不平衡率的计算过程为：

其中，IR代表所述输入的不平衡数据的不平衡率，利用不平衡数据的不平衡率设计权重对角矩阵，权重对角矩阵中对角线上前N₊个元素值为IR,后N_-个元素值为1，所得到的权重对角矩阵其表示为：

3.如权利要求1中所述的方法，其特征在于，步骤2)还包括：对于d维训练数据X＝[x₁,x₂,...,x_d]，首先将d分解成与图像描述相符的形式，即d＝d₁×d₂，将训练数据

转换为矩阵型数据

再将阈值信息补充入A,

将转换好的矩阵型数据作为训练数据。

4.如权利要求书1所述的方法，其特征在于，步骤3)还包括：对于每一个训练数据，利用双边向量

以及

控制训练数据A的输出，并利用权重对角矩阵，得到基于训练数据的误差函数表示为：

其中b_i为初始化为10^-6的阈值。

5.如权利要求书1所述的方法，其特征在于，步骤4)还包括：双边向量

以及

通过最小化u和v的二范数值表示其稀疏性，其表示为u^TS₁u+v^TS₂v,其中S₁为d₁×d₁的单位阵，S₂为d₂xd₂的单位阵，再利用训练数据的误差函数,矩阵型数据分类方法的目标函数表示为

其中D_i为对角矩阵D的第i各元素，c为控制正则函数的在目标函数L中的作用大小。

6.如权利要求书1所述的方法，其特征在于，步骤5)还包括：固定v为值全为1的向量，将所有训练数据右乘v，将矩阵型数据分类方法的目标函数表示；

min L(u)＝(X_uu-1_Nx1-b)^TD(X_uu-1_N×1-b)+cu^TS₁u

其中X_u＝[y₁A₁v,y₂A₂v,...,y_NA_Nv]^T,1_N×1＝[1,...,1]_N×1，

b＝[b₁,b₂,...,b_N]^T

求解得到u的解向量后，固定u，将所有训练数据左乘u，将矩阵型数据分类方法的目标函数表示；

min L(v)＝(X_vv-1_N×1-b)^TD(X_vv-1_N×1-b)+cv^TS₂v

其中X_v＝[(y₁u^TA₁)^T,(y₂u^TA₂)^T,...,(y_Nu^TA_N)^T]^T，求解得到v向量。

7.如权利要求书1所述的方法，其特征在于，步骤6)还包括：对于待判断别数据x’，将待判别样本转化为与训练图像数据相同的矩阵形式A’,再利用求解得到的双边向量u和v，输出A的判定值为u^TA'v，如果u^TA'v大于等于0，则待判断别数据类标为+1，否则待判断别数据类标为-1。

Images