CN105654138A - 一种多维数据的正交投影降维分类方法及系统 - Google Patents

Abstract

本发明公开了一种多维数据的正交投影降维分类方法及系统，方法包括：构建待处理的多维数据的训练样本集，并对构建的训练样本集进行正交投影，得到相应的多个二维正交投影矩阵；对每个二维正交投影矩阵依次进行归一化处理；对归一化处理后的二维正交投影矩阵进行模糊处理；计算待处理的多维数据在模糊处理后的二维正交投影矩阵上对应位置的取值之和，然后根据计算的结果对待处理的多维数据进行分类。本发明通过正交投影将复杂的多维数据分类问题转化为由多个简单的二维数据分类问题所组成的集合，降低了数据分类的维度，算法复杂低，运算量小，极大提高了分类的运算效率。本发明可广泛用于数据分类领域。

Description

一种多维数据的正交投影降维分类方法及系统

技术领域

本发明涉及数据分类领域，尤其是一种多维数据的正交投影降维分类方法及系统。

背景技术

分类技术是数据挖掘、机器学习和模式识别中的一个重要研究领域，广泛应用于需要归纳与分析大量信息的行业及应用领域中。随着大数据对处理海量数据的实时性高、误警率低的需求，这对分类技术在效率和准度上提出了极高的要求。尤其是在面对大规模、高维度数据时，如何建立高效、可扩展的分类数据挖掘算法成了数据挖掘及其应用领域的重要研究课题。

目前针对多维数据的分类研究还处于起步阶段，相关的分类算法较少。现有的多维数据分类方法，大多算法复杂度高，运算量大，效率低，难于满足大数据处理的高要求。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种算法复杂低和高效的，多维数据的正交投影降维分类方法。

本发明的另一目的在于：提供一种算法复杂低和高效的，多维数据的正交投影降维分类系统。

本发明解决其技术问题所采取的技术方案是：

一种多维数据的正交投影降维分类方法，包括：

S1、构建待处理的多维数据的训练样本集，并对构建的训练样本集进行正交投影，得到相应的多个二维正交投影矩阵；

S2、对每个二维正交投影矩阵依次进行归一化处理，得到归一化处理后的二维正交投影矩阵；

S3、对归一化处理后的二维正交投影矩阵进行模糊处理，得到模糊处理后的二维正交投影矩阵；

S4、计算待处理的多维数据在模糊处理后的二维正交投影矩阵上对应位置的取值之和，然后根据计算的结果对待处理的多维数据进行分类。

进一步，所述步骤S1，其包括：

S11、构建待处理的多维数据的训练样本集；

S12、将构建的训练样本集中的每列数据标准化到足以描述计算精度的空间；

S13、分别对构建的训练样本集中的每一类数据样本，在维度上两两进行正交投影，得到个二维正交投影矩阵，其中，k为构建的训练样本集的类别，n为构建的训练样本集的维数。

进一步，所述步骤S13，其包括：

S131、创建个二维矩阵来描述k类n维数据集中的所有二维坐标平面；

S132、将构建的训练样本集中的所有数据逐类投影至步骤S131所创建的二维坐标平面，并使相应的二维矩阵上的元素值自加1，最终得到个二维正交投影矩阵。

进一步，所述步骤S2，其具体为：

对每个二维正交投影矩阵依次进行归一化处理，得到处理后的二维正交投影矩阵，所述归一化处理的计算公式为：

${m^{\′}}_{ij}=\mathrm{\θ}\frac{m_{ij}}{{\max }_p},$

其中，θ为设定的权值调整参数，m_ij为归一化处理前二维正交投影矩阵中第i行第j列元素的值，max_p为第p类的个矩阵中元素的最大值，p＝1,2，…，k；m′_ij为处理后的二维正交投影矩阵中第i行第j列元素的值。

进一步，所述步骤S3，其具体为：

采用IIR滤波法、FIR滤波法、FFT法、小波变换法、方框模糊算法和高斯模糊算法中的任意一种模糊算法对归一化处理后的二维正交投影矩阵进行模糊处理，得到模糊处理后的二维正交投影矩阵。

进一步，所述高斯模糊算法中标准差参数σ的取值为：其中，ρ_h为归一化处理后的二维正交投影矩阵中的最高矩阵像素密度，ρ_l为归一化处理后的二维正交投影矩阵中的最低矩阵像素密度，矩阵像素密度为在十分之一矩阵大小的方框内所拥有的像素数。

进一步，所述步骤S4，其包括：

S41、输入待处理的数据；

S42、在模糊处理后的每个类的个二维正交投影矩阵中，分别读取待处理的多维数据在各个二维正交投影矩阵对应位置的取值；

S43、分别计算待处理的多维数据在每个类中所读取的所有取值之和；

S44、根据计算的取值之和大小对待处理的多维数据进行分类。

进一步，所述步骤S44，其具体为：

从待处理的多维数据在k个类上的所有取值之和中找出取值之和最大值所对应的类，然后将待处理的多维数据的类判断为取值之和最大值所对应的类，若待处理的多维数据在k个类上有两个类的所有取值之和相同，则标记为无法判断待处理的多维数据的类或待处理的多维数据的类为异于训练样本集所指定的k个类的新类。

本发明解决其技术问题所采取的另一技术方案是：

一种多维数据的正交投影降维分类系统，包括：

正交投影模块，用于构建待处理的多维数据的训练样本集，并对构建的训练样本集进行正交投影，得到相应的多个二维正交投影矩阵；

归一化处理模块，用于对每个二维正交投影矩阵依次进行归一化处理，得到归一化处理后的二维正交投影矩阵；

模糊处理模块，用于对归一化处理后的二维正交投影矩阵进行模糊处理，得到模糊处理后的二维正交投影矩阵；

分类模块，用于计算待处理的多维数据在模糊处理后的二维正交投影矩阵上对应位置的取值之和，然后根据计算的结果对待处理的多维数据进行分类；

所述正交投影模块的输出端依次通过归一化处理模块和模糊处理模块进而与分类模块的输入端连接。

进一步，所述正交投影模块，其包括：

构建单元，用于构建待处理的多维数据的训练样本集；

标准化单元，用于将构建的训练样本集中的每列数据标准化到足以描述计算精度的空间；

正交投影单元，用于分别对构建的训练样本集中的每一类数据样本，在维度上两两进行正交投影，得到个二维正交投影矩阵，其中，k为构建的训练样本集的类别，n为构建的训练样本集的维数；

所述构建单元依次通过标准化单元和正交投影单元进而与归一化处理模块的输入端连接。

本发明的方法的有益效果是：先通过正交投影得到相应的多个正交投影矩阵，然后结合归一化处理和模糊处理对得到的正交投影矩阵进行处理，最后再根据多维数据在二维正交投影矩阵上对应位置的取值之和进行分类，通过正交投影将复杂的多维数据分类问题转化为由多个简单的二维数据分类问题所组成的集合，降低了数据分类的维度，算法复杂低，运算量小，极大提高了分类的运算效率。

本发明的系统的有益效果是：先通过正交投影模块正交投影得到相应的多个正交投影矩阵，然后结合归一化处理和模糊处理对得到的正交投影矩阵进行处理，最后分类模块再根据多维数据在二维正交投影矩阵上对应位置的取值之和进行分类，通过正交投影将复杂的多维数据分类问题转化为由多个简单的二维数据分类问题所组成的集合，降低了数据分类的维度，算法复杂低，运算量小，极大提高了分类的运算效率。

附图说明

图1为本发明一种多维数据的正交投影降维分类方法的整体流程图；

图2为本发明的分类算法的样本训练过程的流程图；

图3为本发明实施的分类算法的样本分类过程的流程图；

图4为本发明一种多维数据的正交投影降维分类系统的整体结构图。

具体实施方式

参照图1，一种多维数据的正交投影降维分类方法，包括：

S1、构建待处理的多维数据的训练样本集，并对构建的训练样本集进行正交投影，得到相应的多个二维正交投影矩阵；

S2、对每个二维正交投影矩阵依次进行归一化处理，得到归一化处理后的二维正交投影矩阵；

S3、对归一化处理后的二维正交投影矩阵进行模糊处理，得到模糊处理后的二维正交投影矩阵；

S4、计算待处理的多维数据在模糊处理后的二维正交投影矩阵上对应位置的取值之和，然后根据计算的结果对待处理的多维数据进行分类。

参照图2，进一步作为优选的实施方式，所述步骤S1，其包括：

S11、构建待处理的多维数据的训练样本集；

S12、将构建的训练样本集中的每列数据标准化到足以描述计算精度的空间；

S13、分别对构建的训练样本集中的每一类数据样本，在维度上两两进行正交投影，得到个二维正交投影矩阵，其中，k为构建的训练样本集的类别，n为构建的训练样本集的维数。

其中，将构建的训练样本集中的每列数据标准化到足以描述计算精度的空间时，可以根据每列数据的最大值或最小值进行标准化。

参照图2，进一步作为优选的实施方式，所述步骤S13，其包括：

S131、创建个二维矩阵来描述k类n维数据集中的所有二维坐标平面；

S132、将构建的训练样本集中的所有数据逐类投影至步骤S131所创建的二维坐标平面，并使相应的二维矩阵上的元素值自加1，最终得到个二维正交投影矩阵。

进一步作为优选的实施方式，所述步骤S2，其具体为：

对每个二维正交投影矩阵依次进行归一化处理，得到处理后的二维正交投影矩阵，所述归一化处理的计算公式为：

${m^{\′}}_{ij}=\mathrm{\θ}\frac{m_{ij}}{{\max }_p},$

其中，θ为设定的权值调整参数，m_ij为归一化处理前二维正交投影矩阵中第i行第j列元素的值，max_p为第p类的个矩阵中元素的最大值，p＝1,2，…，k；m′_ij为处理后的二维正交投影矩阵中第i行第j列元素的值。

权值调整参数θ一般取1，但对于样本数量太少的类别，可适当使θ大于1。

进一步作为优选的实施方式，所述步骤S3，其具体为：

采用IIR滤波法、FIR滤波法、FFT法、小波变换法、方框模糊算法和高斯模糊算法中的任意一种模糊算法对归一化处理后的二维正交投影矩阵进行模糊处理，得到模糊处理后的二维正交投影矩阵。

进一步作为优选的实施方式，所述高斯模糊算法中标准差参数σ的取值为：其中，ρ_h为归一化处理后的二维正交投影矩阵中的最高矩阵像素密度，ρ_l为归一化处理后的二维正交投影矩阵中的最低矩阵像素密度，矩阵像素密度为在十分之一矩阵大小的方框内所拥有的像素数。

参照图3，进一步作为优选的实施方式，所述步骤S4，其包括：

S41、输入待处理的数据；

S42、在模糊处理后的每个类的个二维正交投影矩阵中，分别读取待处理的多维数据在各个二维正交投影矩阵对应位置的取值；

S43、分别计算待处理的多维数据在每个类中所读取的所有取值之和；

S44、根据计算的取值之和大小对待处理的多维数据进行分类。

进一步作为优选的实施方式，所述步骤S44，其具体为：

从待处理的多维数据在k个类上的所有取值之和中找出取值之和最大值所对应的类，然后将待处理的多维数据的类判断为取值之和最大值所对应的类，若待处理的多维数据在k个类上有两个类的所有取值之和相同，则标记为无法判断待处理的多维数据的类或待处理的多维数据的类为异于训练样本集所指定的k个类的新类。

参照图4，一种多维数据的正交投影降维分类系统，包括：

正交投影模块，用于构建待处理的多维数据的训练样本集，并对构建的训练样本集进行正交投影，得到相应的多个二维正交投影矩阵；

归一化处理模块，用于对每个二维正交投影矩阵依次进行归一化处理，得到归一化处理后的二维正交投影矩阵；

模糊处理模块，用于对归一化处理后的二维正交投影矩阵进行模糊处理，得到模糊处理后的二维正交投影矩阵；

分类模块，用于计算待处理的多维数据在模糊处理后的二维正交投影矩阵上对应位置的取值之和，然后根据计算的结果对待处理的多维数据进行分类；

所述正交投影模块的输出端依次通过归一化处理模块和模糊处理模块进而与分类模块的输入端连接。

参照图4，进一步作为优选的实施方式，所述正交投影模块，其包括：

构建单元，用于构建待处理的多维数据的训练样本集；

标准化单元，用于将构建的训练样本集中的每列数据标准化到足以描述计算精度的空间；

正交投影单元，用于分别对构建的训练样本集中的每一类数据样本，在维度上两两进行正交投影，得到个二维正交投影矩阵，其中，k为构建的训练样本集的类别，n为构建的训练样本集的维数；

所述构建单元依次通过标准化单元和正交投影单元进而与归一化处理模块的输入端连接。

下面结合说明书附图和具体实施例对本发明作进一步详细说明。

实施例一

参照图1-3，本发明的第一实施例：

针对现有技术算法复杂度高和运算量大的问题，本发明提出了一种通过正交投影降维的多维数据分类算法，不仅实现了对高维数据的分类，而且极大提高了分类的效率。本发明的多维数据分类算法对n维k类的训练样本集数据通过正交投影生成个二维矩阵，相当于将一个n维的问题分解成由个简单二维问题组成的集合，效率较高。

本发明所提出的多维数据分类方法，主要包括样本训练和样本分类这两大步骤。

本发明的样本训练过程包括以下步骤：

(一)对待处理的高维数据进行正交投影分析。

该过程可进一步细分为：

(1)构建待处理的多维数据的训练样本集。

(2)将练样本集中的每列数据标准化到足以满足计算精度的空间(如0～L这一精度的空间，L为正整数)。若每一个维度上的数据项进行标准化映射后出现小数情况，可采取四舍五入法变换为整数或线性插值进行处理。前者速度较快，后者准度较高。

(3)分别对于训练集中的每一类的数据样本，在维度上两两进行正交投影，设训练样本集数据的维度为n，类别数为k，则正交投影处理后每一类可生成个二维矩阵，共生成个二维矩阵。记s的类型为t，第u维映射后的数值为i，第v维映射后的数值为j，当插入数据样本s时，则第t类uOv坐标平面二维矩阵的第i行第j列的元素值自增1。

(二)对步骤(一)得到的每个矩阵进行归一化处理，设第p类的个二维矩阵中的最大值为max_p，则归一化处理后矩阵的元素值为θ为设定的权值调整参数，一般情况取θ＝1，但对于样本数量太少的类别，可适当取θ＞1，以增益其权值的影响。

(三)对每一类中的各个矩阵进行适度的模糊处理。

本发明可以使用各种现有的低通滤波方法进行模糊，包括但不限于IIR、FIR、FFT、小波变换、方框模糊和高斯模糊。其中，高斯模糊处理可达到较好的模糊效果，但运算量较大。其它的模糊算法运算量较小，实际使用时可在权衡处理结果与速度后进行选择。

为了取得较好的效果，本发明还专门对高斯模糊算法的参数σ的取值方法进行了如下设置：定义矩阵像素密度为矩阵在十分之一矩阵大小的方框内所拥有的像素数，设最高矩阵像素密度为ρ_h，最低矩阵像素密度为ρ_l，则将标准差参数σ设置在范围内。

而样本分类过程的步骤则如图3所示，其具体为：对输入的待处理的多维数据，首先计算该数据点在各个类的二维矩阵上对应位置的取值之和，然后根据取值之和大小判断该多维数据的类。

其中，待处理的多维数据为和值最大的那一类。若待处理的多维数据在k个类上有两个类的所有取值之和相同，则标记为无法判断待处理的多维数据的类或待处理的多维数据的类为异于训练样本集所指定的k个类的新类。

实施例二

为了更好地验证本发明的效果，本实施例采用了KDDCup99的全数据集(即训练样本集包含KDDCup99的所有数据)来进行测试，测试时挑选了18个属性，并在将之分为19类。在测试中，KDDCup99的数据集的分类过程具体为：

(1)对KDDCup99的数据集进行整数化处理(标准化处理的一种)，使其18个属性上的值都映射到整数域上。

(2)对KDDCup99的每一类，将18个属性两两作正交投影，然后进行归一化处理。

(3)对归一化处理得到的二维正交投影矩阵进行高斯模糊。其中，18维数据高斯模糊处理后的实际效果可以通过灰度图(灰度图可用灰色来表示密度情况，密度越大时颜色越深)来表征。

(4)将测试集中的数据点，根据其在各个类别上的二维正交投影矩阵的取值之和的大小关系进行分类。

经KDDCup99的全数据集的实际测试表明，采用本发明所提出的分类方法，大大降低了算法的复杂度，极大提升了运算速度和分类运算效率。本发明所提出的分类方法可应用在多维数据的分类领域及其相关的应用领域，尤其是数据挖掘及其应用领域。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种多维数据的正交投影降维分类方法，其特征在于：包括：

S1、构建待处理的多维数据的训练样本集，并对构建的训练样本集进行正交投影，得到相应的多个二维正交投影矩阵；

S2、对每个二维正交投影矩阵依次进行归一化处理，得到归一化处理后的二维正交投影矩阵；

S3、对归一化处理后的二维正交投影矩阵进行模糊处理，得到模糊处理后的二维正交投影矩阵；

S4、计算待处理的多维数据在模糊处理后的二维正交投影矩阵上对应位置的取值之和，然后根据计算的结果对待处理的多维数据进行分类。

2.根据权利要求1所述的一种多维数据的正交投影降维分类方法，其特征在于：所述步骤S1，其包括：

S11、构建待处理的多维数据的训练样本集；

S12、将构建的训练样本集中的每列数据标准化到足以描述计算精度的空间；

S13、分别对构建的训练样本集中的每一类数据样本，在维度上两两进行正交投影，得到个二维正交投影矩阵，其中，k为构建的训练样本集的类别，n为构建的训练样本集的维数。

3.根据权利要求2所述的一种多维数据的正交投影降维分类方法，其特征在于：所述步骤S13，其包括：

S131、创建个二维矩阵来描述k类n维数据集中的所有二维坐标平面；

S132、将构建的训练样本集中的所有数据逐类投影至步骤S131所创建的二维坐标平面，并使相应的二维矩阵上的元素值自加1，最终得到个二维正交投影矩阵。

4.根据权利要求2所述的一种多维数据的正交投影降维分类方法，其特征在于：所述步骤S2，其具体为：

对每个二维正交投影矩阵依次进行归一化处理，得到处理后的二维正交投影矩阵，所述归一化处理的计算公式为：

${m^{\′}}_{ij}=\mathrm{\θ}\frac{m_{ij}}{{\max }_p},$

其中，θ为设定的权值调整参数，m_ij为归一化处理前二维正交投影矩阵中第i行第j列元素的值，max_p为第p类的个矩阵中元素的最大值，p＝1,2，…，k；m′_ij为处理后的二维正交投影矩阵中第i行第j列元素的值。

5.根据权利要求2所述的一种多维数据的正交投影降维分类方法，其特征在于：所述步骤S3，其具体为：

采用IIR滤波法、FIR滤波法、FFT法、小波变换法、方框模糊算法和高斯模糊算法中的任意一种模糊算法对归一化处理后的二维正交投影矩阵进行模糊处理，得到模糊处理后的二维正交投影矩阵。

6.根据权利要求5所述的一种多维数据的正交投影降维分类方法，其特征在于：所述高斯模糊算法中标准差参数σ的取值为：其中，ρ_h为归一化处理后的二维正交投影矩阵中的最高矩阵像素密度，ρ_l为归一化处理后的二维正交投影矩阵中的最低矩阵像素密度，矩阵像素密度为在十分之一矩阵大小的方框内所拥有的像素数。

7.根据权利要求2所述的一种多维数据的正交投影降维分类方法，其特征在于：所述步骤S4，其包括：

S41、输入待处理的数据；

S42、在模糊处理后的每个类的个二维正交投影矩阵中，分别读取待处理的多维数据在各个二维正交投影矩阵对应位置的取值；

S43、分别计算待处理的多维数据在每个类中所读取的所有取值之和；

S44、根据计算的取值之和大小对待处理的多维数据进行分类。

8.根据权利要求7所述的一种多维数据的正交投影降维分类方法，其特征在于：所述步骤S44，其具体为：

从待处理的多维数据在k个类上的所有取值之和中找出取值之和最大值所对应的类，然后将待处理的多维数据的类判断为取值之和最大值所对应的类，若待处理的多维数据在k个类上有两个类的所有取值之和相同，则标记为无法判断待处理的多维数据的类或待处理的多维数据的类为异于训练样本集所指定的k个类的新类。

9.一种多维数据的正交投影降维分类系统，其特征在于：包括：

正交投影模块，用于构建待处理的多维数据的训练样本集，并对构建的训练样本集进行正交投影，得到相应的多个二维正交投影矩阵；

归一化处理模块，用于对每个二维正交投影矩阵依次进行归一化处理，得到归一化处理后的二维正交投影矩阵；

模糊处理模块，用于对归一化处理后的二维正交投影矩阵进行模糊处理，得到模糊处理后的二维正交投影矩阵；

分类模块，用于计算待处理的多维数据在模糊处理后的二维正交投影矩阵上对应位置的取值之和，然后根据计算的结果对待处理的多维数据进行分类；

所述正交投影模块的输出端依次通过归一化处理模块和模糊处理模块进而与分类模块的输入端连接。

10.根据权利要求9所述的一种多维数据的正交投影降维分类系统，其特征在于：所述正交投影模块，其包括：

构建单元，用于构建待处理的多维数据的训练样本集；

标准化单元，用于将构建的训练样本集中的每列数据标准化到足以描述计算精度的空间；

正交投影单元，用于分别对构建的训练样本集中的每一类数据样本，在维度上两两进行正交投影，得到个二维正交投影矩阵，其中，k为构建的训练样本集的类别，n为构建的训练样本集的维数；

所述构建单元依次通过标准化单元和正交投影单元进而与归一化处理模块的输入端连接。