CN114564691A - 一种基于逆矩阵的冗余数据判别方法 - Google Patents

Abstract

本发明公开了一种基于逆矩阵的冗余数据判别方法，首先是将需要分析的数据对象进行数值化后转化成矩阵形式，然后对该矩阵求逆，看是否能够求出逆矩阵，最后根据是否存在逆矩阵来判断该数据对象是否存在冗余信息。当不存在逆矩阵时，说明该数据对象不存在冗余信息，不需要做任何处理；当存在逆矩阵时，说明该数据对象存在冗余信息，需要进行冗余信息剔除处理，为下一步“数据治理”做准备。该方法较之于传统的异常数据判别方法，把数据分析对象转化为矩阵形式，简单易操作，只需确定所转化的矩阵是否存在逆矩阵，就可给出该数据中是否存在冗余信息的结论，简单明了。

Description

一种基于逆矩阵的冗余数据判别方法

技术领域

本发明涉及数据挖掘技术领域，特别涉及一种基于逆矩阵的冗余数据判别方法。

背景技术

随着大数据时代的到来，数据和信息的重要性越来越大。数据以视频、音频、图片、文字等方式形式存在，当前大数据时代的开拓性导致了数据存在冗余的现象。在对数据进行数据挖掘的过程中，实际并不需要所有的数据，排除冗余数据留下有价值的数据才是关键，这就需要进行“数据治理”。随着数据量的增大，如何快速地判别出数据堆里是否存在冗余数据也变得越来越难，寻求一种高效快速的冗余数据判别方法成为一种必然。

发明内容

本发明所要解决的技术问题是提供一种基于逆矩阵的冗余数据判别方法，高效快速，以解决现有技术中导致的上述多项缺陷。

为实现上述目的，本发明提供以下的技术方案：一种基于逆矩阵的冗余数据判别方法，包括如下步骤：

1)把需要分析的数据对象数值化；

2)对数值化后的数据集转化成矩阵；

3)利用增广矩阵变换，对矩阵进行求逆矩阵变换；

4)，根据是否存在逆矩阵来判断该数据对象是否存在冗余信息；当不存在逆矩阵时，说明该数据对象不存在冗余信息，不需要做任何处理；当存在逆矩阵时，说明该数据对象存在冗余信息，需要进行冗余信息剔除处理。

优选的，所述步骤1)中，在图片、文字、数据库中提取数据资源，记为D，然后把D数值化。

优选的，所述步骤2)中，将D转化为数据集X，即，

其中，X为m×n的多维数据。

优选的，所述步骤3)中，所述对矩阵X进行逆矩阵求解；

在特征矩阵右侧放置一个同阶的单位矩阵，形成一个新的矩阵X_a，即增广矩阵，

通过矩阵行列变换，看是否能够转化成矩阵X_b，即，

优选的，所述步骤4)中，假设特征数据集X中第a行与第b行存在冗余数据x_aj和x_bj,j＝1,2,…n；由于存在冗余的数据，即数据不存在信息，x_aj和x_bj有一个数据无价值，即x_aj或x_bj元素可为0。X的增广矩阵X_a中始终无法把原特征矩阵变换为单位矩阵，因此无法转化得到X_b，从而可检测特征数据集中是否存在冗余数据；

根据X_b存在与否，来判断X是否存在冗余数据：

如果X_b存在，则矩阵X不存在冗余数据，即不需要对分析的数据对象进行冗余数据处理；

如果X_b不存在，则矩阵X存在冗余数据，即需要对分析的数据对象进行冗余数据处理，为下一步“数据治理”做准备。

采用以上技术方案的有益效果是：通过把需要判别是否存在冗余信息的数据转化为矩阵形式，简单易操作；只需确定所转化的矩阵是否存在逆矩阵，就可给出该数据中是否存在冗余信息的结论，简单明了。

附图说明

图1为本发明一种基于逆矩阵的冗余数据判别方法的流程图。

具体实施方式

下面详细说明本发明的优选实施方式。

根据图1所示，一种基于逆矩阵的冗余数据判别方法，首先是将需要分析的数据对象进行数值化，接着转化成矩阵形式，然后对该矩阵求逆，看是否能够求出逆矩阵，最后根据是否存在逆矩阵来判断该数据对象是否存在冗余信息。当不存在逆矩阵时，说明该数据对象不存在冗余信息，不需要做任何处理；当存在逆矩阵时，说明该数据对象存在冗余信息，需要进行冗余信息剔除处理，为下一步“数据治理”做准备。

把“数据治理”中的需要分析的数据对象，首先在图片、文字、数据库中提取数据资源，记为D，然后把D数值化，转化为数据集X，即

其中，X为m×n的多维数据。

然后，对矩阵X进行逆矩阵求解。在特征矩阵右侧放置一个同阶的单位矩阵，形成一个新的矩阵X_a，即增广矩阵

通过矩阵行列变换，看是否能够转化成矩阵X_b，即

假设特征数据集X中第a行与第b行存在冗余数据x_aj和x_bj,j＝1,2,…n。由于存在冗余的数据，即数据不存在信息，x_aj和x_bj有一个数据无价值，即x_aj或x_bj元素可为0。X的增广矩阵X_a中始终无法把原特征矩阵变换为单位矩阵，因此无法转化得到X_b，从而可检测特征数据集中是否存在冗余数据。

根据X_b存在与否，来判断X是否存在冗余数据：

如果X_b存在，则矩阵X不存在冗余数据，即不需要对分析的数据对象进行冗余数据处理；

如果X_b不存在，则矩阵X存在冗余数据，即需要对分析的数据对象进行冗余数据处理，为下一步“数据治理”做准备。

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。这里以某专业某班级学生的成绩分数为例：

实例1：

假设该班3名同学的各科成绩如下表。

姓名	高等数学	大学英语	数据结构
				张三	96	97	68
李四	89	98	78
				王五	65	89	76

学生成绩表提取数据资源整合为数据集：

数据集X求逆增广矩阵为：

通过矩阵行列转换得出：

由此可得X₁的逆矩阵：

结论：数据集X₁可求出逆矩阵，即X_b存在，说明X₁中不存在冗余数据。

实例2：

假设该班3名同学的各科成绩如下表。

姓名	高等数学	大学英语	数据结构
				张三	96	97	68
李四	89	98	78
				张三	96	97	68

数据集为：

数据集X₂求逆增广矩阵为：

此时，无法通过矩阵变换，得到X_b。

结论：数据集X₂求不出逆矩阵，即X_b不存在，说明X₂中存在冗余数据。从表格中可以看出，第一行和第三行数据是重复的。此时下一步应该对数据进行冗余处理。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.一种基于逆矩阵的冗余数据判别方法，其特征在于，包括如下步骤：

1)把需要分析的数据对象数值化；

2)对数值化后的数据集转化成矩阵；

3)利用增广矩阵变换，对矩阵进行求逆矩阵变换；

4)，根据是否存在逆矩阵来判断该数据对象是否存在冗余信息；当不存在逆矩阵时，说明该数据对象不存在冗余信息，不需要做任何处理；当存在逆矩阵时，说明该数据对象存在冗余信息，需要进行冗余信息剔除处理。

2.根据权利要求1所述的基于逆矩阵的冗余数据判别方法，其特征在于，所述步骤1)中，在图片、文字、数据库中提取数据资源，记为D，然后把D数值化。

3.根据权利要求1所述的基于逆矩阵的冗余数据判别方法，其特征在于，所述步骤2)中，将D转化为数据集X，即，

其中，X为m×n的多维数据。

4.根据权利要求1所述的基于逆矩阵的冗余数据判别方法，其特征在于，所述步骤3)中，所述对矩阵X进行逆矩阵求解；

在特征矩阵右侧放置一个同阶的单位矩阵，形成一个新的矩阵X_a，即增广矩阵，

通过矩阵行列变换，看是否能够转化成矩阵X_b，即，

5.根据权利要求1所述的基于逆矩阵的冗余数据判别方法，其特征在于，所述步骤4)中，假设特征数据集X中第a行与第b行存在冗余数据x_aj和x_bj,j＝1,2,…n；由于存在冗余的数据，即数据不存在信息，x_aj和x_bj有一个数据无价值，即x_aj或x_bj元素可为0。X的增广矩阵X_a中始终无法把原特征矩阵变换为单位矩阵，因此无法转化得到X_b，从而可检测特征数据集中是否存在冗余数据；

根据X_b存在与否，来判断X是否存在冗余数据：

如果X_b存在，则矩阵X不存在冗余数据，即不需要对分析的数据对象进行冗余数据处理；

如果X_b不存在，则矩阵X存在冗余数据，即需要对分析的数据对象进行冗余数据处理，为下一步“数据治理”做准备。

Images