CN110069546A - 一种数据分类方法、数据分类装置及终端设备 - Google Patents
一种数据分类方法、数据分类装置及终端设备 Download PDFInfo
- Publication number
- CN110069546A CN110069546A CN201910203449.0A CN201910203449A CN110069546A CN 110069546 A CN110069546 A CN 110069546A CN 201910203449 A CN201910203449 A CN 201910203449A CN 110069546 A CN110069546 A CN 110069546A
- Authority
- CN
- China
- Prior art keywords
- data
- sample
- cleaned
- target
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请适用于大数据技术领域，提供了一种数据分类方法、数据分类装置及终端设备，包括：获取待分类的第一样本集，所述第一样本集中包括若干组样本数据；对所述第一样本集进行数据清洗，并将数据清洗后的第一样本集作为目标数据集；基于所述目标数据集，确定目标聚类数；基于所述目标聚类数，对所述目标数据集进行聚类，得到分类结果。通过上述方法，能够有效提高大数据分类的准确性。
Description
技术领域
本申请涉及大数据技术领域，尤其涉及一种数据分类方法、数据分类装置及终端设备。
背景技术
在大数据时代，数据挖掘是关键工作。大数据的挖掘是从海量的、不完全的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息的过程。数据分类是数据挖掘的一个重要前提，把具有某种共同属性的数据归并在一起，通过类别属性对数据进行区分。通过数据分类，能够帮助人们做出归纳性的推理，从中挖掘出潜在的模式。
由于大数据的数据量庞大，现有技术中对大数据进行分类的方法往往无法准确地对数据进行分类，进而影响数据挖掘的结果。
发明内容
有鉴于此，本申请实施例提供了一种数据分类方法、数据分类装置及终端设备，以解决现有技术中对大数据进行分类的准确性较低的问题。
本申请实施例的第一方面提供了一种数据分类方法，包括：
获取待分类的第一样本集，所述第一样本集中包括若干组样本数据；
对所述第一样本集进行数据清洗，并将数据清洗后的第一样本集作为目标数据集；
基于所述目标数据集，确定目标聚类数；
基于所述目标聚类数，对所述目标数据集进行聚类，得到分类结果。
本申请实施例的第二方面提供了一种数据分类装置，包括：
获取单元，用于获取待分类的第一样本集，所述第一样本集中包括若干组样本数据；
清洗单元，用于对所述第一样本集进行数据清洗，并将数据清洗后的第一样本集作为目标数据集；
确定单元，用于基于所述目标数据集，确定目标聚类数；
聚类单元，用于基于所述目标聚类数，对所述目标数据集进行聚类，得到分类结果。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例第一方面提供的所述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现本申请实施例第一方面提供的所述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：
本申请实施例通过获取待分类的第一样本集，第一样本集中包括若干组样本数据，对第一样本集进行数据清洗，并将数据清洗后的第一样本集作为目标数据集，通过上述方法，能够剔除第一样本集中的无效数据，为后续的聚类提供有效的目标数据集，以提高分类结果的准确性；基于目标数据集，确定目标聚类数，基于目标聚类数，对目标数据集进行聚类，得到分类结果，通过上述方法，能够自适应地确定合适的目标聚类数，根据合适的目标聚类数对目标数据集进行聚类，能够进一步有效提高分类结果的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的数据分类方法的实现流程示意图；
图2是本申请实施例提供的数据分类装置的示意图；
图3是本申请实施例提供的终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
图1是本申请实施例提供的数据分类方法的实现流程示意图，如图所示，所述方法可以包括以下步骤：
步骤S101，获取待分类的第一样本集，所述第一样本集中包括若干组样本数据。
其中，每组样本数据包括至少一条属性信息，所述属性信息包括属性类别和信息内容。
示例性的，一组样本数据包括2条属性信息，分别为“姓名-张三”、“年龄-25”，其中，第一条属性信息中的“姓名”为属性类别，“张三”为信息内容，第二条属性信息中的“年龄”为属性类别，“25”为信息内容。
步骤S102，对所述第一样本集进行数据清洗，并将数据清洗后的第一样本集作为目标数据集。
在一个实施例中，所述对所述第一样本集进行数据清洗，包括：
删除所述第一样本集中的残缺数据得到第二样本集，所述残缺数据为属性信息的条数小于预设个数的样本数据，和/或属性信息中信息内容为空的样本数据。
将所述第二样本集中的每组样本数据分别作为当前待清洗数据，并基于当前待清洗数据进行清洗处理。
示例性的，假设第二样本集中有2组样本数据，先将第一组样本数据作为当前待清洗数据，对第一组样本数据进行清洗处理，之后再将第二组样本数据作为当前待清洗数据，对第二组样本数据进行清洗处理。
在一个实施例中，所述基于当前待清洗数据进行清洗处理包括：
S11，将所述第二样本集中除当前待清洗数据外的样本数据作为非待清洗数据。
示例性的，假设第二样本集中有3组样本数据，将第一组样本数据作为当前待清洗数据时，将第二组和第三组样本数据均作为非待清洗数据；将第二组样本数据作为当前待清洗数据时，将第一组和第三组样本数据均作为非待清洗数据。
S12，分别将每一组非待清洗数据与所述当前待清洗数据进行对比。
S13，若存在与所述当前待清洗数据相同的非待清洗数据，则删除与当前待清洗数据相同的非待清洗数据。
在一个实施例中，步骤S12中，所述分别将每一组非待清洗数据与所述当前待清洗数据进行对比，包括：
从所述当前待清洗数据的属性信息中选取一条属性信息。
判断当前非待清洗数据中是否存在与选取的属性信息匹配的第二对比信息，所述第二对比信息为所述当前非待清洗数据中的属性信息。
若所述当前非待清洗数据中存在与选取的属性信息匹配的第二对比信息，则将该当前选取的属性信息标记为已配对信息。
若所述当前非待清洗数据中不存在与选取的属性信息匹配的第二对比信息，则将该当前选取的属性信息标记为未配对信息。
在对当前待清洗数据的所有属性信息进行标记之后，判断所述当前待清洗数据中是否存在未配对信息。
若所述当前待清洗数据中存在未配对信息，则判定所述当前非待清洗数据与所述当前待清洗数据不同。
若所述当前待清洗数据中不存在未配对信息，则判定所述当前非待清洗数据与所述当前待清洗数据相同。
在实际应用中，第一对比信息与第二对比信息匹配是指，第一对比信息的属性类别和第二对比信息的属性类别相同，且第一对比信息的信息内容和第二对比信息的信息内容相同。
只有当所述当前待清洗数据中的每一条属性信息和当前非待清洗数据中的每一条属性信息一一对应相同时，才能判断当前待清洗数据和当前非待清洗数据相同。示例性的，假设当前待清洗数据中有A和B两条属性信息，当前非待清洗数据中有a和b两条属性信息。如果A和a相同，B和b相同，则判定当前待清洗数据和当前非待清洗数据相同；如果A和a相同，B和b不同，则判定当前待清洗数据和当前非待清洗数据不同。
步骤S103，基于所述目标数据集，确定目标聚类数。
在一个实施例中，所述基于所述目标数据集，确定目标聚类数，包括：
S21，基于所述目标数据集，确定聚类数搜索范围的上界，并根据所述聚类数搜索范围的上界确定所述聚类数搜索范围。
在实际中，通常将聚类数搜索范围的下界确定为2，所以只要确定了聚类搜索范围的上界，即可确定出聚类数搜索范围的下界。示例性的，假设确定出的聚类数搜索范围的上界为5，则聚类数搜索范围为[2,5]。
S22，依次将所述聚类数搜索范围内的每个整数作为测试聚类数，并基于所述测试聚类数对所述目标数据集进行聚类，得到所述测试聚类数对应的聚类测试结果。
示例性的，假设聚类数搜索范围为[2,4]，则当聚类数为2时对目标数据集进行聚类得到与2对应的聚类测试结果(结果为将目标数据集分为了2类)，当聚类数为3时对目标数据集进行聚类得到与3对应的聚类测试结果(结果为将目标数据集分为了3类)，当聚类数为4时对目标数据集进行聚类得到与4对应的聚类测试结果(结果为将目标数据集分为了4类)。
S23，分别计算每个测试聚类数对应的聚类测试结果对应的聚类指标值，并将所有的聚类指标值中最大值对应的测试聚类数作为目标聚类数。
示例性的，假设聚类数搜索范围为[2,4]，聚类数2对应的聚类测试结果对应的聚类指标值为A，聚类数3对应的聚类测试结果对应的聚类指标值为B，聚类数4对应的聚类测试结果对应的聚类指标值为C，而A>C>B，则将A对应的测试聚类数2作为目标聚类数。
在一个实施例中，步骤S21中所述基于所述目标数据集，确定聚类数搜索范围的上界，包括：
获取用户输入的属性类别，并将该属性类别作为统计物理量。
基于所述统计物理量，绘制所述目标数据集的统计直方图。
统计所述统计直方图中横轴上的区间的个数，并将所述个数作为所述聚类搜索范围的上界。
示例性的，假设属性类别有姓名、年龄、性别，如果用户输入的属性类别为年龄，则将年龄作为统计物理量，即针对年龄对目标数据集绘制统计直方图，那么直方图中的横轴表示年龄，纵轴表示各年龄对应的频数。假设横轴上有25、30、35这三个坐标点，即这三个坐标点将横轴划分为了5个区间，那么将5作为聚类搜索范围的上界。
在一个实施例中，步骤S23中，所述分别计算每个测试聚类数对应的聚类测试结果对应的聚类指标值，包括：
S31，计算所述聚类测试结果中每一类中的每个样本数据的类间夹角余弦值。
在一个实施例中，所述计算所述聚类测试结果中每一类中的每个样本数据的类间夹角余弦值，包括：
其中，所述bc(j,i)为第j类中第i个样本数据的类间夹角余弦值，表示第k类中第p个样本数据的第q维，表示第j类中第i个样本数据的第q维，nk表示第k类中的样本数据的个数，h表示所述测试聚类数，m表示所述样本数据的维数。
S32，计算所述聚类测试结果中每一类中的每个样本数据的类内夹角余弦值。
在一个实施例中，所述计算所述聚类测试结果中每一类中的每个样本数据的类内夹角余弦值，包括：
其中，wc(j,i)表示第j类中第i个样本数据的类内夹角余弦值，表示第j类中第t个样本数据的第q维，nj表示第j类中的样本数据的个数。
S33，根据所述类间夹角余弦值和所述类内夹角余弦值，计算每一类中的每个样本数据的数据指标值。
在一个实施例中，所述根据所述类间夹角余弦值和所述类内夹角余弦值，计算每一类中的每个样本数据的数据指标值，包括：
其中，Q(j,i)表示第j类中第i个样本数据的数据指标值。
S34，计算所述聚类测试结果中所有样本数据的数据指标值的平均值，并将该平均值作为所述聚类测试结果对应的聚类指标值。
步骤S104，基于所述目标聚类数，对所述目标数据集进行聚类，得到分类结果。
本申请实施例通过获取待分类的第一样本集，第一样本集中包括若干组样本数据，对第一样本集进行数据清洗，并将数据清洗后的第一样本集作为目标数据集，通过上述方法，能够剔除第一样本集中的无效数据，为后续的聚类提供有效的目标数据集，以提高分类结果的准确性；基于目标数据集，确定目标聚类数，基于目标聚类数，对目标数据集进行聚类，得到分类结果，通过上述方法，能够自适应地确定合适的目标聚类数，根据合适的目标聚类数对目标数据集进行聚类，能够进一步有效提高分类结果的准确性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图2是本申请实施例提供的数据分类装置的示意图，为了便于说明，仅示出与本申请实施例相关的部分。
图2所示的数据分类装置可以是内置于现有的终端设备内的软件单元、硬件单元、或软硬结合的单元，也可以作为独立的挂件集成到所述终端设备中，还可以作为独立的终端设备存在。
所述数据分类装置2包括：
获取单元21，用于获取待分类的第一样本集，所述第一样本集中包括若干组样本数据。
清洗单元22，用于对所述第一样本集进行数据清洗，并将数据清洗后的第一样本集作为目标数据集。
确定单元23，用于基于所述目标数据集，确定目标聚类数。
聚类单元24，用于基于所述目标聚类数，对所述目标数据集进行聚类，得到分类结果。
其中，每组样本数据包括至少一条属性信息，所述属性信息包括属性类别和信息内容。
可选的，所述清洗单元22包括：
删除子单元，用于删除所述第一样本集中的残缺数据得到第二样本集，所述残缺数据为属性信息的条数小于预设个数的样本数据，和/或属性信息中信息内容为空的样本数据。
清洗子单元，用于将所述第二样本集中的每组样本数据分别作为当前待清洗数据，并基于当前待清洗数据进行清洗处理。
可选的，所述清洗子单元包括：
标记模块，用于将所述第二样本集中除当前待清洗数据外的样本数据作为非待清洗数据。
对比模块，用于分别将每一组非待清洗数据与所述当前待清洗数据进行对比。
删除模块，用于若存在与所述当前待清洗数据相同的非待清洗数据，则删除与当前待清洗数据相同的非待清洗数据。
可选的，所述对比模块包括：
选取子模块，用于从所述当前待清洗数据的属性信息中选取一条属性信息。
第一判断子模块，用于判断当前非待清洗数据中是否存在与选取的属性信息匹配的第二对比信息，所述第二对比信息为所述当前非待清洗数据中的属性信息。
第一标记子模块，用于若所述当前非待清洗数据中存在与选取的属性信息匹配的第二对比信息，则将该当前选取的属性信息标记为已配对信息。
第二标记子模块，用于若所述当前非待清洗数据中不存在与选取的属性信息匹配的第二对比信息，则将该当前选取的属性信息标记为未配对信息。
第二判断子模块，用于在对当前待清洗数据的所有属性信息进行标记之后，判断所述当前待清洗数据中是否存在未配对信息。
第一判定子模块，用于若所述当前待清洗数据中存在未配对信息，则判定所述当前非待清洗数据与所述当前待清洗数据不同。
第二判定子模块，用于若所述当前待清洗数据中不存在未配对信息，则判定所述当前非待清洗数据与所述当前待清洗数据相同。
可选的，所述确定单元23包括：
确定子单元，用于基于所述目标数据集，确定聚类数搜索范围的上界，并根据所述聚类数搜索范围的上界确定所述聚类数搜索范围。
聚类子单元，用于依次将所述聚类数搜索范围内的每个整数作为测试聚类数，并基于所述测试聚类数对所述目标数据集进行聚类，得到所述测试聚类数对应的聚类测试结果。
计算子单元，用于分别计算每个测试聚类数对应的聚类测试结果对应的聚类指标值，并将所有的聚类指标值中最大值对应的测试聚类数作为目标聚类数。
可选的，所述确定子单元包括：
获取模块，用于获取用户输入的属性类别，并将该属性类别作为统计物理量。
绘制模块，用于基于所述统计物理量，绘制所述目标数据集的统计直方图。
统计模块，用于统计所述统计直方图中横轴上的区间的个数，并将所述个数作为所述聚类搜索范围的上界。
可选的，所述计算子单元包括：
第一计算模块，用于计算所述聚类测试结果中每一类中的每个样本数据的类间夹角余弦值。
第二计算模块，用于计算所述聚类测试结果中每一类中的每个样本数据的类内夹角余弦值。
第三计算模块，用于根据所述类间夹角余弦值和所述类内夹角余弦值，计算每一类中的每个样本数据的数据指标值。
第四计算模块，用于计算所述聚类测试结果中所有样本数据的数据指标值的平均值，并将该平均值作为所述聚类测试结果对应的聚类指标值。
可选的，所述第一计算模块还用于：
其中，所述bc(j,i)为第j类中第i个样本数据的类间夹角余弦值，表示第k类中第p个样本数据的第q维，表示第j类中第i个样本数据的第q维，nk表示第k类中的样本数据的个数，h表示所述测试聚类数，m表示所述样本数据的维数。
可选的，所述第二计算模块还用于：
其中，wc(j,i)表示第j类中第i个样本数据的类内夹角余弦值，表示第j类中第t个样本数据的第q维，nj表示第j类中的样本数据的个数。
可选的，所述第三计算模块还用于：
其中，Q(j,i)表示第j类中第i个样本数据的数据指标值。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图3是本申请实施例提供的终端设备的示意图。如图3所示，该实施例的终端设备3包括：处理器30、存储器31以及存储在所述存储器31中并可在所述处理器30上运行的计算机程序32。所述处理器30执行所述计算机程序32时实现上述各个数据分类方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，所述处理器30执行所述计算机程序32时实现上述各装置实施例中各模块/单元的功能，例如图2所示模块21至24的功能。
示例性的，所述计算机程序32可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器31中，并由所述处理器30执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序32在所述终端设备3中的执行过程。例如，所述计算机程序32可以被分割成获取单元、清洗单元、确定单元、聚类单元，各单元具体功能如下：
获取单元，用于获取待分类的第一样本集，所述第一样本集中包括若干组样本数据。
清洗单元，用于对所述第一样本集进行数据清洗，并将数据清洗后的第一样本集作为目标数据集。
确定单元，用于基于所述目标数据集，确定目标聚类数。
聚类单元，用于基于所述目标聚类数，对所述目标数据集进行聚类，得到分类结果。
其中，每组样本数据包括至少一条属性信息，所述属性信息包括属性类别和信息内容。
可选的，所述清洗单元包括：
删除子单元，用于删除所述第一样本集中的残缺数据得到第二样本集，所述残缺数据为属性信息的条数小于预设个数的样本数据，和/或属性信息中信息内容为空的样本数据。
清洗子单元，用于将所述第二样本集中的每组样本数据分别作为当前待清洗数据，并基于当前待清洗数据进行清洗处理。
可选的，所述清洗子单元包括：
标记模块，用于将所述第二样本集中除当前待清洗数据外的样本数据作为非待清洗数据。
对比模块，用于分别将每一组非待清洗数据与所述当前待清洗数据进行对比。
删除模块，用于若存在与所述当前待清洗数据相同的非待清洗数据，则删除与当前待清洗数据相同的非待清洗数据。
可选的，所述对比模块包括：
选取子模块，用于从所述当前待清洗数据的属性信息中选取一条属性信息。
第一判断子模块，用于判断当前非待清洗数据中是否存在与选取的属性信息匹配的第二对比信息，所述第二对比信息为所述当前非待清洗数据中的属性信息。
第一标记子模块，用于若所述当前非待清洗数据中存在与选取的属性信息匹配的第二对比信息，则将该当前选取的属性信息标记为已配对信息。
第二标记子模块，用于若所述当前非待清洗数据中不存在与选取的属性信息匹配的第二对比信息，则将该当前选取的属性信息标记为未配对信息。
第二判断子模块，用于在对当前待清洗数据的所有属性信息进行标记之后，判断所述当前待清洗数据中是否存在未配对信息。
第一判定子模块，用于若所述当前待清洗数据中存在未配对信息，则判定所述当前非待清洗数据与所述当前待清洗数据不同。
第二判定子模块，用于若所述当前待清洗数据中不存在未配对信息，则判定所述当前非待清洗数据与所述当前待清洗数据相同。
可选的，所述确定单元包括：
确定子单元，用于基于所述目标数据集，确定聚类数搜索范围的上界，并根据所述聚类数搜索范围的上界确定所述聚类数搜索范围。
聚类子单元，用于依次将所述聚类数搜索范围内的每个整数作为测试聚类数，并基于所述测试聚类数对所述目标数据集进行聚类，得到所述测试聚类数对应的聚类测试结果。
计算子单元，用于分别计算每个测试聚类数对应的聚类测试结果对应的聚类指标值，并将所有的聚类指标值中最大值对应的测试聚类数作为目标聚类数。
可选的，所述确定子单元包括：
获取模块，用于获取用户输入的属性类别，并将该属性类别作为统计物理量。
绘制模块，用于基于所述统计物理量，绘制所述目标数据集的统计直方图。
统计模块，用于统计所述统计直方图中横轴上的区间的个数，并将所述个数作为所述聚类搜索范围的上界。
可选的，所述计算子单元包括：
第一计算模块，用于计算所述聚类测试结果中每一类中的每个样本数据的类间夹角余弦值。
第二计算模块，用于计算所述聚类测试结果中每一类中的每个样本数据的类内夹角余弦值。
第三计算模块，用于根据所述类间夹角余弦值和所述类内夹角余弦值，计算每一类中的每个样本数据的数据指标值。
第四计算模块，用于计算所述聚类测试结果中所有样本数据的数据指标值的平均值，并将该平均值作为所述聚类测试结果对应的聚类指标值。
可选的，所述第一计算模块还用于：
其中，所述bc(j,i)为第j类中第i个样本数据的类间夹角余弦值，表示第k类中第p个样本数据的第q维，表示第j类中第i个样本数据的第q维，nk表示第k类中的样本数据的个数，h表示所述测试聚类数，m表示所述样本数据的维数。
可选的，所述第二计算模块还用于：
其中，wc(j,i)表示第j类中第i个样本数据的类内夹角余弦值，表示第j类中第t个样本数据的第q维，nj表示第j类中的样本数据的个数。
可选的，所述第三计算模块还用于：
其中，Q(j,i)表示第j类中第i个样本数据的数据指标值。
所述终端设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器30、存储器31。本领域技术人员可以理解，图3仅仅是终端设备3的示例，并不构成对终端设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器31可以是所述终端设备3的内部存储单元，例如终端设备3的硬盘或内存。所述存储器31也可以是所述终端设备3的外部存储设备，例如所述终端设备3上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器31还可以既包括所述终端设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据分类方法，其特征在于，包括：
获取待分类的第一样本集，所述第一样本集中包括若干组样本数据；
对所述第一样本集进行数据清洗，并将数据清洗后的第一样本集作为目标数据集；
基于所述目标数据集，确定目标聚类数；
基于所述目标聚类数，对所述目标数据集进行聚类，得到分类结果。
2.如权利要求1所述的数据分类方法，其特征在于，每组样本数据包括至少一条属性信息，所述属性信息包括属性类别和信息内容；
所述对所述第一样本集进行数据清洗，包括：
删除所述第一样本集中的残缺数据得到第二样本集，所述残缺数据为属性信息的条数小于预设个数的样本数据，和/或属性信息中信息内容为空的样本数据；
将所述第二样本集中的每组样本数据分别作为当前待清洗数据，并基于当前待清洗数据进行清洗处理；
其中，所述基于当前待清洗数据进行清洗处理包括：
将所述第二样本集中除当前待清洗数据外的样本数据作为非待清洗数据；
分别将每一组非待清洗数据与所述当前待清洗数据进行对比；
若存在与所述当前待清洗数据相同的非待清洗数据，则删除与当前待清洗数据相同的非待清洗数据。
3.如权利要求2所述的数据分类方法，其特征在于，所述分别将每一组非待清洗数据与所述当前待清洗数据进行对比，包括：
从所述当前待清洗数据的属性信息中选取一条属性信息；
判断当前非待清洗数据中是否存在与选取的属性信息匹配的第二对比信息，所述第二对比信息为所述当前非待清洗数据中的属性信息；
若所述当前非待清洗数据中存在与选取的属性信息匹配的第二对比信息，则将该当前选取的属性信息标记为已配对信息；
若所述当前非待清洗数据中不存在与选取的属性信息匹配的第二对比信息，则将该当前选取的属性信息标记为未配对信息；
在对当前待清洗数据的所有属性信息进行标记之后，判断所述当前待清洗数据中是否存在未配对信息；
若所述当前待清洗数据中存在未配对信息，则判定所述当前非待清洗数据与所述当前待清洗数据不同；
若所述当前待清洗数据中不存在未配对信息，则判定所述当前非待清洗数据与所述当前待清洗数据相同。
4.如权利要求2所述的数据分类方法，其特征在于，所述基于所述目标数据集，确定目标聚类数，包括：
基于所述目标数据集，确定聚类数搜索范围的上界，并根据所述聚类数搜索范围的上界确定所述聚类数搜索范围；
依次将所述聚类数搜索范围内的每个整数作为测试聚类数，并基于所述测试聚类数对所述目标数据集进行聚类，得到所述测试聚类数对应的聚类测试结果；
分别计算每个测试聚类数对应的聚类测试结果对应的聚类指标值，并将所有的聚类指标值中最大值对应的测试聚类数作为目标聚类数。
5.如权利要求4所述的数据分类方法，其特征在于，所述基于所述目标数据集，确定聚类数搜索范围的上界，包括：
获取用户输入的属性类别，并将该属性类别作为统计物理量；
基于所述统计物理量，绘制所述目标数据集的统计直方图；
统计所述统计直方图中横轴上的区间的个数，并将所述个数作为所述聚类搜索范围的上界。
6.如权利要求4所述的数据分类方法，其特征在于，所述分别计算每个测试聚类数对应的聚类测试结果对应的聚类指标值，包括：
计算所述聚类测试结果中每一类中的每个样本数据的类间夹角余弦值；
计算所述聚类测试结果中每一类中的每个样本数据的类内夹角余弦值；
根据所述类间夹角余弦值和所述类内夹角余弦值，计算每一类中的每个样本数据的数据指标值；
计算所述聚类测试结果中所有样本数据的数据指标值的平均值，并将该平均值作为所述聚类测试结果对应的聚类指标值。
7.如权利要求6所述的数据分类方法，其特征在于，所述计算所述聚类测试结果中每一类中的每个样本数据的类间夹角余弦值，包括：
其中，所述bc(j，i)为第j类中第i个样本数据的类间夹角余弦值，表示第k类中第p个样本数据的第q维，表示第j类中第i个样本数据的第q维，nk表示第k类中的样本数据的个数，h表示所述测试聚类数，m表示所述样本数据的维数；
所述计算所述聚类测试结果中每一类中的每个样本数据的类内夹角余弦值，包括：
其中，wc(j，i)表示第j类中第i个样本数据的类内夹角余弦值，表示第j类中第t个样本数据的第q维，nj表示第j类中的样本数据的个数；
所述根据所述类间夹角余弦值和所述类内夹角余弦值，计算每一类中的每个样本数据的数据指标值，包括：
其中，Q(j，i)表示第j类中第i个样本数据的数据指标值。
8.一种数据分类装置，其特征在于，包括：
获取单元，用于获取待分类的第一样本集，所述第一样本集中包括若干组样本数据；
清洗单元，用于对所述第一样本集进行数据清洗，并将数据清洗后的第一样本集作为目标数据集；
确定单元，用于基于所述目标数据集，确定目标聚类数；
聚类单元，用于基于所述目标聚类数，对所述目标数据集进行聚类，得到分类结果。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910203449.0A CN110069546A (zh) | 2019-03-18 | 2019-03-18 | 一种数据分类方法、数据分类装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910203449.0A CN110069546A (zh) | 2019-03-18 | 2019-03-18 | 一种数据分类方法、数据分类装置及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110069546A true CN110069546A (zh) | 2019-07-30 |
Family
ID=67366328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910203449.0A Pending CN110069546A (zh) | 2019-03-18 | 2019-03-18 | 一种数据分类方法、数据分类装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110069546A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110797109A (zh) * | 2019-10-15 | 2020-02-14 | 山东朗润医疗系统有限公司 | 一种磁共振图像的自动分类系统 |
| CN111932142A (zh) * | 2020-08-25 | 2020-11-13 | 望海康信(北京)科技股份公司 | 方案分组和数据分组方法、装置、设备及存储介质 |
| CN113239963A (zh) * | 2021-04-13 | 2021-08-10 | 联合汽车电子有限公司 | 车辆数据的处理方法、装置、设备、车辆和存储介质 |
| CN113658710A (zh) * | 2021-08-11 | 2021-11-16 | 东软集团股份有限公司 | 一种数据匹配方法及其相关设备 |
-
2019
- 2019-03-18 CN CN201910203449.0A patent/CN110069546A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110797109A (zh) * | 2019-10-15 | 2020-02-14 | 山东朗润医疗系统有限公司 | 一种磁共振图像的自动分类系统 |
| CN111932142A (zh) * | 2020-08-25 | 2020-11-13 | 望海康信(北京)科技股份公司 | 方案分组和数据分组方法、装置、设备及存储介质 |
| CN113239963A (zh) * | 2021-04-13 | 2021-08-10 | 联合汽车电子有限公司 | 车辆数据的处理方法、装置、设备、车辆和存储介质 |
| CN113239963B (zh) * | 2021-04-13 | 2024-03-01 | 联合汽车电子有限公司 | 车辆数据的处理方法、装置、设备、车辆和存储介质 |
| CN113658710A (zh) * | 2021-08-11 | 2021-11-16 | 东软集团股份有限公司 | 一种数据匹配方法及其相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110069546A (zh) | 一种数据分类方法、数据分类装置及终端设备 | |
| CN109189991B (zh) | 重复视频识别方法、装置、终端及计算机可读存储介质 | |
| WO2019200782A1 (zh) | 样本数据分类方法、模型训练方法、电子设备及存储介质 | |
| CN106489149A (zh) | 一种基于数据挖掘和众包的数据标注方法及系统 | |
| CN106844407B (zh) | 基于数据集相关性的标签网络产生方法和系统 | |
| CN110008259A (zh) | 可视化数据分析的方法及终端设备 | |
| CN103294817A (zh) | 一种基于类别分布概率的文本特征抽取方法 | |
| CN109766437A (zh) | 一种文本聚类方法、文本聚类装置及终端设备 | |
| CN109242002A (zh) | 高维数据分类方法、装置及终端设备 | |
| CN107451597A (zh) | 一种样本类别标签纠正方法及装置 | |
| CN113542241B (zh) | 一种基于CNN-BiGRU混合模型的入侵检测方法及装置 | |
| CN104281674A (zh) | 一种基于集聚系数的自适应聚类方法及系统 | |
| CN109241297B (zh) | 一种内容分类聚合方法、电子设备、存储介质及引擎 | |
| CN104517052B (zh) | 一种入侵检测方法及装置 | |
| CN111310052A (zh) | 用户画像构建方法、装置及计算机可读存储介质 | |
| CN109271423A (zh) | 一种对象推荐方法、装置、终端及计算机可读存储介质 | |
| CN111400448A (zh) | 对象的关联关系分析方法及装置 | |
| CN112328657A (zh) | 特征衍生方法、装置、计算机设备及介质 | |
| CN109376790A (zh) | 一种基于渗流分析的二元分类方法 | |
| CN109916350A (zh) | 一种生成三坐标测量程序的方法、装置及终端设备 | |
| CN113435308B (zh) | 文本多标签分类方法、装置、设备及存储介质 | |
| CN109848052A (zh) | 一种货物分拣的方法及终端设备 | |
| CN113962401A (zh) | 联邦学习系统、联邦学习系统中的特征选择方法及装置 | |
| CN108960246A (zh) | 一种用于图像识别的二值化处理装置及方法 | |
| CN109670015A (zh) | 数据分析方法、计算机可读存储介质及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190730 |