CN108763420B - 数据对象的分类方法、装置、终端和计算机可读存储介质 - Google Patents
数据对象的分类方法、装置、终端和计算机可读存储介质 Download PDFInfo
- Publication number
- CN108763420B CN108763420B CN201810506392.7A CN201810506392A CN108763420B CN 108763420 B CN108763420 B CN 108763420B CN 201810506392 A CN201810506392 A CN 201810506392A CN 108763420 B CN108763420 B CN 108763420B
- Authority
- CN
- China
- Prior art keywords
- clusters
- cluster
- data object
- data objects
- operation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 79
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 8
- 238000003064 k means clustering Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种数据对象的分类方法、装置、终端和计算机可读存储介质。该方法包括:获取聚类算法的运算结果,其中,所述运算结果包括多个类簇,每个类簇包括一个或多个数据对象;根据预设的过分接近判断算法,确认所述运算结果中的类簇两两之间的接近状态;确定相似类簇;其中,所述相似类簇与其他一个或多个类簇过分接近;提取相似类簇中的数据对象;将提取的数据对象重新划分为多个类簇。实施本发明实施例,可以实现提高聚类算法划分类簇的准确度的效果。
Description
技术领域
本发明实施例涉及数据分析技术,尤其涉及一种数据对象的分类方法、装置、终端和计算机可读存储介质。
背景技术
如何将大量数据作快速的数据分析及知识获取,已成为现代信息管理领域中最重要的议题之一。数据聚类是常被使用的一种数据分析方法,它可以将众多数据对象分为多个类簇,使得同一个类簇的数据对象的相似性尽可能大,不同一个类簇的数据对象的差异性也尽可能大。在商业上,聚类可以帮助市场分析人员从消费者数据库中区分出不同的消费群体来,并且概括出每一类消费者的消费模式或者习惯。它作为数据挖掘中的一个模块,可以作为一个单独的工具以发现数据库中分布的一些深层的信息,并且概括出每一类的特点,或者把注意力放在某一个特定的类上以作进一步的分析;并且,聚类分析也可以作为数据挖掘算法中其他分析算法的一个预处理步骤。
常用的聚类算法有K-means算法、二分K-means算法、DBSCAN算法和Clara算法等等。发明人在实施本发明的过程中,发现现有技术存在以下缺陷:不同类簇之间的数据特征过于接近,游离于两个类簇之间的数据对象很容易被划分到不是最相关的类簇中。
发明内容
本发明提供一种数据对象的分类方法、装置、终端和计算机可读存储介质,以实现提高聚类算法划分类簇的准确度。
第一方面,本发明实施例提供了一种数据对象的分类方法,包括:
获取聚类算法的运算结果,其中,所述运算结果包括多个类簇,每个类簇包括一个或多个数据对象;
根据预设的过分接近判断算法,确认所述运算结果中的类簇两两之间的接近状态;
确定相似类簇;其中,所述相似类簇与其他一个或多个类簇过分接近;
提取相似类簇中的数据对象;
将提取的数据对象重新划分为多个类簇。
第二方面,本发明实施例还提供了一种数据对象的分类装置,包括:
第一获取模块,用于获取聚类算法的运算结果,其中,所述运算结果包括多个类簇,每个类簇包括一个或多个数据对象;
确认模块,用于根据预设的过分接近判断算法,确认所述运算结果中的类簇两两之间的接近状态;
确定模块,用于确定相似类簇;其中,所述相似类簇与其他一个或多个类簇过分接近;
第一提取模块,用于提取相似类簇中的数据对象;
重新分类模块,用于将提取的数据对象重新划分为多个类簇。
第三方面,本发明实施例还提供了一种终端,所述终端包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例提供的方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例提供的方法。
本发明通过判断聚类算法的运算结果中类簇两两之间是否过分接近,将过分接近的相似类簇中的数据对象提取出来重新划分类簇,从而提高了不同类簇之间的差异性以及同一类簇中数据对象的相似性,使得游离在两个类簇的边界附近的数据对象准确地归属到了类簇,解决了现有技术中数据对象容易被划分到不相关的类簇中的问题,实现提高聚类算法划分类簇的准确度的效果。
附图说明
图1是本发明实施例一中的数据对象的分类方法的流程图;
图2是本发明实施例二中的数据对象的分类方法的流程图;
图3是本发明实施例三中的数据对象的分类方法的流程图;
图4是本发明实施例四中的数据对象的分类装置的结构示意图;
图5是本发明实施例五中的终端的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
此外,在说明书和权利要求书中的术语第一、第二、第三等仅用于区别相同技术特征的描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量,也不一定描述次序或时间顺序。在合适的情况下术语是可以互换的。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
实施例一
图1为本发明实施例一提供的数据对象的分类方法的流程图,本实施例可适用于在执行传统的聚类算法之后,对聚类运算的运算结果进行优化以提高不同类簇之间的差异度的情况,该方法可以由数据对象的分类装置来执行,具体包括如下步骤110至150。
步骤110、获取聚类算法的运算结果;
其中,所述运算结果包括多个类簇,每个类簇包括一个或多个数据对象。
数据对象,指具有一个或多个特征值的对象,例如,一个消费用户数据对象,具有用户性别、月均消费金额、消费频率、第一次消费时间和用户学历多个特征。多个特征值表征了数据对象在多维度的数据空间中的位置。
聚类算法,是指K-means算法、二分K-means算法、DBSCAN算法和Clara算法等用于将数据对象划分为多个类簇的算法。理想的聚类算法,应当将数据空间中距离相近的多个数据对象归为一个类簇,距离远的数据对象划分在不同的类簇中。在本发明权利要求书中,距离可以是欧式距离、标准化欧式距离、马氏距离或曼哈顿距离等,优选为欧式距离。
运算结果,指执行聚类算法所输出的分类结果,包括多个类簇,每个类簇包括一个或多个数据对象。运算结果可以是执行了完整的一次聚类算法流程后得到的分类结果,也可以是聚类算法执行过程中对数据对象进行了一次或多次划分类簇后得到的分类结果。例如,执行K-Means算法,会迭代地对数据对象进行多次划分类簇,每一次划分后都会将类簇的质心作为新的中心重新划分,直至类簇的质心和中心之间的距离收敛到允许接受的最小值,本实施例中的运算结果,可以是指K-means算法收敛后得到的最终分类结果,也可以是指在K-means算法执行过程中得到的某一次分类结果。
步骤120、根据预设的过分接近判断算法,确认所述运算结果中的类簇两两之间的接近状态。
接近状态,包括两个类簇之间过分接近及两个类簇之间不是过分接近。过分接近由预设的过分接近判断算法定义。
预设的过分接近判断算法,可以视不同的聚类算法的优缺点而设置。本实施例提供一种优选的过分接近判断算法:
对于数据对象的特征包含连续型特征的情况,步骤120具体包括:分别计算每个类簇的携带信息,所述携带信息包括类簇中数据对象的连续型特征的均值和/或标准差;如果两个类簇的携带信息之间的差值小于预设的第一阈值,则确认所述两个类簇的所述连续型特征过分接近。其中,如果类簇中携带信息有两种或者两种以上,例如和值、均值、标准差以及其他信息,则携带信息之间的差值小于预设的第一阈值,指两个类簇的各种携带信息之间的差值均小于预设的第一阈值。
预设的第一阈值可以是固定设置的值,也可以是与各类簇的携带信息相关的值。优选地,第一阈值为0.2*(Max-Min),其中,Max是各类簇的携带信息中的最大值,Min是各类簇的携带信息的最小值。发明人经过长时间的推算以及试验调整,得出该优选的第一阈值,能够依据当前的数据结构,更准确地衡量两个类簇之间的相似程度。
对于数据对象的特征包含离散型特征的情况,步骤120包括:获取每个类簇的最大频次特征值,所述最大频次特征值是在类簇中数据对象的离散型特征中出现得最多的取值;如果两个类簇的最大频次特征值相同,则确认所述两个类簇的所述离散型特征过分接近。
如果一个数据对象包含多个特征,则在确认类簇的特征过分接近后,可以统计过分接近的特征个数,进而确认类簇是否接近。对于数据对象的特征既包含离散型特征又包含连续型特征的情况,可以结合上述两种分别针对离散型特征和连续型特征的方案,再统计过分接近的特征数量,如果过分接近的特征数量大于预设阈值,则可以确认两个类簇之间过分接近。
优选地,步骤120还包括:
如果两个类簇有L个特征过分接近,则确认两个类簇之间过分接近;其中,L>N/2,N为所述数据对象的特征数量。
在优选方案中,过分接近的特征数量大于全部特征的1/2,则确认两个类簇之间过分接近。
步骤130、确定相似类簇;其中,所述相似类簇与其他一个或多个类簇过分接近。
步骤140、提取相似类簇中的数据对象。
步骤150、将提取的数据对象重新划分为多个类簇。
具体地,将提取的数据对象重新划分类簇,可以使用上述用于获取运算结果的聚类算法,也可以用其他聚类算法。例如,通过执行DBSCAN算法获得分类结果后,执行步骤120至140,再使用DBSCAN算法将提取的数据对象重新划分为多个类簇。
下面以DBSCAN算法为例,具体阐述本实施例的实现过程;其中还包含了对DBSCAN算法的改进。
(1)设置MinPts值和K值,其中,MinPts值是DBSCAN算法中用于评价数据对象是否核心对象的一个参数,当一个数据对象的半径为R的邻域内的数据对象个数大于等于MinPts,则称该数据对象为核心对象。K值是用于计算密度半径R的样本数量值。
(2)在数据对象全集中随机选择任意一个未被划分到类簇中的数据对象,并计算该数据对象与其他数据对象之间的距离。
(3)计算距离所选的数据对象最近的K个数据对象(未处理的数据对象),并计算这些数据对象到所选的数据对象的平均距离,并以此作为密度半径R,如K=5,则R=(d1+d2+d3+d4+d5)/5,d1~d5分别为K个数据对象到所选的数据对象的距离;通过选取一定数量的样本,依据这些样本算出合理的邻域半径R,使得邻域半径R与实际的数据结构和分布规律相关,无需要求数据挖掘用户对数据结构熟悉,减少用户的分析工作量。
(4)判断在以所选数据对象为圆心,R为半径的圆内的数据对象个数是否大于或等于MinPts。若是,则所选的数据对象为核心对象,且所选数据对象与在圆内的数据对象密度可达;若不是,则所选的数据对象为边缘数据对象;寻找该核心对象密度可达的数据对象集合,得到一个类簇。
(5)继续迭代执行上述的步骤(2)至(4),直至所有数据对象都被选取判断过;此时在所有数据对象中,密度可达的点可以形成一个或多个类簇。
(6)根据预设的过分接近判断算法,确认所述运算结果中的类簇两两之间的接近状态;一个优选的过分接近判断算法实施方案是,计算各类簇的携带信息——数据对象的连续型特征均值和标准差,如果两个类簇中的数据对象,同一连续型特征的均值或标准差之间的相异度(差值)均小于一个预设的阈值,则两个类簇的该连续型特征过分接近;同时统计各类簇的最大频次特征值——在类簇中数据对象的离散型特征中出现得最多的取值(如第一类簇和第二类簇的数据对象中,性别特征出现得最多的取值是女性),如果两个类簇的最大频次特征值相同,则这两个类簇的该离散型特征过分接近;如果两个类簇有多个特征过分接近,则可以认为这两个类簇过分接近。
(7)将与其他一个或多个类簇过分接近的类簇,确定为相似类簇;
(8)将这些相似类簇中的数据对象全部提取出来,将提取的数据对象作为数据对象全集,执行步骤(1)至(5),即按照DBSCAN算法执行密度聚类的过程。至此,将所有数据对象准确划分为多个类簇。
按照上述方案对数据对象划分类簇之后,可以统计每个类簇的携带信息,选取一个或多个主要特征,按每一类簇的主要特征对应的携带信息,进行从强到弱的排序,以便于对数据对象进行解读。例如,在消费用户分群领域,每一用户对应一个数据对象,具有多个特征:用户性别、月均消费金额、消费频率、第一次消费时间和用户学历等,根据这些特征值,按照上述方法对用户数据对象进行划分类簇,之后根据一个或多个主要特征,对用户进行排序,将用户划分为核心用户、高级用户、中级用户、初级用户和新用户。如果根据单个特征对用户进行排序,可以按照类簇中数据对象的均值大小来排序;如果根据多个特征对用户进行排序,可以对类簇中数据对象的多个主要特征的均值进行加权相加,然后按照加权相加得到的数值大小来排序。
综上所述,本实施例的技术方案,通过判断聚类算法的运算结果中类簇两两之间是否过分接近,将过分接近的相似类簇中的数据对象提取出来重新划分类簇,从而提高了不同类簇之间的差异性以及同一类簇中数据对象的相似性,使得游离在两个类簇的边界附近的数据对象准确地归属到了类簇,解决了现有技术中数据对象容易被划分到不相关的类簇中的问题,实现提高聚类算法划分类簇的准确度的效果。
实施例二
图2为本发明实施例二提供的数据对象的分类方法的流程图,本实施例可适用于在执行传统的聚类算法之后,对聚类运算的运算结果进行优化以提高不同类簇之间的差异度的情况,该方法可以由数据对象的分类装置来执行。
该方法在上述实施例一的基础上,增加了二次聚类的步骤,包括图2中的步骤160~步骤190。具体地,本实施例提供的数据对象的分类方法,包括如下步骤110至180:
步骤110、获取聚类算法的运算结果,其中,所述运算结果包括多个类簇,每个类簇包括一个或多个数据对象。
步骤120、根据预设的过分接近判断算法,确认所述运算结果中的类簇两两之间的接近状态。
步骤130、确定相似类簇;其中,所述相似类簇与其他一个或多个类簇过分接近。
步骤140、提取相似类簇中的数据对象。
步骤150、将提取的数据对象重新划分为多个类簇。
步骤160、获取各类簇两两之间的临界点;其中,所述临界点是与两个类簇的质心之间的中点距离最近的数据对象;可以理解,两个类簇的质心之间的中点的每一特征值,都是两个类簇的质心的对应特征值的均值,计算各数据对象与该中点的欧式距离或其他距离,可以获得距离最小的数据对象——临界点。
步骤170、如果关联类簇中存在数据对象与所述临界点之间的距离小于预设的第三阈值,则从各类簇中提取与所述临界点之间的距离小于或等于预设的第四阈值的数据对象作为二次聚类对象;其中,所述关联类簇为各类簇中除临界点所属的类簇外的其他类簇。
本发明实施例通过发现不包含临界点的关联类簇中有数据对象与临界点之间的距离过小,判定游离于类簇的边界附近存在划分不准确的数据对象,进而将边界附近的数据对象作为二次聚类对象,以进行更准确的分类。
优选地,第三阈值和第四阈值不相等。
优选地,第三阈值为临界点与同类簇中距离最近的数据对象之间的距离的两倍,具体地,同类簇中距离最近的数据对象为临界点所属类簇中与临界点距离值最小的数据对象。
优选地,第四阈值为关联类簇中,按与临界点的距离由近及远地排序,第N个数据对象与临界点的距离,N=0.2*(NumA+NumB),NumA和NumB分别为获取临界点时用于计算质心中点的两个类簇所包含的数据对象个数。
步骤180、将二次聚类对象划分到所有二次聚类对象的质心所属的类簇中。
综上所述,本实施例的技术方案,通过判断聚类算法的运算结果中类簇两两之间是否过分接近,将过分接近的相似类簇中的数据对象提取出来重新划分类簇,不仅提高了不同类簇之间的差异性以及同一类簇中数据对象的相似性,且对游离在类簇之间临界范围的数据对象执行二次聚类,从一定程度上减少了聚类误差。本实施例提供的方法是在实施例一的基础上的进一步方案,相应的技术特征可参考实施例一设置。
实施例三
图3为本发明实施例三提供的数据对象的分类方法的流程图,本实施例可适用于在执行传统的聚类算法之后,对聚类运算的运算结果进行优化以提高不同类簇之间的差异度的情况,该方法可以由数据对象的分类装置来执行。
该方法在上述实施例一的基础上,提供了步骤110、获取聚类算法的运算结果的具体实施方案:在多个数据对象中随机选取多个中心;在每次选取中心之后,计算每个数据对象与所述中心的距离;将每个数据对象划分到与所述数据对象距离最小的中心所在的类簇,获得运算结果。在将相似类簇的数据对象重新划分为多个类簇之后,本实施例提供的数据对象的分类方法还包括:计算类簇集合中每个类簇的质心,其中,所述类簇集合包括非相似类簇与重新划分的类簇;如果类簇中的质心与中心的距离大于预设的第二阈值,则选取所述类簇集合中每个类簇的质心作为中心。
本实施例的数据对象的分类方法依据K-means聚类算法的原理执行,具体的,该数据对象的分类方法包括:
步骤310、在多个数据对象中随机选取多个中心;一般地,随机选择中心的数量为K,K为预设的值,在K-means算法中,K值设置为最优聚类数量,即最为理想的类簇数量。可以根据人为经验设置K值,也可以利用一些评价算法来估计K值,例如使用肘部法则寻找合理的K值。
步骤320、在每次选取中心之后,计算每个数据对象与所述中心的距离。
步骤330、将每个数据对象划分到与所述数据对象距离最小的中心所在的类簇,获得运算结果。步骤310至步骤330完成了第一次的K-means聚类过程,获得了执行K-means第一次划分类簇的运算结果。
步骤340、根据预设的过分接近判断算法,确认所述运算结果中的类簇两两之间的接近状态。
步骤350、确定相似类簇;其中,所述相似类簇与其他一个或多个类簇过分接近。
步骤360、提取相似类簇中的数据对象。
步骤370、将提取的数据对象重新划分为多个类簇。步骤340至步骤370对相似类簇中的数据对象进行了重新划分。步骤370对数据对象重新划分的具体实施方案可以是使用K-means算法,在提取的数据对象中随机选择M个中心(M为相似类簇的个数),将每个提取的数据对象划分到与该数据对象距离最小的中心所在的类簇。更进一步地,将提取的数据对象重新划分为M个类簇后,再判断M个类簇中是否存在相似类簇,如果有则重新划分,直至没有相似类簇,再执行步骤380。
步骤380、计算每个类簇的质心。经过上述步骤,这里的每个类簇包括每一个由步骤340确定的非相似类簇以及每一个重新划分的类簇。
步骤390、判断类簇中的质心与中心的距离是否大于预设的第二阈值。理想状态下,类簇中的质心与中心相同(距离为0)才认为K-means算法达到了收敛状态,大于0则需要继续迭代。在具体实施时,可以根据数据结构做出调整,当质心与中心的距离小于或等于预设的第二阈值,则可认为K-means算法执行到收敛状态。优选地,第二阈值为0。
步骤400、若是,则选取每个类簇的质心作为中心;当重新选取了中心后,则会执行步骤320、在每次选取中心之后,计算每个数据对象与所述中心的距离,从而迭代执行步骤320至步骤390。直至类簇中的质心与中心的距离不大于预设的第二阈值,K-means聚类算法达到收敛状态,结束使用K-means聚类算法进行划分类簇。
可选地,K-means聚类算法达到收敛状态后,执行以下步骤410至440进行实施例二所提出的二次聚类步骤,将游离数据对象划分到与自身特性更相近的类簇中。
步骤410、若类簇中的质心与中心的距离不大于预设的第二阈值,则获取各类簇两两之间的临界点;其中,所述临界点是与两个类簇的质心之间的中点距离最近的数据对象;
步骤420、如果关联类簇中存在数据对象与所述临界点之间的距离小于预设的第三阈值,则从各类簇中提取与所述临界点之间的距离小于或等于预设的第四阈值的数据对象作为二次聚类对象;其中,所述关联类簇为各类簇中除临界点所属的类簇外的其他类簇;
步骤430、将二次聚类对象划分到所有二次聚类对象的质心所属的类簇中。
综上所述,本实施例的技术方案,通过判断聚类算法的运算结果中类簇两两之间是否过分接近,将过分接近的相似类簇中的数据对象提取出来重新划分类簇,不仅提高了不同类簇之间的差异性以及同一类簇中数据对象的相似性,且结合到K-means算法的迭代步骤中。K-means算法会进行多次迭代的类簇划分,本实施例将确定相似类簇以及对相似类簇中的数据对象重新划分类簇的步骤结合到K-means算法的每一次迭代过程中,使得提高类簇之间的差异性在每次迭代分簇中都实现,进一步提高聚类准确性。并对游离在类簇之间临界范围的数据对象执行二次聚类,从一定程度上减少了聚类误差。本实施例提供的方法是在实施例一的基础上的进一步方案,相应的技术特征可参考实施例一设置。
实施例四
图4是本发明实施例四提供的数据对象的分类装置,该装置包括:
第一获取模块41,用于获取聚类算法的运算结果,其中,所述运算结果包括多个类簇,每个类簇包括一个或多个数据对象;
确认模块42,用于根据预设的过分接近判断算法,确认所述运算结果中的类簇两两之间的接近状态;
确定模块43,用于确定相似类簇;其中,所述相似类簇与其他一个或多个类簇过分接近;
第一提取模块44,用于提取相似类簇中的数据对象;
重新分类模块45,用于将提取的数据对象重新划分为多个类簇。
可选的,所述判断模块42包括:
携带信息计算单元,用于分别计算每个类簇的携带信息;所述携带信息包括类簇中数据对象的连续型特征的均值和/或标准差;
连续型特征确认单元,用于如果两个类簇的携带信息之间的差值小于预设的第一阈值,则确认所述两个类簇的所述连续型特征过分接近。
优选地,所述预设的第一阈值为0.2*(Max-Min),其中,Max是各类簇的携带信息中的最大值,Min是各类簇的携带信息的最小值。
进一步地,所述判断模块42还包括:
最大频次特征值获取单元,用于获取每个类簇的最大频次特征值;所述最大频次特征值是在类簇中数据对象的离散型特征中出现得最多的取值;
离散型特征确认单元,用于如果两个类簇的最大频次特征值相同,则确认所述两个类簇的所述离散型特征过分接近。
进一步地,所述判断模块42还包括:
类簇接近确认单元,用于如果两个类簇有L个特征过分接近,则确认两个类簇之间过分接近;其中,L>N/2,N为所述数据对象的特征数量。
可选的,所述第一获取模块41包括:
初始中心选取单元,用于在多个数据对象中随机选取多个中心;
距离计算单元,用于在每次选取中心之后,计算每个数据对象与所述中心的距离;
迭代分类单元,用于将每个数据对象划分到与所述数据对象距离最小的中心所在的类簇,获得运算结果;
所述数据对象的分类装置,还包括:
质心计算单元,用于计算每个类簇的质心;
迭代中心选取单元,用于如果类簇中的质心与中心的距离大于预设的第二阈值,则选取每个类簇的质心作为中心。
优选地,第二阈值为0。
可选的,所述数据对象的分类装置还包括:
第二获取模块,用于获取各类簇中,两两之间的临界点;其中,所述临界点是与两个类簇的质心之间的中点距离最近的数据对象;
第二提取模块,用于如果关联类簇中存在数据对象与所述临界点之间的距离小于预设的第三阈值,则从各类簇中提取与所述临界点之间的距离小于或等于预设的第四阈值的数据对象作为二次聚类对象;其中,所述关联类簇为各类簇中除临界点所属的类簇外的其他类簇;
划分模块,用于将二次聚类对象划分到所有二次聚类对象的质心所属的类簇中。
本发明实施例所提供的数据对象的分类装置可执行本发明任意实施例所提供的数据对象的分类方法,具备执行方法相应的功能模块和有益效果。在本实施例中未详尽介绍的技术细节可参考对应的方法实施例实现。
实施例五
图5为本发明实施例五提供的一种终端的结构示意图,如图5所示,该终端包括处理器510、存储器520、输入装置530和输出装置540;终端中处理器510的数量可以是一个或多个,图5中以一个处理器510为例;终端中的处理器510、存储器520、输入装置530和输出装置540可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储器520作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的数据对象的分类方法对应的程序指令/模块(例如,数据对象的分类装置中的第一获取模块41、判断模块42、确定模块43、第一提取模块44和重新分类模块45)。处理器510通过运行存储在存储器520中的软件程序、指令以及模块,从而执行终端的各种功能应用以及数据处理,即实现上述的数据对象的分类方法。
存储器520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器520可进一步包括相对于处理器510远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息,以及产生与终端的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种数据对象的分类方法,该方法包括:
获取聚类算法的运算结果,其中,所述运算结果包括多个类簇,每个类簇包括一个或多个数据对象;
根据预设的过分接近判断算法,确认所述运算结果中的类簇两两之间的接近状态;
确定相似类簇;其中,所述相似类簇与其他一个或多个类簇过分接近;
提取相似类簇中的数据对象;
将提取的数据对象重新划分为多个类簇。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据对象的分类方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述数据对象的分类装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种数据对象的分类方法,其特征在于,包括:
获取聚类算法的运算结果,其中,所述运算结果包括多个类簇,每个类簇包括一个或多个数据对象;
根据预设的过分接近判断算法,确认所述运算结果中的类簇两两之间的接近状态;
确定相似类簇;其中,所述相似类簇与其他一个或多个类簇过分接近;
提取相似类簇中的数据对象;
将提取的数据对象重新划分为多个类簇;
所述根据预设的过分接近判断算法,确认所述运算结果中的类簇两两之间的接近状态,具体包括:
分别计算每个类簇的携带信息;所述携带信息包括类簇中数据对象的连续型特征的均值和/或标准差;
如果两个类簇的携带信息之间的差值小于预设的第一阈值,则确认所述两个类簇的所述连续型特征过分接近。
2.根据权利要求1所述的数据对象的分类方法,其特征在于,所述根据预设的过分接近判断算法,确认所述运算结果中的类簇两两之间的接近状态,还包括:
获取每个类簇的最大频次特征值;所述最大频次特征值是在类簇中数据对象的离散型特征中出现得最多的取值;
如果两个类簇的最大频次特征值相同,则确认所述两个类簇的所述离散型特征过分接近。
3.根据权利要求2所述的数据对象的分类方法,其特征在于,所述根据预设的过分接近判断算法,确认所述运算结果中的类簇两两之间的接近状态,还包括:
如果两个类簇有L个特征过分接近,则确认两个类簇之间过分接近;其中,L>N/2,N为所述数据对象的特征数量。
4.根据权利要求1至3任一项所述的数据对象的分类方法,其特征在于,所述获取聚类算法的运算结果,具体包括:
在多个数据对象中随机选取多个中心;
在每次选取中心之后,计算每个数据对象与所述中心的距离;
将每个数据对象划分到与所述数据对象距离最小的中心所在的类簇,获得运算结果;
在所述将提取的数据对象重新划分为多个类簇之后,还包括:
计算每个类簇的质心;
如果类簇中的质心与中心的距离大于预设的第二阈值,则选取每个类簇的质心作为中心。
5.根据权利要求1至2任一项所述的数据对象的分类方法,其特征在于,在所述将提取的数据对象重新划分为多个类簇之后,还包括:
获取各类簇两两之间的临界点;其中,所述临界点是与两个类簇的质心之间的中点距离最近的数据对象;
如果关联类簇中存在数据对象与所述临界点之间的距离小于预设的第三阈值,则从各类簇中提取与所述临界点之间的距离小于或等于预设的第四阈值的数据对象作为二次聚类对象;其中,所述关联类簇为各类簇中除临界点所属的类簇外的其他类簇;
将所述二次聚类对象划分到所有二次聚类对象的质心所属的类簇中。
6.一种数据对象的分类装置,其特征在于,包括:
第一获取模块,用于获取聚类算法的运算结果,其中,所述运算结果包括多个类簇,每个类簇包括一个或多个数据对象;
确认模块,用于根据预设的过分接近判断算法,确认所述运算结果中的类簇两两之间的接近状态;
确定模块,用于确定相似类簇;其中,所述相似类簇与其他一个或多个类簇过分接近;
第一提取模块,用于提取相似类簇中的数据对象;
重新分类模块,用于将提取的数据对象重新划分为多个类簇;
所述确认模块包括:
携带信息计算单元,用于分别计算每个类簇的携带信息;所述携带信息包括类簇中数据对象的连续型特征的均值和/或标准差;
连续型特征确认单元,用于如果两个类簇的携带信息之间的差值小于预设的第一阈值,则确认所述两个类簇的所述连续型特征过分接近。
7.根据权利要求6所述的数据对象的分类装置,其特征在于,还包括:
第二获取模块,用于获取各类簇中,两两之间的临界点;其中,所述临界点是与两个类簇的质心之间的中点距离最近的数据对象;
第二提取模块,用于如果关联类簇中存在数据对象与所述临界点之间的距离小于预设的第三阈值,则从各类簇中提取与所述临界点之间的距离小于或等于预设的第四阈值的数据对象作为二次聚类对象;其中,所述关联类簇为各类簇中除临界点所属的类簇外的其他类簇;
划分模块,用于将所述二次聚类对象划分到所有二次聚类对象的质心所属的类簇中。
8.一种终端,其特征在于,所述终端包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810506392.7A CN108763420B (zh) | 2018-05-24 | 2018-05-24 | 数据对象的分类方法、装置、终端和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810506392.7A CN108763420B (zh) | 2018-05-24 | 2018-05-24 | 数据对象的分类方法、装置、终端和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108763420A CN108763420A (zh) | 2018-11-06 |
CN108763420B true CN108763420B (zh) | 2021-04-20 |
Family
ID=64005308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810506392.7A Active CN108763420B (zh) | 2018-05-24 | 2018-05-24 | 数据对象的分类方法、装置、终端和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108763420B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109815788B (zh) * | 2018-12-11 | 2024-05-31 | 平安科技(深圳)有限公司 | 一种图片聚类方法、装置、存储介质及终端设备 |
CN110532306B (zh) * | 2019-05-27 | 2021-12-17 | 浙江工业大学 | 一种基于多视角二分k-means的高校图书馆用户画像模型构建方法 |
CN111126442B (zh) * | 2019-11-26 | 2021-04-30 | 北京京邦达贸易有限公司 | 一种物品关键属性生成方法、物品分类方法和装置 |
CN111260220B (zh) * | 2020-01-16 | 2021-05-14 | 北京房江湖科技有限公司 | 群控设备识别方法、装置、电子设备和存储介质 |
TWI807203B (zh) | 2020-07-28 | 2023-07-01 | 華碩電腦股份有限公司 | 聲音辨識方法及使用其之電子裝置 |
CN112101483B (zh) * | 2020-11-02 | 2023-11-28 | 浙江大华技术股份有限公司 | 图像聚类方法、装置电子设备、计算机可读存储介质 |
CN112579581B (zh) * | 2020-11-30 | 2023-04-14 | 贵州力创科技发展有限公司 | 一种数据分析引擎的数据接入方法及系统 |
CN112508134B (zh) * | 2021-02-02 | 2021-06-04 | 贝壳找房(北京)科技有限公司 | 度量集合间相似度的方法、装置、介质和电子设备 |
CN113111922B (zh) * | 2021-03-22 | 2024-08-23 | 浙江工业大学 | 一种面向儿童的阶段性身高预测方法 |
CN113110989A (zh) * | 2021-03-23 | 2021-07-13 | 中国科学院深圳先进技术研究院 | 测试依据获取方法、应用程序测试方法以及相关装置 |
CN113051444B (zh) * | 2021-04-30 | 2024-06-21 | 中国银行股份有限公司 | 自动分配内容分类类别的方法及装置 |
CN113283504B (zh) * | 2021-05-24 | 2023-05-23 | 平安国际融资租赁有限公司 | 基于聚类的设备状态检测方法、装置、计算机设备和介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103870474A (zh) * | 2012-12-11 | 2014-06-18 | 北京百度网讯科技有限公司 | 一种新闻话题组织方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4894580B2 (ja) * | 2007-03-20 | 2012-03-14 | 日本電気株式会社 | 旬度解析システム、旬度解析方法、及び旬度解析プログラム |
US8166052B2 (en) * | 2007-10-22 | 2012-04-24 | Samsung Electronics Co., Ltd. | Situation recognition for recommendation using merge-split approach |
-
2018
- 2018-05-24 CN CN201810506392.7A patent/CN108763420B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103870474A (zh) * | 2012-12-11 | 2014-06-18 | 北京百度网讯科技有限公司 | 一种新闻话题组织方法及装置 |
Non-Patent Citations (1)
Title |
---|
王魁.在线社交中基于微博的好友推荐系统设计与实现.《中国优秀硕士学位论文全文数据库》.2016,(第2期),第24页. * |
Also Published As
Publication number | Publication date |
---|---|
CN108763420A (zh) | 2018-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108763420B (zh) | 数据对象的分类方法、装置、终端和计算机可读存储介质 | |
Rai et al. | A survey of clustering techniques | |
CN110471916B (zh) | 数据库的查询方法、装置、服务器及介质 | |
Wang et al. | A divide-and-conquer approach for minimum spanning tree-based clustering | |
TWI718643B (zh) | 異常群體識別方法及裝置 | |
Amato et al. | Region proximity in metric spaces and its use for approximate similarity search | |
US11971892B2 (en) | Methods for stratified sampling-based query execution | |
CN111784093A (zh) | 一种基于电力大数据分析的企业复工辅助判断方法 | |
CN107832456A (zh) | 一种基于临界值数据划分的并行knn文本分类方法 | |
CN106610977B (zh) | 一种数据聚类方法和装置 | |
CN111291824A (zh) | 时间序列的处理方法、装置、电子设备和计算机可读介质 | |
CN111160404A (zh) | 配电网线损标杆合理值的分析方法及装置 | |
CN114647636B (zh) | 大数据异常检测方法及系统 | |
CN115879017A (zh) | 一种电力敏感数据自动化分类分级方法、装置及存储介质 | |
CN113297249A (zh) | 慢查询语句的识别和分析、查询语句的统计方法及装置 | |
Wang et al. | Automatic cluster number selection by finding density peaks | |
CN118094354A (zh) | 一种分层级联电力敏感数据分类模型构建方法及装置 | |
WO2017186037A1 (zh) | 移动设备标识的设置方法及装置 | |
US20200142910A1 (en) | Data clustering apparatus and method based on range query using cf tree | |
CN109935277B (zh) | 一种异构网络中基于元路径的异常模体查询方法 | |
Tsai et al. | GF-DBSCAN; a new efficient and effective data clustering technique for large databases | |
US11210605B1 (en) | Dataset suitability check for machine learning | |
CN113435501B (zh) | 基于聚类的度量空间数据划分与性能衡量方法及相关组件 | |
CN114997274B (zh) | 一种基于两阶段聚类的用水模式构建方法 | |
CN111698700B (zh) | 一种小区的工作状态的判定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |