CN111401412A - 一种基于平均共识算法的物联网环境下分布式软聚类方法 - Google Patents
一种基于平均共识算法的物联网环境下分布式软聚类方法 Download PDFInfo
- Publication number
- CN111401412A CN111401412A CN202010131908.1A CN202010131908A CN111401412A CN 111401412 A CN111401412 A CN 111401412A CN 202010131908 A CN202010131908 A CN 202010131908A CN 111401412 A CN111401412 A CN 111401412A
- Authority
- CN
- China
- Prior art keywords
- clustering
- internet
- distributed
- things
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于平均共识算法的物联网环境下分布式软聚类方法,具体步骤如下:步骤S1:获取目标物联网节点所在的拓扑网络,将分布式数据集、聚类数目、模糊系数和停止准则参数输入至拓扑网络;步骤S2:初始化分布式数据集的集合元素,计算出目标物联网节点的初始聚类中心;步骤S3:计算分布式数据集到初始聚类中心的分配矩阵;步骤S4:根据分配矩阵,计算目标物联网节点内的聚类中心,并通过平均共识算法获得全局聚类中心;步骤S5:重复步骤S1‑S4,迭代更新全局聚类中心,根据停止准则参数对当前全局聚类中心与上一轮的全局聚类中心进行判断,输出最终全局聚类中心。与现有技术相比,本发明具有能有效提高聚类结果的质量和算法的稳定性等优点。
Description
技术领域
本发明涉及机器学习领域,尤其是涉及一种基于平均共识算法的物联网环境下分布式软聚类方法。
背景技术
作为互联网的拓展,物联网将机器和设备与服务连接,是当前最有前景的技术领域之一。由于物联网中数据量的激增以及物联网设备安全性的考虑,传统的中心式存储与计算平台面临挑战。在诸多的应用场景如医疗健康、社交媒体等中,都有着获取数据隐藏信息与结构的需求,而这些数据分散于分布式的物联网节点中,对数据获取增加了难度。在数据分析与挖掘的算法模型中,聚类算法是简单有效的一类算法,而软聚类算法如Fuzzy C-means能更有效地获取到数据地丰富信息。
目前的研究中,将分布式聚类问题视为带共识约束的聚类优化问题,并使用增广拉格朗日算法求解,但这样的方法的局限性在于:算法中有一些参数对输入数据集和网络结构较为敏感,因此需要一定的参数调节工作;另外,当数据集不平衡或数据特征过多时,该算法无法保证收敛。同时在基于多代理一致性理论的传感器网络分布式K-means算法和模糊C-means算法的研究中也运用到了软聚类算法,但是该研究中聚类结果的局限性在于应用场景过于简单,并且使用的初始化方法为K-Means++算法,该算法存在一定的概率随机性,在某些情况下容易产生较差的聚类结果,即算法的稳定性不高。
发明内容
本发明的目的就是为了克服上述现有技术存在的软聚类算法受数据集影响较大、稳定性不高的缺陷而提供一种基于平均共识算法的物联网环境下分布式软聚类方法。
本发明的目的可以通过以下技术方案来实现:
一种基于平均共识算法的物联网环境下分布式软聚类方法,具体步骤如下:
步骤S1:获取目标物联网节点所在的拓扑网络,将分布式数据集、聚类数目、模糊系数和停止准则参数输入至所述拓扑网络;
步骤S2:初始化所述分布式数据集的集合元素,并通过分布式聚类中心初始化算法计算出所述目标物联网节点的初始聚类中心;
步骤S3:计算所述分布式数据集到所述初始聚类中心的分配矩阵;
步骤S4:根据所述分配矩阵,计算所述目标物联网节点内的聚类中心,并通过平均共识算法获得所述拓扑网络的全局聚类中心;
步骤S5:重复步骤S1-S4,迭代更新所述全局聚类中心,判断当前所述全局聚类中心与上一轮迭代的全局聚类中心的差值是否小于所述停止准则参数,若是则输出当前所述全局聚类中心,迭代停止,若否将继续进行迭代。
所述拓扑网络包括所述目标物联网节点的网络节点数和邻居节点集合。
所述步骤S2中初始化分布式数据集的集合元素具体如下:
所述初始聚类中心的计算公式具体如下:
其中,为第k个初始聚类中心,average-consensus()为平均共识函数,N(m)为所述邻居节点集合,M为所述网络节点数,k*为最大平均共识和方差对应的所述拓扑网络与分布式数据集和方差的集合,为k*对应的聚类集合。
所述k*的计算公式具体如下:
所述分配矩阵的矩阵元素的计算公式具体如下:
所述步骤S4中全局聚类中心的计算公式具体如下:
其中,ck为全局聚类中心,uk(m)为第m节点的第k聚类点的数目求和,xkSum(m)为第m节点的第k聚类点的向量求和。
所述步骤S5中的判断条件具体如下:
||prev_C-C||<∈
其中,prev_C为上一轮迭代的全局聚类中心,C为当前全局聚类中心,∈为停止准则参数。
与现有技术相比,本发明具有以下有益效果:
1.本发明通过引入有限时间平均共识算法,有效解决空间分布数据的聚类结果一致性问题,收敛速度与聚类结果可以达到与中心式聚类算法相同的水平。
2.本发明通过Var-Part初始化算法对聚类中心进行初始化,相较于随机选择初始聚类中心和K-Means++方法能有效提高聚类结果的质量和算法的稳定性。
3.本发明对具体网络结构不敏感,可方便地部署在不同的分布式计算网络中,扩展性高,计算复杂度低。
附图说明
图1为本发明的流程示意图;
图2为本发明的网路拓扑结构图的示意图;
图3为本发明Var-Part初始化算法与K-Means++算法的初始聚类中心对比图;
图4为本发明基于Var-Part初始化算法的聚类结果图;
图5为本发明基于K-Means++算法的聚类结果图;
图6为本发明与其他初始化方法的收敛速度对比图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
本发明需要在中心化Fuzzy C-means的基础上,将其拓展为分布式环境,并进行全局结果的求解,具体如下:
需要通过拓扑网络内邻居节点的通信来完成数据共享与同步,以此来进行聚类中心的计算。如图1所示,一种基于平均共识算法的物联网环境下分布式软聚类方法,具体步骤如下:
步骤S1:获取目标物联网节点所在的拓扑网络,将分布式数据集、聚类数目、模糊系数和停止准则参数输入至拓扑网络;
步骤S2:初始化分布式数据集的集合元素,并通过分布式聚类中心初始化算法计算出目标物联网节点的初始聚类中心;
步骤S3:计算分布式数据集到初始聚类中心的分配矩阵;
步骤S4:根据分配矩阵,计算目标物联网节点内的聚类中心,并通过平均共识算法获得拓扑网络的全局聚类中心;
步骤S5:重复步骤S1-S4,迭代更新全局聚类中心,判断当前全局聚类中心与上一轮迭代的全局聚类中心的差值是否小于停止准则参数,若是则输出当前全局聚类中心,迭代停止,若否将继续进行迭代。
如图2所示,拓扑网络包括目标物联网节点的网络节点数和邻居节点集合。
步骤S2中初始化分布式数据集的集合元素具体如下:
初始聚类中心的计算公式具体如下:
其中,为第k个初始聚类中心,average-consensus()为平均共识函数,N(m)为邻居节点集合,M为网络节点数,k*为最大平均共识和方差对应的拓扑网络与分布式数据集和方差的集合,为k*对应的聚类集合。
k*的计算公式具体如下:
分配矩阵的矩阵元素的计算公式具体如下:
步骤S4中全局聚类中心的计算公式具体如下:
其中,ck为全局聚类中心,uk(m)为第m节点的第k聚类点的数目求和,xkSum(m)为第m节点的第k聚类点的向量求和。
步骤S5中的判断条件具体如下:
||prev_C-C||<∈
其中,prev_C为上一轮迭代的全局聚类中心,C为当前全局聚类中心,∈为停止准则参数。
实施例一
如图3所示为本发明的DVP初始化方法与DKM++初始化方法产生的初始化聚类中心。如图4和图5所示,根据DVP初始化方法的初始化聚类中心得到的最终聚类结果优于根据DKM++初始化方法的初始化聚类中心得到的最终聚类结果,模糊的数据点分布于确定的聚类外围,而图5下方产生的模糊聚类结果属于算法误聚类,从而说明本发明具有较高的稳定性。同时如图6所示,本发明在收敛速度上具有一定的优势,并且聚类结果的质量较高。
此外,需要说明的是,本说明书中所描述的具体实施例,所取名称可以不同,本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等小变化或者简单变化,均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法,只要不偏离本发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。
Claims (9)
1.一种基于平均共识算法的物联网环境下分布式软聚类方法,其特征在于,具体步骤如下:
步骤S1:获取目标物联网节点所在的拓扑网络,将分布式数据集、聚类数目、模糊系数和停止准则参数输入至所述拓扑网络;
步骤S2:初始化所述分布式数据集的集合元素,并通过分布式聚类中心初始化算法计算出所述目标物联网节点的初始聚类中心;
步骤S3:计算所述分布式数据集到所述初始聚类中心的分配矩阵;
步骤S4:根据所述分配矩阵,计算所述目标物联网节点内的聚类中心,并通过平均共识算法获得所述拓扑网络的全局聚类中心;
步骤S5:重复步骤S1-S4,迭代更新所述全局聚类中心,判断当前所述全局聚类中心与上一轮迭代的全局聚类中心的差值是否小于所述停止准则参数,若是则输出当前所述全局聚类中心,迭代停止,若否将继续进行迭代。
2.根据权利要求1所述的一种基于平均共识算法的物联网环境下分布式软聚类方法,其特征在于,所述拓扑网络包括所述目标物联网节点的网络节点数和邻居节点集合。
9.根据权利要求1所述的一种基于平均共识算法的物联网环境下分布式软聚类方法,其特征在于,所述步骤S5中的判断条件具体如下:
||prev_C-C||<∈
其中,prev_C为上一轮迭代的全局聚类中心,C为当前全局聚类中心,∈为停止准则参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010131908.1A CN111401412B (zh) | 2020-02-29 | 2020-02-29 | 一种基于平均共识算法的物联网环境下分布式软聚类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010131908.1A CN111401412B (zh) | 2020-02-29 | 2020-02-29 | 一种基于平均共识算法的物联网环境下分布式软聚类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111401412A true CN111401412A (zh) | 2020-07-10 |
CN111401412B CN111401412B (zh) | 2022-06-14 |
Family
ID=71428422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010131908.1A Active CN111401412B (zh) | 2020-02-29 | 2020-02-29 | 一种基于平均共识算法的物联网环境下分布式软聚类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111401412B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112115830A (zh) * | 2020-09-10 | 2020-12-22 | 同济大学 | 一种基于比特域特征提取的目标分布式融合识别方法 |
CN112800253A (zh) * | 2021-04-09 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 数据聚类方法、相关设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104348665A (zh) * | 2014-09-17 | 2015-02-11 | 电子科技大学 | 基于聚类判断准则的节点对融合网络拓扑估计方法 |
CN107291847A (zh) * | 2017-06-02 | 2017-10-24 | 东北大学 | 一种基于MapReduce的大规模数据分布式聚类处理方法 |
CN107330458A (zh) * | 2017-06-27 | 2017-11-07 | 常州信息职业技术学院 | 一种最小方差优化初始聚类中心的模糊c均值聚类方法 |
CN109299750A (zh) * | 2018-11-20 | 2019-02-01 | 中国科学技术大学 | 分布式模糊c均值数据聚类方法 |
CN109802383A (zh) * | 2018-12-19 | 2019-05-24 | 合肥工业大学 | 基于聚类算法的分布式发电系统等值建模方法 |
CN110135092A (zh) * | 2019-05-21 | 2019-08-16 | 江苏开放大学(江苏城市职业学院) | 基于半局部中心性的复杂加权交通网关键节点识别方法 |
CN110222248A (zh) * | 2019-05-28 | 2019-09-10 | 长江大学 | 一种大数据聚类方法及装置 |
-
2020
- 2020-02-29 CN CN202010131908.1A patent/CN111401412B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104348665A (zh) * | 2014-09-17 | 2015-02-11 | 电子科技大学 | 基于聚类判断准则的节点对融合网络拓扑估计方法 |
CN107291847A (zh) * | 2017-06-02 | 2017-10-24 | 东北大学 | 一种基于MapReduce的大规模数据分布式聚类处理方法 |
CN107330458A (zh) * | 2017-06-27 | 2017-11-07 | 常州信息职业技术学院 | 一种最小方差优化初始聚类中心的模糊c均值聚类方法 |
CN109299750A (zh) * | 2018-11-20 | 2019-02-01 | 中国科学技术大学 | 分布式模糊c均值数据聚类方法 |
CN109802383A (zh) * | 2018-12-19 | 2019-05-24 | 合肥工业大学 | 基于聚类算法的分布式发电系统等值建模方法 |
CN110135092A (zh) * | 2019-05-21 | 2019-08-16 | 江苏开放大学(江苏城市职业学院) | 基于半局部中心性的复杂加权交通网关键节点识别方法 |
CN110222248A (zh) * | 2019-05-28 | 2019-09-10 | 长江大学 | 一种大数据聚类方法及装置 |
Non-Patent Citations (3)
Title |
---|
J. NAYAK: "Fuzzy C-means (FCM) clustering", 《COMPUTATIONAL INTELLIGENCE IN DATA MINING》 * |
张静静: "一种新的软聚类投票法及其并行化实现", 《中国科学技术大学学报》 * |
金冉: "面向大规模数据的聚类算法研究及应用", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112115830A (zh) * | 2020-09-10 | 2020-12-22 | 同济大学 | 一种基于比特域特征提取的目标分布式融合识别方法 |
CN112115830B (zh) * | 2020-09-10 | 2023-06-02 | 同济大学 | 一种基于比特域特征提取的目标分布式融合识别方法 |
CN112800253A (zh) * | 2021-04-09 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 数据聚类方法、相关设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111401412B (zh) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021139236A1 (zh) | 基于自编码器的异常检测方法、装置、设备及存储介质 | |
US7627542B2 (en) | Group identification in large-scaled networks via hierarchical clustering through refraction over edges of networks | |
Ma et al. | On the convergence of clustered federated learning | |
CN111932386B (zh) | 用户账号确定方法及装置、信息推送方法及装置、电子设备 | |
CN111401412B (zh) | 一种基于平均共识算法的物联网环境下分布式软聚类方法 | |
CN103838803A (zh) | 一种基于节点Jaccard相似度的社交网络社团发现方法 | |
US11074274B2 (en) | Large scale social graph segmentation | |
CN108399268B (zh) | 一种基于博弈论的增量式异构图聚类方法 | |
CN110598061A (zh) | 一种多元图融合的异构信息网嵌入方法 | |
CN114385376B (zh) | 一种异构数据下边缘侧联邦学习的客户端选择方法 | |
CN111274485A (zh) | 一种基于社区发现的个性化推荐方法 | |
CN115311478A (zh) | 一种基于图深度聚类的联邦影像分类方法、存储介质 | |
Barddal et al. | SNCStream+: Extending a high quality true anytime data stream clustering algorithm | |
Chouvardas et al. | Robust online matrix completion on graphs | |
CN113887698B (zh) | 基于图神经网络的整体知识蒸馏方法和系统 | |
Zhu et al. | Initializing k-means clustering using affinity propagation | |
CN116915746B (zh) | 一种基于物联网的IPv6寻址方法 | |
Castellon et al. | Federated learning with incremental clustering for heterogeneous data | |
CN117056763A (zh) | 基于变分图嵌入的社区发现方法 | |
CN113515519A (zh) | 图结构估计模型的训练方法、装置、设备及存储介质 | |
CN111861772A (zh) | 一种基于局部结构的密度最大化重叠社团发现方法及系统 | |
CN106707243A (zh) | 一种重构雷达信号的广义正则化正交匹配追踪方法 | |
CN116229154A (zh) | 一种基于动态混合模型的类增量图像分类方法 | |
Lu et al. | Communication signal modulation mechanism based on artificial feature engineering deep neural network modulation identifier | |
CN113537308B (zh) | 基于本地化差分隐私的两阶段k-means聚类处理系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |