CN108230174A - 一种基于谱分析的工业互联网社团检测的方法 - Google Patents
一种基于谱分析的工业互联网社团检测的方法 Download PDFInfo
- Publication number
- CN108230174A CN108230174A CN201810057868.3A CN201810057868A CN108230174A CN 108230174 A CN108230174 A CN 108230174A CN 201810057868 A CN201810057868 A CN 201810057868A CN 108230174 A CN108230174 A CN 108230174A
- Authority
- CN
- China
- Prior art keywords
- matrix
- corporations
- feature vector
- diagonal
- matrixes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 238000010183 spectrum analysis Methods 0.000 title claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims abstract description 45
- 230000003595 spectral effect Effects 0.000 claims abstract description 12
- 230000008676 import Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 238000011160 research Methods 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010429 evolutionary process Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于谱分析的工业互联网社团检测的方法,其步骤为:(1)获取供应链数据;(2)计算Laplace矩阵、Normal矩阵;(3)设置参数,计算矩阵、;(4)求、的特征值及特征向量;(5)取出前K小特征值对应的特征向量,并进行聚类;(6)最终得到K个社团。本方法通过引入参数后的矩阵、,再进行谱聚类,可将供应商分为不同的社团,从而方便生产管理。本发明进一步完善了谱聚类算法的研究,大大提高了算法的精确性,特别适用于科研领域和工业领域。
Description
技术领域
本发明属于复杂网络、网络科学技术领域,具体涉及一种基于谱分析的工业互联网社团检测的方法,该方法特别适用于科研领域和工业领域。
背景技术
传统工业生产中原材料积压、产品设计与需求的不对称性、产能过剩等问题导致社会资源存在一定程度的浪费,并爆发周期性的经济危机。而工业互联网致力于提供快速的信息沟通服务,将生产要素和消费要素进行有效整合,大幅度提高企业管理水平和危机应对能力,近些年受到了各国政府和研究机构的广泛关注。
社团结构是复杂网络的一个及其重要的特性,网络中的社团结构是指一组相互之间有着比较大的相似性而与网络中的其他部分有着很大不同的节点的群。也就是说,在社团内部,节点之间的联系非常紧密,而社团之间的联系相对而言比较稀疏。寻找社团结构并对其进行分析是了解现实生活中各种网络组织结构的一种很重要的方法,并在生物学、计算机科学以及社会学等领域都有着广泛的应用。如社会网络中的社团结构使得人们能够清晰地了解他们区别于其他社团的一些特质或者信仰等;在生物分子反应网络中,聚合到一起形成功能性模块的节点往往担当特定的角色或具有特定的功能。在工业互联网中,随着实际网络演化,具有相似功能的节点会逐渐聚集形成社团,即自组织性逐渐涌现。由于社团内的点功能相似,在生产管理中不同的点可以互相替换,有利于提高网络可靠性。同时社团的检测也有利于分析不同社团的沟通差异,方便生产管理。目前,寻找网络社团结构的算法有很多,其中比较经典的一个算法,就是普聚类方法。
常用的谱聚类方法主要有拉普拉斯(Laplace)矩阵分解,归一化(Normal)矩阵分解等方法,Laplace矩阵L=K-A,其中K为网络度对角阵,对角线上的元素为节点的度,非对角线上的元素为0,A矩阵是邻接矩阵,如果节点i和j直接有边相连接,aij=1,否则aij=0。Normal矩阵N=K-1A。
矩阵L有一个特征值为0,对应的特征向量为全1向量,在非零特征值对应的特征向量中同一社团内的点对应的元素是近似相等的。如果有g个社团,那么有g-1个特征值与0接近,其对应的特征向量可以作为社团划分的依据。而Normal矩阵N与此类似,N有一个特征值为1,对应全1特征向量,如果有g个社团,存在g-1个特征值与1接近,在对应的特征向量中同一群落内的点对应的元素是近似相等的。因此,Laplace矩阵和Normal矩阵进行谱分析时原理是近似的。
尽管谱聚类具有坚实的理论基础,在实践中的应用领域在不断扩展,取得了不错的效果,但是它仍然需要改进。基于随机游走策略,大度节点处理信息的能力比较弱;且在实际网络中大度节点间更容易形成连边关系,因此大度节点的信息处理能力也相应减弱,使得社团检测的精确性受到影响。
发明内容
本发明的目的是在于提供了一种基于谱分析的工业互联网社团检测的方法,该方法通过对无权网络引入权重因素,边的权重与顶点的度成反比,在此引入一个参数α,Lα=K-α·L·K-α;Nα=K-α·A·K-α,根据引入了参数α后的矩阵Lα、Nα,再进行谱聚类,便可将供应商分为不同的社团,从而方便生产管理。本发明解决了大度节点处理信息能力较弱的局限性,加入权重因素,提高社团检测的精确性。
为了是实现上述目的,本发明采用以下技术方案:
一种基于谱分析的工业互联网社团检测的方法,其步骤如下:
(1)获取供应链数据:
将得到的供应链数据保存为mat格式的数据文件并导入matlab,构建网络模型以及相关矩阵,网络可以建模成图G=(V,E),其中V是图中节点的集合,E是图中边的集合,矩阵A表示邻接矩阵,A=(Aij)n×n(i,j=1,2,…,n),其中
矩阵K表示网络度的对角矩阵,对角线上的元素为节点的度,非对角线上的元素为0;矩阵D表示对角矩阵,D=(Dij)n×n(i,j=1,2,…,n),其中
(2)计算Laplace矩阵、Normal矩阵:
在上一步基础上,计算Laplace矩阵L=D-A,Normal矩阵N=K-1A;
(3)设置参数α,计算矩阵Lα、Nα:
Lα=K-α·L·K-α
Nα=K-α·A·K-α
(4)求Lα、Nα的特征值及特征向量:
进行谱聚类,分别计算Lα、Nα的特征值及特征向量Ve={Ve1,Ve2…Ven};
(5)取出前K小特征值对应的特征向量,并进行聚类:
取出前K小特征值对应的特征向量Vk={Ve1,Ve2…Vek},并对矩阵Vk的行向量进行聚类;
(6)最终得到K个社团。
本发明在谱聚类的基础上对于大度节点的信息处理弱这一局限性做出了改进。并运用在工业互联网中的供应网络的社团检测。对无权网络引入权重因素,边的权重与顶点的度成反比,引入一个参数α,
根据引入了参数α后的矩阵Lα、Nα,再进行谱聚类,在α=0时,Lα退化为Laplace矩阵。Nα无法退化为N,主要因为引入了对称矩阵,避免特征向量中出现复数元素。最后将得到采用该方法检测到的不同的社团。
与现有技术相比,本发明的有益效果是:
本发明在社团检测方法的精确性上得到进一步的提升,本发明在谱分析算法基础上加入权重因子,并应用在手机供应链网络中,取得一定可观效果,将网络划分为多个社团,社团之间相互竞争、相互替代,提高社会整体资源利用率。
附图说明
图1为一种基于谱分析的工业互联网社团检测的方法流程图;
图2为一种基于谱分析的工业互联网社团检测的方法中Lα的特征向量分布;
其中,横坐标Eigenvalue 2是第二小特征值对应的特征向量,纵坐标Eigenvalue3是第三小特征值对应的特征向量,子图(a)-(d)对应的α依次为α=0,0.3,0.6,0.9;
图3为一种基于谱分析的工业互联网社团检测的方法中Nα的特征向量分布;
其中,横坐标Eigenvalue 2是第二小特征值对应的特征向量,纵坐标Eigenvalue3是第三小特征值对应的特征向量,子图(a)-(d)对应的α依次为α=0.1,0.4,0.7,1;
图4为一种基于谱分析的工业互联网社团检测的方法谱分析的聚类结果,
其中,同一种颜色表示一类,子图(a)(b)分别是α=0,0.3时利用Lα的聚类结果;子图(c)(d)分别是α=0.4,1时利用Nα的聚类结果。
具体实施方式
实施例1:
一种基于谱分析的工业互联网社团检测的方法,如图1所示,其步骤是:
(1)获取供应链数据:
将得到的供应链数据保存为mat格式的数据文件并导入matlab,构建网络模型以及相关矩阵,网络可以建模成图G=(V,E),其中V是图中节点的集合,E是图中边的集合,矩阵A表示邻接矩阵,A=(Aij)n×n,(i,j=1,2,…,n),其中:
矩阵K表示网络度的对角矩阵,对角线上的元素为节点的度,非对角线上的元素为0;矩阵D表示对角矩阵,D=(Dij)n×n,(i,j=1,2,…,n),其中:
(2)计算Laplace矩阵、Normal矩阵:
在上一步基础上,计算Laplace矩阵L=D-A,Normal矩阵N=K-1A;
(3)设置参数α,计算矩阵Lα、Nα:
Lα=K-α·L·K-α
Nα=K-α·A·K-α
(4)求Lα、Nα的特征值及特征向量:
进行谱聚类,分别计算Lα、Nα的特征值及特征向量Ve={Ve1,Ve2…Ven};
(5)取出前K小特征值对应的特征向量,并进行聚类:
取出前K小特征值对应的特征向量Vk={Ve1,Ve2…Vek},并对矩阵Vk的行向量进行聚类;
(6)最终得到K个社团。
本实施例在谱聚类的基础上对于大度节点的信息处理弱这一局限性做出了改进,并运用在工业互联网中的供应网络的社团检测。对无权网络引入权重因素,边的权重与顶点的度成反比,引入一个参数α,根据引入了参数α后的矩阵Lα、Nα,再进行谱聚类,在α=0时,Lα退化为Laplace矩阵。Nα无法退化为N,主要因为引入了对称矩阵,避免特征向量中出现复数元素。最后将得到采用该方法检测到的不同的社团。
实施例2:
本实施例从网络科学的角度探索工业互联网的结构特征和功能的关系,以苹果手机供应链为例采用本发明中的社团检测方法对苹果手机供应链关系构建网络模型,并对该网络模型进行社团检测,取得了有益效果。其步骤与实施例1相同。
图2和图3通过特征向量描绘了网络节点的位置分布。
在不同的α下节点位置重合度很高,同时也具有一定的相似性,不易观察。
更进一步,图4描绘了通过Lα与Nα的聚类结果,在α为其他值时结果与此类似。
α不同时,同一方法的聚类结果有差异;同时α相同时,不同方法也不同,这主要是一些点是孤立节点,另有一些点位于社团边界,单独把它划分任何一个社团均合理,导致这些点难以检测。但是依然可以看到,整个网络被分割为3个主要的社团,代表了苹果手机的几个主要的零配件供应商。注意到同一社团内的点代表供应相同零配件的不同厂商,因此可以互相替补,有利于提高网络鲁棒性。
工业互联网在演化过程中也会形成这种类似的社团结构,同一社团内的点为生产相似产品的厂商,他们相互竞争,又具有高的信息沟通效率(社团内边比较稠密),有利于减少产品积压,提高社会整体资源利用率。
Claims (1)
1.一种基于谱分析的工业互联网社团检测的方法,其特征在于,其步骤为:
(1)获取供应链数据:
将得到的供应链数据保存为mat格式的数据文件并导入matlab,构建网络模型以及相关矩阵,网络建模成图G=(V,E),其中V是图中节点的集合,E是图中边的集合,矩阵A表示邻接矩阵,A=(Aij)n×n,其中:
矩阵K表示网络度的对角矩阵,对角线上的元素为节点的度,非对角线上的元素为0;矩阵D表示对角矩阵,D=(Dij)n×n,其中:
(2)计算Laplace矩阵、Normal矩阵:
在上一步基础上,计算Laplace矩阵L=D-A,Normal矩阵N=K-1A;
(3)设置参数α,计算矩阵Lα、Nα:
Lα=K-αL·K-α
Nα=K-α·A·K-α
(4)求Lα、Nα的特征值及特征向量:
进行谱聚类,分别计算Lα、Nα的特征值及特征向量Ve={Ve1,Ve2…Ven};
(5)取出前K小特征值对应的特征向量,并进行聚类:
取出前K小特征值对应的特征向量Vk={Ve1,Ve2…Vek};并对矩阵Vk的行向量进行聚类;
(6)最终得到K个社团。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810057868.3A CN108230174B (zh) | 2018-01-19 | 2018-01-19 | 一种基于谱分析的工业互联网社团检测的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810057868.3A CN108230174B (zh) | 2018-01-19 | 2018-01-19 | 一种基于谱分析的工业互联网社团检测的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108230174A true CN108230174A (zh) | 2018-06-29 |
CN108230174B CN108230174B (zh) | 2021-01-29 |
Family
ID=62668146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810057868.3A Active CN108230174B (zh) | 2018-01-19 | 2018-01-19 | 一种基于谱分析的工业互联网社团检测的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108230174B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113114677A (zh) * | 2021-04-13 | 2021-07-13 | 中国互联网络信息中心 | 一种僵尸网络检测方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101344940A (zh) * | 2008-08-21 | 2009-01-14 | 魏芳 | 一种基于全局划分和局部扩展的网络重叠社团检测方法 |
US20100306158A1 (en) * | 2009-05-28 | 2010-12-02 | Microsoft Corporation | Speeding up analysis of compressed web graphs |
CN102708327A (zh) * | 2012-06-12 | 2012-10-03 | 天津大学 | 一种基于谱优化的网络社区发现方法 |
CN105303450A (zh) * | 2015-11-09 | 2016-02-03 | 北京工业大学 | 基于谱聚类改进交叉的复杂网络社区发现方法 |
CN106960390A (zh) * | 2017-01-03 | 2017-07-18 | 上海大学 | 基于节点聚合度的重叠社区划分方法 |
CN107071844A (zh) * | 2017-06-13 | 2017-08-18 | 湘潭大学 | 一种基于谱聚类社区划分的机会网络路由方法 |
-
2018
- 2018-01-19 CN CN201810057868.3A patent/CN108230174B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101344940A (zh) * | 2008-08-21 | 2009-01-14 | 魏芳 | 一种基于全局划分和局部扩展的网络重叠社团检测方法 |
US20100306158A1 (en) * | 2009-05-28 | 2010-12-02 | Microsoft Corporation | Speeding up analysis of compressed web graphs |
CN102708327A (zh) * | 2012-06-12 | 2012-10-03 | 天津大学 | 一种基于谱优化的网络社区发现方法 |
CN105303450A (zh) * | 2015-11-09 | 2016-02-03 | 北京工业大学 | 基于谱聚类改进交叉的复杂网络社区发现方法 |
CN106960390A (zh) * | 2017-01-03 | 2017-07-18 | 上海大学 | 基于节点聚合度的重叠社区划分方法 |
CN107071844A (zh) * | 2017-06-13 | 2017-08-18 | 湘潭大学 | 一种基于谱聚类社区划分的机会网络路由方法 |
Non-Patent Citations (5)
Title |
---|
ERNESTO ESTRADA: "Path Laplacian matrices:Introduction and application to the analysis of consensus in networks", 《LINEAR ALGEBRA AND ITS APPLICATIONS》 * |
吴彦博: "基于谱聚类的社区发现技术研究", 《万方数据知识服务平台》 * |
张洋洋: "复杂网络中社团结构发现算法的研究与实现", 《中国优秀硕士学位论文全文数据库 基础科学辑》 * |
潘惠勇等: "基于FCM的复杂网络重叠社团结构发现算法", 《微电子学与计算机》 * |
蔡晓妍等: "谱聚类算法综述", 《计算机科学》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113114677A (zh) * | 2021-04-13 | 2021-07-13 | 中国互联网络信息中心 | 一种僵尸网络检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108230174B (zh) | 2021-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ma et al. | Identifying and ranking influential spreaders in complex networks with consideration of spreading probability | |
Berahmand et al. | A link-based similarity for improving community detection based on label propagation algorithm | |
CN106209989A (zh) | 基于spark平台的空间数据并行计算系统及其方法 | |
CN106682734A (zh) | 一种提升卷积神经网络泛化能力的方法及装置 | |
Ercsey-Ravasz et al. | Range-limited centrality measures in complex networks | |
CN105592405B (zh) | 基于派系过滤和标签传播的移动通信用户群组构造方法 | |
CN205621018U (zh) | 手机细胞/卷积神经网络加速器 | |
CN104077438A (zh) | 电网大规模拓扑结构构建方法与系统 | |
CN109615550A (zh) | 一种基于相似性的局部社团检测方法 | |
CN107194415A (zh) | 一种基于拉普拉斯中心性的峰值聚类方法 | |
CN108230174A (zh) | 一种基于谱分析的工业互联网社团检测的方法 | |
Zhou et al. | Extremal results on vertex and link residual closeness | |
Abu-El-Haija et al. | A higher-order graph convolutional layer | |
CN103164487B (zh) | 一种基于密度与几何信息的数据聚类方法 | |
Pan et al. | Overlapping community detection via leader-based local expansion in social networks | |
CN106296420A (zh) | 一种社区发现方法 | |
CN205621017U (zh) | 智能视觉芯片 | |
CN109508410A (zh) | 一种工业服务参数化配置搜索算法 | |
CN103823860B (zh) | 基于cpu+gpu架构的多边形数据空间关系查询并行系统 | |
Wang et al. | Community detection in complex networks using improved artificial bee colony algorithm | |
CN109445843A (zh) | 一种基于类多层网络的软件类重要性度量方法 | |
CN114549392B (zh) | 太阳能电池片的色差检测方法、装置、设备和计算机介质 | |
Campos et al. | Adaptive walk on complex networks | |
Li et al. | Distributed Hierarchical Temporal Graph Learning for Communication-Efficient High-Dimensional Industrial IoT Modeling | |
Varade et al. | Overview of software fault prediction using clustering approaches and tree data structure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |