CN117112871B - 基于fcm聚类算法模型的数据实时高效融合处理方法 - Google Patents
基于fcm聚类算法模型的数据实时高效融合处理方法 Download PDFInfo
- Publication number
- CN117112871B CN117112871B CN202311358138.4A CN202311358138A CN117112871B CN 117112871 B CN117112871 B CN 117112871B CN 202311358138 A CN202311358138 A CN 202311358138A CN 117112871 B CN117112871 B CN 117112871B
- Authority
- CN
- China
- Prior art keywords
- data
- clustering
- fusion
- real
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000007499 fusion processing Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 75
- 230000004927 fusion Effects 0.000 claims abstract description 63
- 238000004458 analytical method Methods 0.000 claims abstract description 29
- 230000007246 mechanism Effects 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 230000004044 response Effects 0.000 claims abstract description 14
- 238000013079 data visualisation Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 20
- 238000005457 optimization Methods 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 7
- 238000005111 flow chemistry technique Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 238000007418 data mining Methods 0.000 claims description 5
- 238000013499 data model Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 241000288113 Gallirallus australis Species 0.000 claims description 3
- 238000012098 association analyses Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 18
- 230000011218 segmentation Effects 0.000 description 10
- 238000007405 data analysis Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000001816 cooling Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012482 interaction analysis Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012106 screening analysis Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2337—Non-hierarchical techniques using fuzzy logic, i.e. fuzzy clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Automation & Control Theory (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于FCM聚类算法模型的数据实时高效融合处理方法，涉及数据处理领域，首先多源数据采集和预处理，然后构建改进式FCM聚类算法模型，并对对预处理后的原始采集数据进行聚类分析，基于数据分类结果进行同类型原始采集数据融合，采用增量计算方式和时间窗口机制对改进式FCM聚类算法模型进行实时更新迭代，通过数据可视化工具Tableau对聚类结果进行可视化，对数据融合结果进行处理与应用；本发明通过多源数据采集、实时分类和数据融合过程，实现了对大规模数据的高效处理和快速响应，具有实时性、高效性和可拓展性，自动化、智能化程度高。
Description
技术领域
本发明涉及数据处理领域，且更具体地涉及一种基于FCM聚类算法模型的数据实时高效融合处理方法。
背景技术
随着物联网、大数据等技术的快速发展和应用，传感器网络、社交网络、交通网络等多源数据不断产生，数据规模呈现呈爆炸式增长趋势，给数据分析和决策带来了巨大挑战。如何快速、准确地识别和处理多源数据，并实时融合其信息，成为了大数据分析和应用的重要研究问题之一。数据在现代社会中不断增长和积累，数据的处理和分析成为了重要的技术和能力。在实际应用中，不同系统和设备产生的数据往往存在异构性和时效性等问题，需要对这些异构数据进行实时融合处理，以便更好地进行数据分析和应用。
聚类算法是一种对数据进行分类和分组的常用方法。其中，FCM聚类算法是一种基于逻辑的聚类算法，该算法能够更好地处理多源异构数据的聚类问题，并且可以对数据进行实时处理。
基于FCM聚类算法模型的数据实时高效融合处理方法可以通过将异构数据进行化处理，将数据转化为聚类问题，并且通过FCM算法对多源异构数据进行聚类和分组。但是现有技术中，传统聚类算法对实时数据的响应能力较弱，对数据量的限制较大，并且缺乏直观的结果展示方式。
因此，本发明公开了一种基于FCM聚类算法模型的数据实时高效融合处理方法实现对大规模数据的高效处理和快速响应。
发明内容
针对现有技术的不足，本发明公开了一种基于FCM聚类算法模型的数据实时高效融合处理方法，通过多源数据采集、实时分类和数据融合过程，实现了对大规模数据的高效处理和快速响应，具有实时性、高效性和可拓展性，适用于多种场景的数据应用和应急响应；采用实时流处理引擎工具构建改进式FCM聚类算法模型，提高了聚类分析的效率和响应速度；基于数据分类结果进行同类型原始采集数据融合，增强了数据融合的准确性和可靠性；采用大数据处理引擎Apache Spark进行实时新增数据迭代计算，实现了实时更新改进式FCM聚类算法模型，提高了聚类分析速度和效率；采用GPU服务器和并行计算方式对数据融合结果进行处理和应用，提高了数据处理和应用的效率和速度；通过数据可视化工具Tableau对聚类结果进行可视化，提高了数据分析的易用性和效果；自动化、智能化程度高。
本发明采用以下技术方案：
一种基于FCM聚类算法模型的数据实时高效融合处理方法，包括以下步骤：
步骤一、多源数据采集和预处理，通过无线传感器网络、抓取工具和访问接口进行实时多源原始数据采集，并将原始采集数据传输至消息队列，以便下一步处理，所述原始采集数据通过数据预处理工具Weka进行数据离群值、重复值、缺失值和归一化处理，以提高聚类的效率和准确性；
步骤二、数据分类，采用实时流处理引擎工具构建改进式FCM聚类算法模型，所述改进式FCM聚类算法模型通过对预处理后的原始采集数据进行聚类分析实现数据分类，并采用多线程和异步I/O处理方式提高聚类分析的效率和响应速度；
步骤三、数据融合，基于数据分类结果进行同类型原始采集数据融合；
步骤四、实时更新改进式FCM聚类算法模型，所述改进式FCM聚类算法模型通过大数据处理引擎Apache Spark进行实时新增数据迭代计算，所述大数据处理引擎ApacheSpark采用增量计算方式和时间窗口机制对改进式FCM聚类算法模型进行实时更新迭代，以提高聚类分析速度和效率；
步骤五、聚类结果可视化，通过数据可视化工具Tableau对聚类结果进行可视化；
步骤六、对数据融合结果进行处理与应用，采用GPU服务器和并行计算方式对数据融合结果进行数据挖掘、预测分析和优化决策。
作为本发明进一步的技术方案，所述实时流处理引擎工具采用数据缓存机制将预处理后的原始采集数据缓存至内存或磁盘等待处理，以降低数据处理延迟和减少数据读取次数，并采用并发处理机制并行处理大规模实时数据，所述并发处理机制通过数据的哈希值将大规模采集数据分为数据流，并采用负载均衡算法将数据流分发至处理节点，所述实时流处理引擎工具采用多核CPU处理器进行数据处理，提高处理效率和吞吐量。
作为本发明进一步的技术方案，所述改进式FCM聚类算法模型的工作步骤包括：
步骤1、确定聚类数，所述改进式FCM聚类算法模型采用分割指标法和轮廓系数确定聚类数，并采用自适应聚类中心点算法自动选择最佳初始聚类中心点，以避免局部最优情况，所述分割指标法通过计算不同聚类数对应的分割指标确定最优聚类数，所述轮廓系数基于每个数据点的聚类内部相似度和其他聚类之间的相异度确定最优聚类数，所述改进式FCM聚类算法通过添加数据点权重因子增强网络数据点在聚类过程中清晰度；
步骤2、初始化矩阵，所述改进式FCM聚类算法采用先验领域信息实现样本初始分类，并对矩阵进行赋值，所述改进式FCM聚类算法根据原始数据样本特征赋予网络数据样本不同权重，并通过迭代优化法优化聚类效果，所述迭代优化法与自适应学习率法结合基于迭代次数和预设参数值自动调整学习率，以提高改进式FCM聚类算法的收敛速度和稳定性；
步骤3、计算聚类中心，所述改进式FCM聚类算法采用软加权平均法计算聚类中心，以提高聚类的鲁棒性和稳健性，并通过约束条件限制聚类中心数量和位置，以避免聚类中心过多或过少情况，所述软加权平均法采用指数函数计算样本加权后平均值，以减少异常点的影响；
步骤4、更新矩阵，所述改进式FCM聚类算法根据聚类中心计算数据点到聚类中心的距离，并将距离转化为隶属度值，以更新矩阵；
步骤5、判断收敛，设置最大迭代次数和收敛域值，迭代次数或矩阵变化量达到最大值判断矩阵收敛，迭代次数或矩阵变化量未达到最大值判断矩阵不收敛，则执行步骤5操作；
步骤6、输出数据聚类结果，将每个数据点的隶属度值与聚类中心进行比较，划分至相应类别，并输出结果。
作为本发明进一步的技术方案，所述改进式FCM聚类算法通过对数值型数据和非数值型数据分别进行聚类提高聚类结果的可靠性，预处理后的原始采集数据点的集合为，n为预处理后的原始采集数据点的个数，/>为第j个数据向量，1≤j≤n，每个数据点有一组特征组成，数据点/>的特征集合为：
（1）
在公式（1）中，为第j个数据向量/>的第m个特征值，/>为第j个数据向量/>的第m个非数值型特征值，/>为第j个数据向量/>的第m个数值型特征值，/>为第j个数据向量/>的第/>个非数值型特征值，/>为第j个数据向量/>的第/>个数值型特征值，m表示数据向量特征的序数，c代表数据向量的非数值型特征，r代表数据向量的数值型特征，为非数值型特征的总数，/>数值型特征的总数，1≤m≤/>且1≤m≤/>；
预处理后的原始采集数据点分为k类，则数据点类中心矩阵为V=,数据点类中心矩阵的大小为(/>)×k，k为数据点类中心的列数，/>为第i列的类中心，1≤i≤k，i为数据点类中心的序数，数据点/>非数值型特征和数值型特征隶属于第i个类中心/>的隶属度为：
(2)
在公式（2）中，为数据点/>的非数值型特征隶属于第i个类中心/>的隶属度，为数据点/>的数值型特征隶属于第i个类中心/>的隶属度，/>为数据点/>的非数值型特征的轮廓系数，/>为数据点/>的数值型特征的轮廓系数，/>为第m行的类中心，/>为隶属度的程度，g=2；数据点/>隶属于第i个类中心/>的隶属度为：
（3）
在公式（3）中，为数据点/>隶属于第i个类中心/>的隶属度；根据当前隶属度对中心点矩阵进行更新：
（4）
在公式（4）中，为更新后的第i列的类中心。
作为本发明进一步的技术方案，所述步骤三中的数据融合的策略包括：
平均值融合，用于数据分布均匀情况，将同一类型的原始数据进行平均化处理，生成平均值作为新的融合数据，以保持原始数据的总体特征；
最大值融合，用于关注数据中的峰值或最高值情况，将同一类型原始数据中的最大值作为融合数据；
最小值融合，用于关注数据中的最低值或最小值情况，将同一类型的原始数据中的最小值作为融合数据；
中位数融合，用于数据分布不均匀情况，将同一类型的原始数据进行排序，取中间值作为新的融合数据，以抵抗异常数据的干扰；
加权平均值融合，用于不同采集数据的质量和重要程度不同的情况，对不同采集数据赋予权重，并进行平均化处理得到融合数据。
作为本发明进一步的技术方案，所述步骤四中的采用增量计算方式和时间窗口机制对改进式FCM聚类算法模型进行实时更新迭代的步骤包括：
S1、基于初始数据集D对改进式FCM聚类算法模型进行训练，得到初始聚类中心和隶属度矩阵参数；
S2、设置时间窗口的大小为T，将新增数据点X添加到时间窗口内的数据集D中，新增数据点X的大小为T，并对新增数据点进行聚类，得到新增数据点的隶属度向量；
S3、采用增量计算方式更新原聚类中心和隶属度矩阵参数，以适应新增数据点，所述增量计算方式的计算对象为新增数据点X；
S4、根据时间窗口内的数据集D对聚类模型进行实时更新迭代，满足最大迭代次数、误差下降阈值或聚类中心变化量，则直接输出最终聚类结果，不满足最大迭代次数、误差下降阈值或聚类中心变化量，则执行S2操作；
S5、输出最终的聚类结果和更新后的模型参数，并继续加入新的数据点进行聚类迭代。
作为本发明进一步的技术方案，所述数据可视化工具Tableau基于关联性数据模型获取海量数据源关联数据，以实现多维度数据关联分析，并采用交互式图表、热点图、地图和仪表板实现数据的趋势、关系及变化规律的实时监控，数据可视化工具Tableau采用Token用户身份验证机制验证访问用户的身份，以提高信息访问的安全性。
积极有益效果：
本发明公开了一种基于FCM聚类算法模型的数据实时高效融合处理方法，通过多源数据采集、实时分类和数据融合过程，实现了对大规模数据的高效处理和快速响应，具有实时性、高效性和可拓展性，适用于多种场景的数据应用和应急响应；采用实时流处理引擎工具构建改进式FCM聚类算法模型，提高了聚类分析的效率和响应速度；基于数据分类结果进行同类型原始采集数据融合，增强了数据融合的准确性和可靠性；采用大数据处理引擎Apache Spark进行实时新增数据迭代计算，实现了实时更新改进式FCM聚类算法模型，提高了聚类分析速度和效率；采用GPU服务器和并行计算方式对数据融合结果进行处理和应用，提高了数据处理和应用的效率和速度；通过数据可视化工具Tableau对聚类结果进行可视化，提高了数据分析的易用性和效果；自动化、智能化程度高；自动化、智能化程度高。
附图说明
图1为本发明一种基于FCM聚类算法模型的数据实时高效融合处理方法的整体流程示意图；
图2为本发明一种基于FCM聚类算法模型的数据实时高效融合处理方法中实时流处理引擎工具的工作原理图；
图3为本发明一种基于FCM聚类算法模型的数据实时高效融合处理方法中改进式FCM聚类算法模型的模型架构示意图；
图4为本发明一种基于FCM聚类算法模型的数据实时高效融合处理方法中分布式处理的电路示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于FCM聚类算法模型的数据实时高效融合处理方法，包括以下步骤：
步骤一、多源数据采集和预处理，通过无线传感器网络、抓取工具和访问接口进行实时多源原始数据采集，并将原始采集数据传输至消息队列，以便下一步处理，所述原始采集数据通过数据预处理工具Weka进行数据离群值、重复值、缺失值和归一化处理，以提高聚类的效率和准确性；
步骤二、数据分类，采用实时流处理引擎工具构建改进式FCM聚类算法模型，所述改进式FCM聚类算法模型通过对预处理后的原始采集数据进行聚类分析实现数据分类，并采用多线程和异步I/O处理方式提高聚类分析的效率和响应速度；
步骤三、数据融合，基于数据分类结果进行同类型原始采集数据融合；
步骤四、实时更新改进式FCM聚类算法模型，所述改进式FCM聚类算法模型通过大数据处理引擎Apache Spark进行实时新增数据迭代计算，所述大数据处理引擎ApacheSpark采用增量计算方式和时间窗口机制对改进式FCM聚类算法模型进行实时更新迭代，以提高聚类分析速度和效率；
步骤五、聚类结果可视化，通过数据可视化工具Tableau对聚类结果进行可视化；
步骤六、对数据融合结果进行处理与应用，采用GPU服务器和并行计算方式对数据融合结果进行数据挖掘、预测分析和优化决策。
在具体实施例中，该基于FCM聚类算法模型的数据实时高效融合处理方法的主要特点是采用改进式FCM聚类算法模型来完成数据分类，并通过实时流处理引擎工具来提高聚类分析的效率和响应速度，同时利用大数据处理引擎Apache Spark来实现实时更新迭代计算，从而加快聚类分析速度和效率。
此外，该方法还包括针对不同数据源采集的无线传感器网络、抓取工具和访问接口等实时多源原始数据采集和预处理步骤，以及采用数据可视化工具Tableau对聚类结果进行可视化，以便更好地展示和理解数据之间的关系和趋势。最后，通过GPU服务器和并行计算方式对数据融合结果进行数据挖掘、预测分析和优化决策，进一步提高数据的应用价值。
综上，该方法在实现数据实时高效融合处理的同时，还能够充分利用不同的计算工具和技术手段，实现更加准确和智能的数据分类和分析，帮助用户更好地理解和应用数据。
在上述实施例中，所述实时流处理引擎工具采用数据缓存机制将预处理后的原始采集数据缓存至内存或磁盘等待处理，以降低数据处理延迟和减少数据读取次数，并采用并发处理机制并行处理大规模实时数据，所述并发处理机制通过数据的哈希值将大规模采集数据分为数据流，并采用负载均衡算法将数据流分发至处理节点，所述实时流处理引擎工具采用多核CPU处理器进行数据处理，提高处理效率和吞吐量。
在具体实施例中，实时流处理引擎工具首先从数据源中接收输入数据，并根据数据模型分为有界数据流和无界数据流，有界数据流会被分割成多个数据块然后进行处理，无界数据流的数据则是不断产生的。在接收到数据之后，实时流处理引擎工具对数据进行转换，处理数据的方式根据任务的不同而不同，例如可以对数据进行过滤、转换、聚合等操作，这可以通过函数式API来完成。实时流处理引擎工具接下来会将数据分布到多个物理节点，然后在每个节点上计算和处理任务，计算过程中可以使用流式查询、窗口操作、状态存储或机器学习等处理方法，执行结果可以缓存在内存或外存中。最后，实时流处理引擎工具将计算结果输出到外部存储或其他应用程序中，例如输出到数据库、消息队列、消息服务器、文件系统或Web服务中。
实时流处理引擎工具的运行架构由多个组件组成，包括JobManager、TaskManager、Client、Sink、Source、Operator、Partition等，每个组件都有不同的功能和作用，例如JobManager负责协调任务的执行和管理TaskManagers，而TaskManager则负责在物理节点上执行任务。这些组件可以灵活地组合使用，以满足不同的实时计算需求。总之，实时流处理引擎工具的工作原理是基于数据流和分布式计算的模型，将任务分解成多个小任务在不同的节点上执行，处理数据时通过函数式API完成，最终将结。
在上述实施例中，所述改进式FCM聚类算法模型的工作步骤包括：
步骤1、确定聚类数，所述改进式FCM聚类算法模型采用分割指标法和轮廓系数确定聚类数，并采用自适应聚类中心点算法自动选择最佳初始聚类中心点，以避免局部最优情况，所述分割指标法通过计算不同聚类数对应的分割指标确定最优聚类数，所述轮廓系数基于每个数据点的聚类内部相似度和其他聚类之间的相异度确定最优聚类数，所述改进式FCM聚类算法通过添加数据点权重因子增强网络数据点在聚类过程中清晰度；
步骤2、初始化矩阵，所述改进式FCM聚类算法采用先验领域信息实现样本初始分类，并对矩阵进行赋值，所述改进式FCM聚类算法根据原始数据样本特征赋予网络数据样本不同权重，并通过迭代优化法优化聚类效果，所述迭代优化法与自适应学习率法结合基于迭代次数和预设参数值自动调整学习率，以提高改进式FCM聚类算法的收敛速度和稳定性；
步骤3、计算聚类中心，所述改进式FCM聚类算法采用软加权平均法计算聚类中心，以提高聚类的鲁棒性和稳健性，并通过约束条件限制聚类中心数量和位置，以避免聚类中心过多或过少情况，所述软加权平均法采用指数函数计算样本加权后平均值，以减少异常点的影响；
步骤4、更新矩阵，所述改进式FCM聚类算法根据聚类中心计算数据点到聚类中心的距离，并将距离转化为隶属度值，以更新矩阵；
步骤5、判断收敛，设置最大迭代次数和收敛域值，迭代次数或矩阵变化量达到最大值判断矩阵收敛，迭代次数或矩阵变化量未达到最大值判断矩阵不收敛，则执行步骤5操作；
步骤6、输出数据聚类结果，将每个数据点的隶属度值与聚类中心进行比较，划分至相应类别，并输出结果。
在具体实施例中，改进式FCM聚类算法模型基于传统的FCM聚类算法模型进行优化改进，增加了分割指标法、轮廓系数和权重因子，提高了聚类的可靠性和准确性。
其中，分割指标法和轮廓系数用于确定最优聚类数，避免了人为主观决定聚类数的不足。自适应聚类中心算法则是为了自动选择最佳初始聚类中心点，避免了算法陷入局部最优情况的问题。
改进式FCM聚类算法通过添加数据点的权重因子来增强网络数据点在聚类过程中的清晰度，同时采用了先验领域信息实现样本初始分类，并对矩阵进行赋权，从而提高聚类结果的准确性和可靠性。算法还采用了迭代优化法与自适应学习率法相结合，使得算法具有较快的收敛速度和较好的稳定性。
最终，算法将每个数据点的隶属度值与聚类中心进行比较，划分至相应的类别，输出聚类结果。通过以上改进和优化，该算法在处理数值型数据和非数值型数据聚类方面具有较好的应用效果和实用价值。
改进式FCM聚类算法模型自动确定最优聚类数，避免了人为主观性和聚类不准确性；引入数据点权重因子，增强网络数据点在聚类过程中的清晰度，提高聚类效果和准确性；采用先验领域信息实现样本初始分类，减少初始分类的随机性，提高聚类效果和鲁棒性；采用软加权平均法计算聚类中心，减少异常点的影响，提高聚类效果和稳健性；自适应聚类中心点算法自动选择最佳初始聚类中心点，避免了局部最优情况，提高聚类效果和准确性。
总之，改进式FCM聚类算法模型是一种有效的数据聚类分析方法，具有较高的聚类准确性、鲁棒性和稳健性，可广泛应用于各种数据挖掘和机器学习场景。利用matlab2018a对数据进行仿真，分别采用本算法模型和对比算法模型A、B进行实验，效果如表1所示。
表1改进式FCM聚类算法模型处理效果统计
如表1所示，利用matlab2018a对数据进行仿真，分别采用本算法模型和对比算法模型A、B进行实验，实验内容分别为20min内处理相似复杂程度数据对比处理信息总量和处理8100MB的相似复杂程度数据对比处理时间，并对本算法模型和对比算法模型A、B处理准确度进行统计，分别将实验结果记录在表1内，对比发现改进式FCM聚类算法模型的处理数据总量、处理速度和处理准确度远大于比算法模型A、B，证明经过改进和优化，本算法在处理数据聚类方面具有较好的应用效果和实用价值。
在上述实施例中，所述改进式FCM聚类算法通过对数值型数据和非数值型数据分别进行聚类提高聚类结果的可靠性，预处理后的原始采集数据点的集合为
;
n为预处理后的原始采集数据点的个数，为第j个数据向量，1≤j≤n，每个数据点有一组特征组成，数据点/>的特征集合为：
（1）
在公式（1）中，为第j个数据向量/>的第m个特征值，/>为第j个数据向量/>的第m个非数值型特征值，/>为第j个数据向量/>的第m个数值型特征值，/>为第j个数据向量/>的第/>个非数值型特征值，/>为第j个数据向量/>的第/>个数值型特征值，m表示数据向量特征的序数，c代表数据向量的非数值型特征，r代表数据向量的数值型特征，为非数值型特征的总数，/>数值型特征的总数，1≤m≤/>且1≤m≤/>；
预处理后的原始采集数据点分为k类，则数据点类中心矩阵为V=,数据点类中心矩阵的大小为(/>)×k，k为数据点类中心的列数，/>为第i列的类中心，1≤i≤k，i为数据点类中心的序数，数据点/>非数值型特征和数值型特征隶属于第i个类中心/>的隶属度为：
（2）
在公式（2）中，为数据点/>的非数值型特征隶属于第i个类中心/>的隶属度，为数据点/>的数值型特征隶属于第i个类中心/>的隶属度，/>为数据点/>的非数值型特征的轮廓系数，/>为数据点/>的数值型特征的轮廓系数，/>为第m行的类中心，/>为隶属度的程度，g=2；数据点/>隶属于第i个类中心/>的隶属度为：
（3）
在公式（3）中，为数据点/>隶属于第i个类中心/>的隶属度；根据当前隶属度对中心点矩阵进行更新：
（4）
在公式（4）中，为更新后的第i列的类中心。
在具体实施例中，改进式FCM聚类算法是基于传统的FCM聚类算法模型进行优化改进的，增加了分割指标法和轮廓系数来确定最优聚类数，自适应聚类中心算法来选择最佳初始聚类中心点，权重因子来增强网络数据点在聚类过程中的清晰度，先验领域信息实现样本初始分类，并对矩阵进行赋权，迭代优化法与自适应学习率法相结合等参数和步骤，以提高聚类的可靠性和准确性。
该算法可以提高聚类结果的准确性和可靠性，特别是针对非数值型数据和数值型数据分别进行聚类，可以更好地解决不同类型数据的聚类问题。使用分割指标法和轮廓系数能够自动确定最优聚类数，避免了手动选择聚类数的主观性，提高了聚类结果的可靠性。使用自适应聚类中心算法选择最佳初始聚类中心点，可以避免算法陷入局部最优情况的问题，提高了聚类结果的准确性。
使用权重因子可以增强网络数据点在聚类过程中的清晰度，更好地描述数据点之间的相似性和差异性。使用先验领域信息实现样本初始分类，并对矩阵进行赋权，可以提高聚类结果的准确性和可靠性。使用迭代优化法与自适应学习率法相结合，可以使得算法具有较快的收敛速度和较好的稳定性。
总之，以上算法通过优化和改进提高了传统的FCM聚类算法模型，在处理数值型数据和非数值型数据聚类方面具有较好的应用效果和实用价值。
为了验证改进式FCM聚类算法的数据分析能力，将该研究的收敛速度与模型1（模糊C均值FCM聚类算法）和模型2（K-MEANS算法）进行对比，使用三种算法处理液冷系统数据中心的故障数据样本，时延结果如表2所示，其中样本1-4为数值型数据，样本5-10为非数值型数据。
表2数据分析时间
通过试验对比表可以看出，采用模型1中技术进行分析液冷数据中心设备数据时，平均时间大于50秒，采用模型2中技术进行分析液冷数据中心设备数据时，平均时间大于50秒，而采用本算法模型进行数据分析时，采用的平均时间在2秒左右。并且，因此，模型1和模型2在处理非数值型数据是用时更长，因此，通过优化和改进提高了传统的FCM聚类算法模型，在处理数值型数据和非数值型数据聚类方面具有较好的应用效果和实用价值。
在上述实施例中，所述步骤三中的数据融合的策略包括：
平均值融合，用于数据分布均匀情况，将同一类型的原始数据进行平均化处理，生成平均值作为新的融合数据，以保持原始数据的总体特征；
最大值融合，用于关注数据中的峰值或最高值情况，将同一类型原始数据中的最大值作为融合数据；
最小值融合，用于关注数据中的最低值或最小值情况，将同一类型的原始数据中的最小值作为融合数据；
中位数融合，用于数据分布不均匀情况，将同一类型的原始数据进行排序，取中间值作为新的融合数据，以抵抗异常数据的干扰；
加权平均值融合，用于不同采集数据的质量和重要程度不同的情况，对不同采集数据赋予权重，并进行平均化处理得到融合数据。
在具体实施例中，数据融合是将来自不同源头或多个传感器的相似或相关数据进行整合的过程。在数据分类结果已知的情况下，使用独热编码、二进制编码等方式进行特征向量表示，以便于后续的汇总和融合。将同一分类结果下的不同原始采集数据按照一定规则进行汇总和融合。可以采用简单加权平均、多目标决策等方式进行数据融合。其中，加权平均可以根据特征重要性赋予不同权重，多目标决策可以根据不同目标设定权重，并将多个目标综合起来作为数据融合的依据。对数据融合的结果进行模型评价，可以采用均方误差、相关系数等指标进行评价，以得到数据融合的效果。对数据融合结果进行反馈和升级，可以针对评价结果进行模型修正和优化，进一步提高数据融合的准确性、可靠性和稳定性。
在上述实施例中，所述步骤四中的采用增量计算方式和时间窗口机制对改进式FCM聚类算法模型进行实时更新迭代的步骤包括：
S1、基于初始数据集D对改进式FCM聚类算法模型进行训练，得到初始聚类中心和隶属度矩阵参数；
S2、设置时间窗口的大小为T，将新增数据点X添加到时间窗口内的数据集D中，新增数据点X的大小为T，并对新增数据点进行聚类，得到新增数据点的隶属度向量；
S3、采用增量计算方式更新原聚类中心和隶属度矩阵参数，以适应新增数据点，所述增量计算方式的计算对象为新增数据点X；
S4、根据时间窗口内的数据集D对聚类模型进行实时更新迭代，满足最大迭代次数、误差下降阈值或聚类中心变化量，则直接输出最终聚类结果，不满足最大迭代次数、误差下降阈值或聚类中心变化量，则执行S2操作；
S5、输出最终的聚类结果和更新后的模型参数，并继续加入新的数据点进行聚类迭代。
在具体实施例中，增量计算方式和时间窗口机制是对改进式FCM聚类算法模型进行实时更新迭代的两种方法，可以有效提高聚类分析速度和效率。
当新数据到达时，增量计算方式只需更新该数据所属的簇的中心向量，而不是重新对所有数据进行聚类。具体而言，可以先计算新数据点与各个簇中心的距离，然后将其划分到距离最近的簇中，最后更新该簇的中心向量。时间窗口机制将数据集分割成多个时间窗口，在每个时间窗口内进行聚类分析。具体而言，可以将数据分类为最近的若干个时间段，并对每个时间段内的数据进行聚类分析。这样可以降低每次聚类所需处理的数据量，提高聚类分析速度和效率。将这两种方法结合起来，在时间窗口内采用增量计算方式对数据进行实时更新，可以更好地适应大规模数据实时分析的场景。在每个时间窗口内，只需进行增量计算，避免了对所有数据重新聚类的计算量，减少了计算时间。同时，时间窗口机制可以把数据分成若干个时间段，提高了聚类的准确性和可靠性。
总之，采用增量计算方式和时间窗口机制对改进式FCM聚类算法模型进行实时更新迭代，不仅可以提高聚类分析速度和效率，还可以保证聚类结果的准确性和可靠性，适用于大规模实时数据的分析和处理。效果如下：
利用matlab2018a对数据进行仿真，按4：1的比例对正常流量数据和异常流量数据进行分别抽样，随机抽取一万条记录进行数据清洗和规范化，并通过数据规约对数据进行降维采样，尽量保持原有数据集的有关特性，减少需要处理的数据量，将改进式FCM聚类算法与传统FCM算法进行新增数据处理性能比较，设置权重指数为2。分别对数据样本进行聚类，聚类效果如表3所示：
表3聚类效果对比
通过理论分析和实验发现，改进式FCM聚类算法新增数据的响应速度比传统FCM算法快，且准确率高于传统FCM算法，对数据集抑制5%的噪声，在模拟实验环境下，基于改进FCM算法具有聚类速度较快，分类好的特点，算法鲁棒性较好，能正确、及时响应新增数据。
在上述实施例中，所述数据可视化工具Tableau基于关联性数据模型获取海量数据源关联数据，以实现多维度数据关联分析，并采用交互式图表、热点图、地图和仪表板实现数据的趋势、关系及变化规律的实时监控，数据可视化工具Tableau采用Token用户身份验证机制验证访问用户的身份，以提高信息访问的安全性。
在具体实施例中，通过Tableau对聚类结果进行可视化，可以帮助用户更直观地理解数据的分类和聚类结果。将聚类结果导出为CSV或Excel格式的文件，然后在Tableau中导入数据。在导入数据时，请确保选择正确的数据源类型和正确的文件路径。选择相应的数据维度和度量，创建可视化图表。例如，可以使用散点图或条形图对聚类结果进行可视化。使用颜色编码对不同类别的数据进行区分和显示。可以通过在图表中添加颜色编码图例来解释颜色的含义。在可视化图表中添加滤镜和交互控件，用户可以根据不同需求进行数据筛选和交互分析。例如，可以添加下拉菜单、滚动条等控件。将可视化图表和交互控件组合在一起，创建数据仪表板。在数据仪表板中可以同时展示不同图表和数据维度，增强数据分析和决策的效率和准确性。通过以上步骤，可以在Tableau中快速地对聚类结果进行可视化分析，帮助用户更好地理解数据背后的规律和关系。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。
Claims (5)
1.一种基于FCM聚类算法模型的数据实时高效融合处理方法，其特征在于：包括以下步骤：
步骤一、多源数据采集和预处理，通过无线传感器网络、抓取工具和访问接口进行实时多源原始数据采集，并将原始采集数据传输至消息队列，以便下一步处理，所述原始采集数据通过数据预处理工具Weka进行数据离群值、重复值、缺失值和归一化处理，以提高聚类的效率和准确性；
步骤二、数据分类，采用实时流处理引擎工具构建改进式FCM聚类算法模型，所述改进式FCM聚类算法模型通过对预处理后的原始采集数据进行聚类分析实现数据分类，并采用多线程和异步I/O处理方式提高聚类分析的效率和响应速度；
步骤三、数据融合，基于数据分类结果进行同类型原始采集数据融合；
步骤四、实时更新改进式FCM聚类算法模型，所述改进式FCM聚类算法模型通过大数据处理引擎Apache Spark进行实时新增数据迭代计算，所述大数据处理引擎Apache Spark采用增量计算方式和时间窗口机制对改进式FCM聚类算法模型进行实时更新迭代，以提高聚类分析速度和效率；
步骤五、聚类结果可视化，通过数据可视化工具Tableau对聚类结果进行可视化；
步骤六、对数据融合结果进行处理与应用，采用GPU服务器和并行计算方式对数据融合结果进行数据挖掘、预测分析和优化决策；
所述改进式FCM聚类算法通过对数值型数据和非数值型数据分别进行聚类提高聚类结果的可靠性，预处理后的原始采集数据点的集合为X＝{x1,x2,...,xj,...,xn}，n为预处理后的原始采集数据点的个数，xj为第j个数据向量，1≤j≤n，每个数据点有一组特征组成，数据点xj的特征集合为：
在公式(1)中，xj,m为第j个数据向量xj的第m个特征值，为第j个数据向量xj的第m个非数值型特征值，/>为第j个数据向量xj的第m个数值型特征值，/>为第j个数据向量xj的第mc个非数值型特征值，/>为第j个数据向量xj的第mr个数值型特征值，m表示数据向量特征的序数，c代表数据向量的非数值型特征，r代表数据向量的数值型特征，mc为非数值型特征的总数，mr数值型特征的总数，
1≤m≤mc且1≤m≤mr；
预处理后的原始采集数据点分为k类，则数据点类中心矩阵为V＝{v1,v2,...,vi,...,vk}，数据点类中心矩阵的大小为(mc+mr)×k，k为数据点类中心的列数，vi为第i列的类中心，1≤i≤k，i为数据点类中心的序数，数据点xj非数值型特征和数值型特征隶属于第i个类中心vi的隶属度为：
在公式(2)中，为数据点xj的非数值型特征隶属于第i个类中心vi的隶属度，/>为数据点xj的数值型特征隶属于第i个类中心vi的隶属度，Sc为数据点xj的非数值型特征的轮廓系数，Sr为数据点xj的数值型特征的轮廓系数，vm为第m行的类中心，g为隶属度的程度，g＝2；数据点xj隶属于第i个类中心vi的隶属度为：/>
在公式(3)中，Uji为数据点xj隶属于第i个类中心vi的隶属度；根据当前隶属度对中心点矩阵进行更新：
在公式(4)中，vi'为更新后的第i列的类中心。
2.根据权利要求1所述的一种基于FCM聚类算法模型的数据实时高效融合处理方法，其特征在于：所述实时流处理引擎工具采用数据缓存机制将预处理后的原始采集数据缓存至内存或磁盘等待处理，以降低数据处理延迟和减少数据读取次数，并采用并发处理机制并行处理大规模实时数据，所述并发处理机制通过数据的哈希值将大规模采集数据分为数据流，并采用负载均衡算法将数据流分发至处理节点，所述实时流处理引擎工具采用多核CPU处理器进行数据处理，提高处理效率和吞吐量。
3.根据权利要求1所述的一种基于FCM聚类算法模型的数据实时高效融合处理方法，其特征在于：所述步骤三中的数据融合的策略包括：
(1)平均值融合，用于数据分布均匀情况，将同一类型的原始数据进行平均化处理，生成平均值作为新的融合数据，以保持原始数据的总体特征；
(2)最大值融合，用于关注数据中的峰值或最高值情况，将同一类型原始数据中的最大值作为融合数据；
(3)最小值融合，用于关注数据中的最低值或最小值情况，将同一类型的原始数据中的最小值作为融合数据；
(4)中位数融合，用于数据分布不均匀情况，将同一类型的原始数据进行排序，取中间值作为新的融合数据，以抵抗异常数据的干扰；
(5)加权平均值融合，用于不同采集数据的质量和重要程度不同的情况，对不同采集数据赋予权重，并进行平均化处理得到融合数据。
4.根据权利要求1所述的一种基于FCM聚类算法模型的数据实时高效融合处理方法，其特征在于：所述步骤四中的采用增量计算方式和时间窗口机制对改进式FCM聚类算法模型进行实时更新迭代的步骤包括：
S1、基于初始数据集D对改进式FCM聚类算法模型进行训练，得到初始聚类中心和隶属度矩阵参数；
S2、设置时间窗口的大小为T，将新增数据点X添加到时间窗口内的数据集D中，新增数据点X的大小为T，并对新增数据点进行聚类，得到新增数据点的隶属度向量；
S3、采用增量计算方式更新原聚类中心和隶属度矩阵参数，以适应新增数据点，所述增量计算方式的计算对象为新增数据点X；
S4、根据时间窗口内的数据集D对聚类模型进行实时更新迭代，满足最大迭代次数、误差下降阈值或聚类中心变化量，则直接输出最终聚类结果，不满足最大迭代次数、误差下降阈值或聚类中心变化量，则执行S2操作；
S5、输出最终的聚类结果和更新后的模型参数，并继续加入新的数据点进行聚类迭代。
5.根据权利要求1所述的一种基于FCM聚类算法模型的数据实时高效融合处理方法，其特征在于：所述数据可视化工具Tableau基于关联性数据模型获取海量数据源关联数据，以实现多维度数据关联分析，并采用交互式图表、热点图、地图和仪表板实现数据的趋势、关系及变化规律的实时监控，数据可视化工具Tableau采用Token用户身份验证机制验证访问用户的身份，以提高信息访问的安全性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311358138.4A CN117112871B (zh) | 2023-10-19 | 2023-10-19 | 基于fcm聚类算法模型的数据实时高效融合处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311358138.4A CN117112871B (zh) | 2023-10-19 | 2023-10-19 | 基于fcm聚类算法模型的数据实时高效融合处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117112871A CN117112871A (zh) | 2023-11-24 |
| CN117112871B true CN117112871B (zh) | 2024-01-05 |
Family
ID=88805801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311358138.4A Active CN117112871B (zh) | 2023-10-19 | 2023-10-19 | 基于fcm聚类算法模型的数据实时高效融合处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117112871B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118283082A (zh) * | 2024-04-11 | 2024-07-02 | 江西清能高科技术有限公司 | 基于云计算的大数据采集方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012020328A1 (en) * | 2010-04-15 | 2012-02-16 | Caplan Software Development S.R.L. | Automated service time estimation method for it system resources |
| CN107239800A (zh) * | 2017-06-06 | 2017-10-10 | 常州工学院 | 松弛模糊c均值聚类算法 |
| CN108256102A (zh) * | 2018-02-01 | 2018-07-06 | 厦门大学嘉庚学院 | 一种基于聚类的独立学院学生评教数据分析方法 |
| CN108763590A (zh) * | 2018-06-20 | 2018-11-06 | 合肥工业大学 | 一种基于双变加权核fcm算法的数据聚类方法 |
| CN112560921A (zh) * | 2020-12-10 | 2021-03-26 | 百维金科(上海)信息科技有限公司 | 一种基于模糊c-均值的互联网金融平台申请欺诈行为检测方法 |
| CN115598536A (zh) * | 2022-10-08 | 2023-01-13 | 合肥工业大学（Cn） | 基于模糊c均值聚类和概率神经网络的pemfc故障诊断方法 |
| CN116662832A (zh) * | 2023-04-28 | 2023-08-29 | 浙江华巽科技有限公司 | 一种基于聚类和主动学习的训练样本选择方法 |
| CN116723136A (zh) * | 2023-08-09 | 2023-09-08 | 南京华飞数据技术有限公司 | 应用fcm聚类算法的网络检测数据的方法 |
-
2023
- 2023-10-19 CN CN202311358138.4A patent/CN117112871B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012020328A1 (en) * | 2010-04-15 | 2012-02-16 | Caplan Software Development S.R.L. | Automated service time estimation method for it system resources |
| CN107239800A (zh) * | 2017-06-06 | 2017-10-10 | 常州工学院 | 松弛模糊c均值聚类算法 |
| CN108256102A (zh) * | 2018-02-01 | 2018-07-06 | 厦门大学嘉庚学院 | 一种基于聚类的独立学院学生评教数据分析方法 |
| CN108763590A (zh) * | 2018-06-20 | 2018-11-06 | 合肥工业大学 | 一种基于双变加权核fcm算法的数据聚类方法 |
| CN112560921A (zh) * | 2020-12-10 | 2021-03-26 | 百维金科(上海)信息科技有限公司 | 一种基于模糊c-均值的互联网金融平台申请欺诈行为检测方法 |
| CN115598536A (zh) * | 2022-10-08 | 2023-01-13 | 合肥工业大学（Cn） | 基于模糊c均值聚类和概率神经网络的pemfc故障诊断方法 |
| CN116662832A (zh) * | 2023-04-28 | 2023-08-29 | 浙江华巽科技有限公司 | 一种基于聚类和主动学习的训练样本选择方法 |
| CN116723136A (zh) * | 2023-08-09 | 2023-09-08 | 南京华飞数据技术有限公司 | 应用fcm聚类算法的网络检测数据的方法 |
Non-Patent Citations (2)
| Title |
|---|
| A Method to Find Optimum Number of Clusters Based on Fuzzy Silhouette on Dynamic Data Set;Chatti Subbalakshmi等;Procedia Computer Science;346-353 * |
| 面向时序数据的铸轧生产过程监控和质量诊断方法研究;周宇杰;中国博士学位论文全文数据库 (工程科技Ⅰ辑);B022-190 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117112871A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717535B (zh) | 一种基于数据分析处理系统的自动建模方法及系统 | |
| CN117112871B (zh) | 基于fcm聚类算法模型的数据实时高效融合处理方法 | |
| CN109388565B (zh) | 基于生成式对抗网络的软件系统性能优化方法 | |
| CN112633754A (zh) | 一种数据分析模型的建模方法及系统 | |
| CN116244612B (zh) | 一种基于自学习参数度量的http流量聚类方法及装置 | |
| CN114066073A (zh) | 电网负荷预测方法 | |
| CN116883065A (zh) | 商户风险预测方法及装置 | |
| CN105933138B (zh) | 一种时空维度相结合的云服务可信态势评估与预测方法 | |
| Bi et al. | Accurate prediction of workloads and resources with multi-head attention and hybrid LSTM for cloud data centers | |
| CN117764631A (zh) | 基于源端静态数据建模的数据治理优化方法及系统 | |
| CN109344171A (zh) | 一种基于数据流处理的非线性系统特征变量显著性挖掘法 | |
| CN116595102B (zh) | 一种改进聚类算法的大数据管理方法及系统 | |
| CN113743453A (zh) | 一种基于随机森林的人口数量预测方法 | |
| CN111930484B (zh) | 一种电网信息通信服务器线程池性能优化方法与系统 | |
| CN112214928A (zh) | 一种低压配电网多源数据处理与融合方法及系统 | |
| CN113205274B (zh) | 一种施工质量定量化排名方法 | |
| Fan et al. | Finding Simplex Items in Data Streams | |
| Trinks | A classification of real time analytics methods. an outlook for the use within the smart factory | |
| CN115221955A (zh) | 基于样本差异分析的多深度神经网络参数融合系统及方法 | |
| CN113487080A (zh) | 一种基于风速分类的风速动态场景生成方法、系统及终端 | |
| CN111814153A (zh) | 一种基于大数据的商业网站安全维护方法 | |
| CN117350607B (zh) | 改进型knn算法模型的国际物流运输路径规划系统 | |
| Bi et al. | Adaptive prediction of resources and workloads for cloud computing systems with attention-based and hybrid LSTM | |
| CN111475380A (zh) | 一种日志分析方法和装置 | |
| Seshadri et al. | Design and Evaluation of a Hierarchical Characterization and Adaptive Prediction Model for Cloud Workloads |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |