CN118051800B - 基于云边协同的矿内监测数据智能处理方法 - Google Patents
基于云边协同的矿内监测数据智能处理方法 Download PDFInfo
- Publication number
- CN118051800B CN118051800B CN202410451492.XA CN202410451492A CN118051800B CN 118051800 B CN118051800 B CN 118051800B CN 202410451492 A CN202410451492 A CN 202410451492A CN 118051800 B CN118051800 B CN 118051800B
- Authority
- CN
- China
- Prior art keywords
- monitoring data
- clustering
- data
- clustering result
- current moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 211
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000005457 optimization Methods 0.000 claims abstract description 34
- 238000005065 mining Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 40
- 238000010606 normalization Methods 0.000 claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000003064 k means clustering Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 6
- 238000013480 data collection Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Probability & Statistics with Applications (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Tourism & Hospitality (AREA)
- Evolutionary Biology (AREA)
- Marketing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Mining & Mineral Resources (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Agronomy & Crop Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及数据处理技术领域,尤其涉及一种基于云边协同的矿内监测数据智能处理方法,该方法应用于边缘节点,针对矿区内的任一类设备,对任一类型传感器下的每个设备的监测数据进行聚类,得到对应的聚类结果;获取设备在当前时刻的新增监测数据,根据新增监测数据和聚类结果,得到设备在当前时刻的数据采集粒度;根据迭代停止阈值和所有设备在当前时刻的新增监测数据,获取在当前时刻下对聚类结果进行聚类更新后的新聚类结果;重复每个设备在当前时刻的数据采集粒度以及在当前时刻下对聚类结果进行聚类更新后的新聚类结果的获取步骤,以完成对矿区内的类设备的类型传感器下的监测数据处理,提高了每个设备的数据采集量的优化效果。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种基于云边协同的矿内监测数据智能处理方法。
背景技术
在矿区中的设备环境监测过程中,需要将矿区内的每个设备的运行监测传感器、不同区域的环境传感器作为终端设备,以通过终端设备对应的边缘节点进行监测数据的采集,然后通过云边协同的设备检测过程在云服务器中对采集到的监测数据进行数据分析,从而对矿区内的设备的运行状态进行实时监控。在基于云边协同的矿内监测数据的监控过程中,一方面需要降低终端设备的数据采集量,另一方面需要在云服务器中保证通过边缘节点接收到的终端设备的监测数据可以准确表达对应设备的当前运行状态信息,因此,需要通过数据采集粒度的优化,在保证终端设备采集到的监测数据属于有效数据的前提下又对终端设备的数据采集量进行优化。
现有技术中,在边缘节点采集到监测数据之后,对采集到的监测数据进行聚类划分,以对监测数据进行数据变化模式划分,针对任一终端设备的监测数据,当出现数据变化模式的变化时,则需要更小的数据采集粒度所采集的监测数据在云服务器中进行数据分析,当出现数变化模式的稳定时,则可以通过增大数据采集粒度来降低数据采集量,以减少云服务器中的数据分析量。但是在对监测数据进行聚类划分的过程中,当终端设备采集到新增监测数据时,需要通过新增监测数据对历史聚类划分得到的数据变化模式进行模式更新,也即是重新进行聚类划分,且在模式更新的过程中,如果通过相同的迭代过程进行模式更新,会出现模式更新的耗时高,使得对于新增监测数据的数据变化模式的评估划分不及时,进而导致对终端设备的数据采集量进行优化的效果差。
因此,如何在矿区内的终端设备出现新增监测数据时,及时对新增监测数据的数据变化模式进行评估,以保证终端设备的数据采集量的优化效果成为亟需解决的问题。
发明内容
有鉴于此,本发明实施例提供了一种基于云边协同的矿内监测数据智能处理方法,以解决如何在矿区内的终端设备出现新增监测数据时,及时对新增监测数据的数据变化模式进行评估,以保证终端设备的数据采集量的优化效果的问题。
本发明实施例中提供了一种基于云边协同的矿内监测数据智能处理方法,应用于边缘节点,该方法包括以下步骤:
针对矿区内的任一类设备,通过边缘节点获取任一类型传感器下的每个设备的监测数据组成监测数据集合,对所述监测数据集合进行聚类,得到对应的聚类结果;
针对任一设备,获取所述设备在当前时刻的新增监测数据,根据所述新增监测数据和所述聚类结果,获取所述当前时刻对应的粒度调整因子,利用所述粒度调整因子对所述设备在上一时刻的数据采集粒度进行调整,得到所述设备在所述当前时刻的数据采集粒度;
根据所有设备在所述当前时刻对应的粒度调整因子,获取对所述聚类结果进行聚类更新时的迭代优化因子,利用所述迭代优化因子,获取对所述聚类结果进行聚类更新时的迭代停止阈值,根据所述迭代停止阈值和所有设备在所述当前时刻的新增监测数据,获取在所述当前时刻下对所述聚类结果进行聚类更新后的新聚类结果;
将每个所述设备在所述当前时刻的数据采集粒度作为对应设备在所述上一时刻的数据采集粒度,将所述新聚类结果作为所述聚类结果,重复每个所述设备在所述当前时刻的数据采集粒度以及在所述当前时刻下对所述聚类结果进行聚类更新后的新聚类结果的获取步骤,以完成对矿区内的所述类设备的所述类型传感器下的监测数据处理。
优选的,所述根据所述新增监测数据和所述聚类结果,获取所述当前时刻对应的粒度调整因子,包括:
所述聚类结果包括至少两个簇类,分别获取所述新增监测数据与每个所述簇类的簇类中心之间的距离,将最小距离对应的簇类作为所述新增监测数据所属的目标簇类;
获取所述新增监测数据之前的预设数量个监测数据与所述新增监测数据组成的局部时序数据序列,根据所述局部时序数据序列中的每个监测数据所属的簇类,统计每个簇类的数量,并对所述每个簇类的数量进行归一化处理,得到归一化数量的最大值;
分别获取所述局部时序数据序列中的每个监测数据与所述目标簇类的簇类中心的距离,组成距离序列,对所述距离序列进行最小二乘法拟合,得到对应的拟合斜率;
若所述拟合斜率大于0,则对所述拟合斜率进行归一化处理,得到对应的第一归一化值,获取常数1与所述归一化数量的最大值之间的差值,将所述差值和所述第一归一化值之间的乘积作为所述当前时刻对应的粒度调整因子。
优选的,所述根据所述新增监测数据和所述聚类结果,获取所述当前时刻对应的粒度调整因子,该包括:
若所述拟合斜率小于或等于0,则获取常数1与所述第一归一化值之间的第一差值,获取所述第一差值和所述归一化数量的最大值之间的乘积,将常数1与所述乘积的和作为所述当前时刻对应的粒度调整因子。
优选的,所述利用所述粒度调整因子对所述设备在上一时刻的数据采集粒度进行调整,得到所述设备在所述当前时刻的数据采集粒度,包括:
将所述粒度调整因子与所述设备在上一时刻的数据采集粒度之间的乘积作为所述设备在所述当前时刻的数据采集粒度。
优选的,所述根据所有设备在所述当前时刻对应的粒度调整因子,获取对所述聚类结果进行聚类更新时的迭代优化因子,包括:
将所有设备在所述当前时刻对应的粒度调整因子之间的乘积作为对所述聚类结果进行聚类更新时的迭代优化因子。
优选的,所述利用所述迭代优化因子,获取对所述聚类结果进行聚类更新时的迭代停止阈值,包括:
获取所述聚类结果对应的迭代停止阈值,将所述迭代优化因子和所述聚类结果对应的迭代停止阈值之间的乘积作为对所述聚类结果进行聚类更新时的迭代停止阈值。
优选的,所述根据所述迭代停止阈值和所有设备在所述当前时刻的新增监测数据,获取在所述当前时刻下对所述聚类结果进行聚类更新后的新聚类结果,包括:
利用所有设备在所述当前时刻的新增监测数据和所述聚类结果中的所有监测数据进行重新聚类,在所述重新聚类的迭代过程中,当相邻两次迭代过程之间的所有簇类中心的差异都小于所述迭代停止阈值时停止迭代过程,得到在所述当前时刻下对所述聚类结果进行聚类更新后的新聚类结果。
优选的,所述对所述监测数据集合进行聚类,得到对应的聚类结果,包括:
利用K-means聚类算法对所述监测数据集合进行聚类,得到对应的聚类结果。
本发明实施例与现有技术相比存在的有益效果是:
本发明的基于云边协同的矿内监测数据智能处理方法,应用于边缘节点,针对矿区内的任一类设备,通过边缘节点获取任一类型传感器下的每个设备的监测数据组成监测数据集合,对所述监测数据集合进行聚类,得到对应的聚类结果;针对任一设备,获取所述设备在当前时刻的新增监测数据,根据所述新增监测数据和所述聚类结果,获取所述当前时刻对应的粒度调整因子,利用所述粒度调整因子对所述设备在上一时刻的数据采集粒度进行调整,得到所述设备在所述当前时刻的数据采集粒度;根据所有设备在所述当前时刻对应的粒度调整因子,获取对所述聚类结果进行聚类更新时的迭代优化因子,利用所述迭代优化因子,获取对所述聚类结果进行聚类更新时的迭代停止阈值,根据所述迭代停止阈值和所有设备在所述当前时刻的新增监测数据,获取在所述当前时刻下对所述聚类结果进行聚类更新后的新聚类结果;将每个所述设备在所述当前时刻的数据采集粒度作为对应设备在所述上一时刻的数据采集粒度,将所述新聚类结果作为所述聚类结果,重复每个所述设备在所述当前时刻的数据采集粒度以及在所述当前时刻下对所述聚类结果进行聚类更新后的新聚类结果的获取步骤,以完成对矿区内的所述类设备的所述类型传感器下的监测数据处理。其中,通过对每个设备的新增监测数据进行数据变化模式的分析,从而对数据采集粒度进行动态调整,在设备的运行状态稳定时,通过更高的数据采集粒度进行监测数据的采集,从而降低数据冗余,并在每个设备的运行状态出现变化时,通过降低数据采集粒度进行更多监测数据的采集,以给云服务器中的设备运行状态的监控及时提供有效的监测数据;考虑到对数据采集粒度进行动态调整过程中,新增监测数据之前的监测数据的聚类划分是非常重要的,因此,利用新增监测数据对已经划分好的聚类结果进行聚类更新,为后续新增监测数据提供一个动态的聚类结果,从而提高了每个设备的数据采集量的优化效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种基于云边协同的矿内监测数据智能处理方法的方法流程图。
具体实施方式
下面详细描述本公开的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本公开,而不能理解为对本公开的限制。
需要说明的是,本公开的说明书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与本公开的一些方面相一致的装置和方法的例子。
为了说明本发明的技术方案,下面通过具体实施例来进行说明。
本发明所针对的具体场景为:在基于云边协同的矿区监控过程中,当边缘节点采集了任一类设备下的每个设备的同一种传感器下的新增监测数据之后,且在将采集到的新增监测数据发送给云服务器之前,通过新增监测数据对数据采集粒度和数据模式变化进行动态调整,以便于后续根据每个设备调整后的数据采集粒度进行新增监测数据的获取。
参见图1,是本发明实施例一提供的一种基于云边协同的矿内监测数据智能处理方法的方法流程图,该方法应用于边缘节点,如图1所示,该方法可以包括:
步骤S101,针对矿区内的任一类设备,通过边缘节点获取任一类型传感器下的每个设备的监测数据组成监测数据集合,对监测数据集合进行聚类,得到对应的聚类结果。
在基于云边协同的矿区监控过程中,矿内的所有监控终端会对矿区中的设备和环境进行数据监测,所述监控终端是指矿区内的每个设备运行过程中的传感器,以采集设备的不同运行数据,包括但不限于运行功率、运行温度等。
本发明实施例中,以矿区内的一类设备为例,获取该类设备下同一种传感器的监测数据,如采集每个设备运行过程种的功率数据,进而将每个设备的监测数据组成监测数据集合。对于一个类型的传感器监测数据,需要通过聚类过程对该类型的传感器监测数据进行数据模式的划分,能够表征设备的运行状态模式,从而在设备的运行状态模式发生变化时,也即是当设备出现新增监测数据时,根据新增监测数据所体现的运行状态模式进行设备的数据采集粒度的动态调整,因此,在得到该类设备下的所有设备的监测数据组成的监测数据集合之后,利用K-means聚类算法对所述监测数据集合进行聚类,得到对应的聚类结果。
其中,K-means聚类算法中的初始K值设置为20,也即是在对监测数据集合第一次进行聚类划分时,将其划分为20个簇类,K值可以根据实际场景中不同监控数据的数据模式复杂性进行调整,并且可以通过设定较高的K值,避免数据模式划分不充分的问题。K-means聚类算法属于现有技术,此处不再详细赘述。
步骤S102,针对任一设备,获取设备在当前时刻的新增监测数据,根据新增监测数据和聚类结果,获取当前时刻对应的粒度调整因子,利用粒度调整因子对设备在上一时刻的数据采集粒度进行调整,得到设备在当前时刻的数据采集粒度。
在获取到初始的用于监控数据模式识别的聚类模型(也即是聚类结果)之后,即可通过该聚类结果对后续的新采集的监测数据进行其数据模式判断,并通过新采集的监测数据的连续数据模式变化进行模式稳定性评估,并根据模式稳定性对设备之后的数据采集粒度进行动态调整,数据采集粒度也即是对设备进行数据采集的频率,例如:对于单个设备对应的传感器采集频率可以是5秒采集一次,也可以是30秒采集一次。
基于上述分析,针对任一设备m,获取该设备m在当前时刻t的新增监测数据,其中,新增监测数据与监测数据集合中该设备对应的监测数据能够组成时序数据。对新增监测数据进行数据模式的识别,也即是确定新增监测数据在聚类结果中的所属簇类,以在确定了新增监测数据所属的簇类之后,确定下一时刻之后该设备m的数据采集粒度,而在根据新增监测数据获取下一时刻之后该设备m的数据采集粒度的过程中,需要利用当前时刻的粒度调整因子对上一个时刻的数据采集粒度进行调整,从而得到下一时刻之后该设备m的数据采集粒度,因此,本发明实施例中,首先根据新增监测数据和聚类结果,获取当前时刻对应的粒度调整因子,具体获取方法为:
(1)分别获取所述新增监测数据与每个所述簇类的簇类中心之间的距离,将最小距离对应的簇类作为所述新增监测数据所属的目标簇类。
具体的,由于聚类结果中包括多个簇类,每个簇类对应一个簇类中心,因此,分别计算新增监测数据与每个簇类的簇类中心之间的距离,取距离最小所对应的簇类作为新增监测数据所属的目标簇类。
(2)获取所述新增监测数据之前的预设数量个监测数据与所述新增监测数据组成的局部时序数据序列,根据所述局部时序数据序列中的每个监测数据所属的簇类,统计每个簇类的数量,并对所述每个簇类的数量进行归一化处理,得到归一化数量的最大值。
具体的,获取新增监测数据之前的20个监测数据,也即是当前时刻t之前采集的监测数据,并将这20个监测数据与新增监测数据组成一个局部时序数据序列。这20个监测数据在聚类结果中都已经确定每个监测数据所属的簇类,且确定了新增监测数据所属的簇类,进而根据局部时序数据序列中每个监测数据所属的簇类,统计每个簇类的数量,也即是每种数据模式下的监测数据数量,利用归一化函数对每个簇类的数量进行归一化处理,对应得到每个簇类的归一化数量,取归一化数量的最大值,用于表征新增监测数据的局部时序数据序列中包含的数据模式变化情况。
(3)分别获取所述局部时序数据序列中的每个监测数据与所述目标簇类的簇类中心的距离,组成距离序列,对所述距离序列进行最小二乘法拟合,得到对应的拟合斜率。
具体的,通过计算局部时序数据序列中的每个监测数据与所述目标簇类的簇类中心的距离,并对所有距离进行最小二乘法拟合,得到对应的拟合斜率k,来表征数据点的移动趋势特征,当k大于时,则说明局部时序数据序列中数据点整体呈现为向其他数据模式方向移动。
(4)若所述拟合斜率大于0,则对所述拟合斜率进行归一化处理,得到对应的第一归一化值,获取常数1与所述归一化数量的最大值之间的差值,将所述差值和所述第一归一化值之间的乘积作为所述当前时刻对应的粒度调整因子。
在一实施方式中,当前时刻对应的粒度调整因子的计算表达式为:
其中,表示设备m在当前时刻t对应的粒度调整因子,1表示常数,/>表示设备m在当前时刻t的新增监测数据的局部时序数据序列中的归一化数量的最大值,/>表示设备m在当前时刻t的新增监测数据的局部时序数据序列,/>表示对局部时序数据序列中的每个监测数据与目标簇类的簇类中心的距离进行最小二乘法拟合,得到的拟合斜率,Norm()表示归一化函数。
(5)若所述拟合斜率小于或等于0,则获取常数1与所述第一归一化值之间的第一差值,获取所述第一差值和所述归一化数量的最大值之间的乘积,将常数1与所述乘积的和作为所述当前时刻对应的粒度调整因子。
在一实施方式中,当前时刻对应的粒度调整因子的计算表达式为:
其中,表示设备m在当前时刻t对应的粒度调整因子,1表示常数,/>表示设备m在当前时刻t的新增监测数据的局部时序数据序列中的归一化数量的最大值,/>表示设备m在当前时刻t的新增监测数据的局部时序数据序列,/>表示对局部时序数据序列中的每个监测数据与目标簇类的簇类中心的距离进行最小二乘法拟合,得到的拟合斜率,Norm()表示归一化函数。
需要说明的是,针对步骤(4)和步骤(5),对设备m在当前时刻t的新增监测数据对应的局部连续的数据模式变化情况进行评估,当新增监测数据的局部窗口中的数据点对应的数据模式均为相同簇类,则可以提高设备m后续时刻的数据采集粒度,但是在这个过程中,当新增监测数据的局部窗口中数据点在聚类结果中具有簇类变化趋势时,那么为了在云服务器中对新增监测数据的数据模式变化是否存在异常进行准确评估,则需要降低数据采集粒度,从而获取到更精确的数据进行分析,则本发明实施例通过设备m在当前时刻t的新增监测数据的局部时序数据序列中呈现出的数据模式变化的数量进行评估,在/>中,出现的数据模式变化越多,则粒度调整因子需要越小,对于最高的数据模式数量/>在整体数量中差异越小,则说明数据模式变化越多。而在此基础上,不仅是局部时序数据序列/>中的数据模式数量越多,则设备运行越不稳定;当局部时序数据序列/>中数据点在数据空间中的移动方向越向着目标簇类的簇类中心的反方向移动,则说明当前时刻t的新增监测数据对应的数据模式越可能出现模式变化,在这种情况下,还是需要对上一时刻的数据采集粒度进行调整,因此,进一步通过对局部时序数据序列中的每个监测数据与目标簇类的簇类中心的距离进行最小二乘拟合,从而获取到拟合斜率作为局部时序数据序列的整体移动趋势特征,当/>大于0时,则说明局部时序数据序列中数据整体呈现为向其他数据模式方向移动,故也需要通过移动速度也就是拟合斜率进行相应的数据采集粒度调整。
进一步的,在得到设备m在当前时刻t对应的粒度调整因子之后,即可利用粒度调整因子对设备m在上一时刻的数据采集粒度进行调整,得到设备m在当前时刻t的数据采集粒度,用于设备在当前时刻之后的下一时刻的数据采集频率,则设备m在当前时刻t的数据采集粒度的获取方法:
将所述粒度调整因子与所述设备在上一时刻的数据采集粒度之间的乘积作为所述设备在所述当前时刻的数据采集粒度。
需要说明的是,本发明实施例中在对设备m进行初始监测数据采集时的初始数据采集粒度设置为5秒,随着每次新增监测数据的更新初始数据采集粒度会出现动态变化,因此,在获取设备m在当前时刻t的数据采集粒度时,首先获取当前时刻t之前的上一个时刻的监测数据采集时所对应的数据采集粒度,进而将设备m在当前时刻t对应的粒度调整因子与设备m在当前时刻t之前的上一个时刻的监测数据采集时所对应的数据采集粒度之间的乘积作为设备m在当前时刻t的数据采集粒度。
同理,根据每个设备在当前时刻t的新增监测数据和聚类结果,分别获取每个设备在当前时刻t的数据采集粒度。
步骤S103,根据所有设备在当前时刻对应的粒度调整因子,获取对聚类结果进行聚类更新时的迭代优化因子,利用迭代优化因子,获取对聚类结果进行聚类更新时的迭代停止阈值,根据迭代停止阈值和所有设备在当前时刻的新增监测数据,获取在当前时刻下对聚类结果进行聚类更新后的新聚类结果。
在根据每个设备在当前时刻t的新增监测数据获取到对应的数据采集粒度之后,即可将设备的数据采集粒度调整为获取到的数据采集粒度,用于后续新增监测数据的获取。为了保证后续数据采集粒度的动态调整与数据模式的变化趋势能够适配,则还需要根据所有设备在当前时刻t的新增监测数据,对聚类结果进行聚类更新,以实现数据模式的实时更新,使得后续新增监测数据的数据模式评估更加准确。
在利用所有设备在当前时刻t的新增监测数据,对聚类结果进行聚类更新时,需要对聚类结果中的每个簇类中心继续进行迭代,直到迭代停止,从而能够得到更新后的聚类结果,随着用于数据模式识别的聚类结果的更新,后续的新增监测数据的数据模式评估会更加准确,但是在聚类更新过程中,如果通过数据空间中数据点的簇类划分不再发生变化进行迭代停止条件,则会导致迭代时间不稳定且不可控的情况,这在连续的数据监控过程中就会导致后续数据采集粒度的调整失效,因此在对聚类结果进行聚类更新过程中,需要通过所有新增监测数据在当前时刻t对应的粒度调整因子进行迭代优化因子的获取,并通过迭代优化因子对聚类更新的迭代过程中的簇类中心变化的迭代停止阈值进行调整。
其中,迭代优化因子的获取方法为:根据所有设备在当前时刻t对应的粒度调整因子,获取对聚类结果进行聚类更新时的迭代优化因子,优选的,将所有设备在所述当前时刻对应的粒度调整因子之间的乘积作为对所述聚类结果进行聚类更新时的迭代优化因子。
在一实施方式中,迭代优化因子的计算表达式为:
其中,表示对聚类结果进行聚类更新时的迭代优化因子,/>表示设备m在当前时刻t对应的粒度调整因子,M表示设备的总数量。
需要说明的是,每个设备在当前时刻t的新增监测数据对应的粒度调整因子,能够表征新增监测数据对聚类结果进行聚类更新过程中的簇类中心变化的迭代停止阈值的影响,粒度调整因子高,则说明数据采集粒度变大;粒度调整因子越小,数据采集粒度越小;数据采集粒度越小,对聚类结果进行聚类更新过程中的簇类中心变化的迭代停止阈值越高,聚类结果的精度越低,数据采集粒度越高,对聚类结果进行聚类更新过程中的簇类中心变化的迭代停止阈值越低,聚类结果的精度越高。
进一步的,在获取到迭代优化因子之后,即可通过该迭代优化因子对聚类结果进行聚类更新过程中的簇类中心变化的迭代停止阈值进行调整,以得到利用当前时刻t下的所有设备的新增监测数据对聚类结果进行聚类更新时的迭代停止阈值,则迭代停止阈值的调整方法为:获取所述聚类结果对应的迭代停止阈值,将所述迭代优化因子和所述聚类结果对应的迭代停止阈值之间的乘积作为对所述聚类结果进行聚类更新时的迭代停止阈值。
在一实施方式中,对聚类结果进行聚类更新时的迭代停止阈值的计算表达式为:
其中,表示利用当前时刻t下的所有设备的新增监测数据对聚类结果进行聚类更新时的迭代停止阈值,/>表示对聚类结果进行聚类更新时的迭代优化因子,/>表示聚类结果获取时对应的迭代停止阈值。
进一步的,在确定了利用当前时刻t下的所有设备的新增监测数据对聚类结果进行聚类更新时的迭代停止阈值之后,即可根据迭代停止阈值和所有设备在当前时刻的新增监测数据,获取在所述当前时刻下对所述聚类结果进行聚类更新后的新聚类结果,具体获取方法为:
利用所有设备在所述当前时刻的新增监测数据和所述聚类结果中的所有监测数据进行重新聚类,在所述重新聚类的迭代过程中,当相邻两次迭代过程之间的所有簇类中心的差异都小于所述迭代停止阈值时停止迭代过程,得到在所述当前时刻下对所述聚类结果进行聚类更新后的新聚类结果。
需要说明的是,聚类迭代过程属于现有技术,此处不再详细赘述。
至此,能够得到当前时刻t下的新聚类结果,也即是包含新增监测数据的聚类划分结果,进而能够用于后续下一时刻的数据采集粒度的获取。
步骤S104,将每个设备在当前时刻的数据采集粒度作为对应设备在上一时刻的数据采集粒度,将新聚类结果作为聚类结果,重复每个设备在当前时刻的数据采集粒度以及在当前时刻下对聚类结果进行聚类更新后的新聚类结果的获取步骤,以完成对矿区内的类设备的类型传感器下的监测数据处理。
由于矿区内的设备的监测数据的数据采集粒度属于动态调整过程,因此,在获取到每个设备在当前时刻t的数据采集粒度以及利用当前时刻t下的所有设备的新增监测数据对聚类结果进行聚类更新后得到对应的新聚类结果之后,即可根据每个设备在当前时刻t的数据采集粒度获取时刻t+1下的每个设备的新增监测数据,并参考当前时刻t的数据处理方法,继续进行数据采集力度的动态调整和聚类结果的动态更新,具体为:将每个设备在当前时刻t的数据采集粒度作为对应设备在上一时刻的数据采集粒度,将新聚类结果作为聚类结果,重复每个设备在当前时刻的数据采集粒度以及在当前时刻下对聚类结果进行聚类更新后的新聚类结果的获取步骤,以实现连续的动态更新过程,从而也完成了对边缘节点处的监测数据的处理,提高了后续发送给云服务器的监测数据的数据量的优化结果,同时也能够保证云服务器根据接收到的监测数据进行设备运行状态评估的准确性。
综上所述,本发明实施例中,针对矿区内的任一类设备,通过边缘节点获取任一类型传感器下的每个设备的监测数据组成监测数据集合,对所述监测数据集合进行聚类,得到对应的聚类结果;针对任一设备,获取所述设备在当前时刻的新增监测数据,根据所述新增监测数据和所述聚类结果,获取所述当前时刻对应的粒度调整因子,利用所述粒度调整因子对所述设备在上一时刻的数据采集粒度进行调整,得到所述设备在所述当前时刻的数据采集粒度;根据所有设备在所述当前时刻对应的粒度调整因子,获取对所述聚类结果进行聚类更新时的迭代优化因子,利用所述迭代优化因子,获取对所述聚类结果进行聚类更新时的迭代停止阈值,根据所述迭代停止阈值和所有设备在所述当前时刻的新增监测数据,获取在所述当前时刻下对所述聚类结果进行聚类更新后的新聚类结果;将每个所述设备在所述当前时刻的数据采集粒度作为对应设备在所述上一时刻的数据采集粒度,将所述新聚类结果作为所述聚类结果,重复每个所述设备在所述当前时刻的数据采集粒度以及在所述当前时刻下对所述聚类结果进行聚类更新后的新聚类结果的获取步骤,以完成对矿区内的所述类设备的所述类型传感器下的监测数据处理。其中,通过对每个设备的新增监测数据进行数据变化模式的分析,从而对数据采集粒度进行动态调整,在设备的运行状态稳定时,通过更高的数据采集粒度进行监测数据的采集,从而降低数据冗余,并在每个设备的运行状态出现变化时,通过降低数据采集粒度进行更多监测数据的采集,以给云服务器中的设备运行状态的监控及时提供有效的监测数据;考虑到对数据采集粒度进行动态调整过程中,新增监测数据之前的监测数据的聚类划分是非常重要的,因此,利用新增监测数据对已经划分好的聚类结果进行聚类更新,为后续新增监测数据提供一个动态的聚类结果,从而提高了每个设备的数据采集量的优化效果。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (6)
1.基于云边协同的矿内监测数据智能处理方法,其特征在于,应用于边缘节点,所述基于云边协同的矿内监测数据智能处理方法包括:
针对矿区内的任一类设备,通过边缘节点获取任一类型传感器下的每个设备的监测数据组成监测数据集合,对所述监测数据集合进行聚类,得到对应的聚类结果;
针对任一设备,获取所述设备在当前时刻的新增监测数据,根据所述新增监测数据和所述聚类结果,获取所述当前时刻对应的粒度调整因子,利用所述粒度调整因子对所述设备在上一时刻的数据采集粒度进行调整,得到所述设备在所述当前时刻的数据采集粒度;
根据所有设备在所述当前时刻对应的粒度调整因子,获取对所述聚类结果进行聚类更新时的迭代优化因子,利用所述迭代优化因子,获取对所述聚类结果进行聚类更新时的迭代停止阈值,根据所述迭代停止阈值和所有设备在所述当前时刻的新增监测数据,获取在所述当前时刻下对所述聚类结果进行聚类更新后的新聚类结果;
将每个所述设备在所述当前时刻的数据采集粒度作为对应设备在所述上一时刻的数据采集粒度,将所述新聚类结果作为所述聚类结果,重复每个所述设备在所述当前时刻的数据采集粒度以及在所述当前时刻下对所述聚类结果进行聚类更新后的新聚类结果的获取步骤,以完成对矿区内的所述类设备的所述类型传感器下的监测数据处理;
所述根据所述新增监测数据和所述聚类结果,获取所述当前时刻对应的粒度调整因子,包括:
所述聚类结果包括至少两个簇类,分别获取所述新增监测数据与每个所述簇类的簇类中心之间的距离,将最小距离对应的簇类作为所述新增监测数据所属的目标簇类;
获取所述新增监测数据之前的预设数量个监测数据与所述新增监测数据组成的局部时序数据序列,根据所述局部时序数据序列中的每个监测数据所属的簇类,统计每个簇类的数量,并对所述每个簇类的数量进行归一化处理,得到归一化数量的最大值;
分别获取所述局部时序数据序列中的每个监测数据与所述目标簇类的簇类中心的距离,组成距离序列,对所述距离序列进行最小二乘法拟合,得到对应的拟合斜率;
若所述拟合斜率大于0,则对所述拟合斜率进行归一化处理,得到对应的第一归一化值,获取常数1与所述归一化数量的最大值之间的差值,将所述差值和所述第一归一化值之间的乘积作为所述当前时刻对应的粒度调整因子;
若所述拟合斜率小于或等于0,则获取常数1与所述第一归一化值之间的第一差值,获取所述第一差值和所述归一化数量的最大值之间的乘积,将常数1与所述乘积的和作为所述当前时刻对应的粒度调整因子。
2.根据权利要求1所述的基于云边协同的矿内监测数据智能处理方法,其特征在于,所述利用所述粒度调整因子对所述设备在上一时刻的数据采集粒度进行调整,得到所述设备在所述当前时刻的数据采集粒度,包括:
将所述粒度调整因子与所述设备在上一时刻的数据采集粒度之间的乘积作为所述设备在所述当前时刻的数据采集粒度。
3.根据权利要求1所述的基于云边协同的矿内监测数据智能处理方法,其特征在于,所述根据所有设备在所述当前时刻对应的粒度调整因子,获取对所述聚类结果进行聚类更新时的迭代优化因子,包括:
将所有设备在所述当前时刻对应的粒度调整因子之间的乘积作为对所述聚类结果进行聚类更新时的迭代优化因子。
4.根据权利要求1所述的基于云边协同的矿内监测数据智能处理方法,其特征在于,所述利用所述迭代优化因子,获取对所述聚类结果进行聚类更新时的迭代停止阈值,包括:
获取所述聚类结果对应的迭代停止阈值,将所述迭代优化因子和所述聚类结果对应的迭代停止阈值之间的乘积作为对所述聚类结果进行聚类更新时的迭代停止阈值。
5.根据权利要求1所述的基于云边协同的矿内监测数据智能处理方法,其特征在于,所述根据所述迭代停止阈值和所有设备在所述当前时刻的新增监测数据,获取在所述当前时刻下对所述聚类结果进行聚类更新后的新聚类结果,包括:
利用所有设备在所述当前时刻的新增监测数据和所述聚类结果中的所有监测数据进行重新聚类,在所述重新聚类的迭代过程中,当相邻两次迭代过程之间的所有簇类中心的差异都小于所述迭代停止阈值时停止迭代过程,得到在所述当前时刻下对所述聚类结果进行聚类更新后的新聚类结果。
6.根据权利要求1所述的基于云边协同的矿内监测数据智能处理方法,其特征在于,所述对所述监测数据集合进行聚类,得到对应的聚类结果,包括:
利用K-means聚类算法对所述监测数据集合进行聚类,得到对应的聚类结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410451492.XA CN118051800B (zh) | 2024-04-16 | 2024-04-16 | 基于云边协同的矿内监测数据智能处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410451492.XA CN118051800B (zh) | 2024-04-16 | 2024-04-16 | 基于云边协同的矿内监测数据智能处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118051800A CN118051800A (zh) | 2024-05-17 |
CN118051800B true CN118051800B (zh) | 2024-06-21 |
Family
ID=91050346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410451492.XA Active CN118051800B (zh) | 2024-04-16 | 2024-04-16 | 基于云边协同的矿内监测数据智能处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118051800B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118245957B (zh) * | 2024-05-28 | 2024-07-26 | 山东德源电力科技股份有限公司 | 一种基于云边协同的电能表系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110413703A (zh) * | 2019-06-21 | 2019-11-05 | 平安科技(深圳)有限公司 | 基于人工智能的监控指标数据的分类方法及相关设备 |
CN112699113A (zh) * | 2021-01-12 | 2021-04-23 | 上海交通大学 | 时序数据流驱动的工业制造流程运行监测系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109961086B (zh) * | 2019-01-28 | 2024-05-31 | 平安科技(深圳)有限公司 | 基于聚类和sse的异常点比例优化方法及装置 |
CN113255795B (zh) * | 2021-06-02 | 2021-10-26 | 杭州安脉盛智能技术有限公司 | 一种基于多指标集群分析的设备状态监测方法 |
CN117875746A (zh) * | 2022-09-30 | 2024-04-12 | 中兴通讯股份有限公司 | 指标阈值的确定方法、装置、存储介质及电子装置 |
CN116361679B (zh) * | 2023-06-02 | 2023-08-11 | 青岛豪迈电缆集团有限公司 | 基于数据驱动的电缆寿命智能预测方法及系统 |
CN116484307B (zh) * | 2023-06-21 | 2023-09-19 | 深圳市魔样科技有限公司 | 基于云计算智能戒指远程控制方法 |
CN117220441A (zh) * | 2023-09-20 | 2023-12-12 | 北京中电普华信息技术有限公司 | 基于全景监控下的信息监测智能预警方法 |
CN117435972A (zh) * | 2023-09-25 | 2024-01-23 | 国网宁夏电力有限公司银川供电公司 | 基于物联感知的电能计量箱异常监测方法 |
CN117251749B (zh) * | 2023-11-17 | 2024-02-27 | 陕西通信规划设计研究院有限公司 | 一种基于增量分析的物联网数据处理方法 |
-
2024
- 2024-04-16 CN CN202410451492.XA patent/CN118051800B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110413703A (zh) * | 2019-06-21 | 2019-11-05 | 平安科技(深圳)有限公司 | 基于人工智能的监控指标数据的分类方法及相关设备 |
CN112699113A (zh) * | 2021-01-12 | 2021-04-23 | 上海交通大学 | 时序数据流驱动的工业制造流程运行监测系统 |
Also Published As
Publication number | Publication date |
---|---|
CN118051800A (zh) | 2024-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN118051800B (zh) | 基于云边协同的矿内监测数据智能处理方法 | |
CN109508835B (zh) | 一种融合环境反馈的智慧电网短期电力负荷预测方法 | |
CN106714109B (zh) | 基于众包数据的WiFi指纹库更新方法 | |
CN116484307B (zh) | 基于云计算智能戒指远程控制方法 | |
CN115982602B (zh) | 一种光伏变压器电故障检测方法 | |
CN111738308A (zh) | 基于聚类及半监督学习的监控指标动态阈值检测方法 | |
CN117220441A (zh) | 基于全景监控下的信息监测智能预警方法 | |
CN111738348B (zh) | 一种电力数据异常检测方法和装置 | |
CN117493921B (zh) | 基于大数据的人工智能节能管理方法及系统 | |
CN109857618B (zh) | 一种监控方法、装置及系统 | |
CN116862132A (zh) | 基于大数据的资源调度方法 | |
CN118134539B (zh) | 基于智慧厨房多源数据融合的用户行为预测方法 | |
CN116956189A (zh) | 一种电流异常检测系统、方法、电子设备及介质 | |
CN115202802A (zh) | 告警阈值确定方法、装置、设备及存储介质、告警系统 | |
CN118378199A (zh) | 一种大数据分析平台中的实时异常检测方法 | |
CN118152836A (zh) | 一种用于电能表运行过程的稳定性评估方法 | |
CN113810792A (zh) | 一种基于云计算的边缘数据采集分析系统 | |
CN116662466B (zh) | 通过大数据进行土地全生命周期维护系统 | |
CN117077051A (zh) | 一种大坝监测异常数据自适应识别方法 | |
CN111625525B (zh) | 一种环境数据修复/填充方法及系统 | |
CN115834424A (zh) | 配电网线损异常数据的辨识与修正方法 | |
CN116661522B (zh) | 一种基于数据处理的温变试验箱温度智能调控方法 | |
CN116757337B (zh) | 一种基于人工智能的房建施工进度预测系统 | |
CN118013447B (zh) | 基于模式识别的电能表监测数据的处理方法 | |
CN118152820B (zh) | 一种分离式导轨表的智能拓扑识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |