CN116545954A - 基于物联网的通信网关数据传输方法及系统 - Google Patents
基于物联网的通信网关数据传输方法及系统 Download PDFInfo
- Publication number
- CN116545954A CN116545954A CN202310819341.0A CN202310819341A CN116545954A CN 116545954 A CN116545954 A CN 116545954A CN 202310819341 A CN202310819341 A CN 202310819341A CN 116545954 A CN116545954 A CN 116545954A
- Authority
- CN
- China
- Prior art keywords
- data
- operation data
- newly
- cluster
- added operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000004891 communication Methods 0.000 title claims abstract description 45
- 238000012216 screening Methods 0.000 claims abstract description 31
- 230000005856 abnormality Effects 0.000 claims abstract description 25
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000003064 k means clustering Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 23
- 238000004138 cluster model Methods 0.000 description 18
- 238000005457 optimization Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
- H04L47/6275—Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明涉及数据传输技术领域,具体涉及基于物联网的通信网关数据传输方法及系统。方法包括:获取物联网系统中的通信网关中的设备的历史运行数据和新增运行数据,对所有历史运行数据对应的数据点进行聚类获得初始聚类簇;根据各新增运行数据对应的数据点的邻域内各数据点与各初始聚类簇的中心点之间的距离,筛选目标运行数据;对目标运行数据对应的数据点和历史运行数据对应的数据点进行聚类获得目标聚类簇;根据新增运行数据对应的数据点与目标聚类簇之间的相对位置,得到新增运行数据的异常程度,基于异常程度确定对应的优先级,进而对新增运行数据进行传输。本发明保证了物联网系统中设备运行数据异常检测以及传输的实时性。
Description
技术领域
本发明涉及数据传输技术领域,具体涉及基于物联网的通信网关数据传输方法及系统。
背景技术
在互联网与人工智能快速发展下,物联网技术也同样在智慧工厂、智慧交通、智慧城市等领域被广泛应用。物联网技术的本质是将不同设备之间的数据进行交互,而随着需要连接的设备数量的增加,物联网中的数据传输也越来越具有挑战。
物联网中的通信网关是指在物理层上连接不同通信网络与数据的设备,用于实现数据在不同网络之间的传输和转换。在一个大规模的物联网系统中通信网关需要处理的数据是海量的,并且物联网中具有大规模连接,为了解决大规模连接与海量数据的问题,现有方法是引入缓存与数据分发机制来提高数据传输的效率,通信网关可以缓存一部分数据并定期批量传输,或者将数据分发到多个处理节点上进行并行处理。现有的物联网通信网关在制定缓存与数据分发策略的过程中,需要对海量数据进行过滤、聚合,通过数据的重要性来制定缓存分发策略。物联网关在接收到物联网系统中各种物联网数据之后,通过通信网关中的数据处理与分析模块进行筛选与传输策略制定,数据传输的优先级通过物联网系统中数据的重要程度进行判断,在物联网系统中,实时传输的时序数据通过实时异常检测来判断是否出现了异常,将出现异常的数据优先传输,从而使得用于自动控制物联网系统的云计算服务器可以及时地做出响应。在这个过程中由于大规模的物联网系统中物联网关需要处理的数据量过大,现有的数据异常检测过程中会出现因为物联网设备的实时检测效率低而导致的无法及时将物联网中的重要数据进行实时传输,无法满足物联网中的数据实时性需求。
发明内容
为了解决现有方法无法保证物联网中的异常数据实时传输的问题,本发明的目的在于提供一种基于物联网的通信网关数据传输方法及系统,所采用的技术方案具体如下:
第一方面,本发明提供了一种基于物联网的通信网关数据传输方法,该方法包括以下步骤:
获取物联网系统中的通信网关中的设备在历史时间段内的历史运行数据和在当前时间段内的新增运行数据,对所有历史运行数据对应的数据点进行初次聚类获得不少于两个初始聚类簇;
根据各新增运行数据对应的数据点的邻域内各数据点与各初始聚类簇的中心点之间的距离,得到各新增运行数据的筛选因子;基于所述筛选因子从新增运行数据中筛选目标运行数据;
对所述目标运行数据对应的数据点和所述历史运行数据对应的数据点进行二次聚类获得不少于两个目标聚类簇;根据各新增运行数据对应的数据点与所述目标聚类簇之间的相对位置,得到各新增运行数据的异常程度;
基于所述异常程度确定各新增运行数据对应的优先级,基于所述优先级对所有新增运行数据进行传输。
第二方面,本发明提供了一种基于物联网的通信网关数据传输系统,包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现上述所述的基于物联网的通信网关数据传输方法。
优选的,所述根据各新增运行数据对应的数据点的邻域内各数据点与各初始聚类簇的中心点之间的距离,得到各新增运行数据的筛选因子,包括:
对于第i个新增运行数据:
将第i个新增运行数据对应的数据点的L近邻中的数据点记为第一数据点,判断各第一数据点的L近邻中是否存在第i个新增运行数据对应的数据点,若存在,则将对应第一数据点记为邻域数据点;所有所述邻域数据点构成第i个新增运行数据对应的邻域数据点集合,其中L为预设数值;
对于第c个初始聚类簇:将所述邻域数据点集合中各数据点与第c个初始聚类簇的中心点之间的DTW距离,记为邻域数据点集合中各数据点对应的第一DTW距离;将第i个新增运行数据对应的数据点与第c个初始聚类簇的中心点之间的DTW距离,记为第二DTW距离;分别将所述邻域数据点集合中各数据点对应的第一DTW距离与所述第二DTW距离的差值,确定为邻域数据点集合中各数据点的第一特征值;根据所述邻域数据点集合中各数据点的第一特征值,计算第i个新增运行数据对于第c个初始聚类簇的重要程度;
将第i个新增运行数据对于所有初始聚类簇的重要程度的最大值,确定为第i个新增运行数据的筛选因子。
优选的,采用如下公式计算第i个新增运行数据对于第c个初始聚类簇的重要程度:
其中,为第i个新增运行数据对于第c个初始聚类簇的重要程度,/>为第i个新增运行数据对应的邻域数据点集合中数据点的数量,/>为第i个新增运行数据对应的邻域数据点集合中的第j个数据点,/>为第c个初始聚类簇的中心点,/>为第i个新增运行数据对应的数据点,/>为第i个新增运行数据对应的邻域数据点集合中第j个数据点与第c个初始聚类簇的中心点之间的DTW距离,/>为第i个新增运行数据对应的数据点与第c个初始聚类簇的中心点之间的DTW距离,ReLU( )为非线性激活函数,softmax( )为归一化函数。
优选的,所述基于所述筛选因子从新增运行数据中筛选目标运行数据,包括:将所述筛选因子大于或等于预设筛选因子阈值的新增运行数据,确定为目标运行数据。
优选的,所述根据各新增运行数据对应的数据点与所述目标聚类簇之间的相对位置,得到各新增运行数据的异常程度,包括:
基于目标聚类簇中数据点的数量差异,确定各目标聚类簇对应的类别,所述类别包括特征聚类簇、非特征聚类簇;
对于特征聚类簇中的任一新增运行数据:将该新增运行数据对应的数据点与其所在的特征聚类簇的中心点之间的距离的归一化值,确定为该新增运行数据的异常程度;
对于非特征聚类簇中的任一新增运行数据:获取该新增运行数据对应的数据点与所有特征聚类簇的中心点之间的距离的最小值,将所述距离的最小值的归一化结果作为该新增运行数据的异常程度。
优选的,基于目标聚类簇中数据点的数量差异,确定各目标聚类簇对应的类别,包括:
统计各目标聚类簇中数据的数量,基于各目标聚类簇中数据点的数量,按照从大到小的顺序对所有目标聚类簇进行排序获得聚类簇序列;
判断所述聚类簇序列中第一个目标聚类簇中数据点的数量是否满足预设条件,若满足,则将所述聚类簇序列中第一个目标聚类簇作为特征聚类簇;若不满足,则判断所述聚类簇序列中第一个目标聚类簇中数据点的数量与第二个目标聚类簇中数据点的数量的和值是否满足预设条件,以此类推,直到数据点的数量的和值满足预设条件,将对应的目标聚类簇作为特征聚类簇;
将聚类簇序列中除特征聚类簇外的其他聚类簇作为非特征聚类簇。
优选的,所述对所有历史运行数据对应的数据点进行初次聚类获得不少于两个初始聚类簇,包括:
基于历史运行数据之间的DTW距离,采用K-means聚类算法对所有历史运行数据对应的数据点进行初次聚类,获得各初始聚类簇。
本发明至少具有如下有益效果:
1、本发明通过对物联网系统中的通信网关中设备的运行数据进行异常检测,确定在数据传输过程中的优先级,相较于根据均衡的缓存与转发策略可以将物联网系统中设备重要的运行数据进行优先传输,保证了物联网系统中设备运行数据异常检测以及传输的实时性,从而使得云计算服务器可以及时对物联网系统中设备的运行进行调整,提高物联网系统的运行稳定性。
2、本发明考虑到在对聚类模型进行更新的过程中,若将全部的新增运行数据都放入数据空间进行新一轮的聚类,则会导致计算量过大,占用云计算服务器计算资源的情况,因此本发明对云计算服务器中获取到的新增运行数据进行了筛选,将筛选出的新增运行数据参与到聚类过程中,从而实现对用于数据异常检测的聚类模型的优化,相较于直接通过全部的新增运行数据进行聚类模型的优化,可以使得在对实时缓存的新增运行数据进行优先级判断时更加高效。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明实施例所提供的一种基于物联网的通信网关数据传输方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于物联网的通信网关数据传输方法及系统进行详细说明如下。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于物联网的通信网关数据传输方法及系统的具体方案。
基于物联网的通信网关数据传输方法实施例:
本实施例所针对的具体场景为:在大型物联网系统中,物联网设备产生的海量数据需要通过通信网关进行传输,在数据传输之前需要对其制定合适的传输策略,在制定传输策略时,首先对获取到的数据的异常程度进行判断,基于数据的异常程度确定对应的传输优先级,进而根据数据对应的优先级对数据进行传输,使得异常数据优先传输,从而保证用于自动控制物联网系统的云计算服务器可以及时地做出响应。
本实施例提出了基于物联网的通信网关数据传输方法,如图1所示,本实施例的基于物联网的通信网关数据传输方法包括以下步骤:
步骤S1,获取物联网系统中的通信网关中的设备在历史时间段内的历史运行数据和在当前时间段内的新增运行数据,对所有历史运行数据对应的数据点进行初次聚类获得不少于两个初始聚类簇。
本实施例中物联网的通信网关数据的传输方式为缓存转发的方式,即首先对缓存物联网系统中的数据进行分析,基于分析结果制定传输策略,之后再基于传输策略对数据进行传输,将数据转发送至云计算服务器中。
物联网系统中缓存模块的作用是对物联网系统中物联网设备的运行数据进行缓存,缓存过程中以物联网设备为索引,每个物联网设备都对应该设备的运行数据,如物联网设备的功能性参数或是重要设备的电流数据等,其中,物联网设备的功能性参数如工厂中设备的物联网温度传感器的温度数据等。策略判断模块的作用是对缓存模块中每个设备的运行数据进行传输策略的制定,在该模块中对于每个设备的运行数据进行传输优先级的判断,并根据优先级控制传输模块进行数据的转发。传输模块的作用是根据传输策略对数据包进行转发。整个工作过程的对需要传输的数据的传输策略的制定,策略判断模块需要首先通过默认的传输顺序进行数据传输策略制定,默认策略即为根据设备编号进行先后传输。
本实施例首先获取物联网系统中设备在历史时间段内的运行数据,将此时获取到的运行数据记为历史运行数据;并获取物联网系统中设备在当前时间段内的运行数据,由于本实施例将首先基于历史时间段内的运行数据构建初始聚类模型,将当前时间段内的运行数据作为新增数据对初始聚类模型进行更新,因此本实施例将当前时间段内的运行数据记为新增运行数据,运行数据如功率、电压等。需要说明的是:本实施例接下来将基于历史时间段内的运行数据构建初始聚类模型,每个设备的每种数据均构建对应的初始聚类模型,例如:对于任一设备:基于该设备在历史时间段内的功率数据构建一个初始聚类模型,基于该设备在历史时间段内的电压数据构建一个初始聚类模型,该设备的每种数据均对应一个初始聚类模型。本实施例将以一个设备的一种运行数据为例进行说明,对于该设备的其他种类的运行数据和其他设备的每种运行数据均可采用本实施例提供的方法进行处理。历史时间段的时长和当前时间段的时长,实施者可根据具体情况进行设置。
在获取到设备的历史运行数据之后,通过聚类分析的方式将所获取的历史运行数据划分为不同的聚类簇,由于本实施例将通过判断实时获取到的数据是否与已有数据发生偏移,以及偏移的大小进行传输策略优先级的确定,因此本实施例将采用K-means聚类算法对历史运行数据进行聚类。具体的,首先计算每两个历史运行数据之间的DTW距离,并将采集到的历史运行数据映射到数据空间中,获得每个历史运行数据对应的数据点,基于历史运行数据之间的DTW距离,采用K-means聚类算法对所有历史运行数据对应的数据点进行初次聚类,获得多个聚类簇,将此时聚类完成后获得的聚类模型记为初始聚类模型,将此时获得的聚类簇记为初始聚类簇。本实施例设置K-means聚类时K的值为20,因此获得了20个初始聚类簇,在具体应用中,实施者可根据具体情况进行设置,K-means聚类算法为现有技术,此处不再过多赘述。
至此,获得了初始聚类模型及初始聚类模型中的初始聚类簇。
步骤S2,根据各新增运行数据对应的数据点的邻域内各数据点与各初始聚类簇的中心点之间的距离,得到各新增运行数据的筛选因子;基于所述筛选因子从新增运行数据中筛选目标运行数据。
在获取到初始聚类模型之后,因为在数据传输过程中,物联网系统中的物联网设备的实时监测数据都会进入通信网关的缓存模块进行存储并判断,但是在物联网系统中,设备的工作状态会随着环境如天气的季节变化等原因而发生明显变化,这些变化在现有的策略判断模型中随着物联网系统的运行会出现优先级监测效果越来越差的问题,所以在这个过程中会出现无法准确判断数据优先级的情况。为了解决这个问题,需要在整个系统运行的过程中当已传输数据到达一定数据量之后通过云计算服务器的整体历史数据对聚类模型进行优化,从而使得数据的传输策略可以随着物联网系统中监测数据的整体变化而不断进行模型优化。其中,聚类模型用于传输策略的制定。考虑到在模型优化的过程中,如果再次通过全部的历史运行数据进行聚类,那么随着历史数据数量的增多,会导致模型的更新负担越来越重,因此在模型优化的过程中需要对新增运行数据进行筛选,从而在现有模型基础上根据筛选后的重要数据进行模型的优化,并在后续的过程中根据该模型优化过程进行模型优化。
新增运行数据的筛选过程是基于初始聚类模型对新增运行数据在分布上的变化情况进行分析,因为在聚类模型的变化过程中每一个新增运行数据的出现都会导致聚类结果发生变化,所以需要通过新增运行数据带来的局部影响来进行对所有的新增数据进行筛选。本实施例将通过数据空间中每个新增运行数据对应的数据点与其周围的数据点的局部变化,来进行每个新增运行数据的筛选因子的获取。当新增运行数据所影响到的局部数据点呈现的分布方向在初始聚类模型中数据点数量较多的聚类簇的延伸方向时,对应的新增运行数据应当具有更小的影响权重,当新增运行数据所影响到的局部数据点处于数据点数量较多的聚类簇与数据点数量较少的聚类簇之间的方向,对应的新增运行数据应当具有更大的影响权重。
基于此,对于第i个新增运行数据:
获取第i个新增运行数据对应的数据点的L近邻中的数据点,将第i个新增运行数据对应的数据点的L近邻中的数据点记为第一数据点,判断各第一数据点的L近邻中是否存在第i个新增运行数据对应的数据点,若存在,则将对应第一数据点记为邻域数据点;所有所述邻域数据点构成第i个新增运行数据对应的邻域数据点集合;其中L为预设数值,本实施例中L的值为20,在具体应用中,实施者可根据具体情况进行设置。第i个新增运行数据对应的数据点在数据空间中能够影响其周围的数据点的簇类变化,所以通过设定最近邻数量来确定第i个新增运行数据对应的数据点的影响数据集合,也即第i个新增运行数据对应的邻域数据点集合。对于第c个初始聚类簇:将所述邻域数据点集合中各数据点与第c个初始聚类簇的中心点之间的DTW距离,记为邻域数据点集合中各数据点对应的第一DTW距离;将第i个新增运行数据对应的数据点与第c个初始聚类簇的中心点之间的DTW距离,记为第二DTW距离;分别将所述邻域数据点集合中各数据点对应的第一DTW距离与所述第二DTW距离的差值,确定为邻域数据点集合中各数据点的第一特征值;根据所述邻域数据点集合中各数据点的第一特征值,计算第i个新增运行数据对于第c个初始聚类簇的重要程度。第i个新增运行数据对于第c个初始聚类簇的重要程度的具体计算公式为:
其中,为第i个新增运行数据对于第c个初始聚类簇的重要程度,/>为第i个新增运行数据对应的邻域数据点集合中数据点的数量,/>为第i个新增运行数据对应的邻域数据点集合中的第j个数据点,/>为第c个初始聚类簇的中心点,/>为第i个新增运行数据对应的数据点,/>为第i个新增运行数据对应的邻域数据点集合中第j个数据点与第c个初始聚类簇的中心点之间的DTW距离,/>为第i个新增运行数据对应的数据点与第c个初始聚类簇的中心点之间的DTW距离,ReLU( )为非线性激活函数,softmax( )为归一化函数。
表示第i个新增运行数据对应的邻域数据点集合中第j个数据点对应的第一DTW距离;/>表示第二DTW距离。第i个新增运行数据对应的邻域数据点集合中的数据点在初始聚类模型中与初始聚类簇的中心点的距离和第i个新增运行数据对应的数据点/>与在初始聚类模型中与初始聚类簇的中心点之间的距离的差值能够反映第i个新增运行数据的影响程度,当距离的差值为负数或为0时,说明第i个新增运行数据越正常,那么该数据点在聚类模型优化过程中就不重要,对于这部分数据点,通过ReLU函数进行归/>。当距离的差值为正数时,说明第i个新增运行数据越异常,那么第i个新增运行数据对应的数据点在聚类模型优化过程中就越重要,也即其对应的重要程度就越大。
采用上述方法,能够获得第i个新增运行数据对于每个初始聚类簇的重要程度,重要程度越大,说明对应数据越应当参与到聚类模型的更新过程中。本实施例将第i个新增运行数据对于所有初始聚类簇的重要程度的最大值,确定为第i个新增运行数据的筛选因子。
采用上述方法,能够获得每个新增运行数据的筛选因子,本实施例将筛选因子大于或等于预设筛选因子阈值的新增运行数据,确定为目标运行数据。本实施例中预设筛选因子阈值为0.6,在具体应用中,实施者可根据具体情况进行设置。
在对初始聚类模型进行优化的过程中,如果将全部的新增运行数据都放入数据空间进行新一轮的聚类,那就会导致计算量过大,占用云计算服务器计算资源的情况,所以为了优化模型优化过程,首先对云计算服务器中获取到的新增运行数据进行数据筛选,然后将筛选出的运行数据也参与到聚类过程中,从而实现对初始聚类模型的优化。在对新增运行数据进行筛选时,根据数据点表现出的影响大小来进行筛选。
至此,本实施例对新增运行数据进行了筛选,也即获得了目标运行数据,目标运行数据用于后续对初始聚类模型的优化。
步骤S3,对所述目标运行数据对应的数据点和所述历史运行数据对应的数据点进行二次聚类获得不少于两个目标聚类簇;根据各新增运行数据对应的数据点与所述目标聚类簇之间的相对位置,得到各新增运行数据的异常程度。
本实施例在筛选出目标运行数据后,将目标运行数据加入到数据空间中获得目标运行数据对应的数据点,对目标运行数据对应的数据点和历史运行数据对应的数据点进行二次聚类,此次聚类仍采用K-means聚类算法进行聚类,将数据点之间的DTW距离作为聚类时距离的度量,聚类时K的值仍为20,将此时聚类完成后获得的聚类模型记为目标聚类模型,完成了聚类模型的优化。
由于本实施例将通过判断实时获取到的数据是否与已有数据发生偏移,以及偏移的大小进行传输策略优先级的确定,因此在获取到目标聚类模型中的聚类结果之后,将目标聚类模型中的聚类簇记为目标聚类簇,也即获得了多个目标聚类簇,统计每个目标聚类簇中数据点的数量,基于每个目标聚类簇中数据点的数量,按照从大到小的顺序对所有目标聚类簇进行排序获得聚类簇序列,判断所述聚类簇序列中第一个目标聚类簇中数据点的数量是否满足预设条件,若满足,则将所述聚类簇序列中第一个聚类簇作为特征聚类簇;若不满足,则判断所述聚类簇序列中第一个目标聚类簇中数据点的数量与第二个目标聚类簇中数据点的数量的和值是否满足预设条件,以此类推,直到数据点的数量的和值满足预设条件,将对应的聚类簇作为特征聚类簇。本实施例中的预设条件为数据点的数量的和值大于初始异常数据检测模型中所有数据点的总数量的80%。因此,在本实施例中,当聚类簇序列中第一个目标聚类簇中数据点的数量大于目标聚类模型中所有数据点的总数量的80%时,将聚类簇序列中第一个聚类簇作为特征聚类簇;当聚类簇序列中第一个聚类簇中数据点的数量小于或等于目标聚类模型中所有数据点的总数量的80%时,若聚类簇序列中第一个目标聚类簇中数据点的数量与第二个目标聚类簇中数据点的数量的和值大于目标聚类模型中所有数据点的总数量的80%,则将聚类簇序列中第一个目标聚类簇、第二个目标聚类簇均作为特征聚类簇;若聚类簇序列中第一个目标聚类簇中数据点的数量与第二个目标聚类簇中数据点的数量的和值小于或等于目标聚类模型中所有数据点的总数量的80%,则判断聚类簇序列中第一个目标聚类簇中数据点的数量、第二个目标聚类簇中数据点的数量、第三个目标聚类簇中数据点的数量三者的和值与目标聚类模型中所有数据点的总数量的80%的大小关系,以此类推,直到数据点的数量的和值满足预设条件,将满足预设条件时对应的聚类簇作为特征聚类簇,将聚类簇序列中除特征聚类簇外的其他聚类簇作为非特征聚类簇。特征聚类簇为数据点数量较多的大簇,非特征聚类簇为数据点数量较少的小簇。在具体应用中,实施者可根据具体情况设置预设条件。
对于特征聚类簇中的任一新增运行数据:将该新增运行数据对应的数据点与其所在的特征聚类簇的中心点之间的距离的归一化值,确定为该新增运行数据的异常程度。对于非特征聚类簇中的任一新增运行数据:获取该新增运行数据对应的数据点与所有特征聚类簇的中心点之间的距离的最小值,将所述距离的最小值的归一化结果作为该新增运行数据的异常程度。
采用上述方法,能够获得每个新增运行数据的异常程度,异常程度用于后续对传输优先级的确定。
步骤S4,基于所述异常程度确定各新增运行数据对应的优先级,基于所述优先级对所有新增运行数据进行传输。
本实施例结合每个新增运行数据对应的数据点与所对应的聚类簇的中心点之间的距离,对每个新增运行数据的异常程度进行了衡量,在数据传输过程中,需要对异常程度大的新增运行数据进行优先传输,从而保证云计算服务器中的物联网系统中设备调控系统可以更及时地发现设备的异常运行情况,从而对物联网系统中的设备进行实时调控。
新增运行数据的异常程度越大,其对应的优先级越高,也即在对其进行传输时,越应当优先传输,以保证物联网系统中设备调控系统可以更及时地发现设备的异常情况。本实施例基于新增运行数据的异常程度来确定新增运行数据的优先级,通过获取到的优先级对通信网关中缓存的数据进行传输。
在根据当前时间段内的新增运行数据进行聚类模型更新之后,即可对缓存数据的优先级进行判断,确定缓存模块中数据传输的优先级,并在转发模块中进行转发。
本实施例中物联网的通信网关基于新增运行数据的传输顺序将物联网系统中设备的数据包转发至云计算服务器中,完成物联网数据到云计算服务器的数据传输过程。
本实施例通过对物联网系统中的通信网关中设备的运行数据进行异常检测,确定在数据传输过程中的优先级,相较于根据均衡的缓存与转发策略可以将物联网系统中设备重要的运行数据进行优先传输,从而保证云计算服务器可以及时对物联网系统中设备的运行进行调整,提高物联网系统的运行稳定性。本实施例考虑到在对初始聚类模型进行更新的过程中,若将全部的新增运行数据都放入数据空间进行新一轮的聚类,则会导致计算量过大,占用云计算服务器计算资源的情况,因此本实施例对云计算服务器中获取到的新增运行数据进行了筛选,将筛选出的新增运行数据参与到聚类过程中,从而实现对用于数据异常检测的聚类模型的优化,相较于直接通过全部的新增运行数据进行聚类模型的优化,可以使得在对实时缓存的新增运行数据进行优先级判断时更加高效。
基于物联网的通信网关数据传输系统实施例:
本实施例基于物联网的通信网关数据传输系统包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现上述所述的基于物联网的通信网关数据传输方法。
由于基于物联网的通信网关数据传输方法已经在基于物联网的通信网关数据传输方法实施例中进行了说明,所以本实施例不再对基于物联网的通信网关数据传输方法进行赘述。
Claims (8)
1.一种基于物联网的通信网关数据传输方法,其特征在于,该方法包括以下步骤:
获取物联网系统中的通信网关中的设备在历史时间段内的历史运行数据和在当前时间段内的新增运行数据,对所有历史运行数据对应的数据点进行初次聚类获得不少于两个初始聚类簇;
根据各新增运行数据对应的数据点的邻域内各数据点与各初始聚类簇的中心点之间的距离,得到各新增运行数据的筛选因子;基于所述筛选因子从新增运行数据中筛选目标运行数据;
对所述目标运行数据对应的数据点和所述历史运行数据对应的数据点进行二次聚类获得不少于两个目标聚类簇;根据各新增运行数据对应的数据点与所述目标聚类簇之间的相对位置,得到各新增运行数据的异常程度;
基于所述异常程度确定各新增运行数据对应的优先级,基于所述优先级对所有新增运行数据进行传输。
2.根据权利要求1所述的基于物联网的通信网关数据传输方法,其特征在于,所述根据各新增运行数据对应的数据点的邻域内各数据点与各初始聚类簇的中心点之间的距离,得到各新增运行数据的筛选因子,包括:
对于第i个新增运行数据:
将第i个新增运行数据对应的数据点的L近邻中的数据点记为第一数据点,判断各第一数据点的L近邻中是否存在第i个新增运行数据对应的数据点,若存在,则将对应第一数据点记为邻域数据点;所有所述邻域数据点构成第i个新增运行数据对应的邻域数据点集合,其中L为预设数值;
对于第c个初始聚类簇:将所述邻域数据点集合中各数据点与第c个初始聚类簇的中心点之间的DTW距离,记为邻域数据点集合中各数据点对应的第一DTW距离;将第i个新增运行数据对应的数据点与第c个初始聚类簇的中心点之间的DTW距离,记为第二DTW距离;分别将所述邻域数据点集合中各数据点对应的第一DTW距离与所述第二DTW距离的差值,确定为邻域数据点集合中各数据点的第一特征值;根据所述邻域数据点集合中各数据点的第一特征值,计算第i个新增运行数据对于第c个初始聚类簇的重要程度;
将第i个新增运行数据对于所有初始聚类簇的重要程度的最大值,确定为第i个新增运行数据的筛选因子。
3.根据权利要求2所述的基于物联网的通信网关数据传输方法,其特征在于,采用如下公式计算第i个新增运行数据对于第c个初始聚类簇的重要程度:
其中,为第i个新增运行数据对于第c个初始聚类簇的重要程度,/>为第i个新增运行数据对应的邻域数据点集合中数据点的数量,/>为第i个新增运行数据对应的邻域数据点集合中的第j个数据点,/>为第c个初始聚类簇的中心点,/>为第i个新增运行数据对应的数据点,/>为第i个新增运行数据对应的邻域数据点集合中第j个数据点与第c个初始聚类簇的中心点之间的DTW距离,/>为第i个新增运行数据对应的数据点与第c个初始聚类簇的中心点之间的DTW距离,ReLU( )为非线性激活函数,softmax( )为归一化函数。
4.根据权利要求1所述的基于物联网的通信网关数据传输方法,其特征在于,所述基于所述筛选因子从新增运行数据中筛选目标运行数据,包括:将所述筛选因子大于或等于预设筛选因子阈值的新增运行数据,确定为目标运行数据。
5.根据权利要求1所述的基于物联网的通信网关数据传输方法,其特征在于,所述根据各新增运行数据对应的数据点与所述目标聚类簇之间的相对位置,得到各新增运行数据的异常程度,包括:
基于目标聚类簇中数据点的数量差异,确定各目标聚类簇对应的类别,所述类别包括特征聚类簇、非特征聚类簇;
对于特征聚类簇中的任一新增运行数据:将该新增运行数据对应的数据点与其所在的特征聚类簇的中心点之间的距离的归一化值,确定为该新增运行数据的异常程度;
对于非特征聚类簇中的任一新增运行数据:获取该新增运行数据对应的数据点与所有特征聚类簇的中心点之间的距离的最小值,将所述距离的最小值的归一化结果作为该新增运行数据的异常程度。
6.根据权利要求5所述的基于物联网的通信网关数据传输方法,其特征在于,基于目标聚类簇中数据点的数量差异,确定各目标聚类簇对应的类别,包括:
统计各目标聚类簇中数据的数量,基于各目标聚类簇中数据点的数量,按照从大到小的顺序对所有目标聚类簇进行排序获得聚类簇序列;
判断所述聚类簇序列中第一个目标聚类簇中数据点的数量是否满足预设条件,若满足,则将所述聚类簇序列中第一个目标聚类簇作为特征聚类簇;若不满足,则判断所述聚类簇序列中第一个目标聚类簇中数据点的数量与第二个目标聚类簇中数据点的数量的和值是否满足预设条件,以此类推,直到数据点的数量的和值满足预设条件,将对应的目标聚类簇作为特征聚类簇;
将聚类簇序列中除特征聚类簇外的其他聚类簇作为非特征聚类簇。
7.根据权利要求1所述的基于物联网的通信网关数据传输方法,其特征在于,所述对所有历史运行数据对应的数据点进行初次聚类获得不少于两个初始聚类簇,包括:
基于历史运行数据之间的DTW距离,采用K-means聚类算法对所有历史运行数据对应的数据点进行初次聚类,获得各初始聚类簇。
8.一种基于物联网的通信网关数据传输系统,包括存储器和处理器,其特征在于,所述处理器执行所述存储器存储的计算机程序,以实现如权利要求1-7任一项所述的基于物联网的通信网关数据传输方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310819341.0A CN116545954B (zh) | 2023-07-06 | 2023-07-06 | 基于物联网的通信网关数据传输方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310819341.0A CN116545954B (zh) | 2023-07-06 | 2023-07-06 | 基于物联网的通信网关数据传输方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116545954A true CN116545954A (zh) | 2023-08-04 |
CN116545954B CN116545954B (zh) | 2023-08-29 |
Family
ID=87447459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310819341.0A Active CN116545954B (zh) | 2023-07-06 | 2023-07-06 | 基于物联网的通信网关数据传输方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116545954B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117221241A (zh) * | 2023-11-08 | 2023-12-12 | 杭州鸿世电器股份有限公司 | 一种智能开关控制过程数据传输方法及系统 |
CN117235678A (zh) * | 2023-11-14 | 2023-12-15 | 山东交通学院 | 一种木材切割过程中刀片磨损程度的检测方法 |
CN117251749A (zh) * | 2023-11-17 | 2023-12-19 | 陕西通信规划设计研究院有限公司 | 一种基于增量分析的物联网数据处理方法 |
CN117436712A (zh) * | 2023-12-21 | 2024-01-23 | 山东铁鹰建设工程有限公司 | 一种施工挂篮运行风险实时监测方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111125470A (zh) * | 2019-12-25 | 2020-05-08 | 成都康赛信息技术有限公司 | 一种提升异常数据挖掘筛选的方法 |
CN113256036A (zh) * | 2021-07-13 | 2021-08-13 | 国网浙江省电力有限公司 | 基于Prophet-LSTNet组合模型的供电成本分析预测方法 |
WO2021218251A1 (zh) * | 2020-04-29 | 2021-11-04 | 中国电子科技集团公司第二十八研究所 | 一种基于历史容量相似特征的容量评估方法及设备 |
CN114417971A (zh) * | 2021-12-17 | 2022-04-29 | 国网江西省电力有限公司南昌供电分公司 | 一种基于k近邻密度峰值聚类的电力数据异常值检测算法 |
CN114912638A (zh) * | 2022-05-24 | 2022-08-16 | 广州番禺电缆集团有限公司 | 一种有效运行参数上报的数字电缆 |
CN115130578A (zh) * | 2022-06-29 | 2022-09-30 | 南京邮电大学 | 一种基于增量式粗糙聚类的配电设备状态在线评估方法 |
CN115510982A (zh) * | 2022-09-29 | 2022-12-23 | 联想(北京)有限公司 | 一种聚类方法、装置、设备以及计算机存储介质 |
-
2023
- 2023-07-06 CN CN202310819341.0A patent/CN116545954B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111125470A (zh) * | 2019-12-25 | 2020-05-08 | 成都康赛信息技术有限公司 | 一种提升异常数据挖掘筛选的方法 |
WO2021218251A1 (zh) * | 2020-04-29 | 2021-11-04 | 中国电子科技集团公司第二十八研究所 | 一种基于历史容量相似特征的容量评估方法及设备 |
CN113256036A (zh) * | 2021-07-13 | 2021-08-13 | 国网浙江省电力有限公司 | 基于Prophet-LSTNet组合模型的供电成本分析预测方法 |
CN114417971A (zh) * | 2021-12-17 | 2022-04-29 | 国网江西省电力有限公司南昌供电分公司 | 一种基于k近邻密度峰值聚类的电力数据异常值检测算法 |
CN114912638A (zh) * | 2022-05-24 | 2022-08-16 | 广州番禺电缆集团有限公司 | 一种有效运行参数上报的数字电缆 |
CN115130578A (zh) * | 2022-06-29 | 2022-09-30 | 南京邮电大学 | 一种基于增量式粗糙聚类的配电设备状态在线评估方法 |
CN115510982A (zh) * | 2022-09-29 | 2022-12-23 | 联想(北京)有限公司 | 一种聚类方法、装置、设备以及计算机存储介质 |
Non-Patent Citations (5)
Title |
---|
AMINEH AMINI等: "A Multi Density-based Clustering Algorithm for Data Stream with Noise", IEEE * |
俞研;黄皓;: "一种半聚类的异常入侵检测算法", 计算机应用, no. 07 * |
吴蕊;张安勤;田秀霞;张挺;: "基于改进K-means的电力数据异常检测算法", 华东师范大学学报(自然科学版), no. 04 * |
徐杰彦;许雯?;褚渊;晋远;康旭源;陈征;: "区域尺度住宅建筑日用电负荷模型构建方法研究", 中国电力, no. 08 * |
石鸿雁;马晓娟;: "改进的DBSCAN聚类和LAOF两阶段混合数据离群点检测方法", 小型微型计算机系统, no. 01 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117221241A (zh) * | 2023-11-08 | 2023-12-12 | 杭州鸿世电器股份有限公司 | 一种智能开关控制过程数据传输方法及系统 |
CN117221241B (zh) * | 2023-11-08 | 2024-01-26 | 杭州鸿世电器股份有限公司 | 一种智能开关控制过程数据传输方法及系统 |
CN117235678A (zh) * | 2023-11-14 | 2023-12-15 | 山东交通学院 | 一种木材切割过程中刀片磨损程度的检测方法 |
CN117235678B (zh) * | 2023-11-14 | 2024-01-26 | 山东交通学院 | 一种木材切割过程中刀片磨损程度的检测方法 |
CN117251749A (zh) * | 2023-11-17 | 2023-12-19 | 陕西通信规划设计研究院有限公司 | 一种基于增量分析的物联网数据处理方法 |
CN117251749B (zh) * | 2023-11-17 | 2024-02-27 | 陕西通信规划设计研究院有限公司 | 一种基于增量分析的物联网数据处理方法 |
CN117436712A (zh) * | 2023-12-21 | 2024-01-23 | 山东铁鹰建设工程有限公司 | 一种施工挂篮运行风险实时监测方法及系统 |
CN117436712B (zh) * | 2023-12-21 | 2024-04-12 | 山东铁鹰建设工程有限公司 | 一种施工挂篮运行风险实时监测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116545954B (zh) | 2023-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116545954B (zh) | 基于物联网的通信网关数据传输方法及系统 | |
CN106912067B (zh) | 一种基于模糊神经网络的wsn无线通信模块故障诊断方法 | |
CN117036104B (zh) | 一种基于电力物联网的智慧用电方法和系统 | |
CN107911242A (zh) | 一种基于工业无线网络的认知无线电与边缘计算方法 | |
WO2019205528A1 (zh) | 基于天气数据的无线传感网节点太阳能收集功率预测算法 | |
CN113408087A (zh) | 一种基于云边系统和视频智能分析的变电站巡视方法 | |
CN115759450B (zh) | 一种基于大数据的碳排放核算预警分析系统 | |
CN116540576A (zh) | 一种基于数字孪生和智慧楼宇的建筑节能管理系统 | |
Karaki et al. | An adaptive sampling technique for massive data collection in distributed sensor networks | |
Hribar et al. | Using deep Q-learning to prolong the lifetime of correlated internet of things devices | |
CN112772384A (zh) | 一种基于卷积神经网络的农水灌溉系统和方法 | |
CN116125204A (zh) | 一种基于电网数字化的故障预测系统 | |
CN117114448A (zh) | 一种基于机器学习和物联网技术的农业生产管理系统及方法 | |
CN116138145A (zh) | 一种智能农业管理系统 | |
CN113676357B (zh) | 面向电力物联网中边缘数据处理的决策方法及其应用 | |
CN116367108B (zh) | 一种基于云计算的车间安全监控系统 | |
WO2024066720A1 (zh) | 指标阈值的确定方法、装置、存储介质及电子装置 | |
CN117376381A (zh) | 一种基于行为预测的电力设备通信方法及系统 | |
CN104168599A (zh) | 基于时间加权k-近邻法的无线传感器网络故障诊断方法 | |
CN108876078B (zh) | 计算耗能系统性能的改善策略的方法和耗能系统监控装置 | |
CN112801815B (zh) | 一种基于联邦学习的电力通信网络故障预警方法 | |
Zhang et al. | Maintenance of large scale wireless sensor networks | |
CN114936640A (zh) | 一种新能源发电智能预测模型的在线训练方法 | |
CN113759210A (zh) | 配电房状态监测系统和配电房监测数据传输方法 | |
Press et al. | DSP: a deep learning based approach to extend the lifetime of wireless sensor networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |