CN116320042A - 边缘计算的物联终端监测控制系统 - Google Patents
边缘计算的物联终端监测控制系统 Download PDFInfo
- Publication number
- CN116320042A CN116320042A CN202310549147.5A CN202310549147A CN116320042A CN 116320042 A CN116320042 A CN 116320042A CN 202310549147 A CN202310549147 A CN 202310549147A CN 116320042 A CN116320042 A CN 116320042A
- Authority
- CN
- China
- Prior art keywords
- data
- obtaining
- noise
- point
- information loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 33
- 238000004364 calculation method Methods 0.000 title claims abstract description 19
- 238000012937 correction Methods 0.000 claims abstract description 21
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 claims abstract description 21
- 230000008859 change Effects 0.000 claims abstract description 19
- 238000007906 compression Methods 0.000 claims abstract description 19
- 230000006835 compression Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000013144 data compression Methods 0.000 claims abstract description 9
- 238000007726 management method Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 57
- 230000011218 segmentation Effects 0.000 claims description 32
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Complex Calculations (AREA)
Abstract
本发明涉及数据处理领域,具体涉及边缘计算的物联终端监测控制系统,包括:数据采集模块,采集传感器多维数据;边缘计算模块,根据当前数据和历史数据得到变化持续时间性特征;根据当前数据和变化持续时间性特征得到加入噪声程度;根据加入噪声程度和当前数据的每个数据值得到加入噪声后数据;根据目标维度与其相关维度的数据得到校正权重;根据校正权重得到信息损失量;根据信息损失量得到最优移动平均阶数;数据压缩管理模块,根据ARIMA模型进行基于预测的压缩;终端监测管理模块,对解压后的数据进行终端显示。本发明用数据处理方式对当前数据进行分析处理,得到准确的ARIMA模型,使得对数据压缩范围更加准确。
Description
技术领域
本发明涉及数据处理领域,具体涉及边缘计算的物联终端监测控制系统。
背景技术
随着科技的发展,物联网技术被广泛的应用于各个领域中,其中物联终端是通过物联网技术连接传感器以及智能设备,可以感知环境、收集数据以及设备的定位信息,并与其他的终端进行交互。其中,通过物联网技术可以远程监测物联终端,实现智能化应用。边缘计算是将采集的数据存储在物联网设备商,实现低延迟、高可靠性的数据处理方式,即使网络中毒,仍可以继续处理和控制,具有更高的灵活性。
在边缘计算的物联终端的监测过程中,通过多种传感器等设备来实时采集多维的传感器数据,由于物联终端所产生的不同维度的传感器数据的数据量很大且分散,对存储空间要求较高,但是由于物联终端的存储空间较小,会使得在本地存储过程中数据存储较为困难,因此为了更好地使用这些多维的传感器数据,需要对多维传感器数据进行压缩处理。基于预测压缩的压缩算法是常用的物联传感器数据的压缩方法,通过确定预测模型来获取预测误差并处理,实现压缩。而在构建预测模型的过程中,例如ARIMA模型的构建过程中,将非平稳的数据序列经过预处理,得到平稳的数据序列,并确定移动平均阶数来对数据进行移动平均处理,然而若仅根据待压缩的维度数据来确定移动平均阶数,会由于受到噪声的干扰并且未考虑到其他维度之间的影响,会使得错误的获取移动平均阶数,进而影响到ARIMA模型构建,以及最终的数据压缩效果。因此本案通过引入噪声来比较加入噪声后的待压缩维度数据以及原数据的差异来获取待压缩维度数据分布特征以及噪声的分布特征,并结合其他维度数据对待压缩维度的影响,进而自适应获取移动平均阶数,得到准确的ARIMA模型,提高预测压缩的压缩性能。
发明内容
本发明提供边缘计算的物联终端监测控制系统,以解决现有的问题。
本发明的边缘计算的物联终端监测控制系统采用如下技术方案:
本发明一个实施例提供了边缘计算的物联终端监测控制系统,该系统包括以下步骤:
数据采集模块,获取传感器采集的多维数据,并从多维数据中获得当前数据和历史数据;
边缘计算模块,获取当前数据和历史数据的分段点,并根据分段点对当前数据和历史数据进行分段获得若干分段数据,根据当前数据的分段数据和历史数据的分段数据之间的相似性获得当前数据中每个分段数据的变化持续时间性特征。根据每个分段数据中的数据点的差异和变化持续时间性特征获得每个分段数据上每个数据点的加入噪声程度,根据当前数据中所有数据分段上所有数据点的取值以及加入噪声程度获得加入噪声后的当前数据;
根据加入噪声前的当前数据在移动平均阶数拟合前后的差异获得第一平均信息损失量,根据加入噪声后的当前数据在移动平均阶数拟合前后的差异获得第二平均信息损失量;获取当前数据的目标相关维度,获得目标相关维度中每个分段点的校正权重,根据校正权重和第一、二平均信息损失量得到当前数据中分段点的信息损失量;根据第一、二平均信息损失量得到当前数据最优移动平均阶数;
数据压缩管理模块,根据最优移动平均阶数得到准确的ARIMA模型,根据得到的ARIMA模型进行基于预测的压缩;
终端监测管理模块,对压缩管理的数据进行解压,将解压后的数据显示在终端监测系统。
进一步地,所述分段数据之间的相似性获取的具体方法为:
用历史数据的分段数据和当前数据的分段数据使用算法进行距离计算,记为距离,进而得到了历史数据的所有段数据和当前数据的所有段数据之间的所有
距离;对所有距离进行线性归一化处理,记为;将处理,即得到历史数据
的任意一分段数据和当前数据的任意一分段数据之间相似性;
获取当前数据的每个分段数据对应的类别,将当前数据的第j个分段数据对应的类别称为第j个类别。
其中,表示第j个类别中的历史数据的分段数量;表示第j个类别中,历史数
据的第个分段中的数据均值;表示当前数据的第个分段数据的数据均值;表示
在第j个类别中,历史数据的所有分段数据均值和当前数据的第j段数据的数据均值的差值
绝对值中的最大值;表示在第j个类别中,历史数据的第个分段数据和当前数据的第个分段数据之间的相似性;表示以自然常数为底数的指数函数;,
其中表示第j个类别中历史数据的第个分段数据的数据点数量;表示第j个类
别中历史数据的第个分段数据中第个数据点和其前一个数据点之间的数据差值的绝对
值;表示第j个类别中历史数据的第个分段数据中第个数据点和其前一个数据
点之间的时间差。
进一步地,所述当前数据每个分段数据上每个数据点加入噪声程度的具体获取方法为:
将当前数据中的任意一个分段数据的任意一个数据点记为第一数据点;根据第一数据点与前一个数据点得到数据差值的绝对值,记为第一数值,根据第一数据点与前一个数据点得到时间差值,记作第二数值,将第一数值与第二数值的比值记为第一比值,根据第一比值和变化持续时间特征之间差值的绝对值得到当前数据中每个数据点需要加入噪声的程度。
进一步地,所述加入噪声后的当前数据的获取方法具体为:
将当前数据加入噪声前的任意一个分段数据的任意数据点与当前数据的任意一个分段数据的均值之间的差值记作第一差值;根据数据点加入噪声程度与第一差值的乘积得到第一乘积;将当前数据加入噪声前的任意一个分段数据的任意数据点与第一乘积的和得到加入噪声后的数据。
进一步地,所述校正权重的获取方法具体为:
将当前数据记为X,任意一个目标相关维度记为Z。
校正权重的公式为:
其中,表示当前数据和目标相关维度之间的相关性系数值;表示目
标相关维度的自身的分段点中的第个分段点与其前一个点的数据差的绝对值;表示目标相关维度的自身的分段点中的所有分段点与其前一个点的数据差的
绝对值中的最大值,表示第Z个目标相关维度中的第h个分段点的校正权重。
进一步地,所述第一、二平均信息损失量的获取方法具体为:
信息损失量的公式为:
其中,表示目标相关维度的数量;表示第个目标相关维度的在第个分段
点的校正权重;S1表示加入噪声前的平均信息损失量,即第一平均信息损失量,S2表示加入
噪声后的平均信息损失量,即第二平均信息损失量;表示加入噪声前的第q个分段点的
新的信息损失量,表示加入噪声后的第q个分段点的新的信息损失量。
进一步地,所述最优移动平均阶数的获取方法具体为:
根据加入噪声前新的信息损失量和加入噪声后新的信息损失量之间的比值减1的绝对值得到具体某个移动平均阶数所对应的信息损失特征值,将移动平均阶数依次增加1,直至移动平均阶数所对应的信息损失特征值大于预设阈值时,停止加1迭代,选取该移动平均阶数为最优移动平均阶数;如果没有,则选取移动平均阶数为8时为最优移动平均阶数。
进一步地,所述数据压缩和监测的获取方法具体为:
根据最优移动平均阶数得到准确的ARIMA模型,用ARIMA模型去预测,根据预测出的结果进行基于预测的压缩;对压缩管理的数据进行解压,将解压后的数据显示在终端监测系统。
本发明的技术方案的有益效果是:本发明中采用基于预测的压缩方法进行物联设备的数据压缩,将数据存储在物联设备本身存储空间中,以达到基于边缘计算的物联终端监测控制。其中在压缩过程中建立ARIMA预测模型的过程中,本案首先通过传统的确定移动平均阶数的方法进行初始移动平均阶数的确定,即对应的在移动平均过程中获取的拟合的目标维度原数据序列,本案中通过加入噪声来重新进行拟合得到噪声拟合数据序列,通过对比两个数据序列之间的差异,来分析两个拟合过程中的数据分布差异特征,进而实现目标维度的数据分布特征和噪声分布特征的分析,并结合其他维度数据对目标维度的影响,来自适应获取移动平均阶数。避免了传统的ARIMA模型构建过程中,仅根据待压缩的维度数据来确定移动平均阶数,会由于受到噪声的干扰并且未考虑到其他维度之间的影响,会使得错误的获取的移动平均阶数的缺点,采用对不同分段数据进行自适应获取移动平均阶数来提高ARIMA模型的精度,进而提高基于预测的压缩方法的数据压缩效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明边缘计算的物联终端监测控制系统的结构框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的边缘计算的物联终端监测控制系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的边缘计算的物联终端监测控制系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的边缘计算的物联终端监测控制系统的结构框图,该系统包括以下模块:
模块S001:数据采集模块。
由于需要实时监测物联终端的实时数据,并且在监测过程中需要采集多种传感器数据,若仅根据单个传感器数据无法进行监测控制,因此本实施例中通过布置多种传感器等设备来采集传感器数据。其中传感器类型可根据实施者具体实施情况而定,例如对于车联网数据监测控制过程中,通过布置环境传感器、GPS定位传感器、加速度传感器、陀螺仪、车载压力传感器等多种传感器来采集行车数据,本实施例中每个传感器每个0.5秒输出一个数据,传感器每30分钟输出的数据构成一个时序序列数据,简称为时序数据,获得每个传感器采集得到的所有时序数据。一种传感器为一个维度的数据,即一个维度对应若干时序数据,其中每种传感器的输出的所有时序数据存储在各自的传感器模块中进行存储。
选取任意一个要进行分析的传感器数据记为目标维度,目标维度中的最新采集到的一个时序数据记为当前数据,之前采集到的时序数据记为历史数据,除过目标维度数据之外的传感器获取的时序数据均记为其他维度数据。
至此获取到了目标维度中的当前数据和历史数据以及其他维度数据。
模块S002:边缘计算模块。
在ARIMA模型构建过程中,传统的确定移动平均阶数是根据目标维度数据序列的自相关函数确定的,通过比较目标维度数据序列在不同时序的取值之间的相关性来确定。然而由于目标维度数据序列中会受到噪声的影响,并且目标维度可能存在与其相关的维度的数据序列的影响,因此计算得到的移动平均阶数会产生较大的误差,进而影响到ARIMA模型的构建。在后续进行预测压缩过程中,将其他维度对目标维度的影响考虑进去,则可以得到准确的预测误差使得压缩率效率提高。
因此本实施例通过引导加入噪声来比较加入噪声后的待压缩维度数据以及原数据的差异来获取目标维度数据分布特征以及噪声的分布特征,并结合其他维度数据对目标维度的影响,进而自适应获取移动平均阶数,得到准确的ARIMA模型。
具体展开如下:
由于目标维度的当前数据中存在噪声,因此本实施例首先通过传统的确定移动平均阶数的方法进行初始移动平均阶数的确定,即对应的在移动平均过程中获取的拟合的当前数据,记为目标数据序列,本实施例中通过加入噪声来重新进行拟合得到噪声拟合数据序列,记为噪声数据序列,通过对比两个数据序列之间的差异,来分析两个拟合过程中的数据分布差异特征,进而实现当前数据的数据分布特征和噪声数据分布特征的分析。而首先需要根据当前数据进行插入噪声位置的确定,并在该插入位置确定加入噪声的数值大小。
其中在确定插入噪声的位置以及对应的加入噪声的大小的分析过程中,由于噪声的分布相较于正常的数据变化存在瞬时变化性,因此本实施例需要参考同维度下的历史数据的数据波动特征的持续时间特性,若历史数据的波动特征和当前数据的某个数据点的波动特征差异较大,则该数据点受到噪声的干扰的可能性就较大,也即需要带插入噪声的位置,来放大噪声的影响,并根据历史数据的波动特征获取噪声波动范围,确定最佳噪声值。
首先需要对历史数据与当前数据进行聚类分析,将与当前数据的数据具有较大的相似性的分段数据归为一类。
数据分段的具体方法为:
第一步,先分别根据当前数据中的每一个点与前一个点确定出一条直线,那么所有点就确定出多条直线(第一个点除外);
第二步,再由直线确定出斜率,对斜率进行线性归一化;
第三步,设置斜率阈值为0.68,将每条直线斜率归一化后的值大于斜率阈值的直线所对应的点确定为分段点;
第四步,根据分段点对当前数据进行分段,得到若干分段数据;
第五步,与第一步、第二步、第三步、第四步同理,对历史数据进行分段,也获得若干分段数据。
对当前数据的分段数据与历史数据的分段数据进行聚类的具体方法为:
第四步,分别得到历史数据所有的分段数据与当前数据的任意一分段数据之间相似性,其中相似性大于相似性阈值th2的历史数据的分段数据作为当前数据任意一分段数据的一个类别,那么当前数据的所有分段数据都分别对应一个类别;本实施例以相似性阈值th2=0.58为例进行叙述。
需要说明的是,对历史数据的分段数据和当前数据的分段数据聚类时,由于历史数据比较多,而要分析的当前数据比较明确时,聚类出的结果就是当前数据的一个分段数据对应历史数据的几个分段数据。
由上述分析知,当前数据的第j个分段数据所属的记为第j个类别。
其中,表示第j个类别中的历史数据的分段数量;表示第j个类别中,历史数
据的第个分段中的数据均值;表示当前数据的第个分段数据的数据均值;表示历史数
据的所有分段数据均值,表示在第j个类别中,历史数据的所有分段数据均值
和当前数据的第j段数据的数据均值的差值绝对值中的最大值;表示在第j个类别
中,历史数据的第个分段数据和当前数据的第个分段数据之间的相似性;表示以自
然常数为底数的指数函数;,其中表示第j个类别中历史数据的
第个分段数据的数据点数量;表示第j个类别中历史数据的第个分段数据中第个数据点和其前一个数据点之间的数据差值的绝对值;表示第j个类别中历史数据
的第个分段数据中第个数据点和其前一个数据点之间的时间差。其中
表示第j个类别中历史数据的第个分段数据的参考权重值,由于同一个类别中存在不同的
历史分段数据,并且分段数据的数据均值与当前分段数据的数据均值差异越大,并且分段
之间数据分布特征越不相似,表明该分段数据的分段数据的参考性越小,因此对应的后续
的该分段数据的变化时间的参考性越小。
根据上述步骤的结果来获取当前数据第个分段数据的变化持续时间性特征,根
据该变化持续时间性特征来分析需要进行插值的数据点的位置:计算当前数据中第个分
段数据中每个数据点的变化时间特征,即每个数据点的数据和其前一个数据点的数据之间
的差异值的绝对值除对应的时间差,其中当前数据中第个分段数据中第个数据点为需要
加入噪声的程度的计算方式为:
其中,表示当前数据中第个分段数据中第个数据点和其前一个数据点之间
的数据差值的绝对值;表示当前数据中第个分段数据中第个数据点和其前一个数据
点之间的时间差;表示当前数据的第j个分段数据的变化持续时间性特征。对所有数据点
的需要加入噪声的程度进行线性归一化处理,若该值大于阈值0.5,则表明该点需要加入噪
声(第一个数据点不进行计算)。
其中为了让当前的噪声影响最大,因此本实施例根据在需要加入噪声的点来分析
需要加入噪声的多少,其中需要加入噪声的当前数据的第j个分段数据的第个数据点加入
噪声后数据为:,其中表示在加入噪声前的当前数据的第j个
分段数据的第个数据点的数据值;表示需要加入噪声的当前数据的第j个分段数据的
第个数据点的需要加入噪声的程度;表示加入噪声前的当前数据中第个分段数据中的
数据均值。其中越大,表明该点受到的噪声影响较大,则对应的该点需要加入噪声的程
度越小即可获取最大噪声影响值。
至此,根据目标维度的数据分布来获取插入噪声的位置,并获取对应位置的加入噪声的数值大小。
加入噪声后的数据表征的为放大受到噪声的影响之后的数据,等同于增加了噪声的显著性,即加入噪声后的数据的噪声分布特征更加显著。其中在当前数据以传统确定移动平均阶数的方法进行初始移动平均阶数的确定默认为是好的,因此通过分析加入噪声的后的数据和当前数据的差异,来表征移动平均阶数的校正值,其中分析差异过程需要考虑目标维度数据本身的数据分布特征以及多维数据对其的影响。
分析当前数据(目标维度的分段数据)和加入噪声后的当前数据的差异,其中对于
目标维度本身来说,要保证数据的分布趋势不发生变化,因此通过比较当前数据和根据
初始移动平均阶数拟合后的当前数据的趋势分布差异,与引入噪声后的当前数据和
引入噪声后的当前数据根据相同初始移动平均阶数拟合后的加入噪声当前数据趋势分
布差异,分析其当前数据整体趋势的差异变化,来表征加入噪声后的数据效果与拟合的影
响,判断当前数据的初始移动平均阶数是否合适,即对应的加入噪声后的数据是否改变了
其原本的数据趋势。
和是两个等长的时序序列,这两个时序序列中相同位置对应的两个数据求
差值后再取绝对值,得到每个位置的差异,这两个时序序列中所有位置的差异之和记为这
两个序列的差异,用这两个序列的差异除以分段个数得到加入噪声前的平均信息损失量,
记为第一平均信息损失量S1。同理获得和的加入噪声后的平均信息损失量,记为第
二平均信息损失量S2。
当前移动平均阶数的信息损失特征值(u表示为在迭代移动平均阶数过程中的阶
数)的计算方法为:,该值越小,表明当前移动平均阶数的单位时间损失的信息
量较少,即对应的当放大噪声后的数据与当前数据之间的趋势未发生较大的变化,表明当
前移动平均阶数存在欠拟合,需要对移动平均阶数进行步长为1进行迭代(即移动平均阶数
依次增加1),在迭代过程中当该移动平均阶数的信息损失特征值大于0.6时即为最优移动
平均阶数(选取第一个符合条件的平均阶数为最优移动平均阶数,如果一直没有就选择阶
数为8的为最优移动平均阶数)。
需要说明的是,在上述分析过程中,由于存在其他维度的数据发生变化,使得对应的目标维度的数据发生波动,造成获取的单位时间损失量可能出现误差,因此本实施例根据与目标维度相关的维度的数据变化来对目标维度的分段点的单位时间损失的信息量进行校正。首先获取通过计算目标维度对应的分段点对其他维度进行分段处理,并计算其他维度和目标维度之间的皮尔逊相关系数,若相关系数大于0.65,则表明该维度与目标维度具有相关性,将与目标维度具有相关性的其他维度记为目标相关维度,则根据这些维度的数据变化来进行目标维度数据点的校正。
根据上述的数据分段操作对目标相关维度进行分段得到目标维度的对应分段数
据。根据这些数据点对目标维度的计算信息损失量过程中的数据点进行校正,校正权重通
过其他维度的数据变化来获取,其中目标相关维度的自身的分段点中的第个分段点的校
正权重的计算方法为:
其中,表示目标维度和第Z个目标相关维度之间的相关性系数值;
表示目标相关维度的自身的分段点中的第个分段点与其前一个点的数据差的绝对值;表示中目标相关维度的自身的分段点中的所有分段点与其前一个点的数据差
的绝对值中的最大值。若该分段点与其前一个点的数据差较大,则表明该分段点变化明显,
则对应的对目标维度对应的数据点的校正权重就越大,表示第Z个目标相关维度中的
第h个分段点的校正权重(第一个数据点不进行计算)。
类似操作得到所有与目标维度相关的维度中的对应分段中,其各自维度的分段点
的校正权重值,在时间轴上根据同一个数据点(同一个时间)得到的不同维度的下校正权重
值进行softmax函数归一化,则目标维度当前数据第个分段点的信息损失量的计算方
法为:
其中,表示目标相关维度的数量;表示第个目标相关维度的在第个分段
点的校正权重;S1表示加入噪声前的平均信息损失量,即第一平均信息损失量,S2表示加入
噪声后的平均信息损失量,即第二平均信息损失量;表示加入噪声前的第q个分段点的
新的信息损失量,表示加入噪声后的第q个分段点的新的信息损失量。
至此,可以得到加入噪声前新的信息损失量和加入噪声后新的信息损失量。
现在根据加入噪声前新的信息损失量和加入噪声后新的信息损失量的比值减1的绝对值得到一个移动平均阶数所对应的信息损失特征值。
至此,根据加入噪声后的数据以及加入噪声前的数据之间的差异来获取目标维度数据分布特征以及噪声的分布特征,并结合其他维度数据对目标维度的影响,来自适应获取移动平均阶数。
模块S003:数据压缩管理模块。
根据上述步骤得到的目标维度的每个分段数据的最优移动平均阶数,根据设置的差分阶数(设置为3)来将当前数据转换为平稳数据序列,并根据自相关图确定自回归阶数,进而确定得到准确的ARIMA模型。
根据得到的ARIMA模型进行基于预测的压缩,将预测的数据与采集的数据的计算得到预测误差,保留在设置的误差范围内的误差值用于下一个数据点的预测,进行基于预测的压缩。其中基于预测的压缩为公知技术,在本实施例中不再赘述。
至此实现了对当前数据的压缩;同理对于任意传感器输出的一个时序序列均可以按照本实施例提供的方法进行压缩存储。
模块S004:终端监测管理模块。
对于上述已经压缩好的数据,要进行终端显示查看时,对其进行解压,仍然使用基于预测的解压。其中基于预测的解压为公知技术,在本实施例中不再赘述。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.边缘计算的物联终端监测控制系统,其特征在于,该系统包括以下步骤:
数据采集模块,获取传感器采集的多维数据,并从多维数据中获得当前数据和历史数据;
边缘计算模块,获取当前数据和历史数据的分段点,并根据分段点对当前数据和历史数据进行分段获得若干分段数据,根据当前数据的分段数据和历史数据的分段数据之间的相似性获得当前数据中每个分段数据的变化持续时间性特征;根据每个分段数据中的数据点的差异和变化持续时间性特征获得每个分段数据上每个数据点的加入噪声程度,根据当前数据中所有数据分段上所有数据点的取值以及加入噪声程度获得加入噪声后的当前数据;
根据加入噪声前的当前数据在移动平均阶数拟合前后的差异获得第一平均信息损失量,根据加入噪声后的当前数据在移动平均阶数拟合前后的差异获得第二平均信息损失量;获取当前数据的目标相关维度,获得目标相关维度中每个分段点的校正权重,根据校正权重、第一平均信息损失量和第二平均信息损失量得到当前数据中分段点的信息损失量;根据第一平均信息损失量和第二平均信息损失量得到当前数据最优移动平均阶数;
数据压缩管理模块,根据最优移动平均阶数得到准确的ARIMA模型,根据得到的ARIMA模型进行基于预测的压缩;
终端监测管理模块,对压缩管理的数据进行解压,将解压后的数据显示在终端监测系统。
获取当前数据的每个分段数据对应的类别,将当前数据的第j个分段数据对应的类别称为第j个类别;
其中,表示第j个类别中的历史数据的分段数量;/>表示第j个类别中,历史数据的第个分段中的数据均值;/>表示当前数据的第/>个分段数据的数据均值;/>表示在第j个类别中,历史数据的所有分段数据均值和当前数据的第j段数据的数据均值的差值绝对值中的最大值;/>表示在第j个类别中,历史数据的第/>个分段数据和当前数据的第/>个分段数据之间的相似性;/>表示以自然常数为底数的指数函数;/>,其中/>表示第j个类别中历史数据的第/>个分段数据的数据点数量;/>表示第j个类别中历史数据的第/>个分段数据中第/>个数据点和其前一个数据点之间的数据差值的绝对值;表示第j个类别中历史数据的第/>个分段数据中第/>个数据点和其前一个数据点之间的时间差。
4.根据权利要求1所述边缘计算的物联终端监测控制系统,其特征在于,所述每个分段数据上每个数据点的加入噪声程度的具体获取方法为:
将当前数据中的任意一个分段数据的任意一个数据点记为第一数据点;根据第一数据点与前一个数据点得到数据差值的绝对值,记为第一数值,根据第一数据点与前一个数据点得到时间差值,记作第二数值,将第一数值与第二数值的比值记为第一比值,根据第一比值和变化持续时间特征之间差值的绝对值得到当前数据中每个数据点需要加入噪声的程度。
5.根据权利要求1所述边缘计算的物联终端监测控制系统,其特征在于,所述加入噪声后的当前数据的获取方法具体为:
将当前数据加入噪声前的任意一个分段数据的任意数据点与当前数据的任意一个分段数据的均值之间的差值记作第一差值;根据数据点加入噪声程度与第一差值的乘积得到第一乘积;将当前数据加入噪声前的任意一个分段数据的任意数据点与第一乘积的和得到加入噪声后的数据。
8.根据权利要求1所述边缘计算的物联终端监测控制系统,其特征在于,所述最优移动平均阶数的获取方法具体为:
根据加入噪声前新的信息损失量和加入噪声后新的信息损失量之间的比值减1的绝对值得到具体某个移动平均阶数所对应的信息损失特征值,将移动平均阶数依次增加1,直至移动平均阶数所对应的信息损失特征值大于预设阈值时,停止加1迭代,选取该移动平均阶数为最优移动平均阶数;如果没有,则选取移动平均阶数为8时为最优移动平均阶数。
9.根据权利要求1所述边缘计算的物联终端监测控制系统,其特征在于,所述基于预测的压缩的方法具体为:
根据最优移动平均阶数得到准确的ARIMA模型,用ARIMA模型去预测,根据预测出的结果进行基于预测的压缩。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310549147.5A CN116320042B (zh) | 2023-05-16 | 2023-05-16 | 边缘计算的物联终端监测控制系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310549147.5A CN116320042B (zh) | 2023-05-16 | 2023-05-16 | 边缘计算的物联终端监测控制系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116320042A true CN116320042A (zh) | 2023-06-23 |
CN116320042B CN116320042B (zh) | 2023-08-04 |
Family
ID=86796280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310549147.5A Active CN116320042B (zh) | 2023-05-16 | 2023-05-16 | 边缘计算的物联终端监测控制系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116320042B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116954342A (zh) * | 2023-09-18 | 2023-10-27 | 惠州市鑫晖源科技有限公司 | 基于物联网的全方位高效散热主机电源运行监测方法 |
CN116974258A (zh) * | 2023-09-25 | 2023-10-31 | 常熟理工学院 | 基于多维数据的生产过程监测方法 |
CN117135686A (zh) * | 2023-10-24 | 2023-11-28 | 深圳市蓝鲸智联科技股份有限公司 | 一种基于蓝牙的车载信息交互方法及系统 |
CN117975742A (zh) * | 2024-03-29 | 2024-05-03 | 大连禾圣科技有限公司 | 基于大数据的智慧城市交通管理系统及方法 |
CN118090078A (zh) * | 2024-04-19 | 2024-05-28 | 山东艾克索仑电气有限公司 | 一种闭式循环水冷系统渗漏在线监测方法 |
Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102143205A (zh) * | 2010-12-17 | 2011-08-03 | 无锡晶森物联科技有限公司 | 基于物联网技术的环境监测节点及系统 |
CN106250306A (zh) * | 2016-08-18 | 2016-12-21 | 电子科技大学 | 一种适用于企业级运维自动化平台的性能预测方法 |
CN107169268A (zh) * | 2017-04-20 | 2017-09-15 | 南京航空航天大学 | 一种基于趋势分段相似性的机场噪声监测点异常识别方法 |
US20180284747A1 (en) * | 2016-05-09 | 2018-10-04 | StrongForce IoT Portfolio 2016, LLC | Methods and systems for optimization of data collection and storage using 3rd party data from a data marketplace in an industrial internet of things environment |
CN108984870A (zh) * | 2018-06-29 | 2018-12-11 | 中国科学院深圳先进技术研究院 | 基于arima的冷库温湿度数据预测方法及相关产品 |
CN109660423A (zh) * | 2018-12-06 | 2019-04-19 | 南京邮电大学 | 应用系统负载预测方法、可读存储介质和终端 |
CN109684310A (zh) * | 2018-11-22 | 2019-04-26 | 安徽继远软件有限公司 | 一种基于大数据分析的信息系统性能态势感知方法 |
CN110336860A (zh) * | 2019-06-13 | 2019-10-15 | 河海大学常州校区 | 工业物联网中基于多维数据处理的关键节点数据保护方法 |
CN110674996A (zh) * | 2019-09-27 | 2020-01-10 | 河南大学 | 一种城市交通噪声预测方法 |
CN111224830A (zh) * | 2018-11-23 | 2020-06-02 | 中国电信股份有限公司 | 数据监控方法、装置、物联网网元及计算机可读存储介质 |
CN111835836A (zh) * | 2020-06-24 | 2020-10-27 | 清科优能(深圳)技术有限公司 | 一种智慧物联网终端数据处理装置及方法 |
CN111860692A (zh) * | 2020-07-31 | 2020-10-30 | 国网重庆市电力公司电力科学研究院 | 一种基于K-mediod的物联网环境下的异常数据检测方法 |
CN112269769A (zh) * | 2020-11-18 | 2021-01-26 | 远景智能国际私人投资有限公司 | 数据压缩方法、装置、计算机设备及存储介质 |
US20210209467A1 (en) * | 2018-09-25 | 2021-07-08 | Ennew Digital Technology Co., Ltd. | Method and device for predicting thermal load of electrical system |
CN113435725A (zh) * | 2021-06-21 | 2021-09-24 | 国网宁夏电力有限公司信息通信公司 | 基于farima-lstm预测的电网主机动态阈值设定方法 |
CN113612650A (zh) * | 2021-06-07 | 2021-11-05 | 北京东方通科技股份有限公司 | 一种对边缘计算设备的监测方法 |
CN114168576A (zh) * | 2021-11-24 | 2022-03-11 | 阿里巴巴(中国)有限公司 | 物联网数据处理方法、设备及存储介质 |
CN114861835A (zh) * | 2022-07-04 | 2022-08-05 | 浙江大学 | 一种基于非对称卷积的噪声性听力损失预测系统 |
CN115759461A (zh) * | 2022-12-01 | 2023-03-07 | 华东师范大学 | 一种面向物联网的多元时间序列预测方法及系统 |
CN115766607A (zh) * | 2022-11-08 | 2023-03-07 | 陕西通信规划设计研究院有限公司 | 一种基于5g物联网的数据压缩传输方法 |
CN115914634A (zh) * | 2022-12-16 | 2023-04-04 | 苏州迈创信息技术有限公司 | 一种环境安防工程监测数据管理方法及系统 |
CN115987294A (zh) * | 2023-03-17 | 2023-04-18 | 北京悦知未来科技有限公司 | 一种物联网的多维数据处理方法 |
-
2023
- 2023-05-16 CN CN202310549147.5A patent/CN116320042B/zh active Active
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102143205A (zh) * | 2010-12-17 | 2011-08-03 | 无锡晶森物联科技有限公司 | 基于物联网技术的环境监测节点及系统 |
US20180284747A1 (en) * | 2016-05-09 | 2018-10-04 | StrongForce IoT Portfolio 2016, LLC | Methods and systems for optimization of data collection and storage using 3rd party data from a data marketplace in an industrial internet of things environment |
CN106250306A (zh) * | 2016-08-18 | 2016-12-21 | 电子科技大学 | 一种适用于企业级运维自动化平台的性能预测方法 |
CN107169268A (zh) * | 2017-04-20 | 2017-09-15 | 南京航空航天大学 | 一种基于趋势分段相似性的机场噪声监测点异常识别方法 |
CN108984870A (zh) * | 2018-06-29 | 2018-12-11 | 中国科学院深圳先进技术研究院 | 基于arima的冷库温湿度数据预测方法及相关产品 |
US20210209467A1 (en) * | 2018-09-25 | 2021-07-08 | Ennew Digital Technology Co., Ltd. | Method and device for predicting thermal load of electrical system |
CN109684310A (zh) * | 2018-11-22 | 2019-04-26 | 安徽继远软件有限公司 | 一种基于大数据分析的信息系统性能态势感知方法 |
CN111224830A (zh) * | 2018-11-23 | 2020-06-02 | 中国电信股份有限公司 | 数据监控方法、装置、物联网网元及计算机可读存储介质 |
CN109660423A (zh) * | 2018-12-06 | 2019-04-19 | 南京邮电大学 | 应用系统负载预测方法、可读存储介质和终端 |
CN110336860A (zh) * | 2019-06-13 | 2019-10-15 | 河海大学常州校区 | 工业物联网中基于多维数据处理的关键节点数据保护方法 |
CN110674996A (zh) * | 2019-09-27 | 2020-01-10 | 河南大学 | 一种城市交通噪声预测方法 |
CN111835836A (zh) * | 2020-06-24 | 2020-10-27 | 清科优能(深圳)技术有限公司 | 一种智慧物联网终端数据处理装置及方法 |
CN111860692A (zh) * | 2020-07-31 | 2020-10-30 | 国网重庆市电力公司电力科学研究院 | 一种基于K-mediod的物联网环境下的异常数据检测方法 |
CN112269769A (zh) * | 2020-11-18 | 2021-01-26 | 远景智能国际私人投资有限公司 | 数据压缩方法、装置、计算机设备及存储介质 |
CN113612650A (zh) * | 2021-06-07 | 2021-11-05 | 北京东方通科技股份有限公司 | 一种对边缘计算设备的监测方法 |
CN113435725A (zh) * | 2021-06-21 | 2021-09-24 | 国网宁夏电力有限公司信息通信公司 | 基于farima-lstm预测的电网主机动态阈值设定方法 |
CN114168576A (zh) * | 2021-11-24 | 2022-03-11 | 阿里巴巴(中国)有限公司 | 物联网数据处理方法、设备及存储介质 |
CN114861835A (zh) * | 2022-07-04 | 2022-08-05 | 浙江大学 | 一种基于非对称卷积的噪声性听力损失预测系统 |
CN115766607A (zh) * | 2022-11-08 | 2023-03-07 | 陕西通信规划设计研究院有限公司 | 一种基于5g物联网的数据压缩传输方法 |
CN115759461A (zh) * | 2022-12-01 | 2023-03-07 | 华东师范大学 | 一种面向物联网的多元时间序列预测方法及系统 |
CN115914634A (zh) * | 2022-12-16 | 2023-04-04 | 苏州迈创信息技术有限公司 | 一种环境安防工程监测数据管理方法及系统 |
CN115987294A (zh) * | 2023-03-17 | 2023-04-18 | 北京悦知未来科技有限公司 | 一种物联网的多维数据处理方法 |
Non-Patent Citations (3)
Title |
---|
SUNGWON YANG, JIHYOUNG KIM, MARIO GERLA: "Clinical quality guaranteed physiological data compression in mobile health monitoring", 《MOBILEHEALTH \'12: PROCEEDINGS OF THE 2ND ACM INTERNATIONAL WORKSHOP ON PERVASIVE WIRELESS 》 * |
王秀华;: "基于相似度分段的数据智能自适应压缩算法", 信息通信, no. 08 * |
郑祥盘;宋继萍;林洁;潘健鸿;林嘉祥;: "基于物联网的噪声在线监测系统设计与应用", 机电技术, no. 01 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116954342A (zh) * | 2023-09-18 | 2023-10-27 | 惠州市鑫晖源科技有限公司 | 基于物联网的全方位高效散热主机电源运行监测方法 |
CN116954342B (zh) * | 2023-09-18 | 2023-12-15 | 惠州市鑫晖源科技有限公司 | 基于物联网的全方位高效散热主机电源运行监测方法 |
CN116974258A (zh) * | 2023-09-25 | 2023-10-31 | 常熟理工学院 | 基于多维数据的生产过程监测方法 |
CN116974258B (zh) * | 2023-09-25 | 2023-12-08 | 常熟理工学院 | 基于多维数据的生产过程监测方法 |
CN117135686A (zh) * | 2023-10-24 | 2023-11-28 | 深圳市蓝鲸智联科技股份有限公司 | 一种基于蓝牙的车载信息交互方法及系统 |
CN117135686B (zh) * | 2023-10-24 | 2024-02-20 | 深圳市蓝鲸智联科技股份有限公司 | 一种基于蓝牙的车载信息交互方法及系统 |
CN117975742A (zh) * | 2024-03-29 | 2024-05-03 | 大连禾圣科技有限公司 | 基于大数据的智慧城市交通管理系统及方法 |
CN118090078A (zh) * | 2024-04-19 | 2024-05-28 | 山东艾克索仑电气有限公司 | 一种闭式循环水冷系统渗漏在线监测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116320042B (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116320042B (zh) | 边缘计算的物联终端监测控制系统 | |
CN113518011B (zh) | 异常检测方法和装置、电子设备及计算机可读存储介质 | |
CN117278643B (zh) | 基于云边协同的车载云标定数据传输系统 | |
CN110852476A (zh) | 客流预测方法、装置、计算机设备和存储介质 | |
CN109065176B (zh) | 一种血糖预测方法、装置、终端和存储介质 | |
CN113705809B (zh) | 一种数据预测模型训练方法、工业指标预测方法和装置 | |
US20220269988A1 (en) | Abnormality degree calculation system and abnormality degree calculation method | |
CN117407771B (zh) | 基于数字孪生的轴承健康状态评估方法、装置及相关设备 | |
CN116991841B (zh) | 一种用于混合风数据模型的数据智能清洗方法 | |
CN116992322A (zh) | 一种智慧城市数据中心管理系统 | |
CN115800245A (zh) | 基于sarima-随机森林组合模型的短期负荷预测方法 | |
CN118378199A (zh) | 一种大数据分析平台中的实时异常检测方法 | |
CN109325065B (zh) | 基于动态隐变量模型的多采样率软测量方法 | |
CN112949947A (zh) | 一种基于卷积长短期记忆网络的电力故障预警方法及系统 | |
CN115456168A (zh) | 强化学习模型的训练方法、能耗确定方法和装置 | |
CN113052219B (zh) | 一种异常轨迹检测方法及装置、电子设备 | |
CN114418037A (zh) | 一种基于人工智能的推杆故障分析方法 | |
JP2022104666A (ja) | 異常信号抽出装置 | |
CN116861286B (zh) | 一种基于模糊计算的多模态滑坡位移智能预测方法 | |
CN115022348A (zh) | 一种高端电池智能工厂云级架构数据存储方法 | |
CN116633705A (zh) | 基于复合自动编码器的工业控制系统异常检测方法及系统 | |
CN116166706A (zh) | 一种时序窗口确定方法、装置及电子设备 | |
CN114897332A (zh) | 基于环境信息自然耦合特征的输电线路故障概率确定方法、装置及存储介质 | |
CN118536060A (zh) | 基于模糊权重矩阵的代理购电用户用电评价模型构建方法 | |
CN114386196A (zh) | 一种板带力学性能预测准确性评估方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |