CN116595338A - 基于物联网工程信息采集处理系统 - Google Patents
基于物联网工程信息采集处理系统 Download PDFInfo
- Publication number
- CN116595338A CN116595338A CN202310880074.8A CN202310880074A CN116595338A CN 116595338 A CN116595338 A CN 116595338A CN 202310880074 A CN202310880074 A CN 202310880074A CN 116595338 A CN116595338 A CN 116595338A
- Authority
- CN
- China
- Prior art keywords
- noise
- power supply
- supply system
- sliding window
- window size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 48
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- 230000006855 networking Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 16
- 238000007405 data analysis Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 7
- 230000006978 adaptation Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000013480 data collection Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 238000010420 art technique Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Evolutionary Biology (AREA)
- Tourism & Hospitality (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Strategic Management (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明涉及数据处理领域,具体涉及基于物联网工程信息采集处理系统,所述系统包括:数据采集模块:采集各供电系统参数的供电系统数据序列;数据处理模块:根据滑动窗口内各二元组的频次得到滑动窗口尺寸的适应度,并自适应获取最佳滑动窗口尺寸,对供电系统数据序列进行划分得到子序列;初步提取噪点子序列,根据各疑似非噪点子序列之间的相关性得到各疑似非噪点子序列的异样值;计算各供电系统参数之间的关联性,并计算各疑似非噪点子序列的关联影响度;根据异样值及关联影响度得到各疑似非噪点子序列的噪点置信矩,提取所有的噪点子序列,完成供电系统数据的处理。从而实现供电系统数据的处理,具有较高处理效率。
Description
技术领域
本申请涉及数据处理领域,具体涉及基于物联网工程信息采集处理系统。
背景技术
目前,通过采集供电系统的实时数据,对检测并预防供电系统中的故障,提高供电系统的可靠性和稳定性至关重要。供电数据的采集主要通过传统的手动抄表方式或使用设备进行自动采集。然而,这些方式均存在一定的缺陷,比如抄表时间长、精度低、易受人为干扰等。随着信息技术的发展,智能化供电系统逐渐成为供电行业的发展方向,通过物联网工程能够对供电系统数据进行实时精确采集处理,提高了数据采集精度和效率。
而通过物联网工程采集供电系统数据的过程中难免会由于设备自身以及外界因素等,导致采集的数据存在诸多噪声数据,冗余数据,增大监测系统的运算负荷和计算精度,同时,也会对数据可信度以及数据异常检测造成影响。
综上所述,针对上述情况本发明提出基于物联网工程信息采集处理系统,通过物联网设备采集供电系统参数的数据,对各供电系统参数的供电系统数据序列进行子序列划分,初步提取噪点子序列,并结合各供电系统参数之间的关联性以及各供电系统数据之间的关系,分析各疑似非噪点子序列的噪点置信矩,对所有噪点子序列进行提取,实现供电系统数据采集的处理分析。
发明内容
为了解决上述技术问题,本发明提供基于物联网工程信息采集处理系统,所述系统包括:
数据采集模块、数据处理模块;
数据采集模块:采集各供电系统参数的数据,得到各供电系统参数所对应的供电系统数据序列;
数据处理模块:对于每个供电系统参数的供电系统数据序列,根据滑动窗口内各供电系统数据得到滑动窗口的各二元组;根据滑动窗口内各二元组的频次得到滑动窗口尺寸的适应度,根据滑动窗口尺寸的适应度得到最佳滑动窗口尺寸,通过最佳滑动窗口尺寸结合滑动步长对供电系统数据序列进行划分,得到供电系统数据序列的各子序列;将子序列内供电系统数据的个数小于数据量阈值的子序列作为噪点子序列,将除噪点子序列外的其他各子序列记为疑似非噪点子序列;
根据各疑似非噪点子序列之间的相关性得到各疑似非噪点子序列的异样值;根据各供电系统参数的历史正常数据序列得到各供电系统参数之间的关联性;根据各供电系统参数之间的关联性得到各疑似非噪点子序列的关联影响度;根据各疑似非噪点子序列的异样值及关联影响度得到各疑似非噪点子序列的噪点置信矩;
根据各疑似非噪点子序列的噪点置信矩得到各噪点子序列,提取各供电系统数据序列中的所有噪点,完成供电系统数据的处理。
优选的,所述根据滑动窗口内各供电系统数据得到滑动窗口的各二元组,包括的具体步骤为:将滑动窗口内任意两个数据进行组合,作为一个二元组,获取滑动窗口内的各二元组。
优选的,所述根据滑动窗口内各二元组的频次得到滑动窗口尺寸的适应度,表达
式为:
式中,为滑动窗口尺寸为W时的适应度,为归一化操作,为二元组i在
滑动窗口中出现的频次,为以10为底数的对数函数,为二元组的个数,分
别为二元组i中两个供电系统数据。
优选的,所述根据滑动窗口尺寸的适应度得到最佳滑动窗口尺寸,包括的具体步骤为:
预设滑动窗口尺寸适应度阈值;
当滑动窗口尺寸适应度小于滑动窗口尺寸适应度阈值时,将滑动窗口尺寸加1得到新的滑动窗口尺寸,再次计算新的滑动窗口尺寸的适应度,若新的滑动窗口尺寸的适应度依然小于滑动窗口尺寸适应度阈值,仍将新的滑动窗口尺寸加1,迭代更新计算,直至新的滑动窗口尺寸适应度等于滑动窗口尺寸适应度阈值停止滑动窗口尺寸的改动,此时对应的滑动窗口尺寸为最佳滑动窗口尺寸;
当滑动窗口尺寸适应度等于滑动窗口尺寸适应度阈值时,此时对应的滑动窗口尺寸为最佳滑动窗口尺寸;
当滑动窗口尺寸适应度大于滑动窗口尺寸适应度阈值时,将滑动窗口尺寸减1得到新的滑动窗口尺寸,再次计算新的滑动窗口尺寸的适应度,若新的滑动窗口尺寸的适应度依然小于滑动窗口尺寸适应度阈值,则仍将新的滑动窗口尺寸减1,迭代更新计算,直至新的滑动窗口尺寸适应度等于滑动窗口尺寸适应度阈值停止滑动窗口尺寸的改动,此时对应的滑动窗口尺寸为最佳滑动窗口尺寸。
优选的,所根据各疑似非噪点子序列之间的相关性得到各疑似非噪点子序列的异样值,具体为:
式中,为供电系统参数E的疑似非噪点子序列个数,分别为供电
系统参数E的疑似非噪点子序列j、o的数据均值,为供电系统参数E的疑似非噪点
子序列j与供电系统参数E的疑似非噪点子序列o之间的皮尔逊系数,为避免分母为零的极
小值,为供电系统参数E的疑似非噪点子序列j的异样值。
优选的,所述根据各供电系统参数的历史正常数据序列得到各供电系统参数之间的关联性,表达式为:
式中,为DTW距离,、分别为供电系统参数E、供电系统参数T的历史
正常数据序列,分别为供电系统参数E、供电系统参数T历史正常数据序列的数据均
值,为避免分母为零的极小值,分别为供电系统参数E、T的历史正常数据序列
拟合所得曲线的导数序列,e为自然常数,为供电系统参数E、T对应历史正常数据序列之间
的关联性。
优选的,所述根据各供电系统参数之间的关联性得到各疑似非噪点子序列的关联影响度,具体表达式为:
式中,M为供电系统参数总数,为供电系统参数T中的疑似非噪点子序列个数,为供电系统参数E的疑似非噪点子序列j与供电系统参数T的第s个疑似非噪点子
序列之间的关联性,为供电系统参数E历史正常数据序列与供电系统参数T对应历
史正常数据序列之间的关联性,为供电系统参数E的疑似非噪点子序列j的关
联影响度。
优选的,所述根据各疑似非噪点子序列的异样值及关联影响度得到各疑似非噪点子序列的噪点置信矩,表达式为:
式中,为供电系统参数E的疑似非噪点子序列的噪点置信矩,为归一化操作,为供电系统参数E的疑似非噪点子序列j的异样值,为供电系统参数E的疑似非噪点子序列的关联影响度。
优选的,所述根据各疑似非噪点子序列的噪点置信矩得到各噪点子序列,具体为:
预先设定噪点置信矩阈值,对于各疑似非噪点子序列,当疑似非噪点子序列的噪点置信矩高于噪点置信矩阈值时,对应疑似非噪点子序列作为噪点子序列。
本发明至少具有如下有益效果:
本发明通过对供电系统数据序列的分析,提取供电系统数据序列各子序列的特征,初步提取噪点子序列,并结合供电系统参数之间的关联性对各疑似非噪点子序列的噪点置信矩进行检测,实现对供电系统数据中噪点数据的提取,完成对所采集的供电系统数据的处理;
本发明结合滑动窗口内各二元组的频次构建滑动窗口尺寸适应度,根据滑动窗口尺寸适应度以自适应设定供电系统数据序列划分的滑动窗口尺寸,对各供电系统数据序列进行划分,通过自适应滑动窗口尺寸可保证滑动窗口内的供电系统数据具有较高的相似度,可提高数据分析效率,加快数据处理速度,便于数据的分析;对于初步判定为疑似非噪点的各子序列,本发明根据各疑似非噪点子序列之间的相关性分析各疑似非噪点子序列的异样值,并结合各供电系统参数之间的关联性对于各疑似非噪点子序列的关联影响度进行计算,通过分析各疑似非噪点子序列对供电系统参数之间关联性的影响,提高了疑似非噪点子序列噪点可能性的检测精度,避免仅通过单一维度特征检测疑似非噪点子序列的噪点判定误差,具有较高的噪点提取准确性。本发明具有较高的数据分析效率,数据处理速度快,噪点提取精度高等有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明提供的基于物联网工程信息采集处理系统的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于物联网工程信息采集处理系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于物联网工程信息采集处理系统的具体方案。
本发明一个实施例提供的基于物联网工程信息采集处理系统,该系统包含数据采集模块、数据处理模块。
具体的,本实施例的基于物联网工程信息采集处理系统提供了如下的基于物联网工程信息采集处理方法,请参阅图1,该方法包括以下步骤:
步骤S001,数据采集模块,通过物联网设备采集各供电系统参数的数据。
本实施例主要根据物联网设备采集供电系统的数据,并对供电系统采集数据进行分析及特征提取,根据各供电系统数据的特征提取供电系统数据中的噪点,实现供电系统数据的处理分析。本实施例中首先通过物联网设备对供电系统相关参数进行数据采集,获取供电系统各相关参数的数据。对于供电系统参数的数据采集,本实施例将设定数据采集频率,每隔5min进行一次数据采集,对于其他实施例的数据采集频率实施者可自行设定。通过物联网设备对各供电系统参数进行数据采集,每个供电系统参数可获取一个供电系统数据序列,需要说明的是,物联网设备采集供电系统数据为现有公知技术,可通过现有技术实现。同时,供电系统相关参数包括很多种,包括但不限于供电系统的功率、电压、供电量等参数,供电系统参数实施者可自行设置。
考虑到数据采集过程中存在缺失等现象,将会对供电系统数据的周期性产生较大的影响,因此,本实施例采用近邻插值算法对供电系统数据中的缺失值进行数据插值,获取供电系统数据集合。具体的近邻插值算法进行数据插值过程可通过现有技术实现,不在本实施例保护范围内,在此不做相关一一详细阐述。
根据本实施例上述方法对供电系统各相关参数的数据进行采集,得到各供电系统参数的供电系统数据序列。
步骤S002,数据处理模块,对各供电系统参数的供电系统数据序列进行子序列划分,分析各子序列的噪点可能性,提取各噪点子序列,实现供电系统数据的处理。
对于供电系统数据集合,考虑到物联网设备在对供电系统各相关参数进行数据采集过程中,外界因素以及设备自身因素等噪声的影响将会导致所采集的供电系统数据中存在大量噪点,影响供电系统的数据分析效果。因此,本实施例将设定数据处理模块,用于对供电系统数据集合中各供电系统数据进行特征分析,对噪点子序列进行初步快速提取,并计算各疑似非噪点子序列的噪点置信矩,以实现对供电系统数据中所有噪点数据的准确提取,避免噪点对供电系统数据采集精度的影响。
本实施例中数据处理模块主要包括以下步骤:
首先,本实施例将根据供电系统数据集合中同一供电系统参数所对应的数据进行
分析,对于每个供电系统参数的供电系统数据序列,以其中任意一个供电系统参数的供电
系统数据序列为例进行详细说明,本实施例将通过尺寸为1*W的滑动窗口对供电系统参数
的供电系统数据序列从左到右依次进行滑动,以划分供电系统数据序列,得到各个子序列。
滑动步长实施者可自行设定,本实施例设定为d=1。为提高供电系统数据分析效率,加快数
据处理速度,本实施例将对滑动窗口尺寸进行自适应设定,首先设定初始滑动尺寸W=5,根
据滑动窗口内的数据变化情况对滑动窗口尺寸的适应度进行计算,本实施例将滑动窗口内
任意两个数据的组合作为一个二元组,则可得到个二元组,从左到右统计滑动窗口中每
个二元组出现的频次,获取各个二元组在对应滑动窗口中出现的频次,根据滑动窗口内各
二元组的频次得到滑动窗口尺寸的适应度,表达式为:
式中,为滑动窗口尺寸为W时的适应度,为归一化操作,通过归一化
处理便于根据归一化后的滑动窗口尺寸适应度对供电系统数据序列划分的滑动窗口尺寸
进行自适应设定,为二元组i在滑动窗口中出现的频次,为以10为底数的对数函数,为二元组的个数,分别为二元组i中两个供电系统数据。分子主要用于对滑动窗口内的供电系统数据分布规律性、凌乱程度进行
检测,分子越大,则滑动窗口内的供电系统数据分布越凌乱,数据越不均匀;分母主要用于表征滑动窗口内供电系统数据的局部稳定程度,分母越大,滑动
窗口内的数据越稳定,局部数据分布越均匀。因此,滑动窗口尺寸适应度越小,则滑动窗口
内的供电系统数据分布越稳定,滑动窗口尺寸应该适当加大,以提高数据分析速度,滑动窗
口尺寸适应度越大,则窗口内的供电系统数据波动以及分布越分散,滑动窗口尺寸可以适
当缩小,以保证滑动窗口内的供电系统数据相似度;
因此,本实施例将根据滑动窗口尺寸的适应度得到最佳滑动窗口尺寸,具体为:本实施例将设定滑动窗口尺寸适应度阈值,当滑动窗口尺寸适应度小于滑动窗口尺寸适应度阈值时,将滑动窗口尺寸加1得到新的滑动窗口尺寸,再次计算新的滑动窗口尺寸的适应度,若新的滑动窗口尺寸的适应度依然小于滑动窗口尺寸适应度阈值,则将新的滑动窗口尺寸加1,迭代进行上述操作,直至新的滑动窗口尺寸适应度等于滑动窗口尺寸适应度阈值,停止滑动窗口尺寸的改动,此时对应的滑动窗口尺寸为最佳滑动窗口尺寸;当滑动窗口尺寸适应度等于滑动窗口尺寸适应度阈值时,则此时对应的滑动窗口尺寸为最佳滑动窗口尺寸;当滑动窗口尺寸适应度大于滑动窗口尺寸适应度阈值时,将滑动窗口尺寸减1得到新的滑动窗口尺寸,再次计算新的滑动窗口尺寸的适应度,若新的滑动窗口尺寸的适应度依然小于滑动窗口尺寸适应度阈值,则将新的滑动窗口尺寸减1,迭代进行上述操作,直至新的滑动窗口尺寸适应度等于滑动窗口尺寸适应度阈值,停止滑动窗口尺寸的改动,此时对应的滑动窗口尺寸为最佳滑动窗口尺寸;
通过本实施例上述方法可实现对滑动窗口在供电系统数据划分过程中的最佳滑动窗口尺寸进行自适应设定,根据最佳滑动窗口尺寸得到供电系统数据序列的各子序列,需要说明的是,本实施例中滑动窗口的滑动步长为1,因此,每滑动一次均以初始滑动窗口尺寸为起始尺寸,并通过本实施例上述方法对起始尺寸进行自适应调整得到最佳滑动窗口尺寸;
对供电系统数据系列的各子序列进行分析,先根据各子序列内的供电系统数据的个数对供电系统数据的噪点进行初步快速判定:考虑到噪点具有孤立及随机分布特征,因此,本实施例将子序列内供电系统数据的个数小于数据量阈值的子序列作为噪点子序列,数据量阈值的设定实施者可自行设定,本实施例设定为3;
根据本实施例上述供电系统数据序列各子序列的获取方法,对各供电系统参数的供电系统数据序列进行划分,得到各供电系统参数对应供电系统数据序列的各子序列;
根据本实施例上述噪点子序列提取方法,获取各供电系统参数的噪点子序列;
对于供电系统数据序列的各子序列,将除噪点子序列外的其他各子序列记为疑似非噪点子序列,对于各疑似非噪点子序列,数据采集过程中当存在设备噪声、设备振动等因素导致的噪点存在时,针对这种情况下产生的噪点具有随机性、短暂持续特征,因此,本实施例将根据各疑似非噪点子序列之间的相关性得到各疑似非噪点子序列的异样值,表达式为:
式中,为供电系统参数E的疑似非噪点子序列个数,分别为供电
系统参数E的疑似非噪点子序列j、o的数据均值,为供电系统参数E的疑似非噪点
子序列j与供电系统参数E的疑似非噪点子序列o之间的皮尔逊系数,需要说明的是,皮尔逊
系数的计算可通过现有技术实现,为避免分母为零的极小值,实施者可自行设定,本实施
例设定为,为供电系统参数E的疑似非噪点子序列j的异样值,异样值越
大,则疑似非噪点子序列根据其他子序列之间的相似程度越小,为噪点子序列的可能性越
大,用于对各疑似非噪点子序列的噪点可能性进行检测;
同时,为提高疑似非噪点子序列的噪点检测精度,本实施例将根据不同供电系统参数之间的关联情况对每个供电系统参数的各疑似非噪点子序列进行进一步的分析,正常情况下,不存在噪点影响时,不同供电系统参数之间的关联情况是固定的,而当存在噪点影响时将会导致供电系统参数之间的关联性出现偏差,使得供电系统参数之间的关联性发生变化,因此,本实施例将根据各供电系统参数的历史正常数据序列得到各供电系统参数之间的关联性,表达式为:
式中,为DTW距离,、分别为供电系统参数E、供电系统参数T的历史
正常数据序列,分别为供电系统参数E、供电系统参数T历史正常数据序列的数据均
值,需要说明的是,对于供电系统参数历史正常数据序列长度的设定实施者可自行设定,本
实施例设定为300,同时对于供电系统参数的历史正常数据序列内各正常数据的选取实施
者可根据实际情况自行选取,为避免分母为零的极小值,实施者可自行设定,本实施例设定
为,分别为供电系统参数E、T的历史正常数据序列拟合所得曲线的导
数序列,需要说明的是,历史正常数据序列进行曲线拟合的过程可通过现有技术实现,同时
导数的计算为现有公知计算方法,不在本实施例保护范围内,不做相关详细一一阐述,e为
自然常数,为供电系统参数E、T对应历史正常数据序列之间的关联性,关联性越大,
则两个供电系统参数对应的供电系统数据之间的关系越紧密,相关性越高。需要说明的是,
序列之间的DTW距离的计算可通过现有技术实现;
根据本实施例上述方法,得到任意两个供电系统参数之间的关联性,用于对所采集的供电系统参数的数据噪声情况进行分析;
根据各供电系统参数之间的关联性得到各疑似非噪点子序列的关联影响度,表达式为:
式中,M为供电系统参数总数,为供电系统参数T中的疑似非噪点子序列个数,为供电系统参数E的疑似非噪点子序列j与供电系统参数T的第s个疑似非噪点子
序列之间的关联性,为供电系统参数E历史正常数据序列与供电系统参数T对应历
史正常数据序列之间的关联性,为供电系统参数E的疑似非噪点子序列j的关
联影响度,主要用于检测疑似非噪点子序列对所属供电系统参数与其关供电系统参数之间
关联性的影响情况,关联影响度越大,则疑似非噪点子序列j的所属供电系统
参数E与其他供电系统参数的关联性,相比历史正常数据在正常情况下供电系统参数E与其
他供电系统参数之间的关联性差异较大,也即疑似非噪点子序列改变了其所属供电系统参
数与其他供电系统参数之间的关联性,则疑似非噪点子序列为短暂持续性噪点的可能性越
大;
进一步,本实施例将对各疑似非噪点子序列的噪点状况进行判定,根据各疑似非噪点子序列的异样值及关联影响度得到各疑似非噪点子序列的噪点置信矩,表达式为:
式中,为供电系统参数E的疑似非噪点子序列的噪点置信矩,为归一化操作,为供电系统参数E的疑似非噪点子序列j的异样值,为供电系统参数E的疑似非噪点子序列的关联影响度。噪点置信矩主要用于对
疑似非噪点子序列进行噪点判定,噪点置信矩越大,则对应疑似非噪点子序列内数据为噪
点的可能性越大;
根据本实施例上述疑似非噪点子序列噪点置信矩的计算方法,获取各疑似非噪点子序列的噪点置信矩,并设定噪点置信矩阈值,具体取值实施者可自行设定,本实施例将噪点置信矩阈值设定为0.7,当疑似非噪点子序列的噪点置信矩高于噪点置信矩阈值时,则对应疑似非噪点子序列为噪点子序列,其内的供电系统数据为噪点;
重复上述方法,获取各供电系统参数中的所有噪点子序列,实现对各供电系统参数采集的供电系统数据序列进行噪声处理,提高数据精度。
根据本实施例上述噪点子序列提取方法,可实现对物联网设备所采集的各供电系统数据中的噪点进行提取,提高供电系统数据精度,保证数据可信度,防止噪点对数据分析效果的影响。
综上所述,本发明实施例通过对供电系统数据序列的分析,提取供电系统数据序列各子序列的特征,初步提取噪点子序列,并结合供电系统参数之间的关联性对各疑似非噪点子序列的噪点置信矩进行检测,实现对供电系统数据中噪点数据的提取,完成对所采集的供电系统数据的处理;
本发明实施例结合滑动窗口内各二元组的频次构建滑动窗口尺寸适应度,根据滑动窗口尺寸适应度以自适应设定供电系统数据序列划分的滑动窗口尺寸,对各供电系统数据序列进行划分,通过自适应滑动窗口尺寸可保证滑动窗口内的供电系统数据具有较高的相似度,可提高数据分析效率,加快数据处理速度,便于数据的分析;
对于初步判定为疑似非噪点的各子序列,本发明实施例根据各疑似非噪点子序列之间的相关性分析各疑似非噪点子序列的异样值,并结合各供电系统参数之间的关联性对于各疑似非噪点子序列的关联影响度进行计算,通过分析各疑似非噪点子序列对供电系统参数之间关联性的影响,提高了疑似非噪点子序列噪点可能性的检测精度,避免仅通过单一维度特征检测疑似非噪点子序列的噪点判定误差,具有较高的噪点提取准确性。本发明实施例具有较高的数据分析效率,数据处理速度快,噪点提取精度高等有益效果。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.基于物联网工程信息采集处理系统,所述系统包括数据采集模块和数据处理模块,数据采集模块:采集各供电系统参数的数据,得到各供电系统参数所对应的供电系统数据序列,其特征在于,
数据处理模块:对于每个供电系统参数的供电系统数据序列,根据滑动窗口内各供电系统数据得到滑动窗口的各二元组;根据滑动窗口内各二元组的频次得到滑动窗口尺寸的适应度,根据滑动窗口尺寸的适应度得到最佳滑动窗口尺寸,通过最佳滑动窗口尺寸结合滑动步长对供电系统数据序列进行划分,得到供电系统数据序列的各子序列;将子序列内供电系统数据的个数小于数据量阈值的子序列作为噪点子序列,将除噪点子序列外的其他各子序列记为疑似非噪点子序列;
根据各疑似非噪点子序列之间的相关性得到各疑似非噪点子序列的异样值;根据各供电系统参数的历史正常数据序列得到各供电系统参数之间的关联性;根据各供电系统参数之间的关联性得到各疑似非噪点子序列的关联影响度;根据各疑似非噪点子序列的异样值及关联影响度得到各疑似非噪点子序列的噪点置信矩;
根据各疑似非噪点子序列的噪点置信矩得到各噪点子序列,提取各供电系统数据序列中的所有噪点,完成供电系统数据的处理。
2.如权利要求1所述的基于物联网工程信息采集处理系统,其特征在于,所述根据滑动窗口内各供电系统数据得到滑动窗口的各二元组,包括的具体步骤为:将滑动窗口内任意两个数据进行组合,作为一个二元组,获取滑动窗口内的各二元组。
3.如权利要求1所述的基于物联网工程信息采集处理系统,其特征在于,所述根据滑动窗口内各二元组的频次得到滑动窗口尺寸的适应度,表达式为:式中,/>为滑动窗口尺寸为W时的适应度,为归一化操作, />为二元组i在滑动窗口中出现的频次,/>为以10为底数的对数函数,/>为二元组的个数,/>分别为二元组i中两个供电系统数据。
4.如权利要求1所述的基于物联网工程信息采集处理系统,其特征在于,所述根据滑动窗口尺寸的适应度得到最佳滑动窗口尺寸,包括的具体步骤为:
预设滑动窗口尺寸适应度阈值;
当滑动窗口尺寸适应度小于滑动窗口尺寸适应度阈值时,将滑动窗口尺寸加1得到新的滑动窗口尺寸,再次计算新的滑动窗口尺寸的适应度,若新的滑动窗口尺寸的适应度依然小于滑动窗口尺寸适应度阈值,仍将新的滑动窗口尺寸加1,迭代更新计算,直至新的滑动窗口尺寸适应度等于滑动窗口尺寸适应度阈值停止滑动窗口尺寸的改动,此时对应的滑动窗口尺寸为最佳滑动窗口尺寸;
当滑动窗口尺寸适应度等于滑动窗口尺寸适应度阈值时,此时对应的滑动窗口尺寸为最佳滑动窗口尺寸;
当滑动窗口尺寸适应度大于滑动窗口尺寸适应度阈值时,将滑动窗口尺寸减1得到新的滑动窗口尺寸,再次计算新的滑动窗口尺寸的适应度,若新的滑动窗口尺寸的适应度依然小于滑动窗口尺寸适应度阈值,则仍将新的滑动窗口尺寸减1,迭代更新计算,直至新的滑动窗口尺寸适应度等于滑动窗口尺寸适应度阈值停止滑动窗口尺寸的改动,此时对应的滑动窗口尺寸为最佳滑动窗口尺寸。
5.如权利要求1所述的基于物联网工程信息采集处理系统,其特征在于,所根据各疑似非噪点子序列之间的相关性得到各疑似非噪点子序列的异样值,具体为:
式中,/>为供电系统参数E的疑似非噪点子序列个数,/>分别为供电系统参数E的疑似非噪点子序列j、o的数据均值,/>为供电系统参数E的疑似非噪点子序列j与供电系统参数E的疑似非噪点子序列o之间的皮尔逊系数,/>为避免分母为零的极小值,/>为供电系统参数E的疑似非噪点子序列j的异样值。
6.如权利要求1所述的基于物联网工程信息采集处理系统,其特征在于,所述根据各供电系统参数的历史正常数据序列得到各供电系统参数之间的关联性,表达式为:
式中,/>为DTW距离,/>、/>分别为供电系统参数E、供电系统参数T的历史正常数据序列, />分别为供电系统参数E、供电系统参数T历史正常数据序列的数据均值, />为避免分母为零的极小值, />分别为供电系统参数E、T的历史正常数据序列拟合所得曲线的导数序列,e为自然常数,/>为供电系统参数E、T对应历史正常数据序列之间的关联性。
7.如权利要求1所述的基于物联网工程信息采集处理系统,其特征在于,所述根据各供电系统参数之间的关联性得到各疑似非噪点子序列的关联影响度,具体表达式为:
式中,M为供电系统参数总数,/>为供电系统参数T中的疑似非噪点子序列个数,/>为供电系统参数E的疑似非噪点子序列j与供电系统参数T的第s个疑似非噪点子序列之间的关联性,/>为供电系统参数E历史正常数据序列与供电系统参数T对应历史正常数据序列之间的关联性, />为供电系统参数E的疑似非噪点子序列j的关联影响度。
8.如权利要求1所述的基于物联网工程信息采集处理系统,其特征在于,所述根据各疑似非噪点子序列的异样值及关联影响度得到各疑似非噪点子序列的噪点置信矩,表达式为:
式中,/>为供电系统参数E的疑似非噪点子序列的噪点置信矩, />为归一化操作,/>为供电系统参数E的疑似非噪点子序列j的异样值,/>为供电系统参数E的疑似非噪点子序列的关联影响度。
9.如权利要求1所述的基于物联网工程信息采集处理系统,其特征在于,所述根据各疑似非噪点子序列的噪点置信矩得到各噪点子序列,具体为:
预先设定噪点置信矩阈值,对于各疑似非噪点子序列,当疑似非噪点子序列的噪点置信矩高于噪点置信矩阈值时,对应疑似非噪点子序列作为噪点子序列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310880074.8A CN116595338B (zh) | 2023-07-18 | 2023-07-18 | 基于物联网工程信息采集处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310880074.8A CN116595338B (zh) | 2023-07-18 | 2023-07-18 | 基于物联网工程信息采集处理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116595338A true CN116595338A (zh) | 2023-08-15 |
CN116595338B CN116595338B (zh) | 2023-09-08 |
Family
ID=87606649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310880074.8A Active CN116595338B (zh) | 2023-07-18 | 2023-07-18 | 基于物联网工程信息采集处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116595338B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102539911A (zh) * | 2012-01-13 | 2012-07-04 | 广东电网公司电力科学研究院 | 物联网架构下的电能智能计量系统 |
CN105260910A (zh) * | 2015-09-30 | 2016-01-20 | 谢乐 | 智能用电奖励管理系统和方法 |
CN105717888A (zh) * | 2014-12-05 | 2016-06-29 | 克拉玛依红有软件有限责任公司 | 一种基于物联网传感数据的噪点过滤系统及智能预警系统 |
CN109591854A (zh) * | 2018-11-26 | 2019-04-09 | 万菊仙 | 基于电力物联网的火车调度监测方法 |
CN115409131A (zh) * | 2022-10-28 | 2022-11-29 | 武汉惠强新能源材料科技有限公司 | 基于spc过程管控系统的生产线异常检测方法 |
CN115944874A (zh) * | 2023-02-20 | 2023-04-11 | 云南诺盾消防工程技术有限公司 | 一种基于物联网的智慧消防定点灭火系统 |
WO2023083026A1 (zh) * | 2021-11-12 | 2023-05-19 | 华为技术有限公司 | 一种数据采集方法、系统以及相关装置 |
CN116237817A (zh) * | 2023-05-06 | 2023-06-09 | 济南章力机械有限公司 | 基于物联网的五轴联动数控机床智能监测系统 |
-
2023
- 2023-07-18 CN CN202310880074.8A patent/CN116595338B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102539911A (zh) * | 2012-01-13 | 2012-07-04 | 广东电网公司电力科学研究院 | 物联网架构下的电能智能计量系统 |
CN105717888A (zh) * | 2014-12-05 | 2016-06-29 | 克拉玛依红有软件有限责任公司 | 一种基于物联网传感数据的噪点过滤系统及智能预警系统 |
CN105260910A (zh) * | 2015-09-30 | 2016-01-20 | 谢乐 | 智能用电奖励管理系统和方法 |
CN109591854A (zh) * | 2018-11-26 | 2019-04-09 | 万菊仙 | 基于电力物联网的火车调度监测方法 |
WO2023083026A1 (zh) * | 2021-11-12 | 2023-05-19 | 华为技术有限公司 | 一种数据采集方法、系统以及相关装置 |
CN115409131A (zh) * | 2022-10-28 | 2022-11-29 | 武汉惠强新能源材料科技有限公司 | 基于spc过程管控系统的生产线异常检测方法 |
CN115944874A (zh) * | 2023-02-20 | 2023-04-11 | 云南诺盾消防工程技术有限公司 | 一种基于物联网的智慧消防定点灭火系统 |
CN116237817A (zh) * | 2023-05-06 | 2023-06-09 | 济南章力机械有限公司 | 基于物联网的五轴联动数控机床智能监测系统 |
Non-Patent Citations (2)
Title |
---|
CHUNHE SONG 等: "Edge-Intelligence-Based Condition Monitoring of Beam Pumping Units Unter Heavy Noise in Industrial Internet of Things for Industry", 《IEEE INTERNET OF THINGS JOURNAL》, vol. 10, no. 4, pages 3037 - 3046, XP011934206, DOI: 10.1109/JIOT.2022.3141382 * |
苏盛 等: "电力物联网终端安全防护研究综述", 《高电压技术》, vol. 48, no. 2, pages 513 - 525 * |
Also Published As
Publication number | Publication date |
---|---|
CN116595338B (zh) | 2023-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117057517B (zh) | 基于数字孪生的电力数据高效处理方法及系统 | |
CN117034043B (zh) | 基于多能源物联网的智慧建筑综合能耗监测方法及系统 | |
CN113225209B (zh) | 一种基于时间序列相似检索的网络监控实时预警方法 | |
CN117238058B (zh) | 基于数据分析的汽车用起动机监测方法 | |
CN108435819B (zh) | 一种铝型材挤压机能耗异常检测方法 | |
CN116865269B (zh) | 一种风电机组高谐波补偿方法及系统 | |
CN109214318B (zh) | 一种寻找非稳态时间序列微弱尖峰的方法 | |
CN111382906A (zh) | 一种电力负荷预测方法、系统、设备和计算机可读存储介质 | |
CN116320043B (zh) | 一种提高多载波通信系统传输效率的方法及系统 | |
CN115081331A (zh) | 一种基于状态参数重构误差的风电机组运行状态异常检测方法 | |
CN111161097A (zh) | 基于假设检验的事件检测算法检测开关事件的方法和装置 | |
CN117290788B (zh) | 一种基于改进小波变换算法的配电网故障辨识方法及系统 | |
CN116595338B (zh) | 基于物联网工程信息采集处理系统 | |
CN117092980B (zh) | 一种基于大数据的电气故障检测控制系统 | |
CN109580224A (zh) | 滚动轴承故障实时监测方法 | |
CN117172601A (zh) | 一种基于残差全卷积神经网络的非侵入式负荷监测方法 | |
CN113553545B (zh) | 小电流电器的事件检测方法及系统、设备、存储介质 | |
CN113889147A (zh) | 一种基于动态时间弯曲算法的机械系统声纹信号匹配方法 | |
CN109669932B (zh) | 一种基于次序依赖的电力数据集修复方法 | |
CN111460005B (zh) | 一种基于jsd的时序数据的离群点检测方法 | |
CN112183813B (zh) | 一种基于优化稀疏编码的超短期负荷滚动多步预测方法 | |
CN118090078B (zh) | 一种闭式循环水冷系统渗漏在线监测方法 | |
CN117273547B (zh) | 基于边缘计算的生产设备运行数据处理方法 | |
CN118391249B (zh) | 大型水泵运行状态监测数据处理方法及装置 | |
CN117931897B (zh) | 一种加热装置温度数据运行监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |