CN116319052B - 一种量测数据的完整性校验方法及系统、电子设备、介质 - Google Patents
一种量测数据的完整性校验方法及系统、电子设备、介质 Download PDFInfo
- Publication number
- CN116319052B CN116319052B CN202310372637.2A CN202310372637A CN116319052B CN 116319052 B CN116319052 B CN 116319052B CN 202310372637 A CN202310372637 A CN 202310372637A CN 116319052 B CN116319052 B CN 116319052B
- Authority
- CN
- China
- Prior art keywords
- data
- integrity
- model
- gateway equipment
- data message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000005259 measurement Methods 0.000 title claims description 19
- 238000012795 verification Methods 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 11
- 238000013496 data integrity verification Methods 0.000 claims description 10
- 238000013480 data collection Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000011144 upstream manufacturing Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 16
- 238000012545 processing Methods 0.000 abstract description 14
- 230000007246 mechanism Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000001914 filtration Methods 0.000 abstract description 2
- 230000001172 regenerating effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
- H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
本发明公开了一种量测数据的完整性校验方法及系统、电子设备、介质,该方法通过构建数据完整性校验模型并在网关设备处部署哨兵,利用哨兵机制基于数据完整性校验模型对网关设备生成的数据报文进行完整性校验,若校验通过则上传数据报文,若检验失败则重新生成数据报文,可以过滤掉一些不完整的数据,降低了不完整数据传输至量测中心的概率,提高了量测中心收集到的数据质量,并且,若再次校验失败则直接将数据报文标记为不完整数据并上传,在提高数据完整性的同时有利于降低数据传输的时延,提高数据处理效率,满足应用层对数据的实时性要求。
Description
技术领域
本发明涉及电力物联网技术领域,特别地,涉及一种量测数据的完整性校验方法及系统、电子设备、计算机可读取的存储介质。
背景技术
随着电力物联网的快速发展,接入物联网的设备与日俱增,物联网技术与其他先进技术的结合进一步提高了电网数字化程度,有效提高了发、输、变、配、用这五个环节的生产效率。当前,大多数应用是基于设备上报的数据实现现场状态分析等功能,这意味着数据的完整性和有效性对于上层应用来说至关重要。企业级实时量测中心(简称量测中心)作为一个实时数据中心,汇聚了海量的实时数据,包括各类电力与非电力数据,这些数据来自不同的系统。同时,量测中心还具备高效的数据处理和分发能力,能为上层应用提供实时的数据支撑。虽然,海量的设备为量测中心提供了丰富的数据,进而为各类应用的运转提供了强有力的数据支撑,但是,一方面由于设备的数量和种类的增加,使得处理数据的复杂度倍增,此外,较差的通信环境和其他意外事件使得数据在传输和处理的过程中面临丢失的风险,另一方面,随着业务应用和范围的拓展,数据传输和处理的链路越来越长,进一步使得数据在传输和处理过程中出现缺失的概率更大。而数据的完整性对上层应用有着关键作用,低质量的数据会降低应用的性能,严重的情况还可能会造成重大决策失误。而在当前的电力物联网平台中缺乏识别设备上报数据完整性的方法,因此,亟需设计一种可行的量测数据完整性校验方法,来完善平台的功能,提高分发至上层应用的数据的完整性,增强电网安全稳定运行水平。
发明内容
本发明提供了一种量测数据的完整性校验方法及系统、电子设备、计算机可读取的存储介质,以解决现有技术中无法识别设备上报数据完整性的技术问题。
根据本发明的一个方面,提供一种量测数据的完整性校验方法,包括以下内容:
构建数据完整性校验模型;
在网关设备处部署哨兵,并将构建的数据完整性校验模型分发至哨兵;
在网关设备采集感知数据并生成数据报文后,利用哨兵基于数据完整性校验模型对数据报文进行完整性校验,若校验通过则将数据报文上报至数据采集系统,若校验不通过则要求网关设备重新采集感知数据并再次生成数据报文,若重新生成的数据报文再次校验不通过则将该数据报文标记为不完整数据并上报至数据采集系统。
进一步地,所述构建数据完整性校验模型的过程具体为:
采集网关设备T天上报的完整历史数据,其中,网关设备每天上报的数据量为K,从而得到该网关设备的维度为T×K的训练集,训练集中的每个数据为非负整数,每个数据的值表示网关设备在该时刻上报的数据量;
对于每个时刻维度k∈{1,2,…,K},从训练集中对应取出维度为T×1的训练数据向量R,并基于训练数据向量R构建对应时刻上报数据量的概率模型,从而得到网关设备不同时刻上报数据量的校验模型。
进一步地,概率模型的表达式为:
G={rk|P(rk);rk∈γk},k∈{1,2,...,K}
其中,G表示网关设备上报数据量的概率模型,rk表示网关设备k时刻上报的数据量,P(rk)表示值rk出现的概率,Pt表示训练数据向量R中第t条数据所占的权重,Pt=eα(t-T),t∈{1,2,...,T},α表示时间衰减因子,Mr表示训练数据向量R中值为rk组成的子集,Pi表示子集Mr中的第i条数据在训练数据向量R中所占的权重,γk表示rk可能的取值集合。
进一步地,所述基于数据完整性校验模型对数据报文进行完整性校验的过程具体为:
获取网关设备生成数据报文的当前时刻和当前上报数据量,根据当前时刻选择对应的概率模型,基于该概率模型计算得到当前上报数据量的概率值,若该概率值不小于预设阈值则判定校验通过,否则判定校验不通过。
进一步地,所述预设阈值基于下式自适应得到:
其中,表示k时刻对应概率模型的预设阈值,maxval和minval分别表示集合ψk中的最大值和最小值,ψk表示γk对应的概率集合,σ表示集合ψk的标准差。
进一步地,还包括以下内容:
在数据采集系统和量测中心部署哨兵,并将数据完整性校验模型分发至哨兵以进行完整性校验,若校验通过则将数据报文上报,若校验不通过则要求上游节点重传数据并再次进行校验,若再次校验不通过则将该数据报文标记为不完整数据并上报,若接收的数据报文被标记为不完整数据则直接上报。
进一步地,还包括以下内容:
在数据使用过程中采集完整数据,并利用完整数据对数据完整性校验模型进行更新。
另外,本发明还提供一种量测数据的完整性校验系统,包括:
模型构建模块,用于构建数据完整性校验模型;
哨兵部署模块,用于在网关设备处部署哨兵,并将构建的数据完整性校验模型分发至哨兵;
完整性校验模块,用于在网关设备采集感知数据并生成数据报文后,利用哨兵基于数据完整性校验模型对数据报文进行完整性校验,若校验通过则将数据报文上报至数据采集系统,若校验不通过则要求网关设备重新采集感知数据并再次生成数据报文,若重新生成的数据报文再次校验不通过则将该数据报文标记为不完整数据并上报至数据采集系统。
另外,本发明还提供一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行如上所述的方法的步骤。
另外,本发明还提供一种计算机可读取的存储介质,用于存储对量测数据的完整性进行校验的计算机程序,所述计算机程序在计算机上运行时执行如上所述的方法的步骤。
本发明具有以下效果:
本发明的量测数据的完整性校验方法,通过构建数据完整性校验模型并在网关设备处部署哨兵,利用哨兵机制基于数据完整性校验模型对网关设备生成的数据报文进行完整性校验,若校验通过则上传数据报文,若检验失败则重新生成数据报文,可以过滤掉一些不完整的数据,降低了不完整数据传输至量测中心的概率,提高了量测中心收集到的数据质量,并且,若再次校验失败则直接将数据报文标记为不完整数据并上传,在提高数据完整性的同时有利于降低数据传输的时延,提高数据处理效率,满足应用层对数据的实时性要求。
另外,本发明的量测数据的完整性校验系统同样具有上述优点。
除了上面所描述的目的、特征和优点之外,本发明还有其它的目的、特征和优点。下面将参照图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明优选实施例的电力物联网的系统架构示意图。
图2是本发明优选实施例的量测数据的完整性校验方法的流程示意图。
图3是本发明另一实施例的量测数据的完整性校验方法的流程示意图。
图4是本发明又一实施例的量测数据的完整性校验方法的流程示意图。
图5是本发明中网关设备上传数据报文的逻辑流程示意图。
图6是本发明另一实施例的量测数据的完整性校验系统的模块结构示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明,但是本发明可以由下述所限定和覆盖的多种不同方式实施。
可以理解,如图1所示,电力物联网的系统架构可分为五层,自底向上分别为感知设备层、网关设备层、数据采集系统(包括用户用电信息采集系统、物联管理平台等平级系统)、实时量测中心、应用层,其中,每个网关设备下接入了若干的感知设备,网关设备是具有一定通信、计算和存储能力的边缘计算设备,感知设备则是具有感知能力的终端,网关设备收集感知设备感知的数据,然后处理感知数据并上报给量测中心。网关设备数据传输链路上的关键节点包括网关设备、数据采集系统、量测中心,例如,一条数据上报的传输链路如下:网关设备收集需要上报的感知设备的感知数据,数据传输到物联管理平台处理后分发给量测中心,量测中心处理实时数据并集成其他系统的数据后提供给上层应用。假设量测中心可以发现数据的不完整性,但是数据的不完整性是在使用数据后才可发现,存在一定的滞后性,即数据上报时未能发现其不完整,只有在解析数据报文后应用时提取不到部分所需的数据时才能发现数据不完整。因此,为了提高量测中心收集到的数据的完整性,如图2所示,本发明的优选实施例提供一种量测数据的完整性校验方法,具体包括以下内容:
步骤S1:构建数据完整性校验模型;
步骤S2:在网关设备处部署哨兵,并将构建的数据完整性校验模型分发至哨兵;
步骤S3:在网关设备采集感知数据并生成数据报文后,利用哨兵基于数据完整性校验模型对数据报文进行完整性校验,若校验通过则将数据报文上报至数据采集系统,若校验不通过则要求网关设备重新采集感知数据并再次生成数据报文,若重新生成的数据报文再次校验不通过则将该数据报文标记为不完整数据并上报至数据采集系统。
可以理解,本实施例的量测数据的完整性校验方法,通过构建数据完整性校验模型并在网关设备处部署哨兵,利用哨兵机制基于数据完整性校验模型对网关设备生成的数据报文进行完整性校验,若校验通过则上传数据报文,若检验失败则重新生成数据报文,可以过滤掉一些不完整的数据,降低了不完整数据传输至量测中心的概率,提高了量测中心收集到的数据质量,并且,若再次校验失败则直接将数据报文标记为不完整数据并上传,在提高数据完整性的同时有利于降低数据传输的时延,提高数据处理效率,满足应用层对数据的实时性要求。
可以理解,在所述步骤S1中,所述构建数据完整性校验模型的过程具体为:
采集网关设备T天上报的完整历史数据,其中,网关设备每天上报的数据量为K,从而得到该网关设备的维度为T×K的训练集,训练集中的每个数据为非负整数,每个数据的值表示网关设备在该时刻上报的数据量;
对于每个时刻维度k∈{1,2,…,K},从训练集中对应取出维度为T×1的训练数据向量R,并基于训练数据向量R构建对应时刻上报数据量的概率模型,从而得到网关设备不同时刻上报数据量的校验模型。
具体地,先采集数据,取网关设备T天上报的完整历史数据,其中,网关设备每天上报的数据量为K,即网关设备每隔(24×60×60)/K=86400/K秒上报一次数据,K的最大值为86400,即网关设备最多每秒上报一次数据。由此,可以得到该网关设备的维度为T×K的训练集,训练集中的每个数据为非负整数,每个数据的值表示网关设备在该时刻上报的数据量,而数据所对应的T索引的值越大表示该数据越新,否则该数据越旧。例如,第t行、第k列的数据x(t,k)表示该网关设备在第t天的第k时刻上报了x(t,k)条数据给量测中心。
然后,构建概率模型,对于每个维度k∈{1,2,…,K},可从训练集中取出维度为T×1的训练数据向量R,统计训练数据向量R中出现的种类。令Mr表示集合R中值为整数r组成的子集,若按照常规的概率公式,此时认为r出现的概率为|Mr|表示子集Mr的长度。但是,该方法忽略了实时数据更能映射现实情况,得到的概率结果并不准确。因此,本发明改进了概率模型,设计了一种基于时间加权的计算方法,如下:
对于训练数据向量R,第t∈{1,2,…,T}条数据的权重Pt可表示为:
Pt=eα(t-T),t∈{1,2,...,T}
其中,α表示时间衰减因子,为较小的常数,显然,t值越大则权重越高,而t值越大则表示数据越新。
然后,对于子集Mr,得到r出现的概率P(r)为:
其中,Pi表示子集Mr中的第i条数据在训练数据向量R中所占的权重,可基于上述权重计算公式计算得到。
而r的各个取值之间是相互独立的,因此,网关设备在k时刻上报数据量的概率模型可表示为:
G={rkP(rk);rk∈γk},k∈{1,2,...,K}
其中,G表示网关设备上报数据量的概率模型,rk表示网关设备k时刻上报的数据量,P(rk)表示值rk出现的概率,基于上述概率计算公式计算得到,γk表示rk可能的取值集合。由于不同时刻业务需求的不同、业务需求变化、子设备数量的变更等原因,同一网关设备在不同时刻上报的数据量可能不同,因此,每个维度k都对应得到一个概率模型,从而可以得到网关设备在不同时刻数据上报量的校验模型。
可以理解,本发明提出了一种基于时间权重的概率模型,该模型所占用的计算和存储资源都较少,在计算和存储能力较弱的网关设备上也能运行,并且,该模型使得越新的信息的权值越高,那么概率模型的输出结果受到新数据的影响更大,预测的准确度越高。
另外,由于不同时刻业务需求的不同、业务需求变化、子设备数量的变更等原因,即使在同一时刻,不同网关设备上报的数据量也可能不同。因此,所述步骤S1中还可以针对每个网关设备都构建其在不同时刻数据上报量的概率模型。
可以理解,在所述步骤S2中,在网关设备处部署哨兵,哨兵基于校验模型起到审核的作用,当判断数据是完整的则放行数据,否则将数据打回,要求网关设备重新生成数据报文。
可以理解,在所述步骤S3中,所述基于数据完整性校验模型对数据报文进行完整性校验的过程具体为:
获取网关设备生成数据报文的当前时刻和当前上报数据量,根据当前时刻选择对应的概率模型,基于该概率模型计算得到当前上报数据量的概率值,若该概率值不小于预设阈值则判定校验通过,否则判定校验不通过。
具体地,在网关设备生成数据报文后,获取当前时刻k和当前上报数据量rk,然后根据当前时刻k选择对应的概率模型,基于概率模型计算得到网关设备上报数据量rk的概率值P(rk)。若概率值P(rk)不小于预设阈值则认为出现该情况的可能性较高,则判定上报的数据是完整的,此时将数据报文上传至上层的数据采集系统。若概率值P(rk)小于预设阈值/>则认为上报的数据是不完整的,此时要求网关设备重新生成数据报文。若数据报文再次被判定为不完整的数据,则将该数据报文标记为不完整数据并上传至数据采集系统。其中,如果rk的取值不在可能的取值范围γk内,即/>则P(rk)=0。
可选地,为了降低预设阈值的主观性,以提高校验精度,本发明还设计了一种自适应阈值的计算方法,具体地,所述预设阈值基于下式自适应得到:
其中,表示k时刻对应概率模型的预设阈值,maxval和minval分别表示集合ψk中的最大值和最小值,ψk表示γk对应的概率集合,σ表示集合ψk的标准差。
可以理解,方差越大说明数据波动较大,概率分布较为集中,说明高概率值分布在个别取值上,此时阈值应该较高,以过滤掉较低概率的取值;反之,如果方差越小,则说明数据越为稳定,概率分布较为均匀,此时阈值/>应较低,避免错误过滤。而本发明的自适应阈值计算算法通过将指数函数与集合ψk的极差值相结合正好实现了上述功能,并且,自适应阈值计算公式中通过将自适应值和最大值maxval作比较,然后取二者中的较小值以避免值出现越界。
可以理解,如图3所示,在本发明的其它实施例中,所述量测数据的完整性校验方法还包括以下内容:
步骤S4:在数据采集系统和量测中心部署哨兵,并将数据完整性校验模型分发至哨兵以进行完整性校验,若校验通过则将数据报文上报,若校验不通过则要求上游节点重传数据并再次进行校验,若再次校验不通过则将该数据报文标记为不完整数据并上报,若接收的数据报文被标记为不完整数据则直接上报。
其中,网关设备、数据采集系统和量测中心的哨兵中所部署的校验模型相同,由于模型的一致性,每个关键节点不会做出不同的决策。对于数据采集系统的哨兵而言,数据采集系统收集网关设备上报的数据并进行处理,然后在将数据发送给量测中心之前,需要哨兵对数据完整性进行校验。与网关设备上的哨兵一样,如果校验不通过,即概率值低于阈值则要求上一关键节点,即网关设备重发数据,如果校验通过,则将数据转出给量测中心。当然,如果数据被标记为不完整数据,那么哨兵将不再校验该数据,直接上传至量测中心。对于量测中心的哨兵而言,量测中心汇聚物联管理平台等数据采集系统上传的数据并进行处理,然后通过哨兵对数据进行校验。与网关设备上的哨兵一样,如果校验不通过,即概率值低于阈值/>则要求上一关键节点,即数据采集系统重发数据,如果校验通过,则将数据转出给应用层。当然,如果数据被标记为不完整的,那么哨兵将不再校验该数据,直接放行。
可以理解,网关设备、数据采集系统和量测中心作为电力物联网的关键节点,通过在关键节点处部署哨兵,哨兵基于校验模型起到审核作用,当预测数据是完整的则放行数据,否则将数据打回,并要求上一个关键节点重发数据,通过进行三层数据完整性校验,大大降低了不完整数据传输至应用层的概率。并且,哨兵至多要求上一层节点重发一次数据,有效降低了数据传输的时延。
可以理解,如图4所示,在本发明的其它实施例中,所述量测数据的完整性校验方法还包括以下内容:
步骤S5:在数据使用过程中采集完整数据,并利用完整数据对数据完整性校验模型进行更新。
具体地,在使用数据的过程中,若发现不完整数据确实是不完整的,则将该数据标记为真实的不完整数据,如果被标记为不完整的数据实际上是完整的,则将该数据修改标记为完整数据。然后,去除真实的不完整数据后,利用采集的实时数据信息对数据完整性校验模型进行训练更新,从而可以每隔一段时间更新校验模型的参数,以提高校验模型的预测精度。
可以理解,如图5所示,本发明的数据上报过程具体为:
网关设备生成数据报文,然后网关设备上的哨兵对上报的数据进行校验。如果数据通过校验或者该数据是重传数据,则网关设备将数据的hash码发送给量测中心,然后再将该数据报文上传。如果校验不通过,则要求网关设备重新采集数据并生成数据报文,此时如果校验再次不通过,则哨兵将标记该数据为不完整数据并放行该数据,反之,如果校验通过了,则将数据报文上传。
数据采集系统收集到网关设备上报的数据报文并进行处理,然后在转发数据报文之前,哨兵将对数据报文进行校验。如果校验通过则将数据上报,如果校验不通过,则要求上一个关键节点重传数据。另外,如果数据被标记为不完整数据,则直接上传,哨兵将不再进行校验。
量测中心收到数据后,哨兵对数据进行校验,如果校验通过则将数据提供给应用层使用,否则要求上一关键节点重传数据。同样的,如果数据被标记为不完整数据,则哨兵将不再进行校验。最后,量测中心将计算所收到的数据报文的hash码,通过对比当前的hash码和之前网关设备所上传的hash码判断数据是否在传输过程中发生丢失或者被恶意篡改。
获取实时训练数据,实时更新模型参数。如果在使用数据的过程中,发现不完整数据确实是不完整的,则将该数据标记为真实的不完整数据;如果被标记为不完整的数据实际上是完整的,则将该数据标记为完整数据。之后,去除真实的不完整数据后,利用采集的实时数据信息在线训练哨兵的校验模型,并每隔一段时间更新关键节点中哨兵的校验模型中的参数。
另外,如图6所示,本发明的另一实施例还提供一种量测数据的完整性校验系统,优选采用如上所述的完整性校验方法,该系统包括:
模型构建模块,用于构建数据完整性校验模型;
哨兵部署模块,用于在网关设备处部署哨兵,并将构建的数据完整性校验模型分发至哨兵;
完整性校验模块,用于在网关设备采集感知数据并生成数据报文后,利用哨兵基于数据完整性校验模型对数据报文进行完整性校验,若校验通过则将数据报文上报至数据采集系统,若校验不通过则要求网关设备重新采集感知数据并再次生成数据报文,若重新生成的数据报文再次校验不通过则将该数据报文标记为不完整数据并上报至数据采集系统。
可以理解,本实施例的量测数据的完整性校验系统,通过构建数据完整性校验模型并在网关设备处部署哨兵,利用哨兵机制基于数据完整性校验模型对网关设备生成的数据报文进行完整性校验,若校验通过则上传数据报文,若检验失败则重新生成数据报文,可以过滤掉一些不完整的数据,降低了不完整数据传输至量测中心的概率,提高了量测中心收集到的数据质量,并且,若再次校验失败则直接将数据报文标记为不完整数据并上传,在提高数据完整性的同时有利于降低数据传输的时延,提高数据处理效率,满足应用层对数据的实时性要求。
另外,本发明的另一实施例还提供一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行如上所述的方法的步骤。
另外,本发明的另一实施例还提供一种计算机可读取的存储介质,用于存储对量测数据的完整性进行校验的计算机程序,其特征在于,所述计算机程序在计算机上运行时执行如上所述的方法的步骤。
一般计算机可读取存储介质的形式包括:软盘(floppy disk)、可挠性盘片(flexible disk)、硬盘、磁带、任何其与的磁性介质、CD-ROM、任何其余的光学介质、打孔卡片(punch cards)、纸带(paper tape)、任何其余的带有洞的图案的物理介质、随机存取存储器(RAM)、可编程只读存储器(PROM)、可抹除可编程只读存储器(EPROM)、快闪可抹除可编程只读存储器(FLASH-EPROM)、其余任何存储器芯片或卡匣、或任何其余可让计算机读取的介质。指令可进一步被一传输介质所传送或接收。传输介质这一术语可包含任何有形或无形的介质,其可用来存储、编码或承载用来给机器执行的指令,并且包含数字或模拟通信信号或其与促进上述指令的通信的无形介质。传输介质包含同轴电缆、铜线以及光纤,其包含了用来传输一计算机数据信号的总线的导线。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现,例如,面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (7)
1.一种量测数据的完整性校验方法,其特征在于,包括以下内容:
构建数据完整性校验模型;
在网关设备处部署哨兵,并将构建的数据完整性校验模型分发至哨兵;
在网关设备采集感知数据并生成数据报文后,利用哨兵基于数据完整性校验模型对数据报文进行完整性校验,若校验通过则将数据报文上报至数据采集系统,若校验不通过则要求网关设备重新采集感知数据并再次生成数据报文,若重新生成的数据报文再次校验不通过则将该数据报文标记为不完整数据并上报至数据采集系统;
所述构建数据完整性校验模型的过程具体为:
采集网关设备T天上报的完整历史数据,其中,网关设备每天上报的数据量为K,从而得到该网关设备的维度为T×K的训练集,训练集中的每个数据为非负整数,每个数据的值表示网关设备在该时刻上报的数据量;
对于每个时刻维度k∈{1,2,…,K},从训练集中对应取出维度为T×1的训练数据向量R,并基于训练数据向量R构建对应时刻上报数据量的概率模型,从而得到网关设备不同时刻上报数据量的校验模型;
概率模型的表达式为:
G={rkP(rk);rk∈γk},k∈{1,2,...,K}
其中,G表示网关设备上报数据量的概率模型,rk表示网关设备k时刻上报的数据量,P(rk)表示值rk出现的概率,Pt表示训练数据向量R中第t条数据所占的权重,Pt=eα(t-T),t∈{1,2,...,T},α表示时间衰减因子,Mr表示训练数据向量R中值为rk组成的子集,Pi表示子集Mr中的第i条数据在训练数据向量R中所占的权重,γk表示rk可能的取值集合;
所述基于数据完整性校验模型对数据报文进行完整性校验的过程具体为:
获取网关设备生成数据报文的当前时刻和当前上报数据量,根据当前时刻选择对应的概率模型,基于该概率模型计算得到当前上报数据量的概率值,若该概率值不小于预设阈值则判定校验通过,否则判定校验不通过。
2.如权利要求1所述的量测数据的完整性校验方法,其特征在于,所述预设阈值基于下式自适应得到:
其中,表示k时刻对应概率模型的预设阈值,maxval和minval分别表示集合ψk中的最大值和最小值,ψk表示γk对应的概率集合,σ表示集合ψk的标准差。
3.如权利要求1所述的量测数据的完整性校验方法,其特征在于,还包括以下内容:
在数据采集系统和量测中心部署哨兵,并将数据完整性校验模型分发至哨兵以进行完整性校验,若校验通过则将数据报文上报,若校验不通过则要求上游节点重传数据并再次进行校验,若再次校验不通过则将该数据报文标记为不完整数据并上报,若接收的数据报文被标记为不完整数据则直接上报。
4.如权利要求1所述的量测数据的完整性校验方法,其特征在于,还包括以下内容:
在数据使用过程中采集完整数据,并利用完整数据对数据完整性校验模型进行更新。
5.一种量测数据的完整性校验系统,采用如权利要求1~4任一项所述的方法,其特征在于,包括:
模型构建模块,用于构建数据完整性校验模型;
哨兵部署模块,用于在网关设备处部署哨兵,并将构建的数据完整性校验模型分发至哨兵;
完整性校验模块,用于在网关设备采集感知数据并生成数据报文后,利用哨兵基于数据完整性校验模型对数据报文进行完整性校验,若校验通过则将数据报文上报至数据采集系统,若校验不通过则要求网关设备重新采集感知数据并再次生成数据报文,若重新生成的数据报文再次校验不通过则将该数据报文标记为不完整数据并上报至数据采集系统。
6.一种电子设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行如权利要求1~4任一项所述的方法的步骤。
7.一种计算机可读取的存储介质,用于存储对量测数据的完整性进行校验的计算机程序,其特征在于,所述计算机程序在计算机上运行时执行如权利要求1~4任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310372637.2A CN116319052B (zh) | 2023-04-10 | 2023-04-10 | 一种量测数据的完整性校验方法及系统、电子设备、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310372637.2A CN116319052B (zh) | 2023-04-10 | 2023-04-10 | 一种量测数据的完整性校验方法及系统、电子设备、介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116319052A CN116319052A (zh) | 2023-06-23 |
CN116319052B true CN116319052B (zh) | 2024-04-09 |
Family
ID=86794175
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310372637.2A Active CN116319052B (zh) | 2023-04-10 | 2023-04-10 | 一种量测数据的完整性校验方法及系统、电子设备、介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116319052B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106161473A (zh) * | 2016-09-06 | 2016-11-23 | 北京恒华伟业科技股份有限公司 | 一种数据的上传方法及系统 |
EP3153988A1 (en) * | 2015-10-06 | 2017-04-12 | Thomson Licensing | Device and method for inserting data into integrity protected software code |
CN108496337A (zh) * | 2018-03-28 | 2018-09-04 | 北京小米移动软件有限公司 | 信息上报方法及装置、用户设备和计算机可读存储介质 |
CN111709058A (zh) * | 2020-06-09 | 2020-09-25 | 陕西师范大学 | 一种基于身份和环签名的数据完整性校验方法 |
CN111950035A (zh) * | 2020-06-18 | 2020-11-17 | 中国电力科学研究院有限公司 | 对apk文件完整性保护的方法、系统、设备及存储介质 |
CN112965735A (zh) * | 2021-02-25 | 2021-06-15 | 北京奇艺世纪科技有限公司 | 模型更新方法、装置、设备及计算机可读介质 |
-
2023
- 2023-04-10 CN CN202310372637.2A patent/CN116319052B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3153988A1 (en) * | 2015-10-06 | 2017-04-12 | Thomson Licensing | Device and method for inserting data into integrity protected software code |
CN106161473A (zh) * | 2016-09-06 | 2016-11-23 | 北京恒华伟业科技股份有限公司 | 一种数据的上传方法及系统 |
CN108496337A (zh) * | 2018-03-28 | 2018-09-04 | 北京小米移动软件有限公司 | 信息上报方法及装置、用户设备和计算机可读存储介质 |
CN111709058A (zh) * | 2020-06-09 | 2020-09-25 | 陕西师范大学 | 一种基于身份和环签名的数据完整性校验方法 |
CN111950035A (zh) * | 2020-06-18 | 2020-11-17 | 中国电力科学研究院有限公司 | 对apk文件完整性保护的方法、系统、设备及存储介质 |
CN112965735A (zh) * | 2021-02-25 | 2021-06-15 | 北京奇艺世纪科技有限公司 | 模型更新方法、装置、设备及计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116319052A (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113098723B (zh) | 一种故障根因定位方法、装置、存储介质及设备 | |
CN107229518A (zh) | 一种分布式集群训练方法和装置 | |
CN113497726B (zh) | 告警监控方法、系统、计算机可读存储介质及电子设备 | |
CN108389631A (zh) | 水痘发病预警方法、服务器及计算机可读存储介质 | |
CN112711757A (zh) | 一种基于大数据平台的数据安全集中管控方法及系统 | |
CN111949496B (zh) | 一种数据检测方法及装置 | |
CN114826947B (zh) | 一种基于自动编码器的流量矩阵恢复预测方法及系统 | |
CN110300008A (zh) | 一种确定网络设备的状态的方法及装置 | |
CN114866431A (zh) | 基于int预测sfc网络故障的方法、装置及处理器 | |
CN116319052B (zh) | 一种量测数据的完整性校验方法及系统、电子设备、介质 | |
CN115221218A (zh) | 车辆数据的质量评估方法、装置、计算机设备和存储介质 | |
CN109412885A (zh) | 检测方法及装置 | |
CN114237098A (zh) | 一种电气产品的智能化数字管理系统 | |
CN111783883A (zh) | 一种异常数据的检测方法及装置 | |
CN112104684A (zh) | 一种基于物联网的平台管理系统 | |
CN113780689B (zh) | 一种基于人工智能的能量路由器寿命预测方法和装置 | |
CN112860763B (zh) | 实时流数据处理方法、装置、计算机设备和存储介质 | |
CN112149818B (zh) | 威胁识别结果评估方法和装置 | |
CN113487223B (zh) | 一种基于信息融合的风险评估方法和评估系统 | |
CN116992972A (zh) | 机器学习模型训练方法以及装置 | |
CN114444817A (zh) | 出力预测方法、装置、电子设备及存储介质 | |
CN116361052A (zh) | 一种预测磁盘故障的方法、系统、设备和存储介质 | |
CN116881349A (zh) | 业务系统的业务状态的检测方法、装置以及电子设备 | |
CN115129755A (zh) | 基于任务场景的信息链路需求评估方法 | |
CN116051072A (zh) | 设备巡检方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |