CN116054846A - 时序数据处理方法、装置、电子设备和存储介质 - Google Patents
时序数据处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116054846A CN116054846A CN202211737733.4A CN202211737733A CN116054846A CN 116054846 A CN116054846 A CN 116054846A CN 202211737733 A CN202211737733 A CN 202211737733A CN 116054846 A CN116054846 A CN 116054846A
- Authority
- CN
- China
- Prior art keywords
- data
- current time
- packet
- time sequence
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/47—Error detection, forward error correction or error protection, not provided for in groups H03M13/01 - H03M13/37
Landscapes
- Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供时序数据处理方法、装置、电子设备和存储介质。该方法包括获取当前时序数据,所述当前时序数据携带数据编号,所述数据编号反映所述当前时序数据与之前和之后时序数据的排列顺序;将所述当前时序数据的数据编号与所获取的前一个时序数据的数据编号进行对比,以确定所述当前时序数据是否为乱序数据;在所述当前时序数据为乱序数据的情况下,对所述当前时序数据的排列顺序进行调整。因此,能够通过当前时序数据所携带的数据编号,来实现对该当前时序数据是否为乱序数据的判断,进而对其排列顺序进行调整,解决了现有技术的问题。
Description
技术领域
本申请涉及互联网技术领域,具体而言,涉及时序数据处理方法、装置、电子设备和存储介质。
背景技术
时间序列是一种高维数据,是由客观对象的某个或多个物理量在不同时间点的采样值,按照时间先后次序排列而组成的序列。在实际应用中,当采集到时序数据之后,通常需要将时序数据从采集端发送到接收端,而由于网络卡顿或其他原因,通常会导致接收端接收到的时序数据为乱序数据,影响了时序数据的使用价值。
发明内容
本申请实施例的目的在于提供时序数据处理方法、装置、电子设备和存储介质,用于解决现有技术中的问题。
本申请实施例第一方面提供了一种时序数据处理方法,其特征在于,所述方法包括:
获取当前时序数据,所述当前时序数据携带数据编号,所述数据编号反映所述当前时序数据与之前和之后时序数据的排列顺序;
将所述当前时序数据的数据编号与所获取的前一个时序数据的数据编号进行对比,以确定所述当前时序数据是否为乱序数据;
在所述当前时序数据为乱序数据的情况下,对所述当前时序数据的排列顺序进行调整。
于一实施例中,对所述当前时序数据的排列顺序进行调整,具体包括:
将所述当前时序数据与之前所确定出的乱序数据作为数据集合,并将所述数据集合中的乱序数据划分为多个分组,其中,每个分组中至少包括两个乱序数据;
分别针对各个分组,将所述分组内的各个乱序数据按照所携带数据编号的大小顺序进行排列顺序的调整;
分别针对各个分组,将所述分组内的第一个乱序数据的数据编号,与前一个分组内的最后一个乱序数据的数据编号进行对比,以确定是否调整所述分组与前一个分组的分组排列顺序;以及,将所述分组内的第后一个乱序数据的数据编号,与后一个分组内的第一个乱序数据的数据编号进行对比,以确定是否调整所述分组与后一个分组的分组排列顺序。
于一实施例中,所述方法还包括:将各个分组分别划分为多个子分组,其中,每个子分组中至少包括两个乱序数据;以及,
分别针对各个分组,将所述分组内的各个乱序数据按照所携带数据编号的大小顺序进行排列顺序的调整,具体包括:分别针对各个子分组,将所述子分组内的各个乱序数据按照所携带数据编号的大小顺序进行排列顺序的调整;
分别针对各个分组,将所述分组内的第一个乱序数据的数据编号,与前一个分组内的最后一个乱序数据的数据编号进行对比,以确定是否调整所述分组与前一个分组的分组排列顺序;以及,将所述分组内的第后一个乱序数据的数据编号,与后一个分组内的第一个乱序数据的数据编号进行对比,以确定是否调整所述分组与后一个分组的分组排列顺序,具体包括:分别针对各个子分组,将所述子分组内的第一个乱序数据的数据编号,与前一个子分组内的最后一个乱序数据的数据编号进行对比,以确定是否调整所述子分组与前一个子分组的子分组排列顺序;以及,将所述子分组内的第后一个乱序数据的数据编号,与后一个子分组内的第一个乱序数据的数据编号进行对比,以确定是否调整所述子分组与后一个子分组的子分组排列顺序。
于一实施例中,在对所述当前时序数据的排列顺序进行调整之后,所述方法还包括:
确定所述当前时序数据中所携带的物理量是否存在数据缺失;
若是,则利用目标数据补偿算法对所述当前时序数据中所缺失的物理量进行数据补偿。
于一实施例中,在利用目标数据补偿算法对所述当前时序数据中所缺失的物理量进行数据补偿之前,所述方法还包括:
利用所述当前时序数据的数据等级以及数据类别查询映射表,以确定是否存在对应的数据补偿算法;
若存在,则选取所述数据补偿算法作为所述目标数据补偿算法;或,
若不存在,则根据所述当前时序数据的数据等级以及数据类别,确定所述映射表中的各个数据补偿算法分别作为所述目标数据补偿算法的概率,并选取概率最大的数据补偿算法作为所述目标数据补偿算法。
于一实施例中,根据所述当前时序数据的数据等级以及数据类别,确定所述映射表中的各个数据补偿算法分别作为所述目标数据补偿算法的概率,具体包括:
将所述当前时序数据的数据等级以及数据类别输入至预设概率模型,以通过所述预设概率模型的输出,来确定所述映射表中的各个数据补偿算法分别作为所述目标数据补偿算法的概率。
于一实施例中,在利用目标数据补偿算法对所述当前时序数据中所缺失的物理量进行数据补偿之后,所述方法还包括:利用如下评估公式对数据补充后的当前时序数据进行补偿效果的评估:
P=a*m*η*n+b;
其中,P为数据补充后的当前时序数据的补偿效果的评估值;m为质量分数,用于表征数据补充后的当前时序数据的准确性;η为效率系数,用于表征对所述当前时序数据进行数据补偿的效率;n为严谨系数,用于表征数据补充后的当前时序数据的鲁棒性;a和b均为预设常数,其中,a大于0。
于一实施例中,所述方法还包括:
获取多个用于评估数据准确性的第一评估指标,并利用所述第一评估指标对数据补充后的当前时序数据的准确性进行打分,以确定所述质量分数;
获取多个用于评估数据补偿效率的第二评估指标,并利用所述第二评估指标对所述当前时序数据的数据补偿效率进行打分,以确定所述效率系数;以及,
获取多个用于评估数据鲁棒性的第三评估指标,并利用所述第三评估指标对数据补充后的当前时序数据的鲁棒性进行打分,以确定所述严谨系数。
于一实施例中,利用目标数据补偿算法对所述当前时序数据中所缺失的物理量进行数据补偿,具体包括:
获取调整排列顺序后的当前时序数据之前的x个时序数据,并利用所述之前的x个时序数据确定所述物理量的第一补偿值;其中,x为大于或等于2的正整数;
获取调整排列顺序后的当前时序数据之后的y个时序数据,并利用所述之后的y个时序数据确定所述物理量的第二补偿值;其中,y为大于或等于2的正整数;
将所述第一补偿值和所述第二补偿值进行加权求和,并将加权求和的结果用于对所述当前时序数据中所缺失的物理量进行数据补偿
本申请实施例第二方面提供了一种时序数据处理装置,包括:
时序数据获取单元,用于获取当前时序数据,所述当前时序数据携带数据编号,所述数据编号反映所述当前时序数据与之前和之后时序数据的排列顺序;
乱序数据确定单元,用于将所述当前时序数据的数据编号与所获取的前一个时序数据的数据编号进行对比,以确定所述当前时序数据是否为乱序数据;
顺序调整单元,用于在所述当前时序数据为乱序数据的情况下,对所述当前时序数据的排列顺序进行调整
本申请实施例第三方面提供了一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行本申请实施例第一方面任意一项所述的方法。
本申请实施例第四方面提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序可由处理器执行以完成本申请实施例第一方面任意一项所述的方法。
采用本申请实施例所提供的方法,先获取当前时序数据,该当前时序数据携带数据编号,该数据编号反映当前时序数据与之前和之后时序数据的排列顺序,然后将当前时序数据的数据编号与所获取的前一个时序数据的数据编号进行对比,从而确定该当前时序数据是否为乱序数据,并在该当前时序数据为乱序数据的情况下,对该当前时序数据的排列顺序进行调整。因此,能够通过当前时序数据所携带的数据编号,来实现对该当前时序数据是否为乱序数据的判断,进而对其排列顺序进行调整,解决了现有技术的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的电子设备的结构示意图;
图2为本申请一实施例提供的时序数据处理方法的具体流程示意图;
图3为本申请另一实施例提供的时序数据处理装置的具体结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。在本申请的描述中,诸如“第一”、“第二”、“第三”等术语仅用于区分描述,而不能理解为指示或暗示相对重要性或先后顺序。
如前所述,当采集到时序数据之后,通常需要将时序数据从采集端发送到接收端,而由于网络卡顿或其他原因,通常会导致接收端接收到的时序数据为乱序数据,影响了时序数据的使用价值。
比如,工业设备在运行过程中,会产生大量的工业数据(即时序数据),这些时序数据被企业内部的内网主机(作为采集端)采集到之后,由于受到该内网主机存储空间以及运算能力的限制,通常需要发送到企业外网的外网主机(作为接收端),而内网主机与外网主机的通信过程中,可能会由于网络卡顿或其他原因,导致时序数据的排列顺序被打乱,使外网主机接收到的时序数据为乱序数据,进而影响到时序数据的使用价值。
基于此,本申请实施例提供了一种时序数据处理方法、装置、电子设备和存储介质,能够用于调整乱序数据的排列顺序。如图1所示,本实施例提供一种电子设备1,该电子设备1包括:至少一个处理器11和存储器12,图1中以一个处理器为例。处理器11和存储器12可以通过总线10连接,存储器12存储有可被处理器11执行的指令,指令被处理器11执行,以使电子设备1可执行下述的实施例中方法的全部或部分流程。
在实际应用中,该电子设备1可以是手机、笔记本电脑、台式电脑等,结合本申请的应用场景,该电子设备1可也以作为采集端或接收端,比如,该电子设备1可作为该接收端,进而用于调整乱序数据的排列顺序。
本申请实施例提供了一种时序数据处理方法,其中,该方法可以由图1所示的电子设备1来执行,这里可以对该电子设备1作为接收端,来执行该方法进行说明。如图2所示为该方法的具体流程示意图,该方法包括如下步骤:
步骤S21:获取当前时序数据,该当前时序数据携带数据编号。
其中,该数据编号反映该当前时序数据与之前和之后时序数据的排列顺序。比如在实际应用中,当采集端采集到工业设备在运行过程中所生成的时序数据之后,会根据该时序数据生成时间的先后顺序,依次分配相应的数据编号(按顺序编号),从而利用该数据编号来唯一标注相应的时序数据,并且由于该数据编号根据时序数据生成时间的先后顺序来依次分配,因此能够反映该当前时序数据与之前和之后时序数据的排列顺序。
对于该当前时序数据,可以为接收端所接收到的任意一个时序数据,比如,采集端在连续向接收端发送时序数据的过程中,接收端也会连续获取到发送端所发送的时序数据,此时接收端可以依次将所接收到时序数据作为该当前时序数据,进而利用本申请实施例所提供的方法进行处理。
另外,由于采集端向接收端发送时序数据的速率,通常会高于接收端对时序数据进行处理的速率,因此在实际应用中,当接收端接收到采集端所发送的时序数据之后,可以先将所接收到的时序数据按接收时刻的先后顺序存储至缓存中,从而降低接收端处理时序数据时的运算压力。相应的,该步骤S21可以是,按照缓存中的存储顺序从缓存中获取该当前时序数据。
步骤S22:将当前时序数据的数据编号与所获取的前一个时序数据的数据编号进行对比,以确定该当前时序数据是否为乱序数据。
由于该当前时序数据的数据编号,反映该当前时序数据与之前和之后时序数据的排列顺序,因此接收端在获取到当前时序数据之后,能够将该当前时序数据的数据编号与所获取的前一个时序数据的数据编号进行对比,从而确定该当前时序数据是否为乱序数据,比如在该时序数据的数据编号为按顺序编号的情况下,当前时序数据的数据编号与前一个时序数据的数据编号之差为一个步长,则说明当前时序数据不为乱序数据,或当前时序数据的数据编号与前一个时序数据的数据编号之差不为一个步长,则说明当前时序数据为乱序数据。其中,该步长为按顺序编号时,前后相邻的两个时序数据的数据编号之差。
比如,当前时序数据的数据编号为100,所获取的前一个时序数据的数据编号为99,步长为1,则100与99之差为步长1,则说明该当前时序数据不为时序数据;或,当前时序数据的数据编号为100,所获取的前一个时序数据的数据编号为95,步长为1,则100与95之差不为步长1,则说明该当前时序数据为时序数据。
在该步骤S22中,实质上是以前一个时序数据的数据编号为基准,并通过将当前时序数据的数据编号与该前一个时序数据的数据编号进行对比,从而确定该当前时序数据是否为乱序数据,因此对于该前一个时序数据,通常不为乱序数据,也就是说该前一个时序数据具体包括前一不为乱序数据的时序数据,这样在接收端连续处理时序数据的过程中,能够连续以该前一个时序数据为基准,确定当前时序数据是否为乱序数据。
当然,在确定出该当前时序数据为乱序数据的情况下,该方法还可以包括向采集端发送告警提示,从而提示采集端,可能存在网络不稳定的情况等。
步骤S23:在该当前时序数据为乱序数据的情况下,对该当前时序数据的排列顺序进行调整。
在通过上述步骤S22确定出该当前时序数据是否为乱序数据之后,若该当前时序数据不为乱序数据,则可以不对该当前时序数据的排列顺序进行调整。而在该当前时序数据为乱序数据的情况下,需要对该当前时序数据的排列顺序进行调整,比如可以利用该当前时序数据的数据编号,对该当前时序数据的排列顺序进行调整;另外,考虑到时序数据的数据结构,通常包括时间戳和1个或多个物理量,其中,该时间戳反映了该时序数据的生成时间点,进而该时间戳也反映了与其他时序数据的先后顺序,因此对该当前时序数据的排列顺序进行调整的方式,还可以是利用该当前时序数据的时间戳,对该当前时序数据的排列顺序进行调整。
比如,根据当前时序数据与之前所确定出的乱序数据的时间戳(也可以是数据编号),可以利用冒泡法,对这些乱序数据的排列顺序进行调整。
采用本申请实施例所提供的方法,先获取当前时序数据,该当前时序数据携带数据编号,该数据编号反映当前时序数据与之前和之后时序数据的排列顺序,然后将当前时序数据的数据编号与所获取的前一个时序数据的数据编号进行对比,从而确定该当前时序数据是否为乱序数据,并在该当前时序数据为乱序数据的情况下,对该当前时序数据的排列顺序进行调整。因此,能够通过当前时序数据所携带的数据编号,来实现对该当前时序数据是否为乱序数据的判断,进而对其排列顺序进行调整,解决了现有技术的问题。
对于步骤S33中所提到的对该当前时序数据的排列顺序进行调整,上述提到了可以利用当前时序数据的数据编号,也可以利用当前时序数据的时间戳,来实现对该当前时序数据的排列顺序进行调整。在实际应用中,为了提高调整排列顺序的效率,特别是乱序数据的数量较多的情况下,可以采用分组调整的方式进行排列顺序的调整,该分组调整也可以是利用当前时序数据的数据编号或时间戳,这里可以以利用数据编号进行分组调整进行说明。
在该分组调整过程中,可以先将该当前时序数据与之前所确定出的乱序数据作为数据集合,并将该数据集合中的乱序数据划分为多个分组,其中,每个分组中至少包括两个乱序数据,在实际应用中,可以将数据集合中的乱序数据平均分为多个分组;然后,分别针对各个分组,将该分组内的各个乱序数据按照所携带数据编号的大小顺序进行排列顺序的调整,比如按照数据编号从小到大的顺序调整这些乱序数据的排列顺序。此时,先在各个分组内部利用数据编号的大小顺序进行排列顺序的调整,该过程中比如可以利用冒泡法或其他方式对分组内部排列顺序进行调整。
在对各个分组内部的乱序数据进行排列顺序的调整之后,对于各个分组之间,此时可以分别针对各个分组,将该分组内的第一个乱序数据的数据编号,与前一个分组内的最后一个乱序数据的数据编号进行对比,以确定是否调整该分组与前一个分组的分组排列顺序,比如,若该分组的第一个乱序数据的数据编号大于,前一个分组内的最后一个乱序数据的数据编号,则可以不调整该分组与前一个分组的分组排列顺序,或若该分组的第一个乱序数据的数据编号小于,前一个分组内的最后一个乱序数据的数据编号,则交换该分组与前一个分组的分组排列顺序;基于相同的原理,还将该分组内的第后一个乱序数据的数据编号,与后一个分组内的第一个乱序数据的数据编号进行对比,以确定是否调整该分组与后一个分组的分组排列顺序,比如,若该分组的最后一个乱序数据的数据编号小于,后一个分组内的第一个乱序数据的数据编号,则可以不调整该分组与前一个分组的分组排列顺序,或若该分组的最后一个乱序数据的数据编号大于,后一个分组内的第一个乱序数据的数据编号,则交换该分组与后一个分组的分组排列顺序。
通过该分组调整的方式,在将当前时序数据与之前所确定出的乱序数据作为数据集合,并划分为多个分组之后,先对各个分组内的乱序数据的排列顺序进行调整,按后对各个分组的分组排列顺序进行调整,从而能够实现对这些乱序数据排列顺序的调整。当然,在实际应用中,在通过上述分组内部和分组之间排列顺序的调整之后,可能还会存在乱序数据,此时还可以将调整排列顺序之后的数据集合,重新划分为多个分组,然后再次基于与上述分组调整相同的原理,再次先对各个分组内的乱序数据的排列顺序进行调整,然后再次对分组间的排列顺序进行调整,并通过多次循环进行分组和分组调整,最终实现对这些乱序数据排列顺序的调整。
当然需要进一步说明的是,在上述将当前时序数据与之前所确定出的乱序数据作为数据集合,并将该数据集合中的乱序数据划分为多个分组之后,若各个分组内的乱序数据的数量仍然较多的情况下,直接利用冒泡法对分组内的乱序数据进行排列顺序的调整效率仍然较低,此时可以进一步将各个分子分别划分为多个子分组,其中,每个子分组中至少包括两个乱序数据,该划分的方式也可以是平均划分。
在划分得到多个子分组之后,也可以先针对各个子分组内的乱序数据进行排列顺序的调整,具体来说,可以分别针对各个子分组,将该子分组内的各个乱序数据按照所携带数据编号的大小顺序进行排列顺序的调整。
在对各个子分组内部的乱序进行排列顺序的调整之后,对于各个子分组之间,可以分别针对各个子分组,将该子分组内的第一个乱序数据的数据编号,与前一个子分组内的最后一个乱序数据的数据编号进行对比,以确定是否调整该子分组与前一个子分组的子分组排列顺序,比如,若该子分组的第一个乱序数据的数据编号大于,前一个子分组内的最后一个乱序数据的数据编号,则可以不调整该子分组与前一个子分组的分组排列顺序,或若该子分组的第一个乱序数据的数据编号小于,前一个子分组内的最后一个乱序数据的数据编号,则交换该子分组与前一个子分组的子分组排列顺序;基于相同的原理,还将该子分组内的第后一个乱序数据的数据编号,与后一个子分组内的第一个乱序数据的数据编号进行对比,以确定是否调整该子分组与后一个子分组的子分组排列顺序,比如,若该子分组的最后一个乱序数据的数据编号小于,后一个子分组内的第一个乱序数据的数据编号,则可以不调整该子分组与前一个子分组的子分组排列顺序,或若该子分组的最后一个乱序数据的数据编号大于,后一个子分组内的第一个乱序数据的数据编号,则交换该子分组与后一个子分组的子分组排列顺序。
在实际应用中,在各个分子分别划分为多个子分组之后,若各个子分组内的乱序数据的数量仍然较多的情况下,还可以进一步将各个子分组划分为二级子分组,该划分的方式也可以是平均划分,此时每个二级子分组中至少包括两个乱序数据,然后基于相同的原理对各个二级子分组内的乱序数据的排列顺序进行调整,并且对各个二级子分组之间的排列顺序进行调整;当然,若该二级子分组内的乱序数据的数量仍然较多,还可以进一步对该二级子分组进行划分,直至划分到N级子分组,此时每个N级子分组包括两个乱序数据,并基于相同的原理对N级子分组内的乱序数据的排列顺序进行调整,以及对N级子分组之间的排列顺序进行调整。
需要进一步说明的是,通过本申请实施例所提供的方法,在通过上述的步骤S23对该当前时序数据的排列顺序进行调整之后,该方法还可以进一步如下步骤包括:
步骤S24:确定该当前时序数据中所携带的物理量是否存在数据缺失。
步骤S25:在该当前时序数据中所携带的物理量存在数据缺失的情况下,利用目标数据补偿算法对该当前时序数据中所缺失的物理量进行数据补偿。
在实际应用中,工业设备采集温度、适度等物理量的数据,并将采集时刻作为时间戳来生成时序数据,在该过程中,工业设备通常每隔3秒采集一次物理量的数据,但在某些场景下,比如工业设备受到电压不稳定或其他因素的影响时,可能没有采集到物理量的数据,导致时序数据中所携带的物理量可能会存在数据缺失,此时需要对该缺失的物理量数据进行补偿。
在该步骤S24中,可以先确定该当前时序数据中所携带的物理量是否存在数据缺失,若没有缺失,则可以不进行补偿;在该当前时序数据中所携带的物理量存在数据缺失的情况下,可以利用目标数据补偿算法,对该当前时序数据中所缺失的物理量进行数据补偿。
当然,在该步骤S25之前,该方法还可以通过如下方式来确定出该目标数据补偿算法,比如可以先利用该当前时序数据的数据等级以及数据类别查询映射表,以确定是否存在对应的数据补偿算法,若存在,则选取该数据补偿算法作为该目标数据补偿算法,或若不存在,则根据该当前时序数据的数据等级以及数据类别,确定该映射表中的各个数据补偿算法分别作为该目标数据补偿算法的概率,并选取概率最大的数据补偿算法作为该目标数据补偿算法。
其中,该当前时序数据的数据等级,通常可以根据工业数据的等级划分标准来确定,比如,该数据等级可以为一级、二级、三级等,等级越高的时序数据重要性越高;当前时序数据的数据类别可以包括音频数据、视频数据等。
在实际应用中,可以利用该当前时序数据的数据等级以及数据类别查询映射表,该映射表存储有各种数据等级以及数据类别的时序数据,所采用的补偿算法的映射关系;比如,对于数据等级为一级、数据类别为音频数据的时序数据,查询该映射表所得到的对应的补偿算法为A算法,此时可以将该A算法作为目标数据补偿算法。通常该映射表中所记录的补偿算法可以包括平均值补偿算法以及其他的各种补偿算法。
因此,对于该当前时序数据的数据等级以及数据类别,通过查询映射表,若存在对应的数据补偿算法,可以直接将该数据补偿算法作为目标数据补偿算法,若不存在对应的数据补偿算法,则进一步根据该当前时序数据的数据等级以及数据类别,确定该映射表中的各个数据补偿算法分别作为该目标数据补偿算法的概率,并选取概率最大的数据补偿算法作为该目标数据补偿算法。比如,当前时序数据的数据等级为一级、数据类别为音频数据,查询映射表后,不存在对应的数据补偿算法,进一步根据该数据等级为一级、数据类别为音频数据确定映射表中A算法作为该目标数据补偿算法的概率为2/3,B算法作为该目标数据补偿算法的概率为1/3,则选取A算法作为该目标数据补偿算法。
当然,对于根据当前时序数据的数据等级以及数据类别,确定映射表中的各个数据补偿算法分别作为目标数据补偿算法的概率的具体方式,可以通过对历史数据进行分析统计,来确定该概率,也可以通过操作人员的个人经验来赋值,并将该赋值作为概率。在实际应用中,还可以将该当前时序数据的数据等级以及数据类别输入至预设概率模型,从而获取到该预设概率模型的输出,进而通过该预设概率模型的输出,来确定映射表中的各个数据补偿算法分别作为所述目标数据补偿算法的概率,其中,该预设概率模型可以为神经网络模型或其他类型的模型,通常可以通过样本的训练来预先训练得到该概率模型。
另外,在利用目标数据补偿算法对当前时序数据中所缺失的物理量进行数据补偿之后,对于数据补偿的效果需要进行评估,在本申请实施例中,可以通过如下的公式一,来对数据补充后的当前时序数据进行补偿效果的评估:
P=a*m*η*n+b公式一;
在该公式一中,P为数据补充后的当前时序数据的补偿效果的评估值,该评估值越大,说明补偿效果越优,反之越差;m为质量分数,用于表征数据补充后的当前时序数据的准确性,m越大,说明准确性越高,反之越低;η为效率系数,用于表征对所述当前时序数据进行数据补偿的效率,η越大说明效率越高,反之说明效率越低;n为严谨系数,用于表征数据补充后的当前时序数据的鲁棒性,n越大说明鲁棒性越强,反之鲁棒性越弱;a和b均为预设常数,其中,a大于0,比如,该a为1,b为0。
在实际应用中,可以通过如下方式来确定上述公式一中m、η和n的值,可以获取多个用于评估数据准确性的第一评估指标,并利用该第一评估指标对数据补充后的当前时序数据的准确性进行打分,从确定该质量分数m;可以获取多个用于评估数据补偿效率的第二评估指标,并利用该第二评估指标对该当前时序数据的数据补偿效率进行打分,以确定该效率系数η;并且,可以获取多个用于评估数据鲁棒性的第三评估指标,并利用该第三评估指标对数据补充后的当前时序数据的鲁棒性进行打分,以确定该严谨系数n。因此,通过该第一评估指标、第二评估指标和第三评估指标,来得到m、η和n之后,进一步通过上述的公式一,来确定出P,从而实现对当前时序数据补偿效果的评估。
其中,获取该第一评估指标、第二评估指标和第三评估指标的方式,可以是从指标库中获取该第一评估指标、第二评估指标和第三评估指标,该指标库存储有多个评估指标,这些评估指标根据用途通常划分为多个类别,比如质量类指标、效率类指标和严谨性类指标,因此可以从该质量类指标中获取该第一评估指标,从该效率类指标中获取该第二评估指标,从该严谨性类指标中获取该第三评估指标。
需要进一步说明的是,上述步骤S25中提到了,利用目标数据补偿算法对该当前时序数据中所缺失的物理量进行数据补偿,这里可以列举几种目标数据补偿算法,并对利用该目标数据补偿算法进行补偿进行详细说明。
方式一,利用平均值补偿算法对该当前时序数据中所缺失的物理量进行数据补偿,此时该平均值补偿算法作为该目标数据补偿算法。
在该过程中,可以获取该当前时序数据之前以及之后的若干个时序数据,比如,获取该当前时序数据之前的3个时序数据,并获取该当前时序数据之后的4个时序数据,然后计算所获取的时序数据中该物理量数据的平均值,作为该当前时序数据中所缺失的物理量的补偿值。
当然,若该补偿值与该当前时序数据之前以及之后的时序数据,在一阶求导后为光滑的函数,则说明补偿效果较优;若一阶求导后不为光滑的函数,则可以进一步增加所获取的之前以及之后时序数据的数量,然后计算平均值,也可以调整这些时序数据的权重,来计算加权平均值,从使最终所得到的补偿值与之前以及之后的时序数据,一阶求导后为光滑的函数。
方式二,利用目标数据补偿算法对该当前时序数据中所缺失的物理量进行数据补偿,还可以是,先获取调整排列顺序后的当前时序数据之前的x个时序数据,并利用之前的x个时序数据确定该物理量的第一补偿值;其中,x为大于或等于2的正整数;然后获取调整排列顺序后的当前时序数据之后的y个时序数据,并利用之后的y个时序数据确定所述物理量的第二补偿值;其中,y为大于或等于2的正整数;然后将该第一补偿值和该第二补偿值进行加权求和,并将加权求和的结果用于对该当前时序数据中所缺失的物理量进行数据补偿。
其中,利用之前的x个时序数据确定该物理量的第一补偿值的方式,可以是计算该之前的x个时序数据的加权平均值,对于之前的x个时序数据各自的权重,可以通过权重模型来确定;当然,利用之后的y个时序数据确定所述物理量的第二补偿值,也可以是计算该之后的y个时序数据的加权平均值,对于之后的y个时序数据各自的权重,也可以通过权重模型来确定。其中,对于该权重模型,可以通过人工标准的样本,进行预先训练得到。
需要进一步说明的是,在工业生产的应用场景中,采集端通常可以设置有数据采集单元和数据发送单元,接收端可以设置有数据接收单元和数据处理单元,其中,采集端的数据采集单元从工业设备采集时序数据,然后通过采集端的数据发送单元发送到接收端的数据接收单元,接收端的数据接收单元接收到该时序数据后,由接收端的数据处理单元对该时序数据进行处理。当然该接收端也可以包括数据发送单元,用于将处理之后的时序数据发送到云端等进行存储。
另外,考虑到工业生产相关的应用场景,采集端通常为内网主机,接收端通常为外网主机,此时为了确保内网的信息安全,因此该采集端和接收端之间的连接通常为单向连接,通过该单向连接可以使采集端能够向接收端发送时序数据,而接收端不能向采集端发送数据和请求。在实际应用中,通常可以利用光器件来实现采集端和接收端之间的这种单向连接,比如在采集端设置SFP光纤模块的TX接口,并且在接收端设置SFP光纤模块的RX接口,进而通过光纤连接该TX接口和RX接口,来实现这种单向连接。
其中,采集端的数据采集单元可以设置有负载均衡OPC-DCOM子模块,从而通过该负载均衡OPC-DCOM子模块对多个数据发送的接口进行负载均衡的处理;接收端的数据接收单元可以设置有多线程OPC-lib子模块,从而通过多个并行的OPC-lib进行并行接收时序数据。其中,该OPC-DCOM子模块和OPC-lib子模块均为基于Linux系统的模块。
基于与本申请实施例所提供的,数据包安全风险检测方法相同的发明构思,本申请实施例还提供了一种时序数据处理装置,对于该装置实施例,如有不清楚之处,可以参考方法实施例的相应内容。如图3所示为该装置30的具体结构示意图,该装置30包括:时序数据获取单元301、乱序数据确定单元302和顺序调整单元303,其中:
时序数据获取单元301,用于获取当前时序数据,所述当前时序数据携带数据编号,所述数据编号反映所述当前时序数据与之前和之后时序数据的排列顺序;
乱序数据确定单元302,用于将所述当前时序数据的数据编号与所获取的前一个时序数据的数据编号进行对比,以确定所述当前时序数据是否为乱序数据;
顺序调整单元303,用于在所述当前时序数据为乱序数据的情况下,对所述当前时序数据的排列顺序进行调整。
采用本申请实施例所提供的装置30,由于该装置30采用与本申请实施例所提供的时序数据处理方法具有相同的发明构思,在该方法能够解决技术问题的前提下,该装置30也能够解决技术问题,这里对此不再赘述。
在实际应用中,对所述当前时序数据的排列顺序进行调整,可以具体包括:将所述当前时序数据与之前所确定出的乱序数据作为数据集合,并将所述数据集合中的乱序数据划分为多个分组,其中,每个分组中至少包括两个乱序数据;分别针对各个分组,将所述分组内的各个乱序数据按照所携带数据编号的大小顺序进行排列顺序的调整;分别针对各个分组,将所述分组内的第一个乱序数据的数据编号,与前一个分组内的最后一个乱序数据的数据编号进行对比,以确定是否调整所述分组与前一个分组的分组排列顺序;以及,将所述分组内的第后一个乱序数据的数据编号,与后一个分组内的第一个乱序数据的数据编号进行对比,以确定是否调整所述分组与后一个分组的分组排列顺序。
其中,将各个分组分别划分为多个子分组,其中,每个子分组中至少包括两个乱序数据;以及,分别针对各个分组,将所述分组内的各个乱序数据按照所携带数据编号的大小顺序进行排列顺序的调整,具体包括:分别针对各个子分组,将所述子分组内的各个乱序数据按照所携带数据编号的大小顺序进行排列顺序的调整;分别针对各个分组,将所述分组内的第一个乱序数据的数据编号,与前一个分组内的最后一个乱序数据的数据编号进行对比,以确定是否调整所述分组与前一个分组的分组排列顺序;以及,将所述分组内的第后一个乱序数据的数据编号,与后一个分组内的第一个乱序数据的数据编号进行对比,以确定是否调整所述分组与后一个分组的分组排列顺序,具体包括:分别针对各个子分组,将所述子分组内的第一个乱序数据的数据编号,与前一个子分组内的最后一个乱序数据的数据编号进行对比,以确定是否调整所述子分组与前一个子分组的子分组排列顺序;以及,将所述子分组内的第后一个乱序数据的数据编号,与后一个子分组内的第一个乱序数据的数据编号进行对比,以确定是否调整所述子分组与后一个子分组的子分组排列顺序。
该装置30还可以包括补偿单元,用于确定所述当前时序数据中所携带的物理量是否存在数据缺失;若是,则利用目标数据补偿算法对所述当前时序数据中所缺失的物理量进行数据补偿。
该装置30还可以包括算法确定单元,用于在利用目标数据补偿算法对所述当前时序数据中所缺失的物理量进行数据补偿之前,利用所述当前时序数据的数据等级以及数据类别查询映射表,以确定是否存在对应的数据补偿算法;若存在,则选取所述数据补偿算法作为所述目标数据补偿算法;或,若不存在,则根据所述当前时序数据的数据等级以及数据类别,确定所述映射表中的各个数据补偿算法分别作为所述目标数据补偿算法的概率,并选取概率最大的数据补偿算法作为所述目标数据补偿算法。
其中,根据所述当前时序数据的数据等级以及数据类别,确定所述映射表中的各个数据补偿算法分别作为所述目标数据补偿算法的概率,具体包括:将所述当前时序数据的数据等级以及数据类别输入至预设概率模型,以通过所述预设概率模型的输出,来确定所述映射表中的各个数据补偿算法分别作为所述目标数据补偿算法的概率。
该装置还可以包括评估单元,用于在利用目标数据补偿算法对所述当前时序数据中所缺失的物理量进行数据补偿之后,利用如下评估公式对数据补充后的当前时序数据进行补偿效果的评估:
P=a*m*η*n+b;
其中,P为数据补充后的当前时序数据的补偿效果的评估值;m为质量分数,用于表征数据补充后的当前时序数据的准确性;η为效率系数,用于表征对所述当前时序数据进行数据补偿的效率;n为严谨系数,用于表征数据补充后的当前时序数据的鲁棒性;a和b均为预设常数,其中,a大于0。
其中,可以获取多个用于评估数据准确性的第一评估指标,并利用所述第一评估指标对数据补充后的当前时序数据的准确性进行打分,以确定所述质量分数;获取多个用于评估数据补偿效率的第二评估指标,并利用所述第二评估指标对所述当前时序数据的数据补偿效率进行打分,以确定所述效率系数;以及,获取多个用于评估数据鲁棒性的第三评估指标,并利用所述第三评估指标对数据补充后的当前时序数据的鲁棒性进行打分,以确定所述严谨系数。
其中,利用目标数据补偿算法对所述当前时序数据中所缺失的物理量进行数据补偿,可以具体包括:
获取调整排列顺序后的当前时序数据之前的x个时序数据,并利用所述之前的x个时序数据确定所述物理量的第一补偿值;其中,x为大于或等于2的正整数;获取调整排列顺序后的当前时序数据之后的y个时序数据,并利用所述之后的y个时序数据确定所述物理量的第二补偿值;其中,y为大于或等于2的正整数;将所述第一补偿值和所述第二补偿值进行加权求和,并将加权求和的结果用于对所述当前时序数据中所缺失的物理量进行数据补偿。
本发明实施例还提供了一种存储介质,该存储介质存储有计算机程序,计算机程序可由处理器执行以完成本申请实施例中方法的全部或部分流程。其中,存储介质可为磁盘、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random AccessMemory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等。存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (12)
1.一种时序数据处理方法,其特征在于,所述方法包括:
获取当前时序数据,所述当前时序数据携带数据编号,所述数据编号反映所述当前时序数据与之前和之后时序数据的排列顺序;
将所述当前时序数据的数据编号与所获取的前一个时序数据的数据编号进行对比,以确定所述当前时序数据是否为乱序数据;
在所述当前时序数据为乱序数据的情况下,对所述当前时序数据的排列顺序进行调整。
2.根据权利要求1所述的方法,其特征在于,对所述当前时序数据的排列顺序进行调整,具体包括:
将所述当前时序数据与之前所确定出的乱序数据作为数据集合,并将所述数据集合中的乱序数据划分为多个分组,其中,每个分组中至少包括两个乱序数据;
分别针对各个分组,将所述分组内的各个乱序数据按照所携带数据编号的大小顺序进行排列顺序的调整;
分别针对各个分组,将所述分组内的第一个乱序数据的数据编号,与前一个分组内的最后一个乱序数据的数据编号进行对比,以确定是否调整所述分组与前一个分组的分组排列顺序;以及,将所述分组内的第后一个乱序数据的数据编号,与后一个分组内的第一个乱序数据的数据编号进行对比,以确定是否调整所述分组与后一个分组的分组排列顺序。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:将各个分组分别划分为多个子分组,其中,每个子分组中至少包括两个乱序数据;以及,
分别针对各个分组,将所述分组内的各个乱序数据按照所携带数据编号的大小顺序进行排列顺序的调整,具体包括:分别针对各个子分组,将所述子分组内的各个乱序数据按照所携带数据编号的大小顺序进行排列顺序的调整;
分别针对各个分组,将所述分组内的第一个乱序数据的数据编号,与前一个分组内的最后一个乱序数据的数据编号进行对比,以确定是否调整所述分组与前一个分组的分组排列顺序;以及,将所述分组内的第后一个乱序数据的数据编号,与后一个分组内的第一个乱序数据的数据编号进行对比,以确定是否调整所述分组与后一个分组的分组排列顺序,具体包括:分别针对各个子分组,将所述子分组内的第一个乱序数据的数据编号,与前一个子分组内的最后一个乱序数据的数据编号进行对比,以确定是否调整所述子分组与前一个子分组的子分组排列顺序;以及,将所述子分组内的第后一个乱序数据的数据编号,与后一个子分组内的第一个乱序数据的数据编号进行对比,以确定是否调整所述子分组与后一个子分组的子分组排列顺序。
4.根据权利要求1所述的方法,其特征在于,在对所述当前时序数据的排列顺序进行调整之后,所述方法还包括:
确定所述当前时序数据中所携带的物理量是否存在数据缺失;
若是,则利用目标数据补偿算法对所述当前时序数据中所缺失的物理量进行数据补偿。
5.根据权利要求4所述的方法,其特征在于,在利用目标数据补偿算法对所述当前时序数据中所缺失的物理量进行数据补偿之前,所述方法还包括:
利用所述当前时序数据的数据等级以及数据类别查询映射表,以确定是否存在对应的数据补偿算法;
若存在,则选取所述数据补偿算法作为所述目标数据补偿算法;或,
若不存在,则根据所述当前时序数据的数据等级以及数据类别,确定所述映射表中的各个数据补偿算法分别作为所述目标数据补偿算法的概率,并选取概率最大的数据补偿算法作为所述目标数据补偿算法。
6.根据权利要求5所述的方法,其特征在于,根据所述当前时序数据的数据等级以及数据类别,确定所述映射表中的各个数据补偿算法分别作为所述目标数据补偿算法的概率,具体包括:
将所述当前时序数据的数据等级以及数据类别输入至预设概率模型,以通过所述预设概率模型的输出,来确定所述映射表中的各个数据补偿算法分别作为所述目标数据补偿算法的概率。
7.根据权利要求4所述的方法,其特征在于,在利用目标数据补偿算法对所述当前时序数据中所缺失的物理量进行数据补偿之后,所述方法还包括:利用如下评估公式对数据补充后的当前时序数据进行补偿效果的评估:
P=a*m*η*n+b;
其中,P为数据补充后的当前时序数据的补偿效果的评估值;m为质量分数,用于表征数据补充后的当前时序数据的准确性;η为效率系数,用于表征对所述当前时序数据进行数据补偿的效率;n为严谨系数,用于表征数据补充后的当前时序数据的鲁棒性;a和b均为预设常数,其中,a大于0。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
获取多个用于评估数据准确性的第一评估指标,并利用所述第一评估指标对数据补充后的当前时序数据的准确性进行打分,以确定所述质量分数;
获取多个用于评估数据补偿效率的第二评估指标,并利用所述第二评估指标对所述当前时序数据的数据补偿效率进行打分,以确定所述效率系数;以及,
获取多个用于评估数据鲁棒性的第三评估指标,并利用所述第三评估指标对数据补充后的当前时序数据的鲁棒性进行打分,以确定所述严谨系数。
9.根据权利要求4所述的方法,其特征在于,利用目标数据补偿算法对所述当前时序数据中所缺失的物理量进行数据补偿,具体包括:
获取调整排列顺序后的当前时序数据之前的x个时序数据,并利用所述之前的x个时序数据确定所述物理量的第一补偿值;其中,x为大于或等于2的正整数;
获取调整排列顺序后的当前时序数据之后的y个时序数据,并利用所述之后的y个时序数据确定所述物理量的第二补偿值;其中,y为大于或等于2的正整数;
将所述第一补偿值和所述第二补偿值进行加权求和,并将加权求和的结果用于对所述当前时序数据中所缺失的物理量进行数据补偿。
10.一种时序数据处理装置,其特征在于,包括:
时序数据获取单元,用于获取当前时序数据,所述当前时序数据携带数据编号,所述数据编号反映所述当前时序数据与之前和之后时序数据的排列顺序;
乱序数据确定单元,用于将所述当前时序数据的数据编号与所获取的前一个时序数据的数据编号进行对比,以确定所述当前时序数据是否为乱序数据;
顺序调整单元,用于在所述当前时序数据为乱序数据的情况下,对所述当前时序数据的排列顺序进行调整。
11.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行如权利要求1-9任意一项所述的方法。
12.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序可由处理器执行以完成权利要求1-9任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211737733.4A CN116054846A (zh) | 2022-12-30 | 2022-12-30 | 时序数据处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211737733.4A CN116054846A (zh) | 2022-12-30 | 2022-12-30 | 时序数据处理方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116054846A true CN116054846A (zh) | 2023-05-02 |
Family
ID=86115886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211737733.4A Pending CN116054846A (zh) | 2022-12-30 | 2022-12-30 | 时序数据处理方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116054846A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117931788A (zh) * | 2024-03-21 | 2024-04-26 | 松立控股集团股份有限公司 | 一种多相机图像数据去重和时序校正的方法 |
-
2022
- 2022-12-30 CN CN202211737733.4A patent/CN116054846A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117931788A (zh) * | 2024-03-21 | 2024-04-26 | 松立控股集团股份有限公司 | 一种多相机图像数据去重和时序校正的方法 |
CN117931788B (zh) * | 2024-03-21 | 2024-05-28 | 松立控股集团股份有限公司 | 一种多相机图像数据去重和时序校正的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109491894B (zh) | 一种接口测试的方法及设备 | |
CN107329983B (zh) | 一种机器数据分布式存储、读取方法及系统 | |
CN105653683B (zh) | 一种个性化推荐方法及装置 | |
US20150135320A1 (en) | Methods and apparatus to identify malicious activity in a network | |
CN112448947B (zh) | 网络异常确定方法、设备及存储介质 | |
WO2011113239A1 (zh) | 域名系统流量检测方法与域名服务器 | |
CN116054846A (zh) | 时序数据处理方法、装置、电子设备和存储介质 | |
CN117041019B (zh) | 内容分发网络cdn的日志分析方法、装置及存储介质 | |
CN115577746A (zh) | 一种基于元学习的网络入侵检测方法 | |
CN111813644B (zh) | 系统性能的评价方法、装置、电子设备和计算机可读介质 | |
CN105306252A (zh) | 一种自动判别服务器故障的方法 | |
US20230409422A1 (en) | Systems and Methods for Anomaly Detection in Multi-Modal Data Streams | |
CN113296992A (zh) | 异常原因确定方法、装置、设备和存储介质 | |
CN112491627A (zh) | 一种网络质量实时分析方法及装置 | |
CN111882179A (zh) | 一种基于数据流处理的网络安全态势感知系统平台 | |
CN115086070B (zh) | 工业互联网入侵检测方法及系统 | |
CN110580265A (zh) | Etl任务的处理方法、装置、设备及存储介质 | |
CN113592216A (zh) | 一种应用于智能工厂的生产管理方法和系统 | |
CN110134575B (zh) | 一种服务器集群的服务能力计算方法及装置 | |
CN105740345B (zh) | 一种信息推送方法及服务端装置 | |
CN110232590B (zh) | 一种方案的生成方法及设备 | |
CN111833197A (zh) | 一种征信协议的遥测数据处理方法和装置 | |
CN112019547A (zh) | 网络流量评估方法、攻击检测方法、服务器及存储介质 | |
KR100738550B1 (ko) | 유전자 알고리즘을 응용한 네트워크 침입 감지 시스템 및그 방법 | |
CN117440382B (zh) | 基于物联网的无线设备运行分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |