CN112422669A - 一种多关联设备数据实时提取方法及相关装置 - Google Patents
一种多关联设备数据实时提取方法及相关装置 Download PDFInfo
- Publication number
- CN112422669A CN112422669A CN202011246977.3A CN202011246977A CN112422669A CN 112422669 A CN112422669 A CN 112422669A CN 202011246977 A CN202011246977 A CN 202011246977A CN 112422669 A CN112422669 A CN 112422669A
- Authority
- CN
- China
- Prior art keywords
- data
- time
- data packet
- value
- data packets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000001174 ascending effect Effects 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 10
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012163 sequencing technique Methods 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/54—Presence management, e.g. monitoring or registration for receipt of user log-on information, or the connection status of the users
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/29—Flow control; Congestion control using a combination of thresholds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/32—Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/622—Queue service order
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种多关联设备数据实时提取方法,通过先将各个设备采集的数据包在各自对应的数据流中沿时间升序顺序排序,可以避免数据流乱序情况的发生。而在提取待输出数据包时,会选取时间差值不超过预设阈值的不同设备数据流内的数据包,并赋予同一时间值,以保证快速高效的实时提取得到设备系统数据流。本发明还提供了一种多关联设备数据实时提取装置、一种多关联设备数据实时提取设备以及一种计算机可读存储介质,同样具有上述有益效果。
Description
技术领域
本发明涉及多设备参数提取技术领域,特别是涉及一种多关联设备数据实时提取方法、一种多关联设备数据实时提取装置、一种多关联设备数据实时提取设备以及一种计算机可读存储介质。
背景技术
在能源管理、能效分析与诊断、能耗优化等场景中,通常需要对某些设备系统数据进行实时在线分析,而实际进行实时数据采集的往往是单个设备,即进入数据流中的都是一个个单个设备的数据包。
一个设备系统由多个相关联的设备组成,因此就需要根据设备系统与设备的关联关系以及这些设备的实时采集的数据流提取出设备系统数据流供后面的分析使用。
在一个设备系统中,不同设备的采集频率往往是不一样的,即使是同一设备,其采集数据的频率也可能不固定,有时还存在部分设备采集异常中断的情况,由于网络或者其他原因还可能出现乱序(不按时间升序)数据。
在这样的背景下,如何从持续不断且采集频率不固定的可能出现乱序的数据流中识别出当前分析需要用到的多个关联设备的数据流并快速高效的实时提取得到设备系统数据流,成为亟待解决的技术问题。
发明内容
本发明的目的是提供一种多关联设备数据实时提取方法,可以快速高效的实时提取得到设备系统数据流;本发明的另一目的在于提供一种多关联设备数据实时提取装置、一种多关联设备数据实时提取设备以及一种计算机可读存储介质,可以快速高效的实时提取得到设备系统数据流。
为解决上述技术问题,本发明提供一种多关联设备数据实时提取方法,包括:
实时获取多个设备的数据包;所述数据包包括对应设备的设备标识信息;
根据所述设备标识信息将所述数据包沿时间升序顺序排列至对应的设备数据流;所述设备数据流与所述设备一一对应;
当任一所述设备数据流中均记录有所述数据包时,比较全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值;
当所述时间差值不超过预设阈值时,确定各个所述设备数据流中时间值与所述最大时间值最接近的数据包作为待输出数据包;
提取所述待输出数据包,给所述待输出数据包赋予同一时间值,并从所述设备数据流中删除所述待输出数据包以及所述待输出数据包之前的数据包。
可选的,在所述当任一所述设备数据流中均记录有所述数据包时,比较全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值之后,还包括:
当所述时间差值大于预设阈值时,删除所述最小时间值对应的数据包,并重新执行所述当任一所述设备数据流中均记录有所述数据包时,比较全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值的步骤。
可选的,所述根据所述设备标识信息将所述数据包沿时间升序顺序排列至对应的设备数据流包括:
依据获取所述数据包的先后顺序,根据所述设备标识信息将所述数据包添加至对应的设备数据流;
当所述设备数据流中后一数据包的时间值早于前一数据包的时间值时,丢弃后一数据包。
可选的,所述预设阈值为所述设备中最低采集频率所对应的采集时间差值。
可选的,在所述实时获取多个设备的数据包之后,还包括:
对所述数据包的格式进行检查,删除不符合预设格式要求的数据包。
可选的,在所述当任一所述设备数据流中均记录有所述数据包时,比较全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值之前,还包括:
获取系统关联设备配置流;所述系统关联设备配置流记录有所述设备所属系统的系统标识信息;
根据所述系统关联设备配置流向任一所述数据包中添加对应的所述系统标识信息;
所述当任一所述设备数据流中均记录有所述数据包时,比较全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值包括:
当对应同一所述系统标识信息的任一所述设备数据流中均记录有所述数据包时,比较对应同一所述系统标识信息的全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值;
所述当所述时间差值不超过预设阈值时,确定各个所述设备数据流中时间值与所述最大时间值最接近的数据包作为待输出数据包包括:
当所述时间差值不超过预设阈值时,确定对应同一所述系统标识信息的各个所述设备数据流中时间值与所述最大时间值最接近的数据包作为待输出数据包。
可选的,在所述根据所述设备标识信息将所述数据包沿时间升序顺序排列至对应的设备数据流之后,还包括:
当对应同一所述系统标识信息的多个设备数据流中,具有未记录有数据包的设备数据流,且具有记录超过数量阈值个数据包的设备数据流时,沿从前往后的顺序删除记录超过数量阈值个数据包的设备数据流中预设个数的数据包。
本发明还提供了一种多关联设备数据实时提取装置,包括:
获取模块:用于实时获取多个设备的数据包;所述数据包包括对应设备的设备标识信息;
排序模块:用于根据所述设备标识信息将所述数据包沿时间升序顺序排列至对应的设备数据流;所述设备数据流与所述设备一一对应;
时间比较模块:用于当任一所述设备数据流中均记录有所述数据包时,比较全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值;
确定模块:用于当所述时间差值不超过预设阈值时,确定各个所述设备数据流中时间值与所述最大时间值最接近的数据包作为待输出数据包;
提取模块:用于提取所述待输出数据包,给所述待输出数据包赋予同一时间值,并从所述设备数据流中删除所述待输出数据包以及所述待输出数据包之前的数据包。
本发明还提供了一种多关联设备数据实时提取设备,所述设备包括:
存储器:用于存储计算机程序;
处理器:用于执行所述计算机程序时实现如上述任一项所述多关联设备数据实时提取方法的步骤。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述多关联设备数据实时提取方法的步骤。
本发明所提供的一种多关联设备数据实时提取方法,包括实时获取多个设备的数据包;数据包包括对应设备的设备标识信息;根据设备标识信息将数据包沿时间升序顺序排列至对应的设备数据流;设备数据流与设备一一对应;当任一设备数据流中均记录有数据包时,比较全部设备数据流中的第一个数据包,确定多个设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值;当时间差值不超过预设阈值时,确定各个设备数据流中时间值与最大时间值最接近的数据包作为待输出数据包;提取待输出数据包,给待输出数据包赋予同一时间值,并从设备数据流中删除待输出数据包以及待输出数据包之前的数据包。
通过先将各个设备采集的数据包在各自对应的数据流中沿时间升序顺序排序,可以避免数据流乱序情况的发生。而在提取待输出数据包时,会选取时间差值不超过预设阈值的不同设备数据流内的数据包,并赋予同一时间值,以保证快速高效的实时提取得到设备系统数据流。
本发明还提供了一种多关联设备数据实时提取装置、一种多关联设备数据实时提取设备以及一种计算机可读存储介质,同样具有上述有益效果,在此不再进行赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种多关联设备数据实时提取方法的流程图;
图2为本发明实施例所提供的一种具体的多关联设备数据实时提取方法的流程图;
图3为本发明实施例所提供的一种多关联设备数据实时提取装置的结构框图;
图4为本发明实施例所提供的一种多关联设备数据实时提取设备的结构框图。
具体实施方式
本发明的核心是提供一种多关联设备数据实时提取方法。在现有技术中,不同设备的采集频率往往是不一样的,即使是同一设备,其采集数据的频率也可能不固定,有时还存在部分设备采集异常中断的情况,由于网络或者其他原因还可能出现乱序数据,导致最终提取数据的不准确。
而本发明所提供的一种多关联设备数据实时提取方法,包括实时获取多个设备的数据包;数据包包括对应设备的设备标识信息;根据设备标识信息将数据包沿时间升序顺序排列至对应的设备数据流;设备数据流与设备一一对应;当任一设备数据流中均记录有数据包时,比较全部设备数据流中的第一个数据包,确定多个设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值;当时间差值不超过预设阈值时,确定各个设备数据流中时间值与最大时间值最接近的数据包作为待输出数据包;提取待输出数据包,给待输出数据包赋予同一时间值,并从设备数据流中删除待输出数据包以及待输出数据包之前的数据包。
通过先将各个设备采集的数据包在各自对应的数据流中沿时间升序顺序排序,可以避免数据流乱序情况的发生。而在提取待输出数据包时,会选取时间差值不超过预设阈值的不同设备数据流内的数据包,并赋予同一时间值,以保证快速高效的实时提取得到设备系统数据流。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,图1为本发明实施例所提供的一种多关联设备数据实时提取方法的流程图。
参见图1,在本发明实施例中,多关联设备数据实时提取方法包括:
S101:实时获取多个设备的数据包。
在本发明实施例中,所述数据包包括对应设备的设备标识信息,以便后续步骤中根据该设备标识信息将数据包放置在不同的数据流中。有关设备标识信息的具体格式在本发明实施例中不做具体限定,视具体情况而定。当然,在本发明实施例中每个数据包均记录有采集该数据包的时间值。
在本发明实施例中,该数据包的来源可以是消息队列,例如Kafka、RabbitMQ、RocketMQ、ActiveMQ等;也可以是数据库,例如MySQL、Oracle、DB2、SQL Server等;也可以是文件,例如CSV、Excel、TXT等;也可以是网络套接字Socket,或其他系统的对外接口等均可,在此不做具体限定。
在本步骤中,具体会实时获取各个设备的数据包,并在下述步骤中实时对整个系统的数据包进行提取。
S102:根据设备标识信息将数据包沿时间升序顺序排列至对应的设备数据流。
在本发明实施例中,所述设备数据流与所述设备一一对应。即一台设备对应一个设备数据流,从一台设备中采集的数据包会依次放在对应的设备数据流中。通常需要在本步骤中,需要对乱序的数据包进行处理,以保证设备数据流中各个数据包沿时间升序顺序排列。有关处理乱序数据包的具体过程将在下述发明实施例中做详细介绍,在此不再进行赘述。
S103:当任一设备数据流中均记录有数据包时,比较全部设备数据流中的第一个数据包,确定多个设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值。
在本发明个实施例中,只有当任意一个设备数据流中均记录有至少一个数据包时,才会执行下述步骤,将同一时刻的数据包进行整合。在本步骤中,具体会先确认每个设备数据流中第一数据包中,最大的时间值,即最大时间值,以及最小的时间值,即最小时间值。之后,会计算最大时间值与最小时间值之间的差值,即时间差值。
S104:当时间差值不超过预设阈值时,确定各个设备数据流中时间值与最大时间值最接近的数据包作为待输出数据包。
在本步骤中,会先判断时间差值是否超过预设阈值,只有在时间差值不超过预设阈值时,即上述各个设备数据流中第一个数据包的采集时间都比较接近时,会在本步骤中确定各个设备数据流中与上述最大时间值最接近的时间值所对应的数据包,将该数据包记为待输出数据包。此时,在任一设备数据流中,并非是第一个数据包为待输出数据包,也有可能是第二个或第N个数据包的时间值与上述最大时间值最为接近,为待输出数据包。当然,上述最大时间值对应的数据包记为对应设备数据流中的待输出数据包。
具体的,上述预设阈值通常为所述设备中最低采集频率所对应的采集时间差值,以保证每个设备数据流均可以记录到对应的数据包。当然,该预设阈值还可以有其他取值或为某一经验数值等均可,视具体情况而定,在此不做具体限定。
S105:提取待输出数据包,给待输出数据包赋予同一时间值,并从设备数据流中删除待输出数据包以及待输出数据包之前的数据包。
在本步骤中,会提取上述各个设备数据流中的待输出数据包组成一系统数据包,给各个待输出数据包,或者说系统数据包赋予同一个时间值,多个系统数据包会组成整个系统的系统数据流。在本步骤中,需要从各个设备数据流中删除待输出数据包以及待输出数据包之前的数据包,保证不会重复提取同一数据包。
在本发明实施例中,给待输出数据包赋予的同一时间值具体可以是上述S103中确定的最大时间值,也可以是该各个输出数据包的时间值的均值,或其他方式得到的时间值均可,在本发明实施例中不做具体限定。
本发明实施例所提供的一种多关联设备数据实时提取方法,包括实时获取多个设备的数据包;数据包包括对应设备的设备标识信息;根据设备标识信息将数据包沿时间升序顺序排列至对应的设备数据流;设备数据流与设备一一对应;当任一设备数据流中均记录有数据包时,比较全部设备数据流中的第一个数据包,确定多个设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值;当时间差值不超过预设阈值时,确定各个设备数据流中时间值与最大时间值最接近的数据包作为待输出数据包;提取待输出数据包,给待输出数据包赋予同一时间值,并从设备数据流中删除待输出数据包以及待输出数据包之前的数据包。
通过先将各个设备采集的数据包在各自对应的数据流中沿时间升序顺序排序,可以避免数据流乱序情况的发生。而在提取待输出数据包时,会选取时间差值不超过预设阈值的不同设备数据流内的数据包,并赋予同一时间值,以保证快速高效的实时提取得到设备系统数据流。
有关本发明所提供的一种多关联设备数据实时提取方法的具体内容将在下述发明实施例中做详细介绍。
请参考图2,图2为本发明实施例所提供的一种具体的多关联设备数据实时提取方法的流程图。
参见图2,在本发明实施例中,多关联设备数据实时提取方法包括:
S201:实时获取多个设备的数据包。
本步骤与上述发明实施例中S101基本一致,详细内容请参考上述发明实施例,在此不再进行赘述。
S202:对数据包的格式进行检查,删除不符合预设格式要求的数据包。
在本步骤中,会删除不符合预设格式的数据包,以保证在后续步骤中可以准确识别出各个数据包。
S203:依据获取数据包的先后顺序,根据设备标识信息将数据包添加至对应的设备数据流。
在本步骤中,当获取到数据包之后,会依据获取的先后顺序,将数据包依次添加至各个设备对应的设备数据流中。
S204:当设备数据流中后一数据包的时间值早于前一数据包的时间值时,丢弃后一数据包。
在本步骤中,当发现设备数据流中数据包出现乱序的情况,即相邻数据包中后一数据包的时间值早于前一数据包的时间值,在本步骤中具体会丢弃后一数据包,以避免乱序情况的发生。
除了上述删除后一数据包的方法之外,还可以具体是对于每一个设备数据流,先缓存一定数量的数据包,将缓存好的数据包沿时间升序顺序排列至设备数据流中,以避免乱序情况的发生。在本发明实施例中,对于防止数据流乱序的具体过程可以根据实际情况自行设定,在此不做具体限定。
S205:获取系统关联设备配置流。
在本发明实施例中,所述系统关联设备配置流记录有所述设备所属系统的系统标识信息。
上述系统关联设备配置流可以表示当前时刻归属于同一系统的,相关联的设备具体有哪些,而在本发明实施例中,具体会根据该系统关联设备配置流,对应一个系统的关联设备,数据对应的系统数据流。有关系统关联设备配置流的具体形式可以根据实际情况自行设定,在此不做具体限定。该系统关联设备配置流具体可以表明上述各个设备数据流是相互关联,归于同一系统。
当然,在本发明实施例中上述系统关联设备配置流所记载的数据可以是实时变化的,以满足设备系统分析的需要。在本发明实施例中,该系统关联设备配置流的来源可以是消息队列,例如Kafka、RabbitMQ、RocketMQ、ActiveMQ等;也可以是数据库,例如MySQL、Oracle、DB2、SQL Server等;也可以是文件,例如CSV、Excel、TXT等;也可以是网络套接字Socket,或其他系统的对外接口等均可,在此不做具体限定。
S206:根据系统关联设备配置流向任一数据包中添加对应的系统标识信息。
在本步骤中,具体会根据上述系统关联设备配置流向每个数据包,或者说是每个设备数据流添加对应的系统标识信息,以便在后续步骤中可以根据该系统标识信息确定哪些数据包归属于同一系统。即该系统标识信息便于对设备数据流进行分组,而每一组设备数据流最终会输出一组系统数据流。
S207:当对应同一系统标识信息的任一设备数据流中均记录有数据包时,比较对应同一系统标识信息的全部设备数据流中的第一个数据包,确定多个设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值。
在本步骤中,具体是计算相互关联的,对应同一系统的多个设备数据流中,各个设备数据流的第一个数据包的最大时间值,以及最小时间值之间的时间差值。有关时间差值的具体计算过程已在上述发明实施例中做详细介绍,在此不再进行赘述。在本步骤中,仅仅是在关联同一系统的一组设备数据流中,计算其时间差值。
S208:当对应同一系统标识信息的多个设备数据流中,具有未记录有数据包的设备数据流,且具有记录超过数量阈值个数据包的设备数据流时,沿从前往后的顺序删除记录超过数量阈值个数据包的设备数据流中预设个数的数据包。
在本步骤中,当对应同一系统的多个设备数据流中,并不是每个设备数据流均记录有数据包,而是存在至少一个设备数据流未记录有数据包,且存在某一个设备数据流已经记录有过多的数据包,即具有记录超过数量阈值个数据包的设备数据流时,会删除该记录有过多数据包的设备数据流中,靠前的部分数据包,以避免因为设备系统中某个设备数据长时间缺失导致其他设备数据一直缓存而出现内存溢出情况的发生。
S209:当时间差值不超过预设阈值时,确定对应同一系统标识信息的各个设备数据流中时间值与最大时间值最接近的数据包作为待输出数据包。
在本步骤中,当计算的时间差值不超过预设阈值时,具体会在对应同一系统的多个设备数据流中确定出待输出数据包,有关确定待输出数据包的具体过程已在上述发明实施例中做详细介绍,在此不再进行赘述。
S210:当时间差值大于预设阈值时,删除最小时间值对应的数据包。
在本步骤中,当时间差值大于预设阈值时,意味着多个设备数据流中第一数据包采集的时间间隔过长,不能认定为同一时间采集的多台设备的数据包。此时,在本步骤中需要删除最小时间值对应的数据包,即删除时间靠前的数据包,并循环至上述S207,重复计算新获取数据包后设备数据流之间的第一个数据包的时间差值。即会重新执行所述当任一所述设备数据流中均记录有所述数据包时,比较全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值的步骤。
S211:提取待输出数据包,给待输出数据包赋予同一时间值,并从设备数据流中删除待输出数据包以及待输出数据包之前的数据包。
本步骤与上述发明实施例中S105基本一致,详细内容请参考上述发明实施例,在此不再进行赘述。
本发明实施例所提供的一种多关联设备数据实时提取方法,通过先将各个设备采集的数据包在各自对应的数据流中沿时间升序顺序排序,可以避免数据流乱序情况的发生。而在提取待输出数据包时,会选取时间差值不超过预设阈值的不同设备数据流内的数据包,并赋予同一时间值,以保证快速高效的实时提取得到设备系统数据流。
下面对本发明实施例所提供的一种多关联设备数据实时提取装置进行介绍,下文描述的多关联设备数据实时提取装置与上文描述的多关联设备数据实时提取方法可相互对应参照。
请参考图3,图3为本发明实施例所提供的一种多关联设备数据实时提取装置的结构框图。
参见图3,在本发明实施例中,多关联设备数据实时提取装置可以包括:
获取模块100:用于实时获取多个设备的数据包;所述数据包包括对应设备的设备标识信息。
排序模块200:用于根据所述设备标识信息将所述数据包沿时间升序顺序排列至对应的设备数据流;所述设备数据流与所述设备一一对应。
时间比较模块300:用于当任一所述设备数据流中均记录有所述数据包时,比较全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值。
确定模块400:用于当所述时间差值不超过预设阈值时,确定各个所述设备数据流中时间值与所述最大时间值最接近的数据包作为待输出数据包。
提取模块500:用于提取所述待输出数据包,给所述待输出数据包赋予同一时间值,并从所述设备数据流中删除所述待输出数据包以及所述待输出数据包之前的数据包。
作为优选的,在本发明实施例中,还包括:
最小删除模块:用于当所述时间差值大于预设阈值时,删除所述最小时间值对应的数据包,并重新运行时间比较模块。
作为优选的,在本发明实施例中,排序模块200包括:
添加单元:用于依据获取所述数据包的先后顺序,根据所述设备标识信息将所述数据包添加至对应的设备数据流;
丢弃单元:用于当所述设备数据流中后一数据包的时间值早于前一数据包的时间值时,丢弃后一数据包。
作为优选的,在本发明实施例中,所述预设阈值为所述设备中最低采集频率所对应的采集时间差值。
作为优选的,在本发明实施例中,还包括:
检查模块:用于对所述数据包的格式进行检查,删除不符合预设格式要求的数据包。
作为优选的,在本发明实施例中,还包括:
配置流模块:用于获取系统关联设备配置流;所述系统关联设备配置流记录有所述设备所属系统的系统标识信息。
系统标识添加模块:用于根据所述系统关联设备配置流向任一所述数据包中添加对应的所述系统标识信息。
时间比较模块300具体用于:
当对应同一所述系统标识信息的任一所述设备数据流中均记录有所述数据包时,比较对应同一所述系统标识信息的全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值;
确定模块400具体用于:
当所述时间差值不超过预设阈值时,确定对应同一所述系统标识信息的各个所述设备数据流中时间值与所述最大时间值最接近的数据包作为待输出数据包。
作为优选的,在本发明实施例中,还包括:
删除模块:用于当对应同一所述系统标识信息的多个设备数据流中,具有未记录有数据包的设备数据流,且具有记录超过数量阈值个数据包的设备数据流时,沿从前往后的顺序删除记录超过数量阈值个数据包的设备数据流中预设个数的数据包。
本实施例的多关联设备数据实时提取装置用于实现前述的多关联设备数据实时提取方法,因此多关联设备数据实时提取装置中的具体实施方式可见前文中多关联设备数据实时提取方法的实施例部分,例如,获取模块100,排序模块200,时间比较模块300,确定模块400,提取模块500分别用于实现上述多关联设备数据实时提取方法中步骤S101,S102,S103,S104以及S105,所以,其具体实施方式可以参照相应的各个部分实施例的描述,在此不再赘述。
下面对本发明实施例提供的一种多关联设备数据实时提取设备进行介绍,下文描述的多关联设备数据实时提取设备与上文描述的多关联设备数据实时提取方法以及多关联设备数据实时提取装置可相互对应参照。
请参考图4,图4为本发明实施例所提供的一种多关联设备数据实时提取设备的结构框图。
参照图4,该多关联设备数据实时提取设备可以包括处理器11和存储器12。
所述存储器12用于存储计算机程序;所述处理器11用于执行所述计算机程序时实现上述发明实施例中所述的多关联设备数据实时提取方法。
本实施例的多关联设备数据实时提取设备中处理器11用于安装上述发明实施例中所述的多关联设备数据实时提取装置,同时处理器11与存储器12相结合可以实现上述任一发明实施例中所述的多关联设备数据实时提取方法。因此多关联设备数据实时提取设备中的具体实施方式可见前文中的多关联设备数据实时提取方法的实施例部分,其具体实施方式可以参照相应的各个部分实施例的描述,在此不再赘述。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一发明实施例中所介绍的一种多关联设备数据实时提取方法。其余内容可以参照现有技术,在此不再进行展开描述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种多关联设备数据实时提取方法、一种多关联设备数据实时提取装置、一种多关联设备数据实时提取设备以及一种计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种多关联设备数据实时提取方法,其特征在于,包括:
实时获取多个设备的数据包;所述数据包包括对应设备的设备标识信息;
根据所述设备标识信息将所述数据包沿时间升序顺序排列至对应的设备数据流;所述设备数据流与所述设备一一对应;
当任一所述设备数据流中均记录有所述数据包时,比较全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值;
当所述时间差值不超过预设阈值时,确定各个所述设备数据流中时间值与所述最大时间值最接近的数据包作为待输出数据包;
提取所述待输出数据包,给所述待输出数据包赋予同一时间值,并从所述设备数据流中删除所述待输出数据包以及所述待输出数据包之前的数据包。
2.根据权利要求1所述的方法,其特征在于,在所述当任一所述设备数据流中均记录有所述数据包时,比较全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值之后,还包括:
当所述时间差值大于预设阈值时,删除所述最小时间值对应的数据包,并重新执行所述当任一所述设备数据流中均记录有所述数据包时,比较全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值的步骤。
3.根据权利要求2所述的方法,其特征在于,所述根据所述设备标识信息将所述数据包沿时间升序顺序排列至对应的设备数据流包括:
依据获取所述数据包的先后顺序,根据所述设备标识信息将所述数据包添加至对应的设备数据流;
当所述设备数据流中后一数据包的时间值早于前一数据包的时间值时,丢弃后一数据包。
4.根据权利要求1所述的方法,其特征在于,所述预设阈值为所述设备中最低采集频率所对应的采集时间差值。
5.根据权利要求1所述的方法,其特征在于,在所述实时获取多个设备的数据包之后,还包括:
对所述数据包的格式进行检查,删除不符合预设格式要求的数据包。
6.根据权利要求1所述的方法,其特征在于,在所述当任一所述设备数据流中均记录有所述数据包时,比较全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值之前,还包括:
获取系统关联设备配置流;所述系统关联设备配置流记录有所述设备所属系统的系统标识信息;
根据所述系统关联设备配置流向任一所述数据包中添加对应的所述系统标识信息;
所述当任一所述设备数据流中均记录有所述数据包时,比较全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值包括:
当对应同一所述系统标识信息的任一所述设备数据流中均记录有所述数据包时,比较对应同一所述系统标识信息的全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值;
所述当所述时间差值不超过预设阈值时,确定各个所述设备数据流中时间值与所述最大时间值最接近的数据包作为待输出数据包包括:
当所述时间差值不超过预设阈值时,确定对应同一所述系统标识信息的各个所述设备数据流中时间值与所述最大时间值最接近的数据包作为待输出数据包。
7.根据权利要求6所述的方法,其特征在于,在所述根据所述设备标识信息将所述数据包沿时间升序顺序排列至对应的设备数据流之后,还包括:
当对应同一所述系统标识信息的多个设备数据流中,具有未记录有数据包的设备数据流,且具有记录超过数量阈值个数据包的设备数据流时,沿从前往后的顺序删除记录超过数量阈值个数据包的设备数据流中预设个数的数据包。
8.一种多关联设备数据实时提取装置,其特征在于,包括:
获取模块:用于实时获取多个设备的数据包;所述数据包包括对应设备的设备标识信息;
排序模块:用于根据所述设备标识信息将所述数据包沿时间升序顺序排列至对应的设备数据流;所述设备数据流与所述设备一一对应;
时间比较模块:用于当任一所述设备数据流中均记录有所述数据包时,比较全部所述设备数据流中的第一个数据包,确定多个所述设备数据流中第一个数据包的最大时间值与最小时间值之间的时间差值;
确定模块:用于当所述时间差值不超过预设阈值时,确定各个所述设备数据流中时间值与所述最大时间值最接近的数据包作为待输出数据包;
提取模块:用于提取所述待输出数据包,给所述待输出数据包赋予同一时间值,并从所述设备数据流中删除所述待输出数据包以及所述待输出数据包之前的数据包。
9.一种多关联设备数据实时提取设备,其特征在于,所述设备包括:
存储器:用于存储计算机程序;
处理器:用于执行所述计算机程序时实现如权利要求1至7任一项所述多关联设备数据实时提取方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多关联设备数据实时提取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011246977.3A CN112422669B (zh) | 2020-11-10 | 2020-11-10 | 一种多关联设备数据实时提取方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011246977.3A CN112422669B (zh) | 2020-11-10 | 2020-11-10 | 一种多关联设备数据实时提取方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112422669A true CN112422669A (zh) | 2021-02-26 |
CN112422669B CN112422669B (zh) | 2022-08-12 |
Family
ID=74780470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011246977.3A Active CN112422669B (zh) | 2020-11-10 | 2020-11-10 | 一种多关联设备数据实时提取方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112422669B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113703874A (zh) * | 2021-09-06 | 2021-11-26 | 深信服科技股份有限公司 | 一种数据流处理方法、装置、设备及可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150120914A1 (en) * | 2012-06-13 | 2015-04-30 | Hitachi, Ltd. | Service monitoring system and service monitoring method |
CN107454276A (zh) * | 2016-06-01 | 2017-12-08 | 中兴通讯股份有限公司 | 一种用户终端设备及其数据转发方法、及通信系统 |
CN110633279A (zh) * | 2019-09-09 | 2019-12-31 | 四川东方网力科技有限公司 | 多源时空轨迹数据处理方法、装置、设备和存储介质 |
-
2020
- 2020-11-10 CN CN202011246977.3A patent/CN112422669B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150120914A1 (en) * | 2012-06-13 | 2015-04-30 | Hitachi, Ltd. | Service monitoring system and service monitoring method |
CN107454276A (zh) * | 2016-06-01 | 2017-12-08 | 中兴通讯股份有限公司 | 一种用户终端设备及其数据转发方法、及通信系统 |
CN110633279A (zh) * | 2019-09-09 | 2019-12-31 | 四川东方网力科技有限公司 | 多源时空轨迹数据处理方法、装置、设备和存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113703874A (zh) * | 2021-09-06 | 2021-11-26 | 深信服科技股份有限公司 | 一种数据流处理方法、装置、设备及可读存储介质 |
CN113703874B (zh) * | 2021-09-06 | 2023-09-05 | 深信服科技股份有限公司 | 一种数据流处理方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112422669B (zh) | 2022-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109189736B (zh) | 一种告警关联规则的生成方法和装置 | |
CN111078513B (zh) | 日志处理方法、装置、设备、存储介质及日志告警系统 | |
CN111585837A (zh) | 物联网数据链路监控方法、装置、计算机设备和存储介质 | |
CN109684320B (zh) | 监测数据在线清洗的方法和设备 | |
CN112422669B (zh) | 一种多关联设备数据实时提取方法及相关装置 | |
CN111680085A (zh) | 数据处理任务分析方法、装置、电子设备和可读存储介质 | |
CN113283824A (zh) | 智慧园区数据综合管理方法及系统 | |
CN110825466B (zh) | 一种程序卡顿的处理方法以及卡顿处理装置 | |
CN115757363A (zh) | 一种三维地籍数据库的多层级管理方法及系统 | |
CN110891071A (zh) | 一种网络流量信息获取方法、装置及其相关设备 | |
CN108923967B (zh) | 一种去重流量记录方法、装置、服务器及存储介质 | |
CN111008107A (zh) | 一种大数据集群日志存储方法、装置、设备及存储介质 | |
US20150195174A1 (en) | Traffic data collection apparatus, traffic data collection method and program | |
CN111049684B (zh) | 数据分析方法、装置、设备和存储介质 | |
CN112365269A (zh) | 风险检测方法、装置、设备以及存储介质 | |
CN112764988A (zh) | 一种数据分段采集方法及装置 | |
CN106599005B (zh) | 一种数据归档方法及装置 | |
CN111008114A (zh) | 一种磁盘分区监控方法、装置、设备及可读存储介质 | |
CN108924002B (zh) | 一种性能数据文件的解析方法、装置、设备及存储介质 | |
CN114116853B (zh) | 基于时序关联分析的数据安全分析方法及装置 | |
CN114253819A (zh) | 一种用户操作监控方法、装置及相关设备 | |
CN109427177B (zh) | 一种监控报警方法及装置 | |
CN110856040A (zh) | 客户端中监控数据的处理方法和装置 | |
CN118229158B (zh) | 一种时序指标的指标值确定方法、装置、设备及介质 | |
CN113343743B (zh) | 目标人员识别方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240713 Address after: Room 1601-029, No. 238 Jiangchang 3rd Road, Jing'an District, Shanghai, 200000 Patentee after: JIZHONG ENERGY TECHNOLOGY SERVICE (SHANGHAI) Co.,Ltd. Country or region after: China Address before: Unit 22-403, creative industry park, 328 Xinghu street, Suzhou Industrial Park, 215000, Jiangsu Province Patentee before: Jizhong Energy-saving Technology (Suzhou) Co.,Ltd. Country or region before: China |
|
TR01 | Transfer of patent right |