CN109558442A - 一种数据实时汇聚方法及系统 - Google Patents

一种数据实时汇聚方法及系统 Download PDF

Info

Publication number
CN109558442A
CN109558442A CN201811376745.2A CN201811376745A CN109558442A CN 109558442 A CN109558442 A CN 109558442A CN 201811376745 A CN201811376745 A CN 201811376745A CN 109558442 A CN109558442 A CN 109558442A
Authority
CN
China
Prior art keywords
data
algorithm
redundancy
target data
aggregation node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811376745.2A
Other languages
English (en)
Other versions
CN109558442B (zh
Inventor
李凤华
殷丽华
郭云川
房梁
王竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN201811376745.2A priority Critical patent/CN109558442B/zh
Publication of CN109558442A publication Critical patent/CN109558442A/zh
Application granted granted Critical
Publication of CN109558442B publication Critical patent/CN109558442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Mobile Radio Communication Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供一种数据实时汇聚方法及系统,接收上级汇聚节点发送的汇聚策略,将当前时刻对应的待汇聚数据作为目标数据,若目标数据存在实时性要求且汇聚策略中的去冗余标识为去冗余时,则根据时间最短原则确定目标数据对应的数据压缩算法和去冗余算法,并在到达汇聚时机时利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据进行去冗余和压缩,将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点以使得上级汇聚节点对压缩后的目标数据进行解压缩。该方法及系统中当前汇聚节点能够在规定的时延内将待汇聚数据传输至上级汇聚节点,能够满足待汇聚数据的实时性要求,有利于提升整个汇聚系统的汇聚能力。

Description

一种数据实时汇聚方法及系统
技术领域
本发明实施例涉及通信技术领域,更具体地,涉及一种数据实时汇聚方法及系统。
背景技术
数据汇聚是通过汇聚节点将数据源的数据向上汇聚至数据汇聚中心的过程。现有数据汇聚方式中,各汇聚节点在汇聚数据时,均采用统一的方式将数据源的数据无差异地传输至数据汇聚中心(如,数据传输前要么对所有传输的数据进行压缩,要么对所有传输的数据都不压缩),这种方式未考虑待传输数据的特征,不能有效保障数据的传输实时性需求,不适用于计算资源、网络资源和存储资源受限的场景。然而,在一些特定网络中,对数据的实时性存在较高要求,若采用统一的方式将数据源的数据通过汇聚节点无差异地传输至数据汇聚中心,则可能不能在预设的时延内将数据传输至数据汇聚中心,即无法满足实时性的要求;另外,在一些特定网络中,计算资源和/或网络资源和/或存储资源受限,若采用统一的方式将数据源的数据通过汇聚节点,并无差异地传输至数据汇聚中心,很可能由于资源不足导致汇聚失败。
综上可知,现有的数据汇聚方式不能有效保障数据的传输实时性需求,也无法适用于数据汇聚所需要的计算资源和/或网络资源和/或存储资源受限的场景。
发明内容
本发明实施例为了克服现有的数据汇聚方式无法适用于对数据的实时性存在较高要求的场景,也无法适用于数据汇聚所需要的计算资源和/或网络资源和/或存储资源受限的场景的问题,提供一种数据实时汇聚方法及系统。
第一方面,本发明实施例提供一种数据实时汇聚方法,包括:
接收上级汇聚节点发送的汇聚策略,汇聚策略中包括预设去冗余标识和上级汇聚节点所支持的数据压缩算法;
从数据发送缓冲队列中获取当前时刻对应的待汇聚数据,作为目标数据,若目标数据存在实时性要求且预设去冗余标识为去冗余时,则根据时间最短原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法;
若当前时刻满足预先确定的汇聚时机,则利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据依次进行去冗余和压缩,将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点,以使得上级汇聚节点根据目标数据对应的数据压缩算法对压缩后的目标数据进行解压缩
第二方面,本发明实施例提供一种数据实时汇聚系统,包括:
汇聚策略接收模块,用于接收上级汇聚节点发送的汇聚策略,汇聚策略中包括预设去冗余标识和上级汇聚节点所支持的数据压缩算法;
汇聚参数确定模块,用于从数据发送缓冲队列中获取当前时刻对应的待汇聚数据,作为目标数据,若目标数据存在实时性要求且预设去冗余标识为去冗余时,则根据时间最短原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法;
数据汇聚模块,用于若当前时刻满足预先确定的汇聚时机,则利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据依次进行去冗余和压缩,将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点,以使得上级汇聚节点根据目标数据对应的数据压缩算法对压缩后的目标数据进行解压缩。
第三方面,本发明实施例提供一种电子设备,包括:
至少一个处理器;以及
与处理器通信连接的至少一个存储器,其中:
存储器存储有可被处理器执行的程序指令,处理器调用程序指令能够执行如第一方面所提供的方法的步骤。
第四方面,本发明实施例提供一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行如第一方面所提供的方法的步骤。
本发明实施例提供的一种数据实时汇聚方法及系统,对于任意当前汇聚节点,接收上级汇聚节点发送的汇聚策略,将当前时刻对应的待汇聚数据作为目标数据,若目标数据存在实时性要求且汇聚策略中的去冗余标识为去冗余时,则根据时间最短原则确定目标数据对应的数据压缩算法和去冗余算法,并在到达汇聚时机时利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据进行去冗余和压缩,将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点,最终上级汇聚节点根据目标数据对应的数据压缩算法对压缩后的目标数据进行解压缩。该方法及系统中当前汇聚节点在将待汇聚数据向上汇聚至上级汇聚节点之前,根据时间最短原则选择合适的去冗余算法和压缩算法对待汇聚数据进行处理,以使得待汇聚数据能够在规定的时延内传输至上级汇聚节点,能够满足待汇聚数据的实时性要求,有利于提升整个汇聚系统的汇聚能力,能够适用于对数据的实时性存在较高要求的场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据实时汇聚方法流程示意图;
图2为本发明实施例提供的数据实时汇聚系统的结构示意图;
图3为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的数据实时汇聚方法流程示意图,如图1所示,本发明实施例提供一种数据实时汇聚方法,该方法以当前汇聚节点为执行主体,描述当前汇聚节点与其上级汇聚节点之间的数据实时汇聚方法,包括:
S11,接收上级汇聚节点发送的汇聚策略,汇聚策略中包括预设去冗余标识和上级汇聚节点所支持的数据压缩算法;
具体地,对于给定的某个区域,该区域在逻辑上可以由不同的行政区域组成,在对该区域所包含的数据源的数据进行汇聚之前,需预先部署好各个汇聚节点之间的关系。在此基础上,对于其中的任意一个当前汇聚节点,在该当前汇聚节点向上级汇聚节点汇聚数据之前,将接收到上级汇聚节点发送的汇聚策略。其中,汇聚策略中包括预设去冗余标识和上级汇聚节点所支持的数据压缩算法。
需要说明的是,预设去冗余标识是由上级汇聚节点根据其存储资源、网络资源(当前汇聚节点与上级汇聚节点之间的传输带宽)和计算资源等确定的,若上级汇聚节点的存储资源和/或网络资源和/或计算资源受限,则上级汇聚节点可将预设去冗余标识设置为去冗余。若预设去冗余标识为去冗余,则表明当前汇聚节点在向上级汇聚节点发送数据之前,需先对数据进行去冗余处理。
需要说明的是,上级汇聚节点所支持的数据压缩算法可以为一种或多种,可以根据上级汇聚节点的汇聚能力进行确定,此处不做具体限定。若上级汇聚节点仅支持一种数据压缩算法,则汇聚策略中也仅有一种数据压缩算法;若上级汇聚节点支持多种数据压缩算法,则汇聚策略中对应存在多种数据压缩算法。
S12,从数据发送缓冲队列中获取当前时刻对应的待汇聚数据,作为目标数据,若目标数据存在实时性要求且去冗余标识为去冗余时,则根据时间最短原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法;
具体地,在当前汇聚节点接收到上级汇聚节点发送的汇聚策略之后,当前汇聚节点将从其对应的数据发送缓冲队列中获取当前时刻对应的待汇聚数据。可以理解的是,当前汇聚节点对应的待汇聚数据是顺序存储在数据发送缓冲队列中的,从而由当前汇聚节点从数据发送缓冲队列中依次取出待汇聚数据向上汇聚。对于任意当前时刻的待汇聚数据,本实施例中能够结合待汇聚数据的汇聚要求进行数据汇聚,具体实现步骤如下:
将当前时刻对应的待汇聚数据作为目标数据,若目标数据存在实时性要求且预设去冗余标识为去冗余,表明目标数据存在规定的时延,即需在规定的时延内将目标数据传输至上级汇聚节点。有鉴于此,为了满足目标数据的实时性要求,当前汇聚节点则根据时间最短原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法,以使得通过目标数据对应的数据压缩算法和去冗余算法进行压缩和去冗余之后,能够在规定的时延内将目标数据传输至上级汇聚节点,以满足目标数据的实时性要求。
可以理解的是,压缩和去冗余处理一定程度上能够减少目标数据的数据量,从而有利于节省目标数据的传输时间,以满足目标数据的实时性要求。
S13,若当前时刻满足预先确定的汇聚时机,则利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据依次进行去冗余和压缩,将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点,以使得上级汇聚节点根据目标数据对应的数据压缩算法对压缩后的目标数据进行解压缩。
具体地,本实施例中,在确定了目标数据对应的数据压缩算法和去冗余算法之后,为了避免网络堵塞,还需根据链路状态确定目标数据的汇聚时机。若当前时刻满足预先确定的汇聚时机,则利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据依次进行去冗余和压缩。此外,为了使得上级汇聚节点能够对压缩后的目标数据进行解压缩,本实施例中,将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装获得数据包,其中数据包的封装格式为当前汇聚节点与上级汇聚节点预先约定的封装格式,可以根据实际需求进行设置,此处不做具体限定。最终,当前汇聚节点将数据包发送至上级汇聚节点,上级汇聚节点按照预先约定的封装格式解析数据包,并根据目标数据对应的数据压缩算法确定对应的解压缩算法,最后利用解压缩算法对压缩后的目标数据进行解压缩。由此,上级汇聚节点即可在规定的时延内接收到目标数据,能够满足目标数据的实时性要求。
本发明实施例提供的一种数据实时汇聚方法,对于任意当前汇聚节点,接收上级汇聚节点发送的汇聚策略,将当前时刻对应的待汇聚数据作为目标数据,若目标数据存在实时性要求且汇聚策略中的去冗余标识为去冗余时,则根据时间最短原则确定目标数据对应的数据压缩算法和去冗余算法,并在到达汇聚时机时利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据进行去冗余和压缩,将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点,最终上级汇聚节点根据目标数据对应的数据压缩算法对压缩后的目标数据进行解压缩。该方法中当前汇聚节点在将待汇聚数据向上汇聚至上级汇聚节点之前,根据时间最短原则选择合适的去冗余算法和压缩算法对待汇聚数据进行处理,以使得待汇聚数据能够在规定的时延内传输至上级汇聚节点,能够满足待汇聚数据的实时性要求,有利于提升整个汇聚系统的汇聚能力,能够适用于对数据的实时性存在较高要求的场景。
基于上述任一实施例,提供一种数据实时汇聚方法,从数据发送缓冲队列中获取当前时刻对应的待汇聚数据,作为目标数据,之后还包括:若目标数据存在资源受限要求且预设去冗余标识为去冗余时,则根据资源最少原则从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法。
具体地,若目标数据存在资源受限要求且预设去冗余标识为去冗余,其中资源受限要求表明当前汇聚节点的资源(包括存储资源和/或网络资源和/或计算资源)受限,则需节省当前汇聚节点进行数据汇聚所需的资源。有鉴于此,为了满足目标数据的资源受限要求,当前汇聚节点根据资源最少原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法,以使得通过目标数据对应的数据压缩算法和去冗余算法进行压缩和去冗余之后,能够使得目标数据的汇聚所需的资源最少,以满足目标数据的资源受限要求。
可以理解的是,压缩和去冗余处理一定程度上能够减少目标数据的数据量,有利于节省数据存储所需的存储资源和数据传输所需的网络资源。
本发明实施例提供的一种数据实时汇聚方法,对于任意当前汇聚节点,接收上级汇聚节点发送的汇聚策略,将当前时刻对应的待汇聚数据作为目标数据,若目标数据存在资源受限要求且汇聚策略中的去冗余标识为去冗余时,则根据资源最少原则确定目标数据对应的数据压缩算法和去冗余算法,并在到达汇聚时机时利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据进行去冗余和压缩,将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点,最终上级汇聚节点根据目标数据对应的数据压缩算法对压缩后的目标数据进行解压缩。该方法中当前汇聚节点在将待汇聚数据向上汇聚至上级汇聚节点之前,根据资源最少原则选择合适的去冗余算法和压缩算法对待汇聚数据进行处理,以使得数据汇聚所需的资源最少,能够有效节省当前汇聚节点的资源,有利于满足待汇聚数据的资源受限要求,从而有利于提升整个汇聚系统的汇聚能力,能够适用于数据汇聚资源受限的场景。
基于上述任一实施例,提供一种数据实时汇聚方法,根据时间最短原则从上级汇聚节点所支持的数据压缩算法中确定目标数据对应的数据压缩算法,具体包括:对于上级汇聚节点所支持的数据压缩算法中的任意一种数据压缩算法,根据数据压缩算法和目标数据的数据大小计算数据压缩算法对应的压缩时间、解压缩时间和压缩后的目标数据的传输时间的总和,作为数据压缩算法对应的总时间;若数据压缩算法对应的总时间小于压缩前的目标数据的传输时间,则将数据压缩算法作为候选数据压缩算法,从所有候选数据压缩算法中选择总时间最小的数据压缩算法作为目标数据对应的数据压缩算法。
具体地,本实施例中,当前汇聚节点根据时间最短原则从上级汇聚节点所支持的数据压缩算法中确定目标数据对应的数据压缩算法的具体实现过程如下:
对于上级汇聚节点所支持的数据压缩算法中的任意一种数据压缩算法,根据该数据压缩算法和目标数据的数据大小计算利用该数据压缩算法对目标数据进行压缩所需要的时间,作为该数据压缩算法对应的压缩时间;计算对压缩后的目标数据进行解压缩所需的时间,作为该数据压缩算法对应的解压缩时间;并计算压缩后的目标数据传输至上级汇聚节点所需的时间,作为该数据压缩算法对应的压缩后的目标数据的传输时间。最后,将该数据压缩算法对应的压缩时间、解压缩时间和压缩后的目标数据的传输时间的总和,作为该数据压缩算法对应的总时间。
可以理解的是,利用不同的数据压缩算法对同一数据进行压缩所需的时间不尽相同,且利用不同的数据压缩算法对同一数据进行压缩后对应解压缩所需的时间不尽相同。此外,利用不同的数据压缩算法对同一数据进行压缩后的数据量也不尽相同,从而使得压缩后的数据传输的时间也不尽相同。
进一步地,若该数据压缩算法对应的总时间小于压缩前的目标数据的传输时间,则表明通过该数据压缩算法对目标数据进行压缩之后,相较于压缩之前能够以更短的时间将目标数据传输至上级汇聚节点,因此可将该数据压缩算法作为候选数据压缩算法,由此可获得至少一个候选数据压缩算法。最终,从所有候选数据压缩算法中选择总时间最小的数据压缩算法作为目标数据对应的数据压缩算法,通过总时间最小的数据压缩算法对目标数据进行压缩之后,可使得目标数据能够在最短的时间内传输至上级汇聚节点,从而可有效满足目标数据的实时性要求。
本发明实施例提供的一种数据实时汇聚方法,当目标数据存在实时性要求时,当前汇聚节点能够根据时间最短原则从上级汇聚节点所支持的数据压缩算法中确定目标数据对应的数据压缩算法,通过目标数据对应的数据压缩算法对目标数据进行压缩之后,可使得目标数据能够在最短时间内传输至上级汇聚节点,能够有效满足目标数据的实时性要求。
基于上述任一实施例,提供一种数据实时汇聚方法,根据时间最短原则从自身所支持的去冗余算法中确定目标数据对应的去冗余算法,具体包括:对于自身所支持的去冗余算法中的任意一种去冗余算法,根据去冗余算法和目标数据的数据大小计算去冗余算法对应的去冗余时间和去冗余后的目标数据的传输时间的总和,作为去冗余算法对应的总时间;若去冗余算法对应的总时间小于去冗余前的目标数据的传输时间,则将去冗余算法作为候选去冗余算法,从所有候选去冗余算法中选择总时间最小的去冗余算法作为目标数据对应的去冗余算法。
具体地,本实施例中,当前汇聚节点根据时间最短原则从自身所支持的去冗余算法中确定目标数据对应的去冗余算法的具体实现过程如下:
对于自身所支持的去冗余算法中的任意一种去冗余算法,根据该去冗余算法和目标数据的数据大小计算利用该去冗余算法对目标数据进行去冗余所需要的时间,作为该去冗余算法对应的去冗余时间;并计算去冗余后的目标数据传输至上级汇聚节点所需的时间,作为该去冗余算法对应的去冗余后的目标数据的传输时间。最后,将该去冗余算法对应的去冗余时间和去冗余后的目标数据的传输时间的总和,作为该去冗余算法对应的总时间。
可以理解的是,利用不同的去冗余算法对同一数据进行去冗余所需的时间不尽相同,且利用不同的去冗余算法对同一数据进行去冗余后的数据量也不尽相同,从而使得去冗余后的数据传输的时间也不尽相同。
进一步地,若该去冗余算法对应的总时间小于去冗余前的目标数据的传输时间,则表明通过该去冗余算法对目标数据进行去冗余之后,相较于去冗余之前能够以更短的时间将目标数据传输至上级汇聚节点,因此可将该去冗余算法作为候选去冗余算法,由此可获得至少一个候选去冗余算法。最终,从所有候选去冗余算法中选择总时间最小的去冗余算法作为目标数据对应的去冗余算法,通过总时间最小的去冗余算法对目标数据进行去冗余之后,可使得目标数据能够在最短的时间内传输至上级汇聚节点,从而可有效满足目标数据的实时性要求。
本发明实施例提供的一种数据实时汇聚方法,当目标数据存在实时性要求时,当前汇聚节点能够根据时间最短原则从自身所支持的去冗余算法中确定目标数据对应的去冗余算法,通过目标数据对应的去冗余算法对目标数据进行去冗余之后,可使得目标数据能够在最短时间内传输至上级汇聚节点,能够有效满足目标数据的实时性要求。
基于上述任一实施例,提供一种数据实时汇聚方法,根据资源最少原则从上级汇聚节点所支持的数据压缩算法中确定目标数据对应的数据压缩算法,具体包括:对于上级汇聚节点所支持的数据压缩算法中的任意一种数据压缩算法,根据数据压缩算法和目标数据的数据大小确定数据压缩算法对应的压缩所需的计算资源、解压缩所需的计算资源和压缩后的目标数据传输所需的网络资源的总和,作为数据压缩算法对应的总资源;若数据压缩算法对应的总资源小于压缩前的目标数据传输所需的网络资源,则将数据压缩算法作为候选数据压缩算法,从所有候选数据压缩算法中选择总资源最小的数据压缩算法作为目标数据对应的数据压缩算法。
具体地,本实施例中,当前汇聚节点根据资源最少原则从上级汇聚节点所支持的数据压缩算法中确定目标数据对应的数据压缩算法的具体实现过程如下:
对于上级汇聚节点所支持的数据压缩算法中的任意一种数据压缩算法,根据该数据压缩算法和目标数据的数据大小计算利用该数据压缩算法对目标数据进行压缩所需要的计算资源,作为该数据压缩算法对应的压缩所需的计算资源;计算对压缩后的目标数据进行解压缩所需的计算资源,作为该数据压缩算法对应的解压缩所需的计算资源;并计算压缩后的目标数据传输至上级汇聚节点所需的网络资源,作为该数据压缩算法对应的压缩后的目标数据传输所需的网络资源。最后,将该数据压缩算法对应的压缩所需的计算资源、解压缩所需的计算资源和压缩后的目标数据传输所需的网络资源的总和,作为该数据压缩算法对应的总资源。
可以理解的是,利用不同的数据压缩算法对同一数据进行压缩所需的计算资源不尽相同,且利用不同的数据压缩算法对同一数据进行压缩后对应解压缩所需的计算资源不尽相同。此外,利用不同的数据压缩算法对同一数据进行压缩后的数据量也不尽相同,从而使得压缩后的数据传输所需的网络资源也不尽相同。
进一步地,若该数据压缩算法对应的总资源小于压缩前的目标数据传输所需的网络资源,则表明通过该数据压缩算法对目标数据进行压缩之后,相较于压缩之前能够节省当前汇聚节点的总体资源消耗,因此可将该数据压缩算法作为候选数据压缩算法,由此可获得至少一个候选数据压缩算法。最终,从所有候选数据压缩算法中选择总资源最小的数据压缩算法作为目标数据对应的数据压缩算法,通过总资源最小的数据压缩算法对目标数据进行压缩之后,可使得当前汇聚节点将目标数据向上级汇聚节点汇聚所消耗的总资源最少,从而可有效满足目标数据的资源受限要求。
本发明实施例提供的一种数据实时汇聚方法,当目标数据存在资源受限要求时,当前汇聚节点能够根据资源最少原则从上级汇聚节点所支持的数据压缩算法中确定目标数据对应的数据压缩算法,通过目标数据对应的数据压缩算法对目标数据进行压缩之后,可使得当前汇聚节点将目标数据向上级汇聚节点汇聚所消耗的总资源最少,从而可有效满足目标数据的资源受限要求。
基于上述任一实施例,提供一种数据实时汇聚方法,根据资源最少原则从自身所支持的去冗余算法中确定目标数据对应的去冗余算法,具体包括:对于自身所支持的去冗余算法中的任意一种去冗余算法,根据去冗余算法和目标数据的数据大小计算去冗余算法对应的去冗余所需的计算资源和去冗余后的目标数据传输所需的网络资源的总和,作为去冗余算法对应的总资源;若去冗余算法对应的总资源小于去冗余前的目标数据传输所需的网络资源,则将去冗余算法作为候选去冗余算法,从所有候选去冗余算法中选择总资源最小的去冗余算法作为目标数据对应的去冗余算法。
具体地,本实施例中,当前汇聚节点根据资源最少原则从自身所支持的去冗余算法中确定目标数据对应的去冗余算法的具体实现过程如下:
对于自身所支持的去冗余算法中的任意一种去冗余算法,根据该去冗余算法和目标数据的数据大小计算利用该去冗余算法对目标数据进行去冗余所需要的计算资源,作为该去冗余算法对应的去冗余所需的计算资源;并计算去冗余后的目标数据传输至上级汇聚节点所需的网络资源,作为该去冗余算法对应的去冗余后的目标数据传输所需的网络资源。最后,将该去冗余算法对应的去冗余所需的计算资源和去冗余后的目标数据传输所需的网络资源的总和,作为该去冗余算法对应的总资源。
可以理解的是,利用不同的去冗余算法对同一数据进行去冗余所需的计算资源不尽相同,且利用不同的去冗余算法对同一数据进行去冗余后的数据量也不尽相同,从而使得去冗余后的数据传输所需的网络资源也不尽相同。
进一步地,若该去冗余算法对应的总资源小于去冗余前的目标数据传输所需的网络资源,则表明通过该去冗余算法对目标数据进行去冗余之后,相较于去冗余之前能够节省当前汇聚节点的总体资源消耗,因此可将该去冗余算法作为候选去冗余算法,由此可获得至少一个候选去冗余算法。最终,从所有候选去冗余算法中选择总资源最小的去冗余算法作为目标数据对应的去冗余算法,通过总资源最小的去冗余算法对目标数据进行去冗余之后,可使得当前汇聚节点将目标数据向上级汇聚节点汇聚所消耗的总资源最少,从而可有效满足目标数据的资源受限要求。
本发明实施例提供的一种数据实时汇聚方法,当目标数据存在资源受限要求时,当前汇聚节点能够根据资源最少原则从自身所支持的去冗余算法中确定目标数据对应的去冗余算法,通过目标数据对应的去冗余算法对目标数据进行去冗余之后,可使得当前汇聚节点将目标数据向上级汇聚节点汇聚所消耗的总资源最少,从而可有效满足目标数据的资源受限要求。
基于上述任一实施例,提供一种数据实时汇聚方法,汇聚策略中还包括上级汇聚节点所支持的加密算法;相应地,根据时间最短原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法,之后还包括:若目标数据存在安全性要求,则从上级汇聚节点所支持的加密算法中选择安全强度符合安全性要求的加密算法作为目标数据对应的加密算法;若当前时刻满足预先确定的汇聚时机,则利用目标数据对应的去冗余算法、数据压缩算法和加密算法分别对目标数据依次进行去冗余、压缩和加密,将加密后的目标数据和目标数据对应的加密算法、数据压缩算法标识进行封装并发送至上级汇聚节点,以使得上级汇聚节点根据目标数据对应的加密算法和数据压缩算法分别对加密后的目标数据进行解密和解压缩。
具体地,本实施例中,汇聚策略中还包括上级汇聚节点所支持的加密算法。在此基础上,当前汇聚节点在根据时间最短原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法之后,再判断目标数据是否存在安全性要求,若目标数据存在安全性要求,则从上级汇聚节点所支持的加密算法中选择安全强度符合安全性要求的加密算法作为目标数据对应的加密算法。
需要说明的是,若上级汇聚节点所支持的加密算法中安全强度符合安全性要求的加密算法不止一种,则可以从安全强度符合安全性要求的加密算法中选择安全强度最高的加密算法作为目标数据对应的加密算法;也可以从安全强度符合安全性要求的加密算法中选择安全强度最低的加密算法作为目标数据对应的加密算法;还可以从安全强度符合安全性要求的加密算法中随机选择一种加密算法作为目标数据对应的加密算法。具体可以根据实际需求进行选择,此处不做具体限定。
可以理解的是,若某个加密算法的密钥越长,则该加密算法的安全强度越高。
进一步地,若当前时刻满足预先确定的汇聚时机,则利用目标数据对应的去冗余算法、数据压缩算法和加密算法分别对目标数据依次进行去冗余、压缩和加密。此外,为了使得上级汇聚节点能够对压缩和加密后的目标数据进行解密和解压缩,本实施例中,将加密后的目标数据和目标数据对应的加密算法标识、数据压缩算法标识进行封装并发送至上级汇聚节点,由此上级汇聚节点则可根据目标数据对应的加密算法和数据压缩算法分别对加密后的目标数据进行解密和解压缩。
本发明实施例提供的一种数据实时汇聚方法,若目标数据存在安全性要求,当前汇聚节点则从上级汇聚节点所支持的加密算法中选择安全强度符合安全性要求的加密算法作为目标数据对应的加密算法,以利用目标数据对应的加密算法对目标数据进行加密,能够有效满足目标数据的安全性要求。
基于上述任一实施例,提供一种数据实时汇聚方法,从数据发送缓冲队列中获取当前时刻对应的待汇聚数据,之前还包括:获取各段待汇聚数据,根据各段待汇聚数据各自对应的优先权和/或到达时间和/或数据大小将各段待汇聚数据顺序加入数据发送缓冲队列中。
具体地,在实际应用中,当前汇聚节点对应的待汇聚数据是分段向上汇聚至上级汇聚节点的,为了确定待汇聚数据的汇聚顺序,本实施例中,当前汇聚节点在从数据发送缓冲队列中获取当前时刻对应的待汇聚数据之前,需先将各段待汇聚数据顺序加入数据发送缓存队列中。具体实现过程如下:
当前汇聚节点首先获取各段待汇聚数据,在此基础上,可以判断各段待汇聚数据是否标注优先权,若各段待汇聚数据标注了优先权,则根据优先权的大小顺序将各段待汇聚数据加入数据发送缓冲队列中,即将优先权大的待汇聚数据优先加入数据发送缓冲队列中。其次,也可以确定各段待汇聚数据的到达时间,其中到达时间为各段待汇聚数据达到数据发送缓冲队列的时间,再根据各段待汇聚数据的到达时间的先后将各段待汇聚数据顺序加入数据发送缓冲队列中。另外,也可以确定各段待汇聚数据的数据大小,根据各段待汇聚数据的数据大小顺序将各段待汇聚数据顺序加入数据发送缓冲队列中,即数据大小越大的待汇聚数据先加入数据发送缓冲队列。此外,还可以综合各段待汇聚数据各自对应的优先权、到达时间和数据大小将各段待汇聚数据顺序加入数据发送缓冲队列中,具体可以根据各段待汇聚数据各自对应的优先权、到达时间和数据大小加权后的结果将各段待汇聚数据顺序加入数据发送缓冲队列中,可以根据实际需求进行设置,此处不做具体限定。
本发明实施例提供的一种数据实时汇聚方法,在当前汇聚节点从数据发送缓冲队列中获取当前时刻对应的待汇聚数据之前,获取各段待汇聚数据,根据各段待汇聚数据各自对应的优先权和/或到达时间和/或数据大小将各段待汇聚数据顺序加入数据发送缓冲队列中。该方法中当前汇聚节点在向上级汇聚节点进行数据汇聚时,能够从待汇聚的数据中合理选择当前时刻对应的待汇聚数据,有利于提高数据实时汇聚系统的整体汇聚能力。
基于上述任一实施例,提供一种数据实时汇聚方法,若当前时刻满足预先确定的汇聚时机,则利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据依次进行去冗余和压缩,之前还包括:根据历史链路状态统计数据和当前时刻对应的链路状态预测当前时刻对应的链路空闲持续时间;若当前时刻对应的链路空闲持续时间大于预设阈值,则将当前时刻确定为目标数据的汇聚时机。
具体地,若当前时刻满足预先确定的汇聚时机,则利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据依次进行去冗余和压缩,在此之前,为了避免网络堵塞,还需预先确定目标数据的汇聚时机,具体实现过程如下:
首先收集历史链路状态统计数据,历史链路状态统计数据中描述了各个时间段的链路状态情况。由此,结合历史链路状态统计数据和当前时刻对应的链路状态,即可预测当前时刻对应的链路空闲持续时间。若当前时刻对应的链路空闲持续时间大于预设阈值,则将当前时刻确定为目标数据的汇聚时机,其中预设阈值应不小于当前汇聚节点将目标数据传输至上级汇聚节点所需的时间,具体可以根据实际需求进行设置,此处不做具体限定。
本发明实施例提供的一种数据实时汇聚方法,当前汇聚节点根据历史链路状态统计数据和当前时刻对应的链路状态预测当前时刻对应的链路空闲持续时间;若当前时刻对应的链路空闲持续时间大于预设阈值,则将当前时刻确定为目标数据的汇聚时机。该方法中当前汇聚节点在将目标数据向上级汇聚节点进行数据汇聚之前,能够根据历史链路状态统计数据和当前时刻对应的链路状态合理确定目标数据的汇聚时机,能够有效避免网络堵塞,有利于提高数据实时汇聚系统的整体汇聚能力。
图2为本发明实施例提供的数据实时汇聚系统的结构示意图,如图2所示,该数据实时汇聚系统包括:汇聚策略接收模块21、汇聚参数确定模块22和数据汇聚模块23,其中:
汇聚策略接收模块21,用于接收上级汇聚节点发送的汇聚策略,汇聚策略中包括预设去冗余标识和上级汇聚节点所支持的数据压缩算法。
具体地,对于任意一个当前汇聚节点,在该当前汇聚节点向上级汇聚节点汇聚数据之前,该当前汇聚节点中的汇聚策略接收模块21将接收到上级汇聚节点发送的汇聚策略。其中,汇聚策略中包括预设去冗余标识和上级汇聚节点所支持的数据压缩算法。
需要说明的是,预设去冗余标识是由上级汇聚节点根据其存储资源和网络资源(当前汇聚节点与上级汇聚节点之间的传输带宽)等确定的,若上级汇聚节点的存储资源和/或网络资源受限,则上级汇聚节点可将预设去冗余标识设置为去冗余。若预设去冗余标识为去冗余,则表明当前汇聚节点在向上级汇聚节点发送数据之前,需先对数据进行去冗余处理。
需要说明的是,上级汇聚节点所支持的数据压缩算法可以为一种或多种,可以根据上级汇聚节点的汇聚能力进行确定,此处不做具体限定。若上级汇聚节点仅支持一种数据压缩算法,则汇聚策略中也仅有一种数据压缩算法;若上级汇聚节点支持多种数据压缩算法,则汇聚策略中对应存在多种数据压缩算法。
汇聚参数确定模块22,用于从数据发送缓冲队列中获取当前时刻对应的待汇聚数据,作为目标数据,若目标数据存在实时性要求且去冗余标识为去冗余时,则根据时间最短原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法;
具体地,在汇聚策略接收模块21接收到上级汇聚节点发送的汇聚策略之后,从数据发送缓冲队列中获取当前时刻对应的待汇聚数据,将当前时刻对应的待汇聚数据作为目标数据,若目标数据存在实时性要求且预设去冗余标识为去冗余,表明目标数据存在规定的时延,即需在规定的时延内将目标数据传输至上级汇聚节点。有鉴于此,为了满足目标数据的实时性要求,汇聚参数确定模块22则根据时间最短原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法,以使得通过目标数据对应的数据压缩算法和去冗余算法进行压缩和去冗余之后,能够在规定的时延内将目标数据传输至上级汇聚节点,以满足目标数据的实时性要求。
数据汇聚模块23,用于若当前时刻满足预先确定的汇聚时机,则利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据依次进行去冗余和压缩,将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点,以使得上级汇聚节点根据目标数据对应的数据压缩算法对压缩后的目标数据进行解压缩。
具体地,本实施例中,在汇聚参数确定模块22确定了目标数据对应的数据压缩算法和去冗余算法之后,为了避免网络堵塞,数据汇聚模块23还需根据链路状态确定目标数据的汇聚时机。若当前时刻满足预先确定的汇聚时机,数据汇聚模块23则利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据依次进行去冗余和压缩。此外,为了使得上级汇聚节点能够对压缩后的目标数据进行解压缩,本实施例中,数据汇聚模块23将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点,上级汇聚节点根据目标数据对应的数据压缩算法确定对应的解压缩算法,最后利用解压缩算法对压缩后的目标数据进行解压缩。由此,上级汇聚节点即可在规定的时延内接收到目标数据,能够满足目标数据的实时性要求。
本发明实施例提供的数据实时汇聚系统,具体执行上述各数据实时汇聚方法实施例流程,具体请详见上述各数据实时汇聚方法实施例的内容,在此不再赘述。
本发明实施例提供的一种数据实时汇聚系统,对于任意当前汇聚节点,接收上级汇聚节点发送的汇聚策略,将当前时刻对应的待汇聚数据作为目标数据,若目标数据存在实时性要求且汇聚策略中的去冗余标识为去冗余时,则根据时间最短原则确定目标数据对应的数据压缩算法和去冗余算法,并在到达汇聚时机时利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据进行去冗余和压缩,将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点,最终上级汇聚节点根据目标数据对应的数据压缩算法对压缩后的目标数据进行解压缩。该系统中当前汇聚节点在将待汇聚数据向上汇聚至上级汇聚节点之前,根据时间最短原则选择合适的去冗余算法和压缩算法对待汇聚数据进行处理,以使得待汇聚数据能够在规定的时延内传输至上级汇聚节点,能够满足待汇聚数据的实时性要求,有利于提升整个汇聚系统的汇聚能力,能够适用于对数据的实时性存在较高要求的场景。
基于上述任一实施例,提供一种数据实时汇聚系统,汇聚参数确定模块22还用于:若目标数据存在资源受限要求且预设去冗余标识为去冗余时,则根据资源最少原则从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法。
具体地,若目标数据存在资源受限要求且预设去冗余标识为去冗余,其中资源受限要求表明当前汇聚节点的资源(包括存储资源和/或网络资源和/或计算资源)受限,则需节省当前汇聚节点进行数据汇聚所需的资源。有鉴于此,为了满足目标数据的资源受限要求,汇聚参数确定模块22根据资源最少原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法,以使得通过目标数据对应的数据压缩算法和去冗余算法进行压缩和去冗余之后,能够使得目标数据的汇聚所需的资源最少,以满足目标数据的资源受限要求。
本发明实施例提供的一种数据实时汇聚系统,对于任意当前汇聚节点,接收上级汇聚节点发送的汇聚策略,将当前时刻对应的待汇聚数据作为目标数据,若目标数据存在资源受限要求且汇聚策略中的去冗余标识为去冗余时,则根据资源最少原则确定目标数据对应的数据压缩算法和去冗余算法,并在到达汇聚时机时利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据进行去冗余和压缩,将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点,最终上级汇聚节点根据目标数据对应的数据压缩算法对压缩后的目标数据进行解压缩。该系统中当前汇聚节点在将待汇聚数据向上汇聚至上级汇聚节点之前,根据资源最少原则选择合适的去冗余算法和压缩算法对待汇聚数据进行处理,以使得数据汇聚所需的资源最少,能够有效节省当前汇聚节点的资源,有利于满足待汇聚数据的资源受限要求,从而有利于提升整个汇聚系统的汇聚能力,能够适用于数据汇聚资源受限的场景。
图3为本发明实施例提供的电子设备的实体结构示意图。参照图3,所述电子设备,包括:处理器(processor)31、存储器(memory)32和总线33;其中,所述处理器31和存储器32通过所述总线33完成相互间的通信;所述处理器31用于调用所述存储器32中的程序指令,以执行上述各方法实施例所提供的方法,例如包括:接收上级汇聚节点发送的汇聚策略,汇聚策略中包括预设去冗余标识和上级汇聚节点所支持的数据压缩算法;从数据发送缓冲队列中获取当前时刻对应的待汇聚数据,作为目标数据,若目标数据存在实时性要求且预设去冗余标识为去冗余时,则根据时间最短原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法;若当前时刻满足预先确定的汇聚时机,则利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据依次进行去冗余和压缩,将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点,以使得上级汇聚节点根据目标数据对应的数据压缩算法对压缩后的目标数据进行解压缩。
此外,上述的存储器32中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法,例如包括:接收上级汇聚节点发送的汇聚策略,汇聚策略中包括预设去冗余标识和上级汇聚节点所支持的数据压缩算法;从数据发送缓冲队列中获取当前时刻对应的待汇聚数据,作为目标数据,若目标数据存在实时性要求且预设去冗余标识为去冗余时,则根据时间最短原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法;若当前时刻满足预先确定的汇聚时机,则利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据依次进行去冗余和压缩,将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点,以使得上级汇聚节点根据目标数据对应的数据压缩算法对压缩后的目标数据进行解压缩。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种数据实时汇聚方法,其特征在于,包括:
接收上级汇聚节点发送的汇聚策略,汇聚策略包括预设去冗余标识和上级汇聚节点所支持的数据压缩算法;
从数据发送缓冲队列中获取当前时刻对应的待汇聚数据,作为目标数据,若目标数据存在实时性要求且预设去冗余标识为去冗余时,则根据时间最短原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法;
若当前时刻满足预先确定的汇聚时机,则利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据依次进行去冗余和压缩,将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点,以使得上级汇聚节点根据目标数据对应的数据压缩算法对压缩后的目标数据进行解压缩。
2.根据权利要求1所述的方法,其特征在于,从数据发送缓冲队列中获取当前时刻对应的待汇聚数据,作为目标数据,之后还包括:
若目标数据存在资源受限要求且预设去冗余标识为去冗余时,则根据资源最少原则从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法。
3.根据权利要求1所述的方法,其特征在于,根据时间最短原则从上级汇聚节点所支持的数据压缩算法中确定目标数据对应的数据压缩算法,具体包括:
对于上级汇聚节点所支持的数据压缩算法中的任意一种数据压缩算法,根据所述数据压缩算法和目标数据的数据大小计算所述数据压缩算法对应的压缩时间、解压缩时间和压缩后的目标数据的传输时间的总和,作为所述数据压缩算法对应的总时间;
若所述数据压缩算法对应的总时间小于压缩前的目标数据的传输时间,则将所述数据压缩算法作为候选数据压缩算法,从所有候选数据压缩算法中选择总时间最小的数据压缩算法作为目标数据对应的数据压缩算法。
4.根据权利要求1所述的方法,其特征在于,根据时间最短原则从自身所支持的去冗余算法中确定目标数据对应的去冗余算法,具体包括:
对于自身所支持的去冗余算法中的任意一种去冗余算法,根据所述去冗余算法和目标数据的数据大小计算所述去冗余算法对应的去冗余时间和去冗余后的目标数据的传输时间的总和,作为所述去冗余算法对应的总时间;
若所述去冗余算法对应的总时间小于去冗余前的目标数据的传输时间,则将所述去冗余算法作为候选去冗余算法,从所有候选去冗余算法中选择总时间最小的去冗余算法作为目标数据对应的去冗余算法。
5.根据权利要求2所述的方法,其特征在于,根据资源最少原则从上级汇聚节点所支持的数据压缩算法中确定目标数据对应的数据压缩算法,具体包括:
对于上级汇聚节点所支持的数据压缩算法中的任意一种数据压缩算法,根据所述数据压缩算法和目标数据的数据大小确定所述数据压缩算法对应的压缩所需的计算资源、解压缩所需的计算资源和压缩后的目标数据传输所需的网络资源的总和,作为所述数据压缩算法对应的总资源;
若所述数据压缩算法对应的总资源小于压缩前的目标数据传输所需的网络资源,则将所述数据压缩算法作为候选数据压缩算法,从所有候选数据压缩算法中选择总资源最小的数据压缩算法作为目标数据对应的数据压缩算法。
6.根据权利要求2所述的方法,其特征在于,根据资源最少原则从自身所支持的去冗余算法中确定目标数据对应的去冗余算法,具体包括:
对于自身所支持的去冗余算法中的任意一种去冗余算法,根据所述去冗余算法和目标数据的数据大小计算所述去冗余算法对应的去冗余所需的计算资源和去冗余后的目标数据传输所需的网络资源的总和,作为所述去冗余算法对应的总资源;
若所述去冗余算法对应的总资源小于去冗余前的目标数据传输所需的网络资源,则将所述去冗余算法作为候选去冗余算法,从所有候选去冗余算法中选择总资源最小的去冗余算法作为目标数据对应的去冗余算法。
7.根据权利要求1所述的方法,其特征在于,汇聚策略中还包括上级汇聚节点所支持的加密算法;
相应地,根据时间最短原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法,之后还包括:
若目标数据存在安全性要求,则从上级汇聚节点所支持的加密算法中选择安全强度符合安全性要求的加密算法作为目标数据对应的加密算法;
若当前时刻满足预先确定的汇聚时机,则利用目标数据对应的去冗余算法、数据压缩算法和加密算法分别对目标数据依次进行去冗余、压缩和加密,将加密后的目标数据和目标数据对应的加密算法、数据压缩算法标识进行封装并发送至上级汇聚节点,以使得上级汇聚节点根据目标数据对应的加密算法和数据压缩算法分别对加密后的目标数据进行解密和解压缩。
8.根据权利要求1所述的方法,其特征在于,从数据发送缓冲队列中获取当前时刻对应的待汇聚数据,之前还包括:
获取各段待汇聚数据,根据各段待汇聚数据各自对应的优先权和/或到达时间和/或数据大小将各段待汇聚数据顺序加入数据发送缓冲队列中。
9.根据权利要求1所述的方法,其特征在于,若当前时刻满足预先确定的汇聚时机,则利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据依次进行去冗余和压缩,之前还包括:
根据历史链路状态统计数据和当前时刻对应的链路状态预测当前时刻对应的链路空闲持续时间;
若当前时刻对应的链路空闲持续时间大于预设阈值,则将当前时刻确定为目标数据的汇聚时机。
10.一种数据实时汇聚系统,其特征在于,包括:
汇聚策略接收模块,用于接收上级汇聚节点发送的汇聚策略,汇聚策略中包括预设去冗余标识和上级汇聚节点所支持的数据压缩算法;
汇聚参数确定模块,用于从数据发送缓冲队列中获取当前时刻对应的待汇聚数据,作为目标数据,若目标数据存在实时性要求且预设去冗余标识为去冗余时,则根据时间最短原则分别从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法;
数据汇聚模块,用于若当前时刻满足预先确定的汇聚时机,则利用目标数据对应的去冗余算法和数据压缩算法分别对目标数据依次进行去冗余和压缩,将压缩后的目标数据和目标数据对应的数据压缩算法标识进行封装并发送至上级汇聚节点,以使得上级汇聚节点根据目标数据对应的数据压缩算法对压缩后的目标数据进行解压缩。
11.根据权利要求10所述的系统,其特征在于,汇聚参数确定模块还用于:若目标数据存在资源受限要求且预设去冗余标识为去冗余时,则根据资源最少原则从上级汇聚节点所支持的数据压缩算法和自身所支持的去冗余算法中确定目标数据对应的数据压缩算法和去冗余算法。
12.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至9任一所述的方法。
13.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至9任一所述的方法。
CN201811376745.2A 2018-11-19 2018-11-19 一种数据实时汇聚方法及系统 Active CN109558442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811376745.2A CN109558442B (zh) 2018-11-19 2018-11-19 一种数据实时汇聚方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811376745.2A CN109558442B (zh) 2018-11-19 2018-11-19 一种数据实时汇聚方法及系统

Publications (2)

Publication Number Publication Date
CN109558442A true CN109558442A (zh) 2019-04-02
CN109558442B CN109558442B (zh) 2020-10-20

Family

ID=65866557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811376745.2A Active CN109558442B (zh) 2018-11-19 2018-11-19 一种数据实时汇聚方法及系统

Country Status (1)

Country Link
CN (1) CN109558442B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115037729A (zh) * 2022-04-21 2022-09-09 中国建设银行股份有限公司 数据汇聚方法、装置、电子设备及计算机可读介质
CN115482125A (zh) * 2022-10-21 2022-12-16 中水珠江规划勘测设计有限公司 水利全景信息感知方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150233792A1 (en) * 2012-05-31 2015-08-20 Canrig Drilling Technology Methods and Apparatuses for Defect Diagnosis in a Mechanical System
CN105022593A (zh) * 2015-08-18 2015-11-04 南京大学 一种基于数据压缩和数据去冗协同的存储优化方法
US20150373137A1 (en) * 2014-01-13 2015-12-24 Ewha University-Industry Collabolation Foundation Ad-hoc network system using selective data compression algorithm, and data transmission method in ad-hoc network
US9311002B1 (en) * 2010-06-29 2016-04-12 Emc Corporation Systems, methods, and computer readable media for compressing data at a virtually provisioned storage entity
CN105893526A (zh) * 2016-03-30 2016-08-24 上海坤士合生信息科技有限公司 多源数据融合系统和方法
CN106452666A (zh) * 2016-08-01 2017-02-22 南京邮电大学 一种应用于无线传感器网络的轻量级数据压缩方法
CN107547425A (zh) * 2017-08-24 2018-01-05 深圳市盛路物联通讯技术有限公司 一种汇聚层数据传输方法及系统
CN108243022A (zh) * 2016-12-23 2018-07-03 中国移动通信有限公司研究院 一种网络服务消息传输方法、装置、终端及服务器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9311002B1 (en) * 2010-06-29 2016-04-12 Emc Corporation Systems, methods, and computer readable media for compressing data at a virtually provisioned storage entity
US20150233792A1 (en) * 2012-05-31 2015-08-20 Canrig Drilling Technology Methods and Apparatuses for Defect Diagnosis in a Mechanical System
US20150373137A1 (en) * 2014-01-13 2015-12-24 Ewha University-Industry Collabolation Foundation Ad-hoc network system using selective data compression algorithm, and data transmission method in ad-hoc network
CN105022593A (zh) * 2015-08-18 2015-11-04 南京大学 一种基于数据压缩和数据去冗协同的存储优化方法
CN105893526A (zh) * 2016-03-30 2016-08-24 上海坤士合生信息科技有限公司 多源数据融合系统和方法
CN106452666A (zh) * 2016-08-01 2017-02-22 南京邮电大学 一种应用于无线传感器网络的轻量级数据压缩方法
CN108243022A (zh) * 2016-12-23 2018-07-03 中国移动通信有限公司研究院 一种网络服务消息传输方法、装置、终端及服务器
CN107547425A (zh) * 2017-08-24 2018-01-05 深圳市盛路物联通讯技术有限公司 一种汇聚层数据传输方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LI LI ET AL: "Research of Compressed Sensing Theory in WSN Data Fusion", 《2011 FOURTH INTERNATIONAL SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE AND DESIGN》 *
RUTH AGUILAR-PONCE ET AL: "Multisensor Data Fusion Schemes for Wireless Sensor Networks", 《2006 INTERNATIONAL WORKSHOP ON COMPUTER ARCHITECTURE FOR MACHINE PERCEPTION AND SENSING》 *
刘颖: "基于网络编码的数据融合关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
高翔: "无线传感器网络低功耗路由与节点目标跟踪定位研究", 《中国博士学位论文全文数据库 信息科技辑》 *
魏玉宏 等: "一种基于LEACH协议高效节能的数据融合算法", 《传感器与微系统》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115037729A (zh) * 2022-04-21 2022-09-09 中国建设银行股份有限公司 数据汇聚方法、装置、电子设备及计算机可读介质
CN115037729B (zh) * 2022-04-21 2024-05-28 中国建设银行股份有限公司 数据汇聚方法、装置、电子设备及计算机可读介质
CN115482125A (zh) * 2022-10-21 2022-12-16 中水珠江规划勘测设计有限公司 水利全景信息感知方法及装置
CN115482125B (zh) * 2022-10-21 2023-09-08 中水珠江规划勘测设计有限公司 水利全景信息感知方法及装置

Also Published As

Publication number Publication date
CN109558442B (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
WO2020019519A1 (zh) 任务分配方法及装置
CN110096362B (zh) 一种基于边缘服务器协作的多任务卸载方法
CN109788046B (zh) 一种基于改进蜂群算法的多策略边缘计算资源调度方法
US20180349178A1 (en) A method and system for scalable job processing
CN110489176B (zh) 一种基于装箱问题的多接入边缘计算任务卸载方法
CN110069341B (zh) 边缘计算中结合功能按需配置的有依赖关系任务的调度方法
WO2014061481A1 (ja) 適応的圧縮アルゴリズムを用いたデータ転送装置及びデータ転送システム
CN102299959A (zh) 一种数据库集群系统的负载均衡实现方法和装置
CN110489233A (zh) 基于移动边缘计算的设备任务卸载及cpu调频方法及系统
CN111711962B (zh) 一种移动边缘计算系统子任务协同调度方法
CN109558442A (zh) 一种数据实时汇聚方法及系统
CN110519370A (zh) 一种基于设施选址问题的边缘计算资源分配方法
CN105554049B (zh) 分布式业务量控制方法和装置
CN114265631A (zh) 一种基于联邦元学习的移动边缘计算智能卸载方法及装置
Wu et al. Request dispatching for minimizing service response time in edge cloud systems
Huang et al. Proactive edge cloud optimization for mobile augmented reality applications
CN115473896A (zh) 基于dqn算法的电力物联网卸载策略和资源配置优化方法
CN113259415A (zh) 一种网络报文处理方法、装置及网络服务器
Deniziak et al. Cost optimization of real-time cloud applications using developmental genetic programming
JP6131203B2 (ja) 装置選択ネットワークシステム、装置選択サーバおよびプログラム
CN116048825A (zh) 容器集群构建方法及系统
CN111601328B (zh) 一种移动边缘计算装置及方法
CN104933110B (zh) 一种基于MapReduce的数据预取方法
CN103299298A (zh) 处理业务的方法和系统
CN115098255A (zh) 分布式文件异步处理服务的设计方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant