发明内容
本发明所要解决的技术问题是提供一种能源行业的监控数据传输系统和方法,能够避免监控数据处理堵塞。具体方案如下:
一种能源行业的监控数据传输系统,包括:
数据采集设备、目标网关以及云服务端;
所述数据采集设备,用于采集各个业务系统在运行过程中产生的各个业务数据;
所述目标网关,用于对各个所述业务数据进行处理,获得每个所述业务数据对应的监控数据;确定每个所述监控数据是否满足预设的上传条件;将满足所述上传条件的监控数据发往所述云服务端;并向所述云服务端发送针对不满足所述上传条件的监控数据的处理请求;
所述云服务端,用于存储已接收到的满足所述上传条件的监控数据;根据所述处理请求确定目标网关的调度策略;
所述目标网关,还用于根据所述调度策略对不满足所述上传条件的监控数据进行传输。
上述的能源行业的监控数据传输系统,可选的,所述目标网关,用于:
确定每个所述监控数据的处理时长;
判断每个所述监控数据的处理时长是否大于该监控数据对应的时长阈值;
若所述监控数据的处理时长大于所述时长阈值,则判定所述监控数据不满足所述上传条件;
若所述监控数据的处理时长未大于所述时长阈值,则判定所述监控数据满足所述上传条件。
上述的能源行业的监控数据传输系统,可选的,所述能源行业的监控数据传输系统还包括第一网关;
所述第一网关,用于将待处理监控数据发往所述目标网关;
相应的,所述目标网关,还用于:
将所述待处理监控数据作为新的业务数据,并对该业务数据进行处理,获得该业务数据对应的监控数据。
上述的能源行业的监控数据传输系统,可选的,所述云服务端,用于:
根据所述处理请求获取所述目标网关当前的节点信息;所述节点信息包括所述目标网关的各个的监控数据的状态信息;
根据所述节点信息确定所述目标网关的调度策略。
上述的能源行业的监控数据传输系统,可选的,所述目标网关,用于:
根据所述调度策略确定每个不满足所述上传条件的监控数据对应的数据接收方,所述数据接收方为所述云服务端或第二网关;
将每个不满足所述上传条件的监控数据发往其对应的数据接收方。
上述的能源行业的监控数据传输系统,可选的,所述云服务端,还用于:
在接收到不满足所述上传条件的监控数据的情况下,确定当前接收到的不满足所述上传条件的监控数据所属的任务;
对所述任务进行卸载。
一种能源行业的监控数据传输方法,包括:
获取预设的数据采集设备采集到的各个业务数据;所述业务数据为业务系统在运行过程中产生的数据;
对所述数据采集队列中的每个业务数据进行处理,获得每个所述业务数据对应的监控数据;
确定每个所述监控数据是否满足预设的上传条件;
将满足所述上传条件的监控数据发往预设的云服务端,并向所述云服务端发送针对不满足所述上传条件的监控数据的处理请求;使得所述云服务端存储已接收到的满足所述上传条件的监控数据,并根据所述处理请求确定所述目标网关的调度策略;
根据所述调度策略传输不满足所述上传条件的监控数据。
上述的方法,可选的,所述确定每个所述监控数据是否满足预设的上传条件,包括:
确定每个所述监控数据的处理时长;
判断每个所述监控数据的处理时长是否大于该监控数据对应的时长阈值;
若所述监控数据的处理时长大于所述时长阈值,则确定所述监控数据不满足所述上传条件;
若所述监控数据的处理时长未大于所述时长阈值,则确定所述监控数据满足所述上传条件。
上述的方法,可选的,所述确定每个所述监控数据是否满足预设的上传条件之前,还包括:
接收预设的第一网关发送的待处理监控数据;
将所述待处理监控数据作为新的业务数据,并对该业务数据进行处理,获得该业务数据对应的监控数据。
上述的方法,可选的,所述根据所述调度策略传输不满足所述上传条件的监控数据,包括:
根据所述调度策略确定每个不满足所述上传条件的监控数据所对应的数据接收方,所述数据接收方为所述云服务端或预设的第二网关;
将每个不满足所述上传条件的监控数据发往其对应的数据接收方。
与现有技术相比,本发明包括以下优点:
本发明提供了一种能源行业的监控数据传输系统及方法,该系统包括:数据采集设备、目标网关以及云服务端;所述数据采集设备,用于采集各个业务系统在运行过程中产生的各个业务数据;所述目标网关,用于对各个所述业务数据进行处理,获得每个所述业务数据对应的监控数据;确定每个所述监控数据是否满足预设的上传条件;将满足所述上传条件的监控数据发往所述云服务端;并向所述云服务端发送针对不满足所述上传条件的监控数据的处理请求;所述云服务端,用于存储已接收到的满足所述上传条件的监控数据;根据所述处理请求确定目标网关的调度策略;所述目标网关,还用于根据所述调度策略对不满足所述上传条件的监控数据进行传输。应用本发明实施例提供的系统,能够按调度策略对不满足上传条件的监控数据进行传输,能够有效避免监控数据处理堵塞,能够将满足上传条件的监控数据上传到云端,使得操作人员可以及时了解生产运行情况。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
参见图1,为本发明实施例提供的一种能源行业的监控数据传输系统的结构示意图,具体包括:
数据采集设备101、目标网关102以及云服务端103;
所述数据采集设备101,用于采集各个业务系统在运行过程中产生的各个业务数据;其中,数据采集设备的数量可以为一个或多个,该业务系统可以为能源行业的设备生产业务系统,可以用于生产各个类型的设备,例如,可以生产电工装备,该业务数据可以为业务系统中的生产设备的设备数据、设备运行参数等。
所述目标网关102,用于对各个所述业务数据进行处理,获得每个所述业务数据对应的监控数据;确定每个所述监控数据是否满足预设的上传条件;将满足所述上传条件的监控数据发往所述云服务端;并向所述云服务端发送针对不满足所述上传条件的监控数据的处理请求;在本发明实施例中,目标网关的数量可以为一个或多个,目标网关可以通过预设的数据抓取队列获取数据采集设备采集到的业务数据,通过数据抓取队列将业务数据存放至预设的CPU处理队列中,以对各个业务数据进行处理,获得每个业务数据对应的监控数据,可以将满足上传条件的监控数据存放到预设的第一输出队列中,并通过第一输出队列将监控数据发往云服务端,将不满足上传条件的监控数据存放到预设的第二输出队列中。可选的,监控数据可以由目标网关按预设的封装格式对业务数据进行封装得到。
所述云服务端103,用于存储已接收到的满足所述上传条件的监控数据;根据所述处理请求确定目标网关的调度策略;在本发明实例中,该云服务端可以为品类中心服务器。可以将满足上传条件的监控数据存储到云服务端的数据存储区,云服务端的任务协同区可以根据处理请求确定目标网关的调度策略,并将目标网关的调度策略下发到该目标网关中。
所述目标网关102,还用于根据所述调度策略对不满足所述上传条件的监控数据进行传输,目标网关将不满足上传条件的监控数据,通过第二输出队列发往云服务端的数据计算区或者第二网关,由云服务端或者第二网关对接收到的监控数据进行处理。
应用本发明实施例提供的系统,能够按调度策略对不满足上传条件的监控数据进行传输,能够有效避免监控数据处理堵塞,能够将满足上传条件的监控数据上传到云服务端,使得操作人员可以及时了解生产运行情况。
在本发明提供的一实施例中,基于上述的方案,具体的,所述目标网关102,可以用于:
确定每个所述监控数据的处理时长;
判断每个所述监控数据的处理时长是否大于该监控数据对应的时长阈值;
若所述监控数据的处理时长大于所述时长阈值,则判定所述监控数据不满足所述上传条件;
若所述监控数据的处理时长未大于所述时长阈值,则判定所述监控数据满足所述上传条件。
在本发明实施例中,该处理时长可以为与监控数据相对应的业务数据处于CPU处理队列中的时长。
其中,每个监控数据均具有其对应的时长阈值,监控数据对应的时长阈值可以根据该监控数据所属的任务的延时需求进行设定,通过将监控数据的处理时长与该监控数据对应的时长阈值进行比较,可以确定监控数据是否满足上传条件,即,该上传条件可以为监控数据满足该监控数据对应的时长阈值。
在本发明提供的一实施例中,基于上述的方案,具体的,所述云服务端103,用于:
根据所述处理请求获取所述目标网关102当前的节点信息;所述节点信息包括的监控数据的状态信息;该状态信息可以为共享状态信息和卸载状态信息。
根据所述节点信息确定所述目标网关的调度策略。
具体的,云服务端103可以获取目标网关102的节点信息以及除目标网关102以外的各个网关的节点信息;根据目标网关102的节点信息和各个网关的节点信息计算得到目标网关102的调度策略,例如,该调度策略可以为将状态信息表征为共享状态或卸载状态的监控数据发往当前任务量小于预设的任务量阈值的网关中,以及将状态信息表征为卸载状态的监控数据发往云服务端中,网关的任务量可以根据该网关中的监控数据的数量进行确定。
在本发明提供的一实施例中,提供的又一种数据传输系统,该数据传输系统的结构示意图如图2所示。与前述实施例不同的是,该能源行业的监控数据传输系统还包括第一网关201;
所述第一网关201,用于将待处理监控数据发往所述目标网关102;
相应的,所述目标网关,还用于:
将所述待处理监控数据作为新的业务数据,并对该业务数据进行处理,获得该业务数据对应的监控数据。
其中,该第一网关可以获取其对应的数据采集设备的业务数据,对各个所述业务数据进行处理,获得每个所述业务数据对应的监控数据;确定出不满足上传条件的监控数据,向云服务端103发送该不满足条件的监控数据的处理请求,以获得调度策略;将不满足上传条件的监控数据作为待处理监控数据,并根据云服务端103下发的调度策略将待处理监控数据发往目标网关102。
在本发明提供的一实施例中,提供的另一种数据传输系统,该数据传输系统的结构示意图如图3所示,与前述实施例不同的是,该能源行业的监控数据传输系统还包括第二网关301;
所述目标网关102,用于:
根据所述调度策略确定每个不满足所述上传条件的监控数据对应的数据接收方,所述数据接收方为所述云服务端103或第二网关301;
将每个不满足所述上传条件的监控数据发往其对应的数据接收方。
可选的,第二网关301,用于将接收到的监控数据进行处理,并确定处理后的监控数据是否满足预设的上传条件;将满足所述上传条件的监控数据发往所述云服务端103;并向所述云服务端103发送针对不满足所述上传条件的监控数据的处理请求。
在本发明提供的一实施例中,基于上述的方案,具体的,所述云服务端103,还用于:
在接收到不满足所述上传条件的监控数据的情况下,确定当前接收到的不满足所述上传条件的监控数据所属的任务;
对所述任务进行卸载。
在本发明实施例中,可以由云服务端的数据计算区对不满足上传条件的监控数据所属的任务进行卸载,对任务卸载完成后,可以向目标网关反馈任务卸载完成消息。
在本发明提供的一实施例中,基于上述的方案,具体的,所述云服务端103,还用于:
在接收到不满足所述上传条件的监控数据的情况下,确定当前接收到的不满足所述上传条件的监控数据的状态信息是否为卸载状态,
若该不满足所述上传条件的监控数据的状态信息为卸载状态,则确定该不满足上传条件的监控数据所属的任务;
对所述任务进行卸载。
在本发明提供的一实施例中,基于上述的方案,具体的,所述云服务端103,还用于:
在接收到不满足所述上传条件的监控数据的情况下,对该监控数据进行卸载。
本发明实施例提供的能源行业的监控数据传输系统,可以应用于各个领域之中,例如,可以应用于能源工业领域中,能源工业云网中云边协同与边缘资源共享具有其特殊性,为了更好的进行智能制造及在线实时监造,特构建了适用于能源工业云网中云边协同与边缘资源共享方案,下面进行举例说明。
如图4所示,为本发明实施例提供的一种实施场景示例图,该实施场景包括数据采集设备、网关以及云服务端,云服务端上设置有品类中心,品类中心包括数据存储区、数据计算区和任务协同区。
数据采集设备可以包括各类电工装备及数据采集中心,可以用于搜集各类电工装备相关运营数据并存储的功能,以便后续进行处理和分析并反馈监造信息。
网关可以用于对数据进行处理的作用,对于感知数据抓取队列的相关信息和共享/卸载数据接收队列传送来的信息通过核心的CPU队列进行处理,并将两类数据进行分类处理,将上载数据队列数据进行数据上载处理,对于待共享/卸载数据队列进行共享和卸载监测并上传至数据云平台。
云服务端,可以通过一系列网关对上载及共享/卸载数据进行针对网关制定的相应策略进行策略分析及信息收集,以便对网关进行结果反馈和策略分发,形成对智能设备在线实时监造。
在本方案中,基于高性能计算芯片、实时操作系统、边缘分析算法等技术支撑,在靠近设备或数据源头的网络边缘侧进行数据预处理、存储以及智能分析应用,提升操作响应灵敏度、消除网络堵塞,并与云服务端分析形成协同。
供应商数据采集中心的感知数据被抓取到网关,与共享/卸载数据接收队列中的数据共同进入CPU处理队列,CPU负责处理数据并将处理完成的数据通过上载数据队列发送到云服务端的数据存储区。将无法及时处理的数据放入共享/卸载数据发送队列成为待共享/卸载数据,同时智能网关向品类中心发送卸载请求;云服务端的品类中心收集网关的节点信息和卸载请求,通过对网关中制定的相应策略进行监测计算得出并返回每个网关的调度策略,控制待共享数据和卸载数据的流向。对于无法满足延迟约束的计算密集型任务,由云服务端的品类中心的高性能服务器提供计算资源完成卸载任务。
参见图5,为本发明实施例提供的一种能源行业的监控数据传输方法的方法流程图,该方法可以应用于上述的能源行业的监控数据传输系统的目标网关中,该方法可以包括如下步骤:
S501:获取预设的数据采集设备采集到的各个业务数据;所述业务数据为业务系统在运行过程中产生的数据。
S502:对所述数据采集队列中的每个业务数据进行处理,获得每个所述业务数据对应的监控数据。
S503:确定每个所述监控数据是否满足预设的上传条件。
S504:将满足所述上传条件的监控数据发往预设的云服务端,并向所述云服务端发送针对不满足所述上传条件的监控数据的处理请求;使得所述云服务端存储已接收到的满足所述上传条件的监控数据,并根据所述处理请求确定所述目标网关的调度策略。
S505:根据所述调度策略传输不满足所述上传条件的监控数据。
应用本发明实施例提供的方法,能够按调度策略对不满足上传条件的监控数据进行传输,能够有效避免监控数据处理堵塞,能够将满足上传条件的监控数据上传到云端,使得操作人员可以及时了解生产运行情况。
在本发明提供的实施例中,基于上述的过程,可选的,所述确定每个所述监控数据是否满足预设的上传条件的过程,如图6所示,具体包括:
S601:确定每个所述监控数据的处理时长。
S602:判断每个所述监控数据的处理时长是否大于该监控数据对应的时长阈值;若是,则执行S603,若否,则执行S604。
S603:判定所述监控数据不满足所述上传条件。
S604:判定所述监控数据满足所述上传条件。
在本发明提供的实施例中,基于上述的过程,可选的,所述判断每个所述监控数据是否满足预设的上传条件之前,还包括:
接收预设的第一网关发送的待处理监控数据;
将所述待处理监控数据作为新的业务数据,并对该业务数据进行处理,获得该业务数据对应的监控数据。
在本发明提供的实施例中,基于上述的过程,可选的,所述根据所述调度策略传输不满足所述上传条件的监控数据,包括:
根据所述调度策略确定每个不满足所述上传条件的监控数据所对应的数据接收方,所述数据接收方为所述云服务端或预设的第二网关;
将每个不满足所述上传条件的监控数据发往其对应的数据接收方。
上述本发明实施例公开的能源行业的监控数据传输方法,与上述本发明实施例公开的能源行业的监控数据传输系统中的探测装置的具体的原理和执行过程相同,可参见上述本发明实施例提供的能源行业的监控数据传输系统中相应的部分,这里不再进行赘述。
本发明实施例还提供了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述的能源行业的监控数据传输方法。
本发明实施例还提供了一种网关,其结构示意图如图7所示,具体包括存储器701,以及一个或者一个以上的指令702,其中一个或者一个以上指令702存储于存储器701中,且经配置以由一个或者一个以上处理器703执行所述一个或者一个以上指令702进行以下操作:
获取预设的数据采集设备采集到的各个业务数据;所述业务数据为业务系统在运行过程中产生的数据;
对所述数据采集队列中的每个业务数据进行处理,获得每个所述业务数据对应的监控数据;
确定每个所述监控数据是否满足预设的上传条件;
将满足所述上传条件的监控数据发往预设的云服务端,并向所述云服务端发送针对不满足所述上传条件的监控数据的处理请求;使得所述云服务端存储已接收到的满足所述上传条件的监控数据,并根据所述处理请求确定所述目标网关的调度策略;
根据所述调度策略传输不满足所述上传条件的监控数据。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种能源行业的监控数据传输方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。