CN114745606A - 基于规则调度的弹性伸缩工业数据采集系统及方法 - Google Patents
基于规则调度的弹性伸缩工业数据采集系统及方法 Download PDFInfo
- Publication number
- CN114745606A CN114745606A CN202210166273.8A CN202210166273A CN114745606A CN 114745606 A CN114745606 A CN 114745606A CN 202210166273 A CN202210166273 A CN 202210166273A CN 114745606 A CN114745606 A CN 114745606A
- Authority
- CN
- China
- Prior art keywords
- scheduling
- message access
- rule
- processing
- engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 186
- 238000009826 distribution Methods 0.000 claims description 21
- 230000001960 triggered effect Effects 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 239000002699 waste material Substances 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 208000034423 Delivery Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于规则调度的弹性伸缩工业数据采集系统,包括数据库、多个在线消息接入与处理节点、规则库、流量观测组件、规则引擎、容器编排引擎;所述规则引擎分别连接所述规则库和所述容器编排引擎,所述规则引擎基于所述规则库中的调度规则,通过所述容器编排引擎调度整体系统资源,无须人工介入及额外部署实施,降低了实施成本且运行稳定可靠、实施效率高及鲁棒性好。本发明还提供的一种工业数据采集方法具有相应优势。
Description
技术领域
本发明属于工业数据采集技术领域,尤其涉及一种基于规则调度的弹性伸缩工业数据采集系统及相应的工业数据采集方法。
背景技术
工业数据采集广泛应用于对工业现场各类设备和传感器的实时数据采集,是进行物料跟踪、生产计划、产品历史记录维护以及其它生产管理的基础,对于现代企业的生产决策、工艺优化、质量提升等方面有至关重要的作用。如图1所示例的一般情况中,多个现场设备通过工业网关接入工业数据采集系统,工业网关将采集到的数据通过MQTT消息发送到工业数据采集系统,工业数据采集系统中的消息接入与处理节点负责消息的协议解析、数据转换与处理、业务事件生成、数据入库等任务。消息接入与处理节点运行多个线程,线程的运行需要消耗存储资源、计算资源和电能。
在当前主流的工业数据采集技术中,随着工业数据采集系统中加入的现场设备和工业网关越来越多,系统中有限个数的消息接入与处理节点逐渐成为系统瓶颈。现有的做法中为保障一段时间内业务的正常运行,通常需要在系统实施前做好容量规划和预测。当业务容量超过之前的规划时,需要运维或实施人员对节点数量重新评估,然后手动增加消息接入与处理节点,以应对业务容量的增加。当设备减少、消息流量减少时,则需要手动销毁一定数量的消息接入与处理节点以减少资源消耗。
由此可知,现有的工业数据采集在实际应用中还存在诸多缺陷,例如:1.企业的业务变化往往不是平缓的,业务的突然增加或减少时就需要管理、运维、实施人员的人工介入进行相应的评估和手动部署作业,相当于重新进行小型的项目实施,增加了成本,甚至还延迟了对新增业务的正常交付。2.对于现有架构的人工变更操作,往往容易由于人为操作引发错误和故障,对业务正常稳定运行产生较大影响。3.消息流量持续增大而没有及时增加业务节点,将会由于现有节点的处理能力达到极限而导致系统宕机等后果。4.人工新增加的业务容量如果由于业务变更而缩减的时候,多余的节点造成了资源及成本的浪费,除非再次人工介入相应缩减节点数目。
因此目前十分需要研究一种工业数据采集系统及相应的方法,能够适用于配合业务的增减实施工业数据采集,实现降本增效、突破现有工业数据采集技术在企业应用的瓶颈,以此进一步推动工业数据采集技术的深层次发展和高效益应用。
发明内容
本发明是为解决上述现有技术的全部或部分问题,本发明一方面提供了一种基于规则调度的弹性伸缩工业数据采集系统,能够自动伸缩进行工业数据采集。本发明的另外一个方面提供了一种基于规则调度的弹性伸缩工业数据采集方法,能够无须人工,自适应业务的增减进行工业数据采集。
本发明一方面提供的一种基于规则调度的弹性伸缩工业数据采集系统,包括数据库、多个在线消息接入与处理节点;还包括:规则库、流量观测组件、规则引擎、容器编排引擎;所述在线消息接入与处理节点与所述流量观测组件连接,上报当前的处理信息;所述流量观测组件与所述规则引擎连接,收集汇总所述在线消息接入与处理节点当前的处理信息交付给所述规则引擎;所述规则引擎分别连接所述规则库和所述容器编排引擎,所述规则引擎基于所述规则库中的调度规则,通过所述容器编排引擎调度整体系统资源。通过设置所述消息观测组件能够实施监控工业数据采集系统中资源使用情况的变化;通过所述规则库、规则引擎能够根据所述消息观察组件汇总反馈的工业数据采集系统当前资源使用情况,基于所述规则库中的调度规则实时判定当前工业数据采集系统是否触发调度规则,当任意调度规则被触发,所述规则引擎能够及时自动调度容器编排引擎调度系统资源,无须人工变更操作现有架构,避免了由于人为操作引发错误和故障,保障了业务正常稳定运行,在业务量突变时无须额外人工实时部署,所述工业数据采集系统应用成本低、运行效率高。
所述工业数据采集系统还包括:多个备用消息接入与处理节点、注册与流量分配组件;所述容器编排引擎与所述备用消息接入与处理节点连接,部署所述备用消息接入与处理节点上线;部署上线时,所述备用消息接入与处理节点与所述注册与流量分配组件建立连接,通过所述注册与流量分配组件进行注册,获取流量分配。
通过设置多个备用消息接入与处理节点当消息流量持续增大到一定程度时,所述容器编排引擎能部署所述备用消息接入与处理节点能够上线,所述注册与流量分配组件可以对新部署的节点进行注册,并自动为其分配消息流量,及时满足所述工业数据采集系统的资源需求,有效地避免系统宕机。
所述流量观测组件包括获取单元和上报单元;所述获取单元用于收集所述在线消息接入与处理节点当前的处理信息;所述上报单元用于将全部所述在线消息接入与处理节点当前的处理信息汇总并交付给所述规则引擎。
所述流量观测组件还包括与所述上报单元连接的计时单元,所述计时单元用于设置上报时间或上报周期;所述上报单元由所述计时单元控制按照所述上报时间或上报周期汇总全部所述在线消息接入与处理节点当前的处理信息并交付给所述规则引擎。通过所述计时单元能够结合工业制造中的实际情况相应预设上报周期或者上报的具体时间点,避免不必要的频繁通信,利于进一步优化系统资源配置。
所述规则库中的调度规则有多个,并设置有优先级;所述规则引擎包括解析层和匹配触发层,所述解析层接收所述上报单元汇总的全部所述在线消息接入与处理节点当前的处理信息并解析获取特征数据;所述匹配触发层获取全部所述调度规则并按所述优先级排序并与所述特征数据进行匹配。所述规则库中的调度规则能够按照优先级排序执行,更灵活的匹配多样的实际业务特点,适用性更强。
本发明另一方面提供的一种基于规则调度的弹性伸缩工业数据采集方法,包括:建立规则库,存储若干调度规则;观测并收集工业数据采集系统中全部或部分消息接入与处理节点当前的处理信息,交付给规则引擎;所述规则引擎获取所述若干调度规则,基于所述若干调度规则触发新增或者减少消息接入与处理节点。通过对工业数据采集系统中的消息接入与处理节点进行观测,收集当前处理信息,所述规则引擎能够获取并汇总当前工业数据采集系统承载的业务容量和资源使用情况;通过建立规则库,存储若干调度规则,所述规则引擎能够获取调度规则,根据调度规则来自动触发系统伸缩的动作,新增或减少工业数据采集系统中当前在线的消息接入与处理节点的数量,以匹配当前业务容量。改变了依赖人工介入评估和手动部署作业才能使得工业数据采集系统匹配当前业务需要的做法,有效降低或者消除人力的再次实施和部署,降低整体实施成本、优化了工业数据采集系统运行的稳定性、流畅性,进一步提高了工业数据采集系统的应用效益。
所述消息接入与处理节点当前的处理信息包括:当前的消息流量值、节点CPU占用率、节点内存使用率、网络带宽占用率以及I/O接口使用率。当前的处理信息用作评估系统当前的性能指标能够最直接的反映系统资源利用率。
所述若干调度规则的依据包括预设的若干阈值;所述基于所述若干调度规则触发新增或者减少消息接入与处理节点包括:计算比较全部所述消息接入与处理节点的消息流量值、CPU单核占用率、内存使用率,相应得到平均消息流量值、单个所述消息接入与处理节点的最大消息流量值、最小消息流量值、CPU单核平均占用率、平均内存使用率。通过平均消息流量值、单个所述消息接入与处理节点的最大消息流量值及最小消息流量值、CPU单核平均占用率、平均内存使用率与预设的若干阈值进行对应比对判定是否触发调度规则,以及触发新增还是减少消息接入与处理节点。
所述若干调度规则有多个,按优先级设置;若触发所述调度规则,按所述优先级排序执行。工业数据的特性不是单一的,工业数据涉及的资源也是多样的,通过多个调度规则应对多样的情况,并对多个调度规则设定优先级,当触发不止一个调度规则时按照具体业务对资源的占用的情况根据优先级排序执行调度规则,规则引擎能够更加精确地对系统资源进行伸缩。
所述新增或者减少消息接入与处理节点的做法包括:所述规则引擎根据触发的是新增节点的调度规则或减少节点的调度规则,相应调度容器编排引擎创建或者销毁消息接入与处理节点。规则引擎在任意调度规则被触发后,基于所触发的调度规则自动调度容器编排引擎进行节点的自动伸缩,相应创建新的消息接入与处理节点或销毁当前工业数据采集系统中在线的消息接入与处理节点。所述容器编排引擎的自动并且及时地执行,避免了消息流量过高时在线的消息接入与处理节点不足的系统宕机风险,也避免了消息流量过低时存在多余的在线的消息接入与处理节点而产生系统资源浪费。
所述容器编排引擎创建新的消息接入与处理节点的过程包括:部署创建新的消息接入与处理节点;对所述新的消息接入与处理节点配置环境信息;所述新的消息接入与处理节点启动后连接MQTT服务器、数据库,进行注册并建立心跳;为所述新的消息接入与处理节点分配消息流量。
通过对新部署的消息接入与处理节点进行注册,并自动为其分配消息流量,以分散和平衡当前工业数据采集系统中各个消息接入与处理节点的负载。
所述容器编排引擎销毁消息接入与处理节点的过程包括:部署销毁多余的消息接入与处理节点;在心跳超时后,感知到所述多余的消息接入与处理节点下线;将所述多余的消息接入与处理节点的消息流量分配给在线的消息接入与处理节点。在个别消息接入与处理节点被回收后,能够将该消息接入与处理节点的消息流量自动分配给其他的在线的消息接入与处理节点以保障数据采集信息流量的持续稳定,及资源配置的及时调节。
消息流量重新分配后,所有在线的消息接入与处理节点上报当前的处理信息并汇总后,交付所述规则引擎。消息流量的任何变动都实时反馈至所述规则引擎,有利于及时地对系统资源进行伸缩调整,保持工业数据采集工作的持续稳定性。
与现有技术相比,本发明的主要有益效果:
1、本发明的一种基于规则调度的弹性伸缩工业数据采集系统,通过设置所述消息观测组件能够实施监控工业数据采集系统中的资源使用情况的变化;通过所述规则库、规则引擎能够根据所述消息观察组件汇总反馈的工业数据采集系统当前的资源使用情况,并对流量进行适应性分配,及时满足系统的资源需求,系统使用效率高且运行稳定性强、可靠性高;利于工业数据采集系统在智能制造中进一步广泛深入的应用。
2、本发明的一种基于规则调度的弹性伸缩工业数据采集方法,步骤简洁,通过在规则库中存储调度规则,并观测收集当前处理信息,获取当前系统资源使用情况,所述规则引擎能够结合调度规则自动触发系统伸缩的动作,改变了传统做法中依赖人力的再次实施和部署的情况,大幅降低整体实施成本,更加精确和及时的对系统资源进行伸缩,既有效地避免了系统宕机风险,又避免了在线消息接入和处理节点过多的资源浪费提高了实施效率及工业数据采集系统的应用效益,为大幅提高工业智能制造水平提供了积极有效的解决方案。
附图说明
图1为现有的工业数据采集系统及其应用场景示意图。
图2为本发明实施例一的工业数据采集系统及其应用场景示意图。
图3为本发明实施例一的基于规则调度的弹性伸缩工业数据采集方法示意图。
图4为本发明实施例二的基于规则调度的弹性伸缩工业数据采集方法流程示意图。
图5为本发明实施例三的基于规则调度的弹性伸缩工业数据采集方法流程示意图。
具体实施方式
下面将对本发明具体实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在下述实施例中采用特定次序描绘了实施例的操作,这些次序的描述是为了更好的理解实施例中的细节以全面了解本发明,但这些次序的描述并不限定本发明的范围。
实施例一
本发明实施例一中,如图2所示,现场设备通过工业网关接入工业数据采集系统,工业网关将采集到的数据通过MQTT消息发送到工业数据采集系统,工业数据采集系统中的在线消息接入与处理节点负责消息的协议解析、数据转换与处理、业务事件生成、数据入库等任务。在本实施例中,工业数据采集系统包括数据库、多个在线消息接入与处理节点(为了简化附图,图2中以当前有两个在线消息接入与处理节点进行示例,并不限定实际在线消息接入与处理节点的数量)。示例的工业数据采集系统还包括:规则库、流量观测组件、规则引擎、容器编排引擎。在线消息接入与处理节点与流量观测组件连接,上报当前的处理信息。流量观测组件与规则引擎连接,收集汇总在线消息接入与处理节点当前的处理信息交付给规则引擎。规则引擎分别连接规则库和容器编排引擎,规则引擎基于规则库中的调度规则,通过容器编排引擎调度整体系统资源。示例的工业数据采集系统还包括:两个备用消息接入与处理节点、注册与流量分配组件。容器编排引擎与备用消息接入与处理节点连接,部署备用消息接入与处理节点上线。部署上线时,备用消息接入与处理节点与注册与流量分配组件建立连接,通过注册与流量分配组件进行注册,获取流量分配。同样为了附图简洁,仅示例两个备用消息接入与处理节点,并不限制实际情况中具体的数量。
示例的流量观测组件包括获取单元和上报单元。获取单元用于收集在线消息接入与处理节点当前的处理信息;上报单元用于将全部在线消息接入与处理节点当前的处理信息汇总并交付给规则引擎。有些实施例中流量观测组件还包括与上报单元连接的计时单元,计时单元用于设置上报时间或上报周期;上报单元由计时单元控制按照上报时间或上报周期汇总全部在线消息接入与处理节点当前的处理信息并交付给规则引擎。
规则库中的调度规则有多个,并设置有优先级。规则引擎包括解析层和匹配触发层,解析层接收上报单元汇总的全部在线消息接入与处理节点当前的处理信息并解析获取特征数据;匹配触发层获取全部调度规则并按优先级排序并与特征数据进行匹配。
在本实施例中,基于规则调度的弹性伸缩工业数据采集方法,如图3所示,包括:建立规则库,存储若干调度规则;观测并收集工业数据采集系统中全部或部分消息接入与处理节点当前的资源信息及消息流量,交付给规则引擎;规则引擎获取若干调度规则,基于若干调度规则触发新增或者减少消息接入与处理节点。示例的情况中观测并收集工业数据采集系统中全部在线消息接入与处理节点,在一些实施情况中,流量观测组件观测和收集特定的几个在线消息接入与处理节点,根据实施业务特点和工业制造消息特性结合企业实际需要可以观测和收集特定的在线消息接入与处理节点,在此并不限定具体情况。
示例的若干调度规则的依据包括预设的若干阈值。基于若干调度规则触发新增或者减少消息接入与处理节点包括:计算比较全部消息接入与处理节点的消息流量值、CPU单核占用率、内存使用率,相应得到平均消息流量值、单个所述消息接入与处理节点的最大消息流量值、最小消息流量值、CPU单核平均占用率、平均内存使用率。通过比对预设的阈值,能够在消息流量增加到一定程度的时候触发调度规则,基于触发的调度规则调度容器编排引擎自动部署新的消息接入处理节点,以处理新增的业务;并且在消息流量下降到一定程度时触发调度规则调度容器编排引擎自动移除多余的消息接入处理节点,以达到合理地降本增效的目的。有些实施例中若干调度规则的依据可以包括预设的节点CPU占用率阈值、节点内存使用率阈值。
示例的当前的处理信息包括消息接入与处理节点的消息流量值、节点CPU占用率、节点内存使用率、网络带宽占用率以及I/O接口使用率等。例如:“单个在线消息接入与处理节点的消息流量值超过十五万/秒并且CPU单核平均占用率超过90%,则部署新的消息接入与处理节点”;“所有在线消息接入与处理节点的平均消息流量值超过十二万/秒并且所有在线消息接入与处理节点的平均内存使用率超过80%,则部署新的接入与处理节点”;“所有消息接入与处理节点的平均消息流量值低于七万/秒,则销毁一个消息接入与处理节点”等。规则库中的调度规则设置有优先级,若触发调度规则,按优先级排序执行。企业可以根据实际的业务情况相应设置调度规则以及调度规则的优先级。当任意调度规则被触发,则根据规则调用容器编排引擎增加新的消息接入与处理节点。在有些实施情况中,工业数据采集系统没有备用消息接入与处理节点,规则引擎基于规则在消息流量减少到一定程度时,销毁相应数量的在线消息接入与处理节点以适时调整在线消息接入与处理节点的数量,节约系统资源。在此并不限定具体情况。
实施例二
通过本实施例对企业有新的设备、传感器接入后,基于规则调度的弹性伸缩工业数据采集方法流程进行示例。结合参考图2,如图4所示,各个在线消息接入与处理节点将当前的处理信息上报给流量观测组件。示例的情况中流量观测组件周期性将全部在线消息接入与处理节点上报的信息汇总后交付给规则引擎。规则引擎基于规则库中的调度规则判定是否触发调度规则,如当前情况不触发增加在线消息接入与处理节点,流量观测组件继续观测收集。如触发了需要增加在线消息接入与处理节点的调度规则,规则引擎调度容器编排引擎创建新的在线消息接入与处理节点。容器编排引擎部署备用消息接入与处理节点创建为新增的在线消息接入与处理节点,并配置环境信息。容器编排引擎对新部署的节点自动进行环境信息配置,例如MQTT服务器节点的连接信息、数据库节点的连接信息、流量观测组件的连接信息、注册与流量分配组件连接信息。本实施例中,注册与流量分配组件用于新部署上线的消息接入与处理节点的注册,并从消息流量池中分配一定的消息流量给新的节点,即分配一部分消息订阅主题给新上线的消息接入与处理节点以获取消息流量。新上线的消息接入和处理节点启动后自动连接到MQTT服务器和数据库,与注册与流量分配组件建立心跳连接,进行注册。注册与流量分配组件为新上线的消息接入与处理节点分配流量。新的在线消息接入与处理节点获取流量分配即订阅的消息主题,并订阅。新的在线消息接入与处理节点参与消息流量接收并上报流量观测组件。工业数据采集系统继续运行如果消息流量再次增加再次触发调度规则,重复上述过程,继续新增在线消息接入与处理节点。
本实施例的工业数据采集系统能够在消息流量增加到一定程度的时候触发规则,规则引擎调度容器编排引擎自动部署新的消息接入处理节点,以持续处理新增的业务。
实施例三
通过本实施例对实际投入的设备、传感器减少导致消息流量减少后,基于规则调度的弹性伸缩工业数据采集方法流程进行示例。如图5所示,各个在线消息接入与处理节点将自身当前的处理信息上报给流量观测组件。流量观测组件周期性将全部在线消息接入与处理节点上报的信息汇总后交付给规则引擎。需要说明的是流量观测组件周期性汇总是示例的一个较好做法,在有些实施情况中流量观测组件也可以实时汇总当前的信息交付给规则引擎,并不限定具体做法。规则引擎基于规则库中的调度规则,判定是否触发调度规则,如果不触发任何调度规则,流量观测组件继续收集汇总信息;如果触发了需要减少在线消息接入与处理节点的调度规则,规则引擎调度容器编排引擎销毁某个或某几个在线消息接入和处理节点。容器编排引擎销毁多余的在线消息接入和处理节点。注册与流量分配组件在心跳超时后感知被销毁的在线消息接入和处理节点已下线。注册与流量分配组件将被销毁下线的消息接入和处理节点的消息流量分配给其他当前在线消息接入与处理节点。流量重新分配后,当前在线消息接收与处理节点接收流量并处理,并上报给流量观测组件。
本实施例的工业数据采集系统能够在消息流量下降到一定程度触发调度规则,调度容器编排引擎自动移除多余的在线消息接入处理节点,以达到降本增效的目的。
通过上述实施例二及三可以了解,基于规则调度的弹性伸缩工业数据采集方法对消息流量进行观测和汇总,通过在消息流量增长到一定程度时自动触发规则引擎的调度规则,并自动调度容器编排引擎部署新的消息接入和处理节点,同时新的消息接入和处理节点自动获取到分配的流量进行作业处理;在流量下降到一定程度时自动触发规则,并自动调度容器编排引擎销毁节点,并对销毁节点的消息流量重新自动分配。通过自动收集、反馈、规则触发、资源调度、流量分配等多个环节,能够在上述场景下有效降低或者消除人力的再次实施和部署,降低整体实施成本;规则引擎能够更加精确和及时的对系统资源进行伸缩,避免消息流量过高而节点偏少的系统宕机风险,也避免消息流量过低而节点过多的资源浪费,有效改进了系统的资源使用效率和持续稳定性。
对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求保护的范围内。
Claims (13)
1.基于规则调度的弹性伸缩工业数据采集系统,包括数据库、多个在线消息接入与处理节点;其特征在于:还包括:规则库、流量观测组件、规则引擎、容器编排引擎;
所述在线消息接入与处理节点与所述流量观测组件连接,上报当前的处理信息;
所述流量观测组件与所述规则引擎连接,收集汇总所述在线消息接入与处理节点当前的处理信息交付给所述规则引擎;
所述规则引擎分别连接所述规则库和所述容器编排引擎,所述规则引擎基于所述规则库中的调度规则,通过所述容器编排引擎调度整体系统资源。
2.根据权利要求1所述的基于规则调度的弹性伸缩工业数据采集系统,其特征在于:还包括:多个备用消息接入与处理节点、注册与流量分配组件;
所述容器编排引擎与所述备用消息接入与处理节点连接,部署所述备用消息接入与处理节点上线;
部署上线时,所述备用消息接入与处理节点与所述注册与流量分配组件建立连接,通过所述注册与流量分配组件进行注册,获取流量分配。
3.根据权利要求1或2所述的基于规则调度的弹性伸缩工业数据采集系统,其特征在于:所述流量观测组件包括获取单元和上报单元;所述获取单元用于收集所述在线消息接入与处理节点当前的处理信息;所述上报单元用于将全部所述在线消息接入与处理节点当前的处理信息汇总并交付给所述规则引擎。
4.根据权利要求3所述的基于规则调度的弹性伸缩工业数据采集系统,其特征在于:所述流量观测组件还包括与所述上报单元连接的计时单元,所述计时单元用于设置上报时间或上报周期;所述上报单元由所述计时单元控制按照所述上报时间或上报周期汇总全部所述在线消息接入与处理节点当前的处理信息并交付给所述规则引擎。
5.根据权利要求3所述的基于规则调度的弹性伸缩工业数据采集系统,其特征在于:所述规则库中的调度规则有多个,并设置有优先级;所述规则引擎包括解析层和匹配触发层,所述解析层接收所述上报单元汇总的全部所述在线消息接入与处理节点当前的处理信息并解析获取特征数据;所述匹配触发层获取全部所述调度规则并按所述优先级排序并与所述特征数据进行匹配。
6.基于规则调度的弹性伸缩工业数据采集方法,其特征在于:包括:
建立规则库,存储若干调度规则;
观测并收集工业数据采集系统中全部或部分消息接入与处理节点当前的处理信息,交付给规则引擎;
所述规则引擎获取所述若干调度规则,基于所述若干调度规则触发新增或者减少消息接入与处理节点。
7.根据权利要求6所述的基于规则调度的弹性伸缩工业数据采集方法,其特征在于:所述消息接入与处理节点当前的处理信息包括:当前的消息流量值、节点CPU占用率、节点内存使用率、网络带宽占用率以及I/O接口使用率。
8.根据权利要求7所述的基于规则调度的弹性伸缩工业数据采集方法,其特征在于:所述若干调度规则的依据包括预设的若干阈值;
所述基于所述若干调度规则触发新增或者减少消息接入与处理节点包括:
计算比较全部所述消息接入与处理节点的消息流量值、CPU单核占用率、内存使用率,相应得到平均消息流量值、单个所述消息接入与处理节点的最大消息流量值、最小消息流量值、CPU单核平均占用率、平均内存使用率。
9.根据权利要求6所述的基于规则调度的弹性伸缩工业数据采集方法,其特征在于:所述若干调度规则有多个,按优先级设置;若触发所述调度规则,按所述优先级排序执行。
10.根据权利要求6所述的基于规则调度的弹性伸缩工业数据采集方法,其特征在于:所述新增或者减少消息接入与处理节点的做法包括:所述规则引擎根据触发的是新增节点的调度规则或减少节点的调度规则,相应调度容器编排引擎创建或者销毁消息接入与处理节点。
11.根据权利要求10所述的基于规则调度的弹性伸缩工业数据采集方法,其特征在于:所述容器编排引擎创建新的消息接入与处理节点的过程包括:
部署创建新的消息接入与处理节点;
对所述新的消息接入与处理节点配置环境信息;
所述新的消息接入与处理节点启动后连接MQTT服务器、数据库,进行注册并建立心跳;
为所述新的消息接入与处理节点分配消息流量。
12.根据权利要求10所述的基于规则调度的弹性伸缩工业数据采集方法,其特征在于:所述容器编排引擎销毁消息接入与处理节点的过程包括:
部署销毁多余的消息接入与处理节点;
在心跳超时后,感知到所述多余的消息接入与处理节点下线;
将所述多余的消息接入与处理节点的消息流量分配给在线的消息接入与处理节点。
13.根据权利要求11或12所述的基于规则调度的弹性伸缩工业数据采集方法,其特征在于:消息流量重新分配后,所有在线的消息接入与处理节点上报当前的处理信息并汇总后,交付所述规则引擎。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210166273.8A CN114745606A (zh) | 2022-02-23 | 2022-02-23 | 基于规则调度的弹性伸缩工业数据采集系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210166273.8A CN114745606A (zh) | 2022-02-23 | 2022-02-23 | 基于规则调度的弹性伸缩工业数据采集系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114745606A true CN114745606A (zh) | 2022-07-12 |
Family
ID=82275009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210166273.8A Pending CN114745606A (zh) | 2022-02-23 | 2022-02-23 | 基于规则调度的弹性伸缩工业数据采集系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114745606A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115378806A (zh) * | 2022-08-17 | 2022-11-22 | 平安科技(深圳)有限公司 | 流量分配方法、装置、计算机设备及存储介质 |
CN116662041A (zh) * | 2023-07-21 | 2023-08-29 | 太平金融科技服务(上海)有限公司 | 业务信息处理方法、装置、计算机设备、介质和程序产品 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105808334A (zh) * | 2016-03-04 | 2016-07-27 | 山东大学 | 一种基于资源重用的MapReduce短作业优化系统及方法 |
CN108846630A (zh) * | 2018-05-25 | 2018-11-20 | 广州衡昊数据科技有限公司 | 一种资源控制系统及方法 |
CN112486706A (zh) * | 2020-12-01 | 2021-03-12 | 浙江简捷物联科技有限公司 | 一种基于mqtt消息驱动机制的物联网本地设备联动方法 |
CN112905343A (zh) * | 2021-02-09 | 2021-06-04 | 重庆大学 | 一种工业云环境下基于负载特性的资源调度系统 |
CN113590281A (zh) * | 2021-07-16 | 2021-11-02 | 中国人民解放军国防科技大学 | 基于动态集中式调度的分布式并行模糊测试方法及系统 |
CN113900794A (zh) * | 2021-08-31 | 2022-01-07 | 艾普工华科技(武汉)有限公司 | 一种工业数据采集平台及方法 |
-
2022
- 2022-02-23 CN CN202210166273.8A patent/CN114745606A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105808334A (zh) * | 2016-03-04 | 2016-07-27 | 山东大学 | 一种基于资源重用的MapReduce短作业优化系统及方法 |
CN108846630A (zh) * | 2018-05-25 | 2018-11-20 | 广州衡昊数据科技有限公司 | 一种资源控制系统及方法 |
CN112486706A (zh) * | 2020-12-01 | 2021-03-12 | 浙江简捷物联科技有限公司 | 一种基于mqtt消息驱动机制的物联网本地设备联动方法 |
CN112905343A (zh) * | 2021-02-09 | 2021-06-04 | 重庆大学 | 一种工业云环境下基于负载特性的资源调度系统 |
CN113590281A (zh) * | 2021-07-16 | 2021-11-02 | 中国人民解放军国防科技大学 | 基于动态集中式调度的分布式并行模糊测试方法及系统 |
CN113900794A (zh) * | 2021-08-31 | 2022-01-07 | 艾普工华科技(武汉)有限公司 | 一种工业数据采集平台及方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115378806A (zh) * | 2022-08-17 | 2022-11-22 | 平安科技(深圳)有限公司 | 流量分配方法、装置、计算机设备及存储介质 |
CN116662041A (zh) * | 2023-07-21 | 2023-08-29 | 太平金融科技服务(上海)有限公司 | 业务信息处理方法、装置、计算机设备、介质和程序产品 |
CN116662041B (zh) * | 2023-07-21 | 2023-10-20 | 太平金融科技服务(上海)有限公司 | 业务信息处理方法、装置、计算机设备、介质和程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114745606A (zh) | 基于规则调度的弹性伸缩工业数据采集系统及方法 | |
US20030120764A1 (en) | Real-time monitoring of services through aggregation view | |
US7099879B2 (en) | Real-time monitoring of service performance through the use of relational database calculation clusters | |
US8099488B2 (en) | Real-time monitoring of service agreements | |
US6349325B1 (en) | Prioritized agent-based hierarchy structure for handling performance metrics data in a telecommunication management system | |
CN103561428B (zh) | 短信网关集群系统中的节点弹性分配方法及系统 | |
CN102064975B (zh) | 网络设备监管方法及系统 | |
CN101502144A (zh) | 无线通信网络中的元件管理系统 | |
CN103259832A (zh) | 实现动态负载平衡、故障诊断与转移的群集资源控制方法 | |
CN108282540A (zh) | 一种地铁监控系统及其监控方法 | |
CN106657212A (zh) | 自助终端状态监控方法及系统 | |
CN106357469B (zh) | 一种资源监控模式的动态调整方法和装置 | |
CN113422842B (zh) | 一种考虑网络负载的分布式电力用电信息数据采集系统 | |
US20040083246A1 (en) | Method and system for performance management in a computer system | |
CN113438129A (zh) | 数据采集方法及装置 | |
CN101359979A (zh) | 一种基于终端的链路丢包率控制方法及系统 | |
CN111741079A (zh) | 一种基于微服务架构的接口处理方法及系统 | |
CN104038358A (zh) | 一种内容调度方法及内容调度装置 | |
CN106130748B (zh) | 基于网络的多机多网分布式服务模块状态检测方法及系统 | |
CN104104536B (zh) | 一种基于策略的自调节并发轮询监测方法和装置 | |
CN110381134B (zh) | 调度方法、系统、调度器及cdn系统 | |
CN113055223B (zh) | 基于aimd算法的虚拟化保信子站系统网络通信方法及系统 | |
CN115048260A (zh) | 一种基于云计算的核电厂PaaS平台资源配额监控方法和系统 | |
CN112711510A (zh) | 一种业务连续性运行监测自动适配方法及系统 | |
CN115334162B (zh) | 一种基于用户请求的电力服务管理的安全通信方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |