CN115277706B - 一种物联网数据采集器动态分发方法及系统 - Google Patents

一种物联网数据采集器动态分发方法及系统 Download PDF

Info

Publication number
CN115277706B
CN115277706B CN202210672838.XA CN202210672838A CN115277706B CN 115277706 B CN115277706 B CN 115277706B CN 202210672838 A CN202210672838 A CN 202210672838A CN 115277706 B CN115277706 B CN 115277706B
Authority
CN
China
Prior art keywords
acquisition
data
gateway
internet
things
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210672838.XA
Other languages
English (en)
Other versions
CN115277706A (zh
Inventor
李德勇
朱剑文
罗乐
雷豁
韩崔燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhongzhi Hongtu Technology Co ltd
Original Assignee
Wuhan Zhongzhi Hongtu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhongzhi Hongtu Technology Co ltd filed Critical Wuhan Zhongzhi Hongtu Technology Co ltd
Priority to CN202210672838.XA priority Critical patent/CN115277706B/zh
Publication of CN115277706A publication Critical patent/CN115277706A/zh
Application granted granted Critical
Publication of CN115277706B publication Critical patent/CN115277706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/66Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0663Performing the actions predefined by failover planning, e.g. switching to standby network elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供了一种物联网数据采集器动态分发方法及系统,查找所有终端指标,将终端指标按照终端、数据源进行分组,得到指标组列表;对指标组列表进行分组,得到数据源指标组;将数据源指标组列表中的指标按照数据源指定的分配算法分配至查找的物联网网关,获得每个网关上需执行的采集任务列表;根据采集任务查找是否存在已初始化的采集执行器执行环境,查找是否存在本地缓存的采集执行器文件,最终根据采集任务实例化采集器并启动,进行数据采集,转换成统一的结构通过网关上传到物联网平台。通过本发明,降低了数据采集系统整体的部署维护难度,提升了系统的可扩展性,保证了系统数据采集的稳定性和可靠性,提高了系统对采集故障进行转移的效率。

Description

一种物联网数据采集器动态分发方法及系统
技术领域
本发明涉及数据采集技术领域,尤其涉及一种物联网数据采集器动态分发方法及系统。
背景技术
随着物联网技术的发展,数据采集终端的类型和规模不断增加,对数据采集系统的部署和采集效率有了更高的要求。对于大型采集系统来说,负载均衡和动态部署是保证终端数据高效采集的基础。
传统的数据采集部署方式通常是基于中间件的形式来实现的,如通过数据采集模块完成业务调度和执行,从上层分别调用数据采集逻辑,控制数据采集终端实现数据采集。这种方法针对最小粒度(指标)配置时,将每个指标都视为一个采集任务,每个采集任务需进行单独配置,采集效率较低。并且数据采集器负载均衡依赖于中间件,运维难度较高,且没有动态部署机制,当系统需要新增对其它数据源的支持,即需要扩展新的数据采集协议时,需要重新进行部署,维护工作量大,扩展性差,对于大规模的数据采集任务来说,具有明显的局限性。
发明内容
本发明为了克服现有技术的不足,提供一种物联网数据采集器动态分发方法及系统,首先将需要采集的终端指标按照一定规则进行重组为采集任务列表并下发至对应物联网网关,然后初始化采集执行器执行环境,最后根据采集任务实例化采集执行器完成数据采集工作。本发明不仅可降低数据采集系统部署维护难度,而且当系统新增数据源时无需重新部署,保证了系统数据采集的稳定性和可靠性,提高了采集效率和系统扩展性。
一种物联网数据采集器动态分发方法,主要包括:
S1:查找所有终端指标,并将终端指标按照终端、数据源进行分组,得到指标组列表;
S2:按照数据源的不同对指标组列表进行分组,得到数据源指标组;将数据源指标组列表中的指标按照数据源指定的分配算法分配至查找的物联网网关,获得每个网关上需执行的采集任务列表,并将任务下发至对应网关;
S3:根据采集任务查找是否存在已初始化的采集执行器执行环境,若否,则到步骤S4,若是,则到步骤S7;
S4:查找是否存在本地缓存的采集执行器文件,若否,则到步骤S5,若是,则到步骤S6;
S5:通过向物联网平台请求采集执行器文件后,平台将文件发送到物联网网关,网关接收完文件后,再到步骤S6;
S6:加载并初始化采集执行器执行环境,然后到步骤S7;
S7:根据采集任务实例化采集器并启动,进行数据采集,并转换成统一的结构通过网关上传到物联网平台。
进一步地,步骤S1中,所述终端指标为数据采集的最小单位,如压力、流量、温度、湿度等。
进一步地,步骤S1中,查找所有终端指标的查询条件为:所属终端状态为启用,终端指标状态为启用,采集状态为等待;终端状态包含:启用、禁用和删除,指标状态包含:启用、禁用和删除,采集状态包含:停止、等待、采集和错误。
进一步地,当终端、终端指标的数据中涉及到数据采集的信息发生变动时,将发起终端指标采集配置的重新合并,则触发步骤S1。
进一步地,步骤S2中,采集任务列表包含数据源信息和采集指标组列表。
进一步地,一个数据源通过其编号与多个网关的网关编号进行关联,查找数据源指标组中数据源关联的网关的规则为:该网关可以正常运行该数据源的采集任务;查找条件为:与该数据源关联,状态为启用,运行状态为备用或采集;运行状态包括:备用、采集和停止。
进一步地,步骤S2中,所述分配算法包括轮询、加权轮询、总量分配、资源负载和动态负载算法;对于采集环境相对固定的场景,使用轮询、加权轮询和总量分配算法,对于采集环境变动较为频繁的场景,使用资源负载和动态负载算法。
进一步地,步骤S3中,当采集任务在当前网关出现数据采集通道故障时,会将当前采集任务进行重新分配,并标记当前网关对应数据源为故障,在后续的分配中将不参与分配,直至故障修复后将状态重置为备用。
进一步地,步骤S4中,所述采集执行器文件包含:采集执行器相关的代码和类库。
一种物联网数据采集器动态分发系统,用于上述的数据采集器动态分发方法,包括:
指标组列表获取模块,用于查找所有终端指标,并将终端指标按照终端、数据源进行分组,得到指标组列表;
采集任务列表获取模块,用于按照数据源的不同对指标组列表进行分组,得到数据源指标组;将数据源指标组列表中的指标按照数据源指定的分配算法分配至查找的物联网网关,获得每个网关上需执行的采集任务列表,并将任务下发至对应网关;
执行环境判断模块,用于根据采集任务查找是否存在已初始化的采集执行器执行环境;
采集执行器文件判断模块,用于查找是否存在本地缓存的采集执行器文件;
文件传送模块,用于通过向物联网平台请求采集执行器文件后,平台将文件发送到物联网网关,网关接收完文件后,执行加载并初始化模块的功能;
加载并初始化模块,用于加载并初始化采集执行器执行环境;
数据采集模块,用于根据采集任务实例化采集器并启动,进行数据采集,并转换成统一的结构通过网关上传到物联网平台。
本发明提供的技术方案带来的有益效果是:本发明可在系统内部实现系统任务的负载均衡和动态部署,在系统数据采集时仅需部署网关即可,且当系统需要新增对其它数据源的支持时,无需重新部署,仅需实现数据源对应的采集执行器并打包上传至物联网平台即可。由于网关的变更相比采集执行器来说较为固定,相比传统的基于中间件的方式实现负载均衡和动态部署,降低了数据采集系统整体的部署维护难度,提升了系统的可扩展性,保证了系统数据采集的稳定性和可靠性,提高了系统对采集故障进行转移的效率。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例中一种物联网数据采集器动态分发方法的流程图。
图2是本发明实施例中一种物联网数据采集器动态分发的原理示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种物联网数据采集器动态分发方法及系统。
请参考图1,图1是本发明实施例中一种物联网数据采集器动态分发方法的流程图,具体包括:
S1:查找所有终端指标,并将终端指标按照终端、数据源进行分组,得到指标组列表。
所述终端指标为数据采集的最小单位,如压力、流量、温度、湿度等。
查找所述终端指标的查询条件为:所属终端状态为:启用,终端指标状态为:启用,采集状态为:等待。
终端状态包含:启用、禁用和删除,指标状态包含:启用、禁用和删除,采集状态包含:停止、等待、采集和错误。
当终端、终端指标的数据中涉及到数据采集的信息发生变动时,将发起终端指标采集配置的重新合并,触发步骤1。
S2:按照数据源的不同对指标组列表进行分组,得到数据源指标组。将数据源指标组列表中的指标按照数据源指定的分配算法分配至查找的物联网网关,获得每个网关上需执行的采集任务列表,并将任务下发至对应网关。
采集任务包含数据源信息和采集指标组列表。
一个数据源可通过数据源编号与多个网关的网关编号进行关联,查找数据源指标组中数据源关联的网关的规则为:该网关可以正常运行该数据源的采集任务;查找条件为:与该数据源关联,状态为启用,运行状态为备用或采集。
运行状态包括:备用、采集和停止。
分配算法包括轮询、加权轮询、总量分配、资源负载和动态负载算法,各算法的具体定义如下:
轮询算法是指:将指标组均等的分配给各个网关的算法;
加权轮询算法是指:将指标组按照各个网关的权重进行分配的算法;
总量分配算法是指:结合各个网关当前的任务数量进行分配的算法,使网关上的任务总量相近;
资源负载算法是指:结合各个网关当前的硬件负载(CPU、内存、网络)进行分配的算法,使得网关的负载比较均衡;
动态负载算法是指:首次使用资源分配策略进行分配,后续结合资源负载变化进行动态调整的算法。
对于采集环境相对固定的场景,使用轮询、加权轮询和总量分配算法,对于采集环境变动较为频繁的场景,使用资源负载和动态负载算法。
当数据源或其绑定的网关的数据中涉及到数据采集的信息发生变动时,将发起指标组重新分配,触发步骤2。
S3:根据采集任务查找是否存在已初始化的采集执行器执行环境,如果存在则执行步骤S7,否则执行步骤S4。所述采集执行器为运行采集任务的相关代码。
当采集任务在当前网关出现数据采集通道故障时,会将当前采集任务进行重新分配,并标记当前网关对应数据源为故障,在后续的分配中将不参与分配,直至故障修复后将状态重置为备用。
S4:根据采集执行器的ID查找是否存在本地缓存的采集执行器文件,若是,则执行步骤S6,否则执行步骤S5。所述采集执行器文件包含:采集执行器相关的代码和类库。
S5:向物联网平台请求采集执行器文件,平台将文件发送到物联网网关,网关接收完文件后执行步骤S6。
S6:加载并初始化采集执行器执行环境,加载完毕后执行步骤7。
S7:根据采集任务实例化采集执行器并启动,进行数据采集,并转换成统一的结构通过网关上传到物联网平台。一种物联网数据采集器动态分发系统,用于实现如上所述的数据采集器动态分发方法,具体包括:
指标组列表获取模块,用于查找所有终端指标,并将终端指标按照终端、数据源进行分组,得到指标组列表;
采集任务列表获取模块,用于按照数据源的不同对指标组列表进行分组,得到数据源指标组;将数据源指标组列表中的指标按照数据源指定的分配算法分配至查找的物联网网关,获得每个网关上需执行的采集任务列表,并将任务下发至对应网关;
执行环境判断模块,用于根据采集任务查找是否存在已初始化的采集执行器执行环境;
采集执行器文件判断模块,用于查找是否存在本地缓存的采集执行器文件;
文件传送模块,用于通过向物联网平台请求采集执行器文件后,平台将文件发送到物联网网关,网关接收完文件后,执行加载并初始化模块的功能;
加载并初始化模块,用于加载并初始化采集执行器执行环境;
数据采集模块,用于根据采集任务实例化采集器并启动,进行数据采集,并转换成统一的结构通过网关上传到物联网平台。
图2是本发明实施例中一种物联网数据采集器动态分发的原理示意图。
具体实施例:
如图2所示,当新增终端指标时,分发服务监听到平台新增终端指标后,触发该指标相关联的数据源进行采集任务的重分配,将任务重新分配之后发送给网关服务,网关服务将任务下发给物联网网关,网关对任务进行实例化,创建采集器连接数据源进行数据采集工作,采集器采集到的数据通过物联网网关上传至网关服务。
当有新的物联网网关连接时,状态服务监听到新网关连接后,通知分发服务对该网关相关联的数据源进行采集任务的重分配,将任务重新分配之后发送给网关服务,网关服务将任务下发给物联网网关,网关对任务进行实例化,创建采集器连接数据源进行数据采集工作,采集器采集到的数据通过物联网网关上传至网关服务。
本发明的有益效果是:本发明可在系统内部实现系统任务的负载均衡和动态部署,在系统数据采集时仅需部署网关即可,且当系统需要新增对其它数据源的支持时,无需重新部署,仅需实现数据源对应的采集执行器并打包上传至物联网平台即可。由于网关的变更相比采集执行器来说较为固定,相比传统的基于中间件的方式实现负载均衡和动态部署,降低了数据采集系统整体的部署维护难度,提升了系统的可扩展性,保证了系统数据采集的稳定性和可靠性,提高了系统对采集故障进行转移的效率。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (2)

1.一种物联网数据采集器动态分发方法,其特征在于:包括:
S1:查找所有终端指标,并将终端指标按照终端、数据源进行分组,得到指标组列表;所述终端指标为数据采集的最小单位,包括压力、流量、温度和湿度;查找所有终端指标的查询条件为:所属终端状态为启用,终端指标状态为启用,采集状态为等待;终端状态包含:启用、禁用和删除,指标状态包含:启用、禁用和删除,采集状态包含:停止、等待、采集和错误;当终端、终端指标的数据中涉及到数据采集的信息发生变动时,将发起终端指标采集配置的重新合并,则触发步骤S1;
S2:按照数据源的不同对指标组列表进行分组,得到数据源指标组;将数据源指标组列表中的指标按照数据源指定的分配算法分配至查找的物联网网关,获得每个网关上需执行的采集任务列表,并将任务下发至对应网关;所述采集任务列表包含数据源信息和采集指标组列表;一个数据源通过其编号与多个物联网网关的网关编号进行关联,查找数据源指标组中数据源关联的网关的规则为:该网关可以正常运行该数据源的采集任务;查找条件为:与该数据源关联,状态为启用,运行状态为备用或采集;运行状态包括:备用、采集和停止;所述分配算法包括轮询、加权轮询、总量分配、资源负载和动态负载算法;对于采集环境相对固定的场景,使用轮询、加权轮询和总量分配算法,对于采集环境变动较为频繁的场景,使用资源负载和动态负载算法;
S3:根据采集任务列表查找是否存在已初始化的采集执行器执行环境,若否,则到步骤S4,若是,则到步骤S7;当采集任务在当前网关出现数据采集通道故障时,会将当前采集任务进行重新分配,并标记当前网关对应数据源为故障,在后续的分配中将不参与分配,直至故障修复后将状态重置为备用;
S4:查找是否存在本地缓存的采集执行器文件,若否,则到步骤S5,若是,则到步骤S6;所述采集执行器文件包含:采集执行器相关的代码和类库;
S5:通过向物联网平台请求采集执行器文件后,平台将文件发送到物联网网关,网关接收完文件后,再到步骤S6;
S6:加载并初始化采集执行器执行环境,然后到步骤S7;
S7:根据采集任务实例化采集器并启动,进行数据采集,并转换成统一的结构通过网关上传到物联网平台。
2.一种物联网数据采集器动态分发系统,用于实现如权利要求1所述的物联网数据采集器动态分发方法,其特征在于:包括:
指标组列表获取模块,用于查找所有终端指标,并将终端指标按照终端、数据源进行分组,得到指标组列表;
采集任务列表获取模块,用于按照数据源的不同对指标组列表进行分组,得到数据源指标组;将数据源指标组列表中的指标按照数据源指定的分配算法分配至查找的物联网网关,获得每个网关上需执行的采集任务列表,并将任务下发至对应网关;
执行环境判断模块,用于根据采集任务查找是否存在已初始化的采集执行器执行环境;
采集执行器文件判断模块,用于查找是否存在本地缓存的采集执行器文件;
文件传送模块,用于通过向物联网平台请求采集执行器文件后,平台将文件发送到物联网网关,网关接收完文件后,执行加载并初始化模块的功能;
加载并初始化模块,用于加载并初始化采集执行器执行环境;
数据采集模块,用于根据采集任务实例化采集器并启动,进行数据采集,并转换成统一的结构通过网关上传到物联网平台。
CN202210672838.XA 2022-06-15 2022-06-15 一种物联网数据采集器动态分发方法及系统 Active CN115277706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210672838.XA CN115277706B (zh) 2022-06-15 2022-06-15 一种物联网数据采集器动态分发方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210672838.XA CN115277706B (zh) 2022-06-15 2022-06-15 一种物联网数据采集器动态分发方法及系统

Publications (2)

Publication Number Publication Date
CN115277706A CN115277706A (zh) 2022-11-01
CN115277706B true CN115277706B (zh) 2024-04-26

Family

ID=83761426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210672838.XA Active CN115277706B (zh) 2022-06-15 2022-06-15 一种物联网数据采集器动态分发方法及系统

Country Status (1)

Country Link
CN (1) CN115277706B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017146076A1 (ja) * 2016-02-22 2017-08-31 日本電気株式会社 ゲートウェイ装置、通信方法、及び、非一時的なコンピュータ可読媒体
CN107454123A (zh) * 2016-05-31 2017-12-08 株式会社日立制作所 数据收集方法和数据收集装置
CN110233875A (zh) * 2019-05-10 2019-09-13 厦门网宿有限公司 一种数据处理方法、对象存储网关池及业务系统
CN113692019A (zh) * 2021-09-16 2021-11-23 国网河北省电力有限公司电力科学研究院 电力物联网的无线组网方法及终端
CN114035819A (zh) * 2021-10-29 2022-02-11 深圳毅芯半导体有限公司 一种物联网串口设备的数据采集控制方法、系统及装置
CN114157487A (zh) * 2021-12-03 2022-03-08 上海交通大学 一种基于区块链技术的大规模物联网访问控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017146076A1 (ja) * 2016-02-22 2017-08-31 日本電気株式会社 ゲートウェイ装置、通信方法、及び、非一時的なコンピュータ可読媒体
CN107454123A (zh) * 2016-05-31 2017-12-08 株式会社日立制作所 数据收集方法和数据收集装置
CN110233875A (zh) * 2019-05-10 2019-09-13 厦门网宿有限公司 一种数据处理方法、对象存储网关池及业务系统
CN113692019A (zh) * 2021-09-16 2021-11-23 国网河北省电力有限公司电力科学研究院 电力物联网的无线组网方法及终端
CN114035819A (zh) * 2021-10-29 2022-02-11 深圳毅芯半导体有限公司 一种物联网串口设备的数据采集控制方法、系统及装置
CN114157487A (zh) * 2021-12-03 2022-03-08 上海交通大学 一种基于区块链技术的大规模物联网访问控制方法

Also Published As

Publication number Publication date
CN115277706A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN111277672B (zh) 一种基于非阻塞输入输出模型的能源物联网数据采集方法
CN109150987B (zh) 基于主机层和容器层的两层式容器集群弹性扩容方法
CN102724277B (zh) 虚拟机热迁移和部署的方法、服务器及集群系统
US8055739B2 (en) Sharing performance data between different information technology product/ solution deployments
CN104050042B (zh) Etl作业的资源分配方法及装置
US20130198755A1 (en) Apparatus and method for managing resources in cluster computing environment
CN109347974B (zh) 提高在线服务质量和集群资源利用率的混合调度系统
CN110798517B (zh) 去中心化集群负载均衡方法、系统、移动终端及存储介质
CN103414761A (zh) 一种基于Hadoop架构的移动终端云资源调度方法
CN103593242A (zh) 基于Yarn框架的资源共享控制系统
CN108009258B (zh) 一种可在线配置的数据采集与分析平台
CN108182105A (zh) 基于Docker容器技术的局部动态迁移方法及控制系统
CN101951411A (zh) 云调度系统及方法以及多级云调度系统
Wided et al. Load balancing with Job Migration Algorithm for improving performance on grid computing: Experimental Results
CN105094982A (zh) 一种多星遥感数据处理系统
CN110427270B (zh) 一种面向rdma网络下分布式连接算子的动态负载均衡方法
CN104050043A (zh) 基于共享缓存感知的虚拟机调度方法和装置
CN105491150A (zh) 基于时间序列的负载均衡处理方法及系统
CN113110914A (zh) 一种基于微服务架构的物联网平台构建方法
CN102868573A (zh) Web服务负载云测试方法和装置
CN111858033A (zh) 基于集群和多进程的负载均衡方法
CN102339233A (zh) 云计算集中管理平台
CN106130960A (zh) 盗号行为的判断系统、负载调度方法和装置
CN113553146A (zh) 一种基于云边协同计算任务并合调度方法
CN102331948A (zh) 一种基于资源状态的虚拟机结构调整方法和调整系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant