CN109067618A - 分布式实时数据iot采集系统及方法 - Google Patents

分布式实时数据iot采集系统及方法 Download PDF

Info

Publication number
CN109067618A
CN109067618A CN201811038818.7A CN201811038818A CN109067618A CN 109067618 A CN109067618 A CN 109067618A CN 201811038818 A CN201811038818 A CN 201811038818A CN 109067618 A CN109067618 A CN 109067618A
Authority
CN
China
Prior art keywords
data
module
data source
measuring point
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811038818.7A
Other languages
English (en)
Other versions
CN109067618B (zh
Inventor
陈伟
郎海亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Olympics Technology Development Co Ltd
Original Assignee
Beijing Olympics Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Olympics Technology Development Co Ltd filed Critical Beijing Olympics Technology Development Co Ltd
Priority to CN201811038818.7A priority Critical patent/CN109067618B/zh
Publication of CN109067618A publication Critical patent/CN109067618A/zh
Application granted granted Critical
Publication of CN109067618B publication Critical patent/CN109067618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04Network management architectures or arrangements
    • H04L41/042Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供一种分布式实时数据IOT采集系统和方法,系统至少包括:数据源采样接口模块,其根据接入数据的目标测点的数据情况,设置对应的参数类型,依据前置通信规约类型选择通信规约库中相应的数据源通道,接收一种或多种不同类型的数据源,配置为监视数据通道的通信过程,将监听结果反馈给数据管理中心模块;数据管理中心模块,配置为接入数据源采样接口模块获取的数据,存入其内置数据库中,对接入数据源采样接口模块的各测点、通道状况、采样频率、数据质量的管理;数据发布模块,根据数据管理中心模块中待发布数据的数据源通道类型选择相应的发布器类型,发布到外部数据库或外部系统;以及访问接口模块,提供与外部应用模块的通信接口。

Description

分布式实时数据IOT采集系统及方法
技术领域
本发明属于数据采集技术领域,特别涉及一种分布式实时数据IOT采集系统及方法。
背景技术
随着用户对供电质量要求的提高,电能质量问题日益突出,同时为了适应配网状态检修自动化建设和运行的要求,提升配网状态检修自动化和标准化要求,在符合国家、国网标准的前提下,满足未来发展需要,增加为配网设备状态检修系统提供原始数据的方法,及时、完整、准确地为配网设备状态检修系统提供基础数据,因此,有必要建立电厂电能数据采集检测系统,以实现整个电网电能质量的实时监控。传统的实现手段是采用基于“组态软件+服务器+PLC”搭建平台,从而实现对各类电气设备的状态数据的采集与监控;这种集中式的平台采集方式需要使用的组态软件数量多,不同电厂的组态软件因存储的数据格式的区别而无法交互通用,由于采集时使用不同规约通信,需要类型多样的工具,上手难,维护成本大。此外,此类采集系统在扩展和后期维护上受到诸多限制。
发明内容
为了解决上述技术问题,本发明提供了一种分布式实时数据IOT采集系统及方法,支持多种类型数据源获取数据和流向,具有极高的安全可靠性和资料恢复能力。
本发明具体技术方案如下:
本发明一方面提供了一种分布式实时数据IOT采集系统,所述系统至少包括
数据源采样接口模块,配置为根据接入数据的目标测点的数据情况,设置对应的参数类型,并依据其前置通信规约类型选择通信规约库中相应的数据源通道,接收一种或多种不同类型的数据源;还配置为监视数据通道的通信过程,将监视结果反馈给数据管理中心模块;
其中,所述数据源采样接口模块包括通信操作单元和通信规约单元,所述通信操作单元配置为与各目标测点通信设备的数据帧的接收和发送,以及对各通信设备的通讯接口的监听;所述通信规约单元配置为将通信操作单元接收到的不同类型数据源配合其通信规约库的规约进行规约解释;
数据管理中心模块,配置为接入所述数据源采样接口模块获取的数据,存入其内置数据库中;还配置为对接入所述数据源采样接口模块的各测点通信状态、采样频率、数据质量的管理;
数据发布模块,用于根据不同的数据规约,选择相应的发布器类型,将数据管理中心模块中的数据发布到外部数据库或外部系统;以及
访问接口模块,提供与外部应用模块可访问的通信接口。
进一步地,所述数据源采样接口模块还包括有端口参数设置单元,配置为通过设置包括数据读取速率、读取线程数和压缩率、丢弃缓存大小的参数数值,匹配自定义效率且可控的数据读取方式。
进一步地,数据源采样接口模块还包括有数据库驱动单元,其配置为配合所述数据源采样接口模块的采样动作快速对测点的数据库作数据抽取和转换;
其中所述数据库包括关系型数据库、非关系型数据库和实时数据库。
进一步地,所述数据源采样接口模块还包括离线数据人工导入单元,其通过配置读取csv格式的离线数据文件,批量导入离线数据文件。
进一步地,所述系统还包括与所述访问接口模块连接的人工交互UI模块,其建立并管理采集系统的操作界面,为用户提供可视化的web界面展示并进行包括协议接入、测点配置、数据发布、数据质量、数据检索、数据导入导出、质量报告、安全认证的交互操作。
进一步地,所述系统还包括与所述数据管理中心模块相连接的事件检测模块,配置为对接入的测点建立对应的事件检测器,当测点的数据触发用户设置的条件时,系统会显示对应的事件通知,并根据用户对事件类型选择通过邮件或短信通知用户。具体的,所述事件检测模块包括事件检测单元和报警单元;
所述事件检测单元配置为对接入的测点建立检测数据状态和质量的对应的事件检测器,用于在接入测点的数据触发用户设置的条件时,显示对应的事件通知,并根据用户对事件类型选择通过邮件或短信通知用户;
所述报警单元配置对数据源和发布器建立故障事件的报警器,用于在数据源或发布器的状态触发设置的警报条件时,对故障事件进行不同等级的标识,并根据用户对事件类型选择通过邮件或短信通知用户。
再进一步的,所述系统还包括报表报告模块,所述报表报告模块包括报表单元和报告单元;所述报表单元配置对某段时间的单个或多个测点的状态和质量进行统计并生成excel报表,供用户导出分析,并设置邮件形式发送报表;所述报告单元配置为对某段时间的单个或多个测点的告警事件或所有事件生成报告,并设置邮件形式发送报表。
本发明另一方面提供了一种分布式实时数据IOT采集方法,所述方法包括下述步骤:
S10、接收用户发送的目标测点采集请求数据,并将采集请求数据同步到数据源采样接口模块;
S20、根据接入数据的目标测点的数据情况,设置对应端口的参数类型,进行通信操作,同时监视数据通道的通信过程;具体包括下述步骤:
S21、选择规约:获取目标测点的物理连接通道类型,数据源采样接口模块依据该通道类型分析选择其前置通信规约库中相应的数据源通道,接收一种或多种不同类型的数据源;
S22、设置参数:根据接入数据的目标测点的数据情况,设置包括数据读取速率、读取线程数和压缩率、丢弃缓存大小的参数数值,匹配自定义效率且可控的数据读取方式;
S23、发送用户采集请求至目标测点;
S24、系统根据规约类型及设置的参数,进行数据采集;
S30、数据源采样接口模块将获取的数据源接入至数据管理中心模块,存入其内置数据库中;
S40、数据发布模块接入数据管理中心模块中待发布数据的数据源,并根据数据源通道类型选择相应的发布器类型,将数据发布到外部数据库或外部系统。
在一些改进的技术方案中,所述步骤S40具体包括下述步骤:
S41、选择规约:获取采集输入接口接入的物理连接通道类型,并依据该通道类型选择其通信规约库中相应的数据源通道;
S42、设置参数:根据采集数据的数据情况,设置包括数据读取速率、读取线程数和压缩率、丢弃缓存大小的参数数值,匹配自定义效率且可控的数据读取方式;
S43、发送用户发布请求至数据发布模块;
S44、数据发布模块根据规约类型及设置的参数,进行数据发布。
进一步的改进中,步骤S2还包括在进行通信操作时,获取目标测点的数据库文件类型,数据源采样接口模块依据该数据库文件类型选择相应的数据库驱动程序,通过该驱动的接口对数据库文件做数据抽取和转换,获取数据源。
再进一步的改进中,所述步骤S2中还包括在进行通信操作时,数据源采样接口模块定时通过其内置的读取文件模单元或者csv文件单元获取放在指定位置的离线数据文件;或者,数据源采样接口模块通过内置FTP协议定时获取FTP服务器的离线数据文件。
进一步的,本发明方法还包括事件检测、报警处理,具体包括:当接入测点的数据触发用户设置的条件时,事件检测单元会显示对应的事件通知,并根据用户对事件类型选择通过邮件或短信通知用户;
当数据源和发布器状态触发用户设置的警报条件时,报警单元对故障事件进行不同等级的标识报警,并通过邮件或短信通知用户。
本发明的有益效果如下:本发明提供的分布式实时数据IOT采集方法通过前置通信服务支持多种通信规约,便于与不同厂家、不同类型的检测设备进行通信来获取监测实时数据,在现场接入过程中,不需要安装任何额外的驱动或软件,开箱即用。该系统还通过被动接收和主动拉取方式使得其对连接的生产过程数据能保持连续,不会因为通讯故障等原因而导致数据的中断或丢失。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可根据这些附图获得其他的附图。
图1为本发明所述分布式实时数据IOT采集系统的一种实施方式的结构图;
图2为本发明所述分布式实时数据IOT采集系统的又一种实施方式的结构图;
图3为本发明所述分布式实时数据IOT采集系统的一种实施方式的采集流程图;
图4为本发明所述分布式实时数据IOT采集方法的一种实施方式的步骤示意图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本申请进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
实施例
本发明分布式实时数据IOT采集系统是一种集成了数据采集和数据发布、数据访问接口以及管理UI的平台,图1示出了本发明分布式实时数据IOT采集系统的一种实施方式,所述系统包括数据源采样接口模块1、数据管理中心模块2、数据发布模块3以及访问接口模块4。
所述数据源采样接口模块1配置为根据接入数据的目标测点的数据情况,设置对应的参数类型,并依据其前置通信规约类型选择通信规约库中相应的数据源通道,接收一种或多种不同类型的数据源;还配置为监视数据通道的通信过程,将监视结果反馈给数据管理中心模块2。
在具体的实施方案中,数据源采样接口模块1包括通信操作单元10和通信规约单元11。通信操作单元10配置为与各目标测点通信设备的数据帧的接收和发送,以及对各通信设备的通讯接口的监听。例如针对目前发电厂常用的实时数据通信物理接口:RS-232兼容串行接口和通过以太网结合TCP/IP协议的数据网通道的方式,该通信操作单元分别采用COM组件和SOCKET组件来实现串口通讯与网络通讯。由于通讯单元10需要涉及到多个通讯口的监视,其采用多线程的技术,同时进行多路通信。
通信规约单元11配置为将通信操作单元10接收到的不同类型数据源配合其通信规约库的规约进行规约解释。通信规约单元11作为数据和信息传递载体的通信规约对各种通信规约的传输报文进行分析并匹配相应的通信规约。
所述通信规约单元10内置有多重标准的数据通信规约,便于与不同厂家、不同类型的检测设备进行通信来获取监测实时数据。例如支持的数据通信设备协议包括:IEC101规约、IEC 104规约、Modbus、OPC-DA、SNMP、M Bus、CSV、BACnet、DNP3、HTTP、MQTT、PakBus、TCP/IP等等;在现场接入过程中,不需要安装任何额外的驱动或软件,开箱即用。
数据管理中心模块2配置为接入所述数据源采样接口模块1获取的数据,存入其内置数据库中;还配置为对接入所述数据源采样接口模块1的各测点、通信状态、采样频率、数据质量的管理。
数据发布模块3用于根据不同的数据规约,选择相应的发布器类型,将数据管理中心模块2中的数据发布到外部数据库或外部系统。
所述数据发布模块3建立包括下述的发布通道:KDM通道、HTTP通道、Modbus通道、104通道以及跨隔离,用户选择相应的发布器类型,并设置对应的参数,比如IP、端口、更新频率、丢弃缓存大小等,将数据发布至数据库或系统。
基于数据发布模块3,用户不仅可以通过属性模板对数据点的单位、最值、绘图类型、日志属性、监测器属性以及数据清除设置等参数进行批量化配置,还可以对其进行单独具体的特殊配置。对于发布模块而言,每种不同的发布通道具体的参数设置有所不同,除了通用设置之外,也有一些特殊设置。如果是用户自定义开发的数据发布通道,还可以设置更丰富的配置选项。此外,除了所述系统已经集成的多种数据源和发布器,用户还可以按照设定的规范自定义开发数据源和发布器插件,这些插件利用多线程、事件发布订阅机制可以保证这些不同的插件同时存在互不干扰。
本发明所述数据发布模块3高度可配置,其具有数据丢失容错和保证交付,低延迟和高吞吐量,支持10万点同步发布,动态优先级可定义,可以在运行时修改数据流向及数据发布集合。并且支持多种类型数据源获取数据和流向,从始至终跟踪数据流。
访问接口模块4则提供与外部应用模块的通信接口。
图2所示,本发明采集系统在一些实施例中,所述数据源采样接口模块1能做到高效可控的数据提取,其还包括端口参数设置单元12,其通过设置包括数据读取速率、读取线程数和压缩率、丢弃缓存大小的参数数值,匹配自定义效率且可控的数据读取方式。例如设置的参数类型:通信IP、端口、数据库信息、服务端客户端信息、数据类型、通信序列号、数据读取速率、波特率、校验、回显、超时、密钥、是否压缩等一系列参数,能做到高效可控的数据读取,并监视数据的通信过程。
再一些示例中,所述数据源采样接口模块1还包括有数据库驱动单元13,其配置为配合所述数据源采样接口模块1的采样动作快速对测点的数据库作数据抽取和转换;需要说明的是,该处所述数据转换是指根据实际需要对数据做一些处理,例如通过计算将多个测点进行运算获得一个数据,将几个测点的数据进行平均、求和、取大值或者乘以某个系数得到需要的数据;或者对数据进行合并或拆分,如常见的波形数据,对于取到的波形数据包,进行拆分,从而将其丰富的信息分类展示。
其内置的数据库驱动,包括如SQLSerevr、Oracle等关系型数据库,NoSQL非关系型数据库,和实时数据库,通过对应数据库驱动程序的接口连接目标测点所对应的数据库,获取其数据库文件。
而再一些示例中,本发明采集系统支持读取离线数据,主要针对部分无法在线获取的数据,如现场巡检数据、定期离线测试数据,提供离线数据人工导入接口软件和离线数据人工输入接口软件,以实现对离线数据的获取。具体实施方法为数据源采样接口模块1还包括离线数据人工导入单元14,其通过配置读取文件单元或csv文件单元获取放在指定位置的离线数据文件,定时获取该离线数据文件;或者通过内置FTP协议定时获取FTP服务器的离线数据文件,通过FTP服务器,系统平台定时获取这些文件数据,并导入平台中,实现对离线数据的获取。
本发明采集系统又一些改进的示例中提供可视化的web界面,通过界面操作,该采集系统实现轻松配置,无缝体验设计、控制、反馈和监控。具体的,所述系统还包括与所述访问接口模块4连接的人工交互UI模块5,其建立并管理采集系统的web操作界面,对用户操作进行可视化展示。用户使用浏览器便可操作所有功能,包括协议接入、测点配置、数据质量、数据检索、质量报告、安全认证等。在具体的应用中,界面使用HTML5开发,无需安装任何插件,即可自动适配移动端。本发明系统可视化操作界面可以展示本发明系统的各个模块和接口。如可视化的数据接入界面,在该界面可选择相应的数据源类型,然后配置对应的数据源参数,包括数据源基本信息(名称、输出编号、IP、端口、数据库用户名和密码、更新频率等)、事件告警等级、数据清除设置等。不同类型的数据源配置参数各有不同,按照实际需要设置即可。对于每个数据源也可以进行编辑、启动\停止、删除、导出等操作。又如可视化的数据发布界面,与数据源类似,先选择发布器类型,然后配置对应的发布器参数,包括发布器基本信息(名称、输出编号、IP、端口、数据库用户名和密码等)、事件告警等级、数据清除设置等。不同类型的发布器配置参数各有不同,按照实际需要设置即可。对于每个发布器也可以进行编辑、启动\停止、删除、导出等操作。再如可视化的测点配置界面,对于每个测点,可以设置其基本信息(名称、设备、输出编号、读取权限、数据类型、最大值和最小值、起始值等)、属性模板、点属性(单位、图表颜色、统计类型、绘图类型、有效值范围、最大有效值、最小有效值等)、日志属性(类型、间隔、高阈值、低阈值、缓存大小、清除设置等)、数据清除设置、事件检测器类型。
本发明采集系统的一些示例,图2所示,还包括与所述数据管理中心模块2相连接的事件检测模块6,配置为对接入的测点建立对应的事件检测器和报警器,当测点的数据触发用户设置的条件时,即产生相应事件,系统会显示对应的事件通知,形成报告,并根据用户对事件类型选择通过邮件或短信通知用户;而用户也可手动从平台里下载报告,从而及时发现测点质量问题。具体一些示例中,所述事件检测模块6包括事件检测单元60和报警单元61;事件检测单元60配置为对接入的测点建立检测数据状态和质量的对应的事件检测器,用于在接入测点的数据触发用户设置的条件时,显示对应的事件通知,并根据用户对事件类型选择通过邮件或短信通知用户;其中,所述事件检测器的类型包括最大值越限检测、最小值越限检测、状态变化检测、数据无变化检测、数据无更新检测、数据变化次数检测、平滑度检测。报警单元61配置对数据源和发布器建立故障事件的报警器,用于在数据源或发布器的状态触发设置的警报条件时,对故障事件进行不同等级的标识,并根据用户对事件类型选择通过邮件或短信通知用户;具体可以设置以下报警事件:点设备读取异常、数据源异常、数据查询中止等。对于发布器而言,可以设置以下报警事件:连接失败、连接丢失、协议错误、数据队列超过范围、数据同步失败、数据点禁用等。并且可以为每种类型的事件设置报警等级,包括紧急、重要、警告、严重、危险、信息、临时、忽略等,不同等级会有相应标识。
再一些示例中,图2所示,所述系统还包括报表报告模块7,所述报表报告模块7包括报表单元70和报告单元71;所述报表单元70配置对某段时间的单个或多个测点的状态和质量进行统计并生成excel报表,供用户导出分析,并设置邮件形式发送报表;该报表单元70可以统计测点的总和、平均值、最大值、最小值、个数、第一个、最后一个等;用户可以设定时间表达式,达到定时统计的目的。所述报告单元71配置为对某段时间的单个或多个测点的告警事件或所有事件生成报告,并设置邮件形式发送报表;用户可设定时间表达式,达到定时统计的目的。
本发明分布式实时数据IOT采集系统通过前置通信服务连接一种或多种不同数据源,不收前端设备类型和厂家的限制,克服现有的数据源接入受限的缺陷;其面向计算机网络上的用户和应用程序提供从电厂各测点(控制系统,如DCS、化水程控、输煤程控、灰渣控制系统、燃油程控及凝结水处理控制系统等等)中采集生产过程实时数据和生产过程分析数据,使得用户可以随时监控生产过程;并以高效处理的方式对大量的实时数据进行压缩,长期保存。本发明分布式实时数据IOT采集系统采用那模块化组件设计,支持构建自己的数据处理器和更多组件支持快速开发和有效的测试。
基于本发明采集系统,图3给出其采集流程示意图,其数据中心即数据管理中心模块2,该数据中心可实现测点管理、数据质量管理、模块管理和统计管理。而进一步说明采集流程的具体方式,下述示出了对该系统所采用的采集方法提供了具体的一种实施方式,如图4所示,所述方法包括下述步骤:
S10、接收用户发送的目标测点采集请求数据,并将采集请求数据同步到数据源采样接口模块1;
S20、根据接入数据的目标测点的数据情况,设置对应端口的参数类型,进行通信操作,同时监视数据通道的通信过程;具体包括下述步骤:
S21、选择规约:获取目标测点的物理连接通道类型,数据源采样接口模块1依据该通道类型分析选择其前置通信规约库中相应的数据源通道,接收一种或多种不同类型的数据源;
S22、设置参数:根据接入数据的目标测点的数据情况,设置包括数据读取速率、读取线程数和压缩率、丢弃缓存大小的参数数值,匹配自定义效率且可控的数据读取方式;
S23、发送用户采集请求至目标测点;
S24、系统根据规约类型及设置的参数,进行数据采集;
S30、数据源采样接口模块1将获取的数据源接入至数据管理中心模块2,存入其内置数据库中;
S40、数据发布模块3接入数据管理中心模块2中待发布数据的数据源,并根据数据源通道类型选择相应的发布器类型,将数据发布到外部数据库或外部系统。
在一具体示例中,数据发布方法与数据采集方法相似,所述步骤S40具体包括下述步骤:
S41、选择规约:获取采集输入接口接入的物理连接通道类型,并依据该通道类型选择其通信规约库中相应的数据源通道;
S42、设置参数:根据采集数据的数据情况,设置包括数据读取速率、读取线程数和压缩率、丢弃缓存大小的参数数值,匹配自定义效率且可控的数据读取方式;
S43、发送用户发布请求至数据发布模块3;
S44、数据发布模块3根据规约类型及设置的参数,进行数据发布。
在一些改进示例中,所述方法还包括:系统对接入的目标测点建立对应的事件检测器和报警器;对应事件检测方法:当接入测点的数据触发用户设置的条件时,事件检测单元70会显示对应的事件通知,并根据用户对事件类型选择通过邮件或短信通知用户;对应报警方法:当数据源和发布器状态触发用户设置的警报条件时,报警单元71对故障事件进行不同等级的标识报警,并通过邮件或短信通知用户。
本发明的采集方法中,数据源采样接口模块1还通过被动接收和主动拉取方式获取数据源。例如,在一些示例中,所述步骤S2还包括在进行通信操作时,获取目标测点的数据库文件类型,数据源采样接口模块1依据该数据库文件类型选择相应的数据库驱动程序,通过该驱动的接口对数据库文件做数据抽取和转换,获取数据源。
又一些示例中,所述步骤S2中还包括在进行通信操作时,数据源采样接口模块1定时通过其内置的读取文件模单元或者csv文件单元获取放在指定位置的离线数据文件;或者,数据源采样接口模块1通过内置FTP协议定时获取FTP服务器的离线数据文件。
以上所述实施例仅表达了本发明的若干种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种分布式实时数据IOT采集系统,其特征在于,所述系统至少包括
数据源采样接口模块(1),配置为根据接入数据的目标测点的数据情况,设置对应的参数类型,并依据其前置通信规约类型选择通信规约库中相应的数据源通道,接收一种或多种不同类型的数据源;
还配置为监视数据通道的通信过程,将监视结果反馈给数据管理中心模块(2);
其中,所述数据源采样接口模块(1)包括通信操作单元(10)和通信规约单元(11),所述通信操作单元(10)配置为与各目标测点通信设备的数据帧的接收和发送,以及对各通讯设备的通讯接口的监听;所述通信规约单元(11)配置为将系统接收到的不同类型数据配合其通信规约库的规约进行规约解释;
数据管理中心模块(2),配置为接入所述数据源采样接口模块(1)获取的数据,存入其内置数据库中;还配置为对接入所述数据源采样接口模块(1)的各测点、通信状态、采样频率、数据质量的管理;
数据发布模块(3),用于根据不同的数据规约,选择相应的发布器类型,将数据管理中心模块(2)中的数据发布到外部数据库或外部系统;以及
访问接口模块(4),提供外部应用模块可访问的通信接口。
2.如权利要求1所述的分布式实时数据IOT采集系统,其特征在于,所述数据源采样接口模块(1)还包括
端口参数设置单元(12),配置为通过设置包括数据读取速率、读取线程数和压缩率、丢弃缓存大小的参数数值,匹配自定义效率且可控的数据读取方式;
数据库驱动单元(13),其配置为配合所述数据源采样接口模块(1)的采样动作快速对测点的数据库作数据抽取和转换;其中所述数据库包括关系型数据库、非关系型数据库和实时数据库;以及
离线数据人工导入单元(14),其通过配置读取csv格式的离线数据文件,批量导入离线数据文件。
3.如权利要求1所述的分布式实时数据IOT采集系统,其特征在于,所述系统还包括与所述访问接口模块(4)连接的人工交互UI模块(5),其建立并管理采集系统的操作界面,为用户提供可视化的web界面展示并进行包括协议接入、测点配置、数据发布、数据质量、数据检索、数据导入导出、质量报告、安全认证的交互操作。
4.如权利要求1所述的分布式实时数据IOT采集系统,其特征在于,所述系统还包括与所述数据管理中心模块(2)相连接的事件检测模块(6),所述事件检测模块(6)包括事件检测单元(60)和报警单元(61);
所述事件检测单元(60)配置为对接入的测点建立检测数据状态和质量的对应的事件检测器,用于在接入测点的数据触发用户设置的条件时,显示对应的事件通知,并根据用户对事件类型选择通过邮件或短信通知用户;
所述报警单元(61)配置对数据源和发布器建立故障事件的报警器,用于在数据源或发布器的状态触发设置的警报条件时,对故障事件进行不同等级的标识,并根据用户对事件类型选择通过邮件或短信通知用户。
5.如权利要求1所述的分布式实时数据IOT采集系统,其特征在于,所述系统还包括报表报告模块(7),所述报表报告模块(7)包括报表单元(70)和报告单元(71);所述报表单元(70)配置对某段时间的单个或多个测点的状态和质量进行统计并生成excel报表,供用户导出分析,并设置邮件形式发送报表;所述报告单元(71)配置为对某段时间的单个或多个测点的告警事件或所有事件生成报告,并设置邮件形式发送报表。
6.如权利要求1所述的分布式实时数据IOT采集系统,其特征在于,所述通信规约模块(11)中的数据通信规约包括:IEC101规约、IEC104规约、Modbus、OPC-DA、SNMP、M Bus、CSV、BACnet、DNP3、HTTP、MQTT、PakBus、TCP/IP;
所述数据发布模块(3)建立包括下述的发布通道:KDM通道、HTTP通道、Modbus通道、104通道以及跨隔离。
7.一种分布式实时数据IOT采集方法,其特征在于,所述方法包括下述步骤:
S10、接收用户发送的目标测点采集请求数据,并将采集请求数据同步到数据源采样接口模块(1);
S20、根据接入数据的目标测点的数据情况,设置对应端口的参数类型,进行通信操作,同时监视数据通道的通信过程;具体包括下述步骤:
S21、选择规约:获取目标测点的物理连接通道类型,数据源采样接口模块(1)依据该通道类型分析选择其前置通信规约库中相应的数据源通道,接收一种或多种不同类型的数据源;
S22、设置参数:根据接入数据的目标测点的数据情况,设置包括数据读取速率、读取线程数和压缩率、丢弃缓存大小的参数数值,匹配自定义效率且可控的数据读取方式;
S23、发送用户采集请求至目标测点;
S24、系统根据规约类型及设置的参数,进行数据采集;
S30、数据源采样接口模块(1)将获取的数据源接入至数据管理中心模块(2),存入其内置数据库中;
S40、数据发布模块(3)接入数据管理中心模块(2)中待发布数据的数据源,并根据数据源通道类型选择相应的发布器类型,将数据发布到外部数据库或外部系统。
8.如权利要求7所述的分布式实时数据IOT采集方法,其特征在于,所述步骤S40具体包括下述步骤:
S41、选择规约:获取采集输入接口接入的物理连接通道类型,并依据该通道类型选择其通信规约库中相应的数据源通道;
S42、设置参数:根据采集数据的数据情况,设置包括数据读取速率、读取线程数和压缩率、丢弃缓存大小的参数数值,匹配自定义效率且可控的数据读取方式;
S43、发送用户发布请求至数据发布模块(3);
S44、数据发布模块(3)根据规约类型及设置的参数,进行数据发布。
9.如权利要求7所述的分布式实时数据IOT采集方法,其特征在于,所述步骤S2还包括在进行通信操作时,获取目标测点的数据库文件类型,数据源采样接口模块(1)依据该数据库文件类型选择相应的数据库驱动程序,通过该驱动的接口对数据库文件做数据抽取和转换,获取数据源;
所述步骤S2中还包括在进行通信操作时,数据源采样接口模块(1)定时通过其内置的读取文件模单元或者csv文件单元获取放在指定位置的离线数据文件;或者,数据源采样接口模块(1)通过内置FTP协议定时获取FTP服务器的离线数据文件。
10.如权利要求7所述的分布式实时数据IOT采集方法,其特征在于,所述方法还包括:当接入测点的数据触发用户设置的条件时,事件检测单元(70)会显示对应的事件通知,并根据用户对事件类型选择通过邮件或短信通知用户;
当数据源和发布器状态触发用户设置的警报条件时,报警单元(71)对故障事件进行不同等级的标识报警,并通过邮件或短信通知用户。
CN201811038818.7A 2018-09-06 2018-09-06 分布式实时数据iot采集系统及方法 Active CN109067618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811038818.7A CN109067618B (zh) 2018-09-06 2018-09-06 分布式实时数据iot采集系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811038818.7A CN109067618B (zh) 2018-09-06 2018-09-06 分布式实时数据iot采集系统及方法

Publications (2)

Publication Number Publication Date
CN109067618A true CN109067618A (zh) 2018-12-21
CN109067618B CN109067618B (zh) 2021-01-19

Family

ID=64759952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811038818.7A Active CN109067618B (zh) 2018-09-06 2018-09-06 分布式实时数据iot采集系统及方法

Country Status (1)

Country Link
CN (1) CN109067618B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710449A (zh) * 2019-01-10 2019-05-03 福州芝麻智能科技有限公司 一种脚本语言基本数据类型支持无效值运算的方法和系统
CN110113257A (zh) * 2019-05-14 2019-08-09 北京京投亿雅捷交通科技有限公司 一种基于大数据的统一数据接入网关及实现方法
CN110460822A (zh) * 2019-09-12 2019-11-15 北京简元科技有限公司 一种分布式图像回显处理系统
CN111857534A (zh) * 2019-04-24 2020-10-30 北京嘀嘀无限科技发展有限公司 一种数据传输方法、数据存储服务器及数据存储系统
CN111953733A (zh) * 2020-07-14 2020-11-17 许昌许继软件技术有限公司 一种基于mqtt协议的配电物联系统
WO2020232639A1 (zh) * 2019-05-21 2020-11-26 西门子股份公司 配置参数的方法、装置、系统、计算设备、介质以及产品
CN112231190A (zh) * 2020-09-27 2021-01-15 广州点云科技有限公司 一种Windows性能数据收集与管理装置、系统及方法
CN112985491A (zh) * 2019-12-13 2021-06-18 南京品尼科自动化有限公司 一种动力环境监控一体机
CN113590626A (zh) * 2021-08-03 2021-11-02 中铁工程装备集团有限公司 隧道掘进装备多源异构数据采集系统及方法
CN113656370A (zh) * 2021-08-16 2021-11-16 南方电网数字电网研究院有限公司 电力量测系统数据处理方法、装置和计算机设备
CN113992437A (zh) * 2021-12-27 2022-01-28 广州得一物联科技有限公司 一种Modbus设备的访问控制管理方法、装置及系统
CN114584593A (zh) * 2022-03-28 2022-06-03 中国电子科技集团公司第三十八研究所 一种基于集群状态感知的数据采集系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050080799A1 (en) * 1999-06-01 2005-04-14 Abb Flexible Automaton, Inc. Real-time information collection and distribution system for robots and electronically controlled machines
CN101216984A (zh) * 2008-01-02 2008-07-09 江苏省电力公司 电能信息采集一体化平台
CN101794320A (zh) * 2010-02-11 2010-08-04 江苏方天电力技术有限公司 智能信号采集方法
CN103036736A (zh) * 2012-11-30 2013-04-10 航天恒星科技有限公司 一种基于数据源的组态化设备监控系统及方法
CN104167817A (zh) * 2014-08-20 2014-11-26 深圳供电局有限公司 一种电力设备实时信息集成的系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050080799A1 (en) * 1999-06-01 2005-04-14 Abb Flexible Automaton, Inc. Real-time information collection and distribution system for robots and electronically controlled machines
CN101216984A (zh) * 2008-01-02 2008-07-09 江苏省电力公司 电能信息采集一体化平台
CN101794320A (zh) * 2010-02-11 2010-08-04 江苏方天电力技术有限公司 智能信号采集方法
CN103036736A (zh) * 2012-11-30 2013-04-10 航天恒星科技有限公司 一种基于数据源的组态化设备监控系统及方法
CN104167817A (zh) * 2014-08-20 2014-11-26 深圳供电局有限公司 一种电力设备实时信息集成的系统及方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710449A (zh) * 2019-01-10 2019-05-03 福州芝麻智能科技有限公司 一种脚本语言基本数据类型支持无效值运算的方法和系统
CN111857534A (zh) * 2019-04-24 2020-10-30 北京嘀嘀无限科技发展有限公司 一种数据传输方法、数据存储服务器及数据存储系统
CN110113257A (zh) * 2019-05-14 2019-08-09 北京京投亿雅捷交通科技有限公司 一种基于大数据的统一数据接入网关及实现方法
CN110113257B (zh) * 2019-05-14 2021-06-08 北京京投亿雅捷交通科技有限公司 一种基于大数据的统一数据接入网关及实现方法
WO2020232639A1 (zh) * 2019-05-21 2020-11-26 西门子股份公司 配置参数的方法、装置、系统、计算设备、介质以及产品
US11991252B2 (en) 2019-05-21 2024-05-21 Siemens Aktiengesellschaft Methods, devices, systems, and non-transitory machine-readable storage mediums for configuring parameter sampling of devices
CN110460822A (zh) * 2019-09-12 2019-11-15 北京简元科技有限公司 一种分布式图像回显处理系统
CN112985491A (zh) * 2019-12-13 2021-06-18 南京品尼科自动化有限公司 一种动力环境监控一体机
CN111953733A (zh) * 2020-07-14 2020-11-17 许昌许继软件技术有限公司 一种基于mqtt协议的配电物联系统
CN112231190A (zh) * 2020-09-27 2021-01-15 广州点云科技有限公司 一种Windows性能数据收集与管理装置、系统及方法
CN113590626A (zh) * 2021-08-03 2021-11-02 中铁工程装备集团有限公司 隧道掘进装备多源异构数据采集系统及方法
CN113656370A (zh) * 2021-08-16 2021-11-16 南方电网数字电网研究院有限公司 电力量测系统数据处理方法、装置和计算机设备
CN113656370B (zh) * 2021-08-16 2024-04-30 南方电网数字电网集团有限公司 电力量测系统数据处理方法、装置和计算机设备
CN113992437A (zh) * 2021-12-27 2022-01-28 广州得一物联科技有限公司 一种Modbus设备的访问控制管理方法、装置及系统
CN113992437B (zh) * 2021-12-27 2022-04-19 广州得一物联科技有限公司 一种Modbus设备的访问控制管理方法、装置及系统
CN114584593A (zh) * 2022-03-28 2022-06-03 中国电子科技集团公司第三十八研究所 一种基于集群状态感知的数据采集系统及方法

Also Published As

Publication number Publication date
CN109067618B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN109067618A (zh) 分布式实时数据iot采集系统及方法
CN108896868A (zh) 一种即用式在线监测实现系统及方法
CN109040261A (zh) 一种智能冰箱的物联网管理平台和管理方法
CN101631053B (zh) Eaps环网拓扑监控方法及系统
CN105119950B (zh) 一种配电网通信方法
CN101197715B (zh) 一种移动数据业务状态的安全集中采集方法
CN109918936A (zh) 基于b/s架构的分布式配电网运维方法和系统
CN103973815A (zh) 一种跨数据中心存储环境统一监控方法
CN103051055A (zh) 一种汇聚控制器
CN104168459A (zh) 一种远程监管系统
CN112132538A (zh) 一种基于NB-IoT的光伏发电管理系统
CN109495290A (zh) 一种运维系统主子站交互方法和系统
CN110320853A (zh) 一种plc数据采集分析方法及系统
CN103813141A (zh) 基于流媒体的视频综合监控系统和监控方法
CN101197714B (zh) 一种移动数据业务状态集中采集的方法
CN105629103A (zh) 一种基于变电站运维网关机的在线监测方法
CN202661863U (zh) 一种可靠性试验远程监控系统
CN114630201A (zh) 数据机房的运维控制系统和方法
CN109753009A (zh) 一种液位监测数据在线管理系统
CN115409643A (zh) 一种电力设施数字孪生运行监测系统
CN116405520A (zh) 互联互通智能处理服务系统及方法
CN101140463A (zh) 一种软性电子印刷线路板压合机计算机网络监控系统
CN106953755B (zh) 一种能源监测方法及系统
CN102621963A (zh) 基于客户端的生产监控系统
CN106330622B (zh) 一种数据捕捉方法、装置及通信网关机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant