CN116132317A - 工业互联网数据采集分析及可视化一体系统及其部署方法 - Google Patents

Abstract

本发明公开了一种工业互联网数据采集分析及可视化一体系统及其部署方法，系统包括ETL数据采集组件、工业数据大仓库、数据可视化组件、大数据分析组件、通用消息中间件和设备告警管理组件；ETL数据采集组件对IT资源和OT资源进行数据指标采集和推送；工业数据大仓库接收并持久化ETL数据采集组件上传的数据；数据可视化组件实时动态展示工业数据；大数据分析组件对工业数据进行实时预测分析；通用消息中间件存储ETL数据采集组件实时采集的工业设备数据，供工业数据大仓库中的数据库使用；设备告警管理组件实现及时通知预警功能。本发明适用于中小企业监控工业设备状态并可视化，节约了企业用人和运维成本，提高了生产效率。

Description

工业互联网数据采集分析及可视化一体系统及其部署方法

技术领域

本发明涉及工业互联网数据处理及可视化技术领域，特别是一种工业互联网数据采集分析及可视化一体系统及其部署方法。

背景技术

伴随云计算、大数据、人工智能和物联网等高新技术的不断发展，我国制造业正在逐渐从传统的工业制造技术为主、信息管理技术为辅的运行模式，走向信息技术和制造技术深度融合、工业应用和高新技术相辅相成的转型之路。

工业互联网将作为全新的工业生态、新型的应用模式和产学研一体路线，在物联网的基础之上，运用全新的信息通信技术连接各个工业站点，部署工业上下游全产业链的通信网络，通过人、终端、工业设备的全面互联，实现海量工业数据的实时采集、定点传输、信息反馈和可视化展示，从而简化设备管理，节省人力物力，并能结合数据分析制定科学决策、设置警戒阈值触发设备预警。工业互联网是我国制造业走向数字化升级，高质量发展的重要途径。虽然工业互联网是制造业走向智能化转型升级的趋势，但在我国工业互联网产业仍然有落地难、中小企业秉持观望态度等问题，极大阻碍我国工业互联网的发展进程。

由于工业互联网转型成本压力较大，而更多的中小企业首要问题仍旧是生存问题，引进高新技术结合工业生产将提高中小企业的运营成本，压缩中小企业的生存空间。跟进“门槛高”的工业互联网的蓝海市场，实现数字化、智能化改造不仅短期投入大于回报，而且周期长，抑制了企业投入的积极性。即使国家为推动工业互联网，颁布了许多优惠政策助力企业转型，但企业仍需先行承担成本费用，中小企业更有融资困难问题，在转型成本压力趋势下，不愿意在设备数字化改造以及上云上平台方面增加投入，而更愿意投入到供应链和产品技术升级上。

中小企业更在意设备数据的处理。相较于大企业的技术完备，管理完善，中小企业普遍缺乏完善的从设备数据采集、数据存储到数据分析、数据展示的整套技术栈。中小企业拥有自家设备数据却无法有效管理，设备运行监测还需要现场人员执行，设备参数太多而缺乏可视化手段，它们更需要一整套的建立在工业设备种类多、工业数据流量大、工业资源可视化的资源监控系统。

工业互联网所带来的制造业企业数字化、智能化产业升级的趋势不可避免，因此实现一套既能满足企业对工业设备数据的采集和监控的系统，能够节约成本，又能基于时序数据库进行大数据分析预测，协助企业决策的系统，对促进我国工业互联网的发展，解决中小企业资源监控手段的匮乏问题具有重要的研究意义。

发明内容

本发明的目的在于提供一种适用于中小企业工业设备状态的可视化监控，能够存储海量工业数据并实时进行数据分析的场景，节约中小企业用人和运维成本，提高生产效率的数据采集分析系统。

实现本发明目的的技术解决方案为：一种工业互联网数据采集分析及可视化一体系统，包括ETL数据采集组件、工业数据大仓库、数据可视化组件、大数据分析组件、通用消息中间件和设备告警管理组件：

所述ETL数据采集组件，用于对不同工业场景下的IT资源和OT资源，进行数据指标实时采集和关键数据实时推送；

所述工业数据大仓库，用于接收并持久化ETL数据采集组件上传的数据，并提供外部访问接口和远程写入功能；

所述数据可视化组件，用于自定义仪表盘，实时动态展示工业数据；

所述大数据分析组件，用于搭载机器学习算法，对工业数据进行实时预测分析；

所述通用消息中间件，用于存储ETL数据采集组件实时采集的工业设备数据，供工业数据大仓库中的数据库使用；

所述设备告警管理组件，用于依据告警规则并结合预测分析结果，实现及时通知预警功能。

进一步地，所述的不同工业场景是指：多种多量的工业设备以及海量时序的工业数据的应用场景，工业设备包括仓储物流、工程机械、离散制造、流程化工。

进一步地，所述ETL数据采集组件，是大数据实时采集工具，支持将所需数据从数据源抽取出来，进行清洗加工和格式转换，再加载到已定义的数据仓库模型中；所述的ETL数据采集组件支持对IT资源和OT资源的实时数据采集，通过ETL组件主动推送给工业数据大仓库，或者主动暴露数据指标端口，由工业数据大仓库主动拉取；

所述IT资源是主机资源，包括内存、IO读写率、网络上传下载率这些计算机内部资源；所述OT资源是设备资源，包括各类工业设备的电量、里程数、设备故障率这些重要参数。

进一步地，所述工业数据大仓库包括存储IT资源和OT资源的时序数据库，以及存储静态工业设备信息的关系型数据库；所述的工业数据大仓库对下持久化ETL数据采集组件推送的时序工业数据，对上支持部分海量工业数据远程写入通用消息中间件；同时工业数据大仓库支持数据导出和远程连接功能，为数据可视化组件提供数据源，为大数据分析组件提供稳定连接以读取数据实时分析，为设备告警管理组件提供设备告警管理相应的工业数据；所述工业数据大仓库中的各类数据库部署在一台独立的物理服务器中，或者部署在在同一局域网内的多台服务器。

进一步地，所述的工业数据大仓库中的时序数据库，根据实际工业场景需求做分布式集群管理；通过分布式部署下放数据库自治权，允许分布在不同区域、不同级别的各厂区或部门管理自身局部数据。

进一步地，所述的数据可视化组件，支持统计图表，包括表格、柱状图、折线图，并且支持以时间为横坐标的专门展示时序数据的仪表盘；支持插件安装拓展仪表盘种类；支持多类数据源安装，契合工业数据大仓库中所需的各类时序数据库或关系型数据库；提供用户管理和仪表盘权限管理模块，分公司、组织、团队创建单位，所属不同公司、组织、团队的成员无法互相查看或管理他人所属单位的可视化界面。

进一步地，所述的大数据分析组件，支持机器学习类算法，实时拉取工业数据大仓库的关键指标数据，作实时流处理，用于算法输入，支持工业数据大仓库远程连接，将分析结果远程写入工业数据大仓库作持久化；所述大数据分析组件能提供数据的有界处理和无界处理，对数据流持续不断做数据分析。

进一步地，所述的通用消息中间件，支持ETL数据采集组件的数据远程写入；ETL数据采集组件以生产者身份实时采集工业设备数据，创建主题并写入通用消息中间件；工业数据大仓库中的数据库以消费者身份订阅通用消息中间件中的指定主题并消费，不同的数据库能够针对不同主题异步消费，也能够针对同一主题重复消费。

进一步地，所述的设备告警管理组件，依据工业数据大仓库中的实时IT资源数据或OT资源数据，提前定义好告警规则，在满足告警触发阈值时通过邮件、Slack、Webhook方式及时告知管理员；设备告警管理组件支持分组通知和告警抑制。

一种工业互联网数据采集分析及可视化一体系统的部署方法，包括以下步骤：

步骤1、划分实际生产环境下厂区的监控主机、通信设备和边缘数据采集设备作为IT资源，实际数据传输设备作为OT资源；

步骤2、部署Prometheus时序数据库和TDengine时序数据库到厂区下独立的物理主机上，要求与其他IT资源和OT资源在同一局域网下，修改Prometheus的yaml配置文件，依据实际情况修改全局配置；配置TDengine所在物理机和OT资源节点的FQDN，保证能够通过主机名互相ping通，在TDengine中创建数据库和数据表存储工业数据，创建用户并赋权，用于远程连接；

步骤3、部署Consul服务发现组件到任意一台厂区局域网内的主机中，修改配置文件，将所有IT资源和OT资源节点注册进Consul中统一管理，使用Consul Web网页查看各节点的状态和内网地址，Consul提供注册节点健康检查机制，避免流量转发到有故障的服务上；

步骤4、部署NodeExporter数据采集组件到每个IT资源节点，采集关键数据指标，并主动暴露指标接口，指标接口支持HTTP协议连接，通过部署节点的地址及默认端口号访问采集到的CPU使用率、磁盘剩余空间、网络速率这些重要信息，修改Prometheus的yaml文件，配置Consul管理的NodeExporter服务；

步骤5、部署Pushgateway采集组件到任意一个IT资源节点上，负责主动推送数据指标给Prometheus，处理不同设备关键数据的汇总情况时，包括各个IT资源节点的平均CPU使用率，近一个月内存平均内存使用率；使用Pushgateway需要编写shell脚本获取所需的关键数据，将数据汇总并格式转换后，通过POST方式主动推送给Prometheus的外部访问接口，或者主动推送文件至Prometheus，文件内的每条数据指标满足Prometheus的格式规范；

步骤6、部署Telegraf和EMQX采集组件至特定OT资源节点，其中Telegraf采集使用HTTP协议传输工业数据的厂区设备，通过修改yaml配置文件，将用于数据采集的shell脚本设置为Telegraf定时执行；EMQX获取厂区内部网关使用MQTT协议传输的厂区工业数据，在EMQX中指定MQTT协议中规定的事件主题获取网关传来的工业数据，通过规则引擎自定义规则过滤关键数据指标，利用已创建的账户和密码，通过Webhook连接TDengine数据库，编写TDengine数据库操作SQL处理命中规则的消息；

步骤7、部署Alertmanager告警组件，编写告警通知格式规范告警通知的信息界面，编写路由转发规则设置告警触发的通知方式；在Prometheus内编写告警规则，修改Prometheus的yaml文件，添加告警配置并引入告警规则，当Prometheus获取的数据经过告警规则计算超过告警阈值时触发告警路由，并将告警信息通知到管理员；

步骤8、部署Flink大数据分析组件，通过Scala脚本远程连接TDengine数据库并指定主题消费数据，指定jar包加载机器学习算法，若算法分析时延超出阈值则提高并发执行任务的数量并共享任务槽，最后将分析结果远程写入TDengine数据库；

步骤9、部署Grafana数据可视化组件，通过数据源插件配置可用数据源，新建仪表盘界面，在界面中选择面板展示的类型并指定数据源，使用该数据源的特定查询语言获取数据，创建组织并在组织下创建用户，针对每个仪表盘界面赋权，只有该仪表盘所属组织下的用户才能够根据对应权限操作仪表盘，通过扩展仪表盘插件展示不同的面板，通过SQL获取TDengine中预测分析结果的数据，并与实际采集的工业数据做对比图展示，实时预测厂区关键数据的下一周期数值和数值趋势。

本发明与现有技术相比，其显著优点在于：(1)用于中小企业监控工业设备状态并可视化，存储海量工业数据并实时数据分析的场景，节约了企业用人和运维成本，提高了生产效率；(2)通过对工业设备数据的实时采集、监控和可视化，实现对工业数据的实时诊断分析，快速预测故障概率或寿命预期，帮助中小企业节约成本，增加收益。

附图说明

图1是本发明一种工业互联网数据采集分析及可视化一体系统的结构框图图。

图2是本发明实施例中部署安装的总体软件的架构图。

图3是本发明实施例中连接仓储物流公司数据源的数据可视化界面图。

图4是本发明实施例中连接港口电表数据源的在线预测分析的数据可视化界面图。

具体实施方式

下面结合附图和具体实施例，对本发明做进一步的详细说明。

结合图1，本发明一种工业互联网数据采集分析及可视化一体系统，包括ETL数据采集组件、工业数据大仓库、数据可视化组件、大数据分析组件、通用消息中间件和设备告警管理组件；

所述ETL数据采集组件，用于对不同工业场景下的IT资源和OT资源，进行数据指标实时采集和关键数据实时推送；

所述工业数据大仓库，用于接收并持久化ETL数据采集组件上传的数据，并提供外部访问接口和远程写入功能；

所述数据可视化组件，用于自定义仪表盘，实时动态展示工业数据；

所述大数据分析组件，用于搭载机器学习算法，对工业数据进行实时预测分析；

所述通用消息中间件，用于存储ETL数据采集组件实时采集的工业设备数据，供工业数据大仓库中的数据库使用；

所述设备告警管理组件，用于依据告警规则并结合预测分析结果，实现及时通知预警功能。

进一步地，所述的不同工业场景为各种多种多量的工业设备以及海量时序的工业数据的应用场景，包括仓储物流、工程机械、离散制造、流程化工；

所述的ETL数据采集组件采集的IT资源是主机资源，针对计算机内部资源如内存、IO读写率、网络上传下载率；所述的OT资源是设备资源，针对各类工业设备的重要参数如电量、里程数、设备故障率。

进一步地，所述的ETL数据采集组件，是大数据实时采集工具，支持将所需数据从数据源抽取出来，进行清洗加工和格式转换，再加载到已定义的数据仓库模型中；所述的ETL数据采集组件支持对IT资源和OT资源的实时数据采集，可以通过ETL组件主动推送给工业数据大仓库，也可以主动暴露数据指标端口，由工业数据大仓库主动拉取。

进一步地，所述的工业数据大仓库包括存储IT资源和OT资源的时序数据库，以及存储静态工业设备信息的关系型数据库；所述的工业数据大仓库对下持久化ETL数据采集组件推送的时序工业数据，对上支持部分海量工业数据远程写入通用消息中间件，避免数据高峰导致的数据丢失；同时工业数据大仓库支持数据导出和远程连接功能，为数据可视化组件提供数据源，为大数据分析组件提供稳定连接以读取数据实时分析，为设备告警管理组件提供设备告警管理相应的工业数据；

所述的工业数据大仓库所包含的数据库应至少一种为时序数据库，以接收并缓存海量实时的工业数据，工业数据大仓库的各类数据库可以部署在一台独立的物理服务器中，也可以多台分别部署，但要求必须要在同一局域网内，保证数据通讯安全可靠。

所述的工业数据大仓库中的时序数据库，可根据实际工业场景需求做分布式集群管理，提高水平扩展能力，实现负载均衡和高性能数据处理能力；通过分布式部署可以下放数据库自治权，允许分布在不同区域、不同级别的各厂区或部门管理自身局部数据，提高系统响应速度和安全可靠性。

进一步地，所述的数据可视化组件，支持常用的统计图表，包括表格、柱状图、折线图，并且支持以时间为横坐标的专门展示时序数据的仪表盘；支持插件安装拓展仪表盘种类；支持多类数据源安装，契合工业数据大仓库中所需的各类时序数据库或关系型数据库；提供用户管理和仪表盘权限管理模块，可分公司、组织、团队创建单位，所属不同公司、组织、团队的成员无法互相查看或管理他人所属单位的可视化界面，以保护企业隐私，方便企业组织管理；

所述的数据可视化组件，支持工业数据大仓库的各类数据源进行数据可视化展示，同时展示的仪表盘可分享，方便第三方平台直接嵌入。数据可视化组件与工业数据大仓库直接进行数据交互，仪表盘界面展示所需要的数据源需要唯一指定，不同数据源使用不同的数据拉取接口，避免同一界面不同仪表盘拉取数据库数据时导致的高响应延迟和数据源单点故障问题。

进一步地，所述的大数据分析组件，支持机器学习类算法，可以实时拉取工业数据大仓库的关键指标数据，作实时流处理，用于算法输入，支持工业数据大仓库远程连接，将分析结果远程写入工业数据大仓库作持久化；所述大数据分析组件能提供数据的有界处理和无界处理，可以对数据流持续不断做数据分析；

所述的大数据分析组件，通过指定数据源进行消息订阅来获取缓存的工业数据，若数据源不支持消息订阅，可使用开源的消息中间件来替代。通过组件内加载的机器学习分析算法，对读取的工业数据做数据清洗后，执行算法进行分析，将分析结果格式转换后，连接对应数据源并写入结果，若此时可视化组件需要展示数据分析结果，就可拉取从该数据源分析结果，数据格式转换后，在图表呈现。

进一步地，所述的通用消息中间件，支持ETL数据采集组件的数据远程写入，数据采集组件以生产者身份实时采集工业设备数据，创建主题并写入消息中间件，工业数据大仓库中的数据库以消费者身份订阅指定主题并消费，不同的数据库可以针对不同主题异步消费缓解工业数据高峰导致的高负载，也可以针对同一主题重复消费，扩展数据库的数据处理能力。

进一步地，所述的设备告警组件，依据工业数据大仓库中的实时IT资源数据或OT资源数据，通过自定义的告警规则对数据库中规则涉及的工业数据实时检查，满足告警触发阈值后，以邮件、Webhook、或Slack的形式及时通知管理员，并将告警触发信息发送给数据可视化组件，使其展示告警关键信息。告警组件通过分组通知功能区分告警类别，将一定时间内的告警信息，同一告警类别下的告警通知会一起发送管理员，避免大量重复告警；同时，使用告警抑制取消当前告警通知，转而推送更严重的告警以避免低危险告警过多而导致高风险告警通知的延迟。

实施例1

如图2所示，本实施例实际部署安装的总体软件架构图包括存储IT主机资源的Prometheus时序数据库、存储OT设备资源的TDengine时序数据库、进行可视化展示的Grafana组件、用于服务发现的Consul组件、进行数据采集的ETL组件(如NodeExporter、Pushgateway、Telegraf、EMQX)、可以告警通知的Alertmanager组件和支持大数据分析引擎的Flink组件。

图2中标号说明：N1～N4为IT主机资源；N5～N8为OT设备资源；E1为ETL组件NodeExporter；E2为ETL组件Telegraf；E3为ETL组件EMQX；E4为ETL组件Pushgateway；D1为时序数据库Prometheus；D2为时序数据库TDengine；A1为告警组件Alertmanager；F1为大数据分析组件Flink；C1为服务发现组件Consul；G1为可视化组件Grafana。

图2所示的软件部署架构图，其实现步骤具体如下：

步骤1、划分实际生产环境下厂区的监控主机、通信设备和边缘数据采集设备作为IT资源，实际数据传输设备(如工业内部网关、外网数据传输接口)作为OT资源；

步骤2、部署Prometheus时序数据库和TDengine时序数据库到厂区下独立的物理主机上，要求与其他IT资源和OT资源在同一局域网下，修改Prometheus的yaml配置文件，依据实际情况修改全局配置；配置TDengine所在物理机和OT资源节点的FQDN，保证可以通过主机名互相ping通，在TDengine中创建数据库和数据表存储工业数据，创建用户并赋权，方便远程连接；

步骤3、部署Consul服务发现组件到任意一台厂区局域网内的主机中，修改配置文件，将所有IT资源和OT资源节点注册进Consul中统一管理，使用Consul Web网页查看各节点的状态和内网地址，Consul提供注册节点健康检查机制，避免流量转发到有故障的服务上；

步骤4、部署NodeExporter数据采集组件到每个IT资源节点，采集关键数据指标，并主动暴露指标接口，指标接口支持HTTP协议连接，通过部署节点的地址及默认端口号可访问采集到的CPU使用率、磁盘剩余空间、网络速率等重要信息，修改Prometheus的yaml文件，配置Consul管理的NodeExporter服务；

步骤5、部署Pushgateway采集组件到任意一个IT资源节点上，负责主动推送数据指标给Prometheus，处理不同设备关键数据的汇总情况时，如各个IT资源节点的平均CPU使用率，近一个月内存平均内存使用率；使用Pushgateway需要编写shell脚本获取所需的关键数据，将数据汇总并格式转换后，通过POST方式主动推送给Prometheus的外部访问接口，也可以主动推送文件至Prometheus，文件内的每条数据指标满足Prometheus的格式规范；

步骤6、部署Telegraf和EMQX采集组件至特定OT资源节点，其中Telegraf采集使用HTTP协议传输工业数据的厂区设备，通过修改其yaml配置文件，将用于数据采集的shell脚本设置为Telegraf定时执行；EMQX获取厂区内部网关使用MQTT协议传输的厂区工业数据，在EMQX中指定MQTT协议中规定的事件主题获取网关传来的工业数据，通过规则引擎自定义规则过滤关键数据指标，利用已创建的账户和密码，通过Webhook连接TDengine数据库，编写TDengine数据库操作SQL处理命中规则的消息；

步骤7、部署Alertmanager告警组件，编写告警通知格式规范告警通知的信息界面，编写路由转发规则设置告警触发的通知方式；在Prometheus内编写告警规则，修改Prometheus的yaml文件，添加告警配置并引入告警规则，当Prometheus获取的数据经过告警规则计算超过告警阈值时触发告警路由，并将告警信息按照路由规定的邮箱、钉钉或其他方式通知到管理员；

步骤8、部署Flink大数据分析组件，通过Scala脚本远程连接TDengine数据库并指定主题消费数据，指定jar包加载机器学习算法，若算法分析时延过长则提高并发执行任务的数量并共享任务槽，最后将分析结果远程写入TDengine数据库；

步骤9、部署Grafana数据可视化组件，通过数据源插件配置可用数据源，新建仪表盘界面，在界面中选择面板展示的类型并指定数据源，使用该数据源的特定查询语言获取数据，创建组织并在组织下创建用户，针对每个仪表盘界面赋权，只有该仪表盘所属组织下的用户才可以根据对应权限操作仪表盘，通过扩展仪表盘插件展示不同的面板，丰富可视化界面类型，通过SQL获取TDengine中预测分析结果的数据，并与实际采集的工业数据做对比图展示，实时预测厂区关键数据的下一周期数值和数值趋势。

图3是连接仓储物流公司数据源的数据可视化界面图，图4是连接港口电表数据源的在线预测分析的数据可视化界面图。

综上，本发明一种工业互联网数据采集分析及可视化一体系统适用于监控工业设备状态并可视化，存储海量工业数据并实时数据分析的场景，节约了企业用人和运维成本，提高了生产效率，并且通过对工业设备数据的实时采集、监控和可视化，实现了对工业数据的实时诊断分析，快速预测故障概率或寿命预期，帮助中小企业节约成本，增加收益。

最后应说明的是，尽管已经详细描述本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对给出的实施例进行多种变化、修改和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种工业互联网数据采集分析及可视化一体系统，其特征在于，包括ETL数据采集组件、工业数据大仓库、数据可视化组件、大数据分析组件、通用消息中间件和设备告警管理组件：

所述ETL数据采集组件，用于对不同工业场景下的IT资源和OT资源，进行数据指标实时采集和关键数据实时推送；

所述工业数据大仓库，用于接收并持久化ETL数据采集组件上传的数据，并提供外部访问接口和远程写入功能；

所述数据可视化组件，用于自定义仪表盘，实时动态展示工业数据；

所述大数据分析组件，用于搭载机器学习算法，对工业数据进行实时预测分析；

所述通用消息中间件，用于存储ETL数据采集组件实时采集的工业设备数据，供工业数据大仓库中的数据库使用；

所述设备告警管理组件，用于依据告警规则并结合预测分析结果，实现及时通知预警功能。

2.根据权利要求1所述的工业互联网数据采集分析及可视化一体系统，其特征在于，所述的不同工业场景是指：多种多量的工业设备以及海量时序的工业数据的应用场景，工业设备包括仓储物流、工程机械、离散制造、流程化工。

3.根据权利要求1所述的工业互联网数据采集分析及可视化一体系统，其特征在于，所述ETL数据采集组件，是大数据实时采集工具，支持将所需数据从数据源抽取出来，进行清洗加工和格式转换，再加载到已定义的数据仓库模型中；所述的ETL数据采集组件支持对IT资源和OT资源的实时数据采集，通过ETL组件主动推送给工业数据大仓库，或者主动暴露数据指标端口，由工业数据大仓库主动拉取；

所述IT资源是主机资源，包括内存、IO读写率、网络上传下载率这些计算机内部资源；所述OT资源是设备资源，包括各类工业设备的电量、里程数、设备故障率这些重要参数。

4.根据权利要求1所述的工业互联网数据采集分析及可视化一体系统，其特征在于，所述工业数据大仓库包括存储IT资源和OT资源的时序数据库，以及存储静态工业设备信息的关系型数据库；所述的工业数据大仓库对下持久化ETL数据采集组件推送的时序工业数据，对上支持部分海量工业数据远程写入通用消息中间件；同时工业数据大仓库支持数据导出和远程连接功能，为数据可视化组件提供数据源，为大数据分析组件提供稳定连接以读取数据实时分析，为设备告警管理组件提供设备告警管理相应的工业数据；所述工业数据大仓库中的各类数据库部署在一台独立的物理服务器中，或者部署在同一局域网内的多台服务器。

5.根据权利要求4所述的工业互联网数据采集分析及可视化一体系统，其特征在于，所述的工业数据大仓库中的时序数据库，根据实际工业场景需求做分布式集群管理；通过分布式部署下放数据库自治权，允许分布在不同区域、不同级别的各厂区或部门管理自身局部数据。

6.根据权利要求1所述的工业互联网数据采集分析及可视化一体系统，其特征在于，所述的数据可视化组件，支持统计图表，包括表格、柱状图、折线图，并且支持以时间为横坐标的专门展示时序数据的仪表盘；支持插件安装拓展仪表盘种类；支持多类数据源安装，契合工业数据大仓库中所需的各类时序数据库或关系型数据库；提供用户管理和仪表盘权限管理模块，分公司、组织、团队创建单位，所属不同公司、组织、团队的成员无法互相查看或管理他人所属单位的可视化界面。

7.根据权利要求1所述的工业互联网数据采集分析及可视化一体系统，其特征在于，所述的大数据分析组件，支持机器学习类算法，实时拉取工业数据大仓库的关键指标数据，作实时流处理，用于算法输入，支持工业数据大仓库远程连接，将分析结果远程写入工业数据大仓库作持久化；所述大数据分析组件能提供数据的有界处理和无界处理，对数据流持续不断做数据分析。

8.根据权利要求1所述的工业互联网数据采集分析及可视化一体系统，其特征在于，所述的通用消息中间件，支持ETL数据采集组件的数据远程写入；ETL数据采集组件以生产者身份实时采集工业设备数据，创建主题并写入通用消息中间件；工业数据大仓库中的数据库以消费者身份订阅通用消息中间件中的指定主题并消费，不同的数据库能够针对不同主题异步消费，也能够针对同一主题重复消费。

9.根据权利要求1所述的工业互联网数据采集分析及可视化一体系统，其特征在于，所述的设备告警管理组件，依据工业数据大仓库中的实时IT资源数据或OT资源数据，提前定义好告警规则，在满足告警触发阈值时通过邮件、Slack、Webhook方式及时告知管理员；设备告警管理组件支持分组通知和告警抑制。

10.一种工业互联网数据采集分析及可视化一体系统的部署方法，其特征在于，包括以下步骤：

步骤1、划分实际生产环境下厂区的监控主机、通信设备和边缘数据采集设备作为IT资源，实际数据传输设备作为OT资源；

步骤2、部署Prometheus时序数据库和TDengine时序数据库到厂区下独立的物理主机上，要求与其他IT资源和OT资源在同一局域网下，修改Prometheus的yaml配置文件，依据实际情况修改全局配置；配置TDengine所在物理机和OT资源节点的FQDN，保证能够通过主机名互相ping通，在TDengine中创建数据库和数据表存储工业数据，创建用户并赋权，用于远程连接；

步骤3、部署Consul服务发现组件到任意一台厂区局域网内的主机中，修改配置文件，将所有IT资源和OT资源节点注册进Consul中统一管理，使用Consul Web网页查看各节点的状态和内网地址，Consul提供注册节点健康检查机制，避免流量转发到有故障的服务上；

步骤4、部署NodeExporter数据采集组件到每个IT资源节点，采集关键数据指标，并主动暴露指标接口，指标接口支持HTTP协议连接，通过部署节点的地址及默认端口号访问采集到的CPU使用率、磁盘剩余空间、网络速率这些重要信息，修改Prometheus的yaml文件，配置Consul管理的NodeExporter服务；

步骤5、部署Pushgateway采集组件到任意一个IT资源节点上，负责主动推送数据指标给Prometheus，处理不同设备关键数据的汇总情况时，包括各个IT资源节点的平均CPU使用率，近一个月内存平均内存使用率；使用Pushgateway需要编写shell脚本获取所需的关键数据，将数据汇总并格式转换后，通过POST方式主动推送给Prometheus的外部访问接口，或者主动推送文件至Prometheus，文件内的每条数据指标满足Prometheus的格式规范；

步骤6、部署Telegraf和EMQX采集组件至特定OT资源节点，其中Telegraf采集使用HTTP协议传输工业数据的厂区设备，通过修改yaml配置文件，将用于数据采集的shell脚本设置为Telegraf定时执行；EMQX获取厂区内部网关使用MQTT协议传输的厂区工业数据，在EMQX中指定MQTT协议中规定的事件主题获取网关传来的工业数据，通过规则引擎自定义规则过滤关键数据指标，利用已创建的账户和密码，通过Webhook连接TDengine数据库，编写TDengine数据库操作SQL处理命中规则的消息；

步骤7、部署Alertmanager告警组件，编写告警通知格式规范告警通知的信息界面，编写路由转发规则设置告警触发的通知方式；在Prometheus内编写告警规则，修改Prometheus的yaml文件，添加告警配置并引入告警规则，当Prometheus获取的数据经过告警规则计算超过告警阈值时触发告警路由，并将告警信息通知到管理员；

步骤8、部署Flink大数据分析组件，通过Scala脚本远程连接TDengine数据库并指定主题消费数据，指定jar包加载机器学习算法，若算法分析时延超出阈值则提高并发执行任务的数量并共享任务槽，最后将分析结果远程写入TDengine数据库；

步骤9、部署Grafana数据可视化组件，通过数据源插件配置可用数据源，新建仪表盘界面，在界面中选择面板展示的类型并指定数据源，使用该数据源的特定查询语言获取数据，创建组织并在组织下创建用户，针对每个仪表盘界面赋权，只有该仪表盘所属组织下的用户才能够根据对应权限操作仪表盘，通过扩展仪表盘插件展示不同的面板，通过SQL获取TDengine中预测分析结果的数据，并与实际采集的工业数据做对比图展示，实时预测厂区关键数据的下一周期数值和数值趋势。

Images