CN115237989A - 一种矿山数据采集系统 - Google Patents

Abstract

本发明公开了一种矿山数据采集系统，包括：数据存储库模块，数据存储库模块包括：流文件库和内容库和来源库，数据存储库模块用于保存采集流数据的数据来源信息以及实际内容字节信息和采集流的状态日志信息；采集流模块，采集流模块通过任务调度、数据清洗、数据分发、采集配置、状态管理、数据可视化、采集监控实现对数据的灵活的采集和处理；输出模块，输出模块通过对外接口实现统一的数据发送。本发明支持大规模数据采集充分考虑数据量大规模的增长，对数据量大的采集场景，支持通过配置任务多线程和多节点集群运行方式，实现采集任务的负载均衡，避免采集流程出现单任务瓶颈或者单节点瓶颈，满足业务稳定性和可靠性要求。

Description

一种矿山数据采集系统

技术领域

本发明属于计算机网络、图形图像处理、计算机性能改进、加密解密、汉字输入等技术领域领域，更具体地说，尤其涉及一种矿山数据采集系统。

背景技术

矿山业务系统众多，数据层面复杂，数据采集难度加大，预警未能集中管控，传统的采集平台数据越来越无法满足管理人员便捷地管控矿山作业数据信息，然而各个系统的数据都无法被整合进行统一的展示。系统各自独立、存在孤岛，系统无法实现数据共享和协同作业。系统数据尚未进行标准化采集与统一存储，矿山各层数据没有统一管理，数据孤岛严重，数据没有被充分利用，缺乏面向整个集团或矿山企业统一、完整的数据；

在上述基础上，本发明提供一种矿山数据采集系统，该系统用于完成矿山自动化系统、监测监控系统数据的采集展示，实现矿山生产及相关业务数据的集中存储与管理，同时为内外各系统间、各业务模块间数据共享、数据同步提供服务，为可视化平台提供数据基础。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种矿山数据采集系统。

为实现上述目的，本发明提供如下技术方案：

一种矿山数据采集系统，包括：

数据存储库模块，所述数据存储库模块包括：流文件库和内容库和来源库，所述数据存储库模块用于保存采集流数据的数据来源信息以及实际内容字节信息和采集流的状态日志信息；

采集流模块，所述采集流模块通过任务调度、数据清洗、数据分发、采集配置、状态管理、数据可视化、采集监控实现对数据的灵活的采集和处理；

输出模块，所述输出模块通过对外接口实现统一的数据发送，支持数据发送到大数据平台、消息队列和具体业务系统。

优选的，所述采集流模块包括：

接入层，所述接入层用于支持接入多源异构的数据源，所述接入层能保证数据源配置的共享调用，动态管理连接数量，提高了网络传输和处理效率；

服务层，所述服务层用于提供多样化的采集流程配置，灵活的配置数据处理规则进行数据清洗和转换，将数据转换为标准和统一的格式后提供给应用接口；

应用层，所述应用层用于用户通过可视化界面或者命令接口进行告警管理、日志管理、安全管理和模板管理。

优选的，所述数据源包括数据库接口、自动化系统接口、文件接口和消息队列接口，具体为：

1)自动化系统：OPC、MODBUS、HTTP、COAP、XMPP、MQTT；

2)数据库：MySQL、Oracle、SQLServer、PostgreSQL；

3)文件：音频、视频、文档、其他文件、FTP、SFTP；

4)消息队列：Kafka。

4、根据权利要求2所述的一种矿山数据采集系统，其特征在于：所述服务层功能包括：

数据流配置、数据流管理、数据流监控和数据管理功能；

所述服务层包括数据处理组件，所述数据处理组件用于支撑用户根据实际场景完成配置数据采集流程；

所述数据处理组件能对不同格式数据进行处理，支持根据数据内容自动分发数据到对应处理流程；所述数据处理组件支持配置相关规则对数据进行纠错、去重、去空值、统一规格、补足残缺等数据处理功能，并且数据处理组件能进行数据类型、数据值域、数据粒度、属性构造等数据转换，提供元数据信息给上层应用。

优选的，所述应用层包括：

Web服务和接口服务；

通过所述Web服务提供组件拖拽式的配置功能，同时能对系统日志、告警以及配置模板进行管理；

所述接口服务按照类型分为消息队列、数据库、文件存储以及RestAPI接口。

优选的，所述消息队列支持Kafka、MQTT；

所述数据库支持MySQL、Oracle、SQLServer、PostgreSQL关系数据库及实时数据库，支持HDFS文件存储、HBase分布式数据库存储接口。

优选的，所述数据采集系统采集整体流程包括：与数据源建立连接、协议解析、数据处理以及将数据发送到目标系统。

优选的，所述数据采集系统采集流程具体步骤为：

1)建立连接的类型通过TCP/IP网络建立连接，部分设备系统通过串口建立连接；

2)协议解析需根据采集源数据发送的格式进行选择，将多余格式过滤，保留有用数据内容；

3)数据处理需要根据业务需求进行，比如封装对应的元数据信息到数据内容里；

4)数据发送阶段需选择目标系统对应的接口将已处理完的数据进行发送。

优选的，所述数据存储库模块所述数据来源信息存储前，需要进行数据源分析，所述数据源分析流程为：

合并非结构化数据源的查询的结果和结构化数据源的查询的结果；

将被合并的结果存储在内存数据库处，所述内存数据库位于分析组件本地；以及运行所述分析组件，以从所述内存数据库中访问被合并的结果并且提供与所述结构化数据源的内容和所述非结构化数据源的内容对应的输出。

本发明的技术效果和优点：本发明提供的一种矿山数据采集系统，与传统的矿山数据采集系统相比，本发明具有以下优点：

1.可拖拽式采集流程配置，采集配置支持所有组件全拖拽式，使得用户在编辑和处理数据流时更加直观，从而提升使用效率；当用户在数据流上做出修改时，这个更改将立即在实际中产生作用；并且，用户在进行局部修改时，不需要停止整个采集流的处理过程；通过可视化界面完成采集需求配置，可快速满足客户的业务需求，加快了项目实施进度，同时也极大方便维护和管理人员理解和使用系统；

2.多源异构数据采集对多种数据源(数据库\NoSQL数据库\文本\图片)，支持多种采集方式，自定义频率进行增量或者全量采集；通过统一的采集平台，可集成企业所有数据源采集，方便统一企业对数据的存储管理和数据交换接口，减少软件定制开发成本；

3.支持基于元数据采集支持对采集的数据进行数据整编，主要包括质量审核、数据清洗、数据比对和数据合并入库等过程；通过对采集的原始数据进行合并、过滤、去重，对异常值和错误值等处理，根据企业数据规范存储入库，满足业务对数据格式的各种需求，为数据挖掘和分析提供基础；

4.支持大规模数据采集充分考虑数据量大规模的增长，对数据量大的采集场景，支持通过配置任务多线程和多节点集群运行方式，实现采集任务的负载均衡，避免采集流程出现单任务瓶颈或者单节点瓶颈，满足业务稳定性和可靠性要求。

附图说明

图1为本发明矿山数据采集系统的架构图；

图2为本发明信息化系统数据采集流程图；

图3为本发明自动化系统数据采集流程图；

图4为本发明采集流模块的功能架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了如图1所示的一种矿山数据采集系统，包括：

数据存储库模块，所述数据存储库模块包括：流文件库和内容库和来源库，所述数据存储库模块用于保存采集流数据的数据来源信息以及实际内容字节信息和采集流的状态日志信息；

示例性的，所述数据存储库模块所述数据来源信息存储前，需要进行数据源分析，所述数据源分析流程为：

合并非结构化数据源的查询的结果和结构化数据源的查询的结果；

将被合并的结果存储在内存数据库处，所述内存数据库位于分析组件本地；以及运行所述分析组件，以从所述内存数据库中访问被合并的结果并且提供与所述结构化数据源的内容和所述非结构化数据源的内容对应的输出；

采集流模块，所述采集流模块通过任务调度、数据清洗、数据分发、采集配置、状态管理、数据可视化、采集监控实现对数据的灵活的采集和处理；

输出模块，所述输出模块通过对外接口实现统一的数据发送，支持数据发送到大数据平台、消息队列和具体业务系统；

上述设计，采用多源异构数据采集对多种数据源(数据库\NoSQL数据库\文本\图片等)，支持多种采集方式，自定义频率进行增量或者全量采集；通过统一的采集平台，可集成企业所有数据源采集，方便统一企业对数据的存储管理和数据交换接口，减少软件定制开发成本。

值得说明的是，所述采集流模块包括：

接入层，所述接入层用于支持接入多源异构的数据源，所述接入层能保证数据源配置的共享调用，动态管理连接数量，提高了网络传输和处理效率；

其中，所述数据源包括数据库接口、自动化系统接口、文件接口和消息队列接口，具体为：

1)自动化系统：OPC、MODBUS、HTTP、COAP、XMPP、MQTT；

2)数据库：MySQL、Oracle、SQLServer、PostgreSQL；

3)文件：音频、视频、文档、其他文件、FTP、SFTP；

4)消息队列：Kafka；

服务层，所述服务层用于提供多样化的采集流程配置，灵活的配置数据处理规则进行数据清洗和转换，将数据转换为标准和统一的格式后提供给应用接口；

进一步的，所述服务层功能包括：

数据流配置、数据流管理、数据流监控和数据管理功能；

所述服务层包括数据处理组件，所述数据处理组件用于支撑用户根据实际场景完成配置数据采集流程；

所述数据处理组件能对不同格式数据进行处理，支持根据数据内容自动分发数据到对应处理流程；所述数据处理组件支持配置相关规则对数据进行纠错、去重、去空值、统一规格、补足残缺等数据处理功能，并且数据处理组件能进行数据类型、数据值域、数据粒度、属性构造等数据转换，提供元数据信息给上层应用；支持基于元数据采集支持对采集的数据进行数据整编，主要包括质量审核、数据清洗、数据比对和数据合并入库等过程；通过对采集的原始数据进行合并、过滤、去重，对异常值和错误值等处理，根据企业数据规范存储入库，满足业务对数据格式的各种需求，为数据挖掘和分析提供基础；

应用层，所述应用层用于用户通过可视化界面或者命令接口进行告警管理、日志管理、安全管理和模板管理；

具体的，所述应用层包括：

Web服务和接口服务；

通过所述Web服务提供组件拖拽式的配置功能，同时能对系统日志、告警以及配置模板进行管理；可拖拽式采集流程配置，采集配置支持所有组件全拖拽式，使得用户在编辑和处理数据流时更加直观，从而提升使用效率；当用户在数据流上做出修改时，这个更改将立即在实际中产生作用；并且，用户在进行局部修改时，不需要停止整个采集流的处理过程；通过可视化界面完成采集需求配置，可快速满足客户的业务需求，加快了项目实施进度，同时也极大方便维护和管理人员理解和使用系统；

所述接口服务按照类型分为消息队列、数据库、文件存储以及RestAPI接口，所述消息队列支持Kafka、MQTT；

所述数据库支持MySQL、Oracle、SQLServer、PostgreSQL关系数据库及实时数据库，支持HDFS文件存储、HBase分布式数据库存储接口。

本实施例还提供数据采集系统采集整体流程，具体包括：与数据源建立连接、协议解析、数据处理以及将数据发送到目标系统；

进一步的，所述数据采集系统采集流程具体步骤为：

1)建立连接的类型通过TCP/IP网络建立连接，部分设备系统通过串口建立连接；

2)协议解析需根据采集源数据发送的格式进行选择，将多余格式过滤，保留有用数据内容；

3)数据处理需要根据业务需求进行，比如封装对应的元数据信息到数据内容里；

4)数据发送阶段需选择目标系统对应的接口将已处理完的数据进行发送。

本系统支持大规模数据采集充分考虑数据量大规模的增长，对数据量大的采集场景，支持通过配置任务多线程和多节点集群运行方式，实现采集任务的负载均衡，避免采集流程出现单任务瓶颈或者单节点瓶颈，满足业务稳定性和可靠性要求。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种矿山数据采集系统，其特征在于，包括：

数据存储库模块，所述数据存储库模块包括：流文件库和内容库和来源库，所述数据存储库模块用于保存采集流数据的数据来源信息以及实际内容字节信息和采集流的状态日志信息；

采集流模块，所述采集流模块通过任务调度、数据清洗、数据分发、采集配置、状态管理、数据可视化、采集监控实现对数据的灵活的采集和处理；

输出模块，所述输出模块通过对外接口实现统一的数据发送，支持数据发送到大数据平台、消息队列和具体业务系统。

2.根据权利要求1所述的一种矿山数据采集系统，其特征在于：所述采集流模块包括：

接入层，所述接入层用于支持接入多源异构的数据源，所述接入层能保证数据源配置的共享调用，动态管理连接数量，提高了网络传输和处理效率；

服务层，所述服务层用于提供多样化的采集流程配置，灵活的配置数据处理规则进行数据清洗和转换，将数据转换为标准和统一的格式后提供给应用接口；

应用层，所述应用层用于用户通过可视化界面或者命令接口进行告警管理、日志管理、安全管理和模板管理。

3.根据权利要求2所述的一种矿山数据采集系统，其特征在于：所述数据源包括数据库接口、自动化系统接口、文件接口和消息队列接口，具体为：

1)自动化系统：OPC、MODBUS、HTTP、COAP、XMPP、MQTT；

2)数据库：MySQL、Oracle、SQL Server、PostgreSQL；

3)文件：音频、视频、文档、其他文件、FTP、SFTP；

4)消息队列：Kafka。

4.根据权利要求2所述的一种矿山数据采集系统，其特征在于：所述服务层功能包括：

数据流配置、数据流管理、数据流监控和数据管理功能；

所述服务层包括数据处理组件，所述数据处理组件用于支撑用户根据实际场景完成配置数据采集流程；

所述数据处理组件能对不同格式数据进行处理，支持根据数据内容自动分发数据到对应处理流程；所述数据处理组件支持配置相关规则对数据进行纠错、去重、去空值、统一规格、补足残缺等数据处理功能，并且数据处理组件能进行数据类型、数据值域、数据粒度、属性构造等数据转换，提供元数据信息给上层应用。

5.根据权利要求2所述的一种矿山数据采集系统，其特征在于：所述应用层包括：

Web服务和接口服务；

通过所述Web服务提供组件拖拽式的配置功能，同时能对系统日志、告警以及配置模板进行管理；

所述接口服务按照类型分为消息队列、数据库、文件存储以及Rest API接口。

6.根据权利要求5所述的一种矿山数据采集系统，其特征在于：所述消息队列支持Kafka、MQTT；

所述数据库支持MySQL、Oracle、SQL Server、PostgreSQL关系数据库及实时数据库，支持HDFS文件存储、HBase分布式数据库存储接口。

7.根据权利要求1所述的一种矿山数据采集系统，其特征在于：所述数据采集系统采集整体流程包括：与数据源建立连接、协议解析、数据处理以及将数据发送到目标系统。

8.根据权利要求7所述的一种矿山数据采集系统，其特征在于：所述数据采集系统采集流程具体步骤为：

1)建立连接的类型通过TCP/IP网络建立连接，部分设备系统通过串口建立连接；

2)协议解析需根据采集源数据发送的格式进行选择，将多余格式过滤，保留有用数据内容；

3)数据处理需要根据业务需求进行，比如封装对应的元数据信息到数据内容里；

4)数据发送阶段需选择目标系统对应的接口将已处理完的数据进行发送。

9.根据权利要求1所述的一种矿山数据采集系统，其特征在于：所述数据存储库模块所述数据来源信息存储前，需要进行数据源分析，所述数据源分析流程为：

合并非结构化数据源的查询的结果和结构化数据源的查询的结果；

将被合并的结果存储在内存数据库处，所述内存数据库位于分析组件本地；以及运行所述分析组件，以从所述内存数据库中访问被合并的结果并且提供与所述结构化数据源的内容和所述非结构化数据源的内容对应的输出。

Images