CN108449407B - 多源异构煤矿安全监测数据采集方法 - Google Patents

Abstract

本发明公开了一种多源异构煤矿安全监测数据采集方法，包括以下步骤：S1：建立包括各种采集协议规范和采集协议组件的采集协议库；S2：建立包括与若干数据源相匹配的采集模板的采集模板库；S3：加载所述采集模板库获取若干所述采集模板中定义的数据交互内容，并根据所述数据交互内容设置调用参数；加载采集模板库中与所述数据交互内容相匹配的采集协议规范和采集协议组件；S4：根据所述调用参数从煤矿监测数据源获取原始监测数据，并根据所述采集模板、采集协议规范和采集协议组件将采集到的所述原始监测数据转换成统一格式的目标监测数据进行保存。

Description

多源异构煤矿安全监测数据采集方法

技术领域

本发明涉及一种多源异构煤矿安全监测数据采集方法。

背景技术

现有煤矿井下设备(包含各装备、机器、仪器等电子设施)的数据采集均通过监控系统直接从设备上采集。设备厂商对不同专业设备开发对应的监控系统从设备上实时获取数据。对煤矿来讲，数据只能在监控系统中查看，不能在其它系统中实时使用。对开发商来讲，每个监控系统既要负责数据的采集，又要负责数据的校验、传输、共享，大部分功能重复开发，造成系统臃肿，改动困难。而现有设备数据采集没有统一的数据标准、采集标准，在使用采集数据时，需要根据每种提供的格式进行解析、转换，增加了出错机率与重复工作量。并且，现有设备所生成的数据格式不一，包含结构化数据、半结构化数据、非结构化数据，没有提供对这些数据的统一处理方式，造成数据利用效率低。

发明内容

本发明的目的是提供一种多源异构煤矿安全监测数据采集方法，以解决现有采集功能无法模块化重用、采集数据格式多变处理效率低、采集数据无法实时共享的问题。

为解决上述技术问题，本发明提供一种多源异构煤矿安全监测数据采集方法，包括以下步骤：

S1：建立包括各种采集协议规范和采集协议组件的采集协议库；

S2：建立包括与若干数据源相匹配的采集模板的采集模板库；

S3：加载所述采集模板库获取若干所述采集模板中定义的数据交互内容，并根据所述数据交互内容设置调用参数；加载采集模板库中与所述数据交互内容相匹配的采集协议规范和采集协议组件；

S4：根据所述调用参数从煤矿监测数据源获取原始监测数据，并根据所述采集模板、采集协议规范和采集协议组件将采集到的所述原始监测数据转换成统一格式的目标监测数据进行保存。

进一步地，所述步骤S1中所述采集协议规范用于规定采集协议组件处理的内容、必须实现的接口以及采集协议组件执行的方式。

进一步地，所述采集协议规范规定的采集协议组件处理的内容包括：

S11：利用采集协议组件从数据源获取原始数据；

S12：根据采集模板中定义的原始数据与目标数据的映射关系，将原始数据向目标数据进行映射转换生成目标数据；

S13：根据采集模板中定义的目标数据校验规则对所述目标数据进行滤噪、排错、单位转换、格式转换后得到处理后的目标数据。

进一步地，所述步骤S1中的所述采集协议组件包括OPC服务或/和安全监控系统服务接口或/和文本数据文件或/和关系数据库系统或/和音视频流媒体或/和文档文件。

进一步地，所述采集模板为一个JSON类型的数据，其包括基础信息定义、请求信息定义和响应信息定义；所述基础信息定义包括定义采集的数据分类、监控系统和采集协议，数据采集模块根据基础信息定义进行初始化设置，加载对应的采集协议组件；所述请求信息定义包括定义数据源访问地址、认证信息、调用方式、方法名称、传递参数和字符编码，所述采集协议根据请求信息定义向数据源获取数据响应信息定义；响应信息定义包括定义数据源的数据格式、字符编码、内容、与目标数据的校验规则、转换规则和映射方式，数据采集模块根据响应信息定义将采集到的原始数据转换成统一的数据库存储格式。

进一步地，所述步骤S3具体包括：

S31：加载所述采集模板库，将所述采集模板库中的采集模板解析到模板对象中，获取采集模板的数据交互内容；

S32：根据所述采集模板中的数据交互内容的采集协议定义加载对应的采集协议规范和采集协议组件，并根据采集模板中的数据交互内容设置协议所需要的调用参数。

进一步地，所述步骤S4具体包括：

S41：加载所述调用参数，并根据所述调用参数从煤矿监测数据源获取原始监测数据；

S42：根据所述采集模板中的基础信息定义、请求信息定义和响应信息定义将采集到的所述原始监测数据换成统一格式的目标数据；

S43：对所述目标数据依次进行滤噪、排错、单位转换、格式转换处理后进行存储。

本发明的有益效果为：

1、通过建立采集协议库，并在采集协议库内置常用的标准协议，可满足大部分场景下的采集需求；在使用过程中，还可根据实际需要自行扩展采集协议，应对使用新协议的设备场景。

2、本方法可以使用同一采集协议，驱动系统中多类使用此种协议的设备数据采集；

3、通过采样模板建立数据源与目标数据之间的数据转换方式，当任一类数据格式发生变化时，仅须更改采样模板的数据交互内容就能完成功能调整。

具体实施方式

一种多源异构煤矿安全监测数据采集方法，包括以下步骤：

S1：建立包括各种采集协议规范和采集协议组件的采集协议库；

S2：建立包括与若干数据源相匹配的采集模板的采集模板库；

S3：加载所述采集模板库获取若干所述采集模板中定义的数据交互内容，并根据所述数据交互内容设置调用参数；加载采集模板库中与所述数据交互内容相匹配的采集协议规范和采集协议组件；

S4：根据所述调用参数从煤矿监测数据源获取原始监测数据，并根据所述采集模板、采集协议规范和采集协议组件将采集到的所述原始监测数据转换成统一格式的目标监测数据进行保存。

根据本申请的一个实施例，步骤S1中所述采集协议规范用于规定采集协议组件处理的内容、必须实现的接口以及采集协议组件执行的方式。

其中，采集协议库是各采集协议的集合。采集协议是一个供采集模块调用的组件，遵循采集协议接口规范，实现某种数据采集协议，完成从数据源获取数据，转换成目标数据格式的过程。

采集协议规范用于对采集协议定义数据处理步骤、实现数据采集所需接口和数据获取方法；

定义采集协议组件的数据处理步骤包括：原始数据(包括但不限于数据库系统、FTP文件服务、Windows文件共享、WebService服务、RESTfull服务等类型)的获取；原始数据向目标数据的映射转换；目标数据的检验、清洗。

定义采集协议必须实现的接口方法有：协议初始化设置(initial)，通过设置后续存储处理对象、采集模板实例让协议按照指定的参数采集数据；执行数据采集(fetch)；获取上一次采集处理信息(lastResult)。

根据本申请的一个实施例，所述步骤S1中的所述采集协议包括OPC服务或/和安全监控系统服务接口或/和文本数据文件或/和关系数据库系统或/和音视频流媒体或/和文档文件。

上述采集协议是根据现有煤矿监测数据源类型设置的，现有煤矿监测数据源主要有OPC服务(由安全监控系统以OPC接口服务的形式提供对外调用)、安全监控系统服务接口(安全监控系统以WCF服务等接口方式对外提供数据交换)、文本数据文件(安全监控系统以文本数据文件的方式对外提供数据交换)、关系数据库系统(安全监控系统以关系数据库的数据表、视图的方式对外提供数据交换)、音视频流媒体(由监测设备直接向外提供流媒体数据)、文档文件(由安全监控系统生成固定的文档文件)等类型，可实现为OPC客户端采集协议、WCF服务接口采集协议、文本数据文件采集协议、文档数据文件采集协议、关系数据库连接采集协议、影像采集协议等。

根据本申请的一个实施例，所述采集模板为一个JSON类型的数据，其包括基础信息定义、请求信息定义和响应信息定义；所述基础信息定义包括定义采集的数据分类、监控系统和采集协议，数据采集模块根据基础信息定义进行初始化设置，加载对应的采集协议；所述请求信息定义包括定义数据源访问地址、认证信息、调用方式、方法名称、传递参数和字符编码，所述采集协议根据请求信息定义向数据源获取数据响应信息定义；响应信息定义包括定义数据源的数据格式、字符编码、内容、与目标数据的校验规则、转换规则和映射方式，数据采集模块根据响应信息定义将采集到的原始数据转换成统一的数据库存储格式。

采集模板定义了从某个数据源采集数据的所有交互内容，包括采集协议、身份认证信息、请求参数、响应数据格式等内容。对每类要采集的设备都设定一个采集模板，构成采集模板库集合。

根据本申请的一个实施例，所述步骤S3具体包括：

S31：加载所述采集模板库，将所述采集模板库中的采集模板解析到模板对象中，获取采集模板的数据交互内容；

S32：根据所述采集模板中的数据交互内容的采集协议定义加载对应的采集协议规范和采集协议组件，并根据采集模板中的数据交互内容设置协议所需要的调用参数(如从文本数据文件数据源采集时，需要指定文件访问协议(如FTP、FileShare)、文件地址、访问账户、访问密码、文件名称等信息)。

根据本申请的一个实施例，所述步骤S4具体包括：

S41：加载所述调用参数，并根据所述调用参数从煤矿监测数据源获取原始监测数据。并且，该调用参数是对数据请求参数(如访问地址、账号、密码、查询值等)进行的规则配置。

S42：根据所述采集模板库中的基础信息定义、请求信息定义和响应信息定义将采集到的所述原始监测数据换成统一格式的目标数据；

S43：对所述目标数据依次进行滤噪、排错、单位转换、格式转换处理后进行存储。

根据本申请的一个实施例，该方法还包括步骤：

S5：将采集到的数据进行转换清洗后发送到后台服务，进行数据存储、数据分发处理。后台服务将收到的采集数据按照订阅的主题通过消息机制以统一的格式对外提供订阅，让使用者实时接收所订阅的数据，无须关心采集过程与数据格式。

此外，根据煤矿生产安全的业务需求，还可设计标准全面的监测数据模型，各采集的结构化数据按照业务分类分别存放到对应的关系数据表中。

该申请采用可独立插接的采集协议组件实现采集协议的复用与独立扩展，使用采集模板技术配置采集的具体参数细节，实现无需更改代码、仅通过配置就能适用于不同设备数据采集的情况；并且上述采集模块基于windows服务设计，每个数据源的采集都运行在独立的进程中，隔离采集出错对服务的可用性影响。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种多源异构煤矿安全监测数据采集方法，其特征在于，包括以下步骤：

S1：建立包括各种采集协议规范和采集协议组件的采集协议库；

S2：建立包括与若干数据源相匹配的采集模板的采集模板库；

所述采集模板为一个JSON类型的数据，其包括基础信息定义、请求信息定义和响应信息定义；所述基础信息定义包括定义采集的数据分类、监控系统和采集协议，数据采集模块根据基础信息定义进行初始化设置，加载对应的采集协议组件；所述请求信息定义包括定义数据源访问地址、认证信息、调用方式、方法名称、传递参数和字符编码，所述采集协议根据请求信息定义向数据源获取数据响应信息定义；响应信息定义包括定义数据源的数据格式、字符编码、内容、与目标数据的校验规则、转换规则和映射方式，数据采集模块根据响应信息定义将采集到的原始数据转换成统一的数据库存储格式；

S3：加载所述采集模板库获取若干所述采集模板中定义的数据交互内容，并根据所述数据交互内容设置调用参数；加载采集模板库中与所述数据交互内容相匹配的采集协议规范和采集协议组件；

S4：根据所述调用参数从煤矿监测数据源获取原始监测数据，并根据所述采集模板、采集协议规范和采集协议组件将采集到的所述原始监测数据转换成统一格式的目标监测数据进行保存。

2.根据权利要求1所述的多源异构煤矿安全监测数据采集方法，其特征在于，所述步骤S1中所述采集协议规范用于规定采集协议组件处理的内容、必须实现的接口以及采集协议组件执行的方式。

3.根据权利要求2所述的多源异构煤矿安全监测数据采集方法，其特征在于，所述采集协议规范规定的采集协议组件处理的内容包括：

S11：利用采集协议组件从数据源获取原始数据；

S12：根据采集模板中定义的原始数据与目标数据的映射关系，将原始数据向目标数据进行映射转换生成目标数据；

S13：根据采集模板中定义的目标数据校验规则对所述目标数据进行滤噪、排错、单位转换、格式转换后得到处理后的目标数据。

4.根据权利要求2所述的多源异构煤矿安全监测数据采集方法，其特征在于，所述步骤S1中的所述采集协议组件包括OPC服务或/和安全监控系统服务接口或/和文本数据文件或/和关系数据库系统或/和音视频流媒体或/和文档文件。

5.根据权利要求1所述的多源异构煤矿安全监测数据采集方法，其特征在于，所述步骤S3具体包括：

S31：加载所述采集模板库，将所述采集模板库中的采集模板解析到模板对象中，获取采集模板的数据交互内容；

S32：根据所述采集模板中的数据交互内容的采集协议定义加载对应的采集协议规范和采集协议组件，并根据采集模板中的数据交互内容设置协议所需要的调用参数。

6.根据权利要求5所述的多源异构煤矿安全监测数据采集方法，其特征在于，所述步骤S4具体包括：

S41：加载所述调用参数，并根据所述调用参数从煤矿监测数据源获取原始监测数据；

S42：根据所述采集模板库中的基础信息定义、请求信息定义和响应信息定义将采集到的所述原始监测数据换成统一格式的目标数据；

S43：对所述目标数据依次进行滤噪、排错、单位转换、格式转换处理后进行存储。