CN110113257A - 一种基于大数据的统一数据接入网关及实现方法 - Google Patents

Abstract

本发明公开了一种基于大数据的统一数据接入网关，包括：调度引擎、数据源单元、执行器、执行器参数库、作业模板配置单元、作业调度单元、触发器和监控单元，在需要采用多种接入方式或接入多种数据源时，通过配置化的方式，实现数据接入，无需重复开发接入程序。本发明还公开了一种基于大数据的统一数据接入网关的实现方法。

Description

一种基于大数据的统一数据接入网关及实现方法

技术领域

本发明涉及轨道交通技术领域，尤其涉及一种基于大数据的统一数据接入网关及实现方法。

背景技术

现有技术中，轨道交通根据不同专业数据，数据接入的方式也不同。实时数据可以通过modbus、MQ消息队列、hadoop生态圈的kafka组件进行接入。离线数据通常采用FTP(File Transfer Protocol，文件传输协议)传输文件的形式接入。

由于不同的数据接入方式采用不同的协议和数据源，导致每遇到一个新的数据接入方式，开发人员都需要写一套接入程序，来实现不同数据接入方式的互通，该接入程序只用来匹配一种数据源，例属接入实时类数据采用modbus协议，开发人员就需要单独针对modbus协议，编写接入代码。而最近几年实时数据接入开始普遍使用kafka、flume、storm等hadoop相关组件进行实现，开发人员又需要单独针对kafka等编写相应程序。

发明内容

为了解决背景技术中存在的技术问题，本发明提出了一种基于大数据的统一数据接入网关及实现方法，在需要采用多种接入方式或接入多种数据源时，通过配置化的方式，实现数据接入，无需重复开发接入程序。

本发明提出的一种基于大数据的统一数据接入网关，包括：

调度引擎，是数据接入网关的基础组件，用于管理和运行数据接入的作业，将作业调度单元和触发器关联起来，按照触发器的配置，定时执行作业调度单元指定的作业；

数据源单元，用于存储不同数据接入类型对应的参数；

执行器，与调度引擎和数据源单元连接，根据调度引擎的指令配置对应的执行器；

执行器参数库，与执行器连接，存储执行器参数；

作业模板配置单元，与数据源单元和执行器连接，将不同数据接入类型的输入数据源，输入执行器，输入执行器参数，输出数据源，输出执行器，输出执行器参数配置到一起，形成该数据接入类型对应的作业模板；

作业调度单元，与作业模板配置单元和触发器连接，用于每一个作业都与一个作业模板相关联；

触发器，用于配置作业的执行时间、周期、频率；

监控单元，与作业调度单元连接，用于监控作业执行情况。

优选地，所述数据接入类型包括：关系型数据库，内存数据库，文件系统，Modbus数据传输。

优选地，对应的参数包括IP、端口、节点、账号、密码。

优选地，所述触发器包括Simple和Cronfig两种类型。Simple类型触发器配置具体执行开始结束时间、周期、频率；Cronfig类行触发器配置调度表达式。

优选地，所述监控单元还用于查看历史作业执行日志、清除应用日志、定时发送邮件短信或生成报表。

本发明还提供了一种基于大数据的统一数据接入网关的实现方法，包括以下步骤：

需配置数据源，对不同数据接入类型配置对应的参数；

配置执行器，选择匹配的执行器类型及对应数据源；

配置作业模板，将不同数据接入类型的输入数据源，输入执行器，输入执行器参数，输出数据源，输出执行器，输出执行器参数配置到一起，形成该数据接入类型对应的作业模板；

配置作业分组和名称，并关联到对应的作业模板，通过配置触发器，为作业指定执行时间和频率。

优选地，还包括：

监控作业执行情况，查看历史作业执行日志、清除应用日志、定时发送邮件短信或生成报表。

优选地，所述触发器具体为：触发器配置具体执行开始结束时间、周期、频率；或触发器配置调度表达式。

优选地，所述数据接入类型包括：关系型数据库，内存数据库，文件系统，Modbus数据传输。

优选地，对应的参数包括IP、端口、节点、账号、密码。

本发明中，通过预先配置不同的数据接入方式、并且适配不同数据源，实现不同接入方式或不同数据源之间的数据传输、处理，满足不同场景下的数据接入，即具有良好的可扩展性，又降低了数据接入的成本。

附图说明

图1为本发明实施例提出的一种基于大数据的统一数据接入网关结构图；

图2为本发明实施例提出的一种基于大数据的统一数据接入网关实现方法流程图。

具体实施方式

本发明实施例提出了一种基于大数据的统一数据接入网关，如图1所示，包括：调度引擎10、数据源单元20、执行器30、执行器参数库40、作业模板配置单元50、作业调度单元60、触发器70和监控单元80。

调度引擎10，是数据接入网关的基础组件，相当于是一个容器，用于管理和运行数据接入的作业，将作业调度单元60和触发器70关联起来，按照触发器70的配置，定时执行作业调度单元60指定的作业。例如一个分组为ACC、名称为station的作业，和一个分组为ACC、名称为stationTime的触发器，两个单元都存在于调度引擎里，通过配置将作业分组名称和触发器分组名称关联起来，这样调度引擎在运行作业时，就会读取此作业关联的触发器参数来执行作业。

数据源单元20，用于存储不同数据接入类型对应的参数(包括IP、端口、节点、账号、密码等信息)，以支持客户端对数据源内数据的操作，包括支持客户端建立连接的访问参数，支持客户端关闭连接的关闭参数。其中，数据接入类型包括：关系型数据库(mysql，oracle，teradata等)，内存数据库(redis，mongodb等)，文件系统(本地文件系统，远程文件系统，HDFS等)，Modbus数据传输等。而且，该数据源类型及对应的参数可以扩展。

执行器30，与调度引擎10和数据源单元20连接，根据调度引擎10的指令配置对应的执行器，即设定执行器参数(如参数个数、执行器类型、匹配数据源和数据源类型等，以确定执行具体的脚本程序)和对应的数据源，例如配置为SQL文件执行器，需事先配置SQL文件存放路径，以及执行的数据源。不同的数据源，不同的对数据的操作，有不同的执行器对应，如kafka执行器、SQL脚本执行器、SQL文件执行器等。执行器中预先设置所需要的。执行器对不同类型数据设置了对应的数据处理逻辑，形成组件，给不同场景调用，如kafka执行器封装了实时读取kafka消息队列数据的处理逻辑。依照现有软件设计架构，可无限适配各种数据操作，将其封装为执行器组件。

执行器参数库40，与执行器30连接，存储执行器参数，不同的执行器拥有不同的参数个数和格式，执行器参数为其填充具体的值，将执行器具体化。如SQL文件执行器，需要配置SQL文件参数，该参数是文件的路径，所以是路径的格式。

作业模板配置单元50，与数据源单元20和执行器30连接，将不同数据接入类型的输入数据源，输入执行器，输入执行器参数，输出数据源，输出执行器，输出执行器参数配置到一起，形成该数据接入类型对应的作业模板，供作业调度单元调用。例如，配置一个将数据从mysql数据库接入到hadoop的kafka消息队列中。事先配置该作业模板，包括输入数据源为MySQL，输出数据源为kafka，执行器为读取MySQL数据和写入kafka消息队列。然后将作业模板配置到调度引擎中的作业单元里，再为作业单元匹配触发器单元。作业模板定义执行内容，触发器定义执行时间。如此，调度引擎就会根据作业配置的触发器和作业模板，运行作业。作业模板是把输入和输入相关参数事先配置，配置完成的作业模板可直接供作业组件调用运行。作业模板包括输入输出数据源，执行器以及参数。多个作业组件可同时依赖于一个作业模板。

作业调度单元60，与作业模板配置单元50和触发器70连接，用于数据接入的程序单元。每一个作业都与一个作业模板相关联。作业有所属分组，不同业务的作业可归到不同的分组内。如客流、行车、设备、能耗的不同业务分组。作业之间有相互依赖的关系，上游作业或者下游作业的概念。比如在数据接入之前，需事先进行数据的正确性校验，此时，应该先执行校验逻辑，然后执行接入程序，因此数据接入依赖于校验程序的执行。作业执行的触发，可以是时间触发器触发，也可以是上一作业触发。

触发器70，用于配置作业的执行时间、周期、频率等参数。触发器分为Simple和Cronfig两种类型。Simple类型触发器配置具体执行开始结束时间、周期、频率。Cronfig类行触发器配置调度表达式，使用场景更多，可配置特殊的日期时间。触发器必须关联一个作业，需配置作业的所属分组与名称。

监控单元80，与作业调度单元60连接，用于监控作业执行情况，即可实时监测，又可查看历史作业执行日志。其中，日志组件分为实时与历史，实时日志可即时监控作业执行情况，无延迟；历史日志可查看历史某一时间段的某一个作业链的执行详细信息。另外，监控单元80还可以定时清除应用日志、定时发送邮件短信或生成报表等。

本发明实施例提出了一种基于大数据的统一数据接入网关的应用方法，如图2所示，包括以下步骤：

步骤101，需配置数据源，对不同数据接入类型配置对应的参数，如对oracle、db2、kafka等配置不同参数。

步骤102，配置执行器，选择匹配的执行器类型及对应数据源，比如FTP文件加载、FPT文件校验等，配置对应的数据源和执行参数。

步骤103，配置作业模板，将不同数据接入类型的输入数据源，输入执行器，输入执行器参数，输出数据源，输出执行器，输出执行器参数配置到一起，形成该数据接入类型对应的作业模板。

步骤104，配置作业分组和名称，并关联到对应的作业模板，通过配置触发器，为作业指定执行时间和频率。

步骤105，监控作业执行情况。

本发明中，与第三方厂商做数据接入，比如信息中心与ACC，TCC的数据接口文件接入；能耗平台与各线路厂商Modbus数据接入。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于大数据的统一数据接入网关，其特征在于，包括：

调度引擎，是数据接入网关的基础组件，用于管理和运行数据接入的作业，将作业调度单元和触发器关联起来，按照触发器的配置，定时执行作业调度单元指定的作业；

数据源单元，用于存储不同数据接入类型对应的参数；

执行器，与调度引擎和数据源单元连接，根据调度引擎的指令配置对应的执行器；

执行器参数库，与执行器连接，存储执行器参数；

作业模板配置单元，与数据源单元和执行器连接，将不同数据接入类型的输入数据源，输入执行器，输入执行器参数，输出数据源，输出执行器，输出执行器参数配置到一起，形成该数据接入类型对应的作业模板；

作业调度单元，与作业模板配置单元和触发器连接，用于每一个作业都与一个作业模板相关联；

触发器，用于配置作业的执行时间、周期、频率；

监控单元，与作业调度单元连接，用于监控作业执行情况。

2.根据权利要求1所述的基于大数据的统一数据接入网关，其特征在于，所述数据接入类型包括：关系型数据库，内存数据库，文件系统，Modbus数据传输。

3.根据权利要求1所述的基于大数据的统一数据接入网关，其特征在于，对应的参数包括IP、端口、节点、账号、密码。

4.根据权利要求1所述的基于大数据的统一数据接入网关，其特征在于，所述触发器包括Simple和Cronfig两种类型；Simple类型触发器配置具体执行开始结束时间、周期、频率；Cronfig类行触发器配置调度表达式。

5.根据权利要求1所述的基于大数据的统一数据接入网关，其特征在于，所述监控单元还用于查看历史作业执行日志、清除应用日志、定时发送邮件短信或生成报表。

6.一种基于大数据的统一数据接入网关的实现方法，其特征在于，包括以下步骤：

需配置数据源，对不同数据接入类型配置对应的参数；

配置执行器，选择匹配的执行器类型及对应数据源；

配置作业模板，将不同数据接入类型的输入数据源，输入执行器，输入执行器参数，输出数据源，输出执行器，输出执行器参数配置到一起，形成该数据接入类型对应的作业模板；

配置作业分组和名称，并关联到对应的作业模板，通过配置触发器，为作业指定执行时间和频率。

7.根据权利要求6所述的实现方法，其特征在于，还包括：

监控作业执行情况，查看历史作业执行日志、清除应用日志、定时发送邮件短信或生成报表。

8.根据权利要求6所述的实现方法，其特征在于，所述触发器具体为：触发器配置具体执行开始结束时间、周期、频率；或触发器配置调度表达式。

9.根据权利要求6所述的实现方法，其特征在于，所述数据接入类型包括：关系型数据库，内存数据库，文件系统，Modbus数据传输。

10.根据权利要求6所述的实现方法，其特征在于，对应的参数包括IP、端口、节点、账号、密码。