CN107071006A - 一种面向航道大数据的采集系统及采集方法 - Google Patents

Abstract

本发明提供一种面向航道大数据的采集系统及采集方法，该系统包括：部署于航道周边的智能采集设备，所述智能采集设备用于采集数据；配置管理中心模块，用于配置智能采集设备的配置信息；处理中心模块，用于获取并更新所述配置信息，并根据所述配置信息对上述采集数据进行协议解析、转换和转发；下发指令中心模块，用于根据业务系统查询的智能采集设备的协议信息进行指令组装，并通过网络或短信方式将指令下发到上述智能采集设备；其中所述指令组装采用工厂模式实现；数据生命周期监控中心模块，用于对数据采集和下发指令的整个流程进行日志信息的采集，并利用大数据处理技术分析日志信息，以及对采集数据生命周期进行全面监控。

Description

一种面向航道大数据的采集系统及采集方法

技术领域

本发明涉及大数据采集领域，尤其涉及一种面向航道大数据的采集系统及采集方法。

背景技术

内河航运作为我国交通运输的主要方式之一，对我国经济的发展起着重要的作用。传统的航道河床的研究是基于所测得的航道水文(流速、流量、泥沙)、水深、岸线等相关要素数据，依据水流泥沙运动规律，结合该航道的历史河床结构数据，构建相应的物理模型和数据模型来对航道河床的演变进行分析，但其采集的数据量小，对航道的安全预测具有一定的限制。

随着大数据技术的迅速发展，智能航道应运而生，通过融合大数据处理和深度挖掘等技术，为水路运输高效、安全、节能提供实时、准确、便捷的航道服务。在智能航道中，航道的水文、水深、岸线等要素数据是实时监测和实时获取的，其具有大数据的数据量大、数量类型繁多、流动速度快、价值密度低的特征。

大数据采集注重对数据的高速、实时处理，同时也需要大容量、高速、可扩展的存储系统来容纳数据，在大数据的采集与处理过程中有很多关键技术。如分布式存储，HDFS是应用最为广泛的系统之一，HDFS是一个高度容错的系统，拥有故障检测和自动快速回复的特性，典型的HDFS文件大小是GB或者TB级别，支持千万级别数据量的管理，适合大规模数据集应用；Flume是Cloudera开发的高可用、高可靠的分布式海量日志采集、聚合和传输系统，该系统于2011年经重构后改名为Apache Flume；Kafka消息发布订阅系统，能够按照主题对消息进行组织，每个主题又分为多个分区，便于数据管理和负载均衡等等。

目前，大数据在智能航道中的应用主要存在以下问题和困难：

(1)航道数据采集系统优化主要集中在对硬件设备的改造，目的是提高采集数据的精确度，如基于AIS(船舶自动识别系统)数据的航道交通流量智能采集系统，实现对航道船舶交通流量及相关货运信息的精确采集；船舶航道的水文气象采集系统，提高AD单元处理的精度，降低水文数据产生的偏差等等。现有采集系统的优化基于采集数据量较小的传统航道系统，无法直接应用于航道大数据采集场景。

(2)生产航道水文、水深、岸线等监测设备的厂商众多，差异性较大，且在业界上没有标准的通讯协议，每家厂商所采用的通讯协议多数为自定义的。因此，航道的业务系统与设备之间的耦合性比较高，如果新增一种设备，则需实现对通讯协议的解析。

在智能航道系统中，航道要素数据是实时监测和实时获取的，在要求数据的精确度的同时，采集数据的实时性和高效性也更加重要。另外，当前行业中没有对通讯协议的统一标准，终端设备(即智能采集设备)和业务系统高度耦合，现有的业务系统采用传统的模式开发，无法满足大数据量的要求。因此，需要一种独立的采集系统，构建高可靠、高可用的采集通道。

发明内容

针对航道大数据中采集数据的时效性和智能设备的耦合度问题，本发明提供一种面向航道大数据的采集系统及采集方法，该系统及方法实现了对大量实时航道数据的采集、处理、转发，同时实现了对智能设备的可插拔式管理。

针对上述问题，本发明所采用的技术方案为：

一种面向航道大数据的采集系统，包括部署于航道周边的智能采集设备、配置管理中心模块和处理中心模块；

所述智能采集设备用于采集数据；

所述配置管理中心模块用于配置智能采集设备的配置信息；所述配置信息包括协议信息和设备信息，其中所述协议信息包括协议描述、协议字段和数据体，所述设备信息包括设备所属协议、转换格式、转发主题；

所述处理中心模块包括收发器、接收中心、处理模块和分发中心；

所述收发器用于接收上述采集数据，并将接收的采集数据发送给所述接收中心；

所述接收中心用于存储上述采集数据，以防止处理不及时引起数据的溢出；

所述处理模块用于获取并更新上述配置信息，并根据所述配置信息对上述存储的采集数据进行协议解析、转换，以转发给所述分发中心的不同主题；

所述分发中心包括多个不同的主题，以使业务系统根据不同的主题订阅相应的数据。

进一步地，该系统还包括下发指令中心模块，用于根据业务系统查询的智能采集设备的协议信息进行指令组装，并通过网络或短信方式将指令下发到上述智能采集设备；其中所述指令组装采用工厂模式实现。

更进一步地，当指令所在智能采集设备与下发指令中心模块的连接信息正常时，采用网络方式下发，否则采用短信方式下发；并且当采用网络方式下发时，需要收发器与下发指令中心模块进行信息同步。

进一步地，该系统还包括数据生命周期监控中心模块，用于对数据采集和下发指令的整个流程进行日志信息的采集，并利用大数据处理技术分析日志信息，以及对采集数据生命周期进行全面监控。

更进一步地，所述数据生命周期监控中心模块包括采集器、分析器和展示；其中所述采集器用于采集服务日志、处理流程日志以及系统的运行状态；所述分析器采用Spark对上述采集的信息进行离线分析；所述展示用于将上述分析后的信息可视化。

进一步地，所述配置管理中心模块对智能采集设备进行可插拔式管理；所述可插拔式管理是指：无论增加的新智能采集设备采用新的协议还是删除一种类型设备，都只需在配置管理中心模块进行简单配置。

进一步地，所述处理中心模块采用分布式架构；所述处理模块采用工厂模式对采集数据进行解析。

进一步地，所述接收中心和分发中心为Kafka分布式消息系统；所述处理模块基于Flume分布式、高可靠、高可用数据聚合传输系统实现。

一种面向航道大数据的采集方法，其步骤包括：

1)配置管理中心模块配置智能采集设备的配置信息；所述配置信息包括协议信息和设备信息，其中所述协议信息包括协议描述、协议字段和数据体，所述设备信息包括设备所属协议、转换格式、转发主题；

2)智能采集设备采集数据；

3)收发器接收上述采集数据，并将接收的采集数据发送给接收中心进行存储；

4)处理模块根据上述配置信息对上述存储的采集数据进行协议解析、转换，以转发给分发中心的不同主题；

5)业务系统根据上述不同的主题订阅相应的数据。

进一步地，步骤4)中所述对上述存储的采集数据进行协议解析、转换是指将采集的报文数据解析成明文数据，转换为标准格式；其中所述标准格式为JSON格式。

本发明的有益效果在于：本发明提供一种面向航道大数据的采集系统及采集方法，该系统及方法通过对Flume大数据处理技术的改进以及配置管理中心模块实现对监测设备的可插拔式管理。在配置管理中心模块配置设备的协议信息以及基本信息，无需人工干预，即可动态采集到设备的监测数据。本发明实现了一种采集数据的动态转发机制，即在配置管理中心模块配置智能采集设备的转发主题，一个智能采集设备可转发到多个主题，处理中心模块动态获取配置管理中心模块的转发配置信息，将数据动态的发送到分发中心的不同主题，业务系统根据主题订阅相应的数据，进而达到了业务系统与智能采集设备低耦合的目的。本发明实现了下发指令中心，通过对智能采集设备指令的封装和下发策略，能够控制智能采集设备的运行，数据采集频率等。为了保证采集的高可靠性，以及故障排查的及时性，本发明实现了对采集数据生命周期的全面监控，能够及时发现数据的故障点，提高采集系统的可靠性和运行效率。

附图说明

图1是本发明一种面向航道大数据的采集系统结构图。

图2是本发明配置管理中心模块逻辑关系图。

图3是本发明处理中心模块的具体流程示意图。

图4是本发明智能采集设备动态接入流程图。

图5是本发明下发指令流程图。

图6是本发明数据生命周期管理具体流程图。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。

本发明提供一种面向航道大数据的采集系统及采集方法，如图1所示，该系统包括部署于航道周边的智能采集设备、配置管理中心模块、处理中心模块、下发指令中心模块和数据生命周期监控中心模块。

所述智能采集设备用于采集数据；

所述配置管理中心模块包括协议配置、设备配置、配置信息以及集群配置。且该模块对设备进行可插拔式管理。所述可插拔式管理是指：若增加的新智能采集设备采用新的协议，只需在配置管理中心模块进行简单配置，处理中心模块即可对新智能采集设备采集的数据进行解析处理，无需开发新智能采集设备协议的解析，处理程序；若删除一种类型设备，也只需在配置管理中心模块进行简单配置即可。通过在配置管理中心模块设置相应的信息，所述处理中心模块会及时获取最新的配置，并作出相应的变化。例如，增加一种新的协议，若有该协议的智能采集设备接入采集系统，所述处理中心模块的处理模块即可对该设备发送过来的数据进行解析，并转发到所述分发中心供业务系统订阅消费。

目前，网络协议的标准将协议分为三部分，即协议描述、协议字段(命令控制)、数据体。下面为协议描述、协议字段(命令控制)、数据体的数据库设计。

表1：协议描述数据库设计

名称	类型	描述
			id	int	协议id自增
name	string	协议名称
			rtu_code_field	string	设备编号对应的字段
start	string	开始标识位
			end	string	结束标识位
sim_start	string	sim卡开始标识位
			sim_end	string	sim卡结束标识位
data_analysis_name	string	数据分析的类名
			description	string	协议描述

表2：协议字段(命令控制)的数据库设计

名称	类型	描述
			id	int	协议字段id自增
name	string	协议字段名称
			cn_name	string	协议字段中文名称
type	string	协议字段数据类型
			start	int	开始位
end	int	结束位
			default_value	string	默认值
protocol_id	int	所属协议id

表3：数据体的数据库设计

名称	类型	描述
			id	int	数据体id自增
data_id	string	数据体标识
			type	string	数据体数据类型
start	int	开始位
			end	int	结束位
value_map	string	枚举值
			contentKeyDesc	string	数据体内容描述
protocol_id	int	所属协议id

通过对以上三个表的设置即可完成对通讯协议的完整描述，处理中心模块获取以上信息，对得到相应协议的数据进行解析后，即可得到明文的采集数据。

请参考图2，该图是本发明配置管理中心模块逻辑关系图，其描述了配置管理中心模块4部分配置的逻辑关系，以设备配置为核心，设备属于某个协议，具有接收中心、分发中心。设备的接收中心，分发中心在配置模块进行配置，配置模块又与集群相关联。通过4个模块的互相关系，实现了对设备和协议的动态管理，使采集系统具有通用性。

所述处理中心模块包括收发器、接收中心、处理模块和分发中心，其负责从智能采集设备获取报文数据，对数据缓存、协议解析、转换，再转发到分发中心。为了最大限度利用既有项目的投资，保证与现有系统的兼容性，对智能采集设备的采集数据无需从智能采集设备开始，是从收发器中获取采集数据。所述处理中心模块的具体流程示意图如图3所示，收发器将获取的数据首先发送到数据接收模块即接收中心，处理模块从接收中心获取数据后进行协议解析、转换，然后再转发到数据转发模块即分发中心。其中收发器、接收中心、处理模块、分发中心均采用分布式架构，保证构建高吞吐量采集通道。

所述处理中心模块动态从配置管理中心模块获取并更新配置信息，根据配置信息对报文数据进行相应的处理，动态更新的流程如下：

1)调用Spring的ApplicationContext容器初始化protocol、terminal等数据源。

2)初始化数据动态分发配置信息terminalForward，并缓存在内存中。

3)初始化协议、转换信息，并缓存在内存中。

4)更新内存中配置信息。

所述处理中心模块的处理模块基于Flume分布式、高可靠、高可用数据聚合传输系统实现，扩展了Flume Kafka Source，能够高可靠的从接收中心获取数据，并能根据配置信息，采用工厂模式对数据进行解析，然后动态转发到分发中心的一个或多个主题，具体处理流程如下：

1)获取内存中的配置信息，如协议信息、数据解析类、转换格式、转发配置等。

2)对协议、协议字段进行解析，该部分对所有协议均适用。

3)根据协议中配置的数据解析类，选择数据解析的工厂方法，进行相应的数据体解析。

4)通过上述协议的解析，得到采集数据的Map格式，根据协议配置中转换的格式，将该Map对象转换为配置的标准格式，此处默认转换为JSON格式。

5)根据配置信息中的转发配置，将标准格式的数据转发到分发中心的不同主题，通过上一节的动态更新，能够动态的转发到不同的主题。

本发明采用工厂模式对所有智能采集设备动态接入，其具体实现方式如图4所示。

a.数据解析接口(DataAnalysis)，定义了数据解析的基础方法。

b.数据解析抽象类(AbstractDataAnalysis)，定义了数据解析的SDK，新的设备接入时，只需实现该SDK即可实现对报文数据的数据体部分的解析，提供了通用的数据解析接口。

c.数据解析实现类(DigiarkNewDataAnalysis,DigiarkOldDataAnalysis,CustomDataAnalysis)，目前实现了数字方舟公司的新旧两种通讯协议，凡是遵守新旧协议的所有设备均能自动接入采集系统，实现数据的采集。

d.数据解析工厂默认实现类(DefaultDataAnalysisFactory)，实现数据解析工厂定义的create和getClass方法。

e.数据解析工厂(DataAnalysisFactory)，定义一个创建数据解析对象的接口，该工厂能够根据类名找到相应数据解析子类，子类决定实例化哪个数据解析类。

所述下发指令中心模块主要包括两部分，即指令组装和指令下发。指令组装与数据解析部分相同，都是采用工厂模式实现，为动态接入新的智能采集设备提供接口。指令下发有两种方式，分别是网络和短信方式。通过网络方式下发时，需要通过收发器下发，因此需要收发器与下发指令中心进行信息的同步。若网络方式失败，则选择短信方式进行下发，具体流程图如图5所示。

1)收发器接收智能采集设备发送的采集数据，保存连接信息到内存中的MAP，格式如下{rtucode:ctx}，其中ctx为智能采集设备与收发器之间的连接信息。

2)收发器启动定时任务，定时将MAP中的连接信息同步到下发指令中心模块。

3)下发指令中心模块接收到同步信息，根据同步信息更新数据库中的连接状态。

4)下发指令中心模块启动指令下发定时任务，该任务定时从数据库指令表中读取未发送的指令，判断该指令所在的智能采集设备的连接信息是否正常，若正常则将指令通过网络方式发送，若不正常，则将指令加入短信发送队列。

5)收发器收到要发送的指令信息，再次判断当前连接信息是否正常，若正常发送指令到智能采集设备，若不正常将状态发送给下发指令中心模块。

6)下发指令中心模块根据收发器的发送状态，更新数据库中的连接信息和指令发送状态。

7)下发指令中心模块启动短信下发定时任务，该任务定时将短信队列中的指令通过短信猫发送到智能采集设备，并根据发送状态更新数据库。

所述数据生命周期管理中心模块主要由三部分组成：采集器、分析器、展示。采集器主要负责服务日志、处理流程日志，以及系统的运行状态的采集，如收发器日志、Flume日志、Kafka日志和管理系统日志。采集后的日志信息，按照日期存储在HDFS上，具体流程如图6所示。

分析器采用Spark进行离线分析，Spark读取HDFS上采集到的日志信息，提取出日志的基本信息，其包括时间、日志级别、产生日志的线程名、日志事件发生的位置以及产生的日志具体信息等，根据日志级别进行分类存储(主要是ERROR级别的日志信息)，将提取出的结构化信息存储在Hive或HBase中。

展示主要负责将Hive或HBase中的信息进行可视化，方便用户或管理员进行日志信息的查询。目前，采用开源的软件Zeppelin进行可视化，该软件能够执行SQL语句查询和基本的逻辑处理操作。

以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种面向航道大数据的采集系统，包括部署于航道周边的智能采集设备、配置管理中心模块和处理中心模块；

所述智能采集设备用于采集数据；

所述配置管理中心模块用于配置智能采集设备的配置信息；所述配置信息包括协议信息和设备信息，其中所述协议信息包括协议描述、协议字段和数据体，所述设备信息包括设备所属协议、转换格式、转发主题；

所述处理中心模块包括收发器、接收中心、处理模块和分发中心；

所述收发器用于接收上述采集数据，并将接收的采集数据发送给所述接收中心；

所述接收中心用于存储上述采集数据，以防止处理不及时引起数据的溢出；

所述处理模块用于获取并更新上述配置信息，并根据所述配置信息对上述存储的采集数据进行协议解析、转换，以转发给所述分发中心的不同主题；

所述分发中心包括多个不同的主题，以使业务系统根据不同的主题订阅相应的数据。

2.如权利要求1所述的系统，其特征在于，该系统还包括下发指令中心模块，用于根据业务系统查询的智能采集设备的协议信息进行指令组装，并通过网络或短信方式将指令下发到上述智能采集设备；其中所述指令组装采用工厂模式实现。

3.如权利要求2所述的系统，其特征在于，当指令所在智能采集设备与下发指令中心模块的连接信息正常时，采用网络方式下发，否则采用短信方式下发；并且当采用网络方式下发时，需要收发器与下发指令中心模块进行信息同步。

4.如权利要求1所述的系统，其特征在于，该系统还包括数据生命周期监控中心模块，用于对数据采集和下发指令的整个流程进行日志信息的采集，并利用大数据处理技术分析日志信息，以及对采集数据生命周期进行全面监控。

5.如权利要求4所述的系统，其特征在于，所述数据生命周期监控中心模块包括采集器、分析器和展示；其中所述采集器用于采集服务日志、处理流程日志以及系统的运行状态；所述分析器采用Spark对上述采集的信息进行离线分析；所述展示用于将上述分析后的信息可视化。

6.如权利要求1所述的系统，其特征在于，所述配置管理中心模块对智能采集设备进行可插拔式管理；所述可插拔式管理是指：无论增加的新智能采集设备采用新的协议还是删除一种类型设备，都只需在配置管理中心模块进行简单配置。

7.如权利要求1所述的系统，其特征在于，所述处理中心模块采用分布式架构；所述处理模块采用工厂模式对采集数据进行解析。

8.如权利要求1所述的系统，其特征在于，所述接收中心和分发中心为Kafka分布式消息系统；所述处理模块基于Flume分布式、高可靠、高可用数据聚合传输系统实现。

9.一种采用权利要求1所述系统的面向航道大数据的采集方法，其步骤包括：

1)配置管理中心模块配置智能采集设备的配置信息；所述配置信息包括协议信息和设备信息，其中所述协议信息包括协议描述、协议字段和数据体，所述设备信息包括设备所属协议、转换格式、转发主题；

2)智能采集设备采集数据；

3)收发器接收上述采集数据，并将接收的采集数据发送给接收中心进行存储；

4)处理模块根据上述配置信息对上述存储的采集数据进行协议解析、转换，以转发给分发中心的不同主题；

5)业务系统根据上述不同的主题订阅相应的数据。

10.如权利要求9所述的方法，其特征在于，步骤4)中所述对上述存储的采集数据进行协议解析、转换是指将采集的报文数据解析成明文数据，转换为标准格式；其中所述标准格式为JSON格式。