CN104320486B - 一种基于大数据的智能交通平台数据集成方法 - Google Patents

Abstract

一种基于大数据的智能交通平台数据集成方法，该方法将数据集成层部署在网络层和应用层之间；实现集成平台与子系统之间数据转发、数据暂存、数据转储功能；通过连接池形式提供生产者和消费者连接；引擎采用服务器集群提供数据服务，集群中有新服务器加入能够自动注册并上线运行，有服务器故障会通知客户端并清理连接池；引擎能够提供数据转发，数据被持久化为标准化流；生产者向引擎推送数据；消费者是主动拉取引擎上数据专题内容。本发明提供给智能交通子系统统一的数据接入服务，能够支撑大规模数据不间断稳定传输。自身转发效率高，能够提供实时数据转发和历史数据暂储功能，实现对智能交通大数据分析、处理的支撑。

Description

一种基于大数据的智能交通平台数据集成方法

技术领域

本发明涉及一种基于大数据的智能交通平台数据集成引擎设计和实现,它根据智能交通平台与子系统之间数据交换类型和交换方式，提出一种新型数据采集、存储、交互的应用服务集群构建方法，属于智能交通大数据应用领域。

背景技术

智能交通集成平台作为城市交通管理的中心：它以警用地理信息系统为依托，综合治安卡口、电子警察、视频监控、交通信号控制、警车警员GPS、交通流检测、交通设备设施管理、交通信息发布等多个子系统功能为一体。

目前国内厂家在做子系统集成时候大多会按照每个子系统数据类型将数据划分为以下几种：结构化数据（关系型数据库表结构数据）、非结构化数据（图片、音频、视频、文本等）、空间数据（地理信息数据等）。

传统划分数据类型带来的结果是：集成平台数据接入方法会与子系统数据类型强相关，必然在做数据接入服务时候会依据不同类型数据，考虑不同接入方法甚至是不同的软件架构。

智能交通集成平台所面对的数据符合大数据的特点：数量大、有用的信息少。所以采用大数据技术来处理交通海量数据成了此类应用的新需求。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提出一种基于大数据的智能交通平台数据集成方法。该方法设计合理，采用统一的系统架构对数据接入流程进行重新设计和优化，提供了一个具有高稳定性、高吞吐的数据接入、存储、转发层。

本发明所要解决的技术问题是通过以下的技术方案来实现的。本发明是一种基于大数据的智能交通平台数据集成方法，其特点是：该方法将数据集成层部署在网络层和应用层之间；实现集成平台与子系统之间数据转发、数据暂存、数据转储功能；能够支持大数据应用；通过连接池形式提供生产者和消费者连接；引擎采用服务器集群提供数据服务，集群中有新服务器加入能够自动注册并上线运行，有服务器故障会通知客户端并清理连接池；引擎能够提供数据转发，数据持久化，向Hdfs文件存储系统转储；数据被持久化为标准化流，保存到FIFO文件队列，同时在内存中维持一张文件头索引表；生产者向引擎推送数据，并发布数据专题；消费者是主动拉取引擎上数据专题内容，并自己记录已经拉取的数据位置；引擎向消费者发送其请求的数据时，采用零拷贝方法；据专题作为消费者识别数据类型的依据；数据专题可以和多个段文件进行关联，实现专题数据内容的横向扩展；每个段文件在多台服务器上有复本，从而保证数据文件安全。

本发明所要解决的技术问题还可以通过以下的技术方案来进一步实现。本发明所述的方法，其特点是：段文件多个文件复本所在服务器被划分为Master和Slave两类角色，Master负责数据写操作、转发读操作、通知Slave进行数据同步；Slave负责转发写操作、与Master同步、提供读取服务；Master是从Slave中选举出来，在集群发现Master不能提供正常服务后会发起选举， Slave的数量必须满足2*n+1才能保证选举成功，选举采用fastpaxos算法。

本发明所要解决的技术问题还可以通过以下的技术方案来进一步实现。本发明所述的方法，其特点是：该方法基于大数据的存储系统来设计数据接入层；从集成平台接入层就对数据进行了分类，实时数据直接分发到集成平台客户端显示；历史消费的数据由支持大数据处理的文件存储系统来存取，需要进一步处理的数据采用大数据处理方法，将数据按需转换到不同的数据仓库中供集成平台调取；无需处理的数据直接按照原始的数据格式进行留存。

本发明所要解决的技术问题还可以通过以下的技术方案来进一步实现。本发明所述的方法，其特点是：数据存储转发引擎生产数据处理流程如下：

（1）引擎获取生产者连接，接收生产者发送的数据到临时队列。引擎会根据配置文件中设置的数据缓存长度或者缓存时长，检查接收到的数据量，达到配置文件要求时，会执行数据持久化操作；

（2）由于数据持久化是通过Master来完成，所以数据在持久化到段文件之前，引擎会判断该段文件所在的Master是否正常，如果正常则进行下一步写入段文件操作；则转入Master选举流程；

（3）Master选举流程选用fast paxos算法，该算法对参与选举的服务器数要求必须是2*n+1个；选举是由当前写入服务器发起，并由其统计每个Slave得票数，其他的Slave服务器负责投票，直到Master产生；

（4）Master产生后将负责把文件写入到段文件中，根据生产者要求将段文件关联到指定专题，同时在内存索引表中添加该段文件地址索引项；

（5）结束数据上传流程，并发布到专题，供消费者拉取消费。

本发明所要解决的技术问题还可以通过以下的技术方案来进一步实现。本发明所述的方法，其特点是：数据存储转发引擎消费数据处理流程如下：

（1）引擎获取消费者连接，接收消费者拉取数据的请求；该请求中包括消费者要消费的专题项信息、段文件起始地址、内部数据偏移量等；

（2）引擎从页面缓存中直接将数据转递到socket缓存，发送给消费者；

（3）段文件中的每条数据都会有一个递增的唯一ID标识；Slave服务器会定期向Master发送最大标识ID，询问Master是否需要同步数据，Master收到标识后会给出应答，同步采用增量同步方式，每次同步的增量Master在应答中会告知Slave，Slave收到后就启动同步线程，执行同步；

（4）每次消费者拉取的数据多少，引擎端不做任何的记录；需要消费者在本地记录已经读取的数据地址和偏移，当然消费者也可以通过修改地址和偏移的方式，重复读取引擎端的数据。

智能交通集成指挥平台分为以下五层：用户界面层、应用层、数据集成层、网络层、设备层，参见图1。本发明主要完成数据存储转发引擎集群设计和实现。集群设计的目标是：单个引擎功能设计如图2数据存储转发引擎功能图所示。本发明从对数据到达消费者的时效性要求的高低，将智能交通集成平台数据划分为两类：实时消费数据和历史消费数据。为了实现统一设计，就要统一这两类数据处理方法。通常只要能满足消费实时数据要求，同时增加数据缓存队列保存历史数据，就可以满足消费历史数据要求。本发明采用集群的方式实现高稳定性、高性能。引擎集群能够自动感知集群新进引擎并上线提供服务。老引擎停止服务时通知生产者和消费者，重新选取引擎服务来处理数据。引擎中的数据由生产者推送过来，为了避免频繁的IO操作，生产者是按批次推送数据，引擎成批的接收数据，消费者成批的拉取数据。

引擎为了提高数据转发、转储的效率，对数据内容不进行任何解析操作。生产者将数据格式化为统一结构（例如：google buffer、json等）然后序列化为标准文件流。标准化文件流就可以方便在网络层、引擎服务器、消费者之间进行传输，这种数据只有到达真正的使用者时才会被解析，反序列化出来。传输采用零拷贝技术，减少数据在用户空间缓存与内核空间缓存的拷贝。如图3零拷贝与传统发送数据流程对比图。

在引擎服务器内存维护一张段文件索引表，存储每个段文件起始地址。持久化生产者发送的数据到引擎服务器段文件中，段文件采用FIFO队列组织。提供多个段文件在不同引擎服务器上的数据复本，保证持久化数据安全。

每一个段文件多个复本分别存放在不同的物理服务器上，物理服务器会被划分为两类角色：Master和Slave。Master负责段文件的写操作、并通知Slave数据同步；Slave负责向Master转发写操作，提供应用层读取服务。Master是采用paxos动态选举产生，一旦一个Master失效，会从Slave中重新选举一个Master,此算法需要段文件复本数大于2*N+1个。

自动在引擎集群之间同步数据，保证所有消费者在任意一个引擎上看到的数据都是一致的。引擎向生产者提供发布数据专题接口，将专题关联到无限多个段文件上，从而保证专题内容可以横向扩展；通过不同专题向应用层提供不同协议类型的数据。协调生产者推送数据速度和消费者拉取数据速度，避免当消费者由于资源限制不能及时处理生产者发送数据，而引起消费者服务器资源耗尽的拒绝服务攻击。引擎提供数据访问连接池，生产者和消费者每次连接到引擎时会初始化连接池，当推送或拉取数据时会从连接池中优选一条连接传输数据。

消费者保存当前的数据专题信息，包括专题中段文件的起始地址和段文件中已经读取数据的偏移量。每次读取都会根据当前偏移加上数据长度来拉取数据。由于数据读取偏移是记录在消费者，所以消费者通过回退偏移量，可以重新拉取以前使用的数据。这个特性可以保证历史上被错误处理的数据，可以在修复消费逻辑后重新处理一遍。在实际中如车流量数据在纠偏时采用算法得到进一步完善，就可以在实施新算法后采用回退机制重新获取一遍原始数据进行纠偏。当然历史数据保留期限可以在引擎上设置，引擎会自动清理过期数据，防止历史数据占满引擎存储空间。

本发明是一种基于大数据的智能交通平台数据集成引擎，引擎提供给智能交通子系统统一的数据接入服务，能够支撑大规模数据不间断稳定传输。引擎通过集群设计和优化数据存取模式提高自身转发效率，能够提供实时数据转发和历史数据暂储功能，通过原生支持HDFS文件转储，实现对智能交通大数据分析、处理的支撑。

附图说明

图1为基于大数据集成平台结构图；

图2为数据存储转发引擎功能图；

图3为零拷贝与传统发送数据流程对比图；

图4为基于大数据与传统数据处理流程图对比图；

图5为数据存储转发引擎生产数据处理流程图；

图6为数据存储转发引擎消费数据处理流程图。

具体实施方式

以下参照附图，进一步地对本发明的技术方案进行描述，以使本领域技术人员进一步地理解本发明，而不构成对本发明权利的限制。

实施例1，参照图1-3，一种基于大数据的智能交通平台数据集成方法，该方法将数据集成层部署在网络层和应用层之间；实现集成平台与子系统之间数据转发、数据暂存、数据转储功能；能够支持大数据应用；通过连接池形式提供生产者和消费者连接；引擎采用服务器集群提供数据服务，集群中有新服务器加入能够自动注册并上线运行，有服务器故障会通知客户端并清理连接池；引擎能够提供数据转发，数据持久化，向Hdfs文件存储系统转储；数据被持久化为标准化流，保存到FIFO文件队列，同时在内存中维持一张文件头索引表；生产者向引擎推送数据，并发布数据专题；消费者是主动拉取引擎上数据专题内容，并自己记录已经拉取的数据位置；引擎向消费者发送其请求的数据时，采用零拷贝方法；据专题作为消费者识别数据类型的依据；数据专题可以和多个段文件进行关联，实现专题数据内容的横向扩展；每个段文件在多台服务器上有复本，从而保证数据文件安全。

实施例2，实施例1所述的方法中：段文件多个文件复本所在服务器被划分为Master和Slave两类角色，Master负责数据写操作、转发读操作、通知Slave进行数据同步；Slave负责转发写操作、与Master同步、提供读取服务；Master是从Slave中选举出来，在集群发现Master不能提供正常服务后会发起选举， Slave的数量必须满足2*n+1才能保证选举成功，选举采用fast paxos算法。

实施例3，实施例1所述的方法中：该方法基于大数据的存储系统来设计数据接入层；从集成平台接入层就对数据进行了分类，实时数据直接分发到集成平台客户端显示；历史消费的数据由支持大数据处理的文件存储系统来存取，需要进一步处理的数据采用大数据处理方法，将数据按需转换到不同的数据仓库中供集成平台调取；无需处理的数据直接按照原始的数据格式进行留存。

实施例4，如图4基于大数据与传统数据处理流程对比图所示，基于大数据的存储系统来设计数据接入层。从集成平台接入层就对数据进行了分类，实时数据直接分发到集成平台客户端显示；历史消费的数据由支持大数据处理的文件存储系统来存取，需要进一步处理的数据采用大数据处理技术和方法，将数据按需转换到不同的数据仓库中供集成平台调取；无需处理的数据直接按照原始的数据格式进行留存。图4中与传统方法相比，本设计避开数据转储的过程，将数据接入层直接与大数据存储层对接，实现了对大数据处理原生支持。减少数据处理流程，避免数据格式来回转换造成服务器资源开销，将有限服务器资源集中到集成平台上层更关注的大数据应用上。

实施例5，实施例1所述的方法中：如图5数据存储转发引擎生产数据处理流程图：

1)引擎获取生产者连接，接收生产者发送的数据到临时队列。引擎会根据配置文件中设置的数据缓存长度或者缓存时长，检查接收到的数据量，达到配置文件要求时，会执行数据持久化操作。

2)由于数据持久化是通过Master来完成，所以数据在持久化到段文件之前，引擎会判断该段文件所在的Master是否正常，如果正常则进行下一步写入段文件操作。否则转入Master选举流程。

3)Master选举流程选用fast paxos算法，该算法对参与选举的服务器数要求必须是2*n+1个。选举是由当前写入服务器发起，并由其统计每个Slave得票数，其他的Slave服务器负责投票，直到Master产生。

4)Master产生后将负责把文件写入到段文件中，根据生产者要求将段文件关联到指定专题，同时在内存索引表中添加该段文件地址索引项。

5)结束数据上传流程，并发布到专题，供消费者拉取消费。

实施例6，实施例1所述的方法中：如图6数据存储转发引擎消费数据处理流程图：

1)引擎获取消费者连接，接收消费者拉取数据的请求。该请求中包括消费者要消费的专题项信息、段文件起始地址、内部数据偏移量等。

2)引擎从页面缓存中直接将数据转递到socket缓存，发送给消费者。

3)段文件中的每条数据都会有一个递增的唯一ID标识。Slave服务器会定期向Master发送最大标识ID，询问Master是否需要同步数据，Master收到标识后会给出应答，同步采用增量同步方式，每次同步的增量Master在应答中会告知Slave，Slave收到后就启动同步线程，执行同步。

4)每次消费者拉取的数据多少，引擎端不做任何的记录。需要消费者在本地记录已经读取的数据地址和偏移，当然消费者也可以通过修改地址和偏移的方式，重复读取引擎端的数据。

以上实现了基于大数据智能交通平台数据集成引擎设计，本引擎能提供高性能的智能交通平台大数据接入服务，能够支撑智能交通平台大数据分析、处理的要求。

Claims (3)

1.一种基于大数据的智能交通平台数据集成方法，其特征在于：该方法将数据集成层部署在网络层和应用层之间；实现集成平台与子系统之间数据转发、数据暂存、数据转储功能；能够支持大数据应用；通过连接池形式提供生产者和消费者连接；引擎采用服务器集群提供数据服务，集群中有新服务器加入能够自动注册并上线运行，有服务器故障会通知客户端并清理连接池；引擎能够提供数据转发，数据持久化，向Hdfs文件存储系统转储；数据被持久化为标准化流，保存到FIFO文件队列，同时在内存中维持一张文件头索引表；生产者向引擎推送数据，并发布数据专题；消费者主动拉取引擎上数据专题内容，并自己记录已经拉取的数据位置；引擎向消费者发送其请求的数据时，采用零拷贝方法；数据专题作为消费者识别数据类型的依据；数据专题和多个段文件进行关联，实现专题数据内容的横向扩展；每个段文件在多台服务器上有复本，从而保证数据文件安全；

段文件多个文件复本所在服务器被划分为Master和Slave两类角色，Master负责数据写操作、转发读操作、通知Slave进行数据同步；Slave负责转发写操作、与Master同步、提供读取服务；Master是从Slave中选举出来，在集群发现Master不能提供正常服务后会发起选举， Slave的数量必须满足2*n+1才能保证选举成功，选举采用fast paxos算法；

该方法基于大数据的存储系统来设计数据接入层；从集成平台接入层就对数据进行了分类，实时数据直接分发到集成平台客户端显示；历史消费的数据由支持大数据处理的文件存储系统来存取，需要进一步处理的数据采用大数据处理方法，将数据按需转换到不同的数据仓库中供集成平台调取；无需处理的数据直接按照原始的数据格式进行留存；

适用于该方法的智能交通集成指挥平台分为以下五层：用户界面层、应用层、数据集成层、网络层、设备层；该方法主要完成数据存储转发引擎集群设计和实现；从对数据到达消费者的时效性要求的高低，将智能交通集成平台数据划分为两类：实时消费数据和历史消费数据；采用集群的方式实现高稳定性、高性能；引擎集群能够自动感知集群新进引擎并上线提供服务；

老引擎停止服务时通知生产者和消费者，重新选取引擎服务来处理数据；引擎中的数据由生产者推送过来，为了避免频繁的IO操作，生产者是按批次推送数据，引擎成批的接收数据，消费者成批的拉取数据；

引擎为了提高数据转发、转储的效率，对数据内容不进行任何解析操作；生产者将数据格式化为统一结构然后序列化为标准文件流；标准化文件流就可以方便在网络层、引擎服务器、消费者之间进行传输，这种数据只有到达真正的使用者时才会被解析，反序列化出来；传输采用零拷贝技术，减少数据在用户空间缓存与内核空间缓存的拷贝；

在引擎服务器内存维护一张段文件索引表，存储每个段文件起始地址；持久化生产者发送的数据到引擎服务器段文件中，段文件采用FIFO队列组织；提供多个段文件在不同引擎服务器上的数据复本，保证持久化数据安全；

每一个段文件多个复本分别存放在不同的物理服务器上，物理服务器会被划分为两类角色：Master和Slave；Master负责段文件的写操作、并通知Slave数据同步；Slave负责向Master转发写操作，提供应用层读取服务；Master是采用paxos动态选举产生，一旦一个Master失效，会从Slave中重新选举一个Master。

2.根据权利要求1所述的基于大数据的智能交通平台数据集成方法，其特征在于：数据存储转发引擎生产数据处理流程如下：

引擎获取生产者连接，接收生产者发送的数据到临时队列，引擎会根据配置文件中设置的数据缓存长度或者缓存时长，检查接收到的数据量，达到配置文件要求时，会执行数据持久化操作；

由于数据持久化是通过Master来完成，所以数据在持久化到段文件之前，引擎会判断该段文件所在的Master是否正常，如果正常则进行下一步写入段文件操作；则转入Master选举流程；

Master选举流程选用fast paxos算法，该算法对参与选举的服务器数要求必须是2*n+1个；选举是由当前写入服务器发起，并由其统计每个Slave得票数，其他的Slave服务器负责投票，直到Master产生；

Master产生后将负责把文件写入到段文件中，根据生产者要求将段文件关联到指定专题，同时在内存索引表中添加该段文件地址索引项；

结束数据上传流程，并发布到专题，供消费者拉取消费。

3.根据权利要求1所述的基于大数据的智能交通平台数据集成方法，其特征在于：数据存储转发引擎消费数据处理流程如下：

引擎获取消费者连接，接收消费者拉取数据的请求；该请求中包括消费者要消费的专题项信息、段文件起始地址、内部数据偏移量；

引擎从页面缓存中直接将数据转递到socket缓存，发送给消费者；

段文件中的每条数据都会有一个递增的唯一ID标识；Slave服务器会定期向Master发送最大标识ID，询问Master是否需要同步数据，Master收到标识后会给出应答，同步采用增量同步方式，每次同步的增量Master在应答中会告知Slave，Slave收到后就启动同步线程，执行同步；

每次消费者拉取的数据多少，引擎端不做任何的记录；需要消费者在本地记录已经读取的数据地址和偏移，当然消费者通过修改地址和偏移的方式，重复读取引擎端的数据。