CN106530438A - 一种海量实时行车记录仪数据采集方法及系统 - Google Patents

Abstract

本发明公开一种海量实时行车记录仪数据采集方法，其包括：数据采集服务器端通过预设数量的socket连接池接收来自行车记录仪终端的网络连接；将每一完整数据包进行解码，分析数据包内容、长度和消息的具体负载；将接受到的各类行车记录仪数据包传送给上层应用协议处理，应用协议根据数据消息类型设置不同优先级队列。本发明通过采用非阻塞数据采集通道，并对采集的数据包进行合理处理，极大提升了单节点服务器数据采集能力，提高数据采集效率。并且通过对数据进行切片处理和解码，减少数据写入和写出频率。

Description

一种海量实时行车记录仪数据采集方法及系统

技术领域

本发明涉及数据采集技术领域，尤其涉及一种海量实时行车记录仪数据采集方法及系统。

背景技术

持续增加的道路交通工具和居高不下的出行压力,对高效智慧交通产生强大需求。

当前智能交通运输领域伴随通信技术、云计算、大数据技术的发展，面临诸多新的应用需求，如车辆智能化管理和轨迹追踪、实时路况探测、自适应交通控制、视频监控与目标识别、流量预测及拥堵原因分析等。各级政府和企业在应用需求的推动下，正大力构建智能交通基础设施，形成了各种规模和应用领域的智能交通管理系统。持续增长的车辆数量、居高不下的出行压力对高效的智能交通基础设施具有强大需求。为此，不得不频繁进行软件硬件的迭代和更新，进而导致交通数据处理系统的维护成本日益提高，造成诸多企业在技术和资金上不堪重负。

并且，实时交通信息存在的种类繁多、数据类型和表现形式各异等问题，为此研究海量、高并发、非阻塞的数据处理方法对数据进行实时预处理和融合，向上层提供语义统一的数据管理模型，完成海量异构数据、多源信息的归纳和融合成为亟待解决的问题。

发明内容

本发明所要解决的技术问题在于，针对现有技术的上述不足，提出一种基于非阻塞的、海量socket的通信方式完成海量实时行车记录仪数据采集。

本发明解决其技术问题，采用的技术方案是，提出一种海量实时行车记录仪数据采集方法，其包括：

S1：数据采集服务器端通过预设数量的socket连接池接收来自行车记录仪终端的网络连接；

S2：在数据包流入过程中对数据嵌入消息头过滤器和消息编解码过滤器以将不完整数据包剔除；

S3：将每一完整数据包进行解码，分析数据包内容、长度和消息的具体负载；

S4：将接受到的各类行车记录仪数据包传送给上层应用协议处理，应用协议根据数据消息类型设置不同优先级队列，并根据队列的优先级分配不同的线程进行数据处理。

进一步地，在步骤S1中，数据采集服务器端根据行车记录仪终端的数量预先生成预设数量的socket连接；同时根据数据采集服务器端性能和资源情况设定最大可支持的socket连接数量。

进一步地，当行车记录仪终端请求与数据采集服务器端连接进行数据传送时，数据采集服务器端检查是否已存在空闲socket连接，若存在则将空闲socket连接指派至数据行车记录仪终端，若不存在空闲socket连接则检查数据采集服务器端已经存在的socket连接数量是否已超过最大可支持socket连接数量，若未超过，则为行车记录仪终端生成一个新的socket连接，若已超过，则行车记录仪终端进入等待队列，将需要传输的数据在本地进行缓存，当数据采集服务器有可用socket连接时进行数据补传输。

进一步地，在步骤S2中，还包括：分析数据的包头，查看数据包的数据容量和长度，判断数据包是否已完整接收。

进一步地，在步骤S3中，还包括：从完整数据包中解析出行车记录仪终端的具体标识符，将网络传输的数据编码转换成数据采集服务器处理所使用的编码。

进一步地，在步骤S4中，应用协议通过如下方式根据数据消息类型设置不同优先级队列：报警信息为第一优先级、车辆位置信息和状态信息为第二优先级、多媒体消息为第三优先级、行车记录仪终端心跳信息为第四优先级。

本发明还提供一种海量实时行车记录仪数据采集系统，其包括：

数据采集服务器，与数据采集服务器通过预设数量的socket连接池连接的多个行车记录仪终端；

数据包过滤单元，所述数据包过滤单元在数据包流入过程中对数据嵌入消息头过滤器和消息编解码过滤器以将不完整数据包剔除；

数据包解码单元，所述数据包解码单元将每一完整数据包进行解码，分析数据包内容、长度和消息的具体负载；

数据优先级分配单元，所述数据优先级分配单元据数据消息类型设置不同优先级队列，并根据队列的优先级分配不同的线程进行数据处理。

本发明通过采用非阻塞数据采集通道，并对采集的数据包进行合理处理，极大提升了单节点服务器数据采集能力，提高数据采集效率。并且通过对数据进行切片处理和解码，减少数据写入和写出频率。

附图说明

图1为本发明系统结构图；

图2为本发明数据采集网络数据流图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

请参照图1，本发明海量实时行车记录仪数据采集系统由多个行车记录仪终端1、数据采集服务器4构成。其中多个行车记录仪终端的数据通过3G/4G移动网络连接到基站2，基站2和数据采集服务器4之间通过以太网路由设备3实现连接。数据采集服务器4采集的数据存入数据库5中。

行车记录仪终端1与数据采集服务器4之间的数据交换过程请参照图2。

首先，本实施例中，海量的行车记录仪终端均通过socket连接与数据采集服务器建立网络连接；数据采集服务器通过预设数量的socket连接池接收来自行车记录仪的网络连接。

使用socket连接池可以最大限度提高系统资源利用效率。若不使用socket连接池，通过频繁生成socket连接则会造成巨大的系统资源开销，尤其是在本申请具有海量的行车记录仪终端的情形下。

使用socket连接池的具体过程如下：

(1)数据采集服务器根据行车记录仪终端数量预先生成一定数量的socket连接，同时根据数据采集服务器的性能和资源情况设定一个最大可以支撑的连接数量；

(2)当行车记录仪终端请求和数据采集服务器进行数据连接时，数据采集服务器首先检查是否存在空闲的socket连接，若存在空闲的socket连接，则将空闲socket连接指派至数据行车记录仪终端，若不存在空闲socket连接则检查数据采集服务器端已经存在的socket连接数量是否已超过最大可支持socket连接数量，若未超过，则为行车记录仪终端生成一个新的socket连接，若已超过，则行车记录仪终端进入等待队列，将需要传输的数据在本地进行缓存，当数据采集服务器有可用socket连接时进行数据补传输。

其次，在数据包流入过程中嵌入消息头过滤器和消息编解码过滤器以对数据进行处理，将不完整数据包剔除。

具体过程如下：对接收到的数据包，进行判断，检查数据的完成性，是否有分包数据，对数据的包头进行分析，查看数据包的数据容量和长度，是否数据包已经完整接收，对不完整数据进行进入异常数据包处理。对完整数据包发送给下一个过滤器进行处理。

再次，将通过步骤S2后得到的完整数据包进行解码，分析数据包内容、长度和消息的具体负载。

在本步骤中，由于本发明使用的数据传送方式为非阻塞，消息终端并不维持连接至数据响应阶段，为此，本实施例中还从完整数据包中解析出每一行车记录仪终端的具体标识符，将网络传输的数据编码转换成数据采集服务器处理所使用的编码。

最后，将接收到的各类行车记录仪数据包传送给上层应用协议处理，应用协议根据数据消息类型设置不同优先级队列，并根据队列的优先级分配不同的线程进行数据处理。

本实施例中，将接收的行车记录仪数据分为四大类型，分别为：报警信息、车辆位置和状态信息、多媒体信息和行车记录仪终端心跳以及其他通用信息。

报警信息包括行车记录仪采集的车辆燃油、刹车、指示灯、CAN总线等各类报警信息；该些报警信息验证危害车辆行车安全，因此具有第一有玄机，必须优先处理；

车辆位置和状态信息包括GPS定位信息、车辆剩余燃油、车辆是否进入限行围栏区域等。该些信息时各类车辆管理机构和部分时刻关注的信息，也具有较高的优先级，在系统资源许可的情况下也必须要保证及时处理。

多媒体信息指行车记录仪的车载摄像头实时拍摄的视频信息和麦克风的录音信息。该类信息对事故判断具有重要意义，但是该类信息数据量大、消息处理慢，因此优先级不宜设置太高，同时对行车记录仪终端设置突发阈值以对该类信息进行传播，通过数据采集服务器可以根据实时信息向行车记录仪终端请求点播该类信息。

行车记录仪终端心跳以及其他通用信息具有最低优先级。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种海量实时行车记录仪数据采集方法，其特征在于：包括：

S1：数据采集服务器端通过预设数量的socket连接池接收来自行车记录仪终端的网络连接；

S2：在数据包流入过程中对数据嵌入消息头过滤器和消息编解码过滤器以将不完整数据包剔除；

S3：将每一完整数据包进行解码，分析数据包内容、长度和消息的具体负载；

S4：将接受到的各类行车记录仪数据包传送给上层应用协议处理，应用协议根据数据消息类型设置不同优先级队列，并根据队列的优先级分配不同的线程进行数据处理。

2.根据权利要求1所述的海量实时行车记录仪数据采集方法，其特征在于：在步骤S1中，数据采集服务器端根据行车记录仪终端的数量预先生成预设数量的socket连接；同时根据数据采集服务器端性能和资源情况设定最大可支持的socket连接数量。

3.根据权利要求2所述的海量实时行车记录仪数据采集方法，其特征在于：当行车记录仪终端请求与数据采集服务器端连接进行数据传送时，数据采集服务器端检查是否已存在空闲socket连接，若存在则将空闲socket连接指派至数据行车记录仪终端，若不存在空闲socket连接则检查数据采集服务器端已经存在的socket连接数量是否已超过最大可支持socket连接数量，若未超过，则为行车记录仪终端生成一个新的socket连接，若已超过，则行车记录仪终端进入等待队列，将需要传输的数据在本地进行缓存，当数据采集服务器有可用socket连接时进行数据补传输。

4.根据权利要求1所述的海量实时行车记录仪数据采集方法，其特征在于：在步骤S2中，还包括：分析数据的包头，查看数据包的数据容量和长度，判断数据包是否已完整接收。

5.根据权利要求1所述的海量实时行车记录仪数据采集方法，其特征在于：在步骤S3中，还包括：从完整数据包中解析出行车记录仪终端的具体标识符，将网络传输的数据编码转换成数据采集服务器处理所使用的编码。

6.根据权利要求1所述的海量实时行车记录仪数据采集方法，其特征在于：在步骤S4中，应用协议通过如下方式根据数据消息类型设置不同优先级队列：报警信息为第一优先级、车辆位置信息和状态信息为第二优先级、多媒体消息为第三优先级、行车记录仪终端心跳信息为第四优先级。

7.一种海量实时行车记录仪数据采集系统，其特征在于：包括：

数据采集服务器，与数据采集服务器通过预设数量的socket连接池连接的多个行车记录仪终端；

数据包过滤单元，所述数据包过滤单元在数据包流入过程中对数据嵌入消息头过滤器和消息编解码过滤器以将不完整数据包剔除；

数据包解码单元，所述数据包解码单元将每一完整数据包进行解码，分析数据包内容、长度和消息的具体负载；

数据优先级分配单元，所述数据优先级分配单元据数据消息类型设置不同优先级队列，并根据队列的优先级分配不同的线程进行数据处理。