CN104200669B - 一种基于Hadoop的套牌车识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于Hadoop的套牌车识别方法，包含以下顺序的步骤：将各个智能卡口系统采集的过往车辆的信息，进行预处理汇总，采用HBase分布式数据库存储车辆车流数据；利用Hadoop分布式框架对车流数据和卡口数据进行建模和分析，通过MapReduce编程框架实现可疑套牌车识别，对可疑套牌车进行行驶轨迹分析，建立套牌车预警信息库。本发明的方法及系统，采用分布式技术，解决了现有技术中由于难以处理大数据量而导致难以有效识别套牌车辆等问题，可以有效地处理TB级以上的数据，能更多更准确地发现套牌车，为交管部门查处套牌车提供依据。

Description

一种基于Hadoop的套牌车识别方法及系统

技术领域

本发明涉及大数据分析领域，特别涉及一种基于Hadoop的套牌车识别方法及系统。

背景技术

随着我国国民经济水平的增长，机动车保有量每年都在迅速增长，查处各种交通违法违章现象是确保交通安全的重要举措。在各种交通违法违章中，车辆“套牌”是具有严重危害的违法行为。车辆“套牌”现象，指车辆非法使用与其他合法车辆相同的车牌号的现象。根据各地媒体的报道，“套牌”车辆严重危害交通运输行业及其运营秩序，对人们的安全及合法车辆的利益形成严重的威胁。不法分子套用他人车辆牌照，逃避肇事责任、逃避税费和从事犯罪活动，严重影响了人民的生命财产安全，扰乱了社会秩序，危害了社会安全。治理“套牌”车辆，已成为各地公安部门和交通管理部门的重要任务。

已有文献和公开的专利提出了套牌车的识别方法。目前的主要方法有车辆信息对比法和车辆行驶地点判别法。车辆信息对比法是在交通管理中心建立一个登记车辆信息库，通过物联网或视频图像分析获得的车辆信息和数据库中的车辆信息比对，如果不符，则该车牌是可疑套牌。如杨博提出的基于物联网的套牌车检测方法，采用电子标签技术，将存储了机动车车牌和发动机号等信息的电子标签植入机动车，当机动车驶入布防的监控点覆盖的范围时，电子标签中的信息被自动读出来，和交通管理部门数据库中的车辆信息比对，信息不符则被认定为套牌车。专利申请号为201310170646的方法是建立车型特征库和车辆基础库，根据采集的车辆图像识别车辆车牌、车型等，并与根据车牌从车型特征库中检索获得的车型进行比对识别套牌车辆。专利申请号为200910099475的方法是只要具有相同车牌号的两辆以上的车辆同时出现在路上，根据出现的时间和地点识别是否套牌。宁波大学通过设置于车辆数据信息处理中心中的时间矩阵、输入缓存区、窗口索引表、窗口数据存储区提高了识别速度，实现在线识别。

上述方法在实际应用时存在一些弊端。基于物联网的套牌车识别方法需要给机动车植入电子标签和部署无线监测点，成本较高；基于图像和视频的方法受光照、环境影响较大，准确率不高，车辆行驶地点判别法需要处理的数据量大，要求处理系统的效率足够高。这些方法都需要对每个经过监测点的车辆进行分析和处理，计算量和数据量大。由于套牌车的活动范围很广，监测点越多，采集的车辆信息越多时，将能更多地识别出套牌车牌。对于一个车辆保有量巨大的城市而言，每天采集的车辆数据量达到TB级，采用文件存储或数据库存储方式，对数据的查询和分析的效率是十分低下的，按单台计算机100MB/sec计算，读取2TB数据需要1.5小时，在此基础上实现查询分析几乎是不可完成的任务，采用SQL数据库是较常用的方法，但数据库需要足够强大的计算机，在TB及以上数据处理中，数据库的数据管理和优化难度极大。

为实现快速有效地分析大规模的交通车辆数据，需要一种新的技术方案来满足交管部门的需求。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于Hadoop的套牌车识别方法。

本发明的另一目的在于提供一种基于Hadoop的套牌车识别系统。

本发明的目的通过以下的技术方案实现：

一种基于Hadoop的套牌车识别方法，包含以下顺序的步骤：

S1.对各个智能卡口系统采集的过往车辆的信息进行预处理汇总，采用HBase分布式数据库组织数据，进行分布式存储；

S2.利用Hadoop分布式框架对车流数据和卡口数据进行建模和分析，通过MapReduce编程框架实现可疑套牌车识别：

(1)通过卡口的位置信息计算距离，对车流信息用正态分布拟合经过卡口的速度值，用奇异值检测方法，过滤异常速度值，统计得到卡口间的平均速度，求得卡口间的理论行驶时间；

(2)根据车辆通过卡口的时间得到实际行驶时间，当实际行驶时间明显小于理论行驶时间，则该车为可疑套牌车；

S3.对可疑套牌车进行行驶轨迹分析，建立套牌车预警信息库。

所述的步骤S1，具体包含以下顺序的步骤：

(1)将各个智能卡口系统采集的过往车辆车流信息的EXCEL格式文件转换成CSV格式文件；

(2)利用基于相似度的匹配算法对卡口数据文件和车流数据文件中的卡口信息进行重新匹配；

(3)对数据进行规范和去噪处理；

(4)将转化完成后的统一格式文件，保存到HBase分布式数据库中。

所述的步骤S2，具体包含以下步骤：

A、加载卡口信息数据，包括卡口名称和位置经纬度；

B、对每辆车经过的全部卡口按通过卡口的时间排序；

C、遍历排序过的卡口序列，分析车辆经过两个卡口的时间；若某车牌的车在不合理的时间间隔经过两个卡口，该车牌为可疑车牌，该车为可疑套牌车，具体如下：

a、根据卡口的经纬度计算相邻两个卡口的距离：

其中，EARTH_RADIUS是地球的半径，lng1、lat1分别为卡口1的经度、纬度，lng2、lat2分别为卡口2的经度、纬度；

b、将车辆行驶速度设定一个上限值v，利用公式t＝Distance/v计算两个卡口间理论上的行驶时间T；车辆通过两个卡口的时间为T1和T2，则车辆在两个卡口之间实际行驶时间为T1-T2：若实际行驶时间大于理论行驶时间T，则合理；否则，该车牌为可疑车牌。

所述的步骤S3，具体包含以下顺序的步骤：

A、对可疑车牌，输出车牌号码、车牌种类、车牌颜色，发现可疑车牌的卡口名称及该车牌关联的卡口序列；

B、根据可疑套牌车的卡口序列，分析行驶轨迹，定位套牌车活动区域；当一辆车经过两个卡口的时间不合理时，这两个卡口可能是套牌车辆的两条路径分别经过的卡口；利用交通道路图和卡口分布图，以及对车辆轨迹的统计分析，判断这两个卡口的相邻卡口，然后继续判断相邻卡口的相邻卡口，形成套牌车辆的行驶路径，从而定位可疑套牌车的活动区域；

C、建立套牌车预警信息库，包括可疑套牌车辆的车牌号码、车牌种类、车牌颜色，发现疑问的卡口名称及套牌车的可能活动区域。

本发明的另一目的通过以下的技术方案实现：

一种基于Hadoop的套牌车识别系统，包括车流数据预处理和存储模块、车流数据分析模块、基于Web的查询输出模块，其中

车流数据预处理和存储模块，将各个智能卡口系统采集的过往车辆的信息，进行预处理后汇总，采用HBase分布式数据库组织数据，进行分布式存储；

车流数据分析模块，利用Hadoop分布式框架对车流数据和卡口数据进行建模和分析，通过MapReduce编程框架实现基于距离-时间的合理差检测，识别可疑套牌车，并对可疑套牌车进行行驶轨迹分析，建立套牌车预警信息库；

基于Web的查询输出模块，实现对可疑套牌车辆检测系统的控制、套牌车识别结果的展示输出及对卡口数据的查询。

车流数据预处理和存储模块中，所述的车流数据预处理通过ETL模块实现，用于对原始数据的提取、转换、重新保存到分布式数据库Hbase中。

车流数据分析模块中，所述的MapReduce编程框架包括Map模块和Reduce模块，Map模块实现对车流信息数据的读取，解析车流信息数据，将输出的数据传入Reduce模块做进一步处理；Reduce模块分析车流数据，识别套牌车牌；输出的结果为可疑的套牌车牌。

所述的基于Web的查询输出模块，对卡口数据及分析结果进行展示；对可疑套牌车辆检测系统进行控制；采用BS架构。

所述的对卡口数据及分析结果进行展示，包括基本车流数据查询结果的展示、基本卡口数据查询结果的展示、可疑套牌检测结果查询结果的展示。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明可对交通卡口数据进行高效的查询和分析。智能交通卡口广泛分布在各条道路上，采集过往车辆的信息，一个地区或城市的所有卡口每天采集的数据量达到TB级，采用分布式数据库才能有效存储日益增加的庞大的数据，并且实现高效的数据查询和分析。

2、本发明可高效地识别出套牌车牌。对于TB级的交通卡口数据，采用本方法，利用MapReduce计算模式，可以快速完成每个车牌数据的汇集、车辆经过相邻卡口的时间差的合理性判断，高效地识别出可疑套牌车牌。

3、本方法可更为有效地识别出套牌车牌。利用Hadoop分布式框架可以对大规模的数据进行分析计算，可以对更多地区和城市的所有交通卡口在较长时段采集的数据进行分析，因而可以更为有效地识别可疑套牌车

4、本发明建立的可疑套牌车信息库的套牌车信息是对大规模数据分析得到，非被动地根据举报信息获取。本方法对交通卡口数据的分析判断可疑套牌车，可以发现尚未被举报的和未在交警数据库备案的套牌车牌，可以帮助交管部门主动地发现和查处违法套牌车。

5、本发明可对可疑套牌车定位，有利于交管部门查处和打击套牌违法行为。本方法发现可疑套牌车牌后，分析可疑套牌车牌的车辆轨迹，可以进一步证实该车是否套牌，提高套牌车识别准确性，而且可以确定套牌车的活动地域，可帮助交管部门进行布防，有效地查处套牌车。

6、车辆行驶速度上限值可以根据车流信息数据，分时段统计经过每个卡口时的速度，得到每个卡口在不同时段所有车辆经过的速度，考虑到其中的有些速度可能因为测速不准或者超速等造成的误差，本发明采用奇异值检测方法，假设卡口经过的速度值符合正态分布，用正态分布区拟合卡口不同时段的经过的速度值，将小概率事件(概率小于5％)作为异常值，过滤异常的速度值，然后通过统计得到经过卡口的平均速度，精确度更高。

附图说明

图1为本发明所述的一种基于Hadoop的套牌车识别方法的工作流程图；

图2为图1所述方法的车流数据分析流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1、2，一种基于Hadoop的套牌车识别方法，包含以下顺序的步骤：

S1.对各个智能卡口系统采集的过往车辆的信息进行预处理汇总，采用HBase分布式数据库存储数据；具体包含以下顺序的步骤：

(1)将各个智能卡口系统采集的过往车辆车流信息的EXCEL文件格式的原始数据转换成CSV格式文件；

(2)利用基于相似度的匹配算法对卡口数据文件和车流数据文件的卡口信息进行重新匹配；

(3)对数据进行规范和去噪处理；

(4)转化完成后的统一格式文件，保存到HBase分布式数据库中；

S2.利用Hadoop分布式框架对车流数据和卡口数据进行建模和分析，通过MapReduce编程框架实现可疑套牌车识别：

(1)通过卡口的位置信息计算距离，对车流信息用正态分布区拟合经过卡口的速度值，用奇异值检测方法，过滤异常速度值，统计得到卡口间的平均速度，求得卡口间的理论行驶时间；

(2)根据车辆通过卡口的时间得到实际行驶时间，当实际行驶时间明显小于理论行驶时间，则该车为可疑套牌车；

如图2，该步骤具体包含以下步骤：

A、加载卡口信息数据，包括卡口名称和位置经纬度；

B、对每辆车经过的全部卡口按通过卡口的时间排序；

C、遍历排序过的卡口序列，分析车辆经过两个卡口的时间；若某车牌的车在不合理的时间间隔经过两个卡口，该车牌为可疑车牌，该车为可疑套牌车，具体如下：

a、根据卡口的经纬度计算相邻两个卡口的距离：

其中，EARTH_RADIUS是地球的半径，lng1、lat1分别为卡口1的经度、纬度，lng2、lat2分别为卡口2的经度、纬度；

b、将车辆行驶速度设定一个上限值v，利用公式t＝Distance/v计算两个卡口间理论上的行驶时间T；车辆通过两个卡口的时间为T1和T2，则车辆在两个卡口之间实际行驶时间为T1-T2：若实际行驶时间大于理论行驶时间T，则合理；否则，该车牌为可疑车牌；

图1中，在Hadoop集群的多个节点上对车流数据进行分析，Map模块解析车流信息数据，抽取各个特征字段，将各个特征字段组成规定的输出格式输出给Reduce模块；Reduce模块实现对Map模块传过来的数据的处理，从中检测出可疑的套牌车辆；

S3.对可疑套牌车进行行驶轨迹分析，建立套牌车预警信息库，具体包含以下顺序的步骤：

A、对可疑车牌，输出车牌号码、车牌种类、车牌颜色，发现可疑车牌的卡口名称及该车牌关联的卡口序列；

B、根据可疑套牌车的卡口序列，分析行驶轨迹，定位套牌车活动区域；

C、建立套牌车预警信息库，包括可疑套牌车辆的车牌号码、车牌种类、车牌颜色，发现疑问的卡口名称及套牌车的可能活动区域。

例如一辆车牌为粤A XXXXX的车，在10:20:00经过卡口A，在10:20:10经过卡口B，经过两个卡口的时间间隔是10秒，卡口A和B的距离是20公里，该车经过这两个卡口的时间不合理；

当一辆车经过两个卡口的时间不合理时，这两个卡口可能是套牌车辆的两条路径分别经过的卡口。利用交通道路图和卡口分布图，以及对车辆轨迹的统计分析，判断这两个卡口的相邻卡口，然后继续判断相邻卡口的相邻卡口，形成套牌车辆的行驶路径，从而定位可疑套牌车的活动区域。

一种基于Hadoop的套牌车识别系统，包括车流数据预处理和存储模块、车流数据分析模块、基于Web的查询输出模块，其中

车流数据预处理和存储模块，将各个智能卡口系统采集的过往车辆的信息，进行预处理后汇总，采用HBase分布式数据库组织数据，进行分布式存储；

车流数据分析模块，利用Hadoop分布式框架对车流数据和卡口数据进行建模和分析，通过MapReduce编程框架实现基于距离-时间的合理差检测，识别可疑套牌车，并对可疑套牌车进行行驶轨迹分析，建立套牌车预警信息库；所述的MapReduce编程框架包括Map模块和Reduce模块，Map模块实现对车流信息数据的读取，解析车流信息数据，将输出的数据传入Reduce模块做进一步处理，分析车流数据，识别套牌车牌；输出的结果为可疑的套牌车牌；车流数据预处理和存储模块中，所述的车流数据预处理通过ETL模块实现，用于对原始数据的提取、转换、保存到HBase分布式数据库中；

基于Web的查询输出模块，实现对可疑套牌车辆检测系统的控制、套牌车识别结果的展示输出及对卡口数据和车辆车流数据的查询；具体如下：

一、基本车流数据查询功能

对车流基本数据的统计查询

(1)给定一辆车的车牌号码、种类、颜色，查询这辆车经过所有卡口的记录。

(2)给定一个卡口名称，查询经过这个卡口的所有车辆。

(3)给定一个时间段，查询在这个时间段的所有车辆数据。

二、基本卡口数据查询功能

对卡口的基本信息的查询和过滤。

(1)给定一个卡口名称，查询该卡口的经纬度，方向等信息。

(2)给定一个未知的卡口名称，在已有卡口中是否可以匹配成功。

三、可疑套牌检测结果查询功能

用于友好展示系统输出的可疑套牌车辆，输出包括：车牌号、车牌颜色、车牌种类、可疑起始卡口位置、可疑终止卡口位置、卡口间的距离、实际时间间隔(s)、理论时间间隔(s)、结论(可疑，或者合理)，车辆的行驶轨迹。

例如一辆车牌为粤A XXXXX的车，可以查询该车是否可疑套牌车，可以快速地查询出该车在某一时间段进过的所有卡口记录，分析该车的行驶轨迹。

给定一个时间段，可以查询该时段的所有车辆信息；给定一个卡口名称，可以查询经过该卡口的所有车辆信息。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于Hadoop的套牌车识别方法，其特征在于，包含以下顺序的步骤：

S1.对各个智能卡口系统采集的过往车辆的信息进行预处理汇总，采用HBase分布式数据库组织数据，进行分布式存储；

S2.利用Hadoop分布式框架对车流数据和卡口数据进行建模和分析，通过MapReduce编程框架实现可疑套牌车识别：

(1)通过卡口的位置信息计算距离，对车流信息用正态分布拟合经过卡口的速度值，用奇异值检测方法，过滤异常速度值，统计得到卡口间的平均速度，求得卡口间的理论行驶时间；

(2)根据车辆通过卡口的时间得到实际行驶时间，当实际行驶时间明显小于理论行驶时间，则该车为可疑套牌车；

S3.对可疑套牌车进行行驶轨迹分析，建立套牌车预警信息库：

(1)对可疑车牌，输出车牌号码、车牌种类、车牌颜色，发现可疑车牌的卡口名称及该车牌关联的卡口序列；

(2)根据可疑套牌车的卡口序列，分析行驶轨迹，定位套牌车活动区域；当一辆车经过两个卡口的时间不合理时，这两个卡口可能是套牌车辆的两条路径分别经过的卡口；利用交通道路图和卡口分布图，以及对车辆轨迹的统计分析，判断这两个卡口的相邻卡口，然后继续判断相邻卡口的相邻卡口，形成套牌车辆的行驶路径，从而定位可疑套牌车的活动区域；

(3)建立套牌车预警信息库，包括可疑套牌车辆的车牌号码、车牌种类、车牌颜色，发现疑问的卡口名称及套牌车的可能活动区域。

2.根据权利要求1所述的基于Hadoop的套牌车识别方法，其特征在于：所述的步骤S1，具体包含以下顺序的步骤：

(1)将各个智能卡口系统采集的过往车辆车流信息的EXCEL格式文件转换成CSV格式文件；

(2)利用基于相似度的匹配算法对卡口数据文件和车流数据文件中的卡口信息进行重新匹配；

(3)对数据进行规范和去噪处理；

(4)将转化完成后的统一格式文件，保存到HBase分布式数据库中。

3.根据权利要求1所述的基于Hadoop的套牌车识别方法，其特征在于：所述的步骤S2，具体包含以下步骤：

A、加载卡口信息数据，包括卡口名称和位置经纬度；

B、对每辆车经过的全部卡口按通过卡口的时间排序；

C、遍历排序过的卡口序列，分析车辆经过两个卡口的时间；若某车牌的车在不合理的时间间隔经过两个卡口，该车牌为可疑车牌，该车为可疑套牌车，具体如下：

a、根据卡口的经纬度计算相邻两个卡口的距离：

$\begin{array}{c}Dis\tan ce\left(KaKou1,Kakou2\right)=\\ 2*EARTH\_RADIUS*\arcsin \left(\sqrt{{\sin }^2\left(lat1-lat2\right)+\cos \left(lat1\right)*\cos \left(lat2\right)*{\sin }^2\left(\ln g1-\ln g2\right)}\right)\end{array}$

其中，EARTH_RADIUS是地球的半径，lng1、lat1分别为卡口1的经度、纬度，lng2、lat2分别为卡口2的经度、纬度；

b、将车辆行驶速度设定一个上限值v，利用公式t＝Distance/v计算两个卡口间理论上的行驶时间T；车辆通过两个卡口的时间为T1和T2，则车辆在两个卡口之间实际行驶时间为T1-T2：若实际行驶时间大于理论行驶时间T，则合理；否则，该车牌为可疑车牌。

4.用于实施权利要求1所述基于Hadoop的套牌车识别方法的一种基于Hadoop的套牌车识别系统，其特征在于：包括车流数据预处理和存储模块、车流数据分析模块、基于Web的查询输出模块，其中

车流数据预处理和存储模块，将各个智能卡口系统采集的过往车辆的信息，进行预处理后汇总，采用HBase分布式数据库组织数据，进行分布式存储；

车流数据分析模块，利用Hadoop分布式框架对车流数据和卡口数据进行建模和分析，通过MapReduce编程框架实现基于距离-时间的合理差检测，识别可疑套牌车，并对可疑套牌车进行行驶轨迹分析，建立套牌车预警信息库；

基于Web的查询输出模块，实现对可疑套牌车辆检测系统的控制、套牌车识别结果的展示输出及对卡口数据的查询。

5.根据权利要求4所述的基于Hadoop的套牌车识别系统，其特征在于：车流数据预处理和存储模块中，所述的车流数据预处理通过ETL模块实现，用于对原始数据的提取、转换、重新保存到分布式数据库Hbase中。

6.根据权利要求4所述的基于Hadoop的套牌车识别系统，其特征在于：车流数据分析模块中，所述的MapReduce编程框架包括Map模块和Reduce模块，Map模块实现对车流信息数据的读取，解析车流信息数据，将输出的数据传入Reduce模块做进一步处理；Reduce模块分析车流数据，识别套牌车牌；输出的结果为可疑的套牌车牌。

7.根据权利要求4所述的基于Hadoop的套牌车识别系统，其特征在于：所述的基于Web的查询输出模块，对卡口数据及分析结果进行展示；对可疑套牌车辆检测系统进行控制；采用BS架构。

8.根据权利要求7所述的基于Hadoop的套牌车识别系统，其特征在于：所述的对卡口数据及分析结果进行展示，包括基本车流数据查询结果的展示、基本卡口数据查询结果的展示、可疑套牌检测结果查询结果的展示。