CN104035954B - 一种基于Hadoop的套牌车识别方法 - Google Patents

Abstract

本发明公开了一种基于Hadoop的套牌车识别方法，本发明的输入为海量的过程记录，首先将削减维度后的有效过车记录迁移到Hadoop集群的HBase中，然后使用Hive从HBase中获取同一车牌号码出现在任意两个监控点的过车记录并按照车牌号码和过车时间分组排序，接着初始化由监控点为顶点集及两两之间距离为边权值的带权图，计算出所有监控点两两之间的最短路径，将其两两组合分块处理，最后创建多个线程，在套牌车规则下根据分块处理后监控点的两两组合并发提交Hive任务来识别套牌车，并通过校正因子获取最终的嫌疑套牌车，本发明与传统环境下不经过优化的方法相比具有较高的运行效率和加速比，可以有效地识别套牌车。

Description

一种基于Hadoop的套牌车识别方法

技术领域

本发明属于海量时空数据挖据技术领域，具体涉及到一种基于Hadoop的套牌车识别方法。

背景技术

套牌车指套用其它车辆的车牌号码来逃避责罚的车辆。由于套牌车可以逃避所造成的严重后果和上缴的费用，对人民生命财产和公共安全造成了极大的威胁，所以一直是交通监管部门重点打击的对象，并被国家严令禁止。因此，在海量交通流过车数据中主动发现和识别套牌车，不仅对公安交警主动预警和事后侦查具有重要意义，更是对真正车主和套牌车肇事受害者利益的保护。

然而，随着交通信息流的快速增长，其数据量已达到TB级甚至PB级的规模。传统计算机系统已不能满足需求。此外，交通信息流具有高维、时空相关性等特征，使得数据分析处理更加复杂。传统方法在处理海量交通流数据时受到计算能力、存储能力等因素的影响，表现出存储空间不够、稳定性差、耗时长等诸多缺点，不能有效地识别套牌车。

发明内容

本发明针对现有技术的不足，提供了一种基于Hadoop的套牌车识别方法。

本发明一种基于Hadoop的套牌车识别方法，具体包括以下步骤：

步骤1：在关系型数据库的海量过车记录表中，每一条交通流过车记录由序列号、车牌号码、过车时间、地点编号、方向编号属性组成，删除车牌号码为空的无效记录；削减掉序列号和方向编号两个与套牌车识别方法无关数据维度，将保留车牌号码、过车时间和地点编号三个维度的过车记录迁移到Hadoop集群的分布式数据库HBase中；

步骤2：使用分布式数据仓库Hive从分布式数据库HBase中获取同一车牌号码出现在任意两个监控点的过车记录；获取的每一对监控点的过车记录按照车牌号码和过车时间分组排序，即首先按照车牌号码从小到大排序，然后在相同车牌号码的记录中按过车时间从先到后排序；

步骤3：初始化由m个监控点为顶点集及两两之间距离为边权值的带权图G，计算出带权图G中所有监控点两两之间的最短路径；将所有监控点的两两组合种分成n份，当n>1且整除时，每份包含种组合，不能整除时，前面n-1份包含种组合，最后一份包含种组合；

将每对监控点d_i和d_j(i≠j)及最短路径值Dist(d_i,d_j)保存到Map＜key,value＞中，以map_i(i＝1,2,3,...,n)表示每份中所有监控点对相对应的Map＜key,value＞的集合，其中key为d_i@d_j，value为Dist(d_i,d_j)值；

步骤4：创建n个线程，每个线程根据步骤3得到的map_i，遍历map_i中的key值，封装一个Hive任务，根据套牌车规则并行识别key值中两监控点内的套牌车，即如果某一号牌的车辆通过一对监控点的时间小于在最大极限速度下通过的时间，则将该号牌的过车记录放入候选套牌车集；

假设车牌号码为H的车辆通过监控点d_i和d_j的时间差为TD^H _i,j，在最大极限速度下通过监控点d_i和d_j最短路径下的时间为即当满足规则则将该车牌号码H的过车记录放入候选套牌车集中；

步骤5：n个线程并发运行步骤4提交的Hive任务，每个线程负责提交步骤3中每份包含的监控点两两组合相对应的Hive任务进行分布式套牌车识别；在步骤4得到的候选套牌车集中，设置校正因子λ(0＜λ≤1)用于校正最大极限速度，转换为 为通过校正因子λ校正后的值并应用于识别套牌车获取最终的嫌疑套牌车集，当满足规则则将该车牌号码H的过车记录放入嫌疑套牌车集中；

步骤6：各线程提交完成后，待集群中运行的所有Hive任务执行完毕，输出最终的嫌疑套牌车集中的车牌号码。

本发明提出的方法基于Hadoop集群，采用HBase分布式数据库，Hive数据仓库及Zookeeper分布式协调组件，构建了HBase+Hive集成环境，采用数据分割和Hive任务并行相结合的策略，通过算法优化有效减少套牌车识别匹配次数。在海量数据中识别套牌车，与传统环境下及不经过优化的方法相比，采用本发明所述方法可使套牌车识别过程具有较高的运行效率和加速比，可以有效地识别套牌车。

附图说明

图1套牌车识别流程图；

图2云环境架构图；

图3分布式识别套牌车图。

具体实施方式

本发明所提供的一种基于Hadoop的套牌车识别方法的具体实施方式主要分4步，如图1所示，基于Hadoop集群的架构如图2所示：

为叙述方便，定义相关符号如下：

P_i：第i(i＝1,2,...,n)个线程。

O＝{o₀,...,o_i,...,o_n-1}(0≤i≤n-1)：过车记录对象集合。

D＝{d₀,...,d_i,...,d_m-1}(0≤i≤m-1)：监控点集合。

T＝{t₀,...,t_i,...,t_q-1}(0≤i≤q-1)：时间戳集合。

H：车牌号码。

T：过车时间。

Dist(d_i,d_j)：监控点d_i和d_j之间的最短路径。

S_ij：同时出现在地点编号为d_i和d_j的过车记录集。

TD^H _i,j＝t_i-t_j：同一车牌H经过监控点d_i和d_j的时间差。

监控点d_i和d_j之间的最大极限速度。

在速度下通过监控点d_i和d_j的最短路径的时间。

通过校正因子λ校正后的值。

(1)数据预处理

检查过车记录数据集的一致性和完整性约束条件，使用SQL语句删除车牌号码为空的无效记录；使用SQL语句获取关系型数据库中的数据集，削减了过车记录的序列号和方向编号两个维度，将持有车牌号码、过车时间和地点编号三个维度的过车记录分批导入到分布式数据库HBase中。

(2)分布式套牌车识别方法

m个监控点的两两组合数为分成n份(n的值通过实验获取的Hadoop集群下并行提交Hive任务的线程数)，当n>1且整除时，每份包含种组合，不能整除时，前面n-1份包含种组合，最后一份包含种组合。通过最短路径算法计算得到Dist(d_i,d_j)。将每对组合及最短路径值保存到中，其中key为d_i@d_j，value为Dist(d_i,d_j)值。因此，每一份中监控点两两组合数及相应的最短路径保存到map_i(i＝1,2,...,n)。遍历map_i中的key值，根据d_i和d_j使用Hive语法的left semi join来获取S_ij数据集，并使用order by语法按车牌号码和过车时间分组排序。

S_ij中的数据根据车牌号码及过车时间分组排序优化，可以大大减少套牌车比对次数。例如，S_ij中有六个过程记录为{(h₁,t₁,d₁),(h₁,t₂,d₁),(h₁,t₃,d₁),(h₁,t₄,d₂),(h₂,t₅,d₁),(h₂,t₆,d₂)}，在比对的过程中，首先根据车牌h₁得到两个指针分别指向第一和第四个记录，然后从第一个记录开始依次比较1-2,1-3,1-4，2-3,2-4...，判断两指针指向记录的监控点相同时直接跳过该比对，当监控点不同时进入套牌车规则比对，依次类推。接着第一个指针从第五条记录开始，第二个指针根据车牌h₂指向第六个，比较的过程和前面一样，故在比较车牌h₂时，直接跳过了前面的记录，大大减少比对次数。一个线程P_i负责处理一个map_i，并发的运行提交Hive任务，如图3所示。

(3)套牌车规则

假设车牌号码为H的车辆通过监控点d_i和d_j的时间差为TD^H _i,j，在最大极限速度下通过监控点d_i和d_j最短路径下的时间为即当满足规则则将车牌号码H的过车记录放入候选套牌车集。套牌车规则应用于套牌车识别方法。

(4)结果验证

在候选套牌车集中，通过设置校正因子为λ(0＜λ≤1)，用于校正最大极限速度的值，转换为 为通过校正因子λ校正后的值并应用于识别套牌车来获取最终的嫌疑套牌车集，当满足规则则将该车牌号码H的过车记录放入嫌疑套牌车集中。

本发明所提供的一种基于Hadoop的套牌车识别方法由一组功能模块组成，它们包括：数据预处理模块、分布式并行套牌车识别模块和套牌车展示模块。

数据预处理模块删除了无车牌号码的无效过车记录，削减了过车记录的序列号和方向编号两个维度，将持有车牌号码、过车时间和地点编号三个维度的过车记录分批导入到分布式数据库HBase中。然后使用分布式数据仓库Hive从分布式数据库HBase中获取同一车牌号码出现在任意两个监控点的过车记录。

分布式套牌车识别模块初始化完成了带权图G中每对监控点间的最短路径，并保存到Map＜key,value＞中，其中key为两监控点的组合，value为其最短路径。将所有两两组合分成n份，创建了n个线程，每个线程负责封装一个Hive任务，根据套牌车规则并行识别key值中两监控点内的套牌车，将结果放入候选套牌车集。在候选套牌车集中通过设置校正因子得到最终的嫌疑套牌车，将结果放入嫌疑套牌车车牌号码集中。n个线程并发的提交Hive任务，各线程提交完成后，待集群中运行的所有Hive任务执行完毕，完成识别套牌车的过程。

套牌车展示模块用于展示找到的嫌疑套牌车，根据用户的查询条件输出相应的嫌疑套牌车。

本发明可用于公安交警部门车辆监控系统中海量交通流数据的挖掘，以快速识别具有套牌嫌疑的车辆。

Claims (1)

1.一种基于Hadoop的套牌车识别方法，其特征在于，该方法具体包括以下步骤：

步骤1：在关系型数据库的海量过车记录表中，每一条交通流过车记录由序列号、车牌号码、过车时间、地点编号、方向编号属性组成，删除车牌号码为空的无效记录；削减掉序列号和方向编号两个与套牌车识别方法无关数据维度，将保留车牌号码、过车时间和地点编号三个维度的过车记录迁移到Hadoop集群的分布式数据库HBase中；

步骤2：使用分布式数据仓库Hive从分布式数据库HBase中获取同一车牌号码出现在任意两个监控点的过车记录；获取的每一对监控点的过车记录按照车牌号码和过车时间分组排序，即首先按照车牌号码从小到大排序，然后在相同车牌号码的记录中按过车时间从先到后排序；

步骤3：初始化由m个监控点为顶点集及两两之间距离为边权值的带权图G，计算出带权图G中所有监控点两两之间的最短路径；将所有监控点的两两组合种分成n份，当n>1且整除时，每份包含种组合，不能整除时，前面n-1份包含种组合，最后一份包含种组合；

将每对监控点d_i和d_j(i≠j)及最短路径值Dist(d_i,d_j)保存到Map＜key,value＞中，以map_i(i＝1,2,3,...,n)表示每份中所有监控点对相对应的Map＜key,value＞的集合，其中key为d_i@d_j，value为Dist(d_i,d_j)值；

步骤4：创建n个线程，每个线程根据步骤3得到的map_i，遍历map_i中的key值，封装一个Hive任务，根据套牌车规则并行识别key值中两监控点内的套牌车，即如果某一号牌的车辆通过一对监控点的时间小于在最大极限速度下通过的时间，则将该号牌的过车记录放入候选套牌车集；

假设车牌号码为H的车辆通过监控点d_i和d_j的时间差为TD^H _i,j，在最大极限速度下通过监控点d_i和d_j最短路径下的时间为即当满足规则则将该车牌号码H的过车记录放入候选套牌车集中；

步骤5：n个线程并发运行步骤4提交的Hive任务，每个线程负责提交步骤3中每份包含的监控点两两组合相对应的Hive任务进行分布式套牌车识别；在步骤4得到的候选套牌车集中，设置校正因子λ(0＜λ≤1)用于校正最大极限速度，转换为 为通过校正因子λ校正后的值并应用于识别套牌车获取最终的嫌疑套牌车集，当满足规则则将该车牌号码H的过车记录放入嫌疑套牌车集中；

步骤6：各线程提交完成后，待集群中运行的所有Hive任务执行完毕，输出最终嫌疑的套牌车集中的过车记录。