CN108389394B - 车辆初次入城分析的方法及系统 - Google Patents

Abstract

本发明公开了一种车辆初次入城分析的方法及系统。该方法包括获取过车数据，根据过车数据生成过车记录表和车辆入城索引表；时间切分函数将案发时间范围分为若干时间段并传入原始记录线程池；调用原始记录线程池查询过车记录表；根据若干时间段，查询各个时间段对应的起止时间内的过车记录表；汇总各个查询结果得到嫌疑车辆数据集；记录切分函数将嫌疑车辆数据集切分为若干数据段并传入回溯检查线程池；调用回溯检查线程池多线程查询车辆入城索引表；若嫌疑车辆信息在车辆入城索引表中没有记录，则该条嫌疑车辆信息对应的车辆为案发时间范围内初次入城车辆；合并处理结果，得到初次入城数据集。本发明能够实现高效查询初次入城车辆。

Description

车辆初次入城分析的方法及系统

技术领域

本发明涉及公共安全技术领域，更具体地，涉及一种车辆初次入城分析的方法及系统。

背景技术

近年来随着各地平安城市、天网工程的深推进建设，为公安机关的视频侦查工作提供了越来越丰富的情报来源，尤其是这其中的过车数据。随着越来越多的案件与车辆相关，过车数据已经成为案件侦破，抓捕犯罪嫌疑人的关键突破点。可以说，掌握了车辆动态就掌握了犯罪嫌疑人的动态。由此视频侦查技术也成为继刑事技术，技侦技术和网侦技术之后的第四大技术。

而在乘车犯罪的过程中，犯罪分子经常会有一个共同的规律，就是他们往往会离开常住地去异地作案，并且在违法犯罪的前不久才首次出现在该违法地点所在的城市，这就为公安机关办案或排查提供了重要线索；而在现在的卡口系统中，过车记录的数量越来越多，成为海量的数据。据统计在一个普通的中等县城每天卡口、电警等设备拍摄的过车数据的数量就有400万之多，在这些海量的数据中检索分析初次入城车辆的时间地点，为公安机关提供办案线索，从而达到快速的破案，是公安干警们一直存在的需求，比如选定案发时间范围和回溯时间范围，查询在回溯时间范围内未出现过而案发时间范围内首次出现的车辆，在此之上还可以叠加出现次数、卡口范围、车辆类型、车身颜色等限制条件，从而更精确的排查嫌疑车辆。

传统的初次入城分析，目前有几种方案，最常见的一种是对用户选取的案发时间范围内的过车数据先按车牌号去掉重复数据，然后将用户选取的回溯时间范围内的过车数据也按车牌号去重，最终得到两个较小的数据集，再对两个数据集做关联，得出在案发时间段内出现过，而在回溯时间段内未出现过的车辆数据；该种方案很容易实现，然而存在明显的缺点，首先用户选取的回溯时间可能相当长，以一个县一天的过车数据为400万条为例，用户为了更精确的确定初次入城，往往会选择30天以上的回溯时间，这样就需要扫描1.2亿条数据做去重，耗时很长，5个节点单次查询往往需要20分钟以上；还有一种改进方案，使用定时任务，定期对过车数据进行预处理，通过建立月表、周表的方式，提前将过车数据去重，在用户查询时将用户选择的时间段按月、按周进行切分，可以直接读取相应表里的预处理数据，大大减少了处理时间，同样是一天400万的数据量，选定3天，回溯30天，单次查询时长可以压缩到分钟级，但是这样做的缺点也很明显，就是需要定时建立去重的周表和月表，而这些表里的数据其实大部分是重复的，这样就给服务器的存储空间造成了大量的浪费。

因此，提供一种车辆初次入城分析的方法及系统，实现高效查询初次入城车辆是本领域亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种车辆初次入城分析的方法及系统，解决了实现高效查询初次入城车辆的技术问题。

为了解决上述技术问题，本发明提出一种车辆初次入城分析的方法，包括：

获取过车数据，同时根据所述过车数据生成过车记录表和车辆入城索引表，其中，所述过车记录表使用HBase存储，所述过车记录表的行健为：过车时间+过车位置+车牌号，所述过车记录表的列键为：车牌颜色、车型、车辆品牌、车辆年款、车身颜色、有无放下遮阳板或者有无系安全带，所述车辆入城索引表使用HBase存储，所述车辆入城索引表的行健为：车牌号+过车时间；

根据时间切分函数将案发时间范围分为若干时间段，并将所述若干时间段传入原始记录线程池，其中，所述原始记录线程池包括多个嫌疑车辆查询线程；

调用所述原始记录线程池根据嫌疑车辆特征条件，多线程查询所述过车记录表，其中，根据所述若干时间段，每个时间段调用一个所述嫌疑车辆查询线程，查询各个时间段对应的起止时间内的所述过车记录表，所述嫌疑车辆特征条件包括车身颜色、车牌颜色或者车辆型号；

将各个所述嫌疑车辆查询线程的查询结果汇总，并根据车牌号去掉重复的车辆信息，得到嫌疑车辆数据集，所述嫌疑车辆数据集包括多条嫌疑车辆信息；

根据记录切分函数将所述嫌疑车辆数据集切分为若干数据段，并将所述若干数据段传入回溯检查线程池，其中，所述回溯检查线程池包括多个目标车辆查询线程；

调用所述回溯检查线程池根据回溯时间，多线程查询所述车辆入城索引表，其中，根据所述若干数据段，每个数据段调用一个所述目标车辆查询线程，查询所述回溯时间的起止时间内的所述车辆入城索引表；

在各个所述目标车辆查询线程中，若所述数据段中的所述嫌疑车辆信息在所述车辆入城索引表中没有记录，则该条嫌疑车辆信息对应的车辆为所述案发时间范围内初次入城车辆；

合并各个所述目标车辆查询线程的处理结果，得到初次入城数据集。

可选的，获取过车数据，同时根据所述过车数据生成过车记录表和车辆入城索引表的步骤进一步包括：获取由物理设备拍摄的过车图片；

对所述过车图片进行图像处理，得到结构化数据，其中，一张所述过车图片对应一条所述结构化数据；

将所述结构化数据转换成HBase存储所需的格式，存入所述过车记录表和所述车辆入城索引表。

可选的，根据时间切分函数将案发时间范围分为若干时间段的步骤进一步为：

设置所述时间切分函数的切分间隔Δt，其中，采用以下公式确定所述时间切分函数的切分间隔Δt：

Δt＝T/(S1/S2)，其中，T为单位时间长度，S1为所述单位时间长度内所述过车数据的数据量大小，S2为执行所述方法的处理器的单线程的数据处理量的大小；

按照所述切分间隔Δt对所述案发时间范围进行等长切分，得到若干时间段。

可选的，根据时间切分函数将案发时间范围分为若干时间段，并将所述若干时间段传入原始记录线程池的步骤还包括：

若所述时间切分函数对所述案发时间范围进行等长切分时存在余数时间，则将所述余数时间记为一个时间段，并将所有时间段传入原始记录线程池。

可选的，将各个所述嫌疑车辆查询线程的查询结果汇总，并根据车牌号去掉重复的车辆信息，得到嫌疑车辆数据集的步骤进一步为：

使用java的HashMap对象对各个所述嫌疑车辆查询线程的查询结果汇总处理，以所述过车记录表中的车牌号作为所述HashMap的键，以所述过车记录表中的其他信息作为所述HashMap的值，各个所述嫌疑车辆查询线程向同一个所述HashMap中存储记录，得到所述嫌疑车辆数据集。

可选的，根据记录切分函数将所述嫌疑车辆数据集切分为若干数据段，并将所述若干数据段传入回溯检查线程池的步骤进一步为：

设置所述记录切分函数的记录切分条数Δp和所述回溯检查线程池中所述目标车辆查询线程的数量m，其中，

采用以下公式确定所述目标车辆查询线程的数量m：

m＝M/S2，其中，M为执行所述方法的处理器的内存大小，S2为执行所述方法的处理器的单线程的数据处理量的大小；

采用以下公式确定所述记录切分函数的所述记录切分条数Δp：

p＝N/m，其中，N为所述嫌疑车辆数据集中的嫌疑车辆记录条数；

按照所述记录切分条数Δp对所述嫌疑车辆数据集进行等量切分，得到若干数据段，并将所述若干数据段传入所述回溯检查线程池。

可选的，按照公式p＝N/m确定所述记录切分函数的所述记录切分条数Δp时，

若在计算确定所述记录切分条数Δp时存在余数，则将N/m取整数后加1作为所述记录切分条数Δp。

本发明还提出一种车辆初次入城分析的系统，包括：

前端设备、存储器、处理器和用户终端；其中，所述前端设备与所述存储器相连接，用于获取过车数据，同时根据所述过车数据生成过车记录表和车辆入城索引表，并将生成的所述过车记录表和所述车辆入城索引表存入所述存储器，其中，所述过车记录表使用HBase存储，所述过车记录表的行健为：过车时间+过车位置+车牌号，所述过车记录表的列键为：车牌颜色、车型、车辆品牌、车辆年款、车身颜色、有无放下遮阳板或者有无系安全带，所述车辆入城索引表使用HBase存储，所述车辆入城索引表的行健为：车牌号+过车时间；

所述处理器包括嫌疑车辆数据集生成模块和初次入城数据集生成模块；

所述嫌疑车辆数据集生成模块用于生成嫌疑车辆数据集，包括时间切分模块、原始记录线程池模块、嫌疑车辆数据处理模块；

所述时间切分模块与所述原始记录线程池模块相连接，用于获取案发时间范围，并根据时间切分函数将所述案发时间范围分为若干时间段，将所述若干时间段传入所述原始记录线程池模块；

所述原始记录线程池模块分别与所述时间切分模块和所述存储器相连接，用于根据嫌疑车辆特征条件，多线程查询所述过车记录表，其中，根据所述若干时间段，每个时间段起一个嫌疑车辆查询线程，查询各个时间段对应的起止时间内的所述过车记录表，所述嫌疑车辆特征条件包括车身颜色、车牌颜色或者车辆型号；

所述嫌疑车辆数据处理模块与所述原始记录线程池模块相连接，用于将各个所述嫌疑车辆查询线程的查询结果汇总，并根据车牌号去掉重复的车辆信息，得到所述嫌疑车辆数据集；

所述初次入城数据集生成模块用于生成初次入城数据集，包括记录切分模块、回溯检查线程池模块、初次入城数据处理模块；

所述记录切分模块与所述嫌疑车辆数据处理模块和所述回溯检查线程池模块相连接，用于根据记录切分函数将所述嫌疑车辆数据集切分为若干数据段，并将所述若干数据段传入回溯检查线程池模块；

所述回溯检查线程池模块分别与所述记录切分模块和所述存储模块相连接，用于获取回溯时间，根据所述回溯时间，多线程查询所述车辆入城索引表，其中，根据所述若干数据段，每个数据段起一个目标车辆查询线程，查询所述回溯时间的起止时间内的所述车辆入城索引表，在各个所述目标车辆查询线程中，若所述数据段中的所述嫌疑车辆信息在所述车辆入城索引表中没有记录，则该条嫌疑车辆信息对应的车辆为所述案发时间范围内初次入城车辆；

所述初次入城数据处理模块与所述回溯检查线程池模块相连接，用于合并各个所述目标车辆查询线程的处理结果，得到所述初次入城数据集；

所述用户终端，与所述处理器相连接，获取所述案发时间范围，并将所述案发时间范围发送给所述时间切分模块；获取所述回溯时间，并将所述回溯时间发送给所述回溯检查线程池模块；获取所述嫌疑车辆特征条件，并将所述嫌疑车辆特征条件发送给所述原始记录线程池模块。

可选的，所述时间切分模块进一步用于根据切分间隔Δt对所述案发时间范围进行等长切分，得到若干时间段，其中，采用以下公式确定所述时间切分函数的所述切分间隔Δt：

Δt＝T/(S1/S2)，其中，T为单位时间长度，S1为所述单位时间长度内所述过车数据的数据量大小，S2为执行所述方法的处理器的单线程的数据处理量的大小。

可选的，所述记录切分模块进一步用于按照记录切分条数Δp对所述嫌疑车辆数据集进行等量切分，得到若干数据段，并将所述若干数据段传入所述回溯检查线程池，其中，

采用以下公式确定所述目标车辆查询线程的数量m：

m＝M/S2，其中，M为执行所述方法的处理器的内存大小，S2为执行所述方法的处理器的单线程的数据处理量的大小；

采用以下公式确定所述记录切分函数的所述记录切分条数Δp：

p＝N/m，其中，N为所述嫌疑车辆数据集中的嫌疑车辆记录条数。

与现有技术相比，本发明的车辆初次入城分析的方法及系统，实现了如下的有益效果：

(1)通过过车记录表和车辆入城索引表即可实现车辆初次入城分析，不依赖预处理表等以空间换效率的技术，不额外消耗存储空间，而能达到同样的查询效率。

(2)过车记录表和车辆入城索引表使用HBase存储。Hadoop具有强大的计算能力、强劲的容错性、生态圈的完整性对现实生产生活起到越来越大的作用，HBase作为Hadoop生态圈的分布式key/value数据库，能够实现在大数据之上的即席查询，提供完善的分布式查询和存储能力。

(3)本发明使用HBase存储，对HBase原生架构无侵入性，不需要安装额外的软件组件，也不需要改变原生HBase的业务参数，不会增加额外的架构复杂度和运维成本。

(4)使用本发明提供的方法识别初次入城车辆结束了公安部门以往效率低的查找方式，原本一小时能进行两次查询，现在可进行60次以上的查询，而准确度不变，大大提高了办案效率，对公安部门破案有重大参考意义。

需要说明的是，本发明能够实现上述一个或多个技术效果。通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1为本发明实施例提供的车辆初次入城分析的方法流程图；

图2为本发明实施例提供的车辆初次入城分析的系统的框图；

图3为本发明提供的车辆初次入城分析的系统的程序逻辑图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例1

本发明提供一种车辆初次入城分析的方法，能够实现快速分析初次入城车辆，对公安部门破案有重大参考意义。图1为本发明实施例提供的车辆初次入城分析的方法流程图。如图1所示，本发明提供的车辆初次入城分析的方法，包括：

步骤S101：获取过车数据，同时根据所述过车数据生成过车记录表和车辆入城索引表；其中所述过车数据包括:过车时间、过车位置、车牌号、车牌颜色、车型、车辆品牌、车辆年款、车身颜色、有无放下遮阳板或者有无系安全带等信息。其中，所述过车记录表使用HBase存储，所述过车记录表的行健为：过车时间+过车位置+车牌号，所述过车记录表的列键为：车牌颜色、车型、车辆品牌、车辆年款、车身颜色、有无放下遮阳板或者有无系安全带，所述车辆入城索引表使用HBase存储，所述车辆入城索引表的行健为：车牌号+过车时间。

步骤S102：根据时间切分函数将案发时间范围分为若干时间段，并将所述若干时间段传入原始记录线程池，其中，所述原始记录线程池包括多个嫌疑车辆查询线程；其中，案发时间范围为公安人员分析得到的作案时间范围。

步骤S103：调用所述原始记录线程池根据嫌疑车辆特征条件，多线程查询所述过车记录表，其中，根据所述若干时间段，每个时间段调用一个所述嫌疑车辆查询线程，查询各个时间段对应的起止时间内的所述过车记录表；其中，嫌疑车辆特征条件为公安人员在案件调查过程中获取的嫌疑车辆的车辆信息，所述嫌疑车辆特征条件例如可以是车身颜色、车牌颜色或者车辆型号等。本发明中，所述原始记录线程池的查询过程占据主要的运算时间。

步骤S104：将各个所述嫌疑车辆查询线程的查询结果汇总，并根据车牌号去掉重复的车辆信息，得到嫌疑车辆数据集，所述嫌疑车辆数据集包括多条嫌疑车辆信息；根据车牌号去掉重复的车辆信息后能够保证所述嫌疑车辆数据集中的每一条嫌疑车辆信息都是唯一的，得到案发时间范围内所有符合条件的不重复车辆信息，避免了后续查询过程中重复查询，节省了查询时间。

步骤S105：根据记录切分函数将所述嫌疑车辆数据集切分为若干数据段，并将所述若干数据段传入回溯检查线程池，其中，所述回溯检查线程池包括多个目标车辆查询线程；

步骤S106：调用所述回溯检查线程池根据回溯时间，多线程查询所述车辆入城索引表，其中，根据所述若干数据段，每个数据段调用一个所述目标车辆查询线程，查询所述回溯时间的起止时间内的所述车辆入城索引表；其中，回溯时间为公安人员选定的案发之前的时间段。为了查询嫌疑车辆数据集中的嫌疑车辆在回溯时间内是否为初次入城。例如：案发时间范围选定为24h，而查询的回溯时间可以为在此之前的一个月、三个月或者其他时间段。在获取到的案发时间范围内的嫌疑车辆数据时，能够确定嫌疑车辆的车牌号，所以在查询所述车辆入城索引表时，只需要限定时间范围为回溯时间的起止时间，然后调用HBase自带的hasNext方法即可快速确定嫌疑车辆在回溯时间范围内是否出现过。并且由于HBase的特性，限定行健范围后会直接到该行健范围对应的regionserver上进行查询，因此不管有多少历史记录，有多少regionserver，查询效率都只受一个regionserver判断记录是否存在的效率影响，与整体历史记录的大小无关，可以在回溯海量历史数据时也有极高的效率。

步骤S107：在各个所述目标车辆查询线程中，若所述数据段中的所述嫌疑车辆信息在所述车辆入城索引表中没有记录，则该条嫌疑车辆信息对应的车辆为所述案发时间范围内初次入城车辆；如果所述数据段中的所述嫌疑车辆信息在所述车辆入城索引表中存在记录，则该条嫌疑车辆信息对应的车辆在所述案发时间范围内不是初次入城车辆，该条嫌疑车辆信息舍弃。

步骤S108：合并各个所述目标车辆查询线程的处理结果，得到初次入城数据集。初次入城数据集中包括一条或多条车辆信息，公安人员可以在此基础上进一步的对车辆信息对应的车辆进行其他调查，以实现案件的侦破。

本发明提供的车辆初次入城分析的方法，通过过车记录表和入城车辆索引表即可实现对车辆初次入城分析，不依赖预处理表等以空间换效率的技术，不额外消耗存储空间；同时在查询嫌疑车辆和初次入城车辆信息时都通过多线程查询实现，多线程并发查询，查询效率高。

可选的，本发明提供的车辆初次入城分析的方法能够基于HBase实现，充分利用HBase的行健精确查询速度快和高并发的特点。而且本发明基于HBase进行车辆初次入城分析，整体算法执行效率只与用户选择的案发时间范围有关，与用户选择的回溯时间长度无关，即用户不管回溯10天还是1000天，只要案发时间范围选定，都会具有相同的分析效率。

可选的，所述过车记录表使用HBase存储，所述过车记录表的行健为：过车时间+过车位置+车牌号，所述过车记录表的列键为：车牌颜色、车型、车辆品牌、车辆年款、车身颜色、有无放下遮阳板或者有无系安全带。

可选的，所述车辆入城索引表使用HBase存储，所述车辆入城索引表的行健为：车牌号+过车时间。而所述车辆入城索引表的列键不存具体信息，以减少表的大小，节省储存空间。

可选的，获取过车数据，同时根据所述过车数据生成过车记录表和车辆入城索引表的步骤进一步包括：获取由物理设备拍摄的过车图片；对所述过车图片进行图像处理，得到结构化数据，其中，一张所述过车图片对应一条所述结构化数据；将所述结构化数据转换成HBase存储所需的格式，存入所述过车记录表和所述车辆入城索引表。其中，物理设备可以为摄像头或者电子警察。过车图片可以是系统自己获取的图片，也可以是从厂商处购买的图片。

可选的，根据时间切分函数将案发时间范围分为若干时间段的步骤进一步为：设置所述时间切分函数的切分间隔Δt，其中，采用以下公式确定所述时间切分函数的切分间隔Δt：Δt＝T/(S1/S2)，其中，T为单位时间长度，S1为所述单位时间长度内所述过车数据的数据量大小，S2为执行所述方法的处理器的单线程的数据处理量的大小；按照所述切分间隔Δt对所述案发时间范围进行等长切分，得到若干时间段。

假定位时间长度T为24h，某地过车数据量每天24h约为300MB大小，按照java程序使用内存为8G内存，处理器的单线程的数据处理量的大小S2为100MB，则切分间隔Δt＝24/(300/100)＝8h，所述原始记录线程池中嫌疑车辆查询线程的个数n根据处理器性能配置确定，其中n＝执行本方法的处理器的内存大小/S2＝8G/100MB≈81。其中，为避免线程过多而影响整体性能，线程池中的线程数一般设置为固定数量，可以实现在处理速度和内存占用之间达到一个平衡。其中，具体的嫌疑车辆查询线程的个数n还可以根据具体物理服务器配置进行微调。

可选的，若所述时间切分函数对所述案发时间范围进行等长切分时存在余数时间，则将所述余数时间记为一个时间段，并将所有时间段传入原始记录线程池。所述时间切分函数按等长去划分所述案发时间范围时，不一定能完全除尽，最终可能会剩余一点时间需要单独处理，比如传入案发时间范围是3小时10分钟，按1小时为间隔划分，实际上是要划分为4个段。

可选的，将各个所述嫌疑车辆查询线程的查询结果汇总，并根据车牌号去掉重复的车辆信息，得到嫌疑车辆数据集的步骤进一步为：使用java的HashMap对象对各个所述嫌疑车辆查询线程的查询结果汇总处理，以所述过车记录表中的车牌号作为所述HashMap的键，以所述过车记录表中的其他信息作为所述HashMap的值，各个所述嫌疑车辆查询线程向同一个所述HashMap中存储记录，得到所述嫌疑车辆数据集。由于HashMap的特性，在键(key)相同时，后来的值(value)会覆盖之前的value，而如果key相同，说明查询到的数据的车牌号相同，属于同一辆车，从而达到去重的效果，最终得到一个车牌号不重复的HashMap集合。

可选的，根据记录切分函数将所述嫌疑车辆数据集切分为若干数据段，并将所述若干数据段传入回溯检查线程池的步骤进一步为：设置所述记录切分函数的记录切分条数Δp和所述回溯检查线程池中所述目标车辆查询线程的数量m，其中，

采用以下公式确定所述目标车辆查询线程的数量m：

m＝M/S2，其中，M为执行所述方法的处理器的内存大小，S2为执行所述方法的处理器的单线程的数据处理量的大小；

采用以下公式确定所述记录切分函数的所述记录切分条数Δp：

p＝N/m，其中，N为所述嫌疑车辆数据集中的嫌疑车辆记录条数；

按照所述记录切分条数Δp对所述嫌疑车辆数据集进行等量切分，得到若干数据段，并将所述若干数据段传入所述回溯检查线程池。

按照公式p＝N/m确定所述记录切分函数的所述记录切分条数Δp时，若在计算确定所述记录切分条数Δp时存在余数，则将N/m取整数后加1作为所述记录切分条数Δp。比如假定某地通过查询，获取到100000条嫌疑车记录，则每个所述目标车辆查询线程需要处理的记录条数为100000/m条，如果m＝90，则除不尽，则将100000/90取整数后加1作为Δp，Δp＝1112。

另外，合并各个所述目标车辆查询线程的处理结果，得到初次入城数据集过程中，也可以使用HashMap进行合并，以车牌号作为key，其他信息作为value。

本发明能够在不用新建预处理表的前提下，大大提高车辆初次入城查找分析的算法效率，并且不会带来额外的存储空间和内存消耗，以上文中提到的一天400w过车数据量，选定3天，回溯30天为例，采用本发明实现的算法，可将查询效率提升至一分钟以内，可以极大增强公安干警的数据检索效率，增强初次入城算法的可用性和用户体验，具有极高的实用价值。

实施例2

本发明还提供一种车辆初次入城分析的系统，能够实现快速分析初次入城车辆，图2为本发明实施例提供的车辆初次入城分析的系统的框图，如图2所示，本发明提供的车辆初次入城分析的系统包括：

前端设备、存储器、处理器和用户终端；其中，

所述前端设备与所述存储器相连接，用于获取过车数据，同时根据所述过车数据生成过车记录表和车辆入城索引表，并将生成的所述过车记录表和所述车辆入城索引表存入所述存储器；所述前端设备包括过车数据获取设备和过车数据处理设备，其中，过车数据获取设备可以是卡口或者电子警车，过车数据处理设备将过车数据获取设备获取到的过车数据进行处理，生成过车记录表和车辆入城索引表。

其中，所述过车数据包括:过车时间、过车位置、车牌号、车牌颜色、车型、车辆品牌、车辆年款、车身颜色、有无放下遮阳板或者有无系安全带等信息。所述过车记录表使用HBase存储，所述过车记录表的行健为：过车时间+过车位置+车牌号，所述过车记录表的列键为：车牌颜色、车型、车辆品牌、车辆年款、车身颜色、有无放下遮阳板或者有无系安全带。所述车辆入城索引表使用HBase存储，所述车辆入城索引表的行健为：车牌号+过车时间。而所述车辆入城索引表的列键不存具体信息，以减少表的大小，节省储存空间。

所述处理器包括嫌疑车辆数据集生成模块和初次入城数据集生成模块；其中，所述嫌疑车辆数据集生成模块用于生成嫌疑车辆数据集，所述初次入城数据集生成模块用于生成初次入城数据集。

所述嫌疑车辆数据集生成模块，包括时间切分模块、原始记录线程池模块、嫌疑车辆数据处理模块；

所述时间切分模块与所述原始记录线程池模块相连接，用于获取案发时间范围，并根据时间切分函数将所述案发时间范围分为若干时间段，将所述若干时间段传入所述原始记录线程池模块，其中，案发时间范围为公安人员分析得到的作案时间范围。

所述原始记录线程池模块分别与所述时间切分模块和所述存储器相连接，用于根据嫌疑车辆特征条件，多线程查询所述过车记录表，其中，根据所述若干时间段，每个时间段起一个嫌疑车辆查询线程，查询各个时间段对应的起止时间内的所述过车记录表；其中，嫌疑车辆特征条件为公安人员在案件调查过程中获取的嫌疑车辆的车辆信息，所述嫌疑车辆特征条件例如可以是车身颜色、车牌颜色或者车辆型号等。

所述嫌疑车辆数据处理模块与所述原始记录线程池模块相连接，用于将各个所述嫌疑车辆查询线程的查询结果汇总，并根据车牌号去掉重复的车辆信息，得到所述嫌疑车辆数据集；

所述初次入城数据集生成模块，包括记录切分模块、回溯检查线程池模块、初次入城数据处理模块；

所述记录切分模块与所述嫌疑车辆数据处理模块和所述回溯检查线程池模块相连接，用于根据记录切分函数将所述嫌疑车辆数据集切分为若干数据段，并将所述若干数据段传入回溯检查线程池模块；

所述回溯检查线程池模块分别与所述记录切分模块和所述存储模块相连接，用于获取回溯时间，根据所述回溯时间，多线程查询所述车辆入城索引表，其中，根据所述若干数据段，每个数据段起一个目标车辆查询线程，查询所述回溯时间的起止时间内的所述车辆入城索引表，在各个所述目标车辆查询线程中，若所述数据段中的所述嫌疑车辆信息在所述车辆入城索引表中没有记录，则该条嫌疑车辆信息对应的车辆为所述案发时间范围内初次入城车辆；其中，回溯时间为公安人员选定的案发之前的时间段。为了查询嫌疑车辆数据集中的嫌疑车辆在回溯时间内是否为初次入城。例如：案发时间范围选定为24h，而查询的回溯时间可以为在此之前的一个月、三个月或者其他时间段。

所述初次入城数据处理模块与所述回溯检查线程池模块相连接，用于合并各个所述目标车辆查询线程的处理结果，得到所述初次入城数据集；初次入城数据集中包括一条或多条车辆信息，公安人员可以在此基础上进一步的对车辆信息对应的车辆进行其他调查，以实现案件的侦破。

所述用户终端，与所述处理器相连接，获取所述案发时间范围，并将所述案发时间范围发送给所述时间切分模块；获取所述回溯时间，并将所述回溯时间发送给所述回溯检查线程池模块；获取所述嫌疑车辆特征条件，并将所述嫌疑车辆特征条件发送给所述原始记录线程池模块。

图3为本发明提供的车辆初次入城分析的系统的程序逻辑图。如图3所示，具体表示了用户使用本系统时，系统主要的程序步骤。前端设备获取过车数据后，根据过车数据生成过车记录表和车辆入城索引表，用户使用本系统时，用户在终端设备上输入案发时间范围、回溯时间和嫌疑车辆特征条件等信息。然后系统对案发时间范围进行切分为若干个时间段，建立原始记录线程池，原始记录线程池包括多个嫌疑车辆查询线程，针对每一个时间段调用一个嫌疑车辆查询线程查询过车记录表，执行查询任务。然后系统根据多线程查询的结果，得到嫌疑车辆数据集，去掉嫌疑车辆数据集中车牌号重复的数据，得到案发时间范围内所有符合条件的不重复车辆数据。然后系统根据记录切分函数将嫌疑车辆数据集切分为若干数据段，建立回溯检查线程池，根据若干数据段，每个数据段调用一个目标车辆查询线程，查询回溯时间的起止时间内的车辆入城索引表。在各个线程中，若嫌疑车辆数据在车辆入城索引表中存在记录，则该条车辆数据对应的车辆不是初次入城，舍弃；若嫌疑车辆数据在车辆入城索引表中没有记录，则保存到初次入城数据中。否，则得到初次入城数据。

可选的，在本发明提供的车辆初次入城分析的系统中，所述时间切分模块进一步用于根据切分间隔Δt对所述案发时间范围进行等长切分，得到若干时间段，其中，采用以下公式确定所述时间切分函数的所述切分间隔Δt：Δt＝T/(S1/S2)，其中，T为单位时间长度，S1为所述单位时间长度内所述过车数据的数据量大小，S2为执行所述方法的处理器的单线程的数据处理量的大小。

可选的，在本发明提供的车辆初次入城分析的系统中，所述记录切分模块进一步用于按照记录切分条数Δp对所述嫌疑车辆数据集进行等量切分，得到若干数据段，并将所述若干数据段传入所述回溯检查线程池，其中，

采用以下公式确定所述目标车辆查询线程的数量m：

m＝M/S2，其中，M为执行所述方法的处理器的内存大小，S2为执行所述方法的处理器的单线程的数据处理量的大小；

采用以下公式确定所述记录切分函数的所述记录切分条数Δp：

p＝N/m，其中，N为所述嫌疑车辆数据集中的嫌疑车辆记录条数。

通过上述实施例可知，本发明的车辆初次入城分析的方法及系统，达到了如下的有益效果：

(1)通过过车记录表和车辆入城索引表即可实现车辆初次入城分析，不依赖预处理表等以空间换效率的技术，不额外消耗存储空间，而能达到同样的查询效率。

(2)过车记录表和车辆入城索引表使用HBase存储。Hadoop具有强大的计算能力、强劲的容错性、生态圈的完整性对现实生产生活起到越来越大的作用，HBase作为Hadoop生态圈的分布式key/value数据库，能够实现大数据之上的即席查询，提供完善的分布式查询和存储能力。

(3)本发明使用HBase存储，对HBase原生架构无侵入性，不需要安装额外的软件组件，也不需要改变原生HBase的业务参数，不会增加额外的架构复杂度和运维成本。

(4)使用本发明提供的方法识别初次入城车辆结束了公安部门以往效率低的查找方式，原本一小时能进行两次查询，现在可进行60次以上的查询，而准确度不变，大大提高了办案效率，对公安部门破案有重大参考意义。

需要说明的是，本发明能够实现上述一个或多个技术效果。虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种车辆初次入城分析的方法，其特征在于，包括：

获取过车数据，同时根据所述过车数据生成过车记录表和车辆入城索引表，其中，所述过车记录表使用HBase存储，所述过车记录表的行健为：过车时间+过车位置+车牌号，所述过车记录表的列键为：车牌颜色、车型、车辆品牌、车辆年款、车身颜色、有无放下遮阳板或者有无系安全带，所述车辆入城索引表使用HBase存储，所述车辆入城索引表的行健为：车牌号+过车时间；

根据时间切分函数将案发时间范围分为若干时间段，并将所述若干时间段传入原始记录线程池，其中，所述原始记录线程池包括多个嫌疑车辆查询线程；

调用所述原始记录线程池根据嫌疑车辆特征条件，多线程查询所述过车记录表，其中，根据所述若干时间段，每个时间段调用一个所述嫌疑车辆查询线程，查询各个时间段对应的起止时间内的所述过车记录表，所述嫌疑车辆特征条件包括车身颜色、车牌颜色或者车辆型号；

将各个所述嫌疑车辆查询线程的查询结果汇总，并根据车牌号去掉重复的车辆信息，得到嫌疑车辆数据集，所述嫌疑车辆数据集包括多条嫌疑车辆信息；

根据记录切分函数将所述嫌疑车辆数据集切分为若干数据段，并将所述若干数据段传入回溯检查线程池，其中，所述回溯检查线程池包括多个目标车辆查询线程；

调用所述回溯检查线程池，根据回溯时间，多线程查询所述车辆入城索引表，其中，根据所述若干数据段，每个数据段调用一个所述目标车辆查询线程，查询所述回溯时间的起止时间内的所述车辆入城索引表；

在各个所述目标车辆查询线程中，若所述数据段中的所述嫌疑车辆信息在所述车辆入城索引表中没有记录，则该条嫌疑车辆信息对应的车辆为所述案发时间范围内初次入城车辆；

合并各个所述目标车辆查询线程的处理结果，得到初次入城数据集。

2.根据权利要求1所述的车辆初次入城分析的方法，其特征在于，

获取过车数据，同时根据所述过车数据生成过车记录表和车辆入城索引表的步骤进一步包括：获取由物理设备拍摄的过车图片；

对所述过车图片进行图像处理，得到结构化数据，其中，一张所述过车图片对应一条所述结构化数据；

将所述结构化数据转换成HBase存储所需的格式，存入所述过车记录表和所述车辆入城索引表。

3.根据权利要求1所述的车辆初次入城分析的方法，其特征在于，

根据时间切分函数将案发时间范围分为若干时间段的步骤进一步为：

设置所述时间切分函数的切分间隔Δt，其中，采用以下公式确定所述时间切分函数的切分间隔Δt：

Δt＝T/(S1/S2)，其中，T为单位时间长度，S1为所述单位时间长度内所述过车数据的数据量大小，S2为执行所述方法的处理器的单线程的数据处理量的大小；

按照所述切分间隔Δt对所述案发时间范围进行等长切分，得到若干时间段。

4.根据权利要求3所述的车辆初次入城分析的方法，其特征在于，

根据时间切分函数将案发时间范围分为若干时间段，并将所述若干时间段传入原始记录线程池的步骤还包括：

若所述时间切分函数对所述案发时间范围进行等长切分时存在余数时间，则将所述余数时间记为一个时间段，并将所有时间段传入原始记录线程池。

5.根据权利要求1所述的车辆初次入城分析的方法，其特征在于，

将各个所述嫌疑车辆查询线程的查询结果汇总，并根据车牌号去掉重复的车辆信息，得到嫌疑车辆数据集的步骤进一步为：

使用java的HashMap对象对各个所述嫌疑车辆查询线程的查询结果汇总处理，以所述过车记录表中的车牌号作为所述HashMap的键，以所述过车记录表中的其他信息作为所述HashMap的值，各个所述嫌疑车辆查询线程向同一个所述HashMap中存储记录，得到所述嫌疑车辆数据集。

6.根据权利要求1所述的车辆初次入城分析的方法，其特征在于，

根据记录切分函数将所述嫌疑车辆数据集切分为若干数据段，并将所述若干数据段传入回溯检查线程池的步骤进一步为：

设置所述记录切分函数的记录切分条数Δp和所述回溯检查线程池中所述目标车辆查询线程的数量m，其中，

采用以下公式确定所述目标车辆查询线程的数量m：

m＝M/S2，其中，M为执行所述方法的处理器的内存大小，S2为执行所述方法的处理器的单线程的数据处理量的大小；

采用以下公式确定所述记录切分函数的所述记录切分条数Δp：

Δp＝N/m，其中，N为所述嫌疑车辆数据集中的嫌疑车辆记录条数；

按照所述记录切分条数Δp对所述嫌疑车辆数据集进行等量切分，得到若干数据段，并将所述若干数据段传入所述回溯检查线程池。

7.根据权利要求6所述的车辆初次入城分析的方法，其特征在于，

按照公式Δp＝N/m确定所述记录切分函数的所述记录切分条数Δp时，

若在计算确定所述记录切分条数Δp时存在余数，则将N/m取整数后加1作为所述记录切分条数Δp。

8.一种车辆初次入城分析的系统，其特征在于，包括：

前端设备、存储器、处理器和用户终端；其中，所述前端设备与所述存储器相连接，用于获取过车数据，同时根据所述过车数据生成过车记录表和车辆入城索引表，并将生成的所述过车记录表和所述车辆入城索引表存入所述存储器，其中，所述过车记录表使用HBase存储，所述过车记录表的行健为：过车时间+过车位置+车牌号，所述过车记录表的列键为：车牌颜色、车型、车辆品牌、车辆年款、车身颜色、有无放下遮阳板或者有无系安全带，所述车辆入城索引表使用HBase存储，所述车辆入城索引表的行健为：车牌号+过车时间；

所述处理器包括嫌疑车辆数据集生成模块和初次入城数据集生成模块；

所述嫌疑车辆数据集生成模块用于生成嫌疑车辆数据集，包括时间切分模块、原始记录线程池模块、嫌疑车辆数据处理模块；

所述时间切分模块与所述原始记录线程池模块相连接，用于获取案发时间范围，并根据时间切分函数将所述案发时间范围分为若干时间段，将所述若干时间段传入所述原始记录线程池模块；

所述原始记录线程池模块分别与所述时间切分模块和所述存储器相连接，用于根据嫌疑车辆特征条件，多线程查询所述过车记录表，其中，根据所述若干时间段，每个时间段调用一个嫌疑车辆查询线程，查询各个时间段对应的起止时间内的所述过车记录表，所述嫌疑车辆特征条件包括车身颜色、车牌颜色或者车辆型号；

所述嫌疑车辆数据处理模块与所述原始记录线程池模块相连接，用于将各个所述嫌疑车辆查询线程的查询结果汇总，并根据车牌号去掉重复的车辆信息，得到所述嫌疑车辆数据集；

所述初次入城数据集生成模块用于生成初次入城数据集，包括记录切分模块、回溯检查线程池模块、初次入城数据处理模块；

所述记录切分模块分别与所述嫌疑车辆数据处理模块和所述回溯检查线程池模块相连接，用于根据记录切分函数将所述嫌疑车辆数据集切分为若干数据段，并将所述若干数据段传入回溯检查线程池模块；

所述回溯检查线程池模块分别与所述记录切分模块和存储模块相连接，用于获取回溯时间，根据所述回溯时间，多线程查询所述车辆入城索引表，其中，根据所述若干数据段，每个数据段调用一个目标车辆查询线程，查询所述回溯时间的起止时间内的所述车辆入城索引表，在各个所述目标车辆查询线程中，若所述数据段中的嫌疑车辆信息在所述车辆入城索引表中没有记录，则该条嫌疑车辆信息对应的车辆为所述案发时间范围内初次入城车辆；

所述初次入城数据处理模块与所述回溯检查线程池模块相连接，用于合并各个所述目标车辆查询线程的处理结果，得到所述初次入城数据集；

所述用户终端，与所述处理器相连接，获取所述案发时间范围，并将所述案发时间范围发送给所述时间切分模块；获取所述回溯时间，并将所述回溯时间发送给所述回溯检查线程池模块；获取所述嫌疑车辆特征条件，并将所述嫌疑车辆特征条件发送给所述原始记录线程池模块。

9.根据权利要求8所述的车辆初次入城分析的系统，其特征在于，

所述时间切分模块进一步用于根据切分间隔Δt对所述案发时间范围进行等长切分，得到若干时间段，其中，采用以下公式确定所述时间切分函数的所述切分间隔Δt：

Δt＝T/(S1/S2)，其中，T为单位时间长度，S1为所述单位时间长度内所述过车数据的数据量大小，S2为处理器的单线程的数据处理量的大小。

10.根据权利要求8所述的车辆初次入城分析的系统，其特征在于，

所述记录切分模块进一步用于按照记录切分条数Δp对所述嫌疑车辆数据集进行等量切分，得到若干数据段，并将所述若干数据段传入所述回溯检查线程池，其中，

采用以下公式确定所述目标车辆查询线程的数量m：

m＝M/S2，其中，M为处理器的内存大小，S2为处理器的单线程的数据处理量的大小；

采用以下公式确定所述记录切分函数的所述记录切分条数Δp：

Δp＝N/m，其中，N为所述嫌疑车辆数据集中的嫌疑车辆记录条数。

Images