CN107798142A - 基于大数据分析隐匿车辆的方法及装置 - Google Patents

Abstract

本申请公开了一种基于大数据分析隐匿车辆的方法及装置，该方法包括：道路交通前端设备采集过车图片和视频，将过车图片和视频及过车信息发送至非结构化文件存储系统；非结构化文件存储系统接收所述道路前端设备发送的过车图片和视频及过车信息进行存储；结构化系统获取非结构化文件存储系统的过车图片和视频及过车信息，结构化解析为结构化数据，并存储在分布式面向列的存储系统中；确定筛选条件得到分析任务信息；将任务信息发送至分布式面向列的存储系统的各个数据节点，各个数据节点根据筛选条件过滤掉不符合条件的车辆数据；计算得到隐匿车辆。本发明能够在最短的时间内缩小排查嫌疑车辆的范围，提高民警的工作效率，降低对民警的经验要求。

Description

基于大数据分析隐匿车辆的方法及装置

技术领域

本发明涉及大数据及智能交通技术领域，具体地说，是涉及一种基于大数据分析隐匿车辆的方法及装置。

背景技术

随着生活水平的提高，越来越多的人选择开车出行，汽车保有量越来越大。道路、路口的卡口、电警等设备也越来越多，每天都会产生海量的过车数据。民警在利用这些视频或图片排查嫌疑车辆时，工作量非常大。由于各个地市的警力有限，往往在寻找线索的过程中就耗费大量时间，以致错失许多重要线索及机会。犯罪嫌疑人在实时犯罪前，会有规律的驾驶机动车在公路上出现，而实时犯罪后，会选择换车或躲藏起来，减少被盘查的几率。民警在通过这个规律缩小目标范围时，如果没有一定的工具，很难通过观察发现符合此类规律的车辆。

常规的系统会将车辆数据存储在关系型数据库中，但无法承载海量数据，针对大量数据的查询，也要耗费大量的时间和资源。随着数据量的增加，硬件扩展也需要很高的费用，无法提供一定的容错容灾能力。

发明内容

本发明所要解决的技术问题是用程序分析代替人工筛查隐匿车辆，解决筛选嫌疑车时，车辆数据太多花费时间过多的问题，以及对民警处理经验要求较高的问题。

为解决上述技术问题，本发明提供了一种基于大数据分析隐匿车辆的方法，包括步骤：

道路交通前端设备采集过车图片和视频，将过车图片和视频及过车信息发送至非结构化文件存储系统；

非结构化文件存储系统接收所述道路前端设备发送的过车图片和视频及过车信息进行存储；

结构化系统获取非结构化文件存储系统的过车图片和视频及过车信息，结构化解析为结构化数据，并存储在分布式面向列的存储系统中；

确定筛选条件得到分析任务信息，该筛选条件包括：车辆出现的开始时间、车辆出现的结束时间、隐匿时长，以及车辆品牌、车辆型号、车辆年款、车辆颜色、车辆类型、和/或车辆所在范围；

将任务信息发送至所述分布式面向列的存储系统的各个数据节点，各个数据节点根据所述筛选条件，提取出现时间范围内的车辆信息和隐匿时间范围内的车辆信息，再根据车辆品牌、车辆型号、车辆年款、车辆颜色、车辆类型、和/或车辆所在范围，过滤掉不符合条件的车辆数据；

计算得到隐匿车辆：将各个数据节点的数据汇总，出现时间范围内的车辆数据的集合减去隐匿时间范围内的车辆数据的集合，得到的差值即为出现时间范围内出现却未在隐匿时间范围内出现的车辆。

优选地，还包括，将计算得到的隐匿车辆数据结果存储在所述分布式文件存储系统中，所述分布式文件存储系统为HDFS或GFS。

优选地，所述道路交通前端设备，进一步为，卡口、电警设备。

优选地，所述确定筛选条件得到分析任务信息中，通过所述隐匿时长计算出车辆隐匿的开始时间和车辆隐匿的结束时间。

优选地，所述分布式面向列的存储系统包括HBase架构。

本发明还公开了一种基于大数据分析隐匿车辆的装置，包括道路交通前端设备、非结构化文件存储系统、结构化系统、分布式面向列的存储系统及隐匿车辆分析任务确定模块，其中，

所述道路交通前端设备，与所述非结构化文件存储系统相耦接，用于采集过车图片和视频，将过车图片和视频及过车信息发送至非结构化文件存储系统；

所述非结构化文件存储系统，分别与所述道路交通前端设备和结构化系统相耦接，接收并存储所述道路前端设备发送的过车图片和视频及过车信息进行存储，与所述结构化系统进行数据交互；

所述结构化系统，分别与所述非结构化文件存储系统和分布式面向列的存储系统相耦接，将所述非结构化文件存储系统内的非结构化文件结构化解析为结构化数据，并发送至所述分布式面向列的存储系统中；

所述隐匿车辆分析任务确定模块，与所述分布式面向列的存储系统相耦接，确定筛选条件得到分析任务信息发送至所述分布式面向列的存储系统，所述筛选条件包括：车辆出现的开始时间、车辆出现的结束时间、隐匿时长，以及车辆品牌、车辆型号、车辆年款、车辆颜色、车辆类型、和/或车辆所在范围；

所述分布式面向列的存储系统，分别与所述结构化系统和隐匿车辆分析任务确定模块相耦接，用于存储结构化系统发送的结构化数据，接受所述隐匿车辆分析任务确定模块的任务信息，进行计算得到隐匿车辆；将所述任务信息发送至所述分布式面向列的存储系统的各个数据节点，各个数据节点根据所述筛选条件，提取出现时间范围内的车辆信息和隐匿时间范围内的车辆信息，再根据车辆品牌、车辆型号、车辆年款、车辆颜色、车辆类型、和/或车辆所在范围，过滤掉不符合条件的车辆数据；将各个数据节点的数据汇总，出现时间范围内的车辆数据的集合减去隐匿时间范围内的车辆数据的集合，得到的差值即为出现时间范围内出现却未在隐匿时间范围内出现的车辆。

优选地，还包括分布式文件存储系统，与所述分布式面向列的存储系统相耦接，用于存储分布式面向列的存储系统计算得到的隐匿车辆数据结果，所述分布式文件存储系统为HDFS或GFS。

优选地，所述道路交通前端设备，进一步为，卡口、电警设备。

优选地，所述隐匿车辆分析任务确定模块，通过所述隐匿时长计算出车辆隐匿的开始时间和车辆隐匿的结束时间。

优选地，所述分布式面向列的存储系统包括HBase架构。

本发明使用大数据平台分布式面向列的数据库储存过车数据，解决数据量大、数据增长快，硬件扩展性不好及费用高的问题。

在各个处理节点引入协处理器，可根据所选条件初步过滤一部分数据，解决各个节点之间汇总数据需要传输大量无效数据的问题。

查询结果存储在大数据平台分布式存储系统，解决查询结果不可多次查看及易丢失、易出错的问题。

与现有技术相比，本发明所述的基于大数据分析隐匿车辆的方法及装置，达到了如下效果：

1)本发明能够在最短的时间内缩小排查嫌疑车辆的范围，提高民警的工作效率，降低对民警的经验要求；

2)本发明使用大数据平台分布式面向列的数据库存储过车数量，可提高系统的可扩展性，降低硬件费用成本，并能提高系统的容错、容灾能力。可支撑数据的快速增长；

3)本发明在各个处理节点引入协处理器，可初步筛选过滤掉一部分不符合所选条件的车辆数据，降低通讯开销，减少数据传输所需时间，从而提高查询速度；

4)本发明的查询结果存储在大数据平台分布式存储系统，可使查询结果长时间保存，并提供一定的容错、容灾能力。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为实施例1中基于大数据分析隐匿车辆的方法流程图；

图2为实施例2中基于大数据分析隐匿车辆的装置结构图；

图3为实施例3中基于大数据分析隐匿车辆的系统架构图；

图4为实施例3中分析隐匿车辆的流程图；

图5为实施例3中采集车辆信息、非结构化车辆信息解析并存储的流程图；

图6为实施例3中数据节点的协处理器在各个节点执行车辆数据的筛选工作流程图；

其中：201-道路交通前端设备；202-非结构化文件存储系统；203-结构化系统；204-分布式面向列的存储系统；205-隐匿车辆分析任务确定模块。

具体实施方式

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明本发明的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。

以下结合附图对本发明作进一步详细说明，但不作为对本发明的限定。

实施例1：

结合图1，本实施例提供了一种基于大数据分析隐匿车辆的方法，包括步骤：

步骤101：道路交通前端设备采集过车图片和视频，将过车图片和视频及过车信息发送至非结构化文件存储系统；

步骤102：非结构化文件存储系统接收所述道路前端设备发送的过车图片和视频及过车信息进行存储；

步骤103：结构化系统获取非结构化文件存储系统的过车图片和视频及过车信息，结构化解析为结构化数据，并存储在分布式面向列的存储系统中；

所述分布式面向列的存储系统包括但不限于HBase架构；

步骤104：确定筛选条件得到分析任务信息，该筛选条件包括：车辆出现的开始时间、车辆出现的结束时间、隐匿时长，以及车辆品牌、车辆型号、车辆年款、车辆颜色、车辆类型、和/或车辆所在范围；

步骤105：将任务信息发送至所述分布式面向列的存储系统的各个数据节点，各个数据节点根据所述筛选条件，提取出现时间范围内的车辆信息和隐匿时间范围内的车辆信息，再根据车辆品牌、车辆型号、车辆年款、车辆颜色、车辆类型、和/或车辆所在范围，过滤掉不符合条件的车辆数据；

步骤106：计算得到隐匿车辆：将各个数据节点的数据汇总，出现时间范围内的车辆数据的集合减去隐匿时间范围内的车辆数据的集合，得到的差值即为出现时间范围内出现却未在隐匿时间范围内出现的车辆。

本发明的另一实施例中还包括步骤107：将计算得到的隐匿车辆数据结果存储在所述分布式文件存储系统中，所述分布式文件存储系统为HDFS或GFS。

所述道路交通前端设备，进一步为，卡口、电警设备。

所述确定筛选条件得到分析任务信息中，通过所述隐匿时长计算出车辆隐匿的开始时间和车辆隐匿的结束时间。

实施例2：

结合图2，本实施例提供了一种基于大数据分析隐匿车辆的装置，包括道路交通前端设备201、非结构化文件存储系统202、结构化系统203、分布式面向列的存储系统204及隐匿车辆分析任务确定模块205。

所述道路交通前端设备201，与所述非结构化文件存储系统202相耦接，用于采集过车图片和视频，将过车图片和视频及过车信息发送至非结构化文件存储系统202；

所述非结构化文件存储系统202，分别与所述道路交通前端设备201和结构化系统203相耦接，接收并存储所述道路前端设备发送的过车图片和视频及过车信息进行存储，与所述结构化系统203进行数据交互；

所述结构化系统203，分别与所述非结构化文件存储系统202和分布式面向列的存储系统204相耦接，将所述非结构化文件存储系统202内的非结构化文件结构化解析为结构化数据，并发送至所述分布式面向列的存储系统204中；

所述隐匿车辆分析任务确定模块205，与所述分布式面向列的存储系统204相耦接，确定筛选条件得到分析任务信息发送至所述分布式面向列的存储系统204，所述筛选条件包括：车辆出现的开始时间、车辆出现的结束时间、隐匿时长，以及车辆品牌、车辆型号、车辆年款、车辆颜色、车辆类型、和/或车辆所在范围；

所述分布式面向列的存储系统204，分别与所述结构化系统203和隐匿车辆分析任务确定模块205相耦接，用于存储结构化系统203发送的结构化数据，接受所述隐匿车辆分析任务确定模块205的任务信息，进行计算得到隐匿车辆；将所述任务信息发送至所述分布式面向列的存储系统204的各个数据节点，各个数据节点根据所述筛选条件，提取出现时间范围内的车辆信息和隐匿时间范围内的车辆信息，再根据车辆品牌、车辆型号、车辆年款、车辆颜色、车辆类型、和/或车辆所在范围，过滤掉不符合条件的车辆数据；将各个数据节点的数据汇总，出现时间范围内的车辆数据的集合减去隐匿时间范围内的车辆数据的集合，得到的差值即为出现时间范围内出现却未在隐匿时间范围内出现的车辆。

本发明的另一实施例中还包括分布式文件存储系统，与所述分布式面向列的存储系统204相耦接，用于存储分布式面向列的存储系统204计算得到的隐匿车辆数据结果，所述分布式文件存储系统为HDFS或GFS。

所述道路交通前端设备201，进一步为，卡口、电警设备。

所述隐匿车辆分析任务确定模块205，通过所述隐匿时长计算出车辆隐匿的开始时间和车辆隐匿的结束时间。

所述分布式面向列的存储系统204包括HBase架构。

实施例3：

本实施例中的基于大数据分析隐匿车辆的装置，主要包括拍摄设备、结构化系统、分布式面向列的数据库存储系统、非结构化存储系统、分布式文件存储系统构成，其系统架构图见图3所示。

用户提供筛选条件，包括车辆出现的开始时间、车辆出现的结束时间、隐匿时长(这里通过隐匿时长可自动计算出车辆隐匿的开始时间和车辆隐匿的结束时间)，并可选择车辆的品牌、车来的型号、车辆的年款、车辆的颜色、车牌的颜色、车辆的类型、车辆所在范围等条件。用户向系统发起任务请求，系统会将任务信息分发给各个数据节点。

各个数据节点(分布式面向列的数据库存储系统的数据节点，也就是本发明中的分布式面向列的存储系统)根据用户的筛选条件，首选提取出现时间范围内的车辆信息和隐匿时间范围内的车辆信息。再根据用户选择的车辆品牌、型号、年款、颜色、类型、车牌颜色、位置等条件，过滤掉不符合条件的车辆数据。

将各个节点数据汇总到一起，用出现时间范围内的车辆数据减去隐匿时间范围内的车辆数据得到两个集合的差值，即为在出现时间范围内出现却未在隐匿时间范围内出现的车辆。

针对全量数据继续根据用户选择的车辆品牌、型号、年款、颜色、类型、车牌颜色、位置等条件，过滤掉不符合条件的车辆数据。并将结果存储到分布式文件存储系统，以供用户调用查看。该方法的整体流程图见图4所示：

1)开始；

2)提出任务：提供查询车辆的开始时间、结束时间、隐匿时长等条件。

3)任务条件分发给各个数据节点；

4)各个数据节点启动协处理器初步筛选过滤车辆数据；

5)汇总各个数据节点的数据；

6)根据任务条件筛选车辆数据，这里通过出现时间范围内的车辆数据减去隐匿时间范围内的车辆数据得出差值集合；

7)根据任务条件过滤无效车辆数据，这里将车辆品牌、型号、年款、颜色、位置等不符合任务条件的车辆数据过滤掉；

8)保存任务结果到分布式文件存储系统；

9)结束。

卡口、电警等设备拍摄的图片、视频等非结构化车辆信息，通过文件存储服务系统提供存储及访问服务，再经过结构化系统解析为结构化数据，并存储在分布式面向列的存储系统里，包括但不限于HBase等架构，非结构化车辆信息解析并存储的流程图见图5所示：

1)开始；

2)采集过车图片、视频等，这里采用的是卡口、电警等前端设备；

3)储存过车图片、视频及过车信息，文件存储系统存储图片、视频，关系型数据库存储过车信息；文件包括图片、视频称为非结构化数据，一般存储在文件存储系统中。过车信息包括车牌号码、品牌、型号、颜色、时间等等数据是结构化数据，一般存储在关系型数据库中。即，文件存储系统属于非结构化存储系统；关系型数据库属于结构化存储系统。

4)将图片、视频等结构化；

5)存储结构化过车数据，面向列的分布式数据库存储过车信息，包括车牌号码、过车时间、图片地址等信息；

6)结束。

数据节点的协处理器可在各个节点执行车辆数据的筛选工作，其流程图见图6所示，具体如下：

1)开始；

2)各节点的协处理器接收任务，由Master将任务分发到RegionServer；

3)节点提取符合时间范围内的车辆数据，具体地分别提取车辆出现时间范围内的数据和车辆隐匿时间范围内的数据；

4)过滤不符合筛选条件的车辆数据，将车辆品牌、型号、年款、颜色、位置等不符合任务条件的车辆数据过滤掉；

5)车辆数据汇总到主节点，各个节点初步筛选过滤后的数据汇总到一起等待进一步处理；

6)结束。

分布式面向列的数据库存储结构设计及其中文解释见表1和表2所示。

表1分布式面向列的数据库存储结构设计

表2分布式面向列的数据库存储结构设计中文解释

与现有技术相比，本发明所述的基于大数据分析隐匿车辆的方法及装置，达到了如下效果：

1)本发明能够在最短的时间内缩小排查嫌疑车辆的范围，提高民警的工作效率，降低对民警的经验要求；

2)本发明使用大数据平台分布式面向列的数据库存储过车数量，可提高系统的可扩展性，降低硬件费用成本，并能提高系统的容错、容灾能力。可支撑数据的快速增长；

3)本发明在各个处理节点引入协处理器，可初步筛选过滤掉一部分不符合所选条件的车辆数据，降低通讯开销，减少数据传输所需时间，从而提高查询速度；

4)本发明的查询结果存储在大数据平台分布式存储系统，可使查询结果长时间保存，并提供一定的容错、容灾能力。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种基于大数据分析隐匿车辆的方法，其特征在于，包括步骤：

道路交通前端设备采集过车图片和视频，将过车图片和视频及过车信息发送至非结构化文件存储系统；

非结构化文件存储系统接收所述道路前端设备发送的过车图片和视频及过车信息进行存储；

结构化系统获取非结构化文件存储系统的过车图片和视频及过车信息，结构化解析为结构化数据，并存储在分布式面向列的存储系统中；

确定筛选条件得到分析任务信息，该筛选条件包括：车辆出现的开始时间、车辆出现的结束时间、隐匿时长，以及车辆品牌、车辆型号、车辆年款、车辆颜色、车辆类型、和/或车辆所在范围；

将任务信息发送至所述分布式面向列的存储系统的各个数据节点，各个数据节点根据所述筛选条件，提取出现时间范围内的车辆信息和隐匿时间范围内的车辆信息，再根据车辆品牌、车辆型号、车辆年款、车辆颜色、车辆类型、和/或车辆所在范围，过滤掉不符合条件的车辆数据；

计算得到隐匿车辆：将各个数据节点的数据汇总，出现时间范围内的车辆数据的集合减去隐匿时间范围内的车辆数据的集合，得到的差值即为出现时间范围内出现却未在隐匿时间范围内出现的车辆。

2.根据权利要求1所述的基于大数据分析隐匿车辆的方法，其特征在于，还包括，将计算得到的隐匿车辆数据结果存储在所述分布式文件存储系统中，所述分布式文件存储系统为HDFS或GFS。

3.根据权利要求1所述的基于大数据分析隐匿车辆的方法，其特征在于，

所述道路交通前端设备，进一步为，卡口、电警设备。

4.根据权利要求1所述的基于大数据分析隐匿车辆的方法，其特征在于，所述确定筛选条件得到分析任务信息中，通过所述隐匿时长计算出车辆隐匿的开始时间和车辆隐匿的结束时间。

5.根据权利要求1所述的基于大数据分析隐匿车辆的方法，其特征在于，所述分布式面向列的存储系统包括HBase架构。

6.一种基于大数据分析隐匿车辆的装置，其特征在于，包括道路交通前端设备、非结构化文件存储系统、结构化系统、分布式面向列的存储系统及隐匿车辆分析任务确定模块，其中，

所述道路交通前端设备，与所述非结构化文件存储系统相耦接，用于采集过车图片和视频，将过车图片和视频及过车信息发送至非结构化文件存储系统；

所述非结构化文件存储系统，分别与所述道路交通前端设备和结构化系统相耦接，接收并存储所述道路前端设备发送的过车图片和视频及过车信息进行存储，与所述结构化系统进行数据交互；

所述结构化系统，分别与所述非结构化文件存储系统和分布式面向列的存储系统相耦接，将所述非结构化文件存储系统内的非结构化文件结构化解析为结构化数据，并发送至所述分布式面向列的存储系统中；

所述隐匿车辆分析任务确定模块，与所述分布式面向列的存储系统相耦接，确定筛选条件得到分析任务信息发送至所述分布式面向列的存储系统，所述筛选条件包括：车辆出现的开始时间、车辆出现的结束时间、隐匿时长，以及车辆品牌、车辆型号、车辆年款、车辆颜色、车辆类型、和/或车辆所在范围；

所述分布式面向列的存储系统，分别与所述结构化系统和隐匿车辆分析任务确定模块相耦接，用于存储结构化系统发送的结构化数据，接受所述隐匿车辆分析任务确定模块的任务信息，进行计算得到隐匿车辆；将所述任务信息发送至所述分布式面向列的存储系统的各个数据节点，各个数据节点根据所述筛选条件，提取出现时间范围内的车辆信息和隐匿时间范围内的车辆信息，再根据车辆品牌、车辆型号、车辆年款、车辆颜色、车辆类型、和/或车辆所在范围，过滤掉不符合条件的车辆数据；将各个数据节点的数据汇总，出现时间范围内的车辆数据的集合减去隐匿时间范围内的车辆数据的集合，得到的差值即为出现时间范围内出现却未在隐匿时间范围内出现的车辆。

7.根据权利要求6所述的基于大数据分析隐匿车辆的装置，其特征在于，还包括分布式文件存储系统，与所述分布式面向列的存储系统相耦接，用于存储分布式面向列的存储系统计算得到的隐匿车辆数据结果，所述分布式文件存储系统为HDFS或GFS。

8.根据权利要求6所述的基于大数据分析隐匿车辆的装置，其特征在于，所述道路交通前端设备，进一步为，卡口、电警设备。

9.根据权利要求6所述的基于大数据分析隐匿车辆的装置，其特征在于，所述隐匿车辆分析任务确定模块，通过所述隐匿时长计算出车辆隐匿的开始时间和车辆隐匿的结束时间。

10.根据权利要求6所述的基于大数据分析隐匿车辆的装置，其特征在于，所述分布式面向列的存储系统包括HBase架构。