CN107967805A - 基于大数据分析快速离城车辆的方法及装置 - Google Patents

基于大数据分析快速离城车辆的方法及装置 Download PDF

Info

Publication number
CN107967805A
CN107967805A CN201711189609.8A CN201711189609A CN107967805A CN 107967805 A CN107967805 A CN 107967805A CN 201711189609 A CN201711189609 A CN 201711189609A CN 107967805 A CN107967805 A CN 107967805A
Authority
CN
China
Prior art keywords
city
car
vehicle
stages
quickly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711189609.8A
Other languages
English (en)
Other versions
CN107967805B (zh
Inventor
李占强
辛国茂
李善宝
马述杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taihua Wisdom Industry Group Co Ltd
Original Assignee
Taihua Wisdom Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taihua Wisdom Industry Group Co Ltd filed Critical Taihua Wisdom Industry Group Co Ltd
Priority to CN201711189609.8A priority Critical patent/CN107967805B/zh
Publication of CN107967805A publication Critical patent/CN107967805A/zh
Application granted granted Critical
Publication of CN107967805B publication Critical patent/CN107967805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • G06Q50/265Personal security, identity or safety
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种基于大数据分析快速离城车辆的方法及装置,该方法包括步骤:道路上的前端拍摄设备拍摄过车图片,并识别出当前所过车辆的车牌号和车牌颜色、连同过车时间和拍摄位置信息发送到后台,并录入进Hadoop集群的HDFS分布式文件系统中;指定检索条件,检索符合所述指定检索条件的快速离城的车辆,检索条件包含开始时间s和结束时间e;MapReduce作业判断快速离城车辆。本发明判断快速离城车辆时参考了所有同时段、同路段的其他车辆的总用时,得出的结果比较准确,可信度高;对公安部门的案件侦破具有重大参考意义,加快了案件侦破速度,提高了办案效率。

Description

基于大数据分析快速离城车辆的方法及装置
技术领域
本发明涉及大数据分析与公共安全领域,具体地说,是涉及一种基于大数据分析快速离城车辆的方法及装置。
背景技术
现如今车辆已成为犯罪分子作案、生活中必不可少的工具。据统计驾车、涉车案件占所有刑事案件的50%左右。犯罪心理学表明涉车犯罪人员在案发后基本都会快速逃离案发现场,并经过郊区卡口,进而逃离城区,我们称之为快速离城。这里的“快速”是跟其他车辆的速度对比得出,并不是通过主观臆测而来。如何从大量的过车数据中定位出快速离城的车辆是一直困扰公安部门的一个难题。
传统的定位快速离城车辆的方式是利用城市道路点位测速设备进行的。交管部门根据实际情况对不同路段设置速度上限Limit,并安装测速设备。测速设备抓拍车速大于Limit的车辆,并将过车图片和车牌号上传至交管部门,这样交管部门即可查出快速离城的车辆。这种方式有很大的局限性。首先,城市道路的点位测速普及率低,并不能保证每个郊区卡口都有点位测速设备,如果涉案车辆从没有安装点位测速设备的路段离城就会成为漏网之鱼;其次,点位测速衡量的是车辆的瞬时速度。可能有些正常(非涉案)车辆在该点的瞬时速度超过Limit也会被误认为快速离城车辆。又或者涉案车辆驾驶员对逃窜路段比较熟悉,反侦察能力强,故意在到达点位测速设备之前将车速降低到Limit以下,这种情况下点位测速设备也不会抓拍涉案车辆。最重要的是,仅仅依靠车辆的瞬时速度判定快速离城也是欠考虑的,更好的方式是测量涉案车辆在逃窜路线上的平均速度,但是由于城市道路的错综复杂性,很难在城市道路上实施区间测速;最后,这种方式通过指定一个固定的速度上限Limit,没有考虑道路的实际交通状况,也没有对比其他车辆的行车速度。综上,传统的利用点位测速设备定位快速离城车辆的方式是欠考虑的、不科学的,不能运用于实际的案件侦破。
发明内容
本发明所要解决的技术问题是提供一种基于大数据进行快速离城实时分析的方法及系统,解决当下仅仅依靠车辆瞬时速度就判定为快速离城车辆的不科学性。
为解决上述技术问题,本发明提供了一种基于大数据分析快速离城车辆的方法,包括步骤:
道路上的前端拍摄设备拍摄过车图片,并识别出当前所过车辆的车牌号和车牌颜色、连同过车时间和拍摄位置信息发送到后台,并录入进Hadoop集群的HDFS分布式文件系统中;
指定检索条件,检索符合所述指定检索条件的快速离城的车辆,检索条件包含开始时间s和结束时间e;
MapReduce作业判断快速离城车辆,MapReduce作业包括mr1和mr2两个部分,其中mr1和mr2均分为map阶段和reduce阶段:
mr1的map阶段从HDFS分布式文件系统中逐条读取[s,e]时间范围内的过车数据;mr1的map阶段验证数据的合法性,当前过车数据的车牌号或者车牌颜色未能正确识别,则跳过当前记录;当数据验证通过则继续;mr1的map阶段从过车记录中分离出车牌号、拍摄位置、过车时间,并组织成键key为车牌号,值为拍摄时间+过车时间,即<车牌号,拍摄位置+过车时间>的键值对,写到磁盘文件;
mr1的reduce阶段读取mr1的map阶段的输出,mr1的map阶段的输出的key为车牌号,将所有车牌号相同的记录发送到同一个reduce节点,reduce将相同车牌号的键值对按照时间排序,排序后按照拍摄位置连接成列表,连接成的列表即为离城路线,reduce输出键为离城路线,值为所有车牌号+过车总时间的键值对;
mr2的map阶段读取mr1的reduce阶段输出的结果并过滤掉离城路线较短的记录,未被过滤的数据原样输出;
mr2的reduce阶段的输入是mr2的map的输出,mr2的map阶段的输出的key为离城路线,将所有相同离城路线的记录发送到同一个reduce,reduce计算所有经过相同离城路线总用时的期望值μ,并计算总用时的标准差σ;
判断经过每条离城路线出城的每辆车的总用时是否介于[μ-3σ,μ+3σ]区间,若不在区间内,那么判定该车是快速离城车辆。
优选地,还包括整理mr2的reduce输入的结果,将[s,e]时间范围内快速离城的所有的车辆展示给用户。
优选地,所述前端拍摄设备,包括卡口、电子警察、和治安监控。
优选地,所述mr2的map阶段读取mr1的reduce阶段输出的结果并过滤掉离城路线较短的记录,未被过滤的数据原样输出,进一步为,
mr2的map阶段读取mr1的reduce阶段输出的结果中离城路线只经过两个卡口时,过滤掉该离城路线,未被过滤的数据原样输出。
本发明还公开了一种基于大数据分析快速离城车辆的装置,包括前端拍摄设备、HDFS分布式文件系统、指定检索条件模块、和判断快速离城车辆模块;
所述前端拍摄设备,与所述HDFS分布式文件系统相耦接,用于拍摄过车图片,并识别出当前所过车辆的车牌号和车牌颜色、连同过车时间和拍摄位置信息发送到后台,并录入进Hadoop集群的HDFS分布式文件系统中;
所述指定检索条件模块,与所述判断快速离城车辆模块相耦接,用于指定检索条件,检索符合所述指定检索条件的快速离城的车辆,检索条件包含开始时间s和结束时间e;
所述判断快速离城车辆模块,为通过MapReduce作业判断快速离城车辆,分别与所述指定检索条件模块和HDFS分布式文件系统相耦接,用于接收所述指定检索条件模块的指定检索条件,调取所述HDFS分布式文件系统中的车辆的车牌号、车牌颜色、过车时间和拍摄位置信息,判断快速离城车辆:
MapReduce作业包括mr1和mr2两个部分,其中mr1和mr2均分为map阶段和reduce阶段:
mr1的map阶段从HDFS分布式文件系统中逐条读取[s,e]时间范围内的过车数据;mr1的map阶段验证数据的合法性,当前过车数据的车牌号或者车牌颜色未能正确识别,则跳过当前记录;当数据验证通过则继续;mr1的map阶段从过车记录中分离出车牌号、拍摄位置、过车时间,并组织成键key为车牌号,值为拍摄时间+过车时间,即<车牌号,拍摄位置+过车时间>的键值对,写到磁盘文件;
mr1的reduce阶段读取mr1的map阶段的输出,mr1的map阶段的输出的key为车牌号,将所有车牌号相同的记录发送到同一个reduce节点,reduce将相同车牌号的键值对按照时间排序,排序后按照拍摄位置连接成列表,连接成的列表即为离城路线,reduce输出键为离城路线,值为所有车牌号+过车总时间的键值对;
mr2的map阶段读取mr1的reduce阶段输出的结果并过滤掉离城路线较短的记录,未被过滤的数据原样输出;
mr2的reduce阶段的输入是mr2的map的输出,mr2的map阶段的输出的key为离城路线,将所有相同离城路线的记录发送到同一个reduce,reduce计算所有经过相同离城路线总用时的期望值μ,并计算总用时的标准差σ;
判断经过每条离城路线出城的每辆车的总用时是否介于[μ-3σ,μ+3σ]区间,若不在区间内,那么判定该车是快速离城车辆。
优选地,还包括展示模块,与所述判断快速离城车辆模块相耦接,用于整理mr2的reduce输入的结果,将[s,e]时间范围内快速离城的所有的车辆展示给用户。
优选地,所述前端拍摄设备,包括卡口、电子警察、和治安监控。
优选地,所述判断快速离城车辆模块中,当mr2的map阶段读取mr1的reduce阶段输出的结果中离城路线只经过两个卡口时,过滤掉该离城路线,未被过滤的数据原样输出。
Hadoop生态圈包含一系列的组件,其中MapReduce是一种离线批处理框架。MapReduce分为两个阶段:map阶段和reduce阶段。map阶段和reduce阶段都是在集群内部分布式并行执行的。MapReduce框架从HDFS上读取要分析的数据,并分割成split,然后将每个split分发给各个节点的map任务,map任务拿到数据之后做相应的处理,然后将处理的结果组织成键值对(key-value pair)并输出到磁盘。map输出的结果按照key进行分区,具体的分区格式可以通过自定义分区函数实现。然后MapReduce框架将每个分区的数据发送到相应的reduce任务,这其中键(key)相同的键值对会被发送到同一个reduce任务,reduce任务拿到数据做相应的处理,并将最终的处理结果组成成键值对并写到HDFS上。
与现有技术相比,本发明所述的基于大数据分析快速离城车辆的方法,达到了如下效果:
本发明判断快速离城车辆时参考了所有同时段、同路段的其他车辆的总用时,得出的结果比较准确,可信度高;
对公安部门的案件侦破具有重大参考意义,加快了案件侦破速度,提高了办案效率;
本方法基于Hadoop大数据平台,可以处理PB数量级的过车数据,并在合理时间内返回结果
扩展性强、容灾行好,系统基于Hadoop大数据平台,Hadoop是一种分布式架构,在后期数据量增加的情况下,可以通过增加节点来增强Hadoop集群的处理能力,Hadoop平台的底层存储HDFS中的文件默认是3备份的,其中一个节点宕机,还有其他两个备份文件可用。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为实施例1中基于大数据分析快速离城车辆的方法流程图;
图2为实施例2中基于大数据分析快速离城车辆的装置结构示意图;
图3为实施例1中离城路线示意图;
图4为实施例3中基于大数据分析快速离城车辆的方法工作流程图;
图5为实施例3中正态分布图;
其中,201-前端拍摄设备;202-HDFS分布式文件系统;203-指定检索条件模块;204-判断快速离城车辆模块。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解,硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语,故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内,本领域技术人员能够在一定误差范围内解决所述技术问题,基本达到所述技术效果。此外,“耦接”一词在此包含任何直接及间接的电性耦接手段。因此,若文中描述一第一装置耦接于一第二装置,则代表所述第一装置可直接电性耦接于所述第二装置,或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本发明的较佳实施方式,然所述描述乃以说明本发明的一般原则为目的,并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
以下结合附图对本发明作进一步详细说明,但不作为对本发明的限定。
实施例1:
结合图1,本实施例提供了一种基于大数据分析快速离城车辆的方法,包括步骤:
步骤101:道路上的前端拍摄设备拍摄过车图片,并识别出当前所过车辆的车牌号和车牌颜色、连同过车时间和拍摄位置信息发送到后台,并录入进Hadoop集群的HDFS分布式文件系统中;
步骤102:指定检索条件,检索符合所述指定检索条件的快速离城的车辆,检索条件包含开始时间s和结束时间e;
步骤103:MapReduce作业判断快速离城车辆,MapReduce作业包括mr1和mr2两个部分,其中mr1和mr2均分为map阶段和reduce阶段:
mr1的map阶段从HDFS分布式文件系统中逐条读取[s,e]时间范围内的过车数据;mr1的map阶段验证数据的合法性,当前过车数据的车牌号或者车牌颜色未能正确识别,则跳过当前记录;当数据验证通过则继续;mr1的map阶段从过车记录中分离出车牌号、拍摄位置、过车时间,并组织成键key为“车牌号”,值为“拍摄时间+过车时间”,即<车牌号,拍摄位置+过车时间>的键值对,写到磁盘文件;
mr1的reduce阶段读取mr1的map阶段的输出,mr1的map阶段的输出的key为车牌号,将所有车牌号相同的记录发送到同一个reduce节点,reduce将相同车牌号的键值对按照时间排序,排序后按照拍摄位置连接成列表,连接成的列表即为离城路线,reduce输出键为“离城路线”,值为所有“车牌号+过车总时间”的键值对;
mr2的map阶段读取mr1的reduce阶段输出的结果并过滤掉离城路线较短的记录,未被过滤的数据原样输出;
mr2的reduce阶段的输入是mr2的map的输出,mr2的map阶段的输出的key为离城路线,将所有相同离城路线的记录发送到同一个reduce,reduce计算所有经过相同离城路线总用时的期望值μ,并计算总用时的标准差σ;
判断经过每条离城路线出城的每辆车的总用时是否介于[μ-3σ,μ+3σ]区间,若不在区间内,那么判定该车就是快速离城车辆。
还包括步骤104整理mr2的reduce输入的结果,将[s,e]时间范围内快速离城的所有的车辆展示给用户。
本方法主要是针对现有技术的不足,提出了一种全新的定位快速离城车辆的方法。前端拍摄设备,如卡口、电子警察、治安监控等,抓拍并识别通行车辆,识别信息包括:车牌号、车牌颜色,连同过车时间、拍摄位置等信息一并存入Hadoop平台的HDFS分布式文件系统中。本方法基于HDFS中的海量过车数据,并将大量的计算逻辑封装成MapReduce作业,通过运行MapReduce作业,进而计算出经过每条线路的所有车辆的总用时。如图3所示,图中每条线代表离城路线,线上面所标注的字母代表卡口代号,如线路A->B->C->D->E代表顺序经过卡口A、B、C、D、E的路线。系统首先收集郊区卡口的集合U={E,J,O,T,X},MapReduce程序从HDFS上读取开始时间s、结束时间e之间的过车数据,并经过统计分析得出时间段[s,e]所有车辆的离城路线。以图1为例MapReduce程序分析出了A->B->C->D->E、F->G->H->I->J、K->L->M->N->O、P->Q->R->S->T、U->V->W->X五条离城路线,并记录下每条离城路线上所有车的总用时。以A->B->C->D->E路线为例,假设该离城路线在[s,e]时间范围内共有t辆车经过,系统计算t辆车的总用时的均值μ,并计算t辆车总用时的标准差σ,过车总时间在集合V=[μ-3σ,μ+3σ]之内的即为正常车辆,总用时不在集合V内的车辆即标定为快速离城车辆。
实施例2:
本实施例提供了一种基于大数据分析快速离城车辆的装置,包括前端拍摄设备201、HDFS分布式文件系统202、指定检索条件模块203、和判断快速离城车辆模块204。
所述前端拍摄设备201,与所述HDFS分布式文件系统202相耦接,用于拍摄过车图片,并识别出当前所过车辆的车牌号和车牌颜色、连同过车时间和拍摄位置信息发送到后台,并录入进Hadoop集群的HDFS分布式文件系统202中;
所述指定检索条件模块203,与所述判断快速离城车辆模块204相耦接,用于指定检索条件,检索符合所述指定检索条件的快速离城的车辆,检索条件包含开始时间s和结束时间e;
所述判断快速离城车辆模块204,为通过MapReduce作业判断快速离城车辆,分别与所述指定检索条件模块203和HDFS分布式文件系统202相耦接,用于接收所述指定检索条件模块203的指定检索条件,调取所述HDFS分布式文件系统202中的车辆的车牌号、车牌颜色、过车时间和拍摄位置信息,判断快速离城车辆:
MapReduce作业包括mr1和mr2两个部分,其中mr1和mr2均分为map阶段和reduce阶段:
mr1的map阶段从HDFS分布式文件系统202中逐条读取[s,e]时间范围内的过车数据;mr1的map阶段验证数据的合法性,当前过车数据的车牌号或者车牌颜色未能正确识别,则跳过当前记录;当数据验证通过则继续;mr1的map阶段从过车记录中分离出车牌号、拍摄位置、过车时间,并组织成键key为“车牌号”,值为“拍摄时间+过车时间”,即<车牌号,拍摄位置+过车时间>的键值对,写到磁盘文件;
mr1的reduce阶段读取mr1的map阶段的输出,mr1的map阶段的输出的key为车牌号,将所有车牌号相同的记录发送到同一个reduce节点,reduce将相同车牌号的键值对按照时间排序,排序后按照拍摄位置连接成列表,连接成的列表即为离城路线,reduce输出键为“离城路线”,值为所有“车牌号+过车总时间”的键值对;
mr2的map阶段读取mr1的reduce阶段输出的结果并过滤掉离城路线较短的记录,未被过滤的数据原样输出;
mr2的reduce阶段的输入是mr2的map的输出,mr2的map阶段的输出的key为离城路线,将所有相同离城路线的记录发送到同一个reduce,reduce计算所有经过相同离城路线总用时的期望值μ,并计算总用时的标准差σ;
判断经过每条离城路线出城的每辆车的总用时是否介于[μ-3σ,μ+3σ]区间,若不在区间内,那么判定该车就是快速离城车辆。
还包括展示模块,与所述判断快速离城车辆模块204相耦接,用于整理mr2的reduce输入的结果,将[s,e]时间范围内快速离城的所有的车辆展示给用户。
所述前端拍摄设备201,包括卡口、电子警察、和治安监控。
所述判断快速离城车辆模块204中,当mr2的map阶段读取mr1的reduce阶段输出的结果中离城路线只经过两个卡口时、过滤掉该离城路线,未被过滤的数据原样输出。
实施例3:
在实施例1和实施例2的基础上,结合图4、图5本实施例为应用实施例:
1)分析快速离城车辆的流程开始;
2)道路上的前端拍摄设备,如卡口、电子警察、治安监控等,拍摄过车图片,并识别出当前所过车辆的车牌号、车牌颜色,还能识别出其他一些信息,如车辆类别、车身颜色、遮阳板是否放下、是否系安全带等,但快速离城这个功能点只需要车牌号和车牌颜色。
3)前端拍摄设备将识别出的车牌号、车牌颜色,连同过车时间、拍摄位置等信息发送到后台,并录入进Hadoop集群的HDFS分布式文件系统中;
4)指定检索条件以检索符合指定条件的快速离城的车辆,检索条件包含开始时间s、结束时间e;
5)MapReduce作业mr1的map阶段从HDFS上逐条读取[s,e]时间范围内的过车数据。MapReduce是Hadoop之上的离线批处理框架,使用MapReduce框架编写的作业代码会自动分布到各节点分布式执行。MapReduce分为map和reduce两个阶段,map阶段会在集群内多个节点上启动map任务,各个节点的map任务并行执行,各map任务从HDFS上读取过车数据(这个过程会考虑数据的本地化存取因素),map阶段的产生的结果写到磁盘文件,map阶段结束后reduce阶段运行。map阶段输出的结果按照key进行分区,每个分区的数据根据partition函数发送到不同的reduce。reduce拿到各map的同一分区的所有数据,然后在进行相应的处理。
6)mr1的map阶段验证数据的合法性,如果当前过车数据的车牌号或者车牌颜色未能正确识别,则跳过当前记录。如果数据验证通过则进入步骤;
7)mr1的map阶段从过车记录中分离出车牌号、拍摄位置、过车时间,并组织成键为“车牌号”,值为“拍摄时间+过车时间”,即<车牌号,拍摄位置+过车时间>。例如步骤7会输出形如<鲁A12345,舜华路经十路路口+2017-10-25 08:00:00>的键值对;
8)mr1的map阶段完成,reduce阶段读取map阶段的输出。由于mr1的map阶段的输出的key为车牌号,故所有车牌号相同的记录会被发送到同一个reduce节点。reduce将相同车牌号的键值对按照时间排序,排序后按照拍摄位置连接成列表,连接成的列表即为离城路线。最后reduce输出键为“离城路线”,值为所有“车牌号+过车总时间”的键值对。例如步骤8会输出形如<’A->B->C->D->E’,list<鲁A12345,3000s;鲁A12346,4000s;鲁A12347,3500s>>,这表示通过离城路线A->B->C->D->E出城的有三两车,分别是鲁A12345,耗时3000秒;鲁A12346,耗时4000s;鲁A12347,耗时3500秒。
9)MapReduce作业mr2的map阶段读取mr1作业的reduce阶段输出的结果并过滤掉离城路线较短的记录,未被过滤的数据原样输出。如离城路线只经过两个卡口,那么认为其参考价值不大。
10)mr2的reduce阶段的输入是mr2的map的输出,而mr2的map阶段的输出的key为离城路线,所以mr2的map阶段所输出的结果中相同离城路线的记录都会被发送到同一个reduce。reduce计算所有经过相同离城路线总用时的期望值μ,并计算总用时的标准差σ;
11)判断经过每条离城路线出城的每辆车的总用时是否介于[μ-3σ,μ+3σ]区间,若不在区间内,那么就断定该车就是快速离城车辆。这里之所以选择这个区间范围,是因为这个范围内包含了99.7%的车辆,剩下的0.3%就是快速离城车辆。如图5正态分布图所示,[μ-3σ,μ+3σ]区间范围包含了99.74%的数据,剩下的不到0.3%的是数据就属于异常数据。当然,这里的区间范围是可以根据实际情况修改的。
12)最后整理mr2的reduce输入的结果,并将[s,e]时间范围内快速离城的所有的车辆展示给用户。至此使用本方法判断快速离城车辆的流程结束。
与现有技术相比,本发明所述的基于大数据分析快速离城车辆的方法,达到了如下效果:
本发明判断快速离城车辆时参考了所有同时段、同路段的其他车辆的总用时,得出的结果比较准确,可信度高;
对公安部门的案件侦破具有重大参考意义,加快了案件侦破速度,提高了办案效率;
本方法基于Hadoop大数据平台,可以处理PB数量级的过车数据,并在合理时间内返回结果
扩展性强、容灾行好,系统基于Hadoop大数据平台,Hadoop是一种分布式架构,在后期数据量增加的情况下,可以通过增加节点来增强Hadoop集群的处理能力,Hadoop平台的底层存储HDFS中的文件默认是3备份的,其中一个节点宕机,还有其他两个备份文件可用。
上述说明示出并描述了本发明的若干优选实施例,但如前所述,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述发明构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种基于大数据分析快速离城车辆的方法,其特征在于,包括步骤:
道路上的前端拍摄设备拍摄过车图片,并识别出当前所过车辆的车牌号和车牌颜色、连同过车时间和拍摄位置信息发送到后台,并录入进Hadoop集群的HDFS分布式文件系统中;
指定检索条件,检索符合所述指定检索条件的快速离城的车辆,检索条件包含开始时间s和结束时间e;
MapReduce作业判断快速离城车辆,MapReduce作业包括mr1和mr2两个部分,其中mr1和mr2均分为map阶段和reduce阶段:
mr1的map阶段从HDFS分布式文件系统中逐条读取[s,e]时间范围内的过车数据;mr1的map阶段验证数据的合法性,当前过车数据的车牌号或者车牌颜色未能正确识别,则跳过当前记录;当数据验证通过则继续;mr1的map阶段从过车记录中分离出车牌号、拍摄位置、过车时间,并组织成键key为车牌号,值为拍摄时间+过车时间,即<车牌号,拍摄位置+过车时间>的键值对,写到磁盘文件;
mr1的reduce阶段读取mr1的map阶段的输出,mr1的map阶段的输出的key为车牌号,将所有车牌号相同的记录发送到同一个reduce节点,reduce将相同车牌号的键值对按照时间排序,排序后按照拍摄位置连接成列表,连接成的列表即为离城路线,reduce输出键为离城路线,值为所有车牌号+过车总时间的键值对;
mr2的map阶段读取mr1的reduce阶段输出的结果并过滤掉离城路线较短的记录,未被过滤的数据原样输出;
mr2的reduce阶段的输入是mr2的map的输出,mr2的map阶段的输出的key为离城路线,将所有相同离城路线的记录发送到同一个reduce,reduce计算所有经过相同离城路线总用时的期望值μ,并计算总用时的标准差σ;
判断经过每条离城路线出城的每辆车的总用时是否介于[μ-3σ,μ+3σ]区间,若不在区间内,那么判定该车是快速离城车辆。
2.根据权利要求1所述的基于大数据分析快速离城车辆的方法,其特征在于,还包括整理mr2的reduce输入的结果,将[s,e]时间范围内快速离城的所有的车辆展示给用户。
3.根据权利要求1所述的基于大数据分析快速离城车辆的方法,其特征在于,所述前端拍摄设备,包括卡口、电子警察、和治安监控。
4.根据权利要求1所述的基于大数据分析快速离城车辆的方法,其特征在于,所述mr2的map阶段读取mr1的reduce阶段输出的结果并过滤掉离城路线较短的记录,未被过滤的数据原样输出,进一步为,
mr2的map阶段读取mr1的reduce阶段输出的结果中离城路线只经过两个卡口时,过滤掉该离城路线,未被过滤的数据原样输出。
5.一种基于大数据分析快速离城车辆的装置,其特征在于,包括前端拍摄设备、HDFS分布式文件系统、指定检索条件模块、和判断快速离城车辆模块;
所述前端拍摄设备,与所述HDFS分布式文件系统相耦接,用于拍摄过车图片,并识别出当前所过车辆的车牌号和车牌颜色、连同过车时间和拍摄位置信息发送到后台,并录入进Hadoop集群的HDFS分布式文件系统中;
所述指定检索条件模块,与所述判断快速离城车辆模块相耦接,用于指定检索条件,检索符合所述指定检索条件的快速离城的车辆,检索条件包含开始时间s和结束时间e;
所述判断快速离城车辆模块,为通过MapReduce作业判断快速离城车辆,分别与所述指定检索条件模块和HDFS分布式文件系统相耦接,用于接收所述指定检索条件模块的指定检索条件,调取所述HDFS分布式文件系统中的车辆的车牌号、车牌颜色、过车时间和拍摄位置信息,判断快速离城车辆:
MapReduce作业包括mr1和mr2两个部分,其中mr1和mr2均分为map阶段和reduce阶段:
mr1的map阶段从HDFS分布式文件系统中逐条读取[s,e]时间范围内的过车数据;mr1的map阶段验证数据的合法性,当前过车数据的车牌号或者车牌颜色未能正确识别,则跳过当前记录;当数据验证通过则继续;mr1的map阶段从过车记录中分离出车牌号、拍摄位置、过车时间,并组织成键key为车牌号,值为拍摄时间+过车时间,即<车牌号,拍摄位置+过车时间>的键值对,写到磁盘文件;
mr1的reduce阶段读取mr1的map阶段的输出,mr1的map阶段的输出的key为车牌号,将所有车牌号相同的记录发送到同一个reduce节点,reduce将相同车牌号的键值对按照时间排序,排序后按照拍摄位置连接成列表,连接成的列表即为离城路线,reduce输出键为离城路线,值为所有车牌号+过车总时间的键值对;
mr2的map阶段读取mr1的reduce阶段输出的结果并过滤掉离城路线较短的记录,未被过滤的数据原样输出;
mr2的reduce阶段的输入是mr2的map的输出,mr2的map阶段的输出的key为离城路线,将所有相同离城路线的记录发送到同一个reduce,reduce计算所有经过相同离城路线总用时的期望值μ,并计算总用时的标准差σ;
判断经过每条离城路线出城的每辆车的总用时是否介于[μ-3σ,μ+3σ]区间,若不在区间内,那么判定该车是快速离城车辆。
6.根据权利要求5所述的基于大数据分析快速离城车辆的装置,其特征在于,还包括展示模块,与所述判断快速离城车辆模块相耦接,用于整理mr2的reduce输入的结果,将[s,e]时间范围内快速离城的所有的车辆展示给用户。
7.根据权利要求5所述的基于大数据分析快速离城车辆的装置,其特征在于,所述前端拍摄设备,包括卡口、电子警察、和治安监控。
8.根据权利要求5所述的基于大数据分析快速离城车辆的装置,其特征在于,所述判断快速离城车辆模块中,当mr2的map阶段读取mr1的reduce阶段输出的结果中离城路线只经过两个卡口时,过滤掉该离城路线,未被过滤的数据原样输出。
CN201711189609.8A 2017-11-24 2017-11-24 基于大数据分析快速离城车辆的方法及装置 Active CN107967805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711189609.8A CN107967805B (zh) 2017-11-24 2017-11-24 基于大数据分析快速离城车辆的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711189609.8A CN107967805B (zh) 2017-11-24 2017-11-24 基于大数据分析快速离城车辆的方法及装置

Publications (2)

Publication Number Publication Date
CN107967805A true CN107967805A (zh) 2018-04-27
CN107967805B CN107967805B (zh) 2019-08-27

Family

ID=62000620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711189609.8A Active CN107967805B (zh) 2017-11-24 2017-11-24 基于大数据分析快速离城车辆的方法及装置

Country Status (1)

Country Link
CN (1) CN107967805B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461312A (zh) * 2018-12-27 2019-03-12 泰华智慧产业集团股份有限公司 基于redis的过车数据去重方法
CN109711385A (zh) * 2019-01-09 2019-05-03 宽凳(北京)科技有限公司 一种车道线识别方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201307339Y (zh) * 2008-12-10 2009-09-09 北京威耐思国际环保能源科技开发有限公司 治安卡口系统
CN101807346A (zh) * 2009-02-16 2010-08-18 汉王科技股份有限公司 城市卡口车牌自动识别系统
CN102005121A (zh) * 2009-09-03 2011-04-06 沈阳新杉电子工程有限公司 城市出口治安控制智能侦测方法
CN104916129A (zh) * 2015-05-05 2015-09-16 杭州电子科技大学 基于大规模卡口过车数据的道路实时通行速度计算方法
CN105869396A (zh) * 2016-04-28 2016-08-17 泰华智慧产业集团股份有限公司 基于大数据平台的过车指数统计方法及系统
CN105931467A (zh) * 2016-06-06 2016-09-07 广东中星电子有限公司 一种跟踪目标的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201307339Y (zh) * 2008-12-10 2009-09-09 北京威耐思国际环保能源科技开发有限公司 治安卡口系统
CN101807346A (zh) * 2009-02-16 2010-08-18 汉王科技股份有限公司 城市卡口车牌自动识别系统
CN102005121A (zh) * 2009-09-03 2011-04-06 沈阳新杉电子工程有限公司 城市出口治安控制智能侦测方法
CN104916129A (zh) * 2015-05-05 2015-09-16 杭州电子科技大学 基于大规模卡口过车数据的道路实时通行速度计算方法
CN105869396A (zh) * 2016-04-28 2016-08-17 泰华智慧产业集团股份有限公司 基于大数据平台的过车指数统计方法及系统
CN105931467A (zh) * 2016-06-06 2016-09-07 广东中星电子有限公司 一种跟踪目标的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
方艾芬 等: "基于大数据的机动车缉查布控平台构建", 《电子警务》 *
申智勇 等: "城域电子监控和车牌自动识别系统设计", 《安防科技》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461312A (zh) * 2018-12-27 2019-03-12 泰华智慧产业集团股份有限公司 基于redis的过车数据去重方法
CN109461312B (zh) * 2018-12-27 2020-10-30 泰华智慧产业集团股份有限公司 基于redis的过车数据去重方法
CN109711385A (zh) * 2019-01-09 2019-05-03 宽凳(北京)科技有限公司 一种车道线识别方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN107967805B (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN107967323B (zh) 基于大数据进行异常出行车辆分析的方法及系统
CN104900055B (zh) 动态称重非现场综合执法管理系统
EP3734570A1 (en) Vehicle detection method, apparatus, device and readable storage medium
CN103886763B (zh) 一种利用视频跟踪技术实现超速违法行为拍照方法及系统
CN112009494B (zh) 一种车辆异常处理方法、装置、控制设备及存储介质
CN107967805A (zh) 基于大数据分析快速离城车辆的方法及装置
CN114005093A (zh) 基于视频分析的驾驶行为告警方法、装置、设备及介质
CN109446926A (zh) 一种交通监控方法及装置、电子设备和存储介质
CN112380892A (zh) 一种图像识别方法、装置、设备及介质
CN109263650A (zh) 识别人工介入的方法、装置及交通工具
CN114648879B (zh) 基于危险品的异常区域监测方法、装置及存储介质
CN103402079A (zh) 一种基于vw的异常事件智能追踪存储显示方法
CN103198670A (zh) 一种检测高速岔路口汽车倒车行为的装置及其检测方法
CN106127903A (zh) 电子设备探测门禁管控装置及其方法
CN116026441A (zh) 车辆载重量异常检测方法、装置、设备及存储介质
CN112153341B (zh) 一种任务监督方法、装置、系统、电子设备及存储介质
CN109308673A (zh) 一种房源监管方法及装置
CN112201047B (zh) 一种基于Flink框架的嫌疑车辆落脚点分析方法及装置
CN114863372A (zh) 一种泊车管理方法、泊车管理装置和计算机可读存储介质
CN113870185A (zh) 基于图像抓拍的图像处理方法、终端及存储介质
CN113192348A (zh) 车辆异常告警方法、装置及计算机设备
CN111723604A (zh) 车辆套牌检测方法及装置
CN101527080A (zh) 异地车辆交通违法行为处罚方法与系统
CN107134015A (zh) 停车场收费管理的控制方法及装置
JPH04152497A (ja) 車両情報管理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant