CN107862019A - 一种基于大数据分析昼伏夜出车辆的方法及装置 - Google Patents

一种基于大数据分析昼伏夜出车辆的方法及装置 Download PDF

Info

Publication number
CN107862019A
CN107862019A CN201711044444.5A CN201711044444A CN107862019A CN 107862019 A CN107862019 A CN 107862019A CN 201711044444 A CN201711044444 A CN 201711044444A CN 107862019 A CN107862019 A CN 107862019A
Authority
CN
China
Prior art keywords
day
vehicle
night
come out
clock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711044444.5A
Other languages
English (en)
Other versions
CN107862019B (zh
Inventor
吴永
李善宝
马述杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taihua Wisdom Industry Group Co Ltd
Original Assignee
Taihua Wisdom Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taihua Wisdom Industry Group Co Ltd filed Critical Taihua Wisdom Industry Group Co Ltd
Priority to CN201711044444.5A priority Critical patent/CN107862019B/zh
Publication of CN107862019A publication Critical patent/CN107862019A/zh
Application granted granted Critical
Publication of CN107862019B publication Critical patent/CN107862019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures

Abstract

本申请公开了一种基于大数据分析昼伏夜出车辆的方法及装置，包括步骤：获取车辆信息并储存；分时段统计过车数据：每隔一定时间记录该时间段内的过车数据，并计算相邻时间段内增幅；计算昼夜分界时间点：将一天中最高增幅的中间时间点作为昼的起始时间点，一天中第二个最低增幅的中间点作为夜的起始时间点，统计多天内的过车数据后，计算出当前区域、当前时间的昼夜分界时间点；判断车辆昼伏夜出：通过分布式计算框架判断目标车辆是否属于昼伏夜出。本发明还公开了一种基于大数据分析昼伏夜出车辆的装置。本发明使用计算机技术分析昼伏夜出车辆，能够在最短的时间内缩小排查嫌疑车辆的范围，提高民警的工作效率，降低对民警的专业要求。

Description

一种基于大数据分析昼伏夜出车辆的方法及装置
技术领域
本发明涉及大数据分析与智能交通控制技术领域，具体地说，是涉及一种基于大数据分析昼伏夜出车辆的方法及装置。
背景技术
随着生活水平的提高，越来越多的人选择开车出行，汽车保有量越来越大。道路、路口的卡口、电警等设备也越来越多，每天都会产生海量的过车数据。民警在利用这些视频或图片排查嫌疑车辆时，工作量非常大。由于各个地市的警力有限，往往在寻找线索的过程中就耗费大量时间，以致错失许多重要线索及机会。而犯罪嫌疑人在实时犯罪时，很多会选择白天隐匿，夜晚出行，躲避警察的盘查，降低曝光率。民警在通过这个规律缩小目标范围时，还需要一定的分析处理经验，许多一线的民警由于经验不足，不能完全胜任。
常规的系统会将车辆数据存储在关系型数据库中，但无法承载海量数据，针对大量数据的查询，也要耗费大量的时间和资源。随着数据量的增加，硬件扩展也需要很高的费用。
昼夜时间分界点是一个比较抽象的主观概念，且不同的季节和地域其昼夜时间分界点也是有变化的，如指定一个准确的时间作为分界点，不能够准确体现出车辆真实的昼夜规律，也不能够适应不同的地域和季节。
发明内容
本发明所要解决的技术问题是：用电脑分析代替人工筛查昼伏夜出车辆，解决筛选嫌疑车时，车辆数据太多花费时间过多的问题，以及对民警经验要求较高的问题；使用大数据平台分布式存储系统储存过车数据，解决数据量增加，硬件扩展性不好及费用高的问题；使用大数据平台分布式计算框架分析数据，解决无法分析大量数据，且分析时间太长的问题；根据每日车辆出行数量的变化，动态计算其昼夜时间分界点，解决昼夜分界与车辆出行规律不符和不能够适应不同地域和季节的问题。
为解决上述技术问题，本发明提供了一种基于大数据分析昼伏夜出车辆的方法，包括步骤：
获取车辆信息并储存：获取经过交通卡口的图片和视频的非结构化车辆信息，经过结构化系统解析为车辆的结构化信息，发送至分布式文件系统内存储；
分时段统计过车数据：每隔一定时间记录该时间段内的过车数据，并计算相邻时间段内增幅；
计算昼夜分界时间点：将一天中最高增幅的中间时间点作为昼的起始时间点，一天中第二个最低增幅的中间点作为夜的起始时间点，统计多天内的过车数据后，计算出当前区域、当前时间的昼夜分界时间点；
判断车辆昼伏夜出：通过分布式计算框架判断目标车辆是否属于昼伏夜出，所述分布式计算框架分为Map阶段和Reduce阶段，其中，
Map阶段按照设定的起始时间、结束时间、昼夜比例、位置信息，从所述分布式文件系统内提取符合时间和位置的车辆数据作为Map阶段的输入信息，将车辆数据按照车牌号码分组，输出结果为<K,V>，其中K为车牌号码，V为车辆的过车信息；
Map阶段的输出结果作为Reduce阶段的输入信息，根据车牌号码K的不同，将不同车牌号码的过车数据发送至对应的Reduce节点处理，使不同的Reduce节点达到负载均衡，根据昼夜分界时间点，将每个车牌号码的全部过车数据分为白昼出行和夜晚出行分别统计，计算出昼夜出行的比例，以此判断出该车辆是否属于昼伏夜出，当属于昼伏夜出时将该车辆的分析结果进行存储。
优选地，所述分布式文件系统，进一步为，HDFS或GFS。
优选地，所述分时段统计过车数据：每隔一定时间记录该时间段内的过车数据，并计算相邻时间段内增幅，进一步为，
每隔半小时记录过车数据，并计算相邻时间段内增幅，对节假日、工作日分别进行累计统计。
优选地，还包括，判断出车辆是否属于昼伏夜出，当不属于昼伏夜出时将该车辆数据丢弃。
本发明还公开了一种基于大数据分析昼伏夜出车辆的装置，包括交通卡口电子拍摄设备、分时段统计过车数据系统、昼夜分界时间点计算系统、结构化系统、非结构化存储系统、分布式存储系统和分布式计算系统，其中，
所述交通卡口电子拍摄设备，与所述非结构化存储系统相耦接，获取经过交通卡口的图片和视频的非结构化车辆信息，发送至非结构化存储系统；
所述非结构化存储系统，分别与所述交通卡口电子拍摄设备和结构化系统相耦接，接收所述交通卡口电子拍摄设备发送的非结构化车辆信息进行存储，并与所述结构化系统进行交互；
所述结构化系统，分别与所述非结构化存储系统和分布式存储系统相耦接，用于调取非结构化存储系统中的非结构化车辆信息进行解析得到结构化数据并发送至分布式存储系统进行存储；
所述分布式存储系统，分别与所述结构化系统和分布式计算系统相耦接，用于存储所述结构化系统发送的结构化数据，并与所述分布式计算系统进行数据交互；
所述分时段统计过车数据系统，与所述昼夜分界点计算系统相耦接，进行分时段的记录过车数量，将数据发送至所述昼夜分界点计算系统；
所述昼夜分界点计算系统，与所述分时段统计过程系统和分布式计算系统相耦接，用于计算出昼夜分界时间点，并将该昼夜分界时间点发送至分布式计算系统；
所述分布式计算系统，分别与所述分布式存储系统和昼夜分界点计算系统相耦接，通过分布式计算框架判断目标车辆是否属于昼伏夜出，所述分布式计算框架分为Map阶段和Reduce阶段，其中，
Map阶段按照设定的起始时间、结束时间、昼夜比例、位置信息，从所述分布式文件系统内提取符合时间和位置的车辆数据作为Map阶段的输入信息，将车辆数据按照车牌号码分组，输出结果为<K,V>，其中K为车牌号码，V为车辆的过车信息；
Map阶段的输出结果作为Reduce阶段的输入信息，根据车牌号码K的不同，将不同车牌号码的过车数据发送至对应的Reduce节点处理，使不同的Reduce节点达到负载均衡，根据昼夜分界时间点，将每个车牌号码的全部过车数据分为白昼出行和夜晚出行分别统计，计算出昼夜出行的比例，以此判断出该车辆是否属于昼伏夜出，当属于昼伏夜出时将该车辆的分析结果进行存储。
优选地，所述分时段统计过车数据系统，每隔一定时间记录该时间段内的过车数据，并计算相邻时间段内增幅。
优选地，所述昼夜分界点计算系统，将一天中最高增幅的中间时间点作为昼的起始时间点，一天中第二个最低增幅的中间点作为夜的起始时间点，统计多天内的过车数据后，计算出当前区域、当前时间的昼夜分界时间点。
优选地，所述分布式文件系统，进一步为，HDFS或GFS。
优选地，所述分时段统计过车数据系统，对节假日、工作日分别进行累计统计。
优选地，所述分布式计算系统，判断出车辆是否属于昼伏夜出，当不属于昼伏夜出时将该车辆数据丢弃。
与现有技术相比，本发明所述的基于大数据分析昼伏夜出车辆的方法，达到了如下效果：
本发明使用计算机技术分析昼伏夜出车辆，能够在最短的时间内缩小排查嫌疑车辆的范围，提高民警的工作效率，降低对民警的专业要求。
本发明使用大数据平台分布式存储系统存储过车数量，可提高系统的可扩展性，降低硬件费用成本，并能提高系统的容错、容灾能力。
本发明使用大数据平台分布式计算框架分析数据，可承载大量数据的分析任务，并花费更少的时间，提高分析效率。
本发明根据每日车辆出行数量的变化，动态计算其昼夜时间分界点，使车辆昼伏夜出分析结果更符合真实规律，并能自动适应不同的季节和地域。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为实施例1中基于大数据分析昼伏夜出车辆的方法流程图；
图2为实施例2中基于大数据分析昼伏夜出车辆的装置结构示意图；
图3为实施例3中非结构化车辆信息解析并存储的流程图；
图4为实施例3中计算昼夜时间分界点的流程图；
图5为实施例3中某地某一天过车数据统计图；
图6为实施例3中昼伏夜出任务处理过程流程图；
其中：201-交通卡口电子拍摄设备；202-分时段统计过车数据系统；203-昼夜分界时间点计算系统；204-结构化系统；205-非结构化存储系统；206-分布式存储系统；207-分布式计算系统。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明本发明的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
以下结合附图对本发明作进一步详细说明，但不作为对本发明的限定。
实施例1：
结合图1，本实施例提供了一种基于大数据分析昼伏夜出车辆的方法，包括以下步骤：
步骤101：获取车辆信息并储存：获取经过交通卡口的图片和视频的非结构化车辆信息，经过结构化系统解析为车辆的结构化信息，发送至分布式文件系统内存储；
所述分布式文件系统包括但不限于HDFS或GFS。
步骤102：分时段统计过车数据：每隔一定时间记录该时间段内的过车数据，并计算相邻时间段内增幅；
例如可以每隔半小时记录过车数据，并计算相邻时间段内增幅，对节假日、工作日分别进行累计统计。
步骤103：计算昼夜分界时间点：将一天中最高增幅的中间时间点作为昼的起始时间点，一天中第二个最低增幅的中间点作为夜的起始时间点，统计多天内的过车数据后，计算出当前区域、当前时间的昼夜分界时间点；
步骤104：判断车辆昼伏夜出：通过分布式计算框架判断目标车辆是否属于昼伏夜出，所述分布式计算框架分为Map阶段和Reduce阶段，其中，
Map阶段按照设定的起始时间、结束时间、昼夜比例、位置信息，从所述分布式文件系统内提取符合时间和位置的车辆数据作为Map阶段的输入信息，将车辆数据按照车牌号码分组，输出结果为<K,V>，其中K为车牌号码，V为车辆的过车信息；
Map阶段的输出结果作为Reduce阶段的输入信息，根据车牌号码K的不同，将不同车牌号码的过车数据发送至对应的Reduce节点处理，使不同的Reduce节点达到负载均衡，根据昼夜分界时间点，将每个车牌号码的全部过车数据分为白昼出行和夜晚出行分别统计，计算出昼夜出行的比例，以此判断出该车辆是否属于昼伏夜出，当属于昼伏夜出时将该车辆的分析结果进行存储。
判断出车辆是否属于昼伏夜出，当不属于昼伏夜出时将该车辆数据丢弃。
实施例2：
结合图2，本实施例提供了一种基于大数据分析昼伏夜出车辆的装置，包括交通卡口电子拍摄设备、分时段统计过车数据系统、昼夜分界时间点计算系统、结构化系统、非结构化存储系统、分布式存储系统和分布式计算系统。
所述交通卡口电子拍摄设备，与所述非结构化存储系统相耦接，获取经过交通卡口的图片和视频的非结构化车辆信息，发送至非结构化存储系统；
所述非结构化存储系统，分别与所述交通卡口电子拍摄设备和结构化系统相耦接，接收所述交通卡口电子拍摄设备发送的非结构化车辆信息进行存储，并与所述结构化系统进行交互；
所述结构化系统，分别与所述非结构化存储系统和分布式存储系统相耦接，用于调取非结构化存储系统中的非结构化车辆信息进行解析得到结构化数据并发送至分布式存储系统进行存储；
所述分布式存储系统，分别与所述结构化系统和分布式计算系统相耦接，用于存储所述结构化系统发送的结构化数据，并与所述分布式计算系统进行数据交互；
所述分时段统计过车数据系统，与所述昼夜分界点计算系统相耦接，进行分时段的记录过车数量，将数据发送至所述昼夜分界点计算系统；
所述昼夜分界点计算系统，与所述分时段统计过程系统和分布式计算系统相耦接，用于计算出昼夜分界时间点，并将该昼夜分界时间点发送至分布式计算系统；
所述分布式计算系统，分别与所述分布式存储系统和昼夜分界点计算系统相耦接，通过分布式计算框架判断目标车辆是否属于昼伏夜出，所述分布式计算框架分为Map阶段和Reduce阶段，其中，
Map阶段按照设定的起始时间、结束时间、昼夜比例、位置信息，从所述分布式文件系统内提取符合时间和位置的车辆数据作为Map阶段的输入信息，将车辆数据按照车牌号码分组，输出结果为<K,V>，其中K为车牌号码，V为车辆的过车信息；
Map阶段的输出结果作为Reduce阶段的输入信息，根据车牌号码K的不同，将不同车牌号码的过车数据发送至对应的Reduce节点处理，使不同的Reduce节点达到负载均衡，根据昼夜分界时间点，将每个车牌号码的全部过车数据分为白昼出行和夜晚出行分别统计，计算出昼夜出行的比例，以此判断出该车辆是否属于昼伏夜出，当属于昼伏夜出时将该车辆的分析结果进行存储。
所述分时段统计过车数据系统，每隔一定时间记录该时间段内的过车数据，并计算相邻时间段内增幅。
所述昼夜分界点计算系统，将一天中最高增幅的中间时间点作为昼的起始时间点，一天中第二个最低增幅的中间点作为夜的起始时间点，统计多天内的过车数据后，计算出当前区域、当前时间的昼夜分界时间点。
所述分布式文件系统，进一步为，HDFS或GFS。
所述分时段统计过车数据系统，对节假日、工作日分别进行累计统计。
所述分布式计算系统，判断出车辆是否属于昼伏夜出，当不属于昼伏夜出时将该车辆数据丢弃。
实施例3：
在实施例1和实施例2的基础上，本实施例为应用实施例
卡口、电警等设备拍摄的图片、视频等非结构化车辆信息，需经过结构化系统解析为结构化数据，并存储在分布式文件系统里，包括但不限于HDFS、GFS等架构。如图3所示：交通卡口电子拍摄设备采集图片，储存图片及过车信息，然后将图片及过车信息进行结构化，存储在分布式文件存储系统内，分布式文件存储系统内存储的有过车信息、车辆信息、图片地址等信息。
每隔一定时间如半小时记录该时间段内的过车数据，并计算相邻时间段内的增幅。图5为某地市某一天统计的数据。经大量分析可得出如下结论：一天中第一个最高增幅的中间时间点可作为昼的起始时间点，一天中第二个最低增幅的中间时间点可作为夜的起始时间点。同时需针对节假日、工作日分别累计统计。在积累大量数据后，可计算出当前地域、当前时间的昼夜分界时间点。计算昼夜时间分界点的过程见图4：分时段记录过车数量，当为工作日时，调取工作日历史过车数量，计算工作日相邻时间段过车数量增幅，计算出昼夜分界时间点；当不是工作日时，调取非工作日历史过车数量，计算非工作日相邻时间段过车数量增幅，计算出昼夜分界时间点。这里所述的过车数量也就是过车数据。
分布式计算框架分为Map阶段和Reduce阶段。用户给定起始时间、结束时间、昼夜比例等信息，系统(也就是本申请所述的基于大数据分析昼伏夜出车辆的装置)可从分布式存储系统中提取符合时间、位置的车辆数据，Map阶段的输入。在Map阶段，将车辆数据按照车牌号码分组，该阶段输出的结果形式为<K,V>，其中K为车牌号码，V为车辆的过车信息。Map阶段的输出作为Reduce阶段的输入，根据K的不同，按照计算公式：reducer＝(key.hashCode()&Integer.MAX_VALUE)％numReduceTasks，得到当前的目的Reduce。将不同的车牌号码的过车数据发送给对应的Reduce节点处理，使不同Reduce节点能够达到负载均衡。在此阶段，系统根据昼夜分界时间点，将每个车牌的所有过车数据分为白昼出行和夜晚出行分别统计，得出其昼夜出行的比例，以此判断该车辆是否属于昼伏夜出。如果属于就将该车辆的分析结果存储，否则将数据丢弃。昼伏夜出任务处理过程的流程图见图6：提出任务(也就是判断是否为昼伏夜出车辆的任务)，提供过车的开始时间、结束时间、地域范围等条件，分布式存储系统提供所述过车数据，根据车牌号码分组，计算昼夜出现比例，符合昼伏夜出则保存过车信息，不符合昼伏夜出则丢弃过车信息。
举例：
设定车牌号码为“鲁A12345”，reduce个数numReduceTasks为5，对应的reducer编号分别为：0、1、2、3、4。
计算其对应的reducer＝(key.hashCode()&Integer.MAX_VALUE)％numReduceTasks＝(1708423251&2147483647)％5＝1708423251％5＝2，即该车辆数据Map阶段的输出K对应是编号为2的第3个Reducer。
计算该车辆在2017年10月1日到2017年10月10日是否是昼伏夜出出行，设定昼伏夜出比例为80％，即夜晚出行比例超过80％即为昼伏夜出。
假如一天中第一个最高增幅的中间时间点为07：20，即为昼的起始时间点，一天中第二个最低增幅的中间时间点为19：30，即为夜的起始时间点。车辆在00：00-07：19、19：30-23：59时间段内出现的认为是白天出行，车辆在07：20-19：29时间段内出行的认为是夜晚出行。
如果该车辆在2017年10月1日到2017年10月10日的白天出行次数为10次，夜晚出行次数为180次，其夜晚出行比例为：180/(180+10)*100％＝94.7％，大于80％，即可将该车判定为昼伏夜出车辆。
与现有技术相比，本发明所述的基于大数据分析昼伏夜出车辆的方法，达到了如下效果：
本发明使用计算机技术分析昼伏夜出车辆，能够在最短的时间内缩小排查嫌疑车辆的范围，提高民警的工作效率，降低对民警的专业要求。
本发明使用大数据平台分布式存储系统存储过车数量，可提高系统的可扩展性，降低硬件费用成本，并能提高系统的容错、容灾能力。
本发明使用大数据平台分布式计算框架分析数据，可承载大量数据的分析任务，并花费更少的时间，提高分析效率。
本发明根据每日车辆出行数量的变化，动态计算其昼夜时间分界点，使车辆昼伏夜出分析结果更符合真实规律，并能自动适应不同的季节和地域。
上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种基于大数据分析昼伏夜出车辆的方法，其特征在于，包括步骤：
获取车辆信息并储存：获取经过交通卡口的图片和视频的非结构化车辆信息，经过结构化系统解析为车辆的结构化信息，发送至分布式文件系统内存储；
分时段统计过车数据：每隔一定时间记录该时间段内的过车数据，并计算相邻时间段内增幅；
计算昼夜分界时间点：将一天中最高增幅的中间时间点作为昼的起始时间点，一天中第二个最低增幅的中间点作为夜的起始时间点，统计多天内的过车数据后，计算出当前区域、当前时间的昼夜分界时间点；
判断车辆昼伏夜出：通过分布式计算框架判断目标车辆是否属于昼伏夜出，所述分布式计算框架分为Map阶段和Reduce阶段，其中，
Map阶段按照设定的起始时间、结束时间、昼夜比例、位置信息，从所述分布式文件系统内提取符合时间和位置的车辆数据作为Map阶段的输入信息，将车辆数据按照车牌号码分组，输出结果为<K,V>，其中K为车牌号码，V为车辆的过车信息；
Map阶段的输出结果作为Reduce阶段的输入信息，根据车牌号码K的不同，将不同车牌号码的过车数据发送至对应的Reduce节点处理，使不同的Reduce节点达到负载均衡，根据昼夜分界时间点，将每个车牌号码的全部过车数据分为白昼出行和夜晚出行分别统计，计算出昼夜出行的比例，以此判断出该车辆是否属于昼伏夜出，当属于昼伏夜出时将该车辆的分析结果进行存储。
2.根据权利要求1所述的基于大数据分析昼伏夜出车辆的方法，其特征在于，所述分布式文件系统，进一步为，HDFS或GFS。
3.根据权利要求1所述的基于大数据分析昼伏夜出车辆的方法，其特征在于，所述分时段统计过车数据：每隔一定时间记录该时间段内的过车数据，并计算相邻时间段内增幅，进一步为，
每隔半小时记录过车数据，并计算相邻时间段内增幅，对节假日、工作日分别进行累计统计。
4.根据权利要求1所述的基于大数据分析昼伏夜出车辆的方法，其特征在于，还包括，判断出车辆是否属于昼伏夜出，当不属于昼伏夜出时将该车辆数据丢弃。
5.一种基于大数据分析昼伏夜出车辆的装置，其特征在于，包括交通卡口电子拍摄设备、分时段统计过车数据系统、昼夜分界时间点计算系统、结构化系统、非结构化存储系统、分布式存储系统和分布式计算系统，其中，
所述交通卡口电子拍摄设备，与所述非结构化存储系统相耦接，获取经过交通卡口的图片和视频的非结构化车辆信息，发送至非结构化存储系统；
所述非结构化存储系统，分别与所述交通卡口电子拍摄设备和结构化系统相耦接，接收所述交通卡口电子拍摄设备发送的非结构化车辆信息进行存储，并与所述结构化系统进行交互；
所述结构化系统，分别与所述非结构化存储系统和分布式存储系统相耦接，用于调取非结构化存储系统中的非结构化车辆信息进行解析得到结构化数据并发送至分布式存储系统进行存储；
所述分布式存储系统，分别与所述结构化系统和分布式计算系统相耦接，用于存储所述结构化系统发送的结构化数据，并与所述分布式计算系统进行数据交互；
所述分时段统计过车数据系统，与所述昼夜分界点计算系统相耦接，进行分时段的记录过车数量，将数据发送至所述昼夜分界点计算系统；
所述昼夜分界点计算系统，与所述分时段统计过程系统和分布式计算系统相耦接，用于计算出昼夜分界时间点，并将该昼夜分界时间点发送至分布式计算系统；
所述分布式计算系统，分别与所述分布式存储系统和昼夜分界点计算系统相耦接，通过分布式计算框架判断目标车辆是否属于昼伏夜出，所述分布式计算框架分为Map阶段和Reduce阶段，其中，
Map阶段按照设定的起始时间、结束时间、昼夜比例、位置信息，从所述分布式文件系统内提取符合时间和位置的车辆数据作为Map阶段的输入信息，将车辆数据按照车牌号码分组，输出结果为<K,V>，其中K为车牌号码，V为车辆的过车信息；
Map阶段的输出结果作为Reduce阶段的输入信息，根据车牌号码K的不同，将不同车牌号码的过车数据发送至对应的Reduce节点处理，使不同的Reduce节点达到负载均衡，根据昼夜分界时间点，将每个车牌号码的全部过车数据分为白昼出行和夜晚出行分别统计，计算出昼夜出行的比例，以此判断出该车辆是否属于昼伏夜出，当属于昼伏夜出时将该车辆的分析结果进行存储。
6.根据权利要求5所述的基于大数据分析昼伏夜出车辆的装置，其特征在于，所述分时段统计过车数据系统，每隔一定时间记录该时间段内的过车数据，并计算相邻时间段内增幅。
7.根据权利要求5所述的基于大数据分析昼伏夜出车辆的装置，其特征在于，所述昼夜分界点计算系统，将一天中最高增幅的中间时间点作为昼的起始时间点，一天中第二个最低增幅的中间点作为夜的起始时间点，统计多天内的过车数据后，计算出当前区域、当前时间的昼夜分界时间点。
8.根据权利要求5所述的基于大数据分析昼伏夜出车辆的装置，其特征在于，所述分布式文件系统，进一步为，HDFS或GFS。
9.根据权利要求5或6所述的基于大数据分析昼伏夜出车辆的装置，其特征在于，所述分时段统计过车数据系统，对节假日、工作日分别进行累计统计。
10.根据权利要求5所述的基于大数据分析昼伏夜出车辆的装置，其特征在于，所述分布式计算系统，判断出车辆是否属于昼伏夜出，当不属于昼伏夜出时将该车辆数据丢弃。
CN201711044444.5A 2017-10-31 2017-10-31 一种基于大数据分析昼伏夜出车辆的方法及装置 Active CN107862019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711044444.5A CN107862019B (zh) 2017-10-31 2017-10-31 一种基于大数据分析昼伏夜出车辆的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711044444.5A CN107862019B (zh) 2017-10-31 2017-10-31 一种基于大数据分析昼伏夜出车辆的方法及装置

Publications (2)

Publication Number Publication Date
CN107862019A true CN107862019A (zh) 2018-03-30
CN107862019B CN107862019B (zh) 2021-01-01

Family

ID=61698043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711044444.5A Active CN107862019B (zh) 2017-10-31 2017-10-31 一种基于大数据分析昼伏夜出车辆的方法及装置

Country Status (1)

Country Link
CN (1) CN107862019B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635000A (zh) * 2018-11-26 2019-04-16 武汉烽火众智数字技术有限责任公司 一种基于大数据的昼伏夜出实时分析方法及装置
CN109887300A (zh) * 2019-02-21 2019-06-14 北京三快在线科技有限公司 一种识别套牌车辆的方法、装置、设备及存储介质
CN112579658A (zh) * 2019-09-27 2021-03-30 深圳市赛格车圣智联科技有限公司 一种多进程分析车辆昼伏夜出的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200669A (zh) * 2014-08-18 2014-12-10 华南理工大学 一种基于Hadoop的套牌车识别方法及系统
CN104732077A (zh) * 2015-03-12 2015-06-24 苏州讯创信息技术有限公司 基于多维度评估模型的高危车辆颜色预警方法
CN104750800A (zh) * 2014-11-13 2015-07-01 安徽四创电子股份有限公司 一种基于出行时间特征的机动车聚类方法
US20150317844A1 (en) * 2014-05-02 2015-11-05 Kookmin University Industry-Academic Cooperation Foundation Method of processing and analysing vehicle driving big data and system thereof
CN106097720A (zh) * 2016-05-27 2016-11-09 安徽四创电子股份有限公司 一种交通卡口车牌识别准确性评价方法
CN106709009A (zh) * 2016-12-26 2017-05-24 镇江恒驰科技有限公司 一种基于云平台的电动车大数据处理系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150317844A1 (en) * 2014-05-02 2015-11-05 Kookmin University Industry-Academic Cooperation Foundation Method of processing and analysing vehicle driving big data and system thereof
CN104200669A (zh) * 2014-08-18 2014-12-10 华南理工大学 一种基于Hadoop的套牌车识别方法及系统
CN104750800A (zh) * 2014-11-13 2015-07-01 安徽四创电子股份有限公司 一种基于出行时间特征的机动车聚类方法
CN104732077A (zh) * 2015-03-12 2015-06-24 苏州讯创信息技术有限公司 基于多维度评估模型的高危车辆颜色预警方法
CN106097720A (zh) * 2016-05-27 2016-11-09 安徽四创电子股份有限公司 一种交通卡口车牌识别准确性评价方法
CN106709009A (zh) * 2016-12-26 2017-05-24 镇江恒驰科技有限公司 一种基于云平台的电动车大数据处理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI,JUAN等: "Modeling Driver Behavior near Intersections in Hidden Markov Model", 《INTERNATIONAL JOURNAL OF ENVIRONMENTAL RESEARCH AND PUBLIC HEALTH》 *
崔中发: "大数据技术助力车联网平台", 《中国公共安全》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635000A (zh) * 2018-11-26 2019-04-16 武汉烽火众智数字技术有限责任公司 一种基于大数据的昼伏夜出实时分析方法及装置
CN109887300A (zh) * 2019-02-21 2019-06-14 北京三快在线科技有限公司 一种识别套牌车辆的方法、装置、设备及存储介质
CN109887300B (zh) * 2019-02-21 2022-05-06 北京三快在线科技有限公司 一种识别套牌车辆的方法、装置、设备及存储介质
CN112579658A (zh) * 2019-09-27 2021-03-30 深圳市赛格车圣智联科技有限公司 一种多进程分析车辆昼伏夜出的方法

Also Published As

Publication number Publication date
CN107862019B (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN107862019A (zh) 一种基于大数据分析昼伏夜出车辆的方法及装置
CN106528865A (zh) 一种快速精准的交通大数据清洗方法
CN104199903B (zh) 一种基于路径关联的车辆数据查询系统及方法
CN105913656B (zh) 基于分布式统计频繁过车的方法及系统
CN102902819A (zh) 一种视频智能分析方法及装置
CN105185121B (zh) 一种虚拟卡口并行识别车牌的方法
Gao et al. Eventshop: from heterogeneous web streams to personalized situation detection and control
CN107798142A (zh) 基于大数据分析隐匿车辆的方法及装置
CN110400462B (zh) 基于模糊理论的轨道交通客流监测预警方法及其系统
CN107067736B (zh) 基于时间路网的套牌车分析方法及其系统
DE202016007838U1 (de) Bereichsmodellierung mittels der geographischen Photobeschriftungsanalyse
CN106534784A (zh) 一种用于视频分析数据结果集的采集分析存储统计系统
CN112182289B (zh) 一种基于Flink框架的数据去重方法及装置
CN110362713B (zh) 基于Spark Streaming的视频监控预警方法及系统
CN116311089B (zh) 一种基于图像处理的污水水质数据智能分析方法和系统
CN104394420B (zh) 一种视频处理装置、方法和终端设备
Merino et al. Impact of data quality in real-time big data systems
CN110909706A (zh) 一种昼伏夜出人员判定方法、装置、电子设备及存储介质
CN106682168A (zh) 一种跨域城市数据可视查询系统的构建方法
CN110377757A (zh) 一种实时知识图谱构建系统
CN109471907A (zh) 一种基于卡口数据的行车规律分析系统和方法
CN110838157B (zh) 一种应急突发场景专题图生成的方法及装置
CN112201047B (zh) 一种基于Flink框架的嫌疑车辆落脚点分析方法及装置
CN112380986B (zh) 抗复杂街道背景干扰的车型检测方法、系统及存储介质
CN107392180A (zh) 一种人脸识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant