CN105788264A - 基于Hbase的卡口数据区域碰撞分析的方法及系统 - Google Patents
基于Hbase的卡口数据区域碰撞分析的方法及系统 Download PDFInfo
- Publication number
- CN105788264A CN105788264A CN201610272666.1A CN201610272666A CN105788264A CN 105788264 A CN105788264 A CN 105788264A CN 201610272666 A CN201610272666 A CN 201610272666A CN 105788264 A CN105788264 A CN 105788264A
- Authority
- CN
- China
- Prior art keywords
- hbase
- bayonet
- data
- passing data
- license plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 82
- 230000004888 barrier function Effects 0.000 title abstract 13
- 238000000034 method Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 18
- 238000007726 management method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001622623 Coeliadinae Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
Landscapes
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于Hbase的卡口数据区域碰撞分析的方法及系统，该方法包括：遍历所有的基于Hbase存储的卡口数据，并根据预先设定的时间段及卡口信息获取每个时间段对应的卡口集合，其中，所述预先设定的时间段及卡口信息至少为两个；遍历所述卡口集合并获取在各个对应时间段内的所有过车数据，获取各个时间段内车辆的过车数据集合；对得到的各个过车数据集合进行碰撞分析，得到过车数据集合的交集。本发明方便了卡口数据的查询及分析，提升了区域碰撞分析的效率。
Description
技术领域
本发明涉及交通数据分析的技术领域，具体地，涉及一种基于Hbase的卡口数据区域碰撞分析的方法及系统。
背景技术
近年来，随着互联网技术及信息处理技术的发展，各种信息的智能化分析及处理成为业内的热门研究内容。加上现今各地的交通设备的大量增加，交通信息工程的建设，为人们的日常生活提供了丰富的信息资源的同时，也增加了交通信息数据的分析处理量。车辆已经成为了人们生活中必不可少的交通工具，每天在各地都会有大量的车辆信息，通过对各地的这些车辆信息数据进行分析可以获取许多重要的情报。尤其是在侦查办案时，车辆作为重要的交通工具，越来越多的案件与车辆相关，因而这些车辆的行程信息，也就是过车数据，体现出了犯罪嫌疑人的活动动态，也就成可以作为许多案件的重要侦破点以及抓捕犯罪嫌疑人的关键突破点。
目前的交通布局是使用卡口或者电子警察对过车图像进行识别，获取车辆的车牌号、车型、车身颜色、车牌颜色、过车时间、车辆行驶速度及卡口编号等信息，将这些信息数据汇聚起来形成过车记录数据。但是，现阶段将这些过车记录数据存储在关系型数据库中，数据量越积越多，对这些数据进行处理时会遇到各种各样的问题。例如，交通信息中包含了大量的图像及处理数据，所占用的存储资源较多，传统的存储方式对存储设备的要求高，会造成存储成本高的问题，且传统的存储方式没有对存储数据的统一管理，还会造成数据存储杂乱无章的问题。按照传统存储方式，对交通信息数据分析处理时，由于庞大的数据量及无规律的存储方式，会提高在查询及分析数据时的难度，还会消耗较长的时间，不能满足实时查看数据结果的需求。在对交通信息数据分析时，特别是在办案侦查时，需要通过车辆在某些特定时间段在相应卡口路段的过车数据分析出该车辆的动态，目前采用区域碰撞分析的方式实现该分析过程。但是，传统的存储方式，交通信息数据之间杂乱无章，各个卡口的过车信息数据存储分散，进行区域碰撞分析的准确性及分析效率均得不到保障。
因此，提供一种高效易实施且便于进行区域碰撞分析的方法是本领域亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种基于Hbase的卡口数据区域碰撞分析的方法及系统，解决了交通信息数据存储无规律、进行区域碰撞分析的准确性差及分析效率低的问题。
为了解决上述技术问题，本发明提出一种基于Hbase的卡口数据区域碰撞分析的方法，包括：
遍历所有的基于Hbase存储的卡口数据，并根据预先设定的时间段及卡口信息获取每个时间段对应的卡口集合，其中，
所述预先设定的时间段及卡口信息至少为两个；
遍历所述卡口集合并获取在各个对应时间段内的所有过车数据，获取各个时间段内车辆的过车数据集合；
对得到的各个过车数据集合进行碰撞分析，得到过车数据集合的交集，其中，包括：
从所述过车数据集合中选取一个过车数据集合作为遍历对象，遍历所述遍历对象中的每个车牌号的过车数据并进行判断，若判断到所有的其它过车数据集合中均包含有该车牌号的过车数据时，将其它过车数据集合中该车牌号的过车数据添加到所述遍历对象中，并继续遍历下一个车牌号，最终获得所述过车数据集合的交集。
在一可选实施例中，所述对得到的各个过车数据集合进行碰撞分析，得到过车数据集合的交集，还包括：
若判断到其它过车数据集合中存在不包含该车牌号过车数据时，则将遍历对象中的该车牌号对应的过车数据移除，并继续遍历下一个车牌号。
在一可选实施例中，所述遍历所述卡口集合并获取在各个对应时间段内的所有过车数据，包括：
在每个卡口信息中加上其对应时间段的开始时间和结束时间，根据所述开始时间和结束时间获取各个卡口在对应时间段内的所有过车数据。
在一可选实施例中，所述根据所述开始时间和结束时间获取各个卡口在对应时间段内的所有过车数据，包括：
根据所述开始时间和结束时间生成查看对象信息，并利用所述查看对象信息遍历基于Hbase存储的卡口数据获取各个卡口在对应时间段内的所有过车数据。
在一可选实施例中，该基于Hbase的卡口数据区域碰撞分析的方法所有的卡口数据基于Hbase进行存储，其中，
Hbase中的rowkey，包括：卡口编号、过车时间及车牌号；
Hbase中的列族，至少包括：车型、类别、车身颜色、车牌颜色及速度信息。
另一方面，本发明还提出了一种基于Hbase的卡口数据区域碰撞分析的系统，该系统包括：第一查找模块、第二查找模块及分析模块，其中，
所述第一查找模块，用于遍历所有的基于Hbase存储的卡口数据，并根据预先设定的时间段及卡口信息获取每个时间段对应的卡口集合，其中，
所述预先设定的时间段及卡口信息至少为两个；
所述第二查找模块，用于遍历所述卡口集合并获取在各个对应时间段内的所有过车数据，获取各个时间段内车辆的过车数据集合；
所述分析模块，包括：选取单元、判断单元及处理单元；其中，
所述选取单元，用于从所述过车数据集合中选取一个过车数据集合作为遍历对象；
所述判断单元，用于对得到的各个过车数据集合进行碰撞分析，包括：遍历所述遍历对象中的每个车牌号的过车数据并进行判断；
所述处理单元，用于根据判断得到过车数据集合的交集，包括：若判断到所有的其它过车数据集合中均包含有该车牌号的过车数据时，将其它过车数据集合中该车牌号的过车数据添加到所述遍历对象中，并继续遍历下一个车牌号，最终获得所述过车数据集合的交集。
在一可选实施例中，所述处理单元，还用于：
若判断到其它过车数据集合中存在不包含该车牌号过车数据时，则将遍历对象中的该车牌号对应的过车数据移除，并继续遍历下一个车牌号。
在一可选实施例中，所述第二查找模块，还包括：添加单元和查找单元，
所述添加单元，用于在每个卡口信息中加上其对应时间段的开始时间和结束时间；
所述查找单元，用于根据所述开始时间和结束时间获取各个卡口在对应时间段内的所有过车数据。
在一可选实施例中，所述第二查找模块，还包括：生成单元和查找单元，
所述生成单元，用于根据所述开始时间和结束时间生成查看对象信息；
所述查找单元，用于利用所述查看对象信息遍历基于Hbase存储的卡口数据获取各个卡口在对应时间段内的所有过车数据。
在一可选实施例中，所述系统还包括：存储模块，用于基于Hbase对所有的卡口数据进行存储，其中，
Hbase中的rowkey，包括：卡口编号、过车时间及车牌号；
Hbase中的列族，至少包括：车型、类别、车身颜色、车牌颜色及速度信息。
与现有技术相比，本发明的基于Hbase的卡口数据区域碰撞分析的方法及系统，实现了如下的有益效果：
(1)本发明所述的基于Hbase的卡口数据区域碰撞分析的方法及系统，基于Hbase采用分布式存储方式存储卡口数据，可以利用Hbase技术可在廉价物理机PCServer上搭建起大规模机构化存储集群，并对存储的卡口数据进行统一管理，方便了庞大卡口数据的有序存储及管理。
(2)本发明所述的基于Hbase的卡口数据区域碰撞分析的方法及系统，基于Hbase采用分布式存储方式存储卡口数据，将行的主键rowkey设计为包括：卡口编号、过车时间及车牌号信息的形式，使同一个卡口数据在Hbase中是放在一起的，方便了卡口数据的查询及分析，进而缩短了处理所消耗的时间，提高了卡口数据分析处理的效率。
(3)本发明所述的基于Hbase的卡口数据区域碰撞分析的方法及系统，基于Hbase采用分布式存储方式存储卡口数据，将行的主键rowkey设计为包括：卡口编号、过车时间及车牌号信息的形式，而区域碰撞分析会用到rowkey＝卡口编号+开始时间和rowkey＝卡口编号+结束时间的范围来遍历查找数据，因此，本发明能够大大提高了区域碰撞分析的查询效率，进而提升区域碰撞分析的效率。
当然，实施本发明的任一产品必不一定需要同时达到以上所述的所有技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的基于Hbase的卡口数据区域碰撞分析的方法的一个可选实施例的流程示意图；
图2为本发明实施例2的基于Hbase的卡口数据区域碰撞分析的方法的一个可选实施例的流程示意图；
图3为本发明实施例3所述基于Hbase的卡口数据区域碰撞分析的方法的一个可选实施例的流程示意图；
图4为本实施例中公开的基于Hbase的卡口数据区域碰撞分析的系统的一个可选实施例的结构示意图。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明本发明的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
实施例1
如图1所示，为本发明的基于Hbase的卡口数据区域碰撞分析的方法的一个可选实施例的流程示意图，本发明并对存储的卡口数据进行统一管理，方便了庞大卡口数据的有序存储及管理。本实施例中所述基于Hbase的卡口数据区域碰撞分析的方法包括以下步骤：
步骤101、遍历所有的基于Hbase存储的卡口数据，并根据预先设定的时间段及卡口信息获取每个时间段对应的卡口集合，其中，
所述预先设定的时间段及卡口信息至少为两个。
HBase是分布式的面向列的开源数据库，是适合于非结构化数据存储的数据库。在大数据平台Hbase中，按照分布式存储方式进行部署，其中，分布式存储由多台物理机组成，每台物理机都装有大数据平台Hbase，设置有一台物理机master负责管理和协调这多台物理机，在Hbase中，通过Zookeeper进行各台物理机之间协调及管理的信息交互。通过多台物理机搭建的大规模机构化存储集群，且对存储的卡口数据进行统一管理，方便了庞大卡口数据的有序存储及管理。
在HBase数据模型表中包括：行键RowKey及列族，RowKey为HBase数据模型表的主键，包括了进行数据查找的关键信息；列族用于进行自定义存储。
步骤102、遍历所述卡口集合并获取在各个对应时间段内的所有过车数据，获取各个时间段内车辆的过车数据集合。
通过上述步骤，从庞大的卡口过车数据中查找并得到预先设定的时间段及卡口信息所对应的卡口，并进一步获得该预先设定时间段内各个卡口中车辆的过车数据。基于预定的时间段及卡口信息所得到的过车数据，可以高效、快捷地搜索出不同时间段内出现在不同地点的车辆信息。
步骤103、对得到的各个过车数据集合进行碰撞分析，得到过车数据集合的交集，其中，包括：
从所述过车数据集合中选取一个过车数据集合作为遍历对象，遍历所述遍历对象中的每个车牌号的过车数据并进行判断，若判断到所有的其它过车数据集合中均包含有该车牌号的过车数据时，将其它过车数据集合中该车牌号的过车数据添加到所述遍历对象中，并继续遍历下一个车牌号，最终获得所述过车数据集合的交集。
所谓碰撞分析，指运用计算机对数据进行分析，将两组以上同类型的数据集进行梳理，通过关联查询、筛选数据集取交集的方法。利用计算机技术实现数据集间的交叉碰撞比对，并对由此产生的交集数据进行甄别分析，能够根据预先设定的条件筛选出相互关联的数据并集合到一起。在本实施例中，通过对基于预先设定的时间段及卡口信息的过车数据进行碰撞分析，找出在不同时间段内连续出现在不同地点的车辆信息。通过该方法可以准确、实时地获取目的结果，大大降低了人工查找及分析的成本。
实施例2
如图2所示，为本发明实施例2的基于Hbase的卡口数据区域碰撞分析的方法的一个可选实施例的流程示意图。在本实施例中，具体设置了基于预先设定的时间段及卡口信息获取对应的卡口集合，以及获取所有符合预定条件的过车数据的具体方法。本实施例中基于Hbase的卡口数据区域碰撞分析的方法包括以下步骤：
步骤201、将所有的卡口数据基于Hbase进行存储，其中，Hbase中的rowkey包括：卡口编号、过车时间及车牌号；
Hbase中的列族至少包括：车型、类别、车身颜色、车牌颜色及速度信息。
步骤202、遍历所有的基于Hbase存储的卡口数据，并根据预先设定的时间段及卡口信息获取每个时间段对应的卡口集合，其中，
所述预先设定的时间段及卡口信息至少为两个。
步骤203、在每个卡口信息中加上其对应时间段的开始时间和结束时间，根据所述开始时间和结束时间获取各个卡口在对应时间段内的所有过车数据。
步骤204、根据所述开始时间和结束时间生成查看对象信息，并利用所述查看对象信息遍历基于Hbase存储的卡口数据获取各个卡口在对应时间段内的所有过车数据。
步骤205、从所述过车数据集合中选取一个过车数据集合作为遍历对象，遍历所述遍历对象中的每个车牌号并进行判断。
本步骤中的遍历对象可以是随机选取的，也可以按照预先设定的选取机制进行选取。
步骤206、根据判断结果，得到过车数据集合的交集，基于判断结果进行处理的进一步细化步骤具体为：
若判断到所有的其它过车数据集合中均包含有该车牌号的过车数据时，将其它过车数据集合中该车牌号的过车数据添加到所述遍历对象中，并继续遍历下一个车牌号，最终获得所述过车数据集合的交集。
若判断到其它过车数据集合中存在不包含该车牌号过车数据时，则将遍历对象中的该车牌号对应的过车数据移除，并继续遍历下一个车牌号。
可选地，在本实施例中，完成对所述遍历对象中所有车牌号的判断处理后，最终获得过车数据集合的交集，也就是在不同时间段内连续出现在不同地点的车辆信息。
本发明的基于Hbase的卡口数据区域碰撞分析的方法，基于Hbase进行分布式存储，可以利用廉价的物理机进行分布式存储，降低了庞大过车数据存储的成本，还利用分布式存储、集中管理协调的方式提升了过车数据的管理效率，同时还便于后续的过车数据查找和分析。有效解决了过车数据进行普通存储时数据之间杂乱无章，同一卡口产生的过车信息存储分散，进行区域碰撞分析实现困难，且碰撞分析效率得不到保障的问题。
本发明采用Hbase来存储过车数据。HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。利用Hbase技术可在廉价PCServer上搭建起大规模机构化存储集群进行交通信息中的过车数据存储。充分利用所存储的过车数据做区域碰撞分析，只要设定好HBase中的rowkey，便可以高效地查找并分析这些过车数据。
实施例3
如图3所示，为本发明实施例3所述基于Hbase的卡口数据区域碰撞分析的方法的一个可选实施例。在本实施例，具体设置了基于Hbase存储各个卡口的过车数据以及进行区域碰撞分析的方法。本实施例的步骤如下：
步骤301、基于2n+1(n>＝1)台服务器，创建这些服务器两两之间无密码登陆进行连接并在各个服务器上安装好软件开发工具包。
步骤302、在所述服务器上分别安装hadoop并配置环境变量，搭建hadoop集群。
步骤303、在所述hadoop集群下安装zookeeper。
步骤304、在所述hadoop集群下安装Hbase并配置环境变量，修改配置文件。
步骤305、启动hadoop集群、zookeeper及Hbase，在Hbase中新建Hbase表。
步骤306、在新建表中导入各个卡口的过车数据，其中，Hbase的rowkey由卡口编号+过车时间+车牌号组成。
步骤307、输入要碰撞分析的多个区域及时间段，生成碰撞分析请求并发送。
步骤308、遍历所有的基于Hbase存储的卡口数据，并根据预先设定的时间段及卡口信息获取每个时间段对应的卡口集合。
步骤309、遍历所述卡口集合并获取在各个对应时间段内的所有过车数据，获取各个时间段内车辆的过车数据集合。
步骤310、对得到的各个过车数据集合进行碰撞分析，得到过车数据集合的交集。
实施例4
如图4所示，为本实施例中公开的基于Hbase的卡口数据区域碰撞分析的系统的一个可选实施例的结构示意图。本实施例中所述的基于Hbase的卡口数据区域碰撞分析的系统包括：第一查找模块401、第二查找模块402及分析模块403，其中，
所述第一查找模块401，与所述第二查找模块402相藕接，用于遍历所有的基于Hbase存储的卡口数据，并根据预先设定的时间段及卡口信息获取每个时间段对应的卡口集合，其中，
所述预先设定的时间段及卡口信息至少为两个。
所述第二查找模块402，与所述第一查找模块401及分析模块403相藕接，所述第二查找模块402包括：查找单元421，所述查找单元421用于遍历所述卡口集合并获取在各个对应时间段内的所有过车数据，获取各个时间段内车辆的过车数据集合。
所述分析模块403，与所述第二查找模块402相藕接，其中，
所述分析模块403包括：选取单元431、判断单元432及处理单元433；
所述选取单元431，用于从所述过车数据集合中选取一个过车数据集合作为遍历对象；
所述判断单元432，用于对得到的各个过车数据集合进行碰撞分析，包括：遍历所述遍历对象中的每个车牌号的过车数据并进行判断；
所述处理单元433，用于根据判断得到过车数据集合的交集，包括：若判断到所有的其它过车数据集合中均包含有该车牌号的过车数据时，将其它过车数据集合中该车牌号的过车数据添加到所述遍历对象中，并继续遍历下一个车牌号，最终获得所述过车数据集合的交集。
可选地，所述处理单元433，还用于当判断到其它过车数据集合中存在不包含该车牌号过车数据时，则将遍历对象中的该车牌号对应的过车数据移除，并继续遍历下一个车牌号。
可选地，所述第二查找模块402，还包括：添加单元422和查找单元421，所述添加单元422用于在每个卡口信息中加上其对应时间段的开始时间和结束时间；
所述查找单元421，还用于根据所述开始时间和结束时间获取各个卡口在对应时间段内的所有过车数据。
可选地，所述第二查找模块402，还包括：生成单元423和查找单元421，所述生成单元423用于根据所述开始时间和结束时间生成查看对象信息；
所述查找单元421还用于利用所述查看对象信息遍历基于Hbase存储的卡口数据获取各个卡口在对应时间段内的所有过车数据。
可选地，该系统还包括：存储模块404，所述存储模块404与所述第一查找模块401相藕接，用于基于Hbase对所有的卡口数据进行存储，其中，
Hbase中的rowkey包括：卡口编号、过车时间及车牌号；
Hbase中的列族至少包括：车型、类别、车身颜色、车牌颜色及速度信息。
本实施例的基于Hbase的卡口数据区域碰撞分析的系统基于Hbase采用分布式存储方式存储各个卡口的过车数据，将Hbase行的主键rowkey设计为包括：卡口编号、过车时间及车牌号信息的形式，而区域碰撞分析会用到rowkey＝卡口编号+开始时间和rowkey＝卡口编号+结束时间的范围来遍历查找数据，因此，本发明能够大大提高了区域碰撞分析的查询效率，进而提升区域碰撞分析的效率。
将本实施例的基于Hbase的卡口数据区域碰撞分析的系统配置到相应的装置上，通过本实施例的系统将满足在不同时间段连续出现在不同区域的车辆实时的挖掘出来，可以方便民警进行侦破案件时快速地从大量的过车数据中筛选出结果，进而提高破案效率。有效地解决了以往民警在侦破案件时进行大量的人工比对分析效率低、成本高的问题，节省了大量的人力及物力。
通过以上各个实施例可知，本发明的基于Hbase的卡口数据区域碰撞分析的方法及系统存在的有益效果是：
(1)本发明所述的基于Hbase的卡口数据区域碰撞分析的方法及系统，基于Hbase采用分布式存储方式存储卡口数据，可以利用Hbase技术可在廉价物理机PCServer上搭建起大规模机构化存储集群，并对存储的卡口数据进行统一管理，方便了庞大卡口数据的有序存储及管理。
(2)本发明所述的基于Hbase的卡口数据区域碰撞分析的方法及系统，基于Hbase采用分布式存储方式存储卡口数据，将行的主键rowkey设计为包括：卡口编号、过车时间及车牌号信息的形式，使同一个卡口数据在Hbase中是放在一起的，方便了卡口数据的查询及分析，进而缩短了处理所消耗的时间，提高了卡口数据分析处理的效率。
(3)本发明所述的基于Hbase的卡口数据区域碰撞分析的方法及系统，基于Hbase采用分布式存储方式存储卡口数据，将行的主键rowkey设计为包括：卡口编号、过车时间及车牌号信息的形式，而区域碰撞分析会用到rowkey＝卡口编号+开始时间和rowkey＝卡口编号+结束时间的范围来遍历查找数据，因此，本发明能够大大提高了区域碰撞分析的查询效率，进而提升区域碰撞分析的效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
上述说明示出并描述了本发明的若干可选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (10)
1.一种基于Hbase的卡口数据区域碰撞分析的方法，其特征在于，包括：
遍历所有的基于Hbase存储的卡口数据，并根据预先设定的时间段及卡口信息获取每个时间段对应的卡口集合，其中，
所述预先设定的时间段及卡口信息至少为两个；
遍历所述卡口集合并获取在各个对应时间段内的所有过车数据，获取各个时间段内车辆的过车数据集合；
对得到的各个过车数据集合进行碰撞分析，得到过车数据集合的交集，其中，包括：
从所述过车数据集合中选取一个过车数据集合作为遍历对象，遍历所述遍历对象中的每个车牌号的过车数据并进行判断，若判断到所有的其它过车数据集合中均包含有该车牌号的过车数据时，将其它过车数据集合中该车牌号的过车数据添加到所述遍历对象中，并继续遍历下一个车牌号，最终获得所述过车数据集合的交集。
2.根据权利要求1所述的基于Hbase的卡口数据区域碰撞分析的方法，其特征在于，所述对得到的各个过车数据集合进行碰撞分析，得到过车数据集合的交集，还包括：
若判断到其它过车数据集合中存在不包含该车牌号过车数据时，则将遍历对象中的该车牌号对应的过车数据移除，并继续遍历下一个车牌号。
3.根据权利要求1所述的基于Hbase的卡口数据区域碰撞分析的方法，其特征在于，所述遍历所述卡口集合并获取在各个对应时间段内的所有过车数据，包括：
在每个卡口信息中加上其对应时间段的开始时间和结束时间，根据所述开始时间和结束时间获取各个卡口在对应时间段内的所有过车数据。
4.根据权利要求3所述的基于Hbase的卡口数据区域碰撞分析的方法，其特征在于，所述根据所述开始时间和结束时间获取各个卡口在对应时间段内的所有过车数据，包括：
根据所述开始时间和结束时间生成查看对象信息，并利用所述查看对象信息遍历基于Hbase存储的卡口数据获取各个卡口在对应时间段内的所有过车数据。
5.根据权利要求1-4中任一项所述的基于Hbase的卡口数据区域碰撞分析的方法，其特征在于，所有的卡口数据基于Hbase进行存储，其中，
Hbase中的rowkey，包括：卡口编号、过车时间及车牌号；
Hbase中的列族，至少包括：车型、类别、车身颜色、车牌颜色及速度信息。
6.一种基于Hbase的卡口数据区域碰撞分析的系统，其特征在于，该系统包括：第一查找模块、第二查找模块及分析模块，其中，
所述第一查找模块，用于遍历所有的基于Hbase存储的卡口数据，并根据预先设定的时间段及卡口信息获取每个时间段对应的卡口集合，其中，
所述预先设定的时间段及卡口信息至少为两个；
所述第二查找模块，用于遍历所述卡口集合并获取在各个对应时间段内的所有过车数据，获取各个时间段内车辆的过车数据集合；
所述分析模块，包括：选取单元、判断单元及处理单元；其中，
所述选取单元，用于从所述过车数据集合中选取一个过车数据集合作为遍历对象；
所述判断单元，用于对得到的各个过车数据集合进行碰撞分析，包括：遍历所述遍历对象中的每个车牌号的过车数据并进行判断；
所述处理单元，用于根据判断得到过车数据集合的交集，包括：若判断到所有的其它过车数据集合中均包含有该车牌号的过车数据时，将其它过车数据集合中该车牌号的过车数据添加到所述遍历对象中，并继续遍历下一个车牌号，最终获得所述过车数据集合的交集。
7.根据权利要求6所述的基于Hbase的卡口数据区域碰撞分析的系统，其特征在于，所述处理单元，还用于：
若判断到其它过车数据集合中存在不包含该车牌号过车数据时，则将遍历对象中的该车牌号对应的过车数据移除，并继续遍历下一个车牌号。
8.根据权利要求6所述的基于Hbase的卡口数据区域碰撞分析的系统，其特征在于，所述第二查找模块，包括：添加单元和查找单元，
所述添加单元，用于在每个卡口信息中加上其对应时间段的开始时间和结束时间；
所述查找单元，用于根据所述开始时间和结束时间获取各个卡口在对应时间段内的所有过车数据。
9.根据权利要求8所述的基于Hbase的卡口数据区域碰撞分析的系统，其特征在于，所述第二查找模块，包括：生成单元和查找单元，
所述生成单元，用于根据所述开始时间和结束时间生成查看对象信息；
所述查找单元，用于利用所述查看对象信息遍历基于Hbase存储的卡口数据获取各个卡口在对应时间段内的所有过车数据。
10.根据权利要求6-9中任一项所述的基于Hbase的卡口数据区域碰撞分析的系统，其特征在于，所述系统还包括：存储模块，用于基于Hbase对所有的卡口数据进行存储，其中，
Hbase中的rowkey，包括：卡口编号、过车时间及车牌号；
Hbase中的列族，至少包括：车型、类别、车身颜色、车牌颜色及速度信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610272666.1A CN105788264B (zh) | 2016-04-28 | 2016-04-28 | 基于Hbase的卡口数据区域碰撞分析的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610272666.1A CN105788264B (zh) | 2016-04-28 | 2016-04-28 | 基于Hbase的卡口数据区域碰撞分析的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105788264A true CN105788264A (zh) | 2016-07-20 |
| CN105788264B CN105788264B (zh) | 2018-03-16 |
Family
ID=56399842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610272666.1A Active CN105788264B (zh) | 2016-04-28 | 2016-04-28 | 基于Hbase的卡口数据区域碰撞分析的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105788264B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610465A (zh) * | 2017-09-22 | 2018-01-19 | 杭州玳数科技有限公司 | 一种交通监控数据匹配方法、系统及存储设备 |
| CN107688646A (zh) * | 2017-08-30 | 2018-02-13 | 武汉烽火众智数字技术有限责任公司 | 一种基于es的卡口数据区域碰撞分析的方法 |
| CN107862072A (zh) * | 2017-11-24 | 2018-03-30 | 泰华智慧产业集团股份有限公司 | 基于大数据技术分析车辆入城套牌作案的方法 |
| CN107993444A (zh) * | 2017-11-22 | 2018-05-04 | 紫光捷通科技股份有限公司 | 基于卡口过车大数据分析的嫌疑车认定方法 |
| CN109783540A (zh) * | 2019-01-08 | 2019-05-21 | 武汉烽火众智数字技术有限责任公司 | 一种基于特征码对特定群体人员的分析方法及系统 |
| CN110019344A (zh) * | 2017-12-27 | 2019-07-16 | 深圳市优必选科技有限公司 | 一种可疑车辆布控方法、系统及终端设备 |
| CN111090669A (zh) * | 2019-12-16 | 2020-05-01 | 北京明略软件系统有限公司 | 一种基于时空碰撞的数据查询方法及装置 |
| CN111367958A (zh) * | 2019-11-19 | 2020-07-03 | 杭州海康威视系统技术有限公司 | 一种数据分析方法、装置、电子设备及存储介质 |
| CN111382189A (zh) * | 2019-12-20 | 2020-07-07 | 厦门市美亚柏科信息股份有限公司 | 一种异源异构数据碰撞分析方法、终端设备及存储介质 |
| CN112396830A (zh) * | 2020-10-23 | 2021-02-23 | 武汉烽火众智数字技术有限责任公司 | 一种提供过车数据快速查询及应用的方法及系统 |
| CN112732761A (zh) * | 2021-01-13 | 2021-04-30 | 青岛海信网络科技股份有限公司 | 一种数据碰撞方法及装置 |
| CN116030642A (zh) * | 2023-03-27 | 2023-04-28 | 南京莱斯信息技术股份有限公司 | 交通流卡口过车信息中的嫌疑车辆确定方法及终端 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101184311A (zh) * | 2007-10-23 | 2008-05-21 | 尹若亮 | 一种手机号码的碰撞分析系统及其方法 |
| CN104050271A (zh) * | 2014-06-23 | 2014-09-17 | 桂林长海科技有限责任公司 | 一种基于HBase的卡口数据处理方法 |
| CN104462236A (zh) * | 2014-11-14 | 2015-03-25 | 浪潮(北京)电子信息产业有限公司 | 一种基于大数据的伴随车辆识别方法和装置 |
| CN104462222A (zh) * | 2014-11-11 | 2015-03-25 | 安徽四创电子股份有限公司 | 一种卡口车辆通行数据的分布式存储方法及系统 |
| CN104809180A (zh) * | 2014-12-15 | 2015-07-29 | 安徽四创电子股份有限公司 | 基于无监督智能学习算法的非法运营车辆识别方法及系统 |
| CN105426437A (zh) * | 2015-11-05 | 2016-03-23 | 西安翔迅科技有限责任公司 | 一种基于HBase的智能交通领域卡口数据存储方法 |
-
2016
- 2016-04-28 CN CN201610272666.1A patent/CN105788264B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101184311A (zh) * | 2007-10-23 | 2008-05-21 | 尹若亮 | 一种手机号码的碰撞分析系统及其方法 |
| CN104050271A (zh) * | 2014-06-23 | 2014-09-17 | 桂林长海科技有限责任公司 | 一种基于HBase的卡口数据处理方法 |
| CN104462222A (zh) * | 2014-11-11 | 2015-03-25 | 安徽四创电子股份有限公司 | 一种卡口车辆通行数据的分布式存储方法及系统 |
| CN104462236A (zh) * | 2014-11-14 | 2015-03-25 | 浪潮(北京)电子信息产业有限公司 | 一种基于大数据的伴随车辆识别方法和装置 |
| CN104809180A (zh) * | 2014-12-15 | 2015-07-29 | 安徽四创电子股份有限公司 | 基于无监督智能学习算法的非法运营车辆识别方法及系统 |
| CN105426437A (zh) * | 2015-11-05 | 2016-03-23 | 西安翔迅科技有限责任公司 | 一种基于HBase的智能交通领域卡口数据存储方法 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107688646A (zh) * | 2017-08-30 | 2018-02-13 | 武汉烽火众智数字技术有限责任公司 | 一种基于es的卡口数据区域碰撞分析的方法 |
| CN107610465A (zh) * | 2017-09-22 | 2018-01-19 | 杭州玳数科技有限公司 | 一种交通监控数据匹配方法、系统及存储设备 |
| CN107610465B (zh) * | 2017-09-22 | 2020-08-11 | 杭州玳数科技有限公司 | 一种交通监控数据匹配方法、系统及存储设备 |
| CN107993444A (zh) * | 2017-11-22 | 2018-05-04 | 紫光捷通科技股份有限公司 | 基于卡口过车大数据分析的嫌疑车认定方法 |
| CN107862072A (zh) * | 2017-11-24 | 2018-03-30 | 泰华智慧产业集团股份有限公司 | 基于大数据技术分析车辆入城套牌作案的方法 |
| CN107862072B (zh) * | 2017-11-24 | 2020-05-19 | 泰华智慧产业集团股份有限公司 | 基于大数据技术分析车辆入城套牌作案的方法 |
| CN110019344A (zh) * | 2017-12-27 | 2019-07-16 | 深圳市优必选科技有限公司 | 一种可疑车辆布控方法、系统及终端设备 |
| CN109783540A (zh) * | 2019-01-08 | 2019-05-21 | 武汉烽火众智数字技术有限责任公司 | 一种基于特征码对特定群体人员的分析方法及系统 |
| CN111367958A (zh) * | 2019-11-19 | 2020-07-03 | 杭州海康威视系统技术有限公司 | 一种数据分析方法、装置、电子设备及存储介质 |
| CN111367958B (zh) * | 2019-11-19 | 2024-03-08 | 杭州海康威视系统技术有限公司 | 一种数据分析方法、装置、电子设备及存储介质 |
| CN111090669A (zh) * | 2019-12-16 | 2020-05-01 | 北京明略软件系统有限公司 | 一种基于时空碰撞的数据查询方法及装置 |
| CN111382189A (zh) * | 2019-12-20 | 2020-07-07 | 厦门市美亚柏科信息股份有限公司 | 一种异源异构数据碰撞分析方法、终端设备及存储介质 |
| CN112396830A (zh) * | 2020-10-23 | 2021-02-23 | 武汉烽火众智数字技术有限责任公司 | 一种提供过车数据快速查询及应用的方法及系统 |
| CN112732761A (zh) * | 2021-01-13 | 2021-04-30 | 青岛海信网络科技股份有限公司 | 一种数据碰撞方法及装置 |
| CN112732761B (zh) * | 2021-01-13 | 2022-08-23 | 青岛海信网络科技股份有限公司 | 一种数据碰撞方法及装置 |
| CN116030642A (zh) * | 2023-03-27 | 2023-04-28 | 南京莱斯信息技术股份有限公司 | 交通流卡口过车信息中的嫌疑车辆确定方法及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105788264B (zh) | 2018-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105788264B (zh) | 基于Hbase的卡口数据区域碰撞分析的方法及系统 | |
| CN102156751B (zh) | 一种提取视频指纹的方法及装置 | |
| CN105913656B (zh) | 基于分布式统计频繁过车的方法及系统 | |
| CN107291910A (zh) | 一种视频片段结构化查询方法、装置及电子设备 | |
| US20190130040A1 (en) | Grouping aggregation with filtering aggregation query processing | |
| CN104715612A (zh) | 基于行车轨迹匹配实现的嫌疑车辆跟踪方法及装置 | |
| CN103593982B (zh) | 一种快速定位初次入城车辆的方法及系统 | |
| CN104809180A (zh) | 基于无监督智能学习算法的非法运营车辆识别方法及系统 | |
| CN108389394B (zh) | 车辆初次入城分析的方法及系统 | |
| CN105224658A (zh) | 一种大数据的实时查询方法和系统 | |
| CN104199903A (zh) | 一种基于路径关联的车辆数据查询系统及方法 | |
| US8938443B2 (en) | Runtime optimization of spatiotemporal events processing | |
| CN104618132A (zh) | 一种应用程序识别规则生成方法和装置 | |
| CN104462395A (zh) | 一种同行车辆分析方法 | |
| CN111914648A (zh) | 车辆检测和识别的方法及装置、电子设备、存储介质 | |
| CN105320703B (zh) | 相似车辆检索中的查询扩展方法及装置 | |
| CN112380195B (zh) | 一种基于事务时序有向图的sql交互数据预处理方法与装置 | |
| CN103530369A (zh) | 一种去重方法及系统 | |
| WO2023179319A1 (zh) | 报警方法及装置 | |
| CN107895487A (zh) | 一种基于大数据进行相似车牌串并的方法 | |
| CN115795521B (zh) | 访问控制方法、装置、电子设备及存储介质 | |
| CN109471907B (zh) | 一种基于卡口数据的行车规律分析系统和方法 | |
| CN112287074A (zh) | 一种基于数据挖掘的专利信息预测系统 | |
| CN104077361A (zh) | 一种用于大数据的排序方法及系统 | |
| CN115083162B (zh) | 路况预测方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Qinggong Inventor after: Xin Guomao Inventor after: Li Shanbao Inventor after: Li Zhanqiang Inventor after: Wu Yong Inventor after: Ma Shujie Inventor before: Li Qinggong Inventor before: Xin Guomao Inventor before: Ma Shujie |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |