CN107688646A - 一种基于es的卡口数据区域碰撞分析的方法 - Google Patents

一种基于es的卡口数据区域碰撞分析的方法 Download PDF

Info

Publication number
CN107688646A
CN107688646A CN201710765243.8A CN201710765243A CN107688646A CN 107688646 A CN107688646 A CN 107688646A CN 201710765243 A CN201710765243 A CN 201710765243A CN 107688646 A CN107688646 A CN 107688646A
Authority
CN
China
Prior art keywords
bayonet socket
data
car
crash analysis
spark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710765243.8A
Other languages
English (en)
Inventor
雷万钧
于起超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Fiberhome Digtal Technology Co Ltd
Original Assignee
Wuhan Fiberhome Digtal Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Fiberhome Digtal Technology Co Ltd filed Critical Wuhan Fiberhome Digtal Technology Co Ltd
Priority to CN201710765243.8A priority Critical patent/CN107688646A/zh
Publication of CN107688646A publication Critical patent/CN107688646A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于ES的卡口数据区域碰撞分析的方法，涉及交通数据分析的技术领域。本方法是：①对所有的卡口数据基于ES进行存储；②根据预先设定的时间段及卡口信息获取基于ES存储的每个时间段对应的卡口集合；③对得到的各个过车数据集合进行碰撞分析，得到过车数据集合的交集。与现有技术相比，本发明可以利用Elasticsearch技术在廉价物理机PCServer上搭建起大规模机构化存储集群；方便了卡口数据的查询及分析，进而缩短了处理所消耗的时间，提高了卡口数据分析处理的效率；能够大大提高区域碰撞分析的查询效率，进而提升区域碰撞分析的效率。

Description

一种基于ES的卡口数据区域碰撞分析的方法
技术领域
本发明涉及交通数据分析的技术领域，尤其涉及一种基于ES的卡口数据区域碰撞分析的方法。
背景技术
ES全称为Elasticsearch，是一种基于倒排索引的搜索引擎，能够实现海量数据的存储和毫秒级的查询。
近年来，随着互联网技术及信息处理技术的发展，各种信息的智能化分析及处理成为业内的热门研究内容。加上现今各地的交通设备的大量增加和交通信息工程的建设，为人们的日常生活提供了丰富的信息资源的同时，也增加了交通信息数据的分析处理量。车辆已经成为了人们生活中必不可少的交通工具，每天在各地都会有大量的车辆信息，通过对各地的这些车辆信息数据进行分析可以获取许多重要的情报。尤其是在侦查办案时，车辆作为重要的交通工具，越来越多的案件与车辆相关，因而这些车辆的行程信息，也就是过车数据，体现出了犯罪嫌疑人的活动动态，也就成可以作为许多案件的重要侦破点以及抓捕犯罪嫌疑人的关键突破点。
目前的交通布局是使用卡口或者电子警察对过车图像进行识别，获取车辆的车牌号、车型、车身颜色、车牌颜色、过车时间、车辆行驶速度及卡口编号等信息，将这些信息数据汇聚起来形成过车记录数据。但是，现阶段将这些过车记录数据存储在关系型数据库中，数据量越积越多，对这些数据进行处理时会遇到各种各样的问题。例如，交通信息中包含了大量的图像及处理数据，所占用的存储资源较多，传统的存储方式对存储设备的要求高，会造成存储成本高的问题，且传统的存储方式没有对存储数据的统一管理，还会造成数据存储杂乱无章的问题。按照传统存储方式，对交通信息数据分析处理时，由于庞大的数据量及无规律的存储方式，会提高在查询及分析数据时的难度，还会消耗较长的时间，不能满足实时查看数据结果的需求。在对交通信息数据分析时，特别是在办案侦查时，需要通过车辆在某些特定时间段在相应卡口路段的过车数据分析出该车辆的动态，目前采用区域碰撞分析的方式实现该分析过程。但是，传统的存储方式，交通信息数据之间杂乱无章，各个卡口的过车信息数据存储分散，进行区域碰撞分析的准确性及分析效率均得不到保障。
因此，提供一种高效易实施且便于进行区域碰撞分析的方法是本领域亟待解决的问题。
发明内容
有鉴于此，本发明的目的就在于解决交通信息数据存储无规律、进行区域碰撞分析的准确性差及分析效率低的问题，提供一种基于ES的卡口数据区域碰撞分析的方法，
本发明的目的是这样实现的：
具体地说，本方法包括下列步骤：
①对所有的卡口数据基于ES进行存储，
索引的列包括卡口编号、过车时间及车牌号；
存储不索引的列包括车型、类别、车身颜色、车牌颜色及速度信息；
②根据预先设定的时间段及卡口信息获取基于ES存储的每个时间段对应的卡口集合，预先设定的时间段及卡口信息至少为两个，获取各个时间段内车辆的过车数据集合，并注册为临时表；
③对得到的各个过车数据集合进行碰撞分析，得到过车数据集合的交集，其中，包括：
A、将所有临时表进行Group BY操作，并求和，得到每个车牌的总数；
B、将聚合后的临时表做JOIN操作，并求和；
C、将结果写入到数据库中。
与现有技术相比，本发明具有下列优点和积极效果：
①基于ES采用分布式存储方式存储卡口数据，可以利用Elasticsearch技术在廉价物理机PCServer上搭建起大规模机构化存储集群，并对存储的卡口数据进行统一管理，方便了庞大卡口数据的有序存储及管理；
②基于ES采用分布式存储方式存储卡口数据，方便了卡口数据的查询及分析，进而缩短了处理所消耗的时间，提高了卡口数据分析处理的效率；
③基于ES采用分布式存储方式存储卡口数据，能够大大提高区域碰撞分析的查询效率，进而提升区域碰撞分析的效率。
附图说明
图1为本方法步骤①的存储流程图；
图2为本方法步骤②的查询数据集流程图。
具体实施方式
下面结合附图和实施例详细说明：
1、步骤①
卡口数据存放在关系型数据库中，需要通过Logstash将数据定时抽取到ES中；
设计ES中卡口索引表的格式，其中卡口编号为kkbh，过车时间为jgsk，车牌号为hphm，并将这三个的index属性设为not_analyse，其他设置为no；编写抽取脚本，并设置抽取时间为每分钟抽取一次；
如图1，步骤①的存储流程是：
A、开始-101；
B、设计建表语句并创建ES索引表-102；
C、编写抽取策略配置文件-103；
D、结束-104。
2、步骤②
将用户输入的查询条件列表以JSON形式存入到数据库中，并将参数的ID传入Shell脚本中，Shell将参数ID传入Spark submit命令中并启动Spark应用。Spark程序获得ID，并查询获得参数列表；Spark调用ES的搜索接口，获得对应的数据集，并将数据集注册为临时表。
如图2，步骤②的查询数据集流程是：
a、开始-201；
b、将碰撞列表转换为JSON写入数据库-202；
c、调用Shell脚本传入JSON的ID-203；
d、Shell调用Spark-submit并传入ID-204；
e、Spark读取数据库并对每个条件进行查询ES-205；
f、结束-206。

Claims (3)

1.一种基于ES的卡口数据区域碰撞分析的方法，其特征在于：
①对所有的卡口数据基于ES进行存储，
索引的列包括卡口编号、过车时间及车牌号；
存储不索引的列包括车型、类别、车身颜色、车牌颜色及速度信息；
②根据预先设定的时间段及卡口信息获取基于ES存储的每个时间段对应的卡口集合，预先设定的时间段及卡口信息至少为两个，获取各个时间段内车辆的过车数据集合，并注册为临时表；
③对得到的各个过车数据集合进行碰撞分析，得到过车数据集合的交集，其中，包括：
ⅰ、将所有临时表进行Group BY操作，并求和，得到每个车牌的总数；
ⅱ、将聚合后的临时表做JOIN操作，并求和；
ⅲ、将结果写入到数据库中。
2.按权利要求1所述的基于一种基于ES的卡口数据区域碰撞分析的方法，其特征在于所述步骤①：
卡口数据存放在关系型数据库中，需要通过Logstash将数据定时抽取到ES中；
设计ES中卡口索引表的格式，其中卡口编号为kkbh，过车时间为jgsk，车牌号为hphm，并将这三个的index属性设为not_analyse，其他设置为no；编写抽取脚本，并设置抽取时间为每分钟抽取一次；
其存储流程是：
A、开始（101）；
B、设计建表语句并创建ES索引表（102）；
C、编写抽取策略配置文件（103）；
D、结束（104）。
3.按权利要求1所述的基于一种基于ES的卡口数据区域碰撞分析的方法，其特征在于所述步骤步骤②：
将用户输入的查询条件列表以JSON形式存入到数据库中，并将参数的ID传入Shell脚本中，Shell将参数ID传入Spark submit命令中并启动Spark应用；Spark程序获得ID，并查询获得参数列表；Spark调用ES的搜索接口，获得对应的数据集，并将数据集注册为临时表；
其查询数据集流程是：
a、开始（201）；
b、将碰撞列表转换为JSON写入数据库（202）；
c、调用Shell脚本传入JSON的ID（203）；
d、Shell调用Spark-submit并传入ID（204）；
e、Spark读取数据库并对每个条件进行查询ES（205）；
f、结束（206）。
CN201710765243.8A 2017-08-30 2017-08-30 一种基于es的卡口数据区域碰撞分析的方法 Pending CN107688646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710765243.8A CN107688646A (zh) 2017-08-30 2017-08-30 一种基于es的卡口数据区域碰撞分析的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710765243.8A CN107688646A (zh) 2017-08-30 2017-08-30 一种基于es的卡口数据区域碰撞分析的方法

Publications (1)

Publication Number Publication Date
CN107688646A true CN107688646A (zh) 2018-02-13

Family

ID=61155752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710765243.8A Pending CN107688646A (zh) 2017-08-30 2017-08-30 一种基于es的卡口数据区域碰撞分析的方法

Country Status (1)

Country Link
CN (1) CN107688646A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111367958A (zh) * 2019-11-19 2020-07-03 杭州海康威视系统技术有限公司 一种数据分析方法、装置、电子设备及存储介质
CN112269809A (zh) * 2020-11-18 2021-01-26 安徽四创电子股份有限公司 一种基于rbm数据结构实现区域首次出现的实施方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040019593A1 (en) * 2002-04-11 2004-01-29 Borthwick Andrew E. Automated database blocking and record matching
CN105426437A (zh) * 2015-11-05 2016-03-23 西安翔迅科技有限责任公司 一种基于HBase的智能交通领域卡口数据存储方法
CN105788264A (zh) * 2016-04-28 2016-07-20 泰华智慧产业集团股份有限公司 基于Hbase的卡口数据区域碰撞分析的方法及系统
CN106446289A (zh) * 2016-11-11 2017-02-22 无锡雅座在线科技发展有限公司 基于Pinpoint的信息查询方法和装置
CN106528865A (zh) * 2016-12-02 2017-03-22 航天科工智慧产业发展有限公司 一种快速精准的交通大数据清洗方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040019593A1 (en) * 2002-04-11 2004-01-29 Borthwick Andrew E. Automated database blocking and record matching
CN105426437A (zh) * 2015-11-05 2016-03-23 西安翔迅科技有限责任公司 一种基于HBase的智能交通领域卡口数据存储方法
CN105788264A (zh) * 2016-04-28 2016-07-20 泰华智慧产业集团股份有限公司 基于Hbase的卡口数据区域碰撞分析的方法及系统
CN106446289A (zh) * 2016-11-11 2017-02-22 无锡雅座在线科技发展有限公司 基于Pinpoint的信息查询方法和装置
CN106528865A (zh) * 2016-12-02 2017-03-22 航天科工智慧产业发展有限公司 一种快速精准的交通大数据清洗方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张波: "基于大数据技术的公安移动通信数据处理平台设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111367958A (zh) * 2019-11-19 2020-07-03 杭州海康威视系统技术有限公司 一种数据分析方法、装置、电子设备及存储介质
CN111367958B (zh) * 2019-11-19 2024-03-08 杭州海康威视系统技术有限公司 一种数据分析方法、装置、电子设备及存储介质
CN112269809A (zh) * 2020-11-18 2021-01-26 安徽四创电子股份有限公司 一种基于rbm数据结构实现区域首次出现的实施方法

Similar Documents

Publication Publication Date Title
CN105788264B (zh) 基于Hbase的卡口数据区域碰撞分析的方法及系统
CN102902752B (zh) 一种日志监控方法及系统
CN107846468A (zh) 基于云计算技术的车联网应用系统及其控制方法
CN104035954A (zh) 一种基于Hadoop的套牌车识别方法
WO2021147412A1 (zh) 服务位置推荐方法、装置、电子设备及可读存储介质
CN107145558A (zh) 一种基于数据集的自助式可视化数据分析方法
CN107688646A (zh) 一种基于es的卡口数据区域碰撞分析的方法
CN105913656A (zh) 基于分布式统计频繁过车的方法及系统
CN109815254A (zh) 基于大数据的跨地域任务调度方法及系统
CN111966868A (zh) 基于标识解析的数据治理方法及相关设备
CN109299307B (zh) 一种基于结构分析的商标检索预警方法及装置
CN110705940A (zh) 一种基于区块链的药品物流追溯核查方法
CN112686353A (zh) 一种城市通行健康码信息数据治理系统
CN112380195B (zh) 一种基于事务时序有向图的sql交互数据预处理方法与装置
CN107493275A (zh) 异构网络安全日志信息的自适应提取和分析方法及系统
CN109657527B (zh) 一种画作笔触鉴定系统及方法
CN107862867A (zh) 基于大数据进行初次入城车辆分析的方法及系统
CN104615600B (zh) 相似性案件比对实现方法及其装置
CN116862434A (zh) 一种基于大数据的材料数据管理系统及方法
CN109669777B (zh) 工业互联网大数据元需求服务提供方法与系统
CN111581299A (zh) 基于大数据的多源数据仓库的库间数据转换系统及方法
CN111061779A (zh) 一种基于大数据平台的数据处理方法及装置
CN113760849B (zh) 日志处理方法、系统、电子设备及计算机可读存储介质
CN108959327A (zh) 一种业务处理方法、装置及计算机可读存储介质
CN109671290A (zh) 一种基于大数据的停车场找寻方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180213

WD01 Invention patent application deemed withdrawn after publication