CN108595622A - 基于大数据分析单车牌串并的方法及系统 - Google Patents

基于大数据分析单车牌串并的方法及系统 Download PDF

Info

Publication number
CN108595622A
CN108595622A CN201810367263.4A CN201810367263A CN108595622A CN 108595622 A CN108595622 A CN 108595622A CN 201810367263 A CN201810367263 A CN 201810367263A CN 108595622 A CN108595622 A CN 108595622A
Authority
CN
China
Prior art keywords
data
querying condition
vehicle
back end
structural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810367263.4A
Other languages
English (en)
Inventor
吴永
辛国茂
李善宝
李占强
李庆功
周永利
马述杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taihua Wisdom Industry Group Co Ltd
Original Assignee
Taihua Wisdom Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taihua Wisdom Industry Group Co Ltd filed Critical Taihua Wisdom Industry Group Co Ltd
Priority to CN201810367263.4A priority Critical patent/CN108595622A/zh
Publication of CN108595622A publication Critical patent/CN108595622A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开基于大数据分析单车牌串并的方法及系统,包括:视频采集设备采集经过道路卡口的车辆的非结构化数据;非结构化数据存取系统对非结构化数据进行接收和存储;解析系统接收非结构化数据,将非结构化数据转化为结构化数据;分布式数据库接收结构化数据,并将结构化数据分布存储于数据节点中;在查询和分析系统中输入所查车辆的查询条件;对查询条件的检查和校验通过后,查询和分析系统向分布式数据库发出查询请求;分布式数据库接收查询请求,且将有效车辆数据反馈给查询和分析系统;查询和分析系统接收有效车辆数据,并进行可视化展示。本发明可对某一车牌号码有针对性的研判分析,适用于车牌修改个别车牌号码数字的情况。

Description

基于大数据分析单车牌串并的方法及系统
技术领域
本发明涉及交通技术领域,更具体地,涉及一种基于大数据分析单车牌串并的方法及系统。
背景技术
随着市面上汽车保有量的增加,使用涂改、贴纸等手段,修改一个或多个原车牌号码的字符,从而修改车牌号码的情况越来越多。
很多车主涂改车牌号码后,在车道上进行超速、肆意变换车道、使用应急车道等违法驾驶行为,对公众的安全造成了极大的威胁。
部分涉车案件,嫌疑人驱车驶离现场前,也会变更车牌号码,对嫌疑车的锁定及案件的侦破造成了极大困扰。
卡口、电警等前端设备只能识别车辆被拍摄时的车牌号码,无法比对及研判分析。
相对于假牌套牌,变更某一特定车牌号码字符,更不易发现,违法成本更低,且能够快速还原,造成民警取证困难。
现有技术一般针对的是套牌车辆的分析,套牌车辆的分析是根据时空或主体车来判断车牌号码为假牌或套牌,不适用于变更车牌中个别特定车牌号码字符的情况。
发明内容
有鉴于此,本发明提供了一种基于大数据分析单车牌串并的方法及系统,其能指定具体车牌号码和错位数,可对某一车牌号码有针对性的研判分析,适用于车牌修改个别车牌号码数字的情况。
为了解决上述技术问题,本发明提出一种基于大数据分析单车牌串并的方法,包括:视频采集设备采集经过道路卡口的车辆的非结构化数据,并将采集到的非结构化数据传输至非结构化数据存取系统;非结构化数据存取系统对非结构化数据进行接收和存储,并将非结构化数据传输至解析系统;解析系统接收非结构化数据,将非结构化数据转化为结构化数据,并将结构化数据传输至分布式数据库,其中,结构化数据至少包括过车时间、车牌号码和非结构化数据读取地址;分布式数据库包括至少三个数据节点,分布式数据库接收结构化数据,并将结构化数据分布存储于数据节点中,分布式数据库的关键字由过车时间和车牌号码组成,且过车时间在前,车牌号码在后;在查询和分析系统中输入所查车辆的查询条件,查询和分析系统对查询条件进行检查和校验,其中,查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间;对查询条件的检查和校验通过后,查询和分析系统向分布式数据库发出查询请求;分布式数据库接收查询请求,并选定一个数据节点作为主节点,通过主节点将查询请求发布给其他数据节点,主节点和其他各个数据节点根据查询请求中查询条件对结构化数据进行筛选过滤,从而找出最符合查询条件的结构化数据,其他各个数据节点将最符合查询条件的结构化数据发送给主节点;主节点接收其他各个数据节点的结构化数据,并和其本身所筛选过滤出的结构化数据进行汇总成有效车辆数据,且将有效车辆数据反馈给查询和分析系统;查询和分析系统接收有效车辆数据,并将有效车辆数据进行可视化展示。
优选的,其中,主节点和其他各个数据节点根据查询请求中查询条件对结构化数据进行筛选过滤,从而找出最符合查询条件的结构化数据,进一步为:各个数据节点根据查询条件中的开始时间和结束时间拼接出分布式数据库中关键字的前缀,且初步筛选出符合查询条件的结构化数据的基本范围;各个数据节点均布置有协处理器,且通过协处理器对初步筛选出的符合查询条件的结构化数据进一步过滤,只保留与查询条件中车牌号码和车牌相差位数相符合的结构化数据,从而找出最符合查询条件的结构化数据。
优选的,其中,查询条件还包括补充查询条件,补充查询条件至少包括车辆品牌、车辆型号、车牌颜色、车身颜色和车辆类别;各个数据节点均布置有协处理器,且通过协处理器对初步筛选出的符合查询条件的结构化数据进一步过滤,只保留与查询条件中车牌号码和车牌相差位数相符合的结构化数据,从而找出最符合查询条件的结构化数据,进一步为:各个数据节点均布置有协处理器,且通过协处理器对初步筛选出的符合查询条件的结构化数据进一步过滤,只保留与查询条件中车牌号码和车牌相差位数相符合,且与查询条件中补充查询条件相一致的结构化数据,从而找出最符合查询条件的结构化数据。
优选的,其中,该方法进一步包括:协调服务器为分布式数据库中各个数据节点提供一致性服务。
优选的,其中,分布式数据库为面向列的分布式数据库HBase。
一种基于大数据分析单车牌串并的系统,包括:视频采集设备,用于采集经过道路卡口的车辆的非结构化数据,并将采集到的非结构化数据传输至非结构化数据存取系统;非结构化数据存取系统,用于对非结构化数据进行接收和存储,并将非结构化数据传输至解析系统;解析系统,用于接收非结构化数据,将非结构化数据转化为结构化数据,并将结构化数据传输至分布式数据库,其中,结构化数据至少包括过车时间、车牌号码和非结构化数据读取地址;分布式数据库,包括至少三个数据节点,用于接收结构化数据,并将结构化数据分布存储于数据节点中,分布式数据库的关键字由过车时间和车牌号码组成,且过车时间在前,车牌号码在后;查询和分析系统,用于对输入的所查车辆的查询条件进行检查和校验,其中,查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间;对查询条件的检查和校验通过后,查询和分析系统,用于向分布式数据库发出查询请求;分布式数据库,用于接收查询请求,并选定一个数据节点作为主节点,主节点将查询请求发布给其他数据节点,主节点和其他各个数据节点根据查询请求中查询条件对结构化数据进行筛选过滤,从而找出最符合查询条件的结构化数据,其他各个数据节点将最符合查询条件的结构化数据发送给主节点;主节点接收其他各个数据节点的结构化数据,并和其本身所筛选过滤出的结构化数据进行汇总成有效车辆数据,且将有效车辆数据反馈给查询和分析系统;查询和分析系统,用于接收有效车辆数据,并用于将有效车辆数据进行可视化展示。
优选的,其中,分布式数据库,进一步用于通过各个数据节点根据查询条件中的开始时间和结束时间拼接出分布式数据库中关键字的前缀,且用于初步筛选出符合查询条件的结构化数据的基本范围;
分布式数据库内设有至少三个协处理器,各个协处理器分别布置于各个数据节点,且用于对初步筛选出的符合查询条件的结构化数据进一步过滤,只保留与查询条件中车牌号码和车牌相差位数相符合的结构化数据,从而找出最符合查询条件的结构化数据。
优选的,其中,查询条件还包括补充查询条件,补充查询条件至少包括车辆品牌、车辆型号、车牌颜色、车身颜色和车辆类别;
协处理器,用于对初步筛选出的符合查询条件的结构化数据进一步过滤,只保留与查询条件中车牌号码和车牌相差位数相符合,且与查询条件中补充查询条件相一致的结构化数据,从而找出最符合查询条件的结构化数据。
优选的,其中,该系统进一步包括:协调服务器,用于为分布式数据库中各个数据节点提供一致性服务。
优选的,其中,分布式数据库,进一步为面向列的分布式数据库HBase。
与现有技术相比,本发明的基于大数据分析单车牌串并的方法及系统,实现了如下的有益效果:
(1)本发明所述的基于大数据分析单车牌串并的方法及系统,使用分布式数据库,包括至少三个数据节点,相关数据分布存储于数据节点中,有效使得分布式数据库支持超大文件及数据量,可通过低廉的商用机存储数据,且扩展性好。
(2)本发明所述的基于大数据分析单车牌串并的方法及系统,使用基于列的分布式数据库,能够按照一定规则设计关键字,使结构化数据能够按照已定的要求在分布式数据库中排序,且分布式数据库中查询效率不会因为数据量的增加而出现明显的下降。
(3)本发明所述的基于大数据分析单车牌串并的方法及系统,分布式数据库中各个数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,筛选出最符合查询条件的结构化数据,减少了对网络IO资源的需求。
(4)本发明所述的基于大数据分析单车牌串并的方法及系统,使用查询和分析系统,接收用户指定的查询条件,查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间,查询条件校验合格后,会向分布式数据库发出查询请求,分布式数据库中通过指定的查询条件,从而找出最符合所述查询条件的结构化数据,通过查询条件中指定的具体车牌号码及车牌相差位数,可针对某一车牌号码有针对性的进行研判分析,查询结构更准确。
当然,实施本发明的任一产品不必特定需要同时达到以上所述的所有技术效果。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1所示为本发明提出一种基于大数据分析单车牌串并的方法的流程图;
图2为本发明的一种实施例中数据节点对结构化数据进行筛选过滤的流程图;
图3为本发明基于大数据分析单车牌串并的系统的构成示意图;
图4是结构化数据查询和分析的流程图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
实施例1
如图1所示为本发明提出一种基于大数据分析单车牌串并的方法的流程图,该方法包括:
步骤101、视频采集设备采集经过道路卡口的车辆的非结构化数据,并将采集到的非结构化数据传输至非结构化数据存取系统;
步骤102、所述非结构化数据存取系统对所述非结构化数据进行接收和存储,并将所述非结构化数据传输至解析系统;
步骤103、所述解析系统接收所述非结构化数据,将所述非结构化数据转化为结构化数据,并将所述结构化数据传输至分布式数据库,其中,所述结构化数据至少包括过车时间、车牌号码和非结构化数据读取地址;
步骤104、所述分布式数据库包括至少三个数据节点,所述分布式数据库接收所述结构化数据,并将所述结构化数据分布存储于所述数据节点中,所述分布式数据库的关键字由所述过车时间和所述车牌号码组成,且所述过车时间在前,所述车牌号码在后;
步骤105、在查询和分析系统中输入所查车辆的查询条件,所述查询和分析系统对所述查询条件进行检查和校验,其中,所述查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间;
步骤106、对所述查询条件的检查和校验通过后,所述查询和分析系统向所述分布式数据库发出查询请求;
步骤107、所述分布式数据库接收所述查询请求,并选定一个所述数据节点作为主节点,通过所述主节点将所述查询请求发布给其他所述数据节点,所述主节点和其他各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,其他各个所述数据节点将最符合所述查询条件的所述结构化数据发送给所述主节点;
步骤108、所述主节点接收其他各个所述数据节点的所述结构化数据,并和其本身所筛选过滤出的所述结构化数据进行汇总成有效车辆数据,且将所述有效车辆数据反馈给所述查询和分析系统;
步骤109、所述查询和分析系统接收所述有效车辆数据,并将所述有效车辆数据进行可视化展示。
上述步骤107中,所述主节点和其他各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,可进行如图2所述的进一步细化,图2为本发明的一种实施例中数据节点对结构化数据进行筛选过滤的流程图,具体为:
步骤201、各个所述数据节点根据所述查询条件中的所述开始时间和所述结束时间拼接出所述分布式数据库中关键字的前缀,且初步筛选出符合所述查询条件的所述结构化数据的基本范围;
步骤202、各个所述数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
本发明中视频采集设备包括卡口、电警等前端设备采集的车辆的非结构化数据存储至非结构化数据存取系统,所述非结构化数据存取系统将所述非结构化数据传输至解析系统,所述解析系统接收所述非结构化数据,将所述非结构化数据转化为结构化数据,所述结构化数据至少包括过车时间、车牌号码和非结构化数据读取地址,此外,存储的结构化数据还可以包括车辆数据编号、结构化数据编号和车辆出现地点,当然,也可以根据实际情况对结构化数据进行动态扩展,因而能够提供更加丰富的分类基础信息,有利于提高查询和分析系统的查询速度,具体的,结构化数据按照表1所示的数据结构设计,存储至分布式数据库,表1为结构化数据的数据结构设计表。
表1结构化数据的数据结构设计表
本发明中分布式数据库包括至少三个数据节点,相关数据分布存储于数据节点中,有效使得分布式数据库支持超大文件及数据量,可通过低廉的商用机存储数据,且扩展性好;本发明中分布式数据库能够按照一定规则设计关键字,使结构化数据能够按照已定的要求在分布式数据库中排序,且分布式数据库中查询效率不会因为数据量的增加而出现明显的下降。
本发明中查询和分析系统,接收用户指定的查询条件,同时校验查询条件是否符合规范和要求,查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间,查询条件校验合格后,会向分布式数据库发出查询请求,分布式数据库中通过各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,通过查询条件中指定的具体车牌号码及车牌相差位数,可针对某一车牌号码有针对性的进行研判分析,先根据所述查询条件中的所述开始时间和所述结束时间初步筛选出符合所述查询条件的所述结构化数据的基本范围,再对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据,查找效率更高,查询结构更准确。
所述查询条件还包括补充查询条件,所述补充查询条件至少包括车辆品牌、车辆型号、车牌颜色、车身颜色和车辆类别;
相应的,步骤202中各个所述数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数,进一步的,各个所述数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合,且与所述查询条件中所述补充查询条件相一致的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
本发明基于大数据分析单车牌串并的方法进一步包括:协调服务器为所述分布式数据库中各个所述数据节点提供一致性服务。协调服务器可采用软件zookeeper实现,用于负责实现分布式数据库中各个所述数据节点之间的一致性,以及相互之间的发现和通信。
本发明中,所述分布式数据库为面向列的分布式数据库HBase。面向列的分布式数据库Hbase能够面向列、可伸缩的进行分布式数据存储,可通过分布式文件系统HDFS完成结构化数据的分布式存储。
实施例2
如图3所示,图3为本发明基于大数据分析单车牌串并的系统300的构成示意图,本发明基于大数据分析单车牌串并的系统300包括:
视频采集设备310,用于采集经过道路卡口的车辆的非结构化数据,并将采集到的非结构化数据传输至非结构化数据存取系统320;
非结构化数据存取系统320,用于对所述非结构化数据进行接收和存储,并将所述非结构化数据传输至解析系统330;
解析系统330,用于接收所述非结构化数据,将所述非结构化数据转化为结构化数据,并将所述结构化数据传输至分布式数据库340,其中,所述结构化数据至少包括过车时间、车牌号码和非结构化数据读取地址;
分布式数据库340,包括至少三个数据节点,用于接收所述结构化数据,并将所述结构化数据分布存储于所述数据节点中,所述分布式数据库340的关键字由所述过车时间和所述车牌号码组成,且所述过车时间在前,所述车牌号码在后;
查询和分析系统350,用于对输入的所查车辆的查询条件进行检查和校验,其中,所述查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间;
所述查询和分析系统350,在对所述查询条件的检查和校验通过后,用于向所述分布式数据库340发出查询请求;
所述分布式数据库340,用于接收所述查询请求,并选定一个所述数据节点作为主节点,所述主节点将所述查询请求发布给其他所述数据节点,所述主节点和其他各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,其他各个所述数据节点将最符合所述查询条件的所述结构化数据发送给所述主节点;
所述主节点接收其他各个所述数据节点的所述结构化数据,并和其本身所筛选过滤出的所述结构化数据进行汇总成有效车辆数据,且将所述有效车辆数据反馈给所述查询和分析系统350;
所述查询和分析系统350,用于接收所述有效车辆数据,并用于将所述有效车辆数据进行可视化展示。
其中,所述分布式数据库340,进一步用于通过各个所述数据节点根据所述查询条件中的所述开始时间和所述结束时间拼接出所述分布式数据库340中关键字的前缀,且用于初步筛选出符合所述查询条件的所述结构化数据的基本范围;
所述分布式数据库340内设有至少三个协处理器341,各个所述协处理器341分别布置于各个所述数据节点,且用于对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
其中,所述查询条件还包括补充查询条件,所述补充查询条件至少包括车辆品牌、车辆型号、车牌颜色、车身颜色和车辆类别;
所述协处理器341,用于对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合,且与所述查询条件中所述补充查询条件相一致的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
本发明中分布式数据库340包括至少三个数据节点,相关数据分布存储于数据节点中,有效使得分布式数据库340支持超大文件及数据量,可通过低廉的商用机存储数据,且扩展性好。进一步的,每个数据节点均提前部署有协处理器341,且通过协处理器341对初步筛选出的符合查询条件的结构化数据进一步过滤,只保留与查询条件中车牌号码和车牌相差位数相符合的结构化数据,如果查询条件还包括补充查询条件,同时根据补充查询条件,从而找出最符合所述查询条件的所述结构化数。
本发明中本发明中查询和分析系统350,用于接收用户指定的查询条件,同时校验查询条件是否符合规范和要求,查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间,查询条件校验合格后,会向分布式数据库340发出查询请求,分布式数据库340中通过各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,查询条件中指定具体车牌号码及车牌相差位数,可针对某一车牌号码有针对性的进行研判分析,先根据所述查询条件中的所述开始时间和所述结束时间初步筛选出符合所述查询条件的所述结构化数据的基本范围,再对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据,查找效率更高,查询结构更准确。
其中,本发明基于大数据分析单车牌串并的系统300还包括协调服务器360,用于为所述分布式数据库340中各个所述数据节点提供一致性服务。协调服务器360可采用软件zookeeper实现,用于负责实现分布式数据库340中各个所述数据节点之间的一致性,以及相互之间的发现和通信。
其中,所述分布式数据库340,进一步为面向列的分布式数据库HBase。面向列的分布式数据库Hbase能够面向列、可伸缩的进行分布式数据存储,可通过分布式文件系统HDFS完成结构化数据的分布式存储。
实施例3
图4是结构化数据查询和分析的流程图,如图4所示,结构化数据查询和分析可采用的一种方法,步骤如下:
步骤401:开始
步骤402:用户在查询和分析系统中输入所查车辆的查询条件,其中,查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间;
步骤403:查询和分析系统检查和校验查询条件是否合格,其中,具体为检查车牌号码是否符合国家规范及相关标准,车牌相差位置是否大于等于1且小于等于2,开始时间和结束时间是否符合日期规范且结束时间是否大于开始时间,其中至少一项为否,则执行步骤404;若都为是,则执行步骤405;
步骤404:查询和分析系统给与相应的提示,并执行步骤410;
步骤405:查询和分析系统将查询条件传输给分布式数据库;
步骤406:分布式数据库接收所述查询请求,其中各个所述数据节点根据所述查询条件中的所述开始时间和所述结束时间获得指定时间范围内的结构化数据;
步骤407:分布式数据库中各个数据节点通过所述协处理器对指定时间范围内的结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合,且与所述查询条件中所述补充查询条件相一致的所述结构化数据;
步骤408:分布式数据库将所筛选过滤出的所述结构化数据进行汇总成有效车辆数据,且将所述有效车辆数据反馈给所述查询和分析系统;
步骤409:查询和分析系统接收所述有效车辆数据,并将所述有效车辆数据进行可视化展示;
步骤410:结束。
举例说明:
用户输入的查询条件为:车牌号码为鲁AB8N87,车牌相差1位,开始时间为2018-03-2700:00:00:00,结束时间为2018-03-2800:00:00,车辆品牌为别克,车牌颜色为蓝色,车身颜色为黑色,车辆类别为三厢轿车,车辆型号为凯越;
在分布式数据库中查找出关键字以2018-03-2700:00:00:00开始,以2018-03-2800:00:00结束的结构化数据;
根据查询条件中车牌号码鲁AB8N87及车牌相差1位,在关键字以2018-03-2700:00:00:00开始,以2018-03-2800:00:00结束的结构化数据中,比较每一条数据关键字中的车牌号码与鲁AB8N87的相差位数,只保留相差为0和1为的数据(其中,车牌位数相差0位即为车牌号码相同,为所查车辆本身数据);
同时根据可选条件,只保留车牌颜色为蓝色,车身颜色为黑色,车辆类型为三厢轿车,车辆型号为凯越的结构化数据;
最终得到的结构化数据即为用户所查的结果数据。
通过以上各个实施例可知,本发明的基于大数据分析单车牌串并的方法及系统存在的有益效果是:
(1)本发明所述的基于大数据分析单车牌串并的方法及系统,使用分布式数据库,包括至少三个数据节点,相关数据分布存储于数据节点中,有效使得分布式数据库支持超大文件及数据量,可通过低廉的商用机存储数据,且扩展性好。
(2)本发明所述的基于大数据分析单车牌串并的方法及系统,使用基于列的分布式数据库,能够按照一定规则设计关键字,使结构化数据能够按照已定的要求在分布式数据库中排序,且分布式数据库中查询效率不会因为数据量的增加而出现明显的下降。
(3)本发明所述的基于大数据分析单车牌串并的方法及系统,分布式数据库中各个数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,筛选出最符合查询条件的结构化数据,减少了网络IO资源的需求。
(4)本发明所述的基于大数据分析单车牌串并的方法及系统,使用查询和分析系统,接收用户指定的查询条件,查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间,查询条件校验合格后,会向分布式数据库发出查询请求,分布式数据库中通过指定的查询条件,从而找出最符合所述查询条件的结构化数据,通过查询条件中指定的具体车牌号码及车牌相差位数,可针对某一车牌号码有针对性的进行研判分析,查询结构更准确。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上例子仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员应该理解,可在不脱离本发明的范围和精神的情况下,对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种基于大数据分析单车牌串并的方法,其特征在于,包括:
视频采集设备采集经过道路卡口的车辆的非结构化数据,并将采集到的非结构化数据传输至非结构化数据存取系统;
所述非结构化数据存取系统对所述非结构化数据进行接收和存储,并将所述非结构化数据传输至解析系统;
所述解析系统接收所述非结构化数据,将所述非结构化数据转化为结构化数据,并将所述结构化数据传输至分布式数据库,其中,所述结构化数据至少包括过车时间、车牌号码和非结构化数据读取地址;
所述分布式数据库包括至少三个数据节点,所述分布式数据库接收所述结构化数据,并将所述结构化数据分布存储于所述数据节点中,所述分布式数据库的关键字由所述过车时间和所述车牌号码组成,且所述过车时间在前,所述车牌号码在后;
在查询和分析系统中输入所查车辆的查询条件,所述查询和分析系统对所述查询条件进行检查和校验,其中,所述查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间;
对所述查询条件的检查和校验通过后,所述查询和分析系统向所述分布式数据库发出查询请求;
所述分布式数据库接收所述查询请求,并选定一个所述数据节点作为主节点,通过所述主节点将所述查询请求发布给其他所述数据节点,所述主节点和其他各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,其他各个所述数据节点将最符合所述查询条件的所述结构化数据发送给所述主节点;
所述主节点接收其他各个所述数据节点的所述结构化数据,并和其本身所筛选过滤出的所述结构化数据进行汇总成有效车辆数据,且将所述有效车辆数据反馈给所述查询和分析系统;
所述查询和分析系统接收所述有效车辆数据,并将所述有效车辆数据进行可视化展示。
2.根据权利要求1所述的基于大数据分析单车牌串并的方法,其特征在于,
所述主节点和其他各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,进一步为:
各个所述数据节点根据所述查询条件中的所述开始时间和所述结束时间拼接出所述分布式数据库中关键字的前缀,且初步筛选出符合所述查询条件的所述结构化数据的基本范围;
各个所述数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
3.根据权利要求2所述的基于大数据分析单车牌串并的方法,其特征在于,
所述查询条件还包括补充查询条件,所述补充查询条件至少包括车辆品牌、车辆型号、车牌颜色、车身颜色和车辆类别;
各个所述数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据,进一步为:
各个所述数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合,且与所述查询条件中所述补充查询条件相一致的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
4.根据权利要求1所述的基于大数据分析单车牌串并的方法,其特征在于,进一步包括:
协调服务器为所述分布式数据库中各个所述数据节点提供一致性服务。
5.根据权利要求1所述的基于大数据分析单车牌串并的方法,其特征在于,
所述分布式数据库为面向列的分布式数据库HBase。
6.一种基于大数据分析单车牌串并的系统,其特征在于,包括:
视频采集设备,用于采集经过道路卡口的车辆的非结构化数据,并将采集到的非结构化数据传输至非结构化数据存取系统;
非结构化数据存取系统,用于对所述非结构化数据进行接收和存储,并将所述非结构化数据传输至解析系统;
解析系统,用于接收所述非结构化数据,将所述非结构化数据转化为结构化数据,并将所述结构化数据传输至分布式数据库,其中,所述结构化数据至少包括过车时间、车牌号码和非结构化数据读取地址;
分布式数据库,包括至少三个数据节点,用于接收所述结构化数据,并将所述结构化数据分布存储于所述数据节点中,所述分布式数据库的关键字由所述过车时间和所述车牌号码组成,且所述过车时间在前,所述车牌号码在后;
查询和分析系统,用于对输入的所查车辆的查询条件进行检查和校验,其中,所述查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间;
对所述查询条件的检查和校验通过后,所述查询和分析系统,用于向所述分布式数据库发出查询请求;
所述分布式数据库,用于接收所述查询请求,并选定一个所述数据节点作为主节点,所述主节点将所述查询请求发布给其他所述数据节点,所述主节点和其他各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,其他各个所述数据节点将最符合所述查询条件的所述结构化数据发送给所述主节点;
所述主节点接收其他各个所述数据节点的所述结构化数据,并和其本身所筛选过滤出的所述结构化数据进行汇总成有效车辆数据,且将所述有效车辆数据反馈给所述查询和分析系统;
所述查询和分析系统,用于接收所述有效车辆数据,并用于将所述有效车辆数据进行可视化展示。
7.根据权利要求6所述的基于大数据分析单车牌串并的系统,其特征在于,
所述分布式数据库,进一步用于通过各个所述数据节点根据所述查询条件中的所述开始时间和所述结束时间拼接出所述分布式数据库中关键字的前缀,且用于初步筛选出符合所述查询条件的所述结构化数据的基本范围;
所述分布式数据库内设有至少三个协处理器,各个所述协处理器分别布置于各个所述数据节点,且用于对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
8.根据权利要求7所述的基于大数据分析单车牌串并的系统,其特征在于,
所述查询条件还包括补充查询条件,所述补充查询条件至少包括车辆品牌、车辆型号、车牌颜色、车身颜色和车辆类别;
所述协处理器,用于对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合,且与所述查询条件中所述补充查询条件相一致的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
9.根据权利要求6所述的基于大数据分析单车牌串并的系统,其特征在于,还包括:
协调服务器,用于为所述分布式数据库中各个所述数据节点提供一致性服务。
10.根据权利要求6所述的基于大数据分析单车牌串并的系统,其特征在于,
所述分布式数据库,进一步为面向列的分布式数据库HBase。
CN201810367263.4A 2018-04-23 2018-04-23 基于大数据分析单车牌串并的方法及系统 Pending CN108595622A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810367263.4A CN108595622A (zh) 2018-04-23 2018-04-23 基于大数据分析单车牌串并的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810367263.4A CN108595622A (zh) 2018-04-23 2018-04-23 基于大数据分析单车牌串并的方法及系统

Publications (1)

Publication Number Publication Date
CN108595622A true CN108595622A (zh) 2018-09-28

Family

ID=63614750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810367263.4A Pending CN108595622A (zh) 2018-04-23 2018-04-23 基于大数据分析单车牌串并的方法及系统

Country Status (1)

Country Link
CN (1) CN108595622A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457402A (zh) * 2019-07-15 2019-11-15 北京市天元网络技术股份有限公司 一种基于hadoop框架模型的数据重构方法以及装置
CN111241177A (zh) * 2019-12-31 2020-06-05 中国联合网络通信集团有限公司 数据采集方法、系统及网络设备
CN112214469A (zh) * 2020-10-29 2021-01-12 北京红山信息科技研究院有限公司 路测数据处理方法、装置、服务器及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170185868A1 (en) * 2015-12-24 2017-06-29 Sap Se Error detection in recognition data
CN107506368A (zh) * 2017-07-04 2017-12-22 青岛海信网络科技股份有限公司 一种类案嫌疑车辆的确定方法及装置
CN107798142A (zh) * 2017-11-24 2018-03-13 泰华智慧产业集团股份有限公司 基于大数据分析隐匿车辆的方法及装置
CN107895487A (zh) * 2017-11-24 2018-04-10 泰华智慧产业集团股份有限公司 一种基于大数据进行相似车牌串并的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170185868A1 (en) * 2015-12-24 2017-06-29 Sap Se Error detection in recognition data
CN107506368A (zh) * 2017-07-04 2017-12-22 青岛海信网络科技股份有限公司 一种类案嫌疑车辆的确定方法及装置
CN107798142A (zh) * 2017-11-24 2018-03-13 泰华智慧产业集团股份有限公司 基于大数据分析隐匿车辆的方法及装置
CN107895487A (zh) * 2017-11-24 2018-04-10 泰华智慧产业集团股份有限公司 一种基于大数据进行相似车牌串并的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457402A (zh) * 2019-07-15 2019-11-15 北京市天元网络技术股份有限公司 一种基于hadoop框架模型的数据重构方法以及装置
CN111241177A (zh) * 2019-12-31 2020-06-05 中国联合网络通信集团有限公司 数据采集方法、系统及网络设备
CN112214469A (zh) * 2020-10-29 2021-01-12 北京红山信息科技研究院有限公司 路测数据处理方法、装置、服务器及存储介质

Similar Documents

Publication Publication Date Title
CN108595622A (zh) 基于大数据分析单车牌串并的方法及系统
CN104063712B (zh) 一种车辆信息提取方法和系统
CN109977158A (zh) 公安大数据分析处理系统及方法
CN102571720A (zh) 一种异构信息内容处理方法及装置
CN101453424B (zh) 一种网络信息资源访问控制方法和系统
CN104794184B (zh) 一种基于大规模数据的贝叶斯分类算法的黑车识别方法
CN109508395B (zh) 一种基于车型检索的智能串并案的方法
CN105320708B (zh) 车型数据库的建立方法及服务器
CN107766430A (zh) 一种文件搜索方法及系统
CN109872541A (zh) 一种车辆信息分析方法及装置
CN105912709A (zh) 基于大数据的伴随车分析方法及系统
CN104463291A (zh) 防伪方法及移动设备
CN106792681A (zh) 用于车联网的入侵检测方法和装置及设备
CN106710225A (zh) 一种车辆号牌违法的识别方法和监测平台
CN103328266A (zh) 服务发送装置及服务显示装置
CN109325755B (zh) 基于汽车轮毂的电子计费系统
CN103646549A (zh) 一种智能天网系统
CN107175924B (zh) 识别打印纸张图像信息的方法、装置和打印机
CN106651371A (zh) 一种电子票的生成方法、系统及一种设备
CN103258028A (zh) 一种基于内容特征的视频分级分区存储系统
CN110428032A (zh) 基于光学识别技术实现rfid自动定向识别系统及方法
Wang et al. SDV-net: A two-stage Convolutional neural network for smoky diesel vehicle detection
CN106128110B (zh) 一种利用平衡车改善交通拥堵的方法和装置
CN107045687A (zh) 一种用于商品防伪的互联网安全锁
Zhang et al. Thinking in patch: Towards generalizable forgery detection with patch transformation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180928