CN108595622A - 基于大数据分析单车牌串并的方法及系统 - Google Patents
基于大数据分析单车牌串并的方法及系统 Download PDFInfo
- Publication number
- CN108595622A CN108595622A CN201810367263.4A CN201810367263A CN108595622A CN 108595622 A CN108595622 A CN 108595622A CN 201810367263 A CN201810367263 A CN 201810367263A CN 108595622 A CN108595622 A CN 108595622A
- Authority
- CN
- China
- Prior art keywords
- data
- querying condition
- vehicle
- back end
- structural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开基于大数据分析单车牌串并的方法及系统,包括:视频采集设备采集经过道路卡口的车辆的非结构化数据;非结构化数据存取系统对非结构化数据进行接收和存储;解析系统接收非结构化数据,将非结构化数据转化为结构化数据;分布式数据库接收结构化数据,并将结构化数据分布存储于数据节点中;在查询和分析系统中输入所查车辆的查询条件;对查询条件的检查和校验通过后,查询和分析系统向分布式数据库发出查询请求;分布式数据库接收查询请求,且将有效车辆数据反馈给查询和分析系统;查询和分析系统接收有效车辆数据,并进行可视化展示。本发明可对某一车牌号码有针对性的研判分析,适用于车牌修改个别车牌号码数字的情况。
Description
技术领域
本发明涉及交通技术领域,更具体地,涉及一种基于大数据分析单车牌串并的方法及系统。
背景技术
随着市面上汽车保有量的增加,使用涂改、贴纸等手段,修改一个或多个原车牌号码的字符,从而修改车牌号码的情况越来越多。
很多车主涂改车牌号码后,在车道上进行超速、肆意变换车道、使用应急车道等违法驾驶行为,对公众的安全造成了极大的威胁。
部分涉车案件,嫌疑人驱车驶离现场前,也会变更车牌号码,对嫌疑车的锁定及案件的侦破造成了极大困扰。
卡口、电警等前端设备只能识别车辆被拍摄时的车牌号码,无法比对及研判分析。
相对于假牌套牌,变更某一特定车牌号码字符,更不易发现,违法成本更低,且能够快速还原,造成民警取证困难。
现有技术一般针对的是套牌车辆的分析,套牌车辆的分析是根据时空或主体车来判断车牌号码为假牌或套牌,不适用于变更车牌中个别特定车牌号码字符的情况。
发明内容
有鉴于此,本发明提供了一种基于大数据分析单车牌串并的方法及系统,其能指定具体车牌号码和错位数,可对某一车牌号码有针对性的研判分析,适用于车牌修改个别车牌号码数字的情况。
为了解决上述技术问题,本发明提出一种基于大数据分析单车牌串并的方法,包括:视频采集设备采集经过道路卡口的车辆的非结构化数据,并将采集到的非结构化数据传输至非结构化数据存取系统;非结构化数据存取系统对非结构化数据进行接收和存储,并将非结构化数据传输至解析系统;解析系统接收非结构化数据,将非结构化数据转化为结构化数据,并将结构化数据传输至分布式数据库,其中,结构化数据至少包括过车时间、车牌号码和非结构化数据读取地址;分布式数据库包括至少三个数据节点,分布式数据库接收结构化数据,并将结构化数据分布存储于数据节点中,分布式数据库的关键字由过车时间和车牌号码组成,且过车时间在前,车牌号码在后;在查询和分析系统中输入所查车辆的查询条件,查询和分析系统对查询条件进行检查和校验,其中,查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间;对查询条件的检查和校验通过后,查询和分析系统向分布式数据库发出查询请求;分布式数据库接收查询请求,并选定一个数据节点作为主节点,通过主节点将查询请求发布给其他数据节点,主节点和其他各个数据节点根据查询请求中查询条件对结构化数据进行筛选过滤,从而找出最符合查询条件的结构化数据,其他各个数据节点将最符合查询条件的结构化数据发送给主节点;主节点接收其他各个数据节点的结构化数据,并和其本身所筛选过滤出的结构化数据进行汇总成有效车辆数据,且将有效车辆数据反馈给查询和分析系统;查询和分析系统接收有效车辆数据,并将有效车辆数据进行可视化展示。
优选的,其中,主节点和其他各个数据节点根据查询请求中查询条件对结构化数据进行筛选过滤,从而找出最符合查询条件的结构化数据,进一步为:各个数据节点根据查询条件中的开始时间和结束时间拼接出分布式数据库中关键字的前缀,且初步筛选出符合查询条件的结构化数据的基本范围;各个数据节点均布置有协处理器,且通过协处理器对初步筛选出的符合查询条件的结构化数据进一步过滤,只保留与查询条件中车牌号码和车牌相差位数相符合的结构化数据,从而找出最符合查询条件的结构化数据。
优选的,其中,查询条件还包括补充查询条件,补充查询条件至少包括车辆品牌、车辆型号、车牌颜色、车身颜色和车辆类别;各个数据节点均布置有协处理器,且通过协处理器对初步筛选出的符合查询条件的结构化数据进一步过滤,只保留与查询条件中车牌号码和车牌相差位数相符合的结构化数据,从而找出最符合查询条件的结构化数据,进一步为:各个数据节点均布置有协处理器,且通过协处理器对初步筛选出的符合查询条件的结构化数据进一步过滤,只保留与查询条件中车牌号码和车牌相差位数相符合,且与查询条件中补充查询条件相一致的结构化数据,从而找出最符合查询条件的结构化数据。
优选的,其中,该方法进一步包括:协调服务器为分布式数据库中各个数据节点提供一致性服务。
优选的,其中,分布式数据库为面向列的分布式数据库HBase。
一种基于大数据分析单车牌串并的系统,包括:视频采集设备,用于采集经过道路卡口的车辆的非结构化数据,并将采集到的非结构化数据传输至非结构化数据存取系统;非结构化数据存取系统,用于对非结构化数据进行接收和存储,并将非结构化数据传输至解析系统;解析系统,用于接收非结构化数据,将非结构化数据转化为结构化数据,并将结构化数据传输至分布式数据库,其中,结构化数据至少包括过车时间、车牌号码和非结构化数据读取地址;分布式数据库,包括至少三个数据节点,用于接收结构化数据,并将结构化数据分布存储于数据节点中,分布式数据库的关键字由过车时间和车牌号码组成,且过车时间在前,车牌号码在后;查询和分析系统,用于对输入的所查车辆的查询条件进行检查和校验,其中,查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间;对查询条件的检查和校验通过后,查询和分析系统,用于向分布式数据库发出查询请求;分布式数据库,用于接收查询请求,并选定一个数据节点作为主节点,主节点将查询请求发布给其他数据节点,主节点和其他各个数据节点根据查询请求中查询条件对结构化数据进行筛选过滤,从而找出最符合查询条件的结构化数据,其他各个数据节点将最符合查询条件的结构化数据发送给主节点;主节点接收其他各个数据节点的结构化数据,并和其本身所筛选过滤出的结构化数据进行汇总成有效车辆数据,且将有效车辆数据反馈给查询和分析系统;查询和分析系统,用于接收有效车辆数据,并用于将有效车辆数据进行可视化展示。
优选的,其中,分布式数据库,进一步用于通过各个数据节点根据查询条件中的开始时间和结束时间拼接出分布式数据库中关键字的前缀,且用于初步筛选出符合查询条件的结构化数据的基本范围;
分布式数据库内设有至少三个协处理器,各个协处理器分别布置于各个数据节点,且用于对初步筛选出的符合查询条件的结构化数据进一步过滤,只保留与查询条件中车牌号码和车牌相差位数相符合的结构化数据,从而找出最符合查询条件的结构化数据。
优选的,其中,查询条件还包括补充查询条件,补充查询条件至少包括车辆品牌、车辆型号、车牌颜色、车身颜色和车辆类别;
协处理器,用于对初步筛选出的符合查询条件的结构化数据进一步过滤,只保留与查询条件中车牌号码和车牌相差位数相符合,且与查询条件中补充查询条件相一致的结构化数据,从而找出最符合查询条件的结构化数据。
优选的,其中,该系统进一步包括:协调服务器,用于为分布式数据库中各个数据节点提供一致性服务。
优选的,其中,分布式数据库,进一步为面向列的分布式数据库HBase。
与现有技术相比,本发明的基于大数据分析单车牌串并的方法及系统,实现了如下的有益效果:
(1)本发明所述的基于大数据分析单车牌串并的方法及系统,使用分布式数据库,包括至少三个数据节点,相关数据分布存储于数据节点中,有效使得分布式数据库支持超大文件及数据量,可通过低廉的商用机存储数据,且扩展性好。
(2)本发明所述的基于大数据分析单车牌串并的方法及系统,使用基于列的分布式数据库,能够按照一定规则设计关键字,使结构化数据能够按照已定的要求在分布式数据库中排序,且分布式数据库中查询效率不会因为数据量的增加而出现明显的下降。
(3)本发明所述的基于大数据分析单车牌串并的方法及系统,分布式数据库中各个数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,筛选出最符合查询条件的结构化数据,减少了对网络IO资源的需求。
(4)本发明所述的基于大数据分析单车牌串并的方法及系统,使用查询和分析系统,接收用户指定的查询条件,查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间,查询条件校验合格后,会向分布式数据库发出查询请求,分布式数据库中通过指定的查询条件,从而找出最符合所述查询条件的结构化数据,通过查询条件中指定的具体车牌号码及车牌相差位数,可针对某一车牌号码有针对性的进行研判分析,查询结构更准确。
当然,实施本发明的任一产品不必特定需要同时达到以上所述的所有技术效果。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1所示为本发明提出一种基于大数据分析单车牌串并的方法的流程图;
图2为本发明的一种实施例中数据节点对结构化数据进行筛选过滤的流程图;
图3为本发明基于大数据分析单车牌串并的系统的构成示意图;
图4是结构化数据查询和分析的流程图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
实施例1
如图1所示为本发明提出一种基于大数据分析单车牌串并的方法的流程图,该方法包括:
步骤101、视频采集设备采集经过道路卡口的车辆的非结构化数据,并将采集到的非结构化数据传输至非结构化数据存取系统;
步骤102、所述非结构化数据存取系统对所述非结构化数据进行接收和存储,并将所述非结构化数据传输至解析系统;
步骤103、所述解析系统接收所述非结构化数据,将所述非结构化数据转化为结构化数据,并将所述结构化数据传输至分布式数据库,其中,所述结构化数据至少包括过车时间、车牌号码和非结构化数据读取地址;
步骤104、所述分布式数据库包括至少三个数据节点,所述分布式数据库接收所述结构化数据,并将所述结构化数据分布存储于所述数据节点中,所述分布式数据库的关键字由所述过车时间和所述车牌号码组成,且所述过车时间在前,所述车牌号码在后;
步骤105、在查询和分析系统中输入所查车辆的查询条件,所述查询和分析系统对所述查询条件进行检查和校验,其中,所述查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间;
步骤106、对所述查询条件的检查和校验通过后,所述查询和分析系统向所述分布式数据库发出查询请求;
步骤107、所述分布式数据库接收所述查询请求,并选定一个所述数据节点作为主节点,通过所述主节点将所述查询请求发布给其他所述数据节点,所述主节点和其他各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,其他各个所述数据节点将最符合所述查询条件的所述结构化数据发送给所述主节点;
步骤108、所述主节点接收其他各个所述数据节点的所述结构化数据,并和其本身所筛选过滤出的所述结构化数据进行汇总成有效车辆数据,且将所述有效车辆数据反馈给所述查询和分析系统;
步骤109、所述查询和分析系统接收所述有效车辆数据,并将所述有效车辆数据进行可视化展示。
上述步骤107中,所述主节点和其他各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,可进行如图2所述的进一步细化,图2为本发明的一种实施例中数据节点对结构化数据进行筛选过滤的流程图,具体为:
步骤201、各个所述数据节点根据所述查询条件中的所述开始时间和所述结束时间拼接出所述分布式数据库中关键字的前缀,且初步筛选出符合所述查询条件的所述结构化数据的基本范围;
步骤202、各个所述数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
本发明中视频采集设备包括卡口、电警等前端设备采集的车辆的非结构化数据存储至非结构化数据存取系统,所述非结构化数据存取系统将所述非结构化数据传输至解析系统,所述解析系统接收所述非结构化数据,将所述非结构化数据转化为结构化数据,所述结构化数据至少包括过车时间、车牌号码和非结构化数据读取地址,此外,存储的结构化数据还可以包括车辆数据编号、结构化数据编号和车辆出现地点,当然,也可以根据实际情况对结构化数据进行动态扩展,因而能够提供更加丰富的分类基础信息,有利于提高查询和分析系统的查询速度,具体的,结构化数据按照表1所示的数据结构设计,存储至分布式数据库,表1为结构化数据的数据结构设计表。
表1结构化数据的数据结构设计表
本发明中分布式数据库包括至少三个数据节点,相关数据分布存储于数据节点中,有效使得分布式数据库支持超大文件及数据量,可通过低廉的商用机存储数据,且扩展性好;本发明中分布式数据库能够按照一定规则设计关键字,使结构化数据能够按照已定的要求在分布式数据库中排序,且分布式数据库中查询效率不会因为数据量的增加而出现明显的下降。
本发明中查询和分析系统,接收用户指定的查询条件,同时校验查询条件是否符合规范和要求,查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间,查询条件校验合格后,会向分布式数据库发出查询请求,分布式数据库中通过各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,通过查询条件中指定的具体车牌号码及车牌相差位数,可针对某一车牌号码有针对性的进行研判分析,先根据所述查询条件中的所述开始时间和所述结束时间初步筛选出符合所述查询条件的所述结构化数据的基本范围,再对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据,查找效率更高,查询结构更准确。
所述查询条件还包括补充查询条件,所述补充查询条件至少包括车辆品牌、车辆型号、车牌颜色、车身颜色和车辆类别;
相应的,步骤202中各个所述数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数,进一步的,各个所述数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合,且与所述查询条件中所述补充查询条件相一致的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
本发明基于大数据分析单车牌串并的方法进一步包括:协调服务器为所述分布式数据库中各个所述数据节点提供一致性服务。协调服务器可采用软件zookeeper实现,用于负责实现分布式数据库中各个所述数据节点之间的一致性,以及相互之间的发现和通信。
本发明中,所述分布式数据库为面向列的分布式数据库HBase。面向列的分布式数据库Hbase能够面向列、可伸缩的进行分布式数据存储,可通过分布式文件系统HDFS完成结构化数据的分布式存储。
实施例2
如图3所示,图3为本发明基于大数据分析单车牌串并的系统300的构成示意图,本发明基于大数据分析单车牌串并的系统300包括:
视频采集设备310,用于采集经过道路卡口的车辆的非结构化数据,并将采集到的非结构化数据传输至非结构化数据存取系统320;
非结构化数据存取系统320,用于对所述非结构化数据进行接收和存储,并将所述非结构化数据传输至解析系统330;
解析系统330,用于接收所述非结构化数据,将所述非结构化数据转化为结构化数据,并将所述结构化数据传输至分布式数据库340,其中,所述结构化数据至少包括过车时间、车牌号码和非结构化数据读取地址;
分布式数据库340,包括至少三个数据节点,用于接收所述结构化数据,并将所述结构化数据分布存储于所述数据节点中,所述分布式数据库340的关键字由所述过车时间和所述车牌号码组成,且所述过车时间在前,所述车牌号码在后;
查询和分析系统350,用于对输入的所查车辆的查询条件进行检查和校验,其中,所述查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间;
所述查询和分析系统350,在对所述查询条件的检查和校验通过后,用于向所述分布式数据库340发出查询请求;
所述分布式数据库340,用于接收所述查询请求,并选定一个所述数据节点作为主节点,所述主节点将所述查询请求发布给其他所述数据节点,所述主节点和其他各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,其他各个所述数据节点将最符合所述查询条件的所述结构化数据发送给所述主节点;
所述主节点接收其他各个所述数据节点的所述结构化数据,并和其本身所筛选过滤出的所述结构化数据进行汇总成有效车辆数据,且将所述有效车辆数据反馈给所述查询和分析系统350;
所述查询和分析系统350,用于接收所述有效车辆数据,并用于将所述有效车辆数据进行可视化展示。
其中,所述分布式数据库340,进一步用于通过各个所述数据节点根据所述查询条件中的所述开始时间和所述结束时间拼接出所述分布式数据库340中关键字的前缀,且用于初步筛选出符合所述查询条件的所述结构化数据的基本范围;
所述分布式数据库340内设有至少三个协处理器341,各个所述协处理器341分别布置于各个所述数据节点,且用于对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
其中,所述查询条件还包括补充查询条件,所述补充查询条件至少包括车辆品牌、车辆型号、车牌颜色、车身颜色和车辆类别;
所述协处理器341,用于对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合,且与所述查询条件中所述补充查询条件相一致的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
本发明中分布式数据库340包括至少三个数据节点,相关数据分布存储于数据节点中,有效使得分布式数据库340支持超大文件及数据量,可通过低廉的商用机存储数据,且扩展性好。进一步的,每个数据节点均提前部署有协处理器341,且通过协处理器341对初步筛选出的符合查询条件的结构化数据进一步过滤,只保留与查询条件中车牌号码和车牌相差位数相符合的结构化数据,如果查询条件还包括补充查询条件,同时根据补充查询条件,从而找出最符合所述查询条件的所述结构化数。
本发明中本发明中查询和分析系统350,用于接收用户指定的查询条件,同时校验查询条件是否符合规范和要求,查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间,查询条件校验合格后,会向分布式数据库340发出查询请求,分布式数据库340中通过各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,查询条件中指定具体车牌号码及车牌相差位数,可针对某一车牌号码有针对性的进行研判分析,先根据所述查询条件中的所述开始时间和所述结束时间初步筛选出符合所述查询条件的所述结构化数据的基本范围,再对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据,查找效率更高,查询结构更准确。
其中,本发明基于大数据分析单车牌串并的系统300还包括协调服务器360,用于为所述分布式数据库340中各个所述数据节点提供一致性服务。协调服务器360可采用软件zookeeper实现,用于负责实现分布式数据库340中各个所述数据节点之间的一致性,以及相互之间的发现和通信。
其中,所述分布式数据库340,进一步为面向列的分布式数据库HBase。面向列的分布式数据库Hbase能够面向列、可伸缩的进行分布式数据存储,可通过分布式文件系统HDFS完成结构化数据的分布式存储。
实施例3
图4是结构化数据查询和分析的流程图,如图4所示,结构化数据查询和分析可采用的一种方法,步骤如下:
步骤401:开始
步骤402:用户在查询和分析系统中输入所查车辆的查询条件,其中,查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间;
步骤403:查询和分析系统检查和校验查询条件是否合格,其中,具体为检查车牌号码是否符合国家规范及相关标准,车牌相差位置是否大于等于1且小于等于2,开始时间和结束时间是否符合日期规范且结束时间是否大于开始时间,其中至少一项为否,则执行步骤404;若都为是,则执行步骤405;
步骤404:查询和分析系统给与相应的提示,并执行步骤410;
步骤405:查询和分析系统将查询条件传输给分布式数据库;
步骤406:分布式数据库接收所述查询请求,其中各个所述数据节点根据所述查询条件中的所述开始时间和所述结束时间获得指定时间范围内的结构化数据;
步骤407:分布式数据库中各个数据节点通过所述协处理器对指定时间范围内的结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合,且与所述查询条件中所述补充查询条件相一致的所述结构化数据;
步骤408:分布式数据库将所筛选过滤出的所述结构化数据进行汇总成有效车辆数据,且将所述有效车辆数据反馈给所述查询和分析系统;
步骤409:查询和分析系统接收所述有效车辆数据,并将所述有效车辆数据进行可视化展示;
步骤410:结束。
举例说明:
用户输入的查询条件为:车牌号码为鲁AB8N87,车牌相差1位,开始时间为2018-03-2700:00:00:00,结束时间为2018-03-2800:00:00,车辆品牌为别克,车牌颜色为蓝色,车身颜色为黑色,车辆类别为三厢轿车,车辆型号为凯越;
在分布式数据库中查找出关键字以2018-03-2700:00:00:00开始,以2018-03-2800:00:00结束的结构化数据;
根据查询条件中车牌号码鲁AB8N87及车牌相差1位,在关键字以2018-03-2700:00:00:00开始,以2018-03-2800:00:00结束的结构化数据中,比较每一条数据关键字中的车牌号码与鲁AB8N87的相差位数,只保留相差为0和1为的数据(其中,车牌位数相差0位即为车牌号码相同,为所查车辆本身数据);
同时根据可选条件,只保留车牌颜色为蓝色,车身颜色为黑色,车辆类型为三厢轿车,车辆型号为凯越的结构化数据;
最终得到的结构化数据即为用户所查的结果数据。
通过以上各个实施例可知,本发明的基于大数据分析单车牌串并的方法及系统存在的有益效果是:
(1)本发明所述的基于大数据分析单车牌串并的方法及系统,使用分布式数据库,包括至少三个数据节点,相关数据分布存储于数据节点中,有效使得分布式数据库支持超大文件及数据量,可通过低廉的商用机存储数据,且扩展性好。
(2)本发明所述的基于大数据分析单车牌串并的方法及系统,使用基于列的分布式数据库,能够按照一定规则设计关键字,使结构化数据能够按照已定的要求在分布式数据库中排序,且分布式数据库中查询效率不会因为数据量的增加而出现明显的下降。
(3)本发明所述的基于大数据分析单车牌串并的方法及系统,分布式数据库中各个数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,筛选出最符合查询条件的结构化数据,减少了网络IO资源的需求。
(4)本发明所述的基于大数据分析单车牌串并的方法及系统,使用查询和分析系统,接收用户指定的查询条件,查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间,查询条件校验合格后,会向分布式数据库发出查询请求,分布式数据库中通过指定的查询条件,从而找出最符合所述查询条件的结构化数据,通过查询条件中指定的具体车牌号码及车牌相差位数,可针对某一车牌号码有针对性的进行研判分析,查询结构更准确。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上例子仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员应该理解,可在不脱离本发明的范围和精神的情况下,对以上实施例进行修改。本发明的范围由所附权利要求来限定。
Claims (10)
1.一种基于大数据分析单车牌串并的方法,其特征在于,包括:
视频采集设备采集经过道路卡口的车辆的非结构化数据,并将采集到的非结构化数据传输至非结构化数据存取系统;
所述非结构化数据存取系统对所述非结构化数据进行接收和存储,并将所述非结构化数据传输至解析系统;
所述解析系统接收所述非结构化数据,将所述非结构化数据转化为结构化数据,并将所述结构化数据传输至分布式数据库,其中,所述结构化数据至少包括过车时间、车牌号码和非结构化数据读取地址;
所述分布式数据库包括至少三个数据节点,所述分布式数据库接收所述结构化数据,并将所述结构化数据分布存储于所述数据节点中,所述分布式数据库的关键字由所述过车时间和所述车牌号码组成,且所述过车时间在前,所述车牌号码在后;
在查询和分析系统中输入所查车辆的查询条件,所述查询和分析系统对所述查询条件进行检查和校验,其中,所述查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间;
对所述查询条件的检查和校验通过后,所述查询和分析系统向所述分布式数据库发出查询请求;
所述分布式数据库接收所述查询请求,并选定一个所述数据节点作为主节点,通过所述主节点将所述查询请求发布给其他所述数据节点,所述主节点和其他各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,其他各个所述数据节点将最符合所述查询条件的所述结构化数据发送给所述主节点;
所述主节点接收其他各个所述数据节点的所述结构化数据,并和其本身所筛选过滤出的所述结构化数据进行汇总成有效车辆数据,且将所述有效车辆数据反馈给所述查询和分析系统;
所述查询和分析系统接收所述有效车辆数据,并将所述有效车辆数据进行可视化展示。
2.根据权利要求1所述的基于大数据分析单车牌串并的方法,其特征在于,
所述主节点和其他各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,进一步为:
各个所述数据节点根据所述查询条件中的所述开始时间和所述结束时间拼接出所述分布式数据库中关键字的前缀,且初步筛选出符合所述查询条件的所述结构化数据的基本范围;
各个所述数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
3.根据权利要求2所述的基于大数据分析单车牌串并的方法,其特征在于,
所述查询条件还包括补充查询条件,所述补充查询条件至少包括车辆品牌、车辆型号、车牌颜色、车身颜色和车辆类别;
各个所述数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据,进一步为:
各个所述数据节点均布置有协处理器,且通过所述协处理器对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合,且与所述查询条件中所述补充查询条件相一致的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
4.根据权利要求1所述的基于大数据分析单车牌串并的方法,其特征在于,进一步包括:
协调服务器为所述分布式数据库中各个所述数据节点提供一致性服务。
5.根据权利要求1所述的基于大数据分析单车牌串并的方法,其特征在于,
所述分布式数据库为面向列的分布式数据库HBase。
6.一种基于大数据分析单车牌串并的系统,其特征在于,包括:
视频采集设备,用于采集经过道路卡口的车辆的非结构化数据,并将采集到的非结构化数据传输至非结构化数据存取系统;
非结构化数据存取系统,用于对所述非结构化数据进行接收和存储,并将所述非结构化数据传输至解析系统;
解析系统,用于接收所述非结构化数据,将所述非结构化数据转化为结构化数据,并将所述结构化数据传输至分布式数据库,其中,所述结构化数据至少包括过车时间、车牌号码和非结构化数据读取地址;
分布式数据库,包括至少三个数据节点,用于接收所述结构化数据,并将所述结构化数据分布存储于所述数据节点中,所述分布式数据库的关键字由所述过车时间和所述车牌号码组成,且所述过车时间在前,所述车牌号码在后;
查询和分析系统,用于对输入的所查车辆的查询条件进行检查和校验,其中,所述查询条件至少包括车牌号码、车牌相差位数、开始时间和结束时间;
对所述查询条件的检查和校验通过后,所述查询和分析系统,用于向所述分布式数据库发出查询请求;
所述分布式数据库,用于接收所述查询请求,并选定一个所述数据节点作为主节点,所述主节点将所述查询请求发布给其他所述数据节点,所述主节点和其他各个所述数据节点根据所述查询请求中所述查询条件对所述结构化数据进行筛选过滤,从而找出最符合所述查询条件的所述结构化数据,其他各个所述数据节点将最符合所述查询条件的所述结构化数据发送给所述主节点;
所述主节点接收其他各个所述数据节点的所述结构化数据,并和其本身所筛选过滤出的所述结构化数据进行汇总成有效车辆数据,且将所述有效车辆数据反馈给所述查询和分析系统;
所述查询和分析系统,用于接收所述有效车辆数据,并用于将所述有效车辆数据进行可视化展示。
7.根据权利要求6所述的基于大数据分析单车牌串并的系统,其特征在于,
所述分布式数据库,进一步用于通过各个所述数据节点根据所述查询条件中的所述开始时间和所述结束时间拼接出所述分布式数据库中关键字的前缀,且用于初步筛选出符合所述查询条件的所述结构化数据的基本范围;
所述分布式数据库内设有至少三个协处理器,各个所述协处理器分别布置于各个所述数据节点,且用于对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
8.根据权利要求7所述的基于大数据分析单车牌串并的系统,其特征在于,
所述查询条件还包括补充查询条件,所述补充查询条件至少包括车辆品牌、车辆型号、车牌颜色、车身颜色和车辆类别;
所述协处理器,用于对初步筛选出的符合所述查询条件的所述结构化数据进一步过滤,只保留与所述查询条件中所述车牌号码和所述车牌相差位数相符合,且与所述查询条件中所述补充查询条件相一致的所述结构化数据,从而找出最符合所述查询条件的所述结构化数据。
9.根据权利要求6所述的基于大数据分析单车牌串并的系统,其特征在于,还包括:
协调服务器,用于为所述分布式数据库中各个所述数据节点提供一致性服务。
10.根据权利要求6所述的基于大数据分析单车牌串并的系统,其特征在于,
所述分布式数据库,进一步为面向列的分布式数据库HBase。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810367263.4A CN108595622A (zh) | 2018-04-23 | 2018-04-23 | 基于大数据分析单车牌串并的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810367263.4A CN108595622A (zh) | 2018-04-23 | 2018-04-23 | 基于大数据分析单车牌串并的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108595622A true CN108595622A (zh) | 2018-09-28 |
Family
ID=63614750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810367263.4A Pending CN108595622A (zh) | 2018-04-23 | 2018-04-23 | 基于大数据分析单车牌串并的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108595622A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110457402A (zh) * | 2019-07-15 | 2019-11-15 | 北京市天元网络技术股份有限公司 | 一种基于hadoop框架模型的数据重构方法以及装置 |
CN111241177A (zh) * | 2019-12-31 | 2020-06-05 | 中国联合网络通信集团有限公司 | 数据采集方法、系统及网络设备 |
CN112214469A (zh) * | 2020-10-29 | 2021-01-12 | 北京红山信息科技研究院有限公司 | 路测数据处理方法、装置、服务器及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170185868A1 (en) * | 2015-12-24 | 2017-06-29 | Sap Se | Error detection in recognition data |
CN107506368A (zh) * | 2017-07-04 | 2017-12-22 | 青岛海信网络科技股份有限公司 | 一种类案嫌疑车辆的确定方法及装置 |
CN107798142A (zh) * | 2017-11-24 | 2018-03-13 | 泰华智慧产业集团股份有限公司 | 基于大数据分析隐匿车辆的方法及装置 |
CN107895487A (zh) * | 2017-11-24 | 2018-04-10 | 泰华智慧产业集团股份有限公司 | 一种基于大数据进行相似车牌串并的方法 |
-
2018
- 2018-04-23 CN CN201810367263.4A patent/CN108595622A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170185868A1 (en) * | 2015-12-24 | 2017-06-29 | Sap Se | Error detection in recognition data |
CN107506368A (zh) * | 2017-07-04 | 2017-12-22 | 青岛海信网络科技股份有限公司 | 一种类案嫌疑车辆的确定方法及装置 |
CN107798142A (zh) * | 2017-11-24 | 2018-03-13 | 泰华智慧产业集团股份有限公司 | 基于大数据分析隐匿车辆的方法及装置 |
CN107895487A (zh) * | 2017-11-24 | 2018-04-10 | 泰华智慧产业集团股份有限公司 | 一种基于大数据进行相似车牌串并的方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110457402A (zh) * | 2019-07-15 | 2019-11-15 | 北京市天元网络技术股份有限公司 | 一种基于hadoop框架模型的数据重构方法以及装置 |
CN111241177A (zh) * | 2019-12-31 | 2020-06-05 | 中国联合网络通信集团有限公司 | 数据采集方法、系统及网络设备 |
CN112214469A (zh) * | 2020-10-29 | 2021-01-12 | 北京红山信息科技研究院有限公司 | 路测数据处理方法、装置、服务器及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108595622A (zh) | 基于大数据分析单车牌串并的方法及系统 | |
CN107341595B (zh) | 一种车辆动态信息公共服务平台 | |
CN104063712B (zh) | 一种车辆信息提取方法和系统 | |
CN109977158A (zh) | 公安大数据分析处理系统及方法 | |
CN107705574A (zh) | 一种精准快速的道路违章停车全自动抓拍系统 | |
CN108860166A (zh) | 无人驾驶汽车事故发生处理系统及处理方法 | |
CN104820817A (zh) | 一种四维码、基于该四维码的图像识别系统及方法、检索系统及方法 | |
CN109508395B (zh) | 一种基于车型检索的智能串并案的方法 | |
CN110148262A (zh) | 一种基于人脸识别的第三方汽车租赁管理系统及汽车启动授权方法 | |
CN107766430A (zh) | 一种文件搜索方法及系统 | |
CN105912709A (zh) | 基于大数据的伴随车分析方法及系统 | |
CN104463291A (zh) | 防伪方法及移动设备 | |
CN106792681A (zh) | 用于车联网的入侵检测方法和装置及设备 | |
CN112926033A (zh) | 一种基于区块链跨链协作的任务过程追溯系统 | |
CN103713901B (zh) | 单据的展示方法和系统 | |
CN105320708B (zh) | 车型数据库的建立方法及服务器 | |
CN103328266A (zh) | 服务发送装置及服务显示装置 | |
CN109325755B (zh) | 基于汽车轮毂的电子计费系统 | |
CN108711042A (zh) | 基于车联网的车辆自动缴纳罚单方法及系统 | |
CN103646549A (zh) | 一种智能天网系统 | |
CN107175924B (zh) | 识别打印纸张图像信息的方法、装置和打印机 | |
CN205971148U (zh) | 一种车牌防伪系统 | |
CN106651371A (zh) | 一种电子票的生成方法、系统及一种设备 | |
CN103761345A (zh) | 一种基于ocr字符识别技术的视频检索方法 | |
CN110428032A (zh) | 基于光学识别技术实现rfid自动定向识别系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180928 |