CN110442599A - 一种数据处理、隐匿车辆查询的方法及设备 - Google Patents
一种数据处理、隐匿车辆查询的方法及设备 Download PDFInfo
- Publication number
- CN110442599A CN110442599A CN201910690864.3A CN201910690864A CN110442599A CN 110442599 A CN110442599 A CN 110442599A CN 201910690864 A CN201910690864 A CN 201910690864A CN 110442599 A CN110442599 A CN 110442599A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- data
- vehicle registration
- record
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24534—Query rewriting; Transformation
- G06F16/24549—Run-time optimisation
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种数据处理、隐匿车辆查询的方法及设备,该方法包括获取车辆记录临时数据和原车辆记录分析数据,车辆记录临时数据记录有待处理时间段的过车记录,原车辆记录分析数据记录有待处理时间段之前的过车记录;结合车辆记录临时数据和原车辆记录分析数据得到新车辆记录分析数据,新车辆记录分析数据记录有待处理时间段及待处理时间段之前的过车记录;其中,车辆记录分析数据包括标记位,每个标记位包括至少一位标记字符,每位标记字符用于标记车辆是否出现。通过上述方式,本申请能够减小过车记录的数据量和数据所占用的空间。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及数据处理、隐匿车辆查询的方法及设备。
背景技术
随着安防技术的发展,道路、路口的卡口、摄像设备等越来越多,汇集了大量的卡口过车记录。利用这些过车记录可以对过往车辆进行查询,如可供警方排查嫌疑车辆等。目前在进行车辆排查时,一种是直接在原始数据上去搜索,要完全依赖底层数据库硬件垂直或水平扩展提供的检索能力来应付数据量的增长。另外一种是会对每日的过车记录数据做一次预处理,对每日的每个车辆只保留一条记录,后期再在预处理之后的数据中搜索。本申请的发明人在长期的研发过程中,发现这两种搜索方法的时间复杂度都会随着时间增长而呈线性增长,这样随着数据量的增加,数据查询时会花费很长的时间,且对硬件设备的要求也会越来越高。
发明内容
本申请主要解决的技术问题是提供一种数据处理、隐匿车辆查询的方法及设备,能够减小过车记录的数据量和数据所占用的空间。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种数据处理方法,该方法包括获取车辆记录临时数据和原车辆记录分析数据,车辆记录临时数据记录有待处理时间段的过车记录,原车辆记录分析数据记录有待处理时间段之前的过车记录;结合车辆记录临时数据和原车辆记录分析数据得到新车辆记录分析数据,新车辆记录分析数据记录有待处理时间段及待处理时间段之前的过车记录;其中,原车辆记录分析数据和新车辆记录分析数据均为车辆记录分析数据,车辆记录分析数据包括标记位,每个标记位包括至少一位标记字符,每位标记字符用于标记车辆是否出现。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种隐匿车辆查询方法,从车辆记录分析数据中获取待查询车辆的过车记录,车辆记录分析数据是上述的方法处理得到,车辆记录分析数据包括标记位,每个标记位包括至少一位标记字符,每位标记字符用于标记车辆是否出现;读取标记位,判断待查询车辆是否是隐匿车辆。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种数据处理装置,该数据处理装置包括获取模块,用于获取车辆记录临时数据和车辆记录分析数据,车辆记录临时数据记录有待处理时间段的过车记录,原车辆记录分析数据记录有待处理时间段之前的过车记录;处理模块,用于结合车辆记录临时数据和原车辆记录分析数据得到新车辆记录分析数据,新车辆记录分析数据记录有待处理时间段及待处理时间段之前的过车记录;其中,原车辆记录分析数据和新车辆记录分析数据均为车辆记录分析数据,车辆记录分析数据包括标记位,每个标记位包括至少一位标记字符,每位标记字符用于标记车辆是否出现。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种隐匿车辆查询装置,该隐匿车辆查询装置获取模块,用于从车辆记录分析数据中获取待查询车辆的过车记录,车辆记录分析数据是利用上述的方法处理得到,车辆记录分析数据包括标记位,每个标记位包括至少一位标记字符,每位标记字符用于标记车辆是否出现;判断模块,用于读取标记位,判断待查询车辆是否是隐匿车辆。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种计算机设备,计算机设备包括处理器和存储器,处理器耦接存储器,存储器用于存储程序,处理器用于执行程序以实现上述的方法。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种具有存储功能的装置,该装置存储有程序,程序被执行时能够实现上述的方法。
本申请的有益效果是:区别于现有技术的情况,本申请通过对过车记录的原始数据进行预处理,使用标记位来标记过车记录,能够减小过车记录的数据量和数据所占用的空间。
附图说明
图1是本申请实施方式中数据处理方法的流程示意图;
图2是本申请实施方式中数据处理方法的流程示意图;
图3是本申请实施方式中隐匿车辆查询方法的流程示意图;
图4是本申请实施方式中车辆记录分析数据的示意图;
图5是本申请实施方式中数据处理装置的结构示意图;
图6是本申请实施方式中隐匿车辆查询装置的结构示意图;
图7是本申请实施方式中计算机设备的结构示意图;
图8是本申请实施方式中具有存储功能的装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本申请进一步详细说明。
本申请提供一种数据处理方法,能够对道路、卡口的过车记录原始数据进行预处理,以减小后续搜索查询业务的时间复杂度。
请参阅图1,图1是本申请实施方式中数据处理方法的流程示意图。在该实施方式中,数据处理方法包括如下步骤:
S110:获取车辆记录临时数据和原车辆记录分析数据。
车辆记录临时数据记录有待处理时间段的过车记录,原车辆记录分析数据记录有待处理时间段之前的过车记录。其中,车辆记录临时数据是未经处理的待处理时间段的过车记录的原始数据,只要有车辆经过数据采集区域就会产生一条过车记录;可以根据业务需要适应划分数据采集区域,在此不做限定。原车辆记录分析数据是经过处理的待处理时间段之前的过车记录,原车辆记录分析数据包括标记位,每个标记位包括至少一位标记字符,每位标记字符用于标记车辆是否出现,即经过处理的数据是使用标记位来标记过车记录的。
S120:结合车辆记录临时数据和原车辆记录分析数据得到新车辆记录分析数据。
新车辆记录分析数据记录有待处理时间段及待处理时间段之前的过车记录。新车辆记录分析数据也包括标记位,新车辆记录分析数据的标记位中新增了刚处理的时间段的过车记录的标记。
该实施方式中,通过对过车记录的原始数据进行预处理,使用标记位来标记过车记录,能够减小过车记录的数据量和数据所占用的空间。
在一实施方式中,车辆记录分析数据可以包括多个标记位,每个标记位用于标记对应车辆的过车记录,每个标记位可以包括多位标记字符,每位标记字符用于标记对应时间段的过车记录,多位标记字符按时间段序列依序排布。其中,原车辆记录分析数据和新车辆记录分析数据均为车辆记录分析数据。
其中,可以设置每隔预定时间段进行一次数据处理,时间段为数据处理的时间间隔,每进行一次数据处理,则在标记位中增加一位标记字符,用于标记对应时间段的过车记录。对于同一辆车,可以使用一个标记位的多位标记字符来标记该车辆在不同时间段的过车记录,即每一辆车只需要一条车辆记录数据就能实现过车记录的保存。或者说车辆记录分析数据包括多条车辆记录数据,每条车辆记录数据记录有一辆车的过车记录,每条车辆记录数据包括一个标记位,每个标记位包括多位标记字符,每位标记字符用于标记对应车辆对应时间段的过车记录。其中,可以使用车牌号码和车牌种类组合来唯一标识一辆车,进而区分标识不同的标记位。
通过该实施方式的实施,经过数据的预处理后,对于同一辆车,只需要一个标记位就能记录多个时间段的过车记录,且随着时间增加,只需要增加标记位中标记字符的位数即可,不需要新增记录数据,即每一辆车只需要一条车辆记录数据就能实现过车记录的保存。进而使车辆记录分析数据的数据量相对恒定,其数据量最大值为n(即车辆保有量),不会随原始数据的增加而增加,能够极大的减少数据占用空间和数据量。
在一实施方式中,可以按照时间段序列依次进行数据处理,以使得到的标记字符按时间段序列依序排布。通过将标记字符按规律排布,能够便于后续的搜索查询,如便于发现车辆的出行规律,便于筛选查询某个时间段的数据,或筛选查询某几个时间段的数据等。
在一实施方式中,还可以记录车辆第一次被采集收录到车辆记录分析数据中的初始采集时间(即第一个标记字符所对应的时间段),且该初始采集时间在后面不会更新。通过该实施方式的实施,借助初始采集时间和标记字符在标记位中的位置序号,能够得出该标记字符记录的是哪一时间段的数据。例如,可以设置每天进行一次数据处理,即时间间隔为一天,下文将以时间间隔为一天为例对本申请的方法进行说明,但不仅限于此,还可以设置其他时间间隔。若初始采集时间为2018年02月10日,第四位标记字符所对应的则是2018年02月13日的过车记录。
在一实施方式中,可以在车辆记录分析数据中预设所有可能出现车辆的标记位,如可以去车管所获取已登记车辆的车牌号码和车牌种类。每次数据处理时,若该车出现则增加一位有车标记字符,若该车没有出现则增加一位无车标记字符。该实施方式中,每个标记位的长度(即标记字符的位数)是相同的,标记位的首位可以是无车标记字符,也可以是有车标记字符。通过该实施方式的实施,只需按照车辆记录临时数据选择有车标记字符或无车标记字符就行,不需要查询该车是否被记录过,能够降低数据处理的复杂度。
在一实施方式中,也可以只在该车辆出现时才开始采集该车的过车记录。即在数据处理时,若该车已被收录(即车辆记录分析数据中已采集过该车辆),则按照其是否出现相应增加有车标记字符或无车标记字符。若该车尚未被收录,则在车辆记录分析数据中增加一条新的包括标记位的车辆记录数据。该实施方式中,每个标记位的长度(即标记字符的位数)可能相同,也可能不同,这是因为被采集的起始时间不同,标记位的首位均是是有车标记字符,这是因为只有在车辆出现时才会被采集。通过该实施方式的实施,只在车辆出现时才开始采集,能够省去一些无效的数据(即有些车可能从来都没有在采集区域出现过,对该车的记录就是没有意义的)。
在一实施方式中,可以使用数字或字母作为标记字符,如1代表车辆在该时间段出现,0代表车辆在该时间段未出现。当然也可以使用其它的阿拉伯字母和数字来表示,比如可用a表示车辆在该时间段出现,b表示车辆在该时间段未出现,可以根据业务需要方便选择,不影响业务逻辑的判断。可以设置只要该车辆在该时间段出现过就视为出现,并不记录具体出现次数,当然也可以记录出现次数。如使用0代表没有出现,1代表出现1次,2代表出现2次……9代表出现9次,a代表出现10~19次,b代表出现20~29次……等等,可以使用任意字符来标记,并任意定义其标记意义,在此不做限定。
在一实施方式中,标记位的字段类型可以是Text类型或bit varying类型,如果选择Text类型:优点是标记位的选择可以使用1/0及其他阿拉伯字母和数字,选择范围大,缺点是数据存储空间比bit varying类型的大。如果选择bit varying类型:优点是数据存储空间比Text类型的小,缺点是标记为只能选择1和0。具体可以根据实际情况甄选。
在一实施方式中,可以用数据表的方式存储车辆记录分析数据,请参阅表1,表1是本申请车辆记录分析表的表结构。
表1:车辆记录分析表
注:初始采集时间是第一次被采集到该表的时间,后面不更新。
在车辆记录分析表(P_TRAFFIC_ANALYZE)中用CAR_NUM(车牌号码)和CAR_TYPE(车牌种类)两个字段组合来唯一标识一个辆车。APPEAR_FLAG(标记位)字段的数据用10001.....标记,长度可根据上层业务的需要指定保留,1代表车辆在该时间段出现,0代表车辆在该时间段未出现,每一位代表一个时间段,具体代表哪一时间段,由INIT_DATE(初始采集时间)列加上相应的标记(1或0)在APPEAR_FLAG中的位置序号计算得来。
对于标记位除了使用1/0来表示车辆的是否出现,也同样可以使用其它的阿拉伯字母和数字来表示,具体请参阅上述实施方式的描述,在此不再赘述。
对于车辆记录分析表,可以采用列式存储或压缩的方式进一步提高查询效率和降低数据的空间占用。
在一具体实施例中,假设appear_flag字段是text类型,1/0作为标记位来说明,比如有一条记录是:
init_date|car_num|car_type|appear_flag|part_type
2017-06-10|浙GXXXX学|10|100100100001|A
其中,init_date显示车辆【浙GXXXX学】在2017-06-10这天被采集到该表,且每天进行一次数据处理。
100100100001第一个1表示车辆【浙GXXXX学】在2017-06-10这天出现;
100100100001第二个1表示车辆【浙GXXXX学】在2017-06-13这天出现;
100100100001第三个1表示车辆【浙GXXXX学】在2017-06-16这天出现;
100100100001第四个1表示车辆【浙GXXXX学】在2017-06-21这天出现;
从2017-06-10起其它日期均为0表示该车辆未出现。
通过将数据按照如上结构处理存储之后,不仅能够降低数据所占用的空间,还有利于提高数据查询的查询效率。
为了实现把数据按照上述结构存储,需要按时间段依序进行数据处理。在一实施方式中,可以设置一个后台定时任务,到点就触发执行处理前一时间段的数据。如可以设置每天进行一次数据处理,设定每日的凌晨触发去处理前一天的数据。
在一实施方式中,可使用任务控制表对数据处理任务进行管控。请参阅表2,表2是本申请任务控制表的表结构。
表2:任务控制表
注:任务状态:0-无效,1-有效(默认)
其中,通过设置任务状态,可以控制是否需要执行数据处理任务,如果设置任务状态有效(一般是默认任务为有效状态),那么每到预定时间就会自动触发执行数据处理任务;如果设置任务状态无效,说明该任务已经执行结束,或已经过期,或需要暂停,到预定时间后,不再会触发执行数据处理任务。通过记录任务成功执行时间(即数据处理完成时间),可以管控数据处理任务是否存在异常,能够保证任务的连续性。
在一实施方式中,可以借助数据表进行数据处理和数据保存,如可设计第一车辆记录临时表、第二车辆记录临时表和车辆记录分析表;第一车辆记录临时表用于保存车辆记录临时数据,第二车辆记录临时表用于保存数据处理的中间数据,车辆记录分析表用于保存车辆记录分析数据。请参阅表1、3-4,表3是本申请第一车辆记录临时表的表结构,表4是本申请第二车辆记录临时表的表结构。
表3:第一车辆记录临时表
表4:第二车辆记录临时表
注:初始采集时间,第一次被采集到该表的时间,后面不更新
请参阅图2,图2是本申请实施方式中数据处理方法的流程示意图。在该实施方式中,数据处理方法包括如下步骤。
S210:从任务控制表中获取前一次任务成功执行时间(Last_date)。
其中,每次数据处理完成之后,若数据处理成功,则会更新任务控制表中的任务成功执行时间。以管控数据处理任务是否连续,是否存在异常等。
S220:判断前一次任务成功执行时间加一时间段(Last_date+1)是否大于当前时间减一时间段(当前时间-1)。
其中,时间段为数据处理的时间间隔,一般是每个时间段结束之后即触发执行数据处理。在该实施方式中,以一天作为一个时间段,即每日凌晨之后触发处理前一天的数据。例如,前一次任务成功执行时间Last_date是6月10号,那么Last_date+1则是6月11号;当前时间是6月15号,那么当前时间-1就是6月14号。
若前一次任务成功执行时间加一时间段(Last_date+1)大于当前时间减一时间段,说明已处理至最近一个时间段的数据,目前没有数据需要处理。
若前一次任务成功执行时间加一时间段(Last_date+1)小于或等于当前时间减一时间段,说明目前尚有数据没有处理。如前一次任务成功执行时间Last_date是6月10号,当前时间是6月15号,说明11-14号的数据都没有处理。这期间可能是任务暂停了,也可能是每天都在处理数据,只是任务都失败了。因此,该方法中,还可以增加错误报警机制,当连续多次出现任务失败时,向用户或系统推送错误提示,提醒用户查找任务失败原因,以及时消除任务异常,以免影响后续的数据处理。
S230:清空第一车辆记录临时表。
第一车辆记录临时表用于保存待处理时间段的过车记录,每次进行数据处理时,需先清空其保存的前一次数据处理时的数据,以用于保存新的数据。
S240:获取待处理时间段的过车记录,插入第一车辆记录临时表。
如,当前处理的是6月10号的数据,那么则汇总6月10号当天所有采集区域的过车记录原始数据,将数据插入第一车辆记录临时表中备用。
S250:清空第二车辆记录临时表。
第二车辆记录临时表用于保存第一车辆记录临时数据与车辆记录分析数据合并后的中间数据,每次进行数据处理时,需先清空其保存的前一次数据处理时的数据,以用于保存新的数据。
S260:将第一车辆记录临时表的数据与原车辆记录分析表的数据合并后插入第二车辆记录临时表。
将待处理时间段的数据与待处理时间段之前的数据进行合并。其中,若车辆记录临时数据中存在已收录车辆的过车记录,则将车辆记录分析数据中过车记录对应的已收录车辆的标记位增加一位有车标记字符;并将剩余的已收录车辆的标记位增加一位无车标记字符;已收录车辆为车辆记录分析数据中已记录的车辆;若车辆记录临时数据中出现未收录车辆的过车记录,则在车辆记录分析数据中增加一条新的包括标记位的车辆记录数据。
S270:将车辆记录分析表与第二车辆记录临时表进行分区交换。
其中,车辆记录分析表为分区表,第二车辆记录临时表为普通表。如可以利用重定义的方式将第二车辆记录临时表的数据导入车辆记录分析表,重定义结束后,在名称目录(Name Directory)里,已经将两个表进行了交换。分区交换后,车辆记录分析表保存的是最新的分析数据。通过将车辆记录分析表设置为分区表,利用分区交换的方式更新车辆记录分析表,能够实现数据快速转移,相对于删除再插入的方式,分区交换在进行数据更新时,更省时省力。这是因为分区交换技术实际上只修改了数据字典中的数据物理段位置,而不是实际的移动数据,所以速度很快,效率高。在其他实施方式中,也可以通过删除再插入的方式进行数据更新。
S280:更新任务控制表中的任务成功执行时间(Last_date+1)。
分区交换成功即数据处理任务成功完成,更新任务成功执行时间(即数据处理完成时间)以用于下次数据处理。如此重复循环。用分析控制表控制每天的数据处理任务,第一次执行时,要从有数据记录的第一天循环执行到当前时间的前一天才结束,每次执行完需要更新控制表中的时间列。这样如果中途有一天任务由于其它原因未执行,则后一天启动的任务可以从控制表中获取上次任务中断的时间点继续执行,以保证任务的延续性。
当第一次执行数据处理任务时,前一次任务成功执行时间和车辆记录分析数据均为空,可直接对车辆记录临时数据进行处理,得车辆记录分析数据,所得车辆记录分析数据可作为下一次数据处理的原车辆记录分析数据,该数据处理时间可作为下一次数据处理的前一次任务成功执行时间。
经过上述方法预处理并保存之后的数据可用于隐匿车辆的查询业务。其中,如果一辆车在T1时间点和T2时间点之间出现了,但是在T2+d(天)内没有出现,d是参数(d>=7,默认7天),符合这个条件的车辆即定性为隐匿车辆。
基于此,本申请还提供一种隐匿车辆查询方法,请参阅图3,图3是本申请实施方式中隐匿车辆查询方法的流程示意图。在该实施方式中,隐匿车辆查询方法包括如下步骤:
S310:从车辆记录分析数据中获取待查询车辆的过车记录。
其中,车辆记录分析数据是利用上述的数据处理方法处理得到,车辆记录分析数据包括标记位,每个标记位包括至少一位标记字符,每位标记字符用于标记车辆是否出现。
S320:读取标记位,判断待查询车辆是否是隐匿车辆。
通过该实施方式的实施,经过预处理之后的数据记录量相对恒定,不会随原始数据的增加而增加,所以空间也是相对恒定的。由于车辆记录分析表的数据量相对恒定,决定了查询时性能的相对稳定,不会受到原始数据量级和参数d的影响出现大的变动。
在一实施方式中,车辆记录分析数据记录有车辆第一次被采集的初始采集时间,结合初始采集时间、标记字符和标记字符在标记位中的位置序号,可判断待查询车辆是否是隐匿车辆。
请参阅图4,图4是本申请实施方式中车辆记录分析数据的示意图。在该实施方式中,从车辆记录分析表中得到一条车辆记录数据,只列出init_date列和appear_falg列即可,因为其它列与查询是否满足隐匿车辆的判断逻辑无关。如图4所示,初始采集时间为2017-06-10,一辆车在时间点T1(2017-06-12)和时间点T2(2017-06-13)内出现过(01、11、10均可,图4中以01为例示出),但是在时间点T2+1到T2+7内都没有出现过(中间部分的七个零0000000表示连续的七天内都没有出现),说明该条记录表示的车辆为隐匿车辆。
通过该实施方式的实施,经过预处理之后的数据记录量相对恒定,不会随原始数据的增加而增加,所以空间也是相对恒定的。由于车辆记录分析表的数据量相对恒定,决定了查询时性能的相对稳定,不会受到原始数据量级和参数d的影响出现大的变动,能够在极大的减少数据量级的同时,大幅度提高隐匿车辆的搜索性能,同时查询的响应时间对原始数据的量级不敏感。即本申请所提供的方法有以下三个优点:
其一:经过数据的预处理后,车辆记录分析表的记录数据量最大值为n(即车辆保有量),与现有方案相比较,极大减少了数据占用空间和数据量。
其二:对于车辆记录分析表,可以采用列式存储和压缩的方式进一步提高查询效率和降低数据的空间占用。
其三:现有方案在查询时在数据库层面都需要涉及到两张表的关联(自关联),而本申请只需要使用单表查询即可满足业务逻辑,可以保证查询性能的稳定。本方案的时间复杂度是:O(n),与d参数无关,小于现有方案的O(dn)和O(10*dn)。
请参阅图5,图5是本申请实施方式中数据处理装置的结构示意图。在该实施方式中,数据处理装置50包括获取模块510和处理模块520。
获取模块510用于获取车辆记录临时数据和车辆记录分析数据,车辆记录临时数据记录有待处理时间段的过车记录,原车辆记录分析数据记录有待处理时间段之前的过车记录。
处理模块520用于结合车辆记录临时数据和原车辆记录分析数据得到新车辆记录分析数据,新车辆记录分析数据记录有待处理时间段及待处理时间段之前的过车记录。
其中,原车辆记录分析数据和新车辆记录分析数据均为车辆记录分析数据,车辆记录分析数据包括标记位,每个标记位包括至少一位标记字符,每位标记字符用于标记车辆是否出现。
在一实施方式中,车辆记录分析数据包括多个标记位,每个标记位用于标记对应车辆的过车记录;每个标记位包括多位标记字符,每位标记字符用于标记对应时间段的过车记录,多位标记字符按时间段序列依序排布,时间段为数据处理的时间间隔。
在一实施方式中,处理模块520包括数据合并单元和数据交换单元,数据合并单元用于将第一车辆记录临时表的数据与原车辆记录分析表的数据合并后插入第二车辆记录临时表,第一车辆记录临时表用于保存车辆记录临时数据,原车辆记录分析表用于保存原车辆记录分析数据;数据交换单元用于将第二车辆记录临时表与原车辆记录分析表进行分区交换得新车辆记录分析表,新车辆记录分析表用于保存新车辆记录分析数据。
数据合并单元可具体用于:若车辆记录临时数据中出现已收录车辆的过车记录,则将车辆记录分析数据中过车记录对应的已收录车辆的标记位增加一位有车标记字符;并将剩余的已收录车辆的标记位增加一位无车标记字符;已收录车辆为车辆记录分析数据中已采集的车辆;若车辆记录临时数据中出现未收录车辆的过车记录,则在车辆记录分析数据中增加一条新的包括标记位的车辆记录数据。
数据交换单元可具体用于:清空第一车辆记录临时表;获取车辆记录临时数据,将车辆记录临时数据插入第一车辆记录临时表;清空第二车辆记录临时表;将第一车辆记录临时表的数据与原车辆记录分析表的数据合并后插入第二车辆记录临时表。
在一实施方式中,数据处理装置50还包括控制模块,控制模块用于从任务控制表中获取前一次任务成功执行时间,任务控制表用于控制数据处理任务的执行;判断前一次任务成功执行时间加一时间段是否大于当前时间减一时间段,时间段为数据处理任务执行的时间间隔;若否,则执行将第一车辆记录临时表的数据与原车辆记录分析表的数据合并后插入第二车辆记录临时表的步骤。
控制模块包括更新单元,用于更新任务控制表中的任务成功执行时间。
在一实施方式中,车辆记录分析表为分区表。
在一实施方式中,车辆记录分析表采用列式和/或压缩的方式存储车辆记录分析数据。
在一实施方式中,车辆记录分析数据记录有车辆第一次被采集的初始采集时间。
在一实施方式中,标记位的字段类型为Text型或bit varying型。
数据处理装置的各模块具体执行可参考上述方法实施例的对应步骤,在此不做赘述。数据处理装置可以是服务器、虚拟主机或者是服务器的部分单元等。
请参阅图6,图6是本申请实施方式中隐匿车辆查询装置的结构示意图。在该实施方式中,隐匿车辆查询装置60包括获取模块610和判断模块620。
获取模块610用于从车辆记录分析数据中获取待查询车辆的过车记录,车辆记录分析数据是利用上述的数据处理方法处理得到,车辆记录分析数据包括标记位,每个标记位包括至少一位标记字符,每位标记字符用于标记车辆是否出现。
判断模块620用于读取标记位,判断待查询车辆是否是隐匿车辆。
在一实施方式中,车辆记录分析数据记录有车辆第一次被采集的初始采集时间,判断模块620可具体用于结合初始采集时间、标记字符和标记字符在标记位中的位置序号,判断待查询车辆是否是隐匿车辆。
上述隐匿车辆查询装置的各模块具体执行可参考上述方法实施例的对应步骤,在此不做赘述。隐匿车辆查询装置可以是服务器、虚拟主机或者是服务器的部分单元等。
请参阅图7,图7是本申请实施方式中计算机设备的结构示意图。该实施方式中,计算机设备70包括处理器710和存储器720,处理器710耦接存储器720,存储器720用于存储程序,处理器710用于执行程序以实现上述的数据处理、隐匿车辆查询方法。
计算机设备70可以是服务器、个人电脑等。处理器710还可以称为CPU(CentralProcessing Unit,中央处理单元)。处理器710可以是一种集成电路芯片,具有信号的处理能力。处理器710还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图8,图8是本申请实施方式中具有存储功能的装置的结构示意图,该实施方式中,具有存储功能的装置80存储有程序810,程序810被执行时能够实现上述任一实施方式的时域运动矢量获取、帧间预测、视频编码方法。
其中,该程序810可以以软件产品的形式存储在上述具有存储功能的装置80中,包括若干指令用以使得一个设备或处理器执行本申请各个实施方式方法的全部或部分步骤。
具有存储功能的装置80是计算机存储器中用于存储某种不连续物理量的媒体。而前述的具有存储功能的装置80包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施方式中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (17)
1.一种数据处理方法,其特征在于,包括:
获取车辆记录临时数据和原车辆记录分析数据,所述车辆记录临时数据记录有待处理时间段的过车记录,所述原车辆记录分析数据记录有所述待处理时间段之前的过车记录;
结合所述车辆记录临时数据和所述原车辆记录分析数据得到新车辆记录分析数据,所述新车辆记录分析数据记录有所述待处理时间段及所述待处理时间段之前的过车记录;
其中,所述原车辆记录分析数据和所述新车辆记录分析数据均为车辆记录分析数据,所述车辆记录分析数据包括标记位,每个所述标记位包括至少一位标记字符,每位所述标记字符用于标记车辆是否出现。
2.根据权利要求1所述的数据处理方法,其特征在于,
所述车辆记录分析数据包括多个所述标记位,每个所述标记位用于标记对应车辆的过车记录;
每个所述标记位包括多位所述标记字符,每位所述标记字符用于标记对应时间段的过车记录,多位所述标记字符按所述时间段序列依序排布,所述时间段为数据处理的时间间隔。
3.根据权利要求1所述的数据处理方法,其特征在于,所述结合车辆记录临时数据和原车辆记录分析数据得到新车辆记录分析数据包括:
将第一车辆记录临时表的数据与原车辆记录分析表的数据合并后插入第二车辆记录临时表,所述第一车辆记录临时表用于保存所述车辆记录临时数据,所述原车辆记录分析表用于保存所述原车辆记录分析数据;
将所述第二车辆记录临时表与所述原车辆记录分析表进行分区交换得新车辆记录分析表,所述新车辆记录分析表用于保存所述新车辆记录分析数据。
4.根据权利要求3所述的数据处理方法,其特征在于,所述将第一车辆记录临时表的数据与原车辆记录分析表的数据合并包括:
若所述车辆记录临时数据中出现已收录车辆的过车记录,则将所述车辆记录分析数据中所述过车记录对应的所述已收录车辆的标记位增加一位有车标记字符;并将剩余的所述已收录车辆的标记位增加一位无车标记字符;所述已收录车辆为所述车辆记录分析数据中已采集的车辆;
若所述车辆记录临时数据中出现未收录车辆的过车记录,则在所述车辆记录分析数据中增加一条新的包括标记位的车辆记录数据。
5.根据权利要求3所述的数据处理方法,其特征在于,所述将第一车辆记录临时表的数据与原车辆记录分析表的数据合并后插入第二车辆记录临时表包括:
清空所述第一车辆记录临时表;
获取所述车辆记录临时数据,将所述车辆记录临时数据插入所述第一车辆记录临时表;
清空所述第二车辆记录临时表;
将所述第一车辆记录临时表的数据与所述原车辆记录分析表的数据合并后插入所述第二车辆记录临时表。
6.根据权利要求3所述的数据处理方法,其特征在于,所述将第一车辆记录临时表的数据与原车辆记录分析表的数据合并后插入第二车辆记录临时表之前包括:
从任务控制表中获取前一次任务成功执行时间,所述任务控制表用于控制所述数据处理任务的执行;
判断所述前一次任务成功执行时间加一时间段是否大于当前时间减一时间段,所述时间段为所述数据处理任务执行的时间间隔;
若否,则执行所述将第一车辆记录临时表的数据与所述原车辆记录分析表的数据合并后插入所述第二车辆记录临时表的步骤。
7.根据权利要求6所述的数据处理方法,其特征在于,所述将第二车辆记录临时表与所述原车辆记录分析表进行分区交换得新车辆记录分析表之后包括:
更新所述任务控制表中的所述任务成功执行时间。
8.根据权利要求3所述的数据处理方法,其特征在于,所述车辆记录分析表为分区表。
9.根据权利要求3所述的数据处理方法,其特征在于,所述车辆记录分析表采用列式和/或压缩的方式存储所述车辆记录分析数据。
10.根据权利要求1所述的数据处理方法,其特征在于,所述车辆记录分析数据记录有车辆第一次被采集的初始采集时间。
11.根据权利要求1所述的数据处理方法,其特征在于,所述标记位的字段类型为Text型或bit varying型。
12.一种隐匿车辆查询方法,其特征在于,包括:
从车辆记录分析数据中获取待查询车辆的过车记录,所述车辆记录分析数据是利用如权利要求1-11任一项所述的方法处理得到,所述车辆记录分析数据包括标记位,每个所述标记位包括至少一位标记字符,每位所述标记字符用于标记车辆是否出现;
读取所述标记位,判断所述待查询车辆是否是隐匿车辆。
13.根据权利要求12所述的隐匿车辆查询方法,其特征在于,
所述车辆记录分析数据记录有车辆第一次被采集的初始采集时间,所述读取标记位,判断所述待查询车辆是否是隐匿车辆包括:
结合所述初始采集时间、所述标记字符和所述标记字符在所述标记位中的位置序号,判断所述待查询车辆是否是隐匿车辆。
14.一种数据处理装置,其特征在于,所述数据处理装置包括:
获取模块,用于获取车辆记录临时数据和车辆记录分析数据,所述车辆记录临时数据记录有待处理时间段的过车记录,所述原车辆记录分析数据记录有所述待处理时间段之前的过车记录;
处理模块,用于结合所述车辆记录临时数据和所述原车辆记录分析数据得到新车辆记录分析数据,所述新车辆记录分析数据记录有所述待处理时间段及所述待处理时间段之前的过车记录;
其中,所述原车辆记录分析数据和所述新车辆记录分析数据均为车辆记录分析数据,所述车辆记录分析数据包括标记位,每个所述标记位包括至少一位标记字符,每位所述标记字符用于标记车辆是否出现。
15.一种隐匿车辆查询装置,其特征在于,所述隐匿车辆查询装置包括:
获取模块,用于从车辆记录分析数据中获取待查询车辆的过车记录,所述车辆记录分析数据是利用如权利要求1-11任一项所述的方法处理得到,所述车辆记录分析数据包括标记位,每个所述标记位包括至少一位标记字符,每位所述标记字符用于标记车辆是否出现;
判断模块,用于读取所述标记位,判断所述待查询车辆是否是隐匿车辆。
16.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述处理器耦接所述存储器,所述存储器用于存储程序,所述处理器用于执行所述程序以实现如权利要求1-13任一项所述的方法。
17.一种具有存储功能的装置,其特征在于,所述装置存储有程序,所述程序被执行时能够实现如权利要求1-13任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910690864.3A CN110442599A (zh) | 2019-07-29 | 2019-07-29 | 一种数据处理、隐匿车辆查询的方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910690864.3A CN110442599A (zh) | 2019-07-29 | 2019-07-29 | 一种数据处理、隐匿车辆查询的方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110442599A true CN110442599A (zh) | 2019-11-12 |
Family
ID=68432095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910690864.3A Pending CN110442599A (zh) | 2019-07-29 | 2019-07-29 | 一种数据处理、隐匿车辆查询的方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110442599A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092980A (zh) * | 2013-01-31 | 2013-05-08 | 中国科学院自动化研究所 | 一种数据自动转换与存储的方法及系统 |
CN103970853A (zh) * | 2014-05-05 | 2014-08-06 | 浙江宇视科技有限公司 | 优化搜索引擎的方法及装置 |
CN105448092A (zh) * | 2015-12-23 | 2016-03-30 | 浙江宇视科技有限公司 | 一种关联车辆的分析方法及装置 |
CN106325933A (zh) * | 2016-08-24 | 2017-01-11 | 明算科技(北京)股份有限公司 | 批量数据同步方法和装置 |
CN106997431A (zh) * | 2016-01-22 | 2017-08-01 | 阿里巴巴集团控股有限公司 | 一种数据处理方法及装置 |
CN108241717A (zh) * | 2016-12-27 | 2018-07-03 | 中国移动通信集团公司 | 一种数据处理方法、装置及系统 |
CN108389394A (zh) * | 2018-04-23 | 2018-08-10 | 泰华智慧产业集团股份有限公司 | 车辆初次入城分析的方法及系统 |
-
2019
- 2019-07-29 CN CN201910690864.3A patent/CN110442599A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092980A (zh) * | 2013-01-31 | 2013-05-08 | 中国科学院自动化研究所 | 一种数据自动转换与存储的方法及系统 |
CN103970853A (zh) * | 2014-05-05 | 2014-08-06 | 浙江宇视科技有限公司 | 优化搜索引擎的方法及装置 |
CN105448092A (zh) * | 2015-12-23 | 2016-03-30 | 浙江宇视科技有限公司 | 一种关联车辆的分析方法及装置 |
CN106997431A (zh) * | 2016-01-22 | 2017-08-01 | 阿里巴巴集团控股有限公司 | 一种数据处理方法及装置 |
CN106325933A (zh) * | 2016-08-24 | 2017-01-11 | 明算科技(北京)股份有限公司 | 批量数据同步方法和装置 |
CN108241717A (zh) * | 2016-12-27 | 2018-07-03 | 中国移动通信集团公司 | 一种数据处理方法、装置及系统 |
CN108389394A (zh) * | 2018-04-23 | 2018-08-10 | 泰华智慧产业集团股份有限公司 | 车辆初次入城分析的方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109189991B (zh) | 重复视频识别方法、装置、终端及计算机可读存储介质 | |
CN102156751B (zh) | 一种提取视频指纹的方法及装置 | |
CN111327955B (zh) | 基于用户画像的点播方法、存储介质及智能电视 | |
CN108304490B (zh) | 基于文本的相似度确定方法、装置及计算机设备 | |
CN108235122A (zh) | 视频广告的监测方法及装置 | |
CN109753517A (zh) | 一种信息查询的方法、装置、计算机存储介质及终端 | |
CN112364014B (zh) | 数据查询方法、装置、服务器及存储介质 | |
CN114610951A (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
CN107766446A (zh) | 资讯信息的推送方法、装置、存储介质及处理器 | |
CN110781960A (zh) | 视频分类模型的训练方法、分类方法、装置及设备 | |
CN109558531A (zh) | 新闻信息推送方法、装置以及计算机设备 | |
CN110489032B (zh) | 用于电子书的词典查询方法及电子设备 | |
CN110990519A (zh) | 一种车辆故障诊断方法、装置、电子设备及存储介质 | |
CN109542848B (zh) | 一种车载媒体文件快速扫描方法和系统 | |
CN108810916B (zh) | Wi-Fi热点推荐方法、装置及存储介质 | |
CN102568049B (zh) | 一种学生刷卡数据的发送方法、装置及系统 | |
CN110232071A (zh) | 药品数据的检索方法、装置及存储介质、电子装置 | |
CN107493370A (zh) | 流量模板确定方法、流量信息识别方法及装置 | |
CN108959443A (zh) | 一种信息推送方法、信息处理方法及装置 | |
CN109101435A (zh) | 移动存储设备的多分区识别方法及系统、车载终端 | |
CN110442599A (zh) | 一种数据处理、隐匿车辆查询的方法及设备 | |
CN112671878A (zh) | 一种区块链的信息订阅方法、装置、服务器和存储介质 | |
CN108255893B (zh) | 个性化对象推荐方法和装置 | |
CN110825947A (zh) | Url去重方法、装置、设备与计算机可读存储介质 | |
CN111881356A (zh) | 内容推荐方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191112 |