CN108492566A - 高容错交通卡口过车数据实时抽取的方法及系统 - Google Patents

Abstract

本发明公开高容错交通卡口过车数据实时抽取的方法及系统，包括：监控设备采集经过道路卡口的车辆的车辆数据信息；监控设备将采集的抓拍图片传输至图片服务器，并将采集的过车记录数据传输至卡口基础平台数据库中过车信息表内；卡口基础平台数据库通过抽取程序按照所述主键字段从过车信息表中对所述过车记录数据进行增量抽取，形成过车记录数据集，并发送至消息服务器；消息服务器将过车记录数据集传输给图像识别服务器；图像识别服务器接收过车记录数据集，并根据过车记录数据集中的过车记录数据从图片服务器中下载抓拍图片，并对抓拍图片进行二次识别。本发明可以对交通卡口过车数据进行抽取、监控和识别。

Description

高容错交通卡口过车数据实时抽取的方法及系统

技术领域

本发明涉及交通技术领域，更具体地，涉及一种高容错交通卡口过车数据实时抽取的方法及系统。

背景技术

近年来随着各地市平安城市、天网工程的深入推进建设，治安监控、交通卡口所拍摄的过车视频和图片对于公安机关案件侦破的作用越来越大。如何从海量过车图片中筛选出目标车辆，成为困扰公安机关的一大难题。近几年机器学习和人工智能的快速发展，图像识别技术愈发成熟。各地天网工程依托于图像识别技术，搭建视频图像处理平台。视频图像处理平台的投入把公安干警从依靠人工排查涉案车辆的繁杂工作中解放出来，大大提升了办案效率。

但是交通卡口由于其分布广、数量多、厂商不一，导致卡口基础平台数据库中的数据混乱无章。传统的ETL(Extract-Transform-Load)工具，如kettle、Informatica、DataStage，很难胜任卡口基础平台数据库的数据抽取工作。具体原因如下：1.过车记录数据中没有“入库时间”字段，只能按照主键字段抽取，主键字段虽然是升序，但是不连续，有时相邻的两条记录的主键会相差几万，导致数据抽取比较困难。虽然过车记录数据中有过车时间字段，但是过车时间不能作为增量数据抽取的字段，因为过车时间是监控设备生成的时间，而监控设备的时间的准确度不高，经常性的需要依靠人工进行时间校对；2.数据抽取对实时性要求较高，需要保障数据延迟在2分钟以内，但是抽取速率也不能过快，否则可能导致消息服务器崩溃；3.卡口基础平台数据库中过车信息表的数据是实时变动的，如果抽取程序所抽取到的最新过车记录距离当前时间太近，意味着抽取程序需要等待新的过车数据入库，在等待的过程中，抽取程序不停的运转造成计算资源的浪费。5.抽取程序异常退出时会造成数据的丢失和重复抽取。传统的ETL工具需要投入大量的工作通过自定义插件的方式来实现，且很难移植，而且有些ETL工具需要高额的授权费用。因此，本发明创造性的提出了这种高容错交通卡口过车数据的实时抽取方法及系统。

发明内容

有鉴于此，本发明提供了一种高容错交通卡口过车数据实时抽取的方法及系统，解决了现有的交通卡口过车数据实时抽取系统存在抽取数据混乱、对数据库和服务器的压力较大、计算资源浪费以及易造成数据的丢失和重复的问题。

为了解决上述技术问题，本发明提出一种高容错交通卡口过车数据实时抽取的方法，包括：监控设备采集经过道路卡口的车辆的车辆数据信息，车辆数据信息包括抓拍图片和过车记录数据；其中，过车记录数据至少包括主键字段、设备类型、拍摄设备编号、过车时间、图片路径和车牌号；监控设备将采集的抓拍图片传输至图片服务器，并将采集的过车记录数据传输至卡口基础平台数据库中过车信息表内；图片服务器接收抓拍图片；卡口基础平台数据库接收过车记录数据，通过抽取程序按照主键字段从过车信息表中对过车记录数据进行增量抽取，形成过车记录数据集，并将过车记录数据集发送至消息服务器；消息服务器接收过车记录数据集，并将过车记录数据集传输给图像识别服务器；图像识别服务器接收过车记录数据集，并根据过车记录数据集中的过车记录数据从图片服务器中下载抓拍图片，并对抓拍图片进行二次识别；其中，卡口基础平台数据库接收过车记录数据，通过抽取程序按照主键字段从过车信息表中对过车记录数据进行增量抽取，形成过车记录数据集，并将过车记录数据集发送至消息服务器，进一步为：卡口基础平台数据库接收过车记录数据，抽取程序启动并开始查找初始主键字段；抽取程序确定初始主键字段和步长值，从初始主键字段开始，以步长值按照主键字段对过车记录数据进行增量抽取，抽取的过车记录数据形成过车记录数据集；抽取程序将过车记录数据集发送至消息服务器，并将过车记录数据集中最大的主键字段记录到书签单元中；抽取程序继续运行，不断重复上述步骤。

优选的，其中，该方法还包括：抽取程序中包括检测程序，通过检测程序判断过车记录数据集的大小；当过车记录数据集的大小大于0时，过车记录数据集发送至消息服务器，并将过车记录数据集中最大的主键字段记录到书签单元中；当过车记录数据集的大小等于0时，抽取程序按照一定的间隔时间延长抽取，从初始主键字段开始，以步长值和延长的次数为参数按照主键字段进行对过车记录数据进行增量抽取，直至抽取的过车记录数据集的大小大于0，将过车记录数据集中最小的主键字段赋值给初始主键字段。

优选的，其中，卡口基础平台数据库接收过车记录数据，抽取程序启动并开始查找初始主键字段，进一步为：卡口基础平台数据库接收过车记录数据，抽取程序启动，从书签单元中读取主键字段，并将其作为初始主键字段。

优选的，其中，该方法还包括：抽取程序设置初始时间参数和结束时间参数；抽取程序启动，判断出初始时间参数，确定时间步长值；抽取程序按照过车时间，以时间步长值从过车信息表中读取过车记录数据，直至读取到过车记录数据，并将读取到的过车记录数据中主键字作为初始主键字段；抽取程序判断抽取到的最新的过车时间是否超出结束时间参数；过车时间没有超过结束时间参数，抽取程序继续运行；过车时间超过结束时间参数，抽取程序退出运行。

优选的，其中，抽取程序按照过车时间，以时间步长值从过车信息表中读取过车记录数据，如果往后循环一天无法读取过车记录数据，抽取程序退出运行。

一种高容错交通卡口过车数据实时抽取的系统，包括：监控设备，用于采集经过道路卡口的车辆的车辆数据信息，车辆数据信息包括抓拍图片和过车记录数据，并将采集的抓拍图片传输至图片服务器，并将采集的过车记录数据传输至卡口基础平台数据库中过车信息表内；其中，过车记录数据至少包括主键字段、设备类型、拍摄设备编号、过车时间、图片路径和车牌号；图片服务器，用于接收抓拍图片；卡口基础平台数据库，用于接收过车记录数据；抽取单元，包含抽取程序，通过抽取程序按照主键字段从过车信息表中对过车记录数据进行增量抽取，形成过车记录数据集，并将过车记录数据集发送至消息服务器；消息服务器，用于接收过车记录数据集，并将过车记录数据集传输给图像识别服务器；图像识别服务器，用于接收过车记录数据集，并根据过车记录数据集中的过车记录数据从图片服务器中下载抓拍图片，并对抓拍图片进行二次识别，能够识别出车牌号、车辆品牌、车辆型号、车辆年款、车身颜色、车牌颜色、车辆类型和驾驶员是否安全驾驶等信息；其中，抽取单元，进一步的通过抽取程序启动，从卡口基础平台数据库接收的过车记录数据中开始查找初始主键字段；抽取程序确定初始主键字段和步长值，从初始主键字段开始，以步长值按照主键字段对过车记录数据进行增量抽取，抽取的过车记录数据形成过车记录数据集；抽取程序将过车记录数据集发送至消息服务器，并将过车记录数据集中最大的主键字段记录到书签单元中；抽取单元中抽取程序不断运行。

优选的，其中，抽取单元中还包括检测程序，通过检测程序判断过车记录数据集的大小；当过车记录数据集的大小大于0时，过车记录数据集发送至消息服务器，并将过车记录数据集中最大的主键字段记录到书签单元中；当过车记录数据集的大小等于0时，抽取程序按照一定的间隔时间延长抽取，从初始主键字段开始，以步长值和延长的次数为参数按照主键字段进行对过车记录数据进行增量抽取，直至抽取的过车记录数据集的大小大于0，将过车记录数据集中最小的主键字段赋值给初始主键字段。

优选的，其中，卡口基础平台数据库接收过车记录数据，抽取单元中抽取程序启动，从书签单元中读取主键字段，并将其作为初始主键字段。

优选的，其中，抽取单元中抽取程序进一步的设置初始时间参数和结束时间参数；抽取程序启动，判断出初始时间参数，确定时间步长值；抽取程序按照过车时间，以时间步长值从过车信息表中读取过车记录数据，直至读取到过车记录数据，并将读取到的过车记录数据中主键字作为初始主键字段；抽取程序判断抽取到的最新的过车时间是否超出结束时间参数；过车时间没有超过结束时间参数，抽取程序继续运行；过车时间超过结束时间参数，抽取程序退出运行。

优选的，其中，抽取单元中抽取程序按照过车时间，以时间步长值从过车信息表中读取过车记录数据，如果往后循环一天无法读取过车记录数据，抽取程序退出运行。

与现有技术相比，本发明的高容错交通卡口过车数据实时抽取的方法及系统，实现了如下的有益效果：

(1)本发明所述的高容错交通卡口过车数据实时抽取的方法及系统，抽取单元中抽取程序从初始主键字段开始，以步长值按照主键字段对过车记录数据进行增量抽取，可对过车记录数据进行连续抽取，可有有效应对主键字段的无规律性造成的过车记录数据混乱的情况，保证了抽取程序的正常运行，即使主键字段之间跳跃性大，抽取程序也可以正常应对，从而，图像识别服务器基于过车数据的连续性有效对所有的车辆数据信息进行实时监控和识别。

(2)本发明所述的高容错交通卡口过车数据实时抽取的方法及系统，设有书签单元，抽取程序将所述过车记录数据集发送至所述消息服务器，并将过车记录数据集中最大的所述主键字段记录到书签单元中，如果抽取程序异常退出，看门狗程序会自动重启抽取程序，从书签单元中读取初始主键字段，保证了过车记录数据抽取的连续性，避免抽取时过车记录数据的丢失和重复。

(3)本发明所述的高容错交通卡口过车数据实时抽取的方法及系统，抽取单元中还包括检测程序，通过检测程序对过车记录数据集的大小进行判断，当过车记录数据集的大小为0时，可能这一段无过车记录数据，可以保证过车记录数据持续不断的抽取，避免抽取过程中造成死循环；也可能抽取程序已经抽取到最新的过车数据，那么抽取程序会自动休眠一段时间，然后继续抽取，防止了计算资源浪费。

(4)支持通过设置初始时间参数和结束时间参数抽取某一段时间内的过车数据，灵活性高，支持抽取实时过车数据，也支持抽取历史过车数据。

当然，实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1为本发明的所述一种高容错交通卡口过车数据实时抽取的方法的流程图；

图2为本发明的一种实施例中抽取程序的运行流程图；

图3为本发明的可选实施例中抽取程序的运行流程图；

图4为本发明的所述一种高容错交通卡口过车数据实时抽取的系统的构成示意图；

图5为本发明的所述一种高容错交通卡口过车数据实时抽取的系统的工作流程图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例1

如图1所示为本发明提出一种高容错交通卡口过车数据实时抽取的方法的流程图，该方法包括：

步骤101、监控设备采集经过道路卡口的车辆的车辆数据信息，所述车辆数据信息包括抓拍图片和过车记录数据；其中，所述过车记录数据至少包括主键字段、设备类型、拍摄设备编号、过车时间、图片路径和车牌号；

步骤102、所述监控设备将采集的所述抓拍图片传输至图片服务器，并将采集的所述过车记录数据传输至卡口基础平台数据库中过车信息表内；

步骤103、所述图片服务器接收所述抓拍图片；

步骤104、所述卡口基础平台数据库接收所述过车记录数据，通过抽取程序按照所述主键字段从所述过车信息表中对所述过车记录数据进行增量抽取，形成过车记录数据集，并将所述过车记录数据集发送至消息服务器；

步骤105、所述消息服务器接收所述过车记录数据集，并将所述过车记录数据集传输给图像识别服务器；

步骤106、所述图像识别服务器接收所述过车记录数据集，并根据所述过车记录数据集中的所述过车记录数据从所述图片服务器中下载所述抓拍图片，并对所述抓拍图片进行二次识别；

上述步骤104进一步为抽取程序从所述过车信息表中实时抽取过车记录数据，并将过车记录数据发送至消息服务器，可进行如图2所述的进一步细化，图2为本发明的一种实施例中抽取程序的运行流程图，具体为：

步骤201、所述卡口基础平台数据库接收所述过车记录数据，所述抽取程序启动并开始查找初始主键字段；

步骤202、所述抽取程序确定初始主键字段和步长值，从所述初始主键字段开始，以所述步长值按照所述主键字段对所述过车记录数据进行增量抽取，抽取的所述过车记录数据形成所述过车记录数据集；

步骤203、所述抽取程序将所述过车记录数据集发送至所述消息服务器，并将过车记录数据集中最大的所述主键字段记录到书签单元中；

步骤204、所述抽取程序继续运行，不断重复上述步骤。

本发明中的抽取程序从初始主键字段开始，以步长值按照主键字段对过车记录数据进行增量抽取，可对过车记录数据进行连续抽取，可有有效应对主键字段的无规律性造成的过车记录数据混乱的情况，保证了抽取程序的正常运行，从而，图像识别服务器基于过车数据的连续性有效对所有的车辆数据信息进行实时监控和识别。

本发明中抽取程序将所述过车记录数据集发送至所述消息服务器，并将过车记录数据集中最大的所述主键字段记录到书签单元中，即抽取程序确定初始主键字段为eventld和步长值为1000，抽取eventld到(eventld+1000)之间的过车记录数据集rs，并将rs发送到消息服务器，同时将rs中最大的主键记录发送到书签单元中并赋值给eventld。抽取程序在读取eventld到(eventld+1000)之间的过车记录数据时，当此时监控设备正在往卡口基础平台数据库中过车信息表中插入(eventld+500)到(eventld+1000)之间的过车记录数据，这时书签单元记录(eventld+500)，并将(eventld+500)作为新的eventld，下次增量抽取范围实际为(eventld+500)到(eventld+1500)，否则，下次增量抽取范围实际为(eventld+1000)到(eventld+2000)，保证了过车记录数据抽取的连续性，避免造成数据的丢失。

实施例2

如图3所示，图3为本发明中的抽取程序可选实施例的运行流程图，本实施例基于实施例1进一步细化了抽取程序的运行方法，步骤如下：

步骤301、卡口基础平台数据库接收所述过车记录数据，所述抽取程序启动；

步骤302、判断是否设置初始时间参数；

若否，执行步骤303；

若是，执行步骤304；

步骤303、从所述书签单元中读取所述初始主键字段；

步骤305、判断初始主键字段是否读取成功；

若是，执行步骤307；

若否，执行步骤312；

步骤304、判断出所述初始时间参数，确定时间步长值，抽取程序按照过车时间，以时间步长值从所述卡口基础平台数据库中过车信息表中读取所述过车记录数据，从过车记录数据中得到初始主键字段；

步骤306、判断往后循环一天是否能读取初始主键字段；

若是，执行步骤307；

若否，执行步骤312；

步骤307、确定初始主键字段和步长值，从所述初始主键字段开始，以所述步长值按照所述主键字段对所述过车记录数据进行增量抽取，抽取的所述过车记录数据形成所述过车记录数据集；

步骤308、判断过车记录数据集的大小是否为0；

若是，执行步骤309；

若否，执行步骤310；

步骤309、按照一定的间隔时间延长抽取，从所述初始主键字段开始，以所述步长值和延长的次数为参数按照所述主键字段进行对所述过车记录数据进行增量抽取，直至抽取的所述过车记录数据集的大小大于0，将所述过车记录数据集中最小的所述主键字段赋值为新的初始主键字段；

步骤310、所述过车记录数据集发送至所述消息服务器，并将过车记录数据集中最大的所述主键字段初始主键字段；

步骤311、判断抽取到的最新的所述过车时间是否超出所述结束时间参数；

若是，则执行步骤312；

若否，则执行步骤307；

步骤312、运行结束。

实施例3

如图4和图5所示，图4为本发明的一种高容错交通卡口过车数据实时抽取的系统的构成示意图，图5为本发明的所述一种高容错交通卡口过车数据实时抽取的系统的工作流程图，该系统包括：

监控设备401，用于采集经过道路卡口的车辆的车辆数据信息，所述车辆数据信息包括抓拍图片和过车记录数据，并将采集的所述抓拍图片传输至图片服务器402，并将采集的所述过车记录数据传输至卡口基础平台数据库403中过车信息表内；

其中，所述过车记录数据至少包括主键字段、设备类型、拍摄设备编号、过车时间、图片路径和车牌号；

所述图片服务器402，用于接收所述抓拍图片；

所述卡口基础平台数据库403，用于接收所述过车记录数据；

抽取单元404，包含抽取程序，通过所述抽取程序按照所述主键字段从所述卡口基础平台数据库403中过车信息表中对所述过车记录数据进行增量抽取，形成过车记录数据集，并将所述过车记录数据集发送至消息服务器405；

所述消息服务器405，用于接收所述过车记录数据集，并将所述过车记录数据集传输给图像识别服务器406；

所述图像识别服务器406，用于接收所述过车记录数据集，并根据所述过车记录数据集中的所述过车记录数据从所述图片服务器402中下载所述抓拍图片，对所述过车记录数据集中的所述过车记录数据和所述抓拍图片进行二次识别，能够识别出车牌号、车辆品牌、车辆型号、车辆年款、车身颜色、车牌颜色、车辆类型和驾驶员是否安全驾驶等信息；

其中，

所述抽取单元404，进一步的通过所述抽取程序启动，从所述卡口基础平台数据库403接收的所述过车记录数据中开始查找初始主键字段；

所述抽取程序确定初始主键字段和步长值，从所述初始主键字段开始，以所述步长值按照所述主键字段对所述过车记录数据进行增量抽取，抽取的所述过车记录数据形成所述过车记录数据集；

所述抽取程序将所述过车记录数据集发送至所述消息服务器405，并将过车记录数据集中最大的所述主键字段记录到书签单元407中；

所述抽取单元404中所述抽取程序不断运行。

其中，所述抽取单元404中还包括检测程序，通过所述检测程序判断所述过车记录数据集的大小；

当所述过车记录数据集的大小大于0时，所述过车记录数据集发送至所述消息服务器405，并将过车记录数据集中最大的所述主键字段记录到书签单元407中；

当所述过车记录数据集的大小等于0时，所述抽取程序按照一定的间隔时间延长抽取，从所述初始主键字段开始，以所述步长值和延长的次数为参数按照所述主键字段进行对所述过车记录数据进行增量抽取，直至抽取的所述过车记录数据集的大小大于0，将所述过车记录数据集中最小的所述主键字段赋值给所述初始主键字段。

其中，所述卡口基础平台数据库403接收所述过车记录数据，所述抽取单元404中所述抽取程序启动，从所述书签单元407中读取所述主键字段，并将其作为所述初始主键字段。

其中，所述抽取单元404中所述抽取程序进一步的设置初始时间参数和结束时间参数；

所述抽取程序启动，判断出所述初始时间参数，确定时间步长值；

所述抽取程序按照所述过车时间，以所述时间步长值从所述卡口基础平台数据库403中过车信息表中读取所述过车记录数据，直至读取到所述过车记录数据，并将读取到的所述过车记录数据中所述主键字作为所述初始主键字段；

所述抽取程序判断抽取到的最新的所述过车时间是否超出所述结束时间参数；

所述过车时间没有超过所述结束时间参数，所述抽取程序继续运行；

所述过车时间超过所述结束时间参数，所述抽取程序退出运行。

其中，所述抽取单元404中所述抽取程序按照所述过车时间，以所述时间步长值从所述卡口基础平台数据库403中过车信息表中读取所述过车记录数据，如果往后循环一天无法读取所述过车记录数据，所述抽取程序退出运行。

实施例4

在实施例1-实施例3的基础上，本实施例为应用实施例：

抽取程序可采用的一种运行方法如下；

用户使用java命令启动抽取程序，抽取程序以jar包的形式提供；使用java命令启动抽取程序时支持传递命令行参数，可以使用startTime命令行参数指定抽取开始的时间点，使用endTime指定抽取结束的时间点；

抽取程序判定启动时有没有指定startTime参数；

如果没有指定startTime参数，那么抽取程序从书签单元中读取eventId；

如果指定了startTime参数，那么抽取程序按照过车时间字段，以10秒为步长，从卡口基础平台数据库中过车信息表中读取过车记录数据，直到读取到过车记录数据为止，并将读取到的过车记录数据中的最小主键作为eventId，如果循环一天还没有读取到数据，那么抽取程序退出运行；

抽取程序以eventId步长递增1000从过车信息表中查询过车数据，查询出过车记录数据集rs；

抽取程序判断rs的大小是否为0；

如果rs的大小不为零，那么抽取程序将rs中的所有过车记录数据发送到消息服务器，并取出rs中最大的主键编号，并将该编号赋值给eventId，最后将eventId写入书签单元；

如果rs的大小为0，那么代表相邻的两条过车记录的主键间隔1000以上或者抽取程序已经抽取到了最新的过车数据，这时抽取程序每隔10秒钟就会从过车信息表中读取主键编号从eventId到(eventId+1000*n)之间的过车记录，其中n代表第几个10秒(如第10秒n＝1，第20秒n＝2，第30秒n＝3，依次类推)，直到rs的大小不为0为止，并将取到的最小的主键编号赋值给eventId；

例如主键编号为1002000-1003000之间没有过车记录数据，上一次的抽取流程结束后，eventId被赋值为1002000，由于1002000-1003000之间没有过车记录数据，那么10s之后，将会查询主键编号范围为1002000-1004000之间的过车记录数据，查询后将最小的主键编号赋值给eventId，即1003000，然后抽取主键编号范围为1003000-1004000之间的过车记录数据，之后继续进行抽取工作，如此往复，进行过车记录数据的实时抽取；

如果启动抽取程序时指定了endTime参数，那么判断抽取到的最新的过车记录的过车时间是否超过了endTime所预设的值；

如果没有超过，那么抽取程序继续运行；

如果抽取程序所抽取的最新的过车记录数据的过车时间超过了endTime参数所预设的值，那么抽取程序退出运行。

通过以上各个实施例可知，本发明的高容错交通卡口过车数据实时抽取的方法及系统存在的有益效果是：

(1)本发明所述的高容错交通卡口过车数据实时抽取的方法及系统，抽取单元404中抽取程序从初始主键字段开始，以步长值按照主键字段对过车记录数据进行增量抽取，可对过车记录数据进行连续抽取，可有有效应对主键字段的无规律性造成的过车记录数据混乱的情况，保证了抽取程序的正常运行，即使主键字段之间跳跃性大，抽取程序也可以正常应对，从而，图像识别服务器406基于过车数据的连续性有效对所有的车辆数据信息进行实时监控和识别。

(2)本发明所述的高容错交通卡口过车数据实时抽取的方法及系统，设有书签单元407，抽取程序将所述过车记录数据集发送至所述消息服务器405，并将过车记录数据集中最大的所述主键字段记录到书签单元407中，如果抽取程序异常退出，看门狗程序会自动重启抽取程序，从书签单元407中读取初始主键字段，保证了过车记录数据抽取的连续性，避免抽取时过车记录数据的丢失和重复。

(3)本发明所述的高容错交通卡口过车数据实时抽取的方法及系统，抽取单元404中还包括检测程序，通过检测程序对过车记录数据集的大小进行判断，当过车记录数据集的大小为0时，可能这一段无过车记录数据，可以保证过车记录数据持续不断的抽取，避免抽取过程中造成死循环；也可能抽取程序已经抽取到最新的过车数据，那么抽取程序会自动休眠一段时间，然后继续抽取，防止了计算资源浪费。

(4)支持通过设置初始时间参数和结束时间参数抽取某一段时间内的过车数据，灵活性高，支持抽取实时过车数据，也支持抽取历史过车数据。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种高容错交通卡口过车数据实时抽取的方法，其特征在于，包括：

监控设备采集经过道路卡口的车辆的车辆数据信息，所述车辆数据信息包括抓拍图片和过车记录数据；其中，所述过车记录数据至少包括主键字段、设备类型、拍摄设备编号、过车时间、图片路径和车牌号；

所述监控设备将采集的所述抓拍图片传输至图片服务器，并将采集的所述过车记录数据传输至卡口基础平台数据库中过车信息表内；

所述图片服务器接收所述抓拍图片；

所述卡口基础平台数据库接收所述过车记录数据，通过抽取程序按照所述主键字段从所述过车信息表中对所述过车记录数据进行增量抽取，形成过车记录数据集，并将所述过车记录数据集发送至消息服务器；

所述消息服务器接收所述过车记录数据集，并将所述过车记录数据集传输给图像识别服务器；

所述图像识别服务器接收所述过车记录数据集，并根据所述过车记录数据集中的所述过车记录数据从所述图片服务器中下载所述抓拍图片，并对所述抓拍图片进行二次识别；

其中，所述卡口基础平台数据库接收所述过车记录数据，通过抽取程序按照所述主键字段从所述过车信息表中对所述过车记录数据进行增量抽取，形成过车记录数据集，并将所述过车记录数据集发送至消息服务器，进一步为：

所述卡口基础平台数据库接收所述过车记录数据，所述抽取程序启动并开始查找初始主键字段；

所述抽取程序确定初始主键字段和步长值，从所述初始主键字段开始，以所述步长值按照所述主键字段对所述过车记录数据进行增量抽取，抽取的所述过车记录数据形成所述过车记录数据集；

所述抽取程序将所述过车记录数据集发送至所述消息服务器，并将过车记录数据集中最大的所述主键字段记录到书签单元中；

所述抽取程序继续运行，不断重复上述步骤。

2.根据权利要求1所述的高容错交通卡口过车数据实时抽取的方法，其特征在于，还包括：

所述抽取程序中包括检测程序，通过所述检测程序判断所述过车记录数据集的大小；

当所述过车记录数据集的大小大于0时，所述过车记录数据集发送至所述消息服务器，并将过车记录数据集中最大的所述主键字段记录到书签单元中；

当所述过车记录数据集的大小等于0时，所述抽取程序按照一定的间隔时间延长抽取，从所述初始主键字段开始，以所述步长值和延长的次数为参数按照所述主键字段进行对所述过车记录数据进行增量抽取，直至抽取的所述过车记录数据集的大小大于0，将所述过车记录数据集中最小的所述主键字段赋值给所述初始主键字段。

3.根据权利要求1所述的高容错交通卡口过车数据实时抽取的方法，其特征在于，

所述卡口基础平台数据库接收所述过车记录数据，所述抽取程序启动并开始查找初始主键字段，进一步为：

所述卡口基础平台数据库接收所述过车记录数据，所述抽取程序启动，从所述书签单元中读取所述主键字段，并将其作为所述初始主键字段。

4.根据权利要求1所述的高容错交通卡口过车数据实时抽取的方法，其特征在于，还包括：

所述抽取程序中设置初始时间参数和结束时间参数；

所述抽取程序启动，判断出所述初始时间参数，确定时间步长值；

所述抽取程序按照所述过车时间，以所述时间步长值从所述过车信息表中读取所述过车记录数据，直至读取到所述过车记录数据，并将读取到的所述过车记录数据中所述主键字作为所述初始主键字段；

所述抽取程序判断抽取到的最新的所述过车时间是否超出所述结束时间参数；

所述过车时间没有超过所述结束时间参数，所述抽取程序继续运行；

所述过车时间超过所述结束时间参数，所述抽取程序退出运行。

5.根据权利要求4所述的高容错交通卡口过车数据实时抽取的方法，其特征在于，

所述抽取程序按照所述过车时间，以所述时间步长值从所述过车信息表中读取所述过车记录数据，如果往后循环一天无法读取所述过车记录数据，所述抽取程序退出运行。

6.一种高容错交通卡口过车数据实时抽取的系统，其特征在于，包括：

监控设备，用于采集经过道路卡口的车辆的车辆数据信息，所述车辆数据信息包括抓拍图片和过车记录数据，并将采集的所述抓拍图片传输至图片服务器，并将采集的所述过车记录数据传输至卡口基础平台数据库中过车信息表内；

其中，所述过车记录数据至少包括主键字段、设备类型、拍摄设备编号、过车时间、图片路径和车牌号；

所述图片服务器，用于接收所述抓拍图片；

所述卡口基础平台数据库，用于接收所述过车记录数据；

抽取单元，包含抽取程序，通过所述抽取程序按照所述主键字段从所述过车信息表中对所述过车记录数据进行增量抽取，形成过车记录数据集，并将所述过车记录数据集发送至消息服务器；

所述消息服务器，用于接收所述过车记录数据集，并将所述过车记录数据集传输给图像识别服务器；

所述图像识别服务器，用于接收所述过车记录数据集，并根据所述过车记录数据集中的所述过车记录数据从所述图片服务器中下载所述抓拍图片，并对所述抓拍图片进行二次识别；

其中，

所述抽取单元，进一步的通过所述抽取程序启动，从所述卡口基础平台数据库接收的所述过车记录数据中开始查找初始主键字段；

所述抽取程序确定初始主键字段和步长值，从所述初始主键字段开始，以所述步长值按照所述主键字段对所述过车记录数据进行增量抽取，抽取的所述过车记录数据形成所述过车记录数据集；

所述抽取程序将所述过车记录数据集发送至所述消息服务器，并将过车记录数据集中最大的所述主键字段记录到书签单元中；

所述抽取单元中所述抽取程序不断运行。

7.根据权利要求6所述的高容错交通卡口过车数据实时抽取的系统，其特征在于，

所述抽取单元中还包括检测程序，通过所述检测程序判断所述过车记录数据集的大小；

当所述过车记录数据集的大小大于0时，所述过车记录数据集发送至所述消息服务器，并将过车记录数据集中最大的所述主键字段记录到书签单元中；

当所述过车记录数据集的大小等于0时，所述抽取程序按照一定的间隔时间延长抽取，从所述初始主键字段开始，以所述步长值和延长的次数为参数按照所述主键字段进行对所述过车记录数据进行增量抽取，直至抽取的所述过车记录数据集的大小大于0，将所述过车记录数据集中最小的所述主键字段赋值给所述初始主键字段。

8.根据权利要求6所述的高容错交通卡口过车数据实时抽取的系统，其特征在于，

所述卡口基础平台数据库接收所述过车记录数据，所述抽取单元中所述抽取程序启动，从所述书签单元中读取所述主键字段，并将其作为所述初始主键字段。

9.根据权利要求6所述的高容错交通卡口过车数据实时抽取的系统，其特征在于，

所述抽取单元中所述抽取程序设置初始时间参数和结束时间参数；

所述抽取程序启动，判断出所述初始时间参数，确定时间步长值；

所述抽取程序按照所述过车时间，以所述时间步长值从所述过车信息表中读取所述过车记录数据，直至读取到所述过车记录数据，并将读取到的所述过车记录数据中所述主键字作为所述初始主键字段；

所述抽取程序判断抽取到的最新的所述过车时间是否超出所述结束时间参数；

所述过车时间没有超过所述结束时间参数，所述抽取程序继续运行；

所述过车时间超过所述结束时间参数，所述抽取程序退出运行。

10.根据权利要求9所述的高容错交通卡口过车数据实时抽取的系统，其特征在于，

所述抽取单元中所述抽取程序按照所述过车时间，以所述时间步长值从所述过车信息表中读取所述过车记录数据，如果往后循环一天无法读取所述过车记录数据，所述抽取程序退出运行。