CN111368134B - 一种交通数据处理的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种交通数据处理的方法、装置、电子设备及存储介质，其中所述方法包括：获取数据源的原始数据，所述原始数据包括道路监控数据；在对所述原始数据进行业务分析以前，采用预设的至少一种数据筛选规则，从所述原始数据中识别出存在外部干扰的数据，其中，引起所述外部干扰的因素包括如下的至少一种：车牌号码识别错误、卡口时间校准错误、两卡口之间的距离小于预设距离、预设的车管数据库中用于表示同一对象的描述信息不一致；对所述存在外部干扰的数据进行数据预处理，以此降低外部条件对数据分析的影响，提高数据分析的准确性。

Description

一种交通数据处理的方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理领域，尤其涉及一种交通数据处理的方法、装置、电子设备及存储介质。

背景技术

近年来随着大数据技术的发展，为原来海量的日志、上网记录、历史数据等提供了新的分析技术手段，通过分析这些海量数据能够发现很多平时发现不到的有价值信息，数据分析由量变带来质变。大数据技术对企业内部可以支撑企业的经营分析，对于外部可以实现新的应用创新，为用户带来更多更好的服务。

目前在生产应用中时常出现这样的情况，一个应用在逻辑推导上没有任何问题，但是在实际的场景应用时由于各种外部条件的制约导致整个应用的准确率很低甚至应用整体不可用，此时如果直接用这些数据进行大数据的业务分析很可能会导致分析结果的不准确。

发明内容

有鉴于此，本申请提供一种交通数据处理的方法、装置、电子设备及存储介质。

具体地，本申请是通过如下技术方案实现的：

第一方面，本申请实施例提供了一种交通数据处理的方法，所述方法包括：

获取数据源的原始数据，所述原始数据包括道路监控数据；

在对所述原始数据进行业务分析以前，采用预设的至少一种数据筛选规则，从所述原始数据中识别出存在外部干扰的数据，其中，引起所述外部干扰的因素包括如下的至少一种：车牌号码识别错误、卡口时间校准错误、两卡口之间的距离小于预设距离、预设的车管数据库中用于表示同一对象的描述信息不一致；

对所述存在外部干扰的数据进行数据预处理。

可选地，所述道路监控数据包括车辆信息，所述车辆信息包括车牌号码、车牌颜色、车辆品牌及车身颜色；

当所述外部干扰为车牌号码识别错误时，所述采用预设的至少一种数据筛选规则，从所述原始数据中识别出存在外部干扰的数据，包括：

从所述道路监控数据中确定出具有相同车牌号码以及相同车牌颜色的第一分组道路监控数据；

从第一分组道路监控数据中确定出具有相同车辆品牌及相同车身颜色的第二分组道路监控数据；

若所述第二分组道路监控数据占所述第一分组道路监控数据的比例小于第一预设值，则将所述第二分组道路监控数据作为存在外部干扰的数据。

可选地，当所述外部干扰为两卡口之间的距离小于预设距离时，所述采用预设的至少一种数据筛选规则，从所述原始数据中识别出存在外部干扰的数据，包括：

获取同一车辆标识经过相邻的两个卡口的第一通行时长；

若多个车辆标识的经过所述两个卡口的第一通行时长小于第二预设值，则判定所述两卡口的距离小于预设距离，并将所述两个卡口中任一卡口的卡口信息作为存在外部干扰的数据。

可选地，当所述外部干扰为卡口时间校准错误时，所述采用预设的至少一种数据筛选规则，从所述原始数据中识别出存在外部干扰的数据，包括：

分别获取第一卡口及第二卡口在T1时间段的第一历史监控数据，将所述第一卡口的第一历史监控数据与所述第二卡口的第一历史监控数据按照车辆标识进行匹配，以确定同一车辆标识在T1时间段内经过第一卡口到第二卡口的第二通行时长；

汇总不同车辆标识的第二通行时长，以确定所述T1时间段内所述第一卡口到所述第二卡口的平均通行时长；

获取所述第一卡口及所述第二卡口在T2时间段的第二历史监控数据，将所述第一卡口的第二历史监控数据与所述第二卡口的第二历史监控数据按照车辆标识进行匹配，以确定同一车辆标识在T2时间段内通过所述第一卡口到所述第二卡口的第三通行时长；

若所述第三通行时长在平均通行时长范围外的车辆的数量大于第三预设值，则判断所述第一卡口和/或所述第二卡口出现校时错误，其中，所述平均通行时长范围为所述平均通行时长前后取预设步长的数值后得到的范围；

从所述第一卡口和/或所述第二卡口中确认出现校时错误的卡口，并将出现校时错误的卡口对应的卡口信息作为存在外部干扰的数据。

可选地，所述从所述第一卡口和/或所述第二卡口中确认出现校时错误的卡口，包括：

若判断所述第一卡口与除所述第二卡口以外的卡口之间出现校时错误，则判定所述第一卡口出现校时错误；

若判断所述第二卡口与除所述第一卡口以外的卡口之间出现校时错误，则判定所述第二卡口出现校时错误。

可选地，所述对所述存在外部干扰的数据进行的数据预处理，包括如下任一一种预处理：

删除所述存在外部干扰的数据；

将所述存在外部干扰的数据提取到预设的存储文件中；

对所述存在外部干扰的数据进行纠正处理。

第二方面，本申请实施例提供了一种交通数据处理装置，所述装置包括：

原始数据获取模块，用于获取数据源的原始数据，所述原始数据包括道路监控数据；

数据筛选模块，用于在对所述原始数据进行业务分析以前，采用预设的至少一种数据筛选规则，从所述原始数据中识别出存在外部干扰的数据，其中，引起所述外部干扰的因素包括如下的至少一种：车牌号码识别错误、卡口时间校准错误、两卡口之间的距离小于预设距离、预设的车管数据库中用于表示同一对象的描述信息不一致；

数据预处理模块，用于对所述存在外部干扰的数据进行数据预处理。

可选地，所述道路监控数据包括车辆信息，所述车辆信息包括车牌号码、车牌颜色、车辆品牌及车身颜色；

当所述外部干扰为车牌号码识别错误时，所述数据筛选模块包括：

第一分组道路监控数据确定子模块，用于从所述道路监控数据中确定出具有相同车牌号码以及相同车牌颜色的第一分组道路监控数据；

第二分组道路监控数据确定子模块，用于从第一分组道路监控数据中确定出具有相同车辆品牌及相同车身颜色的第二分组道路监控数据；

第一干扰数据确定子模块，用于若所述第二分组道路监控数据占所述第一分组道路监控数据的比例小于第一预设值，则将所述第二分组道路监控数据作为存在外部干扰的数据。

可选地，当所述外部干扰为两卡口之间的距离小于预设距离时，所述数据筛选模块包括：

第一通行时长获取子模块，用于获取同一车辆标识经过相邻的两个卡口的第一通行时长；

第二干扰数据确定子模块，用于若多个车辆标识的经过所述两个卡口的第一通行时长小于第二预设值，则判定所述两卡口的距离小于预设距离，并将所述两个卡口中任一卡口的卡口信息作为存在外部干扰的数据。

可选地，当所述外部干扰为卡口时间校准错误时，所述数据筛选模块包括：

第二通行时长确定子模块，用于分别获取第一卡口及第二卡口在T1时间段的第一历史监控数据，将所述第一卡口的第一历史监控数据与所述第二卡口的第一历史监控数据按照车辆标识进行匹配，以确定同一车辆标识在T1时间段内经过第一卡口到第二卡口的第二通行时长；

平均通行时长确定子模块，用于汇总不同车辆标识的第二通行时长，以确定所述T1时间段内所述第一卡口到所述第二卡口的平均通行时长；

第三通行时长确定子模块，用于获取所述第一卡口及所述第二卡口在T2时间段的第二历史监控数据，将所述第一卡口的第二历史监控数据与所述第二卡口的第二历史监控数据按照车辆标识进行匹配，以确定同一车辆标识在T2时间段内通过所述第一卡口到所述第二卡口的第三通行时长；

校时错误初判子模块，用于若所述第三通行时长在平均通行时长范围外的车辆的数量大于第三预设值，则判断所述第一卡口和/或所述第二卡口出现校时错误，其中，所述平均通行时长范围为所述平均通行时长前后取预设步长的数值后得到的范围；

第三干扰数据确定子模块，用于从所述第一卡口和/或所述第二卡口中确认出现校时错误的卡口，并将出现校时错误的卡口对应的卡口信息作为存在外部干扰的数据。

可选地，所述第三干扰数据确定子模块具体用于：

若判断所述第一卡口与除所述第二卡口以外的卡口之间出现校时错误，则判定所述第一卡口出现校时错误；

若判断所述第二卡口与除所述第一卡口以外的卡口之间出现校时错误，则判定所述第二卡口出现校时错误。

可选地，所述数据预处理模块包括：

干扰数据删除子模块，用于删除所述存在外部干扰的数据；

和/或，

干扰数据提取子模块，用于将所述存在外部干扰的数据提取到预设的存储文件中；

和/或，

干扰数据纠正子模块，用于对所述存在外部干扰的数据进行纠正处理。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述述的交通数据处理的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述述的交通数据处理的方法。

本申请实施例具有如下有益效果：

在本实施例中，通过预先设定至少一种数据筛选规则，在获得数据源的原始数据以后，对该原始数据进行业务分析以前，可以采用该至少一种数据筛选规则从原始数据中识别出存在外部干扰的数据，并对识别出的存在外部干扰的数据进行数据预处理，以此降低外部条件对数据分析的影响，提高数据分析的准确性。

附图说明

图1是本申请一示例性实施例示出的一种交通数据处理的方法实施例的步骤流程图；

图2是本申请一示例性实施例示出的另一种交通数据处理的方法实施例的步骤流程图；

图3是本申请一示例性实施例示出的又一种交通数据处理的方法实施例的步骤流程图；

图4是本申请一示例性实施例示出的再一种交通数据处理的方法实施例的步骤流程图；

图5是本申请的装置所在设备的一种硬件结构图；

图6是本申请一示例性实施例示出的一种交通数据处理装置实施例的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请实施例中，基于外部干扰不以程序本身的约束而转移，因此从口头或者书面约定的方式很难保证这些外部干扰因素在项目运行以及后续迭代过程中是良性因素的特点，提出了以下解决方案：

参考图1，示出了本申请一示例性实施例示出的一种交通数据处理的方法实施例的步骤流程图，本实施例具体可以包括如下步骤：

步骤101，获取数据源的原始数据。

步骤102，在对所述原始数据进行业务分析以前，采用预设的至少一种数据筛选规则，从所述原始数据中识别出存在外部干扰的数据。

步骤103，对所述存在外部干扰的数据进行数据预处理。

示例性地，引起外部干扰的因素可以包括如下的至少一种：车牌号码识别错误、卡口时间校准错误、两卡口之间的距离小于预设距离、预设的车管数据库中用于表示同一对象的描述信息不一致等。

在该步骤中，可以预先设定至少一种数据筛选规则，在获得数据源的原始数据以后，对该原始数据进行业务分析以前，可以采用该至少一种数据筛选规则从原始数据中识别出存在外部干扰的数据，并对识别出的存在外部干扰的数据进行数据预处理，以此降低外部条件对数据分析的影响，提高数据分析的准确性。

在下述实施例中，以原始数据为道路监控数据为例，对图1的交通数据处理过程进行更为详细的说明。

在一些实施例中，在道路监控数据的分析场景中，对外部条件干扰的数据的处理逻辑例如可以包括，采用更复杂的逻辑去优化自身的逻辑，让自身逻辑可以适应外部干扰的噪声并去填补数据空洞。或者，还可以加强约束和外部设备的性能，比如打造一整套外部条件检测和报警的系统，然后当外部条件出现不合约束的现象时进行及时的更正。

除此以外，本申请还可以根据道路监控数据的数据特点，提出以下的数据处理方案：

参考图2，示出了本申请一示例性实施例示出的另一种交通数据处理的方法实施例的步骤流程图，在本实施例中，外部干扰为车牌号码识别错误，例如，因光线或角度等外部因素导致车牌号码识别错误，比如，车牌上的0、C、D、G这几个字符有时候由于光线或角度的原因非常容易混淆。

本实施例具体可以包括如下步骤：

步骤201，获取数据源的道路监控数据。

数据源可以包括架设在道路中的抓拍机(例如具有抓拍功能的摄像机等)等。

作为一种示例，道路监控数据可以包括车辆信息，其中，该车辆信息可以包括车牌号码、车牌颜色、车辆品牌及车身颜色等信息。

示例性地，车辆品牌可以包括车辆主品牌以及车辆子品牌。

在一种实施例中，外部干扰因素还可以包括预设的车管数据库中用于表示同一对象的描述信息不一致，例如，车辆品牌描述不一致。由于车管数据库中很多信息如车辆品牌等都是人工录入，这就导致了同一个品牌的描述千奇百怪，比如“大众”品牌，会有“上海大众”、“dazhong”、“Dazhong.DZ”这样的变种描述，导致车辆数据统计困难。为了从源头上解决这种外部干扰，在本实施例中，可以设置如下的车辆品牌获取方式：车牌品牌可以根据输入的车架号确定，车架号中包括生产商的标号等标识用于表征车辆品牌。在其他实施例中，车辆品牌还可以由用户通过用户界面显示的品牌列表选定。通过上述的方式可以保证车辆品牌输入的统一性，避免手动输入车辆品牌带来的车辆品牌描述不一致的情况。

示例性地，该道路监控数据为过去某个时间段内的数据或者实时获取的数据等，本实施例对此不作限制。

步骤202，在对所述道路监控数据进行业务分析以前，从所述道路监控数据中确定出具有相同车牌号码以及相同车牌颜色的第一分组道路监控数据。

在本实施例中，在对所述道路监控数据进行业务分析以前，可以先对道路监控数据进行数据清洗处理，以识别出存在外部干扰的数据。

在一种实施方式中，可以以车牌颜色+车牌号码合成的组合键Key1对所有道路监控数据进行聚类分组，例如，将一天的道路监控数据根据Key1进行分组，以将同样车牌颜色以及相同车牌号码的数据记录聚合成第一分组道路监控数据。当聚类完成以后，可以得到多个第一分组道路监控数据。

步骤203，从第一分组道路监控数据中确定出具有相同车辆品牌及相同车身颜色的第二分组道路监控数据。

在得到多个第一分组道路监控数据以后，针对各第一分组道路监控数据，可以采用其他车辆特征，如车辆品牌以及车身颜色进行二次聚类。例如，以车辆品牌+车身颜色合成的组合键Key2对各第一分组道路监控数据进行聚类分组，以将相同车身颜色和相同车辆品牌的数据记录聚合成第二分组道路监控数据。当聚类完成以后，一个第一分组道路监控数据可以得到至少一个第二分组道路监控数据。

步骤204，若所述第二分组道路监控数据占所述第一分组道路监控数据的比例小于第一预设值，则将所述第二分组道路监控数据作为存在外部干扰的数据。

得到第二分组道路监控数据以后，可以计算该第二分组道路监控数据的数据数量(例如数据记录的数量)，并计算该数据量占所属第一分组道路监控数据的数据量的比例。例如，假设某个第二分组道路监控数据中的数据数量为2，对应的第一分组道路监控数据的数据量为100，则对应的占比为2％。

在实际中，针对单一车牌而言，识别错误的概率是比较低的，而且识别错误的结果也不是固定的，基于此，本实施例可以设定第一预设值x，当上述比例小于x时，则该第二分组道路监控数据可以作为存在车牌号码识别错误这种外部干扰的数据。

步骤205，对所述存在外部干扰的数据进行数据预处理。

在一种实施方式中，对存在外部干扰的数据进行的数据预处理，可以包括：直接在原始数据中删除该存在外部干扰的数据，以消除该存在外部干扰的数据带来的影响。

在另一种实施方式中，对存在外部干扰的数据进行的数据预处理，还可以包括：将存在外部干扰的数据提取出来，并保存到预设的存储文件中进行单独保存，以消除该存在外部干扰的数据带来的影响，还可以便于对该存在外部干扰的数据进行独立的分析。

需要说明的是，本实施例并不限于上述预处理的方式，在其他实施方式中，还可以对存在外部干扰的数据进行纠正处理，例如，根据存在外部干扰的数据中除车牌号码以外的其他车辆特征，在道路监控数据中进行匹配，获得与上述其他车辆特征一致的车辆数据，然后根据该匹配到的车辆数据与存在外部干扰的数据中的车牌号码进行比较，若两者较为类似，只存在一两个字符不一致，则可以根据匹配到的车辆数据对存在外部干扰的数据的车牌中不一致的字符进行纠正。

在本实施例中，对于外部干扰为车牌号码识别错误的场景，在识别存在外部干扰的数据时，除了车牌号码这一车辆特征以外，本实施例还引入其他的特征属性(车辆品牌、车身颜色、车牌颜色等)，通过多维度多层次的数据聚类，可以提高存在外部干扰的数据的识别准确率。

参考图3，示出了本申请一示例性实施例示出的又一种交通数据处理的方法实施例的步骤流程图，在本实施例中，外部干扰为两卡口之间的距离小于预设距离，即两个卡口离得太近，例如，一个转角就有好几个抓拍机，这种情况下对于时间的敏感度就被放大。示例性地，卡口可以是治安卡口，是指依托道路上特定场所，如收费站、交通或治安检查站等卡口点，对所有通过该卡口点的机动车辆进行拍摄、记录与处理的一种道路交通现场监测系统。

本实施例具体可以包括如下步骤：

步骤301，获取数据源的道路监控数据。

在本实施例中，该道路监控数据可以包括卡口的卡口信息，示例性地，卡口信息可以包括卡口标识以及通车记录，其中，通车记录可以包括通过本卡口的车辆标识以及车辆通过卡口时的时间。

步骤302，在对所述道路监控数据进行业务分析以前，获取同一车辆标识经过相邻的两个卡口的第一通行时长。

在该步骤中，可以从各卡口的通车记录中获取经过本卡口的车辆标识以及该车辆标识通过本卡口时的时间。然后对比相邻两卡口的通车记录中的车辆标识，以确定同一车辆标识分别经过相邻的两个卡口的时间，计算两个卡口的时间的时间差可以得到同一车辆标识经过相邻的两个卡口的第一通行时长。例如，某车辆经过相邻的A、B两个卡口的时间分别是10：00和10：10，则该车辆经过A、B两个卡口的第一通行时长为10分钟。

步骤303，若多个车辆标识的经过所述两个卡口的第一通行时长小于第二预设值，则判定所述两卡口的距离小于预设距离，并将所述两个卡口中任一卡口的卡口信息作为存在外部干扰的数据。

当确定同一车辆标识经过相邻的两个卡口的第一通行时长以后，可以判断该第一通行时长是否小于第二预设值。然后汇总经过上述两个卡口的所有车辆中第一通行时长小于第二预设值的车辆数量，如果该车辆数量有多个，例如，该车辆数量达到预设的车辆数量阈值，或者该车辆数量占经过上述两个卡口的车辆总数量的比例高于预设比例阈值，则表示上述相邻的两个卡口的距离太近，则可以从上述两个卡口中选择任一卡口的卡口信息作为存在外部干扰的数据。

步骤304，对所述存在外部干扰的数据进行数据预处理。

在一种实施方式中，对存在外部干扰的数据进行的数据预处理，可以包括：直接在原始数据中删除该存在外部干扰的数据，以消除该存在外部干扰的数据带来的影响。

在另一种实施方式中，对存在外部干扰的数据进行的数据预处理，还可以包括：将存在外部干扰的数据提取出来，并保存到预设的存储文件中进行单独保存，以消除该存在外部干扰的数据带来的影响，还可以便于对该存在外部干扰的数据进行独立的分析。

需要说明的是，本实施例并不限于上述预处理的方式，在其他实施方式中，还可以对存在外部干扰的数据进行纠正处理，例如，将上述两个卡口的卡口信息进行平均值计算，以将确定的平均值作为该两个卡口中用于分析的数据。

在本实施例中，对于因卡口较近导致出现存在外部干扰的数据的场景，通过获取同一车辆标识经过相邻的两个卡口的第一通行时长，并在判定多个车辆标识的经过上述两个卡口的第一通行时长小于第二预设值时，则判定两个卡口相隔太近，而不必依赖于经纬度和路网数据进行卡口是否太近的判断，提高了卡口距离的识别精确度。

参考图4，示出了本申请一示例性实施例示出的再一种交通数据处理的方法实施例的步骤流程图，在本实施例适用于外部干扰为卡口时间校准错误的场景。例如，抓拍机新老交织，并不能保证所有的卡口校时都准确，一般的校时服务以心跳连接作为保障，但是各种原因会让抓拍机断开或者不接入相关的校时服务，导致抓拍机校时不准。

对于卡口校时不准的场景，可以包括如下两种情况：

一种是卡口最近一个月内才出现校时不准的现象。

另一种是卡口长期处于校时不准的状态下。

针对后者，在数据表现上，卡口数据长期准确与长期不准确都是相对稳定的状态，因此本实施例着重在前者的分析。

本实施例根据历史时间段的数据来判定当前时间段中卡口是否出现校时不准的情况，具体可以包括如下步骤：

步骤401，获取数据源的道路监控数据。

在本实施例中，该道路监控数据可以包括卡口的卡口信息，示例性地，卡口信息可以包括卡口标识以及通车记录，其中，通车记录可以包括通过卡口的车辆标识以及车辆通过卡口时的时间。

步骤402，在对所述道路监控数据进行业务分析以前，分别获取第一卡口及第二卡口在T1时间段的第一历史监控数据，将所述第一卡口的第一历史监控数据与所述第二卡口的第一历史监控数据按照车辆标识进行匹配，以确定同一车辆标识在T1时间段内经过第一卡口到第二卡口的第二通行时长。

在一种实现方式中，可以从第一卡口对应的设备中获取第一卡口的第一历史监控数据，从第二卡口对应的设备中获取第二卡口的第一历史监控数据。或者，也可以从云端服务器中分别请求第一卡口的第一历史监控数据以及第二卡口的第一历史监控数据，在请求第一历史监控数据时可以根据卡口标识以及T1时间段请求。

在该步骤中，分别获得第一卡口及第二卡口在T1时间段的第一历史监控数据以后，可以将第一卡口的第一历史监控数据与第二卡口的第一历史监控数据按照车辆标识进行匹配，以确定同一车辆标识在T1时间段内经过第一卡口到第二卡口的第二通行时长。其中，第二通行时长即车辆从第一卡口行驶到第二卡口并通过第二卡口的时间段。

示例性地，针对第一卡口的第一历史监控数据中的各车辆标识，可以在第二卡口的第一历史监控数据的车辆标识中进行匹配，从而获得匹配的数据。针对各完成匹配的车辆，可以获取该车辆经过第一卡口时的通行时间以及经过第二卡口时的通行时间，计算两个通行时间的时间差即为车辆经过第一卡口到第二卡口的第二通行时长。

步骤403，汇总不同车辆标识的第二通行时长，以确定所述T1时间段内所述第一卡口到所述第二卡口的平均通行时长。

在该步骤中，考虑到各车辆经过第一卡口到第二卡口的第二通行时长会根据司机和路况的不同而波动，则本实施例可以对获得的各车辆的第二通行时长进行中数计算或期望值计算，从而得到T1时间段内第一卡口到第二卡口的平均通行时长。

步骤404，获取所述第一卡口及所述第二卡口在T2时间段的第二历史监控数据，将所述第一卡口的第二历史监控数据与所述第二卡口的第二历史监控数据按照车辆标识进行匹配，以确定同一车辆标识在T2时间段内通过所述第一卡口到所述第二卡口的第三通行时长。

其中，T2时间段为与T1时间段不同的时间段，例如，T2时间段为晚于T1时间段的时间，比如，T2时间段为4月份，T1时间段为3月份。

本实施例还可以获取第一卡口及第二卡口在T2时间段的第二历史监控数据，将该第一卡口的第二历史监控数据与该第二卡口的第二历史监控数据按照车辆标识进行匹配，以确定同一车辆标识在T2时间段内通过第一卡口到第二卡口的第三通行时长。关于第三通行时长的具体计算过程可以参考上述第二通行时长的方式，此处不再赘述。

步骤405，若所述第三通行时长在平均通行时长范围外的车辆的数量大于第三预设值，则判断所述第一卡口和/或所述第二卡口出现校时错误。

其中，平均通行时长范围为该平均通行时长前后取预设步长的数值后得到的范围。例如，平均通行时长为20分钟，预设步长为4分钟，前后调整预设步长，则得到的平均通行时长范围为[16,24]。

得到各车辆在T2时间段内通过第一卡口到第二卡口的第三通行时长以后，可以将各第三通行时长与平均通行时长范围比较，确定第三通行时长在该平均通行时长范围外的车辆的数量。如果该数量大于第三预设值，则可以判定第一卡口和/或第二卡口在T2时间段的时间与T1时间段的时间存在校时不一致的问题，即判断第一卡口和/或第二卡口出现校时错误。

在其他实施例中，还可以统计上述数量与T2时间段内经过第一卡口和第二卡口的所有车辆总数量的比例，如果该比例大于预设比例值，则表示第一卡口和/或第二卡口出现校时错误。或者，还可以计算各车辆在T2时间段内通过第一卡口到第二卡口的第三通行时长的平均通行时长，并比较该平均通行时长与T1时间段内第一卡口到第二卡口的平均通行时长，如果两个时间段的平均通行时长的差值大于预设差值阈值，则表示第一卡口和/或第二卡口出现校时错误。

步骤406，从所述第一卡口和/或所述第二卡口中确认出现校时错误的卡口，并将出现校时错误的卡口对应的卡口信息作为存在外部干扰的数据。

在实际中，当初步判断第一卡口和/或第二卡口出现校时错误时，还可以进一步确定是第一卡口出现校时错误还是第二卡口出现校时错误，或者两个卡口都出现校时错误，并将出现校时错误的卡口对应的卡口信息作为存在外部干扰的数据。

在本实施例的一种可能的实施方式中，步骤406可以包括如下子步骤：

若判断所述第一卡口与除所述第二卡口以外的卡口之间出现校时错误，则判定所述第一卡口出现校时错误；若判断所述第二卡口与除所述第一卡口以外的卡口之间出现校时错误，则判定所述第二卡口出现校时错误。

在该步骤中，当参考步骤402-步骤405的方式，判断第一卡口与除第二卡口以外的其他卡口之间出现校时错误，则判定第一卡口出现校时错误。例如，若第一卡口与第二卡口分别为卡口A和卡口B，若初步判断卡口A和/或卡口B出现校时错误，后来又判断卡口A和/或卡口C出现校时错误，则可以判定卡口A为校时不准的卡口。

同理对于第二卡口，当参考步骤402-步骤405的方式，判断第二卡口与除第一卡口以外的其他卡口之间出现校时错误，则判定第二卡口出现校时错误。

步骤407，对所述存在外部干扰的数据进行数据预处理。

在一种实施方式中，对存在外部干扰的数据进行的数据预处理，可以包括：直接在原始数据中删除该存在外部干扰的数据，以消除该存在外部干扰的数据带来的影响。

在另一种实施方式中，对存在外部干扰的数据进行的数据预处理，还可以包括：将存在外部干扰的数据提取出来，并保存到预设的存储文件中进行单独保存，以消除该存在外部干扰的数据带来的影响，还可以便于对该存在外部干扰的数据进行独立的分析。

需要说明的是，本实施例并不限于上述预处理的方式，在其他实施方式中，还可以对存在外部干扰的数据进行纠正处理，例如，假设校时不准的卡口的时间为提前了10秒，则可以调整其卡口信息中的通行时间减去10秒得到准确的时间。

在本实施例中，对于因卡口校时不准导致出现存在外部干扰的数据的场景，通过获取两个历史时间段的历史监控数据来确定最终确定校时不准的卡口，通过对卡口中的历史数据的分析来确定校时不准的卡口，从将将校时不准的卡口对应的卡口信息作为存在外部干扰的数据，可以提高卡口校时准确性识别的精准率，丰富存在外部干扰的数据的识别场景。

与前述方法的实施例相对应，本申请还提供了一种交通数据处理装置的实施例。

本申请的装置实施例可以应用在电子设备中。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本申请的装置所在设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常根据该装置的实际功能，还可以包括其他硬件，对此不再赘述。

请参考图6，示出了本申请一示例性实施例示出的一种交通数据处理装置实施例的结构框图，具体可以包括如下模块：

原始数据获取模块601，用于获取数据源的原始数据，所述原始数据包括道路监控数据；

数据筛选模块602，用于在对所述原始数据进行业务分析以前，采用预设的至少一种数据筛选规则，从所述原始数据中识别出存在外部干扰的数据，其中，引起所述外部干扰的因素包括如下的至少一种：车牌号码识别错误、卡口时间校准错误、两卡口之间的距离小于预设距离、预设的车管数据库中用于表示同一对象的描述信息不一致；

数据预处理模块603，用于对所述存在外部干扰的数据进行数据预处理。

在本实施例的一种可能的实施方式中，所述道路监控数据包括车辆信息，所述车辆信息包括车牌号码、车牌颜色、车辆品牌及车身颜色；

当所述外部干扰为车牌号码识别错误时，所述数据筛选模块602包括：

第一分组道路监控数据确定子模块，用于从所述道路监控数据中确定出具有相同车牌号码以及相同车牌颜色的第一分组道路监控数据；

第二分组道路监控数据确定子模块，用于从第一分组道路监控数据中确定出具有相同车辆品牌及相同车身颜色的第二分组道路监控数据；

第一干扰数据确定子模块，用于若所述第二分组道路监控数据占所述第一分组道路监控数据的比例小于第一预设值，则将所述第二分组道路监控数据作为存在外部干扰的数据。

在本实施例的一种可能的实施方式中，当所述外部干扰为两卡口之间的距离小于预设距离时，所述数据筛选模块602包括：

第一通行时长获取子模块，用于获取同一车辆标识经过相邻的两个卡口的第一通行时长；

第二干扰数据确定子模块，用于若多个车辆标识的经过所述两个卡口的第一通行时长小于第二预设值，则判定所述两卡口的距离小于预设距离，并将所述两个卡口中任一卡口的卡口信息作为存在外部干扰的数据。

在本实施例的一种可能的实施方式中，当所述外部干扰为卡口时间校准错误时，所述数据筛选模块602包括：

第二通行时长确定子模块，用于分别获取第一卡口及第二卡口在T1时间段的第一历史监控数据，将所述第一卡口的第一历史监控数据与所述第二卡口的第一历史监控数据按照车辆标识进行匹配，以确定同一车辆标识在T1时间段内经过第一卡口到第二卡口的第二通行时长；

平均通行时长确定子模块，用于汇总不同车辆标识的第二通行时长，以确定所述T1时间段内所述第一卡口到所述第二卡口的平均通行时长；

第三通行时长确定子模块，用于获取所述第一卡口及所述第二卡口在T2时间段的第二历史监控数据，将所述第一卡口的第二历史监控数据与所述第二卡口的第二历史监控数据按照车辆标识进行匹配，以确定同一车辆标识在T2时间段内通过所述第一卡口到所述第二卡口的第三通行时长；

校时错误初判子模块，用于若所述第三通行时长在平均通行时长范围外的车辆的数量大于第三预设值，则判断所述第一卡口和/或所述第二卡口出现校时错误，其中，所述平均通行时长范围为所述平均通行时长前后取预设步长的数值后得到的范围；

第三干扰数据确定子模块，用于从所述第一卡口和/或所述第二卡口中确认出现校时错误的卡口，并将出现校时错误的卡口对应的卡口信息作为存在外部干扰的数据。

在本实施例的一种可能的实施方式中，所述第三干扰数据确定子模块具体用于：

若判断所述第一卡口与除所述第二卡口以外的卡口之间出现校时错误，则判定所述第一卡口出现校时错误；

若判断所述第二卡口与除所述第一卡口以外的卡口之间出现校时错误，则判定所述第二卡口出现校时错误。

在本实施例的一种可能的实施方式中，所述数据预处理模块603包括：

干扰数据删除子模块，用于删除所述存在外部干扰的数据；

和/或，

干扰数据提取子模块，用于将所述存在外部干扰的数据提取到预设的存储文件中；

和/或，

干扰数据纠正子模块，用于对所述存在外部干扰的数据进行纠正处理。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述方法实施例的步骤。

本申请实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法实施例的步骤。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如车载终端、移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (12)

1.一种交通数据处理的方法，其特征在于，所述方法包括：

获取数据源的原始数据，所述原始数据包括道路监控数据，所述道路监控数据包括车辆信息，所述车辆信息包括车牌号码、车牌颜色、车辆品牌及车身颜色；

在对所述原始数据进行业务分析以前，采用预设的至少一种数据筛选规则，从所述原始数据中识别出存在外部干扰的数据，其中，引起所述外部干扰的因素包括如下的至少一种：车牌号码识别错误和卡口时间校准错误；

对所述存在外部干扰的数据进行数据预处理；

当所述引起所述外部干扰的因素为车牌号码识别错误时，所述采用预设的至少一种数据筛选规则，从所述原始数据中识别出存在外部干扰的数据，包括：

从所述道路监控数据中确定出具有相同车牌号码以及相同车牌颜色的第一分组道路监控数据；

从第一分组道路监控数据中确定出具有相同车辆品牌及相同车身颜色的第二分组道路监控数据；

若所述第二分组道路监控数据占所述第一分组道路监控数据的比例小于第一预设值，则将所述第二分组道路监控数据作为存在外部干扰的数据；

和/或，

当所述引起所述外部干扰的因素为卡口时间校准错误时，所述采用预设的至少一种数据筛选规则，从所述原始数据中识别出存在外部干扰的数据，包括：

分别获取第一卡口及第二卡口在T1时间段的第一历史监控数据，将所述第一卡口的第一历史监控数据与所述第二卡口的第一历史监控数据按照车辆标识进行匹配，以确定同一车辆标识在T1时间段内经过第一卡口到第二卡口的第二通行时长；

汇总不同车辆标识的第二通行时长，以确定所述T1时间段内所述第一卡口到所述第二卡口的平均通行时长；

获取所述第一卡口及所述第二卡口在T2时间段的第二历史监控数据，将所述第一卡口的第二历史监控数据与所述第二卡口的第二历史监控数据按照车辆标识进行匹配，以确定同一车辆标识在T2时间段内通过所述第一卡口到所述第二卡口的第三通行时长；

若所述第三通行时长在平均通行时长范围外的车辆的数量大于第三预设值，则判断所述第一卡口和/或所述第二卡口出现校时错误，其中，所述平均通行时长范围为所述平均通行时长前后取预设步长的数值后得到的范围；

从所述第一卡口和/或所述第二卡口中确认出现校时错误的卡口，并将出现校时错误的卡口对应的卡口信息作为存在外部干扰的数据。

2.根据权利要求1所述的方法，其特征在于，所述引起所述外部干扰的因素还包括两卡口之间的距离小于预设距离，所述采用预设的至少一种数据筛选规则，从所述原始数据中识别出存在外部干扰的数据，还包括：

获取同一车辆标识经过相邻的两个卡口的第一通行时长；

若多个车辆标识的经过所述两个卡口的第一通行时长小于第二预设值，则判定所述两卡口的距离小于预设距离，并将所述两个卡口中任一卡口的卡口信息作为存在外部干扰的数据。

3.根据权利要求1所述的方法，其特征在于，所述从所述第一卡口和/或所述第二卡口中确认出现校时错误的卡口，包括：

若判断所述第一卡口与除所述第二卡口以外的卡口之间出现校时错误，则判定所述第一卡口出现校时错误；

若判断所述第二卡口与除所述第一卡口以外的卡口之间出现校时错误，则判定所述第二卡口出现校时错误。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述存在外部干扰的数据进行的数据预处理，包括如下任意一种预处理：

删除所述存在外部干扰的数据；

将所述存在外部干扰的数据提取到预设的存储文件中；

对所述存在外部干扰的数据进行纠正处理。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述引起所述外部干扰的因素还包括：预设的车管数据库中用于表示同一对象的描述信息不一致。

6.一种交通数据处理装置，其特征在于，所述装置包括：

原始数据获取模块，用于获取数据源的原始数据，所述原始数据包括道路监控数据，所述道路监控数据包括车辆信息，所述车辆信息包括车牌号码、车牌颜色、车辆品牌及车身颜色；

数据筛选模块，用于在对所述原始数据进行业务分析以前，采用预设的至少一种数据筛选规则，从所述原始数据中识别出存在外部干扰的数据，其中，引起所述外部干扰的因素包括如下的至少一种：车牌号码识别错误和卡口时间校准错误；

数据预处理模块，用于对所述存在外部干扰的数据进行数据预处理；

当所述引起所述外部干扰的因素为车牌号码识别错误时，所述数据筛选模块包括：

第一分组道路监控数据确定子模块，用于从所述道路监控数据中确定出具有相同车牌号码以及相同车牌颜色的第一分组道路监控数据；

第二分组道路监控数据确定子模块，用于从第一分组道路监控数据中确定出具有相同车辆品牌及相同车身颜色的第二分组道路监控数据；

第一干扰数据确定子模块，用于若所述第二分组道路监控数据占所述第一分组道路监控数据的比例小于第一预设值，则将所述第二分组道路监控数据作为存在外部干扰的数据；

和/或，当所述引起所述外部干扰的因素为卡口时间校准错误时，所述数据筛选模块包括：

第二通行时长确定子模块，用于分别获取第一卡口及第二卡口在T1时间段的第一历史监控数据，将所述第一卡口的第一历史监控数据与所述第二卡口的第一历史监控数据按照车辆标识进行匹配，以确定同一车辆标识在T1时间段内经过第一卡口到第二卡口的第二通行时长；

平均通行时长确定子模块，用于汇总不同车辆标识的第二通行时长，以确定所述T1时间段内所述第一卡口到所述第二卡口的平均通行时长；

第三通行时长确定子模块，用于获取所述第一卡口及所述第二卡口在T2时间段的第二历史监控数据，将所述第一卡口的第二历史监控数据与所述第二卡口的第二历史监控数据按照车辆标识进行匹配，以确定同一车辆标识在T2时间段内通过所述第一卡口到所述第二卡口的第三通行时长；

校时错误初判子模块，用于若所述第三通行时长在平均通行时长范围外的车辆的数量大于第三预设值，则判断所述第一卡口和/或所述第二卡口出现校时错误，其中，所述平均通行时长范围为所述平均通行时长前后取预设步长的数值后得到的范围；

第三干扰数据确定子模块，用于从所述第一卡口和/或所述第二卡口中确认出现校时错误的卡口，并将出现校时错误的卡口对应的卡口信息作为存在外部干扰的数据。

7.根据权利要求6所述的装置，其特征在于，所述引起所述外部干扰的因素还包括两卡口之间的距离小于预设距离，所述数据筛选模块还包括：

第一通行时长获取子模块，用于获取同一车辆标识经过相邻的两个卡口的第一通行时长；

第二干扰数据确定子模块，用于若多个车辆标识的经过所述两个卡口的第一通行时长小于第二预设值，则判定所述两卡口的距离小于预设距离，并将所述两个卡口中任一卡口的卡口信息作为存在外部干扰的数据。

8.根据权利要求6所述的装置，其特征在于，所述第三干扰数据确定子模块具体用于：

若判断所述第一卡口与除所述第二卡口以外的卡口之间出现校时错误，则判定所述第一卡口出现校时错误；

若判断所述第二卡口与除所述第一卡口以外的卡口之间出现校时错误，则判定所述第二卡口出现校时错误。

9.根据权利要求6-8任一项所述的装置，其特征在于，所述数据预处理模块包括：

干扰数据删除子模块，用于删除所述存在外部干扰的数据；

和/或，

干扰数据提取子模块，用于将所述存在外部干扰的数据提取到预设的存储文件中；

和/或，

干扰数据纠正子模块，用于对所述存在外部干扰的数据进行纠正处理。

10.根据权利要求6-8任一项所述的装置，其特征在于，所述引起所述外部干扰的因素还包括：预设的车管数据库中用于表示同一对象的描述信息不一致。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-5任一项所述的交通数据处理的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-5任一项所述的交通数据处理的方法。