CN110647563A - 一种数据处理方法、装置及其设备 - Google Patents

Abstract

本申请提供一种数据处理方法、装置及其设备，该方法包括：获取原始输入数据，并根据所述原始输入数据创建源数据表；根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对仓库数据表的主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；从所述仓库数据表中确定与应用数据表关联的主题域；根据所述主题域的数据项创建应用数据表。通过本申请的技术方案，可以非常灵活的供上层应用使用，更好的支持交通领域的上层业务，方便的进行数据共享，充分发挥数据价值。

Description

一种数据处理方法、装置及其设备

技术领域

本申请涉及互联网技术领域，尤其涉及一种数据处理方法、装置及其设备。

背景技术

数据是城市发展的基础资源，通过对数据进行归集，可以对城市的全局数据和实时数据进行有效分析，并根据分析结果有效的调配和优化公共资源，不断修正城市运行中的缺陷，解决城市发展中的关键问题，提高城市的竞争力。

交通数据是城市发展的重要数据，通过对交通数据进行归集，可以有效分析交通数据，根据分析结果调配和优化公共交通资源，解决城市发展中的交通问题。但是，分布在各业务系统的交通数据，具有分布性、异构性、有效性和及时性等问题，如何对交通数据进行有效归集，是目前需要被解决的问题。

发明内容

本申请提供一种数据处理方法，所述方法包括：

获取原始输入数据，并根据所述原始输入数据创建源数据表；其中，所述源数据表的数据项包括对象与数据描述信息的对应关系；

根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对仓库数据表的主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

从所述仓库数据表中确定与应用数据表关联的主题域；

根据所述主题域的数据项创建应用数据表。

本申请提供一种数据处理方法，所述方法包括：

获取原始输入的交通数据，并根据所述原始输入的交通数据创建源数据表；其中，所述源数据表的数据项包括对象与数据描述信息的对应关系；

根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对仓库数据表的主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

根据所述仓库数据表创建集市数据表，所述集市数据表包括至少一个数据中心；针对集市数据表的数据中心，从仓库数据表选取与所述数据中心对应的数据项，对选取的数据项进行处理，并在所述数据中心下记录处理后的数据项。

本申请提供一种数据处理装置，所述装置包括：

源数据接入层模块，用于获取原始输入数据，并根据所述原始输入数据创建源数据表；所述源数据表的数据项包括对象与数据描述信息的对应关系；

基础数据层模块，用于根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

应用数据层模块，用于从所述仓库数据表中确定与应用数据表关联的主题域；根据所述主题域的数据项创建应用数据表。

本申请提供一种数据处理装置，所述装置包括：

源数据接入层模块，用于获取原始输入的交通数据，并根据所述原始输入的交通数据创建源数据表；其中，所述源数据表的数据项包括对象与数据描述信息的对应关系；

基础数据层模块，用于根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；其中，针对所述仓库数据表的主题域，从所述源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

基础标签层模块，用于根据所述仓库数据表创建集市数据表，所述集市数据表包括至少一个数据中心；其中，针对所述集市数据表的数据中心，从所述仓库数据表选取与所述数据中心对应的数据项，对选取的数据项进行处理，并在所述数据中心下记录处理后的数据项。

本申请提供一种数据处理设备，包括：存储器和处理器；所述存储器，用于存储程序代码；所述处理器，用于调用所述程序代码，当所述程序代码被执行时，所述处理器用于执行以下操作：

获取原始输入数据，并根据所述原始输入数据创建源数据表；其中，所述源数据表的数据项包括对象与数据描述信息的对应关系；

根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对仓库数据表的主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

从所述仓库数据表中确定与应用数据表关联的主题域；

根据所述主题域的数据项创建应用数据表。

本申请提供一种数据处理设备，包括：存储器和处理器；所述存储器，用于存储程序代码；所述处理器，用于调用所述程序代码，当所述程序代码被执行时，所述处理器用于执行以下操作：

获取原始输入的交通数据，并根据所述原始输入的交通数据创建源数据表；其中，所述源数据表的数据项包括对象与数据描述信息的对应关系；

根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对仓库数据表的主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

根据所述仓库数据表创建集市数据表，所述集市数据表包括至少一个数据中心；针对集市数据表的数据中心，从仓库数据表选取与所述数据中心对应的数据项，对选取的数据项进行处理，并在所述数据中心下记录处理后的数据项。

基于上述技术方案，本申请实施例中，可以根据原始输入数据创建源数据表，源数据表的数据项包括对象与数据描述信息的对应关系；根据源数据表创建仓库数据表，仓库数据表包括至少一个主题域；针对每个主题域，从源数据表中选取与主题域对应的数据项，对选取的数据项进行处理，并在该主题域下记录处理后的数据项。基于上述方式，能够涵盖多部门、多系统的原始输入数据，能够融合互联网的原始输入数据，全面体现交通领域的各方面的原始输入数据。可以对原始输入数据进行数据归集，可以非常灵活的供上层应用使用(即根据仓库数据表中的数据项创建应用数据表，以供上层应用使用)，更好的支持交通领域的上层业务，方便的进行数据共享，充分发挥数据价值。

附图说明

为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其它的附图。

图1是本申请一种实施方式中的数据处理方法的流程图；

图2是本申请另一种实施方式中的数据处理方法的流程图；

图3A和图3B是本申请一种实施方式中的应用场景示意图；

图4是本申请一种实施方式中的数据处理装置的结构图；

图5是本申请另一种实施方式中的数据处理装置的结构图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请实施例中提出一种数据处理方法，可以应用于数据处理设备，该数据处理设备可以是交通管理平台、终端设备、PC(Personal Computer，个人计算机)、笔记本电脑、移动终端、服务器、数据平台等，对此数据处理设备的类型不做限制，参见图1所示，为数据处理方法的流程图，该方法可以包括：

步骤101，获取原始输入数据，并根据该原始输入数据创建源数据表；其中，该源数据表的数据项可以包括对象与数据描述信息的对应关系。

其中，根据该原始输入数据创建源数据表，可以包括：从该原始输入数据中获取对象(如实体对象)和数据描述信息；若源数据表不存在该对象的数据项，则在源数据表中添加数据项，并通过该数据项记录该对象和该数据描述信息；若源数据表存在该对象的数据项，则在该数据项添加该数据描述信息。

步骤102，根据源数据表创建仓库数据表，该仓库数据表包括至少一个主题域；其中，针对该仓库数据表的每个主题域，从源数据表中选取与该主题域对应的数据项，对选取的数据项进行处理，并在该主题域下记录处理后的数据项。

其中，在根据源数据表创建仓库数据表之前，还可以为源数据表中的对象划分至少一个主题域。主题域可以包括但不限于以下之一或任意组合：基本信息主题域、交通运行主题域、交通控制主题域、交通事件主题域、交通定位主题域、对象关系主题域。当然，上述主题域只是示例，对此不做限制。

步骤103，从仓库数据表中确定与应用数据表关联的主题域，并根据该主题域的数据项创建应用数据表。

具体的，从仓库数据表中确定与应用数据表关联的主题域，从该主题域的数据项中选择与应用数据表对应的数据项，根据选择的数据项创建应用数据表。

在一个例子中，上述执行顺序只是为了方便描述给出的一个示例，在实际应用中，还可以改变步骤之间的执行顺序，对此执行顺序不做限制。而且，在其它实施例中，并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其它实施例中可能被分解为多个步骤进行描述；本说明书中所描述的多个步骤，在其它实施例也可能被合并为单个步骤进行描述。

在一个例子中，在根据源数据表创建仓库数据表之后，还可以根据该仓库数据表创建集市数据表，该集市数据表可以包括至少一个数据中心；其中，针对该集市数据表的每个数据中心，可以从仓库数据表中选取与该数据中心对应的数据项，对选取的数据项进行处理，并在该数据中心下记录处理后的数据项。

进一步，在根据该仓库数据表创建集市数据表之前，还可以为该仓库数据表中的数据项划分至少一个数据中心。其中，数据中心可以包括但不限于以下一种或多种：车辆数据中心、事件数据中心、用户数据中心、设备数据中心、交通控制数据中心、出行数据中心、交通态势数据中心、交通网络数据中心。

在一个例子中，在根据该仓库数据表创建集市数据表之后，还可以从集市数据表中确定与应用数据表关联的数据中心，并根据所述数据中心的数据项创建应用数据表；或者，还可以从仓库数据表中确定与应用数据表关联的主题域，并从集市数据表中确定与应用数据表关联的数据中心；然后，可以根据所述主题域的数据项以及所述数据中心的数据项创建应用数据表。当然，上述方式只是创建应用数据表的几个示例，对此应用数据表的创建方式不做具体限制。

具体的，可以从该集市数据表中确定与应用数据表关联的数据中心，并从该数据中心的数据项中选择与应用数据表对应的数据项，并根据选择的数据项创建应用数据表。或者，从集市数据表中确定与应用数据表关联的数据中心，并从仓库数据表中确定与应用数据表关联的主题域；从该数据中心的数据项中选择与应用数据表对应的第一数据项，并从该主题域的数据项中选择与应用数据表对应的第二数据项；然后，根据第一数据项和第二数据项创建应用数据表。

在一个例子中，还可以创建公共维表，该公共维表用于记录第一格式数据(第一格式是适于存储的数据格式，如第一格式数据为010111)与第二格式数据(第二格式是适于显示的数据格式，如第二格式数据为杭州)的对应关系。

此外，仓库数据表中的数据项可以包括第一格式数据，集市数据表中的数据项可以包括第一格式数据，而应用数据表中的数据项可以包括第二格式数据。

基于此，根据仓库数据表中的数据项创建应用数据表，可以包括：通过查询公共维表，将仓库数据表中的数据项包括的第一格式数据，转换为应用数据表中的数据项包括的第二格式数据。例如，仓库数据表中的数据项包括第一格式数据“010111”，通过查询公共维表，可以将第一格式数据“010111”转换为第二格式数据“杭州”，即应用数据表中的数据项包括第二格式数据“杭州”。

根据集市数据表中的数据项创建应用数据表，可以包括：通过查询公共维表，将集市数据表中的数据项包括的第一格式数据，转换为应用数据表中的数据项包括的第二格式数据。例如，集市数据表中的数据项包括第一格式数据“010111”，通过查询公共维表，可以将第一格式数据“010111”转换为第二格式数据“杭州”，即应用数据表中的数据项包括第二格式数据“杭州”。

根据集市数据表中的数据项和仓库数据表中的数据项创建应用数据表，可以包括：通过查询公共维表，将集市数据表中的数据项包括的第一格式数据，转换为应用数据表中的数据项包括的第二格式数据，将仓库数据表中的数据项包括的第一格式数据，转换为应用数据表中的数据项包括的第二格式数据。

在上述实施例中，仓库数据表可以包括以下至少一种：基础数据子表，基础数据子表用于记录单一来源的数据；融合数据子表，融合数据子表用于记录多个来源的数据。集市数据表可以包括以下至少一种：多维分析子表，多维分析子表用于记录多粒度的数据；基础标签子表，基础标签子表用于记录单粒度的单维度数据；宽表标签子表，宽表标签子表用于记录单粒度的多维度数据。

在上述实施例中，上述原始输入数据可以包括：原始输入的交通数据。

基于上述技术方案，本申请实施例中，可以根据原始输入数据创建源数据表，源数据表的数据项包括对象与数据描述信息的对应关系；根据源数据表创建仓库数据表，仓库数据表包括至少一个主题域；针对每个主题域，从源数据表中选取与主题域对应的数据项，对选取的数据项进行处理，并在该主题域下记录处理后的数据项。基于上述方式，能够涵盖多部门、多系统的原始输入数据，能够融合互联网的原始输入数据，全面体现交通领域的各方面的原始输入数据。可以对原始输入数据进行数据归集，可以非常灵活的供上层应用使用(即根据仓库数据表中的数据项创建应用数据表，以供上层应用使用)，更好的支持交通领域的上层业务，方便的进行数据共享，充分发挥数据价值。

基于与上述方法同样的申请构思，本申请实施例中还提出另一种数据处理方法，参见图2所示，为该数据处理方法的流程图，该方法可以包括：

步骤201，获取原始输入的交通数据，并根据该原始输入的交通数据创建源数据表；其中，该源数据表的数据项包括对象与数据描述信息的对应关系。

步骤202，根据源数据表创建仓库数据表，该仓库数据表包括至少一个主题域；针对仓库数据表的每个主题域，从源数据表中选取与该主题域对应的数据项，对选取的数据项进行处理，并在该主题域下记录处理后的数据项。其中，主题域可以包括但不限于以下之一或任意组合：基本信息主题域、交通运行主题域、交通控制主题域、交通事件主题域、交通定位主题域、对象关系主题域。

步骤203，根据该仓库数据表创建集市数据表，该集市数据表可以包括至少一个数据中心；其中，针对该集市数据表的每个数据中心，可以从仓库数据表中选取与该数据中心对应的数据项，对选取的数据项进行处理，并在该数据中心下记录处理后的数据项。进一步的，该数据中心可以包括但不限于以下一种或多种：车辆数据中心、事件数据中心、用户数据中心、设备数据中心、交通控制数据中心、出行数据中心、交通态势数据中心、交通网络数据中心。

在一个例子中，还可以从仓库数据表中确定与应用数据表关联的主题域；根据所述主题域的数据项创建应用数据表；或者，从集市数据表中确定与应用数据表关联的数据中心；根据所述数据中心的数据项创建应用数据表；或者，从仓库数据表中确定与应用数据表关联的主题域；从集市数据表中确定与应用数据表关联的数据中心；根据所述主题域的数据项以及所述数据中心的数据项创建应用数据表。当然，上述方式只是示例，对此不做限制。

在一个例子中，上述执行顺序只是为了方便描述给出的一个示例，在实际应用中，还可以改变步骤之间的执行顺序，对此执行顺序不做限制。而且，在其它实施例中，并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其它实施例中可能被分解为多个步骤进行描述；本说明书中所描述的多个步骤，在其它实施例也可能被合并为单个步骤进行描述。

在上述实施例中，仓库数据表可以包括以下至少一种：基础数据子表，基础数据子表用于记录单一来源的数据；融合数据子表，融合数据子表用于记录多个来源的数据。集市数据表可以包括以下至少一种：多维分析子表，多维分析子表用于记录多粒度的数据；基础标签子表，基础标签子表用于记录单粒度的单维度数据；宽表标签子表，宽表标签子表用于记录单粒度的多维度数据。

基于上述技术方案，本申请实施例中，可以根据原始输入数据创建源数据表，源数据表的数据项包括对象与数据描述信息的对应关系；根据源数据表创建仓库数据表，仓库数据表包括至少一个主题域；针对每个主题域，从源数据表中选取与主题域对应的数据项，对选取的数据项进行处理，并在该主题域下记录处理后的数据项。基于上述方式，能够涵盖多部门、多系统的原始输入数据，能够融合互联网的原始输入数据，全面体现交通领域的各方面的原始输入数据。可以对原始输入数据进行数据归集，可以非常灵活的供上层应用使用(即根据仓库数据表中的数据项创建应用数据表，以供上层应用使用)，更好的支持交通领域的上层业务，方便的进行数据共享，充分发挥数据价值。

以下结合具体的应用场景，对本申请实施例的上述技术方案进行详细说明。

参见图3A所示，为本申请实施例的应用场景示意图，本申请实施例的数据架构可以包括但不限于如下几个数据层：ODS(Operational Data Store，源数据接入层)、DWD(Data Warehouse Detail，基础数据层)、DWS(Data Warehouse Summary，基础标签层)、ADS(Application Data Summary，应用数据层)。

ODS是数据源，用于接入多个业务系统，即业务系统的原始输入数据同步到ODS。而且，可以在ODS创建源数据表，并通过源数据表存储原始输入数据。

DWD是数据仓库，用于对ODS的数据进行清洗和整合等处理，而且，可以在DWD创建仓库数据表，并通过仓库数据表存储清洗和整合后的数据。

DWS是数据集市，用于对DWD的数据进行深度加工和汇总等处理，而且，可以在DWS创建集市数据表，并通过集市数据表存储深度加工和汇总后的数据。此外，与交通领域的数据指标体系有关的数据，可以存储在集市数据表中。

ADS是业务应用，用于为业务应用提供性能更高效的应用数据表，如根据仓库数据表和/或集市数据表创建应用数据表，将应用数据表提供给业务应用。

其中，应用数据表是与业务应用相关的，而仓库数据表和集市数据表是独立于业务应用的。例如，可以创建与业务应用无关的仓库数据表和集市数据表，即使业务应用发生变化，也不需要对仓库数据表和集市数据表进行调整，仓库数据表和集市数据表相对稳定的。此外，可以为业务应用A创建应用数据表A，为业务应用B创建应用数据表B，也就是说，在业务应用发生变化时，需要为业务应用提供新应用数据表，应用数据表随业务应用的变化而发生改变。

以下结合具体实施例，对上述ODS、DWD、DWS、ADS的处理进行说明。

一、源数据接入层ODS。获取原始输入数据，并根据原始输入数据创建源数据表；该源数据表的数据项可以包括实体对象与数据描述信息的对应关系。

其中，根据该原始输入数据创建源数据表，可以包括：从该原始输入数据中获取实体对象和数据描述信息；若源数据表不存在该实体对象的数据项，则在源数据表中添加数据项，并通过该数据项记录该实体对象和该数据描述信息；若源数据表存在该实体对象的数据项，则在该数据项添加该数据描述信息。

本实施例中，ODS接入多个业务系统，能够整合较多的业务系统，如可以涵盖政府业务系统、互联网业务系统等，这样，同步到ODS的原始输入数据可以包括各种类型的交通领域数据，如政府交通领域数据、互联网数据(如高德路网数据、互联网舆情事件等)，使归集到一起的数据量较多，对城市数据能力进行充分发掘，融合快速发展的互联网数据，全面体现交通领域的各方面。

在源数据接入层ODS，用于实现原始输入数据的汇聚，可以不对原始输入数据进行数据加工处理，而直接存储原始输入数据，仅完成数据从业务系统到ODS的同步。ODS的数据来源是多个业务系统，数据存储是长时间存储。

在源数据接入层ODS，可以创建源数据表，即通过源数据表存储各业务系统同步的原始输入数据。具体的，源数据表可以以实体对象为单位，存储原始输入数据，例如，原始输入数据可以包括实体对象和数据描述信息，当新增加原始输入数据时，如果是新的实体对象，可以抽取新的实体对象及其数据描述信息，在源数据表中添加数据项，并通过该数据项记录该实体对象和该数据描述信息；如果是已有实体对象，可以抽取其数据描述信息，则已有实体对象的数据项中记录该数据描述信息即可，上述方式灵活方便的适应新数据的归集。

其中，上述数据项是源数据表的一项数据，可以包括一个或者多个字段。

其中，上述实体对象可以是某个人、某辆车、某个路口、某条路，对此不做限制，所有与交通邻域有关的对象均可以在本实施例的保护范围。上述数据描述信息用于从属性、特性、动作等多方面描述该实体对象，对此不做限制。

二、基础数据层DWD。用于根据源数据表创建仓库数据表，该仓库数据表可以包括至少一个主题域。进一步的，在根据源数据表创建仓库数据表时，针对该仓库数据表的每个主题域，可以从该源数据表中选取与该主题域对应的数据项，并对选取的数据项进行处理，并在该主题域下记录处理后的数据项。

在一个例子中，在根据源数据表创建仓库数据表之前，还可以为源数据表中的实体对象划分至少一个主题域，即多个主题域。参见图3B所示，主题域可以包括但不限于以下之一或任意组合：基本信息主题域、交通运行主题域、交通控制主题域、交通事件主题域、交通定位主题域、对象关系主题域。

本实施例中，在基础数据层DWD，可以对ODS的数据进行清洗和整合等处理，生成能够直接对外服务的有效数据，并通过仓库数据表存储有效数据。

具体的，可以划分多个主题域，再针对各个主题域设计实体关系图，如可以划分为如下六个主题域：基本信息主题域、交通运行主题域、交通控制主题域、交通事件主题域、交通定位主题域、对象关系主题域。然后，在仓库数据表中记录每个主题域，并在每个主题域下记录数据项。其中，针对仓库数据表的每个主题域，可以从源数据表中选取与该主题域对应的数据项，并对选取的数据项进行处理(如清洗和整合等)，并在该主题域下记录处理后的数据项。

其中，与基本信息主题域对应的数据项可以包括但不限于以下内容：实体对象的基本描述信息。实体对象可以包括但不限于：路网、设备、车辆、交通工具、交通设施、交通参与者、交通管理者等，对此不做限制；此外，基本描述信息可以包括但不限于：实体对象的名称、地理位置等，对此不做限制。

与交通运行主题域对应的数据项可以包括但不限于以下内容：交通参与实体在交通运行过程中的状态描述，如道路速度、设备检测到的路况等数据。

与交通控制主题域对应的数据项可以包括但不限于以下内容：对各交通参与者的交通规则，如信号灯控制信息(如限行、禁行)、车辆限行规则等数据。

与交通事件主题域对应的数据项可以包括但不限于以下内容：交通出行事件和交通安全事件。其中，交通出行事件是对交通参与实体的交通出行的行为描述，如公交车进出站、公交车乘客刷卡、车辆通过卡口、公共自行车借还等；交通安全事件是对交通违法违规事件的描述，如车辆闯禁、交通事故等。

与交通定位主题域对应的数据项可以包括但不限于以下内容：对交通参与实体的位置轨迹的描述信息，如所有车辆、交通参与者、交通管理者的含有GPS(GlobalPositioning System，全球定位系统)定位信息的数据。

与对象关系主题域对应的数据项可以包括但不限于以下内容：交通参与实体之间的关系描述，如路口的上下游关系、道路与路口的关系、路口与各种设备之间的关系、公共交通站点和线路的关系、路口和路口关系等数据。

在一个例子中，DWD可以包括但不限于基础数据子层和融合数据子层。

其中，基础数据子层用于执行数据清洗、过滤、记历史等操作，其数据来源可以是ODS的数据，其数据存储时长可以根据业务需求设定。而且，在基础数据子层，可以创建基础数据子表，该基础数据子表用于记录单一来源的数据。具体的，针对基础数据子表的每个主题域，可以从该源数据表中选取与该主题域对应的单一来源(即上述不同的业务系统可以是不同来源)的数据项，对选取的数据项进行处理，并在该主题域下记录处理后的数据项。

融合数据子层用于对基础数据子层的数据进行整合，其数据来源可以是ODS的数据，也可以是基础数据子层的数据，其数据存储时长可以根据业务需求设定。而且，在融合数据子层，可以创建融合数据子表，该融合数据子表用于记录多个来源的数据。具体的，针对融合数据子表的每个主题域，可以从该源数据表中选取与该主题域对应的多个来源(即不同业务系统可以是不同来源)的数据项，对选取的数据项进行处理，并在该主题域下记录处理后的数据项。或者，将基础数据子表进行合并，得到融合数据子表。

基础数据子表和融合数据子表的区别在于：针对某个对象A，假设具有来源1的数据项1，具有来源2的数据项2，则在一个基础数据子表中，针对对象A可以记录有数据项1，而在另一个基础数据子表中，针对对象A可以记录有数据项2。与上述基础数据子表不同的是，在一个融合数据子表中，针对对象A可以记录有数据项1和数据项2。

三、基础标签层DWS，用于根据仓库数据表创建集市数据表，该集市数据表包括至少一个数据中心。其中，在根据仓库数据表创建集市数据表时，针对该集市数据表的每个数据中心，可以从仓库数据表中选取与该数据中心对应的数据项，对选取的数据项进行处理，并在该数据中心下记录处理后的数据项。

在一个例子中，在根据仓库数据表创建集市数据表之前，还可以为仓库数据表中的数据项划分至少一个数据中心。其中，数据中心包括但不限于以下一种或多种：车辆数据中心、事件数据中心、用户数据中心、设备数据中心、交通控制数据中心、出行数据中心、交通态势数据中心、交通网络数据中心。

本实施例中，在基础标签层DWS，用于对DWD的数据进行深度加工和汇总等处理，并通过集市数据表存储深度加工和汇总后的数据。具体的，可以划分多个数据中心，例如，可以划分为如下数据中心：车辆数据中心、事件数据中心、用户数据中心、设备数据中心、交通控制数据中心、出行数据中心、交通态势数据中心、交通网络数据中心。然后，在集市数据表中记录每个数据中心，并在每个数据中心下记录数据项。其中，针对集市数据表的每个数据中心，可以从仓库数据表中选取与该数据中心对应的数据项，并对选取的数据项进行处理(如深度加工和汇总等)，并在该数据中心下记录处理后的数据项。

与车辆数据中心对应的数据项可以包括但不限于以下内容：车辆的信息，如基本信息和统计类信息，如车辆常去目的地、闯禁次数、最常闯禁地点等。

与事件数据中心对应的数据项可以包括但不限于以下内容：事件的信息，如事件的发生时间、处理状态、结束事件、事件的汇总统计信息等。

与用户数据中心对应的数据项可以包括但不限于以下内容：用户的信息，如用户基本信息，统计类信息、由行为数据得到的属性信息、偏好信息等。

与设备数据中心对应的数据项可以包括但不限于以下内容：设备的信息，如基本信息、统计类信息等，如检测到车辆通过数量、检测到闯禁车次等。

与交通控制数据中心对应的数据项可以包括但不限于以下内容：对于交通控制规则的汇总信息、优化信息、评价信息、控制信息等。

与出行数据中心对应的数据项可以包括但不限于以下内容：对于交通参与者在交通运行过程中的汇总指标、挖掘指标等，如车流量、客流量等。

与交通态势数据中心对应的数据项可以包括但不限于以下内容：对于交通运行中各种状态的汇总信息、描述信息等，如拥堵指数、失衡指数等。

与交通网络数据中心对应的数据项可以包括但不限于以下内容：对于路网、公共设施网络等数据的汇总信息、描述信息等，如公交线路数等。

其中，DWS包括但不限于宽表数据子层、基础数据子层、多维分析子层。

基础数据子层用于统计汇总基础数据标签，可以按照不同的维度进行统计，主要操作可以包括基于业务整合、关联计算得到明细数据、并可以基于公共指标、排序、聚合、挖掘等算法得到分析指标数据，基础数据子层的数据存储时长可以根据业务需求设定。而且，在基础数据子层，可以创建基础标签子表，该基础标签子表用于记录单粒度的单维度数据。具体的，针对基础标签子表的每个数据中心，可以获取与该数据中心对应的单粒度且单维度的数据项，并对选取的数据项进行处理，并在该数据中心下记录处理后的数据项。

宽表数据子层用于整合应用需要的指标宽表，如对基础数据子层的数据进行整合等，其数据存储时长可以根据业务需求设定。而且在宽表数据子层，可以创建宽表标签子表，该宽表标签子表用于记录单粒度的多维度数据。具体的，针对宽表标签子表的每个数据中心，获取与该数据中心对应的单粒度且多维度的数据项，对选取的数据项进行处理，并在该数据中心下记录处理后的数据项。或者，将基础标签子表进行合并，得到宽表标签子表。

多维分析子层用于统计汇总多维度数据标签，按照不同粒度、不同维度进行统计，为基础数据子层减少数据量，主要操作包括基于业务整合、关联计算得到明细数据，其数据存储时长可以根据业务需求设定。在多维分析子层，可以创建多维分析子表，该多维分析子表用于记录多粒度的数据。具体的，针对多维分析子表的每个数据中心，获取与该数据中心对应的多粒度的数据项，对选取的数据项进行处理，并在该数据中心下记录处理后的数据项。

其中，基础标签子表、宽表标签子表、多维分析子表的区别在于：针对某个对象A，其分析粒度可以为用户粒度、用户粒度+时间粒度、用户粒度+时间粒度+地址粒度等，其分析维度可以为违规次数、超速信息、车辆故障信息等。基于此，基础标签子表用于记录单粒度的单维度数据，如基础标签子表1用于记录用户粒度的违规次数，基础标签子表2用于记录用户粒度的超速信息，基础标签子表3用于记录用户粒度的车辆故障信息。此外，宽表标签子表用于记录单粒度的多维度数据，如宽表标签子表1用于记录用户粒度的违规次数、超速信息、车辆故障信息。此外，多维分析子表用于记录多粒度的数据，如多维分析子表1用于记录用户粒度+时间粒度的违规次数、超速信息、车辆故障信息，多维分析子表2用于记录用户粒度+时间粒度+地址粒度的违规次数、超速信息、车辆故障信息。

四、应用数据层ADS。用于根据仓库数据表中的数据项创建应用数据表，或者，还可以根据集市数据表中的数据项创建应用数据表，或者，还可以根据集市数据表中的数据项以及仓库数据表中的数据项创建应用数据表。

其中，根据仓库数据表中的数据项创建应用数据表，包括：从仓库数据表中确定与应用数据表关联的主题域，并从该主题域的数据项中选择与应用数据表对应的数据项，根据选择的数据项创建应用数据表。根据集市数据表中的数据项创建应用数据表，包括：从集市数据表中确定与应用数据表关联的数据中心，并从该数据中心的数据项中选择与应用数据表对应的数据项，并根据选择的数据项创建应用数据表。根据集市数据表中的数据项以及仓库数据表中的数据项创建应用数据表，包括：从集市数据表中确定与应用数据表关联的数据中心，从仓库数据表中确定与应用数据表关联的主题域；从该数据中心的数据项中选择与应用数据表对应的第一数据项，从该主题域的数据项中选择与应用数据表对应的第二数据项；根据第一数据项和第二数据项创建应用数据表。

本实施例中，应用数据层ADS用于为业务应用提供性能更高效的应用数据表，如根据仓库数据表和/或集市数据表创建应用数据表，将应用数据表提供给业务应用，其数据存储时长可以根据业务需求状况设定。具体的，可以根据业务需求组织数据，面向业务建模以及数据开发，根据应用中心的实际业务应用，对仓库数据表和/或集市数据表的数据进行重构和统计，得到应用数据表，此外，还可以将应用数据表同步至关系型数据库中，为应用提供数据支撑。

其中，应用数据表是与业务应用相关的，例如，业务应用A与交通运行主题域关联，则可以为业务应用A创建应用数据表A，从仓库数据表中确定与应用数据表A关联的交通运行主题域，并从仓库数据表的交通运行主题域的数据项中选择与应用数据表A对应的数据项，并在应用数据表A中记录该数据项。

又例如，业务应用B与交通态势数据中心关联，则可以为业务应用B创建应用数据表B，并可以从集市数据表中确定与应用数据表B关联的交通态势数据中心，从集市数据表的交通态势数据中心的数据项中选择与应用数据表B对应的数据项，对此选择方式不做限制，并在应用数据表B中记录该数据项。

在一个例子中，在源数据接入层ODS、基础数据层DWD、基础标签层DWS、应用数据层ADS的基础上，还可以包括公共维表层，公共维表层独立于DWD、DWS、ADS，可以为DWD、DWS、ADS提供维度字段说明，其数据存储时长可以根据业务需求状况设定。例如，在公共维表层，可以创建公共维表，该公共维表用于记录第一格式数据(第一格式是适于存储的数据格式，如第一格式数据为010111)与第二格式数据(第二格式是适于显示的数据格式，如第二格式数据为杭州)的对应关系。其中，第一格式数据可以为省份、城市、地区的编码数据，第二格式数据可以为编码数据的含义，即省份、城市、地区等。

例如，若仓库数据表中的数据项包括第一格式数据，如省份、城市、地区的编码数据，则在根据仓库数据表中的数据项创建应用数据表时，可以通过查询公共维表，将第一格式数据转换为第二格式数据，如省份、城市、地区，并在应用数据表中记录第二格式数据。又例如，若集市数据表中的数据项包括第一格式数据，如省份、城市、地区的编码数据，则在根据集市数据表中的数据项创建应用数据表时，可以通过查询公共维表，将第一格式数据转换为第二格式数据，如省份、城市、地区，并在应用数据表中记录第二格式数据。

基于上述技术方案，本申请实施例中，可以根据原始输入数据创建源数据表，源数据表的数据项包括实体对象与数据描述信息的对应关系；根据源数据表创建仓库数据表，仓库数据表包括至少一个主题域；针对每个主题域，从源数据表中选取与主题域对应的数据项，对选取的数据项进行处理，并在该主题域下记录处理后的数据项。基于上述方式，能够涵盖多部门、多系统的原始输入数据，能够融合互联网的原始输入数据，全面体现交通领域的各方面的原始输入数据。可以对原始输入数据进行数据归集，可以非常灵活的供上层应用使用(即根据仓库数据表中的数据项创建应用数据表，以供上层应用使用)，更好的支持交通领域的上层业务，方便的进行数据共享，充分发挥数据价值。

上述方式可以实现数据归集，融合多个部门、多个系统的数据，并生成基于明细数据的融合加工数据，可以非常灵活的供上层应用使用，方便的进行数据共享，可以生成供各个应用方便、快捷使用的仓库数据表和集市数据表。

上述方式可以充分利用交通数据，通过对交通数据进行归集，可以有效的分析交通数据，并根据分析结果调配和优化公共交通资源，解决城市发展中的交通问题，不断修正城市运行中的交通缺陷，从而可以提高城市的竞争力。

在上述方式中，交通数据由业务系统进入到源数据接入层ODS，在源数据接入层ODS保留数据原貌，抽取实体对象，将数据以实体对象及数据描述信息进行组织，存储在源数据表。然后，在基础数据层DWD，对源数据表中的数据进行加工处理、统计汇总等处理，生成主要包含汇总指标的仓库数据表。然后，在基础标签层DWS，对仓库数据表中的数据进行深度加工和汇总等处理，生成与交通领域的数据指标体系有关集市数据表。然后，在应用数据层ADS，根据仓库数据表和/或集市数据表创建应用数据表，将应用数据表提供给业务应用。

在上述方式中，数据归集底层是基于实体设计的，从实体大类到实体小类在到具体实体对象，管理、维护逻辑数据模型，对模型进行存取权限管理、版本控制、命名限制等，保证不同的逻辑数据模型具有统一口径的操作。

以下结合具体实施例，对上述过程中出现的几个数据表进行详细说明。

1、源数据表：

数据范围：直接从业务系统采集的数据，如采集的交通局数据、高德数据、互联网数据等。建模方法：与上游系统表结构保持一致。命名形式：ods_<源系统表名>_<源业务所属网络环境缩写>_<源业务系统简写>。例如，表1是源数据表命名形式的示例，表1的内容可以根据经验设置，对此不做限制。

表1

模型事实表名称	模型事实表描述
		ods_xsjj_wbcs_tfcvideo_jj	萧山交警微波车速数据

在一个例子中，源数据表的命名规则可以包括但不限于：使用英文小写字母，单词之间用下划线分开；源系统表名与源系统一致，为了便于数据问题溯源，例如示例：萧山交警微波车速数据，源系统表名是xsjj_wbcs；源业务系统简写，例如示例：萧山交警微波车速数据，源业务系统交警的简写可以是jj。

2、基础数据子表：

数据范围：通过对ODS的数据进行ETL(Extract Transform Load，抽取转换加载)处理，根据实体对象进行分类建模，如：基本信息主题域、交通运行主题域、交通控制主题域、交通事件主题域、交通定位主题域、对象关系主题域等实体。建模方法：3NF模型、宽表。命名形式：dwd_<主题名称>_<子主题名称>]_[子分类名称]_[wide]_<数据内容描述>[_数据周期][_hist]。例如，表2是基础数据子表命名形式的一个示例，其内容可以配置，对此不做限制。

表2

模型事实表名称	模型事实表描述
		dwd_tfc_bas_driver_info	交通域驾驶员基本信息表
dwd_tfc_opt_kk_flow_d	交通域卡口流量日表

在一个例子中，基础数据子表的命名规则可以包括但不限于：使用英文小写字母，单词之间用下划线分开；主题名称和子主题名称参见上述主题域；子分类名称非必须，如基本信息主题域会有路网、公共设施网络这两个子分类的划分，实体关系主题域没有区分子分类；wide：如果数据实体对象为宽表，使用wide标识，为可选项；数据内容采用英文简称，当英文出现多个单词时，可以用下划线分割；数据周期为可选项，数据周期是指数据的更新频率，即数据的表分区的时间单位，若为‘d’则表示为日表，‘w’则表示为周表，‘m’则表示为月表，'rt'为实时数据，'q'为季度表，'hist'为历史拉链表，'his'为归档的历史数据；此外，基本信息类数据、静态数据、当前状态类数据可以不加数据周期后缀，如：截止到目前为止购物车里的商品明细、手机号段数据等。

3、融合数据子表：

数据范围：可以是基础数据子表，根据数据相似情况进行基础数据子表的融合，便于后期开发使用统一的融合数据子表替换多张基础数据子表。建模方法：3NF模型、宽表。命名形式：dwd_<主题名称>_<子主题名称>_[子分类名称]_[wide]_<multi>_<数据内容描述>[_数据周期][_hist。

在一个例子中，融合数据子表的命名规则可以包括但不限于：使用英文小写字母，单词之间用下划线分开；主题名称和子主题名称参见上述主题域；子分类名称非必须，如基本信息主题域会有路网、公共设施网络这两个子分类的划分，实体关系主题域没有区分子分类；wide：如果数据实体对象为宽表，则使用wide标识，为可选项；multi：用于区分基础数据层DWD下的融合数据子表和基础数据子表；数据内容采用英文简称，当英文出现多个单词时，可以用下划线分割；数据周期为可选项，数据周期是指数据的更新频率，即数据的表分区的时间单位，若为‘d’则表示为日表，‘w’则表示为周表，‘m’则表示为月表，'rt'为实时数据，'q'为季度表，'hist'为历史拉链表，'his'为归档的历史数据；此外，基本信息类数据、静态数据、当前状态类数据可以不加数据周期后缀，如：截止到目前为止购物车里的商品明细、手机号段数据等。

4、多维分析子表：

数据范围：根据粒度、维度、指标进行建模，为基础标签子表的计算减少数据量，多维分析子表对各粒度多维度数据进行汇总计算，指标可以汇总(如直接加、减、乘、除等)。建模方法：维度建模。命名形式可以包括：dws_<父主题域>_<中心缩写>_<粒度>_mds_<指标描述>[_数据周期][_rt]。

在一个例子中，多维分析子表的命名规则可以包括但不限于：使用英文小写字母，单词之间用下划线分开；主体名称和主题域缩写，如交通运行主题域：tfc；粒度：所有粒度均可以罗列，使用_分隔，如：link、signinter(信号灯)、grid(管辖区域)等；mds表示多维，用于区分多维分析子表、基础标签子表和宽表标签子表；指标描述采用英文简称；数据周期为可选项，数据周期是指数据的更新频率，即数据表分区的时间单位，'q'为季度表，‘m’为月，‘w’为周，‘d’为日，‘h’为小时，‘s’为秒；rt为实时数据，可选项。

在一个例子中，参见表3所示，为多维分析子表的命名形式的一个示例，其内容可以配置，对此不做限制。进一步的，在表3中，tfc可以表示交通运行主题域，state可以表示交通态势数据中心，link表示粒度，mds表示多维分析子表，congindex表示拥堵指数的指标描述，d表示更新频率为日。

表3

模型事实表名称	模型事实表描述
		dws_tfc_state_link_mds_congindex_d	道路的拥堵状态

5、基础标签子表：

数据范围：单粒度单维度或者单粒度多维度的小表，可以是基于多维分析子表计算得到的某几个指标的基础标签子表，基础标签子表可以汇总(如直接加、减、乘、除等)。建模方法：维度建模。命名形式可以包括：dws_<父主题域>_<中心缩写>_<粒度>_<维度>_指标描述[_数据周期][_rt]。

在一个例子中，基础标签子表的命名规则可以包括但不限于：使用英文小写字母，单词之间用下划线分开；主体名称和主题域缩写，如交通运行主题域：tfc；粒度：所有粒度均可以罗列，使用_分隔，如：link、signinter(信号灯)、grid(管辖区域)等；维度：统计时间步长，‘m’为月，‘wkd’为周几，‘dt’为工作日/非工作日，‘d’为日，‘mi’为分钟，如‘2miwkd’表示2分钟粒度按周统计；指标描述采用英文简称；数据周期为可选项，数据周期是指数据的更新频率，即数据表分区的时间单位，'q'为季度表，‘m’为月，‘w’为周，‘d’为日，‘h’为小时，‘s’为秒；rt为实时数据，如果模型是实时数据，增加该标识。

在一个例子中，参见表4所示，为基础标签子表的命名形式的一个示例，其内容可以配置，对此不做限制。在表4中，tfc可以表示交通运行主题域，state可以表示交通态势数据中心，signinter表示信号灯路口粒度，2miwkd表示2分钟粒度按周统计，ubindex表示失衡指数指标描述，m表示更新频率为月。

表4

6、宽表标签子表：

数据范围：向应用或算法开放的各粒度不同维度的宽表，通过基础标签子表关联，是这个粒度和维度的所有指标。建模方法：维度建模。命名形式包括：dws_<父主题域>_<中心缩写>_<粒度>_<维度>_index[_数据周期][_rt]。

在一个例子中，宽表标签子表的命名规则可以包括但不限于：使用英文小写字母，单词之间用下划线分开；主体名称和主题域缩写，如交通运行主题域：tfc；粒度：所有粒度均可以罗列，使用_分隔，如：link、signinter(信号灯)、grid(管辖区域)等；维度：统计时间步长，‘m’为月，‘wkd’为周几，‘dt’为工作日/非工作日，‘d’为日，‘mi’为分钟，如‘2miwkd’表示2分钟粒度按周统计；index：表示多维，用于区分多维分析子表、基础标签子表和宽表标签子表；数据周期为可选项，数据周期是指数据的更新频率，即数据表分区的时间单位，'q'为季度表，‘m’为月，‘w’为周，‘d’为日，‘h’为小时，‘s’为秒；rt为实时数据，为可选项，如果模型是实时数据，则可以增加该标识。

在一个例子中，参见表5所示，为宽表标签子表的命名形式的一个示例，其内容可以配置，对此不做限制。在表5中，tfc可以表示交通运行主题域，state可以表示交通态势数据中心，signinter表示信号灯路口粒度，2miwkd表示2分钟粒度按周统计，index:表示宽表标签子表，m表示更新频率为月。

表5

7、应用数据表：

数据范围：应用使用的数据表。建模方法：维度建模。命名形式：ads_<应用名称>_<数据内容描述>_[s]数据周期[_rt]。在一个例子中，参见表6所示，为应用数据表的命名形式的一个示例，其内容可以配置，对此不做限制。

表6

模型事实表名称	模型事实表描述
		ads_tfc_imbalance_alarm_sd	交通域失衡预警次数日表
ads_tfc_imbalance_index_d	交通域失衡指数日表

应用数据表的命名规则可以包括但不限于：使用英文小写字母，单词之间用下划线分开；应用名称参见上述主题域；数据内容采用英文简称，当英文出现多个单词时，可以用下划线分割；s代表汇总数据表，为可选项，如果是汇总数据表进行s标识；数据周期为可选项，数据周期是指数据的更新频率，即数据表分区的时间单位，'q'为季度表，‘m’为月，‘w’为周，‘d’为日，‘h’为小时，‘s’为秒；rt为实时数据，如果模型是实时数据，则可以增加该标识。

8、公共维表：

命名形式：dim<实体英文名称>，_如dim_area。命名规则：英文名全部字母小写，单词之间用下划线分开。此外，在公共维表中，任务节点的命名规范可以参见表7所示，表7中的任务节点只是一个示例，对此不做限制。

表7

基于与上述方法同样的申请构思，本申请实施例中还提供一种数据处理装置，如图4所示，为所述数据处理装置的结构图，所述装置可以包括：

源数据接入层模块401，用于获取原始输入数据，根据所述原始输入数据创建源数据表；所述源数据表的数据项包括对象与数据描述信息的对应关系；

基础数据层模块402，用于根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

应用数据层模块403，用于从所述仓库数据表中确定与应用数据表关联的主题域；根据所述主题域的数据项创建应用数据表。

所述源数据接入层模块401根据所述原始输入数据创建源数据表时具体用于：从所述原始输入数据中获取对象和数据描述信息；

若源数据表不存在所述对象的数据项，则在所述源数据表中添加数据项，通过所述数据项记录所述对象和所述数据描述信息；若源数据表存在所述对象的数据项，则在所述数据项添加所述数据描述信息。

所述基础数据层模块402还用于：为源数据表中的对象划分至少一个主题域；所述主题域包括以下之一或任意组合：基本信息主题域、交通运行主题域、交通控制主题域、交通事件主题域、交通定位主题域、对象关系主题域。

所述数据处理装置还可以包括(在图中未示出)：基础标签层模块，用于根据所述仓库数据表创建集市数据表，所述集市数据表包括至少一个数据中心；针对集市数据表的数据中心，从仓库数据表选取与所述数据中心对应的数据项，对选取的数据项进行处理，并在所述数据中心下记录处理后的数据项。

在一个例子中，所述基础标签层模块还用于：为仓库数据表中的数据项划分至少一个数据中心；其中，所述数据中心可以包括但不限于以下一种或者多种：车辆数据中心、事件数据中心、用户数据中心、设备数据中心、交通控制数据中心、出行数据中心、交通态势数据中心、交通网络数据中心。

在一个例子中，所述应用数据层模块403还用于：从所述集市数据表中确定与应用数据表关联的数据中心；根据所述数据中心的数据项创建应用数据表；或者，从所述仓库数据表中确定与应用数据表关联的主题域；从所述集市数据表中确定与应用数据表关联的数据中心；根据所述主题域的数据项以及所述数据中心的数据项创建应用数据表。

基于与上述方法同样的申请构思，本申请实施例还提供一种数据处理设备，包括：存储器和处理器；所述存储器，用于存储程序代码；所述处理器，用于调用所述程序代码，当所述程序代码被执行时，所述处理器用于执行以下操作：

获取原始输入数据，并根据所述原始输入数据创建源数据表；其中，所述源数据表的数据项包括对象与数据描述信息的对应关系；

根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对仓库数据表的主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

从所述仓库数据表中确定与应用数据表关联的主题域；

根据所述主题域的数据项创建应用数据表。

基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被执行时进行如下处理：

获取原始输入数据，并根据所述原始输入数据创建源数据表；其中，所述源数据表的数据项包括对象与数据描述信息的对应关系；

根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对仓库数据表的主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

从所述仓库数据表中确定与应用数据表关联的主题域；

根据所述主题域的数据项创建应用数据表。

基于与上述方法同样的申请构思，本申请实施例中还提供一种数据处理装置，如图5所示，为所述数据处理装置的结构图，所述装置可以包括：

源数据接入层模块501，用于获取原始输入的交通数据，并根据所述原始输入的交通数据创建源数据表；其中，所述源数据表的数据项包括对象与数据描述信息的对应关系；

基础数据层模块502，用于根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；其中，针对所述仓库数据表的主题域，从所述源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

基础标签层模块503，用于根据所述仓库数据表创建集市数据表，所述集市数据表包括至少一个数据中心；其中，针对所述集市数据表的数据中心，从所述仓库数据表选取与所述数据中心对应的数据项，对选取的数据项进行处理，并在所述数据中心下记录处理后的数据项。

在一个例子中，所述数据处理装置还可以包括(在图中未示出)：

应用数据层模块，用于从所述仓库数据表中确定与应用数据表关联的主题域；根据所述主题域的数据项创建应用数据表；或者，从所述集市数据表中确定与应用数据表关联的数据中心；根据所述数据中心的数据项创建应用数据表；或者，从所述仓库数据表中确定与应用数据表关联的主题域；从所述集市数据表中确定与应用数据表关联的数据中心；根据所述主题域的数据项以及所述数据中心的数据项创建应用数据表。

在一个例子中，所述数据中心包括以下一种或多种：车辆数据中心、事件数据中心、用户数据中心、设备数据中心、交通控制数据中心、出行数据中心、交通态势数据中心、交通网络数据中心。

在一个例子中，所述主题域包括以下之一或任意组合：基本信息主题域、交通运行主题域、交通控制主题域、交通事件主题域、交通定位主题域、对象关系主题域。

基于与上述方法同样的申请构思，本申请实施例还提供一种数据处理设备，包括：存储器和处理器；所述存储器，用于存储程序代码；所述处理器，用于调用所述程序代码，当所述程序代码被执行时，所述处理器用于执行以下操作：

获取原始输入的交通数据，并根据所述原始输入的交通数据创建源数据表；其中，所述源数据表的数据项包括对象与数据描述信息的对应关系；

根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对仓库数据表的主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

根据所述仓库数据表创建集市数据表，所述集市数据表包括至少一个数据中心；针对集市数据表的数据中心，从仓库数据表选取与所述数据中心对应的数据项，对选取的数据项进行处理，并在所述数据中心下记录处理后的数据项。

基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被执行时进行如下处理：

获取原始输入的交通数据，并根据所述原始输入的交通数据创建源数据表；其中，所述源数据表的数据项包括对象与数据描述信息的对应关系；

根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对仓库数据表的主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

根据所述仓库数据表创建集市数据表，所述集市数据表包括至少一个数据中心；针对集市数据表的数据中心，从仓库数据表选取与所述数据中心对应的数据项，对选取的数据项进行处理，并在所述数据中心下记录处理后的数据项。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (25)

1.一种数据处理方法，其特征在于，所述方法包括：

获取原始输入数据，并根据所述原始输入数据创建源数据表；其中，所述源数据表的数据项包括对象与数据描述信息的对应关系；

根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对仓库数据表的主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

从所述仓库数据表中确定与应用数据表关联的主题域；

根据所述主题域的数据项创建应用数据表。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述原始输入数据创建源数据表，包括：

从所述原始输入数据中获取对象和数据描述信息；

若源数据表不存在所述对象的数据项，则在所述源数据表中添加数据项，通过所述数据项记录所述对象和所述数据描述信息；

若源数据表存在所述对象的数据项，在所述数据项添加所述数据描述信息。

3.根据权利要求1所述的方法，其特征在于，

所述根据所述源数据表创建仓库数据表之前，所述方法还包括：

为所述源数据表中的对象划分至少一个主题域。

4.根据权利要求1或3所述的方法，其特征在于，

所述主题域包括以下之一或任意组合：基本信息主题域、交通运行主题域、交通控制主题域、交通事件主题域、交通定位主题域、对象关系主题域。

5.根据权利要求1所述的方法，其特征在于，

所述根据所述源数据表创建仓库数据表之后，所述方法还包括：

根据所述仓库数据表创建集市数据表，所述集市数据表包括至少一个数据中心；针对集市数据表的数据中心，从仓库数据表选取与所述数据中心对应的数据项，对选取的数据项进行处理，并在所述数据中心下记录处理后的数据项。

6.根据权利要求5所述的方法，其特征在于，

所述根据所述仓库数据表创建集市数据表之前，所述方法还包括：

为所述仓库数据表中的数据项划分至少一个数据中心。

7.根据权利要求5或6所述的方法，其特征在于，所述数据中心包括以下一种或多种：车辆数据中心、事件数据中心、用户数据中心、设备数据中心、交通控制数据中心、出行数据中心、交通态势数据中心、交通网络数据中心。

8.根据权利要求5所述的方法，其特征在于，

所述根据所述仓库数据表创建集市数据表之后，所述方法还包括：

从所述集市数据表中确定与应用数据表关联的数据中心；

根据所述数据中心的数据项创建应用数据表；或者，

从所述仓库数据表中确定与应用数据表关联的主题域；

从所述集市数据表中确定与应用数据表关联的数据中心；

根据所述主题域的数据项以及所述数据中心的数据项创建应用数据表。

9.根据权利要求1所述的方法，其特征在于，所述仓库数据表中的数据项包括第一格式数据，所述应用数据表中的数据项包括第二格式数据；

所述方法还包括：通过查询公共维表，将所述仓库数据表中的数据项包括的第一格式数据，转换为所述应用数据表中的数据项包括的第二格式数据；

其中，所述公共维表用于记录第一格式数据与第二格式数据的对应关系。

10.根据权利要求1所述的方法，其特征在于，所述仓库数据表包括以下至少一种：基础数据子表，所述基础数据子表用于记录单一来源的数据；融合数据子表，所述融合数据子表用于记录多个来源的数据。

11.根据权利要求5所述的方法，其特征在于，

所述集市数据表包括以下至少一种：多维分析子表，所述多维分析子表用于记录多粒度的数据；基础标签子表，所述基础标签子表用于记录单粒度的单维度数据；宽表标签子表，所述宽表标签子表用于记录单粒度的多维度数据。

12.一种数据处理方法，其特征在于，所述方法包括：

获取原始输入的交通数据，并根据所述原始输入的交通数据创建源数据表；其中，所述源数据表的数据项包括对象与数据描述信息的对应关系；

根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对仓库数据表的主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

根据所述仓库数据表创建集市数据表，所述集市数据表包括至少一个数据中心；针对集市数据表的数据中心，从仓库数据表选取与所述数据中心对应的数据项，对选取的数据项进行处理，并在所述数据中心下记录处理后的数据项。

13.根据权利要求12所述的方法，其特征在于，所述方法还包括：

从所述仓库数据表中确定与应用数据表关联的主题域；

根据所述主题域的数据项创建应用数据表；或者，

从所述集市数据表中确定与应用数据表关联的数据中心；

根据所述数据中心的数据项创建应用数据表；或者，

从所述仓库数据表中确定与应用数据表关联的主题域；

从所述集市数据表中确定与应用数据表关联的数据中心；

根据所述主题域的数据项以及所述数据中心的数据项创建应用数据表。

14.根据权利要求12所述的方法，其特征在于，所述数据中心包括以下一种或多种：车辆数据中心、事件数据中心、用户数据中心、设备数据中心、交通控制数据中心、出行数据中心、交通态势数据中心、交通网络数据中心；

所述主题域包括以下之一或任意组合：基本信息主题域、交通运行主题域、交通控制主题域、交通事件主题域、交通定位主题域、对象关系主题域。

15.一种数据处理装置，其特征在于，所述装置包括：

源数据接入层模块，用于获取原始输入数据，并根据所述原始输入数据创建源数据表；所述源数据表的数据项包括对象与数据描述信息的对应关系；

基础数据层模块，用于根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

应用数据层模块，用于从所述仓库数据表中确定与应用数据表关联的主题域；根据所述主题域的数据项创建应用数据表。

16.根据权利要求15所述的装置，其特征在于，

所述源数据接入层模块根据所述原始输入数据创建源数据表时具体用于：

从所述原始输入数据中获取对象和数据描述信息；

若源数据表不存在所述对象的数据项，则在所述源数据表中添加数据项，通过所述数据项记录所述对象和所述数据描述信息；若源数据表存在所述对象的数据项，则在所述数据项添加所述数据描述信息。

17.根据权利要求15所述的装置，其特征在于，

所述基础数据层模块还用于：为所述源数据表中的对象划分至少一个主题域；所述主题域包括以下之一或任意组合：基本信息主题域、交通运行主题域、交通控制主题域、交通事件主题域、交通定位主题域、对象关系主题域。

18.根据权利要求15所述的装置，其特征在于，还包括：基础标签层模块，用于根据所述仓库数据表创建集市数据表，所述集市数据表包括至少一个数据中心；针对集市数据表的数据中心，从仓库数据表选取与所述数据中心对应的数据项，对选取的数据项进行处理，并在所述数据中心下记录处理后的数据项。

19.根据权利要求18所述的装置，其特征在于，所述基础标签层模块还用于：为仓库数据表中的数据项划分至少一个数据中心；所述数据中心包括以下一种或多种：车辆数据中心、事件数据中心、用户数据中心、设备数据中心、交通控制数据中心、出行数据中心、交通态势数据中心、交通网络数据中心。

20.根据权利要求15所述的装置，其特征在于，所述应用数据层模块还用于：从所述集市数据表中确定与应用数据表关联的数据中心；根据所述数据中心的数据项创建应用数据表；或者，从所述仓库数据表中确定与应用数据表关联的主题域；从所述集市数据表中确定与应用数据表关联的数据中心；根据所述主题域的数据项以及所述数据中心的数据项创建应用数据表。

21.一种数据处理装置，其特征在于，所述装置包括：

源数据接入层模块，用于获取原始输入的交通数据，并根据所述原始输入的交通数据创建源数据表；其中，所述源数据表的数据项包括对象与数据描述信息的对应关系；

基础数据层模块，用于根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；其中，针对所述仓库数据表的主题域，从所述源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

基础标签层模块，用于根据所述仓库数据表创建集市数据表，所述集市数据表包括至少一个数据中心；其中，针对所述集市数据表的数据中心，从所述仓库数据表选取与所述数据中心对应的数据项，对选取的数据项进行处理，并在所述数据中心下记录处理后的数据项。

22.根据权利要求21所述的装置，其特征在于，还包括：

应用数据层模块，用于从所述仓库数据表中确定与应用数据表关联的主题域；根据所述主题域的数据项创建应用数据表；或者，从所述集市数据表中确定与应用数据表关联的数据中心；根据所述数据中心的数据项创建应用数据表；或者，从所述仓库数据表中确定与应用数据表关联的主题域；从所述集市数据表中确定与应用数据表关联的数据中心；根据所述主题域的数据项以及所述数据中心的数据项创建应用数据表。

23.根据权利要求21所述的装置，其特征在于，所述数据中心包括以下一种或多种：车辆数据中心、事件数据中心、用户数据中心、设备数据中心、交通控制数据中心、出行数据中心、交通态势数据中心、交通网络数据中心；

所述主题域包括以下之一或任意组合：基本信息主题域、交通运行主题域、交通控制主题域、交通事件主题域、交通定位主题域、对象关系主题域。

24.一种数据处理设备，其特征在于，包括：存储器和处理器；所述存储器，用于存储程序代码；所述处理器，用于调用所述程序代码，当所述程序代码被执行时，所述处理器用于执行以下操作：

获取原始输入数据，并根据所述原始输入数据创建源数据表；其中，所述源数据表的数据项包括对象与数据描述信息的对应关系；

根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对仓库数据表的主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

从所述仓库数据表中确定与应用数据表关联的主题域；

根据所述主题域的数据项创建应用数据表。

25.一种数据处理设备，其特征在于，包括：存储器和处理器；所述存储器，用于存储程序代码；所述处理器，用于调用所述程序代码，当所述程序代码被执行时，所述处理器用于执行以下操作：

获取原始输入的交通数据，并根据所述原始输入的交通数据创建源数据表；其中，所述源数据表的数据项包括对象与数据描述信息的对应关系；

根据所述源数据表创建仓库数据表，所述仓库数据表包括至少一个主题域；针对仓库数据表的主题域，从源数据表中选取与所述主题域对应的数据项，对选取的数据项进行处理，并在所述主题域下记录处理后的数据项；

根据所述仓库数据表创建集市数据表，所述集市数据表包括至少一个数据中心；针对集市数据表的数据中心，从仓库数据表选取与所述数据中心对应的数据项，对选取的数据项进行处理，并在所述数据中心下记录处理后的数据项。

Images