CN115237924A - 数据处理方法、系统、设备、介质和程序产品 - Google Patents

Abstract

本发明涉及计算机数据处理领域，特别涉及一种数据处理方法、系统、设备、介质和程序产品。本发明适用于电子产品，其特征在于：获取数据步骤，获取来自至少一个数据平台的原始数据；留存数据步骤，将所述原始数据存入ODS库中的表中；关联数据步骤，将所述ODS库中的表中的所述原始数据与预定格式的表的数据进行关联，生成关联表；更新数据步骤，基于所述关联表的数据，更新所述预定格式的表的数据。本发明可以同时支持多个广告平台的数据同步，并且方便与自有数据进行关联分析，可以满足对广告归因、成本和回溯等数据进行统筹分析的需求，是一种可以对聚合数据进行实时更新和治理的技术，有效解决广告平台聚合数据应用的难点问题。

Description

数据处理方法、系统、设备、介质和程序产品

技术领域

本发明涉及计算机数据处理领域，特别涉及一种数据处理方法、系统、设备、介质和程序产品。

背景技术

在实际业务场景中，目前广告平台聚合数据分析的需求日益旺盛的情况下，对多平台的聚合数据进行实时更新和治理分析成为了目前行业急需解决的问题。其中，对多平台数据源数据进行同步和治理技术为整个广告平台聚合数据分析过程的核心技术。目前市面上的广告平台数据同步仅提供了一些接口供获取数据，但是，数据格式无法定制，与己方数据也无法关联。针对数据应用场景，需要一种可对聚合数据进行实时更新和治理的技术，以确保数据的质量、可用性、可集成性、安全性和易用性，解决广告平台聚合数据应用的痛点和难点。本发明为多广告平台数据同步更新及治理技术，支持多数据源，保证数据同步的实时性、复用性和可扩展性。

发明内容

本发明的目的在于提供一种数据处理方法、系统、设备、介质和程序产品，本发明通过原始数据留存、数据解析、数据关联和分区数据复写等方法解决对多平台的聚合数据进行实时更新和治理分析的过程中遇见的难点问题，以支持多数据源，定制数据格式，关联己方数据，有效保证数据的质量、可用性、复用性、安全性和可扩展性。

本发明的实施方式公开了一种数据处理，所述方法包括：

获取数据步骤，获取来自至少一个数据平台的原始数据；

留存数据步骤，将所述原始数据存入ODS库中的表中；

关联数据步骤，将所述ODS库中的表中的所述原始数据与预定格式的表的数据进行关联，生成关联表；

更新数据步骤，基于所述关联表的数据，更新所述预定格式的表的数据。

可选地，所述获取数据步骤包括，将所述原始数据转化为json格式。

可选地，所述留存数据步骤包括，采用分区存储方式将相同数据类型和格式的所述原始数据存入所述ODS库的同一个表中，其中，所述ODS库的表的数量至少为一个。

可选地，所述关联数据步骤包括，基于用户体系将所述ODS库中的表中的所述原始数据与预定格式的表的数据进行关联。

可选地，所述关联数据步骤还包括基于所述预定格式的表的字段类型对关联后的所述数据进行转换，并基于关联后的所述数据生成关联表。

可选地，所述更新数据步骤包括，更新方式为分区覆盖旧数据的方式。

本发明的实施方式公开了一种数据处理系统，所述系统包括：

获取数据模块，获取来自至少一个数据平台的原始数据；

留存数据模块，将所述原始数据存入ODS库中的表中；

关联数据模块，将所述ODS库中的表中的所述原始数据与预定格式的表的数据进行关联，生成关联表；

更新数据模块，基于所述关联表的数据，更新所述预定格式的表的数据。

本发明的实施方式公开了一种电子设备，其特征在于，所述设备包括存储有计算机可执行指令的存储器和处理器，所述处理器被配置为执行所述指令以实施所述数据处理方法。

本发明的实施方式公开了一种使用计算机程序编码的计算机存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机指令，所述至少一条指令由处理器加载并执行，以实现所述数据处理方法。

本发明提供了一种高效的聚合数据实时更新和治理分析技术，通过原始数据留存、数据解析、数据关联和分区数据复写等方法解决对多平台的聚合数据进行实时更新和治理分析的过程中遇见的难点问题，以支持多数据源，定制数据格式，关联己方数据，有效保证数据的质量、可用性、复用性、安全性和可扩展性。

本发明实施方式与现有技术相比，主要区别及其效果在于：支持多数据平台的不同格式和类型的数据源，对聚合数据可以标准格式化数据处理，关联己方数据，解决聚合数据实时更新和治理分析的难点问题。

现有技术中，广告平台仅提供数据接口，但数据格式无法定制，与己方数据也无法关联，对于数据治理尤其是数据更新，一直是聚合数据分析场景难以解决的痛点。

相较于现有技术，本发明的区别技术特征在于，通过标准格式化数据，建立预定格式的表与ODS库的数据进行关联以生成关联表，通过关联表的数据，简单高效的更新预定格式的表的数据。

本发明的技术效果在于，本发明的多广告平台数据处理方法，通过对数据治理更新进行整合处理，可同时支持多个平台的数据同步，并且方便与自有数据进行关联分析，可以有效解决对广告归因、成本和回溯等数据进行统筹分析的问题。

附图说明

图1是根据本发明实施例的一种数据处理方法应用的场景示意图；

图2是根据本发明实施例的一种数据处理方法的流程图；

图3是根据本发明实施例的一种数据处理方法的获取数据的结构框图；

图4是根据本发明实施例的一种数据处理方法的更新数据的结构框图；

图5是根据本发明实施例的一种数据处理系统的结构框图；

图6是根据本发明实施例的一种电子设备的硬件结构框图。

具体实施方式

下面结合具体实施例和附图对本发明做进一步说明。可以理解的是，此处描述的具体实施例仅仅是为了解释本发明，而非对本发明的限定。此外，为了便于描述，附图中仅示出了与本发明相关的部分而非全部的结构或过程。应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项。

应当理解的是，虽然在本文中可能使用了术语“第一”、“第二”等等来描述各个特征，但是这些特征不应当受这些术语限制。使用这些术语仅仅是为了进行区分，而不能理解为指示或暗示相对重要性。举例来说，在不背离示例性实施例的范围的情况下，第一特征可以被称为第二特征，并且类似地第二特征可以被称为第一特征。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

图1是根据本发明实施例的一种数据处理方法应用的场景示意图。

如图1所示，包括服务器端100和数据平台110，其中服务器端100在本发明实施例的一种数据处理方法应用中主要起作用的部分包括ODS库120、预定格式的表130和关联表140。服务器端100和数据平台110之间通过有/无线网络的连接来实现通信，同时也通过有线或无线网络使得用户能够接入和访问。一种举例中，数据平台110可以是广告数据平台，在实际应用中，对于广告数据平台的数据分析主要包括三种：广告投放前、广告投放中和广告投放后，其中数据实时更新和治理分析贯穿整个事件的始末，尤其是对多广告平台数据源数据进行同步和治理为整个广告平台聚合数据分析过程的核心技术，通过数据分析可以在广告投放前制定策略，预估实际预算及转化成本，通过数据分析可以在广告投放中根据实际投放情况对广告投放实时调整及优化，通过数据分析可以在广告投放后做广告投放总结及复盘，制定后期的投放规划。在上述举例中，服务器端100的数据处理的广告平台数据对象包括时间、维度和流量转化数据，具体地，时间可以包括广告投放时段、周期，同比、环比等数据，维度可以包括投放广告位、用户受众、创意素材等指标，流量转化数据可以包括广告消耗量、展示量、点击数、点击率、转化数、转化率、转化成本等数据。

图1中示出了一个数据平台110，值得注意的是，本领域技术人员能够理解，数据平台110的数量不限于一个，可以是一个数据平台110，也可以是若干数据平台110，数据平台110的数量不应作为本发明的限制条件，同时，数据平台110可以是任何提供数据源的接口的客户端或服务器端，本发明的一种数据处理方法可以应用于需要对数据进行实时更新和治理分析的电子设备。

作为一种实施例，数据平台可以是多广告数据平台，服务器端100对多个广告数据的三个数据指标进行实时数据处理，基于多广告数据平台的聚合数据得到实时更新的数据总次数、IP(Internet Protocol，网络协议)-UA(User Agent，用户代理)-机型合并字段去重数和IDFA(Identifier For Advertising，广告标识符)去重数。

作为另一种实施例，数据平台可以是多广告数据平台，服务器端100对多广告数据平台的聚合数据进行数据处理，基于多广告数据平台的聚合数据得到治理分析的曝光量数据、点击量数据和花费数据。

服务器端100可以实现存储数据，并提供标准格式化数据、更新数据和规范数据的功能。

目前市面上对聚合数据的实时更新和治理分析是多数据源聚合数据应用的难点问题，其中，对多数据源聚合数据进行同步和治理技术为整个聚合数据分析过程的核心技术，现有的数据处理技术，尤其是在多广告平台的数据同步及治理中，无法支持多数据源，不能有效保证数据同步的实时性、复用性和可扩展性。

针对上述问题，本发明提供了一种数据处理方法。以下参考附图对该方法进行详细说明。

图2是根据本发明实施例的一种数据处理方法的流程图。

如图2所示，本发明一实施例提供的一种数据处理方法在步骤S1-S4中需要原始数据111、ODS库120、ODS库中的表121、预定格式的表130和关联表140的配合，该方法包括：

步骤S1：获取来自至少一个数据平台110的原始数据111。

大数据采集方式可以采用数据库采集、系统日志采集、网络数据采集、感知设备数据采集的方式。其中，传统的关系型数据库MySQL和Oracle可以存储数据，大数据时代，Redis、MongoDB和HBase等NoSQL数据库也常用于数据采集，通过在采集端部署大量数据库，并在这些数据库之间进行负载均衡和分片，来完成大数据采集工作；系统日志采集主要是收集数据平台日常产生的大量日志数据，供离线和在线的大数据分析系统使用。高可用性、高可靠性、可扩展性是日志收集系统所具有的基本特征。系统日志采集工具均采用分布式架构，能够满足每秒数百MB的日志数据采集和传输需求；网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息的过程。网络爬虫会从一个或若干初始网页的URL开始，获得各个网页上的内容，并且在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足设置的停止条件为止，这样可将非结构化数据、半结构化数据从网页中提取出来，存储在本地的存储系统中；感知设备数据采集是指通过传感器、摄像头和其他智能终端自动采集信号、图片或录像来获取数据。大数据智能感知系统需要实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。

以上采集到各种聚合数据，可以作为本发明提供的一种数据处理方法的服务器端100从数据平台110获取的原始数据111。

步骤S2：将原始数据111存入ODS库中的表121中。

ODS(Operational Data Store)是操作性数据，ODS库是操作型数据库，ODS库的数据结构一般与数据来源保持一致，便于减少ETL(Extract-Transform-Load，数据仓库技术)的工作复杂性，而且ODS库的数据周期一般比较短。ODS库存储的是当前的数据情况，给使用者提供当前的状态，提供即时性的、操作性的、集成的全体信息的需求，ODS作为数据库到数据仓库的一种过渡形式，能提供高性能的响应时间，ODS设计采用混合设计方式，ODS中的数据是“实时值”，而数据仓库的数据却是“历史值”，一般ODS中储存的数据不超过一个月，ODS库中的表跟其他数据库中永久表最大的区别就是表中的数据不会永远的存在，ODS库中的表的数据是暂时存在的，当一个会话结束或者事务结束的时候，这个ODS库中的表中的数据，不用用户自己删除，ODS库自己会自动清除。

一种实施方式中，根据ODS库120的特点，原始数据111存入ODS库中的表121中，在一个事件或进程结束时，存储在ODS库的表121中的相对应的原始数据111，由ODS库120进行自动清除。

将从数据平台110获取的原始数据存入ODS库中，存在以下优点：

在业务系统和数据仓库之间形成一个隔离层，一般的数据仓库应用系统都具有非常复杂的数据来源，对于多数据平台数据源的聚合数据，这些数据存放在不同的地理位置、不同的数据库、不同的应用之中，从这些业务系统对数据进行抽取并不是一件容易的事。因此，ODS库用于存放从业务系统直接抽取出来的数据，这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保持一致，因此在抽取过程中极大降低了数据转化的复杂性，而主要关注数据抽取的接口、数据量大小、抽取方式等方面的问题；

转移一部分业务系统细节查询的功能，在数据仓库建立之前，大量的报表、分析是由业务系统直接支持的，在一些比较复杂的报表生成过程中，对业务系统的运行产生相当大的压力。ODS库的数据从粒度、组织方式等各个方面都保持了与业务系统的一致，那么原来由业务系统产生的报表、细节数据的查询自然能够从ODS库中进行，从而降低业务系统的查询压力。

完成数据仓库中不能完成的一些功能，一般来说，带有ODS的数据仓库体系结构中，DW层所存储的数据都是进行汇总过的数据和运营指标，并不存储每笔交易产生的细节数据，但是在某些特殊的应用中，可能需要对交易细节数据进行查询，这时就需要把细节数据查询的功能转移到ODS来完成，而且ODS的数据模型按照面向主题的方式进行存储，可以方便地支持多维分析等查询功能。即数据仓库从宏观角度满足企业的决策支持要求，而ODS层则从微观角度反映细节交易数据或者低粒度的数据查询要求；

步骤S3将ODS库中的表121中的原始数据111与预定格式的表130的数据进行关联，生成关联表140。

预定格式的表130是在创建的时候，若没有特别指令要求，则创建的预定格式的表130是永久的关系型数据表，预定格式的表130中对应的数据，除非显示删除的指令要求，预定格式的表130中的数据是永远都存在的。

一种举例中，创建预定格式的表130以设计完善的用户体系，基于业务方需要的标签创建标签实例，通过所述标签实例中的执行数据，所述用户标签体系包括自然属性、产品属性、消费属性、资源属性等，基于执行数据与ODS库中的表121中获取的的原始数据111进行关联，生成关联表140。

需要注意的是，本领域技术人员能够理解，用户体系是聚合数据分析的一个方面，聚合数据的分析和治理包括诸多方面，预定格式的表130所基于的用户体系仅仅是一个特殊举例的实例，不作为本发明的一种数据处理方法的限制。

步骤S4：基于关联表140的数据，更新预定格式的表130的数据。

关联表140由序对组成的表，用于表达具备关联的基本数据类型。

一种举例中，将需要更新的数据暂时存入关联表140，关联表140与预定格式的表130相联接，使用更新语句以更新预定格式的表130。

作为一种实施方式，基于用户体系将所述ODS库中的表121中的所述原始数据111与预定格式的表130的数据进行关联，形成关联表140，关联表有单号order_id、开单人operator、开单日期oper_date、备注memo等；预定格式的表130有单号order_id、序号id、商品编码code、商品名称name、备注remak等，将需要更新的数据暂时存入关联表140，使用update语句将关联表140的数据更新到预定格式的表130中。

接下来，结合图3和图4对根据本发明的数据处理方法的获取数据和更新数据进行说明。

图3是根据本发明实施例的一种数据处理方法的获取数据的结构框图。

请参考图3，原始数据111由多个数据平台110提供，难以避免不同数据接口的数据类型和格式是不相同的原始数据111A和原始数据111B，当服务器端100获取到数据平台110的原始数据111时，为定制统一的数据格式，将获取到的原始数据111转化为json格式，为方便数据治理，将json格式的原始数据111A和原始数据111B分别存入ODS库的表121的对应区域ODS库的表121A和ODS库的表121B中。

一种举例中，采用分区存储方式将相同数据类型和格式的原始数据111存入ODS库120的同一个表中，ODS库的表121的数量至少为一个。

作为一种实施方式，原始数据111包括不同数据类型和格式的原始数据111A和原始数据111B，其中，ODS库120的表，ODS库的表121A和ODS库的表121B，分别存储相同数据类型和格式的数据，原始数据111A存入ODS库的表121A，原始数据111B存入ODS库的表121B。

需要注意的是，本领域技术人员能够理解，ODS库的表121的数量以本领域技术人员对数据处理的实际操作为准，ODS库的表121的数量并无固定标准，以本领域技术人员根据数据处理实际情况以可以完全存储原始数据111为准，根据实际需要设置。

图4是根据本发明实施例的一种数据处理方法的更新数据的结构框图。

一种举例中，基于关联表140的数据，更新预定格式的表130的数据，更新方式为分区覆盖旧数据的方式。

请参考图4，为方便数据同步，基于相同字段类型，采用分区覆盖旧数据的方式更新预定格式的表130，作为一种实施方式，关联表140A和预定格式的表130A具有相同数据字段类型，关联表140B和预定格式的表130B具有相同数据字段类型，基于关联表140A的数据，更新预定格式的表130A的数据,基于关联表140B的数据，更新预定格式的表130B的数据。

需要注意的是，本领域技术人员能够理解，预定格式的表130和关联表140的数量以本领域技术人员对数据处理的实际操作为准，预定格式的表130和关联表140的数量并无固定标准，以本领域技术人员根据数据处理实际情况以可以完全存储原始数据111为准，根据实际需要设置。

至此，根据本发明的实施例的一次数据处理过程结束。通过上述对图1-图4的详细说明，本领域技术人员能够理解，根据本发明的数据处理方法能够有效支持多数据源，定制数据格式，关联己方数据，有效保证数据的质量、可用性、复用性、安全性和可扩展性。

图5是根据本发明实施例的一种数据处理系统的结构框图。

如图5所示，系统500包括获取数据模块501、留存数据模块502、关联数据模块503、更新数据模块504；

获取数据模块501，获取来自至少一个数据平台110的原始数据111；

留存数据模块502，将原始数据111存入ODS库中的表121中；

关联数据模块503，将ODS库中的表121中的原始数据111与预定格式的表130的数据进行关联，生成关联表140；

更新数据模块504，基于关联表140的数据，更新预定格式的表130的数据。

本实施方式与前述实施方式是相对应的方法实施方式，本实施方式可与前述实施方式方式互相配合实施。前述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在前述实施方式中。

根据本发明的一些实施例，公开了一种电子设备，设备包括存储有计算机可执行指令的存储器和处理器，处理器被配置为执行指令以实施一种数据处理方法。

图6是实施根据本发明实施例的电子设备的硬件结构框图。

如图6所示，电子设备600可以包括一个或多个处理器602、与处理器602中的至少一个连接的系统主板608、与系统主板608连接的系统内存605、与系统主板608连接的非易失性存储器(NVM)606、以及与系统主板608连接的网络接口610。

处理器602可以包括一个或多个单核或多核处理器。处理器602可以包括通用处理器和专用处理器(例如，图形处理器、应用处理器、基带处理器等)的任何组合。在本发明的实施例中，处理器602可以被配置为执行根据如图2所示的方法。

在一些实施例中，系统主板608可以包括任意合适的接口控制器，以向处理器602中的至少一个和/或与系统主板608通信的任意合适的设备或组件提供任意合适的接口。

在一些实施例中，系统主板608可以包括一个或多个存储器控制器，以提供连接到系统内存605的接口。系统内存605可以用于加载以及存储数据和/或指令。在一些实施例中电子设备600的系统内存605可以包括任意合适的易失性存储器，例如合适的动态随机存取存储器(DRAM)。

NVM 606可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中，NVM 606可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如HDD(Hard Disk Drive，硬盘驱动器)、CD(CompactDisc，光盘)驱动器、DVD(Digital Versatile Disc，数字通用光盘)驱动器中的至少一个。

NVM 606可以包括安装在电子设备600的装置上的一部分存储资源，或者它可以由设备访问，但不一定是设备的一部分。例如，可以经由网络接口610通过网络访问NVM 606。

特别地，系统内存605和NVM 606可以分别包括：指令620的暂时副本和永久副本。指令620可以包括：由处理器602中的至少一个执行时导致电子设备600实施如图2所示的方法的指令。在一些实施例中，指令620、硬件、固件和/或其软件组件可另外地/替代地置于系统主板608、网络接口610和/或处理器602中。

网络接口610可以包括收发器，用于为电子设备600提供无线电接口，进而通过一个或多个网络与任意其他合适的设备(例如，前端模块、天线等)进行通信。在一些实施例中，网络接口610可以集成于电子设备600的其他组件。例如，网络接口610可以集成于处理器602、系统内存605、NVM 606、和具有指令的固件设备(未示出)中的至少一种，当处理器602中的至少一个执行所述指令时，电子设备600实现图2所示的各种实施例的一个或多个实施例。

网络接口610可以进一步包括任意合适的硬件和/或固件，以提供多输入多输出无线电接口。例如，网络接口610可以是网络适配器、无线网络适配器、电话调制解调器和/或无线调制解调器。

在一个实施例中，处理器602中的至少一个可以与用于系统主板608的一个或多个控制器封装在一起，以形成系统封装(SiP)。在一个实施例中，处理器602中的至少一个可以与用于系统主板608的一个或多个控制器集成在同一管芯上，以形成片上系统(SoC)。

电子设备600可以进一步包括：输入/输出(I/O)设备612，与系统主板608连接。I/O设备612可以包括用户界面，使得用户能够与电子设备600进行交互；外围组件接口的设计使得外围组件也能够与电子设备600交互。在一些实施例中，电子设备600还包括传感器，用于确定与电子设备600相关的环境条件和位置信息的至少一种。

在一些实施例中，I/O设备612可包括但不限于显示器(例如，液晶显示器、触摸屏显示器等)、扬声器、麦克风、一个或多个相机(例如，静止图像照相机和/或摄像机)、手电筒(例如，发光二极管闪光灯)和键盘。

在一些实施例中，外围组件接口可以包括但不限于非易失性存储器端口、音频插孔和电源接口。

可以理解的是，本发明实施例示意的结构并不构成对电子设备600的具体限定。在本申请另一些实施例中，电子设备600可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件、或软件和硬件的组合实现。

可将程序代码应用于输入指令，以执行本发明描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，包括处理器602的用于处理指令的系统包括具有诸如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何系统。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本发明中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

根据本发明的一个实施例，还提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机指令，所述至少一条指令由处理器加载并执行，以实现前述的方法。

根据本发明的一个实施例，还提出了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令被执行时，实现前述的方法。

本发明的说明性实施例包括但不限于一种数据处理方法、系统、设备、介质和程序产品。

将使用本领域技术人员通常采用的术语来描述说明性实施例的各个方面，以将他们工作的实质传达给本领域其他技术人员。然而，对于本领域技术人员来说，使用部分所描述的特征来施行一些替代性实施例是显而易见的。出于解释的目的，阐述了具体的数字和配置，以便对说明性实施例进行更加透彻的理解。然而，对于本领域技术人员来说显而易见的是，可以在没有具体细节的情况下实施替代实施例。在一些其他情况下，本文省略或简化了一些众所周知的特征，以避免使本发明的说明性实施例模糊不清。

此外，各种操作将以最有助于理解说明性实施例的方式被描述为多个彼此分离的操作；然而，描述的顺序不应被解释为暗示这些操作必须依赖描述的顺序，其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序也可以被重新安排。当所描述的操作完成时，所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

说明书中对“一种举例”、“举例中”、“一种实施例”、“一种实施方式”等的引用表示所描述的实施例可以包括特定特征、结构或性质，但是每个实施例也可能或不是必需包括特定的特征、结构或性质。而且，这些短语不一定是针对同一实施例。此外，当结合具体实施例描述特定特征，本领域技术人员的知识能够影响到这些特征与其他实施例的结合，无论这些实施例是否被明确描述。

除非上下文另有规定，否则术语“包含”、“具有”和“包括”是同义词。短语“A和/或B”表示“(A)、(B)或(A和B)”。

如本文所使用的，术语“模块”可以指代，作为其中的一部分，或者包括：用于运行一个或多个软件或固件程序的存储器(共享、专用或组)、专用集成电路(ASIC)、电子电路和/或处理器(共享、专用或组)、组合逻辑电路、和/或提供所述功能的其他合适组件。

在附图中，可能以特定布置和/或顺序示出了一些结构或方法特征。然而，应当理解的是，这样的特定布置和/或排序不是必需的。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来进行说明。另外，特定附图中所包含得结构或方法特征并不意味着所有实施例都需要包含这样的特征，在一些实施例中，可以不包含这些特征或者可以与将这些特征与其他特征进行组合。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

Claims (10)

1.一种数据处理方法，用于电子设备，其特征在于，包括：

获取数据步骤，获取来自至少一个数据平台的原始数据；

留存数据步骤，将所述原始数据存入ODS库中的表中；

关联数据步骤，将所述ODS库中的表中的所述原始数据与预定格式的表的数据进行关联，生成关联表；

更新数据步骤，基于所述关联表的数据，更新所述预定格式的表的数据。

2.根据权利要求1所述的一种数据处理方法，其特征在于，所述获取数据步骤包括，将所述原始数据转化为json格式。

3.根据权利要求1所述的一种数据处理方法，其特征在于，所述留存数据步骤包括，采用分区存储方式将相同数据类型和格式的所述原始数据存入所述ODS库的同一个表中，其中，所述ODS库的表的数量至少为一个。

4.根据权利要求1所述的一种数据处理方法，其特征在于，所述关联数据步骤包括，基于用户体系将所述ODS库中的表中的所述原始数据与预定格式的表的数据进行关联。

5.根据权利要求4所述的一种数据处理方法，其特征在于，所述关联数据步骤还包括基于所述预定格式的表的字段类型对关联后的所述数据进行转换，并基于关联后的所述数据生成关联表。

6.根据权利要求1所述的一种数据处理方法，其特征在于，所述更新数据步骤包括，更新方式为分区覆盖旧数据的方式。

7.一种数据处理系统，其特征在于，包括：

获取数据模块，获取来自至少一个数据平台的原始数据；

留存数据模块，将所述原始数据存入ODS库中的表中；

关联数据模块，将所述ODS库中的表中的所述原始数据与预定格式的表的数据进行关联，生成关联表；

更新数据模块，基于所述关联表的数据，更新所述预定格式的表的数据。

8.一种电子设备，其特征在于，所述设备包括存储有计算机可执行指令的存储器和处理器，所述处理器被配置为执行所述指令以实施根据权利要求1-6中任一项所述的数据处理方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机指令，所述至少一条指令由处理器加载并执行，以实现如权利要求1-6中任一项所述的数据处理方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令被执行时，实现如权利要求1-6中任一项所述的数据处理方法。

Images