CN110019032A

CN110019032A - 一种数据处理方法及其相关装置

Info

Publication number: CN110019032A
Application number: CN201710859144.6A
Authority: CN
Inventors: 陈玉萍
Original assignee: Beijing Gridsum Technology Co Ltd
Current assignee: Beijing Gridsum Technology Co Ltd
Priority date: 2017-09-20
Filing date: 2017-09-20
Publication date: 2019-07-16

Abstract

本发明实施例公开了一种数据处理方法及其相关装置，用于从微信公众平台的API中获取微信公众号的分析数据，为微信公众号运营者提供数据支撑，同时适用于当微信公众平台API中新增分析数据类型时，可以根据流程灵活地轻松接入，降低对接成本。本发明实施例方法包括：从应用程序编程接口API中获取第一数据；将所述第一数据存储为目标文件格式，得到第一目标文件；对所述第一目标文件进行数据处理；将处理后的所述第一目标文件存储为所述目标文件格式，得到第二目标文件；将所述第二目标文件中的对象值存储至目标数据库中。

Description

一种数据处理方法及其相关装置

技术领域

本发明涉及互联网通信领域，特别涉及一种数据处理方法及其相关装置。

背景技术

随着智能手机的越来越普及，微信已成为当下最火热的互联网聊天工具之一；与此同时，微信营销作为新型的互联网营销方式应运而生。而随着微信营销的不断普及，企业对微信运营的要求也在不断提高。为了帮助微信公众号拥有者提高微信运营的能力，微信公众平台提供了分析数据接口，供开发者调用，让运营者实现有效利用后台数据，有预谋有组织的做微信运营。

现有技术中，由于微信运营系统中没有提供一套完整的对接微信公众平台中各种用户数据接口的流程方法，导致当微信公众平台应用程序接口(Application ProgrammingInterface，API)新增一种数据类型时，由于接入的数据文件格式不统一，导致新增的数据类型接入困难，增加了对接成本。

发明内容

本发明实施例提供了一种数据处理方法及其相关装置，用于从微信公众平台的API中获取微信公众号的分析数据，为微信公众号运营者提供数据支撑，同时适用于当微信公众平台API中新增分析数据类型时，可以根据流程灵活地轻松接入，降低对接成本。

本发明第一方面提供一种数据处理方法，具体包括：

从API中获取第一数据；

将所述第一数据存储为目标文件格式，得到第一目标文件；

对所述第一目标文件进行数据处理；

将处理后的所述第一目标文件存储为所述目标文件格式，得到第二目标文件；

将所述第二目标文件中的对象值存储至目标数据库中。

本发明第二方面提供一种数据处理装置，具体包括：

获取单元，用于从API中获取第一数据；

第一存储单元，用于将所述第一数据存储为目标文件格式，得到第一目标文件；

第一处理单元，用于对所述第一目标文件进行数据处理；

第二存储单元，用于将处理后的所述第一目标文件存储为所述目标文件格式，得到第二目标文件；

第三存储单元，用于将所述第二目标文件中的对象值存储至目标数据库中。

本发明第三方面提供一种数据处理装置，具体包括：

至少一个处理器和至少一个存储器，至少一个存储器中存储有指令，以使至少一个处理器能够：

从API中获取第一数据；

将所述第一数据存储为目标文件格式，得到第一目标文件；

对所述第一目标文件进行数据处理；

将所述第二目标文件中的对象值存储至目标数据库中。

从以上技术方案可以看出，本发明实施例具有以下优点：本发明所提及的数据处理装置通过生产模块从API中获取第一数据；

所述生产模块将所述第一数据存储为目标文件格式，得到第二数据；

消费模块读取所述第二数据；

所述消费模块将所述第二数据存储至目标数据库中。

本发明实施例提供的技术方案中，具有如下优点：装置从API中获取第一数据；将所述第一数据存储为目标文件格式，得到第一目标文件；对所述第一目标文件进行数据处理；将处理后的所述第一目标文件存储为所述目标文件格式，得到第二目标文件；将所述第二目标文件中的对象值存储至目标数据库中。由于本发明将获取到的数据进行了统一的文件格式处理，当微信公众平台API中新增数据类型时，将接入的数据统一文件格式，使得新增的类型可以轻松接入，降低对接成本。

附图说明

图1为本发明实施例中数据处理方法一实施例示意图；

图2为本发明实施例中数据处理装置一实施例示意图；

图3为本发明实施例中数据处理装置另一实施例示意图；

图4为本发明实施例中数据处理装置另一实施例示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例中，装置会根据微信公众平台API提供的数据，进行分类，定义数据类型，其中，数据类型包括：图文属性数据、图文群发每日数据、图文群发汇总数据、图文统计数据、图文统计分时数据、图文分享转发数据、粉丝属性数据、粉丝汇总数据、粉丝增减数据等。本发明实施例所提供的数据处理装置会对分好类的每一种数据类型，执行对应数据的生产和消费过程，具体的执行步骤见下面的实施例。

请参阅图1，本发明实施例中数据处理方法一个实施例包括：

101、从API中获取第一数据。

本实施例中，数据处理装置会调用微信公众平台提供的API，然后API向装置返回第一数据，其中，第一数据为原始的数据。

实际过程可以为：装置调用微信公众平台提供的API，API向装置返回JS对象标记(JavaScript Object Notation，json)格式的字符串数据。

102、将获取到的第一数据转换成与第一数据的数据类型相对应的第一类型对象。

本实施例中，当数据处理装置从微信公众平台提供的API中获取第一数据之后，会将该第一数据转换为与该第一数据的数据类型对应的第一类型对象，需要说明的是，装置将第一数据转换为第一类型对象时，未进行过任何业务处理。

实际过程可以为：当装置从API中获取到json字符串之后，会将json字符串转换为对应数据类型的对象。

103、将第一类型对象写入第一目标文件中。

本实施例中，当数据处理装置将第一数据转换为第一类型对象之后，会将第一类型对象写入第一目标文件中，其中，第一目标文件的文件格式为目标文件格式，目标文件格式具体可以为csv(Comma-Separated Values，字符分隔值)格式，也可以为其他格式，具体此处不做限定。

需要说明的是，第一目标文件的文件名包括：第一目标文件的文件状态、第一目标文件相对应的公众号的ID、第一目标文件的数据类型和第一目标文件的数据时间，其中，第一目标文件的文件状态为原始文件状态，目标文件的文件状态用于区分处理后的数据和未经过处理的数据，为日后方便排查问题；公众号的ID用于区分不同的公众号，由于ID是公众号唯一的标识，可以避免文件名重复；文件的数据时间反映了数据获取的时间，装置可以通过比对不同时间获取到的数据，获取数据的波动状态。

实际过程可以为：数据处理装置将由json字符串转换成的对象通过对象写入器将对象值写入到csv文件中，记为“Raw_{公众号的AppId值}_Report_{数据类型}_{数据时间}.csv”。上述标记中，Raw表示该csv文件是原始数据文件，即对从微信公众平台API对接过来的数据未做任何业务处理，公众号的AppId值是微信给每个公众号分配的唯一ID值，数据类型表示对接数据的类型，数据时间表示对接数据值发生的时间。

104、将第一目标文件转换成与数据类型相对应的第二类型对象。

本实施例中，当数据处理装置读取步骤103存储的第一目标文件之后，将根据第一目标文件文件名中记录的“数据类型”对该第一目标文件转换成对应的第二类型对象；例如，在转换过程中会对第一目标文件中某些列的值，比如“用户姓名”列中某些用户姓名包含换行符、空白格、乱码等特殊字符，对这些特殊字符进行过滤。

实际过程可以为：数据处理装置读取步骤103存储的“Raw_{公众号的AppId值}_Report_{数据类型}_{数据时间}.csv”文件，根据{数据类型}转换成对应的对象。

105、根据业务需求对第二类型对象的值进行处理。

本实施例中，当装置将第一目标文件转换成第二类型对象之后，将会根据业务需求对该第二类型对象的值进行处理，例如：如果第一目标文件中有一列为时间列，其显示值如2017-08-01，则由于业务表的设计，会对该时间进行处理，将其转换从比如1970-1-1开始的时间key值。

实际过程可以为：装置读取步骤103存储的“Raw_{公众号的AppId值}_Report_{数据类型}_{数据时间}.csv”文件，根据{数据类型}转换成对应的对象，并根据业务需求，对对象值进行处理。

106、将处理后的第一目标文件存储为目标文件格式，得到第二目标文件。

本实施例中，当装置将第一目标文件转换成与数据类型相对应的第二类型对象，并根据业务需求对第二类型对象的值进行处理之后，得到处理后的第一目标文件，然后将处理后的第二类型对象的值写入到目标格式文件中，并得到第二目标文件，其中，第二目标文件的文件名包括：第二目标文件的文件状态、第二目标文件相对应的公众号的ID、第二目标文件的数据类型和第二目标文件的数据时间。

实际过程可以为：装置读取步骤103存储的“Raw_{公众号的AppId值}_Report_{数据类型}_{数据时间}.csv”文件，根据{数据类型}转换成对应的对象，并根据业务需求，对对象值进行处理，再将处理后的结果存储为csv文件，记为“Detail_{公众号的AppId值}_Report_{数据类型}_{数据时间}.csv”。上述标记中，Detail表示该csv文件是处理后的数据文件，公众号的AppId值是微信给每个公众号分配的唯一ID值，数据类型表示对接数据的类型，数据时间表示对接数据值发生的时间。

107、将第二目标文件进行压缩处理。

本实施例中，数据处理装置将处理后的第二类型对象的值写入到目标格式文件中，得到第二目标文件之后，为了减少数据对磁盘空间的占用，会将第二目标文件进行压缩处理。

实际过程可以为：将步骤106中的csv文件，进行压缩，压缩成ZIP格式。

108、将压缩后的第二目标文件存储至服务器。

本实施例中，当数据处理装置将第二目标文件进行压缩处理之后，会将压缩后的第二目标文件存储至服务器，其中，该服务器用于统一存储获取到的数据，且该服务器为远程服务器。

109、将压缩后的第二目标文件读取至本地服务器上。

本实施例中，当装置将压缩后的第二目标文件存储至远程服务器之后，装置会将压缩后的第二目标文件读取至本地服务器上。

实际过程可以为：消费处理程序从数据保存服务器上读取压缩文件到本地处理服务器中。

110、对压缩后的第二目标文件进行解压处理，并将解压后的第二目标文件保存至本地临时目录。

本实施例中，装置从远程服务器上读取了经过压缩的第二目标文件之后，会对该文件进行解压处理，并且将解压后的第二目标文件保存至本地临时目录。

实际过程可以为：消费处理程序从数据保存服务器上读取压缩文件到本地处理服务器之后，将压缩文件进行解压到本地临时目录temp。

111、根据第二目标文件的数据类型将第二目标文件转换成与数据类型相对应的数据，得到第二目标类型对象。

本实施例中，当数据处理装置从远程服务器上读取了第二目标文件，并对该文件进行解压处理之后，将会根据第二目标文件的数据类型将第二目标文件转换成与数据类型相对应的数据，得到第二目标类型对象，例如数据类型可能为用户数据或图文数据等，若用户数据对应A类型，图文数据对应B类型，那么在转换的时候会将用户数据转换为A类型的数据，图文数据转换为B类型的数据。

实际过程可以为：消费模块从临时目录temp中读取解压后的csv文件，并根据文件名中的{数据类型}转换成对应数据类型的对象。

112、根据目标数据库类型对第二目标类型对象的值进行处理。

本实施例中，当装置根据第二目标文件的数据类型将第二目标文件转换成与数据类型相对应的数据，得到第二目标类型对象之后，会根据目标数据库中的类型对第二目标类型对象的值进行处理，例如，如果数据库表中某一字段最多只允许64位长度，而对应第二目标对象中某属性的数据，例如名称数据有一百多位长度，此时，为了防止插入数据库时报错，会先将名称数据进行截断处理。

实际过程可以为：消费模块从临时目录temp中读取解压后的csv文件，并根据文件名中的{数据类型}转换成对应数据类型的对象之后，根据持久化的目标数据库类型表的约束，进行第二目标类型对象值的处理。

113、将第二目标文件中的对象值存储至目标数据库中。

本实施例中，当第二目标文件经过一系列处理之后，装置会将处理后的第二目标文件中的对象值存储至目标数据库中。

实际过程可以为：数据处理装置将步骤112中处理后的对象值持久化到目的数据库中.

114、删除临时目录。

本实施例中，当装置将处理后的第二目标文件中的对象值存储至目标数据库中之后，会删除临时目录。

实际过程可以为：装置将步骤112中处理后的对象值持久化到目的数据库中，并删除步骤110中生成的临时目录temp。

本发明实施例提供的技术方案中，具有如下优点：装置从API中获取第一数据；将第一数据存储为目标文件格式，得到第一目标文件；对第一目标文件进行数据处理；将处理后的第一目标文件存储为目标文件格式，得到第二目标文件；将第二目标文件中的对象值存储至目标数据库中。由于本发明将获取到的数据进行了统一的文件格式处理，当微信公众平台API中新增数据类型时，将接入的数据统一文件格式，使得新增的类型可以轻松接入，降低对接成本。

需要说明的是，本发明通过提供一套完整对接微信公众平台的用户管理接口、用户分析数据接口、图文分析数据接口等接口的流程方法，实现微信公众平台数据的持久化。为微信公众号运营者提供数据支撑、分析自身公众号运营情况，从而提升公众号运营效果。本方法适用于微信公众平台API提供的所有数据类型，当微信公众平台API新增一种数据类型时，也能够轻易接入，减少对接成本，提高代码复用率。同时，该方法，对微信平台提供的原始数据以及处理后的数据，都进行了csv文件格式的存储；一方面可以很方便地实现原始数据和处理后数据的对比，另一方面，csv文件作为通用的文件格式，可以很灵活地根据业务需要将文件数据持久化到不同的数据库中。

上面对本发明实施例中的数据处理方法进行了描述，下面对本发明实施例中的数据处理装置进行描述，请参阅图2，本发明实施例中的数据处理装置的一个实施例包括：

获取单元201，用于从API中获取第一数据；

第一存储单元202，用于将第一数据存储为目标文件格式，得到第一目标文件；

第一处理单元203，用于对第一目标文件进行数据处理；

第二存储单元204，用于将处理后的第一目标文件存储为目标文件格式，得到第二目标文件；

第三存储单元205，用于将第二目标文件中的对象值存储至目标数据库中。

本发明实施例提供的技术方案中，具有如下优点：本发明用于从微信公众平台的API中获取微信公众号的分析数据，为微信公众号运营者提供数据支撑，同时适用于当微信公众平台API中新增分析数据类型时，可以根据流程灵活地轻松接入，降低对接成本。

请参阅图3，本发明实施例中的数据处理装置的另一个实施例包括：

获取单元301，用于从API中获取第一数据；

第一存储单元302，用于将第一数据存储为目标文件格式，得到第一目标文件；

其中，第一存储单元302包括：

第一转换子单元3021，用于将获取到的第一数据转换成与第一数据的数据类型相对应的第一类型对象；

第一写入子单元3022，用于将第一类型对象写入第一目标文件中，第一目标文件为第一目标文件格式的文件。

第一处理单元303，用于对第一目标文件进行数据处理；

其中，第一处理单元303包括：

第二转换子单元3031，用于将第一目标文件转换成与数据类型相对应的第二类型对象；

第一处理子单元3032，用于根据业务需求对第二类型对象的值进行处理。

第二存储单元304，用于将处理后的第一目标文件存储为目标文件格式，得到第二目标文件；

压缩单元305，用于将第二目标文件进行压缩处理；

第四存储单元306，用于将压缩后的第二目标文件存储至服务器，服务器用于统一存储获取到的数据，且服务器为远程服务器。

读取单元307，用于将压缩后的第二目标文件读取至本地服务器上；

解压单元308，用于对压缩后的第二目标文件进行解压处理，并将解压后的第二目标文件保存至本地临时目录。

转换单元309，用于根据第二目标文件的数据类型将第二目标文件转换成与数据类型相对应的数据，得到第二目标类型对象；

第二处理单元310，用于根据目标数据库中的类型对第二目标类型对象的值进行处理。

第三存储单元311，用于将第二目标文件中的对象值存储至目标数据库中。

删除单元312，用于删除临时目录。

请参阅图4，本发明实施例中的数据处理装置另一个实施例包括：

图4是本发明实施例提供的一种数据处理装置结构示意图，该数据处理装置400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)422(例如，一个或一个以上处理器)和存储器432，一个或一个以上存储应用程序442或数据444的存储介质430(例如一个或一个以上海量存储设备)。其中，存储器432和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理装置中的一系列指令操作。更进一步地，中央处理器422可以设置为与存储介质430通信，在数据处理装置400上执行存储介质430中的一系列指令操作。

数据处理装置400还可以包括一个或一个以上电源426，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口458，和/或，一个或一个以上操作系统441，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。

上述实施例中由数据处理装置所执行的步骤可以基于该图4所示的数据处理装置结构。

其中，存储器432，用于存储操作指令以及相关数据；

中央处理器422通过调用存储器432存储的操作指令，用于执行如下步骤：

从API中获取第一数据；

将第一数据存储为目标文件格式，得到第一目标文件；

对第一目标文件进行数据处理；

将处理后的第一目标文件存储为目标文件格式，得到第二目标文件；

将第二目标文件中的对象值存储至目标数据库中。

存储器432，用于存储操作指令和数据，以便中央处理器422调用上述操作指令实现相应操作，可以包括只读存储器和随机存取存储器。存储器432的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。

本实施例中，还需要说明的是，上述本发明实施例揭示的方法可以应用于中央处理器422中，或者由中央处理器422实现。中央处理器422可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过中央处理器422中的硬件的集成逻辑电路或者软件形式的指令完成。上述的中央处理器422可以是通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(application specificintegrated circuit，ASIC)、现成可编程门阵列(field－programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器432，中央处理器422读取存储器432中的信息，结合其硬件完成上述方法的步骤。

所述数据处理装置包括处理器和存储器，上述获取单元、第一存储单元、第一处理单元、第二存储单元和第三存储单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来将接入的数据统一文件格式，使得新增的类型可以轻松接入，降低对接成本。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述数据处理方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述数据处理方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

从API中获取第一数据；

将所述第一数据存储为目标文件格式，得到第一目标文件；

对所述第一目标文件进行数据处理；

将所述第二目标文件中的对象值存储至目标数据库中。

其中，所述处理器还用于：

读取所述第一目标文件。

所述处理器还用于：

将获取到的第一数据转换成与所述第一数据的数据类型相对应的第一类型对象，所述第一类型对象中的数据未经过业务处理；

将所述第一类型对象写入第一目标文件中，所述第一目标文件为所述目标文件格式的文件。

所述处理器还用于：

将所述第一目标文件转换成与所述第一目标文件的数据类型相对应的第二类型对象；

根据业务需求对所述第二类型对象进行处理。

所述处理器还用于：将所述第二目标文件进行压缩处理；

将压缩后的所述第二目标文件中的对象值存储至服务器，所述服务器用于统一存储获取到的数据，且所述服务器为远程服务器。

所述处理器还用于：

将所述压缩后的所述第二目标文件读取至本地服务器上；

对本地服务器上所述压缩后的所述第二目标文件进行解压处理，并将解压后的所述第二目标文件保存至本地临时目录。

所述处理器还用于：

根据所述第二目标文件的数据类型将所述第二目标文件转换成与所述数据类型相对应的数据，得到第二目标类型对象；

根据所述目标数据库类型对所述第二目标类型对象进行对象值处理。

所述处理器还用于：

删除所述临时目录。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

从API中获取第一数据；

将所述第一数据存储为目标文件格式，得到第一目标文件；

对所述第一目标文件进行数据处理；

将所述第二目标文件中的对象值存储至目标数据库中。

其中，所述计算机程序产品还用于：

读取所述第一目标文件。

所述计算机程序产品还用于：

根据业务需求对所述第二类型对象进行处理。

所述计算机程序产品还用于：将所述第二目标文件进行压缩处理；

将压缩后的所述第二目标文件存储至服务器，所述服务器用于统一存储获取到的数据，且所述服务器为远程服务器。

所述计算机程序产品还用于：

将所述压缩后的所述第二目标文件读取至本地服务器上；

所述计算机程序产品还用于：

删除所述临时目录。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种数据处理方法，其特征在于，包括：

从应用程序编程接口API中获取第一数据；

将所述第一数据存储为目标文件格式，得到第一目标文件；

对所述第一目标文件进行数据处理；

将所述第二目标文件中的对象值存储至目标数据库中。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一数据存储为目标文件格式包括：

3.根据权利要求1所述的方法，其特征在于，所述对所述第一目标文件进行数据处理包括：

根据业务需求对所述第二类型对象的值进行处理。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述将处理后的所述第一目标文件存储为所述目标文件格式，得到第二目标文件之后，所述方法还包括：

将所述第二目标文件进行压缩处理；

5.根据权利要求4所述的方法，其特征在于，所述将压缩后的所述第二目标文件存储至服务器之后，所述方法还包括：

将所述压缩后的所述第二目标文件读取至本地服务器上；

6.根据权利要求5所述的方法，其特征在于，所述对所述压缩后的所述第二目标文件进行解压处理之后，所述方法还包括：

根据所述目标数据库类型对所述第二目标类型对象的值进行处理。

7.根据权利要求5所述的方法，其特征在于，所述将所述第二目标文件中的对象值存储至目标数据库中之后，所述方法还包括：

删除所述临时目录。

8.一种数据处理装置，其特征在于，包括：

获取单元，用于从应用程序编程接口API中获取第一数据；

第一处理单元，用于对所述第一目标文件进行数据处理；

9.一种存储介质，其上存储有程序，该程序被处理器执行时实现如权利要求1至7任一项所述的数据处理方法。

10.一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行如权利要求1至7任一项所述的数据处理方法。