CN112988860A - 数据加速处理方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供了一种数据加速处理方法、装置及电子设备，方法包括：获取待加速的第一数据表的表信息，第一数据表存储于数据仓库中；调用与数据仓库对应的第一数据定义模板和与第一加速库对应的第二数据定义模板，并根据表信息，在第一加速库中创建第一加速表；根据第一加速任务模板，生成第一加速任务脚本；执行第一加速任务脚本，获取第一数据表中的数据同步到第一加速表中。本发明实施中，预先设置了与数据仓库和第一加速库对应的数据定义模板，以及执行数据转换的第一加速任务模板，从而为用户实现自动化的数据加速处理，用户只需要提供具体要加速的数据表的信息即可，而不用介入到复杂的数据库之间的数据转换流程，从而极大方便了用户的操作，也提高了数据加速效率。

Description

数据加速处理方法、装置及电子设备

技术领域

本申请涉及一种数据加速处理方法、装置及电子设备，属于计算机技术领域。

背景技术

数据仓库用于存储海量的数据，其具有数据存储量大、数据吞吐量高的优点，但同时其数据读取延迟性高、响应时长大的不足，因此，在实际应用中，会将一些需要经常被访问的数据，同步到第一加速库中，以用于客户端进行频繁访问。在实际应用中，从数据仓库向第一加速库进行同步的数据表一般由用户根据实际需求而选定，在现有技术中，数据同步操作涉及大量配置工作，从准备DDL(Data Definition Language，数据定义语言)到创建第一加速表、从准备同步命令到发布同步任务，这些过程非常费时、费力，工作重复性大，用户都要掌握众多学习成本。

发明内容

本发明实施例提供一种数据加速处理方法、装置及电子设备，以方便用户进行数据加速处理。

为了实现上述目的，本发明实施例提供了一种数据加速处理方法，包括：

获取待加速的第一数据表的表信息，所述第一数据表存储于数据仓库中；

调用与数据仓库对应的第一数据定义模板和与第一加速库对应的第二数据定义模板，并根据所述表信息，在所述第一加速库中创建第一加速表；

根据第一加速任务模板，生成第一加速任务脚本；

执行第一加速任务脚本，获取第一数据表中的数据同步到所述第一加速表中。

本发明实施例还提供了一种数据加速处理装置，包括：

数据表信息获取模块，用于获取待加速的第一数据表的表信息，所述第一数据表存储于数据仓库中；

第一加速表创建模块，用于调用与数据仓库对应的第一数据定义模板和与第一加速库对应的第二数据定义模板，并根据所述表信息，在所述第一加速库中创建第一加速表；

任务脚本生成模块，用于根据第一加速任务模板，生成第一加速任务脚本；

同步处理模块，用于执行第一加速任务脚本，获取第一数据表中的数据同步到所述第一加速表中。

本发明实施例还提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，以执行上述的数据加速处理方法。

本发明实施例通过预先设置的与数据仓库和第一加速库对应的数据定义模板，以及执行数据转换的第一加速任务模板，来为用户实现自动化的数据加速处理，用户只需要提供具体要加速的数据表的信息即可，而不用介入到复杂的数据库之间的数据转换流程，从而极大方便了用户的操作，也提高了数据加速效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

图1为本发明实施例的数据加速的应用场景的结构示意图；

图2为本发明实施例的数据加速处理方法的流程示意图；

图3为本发明实施例的数据加速处理装置的结构示意图；

图4为本发明实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在一些应用场景下，海量的数据会先存储到数据仓库中，然后再根据用户的实际需求，将一些经常被使用的数据放到加速库中，以实现快速访问，也就是数据加速。针对数据仓库中的数据进行加速的过程，需要涉及到数据仓库到加速库中的数据结构的转换，以及在加速库中建表等复杂的处理过程。本发明实施例针对这样的需求，提出了数据加速处理机制，通过设立一个加速引擎，来帮助用户完成数据加速的需求。

如图1所示，其为本发明实施例的数据加速的应用场景的结构示意图，在该应用场景中，包括：数据仓库、加速库、任务调度平台、加速引擎。其中，数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合，例如离线ODPS(Open DataProcessing Service，开放数据处理服务)数据仓库，数据仓库的设计架构主要应用于对海量数据的存储和分析，但是，面对使用频率比较高的数据，针对数据仓库的访问效率会比较低，并且，一般的数据仓库的收费是按照访问次数来收费的，如果访问频率非常高，累计的访问量也是非常大，用户的使用成本也会相对较高。

为了解决这种矛盾，设置了加速库，用来存储需要进行在线使用和分析的数据，加速库的数据库结构一般采用适于高速在线访问的结构，例如Lindom(一种面向在线海量数据处理的分布式数据库)、ADS(AnalyticDB，分析型数据库)、HDB(Hypermedia Database，超媒体数据库)等数据库结构。加速库可以为多个不同数据库结构的加速库，从而用户根据需要将数据仓库中的数据表，同步到不同的加速库中。

由于加速库和数据仓库之间的数据结构的不同，无法直接进行数据拷贝，而需要进行数据转换。加速引擎主要是负责在数据仓库和加速库之间进行数据转换的部分，加速引擎用来生成具体的加速任务脚本，执行该加速任务脚本就能够实现将从数据仓库中向加速库中进行数据转换。对于数据仓库而言，往往需要进行加速的数据表和数据量会很多，涉及到的用户也会很多，因此，还可以配置任务调度平台，加速引擎生成的加速任务脚本会提交到任务调度平台形成加速任务，用来对多个加速任务进行调度，从而实现高效的数据加速。

加速引擎是与用户直接对接的模块，用户只需要将需要进行加速的数据表的信息提交至加速引擎即可，由加速引擎来实现加速表的创建、数据转换等操作。必要时可以提交相关的数据加速需求，例如数据同步加速的频率、同步加速的范围等等，从而配合任务调度平台进行任务调度。加速引擎进一步包括如下几个部分：

模板工厂，预先配置了与数据仓库对应的数据定义模板(后面称作第一数据定义模板)和与加速库对应的数据定义模板(后面称作第二数据定义模板)。数据定义模板(一般为DDL模板)定义了数据库中的数据结构，在针对某个具体的数据表进行加速时，可以调用该第一、第二数据定义模板并结合具体的待加速的数据表的信息，来完成建表和数据转换等。具体地，可以使用数据定义模板针对要加速的数据表进行实例化，来生成针对该数据表的数据定义文件(一般为DDL文件)，然后基于对该数据定义文件的调用可以完成从数据仓库中的数据表的读取以及在加速库中的建表、修改、删除等数据库操作。当新增加速库或者新增某种数据结构时，只需要增加新的数据定义模板即可，而不需要进行大规模的代码改动。

此外，在该模板工厂中还可以预先设置有加速任务模板，用来生成加速任务脚本，加速任务脚本基于对数据定义模板生成的数据定义文件的调用，执行数据仓库中的数据表到加速库中的数据表中的数据格式转换，并最终将转换后的数据写入到加速库中已经建立的数据表中。在针对用户的提交的要加速的数据表，在加速库中建立了加速表后，可以基于对加速任务脚本的反复执行，来不断地进行数据加速同步处理。具体的同步频率可以基于用户的需求而设定，并通过任务调度平台来实现调度。

数据仓库对接模块，用于与数据仓库对接，加载数据表的元数据和调用数据定义模板，实现对离线数据仓的数据表的读取。针对某个具体的需要加速的数据表，都可以对应有该数据表的元数据以及基于第一数据定义模板而生成的数据定义文件，从而实现不断地从该要加速的数据表中读取数据，从而进行后续的数据转换处理。

加速库对接模块，用于与加速库进行对接，实现加速表的建立以及加速数据的写入等操作。在该加速库对接模块中存储有基于上述的第二数据定义模板而生成的数据定义文件，从而实现数据以符合加速表的数据结构的形式写入到加速表中。

任务调度平台对接模块，用来根据模板工厂中的加速任务模板，生成的加速任务脚本，并提交给任务调度平台，以形成加速任务。该模块还可以采集用户对于加速任务方面的需求并一并上报给任务调度平台，此外，该模块还可以负责执行具体的加速任务脚本，从而实现对从数据仓库中读取的数据向加速库中的数据形态之间的转换，在执行加速任务脚本中也会触发数据仓库对接模块和加速库对接模块执行数据读取和写入的处理。

作为进一步的改进，可以设置二级加速机制，对上述加速库中的数据进行进一步的加速。在一些应用场景下，可以设计二级或者多级的加速库。根据用户对数据的使用频度，选择性的对用户的数据进行加速。例如，基于用户的初步需求，先将待加速的数据表，从数据仓库中同步到一级加速库中，然后根据用户进一步的需求，再从该一级加速库同步的二级加速库，从而实现进一步的数据加速处理。从数据仓库到一级加速库，以及从一级加速库到二级加速库的数据处理，都可以由上述的加速引擎来完成。

另外，对于还可以提供动态配置新的加速库的机制，允许用户配置新的加速库，这些加速库可以是用户自己定制的加速库。用户可以向加速引擎提交配置请求，携带与新的加速库对应的数据定义模块和加速任务脚本，然后，加速引擎可以对这些模板进行部署，加入到模板工厂中，并将新的加速库添加到加速库列表中，与数据仓库建立映射关系。之后，用户就可以将其要加速的数据表，同步到该新的加速库中进行数据加速。

此外，前面介绍了基于一个数据仓库，向多个加速库中进行数据表同步，以进行数据加速的处理。上述的加速引擎，可以同时管理多个数据仓库，实现多个数据仓库对应一个或者多个加速库。在多个数据仓库的情况下，各个数据仓库会分别对应不同的数据定义模板，这些模板都会部署到模板工厂中，然后根据对不同数据仓库中的数据表的同步处理，来选择使用对应的数据模板。上述的加速引擎作为数据加速的后台服务器，来进行数据加速的处理，用户可以完全不了解底层的数据机制。在面向用户的界面设计上，可以用户提供“加速”选项，例如，这个“加速”选项可以设置于用户对于数据仓库的访问界面或者管理界面上，当用选定某个数据表时，可以提供“加速”选项，让用户可以一键加速或者通过简单的配置后进行加速。

本发明实施例通过上述加速引擎，来实现整个数据加速过程的自动化和规范化，用户只需要指定数据仓库中要加速的数据表的相关信息，其他的处理过程可以由数据加速引擎来完成。

下面通过一些具体实施例来进一步说明本发明的技术方案。

实施例一

如图2所示，其为本发明实施例的数据加速处理方法的流程示意图，该方法可以应用于上述的加速引擎中或者一些大型的数据库管理平台上，该方法涉及数据仓库和加速库之间的数据转换处理，为了便于进行描述，下文中对不同指代的加速库区分为第一加速库、第二加速库以及第三加速库等，相应的加速表进行了类似的区分性命名。具体地，该方法包括：

S101：获取待加速的第一数据表的表信息，第一数据表存储于数据仓库中，该第一数据表一般可以由用户根据自身需求来指定，例如，该第一数据表可以是某个电商用户记录每天用户交易订单的数据表，基于一些需求，该电商用户需要频繁地对该用户交易订单数据进行分析和调取访问，因此，需要将该数据表同步到第一加速库，以便于频繁的访问和处理。这里所说的表信息可以包括：表的数据结构、表的大小、数据表的键的相关信息、数据表的索引结构等等。该步骤可以通过用户向上述加速引擎提交请求的方式来触发，具体地地，在该步骤之前还可以包括：接收用户提交的针对数据仓库中的第一数据表的加速请求，触发获取待加速的第一数据表的表信息的处理，加速请求中包含第一数据表的表信息。

S102：调用与数据仓库对应的第一数据定义模板和与第一加速库对应的第二数据定义模板，并根据表信息，在第一加速库中创建第一加速表。在该步骤中，会根据第一数据定义模板和第二数据定义模板并结合用户指定的第一数据表，将模板实例化，生成与该第一数据表对应的数据定义文件，然后通过调用该数据定义文件来完成创建与该第一数据表对应的第一加速表。这里所说的数据定义模板和数据定义文件一般可以为DDL模板和文件。其中，在本发明实施例中，第一加速库可以设置为多个，相应地，第二数据定义模板也可以为多个，多个第一加速库具有不同的数据库结构，并分别对应于不同的第二数据定义模板。用户可以根据自身的需求以待加速的数据表的特点，选择具体的第一加速库来创建第一加速表，相应地，该方法中还可以包括：根据用户指定的第一加速库，确定第二数据定义模板的处理。

S103：根据第一加速任务模板，生成第一加速任务脚本。在第一加速表创建好后，就可以执行将数据仓库中的带加速的数据表中的数据，向第一加速库中的第一加速表进行同步了，该同步的处理过程主要涉及数据的读取、数据转换以及数据的写入等，这些处理逻辑记录在第一加速任务脚本中。在本发明实施例中，会预先对这些处理逻辑进行定义并形成第一加速任务模板，在用户指定了具体待加速的任务表后，通过对该第一加速任务模板的配置，来形成第一加速任务脚本，该第一加速任务脚本和前面提到基于数据定义模板而生成的数据定义文件关联，从而实现对数据定义文件的调用，来完成各种数据处理操作。

S104：执行第一加速任务脚本，获取第一数据表中的数据同步到第一加速表中。在生成了第一加速任务脚本后，通过执行该脚本来完成数据读取、转换和写入。由于数据加速同步不止针对一个用户，而且对于某个数据表，由于数据表会不断更新，那么同步加速处理也会不断进行，因此，需要一定的任务调度机制来对数据同步加速处理进行统一协调。具体地，上述方法还可以包括：根据用户需求和预设的任务调度机制，生成加速任务；对加速任务进行任务调度，以触发执行第一加速任务脚本。

任务调度的过程可以由上述的加速引擎来完成，可以提交到用户进行各种任务调度的调度平台，通过同一调度来实现数据加速。其中，任务调度平台会根据用户需求和自身的任务调度机制，来执行任务调度。用户的需求可以包括数据同步加速的周期，例如，有些变化较大的数据表，可能需要每个小时进行一次同步加速，而有些实时性要求不高的数据表，可以每天进行一次同步加速。此外，用户的需求还可以包括每次同步的数据量、数据范围等。任务平台的自身任务调度机制可以包括自身的负载均衡、加速任务的优先级、合理地调配加速任务序列等。

在上述的基本的数据加速处理的技术方案的技术上，本发明实施例还可以为用户提供一些其他方面的自动化服务功能，以更好地为用户提供数据存储和数据加速方面的服务。

在一些情况下，用户可能会修改数据仓库中的数据表的结构，相应地，上述方法还可以包括：响应于第一数据表的表结构的变更，触发调用与数据仓库对应的第一数据定义模板和与第一加速库对应的第二数据定义模板，变更第一加速表的表结构。例如，由于业务的变化，会针对数据仓库中的数据表增加或者删除表的字段或者数据格式等等。上述的加速引擎可以对这种修改进行监控，当发现时，可以自动对第一加速库中的第一加速表的结构进行修改，这些修改也是基于对上述的第一、第二数据定义模板的调用来完成，例如可以基于加速仓中变更后的数据表的信息，来基于第一、第二数据定义模板重新生成数据定义文件。

另外，如前面介绍的，在数据库中创建第一加速表一般是由用户先指定要加速的数据仓中的数据表，然后再执行数据加速处理。具体地，上述方法还可以包括：检测用户对数据仓库中数据表的使用频度，将使用频度大于预设阈值的数据表作为第一数据表。

在实际应用中，上述的加速引擎可以帮助用户监测数据表使用频率，自动创建第一加速表。在一般的数据平台上，数据仓库的使用成本较高，用户对于数据仓库中的数据表的访问是按次计费，对于使用频率非常高的数据表，例如每天几千万或者上亿的调用，对于使用频繁的数据，如果按照这个计费，用户的费用会相当高，另外，如前面所介绍的，数据仓库本身并不适合频繁访问的数据存储，其数据访问效率会很低。基于这些原因，加速引擎可以监控用户对于数据仓库中的各个数据表的使用频度，如果出现某个第一加速表的使用频度较高，自动为用户创建第一加速表和第一加速任务脚本，为用户进行自动地加速同步，当然，也可以先通知用户，待用户确认后再执行。

此外，上述的加速引擎还可以帮助用户选择第一加速库。具体地，上述方法还可以包括：检测用户对数据仓库中第一数据表的使用行为特征和/或第一数据表的数据特点，确定与用户适配的第一加速库以及对应的第二数据定义模板。

对于不同的应用场景，需要同步的第一加速表的数据量差异大、应用场景的差异也很大，例如有些用户加速需要千万或亿量级的同步数据量，有些用户只需要加速几百甚至几十量级的同步数据量，再例如有些用户的第一加速表查询量每秒可达上千次，而有些用户的第一加速表每天可能千次，对于这些情形，非专业的用户很难合理地选择数据加速的方式。加速引擎可以根据用户的使用情况和数据表中数据的特点，帮助用户合理地选择第一加速库。

此外，第一加速库中的数据一般采用分布式存储的方式，以提高数据存储和访问效率，在上述的数据同步加速的过程中，需要将从数据仓库中读出的数据进行分布式存储，这个转换过程可以由上述的加速引擎来完成，用户只只需要指定其数据表中的散列键，例如数据表中的主键或者其他唯一键等，加速引擎自动帮助用户实现分布式存储，而不需要用户了解专业的分布式存储的知识。具体地，上述方法还可以包括：获取用户指定的第一数据表中的散列键；根据散列键在第一加速库中，对第一加速表进行分布式存储。

进一步地，上述加速引擎还可以提供二级加速机制，通过设置二级加速库来进一步对一级加速库中的数据进行加速具体地，上述方法还可以包括：

S201：获取所述第一加速表的表信息；

S202：调用与所述第一加速库对应的第二数据定义模板和与第二加速库对应的第三数据定义模板，并根据所述第一加速表的表信息，在所述第二加速库中创建第二加速表，所述第二加速库用于对所述第一加速库中的数据进行进一步加速。在该步骤的处理中，相当于在两个不同加速级别的加速库之间进行同步数据，其中，第二加速库作为二级加速库，而第一加速库作为初级的加速库。

S203：根据与所述第二加速库对应的第二加速任务模板，生成第二加速任务脚本，该第二加速任务脚本同样可以提交到任务调度平台中进行统一的任务调度。

S204：执行所述第二加速任务脚本，获取第一加速数据表中的数据同步到所述第二加速表中。

对于二级加速机制，可以根据用户的实际需要而进行，用户可以先将数据仓库中需要加速的数据表同步到作为初级加速的第一加速库中，然后根据实际需要，再将部分数据表同步到二级加速库中进行进一步的加速。

另外，上述的加速引擎还可以动态配置新的加速库，以满足用户的多样化的需求。因此，该方法还可以包括：

响应于添加新的第三加速库的配置请求，所述配置请求中包括：与所述新的第三加速库对应的第四数据定义模板和第三加速任务脚本。新添加的加速库对应的数据定义模板和任务脚本会部署到模板工厂中，以供后续向该第三加速库进行数据同步时使用。

对所述第四数据定义模板和第三加速任务脚本进行部署，并将所述第三加速库添加到加速库列表中，所述加速库列表中记录了与所述数据仓库对应的多个加速库。

此外，以上介绍了多个加速库的情形，实际上，数据仓库也可以为多个，多个数据仓库可以对应一个或者多个加速库，多个数据仓库具有不同的数据仓库结构，并分别对应于不同的第一数据定义模板，相应地，获取待加速的第一数据表的表信息可以包括：获取待加速的第一数据表的表信息，所述第一数据表的表信息包括所述第一数据表所在的数据仓库信息，并根据所述数据仓库信息确定第一数据定义模板。

在本发明实施例中，通过预先设置的与数据仓库和第一加速库对应的数据定义模板，以及执行数据转换的第一加速任务模板，来为用户实现自动化的数据加速处理，用户只需要提供具体要加速的数据表的信息即可，而不用介入到复杂的数据库之间的数据转换流程，从而极大方便了用户的操作，也提高了数据加速效率。另外，通过与任务调度平台的对接，对数据加速任务进行调度，从而可以满足用户周期性的或者频繁的数据加速需求。此外，本发明实施例还提供了一些辅助功能，帮助用户自动监控数据仓库中数据表使用频率，让用户能够及时地对数据进行加速，以及根据用户数据表的特点来帮助用户选择适合的第一加速库等，这些功能都极大的提高的用户对于数据使用的便利性。

实施例二

如图3所示，其为本发明实施例的数据加速处理装置的结构示意图，该装置可以设置于上述的加速引擎中或者一些大型的数据库管理平台上，该装置包括：

数据表信息获取模块11，用于获取待加速的第一数据表的表信息，第一数据表存储于数据仓库中。该第一数据表一般可以由用户根据自身需求来指定，指定的方式可以采用请求的方式，具体地，数据表信息获取模块11还可以用于接收用户提交的针对数据仓库中的第一数据表的加速请求，触发获取待加速的第一数据表的表信息的处理，该加速请求中包含第一数据表的表信息。表信息可以包括：表的数据结构、表的大小、数据表的键的相关信息、数据表的索引结构等等。

第一加速表创建模块12，用于调用与数据仓库对应的第一数据定义模板和与第一加速库对应的第二数据定义模板，并根据表信息，在第一加速库中创建第一加速表。在该模块的处理中，可以根据第一数据定义模板和第二数据定义模板并结合用户指定的第一数据表，将模板实例化，生成与该第一数据表对应的数据定义文件，然后通过调用该数据定义文件来完成创建与该第一数据表对应的第一加速表。这里所说的数据定义模板和数据定义文件一般可以为DDL模板和文件。其中，在本发明实施例中，第一加速库可以设置为多个，相应地，第二数据定义模板也可以为多个，多个第一加速库具有不同的数据库结构，并分别对应于不同的第二数据定义模板。用户可以根据自身的需求以待加速的数据表的特点，选择具体的第一加速库来创建第一加速表，相应地，该第一加速表创建模块12还可以用于根据用户指定的第一加速库，确定第二数据定义模板的处理。

任务脚本生成模块13，用于根据第一加速任务模板，生成第一加速任务脚本。在第一加速表创建好后，就可以执行将数据仓库中的带加速的数据表中的数据，向第一加速库中的第一加速表进行同步了，该同步的处理过程主要涉及数据的读取、数据转换以及数据的写入等，这些处理逻辑记录在第一加速任务脚本中。在本发明实施例中，会预先对这些处理逻辑进行定义并形成第一加速任务模板，在用户指定了具体待加速的任务表后，通过对该第一加速任务模板的配置，来形成第一加速任务脚本，该第一加速任务脚本和前面提到基于数据定义模板而生成的数据定义文件关联，从而实现对数据定义文件的调用，来完成各种数据处理操作。

同步处理模块14，用于执行第一加速任务脚本，获取第一数据表中的数据同步到第一加速表中。在生成了第一加速任务脚本后，通过执行该脚本来完成数据读取、转换和写入。

进一步地，由于数据加速同步不止针对一个用户，而且对于某个数据表，由于数据表会不断更新，那么同步加速处理也会不断进行，因此，需要一定的任务调度机制来对数据同步加速处理进行统一协调。因此，上述装置还可以包括：

加速任务生成模块15，用于根据用户需求和预设的任务调度机制，生成加速任务。

加速任务调度模块16，用于对加速任务进行任务调度，以触发执行第一加速任务脚本。

另外，在数据库中创建第一加速表可以由用户先指定要加速的数据仓中的数据表，然后再执行数据加速处理。也可以通过主动监测用户对于数据仓库中的数据表的使用频度，来帮助用户确定上述的第一数据表，因此，该装置还可以包括：

数据表确定模块17，用于检测用户对数据仓库中数据表的使用频度，将使用频度大于预设阈值的数据表作为第一数据表。

此外，上述的第一加速库和第二数据定义模板可以为多个，多个第一加速库具有不同的数据库结构，并分别对应于不同的第二数据定义模板，在本发明实施例中，可以进一步帮助用户选择与要加速的数据表适配的第一加速库，因此，该装置还可以包括：

第一加速库确定模块18，用于检测用户对数据仓库中第一数据表的使用行为特征和/或第一数据表的数据特点，确定与用户适配的第一加速库。

对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。

实施例三

前面实施例描述了数据加速处理方法流程处理及装置结构，上述的方法和装置的功能可借助一种电子设备实现完成，如图4所示，其为本发明实施例的电子设备的结构示意图，具体包括：存储器110和处理器120。

存储器110，用于存储程序。

除上述程序之外，存储器110还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器110可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器120，耦合至存储器110，用于执行存储器110中的程序，以执行前述实施例中所描述的数据加速处理方法的操作步骤。

此外，处理器120也可以包括前述实施例所描述的各种模块以执行数据加速处理，并且存储器110可以例如用于存储这些模块执行操作所需要的数据和/或所输出的数据。

对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。

进一步，如图所示，电子设备还可以包括：通信组件130、电源组件140、音频组件150、显示器160等其它组件。图中仅示意性给出部分组件，并不意味着电子设备只包括图中所示组件。

通信组件130被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件130经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件130还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

电源组件140，为电子设备的各种组件提供电力。电源组件140可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

音频组件150被配置为输出和/或输入音频信号。例如，音频组件150包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器110或经由通信组件130发送。在一些实施例中，音频组件150还包括一个扬声器，用于输出音频信号。

显示器160包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种数据加速处理方法，包括：

获取待加速的第一数据表的表信息，所述第一数据表存储于数据仓库中；

调用与数据仓库对应的第一数据定义模板和与第一加速库对应的第二数据定义模板，并根据所述表信息，在所述第一加速库中创建第一加速表；

根据第一加速任务模板，生成第一加速任务脚本；

执行第一加速任务脚本，获取第一数据表中的数据同步到所述第一加速表中。

2.根据权利要求1所述的方法，其中，还包括：

根据用户需求和预设的任务调度机制，生成加速任务；

对所述加速任务进行任务调度，以触发执行第一加速任务脚本。

3.根据权利要求1所述的方法，其中，还包括：

接收用户提交的针对数据仓库中的第一数据表的加速请求，触发获取待加速的第一数据表的表信息的处理，所述加速请求中包含所述第一数据表的表信息。

4.根据权利要求1所述的方法，其中，还包括：

检测用户对数据仓库中数据表的使用频度，将使用频度大于预设阈值的数据表作为所述第一数据表。

5.根据权利要求1所述的方法，其中，所述第一加速库和第二数据定义模板为多个，多个第一加速库具有不同的数据库结构，并分别对应于不同的第二数据定义模板，所述方法还包括：根据用户指定的第一加速库，确定所述第二数据定义模板。

6.根据权利要求1所述的方法，其中，所述第一加速库和第二数据定义模板为多个，多个第一加速库具有不同的数据库结构，并分别对应于不同的第二数据定义模板，所述还包括：

检测用户对数据仓库中第一数据表的使用行为特征和/或第一数据表的数据特点，确定与所述用户适配的第一加速库和对应的第二数据定义模板。

7.根据权利要求1所述的方法，其中，还包括：

响应于第一数据表的表结构的变更，触发调用与数据仓库对应的第一数据定义模板和与第一加速库对应的第二数据定义模板，变更所述第一加速表的表结构。

8.根据权利要求1所述的方法，其中，还包括：

获取用户指定的第一数据表中的散列键；

根据所述散列键在所述第一加速库中，对所述第一加速表进行分布式存储。

9.根据权利要求1所述的方法，其中，还包括：

获取所述第一加速表的表信息；

调用与所述第一加速库对应的第二数据定义模板和与第二加速库对应的第三数据定义模板，并根据所述第一加速表的表信息，在所述第二加速库中创建第二加速表，所述第二加速库用于对所述第一加速库中的数据进行进一步加速；

根据与所述第二加速库对应的第二加速任务模板，生成第二加速任务脚本；

执行所述第二加速任务脚本，获取第一加速数据表中的数据同步到所述第二加速表中。

10.根据权利要求1所述的方法，其中，还包括：

响应于添加新的第三加速库的配置请求，所述配置请求中包括：与所述新的第三加速库对应的第四数据定义模板和第三加速任务脚本；

对所述第四数据定义模板和第三加速任务脚本进行部署，并将所述第三加速库添加到加速库列表中，所述加速库列表中记录了与所述数据仓库对应的多个加速库。

11.根据权利要求1所述的方法，其中，所述数据仓库和所述第一数据定义模板为多个，多个数据仓库具有不同的数据仓库结构，并分别对应于不同的第一数据定义模板，

所述获取待加速的第一数据表的表信息包括：

获取待加速的第一数据表的表信息，所述第一数据表的表信息包括所述第一数据表所在的数据仓库信息，并根据所述数据仓库信息确定第一数据定义模板。

12.一种数据加速处理装置，包括：

数据表信息获取模块，用于获取待加速的第一数据表的表信息，所述第一数据表存储于数据仓库中；

第一加速表创建模块，用于调用与数据仓库对应的第一数据定义模板和与第一加速库对应的第二数据定义模板，并根据所述表信息，在所述第一加速库中创建第一加速表；

任务脚本生成模块，用于根据第一加速任务模板，生成第一加速任务脚本；

同步处理模块，用于执行第一加速任务脚本，获取第一数据表中的数据同步到所述第一加速表中。

13.根据权利要求12所述的装置，其中，还包括：

加速任务生成模块，用于根据用户需求和预设的任务调度机制，生成加速任务；

加速任务调度模块，用于对所述加速任务进行任务调度，以触发执行第一加速任务脚本。

14.根据权利要求12所述的装置，其中，还包括：

数据表确定模块，用于检测用户对数据仓库中数据表的使用频度，将使用频度大于预设阈值的数据表作为所述第一数据表。

15.根据权利要求12所述的装置，其中，所述第一加速库和第二数据定义模板为多个，多个第一加速库具有不同的数据库结构，并分别对应于不同的第二数据定义模板，所述装置还包括：

第一加速库确定模块，用于检测用户对数据仓库中第一数据表的使用行为特征和/或第一数据表的数据特点，确定与所述用户适配的第一加速库。

16.一种电子设备，包括：

存储器，用于存储程序；

处理器，用于运行所述存储器中存储的所述程序，以执行权利要求1至11所述的数据加速处理方法。

Images