CN111858642A

CN111858642A - 数据集更新方法、相关设备及可读存储介质

Info

Publication number: CN111858642A
Application number: CN202010757903.XA
Authority: CN
Inventors: 王成勇
Original assignee: iFlytek Co Ltd
Current assignee: iFlytek Co Ltd
Priority date: 2020-07-31
Filing date: 2020-07-31
Publication date: 2020-10-30
Anticipated expiration: 2040-07-31
Also published as: CN111858642B

Abstract

本申请公开了一种数据集更新方法、相关设备及可读存储介质，在确定待更新的孪生双数据集之后，对该孪生双数据集中配置的不需对外提供数据服务的第二数据集进行更新，得到更新后的第二数据集，在第二数据集更新完毕后，将更新后的第二数据集配置为需对外提供数据服务的数据集。由于第二数据集是配置的不需对外提供数据服务的，因此其更新不会对数据服务造成影响，而将更新后的第二数据集配置为需对外提供数据服务的数据集，能够保证对外提供数据服务的数据集为最新数据集。

Description

数据集更新方法、相关设备及可读存储介质

技术领域

本申请涉及数据处理技术领域，更具体的说，是涉及一种数据集更新方法、相关设备及可读存储介质。

背景技术

随着互联网的发展，全球数据总量持续增长，数据中心在越来越多的企业中得到了广泛应用。数据中心可以基于各种数据集实现对海量数据的存储，并对外提供数据服务。一个数据中心对外提供的数据服务质量直接决定了其未来发展的潜力。

目前，为了保证数据中心对外提供的数据服务的质量，数据中心的数据集是需要按周期更新的，但是，如果数据集在更新的过程中需要对外提供数据服务，则对该数据集进行更新将会对正在提供的数据服务造成影响，比如会导致数据服务暂停。

发明内容

鉴于上述问题，本申请提出了一种数据集更新方法、相关设备及可读存储介质。具体方案如下：

一种数据集更新方法，所述方法包括：

确定待更新的孪生双数据集；

从所述待更新的孪生双数据集中确定第一数据集和第二数据集，所述第一数据集为配置的需对外提供数据服务的数据集；所述第二数据集为配置的不需对外提供数据服务的数据集；

对所述第二数据集进行更新，得到更新后的第二数据集；

将所述更新后的第二数据集配置为需对外提供数据服务的数据集，将所述第一数据集配置为不需对外提供数据服务的数据集。

可选地，在将所述更新后的第二数据集配置为需对外提供数据服务的数据集，将所述第一数据集配置为不需对外提供数据服务的数据集之后，所述方法还包括：

对所述第一数据集进行更新，得到更新后的第一数据集。

可选地，所述确定待更新的孪生双数据集，包括：

获取数据源方的数据更新请求，所述数据更新请求中包括待更新的孪生双数据集信息；

根据所述数据更新请求中包括的待更新的孪生双数据集信息，确定待更新的孪生双数据集。

可选地，所述从所述待更新的孪生双数据集中确定第一数据集和第二数据集，包括：

获取与所述待更新的孪生双数据集对应的数据路由的状态信息；

根据所述数据路由的状态信息，确定所述数据路由指向的数据集为第一数据集，所述孪生双数据集中除所述第一数据集之外的另一数据集为第二数据集。

可选地，所述将所述更新后的第二数据集配置为需对外提供数据服务的数据集，将所述第一数据集配置为不需对外提供数据服务的数据集，包括：

切换所述数据路由的指向，使所述数据路由指向的数据集为所述更新后的第二数据集。

可选地，针对所述孪生双数据集中的每个数据集，对所述数据集进行更新，得到更新后的数据集，包括：

获取待更新数据；

将所述数据集中与所述待更新数据对应的原数据清空，将所述待更新数据更新至所述数据集，得到更新后的数据集。

可选地，所述将所述数据集中与所述待更新数据对应的原数据清空，将所述待更新数据更新至所述数据集之后，所述方法还包括：

获取所述待更新数据的数据总量，以及，已经更新的数据总量；

基于所述待更新数据的数据总量，以及，已经更新的数据总量，确定所述数据集是否更新成功；

如果更新不成功，则返回执行将所述数据集中与所述待更新数据对应的原数据清空，将所述待更新数据更新至所述数据集的步骤并顺序执行后续步骤，直至更新成功；

如果更新成功，则重建所述数据集的索引。

可选地，在针对所述孪生双数据集中的每个数据集，在对所述数据集进行更新，得到更新后的数据集之后，所述方法还包括：

更新所述数据集中的更新时间字段。

一种数据集更新装置，包括：

第一确定单元，用于确定待更新的孪生双数据集；

第二确定单元，用于从所述待更新的孪生双数据集中确定第一数据集和第二数据集，所述第一数据集为配置的需对外提供数据服务的数据集；所述第二数据集为配置的不需对外提供数据服务的数据集；

更新单元，用于对所述第二数据集进行更新，得到更新后的第二数据集；

配置单元，用于将所述更新后的第二数据集配置为需对外提供数据服务的数据集，将所述第一数据集配置为不需对外提供数据服务的数据集。

可选地，所述更新单元还用于：

在将所述更新后的第二数据集配置为需对外提供数据服务的数据集，将所述第一数据集配置为不需对外提供数据服务的数据集之后，对所述第一数据集进行更新，得到更新后的第一数据集。

可选地，所述第一确定单元，包括：

第一获取子单元，用于获取数据源方的数据更新请求，所述数据更新请求中包括待更新的孪生双数据集信息；

第一确定子单元，用于根据所述数据更新请求中包括的待更新的孪生双数据集信息，确定待更新的孪生双数据集。

可选地，所述第二确定单元，包括：

第二获取子单元，用于获取与所述待更新的孪生双数据集对应的数据路由的状态信息；

第二确定子单元，用于根据所述数据路由的状态信息，确定所述数据路由指向的数据集为第一数据集，所述孪生双数据集中除所述第一数据集之外的另一数据集为第二数据集。

可选地，所述配置单元，具体用于：

可选地，所述更新单元，具体用于：

获取待更新数据；

可选地，所述装置还包括：

检查单元，用于将所述数据集中与所述待更新数据对应的原数据清空，将所述待更新数据更新至所述数据集之后，获取所述待更新数据的数据总量，以及，已经更新的数据总量；基于所述待更新数据的数据总量，以及，已经更新的数据总量，确定所述数据集是否更新成功；如果更新不成功，则返回执行将所述数据集中与所述待更新数据对应的原数据清空，将所述待更新数据更新至所述数据集的步骤并顺序执行后续步骤，直至更新成功；如果更新成功，则重建所述数据集的索引。

可选地，所述装置还包括：

更新时间字段更新单元，用于在针对所述孪生双数据集中的每个数据集，在对所述数据集进行更新，得到更新后的数据集之后，更新所述数据集中的更新时间字段。

一种数据集更新设备，包括存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如上所述的数据集更新方法的各个步骤。

一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的数据集更新方法的各个步骤。

借由上述技术方案，本申请公开了一种数据集更新方法、相关设备及可读存储介质，在确定待更新的孪生双数据集之后，对该孪生双数据集中配置的不需对外提供数据服务的第二数据集进行更新，得到更新后的第二数据集，在第二数据集更新完毕后，将更新后的第二数据集配置为需对外提供数据服务的数据集。由于第二数据集是配置的不需对外提供数据服务的，因此其更新不会对数据服务造成影响，而将更新后的第二数据集配置为需对外提供数据服务的数据集，能够保证对外提供数据服务的数据集为最新数据集。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例公开的数据集更新方法的流程示意图；

图2为本申请实施例公开的一种数据路由示意图；

图3为本申请实施例公开的另一种数据路由示意图；

图4为本申请实施例公开的一种数据集更新装置结构示意图；

图5为本申请实施例提供的数据集更新设备的硬件结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

接下来，通过下述实施例对本申请提供的数据集更新方法进行介绍。

参照图1，图1为本申请实施例公开的数据集更新方法的流程示意图，该方法可以应用于数据中心、数据库系统等，为便于说明，本申请中以数据中心为例对该方法进行详细介绍。该方法可以包括：

步骤S101：确定待更新的孪生双数据集。

传统技术中，数据中心中对于各类数据，均是采用一个数据集进行存储的，这种情况下，当数据集需要更新时，会影响该数据集的对外服务。

为解决上述问题，在本申请中，可以在数据中心中预先创建至少一组孪生双数据集，每组孪生双数据集中用于存储一类数据，每组孪生双数据集中包括两个数据集，这两个数据集的格式相同，且这两个数据集在初始化后存储的数据是相同的。

需要说明的是，数据集的格式可以有多种，为便于理解，本申请中给出如下表1所示的孪生双数据集示例，该示例中，每个数据集(即表中所示的TABLENAME_A和TABLENAME_B)中均可以包括数据内容字段(即表中所示的C1、C2、C3)，以及，更新时间字段(即表中所示的LOAD_DATA_TIME和LOAD_ETL_TIME)，其中，更新时间字段可以指示该数据集的更新时间，用于数据核查和问题修复，并支持数据重复加载的幂等操作。

表1

需要说明的是，待更新的孪生双数据集是预先创建的孪生双数据集中的任一组孪生双数据集。

步骤S102：从所述待更新的孪生双数据集中确定第一数据集和第二数据集，所述第一数据集为配置的需对外提供数据服务的数据集；所述第二数据集为配置的不需对外提供数据服务的数据集。

在本申请中，任意时间，每组孪生双数据集中有且仅有一个数据集被配置为需对外提供数据服务，也即，只有一个数据集的对外服务状态为开启状态，另一数据集的对外服务状态为关闭状态。

对于待更新的孪生双数据集来说，对外服务状态为开启状态的数据集即为配置的需对外提供数据服务的数据集，对外服务状态为关闭状态的数据集即为配置的不需对外提供数据服务的数据集。

步骤S103：对所述第二数据集进行更新，得到更新后的第二数据集。

在本申请中，对于配置为需对外提供数据服务的第一数据集，由于其需对外提供数据服务，为避免对数据服务造成影响，因此，先不更新第一数据集，只对孪生双数据集更新具体是对配置为不需对外提供数据服务的第二数据集进行更新。

步骤S104：将所述更新后的第二数据集配置为需对外提供数据服务的数据集，将所述第一数据集配置为不需对外提供数据服务的数据集。

在本申请中，由于更新后的第二数据集中数据最新，因此，将更新后的第二数据集配置为需对外提供数据服务的数据集，将所述第一数据集配置为不需对外提供数据服务的数据集能够保证对外提供数据服务的数据集为最新数据集。

本实施例公开了一种数据集更新方法，在确定待更新的孪生双数据集之后，对该孪生双数据集中配置的不需对外提供数据服务的第二数据集进行更新，得到更新后的第二数据集，在第二数据集更新完毕后，将更新后的第二数据集配置为需对外提供数据服务的数据集。由于第二数据集是配置的不需对外提供数据服务的，因此其更新不会对数据服务造成影响，而将更新后的第二数据集配置为需对外提供数据服务的数据集，能够保证对外提供数据服务的数据集为最新数据集。

需要说明的是，待更新的孪生双数据集中的两个数据集在初始化之后是完全相同的，为了保证两个数据集的孪生特性，以及，提升数据存储介质的灾备能力，在本申请中，可以在将所述更新后的第二数据集配置为需对外提供数据服务的数据集，将所述第一数据集配置为不需对外提供数据服务的数据集之后，对所述第一数据集进行更新，得到更新后的第一数据集。基于此，更新后的第一数据集与更新后的第二数据集依然为孪生双数据集，且当其中一个数据集出现故障，无法对外提供服务时，可以由另外一个数据集继续对外提供服务。

在本申请的另一个实施例中，对上述步骤S101所述确定待更新的孪生双数据集的具体实现方式进行了详细说明，该方式可以包括以下步骤：

步骤S201：获取数据源方的数据更新请求，所述数据更新请求中包括待更新的孪生双数据集信息。

作为一种可实施方式，可以在数据源方与数据中心之间预置通知接口，在数据源方需要数据更新时，由数据源方通过预置的通知接口，将数据更新请求发送至数据中心。

作为另一种可实施方式，可以在数据源方与数据中心之间预置轮询接口，由数据中心基于轮询接口轮询获取数据源方的数据更新请求。

需要说明的是，待更新的孪生双数据集信息，具体可以为待更新的孪生双数据集的名称信息，如上表中所示的“TABLENAME_A和TABLENAME_B”。

步骤S202：根据所述数据更新请求中包括的待更新的孪生双数据集信息，确定待更新的孪生双数据集。

在本申请的另一个实施例中，对上述步骤S102从所述待更新的孪生双数据集中确定第一数据集和第二数据集的具体实现方式进行了详细说明，该方式可以包括以下步骤：

步骤S301：获取与所述待更新的孪生双数据集对应的数据路由的状态信息。

在本申请中，在数据中心中，可以为每组孪生双数据集预置对应的数据路由，用于配置该组孪生双数据集中每个数据集的对外服务状态。数据路由可以看作是技术规格为单刀双掷的数据访问开关。针对不同形式的数据集，可以采用不同的技术实现数据路由，比如数据表同义词、数据视图、主数据URI(Uniform Resource Identifier，统一资源标识符)拼接。

为便于理解，请参阅附图2，图2为本申请实施例公开的一种数据路由示意图，如图2所示，数据路由可以看作是技术规格为单刀双掷的数据访问开关，该开关闭合的分支用于建立孪生双数据集中的一个数据集(即图2所示的数据集B)与对外数据服务的连接。该开关断开的分支即为孪生双数据集中配置的不需要对外提供数据服务的数据集(即图2所示的数据集A)。

需要说明的是，数据路由中封装有两个接口，其中一个接口为数据路由状态查询接口，另一个接口为数据路由指向切换接口，数据中心可以基于数据路由状态查询接口获取数据路由的状态信息，可以基于数据路由指向切换接口对数据路由的指向进行切换。

为便于理解，本申请给出如下表2所示的数据路由：

表2

步骤S302：根据所述数据路由的状态信息，确定所述数据路由指向的数据集为第一数据集，所述孪生双数据集中除所述第一数据集之外的另一数据集为第二数据集。

如图2所示，数据集B即为第一数据集，数据集A即为第二数据集。

在本申请的另一个实施例中，所述将所述更新后的第二数据集配置为需对外提供数据服务的数据集，将所述第一数据集配置为不需对外提供数据服务的数据集的具体实现方式可以包括：切换所述数据路由的指向，使所述数据路由指向的数据集为所述更新后的第二数据集。

为便于理解，仍然以图2所示为例，切换数据路由的指向即将开关闭合的分支变更为开关断开的分支，将开关断开的分支变更为开关闭合的分支，具体如图3所示。

在本申请的另一个实施例中，对数据集的更新方式进行了详细说明。

作为一种可实施方式，可以通过数据集的主键逐条判断，实现数据集的更新，但是，这种方式效率低下，更新时间长，资源消耗大。

为解决上述问题，作为另一种可实施方式，针对所述孪生双数据集中的每个数据集，对所述数据集进行更新，得到更新后的数据集的过程可以包括以下步骤：

步骤S401：获取待更新数据。

在本申请中，数据中心在建立孪生数据集表时，记录了各孪生数据集表对应的数据源方，及数据获取处，因此，数据中心可以从预先记录的待更新孪生数据集表对应的数据获取处，获取待更新数据。

步骤S402：将所述数据集中与所述待更新数据对应的原数据清空，将所述待更新数据更新至所述数据集，得到更新后的数据集。

在本申请中，可以基于设置直接路径direct＝y的方式，将所述数据集中与所述待更新数据对应的原数据清空，将所述待更新数据更新至所述数据集，需要说明的是，这种方式会跳过所述数据集的索引维护。

需要说明的是，为了避免更新后的数据集出现数据异常，在本申请中，在将所述数据集中与所述待更新数据对应的原数据清空，将所述待更新数据更新至所述数据集之后，还可以获取所述待更新数据的数据总量，以及，已经更新的数据总量；基于所述待更新数据的数据总量，以及，已经更新的数据总量，确定所述数据集是否更新成功；如果更新不成功，则返回执行将所述数据集中与所述待更新数据对应的原数据清空，将所述待更新数据更新至所述数据集的步骤并顺序执行后续步骤，直至更新成功；如果更新成功，则重建所述数据集的索引。

具体的，如果所述待更新数据的数据总量，与，已经更新的数据总量一致，则数据集更新成功，否则数据集更新不成功。重建数据集的索引可基于数据集所采用数据库的自由功能实现，比如：alter index INDEXNAME rebuild。

进一步需要说明的是，如图2所示，孪生双数据集中每个数据集中除了包括数据内容字段，还包括更新时间字段，基于此，在针对所述孪生双数据集中的每个数据集，在对所述数据集进行更新，得到更新后的数据集之后，所述方法还包括：更新所述数据集中的更新时间字段。

基于以上，在数据集的数据内容字段更新成功，且时间字段更新完毕之后，即可生成更新后的数据集。

下面对本申请实施例公开的数据集更新装置进行描述，下文描述的数据集更新装置与上文描述的数据集更新方法可相互对应参照。

参照图4，图4为本申请实施例公开的一种数据集更新装置结构示意图。如图4所示，该数据集更新装置可以包括：

第一确定单元11，用于确定待更新的孪生双数据集；

第二确定单元12，用于从所述待更新的孪生双数据集中确定第一数据集和第二数据集，所述第一数据集为配置的需对外提供数据服务的数据集；所述第二数据集为配置的不需对外提供数据服务的数据集；

更新单元13，用于对所述第二数据集进行更新，得到更新后的第二数据集；

配置单元14，用于将所述更新后的第二数据集配置为需对外提供数据服务的数据集，将所述第一数据集配置为不需对外提供数据服务的数据集。

可选地，所述更新单元还用于：

可选地，所述第一确定单元，包括：

可选地，所述第二确定单元，包括：

可选地，所述配置单元，具体用于：

可选地，所述更新单元，具体用于：

获取待更新数据；

可选地，所述装置还包括：

参照图5，图5为本申请实施例提供的数据集更新设备的硬件结构框图，参照图5，数据集更新设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；

在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；

处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；

其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：

确定待更新的孪生双数据集；

对所述第二数据集进行更新，得到更新后的第二数据集；

可选的，所述程序的细化功能和扩展功能可参照上文描述。

本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：

确定待更新的孪生双数据集；

对所述第二数据集进行更新，得到更新后的第二数据集；

可选的，所述程序的细化功能和扩展功能可参照上文描述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种数据集更新方法，其特征在于，所述方法包括：

确定待更新的孪生双数据集；

对所述第二数据集进行更新，得到更新后的第二数据集；

2.根据权利要求1所述的方法，其特征在于，在将所述更新后的第二数据集配置为需对外提供数据服务的数据集，将所述第一数据集配置为不需对外提供数据服务的数据集之后，所述方法还包括：

对所述第一数据集进行更新，得到更新后的第一数据集。

3.根据权利要求1所述的方法，其特征在于，所述确定待更新的孪生双数据集，包括：

4.根据权利要求1所述的方法，其特征在于，所述从所述待更新的孪生双数据集中确定第一数据集和第二数据集，包括：

5.根据权利要求4所述的方法，其特征在于，所述将所述更新后的第二数据集配置为需对外提供数据服务的数据集，将所述第一数据集配置为不需对外提供数据服务的数据集，包括：

6.根据权利要求1至5所述的方法，其特征在于，针对所述孪生双数据集中的每个数据集，对所述数据集进行更新，得到更新后的数据集，包括：

获取待更新数据；

7.根据权利要求6所述的方法，其特征在于，所述将所述数据集中与所述待更新数据对应的原数据清空，将所述待更新数据更新至所述数据集之后，所述方法还包括：

如果更新成功，则重建所述数据集的索引。

8.根据权利要求6所述的方法，其特征在于，在针对所述孪生双数据集中的每个数据集，在对所述数据集进行更新，得到更新后的数据集之后，所述方法还包括：

更新所述数据集中的更新时间字段。

9.一种数据集更新装置，其特征在于，包括：

第一确定单元，用于确定待更新的孪生双数据集；

10.一种数据集更新设备，其特征在于，包括存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如权利要求1至8中任一项所述的数据集更新方法的各个步骤。

11.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至8中任一项所述的数据集更新方法的各个步骤。