CN111352944A - 数据处理方法、装置、电子设备与存储介质 - Google Patents

Abstract

本申请公开了数据处理方法、装置、电子设备与存储介质，涉及云计算领域。具体实现方案为：适用于对多写入源多数据库的数据存储系统进行数据处理，包括：接收数据写入请求；数据写入请求中携带写入源的标识以及请求数据写入的数据表的标识；若数据表的操作权未被占用，为写入源配置所述数据表的服务锁；基于写入源对所述数据表的数据写入操作信息，在存储数据库中执行数据写入操作；将数据写入操作处理后的存储数据库中的数据表同步至数据存储系统的其他数据库中。本申请的方案，能够在数据写入时配置服务锁，有效地保证数据写入时的安全性和准确性；同时还能够发生变化的数据表同步至其他数据库中，以保证各数据库之间的数据的一致性。

Description

数据处理方法、装置、电子设备与存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及云计算领域，具体涉及一种数据处理方法、装置、电子设备与存储介质。

背景技术

随着数据存储系统的发展，一个数据存储系统中可以包括有多个数据库，例如一个数据库用于实现数据存储，另一个数据库用于实现数据检索，其他数据库可以用于实现其他的功能。同时，这样的数据存储系统还可以支持多写入源的写入操作，例如可以支持一个数据管理员和数个普通用户的写入操作。这样的数据存储系统在写入源修改存储数据的数据库中的数据时，需要同时将该数据库中修改的数据同步至其他数据库中，以保证数据存储系统中各数据库之间的数据的一致性和准确性。

在当前多源数据写入的数据存储系统中，发生变化的通常是一个数据库，在这种情况下通常是通过分布式锁，保证在多个写入源操作同一条数据的时候，该数据仅被一个写入源操作，从而保证数据的准确性和一致性。现有的上述基于数据库实现分布式锁的核心思想是利用主键唯一的特性或数据库自带的排它锁，保证只有一个操作可以成功，从而保证了数据的一致性。

但是，现有的上述基于分布式锁的数据处理方案仅适用于解决数据存储系统中仅包括单一数据库的情况，而不适用处理多写入源、多数据库的数据存储系统中的数据处理，因此，亟需提供一种能够适用于多写入源多数据库的数据存储系统中的数据处理方案。

发明内容

为了解决上述技术问题，本申请提供一种数据处理方法、装置、电子设备与存储介质，用于弥补现有技术的不足，提供能够适用于多写入源多数据库的数据存储系统中的数据处理方案。

一方面，本申请提供一种数据处理方法，适用于对多写入源多数据库的数据存储系统进行数据处理，包括：

接收数据写入请求；所述数据写入请求中携带写入源的标识以及请求数据写入的数据表的标识；

若所述数据表的操作权未被占用，为所述写入源配置所述数据表的服务锁；

基于所述写入源对所述数据表的数据写入操作信息，在存储数据库中执行数据写入操作；

将所述数据写入操作处理后的所述存储数据库中的所述数据表同步至所述数据存储系统的其他数据库中。

进一步可选地，如上所述的方法中，为所述写入源配置所述数据表的服务锁，包括：配置所述服务锁的信息，所述服务锁的信息包括所述写入源的标识、所述数据表的标识以及所述服务锁的状态，其中所述服务锁的状态设置为占用。

进一步可选地，如上所述的方法中，若所述写入源为数据管理员，配置所述服务锁的信息之后，还包括：在所述存储数据库中为所述数据表添加所述服务锁。

进一步可选地，如上所述的方法中，基于所述写入源对所述数据表的数据写入操作信息，在存储数据库中执行数据写入操作之后，将所述数据写入操作处理后的所述存储数据库中的所述数据表同步至所述数据存储系统的其他数据库中之前，所述方法还包括：

接收所述数据管理员发起的锁释放请求；所述锁释放请求中携带所述写入源的标识以及所述数据表的标识；

在所述存储数据库中释放为所述写入源配置的所述服务锁；

将配置的所述服务锁的信息中的所述服务锁的状态修改为释放中。

进一步可选地，如上所述的方法中，所述方法还包括：

周期性地检测配置的所述服务锁的占用时长是否超出预设时间长度；

若是，在所述存储数据库中释放为所述写入源配置的所述服务锁；

将配置的所述服务锁的信息中的所述服务锁的状态修改为已释放。

进一步可选地，如上所述的方法中，将所述数据写入操作处理后的所述存储数据库中的所述数据表同步至所述数据存储系统的其他数据库中之后，所述方法还包括：

将配置的所述服务锁的信息中的所述服务锁的状态修改为已释放。

进一步可选地，如上所述的方法中，若所述写入源为用户时，所述数据写入操作信息携带在所述数据写入请求中。

另一方面，本申请还提供了一种数据处理装置，所述数据处理装置适用于对多写入源、多数据库的数据存储系统进行数据处理，所述装置包括：

锁服务组件，用于接收数据写入请求；所述数据写入请求中携带写入源的标识以及请求数据写入的数据表的标识；

所述锁服务组件，还用于若所述数据表的操作权未被占用，为所述写入源配置所述数据表的服务锁；

数据同步组件，用于基于所述写入源对所述数据表的数据写入操作信息，在存储数据库中执行数据写入操作；

所述数据同步组件，还用于将所述数据写入操作处理后的所述存储数据库中的所述数据表同步至所述数据存储系统的其他数据库中。

再一方面，本申请还提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任一项所述的方法。

又一方面，本申请还提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上任一项所述的方法。

上述申请中的一个实施例具有如下优点或有益效果：通过接收数据写入请求；该数据写入请求中携带写入源的标识以及请求数据写入的数据表的标识；若数据表的操作权未被占用，为写入源配置数据表的服务锁；基于写入源对数据表的数据写入操作，在存储数据库中执行数据写入操作；并将数据写入操作处理后的存储数据库中的数据表同步至数据存储系统的其他数据库中，能够提供一套适用于多写入源多数据库的数据存储系统中的完整的数据处理机制，能够在数据写入时，配置服务锁，有效地保证数据写入时的安全性和准确性；同时还能够发生变化的数据表同步至其他数据库中，以保证各数据库之间的数据的一致性。

进一步地，通过采用上述方案，能够提供数据管理员作为写入源时的数据处理方案，能够在数据管理员进行数据写入时配置了相应的服务锁，保证了数据写入的安全性和准确性；同时还能够在服务锁的释放中，使得系统处于数据维护期，并在该数据维护期将存储数据库中发生写入操作的数据表同步至其他数据库中，能够有效地保证各数据库中数据间的一致性。…

进一步地，通过采用上述方案，还能提供用户作为写入源时的数据处理方案，能够在用户进行数据写入时配置了相应的服务锁，保证了数据写入的安全性和准确性；同时还能够在数据写入成功后，将存储数据库中发生写入操作的数据表同步至其他数据库中，能够有效地保证各数据库中数据间的一致性。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的示意图；

图2为本实施例提供的一种多写入源多数据库的数据存储系统的应用架构图；

图3是根据本申请第二实施例的示意图；

图4为图3所示实施例的应用架构图；

图5是本申请第三实施例的示意图；

图6为图5所示实施例的应用架构图；

图7是本申请第四实施例的示意图；

图8是用来实现本申请实施例的数据处理方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是本申请第一实施例的示意图，如图1所示，本实施例详细介绍一种数据处理方法的流程，具体可以包括如下步骤：

S101、接收数据写入请求；该数据写入请求中携带写入源的标识以及请求数据写入的数据表的标识；

首先，本实施例的数据处理方法适用于对多写入源多数据库的数据存储系统进行数据处理。例如，图2为本实施例提供的一种多写入源多数据库的数据存储系统的应用架构图。如图2所示，以包括A和B两个数据库为例，其中数据库A负责数据写入的操作，数据库B负责数据读取的操作，数据库B的数据是由数据库A中的数据同步过来的。C和D为两个数据写入源，其中C可以为用户，D表示数据管理员。

当用户C修改了数据库A中一条数据，在数据库A中的数据尚未同步到数据库B之前，数据管理员D也修改了相同的数据，此时，当数据同步完成后，用户C所做的修改便被覆盖了，并且无法得知自己的操作是否成功。因此，在多写入源、多数据库的场景下，亟需提供一种机制保证数据的一致性和准确性。本申请的技术方案便应运而生。

图2所示实施例是以两个写入源为例，实际应用中，还可以有其他更多的用户对数据库A进行写入操作。另外，可选地，本实施例中也还可以包括其他更多的数据库，在同步时，均可以采用数据库A的数据去同步其他数据库中的数据。

本实施例的数据处理方法的执行主体为数据处理装置，该数据处理装置可以为一独立的电子实体，或者也可以采用软件集成而成。本实施例的数据处理装置可以设置在多写入源多数据库的数据存储系统中，或者也可以独立于数据存储系统，但是能够在写入源向数据存储系统中写入数据时，进行数据处理，以保证数据存储系统中写入的数据的准确性，以及各数据库中的数据的一致性。

具体地，本实施例的写入源可以为数据管理员即数据存储系统的管理员，也可以为普通用户。在使用时，使用者可以登录该数据存储系统的客户端，发起数据写入请求，例如该数据写入请求中可以携带写入源的标识以及请求数据写入的数据表的标识。其中写入源的标识用于唯一标识该写入源。例如若系统存在多个数据管理员时，对应的数据管理员的标识可以分别为Administrator1、Administrator2等等，用户的标识可以为User1、User2等等。本实施例的数据表的标识具体可以为数据表的名称。

本实施例的数据写入请求可以采用接口调用的方式发起的请求，例如该请求可以为超文本传输协议(hypertext transfer protocol；http)请求。

S102、检测该数据表的操作权是否被占用；若占用，向该写入源反馈该数据表的操作权已被占用，结束；否则执行步骤S103；

S103、为写入源配置数据表的服务锁；

本实施例中的数据写入请求也可以认为是写入源发起的加锁请求，写入源发起该请求，是用于请求数据处理装置先为该写入源配置该数据表的服务锁，以便于该写入源占有该数据表的操作权，能够对该数据表进行数据写入操作。但是由于数据管理员和任何一个用户均可以对数据表进行数据写入操作，数据处理装置接收到该请求后，可以先检测该数据表的操作权是否被管理员或者其他用户占用。若占用，该数据处理装置可以直接向写入源反馈该数据表的操作权已被占用，这样写入源便得知不能对该数据表进行数据写入操作。

而若未占用，此时数据处理装置可以为该写入源配置该数据表的服务锁。例如，本实施例中，可以直接配置一条服务锁的信息，该服务锁的信息包括写入源的标识、数据表的标识以及服务锁的状态，其中服务锁的状态设置为占用。对于每一个未被占用的数据表，数据处理装置均可以按照上述方式为首次请求数据表的操作权的写入源配置服务锁的信息，并存储，相当于为该写入源分配服务锁。实际应用中，所有服务锁的信息可以按照列表的方式一条一条存储。进一步地，该服务锁的信息中还可以包括该服务锁的建立时刻等等信息。

当其他写入源请求增加服务锁即数据写入请求时，数据处理装置根据存储的所有的服务锁的状态信息，便可以检测数据写入请求中对应的数据表是否已经被其他写入源占用了。

本实施例中，数据处理装置可以仅通过配置包括写入源的标识、数据表的标识以及服务锁的状态的服务锁的信息，实现为写入源配置数据表的服务锁，而不用单独在存储数据库对该数据表执行真正的加锁操作。该方式尤其适用于写入源为普通的用户，由于用户对数据表中的数据的修改为小量的修改，写入操作耗时较短，仅通过配置该服务锁的信息，便可以认为为该写入源配置了服务锁，也能够防止其他用户或者数据管理员同时对该数据表进行写入操作。

而若写入源为数据管理员，若数据管理员进行小量的数据修改时，也可以采用上述方式即可。但是若数据管理员要修改大批量的信息，数据写入时长可能较长，同步时长更长，为了避免数据写入过程出现异常，保证数据的安全性与准确性，还需要在存储数据库中为数据表添加服务锁，具体可以采用现有的数据库中的加锁机制来实现。采用该方案，可以对存储数据库中的该数据表进行充分保护，增强数据的安全性和准确性。

S104、基于写入源对数据表的数据写入操作，在存储数据库中执行数据写入操作；

具体地，数据处理装置可以先接收写入源对数据表的数据写入操作，然后在存储数据库中执行该数据写入操作。本实施例的数据写入操作可以包括数据的添加、更新和删除等操作。

S105、将数据写入操作处理后的存储数据库中的数据表同步至数据存储系统的其他数据库中。

由于本实施例的数据存储系统为多数据库系统，为了保证多个数据库间数据的一致性，保证数据存储系统的正常稳定工作。本实施例中，在存储数据库中执行完数据写入操作之后，还必须将数据写入操作处理后的存储数据库中的数据表同步至数据存储系统的其他数据库中。本实施例的同步过程是以数据表为粒度的同步，即将发生数据变化的整张数据表同步至其他数据库中。

本实施例的数据处理方法，通过接收数据写入请求；该数据写入请求中携带写入源的标识以及请求数据写入的数据表的标识；若数据表的操作权未被占用，为写入源配置数据表的服务锁；基于写入源对数据表的数据写入操作，在存储数据库中执行数据写入操作；并将数据写入操作处理后的存储数据库中的数据表同步至数据存储系统的其他数据库中，能够提供一套适用于多写入源多数据库的数据存储系统中的完整的数据处理机制，能够在数据写入时，配置服务锁，有效地保证数据写入时的安全性和准确性；同时还能够发生变化的数据表同步至其他数据库中，以保证各数据库之间的数据的一致性。

图3是本申请第二实施例的示意图。如图3所示，本实施例以写入源为数据管理员为例，详细描述在多写入源多数据库的数据存储系统中的数据处理方案。如图3所示，本实施例的数据处理方法，具体可以包括如下步骤：

S301、数据管理员向数据存储系统发起加锁请求；该加锁请求中可以携带数据管理员的标识以及该数据管理员要写入数据的数据表的名称；

本实施例的加锁请求具体可以为数据管理员通过数据存储系统的客户端发起的数据写入请求。在数据管理员想要进行大批量的数据写入请求时，该数据写入请求中可以不携带要写入的数据，例如该请求中可以仅携带数据管理员的表示和数据表的名称。

S302、数据处理装置中的锁服务组件接收数据管理员的加锁请求，并检测该数据表的操作权是否已经被占用；若该数据表的操作权已经被占用，则执行步骤S303；否则执行步骤S304；

具体地，在本实施例中，在锁服务组件中记录有存储数据库中每一条服务锁的信息，每一条服务锁的信息中可以包括写入源的标识即申请服务锁的人员的标识、数据表的名称以及服务锁的状态，例如服务锁的状态可以包括：占用、释放中以及已释放。锁服务组件根据记录的所有服务锁的信息，可以检测该数据表的操作权是否被占用。

在实际应用中，对于已释放的服务锁，在锁服务组件中可以仅保留一段时间长度，便可以删除相应的服务锁的信息。

S303、锁服务组件将该数据表的操作权已经被占用的消息返回给数据管理员；结束。

S304、锁服务组件配置服务锁的信息；并请求数据处理装置中的数据同步组件为数据管理员请求的数据表添加服务锁；

其中配置的服务锁的信息中包括数据管理员的标识、数据表的名称以及服务锁的状态，此时为该数据管理员新配置的该数据表的服务锁，此时将服务锁的状态设置为占用。

S305、数据同步组件在存储数据库中对该数据表执行加锁的操作；并将加锁成功的消息返回给该数据管理员；

本实施例中，在该数据表加锁成功后，数据存储系统进入数据维护期，此时，当有用户或其他的数据管理员要对同样的数据表进行写入操作(包含但不限于修改、删除)时，系统会拒绝请求，保证该数据表的操作权仅被当前数据管理员占用。

S306、基于数据管理员执行的数据写入操作，在存储数据库中执行数据写入操作；

同理，本实施例中的数据管理员执行数据写入操作，包含但不限于数据导出、数据更新、数据删除等等。在该步骤中，数据管理员开始输入要写入的数据，且数据管理员执行数据操作的同时，便对数据存储系统中的存储数据库中数据表进行了写入更新。

S307、数据管理员数据写入操作完成后，发起锁释放请求；该锁释放请求中可以包括数据管理员的标识以及数据表的名称；

S308、锁服务组件接收数据管理员的锁释放请求，检测该数据表是否满足释放条件；若满足，执行步骤S309；否则返回数据管理员，不满足释放条件，结束。

本实施例中，检测该数据表是否满足释放条件，具体可以包括检测该数据表的服务锁是否存在、是否过期以及是否被当前的数据管理员占用；若该数据表的服务锁确实存在，且没有过期，也是被当前的数据管理员占用，则确定满足释放条件；否则若数据表的服务锁不存在、或者数据表的服务锁已过期或者该服务锁不是被当前的数据管理员占用，此时均不满足释放条件。

具体地，若不满足释放条件，还可以进一步将错误信息返回给数据管理员，如错误信息可以包含但不限于“未获得数据表的操作权限”、“数据表操作权限过期”、“请求参数错误”等等。

S309、锁服务组件请求数据同步组件为该数据表释放锁，并开始数据同步；

S310、数据同步组件接收到锁服务组件的请求，在存储数据库中释放为数据管理员配置的数据表的服务锁，并创建数据同步任务；

S311、数据同步组件将数据同步任务创建成功的消息返回给锁服务组件；

S312、锁服务组件修改配置的服务锁的信息中服务锁的状态为释放中；并将服务锁释放中的消息返回给数据管理员；

此时，系统仍然处于系统数据维护期，锁服务组件中的该数据表的状态变成“释放中”，保证了此时存储数据库中的数据表仍是不可修改的。

S313、数据同步组件执行数据同步任务；

例如，数据同步组件执行的数据同步任务的过程具体可以包括从存储数据库中请求数据表，并参考要同步的其他数据库的属性，对数据表的数据进行适配操作，例如适配操作包含但不限于数据格式变更、数据属性名称变更、数据属性过滤等，然后将数据表同步到其他数据库。

S314、数据同步组件执行完成同步任务后，将数据同步任务执行完成的消息通知给锁服务组件；

S315、锁服务组件将配置的服务锁的信息中的服务锁的状态修改为已释放；

S316、锁服务组件通过通知服务组件，将锁释放完成的消息通知数据管理员。

由于数据管理员和锁服务组件之间的加锁请求以及锁释放请求均未http请求，且上述步骤已经完成相应请求的反馈。此时，锁释放完成的消息无法再通过http请求的反馈返回给数据管理员。此时只能通过通知服务组件将锁释放完成的消息通知数据管理员。例如，通知服务组件可以通过短信或者邮件的方式将所释放完成的消息通知数据管理员。

经过上述步骤，锁释放执行完成，退出系统数据维护期，数据表的操作权被释放，并且可以被重新占有，数据更新任务完成。

进一步地，本实施例中，为避免数据管理员在导入数据完成后，忘记申请释放锁，导致数据表无法释放的情况发生，锁服务组件为每个服务锁设置过期时长，并还可以设置定时检测服务组件周期性地对服务锁进行校验，校验服务锁是否超时，即周期性地检测配置的服务锁的占用时长是否超出预设时间长度；当服务锁的占用时长超过预设时间长度，则认为该服务锁过期，通知锁服务组件自动释放服务锁，由锁服务组件通知数据同步组件在存储数据库中释放服务锁；并通过通知服务将锁释放的消息通知数据管理员。其中锁服务组件在配置服务锁时，记录每个服务锁的占用开始时刻，可以记录在服务锁的信息中。预设时间长度可以根据实际经验来设置。

图4为图3所示实施例的应用架构图。如图4所示，本实施例中以数据处理装置中包括锁服务组件、数据同步组件、通知服务组件为例。且图4所示的实施例中以包括数据库和数据搜索引擎两个数据库为例，其中数据库为存储用的数据库，而数据搜索引擎为数据搜索使用的数据库。按照上述图3所示实施例的数据处理方法可以在图4所示的应用架构中实现相应的数据处理。

本实施例的数据处理方法，通过采用上述方案，提供了数据管理员作为写入源时的数据处理方案，能够在数据管理员进行数据写入时配置了相应的服务锁，保证了数据写入的安全性和准确性；同时还能够在服务锁的释放中，使得系统处于数据维护期，并在该数据维护期将存储数据库中发生写入操作的数据表同步至其他数据库中，能够有效地保证各数据库中数据间的一致性。

图5是本申请第三实施例的示意图。如图5所示，本实施例以写入源为用户为例，详细描述在多写入源多数据库的数据存储系统中的数据处理方案。如图5所示，本实施例的数据处理方法，具体可以包括如下步骤：

S501、用户向数据存储系统发起数据写入请求；该数据写入请求中携带用户的标识、用户要写入数据的数据表的名称；

同理，该用户也可以通过数据存储系统的客户端发起该数据写入请求，该请求可以认为是用户发起的加锁请求。

S502、数据处理装置中的数据写入服务组件接收用户的数据写入请求，并向数据处理装置中的锁服务组件发起携带用户的标识和数据表的名称的加锁请求；

S503、锁服务组件检测该数据表的操作权是否已经被占用；若该数据表的操作权已经被占用，执行步骤S504；否则执行步骤S505；

S504、锁服务组件将该数据表的操作权已经被占用的消息通过数据写入服务组件返回给用户；结束。

S505、锁服务组件配置服务锁的信息；

其中配置的服务锁的信息中包括用户的标识、数据表的名称以及服务锁的状态，此时为该用户新配置的该数据表的服务锁，此时将服务锁的状态设置为占用，标识该数据表的操作权已被占用，系统进入数据维护期。

S506、锁服务组件将加锁成功的消息返回给数据写入服务组件；

S507、数据写入服务组件请求数据同步组件，基于数据写入请求在存储数据库中进行数据写入操作；

需要说明的是，本实施例中，用户发起数据写入请求时，可以直接在数据写入请求中携带数据写入操作信息，如包括但不限于添加数据、更新数据、删除数据等操作。此时数据写入服务组件可以根据输入写入请求中的数据表的名称，从存储数据库中查找到对应的数据表，然后基于数据写入请求中的数据写入操作信息，在数据表中执行数据写入操作。

或者可选地，若数据写入请求中也可以未携带数据写入操作信息，即用户先发起一个“想要修改某个数据表中的数据”的数据写入请求。然后在步骤S506之后，数据写入服务组件也可以返回给用户加锁成功，可以写入数据，用户此时再直接输入数据写入操作信息，此时数据写入服务组件再将数据写入操作信息发送给数据同步组件，数据同步组件再基于数据写入操作信息，在存储数据库中执行数据写入操作。

S508、数据同步组件创建并执行数据同步任务；

具体地，数据成功写入存储数据库之后，数据同步组件开始进行数据同步任务，参考上述图3所示实施例的步骤S313的记载，在此不再赘述。

S509、数据同步组件执行完成同步任务后，将数据同步任务执行完成的消息通知给锁服务组件；

S510、锁服务组件将配置的服务锁的信息中的服务锁的状态修改为已释放；

S511、锁服务组件通知数据写入服务组件数据写入完成；

此时数据写入完成，系统退出数据维护期。

S512、数据写入服务组件返回给用户数据写入完成。

需要说明的是，在上述的数据同步过程中，因为涉及到数据同步，所以从开始进行数据写入请求到数据写入完成的过程会有一定的时延。

图6为图5所示实施例的应用架构图。如图5所示，本实施例中以数据处理装置中包括数据写入服务组件、锁服务组件、数据同步组件为例，其中数据写入服务组件和锁服务组件也可以设置在一起。且图6所示的实施例中以包括数据库和数据搜索引擎两个数据库为例，其中数据库为存储用的数据库，而数据搜索引擎为数据搜索使用的数据库。按照上述图5所示实施例的数据处理方法可以在图6所示的应用架构中实现相应的数据处理。在数据同步过程中，可以由数据同步组件保证同步任务过程中数据的准确性，以及数据引擎与数据库中数据的一致性。

本实施例的技术方案也可以适用于数据管理员仅写入少量数据的情况。

本实施例的数据处理方法，通过采用上述方案，提供了用户作为写入源时的数据处理方案，能够在用户进行数据写入时配置了相应的服务锁，保证了数据写入的安全性和准确性；同时还能够在数据写入成功后，将存储数据库中发生写入操作的数据表同步至其他数据库中，能够有效地保证各数据库中数据间的一致性。

图7是本申请第四实施例的示意图。本实施例的数据处理装置，适用于对多写入源、多数据库的数据存储系统进行数据处理，如图7所示，本实施例的数据处理装置700，具体可以包括：

锁服务组件701用于接收数据写入请求；数据写入请求中携带写入源的标识以及请求数据写入的数据表的标识；

锁服务组件701还用于若数据表的操作权未被占用，为写入源配置数据表的服务锁；

数据同步组件702用于基于写入源对数据表的数据写入操作信息，在存储数据库中执行数据写入操作；

数据同步组件702还用于将数据写入操作处理后的存储数据库中的数据表同步至数据存储系统的其他数据库中。

进一步可选地，本实施例的数据处理装置700中，锁服务组件701用于配置服务锁的信息，服务锁的信息包括写入源的标识、数据表的标识以及服务锁的状态，其中服务锁的状态设置为占用。

进一步可选地，本实施例的数据处理装置700中，数据同步组件702还用于在存储数据库中为数据表添加服务锁。

进一步可选地，本实施例的数据处理装置700中，锁服务组件701还用于接收数据管理员发起的锁释放请求；锁释放请求中携带写入源的标识以及数据表的标识；

数据同步组件702还用于在存储数据库中释放为写入源配置的服务锁；

锁服务组件702还用于将配置的服务锁的信息中的服务锁的状态修改为释放中。

进一步可选地，本实施例的数据处理装置700中，还包括定时检测服务组件703；

定时检测服务组件703用于周期性地检测配置的服务锁的占用时长是否超出预设时间长度；此时对应地，锁服务组件702在配置服务锁时，记录每个服务锁的占用开始时刻。预设时间长度可以根据实际经验来设置。

数据同步组件702还用于若服务锁的占用时长超出预设时间长度时，在存储数据库中释放为写入源配置的服务锁；

锁服务组件701还用于将配置的服务锁的信息中的服务锁的状态修改为已释放。

进一步可选地，本实施例的数据处理装置700中，锁服务组件701还用于将配置的服务锁的信息中的服务锁的状态修改为已释放。

进一步可选地，若写入源为用户时，数据写入操作信息携带在数据写入请求中。

相当于上述图6所示的架构图，本实施例中，将数据写入服务组件的功能合在锁服务组件701中。实际应用中，在写入源为用户时，也可以根据上述图5和图6所示实施例的记载，将数据写入服务组件单独作为一个模块。

进一步可选地，本实施例的数据处理装置700中，还可以包括上述图4所示的通知服务组件等，详细可以参考上述图4所示实施例的记载，在此不再赘述。

本实施例的数据处理装置700，通过采用上述组件实现数据处理的实现原理以及技术效果，与上述相关方法相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图8所示，是根据本申请实施例的实现数据处理方法的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。

存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的数据处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的数据处理方法。

存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的数据处理方法对应的程序指令/模块(例如，附图7所示的相关组件)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的数据处理方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储实现数据处理方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至实现数据处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现数据处理方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。

输入装置803可接收输入的数字或字符信息，以及产生与实现数据处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过接收数据写入请求；该数据写入请求中携带写入源的标识以及请求数据写入的数据表的标识；若数据表的操作权未被占用，为写入源配置数据表的服务锁；基于写入源对数据表的数据写入操作，在存储数据库中执行数据写入操作；并将数据写入操作处理后的存储数据库中的数据表同步至数据存储系统的其他数据库中，能够提供一套适用于多写入源多数据库的数据存储系统中的完整的数据处理机制，能够在数据写入时，配置服务锁，有效地保证数据写入时的安全性和准确性；同时还能够发生变化的数据表同步至其他数据库中，以保证各数据库之间的数据的一致性。

根据本申请实施例的技术方案，通过采用上述方案，提供了数据管理员作为写入源时的数据处理方案，能够在数据管理员进行数据写入时配置了相应的服务锁，保证了数据写入的安全性和准确性；同时还能够在服务锁的释放中，使得系统处于数据维护期，并在该数据维护期将存储数据库中发生写入操作的数据表同步至其他数据库中，能够有效地保证各数据库中数据间的一致性。…

根据本申请实施例的技术方案，通过采用上述方案，提供了用户作为写入源时的数据处理方案，能够在用户进行数据写入时配置了相应的服务锁，保证了数据写入的安全性和准确性；同时还能够在数据写入成功后，将存储数据库中发生写入操作的数据表同步至其他数据库中，能够有效地保证各数据库中数据间的一致性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种数据处理方法，其特征在于，适用于对多写入源多数据库的数据存储系统进行数据处理，包括：

接收数据写入请求；所述数据写入请求中携带写入源的标识以及请求数据写入的数据表的标识；

若所述数据表的操作权未被占用，为所述写入源配置所述数据表的服务锁；

基于所述写入源对所述数据表的数据写入操作信息，在存储数据库中执行数据写入操作；

将所述数据写入操作处理后的所述存储数据库中的所述数据表同步至所述数据存储系统的其他数据库中。

2.根据权利要求1所述的方法，其特征在于，为所述写入源配置所述数据表的服务锁，包括：配置所述服务锁的信息，所述服务锁的信息包括所述写入源的标识、所述数据表的标识以及所述服务锁的状态，其中所述服务锁的状态设置为占用。

3.根据权利要求2所述的方法，其特征在于，若所述写入源为数据管理员，配置所述服务锁的信息之后，还包括：在所述存储数据库中为所述数据表添加所述服务锁。

4.根据权利要求3所述的方法，其特征在于，基于所述写入源对所述数据表的数据写入操作信息，在存储数据库中执行数据写入操作之后，将所述数据写入操作处理后的所述存储数据库中的所述数据表同步至所述数据存储系统的其他数据库中之前，所述方法还包括：

接收所述数据管理员发起的锁释放请求；所述锁释放请求中携带所述写入源的标识以及所述数据表的标识；

在所述存储数据库中释放为所述写入源配置的所述服务锁；

将配置的所述服务锁的信息中的所述服务锁的状态修改为释放中。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

周期性地检测配置的所述服务锁的占用时长是否超出预设时间长度；

若是，在所述存储数据库中释放为所述写入源配置的所述服务锁；

将配置的所述服务锁的信息中的所述服务锁的状态修改为已释放。

6.根据权利要求2所述的方法，其特征在于，将所述数据写入操作处理后的所述存储数据库中的所述数据表同步至所述数据存储系统的其他数据库中之后，所述方法还包括：

将配置的所述服务锁的信息中的所述服务锁的状态修改为已释放。

7.根据权利要求2所述的方法，其特征在于，若所述写入源为用户时，所述数据写入操作信息携带在所述数据写入请求中。

8.一种数据处理装置，其特征在于，所述数据处理装置适用于对多写入源、多数据库的数据存储系统进行数据处理，所述装置包括：

锁服务组件，用于接收数据写入请求；所述数据写入请求中携带写入源的标识以及请求数据写入的数据表的标识；

所述锁服务组件，还用于若所述数据表的操作权未被占用，为所述写入源配置所述数据表的服务锁；

数据同步组件，用于基于所述写入源对所述数据表的数据写入操作信息，在存储数据库中执行数据写入操作；

所述数据同步组件，还用于将所述数据写入操作处理后的所述存储数据库中的所述数据表同步至所述数据存储系统的其他数据库中。

9.根据权利要求8所述的装置，其特征在于，所述锁服务组件，用于配置所述服务锁的信息，所述服务锁的信息包括所述写入源的标识、所述数据表的标识以及所述服务锁的状态，其中所述服务锁的状态设置为占用。

10.根据权利要求9所述的装置，其特征在于，所述数据同步组件，还用于在所述存储数据库中为所述数据表添加所述服务锁。

11.根据权利要求10所述的装置，其特征在于：

所述锁服务组件，还用于接收所述数据管理员发起的锁释放请求；所述锁释放请求中携带所述写入源的标识以及所述数据表的标识；

所述数据同步组件，还用于在所述存储数据库中释放为所述写入源配置的所述服务锁；

所述锁服务组件，还用于将配置的所述服务锁的信息中的所述服务锁的状态修改为释放中。

12.根据权利要求10所述的装置，其特征在于，所述装置还包括定时检测服务组件；

所述定时检测服务组件，用于周期性地检测配置的所述服务锁的占用时长是否超出预设时间长度；

所述数据同步组件，还用于若所述服务锁的占用时长超出所述预设时间长度时，在所述存储数据库中释放为所述写入源配置的所述服务锁；

所述锁服务组件，还用于将配置的所述服务锁的信息中的所述服务锁的状态修改为已释放。

13.根据权利要求9所述的装置，其特征在于，所述锁服务组件，还用于将配置的所述服务锁的信息中的所述服务锁的状态修改为已释放。

14.根据权利要求9所述的装置，其特征在于，若所述写入源为用户时，所述数据写入操作信息携带在所述数据写入请求中。

15.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。

Images