CN109542922A - 针对实时服务数据的处理方法及相关系统 - Google Patents

Abstract

本发明公开一种针对实时服务数据的处理方法、相关系统、相关计算器可读介质及相关电子设备，在本发明的一实施例中，其特征在于，包括：执行交易锁加锁服务，所述执行交易锁加锁服务的步骤包括：提取数据对象的关键词，所述数据对象属于实时服务数据；检查是否存在对应至所述数据对象的原交易锁；当存在对应至所述数据对象的所述原交易锁时，检查所述原交易锁的提交者是否属于批处理数据；当所述原交易锁的所述提交者属于批处理数据时，用新交易锁覆盖所述原交易锁；及设置新交易锁。

Description

针对实时服务数据的处理方法及相关系统

技术领域

本公开涉及数据处理领域，特别是涉及针对实时服务数据以及批处理数据的处理方法、相关系统、相关计算器可读介质及相关电子设备。

背景技术

传统业务系统批处理业务为独占式，不论单机、多机还是分布式部署，因为与业务实时服务存在数据库资源竞争问题，为了避免出现死锁和错误的数据覆盖，必须给批处理提供专有的独占时间窗口。在此时间范围内，系统不能提供业务实时服务，占用了大量的系统的服务有效时间，降低了用户体验和资源利用率。或者采用分时控制方式，减少独占的时间窗口；或者采用数据分片方式，保留部分数据可以用于实时业务服务。但上述方式都会直接降低系统实时业务服务时效，降低用户体验，尤其在互联网业务24小时的服务要求下，已无法满足系统的实际需求。

发明内容

本发明的目的之一在于基于服务编排和高速缓存提供交易锁，实时业务服务和批处理进程对数据资源使用同一种方式竞争互斥的交易锁，实现联机批处理下的实时业务高可用性。同时实时业务服务具有更高的锁优先级，进一步保证实时业务的高可用性。

本发明一实施例公开一种数据处理方法，其包括执行交易锁加锁服务，所述执行交易锁加锁服务的步骤包括：提取数据对象的关键词，所述数据对象属于实时服务数据；检查是否存在对应至所述数据对象的原交易锁；当存在对应至所述数据对象的所述原交易锁时，检查所述原交易锁的提交者是否属于批处理数据；当所述原交易锁的所述提交者属于批处理数据时，用新交易锁覆盖所述原交易锁；及设置新交易锁。

在本发明的一实施例中，所述新交易锁包括所述数据对象的关键词及提交者辨认字号。

在本发明的一实施例中，所述提交者辨认字号包括唯一识别号。

在本发明的一实施例中，数据处理方法还包括执行实时服务编排，用于对所述数据对象进行数据处理；

在本发明的一实施例中，数据处理方法还包括执行交易锁解锁服务，所述执行交易锁解锁服务的步骤包括：进行数据处理后，检查所述数据对象所对应的交易锁是否为所述新交易锁；及当所述数据对象所对应的所述交易锁仍为所述新交易锁时，将所述新交易锁删除。

在本发明的一实施例中，所述执行交易锁解锁服务的步骤还包括当所述数据对象所对应的所述交易锁不为所述新交易锁时，将所述数据对象登记为异常个案。

在本发明的一实施例中，所述执行交易锁加锁服务的步骤还包括当所述交易锁的所述提交者为实时服务时，结束数据处理。

在本发明的一实施例中，所述原交易锁和所述新交易锁储存在高速缓存中。

本发明一实施例公开一种数据处理系统，其包括数据库，用于储存数据；多个服务器，用于进行实时服务数据处理，所述实时服务数据处理的步骤包括；提取数据对象的关键词，所述数据对象属于实时服务数据；检查是否存在对应至所述数据对象的原交易锁；当存在对应至所述数据对象的所述原交易锁时，检查所述原交易锁的提交者是否属于批处理数据；当所述原交易锁的所述提交者属于批处理数据时，用新交易锁覆盖所述原交易锁；及设置新交易锁；及高速缓存，用于储存所述原交易锁及所述新交易锁。

本发明一实施例公开一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理方法。

本发明一实施例公开一种电子设备，其包括一个或多个处理器；及存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的数据处理方法。

附图说明

图1为本发明一实施例的实时服务数据处理方法中交易锁加锁方法流程图；

图2为本发明一实施例的实时服务数据处理方法流程图；

图3为本发明一实施例的实时服务数据处理方法中交易锁解锁方法流程图；

图4为本发明一实施例的批处理数据处理方法流程图；及

图5为本发明一实施例的数据处理系统示意图。

具体实施方式

为更好的理解本发明的精神，以下结合本发明的部分优选实施例对其作进一步说明。

为了使本技术领域中具有通常知识者能制造并使用本发明的实施例，以下描述是针对一个特别的应用及其条件的情况。各种针对本发明的实施例所进行的修改方式，对本技术领域中具有通常知识者是显而易见的。而在此所定义的一般原理，在不偏离本发明的实施例的精神与范围下，可用于其他的实施方式和应用。因此，本发明的实施方式并不局限于已显示的实施例，而可得到与在此所揭示内容的原理与特征相符的最宽广范围。

新一代核心业务系统面向互联网获客类业务场景，具有业务量并发峰值高，数据总量大，处理时效快的特点，同时需要提供24小时不间断业务服务。传统核心业务系统中的批量数据处理方案，在新场景下实施，需要基于新核心业务系统的架构和应用特点进行改造，提供高数据吞吐量的同时，不能因批处理执行而导致业务中断。

新一代核心业务系统采用基于springboot的微服务架构搭建，基于业务场景，设计了10多个服务中心提供核心系统各类功能服务，直接或组合后提供业务服务。后端搭配了mysql关系型数据和mongodb非关系型数据库，组合提供数据服务。批处理功能根据业务场景，集中处理数据库中的各类业务数据。而让实时服务和批量处理在日间同时运行，既可以提高服务器利用率，提高批处理吞吐量，同时避免业务出现间断，是此系统批处理的最佳解决方案。在此情境下，实时服务和批量数据处理存在资源竞争的情况，比如在同一时间对同一天数据存在更新的请求，本发明将根据服务编排的特点，在微服务架构下，引入竞争式的交易锁解决上述问题。

图1为本发明一实施例的实时服务数据处理方法中交易锁加锁方法100的流程图，倘若大体上能得到相同的结果，本发明并不限定完全依照图1中的步骤顺序执行。实时服务加锁方法100可归纳为以下步骤。

在步骤101中，提取数据对象关键词。

在本实施例中数据对象自一共享数据库中获得，并且处理数据对象是一保单，但本发明并不以此为限。除外，关键词是以处理数据对象如一保单的保单号。需说明的是，关键词是从业务交易主体中提取，而所有交易使用的格式和内容一致。

在步骤102中，检查对应至所述处理数据对象的交易的原交易锁是否存在，若是，则进入步骤103；若否，则进入步骤105。

在本实施例中交易锁是由关键词，如一保单的保单号，以及提交者的辨认字号如一ID所结合产生。在本实施例中，实时服务的提交者的ID使用服务编排实例的唯一识别号UUID。在本实施例中，批处理的提交者的ID使用所述批处理服务所对应的服务器地址和进程号组合生产的唯一ID。若是存在对应至所述处理数据对象的原交易锁，代表所述处理数据对象可能正在由另一批处理实例或实时服务处理中，由于实时服务的优先级较批处理高，将会额外检查目前的交易锁属于批处理或是实时服务，又或者属于异常状况，来决定加锁服务是否成功。若不存在对应至所述处理数据对象的原交易锁，则可直接对所述处理数据对象进行数据处理。

在步骤103中，检查原交易锁是否属于批处理实例。若是，则进入步骤104；否则进入步骤106。

在本实施例中，检查对应至所述处理数据对象的交易的原交易锁是否属于批处理，若是，由于实时服务的优先级较高，因此可直接覆盖批处理的交易锁，否则，原交易锁可能属于其他实时服务或者所述处理数据对象出现异常状况，因此都会造成加锁服务失败，结束加锁服务。

在步骤104中，覆盖原交易锁。

在本实施例中，检查对应至所述处理数据对象的交易的原交易锁属于批处理后，以实时服务的交易锁直接覆盖批处理的交易锁。

在步骤105中，设置新交易锁。

需说明的是，交易锁的粒度大于数据库的数据锁，锁定的是整个交易入口，既而锁定相关的各个数据对象，而数据库提供的锁定范围仅限单表内的数据。如此一来，可以有效的保证整个业务交易过程中的存储数据和业务数据的双一制性，避免交易过程中因数据占用导致的数据完整性异常。因此，在确认所述数据处理对象不存在交易锁或者交易锁属于批处理实例后，设置所述新交易锁来锁定整个交易入口。

在步骤106中，加锁服务失败。

在步骤107中，加锁服务成功。

可选地，在步骤102中，检查对应至所述处理数据对象的交易的原交易锁是否存在可以自共享的高速缓存读取交易锁数据。

可选地，在设置新交易锁之后，将所述新交易锁储存在高速缓存中，如此一来可以有效地提高服务能力和处理速度，但本发明不以此为限。

根据图1所示的加锁服务方法100，当所述处理数据对象正在由一批处理实例处理时，由于实时服务具有较高的优先级，将实时服务的交易锁覆盖批处理实例的交易锁以成功加锁并执行实时服务，而所述批处理实例在执行完批处理数据处理且发现所述处理数据对象的交易锁属于实时服务后，最终会结束其批处理数据处理流程。除外，当所述处理数据对象正在由另一实时服务处理或出现异常状况时，将会结束加锁服务以等待下次提交后再处理。

根据图1的加锁结果，实时服务数据处理方法200接续加锁服务方法100继续执行。图2为本发明一实施例的实时服务数据处理方法200的流程图，倘若大体上能得到相同的结果，本发明并不限定完全依照图2中的步骤顺序执行。实时服务数据处理方法200可归纳为以下步骤。

接续步骤107，在步骤201中，实时服务编排开始。

在本实施例中，实时服务可以是保单保全服务，由保全中心提供各种类形的服务编排支持，除试算类的请求外，均要求对保单数据进行更新操作，而此类更新操作即属于实时服务，但本发明并不以此为限。

在步骤202中，进行交易锁解锁服务。

所述进行交易锁解锁服务的操作将在后续图示范例中说明。

接续步骤202及106，在步骤203中，实时服务编排结束。

图3为本发明一实施例的实时服务数据处理方法中的交易锁解锁方法300流程图，倘若大体上能得到相同的结果，本发明并不限定完全依照图3中的步骤顺序执行。实时服务解锁方法300可归纳为以下步骤。

接续步骤201，在步骤302中，获取数据对象关键词。

在本实施例中，可直接获取加锁服务方法100中所产生的数据对象关键词，不需再额外产生。

在步骤302中，检查交易锁是否属于自己。若是，则进入步骤303；若否，则进入步骤304。

在本实施例中，检查交易锁是否属于加锁服务方法100中所设置的所述新交易锁，若检查结果显示交易锁不属于加锁服务方法100中所设置的所述新交易锁，可能所述处理数据对象出现异常状况，如此一来为了避免产生错误，将直接结束处理方法流程。若检查结果显示交易锁属于加锁服务方法100中所设置的所述新交易锁，则可继续进行解锁服务。

在步骤303中，删除交易锁。

在本实施例中，检查结果显示交易锁属于加锁服务方法100中所设置的所述新交易锁后，将加锁服务方法100中用于锁定整个交易入口的所述新交易锁删除来释放所述处理数据对象。

在步骤304中，进行异常个案登记。

在本实施例中，检查交易锁不属于加锁服务方法100中所设置的所述新交易锁后，表示所述处理数据对象出现异常状况，例如，在执行实时服务流程中，出现不可预期之错误，导致系统将交易锁替换避免后续再度于错误的交易上进行更新，如此将造成交易锁不属于加锁服务方法100中所设置的所述新交易锁。因此，将所述处理数据对象登记为异常个案，避免其他实时服务或批处理再次进行数据处理。

在步骤305中，解锁服务失败。

在步骤306中，解锁服务成功。

可选地，在步骤302中，检查交易锁是否属于自己的步骤可以至高速缓存中读取交易锁数据。

可选地，在步骤303中，至高速缓存中删除所述新交易锁。根据图3所示的解锁服务方法，当检查交易锁不属于加锁服务方法100中所设置的所述新交易锁时，所述处理数据对象可能出现异常状况，因此，将直接结束处理方法流程。

图4为本发明一实施例的批处理数据处理方法400流程图，倘若大体上能得到相同的结果，本发明并不限定完全依照图4中的步骤顺序执行。批处理数据处理方法可归纳为以下步骤。

在步骤401中，开始批处理数据处理。

在步骤402中，获取处理数据对象。

在本实施例中的处理数据对象自一共享数据库中获得，并且处理数据对象是一保单，但本发明并不以此为限。

在步骤403中，提取关键词。

在本实施例中关键词是以处理数据对象如一保单的保单号。需说明的是，关键词是从业务交易主体中提取，而所有交易使用的格式和内容一致。

在步骤404中，检查对应至所述处理数据对象的原交易锁是否存在，若是，进入步骤410；否则，进入步骤405。

在本实施例中交易锁是由关键词，如一保单的保单号，以及提交者的辨认字号如一ID所结合产生。在本实施例中，批处理的提交者的ID使用所述批处理服务所对应的服务器地址和进程号组合生产的唯一ID。若是存在对应至所述处理数据对象的原交易锁，代表所述处理数据对象正在由另一批处理实例或实时服务处理中，因此将直接结束数据处理方法，以避免后续产生错误。若不存在对应至所述处理数据对象的原交易锁，则可直接对所述处理数据对象进行数据处理。

在步骤405中，设置新交易锁。

如上所述，在确认所述数据处理对象目前并未被其他批处理实例或实时服务处理后，使用所述新交易锁锁定整个交易入口来保证整个业务交易过程中的存储数据和业务数据的双一制性，避免交易过程中因数据占用导致的数据完整性异常。

在步骤406中，对已上锁的交易中的所述处理数据对象进行批处理数据处理。

在本实施例中的批处理数据处理可以是对保单的续期批处理，例如根据保单周年日判断并执行保单日期更新，收费发起，收费收款等多种业务处理，但本发明并不以此为限。

在步骤407中，检查交易锁是否属于自己。若是，进入步骤109；否则，进入步骤111。

在本实施例中，对所述处理数据对象进行完批处理数据处理后，检查交易锁是否属于步骤405中所设置的所述新交易锁，若检查交易锁不属于步骤405中所设置的所述新交易锁，可能所述处理数据对象正在由优先级较高的实时服务处理中，因此交易锁被覆盖为实时服务的交易锁，又或者，所述处理数据对象出现异常状况，如此一来为了避免产生错误，将直接结束处理方法流程。

在步骤408中，提交处理数据对象至数据库。

在本实施例中，在确认交易锁属于先前所设置之所述新交易锁后，将处理完的处理数据对象储存至数据库中。

在步骤409中，删除交易锁。

在本实施例中，在提交处理数据对象至数据库后，将所述新交易锁删除来释放所述处理数据对象。

在步骤410中，结束数据处理方法。

可选地，在步骤404中，检查对应至所述处理数据对象的原交易锁是否存在可以至高速缓存中读取交易锁数据。

可选地，在步骤405中，在设置新交易锁之后，将所述新交易锁储存在高速缓存中，如此一来可以有效地提高服务能力和处理速度，但本发明不以此为限。

可选地，在步骤407中，检查交易锁是否属于自己的步骤可以至高速缓存中读取交易锁数据。

可选地，在步骤409中，至高速缓存中删除所述新交易锁。

根据图1所示的批处理数据处理方法，当所述处理数据对象正在由另一批处理实例或实时服务处理时，由于批处理实例具有的优先级低于实时服务，并且批处理实例无法覆盖另一批处理实例，因此，当处理数据对象所对应的交易的交易锁存在时，将会直接结束批处理数据处理方法，避免产生死锁或错误的数据覆盖。除外，当执行完批处理数据处理后，将再次检查所述批处理数据对象所对应的交易的交易锁是否为执行数据处理之前所加的交易锁，若不是，表示所述批处理数据对象正在由优先级较高的实时服务处理，交易锁已经被覆盖为实时服务的交易锁，又或者，所述处理数据对象出现异常状况，因此，当交易锁不是执行数据处理之前所加的交易锁时，将会直接结束批处理数据处理方法，避免产生死锁或错误的数据覆盖。

图5为本发明一实施例的数据处理系统500示意图。需说明的是，图5的数据处理系统可用于执行图1至图4的数据处理方法。如图5所示，数据处理系统包括共享高速缓存501，用于实时服务数据处理的应用服务器5021-502n，用于批处理数据处理的应用服务器5031-503m以及共享数据库504。在本实施例中，n和m为正整数。数据处理系统500透过将交易锁存放在高速缓存501中可以提高服务能力和处理速度，并且搭配图1至图4实施例中的数据处理方法，引入竞争式的交易锁已解决先前技术中的问题。

此外，所描述的方法和程序可以包含在硬件模块中。例如，所述硬件模块，可包括但不限于，特定应用集成电路(ASIC)芯片、可程序逻辑门阵列(FPGA)、以及其它现在已知的或以后开发的可程序化逻辑设备。当所述硬件模块被启动时，所述硬件模块执行内含于所述硬件模块中的方法和程序。

在一实施例中，电子设备包括一个或多个处理器及存储装置。存储装置存储一个或多个数据处理程序，当一个或多个数据处理程序被一个或多个处理器执行时，一个或多个数据处理方法。

在一实施例中，如上所述的实时服务数据的处理方法和程序可以代码和/或数据加以实施，其可存储在非暂时性计算机可读取存储媒介中。当计算机(或处理器)读取并执行存储的代码和/或数据时，计算机执行具体化为数据结构和代码且存储在媒介中的方法和程序，进而实时服务数据的处理方法和程序。

本发明的技术内容及技术特点已揭示如上，然而熟悉本领域的技术人员仍可能基于本发明的教示及揭示而作种种不背离本发明精神的替换及修饰。因此，本发明的保护范围应不限于实施例所揭示的内容，而应包括各种不背离本发明的替换及修饰，并为本专利申请权利要求书所涵盖。

Claims (10)

1.一种针对实时服务数据的处理方法，其特征在于，包括：

执行交易锁加锁服务，所述执行交易锁加锁服务的步骤包括：

提取数据对象的关键词，所述数据对象属于实时服务数据；

检查是否存在对应至所述数据对象的原交易锁；

当存在对应至所述数据对象的所述原交易锁时，检查所述原交易锁的提交者是否属于批处理数据；

当所述原交易锁的所述提交者属于批处理数据时，用新交易锁覆盖所述原交易锁；及

设置新交易锁。

2.根据权利要求1所述的数据处理方法，其特征在于，所述新交易锁包括所述数据对象的关键词及提交者辨认字号。

3.根据权利要求2所述的数据处理方法，其特征在于，所述提交者辨认字号包括唯一识别号。

4.根据权利要求1所述的数据处理方法，其特征在于，还包括：

执行实时服务编排，用于对所述数据对象进行数据处理；及

执行交易锁解锁服务，所述执行交易锁解锁服务的步骤包括：

进行数据处理后，检查所述数据对象所对应的交易锁是否为所述新交易锁；及

当所述数据对象所对应的所述交易锁仍为所述新交易锁时，将所述新交易锁删除。

5.根据权利要求4所述的数据处理方法，其特征在于，所述执行交易锁解锁服务的步骤还包括：

当所述数据对象所对应的所述交易锁不为所述新交易锁时，将所述数据对象登记为异常个案。

6.根据权利要求1所述的数据处理方法，其特征在于，所述执行交易锁加锁服务的步骤还包括：

当所述交易锁的所述提交者为实时服务时，结束数据处理。

7.根据权利要求1至6任一项所述的数据处理方法，其特征在于，所述原交易锁和所述新交易锁储存在高速缓存中。

8.一种数据处理系统，其特征在于，包括：

数据库，用于储存数据；

多个服务器，用于进行实时服务数据处理，所述实时服务数据处理的步骤包括；

提取数据对象的关键词，所述数据对象属于实时服务数据；

检查是否存在对应至所述数据对象的原交易锁；

当存在对应至所述数据对象的所述原交易锁时，检查所述原交易锁的提交者是否属于批处理数据；

当所述原交易锁的所述提交者属于批处理数据时，用新交易锁覆盖所述原交易锁；及

设置新交易锁；及

高速缓存，用于储存所述原交易锁及所述新交易锁。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理方法。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；及

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的数据处理方法。