CN116319988A - 一种数据处理方法、系统、存储介质及设备 - Google Patents

Abstract

本发明提供了一种数据处理方法、系统、存储介质及设备，方法包括：在服务系统中引入消息队列服务，并在消息队列服务的集群中建立消费者和生产者待使用的若干主题；响应于服务系统接收到客户系统发送的数据，将数据通过对应的主题推送至集群中，并由服务系统创建第一消费者，并通过第一消费者订阅对应的主题，以消费数据；由服务系统按照业务维度将数据存入对应的数据库中，并创建第一生产者，并由第一生产者将数据消费成功的消息经由集群发送至客户系统；由服务系统通过对应的数据库处理数据。本发明起到了削减数据请求峰值、减少数据请求拥塞的目的，降低了请求失败的概率，提高了数据处理效率。

Description

一种数据处理方法、系统、存储介质及设备

技术领域

本发明涉及软件技术领域，尤其涉及一种数据处理方法、系统、存储介质及设备。

背景技术

随着近些年计算机软件技术的不断发展完善，计算机软件协助处理日常繁琐的工作已经是大多数公司的选择，公司的发展带来的业务量的增加，对计算机软件的处理性能提出了更加严苛的要求。对于ERP(Enterprise Resource Planning，企业资源计划)软件来说，海量的数据流程处理是不得不面对的问题，高效的处理方式既能满足用户的要求，又能满足企业本身的期望。

现有的处理海量流程数据的方式主要是靠提高并发数量来解决问题，在有限的性能条件下提高流程处理效率，提升用户的体验。但是此种方法并发的线程数受到服务器性能、数据库性能等影响，不可能无限的提升。因此，需要解决大批量数据处理慢的问题。

发明内容

有鉴于此，本发明的目的在于提出一种数据处理方法、系统、存储介质及设备，用以解决现有技术中系统处理大批量数据时效率低下的问题。

基于上述目的，本发明提供了一种数据处理方法，包括以下步骤：

在服务系统中引入消息队列服务，并在消息队列服务的集群中建立消费者和生产者待使用的若干主题；

响应于服务系统接收到客户系统发送的数据，将数据通过对应的主题推送至集群中，并由服务系统创建第一消费者，并通过第一消费者订阅对应的主题，以消费数据；

由服务系统按照业务维度将数据存入对应的数据库中，并创建第一生产者，并由第一生产者将数据消费成功的消息经由集群发送至客户系统；

由服务系统通过对应的数据库处理数据。

在一些实施例中，将数据通过对应的主题推送至集群中包括：

由服务系统利用异步KAFKA接口将数据通过对应的主题推送至集群中。

在一些实施例中，由服务系统按照业务维度将数据存入对应的数据库中包括：

由服务系统按照业务维度获取对应的数据源，并根据数据源将数据存入对应的数据库中。

在一些实施例中，业务维度为业务承接单位或者业务类型。

在一些实施例中，由第一生产者将数据消费成功的消息经由集群发送至客户系统包括：

由第一生产者将数据消费成功的消息推送至集群中，并通过相应的主题将消息发送至客户系统。

在一些实施例中，在服务系统中引入消息队列服务包括：

在服务系统的代码中引入消息队列的依赖包，以建立消息队列服务。

在一些实施例中，服务系统为基于IGIX平台的财务系统。

本发明的另一方面，还提供了一种数据处理系统，包括：

建立模块，配置用于在服务系统中引入消息队列服务，并在消息队列服务的集群中建立消费者和生产者待使用的若干主题；

消费模块，配置用于响应于服务系统接收到客户系统发送的数据，将数据通过对应的主题推送至集群中，并由服务系统创建第一消费者，并通过第一消费者订阅对应的主题，以消费数据；

消息发送模块，配置用于由服务系统按照业务维度将数据存入对应的数据库中，并创建第一生产者，并由第一生产者将数据消费成功的消息经由集群发送至客户系统；以及

处理模块，配置用于由服务系统通过对应的数据库处理数据。

本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述方法。

本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述方法。

本发明至少具有以下有益技术效果：

本发明的数据处理方法，通过使用消息队列服务，通过集群完成数据的发送和接收通知，使客户系统预先收到数据消费成功的消息，之后通过数据库再处理数据，起到了削减数据请求峰值、减少数据请求拥塞的目的，降低了请求失败的概率；通过按照业务维度将数据存入对应的数据库，降低了数据库处理压力，也使数据存储结构更加清晰，从而提高了数据处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为根据本发明实施例提供的数据处理方法的示意图；

图2为根据本发明实施例提供的数据处理方法的流程示意图；

图3为根据本发明实施例提供的数据处理系统的示意图；

图4为根据本发明实施例提供的实现数据处理方法的计算机可读存储介质的示意图；

图5为根据本发明实施例提供的执行数据处理方法的计算机设备的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。

基于上述目的，本发明实施例的第一个方面，提出了一种数据处理方法的实施例。图1示出的是本发明提供的数据处理方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：

步骤S10、在服务系统中引入消息队列服务，并在消息队列服务的集群中建立消费者和生产者待使用的若干主题；

步骤S20、响应于服务系统接收到客户系统发送的数据，将数据通过对应的主题推送至集群中，并由服务系统创建第一消费者，并通过第一消费者订阅对应的主题，以消费数据；

步骤S30、由服务系统按照业务维度将数据存入对应的数据库中，并创建第一生产者，并由第一生产者将数据消费成功的消息经由集群发送至客户系统；

步骤S40、由服务系统通过对应的数据库处理数据。

本发明实施例的数据处理方法，通过使用消息队列服务，通过集群完成数据的发送和接收通知，使客户系统预先收到数据消费成功的消息，之后通过数据库再处理数据，起到了削减数据请求峰值、减少数据请求拥塞的目的，降低了请求失败的概率；通过按照业务维度将数据存入对应的数据库，降低了数据库处理压力，也使数据存储结构更加清晰，从而提高了数据处理效率。

在一些实施例中，将数据通过对应的主题推送至集群中包括：由服务系统利用异步KAFKA接口将数据通过对应的主题推送至集群中。

本实施例中，将目前实时的WebService接口(一个应用程序接口，向外界暴露出一个能够通过Web进行调用的接口)更改为异步的消息队列接口(KAFKA接口)，针对海量的系统流程数据，实时的WebService接口进行接收已经非常吃力，通过消息队列异步的方式处理，起到了削减数据峰值的目的，降低了接口的压力，解决接口数据高并发处理慢的问题，满足海量数据的接收需求。

在一些实施例中，在服务系统中引入消息队列服务包括：在服务系统的代码中引入消息队列的依赖包，以建立消息队列服务。

在一些实施例中，由第一生产者将数据消费成功的消息经由集群发送至客户系统包括：由第一生产者将数据消费成功的消息推送至集群中，并通过相应的主题将消息发送至客户系统。

上述实施例中，使用消息队列需要首先在代码中引入消息队列的依赖；其次在消息队列的集群中建立消费者和生产者的主题，大量的数据通过建立的主题推送到集群，等待消费者消费；然后在代码中创建消息队列的消费者，首先创建与消息队列集群联通的管道，订阅消费者的主题，开启监听就可以消费集群中的数据；之后将消费者消费的数据存入数据库；最后建立消息队列的生产者，通过生产者的主题我们将数据消费成功的信息返回给相关业务源，告知已经接收到此消息。

在一些实施例中，由服务系统按照业务维度将数据存入对应的数据库中包括：由服务系统按照业务维度获取对应的数据源，并根据数据源将数据存入对应的数据库中。

在一些实施例中，业务维度为业务承接单位或者业务类型。

在一些实施例中，由服务系统通过对应的数据库处理数据。

上述实施例中，为了降低数据库压力，采用了两种方式：第一是建立数据库分库并且将业务表进行拆分，利用分库分表的方式降低单表中的数据量，提高单条数据的处理速度；第二是将数据的接收和数据的处理分离，提高数据接收的响应速率，通过一种软件平台建立任务来定时执行处理系统流程数据，缓解数据库的压力。

具体地，根据业务数据量确定分库的数量，并且根据业务特点确定分库的业务维度，根据业务维度来进行数据库的划分。确定好数据库的数量，在相应的服务器安装数据库并创建对应的数据库实例，通过数据源来对不同的数据库进行访问。根据确定的业务维度，在不同数据库的相同表中存储着不同维度的数据，值得一提的是，KAFKA消费数据后需要按照制定的业务逻辑将数据存入对应的数据库中。建立任务处理数据，基于一种软件平台，可以对创建的每个数据库建立任务，多个任务同时处理多个数据库中的系统流程数据。

在另一实施例中，服务系统为基于IGIX平台的财务系统。

本实施例中，IGIX平台是一个企业数字化能力平台。

图2示出了数据处理方法的流程示意图。如图2所示，本发明实施例的数据处理方法的具体流程如下：

A系统(客户系统)每天会向B系统(服务系统)推送大量的不同类型流程，B系统需要对不同类型的流程进行不同的校验，判断逻辑复杂，当遭遇大量并发的情况，接口阻塞就不可避免的发生了。这种情况下，异步接口就优于实时接口。本实施例采用KAFKA消息队列来处理高并发数据，削减峰值，降低接口压力；采用分库分表来降低数据库压力；采用定时任务处理数据来降低处理数据时的压力。

第一步，在代码中引入消息队列的依赖，使得可以在程序中使用消息队列。

第二步，确定消息队列的集群，不论是自己搭建还是使用第三方集群，都要有暂时存储消息的集群，用来存储生产者推送的消息。

第三步，创建消息队列的消费者，用来消费A系统的生产者推送给到集群中的消息。确定A系统生产者推送的主题，B系统消费者就要订阅此主题，开启监听从而获取集群中的消息。

第四步，处理消费者消费的数据，B系统根据业务逻辑，抽象出业务承接单位作为业务维度，建立了多个不同数据库，消费者获取到数据之后，根据单位判定获取对应单位数据库的数据源，从而将数据存入对应的数据库中。

第五步，对于成功插入数据库中的数据，通过创建的生产者推送处理成功的信息，推送消息到对应的主题。

第六步，利用软件平台，根据数据库分库维度创建对应的定时任务，定时调用数据的处理方法，多个分库并行提高数据处理效率。

本发明实施例的第二个方面，还提供了一种数据处理系统。图3示出的是本发明提供的数据处理系统的实施例的示意图。如图3所示，一种数据处理系统包括：建立模块10，配置用于在服务系统中引入消息队列服务，并在消息队列服务的集群中建立消费者和生产者待使用的若干主题；消费模块20，配置用于响应于服务系统接收到客户系统发送的数据，将数据通过对应的主题推送至集群中，并由服务系统创建第一消费者，并通过第一消费者订阅对应的主题，以消费数据；消息发送模块30，配置用于由服务系统按照业务维度将数据存入对应的数据库中，并创建第一生产者，并由第一生产者将数据消费成功的消息经由集群发送至客户系统；以及处理模块40，配置用于由服务系统通过对应的数据库处理数据。

本发明实施例的数据处理系统，通过使用消息队列服务，通过集群完成数据的发送和接收通知，使客户系统预先收到数据消费成功的消息，之后通过数据库再处理数据，起到了削减数据请求峰值、减少数据请求拥塞的目的，降低了请求失败的概率；通过按照业务维度将数据存入对应的数据库，降低了数据库处理压力，也使数据存储结构更加清晰，从而提高了数据处理效率。

本发明实施例的第三个方面，还提供了一种计算机可读存储介质，图4示出了根据本发明实施例提供的实现数据处理方法的计算机可读存储介质的示意图。如图4所示，计算机可读存储介质3存储有计算机程序指令31。该计算机程序指令31被处理器执行时实现上述任意一项实施例的方法。

应当理解，在相互不冲突的情况下，以上针对根据本发明的数据处理方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的数据处理系统和存储介质。

本发明实施例的第四个方面，还提供了一种计算机设备，包括如图5所示的存储器402和处理器401，该存储器402中存储有计算机程序，该计算机程序被该处理器401执行时实现上述任意一项实施例的方法。

如图5所示，为本发明提供的执行数据处理方法的计算机设备的一个实施例的硬件结构示意图。以如图5所示的计算机设备为例，在该计算机设备中包括一个处理器401以及一个存储器402，并还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图5中以通过总线连接为例。输入装置403可接收输入的数字或字符信息，以及产生与数据处理系统的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。

存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的数据处理方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据处理方法的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的数据处理方法。

最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括以下步骤：

在服务系统中引入消息队列服务，并在所述消息队列服务的集群中建立消费者和生产者待使用的若干主题；

响应于所述服务系统接收到客户系统发送的数据，将所述数据通过对应的主题推送至所述集群中，并由所述服务系统创建第一消费者，并通过所述第一消费者订阅所述对应的主题，以消费所述数据；

由所述服务系统按照业务维度将所述数据存入对应的数据库中，并创建第一生产者，并由所述第一生产者将数据消费成功的消息经由所述集群发送至所述客户系统；

由所述服务系统通过所述对应的数据库处理所述数据。

2.根据权利要求1所述的方法，其特征在于，将所述数据通过对应的主题推送至所述集群中包括：

由所述服务系统利用异步KAFKA接口将所述数据通过对应的主题推送至所述集群中。

3.根据权利要求1所述的方法，其特征在于，由所述服务系统按照业务维度将所述数据存入对应的数据库中包括：

由所述服务系统按照业务维度获取对应的数据源，并根据所述数据源将所述数据存入对应的数据库中。

4.根据权利要求1所述的方法，其特征在于，所述业务维度为业务承接单位或者业务类型。

5.根据权利要求1所述的方法，其特征在于，由所述第一生产者将数据消费成功的消息经由所述集群发送至所述客户系统包括：

由所述第一生产者将数据消费成功的消息推送至所述集群中，并通过相应的主题将所述消息发送至所述客户系统。

6.根据权利要求1所述的方法，其特征在于，由所述服务系统通过所述对应的数据库处理所述数据包括：

由所述服务系统定时调用并处理所述对应的数据库中的所述数据。

7.根据权利要求1所述的方法，其特征在于，在服务系统中引入消息队列服务包括：

在所述服务系统的代码中引入消息队列的依赖包，以建立消息队列服务。

8.一种数据处理系统，其特征在于，包括：

建立模块，配置用于在服务系统中引入消息队列服务，并在所述消息队列服务的集群中建立消费者和生产者待使用的若干主题；

消费模块，配置用于响应于所述服务系统接收到客户系统发送的数据，将所述数据通过对应的主题推送至所述集群中，并由所述服务系统创建第一消费者，并通过所述第一消费者订阅所述对应的主题，以消费所述数据；

消息发送模块，配置用于由所述服务系统按照业务维度将所述数据存入对应的数据库中，并创建第一生产者，并由所述第一生产者将数据消费成功的消息经由所述集群发送至所述客户系统；以及

处理模块，配置用于由所述服务系统通过所述对应的数据库处理所述数据。

9.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的方法。

10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时执行如权利要求1-7任意一项所述的方法。

Images