CN105373498A - 一种数据处理系统及方法 - Google Patents

Abstract

本发明公开了一种数据处理系统及方法，适用于数据处理技术领域；系统包括：多个数据处理单元、数据总线单元和数据控制单元；方法包括：采用一数据控制单元向一数据总线单元下发关联于不同的数据处理逻辑的驱动事件的驱动指令；数据总线单元根据注册的数据处理逻辑，将不同的驱动指令下发至相应的数据处理单元；每个数据处理单元根据驱动指令，采用相应的数据处理逻辑进行处理，并将处理结果通过数据总线单元反馈至数据控制单元；数据控制单元根据处理结果，更新数据总线单元中的驱动指令，并返回步骤S2。上述技术方案的有益效果是：提升系统处理不同的业务数据的性能，充分利用系统资源，提升系统的吞吐量。

Description

一种数据处理系统及方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理系统及方法。

背景技术

现有技术中，一些业务处理系统(例如交易处理系统等)，其中对于不同业务逻辑的处理通常是随机组合的。例如，对于一个数据处理系统而言，其依照数据处理逻辑执行的数据处理通常包括三种：CPU密集型处理、I/O密集型处理以及系统外调用处理。上述三种数据处理的耗费时长也依据上述排列逐次递增。则一种可能的情况在于，在处理耗时最长的数据处理时(例如系统外调用处理)，其他一些耗时相对较少的操作环节会因为空闲的事件过长而导致系统资源被浪费的情况，从而降低了系统的吞吐量。换言之，在传统的单一数据处理系统中，制约系统性能的最大瓶颈在于耗时最长的数据处理环节，因此会导致系统处理效率降低，系统资源浪费率提升。

发明内容

根据现有技术中存在的问题，现提供一种数据处理系统及方法的技术方案，旨在提升系统处理不同的业务数据的性能，充分利用系统资源，提升系统的吞吐量。

上述技术方案具体包括：

一种数据处理系统，其中，包括：

多个数据处理单元，每个所述数据处理单元分别用于处理关联于一类独立的数据处理逻辑的数据业务；

数据总线单元，分别连接每个所述数据处理单元，所述数据处理单元向所述数据总线单元注册对应的所述数据处理逻辑；

数据控制单元，连接所述数据总线单元，并向所述数据总线单元下发关联于不同的所述数据处理逻辑的驱动事件的驱动指令；

所述数据总线单元根据每个所述数据处理单元注册的所述数据处理逻辑，分别向对应的所述数据处理单元下发相应的所述驱动指令；

每个所述数据处理单元根据所述驱动指令，采用对应的所述数据处理逻辑进行处理后，将相应的处理结果通过所述数据总线单元反馈至所述数据控制单元；

所述数据控制单元根据从所述数据总线单元中获取的所述处理结果，更新所述数据总线单元中的所述驱动指令。

优选的，该数据处理系统，其中，所述数据总线单元中包括：

数据总线模块，用于向不同的所述数据处理单元传输关联于每个所述驱动指令的驱动数据；

事件总线模块，连接所述数据总线模块，用于根据不同的所述数据处理单元注册的所述数据处理逻辑，控制所述数据总线模块向不同的所述数据处理单元传输相应的所述驱动数据。

优选的，该数据处理系统，其中，还包括：

流程配置单元，连接所述数据控制单元；

所述流程配置单元中预设有关联于所述驱动指令的驱动流程；

若所述数据控制单元从所述数据总线单元中获取的所述处理结果触发所述驱动流程中相应的步骤，则所述数据控制单元根据所述步骤生成相应的所述驱动指令并下发至所述数据总线单元进行更新。

优选的，该数据处理系统，其中，所述数据控制单元中包括：

流程判断模块，用于判断当前触发的所述步骤是否为所述驱动流程中的最后一个步骤，并输出相应的判断结果；

结果输出模块，连接所述流程判断模块，用于根据所述判断结果，在：

所述步骤不为所述最后一个步骤时，向所述数据总线单元下发相应生成的所述驱动指令；或者

所述步骤为所述最后一个步骤时，输出当前获取的所述处理结果，以作为对应所述驱动流程的所述处理结果。

一种数据处理方法，其中，包括多个数据处理单元，每个所述数据处理单元分别用于处理关联于一类独立的数据处理逻辑的数据业务；

每个所述数据处理单元向所述数据总线单元注册对应的所述数据处理逻辑，还包括：

步骤S1，采用一数据控制单元向一数据总线单元下发关联于不同的所述数据处理逻辑的驱动事件的驱动指令；

步骤S2，所述数据总线单元根据注册的所述数据处理逻辑，将不同的所述驱动指令下发至相应的所述数据处理单元；

步骤S3，每个所述数据处理单元根据所述驱动指令，采用相应的所述数据处理逻辑进行处理，并将处理结果通过所述数据总线单元反馈至所述数据控制单元；

步骤S4，所述数据控制单元根据所述处理结果，更新所述数据总线单元中的所述驱动指令，并返回所述步骤S2。

优选的，该数据处理方法，其中，于所述数据总线单元中分别设置数据总线模块和与所述数据总线模块连接的事件总线模块；

所述步骤S2中，采用所述数据总线模块向不同的所述数据处理单元传输关联于每个所述驱动指令的驱动数据；并且

采用所述事件总线模块，根据不同的所述数据处理单元注册的所述数据处理逻辑，控制所述数据总线模块向不同的所述数据处理单元传输相应的所述驱动数据。

优选的，该数据处理方法，其中，还包括流程配置单元，其中预设有关联于所述驱动指令的驱动流程

则所述步骤S4具体包括：

步骤S41，所述数据控制单元接收到所述处理结果后，判断所述处理结果是否触发所述驱动流程中的步骤：

若否，则直接退出；

步骤S42，所述数据控制单元根据所述处理结果，更新所述数据总线单元中的所述驱动指令，并返回所述步骤S2。

优选的，该数据处理方法，其中，执行所述步骤S42之前，首先执行下述步骤：

判断当前触发的所述步骤是否为所述驱动流程中的最后一个步骤：

若是，则所述数据控制单元输出所述处理结果，随后退出；

若否，则继续执行所述步骤S42。

上述技术方案的有益效果是：

1)提供一种数据处理系统，能够提升系统处理不同的业务数据的性能，充分利用系统资源，提升系统的吞吐量；

2)提供一种数据处理方法，能够支持上述数据处理系统正常运行。

附图说明

图1是本发明的较佳的实施例中，一种数据处理系统的总体结构示意图；

图2-3是本发明的较佳的实施例中，于图1的基础上，一种数据处理系统的分模块结构示意图；

图4是本发明的较佳的实施例中，一种数据处理方法的总体流程示意图；

图5是本发明的较佳的实施例中，于图4的基础上，一种数据处理方法的分步骤流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种数据处理系统，其具体结构如图1所示，包括：

多个数据处理单元1，每个数据处理单元1分别用于处理关联于一类独立的数据处理逻辑的数据业务。

本发明的较佳的实施例中，在上述数据处理系统中分别设置多个数据处理单元1。每个数据处理单元1基于一独立的数据处理逻辑对事务进行处理。换言之，本发明的较佳的实施例中，相对于传统的单一式数据处理系统，将整体的处理逻辑拆分成多个相互独立的数据处理逻辑，即每个数据处理逻辑都可以独立运行，不需要其他数据处理逻辑的辅助和参与。针对被拆分出来的每个数据处理逻辑，分别在系统中设置一个数据处理单元1，不同的数据处理单元1用于根据相对应的数据处理逻辑，对不同事件进行处理。

数据总线单元2，分别连接每个数据处理单元1，数据处理单元1向数据总线单元2注册对应的数据处理逻辑；

本发明的较佳的实施例中，上述被拆分出来的每个数据处理逻辑，均可以对应不同的事件类型。例如，对于一种交易数据处理逻辑而言，其对应的可能为某个交易平台的交易数据。而对于一种用户验证处理逻辑而言，其对应的可能为某个登录系统的用户身份验证数据。换言之，数据处理单元1分别向数据总线单元2注册其自身的数据处理逻辑，则数据总线单元2就能够知晓不同的数据处理单元1所能够处理的事件的类型。

数据控制单元3，连接数据总线单元2，并向数据总线单元2下发关联于不同的数据处理逻辑的驱动事件的驱动指令；

则本发明的较佳的实施例中，数据总线单元2根据每个数据处理单元1注册的数据处理逻辑，分别向对应的数据处理单元1下发相应的驱动指令；

每个数据处理单元1根据驱动指令，采用对应的数据处理逻辑进行处理后，将相应的处理结果通过数据总线单元2反馈至数据控制单元3；

数据控制单元3根据从数据总线单元2中获取的处理结果，更新数据总线单元2中的驱动指令。

换言之，本发明的较佳的实施例中，数据处理单元1向数据总线单元2下发不同的驱动指令，每个被下发的驱动指令分别针对不同的驱动事件，每个驱动事件可以用来触发相应的数据处理单元1的数据处理逻辑，即不同的驱动事件可以被下发至不同的数据处理单元1，随后该数据处理单元1即应用其自身的数据处理逻辑对这些驱动事件进行处理。

则数据总线单元2根据已经注册的不同的数据处理单元1的数据处理逻辑，向不同的数据处理单元1下发相应的驱动指令(用于指示数据处理单元1执行相应的驱动事件)。

数据处理单元1根据驱动指令，应用数据处理逻辑执行完相应的驱动事件后，会将处理结果反馈至数据总线单元2。随后，数据控制单元3会从数据总线单元2中获取上述处理结果，并根据处理结果更新上述数据总线单元2中的驱动事件。具体地，数据控制单元3可以根据处理结果形成新的驱动事件，并将关联于该驱动事件的驱动指令再次下发到数据总线单元2中。上述过程循环往复，从而形成由数据控制单元3通过数据总线单元2控制数据处理单元1按照数据处理逻辑执行不同的驱动事件的过程。

则如上文中所述，上述数据控制单元1的作用类似于中央处理器(CentralProcessingUnit，CPU)，因此在本发明中将其简称为EPU(EventProcessingUnit)。并且，上述数据总线单元2的作用类似于计算机系统的总线机制。

本发明的较佳的实施例中，进一步地，如图2所示，上述数据总线单元2中包括：

数据总线模块21，用于向不同的数据处理单元1传输关联于每个驱动指令的驱动数据；

事件总线模块22，连接数据总线模块21，用于根据不同的数据处理单元1注册的数据处理逻辑，控制数据总线模块21向不同的数据处理单元1传输相应的驱动数据。

具体地，本发明的较佳的实施例中，上述数据总线模块21中承载的是下发的不同的驱动指令及其相关联的驱动数据。所谓驱动数据，是指数据处理单元1执行驱动事件所需要的中间输入数据，例如数据处理单元1需要执行用户身份验证的处理，则上述驱动数据可以为输入的用户身份验证信息。又例如数据处理单元1需要执行交易总额计算的处理，则上述驱动数据可以为输入的各笔交易操作的金额数量。

则本发明的较佳的实施例中，上述事件总线模块22的作用在于：根据被注册的不同的数据处理单元1的数据处理逻辑，将相应的驱动指令下发至不同的数据处理单元1中。

具体地，对于进行用户身份验证的数据处理单元1而言，其注册到数据总线单元2上的数据处理逻辑为身份验证逻辑，则事件总线模块22根据该已注册的数据处理逻辑，控制数据总线模块21将关联于身份验证的驱动指令(以及相应的驱动数据)下发至该数据处理单元1中进行处理。

又例如，对于进行交易总额计算的数据处理单元1而言，其注册到数据总线单元2上的数据处理逻辑为交易总额计算逻辑，则事件总线模块22根据该已注册的数据处理逻辑，控制数据总线模块21将关联于交易额的驱动指令(以及相应的驱动数据)下发至该数据处理单元1中进行处理。

本发明的较佳的实施例中，仍然如图1所示，上述数据处理系统中还包括：

流程配置单元4，连接数据控制单元3；

本发明的较佳的实施例中，流程配置单元4中预设有关联于驱动指令的驱动流程；

则本发明的较佳的实施例中，若数据控制单元3从数据总线单元2中获取的处理结果触发上述驱动流程中相应的步骤，则数据控制单元3根据步骤生成相应的驱动指令并下发至数据总线单元2进行更新。

具体地，本发明的较佳的实施例中，上述流程配置单元4中配置有不同的驱动流程。所谓驱动流程，其定义了一定的处理过程。数据控制单元3接收到上述处理结果后，首先根据流程配置单元4中配置的驱动流程，判断该处理结果是否触发了驱动流程中的某个步骤，并根据触发该步骤后的流程决定其下一步需要生成的驱动指令。

例如，数据控制单元3下发身份验证的驱动指令至数据总线单元2，并接收到数据总线单元2反馈回来的处理结果(身份验证失败)，则数据控制单元3根据相应的驱动流程，判断该身份验证失败的处理结果触发其中的某个步骤，并根据该步骤后续的处理方式(拒绝用户的登录操作并提示登录失败信息)继续向数据总线单元2下发相应的驱动指令。

又例如，数据控制单元3下发交易额计算的驱动指令至数据总线单元2，并接收到数据总线单元2反馈回来的处理结果(具体的交易总额)，则数据控制单元3根据相应的驱动流程，判断用于指示该交易总额的处理结果触发其中的某个步骤，并根据该步骤后续的处理方式(例如交易总额超过某个限额，冻结该交易相关数据)继续向数据总线单元2下发相应的驱动指令。

本发明的较佳的实施例中，如图3所示，上述数据控制单元3中包括：

流程判断模块31，用于判断当前触发的步骤是否为驱动流程中的最后一个步骤，并输出相应的判断结果；

结果输出模块32，连接流程判断模块31，用于根据判断结果，在：

步骤不为最后一个步骤时，向数据总线单元下发相应生成的驱动指令；或者

步骤为最后一个步骤时，输出当前获取的处理结果，以作为对应驱动流程的处理结果。

具体地，本发明的较佳的实施例中，上述数据控制单元3在接收到处理结果后首先判断该处理结果是否触发相应的步骤，随后判断该被触发的步骤是否为对应的驱动流程中的最后一个步骤(可以为某个支线中的最后一个步骤)，若是，则直接输出该处理结果，以作为对应的整个驱动事件的处理结果；若否，则如上文中所述，生成相应的驱动指令并再次下发至数据总线单元2。

例如，如上文中所述，数据控制单元3下发身份验证的驱动指令至数据总线单元2，并接收到数据总线单元2反馈回来的处理结果(身份验证失败)，则数据控制单元3根据相应的驱动流程，判断该身份验证失败的处理结果触发其中的某个步骤，并根据该步骤后续的处理方式(拒绝用户的登录操作并提示登录失败信息)继续向数据总线单元2下发相应的驱动指令。

随后，数据控制单元3接收到上述操作后反馈的处理结果(提示登录失败信息)，并判断依据该处理结果被触发的步骤为该驱动流程中关联于身份验证失败的支线的最后一个步骤，则数据控制单元3直接输出该处理结果，以作为本次驱动事件处理的最终处理结果，随后退出。

综上所述，本发明技术方案中，类似于计算机系统的硬件设置，将数据处理系统依据其相互独立的数据处理逻辑划分为多个数据处理单元，设置工作原理类似计算机系统总线的数据总线单元，以及工作原理类似于中央处理器的数据控制单元(EPU)，最终将通过单一处理流程处理复杂数据处理逻辑的过程区分为多个单独的数据处理逻辑运行，能够提升数据处理效率，提升系统资源的利用率，从而提升系统的吞吐量。

本发明的较佳的实施例中，基于上文中的数据处理系统，现提供一种数据处理方法，包括多个数据处理单元，每个数据处理单元分别用于处理关联于一类独立的数据处理逻辑的数据业务；

每个数据处理单元向数据总线单元注册对应的数据处理逻辑；

则上述方法的具体步骤如图4所示，具体包括：

步骤S1，采用一数据控制单元向一数据总线单元下发关联于不同的数据处理逻辑的驱动事件的驱动指令；

步骤S2，数据总线单元根据注册的数据处理逻辑，将不同的驱动指令下发至相应的数据处理单元；

步骤S3，每个数据处理单元根据驱动指令，采用相应的数据处理逻辑进行处理，并将处理结果通过数据总线单元反馈至数据控制单元；

步骤S4，数据控制单元根据处理结果，更新数据总线单元中的驱动指令，并返回步骤S2。

本发明的较佳的实施例中，进一步地，于数据总线单元中分别设置数据总线模块和与数据总线模块连接的事件总线模块；

则上述步骤S2中，采用数据总线模块向不同的数据处理单元传输关联于每个驱动指令的驱动数据；并且

采用事件总线模块，根据不同的数据处理单元注册的数据处理逻辑，控制数据总线模块向不同的数据处理单元传输相应的驱动数据。

本发明的较佳的实施例中，还包括流程配置单元，其中预设有关联于驱动指令的驱动流程；

则如图5所示，上述步骤S4具体包括：

步骤S41，数据控制单元接收到处理结果后，判断处理结果是否触发驱动流程中的步骤：

若否，则直接退出；

步骤S42，数据控制单元根据处理结果，更新数据总线单元中的驱动指令，并返回步骤S2。

则本发明的较佳的实施例中，进一步地，执行步骤S42之前，首先执行下述步骤：

判断当前触发的步骤是否为驱动流程中的最后一个步骤：

若是，则数据控制单元输出处理结果，随后退出；

若否，则继续执行步骤S42。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (8)

1.一种数据处理系统，其特征在于，包括：

多个数据处理单元，每个所述数据处理单元分别用于处理关联于一类独立的数据处理逻辑的数据业务；

数据总线单元，分别连接每个所述数据处理单元，所述数据处理单元向所述数据总线单元注册对应的所述数据处理逻辑；

数据控制单元，连接所述数据总线单元，并向所述数据总线单元下发关联于不同的所述数据处理逻辑的驱动事件的驱动指令；

所述数据总线单元根据每个所述数据处理单元注册的所述数据处理逻辑，分别向对应的所述数据处理单元下发相应的所述驱动指令；

每个所述数据处理单元根据所述驱动指令，采用对应的所述数据处理逻辑进行处理后，将相应的处理结果通过所述数据总线单元反馈至所述数据控制单元；

所述数据控制单元根据从所述数据总线单元中获取的所述处理结果，更新所述数据总线单元中的所述驱动指令。

2.如权利要求1所述的数据处理系统，其特征在于，所述数据总线单元中包括：

数据总线模块，用于向不同的所述数据处理单元传输关联于每个所述驱动指令的驱动数据；

事件总线模块，连接所述数据总线模块，用于根据不同的所述数据处理单元注册的所述数据处理逻辑，控制所述数据总线模块向不同的所述数据处理单元传输相应的所述驱动数据。

3.如权利要求1所述的数据处理系统，其特征在于，还包括：

流程配置单元，连接所述数据控制单元；

所述流程配置单元中预设有关联于所述驱动指令的驱动流程；

若所述数据控制单元从所述数据总线单元中获取的所述处理结果触发所述驱动流程中相应的步骤，则所述数据控制单元根据所述步骤生成相应的所述驱动指令并下发至所述数据总线单元进行更新。

4.如权利要求3所述的数据处理系统，其特征在于，所述数据控制单元中包括：

流程判断模块，用于判断当前触发的所述步骤是否为所述驱动流程中的最后一个步骤，并输出相应的判断结果；

结果输出模块，连接所述流程判断模块，用于根据所述判断结果，在：

所述步骤不为所述最后一个步骤时，向所述数据总线单元下发相应生成的所述驱动指令；或者

所述步骤为所述最后一个步骤时，输出当前获取的所述处理结果，以作为对应所述驱动流程的所述处理结果。

5.一种数据处理方法，其特征在于，包括多个数据处理单元，每个所述数据处理单元分别用于处理关联于一类独立的数据处理逻辑的数据业务；

每个所述数据处理单元向所述数据总线单元注册对应的所述数据处理逻辑，还包括：

步骤S1，采用一数据控制单元向一数据总线单元下发关联于不同的所述数据处理逻辑的驱动事件的驱动指令；

步骤S2，所述数据总线单元根据注册的所述数据处理逻辑，将不同的所述驱动指令下发至相应的所述数据处理单元；

步骤S3，每个所述数据处理单元根据所述驱动指令，采用相应的所述数据处理逻辑进行处理，并将处理结果通过所述数据总线单元反馈至所述数据控制单元；

步骤S4，所述数据控制单元根据所述处理结果，更新所述数据总线单元中的所述驱动指令，并返回所述步骤S2。

6.如权利要求5所述的数据处理方法，其特征在于，于所述数据总线单元中分别设置数据总线模块和与所述数据总线模块连接的事件总线模块；

所述步骤S2中，采用所述数据总线模块向不同的所述数据处理单元传输关联于每个所述驱动指令的驱动数据；并且

采用所述事件总线模块，根据不同的所述数据处理单元注册的所述数据处理逻辑，控制所述数据总线模块向不同的所述数据处理单元传输相应的所述驱动数据。

7.如权利要求5所述的数据处理方法，其特征在于，还包括流程配置单元，其中预设有关联于所述驱动指令的驱动流程；

则所述步骤S4具体包括：

步骤S41，所述数据控制单元接收到所述处理结果后，判断所述处理结果是否触发所述驱动流程中的步骤：

若否，则直接退出；

步骤S42，所述数据控制单元根据所述处理结果，更新所述数据总线单元中的所述驱动指令，并返回所述步骤S2。

8.如权利要求7所述的数据处理方法，其特征在于，执行所述步骤S42之前，首先执行下述步骤：

判断当前触发的所述步骤是否为所述驱动流程中的最后一个步骤：

若是，则所述数据控制单元输出所述处理结果，随后退出；

若否，则继续执行所述步骤S42。