CN115168145A - 一种数据处理系统、方法、设备及介质 - Google Patents

Abstract

本申请实施例提供了一种数据处理系统、方法、设备及介质，涉及计算机技术领域，所述系统包括：日志监听器、第一消息中间件、数据处理平台，其中，所述日志监听器，用于：监听原平台生成的业务日志，将所监听得到的业务日志中包含的业务数据存入所述第一消息中间件，其中，所述原平台用于接收业务数据并生成包含所述业务数据的业务日志；所述数据处理平台，用于：监听所述第一消息中间件中存储的业务数据，对所监听得到的业务数据进行处理，得到处理结果。应用本申请实施例提供的方案，可以实现在平台改造过程中提供业务服务。

Description

一种数据处理系统、方法、设备及介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据处理系统、方法、设备及介质。

背景技术

企业数字化转型过程中，已有的平台由于年代久远、业务变更、烟囱式开发等原因造成各个平台数据没有打通，存在数据孤岛、数据割裂等问题，无法形成生态闭环，难以支撑未来业务发展。为解决这一问题，企业通常需要花费大量的精力进行平台改造。

相关技术中，为便于对已有的平台进行大幅度的改造，需要对平台的业务进行重新梳理，抽取某个平台作为底座，将底座涉及的数据的增删改查等业务通过接口方式提供出去，各平台需要配合抽取的底座进行业务改造。在改造过程中，平台往往难以进行业务服务，由于对平台改造的周期较长，因此亟需一种数据处理方案，以实现在平台改造过程中提供业务服务。

发明内容

本申请实施例的目的在于提供一种数据处理系统、方法、设备及介质，目的在于实现在平台改造过程中提供业务服务。具体技术方案如下：

第一方面，本申请实施例提供了一种数据处理系统，所述系统包括：日志监听器、第一消息中间件、数据处理平台，其中，

所述日志监听器，用于：监听原平台生成的业务日志，将所监听得到的业务日志中包含的业务数据存入所述第一消息中间件，其中，所述原平台用于接收业务数据并生成包含所述业务数据的业务日志；

所述数据处理平台，用于：监听所述第一消息中间件中存储的业务数据，对所监听得到的业务数据进行处理，得到处理结果。

本申请的一个实施例中，所述系统还包括：非关系型数据库；

所述数据处理平台，具体用于：检测监听到的所述第一消息中间件中的业务数据是否存在关联数据，若为是，将所监听到的业务数据存入所述非关系型数据库；

在监听到所述第一消息中间件中存储的所述关联数据后，对所监听的关联数据、所述非关系型数据库中存储的业务数据进行处理，得到处理结果。

本申请的一个实施例中，所述数据处理平台，具体用于：

检测监听到的所述第一消息中间件中的业务数据是否存在关联数据，若为是，确定所述业务数据对应的关联数据的关联字段，将所监听到的业务数据、及所述关联字段存入所述非关系型数据库；

在监听到所述第一消息中间件中存储的所述关联数据后，确定所述关联数据的字段，作为参考字段，从所述非关系型数据库中查找关联字段与所述参考字段相匹配的匹配业务数据，对所监听的关联数据、所查找的匹配业务数据进行处理，得到处理结果。

本申请的一个实施例中，所述系统还包括第二消息中间件；

所述数据处理平台，还用于：监听所述第二消息中间件，在监听到业务请求的情况下，对所述业务请求进行响应，得到响应结果，其中，所述业务请求为：所述原平台接收并存入所述第二消息中间件的、针对已进行业务埋点的复杂业务的请求。

本申请的一个实施例中，所述系统还包括：业务分类器，其中：

所述业务分类器，用于：获得所述原平台支持的业务，从所获得的业务中选择满足预设的复杂业务条件的业务，作为复杂业务。

本申请的一个实施例中，所述系统还包括：业务分类器，其中：

所述业务分类器，用于：获得所述原平台支持的业务，从所获得的业务中选择满足预设的非复杂业务条件的业务，作为非复杂业务；

所述日志监听器，具体用于：监听所述原平台生成的针对所述非复杂业务的业务日志，将所监听得到的业务日志中包含的业务数据存入所述第一消息中间件。

本申请的一个实施例中，所述数据处理平台，还用于：

接收外部输入设备导入的业务处理任务。

本申请的一个实施例中，所述数据处理平台，还用于：向所述目标平台发送所述处理结果，其中，所述目标平台禁止对所接收到的数据进行修改。

第二方面，本申请实施例提供了一种数据处理方法，所述方法应用于数据处理系统中的数据处理平台，所述数据处理系统还包括日志监听器、第一消息中间件，所述方法包括：

监听所述第一消息中间件中存储的业务数据，其中，所述业务数据为：所述日志监听器监听原平台生成的业务日志得到并存入所述第一消息中间件的数据，所述业务日志为；所述原平台接收业务数据后生成的包含所述业务数据的日志；

对所监听得到的业务数据进行处理，得到处理结果。

本申请的一个实施例中，所述系统还包括：非关系型数据库；

所述监听所述第一消息中间件中存储的业务数据，包括：

检测监听到的所述第一消息中间件中的业务数据是否存在关联数据，若为是，将所监听到的业务数据存入所述非关系型数据库；

所述对所监听得到的业务数据进行处理，得到处理结果，包括：

在监听到所述第一消息中间件中存储的所述关联数据后，对所监听的关联数据、所述非关系型数据库中存储的业务数据进行处理，得到处理结果。

本申请的一个实施例中，所述检测监听到的所述第一消息中间件中的业务数据是否存在关联数据，若为是，将所监听到的业务数据存入所述非关系型数据库，包括：

检测监听到的所述第一消息中间件中的业务数据是否存在关联数据，若为是，确定所述业务数据对应的关联数据的关联字段，将所监听到的业务数据、及所述关联字段存入所述非关系型数据库；

所述在监听到所述第一消息中间件中存储的所述关联数据后，对所监听的关联数据、所述非关系型数据库中存储的业务数据进行处理，得到处理结果，包括：

在监听到所述第一消息中间件中存储的所述关联数据后，确定所述关联数据的字段，作为参考字段，从所述非关系型数据库中查找关联字段与所述参考字段相匹配的匹配业务数据，对所监听的关联数据、所查找的匹配业务数据进行处理，得到处理结果。

本申请的一个实施例中，所述系统还包括第二消息中间件，所述第二消息中间件用于：存储所述原平台接收到的、针对经过业务埋点的复杂业务的业务请求；

所述方法还包括：

监听所述第二消息中间件，在监听到所述业务请求的情况下，对所述业务请求进行响应，得到响应结果，并向所述目标平台发送所述响应结果。

本申请的一个实施例中，所述复杂业务为：所述数据处理系统中的业务分类器从所述原平台所支持的业务中分类得到的、满足预设的复杂业务条件的业务。

本申请的一个实施例中，所述系统还包括：业务分类器，其中，所述业务分类器，用于：获得所述原平台支持的业务，从所获得的业务中选择满足预设的非复杂业务条件的业务，作为非复杂业务；

所述监听所述第一消息中间件中存储的业务数据，包括：

监听所述第一消息中间件中存储的、所述原平台所生成针对所述非复杂业务的业务日志中包含的业务数据。

本申请的一个实施例中，所述方法还包括：

接收外部输入设备导入的业务处理任务。

本申请的一个实施例中，所述方法还包括：

向目标平台发送所述处理结果，其中，所述目标平台禁止对所接收到的数据进行修改。

第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第二方面任一所述的方法步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第二方面任一所述的方法步骤。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的数据处理方法。

本申请实施例有益效果：

本申请实施例提供的数据处理方案中，数据处理系统，其特征在于，系统包括：日志监听器、第一消息中间件、数据处理平台，其中，日志监听器，用于：监听原平台生成的业务日志，将所监听得到的业务日志中包含的业务数据存入第一消息中间件，其中，原平台用于接收业务数据并生成包含业务数据的业务日志；数据处理平台，用于：监听第一消息中间件中存储的业务数据，对所监听得到的业务数据进行处理，得到处理结果。这样在原平台进行改造的过程中，原平台在接收到业务数据后，日志监听器从而可以监听得到上述业务数据，再由数据处理平台对原平台接收到的业务数据进行处理，得到处理结果，从而实现对外提供业务服务。由此可见，应用本申请实施例提供的方案，在原平台改造过程中依然可以实现业务服务。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本申请实施例提供的一种数据处理系统的结构示意图；

图2为本申请实施例提供的另一种数据处理系统的结构示意图；

图3为本申请实施例提供的一种数据处理过程的示意图；

图4为本申请实施例提供的另一种数据处理过程的示意图；

图5为本申请实施例提供的又一种数据处理系统的结构示意图；

图6为本申请实施例提供的一种数据处理方法的流程示意图；

图7为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。

为了在原平台改造过程中实现业务服务，本申请实施例提供了一种数据处理系统、方法、设备及介质，下面分别进行详细介绍。

首先对上述数据处理系统进行详细介绍，其中，需要说明的是，本申请中所涉及的日志监听器、第一消息中间件、第二消息中间件、数据处理平台、原平台、目标平台、非关系型数据库等，可以是实体的电子设备，也可以是虚拟的计算模块，例如，上述数据处理平台可以是实体的计算机设备，上述目标平台可以是云服务器中虚拟的计算模块。

在此基础上，一台电子设备中可以存在多个计算模块，例如，假设日志监听器、第一消息中间件均为虚拟的计算模块，则上述日志监听器、第一消息中间件可以共同部署在同一电子设备上。

参见图1，图1为本申请实施例提供的一种数据处理系统的结构示意图，该系统包括日志监听器101、第一消息中间件102、数据处理平台103，其中，

日志监听器101，用于：监听原平台生成的业务日志，将所监听得到业务日志中包含的业务数据存入第一消息中间件102，其中，原平台用于接收业务数据并生成包含业务数据的业务日志；

数据处理平台103，用于：监听第一消息中间件102中存储的业务数据，对所监听得到的业务数据进行处理，得到处理结果。

其中，上述原平台指的是：已有的平台中，待进行升级、维护的处理平台。本申请的一个实施例中，在确定原平台时，可以从已有的多个平台中，按照预设的优先级顺序依次确定原平台，上述优先级用于衡量各个平台的重要性程度，对于重要性较高的平台，可以优先确定为原平台，然后按照本申请实施例提供的方案对该原平台所接收到的业务数据进行处理，在此过程中，可以同步对该原平台进行升级、维护。

上述数据处理平台103指的是：新设定的处理平台，可以是新创建的处理平台，也可以是从已有的处理平台中选中的处理平台，数据处理平台103可以实现原平台中所需的功能。

上述业务数据指的是：需进行业务处理的数据。例如，假设上述数据处理系统为教育系统，则上述业务数据可以是学生信息、学生家长信息等。

具体的，在原平台老化、故障等情况下，可以在数据处理系统中部署新的数据处理平台103，原平台可以继续接收业务数据，在接收到业务数据后，可以生成业务日志，上述业务日志中携带该业务数据；

日志监听器101与上述原平台之间建立通信连接，可以对原平台生成的日志进行监听，在监听得到业务日志后，可以主动从原平台中获取该业务日志，从而得到业务日志中携带的业务数据，再将该业务数据转存至第一消息中间件102中；

数据处理平台103同样可以与第一消息中间件102建立通信连接，对第一消息中间件102进行监听，在监听到第一消息中间件102中存在业务数据后，可以从第一消息中间件102中获取上述业务数据，然后对所获取的业务数据进行处理，例如，可以对业务数据进行存储、合并、整理等，得到处理结果。

本申请的一个实施例中，原平台在接收业务数据时，可以接收用户通过外部输入设备输入的业务数据，上述外部输入设备可以是键盘、触摸屏、语音采集设备等；

除此之外，原平台还可以直接接收用户设备输入的数据，作为业务数据，上述用户设备可以是手机、电脑等客户端。

本申请的一个实施例中，数据处理平台103在得到处理结果后，可以向目标平台发送上述处理结果；

目标平台可以接收上述处理结果，并对该处理结果进行转发、或展示，以便于用户查看上述处理结果。

上述目标平台指的是：新设定的数据接收平台，可以是新创建的平台，也可以是从已有的平台中选中的平台，一种情况下，目标平台可以与客户端进行交互，用于向客户端转发所接收到的数据，另一种情况下，目标平台可以对所接收的数据进行展示，以便于用户查看所接收的数据。

本申请的一个实施例中，目标平台禁止对所接收到的数据进行修改。

具体的，可以对目标平台的权限进行限制，禁止目标平台对所接收的数据进行修改，上述修改包括增加、删除、变更等，这样可以保证目标平台中数据的准确性，避免由于目标平台对所接收的数据进行修改而导致与原平台中的数据不同步。

本申请的一个实施例中，目标平台可以预先对原平台中的数据进行同步。

具体的，目标平台可以采用监听的形式，获取原平台中存储的数据，然后对上述数据进行初始化，例如，可以将上述数据的格式转化为json格式，然后将初始化后的数据存储在本地，以保证本地数据与原平台中的数据同步，有助于后续对原平台进行解耦。

上述实施例提供的数据处理方案中，数据处理系统，其特征在于，系统包括：日志监听器、第一消息中间件、数据处理平台，其中，日志监听器，用于：监听原平台生成的业务日志，将所监听得到的业务日志中包含的业务数据存入第一消息中间件，其中，原平台用于接收业务数据并生成包含业务数据的业务日志；数据处理平台，用于：监听第一消息中间件中存储的业务数据，对所监听得到的业务数据进行处理，得到处理结果。这样在原平台进行改造的过程中，原平台在接收到业务数据后，日志监听器从而可以监听得到上述业务数据，再由数据处理平台对原平台接收到的业务数据进行处理，得到处理结果，从而实现对外提供业务服务。由此可见，应用上述实施例提供的方案，在原平台改造过程中依然可以实现业务服务。

参见图2，图2为本申请实施例提供的另一种数据处理系统的结构示意图，系统还包括：非关系型数据库104；

数据处理平台103，具体用于：检测监听到的第一消息中间件102中的业务数据是否存在关联数据，若为是，将所监听到的业务数据存入非关系型数据库104；

在监听到第一消息中间件102中存储的关联数据后，对所监听的关联数据、非关系型数据库104中存储的业务数据进行处理。

其中，上述非关系型数据库可以是redis数据库、键值对存储器等数据库等，本申请实施例并不对此进行限定。

上述关联数据指的是：与业务数据存在关联关系的数据，通常在对业务数据进行处理时，需要依赖关联数据进行一并处理。例如，假设上述数据处理系统为教育系统，上述业务数据为学生家长信息，由于在对学生家长信息进行处理时，一般需要结合学生信息进行一并处理，因此可以将学生信息作为学生家长信息的关联数据。

具体的，数据处理平台103在监听到第一消息中间件102中存在业务数据后，可以检测该业务数据是否存在关联数据，若存在，则说明暂时难以对该业务数据进行处理，需要在获得业务数据的关联数据后，对上述业务数据、关联数据进行一并处理，鉴于此，可以将业务数据暂时存入非关系型数据库104，然后继续对第一消息中间件102进行监听；

在监听到第一消息中间件102中存在上述关联数据后，可以获得上述关联数据，再从非关系型数据库104中获得业务数据，然后一并对上述关联数据、业务数据进行处理，得到处理结果。

本申请的一个实施例中，数据处理平台103，具体用于：

检测监听到的第一消息中间件102中的业务数据是否存在关联数据，若为是，确定业务数据对应的关联数据的关联字段，将所监听到的业务数据、及关联字段存入非关系型数据库104；

在监听到第一消息中间件102中存储的关联数据后，确定关联数据的字段，作为参考字段，从非关系型数据库104中查找关联字段与参考字段相匹配的匹配业务数据，对所监听的关联数据、所查找的匹配业务数据进行处理，得到处理结果。

参见图3，图3为本申请实施例提供的一种数据处理过程的示意图，数据处理平台103在监听到第一消息中间件102中存在业务数据A表信息后，可以检测该A表信息是否存在关联数据，若不存在，则数据处理平台103可以直接对A表信息进行处理，得到处理结果；

若存在，则说明暂时难以对该A表信息进行处理，需要在获得A表信息的关联数据后，对上述A表信息、关联数据进行一并处理，鉴于此，可以确定A表信息对应的关联数据B表信息的关联字段b，将所监听到的A表信息、及关联字段b存入非关系型数据库104，然后继续对第一消息中间件102进行监听；

在监听到第一消息中间件102中存在上述B表信息后，可以再次判断B表信息是否存在关联数据，若不存在，则数据处理平台103可以确定关联数据的字段b，作为参考字段，从非关系型数据库104中查找关联字段与参考字段b相匹配的匹配业务数据A表信息，对所监听的关联数据B、所查找的匹配业务数据A表信息进行处理，得到处理结果；

若B表信息存在关联数据，则可以按照对A表信息的处理过程，继续对B表信息进行处理，在此不做赘述。

下面以具体实施例对上述数据处理过程进行描述。

参见图4，图4为本申请实施例提供的另一种数据处理过程的示意图，假设数据处理方案的应用场景为教学系统，则数据处理平台103在监听到第一消息中间件102中存在家长信息表后，可以检测该家长信息表是否存在关联数据，若不存在，则数据处理平台103可以直接对家长信息表进行处理，得到处理结果；

若存在，则说明暂时难以对该家长信息表进行处理，需要在获得家长信息表的关联数据学生信息表后，对上述家长信息表、学生信息表进行一并处理，鉴于此，可以确定家长信息表对应的学生信息表的关联字段，该关联字段可以是学生编号，将所监听到的家长信息表、及学生编号存入非关系型数据库104，然后继续对第一消息中间件102进行监听；

在监听到第一消息中间件102中存在上述学生信息表后，可以再次判断学生信息表是否存在关联数据，若不存在，则数据处理平台103可以确定学生信息表的字段，作为参考字段，该参考字段同样可以是学生编号，从非关系型数据库104中查找学生编号相匹配的家长信息表，对所监听的学生信息表、家长信息表中学生编号相匹配的信息进行处理，得到处理结果。

参见图5，图5为本申请实施例提供的又一种数据处理系统的结构示意图，系统还包括第二消息中间件105；

数据处理平台103，还用于：监听第二消息中间件105，在监听到业务请求的情况下，对业务请求进行响应，得到响应结果，其中，业务请求为：原平台接收并存入第二消息中间件105的、针对已进行业务埋点的复杂业务的请求。

其中，上述第二消息中间件与第一消息中间件可以是同一消息中间件，也可以是不同的消息中间件，本申请实施例并不对此进行限定。

具体的，原平台可以对部分业务进行业务埋点，在接收到针对上述埋点的复杂业务的业务请求后，可以将该业务请求存入第二消息中间件105，数据处理平台103可以对第二消息中间件105进行监听，在监听得到业务请求后，可以对上述业务请求进行响应，得到响应结果。

本申请的一个实施例中，数据处理平台103在得到响应结果后，可以再将该响应结果发送至目标平台，目标平台后续可以对该响应结果进行转发、或展示，以便于用户对响应结果进行查看。

本申请的一个实施例中，一种情况下，原平台可以主动将上述业务请求存储至第二消息中间件105；另一种情况下，也可以在数据处理系统中部署请求监听器，该请求监听器用于对原平台进行监听，在监听到原平台接收到针对复杂业务的业务请求后，将该业务请求存至第二消息中间件105，从而实现原平台被动将上述业务请求存储至第二消息中间件。

本申请的一个实施例中，上述复杂业务为：满足预设的复杂业务条件的业务。

其中，复杂业务条件包括以下条件中的至少一种：所涉及到的业务表的数量大于第一数量阈值、所涉及到的业务表中存在的枚举类型的字段的数量大于第二数量阈值。

上述第一数量阈值可以是3、4、6等，上述第二数量阈值可以是2、5、6等。

具体的，在业务满足上述复杂业务条件的情况下，说明该业务较为复杂，此种情况下，可以直接由数据处理平台103对该业务进行响应。

本申请的一个实施例中，针对不满足上述复杂业务条件的业务，则可以不进行业务埋点，对于此类业务，在原平台接收到针对此类业务的业务数据后，再由数据处理平台103对上述业务数据进行处理。

本申请的一个实施例中，上述数据处理系统还包括：业务分类器，其中：

业务分类器，用于：获得原平台支持的业务，从所获得的业务中选择满足预设的复杂业务条件的业务，作为复杂业务。

除此之外，业务分类器，用于：获得原平台支持的业务，从所获得的业务中选择满足预设的非复杂业务条件的业务，作为非复杂业务；

日志监听器101，具体用于：监听原平台生成的针对非复杂业务的业务日志，将所监听得到的业务日志中包含的业务数据存入所述第一消息中间件。

其中，上述非复杂业务条件可以包括以下条件中的至少一种：所涉及到的业务表的数量小于等于第一数量阈值、所涉及到的业务表中存在的枚举类型的字段的数量小于等于第二数量阈值等，本申请实施例并不对此进行限定。

本申请的一个实施例中，数据处理平台103，还用于：接收外部输入设备导入的业务处理任务。

具体的，对于原平台不支持的业务，可以直接通过外部输入设备向数据处理平台103导入该业务的业务处理任务，该业务处理任务的形式可以是excel表、PPT、Word文档等，从而便于数据处理平台103实现原平台不支持的业务，

上述实施例提供的数据处理方案中，数据处理系统，其特征在于，系统包括：日志监听器、第一消息中间件、数据处理平台，其中，日志监听器，用于：监听原平台生成的业务日志，将所监听得到的业务日志中包含的业务数据存入第一消息中间件，其中，原平台用于接收业务数据并生成包含业务数据的业务日志；数据处理平台，用于：监听第一消息中间件中存储的业务数据，对所监听得到的业务数据进行处理，得到处理结果。这样在原平台进行改造的过程中，原平台在接收到业务数据后，日志监听器从而可以监听得到上述业务数据，再由数据处理平台对原平台接收到的业务数据进行处理，得到处理结果，从而实现对外提供业务服务。由此可见，应用上述实施例提供的方案，在原平台改造过程中依然可以实现业务服务。

参见图6，图6为本申请实施例提供的一种数据处理方法的流程示意图，所述方法应用于数据处理系统中的数据处理平台，所述数据处理系统还包括日志监听器、第一消息中间件，所述方法包括如下步骤S601-S602：

S601，监听所述第一消息中间件中存储的业务数据，其中，所述业务数据为：所述日志监听器监听原平台生成的业务日志得到并存入所述第一消息中间件的数据，所述业务日志为；所述原平台接收业务数据后生成的包含所述业务数据的日志；

S602，对所监听得到的业务数据进行处理，得到处理结果。

本申请的一个实施例中，所述系统还包括：非关系型数据库；

所述监听所述第一消息中间件中存储的业务数据，包括：

检测监听到的所述第一消息中间件中的业务数据是否存在关联数据，若为是，将所监听到的业务数据存入所述非关系型数据库；

所述对所监听得到的业务数据进行处理，得到处理结果，包括：

在监听到所述第一消息中间件中存储的所述关联数据后，对所监听的关联数据、所述非关系型数据库中存储的业务数据进行处理，得到处理结果。

本申请的一个实施例中，所述检测监听到的所述第一消息中间件中的业务数据是否存在关联数据，若为是，将所监听到的业务数据存入所述非关系型数据库，包括：

检测监听到的所述第一消息中间件中的业务数据是否存在关联数据，若为是，确定所述业务数据对应的关联数据的关联字段，将所监听到的业务数据、及所述关联字段存入所述非关系型数据库；

所述在监听到所述第一消息中间件中存储的所述关联数据后，对所监听的关联数据、所述非关系型数据库中存储的业务数据进行处理，得到处理结果，包括：

在监听到所述第一消息中间件中存储的所述关联数据后，确定所述关联数据的字段，作为参考字段，从所述非关系型数据库中查找关联字段与所述参考字段相匹配的匹配业务数据，对所监听的关联数据、所查找的匹配业务数据进行处理，得到处理结果。

本申请的一个实施例中，所述系统还包括第二消息中间件，所述第二消息中间件用于：存储所述原平台接收到的、针对经过业务埋点的复杂业务的业务请求；

所述方法还包括：

监听所述第二消息中间件，在监听到所述业务请求的情况下，对所述业务请求进行响应，得到响应结果，并向所述目标平台发送所述响应结果。

本申请的一个实施例中，所述系统还包括：业务分类器，其中，所述业务分类器，用于：获得所述原平台支持的业务，从所获得的业务中选择满足预设的非复杂业务条件的业务，作为非复杂业务；

所述监听所述第一消息中间件中存储的业务数据，包括：

监听所述第一消息中间件中存储的、所述原平台所生成针对所述非复杂业务的业务日志中包含的业务数据。

本申请的一个实施例中，所述方法还包括：

接收外部输入设备导入的业务处理任务。

本申请的一个实施例中，所述方法还包括：

向目标平台发送所述处理结果，其中，所述目标平台禁止对所接收到的数据进行修改。

上述实施例提供的数据处理方案中，数据处理系统，其特征在于，系统包括：日志监听器、第一消息中间件、数据处理平台，其中，日志监听器，用于：监听原平台生成的业务日志，将所监听得到的业务日志中包含的业务数据存入第一消息中间件，其中，原平台用于接收业务数据并生成包含业务数据的业务日志；数据处理平台，用于：监听第一消息中间件中存储的业务数据，对所监听得到的业务数据进行处理，得到处理结果。这样在原平台进行改造的过程中，原平台在接收到业务数据后，日志监听器从而可以监听得到上述业务数据，再由数据处理平台对原平台接收到的业务数据进行处理，得到处理结果，从而实现对外提供业务服务。由此可见，应用上述实施例提供的方案，在原平台改造过程中依然可以实现业务服务。

本申请实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，

存储器703，用于存放计算机程序；

处理器701，用于执行存储器703上所存放的程序时，实现数据处理方法的步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一数据处理方法的步骤。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一数据处理方法。

上述实施例提供的数据处理方案中，数据处理系统，其特征在于，系统包括：日志监听器、第一消息中间件、数据处理平台，其中，日志监听器，用于：监听原平台生成的业务日志，将所监听得到的业务日志中包含的业务数据存入第一消息中间件，其中，原平台用于接收业务数据并生成包含业务数据的业务日志；数据处理平台，用于：监听第一消息中间件中存储的业务数据，对所监听得到的业务数据进行处理，得到处理结果。这样在原平台进行改造的过程中，原平台在接收到业务数据后，日志监听器从而可以监听得到上述业务数据，再由数据处理平台对原平台接收到的业务数据进行处理，得到处理结果，从而实现对外提供业务服务。由此可见，应用上述实施例提供的方案，在原平台改造过程中依然可以实现业务服务。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例、电子设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (18)

1.一种数据处理系统，其特征在于，所述系统包括：日志监听器、第一消息中间件、数据处理平台，其中，

所述日志监听器，用于：监听原平台生成的业务日志，将所监听得到的业务日志中包含的业务数据存入所述第一消息中间件，其中，所述原平台用于接收业务数据并生成包含所述业务数据的业务日志；

所述数据处理平台，用于：监听所述第一消息中间件中存储的业务数据，对所监听得到的业务数据进行处理，得到处理结果。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：非关系型数据库；

所述数据处理平台，具体用于：检测监听到的所述第一消息中间件中的业务数据是否存在关联数据，若为是，将所监听到的业务数据存入所述非关系型数据库；

在监听到所述第一消息中间件中存储的所述关联数据后，对所监听的关联数据、所述非关系型数据库中存储的业务数据进行处理，得到处理结果。

3.根据权利要求2所述的系统，其特征在于，所述数据处理平台，具体用于：

检测监听到的所述第一消息中间件中的业务数据是否存在关联数据，若为是，确定所述业务数据对应的关联数据的关联字段，将所监听到的业务数据、及所述关联字段存入所述非关系型数据库；

在监听到所述第一消息中间件中存储的所述关联数据后，确定所述关联数据的字段，作为参考字段，从所述非关系型数据库中查找关联字段与所述参考字段相匹配的匹配业务数据，对所监听的关联数据、所查找的匹配业务数据进行处理，得到处理结果。

4.根据权利要求1所述的系统，其特征在于，所述系统还包括第二消息中间件；

所述数据处理平台，还用于：监听所述第二消息中间件，在监听到业务请求的情况下，对所述业务请求进行响应，得到响应结果，其中，所述业务请求为：所述原平台接收并存入所述第二消息中间件的、针对已进行业务埋点的复杂业务的请求。

5.根据权利要求4所述的系统，其特征在于，所述系统还包括：业务分类器，其中：

所述业务分类器，用于：获得所述原平台支持的业务，从所获得的业务中选择满足预设的复杂业务条件的业务，作为复杂业务。

6.根据权利要求1所述的系统，其特征在于，所述系统还包括：业务分类器，其中：

所述业务分类器，用于：获得所述原平台支持的业务，从所获得的业务中选择满足预设的非复杂业务条件的业务，作为非复杂业务；

所述日志监听器，具体用于：监听所述原平台生成的针对所述非复杂业务的业务日志，将所监听得到的业务日志中包含的业务数据存入所述第一消息中间件。

7.根据权利要求1所述的系统，其特征在于，所述数据处理平台，还用于：

接收外部输入设备导入的业务处理任务。

8.根据权利要求1-7中任一项所述的系统，其特征在于，

所述数据处理平台，还用于：向所述目标平台发送所述处理结果，其中，所述目标平台禁止对所接收到的数据进行修改。

9.一种数据处理方法，其特征在于，所述方法应用于数据处理系统中的数据处理平台，所述数据处理系统还包括日志监听器、第一消息中间件，所述方法包括：

监听所述第一消息中间件中存储的业务数据，其中，所述业务数据为：所述日志监听器监听原平台生成的业务日志得到并存入所述第一消息中间件的数据，所述业务日志为；所述原平台接收业务数据后生成的包含所述业务数据的日志；

对所监听得到的业务数据进行处理，得到处理结果。

10.根据权利要求9所述的方法，其特征在于，所述系统还包括：非关系型数据库；

所述监听所述第一消息中间件中存储的业务数据，包括：

检测监听到的所述第一消息中间件中的业务数据是否存在关联数据，若为是，将所监听到的业务数据存入所述非关系型数据库；

所述对所监听得到的业务数据进行处理，得到处理结果，包括：

在监听到所述第一消息中间件中存储的所述关联数据后，对所监听的关联数据、所述非关系型数据库中存储的业务数据进行处理，得到处理结果。

11.根据权利要求10所述的方法，其特征在于，所述检测监听到的所述第一消息中间件中的业务数据是否存在关联数据，若为是，将所监听到的业务数据存入所述非关系型数据库，包括：

检测监听到的所述第一消息中间件中的业务数据是否存在关联数据，若为是，确定所述业务数据对应的关联数据的关联字段，将所监听到的业务数据、及所述关联字段存入所述非关系型数据库；

所述在监听到所述第一消息中间件中存储的所述关联数据后，对所监听的关联数据、所述非关系型数据库中存储的业务数据进行处理，得到处理结果，包括：

在监听到所述第一消息中间件中存储的所述关联数据后，确定所述关联数据的字段，作为参考字段，从所述非关系型数据库中查找关联字段与所述参考字段相匹配的匹配业务数据，对所监听的关联数据、所查找的匹配业务数据进行处理，得到处理结果。

12.根据权利要求9所述的方法，其特征在于，所述系统还包括第二消息中间件，所述第二消息中间件用于：存储所述原平台接收到的、针对经过业务埋点的复杂业务的业务请求；

所述方法还包括：

监听所述第二消息中间件，在监听到所述业务请求的情况下，对所述业务请求进行响应，得到响应结果，并向所述目标平台发送所述响应结果。

13.根据权利要求12所述的方法，其特征在于，所述复杂业务为：所述数据处理系统中的业务分类器从所述原平台所支持的业务中分类得到的、满足预设的复杂业务条件的业务。

14.根据权利要求9所述的方法，其特征在于，所述系统还包括：业务分类器，其中，所述业务分类器，用于：获得所述原平台支持的业务，从所获得的业务中选择满足预设的非复杂业务条件的业务，作为非复杂业务；

所述监听所述第一消息中间件中存储的业务数据，包括：

监听所述第一消息中间件中存储的、所述原平台所生成针对所述非复杂业务的业务日志中包含的业务数据。

15.根据权利要求9所述的方法，其特征在于，所述方法还包括：

接收外部输入设备导入的业务处理任务。

16.根据权利要求9-15中任一项所述的方法，其特征在于，所述方法还包括：

向目标平台发送所述处理结果，其中，所述目标平台禁止对所接收到的数据进行修改。

17.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求9-16任一所述的方法步骤。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求9-16任一所述的方法步骤。

Images