CN113687958A

CN113687958A - 数据处理方法、系统、计算机设备和存储介质

Info

Publication number: CN113687958A
Application number: CN202110861390.1A
Authority: CN
Inventors: 杜瑶; 秦文劭; 史志龙
Original assignee: Shanghai Pudong Development Bank Co Ltd
Current assignee: Shanghai Pudong Development Bank Co Ltd
Priority date: 2021-07-29
Filing date: 2021-07-29
Publication date: 2021-11-23

Abstract

本申请涉及一种数据处理方法、装置、计算机设备和存储介质。所述方法包括：获取数据产生端传输的数据流，将数据流中包含的每一事件消息数据存储于第一消息队列中；基于事件模型对第一消息队列中的事件消息数据进行分类和业务主题映射，确定属于同一业务主题的事件消息数据；将属于同一业务主题的事件消息数据存储至所属业务主题的第二消息队列中，第二消息队列用于响应数据消费端针对第二消息队列的业务主题的数据订阅请求。采用本方法保证了数据时效性，提高数据处理效率。

Description

数据处理方法、系统、计算机设备和存储介质

技术领域

本申请涉及报文数据处理技术领域，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。

背景技术

随着互联网技术的发展，在数据信息的爆炸式增长趋势下，多种业务应用系统(也称为数据消费端)根据业务需求被开发。进而，由数据产生端向各业务应用系统传输业务数据以进行数据应用，在传输数据过程中需要对数据进行处理。

传统的数据处理方法中，需要对数据产生端的数据流按照预设维度进行批次划分，在数据传输通道接收到同一批次的数据后，对同一批次的数据进行业务主题分类等数据处理操作，进而将处理后的同一业务主题域的数据传输至对应的下游业务应用系统。

然而，按照批次进行数据处理的方式，需要等待同一批次的数据接收完成，才可以进行数据处理，面对实时数据时，批次数据处理的方式影响数据的时效性。

发明内容

基于此，有必要针对上述技术问题，提供一种数据处理方法、装置、计算机设备和存储介质。

一种数据处理方法，所述方法应用于数据处理系统，所述方法包括：

获取数据产生端传输的数据流，将所述数据流中包含的每一事件消息数据存储于第一消息队列中；

基于事件模型对所述第一消息队列中的所述事件消息数据进行分类和业务主题映射，确定属于同一业务主题的所述事件消息数据；

将属于同一业务主题的所述事件消息数据存储至所属业务主题的第二消息队列中，所述第二消息队列用于响应数据消费端针对所述第二消息队列的业务主题的数据订阅请求。

在其中一个实施例中，所述获取数据产生端传输的数据流，将所述数据流中包含的每一事件消息数据存储于第一消息队列中，包括：

接收数据产生端的数据流，所述数据流由所述数据产生端调用事件消息管理接口发送至所述数据处理系统；

读取所述数据流中每一报文数据的报文头，从所述报文数据中筛选所述报文头中包含目标字段的报文数据，得到事件消息数据；

将每一所述事件消息数据存储于第一消息队列中。

在其中一个实施例中，所述基于事件模型对所述第一消息队列中的所述事件消息数据进行分类和业务主题映射，确定属于同一业务主题的所述事件消息数据，包括：

获取事件模型，所述事件模型是根据预设建模方法得到的具备业务主题属性的数据识别模型；

根据每一所述事件模型，在所述第一消息队列中识别并读取事件消息数据，将所述事件消息映射到所述事件模型所属业务主题中，确定属于同一业务主题的所述事件消息数据。

在其中一个实施例中，所述将属于同一业务主题的所述事件消息数据存储至所属业务主题的第二消息队列中，包括：

根据目标事件规则，对属于同一业务主题的所述事件消息数据进行加工整合处理，得到事件数据；

为所述事件数据添加事件编码标识，得到目标事件数据，并将所述目标事件数据存储至所属业务主题的第二消息队列中。

在其中一个实施例中，所述第二消息队列用于响应数据消费端针对所述第二消息队列的业务主题的数据订阅请求，包括：

调用事件消息管理接口监听数据消费端的数据订阅请求；所述数据订阅请求中携带目标业务主题标识；

当监听到所述数据消费端发送的所述数据订阅请求时，根据所述目标业务主题标识，在各所述第二消息队列中确定目标第二消息队列，读取所述目标第二消息队列中的事件消息数据，并将所述目标第二消息队列中的事件消息数据发送至所述数据消费端。

在其中一个实施例中，所述方法还包括：

根据预设周期获取所述第一消息队列以及各所述第二消息队列中的事件消息数据；

将每一所述消息队列中的所述事件消息数据存储在分布式文件数据库的目标分区中；

检查每一所述目标分区中所述事件消息数据携带的事件编码标识的编码顺序，判别所述事件编码标识的编码顺序是否满足预设编码条件；

若所述事件编码标识的编码顺序不满足所述预设编码条件，则输出数据缺失提示信息。

一种数据处理系统，所述数据处理系统包括：数据传输通道和数据处理引擎，

所述数据传输通道，用于获取数据产生端传输的数据流，将所述数据流中包含的每一事件消息数据存储于第一消息队列中，实现事件消息数据的传输；

所述数据处理引擎，用于基于事件模型对所述第一消息队列中的所述事件消息数据进行分类和业务主题映射，确定属于同一业务主题的所述事件消息数据；

所述数据处理引擎，还用于将属于同一业务主题的所述事件消息数据存储至所属业务主题的第二消息队列中，所述第二消息队列用于响应数据消费端针对所述第二消息队列的业务主题的数据订阅请求。

在其中一个实施例中，所述数据处理引擎还用于获取事件模型，所述事件模型是根据预设建模方法得到的具备业务主题属性的数据识别模型；

一种数据处理装置，所述装置包括：

获取模块，用于获取数据产生端传输的数据流，将所述数据流中包含的每一事件消息数据存储于第一消息队列中；

分类模块，用于基于事件模型对所述第一消息队列中的所述事件消息数据进行分类和业务主题映射，确定属于同一业务主题的所述事件消息数据；

存储模块，用于将属于同一业务主题的所述事件消息数据存储至所属业务主题的第二消息队列中，所述第二消息队列用于响应数据消费端针对所述第二消息队列的业务主题的数据订阅请求。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

上述数据处理方法、装置、计算机设备和存储介质，数据处理系统获取数据产生端传输的数据流，将所述数据流中包含的每一事件消息数据存储于第一消息队列中；基于事件模型对所述第一消息队列中的所述事件消息数据进行分类和业务主题映射，确定属于同一业务主题的所述事件消息数据；将属于同一业务主题的所述事件消息数据存储至第二消息队列中，指示数据消费端根据目标业务主题向对应的第二消费队列进行数据订阅。采用上述方法，通过第一消息队列和第二消息队列异步传输的方式，在异步传输过程中对事件消息数据及时分类处理，以供给数据消费端应用，保证了数据时效性，提高数据处理效率。

附图说明

图1为一个实施例中数据处理方法方法的流程示意图；

图2为一个实施例中数据传输通道传输事件消息数据步骤的流程示意图；

图3为一个实施例中判别事件消息数据所属业务主题步骤的流程示意图；

图4为一个实施例中对事件消息数据分类存储步骤的流程示意图；

图5为一个实施例中监听事件消费端数据订阅请求步骤的流程示意图；

图6为一个实施例中验证数据产生端数据一致性步骤的流程示意图；

图7为一个实施例中数据处理方法的示例流程图；

图8为一个实施例中数据处理系统的功能结构示意图；

图9为一个实施例中数据处理装置的结构框图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种数据处理方法，该数据处理方法应用于数据处理系统，其中，数据处理系统可以部署在服务器上，也可以部署在终端设备上，该方法还可以部署于包括终端设备和服务器的系统，并通过终端设备和服务器的交互实现，本申请实施例不做限定。本实施例中，该方法包括以下步骤：

步骤101，获取数据产生端传输的数据流，将数据流中包含的每一事件消息数据存储于第一消息队列中。

在实施中，数据产生端根据预先开发的接入策略接入数据处理系统，通过调用统一的API(Application Programming Interface，应用程序接口，也称为事件消息管理接口)将产生的数据流传输至数据处理系统中。数据处理系统获取数据产生端传输的数据流，并将数据流中包含的每一事件消息数据存储于第一消息队列中。其中，事件消息数据是由数据产生端根据API的接口规则中规定的数据格式对数据产生端的原始数据进行格式处理得到的。数据处理系统中包含数据传输通道和数据处理引擎，然后，通过接口调用规则，数据处理系统中的数据传输通道将数据产生端传输的存储于第一消息队列中数据流传输至数据处理引擎。

步骤102，基于事件模型对第一消息队列中的事件消息数据进行分类和业务主题映射，确定属于同一业务主题的事件消息数据。

在实施中，数据处理系统预先存储有预先构建的多种不同业务场景、不同业务主题(topic)的事件模型。数据处理系统中的数据处理引擎根据每一事件模型的所属业务主题，对数据处理系统中第一消息队列中的事件消息数据进行实时分类和业务主题映射，确定其中属于同一业务主题的事件消息数据。

步骤103，将属于同一业务主题的事件消息数据存储至所属业务主题的第二消息队列中。

其中，第二消息队列用于响应数据消费端针对第二消息队列的业务主题的数据订阅请求

在实施中，第二消息队列也可以称为主题消息队列，即第二消息队列具有业务主题属性，进而，数据处理系统的数据处理引擎基于事件模型的数据拉取逻辑，将属于同一业务主题的事件消息数据拉取并存储至对应所属业务主题的第二消息队列中。从而，数据消费端可以根据业务主题在所属业务主题的第二消息队列中进行数据订阅。

上述数据处理方法中，数据处理系统获取数据产生端传输的数据流，将数据流中包含的每一事件消息数据存储于第一消息队列中。并基于事件模型对第一消息队列中的事件消息数据进行分类和业务主题映射，确定属于同一业务主题的事件消息数据。然后，数据处理系统将属于同一业务主题的事件消息数据存储至所属业务主题的第二消息队列中。其中，第二消息队列用于响应数据消费端针对第二消息队列的业务主题的数据订阅请求。采用本方法，通过第一消息队列和第二消息队列异步传输的方式，在异步传输过程中对事件消息数据及时分类处理，以供给数据消费端应用，保证了数据时效性，提高数据处理效率。

在一个实施例中，如图2所示，数据产生端的数据流包含多种类型的报文数据，因此，在进行数据处理之前，先对数据产生端的数据流中数据进行筛选，则步骤101的具体处理过程包括：

步骤201，接收数据产生端的数据流，其中，该数据流由数据产生端调用事件消息管理接口发送至数据处理系统。

在实施中，数据产生端可以是基于java开发语言开发的系统，其可以调用标准的jar包(即该标准jar包为事件消息传输组件)并通过调用事件消息管理接口API(统一的数据传输接口)，将数据流传输至数据处理系统的数据传输通道中。

可选的，数据产生端也可以是非java开发语言的系统，只需在数据产生端与数据处理系统接入时，适配数据处理系统，自动开发事件消息发送组件即可，本申请实施例不做限定。

步骤202，读取数据流中每一报文数据的报文头，从报文数据中筛选报文头中包含目标字段的报文数据，得到事件消息数据。

在实施中，为了调用统一的API进行数据传输，数据产生端需要对自身产生的待传输数据进行预先的格式处理，生成事件消息数据。具体的，数据产生端将待传输数据处理为标准事件消息体，该标准事件消息体的数据格式为JSON(JavaScript Object Notation，JavaScript对象符号)数据格式，包含公共信息头和业务体。其中，公共信息头中包括事件基础信息，业务体中包含了数据产生端系统具体的业务信息。在生成事件消息数据后，数据处理系统在每一事件消息数据的报文头添加目标字段，该目标字段用于唯一标识事件消息数据。则数据处理系统接收到数据流后读取数据流中每一报文数据的报文头，从报文数据中筛选报文头中包含目标字段的报文数据，得到事件消息数据。过滤数据流中的其他报文数据，例如，sop报文、soap报文、8583报文等。

可选的，数据处理系统除了可以对数据产生端传输的数据流进行过滤操作，还可以进行转换、去重、丰富等数据处理操作，本申请实施例不做限定。

步骤203，将每一事件消息数据存储于第一消息队列中。

在实施中，数据处理系统的数据传输通道中预设有第一消息队列，第一消息队列接收并存储数据产生端的数据流。因此，数据处理系统将筛选得到的每一事件消息数据存储于第一消息队列中。然后，通过数据处理系统的数据传输通道，以第一消息队列的形式将数据传输至数据处理引擎。

本实施例中，基于数据产生端生成的标准格式的事件消息数据，实现与数据处理系统的统一接口接入，减少多种接口开发对数据处理系统的侵入性，降低开发周期同时，通过数据处理系统中的数据传输通道对数据产生端的数据报文数据进行过滤筛选，实时处理，提高了事件消息数据的及时传输，及时处理。

在一个实施例中，如图3所示，步骤102的具体处理过程包括：

步骤301，获取事件模型。

其中，事件模型是根据预设建模方法得到的具备业务主题属性的数据识别模型。

在实施中，数据处理系统预先构建并存储有多种事件模型，具体的，数据处理系统根据建模方法论(例如，BIAN银行业架构网络方法论和DDD(domain drive design，领域驱动设计)方法论)对数据产生端发送的初始数据(或者称为样本数据)，进行数据分析，确定某一业务主题下的业务场景所需的数据来源、逻辑、数据传输目的地等数据所属关系，根据数据所属关系定义业务事件，进而由业务事件构建得到可用于数据识别分类的事件模型。因此，事件模型具备业务主题属性。其中，在金融业务主题下的各业务场景中可以定义的业务事件包括：关系人、合约、产品与服务器、市场营销、财务、渠道、地理资源、协同交互等业务事件，因此，对应的每一业务事件生成的事件模型均属于金融领域的事件模型。基于此，数据处理系统获取预先存储的各个业务主题的事件模型，以使根据事件模型进行数据所属业务主题的分类。

步骤302，根据每一事件模型，在第一消息队列中识别并读取事件消息数据，将事件消息映射到事件模型所属业务主题中，确定属于同一业务主题的事件消息数据。

在实施中，数据处理系统根据获取到的每一事件模型在第一消息队列中拉取数据，具体的，数据处理系统中的数据处理引擎依据每一事件模型所包含的数据属性信息识别并读取第一消息队列中的事件消息数据，确定出属于同一业务主题的事件消息数据，并将该事件消息数据进行数据汇总处理。

本实施例中，通过预先构建事件模型实现对第一消息队列中的事件消息数据进行实时分类处理，提高数据处理时效性和数据处理消息。

在一个实施例中，如图4所示，步骤103的具体处理过程包括：

步骤401，根据目标事件规则，对属于同一业务主题的事件消息数据进行加工整合处理，得到事件数据。

在实施中，每一事件消息数据为所属业务主题的某一业务场景下的业务事件数据，数据处理系统中的数据处理引擎根据预先获知的数据消费端的目标事件规则，对同一第二消息队列中的属于同一业务主题的事件消息数据进行加工整合处理，得到整合后的事件数据。

步骤402，为事件数据添加事件编码标识，得到目标事件数据，并将目标事件数据存储至所属业务主题的第二消息队列中。

在实施中，数据处理系统中的数据处理引擎为整合后的事件数据添加事件编码标识，得到目标事件数据，并将目标事件数据存储至所属业务主题的第二消息队列中，以使数据消费端根据目标事件数据应用需求，在该第二消息队列中获取目标事件数据进行数据消费。其中，事件编码标识包括：事件创建者节点编号、事件代码、全局事件跟踪号等，本申请实施例不做限定。

本实施例中，在第一消息队列接收数据产生端的事件消息数据，并将分类后的事件消息数据分别存储在第二消息队列之后，在第二消息队列中对事件消息数据实施进一步加工整合处理，实现事件消息的异步传输和多维度指标的分析的实时加工、统计，提高了数据处理的时效性和数据处理效率。

在一个实施例中，如图5所示，第二消息队列用于响应数据消费端针对第二消息队列的业务主题的数据订阅请求，则数据消费端进行数据订阅的具体处理步骤包括：

步骤501，调用事件消息管理接口监听数据消费端的数据订阅请求。其中，数据订阅请求中携带目标业务主题标识。

在实施中，下游数据消费端会根据数据应用需求向数据处理系统发送数据订阅请求，数据处理系统调用统一的事件消息管理接口(API)对数据消费端的数据订阅请求进行实时监听。其中，数据消费端的数据订阅请求中携带有目标业务主题标识，基于该目标业务主题标识可以识别下游数据消费端所需数据所属的业务主题。

步骤502，当监听到数据消费端发送的数据订阅请求时，根据目标业务主题标识，在各第二消息队列中确定目标第二消息队列，读取目标第二消息队列中的事件消息数据，并将目标第二消息队列中的事件消息数据发送至数据消费端。

在实施中，当监听到数据消费端发送的数据订阅请求时，数据处理系统中的数据处理引擎根据数据订阅请求携带的目标业务主题标识，在各第二消息队列中进行目标业务主题的第二消息队列的定位查询，确定出目标第二消息队列。然后，数据处理引擎在目标第二消息队列中读取事件消息数据，并将读取到的事件消息数据发送至数据消费端以供数据消费端进行数据消费。

本实施例中，数据处理系统调用统一的事件消息管理接口监听数据消费端的数据订阅请求，依据数据订阅请求，管理异步事件驱动的SLA(Service-Level Agreement，服务水平协议)/QoS(Quality of Service，服务质量)以及事件异常处理，实现数据异常报错的收集、查询等功能及流程。

在一个实施例中，如图6所示，该方法还包括：

步骤601，根据预设周期获取第一消息队列以及各第二消息队列中的事件消息数据。

步骤602，将每一消息队列中的事件消息数据存储在分布式文件数据库的目标分区中。

在实施中，数据处理系统根据固定周期清空消息队列中的数据缓存，因此，数据处理系统在清空缓存之前，需要预先获取当前第一消息队列以及各业务主题所属的第二消息队列中的事件消息数据。然后，将每一消息队列中的事件消息数据存储在分布式文件系统(HDFS，Hadoop Distributed System)中。其中，分布式文件系统是集成在多个服务器节点上的分布式文件数据库，在该分布式文件数据库中根据数据库自身算法规则，对数据库的库表进行区域划分，得到数据库中的各个分区(也称为分区字表)。然后，数据处理系统将每一消息队列中的事件消息数据存储至对应的目标分区中用于分类存储。

步骤603，检查每一目标分区中事件消息数据携带的事件编码标识的编码顺序，判别事件编码标识的编码顺序是否满足预设编码条件。

在实施中，数据处理系统读取分布式文件数据库的每一目标分区中的事件消息数据，检查目标分区中存储的同一消息队列中事件消息数据携带的事件编码标识的编码顺序，判别其编码顺序是否满足预设编码条件。其中，编码条件可以根据事件消息的传输需求配置，本申请实施例不做限定。例如，预设编码条件可以为编码顺序中不存在跳号，又或者为编码条件中的编码顺序满足单调性等等。

步骤604，若事件编码标识的编码顺序不满足预设编码条件，则输出数据缺失提示信息。

在实施中，若事件编码标识的编码顺序不满足预设编码条件，表明上游的数据产生端传输的同一事件包含的事件消息数据存在缺失，则数据处理系统向上游数据产生端输出数据缺失提示，指示上游数据产生端重现发送缺失数据。

本实施例中，通过对事件消息数据的事件编码标识的编码顺序进行检查，判别是否存在数据缺失，进而实现数据一致性(也称为事件事务一致性)保障机制(问题的发现，告警提示)，进而实现下游数据应用端数据最终一致性的机制。

应该理解的是，虽然图1至6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种数据处理的示例，具体数据处理过程如下所示：

数据处理过程中包括两种数据传输场景：场景一，简单事件消息数据的传递，场景二，负责事件消息数据的传递。

事件消息数据传递过程的具体步骤如下所示：

步骤1，数据产生端产生包含事件消息数据的数据流。

步骤2，数据产生端调用事件管理API对数据流中的数据进行初步格式检查。

步骤3，将数据流经过API传输至数据处理系统的数据传输通道。

步骤4，在数据处理系统的数据传输通道中对数据流初步划分后进行事件路由。

步骤5，若为简单事件传递过程，则数据传输通道根据事件路由信息将数据流初步划分结果发送至对应的数据消费端。

步骤6，数据消费端根据接收到的数据流初始划分结果进行事件后续处理，则数据传递结束。

步骤5’，若为复杂事件传递，数据传输通道将事件消息数据以第一消息队列的形式进行存储，同时，数据传输通道将第一消息队列中的数据流初始划分结果发送至数据处理引擎中。

步骤6’，数据处理引擎将初始划分结果分别存储在不同业务主题的第二消息队列中，对每一第二消息队列中的数据进行加工整合处理，得到整合后的新的事件数据。

步骤7’，数据处理引擎调用事件管理API对加工整合后的新的事件数据进行检查。

步骤8’，由数据处理引擎调用事件管理API将加工整合后的数据发送至数据传输通道。

步骤9’，数据处理系统的数据传输通道中对加工整合后的数据进行事件路由。

步骤10’，数据传输通道根据事件路由信息将加工整合后的数据发送至对应的数据消费端。

步骤11’，数据消费端根据接收到的加工整合后的数据进行事件后续处理，则数据传递结束。

在一个实施例中，根据上述数据处理方法生成的数据处理系统(数据处理平台)的结构功能示意图如图8所示，其中，图8由下至上分别为数据源(即数据产生端)、事件平台(数据处理系统)和下游应用系统(即数据消费端)。其中，在事件平台中，包括：事件(数据)采集、事件(数据)存储、事件(数据)计算、事件(数据)订阅功能等事件管理流程，也提供了相应事件管理流程中包含的事件管理功能的多种操作选项，可以使用户基于数据处理系统所处设备提供的显示操作界面进行交互操作。

在一个实施例中，提供了一种数据处理系统，该数据处理系统用于实现上述数据处理方法，该数据处理系统包括：数据传输通道和数据处理引擎，其中，

数据传输通道，用于获取数据产生端传输的数据流，将数据流中包含的每一事件消息数据存储于第一消息队列中，实现事件消息数据的传输；

数据处理引擎，用于基于事件模型对第一消息队列中的事件消息数据进行分类和业务主题映射，确定属于同一业务主题的事件消息数据；

数据处理引擎，还用于将属于同一业务主题的事件消息数据存储至所属业务主题的第二消息队列中，第二消息队列用于响应数据消费端针对第二消息队列的业务主题的数据订阅请求。

在一个实施例中，数据传输通道还用于接收数据产生端的数据流，数据流由数据产生端调用事件消息管理接口发送至数据处理系统；读取数据流中每一报文数据的报文头，从报文数据中筛选报文头中包含目标字段的报文数据，得到事件消息数据；将每一事件消息数据存储于第一消息队列中。

在一个实施例中，数据处理引擎还用于获取事件模型，事件模型是根据预设建模方法得到的具备业务主题属性的数据识别模型；

根据每一事件模型，在第一消息队列中识别并读取事件消息数据，将事件消息映射到事件模型所属业务主题中，确定属于同一业务主题的事件消息数据。

在一个实施例中，数据处理引擎还用于根据目标事件规则，对属于同一业务主题的事件消息数据进行加工整合处理，得到事件数据；

为事件数据添加事件编码标识，得到目标事件数据，并将目标事件数据存储至所属业务主题的第二消息队列中。

在一个实施例中，数据处理引擎还用于调用事件消息管理接口监听数据消费端的数据订阅请求；数据订阅请求中携带目标业务主题标识；

当监听到数据消费端发送的数据订阅请求时，根据目标业务主题标识，在各第二消息队列中确定目标第二消息队列，读取目标第二消息队列中的事件消息数据，并将目标第二消息队列中的事件消息数据发送至数据消费端。

在一个实施例中，数据处理系统的数据处理引擎还用于根据预设周期获取第一消息队列以及各第二消息队列中的事件消息数据；

将每一消息队列中的事件消息数据存储在分布式文件数据库的目标分区中；

检查每一目标分区中事件消息数据携带的事件编码标识的编码顺序，判别事件编码标识的编码顺序是否满足预设编码条件；

若事件编码标识的编码顺序不满足预设编码条件，则输出数据缺失提示信息。

在一个实施例中，如图9所示，提供了一种数据处理装置900，包括：获取模块910、分类模块920和存储模块930，其中：

获取模块910，用于获取数据产生端传输的数据流，将数据流中包含的每一事件消息数据存储于第一消息队列中；

分类模块920，用于基于事件模型对第一消息队列中的事件消息数据进行分类和业务主题映射，确定属于同一业务主题的事件消息数据；

存储模块930，用于将属于同一业务主题的事件消息数据存储至所属业务主题的第二消息队列中，第二消息队列用于响应数据消费端针对第二消息队列的业务主题的数据订阅请求。

在一个实施例中，获取模块910，具体用于接收数据产生端的数据流，数据流由数据产生端调用事件消息管理接口发送至数据处理系统；

读取数据流中每一报文数据的报文头，从报文数据中筛选报文头中包含目标字段的报文数据，得到事件消息数据；

将每一事件消息数据存储于第一消息队列中。

在一个实施例中，分类模块920，具体用于获取事件模型，事件模型是根据预设建模方法得到的具备业务主题属性的数据识别模型；

在一个实施例中，存储模块930，具体用于根据目标事件规则，对属于同一业务主题的事件消息数据进行加工整合处理，得到事件数据；

在一个实施例中，该装置900还包括发送模块，用于调用事件消息管理接口监听数据消费端的数据订阅请求；数据订阅请求中携带目标业务主题标识；

在一个实施例中，该装置900还包括：

获取模块，用于根据预设周期获取第一消息队列以及各第二消息队列中的事件消息数据；

存储模块，用于将每一消息队列中的事件消息数据存储在分布式文件数据库的目标分区中；

检查模块，用于检查每目标分区中事件消息数据携带的事件编码标识的编码顺序，判别事件编码标识的编码顺序是否满足预设编码条件；

告警模块，用于若事件编码标识的编码顺序不满足预设编码条件，则输出数据缺失提示信息。

关于数据处理装置900的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。上述数据处理装置900中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储事件消息数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取数据产生端传输的数据流，将所述数据流中包含的每一事件消息数据存储于第一消息队列中，包括：

将每一所述事件消息数据存储于第一消息队列中。

3.根据权利要求1所述的方法，其特征在于，所述基于事件模型对所述第一消息队列中的所述事件消息数据进行分类和业务主题映射，确定属于同一业务主题的所述事件消息数据，包括：

4.根据权利要求1所述的方法，其特征在于，所述将属于同一业务主题的所述事件消息数据存储至所属业务主题的第二消息队列中，包括：

5.根据权利要求1所述的方法，其特征在于，所述第二消息队列用于响应数据消费端针对所述第二消息队列的业务主题的数据订阅请求，包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.一种数据处理系统，其特征在于，所述数据处理系统包括：数据传输通道和数据处理引擎，

8.根据权利要求7所述的系统，其特征在于，所述数据处理引擎还用于获取事件模型，所述事件模型是根据预设建模方法得到的具备业务主题属性的数据识别模型；

9.一种数据处理装置，其特征在于，所述装置包括：

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。