CN115665284A - 基于分布式配置中心的报文处理方法、装置及计算机设备 - Google Patents

Abstract

本公开涉及大数据实时处理技术领域，具体公开了一种基于分布式配置中心的报文处理方法、装置及计算机设备，所述方法包括：接收客户端传输的配置数据，根据所述配置数据配置报文解析配置信息、报文适配配置信息和报文规则匹配配置信息；获取业务报文，基于所述报文解析配置信息解析获得所述业务报文的第一目标字段；根据所述报文适配配置信息确定所述第一目标字段中的第二目标字段，并根据所述第二目标字段确定所述业务报文的适配类别；基于所述报文规则匹配配置信息确定所述适配类别对应的规则逻辑信息；根据所述规则逻辑信息对所述业务报文进行逻辑计算处理。本公开实现了实时报文处理以及业务报文的逻辑计算需求的动态变更。

Description

基于分布式配置中心的报文处理方法、装置及计算机设备

技术领域

本公开涉及大数据实时处理技术领域，特别是涉及一种基于分布式配置中心的报文处理方法、装置及计算机设备。

背景技术

随着通信数据交互技术的发展，大批量的业务数据往往依托于报文处理系统进行数据交互。信息爆炸的时代，业务报文数据正在以庞大的体量每时每秒飞速产生，用户需要快速响应带来便捷体验，同时针对业务场景的及时决策也至关重要，因此利用大数据技术在线提取分析关键信息，最大化利用数据价值势在必行。

相关技术中，基于大数据环境下的低延时高响应的报文感知过程，依托于分布式实时计算技术实现，通过开发流处理逻辑实现各模块功能，当规则逻辑更改时，需要修改流作业实现，生效过程涉及后端干预以及服务中断；同时这种方式固化处理逻辑，模块之间连接紧密，如果出现需求的新增或修改，会涉及各模块的牵动，难以做到灵活增改。

发明内容

基于此，有必要针对上述技术问题，提供一种基于分布式配置中心的报文处理方法、装置、计算机设备、存储介质和计算机程序产品。

第一方面，本公开提供了一种基于分布式配置中心的报文处理方法。所述方法包括：

接收客户端传输的配置数据，根据所述配置数据配置报文解析配置信息、报文适配配置信息和报文规则匹配配置信息；

获取业务报文，基于所述报文解析配置信息解析获得所述业务报文的第一目标字段；

根据所述报文适配配置信息确定所述第一目标字段中的第二目标字段，并根据所述第二目标字段确定所述业务报文的适配类别；所述第二目标字段与所述适配类别存在映射关系；

基于所述报文规则匹配配置信息确定所述适配类别对应的规则逻辑信息；

根据所述规则逻辑信息对所述业务报文进行逻辑计算处理。

在其中一个实施例中，所述接收客户端传输的配置数据，根据所述配置数据配置所述报文解析配置信息、报文适配配置信息和报文规则匹配配置信息包括：

将接收的配置数据存储至配置目录；

实时监听所述配置目录，响应于所述配置目录更新事件，根据更新后的配置目录确定所述报文解析配置信息、报文适配配置信息和报文规则匹配配置信息。

在其中一个实施例中，所述获取业务报文，基于所述报文解析配置信息解析获得所述业务报文的第一目标字段包括：

读取所述配置目录，根据所述报文解析配置信息生成解析映射表；

确定所述业务报文的协议类型，确定所述业务报文的协议类型对应的报文解析配置信息；

基于所述解析映射表提取所述业务报文中的第一目标字段，并将所述第一目标字段映射到输出明细。

在其中一个实施例中，所述获取业务报文，基于所述报文解析配置信息解析获得所述业务报文的第一目标字段还包括：

确定所述业务报文的交易信息和来源信息；

根据所述报文解析配置信息基于所述交易信息和来源信息进行筛选，将符合筛选规则的业务报文存储至全局数据库；

将符合所述筛选规则的业务报文存储至分布式内存数据库，并将所述分布式内存数据库中的业务报文进行请求报文和响应报文的匹配，清理完成匹配的业务报文以及超出预设时间未完成匹配的业务报文。

在其中一个实施例中，所述根据所述报文适配配置信息确定所述第一目标字段中的第二目标字段，并根据所述第二目标字段确定所述业务报文的适配类别包括：

读取所述配置目录，根据所述报文适配配置信息生成适配映射表；

基于所述适配映射表抓取所述第一目标字段中的第二目标字段，以及根据所述第二目标字段将所述业务报文分发至对应的所述适配类别。

在其中一个实施例中，所述基于所述报文规则匹配配置信息确定所述适配类别对应的规则逻辑信息包括：

读取所述配置目录，根据所述报文规则匹配配置信息生成规则匹配映射表；

基于所述规则匹配映射表确定与所述适配类别相关联的规则逻辑信息。

第二方面，本公开还提供了一种基于分布式配置中心的报文处理装置。所述装置包括：

配置模块，用于接收客户端传输的配置数据，根据所述配置数据配置所述报文解析配置信息、报文适配配置信息和报文规则匹配配置信息；

报文获取模块，用于获取业务报文，基于所述报文解析配置信息解析获得所述业务报文的第一目标字段；

适配类别模块，用于根据所述报文适配配置信息确定所述第一目标字段中的第二目标字段，并根据所述第二目标字段确定所述业务报文的适配类别；所述第二目标字段与所述适配类别存在映射关系；

规则确定模块，用于基于所述报文规则匹配配置信息确定所述适配类别对应的规则逻辑信息；

处理模块，用于根据所述规则逻辑信息对所述业务报文进行逻辑计算处理。

在其中一个实施例中，所述配置模块包括：

配置目录单元，用于将接收的配置数据存储至配置目录；

监听单元，用于实时监听所述配置目录，响应于所述配置目录更新事件，根据更新后的配置目录确定所述报文解析配置信息、报文适配配置信息和报文规则匹配配置信息。

在其中一个实施例中，所述报文获取模块包括：

解析映射表单元，用于读取所述配置目录，根据所述报文解析配置信息生成解析映射表。

协议类型单元，用于确定所述业务报文的协议类型，确定所述业务报文的协议类型对应的报文解析配置信息；

第一目标映射单元，用于基于所述解析映射表提取所述业务报文中的第一目标字段，并将所述第一目标字段映射到输出明细。

在其中一个实施例中，所述报文获取模块还包括：

报文头单元，用于确定所述业务报文的交易信息和来源信息；

筛选单元，用于根据所述报文解析配置信息基于所述交易信息和来源信息进行筛选，将符合筛选规则的业务报文存储至全局数据库；

内存清理单元，将符合所述筛选规则的业务报文存储至分布式内存数据库，并将所述分布式内存数据库中的业务报文进行请求报文和响应报文的匹配，清理完成匹配的业务报文以及超出预设时间未完成匹配的业务报文。

在其中一个实施例中，所述适配类别模块包括：

适配映射表单元，用于读取所述配置目录，根据所述报文适配配置信息生成适配映射表；

第二目标映射单元，用于基于所述适配映射表抓取所述第一目标字段中的第二目标字段，以及根据所述第二目标字段将所述业务报文分发至对应的所述适配类别。

在其中一个实施例中，所述规则确定模块包括：

规则匹配映射表单元，用于读取所述配置目录，根据所述报文规则匹配配置信息生成规则匹配映射表；

第三目标映射单元，用于基于所述规则匹配映射表确定与所述适配类别相关联的规则逻辑信息。

第三方面，本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于分布式配置中心的报文处理方法的步骤。

第四方面，本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于分布式配置中心的报文处理方法的步骤。

第五方面，本公开还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述基于分布式配置中心的报文处理方法的步骤。

上述基于分布式配置中心的报文处理方法、装置、计算机设备、存储介质和计算机程序产品，至少包括以下有益效果：

本公开通过获取前端的配置信息，作用于后端的业务报文的处理逻辑，具体根据报文解析配置信息对业务报文进行预处理以提取得到业务报文的第一目标字段，进而根据报文适配配置信息确定所述第一目标字段中的第二目标字段，并根据第二目标字段确定业务报文的适配类别(业务场景)，并进一步根据报文规则匹配配置信息确定适配类别对应的规则逻辑信息，根据业务报文适配业务场景下的规则逻辑信息对业务报文进行逻辑计算处理，实现了前端和后端的分离，前端用于集成配置信息，后端根据配置信息对业务报文进行实时逻辑加工，实现了实时报文处理以及业务报文的逻辑计算需求的动态变更，提高了业务报文处理的效率和灵活性。

附图说明

为了更清楚地说明本公开实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中基于分布式配置中心的报文处理方法的应用环境图；

图2为一个实施例中基于分布式配置中心的报文处理方法的流程示意图；

图3为另一个实施例中基于分布式配置中心的报文处理方法的流程示意图；

图4为另一个实施例中基于分布式配置中心的报文处理方法的流程示意图；

图5为另一个实施例中基于分布式配置中心的报文处理方法的流程示意图；

图6为一个实施例中报文预处理流程的示意图；

图7为另一个实施例中基于分布式配置中心的报文处理方法的流程示意图；

图8为一个实施例中报文适配类别流程的示意图；

图9为另一个实施例中基于分布式配置中心的报文处理方法的流程示意图；

图10为一个实施例中报文规则匹配流程的示意图；

图11为一个实施例中报文处理流程的示意图；

图12为一个实施例中报文配置流程的示意图；

图13为一个实施例中基于分布式配置中心的报文处理装置的结构框图；

图14为另一个实施例中基于分布式配置中心的报文处理装置的结构框图；

图15为另一个实施例中基于分布式配置中心的报文处理装置的结构框图；

图16为另一个实施例中基于分布式配置中心的报文处理装置的结构框图；

图17为另一个实施例中基于分布式配置中心的报文处理装置的结构框图；

图18为另一个实施例中基于分布式配置中心的报文处理装置的结构框图；

图19为一个实施例中计算机设备的内部结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中在本公开的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本公开。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。例如若使用到第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。同时，在本说明书中，术语“和/或”包括相关所列项目的任何及所有组合。

本公开实施例提供的基于分布式配置中心的报文处理方法，可以应用于如图1所示的应用环境中。其中，基于分布式配置中心的报文处理系统102可以在服务器上运行，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。报文处理系统102通过消息中间件(例如Kafka消息队列104)接入联机交易系统106，联机交易系统106用于向报文处理系统102发送业务报文，报文处理系统102对业务报文进行处理后通过Kafka数据输出接口108发送至应用场景，例如可以是应用系统(例如实时营销系统)、应用程序(例如监控预警程序、实时风控程序)或应用终端(例如实时大屏显示)。数据资产系统101可以存储报文处理系统102和Kafka数据输出接口108需要存储的数据。数据资产系统101可以集成在服务器100上，也可以放在云上或其他网络服务器上。数据资产系统101可以包括ElasticSearch模块103和ClickHouse(Click Stream，Data WareHouse，列式存储数据库)模块105。Elasticsearch通常是指位于Elastic Stack核心的分布式搜索和分析引擎，可以用于分布式全文检索。ClickHouse模块105可以用于留存预警下发明细数据，用于问题排查及后续查询分析场景。

其中，报文处理系统102包括分布式配置中心110和逻辑处理中心120，分布式配置中心110包括前端门户111、ignite存储模块112、Oracle数据库113和Zookeeper管理组件114。前端门户111用于连接客户端。ignite存储模块112可以是一个以内存为中心的分布式数据库、缓存系统和计算平台，目的是用来支持数据密集的程序开发，ignite存储模块112可以每秒支持上百万的事务和PB级的内存数据管理。Oracle数据库113可以是关系数据库管理系统，用于采用关系模型来组织数据。Zookeeper管理组件114用于提供分布式应用程序协调服务，可以将封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

逻辑处理中心120包括分布式计算引擎121和Yarn资源管理器122，分布式计算引擎121用于对业务报文进行逻辑计算，分布式计算引擎121可以基于Flink框架实现。Yarn资源管理器122可以为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

在本公开的一些实施例中，如图2所示，提供了一种基于分布式配置中心的报文处理方法，以该方法应用于图1中的报文处理系统102为例进行说明，包括以下步骤：

步骤S10：接收客户端传输的配置数据，根据所述配置数据配置述报文解析配置信息、报文适配配置信息和报文规则匹配配置信息。

具体地，通过客户端网络接口(如图1中的前端门户111)接收客户端传输的配置信息，即通过客户端得到用户对业务报文处理的相关配置信息。配置信息可以包括报文解析配置信息、报文适配配置信息和报文规则匹配配置信息。

其中，报文解析配置信息可以是指对报文进行预处理的配置信息，例如包括不同协议类型、系统来源、交易码、感知字段路径及映射信息等。预处理可以包括实现报文结构化解析、交易过滤、报文体解析、交易适配和交易配堆等流程。报文适配配置信息可以是指多样的业务场景对应的不同的处理逻辑的配置信息，例如。在金融行业的交易场景，基于多样的业务场景需求，对应着多种处理逻辑，不同处理逻辑所需从报文中提取的信息也存在差异，报文适配配置信息可以用于将业务报文根据业务场景进行分流，实现与后续不同场景的规则匹配对接。报文规则匹配配置信息可以是指针对不同业务场景的业务需求进行规则逻辑信息(例如实施规则的筛选和预警输出)的配置信息，规则逻辑信息可以是指对业务报文进行逻辑计算的信息，例如大额监控业务场景，不同监管机构有着不同的金额判定；对于风控业务场景，涉及客户号账号对应查找匹配。

步骤S20：获取业务报文，基于所述报文解析配置信息解析获得所述业务报文的第一目标字段。

具体地，通过对接业务系统，获取业务系统产生的业务报文。对实时获得的业务报文进行实时解析，根据报文解析配置信息，可以根据报头确定业务报文的协议类型，进而根据文解析配置信息针对报文头的协议执行对应的操作，实现对业务报文的报文头解析。继续根据报文解析配置信息对业务报文的报文体进行解析，结合报文头的协议，报文体解析可以针对不同的协议对报文体内容进行提取，最终从业务报文中提取出第一目标字段。第一目标字段可以是业务报文中用于表征业务报文的具体业务信息的字段。

步骤S30：根据所述报文适配配置信息确定所述第一目标字段中的第二目标字段，并根据所述第二目标字段确定所述业务报文的适配类别；所述第二目标字段与所述适配类别存在映射关系。

具体地，获取步骤S20中的第一目标字段，例如可以通过Kafka队列进行通讯。根据报文适配配置信息，在第一目标字段中抓取第二目标字段，第二目标字段可以是业务报文中用于表征业务报文的业务场景信息的字段。进而根据报文适配配置信息确定第二目标字段对应的适配类别，例如业务场景可以与适配类别进行对应，将不同业务场景的业务报文发送至业务场景对应的适配类别中。适配类别可以通过Kafka topic队列实现，每个业务场景都有单独的Kafka Topic。

步骤S40：基于所述报文规则匹配配置信息确定所述适配类别对应的规则逻辑信息。

具体地，获取步骤S30中的适配类别，根据报文规则匹配配置信息可以确定每个适配类别对应的规则逻辑信息，即确定业务报文适配的业务场景对应的规则逻辑信息。

步骤S50：根据所述规则逻辑信息对所述业务报文进行逻辑计算处理。

具体地，根据确定的规则逻辑信息，对业务报文进行逻辑计算处理，例如规则逻辑信息中包括“交易金额transamt.mutiply(exchangeRate)>＝1000，transamt为交易金额字段，exchangeRate是设定的汇率指标”，这条规则的含义为对业务报文中交易金额大于1000的报文进行预警下发。

上述基于分布式配置中心的报文处理方法中，通过获取前端的配置信息，作用于后端的业务报文的处理逻辑，具体根据报文解析配置信息对业务报文进行预处理以提取得到业务报文的第一目标字段，进而根据报文适配配置信息确定所述第一目标字段中的第二目标字段，并根据第二目标字段确定业务报文的适配类别(业务场景)，并进一步根据报文规则匹配配置信息确定适配类别对应的规则逻辑信息，根据业务报文适配业务场景下的规则逻辑信息对业务报文进行逻辑计算处理，实现了前端和后端的分离，前端用于集成配置信息，后端根据配置信息对业务报文进行实时逻辑加工，实现了实时报文处理以及业务报文的逻辑计算需求的动态变更，提高了业务报文处理的效率和灵活性。

在本公开的一些实施例中，如图3所示，步骤S10包括：

步骤S12：将接收的配置数据存储至配置目录。

具体地，将接收客户端的配置数据以配置目录的形式进行存储，便于进行配置信息的动态管理。例如，可以利用分布式服务管理组件zookeeper的注册和服务发现功能，将前端的配置信息写入节点目录(即配置目录)下。在一些实施例中，通过前端门户支持客户端对配置信息进行新增、查询、失效、查询历史记录等操作，新增的配置信息记录会写入配置目录，失效的配置信息记录会删除配置目录对应的记录，历史配置信息可以存储在关系数据库(例如图1中的oracle数据库113)。

步骤S14：实时监听所述配置目录，响应于所述配置目录更新事件，根据更新后的配置目录确定所述报文解析配置信息、报文适配配置信息和报文规则匹配配置信息。

具体地，实时监听配置目录，在配置目录发生更新事件后，响应于配置目录的更新事件，根据更新后配置目录确定报文解析配置信息、报文适配配置信息和报文规则匹配配置信息，即采用更新后的报文解析配置信息、报文适配配置信息和报文规则匹配配置信息对业务报文进行逻辑处理。在一些实施例中，前述步骤通过Flink作业流实现，Flink作业流可以通过订阅配置目录动态获取配置信息。Flink作业流启动时可以预加载初始的配置信息，同时注册一个watcher(监听者)，当配置目录更新时，该watcher触发通知订阅配置目录的Flink作业的动作，从而实现前后端配置的实时同步。

本实施例通过建立配置目录，加强对配置信息的实时管理，并通过实时监听配置目录，根据配置目录的更新及时确定报文解析配置信息、报文适配配置信息和报文规则匹配配置信息，实现前后端配置的实时同步。

在本公开的一些实施例中，如图4所示，步骤S20包括：

步骤S22：读取所述配置目录，根据所述报文解析配置信息生成解析映射表。

具体地，通过读取配置目录，获取配置目录中的报文解析配置信息，并根据报文解析配置信息生成解析映射表(例如Parser配置Mapping表，Mapping表通常是指一种数据结构，可以用来存储映射关系)。

步骤S24：确定所述业务报文的协议类型，确定所述业务报文的协议类型对应的报文解析配置信息。

具体地，可以通过接收消息中间件的业务报文作为输入，解析输入的业务报文的报文头，可以确定业务报文的协议类型。基于确定的协议类型调用报文解析配置信息，例如，调用Parser配置，Parser(解析器)一般是指把某种格式的文本(字符串)转换成某种数据结构的过程。通过调用协议对应的Parser配置完成报文头解析，可以获取得到业务报文的报文头信息，例如交易码。

步骤S26：基于所述解析映射表提取所述业务报文中的第一目标字段，并将所述第一目标字段映射到输出明细。

具体地，基于解析映射表中的映射关系，根据业务报文的协议提取业务报文中的第一目标字段，并将第一目标字段映射到输出明细，实现第一目标字段的输出。

本实施例根据报文解析配置信息生成解析映射表，建立映射关系，提高了业务报文的解析效率，且加强了数据管理，有助于映射数据的复用。

在本公开的一些实施例中，如图5所示，步骤S20还包括：

步骤S252：确定所述业务报文的交易信息和来源信息。

具体地，可以根据前述步骤S24中的获得的报文头信息，确定交易信息(例如交易码)和来源信息，例如来源信息可以是根据报文头信息确定的报文来源的业务系统信息。

步骤S254：根据所述报文解析配置信息基于所述交易信息和来源信息进行筛选，将符合筛选规则的业务报文存储至全局数据库。

具体地，根据报文解析配置信息，基于交易信息和来源信息对业务报文进行筛选，报文解析配置信息中包括筛选规则。将满足筛选规则的业务报文存储至全局数据库(例如图1中的Elastic Search模块103)，以便历史数据查询。

步骤S256：将符合所述筛选规则的业务报文存储至分布式内存数据库，并将所述分布式内存数据库中的业务报文进行请求报文和响应报文的匹配，清理完成匹配的业务报文以及超出预设时间未完成匹配的业务报文。

具体地，将符合筛选规则的业务报文存储至分布式内存数据库(例如图1中的ignite存储模块112)，并对分布式内存数据库中的业务报文进行请求报文和响应报文的匹配，即将分布式内存数据库中的请求报文和响应报文按照匹配规则进行匹配，与请求响应报文进行匹配，报文解析配置信息中包括该匹配规则。将完成匹配的业务报文以及超出预设时间未完成匹配的业务报文进行清理。

本实施例通过报文过滤，可以过滤部分不需要处理的业务报文，减少处理负担，并通过对分布式内存数据库中的报文进行请求报文和响应报文的匹配，实现分布式内存数据库可以暂存最近一段时间的报文数据，实现请求报文和响应报文的异步配对，并及时对完成匹配的业务报文以及超出预设时间未完成匹配的业务报文进行清理，减少内存消耗。

在一些实施例中，如图6所示的报文预处理流程，在步骤S22之前还包括对输入的业务报文进行反序列化，以及在步骤S26之后进行第一目标字段的输出序列化。序列化和反序列化可以是指对目标对象状态的保存和重建。对输入的业务报文进行反序列化可以是指将输入的业务报文的传输数据状态(例如字节序列)转换为业务报文的语言描述信息(例如源代码)。第一目标字段的输出序列化可以是指将第一目标字段的语言描述信息(例如源代码)转换为传输数据状态(例如字节序列)。

本实施例通过对输入的业务报文进行反序列化和第一目标字段的输出序列化，提高了数据传输的稳定性和效率。

在本公开的一些实施例中，如图7所示，步骤S30包括：

步骤S32：读取所述配置目录，根据所述报文适配配置信息生成适配映射表。

具体地，通过读取配置目录，获取配置目录中的报文适配配置信息，并根据报文适配配置信息生成适配映射表(例如Adpter配置Mapping表，Mapping表通常是指一种数据结构，可以用来存储映射关系)。

步骤S34：基于所述适配映射表抓取所述第一目标字段中的第二目标字段，以及根据所述第二目标字段将所述业务报文分发至对应的所述适配类别。

具体地，基于适配映射表中的映射关系调用报文适配配置信息，例如，调用Adpter配置，Adpter(适配器)一般是指将一个类的接口变换成客户端所期待的一种接口，从而使原本因接口不匹配而无法在一起工作的两个类能够在一起工作。通过调用Adpter配置映射第一目标字段中的第二目标字段。基于适配映射表中的映射关系，根据第二目标字段将业务报文分发至对应的适配类别(例如Kafka Topic)。在一些实施例中，如图8所示，在步骤S34之前还包括对输入的第一目标字段进行反序列化，以及在步骤S34之后进行适配类别的输出序列化，将适配类别可以输出至业务系统的对应得业务场景。

本实施例根据报文适配配置信息生成适配映射表，建立映射关系，提高了业务报文的适配到业务场景的效率，且加强了数据管理，有助于映射数据的复用。

在本公开的一些实施例中，如图9所示，步骤S40包括：

步骤S42：读取所述配置目录，根据所述报文规则匹配配置信息生成规则匹配映射表。

具体地，通过读取配置目录，获取配置目录中的规则匹配配置信息，并根据规则匹配配置生成规则匹配映射表。

步骤S44：基于所述规则匹配映射表确定与所述适配类别相关联的规则逻辑信息。

具体地，每个适配类别可以关联与之相对应的规则逻辑信息，规则逻辑信息可以用于指示对业务报文进行对应的逻辑计算处理，例如，通过规则逻辑信息可以对业务报文进行筛选和预警判断。

本实施例根据报文规则匹配配置信息生成规则匹配映射表，建立映射关系，提高了业务报文对应的逻辑计算处理的效率，且可以加强报文筛选和预警下发。

在一些实施例中，如图10所示，报文规则匹配配置信息可以包括规则配置信息、指标配置信息、指标查询配置信息、指标数据源配置信息、预警输出配置信息等。以步骤S30输出的适配类别作为输入，通过加载配置目录中的报文规则匹配配置信息，生成规则配置映射表、指标配置映射表、指标查询配置映射表、指标数据源配置映射表、预警输出配置映射表，上述映射表。其中，指标可以是指逻辑规则中的参数，通过指标配置可以规则配置使用。例如一条逻辑规则为“交易金额transamt.mutiply(exchangeRate)>＝1000，transamt为交易金额字段，exchangeRate是设定的汇率指标”，则其指标配置可以是对交易金额的配置。在一些例如外币兑换本币、金额设置、客户号账号匹配等业务场景，指标可以是金额指标、账号匹配查询指标、币种汇率换算指标。

其中，指标配置信息中还包括了指标查询配置映射表和指标数据源配置映射表的指向信息，可以通过指标查询配置映射表加载查询语句以及指标数据源地址，进而可以连接外部数据表进行查询。本实施例中外部数据表可以是指用于存储当前业务报文数据之外的数据表，外部数据表可以存储在分布式内存数据库，例如图1中的ignite存储模块112，或者其他数据库(例如Hbase存储系统)。在一些实施例中，在Flink作业需要执行根据客户号查找账号的业务场景下，规则配置映射表首先可以指向指标配置信息(例如指标配置ID)，客户号作为参数，通过指标配置映射表查询到对应的指标配置信息，进而以客户号作为查询输入，通过查询指标数据源配置映射表中的数据源地址，将查询到信息同步到Flink作业，完成账号的查询输出。

其中，预警输出配置信息用于配置预警输出字段映射，针对字段接出需求设置接出字段名，实现预警字段的接出。进一步地，当获取到适配类别中的报文数据时，首先对报文数据进行反序列化操作。根据指标配置映射表、指标查询配置映射表、指标数据源配置映射表确定指标，以及根据规则配置映射表结合指标确定规则逻辑信息，根据逻辑规则逻辑信息对报文数据进行逻辑计算(例如规则判断和筛选)。根据预警输出配置映射表对报数据中的字段进行映射处理，得到预警下发字段。将预警下发字段序列化之后进行输出，作为后续场景的输入。预警下发字段还可以存储至图1中的ClickHouse模块105。

本实施例通过指标配置可以配合规则配置进行使用，大大提高了规则的可复用性，并实现了预警字段的下发功能。

在一些实施例中，通过本方法实现了对业务报文的预处理、场景分类和规则匹配流程，结合图11所示的报文处理流程示意图，分布式配置中心110可以接收客户端的配置信息(报文解析配置信息、报文适配配置信息和报文规则匹配配置信息)，并通过Zookeeper管理组件114建立配置目录。逻辑处理中心120中的预处理Flink作业、场景适配Flink作业、需要对业务报文进行逻辑处理的业务场景Flink作业(例如大额资金变动场景Flink作业、销售场景Flink作业、实时风控场景Flink作业等)通过实时监听Zookeeper管理组件114中的配置目录，根据实时配置信息执行对应的处理。Flink作业之间可以通过kafka通讯。

进一步地，结合图12所示的业务报文配置流程示意图，对报文感知处理步骤进行说明。报文处理系统102接收到业务报文后，分布式配置中心110首先确定报文解析配置信息，预处理Flink作业可以实时感知到报文解析配置信息，并根据配置内容进行筛选过滤，以及提取业务报文的第一目标字段。其次分布式配置中心110确定报文适配配置信息，场景适配Flink作业根据报文适配配置信息确定第一目标字段中的第二目标字段，并根据第二目标字段确定业务报文的适配类别，放入对应的业务场景Topic中。随后分布式配置中心110确定报文规则匹配配置信息，如果需要用到指标，确定指标配置信息、指标查询配置信息、指标数据源配置信息等。业务场景Flink作业根据报文规则匹配配置信息的配置内容执行，实现对业务报文的逻辑计算处理，最后分布式配置中心110在Action中(Action类是用户请求和业务逻辑之间的桥梁，每个Action充当客户的一项业务代理)配置最终输出字段，业务场景Flink作业输出对业务报文的处理结果。

本实施例可以实时报文处理，并根据前端配置信息实现后端作业逻辑的同步动态变更，且修改灵活，例如同一个业务需求，具备相同的报文预处理流程和报文预警下发字段，唯独规则逻辑不同时，可以快速对规则进行变化，其他配置信息可以复用，或者不同的业务需求，报文的预处理流程和报文预警下发字段不同，但是规则逻辑相同，可以在规则配置中无需新增可以沿用相同的规则逻辑，可以在不深入底层代码的情况下上层便捷高效的操作业务需求变更，提高了配置的连续性和灵活性。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的基于分布式配置中心的报文处理方法的基于分布式配置中心的报文处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于分布式配置中心的报文处理装置实施例中的具体限定可以参见上文中对于基于分布式配置中心的报文处理方法的限定，在此不再赘述。

所述装置可以包括使用了本说明书实施例所述方法的系统(包括分布式系统)、软件(应用)、模块、组件、服务器、客户端等并结合必要的实施硬件的装置。基于同一创新构思，本公开实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似，因此本说明书实施例具体的装置的实施可以参见前述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

在本公开的一些实施例中，如图13所示，提供了一种基于分布式配置中心的报文处理装置，所述装置可以为前述运行报文处理系统102的所述服务器，或者集成于所述服务器的模块、组件、器件、单元等。该装置Z00可以包括：

配置模块Z10，用于接收客户端传输的配置数据，根据所述配置数据配置所述报文解析配置信息、报文适配配置信息和报文规则匹配配置信息；

报文获取模块Z20，用于获取业务报文，基于所述报文解析配置信息解析获得所述业务报文的第一目标字段；

适配类别模块Z30，用于根据所述报文适配配置信息确定所述第一目标字段中的第二目标字段，并根据所述第二目标字段确定所述业务报文的适配类别；所述第二目标字段与所述适配类别存在映射关系；

规则确定模块Z40，用于基于所述报文规则匹配配置信息确定所述适配类别对应的规则逻辑信息；

处理模块Z50，用于根据所述规则逻辑信息对所述业务报文进行逻辑计算处理。

在本公开的一些实施例中，如图14所示，所述配置模块Z10包括：

配置目录单元Z12，用于将接收的配置数据存储至配置目录；

监听单元Z14，用于实时监听所述配置目录，响应于所述配置目录更新事件，根据更新后的配置目录确定所述报文解析配置信息、报文适配配置信息和报文规则匹配配置信息。

在本公开的一些实施例中，如图15所示，所述报文获取模块Z20包括：

解析映射表单元Z22，用于读取所述配置目录，根据所述报文解析配置信息生成解析映射表。

协议类型单元Z24，用于确定所述业务报文的协议类型，确定所述业务报文的协议类型对应的报文解析配置信息；

第一目标映射单元Z26，用于基于所述解析映射表提取所述业务报文中的第一目标字段，并将所述第一目标字段映射到输出明细。

在本公开的一些实施例中，如图16所示，所述报文获取模块Z20还包括：

报文头单元Z21，用于确定所述业务报文的交易信息和来源信息；

筛选单元Z23，用于根据所述报文解析配置信息基于所述交易信息和来源信息进行筛选，将符合筛选规则的业务报文存储至全局数据库；

内存清理单元Z25，将符合所述筛选规则的业务报文存储至分布式内存数据库，并将所述分布式内存数据库中的业务报文进行请求报文和响应报文的匹配，清理完成匹配的业务报文以及超出预设时间未完成匹配的业务报文。

在本公开的一些实施例中，如图17所示，所述适配类别模块Z30包括：

适配映射表单元Z32，用于读取所述配置目录，根据所述报文适配配置信息生成适配映射表；

第二目标映射单元Z34，用于基于所述适配映射表抓取所述第一目标字段中的第二目标字段，以及根据所述第二目标字段将所述业务报文分发至对应的所述适配类别。

在本公开的一些实施例中，如图18所示，所述规则确定模块Z40包括：

规则匹配映射表单元Z42，用于读取所述配置目录，根据所述报文规则匹配配置信息生成规则匹配映射表；

第三目标映射单元Z44，用于基于所述规则匹配映射表确定与所述适配类别相关联的规则逻辑信息。

上述基于分布式配置中心的报文处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。需要说明的是，本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

基于前述基于分布式配置中心的报文处理方法的实施例描述，在本公开提供的另一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图19所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于分布式配置中心的报文处理方法。

本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

基于前述基于分布式配置中心的报文处理方法的实施例描述，在本公开提供的另一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

基于前述基于分布式配置中心的报文处理方法的实施例描述，在本公开提供的另一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

在本说明书的描述中，参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性描述不一定指的是相同的实施例或示例。

可以理解的是，本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同/相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。相关之处参见其他方法实施例的描述说明即可。

上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进，这些都属于本公开的保护范围。因此，本公开专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于分布式配置中心的报文处理方法，其特征在于，所述方法包括：

接收客户端传输的配置数据，根据所述配置数据配置报文解析配置信息、报文适配配置信息和报文规则匹配配置信息；

获取业务报文，基于所述报文解析配置信息解析获得所述业务报文的第一目标字段；

根据所述报文适配配置信息确定所述第一目标字段中的第二目标字段，并根据所述第二目标字段确定所述业务报文的适配类别；所述第二目标字段与所述适配类别存在映射关系；

基于所述报文规则匹配配置信息确定所述适配类别对应的规则逻辑信息；

根据所述规则逻辑信息对所述业务报文进行逻辑计算处理。

2.根据权利要求1所述的方法，其特征在于，所述接收客户端传输的配置数据，根据所述配置数据配置所述报文解析配置信息、报文适配配置信息和报文规则匹配配置信息包括：

将接收的配置数据存储至配置目录；

实时监听所述配置目录，响应于所述配置目录更新事件，根据更新后的配置目录确定所述报文解析配置信息、报文适配配置信息和报文规则匹配配置信息。

3.根据权利要求2所述的方法，其特征在于，所述获取业务报文，基于所述报文解析配置信息解析获得所述业务报文的第一目标字段包括：

读取所述配置目录，根据所述报文解析配置信息生成解析映射表；

确定所述业务报文的协议类型，确定所述业务报文的协议类型对应的报文解析配置信息；

基于所述解析映射表提取所述业务报文中的第一目标字段，并将所述第一目标字段映射到输出明细。

4.根据权利要求3所述的方法，其特征在于，所述获取业务报文，基于所述报文解析配置信息解析获得所述业务报文的第一目标字段还包括：

确定所述业务报文的交易信息和来源信息；

根据所述报文解析配置信息基于所述交易信息和来源信息进行筛选，将符合筛选规则的业务报文存储至全局数据库；

将符合所述筛选规则的业务报文存储至分布式内存数据库，并将所述分布式内存数据库中的业务报文进行请求报文和响应报文的匹配，清理完成匹配的业务报文以及超出预设时间未完成匹配的业务报文。

5.根据权利要求2所述的方法，其特征在于，所述根据所述报文适配配置信息确定所述第一目标字段中的第二目标字段，并根据所述第二目标字段确定所述业务报文的适配类别包括：

读取所述配置目录，根据所述报文适配配置信息生成适配映射表；

基于所述适配映射表抓取所述第一目标字段中的第二目标字段，以及根据所述第二目标字段将所述业务报文分发至对应的所述适配类别。

6.根据权利要求2所述的方法，其特征在于，所述基于所述报文规则匹配配置信息确定所述适配类别对应的规则逻辑信息包括：

读取所述配置目录，根据所述报文规则匹配配置信息生成规则匹配映射表；

基于所述规则匹配映射表确定与所述适配类别相关联的规则逻辑信息。

7.一种基于分布式配置中心的报文处理装置，其特征在于，所述装置包括：

配置模块，用于接收客户端传输的配置数据，根据所述配置数据配置所述报文解析配置信息、报文适配配置信息和报文规则匹配配置信息；

报文获取模块，用于获取业务报文，基于所述报文解析配置信息解析获得所述业务报文的第一目标字段；

适配类别模块，用于根据所述报文适配配置信息确定所述第一目标字段中的第二目标字段，并根据所述第二目标字段确定所述业务报文的适配类别；所述第二目标字段与所述适配类别存在映射关系；

规则确定模块，用于基于所述报文规则匹配配置信息确定所述适配类别对应的规则逻辑信息；

处理模块，用于根据所述规则逻辑信息对所述业务报文进行逻辑计算处理。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images