CN114422171A - 一种异步空管数据交互方法、系统、介质及产品 - Google Patents

Abstract

本发明提供一种异步空管数据交互方法，包括接收目标用户发送的用于获取目标异步空管数据的消息消费请求，所述消息消费请求包括消息队列名称和消费用户ID；根据所述消息队列名称在若干预设消息输出队列中筛选对应的目标消息输出队列，根据所述消费用户ID在所述目标消息输出队列中定位出含有目标异步空管数据的目标消息；将所述目标消息通过所述目标消息输出队列发送至目标用户。本方明的一种异步空管数据交互方法，使数据消费端和数据生产端之间接触耦合关系，数据消费端的行为不会影响数据生产端的性能，还可以降低两个终端之间数据交换的网格复杂程度，便于运维和改造，增加了异步空管数据交互的稳定性。

Description

一种异步空管数据交互方法、系统、介质及产品

技术领域

本发明涉及航空领域，尤其涉及一种异步空管数据交互方法、系统、介质及产品。

背景技术

目前，空管业务系统采用形式多样的数据交换方案，大致方案有MQ、Webservice、UDP、FTP等，空管业务内部的数据流和网络呈网状结构。由于这种现状，空管业务内部的数据交换系统升级改造的难度会比较大，而且目前所使用的这些消息系统本身都没有数据持久化的功能。同时从广域网络的角度而言，各地的空管业务系统在数据上较为独立，本部整合各地的数据的难度也较大，各地获取本部的数据需要使用定制的方案，而没有一种通用解决方法。系统间交互方面，外部消费系统获取业务系统的空管数据都是直接从业务系统数据库中获取，这种方式对业务系统造成一定的负担，会降低业务系统工作效率并使得业务系统的故障几率提高，而且由于外部消费系统(数据消费端)与业务系统(数据生产端)之间耦合性，因此在两个系统进行空管数据交互的过程中，无论哪一方宕机，都会对数据交互造成一定影响，从而使空管数据的交互过程并不稳定。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种异步空管数据交互方法，其能解决目前异步空管数据交互过程中外部消费系统(数据消费端)与业务系统(数据生产端)之间耦合性，任何一方出现宕机，都会对数据交互造成一定影响，从而使空管数据的交互过程并不稳定的问题。

本发明的目的之二在于提供一种异步空管数据交互系统，其能解决目前异步空管数据交互过程中外部消费系统(数据消费端)与业务系统(数据生产端)之间耦合性，任何一方出现宕机，都会对数据交互造成一定影响，从而使空管数据的交互过程并不稳定的问题。

本发明的目的之三在于提供一种计算机可读存储介质，其能解决目前异步空管数据交互过程中外部消费系统(数据消费端)与业务系统(数据生产端)之间耦合性，任何一方出现宕机，都会对数据交互造成一定影响，从而使空管数据的交互过程并不稳定的问题。

本发明的目的之四在于提供一种计算机程序产品，其能解决目前异步空管数据交互过程中外部消费系统(数据消费端)与业务系统(数据生产端)之间耦合性，任何一方出现宕机，都会对数据交互造成一定影响，从而使空管数据的交互过程并不稳定的问题。

本发明的目的之一采用以下技术方案实现：

一种异步空管数据交互方法，包括以下步骤：

接收消息消费请求，接收目标用户发送的用于获取目标异步空管数据的消息消费请求，所述消息消费请求包括消息队列名称和消费用户ID；

响应请求，根据所述消息队列名称在若干预设消息输出队列中筛选对应的目标消息输出队列，根据所述消费用户ID在所述目标消息输出队列中定位出含有目标异步空管数据的目标消息；

反馈目标消息，将所述目标消息通过所述目标消息输出队列发送至目标用户。

进一步地，所述根据所述消费用户ID在所述目标消息输出队列中定位出含有目标异步空管数据的目标消息具体为：根据所述消费用户ID确定已经发送至目标用户的消息的数量，记为已发送消息数量，根据所述已发送消息数量生成与所述目标消息对应的目标消息偏移量，根据目标消息偏移量在所述目标消息输出队列中定位出含有目标异步空管数据的目标消息。

进一步地，还包括消息回溯，接收目标用户发送的含有消费用户ID的消息回溯请求，根据所述消费用户ID确认需要回溯的目标消息的回溯消息偏移量，在预设消息输入队列中从所述消息偏移量对应的消息作为起始点拉取对应的消息作为回溯消息，并将所述回溯消息通过对应的目标消息输出队列输出至目标用户。

进一步地，还包括存储消息，监听消息生产者发送的初始消息，将所述初始消息插入至预设消息输入队列中，并生成与每条初始信息对应的消息偏移量，将消息偏移量与对应的初始消息进行关联，对每条所述初始消息进行解析并提取对应的关键信息，根据所述关键信息以及预设输出队列配置表为所述初始消息筛选出对应的预设消息输出队列，将含有相同关键信息的每条初始消息均发送至对应的预设消息输出队列中。

进一步地，在所述响应请求之前还包括权限判定步骤，根据所述消息消费请求中的所述消费用户ID判断目标用户是否具有请求权限，若是，执行所述响应请求步骤，若否，则不作响应。

本发明的目的之二采用以下技术方案实现：

一种异步空管数据交互系统，包括接入层、服务层，所述接入层包括接入端口和网关，所述接入端口与所述网关连接，所述服务层包括数据总线，所述数据总线包括若干个分布式排布的消息输出队列、单个消息输入队列以及分发模块，所述消息输出队列和所述消息输入队列均与所述网关连接，所述分发模块与所消息输出队列和所述消息输入队列连接；

所述分发模块通过所述网关接收目标用户发送的用于获取目标异步空管数据的消息消费请求，所述消息消费请求包括消息队列名称和消费用户ID；所述分发模块根据所述消息队列名称在若干预设消息输出队列中筛选对应的目标消息输出队列，所述分发模块根据所述消费用户ID在所述目标消息输出队列中定位出含有目标异步空管数据的目标消息；所述分发模块将所述目标消息通所述目标消息输出队列发送至所述网关，再由所述网关发送至目标用户。

进一步地，所述分发模块包括流处理组件以及配置中心，所述配置中心存储有消息输出队列配置表，所述流处理组件根据所述消息队列名称以及所述消息输出队列配置表在若干预设消息输出队列中筛选对应的目标消息输出队列。

进一步地，所述数据总线还包括监听模块，所述监听模块实时监听消息生产者发送的初始消息，所述监听模块将所述初始消息插入至预设消息输入队列中，并生成与每条初始信息对应的消息偏移量，所述监听模块将消息偏移量与对应的初始消息进行关联，所述监听模块对每条所述初始消息进行解析并提取对应的关键信息，所述监听模块根据所述关键信息以及预设输出队列配置表为所述初始消息筛选出对应的预设消息输出队列，所述监听模块将含有相同关键信息的每条初始消息均发送至对应的预设消息输出队列中。

本发明的目的之三采用以下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行本申请所述的一种异步空管数据交互方法。

本发明的目的之四采用以下技术方案实现：

一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请所述的一种异步空管数据交互方法。

相比现有技术，本发明的有益效果在于：本申请中的一种异步空管数据交互方法，通过根据所述消息队列名称在若干预设消息输出队列中筛选对应的目标消息输出队列，根据所述消费用户ID在所述目标消息输出队列中定位出含有目标异步空管数据的目标消息，将所述目标消息通过所述目标消息输出队列发送至目标用户，使数据消费端和数据生产端之间接触耦合关系，数据消费端的行为不会影响数据生产端的性能，还可以降低两个终端之间数据交换的网格复杂程度，便于运维和改造，增加了异步空管数据交互的稳定性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的一种异步空管数据交互方法的流程示意图；

图2为本发明的一种异步空管数据交互系统中的各部件交互示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

如图1所示，本申请中一种异步空管数据交互方法，包括以下步骤：

生成消息，消息生产者审实时生成不同类型的含有异步空管数据的消息；

存储消息，监听消息生产者发送的初始消息，将初始消息插入至预设消息输入队列中，并生成与每条初始信息对应的消息偏移量，将消息偏移量与对应的初始消息进行关联，对每条初始消息进行解析并提取对应的关键信息，根据关键信息以及预设输出队列配置表为初始消息筛选出对应的预设消息输出队列，将含有相同关键信息的每条初始消息均发送至对应的预设消息输出队列中。

接收消息消费请求，接收目标用户发送的用于获取目标异步空管数据的消息消费请求，消息消费请求包括消息队列名称和消费用户ID。在本实施例中，消息队列名称即为目标用户需要获取的目标消息所对应的预设消息输出队列的名称，消费用户ID用于表明目标用户自身信息的身份信息。

权限判定步骤，根据消息消费请求中的消费用户ID判断目标用户是否具有请求权限，若是，执行响应请求步骤，且返回数字证书至目标用户，若否，则不作响应。在本实施例中目标用户通过应用终端发送消息消费请求，预先设置有消费用户白名单，即用于判断发送消费请求的用户是否具有信息订阅的权限，目标用户在接收到对应的数字证书后，通过数字证书发送上述的消息消费请求至网关。

响应请求，根据消息队列名称在若干预设消息输出队列中筛选对应的目标消息输出队列，根据消费用户ID在目标消息输出队列中定位出含有目标异步空管数据的目标消息。在本实施例中根据消费用户ID在目标消息输出队列中定位出含有目标异步空管数据的目标消息具体为：根据消费用户ID确定已经发送至目标用户的消息的数量，记为已发送消息数量，根据已发送消息数量生成与目标消息对应的目标消息偏移量，根据目标消息偏移量在目标消息输出队列中定位出含有目标异步空管数据的目标消息。

消息回溯，接收目标用户发送的含有消费用户ID的消息回溯请求，根据消费用户ID确认需要回溯的目标消息的回溯消息偏移量，在预设消息输入队列中从消息偏移量对应的消息作为起始点拉取对应的消息作为回溯消息，并将回溯消息通过对应的目标消息输出队列输出至目标用户。

如图2所示，本发明还提供一种异步空管数据交互系统，包括接入层、服务层，接入层包括接入端口和网关，接入端口与网关连接，服务层包括数据总线，数据总线包括若干个分布式排布的消息输出队列、单个消息输入队列以及分发模块，消息输出队列和消息输入队列均与网关连接，分发模块与所消息输出队列和消息输入队列连接，上述网关包括与消息消费端中应用(例如APP等应用软件)连接的消费端网关、与消息生产者对应的终端连接的生产端网关，消费端网关与接入端口连接，另外服务层还包括若干适配器、输入请求控制器、输出请求控制器，图2中的生产系统即为消息生产对应的终端，则不同的生产系统通过适配器与生产端网关连接，生产端网关通过输入请求控制器与数据总线中的预设消息输入队列(即图2中的输入队列)连接，数据总线中另一端的不同的预设消息输出队列(即图2中的输出队列)，并通过输出请求控制器与网关建立通信关系，再通过网关与目标用户对应的应用进行交互。上述分发模块包括流处理组件以及配置中心，配置中心存储有消息输出队列配置表，流处理组件根据消息队列名称以及消息输出队列配置表在若干预设消息输出队列中筛选对应的目标消息输出队列。且本实施例中的数据总线是整个系统的传输管道，其中有若干个队列，这些队列保存实体层对象传输的消息并持久化到磁盘，以索引方式查找数据；总线采用集群化部署的思想，每个队列都有若干个副本，正常时仅仅复制主队列中的数据，当主队列不能工作时，会自动将负载转移到副本；总线队列有完善的监控机制。上述接入层支持REST协议、AMQP协议和Kafka协议。而且本申请中的系统还包括基础设施层，基础设施层为系统中的服务提供运行所需的软硬件环境。基础设施层划分为平台服务层和基础资源层。平台服务层为平台提供运行所需的软件资源，包括操作系统资源、数据库资源、JVM(是Java Virtual Machine(Java虚拟机)的缩写)运行环境，spring cloud(是一系列框架的有序集合)运行环境、flink(是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎)计算引擎等。基础资源层为平台提供运行所需的硬件资源，包括计算资源，网络资源，存储资源等。

优选地，分发模块包括流处理组件以及配置中心，配置中心存储有消息输出队列配置表，流处理组件根据消息队列名称以及消息输出队列配置表在若干预设消息输出队列中筛选对应的目标消息输出队列。

整个交互包括以下过程：

消息消费过程：

目标用户通过对应应用浏览消息服务目录，选择需要的消息服务，即确定对应的消息队列名称(即前述的预设消息输出队列名称)，在本实实例中，每个预设消息输出队列中预存有对应类型的消息。此时用户还通过应用端输入表明自身身份的消费用户ID，从而生成含有消息队列名称和消费用户ID的消息消费请求，此时根据上述的消费用户ID审核目标用户是否有请求权限，若是，则执行下一步骤，且返回数字证书至目标用户；若否，则结束进程。

目标用户在接收到对应的数字证书后，通过数字证书发送上述的消息消费请求至网关，并由网关转发至对应的输出请求控制器，由输出请求控制器将上述消息消费请求发送至数据总线；

数据总线中的分发模块根据消息队列名称在若干预设消息输出队列中筛选对应的目标消息输出队列，分发模块根据消费用户ID在目标消息输出队列中定位出含有目标异步空管数据的目标消息；分发模块将目标消息通目标消息输出队列发送至网关，再由网关发送至目标用户。

消息生产过程：消息生产者通过生产系统发布含有不同类型异步空管数据的初始消息，异步空管数据的类型为航班计划或航路或航线、基础数据或机载设备信息或机载能力信息或进离港信息等航空相关的初始消息。上述含有异步空管数据的消息经过网关、输入请求控制器存储至预设消息输入队列(即图2中的输入队列)，此时数据总线中的监听模块实时监听消息生产者发送的初始消息，监听模块将初始消息插入至预设消息输入队列中，并生成与每条初始信息对应的消息偏移量，监听模块将消息偏移量与对应的初始消息进行关联，监听模块对每条初始消息进行解析并提取对应的关键信息，监听模块根据关键信息以及预设输出队列配置表为初始消息筛选出对应的预设消息输出队列，监听模块将含有相同关键信息的每条初始消息均发送至对应的预设消息输出队列中。在本申请中的系统中，专门配置监听器用于监听消息生产者发布的初始消息。

消息回溯，数据总线接收目标用户发送的含有消费用户ID的消息回溯请求，根据消费用户ID确认需要回溯的目标消息的回溯消息偏移量，在预设消息输入队列中从消息偏移量对应的消息作为起始点拉取对应的消息作为回溯消息，并将回溯消息通过对应的目标消息输出队列输出至目标用户。在本实施例中，数据总线记录有每个用户在对应预设消息输出队列上的对应的消息偏移量，将数据总线中的所有初始消息作为总线队列(与传统队列的区别在于，它将数据持久化到磁盘，并以索引方式定位数据)被分隔成若干段，每一段拥有一个唯一的编号，即偏移量offset,偏移量按照段在队列中的先后顺序从0开始，以1为单位连续增长在进行消息回溯时，该位置以提交时的消息偏移量为准，因此重建后消费实例回到上次提交的消息偏移量(offset)，该过程要达到回溯的目的，不可先提交偏移量再调用回溯请求。

在消息回溯过程中，正常情况下，用户在在消费n(n为正整数)条消息的同时，其对应的offset(消息偏移量)向前移动n个单位，消费完成并成功处理这批消息后，向集群提交当前消费实例的位置(调用commit(提交偏移量)功能即提交，不提交则集群不更新当前消费实例在队列中的位置)；若未成功处理这批消息(如程序崩溃、处理异常，网络异常等情况)，则不提交当前消费实例的位置，并调用回溯功能，将当前消费实例的offset(消息偏移量)还原到执行本次消费前，并重新开始消费，此次消费到的消息则包括了上次消费时未成功处理的消息。生产者成功将消息生产到指定队列后，会返回当前消息的offset(消息偏移量)，便于定位消息；平台提供了消息查找功能api，可根据队列信息(即预设消息输出队列的名称)、offset(消息偏移量)查找对应的初始消息作为需要回溯的消息；不同消费组可以同时消费同一个队列而且互不影响。上述的交互方式完成了生产与消费之间，服务与服务之间的解耦，同时达到了异步交互的目的

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行本申请的一种异步空管数据交互方法。

本发明还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请的一种异步空管数据交互方法。

本申请中的一种异步空管数据交互方法，通过根据消息队列名称在若干预设消息输出队列中筛选对应的目标消息输出队列，根据消费用户ID在目标消息输出队列中定位出含有目标异步空管数据的目标消息，将目标消息通过目标消息输出队列发送至目标用户，使数据消费端和数据生产端之间接触耦合关系，数据消费端的行为不会影响数据生产端的性能，还可以降低两个终端之间数据交换的网格复杂程度，便于运维和改造，增加了异步空管数据交互的稳定性。还具体以下技术效果：1、数据消费对生产系统没有关联，数据消费不会影响数据生产的性能；2、使生产和消费解耦，可降低系统后续升级改造的难度；3、可以降低系统间数据交换的网络复杂度，便于运维和改造；4、可以对所有进入队列的消息进行回溯，包括航班信息、航迹等；5、在消息回溯的过程中不会对消息队列的正常消费或生产行为产生影响；6、回溯可以根据各种场景灵活配置；7、支持部分回溯和全数据回溯。

以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。

Claims (10)

1.一种异步空管数据交互方法，其特征在于：包括以下步骤：

接收消息消费请求，接收目标用户发送的用于获取目标异步空管数据的消息消费请求，所述消息消费请求包括消息队列名称和消费用户ID；

响应请求，根据所述消息队列名称在若干预设消息输出队列中筛选对应的目标消息输出队列，根据所述消费用户ID在所述目标消息输出队列中定位出含有目标异步空管数据的目标消息；

反馈目标消息，将所述目标消息通过所述目标消息输出队列发送至目标用户。

2.如权利要求1所述的一种异步空管数据交互方法，其特征在于：所述根据所述消费用户ID在所述目标消息输出队列中定位出含有目标异步空管数据的目标消息具体为：根据所述消费用户ID确定已经发送至目标用户的消息的数量，记为已发送消息数量，根据所述已发送消息数量生成与所述目标消息对应的目标消息偏移量，根据目标消息偏移量在所述目标消息输出队列中定位出含有目标异步空管数据的目标消息。

3.如权利要求1所述的一种异步空管数据交互方法，其特征在于：还包括消息回溯，接收目标用户发送的含有消费用户ID的消息回溯请求，根据所述消费用户ID确认需要回溯的目标消息的回溯消息偏移量，在预设消息输入队列中从所述消息偏移量对应的消息作为起始点拉取对应的消息作为回溯消息，并将所述回溯消息通过对应的目标消息输出队列输出至目标用户。

4.如权利要求1所述的一种异步空管数据交互方法，其特征在于：还包括存储消息，监听消息生产者发送的初始消息，将所述初始消息插入至预设消息输入队列中，并生成与每条初始信息对应的消息偏移量，将消息偏移量与对应的初始消息进行关联，对每条所述初始消息进行解析并提取对应的关键信息，根据所述关键信息以及预设输出队列配置表为所述初始消息筛选出对应的预设消息输出队列，将含有相同关键信息的每条初始消息均发送至对应的预设消息输出队列中。

5.如权利要求1所述的一种异步空管数据交互方法，其特征在于：在所述响应请求之前还包括权限判定步骤，根据所述消息消费请求中的所述消费用户ID判断目标用户是否具有请求权限，若是，执行所述响应请求步骤，若否，则不作响应。

6.一种异步空管数据交互系统，其特征在于：包括接入层、服务层，所述接入层包括接入端口和网关，所述接入端口与所述网关连接，所述服务层包括数据总线，所述数据总线包括若干个分布式排布的消息输出队列、单个消息输入队列以及分发模块，所述消息输出队列和所述消息输入队列均与所述网关连接，所述分发模块与所消息输出队列和所述消息输入队列连接；

所述分发模块通过所述网关接收目标用户发送的用于获取目标异步空管数据的消息消费请求，所述消息消费请求包括消息队列名称和消费用户ID；所述分发模块根据所述消息队列名称在若干预设消息输出队列中筛选对应的目标消息输出队列，所述分发模块根据所述消费用户ID在所述目标消息输出队列中定位出含有目标异步空管数据的目标消息；所述分发模块将所述目标消息通所述目标消息输出队列发送至所述网关，再由所述网关发送至目标用户。

7.如权利要求6所述的一种异步空管数据交互系统，其特征在于：所述分发模块包括流处理组件以及配置中心，所述配置中心存储有消息输出队列配置表，所述流处理组件根据所述消息队列名称以及所述消息输出队列配置表在若干预设消息输出队列中筛选对应的目标消息输出队列。

8.如权利要求6所述的一种异步空管数据交互系统，其特征在于：所述数据总线还包括监听模块，所述监听模块实时监听消息生产者发送的初始消息，所述监听模块将所述初始消息插入至预设消息输入队列中，并生成与每条初始信息对应的消息偏移量，所述监听模块将消息偏移量与对应的初始消息进行关联，所述监听模块对每条所述初始消息进行解析并提取对应的关键信息，所述监听模块根据所述关键信息以及预设输出队列配置表为所述初始消息筛选出对应的预设消息输出队列，所述监听模块将含有相同关键信息的每条初始消息均发送至对应的预设消息输出队列中。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行权利要求1-5中任意一项所述的一种异步空管数据交互方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-5中任意一项所述的一种异步空管数据交互方法。

Images