CN112788074A - 数据发送方法、处理方法、接收方法及其设备、存储介质 - Google Patents
数据发送方法、处理方法、接收方法及其设备、存储介质 Download PDFInfo
- Publication number
- CN112788074A CN112788074A CN201911080915.7A CN201911080915A CN112788074A CN 112788074 A CN112788074 A CN 112788074A CN 201911080915 A CN201911080915 A CN 201911080915A CN 112788074 A CN112788074 A CN 112788074A
- Authority
- CN
- China
- Prior art keywords
- task
- data
- message
- request message
- receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000003672 processing method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 52
- 230000006854 communication Effects 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 13
- 238000013075 data extraction Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 abstract description 19
- 230000008569 process Effects 0.000 abstract description 13
- 238000012423 maintenance Methods 0.000 abstract description 6
- 238000011161 development Methods 0.000 abstract description 4
- 239000003795 chemical substances by application Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 230000003993 interaction Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011068 loading method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 101100272279 Beauveria bassiana Beas gene Proteins 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/566—Grouping or aggregating service requests, e.g. for unified processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/562—Brokering proxy services
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请公开了数据发送方法、处理方法、接收方法及其设备、存储介质。其中，所述数据处理方法包括：接收来自第一前置设备的任务请求消息，所述任务请求消息包括任务标识，根据所述任务请求消息触发数据处理任务，抽取第一前置设备第一中间库中与所述任务标识关联的任务数据，并将所抽取的任务数据写入第二前置设备的第二中间库。本申请实施例中，通过消息中间件机制实现了对数据任务的主动控制，无需手工执行或通过设定执行策略，可根据业务的需要和执行条件控制数据任务的处理过程，能够与业务有效进行结合，适用范围广。同时，采用消息中间件机制能够实现平台与应用系统的解耦，降低了开发和维护的难度，具有较好的通用性。
Description
技术领域
本申请实施例涉及但不限于信息管理技术领域，尤其涉及一种数据发送方法、处理方法、 终端设备、前置设备、数据交换中心及其接收方法及计算机可读存储介质。
背景技术
随着政府、企业电子信息化建设的进一步推进，政企组织内部各系统之间的数据交流需 求也在不断加强。然而，各个系统设计建设的时期不通、业务模式不同，信息化建设缺乏整 体的、统一的设计。多数系统是由不同厂商在不同的平台架构上，使用了不同的技术开发， 信息共享交互困难，存在了大量的信息孤岛和流程孤岛。
为了有效整合分散异构的信息资源，消除“信息孤岛”现象，现有的数据服务系统上， 通常任务的调度多为手工执行或通过设定执行策略，任务根据设定脚本固定时间启动，但任 务何时完成以及执行结果并不能及时通知第三方业务系统，只能通过运维定期人工查看，无 法有效的和实际业务相结合。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
第一方面，本申请实施例提供了一种数据发送方法，应用于终端设备，包括：
获取任务数据，将所述任务数据发送至第一前置设备；
向所述第一前置设备的第一消息中间件发送任务请求消息，所述任务请求消息包括与 所述任务数据关联的任务标识。
第二方面，一种数据处理方法，应用于前置设备，包括：
接收来自第一终端设备的任务数据；
接收来自第一终端设备的任务请求消息，所述任务请求消息包括任务标识，所述任务 标识与所述任务数据关联；
将所述任务请求消息发送至数据交换中心；
接收来自数据交换中心的数据抽取请求，将所述任务数据发送至所述数据交换中心。
第三方面，本申请实施例还提供了一种数据处理方法，应用于数据交换中心，包括：
接收来自第一前置设备的任务请求消息，所述任务请求消息包括任务标识；
根据所述任务请求消息触发数据处理任务，抽取第一前置设备第一中间库中与所述任 务标识关联的任务数据，并将所抽取的任务数据写入第二前置设备的第二中间库。
第四方面，本申请实施例还提供了一种数据处理方法，应用于前置设备，包括：
接收来自数据交换中心的任务数据；
接收来自数据交换中心的任务通知消息，所述任务通知消息包括任务标识，所述任务标 识与所述任务数据关联；
将所述任务通知消息发送至第二终端设备；
接收来自第二终端设备的数据抽取请求，将所述任务数据发送至所述第二终端设备。
第五方面，本申请还提供了一种数据接收方法，应用于终端设备，包括：
接收来自第二前置设备的任务通知消息，所述任务通知消息包括任务标识；
根据所述任务通知消息，抽取所述第二前置设备第二中间库中与所述任务标识关联的任 务数据。
第六方面，本申请还提供了一种终端设备，包括：存储器、处理器及存储在存储器上并 可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请第一方面 实施例所述的数据发送方法，或者，实现如本申请第五方面实施例所述的数据接收方法。
第七方面，本申请还提供了一种前置设备，包括：存储器、处理器及存储在存储器上并 可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请第二方面 实施例所述的数据处理方法，或者，实现本申请第四方面实施例所述的数据处理方法。
第八方面，本申请还提供了一种数据交换中心，包括：存储器、处理器及存储在存储器 上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请第三方 面实施例所述的数据处理方法。
本申请实施例包括：获取任务数据，将所述任务数据发送至第一前置设备，向所述第一 前置设备的第一消息中间件发送任务请求消息，所述任务请求消息包括与所述任务数据关联 的任务标识；接收来自第一终端设备的任务数据,接收来自第一终端设备的任务请求消息， 所述任务请求消息包括任务标识，所述任务标识与所述任务数据关联,将所述任务请求消息发 送至数据交换中心,接收来自数据交换中心的数据抽取请求，将所述任务数据发送至所述数据 交换中心；接收来自第一前置设备的任务请求消息，所述任务请求消息包括任务标识；根据 所述任务请求消息触发数据处理任务，抽取第一前置设备第一中间库中与所述任务标识关联 的任务数据，并将所抽取的任务数据写入第二前置设备的第二中间库；接收来自数据交换中 心的任务数据；接收来自数据交换中心的任务通知消息，所述任务通知消息包括任务标识， 所述任务标识与所述任务数据关联；接收来自第二前置设备的任务通知消息，所述任务通知 消息包括任务标识,根据所述任务通知消息，抽取所述第二前置设备第二中间库中与所述任务 标识关联的任务数据。
根据本申请实施例提供的方案，通过任务标识与任务数据关联，任务数据与任务请求消 息分别传输的方式实现对数据处理任务有效控制，提高了数据交互的效率，利用消息中间件 通信机制，能提高对接不同业务的通用性。
本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而 易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书 以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用 于解释本申请的技术本申请技术方方案，并不构成对本申请技术方案的限制。
图1是现有ETL系统的系统原理图；
图2是本申请一个实施例提供的数据管理系统的系统原理图；
图3是本申请一个实施例提供的第一终端设备的数据发送方法第一实施例的方法流程 图；
图4是本申请一个实施例提供的第一前置设备的数据处理方法第一实施例的方法流程 图；
图5是本申请一个实施例提供的数据交换中心的数据处理方法第一实施例的方法流程 图；
图6是图5步骤301一种实施方式的方法流程图；
图7是图5步骤301另一种实施方式的方法流程图；
图8是本申请一个实施例提供的数据交换中心的数据处理方法第二实施例的方法流程 图；
图9是本申请一个实施例提供的第二前置设备的数据处理方法第一实施例的方法流程图
图10是本申请一个实施例提供的第一终端设备的数据接收方法第一实施例的方法流程 图；
图11是图10中步骤501一种实施方式的方法流程图；
图12是图10中步骤501另一种实施方式的方法流程图；
图13是本申请一个实施方式的终端设备的结构框图；
图14是本申请一个实施方式的前置设备的结构框图；
图15是本申请一个实施方式的数据交换中心的结构框图；
图16是本申请一个实施方式的Jms消息接口配置的可视化界面图；
图17是本申请一个实施方式的Jms消息服务配置的可视化配置界面图；
图18是本申请一个实施方式的Kafka消息服务配置的可视化配置界面图；
图19是本申请一个实施方式的ETL任务映射的可视化配置界面图；
图20是本申请一个实施方式的服务驱动管理界面图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申 请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于 限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序， 但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述 的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的 对象，而不必用于描述特定的顺序或先后次序。
为了有效整合分散异构的信息资源，消除“信息孤岛”现象，目前需要采用 ETL(Extract-Transform-Load，抽取-转换-加载)工具编排处理任务，参照图1所示，为现有ETL系统结构，用户从分布的、异构数据源中提取出所需的数据，按照预先设计好的规则对抽取到的数据进行转换或清洗，最终按照预先定义好的数据仓库模型，将处理后的数据加载 到数据仓库中去。但是不同异构数据源并没有规划好的统一的目标数据，而ETL的核心是 转换过程，抽取和加载可以作为转换的输入和输出。
目前ETL任务的调度多为手工执行或通过设定执行策略，例如任务根据设定脚本固定 时间启动，但任务何时完成以及执行结果并不能及时通知第三方业务系统，只能通过运维定 期人工查看数据的抽取、转换、加载是否完成，无法有效的和实际业务相结合。
基于此，本申请实施例提供了一种数据发送方法、处理方法、、接收方法、终端设备、 前置设备、数据交换中心及其计算机可读存储介质，实现对数据处理任务的有效控制，提高 了数据交互的效率，提高对接不同业务平台的通用性和结合程度。
参照图2所示，图2是本申请一个实施例提供的数据管理系统的系统原理图，该系统可 以包括但不限于第一终端设备、第一前置设备、数据交换中心、第二前置设备和第二终端设 备。其中第一终端设备和第二终端设备可以为各种的电子设备，例如计算机、移动终端、服 务器或具有处理器和存储数据功能的其他电子设备，例如外置处理模块，分布式设备等。所 述第一终端设备和第二终端设备可以分别处于不同的业务平台，这时第一终端设备的任务数 据不能直接传输到第二终端设备，需要通过ETL工具对数据进行提取、转换、加载到第二 终端设备，例如图2所示的数据交换中心包括ETL工具的服务器，通过该ETL工具能够实 现任务数据的提取、转换、加载。第一前置设备设置于第一终端设备与数据交换中心之间用 于协调第一终端设备与数据交换中心的通信过程，第二前置设备设置于第二终端设备和数据 交换中心之间用于协调第二终端设备和数据交换中心的通信过程。
所述第一前置设备和第二前置设备可以为前置机，从网络和安全角度来看，前置机有隔 离主机的作用，保证外部的应用不能直接访问核心服务，比如银行的各类外部接口(电信代 收费、银证通)。从业务角度来看，前置机提供了业务渠道与核心服务的主机交流的一个桥 梁。它一般起着管理和调度业务渠道发起的交易的作用，经过前置机的调用可以减轻核心后 台服务器的负担。目前政企内外网两端的业务系统需要数据交换，在各自业务系统前布置前 置机，实现数据交换。本实施例中，第一前置设备和第二前置设备配置有中间库，例如第一 设备的第一中间库和第二设备的第二中间库，中间库起到中转和存储任务数据的功能，为了 安全和隔离，ETL工具不能直接抽取各个平台的任务数据，而需要将任务数据先存储在第一 中间库中，再由ETL工具进行抽取，同理，ETL工具也不能直接将任务数据写入平台的存 储器或数据库，而需要将任务数据先写入到第二中间库中，再由接收数据的终端设备到中间 库中提取任务数据。如图2所示，第一终端设备、第一中间库、ETL工具、第二中间库、第 二终端设备依次连接建立了任务数据的传输通道。
为了对任务数据的传输，处理过程进行有效的跟踪管理，实现平台和应用系统的解耦， 提高数据处理的效率及能更好地适应各种平台，本申请实施例中利用消息中间件机制控制任 务数据的处理过程，例如控制ETL工具的执行过程。参照图2所示，所述第一前置设备设 置有第一消息中间件，所述第二前置设备设置有第二消息中间件，同时，所述第一终端设备 和第二终端设备配置有消息中间件接口，以便可以通过消息中间件机制实现任务信息的传 递。上述消息中间件，包括任意形式的可以面向分布式系统提高可靠和高效的数据传送服务 的组件，或者其它形式的软件工具。
所述数据交换中心也设置有消息代理模块，ETL工具通过消息代理接口与所述消息代理 模块通信。消息中间件机制适用于访问消息系统独立于厂商的应用程序接口(API)，它提 供给应用程序创建、发送、接收和读取消息的接口，例如Java消息服务规范中的JMS消息 中间件或Kafka消息中间件则是常用的消息中间件通信机制。第一中间件和第二中间件可以 是Java平台的JMS或Kafka实现，也可以是非Java平台的面向消息中间件的适配器。在消 息中间件通信机制中，包括消息的生产者、消费者和消息中间件，生产者发布消息，消息中 间件将消息从生产者转发到消费者，消费者接收并处理消息。在本申请实施例中，第一终端 设备是消息的生产者，第二终端设备为消息的消费者，数据交换中心是相对于第一终端设备 的消费者，也是相对于第二终端设备的生产者，数据交换中心通过消息中间件获取来自第一 终端设备的任务请求消息，数据交换中心响应所述的任务请求消息触发数据处理任务，从第 一前置设备的第一中间库中提取相应的任务数据，进行数据的处理后写入到第二前置设备的 第二中间库中，完成ETL任务，然后数据交换中心作为消息的生产者，通过第二前置设备 的第二消息中间件向第二终端设备发送任务通知消息，以便通知第二终端设备可以从第二中 间库中提取任务数据。如图2所示，所述第一终端设备、第一消息中间件、消息代理模块、 第二消息中间件、第二终端设备依次连接建立了通知消息的传输通道。
由于第一终端设备、数据交换中心和第二终端设备的通知消息是通过消息中间件机制传 输的，属于异步通信模式，以第一终端设备为例，第一终端设备将任务请求消息发到第一消 息中间件后，无需等待数据交换中心的响应，后续的通信流程由第一消息中间件负责完成， 因此实现了第一终端设备与数据交换中心的解耦。消息中间件有队列和主题模式，其中队列 模式也可以称为点对点模式，一般是消费者主动拉取，确认之后就可以删除消息。即使有多 个订阅者，队列中的消息只能被一个消费者消费，例如，系统A向队列发送一条信息，消息 中间件发现队列所指向的目的队列实际上位于系统B，它将信息放到本地的一个特殊队列- 传输队列(Transmission Queue)。建立一条从系统A到系统B的消息通道，消息通道代理将 从传输队列中读取消息，并传递这条信息到系统B，然后等待确认。只有消息中间件接到系 统B成功收到信息的确认之后，它才从传输队列中真正将该信息删除。主题模式也称为发布 /订阅模式，发布/订阅功能使消息的分发可以突破目的队列地理指向的限制，使消息按照特 定的主题甚至内容进行分发，用户或应用程序可以根据主题或内容接收到所需要的消息。发 布/订阅功能使得发送者和接收者之间的耦合关系变得更为松散，发送者不必关心接收者的 目的地址，而接收者也不必关心消息的发送地址，而只是根据消息的主题进行消息的收发。
参照图2所示，本申请一个实施例提供的系统，第一终端设备的任务数据需要发送到第 二终端设备，由于第一终端设备和第二终端设备所处的平台不同，数据不能直接互通，需要 通过ETL工具对任务数据进行抽取、转换、加载到第二终端设备。
第一终端设备、数据交换中心和第二终端设备配置有与消息中间件通信的接口和/或插 件，第一终端设备获取需要处理的任务数据及需要指示ETL工具如何对该任务数据进行处 理的任务内容。
第一终端设备获取任务标识，所述任务标识可以是系统自动生成或由用户输入或配置， 例如可以在任务数据中提取关键字自动生成任务标识，或者可以向用户提供可视化界面，供 用户输入或配置。所述任务标识与任务数据关联，即数据交换中心能够根据该任务标识对相 关的任务数据进行处理，任务标识与任务数据的关联，可以和数据交换中心、第二终端设备 预先约定任务标识和任务数据的关系，或者通过映射的方式建立任务标识和任务数据的联 系，也可以提取任务数据的信息与任务标识进行关联，例如将任务数据的数据库名称或数据 表名称作为任务标识，则自动建立了任务标识与任务数据的关联。
所述任务标识可以约定为各种消息类型，例如上述的数据库名称或数据表名称等。第一 终端设备依据上述的任务标识和配置好的消息中间件接口信息生成任务请求消息，即所述任 务请求消息包括两部分内容，一部分为用于指示消息发送对象，另一部分为用于指示ETL 工具如何执行任务，例如一种实施方式中，任务标识用于指示ETL工具的处理数据对象， 为任务数据的数据表名称，ETL工具的任务触发通过任务内容消息触发提取对应的任务数 据。另一种实施方式中，所述任务标识除了用于指示ETL工具的处理数据对象外，还用于 指示ETL工具执行对应的任务，这时需要数据交换中心约定或设置任务标识与数据处理任 务的关联，第一终端设备只需要将所述任务标识发送至数据交换中心，即可指示ETL工具 执行指定的ETL任务。
第一终端设备首先将待处理的任务数据发送至第一前置设备的第一中间库中，可以采用 串行或并行的方式进行发送，任务数据的发送方式为现有技术，在此不再赘述。第一终端设 备通过第一前置设备的第一消息中间件将所述任务请求消息发送至数据交互中心，如上所 述，可以通过队列或主题模式发送。
当采用主题模式时，第一终端设备需要设置第一消息主题信息，所述第一消息主题信息 包括用于对消息进行分类的第一消息主题，数据交换中心需要预先订阅所述第一消息主题； 第一终端设备向第一前置设备发送的任务请求消息包括所述第一消息主题信息和任务标识， 当第一前置设备的第一消息中间件接收来自第一终端设备的任务请求消息，将所述任务请求 消息保存到第一消息主题下，由于数据交换中心订阅了所述的第一消息主题，因此第一消息 中间件会将所述的任务请求消息发送至数据交互中心，实现任务请求消息的发送。参照图2 所示，本实施例中，给出了一个第一终端设备和一个第二终端设备，在另一些实施例中，也 可以设置多个终端设备并对应配置前置设备，这时所述数据交换中心可以订阅多个终端设备 的多条消息主题，该实施例适用于对多个对象的数据发送任务，例如任务请求信息的任务内 容是将当前任务数据发送给多个第三方平台。
当采用队列模式时，第一终端设备需要设置第一队列信息，所述第一队列信息包括第一 队列名称，数据交换中心需要预先订阅所述第一队列名称；第一前置设备向第一前置设备发 送的任务请求消息包括所述第一队列信息和任务标识，当第一前置设备的第一消息中间件接 收来自第一终端设备的任务请求消息，将所述任务请求消息保存到第一队列名称下，由于数 据交换中心订阅了所述的第一队列名称，因此第一消息中间件会将所述的任务请求消息发送 至数据交换中心，实现任务请求消息的发送。在队列模式下只有一个消费者，即所述任务请 求消息只会发送到一个数据交换中心。
数据交换中心设置有消息代理模块，用于实现消息中间件消息的接收、发送和触发数据 处理任务。其中数据交换中心也可以提供可视化界面让用户进行配置，例如通过数据交互中 心的平台配置业务系统配置中间件通知消息接口、配置任务标识与数据处理任务的关联映 射。上述配置可以在数据交换中心本地进行，也可以远程访问数据交互中心进行配置，例如 通过浏览器或软件程序提供的可视化操作界面进行配置。
所述消息代理模块通过订阅中间件消息实现消息中间件消息的接收，消息代理模块可以 采用主题模式或队列模式实现消息的订阅和接收，当采用主题模式时，设置消息代理模块订 阅第一消息主题，当第一消息中间件接收到包括第一消息主题消息的任务请求信息后，会将 所述任务请求信息发送至消息代理模块。同理，当采用队列模式时，消息代理模块订阅了第 一队列名称，第一消息中间件接收到包括第一队列名称的任务请求信息后，所述任务请求信 息发送至消息代理模块。
消息代理模块接收到任务请求消息后，获得任务标识，由于数据交换中心建立了任务标 识与数据处理任务之间的映射，因此通过该任务标识即可触发ETL工具执行对应的数据处 理任务，ETL工具根据任务标识映射的数据处理任务从第一前置设备的第一中间库中获取任 务标识对应的任务数据，对所述任务数据进行处理后写入到第二前置设备的第二中间库。另 一种实施方式是，对于数据格式共通的平台数据交互，ETL工具也可以不对所述的任务数据 进行处理，直接将所述任务数据从第一中间库中的任务数据加载到第二中间库中。
ETL工具完成数据处理任务后，需要通知第二终端设备接收任务数据，这时ETL工具 通过消息中间件组件向消息代理模块发送通知信息，消息代理模块接收到通知信息后，通过 消息中间件机制向第二终端设备发送任务通知消息，其中所述任务通知消息包括与所述任务 数据关联的任务标识。具体地，消息代理模块向第二前置设备的第二中间件发送任务通知消 息，所述任务通知消息包括与所述任务数据关联的任务标识，第二中间件根据所述任务通知 消息，将任务通知消息发送至第二终端设备。当采用主题模式通信时，任务通知消息中包括 第二消息主题信息，所述第二消息主题信息包括第二消息主题，第二终端设备订阅了第二消 息主题，因此第二中间件将所述任务通知消息发送至第二终端设备。当采用队列模式通信时， 任务通知消息中包括第二队列信息，所述第二队列信息包括第二队列名称，第二终端设备订 阅了第二队列名称，因此第二中间件将所述任务通知消息发送至第二终端设备。
当第二终端设备接收到任务通知消息后，得知处理好的任务数据已经存储在第二前置设 备，第二终端设备响应所述的任务通知消息从第二前置设备的第二中间库中提取对应所述任 务标识的任务数据。
本申请上述实施例中，通过消息中间件机制实现了对ETL任务的主动控制，无需手工 执行或通过设定执行策略，可根据业务的需要和执行条件控制ETL任务的处理过程，能够 与业务有效进行结合，适用范围广。同时，采用消息中间件机制能够实现平台与应用系统的 解耦，降低了开发和维护的难度，具有较好的通用性。
参照图3所示，是本申请一个实施例提供的一种数据发送方法，应用于终端设备，本申 请实施例所述的终端设备可以为各种的电子设备，例如计算机、移动终端、服务器或具有处 理器和存储数据功能的其他电子设备，例如外置处理模块，分布式设备等，所述方法包括但 不限于以下步骤：
步骤101，获取任务数据，将所述任务数据发送至第一前置设备；
步骤102，向所述第一前置设备的第一消息中间件发送任务请求消息，所述任务请求消 息包括与所述任务数据关联的任务标识。
本实施例中，终端设备将任务数据发送到第一前置设备后，再向第一前置设备的第一消息 中间件发送任务请求消息，用于通过所述第一消息中间件的消息中间件机制将所述的任务请 求消息发送至数据交换中心，以便触发或控制数据处理任务的执行。所述任务请求消息包括 与所述任务数据关联的任务标识，因此数据交换中心能够识别该任务标识并执行对应所述任 务标识的数据处理任务，对于第一前置设备来说，只需要按约定向第一消息中间件发送包含 任务标识的任务请求消息即可实现对数据处理任务处理的控制。由于任务的控制信息是利用 消息中间件机制进行发送，一方面能够更方便地实现数据处理任务的控制，便于与业务进行 结合，另一方面能够实现平台与应用系统的解耦，降低了开发和维护的难度，具有较好的通 用性。
本申请一实施例中，所述任务请求消息符合消息中间件通信规范，例如符合JMS规范 的JMS消息或符合Kafka规范的Kafka消息。
消息中间件规范有主题模式和队列模式，当采用主题模式发送任务请求消息时，所述任 务请求消息包括第一消息主题消息；当采用队列模式发送任务请求消息时，所述任务请求消 息包括第一队列消息。所述第一消息主题消息或第一队列消息按照约定由系统生成或由用户 按约定进行设置，例如可以是通过可视化界面供用户输入。
本申请一实施例中，第一终端设备可以通过JNDI(Java Naming andDirectoryInterface， Java命名和目录服务接口)查找连接工厂对象和发送目标对象。JNDI是SUN公司提供的一 种标准的Java命名系统接口，JNDI提供统一的客户端API，通过不同的访问提供者接口JNDI API的实现，由管理者将JNDI API映射为特定的命名服务和目录系统，使得Java应用程序 可以和这些命名服务和目录服务之间进行交互。JNDI实现了高可靠性JNDI，通过服务器的 集群，保证了JNDI的负载平衡和错误恢复。在全局共享的方式下，集群中的一个应用服务 器保证本地JNDI树的独立性，并拥有全局的JNDI树。每个应用服务器在把部署的服务对 象绑定到自己本地的JNDI树的同时，还绑定到一个共享的全局JNDI树，实现全局JNDI和 自身JNDI的联系。
参照图4所示，本申请一个实施例提供的一种数据处理方法，应用于前置设备，本申请 实施例所述的前置设备是指用于现场的中间设备。例如金融、政企领域采用前置机的有ATM、 POS、智能卡、银联金卡、电话银行、券银通、银税通、即缴费、公积金管理系统、电子汇 兑和同城清算等系统。所述前置机可以是一个外挂的硬件设备，也可以是设置于计算机中的 一个硬件装置，也可以是虚拟机模拟的前置系统，包括用于存储任务数据的中间库和消息中 间件。所述方法包括但不限于以下步骤：
步骤201，接收来自第一终端设备的任务数据；
步骤202，接收来自第一终端设备的任务请求消息，所述任务请求消息包括任务标识，所 述任务标识与所述任务数据关联；
步骤203，将所述任务请求消息发送至数据交换中心；
步骤204，接收来自数据交换中心的数据抽取请求，将所述任务数据发送至所述数据交换 中心。
本实施例中，前置设备负责任务数据的中转及任务请求信息的处理，当接收来自第一终 端设备的任务数据后，将所述任务数据存储于前置设备的中间库中，消息中间件接收到来自 第一终端设备的任务请求消息后，判断任务请求消息的发送对象，将所述任务请求消息发送 至相应的数据交换中心。
消息中间件的通信模式包括主题模式和队列模式，当所述任务请求消息为主题模式时， 任务请求消息包括第一消息主题信息，消息中间件将所述任务请求消息保存到第一消息主题 信息对应的第一消息主题下，并将所述任务请求消息发送给订阅了所述第一消息主题的消费 者，在本实施例中，若数据交换中心订阅了第一消息主题，则消息中间件会将所述的任务请 求消息发送至数据交换中心，实现任务请求消息的发送。当任务请求消息为队列模式时，任 务请求消息包括第一队列信息，消息中间件将所述任务请求消息保存到第一队列信息对应的 第一队列名称下，同时消息中间件将所述的任务请求消息发送至对应所述第一队列名称的数 据交换中心，实现任务请求消息的发送。
参照图5所示，本申请一个实施例提供的一种数据处理方法，应用于数据交换中心，本 申请实施例所述的数据交换中心可以是服务器、计算机设备、终端设备、中间设备，其中服 务器可以采用本地服务器、局域网服务器或云服务器，也可以选用能搭建服务器的虚拟主机， 所述方法包括：
步骤301，接收来自第一前置设备的任务请求消息，所述任务请求消息包括任务标识；
步骤302，根据所述任务请求消息触发数据处理任务，抽取第一前置设备第一中间库中 与所述任务标识关联的任务数据，并将所抽取的任务数据写入第二前置设备的第二中间库。
本申请实施例中，数据交换中心主要实现任务数据的处理，与现有技术的手工或预设执 行策略不同，本实施例中的数据交换中心响应任务请求消息执行响应的数据处理任务，当数 据交换中心接收到来自第一前置设备的任务请求消息后，从所述任务请求消息中提取相应的 任务标识，并执行对应所述任务标识的数据处理任务，即从第一前置设备的第一中间库中提 取与所述任务标识关联的任务数据，并将所抽取的任务数据写入第二前置设备的第二中间 库。例如，抽取所述的任务数据后，对所述任务数据进行处理后在写入第二前置设备的第二 中间库，以便适配不同平台之间的数据规范。
参照图6所示，所述步骤301还包括以下步骤：
步骤3011，监听第一消息主题信息；
步骤3012，接收来自第一前置设备与所述第一消息主题信息对应的任务请求消息，所述 任务请求消息包括任务标识。
本实施例中，数据交换中心以消息中间件机制的主题模式进行通信，所述数据交换中心 订阅了第一消息主题，当第一前置设备接收到来自第一终端设备的任务请求消息，而该任务 请求消息包括第一消息主题信息，第一前置设备将所述任务请求消息保存到第一消息主题 下，数据交换中心监听到第一消息主题消息后，第一前置设备将所述任务请求消息发送至数 据交换中心。
参照图7所示，所述步骤301的另一种实施方式，包括以下步骤：
步骤3013，监听第一队列信息；
步骤3014，接收来自第一前置设备与所述第一队列信息对应的任务请求消息，所述任务请 求消息包括任务标识。
本实施例中，数据交换中心以消息中间件的队列模式进行通信，所述数据交换中心监听 第一队列信息，当第一前置设备接收到来自第一终端设备的任务请求消息，而该任务请求消 息包括第一队列信息，则第一前置设备会将所述的任务请求消息发送至数据交换中心。
本申请的一实施例中，所述数据交换中心包括ETL工具和消息代理模块，ETL工具负 责执行数据处理任务，消息代理模块负责接收、发送控制所述数据处理的消息。
为了实现中间件消息的接收和发送，需要对数据交换中心的通信接口进行配置。首先， 参照图16所示，为数据交换中心的接口的可视化界面，以Jms消息为例，用户选择调用Jms 通知消息接口，通过可视化界面输入第一前置设备的访问信息，例如IP地址、端口等。其 中所述Jms通知消息接口需要根据业务平台要求定制，例如，上述实施例的Jms接口及其接 口含义如下所示：
{
“group”:xxx,
“id”:xxx
}
| 名称 | 类型 | 是否必填 | 字段含义 | 备注 |
| group | String | 是 | 表名 | 映射的etl任务关键字 |
| id | String | 是 | 主键值 |
表1 Jms接口含义
配置好第一前置设备通知消息接口后，用户通过消息中间件服务配置界面配置所需要监 听的消息服务，参照图17所示，以Jms消息规范为例，选择对应的Jms接口及对应Jms规 范的消息处理插件，配置所需订阅的消息主题(Topic)。当数据交换中心监听到所订阅的 消息主题后，可通过第一前置设备的第一消息中间件获取对应所订阅消息主题的jms消息， 在本实施例中，数据交换中心和第一终端设备约定消息主题为第一消息主题，即数据交换中 心订阅第一消息主题，第一终端设备发送的任务请求消息也包括第一主题信息，因此第一终 端设备发出的任务请求信息可以通过消息中间件发送至数据交换中心，通过上述的Jms消息 接口可以获取对应的任务标识。例如表1中的任务标识为表名和主键值。
类似地，也可以采用其他的消息中间件规范，例如采用Kafka消息规范，则选择Kafka 通知接口，所述Kafka通知接口也是根据业务平台需求定制的，例如，本实施例中的Kafka 接口及其接口含义如下所示：
{
"data":
[{"database":"xxx","xxx":"start"}]
}
| 名称 | 类型 | 是否必填 | 字段含义 | 备注 |
| database | String | 是 | 数据库名 | 映射的etl任务关键字 |
| table | String | 是 | 表名 | 映射的etl任务关键字 |
表2 Kafka接口含义
参照图18所示，用户通过消息中间件服务配置界面配置所需要监听的消息服务，选择 对应的Kafka接口及对应Kafka规范的消息处理插件，配置所需订阅的消息主题(Topic)。 当数据交换中心监听到所订阅的消息主题后，可通过第一前置设备的第一消息中间件获取对 应所订阅消息主题的Kafka消息，在本实施例中，数据交换中心和第一终端设备约定消息主 题为第一消息主题，即数据交换中心订阅第一消息主题，第一终端设备发送的任务请求消息 也包括第一主题信息，因此第一终端设备发出的任务请求信息可以通过消息中间件发送至数 据交换中心，通过上述的Kafka消息接口可以获取对应的任务标识。例如上述表2中的任务 标识为数据库名和表名。
数据交换中心需要预先配置约定的任务标识和数据处理任务之间的映射关系，例如参照 图19所示，用户通过ETL任务映射界面进行任务映射配置，用户在关键字一栏输入一个以 上的任务标识，在ETL任务名称一栏选择对应的ETL任务，这样建立了任务标识与数据处 理任务的映射关系。参照图20所示，用户可以在服务驱动管理界面对服务进行新建、删除、 启动、修改和筛选的操作。其中可以设置多个任务标识与多个数据处理任务之间的一一对应 的映射关系，也可以设置一个任务标识与多个数据处理任务之间的映射关系，一个任务标识 对应的多个数据处理任务可以组成任务集的形式被执行。
当数据交换中心获取任务标识后，根据预先配置的任务标识与数据处理任务的映射关系 触发ETL工具执行相应的数据处理任务或任务集。ETL工具从第一中间设备的第一中间库 中提取对应所述任务标识的任务数据，对所述任务数据进行处理后写入到第二中间设备的第 二中间库中。
参照图8所示，为本申请一实施例提供了一种数据处理方法，应用于数据交换中心，包括 以下步骤：
步骤301，接收来自第一前置设备的任务请求消息，所述任务请求消息包括任务标识；
步骤302，根据所述任务请求消息触发数据处理任务，抽取第一前置设备第一中间库中 与所述任务标识关联的任务数据，并将所抽取的任务数据写入第二前置设备的第二中间库。
步骤303，向所述第二前置设备的第二消息中间件发送任务通知消息，所述任务通知消 息包括与所述任务数据关联的任务标识。
当数据交换中心的ETL工具执行数据处理任务后，需要通知数据的使用方接收处理后 的任务数据。数据处理中心向第二终端设备的第二前置机发送任务通知消息。所述任务通知 消息也通过消息中间件机制进行发送，将所述任务通知消息发送至第二前置设备的消息中间 件中，其中所述任务通知消息包括与处理后的任务数据对应的任务标识，本实施例中，采用 与任务请求消息相同的任务标识，例如为数据表的表名和主键值。当然也可以根据需要设置 不同的任务标识。
具体地，参照图2所示，当数据交换中心的ETL工具执行完数据处理任务或任务集后， 通过消息中间件输出组件通知消息代理模块向消息的使用方发送任务通知消息。以Jms消息 输出组件为例，由于采用Jms消息机制，所述消息代理模块为Jms agent，ETL工具完成数 据处理任务后，发送rest消息给Jms agent，所述rest消息及消息含义如下：
http://ip:port/beas/Jms/produce？content＝xxx,target＝xxx
http method：POST or GET
表3 rest消息含义
为了适配消息中间件机制，发送的任务请求消息需要符合相应的格式，若采用主题模式， 所发送的任务请求消息包括第二消息主题信息，所述的第二消息主题信息包括第二主题，所 述第二主题需要和第二终端设备进行约定，即第二终端设备订阅所述第二主题。若采用队列 模式，所发送的任务请求消息包括第二队列信息，同理第二终端设备需要订阅所述第二队列 信息。任务请求消息可以采用JMS消息格式或Kafka消息格式。
本申请一实施例中，数据交换中心可以通过JNDI(Java Naming andDirectoryInterface， Java命名和目录服务接口)查找连接工厂对象和发送目标对象。
参照图9所示，本申请实施例提供了一种数据处理方法，应用于前置设备，本申请实施例 所述的前置设备是指用于现场的中间设备。例如金融、政企领域采用前置机的有ATM、POS、 智能卡、银联金卡、电话银行、券银通、银税通、即缴费、公积金管理系统、电子汇兑和同 城清算等系统。所述前置机可以是一个外挂的硬件设备，也可以是设置于计算机中的一个硬 件装置，也可以是虚拟机模拟的前置系统，包括用于存储任务数据的中间库和消息中间件。 所述方法包括但不限于以下步骤：
步骤401，接收来自数据交换中心的任务数据；
步骤402，接收来自数据交换中心的任务通知消息，所述任务通知消息包括任务标识，所 述任务标识与所述任务数据关联；
步骤403，将所述任务通知消息发送至第二终端设备；
步骤404，接收来自第二终端设备的数据抽取请求，将所述任务数据发送至所述第二终端 设备。
本实施例中，前置设备负责任务数据的中转及任务请求信息的处理，当接收来自数据交 换中心处理后的任务数据，将所述任务数据存储于前置设备的中间库中，消息中间件接收到 来自数据交换中心的任务请求消息后，判断任务请求消息的发送对象，将所述任务请求消息 发送至相应的第二终端设备。
消息中间件的通信模式包括主题模式和队列模式，当所述任务通知消息为主题模式时，任 务通知消息包括第二消息主题信息，消息中间件将所述任务通知消息保存到第二消息主题信 息对应的第二消息主题下，并将所述任务通知消息发送给订阅了所述第二消息主题的消费 者，在本实施例中，若第二终端设备订阅了第二消息主题，则消息中间件会将所述的任务通 知消息发送至第二终端设备，实现任务通知消息的发送。当任务通知消息为队列模式时，任 务通知消息包括第二队列信息，消息中间件将所述任务通知消息保存到第二队列信息对应的 第二队列名称下，同时消息中间件将所述的任务通知消息发送至对应所述第二队列名称的第 二终端设备，实现任务通知消息的发送。
参照图10所示，本申请实施例提供了一种数据接收方法，应用于终端设备，应用于终端 设备，本申请实施例所述的终端设备可以为各种的电子设备，例如计算机、移动终端、服务 器或具有处理器和存储数据功能的其他电子设备，例如外置处理模块，分布式设备等，所述 方法包括但不限于以下步骤：
步骤501，接收来自第二前置设备的任务通知消息，所述任务通知消息包括任务标识；
步骤502，根据所述任务通知消息，抽取所述第二前置设备第二中间库中与所述任务标识 关联的任务数据。
本申请实施例中，终端设备为任务数据的使用方，当终端设备通过第二前置设备接收任 务通知消息后，得知任务数据已经存储在第二前置设备的数据库中。根据任务通知消息中的 任务标识抽取所述第二前置设备第二中间库中与所述任务标识关联的任务数据。由于第二终 端设备只需要响应所述任务通知消息执行响应的数据提取操作，因此无需手工执行或通过设 定执行策略进行数据的提取，可根据业务的需要和执行条件配合控制数据任务的传输和处理 过程，能够与业务有效进行结合，适用范围广。同时，采用消息中间件机制能够实现平台与 应用系统的解耦，降低了开发和维护的难度，具有较好的通用性。
参照图11所示，所述步骤501还包括以下步骤：
监听第二消息主题信息，接收来自第二前置设备与所述第二消息主题信息对应的任务通知 消息；
步骤5011，监听第二主题信息；
步骤5012，接收来自第二前置设备与所述第二消息主题信息对应的任务通知消息，所述任 务通知消息包括任务标识。
本实施例中，第二终端设备以消息中间件的主题模式进行通信，所述第二终端设备订阅了 第二消息主题，当第二前置设备接收到来自数据交换中心的任务请求消息，而该任务请求消 息包括第二消息主题信息，第二前置设备将所述任务请求消息保存到第二消息主题下，第二 终端设备监听到第二消息主题消息后，第二前置设备将所述任务请求消息发送至第二终端设 备。
参照图12所示，所述步骤501的另一种实施方式，包括以下步骤：
步骤5013，监听第二队列信息；
步骤5014，接收来自第二前置设备与所述第二队列信息对应的任务通知消息，所述任务请 求消息包括任务标识；
本实施例中，第二终端设备以消息中间件的队列模式进行通信，所述第二终端设备监听第 二队列信息，当第二前置设备接收到来自数据交换中心的任务通知消息，而该任务通知消息 包括第二队列信息，则第二前置设备会将所述的任务通知消息发送至第二终端设备。
参照图13所示，本申请实施例提供了一种终端设备100，该终端设备100可以是任意类型 的各种的电子设备，例如计算机、移动终端、服务器或具有处理器和存储数据功能的其他电 子设备，例如外置处理模块，分布式设备等。
具体地，所述终端设备100包括：存储器101、处理器102及存储在存储器101上并可在 处理器102上运行的计算机程序(图中未示出)，处理器102和存储器101可以通过总线或者其他方式连接，图13中以通过总线连接为例。
实现上述实施例中应用于终端设备的数据发送方法或数据接收方法所需的非暂态软件 程序以及指令存储在存储器101中，当被处理器102执行时，执行上述实施例中终端设备的 数据发送方法或数据接收方法，例如，执行以上描述的图3中的方法步骤101至102、图10 中的方法步骤501至502、图11中的方法步骤5011至5012、图12中的方法步骤5013至5014。
参照图14所示，本申请实施例提供了一种前置设备200，该终端前置设备200可以是任意 类型的各种的电子设备，例如计算机、移动终端、服务器或具有处理器和存储数据功能的其 他电子设备，例如外置处理模块，分布式设备等。
具体地，所述前置设备200包括：存储器201、处理器202及存储在存储器201上并可在 处理器202上运行的计算机程序(图中未示出)，处理器202和存储器201可以通过总线或者其他方式连接，图14中以通过总线连接为例。
实现上述实施例中应用于前置设备的数据处理方法所需的非暂态软件程序以及指令存 储在存储器201中，当被处理器202执行时，执行上述实施例中前置设备的数据处理方法， 例如，执行以上描述的图4中的方法步骤201至204、图9中的方法步骤401至404。
参照图15所示，本申请一个实施例提供一种数据交换中心300，该数据交换中心300，该 数据交换中心300可以是任意类型的各种的电子设备，例如计算机、移动终端、服务器或具 有处理器和存储数据功能的其他电子设备，例如外置处理模块，分布式设备等。
具体地，所述该数据交换中心300包括：存储器301、处理器302及存储在存储器301上 并可在处理器302上运行的计算机程序(图中未示出)，处理器302和存储器301可以通过总线或者其他方式连接，图15中以通过总线连接为例。
实现上述实施例中应用于数据交换中心300的数据处理方法所需的非暂态软件程序以及 指令存储在存储器301中，当被处理器302执行时，执行上述实施例中前置设备的数据处理 方法，例如，执行以上描述的图5中的方法步骤301至302、图6中的方法步骤3011至3012， 图7中的方法步骤3013至3014，图8中的方法步骤301至303。
此外，本申请的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质 存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被图13 中的一个处理器102执行，可使得上述处理器102执行上述实施例中终端设备的数据发送方 法，例如，执行以上描述的图3中的方法步骤101至102。
例如，被图13中的一个处理器102执行，可使得上述处理器102执行上述实施例中终 端设备的数据接收方法例如，执行以上描述的图10中的方法步骤501至502、图11中的方法步骤5011至5012、图12中的方法步骤5013至5014。
再如，被图14中的一个处理器202执行，可使得上述处理器202执行上述实施例中前 置设备的数据处理方法，例如执行以上描述的图4中的方法步骤201至204、图9中的方法步骤401至404。
再如，被图15中的一个处理器302执行，可使得上述处理器302执行上述实施例中数 据交换中心的数据处理方法，例如执行以上描述的图5中的方法步骤301至302、图6中的方法步骤3011至3012，图7中的方法步骤3013至3014，图8中的方法步骤301至303。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也 可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根 据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实 施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理 器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实 施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介 质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普 通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据 结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可 移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、 CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装 置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域 普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如 载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本申请的较佳实施进行了具体说明，但本申请并不局限于上述实施方式，熟悉 本领域的技术人员在不违背本申请精神的前提下还可作出种种的等同变形或替换，这些等同 的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (18)
1.一种数据发送方法，应用于终端设备，其特征在于，包括：
获取任务数据，将所述任务数据发送至第一前置设备；
向所述第一前置设备的第一消息中间件发送任务请求消息，所述任务请求消息包括与所述任务数据关联的任务标识。
2.根据权利要求1所述的一种数据发送方法，其特征在于，所述任务请求消息还包括用于消息中间件通信的第一消息主题信息或第一队列信息。
3.根据权利要求1所述的一种数据发送方法，其特征在于，所述任务请求消息为JMS消息或Kafka消息。
4.一种数据处理方法，应用于前置设备，其特征在于，包括：
接收来自第一终端设备的任务数据；
接收来自第一终端设备的任务请求消息，所述任务请求消息包括任务标识，所述任务标识与所述任务数据关联；
将所述任务请求消息发送至数据交换中心；
接收来自数据交换中心的数据抽取请求，将所述任务数据发送至所述数据交换中心。
5.根据权利要求4所述的一种数据处理方法，其特征在于，所述将所述任务请求消息发送至数据交换中心，包括以下之一的步骤：
所述任务请求消息包括第一消息主题信息，将所述任务请求消息发送至订阅所述第一消息主题信息的数据交换中心；
所述任务请求消息包括第一队列信息，将所述任务请求消息发送至对应所述第一队列信息的数据交换中心。
6.一种数据处理方法，应用于数据交换中心，其特征在于，包括：
接收来自第一前置设备的任务请求消息，所述任务请求消息包括任务标识；
根据所述任务请求消息触发数据处理任务，抽取第一前置设备第一中间库中与所述任务标识关联的任务数据，并将所抽取的任务数据写入第二前置设备的第二中间库。
7.根据权利要求6所述的一种数据处理方法，其特征在于，所述接收来自第一前置设备的任务请求消息包括以下之一的步骤：
监听第一消息主题信息，接收来自第一前置设备与所述第一消息主题信息对应的任务请求消息；
监听第一队列信息，接收来自第一前置设备与所述第一队列信息对应的任务请求消息。
8.根据权利要求6所述的一种数据处理方法，其特征在于，还包括以下步骤：
向所述第二前置设备的第二消息中间件发送任务通知消息，所述任务通知消息包括与所述任务数据关联的任务标识。
9.根据权利要求8所述的一种数据处理方法，其特征在于，所述任务通知消息包括用于消息中间件通信的第二消息主题信息或第二队列信息。
10.根据权利要求8所述的一种数据处理方法，其特征在于，所述任务通知消息为JMS消息或Kafka消息。
11.一种数据处理方法，应用于前置设备，其特征在于，包括：
接收来自数据交换中心的任务数据；
接收来自数据交换中心的任务通知消息，所述任务通知消息包括任务标识，所述任务标识与所述任务数据关联；
将所述任务通知消息发送至第二终端设备；
接收来自第二终端设备的数据抽取请求，将所述任务数据发送至所述第二终端设备。
12.根据权利要求11所述的一种数据处理方法，其特征在于，所述将所述任务通知消息发送至第二终端设备，包括以下之一的步骤：
所述任务通知消息包括第二消息主题信息，将所述任务通知消息发送至订阅所述第二消息主题信息的第二终端设备；
所述任务通知消息包括第二队列信息，将所述任务通知消息发送至对应所述第二队列信息的第二终端设备。
13.一种数据接收方法，应用于终端设备，其特征在于，包括：
接收来自第二前置设备的任务通知消息，所述任务通知消息包括任务标识；
根据所述任务通知消息，抽取所述第二前置设备第二中间库中与所述任务标识关联的任务数据。
14.根据权利要求13所述的一种数据接收方法，其特征在于，所述接收来自第二前置设备的任务通知消息，包括以下之一的步骤：
监听第二消息主题信息，接收来自第二前置设备与所述第二消息主题信息对应的任务通知消息；
监听第二队列信息，接收来自第二前置设备与所述第二队列信息对应的任务通知消息。
15.一种终端设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3中任意一项所述的数据发送方法，或者，实现如权利要求13至14中任意一项所述的数据接收方法。
16.一种前置设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求4至5中任意一项所述的数据处理方法，或者，实现如权利要求11至12中任意一项所述的数据处理方法。
17.一种数据交换中心，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求6至10中任意一项所述的数据处理方法。
18.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至3中任意一项所述的数据发送方法，或者，用于执行权利要求4至5中任意一项所述的数据处理方法，或者，用于执行权利要求6至10中任意一项所述的数据处理方法，或者，用于执行权利要求11至12中任意一项所述的数据处理方法，或者，用于执行权利要求13至14中任意一项所述的数据接收方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911080915.7A CN112788074B (zh) | 2019-11-07 | 2019-11-07 | 数据发送方法、处理方法、接收方法及其设备、存储介质 |
| PCT/CN2020/122254 WO2021088641A1 (zh) | 2019-11-07 | 2020-10-20 | 数据发送方法、处理方法、接收方法及其设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911080915.7A CN112788074B (zh) | 2019-11-07 | 2019-11-07 | 数据发送方法、处理方法、接收方法及其设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112788074A true CN112788074A (zh) | 2021-05-11 |
| CN112788074B CN112788074B (zh) | 2024-05-31 |
Family
ID=75748207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911080915.7A Active CN112788074B (zh) | 2019-11-07 | 2019-11-07 | 数据发送方法、处理方法、接收方法及其设备、存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112788074B (zh) |
| WO (1) | WO2021088641A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114003407A (zh) * | 2021-10-26 | 2022-02-01 | 南京元贝信息技术有限公司 | 基于中间件的消息队列任务处理方法、装置及设备 |
| CN114297273A (zh) * | 2021-12-03 | 2022-04-08 | 杭州数梦工场科技有限公司 | 一种数据抽取方法及装置 |
| CN114489866A (zh) * | 2022-04-18 | 2022-05-13 | 武汉中科通达高新技术股份有限公司 | 数据管理方法及装置 |
| CN114528354A (zh) * | 2022-02-24 | 2022-05-24 | 数字广东网络建设有限公司 | 一种政务账号同步系统、方法、电子设备和存储介质 |
| CN114885020A (zh) * | 2022-04-02 | 2022-08-09 | 浙江大学 | 数据传输系统以及方法 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487340B (zh) * | 2021-05-24 | 2024-07-12 | 康键信息技术（深圳）有限公司 | 业务解耦处理方法、装置、设备及存储介质 |
| CN113626211A (zh) * | 2021-06-29 | 2021-11-09 | 欧电云信息科技(江苏)有限公司 | 消息队列的切换方法、切换系统、电子设备及存储介质 |
| CN115150466B (zh) * | 2022-06-29 | 2023-08-15 | 北京百度网讯科技有限公司 | 一种数据分发的实现方法、装置、电子设备及存储介质 |
| CN115499435B (zh) * | 2022-08-08 | 2023-08-11 | 中亿(深圳)信息科技有限公司 | 任务调度方法、系统、电子设备及计算机可读存储介质 |
| CN115529288B (zh) * | 2022-09-21 | 2024-04-19 | 上海浦东发展银行股份有限公司 | 一种消息推送的方法、装置、计算机设备 |
| CN116545706B (zh) * | 2023-05-15 | 2024-01-23 | 合芯科技(苏州)有限公司 | 一种数据安全传输控制系统、方法、装置及电子设备 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090037514A1 (en) * | 2006-03-18 | 2009-02-05 | Peter Lankford | System And Method For Integration Of Streaming And Static Data |
| CN101557551A (zh) * | 2009-05-11 | 2009-10-14 | 成都市华为赛门铁克科技有限公司 | 一种移动终端访问云服务的方法、装置和通信系统 |
| CN101562774A (zh) * | 2009-05-22 | 2009-10-21 | 北京立通无限科技有限公司 | 信息管理的方法及系统 |
| CN102508908A (zh) * | 2011-11-11 | 2012-06-20 | 北京用友政务软件有限公司 | 一种下级财政业务数据的采集方法和系统 |
| CN103116825A (zh) * | 2013-01-29 | 2013-05-22 | 江苏省邮电规划设计院有限责任公司 | 智慧城市管理系统 |
| CN104202230A (zh) * | 2014-09-26 | 2014-12-10 | 深圳中兴网信科技有限公司 | 用于多级结构的数据交互装置及方法 |
| CN107395739A (zh) * | 2017-08-11 | 2017-11-24 | 安徽晶奇网络科技股份有限公司 | 一种数据交换共享平台 |
| CN108446335A (zh) * | 2018-02-27 | 2018-08-24 | 广州港数据科技有限公司 | 基于数据库的异构系统数据抽取及统一对外数据交换方法 |
| CN108763387A (zh) * | 2018-05-20 | 2018-11-06 | 湖北九州云仓科技发展有限公司 | 异构平台的大数据融合方法、电子设备、存储介质及系统 |
| CN109753531A (zh) * | 2018-12-26 | 2019-05-14 | 深圳市麦谷科技有限公司 | 一种大数据统计方法、系统、计算机设备及存储介质 |
| CN109933439A (zh) * | 2019-02-21 | 2019-06-25 | 深圳市珍爱捷云信息技术有限公司 | 消息传输方法、装置、计算机设备和存储介质 |
| CN110333960A (zh) * | 2019-07-16 | 2019-10-15 | 国网新疆电力有限公司信息通信公司 | 多业务驱动的中间件系统系统的存储处理方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102693297B (zh) * | 2012-05-16 | 2015-03-11 | 华为技术有限公司 | 数据处理方法、节点和提取、转换和加载etl系统 |
| US9244987B2 (en) * | 2012-05-31 | 2016-01-26 | Cellco Partnership | ETL data transit method and system |
-
2019
- 2019-11-07 CN CN201911080915.7A patent/CN112788074B/zh active Active
-
2020
- 2020-10-20 WO PCT/CN2020/122254 patent/WO2021088641A1/zh active Application Filing
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090037514A1 (en) * | 2006-03-18 | 2009-02-05 | Peter Lankford | System And Method For Integration Of Streaming And Static Data |
| CN101557551A (zh) * | 2009-05-11 | 2009-10-14 | 成都市华为赛门铁克科技有限公司 | 一种移动终端访问云服务的方法、装置和通信系统 |
| CN101562774A (zh) * | 2009-05-22 | 2009-10-21 | 北京立通无限科技有限公司 | 信息管理的方法及系统 |
| CN102508908A (zh) * | 2011-11-11 | 2012-06-20 | 北京用友政务软件有限公司 | 一种下级财政业务数据的采集方法和系统 |
| CN103116825A (zh) * | 2013-01-29 | 2013-05-22 | 江苏省邮电规划设计院有限责任公司 | 智慧城市管理系统 |
| CN104202230A (zh) * | 2014-09-26 | 2014-12-10 | 深圳中兴网信科技有限公司 | 用于多级结构的数据交互装置及方法 |
| CN107395739A (zh) * | 2017-08-11 | 2017-11-24 | 安徽晶奇网络科技股份有限公司 | 一种数据交换共享平台 |
| CN108446335A (zh) * | 2018-02-27 | 2018-08-24 | 广州港数据科技有限公司 | 基于数据库的异构系统数据抽取及统一对外数据交换方法 |
| CN108763387A (zh) * | 2018-05-20 | 2018-11-06 | 湖北九州云仓科技发展有限公司 | 异构平台的大数据融合方法、电子设备、存储介质及系统 |
| CN109753531A (zh) * | 2018-12-26 | 2019-05-14 | 深圳市麦谷科技有限公司 | 一种大数据统计方法、系统、计算机设备及存储介质 |
| CN109933439A (zh) * | 2019-02-21 | 2019-06-25 | 深圳市珍爱捷云信息技术有限公司 | 消息传输方法、装置、计算机设备和存储介质 |
| CN110333960A (zh) * | 2019-07-16 | 2019-10-15 | 国网新疆电力有限公司信息通信公司 | 多业务驱动的中间件系统系统的存储处理方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 朱方娥;曹宝香;: "基于JMS的消息队列中间件的研究与实现", 计算机技术与发展, no. 05 * |
| 韦有华, 王成耀, 张冬泉, 类维彬: "基于消息中间件的银行综合前置系统的设计与实现", 华北科技学院学报, no. 01, 25 March 2004 (2004-03-25) * |
| 黄瑛;邓东华;廖德利;: "基于ETL和JMS的数据同步的设计与实现", 信息技术, no. 12 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114003407A (zh) * | 2021-10-26 | 2022-02-01 | 南京元贝信息技术有限公司 | 基于中间件的消息队列任务处理方法、装置及设备 |
| CN114297273A (zh) * | 2021-12-03 | 2022-04-08 | 杭州数梦工场科技有限公司 | 一种数据抽取方法及装置 |
| CN114528354A (zh) * | 2022-02-24 | 2022-05-24 | 数字广东网络建设有限公司 | 一种政务账号同步系统、方法、电子设备和存储介质 |
| CN114885020A (zh) * | 2022-04-02 | 2022-08-09 | 浙江大学 | 数据传输系统以及方法 |
| CN114885020B (zh) * | 2022-04-02 | 2024-02-13 | 浙江大学 | 数据传输系统以及方法 |
| CN114489866A (zh) * | 2022-04-18 | 2022-05-13 | 武汉中科通达高新技术股份有限公司 | 数据管理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021088641A1 (zh) | 2021-05-14 |
| CN112788074B (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112788074B (zh) | 数据发送方法、处理方法、接收方法及其设备、存储介质 | |
| US9794365B2 (en) | Re-establishing push notification channels via user identifiers | |
| CN107729139B (zh) | 一种并发获取资源的方法和装置 | |
| EP3734913A1 (en) | Communication method and communication apparatus | |
| CN100407627C (zh) | 一种实现端到端文件共享的系统及方法 | |
| US8146095B2 (en) | Method, apparatus and computer program product for managing persistence in a messaging network | |
| US20070162560A1 (en) | System and method for asynchronous request response | |
| CN103370917B (zh) | 消息处理方法及服务器 | |
| US8484281B2 (en) | System and method for callbacks based on web service addressing | |
| US11381537B1 (en) | Message transfer agent architecture for email delivery systems | |
| CN109785042A (zh) | 分布式部署的异常处理方法、服务器、存储介质及装置 | |
| CN113391979A (zh) | 监控数据展示的处理方法、设备、系统及存储介质 | |
| CN110808948A (zh) | 远程过程调用方法、装置及系统 | |
| US9026839B2 (en) | Client based high availability method for message delivery | |
| CN110476154A (zh) | 用于数据收集的代理服务器设备和方法 | |
| CN115695139A (zh) | 一种基于分布式鲁棒增强微服务系统架构的方法 | |
| US20100325640A1 (en) | Queueing messages related by affinity set | |
| CN116319732A (zh) | 一种基于RabbitMQ的消息队列集中配置管理系统及方法 | |
| JP4516594B2 (ja) | メッセージ送信制御方法、メッセージ送信制御装置、及びメッセージ送信制御プログラム | |
| US7937433B1 (en) | Queuing connector to promote message servicing | |
| CN117194039A (zh) | K8s驱动集成系统、请求处理方法、设备及存储介质 | |
| CN114020412A (zh) | 一种消息处理方法、装置、设备及存储介质 | |
| CN113762652A (zh) | 业务流程控制方法、装置、设备及计算机可读存储介质 | |
| US6836470B1 (en) | Method for reliable message delivery in a network of mobile computers | |
| CN111782428A (zh) | 数据调用系统以及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |