CN111510474B - 基于消息中间件的数据传输方法及相关设备 - Google Patents
基于消息中间件的数据传输方法及相关设备 Download PDFInfo
- Publication number
- CN111510474B CN111510474B CN202010222389.XA CN202010222389A CN111510474B CN 111510474 B CN111510474 B CN 111510474B CN 202010222389 A CN202010222389 A CN 202010222389A CN 111510474 B CN111510474 B CN 111510474B
- Authority
- CN
- China
- Prior art keywords
- data
- service data
- theme
- data transmission
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0807—Network architectures or network communication protocols for network security for authentication of entities using tickets, e.g. Kerberos
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/562—Brokering proxy services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请涉及基架运维领域,本申请公开了一种基于消息中间件的数据传输方法及相关设备,所述方法包括:获取业务数据及对应的业务数据类型,根据所述业务数据类型在预置的消息中间件中创建业务数据主题,并根据所述业务数据主题建立对应的数据存储队列;对所述业务数据主题进行监听,若监听到在所述消息中间件中有任一业务数据主题创建时,则根据所述业务数据主题建立对应的数据传输通道,并根据所述数据传输通道将所述业务数据传输至所述数据存储队列中;调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送。通过本申请可以提高系统间数据传输效率,有利于对数据的管控。
Description
技术领域
本申请涉及基架运维领域,特别涉及一种基于消息中间件的数据传输方法及相关设备。
背景技术
随着互联网的发展以及信息技术的不断更新,多系统交互越来越频繁,企业与企业之间的数据共享也越来越常见,因此在多个系统之间的数据传输就会导致各种各样的问题,其中最常见的是数据传输的速度及准确性,此外,数据在传输过程中也需受到管控。
在一个企业中会提供多种产品和服务,不同的企业会提供不同的产品和服务,而企业之间要共享这些产品及服务时,就需要进行数据共享,其中,这些企业的数据都会存储在各自的数据库或者系统中,当前很多企业都是通过KETTLE的方式进行数据同步,KETTLE是一种ETL(Extract-Transform-Load,收取-转换-加载)工具集,是一种常用的数据仓库,用于在两个目标之间进行数据同步,由于KETTLE软件本身庞大,因此很容易在运行过程中出错,不适合实时数据同步,且该方式的实时处理数据的效率不高,由此会导致两个平台在数据同步时造成对接困难且数据及时率较低,此外KETTLE的方式在数据同步中也不会对数据进行管控,由此会造成数据对接方的数据混乱,数据缺乏必要管控。
发明内容
本申请的目的在于针对现有技术的不足,提供一种基于消息中间件的数据传输方法及相关设备,通过在发送方设置消息中间件,通过消息中间件对数据进行缓存,调用接收方接口并在接收方授权之后将数据传输给接收方,在传输过程中持续发送数据并在收到接收方确认后不再发送,以此保证数据的完整性,通过本方式可以提高系统间数据同步时的传输效率,并有利于对数据的管控。
为达到上述目的,本申请的技术方案提供一种基于消息中间件的数据传输方法及相关设备。
本申请公开了一种基于消息中间件的数据传输方法,包括以下步骤:
获取业务数据及对应的业务数据类型,根据所述业务数据类型在预置的消息中间件中创建业务数据主题,并根据所述业务数据主题建立对应的数据存储队列;
对所述业务数据主题进行监听,若监听到在所述消息中间件中有任一业务数据主题创建时,则根据所述业务数据主题建立对应的数据传输通道,并根据所述数据传输通道将所述业务数据传输至所述数据存储队列中;
调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送。
较佳地,在所述根据所述业务数据类型在预置的消息中间件中创建业务数据主题之后,还包括:
根据所述业务数据主题获得与所述业务数据主题对应的预置优先级;
则在根据所述业务数据主题建立对应的数据传输通道之后,还包括:
根据所述优先级为所述数据传输通道分配线程。
较佳地,所述根据所述优先级为所述数据传输通道分配线程包括:
根据所述优先级等级查询获得对应的预置线程数;
将所述预置线程数分配给对应的各个数据传输通道。
较佳地,在所述调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送之后,还包括:接收接收端对所述业务数据的反馈消息;
若收到来自所述接收端返回的传输成功的反馈消息,则停止发送所述数据队列中所述消息对应的业务数据,若收到来自接收端返回的传输失败的反馈消息,则再次发送所述数据队列中所述消息对应的业务数据,直到发送成功为止。
较佳地,所述调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送包括:
向接收端发起调用数据接收接口的请求,所述请求包含Token令牌,所述Token令牌用于在接收端进行授权验证;
若收到接收端的数据接收接口的授权消息,则向接收端传输业务数据。
较佳地,所述调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送包括:
对所述业务数据中的敏感信息进行脱敏处理,得到脱敏业务数据;
对所述脱敏业务数据进行加密,得到加密业务数据,并将所述加密业务数据传输给接收端。
较佳地,所述对所述业务数据中的敏感信息进行脱敏处理,得到脱敏业务数据包括:
获取业务数据中的敏感信息,通过预置的密文类型,将所述业务数据中的敏感信息转换为脱敏业务数据。
本申请还公开了一种基于消息中间件的数据传输装置,所述装置包括:
创建模块,用于获取业务数据及对应的业务数据类型,根据所述业务数据类型在预置的消息中间件中创建业务数据主题,并根据所述业务数据主题建立对应的数据存储队列;
存储模块,用于对所述业务数据主题进行监听,若监听到在所述消息中间件中有任一业务数据主题创建时,则根据所述业务数据主题建立对应的数据传输通道,并根据所述数据传输通道将所述业务数据传输至所述数据存储队列中;
传输模块,用于调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送。
本申请还公开了一种基于消息中间件的数据传输设备,所述基于消息中间件的数据传输设备包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被一个或多个所述处理器执行时,使得一个或多个所述处理器执行上述所述的基于消息中间件的数据传输方法。
本申请还公开了一种计算机可读存储介质,所述存储介质可被处理器读写,所述存储介质存储有计算机指令,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述所述的基于消息中间件的数据传输方法。
本申请的有益效果是:本申请通过在发送方设置消息中间件,通过消息中间件对数据进行缓存,调用接收方接口并在接收方授权之后将数据传输给接收方,在传输过程中持续发送数据并在收到接收方确认后不再发送,以此保证数据的完整性,通过本方式可以提高系统间数据同步时的传输效率,并有利于对数据的管控。
附图说明
图1为本申请第一个实施例的一种基于消息中间件的数据传输方法的流程示意图;
图2为本申请第二个实施例的一种基于消息中间件的数据传输方法的流程示意图;
图3为本申请第三个实施例的一种基于消息中间件的数据传输方法的流程示意图;
图4为本申请第四个实施例的一种基于消息中间件的数据传输方法的流程示意图;
图5为本申请第五个实施例的一种基于消息中间件的数据传输方法的流程示意图;
图6为本申请实施例的一种基于消息中间件的数据传输装置结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本申请第一个实施例的一种基于消息中间件的数据传输方法流程如图1所示,本实施例包括以下步骤:
步骤s101,获取业务数据及对应的业务数据类型,根据所述业务数据类型在预置的消息中间件中创建业务数据主题,并根据所述业务数据主题建立对应的数据存储队列;
具体的,当发送端向接收端传输数据时,需要获取当前发送的业务数据及对应的主题,所述发送端包括数据传输的发起方,在实际应用中,当企业A的系统中的数据要和企业B系统中的数据进行同步时,所述企业A的系统就是数据传输的发起方,而在数据传输前,需要确定本次传输的是什么类型的数据,即业务数据的主题,以及业务数据本身。在实际应用中,所述业务数据可包括产险、健康险、养老险等保单数据,所述保单数据可以由业务人员在系统中进行录入。
具体的,在该步骤中,对于数据发送端来说,可以预先在系统中设置业务数据的主题,所述业务数据的主题包括业务数据的类型,在实际应用中,例如,对于保险企业的产险系统和寿险系统,当一个企业的产险系统向另一个企业的寿险系统进行数据传输时,可预先为业务数据设置对应的主题;所述业务数据的主题根据所述业务数据类型而定,以产险系统为例,业务数据类型可分为保单、客户、续保、保全、理赔等几种类型,可以预先在系统中设定,因此可以根据这五个业务数据类型建立五种主题,每个主题与业务数据类型一一对应;在实际应用中,可预先在系统中建立业务数据类型和业务数据主题之间的关联关系,当获取到业务数据类型之后,就可根据所述业务数据类型确定对应的业务数据主题,然后在预置的消息中间件中创建所述业务数据主题,并根据所述业务数据主题建立对应的数据存储队列,所述数据存储队列在所述消息中间件中建立,用于对所述业务数据进行缓存,所述业务数据来自核心业务系统,当所述核心业务系统产生业务数据后可向消息中间件发送数据。
步骤s102,对所述业务数据主题进行监听,若监听到在所述消息中间件中有任一业务数据主题创建时,则根据所述业务数据主题建立对应的数据传输通道,并根据所述数据传输通道将所述业务数据传输至所述数据存储队列中;
具体的,在该步骤中,由于所述业务数据主题由所述消息中间件创建,因此所述监听由所述消息中间件执行,所述监听包括在所述消息中间件中检测是否有新的业务数据主题创建,若监听到在所述消息中间件中有任一业务数据主题创建时,则根据所述业务数据主题建立对应的数据传输通道,并根据所述数据传输通道将所述业务数据传输至所述数据存储队列中;所述数据传输通道用于传输业务数据,并在业务数据传输完成后拆除;所述数据存储队列用于对所述业务数据进行缓存,用于后续对所述业务数据进行推送或者转发;其中,由于业务数据可能非常庞大,且并发量也可能较大,因此在实际应用中可以选取具有大规模吞吐量及高性能的rockerMQ作为中间件。
步骤s103,调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送。
具体的,在该步骤中,在发送端业务数据准备就绪之后,就可以调用接收端的数据接收接口,通过所述数据接收接口向接收端传输所述业务数据,所述接收端的接口是HTTP(HyperText Transfer Protocol,超文本传输协议)接口,在实际应用中,发送端向接收端传输数据可通过ESG(服务消息总线)平台,通过ESG平台还可进行接口的鉴权及数据的加密传输。
具体的,在该步骤中,发送端在向接收端传输数据时,根据每个会话的线程数控制传输的速度,并接收来自接收端的反馈消息,所述反馈消息包括数据的成功及失败消息。直到所述数据队列中的所有业务数据完全发送成功为止,这时即意味着发送端与接收端的数据已经同步。
本实施例中,通过在发送方设置消息中间件,通过消息中间件对数据进行缓存,调用接收方接口并在接收方授权之后将数据传输给接收方,在传输过程中持续发送数据并在收到接收方确认后不再发送,以此保证数据的完整性,通过本方式可以提高系统间数据同步时的传输效率,并有利于对数据的管控。
在一个实施例中,所述步骤s101,在所述根据所述业务数据类型在预置的消息中间件中创建业务数据主题之后,还包括:
根据所述业务数据主题获得与所述业务数据主题对应的预置优先级;
则在根据所述业务数据主题建立对应的数据传输通道之后,还包括:
根据所述优先级为所述数据传输通道分配线程。
具体的,在该步骤中,在系统中还可预置业务数据主题与优先级之间的对应关系,在实际应用中,还可根据所述业务数据的主题给所述业务数据设置优先级,例如,所述优先级可以分为高、中、低三个级别,每个优先级可对应一个或多个业务数据主题,在实际应用中,对于保险企业的例子,可将保单和客户主题的业务数据设置为高优先级,续保和理赔主题的业务数据设置为中优先级,保全主题的业务数据设置为低优先级;因此当获得业务数据主题之后,就可根据业务数据主题与优先级之间的对应关系获得所述业务数据的优先级,并在建立对应的数据传输通道之后,根据所述优先级为所述数据传输通道分配线程。
本实施例中,通过对业务数据主题与优先级之间的关联关系获得优先级,并根据优先级分配线程,可以有效提高对数据的管控。
图2为本申请第二个实施例的一种基于消息中间件的数据传输方法流程示意图,如图所示,所述步骤s101,根据所述优先级为所述数据传输通道分配线程包括包括:
步骤s201,根据所述优先级等级查询获得对应的预置线程数;
具体的,所述线程的数目的分配可根据优先级来确定,因此可在系统中预先设置优先级与线程数之间的关联关系,即线程的数目与优先级对应,在实际应用中,可在系统的应用初始化的时候启动一个线程池,其中,初始化的时候可预先设置线程的数目,例如初始化150个线程,那么优先级高的会话可分配较多的线程,例如在150个线程中可分配80个线程,而优先级中的会话分配比优先级高的会话相对较少的线程,例如分配45个线程,而优先级低的会话分配最少的线程,例如分配25个线程。
步骤s202,将所述预置线程数分配给对应的各个数据传输通道。
具体的,每个数据传输通道有对应的优先级等级,若任一优先级仅对应一个数据传输通道,则将所述预置的线程数分配给所述数据传输通道,若任一优先级对应多个数据传输通道,则将所述预置的线程数平均分配给所述数据传输通道;例如,如果高优先级下只有数据传输通道A,则将高优先级对应的80个线程都分配给数据传输通道A;如果高优先级下有数据传输通道A、数据传输通道B和数据传输通道C,则将高优先级对应的80个线程平均分配给数据传输通道A、数据传输通道B和数据传输通道C。
本实施例中,通过对不同优先级的数据传输通道分配不同的线程,可以对数据传输速度进行管控,由此达到数据管控的目的。
图3为本申请第三个实施例的一种基于消息中间件的数据传输方法流程示意图,如图所示,所述步骤s103,在调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送之后,还包括:
步骤s301,接收接收端对所述业务数据的反馈消息;
具体的,在该步骤中,所述业务数据的推送可由对外接口系统完成,当所述对外接口系统调用接口进行数据推送之后,就会等待接收端的反馈消息,所述反馈消息是对所述业务数据的反馈,所述反馈消息包括成功或者失败。
步骤s302,若收到来自接收端返回的传输成功的反馈消息,则停止发送所述数据存储队列中所述消息对应的业务数据,若收到来自接收端返回的传输失败的反馈消息,则再次发送所述数据存储队列中所述消息对应的业务数据,直到发送成功为止;
具体的,所述对外接口系统执行的是异步传输,即每个数据存储队列在传输数据时,会保留所述数据的备份,并等待接收端的反馈消息,当接收端收到所述业务数据后,会对成功接收的业务数据反馈成功消息,对接收失败的业务数据反馈失败消息,所述接收失败可能由于网络原因,没有接收到,也有可能是数据原因,例如解析失败,而当发送端收到接收端的反馈消息后,如果是成功的消息,则可以根据所述成功消息的标识找到对应的业务数据,所述成功消息对应的业务数据不再发送;如果是失败的消息,那么可以将所述失败消息对应的业务数据进行再次发送,并再次等待接收端的反馈消息,直到发送成功为止。
本实施例中,通过根据接收端的反馈消息传输业务数据,可以提高数据传输的效率。
图4为本申请第四个实施例的一种基于消息中间件的数据传输方法流程示意图,如图所示,所述步骤s103,调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送,包括:
步骤s401,向接收端发起调用数据接收接口的请求,所述请求包含Token令牌,所述Token令牌用于在接收端进行授权验证;
具体的,在该步骤中,在调用接收端的数据接收接口前,还可以先获取Token令牌,所述令牌用以进行系统鉴权,即用来判定发送端是否有调用所述接口的权限,在实际应用中,所述Token令牌可以在OAUTH(Open Authorization,开放认证)平台上产生,当发送端向接收端发起调用接口请求时,会先在OAUTH平台上生成一个Token令牌,然后携带所述Token令牌和接口调用请求一起发送给接收端。
步骤s402,若收到接收端的数据接收接口的授权消息,则向接收端传输业务数据。
具体的,当接收端收到所述接口调用请求时,首先验证所述Token令牌,所述验证包括所述Token令牌是否有权限访问,以及是否过期,若所述Token令牌验证通过,则向发送端发送授权成功消息;当发送端收到接收端的授权消息之后,就可以向接收端通过数据接收接口传输业务数据了。
本实施例中,通过向发送端发送Token令牌进行授权验证,并根据接收端的反馈消息传输业务数据,可以提高数据传输的安全性。
图5为本申请第五个实施例的一种基于消息中间件的数据传输方法流程示意图,如图所示,所述步骤s103,调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送,包括:
步骤s501,对所述业务数据中的敏感信息进行脱敏处理,得到脱敏业务数据;
具体的,在该步骤中,当发送端向接收端开始传输数据时,由于所述业务数据中会包含敏感信息,所述敏感信息指的是可以不被接收端明文获取,对数据内容本身不会造成影响的数据信息,例如,对于保单信息,客户的身份证、姓名、年龄等信息可以是敏感信息,这些信息可以不被接收端获取,因此可以脱敏,当接收端收到业务数据后,可以忽略所述敏感信息,但是不影响对除敏感信息之外的其他数据信息的解读。
步骤s502,对所述脱敏业务数据进行加密,得到加密业务数据,并将所述加密业务数据传输给接收端。
具体的,在该步骤中,当对所述业务数据中的信息进行脱敏之后,还可对所述业务数据进行加密处理,所述加密处理可以通过MD5(Message-Digest Algorithm,信息摘要算法)方式或者自定义加密算法进行,当发送端进行所述加密后,接收端必须按照约定的算法进行解密,如果解密成功,则能成功读取业务数据信息,并反馈成功消息,否则如果解密失败,则反馈失败消息。
本实施例中,通过对业务数据进行脱敏处理,可以提高业务数据的保密性。
在一个实施例中,所述步骤s501,对所述业务数据中的敏感信息进行脱敏处理,得到脱敏业务数据,包括:
获取业务数据中的敏感信息,通过预置的密文类型,将所述业务数据中的敏感信息明文转换为脱敏业务数据。
具体的,可以在系统中预先设置密文类型,所述密文类型包括不能被识别的非明文,例如星号、省略号等,当获取到业务数据中的敏感信息之后,可以根据预置的密文类型,将所述业务数据中的敏感信息明文转换为非明文数据,所述非明文数据即为脱敏业务数据。
本实施例中,通过对业务数据进行脱敏处理,可以提高业务数据的保密性。
本申请实施例的一种基于消息中间件的数据传输装置结构如图6所示,包括:
创建模块601、存储模块602及传输模块603;其中,创建模块601与存储模块602相连,存储模块602与传输模块603相连;创建模块601用于获取业务数据及对应的业务数据类型,根据所述业务数据类型在预置的消息中间件中创建业务数据主题,并根据所述业务数据主题建立对应的数据存储队列;存储模块602用于对所述业务数据主题进行监听,若监听到在所述消息中间件中有任一业务数据主题创建时,根据所述业务数据主题建立对应的数据传输通道,并根据所述数据传输通道将所述业务数据传输至所述数据存储队列中;传输模块603用于调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送。
本申请实施例还公开了一种基于消息中间件的数据传输设备,所述基于消息中间件的数据传输设备包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被一个或多个所述处理器执行时,使得一个或多个所述处理器执行上述各实施例中所述的基于消息中间件的数据传输方法。
本申请实施例还公开了一种计算机可读存储介质,所述存储介质可被处理器读写,所述存储器存储有计算机可读指令,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述各实施例中所述的基于消息中间件的数据传输方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于消息中间件的数据传输方法,其特征在于,所述基于消息中间件的数据传输方法包括:
获取业务数据及对应的业务数据类型,根据所述业务数据类型在预置的消息中间件中创建业务数据主题,并根据所述业务数据主题建立对应的数据存储队列;
对所述业务数据主题进行监听,若监听到在所述消息中间件中有任一业务数据主题创建时,则根据所述业务数据主题建立对应的数据传输通道,并根据所述数据传输通道将所述业务数据传输至所述数据存储队列中;
调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送;
在所述根据所述业务数据类型在预置的消息中间件中创建业务数据主题之后,还包括:
根据所述业务数据主题获得与所述业务数据主题对应的预置优先级;
则在根据所述业务数据主题建立对应的数据传输通道之后,还包括:
根据所述优先级为所述数据传输通道分配线程;
所述根据所述优先级为所述数据传输通道分配线程包括:
根据所述优先级等级查询获得对应的预置线程数;
将所述预置线程数分配给对应的各个数据传输通道;其中,每个数据传输通道有对应的优先级等级,若任一优先级仅对应一个数据传输通道,则将所述预置的线程数分配给所述数据传输通道,若任一优先级对应多个数据传输通道,则将所述预置的线程数平均分配给所述数据传输通道;
所述根据所述业务数据类型在预置的消息中间件中创建业务数据主题,包括:预先在系统中建立业务数据类型和业务数据主题之间的关联关系,当获取到业务数据类型之后,根据所述业务数据类型确定对应的业务数据主题,在预置的消息中间件中创建所述业务数据主题。
2.如权利要求1所述的基于消息中间件的数据传输方法,其特征在于,在所述调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送之后,还包括:
接收接收端对所述业务数据的反馈消息;
若收到来自接收端返回的传输成功的反馈消息,则停止发送所述数据存储队列中所述消息对应的业务数据,若收到来自接收端返回的传输失败的反馈消息,则再次发送所述数据存储队列中所述消息对应的业务数据,直到发送成功为止。
3.如权利要求2所述的基于消息中间件的数据传输方法,其特征在于,所述调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送包括:
向接收端发起调用数据接收接口的请求,所述请求包含Token令牌,所述Token令牌用于在接收端进行授权验证;
若收到接收端的数据接收接口的授权消息,则向接收端传输业务数据。
4.如权利要求2所述的基于消息中间件的数据传输方法,其特征在于,所述调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送包括:
对所述业务数据中的敏感信息进行脱敏处理,得到脱敏业务数据;
对所述脱敏业务数据进行加密,得到加密业务数据,并将所述加密业务数据传输给接收端。
5.如权利要求4所述的基于消息中间件的数据传输方法,其特征在于,所述对所述业务数据中的敏感信息进行脱敏处理,得到脱敏业务数据包括:
获取业务数据中的敏感信息,通过预置的密文类型,将所述业务数据中的敏感信息转换为脱敏业务数据。
6.一种基于消息中间件的数据传输装置,其特征在于,所述装置包括:
创建模块,用于获取业务数据及对应的业务数据类型,根据所述业务数据类型在预置的消息中间件中创建业务数据主题,并根据所述业务数据主题建立对应的数据存储队列;
存储模块,用于对所述业务数据主题进行监听,若监听到在所述消息中间件中有任一业务数据主题创建时,则根据所述业务数据主题建立对应的数据传输通道,并根据所述数据传输通道将所述业务数据传输至所述数据存储队列中;
传输模块,用于调用接收端的数据接收接口,通过所述数据接收接口将所述数据存储队列中的业务数据进行推送;
创建模块,还用于根据所述业务数据主题获得与所述业务数据主题对应的预置优先级;
创建模块,还用于根据所述优先级为所述数据传输通道分配线程;
创建模块,还用于根据所述优先级等级查询获得对应的预置线程数;
将所述预置线程数分配给对应的各个数据传输通道;其中,每个数据传输通道有对应的优先级等级,若任一优先级仅对应一个数据传输通道,则将所述预置的线程数分配给所述数据传输通道,若任一优先级对应多个数据传输通道,则将所述预置的线程数平均分配给所述数据传输通道;
创建模块,还用于预先在系统中建立业务数据类型和业务数据主题之间的关联关系,当获取到业务数据类型之后,根据所述业务数据类型确定对应的业务数据主题,在预置的消息中间件中创建所述业务数据主题。
7.一种基于消息中间件的数据传输设备,其特征在于,所述基于消息中间件的数据传输设备包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被一个或多个所述处理器执行时,使得一个或多个所述处理器执行如权利要求1至5中任一项所述的基于消息中间件的数据传输方法。
8.一种计算机可读存储介质,其特征在于,所述存储介质可被处理器读写,所述存储介质存储有计算机指令,所述计算机指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至5中任一项所述的基于消息中间件的数据传输方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010222389.XA CN111510474B (zh) | 2020-03-26 | 2020-03-26 | 基于消息中间件的数据传输方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010222389.XA CN111510474B (zh) | 2020-03-26 | 2020-03-26 | 基于消息中间件的数据传输方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111510474A CN111510474A (zh) | 2020-08-07 |
CN111510474B true CN111510474B (zh) | 2023-09-29 |
Family
ID=71875877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010222389.XA Active CN111510474B (zh) | 2020-03-26 | 2020-03-26 | 基于消息中间件的数据传输方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111510474B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112199206B (zh) * | 2020-08-28 | 2023-12-26 | 杭州数云信息技术有限公司 | 基于事件机制模板对实时流事件配置化处理方法及系统 |
CN112163037A (zh) * | 2020-09-17 | 2021-01-01 | 彩讯科技股份有限公司 | 一种数据同步方法、装置、计算机设备及存储介质 |
CN112488462A (zh) * | 2020-11-13 | 2021-03-12 | 山东中创软件商用中间件股份有限公司 | 一种工作流数据的统一推送方法、装置及介质 |
CN113032492B (zh) * | 2021-04-21 | 2024-07-09 | 新奥数能科技有限公司 | 一种边缘端数据传输与存储的方法以及装置 |
CN114119019B (zh) * | 2021-11-26 | 2024-03-12 | 跨境银行间支付清算有限责任公司 | 基于跨境支付系统的多渠道接入方法及装置 |
CN114553956B (zh) * | 2022-01-04 | 2024-01-09 | 北京国电通网络技术有限公司 | 基于uep中间件的数据传输方法和系统 |
CN114938312B (zh) * | 2022-07-25 | 2022-09-23 | 北京中电普华信息技术有限公司 | 一种数据传输方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8959530B1 (en) * | 2013-05-07 | 2015-02-17 | Sprint Communications Company L.P. | Messaging middleware processing thread count based events |
CN107590210A (zh) * | 2017-08-25 | 2018-01-16 | 咪咕互动娱乐有限公司 | 一种数据处理方法、装置、系统及计算机可读存储介质 |
CN108449410A (zh) * | 2018-03-19 | 2018-08-24 | 深信服科技股份有限公司 | 一种云平台中消息管理方法、系统及相关装置 |
CN109756552A (zh) * | 2018-08-22 | 2019-05-14 | 比亚迪股份有限公司 | 一种乘客信息系统消息分发方法和装置及乘客信息系统 |
CN110858850A (zh) * | 2018-08-23 | 2020-03-03 | 比亚迪股份有限公司 | 一种轨道交通系统综合网管方法、装置及系统 |
-
2020
- 2020-03-26 CN CN202010222389.XA patent/CN111510474B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8959530B1 (en) * | 2013-05-07 | 2015-02-17 | Sprint Communications Company L.P. | Messaging middleware processing thread count based events |
CN107590210A (zh) * | 2017-08-25 | 2018-01-16 | 咪咕互动娱乐有限公司 | 一种数据处理方法、装置、系统及计算机可读存储介质 |
CN108449410A (zh) * | 2018-03-19 | 2018-08-24 | 深信服科技股份有限公司 | 一种云平台中消息管理方法、系统及相关装置 |
CN109756552A (zh) * | 2018-08-22 | 2019-05-14 | 比亚迪股份有限公司 | 一种乘客信息系统消息分发方法和装置及乘客信息系统 |
CN110858850A (zh) * | 2018-08-23 | 2020-03-03 | 比亚迪股份有限公司 | 一种轨道交通系统综合网管方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111510474A (zh) | 2020-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111510474B (zh) | 基于消息中间件的数据传输方法及相关设备 | |
CN106657130B (zh) | 一种基于mqtt的访问认证的方法及设备 | |
US10432741B2 (en) | Systems and methods for guaranteeing delivery of pushed data to remote clients | |
EP2454679B1 (en) | Management of an instant message session | |
US11122108B2 (en) | End-to-end file transmission method and system thereof | |
EP3258653A1 (en) | Message pushing method and device | |
EP3554037B1 (en) | Downlink media transmission control method and related device | |
CN108289074B (zh) | 用户账号登录方法及装置 | |
CN107995233B (zh) | 建立连接的方法及相应的设备 | |
CN114598749A (zh) | 一种服务访问方法及装置 | |
CN110909030B (zh) | 一种信息处理方法及服务器集群 | |
CN110096381B (zh) | 远程过程调用的实现方法、装置、设备和介质 | |
US20150140967A1 (en) | Base station and user equipment authentication method thereof | |
CN113438242A (zh) | 服务鉴权方法、装置与存储介质 | |
CN111327680B (zh) | 认证数据同步方法、装置、系统、计算机设备和存储介质 | |
KR20210064058A (ko) | 엣지 클라우드 시스템에서 이종 사업자 간 로그 검증을 위한 방법 및 장치 | |
CN111190754A (zh) | 一种区块链事件通知方法及区块链系统 | |
CN116094651A (zh) | 消息重试方法、系统、电子设备及存储介质 | |
US20160261476A1 (en) | Message system for avoiding processing-performance decline | |
CN113472715B (zh) | 数据传输方法和装置 | |
US20130024543A1 (en) | Methods for generating multiple responses to a single request message and devices thereof | |
CN111490997B (zh) | 任务处理方法、代理系统、服务系统和电子设备 | |
CN115567557B (zh) | 工业数据的多目标报送方法、装置及系统 | |
CN116260653B (zh) | 一种数据的传送方法、设备及介质 | |
CN108833396A (zh) | 一种确权的方法、装置、系统及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |