CN112235398A - 一种支持大数据量的数据传输方法 - Google Patents
一种支持大数据量的数据传输方法 Download PDFInfo
- Publication number
- CN112235398A CN112235398A CN202011093235.1A CN202011093235A CN112235398A CN 112235398 A CN112235398 A CN 112235398A CN 202011093235 A CN202011093235 A CN 202011093235A CN 112235398 A CN112235398 A CN 112235398A
- Authority
- CN
- China
- Prior art keywords
- data
- transmission
- api
- method supporting
- gateway interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013524 data verification Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000006855 networking Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/562—Brokering proxy services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种支持大数据量的数据传输方法，包括：步骤S1、将需要的传输节点安装节点程序后注册到总控平台；步骤S2、对节点进行审批并创建传输通道；步骤S3、根据业务需求对传输通道进行配置，所述传输通道包括路由策略和传输类型；步骤S4、调用api‑gateway接口将需要传输的数据传递到api‑gateway接口中；步骤S5、传输节点接收到api‑gateway接口的数据后进行数据校验，并将数据传输到消息中间件，根据路由策略进行数据转发与上传。本发明的优点在于：实现跨业务系统的大数据量传输，同时保证数据的一致性与及时性。
Description
技术领域
本发明涉及数据传输方法，特别涉及一种支持大数据量的数据传输方法。
背景技术
目前大数据环境缺乏统一的数据传输管理体系，没有一种通用的大数据传输方案，现有的不同网络间、内部不同业务系统间、内部与外单位不同业务系统间均设置有各自的数据传输方式，不能在大数据环境下实现高效的跨系统间调用，且各系统和平台间还存在重复建设的问题。
因此，如何提供一种支持大数据量的数据传输方法，在日益增长的数据传输活动中提高数据库间数据的一致性与及时性，成为一个亟待解决的问题。
发明内容
本发明要解决的技术问题，在于提供一种支持大数据量的数据传输方法，实现跨业务系统的大数据量传输，同时保证数据的一致性与及时性。
本发明提供了一种支持大数据量的数据传输方法，包括如下步骤：
步骤S1、将需要的传输节点安装节点程序后注册到总控平台；
步骤S2、对节点进行审批并创建传输通道；
步骤S3、根据业务需求对传输通道进行配置，所述传输通道包括路由策略和传输类型；
步骤S4、调用api-gateway接口将需要传输的数据传递到api-gateway接口中；
步骤S5、传输节点接收到api-gateway接口的数据后进行数据校验，并将数据传输到消息中间件，根据路由策略进行数据转发与上传。
进一步的，所述传输类型包括kafka和mq，所述消息中间件包括kafka和ActiveMQ。
进一步的，所述传输节点分布在不同的业务系统中。
进一步的，所述数据校验包括过滤得到需要的数据。
进一步的，所述方法还提供联网报文的配置，包括字符串报文、二进制流、XML格式报文和文件。
本发明的优点在于：
1、通过传输节点与传输通道的配置以及将Kafka、ActiveMQ作为传输组件(消息中间件)，在采用kafka传输方式的传递的过程中采用json结构进行数据交换，最终将目标结构与数据(即最终需要的数据结构和对应的数据)写到目标地址，最大程度保障数据传输过程的数据一致性和及时性；
2、通过将不同的传输节点统一注册到总控平台，保证扩展的便捷性和兼容性；
3、结合api-gateway接口调用数据，实现同侧网域不同逻辑地域间服务器的逐级连接和数据传递，以及基于通道进行跨网络服务器间的“无缝”数据分发；
4、提供多种接收通知消息的机制，支持提供源数据端和目标数据端之间多种通讯方式，如会话、广播通知、管道、发布/订阅等，满足不同的应用场景需求。
5、在数据传输过程中增加了总控平台对节点的授权认证(认证由超级管理员进行操作)以及传输数据的校验功能，同时兼具保密和保护作用；
6、还可通过数据上传平台展示，实现全流程的日志跟踪，实现了问题数据流向追溯。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1是本发明一种支持大数据量的数据传输方法的流程图。
具体实施方式
请参照图1所示，本发明一种支持大数据量的数据传输方法，包括如下步骤：
步骤S1、将需要的传输节点安装节点程序后注册到总控平台；所述节点程序支持数据的传输与获取等操作；
步骤S2、对节点进行审批并创建传输通道；即实现对节点的身份审批，比如在注册了省厅、市局和县局三个传输节点，可在省厅创建Oracle传输通道，对应的业务需求是将省厅数据下发到县局，则配置路由为省厅到市局，再由市局到县局；
步骤S3、根据业务需求对传输通道进行配置，所述传输通道包括路由策略和传输类型，所述传输类型包括kafka和mq，在配置时传输类型选择kafka和mq两种之一即可；
步骤S4、调用api-gateway接口将需要传输的数据传递到api-gateway接口中；
步骤S5、传输节点接收到api-gateway接口的数据后进行数据校验，并将数据传输到消息中间件，根据路由策略进行数据转发与上传。
较佳的，所述消息中间件包括kafka和ActiveMQ，根据业务需要选择其中一种传输类型即可。
较佳的，所述传输节点分布在不同的业务系统中。使得不同的业务系统中的传输节点均可以根据业务需求进行数据传输。
较佳的，所述数据校验包括过滤得到需要的数据，保留目标地址需要的数据即可。
较佳的，所述方法还提供联网报文的配置，包括字符串报文、二进制流、XML格式报文和文件，提供不同接收通知消息的机制，以满足不同的应用场景需求。
本发明优化大数据传输架构和大数据传输能力，提供统一的大数据传输通用解决方案。汇聚现有大数据传输的现实需求，提取大数据传输的共性，实现从“源”到“端”的传输护航，解决在日益增长的数据传输活动中面临的数据库间数据的一致性与及时性的难题。且任何系统及平台均可直接采用本发明方法，可避免重复建设，根据不同传输内容，提供不同的解决方案，如：文件、图片、字符串、视频流、音频流等，整个系统科学、高效、可靠、协调的管理与运行。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (5)
1.一种支持大数据量的数据传输方法，其特征在于：包括如下步骤：
步骤S1、将需要的传输节点安装节点程序后注册到总控平台；
步骤S2、对节点进行审批并创建传输通道；
步骤S3、根据业务需求对传输通道进行配置，所述传输通道包括路由策略和传输类型；
步骤S4、调用api-gateway接口将需要传输的数据传递到api-gateway接口中；
步骤S5、传输节点接收到api-gateway接口的数据后进行数据校验，并将数据传输到消息中间件，根据路由策略进行数据转发与上传。
2.如权利要求1所述的一种支持大数据量的数据传输方法，其特征在于：所述传输类型包括kafka和mq，所述消息中间件包括kafka和ActiveMQ。
3.如权利要求1所述的一种支持大数据量的数据传输方法，其特征在于：所述传输节点分布在不同的业务系统中。
4.如权利要求1所述的一种支持大数据量的数据传输方法，其特征在于：所述数据校验包括过滤得到需要的数据。
5.如权利要求1所述的一种支持大数据量的数据传输方法，其特征在于：所述方法还提供联网报文的配置，包括字符串报文、二进制流、XML格式报文和文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011093235.1A CN112235398A (zh) | 2020-10-12 | 2020-10-12 | 一种支持大数据量的数据传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011093235.1A CN112235398A (zh) | 2020-10-12 | 2020-10-12 | 一种支持大数据量的数据传输方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112235398A true CN112235398A (zh) | 2021-01-15 |
Family
ID=74112603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011093235.1A Pending CN112235398A (zh) | 2020-10-12 | 2020-10-12 | 一种支持大数据量的数据传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112235398A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011091731A1 (zh) * | 2010-02-01 | 2011-08-04 | 深圳市同洲电子股份有限公司 | 数据传输设备、数据传输方法及数据同步方法 |
| US20150295782A1 (en) * | 2014-04-09 | 2015-10-15 | Hcl Technologies Ltd | efficient mechanism to improve data speed between systems by MPTCP and MIMO combination |
| CN108881369A (zh) * | 2018-04-24 | 2018-11-23 | 中国科学院信息工程研究所 | 一种基于面向数据内容的云消息中间件的数据交换方法和云消息中间件系统 |
| CN110336702A (zh) * | 2019-07-11 | 2019-10-15 | 上海金融期货信息技术有限公司 | 一种消息中间件的系统和实现方法 |
| CN110377666A (zh) * | 2019-07-26 | 2019-10-25 | 浪潮软件股份有限公司 | 基于cmsp消息中间件进行异源数据库间数据同步的方法 |
-
2020
- 2020-10-12 CN CN202011093235.1A patent/CN112235398A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011091731A1 (zh) * | 2010-02-01 | 2011-08-04 | 深圳市同洲电子股份有限公司 | 数据传输设备、数据传输方法及数据同步方法 |
| US20150295782A1 (en) * | 2014-04-09 | 2015-10-15 | Hcl Technologies Ltd | efficient mechanism to improve data speed between systems by MPTCP and MIMO combination |
| CN108881369A (zh) * | 2018-04-24 | 2018-11-23 | 中国科学院信息工程研究所 | 一种基于面向数据内容的云消息中间件的数据交换方法和云消息中间件系统 |
| CN110336702A (zh) * | 2019-07-11 | 2019-10-15 | 上海金融期货信息技术有限公司 | 一种消息中间件的系统和实现方法 |
| CN110377666A (zh) * | 2019-07-26 | 2019-10-25 | 浪潮软件股份有限公司 | 基于cmsp消息中间件进行异源数据库间数据同步的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020147760A1 (zh) | 一种局域网通信方法、装置及系统 | |
| CN102148698A (zh) | 基于网络配置协议的网络配置管理方法、设备和系统 | |
| CN105610981A (zh) | 快速作战信息流转平台 | |
| CN108494815A (zh) | 一种传输消息的方法和系统 | |
| JP2010231759A (ja) | モバイルクラウドプラットホームを具備したモバイル端末装置 | |
| CN106210049B (zh) | 一种基于消息队列的集群通信方法及系统 | |
| US10855576B2 (en) | Information transmission method and device | |
| EP3062544B1 (en) | Method, node and system for managing resources of machine type communication application | |
| CN102833092A (zh) | 云节点管理方法及系统、中心服务器 | |
| CN105207885A (zh) | 在会话界面中展示用户信息的方法及装置 | |
| CN113826424A (zh) | 用于向网络提供外部业务的实体 | |
| CN100421432C (zh) | 对媒体资源服务器进行路由的方法 | |
| CN111309691A (zh) | 基于总线架构的数据共享交换系统和交换方法 | |
| US9692723B2 (en) | Network management of devices residing behind a network device | |
| CN112235398A (zh) | 一种支持大数据量的数据传输方法 | |
| CN102904739A (zh) | 一种实现事件转发的方法及通用信息模型cim服务器 | |
| CN101309154B (zh) | 报文的发送方法、发送装置和传输系统 | |
| CN103428013A (zh) | 设备管理方法、系统和网关设备 | |
| CN102857352B (zh) | 基于叠加网的组播、广播方法及系统 | |
| CN102546201A (zh) | 一种实现管理串口服务器的系统及方法 | |
| CN108683586A (zh) | 即时通讯系统中的数据处理方法、装置、介质和计算设备 | |
| CN101848052B (zh) | 多域网络业务映射配置方法及系统 | |
| CN107911642A (zh) | 一种有线电视网络管理系统 | |
| CN103442349A (zh) | 基于xmpp的无线传感器网络固件更新方法 | |
| CA2535707C (en) | Method for integrated management and provision of services in communication network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210115 |