CN103002049A - 一种大数据量数据的网络传输系统 - Google Patents
一种大数据量数据的网络传输系统 Download PDFInfo
- Publication number
- CN103002049A CN103002049A CN2012105604244A CN201210560424A CN103002049A CN 103002049 A CN103002049 A CN 103002049A CN 2012105604244 A CN2012105604244 A CN 2012105604244A CN 201210560424 A CN201210560424 A CN 201210560424A CN 103002049 A CN103002049 A CN 103002049A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- transmission
- network
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种大数据量数据的网络传输系统，包括数据处理模块、数据管理模块、数据传输模块和网络监测模块；所述数据处理模块，其用于接收数据，并对数据进行处理，再将处理后的数据封装成若干数据包发送给数据管理模块；所述数据管理模块，其用于统一管理和分配经所述数据处理模块处理后的数据包；所述数据传输模块，其用于为数据管理模块分配的数据包选择传输路径，并实现即时数据传输和/或离线数据传输；所述网络监测模块，其用于监测网络运行情况。本发明设计了一种新型的大数据量数据网络传输系统架构，实现了高效的即时数据传输与离线数据传输。
Description
技术领域
本发明涉及电信行业的大数据量数据文件传输技术领域，特别是涉及一种大数据量数据网络传输的系统。
背景技术
随着电信行业各大运营商内部信息整合、资源的交换与共享的深入，各电信运营商内部产生的大量业务数据信息、基础数据库信息、以及各种详单、账单、原始话单文件等需要及时快速地从部门的服务器或终端汇总到数据中心、以便在各个部门的服务器或终端之间互传。由于传输的数据量巨大、传输过程中经过的服务器及网络环节众多，因此，对数据传输的效率、可靠性、安全等方面提出了诸多要求，同时，现有应用需求对数据资源传输的要求也越来越高。而传统的文件传输工具已经无法胜任大机构级应用环境的需求。为此，快速、安全、稳定地实现超量数据网络传输技术的研究是一个亟待解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于大数据量数据的网络传输系统，用于解决现有技术中大数据量数据的网络传输效率低、可靠性不高、安全性低等问题。
本发明解决上述技术问题的技术方案如下：一种大数据量数据的网络传输系统，包括数据处理模块、数据管理模块、数据传输模块和网络监测模块；
所述数据处理模块，其用于接收数据，并对数据进行处理，再将处理后的数据封装成若干数据包发送给数据管理模块；
所述数据管理模块，其用于统一管理和分配经所述数据处理模块处理后的数据包；
所述数据传输模块，其用于为数据管理模块分配的数据包选择传输路径，并实现即时数据传输和/或离线数据传输；
所述网络监测模块，其用于监测网络运行情况。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述数据处理模块对数据进行处理包括：根据数据的处理规则，对数据进行预处理、封装、加密、解密、校验、压缩、解压缩、指定编码和/或指定解码格式。
进一步，所述将处理后的数据封装成若干数据包具体包括：将处理后的数据封装成具有若干UDP数据包的数据包模块，若处理后的数据本身即是UDP数据包，则不进行数据封装，直接将UDP数据包组合成数据包模块。
进一步，所述数据管理模块统一管理数据包包括：对数据包进行缓存管理、并发管理和/或完整性管理。
进一步，所述数据传输模块选择的传输路径包括：直接发送和/或通过服务器转发。
进一步，所述数据传输模块包括即时数据传输模块和离线数据传输模块，所述即时数据传输模块用于以P2P通信方式或通过服务器转发方式实现即时数据传输，所述离线数据传输模块用于实现数据的离线上传和离线下载。
进一步，实现即时数据传输包括：通信双方均保持在线状态,经过一次双向认证后，进行数据传输；若通信双方的双向认证不成功，数据发送方会自动将数据发往服务器，由服务器将数据转发给接收方。
进一步，实现离线数据传输具体包括：当通信的一方不在线时，数据发送方向对方发送数据，该数据暂时存放在数据缓存服务器中进行中转，当数据接收方上线时，将自动从数据缓存服务器中获取缓存的离线数据。
进一步，实现即时数据传输和离线数据传输均还包括：设计了断线续传功能，用于在传输意外中断时，从断点处重新开始传输。
进一步，所述网络监测模块用于监测网络运行情况具体包括：监控本地与服务器连接超时、报告服务器下线通知、处理本地网络异常和测试数据传输双方的网络带宽。
本发明的有益效果是：依据数据传输端之间所处的网络环境，设计了一种新型的大数据量数据网络传输系统架构，实现了高效的即时数据传输与离线数据传输，而且数据量越大，即时数据传输方式的优势越明显。
附图说明
图1为本发明所述大数据量数据的网络传输系统的结构示意图；
图2为本发明实施例一中即时数据传输的工作原理图；
图3为本发明实施例一中数据离线上传的工作原理图；
图4为本发明实施例一中数据离线下载的工作原理图。
附图中，各标号所代表的部件列表如下：
1、大数据量数据传输系统架构，2、数据处理模块，3、数据管理模块，4、数据传输模块，5、网络监测模块，6、即时数据传输模块，7、离线数据传输模块。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例一依据开放互联网参考模型，设计了一种大数据量数据传输系统架构1，主要包括数据处理模块2、数据管理模块3、数据传输模块4和网络监测模块5。
所述数据处理模块2，其用于接收和发送数据，并根据数据的处理规则，对数据进行预处理、封装、加密、解密、校验、压缩、解压缩、指定编码和/或指定解码格式等操作，并将处理后的数据封装成若干数据包发送给数据管理模块3。这里主要是将处理后的数据封装成具有若干UDP数据包的数据包模块，且当处理后的数据本身即是UDP数据包时，则不进行数据封装，直接将UDP数据包组合成数据包模块。
所述数据管理模块3，其用于统一管理和分配经所述数据处理模块2处理后的数据包。这里，统一管理数据包包括：对数据包进行缓存管理、并发管理和/或完整性管理。此外，所述数据管理模块3中还设有数据包重发机制。
所述数据传输模块4，其用于为数据管理模块3分配的数据包选择传输路径，并实现即时数据传输和/或离线数据传输。这里，在数据包准确的收、发过程中，可选的传输路径包括直接发送和/或通过服务器转发。
对于数据传输模块4，其包括即时数据传输模块6和离线数据传输模块7，所述即时数据传输模块6用于以P2P通信方式或通过服务器转发方式实现即时数据传输，所述离线数据传输模块7用于实现数据的离线上传和离线下载。
这里，实现即时数据传输包括：通信双方均保持在线状态,经过一次双向认证后，进行数据传输；若通信双方的双向认证不成功，数据发送方会自动将数据发往服务器，由服务器将数据转发给接收方。
实现离线数据传输具体包括：当通信的一方不在线时，数据发送方向对方发送数据，该数据暂时存放在数据缓存服务器中进行中转，当数据接收方上线时，将自动从数据缓存服务器中获取缓存的离线数据。
此外，对于上述即时数据传输和离线数据传输，其均还包括：设计了断线续传功能，用于在传输意外中断时，从断点处重新开始传输，大大地节省了时间和带宽资源。
所述网络监测模块5，其用于监测网络运行情况，具体包括：监控本地与服务器连接超时、报告服务器下线通知、处理本地网络异常和测试数据传输双方的网络带宽。
即时数据传输的工作原理如图2所示，其实现了SOCKET通信,其中包括P2P隧道穿梭、带宽测试、在线心跳维护、补充包机制、数据加密校验和多线程组多缓冲区协同操作模块。在图2中双线箭头表示数据流向，单线箭标表示指令方向，其余图形的箭头表示与图2一致。
在线数据传输的数据分为3种类型：小数据块传输、大数据块传输和即时性数据传输。操作指令、UI控制指令等称为小数据块传输。硬盘文件、数据库大数据流等称为大数据流，因为大数据流只为一个数据流接口进行底层读取数据，例如文件数据传输，当用户需要传输文件时，只要编辑消息和文件路径触发在线发送接口就可以完成数据传输，简化了上层序列化等操作，直接提升传输效率。即时数据称为可丢失数据，如音视频数据，因为为了保障通信即时、不延时而被迫丢弃延时数据。
离线数据传输包括数据离线上传和数据离线下载，其中数据离线上传功能包括断点续传、多线程并行发送离线数据、内部执行信令和接收。
数据离线上传的工作原理如图3所示，包括UI控制层、上传客户端组件、上传组件服务器端组件和服务器上传日志管理中心。离线上传组件是系统的核心部位，嵌入UI监控层和服务器业务层，只提供特定接口响应或被响应。
数据离线下载主要是负责数据下载，其工作原理如图4所示，主要包含HTTP下载组件和业务控制层模块两部分。HTTP下载组件是整个离线下载的核心部件，同时它很好地封装了断点续传、线程负载调配、转地址等操作而只为外部提供了启动、暂停和关闭3种方法和一种事件委托方法及多个配置属性，通过组件封装可以很好地降低工程的耦合；且由于HTTP是一个基于请求与响应模式的、无状态的、应用层的协议，常基于TCP的连接方式，HTTP1.1版本中给出一种持续连接的机制，绝大多数的Web开发，都是构建在HTTP协议之上的Web应用以及嵌入其他语言使用。
对于实施例一中的数据缓存服务器，其主要包括:离线数据上传服务组件、WebServer和服务器管理层模块。
上传服务组件主要功能是接收离线数据上传处理，其功能包括数据接收、本地保存以及传输进度等信息响应。
为了构建一个稳定而简易且功能强大的数据服务器体系，离线传输的下载客户端选择了HTTP下载组件，但由于HTTP下载是基于Web数据的下载，由此服务器必须是基于HTTP协议的WebServer。因为WebServer在当今IT界有许多成熟、稳定且配置简单的产品。
服务器管理层模块负责各种业务逻辑处理，包括用户信息存储、下载进度或断点信息保存，以及上传组件与WebServer两个模块间的调度和调配。
实施例二是针对实施例一提出的网络传输架构，在Windows平台和UNIX平台下，开发了相关控件，并在运营商的内网和办公网内部进行测试。内网测试客户端为WindwosXP操作系统，1GB内存，双核CPU，10M网卡；办公网测试客户端为WindowsVista操作系统，2GB内存，100M网卡。测试结果表明无论是在内网还是办公网，无论是90MB文件还是190MB文件,无论是单个还是多个文件，P2P传输模式效率都要比HTTP下载控件及离线文件上传效率高得多;而且数据量越大，即时数据传输方式的优势越明显。
实施例三是针对实施例一提出的网络传输架构，设计了相应的软件MDWT（Mass Data Widely Transition,大数据快速传输)来实现即时数据传输与离线数据传输。实施例三的实施主要包括三个方面的实施过程：
一、MDWT在线传输程序实施过程：安装MDWT在线传输程序；配置MDWT在线传输应用参数；启动MDWT在线传输程序；通过MDWT在线传输程序给对端发送消息或文件；通过MDWT在线传输程序接收对端的消息或文件；MDWT在线传输程序退出。
二、MDWT离线上传程序实施过程：安装MDWT离线上传客户端程序；配置MDWT离线上传客户端程序应用参数；安装MDWT离线上传服务端程序；配置MDWT离线上传服务端程序应用参数；启动MDWT离线上传服务端程序；启动MDWT离线上传客户端程序；MDWT离线上传客户端程序上传文件；离线上传客户端程序退出；离线上传服务端程序退出。
三、MDWT离线下载程序实施流程：安装MDWT离线下载客户端程序；配置MDWT离线下载客户端程序应用参数；安装MDWT离线下载服务端程序；配置MDWT离线下载服务端程序应用参数；启动MDWT离线下载服务端程序；启动MDWT离线下载客户端程序；MDWT离线下载客户端程序上传文件；离线下载客户端程序退出；离线下载服务端程序退出。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种大数据量数据的网络传输系统，其特征在于，包括数据处理模块、数据管理模块、数据传输模块和网络监测模块；
所述数据处理模块，其用于接收数据，并对数据进行处理，再将处理后的数据封装成若干数据包发送给数据管理模块；
所述数据管理模块，其用于统一管理和分配经所述数据处理模块处理后的数据包；
所述数据传输模块，其用于为数据管理模块分配的数据包选择传输路径，并实现即时数据传输和/或离线数据传输；
所述网络监测模块，其用于监测网络运行情况。
2.根据权利要求1所述的网络传输系统，其特征在于，所述数据处理模块对数据进行处理包括：根据数据的处理规则，对数据进行预处理、封装、加密、解密、校验、压缩、解压缩、指定编码和/或指定解码格式。
3.根据权利要求1所述的网络传输系统，其特征在于，所述将处理后的数据封装成若干数据包具体包括：将处理后的数据封装成具有若干UDP数据包的数据包模块，若处理后的数据本身即是UDP数据包，则不进行数据封装，直接将UDP数据包组合成数据包模块。
4.根据权利要求1所述的网络传输系统，其特征在于，所述数据管理模块统一管理数据包包括：对数据包进行缓存管理、并发管理和/或完整性管理。
5.根据权利要求1所述的网络传输系统，其特征在于，所述数据传输模块选择的传输路径包括：直接发送和/或通过服务器转发。
6.根据权利要求1所述的网络传输系统，其特征在于，所述数据传输模块包括即时数据传输模块和离线数据传输模块，所述即时数据传输模块用于以P2P通信方式或通过服务器转发方式实现即时数据传输，所述离线数据传输模块用于实现数据的离线上传和离线下载。
7.根据权利要求1所述的网络传输系统，其特征在于，实现即时数据传输包括：通信双方均保持在线状态,经过一次双向认证后，进行数据传输；若通信双方的双向认证不成功，数据发送方会自动将数据发往服务器，由服务器将数据转发给接收方。
8.根据权利要求1所述的网络传输系统，其特征在于，实现离线数据传输具体包括：当通信的一方不在线时，数据发送方向对方发送数据，该数据暂时存放在数据缓存服务器中进行中转，当数据接收方上线时，将自动从数据缓存服务器中获取缓存的离线数据。
9.根据权利要求7或8所述的网络传输系统，其特征在于，实现即时数据传输和离线数据传输均还包括：设计了断线续传功能，用于在传输意外中断时，从断点处重新开始传输。
10.根据权利要求1所述的网络传输系统，其特征在于，所述网络监测模块用于监测网络运行情况具体包括：监控本地与服务器连接超时、报告服务器下线通知、处理本地网络异常和测试数据传输双方的网络带宽。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012105604244A CN103002049A (zh) | 2012-12-20 | 2012-12-20 | 一种大数据量数据的网络传输系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012105604244A CN103002049A (zh) | 2012-12-20 | 2012-12-20 | 一种大数据量数据的网络传输系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103002049A true CN103002049A (zh) | 2013-03-27 |
Family
ID=47930182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012105604244A Pending CN103002049A (zh) | 2012-12-20 | 2012-12-20 | 一种大数据量数据的网络传输系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103002049A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104333578A (zh) * | 2014-10-23 | 2015-02-04 | 秦科 | 一种分布式数据交换系统及方法 |
| CN104618448A (zh) * | 2014-12-31 | 2015-05-13 | 乐视网信息技术（北京）股份有限公司 | 数据跟踪系统与方法 |
| CN104809214A (zh) * | 2015-04-23 | 2015-07-29 | 中国电子科技集团公司第四十一研究所 | 一种应用于微波自动测试系统的测试数据断点续传方法 |
| CN106130695A (zh) * | 2016-08-24 | 2016-11-16 | 桂林信通科技有限公司 | 一种数据传输方法和系统 |
| CN107370665A (zh) * | 2017-07-18 | 2017-11-21 | 福州大学 | 一种适用于LoRa网络的低功耗即时文本通讯方法 |
| CN107656715A (zh) * | 2017-09-30 | 2018-02-02 | 海南云江科技有限公司 | 在线课堂的数据传输方法、网络服务器和系统 |
| CN110603799A (zh) * | 2017-04-26 | 2019-12-20 | 西门子股份公司 | 从设备到数据管理装置的数据传输的方法，交换单元，设备和系统 |
| CN111277658A (zh) * | 2020-01-21 | 2020-06-12 | 神华神东电力有限责任公司 | 数据传输方法及远端数据中心 |
| CN112688935A (zh) * | 2020-12-22 | 2021-04-20 | 浪潮卓数大数据产业发展有限公司 | 一种基于多线程的数据加密推送方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101465824A (zh) * | 2008-12-29 | 2009-06-24 | 腾讯科技（深圳）有限公司 | 即时通信文件多源传输系统及方法 |
| CN102137027A (zh) * | 2011-05-03 | 2011-07-27 | 厦门市美亚柏科信息股份有限公司 | 数据的可靠传输方法和装置 |
-
2012
- 2012-12-20 CN CN2012105604244A patent/CN103002049A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101465824A (zh) * | 2008-12-29 | 2009-06-24 | 腾讯科技（深圳）有限公司 | 即时通信文件多源传输系统及方法 |
| CN102137027A (zh) * | 2011-05-03 | 2011-07-27 | 厦门市美亚柏科信息股份有限公司 | 数据的可靠传输方法和装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104333578A (zh) * | 2014-10-23 | 2015-02-04 | 秦科 | 一种分布式数据交换系统及方法 |
| CN104618448A (zh) * | 2014-12-31 | 2015-05-13 | 乐视网信息技术（北京）股份有限公司 | 数据跟踪系统与方法 |
| CN104809214A (zh) * | 2015-04-23 | 2015-07-29 | 中国电子科技集团公司第四十一研究所 | 一种应用于微波自动测试系统的测试数据断点续传方法 |
| CN106130695A (zh) * | 2016-08-24 | 2016-11-16 | 桂林信通科技有限公司 | 一种数据传输方法和系统 |
| CN110603799A (zh) * | 2017-04-26 | 2019-12-20 | 西门子股份公司 | 从设备到数据管理装置的数据传输的方法，交换单元，设备和系统 |
| US11601494B2 (en) | 2017-04-26 | 2023-03-07 | Siemens Aktiengesellschaft | Method for transferring data from a device to a data management means, switching unit, device and system |
| CN107370665A (zh) * | 2017-07-18 | 2017-11-21 | 福州大学 | 一种适用于LoRa网络的低功耗即时文本通讯方法 |
| CN107656715A (zh) * | 2017-09-30 | 2018-02-02 | 海南云江科技有限公司 | 在线课堂的数据传输方法、网络服务器和系统 |
| CN107656715B (zh) * | 2017-09-30 | 2021-06-01 | 海南云江科技有限公司 | 在线课堂的数据传输方法、网络服务器和系统 |
| CN111277658A (zh) * | 2020-01-21 | 2020-06-12 | 神华神东电力有限责任公司 | 数据传输方法及远端数据中心 |
| CN112688935A (zh) * | 2020-12-22 | 2021-04-20 | 浪潮卓数大数据产业发展有限公司 | 一种基于多线程的数据加密推送方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103002049A (zh) | 一种大数据量数据的网络传输系统 | |
| Dizdarević et al. | A survey of communication protocols for internet of things and related challenges of fog and cloud computing integration | |
| CN112769938B (zh) | 一种基于QUIC的Kubernetes云边通信系统与方法 | |
| CN111083161A (zh) | 数据传输的处理方法及装置、物联网设备 | |
| US20190245767A1 (en) | Methods to monitor resources through http/2 | |
| CN104811459A (zh) | 用于消息服务的处理方法、装置及系统、消息服务系统 | |
| CN103024081B (zh) | 适用于有时效保证通讯系统的点对点通讯的终端调度方法 | |
| CN104753817A (zh) | 一种云计算消息队列服务本地模拟方法和系统 | |
| CN109905409A (zh) | 基于Socket.IO的物联网网关实时双向通信系统 | |
| CN108881158A (zh) | 数据交互系统和方法 | |
| CN109327493A (zh) | 一种基于云的远程医疗监控系统及监控方法 | |
| CN105516221A (zh) | 信息推送系统及方法 | |
| CN104580158A (zh) | 一种分布式平台文件与内容分发方法及系统 | |
| CN105681462A (zh) | 一种基于消息路由的集群系统及数据通信中转方法 | |
| CN109067796A (zh) | 一种数据传输方法及装置 | |
| CN112953850B (zh) | 数据传输方法、装置、计算机可读介质及电子设备 | |
| CN110381058A (zh) | 基于全双工通信协议WebSocket的请求传输方法及装置 | |
| CN105677494A (zh) | 一种消息分发的方法和装置 | |
| CN103685363A (zh) | 一种高效可靠的多任务处理方法及系统 | |
| CN108512694B (zh) | 一种服务器日志分析的方法及装置 | |
| CN108614820B (zh) | 实现流式源数据解析的方法和装置 | |
| CN109067922A (zh) | 一种数据传输方法及装置 | |
| Almheiri et al. | IoT Protocols–MQTT versus CoAP | |
| Narita et al. | Reliable cloud-based robot services | |
| KR101082850B1 (ko) | 자료 동기화를 위한 모바일 단말기 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20130327 |