CN103269376B - 一种集中授权集中管理的企业网大文件传输系统的传输方法 - Google Patents
一种集中授权集中管理的企业网大文件传输系统的传输方法 Download PDFInfo
- Publication number
- CN103269376B CN103269376B CN201310214588.6A CN201310214588A CN103269376B CN 103269376 B CN103269376 B CN 103269376B CN 201310214588 A CN201310214588 A CN 201310214588A CN 103269376 B CN103269376 B CN 103269376B
- Authority
- CN
- China
- Prior art keywords
- server
- transmission
- file
- client
- upper limit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013475 authorization Methods 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 5
- 230000002195 synergetic effect Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 239000000523 sample Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010019233 Headaches Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种集中授权集中管理的企业网大文件传输系统，它包括客户端、业务系统服务器和大附件服务器，客户端与业务系统服务器连接，业务系统服务器与大附件服务器连接；所述客户端是指用户个人电脑主机系统，系统中具有互联网浏览器，所述业务系统服务器是指企业信息化应用需要部署的系统，包括内容管理服务器、办公邮件服务器、视频服务器和协同办公服务器，业务服务器均包括相互独立的文件传输模块和业务功能模块。并公开了一种大附件传输的方法，利用本发明传送大文件，文件传输快速、使用简单、安全可靠、方便，在传输大文件时比普通文件传输方式快2～10倍。
Description
技术领域
本发明涉及一种大文件传输系统及方法，尤其涉及一种集中授权集中管理的企业网大文件传输系统及方法。
背景技术
随着信息技术的快速发展，企业信息化应用不断深化，需要传输的数据量越来越大，各种大数据量文件必须能够快速的实现网络传输，企业网用户经常感到头疼的问题包含以下三个方面：
1.大附件传输速率无法控制，大数据量文件传输为保证可靠性在传输层采用TCP协议传输，但是受TCP协议拥塞控制机制的影响，传输速率不能控制，无法保证高优先级的文件快速传输；
2.大文件传输与业务处理紧耦合，当业务系统需要传输大文件时，业务系统需要等待文件传输完毕后才能继续进行工作，而大文件传输所需时间较长，导致资源浪费、工作效率低下；
3.难以实现断点续传，当大量数据文件传输过程中遇到节点网络不稳或断电或主机重启的情况，中断文件传输，传统大数据量文件传输不能实现断点续传，只能从头传输文件，导致带宽资源浪费。
为满足企业网用户安全、可控的传输大数据量的文件，急需一项安全可靠的大附件传输技术。
发明内容
本发明的目的就是为了解决上述问题，提供一种集中授权集中管理的企业网大文件传输系统及方法，它具有速率可控、断点续传、数据传输与业务处理解耦的优点。
为了实现上述目的，本发明采用如下技术方案：
一种集中授权集中管理的企业网大文件传输系统，它包括客户端、业务系统服务器和大附件服务器，客户端与业务系统服务器连接，业务系统服务器与大附件服务器连接；所述客户端是指用户个人电脑主机系统，系统中具有互联网浏览器。
所述业务系统服务器是指企业信息化应用需要部署的系统，包括内容管理服务器、办公邮件服务器、视频服务器和协同办公服务器，业务服务器均包括相互独立的文件传输模块和业务功能模块。
所述大附件服务器包含数据库模块、数据存储模块和传输控制模块。
基于集中授权集中管理的企业网大文件传输系统的传输方法，具体步骤为：
步骤一：采用单点登录方式将业务系统的权限集中授权给客户端使用，完成一次登录多业务系统使用的授权；
步骤二：访问业务系统服务器，业务系统服务器检测需要传输的文件是否大于设定值；若不是按照普通上传；若是转入步骤三；
步骤三：大附件服务器收到传输请求后，其传输控制模块探测传输的往返时延，基于往返时延和传输速率上限计算文件分块大小，并将文件分块标准发送到大文件传输的发起端，发起端按照文件分块标准将大文件利用文件集合压缩分割技术将大文件压缩的同时分割成文件块，并标注文件块未传输；
步骤四：每隔一个往返时延的间隔按序传输未传输的文件块，每发送完一个数据块标记数据块为已传输；若传输过程中某个时间点任务被暂停或者意外中断，转入步骤五；当所有文件块传输完毕后，转入步骤六；
步骤五：记录传输暂停位置产生的断点信息，当一个未完成的上次任务再次开始时，转入步骤四；
步骤六：接收端若为大附件服务器，则将所有文件块合并存储在数据存储模块下的存储空间上，并按照定义的数据库存储方式存储到数据库模块的数据库表中，否则接收端直接合并解压。
所述传输控制模块探测往返时延的方法为：传输控制模块通过发送ping命令获得往返时延后取平均值。
所述传输速率上限是根据文件的重要程度、参与传输人员的职务和网络带宽情况设定的传输速率上限，传输速率上限设定后存储在大附件服务器的传输控制模块中。
所述文件分块大小计算方式为：其中a为TCP传输初始窗口大小，MTU为报文大小，T为传输速率上限，RTT为往返时延。
所述数据库存储方式为：将文件的属性以及存储位置、存储格式，按照标准的规范，分类保存到数据库中。
本发明的有益效果：
1.能够灵活有效地控制大附件传输速率，保证高优先级的文件快速传输，传输过程中受TCP拥塞控制机制影响小，传输速率稳定。
2.文件传输模块与业务功能模块分离，当传输大文件时可并行工作，极大的提高办公效率、解决办公时间。
3.具有断点续传的功能，最大化利用网络带宽。
附图说明
图1为本发明的系统框图；
图2为本发明的流程图。
其中，1.客户端，2.业务系统服务器，3.大附件服务器，4.内容管理服务器，5.办公邮件服务器，6.视频服务器，7.协同办公服务器。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1，一种集中授权集中管理的企业网大文件传输系统，它包括客户端1、业务系统服务器2和大附件服务器3，客户端1与业务系统服务器2连接，业务系统服务器2与大附件服务器3连接；所述客户端1是指用户个人电脑主机系统，系统中具有互联网浏览器。
所述业务系统服务器2是指企业信息化应用需要部署的系统，包括内容管理服务器4、办公邮件服务器5、视频服务器6和协同办公服务器7，内容管理服务器4、办公邮件服务器5、视频服务器6和协同办公服务器7均包括相互独立的文件传输模块和业务功能模块。
所述大附件服务器3包含数据库模块、数据存储模块和传输控制模块。
基于集中授权集中管理的企业网大文件传输系统的传输方法，具体步骤为：
步骤一：采用单点登录方式将业务系统的权限集中授权给客户端1使用，完成一次登录多业务系统使用的授权；
步骤二：访问业务系统服务器2，业务系统服务器2检测需要传输的文件为2G，大于10M，向大附件服务器3发送传输请求，转入步骤三；
步骤三：大附件服务器3收到传输请求后，其传输控制模块探测传输的往返时延，基于往返时延和传输速率上限确定文件分块大小，并将文件分块标准发送到客户端1，发送端按照文件分块标准将大文件利用文件集合压缩分割技术将大文件压缩的同时分割成文件块，并标注文件块未传输；
步骤四：客户端1每隔一个往返时延的间隔按序传输未传输的文件块，每发送完一个数据块标记数据块为已传输；若传输过程中某个时间点任务被暂停或者意外中断，转入步骤五；当所有文件块传输完毕后，转入步骤六；
步骤五：记录传输暂停位置产生的断点信息，当一个未完成的上次任务再次开始时，转 入步骤四；
步骤六：大附件服务器3将所有文件块合并存储在数据存储模块下的存储空间上，并按照定义的数据库存储方式存储到数据库模块的数据库表中。
所述传输控制模块探测往返时延的方法为：传输控制模块通过发送ping命令获得往返时延后取平均值。
所述传输速率上限是根据文件的重要程度、参与传输人员的职务和网络带宽情况设定的传输速率上限，传输速率上限设定后存储在大附件服务器3的传输控制模块中。
所述文件分块大小计算方式为：其中a为TCP传输初始窗口大小，MTU为报文大小，T为传输速率上限，RTT为往返时延。
所述数据库存储方式为：将文件的属性以及存储位置、存储格式，按照标准的规范，分类保存到数据库中。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (4)
1.一种集中授权集中管理的企业网大文件传输系统的传输方法，其传输系统包括客户端、业务系统服务器和大附件服务器，客户端与业务系统服务器连接，业务系统服务器与大附件服务器连接；所述客户端是指用户个人电脑主机系统，系统中具有互联网浏览器；
所述业务系统服务器是指企业信息化应用需要部署的系统，包括内容管理服务器、办公邮件服务器、视频服务器和协同办公服务器，业务服务器均包括相互独立的文件传输模块和业务功能模块；
所述大附件服务器包含数据库模块、数据存储模块和传输控制模块；
所述传输控制模块存储传输速率上限，所述传输速率上限是根据文件的重要程度、参与传输人员的职务和网络带宽情况设定的传输速率上限；
其特征是，具体步骤为：
步骤一：采用单点登录方式将业务系统的权限集中授权给客户端使用，完成一次登录多业务系统使用的授权；
步骤二：访问业务系统服务器，业务系统服务器检测需要传输的文件是否大于设定值；若不是，按照普通上传；若是，转入步骤三；
步骤三：大附件服务器收到传输请求后，其传输控制模块探测传输的往返时延，基于往返时延和传输速率上限计算文件分块大小，并将文件分块标准发送到大文件传输的发起端，发起端按照文件分块标准，利用文件集合压缩分割技术将大文件压缩的同时分割成文件块，并标注文件块未传输；
步骤四：每隔一个往返时延的间隔按序传输未传输的文件块，每发送完一个数据块标记数据块为已传输；若传输过程中某个时间点任务被暂停或者意外中断，转入步骤五；当所有文件块传输完毕后，转入步骤六；
步骤五：记录传输暂停位置产生的断点信息，当一个未完成的上次任务再次开始时，转入步骤四；
步骤六：接收端若为大附件服务器，则将所有文件块合并存储在数据存储模块下的存储空间上，并按照定义的数据库模块存储方式存储到数据库模块的数据库模块表中，否则接收端直接合并解压；
所述传输速率上限是根据文件的重要程度、参与传输人员的职务和网络带宽情况设定的传输速率上限，传输速率上限设定后存储在大附件服务器的传输控制模块中。
2.如权利要求1所述的传输方法，其特征是，所述传输控制模块探测往返时延的方法为：传输控制模块通过发送ping命令获得往返时延后取平均值。
3.如权利要求1所述的传输方法，其特征是，所述文件分块大小计算方式为： 其中a为TCP传输初始窗口大小，MTU为报文大小，T为传输速率上限，RTT为往返时延。
4.如权利要求1所述的传输方法，其特征是，所述数据库模块存储方式为：将文件的属性、存储位置以及存储格式，按照标准的规范，分类保存到数据库模块中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310214588.6A CN103269376B (zh) | 2013-05-31 | 2013-05-31 | 一种集中授权集中管理的企业网大文件传输系统的传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310214588.6A CN103269376B (zh) | 2013-05-31 | 2013-05-31 | 一种集中授权集中管理的企业网大文件传输系统的传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103269376A CN103269376A (zh) | 2013-08-28 |
| CN103269376B true CN103269376B (zh) | 2014-12-10 |
Family
ID=49012985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310214588.6A Active CN103269376B (zh) | 2013-05-31 | 2013-05-31 | 一种集中授权集中管理的企业网大文件传输系统的传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103269376B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103516789B (zh) * | 2013-09-16 | 2019-04-26 | 北京电视台 | 从办公网到生产网的传输数据的管理方法和系统 |
| CN103516790A (zh) * | 2013-09-16 | 2014-01-15 | 北京电视台 | 从办公网到生产网的音视频文件传输方法和系统 |
| CN105282200B (zh) * | 2014-07-18 | 2018-12-28 | 中国电信股份有限公司 | 断点续传的方法与服务器 |
| CN105791245B (zh) * | 2014-12-26 | 2019-09-03 | 北京航天测控技术有限公司 | 一种数据发送、接收方法和装置 |
| TWI678904B (zh) * | 2018-08-27 | 2019-12-01 | 宏碁股份有限公司 | 電子郵件檢查方法與電子郵件檢查系統 |
| CN110826978A (zh) * | 2019-09-24 | 2020-02-21 | 云深互联(北京)科技有限公司 | 一种基于企业浏览器的统一待办事项处理方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101867617A (zh) * | 2010-06-13 | 2010-10-20 | 优视科技有限公司 | 一种基于移动终端的文件上传方法、系统和上传服务器 |
| CN102255892B (zh) * | 2011-06-17 | 2014-03-26 | 苏州汉明科技有限公司 | 支持无线接入和远程接入的企业网络系统 |
-
2013
- 2013-05-31 CN CN201310214588.6A patent/CN103269376B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN103269376A (zh) | 2013-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103269376B (zh) | 一种集中授权集中管理的企业网大文件传输系统的传输方法 | |
| WO2021121370A1 (zh) | 用于消息队列的消息丢失检测方法和装置 | |
| JP5792850B2 (ja) | ネットワーク上でのファイルフォルダ送信 | |
| US9967315B2 (en) | Electronic device, storage medium and file transferring method | |
| US10069894B2 (en) | Electronic device, storage medium and file transferring method | |
| US20110246763A1 (en) | Parallel method, machine, and computer program product for data transmission and reception over a network | |
| US20150319238A1 (en) | Method, device and storage medium for data processing | |
| CN102355426A (zh) | 实现离线文件传输的方法和系统 | |
| CN110502364B (zh) | 一种OpenStack平台下大数据沙箱集群的跨云备份恢复方法 | |
| CN102546612A (zh) | 用户态下基于rdma协议的远程过程调用实现方法 | |
| EP3159803B1 (en) | Data storage method and network interface card | |
| CN102752283A (zh) | 大数据量文件的传输方法及系统 | |
| WO2015096692A1 (zh) | 数据接收流量控制方法及其系统、计算机存储介质 | |
| CN105338090A (zh) | 一种基于WebSocket的断点续传方法及装置 | |
| WO2012139474A1 (zh) | 数据的获取方法、设备和系统 | |
| CN104754012A (zh) | 一种数据传输方法和数据传输系统 | |
| CN110598058A (zh) | 司法链的证据存证和处理方法、装置、设备和介质 | |
| CN103699450A (zh) | 一种Linux下的自适应组件间通信方法 | |
| CN106059936A (zh) | 云系统组播文件的方法及装置 | |
| EP4175231A1 (en) | Message processing method, network device and related device | |
| CN102917212A (zh) | 一种基于rtp和rtsp的3g无线视频监控实现方法及系统 | |
| EP3038032A1 (en) | Service message transmitting method and device | |
| CN111913817A (zh) | 一种数据传输方法、系统和设备以及计算机可读存储介质 | |
| CN102904764A (zh) | 一种数据传输装置及其传输方法 | |
| CN108234595B (zh) | 日志传输方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent for invention or patent application | ||
| CB02 | Change of applicant information |
Address after: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing Applicant after: State Grid Corporation of China Applicant after: State Grid Shandong Electric Power Company Information Communication Company Address before: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing Applicant before: State Grid Corporation of China Applicant before: Information & Communication Company of Shandong Electric Power Group Corp. |
|
| CB03 | Change of inventor or designer information |
Inventor after: Meng Mingqi Inventor after: Wang Xueting Inventor after: Dong Bin Inventor after: Wang Shengyi Inventor after: Zhang Zhongde Inventor after: Li Liang Inventor after: Zhang Ming Inventor after: Wang Wei Inventor after: Yan Li Inventor after: Tang Yaoting Inventor after: Duan Keying Inventor after: Wang Xiaodong Inventor before: Meng Mingqi Inventor before: Zhang Zhongde Inventor before: Li Liang Inventor before: Zhang Ming Inventor before: Wang Wei Inventor before: Yan Li Inventor before: Tang Yaoting Inventor before: Cang Yusen Inventor before: Qu Yansheng |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: INVENTOR; FROM: MENG MINGQI ZHANG ZHONGDE LI LIANG ZHANG MING WANG WEI YAN LI TANG YAOTINGZANG YUSEN QU YANSHENG TO: MENG MINGQI ZHANG ZHONGDE LI LIANG ZHANG MING WANG WEI YAN LI TANG YAOTING DUAN KEYING WANG XIAODONG WANG XUETING DONG BIN WANG SHENGYI |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |