CN103269376A - 一种集中授权集中管理的企业网大文件传输系统及方法 - Google Patents

一种集中授权集中管理的企业网大文件传输系统及方法 Download PDF

Info

Publication number
CN103269376A
CN103269376A CN2013102145886A CN201310214588A CN103269376A CN 103269376 A CN103269376 A CN 103269376A CN 2013102145886 A CN2013102145886 A CN 2013102145886A CN 201310214588 A CN201310214588 A CN 201310214588A CN 103269376 A CN103269376 A CN 103269376A
Authority
CN
China
Prior art keywords
server
transmission
big
file
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013102145886A
Other languages
English (en)
Other versions
CN103269376B (zh
Inventor
孟鸣岐
张忠德
李亮
张明
王玮
严莉
汤耀庭
臧宇森
曲延盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information & Communication Co Of Shandong Electric Power Group Corp
State Grid Corp of China SGCC
Original Assignee
Information & Communication Co Of Shandong Electric Power Group Corp
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information & Communication Co Of Shandong Electric Power Group Corp, State Grid Corp of China SGCC filed Critical Information & Communication Co Of Shandong Electric Power Group Corp
Priority to CN201310214588.6A priority Critical patent/CN103269376B/zh
Publication of CN103269376A publication Critical patent/CN103269376A/zh
Application granted granted Critical
Publication of CN103269376B publication Critical patent/CN103269376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种集中授权集中管理的企业网大文件传输系统，它包括客户端、业务系统服务器和大附件服务器，客户端与业务系统服务器连接，业务系统服务器与大附件服务器连接；所述客户端是指用户个人电脑主机系统，系统中具有互联网浏览器，所述业务系统服务器是指企业信息化应用需要部署的系统，包括内容管理服务器、办公邮件服务器、视频服务器和协同办公服务器，业务服务器均包括相互独立的文件传输模块和业务功能模块。并公开了一种大附件传输的方法，利用本发明传送大文件，文件传输快速、使用简单、安全可靠、方便，在传输大文件时比普通文件传输方式快2～10倍。

Description

一种集中授权集中管理的企业网大文件传输系统及方法
技术领域
本发明涉及一种大文件传输系统及方法，尤其涉及一种集中授权集中管理的企业网大文件传输系统及方法。
背景技术
随着信息技术的快速发展，企业信息化应用不断深化，需要传输的数据量越来越大，各种大数据量文件必须能够快速的实现网络传输，企业网用户经常感到头疼的问题包含以下三个方面：
1.大附件传输速率无法控制，大数据量文件传输为保证可靠性在传输层采用TCP协议传输，但是受TCP协议拥塞控制机制的影响，传输速率不能控制，无法保证高优先级的文件快速传输；
2.大文件传输与业务处理紧耦合，当业务系统需要传输大文件时，业务系统需要等待文件传输完毕后才能继续进行工作，而大文件传输所需时间较长，导致资源浪费、工作效率低下；
3.难以实现断点续传，当大量数据文件传输过程中遇到节点网络不稳或断电或主机重启的情况，中断文件传输，传统大数据量文件传输不能实现断点续传，只能从头传输文件，导致带宽资源浪费。
为满足企业网用户安全、可控的传输大数据量的文件，急需一项安全可靠的大附件传输技术。
发明内容
本发明的目的就是为了解决上述问题，提供一种集中授权集中管理的企业网大文件传输系统及方法，它具有速率可控、断点续传、数据传输与业务处理解耦的优点。
为了实现上述目的，本发明采用如下技术方案：
一种集中授权集中管理的企业网大文件传输系统，它包括客户端、业务系统服务器和大附件服务器，客户端与业务系统服务器连接，业务系统服务器与大附件服务器连接；所述客户端是指用户个人电脑主机系统，系统中具有互联网浏览器。
所述业务系统服务器是指企业信息化应用需要部署的系统，包括内容管理服务器、办公邮件服务器、视频服务器和协同办公服务器，业务服务器均包括相互独立的文件传输模块和业务功能模块。
所述大附件服务器包含数据库模块、数据存储模块和传输控制模块。
基于集中授权集中管理的企业网大文件传输系统的传输方法，具体步骤为：
步骤一：采用单点登录方式将业务系统的权限集中授权给客户端使用，完成一次登录多业务系统使用的授权；
步骤二：访问业务系统服务器，业务系统服务器检测需要传输的文件是否大于设定值；若不是按照普通上传；若是转入步骤三；
步骤三：大附件服务器收到传输请求后，其传输控制模块探测传输的往返时延，基于往返时延和传输速率上限计算文件分块大小，并将文件分块标准发送到大文件传输的发起端，发起端按照文件分块标准将大文件利用文件集合压缩分割技术将大文件压缩的同时分割成文件块，并标注文件块未传输；
步骤四：每隔一个往返时延的间隔按序传输未传输的文件块，每发送完一个数据块标记数据块为已传输；若传输过程中某个时间点任务被暂停或者意外中断，转入步骤五；当所有文件块传输完毕后，转入步骤六；
步骤五：记录传输暂停位置产生的断点信息，当一个未完成的上次任务再次开始时，转入步骤四；
步骤六：接收端若为大附件服务器，则将所有文件块合并存储在数据存储模块下的存储空间上，并按照定义的数据库存储方式存储到数据库模块的数据库表中，否则接收端直接合并解压。
所述传输控制模块探测往返时延的方法为：传输控制模块通过发送ping命令获得往返时延后取平均值。
所述传输速率上限是根据文件的重要程度、参与传输人员的职务和网络带宽情况设定的传输速率上限，传输速率上限设定后存储在大附件服务器的传输控制模块中。
所述文件分块大小计算方式为：
Figure BDA00003283070700021
其中a为TCP传输初始窗口大小，MTU为报文大小，T为传输速率上限，RTT为往返时延。
所述数据库存储方式为：将文件的属性以及存储位置、存储格式，按照标准的规范，分类保存到数据库中。
本发明的有益效果：
1.能够灵活有效地控制大附件传输速率，保证高优先级的文件快速传输，传输过程中受TCP拥塞控制机制影响小，传输速率稳定。
2.文件传输模块与业务功能模块分离，当传输大文件时可并行工作，极大的提高办公效率、解决办公时间。
3.具有断点续传的功能，最大化利用网络带宽。
附图说明
图1为本发明的系统框图；
图2为本发明的流程图。
其中，1.客户端，2.业务系统服务器，3.大附件服务器，4.内容管理服务器，5.办公邮件服务器，6.视频服务器，7.协同办公服务器。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1，一种集中授权集中管理的企业网大文件传输系统，它包括客户端1、业务系统服务器2和大附件服务器3，客户端1与业务系统服务器2连接，业务系统服务器2与大附件服务器3连接；所述客户端1是指用户个人电脑主机系统，系统中具有互联网浏览器。
所述业务系统服务器2是指企业信息化应用需要部署的系统，包括内容管理服务器4、办公邮件服务器5、视频服务器6和协同办公服务器7，内容管理服务器4、办公邮件服务器5、视频服务器6和协同办公服务器7均包括相互独立的文件传输模块和业务功能模块。
所述大附件服务器3包含数据库模块、数据存储模块和传输控制模块。
基于集中授权集中管理的企业网大文件传输系统的传输方法，具体步骤为：
步骤一：采用单点登录方式将业务系统的权限集中授权给客户端1使用，完成一次登录多业务系统使用的授权；
步骤二：访问业务系统服务器2，业务系统服务器2检测需要传输的文件为2G，大于10M，向大附件服务器3发送传输请求，转入步骤三；
步骤三：大附件服务器3收到传输请求后，其传输控制模块探测传输的往返时延，基于往返时延和传输速率上限确定文件分块大小，并将文件分块标准发送到客户端1，发送端按照文件分块标准将大文件利用文件集合压缩分割技术将大文件压缩的同时分割成文件块，并标注文件块未传输；
步骤四：客户端1每隔一个往返时延的间隔按序传输未传输的文件块，每发送完一个数据块标记数据块为已传输；若传输过程中某个时间点任务被暂停或者意外中断，转入步骤五；当所有文件块传输完毕后，转入步骤六；
步骤五：记录传输暂停位置产生的断点信息，当一个未完成的上次任务再次开始时，转入步骤四；
步骤六：大附件服务器3将所有文件块合并存储在数据存储模块下的存储空间上，并按照定义的数据库存储方式存储到数据库模块的数据库表中。
所述传输控制模块探测往返时延的方法为：传输控制模块通过发送ping命令获得往返时延后取平均值。
所述传输速率上限是根据文件的重要程度、参与传输人员的职务和网络带宽情况设定的传输速率上限，传输速率上限设定后存储在大附件服务器3的传输控制模块中。
所述文件分块大小计算方式为：
Figure BDA00003283070700041
其中a为TCP传输初始窗口大小，MTU为报文大小，T为传输速率上限，RTT为往返时延。
所述数据库存储方式为：将文件的属性以及存储位置、存储格式，按照标准的规范，分类保存到数据库中。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种集中授权集中管理的企业网大文件传输系统，其特征是，它包括客户端、业务系统服务器和大附件服务器，客户端与业务系统服务器连接，业务系统服务器与大附件服务器连接；所述客户端是指用户个人电脑主机系统，系统中具有互联网浏览器。
2.如权利要求1所述一种集中授权集中管理的企业网大文件传输系统，其特征是，所述业务系统服务器是指企业信息化应用需要部署的系统，包括内容管理服务器、办公邮件服务器、视频服务器和协同办公服务器，业务服务器均包括相互独立的文件传输模块和业务功能模块。
3.如权利要求1所述一种集中授权集中管理的企业网大文件传输系统，其特征是，所述大附件服务器包含数据库模块、数据存储模块和传输控制模块。
4.基于权利要求1所述集中授权集中管理的企业网大文件传输系统的传输方法，其特征是，具体步骤为：
步骤一：采用单点登录方式将业务系统的权限集中授权给客户端使用，完成一次登录多业务系统使用的授权；
步骤二：访问业务系统服务器，业务系统服务器检测需要传输的文件是否大于设定值；若不是按照普通上传；若是转入步骤三；
步骤三：大附件服务器收到传输请求后，其传输控制模块探测传输的往返时延，基于往返时延和传输速率上限计算文件分块大小，并将文件分块标准发送到大文件传输的发起端，发起端按照文件分块标准将大文件利用文件集合压缩分割技术将大文件压缩的同时分割成文件块，并标注文件块未传输；
步骤四：每隔一个往返时延的间隔按序传输未传输的文件块，每发送完一个数据块标记数据块为已传输；若传输过程中某个时间点任务被暂停或者意外中断，转入步骤五；当所有文件块传输完毕后，转入步骤六；
步骤五：记录传输暂停位置产生的断点信息，当一个未完成的上次任务再次开始时，转入步骤四；
步骤六：接收端若为大附件服务器，则将所有文件块合并存储在数据存储模块下的存储空间上，并按照定义的数据库存储方式存储到数据库模块的数据库表中，否则接收端直接合并解压。
5.如权利要求4所述的传输方法，其特征是，所述传输控制模块探测往返时延的方法为：传输控制模块通过发送ping命令获得往返时延后取平均值。
6.如权利要求4所述的传输方法，其特征是，所述传输速率上限是根据文件的重要程度、参与传输人员的职务和网络带宽情况设定的传输速率上限，传输速率上限设定后存储在大附件服务器的传输控制模块中。
7.如权利要求4所述的传输方法，其特征是，所述文件分块大小计算方式为：
Figure FDA00003283070600021
其中a为TCP传输初始窗口大小，MTU为报文大小，T为传输速率上限，RTT为往返时延。
8.如权利要求4所述的传输方法，其特征是，所述数据库存储方式为：将文件的属性以及存储位置、存储格式，按照标准的规范，分类保存到数据库中。
CN201310214588.6A 2013-05-31 2013-05-31 一种集中授权集中管理的企业网大文件传输系统的传输方法 Active CN103269376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310214588.6A CN103269376B (zh) 2013-05-31 2013-05-31 一种集中授权集中管理的企业网大文件传输系统的传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310214588.6A CN103269376B (zh) 2013-05-31 2013-05-31 一种集中授权集中管理的企业网大文件传输系统的传输方法

Publications (2)

Publication Number Publication Date
CN103269376A true CN103269376A (zh) 2013-08-28
CN103269376B CN103269376B (zh) 2014-12-10

Family

ID=49012985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310214588.6A Active CN103269376B (zh) 2013-05-31 2013-05-31 一种集中授权集中管理的企业网大文件传输系统的传输方法

Country Status (1)

Country Link
CN (1) CN103269376B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516790A (zh) * 2013-09-16 2014-01-15 北京电视台 从办公网到生产网的音视频文件传输方法和系统
CN103516789A (zh) * 2013-09-16 2014-01-15 北京电视台 从办公网到生产网的传输数据的管理方法和系统
CN105282200A (zh) * 2014-07-18 2016-01-27 中国电信股份有限公司 断点续传的方法与服务器
CN105791245A (zh) * 2014-12-26 2016-07-20 北京航天测控技术有限公司 一种数据发送、接收方法和装置
TWI678904B (zh) * 2018-08-27 2019-12-01 宏碁股份有限公司 電子郵件檢查方法與電子郵件檢查系統
CN110826978A (zh) * 2019-09-24 2020-02-21 云深互联(北京)科技有限公司 一种基于企业浏览器的统一待办事项处理方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867617A (zh) * 2010-06-13 2010-10-20 优视科技有限公司 一种基于移动终端的文件上传方法、系统和上传服务器
CN102255892A (zh) * 2011-06-17 2011-11-23 苏州汉明科技有限公司 支持无线接入和远程接入的企业网络系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867617A (zh) * 2010-06-13 2010-10-20 优视科技有限公司 一种基于移动终端的文件上传方法、系统和上传服务器
CN102255892A (zh) * 2011-06-17 2011-11-23 苏州汉明科技有限公司 支持无线接入和远程接入的企业网络系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516790A (zh) * 2013-09-16 2014-01-15 北京电视台 从办公网到生产网的音视频文件传输方法和系统
CN103516789A (zh) * 2013-09-16 2014-01-15 北京电视台 从办公网到生产网的传输数据的管理方法和系统
CN105282200A (zh) * 2014-07-18 2016-01-27 中国电信股份有限公司 断点续传的方法与服务器
CN105282200B (zh) * 2014-07-18 2018-12-28 中国电信股份有限公司 断点续传的方法与服务器
CN105791245A (zh) * 2014-12-26 2016-07-20 北京航天测控技术有限公司 一种数据发送、接收方法和装置
CN105791245B (zh) * 2014-12-26 2019-09-03 北京航天测控技术有限公司 一种数据发送、接收方法和装置
TWI678904B (zh) * 2018-08-27 2019-12-01 宏碁股份有限公司 電子郵件檢查方法與電子郵件檢查系統
CN110826978A (zh) * 2019-09-24 2020-02-21 云深互联(北京)科技有限公司 一种基于企业浏览器的统一待办事项处理方法和装置

Also Published As

Publication number Publication date
CN103269376B (zh) 2014-12-10

Similar Documents

Publication Publication Date Title
CN103269376B (zh) 一种集中授权集中管理的企业网大文件传输系统的传输方法
WO2021121370A1 (zh) 用于消息队列的消息丢失检测方法和装置
US10043220B2 (en) Method, device and storage medium for data processing
US20110246763A1 (en) Parallel method, machine, and computer program product for data transmission and reception over a network
CN110502364B (zh) 一种OpenStack平台下大数据沙箱集群的跨云备份恢复方法
CN103064731A (zh) 一种提高消息队列系统性能的装置及其方法
CN102355426A (zh) 实现离线文件传输的方法和系统
CN103259683A (zh) 基于HTML5的Web网管系统二级缓存推送方法
CN102752283A (zh) 大数据量文件的传输方法及系统
CN102546612A (zh) 用户态下基于rdma协议的远程过程调用实现方法
CN103746938A (zh) 一种发送数据包的方法及装置
CN110598058A (zh) 司法链的证据存证和处理方法、装置、设备和介质
CN110457251B (zh) 一种多处理器间的数据通信方法及装置
CN103699450A (zh) 一种Linux下的自适应组件间通信方法
CN104065465A (zh) 一种报文重传的方法、请求端、响应端以及系统
EP4175231A1 (en) Message processing method, network device and related device
CN102917212A (zh) 一种基于rtp和rtsp的3g无线视频监控实现方法及系统
CN103701865A (zh) 一种数据传输的方法及系统
CN111913817A (zh) 一种数据传输方法、系统和设备以及计算机可读存储介质
CN102904764A (zh) 一种数据传输装置及其传输方法
EP3977705B1 (en) Streaming communication between devices
CN203301542U (zh) 一种集中授权集中管理的企业网大文件传输系统
CN111401819B (zh) 系统间数据推送方法及系统
US20130024543A1 (en) Methods for generating multiple responses to a single request message and devices thereof
CN112235363A (zh) 数据处理方法、装置、电子设备、存储介质及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing

Applicant after: State Grid Corporation of China

Applicant after: State Grid Shandong Electric Power Company Information Communication Company

Address before: 100031 Xicheng District West Chang'an Avenue, No. 86, Beijing

Applicant before: State Grid Corporation of China

Applicant before: Information & Communication Company of Shandong Electric Power Group Corp.

CB03 Change of inventor or designer information

Inventor after: Meng Mingqi

Inventor after: Wang Xueting

Inventor after: Dong Bin

Inventor after: Wang Shengyi

Inventor after: Zhang Zhongde

Inventor after: Li Liang

Inventor after: Zhang Ming

Inventor after: Wang Wei

Inventor after: Yan Li

Inventor after: Tang Yaoting

Inventor after: Duan Keying

Inventor after: Wang Xiaodong

Inventor before: Meng Mingqi

Inventor before: Zhang Zhongde

Inventor before: Li Liang

Inventor before: Zhang Ming

Inventor before: Wang Wei

Inventor before: Yan Li

Inventor before: Tang Yaoting

Inventor before: Cang Yusen

Inventor before: Qu Yansheng

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: MENG MINGQI ZHANG ZHONGDE LI LIANG ZHANG MING WANG WEI YAN LI TANG YAOTINGZANG YUSEN QU YANSHENG TO: MENG MINGQI ZHANG ZHONGDE LI LIANG ZHANG MING WANG WEI YAN LI TANG YAOTING DUAN KEYING WANG XIAODONG WANG XUETING DONG BIN WANG SHENGYI

C14 Grant of patent or utility model
GR01 Patent grant