CN112637354B - 基于云存储的数据传输管理方法、系统与设备 - Google Patents

基于云存储的数据传输管理方法、系统与设备 Download PDF

Info

Publication number
CN112637354B
CN112637354B CN202011576784.4A CN202011576784A CN112637354B CN 112637354 B CN112637354 B CN 112637354B CN 202011576784 A CN202011576784 A CN 202011576784A CN 112637354 B CN112637354 B CN 112637354B
Authority
CN
China
Prior art keywords
data transmission
user
task
bandwidth
cloud storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011576784.4A
Other languages
English (en)
Other versions
CN112637354A (zh
Inventor
孙尚民
李荐民
宗春光
曾磊
李伟
郭亮
段梦沁
屈云明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuctech Technology Jiangsu Co ltd
Nuctech Co Ltd
Original Assignee
Nuctech Technology Jiangsu Co ltd
Nuctech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nuctech Technology Jiangsu Co ltd, Nuctech Co Ltd filed Critical Nuctech Technology Jiangsu Co ltd
Priority to CN202011576784.4A priority Critical patent/CN112637354B/zh
Publication of CN112637354A publication Critical patent/CN112637354A/zh
Application granted granted Critical
Publication of CN112637354B publication Critical patent/CN112637354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0807—Network architectures or network communication protocols for network security for authentication of entities using tickets, e.g. Kerberos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0823—Network architectures or network communication protocols for network security for authentication of entities using certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
    • H04L63/0838—Network architectures or network communication protocols for network security for authentication of entities using passwords using one-time-passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/321—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority
    • H04L9/3213—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving a third party or a trusted authority using tickets or tokens, e.g. Kerberos
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3228—One-time or temporary data, i.e. information which is sent for every authentication or authorization, e.g. one-time-password, one-time-token or one-time-key
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3263—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving certificates, e.g. public key certificate [PKC] or attribute certificate [AC]; Public key infrastructure [PKI] arrangements
    • H04L9/3268—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving certificates, e.g. public key certificate [PKC] or attribute certificate [AC]; Public key infrastructure [PKI] arrangements using certificate validation, registration, distribution or revocation, e.g. certificate revocation list [CRL]

Abstract

本公开实施例提供了一种基于云存储的数据传输管理方法、系统与设备，属于云存储数据传输技术领域。该方法包括：接收用户的数据传输请求，所述数据传输请求中包括所述用户的用户名、密码以及云访问目录；将所述数据传输请求发送给数据传输任务管理服务端，以便所述数据传输任务管理服务端根据所述数据传输请求对用户信息和目录权限进行验证、以及基于所述用户的优先级为所述用户分配任务带宽参数；接收所述数据传输任务管理服务端返回的验证成功结果；根据所述云存储认证信息和所述任务带宽参数与云存储的所述云访问目录进行数据传输。通过本公开的技术方案，保障数据安全的同时，可以实现基于云存储的数据传输管理，提升数据传输效率。

Description

基于云存储的数据传输管理方法、系统与设备
技术领域
本公开涉及云存储数据传输技术领域，具体而言，涉及一种基于云存储的数据传输管理方法、管理系统、计算机存储介质与电子设备。
背景技术
在相关技术中，用户进行数据任务上传、下载操作时，服务端对用户权限进行认证(或者不认证)后，用户即可通过定义的接口地址进行数据传输操作，对传输任务不能做到合理调配，容易造成服务端网络传输异常，不能保障传输业务正常进行。
因此，需要一种基于云存储的数据传输管理方法、系统与设备。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开实施例的目的在于提供一种基于云存储的数据传输管理方法、系统与设备，进而解决了数据传输管理的合理性差的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
本公开实施例提供了一种基于云存储的数据传输管理方法、系统与设备，所述方法包括：接收用户的数据传输请求，所述数据传输请求中包括所述用户的用户名、密码以及云访问目录；将所述数据传输请求发送给数据传输任务管理服务端，以便所述数据传输任务管理服务端根据所述数据传输请求对用户信息和目录权限进行验证、以及基于所述用户的优先级为所述用户分配任务带宽参数；接收所述数据传输任务管理服务端返回的验证成功结果，所述验证成功结果包括云存储认证信息和所述任务带宽参数；根据所述云存储认证信息和所述任务带宽参数与云存储的所述云访问目录进行数据传输。
在本公开的一些实施例中，所述验证成功结果中包括加密的云存储认证信息；所述方法还包括：对所述加密的云存储认证信息进行解密。
在本公开的一些实施例中，所述验证成功结果还包括文件类型和文件大小信息，所述方法还包括：所述数据传输任务管理服务端根据所述用户的优先级确定所述用户能够支持的所述文件类型和所述文件大小信息。
在本公开的一些实施例中，所述数据传输请求为数据上传请求；根据所述云存储认证信息和所述任务带宽参数与云存储的所述云访问目录进行数据传输包括：获得待上传文件；根据所述文件类型和所述文件大小信息对所述待上传文件进行验证；验证通过后对所述待上传文件进行加密；根据所述云存储认证信息和所述任务带宽参数将加密的所述待上传文件上传到云存储的所述云访问目录。
在本公开的一些实施例中，所述数据传输请求为数据上传请求；根据所述云存储认证信息和所述任务带宽参数与云存储的所述云访问目录进行数据传输包括：获得待上传文件；根据所述文件类型和所述文件大小信息对所述待上传文件进行验证；验证通过后对所述待上传文件进行加密；根据所述云存储认证信息和所述任务带宽参数将加密的所述待上传文件上传到云存储的所述云访问目录。
在本公开的一些实施例中，所述数据传输请求为数据下载请求；所述根据所述云存储认证信息和所述任务带宽参数与云存储的所述云访问目录进行数据传输包括：根据所述云存储认证信息和所述任务带宽参数从云存储的所述云访问目录下载数据；对下载的数据进行解密。
在本公开的一些实施例中，将所述数据传输请求发送给数据传输任务管理服务端，以便所述数据传输任务管理服务端根据所述数据传输请求对用户信息和目录权限进行验证、以及基于所述用户的优先级为所述用户分配任务带宽参数，包括：根据所述数据传输请求建立传输任务；获取正在执行的所述传输任务的数量；获取单个等待执行的所述传输任务的所述用户的优先级作为待执行优先级；根据所述正在执行的所述传输任务的数量与所述待执行优先级进行实时计算从而得到所述单个等待执行的所述传输任务的应占剩余带宽比。
在本公开的一些实施例中，获取所述正在执行的所述传输任务的用户带宽资源作为已占带宽；获取所述数据传输任务管理服务端的网络资源作为总带宽，并利用所述总带宽减去所述已占带宽得到余带宽；通过将所述余带宽乘以所述应占剩余带宽比能够获得为所述单个等待执行的所述传输任务分配的用户带宽资源。
在本公开的一些实施例中，所述传输任务完成后，回收所述用户带宽资源；结束所述传输任务。
本公开实施例提供了一种基于云存储的数据传输管理系统，所述系统包括：传输请求接收模块，用于接收用户的数据传输请求，所述数据传输请求中包括所述用户的用户名、密码以及云访问目录；传输请求处理模块，用于将所述数据传输请求发送给数据传输任务管理服务端，以便所述数据传输任务管理服务端根据所述数据传输请求对用户信息和目录权限进行验证、以及基于所述用户的优先级为所述用户分配任务带宽参数；验证成功结果接收模块，用于接收所述数据传输任务管理服务端返回的验证成功结果，所述验证成功结果包括云存储认证信息和所述任务带宽参数；数据传输模块，用于根据所述云存储认证信息和所述任务带宽参数与云存储的所述云访问目录进行数据传输。
本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述任一实施例中所述的基于云存储的数据传输管理方法。
本公开实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述至少一个处理器实现如上述任一实施例中所述的基于云存储的数据传输管理方法。
在本公开中的一些实施例所提供的技术方案中，接收包括用户的用户名、密码以及云访问目录的用户的数据传输请求，将数据传输请求发送给数据传输任务管理服务端，便于数据传输任务管理服务端依据数据传输请求对用户信息和目录权限进行验证、以及基于用户的优先级为用户分配任务带宽参数。验证成功后，数据传输任务管理服务端返回包括云存储认证信息和该任务带宽参数的验证成功结果，根据云存储认证信息和任务带宽参数与云存储的云访问目录进行数据传输。将本公开实施例提供的技术方案应用在基于云存储的数据传输管理中，在保障数据安全的情况下，能够实现调度合理的数据传输管理，提升数据传输效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开的一个实施例的基于云存储的数据传输管理系统的网络示意图；
图2示出本公开的一个实施例的基于云存储的数据传输管理方法的流程图；
图3示出本公开的另一个实施例的基于云存储的数据传输管理方法的流程图；
图4示出本公开的另一个实施例的基于云存储的数据传输管理方法的流程图；
图5示出本公开的一个实施例的基于云存储的数据传输上传流程的示意图；
图6示出本公开的一个实施例的基于云存储的数据传输下载流程的示意图；
图7示出本公开的一个实施例的不同云存储任务带宽占用余带宽的比例分配变化情况的示意图；
图8示出本公开的一个实施例的不同云存储任务占用总带宽的情况的示意图；
图9示出本公开的一个实施例的基于云存储的数据传输管理系统的示意图；
图10示意性示出了适于用来实现本公开实施例的电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请的发明人发现：相关技术方案中，服务端在用户进行数据任务的传输操作中，所有用户都拥有相同的操作权限与相同的服务端目录访问权限，所有传输任务拥有相同的优先级。其中，操作权限包括服务端目录访问权限、传输文件的类型及大小。
当存在多个用户进行数据传输操作时，相关的技术方案具有以下缺点：
1)相关数据传输操作中，不同的用户拥有相同的服务端目录访问权限，不利于数据的管理，无法合理管理服务端目录；
2)相关数据传输操作中，对于不同的用户，没有对传输文件的类型、大小有所区分，无法满足数据传输过程中，不同用户进行传输文件的需求；
3)相关数据传输操作中，没有对传输任务优先级进行区分，无法合理调配传输任务；
4)相关数据传输操作中，当存在大量用户在同一时刻进行数据传输操作时，会造成服务端网络阻塞，发生传输异常，导致数据传输业务无法正常进行。
基于以上问题，本公开实施例提出了一种基于云存储的数据传输管理方法，可以实现数据传输的合理管理，提升数据传输效率。下面结合附图对本公开示例实施方式进行详细说明。
图1示出本公开的一个实施例的基于云存储的数据传输管理系统的网络示意图。
如图1所示，本公开实施例中，提供了在多个用户或应用程序共同发出数据传输请求时的基于云存储的数据传输管理系统。基于云存储的数据传输管理系统可以包括数据传输任务管理服务端102、云存储104、网络传输通道106、数据传输任务管理用户端110以及用户或应用程序111。其中，数据传输任务管理用户端110可以基于SDK(SoftwareDevelopment Kit，软件开发工具包)实现。用户或应用程序111的数量可以为M个，M为大于等于1的自然数。
本公开实施例中，云存储104中可以包括多台虚拟服务器，可以支持多种终端，例如Windows PC客户端、Android手机客户端、iPhone手机客户端；可以适配IE8浏览器、Chrome浏览器、Firefox浏览器等多款浏览器；可以应用多种实用场景，例如应用在物联网中形成云物连应用，应用在呼叫中心系统中形成云呼叫应用，应用在游戏中形成云游戏应用，应用在教育中形成云教育应用，应用在会议中形成云会议应用以及应用在社交中形成云会议应用。
在一个实施例中，云存储104的结构中包括存储层、基础管理层、应用接口层以及访问层。其中，存储层是云存储104最基础的部分，存储有用户访问的云访问目录及目录文件。云存储104中的存储设备可以包括多种类型。例如FC(Fibre Channel，光纤通道)存储设备、NAS(Network Attached Storage，网络附属存储)存储设备和iSCSI(internet SmallComputer System Interface，网络小型计算机系统接口)等IP(Internet Protocol，网际互连协议)存储设备、SCSI(Small Computer System Interface，小型计算机系统接口)或SAS(Serial Attached SCSI，串行连接SCSI接口)等DAS(Direct Attached Storage，直接附加存储)存储设备。其中，iSCSI又称为IP-SAN(Internet Protocol-storage areanetwork，网际互连协议-存储区域网络)，可以通过IP协议将存储设备连接在一起。
本公开实施例中，云存储104中的存储设备数量庞大且地域分布广泛，存储设备之间可以通过广域网、互联网或者FC网络连接在一起。在存储设备之上是一个统一存储设备管理系统，通过统一存储设备管理系统可以实现云存储104的存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。基础管理层是云存储104最核心的部分，在基础管理层中通过集群、分布式文件系统和网格计算等技术可以实现云存储104中多个存储设备之间的协同工作，使多个存储设备可以对外提供数据传输服务，并提供更大更强更好的数据访问与传输性能。应用接口层是云存储104最灵活多变的部分。应用接口层中不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。例如视频监控应用平台、视频点播应用平台、网络硬盘应用平台以及远程数据备份应用平台等。在云存储104的访问层中，任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。访问云存储104的用户不同，云存储104提供的云访问目录的访问权限也不同。
在一个实施例中，数据传输任务管理用户端110可以包括多个用户侧数据传输任务管理模块108，每一个用户或应用程序111对应一个用户侧数据传输任务管理模块108，用户或应用程序111基于对应的用户侧数据传输任务管理模块108与数据传输任务管理服务端102、云存储104之间进行数据传输。
在本公开的一个实施例中提出了一种基于云存储的数据传输管理方法，以对上述相关技术中存在的技术问题进行优化处理。图2示出本公开的一个实施例的基于云存储的数据传输管理方法的流程图，该方法可以由用于对如图1所示的基于云存储的数据传输管理系统执行，该控制系统可以是具有计算功能的服务器，但公开并不限于此。
如图2所示，该方法包括但不限于以下步骤：
在S202中，接收用户的数据传输请求，所述数据传输请求中包括所述用户的用户名、密码以及云访问目录。
在一个实施例中，以用户或应用程序111为用户为例，在进行数据传输之前，为用户或应用程序111分配用户名与密码。为用户或应用程序111分配云访问目录。当用户或应用程序111发送数据传输请求后，通过数据传输任务管理用户端110接收用户的数据传输请求在数据传输请求中包括用户的用户名、密码以及云访问目录。
在S204中，将所述数据传输请求发送给数据传输任务管理服务端，以便所述数据传输任务管理服务端根据所述数据传输请求对用户信息和目录权限进行验证、以及基于所述用户的优先级为所述用户分配任务带宽参数。
在一个实施例中，以用户或应用程序111为用户为例，数据传输任务管理用户端110接收用户或应用程序111的数据传输请求，将数据传输请求发送给数据传输任务管理服务端102，数据传输任务管理服务端102通过数据传输请求中的用户、密码以及云访问目录可以验证用户或应用程序111的用户信息和目录权限。数据传输任务管理服务端102根据用户的优先级以及数据传输任务管理服务端102的网络资源为用户分配任务带宽参数。
在一个实施例中，数据传输任务管理服务端102可以根据认证方法对用户信息和目录权限进行验证。认证方法可以包括静态认证、动态认证以及数字证书认证。静态认证技术可以通过用户自行设定一串静态数据与静态密码来认证，一旦用户注册完成后，除非用户自己更改，否则将保持不变。这种方式简单，但是安全性最低，只能通过定期的更改密码来提高安全性，容易遭受各种形式的安全攻击。动态认证技术是指在用户每次登录时都要获取不一样的动态密码进行输入。获取动态密码的方式包括短信密码、动态口令牌以及手机令牌。用户也可以通过身份证或者私人邮箱登录，然后通过身份证验证后，利用私人邮箱获取动态密码，用户输入收到的动态密码后完成认证；数字证书认证通过在服务器设备上安装服务器证书，用户的浏览器可以与服务器证书建立SSL(Security Socket Layer，加密套接字协议层)连接。在SSL连接上传输数据时数据都会被加密，同时在服务器和用户之间分别由可信的第三方CA(Certificate Authority，证书颁发机构)认证中心颁发数字证书，这样在用户访问的时候，服务器和用户可以通过数字证书确认对方身份，避免数据传输中可能存在的诈骗、泄密、篡改以及恶意攻击等问题。
在S206中，接收所述数据传输任务管理服务端返回的验证成功结果，所述验证成功结果包括云存储认证信息和所述任务带宽参数。
在一个实施例中，数据传输任务管理服务端102通过数据传输请求中的用户、密码以及云访问目录对用户或应用程序111的用户信息和目录权限验证通过后，通过目录权限获取到云存储中的云存储认证信息，并根据用户或应用程序111的优先级以及数据传输任务管理服务端102的网络资源计算得到任务带宽参数，通过网络传输通道106返回包括云存储认证信息和任务带宽参数的验证成功结果。
在一个实施例中，上述验证成功结果中包括加密的云存储认证信息；上述方法还包括：对上述加密的云存储认证信息进行解密。通过数据传输任务管理服务端102实现传输数据管理时，需要使用云存储认证信息。若云存储认证信息被加密，对加密的云存储认证信息进行解密，获取解密之后的云存储认证信息，根据解密之后的云存储认证信息进行用户与云存储之间的数据传输管理。
在S208中，根据所述云存储认证信息和所述任务带宽参数与云存储的所述云访问目录进行数据传输。
在一个实施例中，以用户或应用程序111为用户为例，用户或应用程序111通过云存储认证信息与云存储的云访问目录可以传输数据至到云存储中的对应的存储区域。数据传输任务管理服务端102获得用户或应用程序111传输的数据需要的任务带宽参数，从而为传输任务分配合理的传输带宽资源。
在一个实施例中，所述数据传输请求为数据上传请求，所述验证成功结果还包括文件类型和文件大小信息。根据所述云存储认证信息和所述任务带宽参数与云存储的所述云访问目录进行数据传输包括：获得待上传文件。根据所述文件类型和所述文件大小信息对所述待上传文件进行验证。验证通过后对所述待上传文件进行加密。根据所述云存储认证信息和所述任务带宽参数将加密的所述待上传文件上传到云存储的所述云访问目录。
在本公开实施例中，当数据传输请求为数据上传请求，以用户或应用程序111为用户为例。用户或应用程序111上传数据传输请求，数据传输任务管理用户端110接收数据传输请求，根据数据传输请求调用用户侧数据传输任务管理模块108中对应的上传函数后，该函数开始处理数据上传请求。将数据上传请求发送给数据传输任务管理服务端102，该数据上传请求中包括用户或应用程序111的用户名、密码、云访问目录。数据传输任务管理服务端102根据用户名、密码可以验证用户或应用程序111的用户信息，以及用户或应用程序111对于云访问目录的目录权限。在验证成功后，数据传输任务管理服务端102基于目录权限获取到云存储中的云存储认证信息，确定用户或应用程序111的优先级，通过用户的优先级得到用户或应用程序111支持的文件类型和文件大小信息，并根据用户或应用程序111的用户的优先级以及数据传输任务管理服务端102的网络资源计算得到任务带宽参数，返回包括云存储认证信息和任务带宽参数以及文件类型和文件大小信息的验证成功结果。数据传输任务管理用户端110接收到验证成功结果，通过读取文件列表获取待上传文件，根据文件类型和文件大小信息对待上传文件进行验证，当验证通过后对待上传文件进行加密。根据任务带宽参数为传输任务分配合理的传输带宽资源，根据云存储认证信息和传输带宽资源将加密的待上传文件上传到云存储的云访问目录，对上传文件的过程进行加密。文件上传成功后，数据传输任务管理服务端102回收本次传输带宽资源，结束文件上传任务。
在本公开实施例中，对待上传文件进行加密和对上传文件的过程进行加密可以按照一定的加密算法加密，加密算法可以是在传输数据中常用的加密算法，例如对称加密算法、非对称加密算法、散列算法。对称加密算法可以用来对敏感数据等信息进行加密，包括DES(Data Encryption Standard，数据加密标准)、3DES(Triple Data EncryptionStandard，三倍数据加密标准)以及AES(Advanced Encryption Standard，高级加密标准)。其中DES速度较快，适用于加密大量数据的场合，3DES基于DES，对一块数据用三个不同的密钥进行三次加密，强度更高，AES是新型的加密算法标准，速度快，安全级别高。非对称加密算法包括RSA(Rivest-Shamir-Adleman，密码系统)、DSA(Digital Signature Algorithm，数字签名算法)以及ECC(Elliptic Curves Cryptography，椭圆曲线密码编码学)算法。散列算法包括MD5(Message Digest Algorithm5，信息-摘要算法第五代)以及SHA(SecureHash Algorithm，安全散列算法)。
在一个实施例中，所述数据传输请求为数据下载请求。所述根据所述云存储认证信息和所述任务带宽参数与云存储的所述云访问目录进行数据传输包括：根据所述云存储认证信息和所述任务带宽参数从云存储的所述云访问目录下载数据。对下载的数据进行解密。
在本公开实施例中，当数据传输请求为数据下载请求，以用户或应用程序111为用户为例。用户或应用程序111上传数据传输请求，数据传输任务管理用户端110接收数据传输请求，根据数据传输请求调用用户侧数据传输任务管理模块108中对应的下载函数后，该函数开始处理数据下载请求。将数据下载请求发送给数据传输任务管理服务端102，该数据下载请求中包括用户或应用程序111的用户名、密码、云访问目录。数据传输任务管理服务端102根据用户名、密码可以验证用户或应用程序111的用户信息，以及用户或应用程序111对于云访问目录的目录权限。在验证成功后，数据传输任务管理服务端102基于目录权限获取到云存储中的云存储认证信息，确定用户或应用程序111的优先级，并根据用户或应用程序111的用户的优先级以及数据传输任务管理服务端102的网络资源计算得到任务带宽参数，返回包括云存储认证信息和任务带宽参数的验证成功结果。数据传输任务管理用户端110接收到验证成功结果，通过读取云访问目录中以获取待下载文件。根据任务带宽参数为传输任务分配合理的传输带宽资源，根据云存储认证信息和传输带宽资源将待下载文件下载到本地。文件下载成功后，数据传输任务管理服务端102回收本次传输带宽资源，将该文件保存到本地，若该文件被加密，数据传输任务管理用户端110对文件进行解密后再保存到本地，最后结束文件下载任务。
在一个实施例中，提出了一种基于云存储的数据传输管理的具体实现的方法，该方法如下表1所示。
表1数据传输管理具体实现的方法
数据传输管理具体实现的方法
为用户或应用程序分配用户名与密码
为用户或应用程序分配云访问目录及对应的目录权限
针对用户或应用程序的权限，设置数据传输文件类型、文件大小
为用户或应用程序分配数据传输的优先级
判断服务端当前网络资源情况，对用户请求动态分配网络资源
在传输任务开始前，对数据进行加密
在传输任务过程中，对数据传输的过程进行加密
在传输任务完成后，存储传输完成的数据并进行加密
封装数据传输SDK
在本公开实施例中，通过为用户或应用程序分配用户名与密码，能够实现对用户或应用程序的用户信息的验证。通过为用户或应用程序分配云访问目录及对应的目录权限，能够实现对目录权限的验证。通过针对用户或应用程序的权限设置数据传输文件类型、文件大小，能够满足用户或应用程序的需求，进行文件类型、文件大小的定制传输及存储。通过为用户或应用程序分配数据传输的优先级，能够实现对优先级的验证，例如在多用户情况下，具有高优先级的用户可以优先传输，并获得相对较多的网络资源，从而可以实现网络资源的合理分配。通过判断服务端当前网络资源情况，对用户请求动态分配网络资源，能够对服务端的网络资源进行弹性分配，有效避免了服务端发生网络阻塞的情况。通过对请求传输的数据进行加密，可以保证数据传输的安全性。例如在传输任务开始前，对数据进行加密，能够保障数据的安全性。在传输任务过程中，对数据传输的过程进行加密，能够保障传输过程的安全性。在传输任务完成后，存储传输完成的数据并进行加密，能够实现数据的安全存储。例如给加密的数据增添解密设置，该设置为当解密错误时数据自动销毁，这样若数据被窃取，当强行解密该数据，该数据会自动销毁从而保障数据的安全性。通过封装数据传输SDK，可以得到用于数据传输的软件开发工具包，为实现数据传输提供传输工具。
在一个实施例中，当存在多个用户进行数据传输操作时，针对上述相关的技术方案的问题，为不同的用户分配不同服务端目录访问权限。当用户为用户组，例如为某个公司，为该公司的所有员工分配一个公有云访问目录的权限，允许该公司的所有员工通过公共云访问目录的权限访问云存储中的文件目录。当用户为某个人，为其分配一个私有云访问目录的权限实现其访问云存储中的文件目录的目的。通过本公开实施例提供的技术方案可以为不同用户分配不同的服务端目录访问权限，实现服务端目录的合理管理。
在一个实施例中，当存在多个用户进行数据传输操作时，针对上述相关的技术方案的问题，为不同的用户设置不同的传输文件的文件类型和文件大小。对于拥有特定权限的用户，例如对文件大小有特定要求的用户，在该用户进行数据传输时设置合适的文件大小；对文件类型有特定要求的用户，在该用户进行数据传输时设置允许的文件类型。通过本公开实施例提供的技术方案可以根据不同用户定制传输文件的文件类型和大小，实现用户传输数据的个性化定制。
在一个实施例中，针对上述相关的技术方案的问题，为不同的传输数据任务设置不同的优先级。例如，为静态的历史数据与动态的实时数据设置不同的任务优先级，为动态的实时数据设置相对静态的历史数据较高的先级，同时可以优先处理动态的实时数据。对于静态的历史数据而言，可以选择在服务器相对空闲时进行传输。通过本公开实施例提供的技术方案可以根据不同的传输数据任务的优先级合理动态的调配传输任务。
在一个实施例中，上述验证成功结果还包括文件类型和文件大小信息，上述方法还包括：上述数据传输任务管理服务端根据所述用户的优先级确定所述用户能够支持的所述文件类型和所述文件大小信息。在本公开实施例中，通过数据传输任务管理服务端102预先为不同优先级的用户分配其可上传的文件类型和大小。对于用户的优先级较高的用户，例如，当用户的优先级为A级，可以分配50种类型的文件，在该用户可以访问的目录文件中，为其中某种类型的文件(例如zip压缩文件)分配1GB的文件大小。对于用户的优先级较低的用户，例如，当用户的优先级为B级，可以分配20种类型的文件，在该用户可以访问的目录文件中，为其中某种类型文件(例如zip压缩文件)分配100M的文件大小。本公开实施例可以为不同的优先级的用户定制文件类型和大小，从而满足不同的优先级的用户传输数据的要求。
在一个实施例中，针对上述相关的技术方案的问题，为传输任务合理分配任务带宽参数。例如，大量用户在同一时刻进行数据传输操作时，可以在获得云存储认证信息下，根据服务端网络资源的实时占用情况对单次的新的传输任务所需的网络资源进行动态合理地分配。通过本公开实施例提供的技术方案可以在大量用户在同一时刻进行数据传输操作时，动态合理的调配传输任务所需的网络资源，从而避免服务端网络发生堵塞。
在一个实施例中，为了实现用户传输到云存储的数据传输，需要一条或者多条数据传输通道将数据从用户传输到云存储，从而实现用户与云存储之间的信息传输与交换过程，即实现用户与云存储之间的通信过程。数据传输管理是指在数据传输中对传输进程进行的管理，数据传输管理可以提高数据传输的实时性和可靠性。例如，在用户到云存储之间实现数据传输时，可以根据本地发出的用户传输请求建立数据传输任务，通过数据传输任务管理提高数据传输任务的传输效率与可靠性。其中，数据传输任务管理包括分别面向本地与云存储进行数据管理的数据传输任务管理用户端与数据传输任务管理服务端。
在本公开实施例中，数据传输通道包括以传输媒体为基础的信号通路。数据传输通道可以包括一种或几种不同的传输媒体。不同的数据传输通道对数据传输速率、传输质量影响很大。传输媒体不同时，数据传输通道包括有线信道与无线信道。有线信道包括多种类型，例如明线、对称电缆、同轴电缆和光缆；无线信道包括多种类型，例如微波、卫星、散射、超短波和短波信道。允许通过的信号类型不同时，数据传输通道包括模拟信道与数字信道。模拟信道允许通过幅值和时间都是连续的模拟信号，例如模拟电话信道；数字信道只允许通过离散的数字信号，例如PCM(Pulse Code Modulation，脉冲编码调制)信道。信道特性参数随时间的变化不同时，数据传输通道包括恒参信道和变参信道。恒参信道的传输特性参数变化较慢，在相当长的时间可以把信道参数看成基本不变。恒参信道包括有线信道、卫星信道和微波。变参信道的传输特性参数随时间变化较快，包括短波、超短波和散射信道。信道使用方法不同时，数据传输通道包括专用信道和公用信道。专用信道是两个DCE(DataCommunication Equipment，数据通信设备)之间固定连接的信道，可以是从电信局租用的信道适用于短距离或数据传输业务量比较大的情况。公用信道也称交换信道，是在需要通信时才通过交换机接通的信道。其通信路由不固定，线路利用率较高，适用于数据传输业务量不太大的情况。
在一个实施例中，可以通过数据传输系统实现本地用户到云存储之间之间完整的数据传输过程。数据传输系统包括数据传输通道和数据传输通道两端的DCE，在某些情况下，还包括数据传输通道两端的复用设备。数据传输通道可以是一条专用的通信信道，也可以是交换网路。交换网路可以包括许多类型，例如数据交换网、电话交换网等。数据传输系统的输入输出设备包括终端或计算机，统称DCE，为了传送DCE所发出的数据信息，就需将这些数据信息用二进制代码来表示。数据信息可以包括多种类型，例如数据信息包括字母、数字和符号的单独形式或者组合形式，通过用二进制代码来表示每一个字母、数字或符号来传输这些数据信息。在本公开实施例中，用户到云存储之间的数据传输系统包括用户或应用程序和云存储。在用户或应用程序上传文件时，文件的数据信息也是通过二进制代码来表示并上传至云存储的。
在一个实施例中，当用户发送数据传输请求时，传输的数据以信号形式进行传输，传输的信号形式可以包括多种类型，例如基带传输、频带传输和数字数据传输。基带传输是指基带数据信号(用户或应用程序输出的未经调制变换的数据信号)直接在电缆信道上传输，其是不搬移基带数据信号频谱的传输方式。频带传输是指基带数据信号经过调制，将其频带搬移到相应的载频频带上再传输(频带传输时信道上传输的是模拟信号)。数字数据传输是利用PCM信道传输数据的形式，即利用PCM30/32路系统的某些时隙传输数据信号。
在一个实施例中，在数据传输通道中进行数据的传输时包括多种类型的传输方式。例如按数据代码传输的顺序可以分为并行传输和串行传输，按数据传输的同步方式可分为同步传输和异步传输，按数据传输的流向和时间关系可分为单工、半双工和全双工数据传输。在本公开实施例中，用户或应用程序从云存储下载文件时，数据下载的同步方式包括并行传输和串行传输。并行传输是指将数据以成组的方式在两条以上的并行信道上同时传输。串行传输是数据码流以串行方式在一条信道上传输。在串行传输时，为了保证云存储的数据被用户或应用程序正确接收会采取相应的措施，例如采取字符同步的措施实现接收端从串行数据码流中正确地划分出发送的一个个字符。
在一个实施例中，用户或应用程序从云存储下载文件时，包括同步下载和异步下载。同步下载是以固定时钟节拍来发送数据信号的，在串行数据码流中，各字符之间的相对位置都是固定的，因此不必对每个字符加“起”信号和“止”信号，只需在一串字符流前面加个起始字符，后面加一个终止字符，表示字符流的开始和结束。同步下载中包括多种同步方式，例如字符同步和帧同步。同步下载一般采用帧同步。在同步下载时，为了保证用户或应用程序可以正确接收数据必须采取相应的措施，例如采取位定时同步和帧同步的措施实现接收端要从收到的数据码流中正确区分发送的字符。异步下载时，每次传送一个字符，但是各字符的位置不固定。为了让用户或应用程序区分每个字符，可以在发送每一个字符的前面均加上一个“起”信号，其长度规定为一个码元，设置极性为“0”，在这个字符的后面均加一个“止”信号。例如，对于国际电报“2”号码，“止”信号的长度为1.5个码元，对于国际“5”号码或其他代码，“止”信号的长度为1或2个码元，极性为“1”。异步下载中的字符同步方法又称起止式同步方法。异步下载中，可以连续发送字符，也可以单独发送字符。在不发送字符时，连续发送“止”信号。因此，每一字符的起始时刻可以是任意的，但在同一个字符内各码元的长度仍相等。这样，用户或应用程序根据字符之间的从“止”信号到“起”信号的跳变(“1”-“0”)来检测识别一个新字符的“起”信号，从而正确地区分一个个字符。
在一个实施例中，在用户或应用程序与云存储之间进行数据传输的传输方式包括单工数据传输方式、半双工数据传输方式和全双工数据传输方式。其中单工数据传输方式、半双工数据传输方式和全双工数据传输方式中的单工、双工等，指的是数据传输的方向。单工数据传输方式是数据发送端与接收端之间只能沿一个指定的方向进行数据传输，单工数据传输方式可以基于远程数据收集系统实现。例如通过远程数据收集系统收集气象数据时，采用单工数据传输的方式。在这种数据收集系统中，大量数据只需要定向从一端送到另一端，而需要通过反向信道传输的只是少量联络信号。半双工数据传输方式是在数据发送端与接收端之间可以在两个方向上进行数据传输，但不能同时进行。例如可以通过使用半双工数据传输方式，并基于数据传输系统实现用户或应用程序与云存储之间的查询、检索、科学计算等。本公开提供的一种基于云存储的数据传输管理的方法，可以使用全双工数据传输在用户或应用程序与云存储之间的两个方向上同时进行传输，实现本地与云存储之间的数据传输。
在S204的实施例中，数据传输请求包括数据上传请求与数据下载请求，即数据传输不仅限于本地数据至云存储的上传，还包括云存储数据至本地的下载。接下来结合图3与图4对S204的实施例进行详细说明，如图3所示，图3示出本公开的另一个实施例的基于云存储的数据传输管理方法的流程图。该方法包括且不限于以下步骤：
在S302中，根据所述数据传输请求建立传输任务。
在S304中，获取正在执行的所述传输任务的数量。
在一个实施例中，使用N代表正在执行的传输任务的数量，N为大于等于1的自然数。
在S306中，获取单个等待执行的所述传输任务的所述用户的优先级作为待执行优先级。
在一个实施例中，使用ω代表待执行优先级，ω∈(0,1]。
在S308中，根据所述正在执行的所述传输任务的数量以及所述待执行优先级进行实时计算从而得到所述单个等待执行的所述传输任务的应占剩余带宽比。
在一个实施例中，使用β代表应占剩余带宽比。当前单个等待执行的传输任务的应占剩余带宽比为动态变化的数值，还需要同时考虑当前正在执行的传输任务的数量和单个等待执行的传输任务的优先级实时计算得到。
本公开实施例中，以N为正在执行的传输任务的数量为例，以ω为待执行优先级为例，以β为应占剩余带宽比为例，则单个等待执行的传输任务的应占剩余带宽比可以根据正在执行的传输任务的数量N和待执行优先级ω来计算。
应占剩余带宽比计算公式如下：
Figure BDA0002864420730000181
在图3中的实施例的分析基础上，根据图4对S204进行进一步说明。
在一个实施例中，如图4所示，图4示出本公开的另一个实施例的基于云存储的数据传输管理方法的流程图。该方法包括且不限于以下步骤：
在S402中，获取所述正在执行的所述传输任务的用户带宽资源作为已占带宽。
在一个实施例中，使用B占代表正在执行的传输任务在数据传输任务管理服务端102的网络资源中的已占带宽。
在S404中，获取所述数据传输任务管理服务端的网络资源作为总带宽，并利用所述总带宽减去所述已占带宽得到余带宽。
在一个实施例中，以B总为数据传输任务管理服务端102的网络资源的总带宽为例，以B占为正在执行的传输任务在数据传输任务管理服务端102的网络资源中的已占带宽为例，可以得到余带宽为(B总-B占)。
在S406中，通过将所述余带宽乘以所述应占剩余带宽比能够获得为所述单个等待执行的所述传输任务分配的用户带宽资源。
在一个实施例中，基于上述用户的优先级为上述用户分配的任务带宽参数可以包括为上述单个等待执行的上述传输任务分配的用户带宽资源。在本公开实施例中，例如，使用b代表为单个等待执行的传输任务分配的用户带宽资源，为了保证正在执行的传输任务的用户带宽资源无限接近数据传输任务管理服务端102的网络资源的100％但不超过100％。
在本公开实施例中，以β为应占剩余带宽比为例，以b为单个等待执行的传输任务分配的用户带宽资源为例，以B占为正在执行的传输任务在数据传输任务管理服务端102的网络资源中的已占带宽为例，则单个等待执行的传输任务分配的用户带宽资源可以根据应占剩余带宽比β和已占带宽B占来计算。
单个等待执行的传输任务分配的用户带宽资源的计算公式如下：
b＝(B总-B占)·β (2)
在一个实施例中，所述传输任务完成后，回收所述用户带宽资源。结束所述传输任务。一般而言，数据传输任务管理服务端102的网络资源并不是无限的，为了保证数据传输任务管理服务端102的网络资源实现循环利用，在完成单个等待执行的传输任务后，回收该单个等待执行的传输任务在数据传输任务管理服务端102的网络资源中分配到的用户带宽资源。
图5示出本公开的一个实施例的基于云存储的数据传输上传流程的示意图。
如图5所示，图5包括用户或应用程序、用户端数据传输任务管理模块、以及云存储，接下来根据以下步骤对图5中的实施例进行说明。
在S501中，用户上传请求。在用户或应用程序中，发送用户上传请求。
在S502中，调用SDK对应上传函数。当用户上传请求，用户端数据传输任务管理模块根据该请求调用SDK中对应的上传函数，该请求中包括用户名、密码以及云访问目录。
在S503中，调用数据传输任务管理模块接口，认证用户信息及对应目录权限。
在S504中，验证用户信息及目录权限。收到用户上传请求，服务端数据传输任务管理模块验证用户名、密码是否正确，验证用户是否具有云访问目录的相应目录权限。
在S505中，验证成功。判断是否验证成功，如果为是，表示验证成功，进入S506。如果为否，表示验证不成功，进入S517。
在S506中，获取用户的优先级，根据当前数据传输队列情况，计算本次上传任务带宽参数。验证成功后，服务端数据传输任务管理模块获取当前用户的优先级，根据当前传输队列情况，计算本次上传任务的任务带宽参数，根据任务带宽参数获取为用户分配的传输带宽资源，例如可以为用户分配5M/S的传输带宽资源。
在一个实施例中，服务端数据传输任务管理模块接收用户的数据上传请求，验证用户名、密码是否正确，验证用户是否具有云访问目录的相应目录权限，获取用户的优先级，并根据当前数据上传队列情况，计算本次上传任务带宽参数。服务端数据传输任务管理模块对任务带宽参数的计算过程为：在当前数据上传队列中获取正在执行的上传任务的数量。获取单个新到来的等待执行的上传任务的用户的优先级作为待执行优先级。根据正在执行的上传任务的数量以及待执行优先级进行实时计算从而得到单个新到来的等待执行的上传任务的应占剩余带宽比。如公式(1)所示，当正在执行的上传任务的数量小于5时，应占剩余带宽比为20％。当正在执行的上传任务的数量不小于5时，正在执行的上传任务的数量加上该单个新到来的等待执行的上传任务数量，即正在执行的上传任务的数量加1可以得到总上传任务数量，将总上传任务数量的倒数与待执行优先级相乘可以得到应占剩余带宽比。将数据传输任务管理服务端的网络资源作为总带宽，将正在执行的上传任务的用户带宽资源作为已占带宽，利用总带宽减去已占带宽能够得到余带宽。将余带宽乘以应占剩余带宽比能够获得为单个新到来的等待执行的上传任务分配的用户带宽资源。如公式(2)所示，为单个新到来的等待执行的上传任务分配的用户带宽资源为余带宽与应占剩余带宽比之积。
在S507中，接收成功信息，包含平台文件类型、单文件大小、加密的云存储认证信息、任务带宽参数。服务端数据传输任务管理模块接口返回验证成功信息，用户端数据传输任务管理模块接收成功信息，验证成功信息中包含允许传输的平台文件类型、单文件大小，加密的云存储认证信息以及任务带宽参数。
在S508中，读取文件列表、判断文件类型及大小是否正常。
在S509中，文件验证成功。判断需要上传的本地文件的文件类型与文件大小是否与云存储中的文件类型与文件大小匹配，如果为是，表示匹配，则验证成功，进入S511。如果为否，表示不匹配，则验证不成功，进入S510，同时进入S518。
在一个实施例中，读取一个文件，取出其文件类型FileType及文件大小FileSize，判断FileType是否在数据传输文件类型列表中，如果FileType不在数据传输文件类型列表中，文件验证失败；如果FileType在数据传输文件类型列表中，判断FileSize是否小于该数据传输文件类型对应的MaxSize(如果MaxSize＝0，则不限制该类文件大小)，如果MaxSize>0&&FileSize>MaxSize，文件验证失败，否则该文件验证成功。
在S510中，回收本次传输带宽资源。
在S511中，解密云存储认证信息。当云存储认证信息是加密的，对其进行解密，得到解密后的云存储认证信息。
在S512中，本地文件加密。
在S513中，按照任务带宽参数，传输加密，文件上传。利用上述任务带宽参数分配好的传输带宽资源，上传加密过的本地文件，同时加密传输文件的过程。
在S514中，接收上传文件。
在S515中，文件上传成功。判断上传云存储的本地文件是否上传成功，如果为是，表示上传成功，进入S518。如果为否，表示上传不成功，进入S516，同时进入S518。
在S516中，回收本次传输带宽资源。完成回收本次传输带宽资源后进入S518。
在S517中，接收错误码。
在S518中，上传结束。
图6示出本公开的一个实施例的基于云存储的数据传输下载流程的示意图。如图6所示，图6包括用户或应用程序、用户端数据传输任务管理模块、服务端数据传输任务管理模块以及云存储。接下来根据以下的步骤对图6中的实施例进行说明。其中S602-S607参照S502-S507，S608参照S511，S609参照S513，S614参照S517，S615参照S518。
在S601中，用户下载请求。用户或应用程序向用户端数据传输任务管理模块发送用户下载请求。
在S610中，文件下载。从云存储中下载用户下载请求中的文件。
在S611中，文件下载成功。用户端数据传输任务管理模块判断下载到本地的文件是否下载成功，如果为是，表示下载成功，进入S613。如果为否，表示下载不成功，进入S612，同时进入S615。
在S612中，回收本次传输带宽资源。当文件下载不成功，服务端数据传输任务管理模块回收本次传输带宽资源。
在S613中，文件解密、存储。当文件下载成功，解密文件，并保存到本地指定路径，同时通知用户下载成功，服务端数据传输任务管理模块回收本次传输带宽资源，下载操作结束。
在一个实施例中，服务端数据传输任务管理模块接收用户的数据下载请求，验证用户名、密码是否正确，验证用户是否具有云访问目录的相应目录权限，获取用户的优先级，并根据当前数据下载队列情况，计算本次下载任务带宽参数。服务端数据传输任务管理模块对任务带宽参数的计算过程为：在当前数据下载队列中获取正在执行的下载任务的数量。获取单个新到来的等待执行的下载任务的用户的优先级作为待执行优先级。根据正在执行的下载任务的数量以及待执行优先级进行实时计算从而得到单个新到来的等待执行的下载任务的应占剩余带宽比。如公式(1)所示，当正在执行的下载任务的数量小于5时，应占剩余带宽比为20％。当正在执行的下载任务的数量不小于5时，正在执行的下载任务的数量加上该单个新到来的等待执行的下载任务数量，即正在执行的下载任务的数量加1得到总下载任务数量，将总下载任务数量的倒数与待执行优先级相乘可以得到应占剩余带宽比。将数据传输任务管理服务端的网络资源作为总带宽，将正在执行的下载任务的用户带宽资源作为已占带宽，利用总带宽减去已占带宽能够得到余带宽。将余带宽乘以应占剩余带宽比能够获得为单个新到来的等待执行的下载任务分配的用户带宽资源。如公式(2)所示，为单个新到来的等待执行的下载任务分配的用户带宽资源为余带宽与应占剩余带宽比之积。
接下来结合图7与图8对不同云存储的传输任务的占用余带宽的比例分配变化情况与不同云存储的传输任务占用总带宽的变化情况进行分析。
在一个实施例中，如图7所示，图7示出本公开的一个实施例的不同云存储任务带宽占用余带宽的比例分配变化情况的示意图。图7提供了一定数量的传输任务正在执行时，单个等待执行的传输任务占服务端网络资源的余带宽的变化曲线。如图8所示，图8示出本公开的一个实施例的不同云存储任务占用总带宽的情况的示意图。图8提供了一定数量的传输任务正在执行时，正在执行的传输任务占服务端网络资源的百分比的变化曲线。
在本公开实施例中，为简化情况，将正在执行的传输任务与单个等待执行的传输任务的云存储设置为相同的云存储。本公开提出了一种基于云存储的数据传输管理的方法，即在执行传输任务时，当多个用户或应用程序发送传输请求，为多个用户或应用程序设置对应的用户权限、用户的优先级、用户或应用程序的权限比重。根据用户或应用程序发出的传输请求建立对应的传输任务，根据传输请求的个数设置传输任务的数量。在建立传输任务时，通过为传输任务分配初始带宽资源，可以得到该传输任务的初始带宽资源在服务端网络资源的比例。例如，在图7与图8中，以用户1、用户2以及用户3为用户或应用程序为例，设置3种用户权限类型，并且为用户1、用户2以及用户3分配相同的初始带宽资源，该初始带宽资源占用服务端网络资源的比例为20％。令用户1、用户2和用户3的权限比重为1:1/2:1/4。当正在执行的传输任务的数量不足5个时，具有3种权限的等待执行的单个传输任务的用户带宽资源占用余带宽的比例均为1/5。当传输队列中已有任务数量到达5个时，等待执行的单个传输任务的用户带宽资源占用余带宽的百分比和占用总带宽的百分比产生变化：在图7中，随着传输队列中已有任务数量的不断增加，等待执行的单个传输任务的用户带宽资源占用余带宽的百分比开始不断下降；在图8中，随着传输队列中已有任务数量的不断增加，等待执行的单个传输任务的用户带宽资源占用的总带宽的百分比也开始逐渐增加。本公开中所使用的用户或应用程序的数目、传输任务的数量、设置的用户权限、用户的优先级、为传输任务分配的初始带宽资源占用服务端网络资源的比例，以及用户或应用程序的权限比重等参数仅被视为示例性的，本公开的真正适用范围由权利要求指出。
图9示出本公开的一个实施例的基于云存储的数据传输管理系统的示意图。如图9所示，本公开实施例的基于云存储的数据传输管理系统可以包括：传输请求接收模块910、传输请求处理模块920、验证成功结果接收模块930以及数据传输模块940。
其中，传输请求接收模块910可以配置为用于接收用户的数据传输请求，所述数据传输请求中包括所述用户的用户名、密码以及云访问目录。
传输请求处理模块920可以配置为用于将所述数据传输请求发送给数据传输任务管理服务端，以便所述数据传输任务管理服务端根据所述数据传输请求对用户信息和目录权限进行验证、以及基于所述用户的优先级为所述用户分配任务带宽参数。
验证成功结果接收模块930，可以配置为用于接收所述数据传输任务管理服务端返回的验证成功结果，所述验证成功结果包括云存储认证信息和所述任务带宽参数。
数据传输模块940，可以配置为用于根据所述云存储认证信息和所述任务带宽参数与云存储的所述云访问目录进行数据传输。
图10示意性示出了适于用来实现本公开实施例的电子设备的结构示意图。
需要说明的是，图10示出的电子设备1000仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，电子设备1000包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分208加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本公开所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图2所示的各个步骤。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由权利要求来限制。

Claims (10)

1.一种基于云存储的数据传输管理方法，其特征在于，包括：
接收用户的数据传输请求，所述数据传输请求中包括所述用户的用户名、密码以及云访问目录；
将所述数据传输请求发送给数据传输任务管理服务端，以便所述数据传输任务管理服务端根据所述数据传输请求对用户信息和目录权限进行验证、以及基于所述用户的优先级为所述用户分配任务带宽参数，包括：
根据所述数据传输请求建立传输任务；
获取正在执行的所述传输任务的数量；
获取单个等待执行的所述传输任务的所述用户的优先级作为待执行优先级；
根据所述正在执行的所述传输任务的数量与所述待执行优先级进行实时计算从而得到所述单个等待执行的所述传输任务的应占剩余带宽比；
接收所述数据传输任务管理服务端返回的验证成功结果，所述验证成功结果包括云存储认证信息和所述任务带宽参数；
根据所述云存储认证信息和所述任务带宽参数与云存储的所述云访问目录进行数据传输。
2.根据权利要求1所述的方法，其特征在于，所述验证成功结果中包括加密的云存储认证信息；
所述方法还包括：
对所述加密的云存储认证信息进行解密。
3.根据权利要求1所述的方法，其特征在于，所述验证成功结果还包括文件类型和文件大小信息，所述方法还包括：
所述数据传输任务管理服务端根据所述用户的优先级确定所述用户能够支持的所述文件类型和所述文件大小信息。
4.根据权利要求3所述的方法，其特征在于，所述数据传输请求为数据上传请求；
根据所述云存储认证信息和所述任务带宽参数与云存储的所述云访问目录进行数据传输包括：
获得待上传文件；
根据所述文件类型和所述文件大小信息对所述待上传文件进行验证；
验证通过后对所述待上传文件进行加密；
根据所述云存储认证信息和所述任务带宽参数将加密的所述待上传文件上传到云存储的所述云访问目录。
5.根据权利要求1所述的方法，其特征在于，所述数据传输请求为数据下载请求；
所述根据所述云存储认证信息和所述任务带宽参数与云存储的所述云访问目录进行数据传输包括：
根据所述云存储认证信息和所述任务带宽参数从云存储的所述云访问目录下载数据；
对下载的数据进行解密。
6.根据权利要求1所述的方法，其特征在于，还包括：
获取所述正在执行的所述传输任务的用户带宽资源作为已占带宽；
获取所述数据传输任务管理服务端的网络资源作为总带宽，并利用所述总带宽减去所述已占带宽得到余带宽；
通过将所述余带宽乘以所述应占剩余带宽比能够获得为所述单个等待执行的所述传输任务分配的用户带宽资源。
7.根据权利要求1至6中任一项所述的方法，其特征在于，还包括：
所述传输任务完成后，回收所述用户带宽资源；
结束所述传输任务。
8.一种基于云存储的数据传输管理系统，其特征在于，包括：
传输请求接收模块，用于接收用户的数据传输请求，所述数据传输请求中包括所述用户的用户名、密码以及云访问目录；
传输请求处理模块，用于将所述数据传输请求发送给数据传输任务管理服务端，以便所述数据传输任务管理服务端根据所述数据传输请求对用户信息和目录权限进行验证、以及基于所述用户的优先级为所述用户分配任务带宽参数，包括：
根据所述数据传输请求建立传输任务；
获取正在执行的所述传输任务的数量；
获取单个等待执行的所述传输任务的所述用户的优先级作为待执行优先级；
根据所述正在执行的所述传输任务的数量与所述待执行优先级进行实时计算从而得到所述单个等待执行的所述传输任务的应占剩余带宽比；
验证成功结果接收模块，用于接收所述数据传输任务管理服务端返回的验证成功结果，所述验证成功结果包括云存储认证信息和所述任务带宽参数；
数据传输模块，用于根据所述云存储认证信息和所述任务带宽参数与云存储的所述云访问目录进行数据传输。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。
CN202011576784.4A 2020-12-28 2020-12-28 基于云存储的数据传输管理方法、系统与设备 Active CN112637354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011576784.4A CN112637354B (zh) 2020-12-28 2020-12-28 基于云存储的数据传输管理方法、系统与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011576784.4A CN112637354B (zh) 2020-12-28 2020-12-28 基于云存储的数据传输管理方法、系统与设备

Publications (2)

Publication Number Publication Date
CN112637354A CN112637354A (zh) 2021-04-09
CN112637354B true CN112637354B (zh) 2022-10-18

Family

ID=75326043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011576784.4A Active CN112637354B (zh) 2020-12-28 2020-12-28 基于云存储的数据传输管理方法、系统与设备

Country Status (1)

Country Link
CN (1) CN112637354B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448747B (zh) * 2021-05-14 2024-04-26 中科可控信息产业有限公司 数据传输方法、装置、计算机设备和存储介质
CN114268463A (zh) * 2021-11-30 2022-04-01 重庆长安汽车股份有限公司 一种基于云储存的数据安全传输方法
CN114500514B (zh) * 2022-02-14 2023-12-12 京东科技信息技术有限公司 用于云存储的文件传输方法及装置、电子设备和存储介质
CN115037549B (zh) * 2022-06-24 2023-07-07 中国联合网络通信集团有限公司 应用防护方法、装置及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104247376B (zh) * 2013-04-02 2018-06-26 华为技术有限公司 云存储的文件上传方法、客户端、应用服务器及云存储系统
CN105025086A (zh) * 2015-06-11 2015-11-04 江南大学 面向移动智能终端数据之云端安全存/取方法
CN105025041B (zh) * 2015-08-25 2019-03-12 北京百度网讯科技有限公司 文件上传的方法、装置和系统
CN111629028B (zh) * 2020-04-10 2022-02-25 清华大学 面向分布式多云存储的数据传输调度系统

Also Published As

Publication number Publication date
CN112637354A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112637354B (zh) 基于云存储的数据传输管理方法、系统与设备
CN108390851B (zh) 一种用于工业设备的安全远程控制系统及方法
US10129240B2 (en) Distributing security codes through a restricted communications channel
US10263962B2 (en) User authentication over networks
CN110912684B (zh) 用于加密和解密的方法、系统和计算机可读介质
CN106576043B (zh) 病毒式可分配可信消息传送
WO2017020452A1 (zh) 认证方法和认证系统
CN111435913B (zh) 一种物联网终端的身份认证方法、装置和存储介质
US11323274B1 (en) Certificate authority
EP2391083A1 (en) Method for realizing authentication center and authentication system
US10887088B2 (en) Virtualizing a key hierarchy using a partially-oblivious pseudorandom function (P-OPRF)
CN103916363B (zh) 加密机的通讯安全管理方法和系统
CN110177099B (zh) 基于非对称加密技术的数据交换方法、发送终端和介质
JP2023547630A (ja) ポスト量子暗号を使用する証明書ベースのセキュリティ
CN110708291B (zh) 分布式网络中数据授权访问方法、装置、介质及电子设备
CN110569638A (zh) 一种api认证的方法、装置、存储介质及计算设备
CN104683107A (zh) 数字证书保管方法和装置、数字签名方法和装置
CN113221148A (zh) 一种信息验证方法和装置
CN113765660A (zh) 一种物联网终端设备量子密钥按需分配方法
CN113206746B (zh) 一种数字证书管理方法和装置
CN111756530A (zh) 量子服务移动引擎系统、网络架构及相关设备
CN113992702A (zh) 一种ceph分布式文件系统存储国密加固方法及系统
CN112565236A (zh) 信息鉴权方法、装置、计算机设备及存储介质
CN113472722A (zh) 数据传输方法、存储介质、电子设备及自动售检票系统
WO2014140922A2 (en) Secure key distribution for multi-application tokens

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant