CN110209647A - 一种支持多云存储服务的文件上传方法及系统 - Google Patents

一种支持多云存储服务的文件上传方法及系统 Download PDF

Info

Publication number
CN110209647A
CN110209647A CN201910406146.9A CN201910406146A CN110209647A CN 110209647 A CN110209647 A CN 110209647A CN 201910406146 A CN201910406146 A CN 201910406146A CN 110209647 A CN110209647 A CN 110209647A
Authority
CN
China
Prior art keywords
file
unit
storage service
uploading
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910406146.9A
Other languages
English (en)
Inventor
周志文
朱宇翔
付相海
纪向晴
苏晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN MAPGOO TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN MAPGOO TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN MAPGOO TECHNOLOGY Co Ltd filed Critical SHENZHEN MAPGOO TECHNOLOGY Co Ltd
Priority to CN201910406146.9A priority Critical patent/CN110209647A/zh
Publication of CN110209647A publication Critical patent/CN110209647A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种支持多云存储服务的文件上传方法及系统，包括文件上传子系统和文件配置子系统，所述文件上传子系统包括文件上传单元，所述文件配置子系统包括负载均衡单元、文件过滤单元、文件配置单元和文件转存单元。本发明所述的一种支持多云存储服务的文件上传方法及系统，考虑到了云存储异常情况的处理，实现多云存储的切换，针对上传可能产生失败，给出制提高成功传输效率，对非法文件进行过滤，保障内容安全，考虑配置的多样性和负载不稳定等情况，实现系统的高可用性，而且能够按照业务需要把图片、视频分别存储到不同的云存储中，提供高效、流程的服务，能够便于人们迁移数据，降低成本，带来更好的使用前景。

Description

一种支持多云存储服务的文件上传方法及系统
技术领域
本发明涉及云存储领域，特别涉及一种支持多云存储服务的文件上传方法及系统。
背景技术
云存储系统是随着社会的发展应运而生的,在人们的生活中发挥着越来越重要的作用，网络技术的发展使利用网络进行文件存储和共享逐渐成为一种重要的网络应用模式，云存储因其使用便捷、灵活、性价比高、扩展性强等特点而得到了广泛的应用,越来越多的企业及机构将数据从本地转移到某个云存储服务中,但单云存储因云故障而无法保证数据的高可用性要求,同时当用户需要迁移数据时,也会产生昂贵的成本，企业的发展，也伴随着业务种类的增多，同时存储容量成本剧增，也意味着在云服务提供商的选择上会进行最优选择，如何在网络上存储文件并实现安全有效的共享和切换成为一个必须解决的问题，为此，我们提出一种支持多云存储服务的文件上传方法及系统。
发明内容
本发明的主要目的在于提供一种支持多云存储服务的文件上传方法及系统，可以有效解决背景技术中的问题。
为实现上述目的，本发明采取的技术方案为：
一种支持多云存储服务的文件上传系统，包括文件上传子系统和文件配置子系统，所述文件上传子系统包括文件上传单元，所述文件配置子系统包括负载均衡单元、文件过滤单元、文件配置单元和文件转存单元，所述文件上传单元与负载均衡单元和文件配置单元连接，所述负载均衡单元与文件过滤单元连接，所述文件过滤单元和文件配置单元均与文件转存单元连接；
所述文件上传单元，用于上传需要储存的文件；
所述负载均衡单元，用于平衡各个服务器的压力；
所述文件过滤单元，用于过滤掉上传文件中的违规图片和视频；
所述文件配置单元，用于针对不同的业务生成不同的配置项；
所述文件转存单元，用于将上传文件储存到数据库中。
一种支持多云存储服务的文件上传方法，包括以下步骤：
(1)、先判断上传文件大小，根据上传文件的大小，选择一次性上传还是分片上传；
(2)、将用户上传文件的流量分配到不同的应用服务器上；
(3)、分配流量的同时根据不同的业务对上传的图片、视频多媒体文件产生相应的动态配置项；
(4)、对不同服务器上接收到的文件进行过滤处理，除去上传文件中的违规文件；
(5)、根据生成的动态配置项将过滤后的文件上传到第三方云服务提供商的存储系统中。
优选的，所述步骤(1)中，上传前需询问负载均衡单元文件服务器负载情况，然后选择负载小的服务器作为上传点。
优选的，所述步骤(1)中，判断文件大小的标准为文件是否大于100MB，上传文件大于100MB时选择分片上传，上传文件小于100MB时选择一次性上传。
优选的，所述步骤(2)中，采用负载均衡单元分配用户上传文件的流量，负载均衡单元采用负载均衡服务器，负载均衡服务器使用前自动检测各个应用服务器的负载情况，使用时负载均衡服务器定期对应用服务器进行周期性的健康检查，发现故障节点时动态的将节点从应用服务器集群中剔除。
优选的，所述步骤(3)中，不同的业务包括但不局限于用户管理、订单管理和商品管理，生成动态配置项时采用多节点部署方式，可以动态配置过滤规则，还可以对异常情况进行动态切换多云存储服务。
优选的，所述步骤(4)中，采用图像识别算法和视频过滤算法处理上传文件中的图片和视频，违规图片包括但不局限于涉黄、推广、暴恐、涉政的图片，违规视频包括但不局限于夹杂的色情、推广、辱骂、暴恐、涉政的视频。
优选的，所述步骤(5)中，采用异步的方式，超文本传输协议上传文件到第三方云服务提供商的存储系统。
优选的，所述步骤(5)中，上传文件时开启断点续传功能，上传文件时将第三方URL保存到数据库，供前端展示使用。
与现有技术相比，该一种支持多云存储服务的文件上传方法及系统具有如下有益效果：
1、考虑到了云存储异常情况的处理，能够实现多云存储的切换；
2、针对上传可能产生的失败给出了处理机制，提高成功传输效率；
3、对非法文件进行了过滤，保障内容安全；
4、考虑了配置的多样性和负载不稳定等情况，实现了系统的高可用性；
5、能够按照业务需要把图片、视频分别存储到不同的云存储中，提供高效、流程的服务，能够便于人们迁移数据，降低成本，而且整个多云存储服务的文件上传方法及系统比较简单，操作方便，使用效果相对于传统方式更好，满足人们的使用要求，较为实用。
附图说明
图1为本发明一种支持多云存储服务的文件上传方法的整体流程图；
图2为本发明一种支持多云存储服务的文件上传系统的整体结构示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
实施例
一种支持多云存储服务的文件上传系统，如图2所示，包括文件上传子系统和文件配置子系统，文件上传子系统包括文件上传单元，文件配置子系统包括负载均衡单元、文件过滤单元、文件配置单元和文件转存单元，文件上传单元与负载均衡单元和文件配置单元连接，负载均衡单元与文件过滤单元连接，文件过滤单元和文件配置单元均与文件转存单元连接；
文件上传单元，用于上传需要储存的文件；
负载均衡单元，用于平衡各个服务器的压力，能有效地解决数据流量过大、网络负荷过重的问题；
文件过滤单元，用于过滤掉上传文件中的违规图片和视频；
文件配置单元，用于针对不同的业务生成不同的配置项；
文件转存单元，用于将上传文件储存到数据库中。
一种支持多云存储服务的文件上传方法，如图1所示，包括以下步骤：
(1)、先判断上传文件大小，根据上传文件的大小，选择一次性上传还是分片上传，上传前需询问负载均衡单元文件服务器负载情况，然后选择负载小的服务器作为上传点，判断文件大小的标准为文件是否大于100MB，上传文件大于100MB时选择分片上传，上传文件小于100MB时选择一次性上传；
(2)、将用户上传文件的流量分配到不同的应用服务器上，采用负载均衡单元分配用户上传文件的流量，负载均衡单元采用负载均衡服务器，负载均衡服务器使用前自动检测各个应用服务器的负载情况，使用时负载均衡服务器定期对应用服务器进行周期性的健康检查，发现故障节点时动态的将节点从应用服务器集群中剔除，以此来保证应用的高可用；
(3)、分配流量的同时根据不同的业务对上传的图片、视频多媒体文件产生相应的动态配置项，不同的业务包括但不局限于用户管理、订单管理和商品管理，生成动态配置项时采用多节点部署方式，保证配置单元的高可用，可以动态配置过滤规则，还可以对异常情况进行动态切换多云存储服务；
(4)、对不同服务器上接收到的文件进行过滤处理，除去上传文件中的违规文件，采用图像识别算法和视频过滤算法处理上传文件中的图片和视频，违规图片包括但不局限于涉黄、推广、暴恐、涉政的图片，违规视频包括但不局限于夹杂的色情、推广、辱骂、暴恐、涉政的视频，保障图片和视频内容安全；
(5)、根据生成的动态配置项将过滤后的文件上传到第三方云服务提供商的存储系统中，采用异步的方式，超文本传输协议上传文件到第三方云服务提供商的存储系统，上传文件时开启断点续传功能，上传文件时将第三方URL保存到数据库，供前端展示使用。
上传时，可以将文件配置单元、文件上传单元和文件过滤单元实现在设备端，将负载均衡单元和文件转存单元设置在储存端，使用时文件先经过文件上传单元上传，然后经过文件过滤单元过滤后发送给文件配置单元和负载均衡单元，文件转存单元根据负载均衡单元输送的文件和文件配置单元生成的动态配置项将文件储存到第三方云服务提供商的存储系统中。
需要说明的是，本发明为一种支持多云存储服务的文件上传系统，采用文件上传单元上传文件时要对异常情况进行处理，在文件上传中断时能提供后续分片上传至成功，最终保证文件上传成功，断点续传功能即在使用分片的方式上传，文件分成多个文件片段，在前一个文件片段上传完成后，在继续上传下一个文件片段，如果上传文件片段出现了失败，重复此次上传文件片段直至成功，下载文件时按照设定的文件分类在对应的云存储服务下载相应的文件即可；
本发明上传文件时考虑到了云存储异常情况的处理，能实现多云存储的切换；而且针对上传可能产生的失败给出了处理机制，提高成功传输效率；同时对上传文件中的非法文件进行了过滤，保障内容安全；最后还考虑了配置的多样性和负载不稳定等情况，实现了系统的高可用性；
本发明使用时，能够按照业务需要把图片、视频分别存储到不同的云存储中，提供高效、流程的服务，能够便于人们迁移数据，降低成本，而且整个多云存储服务的文件上传方法及系统比较简单，操作方便，使用效果相对于传统方式更好，满足人们的使用要求，较为实用。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种支持多云存储服务的文件上传系统，其特征在于：包括文件上传子系统和文件配置子系统，所述文件上传子系统包括文件上传单元，所述文件配置子系统包括负载均衡单元、文件过滤单元、文件配置单元和文件转存单元，所述文件上传单元与负载均衡单元和文件配置单元连接，所述负载均衡单元与文件过滤单元连接，所述文件过滤单元和文件配置单元均与文件转存单元连接；
所述文件上传单元，用于上传需要储存的文件；
所述负载均衡单元，用于平衡各个服务器的压力；
所述文件过滤单元，用于过滤掉上传文件中的违规图片和视频；
所述文件配置单元，用于针对不同的业务生成不同的配置项；
所述文件转存单元，用于将上传文件储存到数据库中。
2.根据权利要求1所述的一种支持多云存储服务的文件上传方法，其特征在于：包括以下步骤：
(1)、先判断上传文件大小，根据上传文件的大小，选择一次性上传还是分片上传；
(2)、将用户上传文件的流量分配到不同的应用服务器上；
(3)、分配流量的同时根据不同的业务对上传的图片、视频多媒体文件产生相应的动态配置项；
(4)、对不同服务器上接收到的文件进行过滤处理，除去上传文件中的违规文件；
(5)、根据生成的动态配置项将过滤后的文件上传到第三方云服务提供商的存储系统中。
3.根据权利要求2所述的一种支持多云存储服务的文件上传方法及系统，其特征在于：所述步骤(1)中，上传前需询问负载均衡单元文件服务器负载情况，然后选择负载小的服务器作为上传点。
4.根据权利要求2所述的一种支持多云存储服务的文件上传方法及系统，其特征在于：所述步骤(1)中，判断文件大小的标准为文件是否大于100MB，上传文件大于100MB时选择分片上传，上传文件小于100MB时选择一次性上传。
5.根据权利要求2所述的一种支持多云存储服务的文件上传方法及系统，其特征在于：所述步骤(2)中，采用负载均衡单元分配用户上传文件的流量，负载均衡单元采用负载均衡服务器，负载均衡服务器使用前自动检测各个应用服务器的负载情况，使用时负载均衡服务器定期对应用服务器进行周期性的健康检查，发现故障节点时动态的将节点从应用服务器集群中剔除。
6.根据权利要求2所述的一种支持多云存储服务的文件上传方法及系统，其特征在于：所述步骤(3)中，不同的业务包括但不局限于用户管理、订单管理和商品管理，生成动态配置项时采用多节点部署方式，可以动态配置过滤规则，还可以对异常情况进行动态切换多云存储服务。
7.根据权利要求2所述的一种支持多云存储服务的文件上传方法及系统，其特征在于：所述步骤(4)中，采用图像识别算法和视频过滤算法处理上传文件中的图片和视频，违规图片包括但不局限于涉黄、推广、暴恐、涉政的图片，违规视频包括但不局限于夹杂的色情、推广、辱骂、暴恐、涉政的视频。
8.根据权利要求2所述的一种支持多云存储服务的文件上传方法及系统，其特征在于：所述步骤(5)中，采用异步的方式，超文本传输协议上传文件到第三方云服务提供商的存储系统。
9.根据权利要求2所述的一种支持多云存储服务的文件上传方法及系统，其特征在于：所述步骤(5)中，上传文件时开启断点续传功能，上传文件时将第三方URL保存到数据库，供前端展示使用。
CN201910406146.9A 2019-05-15 2019-05-15 一种支持多云存储服务的文件上传方法及系统 Pending CN110209647A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910406146.9A CN110209647A (zh) 2019-05-15 2019-05-15 一种支持多云存储服务的文件上传方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910406146.9A CN110209647A (zh) 2019-05-15 2019-05-15 一种支持多云存储服务的文件上传方法及系统

Publications (1)

Publication Number Publication Date
CN110209647A true CN110209647A (zh) 2019-09-06

Family

ID=67787397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910406146.9A Pending CN110209647A (zh) 2019-05-15 2019-05-15 一种支持多云存储服务的文件上传方法及系统

Country Status (1)

Country Link
CN (1) CN110209647A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935539A (zh) * 2020-07-20 2020-11-13 杭州安恒信息技术股份有限公司 一种视频检测的方法、系统、电子装置和存储介质
CN112134930A (zh) * 2020-08-31 2020-12-25 济南浪潮高新科技投资发展有限公司 一种摄影数据的云存储方法
CN114553852A (zh) * 2022-02-28 2022-05-27 傲普(上海)新能源有限公司 一种基于异步工业文件服务器的快速上传方法
CN115190014A (zh) * 2022-06-18 2022-10-14 深圳市知学云科技有限公司 一种面向企业的文件内容存储及转换方法、系统及设备
CN115767144A (zh) * 2022-10-26 2023-03-07 杭州迪普科技股份有限公司 目标视频的上传对象确定方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101174954A (zh) * 2006-10-31 2008-05-07 上海高勤通信科技有限公司 一种基于互联网超文本传输协议的文件断点上传方法
US20170331892A1 (en) * 2016-05-16 2017-11-16 Carbonite, Inc. Systems and methods for processing-based file distribution in an aggregation of cloud storage services

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101174954A (zh) * 2006-10-31 2008-05-07 上海高勤通信科技有限公司 一种基于互联网超文本传输协议的文件断点上传方法
US20170331892A1 (en) * 2016-05-16 2017-11-16 Carbonite, Inc. Systems and methods for processing-based file distribution in an aggregation of cloud storage services

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘必雄等: "大规模文件上传接收服务的负载均衡引擎研究", 《计算机技术与发展》 *
肖明忠等: "P2P文件共享系统的内容过滤方案", 《计算机工程》 *
邵珠兴等: "基于OpenStack的云存储系统的大文件存储方案", 《计算机工程与设计》 *
黄景文: "基于HTTP协议和数据库的文件上传方法", 《广西科学院学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935539A (zh) * 2020-07-20 2020-11-13 杭州安恒信息技术股份有限公司 一种视频检测的方法、系统、电子装置和存储介质
CN112134930A (zh) * 2020-08-31 2020-12-25 济南浪潮高新科技投资发展有限公司 一种摄影数据的云存储方法
CN114553852A (zh) * 2022-02-28 2022-05-27 傲普(上海)新能源有限公司 一种基于异步工业文件服务器的快速上传方法
CN115190014A (zh) * 2022-06-18 2022-10-14 深圳市知学云科技有限公司 一种面向企业的文件内容存储及转换方法、系统及设备
CN115767144A (zh) * 2022-10-26 2023-03-07 杭州迪普科技股份有限公司 目标视频的上传对象确定方法及装置

Similar Documents

Publication Publication Date Title
CN110209647A (zh) 一种支持多云存储服务的文件上传方法及系统
US7085954B2 (en) Storage system performing remote copying bypassing controller
US20020131423A1 (en) Method and apparatus for real-time parallel delivery of segments of a large payload file
EP1311122A2 (en) Using NAS appliance to build a non-conventional distributed video server
CN103607424B (zh) 一种服务器连接方法及服务器系统
CN113704354B (zh) 一种数据同步方法及装置、计算机设备、存储介质
CN102204267A (zh) 分布式数据存储和接入系统
WO2002093846A1 (en) Method of transferring a divided file
CN112118315A (zh) 数据处理系统、方法、装置、电子设备和存储介质
US20080016194A1 (en) Dispatching request fragments from a response aggregating surrogate
CN109067844A (zh) 一种消息通讯系统
CN110708372A (zh) 点餐软件统一对接系统
CN110351366A (zh) 一种互联网应用的服务调度方法、系统及计算机可读存储介质
CN103116655A (zh) 集群数据查询方法、客户端及系统
CN108509297A (zh) 一种数据备份方法和系统
CN108833490A (zh) 一种分布式数据采集系统及其方法
CN111813332A (zh) 一种高性能、高扩展和高安全的智能分布式存储系统
CN108259595A (zh) 一种服务间异步调用的方法及系统
CN109491807A (zh) 一种数据交换方法、装置和系统
CN111049846A (zh) 数据处理方法和装置、电子设备及计算机可读存储介质
US11868334B2 (en) Integrating change tracking of storage objects of a distributed object storage database into a distributed storage system
CN101958934A (zh) 一种电子节目指南增量内容同步方法、装置及系统
CN113472638B (zh) 边缘网关控制方法及系统、装置、电子设备、存储介质
US20080034054A1 (en) System and method for reservation flow control
CN111949438B (zh) 多媒体数据备份方法、装置、服务器和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190906

RJ01 Rejection of invention patent application after publication