CN111966647A - 一种小文件的云存储方法、装置、服务器及存储介质 - Google Patents

一种小文件的云存储方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN111966647A
CN111966647A CN202010851400.9A CN202010851400A CN111966647A CN 111966647 A CN111966647 A CN 111966647A CN 202010851400 A CN202010851400 A CN 202010851400A CN 111966647 A CN111966647 A CN 111966647A
Authority
CN
China
Prior art keywords
file
stored
small
compressed
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010851400.9A
Other languages
English (en)
Inventor
刘明甲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010851400.9A priority Critical patent/CN111966647A/zh
Publication of CN111966647A publication Critical patent/CN111966647A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种小文件的云存储方法、装置、服务器及计算机可读存储介质，该方法包括：服务器获取客户端通过预设云存储接口上传的待存储文件和存储参数；根据存储参数，判断待存储文件是否为小文件压缩文件；若是，对待存储文件进行解压缩，获取并存储待存储文件对应的解压文件；本发明通过根据存储参数，判断待存储文件是否为小文件压缩文件，使服务器能够利用客户端通过预设云存储接口上传文件时的存储参数，自动识别出批量小文件的压缩文件，从而实现客户端对小文件压缩文件的自动识别和解压存储，使得客户端可以在通过对现有云存储接口的改造，将小文件批量压缩成大文件后上传到服务器，提高网络带宽资源的利用率，提升存储性能。

Description

一种小文件的云存储方法、装置、服务器及存储介质
技术领域
本发明涉及存储系统软件领域，特别涉及一种小文件的云存储方法、装置、服务器及计算机可读存储介质。
背景技术
为了提高海量小文件的存储性能，目前常用的技术有小文件聚合，通过将小文件合并成大文件减少文件元数据的量和落盘IO次数，读取时先预读大文件，将小文件的随机读转变为大文件的顺序读，从而提升存储性能。但此技术通常应用于存储侧，从应用侧到存储侧的文件传输过程仍是每个小文件单独传输，无法充分利用带宽资源。
因此，如何能够在应用侧到存储侧的文件传输过程中提高网络带宽资源的利用率，提升存储性能，是现今急需解决的问题。
发明内容
本发明的目的是提供一种小文件的云存储方法、装置、服务器及计算机可读存储介质，以在应用侧到存储侧的文件传输过程中提高网络带宽资源的利用率，提升存储性能。
为解决上述技术问题，本发明提供一种小文件的云存储方法，包括：
服务器获取客户端通过预设云存储接口上传的待存储文件和存储参数；
根据所述存储参数，判断所述待存储文件是否为小文件压缩文件；
若是，对所述待存储文件进行解压缩，获取并存储所述待存储文件对应的解压文件。
可选的，所述根据所述存储参数，判断所述待存储文件是否为小文件压缩文件，包括：
根据所述待存储文件的后缀名，判断所述待存储文件是否为压缩文件；
若是，则根据所述存储参数中的解压识别参数，判断所述待存储文件是否为所述小文件压缩文件；
若为所述小文件压缩文件，则执行所述对所述待存储文件进行解压缩，获取并存储所述待存储文件对应的解压文件的步骤。
可选的，所述预设云存储接口具体为简单存储服务接口。
可选的，所述对所述待存储文件进行解压缩，获取所述待存储文件对应的解压文件，包括：
利用预设压缩卡对所述待存储文件进行解压缩，获取所述解压文件。
可选的，该方法还包括：
获取目标客户端对应的压缩读取指令；
查找存储的所述压缩读取指令对应的待读取文件，并对所述待读取文件进行压缩，得到读取压缩文件；
通过所述预设云存储接口将所述读取压缩文件和读取参数发送到所述目标客户端；其中，所述读取参数包括所述小文件压缩文件对应的解压识别参数。
本发明还提供了一种小文件的云存储装置，包括：
获取模块，用于获取客户端通过预设云存储接口上传的待存储文件和存储参数；
判断模块，用于根据所述存储参数，判断所述待存储文件是否为小文件压缩文件；
解压存储模块，用于若为所述小文件压缩文件，对所述待存储文件进行解压缩，获取并存储所述待存储文件对应的解压文件。
可选的，所述判断模块，包括：
压缩判断子模块，用于根据所述待存储文件的后缀名，判断所述待存储文件是否为压缩文件；
小文件判断子模块，用于若为所述压缩文件，则根据所述存储参数中的解压识别参数，判断所述待存储文件是否为所述小文件压缩文件；若为所述小文件压缩文件，则向所述解压存储模块发送启动信号。
可选的，该装置还包括：
指令获取模块，用于获取目标客户端对应的压缩读取指令；
查找压缩模块，用于查找存储的所述压缩读取指令对应的待读取文件，并对所述待读取文件进行压缩，得到读取压缩文件；
发送模块，用于通过所述预设云存储接口将所述读取压缩文件和读取参数发送到所述目标客户端；其中，所述读取参数包括所述小文件压缩文件对应的解压识别参数。
本发明还提供了一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述的小文件的云存储方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的小文件的云存储方法的步骤。
本发明所提供的一种小文件的云存储方法，包括：服务器获取客户端通过预设云存储接口上传的待存储文件和存储参数；根据存储参数，判断待存储文件是否为小文件压缩文件；若是，对待存储文件进行解压缩，获取并存储待存储文件对应的解压文件；
可见，本发明通过根据存储参数，判断待存储文件是否为小文件压缩文件，使服务器能够利用客户端通过预设云存储接口上传文件时的存储参数，自动识别出批量小文件的压缩文件，从而实现客户端对小文件压缩文件的自动识别和解压存储，使得客户端可以在通过对现有云存储接口的改造，将小文件批量压缩成大文件后上传到服务器，提高了网络带宽资源的利用率，提升了服务器的存储性能。此外，本发明还提供了一种小文件的云存储装置、服务器及计算机可读存储介质，同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的一种小文件的云存储方法的流程图；
图2为本发明实施例所提供的一种小文件的云存储装置的结构框图；
图3为本发明实施例所提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的一种小文件的云存储方法的流程图。该方法可以包括：
步骤101：服务器获取客户端通过预设云存储接口上传的待存储文件和存储参数。
其中，本步骤中的待存储文件可以为应用侧的客户端通过预设云存储接口向存储侧的服务器上传的需要进行存储的文件。本步骤中的存储参数可以为客户端通过预设云存储接口向服务器上传的待存储文件时上传的参数，即待存储文件对应的参数。
可以理解的是，本实施例是以服务器的处理器对客户端发送的一个待存储文件的存储处理为例进行展示，对于服务器对其它客户端通过预设云存储接口上传的其它待存储文件可以采用与本实施例所提供的方法相同或相似的方式实现，本实施例对此不作任何限制。
具体的，对于本实施例中的存储参数的具体内容，可以由设计人员根据实用场景和用户需求自行设置，如待存储文件不为小文件压缩文件时，存储参数为现有技术中客户端通过预设云存储接口上传待存储文件时的参数，例如预设云存储接口为简单存储服务(Simple Storage Service，S3)接口时，存储参数可以包括如下标准S3上传对象接口语法对应的参数：
PUT/ObjectNameHTTP/1.1
Host:BucketName.inspur.com
Date:date
Authorization:authorization string
对应的，待存储文件为小文件压缩文件或压缩文件时，存储参数还可以包括用于标识待存储文件是否为小文件压缩文件的解压识别参数；例如预设云存储接口为S3接口时，可以按如下方式改造S3上传对象接口语法，使客户端在上传压缩文件时在存储参数中加入unzip参数(即解压识别参数)：
PUT/ObjectName.zip？unzip＝1HTTP/1.1
Host:BucketName.inspur.com
Date:date
Authorization:authorization string
也就是说，unzip＝1时，服务器可以确定待存储文件为小文件压缩文件，即待存储文件需要解压处理，也就是说，unzip＝1为小文件压缩文件对应的解压识别参数；unzip＝0时，服务器可以确定待存储文件不为小文件压缩文件，即待存储文件不需要解压处理，可以按照普通文件的存储流程进行存储，也就是说，unzip＝0为非小文件压缩文件对应的解压识别参数。
需要说明的是，客户端可以仅在通过预设云存储接口向服务器上传存储压缩文件时在存储参数中加入解压识别参数(如unzip参数)，即服务器可以在识别到待存储文件为压缩文件时，再根据存储参数中的解压识别参数，确定待存储文件是否为小文件压缩文件；客户端也可以通过预设云存储接口向服务器上传存储任意文件时在存储参数中加入解压识别参数，即服务器可以在接收到待存储文件后直接根据存储参数中的解压识别参数，确定待存储文件是否为小文件压缩文件；客户端还可以仅在通过预设云存储接口向服务器上传存储小文件压缩文件时在存储参数中加入小文件压缩文件对应的解压识别参数(如unzip＝1)。本实施例对此不作任何限制。
对应的，待存储文件为小文件压缩文件时，本步骤之前还可以包括客户端获取压缩存储指令；将压缩存储指令对应的文件进行压缩，得到待存储文件；通过预设云存储接口向服务器上传的待存储文件和存储参数；其中，存储参数包括小文件压缩文件对应的解压识别参数。
具体的，压缩存储指令对应的文件可以为需要压缩后传输的多个的小文件，如4K文件；如客户端可以将1000个4K文件压缩打包为一个4M文件，由于在万兆网络下，4K文件写带宽平均在20M/s，而4M文件写带宽平均在1G/s以上，因此理论上可以将网络带宽利用率提高50倍以上。
步骤102：根据存储参数，判断待存储文件是否为小文件压缩文件；若是，则进入步骤103。
可以理解的是，本步骤中的小文件压缩文件可以为需要解压后存储的压缩文件，即包含多个小文件的压缩文件。本步骤的目的可以为服务器的处理器在对待存储文件进行存储之前，利用客户端通过预设云存储接口发送待存储文件时对应发送的存储参数，确定该待存储文件是否为小文件压缩文件，从而确定是否需要对待存储文件进行解压存储。
具体的，对于本步骤中处理器根据存储参数，判断待存储文件是否为小文件压缩文件的具体方式，可以由设计人员根据实用场景和用户需求自行设置，如处理器可以判断存储参数中是否存在解压识别参数；若不存在，则确定待存储文件不为小文件压缩文件；若存在，则判断存储参数中的解压识别参数是否为预设内容，即判断存储参数中的解压识别参数是否为小文件压缩文件对应的解压识别参数。处理器也可以根据待存储文件的后缀名，判断待存储文件是否为压缩文件(如后缀名为*.zip和*.gz等的文件)；若否，确定待存储文件不为小文件压缩文件；若是，则根据存储参数中的解压识别参数，判断待存储文件是否为小文件压缩文件。客户端通过预设云存储接口向服务器上传存储任意文件时均在存储参数中加入解压识别参数时，服务器的处理器还可以直接根据存储参数中的解压识别参数，判断待存储文件是否为小文件压缩文件。本实施例对此不作任何限制。
对应的，服务器的处理器还可以根据待存储文件的后缀名，判断待存储文件是否为预设类型的压缩文件(如后缀名为*.zip的文件)；若否，确定待存储文件不为小文件压缩文件；若是，则根据存储参数中的解压识别参数，判断待存储文件是否为小文件压缩文件。也就是说，客户端可以仅将多个小文件压缩为预设类型的压缩文件，使得服务器的处理器仅需要在接收到预设类型的压缩文件后，才需识别存储参数中是否存在小文件压缩文件对应的解压识别参数(如unzip＝1)，从而在识别到小文件压缩文件对应的解压识别参数时，确定待存储文件为小文件压缩文件，通过步骤103进行解压存储。
需要说明的是，对于本步骤中服务器的处理器确定待存储文件不为小文件压缩文件的情况，可以处理器直接采用与现有技术中的文件存储方式相同或相似的方式，对待存储文件进行存储。
步骤103：对待存储文件进行解压缩，获取并存储待存储文件对应的解压文件。
可以理解的是，本步骤的目的可以为服务器的处理器在确定待存储文件为小文件压缩文件时，通过对待存储文件进行解压缩，得到并存储待存储文件对应的解压文件，即客户端需要存储的未压缩的多个小文件，完成对批量小文件的存储，从而实现批量小文件在压缩传输后的解压存储。
具体的，本实施例并不限定处理器对待存储文件进行解压缩的具体方式，如处理器可以利用待存储文件对应的压缩算法，对待存储文件进行解压缩，解压得到待存储文件对应的解压文件；为了提高服务器的解压缩性能，减少处理器的计算量，处理器也可以利用服务器中预先设置的压缩卡(即预设压缩卡)对待存储文件进行解压缩，获取压缩卡输出的待存储文件对应的解压文件。
对应的，本实施例并不限定处理器对解压得到的待存储文件对应的解压文件的具体存储方式，如满足客户端的用户对批量小文件的存储要求，服务器可以按照待存储文件的目录结构存储待存储文件对应的解压文件，使解压之后的文件可以保持压缩包中目录结构不变写入存储桶中。
需要说明的是，本实施例还可以包括服务器获取目标客户端对应的压缩读取指令；查找存储的压缩读取指令对应的待读取文件，并对待读取文件进行压缩，得到读取压缩文件；通过预设云存储接口将读取压缩文件和读取参数发送到目标客户端；其中，读取参数包括小文件压缩文件对应的解压识别参数。也就是说，服务器的处理器可以将目标客户端需要读取的多个小文件(即压缩读取指令对应的待读取文件)压缩后通过预设云存储接口传输到目标客户端，并通过传输包含有小文件压缩文件对应的解压识别参数的读取参数，告知目标客户端可以解压得到所需读取的多个小文件。
对应的，本实施例并不限定上述压缩读取指令的具体获取方式，如处理器可以直接接收目标客户端发送的压缩读取指令，例如目标客户端可以根据用户的操作设置，生成多个小文件对应的压缩读取指令，使服务器可以将多个小文件压缩后传输到目标客户端；处理器也可以根据目标客户端发送的小文件的读取指令，生成压缩读取指令，例如服务器可以检测到目标客户端需要读取多个小文件时，自动生成压缩读取指令，并将多个小文件压缩后传输到目标客户端。
本实施例中，本发明实施例通过根据存储参数，判断待存储文件是否为小文件压缩文件，使服务器能够利用客户端通过预设云存储接口上传文件时的存储参数，自动识别出批量小文件的压缩文件，从而实现客户端对小文件压缩文件的自动识别和解压存储，使得客户端可以在通过对现有云存储接口的改造，将小文件批量压缩成大文件后上传到服务器，提高了网络带宽资源的利用率，提升了服务器的存储性能。
请参考图2，图2为本发明实施例所提供的一种小文件的云存储装置的结构框图。该装置可以包括：
获取模块10，用于获取客户端通过预设云存储接口上传的待存储文件和存储参数；
判断模块20，用于根据存储参数，判断待存储文件是否为小文件压缩文件；
解压存储模块30，用于若为小文件压缩文件，对待存储文件进行解压缩，获取并存储待存储文件对应的解压文件。
可选的，判断模块20，可以包括：
压缩判断子模块，用于根据待存储文件的后缀名，判断待存储文件是否为压缩文件；
小文件判断子模块，用于若为压缩文件，则根据存储参数中的解压识别参数，判断待存储文件是否为小文件压缩文件；若为小文件压缩文件，则向解压存储模块发送启动信号。
可选的，预设云存储接口可以具体为简单存储服务接口。
可选的，解压存储模块30，可以包括：
解压子模块，用于利用预设压缩卡对待存储文件进行解压缩，获取解压文件。
可选的，该装置还可以包括：
指令获取模块，用于获取目标客户端对应的压缩读取指令；
查找压缩模块，用于查找存储的压缩读取指令对应的待读取文件，并对待读取文件进行压缩，得到读取压缩文件；
发送模块，用于通过预设云存储接口将读取压缩文件和读取参数发送到目标客户端；其中，读取参数包括小文件压缩文件对应的解压识别参数。
本实施例中，本发明实施例通过判断模块20根据存储参数，判断待存储文件是否为小文件压缩文件，使服务器能够利用客户端通过预设云存储接口上传文件时的存储参数，自动识别出批量小文件的压缩文件，从而实现客户端对小文件压缩文件的自动识别和解压存储，使得客户端可以在通过对现有云存储接口的改造，将小文件批量压缩成大文件后上传到服务器，提高了网络带宽资源的利用率，提升了服务器的存储性能。
请参考图3，图3为本发明实施例所提供的一种服务器的结构示意图。该服务器1可以包括：
存储器11，用于存储计算机程序；处理器12，用于执行该计算机程序时实现如上述实施例所提供的小文件的云存储方法的步骤。
服务器1可以包括存储器11、处理器12和总线13。
其中，存储器11至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是服务器1的内部存储单元。存储器11在另一些实施例中也可以是服务器1的外部存储设备，例如服务器1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括服务器1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于服务器1的应用软件及各类数据，例如：执行小文件的云存储方法的程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如小文件的云存储方法的程序的代码等。
该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
进一步地，该服务器1还可以包括网络接口14，网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该服务器1与其他电子设备之间建立通信连接。
可选地，该服务器1还可以包括用户接口15，用户接口15可以包括显示器(Display)、输入单元比如按键，可选的用户接口15还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在服务器1中处理的信息以及用于显示可视化的用户界面。
图3仅示出了具有组件11-15的服务器1，本领域技术人员可以理解的是，图3示出的结构并不构成对服务器1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
此外，本申请实施例还公开了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上述实施例所提供的小文件的云存储方法的步骤。
其中，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、服务器及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
以上对本发明所提供的一种小文件的云存储方法的流程图进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种小文件的云存储方法，其特征在于，包括：
服务器获取客户端通过预设云存储接口上传的待存储文件和存储参数；
根据所述存储参数，判断所述待存储文件是否为小文件压缩文件；
若是，对所述待存储文件进行解压缩，获取并存储所述待存储文件对应的解压文件。
2.根据权利要求1所述的小文件的云存储方法，其特征在于，所述根据所述存储参数，判断所述待存储文件是否为小文件压缩文件，包括：
根据所述待存储文件的后缀名，判断所述待存储文件是否为压缩文件；
若是，则根据所述存储参数中的解压识别参数，判断所述待存储文件是否为所述小文件压缩文件；
若为所述小文件压缩文件，则执行所述对所述待存储文件进行解压缩，获取并存储所述待存储文件对应的解压文件的步骤。
3.根据权利要求1所述的小文件的云存储方法，其特征在于，所述预设云存储接口具体为简单存储服务接口。
4.根据权利要求1所述的小文件的云存储方法，其特征在于，所述对所述待存储文件进行解压缩，获取所述待存储文件对应的解压文件，包括：
利用预设压缩卡对所述待存储文件进行解压缩，获取所述解压文件。
5.根据权利要求1至4任一项所述的小文件的云存储方法，其特征在于，还包括：
获取目标客户端对应的压缩读取指令；
查找存储的所述压缩读取指令对应的待读取文件，并对所述待读取文件进行压缩，得到读取压缩文件；
通过所述预设云存储接口将所述读取压缩文件和读取参数发送到所述目标客户端；其中，所述读取参数包括所述小文件压缩文件对应的解压识别参数。
6.一种小文件的云存储装置，其特征在于，包括：
获取模块，用于获取客户端通过预设云存储接口上传的待存储文件和存储参数；
判断模块，用于根据所述存储参数，判断所述待存储文件是否为小文件压缩文件；
解压存储模块，用于若为所述小文件压缩文件，对所述待存储文件进行解压缩，获取并存储所述待存储文件对应的解压文件。
7.根据权利要求6所述的小文件的云存储装置，其特征在于，所述判断模块，包括：
压缩判断子模块，用于根据所述待存储文件的后缀名，判断所述待存储文件是否为压缩文件；
小文件判断子模块，用于若为所述压缩文件，则根据所述存储参数中的解压识别参数，判断所述待存储文件是否为所述小文件压缩文件；若为所述小文件压缩文件，则向所述解压存储模块发送启动信号。
8.根据权利要求6或7所述的小文件的云存储装置，其特征在于，还包括：
指令获取模块，用于获取目标客户端对应的压缩读取指令；
查找压缩模块，用于查找存储的所述压缩读取指令对应的待读取文件，并对所述待读取文件进行压缩，得到读取压缩文件；
发送模块，用于通过所述预设云存储接口将所述读取压缩文件和读取参数发送到所述目标客户端；其中，所述读取参数包括所述小文件压缩文件对应的解压识别参数。
9.一种服务器，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的小文件的云存储方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的小文件的云存储方法的步骤。
CN202010851400.9A 2020-08-21 2020-08-21 一种小文件的云存储方法、装置、服务器及存储介质 Withdrawn CN111966647A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010851400.9A CN111966647A (zh) 2020-08-21 2020-08-21 一种小文件的云存储方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010851400.9A CN111966647A (zh) 2020-08-21 2020-08-21 一种小文件的云存储方法、装置、服务器及存储介质

Publications (1)

Publication Number Publication Date
CN111966647A true CN111966647A (zh) 2020-11-20

Family

ID=73389988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010851400.9A Withdrawn CN111966647A (zh) 2020-08-21 2020-08-21 一种小文件的云存储方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN111966647A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590557A (zh) * 2021-07-30 2021-11-02 北京明朝万达科技股份有限公司 文件识别方法、装置、存储介质及处理器
CN114374687A (zh) * 2022-01-11 2022-04-19 同方有云(北京)科技有限公司 热磁存储与蓝光存储之间的文件传输方法及装置
CN116185308A (zh) * 2023-04-25 2023-05-30 山东英信计算机技术有限公司 一种数据集处理方法、装置、设备、介质及模型训练系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897052A (zh) * 2015-12-24 2017-06-27 北京奇虎科技有限公司 Apk文件压缩方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897052A (zh) * 2015-12-24 2017-06-27 北京奇虎科技有限公司 Apk文件压缩方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590557A (zh) * 2021-07-30 2021-11-02 北京明朝万达科技股份有限公司 文件识别方法、装置、存储介质及处理器
CN113590557B (zh) * 2021-07-30 2024-07-26 北京明朝万达科技股份有限公司 文件识别方法、装置、存储介质及处理器
CN114374687A (zh) * 2022-01-11 2022-04-19 同方有云(北京)科技有限公司 热磁存储与蓝光存储之间的文件传输方法及装置
CN114374687B (zh) * 2022-01-11 2024-04-16 同方有云(北京)科技有限公司 热磁存储与蓝光存储之间的文件传输方法及装置
CN116185308A (zh) * 2023-04-25 2023-05-30 山东英信计算机技术有限公司 一种数据集处理方法、装置、设备、介质及模型训练系统
CN116185308B (zh) * 2023-04-25 2023-08-04 山东英信计算机技术有限公司 一种数据集处理方法、装置、设备、介质及模型训练系统

Similar Documents

Publication Publication Date Title
CN111966647A (zh) 一种小文件的云存储方法、装置、服务器及存储介质
CN110446062B (zh) 大数据文件传输的接收处理方法、电子装置及存储介质
CN108900843B (zh) 单色图像压缩方法、装置、介质及电子设备
CN106776677B (zh) 文件转换方法、装置及文件传输系统
CN109729386B (zh) 一种视频文件启播方法、系统及电子设备和存储介质
CN102905045A (zh) 向计算终端提供图片数据的方法及服务器
CN112379949B (zh) 一种数据处理方法、装置、设备及存储介质
CN102946419A (zh) 图片服务器及图片数据提供方法
CN103731493A (zh) 页面传输方法、装置及系统
CN114039973A (zh) 文件的传输方法、设备以及存储介质
CN103136290A (zh) 网页脚本文件处理方法及处理装置
CN109788251B (zh) 视频处理方法、装置及存储介质
CN104639501B (zh) 一种数据流传输的方法、设备及系统
US20190245827A1 (en) Method and apparatus for synchronizing contact information and medium
CN114218175A (zh) 一种资源跨平台共享方法、装置、终端设备及存储介质
CN106341482B (zh) 基于文件类型的云渲染混合压缩传输系统与方法
CN113138969A (zh) 数据传输方法、装置、电子设备和计算机可读存储介质
CN111143293B (zh) 一种元数据获取方法、装置、设备及计算机可读存储介质
CN104601698B (zh) 一种基于浏览器的通信方法及系统
CN114519037A (zh) 一种表格在线预览方法、装置和系统
CN113066139A (zh) 图片处理方法和装置、存储介质及电子设备
CN113094165A (zh) 一种提升云端加载应用程序速度的方法
CN112887362A (zh) 一种设备访问方法、设备访问装置及服务器
CN112765122B (zh) 一种在kubernetes中数据库的导入方法和系统
CN113568939B (zh) 能耗监控方法、装置、服务器及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201120