CN111614730B - 云存储系统的文件处理方法、装置及电子设备 - Google Patents

云存储系统的文件处理方法、装置及电子设备 Download PDF

Info

Publication number
CN111614730B
CN111614730B CN202010350702.8A CN202010350702A CN111614730B CN 111614730 B CN111614730 B CN 111614730B CN 202010350702 A CN202010350702 A CN 202010350702A CN 111614730 B CN111614730 B CN 111614730B
Authority
CN
China
Prior art keywords
rule
processing
file
scanning
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010350702.8A
Other languages
English (en)
Other versions
CN111614730A (zh
Inventor
郭占圳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202010350702.8A priority Critical patent/CN111614730B/zh
Publication of CN111614730A publication Critical patent/CN111614730A/zh
Application granted granted Critical
Publication of CN111614730B publication Critical patent/CN111614730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及云存储系统的文件处理方法、装置及电子设备。该方法包括:获取用户设置的处理策略,其中,处理策略包括删除规则、转换归档规则、转换低频规则中的一个或多个处理规则,每一处理规则包括相应的时间界限和操作类型;解析处理策略,得到处理规则;按照预设顺序,依次执行每一处理规则。该方法有利于满足用户多样化的处理需求和提高云存储系统的文件处理效率。

Description

云存储系统的文件处理方法、装置及电子设备
技术领域
本公开涉及云存储技术领域,更具体地,涉及一种云存储系统的文件处理方法、一种云存储系统的文件处理装置以及一种电子设备。
背景技术
云存储是一种网上在线存储的模式,即把数据存放在通常由第三方托管的多台虚拟服务器,而非专属的服务器上。
云存储系统中的数据量通常较大,需要采用合理方式对数据进行管理。对于用户使用频次较高的数据,需要采用性能较高的方式进行存储,以满足用户的使用需求。对于使用频率较低的数据,可采用性能较低的方式进行存储甚至将其删除,从而在不影响用户使用需求的同时降低存储成本。现有的数据的往往具有较强的时效性,因此使用频率与存储时间之间通常存在紧密联系,例如,存储时间较短的数据(可称之为热数据)往往使用频率较高,存储时间较长的数据(可称之为冷数据)往往使用频率较低。
现有方式中,通常由用户自行根据存储时间、使用频次等因素管理数据的存储特性,例如设置数据的存储方式或者删除数据。由于在云存储系统中,用户每天的新增数据多达上亿条,因此用户需要在正常业务之外增加大量的文件管理工作,工作量大、复杂性高,大大增加了用户对数据的管理成本。
因此,有必要提出一种在云存储系统中进行文件处理的新的技术方案。
发明内容
本公开的一个目的是提供一种在云存储系统中进行文件处理的新的技术方案。
根据本发明的第一方面,提供了一种云存储系统的文件处理方法,包括:
获取用户设置的处理策略,其中,所述处理策略包括删除规则、转换归档规则、转换低频规则中的一个或多个处理规则,每一所述处理规则包括相应的时间界限和操作类型;
解析所述处理策略,得到所述处理规则;
按照预设顺序,依次执行每一所述处理规则。
可选地,所述按照预设顺序,依次执行每一所述处理规则,包括:
按照先后顺序依次执行所述删除规则、所述转换归档规则和所述转换低频规则。
可选地,所述执行每一所述处理规则,包括:
根据所述处理规则对应的时间界限,确定待处理的目标文件;
根据所述处理规则对应的操作类型,对所述目标文件执行相应操作。
可选地,所述按照先后顺序依次执行所述删除规则、所述转换归档规则和所述转换低频规则,包括:
在执行当前处理规则时,检测是否存在执行顺序的优先级高于所述当前处理规则的高优先级规则,其中,所述当前处理规则为所述删除规则、所述转换归档规则和所述转换低频规则中的某一处理规则;
在存在所述高优先级规则的情况下,根据所述高优先级处理规则对应的第一时间界限和所述当前处理规则对应的第二时间界限,确定所述当前处理规则对应的目标文件并执行相应操作。
可选地,所述根据所述处理规则对应的时间界限,确定待处理的目标文件,包括:
扫描所述云存储系统的时间索引,其中,所述时间索引包括文件的文件标识和更新时间;
检测所述更新时间是否超过所述时间界限;若未超过,则获取所述文件标识作为目标文件的标识;若超过,则停止扫描。
可选地,在所述扫描所述云存储系统的时间索引之前,还包括:
查询上一次扫描进度;
若所述上一次扫描进度为空,则从所述时间索引的起始位置开始进行扫描;若所述上一次扫描进度不为空,则从上一次扫描位置开始进行扫描。
可选地,根据所述处理规则对应的操作类型,对所述目标文件执行相应操作,包括:
将所述目标文件的标识加入处理队列;
通过处理进程消费所述处理队列中的消息,以对所述目标文件执行相应操作。
可选地,在将所述目标文件的标识加入处理队列之前,还包括:
检测所述目标文件的文件类型是否符合预设要求;
若符合,则将所述标识加入处理队列;若不符合,则将所述标识丢弃。
根据本发明的第二方面,提供了一种云存储系统的文件处理装置,包括:
获取模块,用于获取用户设置的处理策略,其中,所述处理策略包括删除规则、转换归档规则、转换低频规则中的一个或多个处理规则,每一所述处理规则包括相应的时间界限和操作类型;
解析模块,用于解析所述处理策略,得到所述处理规则;
执行模块,用于按照预设顺序,依次执行每一所述处理规则。
可选地,所述执行模块用于:
按照先后顺序依次执行所述删除规则、所述转换归档规则和所述转换低频规则。
可选地,所述执行模块包括扫描模块和操作模块;
所述扫描模块用于根据所述处理规则对应的时间界限,确定待处理的目标文件;
所述操作模块用于根据所述处理规则对应的操作类型,对所述目标文件执行相应操作。
可选地,所述执行模块用于:
在执行当前处理规则时,检测是否存在执行顺序的优先级高于所述当前处理规则的高优先级规则,其中,所述当前处理规则为所述删除规则、所述转换归档规则和所述转换低频规则中的某一处理规则;
在存在所述高优先级规则的情况下,根据所述高优先级处理规则对应的第一时间界限和所述当前处理规则对应的第二时间界限,确定所述当前处理规则对应的目标文件并执行相应操作。
可选地,所述扫描模块用于:
扫描所述云存储系统的时间索引,其中,所述时间索引包括每一文件的文件标识和更新时间;
检测所述更新时间是否超过所述时间界限;若未超过,则获取所述文件标识作为目标文件的标识;若超过,则停止扫描。
可选地,所述扫描模块还用于:
查询上一次扫描进度;
若所述上一次扫描进度为空,则从所述时间索引的起始位置开始进行扫描;若所述原扫描进度上一次扫描进度不为空,则从上一次扫描位置开始进行扫描。
可选地,所述操作模块用于:
将所述目标文件的标识加入处理队列;
通过处理进程消费所述处理队列中的消息,以对所述目标文件执行相应操作。
可选地,所述操作模块还用于:
检测所述目标文件的文件类型是否符合预设要求;
若符合,则将所述标识加入处理队列;若不符合,则将所述标识丢弃。根据本发明的第三方面,提供了一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以实现本发明第一方面所述的云存储系统的文件处理方法。
本实施例中的云存储系统的文件处理方法,支持用户在同一处理策略下设置一个或多个处理规则,能够实现删除、转换归档、转换低频等多种操作,有利于满足用户多样化的处理需求。此外,通过串行方式依次执行多个处理规则,能够避免不必要的重复操作,有利于提高云存储系统的文件处理效率。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例,并且连同其说明一起用于解释本公开的原理。
图1是可用于实现本公开实施例的电子设备的示意图。
图2是根据本公开实施例的云存储系统的文件处理方法的流程图。
图3是根据本公开实施例的一个例子的示意图。
图4是根据本公开实施例的一个处理策略设置界面的示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
<硬件配置>
图1示出了可用于实现本公开的实施例的电子设备的硬件配置。
参见图1,电子设备1000包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500和输入装置1600。处理器1100例如可以是中央处理器CPU、微控制单元MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、串行接口等。通信装置1400例如是有线网卡或无线网卡。显示装置1500例如是液晶显示屏。输入装置1600例如包括触摸屏、键盘、鼠标、麦克风等。
应用于本说明书的实施例中,电子设备1000的存储器1200用于存储指令,该指令用于控制处理器1100进行操作以支持实现根据本说明书任意实施例的方法。本领域技术人员可以根据本说明书所公开方案设计指令。指令如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
本领域技术人员应当理解,尽管在图1中示出了电子设备1000的多个装置,但是,本说明书实施例的电子设备1000可以仅涉及其中的部分装置,例如,只涉及处理器1100、存储器1200和通信装置1400。
图1所示的电子设备1000例如是用于提供云存储服务的服务器。
图1所示的硬件配置仅是解释性的,并且决不是为了要限制本公开、其应用或用途。
<方法实施例>
本实施例提供了一种云存储系统的文件处理方法,例如由图1所示的电子设备1000实施。
如图2所示,该方法包括以下步骤S1100-S1300。
在步骤S1100中,获取用户设置的处理策略,其中,处理策略包括删除规则、转换归档规则、转换低频规则中的一个或多个处理规则,每一处理规则包括相应的时间界限和操作类型。
本实施例中,处理策略是对云存储系统中的文件进行操作处理的策略。同一处理策略可以包括一个或多个处理规则,上述处理规则例如是删除规则、转换归档规则、转换低频规则等。
本实施例中,每一处理规则包括相应的时间界限和操作类型。例如,删除规则对应的操作类型为删除操作,用于将文件从云存储系统中删除。转换归档规则对应的操作类型为转换归档操作,用于将文件的存储类型由标准存储或者低频存储转换为归档存储。转换低频规则对应的操作类型为转换低频操作,用于将文件的存储类型由标准存储转换为低频存储。
上述标准存储,是指提供通用的对象存储服务,适合频繁访问、有热点存在的各类音视频、图片、网站静态资源的数据,较低的延迟和较高的吞吐量性能的数据。上述归档存储,例如适用于数据存储后访问频率极低的业务场景,适合保存需要长期存储、极少访问的数据。对比标准存储和低频存储,归档存储能提供相同的数据可靠性和服务可用性,同时又大幅降低了存储的成本,但数据进入到可读取状态需要1~10分钟的解冻时间,适合需要长期保存的医疗影像、档案、业务日志及影像素材等。上述低频存储,例如适用于较低访问频率的业务场景,适合长期保存、较少访问的数据。低频存储在降低存储价格的基础上同时保持访问延时在毫秒级,保证了用户在取回数据的场景下,无需等待,高速读取。但对存储时长有一定要求,存储时间短于30天的文件提前删除会产生提前删除费用。
本实施例中,时间界限可以由用户定义,也可以由云服务器提供默认值。时间界限可以为某一日期,此种情况下对更新时间早于该日期的文件执行相应操作。时间界限还可以为某一天数,此种情况下对存储时长超过该天数的文件执行相应操作。
图4是根据本公开实施例的一个处理策略设置界面的示意图,用户可以通过该界面设置处理策略。用户可以将删除日期界限设置为1月1日,从而将更新时间早于1月1日的文件删除。用户可以将转换归档日期界限设置为3月1日,从而将更新时间早于3月1日的文件转换为归档存储。用户可以将转换低频日期界限设置为5月1日,从而将更新时间早于5月1日的文件转换为低频存储。此外,用户还可以将时间界限设置为过期天数的形式,例如将过期删除的时间界限设置为120天,此种情况下,更新时间距离当前时间超过120天的文件将被删除。
本实施例中,用户可以在终端设备上设置文件处理策略,并将文件处理策略发送至云存储服务器。
在步骤S1200中,解析处理策略,得到处理规则。
上述解析过程例如是:检测处理策略中是否存在删除规则的标识,若存在,则记录相应的第一时间界限。检测处理策略中是否存在转换归档规则的标识,若存在,则记录相应的第二时间界限。检测处理策略中是否包括转换低频规则的标识,若存在,则记录相应的第三时间界限。
在步骤S1300中,按照预设顺序,依次执行每一处理规则。
本实施例中,按照预设顺序依次执行每一处理规则,即采用串行方式执行多个处理规则。
在一个例子中,按照预设顺序,依次执行每一处理规则,包括:按照先后顺序依次执行删除规则、转换归档规则和转换低频规则。通过这种方式,对于执行了删除操作的文件,不会再执行转换归档操作和转换低频操作。对于执行了转换归档操作的文件,不会再执行转换低频操作。由此可见,上述方式通过合理设置不同规则间的执行顺序,能够进一步提高文件处理效率。
在一个例子中,执行每一处理规则的过程包括:首先,根据处理规则对应的时间界限,确定待处理的目标文件。其次,根据处理规则对应的操作类型,对目标文件执行相应操作。
上述根据处理规则对应的时间界限,确定待处理的目标文件,包括:首先,扫描云存储系统的时间索引,其中,时间索引包括文件的文件标识和更新时间。其次,检测更新时间是否超过时间界限。若未超过,则获取文件标识作为目标文件的标识;若超过,则停止扫描。
本实施例中,以更新时间为关键字为云存储系统中的文件创建时间索引,该时间索引中记录有文件的文件标识和更新时间。上述更新时间是指创建文件的时间或者修改文件的时间。
在一个例子中,可以按照时间升序的方式对时间索引进行扫描。在扫描过程中,将当前文件的更新时间与时间界限进行比较。如果更新时间未超过时间界限,则将该文件作为目标文件。如果更新时间超过了时间界限,则停止扫描。上述更新时间超过时间界限,例如是指该更新时间对应的时间戳大于该时间界限对应的时间戳,或者说,该更新时间晚于该时间界限。
在一个例子中,对扫描进度进行记录。相应地,在扫描云存储系统的时间索引之前,还包括:查询上一次扫描进度;若上一次扫描进度为空,则从时间索引的起始位置开始进行扫描;若上一次扫描进度不为空,则从上一次扫描位置开始进行扫描。通过这种方式,如果处理规则的执行过程出现了中断,可以根据原处理进度继续执行,避免出现重复执行的情况。
在一个例子中,根据处理规则对应的操作类型,对目标文件执行相应操作,包括:将目标文件的标识加入处理队列;通过处理进程消费处理队列中的消息,以对目标文件执行相应操作。
如图3所示,可以由扫描进程对时间索引进行扫描,得到目标文件标识,再由扫描进程将目标文件标识发送至处理队列,最后由处理进程消费队列中的数据,以对目标文件执行相应的操作。如此,将文件按照更新时间串行放入处理队列,可以避免对同一文件的处理出现冲突。
在一个例子中,在将目标文件的标识加入处理队列之前,还包括:检测目标文件的文件类型是否符合预设要求;若符合,则将标识加入处理队列;若不符合,则将标识丢弃。
在某些处理操作例如转换归档操作、转换低频操作中,对文件的类型或者属性具有一定要求,只有对类型满足要求的文件才能执行相关操作。因此,检测文件类型,可以直接排除不符合类型要求的文件,避免不必要的操作,提高文件处理效率。
在一个例子中,按照先后顺序依次执行删除规则、转换归档规则和转换低频规则,包括:在执行当前处理规则时,检测是否存在执行顺序的优先级高于当前处理规则的高优先级规则,其中,当前处理规则为删除规则、转换归档规则和转换低频规则中的某一处理规则;在存在高优先级规则的情况下,根据高优先级处理规则对应的第一时间界限和当前处理规则对应的第二时间界限,确定当前处理规则对应的目标文件并执行相应操作。如此,可避免不必要的扫描和操作,提高处理效率。
需要说明的是,如果当前处理规则对应的高优先级规则不止一个,可以选取执行顺序最接近当前处理规则的高优先级规则,根据其时间界限来确定目标文件。
例如,删除规则对应时间界限A,转换归档规则对应时间界限B,转换低频规则对应时间界限C。相应地,按照先后顺序依次执行删除规则、转换归档规则和转换低频规则,包括:根据时间界限A,确定第一目标文件并执行删除操作;根据时间界限A和时间界限B,确定第二目标文件并执行转换归档操作;根据时间界限B和时间界限C,确定第三目标文件并执行转换低频操作。
在另外一个例子中。在后处理规则可以基于在先处理规则的处理进度继续执行。例如,删除规则对应第一处理进度(即扫描到时间索引中的第一位置),在执行转换归档规则时,可以从第一处理进度对应的索引位置开始进行扫描。
本实施例中的云存储系统的文件处理方法,支持用户在同一处理策略下设置一个或多个处理规则,能够实现删除、转换归档、转换低频等多种操作,有利于满足用户多样化的处理需求。此外,通过串行方式依次执行多个处理规则,能够避免不必要的重复操作,有利于提高云存储系统的文件处理效率。
以下提供一个本实施例中云存储系统的文件处理方法实施的具体例子。
首先,扫描进程获取用户设置的处理策略并进行解析。
上述解析过程包括:解析删除规则,记录第一时间界限ex_end_date;解析转换归档规则,记录第二时间界限ar_end_date;解析转换低频规则,记录第三时间界限ia_end_date。
其次,扫描进程按顺序依次执行以下扫描过程。
如果存在删除规则,查询过期删除原进度,进度为空,从头开始扫描;不为空,以当前进度开始扫描。扫描索引表,放入队列待处理,中间需要记录索引表的处理进度。在扫描数据内容时间戳>ex_end_date的情况下,停止扫描。
如果有转换归档规则,查询转换归档进度记为ar_process,查询过期删除进度记为ex_process,并取max(ar_process,ex_process)为当前进度。基于上述进度开始扫描并判断文件类型是否符合转换条件,不符合直接丢弃;符合的话放入队列待处理,中间需要记录索引表的处理进度。在扫描数据内容时间戳>ar_end_date的情况下,停止扫描。
如果有转换低频规则,查询转换归档进度(记为ar_process),查询过期删除进度(记为ex_process),查询转换低频进度(记为ia_process),取max(ia_process,ar_process,ex_process)为当前进度。基于上述进度开始扫描并判断文件类型是否符合转换条件,不符合直接丢弃;符合的话放入队列待处理,中间需要记录索引表的处理进度。在扫描数据内容时间戳>ia_end_date的情况下,停止扫描。
最后,由处理进程根据操作类型,发送相应的请求对文件进行转换或者删除操作。
<装置实施例>
本实施例提供了一种云存储系统的文件处理装置,包括获取模块、解析模块和执行模块。
获取模块,用于获取用户设置的处理策略,其中,处理策略包括删除规则、转换归档规则、转换低频规则中的一个或多个处理规则,每一处理规则包括相应的时间界限和操作类型。
解析模块,用于解析处理策略,得到处理规则。
执行模块,用于按照预设顺序,依次执行每一处理规则。
在一个例子中,执行模块用于:按照先后顺序依次执行删除规则、转换归档规则和转换低频规则。
在一个例子中,执行模块包括扫描模块和操作模块;扫描模块用于根据处理规则对应的时间界限,确定待处理的目标文件;操作模块用于根据处理规则对应的操作类型,对目标文件执行相应操作。
在一个例子中,执行模块用于:在执行当前处理规则时,检测是否存在执行顺序的优先级高于当前处理规则的高优先级规则,其中,当前处理规则为删除规则、转换归档规则和转换低频规则中的某一处理规则;在存在高优先级规则的情况下,根据高优先级处理规则对应的第一时间界限和当前处理规则对应的第二时间界限,确定当前处理规则对应的目标文件并执行相应操作。
在一个例子中,扫描模块用于:扫描云存储系统的时间索引,其中,时间索引包括每一文件的文件标识和更新时间;检测更新时间是否超过时间界限;若未超过,则获取文件标识作为目标文件的标识;若超过,则停止扫描。
在一个例子中,扫描模块还用于:查询上一次扫描进度;若上一次扫描进度为空,则从时间索引的起始位置开始进行扫描;若原扫描进度上一次扫描进度不为空,则从上一次扫描位置开始进行扫描。
在一个例子中,操作模块用于:将目标文件的标识加入处理队列;通过处理进程消费处理队列中的消息,以对目标文件执行相应操作。
在一个例子中,操作模块还用于:检测目标文件的文件类型是否符合预设要求;若符合,则将标识加入处理队列;若不符合,则将标识丢弃。
<电子设备实施例>
本实施例提供一种电子设备,包括处理器和存储器。
存储器存储有能够被处理器执行的机器可执行指令,处理器执行机器可执行指令以实现本发明方法实施例描述的云存储系统的文件处理方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本公开的范围由所附权利要求来限定。

Claims (17)

1.一种云存储系统的文件处理方法,其特征在于,包括:
获取用户设置的处理策略,其中,所述处理策略包括删除规则、转换归档规则、转换低频规则中的一个或多个处理规则,每一所述处理规则包括相应的时间界限和操作类型,所述删除规则对应的操作类型为删除操作,用于将文件从所述云存储系统中删除,所述转换归档规则对应的操作类型为转换归档操作,用于将文件的存储类型由标准存储或者低频存储转换为归档存储,所述转换低频规则对应的操作类型为转换低频操作,用于将文件的存储类型由标准存储转换为低频存储,所述时间界限为执行所述操作类型的相应操作的时间标准,所述时间界限为某一日期时,对更新时间早于所述日期的文件执行相应操作,或者当所述时间界限为某一天数时,对存储时长超过所述天数的文件执行相应操作;
解析所述处理策略,得到所述处理规则;
按照预设顺序,依次执行每一所述处理规则。
2.根据权利要求1所述的方法,其特征在于,所述按照预设顺序,依次执行每一所述处理规则,包括:
按照先后顺序依次执行所述删除规则、所述转换归档规则和所述转换低频规则。
3.根据权利要求2所述的方法,其特征在于,所述执行每一所述处理规则,包括:
根据所述处理规则对应的时间界限,确定待处理的目标文件;
根据所述处理规则对应的操作类型,对所述目标文件执行相应操作。
4.根据权利要求3所述的方法,其特征在于,所述按照先后顺序依次执行所述删除规则、所述转换归档规则和所述转换低频规则,包括:
在执行当前处理规则时,检测是否存在执行顺序的优先级高于所述当前处理规则的高优先级规则,其中,所述当前处理规则为所述删除规则、所述转换归档规则和所述转换低频规则中的某一处理规则;
在存在所述高优先级规则的情况下,根据所述高优先级规则对应的第一时间界限和所述当前处理规则对应的第二时间界限,确定所述当前处理规则对应的目标文件并执行相应操作。
5.根据权利要求3所述的方法,其特征在于,所述根据所述处理规则对应的时间界限,确定待处理的目标文件,包括:
扫描所述云存储系统的时间索引,其中,所述时间索引包括文件的文件标识和更新时间;
检测所述更新时间是否超过所述时间界限;若未超过,则获取所述文件标识作为目标文件的标识;若超过,则停止扫描。
6.根据权利要求5所述的方法,其特征在于,在所述扫描所述云存储系统的时间索引之前,还包括:
查询上一次扫描进度;
若所述上一次扫描进度为空,则从所述时间索引的起始位置开始进行扫描;若所述上一次扫描进度不为空,则从上一次扫描位置开始进行扫描。
7.根据权利要求3所述的方法,其特征在于,根据所述处理规则对应的操作类型,对所述目标文件执行相应操作,包括:
将所述目标文件的标识加入处理队列;
通过处理进程消费所述处理队列中的消息,以对所述目标文件执行相应操作。
8.根据权利要求7所述的方法,其特征在于,在将所述目标文件的标识加入处理队列之前,还包括:
检测所述目标文件的文件类型是否符合预设要求;
若符合,则将所述标识加入处理队列;若不符合,则将所述标识丢弃。
9.一种云存储系统的文件处理装置,其特征在于,包括:
获取模块,用于获取用户设置的处理策略,其中,所述处理策略包括删除规则、转换归档规则、转换低频规则中的一个或多个处理规则,每一所述处理规则包括相应的时间界限和操作类型,所述删除规则对应的操作类型为删除操作,用于将文件从所述云存储系统中删除,所述转换归档规则对应的操作类型为转换归档操作,用于将文件的存储类型由标准存储或者低频存储转换为归档存储,所述转换低频规则对应的操作类型为转换低频操作,用于将文件的存储类型由标准存储转换为低频存储,所述时间界限为执行所述操作类型的相应操作的时间标准,所述时间界限为某一日期时,对更新时间早于所述日期的文件执行相应操作,或者当所述时间界限为某一天数时,对存储时长超过所述天数的文件执行相应操作;
解析模块,用于解析所述处理策略,得到所述处理规则;
执行模块,用于按照预设顺序,依次执行每一所述处理规则。
10.根据权利要求9所述的装置,其特征在于,所述执行模块用于:
按照先后顺序依次执行所述删除规则、所述转换归档规则和所述转换低频规则。
11.根据权利要求10所述的装置,其特征在于,所述执行模块包括扫描模块和操作模块;
所述扫描模块用于根据所述处理规则对应的时间界限,确定待处理的目标文件;
所述操作模块用于根据所述处理规则对应的操作类型,对所述目标文件执行相应操作。
12.根据权利要求11所述的装置,其特征在于,所述执行模块用于:
在执行当前处理规则时,检测是否存在执行顺序的优先级高于所述当前处理规则的高优先级规则,其中,所述当前处理规则为所述删除规则、所述转换归档规则和所述转换低频规则中的某一处理规则;
在存在所述高优先级规则的情况下,根据所述高优先级规则对应的第一时间界限和所述当前处理规则对应的第二时间界限,确定所述当前处理规则对应的目标文件并执行相应操作。
13.根据权利要求11所述的装置,其特征在于,所述扫描模块用于:
扫描所述云存储系统的时间索引,其中,所述时间索引包括每一文件的文件标识和更新时间;
检测所述更新时间是否超过所述时间界限;若未超过,则获取所述文件标识作为目标文件的标识;若超过,则停止扫描。
14.根据权利要求13所述的装置,其特征在于,所述扫描模块还用于:
查询上一次扫描进度;
若所述上一次扫描进度为空,则从所述时间索引的起始位置开始进行扫描;若所述上一次扫描进度不为空,则从上一次扫描位置开始进行扫描。
15.根据权利要求11所述的装置,其特征在于,所述操作模块用于:
将所述目标文件的标识加入处理队列;
通过处理进程消费所述处理队列中的消息,以对所述目标文件执行相应操作。
16.根据权利要求15所述的装置,其特征在于,所述操作模块还用于:
检测所述目标文件的文件类型是否符合预设要求;
若符合,则将所述标识加入处理队列;若不符合,则将所述标识丢弃。
17.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以实现权利要求1至8中任一项所述的云存储系统的文件处理方法。
CN202010350702.8A 2020-04-28 2020-04-28 云存储系统的文件处理方法、装置及电子设备 Active CN111614730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010350702.8A CN111614730B (zh) 2020-04-28 2020-04-28 云存储系统的文件处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010350702.8A CN111614730B (zh) 2020-04-28 2020-04-28 云存储系统的文件处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111614730A CN111614730A (zh) 2020-09-01
CN111614730B true CN111614730B (zh) 2022-07-19

Family

ID=72196116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010350702.8A Active CN111614730B (zh) 2020-04-28 2020-04-28 云存储系统的文件处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111614730B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407488A (zh) * 2021-06-17 2021-09-17 北京金山云网络技术有限公司 文件的存储转换处理方法、装置、电子设备及存储介质
CN113407994A (zh) * 2021-06-22 2021-09-17 北京金山云网络技术有限公司 对象存储的数据保护方法、装置、设备及存储介质
CN113918100A (zh) * 2021-11-15 2022-01-11 深圳潮数软件科技有限公司 一种多协议多功能云存储网关

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542858A (zh) * 2018-10-11 2019-03-29 平安科技(深圳)有限公司 基于分布式存储系统的数据归档方法、装置、计算机设备
WO2020050656A1 (en) * 2018-08-24 2020-03-12 Samsung Electronics Co., Ltd. Method and device for processing file

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103501241B (zh) * 2013-09-18 2017-02-01 华为技术有限公司 垃圾文件清理方法、装置和系统
CN103631538B (zh) * 2013-12-05 2017-04-05 华为技术有限公司 冷热数据识别门限值计算方法、装置和系统
US10002137B2 (en) * 2014-02-13 2018-06-19 International Business Machines Corporation Efficient data storage utilization and recycling by gradual data degradation
CN105183389A (zh) * 2015-09-15 2015-12-23 北京金山安全软件有限公司 一种数据分级管理方法、装置及电子设备
CN106649406B (zh) * 2015-11-04 2020-04-28 华为技术有限公司 一种自适应存储文件的方法和装置
CN105630418A (zh) * 2015-12-24 2016-06-01 曙光信息产业(北京)有限公司 一种数据存储方法及装置
CN107870726A (zh) * 2016-09-26 2018-04-03 北京优朋普乐科技有限公司 基于冗余机制的数据存储方法和装置、服务器
DE102017203239A1 (de) * 2017-02-28 2018-08-30 Siemens Aktiengesellschaft Verfahren und Speichersystem zum Speichern von einer Vielzahl von Dateneinheiten
CN109144895B (zh) * 2017-06-15 2023-11-14 中兴通讯股份有限公司 一种数据存储方法及装置
US10409516B1 (en) * 2018-01-12 2019-09-10 EMC IP Holding Company LLC Positional indexing for a tiered data storage system
CN109947363B (zh) * 2018-12-11 2022-10-14 深圳供电局有限公司 一种分布式存储系统的数据缓存方法
CN109857737B (zh) * 2019-01-03 2024-04-16 平安科技(深圳)有限公司 一种冷热数据存储方法及装置、电子设备
CN111061689A (zh) * 2019-12-13 2020-04-24 北京金山云网络技术有限公司 用于对象存储系统的文件过期处理方法、装置及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020050656A1 (en) * 2018-08-24 2020-03-12 Samsung Electronics Co., Ltd. Method and device for processing file
CN109542858A (zh) * 2018-10-11 2019-03-29 平安科技(深圳)有限公司 基于分布式存储系统的数据归档方法、装置、计算机设备

Also Published As

Publication number Publication date
CN111614730A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN111614730B (zh) 云存储系统的文件处理方法、装置及电子设备
US11340803B2 (en) Method for configuring resources, electronic device and computer program product
US20230291722A1 (en) Information processing device, information management method, and information processing system
CN107203574B (zh) 数据管理和数据分析的聚合
CN109033313B (zh) 一种应用usn实现全盘扫描功能的方法和终端设备
CN109472540B (zh) 业务处理方法和装置
US20160352663A1 (en) Prioritization of lock allocation
US10084844B2 (en) System and method for improved user-controlled electronic file and trash management
CN112926068A (zh) 权限管理方法、管理服务器、业务服务器及可读存储介质
CN111352957A (zh) 远程字典服务优化方法及相关设备
US10402370B2 (en) Information processing method and electronic apparatus
CN110647327B (zh) 基于卡片的用户界面动态控制的方法和装置
CN114979125B (zh) 文件快速上传网盘方法、装置、终端及存储介质
CN113495870A (zh) 镜像构建的方法、装置、电子设备和存储介质
US20160306796A1 (en) Archive migration system
CN112069771B (zh) 一种用于解析pdf文件中的图片的方法及装置
CN113568803B (zh) 用于监控存储系统的方法、电子设备和计算机程序产品
CN111124365A (zh) Rpa需求收集的方法和装置
CN114063879B (zh) 用于处理操作命令的方法、电子设备和存储介质
CN112947846B (zh) 对象存储系统的批处理任务执行方法、装置及电子设备
CN114629895B (zh) 一种文件分片断点续传方法、装置、终端设备及介质
US20150012597A1 (en) Retroactive management of messages
US20170331940A1 (en) Systems and Methods to Archive and Organize Electronic Messages
US9552333B2 (en) Identification of multimedia content in paginated data using metadata
CN116701449A (zh) 数据处理的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant