CN110399095B - 一种存储空间的统计方法和装置 - Google Patents

一种存储空间的统计方法和装置 Download PDF

Info

Publication number
CN110399095B
CN110399095B CN201910507089.3A CN201910507089A CN110399095B CN 110399095 B CN110399095 B CN 110399095B CN 201910507089 A CN201910507089 A CN 201910507089A CN 110399095 B CN110399095 B CN 110399095B
Authority
CN
China
Prior art keywords
storage space
target
space value
log
target log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910507089.3A
Other languages
English (en)
Other versions
CN110399095A (zh
Inventor
刘太良
孙细妹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Wangsu Co Ltd
Original Assignee
Xiamen Wangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Wangsu Co Ltd filed Critical Xiamen Wangsu Co Ltd
Priority to CN201910507089.3A priority Critical patent/CN110399095B/zh
Publication of CN110399095A publication Critical patent/CN110399095A/zh
Application granted granted Critical
Publication of CN110399095B publication Critical patent/CN110399095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1734Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种存储空间的统计方法和装置,属于云存储技术领域。所述方法包括:存储网关接收由网盘对应的存储设备所返回的目标文件的目标响应消息,并将所述目标响应消息携带的所述目标文件的目标落盘序列号和存储空间值记录在目标日志中;统计进程取出所述目标日志,判断所述目标文件的元数据中的当前落盘序列号和所述目标日志中的所述目标落盘序列号的大小关系;如果所述当前落盘序列号大于等于所述目标落盘序列号,则所述统计进程对所述目标日志进行丢弃处理,否则所述统计进程根据所述目标日志统计所述网盘的已使用存储空间值。采用本发明,可以提高存储空间的统计准确率。

Description

一种存储空间的统计方法和装置
技术领域
本发明涉及云存储技术领域,特别涉及一种存储空间的统计方法和装置。
背景技术
随着互联网技术的飞速发展,用户可以使用网盘等云存储产品来存储文本、图片、视频等文件。用户网盘中存储的文件实际位于远端的存储设备,用户可以通过终端上运行的网盘程序,将文件上传至网盘所对应的存储设备或者对网盘中的文件进行覆盖上传等操作。
管理网盘的服务器可以使用日志(log)来记录用户对网盘的操作,并可以基于日志统计网盘的已使用存储空间值。以用户上传某文本文件为例,当上述服务器接收到来自用户终端的上传请求时,服务器可以生成一条处于Pending(待定)状态的日志。之后,服务器可以向存储设备发出一条携带有上述文本文件的落盘请求。当存储设备接收到上述落盘请求时,存储设备可以从落盘请求中提取出上述文本文件,对该文本文件进行存储,并将携带有该文本文件占用的存储空间值的响应消息发送给服务器。当接收到上述响应消息时,服务器将实时把响应消息中携带的存储空间值记录在上述日志中,并将该日志的状态更新为Complete(完成)。接着,服务器将按照每条日志状态更新为Complete的先后顺序取出上述日志,进行统计处理,即将该日志中记录的文件名称、存储空间值等信息更新到上述文本文件的元数据中,然后结合更新后的上述文本文件的元数据和统计公式,统计网盘的已使用存储空间值。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
用户可以对同一文件连续发出多个操作请求,例如,用户可以对刚上传的文件进行再次上传,即覆盖上传。这样,上述服务器可以向存储设备连续发出多个对该文件的落盘请求,进而存储设备可以连续返回多个该文件的响应消息。当发生网络波动时,极有可能出现后发出的响应消息先被服务器接收,导致服务器对后发出的响应消息所对应的日志进行了提前处理,使得服务器基于错误的顺序统计网盘的已使用存储空间值,这将得出错误的统计结果。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种存储空间的统计方法和装置。所述技术方案如下:
第一方面,提供了一种存储空间的统计方法,所述方法包括:
存储网关接收由网盘对应的存储设备所返回的目标文件的目标响应消息,并将所述目标响应消息携带的所述目标文件的目标落盘序列号和存储空间值记录在目标日志中;
统计进程取出所述目标日志,判断所述目标文件的元数据中的当前落盘序列号和所述目标日志中的所述目标落盘序列号的大小关系;
如果所述当前落盘序列号大于等于所述目标落盘序列号,则所述统计进程对所述目标日志进行丢弃处理,否则所述统计进程根据所述目标日志统计所述网盘的已使用存储空间值。
进一步的,所述如果所述当前落盘序列号大于等于所述目标落盘序列号,则所述统计进程对所述目标日志进行丢弃处理,包括:
如果所述当前落盘序列号大于所述目标落盘序列号,或者,所述当前落盘序列号等于所述目标落盘序列号且所述目标日志的处理标识为首次处理,则所述统计进程对所述目标日志进行丢弃处理。
进一步的,所述统计进程根据所述目标日志统计所述网盘的已使用存储空间值,包括:
如果所述目标日志的处理标识为首次处理,则所述统计进程根据所述目标文件的元数据更新所述目标日志,并基于更新后的所述目标日志统计所述网盘的已使用存储空间值;
如果所述目标日志的处理标识为非首次处理,则所述统计进程根据所述目标日志统计所述网盘的已使用存储空间值。
进一步的,所述统计进程根据所述目标文件的元数据更新所述目标日志,包括:
所述统计进程将所述元数据中的历史存储空间值记录在所述目标日志中,并更新所述目标日志的处理标识为非首次处理。
进一步的,所述基于更新后的所述目标日志统计所述网盘的已使用存储空间值,包括:
所述统计进程从所述目标日志中取出当前存储空间值和所述历史存储空间值,并将所述目标文件的元数据中的当前落盘序列号,更新为所述目标日志中记录的所述目标落盘序列号,将所述目标文件的元数据中的当前存储空间值和历史存储空间值,均更新为所述目标日志中的当前存储空间值;
基于取出的所述当前存储空间值和所述历史存储空间值,计算所述网盘的已使用存储空间值。
进一步的,所述统计进程根据所述目标日志统计所述网盘的已使用存储空间值,包括:
所述统计进程从所述目标日志中取出当前存储空间值和历史存储空间值,并基于取出的所述当前存储空间值和所述历史存储空间值,计算所述网盘的已使用存储空间值。
进一步的,所述基于取出的所述当前存储空间值和所述历史存储空间值,计算所述网盘的已使用存储空间值,包括:
将上一次统计的所述网盘的已使用存储空间值减去所述历史存储空间值,再加上所述当前存储空间值,得到当次统计的所述网盘的已使用存储空间值。
另一方面,提供了一种存储空间的统计装置,所述装置包括存储网关模块和统计进程模块,其中:
所述存储网关模块,用于接收由网盘对应的存储设备所返回的目标文件的目标响应消息,并将所述目标响应消息携带的所述目标文件的目标落盘序列号和存储空间值记录在目标日志中;
所述统计进程模块,用于取出所述目标日志,判断所述目标文件的元数据中的当前落盘序列号和所述目标日志中的所述目标落盘序列号的大小关系;
所述统计进程模块,还用于如果所述当前落盘序列号大于等于所述目标落盘序列号,则对所述目标日志进行丢弃处理,否则根据所述目标日志统计所述网盘的已使用存储空间值。
进一步的,所述统计进程模块还用于:
如果所述当前落盘序列号大于所述目标落盘序列号,或者,所述当前落盘序列号等于所述目标落盘序列号且所述目标日志的处理标识为首次处理,则对所述目标日志进行丢弃处理。
进一步的,所述统计进程模块还用于:
如果所述目标日志的处理标识为首次处理,则根据所述目标文件的元数据更新所述目标日志,并基于更新后的所述目标日志统计网盘的已使用存储空间值;
如果所述目标日志的处理标识为非首次处理,则根据所述目标日志统计所述网盘的已使用存储空间值。
进一步的,所述统计进程模块还用于:
将所述元数据中的历史存储空间值记录在所述目标日志中,并更新所述目标日志的处理标识为非首次处理。
进一步的,所述统计进程模块还用于:
从所述目标日志中取出当前存储空间值和所述历史存储空间值,并将所述目标文件的元数据中的当前落盘序列号,更新为所述目标日志中记录的所述目标落盘序列号,将所述目标文件的元数据中的当前存储空间值和历史存储空间值,均更新为所述目标日志中的当前存储空间值;
基于取出的所述当前存储空间值和所述历史存储空间值,计算所述网盘的已使用存储空间值。
进一步的,所述统计进程模块还用于:
从所述目标日志中取出当前存储空间值和历史存储空间值,并基于取出的所述当前存储空间值和所述历史存储空间值,计算所述网盘的已使用存储空间值。
进一步的,所述统计进程模块还用于:
将上一次统计的网盘的已使用存储空间值减去所述历史存储空间值,再加上所述当前存储空间值,得到当次统计的所述网盘的已使用存储空间值。
第三方面,提供了一种服务器,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的存储空间的统计方法。
第四方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的存储空间的统计方法。
本发明实施例提供的技术方案带来的有益效果是:
在本实施例中,通过对日志和元数据中记录的内容进行了变更,即增加落盘序列号的记录,从而可以基于元数据和待处理的日志分别记录的落盘序列号,来判断待处理的日志是否属于可丢弃的日志,即存储设备先发出但由于网络波动导致服务器后接收到的响应消息所对应的日志。如果属于可丢弃的日志,则进行丢弃处理;如果不属于可丢弃的日志,则可以对其进行统计处理。这样,当发生网络波动时,即使基于错误的顺序对网盘的已使用存储空间值进行统计,也能够得出正确的统计结果,从而可以提高存储空间的统计准确率。另外,还可以将元数据中记录的历史存储空间值记录在日志中,这样,即使发生了宕机状况,也可以从日志中取出历史存储空间值,用于统计网盘的已使用存储空间值,从而可以进一步提高存储空间的统计准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种网络场景示意图;
图2是本发明实施例提供的一种存储空间的统计方法流程图;
图3是本发明实施例提供的一种存储空间的统计方法流程图;
图4是本发明实施例提供的一种存储空间的统计装置结构示意图;
图5是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种存储空间的统计方法,该方法的执行主体可以是分布式存储系统中的具备存储管理的任意服务器,该服务器可以部署于云存储服务商管理的机房。存储空间可以是用户从云存储服务商购买的网盘容量,如10GB或20GB。上述服务器的存储网关(RADOS Gateway,RGW)可以从用户终端接收到操作请求,如上传文件、覆盖上传等操作请求,然后可以生成相应的落盘命令,并将落盘命令发送给分布式存储系统中的存储设备,进而存储设备可以按照落盘命令进行落盘处理,并可以将携带有本次落盘后生成的存储空间值的响应消息返回给存储网关。另外,服务器还运行有统计进程,该统计进程可以通过日志对用户的操作进行记录,并可以基于日志统计网盘的已使用存储空间值。需要说明的是,上述存储网关和统计进程可以部署在一台服务器上,也可以分别部署在不同的服务器上。以上述存储网关和统计进程部署在一台服务器为例,相应的网络场景图可以如图1所示。
上述服务器可以包括处理器、存储器、收发器,处理器可以用于进行下述流程中对于存储空间的统计处理,存储器可以用于存储处理过程中需要的数据以及产生的数据,收发器可以用于接收和发送处理过程中的相关数据。
下面将结合具体实施方式,对图2所示的一种存储空间的统计方法的处理流程进行详细的说明,内容可以如下:
步骤201,存储网关接收由网盘对应的存储设备所返回的目标文件的目标响应消息,并将所述目标响应消息携带的所述目标文件的目标落盘序列号和存储空间值记录在目标日志中。
在实施中,上述存储设备在接收到存储网关发出的对文件的落盘请求后,可以从该落盘请求中提取出上述文件,再对该文件进行落盘存储,并可以返回响应消息给存储网关。需要说明的是,在上述响应消息中除携带有上述文件占用的存储空间值,还携带有存储设备将该文件写入磁盘的顺序标识epoch,即落盘序列号,由于该落盘序列号按照写入顺序进行递增,因此落盘序列号的大小顺序可以表示文件写入磁盘的先后顺序。这样,存储网关在发出对某文件(可称为目标文件)的落盘请求后,可以接收到存储设备返回的响应消息(可称为目标响应消息),进而,存储网关可以将包括目标文件的落盘序列号(可称为目标落盘序列号)在内的相关信息,记录在与目标响应消息对应的日志(可称为目标日志)中,并在记录完成后将目标日志的状态更新为Complete。值得一提的是,在原有方案的日志中并没有对落盘序列号进行记录,故而可以基于日志中新增加的落盘序列号,进行后续的判断处理。
步骤202,统计进程取出目标日志,判断目标文件的元数据中的当前落盘序列号和目标日志中的目标落盘序列号的大小关系。
在实施中,与上述在日志中记录落盘序列号的处理相对应,可以在将日志中记录的文件名称、存储空间值等信息更新到文件的元数据的同时,将日志中的落盘序列号也记录到文件的元数据中,从而可以基于元数据中记录的落盘序列号,识别出元数据中的信息来源于哪个日志,用于后续判断是否处理该日志。这样,统计进程在按照日志状态更新为Complete的先后顺序从数据库中取出目标日志后,可以基于目标文件的元数据中的当前落盘序列号和目标日志中的目标落盘序列号的大小关系,判断目标日志对应的响应消息,是否比元数据中信息来源的日志所对应的响应消息先由存储设备发出。
步骤203,如果当前落盘序列号大于等于目标落盘序列号,则统计进程对目标日志进行丢弃处理,否则统计进程根据目标日志统计网盘的已使用存储空间值。
在实施中,对于同一文件的多个操作请求,只有最后一个操作请求是统计有效的。例如,假设用户对某文本文件进行了三次覆盖上传,且没有发生网络波动,则统计进程将按照三次操作请求的先后顺序依次进行统计处理。然而对于最终的统计结果而言,由于前两次操作请求的统计结果都处于中间状态,只有第三次操作请求的统计结果为最终状态,因此统计进程将最终按照第三次操作请求生成的文本文件的存储空间值,对网盘的已使用存储空间值进行统计。这样,当发生网络波动时,如果统计进程先接收到某文件靠后的操作请求对应的响应消息,则统计进程将对先接收到的上述响应消息对应的日志进行统计;如果统计进程后续又接收到该文件靠前的操作请求所对应的响应消息,则统计进程可以对该响应消息对应的日志进行丢弃处理。具体的,如果统计进程判断出元数据中的当前落盘序列号大于等于目标日志中的目标落盘序列号,则表明目标日志对应的响应消息,比元数据中信息来源的日志所对应的响应消息,先由存储设备发出,但是发生了滞后接收,属于可以丢弃的日志。
可选的,在突然宕机等的故障情况下,上述步骤203的丢弃处理可以如下:如果当前落盘序列号大于目标落盘序列号,或者,当前落盘序列号等于目标落盘序列号且目标日志的处理标识为首次处理,则统计进程对目标日志进行丢弃处理。
在实施中,还存在一种重新统计网盘的已使用存储空间值的特殊处理,这是由统计进程在将统计出的网盘的已使用存储空间值进行固化处理之前,例如将统计出的网盘的已使用存储空间值total_size写入bucket(存储桶)的header之前,服务器突然出现宕机导致固化失败所引发的处理。这时,统计进程可以基于已经处理的日志重新统计网盘的已使用存储空间值。考虑到上述特殊处理,对于元数据中的当前落盘序列号等于目标日志中的目标磁盘序列的情况,可以基于目标日志的处理标识,进一步判断目标日志是否为首次处理,以确定是否对目标日志进行丢弃处理。具体的,处理标识可以分为两种,一种是首次处理,一种是非首次处理,可以用log_version来作为处理标识。例如,当log_version=-1时,表示首次处理,当log_version≠-1时,表示非首次处理。统计进程在处理完日志后,可以将日志的处理标识修改为非首次处理。这样,在目标日志的当前落盘序列号等于目标落盘序列号的前提下,如果目标日志的处理标识为首次处理,则表明目标日志为故障日志,可以对其进行丢弃处理;如果目标日志的处理标识为非首次处理,则表明进行了上述特殊处理,可以再次对目标日志进行统计处理,即根据目标日志统计网盘的已使用存储空间值。
需要说明的是,由于只有在将统计出的网盘的已使用存储空间值固化完成后,才会对完成统计处理的日志进行删除,因此,当固化失败时,已完成统计处理的日志仍然存在,统计进程可以基于已完成统计处理的日志重新统计网盘的已使用存储空间值。
可选的,上述步骤203中的根据目标日志统计网盘的已使用存储空间值的处理,具体可以如下:如果目标日志的处理标识为首次处理,则统计进程根据目标文件的元数据更新目标日志,并基于更新后的目标日志统计网盘的已使用存储空间值;如果目标日志的处理标识为非首次处理,则统计进程根据目标日志统计网盘的已使用存储空间值。
在实施中,如果统计进程判断出元数据中的当前落盘序列号小于目标日志中的目标落盘序列号,或者,元数据中的当前落盘序列号等于目标日志中的目标落盘序列号且目标日志的处理标识为非首次处理,则统计进程可以根据目标日志统计网盘的已使用存储空间值。具体的,统计进程可以根据目标日志中的处理标识,选择相应的处理策略。如果元数据中的当前落盘序列号小于目标日志中的目标落盘序列号,则目标日志中的处理标识必为首次处理,这时,统计进程可以先根据目标文件的元数据对目标日志进行更新,然后基于更新后的目标日志统计网盘的已使用存储空间值。如果元数据中的当前落盘序列号等于目标日志中的目标落盘序列号,且目标日志的处理标识为非首次处理,则表明统计进程已经根据目标文件的元数据对目标日志进行了更新,因此统计进程可以直接根据目标日志统计网盘的已使用存储空间值。
可选的,上述统计进程根据目标文件的元数据更新目标日志的处理可以如下:统计进程将元数据中的历史存储空间值记录在目标日志中,并更新目标日志的处理标识为非首次处理。
在实施中,文件的元数据中记录有上次操作得出的存储空间值,即历史存储空间值。在原有方案中,统计进程是根据元数据中的历史存储空间值和本次操作得出的当前存储空间值,来统计网盘的已使用存储空间值,具体处理可以如下:首先,统计进程将目标文件的元数据中的当前存储空间值,更新为目标日志中的当前存储空间值;之后,统计进程从更新后的元数据中取出当前存储空间值和历史存储空间值,然后将元数据中的历史存储空间值更新为当前存储空间值,用于下次统计处理;最后,统计进程基于从元数据中取出的当前存储空间值和历史存储空间值,计算网盘的已使用存储空间值已使用存储空间值。容易理解的是,如果进行上述宕机后的特殊处理,则当重新统计网盘的已使用存储空间值时,由于元数据中的历史存储空间值和当前存储空间值已经在宕机前进行了更新,即历史存储空间值和当前存储空间值为相同值,因此当基于相同的当前存储空间值和历史存储空间值计算网盘的已使用存储空间值时,将会得出存储设备对文件进行了落盘操作,但是计算出的网盘的已使用存储空间值没有发生变化的结果,从而出现统计错误。
为了避免上述统计错误,可以将元数据中的历史存储空间值记录到目标日志中,然后基于目标日志来统计网盘的已使用存储空间值。这样,即使出现上述宕机后的特殊处理,也可以从目标日志中取出正确的历史存储空间值。另外,统计进程在将元数据中的历史存储空间值记录在目标日志中后,还可以将目标日志的处理标识更新为非首次处理,以避免出现误丢弃的情况。
可选的,上述统计进程基于更新后的目标日志统计网盘的已使用存储空间值的处理可以如下:统计进程从目标日志中取出当前存储空间值和历史存储空间值,并将目标文件的元数据中的当前落盘序列号,更新为目标日志中记录的目标落盘序列号,将目标文件的元数据中的当前存储空间值和历史存储空间值,均更新为目标日志中的当前存储空间值;统计进程基于取出的当前存储空间值和历史存储空间值,计算网盘的已使用存储空间值。
在实施中,统计进程首先可以从目标日志中取出当前存储空间值和历史存储空间值,并可以通过本地变量的方式对取出的当前存储空间值和历史存储空间值进行记录,例如,可以用本地变量log_size记录当前存储空间值,用本地变量account_size记录历史存储空间值。之后,统计进程可以对目标文件的元数据进行更新,用于后续的判断和统计处理,即:统计进程可以将目标文件的元数据中的当前落盘序列号,更新为目标日志中记录的目标落盘序列号,将目标文件的元数据中的当前存储空间值和历史存储空间值,均更新为目标日志中的当前存储空间值。待目标文件的元数据更新完后,统计进程可以基于取出的当前存储空间值和历史存储空间值,计算网盘的已使用存储空间值。
具体的,统计进程可以取出上一次统计的网盘的已使用存储空间值,然后将上一次统计的网盘的已使用存储空间值减去历史存储空间值,再加上当前存储空间值,从而可以得到当次统计的网盘的已使用存储空间值。相应的统计公式可以如下:TOTAL_SIZE=total_size-account_size+log_size,其中,TOTAL_SIZE可以表示当次统计的已使用存储空间值,total_size可以表示上一次统计的已使用存储空间值,account_size可以表示历史存储空间值,log_size可以表示当前存储空间值。
可选的,如果目标日志未被丢弃处理,且处理标识为非首次处理,则统计进程可以根据目标日志统计网盘的已使用存储空间值,相应的处理可以如下:统计进程从目标日志中取出当前存储空间值和历史存储空间值,并基于取出的当前存储空间值和历史存储空间值,计算网盘的已使用存储空间值。
在实施中,当目标日志未被丢弃处理,且处理标识为非首次处理时,表明统计进程已经对目标日志进行了上述根据目标文件的元数据更新目标日志的处理,这时,目标日志中已经存在有历史存储空间值,故而,统计进程可以直接从目标日志中取出当前存储空间值和历史存储空间值,然后可以基于取出的当前存储空间值和历史存储空间值,计算网盘的已使用存储空间值,相应的计算可以参照上述统计公式,这里不再赘述。
上述对存储空间的统计处理可以参考图3。
在本实施例中,通过对日志和元数据中记录的内容进行了变更,即增加落盘序列号的记录,从而可以基于元数据和待处理的日志分别记录的落盘序列号,来判断待处理的日志是否属于可丢弃的日志,即存储设备先发出但由于网络波动导致服务器后接收到的响应消息所对应的日志。如果属于可丢弃的日志,则进行丢弃处理;如果不属于可丢弃的日志,则可以对其进行统计处理。这样,当发生网络波动时,即使基于错误的顺序对网盘的已使用存储空间值进行统计,也能够得出正确的统计结果,从而可以提高存储空间的统计准确率。另外,还可以将元数据中记录的历史存储空间值记录在日志中,这样,即使发生了宕机状况,也可以从日志中取出历史存储空间值,用于统计网盘的已使用存储空间值,从而可以进一步提高存储空间的统计准确率。
基于相同的技术构思,本发明实施例还提供了一种存储空间的统计装置,如图4所示,所述装置包括存储网关模块401和统计进程模块402,其中:
所述存储网关模块401,用于接收由网盘对应的存储设备所返回的目标文件的目标响应消息,并将所述目标响应消息携带的所述目标文件的目标落盘序列号和存储空间值记录在目标日志中;
所述统计进程模块402,用于取出所述目标日志,判断所述目标文件的元数据中的当前落盘序列号和所述目标日志中的所述目标落盘序列号的大小关系;
所述统计进程模块402,还用于如果所述当前落盘序列号大于等于所述目标落盘序列号,则对所述目标日志进行丢弃处理,否则根据所述目标日志统计所述网盘的已使用存储空间值。
可选的,所述统计进程模块402还用于:
如果所述当前落盘序列号大于所述目标落盘序列号,或者,所述当前落盘序列号等于所述目标落盘序列号且所述目标日志的处理标识为首次处理,则对所述目标日志进行丢弃处理。
可选的,所述统计进程模块402还用于:
如果所述目标日志的处理标识为首次处理,则根据所述目标文件的元数据更新所述目标日志,并基于更新后的所述目标日志统计网盘的已使用存储空间值;
如果所述目标日志的处理标识为非首次处理,则根据所述目标日志统计所述网盘的已使用存储空间值。
可选的,所述统计进程模块402还用于:
将所述元数据中的历史存储空间值记录在所述目标日志中,并更新所述目标日志的处理标识为非首次处理。
可选的,所述统计进程模块402还用于:
从所述目标日志中取出当前存储空间值和所述历史存储空间值,并将所述目标文件的元数据中的当前落盘序列号,更新为所述目标日志中记录的所述目标落盘序列号,将所述目标文件的元数据中的当前存储空间值和历史存储空间值,均更新为所述目标日志中的当前存储空间值;
基于取出的所述当前存储空间值和所述历史存储空间值,计算所述网盘的已使用存储空间值。
可选的,所述统计进程模块402还用于:
从所述目标日志中取出当前存储空间值和历史存储空间值,并基于取出的所述当前存储空间值和所述历史存储空间值,计算所述网盘的已使用存储空间值。
可选的,所述统计进程模块402还用于:
将上一次统计的网盘的已使用存储空间值减去所述历史存储空间值,再加上所述当前存储空间值,得到当次统计的所述网盘的已使用存储空间值。
需要说明的是:上述实施例提供的存储空间的统计装置在统计网盘的已使用存储空间值时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的存储空间的统计装置与存储空间的统计方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图5是本发明实施例提供的服务器的结构示意图。该服务器500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器522(例如,一个或一个以上处理器)和存储器532,一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储服务器)。其中,存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器522可以设置为与存储介质530通信,在服务器500上执行存储介质530中的一系列指令操作。
服务器500还可以包括一个或一个以上电源526,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口558,一个或一个以上键盘556,和/或,一个或一个以上操作系统541,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
服务器500可以包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行上述存储空间的统计指令。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种存储空间的统计方法,其特征在于,所述方法包括:
存储网关接收由网盘对应的存储设备所返回的目标文件的目标响应消息,并将所述目标响应消息携带的所述目标文件的目标落盘序列号和存储空间值记录在目标日志中;
统计进程取出所述目标日志,判断所述目标文件的元数据中的当前落盘序列号和所述目标日志中的所述目标落盘序列号的大小关系;
如果所述当前落盘序列号大于所述目标落盘序列号,或者,所述当前落盘序列号等于所述目标落盘序列号且所述目标日志的处理标识为首次处理,则所述统计进程对所述目标日志进行丢弃处理,否则所述统计进程根据所述目标日志统计所述网盘的已使用存储空间值;
其中,所述统计进程根据所述目标日志统计所述网盘的已使用存储空间值,包括:
如果所述目标日志的处理标识为首次处理,则所述统计进程根据所述目标文件的元数据更新所述目标日志,并基于更新后的所述目标日志统计所述网盘的已使用存储空间值;
如果所述目标日志的处理标识为非首次处理,则所述统计进程根据所述目标日志统计所述网盘的已使用存储空间值。
2.根据权利要求1所述的方法,其特征在于,所述统计进程根据所述目标文件的元数据更新所述目标日志,包括:
所述统计进程将所述元数据中的历史存储空间值记录在所述目标日志中,并更新所述目标日志的处理标识为非首次处理。
3.根据权利要求2所述的方法,其特征在于,所述基于更新后的所述目标日志统计所述网盘的已使用存储空间值,包括:
所述统计进程从所述目标日志中取出当前存储空间值和所述历史存储空间值,并将所述目标文件的元数据中的当前落盘序列号,更新为所述目标日志中记录的所述目标落盘序列号,将所述目标文件的元数据中的当前存储空间值和历史存储空间值,均更新为所述目标日志中的当前存储空间值;
基于取出的所述当前存储空间值和所述历史存储空间值,计算所述网盘的已使用存储空间值。
4.根据权利要求1所述的方法,其特征在于,所述统计进程根据所述目标日志统计所述网盘的已使用存储空间值,包括:
所述统计进程从所述目标日志中取出当前存储空间值和历史存储空间值,并基于取出的所述当前存储空间值和所述历史存储空间值,计算所述网盘的已使用存储空间值。
5.根据权利要求3或4任一项所述的方法,其特征在于,所述基于取出的所述当前存储空间值和所述历史存储空间值,计算所述网盘的已使用存储空间值,包括:
将上一次统计的所述网盘的已使用存储空间值减去所述历史存储空间值,再加上所述当前存储空间值,得到当次统计的所述网盘的已使用存储空间值。
6.一种存储空间的统计装置,其特征在于,所述装置包括存储网关模块和统计进程模块,其中:
所述存储网关模块,用于接收由网盘对应的存储设备所返回的目标文件的目标响应消息,并将所述目标响应消息携带的所述目标文件的目标落盘序列号和存储空间值记录在目标日志中;
所述统计进程模块,用于取出所述目标日志,判断所述目标文件的元数据中的当前落盘序列号和所述目标日志中的所述目标落盘序列号的大小关系;
所述统计进程模块,还用于如果所述当前落盘序列号大于所述目标落盘序列号,或者,所述当前落盘序列号等于所述目标落盘序列号且所述目标日志的处理标识为首次处理,则对所述目标日志进行丢弃处理,否则根据所述目标日志统计所述网盘的已使用存储空间值;
其中,所述统计进程模块根据所述目标日志统计所述网盘的已使用存储空间值时:
如果所述目标日志的处理标识为首次处理,则根据所述目标文件的元数据更新所述目标日志,并基于更新后的所述目标日志统计网盘的已使用存储空间值;
如果所述目标日志的处理标识为非首次处理,则根据所述目标日志统计所述网盘的已使用存储空间值。
7.根据权利要求6所述的装置,其特征在于,所述统计进程模块还用于:
将所述元数据中的历史存储空间值记录在所述目标日志中,并更新所述目标日志的处理标识为非首次处理。
8.根据权利要求7所述的装置,其特征在于,所述统计进程模块还用于:
从所述目标日志中取出当前存储空间值和所述历史存储空间值,并将所述目标文件的元数据中的当前落盘序列号,更新为所述目标日志中记录的所述目标落盘序列号,将所述目标文件的元数据中的当前存储空间值和历史存储空间值,均更新为所述目标日志中的当前存储空间值;
基于取出的所述当前存储空间值和所述历史存储空间值,计算所述网盘的已使用存储空间值。
9.根据权利要求6所述的装置,其特征在于,所述统计进程模块还用于:
从所述目标日志中取出当前存储空间值和历史存储空间值,并基于取出的所述当前存储空间值和所述历史存储空间值,计算所述网盘的已使用存储空间值。
10.根据权利要求8或9任一项所述的装置,其特征在于,所述统计进程模块还用于:
将上一次统计的网盘的已使用存储空间值减去所述历史存储空间值,再加上所述当前存储空间值,得到当次统计的所述网盘的已使用存储空间值。
11.一种服务器,其特征在于,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一所述的存储空间的统计方法。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一所述的存储空间的统计方法。
CN201910507089.3A 2019-06-12 2019-06-12 一种存储空间的统计方法和装置 Active CN110399095B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910507089.3A CN110399095B (zh) 2019-06-12 2019-06-12 一种存储空间的统计方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910507089.3A CN110399095B (zh) 2019-06-12 2019-06-12 一种存储空间的统计方法和装置

Publications (2)

Publication Number Publication Date
CN110399095A CN110399095A (zh) 2019-11-01
CN110399095B true CN110399095B (zh) 2022-12-02

Family

ID=68324151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910507089.3A Active CN110399095B (zh) 2019-06-12 2019-06-12 一种存储空间的统计方法和装置

Country Status (1)

Country Link
CN (1) CN110399095B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407503A (zh) * 2020-03-16 2021-09-17 北京金山云网络技术有限公司 一种日志空间管理方法、装置、电子设备及介质
CN111966295B (zh) * 2020-08-18 2023-12-29 浪潮商用机器有限公司 一种基于ceph的多journal记录方法、装置和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751394A (zh) * 2008-12-16 2010-06-23 青岛海信传媒网络技术有限公司 数据同步方法和数据同步系统
CN101751307A (zh) * 2008-12-12 2010-06-23 比兹肯解决方法有限公司 数据存储系统、方法以及数据存储和备份系统
CN103164511A (zh) * 2013-02-21 2013-06-19 烽火通信科技股份有限公司 一种存储事件日志自动过滤重复抖动数据的方法
CN105988712A (zh) * 2015-01-27 2016-10-05 珠海金山办公软件有限公司 一种网盘空间计算方法及装置
CN106201918A (zh) * 2016-07-14 2016-12-07 合肥易立迅科技有限公司 一种基于大数据量和大规模缓存快速释放的方法和系统
CN107688584A (zh) * 2016-08-05 2018-02-13 华为技术有限公司 一种容灾切换的方法、节点及系统
CN108345617A (zh) * 2017-01-24 2018-07-31 阿里巴巴集团控股有限公司 一种数据同步方法、装置以及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11829333B2 (en) * 2015-05-08 2023-11-28 Chicago Mercantile Exchange Inc. Thread safe lock-free concurrent write operations for use with multi-threaded in-line logging

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751307A (zh) * 2008-12-12 2010-06-23 比兹肯解决方法有限公司 数据存储系统、方法以及数据存储和备份系统
CN101751394A (zh) * 2008-12-16 2010-06-23 青岛海信传媒网络技术有限公司 数据同步方法和数据同步系统
CN103164511A (zh) * 2013-02-21 2013-06-19 烽火通信科技股份有限公司 一种存储事件日志自动过滤重复抖动数据的方法
CN105988712A (zh) * 2015-01-27 2016-10-05 珠海金山办公软件有限公司 一种网盘空间计算方法及装置
CN106201918A (zh) * 2016-07-14 2016-12-07 合肥易立迅科技有限公司 一种基于大数据量和大规模缓存快速释放的方法和系统
CN107688584A (zh) * 2016-08-05 2018-02-13 华为技术有限公司 一种容灾切换的方法、节点及系统
CN108345617A (zh) * 2017-01-24 2018-07-31 阿里巴巴集团控股有限公司 一种数据同步方法、装置以及电子设备

Also Published As

Publication number Publication date
CN110399095A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
JP6949045B2 (ja) 分散クラスタ型訓練方法及び装置
US10235065B1 (en) Datasheet replication in a cloud computing environment
US9354961B2 (en) Method and system for supporting event root cause analysis
CN101277272B (zh) 一种海量广播数据入库的实现方法
US10296435B2 (en) Storage of mass data for monitoring
EP3816783A1 (en) Method and device for data migration
CN103136243A (zh) 基于云存储的文件系统去重方法及装置
CN110399095B (zh) 一种存储空间的统计方法和装置
CN111447248A (zh) 一种文件传输的方法及装置
CN110750592A (zh) 数据同步的方法、装置和终端设备
CN111273870B (zh) 云存储系统间海量数据迭代迁移方法、设备及存储介质
CN107566480B (zh) 移动终端应用的用户活动信息采集方法及装置、存储介质
CN107040576A (zh) 信息推送方法及装置、通讯系统
US11012955B2 (en) Synchronization of host and client log timestamps
CN103701907A (zh) 服务器中的数据续传的处理方法及系统
US20230252029A1 (en) On-board data storage method and system
US20210216508A1 (en) Fault tolerant parallel journaling for file systems
CN111078418B (zh) 操作同步方法、装置、电子设备及计算机可读存储介质
CN104850431A (zh) 基于fota升级的稳定处理方法和装置
US10452285B2 (en) Storage system based host computer monitoring
CN115756955A (zh) 一种数据备份、数据恢复的方法、装置及计算机设备
CN112181662B (zh) 任务调度方法、装置、电子设备及存储介质
CN114003612A (zh) 针对数据库异常状况的处理方法及处理系统
US10819622B2 (en) Batch checkpointing for inter-stream messaging system
CN113342748A (zh) 日志数据处理方法和装置、分布式计算系统以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant