CN110674190A - 文件系统任务的统计方法、装置和服务器 - Google Patents

文件系统任务的统计方法、装置和服务器 Download PDF

Info

Publication number
CN110674190A
CN110674190A CN201910931811.6A CN201910931811A CN110674190A CN 110674190 A CN110674190 A CN 110674190A CN 201910931811 A CN201910931811 A CN 201910931811A CN 110674190 A CN110674190 A CN 110674190A
Authority
CN
China
Prior art keywords
statistical
file system
capacity
target file
system task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910931811.6A
Other languages
English (en)
Other versions
CN110674190B (zh
Inventor
蔡志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201910931811.6A priority Critical patent/CN110674190B/zh
Publication of CN110674190A publication Critical patent/CN110674190A/zh
Application granted granted Critical
Publication of CN110674190B publication Critical patent/CN110674190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

本发明提供了一种文件系统任务的统计方法、装置和服务器,其中,该方法包括:从容量信息列表中获取目标文件系统任务的容量数据;根据该目标文件系统任务的容量数据,确定与该目标文件系统任务的统计方式对应的各个统计单位的容量值;根据各个统计单位对应的容量值和预设计算体系的计算信息确定目标文件系统任务的统计值。本发明通过文件系统的容量数据,得到不同统计单位对应的容量值,从而可采用多种统计方式计算文件系统的任务统计值,提高了统计的灵活性和可扩展性。

Description

文件系统任务的统计方法、装置和服务器
技术领域
本发明涉及数据处理技术领域,尤其是涉及一种文件系统任务的统计方法、装置和服务器。
背景技术
相关技术中,NAS文件系统任务的统计方法中,通常需要设定一个定时任务,并在定时任务中每天启动一个计算任务,通过该计算任务计算NAS文件系统的日峰值数据,并通过该日峰值数据计算NAS文件系统任务的使用金额,但该对用户的收费偏多,且该统计粒度偏粗,使得统计的灵活性和扩展性较差。
发明内容
本发明的目的在于提供一种文件系统任务的统计方法、装置、服务器和机器可读存储介质,以提高积分的灵活性和扩展性。
第一方面,本发明实施例提供一种文件系统任务的统计方法,该方法包括:从容量信息列表中获取目标文件系统任务的容量数据;其中,该容量数据为按指定分钟时长从目标文件系统任务中获取;根据该目标文件系统任务的容量数据,确定与目标文件系统任务的统计方式对应的各个统计单位的容量值;该统计方式包括:以日为统计单位的统计方式、以小时为统计单位的统计方式或以分钟为统计单位的统计方式;根据各个统计单位的容量值和预设计算体系的计算信息,确定目标文件系统任务的统计值。
在本发明较佳的实施例中,上述从容量信息列表中获取目标文件系统任务的容量数据的步骤,包括:接收上述目标文件系统任务的统计时间段;从上述容量信息列表中获取目标文件系统任务对应的统计时间段的容量数据。
在本发明较佳的实施例中,上述根据目标文件系统任务的容量数据,确定与目标文件系统任务的统计方式对应的各个统计单位的容量值的步骤包括:获取上述目标文件系统任务的统计方式;按照获取的统计方式对应的统计单位划分目标文件系统任务的容量数据;基于划分后的各个统计单位内的容量数据,确定各个统计单位的容量值。
在本发明较佳的实施例中,上述基于划分后的各个统计单位内的容量数据,确定各个统计单位的容量值的步骤包括以下之一:将各个统计单位内的容量数据中的容量峰值,确定为各个所述统计单位的容量值;将各个统计单位内的容量数据的容量均值,确定为各个统计单位的容量值;将各个统计单位内的容量数据中的中间时间点的容量值,确定为各个统计单位的容量值。
在本发明较佳的实施例中,上述预设计算体系的计算信息包括:每种统计方式对应的统计单位,以及该统计单位对应的统计参数。
在本发明较佳的实施例中,上述根据各个统计单位的容量值和预设计算体系的计算信息计算目标文件系统任务的统计值的步骤,包括:根据各个统计单位的容量值与统计单位对应的统计参数,得到目标文件系统任务的统计值。
在本发明较佳的实施例中,上述从容量信息列表中获取目标文件系统任务的容量数据的步骤之前,上述方法还包括:根据目标文件系统的识别码,从预设数据库中获取目标文件系统对应的容量信息列表。
在本发明较佳的实施例中,上述文件系统为NAS文件系统。
第二方面,本发明实施例提供一种文件系统任务的统计装置,该装置包括:数据获取模块,用于从容量信息列表中获取目标文件系统任务的容量数据;其中,该容量数据为按指定分钟时长从目标文件系统任务中获取;容量确定模块,用于根据目标文件系统任务的容量数据,确定与目标文件系统任务的统计方式对应的各个统计单位的容量值;该统计方式包括:以日为统计单位的统计方式、以小时为统计单位的统计方式或以分钟为统计单位的统计方式;计算模块,用于根据各个统计单位的容量值和预设计算体系的计算信息计算目标文件系统任务的统计值。
在本发明较佳的实施例中,上述数据获取模块,用于:接收目标文件系统任务的统计时间段;从容量信息列表中获取目标文件系统任务对应统计时间段的容量数据。
在本发明较佳的实施例中,上述容量确定模块,用于:获取目标文件系统任务的统计方式;按照获取的统计方式对应的统计单位划分目标文件系统任务的容量数据;基于划分后的各个统计单位内的容量数据,确定各个统计单位的容量值。
第三方面,本发明实施例提供一种服务器,包括处理器和存储器,该存储器存储有能够被处理器执行的机器可执行指令,该处理器执行机器可执行指令以实现上述文件系统任务的统计方法。
第四方面,本发明实施例提供一种机器可读存储介质,该机器可读存储介质存储有机器可执行指令,该机器可执行指令在被处理器调用和执行时,该机器可执行指令促使处理器实现上述文件系统任务的统计方法。
本发明提供的一种文件系统任务的统计方法、装置和服务器,首先从容量信息列表中获取目标文件系统任务的容量数据,然后根据目标文件系统任务的容量数据,确定与该目标文件系统任务的统计方式对应的各个统计单位的容量值,再根据各个统计单位对应的容量值和预设计算体系的计算信息确定目标文件系统任务的统计值。本发明通过文件系统的容量数据,得到不同统计单位对应的容量值,从而可采用多种统计方式计算文件系统任务的统计值,提高了统计方式的灵活性和可扩展性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种文件系统任务的统计方法的流程图;
图2为本发明实施例提供的另一种文件系统任务的统计方法的流程图;
图3为本发明实施例提供的另一种文件系统任务的统计方法的流程图;
图4为本发明实施例提供的另一种文件系统任务的统计方法的流程图;
图5为本发明实施例提供的一种文件系统任务的统计装置的结构示意图;
图6为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
相关技术中,NAS(Network Attached Storage,网络附属存储)文件系统的计费模式通常为按日峰值计费,该日峰值通常为获取单一文件系统在某一天的日峰值数据,将该日峰值数据通过相应的计算方法,可以计算得到该NAS文件系统的使用费用。为了计算获取单一文件系统的某一天的日峰值数据,通常需要设定一个定时任务,在定时任务中,每天启动一个计算任务,在单次的计算任务中,计算当天的日峰值数据。但是这种采用日峰值计费的方式计算粒度偏粗,按照该方式计费对用户的收费偏多,且该计费方式的灵活性和扩展性较差。基于此,本发明实施例提供一种文件系统任务的统计方法、装置和服务器,该技术可以应用于各种文件系统的任务统计场景中,尤其是NAS文件系统使用量的计费场景中。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种文件系统任务的统计方法进行详细介绍,如图1所示,该方法具体包括如下步骤:
步骤S102,从容量信息列表中获取目标文件系统任务的容量数据;其中,该容量数据为按指定分钟时长从目标文件系统任务中获取。
上述容量数据通常为按指定分钟时长从文件系统中获取的容量值,该指定分钟时长可以是一分钟、几分钟或者十几分钟等,也即是该容量数据通常为分钟级的容量数据,该容量值通常为当前时刻使用的文件系统的存储量。该文件系统通常是操作系统用于明确存储设备(例如,磁盘、固态硬盘等)或分区上的文件的方法和数据结构;文件系统通常可以为用户建立文件,存入、读出、修改、转储文件,控制文件的存取,当用户不再使用时撤销文件等。文件系统通常为多个;其中,目标文件系统为根据计算需求,从多个文件系统中选择的文件系统。
上述容量信息列表可以是单行数据表格,也可以是多行数据表格,该容量信息列表中不仅包含各个文件系统任务对应的分钟级的容量数据,还包括各个文件系统对应的识别码和可用空间、用户识别码、数据存储的类型等数据;通常可以根据文件系统的识别码和用户识别码获取相应的文件系统对应的容量数据。
步骤S104,根据上述目标文件系统任务的容量数据,确定与该目标文件系统任务的统计方式对应的各个统计单位的容量值;该统计方式包括:以日为统计单位的统计方式、以小时为统计单位的统计方式或以分钟为统计单位的统计方式。
上述统计方式通常保存在文件系统的任务中,每个任务通常有一种统计方式,该统计方式可以是以日为统计单位的统计方式、以小时为统计单位的统计方式或以分钟为统计单位的统计方式。当以日为统计单位时,任务的统计周期可以是一日、几日、几周甚至是一个月;当以小时为统计单位时,任务的统计周期可以是一小时、几小时等;当以分钟为统计单位时,任务的统计周期可以是一分钟、几分钟等。
通常可以根据统计周期,计算统计单位对应的容量值。例如,以1小时为统计周期为例,该统计单位为小时,可以从容量信息列表中得到某一小时内的60个分钟级的容量数据,计算60个分钟级的容量数据中容量的最大值,确定以小时为统计单位的容量值。
步骤S106,根据各个统计单位的容量值和预设计算体系的计算信息,确定目标文件系统任务的统计值。
上述预设计算体系也称为计算结构,它可以是任务、服务和计算相互关系的有机整体。该计算体系中保存有各个统计单位对应的计算信息,通常,可以根据任务中统计方式对应的统计单位,从预设计算系统中查询计算信息。该预设计算体系通常保存在数据库中,通过查询计算体系的API(Application Programming Interface,应用程序接口)可以获得相应的计算信息。
上述统计值也可以成为费用,也即是每个任务使用的容量值产生的费用。在计算费用时,上述预设计算体系通常为价格体系,该价格体系中保存有价格信息(相当于上述计算信息),可以将价格信息与相应的容量值相乘或者加权相乘等,得到文件系统任务的费用。
本发明实施例提供的一种文件系统任务的统计方法,首先从容量信息列表中获取目标文件系统任务的容量数据,然后根据目标文件系统任务的容量数据,确定与该目标文件系统任务的统计方式对应的各个统计单位的容量值,再根据各个统计单位对应的容量值和预设计算体系的计算信息计算目标文件系统任务的统计值。本发明通过文件系统的容量数据,得到不同统计单位对应的容量值,从而可采用多种统计方式计算文件系统任务的统计值,提高了统计方式的灵活性和可扩展性。
本发明实施例还提供另一种文件系统任务的统计方法,该方法在上述实施例所述方法的基础上实现;该方法重点描述确定与目标文件系统任务的统计方式对应的统计单位的容量值的具体步骤;如图2所示,该方法包括如下步骤:
步骤S202,接收目标文件系统任务的统计时间段。
该统计时间段通常与统计方式有关。例如,当统计方式为按天统计时,该统计时间段为上一天或者当前天;当统计方式为按小时统计时,该统计时间段为当前一小时;当统计方式为按分钟统计时,该统计时间段为当前分钟。
步骤S204,从容量信息列表中获取目标文件系统任务对应的统计时间段内的容量数据。
通常可以根据统计时间段,从容量信息列表中获取相应的分钟级的容量数据。例如,当需要获取某天的分钟级的容量数据时,可以根据日期从容量信息列表中查找该天的分钟级的容量数据,并提取出该天的分钟级的容量数据。
步骤S206,获取上述目标文件系统任务的统计方式。
步骤S208,按照获取的统计方式对应的统计单位划分目标文件系统任务的分钟级容量数据。
根据统计方式对应的统计单位,可以将任务的分钟级的容量数据划分成不同的级别。例如,当采用以日为统计单位的统计方式时,将分钟级容量数据划分为日级别;当采用以小时为统计单位的统计方式时,将容量数据划分为小时级别;当采用以分钟为统计单位的统计方式,将容量数据划分为分钟级别。
步骤S210,基于划分后的各个统计单位内的容量数据,确定各个统计单位的容量值。
从划分后的容量数据中,可以得到不同级别的容量值。例如,对于日级别的容量数据,可以得到该日内的容量值。该容量值通常可以是峰值、均值或者统计时间段内的中间值等。在具体实现时,步骤S210还可以通过下述方式之一实现:
方式一、将各个统计单位内的容量数据中的容量峰值,确定为各个统计单位的容量值;该容量峰值也即是统计单位内的容量数据的最大值,例如,以小时为统计单位,一个小时中有60个分钟级的容量数据,分别为500M、100M、…、200M,从这60个数据中选取最大的值作为容量值(如,500M)。
方式二、将各个统计单位内的容量数据的容量均值,确定为各个统计单位的容量值;该容量均值也即是统计单位内的容量数据的平均值,例如,以小时为统计单位,一个小时中有60个分钟级的容量数据,分别为500M、100M、…、200M,将这60个数据相加再除以60,可以得到容量值(如,400M)。
方式三、将各个统计单位内的容量数据中的中间时间点的容量值,确定为各个统计单位的容量值。例如,以5分钟为统计单位,5分钟可以获得5个分钟级的容量数据,分别为100M、200M、200M、500M和300M,可以选取第3分钟的200M作为容量值。
步骤S212,根据各个统计单位的容量值和预设计算体系的计算信息计算目标文件系统任务的统计值。
上述文件系统任务的统计方法,首先接收目标文件系统任务的统计时间段,再从容量信息列表中获取目标文件系统任务对应的统计时间段内的容量数据,然后获取目标文件系统任务的统计方式,并按照获取的统计方式对应的统计单位划分目标文件系统任务的容量数据,再基于划分后的各个统计单位内的容量数据,确定各个统计单位的容量值,进而根据预设计算体系的计算信息确定目标文件系统任务的统计值。该方式可以实现不同级别的统计方式,从而提高了统计的灵活性和可扩展性。
本发明实施例还提供另一种文件系统任务的统计方法,该方法在上述实施例所述方法的基础上实现;该方法重点描述根据统计单位对应的容量值和预设计算体系的计算信息计算目标文件系统任务的统计值的具体步骤;如图3所示,该方法包括如下步骤:
步骤S302,根据目标文件系统的识别码,从预设数据库中获取目标文件系统对应的容量信息列表。
上述文件系统的数量通常为多个,每个文件系统均对应有唯一的识别码,该识别码可以是一串字目,也可以是有一定规律的数据编号等。上述预设数据库通常为非关系型数据库,例如,Elasticsearch(分布式搜索引擎)、MongoDB(基于分布式文件存储的数据库)等数据库。其中,Elasticsearch通常是一个高扩展、开源的全文检索和分析引擎,它可以准实时地快速存储、搜索、分析海量的数据。该数据库中保存有文件系统对应的容量信息列表,通过文件系统的识别码可以从数据库中获取到对应的容量数据。
步骤S304,从上述容量信息列表中获取目标文件系统任务的容量数据;其中,该容量数据为按指定分钟时长从目标文件系统任务中获取。
步骤S306,根据上述目标文件系统任务的容量数据,确定与该目标文件系统任务的统计方式对应的各个统计单位的容量值;该统计方式包括:以日为统计单位的统计方式、以小时为统计单位的统计方式或以分钟为统计单位的统计方式。
步骤S308,从上述目标文件中获取预设计算体系;其中,该预设计算体系的计算信息包括:每种统计方式对应的统计单位,以及该统计单位对应的统计参数。
通常每种统计单位对应的统计参数不同,且同一种统计单位也可能对应不同的统计参数。一般情况下,可以根据使用量的大小或者付费方式,设置不同的统计参数,其中,该统计参数可以为任务对应的容量的使用单价,在具体实现时,可以设置容量定值,当使用的容量值小于容量定值时,使用单价偏高,当使用的容量值大于或者等于容量定值时,使用单价偏低等。例如,当按小时为统计单位时,容量定值设置为100GB,当使用的容量值小于100GB时,使用单价为5元/GB;当使用的容量值大于或者等于100GB时,使用单价为4元/GB。
步骤S310,根据各个统计单位的容量值与该统计单位对应的统计参数,得到目标文件系统任务的统计值。
上述统计值也可以是费用,也即是文件系统任务对应的容量使用费用,在具体实现时,可以将统计单位对应的容量值与该统计单位对应的统计参数进行相乘,得到文件系统任务的费用。
上述文件系统任务的统计方法,首先根据目标文件系统的识别码,从预设数据库中获取目标文件系统对应的容量信息列表,再从容量信息列表中获取目标文件系统任务的容量数据,进而根据容量数据确定与该目标文件系统任务的统计方式对应的各个统计单位的容量值,然后从上述目标文件中获取预设计算体系中计算信息的中各个统计单位对应的统计参数,最后根据各个统计单位的容量值与该统计单位对应的统计参数,得到目标文件系统任务的统计值。该方式可以根据文件系统的识别码,快速地获取文件系统中的容量数据,提高了数据获取的效率,而且,该方式可以计算不同统计单位对应的统计值,计算的微粒较细,从而提高了统计值计算方式的灵活性。
本发明实施例还提供另一种文件系统的任务统计方法,该方法在上述实施例所述方法的基础上实现;该方法以NAS文件系统为例,描述计算NAS文件系统任务的统计值的具体过程;如图4所示,该方法包括如下步骤:
步骤S402,根据NAS文件系统的识别码,从分布式搜索引擎ES中获取NAS文件系统对应的容量信息列表。
上述NAS文件系统通常是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件系统,而且NAS文件系统可以同时挂载到多个计算节点上,由这些节点共享访问,从而节约大量拷贝与同步成本。
在具体实现时,需要多个组件进行配合,将NAS文件系统对应的容量信息列表保存至上述ES中,上述多个组件包括manila组件、日志收集系统flume(相当于数据采集器)、大数据存储组件和大数据清洗组件。将数据进行存储的步骤如下述(1)-(5):
(1)通过manila组件访问NAS文件系统,将该NAS文件系统任务的容量数据传输至预设的数据文件;该容量数据为按指定分钟时长获取的目标文件系统任务中的容量数据,也可称为分钟级容量数据。
上述manila组件通常可以提供带有完整文件系统的存储,该manila组件是目前比较完善的一个OpenStack服务组件,该OpenStack通常是一个开源的云计算管理平台项目,由几个主要的组件组合起来完成具体工作。该OpenStack支持几乎所有类型的云环境,项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。
上述manila组件可以NAS目标文件系统当前时刻的容量数据,也即是分钟级容量数据,并将访问到的容量数据传输至预设的数据文件中进行存储,该预设的数据文件通常为服务器的本地文件。
(2)通过日志收集系统flume采集数据文件中的容量数据。
上述flume通常是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。该flume通常依赖java运行环境,它以agent为处理单位,每个agent中包含source,channel和sink组件,其中source负责接收分钟级容量数据,并将分钟级容量数据写入channel;channel负责存储该分钟级容量数据;sink负责将channel中的容量数据发送给下一个处理节点(相当于大数据处理组件)。
(3)通过大数据存储组件,对上述容量数据进行元数据存储,得到单行数据列表。
上述元数据通常是描述其它数据(相当于上述容量数据)的数据,该元数据也是表的属性数据,该元数据的属性信息包括表的名字、列信息和分区等。将上述容量数据按照元数据中的属性信息进行存储后,可以得到容量信息对应的单行数据列表。
在具体实现时,通常在Hadoop平台上对容量数据进行元数据存储,以得到单行数据列表,该单行数据列表可以是HDFS(Hadoop Distributed File System,分布式文本系统)的单行HIVE表。该HIVE表通常是建立在Hadoop上的数据仓库基础构架,它提供了一系列的工具,可以用来进行数据提取、转化、加载。
(4)通过大数据清洗组件,将上述单行数据列表结构化为多字段的数据列表,形成容量信息列表。
上述大数据清洗组件可以是数据ETL(Extract-Transform-Load,抽取、转置、加载)结构化存储组件,通过大数清洗组件可以将单行数据列表中的分钟级容量数据中的分散、零乱、标准不统一的数据整合到一起,以提高数据的可用性。在具体实现时,通常需要在脚本(例如,scala脚本)中设置清洗规则,以通过该清洗规则对单行数据列表进行归纳和整理,得到多字段的数据列表,该多字段的数据列表也可是多行的HIVE表。该多字段包括可以包括用户识别码、系统文件识别码、使用时间和使用量;还可以包括数据存储类型、文件系统可用空间等数据。
(5)将上述容量列表存储至ES。
通常上述ES通常配置有相应的API,该API通常支持检索、汇聚查询等功能,也即是用户可以通过该API从ES中获取文件系统任意一段时间内的容量数据。
上述将容量信息列表存储至ES的方式,不依赖于相关技术中的定时任务和关系型数据库(如,Mysql)存储,可以实现系统的解耦;而且通过flume和大数据分布式集群,提高了系统的稳定性及性能。
步骤S404,从上述容量信息列表中获取NAS文件系统任务的容量数据。
步骤S406,根据上述NAS文件系统任务的容量数据,确定与该NAS文件系统任务的统计方式对应的各个统计单位的容量值;该统计方式包括:以日为统计单位的统计方式、以小时为统计单位的统计方式或以分钟为统计单位的统计方式。
步骤S408,根据各个统计单位的容量值和预设计算体系的计算信息计算目标文件系统任务的统计值。
上述文件系统任务的统计方法,可以根据NAS文件系统任务的容量数据,获取不同统计方式对应的容量值,并与计算信息相结合可组装成任务的统计值,该统计方式的粒度较细,对用户的收费较友好。
对应于上述文件系统任务的统计方法的实施例,本发明实施例提供了一种文件系统任务的统计装置,如图5所示,该装置包括:
数据获取模块50,用于从容量信息列表中获取目标文件系统任务的容量数据;其中,该容量数据为按指定分钟时从目标文件系统任务中获取。
容量确定模块51,用于根据上述目标文件系统任务的容量数据,确定与目标文件系统任务的统计方式对应的各个统计单位的容量值;该统计方式包括:以日为统计单位的统计方式、以小时为统计单位的统计方式或以分钟为统计单位的统计方式。
计算模块52,用于根据各个统计单位的容量值和预设计算体系的计算信息,确定目标文件系统任务的统计值。
上述文件系统任务的统计装置,首先从容量信息列表中获取目标文件系统任务的容量数据,然后根据目标文件系统任务的容量数据,确定与该目标文件系统任务的统计方式对应的各个统计单位的容量值,再根据各个统计单位对应的容量值和预设计算体系的计算信息计算目标文件系统任务的统计值。该方式通过文件系统的容量数据,得到不同统计单位对应的容量值,从而可采用多种统计方式计算文件系统的任务统计值,提高了统计方式的灵活性和可扩展性。
上述数据获取模块50用于:接收上述目标文件系统任务的统计时间段;从容量信息列表中获取目标文件系统任务对应所述统计时间段的容量数据。
上述容量确定模块51用于:获取上述目标文件系统任务的统计方式;按照获取的统计方式对应的统计单位划分目标文件系统任务的容量数据;基于划分后的各个统计单位内的容量数据,确定各个统计单位的容量值。
上述容量确定模块51还用于:将各个统计单位内的容量数据中的容量峰值,确定为各个统计单位的容量值;将各个统计单位内的容量数据的容量均值,确定为各个统计单位的容量值;将各个统计单位内的容量数据中的中间时间点的容量值,确定为各个统计单位的容量值。
上述预设计算体系的计算信息包括:每种统计方式对应的统计单位,以及该统计单位对应的统计参数。
上述计算模块52用于:根据各个统计单位的容量值与统计单位对应的统计参数,得到目标文件系统任务的统计值。
上述数据获取模块50之前,上述装置还包括列表获取模块用于:根据目标文件系统的识别码,从预设数据库中获取目标文件系统对应的容量信息列表。上述文件系统可以为NAS文件系统。
本发明实施例所提供的文件系统任务的统计装置,其实现原理及产生的技术效果和前述数据转换方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例还提供了一种服务器,用于运行上述文件系统任务的统计方法,参见图6所示,该服务器包括处理器101和存储器100,该存储器100存储有能够被处理器101执行的机器可执行指令,该处理器101执行机器可执行指令以实现上述文件系统任务的统计方法。
进一步地,图6所示的服务器还包括总线102和通信接口103,处理器101、通信接口103和存储器100通过总线102连接。
其中,存储器100可能包含高速随机存取存储器(RAM,RandomAccessMemory),也可能还包括非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100,处理器101读取存储器100中的信息,结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令在被处理器调用和执行时,该计算机可执行指令促使该处理器实现上述文件系统任务的统计方法,具体实现可参见方法实施例,在此不再赘述。
本发明实施例所提供的文件系统任务的统计方法、装置和服务器的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和/或电子设备的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种文件系统任务的统计方法,其特征在于,该方法包括:
从容量信息列表中获取目标文件系统任务的容量数据;其中,所述容量数据为按指定分钟时长从目标文件系统任务中获取;
根据所述目标文件系统任务的容量数据,确定与所述目标文件系统任务的统计方式对应的各个统计单位的容量值;所述统计方式包括:以日为统计单位的统计方式、以小时为统计单位的统计方式或以分钟为统计单位的统计方式;
根据各个所述统计单位的容量值和预设计算体系的计算信息,确定所述目标文件系统任务的统计值。
2.根据权利要求1所述的方法,其特征在于,从容量信息列表中获取目标文件系统任务的容量数据的步骤,包括:
接收所述目标文件系统任务的统计时间段;
从所述容量信息列表中获取所述目标文件系统任务对应所述统计时间段的容量数据。
3.根据权利要求1所述的方法,其特征在于,根据所述目标文件系统任务的容量数据,确定与所述目标文件系统任务的统计方式对应的各个统计单位的容量值的步骤包括:
获取所述目标文件系统任务的统计方式;
按照获取的所述统计方式对应的统计单位划分所述目标文件系统任务的容量数据;
基于划分后的各个统计单位内的容量数据,确定各个所述统计单位的容量值。
4.根据权利要求3所述的方法,其特征在于,基于划分后的各个统计单位内的容量数据,确定各个所述统计单位的容量值的步骤包括以下之一:
将各个统计单位内的容量数据中的容量峰值,确定为各个所述统计单位的容量值;
将各个统计单位内的容量数据的容量均值,确定为各个所述统计单位的容量值;
将各个统计单位内的容量数据中的中间时间点的容量值,确定为各个所述统计单位的容量值。
5.根据权利要求1所述的方法,其特征在于,所述预设计算体系的计算信息包括:每种统计方式对应的统计单位,以及该统计单位对应的统计参数。
6.根据权利要求5所述的方法,其特征在于,所述根据各个所述统计单位的容量值和预设计算体系的计算信息,确定所述目标文件系统任务的统计值的步骤,包括:
根据各个统计单位的容量值与所述统计单位对应的统计参数,得到所述目标文件系统任务的统计值。
7.根据权利要求1所述的方法,其特征在于,所述从容量信息列表中获取目标文件系统任务的容量数据的步骤之前,所述方法还包括:
根据所述目标文件系统的识别码,从预设数据库中获取所述目标文件系统对应的容量信息列表。
8.根据权利要求1所述的方法,其特征在于,所述文件系统为NAS文件系统。
9.一种文件系统任务的统计装置,其特征在于,该装置包括:
数据获取模块,用于从容量信息列表中获取目标文件系统任务的容量数据;其中,所述容量数据为按指定分钟时长从目标文件系统任务中获取;
容量确定模块,用于根据所述目标文件系统任务的容量数据,确定与所述目标文件系统任务的统计方式对应的各个统计单位的容量值;所述统计方式包括:以日为统计单位的统计方式、以小时为统计单位的统计方式或以分钟为统计单位的统计方式;
计算模块,用于根据各个所述统计单位的容量值和预设计算体系的计算信息,确定所述目标文件系统任务的统计值。
10.根据权利要求9所述的装置,其特征在于,数据获取模块,用于:
接收所述目标文件系统任务的统计时间段;
从所述容量信息列表中获取所述目标文件系统任务对应所述统计时间段的容量数据。
11.根据权利要求9所述的装置,其特征在于,容量确定模块,用于:
获取所述目标文件系统任务的统计方式;
按照获取的所述统计方式对应的统计单位划分所述目标文件系统任务的容量数据;
基于划分后的各个统计单位内的容量数据,确定各个所述统计单位的容量值。
12.一种服务器,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以实现权利要求1至9任一项所述的文件系统任务的统计方法。
13.一种机器可读存储介质,其特征在于,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,所述机器可执行指令促使处理器实现权利要求1至9任一项所述的文件系统任务的统计方法。
CN201910931811.6A 2019-09-27 2019-09-27 文件系统任务的统计方法、装置和服务器 Active CN110674190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910931811.6A CN110674190B (zh) 2019-09-27 2019-09-27 文件系统任务的统计方法、装置和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910931811.6A CN110674190B (zh) 2019-09-27 2019-09-27 文件系统任务的统计方法、装置和服务器

Publications (2)

Publication Number Publication Date
CN110674190A true CN110674190A (zh) 2020-01-10
CN110674190B CN110674190B (zh) 2022-07-15

Family

ID=69079936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910931811.6A Active CN110674190B (zh) 2019-09-27 2019-09-27 文件系统任务的统计方法、装置和服务器

Country Status (1)

Country Link
CN (1) CN110674190B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102594576A (zh) * 2012-03-19 2012-07-18 广州亦云信息技术有限公司 一种基于云平台服务的计费方法
CN103067185A (zh) * 2012-12-28 2013-04-24 无锡城市云计算中心有限公司 云计算系统中的计费方法
CN103095471A (zh) * 2013-01-25 2013-05-08 浪潮电子信息产业股份有限公司 一种云os中按使用量计费的方法
CN103414576A (zh) * 2013-07-24 2013-11-27 广东电子工业研究院有限公司 一种云计算资源使用计费方法
CN103414577A (zh) * 2013-08-19 2013-11-27 北京高森明晨信息科技有限公司 用于Hadoop平台的计费系统及方法
CN103475495A (zh) * 2013-07-23 2013-12-25 国云科技股份有限公司 一种云计算虚拟机资源使用计费方法
CN103731278A (zh) * 2011-12-31 2014-04-16 华茂云天科技(北京)有限公司 云计算平台的服务计费系统
CN104320266A (zh) * 2014-10-17 2015-01-28 浪潮(北京)电子信息产业有限公司 一种云计算操作系统下的计费方法及装置
CN104468136A (zh) * 2014-12-31 2015-03-25 华为技术有限公司 计费方法、分析中心和计费中心
CN105119727A (zh) * 2015-07-31 2015-12-02 山东蚁巡网络科技有限公司 一种根据云服务资源计费的日志分析服务方法
CN106547918A (zh) * 2016-11-30 2017-03-29 长城计算机软件与系统有限公司 一种统计数据的整合方法及系统
CN108023735A (zh) * 2017-11-23 2018-05-11 太极计算机股份有限公司 一种基于动态资源的计费方法
KR101874862B1 (ko) * 2017-11-10 2018-07-05 베스핀글로벌 주식회사 서비스 비용을 위한 지능형 검색시스템 및 그 방법
CN109660366A (zh) * 2019-02-28 2019-04-19 携程旅游信息技术(上海)有限公司 混合云计费方法及系统
CN109903030A (zh) * 2019-03-07 2019-06-18 阿莫斯(北京)科技有限公司 一种用于云主机的计费方法、云主机和存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731278A (zh) * 2011-12-31 2014-04-16 华茂云天科技(北京)有限公司 云计算平台的服务计费系统
CN102594576A (zh) * 2012-03-19 2012-07-18 广州亦云信息技术有限公司 一种基于云平台服务的计费方法
CN103067185A (zh) * 2012-12-28 2013-04-24 无锡城市云计算中心有限公司 云计算系统中的计费方法
CN103095471A (zh) * 2013-01-25 2013-05-08 浪潮电子信息产业股份有限公司 一种云os中按使用量计费的方法
CN103475495A (zh) * 2013-07-23 2013-12-25 国云科技股份有限公司 一种云计算虚拟机资源使用计费方法
CN103414576A (zh) * 2013-07-24 2013-11-27 广东电子工业研究院有限公司 一种云计算资源使用计费方法
CN103414577A (zh) * 2013-08-19 2013-11-27 北京高森明晨信息科技有限公司 用于Hadoop平台的计费系统及方法
CN104320266A (zh) * 2014-10-17 2015-01-28 浪潮(北京)电子信息产业有限公司 一种云计算操作系统下的计费方法及装置
CN104468136A (zh) * 2014-12-31 2015-03-25 华为技术有限公司 计费方法、分析中心和计费中心
CN105119727A (zh) * 2015-07-31 2015-12-02 山东蚁巡网络科技有限公司 一种根据云服务资源计费的日志分析服务方法
CN106547918A (zh) * 2016-11-30 2017-03-29 长城计算机软件与系统有限公司 一种统计数据的整合方法及系统
KR101874862B1 (ko) * 2017-11-10 2018-07-05 베스핀글로벌 주식회사 서비스 비용을 위한 지능형 검색시스템 및 그 방법
CN108023735A (zh) * 2017-11-23 2018-05-11 太极计算机股份有限公司 一种基于动态资源的计费方法
CN109660366A (zh) * 2019-02-28 2019-04-19 携程旅游信息技术(上海)有限公司 混合云计费方法及系统
CN109903030A (zh) * 2019-03-07 2019-06-18 阿莫斯(北京)科技有限公司 一种用于云主机的计费方法、云主机和存储介质

Also Published As

Publication number Publication date
CN110674190B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN108270842B (zh) 推送权益任务的方法、系统及服务器
CN108133031B (zh) 一种过滤推荐视频候选结果的方法及装置
CN106528787B (zh) 一种基于海量数据多维分析的查询方法及装置
CN106407207B (zh) 一种实时新增数据更新方法和装置
CN110675194A (zh) 一种漏斗分析方法、装置、设备及可读介质
CN110674101B (zh) 文件系统的数据处理方法、装置和云服务器
CN105488201A (zh) 一种日志查询方法和系统
CN108366012B (zh) 一种社交关系建立方法、装置及电子设备
CN111339078A (zh) 数据实时存储方法、数据查询方法、装置、设备、介质
CN110147470B (zh) 一种跨机房数据比对系统及方法
CN111159219B (zh) 一种数据管理方法、装置、服务器及存储介质
CN111061758B (zh) 数据存储方法、装置及存储介质
CN108809704B (zh) 基于动态时间窗的数据去重统计方法及装置
US20160292233A1 (en) Discarding data points in a time series
CN107153702A (zh) 一种数据处理方法及装置
CN105005585A (zh) 一种日志数据的处理方法和装置
CN109213774B (zh) 数据的存储方法及装置、存储介质、终端
CN106940710B (zh) 信息推送方法及装置
CN110674190B (zh) 文件系统任务的统计方法、装置和服务器
CN110333984B (zh) 接口异常检测方法、装置、服务器及系统
CN111090705B (zh) 一种多维数据处理方法、装置及设备、存储介质
CN113225218A (zh) 一种话单质量的核查方法和装置
CN111125109A (zh) 一种基于时间分组累计算法的实时统计报表系统
CN115470279A (zh) 基于企业数据的数源转换方法、装置、设备及介质
CN115269519A (zh) 一种日志检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant