CN110809056A - 一种文件存储用户使用量统计的方法 - Google Patents

Abstract

本发明公开一种文件存储用户使用量统计的方法,涉及信息技术领域；云环境下，利用openstack的manila组件，在共享主机模式下通过定时任务依次在共享主机上执行df‑h命令，获取磁盘数据，在无共享主机模式下，通过定时任务登陆部署manila的节点执行df‑h命令，获取磁盘数据，通过文件系统挂载点与df–h命令的对应关系，建立文件系统与用户文件使用量的联系，在获取的磁盘数据中查询所有文件使用量数据，再与文件系统列表中的文件进行匹配，获得用户文件使用量。

Description

一种文件存储用户使用量统计的方法

技术领域

本发明公开一种文件存储用户使用量统计的方法,涉及信息技术领域。

背景技术

文件存储在企业文件共享，大数据分析，流媒体处理等场景下均有广泛应用。公有云文件存储服务可以基于manila组件进行扩展开发。因为openstack的manila组件可以提供共享存储服务，支持nfs和cifs等多种协议，manila创建的文件系统可以挂载到虚机使用，多个虚机可以通过网络共享文件系统中的文件。manila提供了丰富的api用来管理文件系统，但没有提供查询文件系统使用量的接口，在公有云环境下，用户需要在公有云管理界面了解文件系统的使用量，公有云服务提供商也需要依据用户使用量计算费用，有些厂商需要在用户虚机上安装agent实现使用量统计，提高了用户使用门槛，不利于产品的推广和应用。

本发明公开一种文件存储用户使用量统计的方法,基于openstack的manila组件实现，无需安装agent实现统计文件系统使用量，降低用户使用门槛，也可作为公有云服务提供商计费的依据。

发明内容

本发明针对现有技术的问题，提供一种文件存储用户使用量统计的方法，本发明提出的具体方案是：

一种文件存储用户使用量统计的方法，云环境下，利用openstack的manila组件，在共享主机模式下通过定时任务依次在共享主机上执行df-h命令，获取磁盘数据，

在无共享主机模式下，通过定时任务登陆部署manila的节点执行df-h命令，获取磁盘数据，

通过文件系统挂载点与df–h命令的对应关系，建立文件系统与用户文件使用量的联系，在获取的磁盘数据中查询所有文件使用量数据，再与文件系统列表中的文件进行匹配，获得用户文件使用量。

所述的方法中获取磁盘数据，将磁盘数据进行相应分割后转化为数组，将数组映射为数据库实体类后保存在数据库中。

所述的方法中在数据库中，数据库表中包含磁盘数据分割时的相应字段，利用数据库表查询磁盘数据。

所述的方法中将磁盘数据先转化为字符串类型，再进行分割，分割后字段分别是filesystem，size，used，avail，use％，mounted on。

所述的方法中在数据库中，数据库表中包含磁盘数据分割时的size字段，used字段，mounted on字段，利用数据库表查询磁盘数据。

所述的方法中数据库保存当前磁盘数据之前，先删除设定阈值时间之前保存的磁盘数据。

所述的方法中共享主机模式下利用异步定时任务依次在共享主机上执行df-h命令，获取磁盘数据，定时任务的执行间隔大于所述的阈值时间。

一种文件存储用户使用量统计的工具，包括获取模块、关联模块及匹配模块，

云环境下，获取模块利用openstack的manila组件，在共享主机模式下通过定时任务依次在共享主机上执行df-h命令，获取磁盘数据，

获取模块在无共享主机模式下，通过定时任务登陆部署manila的节点执行df-h命令，获取磁盘数据，

关联模块通过文件系统挂载点与df–h命令的对应关系，建立文件系统与用户文件使用量的联系，匹配模块在获取的磁盘数据中查询所有文件使用量数据，再与文件系统列表中的文件进行匹配，获得用户文件使用量。

本发明的有益之处是：

本发明公开一种文件存储用户使用量统计的方法,在云环境下，利用openstack的manila组件，在共享主机模式下通过定时任务依次在共享主机上执行df-h命令，获取磁盘数据，在无共享主机模式下，通过定时任务登陆部署manila的节点执行df-h命令，获取磁盘数据，通过文件系统挂载点与df–h命令的对应关系，建立文件系统与用户文件使用量的联系，在获取的磁盘数据中查询所有文件使用量数据，再与文件系统列表中的文件进行匹配，获得用户文件使用量；通过本发明的方法，无需在manila节点，共享主机或者租户虚机安装agent，仅通过定时任务在manila节点或共享主机远程执行shell命令，利用manila节点和共享主机的端口并已知拥有root权限的用户名和密码即可实现，并且对用户完全透明，降低用户使用门槛，用户使用量信息可以作为manila api查询结果的补充，也可作为公有云服务提供商计费的依据。

附图说明

图1是本发明方法流程示意图。

具体实施方式

本发明提供一种文件存储用户使用量统计的方法，云环境下，利用openstack的manila组件，在共享主机模式下通过定时任务依次在共享主机上执行df-h命令，获取磁盘数据，

在无共享主机模式下，通过定时任务登陆部署manila的节点执行df-h命令，获取磁盘数据，

通过文件系统挂载点与df–h命令的对应关系，建立文件系统与用户文件使用量的联系，在获取的磁盘数据中查询所有文件使用量数据，再与文件系统列表中的文件进行匹配，获得用户文件使用量。

同时提供与上述方法相应的一种文件存储用户使用量统计的工具，包括获取模块、关联模块及匹配模块，

云环境下，获取模块利用openstack的manila组件，在共享主机模式下通过定时任务依次在共享主机上执行df-h命令，获取磁盘数据，

获取模块在无共享主机模式下，通过定时任务登陆部署manila的节点执行df-h命令，获取磁盘数据，

关联模块通过文件系统挂载点与df–h命令的对应关系，建立文件系统与用户文件使用量的联系，匹配模块在获取的磁盘数据中查询所有文件使用量数据，再与文件系统列表中的文件进行匹配，获得用户文件使用量。

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

利用本发明方法对文件存储用户使用量进行统计，具体过程为：

云环境下，利用openstack的manila组件，在共享主机模式下通过定时任务依次在共享主机上执行df-h命令，获取磁盘数据，

在无共享主机模式下，通过定时任务登陆部署manila的节点执行df-h命令，获取磁盘数据，

可通过引入jsch-0.1.55.jar实现springboot应用远程执行shell命令，命令的返回值为InputStream类型，通过commons-io-2.5.jar中的IOUtils.toString方法将获取的磁盘数据转化为字符串类型，各行的结果由“\n”分割，每行数据由一个或多个空格分割，字段分别是filesystem，size，used，avail，use％，mounted on，通过split(“\\s+”)将每行数据转化为数组。将数组映射为数据库实体类后保存在数据库中，数据库表的字段为id，totalSize，usedSize，mountedOn，createdTime，其中id为自增主键，类型为bigint(20)，可以满足系统长期有运行的要求，totalSize对应shell命令结果的size字段，usedSize对应used，mountedOn对应mounted on，createdTime为当前时间，利用数据库表查询磁盘数据，

文件系统挂载点与执行“df–h”命令mounted on字段是一一对应的，可以通过这一点建立文件系统与用户使用量的联系，为了节省数据库查询开销，在获取的磁盘数据中查询所有文件使用量数据，再再遍历文件系统列表的文件进行匹配，获得用户文件使用量，节省了数据库查询开销。

在上述过程中，共享主机模式下需要依次登陆共享主机执行命令，耗时可能较长，使用异步定时任务，防止定时任务阻塞，影响数据采集，同时在数据库保存当前磁盘数据之前，先删除设定阈值时间之前保存的磁盘数据，比如10分钟之前保存的磁盘数据，有利于数据更新，并且异步定时任务的定时任务的执行间隔大于阈值时间，例如大于10分钟，更有利于防止定时任务阻塞。

同样利用本发明工具进行对文件存储用户使用量进行统计，具体过程为：

云环境下，获取模块利用openstack的manila组件，在共享主机模式下通过定时任务依次在共享主机上执行df-h命令，获取磁盘数据，

获取模块在无共享主机模式下，通过定时任务登陆部署manila的节点执行df-h命令，获取磁盘数据，

可通过引入jsch-0.1.55.jar实现springboot应用远程执行shell命令，命令的返回值为InputStream类型，通过commons-io-2.5.jar中的IOUtils.toString方法将获取的磁盘数据转化为字符串类型，各行的结果由“\n”分割，每行数据由一个或多个空格分割，字段分别是filesystem，size，used，avail，use％，mounted on，通过split(“\\s+”)将每行数据转化为数组。将数组映射为数据库实体类后保存在数据库中，数据库表的字段为id，totalSize，usedSize，mountedOn，createdTime，其中id为自增主键，类型为bigint(20)，可以满足系统长期有运行的要求，totalSize对应shell命令结果的size字段，usedSize对应used，mountedOn对应mounted on，createdTime为当前时间，利用数据库表查询磁盘数据，

文件系统挂载点与执行“df–h”命令mounted on字段是一一对应的，关联模块可以通过这一点建立文件系统与用户使用量的联系，为了节省数据库查询开销，匹配模块在获取的磁盘数据中查询所有文件使用量数据，再再遍历文件系统列表的文件进行匹配，获得用户文件使用量，节省了数据库查询开销。

在上述过程中，共享主机模式下需要依次登陆共享主机执行命令，耗时可能较长，获取模块可以使用异步定时任务，防止定时任务阻塞，影响数据采集，同时在数据库保存当前磁盘数据之前，先删除设定阈值时间之前保存的磁盘数据，比如10分钟之前保存的磁盘数据，有利于数据更新，并且异步定时任务的定时任务的执行间隔大于阈值时间，例如大于10分钟，更有利于防止定时任务阻塞。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (8)

1.一种文件存储用户使用量统计的方法，其特征是云环境下，利用openstack的manila组件，在共享主机模式下通过定时任务依次在共享主机上执行df-h命令，获取磁盘数据，

在无共享主机模式下，通过定时任务登陆部署manila的节点执行df-h命令，获取磁盘数据，

通过文件系统挂载点与df–h命令的对应关系，建立文件系统与用户文件使用量的联系，在获取的磁盘数据中查询所有文件使用量数据，再与文件系统列表中的文件进行匹配，获得用户文件使用量。

2.根据权利要求1所述的方法，其特征是获取磁盘数据，将磁盘数据进行相应分割后转化为数组，将数组映射为数据库实体类后保存在数据库中。

3.根据权利要求2所述的方法，其特征是在数据库中，数据库表中包含磁盘数据分割时的相应字段，利用数据库表查询磁盘数据。

4.根据权利要求2或3所述的方法，其特征是将磁盘数据先转化为字符串类型，再进行分割，分割后字段分别是filesystem，size，used，avail，use％，mounted on。

5.根据权利要求4所述的方法，其特征是在数据库中，数据库表中包含磁盘数据分割时的size字段，used字段，mounted on字段，利用数据库表查询磁盘数据。

6.根据权利要求1或5所述的方法，其特征是数据库保存当前磁盘数据之前，先删除设定阈值时间之前保存的磁盘数据。

7.根据权利要求6所述的方法，其特征是共享主机模式下利用异步定时任务依次在共享主机上执行df-h命令，获取磁盘数据，定时任务的执行间隔大于所述的阈值时间。

8.一种文件存储用户使用量统计的工具，其特征是包括获取模块、关联模块及匹配模块，

云环境下，获取模块利用openstack的manila组件，在共享主机模式下通过定时任务依次在共享主机上执行df-h命令，获取磁盘数据，

获取模块在无共享主机模式下，通过定时任务登陆部署manila的节点执行df-h命令，获取磁盘数据，

关联模块通过文件系统挂载点与df–h命令的对应关系，建立文件系统与用户文件使用量的联系，匹配模块在获取的磁盘数据中查询所有文件使用量数据，再与文件系统列表中的文件进行匹配，获得用户文件使用量。