CN112328864A - 一种Ceph对象存储的下载量统计方法 - Google Patents

Abstract

本发明公开一种Ceph对象存储的下载量统计方法，涉及对象存储技术领域。为解决对象存储的raodsgw‑admins不具备按照域名进行分类的功能缺陷，采用方案利用Ceph对象存储中的radosgw‑admin usage show命令可以统计用户以及桶信息的功能，在其查询结果中增加新的信息，用以统计对象存储桶内数据的下载量。为实现该方案需要：在radosgw‑admin usage show的输出结果中添加两个字段：host和downloads，同时在用户使用s3cmd接口下载对象存储桶中的数据时，按照字节数实时统计下载量，并记录该桶所在服务端的host域名；将该host下桶内数据每次的下载量进行累加，记录到该host的key对应的value下；将用户对桶内对象的下载量按照桶所在的host域名进行分类与统计，最终添加到radosgw‑admin的查询结果中进行展示。本发明可以保证数据的实时性与准确性。

Description

一种Ceph对象存储的下载量统计方法

技术领域

本发明涉及对象存储技术领域，具体的说是一种Ceph对象存储的下载量统计方法。

背景技术

对象存储在分布式存储中由于其较为完善的功能而广泛运用于如今的云平台。面对海量的数据流量与千万级别的数据操作，数据统计是一个不可或缺的工作，拥有一个数据统计系统可以更好的帮助用户来了解自己的操作记录，便于后续的云平台产品的管理。

现有的基于ceph分布式文件系统的对象存储方案为radosgw，该方案有专门的radosgw-admin组件进行数据的统计，但是所有下载量均整合到了一个变量里，无法区分下载的是哪个域名下属服务器的数据。如果使用者要按照域名来统计下载数据量时，比较常见的方法是借助数据库，通过将域名信息和下载量信息写入数据库的方式来存储数据，之后再需要查看下载量信息时再将数据从数据库中取出，这样会使得操作更加繁琐。而且为了一个功能而添加一个数据库，也会使得整个系统更加冗余。

发明内容

由于对象存储的raodsgw-admins本身具有流量统计功能，但并不具备按照域名分类的功能，本发明提供一种Ceph对象存储的下载量统计方法

本发明的一种Ceph对象存储的下载量统计方法，解决上述技术问题采用的技术方案如下：

一种Ceph对象存储的下载量统计方法，该方法利用Ceph对象存储中的radosgw-admin usage show命令可以统计用户以及桶信息的功能，在其查询结果中增加新的信息，用以统计对象存储桶内数据的下载量，

实现该方法需要进行的操作为：

步骤1、在radosgw-admin usage show的输出结果中添加两个字段：host和downloads，同时在用户使用s3cmd接口下载对象存储桶中的数据时，按照字节数实时统计下载量，并记录该桶所在服务端的host域名；

步骤2、将该host下桶内数据每次的下载量进行累加，记录到该host的key对应的value下；

步骤3、将用户对桶内对象的下载量按照桶所在的host域名进行分类与统计，最终添加到radosgw-admin的查询结果中进行展示。

可选的，执行步骤1时，用户使用s3cmd接口下载对象存储桶中的数据时，记录该桶所在服务端的host域名，其具体操作为：

在用户向服务端发送数据的下载请求时，radosgw会根据保存该数据所在的桶，定位到具体的服务器，进而将该服务器的域名返回给用户的客户端，此时可以取到该服务器的域名信息，将取到的域名信息作为一个key，记录到一个持久化保存的map里，同时将该key对应的value值初始化为0。

进一步可选的，用户每在一个新的域名下载数据，就会在该map中新添加一个记录，但是，如果该域名对应的key值存在，则无需重复添加。

进一步可选的，执行步骤1时，在用户使用s3cmd接口下载对象存储桶中的数据时，按照字节数实时统计下载量，其具体操作为：

每次下载操作开始时，服务端会初始化一个变量用于统计本次下载数据所产生的流量信息，当下载操作结束时，该变量记录此次下载的总数据量。

进一步可选的，按照字节数实时统计下载量后，会产生一个本次下载数据总量的值，将该值累加进下载操作的host域名对应key的value中，即可以记录每次下载操作产生的数据总量。

可选的，执行步骤1-步骤3时，如果用户的下载操作由于网络中断的原因失败后，服务端会记录已经传输完成的数据量，统计此次传输的具体流量值，添加进统计结果。

可选的，执行步骤3时，将用户对桶内对象的下载量按照桶所在的host域名进行分类与统计，下载结束后，radosgw可以拿到下载的域名与数据量，将数据插入进radosgw-admin的输出结果中进行展示。

进一步可选的，radosgw-admin的输出结果以用户为单位，由于同一个用户会对多个域名内的数据进行下载操作，所以radosgw-admin usage show的输出结果是每个用户下都包含下载过数据的所有域名以及所有下载数据量的总和，此时，以域名为key，以下载量为value，添加进radosgw-admin的输出结果。

优选的，radosgw-admin的usage日志中会记录所有展示信息的原始内容，实际输出时根据日志中的内容以及所指定的输出格式进行展示。

进一步可选的，该方法的具体应用流程为：

在服务器接收到统计下载量的请求时，

判断接收的请求是否为下载操作，

如果否，则执行与收到请求相对应的rados逻辑，随后结束，

如果是，则首先记录域名并开始统计下载量，

随后再判断下载是否成功，

如果下载成功，则表示下载量的统计结束，将下载量统计进域名对应的key下即可结束，

如果下载未成功，则首先记录已完成的下载量，随后将下载量统计进域名对应的key下，再结束。

本发明的一种Ceph对象存储的下载量统计方法，与现有技术相比具有的有益效果是：

1)本发明基于对象存储实现了流量的统计，数据统计以字节为单位，在下载的同时就可以记录下载量并保存，保证了数据的实时性与准确性，方便了使用者进行数据分析与负载均衡，提高了整个系统的稳定性，完善了radosgw-admin的输出内容，解决了radosgw-admin中缺少数据统计接口的问题；

2)本发明可以实时的将下载量信息统计到radosgw-admin中，既使得统计结果更加实时准确，又无需加载数据库，降低了系统的冗余性，另外，本发明还可以让流量信息的查询操作操作更加简单，只需要使用radosgw-admin命令便可查看，无需调用数据库等接口也可以方便快速的查到需要的结果；

3)本发明用途较为广泛，可运用到数据统计、数据分析以及服务器负载均衡等多个领域。

附图说明

附图1是本发明的方法实现流程图；

附图2是本发明的方法应用流程图。

具体实施方式

为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。

实施例一：

本实施例提出一种Ceph对象存储的下载量统计方法，该方法利用Ceph对象存储中的radosgw-admin usage show命令可以统计用户以及桶信息的功能，在其查询结果中增加新的信息，用以统计对象存储桶内数据的下载量。

结合附图1，实现前述方法需要进行的操作为：

步骤1、在radosgw-admin usage show的输出结果中添加两个字段：host和downloads，同时在用户使用s3cmd接口下载对象存储桶中的数据时，按照字节数实时统计下载量，并记录该桶所在服务端的host域名。

执行步骤1时，用户使用s3cmd接口下载对象存储桶中的数据时，记录该桶所在服务端的host域名，其具体操作为：

在用户向服务端发送数据的下载请求时，radosgw会根据保存该数据所在的桶，定位到具体的服务器，进而将该服务器的域名返回给用户的客户端，此时可以取到该服务器的域名信息，将取到的域名信息作为一个key，记录到一个持久化保存的map里，同时将该key对应的value值初始化为0。

用户每在一个新的域名下载数据，就会在该map中新添加一个记录，但是，如果该域名对应的key值存在，则无需重复添加。

执行步骤1时，在用户使用s3cmd接口下载对象存储桶中的数据时，按照字节数实时统计下载量，其具体操作为：

每次下载操作开始时，服务端会初始化一个变量用于统计本次下载数据所产生的流量信息，当下载操作结束时，该变量记录此次下载的总数据量。

按照字节数实时统计下载量后，会产生一个本次下载数据总量的值，将该值累加进下载操作的host域名对应key的value中，即可以记录每次下载操作产生的数据总量。

步骤2、将该host下桶内数据每次的下载量进行累加，记录到该host的key对应的value下。

步骤3、将用户对桶内对象的下载量按照桶所在的host域名进行分类与统计，最终添加到radosgw-admin的查询结果中进行展示。

执行步骤3时，将用户对桶内对象的下载量按照桶所在的host域名进行分类与统计，下载结束后，radosgw可以拿到下载的域名与数据量，将数据插入进radosgw-admin的输出结果中进行展示。

radosgw-admin的输出结果以用户为单位，由于同一个用户会对多个域名内的数据进行下载操作，所以radosgw-admin usage show的输出结果是每个用户下都包含下载过数据的所有域名以及所有下载数据量的总和，此时，以域名为key，以下载量为value，添加进radosgw-admin的输出结果。

radosgw-admin的usage日志中会记录所有展示信息的原始内容，实际输出时根据日志中的内容以及所指定的输出格式进行展示，指定的输出格式可以是xml或json。

执行步骤1-步骤3的过程中，如果用户的下载操作由于网络中断的原因失败后，服务端会记录已经传输完成的数据量，统计此次传输的具体流量值，添加进统计结果。

结合附图2，针对本实施例的一种Ceph对象存储的下载量统计方法，在服务器接收到统计下载量的请求时，其具体的应用流程为：

(1)服务器接收到统计下载量的请求，

(2)判断接收的请求是否为下载操作，

(2a)如果否，则执行与收到请求相对应的rados逻辑，随后结束，

(2b)如果是，则首先记录域名并开始统计下载量，随后执行步骤(3)，

(3)随后再判断下载是否成功，

(3a)如果下载成功，则表示下载量的统计结束，将下载量统计进域名对应的key下即可结束，

(3b)如果下载未成功，则首先记录已完成的下载量，随后将下载量统计进域名对应的key下，再结束。

综上可知，采用本发明的一种Ceph对象存储的下载量统计方法，可以保证数据的实时性与准确性，方便使用者进行数据分析与负载均衡，完善radosgw-admin的输出内容，解决radosgw-admin中缺少数据统计接口的问题。

以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。

Claims (10)

1.一种Ceph对象存储的下载量统计方法，其特征在于,该方法利用Ceph对象存储中的radosgw-admin usage show命令可以统计用户以及桶信息的功能，在其查询结果中增加新的信息，用以统计对象存储桶内数据的下载量，

实现该方法需要进行的操作为：

步骤1、在radosgw-admin usage show的输出结果中添加两个字段：host和downloads，同时在用户使用s3cmd接口下载对象存储桶中的数据时，按照字节数实时统计下载量，并记录该桶所在服务端的host域名；

步骤2、将该host下桶内数据每次的下载量进行累加，记录到该host的key对应的value下；

步骤3、将用户对桶内对象的下载量按照桶所在的host域名进行分类与统计，最终添加到radosgw-admin的查询结果中进行展示。

2.根据权利要求1所述的一种Ceph对象存储的下载量统计方法，其特征在于，执行步骤1时，用户使用s3cmd接口下载对象存储桶中的数据时，记录该桶所在服务端的host域名，其具体操作为：

在用户向服务端发送数据的下载请求时，radosgw会根据保存该数据所在的桶，定位到具体的服务器，进而将该服务器的域名返回给用户的客户端，此时可以取到该服务器的域名信息，将取到的域名信息作为一个key，记录到一个持久化保存的map里，同时将该key对应的value值初始化为0。

3.根据权利要求2所述的一种Ceph对象存储的下载量统计方法，其特征在于，用户每在一个新的域名下载数据，就会在该map中新添加一个记录，但是，如果该域名对应的key值存在，则无需重复添加。

4.根据权利要求3所述的一种Ceph对象存储的下载量统计方法，其特征在于，执行步骤1时，在用户使用s3cmd接口下载对象存储桶中的数据时，按照字节数实时统计下载量，其具体操作为：

每次下载操作开始时，服务端会初始化一个变量用于统计本次下载数据所产生的流量信息，当下载操作结束时，该变量记录此次下载的总数据量。

5.根据权利要求4所述的一种Ceph对象存储的下载量统计方法，其特征在于，按照字节数实时统计下载量后，会产生一个本次下载数据总量的值，将该值累加进下载操作的host域名对应key的value中，即可以记录每次下载操作产生的数据总量。

6.根据权利要求1所述的一种Ceph对象存储的下载量统计方法，其特征在于，执行步骤1-步骤3时，如果用户的下载操作由于网络中断的原因失败后，服务端会记录已经传输完成的数据量，统计此次传输的具体流量值，添加进统计结果。

7.根据权利要求1所述的一种Ceph对象存储的下载量统计方法，其特征在于，执行步骤3时，将用户对桶内对象的下载量按照桶所在的host域名进行分类与统计，下载结束后，radosgw可以拿到下载的域名与数据量，将数据插入进radosgw-admin的输出结果中进行展示。

8.根据权利要求7所述的一种Ceph对象存储的下载量统计方法，其特征在于，radosgw-admin的输出结果以用户为单位，由于同一个用户会对多个域名内的数据进行下载操作，所以radosgw-admin usage show的输出结果是每个用户下都包含下载过数据的所有域名以及所有下载数据量的总和，此时，以域名为key，以下载量为value，添加进radosgw-admin的输出结果。

9.根据权利要求1-8中任一项所述的一种Ceph对象存储的下载量统计方法，其特征在于，radosgw-admin的usage日志中会记录所有展示信息的原始内容，实际输出时根据日志中的内容以及所指定的输出格式进行展示。

10.根据权利要求1-8中任一项所述的一种Ceph对象存储的下载量统计方法，其特征在于，该方法的具体应用流程为：

在服务器接收到统计下载量的请求时，

判断接收的请求是否为下载操作，

如果否，则执行与收到请求相对应的rados逻辑，随后结束，

如果是，则首先记录域名并开始统计下载量，

随后再判断下载是否成功，

如果下载成功，则表示下载量的统计结束，将下载量统计进域名对应的key下即可结束，

如果下载未成功，则首先记录已完成的下载量，随后将下载量统计进域名对应的key下，再结束。

Images