CN114124715A - 带宽确定方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种带宽确定方法、装置、电子设备及存储介质，该方法包括：基于预设条带深度分割传送数据，获得多个数据大小相等的条带数据；在每次传送完成一个条带数据时，向计数器发送第一计数信号，所述条带数据为所述传送数据经过分割后的数据块；基于所述计数器中所述第一计数信号的计数确定用户的带宽。能够解决目前计算带宽准确度低的问题。

Description

带宽确定方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机存储领域，具体而言，涉及一种带宽确定方法、装置、电子设备及存储介质。

背景技术

目前在采用分布式存储中的对象存储方式来实现数据存储业务时，主要基于以下存储侧计算带宽和客户端侧计算带宽的两种方式来计算带宽。在存储侧计算带宽的方式中会统计整个系统的整体带宽，其中包含了其他功能所耗用的带宽，而在客户端侧计算带宽中，在待处理文件数据量较大，且与面向对象存储方式所允许的最大带宽相差较大时，带宽计算结果与实际结果有偏差，因此存在计算带宽准确度低的问题。

发明内容

本申请实施例的目的在于提供一种带宽确定方法、装置、电子设备及存储介质，用以解决目前计算带宽准确度低的问题。

第一方面，本申请实施例提供一种带宽确定方法，包括：

基于预设条带深度分割传送数据，获得多个数据大小相等的条带数据；

在每次传送完成一个条带数据时，向计数器发送第一计数信号，所述条带数据为所述传送数据经过分割后的数据块；

基于所述计数器中所述第一计数信号的计数确定用户的带宽。

在上述实现过程中，基于条带深度对传送数据进行分割，将传送数据划分为多个较小的基本单元，并通过计数器中的计数统计计数时间内传送基本单元的数量，从而进行统计以得到带宽，在传送文件较大时可以大幅误差率，提高计算带宽的准确度。

可选地，所述基于所述计数器中所述第一计数信号的计数确定用户的带宽包括：

统计所述计数器在一个计数周期内接收的所述第一计数信号的数量；

基于所述条带深度和所述第一计数信号的数量确定一个计数周期内传送的总数据量；

基于所述总数据量确定所述用户单位时间内的带宽。

在上述实现过程中，通过将待处理的数据划分为多个相同大小的数据块，每处理完一个数据块时并向计数器发送一个计数信号，由此可以仅通过计数信号统计处理的数据量，从而能够避免统计到存储系统其他功能占用的带宽吗，以及在处理大文件时避免在一个计数周期中文件未处理完导致统计的实时带宽为0的问题，提高了统计用户带宽的准确性。

可选地，所述在每次传送完成一个条带数据时，向计数器发送第一计数信号还包括：

在传送完成剩余数据时，向计数器发送第二计数信号，所述第二计数信号包括所述剩余数据的大小，所述剩余数据为所述传送数据在基于所述预设条带深度进行分割后，最后一段不足条带深度大小的数据；

基于所述计数器中所述第一计数信号确定用户的带宽包括：

统计所述计数器中一个计数周期内所述第一计数信号的数量；

基于所述条带深度、所述第一计数信号的数量和所述第二计数信号确定一个计数周期内传送的总数据量；

基于所述总数据量确定所述用户单位时间内的带宽。

在上述实现过程中，通过第二计数信号发送剩余数据的大小，从而能够解决数据不能被划分为整数个条带的问题，从而能够提高计算带宽的应用灵活度。

可选地，在所述基于预设条带深度分割传送数据之前，所述方法还包括：

基于传送数据的最大速率设置所述条带深度。

可选地，在所述基于预设条带的大小分割传送数据之前，所述方法还包括：

获取多个用户信息；

匹配每个所述用户信息对应的计数器。

可选地，在所述匹配每个所述用户信息与所述计数器后，所述方法还包括：

接收带宽查询请求，所述带宽查询请求中包括所述用户信息；

从与所述用户信息对应的所述计数器中获取并返回所述用户的带宽信息。

在上述实现过程中，可以同时统计多个用户的带宽信息，基于带宽查询请求中的用户信息返回与用户对应的带宽信息，从而能够提高查询效率。

可选地，所述条带深度范围为3兆至5兆，所述计数周期的范围为1秒至5秒。

在上述实现过程中，将带宽深度设置为3兆至5兆为适当的范围，可以保证在一个计数周期中至少传送一个条带数据，还可以防止条带深度过小而导致计数过于频繁的问题。

第二方面，本申请实施例提供一种带宽确定装置，包括：

分割模块，用于基于预设条带深度分割传送数据，获得多个数据大小相等的条带数据；

信号发送模块，用于在每次传送完成一个条带数据时，向计数器发送第一计数信号，所述条带数据为所述传送数据经过分割后的数据块；

统计模块，用于基于所述计数器中所述第一计数信号的计数确定用户的带宽。

在上述实现过程中，基于条带深度对传送数据进行分割，将传送数据划分为多个较小的基本单元，并通过计数器中的计数统计计数时间内传送基本单元的数量，从而进行统计以得到带宽，在传送文件较大时可以大幅误差率，提高计算带宽的准确度。

可选地，统计模块可具体用于：

统计所述计数器在一个计数周期内接收的所述第一计数信号的数量；基于所述条带深度和所述第一计数信号的数量确定一个计数周期内传送的总数据量；基于所述总数据量确定所述用户单位时间内的带宽。

在上述实现过程中，通过将待处理的数据划分为多个相同大小的数据块，每处理完一个数据块时并向计数器发送一个计数信号，由此可以仅通过计数信号统计处理的数据量，从而能够避免统计到存储系统其他功能占用的带宽吗，以及在处理大文件时避免在一个计数周期中文件未处理完导致统计的实时带宽为0的问题，提高了统计用户带宽的准确性。

可选地，信号发送模块还可用于：在传送完成剩余数据时，向计数器发送第二计数信号，所述第二计数信号包括所述剩余数据的大小，所述剩余数据为所述传送数据在基于所述预设条带深度进行分割后，最后一段不足条带深度大小的数据。

统计模块还可用于：

统计所述计数器中一个计数周期内所述第一计数信号的数量；基于所述条带深度、所述第一计数信号的数量和所述第二计数信号确定一个计数周期内传送的总数据量；基于所述总数据量确定所述用户单位时间内的带宽。

在上述实现过程中，通过第二计数信号发送剩余数据的大小，从而能够解决数据不能被划分为整数个条带的问题，从而能够提高计算带宽的应用灵活度。

可选地，带宽确定装置还可以包括：

带宽深度预设模块，用于基于传送数据的最大速率设置所述条带深度。

可选地，带宽确定装置还可以包括：

获取模块，用于获取多个用户信息。

匹配模块，用于匹配每个所述用户信息对应的计数器。

可选地，带宽确定装置还可以包括：

接收模块，用于接收带宽查询请求，所述带宽查询请求中包括所述用户信息。

返回模块，用于从与所述用户信息对应的所述计数器中获取并返回所述用户的带宽信息。

在上述实现过程中，可以同时统计多个用户的带宽信息，基于带宽查询请求中的用户信息返回与用户对应的带宽信息，从而能够提高查询效率。

第三方面，本申请实施例提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的带宽确定方法的步骤示意图；

图2为本申请实施例提供的一种确定用户带宽的步骤示意图；

图3为本申请实施例提供测量多个用户带宽的步骤示意图；

图4为本申请实施例提供的一种带宽确定装置的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

申请人在研究的过程中发现，目前在采用分布式存储中的对象存储方式来实现数据存储业务时，主要基于以下存储侧计算带宽和客户端侧计算带宽的两种方式来计算带宽。

在存储侧计算带宽的方式中，基于存储系统本身提供的带宽统计功能进行带宽统计，但存储系统统计的带宽是整个系统的整体带宽，整体带宽中既包括实现数据处理业务(例如上传文件或者下载文件)所使用的部分带宽，还包括存储系统其他功能所耗用的带宽，例如，垃圾回收机制所耗用的带宽，或者数据重分布所耗用的带宽等。

在客户端侧计算带宽的方式中，可以在客户端侧基于压测工具(例如cosbench)来计算带宽，计算方式为待处理数据(例如上传文件或者下载文件)的大小除以传输时间，其中，传输时间的计算方法为压测工具上次刷新时间到压测工具收到存储响应的时间。但在用户需要上传一个大体积的数据时，如面向对象存储的最大带宽为100兆/每秒(M/s)，用户需要上传1000兆(Mbyte，M)的文件，此时理论上需要10s才可以完成，即在第10s时压测工具才会收到来自存储端反馈的信号(该信号用于告知客户端文件已传输完毕)，但是压测工具统计数据为2s一次，因此，对于[0s,8s]大时间区间内包含的四个时间子区间[0,2s]、[2s,4s]、[4s,6s]以及[6s,8s]，压测工具所反映出来的实时带宽均为0；而在[8s,10s]区间，压测工具所反映出来的实时带宽为500M/s，与实际带宽不符合。因此，在目前计算带宽的技术中存在计算带宽准确度低的问题。

因此，本申请实施例提供一种带宽确定方法，基于将传送数据划分为条带数据的方式提高计算带宽的准确度。请参看图1，图1为本申请实施例提供的带宽确定方法的步骤示意图，该方法可以包括如下步骤：

在步骤S11中，基于预设条带深度分割传送数据，获得多个数据大小相等的条带数据。

其中，条带深度为一个条带数据块的大小，可以将条带深度预先设置为1M，2M等，可以根据传送数据的大小设置条带深度以将传送数据划分为整数个条带，也可以根据传送数据的最大速率确定条带深度。

在步骤S12中，在每次传送完成一个条带数据时，向计数器发送第一计数信号，所述条带数据为所述传送数据经过分割后的数据块。

在步骤S13中，基于所述计数器中所述第一计数信号的计数确定用户的带宽。

示例性地，在计数器接收到第一计数信号时，则将计数加1，在传送数据传送完毕时，读取计数器中的计数，将计数与每个条带深度相乘以得到传送的总数据量，以总数据量除以一个计数周期的时长，便能得到单位时间内的带宽，本申请实施例中的单位时间为1秒。

其中，本申请实施例提供的带宽确定方法可以应用于分布式存储系统，并在分布式存储系统的存储侧执行。

由此可见，本申请实施例基于条带深度对传送数据进行分割，将传送数据划分为多个较小的基本单元，并通过计数器中的计数统计计数时间内传送基本单元的数量，从而进行统计以得到带宽，在传送文件较大时可以大幅误差率，提高计算带宽的准确度。

在一可选的实施例中，对于步骤S13，本申请实施例提供一种确定用户带宽的实施流程，请参看图2，图2为本申请实施例提供的一种确定用户带宽的步骤示意图，确定用户带宽的步骤可以包括：

在步骤S131中，统计所述计数器在一个计数周期内接收的所述第一计数信号的数量。

在步骤S132中，基于所述条带深度和所述第一计数信号的数量确定一个计数周期内传送的总数据量。

在步骤S133中，基于所述总数据量确定所述用户单位时间内的带宽。

由此可见，本申请实施例中通过将待处理的数据划分为多个相同大小的数据块，每处理完一个数据块时并向计数器发送一个计数信号，由此可以仅通过计数信号统计处理的数据量，从而能够避免统计到存储系统其他功能占用的带宽吗，以及在处理大文件时避免在一个计数周期中文件未处理完导致统计的实时带宽为0的问题，提高了统计用户带宽的准确性。

可选地，在实际统计带宽时可能会有数据不能被划分为整数个条带的问题，因此，本申请实施例还提供一种解决数据不能被划分为整数个条带的实施方案，具体地，步骤S12还可以包括在传送完成剩余数据时，向计数器发送第二计数信号，所述第二计数信号包括所述剩余数据的大小，所述剩余数据为所述传送数据在基于所述预设条带深度进行分割后，最后一段不足条带深度大小的数据；

在数据不能被划分为整数个条带时，步骤S13可以具体包括：

统计所述计数器中一个计数周期内所述第一计数信号的数量；基于所述条带深度、所述第一计数信号的数量和所述第二计数信号确定一个计数周期内传送的总数据量；基于所述总数据量确定所述用户单位时间内的带宽。

具体地，在计算总数据量时，计数器每接收到一个第一计数信号，则将计数加1，在接收到第二计数信号时，则表示传送数据传送完毕，通过读取计数器中的计数，计算计数与每个条带深度相乘的结果，并与第二计数信号中剩余数据的大小相加以得到传送的总数据量，以总数据量除以一个计数周期的时长，便能得到单位时间内的带宽。

由此可见，本申请实施例中通过第二计数信号发送剩余数据的大小，从而能够解决数据不能被划分为整数个条带的问题，从而能够提高计算带宽的应用灵活度。

在一可选的实施例中，本申请还可以同时测量多个用户的带宽，请参看图3，图3为本申请实施例提供测量多个用户带宽的步骤示意图，测量多个用户带宽的流程可以包括如下步骤：

在步骤S31中，获取多个用户信息。

在步骤S32中，匹配每个所述用户信息对应的计数器。

在步骤S33中，接收带宽查询请求，所述带宽查询请求中包括所述用户信息。

在步骤S34中，从与所述用户信息对应的所述计数器中获取并返回所述用户的带宽信息。

示例性地，可以在存储系统中设置多个存储节点，通过监视器向每个存储节点发送带宽统计指令，并汇总每个存储节点的带宽信息，计算存储系统中各个用户的带宽信息，并基于接收的用户信息返回对应的带宽信息。

由此可见，本申请实施例可以同时统计多个用户的带宽信息，基于带宽查询请求中的用户信息返回与用户对应的带宽信息，从而能够提高查询效率。

示例性地，本申请实施例中的条带深度范围可以设置为3兆至5兆，所述计数周期的范围可以设置为1秒至5秒。基于先验知识将带宽深度设置为3兆至5兆为适当的范围，可以保证在一个计数周期中至少传送一个条带数据，还可以防止条带深度过小而导致计数过于频繁的问题。

基于同一发明构思，本申请实施例还提供一种带宽确定装置40，请参看图4，图4为本申请实施例提供的一种带宽确定装置的示意图，该带宽确定装置40可以包括：

分割模块41，用于基于预设条带深度分割传送数据，获得多个数据大小相等的条带数据。

信号发送模块42，用于在每次传送完成一个条带数据时，向计数器发送第一计数信号，所述条带数据为所述传送数据经过分割后的数据块。

统计模块43，用于基于所述计数器中所述第一计数信号的计数确定用户的带宽。

可选地，统计模块43可具体用于：

统计所述计数器在一个计数周期内接收的所述第一计数信号的数量；基于所述条带深度和所述第一计数信号的数量确定一个计数周期内传送的总数据量；基于所述总数据量确定所述用户单位时间内的带宽。

可选地，信号发送模块42还可用于：在传送完成剩余数据时，向计数器发送第二计数信号，所述第二计数信号包括所述剩余数据的大小，所述剩余数据为所述传送数据在基于所述预设条带深度进行分割后，最后一段不足条带深度大小的数据。

统计模块43还可用于：

统计所述计数器中一个计数周期内所述第一计数信号的数量；基于所述条带深度、所述第一计数信号的数量和所述第二计数信号确定一个计数周期内传送的总数据量；基于所述总数据量确定所述用户单位时间内的带宽。

可选地，带宽确定装置40还可以包括：

带宽深度预设模块，用于基于传送数据的最大速率设置所述条带深度。

可选地，带宽确定装置40还可以包括：

获取模块，用于获取多个用户信息。

匹配模块，用于匹配每个所述用户信息对应的计数器。

可选地，带宽确定装置40还可以包括：

接收模块，用于接收带宽查询请求，所述带宽查询请求中包括所述用户信息。

返回模块，用于从与所述用户信息对应的所述计数器中获取并返回所述用户的带宽信息。

基于同一发明构思，本申请实施例还提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。

基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。

所述计算机可读存储介质可以是随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等各种可以存储程序代码的介质。其中，存储介质用于存储程序，所述处理器在接收到执行指令后，执行所述程序，本发明实施例任一实施例揭示的过程定义的电子终端所执行的方法可以应用于处理器中，或者由处理器实现。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。

所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种带宽确定方法，其特征在于，包括：

基于预设条带深度分割传送数据，获得多个数据大小相等的条带数据；

在每次传送完成一个条带数据时，向计数器发送第一计数信号，所述条带数据为所述传送数据经过分割后的数据块；

基于所述计数器中所述第一计数信号的计数确定用户的带宽。

2.根据权利要求1所述的方法，其特征在于，所述基于所述计数器中所述第一计数信号的计数确定用户的带宽包括：

统计所述计数器在一个计数周期内接收的所述第一计数信号的数量；

基于所述条带深度和所述第一计数信号的数量确定一个计数周期内传送的总数据量；

基于所述总数据量确定所述用户单位时间内的带宽。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在传送完成剩余数据时，向计数器发送第二计数信号，所述第二计数信号包括所述剩余数据的大小，所述剩余数据为所述传送数据在基于所述预设条带深度进行分割后，最后一段不足条带深度大小的数据；

所述基于所述计数器中所述第一计数信号确定用户的带宽包括：

统计所述计数器中一个计数周期内所述第一计数信号的数量；

基于所述条带深度、所述第一计数信号的数量和所述第二计数信号确定一个计数周期内传送的总数据量；

基于所述总数据量确定所述用户单位时间内的带宽。

4.根据权利要求1所述的方法，其特征在于，在所述基于预设条带深度分割传送数据之前，所述方法还包括：

基于传送数据的最大速率设置所述条带深度。

5.根据权利要求1所述的方法，其特征在于，在所述基于预设条带的大小分割传送数据之前，所述方法还包括：

获取多个用户信息；

匹配每个所述用户信息对应的计数器。

6.根据权利要求5所述的方法，其特征在于，在所述匹配每个所述用户信息对应的计数器后，所述方法还包括：

接收带宽查询请求，所述带宽查询请求中包括所述用户信息；

从与所述用户信息对应的所述计数器中获取并返回所述用户的带宽信息。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述条带深度范围为3兆至5兆，所述计数周期的范围为1秒至5秒。

8.一种带宽确定装置，其特征在于，包括：

分割模块，用于基于预设条带深度分割传送数据，获得多个数据大小相等的条带数据；

信号发送模块，用于在每次传送完成一个条带数据时，向计数器发送第一计数信号，所述条带数据为所述传送数据经过分割后的数据块；

统计模块，用于基于所述计数器中所述第一计数信号的计数确定用户的带宽。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-6中任一项所述方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-6任一项所述方法中的步骤。

Images