CN110008087A - 一种nvlink通信状态监测方法和装置 - Google Patents

Abstract

本发明公开了一种NVLINK通信状态监测方法和装置，该方法包括以下步骤：在通过NVLINK总线互联的多个处理器进行分布式计算时，获取需要监测的NVLINK总线在预设监测周期内的多个瞬时传输速率；利用剔除算法从多个瞬时传输速率中剔除干扰速率；以及根据剔除后剩余的瞬时传输速率构造拉格朗日插值公式并利用拉格朗日插值公式计算得出需要监测的NVLINK总线在预设监测周期内的传输速率曲线。本发明能够精确地实时监测NVLINK各个通道的收发字节数和通信速率，并且在执行本发明的方法时系统不会出现崩溃现象。

Description

一种NVLINK通信状态监测方法和装置

技术领域

本发明涉及计算机技术领域，更具体地，特别是指一种NVLINK通信状态监测方法和装置。

背景技术

随着计算机科学技术的发展，GPU在图形处理领域已经取得了飞速的发展，同时由于GPU的可编程性不断增强，GPU的应用能力已经远远超出了图形渲染任务的范畴。利用GPU完成通用计算的研究逐渐活跃起来，将GPU用于图形渲染以外领域的计算称为GPGPU(General Purpose computing on graphics processing units，基于GPU的通用计算)。近两年随着神经网络的兴起，使得GPU成为神经网络应用的一个主要芯片。在人工智能领域已经出现很多CPU+GPU架构的产品。

随着GPU技术的发展，并行计算计算量已经可以达到Tflops的级别，这也使得在进行分布式计算时CPU与GPU之间、GPU与GPU之间的通信成为主要的瓶颈。为此英伟达公司研发出了最新的NVLINK总线，其主要应用于CPU与GPU之间以及GPU与GPU之间的相互连接。NVLINK总线总共有六路，每路单方向传输速度最大可达25GB/s。同时，英伟达公司还提出了如下两种监测NVLINK通信状态的方法。

一、应用nvprof指令监测过程如下：

1.生成GPU可执行程序；

2.输入nvprof--metrics all+可执行程序；

3.在输出的各选项中可以看到NVLINK收发字节数和吞吐量等信息。

二、应用nvidia-smi指令监测过程如下：

1.生成GPU可执行程序；

2.输入nvidia nvlink–sc 0bz来对计数器进行初始化；

3.输入nvidia nvlink–g 0来显示NVLINK的各路通道收发字节数。

但是，上述现有的监测方法存在如下缺点：nvprof主要是通过收集程序运行的信息来对NVLINK通信链路进行监测，必须要等待程序执行完或者中途退出程序才能进行NVLINK通信状态的查看，且只能看整体信息，对于每路的收发字节数和收发速率无法进行查看；Nvidia-smi nvlink虽然能看每路通道的具体信息，但是不能够实时监测NVLINK的数据量和传输速率，而如果频繁调用Nvidia-smi nvlink命令很容易会导致系统崩溃。

另外，现有技术在监测NVLINK通信链路时，必须要在20ms或者更短的时间内完成。当数据在20ms之间的某一时刻进行传输时，测出的NVLINK传输速率则会与实际出现偏差从而导致测量不准。

综上，针对上述现有技术中存在的问题，本领域亟待需要一种能够精确地实时监测NVLINK各个通道的收发字节数和通信速率并且不会导致系统崩溃的方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种NVLINK通信状态监测方法和装置，能够解决现有NVLINK通信状态监测方案无法精确地实时监测NVLINK通信状态并记录通信时各个通道的收发字节数和通信速率以及频繁执行现有监测命令而导致系统崩溃等问题。

基于上述目的，本发明实施例的一方面提供了一种NVLINK通信状态监测方法，包括以下步骤：

在通过NVLINK总线互联的多个处理器进行分布式计算时，获取需要监测的NVLINK总线在预设监测周期内的多个瞬时传输速率；

利用剔除算法从多个瞬时传输速率中剔除干扰速率；以及

根据剔除后剩余的瞬时传输速率构造拉格朗日插值公式并利用拉格朗日插值公式计算得出需要监测的NVLINK总线在预设监测周期内的传输速率曲线。

在一些实施方式中，利用剔除算法从多个瞬时传输速率中剔除干扰速率进一步包括以下步骤：

计算多个瞬时传输速率中的一部分瞬时传输速率的平均值和均方差；和

将多个瞬时传输速率中的每一个减去平均值之后的值和均方差进行比较，响应于值大于均方差而剔除对应的瞬时传输速率。

在一些实施方式中，该方法还包括以下步骤：

编辑NVLINK监测命令并在NVLINK监测命令中设置监测参数；和

在通过NVLINK总线互联的多个处理器进行分布式计算时执行NVLINK监测命令，以根据监测参数监测需要监测的NVLINK总线传输的数据量。

在一些实施方式中，在NVLINK监测命令中设置监测参数进一步包括：设置监测计数器ID、监测单位以及NVLINK通信方式。

在一些实施方式中，根据监测参数监测需要监测的NVLINK总线传输的数据量进一步包括：利用监测计数器ID标识的监测计数器基于监测单位和NVLINK通信方式对需要监测的NVLINK总线传输的数据量进行计数。

在一些实施方式中，在NVLINK监测命令中设置监测参数进一步包括：设置指定时间间隔，指定时间间隔大于等于预设监测周期。

在一些实施方式中，在NVLINK监测命令中设置监测参数进一步包括设置记录文件名；并且该方法进一步包括以下步骤：

检测是否存在与记录文件名对应的记录文件；

响应于不存在记录文件而新建记录文件；和

每隔指定时间间隔将数据量的计数值和传输速率曲线记录到记录文件中。

在一些实施方式中，该方法进一步包括以下步骤：

每隔指定时间间隔将数据量的计数值和传输速率曲线显示给用户。

本发明实施例的另一方面，还提供了一种NVLINK通信状态监测装置，包括：

通过NVLINK总线互联的多个处理器；和

存储器，存储器存储有可在处理器上运行的计算机程序，处理器执行程序时执行上述的方法。

在一些实施方式中，多个处理器包括CPU和GPU。

本发明具有以下有益技术效果：本发明实施例提供的NVLINK通信状态监测方法和装置能够精确地实时监测NVLINK通信链路的情况并记录通信时各个通道的收发字节数和通信速率，并且本发明的方法不需频繁执行，例如，当监测数据量时，只要在处理器运行相关程序时向系统输入nvlink-monitor命令并设置好相关监测参数，系统就会自动监测并记录NVLINK通信链路的各个通道的收发字节数(传输数据量)，因此不会导致系统崩溃。另外，本发明在设置相关参数的情况下还可以显示当前NVLINK链路存在的GPU个数和GPU信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为根据本发明一个实施例的NVLINK通信状态监测方法的示意性流程图；和

图2为根据本发明一个实施例的NVLINK通信状态监测装置的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

基于上述目的，本发明实施例的第一个方面，提出了一种NVLINK通信状态监测方法的一个实施例。图1示出的是该方法的示意性流程图。

如图1中所示，该NVLINK通信状态监测方法可以包括以下步骤：

步骤S101，在通过NVLINK总线互联的多个处理器进行分布式计算时，获取需要监测的NVLINK总线在预设监测周期内的多个瞬时传输速率；

步骤S102，利用剔除算法从多个瞬时传输速率中剔除干扰速率；以及

步骤S103，根据剔除后剩余的瞬时传输速率构造拉格朗日插值公式并利用拉格朗日插值公式计算得出需要监测的NVLINK总线在预设监测周期内的传输速率曲线。

本发明采用插值法估算预设监测周期(例如，20ms或者更短的时间)内传输速度的“失真性”测量，从而更加精确地监测NVLINK的传输速率，也能够达到NVLINK传输速率平滑的作用。具体地，本发明使用拉格朗日插值算法来实现传输速率的插值，从而拟合NVLINK的传输速率曲线。另外，在进行拉格朗日插值算法之前，本发明需要剔除干扰较大的数据，以免对插值的拟合产生影响。

具体而言，首先，计算出在上述步骤S101中获取到的多个瞬时传输速率中的一部分瞬时传输速率的平均值和均方差，然后将多个瞬时传输速率中的每一个减去该平均值之后的值和该均方差进行比较，如果该值大于该均方差，则剔除对应于该值的瞬时传输速率。取剔除干扰数据后的n个瞬时传输速率(以三个为例)：

F(n1)＝x1；

F(n2)＝x2；

F(n3)＝x3；

接下来，计算拉格朗日基本多项式为：

L0(x)＝(x-n2)(x-n3)/(n1-n2)(n1-n3)；

L1(x)＝(x-n1)(x-n3)/(n2-n1)(n2-n3)；

L2(x)＝(x-n1)(x-n2)/(n3-n1)(n3-n2)；

然后应用拉格朗日插值法，可以构造出P的表达式为：

P(x)＝F(n1)L0(x)+F(n2)L1(x)+F(n3)L2(x)＝x1*(x-n2)(x-n3)/(n1-n2)(n1-n3)+x2*(x-n1)(x-n3)/(n2-n1)(n2-n3)+x3*(x-n1)(x-n2)/(n3-n1)(n3-n2)。

在本发明中，n的取值不宜过大，以免因上述算法过于复杂而影响监测数据的实时性。优选地，当n大于8时，即重新进行插值算法运算。

构造出上述插值公式后，即可以在需要查看具体观测点的通信速率时即可把观测点的时间偏移值(相对于基准点，即第一个监测到的有效数据所在的时间点)代入上述拉格朗日插值公式求出监测点的瞬时速率，所求出的所有监测点的瞬时速率可以形成上述传输速率曲线。

上述多个处理器可以包括CPU和GPU，例如，一个CPU搭配多个GPU的架构，其中，CPU通过NVLINK总线分别与多个GPU互联，多个GPU之间也通过NVLINK总线互联。在这种硬件计算环境下，当运行某种程序时，CPU与GPU之间、GPU与GPU之间会通过NVLINK总线进行数据交互。此时，执行上述方法便可以实时自动监测并记录NVLINK总线的传输速率曲线。

在一个优选实施例中，上述方法还可以包括以下步骤：编辑NVLINK监测命令并在NVLINK监测命令中设置监测参数；和在通过NVLINK总线互联的多个处理器进行分布式计算时执行NVLINK监测命令，以根据监测参数监测需要监测的NVLINK总线传输的数据量。

举例来说，上述方法可以在linux系统环境下执行。具体而言，当处理器运行相关程序时，首先在linux系统的terminal端向系统输入nvlink-monitor命令并在输入的nvlink-monitor命令后输入相关监测参数，然后执行nvlink-monitor命令，系统就会自动监测并记录NVLINK通信链路的各个通道的收发字节数(传输数据量)。

在本发明的范围内，执行上述方法的系统环境实际并不限于linux系统，而是可以扩展到Windows系统、UNIX系统等等任何适当的操作系统。本领域技术人员完全可以基于本发明的构思来实现相应的命令，而这并不脱离本发明的保护范围。

本发明的NVLINK通信状态监测方法可以精确地实时监测NVLINK通信状态并且记录通信时的收发字节数和传输速率并且不会导致系统崩溃。

在一个优选实施例中，本发明在NVLINK监测命令中设置监测参数的步骤进一步包括：设置监测计数器ID、监测单位以及NVLINK通信方式来对计数器进行初始化。例如，可以向系统输入nvlink-monitor–sc＝0bz(例如，其中0标识使用计数器0、b标识以bytes作为监测单位、z标识all traffic方式)。

在一个优选实施例中，本发明根据监测参数监测需要监测的NVLINK总线传输的数据量的步骤进一步包括：利用监测计数器ID标识的监测计数器基于监测单位和NVLINK通信方式对需要监测的NVLINK总线传输的数据量进行计数。

在一个优选实施例中，本发明在NVLINK监测命令中设置监测参数的步骤进一步包括：设置指定时间间隔，指定时间间隔大于等于预设监测周期，例如指定时间间隔可以为1000ms。本发明在NVLINK监测命令中设置监测参数的步骤进一步包括：设置记录文件名。在这种情况下，上述方法进一步包括以下步骤：检测是否存在与记录文件名对应的记录文件；响应于不存在记录文件而新建记录文件；和，每隔指定时间间隔将数据量的计数值和传输速率曲线记录到该记录文件中。例如，可以向系统输入nvlink-monitor-f＝record.txt(要记录的文件)–t＝1000(指定时间间隔，单位为ms)命令，则每隔1s系统会向record.txt记录文件输入数据量的计数值和传输速率曲线。

在一个优选实施例中，上述方法进一步包括以下步骤：每隔指定时间间隔将数据量的计数值和传输速率曲线显示给用户。

基于上述目的，本发明实施例的第二个方面，提出了一种NVLINK通信状态监测装置的一个实施例。该NVLINK通信状态监测装置可以包括：通过NVLINK总线互联的多个处理器；和存储器，存储器存储有可在处理器上运行的计算机程序，处理器执行程序时执行上述的方法。

如图2中所示，为本发明提供的执行上述方法的NVLINK通信状态监测装置的一个实施例的硬件结构示意图。

以如图2所示的NVLINK通信状态监测装置为例，在该NVLINK通信状态监测装置中包括处理器201以及存储器202，并还可以包括：输入装置203和输出装置204。处理器201、存储器202、输入装置203和输出装置204可以通过总线或者其他方式连接，图2中以通过总线连接为例。

处理器201可以包括CPU和GPU，例如，一个CPU搭配多个GPU的架构，其中，CPU通过NVLINK总线分别与多个GPU互联，多个GPU之间也通过NVLINK总线互联。在这种硬件计算环境下，当运行某种程序时，CPU与GPU之间、GPU与GPU之间会通过NVLINK总线进行数据交互。此时，该装置执行上述方法便可以实时自动监测并记录NVLINK总线传输的数据量和传输速率。

存储器202作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的NVLINK通信状态监测方法。

存储器202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据NVLINK通信状态监测方法的使用所创建的数据等。此外，存储器202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器202可选包括相对于处理器201远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置203可接收输入的数字或字符信息，以及产生与系统的用户设置以及功能控制有关的键信号输入。输出装置204可包括显示屏等显示设备。例如，用户可以利用输入装置203输入NVLINK监测命令和相关监测参数，利用输出装置204显示数据量的计数值和传输速率曲线。

所述方法对应的程序指令/模块存储在所述存储器202中，当被所述处理器201执行时，执行上述任意方法实施例中的方法。

所述NVLINK通信状态监测装置的任何一个实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(Read-Only Memory，ROM)或随机存取存储器(RandomAccess Memory，RAM)等。所述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

此外，根据本发明实施例公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本发明实施例公开的方法中限定的上述功能。

需要特别指出的是，上述装置的实施例采用了上述方法的实施例来具体说明各模块的工作过程，本领域技术人员能够很容易想到，将这些模块应用到所述方法的其他实施例中。另外，除了上述模块之外，该装置还可以包括能够实现上述所有方法实施例的步骤的模块或子模块。

此外，典型地，本发明实施例公开所述的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本发明实施例公开的保护范围不应限定为某种特定类型的系统、设备。

此外，上述方法步骤以及系统单元或模块也可以利用控制器以及用于存储使得控制器实现上述步骤或单元或模块功能的计算机程序的计算机可读存储介质实现。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现所述的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里所述功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。

结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器，使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中，所述存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中，处理器和存储介质可以作为分立组件驻留在用户终端中。

以上是本发明公开的示例性实施例，上述本发明实施例公开的顺序仅仅为了描述，不代表实施例的优劣。但是应当注意，以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子，在不背离权利要求限定的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

Claims (10)

1.一种NVLINK通信状态监测方法，其特征在于，包括以下步骤：

在通过NVLINK总线互联的多个处理器进行分布式计算时，获取需要监测的NVLINK总线在预设监测周期内的多个瞬时传输速率；

利用剔除算法从所述多个瞬时传输速率中剔除干扰速率；以及

根据剔除后剩余的瞬时传输速率构造拉格朗日插值公式并利用所述拉格朗日插值公式计算得出所述需要监测的NVLINK总线在所述预设监测周期内的传输速率曲线。

2.根据权利要求1所述的方法，其特征在于，所述利用剔除算法从所述多个瞬时传输速率中剔除干扰速率进一步包括以下步骤：

计算所述多个瞬时传输速率中的一部分瞬时传输速率的平均值和均方差；和

将所述多个瞬时传输速率中的每一个减去所述平均值之后的值和所述均方差进行比较，响应于所述值大于所述均方差而剔除对应的瞬时传输速率。

3.根据权利要求1所述的方法，其特征在于，还包括以下步骤：

编辑NVLINK监测命令并在所述NVLINK监测命令中设置监测参数；和

在通过所述NVLINK总线互联的所述多个处理器进行分布式计算时执行所述NVLINK监测命令，以根据所述监测参数监测所述需要监测的NVLINK总线传输的数据量。

4.根据权利要求3所述的方法，其特征在于，所述在所述NVLINK监测命令中设置监测参数进一步包括：设置监测计数器ID、监测单位以及NVLINK通信方式。

5.根据权利要求4所述的方法，其特征在于，所述根据所述监测参数监测所述需要监测的NVLINK总线传输的数据量进一步包括：利用所述监测计数器ID标识的监测计数器基于所述监测单位和所述NVLINK通信方式对所述需要监测的NVLINK总线传输的数据量进行计数。

6.根据权利要求3所述的方法，其特征在于，所述在所述NVLINK监测命令中设置监测参数进一步包括：设置指定时间间隔，所述指定时间间隔大于等于所述预设监测周期。

7.根据权利要求6所述的方法，其特征在于，所述在NVLINK监测命令中设置监测参数进一步包括设置记录文件名；并且所述方法进一步包括以下步骤：

检测是否存在与所述记录文件名对应的记录文件；

响应于不存在所述记录文件而新建记录文件；和

每隔所述指定时间间隔将所述数据量的计数值和所述传输速率曲线记录到所述记录文件中。

8.根据权利要求6所述的方法，其特征在于，进一步包括以下步骤：

每隔所述指定时间间隔将所述数据量的计数值和所述传输速率曲线显示给用户。

9.一种NVLINK通信状态监测装置，包括：

通过NVLINK总线互联的多个处理器；和

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-8中任意一项所述的方法。

10.根据权利要求9所述的装置，其特征在于，所述多个处理器包括CPU和GPU。