CN115658370A - 一种基于编译器的机器学习加速芯片故障实时探测方法 - Google Patents

Abstract

本发明涉及一种基于编译器的机器学习加速芯片故障实时探测方法，包括以下步骤：T1、编译期，通过编译器对机器学习模型源代码的执行过程进行分析，针对机器学习模型执行过程使用到的各个计算单元生成随机计算的测试指令，将测试指令直接嵌入到机器学习模型各个计算单元中，模拟运行机器学习模型，获得机器学习模型全部测试指令预期校验和并记录，编译得到机器学习模型可执行文件；T2、运行时，嵌入式设备通过驱动软件加载机器学习模型可执行文件，实际运行机器学习模型，获得机器学习模型全部计算单元实际校验和，并和记录的机器学习模型全部计算单元预期校验和进行比较判断出现机器学习加速芯片硬件故障。有益效果是高故障检出率、低检测开销。

Description

一种基于编译器的机器学习加速芯片故障实时探测方法

【技术领域】

本发明涉及计算机技术领域，具体涉及一种基于编译器的机器学习加速芯片故障实时探测方法。

【背景技术】

机器学习加速芯片，包含基本模块处理元件(PE，即计算单元)二维阵列，每个PE以单指令多数据(SIMD)方式执行一组算术计算，每个PE中有乘加单元(MAC)以及每个PE专用的core memory，包括用于SIMD操作的多个计算通道；PE二维阵列中包含一个共享存储单元(主要负责参数值weight和激活值activation的存储)，主要用于存储模型激活、部分结果和输出，可以供所有PE访问；每个周期的机器学习模型计算结果要么存储在PE内存中以供进一步计算，要么卸载回DRAM(系统内存)。

在一些安全相关的应用场景中，例如智能驾驶，国际标准(如ISO26262)要求系统层面具备运行期间对硬件故障的实时探测机制，该机制需要满足一定的故障检出率要求。进行实际的系统设计时，面临的困难主要是难以同时满足高故障检出率和低检测开销。

传统方案一般通过两种手段来满足故障探测的要求：

1.芯片硬件本身做一些故障自检的支持，自检电路来确保一轮自检中能覆盖到所有感兴趣的硬件模块。运行期间利用硬件提供的能力来周期性地做故障自检。这种方案的问题是芯片本身会由于自检电路而增加一定的功耗/面积，并且对于设计阶段没有考虑到自检机制的芯片来说这种方案无法实施。

2.随芯片提供独立的软件测试库。该软件库一般运行在可信的安全处理器上，系统中周期性地调用测试库，根据测试结果判断是否出现硬件故障。这种方案的主要问题是引入的系统开销比较大，通常只用这种方案来做内存相关的故障自检，而计算逻辑相关的故障自检由于组合情况太多难以用软件进行覆盖同时保持低系统延迟。

本发明针对硬件故障实时探测难以同时满足高故障检出率和低检测开销的技术问题，对机器学习加速芯片故障实时探测方法进行了技术改进。

【发明内容】

本发明的目的是，提供一种高故障检出率、低检测开销的机器学习加速芯片故障实时探测方法。

为实现上述目的，本发明采取的技术方案是一种基于编译器的机器学习加速芯片故障实时探测方法，包括以下步骤：

T1、编译期，通过编译器对机器学习模型源代码的执行过程进行分析，针对机器学习模型执行过程使用到的各个计算单元生成随机计算的测试指令，将测试指令直接嵌入到机器学习模型各个计算单元中，模拟运行机器学习模型，执行机器学习模型各个计算单元测试指令，在先执行测试指令随机计算结果作为在后执行测试指令随机计算参数，获得机器学习模型全部测试指令预期校验和并记录，编译得到机器学习模型可执行文件；

T2、运行时，嵌入式设备通过驱动软件加载机器学习模型可执行文件，实际运行机器学习模型，执行机器学习模型各个计算单元测试指令，在先执行测试指令随机计算结果作为在后执行测试指令随机计算参数，获得机器学习模型全部测试指令实际校验和，并和记录的机器学习模型全部测试指令预期校验和进行比较，不一致时说明运行过程中出现了机器学习加速芯片硬件故障。

优选地，所述测试指令由校验和导入子指令、随机计算子指令和校验和存储子指令组成；所述校验和导入子指令将机器学习加速芯片片外内存校验和寄存器中的校验和加载到机器学习加速芯片被测计算单元片上内存中；所述随机计算子指令使用机器学习加速芯片被测计算单元，以机器学习加速芯片被测计算单元片上内存中的校验和作为输入，进行一次随机计算；所述校验和存储子指令将运行计算子指令的计算结果作为更新后的校验和写回到机器学习加速芯片片外内存校验和寄存器中。

优选地，所述测试指令初始校验和为一个不为零的随机数，所述随机计算子指令随机计算公式为：加载校验和*运算符*运算数＝写回校验和，其中，“*”为连续符号，无实际运算含义。

优选地，所述运算符是随机产生的运算符，所述运算数是随机产生的运算数。

优选地，步骤T1：对机器学习模型每个计算单元执行时间分别进行时间统计，每隔固定时间插入一组测试指令；在机器学习模型全部计算单元指令序列末尾，对机器学习模型每个计算单元剩余的未插入测试指令的执行时间，补上测试指令。

优选地，步骤T1编译期执行以下子步骤：

S1、编译器对机器学习模型源代码进行解析，逐步编译变换/优化到接近底层硬件的一层中间表示IR2；

S2、对IR2进行分析，基于机器学习加速芯片硬件性能模型得到执行IR2中每一条机器学习模型计算单元指令需要占用的机器学习加速芯片计算单元以及每个计算单元需要的执行时间；

S3、基于IR2分析的结果生成和插入测试指令，并模拟执行获得机器学习模型全部测试指令预期校验和，进一步编译得到机器学习模型可执行文件。

优选地，步骤S2：所述机器学习加速芯片硬件性能模型是基于硬件设计原理进行推导的软件程序，或者是将IR2中的每一条机器学习模型计算单元指令实际编译成硬件机器码发送到嵌入式设备上执行得到的真实结果。

优选地，步骤T2运行时执行以下子步骤：

S4、嵌入式设备通过驱动软件加载机器学习模型可执行文件时，提取机器学习模型全部测试指令预期校验和，并作为全局变量存储在嵌入式设备内存中；

S5、嵌入式设备运行机器学习模型时，由驱动软件将嵌入式设备内存进行初始化，产生校验和寄存器用于存储测试指令每次运行产生的实际校验和，启动机器学习模型，测试指令对嵌入式设备内存校验和寄存器存储的实际校验和进行累计更新获得机器学习模型全部测试指令实际校验和；

S6：机器学习模型每次运行完成后向驱动软件发出同步请求，驱动软件接受到同步请求后，读取嵌入式设备内存校验和寄存器中的机器学习模型全部测试指令实际校验和，并与步骤S4中提取的机器学习模型全部测试指令预期校验和进行对比，如果二者不一致，说明此次机器学习模型运行过程中出现了机器学习加速芯片硬件故障，此次机器学习模型推理结果不可信。

优选地，步骤T2运行时还执行以下子步骤：

S7：当步骤S6中检测到机器学习加速芯片硬件故障，向嵌入式设备应用软件上报异常，由异常处理模块进行处理。

本发明一种基于编译器的机器学习加速芯片故障实时探测方法有益效果如下：通过在编译模型时对模型的执行过程进行分析，有针对性地生成测试模式(test pattern)，执行这些测试模式的指令会直接嵌入到模型的编译结果中；最终模型运行期间伴随着运行过程会实时更新测试模式的执行结果，驱动软件对此结果进行监测即可实现对硬件随机故障的探测；相对与传统方法，优点主要体现在：1、不需要硬件自检电路支持，完全复用正常运行模型时使用到的硬件；2、不需要单独的软件测试库，免除了基于软件测试库进行故障探测二次开发的工作；3、基于模型的特点自适应地生成合适的测试模式，对模型使用的硬件计算资源覆盖程度较高。

【附图说明】

图1是一种基于编译器的机器学习加速芯片故障实时探测方法编译期视角流程图。

图2是一种基于编译器的机器学习加速芯片故障实时探测方法测试指令生成示例图。

图3是一种基于编译器的机器学习加速芯片故障实时探测方法运行时视角流程图。

【具体实施方式】

下面将详细描述本发明的各个方面的特征和示例性实施例。在下面的详细描述中，提出了许多具体细节，以便提供对本发明的全面理解。但是对于本领域技术人员来说很明显的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明的更好的理解。本发明决不限于下面所提出的任何具体配置和算法，而是在不脱离本发明构思的前提下覆盖了元素、部件和算法的任何修改、替换和改进。在附图和下面的描述中，没有示出公知的结构和技术，以便避免对本发明造成不必要的模糊。

实施例

本实施例实现一种基于编译器的机器学习加速芯片故障实时探测方法。

本实施例通过在编译机器学习模型时对模型的执行过程进行分析，有针对性地生成测试模式(test pattern)，执行这些测试模式的指令会直接嵌入到模型的编译结果中；最终机器学习模型运行期间伴随着运行过程会实时更新测试模式的执行结果，驱动软件对此结果进行监测即可实现对硬件随机故障的探测。

一、本实施例涉及术语与概念解释：

本实施例方法需要在编译期与运行时协同。

编译期用到的编译器软件通常离线运行在服务器或者个人电脑主机上，用于在开发阶段将机器学习模型源代码转换成嵌入式设备上的可执行文件。

运行时泛指所有最终部署到嵌入式设备上的软件。包括通过上述编译器转换得到的应用软件，也包括嵌入式设备上自带的芯片驱动等底层软件。

中间表示(IR，intermediate representation)，模型在编译器中的表达形式。

二、本实施例方法结构要素

从技术要素的视角，本实施例方法主要涉及以下技术组件：

1.编译器：在原本的编译器软件中，在各种优化和代码生成完成以后，需要对产生的代码进行分析，并基于分析结果插入测试指令序列，得到插桩后的代码序列。此处的代码指比较靠近底层的中间表示。具体的分析和插入过程见本实施例方法步骤S3。编译器会自动分配和映射机器学习模型机器码到机器学习加速芯片的计算单元，因此，本实施例机器学习模型计算单元指机器码分配和映射指向的机器学习加速芯片计算单元。

2.运行时：

本实施例方法运行时的模块实现在芯片的驱动底层软件中，主要包括以下组成部分：

a)程序装载器：在加载机器学习模型时，负责从可执行文件中提取出校验和参考值。

b)程序启动器：在调用机器学习模型之前，负责初始化内存中的校验和。

c)同步接受器：在机器学习模型处理完一组数据后，负责检查校验和是否符合预期。

本实施例所述校验和，是编译器对机器学习模型各个计算单元插入随机计算，然后对插入的随机计算结果进行累加计算；编译期，模拟机器学习模型所有计算单元累加计算结果就是预期校验和；运行时，机器学习模型所有计算单元实际累加计算结果就是实际校验和。

三、本实施例方法流程

图1是一种基于编译器的机器学习加速芯片故障实时探测方法编译期视角流程图。如附图1所示，本实施例方法编译期执行以下步骤：

S1：编译器对源代码进行解析，导入中间表示IR1，并逐步编译变换/优化到接近底层硬件的另一层中间表示IR2。

S2：对IR2进行分析，基于硬件性能模型得到执行IR2中每一条指令需要占用的硬件资源以及需要的执行时间。此处用到的硬件性能模型可以是一段程序(基于硬件设计原理进行推导)，也可以是将IR2中的每一条指令实际编译成硬件机器码，发送到嵌入式设备上执行得到的真实信息。

S3：基于IR2分析的结果生成和插入测试指令。核心思想是对于在模型执行过程中用到的硬件资源，每隔一段固定的时间，就需要对其进行测试，检查功能是否正常。

图2是一种基于编译器的机器学习加速芯片故障实时探测方法测试指令生成示例图。如附图2所示，这里结合例子进行说明，假设一个模型经过编译器的代码生成，在S2中得到3条指令，顺序地调用计算单元PE1执行3毫秒，调用计算单元PE2执行2ms，调用计算单元PE3执行3ms。假设目标是每隔2ms对计算资源进行一次检查(实际间隔可调)，则对每个计算单元分别进行时间统计，每隔2ms插入一组测试指令。在指令序列末尾，对每个计算单元剩余的未测试执行时间四舍五入，补上测试指令。

测试指令由3组指令构成：a.将内存中的校验和加载到芯片的片上存储介质中。b.使用被测计算单元，以片上内存介质中的校验和作为输入，进行一次随机计算。c.将上述b的计算结果作为更新后的校验和写回到a中原来的片外内存中。

本实施例测试指令初始校验和为一个不为零的随机数。

本实施例随机计算，由运算符和运算数组成，优选方式每一条测试指令随机运算的运算符和运算数都是随机产生的运算符和随机产生的运算数，这样产生的校验和能够有效防止不当篡改、对硬件功能的检验更加有效。

以上测试指令完成一次对内存中的校验和的更新。编译器在进行S3时还需要模拟以上指令b的计算过程，得到预期的校验和更新结果。整个模型需要对内存中的校验和进行多次更新，编译器通过模拟得到累计的更新结果。最终的校验和结果记录在可执行文件中。

图3是一种基于编译器的机器学习加速芯片故障实时探测方法运行时视角流程图。如附图3所示，本实施例方法运行时执行以下步骤：

S4：离线编译得到的可执行文件在嵌入式设备中进行装载时，需要提取S3中通过模拟计算得到的累计校验和预期值。提取得到的结果作为全局变量存储在软件的运行内存中。

S5：应用软件调用芯片驱动接口启动模型运行时，由驱动程序负责将一块内存进行初始化，并用来存储此次运行产生的实际校验和。模型启动后，编译期插入的测试指令会对这块内存的数据进行累计更新。

S6：模型处理完一批数据后，会向驱动程序发出同步请求。驱动程序接受到同步请求后，读取内存中的校验和实际值，并与S4中提取的预期值进行对比。如果二者不一致，说明此次运行过程中出现了硬件故障，对应的模型推理结果不可信。

S7：当S6中检测到模型故障，需要向应用软件上报异常，由异常处理模块对故障进行恰当处理。

本实施例有以下技术特征：

1、在编译期根据模型特点生成自适应测试模式。

2、将测试模式插桩到编译结果中，将故障探测与功能运行结合在一起。

3、在驱动软件中对实时测试结果进行监控。

相对与传统方法，本实施例具备的优点主要体现在：

1、不需要硬件自检电路支持，完全复用正常运行模型时使用到的硬件。

2、不需要单独的软件测试库，免除了基于软件测试库进行故障探测二次开发的工作。

3、基于模型的特点自适应地生成合适的测试模式，对模型使用的硬件计算资源覆盖程度较高。

本领域普通技术人员可以理解，实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。

Claims (9)

1.一种基于编译器的机器学习加速芯片故障实时探测方法，其特征在于包括以下步骤：

T1、编译期，通过编译器对机器学习模型源代码的执行过程进行分析，针对机器学习模型执行过程使用到的各个计算单元生成随机计算的测试指令，将测试指令直接嵌入到机器学习模型各个计算单元中，模拟运行机器学习模型，执行机器学习模型各个计算单元测试指令，在先执行测试指令随机计算结果作为在后执行测试指令随机计算参数，获得机器学习模型全部测试指令预期校验和并记录，编译得到机器学习模型可执行文件；

T2、运行时，嵌入式设备通过驱动软件加载机器学习模型可执行文件，实际运行机器学习模型，执行机器学习模型各个计算单元测试指令，在先执行测试指令随机计算结果作为在后执行测试指令随机计算参数，获得机器学习模型全部测试指令实际校验和，并和记录的机器学习模型全部测试指令预期校验和进行比较，不一致时说明运行过程中出现了机器学习加速芯片硬件故障。

2.根据权利要求1所述的一种基于编译器的机器学习加速芯片故障实时探测方法，其特征在于：所述测试指令由校验和导入子指令、随机计算子指令和校验和存储子指令组成；所述校验和导入子指令将机器学习加速芯片片外内存校验和寄存器中的校验和加载到机器学习加速芯片被测计算单元片上内存中；所述随机计算子指令使用机器学习加速芯片被测计算单元，以机器学习加速芯片被测计算单元片上内存中的校验和作为输入，进行一次随机计算；所述校验和存储子指令将运行计算子指令的计算结果作为更新后的校验和写回到机器学习加速芯片片外内存校验和寄存器中。

3.根据权利要求2所述的一种基于编译器的机器学习加速芯片故障实时探测方法，其特征在于：所述测试指令初始校验和为一个不为零的随机数，所述随机计算子指令随机计算公式为：加载校验和*运算符*运算数＝写回校验和，其中，“*”为连续符号，无实际运算含义。

4.根据权利要求3所述的一种基于编译器的机器学习加速芯片故障实时探测方法，其特征在于：所述运算符是随机产生的运算符，所述运算数是随机产生的运算数。

5.根据权利要求4所述的一种基于编译器的机器学习加速芯片故障实时探测方法，其特征在于步骤T1：对机器学习模型每个计算单元执行时间分别进行时间统计，每隔固定时间插入一组测试指令；在机器学习模型全部计算单元指令序列末尾，对机器学习模型每个计算单元剩余的未插入测试指令的执行时间，补上测试指令。

6.根据权利要求5所述的一种基于编译器的机器学习加速芯片故障实时探测方法，其特征在于步骤T1编译期执行以下子步骤：

S1、编译器对机器学习模型源代码进行解析，逐步编译变换/优化到接近底层硬件的一层中间表示IR2；

S2、对IR2进行分析，基于机器学习加速芯片硬件性能模型得到执行IR2中每一条机器学习模型计算单元指令需要占用的机器学习加速芯片计算单元以及每个计算单元需要的执行时间；

S3、基于IR2分析的结果生成和插入测试指令，并模拟执行获得机器学习模型全部测试指令预期校验和，进一步编译得到机器学习模型可执行文件。

7.根据权利要求6所述的一种基于编译器的机器学习加速芯片故障实时探测方法，其特征在于步骤S2：所述机器学习加速芯片硬件性能模型是基于硬件设计原理进行推导的软件程序，或者是将IR2中的每一条机器学习模型计算单元指令实际编译成硬件机器码发送到嵌入式设备上执行得到的真实结果。

8.根据权利要求7所述的一种基于编译器的机器学习加速芯片故障实时探测方法，其特征在于步骤T2运行时执行以下子步骤：

S4、嵌入式设备通过驱动软件加载机器学习模型可执行文件时，提取机器学习模型全部测试指令预期校验和，并作为全局变量存储在嵌入式设备内存中；

S5、嵌入式设备运行机器学习模型时，由驱动软件将嵌入式设备内存进行初始化，产生校验和寄存器用于存储测试指令每次运行产生的实际校验和，启动机器学习模型，测试指令对嵌入式设备内存校验和寄存器存储的实际校验和进行累计更新获得机器学习模型全部测试指令实际校验和；

S6：机器学习模型每次运行完成后向驱动软件发出同步请求，驱动软件接受到同步请求后，读取嵌入式设备内存校验和寄存器中的机器学习模型全部测试指令实际校验和，并与步骤S4中提取的机器学习模型全部测试指令预期校验和进行对比，如果二者不一致，说明此次机器学习模型运行过程中出现了机器学习加速芯片硬件故障，此次机器学习模型推理结果不可信。

9.根据权利要求8所述的一种基于编译器的机器学习加速芯片故障实时探测方法，其特征在于步骤T2运行时还执行以下子步骤：

S7：当步骤S6中检测到机器学习加速芯片硬件故障，向嵌入式设备应用软件上报异常，由异常处理模块进行处理。

Images