CN110399975A - 一种面向硬件移植的锂电池深度诊断模型压缩算法 - Google Patents

Abstract

本发明涉及一种面向硬件移植的锂电池深度诊断模型的模型压缩算法，属于深度神经网络模型压缩领域，包括以下步骤：S1：利用阈值学习方法获取锂电池故障诊断模型中的混合卷积神经网络重要权值，在不损失精度的情况下减少网络规模；S2：采用数值聚合方式量化强制实现权值共享，使用压缩稀疏格式存储有效的共享权值编码与和索引；S3：通过顶部标量量化和底部质心微调进行权值分配与哈夫曼编码，使用可变长度码编码权重与索引，进一步减少网络所需要的存储空间。本发明采用的修剪，量化和霍夫曼编码的三级流水线方式，在每一级流水线中，都能够在不损失精度的前提下，一步一步的删除冗余权重，大大压缩网络模型。

Description

一种面向硬件移植的锂电池深度诊断模型压缩算法

技术领域

本发明属于深度神经网络模型压缩领域，涉及一种面向硬件移植的锂电池深度诊断模型压缩算法。

背景技术

动力锂电池作为电动汽车的核心供能部件，其状态的监测要求在复杂不确定的交通环境中具备强实时、高可靠性能。这使得动力锂电池的状态监测算法必须与车规级的硬件计算芯片绑定。在整车低成本管控与车载计算芯片发展相对缓慢的双重压力下，当前搭载在电动汽车上的电池管理系统计算资源受到限制，实际运行的动力锂电池故障诊断算法依然来源于物理化学模型，因为这些算法的计算机代码的执行进程相对简单。而采用深度神经网络的人工智能模型，对计算资源有着较高的要求，这使得电动汽车主机厂较少采用神经网络的锂电池故障诊断模型。要实现高性能的深度神经网络故障诊断模型在可用计算资源较少的电动汽车上实际运用，就必须在不降低深度学习模型性能的前提下，解决相应诊断模型的硬件移植问题。

发明内容

有鉴于此，本发明的目的在于针对车载计算资源约束使深度诊断模型应用受限的难题，提供一种面向硬件移植的锂电池故障诊断模型三级流水线压缩处理方法，以训练后的混合卷积神经网络的原始权值为对象，使用混合卷积神经网络重要权值的阈值学习方法，探明重要权值稀疏存储下的网络收缩效应；以重要权值稀疏矩阵为对象，采用稀疏权值的顶部标量量化与底部质心微调的聚合方式，明确强制共享机制；以强制共享的权值为对象，利用共享权值的哈夫曼编码与索引方法，实现硬件神经网络压缩、压缩与加速、再压缩处理的三级流水线模式。

为达到上述目的，本发明提供如下技术方案：

一种面向硬件移植的锂电池深度诊断模型的模型压缩算法，包括以下步骤：

S1：利用阈值学习方法获取锂电池故障诊断模型中的混合卷积神经网络重要权值，在不损失精度的情况下减少网络规模；

S2：采用数值聚合方式量化强制实现权值共享，使用压缩稀疏格式存储有效的共享权值编码与和索引；

S3：通过顶部标量量化和底部质心微调进行权值分配与哈夫曼编码，使用可变长度码编码权重与索引，进一步减少网络所需要的存储空间。

进一步，步骤S1具体包括以下步骤：

S11：训练用于锂电池故障诊断的混合卷积神经网络，以获取网络连接；

S12：设置合理阈值，在已训练的混合卷积神经网络中删除低于阈值的连接，压缩网络规模，同时使用压缩稀疏行CSR或压缩稀疏列CSC格式存储该稀疏矩阵从而进一步压缩模型大小；

S13：重新训练修剪过的混合卷积神经网络，微调权重以恢复网络精度。

进一步，步骤S2具体包括以下步骤：

S21：对网络的每个隐藏层，使用K均值聚类方法，将权重聚类成k个簇，并计算得到k个簇的质心C；

S22：生成共享质心，也即共享权值C后，删除原始权值，只存储共享权值，同时将每个隐藏层权值矩阵中的原始值替换对应共享权值的索引值；

S23：量化索引值进一步减少每个连接权值的比特位数；

S24：重新训练模型，微调模型以恢复网络精度。

进一步，步骤S21包括：

在已修剪的混合卷积网络的每个隐藏层中，n个原始权值W＝{w₁,w₂,...,w_n}分成k个簇C＝{c₁,c₂,..,c_k}，第i个簇里的所有权值将共享相同的质心c_i，c_i的初始值通过线性初始化得到；同时令n＞＞k以使簇内平方和最小，其中簇内平方和的公式为：

进一步，步骤S23具体包括：

在反向传播期间，计算每个共享质心的梯度并用于更新共享权值，具体如下：

式中，L表示损失函数，W_ij是第j行i列的权值，I_ij表示W_ij所对应的共享权值的索引，C_k表示每层的第k个共享权值，1(.)是指示函数，当满足括号内条件时取值为1，否则为0。

本发明的有益效果在于：

本发明是一种面向硬件移植的锂电池深度诊断模型压缩算法，在对面向硬件移植的深度网络模型进行压缩时，与其它方法相比，本发明采用的修剪，量化和霍夫曼编码的三级流水线方式，在每一级流水线中，都能够在不损失精度的前提下，一步一步的删除冗余权重，大大压缩网络模型。同时得益于本发明的量化和霍夫曼编码步骤，使得计算机能够有效的存储和使用压缩后的稀疏矩阵，这不仅有益于模型的存储，还能够加速模型的推理运算。最终本发明能够在不损失网络性能的前提下，减少深度神经网络模型对硬件计算资源的需求并加速网络的运行，解决在计算资源受限的车载硬件环境中，锂电池故障感知混合卷积神经网络低功耗、高可靠快速运行的问题。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明所述面向硬件移植的锂电池深度诊断模型压缩算法整体结构流程框图；

图2为使用相对索引表示稀疏矩阵的操作示意图；

图3为通过标量量化(上)和质心微调(下)进行权重共享示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1-3所示，一种面向硬件移植的锂电池深度诊断模型的模型压缩算法，包括以下步骤：

S1：利用阈值学习方法获取锂电池故障诊断模型中的混合卷积神经网络重要权值，在不损失精度的情况下减少网络规模；

S2：采用数值聚合方式量化强制实现权值共享，使用压缩稀疏格式存储有效的共享权值编码与和索引；

S3：通过顶部标量量化和底部质心微调进行权值分配与哈夫曼编码，使用可变长度码编码权重与索引，进一步减少网络所需要的存储空间。

进一步，步骤S1具体包括以下步骤：

S11：训练用于锂电池故障诊断的混合卷积神经网络，以获取网络连接；

S12：设置合理阈值，在已训练的混合卷积神经网络中删除低于阈值的连接，压缩网络规模，同时使用压缩稀疏行CSR或压缩稀疏列CSC格式存储该稀疏矩阵从而进一步压缩模型大小；

S13：重新训练修剪过的混合卷积神经网络，微调权重以恢复网络精度。

进一步，步骤S2具体包括以下步骤：

S21：对网络的每个隐藏层，使用K均值聚类方法，将权重聚类成k个簇，并计算得到k个簇的质心C；

在已修剪的混合卷积网络的每个隐藏层中，n个原始权值W＝{w₁,w₂,...,w_n}分成k个簇C＝{c₁,c₂,..,c_k}，第i个簇里的所有权值将共享相同的质心c_i，c_i的初始值通过线性初始化得到；同时令n＞＞k以使簇内平方和最小，其中簇内平方和的公式为：

S22：生成共享质心，也即共享权值C后，删除原始权值，只存储共享权值，同时将每个隐藏层权值矩阵中的原始值替换对应共享权值的索引值；

S23：量化索引值进一步减少每个连接权值的比特位数；

在反向传播期间，计算每个共享质心的梯度并用于更新共享权值，具体如下：

式中，L表示损失函数，W_ij是第j行i列的权值，I_ij表示W_ij所对应的共享权值的索引，C_k表示每层的第k个共享权值，1(.)是指示函数，当满足括号内条件时取值为1，否则为0；

S24：重新训练模型，微调模型以恢复网络精度。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种面向硬件移植的锂电池深度诊断模型的模型压缩算法，其特征在于：包括以下步骤：

S1：利用阈值学习方法获取锂电池故障诊断模型中的混合卷积神经网络重要权值，在不损失精度的情况下减少网络规模；

S2：采用数值聚合方式量化强制实现权值共享，使用压缩稀疏格式存储有效的共享权值编码与和索引；

S3：通过顶部标量量化和底部质心微调进行权值分配与哈夫曼编码，使用可变长度码编码权重与索引，进一步减少网络所需要的存储空间。

2.根据权利要求1所述的面向硬件移植的锂电池深度诊断模型的模型压缩算法，其特征在于：步骤S1具体包括以下步骤：

S11：训练用于锂电池故障诊断的混合卷积神经网络，以获取网络连接；

S12：设置合理阈值，在已训练的混合卷积神经网络中删除低于阈值的连接，压缩网络规模，同时使用压缩稀疏行CSR或压缩稀疏列CSC格式存储该稀疏矩阵从而进一步压缩模型大小；

S13：重新训练修剪过的混合卷积神经网络，微调权重以恢复网络精度。

3.根据权利要求1所述的面向硬件移植的锂电池深度诊断模型的模型压缩算法，其特征在于：步骤S2具体包括以下步骤：

S21：对网络的每个隐藏层，使用K均值聚类方法，将权重聚类成k个簇，并计算得到k个簇的质心C；

S22：生成共享质心，也即共享权值C后，删除原始权值，只存储共享权值，同时将每个隐藏层权值矩阵中的原始值替换对应共享权值的索引值；

S23：量化索引值进一步减少每个连接权值的比特位数；

S24：重新训练模型，微调模型以恢复网络精度。

4.根据权利要求3所述的面向硬件移植的锂电池深度诊断模型的模型压缩算法，其特征在于：步骤S21包括：

在已修剪的混合卷积网络的每个隐藏层中，n个原始权值W＝{w₁,w₂,...,w_n}分成k个簇C＝{c₁,c₂,..,c_k}，第i个簇里的所有权值将共享相同的质心c_i，c_i的初始值通过线性初始化得到；同时令n＞＞k以使簇内平方和最小，其中簇内平方和的公式为：

5.根据权利要求3所述的面向硬件移植的锂电池深度诊断模型的模型压缩算法，其特征在于：步骤S23具体包括：

在反向传播期间，计算每个共享质心的梯度并用于更新共享权值，具体如下：

式中，L表示损失函数，W_ij是第j行i列的权值，I_ij表示W_ij所对应的共享权值的索引，C_k表示每层的第k个共享权值，1(.)是指示函数，当满足括号内条件时取值为1，否则为0。