CN110503135A - 用于电力设备边缘侧识别的深度学习模型压缩方法及系统 - Google Patents

Abstract

本发明提供了一种用于电力设备边缘侧识别的深度学习模型压缩方法，通过直接修改已训练完成的深度学习模型，实现相关识别模型的压缩和加速，包括：批量归一化层融合：将批量归一化层与其之前的卷积层进行融合；针对全连接层的奇异值分解：基于矩阵的奇异值分解算法，在全连接层之前加入中间层，对全连接层的参数进行压缩；模型权重的量化：采用权值共享方法，根据深度学习模型的冗余性，对参数进行量化转换。各步骤既可独立使用，也可相互配合工作。同时提供了一种压缩系统。本发明实现对已训练完成的深度学习模型的压缩和加速，在当前电力公司积极推进泛在电力物联网的环境下，有着广泛的应用前景。

Description

用于电力设备边缘侧识别的深度学习模型压缩方法及系统

技术领域

本发明涉及深度学习领域以及电力泛在物联网领域，具体是一种针对训练完成的电力巡检或电力图像监控识别模型的用于电力设备边缘侧识别的深度学习模型压缩方法及系统。

背景技术

电力系统是保障国民经济平稳发展的重要支柱，电力系统架空线路规模大、周边环境复杂，气候变化多端。为保证电力系统的安全平稳运行，预防事故的发生，需要进行定点监控及定期巡检。

定点监控采取安装固定式摄像装置的方式，对电网内重要的区域进行监视，防止外来异物和闲杂人员入侵。监控的方式通常是指定专人在监控画面前实时检查。由于往往需要同时观察多个场景的监控画面，安全隐患出现时工作人员很难及时发现。基于深度学习的图像识别的方式可以有效地降低人力的消耗，并且可以避免因工作人员的疲惫或疏忽造成的漏检。

电力巡检采用无人机进行输电线路巡查，不但提高了输电线路运维的效率和质量，还可降低劳动强度和成本，保障巡线作业人员的人身安全。现阶段电力公司主要在巡线结束后由专人对无人机采集的巡线照片进行辨识，排查线路中的设备缺损等情况。鉴于巡线照片数量较大，但包含设备缺损的比例较低，工作人员容易出现疲劳，导致漏检的情况发生。借助合适算法，使用计算机对巡线照片中的设备缺损进行识别有助于改善人工筛查的弊端。

但如果在监控或电力巡检时的同时完成缺陷的识别工作，并在发现缺陷时及时发送告警信号和缺陷详情，而在没有发现问题时适当减少回传的图像数量，则可以进一步提升电网监控及电力巡检的工作效率，减轻工作人员的负担及对网络资源的消耗。深度学习算法具有准确度高、算法易于训练等特征。但其庞大的运算量及复杂的网络结构使其无法直接运行在性能较弱的机载嵌入式设备中。因此必须对算法进行精简，降低算法识别所需的计算量，同时识别模型进行，使识别模型能够运行在嵌入式设备中。基于深度学习的图像识别技术现已在电力巡检中逐步投入使用，相比于需要重新训练的压缩加速算法，对于已训练好的模型直接进行压缩和加速，更易于使用和推广。

发明内容

针对现有技术中存在的上述不足，本发明的目的是提供一种用于电力设备边缘侧识别的深度学习模型压缩方法及系统，该方法及系统直接修改已训练完成的模型，无需重新训练，操作方便。

本发明是通过以下技术方案实现的。

根据本发明的一个方面，提供了一种用于电力设备边缘侧识别的深度学习模型压缩方法，通过直接修改已训练完成的深度学习模型，实现相关识别模型的压缩和加速，包括：

-批量归一化层融合：将批量归一化层与其之前的卷积层进行融合，在无精度损失的情况下降低层间延迟，在一定程度上降低计算量，压缩模型大小；

-针对全连接层的奇异值分解：基于矩阵的奇异值分解算法，在全连接层之前加入中间层，对全连接层的参数进行压缩，以极小的精度下降换取极高的压缩比率；

-对模型权重的量化：根据深度学习模型的冗余性，将模型权重进行量化转换，参数替换为较低精度的数值，以较小的精度下降为代价换取较大的模型压缩和加速效果。

优选地，所述批量归一化层融合，包括如下步骤：

设卷积层Y为：

Y＝W×X+b (1)

其中，W为权重，X为输入数据，b_conv为卷积层偏置；

设批量归一化层X_bn为：

其中，m为均值，σ为方差，s为比例，b_bn为偏置，ε为滑动系数；

将卷积层的输出作为批量归一化层的输入，得到融合后的批量归一化层X_bn'为：

融合后的权重为：

其中，W_c′_onv为融合后的权重，b_conv为融合后的偏置。

优选地，所述针对全连接层的奇异值分解，包括：

设某一全连接层的权重矩阵为矩阵A，则对矩阵A的奇异值分解记为：

A＝UΣV^T (5)

其中，U为一个m×m的矩阵；Σ为一个m×n的矩阵，该矩阵除主对角线上的元素外均为0，主对角线上各元素称为奇异值；V为一个n×n的矩阵；矩阵U、V均为酉矩阵，即正交矩阵在复数域上的推广；

假设原全连接层的权重矩阵W大小为p×q，奇异值分解算法的平衡系数为r，采用奇异值分解算法在全连接层前插入一个中间层，该中间层的神经元个数即为r；记压缩后的中间层与全连接层的权重矩阵分别为U'、V'；其中，U'由矩阵U取其前r列得到，V'由矩阵Σ中的前r个奇异值组成的方阵与矩阵V的前r行进行矩阵乘法得到；如此，全连接层的参数数量由p×q变为r(p+q)。

优选地，对矩阵U、Σ、V的求解方法如下：

对A×A^T做特征分解，所得特征值和特征向量满足如下条件：

(A×A^T)u_i＝λ_i'u_i (6)

其中，u_i为特征向量；λ_i为特征值；将所有特征向量组合为一个m×m的矩阵，即得到矩阵U；

对A^T×A做特征分解，所得特征值和特征向量满足如下条件：

(A^T×A)v_i＝λ_iv_i (7)

其中，v_i为特征向量；将所有特征向量组合为一个n×n的矩阵，即得到矩阵V；

矩阵Σ对角线上为奇异值σ_i，按照降序排列，其余位置均为零，其中奇异值σ_i为：

σ_i＝Av_i/u_i (8)。

优选地，所述针对全连接层的奇异值分解中，根据模型权重的量化位数选择压缩参数，用以平衡模型的识别精度及模型的压缩大小。

压缩参数(奇异值分解值)与模型量化均会导致深度学习模型的识别能力下降，但是针对不同模型，造成的下降会不同。例如有模型1和模型2压缩前识别能力相同，但结构不同，若压缩参数：奇异值分解取256，量化位数选择int8，可能造成压缩后的模型1表现优于模型2；但若压缩参数选择奇异值分解64，量化位数为float16，则可能压缩后的模型2优于模型1。因此在针对全连接层的奇异值分解时，需要根据实际模型的具体情况加以选择。

优选地，所述对模型权重的量化，为一种权值共享方法，包括：

其中，V_x表示原始浮点输入；V_q表示量化后的定点数值；V_qr为根据量化参数还原出的浮点数；V_max和V_min分别表示量化参数中的最大值和最小值；符号<<为位操作符，表示左移；q_bit表示量化位数。

优选地，所述对模型权重的量化步骤中，基于计算机的数据存储方式，选择量化位数，其中在选择量化位数时考虑模型的识别精度与模型的压缩大小，并综合全连接层的压缩参数进行选取。

根据本发明的另一个方面，提供了一种用于电力设备边缘侧识别的深度学习模型压缩系统，包括如下任意一个或任意多个模块：

批量归一化层融合模块：所述批量归一化层融合模块用于将批量归一化层与其之前的卷积层进行融合；

全连接层奇异值分解模块：所述全连接层奇异值分解模块基于矩阵的奇异值分解算法，在全连接层之前加入中间层，对全连接层的参数进行压缩；

模型权重量化模块：所述模型权重量化模块根据深度学习模型的冗余性，对参数进行量化转换。

与现有技术相比，本发明具有如下有益效果：

本发明所提供的用于电力设备边缘侧识别的深度学习模型压缩方法及系统，各步骤或模块既可以独立使用，又可以相互配合，实现对已训练完成的深度学习模型的压缩和加速；由于原始深度学习模型占用空间巨大，运算量也非常高，嵌入式设备往往无法提供所需的存储空间即运算能力，因此需要对模型做大小的压缩和运算的加速，使之能够部署在性能羸弱的嵌入式设备上，本发明能够实现深度学习模型部署在诸如监控摄像头、巡检无人机等嵌入式设备上。在当前电力公司积极推进泛在电力物联网的环境下，有着广泛的应用前景。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为原始特征提取网络的网络结构示意图；

图2为融合批量归一化层之后的模型结构示意图；

图3为全连接层做奇异值分解后的模型结构示意图；

图4为本发明所提供的用于电力设备边缘侧识别的深度学习模型压缩方法流程图。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

本发明实施例提供了一种用于电力设备边缘侧识别的深度学习模型压缩方法，该方法可以直接修改已训练完成的模型，无需重新训练。包括如下任意一个或任意多个步骤：批量归一化层融合、针对全连接层的奇异值分解以及模型权重的量化。其中：

所述批量归一化层融合，将批量归一化层与其之前的卷积层进行融合，在无精度损失的情况下降低层间延迟，在一定程度上降低计算量，压缩模型大小；

所述针对全连接层的奇异值分解，基于矩阵的奇异值分解算法，在全连接层之前加入中间层，对全连接层的参数进行压缩，以极小的精度下降换取极高的压缩比率。

所述对模型权重的量化，是一种权值共享方法，根据深度学习模型的冗余性，对模型权重进行量化转换，将参数替换为较低精度的数，以较小的精度下降为代价换取较大的模型加速和压缩效果；

所述针对全连接层的奇异值分解中可以自行选择压缩参数，以平衡精度下降及模型大小的压缩。压缩参数需配合量化算法的量化位数综合考虑进行选择。

所述模型权重的量化中，量化方法基于计算机的数据存储方式，可选择其量化位数，在选择量化位数时需考虑识别精度下降与模型的压缩加速效果之间的平衡，并综合全连接层的压缩参数进行选取。

进一步地：

所述批量归一化层融合步骤会将批量归一化层与其之前的卷积层进行融合。在神经网络训练的过程中，批量归一化层能够加速网络收敛，并且能够控制过拟合，不过这样也增加了一些运算和参数。鉴于批量归一化层的主要用途在于提升训练阶段的表现，因此在推理过程中，可以通过将批量归一化层与卷积层的参数融合的方式，来降低运算量，并略微地压缩模型，而并不会造成任何精度的损失。该步骤描述如下：

卷积层计算公式如公式(1)所示：

Y＝W×X+b (1)

其中，W为权重，X为输入数据，b_conv为卷积层偏置；

批量归一化层的计算公式如公式(2)所示：

其中，m为均值，σ为方差，s为比例，b_bn为偏置，ε为滑动系数。

将卷积层的输出作为BN层的输入，带入得到融合后的表达式，如公式(3)所示：

融合后的权重如公式(4)所示：

其中，W_c′_onv为融合后的权重，b_conv为融合后的偏置。

所述针对全连接层的奇异值分解步骤是针对全连接层的参数进行压缩的一种方法。在一般的深度学习权重模型中，全连接层往往会占据超过一半的参数，因此，对全连接层作奇异值分解可以得到极大的压缩收益。对全连接层的奇异值分解算法其实是对矩阵的奇异值分解。假设某一全连接层的权重矩阵为矩阵A。则对矩阵A的奇异值分解可记为公式(5)的形式，

A＝UΣV^T (5)

其中，U是一个m×m的矩阵；Σ是一个m×n的矩阵，除主对角线上的元素外均为0，主对角线上各元素称为奇异值；V是一个n×n的矩阵，矩阵U、V均为酉矩阵，即正交矩阵在复数域上的推广。U、Σ、V的求法如下：

对A×A^T做特征分解，所得特征值和特征向量满足公式(6)，

(A×A^T)u_i＝λ_iu_i (6)

其中，u_i为特征向量，λ_i为特征值。将所有特征向量组合为一个m×m的矩阵，即得到矩阵U。

对A^T×A做特征分解，所得特征值和特征向量满足公式(7)，

(A^T×A)v_i＝λ_iv_i (7)

其中，v_i为特征向量。将所有特征向量组合为一个n×n的矩阵，即得到矩阵V。

矩阵Σ对角线上为奇异值，按照降序排列，其余位置均为零，奇异值σ_i按照公式(8)所示求出：

σ_i＝Av_i/u_i (8)

假设原来的全连接层的权重矩阵W大小为p×q，奇异值分解算法的平衡系数为r，使用奇异值分解算法会在全连接层前边插入一个中间层，该中间层的神经元个数即为r。记压缩后模型的中间层与全连接层的权重矩阵分别为U',V'。其中，U'由矩阵A的奇异值分解中的矩阵U取其前r列得到,V'由前r各奇异值组成的方阵与矩阵V的前r行进行矩阵乘法得到。如此，参数数量由原本的p×q变为了现在的r(p+q)。

所述模型权重的量化步骤采用的是一种权值共享方法。深度神经网络存在着一定的冗余性，因此，合理的量化操作可以在保证精度的情况下达到压缩和加速深度学习模型的效果。深度学习模型一般默认使用32位的浮点数进行计算。该算法使用较低精度的数如16位整型或8位整型数等替代浮点数。量化方法是一种类似于离差标准化的归一化方法，是对原始数据进行线性变换，使结果映射到一定范围内，具体公式如公式(9)所示。

其中，

V_x表示原始浮点输入，V_q表示量化后的定点数值，V_qr是根据量化参数还原出的浮点数，V_max和V_min表示参数中的最大值和最小值，“<<”表示位操作符“左移”，q_bit表示量化位数。

本发明实施例同时提供了一种用于电力设备边缘侧识别的深度学习模型压缩系统，该系统可以用于实施本发明实施例中所提供的用于电力设备边缘侧识别的深度学习模型压缩方法。该系统包括如下任意一个或任意多个模块：

批量归一化层融合模块：所述批量归一化层融合模块用于将批量归一化层与其之前的卷积层进行融合；

全连接层奇异值分解模块：所述全连接层奇异值分解模块基于矩阵的奇异值分解算法，在全连接层之前加入中间层，对全连接层的参数进行压缩；

模型权重量化模块：所述模型权重量化模块根据深度学习模型的冗余性，对模型权重进行量化转换。

下面结合一具体应用实例，对本发明上述实施例进一步详细说明。

本具体应用实例以电力巡检任务为例，基于Caffe平台的深度学习模型说明本发明的具体实施过程。应用Caffe版本的Faster R-CNN算法，原始特征提取网络的结构如附图1所示。已得到由已标注好的巡检图像数据集训练完成的识别模型。

修改模型的prototxt文件，删去其中的批量归一化层(即bn层)，然后将模型文件的bn层与其之前的卷积层(即conv层)进行融合，融合后的模型结构如附图2所示。

修改模型的prototxt文件，在各全连接层和其之前一层之间均插入中间层，设置平衡系数分别为256，128，64，插入的中间层神经元个数也同样为256，128，64个。在prototxt文件修改完成后，对模型文件的全连接层进行分解。分解完成的模型结构如附图3所示。

完成模型的全连接层的奇异值分解后，将模型文件内部的参数进行量化转换，将原来的float32转为int8类型，并采用哈夫曼编码进行存储。

经过以上压缩步骤，模型大小已压缩至合理区间，可以安装到电力巡检无人机所载嵌入式平台上，并将计算量降至合理范围，实现在电力巡检无人机上接近实时的检测和识别。

本发明上述实施例所提供的用于电力设备边缘侧识别的深度学习模型压缩方法及系统，可以直接修改已训练完成的模型，无需重新训练，操作方便。其中方法包括：批量归一化层融合、针对全连接层的奇异值分解以及模型权重的量化步骤。各个步骤既可独立使用，也可相互配合工作，完成对相关识别模型的压缩和加速。批量归一化层融合步骤将批量归一化层和与其相邻的卷积层的参数融合在一起，降低模型的参数量、运算量以及层间延迟。针对全连接层的奇异值分解步骤的主要原理为矩阵的奇异值分解。通过对全连接层的奇异值分解操作，可以在精度损失较小的情况下大幅降低全连接层的参数数量，有效压缩模型大小，降低运算量。对模型权重的量化步骤其实是一种权值共享策略，其将相近的值变为同一个数，得到一个高度稀疏的权重矩阵，即可实现模型大小的压缩和计算量的下降。其中系统包括批量归一化层融合、针对全连接层的奇异值分解以及模型权重的量化模块，可用于实施上述方法。本发明上述实施例提供的方法及系统，可实现对现有电力巡检模型的直接压缩加速，无需重新训练，是一种高效且易于推广的方案。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种用于电力设备边缘侧识别的深度学习模型压缩方法，其特征在于，通过直接修改已训练完成的深度学习模型，实现相关识别模型的压缩和加速，包括如下任意一个或任意多个步骤：

-批量归一化层融合：将批量归一化层与其之前的卷积层进行融合；

-针对全连接层的奇异值分解：基于矩阵的奇异值分解算法，在全连接层之前加入中间层，对全连接层的参数进行压缩；

-对模型权重的量化：根据深度学习模型的冗余性，对模型权重进行量化转换。

2.根据权利要求1所述的用于电力设备边缘侧识别的深度学习模型压缩方法，其特征在于，所述批量归一化层融合，包括如下步骤：

设卷积层Y为：

Y＝W×X+b_conv (1)

其中，W为权重，X为输入数据，b_conv为卷积层偏置；

设批量归一化层X_bn为：

其中，m为均值，σ为方差，s为比例，b_bn为批量归一化层偏置，ε为滑动系数；

将卷积层的输出作为批量归一化层的输入，得到融合后的批量归一化层X_bn'为：

融合后的权重为：

其中，W′_conv为融合后的权重，b_conv为融合后的偏置。

3.根据权利要求1所述的用于电力设备边缘侧识别的深度学习模型压缩方法，其特征在于，所述针对全连接层的奇异值分解，包括：

设某一全连接层的权重矩阵为矩阵A，则对矩阵A的奇异值分解记为：

A＝UΣV^T (5)

其中，U为一个m×m的矩阵；Σ为一个m×n的矩阵，该矩阵除主对角线上的元素外均为0，主对角线上各元素称为奇异值；V为一个n×n的矩阵；矩阵U、V均为酉矩阵，即正交矩阵在复数域上的推广；

假设原全连接层的权重矩阵W大小为p×q，奇异值分解算法的平衡系数为r，采用奇异值分解算法在全连接层前插入一个中间层，该中间层的神经元个数即为r；记压缩后的中间层与全连接层的权重矩阵分别为U'、V'；其中，U'由矩阵U取其前r列得到，V'由矩阵Σ中的前r个奇异值组成的方阵与矩阵V的前r行进行矩阵乘法得到；如此，全连接层的参数数量由p×q变为r(p+q)。

4.根据权利要求3所述的用于电力设备边缘侧识别的深度学习模型压缩方法，其特征在于，对矩阵U、Σ、V的求解方法如下：

对A×A^T做特征分解，所得特征值和特征向量满足如下条件：

(A×A^T)u_i＝λ_iu_i (6)

其中，u_i为特征向量；λ_i为特征值；将所有特征向量组合为一个m×m的矩阵，即得到矩阵U；

对A^T×A做特征分解，所得特征值和特征向量满足如下条件：

(A^T×A)v_i＝λ_iv_i (7)

其中，v_i为特征向量；将所有特征向量组合为一个n×n的矩阵，即得到矩阵V；

矩阵Σ对角线上为奇异值σ_i，按照降序排列，其余位置均为零，其中奇异值σ_i为：

σ_i＝Av_i/u_i (8) 。

5.根据权利要求1所述的用于电力设备边缘侧识别的深度学习模型压缩方法，其特征在于，所述针对全连接层的奇异值分解中，根据模型权重的量化位数选择压缩参数，用以平衡模型的识别精度及压缩大小。

6.根据权利要求1所述的用于电力设备边缘侧识别的深度学习模型压缩方法，其特征在于，所述对模型权重的量化，为一种权值共享方法，包括：

其中，V_x表示原始浮点输入；V_q表示量化后的定点数值；V_qr为根据量化参数还原出的浮点数；V_max和V_min分别表示量化参数中的最大值和最小值；符号<<为位操作符，表示左移；q_bit表示量化位数。

7.根据权利要求1所述的用于电力设备边缘侧识别的深度学习模型压缩方法，其特征在于，所述对模型权重的量化步骤中，基于计算机的数据存储方式，选择量化位数，其中在选择量化位数时考虑模型的识别精度与压缩大小，并综合全连接层的压缩参数进行选取。

8.一种用于电力设备边缘侧识别的深度学习模型压缩系统，其特征在于，包括如下任意一个或任意多个模块：

批量归一化层融合模块：所述批量归一化层融合模块用于将批量归一化层与其之前的卷积层进行融合；

全连接层奇异值分解模块：所述全连接层奇异值分解模块基于矩阵的奇异值分解算法，在全连接层之前加入中间层，对全连接层的参数进行压缩；

模型权重量化模块：所述模型权重量化模块根据深度学习模型的冗余性，对模型权重进行量化转换。