CN110852361A - 基于改进深度神经网络的图像分类方法、装置与电子设备 - Google Patents

Abstract

本发明实施例提供一种基于改进深度神经网络的图像分类方法、装置与电子设备，其中该方法包括：在深度神经网络模型的前馈网络中插入近似算子，并对插入近似算子后的深度神经网络模型进行再训练；在再训练的过程中，对所述插入近似算子后的深度神经网络模型进行硬件近似，获取硬件简化模型；利用该硬件简化模型，对待分类图像进行类别划分。本发明实施例通过在深度神经网络模型的前馈网络中插入近似算子，实现将模型中的精确运算单元逐步替换为近似运算单元，能有效解决训练过程的收敛性问题，同时通过将模型权重量化为定点数，能够有效提高模型的容错能力，从而有效提高对图像的分类效率和精确度。

Description

基于改进深度神经网络的图像分类方法、装置与电子设备

技术领域

本发明涉及人工智能技术领域，更具体地，涉及一种基于改进深度神经网络的图像分类方法、装置与电子设备。

背景技术

大数据和物联网的新兴应用显著增加了计算工作量，因此硬件效率已成为在各个设备上处理密集型任务的一个关键因素。近年来，对深度神经网络(Deep NeuralNetworks,DNNs)的定点量化被深入研究，该研究直接利用DNNs在数据层面的鲁棒性，实现了CPU、GPU和FPGA上的节能计算。

但是，在一些近似计算中，如人脸识别、图像分类等，要用到近似的逻辑和组件，然而由于其中故障值比较大，会造成严重的精度损失。为克服这一问题，传统做法中用近似硬件对模型进行再训练。然而，大多数DNN芯片，如ShiDianNao，只具有前向推理路径，而不具有反向修正的训练路径，使得训练算法通常只能离线进行。离线训练通常脱离硬件本身而仅采用软件实现，导致训练结果精确度不高。为此，现有技术主要利用增量网络量化法(INQ)或神经网络结构优化法来进行深度神经网络的近似计算。

对于INQ，其中包括三个相互依存的操作，即权重划分、分组量化和再训练。也即，在预训练的每一层中，将CNN模型的权重划分为两个不相交的组。对其中一组不进行量化处理，使其形成一个低精度的基，同时对另一组进行量化处理，并使其参与的模型预训练，以补偿未进行量化的组的精度损失。整个训练过程中以迭代的方式按照上述操作过程对模型进行循环训练，直到模型所有的权重都转换为低精度，得到网络的增量量化与精度增强模型。但是，该方法只将NNs中的权重与神经元值量化为定点数，神经网络不够精确，从而导致对图像的分类精确度不高。

在神经网络结构优化法中，通过神经网络结构来扩展非精确计算系统的应用范围和容错能力，并进行节能降耗，具体利用近似乘法器代替精确乘法器，并对网络进行再训练，以极大地提高对硬件故障的容忍度。但是该方法只适用低复杂度网络(如MLP)和分类任务(如MNIST)的情形，在引入高度近似算子时，由于误差积累效应，深度神经网络在训练阶段难以收敛，从而导致对图像的分类效率较低且精确度不高。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种基于改进深度神经网络的图像分类方法、装置与电子设备，用以有效提高对待分类图像的分类效率和精确度。

第一方面，本发明实施例提供一种基于改进深度神经网络的图像分类方法，包括：

在深度神经网络模型的前馈网络中插入近似算子，并对插入近似算子后的深度神经网络模型进行再训练；

在所述再训练的过程中，对所述插入近似算子后的深度神经网络模型进行硬件近似，获取硬件简化模型作为改进的深度神经网络模型；

利用所述改进的深度神经网络模型，对待分类图像进行类别划分。

其中可选的，所述在所述再训练的过程中，对所述插入近似算子后的深度神经网络模型进行硬件近似的步骤具体包括：

根据所述近似算子确定增量步长，以对所述插入近似算子后的深度神经网络模型的权重进行分组，并选择所有分组中任一分组，对所述任一分组的权重进行量化处理；

采用近似运算单元，替换量化后权重中的精确运算单元，实现硬件近似。

其中可选的，所述对插入近似算子后的深度神经网络模型进行再训练的步骤具体包括：采用循环迭代训练法，在每一轮再训练中，将训练样本输入所述插入近似算子后的深度神经网络模型进行前向计算，获取模型计算偏差，并根据所述模型计算偏差，更新所述量化后权重，以在所述更新之后，转入所述根据所述近似算子确定增量步长的步骤，进入下一轮再训练，直至训练完成。

其中可选的，所述对待分类图像进行类别划分的步骤具体包括：通过所述改进的深度神经网络模型的卷积和激活操作，对所述待分类图像进行特征提取，并根据提取的特征进行近似的前向计算，实现对所述待分类图像的类别划分。

其中可选的，所述对所述任一分组的权重进行量化处理的步骤具体包括：将所述任一分组的权重量化为8位的定点数字。

第二方面，本发明实施例提供一种基于改进深度神经网络的图像分类装置，包括：

再训练模块，用于在深度神经网络模型的前馈网络中插入近似算子，并对插入近似算子后的深度神经网络模型进行再训练；

硬件近似模块，用于在所述再训练的过程中，对所述插入近似算子后的深度神经网络模型进行硬件近似，获取硬件简化模型作为改进的深度神经网络模型；

分类输出模块，用于利用所述改进的深度神经网络模型，对待分类图像进行类别划分。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上第一方面所述的基于改进深度神经网络的图像分类方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机指令，所述计算机指令被计算机执行时，实现如上第一方面所述的基于改进深度神经网络的图像分类方法的步骤。

本发明实施例提供的基于改进深度神经网络的图像分类方法、装置与电子设备，通过在深度神经网络模型的前向推理路径中插入近似算子，实现在再训练过程中把精确的运算单元逐步替换为近似的运算单元，能够有效解决训练过程的收敛性问题，同时通过将模型权重量化为定点数，能够有效提高模型的容错能力，从而有效提高对图像的分类效率和精确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于改进深度神经网络的图像分类方法的流程示意图；

图2为根据本发明实施例提供的基于改进深度神经网络的图像分类方法中进行硬件近似处理的流程示意图；

图3为本发明实施例提供的基于改进深度神经网络的图像分类装置的结构示意图；

图4为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明实施例的一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。

本发明实施例针对现有技术对图像分类效率和分类准确度不高的问题，通过在深度神经网络模型的前向推理路径中插入近似算子，实现在再训练过程中把精确的运算单元逐步替换为近似的运算单元，能够有效解决训练过程的收敛性问题，同时通过将模型权重量化为定点数，能够有效提高模型的容错能力，从而有效提高对图像的分类效率和精确度。以下将具体通过多个实施例对本发明实施例进行展开说明和介绍。

图1为本发明实施例提供的基于改进深度神经网络的图像分类方法的流程示意图，如图1所示，该方法包括：

S101，在深度神经网络模型的前馈网络中插入近似算子，并对插入近似算子后的深度神经网络模型进行再训练。

可以理解为，对于一般的深度神经网络模型而言，针对显式应用程序约束的前向推理路径通常对计算错误的容忍度有限，其累积误差会不断干扰推理阶段的特征提取和训练阶段的随机梯度下降过程，导致减缓甚至停止了损失函数的收敛。鉴于此，本发明实施例从近似逻辑中提取误差模型，构成近似算子，并在软件中将该近似算子建立到深度神经网络模型的前向推理路径(即前馈网络)中，然后利用准备好的训练样本，对修改后的深度神经网络模型，即插入近似算子后的深度神经网络模型，进行再训练。其中，近似算子包含每次对深度神经网络模型权重中的运算单元进行选取以进行修改的增量，该增量可用步长表示。

S102，在再训练的过程中，对插入近似算子后的深度神经网络模型进行硬件近似，获取硬件简化模型作为改进的深度神经网络模型。

可以理解为，本发明实施例在对插入近似算子后的深度神经网络模型进行再训练的过程中，对模型在硬件上进行逐步近似修正。也即，根据每一轮训练的输出结果，将模型中精确的运算单元逐步替换为近似的运算单元，并对网络权重进行更新以补偿计算错误。最后，得到包含多个近似运算单元的硬件简化模型，实现对深度神经网络模型的改进，得到改进的深度神经网络模型。

S103，利用改进的深度神经网络模型，对待分类图像进行类别划分。

可以理解为，本发明实施例的最后，以训练后得到的改进的深度神经网络模型为分析工具，通过对待分类图像的特征提取与分析，最终输出待分类图像的分类类别。其中，待分类图像可以是卫星遥感图像，通过对其分类可以得出不同遥感图像对应的植被类别等，另外也可以是医学图像、生物图像、人脸图像等，对此本发明不作限制。

本发明实施例提供的基于改进深度神经网络的图像分类方法，通过在深度神经网络模型的前向推理路径中插入近似算子，实现在再训练过程中把精确的运算单元逐步替换为近似的运算单元，能够有效解决训练过程的收敛性问题，同时通过将模型权重量化为定点数，能够有效提高模型的容错能力，从而有效提高对图像的分类效率和精确度。

其中，根据上述各实施例可选的，在再训练的过程中，对插入近似算子后的深度神经网络模型进行硬件近似的步骤具体包括：根据近似算子确定增量步长，以对插入近似算子后的深度神经网络模型的权重进行分组，并选择所有分组中任一分组，对任一分组的权重进行量化处理；采用近似运算单元，替换量化后权重中的精确运算单元，实现硬件近似。

可以理解为，如图2所示，为根据本发明实施例提供的基于改进深度神经网络的图像分类方法中进行硬件近似处理的流程示意图，包括：

首先，将近似运算单元模型增量插入前馈模型网络，对模型进行再训练，抑制计算误差引起的损失增加。其次，在再训练模型的精度满足应用的约束之前，对模型进行硬件近似，得到硬件简化模型。

也就是说，在对神经网络模型进行训练的过程中，对模型进行逐步的硬件近似处理。具体而言，在深度神经网络模型的前馈网络中插入的近似算子中包含了对模型中运算单元进行选取以进行修改的步长，则首先根据新引入的该增量步长，将深度神经网络模型的所有权重随机划分成若干组。例如，如果步长为25％，则可将所有权重平均分为4组。

之后，先从所有分组中任选一个分组，并获取该分组中的所有权重，再对该分组中所有的权重进行量化处理。其中可选的，可将该分组的所有权重量化为8位的定点数字。在每次迭代中，量化后的权值都会被重新训练并重新量化为一个新的8位数字，因此能够确保足够的网络容量来容纳计算错误。

最后，用近似运算单元替换所有被量化后的权重(即量化后权重)的原始运算单元(即精确运算单元)，也即在每个原始运算单元的乘法结果中添加一个错误项，实现对深度神经网络模型的硬件近似。

本发明实施例通过在深度神经网络模型的前馈网络中增量地插入近似运算单元，使得模型逐渐适应近似乘子，随着再训练的进行，计算误差的影响不断减小，使收敛问题可以得到有效解决。

其中，根据上述各实施例可选的，对插入近似算子后的深度神经网络模型进行再训练的步骤具体包括：采用循环迭代训练法，在每一轮再训练中，将训练样本输入插入近似算子后的深度神经网络模型进行前向计算，获取模型计算偏差，并根据模型计算偏差，更新量化后权重，以在更新之后，转入根据近似算子确定增量步长的步骤，进入下一轮再训练，直至训练完成。

可以理解为，本发明实施例的再训练过程采用循环迭代训练的方式，在每一轮训练的过程中，将训练样本和该训练样本对应的标签输入到插入近似算子后的深度神经网络模型中，利用插入近似算子后的深度神经网络模型，根据训练样本进行前向运算，得到实际的网络输出，并根据该实际的网络输出和输入的标签，利用训练过程损失函数计算模型的计算偏差。之后，根据该计算偏差来对根据上述各实施例得到的量化后权重进行修正更新，并在完成本次更新之后，转入下一轮再训练流程。在每一轮训练中，循环执行上述处理流程，实现对模型的循环迭代训练，直到训练完成。其中，训练完成可通过对模型的计算精度或者训练总轮数检测等来确定。

其中可选的，具体采用SGD算法对插入近似算子后的深度神经网络模型进行再训练。对待分类图像进行类别划分的步骤具体包括：通过改进的深度神经网络模型的卷积和激活操作，对待分类图像进行特征提取，并根据提取的特征进行近似的前向计算，实现对待分类图像的类别划分。

可以理解为，本发明实施例首先采用SGD算法对模型进行训练。之后在利用训练好的模型，也即改进的深度神经网络模型，对待分类图像进行分类时，可将待分类图像输入到该改进的深度神经网络模型中，首先利用模型的卷积层和激活函数对待分类图像进行特征提取，得到提取的特征。之后，提取的特征在改进的深度神经网络模型中继续向后传输，经模型中间层神经元的激活作用和权重计算，以及模型输出层的分类运算，最终实现对待分类图像的类别划分。

可以理解的是，可以将本发明上述各实施例对模型进行再训练的处理过程定义为增量网络逼近算法(Incremental Network Approximation，IN)，该算法的基本思想是将精确的乘法或加法运算符逐步替换为近似的乘法或加法运算符，并对模型权重进行再训练以补偿计算错误，生成容错模型。该算法的具体实现过程包括：

步骤1，根据新引入的近似运算单元选择合适的增量步长，并根据该增量步长，将模型的权重随机分成若干组。例如，如果步长为25％，权重平均分为4组。

步骤2，将其中一组权重量化为8位的定点数字。

步骤3，用近似运算单元替换量化后权重对应的运算单元，进行前向网络的运算。

步骤4，在循环迭代训练过程中，重复执行上述步骤1-3，直到训练完成，完成硬件近似。

实验结果表明，采用本发明实施例的方案，在不同的硬件设计水平上，系统硬件降低6.74％-80％，而精度损失控制在2％以内，且用不同的近似乘法器库证明了该算法的通用性。

本发明实施例的增量网络逼近算法将高度近似的算子嵌入到定点量化的DNN模型中，提高了精度，并在保证精度损失可接受的同时显著降低了能耗，同时增量网络逼近算法还解决了再训练阶段的收敛问题，深入探索了容错空间，提高了DNN的容错性，生成了更有弹性的推理模型，可以直接映射到近似硬件。由于增量网络逼近算法在各种近似乘法器设计中具有通用性，所以在神经网络硬件环境下，近似技术的开发会得到极大的发展。

基于相同的发明构思，本发明实施例根据上述各实施例提供一种基于改进深度神经网络的图像分类装置，该装置用于在上述各实施例中实现基于改进深度神经网络的图像分类。因此，在上述各实施例的图像分类方法中的描述和定义，可以用于本发明实施例中各个执行模块的理解，具体可参考上述实施例，此处不在赘述。

根据本发明实施例的一个实施例，基于改进深度神经网络的图像分类装置的结构如图3所示，为本发明实施例提供的基于改进深度神经网络的图像分类装置的结构示意图，该装置可以用于实现上述各方法实施例中基于改进深度神经网络的图像分类，该装置包括：再训练模块301、硬件近似模块302和分类输出模块303。其中：

再训练模块301用于在深度神经网络模型的前馈网络中插入近似算子，并对插入近似算子后的深度神经网络模型进行再训练；硬件近似模块302用于在再训练的过程中，对插入近似算子后的深度神经网络模型进行硬件近似，获取硬件简化模型作为改进的深度神经网络模型；分类输出模块303用于利用改进的深度神经网络模型，对待分类图像进行类别划分。

具体而言，首先，再训练模块301从近似逻辑中提取误差模型，构成近似算子，并在软件中将该近似算子建立到深度神经网络模型的前向推理路径(即前馈网络)中。然后，再训练模块301利用准备好的训练样本，对修改后的深度神经网络模型，即插入近似算子后的深度神经网络模型，进行再训练处理。

之后，在对插入近似算子后的深度神经网络模型进行再训练的过程中，硬件近似模块302对模型在硬件上进行逐步近似修正。也即，根据每一轮训练的输出结果，将模型中精确的运算单元逐步替换为近似的运算单元，并对网络权重进行更新以补偿计算错误。最后，硬件近似模块302得到包含多个近似运算单元的硬件简化模型，实现对深度神经网络模型的改进，得到改进的深度神经网络模型。

再之后，分类输出模块303以训练后得到的改进的深度神经网络模型为分析工具，通过对待分类图像的特征提取与分析，最终输出待分类图像的分类类别。其中，待分类图像可以是卫星遥感图像，通过对其分类可以得出不同遥感图像对应的植被类别等，另外也可以是医学图像、生物图像、人脸图像等，对此本发明不作限制。

本发明实施例提供的基于改进深度神经网络的图像分类装置，通过设置相应的执行模块，在深度神经网络模型的前向推理路径中插入近似算子，实现在再训练过程中把精确的运算单元逐步替换为近似的运算单元，能够有效解决训练过程的收敛性问题，同时通过将模型权重量化为定点数，能够有效提高模型的容错能力，从而有效提高对图像的分类效率和精确度。

可以理解的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现上述各实施例的装置中的各相关程序模块。并且，本发明实施例的基于改进深度神经网络的图像分类装置利用上述各程序模块，能够实现上述各方法实施例的基于改进深度神经网络的图像分类流程，在用于实现上述各方法实施例中基于改进深度神经网络的图像分类时，本发明实施例的装置产生的有益效果与对应的上述各方法实施例相同，可以参考上述各方法实施例，此处不再赘述。

作为本发明实施例的又一个方面，本实施例根据上述各实施例提供一种电子设备，该电子设备包括存储器、处理器及存储在该存储器上并可在该处理器上运行的计算机程序，该处理器执行该计算机程序时，实现如上述各实施例所述的基于改进深度神经网络的图像分类方法的步骤。

进一步的，本发明实施例的电子设备还可以包括通信接口和总线。参考图4，为本发明实施例提供的电子设备的实体结构示意图，包括：至少一个存储器401、至少一个处理器402、通信接口403和总线404。

其中，存储器401、处理器402和通信接口403通过总线404完成相互间的通信，通信接口403用于该电子设备与目标图像设备之间的信息传输；存储器401中存储有可在处理器402上运行的计算机程序，处理器402执行该计算机程序时，实现如上述各实施例所述的基于改进深度神经网络的图像分类方法的步骤。

可以理解为，该电子设备中至少包含存储器401、处理器402、通信接口403和总线404，且存储器401、处理器402和通信接口403通过总线404形成相互间的通信连接，并可完成相互间的通信，如处理器402从存储器401中读取基于改进深度神经网络的图像分类方法的程序指令等。另外，通信接口403还可以实现该电子设备与目标图像设备之间的通信连接，并可完成相互间信息传输，如通过通信接口403实现对待分类图像数据的获取等。

电子设备运行时，处理器402调用存储器401中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：在深度神经网络模型的前馈网络中插入近似算子，并对插入近似算子后的深度神经网络模型进行再训练；在再训练的过程中，对插入近似算子后的深度神经网络模型进行硬件近似，获取硬件简化模型作为改进的深度神经网络模型；利用改进的深度神经网络模型，对待分类图像进行类别划分等。

上述的存储器401中的程序指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。或者，实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还根据上述各实施例提供一种非暂态计算机可读存储介质，其上存储有计算机指令，该计算机指令被计算机执行时，实现如上述各实施例所述的基于改进深度神经网络的图像分类方法的步骤，例如包括：在深度神经网络模型的前馈网络中插入算子，并对插入近似算子后的深度神经网络模型进行再训练；在再训练的过程中，对插入近似算子后的深度神经网络模型进行硬件近似，获取硬件简化模型作为改进的深度神经网络模型；利用改进的深度神经网络模型，对待分类图像进行类别划分等。

本发明实施例提供的电子设备和非暂态计算机可读存储介质，通过执行上述各实施例所述的基于改进深度神经网络的图像分类方法的步骤，在深度神经网络模型的前向推理路径中插入近似算子，实现在再训练过程中把精确的运算单元逐步替换为近似的运算单元，能有效解决训练过程的收敛性问题，同时通过将模型权重量化为定点数，能有效提高模型的容错能力，从而有效提高对图像的分类效率和精确度。

可以理解的是，以上所描述的装置、电子设备及存储介质的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到不同网络单元上。可以根据实际需要选择其中的部分或全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上实施方式的描述，本领域的技术人员可以清楚地了解，各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令，用以使得一台计算机设备(如个人计算机，服务器，或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。

另外，本领域内的技术人员应当理解的是，在本发明实施例的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明实施例的说明书中，说明了大量具体细节。然而应当理解的是，本发明实施例的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明实施例公开并帮助理解各个发明方面中的一个或多个，在上面对本发明实施例的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。

最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明实施例进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

Claims (8)

1.一种基于改进深度神经网络的图像分类方法，其特征在于，包括：

在深度神经网络模型的前馈网络中插入近似算子，并对插入近似算子后的深度神经网络模型进行再训练；

在所述再训练的过程中，对所述插入近似算子后的深度神经网络模型进行硬件近似，获取硬件简化模型作为改进的深度神经网络模型；

利用所述改进的深度神经网络模型，对待分类图像进行类别划分。

2.根据权利要求1所述的基于改进深度神经网络的图像分类方法，其特征在于，所述在所述再训练的过程中，对所述插入近似算子后的深度神经网络模型进行硬件近似的步骤具体包括：

根据所述近似算子确定增量步长，以对所述插入近似算子后的深度神经网络模型的权重进行分组，并选择所有分组中任一分组，对所述任一分组的权重进行量化处理；

采用近似运算单元，替换量化后权重中的精确运算单元，实现硬件近似。

3.根据权利要求2所述的基于改进深度神经网络的图像分类方法，其特征在于，所述对插入近似算子后的深度神经网络模型进行再训练的步骤具体包括：

采用循环迭代训练法，在每一轮再训练中，将训练样本输入所述插入近似算子后的深度神经网络模型进行前向计算，获取模型计算偏差，并根据所述模型计算偏差，更新所述量化后权重，以在所述更新之后，转入所述根据所述近似算子确定增量步长，的步骤，进入下一轮再训练，直至训练完成。

4.根据权利要求1-3中任一项所述的基于改进深度神经网络的图像分类方法，其特征在于，所述对待分类图像进行类别划分的步骤具体包括：

通过所述改进的深度神经网络模型的卷积和激活操作，对所述待分类图像进行特征提取，并根据提取的特征进行近似的前向计算，实现对所述待分类图像的类别划分。

5.根据权利要求2所述的基于改进深度神经网络的图像分类方法，其特征在于，所述对所述任一分组的权重进行量化处理的步骤具体包括：将所述任一分组的权重量化为8位的定点数字。

6.一种基于改进深度神经网络的图像分类装置，其特征在于，包括：

再训练模块，用于在深度神经网络模型的前馈网络中插入近似算子，并对插入近似算子后的深度神经网络模型进行再训练；

硬件近似模块，用于在所述再训练的过程中，对所述插入近似算子后的深度神经网络模型进行硬件近似，获取硬件简化模型作为改进的深度神经网络模型；

分类输出模块，用于利用所述改进的深度神经网络模型，对待分类图像进行类别划分。

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至5中任一项所述的基于改进深度神经网络的图像分类方法的步骤。

8.一种非暂态计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被计算机执行时，实现如权利要求1至5中任一项所述的基于改进深度神经网络的图像分类方法的步骤。

Images