CN114358206A - 二值神经网络模型训练方法及系统、图像处理方法及系统 - Google Patents

Abstract

本发明公开了二值神经网络模型训练方法及系统、图像处理方法及系统，属于人工智能技术领域，其中训练方法具体包括：构建在线知识蒸馏增强的二值神经网络训练框架，其中在线知识蒸馏增强的二值神经网络训练框架中教师网络为初始实值神经网络模型以及初始辅助神经网络模型，学生网络为初始二值神经网络模型；对这三个网络模型使用在线蒸馏方法进行训练，从而提升二值神经网络的性能，同时，利用本发明二值神经网络模型对待处理图像进行图像分类处理，从而提高了图像分类的准确性。

Description

二值神经网络模型训练方法及系统、图像处理方法及系统

技术领域

本发明涉及人工智能技术领域，更具体的说是涉及二值神经网络模型训练方法及系统、图像处理方法及系统。

背景技术

深度神经网络在计算机视觉任务，如图像分类和目标检测上，取得了巨大的成功，然而深度神经网络模型通常有数百万个参数，需要消耗大量的内存和运算资源来解决复杂的计算问题。在实际中，因为计算资源的限制，将深度神经网络部署在嵌入式平台和移动设备上会遇到许多挑战。为了解决这个限制，许多方法通过压缩网络结构来减少内存使用和计算开销。

在现有技术中，二值神经网络通过将浮点输入和网络权重转化为二值形式来压缩深度神经网络。为了减少二值神经网络和实值神经网络之间的性能差距，一些经典的网络结构被提出，如：XNOR-Net网络，其利用对应的二值化参数和比例因子来重建全精度的权重和激活值，以此提高二值神经网络的性能；ABC-Net，运用多个二进制基的线性组合来近似全精度的权重和激活值。

但是，上述提到的二值神经网络仍有以下几个限制：

(1)由于极端的二值化按位操作很可能会导致实值神经网络和二值神经网络的信息流间产生巨大的差异，因此在正向传播与反向传播时产生的量化误差和梯度错配通常会导致实值神经网络和二值神经网络的性能差距巨大，造成二值神经网络模型在具体计算机视觉任务上，如图像分类任务的类别预测准确度相较于实值神经网络大幅度降低，从而限制图像分类等计算机视觉任务在资源受限的平台(如嵌入式设备等)上的部署。

(2)根据第(1)点，巨大的性能差距会导致实值神经网络的准确率损失，这会影响到实值神经网络对二值神经网络的训练。而现有技术中并未有减小网络间的性能差距的问题。

(3)对于知识蒸馏，学生网络常通过离线的方式，由预训练好的教师网络进行训练，这使得教师网络无法获得学生网络的反馈。换句话说，知识是单向从教师网络传递给学生网络。这会给二值神经网络的知识蒸馏带来更多的障碍。

综上，如何提供一种二值神经网络模型训练方法及系统、图像处理方法及系统是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种二值神经网络模型训练方法及系统、图像处理方法及系统，使用在线蒸馏技术来联合训练二值神经网络和实值神经网络，提升了网络间知识的相互交流，同时使得实值神经网络能够依据二值神经网络的反馈更好的指导二值神经网络的训练，并且，通过本发明提出的辅助神经网络来桥接实值神经网络和二值神经网络之间的知识迁移，进一步提升性能，并将基于在线知识蒸馏的二值神经网络训练框架扩展成三个网络集成的结构，进一步的缩小了教师网络和学生网络之间的性能差异，提高二值神经网络的性能，从而提高了图像分类的准确性。

为了实现上述目的，本发明提供如下技术方案：

一方面，本发明提供一种二值神经网络模型的训练方法，所述训练方法包括：

S100：构建在线知识蒸馏增强的二值神经网络训练框架，其中，所述在线知识蒸馏增强的二值神经网络训练框架中教师网络为初始实值神经网络模型Θ_R以及初始辅助神经网络模型Θ_A，学生网络为初始二值神经网络模型Θ_B；

S200：利用所述在线蒸馏方法，对所述初始实值神经网络模型Θ_R、所述初始辅助神经网络模型Θ_A以及所述初始二值神经网络模型Θ_B进行j次训练，得到实值神经网络模型Θ_R ^j、辅助神经网络模型Θ_A ^j以及二值神经网络模型Θ_B ^j；

S300：获取待训练图像，将所述待训练图像输入至所述实值神经网络模型Θ_R ^j、所述辅助神经网络模型Θ_A ^j以及所述二值神经网络模型Θ_B ^j中，得到图像的类别预测值以及图像类别标签；

S400：基于图像的类别预测值以及图像类别标签，计算得到目标损失函数值，并根据所述目标损失函数值进行参数更新，得到更新后的实值神经网络Θ_R ^j+1、辅助神经网络Θ_A ^j+1以及二值神经网络Θ_B ^j+1；

S500:当满足预设训练条件时，将所述二值神经网络Θ_B ^j+1作为目标二值神经网络模型。

优选的，所述S100包括初始二值神经网络模型Θ_B的构建：

获取初始实值神经网络模型Θ_R，对初始实值神经网络模型Θ_R进行二值化得到二值神经网络的激活值

以及权重

其中，sign(.)是符号函数，Ab为激活值，Wb为实值权重；

根据激活值

以及权重

构建得到初始二值神经网络模型Θ_B。

优选的，所述S100还包括对初始辅助神经网络模型Θ_A的构建：

得到初始辅助神经网络Θ_A的软化激活值

其中，

为软化激活值，

为辅助神经网络的损失函数，Soft(·)是分段函数，A_S为全精度激活值；

得到初始辅助神经网络Θ_A的软化权重

其中，

为软化权重值，

为辅助神经网络的损失函数，Soft(·)是分段函数，W_S为实值权重；

根据软化激活值

以及软化权重

构建得到初始辅助神经网络模型Θ_A。

优选的，所述S400包括：

S410：基于图像的类别预测值以及值图像类别标签，计算得到目标损失函数值：

L_ΘB＝L_ce(y,P_B)+L_m(Θ_B)；

L_ΘA＝L_ce(y,P_A)+L_m(Θ_A)；

L_ΘR＝L_ce(y,P_R)+L_m(Θ_R)；

其中，y是图像类别标签，P_B是初始二值神经网络模型Θ_B对输入图片的类别预测值，P_A是初始辅助神经网络模型Θ_A对输入图片的类别预测值，P_R是初始实值神经网络模型Θ_R对输入图片的类别预测值；

是初始二值神经网络模型Θ_B的整体损失函数，

是初始辅助神经网络模型Θ_A的整体损失函数，

是初始实值神经网络模型Θ_R的整体损失函数；

S410：根据目标损失函数值进行j+1次训练，并进行参数更新，得到更新后的实值神经网络模型Θ_R ^j+1、辅助神经网络模型Θ_A ^j+1以及二值神经网络模型Θ_B ^j+1。

优选的，所述目标损失函数值包括模拟损失项L_m(·)，所述模拟损失项L_m(·)由两个模拟损失子项L_m(.,.)组成，其计算公式为：

L_m(Θ_B)＝α_RBL_m(P_R,P_B)+β_ABL_m(P_A,P_B)；

L_m(Θ_A)＝α_RAL_m(P_R,P_A)+β_BAL_m(P_B,P_A)；

L_m(Θ_R)＝α_ARL_m(P_A,P_R)+β_BRL_m(P_B,P_R)；

其中，P_A是初始辅助神经网络模型Θ_A对于输入图片的类别预测值，P_R是初始实值神经网络模型Θ_R对于输入图片的类别预测值,P_B是初始二值神经网络模型Θ_B对于输入图片的类别预测值，α_RB、α_RA、α_AB、β_AB、β_BA、β_BR分别为模拟因子；

模拟损失子项L_m(.,.)的计算公式为：

其中,

指输入到网络Θ_X的训练样本中的第i个样本的类别预测值；

指输入到二元数值网络Θ_Y的训练样本中的第i个样本的类别预测值，N为训练样本的大小，M是数据集中样本的类别数量。

优选的，所述目标损失函数值还包括交叉熵损失项L_ce(·,·)，其计算公式为：

其中，y是图像类别标签，p_i是输入到网络的训练样本中的第i个样本的类别预测值，N为训练样本的大小。

优选的，所述S500包括：共对所述实值神经网络模型、所述辅助神经网络模型以及所述初始二值神经网络模型进行K次训练，对于第j+1次训练为1＝＜j+1＜＝K，其中，j为正整数；当j+1＝K时，将二值神经网络Θ_B ^j+1作为目标二值神经网络，否则令j＝j+1,并返回步骤S200进行重复训练。

另一方面，本发明提供一种二值神经网络模型的训练系统，包括：

构建模块，构建在线知识蒸馏增强的二值神经网络训练框架，其中，所述在线知识蒸馏增强的二值神经网络训练框架中教师网络为初始实值神经网络模型Θ_R以及初始辅助神经网络模型Θ_A，学生网络为初始二值神经网络模型Θ_B；

训练模块：与所述构建模块连接，利用所述在线蒸馏方法，对所述初始实值神经网络模型Θ_R、所述初始辅助神经网络模型Θ_A以及所述初始二值神经网络模型Θ_B进行j次训练，得到实值神经网络模型Θ_R ^j、辅助神经网络模型Θ_A ^j以及二值神经网络模型Θ_B ^j；

处理模块，与所述训练模块连接，获取待训练数据集，将所述待训练数据集输入至所述实值神经网络模型Θ_R ^j、所述辅助神经网络模型Θ_A ^j以及所述二值神经网络模型Θ_B ^j中，得到数据集中图片的类别预测值以及数据集类别标签；

更新模块，与所述处理模块连接，基于数据集的类别预测以及数据集类别标签，计算得到目标损失函数值，并根据所述目标损失函数值进行参数更新，得到更新后的实值神经网络Θ_R ^j+1、辅助神经网络Θ_A ^j+1以及二值神经网络Θ_B ^j+1；

判断模块，与所述更新模块连接，用于当满足训练预设条件时，将所述二值神经网络Θ_B ^j+1作为目标二值神经网络模型。

另一方面，本发明提供一种图像处理方法，应用是上述得到的目标二值神经网络模型，所述图像处理方法包括：

S10：获取待处理图像；

S20：利用所述目标二值神经网络模型对所述待处理图像进行图像分类处理；

S30：得到分类处理结果并输出。

再一方面，本发明还提供了一种图像处理系统，包括：

获取模块：用于获取待处理图像；

分类处理模块，与所述获取模块连接：用于利用所述目标二值神经网络模型对所述待处理图像进行图像分类处理；

输出模块，与所述分析处理模块连接，用于获取待处理图像，利用所述目标二值神经网络模型对所述待处理图像进行图像分类处理，得到分类处理结果并输出。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了二值神经网络模型训练方法及系统、图像处理方法及系统，所构建的在线知识蒸馏增强的二值神经网络训练框架，实现教师网络和学生网络之间知识的交互，通过辅助神经网络，帮助建立实值神经网络和二值神经网络之间的联系，并将基于在线知识蒸馏的二值神经网络训练框架扩展成三个网络的集成结构。减小了教师网络和学生网络之间的性能差异，进一步提升网络的性能，从而提高了图像分类的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的二值神经网络模型的训练方法流程示意图；

图2为本实施例1提供的在线知识蒸馏增强的二值神经网络训练框架结构示意图；

图3为本实施例1提供的二值神经网络模型的训练系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

一方面，参见附图1所示，本发明实施例1公开了一种二值神经网络模型的训练方法，包括：

S100：构建在线知识蒸馏增强的二值神经网络训练框架，其中，在线知识蒸馏增强的二值神经网络训练框架中教师网络为初始实值神经网络模型Θ_R以及初始辅助神经网络模型Θ_A，学生网络为初始二值神经网络模型Θ_B；

S200：利用在线蒸馏方法，对实值神经网络模型Θ_R、初始辅助神经网络模型Θ_A以及初始二值神经网络模型Θ_B进行j次训练，得到实值神经网络模型Θ_R ^j、辅助神经网络模型Θ_A ^j以及二值神经网络模型Θ_B ^j；

S300：获取待训练数据集，将待训练数据集输入至训练后的实值神经网络模型Θ_R ^j、辅助神经网络模型Θ_A ^j以及二值神经网络模型Θ_B ^j中，得到数据集中图片的类别预测值以及数据集类别标签；

S400：基于数据集中图片的类别预测值以及数据集类别标签，计算得到目标损失函数值，并根据目标损失函数值进行参数更新，得到更新后的实值神经网络Θ_R ^j+1、辅助神经网络Θ_A ^j+1以及二值神经网络Θ_B ^j+1；

S500:当满足训练预设训练条件时，将二值神经网络Θ_B ^j+1作为目标二值神经网络模型；

具体的，当目标二值神经网络模型应用于图像处理时，待训练数据集为待训练图像数据集。

在一个具体实施例中，二值神经网络是一种有效的神经网络压缩方法，其通过将浮点输入和全精度网络权重进行二值化来压缩网络结构。使用二值化操作对实值神经网络进行压缩后，网络中的权重和激活都可以用1位数值(如+1或-1)表示，而不会占用太多内存。

对于全精度实值神经网络，A_b是其全精度的激活值(输入值)，W_b是实值权重。通过如下计算，对实值神经网络进行二值化，得到二值神经网络的激活值

和权重

在公式(1)中，sign(.)是符号函数，函数输入若是正值，输出为1，负值则为-1，其导数为脉冲函数。同时，通过使用Straight-forward(直接前向传递)方法在反向传播过程中估计sign函数的梯度，权重平均值用来估计激活函数的梯度。

经过上述技术方案，得到了初始实值神经网络模型Θ_R所对应的初始二值神经网络模型Θ_B。

然而，直接对实值神经网络的激活值和权重进行二值化，会在参数正向传播与梯度反向传播时产生量化误差和梯度错配，导致二值神经网络相较于全精度实值神经网络，性能急剧下降。

在一个具体实施例中，为了解决二值神经网络性能急剧下降的问题，本发明基于在线知识蒸馏，提出了一种在线知识蒸馏增强的二值神经网络，即Online Distilling-Enhanced Binary Neural Networks,缩写为ODE-BNN。通过ODE-BNN对压缩后的二值神经网络参数进行训练。通过在线知识蒸馏，使用性能更好的全精度实值神经网络对二值神经网络的训练进行指导，可以使二值神经网络的性能获得了极大的提高。然而，由于正向和反向传播中产生的量化误差和梯度错配，这种提高被实值神经网络和二值神经网络间的性能差距限制了。因此，仅使用实值神经网络对二值神经网络进行在线知识蒸馏，并不能给二值神经网络提供足够好的指导。进一步的，本发明还提出了构建软化的辅助神经网络来解决上述问题，辅助神经网络就像一座桥一样联系实值神经网络和二值神经网络。软化方法可以平滑量化步骤、避免梯度错配。一方面，辅助神经网络的精度介于实值神经网络和二值神经网络之间，其有助于实现实值神经网络和二值神经网络的信息交换，帮助提升二值神经网络性能。另一方面，辅助神经网络可以和实值神经网络一起提供对二值神经网络训练的指导。

在一个具体实施例中，使用soft(软化)方法构建实值神经网络所对应的软化辅助神经网络，即通过soft方法获得初始辅助神经网络模型Θ_A的软化激活值

和软化权重

从而构建得到初始辅助神经网络模型Θ_A。

对于网络Θ_A的全精度激活值A_s，为了得到其软化激活值

其正向传播和反向传播公式如下：

其中

为辅助神经网络的损失函数，Soft(·)是如下的分段函数：

同理，对于辅助神经网络的实值权重W_s，其软化权重

可由如下正向传播和反向传播计算获得：

其中，

为辅助神经网络的损失函数。

通过上述公式(2)和公式(5)，即可得到初始辅助神经网络模型Θ_A的软化激活值

和软化权重

参见附图2所示，本发明实施例提供了在线知识蒸馏增强的二值神经网络训练框架结构示意图，在一个具体实施例中，将初始实值神经网络Θ_R、初始二值神经网络Θ_B和初始辅助神经网络Θ_A集成为在线蒸馏增强的二值神经网络训练框架。通过在线蒸馏的方式，使用实值神经网络和辅助神经网络对二值神经网络的参数优化过程进行指导。其中在线蒸馏框架中的教师网络为初始实值神经网络Θ_R和初始辅助神经网络Θ_A，学生网络为初始二值神经网络Θ_B。

对于图像分类任务，基于上述在线蒸馏框架对二值神经网络进行K次训练，对于第j+1次训练(1＝<j+1<＝K)，将训练图像输入到在线蒸馏框架下的每个神经网络中，即实值神经网络Θ_R ^j、二值神经网络Θ_B ^j和辅助神经网络Θ_A ^j中，其中Θ_R ^j、Θ_B ^j和Θ_A ^j是基于第j次训练得到的。每个神经网络分别对图片进行处理，得到网络对于该次训练输入图片的类别预测值。

之后，基于上述图像的类别预测值和图像类别标签，通过下面的目标函数公式(6)计算得到该次训练过程的损失函数值，并基于该目标损失函数值来更新每个神经网络模型的参数。该损失函数由模拟损失项L_m(·)和交叉熵损失项L_ce(·,·)构成。其中模拟损失项用于描述框架中任意一个神经网络(如二值神经网络Θ_B)与框架中另外两个神经网络(如实值神经网络Θ_R和辅助神经网络Θ_A)对于第j+1次训练输入图像的类别预测值之间的差异。交叉熵损失项用于描述框架中任意网络对于第j+1次训练输入图像的输出类别预测值和图像的真实类别标签之间的差异。

其中y是图像类别标签，P_B是二值神经网络Θ_B的类别预测值，P_A是辅助神经网络Θ_A的类别预测值，P_R是实值神经网络Θ_R的类别预测值；

是二值神经网络Θ_B的整体损失函数，

是辅助神经网络Θ_A的整体损失函数，

是实值神经网络Θ_R的整体损失函数。

经过上述的第j+1次训练，我们同步训练框架内的三个神经网络并进行参数更新，得到了实值神经网络Θ_R ^j+1、二值神经网络Θ_B ^j+1和辅助神经网络Θ_A ^j+1。此时若满足预设条件后(如j+1＝K，即当前训练次数为预设训练次数)，我们即可将上述框架中训练得到二值神经网络Θ_B ^j+1作为目标二值神经网络，否则令j＝j+1,继续上述训练。

在一个具体实施例中，模拟损失项L_m(·)和交叉熵损失项L_ce(·,·)的具体计算过程为：

(1)模拟损失项L_m(·)由两个模拟损失子项L_m(.,.)组成，每个模拟损失子项描述在线蒸馏框架中任意两个网络的输出类别预测值之间的差异，通过最小化L_m(.,.)使一个网络能够尽可能地学习另一个网络的输出。如二值神经网络的模拟损失项L_m(Θ_B)，其由二值神经网络和实值神经网络间的模拟损失子项L_m(P_R,P_B)和二值神经网络与辅助神经网络间的模拟损失子项L_m(P_A,P_B)构成。二值神经网络通过模拟损失项向教师网络(即实值神经网络和辅助神经网络)学习，可以使得训练得到的目标二值神经网络在图片类别的预测结果上更接近教师网络，进而提升二值神经网络的预测准确度。下式为框架中各网络所对应的模拟损失项L_m(·)：

其中P_A是辅助神经网络Θ_A对于输入图片的类别预测值，P_R是实值神经网络Θ_R对于输入图片的类别预测值,P_B是二值神经网络Θ_B对于输入图片的类别预测值，α**和β**为模拟因子，用于平衡两个模拟损失的大小。在实现中，αRB设置为0.5,βAB设置为0.5,α_RA设置为0.7,β_BA，α_AR和β_BR设置为1。同时，模拟损失子项L_m(.,.)的具体计算公式如下：

其中

指输入到网络Θ_X的训练样本中的第i个样本的类别预测值；

指输入到二元数值网络Θ_Y的训练样本中的第i个样本的类别预测值。N是该批样本的大小，M是数据集中样本的类别数量。

从上述模拟损失项可以看出，二值神经网络通过模拟损失项来学习实值神经网络输出类别预测值的分布，实值神经网络同时也通过模拟损失接收二值神经网络的反馈并给整个训练过程提供更好的指导。同时，二值神经网络也通过模拟损失项来学习辅助神经网络输出类别预测值的分布，由于辅助神经网络的性能介于实值神经网络与二值神经网络之间，其可以弥补实值神经网络和二值神经网络间的巨大差异，有助于实现实值神经网络和二值神经网络的信息交换，帮助提升二值神经网络性能。

(2)交叉熵损失L_ce(·)可由下式得到，该损失项通过比较框架中的神经网络类别预测值和图像标签间差异，让网络能够学习到数据的正确分布，从而提升模型的预测准确度

其中y是图像类别标签，p_i是输入到网络的训练样本中的第i个样本的类别预测值，N是该批样本的大小。

通过上述技术方案，本发明使用在线知识蒸馏网络框架，通过联合训练实值神经网络和二值神经网络大幅提升二值神经网络性能。同时,该框架也构建了软化辅助神经网络，在训练过程中平滑量化步骤、减少梯度错配，弥合实值神经网络和二值神经网络间的巨大差异，进一步提升二值神经网络性能。在多个公共数据集上的大量实验也验证了该方法的有效性。

另一方面，参见附图3所示，本发明实施例1还提供了一种二值神经网络模型的训练系统，包括：

构建模块，构建在线知识蒸馏增强的二值神经网络训练框架，其中，在线知识蒸馏增强的二值神经网络训练框架中教师网络为初始实值神经网络模型Θ_R以及初始辅助神经网络模型Θ_A，学生网络为初始二值神经网络模型Θ_B；

训练模块：与构建模块连接，利用在线蒸馏方法，对实值神经网络模型Θ_R、初始辅助神经网络模型Θ_A以及初始二值神经网络模型Θ_B进行j次训练，得到实值神经网络模型Θ_R ^j、辅助神经网络模型Θ_A ^j以及二值神经网络模型Θ_B ^j；

处理模块，与训练模块连接，获取待训练数据集，将待训练数据集输入至训练后的实值神经网络模型Θ_R ^j、辅助神经网络模型Θ_A ^j以及二值神经网络模型Θ_B ^j中，得到数据集中图片的类别预测值以及数据集类别标签；

更新模块，与处理模块连接，基于数据集的类别预测以及数据集类别标签，计算得到目标损失函数值，并根据目标损失函数值进行参数更新，得到更新后的实值神经网络Θ_R ^j+1、辅助神经网络Θ_A ^j+1以及二值神经网络Θ_B ^j+1；

判断模块，与更新模块连接，用于当满足训练预设条件时，将二值神经网络Θ_B ^j+1作为目标二值神经网络模型。

另一方面，本实施例1还提供一种图像处理方法，应用是上述得到的目标二值神经网络模型，图像处理方法包括：

S10：获取待处理图像；

S20：利用所述目标二值神经网络模型对所述待处理图像进行图像分类处理；

S30：得到分类处理结果并输出。

再一方面，本实施例1还提供了一种图像处理系统，包括

获取模块：用于获取待处理图像；

分类处理模块，与获取模块连接：用于利用目标二值神经网络模型对待处理图像进行图像分类处理；

输出模块，与分析处理模块连接，用于获取待处理图像，利用目标二值神经网络模型对待处理图像进行图像分类处理，得到分类处理结果并输出。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了二值神经网络模型训练方法及系统、图像处理方法及系统，所构建的在线知识蒸馏增强的二值神经网络训练框架，实现教师网络和学生网络之间的知识交互，通过辅助神经网络，帮助建立实值神经网络和二值神经网络之间的联系，并将基于在线知识蒸馏的二值神经网络训练框架扩展成集成了三个网络的结构。减小了教师网络和学生网络之间的性能差异，并进一步提升网络的性能，从而提高了图像分类的准确度。

实施例2

为了验证上述方法的有效性，在三个公共基准数据集上进行了大量实验，实验结果证明了本发明对二值神经网络性能具有明显的提升效果，其在CIFAR10和CIFAR100数据集上分别获得最高3.15％和6.67％的准确度提升。同时也验证了辅助神经网络对缩小教师网络和学生网络间差距的积极作用，辅助神经网络可帮助ODE-BNN在CIFAR10和CIFAR100数据集上分别获得最高0.87％及3.48％的准确度提升。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种二值神经网络模型的训练方法，其特征在于，所述训练方法包括：

S100：构建在线知识蒸馏增强的二值神经网络训练框架，其中，所述在线知识蒸馏增强的二值神经网络训练框架中教师网络为初始实值神经网络模型Θ_R以及初始辅助神经网络模型Θ_A，学生网络为初始二值神经网络模型Θ_B；

S200：利用所述在线蒸馏方法，对所述初始实值神经网络模型Θ_R、所述初始辅助神经网络模型Θ_A以及所述初始二值神经网络模型Θ_B进行j次训练，得到实值神经网络模型Θ_R ^j、辅助神经网络模型Θ_A ^j以及二值神经网络模型Θ_B ^j；

S300：获取待训练数据集，将所述待训练数据集输入至所述实值神经网络模型Θ_R ^j、所述辅助神经网络模型Θ_A ^j以及所述二值神经网络模型Θ_B ^j中，得到数据集中图片的类别预测值以及数据集类别标签；

S400：基于数据集中图片的类别预测值以及数据集类别标签，计算得到目标损失函数值，并根据所述目标损失函数值进行参数更新，得到更新后的实值神经网络Θ_R ^j+1、辅助神经网络Θ_A ^j+1以及二值神经网络Θ_B ^j+1；

S500:当满足预设训练条件时，将所述二值神经网络Θ_B ^j+1作为目标二值神经网络模型。

2.根据权利要求1所述的一种二值神经网络模型的训练方法，其特征在于，所述S100包括初始二值神经网络模型Θ_B的构建，具体过程包括：

获取初始实值神经网络模型Θ_R，对初始实值神经网络模型Θ_R进行二值化得到二值神经网络的激活值

以及权重

其中，sign(.)是符号函数，A_b为激活值，W_b为实值权重；

根据激活值

以及权重

构建得到初始二值神经网络模型Θ_B。

3.根据权利要求1所述的一种二值神经网络模型的训练方法，其特征在于，所述S100还包括对初始辅助神经网络模型Θ_A的构建：

得到初始辅助神经网络Θ_A的软化激活值

Forward：

Backward：

其中，

为软化激活值，

为辅助神经网络的损失函数，Soft(·)是分段函数，A_S为全精度激活值；

得到初始辅助神经网络Θ_A的软化权重

Forward：

Backward：

其中，

为软化权重值，

为辅助神经网络的损失函数，Soft(·)是分段函数，W_S为实值权重；

根据软化激活值

以及软化权重

构建得到初始辅助神经网络模型Θ_A。

4.根据权利要求1所述的一种二值神经网络模型的训练方法，其特征在于，所述S400包括：

S410：基于图像的类别预测值以及图像类别标签，计算得到目标损失函数值：

L_ΘB＝L_ce(y，P_B)+L_m(Θ_B)；

L_ΘA＝L_ce(y，P_A)+L_m(Θ_A)；

L_ΘR＝L_ce(y，P_R)+L_m(Θ_R)；

其中，y是图像类别标签，P_B是初始二值神经网络模型Θ_B对输入图片的类别预测值，P_A是初始辅助神经网络模型Θ_A对输入图片的类别预测值，P_R是初始实值神经网络模型Θ_R对输入图片的类别预测值；

是初始二值神经网络模型Θ_B的整体损失函数，

是初始辅助神经网络模型Θ_A的整体损失函数，

是初始实值神经网络模型Θ_R的整体损失函数；

S420：根据目标损失函数值进行j+1次训练，并进行参数更新，得到更新后的实值神经网络模型Θ_R ^j+1、辅助神经网络模型Θ_A ^j+1以及二值神经网络模型Θ_B ^j+1。

5.根据权利要求4所述的一种二值神经网络模型的训练方法，其特征在于，所述目标损失函数值包括模拟损失项L_m(·)，所述模拟损失项L_m(·)由两个模拟损失子项L_m(.，.)组成，其计算公式为：

L_m(Θ_B)＝α_RBL_m(P_R，P_B)+β_ABL_m(P_A，P_B)；

L_m(Θ_A)＝α_RAL_m(P_R，P_A)+β_BAL_m(P_B，P_A)；

L_m(Θ_R)＝α_ARL_m(P_A，P_R)+β_BRL_m(P_B，P_R)；

其中，P_A是初始辅助神经网络模型Θ_A对于输入图片的类别预测值，P_R是初始实值神经网络模型Θ_R对于输入图片的类别预测值，P_B是初始二值神经网络模型Θ_B对于输入图片的类别预测值，α_RB、α_RA、α_AB、β_AB、β_BA、β_BR分别为模拟因子；

模拟损失子项L_m(.，.)的计算公式为：

其中，

指输入到网络Θ_X的训练样本中的第i个样本的类别预测值；

指输入到二元数值网络Θ_Y的训练样本中的第i个样本的类别预测值，N为训练样本的大小。

6.根据权利要求4所述的一种二值神经网络模型的训练方法，其特征在于，所述目标损失函数值还包括交叉熵损失项L_ce(·，·)，其计算公式为：

其中，y是图像类别标签，p_i是输入到网络的训练样本中的第i个样本的类别预测值，N为训练样本的大小。

7.根据权利要求1所述的一种二值神经网络模型的训练方法，其特征在于，所述S500包括：共对所述实值神经网络模型、所述辅助神经网络模型以及所述初始二值神经网络模型进行K次训练，对于第j+1次训练为1＝＜j+1＜＝K，其中，j为正整数；当j+1＝K时，将二值神经网络Θ_B ^j+1作为目标二值神经网络，否则令j＝j+1，并返回步骤S200进行重复训练。

8.一种二值神经网络模型的训练系统，其特征在于，包括：

构建模块，构建在线知识蒸馏增强的二值神经网络训练框架，其中，所述在线知识蒸馏增强的二值神经网络训练框架中教师网络为初始实值神经网络模型Θ_R以及初始辅助神经网络模型Θ_A，学生网络为初始二值神经网络模型Θ_B；

训练模块：与所述构建模块连接，利用所述在线蒸馏方法，对所述初始实值神经网络模型Θ_R、所述初始辅助神经网络模型Θ_A以及所述初始二值神经网络模型Θ_B进行j次训练，得到实值神经网络模型Θ_R ^j、辅助神经网络模型Θ_A ^j以及二值神经网络模型Θ_B ^j；

处理模块，与所述训练模块连接，获取待训练数据集，将所述待训练数据集输入至所述实值神经网络模型Θ_R ^j、所述辅助神经网络模型Θ_A ^j以及所述二值神经网络模型Θ_B ^j中，得到数据集中图片的类别预测值以及数据集类别标签；

更新模块，与所述处理模块连接，基于数据集中图片的类别预测值以及数据集类别标签，计算得到目标损失函数值，并根据所述目标损失函数值进行参数更新，得到更新后的实值神经网络Θ_R ^j+1、辅助神经网络Θ_A ^j+1以及二值神经网络Θ_B ^j+1；

判断模块，与所述更新模块连接，用于当满足训练预设条件时，将所述二值神经网络Θ_B ^j+1作为目标二值神经网络模型。

9.一种图像处理方法，应用权利要求1-7任一项所述得到的目标二值神经网络模型，其特征在于，所述图像处理方法包括：

S10：获取待处理图像；

S20：利用所述目标二值神经网络模型对所述待处理图像进行图像分类处理；

S30：得到分类处理结果并输出。

10.一种图像处理系统，其特征在于，包括：

获取模块：用于获取待处理图像；

分类处理模块，与所述获取模块连接：用于利用所述目标二值神经网络模型对所述待处理图像进行图像分类处理；

输出模块，与所述分析处理模块连接，用于获取待处理图像，利用所述目标二值神经网络模型对所述待处理图像进行图像分类处理，得到分类处理结果并输出。

Images