CN113313197A - 一种全连接神经网络训练方法 - Google Patents

Abstract

一种全连接神经网络训练方法，解决了现有针对图像分类的神经网络模型训练时的可解释性差导致性能难以提升的问题，涉及人工智能技术领域。本发明包括：S1、利用分类图像数据集训练全连接神经网络的学习器；S2、利用学习器提取分类图像数据集的分割超平面，将分类图像数据集分割出若干子空间，每个子空间内的图像数据组成当前分割层的一个子数据集，根据子空间与超平面的相对位置进行编码；S3、判断当前分割层的所有子数据集的分类结果是否满足总体指标，若是，记录对应编码及存储学习器，转入S5；若否，选出不满足设定指标的子数据集，重新分配学习器进行训练，转入S2；S5、按分割层存储学习器及对应位置编码，训练完成。

Description

一种全连接神经网络训练方法

技术领域

本发明涉及一种全连接神经网络训练方法，涉及人工智能技术领域。

背景技术

深度学习(deep learning)通过模仿大脑的神经元结构、功能与机制，来进行对人脑智能的模拟，并以此来处理、学习与解释数据，例如图像、声音、文本及图结构等，是机器学习研究的一个新兴领域。

深度学习模型是深度学习技术的核心，也是现在第三次人工智能浪潮的推动力量。目前被大规模使用的模型有如卷积神经网络(CNN)、循环神经网络(RNN)、注意力机制模型(如Transformer等)。这些深度学习模型及其各种变体，能够通过大量数据进行学习，已经在人脸识别、机器翻译等具体领域中取得了惊人的效果。

目前，深度学习的训练方法，主要采用误差反向传播(BP算法)以及结合迁移学习的思路，在这样的训练模式下，模型的具体结构参数(宽度、深度、跳跃连接、分支等)具有高度的自由度，凭借人工经验进行设计效率极低，而机器自动搜索会耗费大量算力，效率提升也较小。除此之外，许多特殊场景需要模型提供高度的可解释性，例如自动驾驶、AI智慧医疗、金融决策的图像分类中。

在图像处理领域，由于数据的往往具有极高维度，深度学习模型已经接近其性能的天花板，如何对高维度数据进行有效的建模，是深度学习技术的一大目标。但现有模型训练模式已经明显进入瓶颈期，性能难以继续提升。目前深度学习的模型设计与结构依赖人工设计，机器搜索也面临效率低下的问题；几乎所有的模型都依靠反向传播算法进行反向的参数调整。学习到的模型，如何进行决策，难以理解。

综上，现有的方案难以解释深度学习模型的运行机理，因此也难以指导模型的设计与改进。现有深度学习实践往往建立在大量的人工设计、调参的基础上，另外，由于设计的高自由度，即使使用机器搜索最优结构(NAS)，再耗费大量电力、硬件资源的前提下，模型效果的提升也较小。

发明内容

针对现有针对图像分类的神经网络模型训练时的可解释性差导致性能难以提升的问题，本发明提供一种可解释的全连接神经网络训练方法。

本发明的一种全连接神经网络训练方法，所述方法包括：

S1、确定学习器和分类图像数据集，利用分类图像数据集训练学习器，所述学习器为全连接神经网络；

S2、利用学习器提取分类图像数据集的分割超平面，将分类图像数据集分割出若干子空间，每个子空间内的图像数据组成当前分割层的一个子数据集，并根据子空间与超平面的相对位置进行编码，获取每个子数据集的位置编码；

S3、判断当前分割层的所有子数据集的分类结果是否满足总体指标，若是，记录当前分割层的各子空间的对应编码，并储存每个子数据集对应的学习器，转入S5；若否，对分割出的子数据集进行筛选，选出不满足设定指标的子数据集，转入S4；

S4、对不满足设定指标的子数据集，重新分配学习器，并利用相应子数据集对该学习器进行训练，利用训练后的学习器提取子数据集的分割超平面，将对应子数据集分割出若干子空间，每个子空间内的图像数据组成当前分割层的一个子数据集，获取每个子空间与超平面的相对位置的编码，转入S3；

S5、按分割层存储学习器及对应位置编码，训练完成。

作为优选，所述学习器为单隐含层的全连接神经网络。

作为优选，子数据集及对应位置编码的获取方法包括：

隐含层有n个神经元，隐含层对应的分割超平面共有n个，分别为：

(W_jx+b_j)＝0

x表示输入，

W_j表示隐含层第j个神经元的与上一层所有神经元的连接权重，b_j表示与W_j相对应的偏置，j∈{1,2,…,n}；

遍历分类图像数据集或不满足设定指标的子数据集中的所有图像数据，按照以下方法获取每个图像数据的位置编码：

输入图像数据后，若隐含层的输出值大于0，表明相应数据位于超平面的正半空间，编码为1，若隐含层的输出值等于0，则相应数据位于超平面的负半空间，编码为0；

每个数据相对超平面的位置编码包括n个编码，每一种位置编码对应着一个唯一的子空间，具有相同位置编码的数据位于同一个子空间，构成子数据集。

作为优选，所述单隐含层的全连接神经网络使用ReLU激活函数、任意分段线性激活函数或任意可以被可数段分段线性函数逼近的函数。

作为优选，所述总体指标为分类准确率或回归评价指标均方误差。

作为优选，所述学习器为单隐含层多层感知机、任意具有多个隐含层的多层感知机、支持向量机或决策树。

作为优选，所述方法还包括：对按分割层存储的学习器形成的网络进行合并、等价转换、压缩或微调。

作为优选，所述S5包括：

判断训练次数是否达到设定阈值，若否，对最后分割层的子数据集，重新分配学习器，并利用相应子数据集对该学习器进行训练，利用训练后的学习器提取子数据集的分割超平面，将对应子数据集分割出若干子空间，每个子空间内的图像数据组成当前分割层的一个子数据集，获取每个子空间与超平面的相对位置的编码，转入S3，若是，按分割层存储学习器及对应编码，训练完成。

作为优选，S2或S4中，分割出的若干子空间后，将子空间的距离满足设定距离阈值的进行空间聚合。

作为优选，所述方法还包括：

S6、判断分割出的子空间是否有遗漏，判断方法为：

S5中共存储m个位置编码，遍历m个位置编码，创建该位置编码的向量：P⁽ⁱ⁾＝[p₁,p₂,…,p_n]^T，

其中，p_j＝±1,j∈{1,2,…,n}，p_j＝1表示对应数据位于超平面的正半空间，p_j＝-1表示对应数据位于超平面的负半空间，x表示输入，

对第i个超平面不等式组进行判断：

max z

s.t.

x∈[0,1]

如果z>0，则第i个超平面不等式组不合法，否则第i个超平面不等式组合法，合法表明编码对应着一个子空间，通过判断所有位置编码是否合法，从而判断子区间是否有遗漏。

本发明的有益效果，本发明提出了一种前向构建的全连接神经网络的方法，这种构建方法使得深度学习模型首次具备完全的可解释性。在该网络中，每一层结构、每一个神经元都具有清晰的几何解释，在图像分类任务中隐含层神经元分割整个图像数据空间，每一个神经元都对应着分割图像数据空间的一个超平面。每增加一层，都是对前一层的一个子空间的进一步细分，同理是此时的神经元对应着该子空间的一个超平面，以此类推。这样对图像数据集的划分构成了一种编码，每一个编码区域都具有对应的学习器(学习器或者学习器的一部分)进行。同时当仅仅使用单隐含层的多层感知机作为学习器时，此时只有唯一结构超参数——隐含层神经元个数，这样进行启发式的搜索或者人工调整都非常简单，避免了繁杂的深度学习结构设计，同时又能取得更好的性能。另外本发明的整体结构简单，非常方便在资源受限的条件下部署与推断。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本实施方式的一种全连接神经网络训练方法，所述方法包括：

步骤一、确定学习器和分类图像数据集，利用分类图像数据集训练学习器，所述学习器为全连接神经网络；

本步骤中的全连接包含等价的数学操作，例如卷积操作在数学上与全连接等价，卷积本质上是一个block-toeplitz矩阵；分类图像数据集为给定的图像分类训练集，采用反向传播算法训练学习器，当单个学习器在其对应的数据集上的性能达到某个阈值或者无法继续提升时，停止；

步骤二、利用学习器提取分类图像数据集的分割超平面，将分类图像数据集分割出若干子空间，每个子空间内的图像数据组成当前分割层的一个子数据集，并根据子空间与超平面的相对位置进行编码，获取每个子数据集的位置编码；本步骤中每层分割子空间的数量为学习器中隐藏神经元的个数；

步骤三、判断当前分割层的所有子数据集的分类结果是否满足总体指标，若是，记录当前分割层的各子空间的对应编码，并储存每个子数据集对应的学习器，转入步骤五；若否，对分割出的子数据集进行筛选，选出不满足设定指标的子数据集，转入步骤四；

例如，设定指标是事先设定错误数占比阈值，例如总共分错1000个样本，设置错误数占比阈值为95％，则按各个子区间错误数量从大到小累加到大于等于占总错误数的95％为止，把累加的这些子区间筛选出来；

步骤四、对不满足设定指标的子数据集，重新分配学习器，并利用相应子数据集对该学习器进行训练，利用训练后的学习器提取子数据集的分割超平面，将对应子数据集分割出若干子空间，每个子空间内的图像数据组成当前分割层的一个子数据集，获取每个子空间与超平面的相对位置的编码，获取每个子数据集的位置编码，执行步骤三；

本步骤中将前一个部分中筛选出来的子数据集，分别训练子学习器，这样的操作等同于构建了新一层的模型。根据子数据集的数据量、复杂程度、具体任务等进行选取学习器。

步骤五、按分割层存储学习器及对应位置编码，训练完成。

步骤六：所有学习器及编码整合起来后，用于推断任务的，推断时，根据测试样本相对超平面的相对位置进行编码，根据编码找到对应的学习器进行推断。本实施方式训练完成后的学习器可以用于各种场景下的推断。

本实施方式使得深度学习模型首次具备完全的可解释性。在图像分类任务中分割整个图像数据空间，学习器的每一个神经元都对应着分割图像数据空间的一个超平面。每增加一层，都是对前一层的一个子空间的进一步细分，同理是此时的神经元对应着该子空间的一个超平面，以此类推。这样对图像数据集的划分构成了一种编码，每一个编码区域都具有对应的学习器进行。

本实施方式分割出的若干子空间后，将子空间的距离满足设定距离阈值的进行空间聚合。

本实施方式中的学习器为单隐含层的全连接神经网络，其中步骤二和步骤四中子数据集及对应位置编码的获取方法包括：

隐含层有n个神经元，使用ReLU激活函数(任何分段线性函数都一样)，隐含层对应的分割超平面共有n个，分别为：

(W_jx+b_j)＝0

x表示输入，

W_j表示隐含层第j个神经元的与上一层所有神经元的连接权重，b_j表示与W_j相对应的偏置，j∈{1,2,…,n}；

遍历分类图像数据集或不满足设定指标的子数据集中的所有图像数据，按照以下方法获取每个图像数据的位置编码：

输入图像数据后，若隐含层的输出值大于0，表明相应数据位于超平面的正半空间，编码为1，若隐含层的输出值等于0，则相应数据位于超平面的负半空间，编码为0；

例如当n＝5时，一种可能的位置关系为[0,1,1,0,1],这就是该样本所对应线性区间的编码；

每个数据相对超平面的位置编码包括n个编码，每一种位置编码对应着一个唯一的子空间，具有相同位置编码的数据位于同一个子空间，构成子数据集。

本实施方式中的单隐含层的全连接神经网络使用ReLU激活函数、任意分段线性激活函数或任意可以被可数段分段线性函数逼近的函数。

本实施方式中总体指标为分类准确率或回归评价指标均方误差，其他类似指标也可以。

本实施方式中学习器为单隐含层多层感知机、任意具有多个隐含层的多层感知机、支持向量机或决策树。

本实施方式还包括：对按分割层存储的学习器形成的网络进行合并、等价转换、压缩或微调等等不显著改变模型性能的操作。对MLP可以使用决策边界进行表示，从而依靠决策边界表示，重新构造等价的网络，这个等价网络，性能和原来完全一样，但是模型参数会小很多；压缩之后的网络，可以用于硬件场景的部署，例如单片机、FPGA等；

本实施方式的步骤五包括：

判断训练次数是否达到设定阈值，若否，对最后分割层的子数据集，重新分配学习器，并利用相应子数据集对该学习器进行训练，利用训练后的学习器提取子数据集的分割超平面，将对应子数据集分割出若干子空间，每个子空间内的图像数据组成当前分割层的一个子数据集，获取每个子空间与超平面的相对位置的编码，转入S3，若是，按分割层存储学习器及对应编码，训练完成。

本步骤根据实际需求，设定训练次数阈值，再没有达到阈值之前，可以重复分割、选取学习器、训练，从而以前向的方式构建多层结构。

本实施方式还包括完备性检验：由于本实施方式训练方法采用了宽度-深度解耦的设计理念，宽度对应着训练MLP之后的分割过程，MLP采用单隐含层结构，n个单隐含层对应着n个分割超平面，这n个分割超平面构成模型每一层的宽度)，深度对应着筛选再训练过程，每次筛选之后，要对不符合要求的子数据集重新训练MLP，这就相当于加深了一层，本实施方式训练后的全连接神经网路可以高效的检验所有线性区间是否都被找到。传统的解释方法中，寻找线性区间要依靠对训练集样本进行遍历，这对完全的可解释性，本实施方式的训练方法可以直接遍历所有的线性区间，通过合法性检验，来判断该线性区间是否合法，从而彻底消除隐患。具体方法为：

对于单隐含层的MLP，步骤五中共存储m个位置编码，遍历m个位置编码，创建该位置编码的向量：P⁽ⁱ⁾＝[p₁,p₂,…,p_n]^T，

其中，p_j＝±1,j∈{1,2,…,n}，p_j＝1表示对应数据位于超平面的正半空间，p_j＝-1表示对应数据位于超平面的负半空间，x表示输入，

对第i个超平面不等式组进行判断：

max z

s.t.

x∈[0,1]

如果z>0，则第i个超平面不等式组不合法，否则第i个超平面不等式组合法，合法表明编码对应着一个子空间，通过判断所有位置编码是否合法，从而判断子区间是否有遗漏。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (10)

1.一种全连接神经网络训练方法，其特征在于，所述方法包括：

S1、确定学习器和分类图像数据集，利用分类图像数据集训练学习器，所述学习器为全连接神经网络；

S2、利用学习器提取分类图像数据集的分割超平面，将分类图像数据集分割出若干子空间，每个子空间内的图像数据组成当前分割层的一个子数据集，并根据子空间与超平面的相对位置进行编码，获取每个子数据集的位置编码；

S3、判断当前分割层的所有子数据集的分类结果是否满足总体指标，若是，记录当前分割层的各子空间的对应编码，并储存每个子数据集对应的学习器，转入S5；若否，对分割出的子数据集进行筛选，选出不满足设定指标的子数据集，转入S4；

S4、对不满足设定指标的子数据集，重新分配学习器，并利用相应子数据集对该学习器进行训练，利用训练后的学习器提取子数据集的分割超平面，将对应子数据集分割出若干子空间，每个子空间内的图像数据组成当前分割层的一个子数据集，获取每个子空间与超平面的相对位置的编码，转入S3；

S5、按分割层存储学习器及对应位置编码，训练完成。

2.根据权利要求1所述的一种全连接神经网络训练方法，其特征在于，所述学习器为单隐含层的全连接神经网络。

3.根据权利要求2所述的一种全连接神经网络训练方法，其特征在于，子数据集及对应位置编码的获取方法包括：

隐含层有n个神经元，隐含层对应的分割超平面共有n个，分别为：

(W_jx+b_j)＝0

x表示输入，

W_j表示隐含层第j个神经元的与上一层所有神经元的连接权重，b_j表示与W_j相对应的偏置，j∈{1,2,…,n}；

遍历分类图像数据集或不满足设定指标的子数据集中的所有图像数据，按照以下方法获取每个图像数据的位置编码：

输入图像数据后，若隐含层的输出值大于0，表明相应数据位于超平面的正半空间，编码为1，若隐含层的输出值等于0，则相应数据位于超平面的负半空间，编码为0；

每个数据相对超平面的位置编码包括n个编码，每一种位置编码对应着一个唯一的子空间，具有相同位置编码的数据位于同一个子空间，构成子数据集。

4.根据权利要求2所述的一种全连接神经网络训练方法，其特征在于，所述单隐含层的全连接神经网络使用ReLU激活函数、任意分段线性激活函数或任意可以被可数段分段线性函数逼近的函数。

5.根据权利要求2所述的一种全连接神经网络训练方法，其特征在于，所述总体指标为分类准确率或回归评价指标均方误差。

6.根据权利要求2所述的一种全连接神经网络训练方法，其特征在于，所述学习器为单隐含层多层感知机、任意具有多个隐含层的多层感知机、支持向量机或决策树。

7.根据权利要求2所述的一种全连接神经网络训练方法，其特征在于，所述方法还包括：对按分割层存储的学习器形成的网络进行合并、等价转换、压缩或微调。

8.根据权利要求1所述的一种全连接神经网络训练方法，其特征在于，所述S5包括：

判断训练次数是否达到设定阈值，若否，对最后分割层的子数据集，重新分配学习器，并利用相应子数据集对该学习器进行训练，利用训练后的学习器提取子数据集的分割超平面，将对应子数据集分割出若干子空间，每个子空间内的图像数据组成当前分割层的一个子数据集，获取每个子空间与超平面的相对位置的编码，转入S3，若是，按分割层存储学习器及对应编码，训练完成。

9.根据权利要求1所述的一种全连接神经网络训练方法，其特征在于，S2或S4中，分割出的若干子空间后，将子空间的距离满足设定距离阈值的进行空间聚合。

10.根据权利要求1所述的一种全连接神经网络训练方法，其特征在于，所述方法还包括：

S6、判断分割出的子空间是否有遗漏，判断方法为：

S5中共存储m个位置编码，遍历m个位置编码，创建该位置编码的向量：P⁽ⁱ⁾＝[p₁,p₂,…,p_n]^T，

其中，p_j＝±1,j∈{1,2,…,n}，p_j＝1表示对应数据位于超平面的正半空间，p_j＝-1表示对应数据位于超平面的负半空间，x表示输入，

对第i个超平面不等式组进行判断：

max z

x∈[0,1]

如果z>0，则第i个超平面不等式组不合法，否则第i个超平面不等式组合法，合法表明编码对应着一个子空间，通过判断所有位置编码是否合法，从而判断子区间是否有遗漏。

Images