CN111144550A - 基于同源连续性的单纯形深度神经网络模型及构建方法 - Google Patents

Abstract

一种基于同源连续性的单纯形深度神经网络模型的构建方法，包括如下步骤：步骤1，对输入样本进行特征提取，通过若干并行卷积组提取得到输入样本的特征图，挖掘样本点在高维空间的流形分布；步骤2，通过自组织映射，对步骤1中提取到的特征图进行聚类，构建流形分布子空间；步骤3，构建单纯形神经元，基于所述单纯形神经元对步骤2中自组织映射聚类后的不同流形分布子空间进行覆盖学习，由此得到所述基于同源连续性的单纯形深度神经网络模型。本发明构造的单纯形神经元模型，以样本拓扑结构在特征隐空间中具有连通性作为先验知识，学习单纯形神经元的参数，在特征隐空间对样本进行覆盖学习，学习速度更快，并且具有更好的逼近性能和抗噪能力。

Description

基于同源连续性的单纯形深度神经网络模型及构建方法

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于同源连续性的单纯形深度神经网络模型及构建方法。

背景技术

深度神经网络可以地将特征提取与分类学习自然而然地整合在一起，实现一种端到端的学习。近年来，深度神经网络快速发展，在分类、定位、语义分割和行为识别等任务中的瓶颈得以突破，在现实世界的各个领域都达到甚至超越了人的表现水平。

深度神经网络是由大量的神经元构成，其神经元的非线性和各种复杂连接保证了深度神经网络可以以无限精度逼近任意Rⁿ紧子集上的连续函数，这是深度神经网络可以取得成功的原因之一。另外，在自然获取的数据中天然存在一定的流形结构分布，深度学习也是在学习数据内部的流形结构分布。

神经网络的发展离不开对生物神经网络的模仿。1943年，Meculloch和Pitts提出了M-P线性神经元，在神经网络的研究中开启了新的纪元。1988年，Broomhead和Lowe提出径向基函数RBF神经元，将低维输入数据投影到由RBF组成的高维隐空间中的，成功解决了M-P神经元线性不可分的问题，从而神经网络可以真正用于解决实际任务。这种神经元模型仍需假定在高维空间中数据是线性可分的，但实际中数据未必服从该假设，因而基于上述神经元的神经网络模型有一定的局限性，其特征的表达性和判别性受到一定制约，模型精度受到一定影响。

国内王守觉院士也提出一种基于高维空间几何分析理论的神经网络模型。相对于传统模式识别方法，他认为应当更注重“认知”，而非“划分”，从而引入基于覆盖的仿生模式识别方法。该理论认为，事物具有“同源连续性”，即同类事物的两个不同样本之间至少存在一个渐变的过程，在这个过程中所有的样本仍属于该类别。体现在特征隐空间中，即同类样本是连续分布的，任意两个样本点之前存在至少一条连续的通道，经过通道上的每一个点均属于该类样本。以同源连续性为基础，仿生模式识别即研究在高维特征隐空间中如何对样本进行最优覆盖。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于同源连续性的单纯形覆盖模型及方法，以期至少部分地解决上述技术问题中的至少之一。

为了实现上述目的，作为本发明的一方面，提供了一种基于同源连续性的单纯形覆盖模型的构建方法，包括以下步骤：

步骤1，对输入样本进行特征提取，通过若干并行卷积组提取得到输入样本的特征图，挖掘样本点在高维空间的流形分布；

步骤2，通过自组织映射，对步骤1中提取到的特征图进行聚类，构建流形分布子空间；

步骤3，构建单纯形神经元，基于所述单纯形神经元对步骤2中自组织映射聚类后的不同流形分布子空间进行覆盖学习，由此得到所述基于同源连续性的单纯形深度神经网络模型。

其中，步骤1中所述的并行卷积组包括但不限于VGG、ResNet、Densenet或Xception结构。

其中，步骤2中所述的自组织映射是基于多种度量方式进行无监督聚类，其中包括但不限于欧氏距离或余弦距离。

其中，步骤3中所述的单纯形神经元的构建过程如下：

子步骤31，默认一个簇为一个独立的分布，计算各自空间中各样本间的距离，选择两两距离之和最大的n个样本对n维单纯形的n个顶点进行初始化，即得到单纯形神经元的n个核；

子步骤32，计算每个簇中样本点到单纯形距离的标准差，以便对超球半径进行初始化；

子步骤33，对单纯形和超球进行膨胀积即得到初始化的单纯形神经元；

子步骤34，通过反向传播算法同时更新单纯形神经元的各个参数和用于特征提取的并行卷积组，使类内分布更加紧凑。

其中，子步骤32中计算每个簇中样本点到单纯形距离的计算公式如下：

d＝||x-q₀||；

其中，d为所述点到单纯形距离，||·||代表某种距离度量；x为样本点；q₀为单纯形内距离x最近的点。

其中，子步骤33中所述单纯形神经元的输出为：

其中，r为超球的半径，此处超球表征为标准差为r的高斯分布。

其中，步骤3中所述的覆盖学习采用覆盖比损失和分类准确率损失指导网络参数学习；

所述覆盖比损失以学习完善的RBF神经元体积为参照，控制单纯形神经元的体积，保证类内覆盖的紧凑性。

其中，所述覆盖比损失的计算公式如下：

其中，v_simplex为单纯形神经元的体积，v_rbf为学习完善的RBF神经元的体积。

其中，所述构建方法还包括对已学习的单纯形深度神经网络模型进行测试；

所述测试过程具体包括：

基于已学习的单纯形深度神经网络模型，对测试样本进行非线性映射，得到测试样本在该模型下的得分值，对该得分值选取合适的阈值，进行分类。

作为本发明的另一方面，还提供了一种基于同源连续性的单纯形深度神经网络构建系统，所述系统包括：

处理器，用于执行存储器中存储的程序；

存储器，其中存储有用于执行如上所述的单纯形深度神经网络模型的构建方法的程序。

基于上述技术方案可知，本发明的基于同源连续性的单纯形覆盖模型及方法相对于现有技术至少具有如下有益效果之一或其中的一部分：

1、本发明构造的单纯形神经元模型，基于高维复杂几何形体覆盖的思想，直接将样本本身作为已知的知识，对其流形结构进行覆盖，克服了传统模式识别中以最佳划分作为目标的弊端，并且单纯形神经元对同类样本的覆盖更为紧密，实现准确的认知。

2、本发明构造的单纯形神经元模型，基于同源连续性规律，以样本拓扑结构在特征隐空间中具有连通性作为先验知识，学习单纯形神经元的参数，在特征隐空间对样本进行覆盖学习，学习速度更快，并且具有更好的逼近性能和抗噪能力。

3、本发明提出的单纯形神经元深度神经网络模型不仅结构清晰，而且算法易于理解并具有很好的操作性。通过实验验证过该网络，发现不仅具有很好的非线性比较能力，可以对训练过的类别的样本能够很好的进行分类，而且还具有对未训练过的种类的样本也能很好的拒识。

附图说明

图1为本发明的单纯形神经元模型构建方法流程图；

图2为本发明的单纯形神经元及单纯形神经元链覆盖示意图(以超香肠为例)；

图3为本发明的单纯形神经元示意图，其中(a)为超香肠神经元，(b)为三角形神经元，(c)为四面体神经元。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

本发明提供的这种单纯形神经元深度神经网络模型如图3所示，其中(a)为超香肠神经元，(b)为三角形神经元，(c)为四面体神经元；将模型的映射逼近问题分为三个阶段：第一阶段是实现输入样本的特征提取，通过若干并行卷积组提取得到输入样本的特征图(featuremap)，挖掘样本点在高维空间的流形分布，所述并行卷积组包括但不限于VGG、ResNet、Densenet、Xception等结构；第二阶段是通过自组织映射，对提取到的featuremap进行聚类，构建流形分布子空间，所述自组织映射可以基于多种度量方式进行无监督聚类，包括但不限于欧氏距离、余弦距离等；第三阶段是基于单纯形神经元对聚类后的不同流形分布子空间进行覆盖学习。

根据同源连续性原理，从一个样本到另一个样本存在一条连续的路径，该路径上经过的点均属于该类的样本点。即采用一个最佳的覆盖，覆盖住本类的样本空间。同一类别下，样本数据丰富，分布多样，因此，为了寻找同类数据的最佳覆盖空间，需要结合多个单纯形神经元才能完成该类别模式的学习，三维空间下单纯形神经元及单纯形神经元链的覆盖范围如图2所示，第一个图形为一维流形超香肠神经元，第二个图形为二维流形三角形神经元，第三个图形为三维流形四面体神经元。可以看出，通过拼接不同的单纯形神经元形成单纯形神经元链，可以实现对任意复杂几何形体的覆盖，具有较强的泛化能力。实际情况下，单纯形神经元链的维数远不止三维。该模型与传统的RBF、M-P神经元模型相比，覆盖范围要小得多，能更精确地描述样本空间。基于该模型的仿生模式识别方法与传统基于划分式的识别方法相比，能实现本类样本的最优覆盖，同时对未训练过的种类的样本也能很好的拒识。

在上述单纯形神经元深度神经网络模型中，如图1所示为其构建方法的流程图，单纯形神经元的构建过程主要涉及第三阶段，以自组织映射聚类后得到的簇作为输入，其构建过程如下所述：

Step1：默认一个簇为一个独立的分布，计算各自空间中各样本间的距离，选择两两距离之和最大的n个样本对n维单纯形的n个顶点进行初始化，即得到单纯形神经元的n个核；

Step2：计算每个簇中样本点与单纯形距离的标准差，以其对超球半径进行初始化；

Step3：对单纯形和超球进行膨胀积即得到初始化的单纯形神经元；

Step4：通过反向传播算法同时更新单纯形神经元的各个参数和用于特征提取的并行卷积组，使类内分布更加紧凑。

其中，点到单纯形距离d的计算公式如下：

d＝||x-q₀|| (1)

其中，||·||代表某种距离度量，如欧式距离、余弦距离等；x为样本点；q₀为单纯形内距离x最近的点。以三角形神经元为例，其计算公式如下

d＝||x-(λ₁λ₂q₁+(1-λ₁)λ₂q₂+(1-λ₂)q₃)|| (2)

其中，q₁、q₂、q₃为单纯形三个顶点；λ₁、λ₂表示单纯形中距离x最近的点的位置，其计算方式如下：

q₄＝λ₁q₁+(1-λ₁q₂)

单纯形神经元的输出为

其中，r为超球的半径，此处超球表征为标准差为r的高斯分布。因而其输出y也可以视为输入样本属于当前簇的概率。

在学习过程中，采用覆盖比损失和分类准确率损失指导网络参数学习。所述覆盖比损失以学习完善的RBF神经元体积为参照，控制单纯形神经元的体积，保证类内覆盖的紧凑性。其计算公式如下：

其中，v_simplex为单纯形神经元的体积，v_rbf为学习完善的RBF神经元的体积。以二维流形超香肠为例，其计算公式分别如下：

其中，r_rbf为学习完善的RBF超球半径，r_sau为构建超香肠神经元的超球半径。

在测试过程中，基于已学习的单纯形深度神经网络模型，对测试样本进行非线性映射，得到测试样本在该模型下的得分值，对该得分值选取合适的阈值，进行分类。

至此，完成单纯形神经元深度神经网络模型的训练和测试过程。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于同源连续性的单纯形深度神经网络模型的构建方法，其特征在于，包括如下步骤：

步骤1，对输入样本进行特征提取，通过若干并行卷积组提取得到输入样本的特征图，挖掘样本点在高维空间的流形分布；

步骤2，通过自组织映射，对步骤1中提取到的特征图进行聚类，构建流形分布子空间；

步骤3，构建单纯形神经元，基于所述单纯形神经元对步骤2中自组织映射聚类后的不同流形分布子空间进行覆盖学习，由此得到所述基于同源连续性的单纯形深度神经网络模型。

2.根据权利要求1所述的构建方法，其特征在于，步骤1中所述的并行卷积组包括但不限于VGG、ResNet、Densenet或Xception结构。

3.根据权利要求1所述的构建方法，其特征在于，步骤2中所述的自组织映射是基于多种度量方式进行无监督聚类，其中包括但不限于欧氏距离或余弦距离。

4.根据权利要求1所述的构建方法，其特征在于，步骤3中所述的单纯形神经元的构建过程如下：

子步骤31，默认一个簇为一个独立的分布，计算各自空间中各样本间的距离，选择两两距离之和最大的n个样本对n维单纯形的n个顶点进行初始化，即得到单纯形神经元的n个核；

子步骤32，计算每个簇中样本点到单纯形距离的标准差，以便对超球半径进行初始化；

子步骤33，对单纯形和超球进行膨胀积即得到初始化的单纯形神经元；

子步骤34，通过反向传播算法同时更新单纯形神经元的各个参数和用于特征提取的并行卷积组，使类内分布更加紧凑。

5.根据权利要求4所述的构建方法，其特征在于，子步骤32中计算每个簇中样本点到单纯形距离的计算公式如下：

d＝||x-q₀||；

其中，d为所述点到单纯形距离，||·||代表某种距离度量；x为样本点；q₀为单纯形内距离x最近的点。

6.根据权利要求4所述的构建方法，其特征在于，子步骤33中所述单纯形神经元的输出为：

其中，r为超球的半径，此处超球表征为标准差为r的高斯分布。

7.根据权利要求1所述的构建方法，其特征在于，步骤3中所述的覆盖学习采用覆盖比损失和分类准确率损失指导网络参数学习；

所述覆盖比损失以学习完善的RBF神经元体积为参照，控制单纯形神经元的体积，保证类内覆盖的紧凑性。

8.根据权利要求7所述的构建方法，其特征在于，所述覆盖比损失的计算公式如下：

其中，v_simplex为单纯形神经元的体积，v_rbf为学习完善的RBF神经元的体积。

9.根据权利要求1所述的构建方法，其特征在于，所述构建方法还包括对已学习的单纯形深度神经网络模型进行测试；

所述测试过程具体包括：

基于已学习的单纯形深度神经网络模型，对测试样本进行非线性映射，得到测试样本在该模型下的得分值，对该得分值选取合适的阈值，进行分类。

10.一种单纯形深度神经网络模型构建系统，其特征在于，所述系统包括：

处理器，用于执行存储器中存储的程序；

存储器，其中存储有用于执行如权利要求1～9任一项所述的单纯形深度神经网络模型的构建方法的程序。

Images