CN106203628B - 一种增强深度学习算法鲁棒性的优化方法和系统 - Google Patents

一种增强深度学习算法鲁棒性的优化方法和系统 Download PDF

Info

Publication number
CN106203628B
CN106203628B CN201610542650.8A CN201610542650A CN106203628B CN 106203628 B CN106203628 B CN 106203628B CN 201610542650 A CN201610542650 A CN 201610542650A CN 106203628 B CN106203628 B CN 106203628B
Authority
CN
China
Prior art keywords
convolution
probability density
sample
test sample
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610542650.8A
Other languages
English (en)
Other versions
CN106203628A (zh
Inventor
卢哲
王书强
施昌宏
申妍燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201610542650.8A priority Critical patent/CN106203628B/zh
Publication of CN106203628A publication Critical patent/CN106203628A/zh
Application granted granted Critical
Publication of CN106203628B publication Critical patent/CN106203628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种增强深度学习算法鲁棒性的优化方法和系统。所述优化方法包括：根据所述样本数据和向量化结果,得到测试样本与训练样本的概率密度比值，通过卷积层参数和高斯核宽度对所述概率密度比值进行建模得到建模后比值的估计值；根据建模后比值的估计值得到测试样本的概率密度的估计值；结合卷积结果以及基于KLIEP优化算法，对测试样本的概率密度和测试样本的概率密度的估计值之间的KL距离进行最小化,得到具有卷积层参数和高斯核宽度的最小化的KL距离；对最小化的KL距离的卷积层参数和高斯核宽度基于KLIEP算法进行反向求导得到更新后卷积层参数，以及进行交叉验证得到优化后的高斯核宽度并得到优化后的网络输出。

Description

一种增强深度学习算法鲁棒性的优化方法和系统
技术领域
本发明涉及深度学习领域，尤其涉及一种增强深度学习算法鲁棒性的优化方法和系统。
背景技术
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，建立多层架构对于特征进行逐层抽象。常规的流程有预处理，特征提取，特征选择，识别与预测。目前应用于图像识别、语音识别、自然语言理解、天气预测、基因表达等领域.弥散张量图像配准。
卷积神经网络(convolutional neural network,CNN)是一种前馈神经网络，与传统算法不同的是，卷积神经网络的相邻层之间的神经单元并不是全连接，而是部分连接，并且对于一个卷积核的卷积运算权值共享，从而减少了参数个数，通过多次卷积与池化过程达到特征提取的目的。利用卷积可以实现对图像模糊处理，边缘检测从而有利于特征提取，利用池化运算可以较简便地对图像进行降维，从而减小参数与计算量，但是在利用卷积神经网络算法处理图像数据时，经常会遇到当训练数据和测试数据的分布不同时，利用训练数据学习得到的模型可能难以适用于测试数据，比如，在现实世界图像的光照条件与数据库中的训练数据的光照条件无法做到统一。
发明内容
本发明旨在解决现有技术中利用训练数据学习得到的模型可能难以适用于测试数据的技术问题，提供一种增强深度学习算法鲁棒性的优化方法和系统。
本发明的实施例提供一种增强深度学习算法鲁棒性的优化方法，所述优化方法包括以下步骤：
根据预设的卷积核维度对样本数据的卷积核进行特征提取,得到卷积结果；
对所述卷积结果进行池化运算,得到批量池化结果；
对批量池化结果进行向量化处理,得到向量化结果；
根据所述样本数据和向量化结果,得到测试样本与训练样本的概率密度比值，通过卷积层参数和高斯核宽度对所述概率密度比值进行建模得到建模后比值的估计值；
根据建模后的比值得到测试样本的概率密度的估计值；
结合卷积结果以及基于KLIEP优化算法，对测试样本的概率密度和测试样本的概率密度的估计值之间的KL距离进行最小化,得到具有卷积层参数和高斯核宽度的最小化的KL距离；
对最小化KL距离的卷积层参数和高斯核宽度基于KLIEP算法进行反向求导得到更新后卷积层参数，以及进行交叉验证得到优化后的高斯核宽度；
根据更新后卷积层参数和优化后的高斯核宽度,得到优化后的网络输出。
本发明实施例的优化方法，通过运用KLIEP算法替代原有的最小二乘法，并通过基于KLIEP的算法进行参数优化，有利于当训练数据和测试数据的分布不同时(对于图像来说训练与测试数据的光照等条件有偏差)，利用训练数据学习得到的模型依然适用于测试数据，增强特征提取的鲁棒性与分类精度。
本发明的实施例还提供一种增强深度学习算法鲁棒性的优化系统，所述优化系统包括卷积模块，池化模块，向量化模块，运算模块，统计分布建模模块，基于KLIEP算法运算模块，基于KLIEP算法反向求导模块，交叉验证模块和网络输出模块；
所述卷积模块，用于根据预设的卷积核维度对样本数据的卷积核进行特征提取,得到卷积结果；
所述池化模块，用于对所述卷积结果进行池化运算,得到批量池化结果；
所述向量化模块，用于对批量池化结果进行向量化处理,得到向量化结果；
所述统计分布建模模块，用于根据所述样本数据和向量化结果，得到测试样本与训练样本的概率密度比值，通过卷积层参数和高斯核宽度对所述概率密度比值进行建模得到建模后比值的估计值，以及根据建模后比值的估计值得到测试样本的概率密度的估计值；
所述基于KLIEP算法运算模块，用于结合卷积结果以及基于KLIEP优化算法，对测试样本的概率密度和测试样本的概率密度的估计值之间的KL距离进行最小化，得到具有卷积层参数和高斯核宽度的最小化的KL距离；
所述基于KLIEP算法反向求导模块，用于对最小化KL距离的卷积层参数基于KLIEP算法进行反向求导,得到更新后卷积层参数；
所述交叉验证模块，用于对最小化KL距离的高斯核宽度基于KLIEP算法进行交叉验证,得到优化后的高斯核宽度；
所述网络输出模块，用于根据更新后卷积层参数和优化后的高斯核宽度，得到优化后的网络输出。
本发明实施例的优化系统，通过运用KLIEP算法替代原有的最小二乘法，并通过基于KLIEP的算法进行参数优化，有利于当训练数据和测试数据的分布不同时(对于图像来说训练与测试数据的光照等条件有偏差)，利用训练数据学习得到的模型依然适用于测试数据，增强特征提取的鲁棒性与分类精度。
附图说明
图1是根据本发明一个实施例增强深度学习算法鲁棒性的优化方法的流程示意图；
图2是根据本发明一个实施例增强深度学习算法鲁棒性的优化系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的增强深度学习算法鲁棒性的优化方法和系统。
图1是根据本发明一个实施例增强深度学习算法鲁棒性的优化方法的流程示意图。如图1所示，所述优化方法包括以下步骤：
步骤S1，根据预设的卷积核维度对样本数据的卷积核进行特征提取,得到卷积结果；
步骤S2，对所述卷积结果进行池化运算，得到批量池化结果；
步骤S3，对批量池化结果进行向量化处理，得到向量化结果x；
步骤S4，根据所述样本数据和向量化结果,得到测试样本与训练样本的概率密度比值，通过卷积层参数和高斯核宽度对所述概率密度比值，进行建模得到建模后比值的估计值；
步骤S5，根据建模后比值的估计值得到测试样本的概率密度的估计值；
步骤S6，结合卷积结果以及基于KLIEP优化算法，对测试样本的概率密度和测试样本的概率密度的估计值之间的KL距离进行最小化,得到具有卷积层参数和高斯核宽度的最小化的KL距离；
步骤S7，对最小化KL距离卷积层参数和高斯核宽度基于KLIEP算法进行反向求导得到更新后卷积层参数，以及进行交叉验证得到优化后的高斯核宽度；
步骤S8，根据更新后卷积层参数和优化后的高斯核宽度，得到优化后的网络输出。
对于步骤S6中，在概率论或信息论中，KL散度(Kullback–Leibler divergence)，又称相对熵(relative entropy)，是描述两个概率分布P和Q差异的一种方法。它是非对称的，这意味着D(P||Q)≠D(Q||P)。特别的，在信息论中，D(P||Q)表示当用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布。
对于步骤S7中，KLIEP算法是基于概率密度比值(density ratio estimation)的一种计算方法，通过获取训练数据与测试数据的概率密度表达式，对其概率密度比值建立高斯模型，优化概率密度之间的KL距离，实现对于概率密度的最优估计。
在具体实施中,所述步骤S1具体包括:
获取样本数据的维度；
根据所述样本数据的维度和预设的卷积核维度，得到卷积层的输出维度；
将所述样本数据在卷积层进行卷积运算,得到卷积结果。
在具体实施中，所述获取样本数据的维度的步骤，具体为：输入样本图像数据的维度为x*y*z，其中x,y代表图像的长与宽，z代表通道数(对于RGB图像通道数为3)。
在具体实施中，所述根据所述样本数据的维度和预设的卷积核维度,得到卷积层的输出维度，也就是说根据样本数据的维度设定所述卷积核的维度，具体为：设定卷积核的维度为d*d*h,则根据卷积的计算原理可知，卷积层的输出维度为(x-d+1)*(y-d+1)*(z-h+1)，其中d为设定卷积核宽度，h为颜色的维度(RGB即3)。
在具体实施中，所述将所述样本数据在卷积层进行卷积运算,得到卷积结果T的步骤，也就是说，根据设定的卷积核的维度进行卷积核特征提取，具体为：
进一步转化为：
其中，i，j代表依靠卷积核从左到右，从上到下扫描时，任意的i，j扫描区域；b为卷积核的偏置；第二项Xi，j代表样本区域，即与卷积核维度相同的区域d*d(与卷积核参数α运算)。
在具体实施中，所述步骤S2，具体为：
对所述卷积结果中预设的2*2的区域进行取像素均值运算，得到批量池化结果TP，也就是说，通过求相邻卷积结果的均值进一步缩小特征维度。
在具体实施中，
在具体实施中，对于步骤S3，具体为对批量卷积池化的结果进行向量化处理，则批量图像运算的结果用x表示。
在具体实施中，所述步骤S4，具体为：
根据所述样本数据和向量化结果,得到训练样本，训练样本的概率密度,测试样本和测试样本的概率密度以及得到测试样本与训练样本的概率密度比值；
通过卷积层参数和高斯核宽度对所述概率密度比值，进行建模得到建模后比值的估计值。
具体的，训练样本为训练样本的概率密度为ptr(x)；测试样本为测试样本的概率密度为pte(x)，测试样本的概率密度与训练样本的概率密度的比值为
具体的，训练样本和测试样本均为benchmark数据集，具体地，为Minst,CIFAR-10等数据。
具体的，估计值r^(x)建模：
其中{α}l＝1 b为从训练样本中学习到的参数即卷积层参数，φ(x)是高斯核函数其中Cl是从随机选择的高斯核中心，σ＞0是高斯核宽度。
在具体实施中，步骤S5具体为：根据建模后比值的估计值得到测试样本的概率密度的估计值。
具体的，通过高斯线性组合模型r^(x)可以这样估计得到测试样本的概率密度的估计值：
pte^(x)＝r^(x)ptr(x)。
具体的，所述步骤S6具体包括：
步骤S61，对测试样本的概率密度和测试样本的概率密度的估计值之间的KL距离进行最小化，得到的最小化的KL距离为：
即，使pte(x)与pte^(x)的KL距离最小化，其中，pte^(x)为测试样本的概率密度的估计值，pte(x)为测试样本的概率密度，r^(x)为建模后比值的估计值。
步骤S62，将最小化的KL距离中的第一项公式忽略，将第二项公式定义为最小化的KL距离的优化值KL'，其中，j为1，2，…，nte，即表示测试数据的数目，第一项公式为：
由于在后续的步骤中，需要进行反向求导，而反向求导是为了更新卷积层参数，如果对不具有卷积层参数的公式进行求导，那么该公式的导数为0，因此上述公式中的第一项与卷积层参数{α}l＝1 b无关，可以忽略不计。接着将第二项定义为最小化的KL距离的优化值KL'：
步骤S63，基于KLIEP优化算法和卷积结果，将最小化的KL距离的优化值KL’最大化以计算最小化的KL距离，其中，优化值KL’最大化α为卷积层参数的向量，φ(x)为高斯核函数。
具体的，所述步骤S63中,根据KLIEP算法的优化问题可转化为使KL'最大化的问题，具体的，由
可以得到，使最小化的KL距离的优化值KL'最大可使pte(x)与pte^(x)的KL距离最小化，具体公式如下：
在具体实施中，所述反向求导的步骤，具体包括：
通过KLIEP算法获得的J函数对批量池化结果进行求导，得到卷积层的灵敏度；
根据所述卷积层的灵敏度对任意一层卷积层进行更新训练样本和测试样本中卷积层的灵敏度；
根据包含概率密度比值信息的灵敏度进行卷积层的权值更新，得到更新后卷积层参数。
具体的，所述反向求导是更新参数的过程，主要保证特征提取(比如一张苹果的图片维度是50*50，而苹果的维度是30*30，则经过卷积池化和反向求导过程后，可提取到这30*30的特征)，所述反向求导的过程如下：
1)定义灵敏度δ'，δ'表示通过KLIEP算法获得的J函数对于层输入的变化率，δ'为J对TP求偏导，即：
2)对于I层为卷积层，利用由上求得的灵敏度更新卷积层的灵敏度，其中I表示字母i的大写，表示对于任意一层进行更新灵敏度操作，即：
δI p(xte)＝(f'(tI)°up(δ'(xte)))
δI p(xtr)＝(f'(tI)°up(δ'(xtr)))
3)依据包含概率密度比值信息的灵敏度进行卷积层的权值更新，获得最终更新的参数α^
在具体实施中，所述交叉验证，具体包括：
将测试样本分为K个近似相等且不相交的子集，其中K为大于1的正整数；
通过其中的K-1个子集，得到最小化的KL距离；
重复K次，根据K次的平均值作为最小化的KL距离的估计值，并根据最小化的KL距离的估计值得到优化后的高斯核宽度。
具体的，所述交叉验证对于图像的特征可以增强鲁棒性，即在光照等外在因素变化时，依然可以保持较高的分类精度，所述交叉验证的过程如下：
1)将分为K个近似相等且不相交的子集；
2)用其中的K-1个子集，来估计KL’；
3)重复K次，用K次的平均值作为KL’的估计值；
在具体实施中，所述步骤S8，具体为：通过Sigmoid函数,根据更新后卷积层参数和优化后的高斯核宽度得到优化后的网络输出，即优化后的网络输出为f()为sigmoid函数。
在本实施例的优化方法，通过运用KLIEP算法替代原有的最小二乘法，并通过基于KLIEP的算法进行参数优化，有利于当训练数据和测试数据的分布不同时(对于图像来说训练与测试数据的光照等条件有偏差)，利用训练数据学习得到的模型依然适用于测试数据，增强特征提取的鲁棒性与分类精度。也就是说，结合卷积神经网络和KLIEP算法的方案，利用训练数据与测试数据的概率密度比值，从而优化参数更新过程，使得当训练数据和测试数据的分布不同时，例如进行图像分类对于人脸做分类时，光照条件，脸部表情，相机摄像角度的不同，从训练数据中学习到的模型依然有普遍的适用性，从而使得特征的鲁棒性更强。
在具体实施中，如图2所述的一种增强深度学习算法鲁棒性的优化系统,所述优化系统包括卷积模块10，池化模块11，向量化模块12，统计分布建模模块14，基于KLIEP算法运算模块15，基于KLIEP算法反向求导模块16，交叉验证模块17和网络输出模块18；
所述卷积模块10，用于根据预设的卷积核维度对样本数据的卷积核进行特征提取,得到卷积结果；
所述池化模块11，用于对所述卷积结果进行池化运算,得到批量池化结果；
所述向量化模块12，用于对批量池化结果进行向量化处理,得到向量化结果；
所述统计分布建模模块14，用于根据所述样本数据和向量化结果,得到测试样本与训练样本的概率密度比值，通过卷积层参数和高斯核宽度对所述概率密度比值进行建模得到建模后比值的估计值，以及根据建模后比值的估计值得到测试样本的概率密度的估计值；
所述基于KLIEP算法运算模块15，用于结合卷积结果以及基于KLIEP优化算法，对测试样本的概率密度和测试样本的概率密度的估计值之间的KL距离进行最小化,得到具有卷积层参数和高斯核宽度的最小化的KL距离；
所述基于KLIEP算法反向求导模块16，用于对最小化KL距离的卷积层参数基于KLIEP算法进行反向求导,得到更新后卷积层参数；
所述交叉验证模块17，用于对最小化KL距离的高斯核宽度基于KLIEP算法进行交叉验证,得到优化后的高斯核宽度；
所述网络输出模块18，用于根据更新后卷积层参数和优化后的高斯核宽度,得到优化后的网络输出。
在具体实施中，所述卷积模块10还用于：
获取样本数据的维度；
根据所述样本数据的维度和预设的卷积核维度,得到卷积层的输出维度；
将所述样本数据在卷积层进行卷积运算,得到卷积结果。
在具体实施中，所述卷积模块10用于获取样本数据的维度，具体为：输入样本图像数据的维度为x*y*z,其中x,y代表图像的长与宽，z代表通道数(对于RGB图像通道数为3)。
在具体实施中，所述卷积模块10用于根据所述样本数据的维度和预设的卷积核维度，得到卷积层的输出维度，也就是说根据样本数据的维度设定所述卷积核的维度，具体为：设定卷积核的维度为d*d*h,则根据卷积的计算原理可知，卷积层的输出维度为(x-d+1)*(y-d+1)*(z-h+1)，其中d为设定卷积核宽度，h为颜色的维度(RGB即3)。
在具体实施中，所述卷积模块10用于将所述样本数据在卷积层进行卷积运算,得到卷积结果T，也就是说，根据设定的卷积核的维度进行卷积核特征提取，具体为：
进一步转化为：
其中，i，j代表依靠卷积核从左到右，从上到下扫描时，任意的i，j扫描区域；b为卷积核的偏置；第二项Xi，j代表样本区域，即与卷积核维度相同的区域d*d(与卷积核参数α运算)。
在具体实施中，所述池化模块11，还用于：
对所述卷积结果中预设的2*2的区域进行取像素均值运算，得到批量池化结果TP，也就是说，通过求相邻卷积结果的均值进一步缩小特征维度。
具体的，
在具体实施中，所述向量化模块12还用于：对批量卷积池化的结果进行向量化处理，则批量图像运算的结果用x表示。
在具体实施中，所述统计分布建模模块14还用于：
根据所述样本数据和向量化结果,得到训练样本,训练样本的概率密度,测试样本和测试样本的概率密度以及得到测试样本与训练样本的概率密度比值；
通过卷积层参数和高斯核宽度对所述概率密度比值，进行建模得到建模后比值的估计值。
具体的，训练样本为训练样本的概率密度为ptr(x)；测试样本为测试样本的概率密度为pte(x)，测试样本的概率密度与训练样本的概率密度的比值为
具体的，训练样本和测试样本均为benchmark数据集，具体地，为Minst,CIFAR-10等数据。
具体的，估计值r^(x)建模：
其中{α}l＝1 b为从训练样本中学习到的参数即卷积层参数，φ(x)是高斯核函数其中Cl是从随机选择的高斯核中心，σ＞0是高斯核宽度。
在具体实施中，所述基于KLIEP算法运算模块15还用于：根据建模后比值的估计值得到测试样本的概率密度的估计值。
具体的，通过高斯线性组合模型r^(x)可以这样估计得到测试样本的概率密度的估计值
pte^(x)＝r^(x)ptr(x)。
具体的，所述基于KLIEP算法运算模块15还用于：使pte(x)与pte^(x)的KL距离最小化，即：
由于在后续的步骤中，需要进行反向求导，而反向求导是为了更新卷积层参数，如果对不具有卷积层参数的公式进行求导，那么该公式的导数为0，因此上述公式中的第一项与卷积层参数{α}l＝1 b无关，可以忽略不计。接着将第二项定义为KL'：
j为1，2，…，nte，即表示测试数据的数目。
在具体实施中，所述基于KLIEP算法运算模块15还用于：根据KLIEP算法的优化问题可转化为使KL'最大的问题，具体的，由
可以得到，使最小化的KL距离的优化值KL'最大可使pte(x)与pte^(x)的KL距离最小化，具体公式如下：
其中，α为卷积层参数的向量，φ(x)为高斯核函数。
在具体实施中，所述基于KLIEP算法反向求导模块16还用于：
通过KLIEP算法获得的J函数对批量池化结果进行求导，得到卷积层的灵敏度；
根据所述卷积层的灵敏度对任意一层卷积层进行更新训练样本和测试样本中卷积层的灵敏度；
根据包含概率密度比值信息的灵敏度进行卷积层的权值更新，得到更新后卷积层参数。
具体的，所述反向求导是更新参数的过程，主要保证特征提取(比如一张苹果的图片维度是50*50，而苹果的维度是30*30，则经过卷积池化和反向求导过程后，可提取到这30*30的特征)，所述反向求导的过程如下：
1)定义灵敏度δ'，δ'表示通过KLIEP算法获得的J函数对于层输入的变化率，δ'为J对TP求偏导，即：
2)对于I层为卷积层，利用由上求得的灵敏度更新卷积层的灵敏度，其中I表示字母i的大写，表示对于任意一层进行更新灵敏度操作，即：
δI p(xte)＝(f'(tI)°up(δ'(xte)))
δI p(xtr)＝(f'(tI)°up(δ'(xtr)))
3)依据包含概率密度比值信息的灵敏度进行卷积层的权值更新，获得最终更新的参数α^
在具体实施中，所述交叉验证模块17还用于：
将测试样本分为K个近似相等且不相交的子集，其中K为大于1的正整数；
通过其中的K-1个子集，得到最小化的KL距离；
重复K次，根据K次的平均值作为最小化的KL距离的估计值，并根据最小化的KL距离的估计值得到优化后的高斯核宽度。
具体的，所述交叉验证对于图像的特征可以增强鲁棒性，即在光照等外在因素变化时，依然可以保持较高的分类精度，所述交叉验证的过程如下：
1)将分为K个近似相等且不相交的子集
2)用其中的K-1个子集，来估计KL’
3)重复K次，用K次的平均值作为KL’的估计值
在具体实施中，所述网络输出模块18还用于：通过Sigmoid函数,根据更新后卷积层参数，优化后的高斯核宽度和KL'最大化,得到优化后的网络输出，即优化后的网络输出为f()为sigmoid函数。
在本实施例的数据模型优化装置，通过运用KLIEP算法替代原有的最小二乘法，并通过基于KLIEP的算法进行参数优化，有利于当训练数据和测试数据的分布不同时(对于图像来说训练与测试数据的光照等条件有偏差)，利用训练数据学习得到的模型依然适用于测试数据，增强特征提取的鲁棒性与分类精度。也就是说，结合卷积神经网络和KLIEP算法的方案，利用训练数据与测试数据的概率密度比值，从而优化参数更新过程，使得当训练数据和测试数据的分布不同时，例如进行图像分类对于人脸做分类时，光照条件，脸部表情，相机摄像角度的不同，从训练数据中学习到的模型依然有普遍的适用性，从而使得特征的鲁棒性更强。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种增强深度学习算法鲁棒性的优化方法，其特征在于：所述优化方法包括以下步骤：
根据预设的卷积核维度对样本数据的卷积核进行特征提取，得到卷积结果；
对所述卷积结果进行池化运算,得到批量池化结果；
对批量池化结果进行向量化处理,得到向量化结果；
根据所述样本数据和向量化结果,得到测试样本与训练样本的概率密度比值，通过卷积层参数和高斯核宽度对所述概率密度比值进行建模得到建模后比值的估计值；
根据建模后比值的估计值得到测试样本的概率密度的估计值；
结合卷积结果以及基于KLIEP优化算法，对测试样本的概率密度和测试样本的概率密度的估计值之间的KL距离进行最小化,得到具有卷积层参数和高斯核宽度的最小化的KL距离；
对最小化的KL距离的卷积层参数和高斯核宽度基于KLIEP算法进行反向求导得到更新后卷积层参数，以及进行交叉验证得到优化后的高斯核宽度；
根据更新后卷积层参数和优化后的高斯核宽度,得到优化后的网络输出；
所述对所述卷积结果进行池化运算,得到批量池化结果的步骤，具体为：
对所述卷积结果中预设的2*2的区域进行取像素均值运算，得到批量池化结果。
2.如权利要求1所述的优化方法，其特征在于：所述根据预设的卷积核维度进行对样本数据的卷积核进行特征提取,得到卷积结果的步骤，具体包括：
获取样本数据的维度；
根据所述样本数据的维度和预设的卷积核维度,得到卷积层的输出维度；
将所述样本数据在卷积层进行卷积运算,得到卷积结果。
3.如权利要求1所述的优化方法，其特征在于：所述结合卷积结果以及基于KLIEP优化算法，对测试样本的概率密度和测试样本的概率密度的估计值之间的KL距离进行最小化,得到具有卷积层参数和高斯核宽度的最小化的KL距离，具体为；
对测试样本的概率密度和测试样本的概率密度的估计值之间的KL距离进行最小化，得到的最小化的KL距离为：
其中，pte^(x)为测试样本的概率密度的估计值，pte(x)为测试样本的概率密度，r^(x)为建模后比值的估计值；
将最小化的KL距离中的第一项公式忽略，将第二项公式定义为最小化的KL距离的优化值KL'，
其中，j为1，2，…，nte，即表示测试数据的数目，第一项公式为：
基于KLIEP优化算法和卷积结果，将最小化的KL距离的优化值KL’最大化以计算最小化的KL距离，
其中，优化值KL’最大化α为卷积层参数的向量形式，φ(x)为高斯核函数，其中，j为1，2，……，ntr，即表示训练数据的数目；ptr(x)为训练样本的概率密度，{α}l＝1 b为卷积层参数，b为卷积核的偏置，xj tr为训练样本。
4.如权利要求1所述的优化方法，其特征在于：所述反向求导具体包括：
通过KLIEP算法获得的J函数对批量池化结果进行求导，得到卷积层的灵敏度；
根据所述卷积层的灵敏度对任意一层卷积层进行更新训练样本和测试样本中卷积层的灵敏度；
根据包含概率密度比值信息的灵敏度进行卷积层的权值更新，得到更新后卷积层参数。
5.如权利要求1所述的优化方法，其特征在于：所述交叉验证具体包括：
将测试样本分为K个近似相等且不相交的子集，其中K为大于1的正整数；
通过其中的K-1个子集，得到最小化的KL距离；
重复K次，根据K次的平均值作为最小化的KL距离的估计值，并根据最小化的KL距离的估计值得到优化后的高斯核宽度。
6.如权利要求1所述的优化方法，其特征在于：所述根据更新后卷积层参数和优化后的高斯核宽度,得到优化后的网络输出的步骤，具体为：
通过Sigmoid函数,根据更新后卷积层参数和优化后的高斯核宽度,得到优化后的网络输出。
7.如权利要求1所述的优化方法，其特征在于：所述根据所述样本数据和向量化结果,得到测试样本与训练样本的概率密度比值，通过卷积层参数和高斯核宽度对所述概率密度比值，进行建模得到建模后比值的估计值的步骤，具体为：
根据所述样本数据和向量化结果得到训练样本,训练样本的概率密度,测试样本和测试样本的概率密度以及得到测试样本与训练样本的概率密度比值；
通过卷积层参数和高斯核宽度对所述概率密度比值，进行建模得到建模后比值的估计值。
CN201610542650.8A 2016-07-11 2016-07-11 一种增强深度学习算法鲁棒性的优化方法和系统 Active CN106203628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610542650.8A CN106203628B (zh) 2016-07-11 2016-07-11 一种增强深度学习算法鲁棒性的优化方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610542650.8A CN106203628B (zh) 2016-07-11 2016-07-11 一种增强深度学习算法鲁棒性的优化方法和系统

Publications (2)

Publication Number Publication Date
CN106203628A CN106203628A (zh) 2016-12-07
CN106203628B true CN106203628B (zh) 2018-12-14

Family

ID=57477193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610542650.8A Active CN106203628B (zh) 2016-07-11 2016-07-11 一种增强深度学习算法鲁棒性的优化方法和系统

Country Status (1)

Country Link
CN (1) CN106203628B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844766A (zh) * 2017-10-31 2018-03-27 北京小米移动软件有限公司 人脸图像模糊度的获取方法、装置和设备
CN108108765A (zh) * 2017-12-28 2018-06-01 北京理工大学 一种基于概率密度比的数据融合的设备故障诊断方法
CN109472359B (zh) * 2018-10-23 2021-06-04 深圳和而泰数据资源与云技术有限公司 深度神经网络的网络结构处理方法及相关产品
US11687839B2 (en) * 2019-03-14 2023-06-27 Actapio, Inc. System and method for generating and optimizing artificial intelligence models
CN112464965A (zh) * 2019-09-06 2021-03-09 富士通株式会社 估计模型的准确性和鲁棒性的方法及其装置
CN111814676B (zh) * 2020-07-08 2023-09-29 上海雪湖科技有限公司 基于kl散度的fpga离线量化方法
CN117357134B (zh) * 2023-12-08 2024-02-09 中国科学院深圳先进技术研究院 一种神经电脉冲检测方法、系统及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708550A (zh) * 2012-05-17 2012-10-03 浙江大学 一种基于自然图像统计特性的盲去模糊算法
CN104200224A (zh) * 2014-08-28 2014-12-10 西北工业大学 基于深度卷积神经网络的无价值图像去除方法
CN105224948A (zh) * 2015-09-22 2016-01-06 清华大学 一种基于图像处理的最大间隔深度生成模型的生成方法
CN105654049A (zh) * 2015-12-29 2016-06-08 中国科学院深圳先进技术研究院 人脸表情识别的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080099438A1 (en) * 2006-11-01 2008-05-01 Yijian Chen Wavefront modulation methods for EUV maskless lithography

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708550A (zh) * 2012-05-17 2012-10-03 浙江大学 一种基于自然图像统计特性的盲去模糊算法
CN104200224A (zh) * 2014-08-28 2014-12-10 西北工业大学 基于深度卷积神经网络的无价值图像去除方法
CN105224948A (zh) * 2015-09-22 2016-01-06 清华大学 一种基于图像处理的最大间隔深度生成模型的生成方法
CN105654049A (zh) * 2015-12-29 2016-06-08 中国科学院深圳先进技术研究院 人脸表情识别的方法及装置

Also Published As

Publication number Publication date
CN106203628A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106203628B (zh) 一种增强深度学习算法鲁棒性的优化方法和系统
Zhang et al. Fruit classification by biogeography‐based optimization and feedforward neural network
Bayar et al. Constrained convolutional neural networks: A new approach towards general purpose image manipulation detection
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN107016689A (zh) 一种尺度自适应的相关滤波对冲目标跟踪方法
CN107636691A (zh) 用于识别图像中的文本的方法和设备
CN108090472B (zh) 基于多通道一致性特征的行人重识别方法及其系统
CN110889375B (zh) 用于行为识别的隐双流协作学习网络及方法
CN104268593A (zh) 一种小样本情况下多稀疏表示的人脸识别方法
CN109993102A (zh) 相似人脸检索方法、装置及存储介质
CN107506756A (zh) 一种基于Gabor滤波器三维卷积神经网络模型的人体动作识别方法
Kaluri et al. An enhanced framework for sign gesture recognition using hidden Markov model and adaptive histogram technique.
CN109902667A (zh) 基于光流引导特征块和卷积gru的人脸活体检测方法
CN109740057B (zh) 一种基于知识萃取的增强神经网络及信息推荐方法
CN110751072B (zh) 基于知识嵌入图卷积网络的双人交互识别方法
CN106874879A (zh) 基于多特征融合和深度学习网络提取的手写数字识别方法
CN110443372A (zh) 一种基于熵最小化的迁移学习方法及系统
CN108345889A (zh) 一种利用树莓派对通信机柜进行示数识别的应用方法
KR20180123810A (ko) Ｘ-Ｒａｙ 의료 영상 판독을 위한 데이터 심화학습 처리 기술 및 그 방법
CN109886342A (zh) 基于机器学习的模型训练方法和装置
CN110263236A (zh) 基于动态多视图学习模型的社交网络用户多标签分类方法
CN115861246B (zh) 应用于工业互联网的产品质量异常检测方法及其系统
CN109766934A (zh) 一种基于深度Gabor网络的图像目标识别方法
CN104077408B (zh) 大规模跨媒体数据分布式半监督内容识别分类方法及装置
CN109255339A (zh) 基于自适应深度森林人体步态能量图的分类方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant