CN107392155A - 基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法 - Google Patents

基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法 Download PDF

Info

Publication number
CN107392155A
CN107392155A CN201710611425.XA CN201710611425A CN107392155A CN 107392155 A CN107392155 A CN 107392155A CN 201710611425 A CN201710611425 A CN 201710611425A CN 107392155 A CN107392155 A CN 107392155A
Authority
CN
China
Prior art keywords
boltzmann machine
limited boltzmann
sparse
mrow
population
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710611425.XA
Other languages
English (en)
Inventor
李阳阳
白小玉
焦李成
刘芳
尚荣华
马文萍
马晶晶
缑水平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710611425.XA priority Critical patent/CN107392155A/zh
Publication of CN107392155A publication Critical patent/CN107392155A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • G06V30/245—Font recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2528—Combination of methods, e.g. classifiers, working on the same input data

Abstract

本发明提出了一种基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，用于解决现有技术中存在的识别误差率高的技术问题。实现步骤为：获取归一化训练集和测试集；设定稀疏受限玻尔兹曼机的优化迭代停止次数；对稀疏受限玻尔兹曼机进行优化；选取数据集；利用多目标算法优化稀疏受限玻尔兹曼机，获取参数集；对稀疏受限玻尔兹曼机参数集进行更新；获取归一化训练集的输出；利用归一化训练集的输出对分类器进行训练；判断是否达到优化迭代停止次数；对归一化测试集进行预测分类，获得分类标签。本发明的识别误差率低，可用于手写体识别等图像识别。

Description

基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法
技术领域
本发明属于深度学习和进化计算相结合的技术领域，涉及一种基于稀疏受限玻尔兹曼机的手写体识别方法，具体涉及一种基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，可用于图像识别领域和深度神经网络的特征降维。
背景技术
神经网络的发展使得图像识别领域取得惊人进展，从而推动人工智能和人机交互的踏步前进。1986年Hinton在MIT Press的第一卷发表的《Learning and relearning inBoltzmann machines》，该文献提出玻尔兹曼机(BM)，BM是一种根植于统计力学的随机神经网络，其具有强大的无监督学习能力，能够学习数据中复杂的规则。但是玻尔兹曼机结构复杂，训练的时间非常长。Smolensky在1986年专著《Information processing in dynamicalsystems:foundations ofharmony theory》中引入一种限制玻尔兹曼机(RBM)，RBM具有很好的性质，在一些问题上取得了较好的效果。2006年，Hinton在neural computation的18卷第7期发表的《A fast learning algorithm for deep beliefnets》,该文献提出一个深度信念网络(DBN)被视为由若干个限制玻尔兹曼机(RBM)堆叠在一起，并给出该模型的一个高效学习算法。这个算法成为了其后至今深度学习的主要框架之一。
手写体识别是多年来的研究热点问题。随着经济的迅速发展，手写体识别系统还会有更大的应用空间，这就要求手写体识别的误差率达到一个更低水平。研究者提出了许多方法解决手写体识别问题，按照使用的特征不同，这些方法可以分为两类：基于几何结构特征方法和基于统计特征方法。基于统计特征方法是利用点密度、特征区域等统计特征进行手写体识别，其优点是易训练且可降低书写随意性的干扰，但是由于其单一向的局限性导致手写体识别的误差率较高。由RBM组成的神经网络这种基于统计特征方法在手写体识别问题取得了较低的误差率，但是如果只是单纯地利用RBM提取特征则会产生冗余，识别效果就会降低，所以许产生了许多RBM的优化方法。目前RBM的优化方法可分为基于扩增数据集的优化算法和基于稀疏规则项的优化方法两类，其中，基于稀疏规则项的优化方法的原理是通过在优化函数中加入稀疏规则项，从而将先验知识人为的加入优化过程中，获得稀疏受限玻尔兹曼机(SRBM)优良的特征如低秩、稀疏、平滑等,从而获得较低的识别误差率。例如2014年，姬楠楠等人在pattern Recongnit第47卷第9期发表文章《A sparse-responsedeep beliefnetworkbased on rate distortion theory》，公开了一种基于率失真理论的稀疏受限玻尔兹曼的手写体识别方法，该文献基于率失真理论提出SR-RBM，其原理是在原来传统受限玻尔兹曼机的基础上增加了一范数稀疏规则项，实现特征的自动选择，从而降低识别误差率。但是，该方法需要人为定义稀疏规则项在优化函数中所占的权重，该方法中权重参数的存在会影响手写体识别的识别效果和误差率。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，用于解决现有技术中存在的识别误差率高的技术问题。
为实现上述目的，本发明采取的技术方案包括如下步骤：
(1)获取归一化训练集V和测试集T：
将手写体数据库的一部分作为训练集，一部分作为测试集，并对训练集和测试集进行归一化，得到归一化训练集V和测试集T；
(2)设定稀疏受限玻尔兹曼机的优化迭代停止次数S，优化计数器的值c，并初始化c＝1；
(3)对稀疏受限玻尔兹曼机进行优化：
将归一化训练集V作为稀疏受限玻尔兹曼机的输入，利用对比散度算法，对稀疏受限玻尔兹曼机进行优化，得到稀疏受限玻尔兹曼机的优化参数：权重参数w、可视单元v的偏置a和隐单元h的偏置b，并令c＝c+1；
(4)从步骤(3)产生的b中随机选取m个参数，组成数据集Ds；
(5)利用多目标进化算法对数据集Ds进行优化，得到优化数据集Ds'；
(6)对稀疏受限玻尔兹曼机隐单元h的偏置b进行更新：
利用优化数据集Ds'替换稀疏受限玻尔兹曼机隐单元h的偏置b中对应的参数，得到稀疏受限玻尔兹曼机隐单元h的偏置b'；
(7)获取归一化训练集V的输出O：
将归一化训练集V输入到权重参数w、可视单元v的偏置a和隐单元h的偏置b'的稀疏受限玻尔兹曼机中，得到归一化训练集V的输出为O；
(8)利用归一化训练集V的输出O对softmax分类器进行训练：
将训练集V的输出O输入到softmax分类器中进行训练，得到权重w0和偏置b0的softmax分类器中，得到训练好的softmax分类器；
(9)判断优化计数器的值c是否达到优化迭代停止次数S，若是，执行步骤(10)，否则，执行步骤(3)；
(10)对归一化测试集T进行预测分类：
(10a)将归一化测试集T输入到权重参数w、可视单元v的偏置a和隐单元h的偏置b'的稀疏受限玻尔兹曼机中，得到测试集T的输出Ot；
(10b)将测试集T的输出Ot输入到训练好的softmax分类器中，得到测试集T的分类标签，实现对手写体的识别。
本发明与现有技术相比，具有如下优点：
本发明利用多目标优化算法优化稀疏受限玻尔兹曼机，充分利用多目标解决互相冲突的目标函数的能力，克服了现有技术中权重参数影响识别误差率的问题，有效地降低了识别误差率。
附图说明
图1是本发明的实现流程图；
图2是本发明采用的稀疏受限玻尔兹曼机的结构示意图；
图3是仿真所用的手写数字MNIST数据集中的样例图；
图4是基于率失真理论的稀疏受限玻尔兹曼机对MNIST训练集进行识别的仿真结果图；
图5是本发明对MNIST训练集进行识别的仿真结果图。
具体实施方式
下面结合附图和具体实施例，对本发明作进一步的描述。
参照图1，一种基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，包括如下步骤：
步骤1)获取归一化训练集V和测试集T：
将手写体数据库的一部分作为训练集，一部分作为测试集，并对训练集和测试集进行归一化，得到归一化训练集V和测试集T；
对训练集、测试集进行归一化预处理操作：归一化操作指将选定后的每张训练集图片的像素值由0到255批处理操作，归一化到0到1，得到归一化后的训练集和测试集；原始的数据集图片中每个点的像素值均为0到255的整数值，这些整数值代表不同级别的灰度值，归一化的操作就是将这些0到255的整数值变成0至1范围内的小数值，此时的手写数字训练集为归一化训练集；
步骤2)设定稀疏受限玻尔兹曼机的优化迭代停止次数S，优化计数器的值c，并初始化c＝1；
稀疏受限玻尔兹曼机的结构如图2所示，其包括两层结构：可视单元和隐单元。v0和h0分别代表第0个可视单元、第0个隐单元。只有可视单元和隐单元之间存在连接，隐单元层内或者可视单元层内无连接。根据归一化训练集图像大小均为28*28的灰度图像，所以本发明的方法的可视单元v的数量784，可视单元的偏置记做a；隐单元h的个数本发明设置为196个，隐单元的偏置记做b；学习率ε设置为0.3，动量项设置为[0.5,0.4,0.3,0.2,0.1]；动量项的意义使本次参数值修改的方向不完全由当前样本下优化函数的梯度决定，而是采用上一次参数值修改方向与本次梯度方向的组合，可以避免算法过早地收敛到局部最优点；为了减少网络的训练时间，本发明将大批量的数据分为小批次，每次批处理数据大小为100；识别的误差率会随着优化次数的增加而降低，但随着优化次数的增加误差率达到最小值；如果继续增加可能发生过拟合，从而增加误差率，本发明设定的优化迭代次数为150次；
步骤3)对稀疏受限玻尔兹曼机进行优化：
将归一化训练集V作为稀疏受限玻尔兹曼机的输入，利用对比散度算法，对稀疏受限玻尔兹曼机进行优化，得到稀疏受限玻尔兹曼机的优化参数：权重参数w、可视单元v的偏置a和隐单元h的偏置b，并令c＝c+1；
训练函数表示如下：
本发明基于率失真理论，将输入数据的分布和稀疏受限玻尔兹曼机训练产生的平衡分布之间的KL差异作为优化函数；
一般来讲，可以利用梯度下降法来计算优化函数的梯度，但是，计算KL差异的梯度的计算是非常耗时的，因为达到平衡分布需要很长时间。但是，受限玻尔兹曼机可以看做一个隐马尔科夫随机场，所以可以利用对比散度算法来计算KL差异的梯度的近似值，然后对稀疏受限玻尔兹曼机的参数集进行优化，具体计算如下：
其中，参数集包括权重w，可视单元的偏置a，隐单元的偏置b；wij代表第i可视单元和第j隐单元之间的权重，ai代表第i可视单元的偏置，bj代表第j隐单元的偏置；ε表示学习率，其值为0.3；代表重构数据的期望，利用一次吉布斯采样得到；
步骤4)从步骤3)产生的b中随机选取m个参数，组成数据集Ds；
因为现实中的数据集往往很大，如果对所有的参数进行优化，其训练时间是非常漫长的。因为隐单元的偏置直接控制学习特征的稀疏性，所以为了减少训练时间同时又不影响到训练结果的情况下，本发明随机选取一部分隐单元的偏置进行优化，这里Ds的大小是100；
步骤5)利用多目标进化算法对数据集Ds进行优化，得到优化数据集Ds'；其实现步骤为：
步骤5a)对目标函数进行分解，得到多个子问题：
所述的目标函数，其表达式为：
其中，m代表数据集Ds的规模，m为50；将输入数据的分布p0和由稀疏受限玻尔兹曼机训练产生的平衡分布之间的KL差异作为第一个目标函数f1，将一范数||p(h(l)|v(l))||1作为第二个目标函数f2；将目标函数利用切比雪夫方法进行分解，并找出每个子问题最邻近的C个子问题集NC；根据经验，C的值一般选为20；
步骤5b)根据随机数函数随机生成m个个体，得到包含m个个体的第t代种群It，初始化t＝1；
随机生成m个个体，其方法为：
x'＝rand(0,1)
d＝x-x'
其中rand(0,1)是随机生成范围[0,1]内的数，x代表数据集Ds中的个体，d代表种群中的个体，种群大小m为50；
步骤5c)计算种群It中每个个体的适应度值，并从中选取适应度值最小的n个个体作为种群的最优解集合EP；
利用步骤5a)得到的子问题的计算个体的适应度值，根据经验，最优解集合EP的大小设定为30；
步骤5d)设定种群最大进化代数为G；
根据经验，最大循环次数G选为200时效果最好，所以G的值设定为200；
步骤5e)对种群It中的个体进行交叉，得到第t+1代种群It+1：
其中步骤5e)中对种群中个体进行交叉，交叉策略为：
vi,G＝br1,t+F*(br2,t-br3,t)+F*(br4,t-br5,t)
br1,t...,br5,t是从第t代种群中随机挑选的个体；vi,G代表生成的第G代种群中的第i个个体，F是随机生成的扩展因子；
步骤5f)计算种群It+1中的每个个体适应度值，从种群It+1中选取适应度值最小的n个个体替换种群最优解集合EP中的所有个体，并令t＝t+1；
最优解集合EP记录的就是当前种群中适应度值最小的n个个体，根据经验，设定n＝30；
步骤5g)判断t是否达到最大的进化代数G，如果没有，则执行步骤5e)，如果达到终止条件，则从最优解集合EP中选择一个解作为优化的的Ds，记做Ds'；
利用angle-based方法从Knee areas中选择一个解作为最优解，需要在获得的Pareto前端插入线，将解和其临近的解连接起来，选择其中角度最大的解作为目标函数的最优解；
步骤6)对稀疏受限玻尔兹曼机隐单元h的偏置b进行更新：利用优化数据集Ds'替换稀疏受限玻尔兹曼机隐单元h的偏置b中对应的参数，得到稀疏受限玻尔兹曼机隐单元h的偏置b'；
利用优化数据集Ds'替换步骤4)中从稀疏受限玻尔兹曼机中隐单元h的偏置b中随机选取m个参数；
步骤7)获取归一化训练集V的输出O：
将归一化训练集V输入到权重参数w、可视单元v的偏置a和隐单元h的偏置b'的稀疏受限玻尔兹曼机中，得到归一化训练集V的输出为O；
将归一化训练集V输入稀疏受限玻尔兹曼机中，根据前馈计算得到输出O；
步骤8)利用归一化训练集V的输出O对softmax分类器进行训练：
将训练集V的输出O输入到softmax分类器中进行训练，得到权重w0和偏置b0的softmax分类器中，得到训练好的softmax分类器；
步骤9)判断优化计数器的值c是否达到优化迭代停止次数S，若是，执行步骤(10)，否则，执行步骤(3)；
步骤10)对归一化测试集T进行预测分类：
步骤10a)将归一化测试集T输入到权重参数w、可视单元v的偏置a和隐单元h的偏置b'的稀疏受限玻尔兹曼机中，得到测试集T的输出Ot；
步骤10b)将测试集T的输出Ot输入到训练好的softmax分类器中，得到测试集T的分类标签，实现对手写体的识别；
在softmax分类器中，本发明解决的手写体识别问题，其实就是多分类问题，类标y可以取u个不同的值，在MNIST数据集识别任务中u＝10。
以下通过仿真实验，对本发明的技术效果作进一步说明：
1、仿真条件和内容：
本发明和现有技术对MNIST训练集进行识别的仿真都是在MATLAB R2011a中编程实现，仿真选用的数据集为MNIST数据集，该数据集是由Google实验室的Corinna Cortes和纽约大学柯朗研究所的Yann LeCun建立的一个手写数字数据库。MNIST数据集的样例如图3所示，图像是28*28的手写体数字的灰度图像。MNIST数据集包括两部分，一部分为测试集，一部分为训练集。本发明仿真所用的训练集是选取了MNIST训练集的一部分，分别选定了100，500，1000，5000个训练样本。仿真所用的测试集是从MNIST测试集中选取训练样本个数的20％作为测试集。
利用基于率失真理论的稀疏受限玻尔兹曼机的方法和本发明，对MNIST训练集进行仿真识别，其结果如图4和图5所示。
2.仿真结果分析：
利用基于率失真理论的稀疏受限玻尔兹曼机的方法在权重参数为0.02、0.04和0.06及本发明，对MNIST训练集进行仿真识别，识别误差率结果对比如表一所示。
表一
从表一可见，利用本发明的方法得到的识别误差率明显低于基于率失真理论的稀疏受限玻尔兹曼机的方法，验证了本发明对于手写体识别的优良识别效果。在基于率失真理论的稀疏受限玻尔兹曼机的方法中选取了不同权重参数以验证其识别误差率，从表一可见，不同的权重参数效果差异明显。本发明不需要选择权重参数，从而降低了手写体识别误差率。
参照图4，从中可见，其识别结果图轮廓不完整，边缘不清晰。
参照图5，从中可见，其识别结果图轮廓完整，边缘清晰。
从图4和图5对比可见，本发明的方法得到的识别结果图的轮廓更加完整且边缘更加清晰，从而降低了手写体识别误差率。表明本发明可以解决手写体识别等图像识别问题。

Claims (5)

1.一种基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，包括如下步骤：
(1)获取归一化训练集V和测试集T：
将手写体数据库的一部分作为训练集，一部分作为测试集，并对训练集和测试集进行归一化，得到归一化训练集V和测试集T；
(2)设定稀疏受限玻尔兹曼机的优化迭代停止次数S，优化计数器的值c，并初始化c＝1；
(3)对稀疏受限玻尔兹曼机进行优化：
将归一化训练集V作为稀疏受限玻尔兹曼机的输入，利用对比散度算法，对稀疏受限玻尔兹曼机进行优化，得到稀疏受限玻尔兹曼机的优化参数：权重参数w、可视单元v的偏置a和隐单元h的偏置b，并令c＝c+1；
(4)从步骤(3)产生的b中随机选取m个参数，组成数据集Ds；
(5)利用多目标进化算法对数据集Ds进行优化，得到优化数据集Ds'；
(6)对稀疏受限玻尔兹曼机隐单元h的偏置b进行更新：利用优化数据集Ds'替换稀疏受限玻尔兹曼机隐单元h的偏置b中对应的参数，得到稀疏受限玻尔兹曼机隐单元h的偏置b'；
(7)获取归一化训练集V的输出O：
将归一化训练集V输入到权重参数w、可视单元v的偏置a和隐单元h的偏置b'的稀疏受限玻尔兹曼机中，得到归一化训练集V的输出为O；
(8)利用归一化训练集V的输出O对softmax分类器进行训练：
将训练集V的输出O输入到softmax分类器中进行训练，得到softmax分类器权重w0和偏置b0，即得到训练好的softmax分类器；
(9)判断优化计数器的值c是否达到优化迭代停止次数S，若是，执行步骤(10)，否则，执行步骤(3)；
(10)对归一化测试集T进行预测分类：
(10a)将归一化测试集T输入到权重参数w、可视单元v的偏置a和隐单元h的偏置b'的稀疏受限玻尔兹曼机中，得到测试集T的输出Ot；
(10b)将测试集T的输出Ot输入到训练好的softmax分类器中，得到测试集T的分类标签，实现对手写体的识别。
2.根据权利要求1所述的基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，其特征在于，步骤(5)中所述的利用多目标进化算法对数据集Ds进行优化，实现步骤为：
(5a)对目标函数进行分解，得到多个子问题；
(5b)根据随机数函数随机生成m个个体，得到包含m个个体的第t代种群It，初始化t＝1；
(5c)计算种群It中每个个体的适应度值，并从中选取适应度值最小的n个个体作为种群的最优解集合EP；
(5d)设定种群最大进化代数为G；
(5e)对种群It中的个体进行交叉，得到第t+1代种群It+1；
(5f)计算种群It+1中的每个个体适应度值，从种群It+1中选取适应度值最小的n个个体替换种群最优解集合EP中的所有个体，并令t＝t+1；
(5g)判断t是否达到最大的进化代数G，如果没有，则执行步骤(5e)，如果达到终止条件，则从最优解集合EP中选择一个解作为优化数据集，记做Ds'。
3.根据权利要求2所述的基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，其特征在于，步骤(5a)中所述的目标函数，其表达式为：
<mrow> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>w</mi> <mo>,</mo> <mi>a</mi> <mo>,</mo> <mi>b</mi> </mrow> </munder> <mrow> <mo>(</mo> <mi>K</mi> <mi>L</mi> <mo>(</mo> <mrow> <msup> <mi>p</mi> <mn>0</mn> </msup> <mo>|</mo> <mo>|</mo> <msubsup> <mi>p</mi> <mi>&amp;theta;</mi> <mi>&amp;infin;</mi> </msubsup> </mrow> <mo>)</mo> <mo>,</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <mo>|</mo> <mo>|</mo> <msup> <mi>h</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>|</mo> <mo>|</mo> <msup> <mi>v</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </msup> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mrow>
其中，m代表数据集Ds的规模，将输入数据的分布p0和由稀疏受限玻尔兹曼机训练产生的平衡分布之间的Kullback-Leibler差异作为训练函数，||p(h(l)|v(l))||1表示隐单元的L1范数。
4.根据权利要求2所述的于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，其特征在于，步骤(5b)所述的随机生成m个个体，其方法为：
x'＝rand(0,1)
d＝x-x'
其中rand(0,1)是随机生成范围[0,1]内的数，x代表数据集Ds中的一个数据，d代表初始化种群中的个体。
5.根据权利要求2所述的于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法，其特征在于，其中步骤(5e)所述的对种群中个体进行交叉，交叉策略为：
vi,G＝br1,t+F*(br2,t-br3,t)+F*(br4,t-br5,t)
br1,t...,br5,t是从第t代种群中随机挑选的个体；F是随机生成的扩展因子。
CN201710611425.XA 2017-07-25 2017-07-25 基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法 Pending CN107392155A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710611425.XA CN107392155A (zh) 2017-07-25 2017-07-25 基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710611425.XA CN107392155A (zh) 2017-07-25 2017-07-25 基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法

Publications (1)

Publication Number Publication Date
CN107392155A true CN107392155A (zh) 2017-11-24

Family

ID=60337129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710611425.XA Pending CN107392155A (zh) 2017-07-25 2017-07-25 基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法

Country Status (1)

Country Link
CN (1) CN107392155A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520277A (zh) * 2018-04-09 2018-09-11 哈尔滨工业大学 基于计算机视觉的钢筋混凝土结构地震损伤自动识别与智能定位方法
CN109559309A (zh) * 2018-11-30 2019-04-02 电子科技大学 基于均匀进化的多目标优化红外热图像缺陷特征提取方法
CN109948589A (zh) * 2019-03-31 2019-06-28 西安电子科技大学 基于量子深度信念网络的人脸表情识别方法
CN113030197A (zh) * 2021-03-26 2021-06-25 哈尔滨工业大学 一种气体传感器漂移补偿方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809502A (zh) * 2015-05-19 2015-07-29 重庆大学 一种受限玻尔兹曼机隐含层节点动态调整方法
US20160300134A1 (en) * 2015-04-08 2016-10-13 Nec Laboratories America, Inc. Corrected Mean-Covariance RBMs and General High-Order Semi-RBMs for Large-Scale Collaborative Filtering and Prediction
CN106886043A (zh) * 2017-03-01 2017-06-23 成都理工大学 基于地震数据深度学习的储层检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160300134A1 (en) * 2015-04-08 2016-10-13 Nec Laboratories America, Inc. Corrected Mean-Covariance RBMs and General High-Order Semi-RBMs for Large-Scale Collaborative Filtering and Prediction
CN104809502A (zh) * 2015-05-19 2015-07-29 重庆大学 一种受限玻尔兹曼机隐含层节点动态调整方法
CN106886043A (zh) * 2017-03-01 2017-06-23 成都理工大学 基于地震数据深度学习的储层检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAOGUO GONG,ETC: "A Multiobjective Sparse Feature Learning Model for Deep Neural Networks", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 *
NAN-NAN JI,ETC: "A sparse-response deep belief network based on rate distortion theory", 《PATTERN RECOGNITION》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520277A (zh) * 2018-04-09 2018-09-11 哈尔滨工业大学 基于计算机视觉的钢筋混凝土结构地震损伤自动识别与智能定位方法
CN109559309A (zh) * 2018-11-30 2019-04-02 电子科技大学 基于均匀进化的多目标优化红外热图像缺陷特征提取方法
CN109559309B (zh) * 2018-11-30 2021-03-30 电子科技大学 基于均匀进化的多目标优化红外热图像缺陷特征提取方法
CN109948589A (zh) * 2019-03-31 2019-06-28 西安电子科技大学 基于量子深度信念网络的人脸表情识别方法
CN113030197A (zh) * 2021-03-26 2021-06-25 哈尔滨工业大学 一种气体传感器漂移补偿方法
CN113030197B (zh) * 2021-03-26 2022-11-04 哈尔滨工业大学 一种气体传感器漂移补偿方法

Similar Documents

Publication Publication Date Title
CN109271522B (zh) 基于深度混合模型迁移学习的评论情感分类方法及系统
CN111079795B (zh) 基于cnn的分片多尺度特征融合的图像分类方法
CN109740154A (zh) 一种基于多任务学习的在线评论细粒度情感分析方法
CN107229904A (zh) 一种基于深度学习的目标检测与识别方法
CN109118564A (zh) 一种基于融合体素的三维点云标记方法和装置
CN103942571B (zh) 一种基于遗传规划算法的图形图像分类方法
CN107392155A (zh) 基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法
CN110197205A (zh) 一种多特征来源残差网络的图像识别方法
CN107330355B (zh) 一种基于正样本平衡约束的深度行人再标识方法
CN106815369A (zh) 一种基于Xgboost分类算法的文本分类方法
CN109582782A (zh) 一种基于用弱监督深度学习的文本聚类方法
CN108665005A (zh) 一种利用dcgan提高基于cnn图像识别性能的方法
CN107451278A (zh) 基于多隐层极限学习机的中文文本分类方法
CN102622609B (zh) 一种基于支持向量机的三维模型自动分类方法
CN103093247B (zh) 一种植物图片的自动分类方法
CN108256630A (zh) 一种基于低维流形正则化神经网络的过拟合解决方法
CN110298434A (zh) 一种基于模糊划分和模糊加权的集成深度信念网络
CN103971136A (zh) 一种面向大规模数据的并行结构化支持向量机分类方法
Duin et al. A note on core research issues for statistical pattern recognition
CN110414626A (zh) 一种猪只品种识别方法、装置和计算机可读存储介质
CN113408418A (zh) 一种书法字体与文字内容同步识别方法及系统
CN109492746A (zh) 基于ga-pso杂交算法的深度信念网络参数优化方法
Kaur et al. A hybrid neural approach for character recognition system
CN115588487A (zh) 一种基于联邦学习和生成对抗网络的医学图像数据集制作方法
Ashoka et al. Feature extraction technique for neural network based pattern recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171124