CN100561500C - 基于受限玻尔兹曼机神经网络的人脸姿态识别方法 - Google Patents
基于受限玻尔兹曼机神经网络的人脸姿态识别方法 Download PDFInfo
- Publication number
- CN100561500C CN100561500C CNB2006101183804A CN200610118380A CN100561500C CN 100561500 C CN100561500 C CN 100561500C CN B2006101183804 A CNB2006101183804 A CN B2006101183804A CN 200610118380 A CN200610118380 A CN 200610118380A CN 100561500 C CN100561500 C CN 100561500C
- Authority
- CN
- China
- Prior art keywords
- boltzmann machine
- limited boltzmann
- neural network
- image
- human face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种用受限玻尔兹曼机神经网络进行人脸姿态识别的方法，属于图像识别技术领域。本发明包括如下步骤：(1)对不同姿态的人脸图像训练样本进行预处理操作；(2)初始化受限玻尔兹曼机神经网络；(3)预训练受限玻尔兹曼机神经网络；(4)调整受限玻尔兹曼机神经网络参数；(5)对新的人脸图像进行姿态识别；本发明涉及了人脸检测、模式分类、人脸姿态识别方法可以进一步应用于三维人脸模型重建、三维人脸识别等方面。
Description
技术领域
本发明涉及的是一种图像识别技术领域中的方法，具体是一种用受限玻尔兹曼机神经网络进行人脸姿态识别的方法。
背景技术
随着全球安全意识的加强，人类对生物特征识别技术的要求也越来越高，而在众多生物特征识别技术中，人脸识别最具有可行性。但传统的二维人脸识别受到光照、姿态等因素的影响，不能够满足实际应用的要求。因此，从二维人脸识别拓展到三维人脸识别是一个趋势，因为三维空间能够提供更多的信息用于人脸识别。但是这种从二维识别拓展到三维识别也带来了新的问题，即如何估计人脸的姿态以能够为后续的人脸特征点定位、识别提供准确的可用信息。有一些学者对该问题进行了深入的研究，但该难题到目前为止还尚未得到完全解决。
经对现有技术文献的检索发现，Roweis，S.T.等在《Science》(科学)(2000年第290卷第5500期第2323页)发表的“Nonlinear Dimensionality Reduction byLocal linear Embedding”(用局部线性嵌入进行非线性降维)，该文提出了一种非线性降维方法，该方法可以被用于进行姿态识别。如果把人脸看成是高维空间的一个点，在该方法中，通过在原始数据的高维空间中寻找每个点周围K个最近邻并计算它们之间的流行空间的距离来进行分类。但该方法的计算时间与训练样本的个数成二次方关系。最为关键的一点就是：对于一个新的待分类的样本，其不能用已经训练好的流行对其进行降维分类。也就是，该方法仅仅学习了给定数据的潜在的低维结构，它不能利用已经学习好的该低维结构把一个新的高维空间的数据影射到低维空间。这就限制了该方法的应用，因此也不能直接应用到人脸姿态识别中。
发明内容
本发明针对局部线性嵌入方法的缺陷，提出了一种利用受限玻尔兹曼机神经网络进行人脸姿态识别的方法，使其能直接应用到人脸姿态识别中，从而可以提供人脸姿态信息以能够在多角度下进行人脸识别。
本发明是通过以下技术方案实现的，本发明首先利用训练样本对受限玻尔兹曼机神经网络进行预训练学习，得到预训练学习参数，然后再利用梯度下降方法调整整个网络结构的权值参数，得到最终训练好的网络参数。最后对于一个新的待进行姿态识别的人脸图像，把其送入该学习好的神经网络中进行姿态识别分类。
本发明具体包括如下步骤：
(1)对不同姿态的人脸图像训练样本进行预处理操作；
(2)初始化受限玻尔兹曼机神经网络；
(3)预训练受限玻尔兹曼机神经网络；
(4)调整受限玻尔兹曼机神经网络参数；
(5)对新的人脸图像进行姿态识别。
所述的步骤(1)，是指：对于每个人脸图像训练样本，首先从图像中检测到人脸区域，并把其缩放为高为h个像素、宽为w个像素的图像。然后把该缩放后的人脸图像变换为灰度图像，并把该灰度图像上所有像素的灰度值压缩到[0 1]，最后把该灰度图像按照行顺序拉成一个向量，该向量的长度为h×w。
所述的步骤(2)，是指：设定该神经网络有3层。每一层的结点数分别为500，500，2000。类别个数为C＝9，预训练的次数为Pt＝50，调整参数的次数为Pc＝30。由网络层数和每层结点的个数就可以得到网络结构，同时产生[0 1]之间的随机数作为网络结点之间连接权值。
所述的步骤(3)，是指：对于整个网络中第一层受限玻尔兹曼机，其可视层的结点对应于步骤(1)中向量中的每一个值，然后训练该受限玻尔兹曼机可视层结点与隐层结点之间的权值参数，共训练Pt次。然后再以第一层受限玻尔兹曼机隐层作为第二层受限玻尔兹曼机可视层，同样训练该受限玻尔兹曼机可视层结点与隐层结点之间的权值参数，也训练Pt次。依此类推，即上一层受限玻尔兹曼机的隐层作为下一层受限玻尔兹曼机的可视层以训练下一层受限玻尔兹曼机。这样就完成了整个网络的预训练，同时也得到了预训练好的各层受限玻尔兹曼机的参数。
所述的步骤(4)，是指：以重建误差最小为准则利用梯度下降法反向传播调整神经网络的参数，该步骤共执行Pc次。这样便完成了网络参数的调整，也得到了网络的最终权值参数。
所述的步骤(5)，是指：对于一幅新的待进行姿态识别的人脸图像，先检测到人脸区域并缩放到高为h，宽为w的图像，并把该缩放的图像变换为灰度图像，并把图像上所有像素的灰度值压缩到[0 1]，接着把该图像按照行顺序拉成一个向量，该向量的长度为h×w。最后把该向量送入已经训练好的神经网络即可得到该人脸图像的姿态。
本发明提出的人脸姿态识别方法具有非常高的精度。用拍摄的人脸库做测试，其识别错误率为2.5％。与其他姿态识别方法相比，该方法的错误率大大降低。而且该方法计算速度非常快，且易于实现。
附图说明
图1为同一个人的9个不同的姿态示意图
图a、b、c、d、e、f、g、h、i表示的人脸图像的姿态分别为-90°、-60°、-45°、-30°、0°、30°、45°、60°、90°。
图2为姿态识别的结果。
图中：角度为-60°。
具体实施方式
下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体过程，但本发明的保护范围不限于下述的实施例。
本实施例整个实现过程如下：
1.在人脸库(该人脸库包含有2270个人的不同姿态的人脸图像。每个人包含9个姿态的人脸图像，如图1所示，图a、b、c、d、e、f、g、h、i这9个人脸图像的姿态分别为-90°、-60°、-45°、-30°、0°、30°、45°、60°、90°。这样就可以把人脸库中的图像按照其不同的姿态分为9类，每一类有2270个图像，每一类中的图像具有相同的姿态。)图像中检测到人脸区域，并把其缩放为高为25个像素，宽为25个像素的图像，然后把该缩放后的人脸图像变换为灰度图像，并把该灰度图像上所有像素的灰度值压缩到[0 1]，最后把该灰度图像按照行顺序拉成一个向量，该向量的长度为625。
2.设定该神经网络有3层。每一层的结点数分别为500，500，2000。类别个数为9，预训练的次数为50，调整参数的次数为30。由网络层数和每层结点的个数就可以得到网络结构，同时产生[0 1]之间的随机数作为网络结点之间连接权值。
3.对于整个网络中第一层受限玻尔兹曼机，其可视层的结点对应于步骤(1)中向量中的每一个值，然后训练该受限玻尔兹曼机可视层的625个结点与隐层的500个结点之间的权值参数，共训练50次。然后再以第一层受限玻尔兹曼机隐层作为第二层受限玻尔兹曼机可视层，同样训练该受限玻尔兹曼机可视层的500个结点与隐层的500个结点之间的权值参数，也训练50次。依此类推，即上一层受限玻尔兹曼机的隐层作为下一层受限玻尔兹曼机的可视层以训练下一层受限玻尔兹曼机。这样就完成了整个网络的预训练，同时也得到了预训练好的各层受限玻尔兹曼机的参数。
4.以重建误差最小为准则利用梯度下降法反向传播调整神经网络的参数，该步骤共执行30次。这样便完成了网络参数的调整，也得到了网络的最终权值参数。
5.对于一幅新的待进行姿态识别的人脸图像，先检测到人脸区域并缩放到高为25个像素，宽为25个像素的图像，并把该缩放的图像变换为灰度图像，并把图像上所有像素的灰度值压缩到[0 1]，接着把该图像按照行顺序拉成一个向量，该向量的长度为625。最后把该向量送入已经训练好的神经网络即可得到该人脸图像的姿态，如图2所示，该待进行姿态识别的图像为一幅-60°的人脸图像，用本发明的方法可以正确地识别出该人脸图像的姿态。
从以上可以看出，本实施例提出的涉及了人脸检测、模式分类的人脸姿态识别方法可以进一步应用于三维人脸模型重建、三维人脸识别等方面，其具非常高的精度。
Claims (5)
1.一种基于受限玻尔兹曼机神经网络的人脸姿态识别方法，其特征在于，包括如下步骤：
(1)对不同姿态的人脸图像训练样本进行预处理操作，
(2)初始化受限玻尔兹曼机神经网络，
(3)预训练受限玻尔兹曼机神经网络，
(4)调整受限玻尔兹曼机神经网络参数，
(5)对新的人脸图像进行姿态识别，
所述的步骤(3)，是指：对于整个网络中第一层受限玻尔兹曼机，其可视层的结点对应于步骤(1)中向量中的每一个值，然后训练该受限玻尔兹曼机可视层结点与隐层结点之间的权值参数，共训练Pt次；然后再以第一层受限玻尔兹曼机隐层作为第二层受限玻尔兹曼机可视层，同样训练该受限玻尔兹曼机可视层结点与隐层结点之间的权值参数，也训练Pt次；依此类推，即上一层受限玻尔兹曼机的隐层作为下一层受限玻尔兹曼机的可视层以训练下一层受限玻尔兹曼机，这样就完成了整个网络的预训练，同时也得到了预训练好的各层受限玻尔兹曼机的参数。
2.根据权利要求1所述的基于受限玻尔兹曼机神经网络的人脸姿态识别方法，其特征是，所述的步骤(1)，是指：对于每个人脸图像训练样本，首先从图像中检测到人脸区域，并把其缩放为高为h个像素、宽为w个像素的图像，然后把该缩放后的人脸图像变换为灰度图像，并把该灰度图像上所有像素的灰度值压缩到[0 1]，最后把该灰度图像按照行顺序拉成一个向量，该向量的长度为h×w。
3.根据权利要求1所述的基于受限玻尔兹曼机神经网络的人脸姿态识别方法，其特征是，所述的步骤(2)，是指：设定该神经网络有3层，每一层的结点数分别为500，500，2000个，类别个数为C＝9个，预训练的次数为Pt＝50次，调整参数的次数为Pc＝30次，由网络层数和每层结点的个数得到网络结构，同时产生[0 1]之间的随机数作为网络结点之间连接权值。
4.根据权利要求1所述的基于受限玻尔兹曼机神经网络的人脸姿态识别方法，其特征是，所述的步骤(4)，是指：以重建误差最小为准则利用梯度下降法反向传播调整神经网络的参数，该步骤共执行Pc次，这样便完成了网络参数的调整，也得到了网络的最终权值参数。
5.根据权利要求1所述的基于受限玻尔兹曼机神经网络的人脸姿态识别方法，其特征是，所述的步骤(5)，是指：对于一幅新的待进行姿态识别的人脸图像，先检测到人脸区域并缩放到高为h个像素、宽为w个像素的图像，并把该缩放的图像变换为灰度图像，并把图像上所有像素的灰度值压缩到[0 1]，接着把该图像按照行顺序拉成一个向量，该向量的长度为h×w，最后把该向量送入已经训练好的神经网络即得到该人脸图像的姿态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2006101183804A CN100561500C (zh) | 2006-11-16 | 2006-11-16 | 基于受限玻尔兹曼机神经网络的人脸姿态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2006101183804A CN100561500C (zh) | 2006-11-16 | 2006-11-16 | 基于受限玻尔兹曼机神经网络的人脸姿态识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1952953A CN1952953A (zh) | 2007-04-25 |
| CN100561500C true CN100561500C (zh) | 2009-11-18 |
Family
ID=38059292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2006101183804A Expired - Fee Related CN100561500C (zh) | 2006-11-16 | 2006-11-16 | 基于受限玻尔兹曼机神经网络的人脸姿态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100561500C (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101639937B (zh) * | 2009-09-03 | 2011-12-14 | 复旦大学 | 一种基于人工神经网络的超分辨率方法 |
| CN101840506B (zh) * | 2010-04-08 | 2014-02-19 | 上海交通大学 | 远程教育学生特征信号提取识别的方法 |
| CN102142136B (zh) * | 2011-03-05 | 2012-09-05 | 河海大学常州校区 | 基于神经网络的声纳图像的超分辨率重建方法 |
| CN103778432B (zh) * | 2014-01-08 | 2017-02-01 | 南京邮电大学 | 一种基于深信度网络的人车分类方法 |
| CN104298973B (zh) * | 2014-10-09 | 2018-03-30 | 北京工业大学 | 基于自编码器的人脸图像旋转方法 |
| CN104408483B (zh) * | 2014-12-08 | 2017-08-25 | 西安电子科技大学 | 基于深度神经网络的sar纹理图像分类方法 |
| CN104666008B (zh) * | 2015-02-09 | 2017-06-16 | 江苏怡龙医疗科技有限公司 | 一种能自动翻身的护理床 |
| CN104992417B (zh) * | 2015-06-30 | 2017-12-19 | 上海交通大学 | 基于Kinect的人脸视频目光修正方法及系统 |
| CN105678252A (zh) * | 2016-01-05 | 2016-06-15 | 安阳师范学院 | 依据人脸三角网格自适应细分和高斯小波的迭代插值方法 |
| CN106250838A (zh) * | 2016-07-27 | 2016-12-21 | 乐视控股（北京）有限公司 | 车辆识别方法及系统 |
| CN106248368B (zh) * | 2016-09-21 | 2019-12-31 | 哈尔滨工程大学 | 一种基于深度学习的燃机涡轮叶片故障检测方法 |
| CN106803080B (zh) * | 2017-01-24 | 2019-12-31 | 北京理工大学 | 一种基于形状玻尔兹曼机的补全式行人检测方法 |
-
2006
- 2006-11-16 CN CNB2006101183804A patent/CN100561500C/zh not_active Expired - Fee Related
Non-Patent Citations (8)
| Title |
|---|
| 一种新型随机二进制神经网络. 赵杰煜，张泉方，汪加才.自动化学报，第28卷第5期. 2002 |
| 一种新型随机二进制神经网络. 赵杰煜，张泉方，汪加才.自动化学报，第28卷第5期. 2002 * |
| 向量玻尔兹曼机. 刘来福，唐志宇，匡锦瑜.北京师范大学学报（自然科学版），第32卷第4期. 1996 |
| 向量玻尔兹曼机. 刘来福，唐志宇，匡锦瑜.北京师范大学学报（自然科学版），第32卷第4期. 1996 * |
| 基于BP神经网络的人脸图像识别方法的研究. 邵虹，徐全生，崔文成.沈阳工业大学学报，第22卷第4期. 2000 |
| 基于BP神经网络的人脸图像识别方法的研究. 邵虹，徐全生，崔文成.沈阳工业大学学报，第22卷第4期. 2000 * |
| 复杂运动目标的学习与识别. 赵杰煜，王小权.中国图象图形学报，第6卷第5期. 2001 |
| 复杂运动目标的学习与识别. 赵杰煜，王小权.中国图象图形学报，第6卷第5期. 2001 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1952953A (zh) | 2007-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100561500C (zh) | 基于受限玻尔兹曼机神经网络的人脸姿态识别方法 | |
| CN100492399C (zh) | 利用降维方法进行人脸姿态估计的方法 | |
| CN110321833B (zh) | 基于卷积神经网络和循环神经网络的人体行为识别方法 | |
| CN107506702B (zh) | 基于多角度的人脸识别模型训练及测试系统及方法 | |
| CN110287880A (zh) | 一种基于深度学习的姿态鲁棒性人脸识别方法 | |
| CN101558996B (zh) | 基于人体运动结构正投影三维重建的步态识别方法 | |
| CN103605972B (zh) | 一种基于分块深度神经网络的非限制环境人脸验证方法 | |
| CN110070074A (zh) | 一种构建行人检测模型的方法 | |
| CN102938065B (zh) | 基于大规模图像数据的人脸特征提取方法及人脸识别方法 | |
| CN107871101A (zh) | 一种人脸检测方法及装置 | |
| CN102831413A (zh) | 基于多分类器融合的人脸识别方法及系统 | |
| CN107767416B (zh) | 一种低分辨率图像中行人朝向的识别方法 | |
| CN106407958A (zh) | 基于双层级联的面部特征检测方法 | |
| CN102385691A (zh) | 脸部表情辨识系统、辨识装置及辨识方法 | |
| CN101853397A (zh) | 一种基于人类视觉特性的仿生人脸检测方法 | |
| CN102156885A (zh) | 基于级联式码本生成的图像分类方法 | |
| CN110135327A (zh) | 一种基于多区域特征学习模型的驾驶员行为识别方法 | |
| CN110111370A (zh) | 一种基于tld和深度多尺度时空特征的视觉物体跟踪方法 | |
| Nale et al. | Suspicious human activity detection using pose estimation and lstm | |
| CN107644203A (zh) | 一种形状自适应分类的特征点检测方法 | |
| CN104732247A (zh) | 一种人脸特征定位方法 | |
| CN102521623B (zh) | 一种基于子空间的增量学习人脸识别方法 | |
| He et al. | Dual multi-task network with bridge-temporal-attention for student emotion recognition via classroom video | |
| CN105975914A (zh) | 基于线性组合特征的夫妇与孩子间三人亲属关系判别方法 | |
| CN105069430A (zh) | 一种基于msnrd特征的多姿态人脸检测器的设计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20091118 Termination date: 20121116 |