CN107704800A - 人脸识别方法、系统及其应用系统 - Google Patents
人脸识别方法、系统及其应用系统 Download PDFInfo
- Publication number
- CN107704800A CN107704800A CN201710703910.XA CN201710703910A CN107704800A CN 107704800 A CN107704800 A CN 107704800A CN 201710703910 A CN201710703910 A CN 201710703910A CN 107704800 A CN107704800 A CN 107704800A
- Authority
- CN
- China
- Prior art keywords
- face
- facial image
- image
- models
- identification method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种人脸识别方法、系统及其应用系统；该方法包括：采集人脸图像；基于3D模型对齐人脸图像，生成人脸正面图像；基于人脸正面图像，获取该人脸图像对应的生物学信息，所述生物学信息包括年龄、性别、心情。本发明具有以下有益效果：(1)、基于3D模型对齐方法，人脸识别精确度高；(2)、可以收集各类用户的数据，有针对性的投放视频资源(广告、电影、短片等)，提高广告成效；(3)、增加用户与广告播放系统的互动，增强用户的体验及趣味性；(4)、实时在线监控玻璃上的广告展示，方便、快捷、高效。
Description
技术领域
本发明涉及人脸识别技术，特别涉及一种人脸识别方法、系统及其应用。
背景技术
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用镜头或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。
现有的人脸识别系统在用户配合、采集条件比较理想的情况下可以取得令人满意的结果。但是，在用户不配合、采集条件不理想的情况下，现有系统的识别率将陡然下降。比如，人脸比对时，与系统中存储的人脸有出入，例如剃了胡子、换了发型、多了眼镜、变了心情都有可能引起比对失败。
发明内容
针对现有技术存在的问题，本发明提供一种人脸识别方法、系统及其应用，其具有多点采集的特点，可以极大地减小信息采集过程中存在的误差。
首先，本发明提供一种人脸识别方法，具体包括以下步骤：
采集人脸图像；
基于3D模型对齐人脸图像，生成人脸正面图像；
基于人脸正面图像，获取该人脸图像对应的生物学信息，所述生物学信息包括年龄、性别、心情。
优选地，所述基于3D模型对齐人脸图像，生成人脸正面图像的方法包括：
通过多个特征点检测人脸图像；
剪切所述人脸图像；
建立Delaunay triangulation；
参考标准3D模型，将标准3D模型对比到剪切之前的人脸图像，进行仿射变形，形成人脸正面图像。
进一步地，所述通过多个特征点检测人脸图像步骤中，包括一初阶图像检测步骤，所述初级图像检测步骤为：
基于第1复数个特征点，检测人脸图像，所述第1复数个特征点包括鼻子左侧、鼻孔下侧、两瞳孔位置、上嘴唇左右和下侧。
进一步地，所述通过多个特征点检测人脸图像步骤中，还包括一高阶图像检测步骤，所述初级图像检测步骤为：
基于第2复数个特征点，检测人脸图像，所述第2复数个特征点大于第1 复数个特征点。
优选地，所述建立Delaunay triangulation步骤采用演算法以三角割分的方式，把散步的第2复数个特征点作为三角形顶点并且连接成三角形，最后处理共线点。
优选地，所述标准3D模型来源于LFW数据集。
进一步地，所述参考标准3D模型，将标准3D模型对比到剪切之前的人脸图像，进行仿射变形，形成人脸正面图像的步骤包括：
采用USF Human-ID数据库的中等值，通过高维LBP跟Joint Bayesian结合算法，由三角化后的人脸转换成3D形状，再三角化后的人脸变为有深度的 3D三角网，将3D三角网做偏转使人脸的正面朝前，通过算法使得人脸的正脸放正，最后形成正面图形。
其次，本发明还提供实现上述方法的系统，包括：
图像采集单元，由于获取人脸图像；
图像处理单元，基于3D模型对齐人脸图像，生成人脸正面图像；
图像信息反馈单元，基于人脸正面图像，获取该人脸图像对应的生物学信息，所述生物学信息包括年龄、性别、心情。
再次，本发明还提供一种人脸识别的应用系统，用于LCD显示屏视频信息推送，包括：
一LCD显示屏，用于播放视频信息；
一镜头，包括上述人脸识别系统；
一主控板，电性连接所述LCD显示屏、镜头的图像信息反馈单元，该主控板包括一无线通信模块，该无线通信模块将镜头的图像信息反馈单元获取的生物学信息反馈给服务器，服务器根据反馈的生物学信息匹配视频信息，并经该无线通信模块接收后显示于该LCD显示屏。
优选地，该人脸识别的应用系统安装于各公共场所的冰箱玻璃之上。
进一步地，该人脸识别的应用系统还包括一触摸屏，设于LCD显示屏外侧且与主控板电性连接。
采用上述技术方案，具有以下有益效果：
(1)、基于3D模型对齐方法，人脸识别精确度高；
(2)、可以收集各类用户的数据，有针对性的投放视频资源(广告、电影、短片等)，提高广告成效；
(3)、增加用户与广告播放系统的互动，增强用户的体验及趣味性；
(4)、实时在线监控玻璃上的广告展示，方便、快捷、高效。
附图说明
图1～3为本发明人脸识别方法的流程框图；
图4为本发明人脸识别系统的原理框图；
图5为本发明人脸识别的应用系统的原理框图；
图6-图11本发明中人脸识别的应用系统应用在冰箱的具体识别状态图，其中：图6——读取用户生物学信息示意图；
图7——6个特征点示意图；
图8——Delaunay triangulation中三角割分示意图；
图9——2D的仿射图像；
图10——人脸识别过程示意图；
图11——两种深度神经网络框架(左边：VGG net；右边：GoogleLeNet)。
具体实施方式
以下结合附图和具体实施例，对本发明进一步说明。
参照图1至图3，首先，本发明提供一种人脸识别方法，具体包括以下步骤：
S1：采集人脸图像；
S2：基于3D模型对齐人脸图像，生成人脸正面图像
其中，所述基于3D模型对齐人脸图像，生成人脸正面图像的方法包括：
S21：通过多个特征点检测人脸图像
该步骤还包括一初阶图像检测和一高初阶图像检测：
S211：基于第1复数个特征点，检测人脸图像，所述第1复数个特征点包括鼻子左侧、鼻孔下侧、两瞳孔位置、上嘴唇左右和下侧。
S212：基于第2复数个特征点，检测人脸图像，所述第2复数个特征点大于第1复数个特征点。
S22：剪切所述人脸图像；
S23：建立Delaunay triangulation
该步骤采用演算法以三角割分的方式，把散步的第2复数个特征点作为三角形顶点并且连接成三角形，最后处理共线点。
S24：参考标准3D模型，将标准3D模型对比到剪切之前的人脸图像，进行仿射变形，形成人脸正面图像。
该步骤所述标准3D模型来源于LFW数据集；采用USF Human-ID数据库的中等值，通过高维LBP跟Joint Bayesian结合算法，由三角化后的人脸转换成3D形状，再三角化后的人脸变为有深度的3D三角网，将3D三角网做偏转使人脸的正面朝前，通过算法使得人脸的正脸放正，最后形成正面图形。
S3：基于人脸正面图像，获取该人脸图像对应的生物学信息，所述生物学信息包括年龄、性别、心情。
参照图4，其次，本发明还提供实现上述方法的系统1，包括：
图像采集单元11，由于获取人脸图像；
图像处理单元12，基于3D模型对齐人脸图像，生成人脸正面图像；
图像信息反馈单元13，基于人脸正面图像，获取该人脸图像对应的生物学信息，所述生物学信息包括年龄、性别、心情。
参照图5，本发明还提供一种人脸识别的应用系统，用于LCD显示屏视频信息推送，包括：
一LCD显示屏2，用于播放视频信息；
一镜头，包括上述人脸识别系统；
一主控板4，电性连接所述LCD显示屏2、镜头的图像信息反馈单元13，该主控板4包括一无线通信模块41，该无线通信模块41将镜头的图像信息反馈单元13获取的生物学信息反馈给服务器5，服务器5根据反馈的生物学信息匹配视频信息，并经该无线通信模块41接收后显示于该LCD显示屏2。
优选地，该人脸识别的应用系统安装于各公共场所的冰箱玻璃之上。
更进一步地，该人脸识别的应用系统还包括一触摸屏3，设于LCD显示屏2外侧且与主控板4电性连接。
以下参照图6至图11具体阐述本人脸识别技术的应用系统在冰箱上的应用。
参照图6，本技术在冰箱上的应用，主要目的是透过冰箱顶端的包含人脸识别系统1的镜头，以人脸识别技术来找寻指定前面的用户，运用存储有相关数据资源的服务器(云平台)，达到即时分析用户的性别、年龄、心情、身高等数据(如图6中：male、female、adult、happy等)，据此来播放对应的广告。这些数据存储于公司的云端，可以了解用户的购物习惯，将较多人选择的产品放置在显眼位置，节约顾客购物时间，达到双赢局面。
我们所运用的数据库是来自LFW数据集，是目前用得最多的人脸图像数据库。该数据库共13，233幅图像，其中5749个人，其中1680人有两幅及以上的图像，4069人只有一幅图像。常规人脸识别流程是：人脸检测-对齐- 表达-分类。我们通过额外的3d模型改进了人脸对齐的方法。然后，通过基於 4million人脸图像(4000个个体)训练的一个9层的人工神经网络来进行人脸特征表达。我们的模型在LFW数据集上取得了0.9735的准确率。基于以下两点来进行分析：
(1)基于3d模型的人脸对齐方法
①通过6个特征点、及67个特征点检测人脸
参考图7，6个特征点包括鼻子左侧，鼻孔下侧，瞳孔位置，上嘴唇左右和下侧等，得到了这些特征点的位置后，做一下位置驱动的变形，人脸图像即可被校正。
6个特征点只是最开始的基本出发点，后续是必须会出现变化而且数目也一定会增加并且达到67个特征点，目的是令人的特征更为显著和特出。特征点的主要用做一个参考值并且转为数值″锚″。锚的计算为Ti2d：＝(si，Ri， ti)where：x j anchor：＝si[Ri|ti]*x j source.这锚的计值最后会转化为初步的相似的剪切模型：T2d：＝T12d*…*Tk2d。
②剪切
③建立Delaunay triangulation
参考图8，当大约67个特征点已经被侦测出来并且已经成功制作了相似的剪切模型后，Delaunay triangulation将会配合这模型而转变。这是透过演算法以三角割分的方式，把散布的特征点作为三角形顶点并且连接成三角形，三角形数量越多越好，最后处理共线点。Delaunay triangulation三角化可以根据三角形重心分割至符合的要求，而且三角形不会受到影像大小，旋转及杂讯的影响。由于相似的剪切模型只能作为一个参考的初型模型，Delaunay triangulation更有效的减少误差干扰和点与点的不连续性和间断性，并且转为更成熟的模型，慢慢建立最总模型。
④参考标准3d模型，将3D模型比对到图片上，进行仿射变形，最终生成正面图像
参考图9-10，冰箱上将会安装精准的3D仿射镜头，配合真实的3D模型，最后能切割为2D的仿射图像。我们采用USF Human-ID数据库的中等值，通过高维LBP跟Joint Bayesian这两个方法结合算法。由三角化后的人脸转换成 3D形状，再三角化后的人脸变为有深度的3D三角网，将三角网做偏转使人脸的正面朝前最后通过算法使得人脸的正脸放正，最后形成正面图形。当中这一切的大数据会被作出分析，最后形成的图形能够更准确分析顾客的性别年龄和一切资料，其算法公式如下：
(2)大数据训练的人工神经网络
深度学习在人脸识别领域的应用提高了人脸识别准确率。我们使用了两种深度神经网络框架(VGG net和GoogleLeNet，参见图11)来进行人脸识别。两种框架ensemble结果在LFW数据集上可以达到0.9745的准确率。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种人脸识别方法，其特征在于，包括以下步骤：
采集人脸图像；
基于3D模型对齐人脸图像，生成人脸正面图像；
基于人脸正面图像，获取该人脸图像对应的生物学信息，所述生物学信息包括年龄、性别、心情。
2.根据权利要求1所述的人脸识别方法，其特征在于，所述基于3D模型对齐人脸图像，生成人脸正面图像的方法包括：
通过多个特征点检测人脸图像；
剪切所述人脸图像；
建立Delaunay triangulation；
参考标准3D模型，将标准3D模型对比到剪切之前的人脸图像，进行仿射变形，形成人脸正面图像。
3.根据权利要求2所述的人脸识别方法，其特征在于，所述通过多个特征点检测人脸图像步骤中，包括一初阶图像检测步骤，所述初级图像检测步骤为：
基于第1复数个特征点，检测人脸图像，所述第1复数个特征点包括鼻子左侧、鼻孔下侧、两瞳孔位置、上嘴唇左右和下侧。
4.根据权利要求3所述的人脸识别方法，其特征在于，所述通过多个特征点检测人脸图像步骤中，还包括一高阶图像检测步骤，所述初级图像检测步骤为：
基于第2复数个特征点，检测人脸图像，所述第2复数个特征点大于第1复数个特征点。
5.根据权利要求4所述的人脸识别方法，其特征在于，所述建立Delaunaytriangulation步骤采用演算法以三角割分的方式，把散步的第2复数个特征点作为三角形顶点并且连接成三角形，最后处理共线点。
6.根据权利要求2所述的人脸识别方法，其特征在于，所述标准3D模型来源于LFW数据集。
7.根据权利要求5所述的人脸识别方法，其特征在于，所述参考标准3D模型，将标准3D模型对比到剪切之前的人脸图像，进行仿射变形，形成人脸正面图像的步骤包括：
采用USF Human-ID数据库的中等值，通过高维LBP跟Joint Bayesian结合算法，由三角化后的人脸转换成3D形状，再三角化后的人脸变为有深度的3D三角网，将3D三角网做偏转使人脸的正面朝前，通过算法使得人脸的正脸放正，最后形成正面图形。
8.一种人脸识别系统，其特征在于，包括：
图像采集单元，由于获取人脸图像；
图像处理单元，基于3D模型对齐人脸图像，生成人脸正面图像；
图像信息反馈单元，基于人脸正面图像，获取该人脸图像对应的生物学信息，所述生物学信息包括年龄、性别、心情。
9.一种人脸识别的应用系统，用于LCD显示屏视频信息推送，其特征在于，包括：
一LCD显示屏，用于播放视频信息；
一镜头，包括权利要求8所述的人脸识别系统；
一主控板，电性连接所述LCD显示屏、镜头的图像信息反馈单元，该主控板包括一无线通信模块，该无线通信模块将镜头的图像信息反馈单元获取的生物学信息反馈给服务器，服务器根据反馈的生物学信息匹配视频信息，并经该无线通信模块接收后显示于该LCD显示屏。
10.根据权利要求9所述的人脸识别的应用系统，其特征在于，该人脸识别的应用系统安装于各公共场所的冰箱玻璃之上；该人脸识别的应用系统还包括一触摸屏，设于LCD显示屏外侧且与主控板电性连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710703910.XA CN107704800A (zh) | 2017-08-16 | 2017-08-16 | 人脸识别方法、系统及其应用系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710703910.XA CN107704800A (zh) | 2017-08-16 | 2017-08-16 | 人脸识别方法、系统及其应用系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107704800A true CN107704800A (zh) | 2018-02-16 |
Family
ID=61170929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710703910.XA Pending CN107704800A (zh) | 2017-08-16 | 2017-08-16 | 人脸识别方法、系统及其应用系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107704800A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299581A (zh) * | 2021-12-29 | 2022-04-08 | 北京奥鹏远程教育中心有限公司 | 一种人体动作展示的方法、装置、设备及可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942705A (zh) * | 2014-03-25 | 2014-07-23 | 惠州Tcl移动通信有限公司 | 一种基于人脸识别的广告分类匹配推送方法及系统 |
| CN106296307A (zh) * | 2016-08-24 | 2017-01-04 | 郑州天迈科技股份有限公司 | 基于人脸识别的电子站牌广告投放效果分析方法 |
| CN106846066A (zh) * | 2017-02-07 | 2017-06-13 | 张帆 | 智能广告投放方法和系统 |
-
2017
- 2017-08-16 CN CN201710703910.XA patent/CN107704800A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942705A (zh) * | 2014-03-25 | 2014-07-23 | 惠州Tcl移动通信有限公司 | 一种基于人脸识别的广告分类匹配推送方法及系统 |
| CN106296307A (zh) * | 2016-08-24 | 2017-01-04 | 郑州天迈科技股份有限公司 | 基于人脸识别的电子站牌广告投放效果分析方法 |
| CN106846066A (zh) * | 2017-02-07 | 2017-06-13 | 张帆 | 智能广告投放方法和系统 |
Non-Patent Citations (3)
| Title |
|---|
| FLORIAN SCHROFF ET AL: ""FaceNet: A Unified Embedding for Face Recognition and Clustering"", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| YANIV TAIGMAN ET AL: ""DeepFace: Closing the Gap to Human-Level Performance in Face Verification"", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| YI SUN ET AL: ""DeepID3: Face Recognition with Very Deep Neural Networks"", 《ARXIV:1502.00873V1》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114299581A (zh) * | 2021-12-29 | 2022-04-08 | 北京奥鹏远程教育中心有限公司 | 一种人体动作展示的方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109740466B (zh) | 广告投放策略的获取方法、计算机可读存储介质 | |
| EP3674852B1 (en) | Method and apparatus with gaze estimation | |
| US11497267B2 (en) | Systems and methods for full body measurements extraction | |
| US9317785B1 (en) | Method and system for determining ethnicity category of facial images based on multi-level primary and auxiliary classifiers | |
| CN104036546B (zh) | 一种基于自适应形变模型的任意视角人脸三维重构方法 | |
| CN111881705A (zh) | 数据处理、训练、识别方法、装置和存储介质 | |
| US20180268458A1 (en) | Automated recommendation and virtualization systems and methods for e-commerce | |
| CN107203897A (zh) | 一种产品推荐度的评价方法、装置及系统 | |
| US20140242560A1 (en) | Facial expression training using feedback from automatic facial expression recognition | |
| CN108664947A (zh) | 一种基于表情识别的疲劳驾驶预警方法 | |
| JP2018055470A (ja) | 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム | |
| CN104091173B (zh) | 一种基于网络摄像机的性别识别方法及装置 | |
| CN108830237A (zh) | 一种人脸表情的识别方法 | |
| CN110991317B (zh) | 一种基于多尺度透视感知型网络的人群计数方法 | |
| CN108537166A (zh) | 确定货架浏览量以及分析浏览量的方法和装置 | |
| JP2014211719A (ja) | 情報処理装置およびその方法 | |
| Zhang et al. | Emotion detection using Kinect 3D facial points | |
| US20230360350A1 (en) | Systems and methods for scaling using estimated facial features | |
| CN108388889A (zh) | 用于分析人脸图像的方法和装置 | |
| CN107622071B (zh) | 通过间接相关反馈在无查源下的衣服图像检索系统及方法 | |
| CN106909904B (zh) | 一种基于可学习形变场的人脸正面化方法 | |
| CN111784496A (zh) | 一种应用于银行中的实时精准营销辅助系统和方法 | |
| CN114881741A (zh) | 一种基于虚拟现实直播场景的商品推荐系统 | |
| CN103258186A (zh) | 基于图像分割的集成人脸识别方法 | |
| CN107886568B (zh) | 一种利用3D Avatar重建人脸表情的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180216 |