CN111382649A - 一种基于九宫原理的人脸图像识别的系统与方法 - Google Patents
一种基于九宫原理的人脸图像识别的系统与方法 Download PDFInfo
- Publication number
- CN111382649A CN111382649A CN201811651349.6A CN201811651349A CN111382649A CN 111382649 A CN111382649 A CN 111382649A CN 201811651349 A CN201811651349 A CN 201811651349A CN 111382649 A CN111382649 A CN 111382649A
- Authority
- CN
- China
- Prior art keywords
- image
- face image
- palace
- similarity
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims abstract description 12
- 238000010606 normalization Methods 0.000 claims abstract description 6
- 238000006243 chemical reaction Methods 0.000 claims abstract 2
- 238000012545 processing Methods 0.000 claims description 11
- 230000001815 facial effect Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 230000008676 import Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明提供了一种基于九宫原理的人脸图像识别的系统与方法。首先系统对已知库中的人脸图像集进行机器学习，每张人脸图像依次经过转化灰度、归一化、图像分宫、计算每宫的像素特征值、各宫特征值相嵌为一维的九宫向量，实现轻量化储存在移动设备中。工作时，移动设备通过摄像头采集到的视频进行实时取帧，此帧图片迅速转为一维的九宫向量，与已经储存在移动设备内的九宫向量集计算相互之间的相似度，当相似度大于预设识匹配度时，即匹配成功，完成人脸识别，系统得出识别结果。此系统对人脸图像的机器学习流程简单，不需要复杂的数学算法，即可实现计算的轻量化与数据集存储的轻量化，减少了设备成本，同时提升了识别设备的工作效率。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种基于九宫原理的人脸图像识别的系统与方法。
背景技术
随着科技的发展和现代生活的需求，人脸识别技术得到了越来越多的应用，尤其是在门禁系统、海关检查、刑侦监控等方面都成为了不可缺少的人工智能助手。人脸识别的优势在于其自然性和不被被测个体察觉的特点，相比较指纹识别、虹膜识别等都不具有自然性，人脸识别的优势有很多其他识别无法比拟的优点。但是它本身也存在许多困难。其困难之一是人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同观察角度，人脸的视觉图像也相差很大，另外人脸识别还受光照条件等多方面因素的影响；困难之二是目前正确率高的人脸识别算法都需要强大的处理器进行机器学习，这就制约了其算法的在恶劣环境下的使用。例如，在没有网络或4G的地区，如果边防同志需要用人脸识别设备进行区域监控或现场的人脸比对，那就无法连接和使用云端强大服务器进行线上人脸识别。虽然也可以装备昂贵的线下设备对人脸图像数据库进行线下学习，然后使用移动设备连接线下设备进行监控以及人脸比对等工作，但是设备的高额成本和系统使用的复杂性，都制约了人脸识别系统设备的装备率。
像当下流行的基于深度学习的图像处理方法和实时视频处理都需要强大的CPU、GPU或FPGA，小型单片机是无法快速处理或根本无法处理其复杂的算法计算。在特定的条件下，这不仅严重影响了工作进度，也降低设备使用的可能性，而且也增加了安防工作中的遇到危险的可能性。
除了深度学习之外，Matthew Turk and Alex Pentland于1991年就在期刊Journal of cognitive neuroscience就提出了特征脸的识别方法《Eigenfaces forrecognition》，此方法有一定的抗噪能力，经过PCA重现后的图像比原来带噪的图看起来更清楚些，减少了数据的冗余，使图像需要的存储空间变小。但是其训练时将所有样本作为一个整体对待，去寻找一个均方误差最小意义下的投影矩阵，而忽略了类别属性。对光照、旋转、姿态很敏感，需要加入新的训练集，对scale非常敏感，对背景较为敏感。2004年TimoAhonen, Abdenour Hadid, 和Matti Pietikainen, 提出了《Face Recognition withLocal Binary Patterns》, 其主要思路是LBP + k邻近分类进行人脸识别，优点是对光照条件变化有较强的鲁棒性，缺点是当图片分辨率较高时，特征向量维度过高，使计算变慢。某些情况下，会错过local结构，因为它不考虑中心像素带来的影响，抗噪能力较差。2006年Aly M.提出了《Face Recognition using SIFT Features》，使用SIFT特征对人脸进行识别，其优点是对旋转、尺度放缩、亮度变化保持不变性，但计算上颇为复杂，一般需要GPU的支持，不支持轻量化计算的设备。2015年，Schroff, F., Kalenichenko, D.和 Philbin,J.在大会“Proceedings of the IEEE Conference on Computer Vision and PatternRecognition”上提出了Facenet的概念：《Facenet: a unified embedding for facerecognition and clustering》，这也是目前GOOGLE官方对外提供的人脸识别服务的主算法之一，其主要思想将图像embedding 成一个向量，再通过欧氏距离来判断。优点是提出了一个新的损失函数triplet loss。该函数的输入为三张图片，两张是同一身份，第三张为不同身份的。该损失函数让相同身份间的特征距离尽可能的小，不同的尽可能的大。但缺点也很明显，三元组的可能组合非常多，收敛很慢，而且不稳定，需要采用特殊的方法选取三元组。而且即便如此，这一新的损失函数还是大大增加了计算量。此外，该论文使用了一个很大的非公开的数据集进行训练，数据量比一般的公开数据集大了3个数量级。
综上所述，如果能通过轻量化的图像计算即可完成人脸识别的机器学习和实时比对测试，那么将大幅度提人脸识别系统的性能和其监控的工作效率，并且降低设备的成本。
发明内容
本发明的目的在于提供一种基于九宫原理的人脸图像处理系统与方法，只需要轻量级计算即可实现人脸图像的机器学习与工作中的人脸实时匹配，即人脸识别。
为达到上述目的，本发明提供一种基于九宫原理的人脸图像识别的系统与方法，系统包括单片机或轻量型移动设备、摄像头与SD卡。其中SD卡或移动设备的内存里存放着待机器学习的人脸图像集合或直接存放着已经经过九宫处理的一维向量集合；工作时，单片机通过摄像头采集人脸图片，进行九宫化处理，然后与已经机器学习过的图像进行相似度计算，相似度高于预设阈值，则人脸图像匹配成功。
识别方法的流程包括人脸图像机器学习与设备工作时的人脸图像实时匹配。
人脸图像机器学习包括以下步骤：
步骤一: 系统导入人脸图像学习集；
步骤二: 对图像进行转灰度处理，把不同格式的三原色或四原色图像转为统一的灰度图；
步骤三: 对图像灰度进行归一化处理，把图像的像素值归一化到0-255范围之内，Xnew=((X-Xmin)/(Xmax-Xmin))*255，X为原图像像素值，Xmin为原图像像素值最小值，Xmax为原图像像素值最大值，Xnew为归一化之后的像素值，通过归一化即可把过亮或过暗的图像，调整成统一正常的图像；
步骤四：图像分宫，即把图像分割成n*n个部分，n为九宫参数；
步骤五: 计算每宫中的特征值；
步骤六: 把每宫的特征值互相内嵌成为一个一维向量；
步骤七：存储每张图像一维向量到单片机SD卡内或者移动设备的内存。
人脸图像匹配即人脸识别工作包括以下步骤：
步骤八: 单片机取出摄像头实时采集的人脸图像，即待匹配图像；
步骤九: 对待匹配图像进行九宫处理，形成与单片机数据库中图像同长度的一维向量；
步骤十: 计算待匹配图片与单片机数据库中图像的相似度；
步骤十一：如果相似度高于预设阈值R1，则匹配成功，存储信息为：与X人脸匹配成功，X为学习集中的人脸代号或编号；
步骤十二：如果相似度低于预设阈值R1，则分别取出待测图像与数据库图像的各自九宫一维向量中低于各自向量各项平均值的数值重新组合成一个新的一维向量，因为灰度图中灰度值0为黑色，255为白色，所以低于各自向量各项平均值的数值即为图中相对颜色较深的部分；
步骤十三：进行两个新一维向量的相似度计算；
步骤十四：如果相似度高于预设阈值R2，则匹配成功，存储信息为：与X人脸匹配成功，最终判断信息待定；因为实际工作中采集到的人脸图像与数据库中的人脸图像会有偏移或变形，所以系统对灰色较高的部分进行提取和匹配，以免出现漏判；
步骤十五：如果相似度低于预设阈值R2，则匹配不成功，系统提取数据库中的下一张人脸图像的九宫一维向量进行相似度计算。
本发明实现了轻量化的人脸图像匹配计算，实时人脸图像匹配只需要对一维向量进行相似度计算，机器学习也只需要把人脸图像转化为一维向量，降低了单片机的计算量。实际操作中，拥有16MHz晶振的普通单片机配套SD卡与摄像头即可实现本专利所述的所有工作。
附图说明
图1是本发明一种基于九宫原理的人脸图像识别的系统与方法的结构示意图。
图2是本发明一种基于九宫原理的人脸图像识别的系统与方法的人脸图像机器学习流程图。
图3是本发明一种基于九宫原理的人脸图像识别的系统与方法的人脸图像实时匹配流程图。
具体实施方案
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面将结合附图来描述本发明的具体实施方式。
图1 是一种基于九宫原理的人脸图像识别的系统与方法的结构示意图，其结构包括，单片机或轻量型移动设备、摄像头与SD卡。其中SD卡或移动设备的内存里存放着待机器学习的人脸图像集合或直接存放着已经经过九宫处理的一维向量集合；工作时，单片机通过摄像头采集人脸图片，进行九宫化处理，然后与已经机器学习过的图像进行相似度计算，相似度高于预设阈值，则人脸图像匹配成功。
图2是一种基于九宫原理的人脸图像识别的系统与方法的人脸图像机器学习的流程部分，包括以下步骤：
步骤一: 系统导入人脸图像学习集；
步骤二: 对图像进行转灰度处理，把不同格式的三原色或四原色图像转为统一的灰度图，例如将RGB三通道照片转为GRAY的单通道图片；
步骤三: 对图像灰度进行归一化处理，把图像的像素值归一化到0-255范围之内，Xnew=((X-Xmin)/(Xmax-Xmin))*255，X为原图像像素值，Xmin为原图像像素值最小值，Xmax为原图像像素值最大值，Xnew为归一化之后的像素值，通过归一化即可把过亮或过暗的图像，调整成统一正常的图像，例如原像素值为122-255,通过归一化后，Xnew=((X-122)/(255-122))*255，新像素值范围为0-255；
步骤四：图像分宫，即把图像分割成n*n个部分，n为九宫参数，例如n=15时，图像即分割成15*15=225个小部分即255宫；
步骤五: 计算每宫中特征值，即所有像素的平均值与中位数，例如255宫，计算得出255个平均值与255个中位数；
步骤六: 把每宫的平均值与中位数互相内嵌成为一个一维向量，例如，255宫共有510个平均值与中位数，组成一条大小为1*510的数列，即一维向量；
步骤七：存储每张图像一维向量到单片机数据库内。
图3是一种基于九宫原理的人脸图像识别的系统与方法的中人脸图像匹配工作部分，包括以下步骤：
步骤八: 单片机或移动设备取出摄像头实时采集的人脸图像，即待匹配图像；
步骤九: 对待匹配图像进行九宫处理，形成与单片机数据库中图像同长度的一维向量；
步骤十: 计算待匹配图片与单片机数据库中图像的相似度，即余弦相似度Similarity:
步骤十一：如果相似度高于预设阈值R1，则匹配成功，存储信息为：与X人脸匹配成功，X为学习集中的人脸代号或编号；
步骤十二：如果相似度低于预设阈值R1，则分别取出待测图像与数据库图像的各自九宫一维向量中低于各自向量各项平均值的数值重新组合成一个新的一维向量，因为灰度图中灰度值0为黑色，255为白色，所以低于各自向量各项平均值的数值即为图中相对颜色较深的部分；
步骤十三：进行两个新一维向量的余弦相似度计算；
步骤十四：如果余弦相似度高于预设阈值R2，则匹配成功，存储信息为：与X人脸匹配成功，最终判断信息待定；因为实际工作中采集到的图像与数据库中的图像会有偏移，所以系统对灰色较高的部分进行提取和匹配，以免出现漏判；
步骤十五：如果余弦相似度低于预设阈值R2，则匹配不成功，系统提取数据库中的下一张图片进行匹配。
Claims (5)
1.一种基于九宫原理的人脸图像识别的系统与方法，其特征在于，系统包括单片机或轻量型移动设备、摄像头与SD卡，其中SD卡或移动设备的内存里存放着待机器学习的人脸图像集合或直接存放着已经经过九宫处理的一维向量集合；工作时，单片机通过摄像头采集人脸图片，进行九宫化处理，然后与已经机器学习过的图像进行相似度计算，相似度高于预设阈值，则人脸图像匹配成功。
2.根据权利要求1所述的一种基于九宫原理的人脸图像识别的系统与方法，其特征在于，方法包括以下处理步骤：
步骤一: 人脸图像机器学习部分起始，系统导入人脸图像学习集；
步骤二: 对图像进行转灰度处理，把图像转为统一的灰度图；
步骤三: 对图像灰度进行归一化处理；
步骤四：图像分宫，即把图像分割成n*n个部分，n为九宫参数，属于正整数；
步骤五: 计算每宫的特征值；
步骤六: 把每宫的特征值互相内嵌成为一个一维向量；
步骤七：存储每张图像一维向量到单片机数据库内或移动设备内存中，九宫人脸图像机器学习部分结束；
步骤八: 人脸图像匹配工作起始，单片机或移动设备取出摄像头实时采集的人脸图像，即待匹配图像；
步骤九: 对待匹配图像进行九宫处理，形成与单片机数据库中图像同长度的一维向量；
步骤十: 计算待匹配图片与单片机数据库中图像的相似度；
步骤十一：如果相似度高于预设阈值R1，则匹配成功，存储信息为：与X情况匹配成功，X情况为数据库内与之匹配图像对应的情况；
步骤十二：如果相似度低于预设阈值R1，则分别取出待测图像与数据库图像的各自九宫一维向量中低于各自向量各项平均值的数值重新组合成一个新的一维向量；
步骤十三：进行两个新一维向量的相似度计算；
步骤十四：如果相似度高于预设阈值R2，则匹配成功，存储信息为：与X情况匹配成功，最终判断信息待定；
步骤十五：如果相似度低于预设阈值R2，则匹配不成功，系统提取数据库中的下一张人脸图像进行匹配。
3.根据权利要求2所述的一种基于九宫原理的人脸图像识别的方法，其特征在于，在所述步骤三中，图像的像素值归一化是把其所有的像素值归一化到0-255范围之内，Xnew=((X-Xmin)/(Xmax-Xmin))*255，X为原图像像素值，Xmin为原图像像素值最小值，Xmax为原图像像素值最大值，Xnew为归一化之后的像素值。
4.根据权利要求2所述的一种基于九宫原理的人脸图像识别的系统与方法，其特征在于，在所述步骤五中，每宫的特征值包括此宫中所有像素的平均值与中位数。
5.根据权利要求2所述的一种基于九宫原理的人脸图像识别系统与方法，其特征在于，在所述步骤十至十五中，相似度包括余弦相似度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811651349.6A CN111382649A (zh) | 2018-12-31 | 2018-12-31 | 一种基于九宫原理的人脸图像识别的系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811651349.6A CN111382649A (zh) | 2018-12-31 | 2018-12-31 | 一种基于九宫原理的人脸图像识别的系统与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111382649A true CN111382649A (zh) | 2020-07-07 |
Family
ID=71216827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811651349.6A Pending CN111382649A (zh) | 2018-12-31 | 2018-12-31 | 一种基于九宫原理的人脸图像识别的系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111382649A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150312040A1 (en) * | 2014-04-24 | 2015-10-29 | Smart Electronic Industrial (Dong Guan) Co., Ltd. | Password verifying device and method |
| CN105184261A (zh) * | 2015-09-11 | 2015-12-23 | 贵州华城楼宇科技有限公司 | 基于大数据处理的快速视频人脸识别方法 |
| CN108563999A (zh) * | 2018-03-19 | 2018-09-21 | 特斯联（北京）科技有限公司 | 一种面向低质量视频图像的人物身份识别方法与装置 |
-
2018
- 2018-12-31 CN CN201811651349.6A patent/CN111382649A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150312040A1 (en) * | 2014-04-24 | 2015-10-29 | Smart Electronic Industrial (Dong Guan) Co., Ltd. | Password verifying device and method |
| CN105184261A (zh) * | 2015-09-11 | 2015-12-23 | 贵州华城楼宇科技有限公司 | 基于大数据处理的快速视频人脸识别方法 |
| CN108563999A (zh) * | 2018-03-19 | 2018-09-21 | 特斯联（北京）科技有限公司 | 一种面向低质量视频图像的人物身份识别方法与装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8805018B2 (en) | Method of detecting facial attributes | |
| KR102138657B1 (ko) | 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법 | |
| Rahimpour et al. | Person re-identification using visual attention | |
| Gautam et al. | Video analytics-based intelligent surveillance system for smart buildings | |
| Ahamed et al. | HOG-CNN based real time face recognition | |
| Samal et al. | Human face detection using silhouettes | |
| Amaro et al. | Evaluation of machine learning techniques for face detection and recognition | |
| Lin et al. | Face detection based on skin color segmentation and neural network | |
| Kumar et al. | Face Recognition Attendance System Using Local Binary Pattern Algorithm | |
| CN115731574A (zh) | 基于中间模态的参数共享和特征学习的跨模态行人重识别方法 | |
| Rani et al. | Face recognition using principal component analysis | |
| Fung-Lung et al. | An image acquisition method for face recognition and implementation of an automatic attendance system for events | |
| Wang et al. | Combine image quality fusion and illumination compensation for video-based face recognition | |
| Tao et al. | Design of face recognition system based on convolutional neural network | |
| CN110633631B (zh) | 一种基于部件幂集和多尺度特征的行人重识别方法 | |
| CN111382649A (zh) | 一种基于九宫原理的人脸图像识别的系统与方法 | |
| Selvi et al. | FPGA implementation of a face recognition system | |
| Seal et al. | Thermal human face recognition based on GappyPCA | |
| Pavlović et al. | Comparison of feature descriptors for visible and thermal face recognition | |
| Qiu et al. | Face recognition based on principal component analysis (PCA) | |
| Suvorov et al. | Mathematical model of the biometric iris recognition system | |
| Banerjee et al. | Real-Time Face Recognition System with Enhanced Security Features using Deep Learning | |
| Shreedevi et al. | An improved local binary pattern algorithm for face recognition applications | |
| CN113128289B (zh) | 人脸识别的特征提取计算方法及设备 | |
| Sriharsha et al. | A single tier homogeneous visual sensor network for real time face recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240514 Address after: Unit 304, Building 1-4, Qishanyuan, Shangjie Town, Minhou County, Fuzhou City, Fujian Province, 350000 Applicant after: Huang Jingwen Country or region after: China Address before: 210000 no.15-1, huilongqiao, Gulou District, Nanjing City, Jiangsu Province Applicant before: NANJING TUOBU INTELLIGENT TECHNOLOGY CO.,LTD. Country or region before: China |