CN111652119B - 一种结合位置信息的人脸特征提取方法 - Google Patents
一种结合位置信息的人脸特征提取方法 Download PDFInfo
- Publication number
- CN111652119B CN111652119B CN202010481162.7A CN202010481162A CN111652119B CN 111652119 B CN111652119 B CN 111652119B CN 202010481162 A CN202010481162 A CN 202010481162A CN 111652119 B CN111652119 B CN 111652119B
- Authority
- CN
- China
- Prior art keywords
- face
- feature
- group
- region
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 27
- 230000001815 facial effect Effects 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 230000002159 abnormal effect Effects 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 208000029152 Small face Diseases 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种结合位置信息的人脸特征提取方法，属于人脸识别技术领域，尤其涉及一种提高人脸识别准确度的方法。本发明是在人脸特征提取方法的基础上，增加了人脸位置的计算维度，先根据位置将人脸进行聚类处理；然后再通过族群内部的相似度计算，清除掉异常的特征数据；最终筛选出高质量的人脸特征数据。通过本发明，即使在图像噪音较多、人脸部分被遮挡、人脸未正对摄像头、人脸离摄像头较远等情况下，亦可提取到高质量的人脸特征，以提高人脸识别的准确度。
Description
技术领域
本发明属于人脸识别技术领域，尤其涉及一种提高人脸识别准确度的方法。
背景技术
人脸识别是一种依据人的面部特征(如统计或几何特征等)，自动进行身份识别的一种生物识别技术。目前通用的解决方案是：首先检测图像中的人脸并提取特征数据，然后将提取到的人脸特征数据和特征库中存贮的特征模板进行匹配，从而得到一个相似度，最后将相似度与预先设定的阈值进行比较，如果相似度大于该阈值则表示识别成功。由此可见，能否提取到高质量的人脸特征数据直接影响到人脸识别的准确度。
人脸特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征和人脸图像代数特征等，特征提取就是针对人脸的某些特征进行的，它是对人脸进行特征建模的过程。特征提取过程包括：人脸采集(采集原始图像)、人脸检测(定位人脸的位置和大小)、图像预处理(图像矫正、噪声过滤等)以及特征提取(识别关键点并生成特征向量)。目前，人脸特征提取主要有传统特征的提取算法(SIFT、LBP、HOG等)和基于深度学习的提取方法(facenet、Sphereface、Cosface等)两种。
目前，人脸特征提取的相关算法精度已经达到了很高的水准，在特定场景下，可以提取到高质量的人脸特征数据。但是，人脸特征的提取对环境、背景、光线敏感度等要求比较高，人脸图片的质量很大程度上决定了特征数据质量，尤其是在人脸部分被遮挡、人脸未正对摄像头(侧脸)、人脸离摄像头较远(小脸)、图片模糊以及像素点不足等情况下，使用上述方法无法提取到高质量的人脸特征数据。在通常情况下，使用上述特征提取方法：对于特写或近景图片，干扰较少，可以提取到高质量的人脸特征数据；对于全景或远景图片，干扰较多，很难提取到高质量的人脸特征数据。
发明内容
本发明所要解决的技术问题是：针对背景技术的缺陷，提出一种结合位置信息的人脸特征提取方法，首先通过人脸区域的位置对人脸进行聚类，然后对提取到的人脸特征数据进行筛选，从而提取出高质量的人脸特征，以提高人脸识别的准确度。
本发明为解决上述技术问题采用以下技术方案：
本发明提出一种结合位置信息的人脸特征提取方法，包括：
步骤1、从摄像头提取原始图像；
步骤2、扫描原始图像，检测出图像中所有的人脸，得到人脸信息数组；
步骤3、过滤掉存在人脸概率较小的区域；即：
遍历人脸信息数组，检查每个区域存在人脸的概率P，如果P值大于或等于指定阈值则进行步骤4处理，否则，该区域不做处理；
步骤4、将人脸区域从原始图片中截取出来，并提取特征向量；
步骤5、根据位置，对人脸进行聚类处理，将其划分到特定的族群，具体为：根据人脸位置坐标，在人脸信息特征库中查找邻近的人脸族群；如果找到邻近族群，则将当前人脸特征添加到该族群下；如果未能找到邻近族群，则新创建一个族群，并把当前人脸特征添加到该族群下；
步骤6、人脸特征数据优化，清除掉异常的特征数据；
检查该族群下人脸特征数量是否超过设定的阈值，如果没超过阈值，直接进行步骤7；否则，先进行清理，然后再进行步骤7；
步骤7：将当前人脸信息增加到人脸信息特征库中。
进一步的，本发明所提出的人脸特征提取方法，步骤2中所述人脸信息数组是一个二维数组，用来表示原始图片中可能存在人脸的区域以及该区域存在人脸的概率，对于每个人脸信息用一个数组[X0,Y0,X1,Y1,P]来表示，其中X0，Y0分别表示人脸区域左上角X和Y坐标，X1,Y1分别表示人脸区域右下角X和Y坐标，P表示这个区域有人脸的概率。
进一步的，本发明所提出的人脸特征提取方法，步骤4中所述特征向量表示为一个数组：[F1,F2,F3,F4,F5,F6,……,Fn]，对于在原始图像中检测到的每个人脸，得到一个人脸信息数组和一个特征向量数组，分别为：[X0,Y0,X1,Y1,P]和[F1,F2,F3,F4,F5,F6,……,Fn]。
进一步的，本发明所提出的人脸特征提取方法，在步骤5中，假设：当前人脸区域为[X00,Y00,X01,Y01]；人脸信息特征库如下所示：
其中，[Xi,Yi]为人脸中心坐标，Ci为该人脸对应的族群标识；
则人脸位置聚类过程包括以下步骤：
(1)计算人脸中心点坐标：
X＝(X00+X01)/2，
Y＝(Y00+Y01)/2；
(2)分别计算当前人脸中心点与人脸信息特征库中的人脸中心点的欧式距离：
取所有距离的最小值：Dmin＝Min(Di)
找到邻近人脸族群标识C，设最远距离参数为Dmax；
当Dmin<Dmax时，族群标识C为Di取最小值时人脸信息特征库中对应记录的族群Ci；
当Dmin>＝Dmax时，族群标识C为新生成的族群标识。
进一步的，本发明所提出的人脸特征提取方法，步骤6中，所述特征清理方法为：假设，当前人脸特征向量为：[F01,F02,F03,F04,F05,F06,……,F0n]；人脸信息特征库中同一位置族群下的所有人脸特征为：
人脸特征数据优化包括以下步骤：
(1)分别计算当前人脸特征和信息特征库中的特征的欧式距离，
(2)计算Di的最大值Dmax＝Max(Di)，
删除掉当Di取最大值时，信息特征库中对应的记录。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
本发明是在人脸特征提取方法的基础上，增加了人脸位置的计算维度，先根据位置将人脸进行聚类处理；然后再通过族群内部的相似度计算，清除掉异常的特征数据；最终筛选出高质量的人脸特征数据。
通过本发明，即使在图像噪音较多、人脸部分被遮挡、人脸未正对摄像头(侧脸)、人脸离摄像头较远(小脸)等情况下，亦可提取到高质量的人脸特征。
附图说明
图1是摄像头安装示意图。
图2是分析系统框架图。
图3是截取后的人脸子图。
图4是截取后的人脸特征值数据。
图5是同一区域聚类下特征数组。
图6是效果对比图。
图7是实施流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本发明提供一种结合位置信息的人脸特征提取方法，参考图7所示，具体包括以下几个步骤：
步骤1：从摄像头提取原始图像；
打开摄像头，并从摄像头读取视频图像。从摄像头中读取到的原始图像通常为全景图像，可能包括多个人脸、物体以及背景等信息。
步骤2：扫描原始图像，检测出图像中所有的人脸，得到人脸信息数组；
人脸信息数组是一个二维数组，用来表示原始图片中可能存在人脸的区域以及该区域存在人脸的概率，对于每个人脸信息可以用一个数组[X0,Y0,X1,Y1,P]来表示，其中X0，Y0分别表示人脸区域左上角X和Y坐标，X1,Y1分别表示人脸区域右下角X和Y坐标，P表示这个区域有人脸的概率。
原始图像可能包含多个人脸，本步骤得到的人脸信息数组是一个二维数组，例如，以下数组表示原始图像中共有5个人脸：
步骤3：过滤掉存在人脸概率较小的区域；
遍历人脸信息数组(由步骤2生成)，检查每个区域存在人脸的概率P，如果P值大于或等于指定阈值则进行步骤4处理，否则，该区域不做处理。
步骤4：将人脸区域从原始图片中截取出来，并提取特征向量；
特征向量也可以表示为一个数组，形如[F1,F2,F3,F4,F5,F6,……,Fn]格式。至此，对于在原始图像中检测到的每个人脸，我们可以得到一个人脸信息数组和一个特征向量数组，分别为：[X0,Y0,X1,Y1,P]和[F1,F2,F3,F4,F5,F6,……,Fn]。
步骤5：根据位置，对人脸进行聚类处理，将其划分到特定的族群；
根据人脸位置坐标，在人脸信息特征库中查找邻近的人脸族群：如果找到邻近族群，则将当前人脸特征添加到该族群下；如果未能找到邻近族群，则新创建一个族群，并把当前人脸特征添加到该族群下；
假设：当前人脸区域为[X00,Y00,X01,Y01](X00,Y00为人脸区域左上角的坐标，X01,Y01为人脸区域右下角的坐标)；人脸信息特征库如下所示([Xi,Yi]为人脸中心坐标，Ci为该人脸对应的族群标识)：
[[Xn,Yn],CN]
]
人脸位置聚类过程包括以下几个步骤：
1.计算人脸中心点坐标：
X＝(X00+X01)/2，
Y＝(Y00+Y01)/2。
2.分别计算当前人脸中心点与人脸信息特征库中的人脸中心点的欧式距离
取所有距离的最小值：Dmin＝Min(Di)。
3.找到邻近人脸族群标识C.(最远距离参数为Dmax)。
当Dmin<Dmax时,族群标识C为Di取最小值时人脸信息特征库中对应记录的族群Ci；当Dmin>＝Dmax时,族群标识C为新生成的族群标识。
步骤6:人脸特征数据优化，清除掉异常的特征数据；
检查该族群下人脸特征数量是否超过设定的阈值，如果没超过阈值，直接进行步骤7；否则，先进行清理，然后再进行步骤7，下面是特征清理方法：
假设，当前人脸特征向量为：[F01,F02,F03,F04,F05,F06,……,F0n]；人脸信息特征库中同一位置族群下的所有人脸特征为：
人脸特征数据优化包括以下几个步骤：
1.分别计算当前人脸特征和信息特征库中的特征的欧式距离：
2.计算Di的最大值Dmax＝Max(Di)
3.删除掉当Di取最大值时，信息特征库中对应的记录。
步骤7：将当前人脸信息增加到人脸信息特征库中。
经过以上的操作后，原始图像中的每张人脸至少包括以下信息：
(1)、当前人脸在原始图像中的位置区域和坐标；(2)、当前人脸所在的族群标识；(3)、当前人脸的特征向量；最后将这些信息增加到人脸信息特征库中。
在经过以上的7个步骤操作后，人脸特征会被划分在不同的族群里,这种方法可有效提高人脸特征的质量，因为：
1、随着摄像头采集图片数量的增加，低质量的人脸特征会被逐渐清理出族群。
2、每个族群保存多个脸部特征数据，这些特征可认为是来自同一张人脸。在做特征比对时，每个特征都可以和模版中的特征进行比对，从而得到一组相似度，通过对相似度的进一步筛选，可降低异常数据对比对结果的干扰。
以下将结合某某中学课堂教育行为分析系统(以下简称行为分析系统)和附图来详细说明本发明的技术方案。(行为分析系统是通过分析上课的录像，对学生的上课状态进行评估的系统。在该系统中，学生的身份认证模块使用了本发明提出的方法)。
以下具体介绍该方案的实施步骤。
步骤1：在班级教室的黑板上方安装高清网络摄像头，用来采集所有的学生图像。
采用全景摄像头，安装在教室黑板的正上方，要求摄像头可以覆盖到教室的全部学生，摄像头安装示意图如图1所示。
步骤2：通过学校内部网络，将采集到的图像传给服务器进行处理。
图像处理程序部署在学校的服务器上，教室里的摄像头通过网络将采集到的图片传输至机房的服务器，系统框架如图2所示。
步骤3：服务器在接受摄像头传过来的数据后，扫描图像，进行人脸检测。
服务器读取来自每个摄像头的原始图像，(以下步骤均以教室1的图像为例)；使用MTCNN(多任务卷机神经网络)，对原始图像进行扫描，找到图像中可能存在人脸的区域，并把这些区域用矩形框标记。
通过对图1进行人脸扫描后，一共检测到27个区域可能存在人脸。下面的是扫描的详细结果，每条记录对应一个可能存在人脸的区域，格式为[X0,Y0,X1,Y1,P]，其中X0,Y0表示矩形左上角X,Y坐标，X1,Y1表示矩形右下角X，Y坐标，P表示可能存在人脸的概率)
[1339,1021,1403,1094,0.999983549118042]
[2483,982,2547,1060,0.9999712705612183]
[1041,653,1099,724,0.999954342842102]
[2534,454,2570,499,0.999948263168335]
[2636,551,2680,602,0.9999254941940308]
[2294,625,2341,685,0.9999148845672607]
[1877,613,1930,681,0.9999109506607056]
[1478,592,1532,657,0.9997970461845398]
[3069,1006,3130,1082,0.999775230884552]
[2878,807,2930,873,0.9997472167015076]
[1834,735,1894,805,0.99969482421875]
[1140,504,1182,557,0.9996254444122314]
[2724,640,2767,696,0.9995890259742737]
[1331,1424,1413,1514,0.9994617104530334]
[1397,744,1449,804,0.9990901947021484]
[2273,527,2312,571,0.9990612864494324]
[2737,1283,2816,1369,0.998982846736908]
[3266,1281,3327,1357,0.9984738230705261]
[627,688,660,733,0.9978941082954407]
[713,1432,782,1507,0.9977377653121948]
[850,1115,916,1185,0.9955116510391235]
[1493,493,1536,548,0.9950749278068542]
[404,904,456,956,0.9934995174407959]
[305,993,351,1063,0.9547767043113708]
[708,1429,766,1494,0.9470680356025696]
[2022,1371,2104,1472,0.946592390537262]
[745,564,793,614,0.9167336821556091]
步骤4：过滤掉存在人脸概率较小的区域(这里将概率阈值参数设为为0.96)。
过滤掉存在人脸的概率小于0.96的区域，还剩下23个人脸区域。
过滤后的人脸区域数组如下：
[1339,1021,1403,1094,0.999983549118042]
[2483,982,2547,1060,0.9999712705612183]
[1041,653,1099,724,0.999954342842102]
[2534,454,2570,499,0.999948263168335]
[2636,551,2680,602,0.9999254941940308]
[2294,625,2341,685,0.9999148845672607]
[1877,613,1930,681,0.9999109506607056]
[1478,592,1532,657,0.9997970461845398]
[3069,1006,3130,1082,0.999775230884552]
[2878,807,2930,873,0.9997472167015076]
[1834,735,1894,805,0.99969482421875]
[1140,504,1182,557,0.9996254444122314]
[2724,640,2767,696,0.9995890259742737]
[1331,1424,1413,1514,0.9994617104530334]
[1397,744,1449,804,0.9990901947021484]
[2273,527,2312,571,0.9990612864494324]
[2737,1283,2816,1369,0.998982846736908]
[3266,1281,3327,1357,0.9984738230705261]
[627,688,660,733,0.9978941082954407]
[713,1432,782,1507,0.9977377653121948]
[850,1115,916,1185,0.9955116510391235]
[1493,493,1536,548,0.9950749278068542]
[404,904,456,956,0.9934995174407959]
步骤5:从原图中截取人脸区域并提取特征；
将过滤后的人脸区域从原图中截取出来，一共有23个人脸子图，如图3所示。
使用用facenet特征提取法，分别提取上述的23个子图的人脸特征，得到包含23个特征值的特征数组，(每个特征为一个512维的向量)，如图4所示。
步骤6：根据位置，对人脸进行聚类处理。
通过项目前期的数据采集，在建立的人脸信息特征库中已经有了18749个人脸的特征；这些特征分布在107个聚类中，区域中心坐标与聚类编号如下表所示：
| 区域中心X坐标 | 区域中心Y坐标 | 位置聚类编号 |
| 1220 | 512 | 1200-487-1240-537 |
| 2435 | 803 | 2391-799-2455-867 |
| 2287 | 550 | 2270-528-2305-573 |
| 1449 | 626 | 1421-598-1478-654 |
| 930 | 901 | 963-871-1017-924 |
| 1499 | 539 | 1477-545-1519-597 |
| 1371 | 1056 | 1335-1067-1403-1140 |
| … | … | … |
| 1867 | 766 | 1834-752-1896-818 |
| 1678 | 994 | 1647-957-1710-1032 |
| 1493 | 534 | 1477-545-1519-597 |
| 2334 | 635 | 2302-586-2348-646 |
| 1462 | 651 | 1421-598-1478-654 |
| 1915 | 773 | 1834-752-1896-818 |
| i2616 | 556 | 2590-534-2630-587 |
| 1965 | 1019 | 1900-975-1963-1043 |
| 885 | 1129 | 866-1077-919-1126 |
| 1384 | 1099 | 1335-1067-1403-1140 |
表1
遍历由步骤4生成的人脸区域数组，对每张人脸执行以下操作：
1.计算人脸中心点坐标.(人脸区域矩形[X00Y00,X01 Y01])
X＝(X00+X01)/2，
Y＝(Y00+Y01)/2；
2.分别计算当前人脸中心点与人脸信息特征库中的人脸中心点的欧式距离
(Xi,Yi为表1中的X，Y值)
并取所有距离的最小值：Dmin＝Min(Di)。
3.找到邻近人脸族群标识C.
(假设最远距离参数为Dmax，这里动态指定Dmax)，计算方法如下:
当Dmin<Dmax时,族群标识C为Di取最小值时人脸信息特征库对应的族群Ci；
当Dmin>＝Dmax时,族群标识C为新生成的族群标识；
对图像中的每张人脸区域都进行以上计算，为每个人脸区域都找到邻近点和对应的区域聚类编号，如下表所示：
| 人脸区域 | 邻近点 | 最小距离 | 区域聚类编号 |
| [1339,1021,1403,1094] | (1371,1057) | 0.000000 | 1335-1067-1403-1140 |
| [2483,982,2547,1060] | (2515,1020) | 1.000000 | 2471-999-2533-1078 |
| [1041,653,1099,724] | (1070,689) | 1.000000 | 1041-645-1092-705 |
| [2534,454,2570,499] | (2551,476) | 1.000000 | 2507-463-2537-502 |
| [2636,551,2680,602] | (2653,575) | 5.099020 | 2590-534-2630-587 |
| [2294,625,2341,685] | (2317,655) | 0.000000 | 2302-586-2348-646 |
| [1877,613,1930,681] | (1903,647) | 0.000000 | 1857-625-1907-673 |
| [1478,592,1532,657] | (1505,624) | 0.000000 | 1421-598-1478-654 |
| [3069,1006,3130,1082] | (3100,1044) | 1.000000 | 3005-973-3063-1038 |
| [2878,807,2930,873] | (2904,840) | 0.000000 | 2850-792-2901-855 |
| [1834,735,1894,805] | (1864,769) | 1.000000 | 1834-752-1896-818 |
| [1140,504,1182,557] | (1161,530) | 0.000000 | 1116-537-1160-591 |
| [2724,640,2767,696] | (2744,665) | 3.162278 | 2709-630-2753-687 |
| [1331,1424,1413,1514] | (1372,1469) | 0.000000 | 1319-1403-1409-1506 |
| [1397,744,1449,804] | (1424,774) | 1.000000 | 1435-766-1493-831 |
| [2273,527,2312,571] | (2292,548) | 1.000000 | 2270-528-2305-573 |
| [2737,1283,2816,1369] | (2776,1326) | 0.000000 | 2723-1291-2809-1402 |
| [3266,1281,3327,1357] | (3296,1319) | 0.000000 | 3263-1285-3324-1360 |
| [627,688,660,733] | (642,712) | 2.236068 | 630-647-674-701 |
| [713,1432,782,1507] | (747,1469) | 0.000000 | 697-1451-761-1524 |
| [850,1115,916,1185] | (884,1151) | 1.414214 | 866-1077-919-1126 |
| [1493,493,1536,548] | (1513,520) | 1.000000 | 1480-493-1515-534 |
| [404,904,456,956] | (430,930) | 0.000000 | 433-880-490-938 |
表2
步骤7：人脸特征数据优化，清除掉异常的特征；
遍历上述表2，分别对表2中的每个区域聚类编号进行以下操作(操作时设置特征数量阈值为100，即同一区域聚类下的人脸特征数量小于100)：
从人脸信息特征库中读取该聚类编号下的所有特征，得到特征数组F1，当特征数组F1的数组长度小于100时候，不执行以下操作，直接执行步骤8。F1如图5所示。
1.从步骤5生成的特征数组(如图4所示)中取当前图像中的人脸特征F0，再计算当前人脸特征和信息特征库中的特征的欧式距离.
2.删除当Di取最大值时，信息特征库中对应的记录。
经过上述操作后，在本例子中，由于每个区域聚类下的记录数均超过100，所以人脸信息特征库(表1)有23条记录被清理掉，还剩下18749-23＝18726条记录。
步骤8：更新学生的人脸特征数据库(如表1所示)
遍历由步骤4生成的人脸区域数组，对每张人脸执行以下操作：
801、取当前人脸的位置区域，记做R；
802、从步骤5生成的特征数组(如图4所示)中当前人脸特征向量，记做F；
803、从步骤6生成聚类编号表(如表2所示)中取当前人脸所在的族群标识，记做C；
804、将上述的R，F，C增加到人脸信息特征库中(表1)。
经过上述操作后，在本例子中，会有23条记录被添加到人脸信息特征库中(表1)中，其最终记录总数为：18726+23＝18749条记录。
人脸特征提取效果比对
实验方法：
在原始图片中，随机选取104个人脸照片，分别使用两种方法提取人脸特征和计算相似度(Method-A和Method-B)：
Method-A:直接使用facenet提取特征并计算其与模版中特征的相似度。
Method-B:使用本发明的方法提取特征并计算其与模版中特征的相似度。
实验结果：
实验结果如图6所示，其中：
1.图表的横轴(X轴)表示每个人脸编号，纵轴(Y轴)表示相似度。
2.蓝颜色曲线表示直接使用facenet提取特征，再计算到相似度(Method-A)。
3.粉红色曲线表示使用本发明的方法提取特征，再计算到的相似度(Method-B)。
实验总结：
从图6可以看出：在使用相同模版特征和相似度计算方法情况下，使用Method-A方法得到的结果波动较大，而使用Method-B得到的结果波动较小，更稳定，更有利于特征比对时的相似度阈值设定。
由此可见，采用本发明的方法可提取到更高质量的人脸特征。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (3)
1.一种结合位置信息的人脸特征提取方法，其特征在于：具体包括以下步骤：
步骤1、从摄像头提取原始图像；
步骤2、扫描原始图像，检测出图像中所有的人脸，得到人脸信息数组；
步骤3、过滤掉存在人脸概率较小的区域，即：
遍历人脸信息数组，检查每个区域存在人脸的概率P，如果P值大于或等于指定阈值则进行步骤4处理，否则，该区域不做处理；
步骤4、将人脸所在的区域从原始图片中截取出来，并提取特征向量；
步骤5、根据位置，对人脸进行聚类处理，将其划分到特定的族群，具体为：根据人脸位置坐标，在人脸信息特征库中查找邻近的人脸族群；当查找结果为存在邻近的人脸族群，则将当前人脸特征添加到该人脸族群下；当查找结果为空，则新创建一个人脸族群，并把当前人脸特征添加到该人脸族群下；
步骤6、人脸特征数据优化，清除异常的特征数据；即：
检查该族群下人脸特征数量是否超过设定的阈值，当结果为否，直接进行步骤7；当结果为是，则先进行清理，然后再进行步骤7；
步骤7：将当前人脸信息增加到人脸信息特征库中；
其中，在步骤5中，假设：当前人脸区域为[X00,Y00,X01,Y01]；人脸信息特征库如下所示：
[
[[X1,Y1],C1],
[[X2,Y2],C2],
[[X3,Y3],C3],
[[X4,Y4],C4],
[[X5,Y5],C5],
………
[[Xm,Ym],Cm]
]
其中，[Xi,Yi]为人脸中心坐标，Ci为该人脸对应的族群标识；i＝1,2,...m，m代表所检测到人脸的数量；
则人脸位置聚类过程包括以下步骤：
(1)计算人脸中心点坐标：
X＝(X00+X01)/2，
Y＝(Y00+Y01)/2；
(2)分别计算当前人脸中心点与人脸信息特征库中的人脸中心点的欧式距离：
取所有距离的最小值：Dmin＝Min(Di)，1<＝i<＝N；
找到邻近人脸族群标识C，设最远距离参数为Dmax；
当Dmin<Dmax时，族群标识C为Di取最小值时人脸信息特征库中对应记录的族群Ci；
当Dmin>＝Dmax时，族群标识C为新生成的族群标识；
在步骤6中，所述特征清理方法为：假设，当前人脸特征向量为：[F01,F02,F03,F04,F05,F06,……..,F0n]；人脸信息特征库中同一位置族群下的所有人脸特征为：
[
[F11,F12,F13,F14,F15,F16,……,F1n],
[F21,F22,F23,F204,F25,F26,……,F2n],
[F31,F32,F33,F34,F35,F36,……,F3n],
[F41,F42,F43,F44,F45,F46,……,F4n],
[F51,F52,F53,F54,F55,F56,……,F5n]
………
[Fg1,Fg2,Fg3,Fg4,Fg5,Fg6,……,Fgn]
]
g表示同一位置族群下的所有人脸数量；
则人脸特征数据优化包括以下步骤：
A、分别计算当前人脸特征和信息特征库中的特征的欧式距离：
B、计算Di的最大值Dmax＝Max(Di)，0<＝i<＝n,n为特征向量维数；
删除掉当Di取最大值时，信息特征库中对应的记录。
2.根据权利要求1所述的人脸特征提取方法，其特征在于，步骤2中所述人脸信息数组是一个二维数组，用来表示原始图片中可能存在人脸的区域以及该区域存在人脸的概率，对于每个人脸信息用一个数组[X0,Y0,X1,Y1,P]来表示，其中X0，Y0分别表示人脸区域左上角X和Y坐标，X1,Y1分别表示人脸区域右下角X和Y坐标，P表示该区域有人脸的概率。
3.根据权利要求2所述的人脸特征提取方法，其特征在于，步骤4中所述特征向量表示为一个数组：[F1,F2,F3,F4,F5,F6,……,Fn]，对于在原始图像中检测到的每个人脸，得到一个人脸信息数组和一个特征向量数组，分别为：[X0,Y0,X1,Y1,P]和[F1,F2,F3,F4,F5,F6,……,Fn]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010481162.7A CN111652119B (zh) | 2020-05-31 | 2020-05-31 | 一种结合位置信息的人脸特征提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010481162.7A CN111652119B (zh) | 2020-05-31 | 2020-05-31 | 一种结合位置信息的人脸特征提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111652119A CN111652119A (zh) | 2020-09-11 |
| CN111652119B true CN111652119B (zh) | 2023-11-03 |
Family
ID=72349820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010481162.7A Active CN111652119B (zh) | 2020-05-31 | 2020-05-31 | 一种结合位置信息的人脸特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652119B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733732A (zh) * | 2021-01-12 | 2021-04-30 | 深圳市飞瑞斯科技有限公司 | 一种基于特征分析的人脸检测与识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416336A (zh) * | 2018-04-18 | 2018-08-17 | 特斯联（北京）科技有限公司 | 一种智慧社区人脸识别的方法和系统 |
| CN108460356A (zh) * | 2018-03-13 | 2018-08-28 | 上海海事大学 | 一种基于监控系统的人脸图像自动处理系统 |
| CN109086739A (zh) * | 2018-08-23 | 2018-12-25 | 成都睿码科技有限责任公司 | 一种无人脸数据训练的人脸识别方法和系统 |
| CN109657609A (zh) * | 2018-12-19 | 2019-04-19 | 新大陆数字技术股份有限公司 | 人脸识别方法及系统 |
-
2020
- 2020-05-31 CN CN202010481162.7A patent/CN111652119B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460356A (zh) * | 2018-03-13 | 2018-08-28 | 上海海事大学 | 一种基于监控系统的人脸图像自动处理系统 |
| CN108416336A (zh) * | 2018-04-18 | 2018-08-17 | 特斯联（北京）科技有限公司 | 一种智慧社区人脸识别的方法和系统 |
| CN109086739A (zh) * | 2018-08-23 | 2018-12-25 | 成都睿码科技有限责任公司 | 一种无人脸数据训练的人脸识别方法和系统 |
| CN109657609A (zh) * | 2018-12-19 | 2019-04-19 | 新大陆数字技术股份有限公司 | 人脸识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111652119A (zh) | 2020-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2545492B1 (en) | Document page segmentation in optical character recognition | |
| US9031305B2 (en) | Image classification apparatus with first and second feature extraction units and recording medium having program recorded therein | |
| CN105740780B (zh) | 人脸活体检测的方法和装置 | |
| CN112686812B (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
| US20040151371A1 (en) | Method for face orientation determination in digital color images | |
| JP2008171417A (ja) | 画像内の略矩形のオブジェクトを検出する方法、画像内のバックグラウンド色を推定する方法、コンピュータ可読媒体、画像内の略矩形のオブジェクトを検出する装置、および画像内のバックグラウンド色を推定する装置 | |
| Alkoffash et al. | A survey of digital image processing techniques in character recognition | |
| CN111353961B (zh) | 一种文档曲面校正方法及装置 | |
| CN108805076A (zh) | 环境影响评估报告书表格文字的提取方法及系统 | |
| CN111625687B (zh) | 一种在媒资视频库中通过人脸快速搜索人物的方法及系统 | |
| CN110032983A (zh) | 一种基于orb特征提取和flann快速匹配的轨迹识别方法 | |
| CN112446262A (zh) | 文本分析方法、装置、终端和计算机可读存储介质 | |
| CN112686258A (zh) | 体检报告信息结构化方法、装置、可读存储介质和终端 | |
| CN111652119B (zh) | 一种结合位置信息的人脸特征提取方法 | |
| CN111814576A (zh) | 一种基于深度学习的购物小票图片识别方法 | |
| WO2022121021A1 (zh) | 一种身份证号码检测方法、装置、可读存储介质和终端 | |
| CN107368826A (zh) | 用于文本检测的方法和装置 | |
| CN116503622A (zh) | 基于计算机视觉图像的数据采集读取方法 | |
| JP4967045B2 (ja) | 背景判別装置、方法及びプログラム | |
| CN115018886A (zh) | 运动轨迹识别方法、装置、设备及介质 | |
| CN111612045B (zh) | 一种获取目标检测数据集的通用方法 | |
| CN115457581A (zh) | 表格提取方法、装置及计算机设备 | |
| Krishna et al. | Digital image processing techniques in character recognition-a survey | |
| CN114445788A (zh) | 车辆停放检测方法、装置、终端设备和可读存储介质 | |
| EP3966730A2 (en) | Computer implemented method for segmenting a binarized document |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |