CN114241559A - 人脸识别方法、装置、设备及存储介质 - Google Patents
人脸识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114241559A CN114241559A CN202111541674.9A CN202111541674A CN114241559A CN 114241559 A CN114241559 A CN 114241559A CN 202111541674 A CN202111541674 A CN 202111541674A CN 114241559 A CN114241559 A CN 114241559A
- Authority
- CN
- China
- Prior art keywords
- face image
- local
- feature
- determining
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000005070 sampling Methods 0.000 claims description 38
- 230000004927 fusion Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000009467 reduction Effects 0.000 description 9
- 210000000887 face Anatomy 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种人脸识别方法、装置、设备及存储介质，所述方法包括：获取包括待检测对象的目标人脸图像；根据所述目标人脸图像，确定局部二值特征和全局深度特征；根据所述局部二值特征和所述全局深度特征，确定所述目标人脸图像与候选人脸图像的匹配度；根据所述匹配度，确定所述待检测对象与所述候选人脸图像所属的候选对象是否是同一个身份；通过上述技术方案，提供了一种更有效的人脸特征表示方法，提高了人脸识别的准确率。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种人脸识别方法、装置、设备及存储介质。
背景技术
人脸识别作为一种非接触式的身份认证技术，目前已经成为人工智能与模式识别领域的研究热点并得到了广泛的工程应用。尤其是在智慧安防和人脸支付等领域，其带来的便捷性和准确性充分体现了应用价值。然而，如何提取有效人脸特征，是人脸识别相关应用的关键技术难点。
目前，传统的人脸识别方法，对于一些面部有大面积遮挡、面部有夸张表情以及面部有较大偏转的人脸，由于在多种姿态下或者丰富的面部表情下无法有效呈现出差异性的特征，导致人脸识别结果一般较差。
因此，针对现有技术中存在的问题，亟待进行改善。
发明内容
本申请提供一种人脸识别方法、装置、设备及存储介质，以提供一种更有效的人脸特征表示方法，提高人脸识别的准确率。
第一方面，本申请实施例提供了一种人脸识别方法，该方法包括：
获取包括待检测对象的目标人脸图像；
根据所述目标人脸图像，确定局部二值特征和全局深度特征；
根据所述局部二值特征和所述全局深度特征，确定所述目标人脸图像与候选人脸图像的匹配度；
根据所述匹配度，确定所述待检测对象与所述候选人脸图像所属的候选对象是否是同一个身份。
第二方面，本申请实施例还提供了一种人脸识别装置，该装置包括：
人脸图像获取模块，用于获取包括待检测对象的目标人脸图像；
特征提取模块，用于根据所述目标人脸图像，确定局部二值特征和全局深度特征；
匹配模块，用于根据所述局部二值特征和所述全局深度特征，确定所述目标人脸图像与候选人脸图像的匹配度；
身份认证模块，用于根据所述匹配度，确定所述待检测对象与所述候选人脸图像所属的候选对象是否是同一个身份。
第三方面，本申请实施例还提供了一种电子设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面实施例所提供的任意一种人脸识别方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所提供的任意一种人脸识别方法。
本申请实施例获取包括待检测对象的目标人脸图像；根据所述目标人脸图像，确定局部二值特征和全局深度特征；根据所述局部二值特征和所述全局深度特征，确定所述目标人脸图像与候选人脸图像的匹配度；根据所述匹配度，确定所述待检测对象与所述候选人脸图像所属的候选对象是否是同一个身份。通过上述技术方案，基于局部二值特征具有良好的旋转不变和灰度不变特性，将局部二值特征考虑进来，对于真实生活场景中的人脸识别，即使在有遮挡、夸张表情、大偏转角度下，依然可以有效地表示人脸；同时，若仅根据局部二值特征进行人脸识别，又会忽略掉人脸的全局信息，因此将全局深度特征也考虑进来，兼顾人脸的局部信息与全局信息，探寻人脸与非人脸、不同人脸之间差异性更大的特征表示，根据局部二值特征和全局深度特征进行人脸识别，提供了一种更有效的人脸特征表示方法，提高了人脸识别的准确率。
附图说明
图1是本申请实施例一提供的一种人脸识别方法的流程图；
图2是本申请实施例一提供的一种卷积神经网络结构的示意图；
图3是本申请实施例二提供的一种人脸识别方法的流程图；
图4是本申请实施例二提供的一种局部LBP特征块的示意图；
图5是本申请实施例二提供的一种目标融合特征的示意图；
图6是本申请实施例三提供的一种人脸识别装置的示意图；
图7是本申请实施例四提供的一种电子设备的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本申请实施例一提供的一种人脸识别方法的流程图。本申请实施例可适用于对待检测对象进行人脸认证的情况。该方法可以由一种人脸识别装置来执行，该装置可以由软件和/或硬件的方式实现，并具体配置于电子设备中，该电子设备可以是移动终端或固定终端。
参见图1，本申请实施例提供的人脸识别方法，包括：
S110、获取包括待检测对象的目标人脸图像。
示例性地，以支付场景为例，待检测对象可以是人脸支付时的当前支付用户，通过支付终端的摄像头，可以采集当前支付用户的人脸图像，得到目标人脸图像。
S120、根据目标人脸图像，确定局部二值特征和全局深度特征。
其中，局部二值特征是指以局部中心像素点的灰度值为阈值标准，将其邻域像素点的灰度值与中心像素点的灰度值进行比较，得到相对应的局部二值特征。
可以理解的是，人脸可以看作是由各个局部二值特征按一定位置相互配置而成的图像，因此，局部二值特征和全局深度特征是同等重要的；并且，局部二值特征具有良好的旋转不变和灰度不变特性，能够较好地克服图像旋转、移位和光照不均等问题，从而能够有效提取更能代表图像本质的特征。
当然，在人脸识别过程中，若仅根据局部二值特征进行人脸识别，又会忽略掉人脸的全局信息，导致人脸识别的准确率下降。因此，为了更好地对人脸图像特征进行抽取与表示，应该兼顾局部与全局的特性。
可选地，可以采用卷积神经网络提取目标人脸图像的全局深度特征。其中，卷积神经网络可以参见图2所示的一种卷积神经网络结构的示意图，网络输入input为人脸图像的B、G、R三个彩色通道，输入尺寸大小为55×47，数值代表像素点个数，整个网络共有6个卷积模块、3个池化层、1个全连接层和1个Softmax层。其中，第一个卷积模块Conv-1的卷积核尺寸为4×4，卷积核的数量为20，边界策略为VALID(不扩充边缘)，移动步长为1；第二个卷积模块Conv-2的卷积核尺寸为4×4，卷积核的数量为20，边界策略为SAME(补充边界，输入特征与输出特征尺寸相同)，移动步长为1；3个池化层(包括第一个最大值采样层Maxpooling-1、第二个最大值采样层Max pooling-2和第三个最大值采样层Max pooling-3)均为最大值采样，滤波器尺寸为2×2；第三个卷积模块Conv-3的卷积核大小为3×3，卷积核的数量为40，卷积策略为VALID，移动步长为1；第四个卷积模块Conv-4的卷积核大小为3×3，卷积核的数量为40，卷积策略为SAME，移动步长为1；第五个卷积模块Conv-5的卷积核大小为3×3，卷积核的数量为60，卷积策略为VALID，移动步长为1；第六个卷积模块Conv-6的卷积核大小为2×2，卷积核的数量为80，卷积策略为VALID，移动步长为1；为了获取更多的特征信息，减少信息的损失，全连接层FC-1不仅与Conv-6连接，还与第三个最大值采样层连接。卷积层与全连接层的激活单元均为ReLU。最后，全连接层与n维Softmax层结构相连，n表示训练样本身份的总数，输出预测为某个身份的概率。本实施例中，可以将卷积神经网络FC-1层的输出特征作为全局深度特征。
S130、根据局部二值特征和全局深度特征，确定目标人脸图像与候选人脸图像的匹配度。
本实施例中，候选人脸图像可以是预先采集的、存储在数据库中的人脸图像。通过将目标人脸图像与候选人脸图像进行匹配，可以确定待检测对象与候选人脸图像所属的候选对象是否是同一个身份。
可选地，所述根据所述局部二值特征和所述全局深度特征，确定所述目标人脸图像与候选人脸图像的匹配度，包括：将所述局部二值特征和所述全局深度特征进行融合，得到目标融合特征；根据所述目标融合特征与所述候选人脸图像对应的候选融合特征，确定所述目标人脸图像与所述候选人脸图像的匹配度。
具体地，在获取到局部二值特征和全局深度特征之后，可以通过对局部二值特征和全局深度特征进行拼接的方式，确定目标融合特征。例如，局部二值特征维度为160维，全局深度特征的特征也为160维，两者连接后融合特征为320维。
本实施例中，可以通过计算特征之间向量距离的方式，来评估特征差异。在一些实施例中，还可以采用有监督的机器学习方式训练一个联合贝叶斯模型，通过联合贝叶斯模型计算特征差异，如可以将两张人脸各320维特征输入至联合贝叶斯模型，并设定一定的阈值，输出两张人脸是否是同一个身份。
可选地，候选人脸图像的数量可以是至少一张。典型地，候选人脸图像的数量可以是设定张数，如可以包括张嘴姿态下的人脸图像、微笑姿态下的人脸图像以及闭眼姿态下的人脸图像等。
示例性地，继续以上述支付场景为例，人脸支付首先需要绑定用户本人的账户，登录账户后可以采集本人不同姿态下的多张图片，通过获取的多张人脸图片学习一种人脸的高维表示信息，并将高维表示信息存储下来。当需要支付时，调用支付终端的摄像头，拍摄目标人脸图像，并从目标人脸图像中提取当前支付用户的人脸表示信息；将人脸表示信息与数据库中之前存储的高维表示信息进行匹配，计算两者的特征差异；若特征差异较小，则可以视为同一身份，进行支付；否则，重新进行拍照或视为不同身份。
S140、根据匹配度，确定待检测对象与候选人脸图像所属的候选对象是否是同一个身份。
可选地，可以将匹配度与预设匹配阈值进行比较，通过阈值比较的方式，确定待检测对象与候选人脸图像所属的候选对象是否是同一个身份。
具体地，当匹配度不大于预设匹配度阈值时，可以确定待检测对象与候选人脸图像所属的候选对象不是同一个身份；当匹配度大于预设匹配度阈值时，可以确定待检测对象与候选人脸图像所属的候选对象是同一个身份。
其中，预设匹配阈值可以根据经验值进行预先确定，例如，预设匹配阈值可以根据多次人脸试验结果加以确定。
本申请实施例获取包括待检测对象的目标人脸图像；根据所述目标人脸图像，确定局部二值特征和全局深度特征；根据所述局部二值特征和所述全局深度特征，确定所述目标人脸图像与候选人脸图像的匹配度；根据所述匹配度，确定所述待检测对象与所述候选人脸图像所属的候选对象是否是同一个身份。通过上述技术方案，基于局部二值特征具有良好的旋转不变和灰度不变特性，将局部二值特征考虑进来，对于真实生活场景中的人脸识别，即使在有遮挡、夸张表情、大偏转角度下，依然可以有效地表示人脸；同时，若仅根据局部二值特征进行人脸识别，又会忽略掉人脸的全局信息，因此将全局深度特征也考虑进来，兼顾人脸的局部信息与全局信息，探寻人脸与非人脸、不同人脸之间差异性更大的特征表示，根据局部二值特征和全局深度特征进行人脸识别，提供了一种更有效的人脸特征表示方法，提高了人脸识别的准确率。
实施例二
图3为本申请实施例二提供的一种人脸识别方法的流程图，本实施例是在上述实施例的基础上，对上述方案的优化。
进一步地，将操作“根据所述目标人脸图像，确定局部二值特征”，细化为“确定所述目标人脸图像的人脸关键点，并从所述人脸关键点中确定局部采样中心点；根据所述局部采样中心点所属区域，从所述目标人脸图像中获取局部人脸图像；采用预设局部二值模式LBP算子对所述局部人脸图像进行采样，得到局部二值特征”，以完善局部二值特征的确定过程。
其中与上述实施例相同或相应的术语的解释在此不再赘述。
参见图3，本实施例提供的人脸识别方法，包括：
S210、获取包括待检测对象的目标人脸图像。
S220、根据目标人脸图像，确定全局深度特征。
在一个可选实施例中，根据实际使用需求和情况，可以同时将全局深度特征和全局浅层特征考虑进来，以丰富全局人脸特征。其中，全局浅层特征可以利用现有技术中支持浅层特征提取的任意技术实现。
S230、确定目标人脸图像的人脸关键点，并从人脸关键点中确定局部采样中心点。
本实施例中，可以采用设定人脸关键点检测算法如自适应窗回归算法从目标人脸图像中找到人脸关键点。
例如，采用自适应窗回归算法可以找到68个人脸关键点，可以根据实际使用需求和情况，从上述68个人脸关键点中选取部分人脸关键点作为局部采样中心点。其中，局部采样中心点为至少一个。
在一个可选实施例中，可以选取左眼中心点、右眼中心点、鼻子中心点、左嘴角点和右嘴角点作为局部采样中心点。
可选地，人脸关键点包括预设关键点对；相应的，在根据所述局部采样中心点所属区域，从所述目标人脸图像中获取局部人脸图像之前，还包括：根据所述预设关键点对的位置信息，确定当前图像方向；根据所述当前图像方向和所述预设关键点对的标准图像方向，对所述目标人脸图像进行矫正，以更新所述目标人脸图像。
其中，预设关键点对是人脸图像中的两个人脸关键点；预设关键点对的标准图像方向是指图像横平竖直放置时，预设关键点对的连线方向。
具体地，根据当前图像方向和预设关键点对的标准图像方向，可以计算前图像方向与标准图像方向的夹角；根据该夹角，可以将整张图像绕着图像中心点旋转该夹角大小，以实现对图像的矫正。
可以理解的是，在对目标人脸图像矫正之后，可以从矫正之后的目标人脸图像中提取局部二值特征，使得局部二值特征的确定更加准确。
可选地，所述预设关键点对包括下述至少一种：包括左眼中心点和右眼中心点的眼睛点对，包括左嘴角点和右嘴角点的嘴角点对，包括鼻中心点、两眉中心点和嘴部中心点中其中两个的混合点对，以及包括左眉中心点和右眉中心点的眉毛点对。
可以理解的是，预设关键点对有多种组合形式，可以根据实际使用需求和情况进行选取。
S240、根据局部采样中心点所属区域，从目标人脸图像中获取局部人脸图像。
本实施例中，根据局部采样中心点的数量个数，可以对应获取得到相应数量张数的局部人脸图像，各局部人脸图像的尺寸大小可以相同或不同。
例如，对于每一个局部采样中心点，局部采样中心点附近的采集窗口大小可以是固定的，如可以均为40×40。
可选地，所述根据所述局部采样中心点所属区域，从所述目标人脸图像中获取局部人脸图像，包括：根据所述局部采样中心点对应的中心点类别，确定采集窗口大小；根据所述采集窗口大小，从所述目标人脸图像中获取局部人脸图像。
可选地，可以根据局部采样中心点的图像特征，可以对局部采样中心点进行类别划分，如可以根据局部采样中心点的位置，对局部采样中心点进行重要等级划分，如可以将左眼中心点、右眼中心点作为重要采集区域，将左嘴角点和右嘴角点作为一般采集区域，将鼻子中心点作为不重要采集区域，根据局部采样中心点重要等级的不同，可以对应设置不同的采集窗口大小。
例如，可以针对重要等级较高的局部采样中心点，设置一个较大的采集窗口大小，以实现对该采集窗口大小进行重点采集。
可以理解的是，根据局部采样中心点对应的中心点类别，实现了对局部人脸图像的适应性获取，而不是统一设置一个固定的尺寸大小，使得局部特征的获取可以更加合理、准确。
可选地，还可以对所述局部人脸图像进行缩放处理，得到至少一个标准局部人脸图像；将各所述标准局部人脸图像作为新的所述局部人脸图像。
具体地，针对每一个局部人脸图像，根据缩放要求，可以将局部人脸图像缩放到不同尺寸，例如，可以将该局部人脸图像缩放到如下四种尺寸包括：250×250、200×200、150×150等100×100，其中，数值代表像素点个数。
可以理解的是，在对局部人脸图像进行缩放处理之后，可以得到多个不同尺寸的局部人脸图像，而不同尺寸的局部人脸图像，可以提供多尺度的人脸信息，使得后续局部二值特征的确定更加合理、准确。
在一个可选实施例中，对于每一种尺寸大小的局部人脸图像，局部采样中心点附近的采集窗口大小可以相同或不同，如可以都设置相同的尺寸40×40。
S250、采用预设局部二值模式LBP算子对局部人脸图像进行采样，得到局部二值特征。
具体地，可以采用预设局部二值模式LBP(Local Binary Pattern)算子如圆形或矩形LBP算子对局部人脸图像进行采样，得到局部二值特征。本实施例中，考虑到含有m个采样点的LBP算子会有2m种模式，特征降维较高，处理起来比较麻烦，为了特征降维，可以采用“等价模式”的改进LBP算子。
例如，对于8个采样点来说，LBP算子会有256种模式，而改进LBP算子就只有59种模式，特征维度从256直接降低到了59。
可选地，所述采用预设局部二值模式LBP算子对所述局部人脸图像进行采样，得到局部二值特征，包括：对所述局部人脸图像进行划分，得到至少一个局部人脸子图像；分别采用所述预设LBP算子对各所述局部人脸子图像进行采样，得到所述局部二值特征。
例如，针对每一个尺寸大小为40×40的局部人脸图像，可以再分割为16个子区间，每个子区间的尺寸为10×10。
可以理解的是，通过对局部人脸图像进行再次分割，可以使得局部二值特征的提取更加精确。
在一个可选实施例中，参见图4所示的一种局部LBP特征块的示意图，包括左眼中心点、右眼中心点、鼻子中心点、左嘴角点和右嘴角点共20个特征块，其中从左到右、从上到下，第1-4个特征块为左眼中心点的局部LBP特征块，第5-8特征块为右眼中心点的局部LBP特征块，第11-14特征块为左嘴角点的局部LBP特征块，第15-18特征块为右嘴角点的局部LBP特征块，第9-10和19-20特征块为鼻子中心点的局部LBP特征块。每一个特征块的大小均为40×40；将特征块分成16个子采样窗口，每一个子窗口统计各个改进LBP特征值出现的次数，最终可以得到的特征维度为18880(5×4×16×59)，其中5为局部采样中心点个数，4为不同缩放个数，16为子窗口个数，59为改进LBP算子维度。
可选地，还可以对所述局部二值特征进行主成分分析法PCA降维处理，以实现特征降维。
继续以上述例子为例，可以理解的是，直接使用18880维度的特征进行人脸识别过于复杂，可以选择对特征进行降维，具体可以采用PCA对特征进行降维，将18880维降到160维，以降低人脸识别的复杂度。
S260、根据局部二值特征和全局深度特征，确定目标人脸图像与候选人脸图像的匹配度。
具体地，在获取到局部二值特征和全局深度特征之后，可以通过对局部二值特征和全局深度特征进行拼接的方式，确定目标融合特征。示例性地，参见图5所示的一种目标融合特征的示意图，将降维后的人脸局部二值特征(Local feature)与卷积神经网络FC-1层输出的全局深度特征(Global feature)进行连接，降维后的局部二值特征维度为160维，卷积神经网络FC-1层输出的全局深度特征也为160维，两者连接后得到的目标融合特征为320维。其中，Lm表示表示局部采样中心点为m的局部人脸图像，而局部图像Lm1表示第一种缩放尺度的局部人脸图像，Lm2表示第二种缩放尺度的局部人脸图像。
S270、根据匹配度，确定待检测对象与候选人脸图像所属的候选对象是否是同一个身份。
继续参见图5，在得到目标融合特征之后，可以采用有监督的机器学习方式训练一个联合贝叶斯模型，输入目标人脸图像和候选人脸图像各320维特征，设置一定大小的匹配度阈值，通过联合贝叶斯模型(Joint-Bayesian)，可以自动输出判断两张人脸是否是同一个身份。
本申请实施例在上述实施例的基础上，对局部二值特征的确定过程进行了完善，通过确定所述目标人脸图像的人脸关键点，并从所述人脸关键点中确定局部采样中心点；根据所述局部采样中心点所属区域，从所述目标人脸图像中获取局部人脸图像；采用预设局部二值模式LBP算子对所述局部人脸图像进行采样，得到局部二值特征。通过上述技术方案，提供了一种有效的局部二值特征的确定方式，使得局部二值特征更加精确、合理，通过探寻人脸与非人脸、不同人脸之间差异性更大的特征表示，根据局部二值特征和全局深度特征进行人脸识别，提供了一种更有效的人脸特征表示方法，提高了人脸识别的准确率。
实施例三
图6是本申请实施例三提供的一种人脸识别装置的结构示意图。参见图6，本申请实施例提供的一种人脸识别装置，该装置包括：人脸图像获取模块310、特征提取模块320、匹配模块330和身份认证模块340。
人脸图像获取模块310，用于获取包括待检测对象的目标人脸图像；
特征提取模块320，用于根据所述目标人脸图像，确定局部二值特征和全局深度特征；
匹配模块330，用于根据所述局部二值特征和所述全局深度特征，确定所述目标人脸图像与候选人脸图像的匹配度；
身份认证模块340，用于根据所述匹配度，确定所述待检测对象与所述候选人脸图像所属的候选对象是否是同一个身份。
本申请实施例获取包括待检测对象的目标人脸图像；根据所述目标人脸图像，确定局部二值特征和全局深度特征；根据所述局部二值特征和所述全局深度特征，确定所述目标人脸图像与候选人脸图像的匹配度；根据所述匹配度，确定所述待检测对象与所述候选人脸图像所属的候选对象是否是同一个身份。通过上述技术方案，基于局部二值特征具有良好的旋转不变和灰度不变特性，将局部二值特征考虑进来，对于真实生活场景中的人脸识别，即使在有遮挡、夸张表情、大偏转角度下，依然可以有效地表示人脸；同时，若仅根据局部二值特征进行人脸识别，又会忽略掉人脸的全局信息，因此将全局深度特征也考虑进来，兼顾人脸的局部信息与全局信息，探寻人脸与非人脸、不同人脸之间差异性更大的特征表示，根据局部二值特征和全局深度特征进行人脸识别，提供了一种更有效的人脸特征表示方法，提高了人脸识别的准确率。
进一步地，所述特征提取模块320包括：
采样中心确定子模块，用于确定所述目标人脸图像的人脸关键点，并从所述人脸关键点中确定局部采样中心点；
局部图像获取子模块，用于根据所述局部采样中心点所属区域，从所述目标人脸图像中获取局部人脸图像；
采样子模块，用于采用预设局部二值模式LBP算子对所述局部人脸图像进行采样，得到局部二值特征。
进一步地，所述装置还包括：
缩放处理子模块，用于对所述局部人脸图像进行缩放处理，得到至少一个标准局部人脸图像；
局部图像确定子模块，用于将各所述标准局部人脸图像作为新的所述局部人脸图像。
进一步地，所述采样子模块包括：
划分单元，用于对所述局部人脸图像进行划分，得到至少一个局部人脸子图像；
二值特征采样单元，用于分别采用所述预设LBP算子对各所述局部人脸子图像进行采样，得到所述局部二值特征。
进一步地，所述人脸关键点包括预设关键点对；
相应的，所述装置还包括：
图像方向确定子模块，用于在根据所述局部采样中心点所属区域，从所述目标人脸图像中获取局部人脸图像之前，根据所述预设关键点对的位置信息，确定当前图像方向；
校正子模块，用于根据所述当前图像方向和所述预设关键点对的标准图像方向，对所述目标人脸图像进行矫正，以更新所述目标人脸图像。
进一步地，所述局部图像获取子模块，包括：
采集窗口确定单元，用于根据所述局部采样中心点对应的中心点类别，确定采集窗口大小；
局部图像获取单元，用于根据所述采集窗口大小，从所述目标人脸图像中获取局部人脸图像。
进一步地，所述匹配模块330，包括：
融合特征确定子模块，用于将所述局部二值特征和所述全局深度特征进行融合，得到目标融合特征；
匹配子模块，用于根据所述目标融合特征与所述候选人脸图像对应的候选融合特征，确定所述目标人脸图像与所述候选人脸图像的匹配度。
本申请实施例所提供的人脸识别装置可执行本申请任意实施例所提供的人脸识别方法，具备执行方法相应的功能模块和有益效果。
实施例四
图7是本申请实施例四提供的一种电子设备的结构图。图7示出了适于用来实现本申请实施方式的示例性电子设备412的框图。图7显示的电子设备412仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，电子设备412以通用计算设备的形式表现。电子设备412的组件可以包括但不限于：一个或者多个处理器或者处理单元416，系统存储器428，连接不同系统组件(包括系统存储器428和处理单元416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MCA)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)430和/或高速缓存存储器432。电子设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。系统存储器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如系统存储器428中，这样的程序模块442包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本申请所描述的实施例中的功能和/或方法。
电子设备412也可以与一个或多个外部设备414(例如键盘、指向设备、显示器424等)通信，还可与一个或者多个使得用户能与该电子设备412交互的设备通信，和/或与使得该电子设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，电子设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与电子设备412的其它模块通信。应当明白，尽管图7中未示出，可以结合电子设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元416通过运行存储在系统存储器428中的多个程序中其他程序的至少一个，从而执行各种功能应用以及数据处理，例如实现本申请实施例所提供的任意一种人脸识别方法。
实施例五
本申请实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请任一实施例所提供的一种人脸识别方法，该方法包括：获取包括待检测对象的目标人脸图像；根据所述目标人脸图像，确定局部二值特征和全局深度特征；根据所述局部二值特征和所述全局深度特征，确定所述目标人脸图像与候选人脸图像的匹配度；根据所述匹配度，确定所述待检测对象与所述候选人脸图像所属的候选对象是否是同一个身份。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
值得注意的是，上述人脸识别装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (10)
1.一种人脸识别方法，其特征在于，包括：
获取包括待检测对象的目标人脸图像；
根据所述目标人脸图像，确定局部二值特征和全局深度特征；
根据所述局部二值特征和所述全局深度特征，确定所述目标人脸图像与候选人脸图像的匹配度；
根据所述匹配度，确定所述待检测对象与所述候选人脸图像所属的候选对象是否是同一个身份。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标人脸图像，确定局部二值特征，包括：
确定所述目标人脸图像的人脸关键点，并从所述人脸关键点中确定局部采样中心点；
根据所述局部采样中心点所属区域，从所述目标人脸图像中获取局部人脸图像；
采用预设局部二值模式LBP算子对所述局部人脸图像进行采样，得到局部二值特征。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对所述局部人脸图像进行缩放处理，得到至少一个标准局部人脸图像；
将各所述标准局部人脸图像作为新的所述局部人脸图像。
4.根据权利要求2或3所述的方法，其特征在于，所述采用预设局部二值模式LBP算子对所述局部人脸图像进行采样，得到局部二值特征，包括：
对所述局部人脸图像进行划分，得到至少一个局部人脸子图像；
分别采用所述预设LBP算子对各所述局部人脸子图像进行采样，得到所述局部二值特征。
5.根据权利要求2所述的方法，其特征在于，所述人脸关键点包括预设关键点对；
相应的，在根据所述局部采样中心点所属区域，从所述目标人脸图像中获取局部人脸图像之前，还包括：
根据所述预设关键点对的位置信息，确定当前图像方向；
根据所述当前图像方向和所述预设关键点对的标准图像方向，对所述目标人脸图像进行矫正，以更新所述目标人脸图像。
6.根据权利要求2所述的方法，其特征在于，所述根据所述局部采样中心点所属区域，从所述目标人脸图像中获取局部人脸图像，包括：
根据所述局部采样中心点对应的中心点类别，确定采集窗口大小；
根据所述采集窗口大小，从所述目标人脸图像中获取局部人脸图像。
7.根据权利要求1所述的方法，其特征在于，所述根据所述局部二值特征和所述全局深度特征，确定所述目标人脸图像与候选人脸图像的匹配度，包括：
将所述局部二值特征和所述全局深度特征进行融合，得到目标融合特征；
根据所述目标融合特征与所述候选人脸图像对应的候选融合特征，确定所述目标人脸图像与所述候选人脸图像的匹配度。
8.一种人脸识别装置，其特征在于，包括：
人脸图像获取模块，用于获取包括待检测对象的目标人脸图像；
特征提取模块，用于根据所述目标人脸图像，确定局部二值特征和全局深度特征；
匹配模块，用于根据所述局部二值特征和所述全局深度特征，确定所述目标人脸图像与候选人脸图像的匹配度；
身份认证模块，用于根据所述匹配度，确定所述待检测对象与所述候选人脸图像所属的候选对象是否是同一个身份。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的一种人脸识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种人脸识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111541674.9A CN114241559A (zh) | 2021-12-16 | 2021-12-16 | 人脸识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111541674.9A CN114241559A (zh) | 2021-12-16 | 2021-12-16 | 人脸识别方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114241559A true CN114241559A (zh) | 2022-03-25 |
Family
ID=80757000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111541674.9A Pending CN114241559A (zh) | 2021-12-16 | 2021-12-16 | 人脸识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114241559A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982165A (zh) * | 2012-12-10 | 2013-03-20 | 南京大学 | 一种大规模人脸图像检索方法 |
| CN105550658A (zh) * | 2015-12-24 | 2016-05-04 | 蔡叶荷 | 一种基于高维lbp与卷积神经网络特征融合的人脸比对方法 |
| CN105844221A (zh) * | 2016-03-18 | 2016-08-10 | 常州大学 | 一种基于Vadaboost筛选特征块的人脸表情识别方法 |
| CN107729835A (zh) * | 2017-10-10 | 2018-02-23 | 浙江大学 | 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法 |
| CN109446980A (zh) * | 2018-10-25 | 2019-03-08 | 华中师范大学 | 表情识别方法及装置 |
| CN110163080A (zh) * | 2019-04-02 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 人脸关键点检测方法及装置、存储介质和电子设备 |
| CN110363047A (zh) * | 2018-03-26 | 2019-10-22 | 普天信息技术有限公司 | 人脸识别的方法、装置、电子设备和存储介质 |
| CN112200080A (zh) * | 2020-10-10 | 2021-01-08 | 平安国际智慧城市科技股份有限公司 | 一种人脸识别方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-16 CN CN202111541674.9A patent/CN114241559A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982165A (zh) * | 2012-12-10 | 2013-03-20 | 南京大学 | 一种大规模人脸图像检索方法 |
| CN105550658A (zh) * | 2015-12-24 | 2016-05-04 | 蔡叶荷 | 一种基于高维lbp与卷积神经网络特征融合的人脸比对方法 |
| CN105844221A (zh) * | 2016-03-18 | 2016-08-10 | 常州大学 | 一种基于Vadaboost筛选特征块的人脸表情识别方法 |
| CN107729835A (zh) * | 2017-10-10 | 2018-02-23 | 浙江大学 | 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法 |
| CN110363047A (zh) * | 2018-03-26 | 2019-10-22 | 普天信息技术有限公司 | 人脸识别的方法、装置、电子设备和存储介质 |
| CN109446980A (zh) * | 2018-10-25 | 2019-03-08 | 华中师范大学 | 表情识别方法及装置 |
| CN110163080A (zh) * | 2019-04-02 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 人脸关键点检测方法及装置、存储介质和电子设备 |
| US20210248355A1 (en) * | 2019-04-02 | 2021-08-12 | Tencent Technology (Shenzhen) Company Limited | Face key point detection method and apparatus, storage medium, and electronic device |
| CN112200080A (zh) * | 2020-10-10 | 2021-01-08 | 平安国际智慧城市科技股份有限公司 | 一种人脸识别方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 周鑫D;张军朝;甘胜江;: "融合局部方向模式和卷积神经网络的人脸识别", 计算机工程与设计, no. 10, 16 October 2018 (2018-10-16) * |
| 束鑫;唐慧;杨习贝;宋晓宁;吴小俊;: "基于差分量化局部二值模式的人脸反欺诈算法研究", 计算机研究与发展, no. 07, 7 July 2020 (2020-07-07) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11062123B2 (en) | Method, terminal, and storage medium for tracking facial critical area | |
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN110569721B (zh) | 识别模型训练方法、图像识别方法、装置、设备及介质 | |
| CN109376684B (zh) | 一种人脸关键点检测方法、装置、计算机设备和存储介质 | |
| CN110163114B (zh) | 一种人脸角度及人脸模糊度分析方法、系统和计算机设备 | |
| WO2019218824A1 (zh) | 一种移动轨迹获取方法及其设备、存储介质、终端 | |
| WO2022156640A1 (zh) | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| WO2019033574A1 (zh) | 电子装置、动态视频人脸识别的方法、系统及存储介质 | |
| CN111310731A (zh) | 基于人工智能的视频推荐方法、装置、设备及存储介质 | |
| CN110598638A (zh) | 模型训练方法、人脸性别预测方法、设备及存储介质 | |
| CN111275685A (zh) | 身份证件的翻拍图像识别方法、装置、设备及介质 | |
| CN112989962B (zh) | 轨迹生成方法、装置、电子设备及存储介质 | |
| CN112926654A (zh) | 预标注模型训练、证件预标注方法、装置、设备及介质 | |
| CN112001932A (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
| CN113850136A (zh) | 基于yolov5与BCNN的车辆朝向识别方法及系统 | |
| CN111582027B (zh) | 身份认证方法、装置、计算机设备和存储介质 | |
| CN112836682B (zh) | 视频中对象的识别方法、装置、计算机设备和存储介质 | |
| US11709914B2 (en) | Face recognition method, terminal device using the same, and computer readable storage medium | |
| CN113850238B (zh) | 文档检测方法、装置、电子设备及存储介质 | |
| CN113228105A (zh) | 一种图像处理方法、装置和电子设备 | |
| WO2022063321A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN114565955A (zh) | 人脸属性识别模型训练、社区人员监控方法、装置、设备 | |
| WO2022121021A1 (zh) | 一种身份证号码检测方法、装置、可读存储介质和终端 | |
| Liao et al. | Multi-scale saliency features fusion model for person re-identification | |
| CN112766065A (zh) | 一种移动端考生身份认证方法、装置、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |