CN111626240B - 一种人脸图像识别方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种人脸图像识别方法，包括：获取待识别图像，并对待识别图像进行基于左眼区域的第一单眼检测和基于右眼区域的第二单眼检测；当第一单眼检测和第二单眼检测均通过时，确定待识别图像为人脸图像；当目标单眼检测未通过时，对待识别图像进行双眼检测，得到双眼检测结果；目标单眼检测为第一单眼检测或第二单眼检测；判断双眼检测结果与目标单眼检测对应的目标区域是否匹配；若双眼检测结果与目标区域匹配，则确定待识别图像为人脸图像；该方法通过单眼检测可以避免因未检测到完整的双眼而造成识别错误，提高识别准确程度；此外，本发明还提供了一种人脸图像识别装置、人脸图像识别设备及计算机可读存储介质，也具有上述有益效果。

Description

一种人脸图像识别方法、装置、设备及可读存储介质

技术领域

本发明涉及图像识别技术领域，特别涉及一种人脸图像识别方法、人脸图像识别装置、人脸图像识别设备及计算机可读存储介质。

背景技术

人脸识别技术是一种基于人脸特征信息进行身份识别的生物特征识别技术。其具体为用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行后续一系列处理。通常也叫做人像识别、面部识别。

为何识别图像是否为人脸图像，需要对待识别图像进行人脸特征的检测。相关技术一般对待识别图像进行双眼检测，即判断待识别图像上是否存在双眼，若存在则可以确定待识别图像是人脸图像。但是，由于待识别图像内容不受控制，因此相关技术在进行双眼检测时容易因无法完全检测出完整的双眼而识别错误，或者将非双眼的部分识别为双眼而造成识别错误，因此相关技术存在识别准确率较低的问题。

因此，如何解决相关技术在进行人脸识别时识别准确率较低的问题，是本领域技术人员需要解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种人脸图像识别方法、人脸图像识别装置、人脸图像识别设备及计算机可读存储介质，解决了相关技术在进行人脸识别时识别准确率较低的问题。

为解决上述技术问题，本发明提供了一种人脸图像识别方法，包括：

获取待识别图像，并对所述待识别图像进行基于左眼区域的第一单眼检测和基于右眼区域的第二单眼检测；

当第一单眼检测和第二单眼检测均通过时，确定所述待识别图像为人脸图像；

当目标单眼检测未通过时，对所述待识别图像进行双眼检测，得到双眼检测结果；目标单眼检测为第一单眼检测或第二单眼检测；

判断所述双眼检测结果与目标单眼检测对应的目标区域是否匹配；

若所述双眼检测结果与所述目标区域匹配，则确定所述待识别图像为所述人脸图像。

可选地，所述对所述待识别图像进行基于左眼区域的第一单眼检测和基于右眼区域的第二单眼检测，包括：

获取所述待识别图像对应的识别区域信息；

根据所述识别区域信息，在所述待识别图像上确定所述左眼区域和所述右眼区域；

在所述左眼区域内进行第一单眼检测；

在所述右眼区域内进行第二单眼检测。

可选地，所述获取待识别图像，包括：

获取原始图像，并对所述原始图像进行预检测；

当预检测通过时，对所述原始图像进行口鼻检测；

当口鼻检测通过时，将所述原始图像确定为所述待识别图像。

可选地，所述获取原始图像，包括：

按照第一帧频率获取所述原始图像，并统计第一时长；

当所述第一时长大于第一预设时长时，按照第二帧频率获取所述原始图像，并统计第二时长；所述第二帧频率大于所述第一帧频率；

当所述第二时长大于第二预设时长时，停止获取所述原始图像；

当接收到停止获取指令时，停止获取所述原始图像。

可选地，在确定所述待识别图像为人脸图像之后，还包括：

获取双眼坐标，并根据所述双眼坐标对所述人脸图像进行仿射变换矫正，得到矫正后图像；

对所述矫正后图像进行内脸裁剪处理，得到内脸图像。

可选地，还包括：

统计所述内脸图像的质量参数，判断所述质量参数是否处于预设区间；

若所述质量参数处于所述预设区间，则获取权重系数，并根据所述权重系数计算所述内脸图像对应的评价分数；

当所述评价分数大于预设评价阈值时，将所述内脸图像输入分类模型。

可选地，在所述获取权重系数，并根据所述权重系数计算所述内脸图像对应的评价分数之前，还包括：

获取内脸训练图像，并将所述内脸训练图像和初始权重系数发送至云端，以便所述云端根据所述内脸训练图像，对所述初始权重系数进行训练；

获取所述云端发送的所述权重系数。

本发明还提供了一种人脸图像识别装置，包括：

单眼检测模块，用于获取待识别图像，并对所述待识别图像进行基于左眼区域的第一单眼检测和基于右眼区域的第二单眼检测；

第一确定模块，用于当第一单眼检测和第二单眼检测均通过时，确定所述待识别图像为人脸图像；

双眼检测模块，用于当目标单眼检测未通过时，对所述待识别图像进行双眼检测，得到双眼检测结果；目标单眼检测为第一单眼检测或第二单眼检测；

匹配判断模块，用于判断所述双眼检测结果与目标单眼检测对应的目标区域是否匹配；

第二确定模块，用于若所述双眼检测结果与所述目标区域匹配，则确定所述待识别图像为所述人脸图像。

本发明还提供了一种人脸图像识别设备，包括存储器和处理器，其中：

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序，以实现上述的人脸图像识别方法。

本发明还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的人脸图像识别方法。

本发明提供的人脸图像识别方法，获取待识别图像，并对待识别图像进行基于左眼区域的第一单眼检测和基于右眼区域的第二单眼检测；当第一单眼检测和第二单眼检测均通过时，确定待识别图像为人脸图像；当目标单眼检测未通过时，对待识别图像进行双眼检测，得到双眼检测结果；目标单眼检测为第一单眼检测或第二单眼检测；判断双眼检测结果与目标单眼检测对应的目标区域是否匹配；若双眼检测结果与目标区域匹配，则确定待识别图像为人脸图像。

可见，该方法分别在待识别图像的左眼区域进行第一单眼检测，并在右眼区域进行第二单眼检测。当两个单眼检测均通过时，说明检测到双眼，该待识别图像为人脸图像。若某一单眼检测未通过，则通过双眼检测得到双眼检测结果并与对应的目标区域进行匹配，当匹配时，说明检测到了双眼，且未通过单眼检测的单眼对应的坐标处于目标区域内，因此同样可以确定待识别图像为人脸图像。通过在受限的检测区域内进行单眼检测，可以避免因未检测到完整的双眼而造成识别错误，提高识别准确程度，同时利用双眼检测作为单眼检测的补充，保证了识别准确程度，解决了相关技术在进行人脸识别时识别准确率较低的问题。

此外，本发明还提供了一种人脸图像识别装置、人脸图像识别设备及计算机可读存储介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种人脸图像识别方法流程图；

图2为本发明实施例提供的一种具体的单眼检测方法流程图；

图3为本发明实施例提供的一种人脸识别过程流程图；

图4为本发明实施例提供的一种人脸图像识别装置的结构示意图；

图5为本发明实施例提供的一种人脸图像识别设备的结构示意图；

图6为本发明实施例提供的一种人脸识别系统结构示意图；

图7为本发明实施例提供的一种检测单元结构示意图；

图8为本发明实施例提供的一种双眼检测模块结构示意图；

图9为本发明实施例提供的一种识别单元结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

具体的，在一种可能的实施方式中，请参考图1，图1为本发明实施例提供的一种人脸图像识别方法流程图。该方法包括：

S101：获取待识别图像，并对待识别图像进行基于左眼区域的第一单眼检测和基于右眼区域的第二单眼检测。

待识别图像为需要进行人脸图像识别的图像，其可以为直接获取的图像，例如通过摄像头直接获取的图像；或者可以为经过处理的图像，例如可以为经过预先检测或预先处理后得到的图像。本实施例并不限定待识别图像的具体获取过程，例如当待识别图像为直接获取的图像时，可以通过摄像头或其他图像获取设备直接获取待识别图像；或者当待识别图像为经过处理的图像时，可以通过预设端口或预设路径获取经过处理的图像，处理过程可以由执行人脸图像识别方法中全部或部分步骤的设备(即本设备)完成，或者可以由其它设备完成后通过有线或无限的方式发送至本设备，本实施例并不限定本设备的具体类型，例如可以为专门用于进行人脸识别的设备，或者可以为手机、电脑等终端设备。

在得到待识别图像后，需要对其进行第一单眼检测和第二单眼检测，需要说明的是，由于每个人的眼睛在脸部的位置相对确定，即人与人之间的眼睛位置区别不会很大，同时为了保证人脸识别准确率，因此可以设定左眼区域和右眼区域。需要说明的是，本实施例中所说的“左眼”可以指代人的左眼，或者可以指代待识别图像中位置靠左的眼睛，“右眼”也同理，因此可以根据需要对其指代的具体内容进行设定。只要将“左眼”和“右眼”分别指代为不同的眼睛即可。

本实施例并不限定左眼区域和右眼区域的具体确定方法，例如可以提前设定固定的左眼检测范围和右眼检测范围，将待识别图像中处于左眼检测范围内的部分确定为左眼区域，将待识别图像中处于右眼检测范围内的部分确定为右眼区域。或者可以根据待检测图像的实际情况，按照预设的划分规则在待检测图像上确定左眼检测范围和右眼检测范围。单眼检测具体为针对一只眼睛的检测，其具体检测形式本实施例不做限定。

S102：当第一单眼检测和第二单眼检测均通过时，确定待识别图像为人脸图像。

当第一单眼检测和第二单眼检测均通过时，说明在左眼区域和右眼区域内分别检测到了一只眼睛，即待检测图像为正面人脸图像。此时，可以说明待检测图像为正常的人脸图像，因此可以将其确定为人脸图像，完成了对待检测图像的人脸识别。通过两次单眼检测可以分别对左眼和右眼进行检测，在待检测图像中双眼不完整、双眼部分与正常图像相差较大等情况下，可以分别对单眼进行检测，因此提高了人脸图像的识别准确程度。

S103：当目标单眼检测未通过时，对待识别图像进行双眼检测，得到双眼检测结果。

其中，目标单眼检测可以为第一单眼检测或第二单眼检测，即在任意一个单眼检测未通过，或两个单眼检测均未通过时，可以对待识别图像进行双眼检测，以便在因限制检测区域而导致目标单眼检测失败时，为目标单眼检测进行补充。双眼检测的估计过程和方法本实施例不做限定，可以参考相关技术。在进行双眼检测过后，可以得到双眼检测结果，双眼检测结果可以为检测到双眼和未检测到双眼，在检测到双眼的情况下，还可以包括双眼的坐标。坐标的具体形式可以根据坐标系选取的不同而不同，本实施例对此不做限定。本实施例并不限定双眼检测的具体检测方法，例如可以采用Haar特征和级联的AdaBoost分类器构造的双眼检测器，或HOG特征和级联的AdaBoost分类器构造的双眼检测器进行双眼检测。

S104：判断双眼检测结果与目标单眼检测对应的目标区域是否匹配。

在得到双眼检测结果后，需要判断其是否与目标单眼检测对应的目标区域相匹配，以便防止双眼检测造成误检，保证人脸识别的准确度。具体的，当双眼检测结果为未检测到双眼时，可以确定双眼检测结果与目标单眼检测不匹配；当双眼检测结果为检测到双眼，且目标区域为左眼区域时，可以获取双眼中的左眼坐标，判断该左眼坐标是否处于左眼区域中，若是，则确定双眼检测结果与目标区域相匹配；当双眼检测结果为检测到双眼，且目标区域为左眼区域和右眼区域时，需要判断左眼坐标是否处于左眼区域且右眼坐标是否处于右眼区域，当确定左眼坐标处于左眼区域，且右眼坐标处于右眼区域时，确定双眼检测结果与目标区域相匹配。在确定双眼检测结果与目标区域相匹配后，可以进入S105步骤，在确定双眼检测结果与目标区块链不匹配后，可以进入S106步骤。

S105：确定待识别图像为人脸图像。

在确定双眼检测结果与目标区域相匹配后，可以认为在正常的区域内检测到了双眼，因此可以确定该待识别图像为人脸图像。在确定待识别图像为人脸图像后，还可以执行后续操作，例如可以发送停止获取通知，以便停止待识别图像的获取；或者可以对人脸图像进行处理后进行分类处理。

S106：预设操作。

当双眼检测结果与目标区域不相匹配时，可以确定未检测到双眼或庄严所处的区域为非正常区域，说明待识别图像并非人脸图像或为变形的人脸图像，为了保证人脸识别的准确率，则不将其确定为人脸图像，可以执行预设操作。本实施例并不限定预设操作的具体内容，例如可以重新获取待识别图像以便进行再次确定，或者可以发送提示信息，以便提醒用户配合进而重新获取图像，或者可以不执行任何操作，即无操作。

应用本发明实施例提供的人脸图像识别方法，分别在待识别图像的左眼区域进行第一单眼检测，并在右眼区域进行第二单眼检测。当两个单眼检测均通过时，说明检测到双眼，该待识别图像为人脸图像。若某一单眼检测未通过，则通过双眼检测得到双眼检测结果并与对应的目标区域进行匹配，当匹配时，说明检测到了双眼，且未通过单眼检测的单眼对应的坐标处于目标区域内，因此同样可以确定待识别图像为人脸图像。通过在受限的检测区域内进行单眼检测，可以避免因未检测到完整的双眼而造成识别错误，提高识别准确程度，保证识别后得到的图像具有较高质量，同时利用双眼检测作为单眼检测的补充，保证了识别准确程度，解决了相关技术在进行人脸识别时识别准确率较低的问题。

基于上述实施例，在一种可能的实施方式中，可以获取原始图像并进行预处理。本实施例将说明一种具体的单眼检测过程，请参考图2，图2为本发明实施例提供的一种具体的单眼检测方法流程图，包括：

S201：获取原始图像，并对原始图像进行预检测。

本实施例中，原始图像为利用摄像头等摄像设备直接获取的图像，为了保证人脸识别过程的准确率，可以对原始图像进行预检测，预检测为人脸检测，即判断原始图像中是否存在人脸图像。当预检测未通过时，说明原始图像中并不存在可能的人脸，因此可以停止执行后续补充，执行重新获取原始图像的操作或类似操作。当预检测通过时，可以进入S202步骤。本实施例并不限定预检测的具体检测方法，例如可以为Haar特征和级联的AdaBoost分类器构造的人脸检测器，或DMP人脸检测模型，或Cascade CNN人脸检测模型，或MTCNN多任务人脸检测。

本实施例并不限定获取原始图像的触发条件，例如可以在检测到获取指令时开始获取原始图像，进一步，可以利用红外传感器进行检测，当红外传感器检测到符合条件的红外信号时，生成获取指令；或者当检测到虚拟按键或实体按键被按下时，确定需要获取原始图像，生成获取指令。

进一步，当实施本实施例中的部分或全部步骤的本设备为移动终端时，考虑到硬件计算能力和内存占用率，可以利用不同的帧频率获取原始图像，以便防止内存被占用太多进而影响其他业务，具体的，获取原始图像的过程，包括：

S2011：按照第一帧频率获取原始图像，并统计第一时长。

在开始获取原始图像时，可以按照第一帧频率获取，第一帧频率可以为每秒N帧，N可以根据实际情况进行设置，例如可以设置为9。在获取第一帧频率的同时，统计第一时长，第一时长用于记录保持在第一帧频率的时长。在未获取到停止获取指令时，持续保持按照第一帧频率获取原始图像。

S2012：当第一时长大于第一预设时长时，按照第二帧频率获取原始图像，并统计第二时长。

第一预设时长为第一帧频率的最大保持时长，其可以设置为S秒，具体数值本实施例不做限定，例如S可以等于3。当第一时长大于第一预设时长时，则开始按照第二帧频率获取原始图像，并统计第二时长。需要说明的是，第二帧频率大于第一帧频率，由于已经检测到需要获取原始图像并按照第一帧频率进行了一段时间的获取操作，此时还没有停止获取原始图像说明并未获取到可以被识别为人脸图像的原始图像，因此可以提高获取频率，以便获取更多的图像用于进行识别。第二帧频率可以设置为每秒M帧，M可以等于2N。

S2013：当第二时长大于第二预设时长时，停止获取原始图像。

当第二时长大于第二预设时长时，说明在第一预设时长加第二预设时长内均为获取到可以被识别为人脸图像的原始图像，此时可以认为获取原始图像的获取指令为误触发，或者认为触发获取指令的用户已离开，因此可以停止获取原始图像。

S2014：当接收到停止获取指令时，停止获取原始图像。

停止获取指令用于命令停止获取原始图像，本实施例并不限定停止获取指令的生成条件，例如可以在某一原始图像被确定为待识别图像后生成，或者可以在某一原始图像对应的待识别图像被识别为人脸图像时生成，或者可以在被识别为人脸图像后进行的后续操作也执行完毕时生成，可以根据实际情况进行设置。

S202：当预检测通过时，对原始图像进行口鼻检测。

在本实施例中，当预检测通过时，可以对原始图像进行口鼻检测，以便进一步确认原始图像中存在完整的人脸。口鼻检测可以统一进行，或者可以区分为口部检测和鼻部检测。口鼻检测的具体过程和方法本实施例不做限定，可以参考相关技术。当口鼻检测未通过时，可以不执行后续步骤，避免计算资源的浪费，同时可以重新获取原始图像，或者可以执行其他操作；当口鼻检测通过时，可以进入S203步骤。

本实施例并不限定口鼻检测采用的具体检测方法，例如可以采用Haar特征和级联的AdaBoost分类器构造的口鼻检测器，或HOG特征和级联的AdaBoost分类器构造的口鼻检测器进行口鼻检测。

S203：当口鼻检测通过时，将原始图像确定为待识别图像。

当口鼻检测通过时，说明原始图像中存在完整的人脸，因此可以确定原始图像为待识别图像，以便对其进行单眼检测。

S204：获取待识别图像对应的识别区域信息。

在本实施例中，由于待识别图像中可能存在人脸，以及人脸上方的头发部分、左右方的耳朵部分、下方的脖子和衣领等部分，所以待识别图像中的有效区域可能并不是整个待识别图像。因此在获取到待识别图像后，需要获取待识别图像对应的识别区域，识别区域也可以称为人脸区域或感兴趣区域(ROI，region of interest)。在确定识别区域后，可以获取其对应的识别区域信息，以便确定左眼区域和右眼区域。

S205：根据识别区域信息，在待识别图像上确定左眼区域和右眼区域。

在获取识别区域信息后，利用识别区域信息确定左眼区域和右眼区域。具体的，可以将识别区域确定为宽为W，长为H的矩形区域，则ROI中心点坐标为Center(x,y)＝(0.5W,0.5H)，则可以将左眼区域确定为相对于ROI中心点为(起始点坐标，宽，高)＝((0,0),0.5W,0.5H)，右眼区域确定为现对于ROI中心点为(起始点坐标，宽，高)＝((0,0.5W),0.5W,0.5H)。

S206：在左眼区域内进行第一单眼检测。

在确定左眼区域后，在左眼区域内进行第一单眼检测。

S207：在右眼区域内进行第二单眼检测。

在确定右眼区域后，在右眼区域内进行第二单眼检测。

基于上述实施例，在一种可能的实施方式中，确定待识别图像为人脸图像后，还可以对其进行后续操作。本实施例中，后续操作可以包括质量评价和分类操作，请参考图3，图3为本发明实施例提供的一种人脸识别过程流程图，包括：

S301：获取双眼坐标，并根据双眼坐标对人脸图像进行仿射变换矫正，得到矫正后图像。

在对人脸图像进行分类前，可以对其进行矫正，以便将人脸图像矫正为正面的图像。具体的，可以获取双眼坐标，根据双眼坐标对人脸图像进行仿射变换矫正，放射变换矫正的具体方法本实施例不做限定，在矫正过后，可以得到矫正后图像。

S302：对矫正后图像进行内脸裁剪处理，得到内脸图像。

在矫正后，可以得到正面的矫正后图像，因此对其进行内脸裁剪处理，以便将无效部分裁剪删除，将有效特征保留。实际情况中，内脸区域占人脸区域，即ROI的80％左右，因此本实施例中，可以将内脸区域确定为：相对于ROI(起始点坐标，宽，高)＝((0,0.125W)，0.75W，H)，将裁剪完毕后的图像确定为内脸图像。

S303：统计内脸图像的质量参数，判断质量参数是否处于预设区间。

本实施例中，为了保证内脸图像的质量，进而在质量较低时不进行后续操作，避免计算资源的浪费，可以利用质量参数和评价分数对内脸图像进行两次评估。质量参数用于对内脸图像的质量进行第一次评估，其具体内容不做限定，例如可以为清晰度、亮度、复合梯度等。本实施例中，可以将亮度确定为质量参数，在获取内脸图像后，计算内脸图像中各个像素的平均亮度，将该平均亮度确定为质量参数并判断是否处于预设区间。预设区间可以设置为[50,140]。当质量参数不处于预设区间时，可以进入S304步骤；当质量参数处于预设区间时，可以进入S305步骤。

S304：预设操作。

当质量参数不处于预设区间时，可以确定未通过第一次评估，此时，可以执行预设操作，预设操作的具体内容不做限定，例如可以为无操作。

S305：获取权重系数，并根据权重系数计算内脸图像对应的评价分数。

权重系数被提前训练好，用于生成评价分数，其具体大小本实施例不做限定。权重系数可以为一个或多个，例如可以分别对应于清晰度(sharpness)、复合梯度(multi-gradient)等，复合梯度可以为sobel平均梯度，或者可以为Laplacian平均梯度，或者可以为Scharr平均梯度。在评价分数计算时，需要先获取权重系数对应的质量参数的值，本实施例中，可以将清晰度和复合梯度两个确定为质量参数，则其分别对应的权重系数可以用w1和w2表示，则评价分数S可以为：

S＝w1*sharpness+w2*multi-gradient，S∈(0,1)

S306：当评价分数大于预设评价阈值时，将内脸图像输入分类模型。

预设评价阈值用于与评价分数一起对内脸图像进行第二次评估，当评价分数大于预设评价阈值时，可以确定内脸图像质量较高，可以利用其进行分类，因此将其输入分类模型中对其进行分类处理，分类的具体过程和分类模型的具体内容不做限定。预设评价阈值的具体大小不做限定，例如可以设置为0.8。

进一步的，在一种可能的实施方式中，当本设备为移动终端等计算能力较差的设备时，可以在云端对权重系数进行训练，具体的，在S305步骤之前，还可以包括：

步骤1：获取内脸训练图像，并将内脸训练图像和初始权重系数发送至云端，以便云端根据内脸训练图像，对初始权重系数进行训练。

内脸训练图像用于对权重系数进行训练，其数量为多张，例如可以为1000张。内脸训练图像可以为在过去指定时间内得到的内脸图像，或者可以为从某一数据库中获取的内脸训练图像。在得到内脸训练图像后，可以将内脸训练图像和初始权重系数发送至云端，以便对初始权重系数进行训练。需要说明的是，初始权重系数可以为权重系数被初始化后的值，或者可以为权重系数在被训练之前的当前值。例如在需要对权重系数进行训练师，其当前值为8，则初始权重系数可以为8，或者可以为将其初始化的值，例如5或者0。

本实施例并不限定训练的具体方法，例如可以采用浅层神经网络或线性模型进行训练。

步骤2：获取云端发送的权重系数。

云端在训练后得到权重系数，再将权重系数发送给本设备，以便本设备根据该权重系数对内脸图像进行质量评估。

基于上述实施例，本实施例将说明一种具体的实施方式，以便对上述方法进行说明，本实施例为上述方法在人脸识别和分类这一方面的应用。请参考图6，图6为本发明实施例提供的一种人脸识别系统结构示意图。其中，人脸识别系统600，包括云端和移动端，移动端包括系统控制单元601、检测单元602、质量评价单元603、特征提取单元604、识别单元605和移动端存储器606，其中移动端存储器606中包括有注册样本特征与标签(即注册类别)。云端包括有质量分析单元607和数据更新与加密单元608。

系统控制单元601用于控制图像获取设备获取图原始图像，将原始图像发送给检测单元602，并接收其他单元的控制指令。具体的，可以先按照第一帧频率每秒N帧获取原始图像，在未接受到停止获取指令时，或者在获取到持续获取的指令时持续获取图像，达到第一时长S秒后按照第二帧频率获取原始图像，达到第二时长S秒后停止获取原始图像。

检测单元602用于对图像进行人脸识别，判断原始图像是否为人脸图像，具体的，请参考图7，图7为本发明实施例提供的一种检测单元结构示意图。其中人脸检测模块701用于进行预检测，即检测原始图像中是否存在可能的人脸，并在人脸检测判断模块702中判断是否检测成功。若未检测到人脸，则检测未成功，则反馈失败，反馈失败可以为向系统控制单元601发送持续获取的指令，以便获取原始图像，或者为不做任何操作，等待系统控制单元601发送的原始图像。若检测成功，则可以利用口鼻检测模块703进行口鼻检测，并利用口鼻检测判断模块704判断是否检测成功，若检测失败，则反馈失败，若检测成功，则可以将该原始图像确定为待识别图像，进入双眼检测模块705，并利用双眼检测判断模块706判断是否检测成功，若检测失败，则反馈失败，若检测成功，则利用人脸矫正模块707进行人脸图像矫正，还可以向系统控制单元601反馈成功，使其停止获取原始图像。

请参考图8，图8为本发明实施例提供的一种双眼检测模块结构示意图。在进行双眼检测时，分别利用801和807进行左眼单眼检测和右眼单眼检测，左眼单眼检测即为基于左眼区域的单眼检测，同理，右眼单眼检测即为基于右眼区域的单眼检测。利用802和808判断是否检测成功，若成功，则可以利用806和811得到处于左眼区域的左眼坐标或处于右眼区域的右眼坐标。若任一单眼检测不成功，则利用803和/或809进行双眼检测，并利用804和/或810判断双眼检测是否成功，此时若检测成功，即可获得与左眼区域匹配的左眼坐标或与右眼区域匹配的右眼坐标。若不成功，可以利用805通知系统控制单元601，即反馈失败。

在成功检测到双眼后，可以将原始图像输入人脸矫正模块707进行仿射变换矫正处理和内脸裁剪处理，得到内脸图像。将内脸图像输入质量评价单元603进行质量评价，具体的，可以统计内脸图像的质量参数，判断质量参数是否处于预设区间，若质量参数处于预设区间，则获取权重系数，并根据权重系数计算内脸图像对应的评价分数，当评价分数大于预设评价阈值时，将内脸图像确定为待分类图像。需要说明的是，质量评价单元603所需的权重系数可以在云端的质量分析单元607中训练，在训练结束后由云端发送给移动端。具体的，移动端可以获取P张人脸图像发送至云端，P可以等于1000。云端根据质量分析训练模型对图像进行质量分析训练，得到权重系数。

在得到待识别图像后，利用特征提取单元604对其进行特征提取，得到地识别特征，并将其输入识别单元605。请参考图9，图9为本发明实施例提供的一种识别单元结构示意图。识别单元605可以利用901从移动端存储器中获取注册特征样本，其中共有M类，每类N个。利用902进行数学运算，即进行差别特征的计算，运算方法可以为向量相减、向量求均值、向量求偏差或多种计算方法的组合。利用903收集待测特征样本(即差别特征)，并在904中利用分类器获得各个差别特征对应的相似度。具体的，将差别特征输入分类器，得到预设数量个邻域投票结果，根据邻域投票结果得到相似度。利用905和906分别对相似度进行相似度阈值(即第一阈值)检测和类别阈值(即第二阈值)检测。具体的，对各个相似度进行整合处理，得到多个类别相似度，将各个类别相似度与第一阈值进行比对，并将大于第一阈值的类别相似度确定为候选相似度，当候选相似度的数量为一时，将候选相似度确定为目标相似度，当候选相似度的数量大于一时，按照由大到小的顺序对各个候选相似度进行排序，得到相似度序列，将大于第二阈值的相似度确定为合法相似度，并统计各个候选相似度对应的合法相似度数量，按照合法相似度数量由大到小的顺序对相似度序列进行调整，并将相似度序列中的第一候选相似度确定为目标相似度。在检测完毕后，利用907输出分类结果，即将待分类图像的类别确定为目标相似度对应的目标注册类别。

需要说明的是，移动端的分类器可以在云端的数据更新与加密单元进行训练和更新。具体的，在初始化训练时，可以在本地进行训练，即获取各个注册类别对应的多个训练样本特征，利用任意两个同类别的训练样本特征构成正样本数据对，并对正样本数据对进行正标签处理，利用任意两个非同类别的训练样本特征构成负样本数据对，并对负样本数据对进行负标签处理，利用正样本数据对和负样本数据对对初始分类器进行训练，得到分类器；或者可以在云端进行初始化训练，即将训练样本特征发送给云端，在训练完成后获取云端发送的分类器参数，并利用该分类器参数对初始分类器进行设置，得到分类器。进一步，在更新训练的时候，可以将注册样本特征发送给云端，以便云端将注册样本特征与训练样本特征整合后进行分类器训练，并获取云端发送的分类器参数，并利用分类器参数更新分类器。同时，为了保证注册样本特征的隐私，可以在分类器更新完毕后向云端发送删除指令，以便云端将获取到的注册样本特征进行删除。

下面对本发明实施例提供的人脸图像识别装置进行介绍，下文描述的人脸图像识别装置与上文描述的人脸图像识别方法可相互对应参照。

请参考图4，图4为本发明实施例提供的一种人脸图像识别装置的结构示意图，包括：

单眼检测模块410，用于获取待识别图像，并对待识别图像进行基于左眼区域的第一单眼检测和基于右眼区域的第二单眼检测；

第一确定模块420，用于当第一单眼检测和第二单眼检测均通过时，确定待识别图像为人脸图像；

双眼检测模块430，用于当目标单眼检测未通过时，对待识别图像进行双眼检测，得到双眼检测结果；目标单眼检测为第一单眼检测或第二单眼检测；

匹配判断模块440，用于判断双眼检测结果与目标单眼检测对应的目标区域是否匹配；

第二确定模块450，用于若双眼检测结果与目标区域匹配，则确定待识别图像为人脸图像。

可选地，单眼检测模块410，包括：

区域信息获取单元，用于获取待识别图像对应的识别区域信息；

区域确定单元，用于根据识别区域信息，在待识别图像上确定左眼区域和右眼区域；

第一单眼检测单元，用于在左眼区域内进行第一单眼检测；

第二单眼检测单元，用于在右眼区域内进行第二单眼检测。

可选地，单眼检测模块410，包括：

预检测单元，用于获取原始图像，并对原始图像进行预检测；

口鼻检测单元，用于当预检测通过时，对原始图像进行口鼻检测；

图像确定单元，用于当口鼻检测通过时，将原始图像确定为待识别图像。

可选地，预检测单元，包括：

第一统计子单元，用于按照第一帧频率获取原始图像，并统计第一时长；

第二统计子单元，用于当第一时长大于第一预设时长时，按照第二帧频率获取原始图像，并统计第二时长；第二帧频率大于第一帧频率；

第一停止子单元，用于当第二时长大于第二预设时长时，停止获取原始图像；

第二停止子单元，用于当接收到停止获取指令时，停止获取原始图像。

可选地，还包括：

矫正模块，用于获取双眼坐标，并根据双眼坐标对人脸图像进行仿射变换矫正，得到矫正后图像；

内脸裁剪模块，用于对矫正后图像进行内脸裁剪处理，得到内脸图像。

可选地，还包括：

第一质量评估模块，用于统计内脸图像的质量参数，判断质量参数是否处于预设区间；

评价分数计算模块，用于若质量参数处于预设区间，则获取权重系数，并根据权重系数计算内脸图像对应的评价分数；

第二质量评估模块，用于当评价分数大于预设评价阈值时，将内脸图像输入分类模型。

可选地，还包括：

权重系数训练模块，用于获取内脸训练图像，并将内脸训练图像和初始权重系数发送至云端，以便云端根据内脸训练图像，对初始权重系数进行训练；

权重系数获取模块，用于获取云端发送的权重系数。

应用本发明实施例提供的人脸图像识别装置，分别在待识别图像的左眼区域进行第一单眼检测，并在右眼区域进行第二单眼检测。当两个单眼检测均通过时，说明检测到双眼，该待识别图像为人脸图像。若某一单眼检测未通过，则通过双眼检测得到双眼检测结果并与对应的目标区域进行匹配，当匹配时，说明检测到了双眼，且未通过单眼检测的单眼对应的坐标处于目标区域内，因此同样可以确定待识别图像为人脸图像。通过在受限的检测区域内进行单眼检测，可以避免因未检测到完整的双眼而造成识别错误，提高识别准确程度，同时利用双眼检测作为单眼检测的补充，保证了识别准确程度，解决了相关技术在进行人脸识别时识别准确率较低的问题。

下面对本发明实施例提供的人脸图像识别设备进行介绍，下文描述的人脸图像识别设备与上文描述的人脸图像识别方法可相互对应参照。

请参考图5，图5为本发明实施例提供的一种人脸图像识别设备的结构示意图。其中人脸图像识别设备500可以包括处理器501和存储器502，还可以进一步包括多媒体组件503、信息输入/信息输出(I/O)接口504以及通信组件505中的一种或多种。

其中，处理器501用于控制人脸图像识别设备500的整体操作，以完成上述的人脸图像识别方法中的全部或部分步骤；存储器502用于存储各种类型的数据以支持在人脸图像识别设备500的操作，这些数据例如可以包括用于在该人脸图像识别设备500上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器502可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static RandomAccess Memory，SRAM)、电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、只读存储器(Read-Only Memory，ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。

多媒体组件503可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器502或通过通信组件505发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口504为处理器501和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件505用于人脸图像识别设备500与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件505可以包括：Wi-Fi部件，蓝牙部件，NFC部件。

人脸图像识别设备500可以被一个或多个应用专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、数字信号处理器(Digital SignalProcessor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的人脸图像识别方法。

下面对本发明实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的人脸图像识别方法可相互对应参照。

本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的人脸图像识别方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语包括、包含或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上对本发明所提供的人脸图像识别方法、人脸图像识别装置、人脸图像识别设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种人脸图像识别方法，其特征在于，包括：

获取待识别图像，并对所述待识别图像进行基于左眼区域的第一单眼检测和基于右眼区域的第二单眼检测；

当第一单眼检测和第二单眼检测均通过时，确定所述待识别图像为人脸图像；

当目标单眼检测未通过时，对所述待识别图像进行双眼检测，得到双眼检测结果；目标单眼检测为第一单眼检测或第二单眼检测；

判断所述双眼检测结果与目标单眼检测对应的目标区域是否匹配；

若所述双眼检测结果与所述目标区域匹配，则确定所述待识别图像为所述人脸图像。

2.根据权利要求1所述的人脸图像识别方法，其特征在于，所述对所述待识别图像进行基于左眼区域的第一单眼检测和基于右眼区域的第二单眼检测，包括：

获取所述待识别图像对应的识别区域信息；

根据所述识别区域信息，在所述待识别图像上确定所述左眼区域和所述右眼区域；

在所述左眼区域内进行第一单眼检测；

在所述右眼区域内进行第二单眼检测。

3.根据权利要求1所述的人脸图像识别方法，其特征在于，所述获取待识别图像，包括：

获取原始图像，并对所述原始图像进行预检测；

当预检测通过时，对所述原始图像进行口鼻检测；

当口鼻检测通过时，将所述原始图像确定为所述待识别图像。

4.根据权利要求3所述的人脸图像识别方法，其特征在于，所述获取原始图像，包括：

按照第一帧频率获取所述原始图像，并统计第一时长；

当所述第一时长大于第一预设时长时，按照第二帧频率获取所述原始图像，并统计第二时长；所述第二帧频率大于所述第一帧频率；

当所述第二时长大于第二预设时长时，停止获取所述原始图像；

当接收到停止获取指令时，停止获取所述原始图像。

5.根据权利要求1所述的人脸图像识别方法，其特征在于，在确定所述待识别图像为人脸图像之后，还包括：

获取双眼坐标，并根据所述双眼坐标对所述人脸图像进行仿射变换矫正，得到矫正后图像；

对所述矫正后图像进行内脸裁剪处理，得到内脸图像。

6.根据权利要求5所述的人脸图像识别方法，其特征在于，还包括：

统计所述内脸图像的质量参数，判断所述质量参数是否处于预设区间；

若所述质量参数处于所述预设区间，则获取权重系数，并根据所述权重系数计算所述内脸图像对应的评价分数；

当所述评价分数大于预设评价阈值时，将所述内脸图像输入分类模型。

7.根据权利要求6所述的人脸图像识别方法，其特征在于，在所述获取权重系数，并根据所述权重系数计算所述内脸图像对应的评价分数之前，还包括：

获取内脸训练图像，并将所述内脸训练图像和初始权重系数发送至云端，以便所述云端根据所述内脸训练图像，对所述初始权重系数进行训练；

获取所述云端发送的所述权重系数。

8.一种人脸图像识别装置，其特征在于，包括：

单眼检测模块，用于获取待识别图像，并对所述待识别图像进行基于左眼区域的第一单眼检测和基于右眼区域的第二单眼检测；

第一确定模块，用于当第一单眼检测和第二单眼检测均通过时，确定所述待识别图像为人脸图像；

双眼检测模块，用于当目标单眼检测未通过时，对所述待识别图像进行双眼检测，得到双眼检测结果；目标单眼检测为第一单眼检测或第二单眼检测；

匹配判断模块，用于判断所述双眼检测结果与目标单眼检测对应的目标区域是否匹配；

第二确定模块，用于若所述双眼检测结果与所述目标区域匹配，则确定所述待识别图像为所述人脸图像。

9.一种人脸图像识别设备，其特征在于，包括存储器和处理器，其中：

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的人脸图像识别方法。

10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的人脸图像识别方法。

Images