CN113780202A - 人脸检测方法及装置、计算机可读存储介质、终端设备 - Google Patents

Abstract

一种人脸检测方法及装置、计算机可读存储介质、终端设备，人脸检测方法包括：获取待检测图像；利用传统机器学习模型对所述待检测图像进行预处理，以得到人脸图像，所述人脸图像为所述待检测图像的一部分；将人脸图像输入至深度学习模型，以得到检测结果，所述检测结果包括人脸信息。通过本发明技术方案能够兼顾人脸检测的准确性和减小计算量。

Description

人脸检测方法及装置、计算机可读存储介质、终端设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种人脸检测方法及装置、计算机可读存储介质、终端设备。

背景技术

人脸检测的目标是在输入图像中确定所有人脸的位置、大小和姿态，它广泛用于数字相机自动聚焦、视频监控、身份验证等领域，具有巨大的商业价值。

当前主要的人脸检测方法分为基于传统机器学习的人脸检测方法和基于深度学习的人脸检测方法。传统机器学习用于人脸检测时，具有检测速度比较快的特点。基于深度学习的人脸检测方法的检测准确率较高。

但是，基于传统机器学习的人脸检测方法准确率较低，容易出现误检现象；深度学习人脸检测方法的计算量比较大，不适合在算力有限且有低功耗要求的边缘设备上使用。

发明内容

本发明解决的技术问题是如何兼顾人脸检测的准确性和减小计算量。

为解决上述技术问题，本发明实施例提供一种人脸检测方法，人脸检测方法包括：获取待检测图像；利用传统机器学习模型对所述待检测图像进行预处理，以得到人脸图像，所述人脸图像为所述待检测图像的一部分；将人脸图像输入至深度学习模型，以得到检测结果，所述检测结果包括人脸信息。

可选的，所述利用传统机器学习模型对所述待检测图像进行预处理包括：利用所述传统机器学习模型提取所述待检测图像中的人脸，以得到所述人脸图像及其对应的人脸置信度。

可选的，所述将人脸图像输入至深度学习模型包括：在所述人脸置信度小于第一门限时，将所述人脸图像输入至所述深度学习模型。

可选的，所述检测结果还包括检测置信度，所述方法还包括：如果所述检测置信度达到第二门限，则保留所述检测结果中的人脸；如果所述检测置信度低于所述第二门限，则删除所述检测结果中的人脸。

可选的，提取的人脸的数量为一个或多个，每一人脸对应一个人脸图像。

可选的，采用以下方式对所述深度学习模型进行训练：获取训练样本，所述训练样本包括多个正样本和负样本，所述正样本为仅包含人脸部分的图像，所述负样本为不包含人脸的图像；利用所述训练样本对所述深度学习模型进行训练。

可选的，所述传统机器学习模型包括adaboos检测器，所述深度学习模型包括onet检测器。

为解决上述技术问题，本发明实施例还公开了一种人脸检测装置，人脸检测装置包括：获取模块，用于获取待检测图像；预处理模块，用于利用传统机器学习模型对所述待检测图像进行预处理，以得到人脸图像，所述人脸图像为所述待检测图像的一部分；检测模块，用于将人脸图像输入至深度学习模型，以得到检测结果，所述检测结果包括人脸信息。

本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行所述人脸检测方法的步骤。

本发明实施例还公开了一种终端设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行所述人脸检测方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

本发明技术方案中，对于待检测图像，可以利用传统机器学习模型进行预处理，并将预处理得到的人脸图像输入深度学习模型进行人脸检测。相对于使用单一检测模型进行人脸检测，提升了检测准确率；此外，由于待检测图像是经过预处理后输入深度学习模型的，输入深度学习模型的人脸图像是待检测图像的一部分，因此深度学习模型的计算量变小，模型的复杂度降低，检测的速度也得到了提升。

附图说明

图1是本发明实施例中一种人脸检测方法的流程图；

图2是本发明实施例中一种人脸检测方法的具体流程图；

图3是是本发明实施例中一种人脸检测装置的结构示意图。

具体实施方式

如背景技术中所述，基于传统机器学习的人脸检测方法准确率较低，容易出现误检现象；深度学习人脸检测方法的计算量比较大，不适合在算力有限且有低功耗要求的边缘设备上使用。

本发明技术方案中，对于待检测图像，可以利用传统机器学习模型进行预处理，并将预处理得到的人脸图像输入深度学习模型进行人脸检测。相对于使用单一检测模型进行人脸检测，提升了检测准确率；此外，由于待检测图像是经过预处理后输入深度学习模型的，输入深度学习模型的人脸图像是待检测图像的一部分，因此深度学习模型的计算量变小，模型的复杂度降低，检测的速度也得到了提升。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例一种人脸检测方法的流程图。

本发明实施例的人脸检测方法可以用于终端设备侧，也即可以由终端设备执行所述人脸检测方法的各个步骤。

具体地，图1所示人脸检测方法可以包括以下步骤：

步骤101：获取待检测图像；

步骤102：利用传统机器学习模型对所述待检测图像进行预处理，以得到人脸图像，所述人脸图像为所述待检测图像的一部分；

步骤103：将人脸图像输入至深度学习模型，以得到检测结果，所述检测结果包括人脸信息。

需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。

可以理解的是，在具体实施中，所述人脸检测方法可以采用软件程序的方式实现，该软件程序运行于芯片或芯片模组内部集成的处理器中。

在步骤101的具体实施中，待检测的图像是指需要检测其中是否存在人脸的图像。待检测图像具体可以是照片，也可以是视频中的一帧图像。待检测图像可以是由终端设备拍摄得到的，也可以是由终端设备从数据库中调取得到的，数据库中存储有多张图像和/或多个视频。

在步骤S102的具体实施中，可以先使用传统机器学习模型对所述待检测图像进行预处理。经过传统机器学习模型预处理后，可以对待检测图像中的人脸进行定位，也即确定人脸在图像中的位置，具体可以用坐标来表示。也就是说，经过预处理后得到人脸图像，人脸图像是指待检测图像中仅包含人脸的区域，其为待检测图像的一部分。

具体地，人脸图像可以是人脸在待检测图像中所占的区域，具体可以是一个矩形区域。

进而在步骤S103的具体实施中，可以将人脸图像作为深度学习模型的输入图像。深度学习模型输出检测结果，检测结果中包括检测到的人脸信息。相对于将待检测图像直接输入至深度学习模型，深度学习模型的输入图像较小，深度学习模型的计算量变小，并且深度学习模型的复杂度也降低，人脸检测的效率得到提升。

具体地，深度学习模型对人脸图像进行检测的过程可以是人脸定位之后的人脸识别、人脸比对等过程，并确定人脸信息，例如人脸特征点、人脸身份等。

可以理解的是，传统机器学习模块以及深度学习模型可以是预先构建的。其中，传统机器学习模型可以是利用传统机器学习算法构建的，例如k近邻法、朴素贝叶斯、决策树、支持向量机、AdaBoost方法、隐马尔科夫模型、条件随机场等算法；深度学习模型可以是基于深度神经网络构建的模型，例如onet检测器。

相对于使用单一的传统机器学习模型进行人脸检测，本发明实施例采用了深度学习模型进行人脸检测，检测的准确性得到提升。此外，相对于使用单一的深度学习模型进行人脸检测，本发明实施例通过将待检测图像进行预处理，使得深度学习模型的计算量减小，检测速度得到提升。

本发明实施例将基于深度学习的人脸检测方法和基于传统机器学习的人脸检测方法进行结合，基于深度学习的人脸检测方法通过对基于传统机器学习的人脸检测方法进行增强，在增加很小的计算量的前提下极大改善了基于传统机器学习的人脸检测方法的误检现象，提升用户体验。

在一个具体的实施例中，在预处理阶段，利用传统机器学习模型提取待检测图像中的人脸，可以得到人脸图像及其对应的人脸置信度。其中，人脸图像的人脸置信度表示该人脸图像中存在人脸的概率。

需要说明的是，关于人脸置信度的计算方式可以参照现有技术，本发明实施例对此不作限制。

进一步地，在预处理阶段，提取的人脸的数量为一个或多个，每一人脸对应一个人脸图像。每一人脸也对应一个人脸置信度。

具体地，待检测图像中可以包括一个人脸或多个人脸。在待检测图像中包括多个人脸的情况下，通过传统机器学习模型提取每一个人脸，并得到多个人脸图像，每一人脸图像中包括一个人脸。

在一个具体实施例中，图1所示步骤103可以包括以下步骤：在所述人脸置信度小于第一门限时，将所述人脸图像输入至所述深度学习模型。

本实施例中，人脸图像的人脸置信度小于第一门限表示人脸图像中存在人脸的概率较小。考虑到传统机器学习模型的误检率较高，深度学习模型的人脸检测率较高，那么可以将该人脸图像输入至深度学习模型进行二次检测。

也就是说，人脸图像的人脸置信度大于等于第一门限时，表示人脸图像中存在人脸的概率较大，可以不将人脸图像输入至深度学习模型。此时，可以将传统机器学习模型输出的人脸图像直接作为最终检测结果进行输出。

在一个具体实施例中，人脸检测方法还可以包括以下步骤：如果所述检测置信度达到第二门限，则保留所述检测结果中的人脸；如果所述检测置信度低于所述第二门限，则删除所述检测结果中的人脸。

本实施例中，深度学习模型输出检测结果时，还可以输出检测置信度，检测置信度是针对输入的人脸图像的，也即每一人脸图像具有对应的检测置信度。检测置信度可以表示人脸图像中存在人脸的概率。

具体地，检测置信度达到第二门限，表示人脸图像中存在人脸的概率较大，则可以保留检测结果中的人脸。相应地，检测置信度低于第二门限，表示人脸图像中存在人脸的概率较小，则可以删除检测结果中的人脸，此时也意味着该人脸图像中不存在人脸。

在一个具体实施例中，请参照图2，图2示出了一种人脸检测方法的具体流程。

步骤201，获取待检测图像。

步骤202，利用传统机器学习模型对待检测图像进行预处理。传统机器学习模型输出的检测结果包括人脸图像和人脸置信度。

步骤203，判断人脸置信度是否小于第一门限，如果是，进入步骤203，否则进入步骤206。

步骤204，将人脸图像输入至深度学习模型。深度学习模型输出的检测结果包括人脸信息和检测置信度。

步骤205，判断检测置信度是否大于第二门限，如果是，进入步骤206，否则进入步骤208。

步骤206，保留检测结果。在人脸置信度大于第一门限时，保留的检测结果是传统机器学习模型输出的人脸图像。在检测置信度大于第二门限时，保留的检测结果是深度学习模型输出的人脸信息。

步骤207，输出检测结果。

步骤208，删除检测结果。

本发明实施例利用传统机器学习模型比较强的特征表征能力优化传统机器学习模型的误检问题，提高人脸检测准确性。

在本发明一个具体应用场景中，传统机器学习模型包括adaboos检测器，深度学习模型包括onet检测器。首先使用adaboost检测器在输入图像上进行人脸检测；其次对adaboost人脸检测结果进行判断，如果满足人脸的置信度低于第一门限(check_threshold)，则使用onet检测器对人脸区域进行二次检测，如果onet检测器二次检测的置信度大于第二门限(face_threshold)，则保留人脸，反之删除人脸。

请参照图3，本发明实施例还公开了一种人脸检测装置30。人脸检测装置30可以包括：

获取模块301，用于获取待检测图像；

预处理模块302，用于利用传统机器学习模型对所述待检测图像进行预处理，以得到人脸图像，所述人脸图像为所述待检测图像的一部分；

检测模块303，用于将人脸图像输入至深度学习模型，以得到检测结果，所述检测结果包括人脸信息。

在具体实施中，上述人脸检测装置可以对应于终端设备中具有人脸检测功能的芯片，例如SOC(System-On-a-Chip，片上系统)、基带芯片等；或者对应于终端设备中包括具有人脸检测功能的芯片模组；或者对应于具有数据处理功能芯片的芯片模组，或者对应于终端设备。

关于所述人脸检测装置30的工作原理、工作方式的更多内容，可以参照图1至图2中的相关描述，这里不再赘述。

关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。

本发明实施例还公开了一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序运行时可以执行图1或图2中所示的人脸检测方法的步骤。

本发明实施例还公开了一种终端设备，所述终端设备可以包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序。所述处理器运行所述计算机程序时可以执行图1或图2中所示的人脸检测方法的步骤。所述用户设备包括但不限于手机、计算机、平板电脑等终端设备。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/“，表示前后关联对象是一种“或”的关系。

本申请实施例中出现的“多个”是指两个或两个以上。

本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。

本申请实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式，以实现设备间的通信，本申请实施例对此不做任何限定。

应理解，本申请实施例中，所述处理器可以为中央处理单元(central processingunit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(application specific integrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，简称DR RAM)。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种人脸检测方法，其特征在于，包括：

获取待检测图像；

利用传统机器学习模型对所述待检测图像进行预处理，以得到人脸图像，所述人脸图像为所述待检测图像的一部分；

将人脸图像输入至深度学习模型，以得到检测结果，所述检测结果包括人脸信息。

2.根据权利要求1所述的人脸检测方法，其特征在于，所述利用传统机器学习模型对所述待检测图像进行预处理包括：

利用所述传统机器学习模型提取所述待检测图像中的人脸，以得到所述人脸图像及其对应的人脸置信度。

3.根据权利要求2所述的人脸检测方法，其特征在于，所述将人脸图像输入至深度学习模型包括：

在所述人脸置信度小于第一门限时，将所述人脸图像输入至所述深度学习模型。

4.根据权利要求3所述的人脸检测方法，其特征在于，所述检测结果还包括检测置信度，所述方法还包括：

如果所述检测置信度达到第二门限，则保留所述检测结果中的人脸；

如果所述检测置信度低于所述第二门限，则删除所述检测结果中的人脸。

5.根据权利要求2所述的人脸检测方法，其特征在于，提取的人脸的数量为一个或多个，每一人脸对应一个人脸图像。

6.根据权利要求1所述的人脸检测方法，其特征在于，采用以下方式对所述深度学习模型进行训练：

获取训练样本，所述训练样本包括多个正样本和负样本，所述正样本为仅包含人脸部分的图像，所述负样本为不包含人脸的图像；

利用所述训练样本对所述深度学习模型进行训练。

7.根据权利要求1所述的人脸检测方法，其特征在于，所述传统机器学习模型包括adaboos检测器，所述深度学习模型包括onet检测器。

8.一种人脸检测装置，其特征在于，包括：

获取模块，用于获取待检测图像；

预处理模块，用于利用传统机器学习模型对所述待检测图像进行预处理，以得到人脸图像，所述人脸图像为所述待检测图像的一部分；

检测模块，用于将人脸图像输入至深度学习模型，以得到检测结果，所述检测结果包括人脸信息。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至7中任一项所述人脸检测方法的步骤。

10.一种终端设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至7中任一项所述人脸检测方法的步骤。

Images