CN111353473A - 一种人脸检测方法、装置、电子设备及存储介质 - Google Patents
一种人脸检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111353473A CN111353473A CN202010236282.0A CN202010236282A CN111353473A CN 111353473 A CN111353473 A CN 111353473A CN 202010236282 A CN202010236282 A CN 202010236282A CN 111353473 A CN111353473 A CN 111353473A
- Authority
- CN
- China
- Prior art keywords
- frame image
- face
- shoulder
- image
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸检测方法、装置、电子设备及存储介质，首先使用预先训练完成的人脸头肩检测模型，输出每个第一头肩框图像和第一人脸框图像；其次，将每个第一头肩框图像和每个第一人脸框图像进行匹配。匹配的过程为针对每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功。最后根据匹配成功的第一人脸框图像得到人脸检测结果并输出。相较于FPN技术，模型计算量大幅降低，因此提高了人脸检测的效率。并且通过计算第一人脸框图像和第一头肩框图像的交并比的方式确定出最终的人脸检测图像，相较于直接检测人脸图像提高了准确率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸检测方法、装置、电子设备及存储介质。
背景技术
人脸检测技术是人脸相关应用的基础，相关公司、研究机构在此领域投入了大量人力物力。近些年来，人脸检测技术取得了快速的进步和丰富的成果。但在监控场景的人脸检测中，还存在着很多的问题和技术难点。其中监控场景的人脸检出率和误检率一直是相关研究人员研究的重中之重。
然而，对于监控场景的人脸检测而言，场景一般较为复杂，人脸角度的变化、光照的变化等都会降低人脸检测的检出率和准确率。现有技术中在进行人脸检测时，一般根据用于目标检测的特征金字塔网络(Feature Pyramid Networks for Object Detection，FPN)技术进行检测。FPN技术使用特征金字塔来增强浅层高分辨率网络层特征的表达能力，然后再使用此层特征来检测人脸。此类方法因高分辨率网络层能保留部分人脸特征，所以会对人脸检测的准确性有一定提升，但是FPN技术存在的问题是网络模型非常复杂，模型计算量大幅提升，使得人脸检测的效率较低。并且，在经过多次下采样后，即使在高分辨率网络层中保留特征信息仍然较少，因此检测准确性仍然不能满足要求。
发明内容
本发明实施例提供了一种人脸检测方法、装置、电子设备及存储介质，用以解决现有技术中人脸检测效率较低，准确性较差的问题。
本发明实施例提供了一种人脸检测方法，所述方法包括：
将待检测的第一图像输入预先训练完成的人脸头肩检测模型，得到每个第一头肩框图像和第一人脸框图像；
针对所述每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功；
根据匹配成功的第一人脸框图像得到人脸检测结果并输出。
进一步地，所述根据匹配成功的第一人脸框图像得到人脸检测结果并输出之前，所述方法还包括：
将未匹配成功的每个第一头肩框图像输入预先训练完成的人脸检测模型，得到每个第一人脸框图像，将所述每个第一人脸框图像作为匹配成功的第一人脸框图像。
进一步地，所述根据匹配成功的第一人脸框图像得到人脸检测结果并输出包括：
根据非极大值抑制算法对所述匹配成功的每个第一人脸框图像进行筛选，得到人脸检测结果并输出。
进一步地，所述确定与该第一头肩框图像的交并比最大的第一人脸框图像之后，确定该第一人脸框图像和该第一头肩框图像匹配成功之前，所述方法还包括：
判断该第一头肩框图像与该第一人脸框图像的相交面积，与该第一人脸框图像的面积的比值是否大于预设的阈值，如果是，确定该第一人脸框图像与该第一头肩框图像匹配成功。
进一步地，所述将未匹配成功的每个第一头肩框图像输入预先训练完成的人脸检测模型之前，所述方法还包括：
针对匹配成功的每个第一人脸框图像，判断与该第一人脸框图像匹配成功的第一头肩框图像的数量是否为多个，如果是，将多个第一头肩框图像中，与该第一人脸框图像的交并比不是最大的第一头肩框图像更新为未匹配成功的第一头肩框图像。
进一步地，所述人脸头肩检测模型的训练过程包括：
针对第一训练集中的每个第二图像，将该第二图像和该第二图像对应的第一标注图像输入所述人脸头肩检测模型，对所述人脸头肩检测模型进行训练；其中，所述第一标注图像包括人脸框图像标注信息和头肩框图像标注信息。
进一步地，所述人脸检测模型的训练过程包括：
针对第二训练集中的每个第二头肩框图像，将该第二头肩框图像和该第二头肩框图像对应的第二标注图像输入所述人脸检测模型，对所述人脸检测模型进行训练；其中，所述第二标注图像包括人脸框图像标注信息。
另一方面，本发明实施例提供了一种人脸检测装置，所述装置包括：
第一确定模块，用于将待检测的第一图像输入预先训练完成的人脸头肩检测模型，得到每个第一头肩框图像和第一人脸框图像；
第二确定模块，用于针对所述每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功；
第三确定模块，用于根据匹配成功的第一人脸框图像得到人脸检测结果并输出。
进一步地，所述装置还包括：
第四确定模块，用于将未匹配成功的每个第一头肩框图像输入预先训练完成的人脸检测模型，得到每个第一人脸框图像，将所述每个第一人脸框图像作为匹配成功的第一人脸框图像。
进一步地，所述第三确定模块，具体用于根据非极大值抑制算法对所述匹配成功的每个第一人脸框图像进行筛选，得到人脸检测结果并输出。
进一步地，所述装置还包括：
判断模块，用于判断该第一头肩框图像与该第一人脸框图像的相交面积，与该第一人脸框图像的面积的比值是否大于预设的阈值，如果是，确定该第一人脸框图像与该第一头肩框图像匹配成功。
进一步地，所述装置还包括：
更新模块，用于针对匹配成功的每个第一人脸框图像，判断与该第一人脸框图像匹配成功的第一头肩框图像的数量是否为多个，如果是，将多个第一头肩框图像中，与该第一人脸框图像的交并比不是最大的第一头肩框图像更新为未匹配成功的第一头肩框图像。
进一步地，所述装置还包括：
第一训练模块，用于针对第一训练集中的每个第二图像，将该第二图像和该第二图像对应的第一标注图像输入所述人脸头肩检测模型，对所述人脸头肩检测模型进行训练；其中，所述第一标注图像包括人脸框图像标注信息和头肩框图像标注信息。
进一步地，所述装置还包括：
第一训练模块，用于针对第二训练集中的每个第二头肩框图像，将该第二头肩框图像和该第二头肩框图像对应的第二标注图像输入所述人脸检测模型，对所述人脸检测模型进行训练；其中，所述第二标注图像包括人脸框图像标注信息。
另一方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的方法步骤。
另一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
本发明实施例提供了一种人脸检测方法、装置、电子设备及存储介质，所述方法包括：将待检测的第一图像输入预先训练完成的人脸头肩检测模型，得到每个第一头肩框图像和第一人脸框图像；针对所述每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功；根据匹配成功的第一人脸框图像得到人脸检测结果并输出。
由于在本发明实施例中，首先使用预先训练完成的人脸头肩检测模型，输出每个第一头肩框图像和第一人脸框图像；其次，将每个第一头肩框图像和每个第一人脸框图像进行匹配。匹配的过程为针对每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功。最后根据匹配成功的第一人脸框图像得到人脸检测结果并输出。相较于FPN技术，模型计算量大幅降低，因此提高了人脸检测的效率。并且通过计算第一人脸框图像和第一头肩框图像的交并比的方式确定出最终的人脸检测图像，相较于直接检测人脸图像提高了准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人脸检测过程示意图；
图2为本发明实施例提供的人脸检测流程架构图；
图3为本发明实施例提供的人脸检测装置结构示意图；
图4为本发明实施例提供的电子设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的人脸检测过程示意图，该过程包括以下步骤：
S101：将待检测的第一图像输入预先训练完成的人脸头肩检测模型，得到每个第一头肩框图像和第一人脸框图像。
S102：针对所述每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功。
S103：根据匹配成功的第一人脸框图像得到人脸检测结果并输出。
本发明实施例提供的人脸检测方法应用于电子设备，该电子设备可以是PC、平板电脑等设备。
电子设备中保存有预先训练完成的人脸头肩检测模型，人脸头肩检测模型的作用是对输入的图像进行特征提取，得到该图像中的每个头肩框图像和每个人脸框图像。在本发明实施例中，将输入人脸头肩检测模型的图像，也就是待检测的图像作为第一图像。电子设备将第一图像输入至人脸头肩检测模型后，人脸头肩检测模型输出的每个头肩框图像作为每个第一头肩框图像，输出的每个人脸框图像作为每个第一人脸框图像。
另外，电子设备将第一图像输入人脸头肩检测模型之后，人脸头肩检测模型也可以输出每个第一头肩框和每个第一人脸框，其中，人脸头肩检测模型输出的每个第一头肩框和每个第一人脸框包含其在第一图像中的坐标信息，然后根据每个第一头肩框和每个第一人脸框的坐标信息，将每个第一头肩框和每个第一人脸框映射回第一图像，截取第一图像中，每个第一头肩框所包含的图像，作为每个第一头肩框图像，每个第一人脸框所包含的图像，作为每个第一人脸框图像。
在本发明实施例中，在将每个第一头肩框图像和第一人脸框图像进行匹配时，从两个方面进行：针对每个第一头肩框图像，一方面，若不存在与该第一头肩框图像存在交集的第一人脸框图像时，则直接确定该第一头肩框图像未匹配成功；另一方面，若存在与该第一头肩框图像存在交集的第一人脸框图像，首先确定该第一头肩框图像匹配成功，然后在存在交集的第一人脸框图像中选取哪个第一人脸框图像是与该第一头肩框图像匹配成功的第一人脸框图像。选取策略为，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功。
电子设备确定出每个第一人脸框图像之后，可以将每个第一人脸框图像都作为人脸检测结果并输出。为了避免输出的人脸检测结果重复，也可以在确定出每个第一人脸框图像之后，将不与其它第一人脸框图像有交集的第一人脸框图像作为人脸检测结果，并且针对每组有交集的第一人脸框图像，在该组第一人脸框图像中任一选取一张第一人脸框图像作为人脸检测结果，然后输出确定出的每个人脸检测结果。
由于在本发明实施例中，首先使用预先训练完成的人脸头肩检测模型，输出每个第一头肩框图像和第一人脸框图像；其次，将每个第一头肩框图像和每个第一人脸框图像进行匹配。匹配的过程为针对每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功。最后根据匹配成功的第一人脸框图像得到人脸检测结果并输出。相较于FPN技术，模型计算量大幅降低，因此提高了人脸检测的效率。并且通过计算第一人脸框图像和第一头肩框图像的交并比的方式确定出最终的人脸检测图像，相较于直接检测人脸图像提高了准确率。
实施例2：
为了使确定的每个第一人脸框图像更准确，在上述实施例的基础上，在本发明实施例中，所述根据匹配成功的第一人脸框图像得到人脸检测结果并输出之前，所述方法还包括：
将未匹配成功的每个第一头肩框图像输入预先训练完成的人脸检测模型，得到每个第一人脸框图像，将所述每个第一人脸框图像作为匹配成功的第一人脸框图像。
电子设备中保存有预先训练完成的人脸检测模型，人脸检测模型的作用是对输入的图像进行特征提取，得到该图像中的人脸框图像。在本发明实施例中，将每个第一头肩框图像输入人脸检测模型，人脸检测模型输出的每个人脸框图像作为每个第一人脸框图像，并且认为人脸检测模型输出的每个第一人脸框图像为匹配成功的第一人脸框图像。
同样的，人脸检测模型也可以输出每个第一人脸框，其中，人脸检测模型输出的每个第一人脸框包含其在第一头肩框图像中的坐标信息，然后根据每个第一人脸框的坐标信息，将每个第一人脸框映射回第一头肩框图像，截取第一头肩框图像中，第一人脸框所包含的图像，作为第一人脸框图像。
由于在本发明实施例中，首先使用预先训练完成的人脸头肩检测模型，输出包含细节更加丰富的、也更容易检测的每个第一头肩框图像和第一人脸框图像；其次，将未匹配成功的每个第一头肩框图像输入预先训练完成的人脸检测模型，基于人脸检测模型输出每个第一人脸框图像，进而得到最终的人脸检测结果。小人脸在头肩框图像中的占图比相较与在原图中的占图比大幅提高，其在人脸检测模型中也将保留更多的细节特征，因此基于头肩框图像进行人脸检测更准确。
实施例3：
在上述各实施例的基础上，在本发明实施例中，如果将每个第一人脸框图像都作为人脸检测结果并输出，则会出现很多第一人脸框图像重叠的情况，为了避免上述情况，减少输出结果冗余，进一步使得到的人脸检测结果更准确，所述根据匹配成功的第一人脸框图像得到人脸检测结果并输出包括：
根据非极大值抑制算法对所述匹配成功的每个第一人脸框图像进行筛选，得到人脸检测结果并输出。
其中，非极大值抑制算法是对存在重叠情况的第一人脸框图像进行的，如果某个第一人脸框图像不与其它的第一人脸框图像存在重叠情况，则该某个第一人脸框图像直接作为人脸检测结果。对于存在重叠情况的第一人脸框图像，通过非极大值抑制算法筛选出最准确的第一人脸框图像作为人脸检测结果。这样可以避免出现很多第一人脸框图像重叠的情况，进一步使得到的人脸检测结果更准确。
实施例4：
为了使每个第一头肩框图像和第一人脸框图像的匹配过程更准确，在上述各实施例的基础上，在本发明实施例中，所述确定与该第一头肩框图像的交并比最大的第一人脸框图像之后，确定该第一人脸框图像和该第一头肩框图像匹配成功之前，所述方法还包括：
判断该第一头肩框图像与该第一人脸框图像的相交面积，与该第一人脸框图像的面积的比值是否大于预设的阈值，如果是，确定该第一人脸框图像与该第一头肩框图像匹配成功。
在本发明实施例中，针对每个第一头肩框图像，电子设备在确定与该第一头肩框图像的交并比最大的第一人脸框图像之后，需要判断该第一头肩框图像与该第一人脸框图像的相交面积，与该第一人脸框图像的面积的比值是否大于预设的阈值，只有当该第一头肩框图像与该第一人脸框图像的相交面积，与该第一人脸框图像的面积的比值大于预设的阈值时，才确定该第一人脸框图像与该第一头肩框图像匹配成功。否则，仍然确定该第一头肩框图像为未匹配成功的第一头肩框图像。
实施例5：
在确定出匹配成功的第一人脸框图像和第一头肩框图像之后，有可能出现一个人脸框对应多个头肩框的情况，这样将一个人脸框作为与多个头肩框匹配的人脸框也是不准确的。因此，为了使每个第一头肩框图像和第一人脸框图像的匹配过程更准确，在上述各实施例的基础上，在本发明实施例中，所述将未匹配成功的每个第一头肩框图像输入预先训练完成的人脸检测模型之前，所述方法还包括：
针对匹配成功的每个第一人脸框图像，判断与该第一人脸框图像匹配成功的第一头肩框图像的数量是否为多个，如果是，将多个第一头肩框图像中，与该第一人脸框图像的交并比不是最大的第一头肩框图像更新为未匹配成功的第一头肩框图像。
在本发明实施例中，针对匹配成功的每个第一人脸框图像，若与该第一人脸框图像匹配成功的第一头肩框图像的数量为一个时，确定该第一人脸框图像与该第一头肩框图像匹配成功。若与该第一人脸框图像匹配成功的第一头肩框图像的数量为多个时，将与该第一人脸框图像的交并比最大的第一头肩框图像作为与该第一人脸框图像匹配成功的第一头肩框图像。而将其它与该第一人脸框图像的交并比不是最大的第一头肩框图像作为未匹配成功的第一头肩框图像。
根据本发明实施例提供的方案，确定出的相匹配的第一人脸框图像和第一头肩框图像是一对一相匹配的，一方面使得每个第一头肩框图像和第一人脸框图像的匹配过程更准确，另一方面使得确定未匹配成功的第一头肩框图像也更准确。
实施例6：
在本发明实施例中，对人脸头肩检测模型的训练过程，以及人脸检测模型的训练过程进行说明。
所述人脸头肩检测模型的训练过程包括：
针对第一训练集中的每个第二图像，将该第二图像和该第二图像对应的第一标注图像输入所述人脸头肩检测模型，对所述人脸头肩检测模型进行训练；其中，所述第一标注图像包括人脸框图像标注信息和头肩框图像标注信息。
电子设备中保存有第一训练集，该第一训练集中的样本图像称为第二图像。针对每个第二图像，保存有其对应的第一标注图像，第一标注图像包括人脸框图像标注信息和头肩框图像标注信息。标注信息包括标注的人脸框图像或头肩框图像在第二图像中的坐标信息。将每个第二图像和对应的第一标注图像输入人脸头肩检测模型，完成对人脸头肩检测模型的训练。其中，人脸头肩检测模型的主要功能是输出人脸框图像和头肩框图像，人脸头肩检测模型为一个离线训练的模型，其网络模型可以是基于YoloV3，其训练框架可以使用darknet，此人脸头肩检测模型是单阶段检测模型，有速度快、精度高的优点。在训练阶段，使用多种数据增强技术和设置合适的anchor，能使其对图像中的大中型目标具有较好的检测能力。
所述人脸检测模型的训练过程包括：
针对第二训练集中的每个第二头肩框图像，将该第二头肩框图像和该第二头肩框图像对应的第二标注图像输入所述人脸检测模型，对所述人脸检测模型进行训练；其中，所述第二标注图像包括人脸框图像标注信息。
电子设备中保存有第二训练集，该第二训练集中的样本图像称为第二头肩框图像。针对每个第二头肩框图像，保存有其对应的第二标注图像，第二标注图像包括人脸框图像标注信息。标注信息包括标注的人脸框图像在第二头肩框图像中的坐标信息。将每个第二头肩框图像和对应的第二标注图像输入人脸检测模型，完成对人脸检测模型的训练。其中，人脸检测模型的主要功能是将未匹配成功的头肩框图像，经缩放后送入人脸检测模型进行检测。将头肩框图像作为输入图像，可大幅提高小人脸的占图比，送入网络模型进行特征提取时，可保留更多人脸特征信息。此人脸检测模型是一个离线训练的网络模型，其模型结构同样可以是基于YoloV3，训练可以使用darknet框架，但其训练样本则是由带人脸框图像和头肩框图像标注信息的监控场景图像样本生成的，训练图像为头肩框图像，标签为人脸框图像标签，此人脸检测模型只负责检测人脸框图像。
下面结合人脸检测流程架构图对本案进行详细说明。
图2为本发明实施例提供的人脸检测流程架构图，包括人脸头肩检测模块、匹配模块、人脸检测模块和结果输出模块。电子设备将监控场景采集的第一图像发送至人脸头肩检测模块，人脸头肩检测模块包括人脸头肩检测模型，用于对第一图像进行特征提取，得到每个第一头肩框图像和第一人脸框图像，然后将每个第一头肩框图像和第一人脸框图像输入至匹配模块。匹配模块用于将每个第一头肩框图像和第一人脸框图像进行匹配，匹配成功的第一人脸框图像输出至结果输出模块，未匹配成功的第一头肩框图像输入至人脸检测模块。人脸检测模块包括人脸检测模型，用于对第一头肩框图像进行特征提取，得到每个第一人脸框图像并传输至结果输出模块。结果输出模块用于根据非极大值抑制算法对每个第一人脸框图像进行筛选，得到人脸检测结果并输出。
另外，匹配模块在将每个第一头肩框图像和第一人脸框图像进行匹配时，针对每个第一头肩框图像，根据IOU公式计算该第一头肩框图像与存在交集的每个第一人脸框图像的IOU分数。IOU公式为：
式中，Ss是第一头肩框图像的面积，Sf是第一人脸框图像的面积，Sinter是第一头肩框图像与第一人脸框图像相交的面积；然后找出与每个第一头肩框图像的IOU分数最大的那个第一人脸框图像。其次，计算与第一头肩框图像的IOU分数最大的第一人脸框图像的相交面积与第一人脸框图像面积的比值：Sinter/Sf，若此比值大于一定的阈值，该阈值可以是0.8、0.9等，则认为此第一头肩框图像与此第一人脸框图像匹配成功。接下来，若有两个及以上的第一头肩框图像匹配的是同一个第一人脸框图像，则再进行筛选，再此筛选具体是比较此第一人脸框图像与这些第一头肩框图像的IOU分数，选择IOU分数最大的第一头肩框图像为匹配成功的第一头肩框图像，其它的则认为是匹配失败的第一头肩框图像。最后将未匹配成功的第一头肩框图像输出至人脸检测模块。
本发明实施例提出的一种增强的监控场景人脸检测方法，首先使用人脸头肩检测模块，输出人脸框图像的同时，将包含信息更加丰富的、也更容易检测的头肩框图像一起输出；其次，在匹配模块，对头肩检测模块输出的人脸框图像和头肩框图像进行匹配，通过IOU分数、相交面积与人脸框图像面积比值以及重复匹配筛选等策略，可实现对人脸框图像和头肩框图像的精确匹配，之后将未匹配成功的头肩框图像输出，送入人脸检测模块；人脸检测模块输出人脸框图像，相较与小人脸在原图中的占图比，其在头肩框图像中的占图比将大幅提高，其在人脸检测模块中也将保留更多的特征信息，将有助于小人脸的检测。
本发明实施例对小人脸的检测，特别是监控场景小人脸的检测提升明显，并且，因本发明实施例使用的两个离线训练的检测模型，即人脸头肩检测模型和人脸检测模型都是单阶段检测模型，相较于基于FPN技术的双阶段检测模型，检测效率更高。因此，可以实现更加高效的，且效果更好的监控场景人脸检测。
实施例7：
图3为本发明实施例提供的人脸检测装置结构示意图，该装置包括：
第一确定模块31，用于将待检测的第一图像输入预先训练完成的人脸头肩检测模型，得到每个第一头肩框图像和第一人脸框图像；
第二确定模块32，用于针对所述每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功；
第三确定模块33，用于根据匹配成功的第一人脸框图像得到人脸检测结果并输出。
所述装置还包括：
第四确定模块34，用于将未匹配成功的每个第一头肩框图像输入预先训练完成的人脸检测模型，得到每个第一人脸框图像，将所述每个第一人脸框图像作为匹配成功的第一人脸框图像。
所述第三确定模块33，具体用于根据非极大值抑制算法对所述匹配成功的每个第一人脸框图像进行筛选，得到人脸检测结果并输出。
所述装置还包括：
判断模块35，用于判断该第一头肩框图像与该第一人脸框图像的相交面积，与该第一人脸框图像的面积的比值是否大于预设的阈值，如果是，确定该第一人脸框图像与该第一头肩框图像匹配成功。
所述装置还包括：
更新模块36，用于针对匹配成功的每个第一人脸框图像，判断与该第一人脸框图像匹配成功的第一头肩框图像的数量是否为多个，如果是，将多个第一头肩框图像中，与该第一人脸框图像的交并比不是最大的第一头肩框图像更新为未匹配成功的第一头肩框图像。
所述装置还包括：
第一训练模块37，用于针对第一训练集中的每个第二图像，将该第二图像和该第二图像对应的第一标注图像输入所述人脸头肩检测模型，对所述人脸头肩检测模型进行训练；其中，所述第一标注图像包括人脸框图像标注信息和头肩框图像标注信息。
所述装置还包括：
第一训练模块38，用于针对第二训练集中的每个第二头肩框图像，将该第二头肩框图像和该第二头肩框图像对应的第二标注图像输入所述人脸检测模型，对所述人脸检测模型进行训练；其中，所述第二标注图像包括人脸框图像标注信息。
实施例8：
在上述各实施例的基础上，本发明实施例中还提供了一种电子设备，如图4所示，包括：处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信；
所述存储器303中存储有计算机程序，当所述程序被所述处理器301执行时，使得所述处理器301执行如下步骤：
将待检测的第一图像输入预先训练完成的人脸头肩检测模型，得到每个第一头肩框图像和第一人脸框图像；
针对所述每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功；
根据匹配成功的第一人脸框图像得到人脸检测结果并输出。
基于同一发明构思，本发明实施例中还提供了一种电子设备，由于上述电子设备解决问题的原理与人脸检测方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。
本发明实施例提供的电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、网络侧设备等。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口302用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本发明实施例中处理器执行存储器上所存放的程序时，实现将待检测的第一图像输入预先训练完成的人脸头肩检测模型，得到每个第一头肩框图像和第一人脸框图像；针对所述每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功；根据匹配成功的第一人脸框图像得到人脸检测结果并输出。
由于在本发明实施例中，首先使用预先训练完成的人脸头肩检测模型，输出每个第一头肩框图像和第一人脸框图像；其次，将每个第一头肩框图像和每个第一人脸框图像进行匹配。匹配的过程为针对每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功。最后根据匹配成功的第一人脸框图像得到人脸检测结果并输出。相较于FPN技术，模型计算量大幅降低，因此提高了人脸检测的效率。并且通过计算第一人脸框图像和第一头肩框图像的交并比的方式确定出最终的人脸检测图像，相较于直接检测人脸图像提高了准确率。
实施例9：
在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
将待检测的第一图像输入预先训练完成的人脸头肩检测模型，得到每个第一头肩框图像和第一人脸框图像；
针对所述每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功；
根据匹配成功的第一人脸框图像得到人脸检测结果并输出。
基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，由于处理器在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与人脸检测方法相似，因此处理器在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施，重复之处不再赘述。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
在本发明实施例中提供的计算机可读存储介质内存储计算机程序，计算机程序被处理器执行时实现将待检测的第一图像输入预先训练完成的人脸头肩检测模型，得到每个第一头肩框图像和第一人脸框图像；针对所述每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功；根据匹配成功的第一人脸框图像得到人脸检测结果并输出。
由于在本发明实施例中，首先使用预先训练完成的人脸头肩检测模型，输出每个第一头肩框图像和第一人脸框图像；其次，将每个第一头肩框图像和每个第一人脸框图像进行匹配。匹配的过程为针对每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功。最后根据匹配成功的第一人脸框图像得到人脸检测结果并输出。相较于FPN技术，模型计算量大幅降低，因此提高了人脸检测的效率。并且通过计算第一人脸框图像和第一头肩框图像的交并比的方式确定出最终的人脸检测图像，相较于直接检测人脸图像提高了准确率。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种人脸检测方法，其特征在于，所述方法包括：
将待检测的第一图像输入预先训练完成的人脸头肩检测模型，得到每个第一头肩框图像和第一人脸框图像；
针对所述每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功；
根据匹配成功的第一人脸框图像得到人脸检测结果并输出。
2.如权利要求1所述的方法，其特征在于，所述根据匹配成功的第一人脸框图像得到人脸检测结果并输出之前，所述方法还包括：
将未匹配成功的每个第一头肩框图像输入预先训练完成的人脸检测模型，得到每个第一人脸框图像，将所述每个第一人脸框图像作为匹配成功的第一人脸框图像。
3.如权利要求2所述的方法，其特征在于，所述根据匹配成功的第一人脸框图像得到人脸检测结果并输出包括：
根据非极大值抑制算法对所述匹配成功的每个第一人脸框图像进行筛选，得到人脸检测结果并输出。
4.如权利要求1所述的方法，其特征在于，所述确定与该第一头肩框图像的交并比最大的第一人脸框图像之后，确定该第一人脸框图像和该第一头肩框图像匹配成功之前，所述方法还包括：
判断该第一头肩框图像与该第一人脸框图像的相交面积，与该第一人脸框图像的面积的比值是否大于预设的阈值，如果是，确定该第一人脸框图像与该第一头肩框图像匹配成功。
5.如权利要求4所述的方法，其特征在于，所述将未匹配成功的每个第一头肩框图像输入预先训练完成的人脸检测模型之前，所述方法还包括：
针对匹配成功的每个第一人脸框图像，判断与该第一人脸框图像匹配成功的第一头肩框图像的数量是否为多个，如果是，将多个第一头肩框图像中，与该第一人脸框图像的交并比不是最大的第一头肩框图像更新为未匹配成功的第一头肩框图像。
6.如权利要求1所述的方法，其特征在于，所述人脸头肩检测模型的训练过程包括：
针对第一训练集中的每个第二图像，将该第二图像和该第二图像对应的第一标注图像输入所述人脸头肩检测模型，对所述人脸头肩检测模型进行训练；其中，所述第一标注图像包括人脸框图像标注信息和头肩框图像标注信息。
7.如权利要求2所述的方法，其特征在于，所述人脸检测模型的训练过程包括：
针对第二训练集中的每个第二头肩框图像，将该第二头肩框图像和该第二头肩框图像对应的第二标注图像输入所述人脸检测模型，对所述人脸检测模型进行训练；其中，所述第二标注图像包括人脸框图像标注信息。
8.一种人脸检测装置，其特征在于，所述装置包括：
第一确定模块，用于将待检测的第一图像输入预先训练完成的人脸头肩检测模型，得到每个第一头肩框图像和第一人脸框图像；
第二确定模块，用于针对所述每个第一头肩框图像，确定与该第一头肩框图像的交并比最大的第一人脸框图像，确定该第一人脸框图像和该第一头肩框图像匹配成功；
第三确定模块，用于根据匹配成功的第一人脸框图像得到人脸检测结果并输出。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010236282.0A CN111353473B (zh) | 2020-03-30 | 2020-03-30 | 一种人脸检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010236282.0A CN111353473B (zh) | 2020-03-30 | 2020-03-30 | 一种人脸检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111353473A true CN111353473A (zh) | 2020-06-30 |
| CN111353473B CN111353473B (zh) | 2023-04-14 |
Family
ID=71194800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010236282.0A Active CN111353473B (zh) | 2020-03-30 | 2020-03-30 | 一种人脸检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111353473B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112037253A (zh) * | 2020-08-07 | 2020-12-04 | 浙江大华技术股份有限公司 | 目标跟踪方法及其装置 |
| CN112507786A (zh) * | 2020-11-03 | 2021-03-16 | 浙江大华技术股份有限公司 | 人体多部位检测框关联方法、装置、电子装置和存储介质 |
| CN112949526A (zh) * | 2021-03-12 | 2021-06-11 | 深圳海翼智新科技有限公司 | 人脸检测方法和装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130051677A1 (en) * | 2011-08-31 | 2013-02-28 | Morris Lee | Methods and apparatus to count people in images |
| US20140270370A1 (en) * | 2013-03-18 | 2014-09-18 | Kabushiki Kaisha Toshiba | Person recognition apparatus and person recognition method |
| CN105844234A (zh) * | 2016-03-21 | 2016-08-10 | 商汤集团有限公司 | 一种基于头肩检测的人数统计的方法及设备 |
| CN108563982A (zh) * | 2018-01-05 | 2018-09-21 | 百度在线网络技术（北京）有限公司 | 用于检测图像的方法和装置 |
| CN108596098A (zh) * | 2018-04-24 | 2018-09-28 | 北京京东尚科信息技术有限公司 | 人体部件的解析方法、系统、设备和存储介质 |
| CN108875481A (zh) * | 2017-08-31 | 2018-11-23 | 北京旷视科技有限公司 | 用于行人检测的方法、装置、系统及存储介质 |
| CN109740516A (zh) * | 2018-12-29 | 2019-05-10 | 深圳市商汤科技有限公司 | 一种用户识别方法、装置、电子设备及存储介质 |
| CN110427905A (zh) * | 2019-08-08 | 2019-11-08 | 北京百度网讯科技有限公司 | 行人跟踪方法、装置以及终端 |
| CN110427908A (zh) * | 2019-08-08 | 2019-11-08 | 北京百度网讯科技有限公司 | 一种人物检测的方法、装置及计算机可读存储介质 |
| CN110532985A (zh) * | 2019-09-02 | 2019-12-03 | 北京迈格威科技有限公司 | 目标检测方法、装置及系统 |
| CN110807385A (zh) * | 2019-10-24 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 目标检测方法、装置、电子设备及存储介质 |
| CN110852170A (zh) * | 2019-10-12 | 2020-02-28 | 北京文安智能技术股份有限公司 | 一种人员安全帽的检测方法、装置及系统 |
-
2020
- 2020-03-30 CN CN202010236282.0A patent/CN111353473B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130051677A1 (en) * | 2011-08-31 | 2013-02-28 | Morris Lee | Methods and apparatus to count people in images |
| US20140270370A1 (en) * | 2013-03-18 | 2014-09-18 | Kabushiki Kaisha Toshiba | Person recognition apparatus and person recognition method |
| CN105844234A (zh) * | 2016-03-21 | 2016-08-10 | 商汤集团有限公司 | 一种基于头肩检测的人数统计的方法及设备 |
| CN108875481A (zh) * | 2017-08-31 | 2018-11-23 | 北京旷视科技有限公司 | 用于行人检测的方法、装置、系统及存储介质 |
| CN108563982A (zh) * | 2018-01-05 | 2018-09-21 | 百度在线网络技术（北京）有限公司 | 用于检测图像的方法和装置 |
| CN108596098A (zh) * | 2018-04-24 | 2018-09-28 | 北京京东尚科信息技术有限公司 | 人体部件的解析方法、系统、设备和存储介质 |
| CN109740516A (zh) * | 2018-12-29 | 2019-05-10 | 深圳市商汤科技有限公司 | 一种用户识别方法、装置、电子设备及存储介质 |
| CN110427905A (zh) * | 2019-08-08 | 2019-11-08 | 北京百度网讯科技有限公司 | 行人跟踪方法、装置以及终端 |
| CN110427908A (zh) * | 2019-08-08 | 2019-11-08 | 北京百度网讯科技有限公司 | 一种人物检测的方法、装置及计算机可读存储介质 |
| CN110532985A (zh) * | 2019-09-02 | 2019-12-03 | 北京迈格威科技有限公司 | 目标检测方法、装置及系统 |
| CN110852170A (zh) * | 2019-10-12 | 2020-02-28 | 北京文安智能技术股份有限公司 | 一种人员安全帽的检测方法、装置及系统 |
| CN110807385A (zh) * | 2019-10-24 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 目标检测方法、装置、电子设备及存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112037253A (zh) * | 2020-08-07 | 2020-12-04 | 浙江大华技术股份有限公司 | 目标跟踪方法及其装置 |
| CN112507786A (zh) * | 2020-11-03 | 2021-03-16 | 浙江大华技术股份有限公司 | 人体多部位检测框关联方法、装置、电子装置和存储介质 |
| CN112507786B (zh) * | 2020-11-03 | 2022-04-08 | 浙江大华技术股份有限公司 | 人体多部位检测框关联方法、装置、电子装置和存储介质 |
| WO2022095907A1 (en) * | 2020-11-03 | 2022-05-12 | Zhejiang Dahua Technology Co., Ltd. | Associating method for detecting blocks of multiple parts of human body, apparatus, electronic device, and storage medium |
| CN112949526A (zh) * | 2021-03-12 | 2021-06-11 | 深圳海翼智新科技有限公司 | 人脸检测方法和装置 |
| CN112949526B (zh) * | 2021-03-12 | 2024-03-29 | 深圳海翼智新科技有限公司 | 人脸检测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111353473B (zh) | 2023-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111353473B (zh) | 一种人脸检测方法、装置、电子设备及存储介质 | |
| Yi et al. | ASSD: Attentive single shot multibox detector | |
| CN110135243B (zh) | 一种基于两级注意力机制的行人检测方法及系统 | |
| Maung | Real-time hand tracking and gesture recognition system using neural networks | |
| CN111062413A (zh) | 一种道路目标检测方法、装置、电子设备及存储介质 | |
| CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
| CN109961107B (zh) | 目标检测模型的训练方法、装置、电子设备及存储介质 | |
| CN110443350B (zh) | 基于数据分析的模型质量检测方法、装置、终端及介质 | |
| WO2020123263A1 (en) | Human pose estimation | |
| CN104616002A (zh) | 用于年龄段判断的面部识别设备 | |
| CN111104830A (zh) | 用于图像识别的深度学习模型、该模型的训练装置及方法 | |
| CN109215037A (zh) | 目标图像分割方法、装置及终端设备 | |
| CN111695392A (zh) | 基于级联的深层卷积神经网络的人脸识别方法及系统 | |
| CN112132216B (zh) | 车型识别方法、装置、电子设备及存储介质 | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN113239914B (zh) | 课堂学生表情识别及课堂状态评估方法、装置 | |
| CN113850136A (zh) | 基于yolov5与BCNN的车辆朝向识别方法及系统 | |
| CN113158869A (zh) | 图像识别方法、装置、终端设备及计算机可读存储介质 | |
| WO2022135056A1 (en) | Target face tracking method, apparatus for tracking target face, method for training face feature extraction model, electronic device, and computer-readable non-transitory storage medium | |
| CN115019371A (zh) | 异常状态确定方法、装置、设备、介质及产品 | |
| CN115375965A (zh) | 一种目标场景识别的预处理方法、目标场景识别方法 | |
| Yao et al. | MLP-based Efficient Convolutional Neural Network for Lane Detection | |
| CN111967579A (zh) | 使用卷积神经网络对图像进行卷积计算的方法和装置 | |
| CN112633352A (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
| CN113327215B (zh) | 一种宽动态图像合成方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |