CN111310710A - 人脸检测方法与系统 - Google Patents

人脸检测方法与系统 Download PDF

Info

Publication number
CN111310710A
CN111310710A CN202010138386.8A CN202010138386A CN111310710A CN 111310710 A CN111310710 A CN 111310710A CN 202010138386 A CN202010138386 A CN 202010138386A CN 111310710 A CN111310710 A CN 111310710A
Authority
CN
China
Prior art keywords
image
face
region
map
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010138386.8A
Other languages
English (en)
Inventor
赵娅琳
陆进
陈斌
宋晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010138386.8A priority Critical patent/CN111310710A/zh
Publication of CN111310710A publication Critical patent/CN111310710A/zh
Priority to PCT/CN2020/135079 priority patent/WO2021174940A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种人脸检测方法，包括：获取目标用户的待处理图像；提取所述待处理图像的头部区域图、脸部区域图及身体区域图，以得到所述头部区域图、脸部区域图与身体区域图对应的第一分类特征图与第一特征图；将所述头部区域图、脸部区域图及身体区域图的第一分类特征图分类回归处理，以得到所述待处理图像的待匹配图像；将所述头部区域图、脸部区域图与身体区域图的第一分类特征图与所述待匹配图像进行位置回归处理，以获取所述待匹配图像中的目标人脸。本发明实施例还公开了一种人脸检测系统，本发明的有益效果在于：能够对网络进行改进，从而提高小脸检测的精确度。

Description

人脸检测方法与系统
技术领域
本发明实施例涉及人脸识别领域，尤其涉及一种人脸检测方法与系统。
技术背景
目前，人脸检测在考勤，注册等领域应用已经十分成熟，精度相当高。但在楼宇及室外等不受控制的场景下，小尺度人脸检测仍然是一项巨大的挑战。现有检测方案是：利用深度网络的多层特征图信息进行人脸检测；特别是抽取低层特征图信息，提高小脸的检测精度。但效果并不理想，原因有三：1.小脸由于尺度较小，在经过低层卷积网络的各种下采样操作后，目标特征信息损失过大，只留下很少一部分信息用于检测；2.人为预设的预测框在复杂环境下的鲁棒性较好，应用广泛；但由于真实人脸，预测框尺度，感受野不匹配，造成检出率随着人脸尺度的减小急剧下降。3.人为预设的预测框需要精细设计，在检测阶段需要配合采样策略，才能提高小脸检出率。现有技术的一种soft and hard NMS的方法来提高小脸的检出率。本质是一个后处理的过程，即在网络的检测阶段加入了一个新的模块，对网络预测出的人脸框进行处理，以双阈值NMS的方式提高检脸精度。但对网络的能力并没有做太多改进，意味着网络本质上对小脸的关注度没有太多提升，从而导致小脸的检测精度不够。
发明内容
有鉴于此，本发明实施例的目的是提供一种人脸检测方法与系统，能够对网络进行改进，从而提高小脸检测的精确度。
为实现上述目的，本发明实施例提供了一种人脸检测方法，包括：
获取目标用户的待处理图像；
提取所述待处理图像的头部区域图、脸部区域图及身体区域图，以分别得到所述头部区域图、脸部区域图及身体区域图对应的第一分类特征图与第一特征图；
将所述头部区域图、脸部区域图及身体区域图的第一分类特征图进行分类回归处理，以得到所述待处理图像的待匹配图像；
将所述头部区域图、脸部区域图及身体区域图的第一分类特征图与所述待处理图像进行位置回归处理，以获取所述待匹配图像中的目标人脸。
进一步地，提取所述待处理图像的头部区域图、脸部区域图及身体区域图，以分别得到所述头部区域图、脸部区域图及身体区域图对应的第一分类特征图与第一特征图包括：
截取所述待处理图像的头部区域图、脸部区域图与身体区域图；
对所述待处理图像进行卷积与池化操作，分别得到所述待处理图像的头部区域图、脸部区域图与身体区域图的第一分类特征图与第一特征图。
进一步地，将所述头部区域图、脸部区域图及身体区域图的第一分类特征图与所述待处理图像进行位置回归处理，以获取所述待处理图像中的目标人脸包括：
通过concat层将所述待匹配图像头部区域图、脸部区域图与身体区域图的第一特征图进行特征拼接处理，得到所述第二特征图；
对所述第二特征图进行卷积操作，以获得第三特征图；
通过回归损失函数对所述待匹配图像及所述第三特征图进行位置回归处理，以得到所述待匹配图像中的目标图像。
进一步地，通过回归损失函数对所述待匹配图像及所述第三特征图进行位置回归处理，以得到所述待匹配图像中的目标图像包括：
通过回归损失函数计算所述待匹配图像及所述第三特征图的损失值；
若所述第三特征图与所述待匹配图像的损失值小于预设阈值，则将所述待匹配图像的人脸为目标人脸。
进一步地，所述回归损失函数的计算公式为：
Figure BDA0002398133780000031
其中，
Figure BDA0002398133780000032
代表所述头部区域图、脸部区域图与身体区域图的第三特征图的像素点到所述待匹配图像的左上角(tx，ty)与右下角(dx，dy)的距离；
Figure BDA0002398133780000033
表示所述待匹配图像的头部区域图、脸部区域图与身体区域图的像素点到所述待匹配图像的左上角与右下角的实际距离，i表示像素点；Lloc表示损失值。
为实现上述目的，本发明实施例还提供了一种人脸检测系统，包括：
获取模块，用于获取目标用户的待处理图像；
提取模块，用于提取所述待处理图像的头部区域图、脸部区域图及身体区域图，以分别得到所述头部区域图、脸部区域图及身体区域图对应的第一分类特征图与第一特征图；
分类回归模块，用于将所述头部区域图、脸部区域图及身体区域图的第一分类特征图进行分类回归处理，以得到所述待处理图像的待匹配图像；
位置回归模块，用于将所述头部区域图、脸部区域图与身体区域图的第一分类特征图与所述待匹配图像进行位置回归处理，以获取所述待匹配图像中的目标人脸。
进一步地，所述提取模块还用于：
截取所述待处理图像的头部区域图、脸部区域图与身体区域图；
对所述待处理图像进行卷积与池化操作，分别得到所述待处理图像的头部区域图、脸部区域图与身体区域图的第一分类特征图与第一特征图。
进一步地，所述位置回归模块还用于：
通过concat层将每个所述待匹配图像头部区域图、脸部区域图与身体区域图的第一特征图进行特征拼接处理，得到第二特征图；
对所述第二特征图进行卷积操作，以获得第三特征图；
通过回归损失函数对所述待匹配图像及所述第三特征图进行位置回归处理，以得到所述待匹配图像中的目标人脸。
为实现上述目的，本发明实施例还提供了一种计算机设备，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的人脸检测系统，所述人脸检测系统被所述处理器执行时实现如上所述的人脸检测方法的步骤。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上所述的人脸检测方法的步骤。
本发明实施例提供的人脸检测方法与系统，通过将身体及头部区域加强到人脸识别上，增强了人脸识别的准确度。特征提取时，采用了卷积操作与池化操作，减少了脸部的特征损失，保留尽可能多的特征用于检测和回归。但在待匹配图像的预测时，只使用人脸检测的分支进分类，并没有增加额外的计算量，因此提高了人脸的检出率。
附图说明
图1为本发明人脸检测方法实施例一的流程图。
图2为本发明实施例一图1中步骤S104的流程图。
图3为本发明实施例一图1中步骤S106的流程图。
图4为本发明实施例一图1中步骤S106C的流程图。
图5为本发明人脸检测系统实施例二的程序模块示意图。
图6为本发明计算机设备实施例三的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参阅图1，示出了本发明实施例一之人脸检测方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备2为执行主体进行示例性描述。具体如下。
步骤S100，获取目标用户的待处理图像。
具体地，通过摄像机等拍照软件获取目标用户的待处理图像，待处理图像为目标用户的全身图像，包括目标用户的头部、脸部和身体。
步骤S102，提取所述待处理图像的头部区域图、脸部区域图及身体区域图的特征，以分别得到所述头部区域图、脸部区域图及身体区域图对应的第一分类特征图与第一特征图。
具体地，对待处理图像的头部区域、脸部区域和身体区域进行截取，得到头部区域图、脸部区域图和身体区域图。对头部区域图、脸部区域图及身体区域图进行第一层卷积与第二层池化的两次下采样，分别得到头部区域图、脸部区域图及身体区域图的四张第一特征图与一张第一特征分类图，经过一层卷积时，卷积核数目设置相同，对以保证第一特征图与第一特征分类图的特征提取精度一致。第一分类特征图为像素特征图，用于识别出待处理图像相似的待匹配图像；第一特征图为关键点位置特征图，用于对待处理图像进行位置回归。
示例性地，参阅图2，步骤S102进一步包括：
步骤S102A，截取所述待处理图像的头部区域图、脸部区域图与身体区域图。
具体地，通过识别算法对待处理图像进行识别，分别识别出目标用户的头部区域、脸部区域和身体区域，并进行截取，识别算法可以为：opencv、Sift算法等。
步骤S102B，对所述待处理图像进行卷积与池化操作，分别得到所述待处理图像的头部区域图、脸部区域图与身体区域图的第一分类特征图与第一特征图。
具体地，卷积与池化操作提取出待处理图像的头部区域图、脸部区域图与身体区域图的图像特征，形成各个头部区域图、脸部区域图与身体区域图的第一分类特征图与第一特征图。卷积操作对待处理图像进行锐化和边缘提取，得到头部区域图、脸部区域图与身体区域图，并利用池化操作将头部区域图、脸部区域图与身体区域图的特征进行压缩，且不改变图像的特征，得到每个头部区域图、脸部区域图与身体区域图的4张位置回归特征图与1张分类特征图。池化操作对较大的位置回归特征图与分类特征图进行压缩，得到第一分类特征图与第一特征图。一方面使特征图变小简化网络计算的复杂度，另一方面提取特征图的主要特征，具有旋转平移不变性，能够保证图像整体上发生了平移一样能提取特征进行匹配。
步骤S104，将每个所述头部区域图、脸部区域图及身体区域图的第一分类特征图进行分类回归处理，以得到所述待处理图像的待匹配图像。
具体地，将第一分类特征图与待处理图像的脸部特征图、头部特征图以及身体特征图分别进行计算，确定第一分类特征图中个特征位置是否发生变化。通过损失函数对第一分类特征图与脸部特征图进行分类回归处理，判断第一分类特征图上每一个像素点是否属于待处理图像上的像素点，可以使用损失函数进行计算，例如使用分类loss损失函数(L2-loss)，以判断第一分类特征图上每一个像素点是否属于待处理图像上的目标像素。在判断时，可以通过设置阈值的方式，以筛选出与待处理图像的置性度大于预设阈值的第一待匹配图像。
示例性地，将所述第一分类特征图通过损失函数得到初步坐标点，可使用L2-loss，判断第一分类特征图上每一个像素点是否属于目标坐标，公式如下：
Lcls(y,y*)＝‖y-y*‖2；
其中，Lcls(y,y*)表示像素y与像素y*分别为预测特征图上每一个像素是否为目标的置信度，ground truth真实特征图上的每一个像素值∈(0,1)。将每个头部区域图、脸部区域图与身体区域图的第一特征图与分类图像的置信度大于预设值的分类图像筛选出来得到第二待匹配图像，与第一分类特征图得到的第一待匹配图像进行结合，进一步筛选得到待匹配图像。
步骤S106，将每个所述头部区域图、脸部区域图及身体区域图的第一分类特征图与所述待匹配图像进行位置回归处理，以获取所述待匹配图像中的目标人脸。
具体地，通过损失函数对第一分类特征图和第一特征图以及待匹配图像进行位置回归处理，得到待匹配图像中的目标图像。
示例性地，参阅图3，步骤S106进一步包括：
步骤S106A，通过concat层将每个所述待匹配图像头部区域图、脸部区域图与身体区域图的第一特征图进行特征拼接处理，得到第二特征图。
具体地，concat层将头部区域图、脸部区域图与身体区域图的第一特征图综合起来进行特征拼接处理，在特征采样时，提取的特征通道的是一致的，将头部区域图、脸部区域图与身体区域图的第一特征图每个特征通道进行拼接，得到用于位置分类回归的待处理图像的第二特征图。由于第一特征图有四个不同精度的位置回归特征图，特征拼接时，可得到四张不同精确度的第二特征图。将待处理图像经过上述处理后的头部区域图、脸部区域图与身体区域图的第一征图的特征全部连接起来，得到第二特征图。每个特征通道进行连接，得到目标用户全身的第二特征图。
步骤S106B，对所述第二特征图进行卷积操作，以获得第三特征图。
具体地，将第一特征分别使用ROI-pooled和L2正则化，然后将这些结果的特征合并，得到第二特征图，并重新定标，以匹配特征的原始比例。然后应用1x1卷积以匹配原始网络的通道数量，得到第三特征图。
步骤S106C，通过回归损失函数对所述第三特征图进行位置回归处理，以获取所述待匹配图像中的目标人脸。
具体地，通过bbox回归loss处理后，得到待处理图像的精确的头部位置、脸部位置与身体位置，以使第三特征图的特征的位置在特征拼接时不发生变化。计算待处理图像的头部位置、脸部位置与身体位置与待匹配像中的头部位置、脸部位置与身体位置之间的距离，得到距离差异值最小的待匹配图像即为目标图像。
示例性地，参阅图4，步骤S106C进一步包括：
步骤S106C1，通过回归损失函数计算所述待匹配图像及所述第三特征图的损失值。
具体地，回归损失函数可以为loss函数，利用bbox进行回归。
示例性地，所述回归损失函数的计算公式为：
Figure BDA0002398133780000081
其中，
Figure BDA0002398133780000082
代表所述头部区域图、脸部区域图与身体区域图的第三特征图的像素点到所述待匹配图像的左上角(tx，ty)与右下角(dx，dy)的距离；
Figure BDA0002398133780000083
表示所述待匹配图像的头部区域图、脸部区域图与身体区域图的像素点到所述待匹配图像的左上角与右下角的实际距离，i表示像素点；Lloc表示损失值。
具体地，当Lloc损失值越小时，表示两者的相似度越大，越匹配。
步骤S106C2，若所述第三特征图与所述待匹配图像的损失值小于预设阈值，则将所述待匹配图像的人脸为目标人脸。
具体地，筛选出待匹配图像分别与头部区域图、脸部区域图与身体区域图的损失值最小的待匹配图像，提取所述待匹配图像的人脸作为目标人脸。
实施例二
请继续参阅图5，示出了本发明人脸检测系统实施例二的程序模块示意图。在本实施例中，人脸检测系统20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述人脸检测方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述人脸检测系统20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
获取模块200，用于获取目标用户的待处理图像。
具体地，通过摄像机等拍照软件获取目标用户的待处理图像，待处理图像为目标用户的全身图像，包括目标用户的头部、脸部和身体。
提取模块202，用于提取所述待处理图像的头部区域图、脸部区域图及身体区域图，以分别得到所述头部区域图、脸部区域图及身体区域图对应的第一分类特征图与第一特征图。第一分类特征图为像素特征图，用于识别出待处理图像相似的待匹配图像；第一特征图为关键点位置特征图，用于对待处理图像进行位置回归。
具体地，对待处理图像的头部区域、脸部区域和身体区域进行截取，得到头部区域图、脸部区域图和身体区域图。对头部区域图、脸部区域图及身体区域图进行第一层卷积与第二层池化的两次下采样，分别得到头部区域图、脸部区域图及身体区域图的四张第一特征图与一张第一特征分类图，经过一层卷积时，卷积核数目设置相同，对以保证第一特征图与第一特征分类图的特征提取精度一致。
示例性地，提取模块202还用于：
截取所述待处理图像的头部区域图、脸部区域图与身体区域图。
具体地，通过识别算法对待处理图像进行识别，分别识别出目标用户的头部区域、脸部区域和身体区域，并进行截取，识别算法可以为：opencv、Sift算法等。
对所述待处理图像进行卷积与池化操作，分别得到所述待处理图像的头部区域图、脸部区域图与身体区域图的第一分类特征图与第一特征图。
具体地，卷积与池化操作提取出待处理图像的头部区域图、脸部区域图与身体区域图的图像特征，形成各个头部区域图、脸部区域图与身体区域图的第一分类特征图与第一特征图。卷积操作对待处理图像进行锐化和边缘提取，得到头部区域图、脸部区域图与身体区域图，并利用池化操作将头部区域图、脸部区域图与身体区域图的特征进行压缩，且不改变图像的特征，得到每个头部区域图、脸部区域图与身体区域图的4张位置回归特征图与1张分类特征图。池化操作对较大的位置回归特征图与分类特征图进行压缩，得到第一分类特征图与第一特征图。一方面使特征图变小简化网络计算的复杂度，另一方面提取特征图的主要特征，具有旋转平移不变性，能够保证图像整体上发生了平移一样能提取特征进行匹配。
分类回归模块204，用于将所述头部区域图、脸部区域图及身体区域图的第一分类特征图进行分类回归处理，以得到所述待处理图像的待匹配图像。
具体地，将第一分类特征图与待处理图像的脸部特征图、头部特征图以及身体特征图分别进行计算，确定第一分类特征图中个特征位置是否发生变化。通过损失函数对第一分类特征图与脸部特征图进行分类回归处理，判断第一分类特征图上每一个像素点是否属于待处理图像上的像素点，可以使用损失函数进行计算，例如使用分类loss损失函数(L2-loss)，以判断第一分类特征图上每一个像素点是否属于待处理图像上的目标像素。在判断时，可以通过设置阈值的方式，以筛选出与待处理图像的置性度大于预设阈值的第一待匹配图像。
示例性地，将所述第一特征图通过损失函数得到初步坐标点，可使用L2-loss，判断第一特征图上每一个像素点是否属于目标坐标，公式如下：
Lcls(y,y*)＝‖y-y*‖2；
其中，Lcls(y,y*)表示像素y与像素y*分别与预测特征图上每一个像素是否为目标的置信度，ground truth真实特征图上的每一个像素值∈(0,1)。将每个头部区域图、脸部区域图与身体区域图的第一特征图与分类图像的置信度大于预设值的分类图像筛选出来得到第二待匹配图像，与第一分类特征图得到的第一待匹配图像进行结合，进一步筛选得到待匹配图像。
位置回归模块206，用于将每个所述头部区域图、脸部区域图及身体区域图的第一分类特征图与所述待匹配图像进行位置回归处理，以获取所述待匹配图像中的目标人脸。
具体地，通过损失函数对第一分类特征图和第一特征图以及待匹配图像进行位置回归处理，得到待匹配图像中的目标图像。
示例性地，位置回归模块206还用于：
通过concat层将每个所述待匹配图像头部区域图、脸部区域图与身体区域图的第一特征图进行特征拼接处理，得到第二特征图。
具体地，concat层将头部区域图、脸部区域图与身体区域图的第一特征图综合起来进行特征拼接处理，得到第二特征图。在特征采样时，提取的特征通道的是一致的，将头部区域图、脸部区域图与身体区域图的第一特征图每个特征通道进行拼接，得到用于位置分类回归的待处理图像的第二特征图。由于第一特征图有四个不同精度的位置回归特征图，特征拼接时，可得到四张不同精确度的第二特征图。每个特征通道进行连接，得到目标用户全身的特征图。
对所述第二特征图进行卷积操作，以获得第三特征图。
具体地，将第一特征分别使用ROI-pooled和L2正则化，然后将这些结果的特征合并，得到第二特征图，并重新定标，以匹配特征的原始比例。然后应用1x1卷积以匹配原始网络的通道数量，得到第三特征图。
通过回归损失函数对所述待匹配图像及所述第三特征图进行位置回归处理，以获取所述待匹配图像中的目标人脸。
具体地，通过bbox回归loss处理后，得到待处理图像的精确的头部位置、脸部位置与身体位置，以使第三特征图的特征的位置在特征拼接时不发生变化。计算待处理图像的头部位置、脸部位置与身体位置与待匹配像中的头部位置、脸部位置与身体位置之间的距离，得到距离差异值最小的待匹配图像即为目标图像。
示例性地，位置回归模块206还用于：
通过回归损失函数计算所述待匹配图像及所述第三特征图的损失值。
具体地，回归损失函数可以为loss函数，利用bbox进行回归。
示例性地，所述回归损失函数的计算公式为：
Figure BDA0002398133780000111
其中，
Figure BDA0002398133780000112
代表所述头部区域图、脸部区域图与身体区域图的第三特征图的像素点到所述待匹配图像的左上角(tx，ty)与右下角(dx，dy)的距离；
Figure BDA0002398133780000113
表示所述待匹配图像的头部区域图、脸部区域图与身体区域图的像素点到所述待匹配图像的左上角与右下角的实际距离，i表示像素点；Lloc表示损失值。
具体地，当Lloc损失值越小时，表示两者的相似度越大，越匹配。
若所述第三特征图与所述待匹配图像的损失值小于预设阈值，则将所述待匹配图像的人脸为目标人脸。
具体地，筛选出待匹配图像分别与头部区域图、脸部区域图与身体区域图的损失值最小的待匹配图像，提取所述待匹配图像的人脸作为目标人脸。
实施例三
参阅图6，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图6所示，所述计算机设备2至少包括，但不限于，可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及人脸检测系统20。其中：
本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件，例如实施例二的人脸检测系统20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行人脸检测系统20，以实现实施例一的人脸检测方法。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述服务器2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述服务器2与外部终端相连，在所述服务器2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图6仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器21中的所述人脸检测系统20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。
例如，图5示出了所述实现人脸检测系统20实施例二的程序模块示意图，该实施例中，所述人脸检测系统20可以被划分为获取模块200、提取模块202、分类回归模块204及位置回归模块206。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述人脸检测系统20在所述计算机设备2中的执行过程。所述程序模块200-206的具体功能在实施例二中已有详细描述，在此不再赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储人脸检测系统20，被处理器执行时实现实施例一的人脸检测方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种人脸检测方法，其特征在于，包括：
获取目标用户的待处理图像；
提取所述待处理图像的头部区域图、脸部区域图及身体区域图，以分别得到所述头部区域图、脸部区域图及身体区域图对应的第一分类特征图与第一特征图；
将所述头部区域图、脸部区域图及身体区域图的第一分类特征图进行分类回归处理，以得到所述待处理图像的待匹配图像；
将所述头部区域图、脸部区域图及身体区域图的第一分类特征图与所述待匹配图像进行位置回归处理，以获取所述待匹配图像中的目标人脸。
2.根据权利要求1所述的人脸检测方法，其特征在于，提取所述待处理图像的头部区域图、脸部区域图及身体区域图，以分别得到所述头部区域图、脸部区域图及身体区域图对应的第一分类特征图与第一特征图包括：
截取所述待处理图像的头部区域图、脸部区域图与身体区域图；
对所述待处理图像进行卷积与池化操作，分别得到所述待处理图像的头部区域图、脸部区域图与身体区域图的第一分类特征图与第一特征图。
3.根据权利要求1所述的人脸检测方法，其特征在于，将所述头部区域图、脸部区域图与身体区域图的第一分类特征图与所述待匹配图像进行位置回归处理，以获取所述待匹配图像中的目标人脸包括：
通过concat层将所述待匹配图像头部区域图、脸部区域图与身体区域图的第一特征图进行特征拼接处理，得到第二特征图；
对所述第二特征图进行卷积操作，以获得第三特征图；
通过回归损失函数对所述待匹配图像及所述第三特征图进行位置回归处理，以得到所述待匹配图像中的目标人脸。
4.根据权利要求3所述的人脸检测方法，其特征在于，通过回归损失函数对所述待匹配图像及所述第三特征图进行位置回归处理，以得到所述待匹配图像中的目标人脸包括：
通过回归损失函数计算所述待匹配图像及所述第三特征图的损失值；
若所述第三特征图与所述待匹配图像的损失值小于预设阈值，则将所述待匹配图像的人脸为目标人脸。
5.根据权利要求4所述的人脸检测方法，其特征在于，所述回归损失函数的计算公式为：
Figure FDA0002398133770000021
其中，
Figure FDA0002398133770000022
代表所述头部区域图、脸部区域图与身体区域图的第三特征图的像素点到所述待匹配图像的左上角(tx，ty)与右下角(dx，dy)的距离；
Figure FDA0002398133770000023
表示所述待匹配图像的头部区域图、脸部区域图与身体区域图的像素点到所述待匹配图像的左上角与右下角的实际距离，i表示像素点；Lloc表示损失值。
6.一种人脸检测系统，其特征在于，包括：
获取模块，用于获取目标用户的待处理图像；
提取模块，用于提取所述待处理图像的头部区域图、脸部区域图及身体区域图，以分别得到所述头部区域图、脸部区域图及身体区域图对应的第一分类特征图与第一特征图；
分类回归模块，用于将所述头部区域图、脸部区域图与身体区域图的第一分类特征图进行分类回归处理，以得到所述待处理图像的待匹配图像；
位置回归模块，用于将所述头部区域图、脸部区域图与身体区域图的第一分类特征图与所述待匹配图像进行位置回归处理，以获取所述待匹配图像中的目标图像。
7.根据权利要求5所述的人脸检测系统，其特征在于，所述提取模块还用于：
截取所述待处理图像的头部区域图、脸部区域图与身体区域图；
对所述待处理图像进行卷积与池化操作，分别得到所述待处理图像的头部区域图、脸部区域图与身体区域图的第一分类特征图与第一特征图。
8.根据权利要求5所述的人脸检测系统，其特征在于，所述位置回归模块还用于：
通过concat层将每个所述待匹配图像头部区域图、脸部区域图与身体区域图的第一特征图进行特征拼接处理，得到每个第二特征图；
对所述第二特征图进行卷积操作，以获得第三特征图；
通过回归损失函数对所述待匹配图像及所述第三特征图进行位置回归处理，以获取所述待匹配图像中的目标人脸。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的人脸检测系统，所述人脸检测系统被所述处理器执行时实现如权利要求1-5中任一项所述的人脸检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1-5中任一项所述的人脸检测方法的步骤。
CN202010138386.8A 2020-03-03 2020-03-03 人脸检测方法与系统 Pending CN111310710A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010138386.8A CN111310710A (zh) 2020-03-03 2020-03-03 人脸检测方法与系统
PCT/CN2020/135079 WO2021174940A1 (zh) 2020-03-03 2020-12-10 人脸检测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010138386.8A CN111310710A (zh) 2020-03-03 2020-03-03 人脸检测方法与系统

Publications (1)

Publication Number Publication Date
CN111310710A true CN111310710A (zh) 2020-06-19

Family

ID=71145482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010138386.8A Pending CN111310710A (zh) 2020-03-03 2020-03-03 人脸检测方法与系统

Country Status (2)

Country Link
CN (1) CN111310710A (zh)
WO (1) WO2021174940A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814612A (zh) * 2020-06-24 2020-10-23 浙江大华技术股份有限公司 目标的脸部检测方法及其相关装置
WO2021174940A1 (zh) * 2020-03-03 2021-09-10 平安科技（深圳）有限公司 人脸检测方法与系统
CN113469041A (zh) * 2021-06-30 2021-10-01 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439938B (zh) * 2022-09-09 2023-09-19 湖南智警公共安全技术研究院有限公司 一种防分裂的人脸档案数据归并处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644208A (zh) * 2017-09-21 2018-01-30 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN108416265A (zh) * 2018-01-30 2018-08-17 深圳大学 一种人脸检测方法、装置、设备及存储介质
WO2019091271A1 (zh) * 2017-11-13 2019-05-16 苏州科达科技股份有限公司 一种人脸检测方法以及人脸检测系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717424B (zh) * 2019-09-26 2023-06-30 南昌大学 一种基于预处理机制的实时极小人脸检测方法
CN111310710A (zh) * 2020-03-03 2020-06-19 平安科技（深圳）有限公司 人脸检测方法与系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644208A (zh) * 2017-09-21 2018-01-30 百度在线网络技术（北京）有限公司 人脸检测方法和装置
WO2019091271A1 (zh) * 2017-11-13 2019-05-16 苏州科达科技股份有限公司 一种人脸检测方法以及人脸检测系统
CN108416265A (zh) * 2018-01-30 2018-08-17 深圳大学 一种人脸检测方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TANG, XU等: ""PyramidBox: A Context-assisted Single Shot Face Detector"", 《15TH EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV)》, pages 1 - 11 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021174940A1 (zh) * 2020-03-03 2021-09-10 平安科技（深圳）有限公司 人脸检测方法与系统
CN111814612A (zh) * 2020-06-24 2020-10-23 浙江大华技术股份有限公司 目标的脸部检测方法及其相关装置
CN113469041A (zh) * 2021-06-30 2021-10-01 北京市商汤科技开发有限公司 一种图像处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2021174940A1 (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN111310710A (zh) 人脸检测方法与系统
CN111428581B (zh) 人脸遮挡检测方法及系统
CN108229509B (zh) 用于识别物体类别的方法及装置、电子设备
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN110889428A (zh) 图像识别方法、装置、计算机设备与存储介质
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
EP2879080B1 (en) Image processing device and method, and computer readable medium
CN112036400B (zh) 构建用于目标检测的网络的方法和目标检测方法及系统
CN113705426B (zh) 人脸校验方法、装置、服务器及可读存储介质
CN111914775A (zh) 活体检测方法、装置、电子设备及存储介质
CN111914762A (zh) 基于步态信息的身份识别方法及装置
CN111160169A (zh) 人脸检测方法、装置、设备及计算机可读存储介质
CN107730485A (zh) 车辆定损方法、电子设备及计算机可读存储介质
CN112489063A (zh) 图像分割方法、图像分割模型的训练方法和装置
EP4341892A1 (en) Computer vision systems and methods for determining structure features from point cloud data using neural networks
CN111709377A (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN111783561A (zh) 审图结果修正方法、电子设备及相关产品
CN111476308B (zh) 基于先验几何约束的遥感影像分类方法、装置和电子设备
CN117745850A (zh) 地图矢量化生成方法、装置和服务器
CN113129329A (zh) 基于基站目标分割构建稠密点云的方法及装置
CN113610026A (zh) 基于掩膜注意力的行人重识别方法及重识别装置
CN114549857A (zh) 图像信息识别方法、装置、计算机设备和存储介质
CN114781489A (zh) 语义分割模型训练方法、语义分割方法及电子设备
CN114529570A (zh) 图像分割方法、图像识别方法、用户凭证补办方法及系统
CN113657283A (zh) 视觉定位方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200619