CN112949526B - 人脸检测方法和装置 - Google Patents
人脸检测方法和装置 Download PDFInfo
- Publication number
- CN112949526B CN112949526B CN202110268657.6A CN202110268657A CN112949526B CN 112949526 B CN112949526 B CN 112949526B CN 202110268657 A CN202110268657 A CN 202110268657A CN 112949526 B CN112949526 B CN 112949526B
- Authority
- CN
- China
- Prior art keywords
- face
- pedestrian
- detection
- frame
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 326
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012216 screening Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
一种人脸检测方法和装置,该方法包括:获取待检测的图像;利用训练好的能够检测人脸和行人的检测模型对所述图像进行人脸检测和行人检测,得到初始人脸检测结果和行人检测结果;基于所述行人检测结果对所述初始人脸检测结果中的至少部分结果进行筛选,以得到所述图像的最终人脸检测结果。本申请的人脸检测方法基于训练好的检测模型对待检测图像进行人脸检测和行人检测,并基于行人检测结果对初始人脸检测结果进行筛选,可以非常便利地实现将人脸误检结果筛除,保留正确的人脸检测结果,从而有效降低人脸检测的误减率,提高人脸检测的精度,同时也不会增加检测模型的复杂度,并且计算简单,易于实现。
Description
技术领域
本申请涉及人脸检测技术领域,更具体地涉及一种人脸检测方法和装置。
背景技术
人脸检测是计算机视觉领域应用非常广泛的技术之一,是人脸对齐、人脸识别、情绪识别的必经步骤。人脸检测的准确性直接影响后期应用的效果,如何提升人脸检测的准确性、降低误检率,是业界一直在解决优化的问题。
为了降低人脸检测的误检率,通常可以通过优化模型、优化损失函数、清理与增强数据、增加关键点作为监督信息等等。这些方法可以在一定程度上降低人脸检测的误报率,但是这需要大量的人力投入数据处理方面的工作,同时增加模型的复杂度。
发明内容
根据本申请一方面,提供了一种人脸检测方法,所述方法包括:获取待检测的图像;利用训练好的能够检测人脸和行人的检测模型对所述图像进行人脸检测和行人检测,得到初始人脸检测结果和行人检测结果;基于所述行人检测结果对所述初始人脸检测结果中的至少部分结果进行筛选,以得到所述图像的最终人脸检测结果。
在本申请的一个实施例中,所述利用训练好的能够检测人脸和行人的检测模型对所述图像进行人脸检测和行人检测,得到初始人脸检测结果和行人检测结果,包括:利用所述检测模型对所述图像进行人脸检测和行人检测,得到人脸框、行人框以及每个所述人脸框、每个所述行人框各自的置信度;将置信度大于第一阈值的人脸框作为所述初始人脸检测结果,并将置信度大于第二阈值的行人框作为所述行人检测结果;其中,所述第一阈值小于所述第二阈值。
在本申请的一个实施例中,所述基于所述行人检测结果对所述初始人脸检测结果中的至少部分结果进行筛选,以得到所述图像的最终人脸检测结果,包括:将所述初始人脸检测结果中置信度大于所述第一阈值且小于第三阈值的人脸框作为待筛选人脸框,将初始人脸检测结果中其余的人脸框作为无需筛选的人脸框;对于每个待筛选人脸框,确定所述行人检测结果中是否存在与所述待筛选人脸框对应的行人框,如果存在,则保留所述待筛选人脸框,反之则删除所述待筛选人脸框;将所述无需筛选的人脸框以及所述待筛选人脸框中保留下来的人脸框作为所述图像的最终人脸检测结果。
在本申请的一个实施例中,所述确定所述行人检测结果中是否存在与所述待筛选人脸框对应的行人框,包括:确定所述行人检测结果中是否存在与所述待筛选人脸框之间的交并比大于0的行人框,如果存在,则确定所述行人检测结果中存在与所述待筛选人脸框对应的行人框。
在本申请的一个实施例中,在训练所述检测模型时采用的人脸数据集和行人数据集包括不同场景中的图像,所述不同场景是指以下中的至少一项因素不同:天气、地域、时间、光照。
在本申请的一个实施例中,在训练所述检测模型时,对以下中的至少一项不进行标注:尺寸小于预设范围的人脸、遮挡范围超过预设阈值的人脸、遮挡范围超过预定阈值的行人。
在本申请的一个实施例中,在训练所述检测模型时,对数据集中的图像进行以下中的至少一项以进行训练数据增强:翻转、马赛克增强、亮度改变。
在本申请的一个实施例中,所述检测模型满足以下中的至少一项:所述检测模型的检测框架为多分类单杆检测器;所述检测模型的主干特征提取网络为轻量级网络;所述检测模型包括感受野模块;所述检测模型的损失函数为焦点损失函数。
在本申请的一个实施例中,所述第一阈值为0.2,所述第二阈值为0.4,所述第三阈值为0.7。
根据本申请另一方面,提供了一种人脸检测装置,所述装置包括存储器和处理器,所述存储器上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时,使得所述处理器执行如上述人脸检测方法。
根据本申请实施例的人脸检测方法和装置基于训练好的检测模型对待检测图像进行人脸检测和行人检测,并基于行人检测结果对初始人脸检测结果进行筛选,可以非常便利地实现将人脸误检结果筛除,保留正确的人脸检测结果,从而有效降低人脸检测的误减率,提高人脸检测的精度,同时也不会增加检测模型的复杂度,并且计算简单,易于实现。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的人脸检测方法和装置的示例电子设备的示意性框图。
图2示出根据本申请实施例的人脸检测方法的示意性流程图。
图3示出根据本申请实施例的人脸检测方法中得到初始人脸检测结果和行人检测结果的过程的示意性流程图。
图4示出根据本申请实施例的人脸检测方法中基于行人检测结果对初始人脸检测结果进行筛选得到最终人脸检测结果的过程的示意性流程图。
图5示出根据本申请实施例的人脸检测装置的示意性框图。
具体实施方式
为了使得本申请的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。
首先,参照图1来描述用于实现本发明实施例的人脸检测方法和装置的示例电子设备100。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106以及输出装置108,这些组件通过总线系统110和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。此外,所述输入装置106也可以是任何接收信息的接口。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或多个。此外,所述输出装置108也可以是任何其他具备输出功能的设备。
示例性地,用于实现根据本发明实施例的人脸检测方法和装置的示例电子设备可以被实现诸如智能手机、平板电脑、摄像头等终端。
下面,将参考图2描述根据本申请实施例的人脸检测方法200。如图2所示,人脸检测方法200可以包括如下步骤:
在步骤S210,获取待检测的图像。
在步骤S220,利用训练好的能够检测人脸和行人的检测模型对所述图像进行人脸检测和行人检测,得到初始人脸检测结果和行人检测结果。
在步骤S230,基于所述行人检测结果对所述初始人脸检测结果中的至少部分结果进行筛选,以得到所述图像的最终人脸检测结果。
在本申请的实施例中,训练了一个既能够进行人脸检测又能够进行行人检测的检测模型,利用该检测模型,针对待检测的图像,可以得到初始人脸检测结果和行人检测结果。这些初始人脸检测结果中可能包含误检的结果,在本申请的实施例中,基于行人检测结果去筛选初始人脸检测结果,具体地,由于一个真正的人脸应该会对应于一个行人(该人脸所属于的行人),因此,初始人脸检测结果中正确的检测结果必然对应于一个行人检测结果;反之,一个误检的人脸检测结果不是真正的人脸,必然不会存在与之对应的行人,即不存在与之对应的行人检测结果。因此,基于行人检测结果对初始人脸检测结果进行筛选,可以将初始人脸检测结果中不存在对应的行人检测结果的那些结果删除,而保留存在对应行人检测结果的人脸检测结果,这样,可以非常便利地实现将人脸误检结果筛除,保留正确的人脸检测结果,从而有效降低人脸检测的误减率,提高人脸检测的精度。此外,上述过程也不会增加检测模型的复杂度,并且计算简单,易于实现。
下面结合图3和图4进一步描述根据本申请实施例的人脸检测方法中得到初始检测结果和行人检测结果、以及得到最终检测结果的详细过程的示例。
图3示出了根据本申请实施例的人脸检测方法中得到初始人脸检测结果和行人检测结果的过程300的示意性流程图。如图3所示,该过程300可以包括如下步骤:
在步骤S310,利用训练好的检测模型对待检测的图像进行人脸检测和行人检测,得到人脸框、行人框以及每个所述人脸框、每个所述行人框各自的置信度。
在步骤S320,将置信度大于第一阈值的人脸框作为初始人脸检测结果,并将置信度大于第二阈值的行人框作为行人检测结果;其中,所述第一阈值小于所述第二阈值。
在本申请的实施例中,利用训练好的能够同时检测人脸和行人的检测模型对待检测的图像进行处理,可以得到该图像中可能包含人脸的人脸框以及每个人脸框的置信度,还可以得到该图像中可能包含行人的行人框以及每个行人框的置信度。其中,人脸框的置信度一般为小于1的数值,其反映了该人脸框中的对象是人脸的可能性的高低。例如,当一个人脸框的置信度低于0.5时,表示该人脸框中的对象是人脸的可能性不足50%;当一个人脸框的置信度高于0.5时,表示该人脸框中的对象是人脸的可能性大于50%。类似地,行人框的置信度一般为小于1的数值,其反映了该行人框中的对象是人的可能性的高低。例如,当一个行人框的置信度低于0.5时,表示该行人框中的对象是人的可能性不足50%;当一个行人框的置信度高于0.5时,表示该行人框中的对象是人的可能性大于50%。
在本申请的实施例中,可以将置信度大于第一阈值的人脸框作为初始人脸检测结果,同时将置信度大于第二阈值的行人框作为行人检测结果。在本申请的实施例中,第一阈值可以为较小的值。例如,第一阈值可以是小于0.5的值,例如0.2或其他数值等。由于后续还需要用行人检测结果筛选初始人脸检测结果,因此,在该实施例中,以低阈值获取初始人脸检测结果,可以避免对人脸的漏检,同时又不必担心误检问题(因为还有基于行人检测结果的筛选这样的后处理)。此外,在本申请的实施例中,第二阈值可以为大于第一阈值的值,例如,当第一阈值为0.2时,第二阈值可以为0.4。第二阈值大于第一阈值,可以确保行人检测结果相对于初始人脸检测结果更为可靠,因此,基于行人检测结果对初始人脸检测结果的筛选也是可靠的。
图4示出了根据本申请实施例的人脸检测方法中基于行人检测结果对初始人脸检测结果进行筛选得到最终人脸检测结果的过程400的示意性流程图。如图4所示,该过程400可以包括如下步骤:
在步骤S410,将初始人脸检测结果中置信度大于第一阈值且小于第三阈值的人脸框作为待筛选人脸框,将初始人脸检测结果中其余的人脸框作为无需筛选的人脸框。
在步骤S420,对于每个待筛选人脸框,确定行人检测结果中是否存在与所述待筛选人脸框对应的行人框,如果存在,则保留所述待筛选人脸框,反之则删除所述待筛选人脸框。
在步骤S430,将无需筛选的人脸框以及所述待筛选人脸框中保留下来的人脸框作为图像的最终人脸检测结果。
在本申请的一个实施例中,可以基于行人检测结果对所有的初始人脸检测结果进行筛选(即对于置信度大于第一阈值的所有人脸框进行筛选),这可以获得更为准确的最终人脸检测结果。在本申请的另一实施例中,也可以基于行人检测结果对部分初始人脸检测结果进行筛选,例如对置信度大于第一阈值且小于第三阈值的人脸框进行筛选,也就是说,对于置信度大于或等于第三阈值的人脸框,默认其置信度已经较高,就是正确的人脸检测结果,无需经过筛选,这可以减少计算量,也能得到较为可靠性的最终人脸检测结果。图3所示实施例即为后一实施例所描述的情况。在一个实施例中,第三阈值可以为0.7。
在本申请的实施例中,可以将初始人脸检测结果中置信度大于所述第一阈值且小于第三阈值的人脸框作为待筛选人脸框,并将初始人脸检测结果中其余的人脸框作为无需筛选的人脸框。然后,对于每个待筛选人脸框,可以确定行人检测结果中是否存在与所述待筛选人脸框对应的行人框:如果行人检测结果中存在与所述待筛选人脸框对应的行人框,则表明该人脸框大概率是正确的人脸检测结果,可以保留所述待筛选人脸框;反之,如果行人检测结果中不存在与所述待筛选人脸框对应的行人框,则表明该人脸框大概率是错误的人脸检测结果,可以删除所述待筛选人脸框。最后,将所述无需筛选的人脸框以及所述待筛选人脸框中保留下来的人脸框作为图像的最终人脸检测结果。如前所述的,由于初始的人脸检测结果结合行人检测结果进行了筛选,没有对应行人的人脸框将被作为错误的人脸检测结果而删除,因此可以简便地有效地减少人脸检测的误减率,提高人脸检测的精度。
当然,如前一实施例所述的,也可以将所有初始人脸检测结果都进行筛选,即无需设置上述的第三阈值,将每个大于第一阈值的人脸框都(作为待筛选人脸框)确定其是否有对应的行人框,以确定是否保留该人脸框,这可以进一步提高人脸检测的精度。甚至,在又一个实施例中,可以无需设置第一阈值,将检测结果输出的所有人脸框都(作为待筛选人脸框)进行筛选,将每个人脸框都确定其是否有对应的行人框,以确定是否保留该人脸框,这可以再进一步提高人脸检测的精度。相对于图3所示的实施例,这两个实施例需要稍微增加计算量。可以根据对最终人脸检测结果精度的要求而选择本申请中的不同实施例。
在本申请的实施例中,确定行人检测结果中是否存在与所述待筛选人脸框对应的行人框,可以包括:确定行人检测结果中是否存在与所述待筛选人脸框之间的交并比大于0的行人框,如果存在,则确定所述行人检测结果中存在与所述待筛选人脸框对应的行人框。在该实施例中,提供了一种确定行人检测结果中是否存在与一个待筛选人脸框对应的行人框的计算方式:对于一个人脸框,如果存在一个行人框与该人脸框的交并比(即这两个框的交集与并集的比值)大于0,则表明两个框存在交集,即表明该人脸框有对应的行人框(该行人框大概率应该包围该人脸框),即表明该人脸框中的对象确实是人脸;反之,对于一个人脸框,如果不存在一个行人框与该人脸框的交并比(即这两个框的交集与并集的比值)大于0,利用行人检测结果中的那些行人框与该人脸框的交并比都是0,则表明它们与该人脸框均没有交集,即表明该人脸框没有对应的行人框,即表明该人脸框中的对象不是人脸(否则就不会没有包围该人脸框的行人框)。上述方式可以便利地确定人脸框是否有对应的行人框。
在本申请的其他实施例中,也可以通过其他的计算方式确定人脸框是否有对应的行人框,诸如通过人脸框的坐标和行人框的坐标,可以确定一个行人框是否包围该人脸框,当存在一个行人框包围当前人脸框时,则可以确定该人脸框存在对应的行人框,诸如此类等等。
以上示例性地示出了根据本申请实施例中采用训练好的能够检测人脸和行人的检测模型对待检测的图像进行检测,得到最终人脸检测结果的详细过程的各种示例。下面描述关于本申请的方法中采用的检测模型的一些示例,这些示例中的检测模型均可以提高人脸检测的精度,因此可以结合前文所述实施例一起用于执行人脸检测。
在本申请的实施例中,在训练检测模型时采用的人脸数据集和行人数据集可以包括不同场景(诸如不同天气、不同地域、不同时间、不同光照条件等)中的图像,这可以增加训练出的模型的泛化能力,使得训练出的模型对不同场景均具有较高的精度。
在本申请的实施例中,在训练检测模型时,具体地,在对数据集进行标注时,对于尺寸小于预设范围的人脸(诸如尺寸小于10*10的人脸)、遮挡范围超过预设阈值的人脸、遮挡范围超过预定阈值的行人这三者中的至少一者可以不标注,也就是说,太小的人脸、大遮挡的人脸、大遮挡的行人不标注,这样有利于模型学到更完整的人脸及行人特征,可以减少误检,具体地,可以减少前述的初始人脸检测结果的误检,进而减少最终结果中的误检。
在本申请的实施例中,在训练检测模型时,可以对数据集中的图像进行以下中的至少一项以进行训练数据增强:翻转、马赛克增强、亮度改变。在该实施例中,通过一些数据增强方式对训练用的数据集进行数据增强,可以进一步提高训练出的模型的泛化能力,从这一角度也可以降低误检率。
在本申请的实施例中,本申请实施例中的检测模型可以满足以下中的至少一项:所述检测模型的检测框架为多分类单杆检测器(Single Shot MultiBox Detector,简称为SSD);所述检测模型的主干特征提取网络为轻量级网络(诸如MobilenetV1);所述检测模型包括感受野模块(Receptive Field Block,简称为RFB);所述检测模型的损失函数为焦点损失函数(focal loss)。其中,SSD是直接预测目标类别和包围框(bounding box)的多目标检测算法,采用SSD作为检测模型能够实现同时进行行人检测和人脸检测;此外,可以减少SSD的检测头的数目,例如从标准的6个减为4个,可以提高模型推理时间的实时性。主干特征提取网络采用轻量级网络MobilenetV1,可以使本申请能够更好地应用于移动端以及嵌入式视觉任务。RFB模块可以用于更精确和快速地进行人脸检测和行人检测。最后,焦点损失函数可以缓解正负样本比例严重失衡的问题。基于检测模型的上述特性中的至少一项,均可以提高本申请人脸检测的鲁棒性。
基于上面的描述,根据本申请实施例的人脸检测方法基于训练好的检测模型对待检测图像进行人脸检测和行人检测,并基于行人检测结果对初始人脸检测结果进行筛选,可以非常便利地实现将人脸误检结果筛除,保留正确的人脸检测结果,从而有效降低人脸检测的误减率,提高人脸检测的精度,同时也不会增加检测模型的复杂度,并且计算简单,易于实现。
下面结合图5描述本申请另一方面提供的人脸检测装置。图5示出了根据本申请实施例的人脸检测装置500的示意性框图。如图5所示,根据本申请实施例的人脸检测装置500可以包括存储器510和处理器520,存储器510存储有由处理器520运行的计算机程序,所述计算机程序在被处理器520运行时,使得处理器520执行前文所述的根据本申请实施例的人脸检测方法。本领域技术人员可以结合前文所述的内容理解根据本申请实施例的人脸检测装置的具体操作,为了简洁,此处不再赘述具体的细节,仅描述处理器520的一些主要操作。
在本申请的一个实施例中,所述计算机程序在被处理器520运行时,使得处理器520执行如下步骤:获取待检测的图像;利用训练好的能够检测人脸和行人的检测模型对所述图像进行人脸检测和行人检测,得到初始人脸检测结果和行人检测结果;基于所述行人检测结果对所述初始人脸检测结果中的至少部分结果进行筛选,以得到所述图像的最终人脸检测结果。
在本申请的一个实施例中,所述计算机程序在被处理器520运行时,使得处理器520执行的所述利用训练好的能够检测人脸和行人的检测模型对所述图像进行人脸检测和行人检测,得到初始人脸检测结果和行人检测结果,包括:利用所述检测模型对所述图像进行人脸检测和行人检测,得到人脸框、行人框以及每个所述人脸框、每个所述行人框各自的置信度;将置信度大于第一阈值的人脸框作为所述初始人脸检测结果,并将置信度大于第二阈值的行人框作为所述行人检测结果;其中,所述第一阈值小于所述第二阈值。
在本申请的一个实施例中,所述计算机程序在被处理器520运行时,使得处理器520执行的所述基于所述行人检测结果对所述初始人脸检测结果中的至少部分结果进行筛选,以得到所述图像的最终人脸检测结果,包括:将所述初始人脸检测结果中置信度大于所述第一阈值且小于第三阈值的人脸框作为待筛选人脸框,将初始人脸检测结果中其余的人脸框作为无需筛选的人脸框;对于每个待筛选人脸框,确定所述行人检测结果中是否存在与所述待筛选人脸框对应的行人框,如果存在,则保留所述待筛选人脸框,反之则删除所述待筛选人脸框;将所述无需筛选的人脸框以及所述待筛选人脸框中保留下来的人脸框作为所述图像的最终人脸检测结果。
在本申请的一个实施例中,所述计算机程序在被处理器520运行时,使得处理器520执行的所述确定所述行人检测结果中是否存在与所述待筛选人脸框对应的行人框,包括:确定所述行人检测结果中是否存在与所述待筛选人脸框之间的交并比大于0的行人框,如果存在,则确定所述行人检测结果中存在与所述待筛选人脸框对应的行人框。
在本申请的一个实施例中,在训练所述检测模型时采用的人脸数据集和行人数据集包括不同场景中的图像,所述不同场景是指以下中的至少一项因素不同:天气、地域、时间、光照。
在本申请的一个实施例中,在训练所述检测模型时,对以下中的至少一项不进行标注:尺寸小于预设范围的人脸、遮挡范围超过预设阈值的人脸、遮挡范围超过预定阈值的行人。
在本申请的一个实施例中,在训练所述检测模型时,对数据集中的图像进行以下中的至少一项以进行训练数据增强:翻转、马赛克增强、亮度改变。
在本申请的一个实施例中,所述检测模型满足以下中的至少一项:所述检测模型的检测框架为多分类单杆检测器;所述检测模型的主干特征提取网络为轻量级网络;所述检测模型包括感受野模块;所述检测模型的损失函数为焦点损失函数。
在本申请的一个实施例中,所述第一阈值为0.2,所述第二阈值为0.4,所述第三阈值为0.7。
此外,根据本申请实施例,还提供了一种存储介质,在所述存储介质上存储了程序指令,在所述程序指令被计算机或处理器运行时用于执行本申请实施例的人脸检测方法的相应步骤。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
基于上面的描述,根据本申请实施例的人脸检测方法和装置基于训练好的检测模型对待检测图像进行人脸检测和行人检测,并基于行人检测结果对初始人脸检测结果进行筛选,可以非常便利地实现将人脸误检结果筛除,保留正确的人脸检测结果,从而有效降低人脸检测的误减率,提高人脸检测的精度,同时也不会增加检测模型的复杂度,并且计算简单,易于实现。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本申请的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本申请的具体实施方式或对具体实施方式的说明,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种人脸检测方法,其特征在于,所述方法包括:
获取待检测的图像;
利用训练好的能够检测人脸和行人的检测模型对所述图像进行人脸检测和行人检测,得到初始人脸检测结果和行人检测结果;
基于所述行人检测结果对所述初始人脸检测结果中的至少部分结果进行筛选,以得到所述图像的最终人脸检测结果;
其中,所述利用训练好的能够检测人脸和行人的检测模型对所述图像进行人脸检测和行人检测,得到初始人脸检测结果和行人检测结果,包括:利用所述检测模型对所述图像进行人脸检测和行人检测,得到人脸框、行人框以及每个所述人脸框、每个所述行人框各自的置信度;将置信度大于第一阈值的人脸框作为所述初始人脸检测结果,并将置信度大于第二阈值的行人框作为所述行人检测结果;其中,所述第一阈值小于所述第二阈值;
所述基于所述行人检测结果对所述初始人脸检测结果中的至少部分结果进行筛选,以得到所述图像的最终人脸检测结果,包括:将所述初始人脸检测结果中置信度大于所述第一阈值且小于第三阈值的人脸框作为待筛选人脸框,将初始人脸检测结果中其余的人脸框作为无需筛选的人脸框;对于每个待筛选人脸框,确定所述行人检测结果中是否存在与所述待筛选人脸框对应的行人框,如果存在,则保留所述待筛选人脸框,反之则删除所述待筛选人脸框;将所述无需筛选的人脸框以及所述待筛选人脸框中保留下来的人脸框作为所述图像的最终人脸检测结果。
2.根据权利要求1所述的方法,其特征在于,所述确定所述行人检测结果中是否存在与所述待筛选人脸框对应的行人框,包括:
确定所述行人检测结果中是否存在与所述待筛选人脸框之间的交并比大于0的行人框,如果存在,则确定所述行人检测结果中存在与所述待筛选人脸框对应的行人框。
3.根据权利要求1-2中的任一项所述的方法,其特征在于,在训练所述检测模型时采用的人脸数据集和行人数据集包括不同场景中的图像,所述不同场景是指以下中的至少一项因素不同:天气、地域、时间、光照。
4.根据权利要求1-2中的任一项所述的方法,其特征在于,在训练所述检测模型时,对以下中的至少一项不进行标注:尺寸小于预设范围的人脸、遮挡范围超过预设阈值的人脸、遮挡范围超过预定阈值的行人。
5.根据权利要求1-2中的任一项所述的方法,其特征在于,在训练所述检测模型时,对数据集中的图像进行以下中的至少一项以进行训练数据增强:翻转、马赛克增强、亮度改变。
6.根据权利要求1-2中的任一项所述的方法,其特征在于,所述检测模型满足以下中的至少一项:
所述检测模型的检测框架为多分类单杆检测器;
所述检测模型的主干特征提取网络为轻量级网络;
所述检测模型包括感受野模块;
所述检测模型的损失函数为焦点损失函数。
7.根据权利要求1所述的方法,其特征在于,所述第一阈值为0.2,所述第二阈值为0.4,所述第三阈值为0.7。
8.一种人脸检测装置,其特征在于,所述装置包括存储器和处理器,所述存储器上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时,使得所述处理器执行如权利要求1-7中的任一项所述的人脸检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110268657.6A CN112949526B (zh) | 2021-03-12 | 2021-03-12 | 人脸检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110268657.6A CN112949526B (zh) | 2021-03-12 | 2021-03-12 | 人脸检测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112949526A CN112949526A (zh) | 2021-06-11 |
CN112949526B true CN112949526B (zh) | 2024-03-29 |
Family
ID=76229285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110268657.6A Active CN112949526B (zh) | 2021-03-12 | 2021-03-12 | 人脸检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112949526B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114067386A (zh) * | 2021-10-14 | 2022-02-18 | 北京地平线机器人技术研发有限公司 | 人脸检测方法及装置、电子设备和计算机可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875481A (zh) * | 2017-08-31 | 2018-11-23 | 北京旷视科技有限公司 | 用于行人检测的方法、装置、系统及存储介质 |
CN109101859A (zh) * | 2017-06-21 | 2018-12-28 | 北京大学深圳研究生院 | 使用高斯惩罚检测图像中行人的方法 |
CN109740516A (zh) * | 2018-12-29 | 2019-05-10 | 深圳市商汤科技有限公司 | 一种用户识别方法、装置、电子设备及存储介质 |
CN110427905A (zh) * | 2019-08-08 | 2019-11-08 | 北京百度网讯科技有限公司 | 行人跟踪方法、装置以及终端 |
CN110532985A (zh) * | 2019-09-02 | 2019-12-03 | 北京迈格威科技有限公司 | 目标检测方法、装置及系统 |
CN111353473A (zh) * | 2020-03-30 | 2020-06-30 | 浙江大华技术股份有限公司 | 一种人脸检测方法、装置、电子设备及存储介质 |
CN111523383A (zh) * | 2020-03-19 | 2020-08-11 | 创新奇智(北京)科技有限公司 | 基于行人ReID的无感知人脸识别系统及识别方法 |
CN111523414A (zh) * | 2020-04-13 | 2020-08-11 | 绍兴埃瓦科技有限公司 | 人脸识别方法、装置、计算机设备和存储介质 |
CN111814612A (zh) * | 2020-06-24 | 2020-10-23 | 浙江大华技术股份有限公司 | 目标的脸部检测方法及其相关装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11087119B2 (en) * | 2018-05-16 | 2021-08-10 | Gatekeeper Security, Inc. | Facial detection and recognition for pedestrian traffic |
-
2021
- 2021-03-12 CN CN202110268657.6A patent/CN112949526B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109101859A (zh) * | 2017-06-21 | 2018-12-28 | 北京大学深圳研究生院 | 使用高斯惩罚检测图像中行人的方法 |
CN108875481A (zh) * | 2017-08-31 | 2018-11-23 | 北京旷视科技有限公司 | 用于行人检测的方法、装置、系统及存储介质 |
CN109740516A (zh) * | 2018-12-29 | 2019-05-10 | 深圳市商汤科技有限公司 | 一种用户识别方法、装置、电子设备及存储介质 |
CN110427905A (zh) * | 2019-08-08 | 2019-11-08 | 北京百度网讯科技有限公司 | 行人跟踪方法、装置以及终端 |
CN110532985A (zh) * | 2019-09-02 | 2019-12-03 | 北京迈格威科技有限公司 | 目标检测方法、装置及系统 |
CN111523383A (zh) * | 2020-03-19 | 2020-08-11 | 创新奇智(北京)科技有限公司 | 基于行人ReID的无感知人脸识别系统及识别方法 |
CN111353473A (zh) * | 2020-03-30 | 2020-06-30 | 浙江大华技术股份有限公司 | 一种人脸检测方法、装置、电子设备及存储介质 |
CN111523414A (zh) * | 2020-04-13 | 2020-08-11 | 绍兴埃瓦科技有限公司 | 人脸识别方法、装置、计算机设备和存储介质 |
CN111814612A (zh) * | 2020-06-24 | 2020-10-23 | 浙江大华技术股份有限公司 | 目标的脸部检测方法及其相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112949526A (zh) | 2021-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109255352B (zh) | 目标检测方法、装置及系统 | |
CN106650662B (zh) | 目标对象遮挡检测方法及装置 | |
CN109344789B (zh) | 人脸跟踪方法及装置 | |
CN107358157B (zh) | 一种人脸活体检测方法、装置以及电子设备 | |
CN108256404B (zh) | 行人检测方法和装置 | |
CN108875723B (zh) | 对象检测方法、装置和系统及存储介质 | |
CN106845352B (zh) | 行人检测方法和装置 | |
CN108875731B (zh) | 目标识别方法、装置、系统及存储介质 | |
CN110490225B (zh) | 基于场景的图像分类方法、装置、系统和存储介质 | |
CN106650743B (zh) | 图像强反光检测方法和装置 | |
CN112597918B (zh) | 文本检测方法及装置、电子设备、存储介质 | |
CN110428394B (zh) | 用于目标移动侦测的方法、装置及计算机存储介质 | |
CN108875519B (zh) | 对象检测方法、装置和系统及存储介质 | |
CN115424171A (zh) | 火焰和烟雾检测方法、装置和存储介质 | |
CN113516113A (zh) | 一种图像内容识别方法、装置、设备及存储介质 | |
CN109299276B (zh) | 一种将文本转化为词嵌入、文本分类方法和装置 | |
CN110490058B (zh) | 行人检测模型的训练方法、装置、系统和计算机可读介质 | |
CN112801888A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN110796130A (zh) | 用于文字识别的方法、装置及计算机存储介质 | |
CN112949526B (zh) | 人脸检测方法和装置 | |
CN115082758B (zh) | 目标检测模型的训练方法、目标检测方法、装置和介质 | |
CN111523539A (zh) | 一种文字检测方法及装置 | |
CN110827194A (zh) | 图像处理的方法、装置及计算机存储介质 | |
CN110796115A (zh) | 图像检测方法、装置、电子设备及可读存储介质 | |
CN111091022A (zh) | 机器视觉的效能评估方法与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |