CN103106400B - 一种人脸检测方法与装置 - Google Patents

Abstract

本发明提供一种人脸检测方法及装置，应用于卡口监控系统中，该方法包括以下步骤：步骤A、在卡口监控系统拍摄到图片时，对该拍摄图片进行车辆检测，并输出车辆检测结果，其中该检测结果中携带有车辆轮廓位置信息；步骤B、根据所述车辆轮廓位置信息确定针对该拍摄图片的人脸检测区域，并在该人脸检测区域中进行人脸检测并输出人脸检测结果。本发明使用新的处理流程使得人脸检测效率大幅度提升，并且对算法没有依赖度，效果较之传统技术非常显著，在优选的方式中，本发明还支持对人脸检测可信度的评估，评估结果使得检索效率得到提升，而且用户可以更加快速地定位到检测结果异常的图片。

Description

一种人脸检测方法与装置

技术领域

本发明涉及监控技术领域，尤其涉及一种广泛适用于卡口监控系统的人脸检测方法及装置。

背景技术

车辆及人员卡口监控系统(以下简称卡口监控系统)，通常部署于路口、收费站、交通或治安检查站等卡口点，以实现对通过该卡口的机动车和前排司乘人员进行拍摄、记录、处理的现场监控。卡口监控系统可自动识别过往车辆的号牌、颜色等特征，验证车辆的合法身份，自动核对黑名单库，甚至完成自动报警的功能。

在卡口监控系统抓拍的图片中，前排驾乘人员的面部特征可清晰辨识，提取人脸特征图和人脸特征参数，可以实现对交通违法、肇事逃逸、刑事犯罪等嫌疑车辆及人员的监控与处置，是重要的非现场执法和监视系统。目前卡口监控系统中，车辆检测及识别技术应用较为成熟，而由于环境等各种复杂因素的影响，导致人脸检测功能存在大量的误检和漏检情况，提高卡口监控系统的可用度，是目前急需解决的问题。

目前提高人脸检测成功率的方法大部分都是通过不断优化视频分析算法，以提高不同场景的适应能力，提高检测速度以及提高搜索目标的准确性。然而在抓拍的图像中由于存在噪声，人脸的角度不理想、光照条件变化多，以及人脸轮廓的复杂性，局部特征的随机性，甚至还需要考虑面部表情等因素，都给目前的人脸检测算法的优化带来了很大的困难。为了提高算法检测的准确度，通常的做法是不断地增加特征模式或者改善训练算法。但这些做法常常也以性能作为代价，开发成本不菲，且效果提升空间有限，对漏检率改善效果一般。

发明内容

有鉴于此，本发明提供一种人脸检测装置，应用于卡口监控系统中，该装置包括车辆检测单元以及人脸检测单元，其中：

车辆检测单元，用于在卡口监控系统拍摄到图片时，对该拍摄图片进行车辆检测，并输出车辆检测结果，其中该检测结果中携带有车辆轮廓位置信息；

人脸检测单元，用于根据所述车辆轮廓位置信息确定针对该拍摄图片的人脸检测区域，并在该人脸检测区域中进行人脸检测并输出人脸检测结果。

本发明还提供一种人脸检测方法，应用于卡口监控系统中，该方法包括以下步骤：

步骤A、在卡口监控系统拍摄到图片时，对该拍摄图片进行车辆检测，并输出车辆检测结果，其中该检测结果中携带有车辆轮廓位置信息；

步骤B、根据所述车辆轮廓位置信息确定针对该拍摄图片的人脸检测区域，并在该人脸检测区域中进行人脸检测并输出人脸检测结果。

本发明使用新的处理流程使得人脸检测效率大幅度提升，并且对算法没有依赖度，效果较之传统技术非常显著，在优选的方式中，本发明还支持对人脸检测可信度的评估，评估结果使得检索效率得到提升，而且用户可以更加快速地定位到检测结果异常的图片。

附图说明

图1是本发明一种实施方式中人脸检测过程示意图。

图2是本发明一种实施方式中卡口监控系统的逻辑结构图。

具体实施方式

相对于现有技术中的技术优化路径来说，本发明重新规划一种新的优化路径来大幅度提升人脸检测技术的效果表现。相对于人脸检测来说，车辆检测与跟踪技术发展比较成熟，本发明巧妙利用车辆检测的输出辅助人脸检测来提升人脸检测的效率，大幅度降低漏检和错检。

请参考图1以及图2，本发明一种实施方式中，提供一种人脸检测装置，应用与卡口监控系统，该装置包括车辆检测单元、人脸检测单元以及可信度评估单元。在优选的方式中，其中各个单元可采用计算机程序来实现，在计算机程序运行的过程中执行如下的处理流程。

步骤101，当卡口监控系统拍摄到图片时，车辆检测单元对该图片进行车辆检测，并输出车辆检测结果，其中该检测结果中携带车辆轮廓位置信息；

本发明适用于车辆内部的人脸检测，当卡口有车辆经过时，卡口监控系统中的前端摄像机会对车辆进行拍摄，然后对拍摄的图片进行各种检测和识别。由于监控领域中车辆检测技术已经发展比较成熟，因此本发明中可以利用已有的性能指标较高的车辆检测算法，例如基于3D模型的车辆检测算法，来对车辆进行检测识别。这里所说的车辆轮廓位置信息，其主要作用是标注出在图片的那个部分是车辆所占据的。其实现方式多种多样，请参考图1，以一种最简单的方式来说，假设车辆轮廓是最简单的矩形，图片的左上端点在XY轴上的坐标是（0，0），右下端点是（Xmax，Ymax）；则车辆轮廓位置信息可以用该矩形轮廓一条对角线上两个端点的坐标值（X1，Y1）以及（X2，Y2）来表达。当然也可以使用该轮廓左上端点的坐标值（X1，Y1）、矩形宽度值以及矩形长度值来表示。

以上仅仅是从原理上进行说明，而且是一种非常简单且直接表达和描述的示例。在实际应用中，车辆轮廓位置信息可以更加丰富，而且轮廓的描述会更加细致，并不一定是直接描述出来的。当然如果一个拍摄到的图片中没有检测到车辆，则输出的车辆轮廓信息可以为空。

车辆检测单元在输出车辆轮廓位置信息的方式有很多种，一种是与拍摄到的图片分开单独输出，在优选的方式中可以将车辆轮廓位置信息作为图片的属性信息输出。在具体实现上，以JPEG格式为例，车辆轮廓位置信息可以封装在JPEG图像格式的APP扩展字段中连通图片数据本身一起输出。

步骤102，人脸检测单元根据所述车辆轮廓位置信息确定针对该拍摄图片的人脸检测区域，并在该人脸检测区域中进行人脸检测并输出人脸检测结果。

人脸检测单元接收到封装了车辆轮廓信息的拍摄图片后，从图片的APP字段中解析出作为车辆轮廓位置信息的车辆的坐标、宽、高以及车辆坐标等参数之后，确定一个矩形检测区域。（当然，如果车辆轮廓信息为空不会由步骤102直接处理，可能在步骤101就跳转到其他流程处理了。）此时确定的这个矩形检测区域相对于整幅图片的大小来说会缩小很多，很多时候会缩小50%以上。与现有技术中通常对整幅图片进行人脸扫描检测相比，本发明只在特定检测区域进行人脸扫描检测，因此本发明在处理效率上的优势非常明显。无论采用什么样的具体检测算法，实施本发明之后其扫描检测的面积可以大幅度减少，相应地，性能表现会有大幅度的提升。由此可见本发明将车辆检测机制与人脸检测机制有机融合之后，可以以很小的开发代价实现非常大幅度的人脸检测效果的提升。而且在实际应用中，目前很多卡口目前都是车辆卡口，因此本发明可实施的范围也非常广泛。

步骤103，人脸检测单元在检测完成后同时将人脸轮廓位置信息作为检测结果输出；步骤103的输出可以参考101对应的方法来实现，当然本发明并不排除其他方法。

步骤104，可信度评估单元，根据人脸轮廓位置信息确定人脸在检测区域中的位置，使用该位置匹配预设的可信度匹配表并输出人脸检测结果的可信度，其中该可信度匹配表包括预设的人脸位置以及对应的可信度。

在现有技术中，通常人脸检测结果只是包括人脸的图片及人脸轮廓位置信息，并没有将人脸的轮廓位置信息作为判断人脸检测结果可信度的重要依据。请参考图1下半部分所示，在一般情况下，在一个检测区域（可以理解为一个车辆的轮廓）中，如果车辆的驾驶位附近检测到人脸，这说明该人脸检测结果的可信度很高，毕竟当前技术环境下，基本所有的车辆都是人员驾驶的。当然如果未来无人驾驶变得流行时，驾驶位未必检测到人脸未必就是可信度最高的。在图1中，驾驶位检测到人脸的情况其可信度是最高的Level5。其次，由于卡口监控系统拍摄图片时，往往是正对着车头进行拍摄的，因此如果副驾驶的位置检测到人脸，其结果也是有相当可信度的，因为从正面采集图片时，副驾驶位置通常不会有遮挡。即便副驾驶位置上没有人员，也可能会检测到人脸，比如说驾驶员停住车辆的时候，倾斜身体到副驾驶位置寻找物件或者进行其他操作时，均可能导致副驾驶位置附近有人脸出现。考虑到这样的实际情况，在图1中副驾驶位置检测到人脸时其可信度是次高的Level4。同样的道理，接下来其他两个位置是Level3和Level2。这里需要说明的是，Level1表示没有检测到人脸。没有检测到人脸时，人脸检测单元输出的人脸轮廓位置信息将为空，这种情况可能是用户特别需要关注的。

用一种简化的实现原理来示例，系统可以将表征一个车辆轮廓的检测区域划分为四个象限，每个象限均有一个对应的预定的可信度参数，形成一个可信度匹配表。每个象限实际上表示的是一个预设的人脸所在的位置。当然，考虑到人脸可能跨越多个象限的问题，此时匹配的结果可以选择被占据面积最大的象限作为匹配的象限，输出该象限对应的可信度。

另外，需要说明的是，以上的实施方式中，是以靠右驾驶的情况为例，比如我国大陆地区的驾驶规定是靠右驾驶，驾驶员位于车辆的左侧。但在其他国家/地区，可能采用靠左驾驶的制度，此时驾驶位会在右侧，因此图1可以据此进行相应的变化。而可信度的等级可以划分为更多的等级，实现的过程中可以多划分几个象限，而且每个象限的大小未必是一样的，当然这取决于实际环境以及监控业务自身的需要。

在实际应用中，无论是哪种人脸检测算法，都或多或少会存在漏检和误检的情况。几乎所有的算法都会存在有些图像中有人脸但算法未检测到的情况，或者把不是人脸的图片部分检测成人脸的情况。在现有技术中，用户对人脸图像进行检索时，虽然知晓其所检索的海量图片中存在漏检的和误检的情况，但是却无法定位到在哪些图片中有漏检和误检。如果要精准的挑出这些漏检或者误检的图片，用户仍然需要一张张图像人工识别。在这种情况下，利用算法进行人脸检测的意义就失去了，不仅没有提高反而还降低了工作效率。

而本发明优选实施方式中对人脸检测结果进行了可信度标记，可以大大提高用户排查漏检和误检的效率，用户可以按照可信度搜索对应的图片，比如将可信度为最低的图片检索出来进行人工排查，可以快速地找到漏检或者误检的图片。此外，引入了可信度的概念可以大大节约人脸图片匹配搜索的过程。比如说交警或者公安刑侦人员等用户对采集的人脸库进行检索的过程中，可以按照置信度级别的从高到低进行逐级检索，如果在高级别的结果中检索到了目标人脸，那么可能不再需要进行进一步检索，此时将很大程度降低检索时间，提升工作效率。当然，如果高级别结果为未检索到目标人脸，系统将逐级降低，直到全部检索，尽可能的保证无遗漏。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (4)

1.一种人脸检测装置，应用于卡口监控系统中，该装置包括车辆检测单元以及人脸检测单元，其特征在于：

车辆检测单元，用于在卡口监控系统拍摄到图片时，对该拍摄图片进行车辆检测，并输出车辆检测结果，其中该检测结果中携带有车辆轮廓位置信息；

人脸检测单元，用于根据所述车辆轮廓位置信息确定针对该拍摄图片的人脸检测区域，并在该人脸检测区域中进行人脸检测并输出人脸检测结果，所述人脸检测结果包括人脸轮廓位置信息；

可信度评估单元，用于根据人脸轮廓位置信息确定人脸在该人脸检测区域中的位置，使用该位置匹配预设的可信度匹配表并输出人脸检测结果的可信度，其中该可信度匹配表包括预设的人脸位置以及对应的可信度，所述预设的人脸位置包括车辆的驾驶位，该车辆的驾驶位对应的可信度最高，所述预设的人脸位置还包括车辆的副驾驶位，该车辆的副驾驶位对应的可信度次高。

2.如权利要求1所述的装置，其特征在于，所述车辆轮廓位置信息包括：车辆的高度、宽度以及车辆在拍摄图片中的坐标参数。

3.一种人脸检测方法，应用于卡口监控系统中，其特征在于，该方法包括以下步骤：

步骤A、在卡口监控系统拍摄到图片时，对该拍摄图片进行车辆检测，并输出车辆检测结果，其中该检测结果中携带有车辆轮廓位置信息；

步骤B、根据所述车辆轮廓位置信息确定针对该拍摄图片的人脸检测区域，并在该人脸检测区域中进行人脸检测并输出人脸检测结果，所述人脸检测结果包括人脸轮廓位置信息；

步骤C、根据人脸轮廓位置信息确定人脸在该人脸检测区域中的位置，使用该位置匹配预设的可信度匹配表并输出人脸检测结果的可信度，其中该可信度匹配表包括预设的人脸位置以及对应的可信度，所述预设的人脸位置包括车辆的驾驶位，该车辆的驾驶位对应的可信度最高，所述预设的人脸位置还包括车辆的副驾驶位，该车辆的副驾驶位对应的可信度次高。

4.如权利要求3所述的方法，其特征在于，所述车辆轮廓位置信息包括：车辆的高度、宽度以及车辆在拍摄图片中的坐标参数。