CN108154071A

CN108154071A - 检测器训练方法及装置、行人移动方向的检测方法及装置

Info

Publication number: CN108154071A
Application number: CN201611104777.8A
Authority: CN
Inventors: 于晓静
Original assignee: Beijing Ingenic Semiconductor Co Ltd
Current assignee: Beijing Ingenic Semiconductor Co Ltd
Priority date: 2016-12-05
Filing date: 2016-12-05
Publication date: 2018-06-12

Abstract

本发明提供一种检测器训练及装置、行人移动方向的检测方法及装置。针对训练检测器的样本，将获得的上层检测器来检测上层的负样本，误检的负样本作为下层检测器训练时的负样本，从而避免了一些负样本的重复检测，缩短了检测器所需要的训练时长。

Description

检测器训练方法及装置、行人移动方向的检测方法及装置

技术领域

本发明涉及模式识别技术领域，尤其涉及一种检测器训练方法及装置、行人移动方向的检测方法及装置。

背景技术

人脸检测、行人检测、车辆检测等目标检测技术是智能视频监控的核心技术之一。目前，目标检测有两种主流的方法：基于运动检测和基于检测器检测。基于运动检测是通过背景建模等技术分割出场景中的运动目标(前景)，速度快，但是对光照变化、恶劣天气、干扰物等很敏感。基于检测器检测是使用机器学习的方法，事先训练一个特定目标的检测器(如人脸检测器)，运行时，对整个视频帧进行扫描，检测出其中所有的目标。

在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：

基于检测器的检测在检测器的训练过程中，需要大量的训练样本进行训练，训练时间较长。

发明内容

本发明提供的一种检测器训练及装置、行人移动方向的检测方法及装置，能够缩短检测器所需要的训练时长。

第一方面，本发明提供一种检测器训练方法，所述检测器包括1个第一层检测器、M个第二层检测器、N个第三层检测器，所述方法包括：

使用第一正样本集及第一负样本集训练第一层检测器，获得1个第一层检测器；

基于所述1个第一层检测器及所述第一负样本集获取第二层检测器的第二负样本集；

针对第二层检测器的M个检测器的分类将第一正样本集分为M个第二正样本集；

使用所述第二负样本集及所述M个第二正样本集训练所述M个第二层检测器，获得M个第二层检测器；

基于所述第一层检测器、第二层检测器及第一负样本集获得第三层检测器的第三负样本集；

针对第三层检测器的N个检测器的分类将第一正样本集划分为N个第三正样本集；

使用所述第三负样本集及所述N个第三正样本集训练所述N个第三层检测器，获得N个第三层检测器。

可选地，所述基于所述1个第一层检测器及所述第一负样本集获得第二层检测器的第二负样本集包括：

使用所述第一层检测器检测所述第一负样本集中的样本；

将所述第一层检测器误检的所述第一负样本集中的样本选取为所述第二负样本集中的样本。

可选地，所述基于所述第一层检测器、第二层检测器及第一负样本集获得第三层检测器的第三负样本集包括：

使用所述第一层检测器检测所述第一负样本集中的样本；

将所述第二层检测器误检的所述第二负样本集中的样本选取为所述第三负样本集中的样本。

可选地，所述将所述第二层检测器误检的所述第二负样本集中的样本选取为所述第三负样本集中的样本包括：

将所述第二负样本集中的样本依次发送给所述第二层检测器中的M个检测器；

当一个第二负样本集中的负样本被一个第二层检测器检测为正样本时，该负样本作为该第二层检测器下方的第三层检测器的负样本；

当一个第二负样本集中的负样本被一个第二层检测器检测为负样本时，发送该负样本到下一个第二层检测器检测。

第二方面，本发明提供一种检测器训练装置，所述检测器包括1个第一层检测器、M个第二层检测器、N个第三层检测器，所述装置包括：

第一训练单元，用于使用第一正样本集及第一负样本集训练第一层检测器，获得1个第一层检测器；

第一获取单元，用于基于所述1个第一层检测器及所述第一负样本集获取第二层检测器的第二负样本集；

第一划分单元，用于针对第二层检测器的M个检测器的分类将第一正样本集分为M个第二正样本集；

第二训练单元，用于使用所述第二负样本集及所述M个第二正样本集训练所述M个第二层检测器，获得M个第二层检测器；

第二获取单元，用于基于所述第一层检测器、第二层检测器及第一负样本集获得第三层检测器的第三负样本集；

第二划分单元，用于针对第三层检测器的N个检测器的分类将第一正样本集划分为N个第三正样本集；

第三训练单元，用于使用所述第三负样本集及所述N个第三正样本集训练所述N个第三层检测器，获得N个第三层检测器。

可选地，所述第一获取单元包括：

第一检测模块，用于使用所述第一层检测器检测所述第一负样本集中的样本；

第一选取模块，用于将所述第一层检测器误检的所述第一负样本集中的样本选取为所述第二负样本集中的样本。

可选地，所述第二获取单元包括：

第二检测模块，用于使用所述第一层检测器检测所述第一负样本集中的样本；

第二选取模块，用于将所述第一层检测器误检的所述第一负样本集中的样本选取为所述第二负样本集中的样本。

第三选取模块，用于将所述第二层检测器误检的所述第二负样本集中的样本选取为所述第三负样本集中的样本。

可选地，所述第三选取模块包括：

第一发送模块，用于将所述第二负样本集中的样本依次发送给所述第二层检测器中的M个检测器；

第三选取模块，用于当一个第二负样本集中的负样本被一个第二层检测器检测为正样本时，该负样本作为该第二层检测器下方的第三层检测器的负样本；

第二发送模块，用于当一个第二负样本集中的负样本被一个第二层检测器检测为负样本时，发送该负样本到下一个第二层检测器检测。

第三方面，本发明提供一种行人移动方向的检测方法，所述检测方法采用上述所述的检测器训练装置训练获得的检测器检测行人的移动方向。

可选地，所述检测器包括人脸检测器及上半身人形检测器，基于所述人脸检测器及上半身人形检测器进行检测行人的移动方向。

第四方面，本发明提供一种行人移动方向的检测装置，所述检测装置采用上述所述的检测器训练装置训练获得的检测器检测行人的移动方向。

本发明实施例提供的检测器训练及装置、行人移动方向的检测方法及装置，针对训练检测器的样本，将获得的上层检测器来检测上层的负样本，误检的负样本作为下层检测器训练时的负样本，从而避免了一些负样本的重复检测，缩短了检测器所需要的训练时长。

附图说明

图1为本发明一实施例检测器训练方法的流程图；

图2为本发明一实施例人脸检测器分类坐标系；

图3a为人脸正视时的角度模型；

图3b为人脸仰视时的角度模型；

图3c为人脸俯视时的角度模型；

图4为本发明一实施例上半身检测器分类坐标系；

图5为本发明一实施例检测器训练装置的结构示意图；

图6为本发明一实施例采用人脸检测器进行方向定位的流程图；

图7为本发明一实施例采用上半身检测器进行方向定位的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种检测器训练方法，所述检测器包括1个第一层检测器、M个第二层检测器、N个第三层检测器，如图1所示，所述方法包括：

S11、使用第一正样本集及第一负样本集训练第一层检测器，获得1个第一层检测器；

S12、基于所述1个第一层检测器及所述第一负样本集获取第二层检测器的第二负样本集；

S13、针对第二层检测器的M个检测器的分类将第一正样本集划分为M个第二正样本集；

S14、使用所述第二负样本集及所述M个第二正样本集训练所述M个第二层检测器，获得M个第二层检测器；

S15、基于所述第一层检测器、第二层检测器及第一负样本集获取第三层检测器的第三负样本集；

S16、针对第三层检测器的N个检测器的分类将第一正样本集划分为N个第三正样本集；

S17、使用所述第三负样本集及所述N个第三正样本集训练所述N个第三层检测器，获得N个第三层检测器。

本发明实施例提供的检测器训练方法，针对训练检测器的样本，将获得的上层检测器来检测上层的负样本，误检的负样本作为下层检测器训练时的负样本，从而避免了一些负样本的重复检测，缩短了检测器所需要的训练时长。

使用所述第一层检测器检测所述第一负样本集中的样本；

下面以人脸检测器的训练方法为例进行解释说明，如图2所示，分别准备正脸0度倾斜-30～30，30～60，60～90，-30～-60，-60～-90的样本进行训练而得到的人脸检测器。基于该获得的人脸检测器继续后继的图像或者视频中的图像检测，可以用以确定行人的方向。人脸检测器的角度范围分为五类，第一类(-30～30)，第二类(30～60)，第三类(60～90)，第四类(-30～-60)，第五类(-60～-90)。各种角度包括仰视和俯视在内。人脸具体角度方向示意图如图3所示。人脸检测器分为三层，第一层检测器、第二层检测器及第三层检测器，第一层检测器D11用于检测(-90～90)范围内的人脸图像，D11主要用于粗检测，过滤掉大部分非人脸图像。第二层检测器包括3个，D21、D22及D23，其中D21用于检测(-90～-30)范围内的人脸图像，D22用于检测(-30～30)范围内的人脸图像，D23用于检测(30～90)范围内的人脸图像。第三层检测器包括5个，D31、D32、D33、D34、D35，其中D31用于检测(-90～-60)范围内的人脸图像，D32用于检测(-60～-30)范围内的人脸图像，D33用于检测(-30～30)范围内的人脸图像，D34用于检测(30～60)范围内的人脸图像，D35用于检测(60～90)范围内的人脸图像。

在对三层检测器进行训练时，

首先对第一层检测器D11进行训练，将所有角度的人脸放到一起，采用lbp特征的adaboost算法进行训练，训练级数是三级。训练样本是正样本集X1、负样本集Y1。正样本集X1是人脸图片集合，人脸图片是截取好的图片，如人脸具体角度方向示意图，如图3a、图3b和图3c所示。负样本集Y1是非人脸图片集合，每张图片里面不会含有任何人脸图形，负样本集Y1数目非常大。正样本集X1及负样本集Y1中图片本大小一样。使用正样本集X1、负样本集Y1对检测器D11进行训练，以提取(-90～90)范围内人脸图像的特征，以获得第一层检测器D11。

其次对第二层检测器D21、D22及D23进行训练，以第一层训练得到的检测器D11作为提取第二层检测器训练时的负样本集Y2，具体地，用检测器D11对负样本集Y1进行检测，将D11误检为人脸的负样本作为负样本集Y2中的负样本。然后以正样本集X1中角度在(-90～-30)范围内的正样本为正样本集X21和负样本集Y2为训练样本，训练第二层检测器中的D21，获得检测器D21。以正样本集X1中角度在(-30～30)范围内的正样本为正样本集X22和负样本集Y2为训练样本，训练第二层检测器中的D22，获得检测器D22。以正样本集X1中角度在(30～90)范围内的正样本为正样本集X23和负样本集Y2为训练样本，训练第二层检测器中的D23，获得检测器D23。这种训练模式可以有效避免层与层之间模型的重复性检测。将正样本集X分成三类，一类是角度方向在(-30～30)范围，一类角度方向在(30～90)范围，一类角度方向在(-90～-30)范围。每类分别训练。训练级数是6级。共训练三个模型。

最后对第三层检测器D31、D32、D33、D34及D35进行训练，将第一层训练出的检测器和第二层训练出的检测器作为检测器，对负样本集Y1进行检测，将误检为人脸的非人脸负样本作为第三级训练的负样本集Y3。具体提取负样本集Y3的时，对负样本集Y1中的一张负样本X进行检测，使用检测器D11进行检测，如果检测结果为非人脸，那么这张负样本就不会作为下一层的负样本。如果检测为人脸，那么再输入到检测器D21进行检测，如果D21检测为人脸，那么将负样本X放到训练检测器D31和D32负样本集Y31中。如果D21检测为非人脸，再将负样本X传给检测器D22进行检测，如果检测结果为人脸，就是误检，那么将负样本X放到训练检测器D33的负样本集Y32中。如果D22检测为非人脸，再将负样本X传给检测器D23进行检测，如果检测结果为人脸，就是误检，那么将负样本X放到训练D34和D35模板的负样本集Y33中。

以正样本集X1中角度在(-90～-60)范围内的正样本为正样本集X31和负样本集Y31为训练样本，进行训练第三层的角度在(-90～-60)范围内的检测器D31。以正样本集X1中角度在(-60～-30)范围内的正样本为正样本集X32和负样本集Y31为训练样本，进行训练第三层的角度在(-60～-30)范围内的检测器D32。以正样本集X1中角度在(-30～30)范围内的正样本为正样本集X33和负样本集Y32为训练样本，进行训练第三层的角度在(-30～30)范围内的检测器D33。以正样本集X1中角度在(30～60)范围内的正样本为正样本集X34和负样本集Y33为训练样本，进行训练第三层的角度在(30～60)范围内的检测器D34。以正样本集X1中角度在(60～90)范围内的正样本为正样本集X35和负样本集Y33为训练样本，进行训练第三层的角度在(60～90)范围内的检测器D34。正样本集X分成五类，每类的角度方向依次为：(-30～30)、(30～60)、(60～90)、(-30～-60)和(-90～-60)。训练12级。该层每个检测器对应一个人脸的角度方向范围。

下面以上半身人形检测器的训练方法为例进行解释说明，角度方向范围分为五类，如图4所示，第一类包括(-30～30)和(150～-150)(这是从150至180和-180至-150，在模型坐标中按照顺时针统计，故是150～-150)，第二类(-90～-30)，第三类(-150～-90)，第四类(30～90)，第五类(90～150)。上半身人形检测器同样分为三层，首先将所有角度的上半身人形及非上半身人形放到一起，采用基于hog特征的adaboost算法对第一层检测器进行训练。训练级数是两级。将(1)中训练的检测器作为第二层训练时开始提取负样本的检测器，对负样本进行检测获得第二层检测器的负样本，此处提取负样本的方式与前述人脸检测器中提取负样本的方式相同，在此不再赘述。从正样本集中提取两类样本，一类是角度在(-30～30)和(150～-150)范围，一类是角度在(30～150)范围。每类分别训练。训练级数是四级。共训练两个模型。由于hog特征的模型具有对称性，所以(-150～-30)这类检测器使用角度(30～150)的检测器进行对称处理，所以实际共三个检测器。训练第三层检测器时，将第一层训练出的检测器和第二层训练出的检测器作为检测器，对负样本进行检测，将误认为上半身人形的的非上半身人形样本作为第三层检测器训练的负样本。此处提取负样本的方式与前述人脸检测器中提取负样本的方式相同，在此不再赘述。正样本分成六类，按角度范围依次是(-30～30)、(150～-150)，(-90～-30)，(-150～-90)，(30～90)，(90～150)。最后一层每个检测器对应一个上半身人形的角度方向范围。

本发明实施例还提供一种检测器训练装置，所述检测器包括1个第一层检测器、M个第二层检测器、N个第三层检测器，如图5所示，所述装置包括：

第一训练单元51，用于使用第一正样本集及第一负样本集训练第一层检测器，获得1个第一层检测器；

第一获取单元52，用于基于所述1个第一层检测器及所述第一负样本集获取第二层检测器的第二负样本集；

第一划分单元53，用于针对第二层检测器的M个检测器的分类将第一正样本集分为M个第二正样本集；

第二训练单元54，用于使用所述第二负样本集及所述M个第二正样本集训练所述M个第二层检测器，获得M个第二层检测器；

第二获取单元55，用于基于所述第一层检测器、第二层检测器及第一负样本集获得第三层检测器的第三负样本集；

第二划分单元56，用于针对第三层检测器的N个检测器的分类将第一正样本集划分为N个第三正样本集；

第三训练单元57，用于使用所述第三负样本集及所述N个第三正样本集训练所述N个第三层检测器，获得N个第三层检测器。

本发明实施例提供的检测器训练装置，针对训练检测器的样本，将获得的上层检测器来检测上层的负样本，误检的负样本作为下层检测器训练时的负样本，从而避免了一些负样本的重复检测，缩短了检测器所需要的训练时长。

可选地，所述第一获取单元52包括：

可选地，所述第二获取单元55包括：

可选地，所述第三选取模块包括：

第三选取模块，用于当一个第二负样本集中的负样本被一个第二层检测器检测为正样本时，该负样本作为该第二检测器下方的第三层检测器的负样本；

本发明实施例还提供一种行人移动方向的检测方法，所述检测方法采用上述所述的检测器训练装置训练获得的检测器检测行人的移动方向。

首先，采用人脸检测器对图像进行检测的流程图如图6所示。第一层是对所有目标进行粗检测，过滤掉大部分非人脸目标。第二层是在第一层通过的基础上进行检测，该层每个检测器都将检测第一层通过的目标。由于检测器具有角度方向性，所以被第二层任何一个检测器检测通过的目标，都将具有模型的角度方向性。当然，如果一个目标处于两种角度范围的交替处，那么这个目标将可能被两个检测器检测通过。第三层是确定具体角度方向的检测器。这层是在第二层检测到结果的基础上进行检测，每一个角度范围所接收的被检测目标是上一层对应检测器通过的目标。

其次，采用上半身人形检测器对图像进行检测的流程图如图7所示。第一层是对所有目标进行粗检测，过滤掉大部分非上半身人形图片。第二层是在第一层通过的基础上进行检测，由于模型具有角度方向性，所以被第二层任何一个模型检测通过的目标，都将具有模型的角度方向性。当然，如果一个目标处于两种角度范围的交替处，那么这个目标将可能被两个检测器检测通过。第三层是确定具体角度方向的检测器。这层是在第二层检测到结果的基础上进行检测。每一个角度范围所接收的被检测目标是上一层的大范围通过的目标。

根据人脸方向定位与上半身人形定位确定行人方向的规则为：

a、当行人正对摄像头运动时，判断人脸检测模型是否有结果输出，如果有人脸目标，则行人正对摄像头而来；否则远离摄像头方向离去，并且由上半身检测模型结果决定其运动方向。具体为：上半身检测到行走角度在(150～-150)和(-30～30)范围内，如果检测到人脸，那么就是朝着摄像头走过来，如果检测不到人脸，就是远离摄像头方向离去。

b、人脸检测模型有结果输出，与上半身检测模型结果一致时，其确定为行人运动方向。

c、人脸检测模型有结果输出，但与上半身检测模型结果不一致时，以上半身检测模型结果作为行人运动方向。

d、人脸检测模型无结果输出，上半身检测模型有结果，以上半身检测模型结果作为行人运动方向。

e、人脸检测模型有结果输出，上半身检测模型无结果，人脸检测模型结果作为行人运动方向。

采用本发明实施例提供的一种行人移动方向的检测方法，还可以用于当物体短暂消失或人脸和上半身检测器都没有检测到时，能够根据其运动趋势预测行人出现的位置。具体如下：

1)记录已经检测到的行走方向和位置，不妨设记录的是最近的20个点的方向和位置；

2)根据已经记录的检测到的点的方向、位置和时间，使用拟合的方法计算出记录点方向和位置的函数的系数。

3)使用2)中的函数系数和函数方程，预测下一点的方向和位置。

4)连续预测最长时间是预测1分钟(我们暂时将1分钟定义为短暂时间)。如果超过一分钟时间没有检测到目标(人脸或上半身)，那么不再使用预测，确定目标消失。如果1分钟内出现检测到目标(人脸或上半身)，那么重新记时间，开始允许新的最长1分钟的预测。如果检测到目标，不会使用预测功能。预测功能只在没有检测到目标(人脸或上半身)时使用。

本发明实施例还提供一种行人移动方向的检测装置，所述检测装置采用上述所述的检测器训练装置训练获得的检测器检测行人的移动方向。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种检测器训练方法，所述检测器包括1个第一层检测器、M个第二层检测器、N个第三层检测器，其特征在于，所述方法包括：

2.根据权利要求1所述的检测器训练方法，其特征在于，所述基于所述1个第一层检测器及所述第一负样本集获得第二层检测器的第二负样本集包括：

使用所述第一层检测器检测所述第一负样本集中的样本；

3.根据权利要求1所述的检测器训练方法，其特征在于，所述基于所述第一层检测器、第二层检测器及第一负样本集获得第三层检测器的第三负样本集包括：

使用所述第一层检测器检测所述第一负样本集中的样本；

4.根据权利要求3所述的检测器训练方法，其特征在于，所述将所述第二层检测器误检的所述第二负样本集中的样本选取为所述第三负样本集中的样本包括：

5.一种检测器训练装置，所述检测器包括1个第一层检测器、M个第二层检测器、N个第三层检测器，其特征在于，包括：

6.根据权利要求5所述的检测器训练装置，其特征在于，所述第一获取单元包括：

7.根据权利要求5所述的检测器训练装置，其特征在于，所述第二获取单元包括：

8.根据权利要求7所述的检测器训练装置，其特征在于，所述第三选取模块包括：

9.一种行人移动方向的检测方法，其特征在于，所述检测方法采用权利要求5-8中任一项所述的检测器训练装置训练获得的检测器检测行人的移动方向。

10.根据权利要求9所述的行人移动方向的检测方法，其特征在于，所述检测器包括人脸检测器及上半身人形检测器，基于所述人脸检测器及上半身人形检测器进行检测行人的移动方向。

11.一种行人移动方向的检测装置，其特征在于，所述检测装置采用权利要求5-8中任一项所述的检测器训练装置训练获得的检测器检测行人的移动方向。

12.根据权利要求9所述的行人移动方向的检测装置，其特征在于，所述检测器包括人脸检测器及上半身人形检测器，基于所述人脸检测器及上半身人形检测器进行检测行人的移动方向。