CN103500330A - 一种基于多传感器、多特征融合的半监督的人检测方法 - Google Patents

Abstract

本发明提供了一种基于多传感器、多特征融合的半监督的人检测方法，包括如下步骤：a)对运动目标进行粗定位，以得到所述运动目标在所监控的视频中的坐标位置；b)根据步骤a)得到的坐标，检测该坐标附近的运动信息，利用基于二级回归的部件模型算法进行人体精检测，获取人在视频中的精确位置；c)对人的身份进行识别，从而得到人检测结果。根据本发明的人检测方法能够在复杂的背景场景中，面对不同行人的身材、姿势、视角和衣着、光照和摄像头自身的移动及晃动等因素，快速、准确地进行人的检测。

Description

一种基于多传感器、多特征融合的半监督的人检测方法

技术领域

本发明涉及模式识别和智能监控领域，特别是一种基于多传感器、多特征融合的半监督的人检测方法。

背景技术

随着现代科技的飞速发展，利用摄像机来监控动态场景早已被广泛应用于现代社会的方方面面，特别是那些对安全要求敏感的场合，如国防、社区、银行、停车场、军事基地、电缆沿线等。

目前的视频监控还主要停留在借助人力在事后查找异常事件的阶段，这种监控方式既浪费大量人力物力，有无法持久保证准确的检测效果。由于在监控动态场景的应用中，所有监控到的意外事件和异常情况的实施主体大多是人，因此对场景中人的检测就变得相当重要，因此人是系统关注的重要对象。通过对行人的检测系统可实时检测异常事件并报警，变被动监视为主动预警。行人检测在视频监控、机器人学、虚拟现实技术等领域有广泛的应用，也是计算机视觉和模式识别领域中的重要研究方向。但至今为止，人体的自动搜索问题仍然没有得到令人满意的结果，主要原因是不同行人的身材、姿势、视角和衣着、光照方面都有着极大的变化，加之复杂的背景场景以及摄像头自身的移动和晃动，这都是行人检测问题的难点。如何快速、准确地从视频或者图像背景中将行人检测出来，以及行人检测与定位的准确性将直接影响后续工作以至整个系统的性能。因此开发出具有实际意义的自动性、智能性的视觉监控系统日益变得迫切和必要。这就要求不仅能用摄像机代替人眼，而且能用计算机协助人、代替人，以完成监视或控制任务。

因此，需要一种能够在复杂的背景场景中，面对不同行人的身材、姿势、视角和衣着、光照和摄像头自身的移动及晃动等因素，快速、准确地进行人的检测的方法。

发明内容

本发明的目的是提出一种基于多传感器、多特征融合的半监督人检测方法，以解决上述问题。

根据本发明的一个方面，提供了一种基于多传感器、多特征融合的半监督的人检测方法，包括如下步骤：a)对运动目标进行粗定位，以得到所述运动目标在所监控的视频中的坐标位置；b)根据步骤a)得到的坐标，检测该坐标附近的运动信息，利用基于二级回归的部件模型算法进行人体精检测，获取人在视频中的精确位置；c)对人的身份进行识别，从而得到人检测结果。

优选地，所述步骤a)包括通过传感器获取目标的粗略世界坐标，并转换成目标在视频或图像中的坐标。

优选地，所述传感器是超声波传感器以及RFID传感器。

优选地，所述步骤b)中基于二级回归的部件模型算法中生成人体检测算子的方法包括如下步骤：b1)对正样本的部件进行标注，所述正样本是含有完整人体图像的样本；b2)基于特征对所述正样本部件进行训练学习，得到部件位置的回归算子；b3)使用全部的正负样本使用线性支持向量机训练得到一个初始的全局模型，其中所述负样本是指仅包含背景的样本；b4)利用标注的部件位置对部件模型进行初始化；b5)结合全局模型、部件模型以及部件回归算子，产生人体检测算子。

优选地，在所述步骤b4)与步骤b5)之间还可以下列子步骤：b41)提取训练样本中的数据；b42)利用部件回归算子求出样本中的人体各部件的位置信息；b43)判断检测结果的正确与否；b44)对步骤b43中确定过的检测结果，自动保存并生成新的样本；以及b45)将分类错误的样本加入训练样本，并使之前预测分数作为样本权重，重新对模型进行训练更新，得到最终的人的检测模型。

优选地，所述步骤b45)中的样本权重计算公式如下：

$w=1-\frac{1}{1+e^{-s}}$

其中e是自然底数，s是预测分数，是基于二级回归模型的人检测模型对于某样本的响应值。

优选地，所述步骤c)中的身份识别是采用生物特征技术进行身份识别。

优选地，所述步骤c)中的身份识别在场景入口处以及场景内部分别进行。

优选地，所述身份识别选自指纹、虹膜识别及人脸识别中的至少一种。

根据本发明的人检测方法能够在复杂的背景场景中，面对不同行人的身材、姿势、视角和衣着、光照和摄像头自身的移动及晃动等因素，快速、准确地进行人的检测。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示意性地示出了本发明的一种基于多传感器、多特征融合的半监督的人检测方法的流程图。

图2示意性地示出了利用多传感器融合地进行目标粗定位的场景示意图。

图3示意性地示出了生成基于部件模型的人体检测算子的流程图。

图4示意性地示出了利用本发明的人体检测方法的视频监控界面。

图5示意性地示出了利用本发明的人体检测方法的显示场景配置的俯视图界面。

图6示意性地示出了一个值班监控的实施例的示意图。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

本发明通过如下方法进行人体检测：首先利用传感器得到人在摄像机视频中的粗定位结果，然后利用基于二级回归的部件模型算法进行人体精确检测，得到人的精确位置，对于目标检测的结果采用人工干预，确定检测结果的正确与否，对于错误的检测，在人为判定之后，作为新的样本重新训练并更新人检测模型，以进一步提高检测效果。最后对人体进行身份识别。

图1示意性地示出了本发明的一种基于多传感器、多特征融合的半监督的人检测方法的流程图。如图1所示，根据本发明的人检测方法包括如下步骤：

步骤110，对运动目标进行粗定位。其目的是得到运动目标在所监控的视频中的坐标位置。

对目标进行粗定位的步骤如下。首先，通过传感器获取目标的粗略世界坐标L_w:(x,y,z)。该世界坐标系是由三个互相垂直并相交的坐标轴X，Y，Z组成的三维坐标系。然后，通过事先的手动标定，按照转换关系T_wv将目标在场景中的世界坐标L_w:(x,y,z)转换成目标在视频或图像中的坐标L_v:(x,y)，然后通过对摄像机获得的视频分析来实现目标粗定位。转换关系T_wv如下所示：

L_v=L_wT_wv   （1）

优选地，获取目标的粗略世界坐标的传感器为超声波传感器以及RFID传感器。图2示意性地示出了利用多传感器融合地进行目标粗定位的场景示意图。如图2所示，在该场景中，首先，超声波以及RFID传感器201获得目标的世界坐标；与此同时，摄像机202获取视频数据；然后，世界坐标数据与摄像机202获取的视频数据通过连接盒203以及数据传输控制器204，传入算法服务器205中；最后，算法服务器205利用事先标定的转换关系，将世界坐标转换为目标在摄像机视频中的坐标，即粗定位坐标。

步骤120，根据步骤110中对运动目标的粗定位而得到的运动目标在视频中的坐标，检测该坐标附近的运动信息，利用基于二级回归的部件模型算法进行人体精检测，从而获取人在视频中的精确位置。

步骤130，对人的身份进行识别，从而得到人检测结果。得到人的精确位置之后，再采用生物特征技术进行身份识别。

优选地，身份识别可以在场景入口处以及场景内部分别进行。场景入口处采用识别精度高并需要操作人员配合的高精度识别，如指纹、虹膜识别等；场景内部采用具有非接触、大区域的特征并基于人体精确位置的身份识别，如人脸识别等。从而利用两种身份识别方法，互补地对场景中的人进行很好的监控管理。

根据本发明，在上述步骤120中对人的精确位置检测技术采用的是基于二级回归的部件模型算法。根据本发明的检测技术是在图像中采用一定策略找到感兴趣目标的准确位置。部件模型算法是该检测模型中将目标分拆成几个部件进行表述，如人体可以由头部、头肩、上半身、下半身等部件来共同描述，该算法可以很好的克服人的遮挡、形变等问题。基于二级回归指的是首先利用特征回归得到各个部件的大概位置，然后利用回归得到的部件大概位置再进行部件精定位。这样可以提高部件的定位速度。为进行特征回归，首先需要标定一部分训练集，即标注人的头部、头肩、上半身、下半身等部件位置，使用偏最小二乘法进行回归，得到回归算子。模型的训练采用的是线性支持向量机。

在利用部件模型算法进行人体精检测之前，需要训练部件模型。在训练阶段，可以通过人工标注的方式将各部件位置标注出来，每张训练图像中相应的各部件位置是根据图像的内容而变化的。在测试阶段，各个部件模型在图像中进行扫描找到最终的位置。

图3示意性地示出了生成基于部件模型的人体检测算子的流程图。基于部件模型的人体检测算子能够根据目标粗定位坐标产生人体精确位置。如图3所示，生成基于部件模型的人体检测算子的步骤如下：

步骤310，对正样本的部件进行标注。该正样本指的是含有完整人体图像的样本；

步骤320，基于特征对正样本部件进行训练学习，得到部件位置的回归算子。该算子能够根据运动信息（如某些特征）求出人体部件的位置。

优选地，目标检测主要基于HOG特征来实现目标检测，并通过肤色、人脸等检测结果来修正最终目标检测结果。HOG特征是一种局部区域描述符，它通过计算局部区域上的梯度方向直方图来构成人体特征,能够很好地描述人体的边缘，而且对光照变化和小量的偏移不敏感。该特征具有以下3个优点：1.它对图像几何的和光学的形变都能保持很好的不变性。2.它在人脸定位识别方面的作用很强大，能够很好地将人与背景进行区分。3.容许行人有一些不剧烈的肢体动作，而不影响检测效果。

用于对检测结果进行修正的人脸肤色在YCrCb空间具有很好的聚类性，也即肤色在CrCb空间的值只集中在某一个范围内，可以利用这个特点把它与背景和其它颜色区分开。因此人脸肤色的修正对于准确进行人脸定位识别具有很好的效果。

步骤330，使用全部的正负样本使用线性支持向量机训练得到一个初始的全局模型。其中负样本是指仅包含背景的样本；

步骤340，利用标注的部件位置对部件模型进行初始化；

步骤350，结合全局模型、部件模型以及部件回归算子，产生人体检测算子。该人体检测算子能够根据目标粗定位坐标求出人体精确位置。具体地,该人体检测算子先通过部件位置回归算子检测粗定位坐标附近的运动信息(例如HOG特征)来求出部件的位置信息，然后根据人体部件的位置求出人体的精确位置。

优选地，在步骤340与步骤350之间还可以包括步骤345，对目标模型进行更新。更新目标模型的步骤包括：

步骤345a，提取训练样本中的数据；

步骤345b，利用部件回归算子求出样本中的人体各部件的位置信息；

步骤345c，判断检测结果的正确与否，该判断过程可以通过操作人员来进行；

步骤345d，对上述步骤中确定过的检测结果，自动保存并生成新的样本；以及

步骤345e，将分类错误的样本加入训练样本，并使之前预测分数s作为样本权重w，重新对模型进行训练更新，得到最终的人的检测模型。样本权重的公式如下：

$w=1-\frac{1}{1+e^{-s}}---\left(2\right)$

该公式中，e是自然底数，即数学运算中特定的数字常量，预测分数s是指基于二级回归模型的人检测模型对于某样本的响应值，比如模型在一含有人的图像窗口的响应为1.0，而在不含有人的图像窗口的响应为-1.0，该响应值即是预测分数。

图4示意性地示出了利用本发明的人体检测方法的视频监控界面。如图4所示，该界面能够显示各路当前采集到的实时视频，并在其上叠加绘制出人体精确位置的检测结果。

图5示意性地示出了根据本发明一个实施例的显示场景配置的俯视图界面。该界面能够显示配置场景中摄像机、RFID、指纹、超声波传感器的位置及相应参数，以及对场景的标定信息。如摄像机501的参数为8216。

优选地，本发明使用的方法可在个人计算机、工控机及服务器上以软件的形式安装并执行，也可将方法做成嵌入式芯片以硬件的形式来体现。

以下，结合一个实施例对本发明进行解释。

本实施例是实现对消防中控室的远程监控管理。实施调取监控室图像，实现远程监督管理。

首先根据基于部件模型的人体精检测技术来检测中控室是否有人在岗，如果在监控画面内检测不到人，则自动发出报警信号；然后利用对人的身份识别，检测该值班人员是否为持有消防中控管理员资格证书的合法工作人员。根据上述检测结果，将作为管理依据的脱岗视频及脱岗报警信息同步录制并及时上传。

图6示意性地示出了一个值班监控的实施例的示意图。如图6所示，界面601为当前的实时视频。当检测到该房间一定时间内没有人值班，则系统会进行报警，报警事件会显示在报警事件列表中，报警事件列表如界面602所示。

在报警事件列表中选择某一事件，界面603为对于该报警事件的视频回放。界面604为对该事件的事件处理。如界面604所示，开始时间为报警事件的开始发生时间。结束时间为报警事件的结束时间。规则指的是所考察异常事件所依赖的预设定的规则，比如没有人就报警，这就是一条规则。修正级别表示报警事件根据严重程度分的高中低等，本实施例的方法提供了一项功能供使用人员可人工修正所发生的异常事件的警报级别。“是否处理”选项用以标定是否有人来处理了该报警事件。修正历史详细记录了是哪些人修正了相应的报警事件。

通过本发明的一种基于多传感器、多特征融合的半监督人检测方法，能够在复杂的背景场景中，面对不同行人的身材、姿势、视角和衣着、光照和摄像头自身的移动及晃动等因素，快速、准确地进行人的检测。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (9)

1.一种基于多传感器、多特征融合的半监督的人检测方法，包括如下步骤：

a)对运动目标进行粗定位，以得到所述运动目标在所监控的视频中的坐标位置；

b)根据步骤a)得到的坐标，检测该坐标附近的运动信息，利用基于二级回归的部件模型算法进行人体精检测，获取人在视频中的精确位置；

c)对人的身份进行识别，从而得到人检测结果。

2.如权利要求1所述的方法，其中所述步骤a)包括通过传感器获取目标的粗略世界坐标，并转换成目标在视频或图像中的坐标。

3.如权利要求1所述的方法，其中所述传感器是超声波传感器以及RFID传感器。

4.如权利要求1所述的方法，其中所述步骤b)中基于二级回归的部件模型算法中生成人体检测算子的方法包括如下步骤：

b1)对正样本的部件进行标注，所述正样本是含有完整人体图像的样本；

b2)基于特征对所述正样本部件进行训练学习，得到部件位置的回归算子；

b3)使用全部的正负样本使用线性支持向量机训练得到一个初始的全局模型，其中所述负样本是指仅包含背景的样本；

b4)利用标注的部件位置对部件模型进行初始化；

b5)结合全局模型、部件模型以及部件回归算子，产生人体检测算子。

5.如权利要求4所述的方法，其中在所述步骤b4)与步骤b5)之间还可以下列子步骤：

b41)提取训练样本中的数据；

b42)利用部件回归算子求出样本中的人体各部件的位置信息；

b43)判断检测结果的正确与否；

b44)对步骤b43中确定过的检测结果，自动保存并生成新的样本；以及

b45)将分类错误的样本加入训练样本，并使之前预测分数作为样本权重，重新对模型进行训练更新，得到最终的人的检测模型。

6.如权利要求5所述的方法，其中所述步骤b45)中的样本权重计算公式如下：

$w=1-\frac{1}{1+e^{-s}}$

其中e是自然底数，s是预测分数，是基于二级回归模型的人检测模型对于某样本的响应值。

7.如权利要求1所述的方法，其中所述步骤c)中的身份识别是采用生物特征技术进行身份识别。

8.如权利要求1所述的方法，其中所述步骤c)中的身份识别在场景入口处以及场景内部分别进行。

9.如权利要求1所述的方法，其中所述身份识别选自指纹、虹膜识别及人脸识别中的至少一种。

Images