CN106296628B - 检测异常情形的方法和装置 - Google Patents

Abstract

本发明的实施例提供了一种检测异常情形的方法和装置。根据本发明实施例的检测异常情形的方法，包括：识别所采集的图像中是否存在检测对象；当存在检测对象时，根据所采集的图像生成所采集的图像中的检测对象的三维点云；根据所生成的三维点云获得检测对象的当前姿态特征；以及根据当前姿态特征和预先确定的姿态特征标准确定是否存在异常情形，其中姿态特征标准是预先根据检测对象在进行多种异常动作时的共同特征来确定的。

Description

检测异常情形的方法和装置

技术领域

本发明涉及检测异常情形的方法和装置，更具体地，本发明涉及根据所检测的对象是否持有物体来检测异常情形的方法和装置。

背景技术

随着技术的发展和人民安全意识的提高，越来越多的公共场所(例如车站、机场、银行、写字楼的公共区域等)中安装了监控系统。发现并识别出这些公共场所中存在的异常情形对建立有效的监控系统起着至关重要的作用。这种识别异常情形的能力可以帮助人们检测出公共场所里的潜在安全风险，并为对此做出快速反应以避免对人和设施的损害提供了可能性。检测对象(例如人类)的异常行为是异常情形识别中非常重要的一部分。检测对象的异常行为可以包括，例如，破坏公物、在墙面上张贴广告、以及对其他人构成威胁的动作等。

已经提出了通过对监控系统的相机所采集的图像进行识别来获取检测对象的当前动作，并且将检测对象的当前动作与预先定义的异常动作模板进行匹配，从而确定检测对象的当前动作是否为特定的异常动作的方法。然而，在该方法中，通常需要对希望识别出的各种异常动作分别预先定义模板。例如，对于检测对象挥舞的动作、扔东西的动作、射击的动作分别预先定义模板。将检测对象的当前动作分别与所建立的模板进行比对，以确定其是否属于异常动作。这导致需要预先进行复杂的模板定义以及训练过程。此外，通过该方法难以识别出不属于预先定义的异常动作模板的危险动作。

此外，目前监控系统的相机所采集的图像容易受到光照、视角变化等因素的影响，并且在所采集的图像中检测对象常常受到障碍物的遮挡。这导致所采集的图像往往不能准确地反应检测对象的危险性。

发明内容

本发明实施例的目的在于提供一种确定物体危险性的方法和装置，以解决上述问题。

本发明的一个实施例提供了一种检测异常情形的方法，包括：识别所采集的图像中是否存在检测对象；当存在检测对象时，根据所采集的图像生成所采集的图像中的检测对象的三维点云；根据所生成的三维点云获得检测对象的当前姿态特征；以及根据当前姿态特征和预先确定的姿态特征标准确定是否存在异常情形，其中姿态特征标准是预先根据检测对象在进行多种异常动作时的共同特征来确定的。

本发明的另一实施例提供了一种检测异常情形的装置，包括：对象识别单元，配置来识别所采集的图像中是否存在检测对象；点云生成单元，配置来当存在检测对象时，根据所采集的图像生成所采集的图像中的检测对象的三维点云；特征获取单元，配置来根据所生成的三维点云获得检测对象的当前姿态特征；以及情形确定单元，配置来根据当前姿态特征和预先确定的姿态特征标准确定是否存在异常情形，其中姿态特征标准是预先根据检测对象在进行多种异常动作时的共同特征来确定的。

公共场所发生的异常情形常常是由检测对象的异常动作所导致的。根据本发明实施例的方案根据检测对象在进行多种异常动作时的共同特征来判断是否存在异常情形，从而避免了复杂的异常动作模板建立和训练过程，易于部署和实施，并且在实际使用中不需要与多个异常动作模板分别进行比较，因此能够准确快速地确定是否存在异常情形。此外，与只能识别出特定异常动作的传统方法相比，根据本发明实施例的方案不会受到特定异常动作模板的局限，可对检测对象的任意姿态进行评估。因此根据本发明实施例的检测异常情形的方法和装置可更加灵活、有效地应用于可能出现大量的、变化的异常情形的实际监控场景中。

附图说明

图1是描述了根据本发明一个实施例的检测异常情形的方法的流程图。

图2是示出了根据本发明一个示例的检测对象的三维点云的示意图。

图3a是示出了根据本发明一个示例的持有物体的检测对象的深度图。

图3b是示出了根据本发明另一示例的持有物体的检测对象的深度图。

图4a是示出了根据本发明一个示例的检测对象的三维点云的正视图。

图4b是示出了根据三维点云生成的在正视图中的投影映射。

图5a是示出了根据本发明一个示例的检测对象的三维点云的侧视图。

图5b是示出了根据三维点云生成的在侧视图中的投影映射。

图6a是示出了根据本发明一个示例的检测对象的三维点云的顶视图。

图6b是示出了根据三维点云生成的在侧视图中的投影映射。

图7是示出了根据本发明的一个实施例的检测异常情形的装置的示范性结构框图。

图8是示出按照本发明实施例的检测异常情形的系统的总体硬件框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。

根据本发明的实施例的检测异常情形的方法和装置可应用于包括相机设备的监控系统。例如，相机设备可以是例如双目相机之类的立体相机。此外，立体相机的具体形式不限于此，其还可以是例如三目相机或者由基于TOF或者主动光模式的相机等能够获得图像中对象的深度信息的任何其他相机。此外在根据本发明的实施例中，监控系统中的相机设备可对所监控的特定场景进行拍摄，并且所采集的图像为通过相机设备获取的关于特定场景的图像。

图1是描述了根据本发明一个实施例的检测异常情形的方法100的流程图。下面，将参照图1来描述根据本发明实施例的检测异常情形的方法。如图1所示，在步骤S101中，识别所采集的图像中是否存在检测对象。可预先设置希望识别出的图像中的检测对象。例如，检测对象可以是人，也可以是能够做出动作的其他对象。当存在检测对象时，在步骤S102中，根据所采集的图像生成所采集的图像中的检测对象的三维点云。

根据本发明的一个示例，可使用根据相机设备获取的深度信息生成的深度图像进行背景建模，以提取前景。具体地，可利用相机设备获取的深度信息确定检测对象(例如人)在所采集的图像中的位置，并将所确定的该检测对象作为前景。可通过常规的背景建模方法来生成图像的背景模型。背景模型可以是静态背景建模，此外，也可以是使用混合高斯模型等建立的动态背景建模。然后在步骤S102中利用背景减除的方法，分别提取视觉图像和深度图像中的前景像素，以生成检测对象的三维点云。

可选择地，根据本发明的一个示例可对三维点云进行降噪处理，以方便进行后续处理。可以在这里使用针对三维点云的已知的降噪方法。例如，可使用局部优化投影降噪算法。

然后在步骤S103中，根据所生成的三维点云获得检测对象的当前姿态特征。并且在步骤S104中根据在步骤S103中获得的当前姿态特征和预先确定的姿态特征标准确定是否存在异常情形，其中姿态特征标准是预先根据检测对象在进行多种异常动作时的共同特征来确定的。

根据本发明的一个示例，多种异常动作可以是类型不同的多个动作，例如，挥舞动作、投掷动作、射击动作、跳跃动作等。发明人在对各种动作研究的过程中得到在进行这些异常动作时，诸如人之类的检测对象通常呈现肢体展开、肢体外接多边形体积增加、姿势对称性变差、以及持有物体等共同的特征。因此可根据这些共同姿态特征来生成用于确定异常动作的姿态特征标准。

例如，用于确定姿态特征标准的共同特征可包括检测对象的大小、肢体展开程度、肢体高度、姿势对称性、以及检测对象持有物体的大小中的一个或多个。相应地，根据这些共同特征来预先确定的姿态特征标准可包括对于检测对象的外接立方体体积的标准，该标准可指示检测对象的大小、肢体展开程度和肢体高度等；对于检测对象的中心位置的标准，该标准可指示检测对象的肢体高度、姿势对称性等；对于检测对象在三个相邻视图上的投影映射的标准，该标准可指示检测对象的大小、肢体展开程度、肢体高度、姿势对称性以及检测对象的持有物体等；和/或对于检测对象的顶视图投影对称性的标准，该标准可指示检测对象的姿势对称性等。

在此情况下，在步骤S103中根据所生成的三维点云获得检测对象的当前姿态特征可包括根据所生成的三维点云获得的、检测对象的当前外接立方体体积、当前中心位置、当前在三个相邻视图上的投影映射、以及当前顶视图投影映射对称性中的一个或多个。并且在步骤S104中，可根据当前姿态特征和与该当前姿态特征对应的、预先确定的姿态特征标准确定是否存在异常情形。

例如，检测对象的当前姿态特征可包括检测对象的当前外接立方体体积。具体地，在步骤S103中，可计算所生成的三维点云的体积作为检测对象的当前外接立方体的体积。姿态特征标准可包括对于检测对象的外接立方体体积的标准。如上所述，当检测对象的肢体(例如人的四肢)展开程度越大或者肢体末端(例如手和脚)高度越高时，进行异常情形存在的可能性越大，相应地，其外接立方体体积的体积越大。因此在步骤S103中计算的检测对象的外接立方体体积的体积越大，在步骤S104中根据姿态特征标准，可确定异常情形存在的可能性越大。反之，可确定异常情形存在的可能性越小。

图2是示出了根据本发明一个示例的检测对象的三维点云200的示意图。在如图2所示的x轴、y轴和z轴表示的三维空间中，可通过以下公式(1)来计算检测对象的三维点云200的外接立方体的体积Score_cubic：

Score_cubic＝(max(X)-min(X))×(max(Y)-min(Y))×(max(Z)-min(Z))……(1)

其中，X表示三维点云200的x坐标的集合，Y表示三维点云200的y坐标的集合，Z表示三维点云200的z坐标的集合。

又例如，检测对象的当前姿态特征可包括检测对象的当前中心位置。具体地，在步骤S103中，可计算所生成的三维点云的中心位置作为检测对象的中心位置。姿态特征标准可包括对于检测对象的中心位置的标准。如上所述，当检测对象的肢体末端(例如手和脚)高度越高时，进行异常情形存在的可能性越大，相应地，其外中心位置越高。此外，当检测对象的持有物体并且物体越重或越大时，进行异常情形存在的可能性越大，相应地，其外中心位置越偏离该检测对象的除了其所持物体以外的部分的中线。

图3a是示出了根据本发明一个示例的持有物体的检测对象的深度图。图3b是示出了根据本发明另一示例的持有物体的检测对象的深度图。在图3a和图3b中，检测对象均持有物体310。在图3a所示的示例中，检测对象的手臂低垂且靠近身体，因此检测对象的中心位置320较低且靠近除了其所持物体以外的部分的中线。而在图3b所示的示例中，检测对象持有物体310的手臂举起且向外伸展，因此检测对象的中心位置320’较高且与除了其所持物体以外的部分的中线之间的距离较远。

因此，可预先设置当未做出异常动作时检测对象的基准中心位置。在步骤S103中计算的检测对象的当前中心位置与基准中心位置的之间的距离越大和/或检测对象的当前中心位置越高，在步骤S104中根据姿态特征标准，可确定异常情形存在的可能性越大。反之，可确定异常情形存在的可能性越小。

在如图2所示的示例中，可通过以下公式(2)来计算检测对象的三维点云200的外接立方体的当前中心位置与基准中心位置的之间的距离Score_center：

Score_center＝||p_base-mean(X,Y,Z)||₂……(2)

其中，p_base表示预先设置的基准中心位置。

又例如，检测对象的当前姿态特征可包括检测对象的当前在三个相邻视图上的投影映射。具体地，在步骤S103中，可生成三维点云的在三个相邻视图中的投影映射作为检测对象当前在三个相邻视图上的投影映射，其中在每个视图中的投影映射是由在每个投影单元处、三维点云中在与该视图垂直的方向上距离该视图最远的点构成的。

根据本发明的一个示例，在步骤S103中，可生成三维点云的在正视图、侧视图和顶视图上的投影映射。图4a是示出了根据本发明一个示例的检测对象的三维点云410的正视图。图4b是示出了根据三维点云410生成的在正视图中的投影映射420。如图4b所示，在正视图中的投影映射420是由在每个投影单元(例如像素点)处、三维点云410中在与正视图垂直的方向上距离正视图最远的点构成的。图5a是示出了根据本发明一个示例的检测对象的三维点云410的侧视图。图5b是示出了根据三维点云410生成的在侧视图中的投影映射520。如图5b所示，在侧视图中的投影映射520是由在每个投影单元处、三维点云410中在与侧视图垂直的方向上距离侧视图最远的点构成的。图6a是示出了根据本发明一个示例的检测对象的三维点云410的顶视图。图6b是示出了根据三维点云410生成的在侧视图中的投影映射620。如图6b所示，在顶视图中的投影映射620是由在每个投影单元处、三维点云410中在与顶视图垂直的方向上距离顶视图最远的点构成的。

姿态特征标准可包括对于检测对象在三个相邻视图上的投影映射的标准。如上所述，当检测对象的肢体(例如人的四肢)展开程度越大、肢体末端(例如手和脚)高度越高或者持有物体越大时，进行异常情形存在的可能性越大，相应地，其三个相邻视图上的投影映射所围成的体积也越大。根据本发明的一个示例，在S104中可计算检测对象当前在三个相邻视图上的投影映射中各个点的像素值(即各个点在垂直于该视图的方向上的坐标值)之和，从而确定三个相邻视图上的投影映射所围成的体积。三个相邻视图上的投影映射中各个点的像素值之和越大，在步骤S104中根据姿态特征标准，可确定异常情形存在的可能性越大。反之，可确定异常情形存在的可能性越小。

此外在公共场合，除了检测对象自身之外，可能存在其他人或物对检测对象造成遮挡。在此情况下，与被遮挡的投影映射相比，未被遮挡的视图上的投影映射更能够准确地反映检测对象的情况。根据本发明的一个示例，可根据检测对象在各个视图中被遮挡的情况生成对于每个视图上的投影映射的权重。并且根据权重来计算三个相邻视图上的投影映射中各个点的像素值之和。具体地，在步骤S104中，可根据所生成的三维点云确定检测对象当前在三个相邻视图中被遮挡的程度。根据所确定的被遮挡的程度对于当前在三个相邻视图上的投影映射分别生成权重。例如，根据所生成的三维点云确定检测对象在侧视图中被遮挡较严重，而在顶视图和正视图中未被遮挡。在此情况下，可对侧视图上的投影映射生成较小的权重，而对正视图和顶视图上的投影映射生成较大的权重。然后，根据所生成的权重和当前在三个相邻视图上的投影映射，计算当前在三个相邻视图上的投影映射的像素值之和。例如，可通过以下公式(3)来计算当前在三个相邻视图上的投影映射的像素值之和Score_3map：

其中w_f表示对正视图上的投影映射的权重，w_s表示对侧视图上的投影映射的权重，w_t表示对顶视图上的投影映射的权重，表示正视图上的投影映射的像素值之和，表示侧视图上的投影映射的像素值之和，表示顶视图上的投影映射的像素值之和。当所计算的当前在三个相邻视图上的投影映射的像素值之和越大时，异常情形存在的可能性越大。

又例如，检测对象的当前姿态特征可包括检测对象的当前顶视图投影映射对称性。具体地，在步骤S103中，可生成三维点云的在顶视图中的顶视图投影映射作为检测对象的当前顶视图投影映射，并且确定所述当前顶视图投影映射的对称性。在步骤S103中，可旋转所获得的当前顶视图投影映射，以根据旋转前的当前顶视图投影映射和旋转后的当前顶视图投影映射确定当前顶视图投影映射的对称性。例如，在步骤S103中，可将当前顶视图投影映射旋转180度，比较根据旋转前的当前顶视图投影映射和旋转后的当前顶视图投影映射之间以获得两者之间的差值，并且根据两者之间的差值确定当前顶视图投影映射的对称性。可选择地，可将当前顶视图投影映射进行椭圆拟合，并以垂直于所获得的椭圆的短轴为旋转轴来旋转当前顶视图投影映射。

姿态特征标准可包括对于检测对象的顶视图投影映射的标准。如上所述，当检测对象的对称性越差时，进行异常情形存在的可能性越大。因此，在根据步骤S103中生成的顶视图投影映射的对称性越差，在步骤S104中根据姿态特征标准，可确定异常情形存在的可能性越大。反之，可确定异常情形存在的可能性越小。

此外，根据本发明的一个示例，在步骤S103中获得多个当前姿态特征时，可生成对于每个当前姿态特征的权重。在步骤S104中，首先对于每个当前姿态特征，根据与该特征对应的预先确定的姿态特征标准确定是否存在异常情形；然后结合各个特征的确定结果和其权重来最终确定是否存在异常情形。

可预先设置对于各个姿态特征的权重。例如，由于当前外接立方体体积和当前在三个相邻视图上的投影映射均可表示检测对象肢体的伸展情况且当前在三个相邻视图上的投影映射围成的体积更加准确，因此可对当前在三个相邻视图上的投影映射分配较大的权重，并对当前外接立方体体积分配较小的权重。此外，也可根据例如遮挡情况等因素实时计算对于各个姿态特征的权重。

在根据本实施例的检测异常情形的方法中，根据检测对象在进行多种异常动作时的共同特征来判断是否存在异常情形，从而避免了复杂的异常动作模板建立和训练过程，易于部署和实施，并且在实际使用中不需要与多个异常动作模板分别进行比较，因此能够准确快速地确定是否存在异常情形。

此外，与只能识别出特定异常动作的传统方法相比，根据本实施例的检测异常情形的方法不会受到特定异常动作模板的局限，可对检测对象的任意姿态进行评估。因此根据本发明实施例的检测异常情形的方法和装置可更加灵活、有效地应用于可能出现大量的、变化的异常情形的实际监控场景中。

此外，在根据本实施例的检测异常情形的方法中，可仅通过当前帧的图像和预先确定的姿态特征标准来确定是否存在异常情形，而不需要先前的检测对象的历史数据。因此，简化了为了确定异常情形所需要进行的运算。

下面，参照图7说明本发明实施例的检测异常情形的装置。图7是示出了根据本发明的一个实施例的检测异常情形的装置700的示范性结构框图。如图7中所示，本实施例的检测异常情形的装置700包括对象识别单元710、点云生成单元720、特征获取单元730和情形确定单元740。在检测异常情形的装置700中的各个单元可分别执行上述图1中的检测异常情形的方法100的各个步骤/功能。因此，以下仅对检测异常情形的装置700的主要部件进行了描述，而省略了以上已经结合图1描述过的细节内容。

具体地，对象识别单元710识别所采集的图像中是否存在检测对象。可预先设置希望识别出的图像中的检测对象。例如，检测对象可以是人，也可以是能够做出动作的其他对象。当存在检测对象时，点云生成单元720根据所采集的图像生成所采集的图像中的检测对象的三维点云。

根据本发明的一个示例，可使用根据相机设备获取的深度信息生成的深度图像进行背景建模，以提取前景。具体地，可利用相机设备获取的深度信息确定检测对象(例如人)在所采集的图像中的位置，并将所确定的该检测对象作为前景。可通过常规的背景建模方法来生成图像的背景模型。背景模型可以是静态背景建模，此外，也可以是使用混合高斯模型等建立的动态背景建模。然后点云生成单元720利用背景减除的方法，分别提取视觉图像和深度图像中的前景像素，以生成检测对象的三维点云。

可选择地，根据本发明的一个示例点云生成单元720可对三维点云进行降噪处理，以方便进行后续处理。可以在这里使用针对三维点云的已知的降噪方法。例如，可使用局部优化投影降噪算法。

然后特征获取单元730可根据所生成的三维点云获得检测对象的当前姿态特征。并且情形确定单元740根据特征获取单元730获得的当前姿态特征和预先确定的姿态特征标准确定是否存在异常情形，其中姿态特征标准是预先根据检测对象在进行多种异常动作时的共同特征来确定的。

根据本发明的一个示例，多种异常动作可以是类型不同的多个动作，例如，挥舞动作、投掷动作、射击动作、跳跃动作等。发明人在对各种动作研究的过程中得到在进行这些异常动作时，诸如人之类的检测对象通常呈现肢体展开、肢体外接多边形体积增加、姿势对称性变差、以及持有物体等共同的特征。因此可根据这些共同姿态特征来生成用于确定异常动作的姿态特征标准。

例如，用于确定姿态特征标准的共同特征可包括检测对象的大小、肢体展开程度、肢体高度、姿势对称性、以及检测对象持有物体的大小中的一个或多个。相应地，根据这些共同特征来预先确定的姿态特征标准可包括对于检测对象的外接立方体体积的标准，该标准可指示检测对象的大小、肢体展开程度和肢体高度等；对于检测对象的中心位置的标准，该标准可指示检测对象的肢体高度、姿势对称性等；对于检测对象在三个相邻视图上的投影映射的标准，该标准可指示检测对象的大小、肢体展开程度、肢体高度、姿势对称性以及检测对象的持有物体等；和/或对于检测对象的顶视图投影对称性的标准，该标准可指示检测对象的姿势对称性等。

在此情况下，特征获取单元730根据所生成的三维点云获得检测对象的当前姿态特征可包括根据所生成的三维点云获得的、检测对象的当前外接立方体体积、当前中心位置、当前在三个相邻视图上的投影映射、以及当前顶视图投影映射对称性中的一个或多个。并且情形确定单元740可根据当前姿态特征和与该当前姿态特征对应的、预先确定的姿态特征标准确定是否存在异常情形。

例如，检测对象的当前姿态特征可包括检测对象的当前外接立方体体积。具体地，特征获取单元730可计算所生成的三维点云的体积作为检测对象的当前外接立方体的体积。姿态特征标准可包括对于检测对象的外接立方体体积的标准。如上所述，当检测对象的肢体(例如人的四肢)展开程度越大或者肢体末端(例如手和脚)高度越高时，进行异常情形存在的可能性越大，相应地，其外接立方体体积的体积越大。因此特征获取单元730计算的检测对象的外接立方体体积的体积越大，情形确定单元740根据姿态特征标准，可确定异常情形存在的可能性越大。反之，情形确定单元740可确定异常情形存在的可能性越小。情形确定单元740可通过上述公式(1)来计算检测对象的三维点云的外接立方体的体积。

又例如，检测对象的当前姿态特征可包括检测对象的当前中心位置。具体地，特征获取单元730可计算所生成的三维点云的中心位置作为检测对象的中心位置。姿态特征标准可包括对于检测对象的中心位置的标准。如上所述，当检测对象的肢体末端(例如手和脚)高度越高时，进行异常情形存在的可能性越大，相应地，其外中心位置越高。此外，当检测对象的持有物体并且物体越重或越大时，进行异常情形存在的可能性越大，相应地，其外中心位置越偏离该检测对象的除了其所持物体以外的部分的中线。因此，可预先设置当未做出异常动作时检测对象的基准中心位置。特征获取单元730计算的检测对象的当前中心位置与基准中心位置的之间的距离越大和/或检测对象的当前中心位置越高，情形确定单元740根据姿态特征标准，可确定异常情形存在的可能性越大。反之，情形确定单元740可确定异常情形存在的可能性越小。情形确定单元740可通过上述公式(2)来计算检测对象的三维点云的外接立方体的当前中心位置与基准中心位置的之间的距离。

又例如，检测对象的当前姿态特征可包括检测对象的当前在三个相邻视图上的投影映射。具体地，特征获取单元730可生成三维点云的在三个相邻视图中的投影映射作为检测对象当前在三个相邻视图上的投影映射，其中在每个视图中的投影映射是由在每个投影单元处、三维点云中在与该视图垂直的方向上距离该视图最远的点构成的。根据本发明的一个示例，特征获取单元730可生成三维点云的在正视图、侧视图和顶视图上的投影映射。

姿态特征标准可包括对于检测对象在三个相邻视图上的投影映射的标准。如上所述，当检测对象的肢体(例如人的四肢)展开程度越大、肢体末端(例如手和脚)高度越高或者持有物体越大时，进行异常情形存在的可能性越大，相应地，其三个相邻视图上的投影映射所围成的体积也越大。根据本发明的一个示例，情形确定单元740可计算检测对象当前在三个相邻视图上的投影映射中各个点的像素值(即各个点在垂直于该视图的方向上的坐标值)之和，从而确定三个相邻视图上的投影映射所围成的体积。三个相邻视图上的投影映射中各个点的像素值之和越大，情形确定单元740根据姿态特征标准，可确定异常情形存在的可能性越大。反之，情形确定单元740可确定异常情形存在的可能性越小。

此外在公共场合，除了检测对象自身之外，可能存在其他人或物对检测对象造成遮挡。在此情况下，与被遮挡的投影映射相比，未被遮挡的视图上的投影映射更能够准确地反映检测对象的情况。根据本发明的一个示例，情形确定单元740可根据检测对象在各个视图中被遮挡的情况生成对于每个视图上的投影映射的权重。并且根据权重来计算三个相邻视图上的投影映射中各个点的像素值之和。具体地，情形确定单元740可根据所生成的三维点云确定检测对象当前在三个相邻视图中被遮挡的程度。根据所确定的被遮挡的程度对于当前在三个相邻视图上的投影映射分别生成权重。例如，根据所生成的三维点云确定检测对象在侧视图中被遮挡较严重，而在顶视图和正视图中未被遮挡。在此情况下，可对侧视图上的投影映射生成较小的权重，而对正视图和顶视图上的投影映射生成较大的权重。然后，根据所生成的权重和当前在三个相邻视图上的投影映射，计算当前在三个相邻视图上的投影映射的像素值之和。例如，可通过以上公式(3)来计算当前在三个相邻视图上的投影映射的像素值之和。当所计算的当前在三个相邻视图上的投影映射的像素值之和越大时，异常情形存在的可能性越大。

又例如，检测对象的当前姿态特征可包括检测对象的当前顶视图投影映射对称性。具体地，特征获取单元730可生成三维点云的在顶视图中的顶视图投影映射作为检测对象的当前顶视图投影映射，并且确定所述当前顶视图投影映射的对称性。特征获取单元730可旋转所获得的当前顶视图投影映射，以根据旋转前的当前顶视图投影映射和旋转后的当前顶视图投影映射确定当前顶视图投影映射的对称性。例如，特征获取单元730可将当前顶视图投影映射旋转180度，比较根据旋转前的当前顶视图投影映射和旋转后的当前顶视图投影映射之间以获得两者之间的差值，并且根据两者之间的差值确定当前顶视图投影映射的对称性。可选择地，可将当前顶视图投影映射进行椭圆拟合，并以垂直于所获得的椭圆的短轴为旋转轴来旋转当前顶视图投影映射。

姿态特征标准可包括对于检测对象的顶视图投影映射的标准。如上所述，当检测对象的对称性越差时，进行异常情形存在的可能性越大。因此，特征获取单元730生成的顶视图投影映射的对称性越差，情形确定单元740根据姿态特征标准，可确定异常情形存在的可能性越大。反之，情形确定单元740可确定异常情形存在的可能性越小。

此外，根据本发明的一个示例，当特征获取单元730获得多个当前姿态特征时，可生成对于每个当前姿态特征的权重。情形确定单元740可首先对于每个当前姿态特征，根据与该特征对应的预先确定的姿态特征标准确定是否存在异常情形；然后结合各个特征的确定结果和其权重来最终确定是否存在异常情形。

可预先设置对于各个姿态特征的权重。例如，由于当前外接立方体体积和当前在三个相邻视图上的投影映射均可表示检测对象肢体的伸展情况且当前在三个相邻视图上的投影映射围成的体积更加准确，因此可对当前在三个相邻视图上的投影映射分配较大的权重，并对当前外接立方体体积分配较小的权重。此外，也可根据例如遮挡情况等因素实时计算对于各个姿态特征的权重。

在根据本实施例的检测异常情形的装置中，根据检测对象在进行多种异常动作时的共同特征来判断是否存在异常情形，从而避免了复杂的异常动作模板建立和训练过程，易于部署和实施，并且在实际使用中不需要与多个异常动作模板分别进行比较，因此能够准确快速地确定是否存在异常情形。

此外，与只能识别出特定异常动作的传统装置相比，根据本实施例的检测异常情形的装置不会受到特定异常动作模板的局限，可对检测对象的任意姿态进行评估。因此根据本发明实施例的检测异常情形的装置和装置可更加灵活、有效地应用于可能出现大量的、变化的异常情形的实际监控场景中。

此外，在根据本实施例的检测异常情形的装置中，可仅通过当前帧的图像和预先确定的姿态特征标准来确定是否存在异常情形，而不需要先前的检测对象的历史数据。因此，简化了为了确定异常情形所需要进行的运算。

此外，根据本发明的另一示例，本发明还可以通过一种检测异常情形的系统来实施。图8是示出按照本发明实施例的检测异常情形的系统800的总体硬件框图。如图8所示，检测异常情形的系统800可以包括：输入设备810，用于从外部输入例如通过立体相机采集的图像，并且例如可以包括图像传输线、图像输入端口等等；处理设备820，用于实施上述的按照本发明实施例的检测异常情形的方法，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，此外，处理设备820还可以连接到诸如因特网的网络(未示出)，根据处理过程的需要向远程传送处理后的结果等等；输出设备830，用于向外部输出实施上述检测异常情形过程所得的结果，例如可以包括显示器以及通信网络及其所连接的远程输出设备等等；以及存储设备840，用于以易失或非易失的方式存储上述所采集的图像、第一对象和物体的运动信息等数据，例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

所属技术领域的技术人员知道，本发明可以实现为系统、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“组件、“模块”、“装置”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

上面参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instructionmeans)的制造品(manufacture)。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.一种检测异常情形的方法，包括：

识别所采集的图像中是否存在检测对象；

当存在所述检测对象时，根据所采集的图像生成所采集的图像中的检测对象的三维点云；

根据所生成的三维点云获得所述检测对象的当前姿态特征；以及

根据所述当前姿态特征和预先确定的姿态特征标准确定是否存在异常情形，其中所述姿态特征标准是预先根据所述检测对象在进行多种异常动作时的共同特征来确定的；其中

所述根据所生成的三维点云获得所述检测对象的当前姿态特征包括：

计算所生成的三维点云的外接立方体的体积作为所述检测对象的当前外接立方体的体积；

所述姿态特征标准包括对于所述检测对象的外接立方体体积的标准；

根据所述姿态特征标准，当所述检测对象的外接立方体体积的体积越大时，异常情形存在的可能性越大。

2.如权利要求1所述的方法，其中

所述当前姿态特征还包括根据所生成的三维点云获得的、当前中心位置、当前在三个相邻视图上的投影映射、以及当前顶视图投影映射对称性中的一个或多个；

所述姿态特征标准包括对于中心位置、在三个相邻视图上的投影映射、以及顶视图投影对称性中的一个或多个的标准；

所述根据所述当前姿态特征和预先确定的姿态特征标准确定是否存在异常情形包括：

根据所述当前姿态特征和与该当前姿态特征对应的、预先确定的姿态特征标准确定是否存在异常情形。

3.如权利要求1或2所述的方法，其中

所述根据所生成的三维点云获得所述检测对象的当前姿态特征还包括：

计算所生成的三维点云的中心位置作为所述检测对象的当前中心位置；

所述姿态特征标准包括对于所述检测对象的中心位置的标准；

根据所述姿态特征标准，当所述检测对象的当前中心位置与基准中心位置的之间的距离越大时和/或当所述检测对象的当前中心位置越高时，异常情形存在的可能性越大。

4.如权利要求1或2所述的方法，其中

所述根据所生成的三维点云获得所述检测对象的当前姿态特征还包括：

生成所述三维点云的在三个相邻视图中的投影映射作为所述检测对象当前在三个相邻视图上的投影映射，其中在每个视图中的投影映射是由在每个投影单元处、所述三维点云中在与该视图垂直的方向上距离该视图最远的点构成的；

所述姿态特征标准包括对于所述检测对象在三个相邻视图上的投影映射的标准，

根据所述姿态特征标准，当所述检测对象在三个相邻视图上的投影映射的像素值之和越大时，异常情形存在的可能性越大。

5.如权利要求4所述的方法，其中所述根据所述当前姿态特征和预先确定的姿态特征标准确定是否存在异常情形包括：

根据所生成的三维点云确定所述检测对象当前在所述三个相邻视图中被遮挡的程度；

根据所确定的被遮挡的程度对于当前在三个相邻视图上的投影映射分别生成权重；

根据所生成的权重和所述当前在三个相邻视图上的投影映射，计算当前在三个相邻视图上的投影映射的像素值之和；以及

当所计算的当前在三个相邻视图上的投影映射的像素值之和越大时，异常情形存在的可能性越大。

6.如权利要求1或2所述的方法，其中

所述根据所生成的三维点云获得所述检测对象的当前姿态特征还包括：

生成所述三维点云的在顶视图中的顶视图投影映射作为所述检测对象的当前顶视图投影映射，以及

确定所述当前顶视图投影映射的对称性，所述姿态特征标准包括对于所述检测对象的顶视图投影映射的标准；

根据所述姿态特征标准，当所述顶视图投影映射的对称性越差时，异常情形存在的可能性越大。

7.如权利要求6所述的方法，其中所述确定所述当前顶视图投影映射的对称性包括：

旋转所述当前顶视图投影映射，以根据旋转前的当前顶视图投影映射和旋转后的当前顶视图投影映射确定当前顶视图投影映射的对称性；以及

所述根据所述当前姿态特征和预先确定的姿态特征标准确定是否存在异常情形包括：

当所确定的当前顶视图投影映射的对称性越差时，异常情形存在的可能性越大。

8.如权利要求1所述的方法，其中

所述共同特征包括检测对象的大小、肢体展开程度、肢体高度、姿势对称性、以及检测对象持有物体的大小中的一个或多个。

9.一种检测异常情形的装置，包括：

对象识别单元，配置来识别所采集的图像中是否存在检测对象；

点云生成单元，配置来当存在所述检测对象时，根据所采集的图像生成所采集的图像中的检测对象的三维点云；

特征获取单元，配置来根据所生成的三维点云获得所述检测对象的当前姿态特征；以及

情形确定单元，配置来根据所述当前姿态特征和预先确定的姿态特征标准确定是否存在异常情形，其中所述姿态特征标准是预先根据所述检测对象在进行多种异常动作时的共同特征来确定的；其中

所述根据所生成的三维点云获得所述检测对象的当前姿态特征包括：

计算所生成的三维点云的外接立方体的体积作为所述检测对象的当前外接立方体的体积；

所述姿态特征标准包括对于所述检测对象的外接立方体体积的标准；

根据所述姿态特征标准，当所述检测对象的外接立方体体积的体积越大时，异常情形存在的可能性越大。