CN110826387B - 检测装置及其控制方法和计算机可读记录介质 - Google Patents

Abstract

本发明提供一种检测装置及其控制方法和计算机可读记录介质。为了通过根据物体的状态判别物体来检测物体，一种检测装置包括：检测单元，其被配置为检测运动图像的帧图像中所包含的物体的多个部位；入侵判断单元，其被配置为判断为所述物体已入侵所述帧图像的预先设置的区域；以及确定单元，其被配置为根据所述检测单元所检测到的部位是否包括预定部位，来确定是否通知所述入侵判断单元的判断结果。

Description

检测装置及其控制方法和计算机可读记录介质

技术领域

本发明通常涉及检测装置、该检测装置的控制方法和计算机可读记录介质，特别涉及检测视频中所包含的物体的技术。

背景技术

为了确保诸如公寓、建筑物、校舍、车站建筑和机场等的设施的安全，已引入了安装有监视照相机并且通过分析监视照相机所获得的视频来检测人物向设施内的入侵的系统。US-2007-0237387公开了关于视频中的人体区域的检测、通过级联连接用于检测人体的部位的强判别器来检测人体的技术。此外，日本特开平9-50585公开了用于判断人物是否已入侵图像上的禁止区域的入侵者监视设备。

在上述技术中，在未对视频中所包含的人体的状态进行判别的情况下检测人体。因此，在通过照相机获得如图1所示的视频的情况下，检测到车辆中的人体(驾驶员102)和在街道上行走的人体(行人103)。例如，判断为在虚线矩形104和105中检测到人体，并开始追踪。然后，通过使用例如当前正追踪的人体通过入侵检测线110的事件作为触发来输出表示检测到入侵者的警告。也就是说，不能应对需要将车辆的进入从检测对象中排除(＝需要将车辆中的人体从检测对象中排除)的用例。

发明内容

根据本发明的一方面，一种检测装置，包括：检测单元，其被配置为检测运动图像的帧图像中所包含的物体的多个部位；入侵判断单元，其被配置为判断为所述物体已入侵所述帧图像的预先设置的区域；以及确定单元，其被配置为根据所述检测单元所检测到的部位是否包括预定部位，来确定是否通知所述入侵判断单元的判断结果。

根据本发明的另一方面，一种检测装置，包括：检测单元，其被配置为检测运动图像的帧图像中所包含的物体的多个部位；以及判断单元，其被配置为根据所述检测单元所检测到的部位是否包括预定部位，来判断所述物体是行人还是车辆的乘员。

根据本发明的又一方面，一种检测装置的控制方法，包括：检测运动图像的帧图像中所包含的物体的多个部位；判断为所述物体已入侵所述帧图像的预先设置的区域；以及根据在所述检测中检测到的部位是否包括预定部位，来确定是否通知所述判断中的判断结果。

根据本发明的还一方面，一种检测装置的控制方法，包括：检测运动图像的帧图像中所包含的物体的多个部位；以及根据在所述检测中检测到的部位是否包括预定部位，来判断所述物体是行人还是车辆的乘员。

根据本发明的还一方面，一种计算机可读记录介质，其存储有使计算机用作检测装置的程序，所述检测装置包括：检测单元，其被配置为检测运动图像的帧图像中所包含的物体的多个部位；入侵判断单元，其被配置为判断为所述物体已入侵所述帧图像的预先设置的区域；以及确定单元，其被配置为根据所述检测单元所检测到的部位是否包括预定部位，来确定是否通知所述入侵判断单元的判断结果。

根据本发明的还一方面，一种计算机可读记录介质，其存储有使计算机用作检测装置的程序，所述检测装置包括：检测单元，其被配置为检测运动图像的帧图像中所包含的物体的多个部位；以及判断单元，其被配置为根据所述检测单元所检测到的部位是否包括预定部位，来判断所述物体是行人还是车辆的乘员。

本发明使得可以通过根据物体的状态判别物体来检测物体。

通过以下(参考附图)对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

包含在说明书中并构成说明书一部分的附图示出了本发明的实施例，并和说明书一起用来解释本发明的原理。

图1是用于说明入侵检测的示例的图；

图2是用于说明根据第一实施例的入侵检测的原理的图；

图3A和3B是用于说明基于多个部位的检测的人体状态判断逻辑的图；

图4是例示性示出检测系统的硬件结构的图；

图5是例示性示出检测装置的功能结构的图；

图6是示出用于设置入侵检测的条件的画面的示例的图；

图7是根据第一实施例的入侵检测处理的流程图；以及

图8A和8B是根据第二实施例的入侵检测处理的流程图。

具体实施方式

以下将参考附图来详细说明本发明的实施例的示例。注意，以下实施例仅仅是示例，并且并不意图限制本发明的范围。

(第一实施例)

以下将通过采用包括用于对预定监视区域进行摄像的照相机和用于在通过该照相机所获得的运动图像中检测物体的检测装置的检测系统作为示例，来说明根据本发明的检测装置的第一实施例。在以下说明中假定人体作为要检测的物体，但要检测的物体也可以是其它物体。

<系统结构>

图4是例示性示出检测系统的硬件结构的图。如上所述，检测系统包括检测装置400和照相机450。注意，在图4中检测装置400通过网络430从一个照相机450接收视频，但也可以从多个照相机接收视频。另外，检测装置400也可以包含照相机并在无需使用网络430的情况下直接获得视频。

检测装置400包括CPU 401、ROM 402、RAM 403、外部存储I/F 404、输入/输出I/F405和网络I/F 406。ROM 402存储CPU 401所要执行的程序和各种设置数据。CPU 401将ROM402中所存储的程序读出到RAM 403并执行这些程序，由此实现后面参考图5所要说明的功能单元。

外部存储I/F 404是用于连接诸如硬盘驱动器(HDD)等的外部存储装置407的接口。输入/输出I/F 405是用于连接至诸如键盘421、鼠标422和触摸面板(未示出)等的输入装置以及诸如显示器423等的输出装置的接口。网络I/F 406是用于通过连接至网络430来与诸如照相机450等的外部设备进行通信的接口。检测装置400可以由例如通用PC(个人计算机)、智能电话或平板电脑实现，并且不依赖于任何特定的装置形式。

照相机450包括CPU 451、ROM 452、RAM 453、摄像单元454和网络I/F 455。ROM 452存储CPU 451所要执行的程序和各种设置数据。CPU 451将ROM 452中所存储的程序读出到RAM 453并执行这些程序，由此实现摄像单元454所要进行的摄像处理和网络I/F 455所要进行的通信处理。摄像单元454包括摄像光学系统以及诸如CCD或CMOS等的摄像元件，并且通过摄像来生成运动图像(多个帧图像)。摄像单元454也可以进行压缩编码等。

图5是例示性示出检测装置的功能结构的图。作为功能单元，检测装置400包括通信单元501、图像获得单元502、预处理单元503、人体检测单元510、人体追踪单元504、状态判断单元505、入侵判断单元506、结果生成单元508和区域设置单元507。人体检测单元510包括用于检测不同的对象部位的多个检测器(头部检测器511、面部检测器512、上半身检测器513和全身检测器514)、以及结果整合器515。

通信单元501通过网络530与外部设备执行通信。例如，通信单元501从照相机450接收压缩编码后的运动图像。图像获得单元502对所获得的运动图像进行解码，并将该图像作为例如多个帧图像存储在外部存储装置407中。预处理单元503校正帧图像以便于提取特征量。

人体检测单元510检测帧图像中所包含的人体。更具体地，人体检测单元510通过在头部检测器511、面部检测器512、上半身检测器513和全身检测器514中的各检测器中执行检测处理并利用结果整合器515整合检测结果来检测人体。后面将参考图2、图3A和3B来说明检测处理的详情。

人体追踪单元504将人体检测单元510所检测到的人体的图形在多个帧图像之间彼此关联，由此追踪人体。状态判断单元505判断人体检测单元510所检测到的人体的状态。在本实施例中，状态判断单元505判断人体是驾驶员还是行人。区域设置单元507将图像区域设置为判断入侵检测的预定区域。在本实施例中，如图2所示，假定在由运动图像表示的摄像区域中将边界线设置为具有直线(线段)形状的入侵检测线。然而，入侵检测线也可被设置为折线、曲线或它们的组合。也可以设置具有任意形状的入侵检测区域。在设置区域的情况下，在对象人体存在于该区域内并持续了预定时间以上的条件下判断入侵检测。

入侵判断单元506根据区域设置单元507的设置来判断作为检测对象的人体的入侵。结果生成单元508生成入侵判断单元506所获得的检测结果的信息，并进行警报通知。例如，结果生成单元508在显示单元522上显示警告，或者通过网络530向外部设备(未显示)通知警告。

<入侵检测的原理>

图2是用于说明根据第一实施例的入侵检测的原理的图。如图1那样，图2示出照相机获得包含车辆201中的人体(驾驶员202)和在街道上行走的人体(行人203)的视频的状态。

在视频中设置入侵检测线210，并且检测装置在人物通过入侵检测线210的情况下进行入侵检测判断。部位检测信息204和部位检测信息205例示性示出表示检测装置中所包括的四个判别器所检测到的四个部位的检测结果的信息。

在第一实施例中，检测装置基于部位检测信息204和205来判断通过了入侵检测线210的人体202和203的状态。更具体地，检测装置判断人体是驾驶员还是行人。然后，检测装置判断为作为驾驶员的人体202不是入侵者，并且不进行警告通知。另一方面，检测装置判断为作为行人的人体203(不是驾驶员的人体)是入侵者，并且进行警告通知。注意，为方便起见，在本实施例中，将车辆中的人体表示为“驾驶员”，但这同样应适用于其他的车辆乘员(乘员座椅和后排座椅中的人体)。

图3A和3B是用于说明基于多个部位的检测的人体状态判断逻辑的图。图3A示出人体状态判断处理的过程。图3B示出表示基于部位检测结果的组合模式的判断结果的表。

判别器302、304、306和308在帧图像中进行与人体的不同部位(身体区域)相对应的检测处理。判别器302、304、306和308分别对应于图5所示的面部检测器512、头部检测器 511、上半身检测器513和全身检测器514。也就是说，在第一实施例中，假定“面部301”、“头部303”、“上半身305”和“全身307”作为“部位”。

各判别器(强判别器)是通过例如级联连接多个弱判别器所获得的。弱判别器检测诸如边缘或颜色等的图像特征的模式。注意，可以通过机器学习获得图像特征的最佳检测模式。

在人体检测处理309中，基于判别器(强判别器)所获得的部位检测结果来检测人体。人体检测处理309对应于图5所示的结果整合器515。注意，可以使用例如利用各个部位的加权和的评价函数来整合检测结果。

状态判断处理310基于判别器(强判别器)所获得的部位检测结果来判断人体的状态。在本实施例中，基于部位检测结果的组合模式来判断所检测到的人体是“驾驶员”、“行人”还是表示均不是的“未知”。

例如，如图3B所示，在帧图像中检测到面部和头部至少之一并且未检测到其它部位的情况下，判断为人体是驾驶员。在帧图像中检测到全身的情况下，判断为人体是行人。也就是说，在帧图像中检测到全身的情况是检测到包括了针对诸如驾驶员等的车辆乘员极不可能检测到的人体的下半身的全身的情况，因此判断为人体是行人。另一方面，在帧图像中未检测到全身的情况是未检测到包括下半身的整个人体的情况，因此判断为人体是诸如驾驶员等的车辆乘员。注意，在图3B所示的表中，“○”表示检测到相应对象，并且“×表示未检测到相应对象。此外，“-”表示检测的有无无关紧要(该项不用在状态判断中)。注意，图3B所示的表仅仅是示例，并且还可以使用其它人体部位的组合、或者判断其它状态。还注意，可以使用上述四个检测器中的两个以上的检测器作为人体检测单元510中所包括的多个检测器。例如，人体检测单元510包括头部检测器511和全身检测器514，并且基于这两个检测器所获得的检测结果来判断状态。此外，本实施例包括上述的四个检测器，而且还可以包括用于检测人体的下半身的检测器。在帧图像中极不可能检测到诸如驾驶员等的车辆乘员的人体的下半身，因此在检测器检测到下半身的情况下判断为人体是行人。另一方面，在检测器未检测到下半身的情况下，判断为人体是诸如驾驶员等的车辆乘员。用于检测下半身的检测器的示例是用于检测腰部以下的整个下半身的检测器、用于检测踝部以下的部位的检测器和用于检测腿部的检测器。

图6是示出用于设置入侵检测的条件的画面的示例的图。假定经由显示器423上所显示的对话框600接受检测对象、检测区域和检测判断点的设置。当然，还可以进一步接受其它条件。在该示例中，对话框600包括用于选择检测对象的单选按钮601、用于设置区域的设置按钮602和用于显示检测判断点的显示603。对话框600还包括用于确定设置的OK按钮604和用于丢弃设置的取消按钮605。

用于选择检测对象的单选按钮601根据鼠标422的点击操作而接受从多个选项中的一个选择，以限制入侵检测对象。例如，“排除驾驶员”将被发现是“驾驶员”的人体从入侵检测对象中排除。也就是说，被发现是“行人”或“未知”的人体是入侵检测对象。此外，“仅检测行人”将被发现是“驾驶员”的人体和被发现是“未知”的人体这两者从入侵检测对象中排除。

设置按钮602接受判断入侵检测的区域的设置。例如，在通过鼠标422点击设置按钮602时，显示图2所示的场景，并显示用于接受入侵检测线210的改变的用户界面(UI)。该UI等同于图5所示的区域设置单元507。如前面所述，可以设置入侵检测线或入侵检测区域。此外，检测判断点的显示603表示入侵检测判断区域中的检测点。作为检测点，可以显示脚、中央、右或左等。

<装置的操作>

图7是根据第一实施例的入侵检测处理的流程图。如前面所述，CPU 401通过将ROM402中所存储的程序读出到RAM 403并执行这些程序来实现图5所示的功能单元。

在步骤S701中，图像获得单元502通过网络530从照相机450获得运动图像。然后，图像获得单元502对所获得的运动图像进行解码，并将解码后的图像作为多个帧图像存储在外部存储装置407中。

在步骤S702中，预处理单元503校正各帧图像以便于提取特征量，并且人体检测单元510检测帧图像中所包含的人体。如上所述，四个检测器511-514进行检测人体的四个部位(头部、面部、上半身和全身)的处理。然后，结果整合器515整合这四个检测器的检测结果，由此检测人体。

在步骤S703中，人体追踪单元504在多个帧图像上追踪人体检测单元510所检测到的人体。例如，通过链接先前的(＝过去的)帧图像中的人体的检测结果来保持日志。注意，在第一实施例中，追踪人体检测单元510所检测到的所有人体。

在步骤S704中，入侵判断单元506根据区域设置单元507的设置来判断检测对象人体的入侵。例如，入侵判断单元506判断人体的运动矢量是否沿预定方向上与入侵检测线210交叉。

在步骤S705中，状态判断单元505判断与入侵检测线210交叉的人体的状态。更具体地，状态判断单元505通过参考图3A和3B所述的方法来判断人体是驾驶员、行人还是未知。处理在人体是驾驶员的情况下进入步骤S707，以及在人体不是驾驶员的情况下(即，在人体是行人或未知的情况下)进入步骤S706。在步骤S706中人体是行人的情况下，处理进入步骤S708。在人体不是行人的情况下(即，在人体是未知的情况下)，处理进入步骤S709。

在步骤S707中，入侵判断单元506记录为对象人体是正常访客。另一方面，在步骤S708中，入侵判断单元506记录为对象人体是异常访客(行人)。在步骤S709中，入侵判断单元506记录为对象人体是异常访客(未知)。在步骤S708或S709中记录异常访客之后，入侵判断单元506发出入侵检测事件。

在步骤S711中，入侵判断单元506判断是否对在步骤S702中检测到并在步骤S703中追踪的所有人体进行了步骤S704中的入侵检测判断。在存在未判断的人体的情况下，处理返回到步骤S704，并且入侵判断单元506对剩余的人体进行判断。在对所有人体的判断完成的情况下，处理进入步骤S712。

在步骤S712中，在发出了入侵检测事件的情况下，结果生成单元508进行警报通知以使用户识别出检测到异常访客。例如，结果生成单元508在显示单元522上显示警告，或者通过网络530向外部设备(未示出)通知警告。

在步骤S713中，检测装置400终止判断。例如，在用户输入终止指示的情况下，检测装置400终止该处理。在不存在指示的情况下，检测装置400返回到步骤S701，并继续处理。

在如上所述的第一实施例中，基于多个检测器的检测结果来检测人体，并判断人体的状态(驾驶员、行人或未知)。然后，基于所判断出的状态来控制入侵检测事件的发出。例如，如果发现人体是驾驶员，则阻止入侵检测事件的发出。这使得可以阻止例如与车辆的入侵(车辆中的人体的入侵)有关的警报通知。也就是说，可以应对需要将车辆的进入从检测对象中排除的用例。

注意，在上述说明中，假定人体作为检测对象物体，但可以将各种物体指定为检测对象物体。也就是说，可以基于多个判别器的检测结果来指定可以取得多个状态的对象。

(第二实施例)

在第二实施例中，将说明通过减少作为追踪和入侵检测的对象的人体的数量来减轻处理负荷的形式。更具体地，将说明对所检测到的人体进行状态判断、并且对除处于特定状态的人体(驾驶员)以外的人体(行人和未知)进行入侵检测判断的形式。入侵检测的原理、状态判断逻辑和硬件结构与第一实施例中的那些(图2至图4)相同，因此将省略对这些的说明。

此外，第二实施例的功能结构与第一实施例的功能结构(图5)几乎相同，但处理顺序不同于第一实施例的处理顺序。更具体地，在第二实施例中，切换图5所示的人体追踪单元504和状态判断单元505，因此在状态判断之后进行人体追踪。以下将主要说明与第一实施例不同的部分。

<装置的操作>

图8A和8B是根据第二实施例的入侵检测处理的流程图。如第一实施例那样，CPU401通过将ROM 402中所存储的程序读取到RAM 403并执行这些程序来实现图5所示的功能单元。

步骤S801和S802与第一实施例的步骤S701和S702相同。在步骤S803中，状态判断单元505判断步骤S802中所检测到的人体的状态。更具体地，状态判断单元505通过使用参考图3A和3B所述的方法来判断人体是驾驶员、行人还是未知。在人体是驾驶员的情况下，处理进入步骤S805。在人体不是驾驶员的情况下(即，在人体是行人或未知的情况下)，处理进入步骤S804。在步骤S804中，在人体是行人的情况下，处理进入步骤S806。在人体不是行人的情况下(即，在人体是未知的情况下)，处理进入步骤S807。

在步骤S805中，状态判断单元505判断为对象人体是正常访客候选。这是因为，该人体即使在他或她通过入侵检测线210的情况下也被记录为正常访客。另一方面，在步骤S806中，入侵判断单元506判断为对象人体是异常访客候选(行人)。此外，在步骤S807中，入侵判断单元506判断为对象人体是异常访客候选(未知)。然后，在步骤S808中，入侵判断单元506将在步骤S806或S807中记录为异常访客候选的人体设置为追踪对象。

在步骤S809中，入侵判断单元506判断是否对在步骤S802中检测到的所有人体进行了步骤S803-S808中的状态判断。在存在未判断的人体的情况下，处理返回到步骤S803，并对剩余的人体进行判断。在对所有人体的判断完成的情况下，处理进入步骤S810。

在步骤S810中，人体追踪单元504在多个帧图像上追踪在步骤S808中设置为追踪对象的人体。在步骤S811中，入侵判断单元506根据区域设置单元507的设置来判断作为检测对象的人体的入侵。在步骤S812中，入侵判断单元506发出入侵检测事件。这是因为，在步骤S808中设置为追踪对象的所有人体在他们通过入侵检测线210的情况下是要被记录为异常访客的人体(异常访客候选)。

在步骤S813中，入侵判断单元506判断是否对在步骤S808中设置为追踪对象的所有人体进行了步骤S811中的状态判断。在存在未判断的人体的情况下，入侵判断单元506返回到步骤S811，并对剩余的人体进行判断。在对在步骤S808中设置为追踪对象的所有人体的判断完成的情况下，处理进入步骤S814。注意，步骤S814和S815与第一实施例的步骤S712和S713相同。

在如上所述的第二实施例中，基于所检测到的人体的状态(驾驶员、行人或未知)的判断结果来确定要设置为追踪和入侵检测的对象的人体。在第二实施例中，与第一实施例相比，可以减少作为追踪和入侵检测判断的对象的人体的数量。结果，可以抑制处理负荷。注意，结果生成单元508还可以基于图3B所示的判断结果来对被发现是入侵检测对象的人体进行计数，并且生成并输出计数结果。

(变形例)

在上述实施例中，通过整合用于检测人体的不同部位的多个检测器(判别器)的检测结果来判断人体的状态(驾驶员、行人或未知)。另一方面，还可以安装用于检测人体的部位的一个或多个检测器以及用于检测车辆的部位的一个或多个检测器、并且通过整合这些检测器的检测结果来判断人体的状态。

例如，判断为运动图像中所包含的长方形运动体区域是车辆。然后，在人体通过入侵检测线210时、人体区域存在于车辆区域的(移动方向上的)前部中央的情况下，判断为人体是驾驶员。也就是说，也可以通过整合除人体以外的物体的检测结果来判断人体的状态。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (9)

1.一种检测装置，包括：

检测单元，其被配置为检测运动图像的帧图像中所包含的物体的多个部位；

指定单元，其被配置为指定所述物体的哪个部位通过所述检测单元检测到或者未检测到；以及

确定单元，其被配置为根据所述指定单元指定的检测到的部位与未检测到的部位的组合来确定所述物体是否是车辆的乘员，并且在所述物体的所检测到的部位包括预定部位的情况下确定所述物体是行人。

2.根据权利要求1所述的检测装置，还包括通知单元，所述通知单元被配置为根据确定结果通知所述物体已入侵所述帧图像的预先设置的区域。

3.根据权利要求2所述的检测装置，还包括设置单元，所述设置单元被配置为接受所述预先设置区域的设置，

其中，所述设置单元以均表示所述区域的边界线的直线、曲线及其组合其中之一的形式接受所述预先设置区域的设置。

4.根据权利要求2所述的检测装置，其中，在所述确定单元确定所述物体是行人的情况下，所述通知单元通知所述物体已入侵预先设置的区域。

5.根据权利要求1所述的检测装置，其中，所述物体是人体，并且所述预定部位是整个人体和人体的下半身其中之一。

6.根据权利要求2所述的检测装置，其中，在所述确定单元确定所述物体是车辆的乘员的情况下，所述通知单元不通知所述物体已入侵预先设置的区域。

7.根据权利要求1所述的检测装置，其中，所述检测单元通过使用多个检测器来检测所述物体的多个部位。

8.一种检测装置的控制方法，包括：

检测运动图像的帧图像中所包含的物体的多个部位；

指定所述物体的哪个部位在所述检测中检测到或者未检测到；以及

根据所述指定中指定的检测到的部位与未检测到的部位的组合来确定所述物体是否是车辆的乘员，并且在所述物体的所检测到的部位包括预定部位的情况下确定所述物体是行人。

9.一种计算机可读记录介质，其存储有使计算机用作检测装置的程序，所述检测装置包括：

检测单元，其被配置为检测运动图像的帧图像中所包含的物体的多个部位；

指定单元，其被配置为指定所述物体的哪个部位通过所述检测单元检测到或者未检测到；以及

确定单元，其被配置为根据所述指定单元指定的检测到的部位与未检测到的部位的组合来确定所述物体是否是车辆的乘员，并且在所述物体的所检测到的部位包括预定部位的情况下确定所述物体是行人。