CN103813138A - 监视方法和摄像机 - Google Patents

Abstract

提供一种方法和系统用于通过监视摄像机（1）监视一区域。在监视区域（2）内限定保护区（5），并且检测作为既出现在保护区内又出现在保护区外的对象的可疑对象（9a，9b）。确定可疑对象的关键位置，并确定关键位置是在保护区（5）内还是在保护区（5）外。如果关键位置在保护区外，则触发第一动作。

Description

监视方法和摄像机

技术领域

本发明涉及用监视摄像机监视一区域的方法和系统。

背景技术

监视摄像机目前被用于许多不同领域，用于监视室内和室外环境。摄像机可例如用于监视人从柜台后面为客户服务的区域，和仅限柜台服务人员接近的用于存储物品或设备的柜台内部区域。这些环境的例子可以是宾馆的前台，银行的柜台，接待台，酒吧，快餐的柜台，加油站的收银台，或者机场登记处柜台。另一例子是在配有服务员的柜台卖香水、珠宝或手表的商场或精品店。当柜台服务员在为客户服务的时候，他/她可能很难了解其它接近柜台并可能试图接近仅由柜台服务员管理的商品或设备的人。因此，期望提供改进的解决方法以帮助管理柜台的服务员阻止非法接近柜台后面的区域。

发明内容

基于以上原因，本发明的目的是提供用于监视诸如零售柜台之类的区域的改进的方法。

根据本发明的第一方面，提供一种用监视摄像机监视一区域的方法，该方法包含以下步骤：

限定监视区域内的保护区，

检测作为既出现在保护区内又出现在保护区外的对象的可疑对象，

确定所述可疑对象的关键位置，

确定所述关键位置是在所述保护区内还是在所述保护区外，并且

如果所述关键位置在所述保护区外，则触发第一动作。

使用该方法，可以一种有效并且无干扰的方式来监视柜台周围的区域，运行建立只允许具有某些特性的对象接近某些区域的规则。换言之，本方法使得有可能容易地且有效的建立对象位置辨别规则。本方法具有灵活性，可被用于不同的监视情景以及各种不同的实际实施。

本方法可进一步包括限定所述监视区域内的遮挡区的步骤，其中所述第一动作包括执行以下步骤：确定所述关键位置是否在所述遮挡区外，以及如果所述关键位置在所述遮挡区外，则触发第二动作。这引入了附加的可能以对不同的监视情景调整该方法，不同的监视情景例如期望允许从某一方向进入保护区。

限定保护区的步骤可包括检测围绕所述保护区的至少一部分的物理要素的边界。以这种方式，有可能通过让系统检测柜台的边界并将保护区限定为例如柜台后面的区域或柜台内部的空间，来进行监视系统的自动建立。

附加地或可替代地，限定保护区的步骤可包括获取预先限定的保护区的坐标。以这种方式，用户可以例如在提供用户友好方式来建立系统的图形用户界面中画出保护区的界限。这可与自动检测物理要素的边界相结合，如由用户通过用户界面确认检测到的边界。

限定保护区的步骤可包括限定三维保护空间，并且确定关键位置是在保护区内还是在保护区外的步骤可包括确定可疑对象是在保护空间的二维投影内还是在保护空间的二维投影外。这使得有可能将柜台后面并在柜台的上表面以下的空间设定为保护区，而且还能够忽视站在柜台后面的人。

检测可疑对象的步骤可包括检测保护区内的对象像素，并确定对象像素所属的对象是否出现在保护区外。这就提供了一种易实现并且高效的检测可疑对象的方法。

确定可疑对象的关键位置的步骤可包括将关键位置设定为可疑对象中包括的像素的像素坐标的平均位置。这就提供了一种易实现并且高效的寻找关键位置的方法，该方法可被用于三维和二维的对象表示。

确定关键位置的步骤可包括将关键位置设定为可疑对象的最高点的位置。如果监视系统中包括具有高度测量能力的摄像机如具有三维成像能力的图像传感器时，这将是一种方便的选择。为增加鲁棒性，最高点位置可被选为对象的十个最高点位置的平均值或中值。一个人的最高点通常是他的头部，意味着在大多数情况下这会是这个人站在哪里的正确估计。

确定关键位置的步骤可包括如果可疑对象中包括的预定百分比的像素在保护区外，则将关键位置设定为保护区外的位置。这对可用对象的三维表示以及可用对象的二维表示都是一种方便的选择。如果使用热感摄像机，这也是一种方便的选择。百分比例如可被选为50%或70%或例如通过反复试验给出正确的估计而确定的任何值。

确定关键位置的步骤可包括将关键位置设定为可疑对象的最高温度的位置。人的温度通常在头部区域最高，意味着这通常是人的身体位于哪里的正确估计。为增加鲁棒性，可以将最高温度位置设定为例如十个最高温度位置的平均值或中值。还可以添加其它标准使得最高温度必须被合理的高温区域围绕。

确定关键位置的步骤可包括将关键位置设定为使用一系列对象类别符检测到的可疑对象的一部分，一系列的对象类别符例如为脸，头，双肩，帽子中之一。这使得能够轻松地将这种关键位置确定适用于各种不同的监视情景。

根据本发明的第二方面，用于监视一区域的监视系统包括监视摄像机、被布置为限定监视区域内的保护区的区限定单元、被布置为检测作为既出现在保护区内又出现在保护区外的对象的可疑对象的可疑对象检测单元、被布置为确定可疑对象的关键位置并确定关键位置是在保护区内还是在保护区外的对象位置确定单元，以及被布置为如果关键位置被确定在保护区外时触发第一动作的动作触发单元。

为确定对象的关键位置，对象位置确定单元可包括对象类别符单元，高度测量单元或热度测量单元中的一个或多个，来确定对象类别符，对象的高度或对象的温度。

根据本发明的第三个方面，一种计算机可读记录介质，其上记录有当在具有处理能力的装置上执行时实施根据权利要求1-12中的任意一项的方法的程序。

本发明的第二方面和第三方面都具备以上关于第一方面所述的同样优点。

本发明的进一步的适用范围会从下面所给出的详细描述而变得更加明显。然而，应该理解，详细描述和具体例子，虽然指出了本发明的优先实施例，但却仅用于例示，因为对本领域技术人员来说从这些详细描述来看对本发明范围内的各种变化和修改是显而易见的。因此，应该理解本发明并不局限于所描述的装置的特殊的构成部分或者所描述的方法的步骤，因为这些装置和方法是会变化的。也应该理解，本文中用到的术语仅为了描述特定实施例，并非为了限制。必须注意，如被用于说明书和权利要求，冠词“一”，“所述”是为了表示除非在文中有清楚的指明外，否则还存在一个或多个元素。因此，例如提到“一传感器”或“所述传感器”可包括若干个装置，等等。而且，词语“包括”并不排除其它元素或者步骤。

附图说明

现将通过例子并参照所附示意图对本发明进行更详细描述，附图中：

图1示出监视摄像机监视一区域。

图2以俯视图例示监视区域。

图3以俯视图例示另一监视区域。

图4以剖视图例示再一监视区域。

图5示出监视系统。

图6示出监视一区域的方法。

具体实施方式

图1例示监视摄像机1被布置为监视区域3的示例性情形。监视摄像机1可代表一组具有不同成像能力的监视摄像机或包括若干图像传感器的摄像机。这个或这些摄像机可以例如包括捕获可见光图像的图像传感器，产生监视区域内的温度的图像的热传感器，或者捕获三维图像的图像传感器，例如飞行时间TOF图像传感器，它给出到不同像素的距离的图像，以此有可能计算出监视区域及其中对象的深度或者高度。

监视区域3包含保护区5，保护区5在所例示的示例中通过例如柜台形式的物理要素7限定。对象9a、9b、9c出现在监视区域3内。图2为图1所例示情况的俯视图。换言之，图2示意性地例示出由摄像机1捕获的图像。可以注意到，如果使用具有三维成像能力的监视系统，则可通过一个或多个平面限定保护区，或者如果使用具有二维成像能力的监视系统，则可通过一条或多条线来限定保护区。

在图1和2所示的情况下，有可疑目的的客户，对象9a，站在柜台7旁边并且触及柜台后面的区域，例如保护区5，试图获得仅通过柜台出售的贵重物品。代表柜台店员的对象9b正忙于与另一个客户对象9c交谈。因此，对象9b没有注意到对象9a正在非法接近柜台后面的物品。

根据在此介绍的方法和装置，通过分析由监视摄像机捕获的图像，以在第一步骤中找到同时出现在保护区内和保护区外的对象，可防止从柜台后面的盗窃。由于这些对象是需要进一步分析以确定他们是否在进行不被允许的行为的对象，因此可将这些对象标示为可疑对象。

可以不同的方式进行可疑对象的检测。一种选择是，找到保护区内的任何对象像素，然后确定与那些对象像素相关联的对象是否也存在于保护区外。后者可例如通过检查是否有属于同一对象的其它对象像素，以及那些其它对象像素中是否有在保护区外的来进行。

如下文更详细论述的那样，也可使用对象的关键位置来直接确定对象是否存在于保护区外以及它的关键位置是否在保护区外。

另一选择是对穿越划定保护区5的边界的线或平面进行检测。当这样的线或平面被穿越的时候，可假定某对象既出现的保护区内也出现在保护区外，也就是说，与穿越线或平面有关的对象是可疑对象并且需要被进一步核查。

返回图1和图2，显然对象9a以及正把它的胳膊放在柜台上并可能正伸手到柜台外例如去给客户9c看一件商品的店员9b都会被确定为可疑对象。为了忽略对象9b并仅对对象9a作出反应，对图像作进一步分析以找出既在保护区内又在保护区外的每个对象，即对象9a和9b的关键位置。

当发现一可疑对象具有在保护区外的关键位置时，以例如如下形式触发一动作：光或声音告警、录入日志、开始从摄像机记录图像，或者其它形式的监视动作，例如开始分析来自例如另一监视装置的图像或传感器输入。本文所用的术语“动作”应在广义上被解释，并应理解它包含诸如摄像机检测事件，或被检测的事件正被摄像机传送给例如视频分析引擎之类的动作。因此，在该示例中，会针对对象9a触发一动作。而对于店员对象9b来说，由于他的关键位置在保护区内，因此不会触发动作。为了完整性，可以注意到，对象9c仅出现在保护区外，因此没有必要找到他的关键位置。

对象的关键位置被设定为对象身体的主要部位可能位于的位置，或在某种意义上，对象所站的位置。有许多不同的选择来确定对象的关键位置，并且不同的选择可以合适的方式相结合以使得确定更加准确。

一个例子是计算被确定属于某一对象的像素的像素坐标的平均值，并将对象的关键位置设定为所计算出的平均坐标值。无论是在二维区域还是在三维空间，这也可被视为是确定对象的质量中心或重心。

如果监视系统中包括能够确定监视区域内的对象的深度或高度的监视摄像机，就可使用对象的最高点作为其关键位置。对象的最高点在大多数情况下是对象的头在哪里的准确度量。如果关于高度测量的正确性存在不确定性，为增加鲁棒性，可将对象的最高点位置设定为例如测得的对象内的十个最高点的坐标的平均或中间位置。

另一选择是，如果某一对象包括的预定的百分比的像素在保护区外，则判定该对象的关键位置在保护区外。这个百分比可为例如50%或70%或被视为适合本目的的其它值。

若监视系统中包括热敏摄像机，则可使用对象的温度来设定关键位置。人的温度通常在头部区域最高，手和胳膊通常较冷。由此得出，可将检测的对象的最高温度的位置用作关键位置。例如为了区分对象的手中握着点燃的香烟的情况，也可以加入其它标准，例如最高温度必须被具有合理高温的对象区域所环绕。若关于温度测量的正确性存在不确定性，像最高点测量那样，为增加鲁棒性，可以将对象的最高温度位置设定为如测量的对象内的十个最高温度的坐标的中间位置。

对象的关键位置也可被设定为使用一系列对象类别符（classifier）检测的对象的一部分的位置。对象类别符可以是例如：脸、头、双肩和帽子中之一。对象类别符的概念已如在US7,099,510中描述。

应注意所描述的确定对象关键位置的所有方式都可在捕获二维图像以及捕获包括深度坐标的三维图像时使用。

寻找可疑对象关键位置的不同方法可相互结合，若能得到关于对象的移动历史的信息，则也可与其结合使用。通常，代表试图非法接近柜台后面的区域人的对象，将会具有在保护区外的区域内接近柜台的移动历史。在柜台工作的店员通常会有包括柜台后面各个位置的移动历史。另一选择是将关于可疑对象的关键位置的信息与对象的不同特征相结合，例如若店员有其特定的着装，这会被检测到并用作附加的标准来忽略被归为可疑对象的对象。

在找到可疑对象的步骤之前，可已分析摄像机捕捉的图像来将前景从背景分离，并且已使用对象分割将摄像机影像中的对象分割。

当分析对象时，可能发生需要拆分在图像分析检测中混合了的两个对象的情况。这可能是如当店员正在与客户握手或递给客户一件商品的情况。这可以通过增加以下步骤来避免：通过“切断”那些具有胳膊厚度并且属于关键位置在保护区外的对象的部分，然后计算与保护区内的对象像素具有同一种类的对象的数量。如果该数量大于一，则是有两个相混合的对象的指示，很有可能意味着没有企图盗窃发生。如果该数量等于一，则是有盗窃发生并应当触发动作的指示。

图3中示出另一种另外限定了遮挡（occlusion）区11的情况。这可被用于期望允许对象从某一方向进入保护区5，并不触发告警动作的情况。在这种情况下，当发现一个对象，本例中的对象9d时，触发第一动作，对象9d满足上述两个条件—既出现在保护区内又出现在保护区外且其关键位置在保护区外。在这种情况下的第一动作是另外检查该对象的关键位置是在遮挡区11内还是在遮挡区11外。

在图3所示的情况下，对象9d的关键位置在遮挡区11内，因此将不会触发第二动作。如果对象9d的关键位置在遮挡区外，则触发暗示发生不正当的进入保护区的行为的第二动作，如与上述参照图1和图2所述例子同类的动作。

图4例示了利用在此所介绍的理论的另一种方式。在图4中，保护区被限定为柜台下面的空间。对象9a正试图接近存放于柜台内的商品12。对象9b，柜台的服务员正在看另一个方向并没有注意到企图盗窃。当对象9a将他的手10伸进保护区5时，他将被检测为可疑对象并被检查他的关键位置是位于保护区5内还是位于保护区5外，由于其显然在保护区外，因此将触发一动作。

为了将被允许的通常由店员9b接近柜台内部空间与企图盗窃相区分，将柜台后面的空间或区域限定为遮挡区11。当对象9a伸手到保护区时所触发的动作将是另外检查可疑对象的关键位置是否在遮挡区11内。在图4中并不在其内，因此会触发另一动作，如声音或光告警，录入日志或开始记录。如果是对象9b伸手到保护区5，则由于对象9b的关键位置在遮挡区内，因此不会触发第二动作。

图5示意性例示出监视系统13。监视系统包括监视摄像机1以及布置为限定由监视摄像机1监视的区域3内的保护区的限定单元15。保护区5可以例如由区限定单元15使用图像分析来检测围绕保护区的至少一部分的物理要素7的边界来限定。

另一选择是区限定单元15获取预定的保护区的坐标。这些坐标可已由用户在用户界面中限定，例如通过在图形用户界面画出或由用户输入坐标。一个选择是限定穿过监视区域的线，并限定保护区为线的一侧的区域。也可以限定一个或多个平面来界定保护区。

保护区可被限定为区域或三维空间。在限定为三维空间的情况下，通常与使用3D摄像机相结合。在图1-3所示的示例中，则可将保护区限定为柜台后面，并在柜台上表面相应的水平面以下的空间。在图4中，如已经提到的，保护区被限定为柜台的内部空间。

如果限定了三维保护区，当确定可疑对象的关键位置是在其内还是在其外时，使用它的二维投影可能是恰当的。是否使用二维投影应基于三维保护区是如何限定的而定。例如，若图1中的保护区被限定为柜台后面并在其表面的水平面下方的空间，当确定可疑对象的关键位置是在保护区内还是在保护区外时，使用它的二维投影可能更加方便。对象9b则肯定具有在保护区内的关键位置，如果使用保护区的三维表示，则可能不是这样。

遮挡区可以用与保护区同样的方式由区限定单元15限定。应该注意，例如如果期望允许从多于一个方向进入柜台后面的保护区，则可使用一个以上的遮挡区。

监视系统还包含可疑对象检测单元17，其使用来自摄像机1的图像数据和关于被限定的保护区5的数据，来检测作为既出现在保护区内也出现在保护区外的对象的可疑对象。当发现这样的对象时，提供对象位置确定单元19来确定可疑对象的关键位置，并确定关键位置是在保护区5内还是在保护区5外。

最后，提供动作触发单元21，来在确定关键位置在保护区外时，触发动作。如上所述，这个动作可以是光或声音告警、录入日志或开始一段记录。如果限定了遮挡区11，这个动作（第一动作）将是由对象位置确定单元19开始检查，来看关键位置是在遮挡区11内还是在遮挡区11外。在那种情况下，如果确定可疑对象的关键位置也在遮挡区外，则动作触发单元21将被用于触发第二动作，第二动作则可以是如光或声音告警、录入日志、开始一段记录。

单元15、17、19、21可以用硬件或元件或其组合来实现。可以例如以在监视摄像机中的处理器上运行的软件的形式或者以监视摄像机中包括的硬件的形式，在监视摄像机中提供单元15、17、19、21。单元15、17、19、21中的一个或多个也可被布置在分离的装置中，它们也可被分在几个装置上。

图6中例示根据本发明的实施例的方法600。在第一步骤601中，限定保护区。在第二步骤603中，检测作为既出现在保护区内又出现在保护区外的对象的可疑对象。

在下一步骤605中，检测可疑对象的关键位置，并且在步骤607中确定关键位置是在保护区内还是在保护区外。如果关键位置在保护区外，则在步骤609中触发第一动作。如上文所述，这个动作可以是例如声音或光告警、录入日志或开始图像的记录。如果关键位置在保护区内，该方法会或者如图6所例示，返回到检测可疑对象的步骤603，或者返回到步骤601并用不同的方式限定保护区。另一个选择是返回到步骤605并确定先前在步骤603中已检测到的另一可疑对象的关键位置。

如果使用遮挡区，这个区将在步骤611中被定义，并且在步骤609中触发的动作—第一动作会是在步骤613中检查关键位置是在遮挡区内还是在遮挡区外。如果确定关键位置在遮挡区外，则在步骤615中触发另一动作—第二动作。第二动作可以例如是声音或者光告警、录入日志或开始图像的记录，或者如上文所述关于没有遮挡区情况的任何其它动作。

如果关键位置在遮挡区内，则不触发动作，并且该方法可如图6所例示返回到检测可疑对象的步骤603，或该方法可返回到步骤601并用不同的方式限定保护区，或该方法可返回到步骤611并用不同的方式限定遮挡区。另一种选择是返回到步骤605并确定先前在步骤603中检测到的另一可疑对象的关键位置。

应该理解，本领域的技术人员能够以各种方式修改上述实施例并仍然利用上述实施例中所示的本发明的优点。应该注意，本文所介绍理论的延伸，使用一个以上的保护区是简单明了的。

如果存在多于一台摄像机或图像传感器，例如如果存在可见光摄像机和热感摄像机或3D摄像机，则可以使用可见光摄像机来限定保护区，并切换到使用热感摄像机或3D摄像机来进行对象的检测和关键位置的分析。

因此，本发明并不局限于所示实施例，而应仅由所附权利要求限定。

附图标记列表

1：监视摄像机

3：监视区域

5：保护区

7：物理要素

9a-d：对象

10：对象的手

11：遮挡区

12：存放于柜台中的商品

13：监视系统

15：区限定单元

17：可疑对象限定单元

19：对象位置确定单元

21：动作触发单元

Claims (14)

1.用监视摄像机（1）监视一区域的方法，包括以下步骤：

限定（601）监视区域（2）内的保护区（5）；

检测（603）作为既出现在所述保护区内又出现在所述保护区外的对象的可疑对象（9a，9b）；

确定（605）所述可疑对象的关键位置；

确定（607）所述关键位置是在所述保护区（5）内还是在所述保护区（5）外，并且

如果所述关键位置在所述保护区外，则触发（609）第一动作；

其中所述可疑对象的关键位置是所述对象的身体的主要部分有可能位于的位置或所述对象所站的位置；

其中限定（601）保护区的步骤包括限定三维的保护空间；并且

其中确定（605）所述关键位置是在所述保护区内还是在所述保护区外的步骤包括确定所述关键位置是在所述保护空间的二维投影内还是在所述保护空间的二维投影外。

2.如权利要求1所述的方法，进一步包括以下步骤：

限定（611）所述监视区域（2）内的遮挡区（11）；

其中所述第一动作包括执行以下步骤：确定（613）所述关键位置是否在所述遮挡区外，以及如果所述关键位置在所述遮挡区外，则触发（615）第二动作；并且

其中所述遮挡区是监视区域的一部分，限定允许从某个方向进入所述保护区。

3.如权利要求1所述的方法，其中限定保护区（5）的步骤包括检测围绕所述保护区的至少一部分的物理要素（7）的边界。

4.如权利要求1所述的方法，其中限定保护区（5）的步骤包括获取预先限定的保护区的坐标。

5.如权利要求1所述的方法，其中检测可疑对象的步骤包括检测所述保护区内的对象像素，并且确定所述对象像素所属的对象是否出现在所述保护区外。

6.如权利要求1所述的方法，其中确定所述可疑对象的关键位置包括将所述关键位置设置为所述可疑对象中包括的像素的像素坐标的平均位置。

7.如权利要求1所述的方法，其中确定关键位置的步骤包括将所述关键位置设置为所述可疑对象的最高点的位置。

8.如权利要求1所述的方法，其中确定关键位置的步骤包括：如果所述可疑对象中包括的预定百分比的像素在保护区外时，则将所述关键位置设置为所述保护区外的位置。

9.如权利要求1所述的方法，其中确定关键位置的步骤包括将所述关键位置设置为所述可疑对象的最高温度的位置。

10.如权利要求1所述的方法，其中确定关键位置的步骤包括将所述关键位置设置为使用一系列对象类别符检测的可疑对象的一部分的位置。

11.如权利要求10所述的方法，其中使用一系列对象类别符检测的可疑对象的一部分是下列中之一：脸、头、双肩和帽子。

12.一种用于监视一区域（2）的监视系统（13），包括：

监视摄像机（1）；

区限定单元（15），被布置为限定监视区域（2）内的保护区（5）；

可疑对象检测单元（17），被布置为检测作为既出现在所述保护区内又出现在所述保护区外的对象的可疑对象；

对象位置确定单元（19），被布置为确定所述可疑对象的关键位置，并确定所述关键位置是在所述保护区内还是在所述保护区外；和

动作触发单元（21），被布置为如果所述关键位置被确定为在所述保护区外，则触发第一动作；

其中所述可疑对象的关键位置是所述对象的身体的主要部分有可能位于的位置或所述对象所站的位置；

其中所述区限定单元（15）被布置为限定三维的保护空间；并且

其中所述对象位置确定单元（19）被布置为确定所述可疑对象是在所述保护空间的二维投影内还是在所述保护空间的二维投影外。

13.如权利要求12所述的监视系统，其中所述对象位置确定单元（19）包括下列中的一个或多个：

对象类别符单元，高度测量单元，和/或热度测量单元。

14.一种计算机可读记录介质，在该介质上记录有用于在具有处理能力的设备上执行时实施根据权利要求1所述的方法的程序。

Images