CN103477355A

CN103477355A - 人数测量装置

Info

Publication number: CN103477355A
Application number: CN2012800169362A
Authority: CN
Inventors: 由雄宏明; 西村纯
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2011-03-31
Filing date: 2012-03-28
Publication date: 2013-12-25
Anticipated expiration: 2032-03-28
Also published as: EP2693373A4; US9390334B2; EP2693373A1; WO2012132437A1; US20140037147A1; CN103477355B; JPWO2012132437A1; JP5975353B2

Abstract

利用人提取单元（11）从利用向图像输入单元（10）输入的图像提取人。利用属性提取单元（13）获得由人提取单元（11）提取的人的属性。利用移动路径建立单元（12）从在由人提取单元（11）提取的人的图像内的位置信息建立人的移动路径。利用测量参考坐标设置单元（14）根据由属性提取单元（13）提取的人的属性来设置用于与人对应的移动路径的测量线（第一测量线（30）至第三测量线（32））。利用人数计数单元（15）根据在由移动路径建立单元（12）建立的人的移动路径和在图像内设置的测量线之间的位置关系来计数人数。

Description

人数测量装置

技术领域

本发明涉及人计数装置，其计数已经通过在商店或设施的图像内设置的测量区域的人数。

背景技术

作为与人计数装置类似的技术，例如已知在专利文献1中公开的“Moving Body Detection System Using Image Sensor（使用图像传感器的移动体检测系统）”。专利文献1公开了一种技术，其中，从在不同的时间点获得的图像数据提取移动物体的移动路径，并且当移动路径通过在观察图像上设置的虚拟门时将该移动物体确定和计数为人。图9示出该技术。如该图中所示，当移动路径100、101通过虚拟门110时，已经在移动路径100、101上移动的移动物体被计数为正通过的人。而且，当移动路径102、103通过虚拟门111时，已经在移动路径102、103上移动的移动物体被计数为正通过的人。

现有技术文献

专利文献

专利文献1：JP-A-6-223157

发明内容

本发明要解决的问题

当使用方向向下从天花板拾取图像的相机时，现有技术是有效的。然而，当在相机的正常设置条件（例如，在高度上设置为2.6米，并且拾取入口及其附近的图像）下，计数人数时，诸如儿童或老人的身材矮小的人可能未能跨过测量线。因此，不能精确地计数人数。当降低测量线时，可能例如再一次计数在商店中浏览的重新出现的人。图10（a）和（b）示出这样的情况。当如图10的（a）中所示设置用于大约160cm高的成人300的测量线200时，儿童301在测量线200之下通过，如图10的（b）中所示。因此，不能计数儿童301。虽然可以通过降低测量线200来计数儿童301，但是可能再一次计数同一人，因为当该人从相机（未示出）移开时该人的图像变小，而当该人接近相机时该人的图像变大。以这种方式，当在相机的正常设置条件下计数人数时，可能以不足的精度来计数人数。

已经鉴于上述情况而做出了本发明，并且其目的是提供一种人计数装置，其即使对于诸如儿童或老人的身材矮小的人，也能够可靠地计数人数。

用于解决问题的手段

根据本发明的一种人计数装置包括：图像输入单元，所述图像输入单元输入图像；人提取单元，所述人提取单元从输入到所述图像输入单元的所述图像提取人；移动路径建立单元，所述移动路径建立单元从在由所述人提取单元提取的所述人的图像中的位置信息建立所述人的移动路径；人数计数单元，所述人数计数单元基于在由所述移动路径建立单元建立的所述人的移动路径和在所述图像内设置的测量参考坐标之间的位置关系来计数人数；属性提取单元，所述属性提取单元获得由所述人提取单元提取的所述人的属性；以及测量参考坐标设置单元，所述测量参考坐标设置单元根据由所述属性提取单元提取的所述人的属性来设置与所述人对应的用于所述移动路径的测量参考坐标。

根据该配置，因为根据人的属性来设置用于与人对应的移动路径的测量参考坐标，所以即使对于诸如儿童或老人的身材矮小的人，也能够可靠地计数所述人数。

在上述配置中，所述属性提取单元提取年龄作为所述属性，并且当所述年龄被确定为小于第一预定年龄或大于第二预定年龄时，所述测量参考坐标设置单元将在所述图像中的位置处的所述测量参考坐标设置得小于在除了其中所述年龄被确定为小于所述第一预定年龄或大于所述第二预定年龄的所述情况之外的情况。

根据该配置，即使对于诸如儿童或老人的身材矮小的人，也能够可靠地计数所述人数。

在上述配置中，所述属性提取单元提取性别作为所述属性，并且当所述性别被确定为女性时，所述测量参考坐标设置单元将在所述图像中的位置处的所述测量参考坐标设置得小于在其中所述性别被确定为男性的情况。

根据该配置，即使当人为女性时，也能够可靠地计数所述人数。

在上述配置中，所述属性提取单元提取移动速度作为所述属性，并且当所述移动速度被确定为小于预定速度时，所述测量参考坐标设置单元将在所述图像中的位置处的所述测量参考坐标设置得小于在除了其中所述移动速度被确定为小于所述预定速度的情况之外的情况。

根据该配置，即使当人的移动速度小于所述预定速度时，也能够可靠地计数所述人数。

在上述配置中，所述属性提取单元提取头部姿态作为所述属性，并且当所述头部姿态被确定为大于预定角度时，所述测量参考坐标设置单元将在所述图像中的位置处的所述测量参考坐标设置得小于在除了其中所述头部姿态被确定为大于所述预定角度的情况之外的情况。

根据该配置，即使当头部姿态被确定为大于所述预定角度时，也能够可靠地计数所述人数。

在上述配置中，当人的检测频率被确定为小于预定频率时，所述测量参考坐标设置单元将在所述图像中的位置处的所述测量参考坐标设置得小于在除了其中所述人的检测频率被确定为小于所述预定频率的情况之外的情况。

根据该配置，即使当人的检测频率被确定为小于所述预定频率时，也能够可靠地计数所述人数。

在上述配置中，当拥挤程度被确定为大于预定程度时，所述测量参考坐标设置单元将在所述图像中的位置处的所述测量参考坐标设置得小于除了其中所述拥挤程度被确定为大于所述预定程度的情况之外的情况。

根据该配置，即使当所述拥挤程度被确定为大于所述预定程度时，也能够可靠地计数所述人数。

在上述配置中，对于由所述测量参考坐标设置单元设置的所述测量参考坐标提供了多个选项。

根据该配置，因为对于所述测量参考坐标提供了所述多个选项，所以能够根据成人、儿童或老人来改变所述测量参考坐标。因此，能够可靠地计数人数。

在上述配置中，对于由所述测量参考坐标设置单元设置的所述测量参考坐标提供了不适用的选项。

根据该配置，例如，当人很挤、检测频率极小或移动速度极高或极低时设置所述不适用设置。因此，因为能够防止错误计数，所以能够精确地计数人数。

在上述配置中，所述测量参考坐标被设置为形成线，并且所述人数计数单元当人的移动路径与所述线相交时将所述移动路径计数为人。

根据该配置，能够可靠地计数人数。

在上述配置中，所述测量参考坐标被设置为形成矩形，并且所述人数计数单元当人的移动路径与所述矩形相交时将所述移动路径计数为人。

根据该配置，能够可靠地计数人数。

在上述配置中，所述测量参考坐标被设置为形成矩形，并且，所述人数计数单元当人的移动路径的起点位于所述测量参考坐标内时进行计数。

根据该配置，能够可靠地计数人数。

根据本发明的一种人计数装置包括：图像输入单元，所述图像输入单元输入图像；人提取单元，所述人提取单元从输入到所述图像输入单元的所述图像提取人；移动路径建立单元，所述移动路径建立单元从在由所述人提取单元提取的所述人的图像中的位置信息建立所述人的移动路径；以及人数计数单元，所述人数计数单元基于在由所述移动路径建立单元建立的所述人的移动路径和在所述图像内设置的矩形之间的位置关系来计数人数。

根据该配置，从自所述图像提取的人的图像中的所述位置信息建立所述人的移动路径，并且，基于在所述人的建立的移动路径和在所述图像中设置的所述矩形之间的所述位置关系来计数所述人数。因此，能够可靠地计数所述人数。

本发明的优点

根据本发明，因为根据人的属性来设置用于与人对应的移动路径的测量参考坐标，所以即使对于诸如儿童或老人的身材矮小的人，也能够可靠地计数人数。

附图说明

图1是示出根据本发明的实施例的人计数装置的示意配置的框图。

图2是示出在图1的人计数装置中动态地改变测量线的方法的示例的图。

图3是示出在图1的人计数装置中的由用户设置的第一测量线和自动可调整的第二和第三测量线的示例的图。

图4是用于解释在图1中的人计数装置的操作的流程图。

图5是用于解释在图1中的人计数装置的跟踪方法的图。

图6是用于解释在图1的人计数装置中估计年龄/性别的方法的图。

图7是示出其中在图1的人计数装置中将测量区域设置为矩形的示例的图。

图8是示出在图1中的人计数装置的应用示例的示例配置的框图。

图9是描述在现有技术中的用于计数人数的方法的图。

图10（a）和（b）是解释在现有技术中的用于计数人数的方法的问题的图。

具体实施方式

以下，将参考附图详细描述本发明的一个优选实施例。

图1是示出根据本发明的实施例的人计数装置的示意配置的框图。在图1中，根据该实施例的人计数装置1包括图像输入单元10、人提取单元11、移动路径建立单元12、属性提取单元13、测量参考坐标设置单元14和人数计数单元15。人计数装置1根据人的属性来设置用于与人对应的移动路径的测量参考坐标，并且使用测量参考坐标来计数人数。

图像输入单元10输入从相机（未示出）输出的图像。人提取单元11通过使用面部或人的形状的模式或通过基于向图像输入单元10输入的图像使用背景差别信息和/或帧间差别信息来提取人的区域。移动路径建立单元12从基于由人提取单元11提取的人的区域以时间顺序布置的人的区域的相关（位置、图像类似度）提取人的移动路径。属性提取单元13基于由人提取单元11提取的人的区域来提取属性信息，诸如年龄、性别、移动速度和头部姿态（面部方向）。属性提取单元13从自人提取单元11输入的图像获得年龄、性别等。而且，属性提取单元13基于从移动路径建立单元12输入的移动路径来获得速度。测量参考坐标设置单元14根据由属性提取单元13获得的属性信息来设置用于每一个人的测量参考坐标。人数计数单元15在通过测量参考坐标的情况下计数人。测量参考坐标形成测量线。当人的移动路径与测量线相交时，该移动路径被计数为人。根据该实施例的人计数装置1，虽然测量区域被设置为窄线，但是测量区域可以是宽矩形。在本说明书的至少一部分处解释宽矩形测量区域。

图2是示出用于动态地改变测量线的方法的示例的图。图2示出作为属性种类的“年龄”、“性别”、“速度”、“头部姿态”和“人的检测频率”。用于测量线的选项包括第一测量线至第三测量线如下：

第一测量线，其是由用户设置的线；

第二测量线，其是用于儿童/老人的线（自动可调整）；以及

第三测量线，其是用于低检测频率的成人的线（自动可调整）

图3是示出由用户设置的第一测量线30以及自动可调整的第二测量线31和第三测量线32的图。

基于面部的五官（眼睛、鼻子、嘴部）的形状的模式的分析和诸如皱纹和下垂的线的分析来估计年龄和性别的每一个。作为在年龄和性别的情况下的测量线的选项，当将人确定为老人或儿童时，将用于人的测量线改变为第二测量线31。

通过检测每单位时间的移动像素来获得速度。作为在速度的情况下的测量线的选项，当移动量（像素）小时将人确定为儿童或老人，并且将用于人的测量线改变为第二测量线31。

基于面部的五官的形状的模式的分析来估计头部姿态。作为在头部姿态的情况下的测量线的选项，当在移动路径内的头部姿态（平均）或在预定位置处的头部姿态是预定程度或更大时，将人确定为儿童或老人，用于人的测量线改变为第二测量线31。因为儿童的身高低，当从相机（未示出）观看时，他们的头部姿态朝向下。因为老人弯腰，所以当从相机观看时他们的头部姿态朝向下。以这种方式，可以识别儿童和老人，因为他们的头部姿态朝向下。

通过每单个移动路径计算面部的检测数量来获得人的检测频率。作为在人的检测频率的情况下的测量线的选项，当检测频率小时，将用于人的测量线改变为第三测量线32。

在如下的情况下定义小检测频率状态：

因为在入口和入口附近的拥挤状态导致人被其他人挡住；和/或

难以检测人（该人的外观是类似的背景，该人佩戴太阳镜等）。

接下来，将描述根据该实施例的人计数装置1的操作。

图4是用于解释根据本实施例的人计数装置1的操作的流程图。在图4中，首先，图像输入单元10输入图像（步骤S1），并且人提取单元11从被输入到图像输入单元10的图像提取人的区域。然后，移动路径建立单元12提取由人提取单元11提取的人的移动路径，并且开始跟踪该人（步骤S2）。作为用于跟踪人的方法，存在例如使用面部的轮廓的跟踪方法。图5是用于描述使用面部轮廓的跟踪方法的图。如图5中所示，基于已经检测的面部轮廓20的每一个的每单位时间的移动量和移动方向来以时间顺序连接面部轮廓20。通过以时间顺序连接面部轮廓20来获得移动路径21。

返回图4，在开始跟踪人后，执行步骤S1至S3的处理，直到跟踪的完成。当在步骤S3中确定未完成跟踪时（在步骤3中的“否”的情况下），处理返回到步骤S1。当确定完成跟踪时（在步骤S3中的“是”的情况下），估计移动速度和头部姿态（步骤S4）。在估计移动速度和头部姿态后，基于估计结果来确定被跟踪的人是否是老人或儿童（步骤S5）。在该确认中，当被跟踪的人被确定为老人或儿童时（在步骤S5中的“否”），将测量线改变为用于老人/儿童的第二测量线31（步骤S6）。然后，执行用于使用第二测量线31来计数人数的测量确定（步骤S7）。

相反，在步骤S5的确定中，当将被跟踪的人确定为除了老人或儿童之外的人时（在步骤S5中的“是”），估计年龄/性别（步骤S8）。以如图6中所示的方式来估计年龄/性别。图6是用于解释用于估计年龄/性别的方法的图。如图6中所示，首先，（1）对于在所提取的移动路径中的所有面部40执行估计处理。然后，（2）基于头部姿态来对可用于估计年龄/性别的面部缩小范围。在对可用于估计年龄/性别的面部缩小范围后，（3）对缩小范围的（多个）面部40的年龄/性别的值进行平均。由“○”示出的头部姿态方向朝向几乎前面，并且由“×”示出的头部姿态方向朝向几乎侧面。在图6的示例中，年龄是31岁，并且性别是男性。即，(25+30+35+35)/4≈31岁。因为男性的数量是“3”并且女性的数量是“1”，所以将性别确定为男性。

返回图4，然后，根据年龄/性别的估计结果，也确定人是否是老人（60岁或更大）或儿童（10岁或更小）（步骤S9）。在该确定中，当将人确定为老人（60岁或更大）或儿童（10岁或更小）时（在步骤S9中的“否”），将测量线改变为用于老人/儿童的第二测量线31（步骤S6）。然后，通过使用第二测量线31来执行用于计数人数的测量确定（步骤S7）。

相反，在步骤S9的确定中，当将人确定为除了老人（60岁或更大）或儿童（10岁或更小）之外的人时（在步骤S9中的“是”），计算检测频率/拥挤程度（步骤S10）。接下来，根据检测频率/拥挤程度的估计结果，确定检测频率是否低（和拥挤）（步骤S11）。在该确定中，当将检测频率确定为不低（和不拥挤）时（在步骤S11中的否），设置由用户设置的第一测量线（首先确定的测量线）30（步骤S12），并且，通过使用第一测量线30来执行用于计数人数的测量确定（步骤S7）。

在步骤S11的确定中，当将检测频率确定为低（并且拥挤）时（在步骤S11中的“是”），向下修改由用户设置的第一测量线30（步骤S13），并且通过使用修改的第三测量线32来执行用于计数人数的测量确定（步骤S7）。虽然检测频率/拥挤程度不是属性，但是它被用作用于调整测量线的确定元素。在完成步骤S7的处理后，结束该实施例的处理。

本实施例的人计数装置1包括：图像输入单元10，其输入图像；人提取单元11，其从输入到图像输入单元10的图像提取人；移动路径建立单元12，其从在由人提取单元11提取的人的图像内的位置信息建立人的移动路径；属性提取单元13，其获得由人提取单元11提取的人的属性，即，移动速度、头部姿态、年龄、性别、检测频率和拥挤程度；测量参考坐标设置单元14，其根据由属性提取单元13提取的人的属性来设置用于与人对应的移动路径的测量线（第一测量线30至第三测量线32）；以及，人数计数单元15，其基于在由移动路径建立单元12建立的人的移动路径和在图像内设置的测量线之间的位置关系来计数人数，由此根据人的移动速度、头部姿态、年龄、性别、检测频率和拥挤程度来设置用于与人对应的移动路径的测量线。因此，即使对于诸如儿童或老人的身材矮小的人，也能够可靠地计数人数。

虽然在根据该实施例的人计数装置1中设置了三条测量线（第一测量线30至第三测量线32），但是可以增加线的数量。在该情况下，能够更精确地计数人数。例如，当将人确定为女性时，可以设置比第一测量线30略低的测量线，由此能够可靠地计数女性。

在根据该实施例的人计数装置1中，当使用第一测量线30至第三测量线32的确定不可能时，可以输出用于表示“不适用”的选项。例如，对于下述情况输出“不适用”的选项：其中，（1）人很拥挤，（2）检测频率极低，（3）移动速度极高，或者，（4）移动速度极低。在该情况下，能够防止人数的错误计数，由此能够精确地计数人数。

虽然在根据本实施例的人计数装置1中将测量区域设置为窄线，但是可以使用宽的矩形区域。图7是示出其中将测量区域设置为矩形的示例的图。当测量区域被设置为窄线时，可能未覆盖在高度上很大差异的人。然而，当使用宽矩形区域时，可以预期当被改变为第二或第三测量线时的精度的改善。而且，如果仅当开始在矩形测量区域60内的跟踪时（例如，当检测到由箭头61所示的移动路径时）计数人数，则有可能防止对已经进入商店（在商店中的情况下）并且在商店内浏览（例如，如箭头62所示的移动路径）的人的重新计数。在该情况下，可以设置用于计数人的条件使得移动路径的起点位于矩形内并且移动路径与矩形的外周一次或多次的相交。替代地，作为用于计数人的条件，移动路径可能不与矩形的外周相交，并且，移动路径的起点仅位于矩形内。在该条件下，即使在因为在入口处的拥挤状态和小的检测频率导致人被另一个人挡住的状态中，也能够计数人数。

在图4中所示的根据该实施例的人计数装置1的处理可以被描述为程序，并且该程序可以被存储在诸如磁盘、光盘、磁光盘或半导体存储器的记录介质中，并且然后被分发。

可以使用如图8中所示的网络500来配置根据该实施例的人计数装置1。例如，可以向网络500发送由人提取单元11在人的视角和整体身体图像（或面部图像）内提取的人的位置信息，并且移动路径建立单元12和属性提取单元13可以基于从网络500发送的在视角和整个身体图像内的位置信息来执行相应的处理。

因为如果在每一个帧发送人的整个身体图像则网络500的负荷变大，所以可以仅当面部大小具有预定值或更大时发送整个身体图像。

而且，属性提取单元13也可以被设置在向网络的发送侧上，并且仅向网络500发送文本信息，诸如在视角内的位置信息和人属性信息（方向、年龄、性别等），由此，能够降低网络500的负荷。

虽然参考特定实施例详细描述了本发明，但是对于本领域内的技术人员显然，在不偏离本发明的精神和范围的情况下，可以进行各种改变和修改。

本发明基于在2011年3月31日提交的日本专利申请（申请No.2011-080294），其内容通过引用被包含在此。

工业适用性

本发明具有即使对于诸如儿童或老人的身材矮小的人也能够可靠地计数人数的优点，并且适用于用于计数进入商店或设施内的人数的装置或系统。

附图标记的描述

1：人计数装置

10：图像输入单元

11：人提取单元

12：移动路径建立单元

13：属性提取单元

14：测量参考坐标设置单元

15：人数计数单元

20：面部轮廓

21：移动路径

30：第一测量线

31：第二测量线

32：第三测量线

40：面部

60：测量区域

300：成人

301：儿童

500：网络

Claims

1.一种人计数装置，包括：

图像输入单元，所述图像输入单元输入图像；

人提取单元，所述人提取单元从输入到所述图像输入单元的所述图像提取人；

移动路径建立单元，所述移动路径建立单元从在由所述人提取单元提取的所述人的图像中的位置信息建立所述人的移动路径；

人数计数单元，所述人数计数单元基于在由所述移动路径建立单元建立的所述人的所述移动路径和在所述图像内设置的测量参考坐标之间的位置关系来计数人数；

属性提取单元，所述属性提取单元获得由所述人提取单元提取的所述人的属性；以及

测量参考坐标设置单元，所述测量参考坐标设置单元根据由所述属性提取单元提取的所述人的属性来设置用于与所述人对应的所述移动路径的所述测量参考坐标。

2.根据权利要求1所述的人计数装置，

其中，所述属性提取单元提取年龄作为所述属性，并且

其中，当所述年龄被确定为小于第一预定年龄或大于第二预定年龄时，所述测量参考坐标设置单元将在所述图像中的位置处的所述测量参考坐标设置得小于在除了其中所述年龄被确定为小于所述第一预定年龄或大于所述第二预定年龄的情况之外的情况。

3.根据权利要求1所述的人计数装置，

其中，所述属性提取单元提取性别作为所述属性，并且

其中，当所述性别被确定为女性时，所述测量参考坐标设置单元将在所述图像中的位置处的所述测量参考坐标设置得小于在其中所述性别被确定为男性的情况。

4.根据权利要求1所述的人计数装置，

其中，所述属性提取单元提取移动速度作为所述属性，并且

其中，当所述移动速度被确定为小于预定速度时，所述测量参考坐标设置单元将在所述图像中的位置处的所述测量参考坐标设置得小于在除了其中所述移动速度被确定为小于所述预定速度的情况之外的情况。

5.根据权利要求1所述的人计数装置，

其中，所述属性提取单元提取头部姿态作为所述属性，并且

当所述头部姿态被确定为大于预定角度时，所述测量参考坐标设置单元将在所述图像中的位置处的所述测量参考坐标设置得小于在除了其中所述头部姿态被确定为大于所述预定角度的情况之外的情况。

6.根据权利要求1所述的人计数装置，

其中，当所述人的检测频率被确定为小于预定频率时，所述测量参考坐标设置单元将在所述图像中的位置处的所述测量参考坐标设置得小于在除了其中所述人的检测频率被确定为小于所述预定频率的情况之外的情况。

7.根据权利要求1所述的人计数装置，

其中，当拥挤程度被确定为大于预定程度时，所述测量参考坐标设置单元将在所述图像中的位置处的所述测量参考坐标设置得小于除了其中所述拥挤程度被确定为大于所述预定程度的情况之外的情况。

8.根据权利要求1至7的任何一项所述的人计数装置，

其中，对于由所述测量参考坐标设置单元设置的所述测量参考坐标提供多个选项。

9.根据权利要求1至7的任何一项所述的人计数装置，

其中，对于由所述测量参考坐标设置单元设置的所述测量参考坐标提供不适用的选项。

10.根据权利要求1至9的任何一项所述的人计数装置，

其中，所述测量参考坐标被设置为形成线，并且

其中，所述人数计数单元当所述人的所述移动路径与所述线相交时将所述移动路径计数为人。

11.根据权利要求1至9的任何一项所述的人计数装置，

其中，所述测量参考坐标被设置为形成矩形，并且

其中，所述人数计数单元当所述人的所述移动路径与所述矩形相交时将所述移动路径计数为人。

12.根据权利要求1至9的任何一项所述的人计数装置，

其中，所述测量参考坐标被设置为形成矩形，并且

其中，所述人数计数单元当所述人的所述移动路径的起点位于所述测量参考坐标内时进行计数。

13.一种人计数装置，包括：

图像输入单元，所述图像输入单元输入图像；

移动路径建立单元，所述移动路径建立单元从在由所述人提取单元提取的所述人的图像中的位置信息建立所述人的移动路径；以及

人数计数单元，所述人数计数单元基于在由所述移动路径建立单元建立的所述人的所述移动路径和在所述图像内设置的矩形之间的位置关系来计数人数。