CN104182987A - 人数计测装置和人物流动线解析装置 - Google Patents

Abstract

提供一种人数计测装置，使得在用监视用摄像机来进行人数计测时，在空闲时段能高精度计测出人数，在拥挤时段能计测出大致人数。人数计测装置(10)具有：图像获取单元(1)，其从摄像装置获取图像；头部坐标检测单元(2)，从图像检测对象人物的头部坐标；脚部坐标推测单元(3)，根据检测出的头部坐标推测对象人物的脚部坐标；单人区域提取单元(4)，对图像进行区域分割并对各个区域赋予属性；脚部坐标修正单元(5)，根据赋予的属性判断对象人物是否与其他的人物发生了重叠，在判断为与其他人物发生了重叠时，对由脚部坐标推测单元推测出的对象人物的脚部坐标进行修正；脚部坐标区域内外判断单元(6)，判断脚部坐标是否存在于设定在图像内的检测区域内；和人数计测单元(7)，计测被脚部坐标区域内外判断单元判断为存在于检测区域内的脚部坐标。

Description

人数计测装置和人物流动线解析装置

技术领域

本发明涉及一种人数计测装置以及人物流动线(Person FlowLine)解析装置，该人数计测装置对监视用摄像机中的人物图像进行识别，并通过图像识别来掌握人物的人数，该人物流动线解析装置能够解析人物的流动线。

背景技术

通过对摄像机的视频进行图像识别以有效地利用检测区域内的人数的信息，由此来实现对商业设施或者公共设施等的安全管理和交通量调查等的系统的需求不断地提高。作为有效地利用该人数信息的系统的代表例，例如可以列举出在出入系统进行个人认证前先判断有无同行人员的同行人员检测系统和判断禁止进入的场所内是否有人的检测系统等。该等检测系统以检测区域内的人数较少的场合为对象。除此之外，作为有效地利用该人数信息的系统的代表例，还可以列举出通过计测大致的人数来推测拥挤程度的拥挤程度推测系统。该等检测系统以检测区域内的人数较多的场合为对象。也就是说，以空闲状况为对象进行的人数计测要求进行高精度的人数计测，而以拥挤状况为对象进行的人数计测与空闲状况相比不需要进行高精度的人数计测。

此外，为了提高人数计测系统的有效性以及降低成本，要求使用一台摄像机和信号处理装置来应对空闲时段和拥挤时段这两种时段的状况。

在专利文献1中，为了消除人物彼此重叠的影响，在人物的正上方设置特殊的摄像机，通过计测图像中的预先设定的检测区域内的人物的头部的数量来实现人数的计测。

可是，该种摄像机大多是人数计测专用的摄像机，成本方面的负担大，所以需要开发出使用通常的监视用摄像机来计测人数的技术。

根据监视用摄像机的视频来进行人数计测的技术，与使用专用摄像机的场合一样，为了检测图像中的人物，大多检测人体中的比较容易检测的头部。可是，由于监视用摄像机通常以倾斜朝下的俯角设置，所以在摄像机图像坐标轴系统和真实世界坐标轴系统中，头部位置以及地板上的脚部位置不同，有必要对所检测到的头部位置和在图像中设定的检测区域内进行匹配性处理。因此，在使用监视用摄像机的视频进行人数计测的技术中，根据图像中的人物的头部位置推测出脚部的位置后，判断该脚部位置是否位于所设定的检测区域内，通过计测被判断为位于检测区域内的脚部的数量来实现人数计测。

在专利文献2中，作为根据图像中的人物的头部位置来推测脚部位置的技术，对通过背景差分处理从图像中提取出的被推测为人体的区域的下端与所检测出的头部位置进行匹配性处理，由此来推测脚部位置。

此外，除了上述技术外，还可以列举出根据由几何学变换检测出的图像上的头部位置推导出三维空间中的头部位置，将该头部位置的正下方的离该头部位置的距离相当于平均身高的位置假定为三维空间中的脚部位置，此后再次进行几何学变换，由此来推测图像上的脚部位置的技术。

在非专利文献1中，在人物彼此之间经常发生重叠的拥挤时段的状况下，能够推测出大致的脚部位置。

在先技术文献

专利文献

专利文献1日本国专利特开2011-86045号公报

专利文献2日本国专利特开2001-056853号公报

非专利文献

非专利文献1：《与真实空间相对应的Master-Slaving所涉及的跟踪摄像机系统》第九届图像传感技术研讨会，小川雄三，藤吉弘亘，P.211-216，2003年6月

发明内容

在专利文献2的技术中，在人物彼此之间的重叠发生的频度小的空闲时段的状况下，不会受到人物的身高差和姿势不同等因素的影响，能够正确地推测出脚部位置。可是，在人物彼此之间经常发生重叠的拥挤时段的状况下，通过背景差分处理而提取的被推测为人体的区域会因为众多的人物连在一起而变得很大，所以存在推测出的脚部位置与实际值有很大差异的问题。

在非专利文献1的技术中，由于在人物彼此之间的重叠发生的频度小的空闲时段的状况下也根据平均身高来推测脚部位置，所以在人物是与标准体型有很大差别的小孩等的场合，或者在检测区域内的人物是坐着的人物的场合，存在推测值与实际值之间有很大的差异，与专利文献2的技术相比，脚部的推测精度低的问题。

本发明是为了解决上述问题而作出的，本发明的目的在于提供一种人数计测装置，使得在使用监视用摄像机来进行人数计测时，在人物彼此之间的重叠发生的频度小的空闲时段的状况下，能够正确地推测出脚部，而在人物彼此之间经常发生重叠的拥挤时段的状况下，能够推测出大致脚部，由此，在空闲时段能够高精度地计测出人数，在拥挤时段能够计测出大致的人数。此外，本发明的目的还在于提供一种能够对人物的流动线进行解析的人物流动线解析装置。

解决方案

为了实现上述目的，本发明的人数计测单元的特征在于具有：图像获取单元，其从摄像装置(例如摄像机20)获取图像；头部坐标检测单元，其从图像中检测对象人物的头部坐标；脚部坐标推测单元，其根据检测出的头部坐标，推测对象人物的脚部坐标；单人区域提取单元，其对图像进行区域分割，并对各个区域赋予属性；脚部坐标修正单元，其根据赋予的属性判断对象人物是否与其他的人物重叠，在判断为与其他人物重叠时，对由脚部坐标推测单元推测出的对象人物的脚部坐标进行修正；脚部坐标区域内外判断单元，其判断脚部坐标是否存在于设定在图像内的检测区域中；以及人数计测单元，其计测被脚部坐标区域内外判断单元判断为存在于检测区域内的脚部坐标。

发明效果

根据本发明，在使用监视用摄像机来进行人数计测时，在人物彼此之间的重叠发生的频度小的空闲时段的状况下，能够高精度地计测出人数，而在人物彼此之间频繁发生重叠的拥挤时段的状况下，能够计测出大致的人数。

附图说明

图1是本发明的第一实施方式所涉及的功能方块图。

图2是图像获取单元所获取的图像的说明图。

图3是头部坐标检测单元的说明图。

图4是脚部坐标推测单元的说明图。

图5是经单人区域提取单元进行了区域分割的图像的示例图。

图6是单人区域提取单元的区域分割方法的流程说明图。

图7是对像素状态分析法以外的图像进行区域分割并向各个区域赋予属性的一示例的方法的说明图。

图8是脚部坐标修正单元的流程说明图。

图9是经脚部坐标修正单元进行了脚部坐标修正的图像的示例图。

图10是脚部坐标修正单元的处理S4说明图。

图11是脚部坐标修正单元的处理S6说明图。

图12是脚部坐标区域内外判断单元的说明图。

图13是本发明的第二实施方式所涉及的功能方块图。

图14是经流动线提取单元提取了流动线的图像的示例图。

图15是由流动线提取单元提取的流动线的说明图。

图16是流动线解析单元的说明图。

图17是拥挤时段的状况的示例图。

具体实施方式

以下参照附图对本发明的具体实施方式进行详细说明。

(第一实施方式)

图1是本发明的第一实施方式所涉及的功能方块图。图1所示的人数计测装置10是对摄像机20(摄像装置，参照图2)中的人物图像进行识别，通过图像识别来掌握人物的人数的人数计测装置。

人数计测装置10具有：图像获取单元1，其从至少一台以上的摄像机20(参照图2)获取图像；头部坐标检测单元2，其检测图像上的人物的头部位置；脚部坐标推测单元3，其根据人物的头部位置来推测脚部位置；单人区域提取单元4，其针对每个人，根据图像特征量等提取图像上的包含有该人物的区域；脚部坐标修正单元5，其使用由单人区域提取单元4分别提取出的各个单人区域对由脚部坐标推测单元3推测出的脚部位置进行修正；脚部坐标区域内外判断单元6，其判断人物的脚部位置是否存在于在图像上设定的检测区域内；以及人数计测单元7，其计测脚部位置位于在图像上设定的检测区域内的人物的人数。此外，人数计测装置10通过具有进行各个单元的运算的运算装置、主存储装置和外部存储装置的电子计算机来实现。

以下对各个单元进行详细说明。

(图像获取单元1)

图像获取单元1每隔规定的时间周期从设置在顶部附近的摄像机20获取输入图像。

图2是通过图像获取单元1获取的图像的说明图。图2(a)表示摄像机20在空间中按照摄像机20的视角22拍摄到被拍摄体21时的状况的一例，图2(b)表示输入图像23。摄像机20设置在比人物的头部位置高的位置，摄像机20的视角能够拍摄到被拍摄体21的全身。在图2(b)中，输入图像23是通过图像获取单元1从摄像机20获取的输入图像，人物24表示输入图像中的被拍摄体21。此外，作为摄像机20，可以使用通常的监视用摄像机。

(头部坐标检测单元2)

图3是头部坐标检测单元2的说明图。头部坐标检测单元2在接收到输入图像23后，对图3所示的输入图像23中的所有位置/尺寸的检测框27，根据非专利文献2的Haar-like特征量判断其为头部的可信度是高还是低，由此来检测出人物24的脸部，并从检测出的脸部获取图像坐标轴25中的头部坐标26。作为从检测出的脸部获取头部坐标26的方法，例如采用检测出人物24的检测框27的上边中央的图像坐标，能够方便地求出头部坐标26。此外，只要是能够判断出检测框27内是头部还是头部以外的部分的方法，则除了非专利文献2以外，也可以采用其他的方法。

非专利文献2

P.Viola,and M.Jones,“Robust Real-time face detection”,International Journal of Computer Vision,Vol.57,no.2,pp.137-154,2004.

(脚部坐标推测单元3)

图4是脚部坐标推测单元3的说明图。图4(a)是输入图像23内的脚部坐标34的提取方法的说明图，图4(b)表示图4(a)所示的垂直方向30的推测方法。脚部坐标推测单元3使直线31从由头部坐标检测单元2提取出的图像坐标轴25(图像坐标轴系统)的头部坐标26朝向图4(a)所示的被推测为人物与地板接触的垂直方向30延伸，并提取直线31与通过背景差分处理等提取出的人体区域32和背景区域33的分界线的交点作为脚部坐标34。

以下参照图4(b)对脚部坐标推测单元3中的方向30的推测方法进行说明。此外，推测方向30所需的摄像机20的高度、俯角、视角、摄像机20的透镜的焦距等摄像机的参数为预先确定的已知数。

在方向30的推测方法中，相对于图像坐标轴25上的作为头部坐标26的(U _h ,V_h)，根据式(1)唯一性地确定图4(b)所示的摄像机图像坐标轴28(摄像机图像坐标轴系统)的作为头部坐标35的(X_ch,Y_ch,Z_ch)。

$\left[\begin{array}{c}{X}_{\mathrm{ch}}\\ Y_{\mathrm{ch}}\\ Z_{\mathrm{ch}}\end{array}\right]=\left[\begin{array}{c}{u}_c\\ v_c\\ f\end{array}\right]-\left[\begin{array}{c}{u}_h\\ v_h\\ 0\end{array}\right]$      ...式1

在式(1)中，(U_h,V_h)表示图像23的中心坐标，f是摄像机的透镜的焦距。此外，相对于摄像机图像坐标轴28上的作为头部坐标35的(X_ch,Y_ch,Z_ch)，根据式(2)唯一性地确定真实世界坐标轴39(真实世界坐标轴系统)的作为头部坐标36的(X_wh,Y_wh,Z_wh)。

$\left[\begin{array}{c}{X}_{\mathrm{wh}}\\ Y_{\mathrm{wh}}\\ Z_{\mathrm{wh}}\end{array}\right]={\mathrm{\αR}}^T\left[\begin{array}{c}{X}_{\mathrm{ch}}\\ Y_{\mathrm{ch}}\\ Z_{\mathrm{ch}}\end{array}\right]+T$      ...式2

在式(2)中，R表示用于从实际世界坐标转换为摄像机坐标的旋转矩阵，相对于根据摄像机参数求出的仰俯旋转矩阵Rx、平摆旋转矩阵R_y和侧倾旋转矩阵R_z，根据式(3)唯一性地确定R。此外，R^T是R的转置矩阵。

R＝R_ZR_ZR_Y    ...式3

在式(2)中，T是相对于实际世界坐标上的摄像机的高度Ch以T＝[0 0 Ch]表示的平行移动矢量。此外，在式(2)中，由于Z_wh是真实世界坐标轴上的头部坐标的z坐标，所以其值一定在1以上，通过将Z_wh设定为1以上的任意的实数，能够方便地求出实数α。在此，将Z_wh设定为人的平均身高38，通过求出式(2)中的实数α，能够求出实数α。

在作为真实世界坐标轴39的头部坐标36的(X_wh,Y_wh,Z_wh)中，在假定对象人物相对于地板面垂直站立，并且其脚部位于头部的正下方时，根据式(4)求出唯一性地确定在真实世界坐标轴39上位于头部坐标36的垂直下方的作为脚部坐标37的(X_wf,Y_wf,Z_wf)。

$\left[\begin{array}{c}{X}_{\mathrm{wf}}\\ Y_{\mathrm{wf}}\\ Z_{\mathrm{wf}}\end{array}\right]=\left[\begin{array}{c}{X}_{\mathrm{wh}}\\ Y_{\mathrm{wh}}\\ 0\end{array}\right]$      ...式4

相对于根据式(4)求出的作为脚部坐标37的(X_wf,Y_wf,Z_wf)，通过依序对式(2)和式(1)进行逆转换，能够唯一性地确定图像坐标轴25上的作为脚部坐标34的(U_f,V_f)，通过求出图像坐标轴25上的作为头部坐标26的(U_h,V_h)和作为脚部坐标34的(U_f,V_f)的斜率，能够推测出方向30。

在图4中说明的坐标总共有以下坐标：

图像坐标轴25上的作为头部坐标26的(U_h,V_h)、

图像坐标轴25上的作为脚部坐标34的(U_f,V_f)、

摄像机图像坐标轴28上的作为头部坐标35的(X_ch,Y_ch,Z_ch)、

真实世界坐标轴39上的作为头部坐标36的(X_wh,Y_wh,Z_wh)、以及

真实世界坐标轴39上的作为脚部坐标37的(X_wf,Y_wf,Z_wf)。

(单人区域提取单元4)

图5是经单人区域提取单元4进行了区域分割的图像的示例图。图5(a)是输入图像40的示例图，图5(b)是通过图像获取单元1获得的按时序排列的连续帧中的图像的一例。单人区域提取单元4根据图像特征量等对图像进行区域分割，对各个区域赋予属性，并且判断各人物在图像坐标轴25上的头部坐标26包含在哪个属性区域内，由此能够提取出个人区域。

在此，作为对图像进行区域分割的方法，使用如下的分割方法：通过参照图像上的亮度值的长期变化以及短期变化，分割成静态的属性区域(进入图像内的处于静止状态的物体的区域)或者动态的属性区域(进入图像内的处于运动状态的物体的区域)。

以下对单人区域提取单元4中的处理方法进行说明。如图5(a)所示，采用将输入图像40分割为具有静态属性(ST)的区域45、具有动态属性(TR)的区域46以及具有背景属性(BG)的区域47的像素状态分析法。

图5(b)表示连续帧中的图像的一例，该连续帧由通过图1中的图像获取单元1获得的时间T处的输入图像40、由图像获取单元1获得的比时间T更早的时间T-1和T-2处的过去输入图像41a、41b以及由图像获取单元1获得的比时间T更晚的时间T+1和T+2处的将来输入图像42a、42b构成。

图5(b)的时间T处的人物是静态人物44a、44b和动态人物43。在像素状态分析法中，根据亮度值的急剧的变化(图像上的亮度值的短期性变化)和从不稳定状态向稳定状态的转变(图像上的亮度值的长期性变化)将图像分割成ST,TR,BG这三个属性的区域。首先，根据式(5)唯一性地确定亮度值的急剧的变化量D。

$D=\max \left\{\right|I_t-I_{t-j}|,{\∀}_j\∈[1,n\left]\right\}$     式5

在式(5)中，I_t表示时间T处的亮度值，n表示用于求出亮度值的急剧的变化量D的在比时间T更早的时间获取的帧的使用张数，在图5(b)的示例中n＝2。在式(5)中，当在像素上发生了急剧的亮度值变化时，变化量D的值变大。接着，为了捕捉从不稳定状态向稳定状态的转变，根据式(6)唯一性地确定像素的稳定度S。

$S=\frac{k{\mathrm{\Σ}}_{j=0}^k{I}_{(t+j)}^2-{\left({\mathrm{\Σ}}_{j=0}^k{I}_{(t+1)}\right)}^2}{k(k-1)}$        式6

在式(6)中，k表示用于求出像素的稳定度S的在比时间T更晚的将来时间获取的帧的使用张数，在图5(b)的示例中，k＝2。在式(6)中，像素的稳定度S表示从时间T至时间T+k为止的时段内获取的帧之间的亮度值的分散，在像素处于稳定状态时，S变小。

图6是单人区域提取单元4的区域分割方法的流程说明图。以下参照图6说明在像素状态分析法中向各个像素赋予属性时的赋予方法。在像素状态分析法中，赋予给各个像素的属性为静态属性(ST)、动态属性(TR)以及背景属性(BG)这三种属性。

以下说明将该三种属性赋予各个像素时的赋予方法。首先，单人区域提取单元4在各个像素中读取前一个帧中的像素的属性M_b(处理T1)，判断属性M_b是静态属性(ST)还是动态属性(TR)，并且判断由式(5)求出的亮度值的急剧的变化量D是否在阈值th＿D以上(处理T2)。在单人区域提取单元4中，在满足判断条件时(处理T2为“是”时)，将当前的像素的属性M_b判断为动态属性(TR)(处理T3)，在不满足判断条件时(处理T2为“否”时)，进入处理T4。

接着，在单人区域提取单元4中，判断属性M_b是否为动态属性(TR)，并且判断由式(6)求出的像素的稳定度S是否在阈值th＿S以下(处理T4)。在不满足判断条件时(处理T4为“否”时)，将当前的像素的属性M_a判断为属性M_b(处理T5)，在满足判断条件时(处理T4为“是”时)，进入处理T6。

此后，在单人区域提取单元4中，判断预先准备的背景图像的亮度值I_bg和时间T处的亮度值I_t之间的差是否为微小的差(处理T6)。在满足判断条件时(处理T6为“是”时)，将当前的像素的属性M_a判断为背景属性(BG)(处理T7)，在不满足判断条件时(处理T6为“否”时)，将当前的像素的属性M_a判断为静态属性(ST)(处理T8)。

在单人区域提取单元4中，针对所有的像素进行处理T1至处理T8的处理。将具有相同属性M_a的像素组视为区域，由此将输入图像40分割为具有静态属性(ST)的区域45、具有动态属性(TR)的区域46以及具有背景属性(BG)的区域47。此外，对所使用的背景图像进行适应性变更，使得能够追随环境的变化。另外，在单人区域提取单元4中，作为区域分割方法，只要是能对图像进行区域分割并对每个区域赋予属性的方法，则除了像素状态分析法以外，还可以使用其他的方法。

图7是对像素状态分析法以外的图像进行区域分割并向各个区域赋予属性的一示例的方法的说明图。根据该示例的方法，在通过头部坐标检测单元2检测到的头部坐标26中，通过以A、B、C…的顺序依序向以头部坐标26为上边的中央坐标的纵向宽度为人的平均身高且横向宽度为人的平均肩宽的长方形的区域48赋予属性，由此能够将图像分割为区域48a,48b,48c…。

在图7所示的因长方形的区域48a和区域48b重叠而被赋予了多个属性的区域49中，以包含具有在图像坐标轴上位置最低的头部坐标26的人物的长方形区域48a的属性为优先。除了该示例的方法以外，还可以使用图像中的颜色信息或者结构信息或者同时使用颜色信息和结构信息对图像进行区域分割，并根据该信息向各个区域赋予属性，例如能够将在某个店铺内拍摄到的图像分割为穿着特定颜色和式样的制服的店员这一属性的区域和店铺内的顾客这一属性的区域。

(脚部坐标修正单元5)

图8是脚部坐标修正单元5的流程说明图，图9是经脚部坐标修正单元5进行了脚部坐标修正的图像的示例图。图9(a)表示由单人区域提取单元4赋予了属性时的状态，图9(b)表示使用脚部坐标修正单元5对由脚部坐标推测单元3推测出的脚部坐标进行修正的修正方法的说明图。

首先说明图8的概要。针对图9(a)所示的输入图像40上的动态人物43、静态人物44a,44b，脚部坐标修正单元5能够基于需要，根据由头部坐标检测单元2检测出的各个头部坐标50,51a,51b对图9(b)所示的由脚部坐标推测单元3推测出的脚部坐标52,53a,53b进行修正(处理S1至处理S8的循环处理)。

以下说明处理S1至处理S8的循环处理的内容。首先，脚部坐标修正单元5读入由脚部坐标推测单元3根据头部坐标检测单元2检测出的头部坐标推测出的脚部坐标(处理S2)，接着判断所检测出的头部坐标是否位于图5(a)所示的由单人区域提取单元4提取出的静态属性(ST)的区域45或动态属性(TR)的区域46中的任一个区域内(处理S3)。此外，由于头部坐标必定存在于人体区域32(参照图9(b))，所以在处理S3中不会将头部坐标判断为背景属性的区域47。

接下来脚部坐标修正单元5判断在处理S3中被判断为头部坐标位于被赋予了静态属性或者动态属性的区域内的人物是否与头部坐标位于被赋予了不同属性的区域内的人物发生了重叠(处理S4)。在判断为没有发生重叠时(处理S4为“否”)，脚部坐标修正单元5不对在处理S2中接收到的脚部坐标进行修正(处理S5)，在判断为发生了重叠时(处理S4为“是”)，脚部坐标修正单元5按照后述的规定方法对在处理S2中接收到的脚部坐标进行修正(处理S6)。最后，脚部坐标修正单元5将在处理S5或者处理S6中接收到的脚部坐标作为脚部坐标而输出(处理S7)。以下对需要详细说明的处理S4和处理S6的处理进行说明。

图10是脚部坐标修正单元5的处理S4的说明图。在说明中适当参照图8。图10是通过单人区域提取单元4将输入图像40分割成静态属性的区域45、动态属性的区域46和背景属性的区域47而得到的图像，图10(a)是将图9(a)的以静态人物44a为中心而截取的图像，图10(b)是将图9(a)的以动态人物44b为中心而截取的图像。

在处理S4中，脚部坐标修正单元5使直线61从通过头部坐标检测单元2在图10(a)的静态人物44a中检测出的头部坐标51a朝向由脚部坐标推测单元3求出的垂直向下的方向60延伸，并以头部坐标51a为起点，检索该直线61上的各个像素的属性。

在处理S4中，脚部坐标修正单元5在检索以头部坐标51a为起点且以脚部坐标53a为终点的直线61上的各个像素的属性时，如果检测出了具有与在处理S3中被判断为存在头部坐标51a的区域所具有的属性(在图10(a)的示例中为静态属性(ST))不同的属性(在图10(a)的示例中为动态属性(TR))的像素62时(图10(a))，判断为头部坐标51a的人物与位于不同的属性区域的人物发生了重叠。

另一方面，脚部坐标修正单元5在没有检测到像素62时(图10(b))，判断为头部坐标51b的人物没有与位于不同的属性区域的人物发生重叠。此外，在图10(a)的示例中，动态属性(TR)的区域中的人物重叠在静态属性(ST)的区域中的人物上，而在静态属性(ST)的区域中的人物重叠在动态属性(TR)的区域中的人物上的场合，也通过处理S1至处理S8的循环处理判断为位于不同属性的区域中的人物彼此之间发生了重叠。

图11是脚部坐标修正单元5的处理S6的说明图。在说明中适当参照图8。在通过处理4判断为图9所示的头部坐标51a的人物与位于不同属性区域中的人物发生了重叠时，在处理S6中，采用后述的方法，将由脚部坐标推测单元3推测出的脚部坐标53a根据头部坐标51a和平均身高38修正为修正脚部坐标71。

以下参照通过图11所示的头部坐标检测单元2检测出的头部坐标51a、通过背景差分处理等提取出的人体候补区域70、由脚部坐标推测单元3根据头部坐标51a推测出的脚部坐标53a对脚部坐标修正单元5的处理S6进行说明。

在处理S6中，根据式(1)和式(2)唯一性地确定与头部坐标51a相对的真实世界坐标轴39(参照图4(b))上的头部坐标(X_wh,Y_wh,Z_wh)，通过将Z_wh设定为1以上的任意的实数，能够方便地求出实数α。

在此，根据将Z_wh作为平均身高38而求出的实数α，唯一性地确定图4所示的真实世界坐标轴39上的作为头部坐标36的(X_wh,Y_wh,Z_wh)，根据式(4)在真实世界坐标轴39上求出位于该头部坐标36即(X_wh,Y_wh,Z_wh)的正下方的坐标即(X_wf,Y_wf,Z_wf)。该坐标(X_wf,Y_wf,Z_wf)位于真实世界坐标轴39上的头部坐标36的正下方，并且与该头部坐标36之间的距离相当于平均身高38。此外，相对于坐标(X_wf,Y_wf,Z_wf)，通过式(2)和式(1)的逆转换求出的图像坐标轴25上的坐标(U_f,V_f)表示真实世界坐标上的位于图9所示的头部坐标51a的正下方且与该头部坐标51a之间的距离相当于平均身高38的坐标在图像坐标轴25上的脚部坐标，在处理S6中将该坐标作为修正脚部坐标71。

作为平均身高38，能够使用摄像机参数值基于预先规定的对象人物的平均身高来求出。此外，作为修正脚部坐标71的检测方法，只要是不使用人体候补区域就能够大致检测出人物的脚部位置的方法，则除了使用平均身高外，也可以采用其他的方法。例如，针对各个人物，保存在人物彼此发生重叠前通过脚部坐标推测单元3求出的脚部坐标和头部坐标，并在连续帧中分别对该等人物进行跟踪，由此能够在人物彼此之间发生了重叠的情况下，使用该人物发生重叠前的脚部坐标和头部坐标的信息，根据发生了重叠后的头部坐标检测出大致的脚部坐标。由此，能够进一步提高脚部坐标的检测精度。

(脚部坐标区域内外判断单元6)

图12是脚部坐标区域内外判断单元6的说明图。图12(a)表示设定在输入图像23中的计测对象区域80，图12(b)是本实施方式的脚部坐标区域内外判断单元6的说明图。在脚部坐标区域内外判断单元6中，首先将预先设定在图12(a)所示的输入图像23上的计测对象区域80(检测区域)如图12(b)的示例所示，分割成三角形区域82,83。在图12(b)中，将一个三角形区域83的各个顶点分别设定为A,B,C，并将顶点A作为起始点。此后，根据式(7)唯一性地确定通过脚部坐标修正单元5提取出的修正脚部坐标81的位置矢量84。

$\stackrel{\→}{\mathrm{AP}}=\stackrel{\→}{\mathrm{sAB}}+\stackrel{\→}{\mathrm{tAC}}$        式7

其中，s,t为实数。

在式(7)中，如果实数s,t满足式(8)，则判断为修正脚部坐标81是三角形ABC区域内部的点。

$\left.\begin{array}{c}s\≥0\\ t\≥0\\ s+t\≤1\end{array}\right\}$       式8

在脚部坐标区域内外判断单元6中，针对各个三角形区域，根据式(7)和式(8)判断修正脚部坐标81是否为三角形区域内部的点。在判断为是某个三角形区域内部的点时，判断为修正脚部坐标81位于计测对象区域80内。

此外，在图12(b)的示例中，由于计测对象区域80的形状是四方形，所以将其分割成两个区域，而在计测对象区域80的形状是n边形的场合，则可以分割成(n-2)个三角形区域，在计测对象区域80的形状是圆形的场合，可以利用近似法等分割成多个三角形区域。作为判断区域内外的方法，只要是能够判断出某一点是否存在于多边形或者圆形中的方法，则除了利用矢量进行判断的方法以外，还可以采用其他的方法。

(人数计测单元7)

在人数计测单元7中，对由脚部坐标区域内外判断单元6判断为位于图12所示的计测对象区域80内的修正脚部坐标81进行计数。

在第一实施方式中，利用上述的功能结构，根据图像特征量判断通过者(例如图5(b)的动态人物43)和滞留者(例如图5(b)的静态人物44a)之间是否发生了重叠(例如图8的处理S4)，通过判断有无发生重叠，能够切换脚部的推测方法(例如图8的处理S5,处理S6)。由此，在通过者和滞留者的重叠少的空闲时段，通过正确推测脚部位置来高精度地计测人数，而在通过者和滞留者的重叠多的拥挤时段，通过推测大致的脚部位置，能够计测出大致的人数。

此外，根据在本发明的第一实施方式中说明的功能结构，能够计测特定属性(例如静态属性(ST)和动态属性(TR))的人物的人数。

以下作为本实施方式的应用例对电梯群管理进行说明。例如在电梯群管理中，也需要解决本实施方式的课题，也就是做到对空闲时段以及拥挤时段这两个时段的人数都能够进行计测。在电梯群管理中，通过利用人流信息来控制电梯的分配数量和分配时机，能够缩短乘客的等候时间等，能够提高乘客的便利性，并且能够抑制耗电量等而能够实现节能化。

作为电梯群管理的一个功能，可以列举出以下的功能：根据利用人数计测技术求出的各个楼层的电梯门厅的等候人数和预先获得的电梯可搭载人数，判断是让电梯停靠各层还是让电梯通过各层，由此能够高效率地控制电梯的分配。根据该功能，在电梯可搭载人数少时，通过正确判断电梯的停靠层和通过层来提高电梯分配的效率，这一点很重要。

因此，在电梯门厅的等候人数少的空闲状况下，能够进行高精度的人数计测。另一方面，在电梯门厅的等候人数多的拥挤状况下，在电梯可搭载的人数少时，由于只要能够计测大致的人数，就能够正确判断是让电梯停靠还是让电梯通过，所以不需要像空闲状况时那样进行高精度的人数计测。因此，需要开发出对空闲时段和拥挤时段这两种时段的人数都能够进行计测的技术。

也就是说，在本实施方式中，在仅计测作为静态人物的滞留者时，在通过者和滞留者的重叠少的空闲时段，能够高精度地计测出滞留者的人数，在通过者和滞留者的重叠多的拥挤时段，能够计测出滞留者的大致人数。通过将本实施方式应用于计测电梯门厅中的等候人数的系统中，在空闲时段和拥挤时段这两种时段都能够计测等候人数，能够将合计出的人数应用于电梯的运行控制。

此外，作为应用于电梯的运行控制以外的其他示例，通过摄像机20拍摄店铺内，人数计测单元7能够计测店铺内的人数。由此，能够适当地应用于空闲时段和拥挤时段的店员的配置计划。

此外，脚部坐标修正单元5还可以根据各个属性区域的分布，删除由头部坐标检测单元2检测出的头部坐标。作为删除头部坐标的区域分布的条件，例如在处理S4中检索图10(a)所示的直线61上的像素的属性的期间，在像素属性频繁地发生变化的场合，由于属性不同的区域之间的重叠程度已经明显超出了真实世界坐标上的人物发生重叠的范围，所以判断为区域分布出现了异常，并删除包含在该属性区域内的头部坐标。由此，能够提高人数计测的精度。

此外，脚部坐标修正单元5也可以根据各个属性区域的分布，通过头部坐标检测单元2的辅助方法追加头部坐标。作为头部坐标检测单元2的辅助方法，可列举出追加因头部坐标检测单元2判断为是头部的可信度低而没有使用的检测框27的方法，或者新追加根据拐角点等简易的图像特征检测出的检测框27的方法。另外，作为追加头部坐标的区域分布的条件，例如在通过处理S4检索图10(a)所示的直线61上的像素属性的期间，异常早地发现了与头部坐标的属性45不同的属性46的像素，并且此后在一段时间内直线61上的像素的属性46没有发生变化的场合，判断为人物之间发生了重叠，此时，即使属性46的区域中不存在头部坐标，也将头部坐标追加到该区域中，由此能够提高人数计测的精度。

在本实施方式中，针对脚部坐标修正单元5，在图10中对一个动态人物43重叠在静态人物44a上的场合进行了说明。但本发明并不仅限于此。

图17是表示拥挤时段的状况的示例图。图17(a)表示拥挤时段的状况的一个示例，图17(b)是为了对图17(a)的一部分进行说明而提取出的局部图。在图17(b)中示出了在静态人物100前存在两个动态人物101a,101b时的场合。即使在动态人物101a,101b重叠在静态人物100上的场合，也能够通过与图8相同的处理来修正静态人物100的脚部坐标。

根据本实施方式，在人数计测装置10中，能够通过脚部坐标推测单元3推测脚部坐标，能够在脚部坐标修正单元5判断为人物彼此之间发生了重叠时，对先前推测出的脚部坐标进行修正后输出，在判断为人物彼此之间没有发生重叠时，直接输出先前推测出的脚部坐标。其结果，在人物彼此之间的重叠少的空闲时段，能够高精度地计测出人数，在人物彼此之间的重叠多的拥挤时段，能够计测出大致的人数。此外，通过判断其属性区域是否与不同的属性区域发生了重叠来判断人物彼此之间是否发生了重叠。

(第二实施方式)

图13是本发明的第二实施方式所涉及的功能方块图。图13所示的人物流动线解析装置11是对摄像机20(参照图2)拍摄到的人物图像进行识别，由此对人物的行动模式进行解析的人物流动线解析装置。与图1所示的第一实施方式相同的部分采用相同的符号表示，并省略其重复说明。

人物流动线解析装置11具有图像获取单元1、头部坐标检测单元2、脚部坐标推测单元3、单人区域提取单元4、脚部坐标修正单元5、针对每个帧保存由脚部坐标修正单元5输出的脚部坐标且在连续图像中跟踪同一人物以提取其流动线的流动线提取单元90以及根据由流动线提取单元90提取出的流动线来解析对象人物的行动模式的流动线解析单元91。此外，人物流动线解析装置11通过具有进行各个单元的运算的运算装置、主存储装置和外部存储装置的电子计算机来实现。以下对流动线提取单元90和流动线解析单元91的功能进行说明。

(流动线提取单元90)

图14是经流动线提取单元90提取了流动线的图像的示例图，图15是由流动线提取单元90提取的流动线的说明图。在图14所示的连续帧的图像中，检测到三个人物即人物95a,95b,95c。所检测到的人物95a具有由头部坐标检测单元2检测到的头部坐标96a和由脚部坐标推测单元3检测到的脚部坐标97a。同样，人物95b具有由头部坐标检测单元2检测到的头部坐标96b和由脚部坐标推测单元3检测到的脚部坐标97b，人物95c具有由头部坐标检测单元2检测到的头部坐标96c和由脚部坐标推测单元3检测到的脚部坐标97c。

在时间T+2，人物95b具有经脚部坐标修正单元5进行了修正的脚部坐标98。

在流动线提取单元90中，针对各个帧，保存由脚部坐标修正单元5根据同一人物的头部坐标所输出的脚部坐标，通过连接该等坐标而分别输出图15所示的人物95a的流动线99a、人物95b的流动线99b和人物95c的流动线99c。作为针对各个帧判断是否为同一人物的技术，通过使用在头部坐标检测单元2检测头部坐标时使用的头部的图像特征量、存在有人物的区域的属性信息等来实现。

(流动线解析单元91)

图16是流动线解析单元的说明图。在流动线解析单元91中，将由流动线提取单元90提取出的流动线视为图像坐标上的点群的集合，并根据其坐标值的变化来判断人物的行动模式。例如，能够将连续帧之间的进行长度与通常相比极短的如图16所示的流动线99d和流动线99e或者总是位于图像内或者图像内的一定区域的流动线99f和流动线99g所示那样的行动的人物判断为滞留在一定的范围内(规定范围内)，并且能够将像流动线99d和流动线99e或者流动线99h和流动线99i那样以相同流动线进行移动的多个人物判断为作为团体一起行动的人物。

也就是说，优选将流动线解析单元91设置成检测有无作为团体一起行动的人物存在，计测各个团体中的所检测到的人物的人数，并获取图像内的团体数和团体内的人数。

此外，作为具体的应用例，通过摄像机20(摄像装置)(参照图2)拍摄电梯门厅，由流动线解析单元91检测规定的范围内是否有滞留人物存在，并计测所检测到的人物的等候时间。由此，能够获取电梯运行控制的基础数据。

根据第二实施方式的上述功能结构，根据图像特征量判断人物彼此之间是否发生了重叠，通过判断有无发生重叠，能够切换脚部的推测方法，能够根据其脚部位置提取流动线。由此，在人物彼此之间的重叠少的空闲时段，通过正确提取流动线，能够高精度地解析人物的行动，而在人物彼此之间的重叠多的拥挤时段，能够提取平均流动线，能够对人物的行动进行大致的解析。

本实施方式的人数计测装置10和人物流动线解析装置11能够应用于监视视频综合管理和电梯群管理等中。

符号说明

1  图像获取单元

2  头部坐标检测单元

3  脚部坐标推测单元

4  单人区域提取单元

5  脚部坐标修正单元

6  脚部坐标区域内外判断单元

7  人数计测单元

10  人数计测装置

11  人物流动线解析装置

20  摄像机(摄像装置)

25  图像坐标轴

26,35,36  头部坐标

28  摄像机图像坐标轴

34,37  脚部坐标

39  真实世界坐标轴

80  计测对象区域(检测区域)

90  流动线提取单元

91  流动线解析单元

Claims (11)

1.一种人数计测装置，其特征在于，具有：

图像获取单元，其从摄像装置获取图像；

头部坐标检测单元，其从所述图像中检测对象人物的头部坐标；

脚部坐标推测单元，其根据所检测出的所述头部坐标，推测对象人物的脚部坐标；

单人区域提取单元，其对所述图像进行区域分割，并对各个区域赋予属性；

脚部坐标修正单元，其根据所赋予的所述属性，判断对象人物是否与其他的人物发生了重叠，在判断为与其他人物发生了重叠时，对由所述脚部坐标推测单元推测出的所述对象人物的脚部坐标进行修正；

脚部坐标区域内外判断单元，其判断所述脚部坐标是否存在于设定在所述图像内的检测区域中；以及

人数计测单元，其计测被所述脚部坐标区域内外判断单元判断为存在于所述检测区域内的脚部坐标。

2.如权利要求1所述的人数计测装置，其特征在于，

所述单人区域提取单元在对所述图像进行区域分割时，根据图像上的亮度值的经时性变化，赋予处于静止状态的静态属性和处于运动状态的动态属性。

3.如权利要求1所述的人数计测装置，其特征在于，

所述脚部坐标修正单元在对所述对象人物的脚部坐标进行修正时，根据所述对象人物的头部坐标和平均身高进行修正。

4.如权利要求1所述的人数计测装置，其特征在于，

所述脚部坐标修正单元判断所述各个属性的区域的分布是否异常，在判断为分布异常时，删除由所述头部坐标检测单元检测出的头部坐标。

5.如权利要求1所述的人数计测装置，其特征在于，

所述脚部坐标修正单元根据所述各个属性的区域的分布，判断是否为头部，在判断为是头部时，增加新的头部坐标。

6.如权利要求1所述的人数计测装置，其特征在于，

在判断为所述对象人物没有与其他人物发生重叠时，所述脚部坐标修正单元保存所检测出的所述头部坐标和脚部坐标，并在连续帧中跟踪该人物，

在判断为所述对象人物与其他人物发生了重叠时，根据所保存的所述头部坐标和脚部坐标进行修正。

7.如权利要求1至6中的任一项所述的人数计测装置，其特征在于，

所述摄像装置对电梯门厅进行拍摄，

所述人数计测单元对所述电梯门厅内的人数进行计测。

8.如权利要求1至6中的任一项所述的人数计测装置，其特征在于，

所述摄像装置对店铺内进行拍摄，

所述人数计测单元对所述店铺内的人数进行计测。

9.一种人物流动线解析装置，其特征在于，具有：

图像获取单元，其从摄像装置获取图像；

头部坐标检测单元，其从由所述图像获取单元获取的图像中检测对象人物的头部坐标；

脚部坐标推测单元，其根据所检测出的所述头部坐标，推测对象人物的脚部坐标；

单人区域提取单元，其对所述图像进行区域分割，并对各个区域赋予属性；

脚部坐标修正单元，其根据所述属性，判断对象人物是否与其他的人物发生了重叠，在判断为与其他人物发生了重叠时，对由所述脚部坐标推测单元推测出的对象人物的脚部坐标进行修正；

流动线提取单元，其针对每个帧保存所述脚部坐标，并根据所保存的脚部坐标来提取所述对象人物的流动线；以及

流动线解析单元，其根据所述对象人物的流动线来解析所述对象人物的行动模式。

10.如权利要求9所述的人物流动线解析装置，其特征在于，

所述摄像装置对电梯门厅进行拍摄，

所述流动线解析单元检测在规定范围内是否有滞留的人物存在，并计测所检测出的所述人物的等待时间。

11.如权利要求9所述的人物流动线解析装置，其特征在于，

所述流动线解析单元检测是否有作为团体一起行动的人物存在，按每个所述团体计测所检测出的所述人物的人数，并获取所述图像内的团体的数量以及团体内的人数。