CN101571914A - 异常行为检测装置 - Google Patents

Abstract

在现有技术中，将超出预先学习的图像中的人的正常行为范围的行为检测为异常行为，但在正常行为和异常行为的界限动态变化时，存在无法正确检测异常行为的问题。本发明的异常行为检测装置具有：影像获取部分，其用于获取监视对象的影像；人数检测部分，其用于检测由所述影像获取部分获取的影像中的人数；学习数据选择部分，其根据由所述人数检测部分检测到的人数选择正常行为的学习数据；非正常行为检测部分，其使用所述学习数据选择部分所选择的正常行为的学习数据，将所述影像获取部分获取的图像中的非正常行为检测为异常行为；及告警部分，其在根据所述非正常行为检测部分的检测结果表示发生了异常行为时将发生了异常行为这一情况通知外部装置。

Description

异常行为检测装置

技术领域

本发明涉及一种异常行为检测装置，该异常行为检测装置使用由摄像机拍摄的图像来检测人物等的异常行为。

背景技术

为了应对犯罪发生率的增加等社会问题，以监视可疑人员为目的的摄像机的设置数量正在增加。在使用多台摄像机进行监视时，需要使用监视支援技术，使得有限的监视员能够有效地对整个监视区域进行监视。

作为上述监视支援技术，已知有日本国专利特开2006-79272号公报(专利文献1)中所记载的“异常动作检测装置以及异常动作检测方法”。在该专利中公开了被称为立体高阶局部自我相关特征(CHLAC)的运动图像的特征量提取方法。并且，该专利还公开了对图像中的人物的正常行为进行学习，并且将超出了所学习的正常行为范围的行为检测为异常行为的技术。

此外，在日本国专利特开2007-131382号公报(专利文献2)所记载的“电梯的轿厢内监视装置以及监视程序”中公开了一种技术，其预先准备多个用来检测和判断摔倒和暴力行为等异常行为的判断装置，以根据电梯轿厢内的乘客数量来切换用于检测的判断装置。

专利文献1日本国专利特开2006-79272号公报

专利文献2日本国专利特开2007-131382号公报

在日本国专利特开2006-79272号公报所公开的现有技术中，其预先对正常行为进行学习，并根据该学习数据将超出了正常行为范围的行为判断为异常行为。该技术的优点是能够通过学习灵活地设定正常行为与异常行为的界限。但是，由于该方法以使用单一的学习数据进行学习为前提，因此无法处理因各种条件而导致正常行为与异常行为的界限发生了变动时的情况。例如，在判断是否存在会对他人造成伤害的危险性时，因人数的不同，正常行为与异常行为之间的界限可能会发生变化。在只有一个人时，即使其动作粗暴，也不存在对他人造成伤害的危险性。因此，可以将该种情况视为正常。但是，如果有多个人存在，则上述粗暴动作对他人造成危害的危险性就比较大。因此优选将该种情况视为异常。而使用单一的学习数据进行学习的技术无法解决如上所述的问题。

此外，日本国专利特开2007-131382号公报所公开的现有技术能够根据人数来切换检测对象。但是，该技术需要对摔倒和暴力行为等检测对象的各种异常行为分别开发检测装置。而检测装置的开发一般需要以直观的方式对各种异常行为进行模式化，因此存在花费劳力并且难度较高等问题。

发明内容

本发明的目的在于提供一种即使在正常行为和异常行为之间的界限动态变化的情况下，仍然能够正确地检测出异常行为的异常行为检测装置。

为了实现上述目的，本发明的异常行为检测装置具有：影像获取部分，该影像获取部分用于获取监视对象的影像；人数检测部分，该人数检测部分根据由影像获取部分获取的影像检测人数；学习数据选择部分，该学习数据选择部分根据人数选择适当的正常行为的学习数据；非正常行为检测部分，该非正常行为检测部分使用由学习数据选择部分选择的正常行为的学习数据，将由影像获取部分获取的图像中的非正常行为检测为异常行为；以及告警部分，该告警部分在非正常行为检测部分的检测结果表示发生了异常行为时将发生了异常行为这一情况通知外部装置。

发明效果

根据本发明，由于根据图像中的人数来选择适当的正常行为的学习数据，并根据该学习数据来判断异常行为，因此，即使在因人数的不同而导致行为模式出现很大差异的情况下，仍然能够按照用户的意图高精度地检测出异常行为。

附图说明

图1是表示本发明实施方式中的异常行为检测装置整体功能结构的方块图。

图2是表示本发明实施方式中的装置整体的处理流程的流程图。

图3是表示人数检测部分的功能结构的方块图。

图4是表示人数检测处理流程的流程图。

图5是表示学习数据选择表的图。

图6是表示非正常行为检测部分的功能结构的方块图。

图7是表示非正常行为检测处理流程的流程图。

图8是计算立体高阶局部自我相关时使用的帧的说明图。

图9是立体高阶局部自我相关的掩模图形的说明图。

图10是表示立体高阶局部自我相关特征计算处理流程的流程图。

图11是表示正常行为的学习处理流程的流程图。

图12是局部空间的计算处理的说明图。

图13是非正常度的计算方法的说明图。

图14是表示具有阈值选择部分的非正常行为检测部分的功能结构的方块图。

图15是表示包括阈值选择处理的非正常行为检测处理流程的流程图。

图16是表示具有人数存储部分的装置的整体结构的方块图。

图17是表示人数存储处理流程的流程图。

图18是表示人数重要度表的图。

图19是具有使用电梯信息进行检测的人数检测部分的装置的整体结构。

符号说明

100 影像获取部分

102 人数检测部分

104 学习数据选择部分

106 一人学习数据

108 多人学习数据

110 非正常行为检测部分

112 告警部分

具体实施方式

以下参照附图对本发明的实施方式进行详细说明。

图1是表示本发明的异常行为检测装置的整体功能结构的方块图。本装置由影像获取部分100、人数检测部分102、学习数据选择部分104、非正常行为检测部分110以及告警部分112构成。以下按照顺序对这些部分进行说明。

影像获取部分100是摄像机等的摄像设备或者录像机等的图像再现设备，其用于获取作为本装置的输入的图像。摄像设备在将当前正在拍摄的实时图像作为输入时使用。图像再现设备在将过去存储的图像作为输入时使用。

人数检测部分102对通过影像获取部分100拍摄到的图像中的人数进行检测。检测出的人数可以直接作为人数检测部分102的输出，而在不需要这么精确的信息时，也可以以一个人或多个人这样的二值方式输出。

学习数据选择部分104根据由人数检测部分102检测到的人数来选择适当的学习数据。在本实施例中，预先准备了一人学习数据106和多人学习数据108。一人学习数据106是通过预先对人数为一个人时的正常行为进行学习而获得的学习数据，而多人学习数据108是通过预先对人数为多个人时的正常行为进行学习而获得的学习数据。当人数检测部分102的输出中的人数为一个人时，学习数据选择部分选择一人学习数据106，而当人数检测部分的输出中的人数为多个人时，学习数据选择部分选择多人学习数据108。此外，一人学习数据106以及多人学习数据108存储在半导体存储器等存储装置中。

非正常行为检测部分110根据由学习数据选择部分104选择的学习数据判断影像获取部分100的图像是处于正常行为的范围内(正常行为)，还是超出了正常行为的范围(非正常行为)。在本实施方式中，将发生了超出正常行为范围的行为即非正常行为的场合视为发生了异常行为。

告警部分112在非正常行为检测部分110的判断结果表示发生了异常行为时将发生了异常行为这一情况通知外部装置。接到通知的外部装置能够以语音形式输出告警，也能够将告警显示在监视画面上。此外，还能够为了确保安全而使电梯等设备停止运行。并且，还能够以远程方式通知监视中心和携带终端等，以促使其采取措施。

此外，人数检测部分102、学习数据选择部分104、非正常行为检测部分110以及告警部分112通过微型计算机等各种运算处理装置实现。

以下参照图2的流程图对本实施方式的异常行为检测装置的整体处理流程进行说明。

在步骤200中，按照预先规定的频度反复地进行步骤202到步骤212的处理，直到用户发出结束指令为止。所谓的规定频度例如与录像的帧速率相同，为每秒钟大约30次等。

在步骤202中，使用影像获取部分100，以数字数据的形式获取处理对象的图像。

在步骤204中，使用人数检测部分102，检测在步骤202中获取的图像中存在的人的数量。

在步骤206中，使用学习数据选择部分104，根据步骤204的检测人数选择适当的学习数据。

在步骤208中，使用非正常行为检测部分110，检测在步骤202中获取的图像中的异常行为。

在步骤210中，对步骤208的检测结果进行评价，在判断为发生了异常行为时，执行步骤212。

在步骤212中，使用告警部分112，将发生了异常行为这一情况通知外部装置。

以下参照图3的方块图，对图1的人数检测部分102的内部结构的一例进行详细说明。如上所述，人数检测部分102用于检测由影像获取部分100拍摄到的图像中的人数。此处所列举的是在日本国专利特开2007-131382号公报中公开的使用人物区域的纵横比来检测人数的检测方法。判断结果以一人或者多人表示。

人数检测部分102由人物区域提取部分300、区域特征量计算部分302以及人数判断部分306构成。以下按照顺序对这些部分进行说明。

人物区域提取部分300使用由影像获取部分100获取的图像和背景图像304的差分信息，提取有人物存在的区域。背景图像304是完全由静止的背景图像构成的无人图像。在摄像机是固定的时，只需将预先获取的无人时的图像指定为背景图像304即可。此外，在通过影像获取部分100获取的图像长时间没有发生变化时，判断为没有人，可以自动进行更新。

区域特征量计算部分302计算由人物区域提取部分300提取的人物区域的图像的特征量。在此，利用人物区域的纵横比作为特征量。纵横比通过将人物区域的外接矩形的高度除以外接矩形的幅度而获得。在此，在一般情况下，人物区域的纵横比在人数为一个人时较大，而在人数为多个人时较小。其原因是，在人数为多个人时，人在图像中的排列多为横向排列，从而导致人物区域在横向扩大的可能性大。

人数判断部分306根据在区域特征量计算部分302中算出的人物区域的纵横比来判断人数。在此，在人物区域的纵横比大于预先设定的人数判断阈值308时，判断为存在多个人，而在等于或小于阈值308时，则判断为只有一个人。

以下参照图4的流程图对图2的步骤204中的人数检测处理的流程进行说明。

在步骤400中，使用图3的人物区域提取部分300，将通过影像获取部分100获取的图像中的有人存在的区域进行提取。

在步骤402中，使用图3的区域特征量计算部分302，算出在步骤400中所提取的人物区域的特征量。

最后，在步骤404中，使用图3的人数判断部分306，根据在步骤402中算出的特征量来判断人数。

以下参照图5的表对图2的步骤206中的学习数据的选择处理的顺序进行说明。如上所述，在步骤206中，根据在步骤204中检测到的检测人数来选择适当的学习数据。图5所示的是作为学习数据选择基准的学习数据选择表，学习数据选择表设置在学习数据选择部分104中。该选择表存储人数与所选择的学习数据之间的对应关系。例如，栏目500和栏目502表示在检测人数为0个或者1个人时，选择一人学习数据106。同样，栏目504和栏目506表示在检测人数为2个人以上时，选择多人学习数据108。

以下参照图6的方块图对图1的非正常行为检测部分110的内部结构的一例进行详细说明。如上所述，非正常行为检测部分110根据由学习数据选择部分104选择的学习数据来判断影像获取部分100的图像是处于正常行为的范围内(正常行为)，还是超出了正常行为的范围(非正常行为)，并将非正常行为检测为异常行为。在此，学习数据是通过预先对正常行为进行学习而获得的，其以线性的变换矩阵、分布中心和方差协方差矩阵来表示。其详细情况在后述部分进行说明。

非正常行为检测部分110由运动提取部分600、特征量计算部分602、特征量变换部分604、非正常度计算部分606以及非正常判断部分608构成。以下按照顺序对这些部分进行说明。

运动提取部分600对由影像获取部分100获取的图像中的发生了运动的部分进行提取。这是为了除去背景等与异常行为的判断无关的静止部分的图像。运动图像的提取可以采用公知的图像处理方法进行。例如，能够采用单纯地提取2个帧之间的差分的方法和在实施了边缘提取处理后再提取帧与帧之间的差分的方法等。在提取了运动图像后，为了除去因照明变动等引起的杂波的影响，进行二值化处理，使像素值成为0或者1。

特征量计算部分602计算由动作提取部分600生成的图像的特征量。作为特征量，例如能够采用公知的立体高阶局部自我相关特征。该方法是将由连续的3个帧的图像构成的体素数据(voxel data)的几何学特征作为251维的特征向量算出的方法。有关该特征量的计算方法在后述部分进行说明。

特征量变换部分604使用由学习数据选择部分104选择的学习数据的变换矩阵对由特征量计算部分602算出的特征量向量进行坐标变换。进行该变换的目的是为了提取包含在特征量向量中的非正常行为的分量。在此，将通过特征量计算部分602算出的特征量向量设定为x，将由学习数据选择部分104选择的学习数据的变换矩阵设定为A，将变换后的特征量向量设定为x’时，该变换能够以下式表示。

x’＝Ax    (公式1)

学习数据选择部分104所选择的学习数据的变换矩阵是通过主分量分析等多变量解析方法求出的矩阵，计算方法在后述部分中说明。在使用251维的高阶局部自我相关特征来作为图像的特征量时，变换矩阵为n×251(n＝1，2，…，251)大小的矩阵。此外，由该矩阵进行了线形变换的特征量为n维的向量。

非正常度计算部分606使用由特征量变换部分604算出的新的特征量向量来计算表示与所学习的正常行为之间的偏离程度的非正常度。在此，非正常度是纯量，该值较小时表示正常，较大时表示不正常，也就是表示异常。非正常度的具体的计算方法在后述部分进行说明。

非正常判断部分608根据由非正常度计算部分606算出的非正常度判断是否发生了异常行为，并将其结果输出到告警部分112。使用非正常判断阈值610来作为判断基准。在非正常度小于非正常判断阈值610时，判断为处于正常行为的范围内并且判断为没有发生异常行为。相反，在非正常度大于非正常判断阈值310时，判断为超出了正常行为的范围并且判断为发生了异常行为。

以下参照图7的流程图对图2的步骤208中的非正常行为的检测处理进行详细说明。

在步骤700中，使用图6的运动提取部分600提取由影像获取部分100获取的图像中发生了运动的部分。

在步骤702中，使用图6的特征量计算部分602来计算在步骤700中生成的图像的特征量。

在步骤704中，根据由学习数据选择部分104选择的学习数据的变换矩阵，使用图6的特征量变换部分604对在步骤702中算出的特征量向量进行坐标变换，以生成新的特征量向量。

在步骤706中，使用图6的非正常度计算部分606来计算表示在步骤704中算出的新的特征量向量与正常行为之间的偏离程度的非正常度。

在步骤708中，使用图6的非正常判断部分608，根据在步骤706中算出的非正常度来判断是否发生了异常行为，并将其结果输出到告警部分112中。

以下参照图8至图10对图7的步骤702中的运动图像的特征量计算处理进行详细说明。

图8是上述立体高阶局部自我相关特征的输出数据的说明图。特征量的计算对象是运动图像，也就是在时序上连续的帧(图像)。在计算立体高阶局部自我相关特征时至少需要3个帧。例如，假设所给出的是帧编号为n的帧800时，则特征量的计算对象就是帧800以及位于其前后的帧802和帧804(分别与帧编号n-1和n-2相对应)这三个帧。

此时，假设帧的分辨率为纵向为h像素和横向为w像素时，通过将3帧相加，能够构成h×w×3的体素(立方体)。对于该体素的全部要素，按序移动并使用3×3×3的掩模图形806，能够提取出立体高阶局部自我相关特征。

此外，在上述说明中，以连续的3个帧作为处理对象，但也可以将任意的f个帧作为处理对象。此时，h×w×f的体素成为处理对象，并算出f个帧的运动图像的平均特征量。

图9是表示计算立体高阶局部自我相关特征时使用的掩模图形的例示图。掩模图形由3×3×3的体素构成，用来计算体素的局部相关特征。

图形1是在按序对输入图像的体素数据内部进行扫瞄时，对位于中心体素900的像素为1时的数目进行计数的图形。同样，图形2是对除了中心体素902之外，体素904也为1时的数目进行计数的图形。

与二值图像相应的立体高阶局部自我相关特征中存在有251个掩模图形，通过对满足各个图形时的数目进行计数，能够将输入图像的特征提取为251维的特征量向量。

以下参照图10的流程图对图7的步骤702中的运动图像的特征量计算处理进行详细说明。

在步骤1000中将特征量向量初期化为零向量。

在步骤1002中，对作为处理对象的图像的全部体素反复进行步骤1004到步骤1008的处理。也就是说，如图8所示，使用掩模图形806按序对处理对象的全部的体素进行扫瞄。

在步骤1004中，对图9所示的所有251种掩模图形反复进行步骤1006到步骤1008的处理。

在步骤1006中，判断与处理对象的掩模图形对应的像素是否全部为1。在判断为全部为1时执行步骤1008。

在步骤1008中，在与处理对象的掩模图形对应的特征量向量的分量中加上1。

通过上述一系列的处理，能够算出立体高阶局部自我相关的251维的特征量向量。

以下参照图11的流程图对图1的一人学习数据106以及多人学习数据108的计算顺序进行说明。

在步骤1100中，对为了学习而预先记录的一个以上的正常场景的图像反复进行步骤700到步骤702的处理。在此，在计算一人学习数据106时，仅使用只有一个人时的正常场景，而在计算多人学习数据108时，则仅使用有多个人的正常场景。

步骤700与图7所示的步骤相同，使用运动提取部分600从学习中的图像提取发生了运动的部分。

步骤702与图7所示的步骤相同，使用特征量计算部分602计算在步骤700中生成的图像的特征量。

在步骤1102中，对在步骤702中算出的正常场景的特征量的集合执行主分量分析。主分量分析是一种多变量解析法。通过从若干个变量以相互之间无相关关系的方式生成被称为主分量的合成变量，由此能够将多个变量所具有的信息进行归纳。该主分量分析是多变量数据的解析中经常使用的公知的方法。通过对251维的特征量向量的集合进行主分量分析，能够求出251个主分量和特性值。

在步骤1104中，根据步骤1102的主分量分析的结果，计算对正常行为的贡献率低的局部空间。在存储装置中，作为一人学习数据106或者多人学习数据108，存储将特征量向量变换成该局部空间的向量的变换矩阵。

以下参照图12对图11的步骤1104中的局部空间的计算处理进行详细说明。该图表示在步骤1102所示的主分量分析中得到的各个主分量的累积贡献率。累积贡献率通过按从大到小的顺序对各个主分量的贡献率进行叠加而得到，其是表示到此为止的主分量能够对分析对象的数据本来所具有的信息量进行多少说明的指标。例如，到第3主分量为止的累积贡献率1200为90％，则表示第1主分量到第3主分量表达了本来的数据的90％的信息量。另一方面，其余的第4主分量到第251主分量所具有的信息量只表达了本来的数据的10％的信息量。

从上述说明可以知道，由第1主分量到第3主分量构成的局部空间对正常行为的贡献率较大。另一方面，由第4主分量到第251主分量构成的局部空间对正常行为的贡献率较低。

如此，通过将累积贡献率作为判断基准，能够求出对正常行为的贡献率小的局部空间。

以下参照图13对图7的步骤706中的非正常度的计算方法进行说明。非正常度的计算在图12所示的对正常行为的贡献率小的局部空间中进行。其理由是，在该局部空间中，在一般的情况，正常行为时的特征量的离散比较小，而正常行为以外的行为即非正常行为的特征量的离散则比较大。

以下对由第n+1主分量以后的主分量构成的局部空间的情况进行说明。该局部空间实际上是251-n维的空间，但为了便于说明，在图13中采用第n+1主分量和第n+2主分量这2个轴来进行表示。特征量的集合1300是根据学习中使用的正常行为的特征量生成的。在对正常行为贡献率小的局部空间中，在一般的情况下，以集合的重心x_n1304为中心，正常行为的特征量均分布在该中心的附近。因此，在当前评价中的图像的特征量向量x1302距离特征量的集合1300较近时，可以将其判断为正常，而距离特征量的集合1300较远时，则可以将其判断为非正常。在此，将两者之间的距离1306作为非正常度。此外，集合的重心x_n1304可以在进行图11所示的正常行为的学习时计算，并作为一人学习数据106或者多人学习数据108存储在存储装置中。

特征量向量x1302与特征量的集合1300之间的距离可以采用计算成本较低的欧几里得距离来计算，但在本实施方式中则采用对特征量的集合1300的离散作出了考虑的马氏距离(Mahalanobis distance)来进行计算。将特征量的集合1300的方差协方差矩阵的逆矩阵设定为S^-1时，马氏距离D能够通过下式算出。此外，该方差协方差矩阵的逆矩阵S^-1可以在进行图11所示的正常行为的学习时计算，并作为一人学习数据106或者多人学习数据108存储在存储装置中。

D²＝(x-x_n)^tS^-1(x-x_n)    (公式2)

在以上所述的实施方式中，能够根据图像中的人数选择适当的正常行为的学习数据，并根据该学习数据来判断异常行为。由此，即使因人数的不同而导致行为模式出现了大的差异，也能够按照用户的意图高精度地检测出异常行为。

在以上说明的实施方式中，对图1所示的根据检测人数切换学习数据的情况举例进行了说明。在此，不仅可以根据人数切换学习数据，也可以根据人数切换其它的数据。例如，可以切换图6的非正常判断部分608进行判断时使用的判断阈值610。

以下参照图14对此时的结构进行说明。图14表示在图6的装置结构的基础上新增加了阈值选择部分1400，并且将判断阈值610改为一人判断阈值1402和多人判断阈值1404而形成的结构。

阈值选择部分1400根据由人数检测部分102检测到的人数选择适当的判断阈值。在本实施例中，预先准备了一人判断阈值1402和多人判断阈值1404。一人判断阈值1402是人数为一个人时的判断阈值，而多人判断阈值1404是人数为多个人时的判断阈值。例如，通过将一人判断阈值1402设定为大于多人判断阈值1404，能够降低人数为一个人时的判断灵敏度。如此，通过将一人判断阈值1402设定得较大，可以使人数为一个人时的非正常判断的条件难以成立。

其它的功能块与图6所示的情况相同。

以下参照图15的流程图对图14的实施方式中的非正常行为检测部分110的处理流程进行说明。该图在图7的流程图的基础上增加了步骤1500。

在步骤1500中，根据在图2的步骤204中算出的检测人数，使用阈值选择部分1400选择适当的判断阈值。然后，在下一个步骤708中使用该判断阈值。

其它的处理步骤与图7所示的情况相同。

在图14的实施方式中，能够根据图像中的人数选择适当的正常行为的学习数据，并根据该学习数据来判断异常行为。由此，能够根据人数来变更检测灵敏度。

在以上说明的实施方式中，对图1所示的由学习数据选择部分104根据由人数检测部分102算出的检测人数对学习数据进行切换时的情况举例进行了说明。不过，在人数检测部分算出的检测人数中包含误差。

此时，有可能给异常行为的检测带来影响。例如，假定根据下述的设想生成了一人学习数据106和多人学习数据108。在有人作出了粗暴的举动时，如果只有一个人时，则不会对他人造成伤害。因此，将这样的行为视为正常行为，并使一人学习数据106对此进行学习。由此，在使用一人学习数据106进行判断时，该种粗暴举动不会被检测为异常行为。另一方面，在有多个人时，则可能会对他人造成伤害。因此，将这样的行为视为异常行为，而不让多人学习数据108对此进行学习。由此，在使用多人学习数据108进行判断时，该种粗暴举动会被检测为异常行为。此时，在实际上有多个人而人数检测部分错误地判断为只有一个人时，则不能够检测出本来应该检测到的粗暴行为。

在此，为了防止出现这样的漏检现象，可以根据过去的检测人数的履历信息来决定检测人数。以下参照图16对其结构进行说明。图16表示在图1的装置结构的基础上新增加了人数存储部分1602，并且与电梯1600连接的结构。

在此，电梯1600是设置有影像获取部分100的监视对象。在电梯1600中设置有供人们出入的电梯门，在此，将有人进入电梯1600后电梯门关闭开始，到电梯到达目的地楼层后电梯门打开为止的期间作为异常行为的检测期间。此外，通过电梯1600的电梯门控制部分1601能够了解电梯门的开闭状态。

人数存储部分1602根据人数检测部分102的输出、人数重要度表1604的各人数的重要度以及上一次存储的判断值，确定最终的检测人数并对其进行存储。通过电梯门控制部分1601而输入到人数存储部分1602的信号是电梯1600的电梯门的开闭信号。异常行为的检测期间从电梯门关闭的这一瞬间开始。因此，在这一时刻，清除存储在人数存储部分1602中的上一次存储的判断值。

其它的功能块与图1所示的情况相同。

以下参照图17的流程图对图16所示的实施方式中的人数存储部分1602的处理流程进行说明。这些处理在人数处理部分1602执行。

在步骤1700中，对是否为首次起动时进行判断，如果是首次起动时，执行步骤1702至步骤1704的初期化处理。另一方面，在不是首次起动时，执行步骤1706至步骤1720的人数存储处理。

在步骤1702中将存储人数清除为零。

在步骤1704中获取电梯1600的电梯门状态，并将结果设定为ls。

在步骤1706中，获取人数检测部分102的输出，并将结果设定为n。

在步骤1708中，获取电梯1600的电梯门状态，并将结果设定为s。

在步骤1710中对是否处于电梯1600的电梯门关闭的这一瞬间进行判断。判断的条件是上一次的电梯门的状态为“打开”，而这次是否已变为“关闭”。如果判断的结果是肯定的，则执行步骤1712。而如果判断的结果是否定的，则执行步骤1714至步骤1716的处理。

在步骤1712中，判断为异常行为的检测期间已经开始，将存储人数清除为零，为新的检测期间作准备。

在步骤1714中，根据人数重要度表1604分别求出人数检测部分102的输出n和存储人数的重要度。然后，在n的重要度较大时，执行步骤1716。

在步骤1716中，将人数检测部分102的输出n代入存储人数。

在步骤1718中，将本次的电梯门状态s代入上一次的电梯门状态ls。

在步骤1720中，将存储人数作为最终的判断人数输出到学习数据选择部分104中。

以下参照图18的表对图16的人数重要度表1604的数据结构进行举例说明。该表存储有检测人数与该人数的重要度之间的对应关系。在此，重要度为实数，该值越大，表示对应的检测人数越是重要。例如，在栏目1800和栏目1802中的检测人数为0个或者1个人时，表示重要度为1。同样，在栏目1804和栏目1806中，在检测人数为2人以上时，表示重要度为2。人数存储部分1602使用该表来决定检测人数的重要度。

根据以上所述的实施方式，能够存储在人数重要度表1604中规定的优先度较高的人数。由此，能够减轻人数检测的错误给异常行为检测的性能带来的影响。

在以上说明的实施例中，如图1所示，人数检测部分102使用由影像获取部分100获取的图像来计算人数。在此，人数检测不仅可以使用图像进行，也可以使用其它的传感器信息进行。作为一例，在图19中示出了根据电梯的负载传感器的信息计算出人数的实施方式。图19表示将图1的装置结构与电梯1600连接，并将该负载传感器1900的输出与人数检测部分102连接时的结构。

在此，与图16所示的情况相同，电梯1600是设置有影像获取部分100的监视对象。在电梯1600上安装有负载传感器1900，能够测量乘客的总重量。由负载传感器1900所测量的乘客的总重量被输入至人数检测部分102中。

人数检测部分102根据测量到的乘客的总重量计算人数。作为计算方法的一例，可以举出根据阈值进行判断的方法。预先设定某一阈值，在乘客的总重量大于该阈值时判断为有多个人，而在小于阈值时则判断为只有一个人。

此外，在本实施例表示了只使用负载传感器1900的信息的示例，但也可以将该信息和影像获取部分100的图像组合在一起来检测人数。

根据以上所述的图19的实施方式，能够根据电梯的乘客的总重量来判断人数。由此，能够提高人数检测的精度。

Claims (7)

1.一种异常行为检测装置，其特征在于具有：

影像获取部分，其用于获取监视对象的影像；

人数检测部分，其用于检测由所述影像获取部分获取的影像中的人数；

学习数据选择部分，其根据由所述人数检测部分检测到的人数从正常行为的多个学习数据中选择一个学习数据；

非正常行为检测部分，其使用由所述学习数据选择部分所选择的正常行为的学习数据，将由所述影像获取部分获取的影像中的非正常行为检测为异常行为；以及

告警部分，其在根据所述非正常行为检测部分的检测结果表示发生了异常行为时将发生了异常行为这一情况通知外部装置。

2.如权利要求1所述的异常行为检测装置，其特征在于，所述非正常行为检测部分包括：

运动提取部分，其从由所述影像获取部分获取的影像中提取发生了运动的部分；

特征量计算部分，其计算由所述运动提取部分所生成的影像的特征量；

特征量变换部分，其使用由所述学习数据选择部分所选择的学习数据的变换矩阵对由所述特征量计算部分算出的特征量向量进行坐标变换；

非正常度计算部分，其使用由所述特征量变换部分算出的新的特征量向量来计算表示与所学习的正常行为之间的偏离程度的非正常度；以及

非正常判断部分，其根据由所述非正常度计算部分算出的非正常度来判断是否发生了异常行为。

3.如权利要求1或者2所述的异常行为检测装置，其特征在于，所述人数检测部分包括：

人物区域提取部分，其使用由所述影像获取部分获取的图像与背景图像之间的差分信息来提取有人物存在的区域；

区域特征量计算部分，其计算由所述人物区域提取部分提取的人物区域的图像的特征量；以及

人数判断部分，其根据由所述区域特征量计算部分算出的人物区域的特征量来判断人数。

4.一种异常行为检测装置，其特征在于具有：

影像获取部分，其用于获取监视对象的影像；

人数检测部分，其用于检测由所述影像获取部分获取的影像中的人数；

非正常行为检测部分，其使用正常行为的学习数据将由所述影像获取部分获取的影像中的非正常行为检测为异常行为；以及

告警部分，其在根据所述非正常行为检测部分的检测结果表示发生了异常行为时将发生了异常行为这一情况通知外部装置，其中，所述非正常行为检测部分包括：

运动提取部分，其从由所述影像获取部分获取的影像中提取发生了运动的部分；

特征量计算部分，其计算由所述运动提取部分生成的影像的特征量；

特征量变换部分，其使用由所述学习数据选择部分所选择的学习数据的变换矩阵对由所述特征量计算部分算出的特征量向量进行坐标变换；

非正常度计算部分，其使用由所述特征量变换部分算出的新的特征量向量来计算表示与所学习的正常行为之间的偏离程度的非正常度；

阈值选择部分，其根据由人数检测部分算出的人数从多个判断阈值中选择一个判断阈值；以及

非正常判断部分，其根据由所述非正常度计算部分算出的非正常度和由阈值选择部分所选择的判断阈值来判断是否发生了异常行为。

5.如权利要求1至4中的任一项所述的异常行为检测装置，其特征在于，

所述异常行为检测装置的监视对象为电梯，

所述异常行为检测装置具有人数存储部分，该人数存储部分根据所述人数检测部分的输出、用于存储各人数的重要度的人数重要度表、以及上一次存储的判断值，来决定检测人数并将其作为存储人数来存储，

所述学习数据选择部分根据由所述人数存储部分算出的人数来选择学习数据。

6.如权利要求5所述的异常行为检测装置，其特征在于，

所述异常行为检测装置的监视对象为电梯，

在所述电梯的电梯门关闭了时，所述人数存储部分将所述存储人数复位成0个人。

7.一种异常行为检测装置，其特征在于，

所述异常行为检测装置的监视对象为电梯，

所述异常行为检测装置具有：

影像获取部分，其用于获取监视对象的影像；

人数检测部分，其根据所述电梯的负载信息检测人数；

学习数据选择部分，其根据由所述人数检测部分检测到的人数从正常行为的多个学习数据中选择一个学习数据；

非正常行为检测部分，其使用由所述学习数据选择部分所选择的正常行为的学习数据，将由所述影像获取部分获取的影像中的非正常行为检测为异常行为；以及

告警部分，其在根据所述非正常行为检测部分的检测结果表示发生了异常行为时将发生了异常行为这一情况通知外部装置。

Images