CN101668186B

CN101668186B - 图像监视系统

Info

Publication number: CN101668186B
Application number: CN2009101634200A
Authority: CN
Inventors: 数井诚人; 三好雅则; 主税雅裕
Original assignee: Hitachi Ltd; Hitachi Building Systems Co Ltd
Current assignee: Hitachi Ltd; Hitachi Building Systems Co Ltd
Priority date: 2008-09-01
Filing date: 2009-08-19
Publication date: 2012-11-28
Anticipated expiration: 2029-08-19
Also published as: CN101668186A; JP2010062596A; HK1141181A1; JP4663767B2

Abstract

本发明提供一种图像监视系统，能够容易设定用于探测异常而实施图像处理的处理区域的图像监视。从监视区域的图像提取设置在监视区域内的构造体，设定与提取出的构造体相邻且实施用于检测异常的图像处理的对象的初始区域，在与构造体相邻的状态下矫正设定的初始区域。而且，在矫正后的初始区域中实施图像处理，并检测监视区域内的异常。根据所述单元，初始区域的矫正或设定变得容易，能提高使用图像监视系统的操作者或维护人员的工作效率。

Description

图像监视系统

技术领域

本发明涉及一种根据监视区域的图像探测异常的图像监视系统。

背景技术

在监视/安全系统中，近几年，为了发现监视区域中的可疑人物或发现侵入区域中的入侵者，应用图像识别技术。以往，在邮区分机或工厂/自动化等领域中实用化了图像识别技术。在这些领域中，限定了探测对象且照明条件稳定，是一种比较容易操作图像识别处理的环境。但是，如监视系统在一般环境下进行图像识别处理时，发生各种干扰，会降低对人物的探测能力或对异常动作的识别性能。例如，具有根据在摄像机视野内产生的照明变动而在本来正常步行的人物的场景中误识别为发生了异常动作的情况。在这种情况中，通过只马赛克(mask)设定必要的图像处理区域而其它区域不进行处理，来避免图像识别性能的恶化。

设定图像处理区域的方法之一是用鼠标设定处理区域的方法。例如，在特开2004-97383号公报(专利文献1)中记载的技术中，由配置规定尺寸的矩形的图标选择进行图像处理的区域，通过用鼠标拖动(drag)配置的区域来变更大小与位置。

另外，特开2000-272863号公报(专利文献2)中记载的技术中，在乘客运送监视系统中，通过图像处理从监视图像提取台阶的步行区域，以该区域的大小和位置为基础设定用于监视的检测区域的位置与大小。

另外，特开2001-145092号公报(专利文献3)中记载的技术中，通过图像处理检测在监视区域中以等间隔设置的3点标记，将从设置的摄像机的摄像参数的信息连接3点标记的直线与平行该直线且按固定间隔排列的平行线包围的范围作为监视区域来进行设定。

专利文献1：特开2004-97383号公报

专利文献2：特开2000-272863号公报

专利文献3：特开2001-145092号公报

使用专利文献1中记载的技术时，预先在图标按钮上登记频繁使用的区域尺寸，在配置之后通过鼠表的拖动操作变更处理区域的位置与形状。另外，使用专利文献2中记载的技术时，通过图像处理自动检测已经设定的构造体的区域，自动设定与此相邻的处理区域。但是，设定的区域不满足期望的位置、形状、大小时，这些技术都需要进行设定的区域的矫正。

例如，为了矫正初始设定的区域形状而由鼠标拖动区域的顶点来变更形状、位置、大小时，为了防止在设定区域内融入图像识别中不需要的背景图像，需要由鼠标正确移动区域的顶点。维护人员使用维护工具来进行这样的区域矫正时，在监视现场中必须具备维护工具的状况下，无法使用鼠标等外部输入接口，例如，必须使用笔记本式计算机等触摸板(touchpad)来进行区域设定。此时，在正确移动区域的顶点的操作中要求操作者的集中力，维护的监视区域越多，作业效率越低。

为了减轻这样的问题，在使用专利文献3中记载的技术时，通过图像处理检测由规定的条件设置的标记，基于该检测结果设定处理区域。但是，即使在这种情况下，若基于已设标记的检测结果的设定区域不满足期望的位置或形状时，需要通过鼠标操作进行区域设定。

发明内容

本发明考虑到所述的问题而构成，其目的在于提供为了检测异常而能够容易设定实施图像处理的处理区域的图像监视。

为了解决所述课题，在本发明的图像监视系统中，从监视区域的图像提取设置在监视区域内的构造体，设定与提取出的构造体相邻且实施用于检测异常的图像处理的对象的初始区域，在与构造体相邻的状态下矫正设定的初始区域。而且，在矫正后的初始区域中实施图像处理并检测监视区域内的异常。

另外，也可以基于监视区域的图像对设置在监视区域内的构造体或设置在其周边的发光二极管进行探测，从而提取构造体或设定初始区域。特别是，探测发光二极管来设定初始区域时，能够省略提取构造体或矫正初始区域。

(发明效果)

根据所述方法，初始区域的矫正或设定变得容易，能提高使用图像监视系统的操作者或维护人员的工作效率。

附图说明

图1是本发明的一实施方式的图像监视系统的整体结构的功能框图。

图2是设定图像处理区域的维护装置部的功能框图。

图3是成为图像处理区域的基础的初始区域设定部的流程图。

图4是表示矫正初始区域的区域矫正部的操作例子的图。

图5是使用LED来设定图像处理区域的初始区域设定部的流程图。

图6是表示在每一处理区域中设置LED标记的例子的图。

图7是表示设定多个图像处理区域的例子的图。

图中：101-扶手(hand rail)；102-台阶；103-摄像机；104-控制装置；105-录像装置；106-图像处理装置部；107-维护装置部；108-监视器；201-图像输入部；202-图像处理器；203-初始区域设定部；204-区域矫正部；205-深度顺序设定部；206-输入设备；207-参数存储部；208-参数输出部。

具体实施方式

以下，说明本发明的实施方式。

图1是表示本发明的一实施方式的图像监视系统的整体结构的功能框图。在图1中，101是作为运送乘客的自动扶梯(escalator)的扶手，102是自动扶梯的台阶，103是获得包括自动扶梯和其周边的监视区域的图像的摄像机，104是控制自动扶梯的运行的逆变器(inverter)装置等的控制装置，105是保存由摄像机103拍摄的图像的录像装置，106是通过图像处理来解析拍摄在摄像机103中的图像并检测监视区域中有无异常的图像处理装置部，107是设定在图像处理装置部106中用于异常检测的图像处理区域的维护装置部。维护装置部107从图像处理装置部106获得监视区域的图像，并由鼠标等输入设备设定图像处理区域，向图像处理装置部106发送图像处理中必要的参数。108是显示维护装置部107的作业内容的监视器。

下面，使用图2说明维护装置部107的内部功能。由图像输入部201接受从图像处理装置部106发送来的图像，并向图像处理部202发送，通过图像处理检测或通过操作输入装置206来选择为了设定实施用于探测异常行动的图像处理的图像区域的预备区域，即，设置在监视区域内的自动扶梯的扶手等的构造体的图像区域。初始区域设定部203设定成为图像处理区域基础的初始区域。初始区域具有预先登记在初始区域设定部203中的形状、大小，并且在与预备区域相邻的区域中设定。区域矫正部204根据来自输入装置206的指令将初始区域设定部203中被设定的初始区域矫正为期望的位置、形状、大小。若初始区域设定部203中被设定的初始区域满足期望的位置、形状、大小，则跳过区域矫正部204的处理。

深度顺序设定部205在设定多个为了检测异常而使用的图像处理区域时，根据来自输入装置206的指令设定各区域的深度的次序。另外，在深度顺序设定部205中也由输入设备206设定各区域的属性，例如区域为地面还是墙壁或者为门的出入口还是窗户等。参数存储部207在每一设定的摄像机103或每一图像处理装置部106中保存从图像处理部202至深度顺序设定部205的处理模块部中被检测出并由输入设备206设定的参数。在因长期变化等导致摄像机光轴偏离或交换摄像机或图像处理装置部时等需要再次设定参数时取得保存的参数，节省进行处理区域的再次设定的时间。参数输出部208向图像处理装置部106发送从深度顺序设定部205或参数存储部207发送的参数。

下面，使用图3的流程图详细说明图2中的图像处理部202与初始区域设定部203。在图像处理部202中，首先，获得从图像输入部201发送来的图像(步骤301)。在步骤302中，假设想要提取的构造体，即预备区域的颜色相同，在被显示在监视器108的图像中，由鼠标等输入设备指定预备区域中的一点，获得指定的部分的颜色。在步骤303中，通过检测与步骤302中获得的颜色相同的颜色的像素集合，从而在监视区域中检测具有与步骤302中获得的颜色相同的颜色的区域。例如，由于自动扶梯的扶手具有固定的颜色，因此能够通过所述处理提取预备区域。在图4的区域(a)(401)中表示将扶手作为预备区域的例子。由于在实际环境下可能存在具有与扶手相同的颜色的区域，因此，提取多个预备区域时通过聚类(clustering)操作在每个同一颜色组(cluster)中计算面积和长宽比，将比某一阈值大的组作为候补，在监视器部中提示多个这些值，从多个候补中根据输入设备指定初始区域。

之后，在步骤304中，初始区域设定部203作为初始区域设定与步骤303中检测出的预备区域相邻的一个或多个区域。例如，如图4的区域402所示，作为初始区域设定位于自动扶梯的外侧并且与扶手连接且沿着扶手延伸的区域。由于自动扶梯的扶手在乘梯下梯部附近是曲线状，因此也将与扶手相邻的区域沿着扶手的曲线弯曲设定。在步骤304中，也可以提示多个与预备区域相邻的初始区域的候补，从其中根据输入设备指定初始区域。在步骤305中，操作者判定在步骤304中设定的初始区域是否适当，从输入设备输入判定的结果。若没有适当的初始区域，则回到步骤302再次进行提取对象的颜色提取，重复进行步骤302～305的处理。若在步骤305中设定了适当的初始区域，则将其作为图像处理区域，向区域矫正部204输出与面积、形状、位置相关的参数(步骤306)。另外，在步骤305中，通过点击显示在监视器108的图标并且操作键盘，能够输入初始区域的适当与否。

下面，使用图4来详细说明区域矫正部204。若具有从初始区域设定部203输出的初始区域所期望的位置、形状、大小，则跳过区域矫正部204的处理。若并非如此，则对初始处理区域的位置、形状、大小进行矫正。在这里，说明用于探测乘客从自动扶梯的扶手探出身体的区域设定。设在图3的预备区域提取步骤303中设定了自动扶梯的扶手区域401。而且，设在图2的初始区域设定部203中得到了与扶手区域401相邻的初始区域402。初始区域402的大小与长宽比存储在维护装置部107中或由输入装置206设定。

首先，说明变更初始区域402的位置的步骤。初始区域402通过由作为输入设备的鼠标进行拖动来变更其位置。此时，初始区域402以连接在扶手区域401的状态沿着扶手区域进行移动，且通过拖动作为初始区域402的中心部分的区域403来进行移动。区域403的位置以作为初始区域402的中心部且大小与初始区域402的面积相对应的比例而设定。该设定参数存储在维护装置部107中或根据输入装置206设定。

下面，说明变更初始区域402的大小与形状的步骤。初始区域402通过由鼠标进行拖动来变更其形状。此时，初始区域402变形为沿着扶手区域401而扩大或缩小，且通过拖动作为初始区域402的周边的区域(图4(c)(404))而变形。此时，如图4(a)所示，扶手区域为非直线结构而包括曲线部分时，初始区域也与其曲线部分连接并沿着该曲线部分变形。以往，若为矩形区域，则为了进行该区域的移动与变形需要用鼠标正确拖动区域的顶点，但是，通过操作如本实施方式的大的区域，移动区域时的鼠标操作变得容易且提高操作者的工作效率。

通过如上所述的处理，在区域矫正部204中设定图像处理区域之后，由深度顺序设定部205在每一图像处理区域中设定深度顺序。这是在2个处理区域重合时设定哪一区域在实际空间中处于近处的处理。通过作为进行图像处理时的前期知识而提供该信息，能够提高图像处理性能。例如，在图7中，在离摄像机近的区域设定了区域701，在离摄像机远的区域设定了区域702。这里，人物或物体像区域703或区域704那样被检测时，这些检测结果能够判定远的区域702中存在人物或物体，如区域705所示，跨越2个区域边界而被检测出的人物或物体能够判定为存在于近处的区域701。另外，例如如人物的头部，若已知探测对象物体的实际的大小，则越是近处的区域看到的大小变得越大，因此能够将在近处的区域中检测出的小的探测结果作为误检测来判定。另外，操作者看到显示在监视器108的图像后，通过鼠标等输入设备输入深度顺序。

图5是表示为了设定预备区域或初始区域而将如发光二极管(以下记为LED)的发光体作为标记来使用时的图像处理部202或基于初始区域设定部203的设定步骤的流程图。在本实施方式中，作为设置的标记使用了自身为发光元件的LED，但通过在每一区域改变各LED的发光颜色或发光模式而设定，能够设定3维空间中的多个区域。

获得监视区域的图像(步骤501)，并从获得的图像检测LED(步骤502)。由此，将输入RGB彩色图像转换为例如HSV色空间，在色调空间(H)中提取具有发光LED的颜色的像素，通过聚类检测LED的位置。通过聚类检测出的标签(1abel)中，在背景中除了LED以外也有可能存在相似颜色的标签。因此，在本实施方式中，不是通过连续点亮LED，而是根据某一规则模式点亮熄灭LED，与背景噪声区别而检测LED(步骤503)。在LED的点亮熄灭模式中，例如，先点亮熄灭离摄像机近的近处区域，再点亮熄灭离摄像机远的区域。由于相同的颜色和在相同的时刻点亮熄灭的LED设置在同一区域，因此若在每一LED颜色和点亮熄灭时刻分离LED，则能够轻易分离设置在多个区域中的LED。在处理区域的设定步骤504中进行该多个区域的分离。

图6表示在包括自动扶梯和其周边的监视区域中设置了LED的例子。LED设置在区域边界中，但在图6中，在扶手外侧的区域602、包括支撑乘梯下梯口的底板部和栏杆部的裙式护板(skirt guard)的台阶附近的区域603、并且包括支撑扶手的栏杆部604的区域604的各周边部中设置了多个LED601。由有线或电池提供LED的电源。通过由至摄像机的距离设定包括如区域602～604所示由LED包围的各区域的LED的发光时间间隔的点亮熄灭模式与LED发光颜色的至少任一方，从而能够设定所述的深度顺序。LED的颜色为单色时，改变LED的点亮熄灭模式来设定深度顺序。若能够准备多个LED颜色时，也能通过使用颜色与点亮熄灭模式两者来进行更稳定的LED探测与向每一区域的分类。

由所述的步骤检测出多个区域之后，操作者看显示在监视器部的GUI上的区域来判定这些区域作为预备区域或初始区域是否适合，由输入设备输入判定结果(步骤505)。若这些区域适合，则输出每一区域的参数，具体而言是位置、形状、大小、LED颜色、点亮熄灭模式(步骤507)。若不适合，例如具有LED的检测遗漏或误检测出非LED的物体时，由输入设备指定LED的位置(步骤506)，再次检测LED颜色和LED点亮熄灭模式(步骤503)。

使用LED来设定初始区域时，能够将在初始区域设定部203中设定的区域作为用于无矫正地直接进行异常检测的图像处理区域。因此，能够省略预备区域的设定，并且能够跳过区域矫正部204的处理。另外，设定多个初始区域时，由于通过LED的发光颜色和点亮熄灭模式的设定来设定来自各区域的摄像机的深度顺序，因此能够跳过深度顺序设定部205的处理。

另外，根据图5和图6的实施方式，由于能够提高预备区域的设定精度，因此也提高初始区域的设定精度。另外，设定精度很难受到天气或照明等外在因素或摄像机与构造体的相对的位置关系等影响。

另外，不仅限于所述的实施方式，在本发明的技术思想的范围内，能够以各种实施方式实施。例如，监视区域不仅限于自动扶梯的扶手的附近，也可以是电梯的门、自动扶梯的台阶或乘梯下梯底部、作为其它乘客运送的自动人行道的扶手、自动人行道的踏板或乘降底部、设置在建筑物的台阶的栏杆等的附近。

Claims

1.一种图像监视系统，从摄像机取得监视区域的图像，根据取得的所述图像检测所述监视区域内的异常，该图像监视系统的特征在于，

具有：从所述监视区域的图像检测设置在所述监视区域内的构造体的颜色并提取具有检测出的颜色的区域来提取所述构造体的单元；

设定与所述构造体相邻且作为实施图像处理的对象的至少一个初始区域的单元；和

在与所述构造体相邻的状态下矫正所述初始区域的单元，

在矫正后的初始区域实施图像处理，检测所述监视区域内的所述异常。

2.一种图像监视系统，从摄像机取得监视区域的图像，根据取得的所述图像检测所述监视区域内的异常，该图像监视系统的特征在于，

具有：基于所述监视区域的图像探测设置在所述监视区域内的构造体的发光二极管或者设置在所述构造体周边的发光二极管来提取所述构造体的单元，

设定与所述构造体相邻且作为实施图像处理的对象的至少一个初始区域的单元，和

在与所述构造体相邻的状态下矫正所述初始区域的单元，

3.根据权利要求1或2所述的图像监视系统，其特征在于，

在由输入设备拖动所述初始区域的中心部分时，所述初始区域沿着所述构造体的区域移动，在拖动所述初始区域的周边部分时，所述初始区域沿着所述构造体移动或变形。

4.根据权利要求1或2所述的图像监视系统，其特征在于，

设定多个矫正后的所述初始区域，并具备在每一矫正后的所述初始区域中设定深度顺序的单元。

5.一种图像监视系统，从摄像机取得监视区域的图像，并根据取得的所述图像检测所述监视区域内的异常，该图像监视系统的特征在于，

具备：基于所述监视区域的所述图像对设置在构造体或其周边的发光二极管进行探测，从而设定与所述构造体相邻且作为实施图像处理的对象的至少一个初始区域的单元，和

按每个所述初始区域改变所述发光二极管的发光时间间隔、发光颜色，在每一所述初始区域中设定深度信息的单元，

在所述初始区域实施图像处理，检测所述监视区域内的所述异常。