CN1315715C - 监视自动扶梯/移动步道的系统和方法及其计算机程序产品 - Google Patents

Abstract

本发明涉及一种用于检测自动扶梯或移动步道上的障碍物或人员的监视系统和方法以及监视系统的计算机程序产品，包括至少一个摄像机和自动扶梯或移动步道，其中由设置位置略有不同的至少两部摄像机摄取至少一对相同视野范围的图像或由同一摄像机在两个略有不同的位置摄取至少一对相同视野范围的图像，从而在两个略有不同的视角的情况下对同一视野范围立体成像，和处理单元对所述立体图像进行处理。本发明实现了在光线剧烈和光线不佳的情况下对自动扶梯或移动步道的监视。

Description

监视自动扶梯/移动步道的系统和方法及其计算机程序产品

技术领域

本发明涉及一种用于监视自动扶梯或移动步道的系统和方法及其计算机程序产品。

背景技术

在不同的实施例中披露了作为自动扶梯启动锁或自动扶梯重新启动控制的这种监视系统。通过这种监视系统，在主动或误操作启动紧急停机或其它安全装置之后，在安全装置的监视范围内没有人员或物件之前，必须将自动扶梯的重新启动保持在锁死状态。

特别是标准E115对自动扶梯重新启动控制条件做了如下规定：出于安全的原因，应对用于在火车站、购物中心等环境中输送人员的自动扶梯进行监视。这种监视限制在如下情况，当自动扶梯停止时，需要安全的重新启动。只有在反复检测自动扶梯的空载，即在自动扶梯的移动部分和入口区内中没有人员或障碍物的情况下，才可以实施安全重新启动。一般将所需的空载时间调节到10秒。在这段时间内，可每隔0.1秒反复对空载进行检查。

例如在EP1013599、JP10236757以及JP10265163中披露了这种监视系统。

EP1013599中披露了一种用于自动扶梯重新启动控制的监视系统，它通过一组位于扶梯上方的摄像机对自动扶梯上是否有人员或物体进行检测。实际的实验表明，在强烈阳光照射、微弱扩散光线的情况下，以及在雨、小雨和雾的情况下，该系统不能工作，且在这些环境下，不能对自动扶梯空载进行明确的确认。

JP10236757中示出一种远程监控系统，不用派遣负责扶梯设定现场的职员，对一个移动输送装置进行远程监控，实施启动和停止控制。这种远程监控系统包括监控扶梯及其周边的ITV摄像机，以及设置在较远区域的中央控制器，以便对自动扶梯的启动/停止进行控制。

JP10236757示出一个扶梯控制器，用于根据所拾取的自动扶梯及其周边的照片图像判断现象，并对跌倒事件等做出快速反应。

JP10236757和JP10236757中所披露的监视系统在特殊照明条件下不能正确工作，且不能保证明确地感知扶梯的空载。特别是自动扶梯上的阴影或污点有时会导致与自动扶梯上的人员或物件的混淆。

发明内容

本发明的目的在于提出一种对自动扶梯或步道上的障碍物和人员的监视系统和方法及其计算机程序产品，所述监视系统可以可靠和明确地对位于自动扶梯或移动步道的监视范围内的人员或障碍物进行监视。

实现本发明目的的技术方案如下：

一种用于检测障碍物或人员的监视系统，包括至少一个摄像机和自动扶梯或移动步道，其中由设置位置略有不同的至少两部摄像机摄取至少一对相同视野范围的图像或由同一摄像机在两个略有不同的位置摄取至少一对相同视野范围的图像，从而在两个略有不同的视角的情况下对同一视野范围立体成像。

一种采用上述监视系统对自动扶梯或移动步道上的障碍物和/或人员进行检测的计算机程序产品，其中所述计算机程序产品被装载在处理器中并对自动扶梯或移动步道的立体图像进行处理。

一种用于检测自动扶梯或移动步道上的障碍物和/或人员的方法，其特征在于，由设置位置略有不同的两部摄像机摄取至少一对相同视野范围的图像或由同一摄像机在两个略有不同的位置摄取至少一对相同视野范围的图像，从而在两个略有不同的视角的情况下对同一视野范围立体成像，并且处理单元对所述立体图像进行处理。

术语“立体图像”系指由位置略有不同的两个摄像机或者位于两个略不同位置的同一摄像机摄取的相同范围的一对图像，从而以两个略有不同的角度对相同的视野区进行取像。被检测到的在自动扶梯上的目标物的特点在于它距摄像机的距离小于所述目的物所在的自动扶梯与摄像机的距离。立体图像的优点在于，在这对立体图像中这些物体出现在不同位置上。诸如在自动扶梯上的污物或刻划出现在这对立体图像中的相同的位置上，因而能够明确地检测到自动扶梯上物体和人的存在。

障碍物或人员系指那些其大小将会危及自动扶梯和/或移动步道的安全运行的物件或人体。

根据本发明的优选实施例成对的摄像机位于自动扶梯上方或自动扶梯护栏上。该实施例的优点在于，可获得最佳的自动扶梯视野，即在45°的视角下，障碍物和人员既不会距摄像机过近(在图像中过大)，也不会过远(在图像中过小)。在自动扶梯特别长的情况下，则需要采用一对以上的摄像机，以便于监视自动扶梯的整个行程。

根据另一优选实施例监视系统包括一个用于处理立体图像的处理单元。该实施例的优点在于，监视系统可自动处理所获取的图像，并可对自动扶梯上是否存在障碍物做出判定。

如下面的详细的描述，本说明书中的对立体图像的处理系指优选对数字图像进行的任何处理，例如装载、储存、比较、差分、校准、卷绕、重建、分割、分组、边缘检测、H-变换、提取等。

处理单元可以是个人计算机或是安装在摄像机或自动扶梯设备的任何其它部件中的标准的廉价处理器，不需要安装特殊装置。

根据另一个优选实施例，处理单元和摄像机可通过连接装置相互连接，甚至可以与自动扶梯控制器连接。该实施例的优点在于，监视系统可自动处理所获取的图像，并可自动得出自动扶梯上是否存在障碍物的结论，并最终根据所获得的信息自动重新启动扶梯，连接装置系指任何物理装置，例如电缆、信号或数据交换总线，所述连接装置应能在两个或多个采集、处理和控制单元之间交换和传送数据。

根据本发明，该目的还通过一种用于检测自动扶梯和/或移动步道上的障碍物和/或人员的方法而实现，其中至少一个摄像机用于获取立体图像和一个处理单元对这些图像进行处理。该方法的优点在于，简便且可靠。

本发明的另一个优选实施例涉及一种用于检测自动扶梯和/或移动步道上的障碍物和/或人员的计算机程序产品，该计算机程序产品装载在处理器中，并对自动扶梯和/或移动步道的立体图像进行处理。该计算机程序产品的优点在于，它可以装载在本地或装载在远程的中央服务器中，且易于更新。

附图说明

下面将对照下面的示意图对本发明的优选实施例加以详细的说明。图中示出：

图1是装有本发明的监视系统的自动扶梯的总视图；

图2是监视系统，其中在扶梯护栏上设有一对摄像机；

图3是监视系统，其中在沿自动扶梯设置的两个立柱的顶部安装有一对摄像机；

图4是采用共用存储器进行图像数据交换的协作图，和

图5是整个系统的数据流程图。

具体实施方式

图1示出安装有本发明的监视系统的自动扶梯的总视图。在自动扶梯1上站着一个人2，该人2位于设置在自动扶梯上方位置略有不同的一对摄像机3.1和3.2的视野范围内。因此这些摄像机可获得成对的自动扶梯的立体图像。

采用成对的摄像机实现图像采集，其中所需的摄像机的数量nc取决于阶梯的高度H。由nc＝4+H给出一个估计值，其中H是自动扶梯的高度。例如对于在高度跨度为四米的阶梯，需要四对立体摄像机，即总共八部摄像机。

对于自动扶梯的内部部分，建议使用两个旋转模式的(额定)焦距为6毫米的摄像机，即垂直图像伸展大于水平图像伸展。位于自动扶梯顶部和底部的入口区同样需要焦距为6毫米的摄像机(同样是旋转模式)。

影响摄像机的放置位置和数量的环境和自动扶梯参数例如是自动扶梯的长度，所述长度最大可达100米。自动扶梯可位于室内或室外，具有或不具有棚盖。自动扶梯的阶梯可染色，或者铭刻文字。作为必要条件，必须能够检测到最小尺寸为直径0.15米、高度0.15米的圆柱形不透明物体。照明可在扶梯区域上变化，对室内设置的自动扶梯给定的最小照明为50勒克斯，对于室外设置的自动扶梯照明为15勒克斯。

图2中示出监视系统的一个优选实施例，其中一对摄象机设置在自动扶梯护栏上。

图3中示出监视系统的一个优选实施例，其中在沿扶梯设置的两个立柱的顶部设有一对摄像机。

可使用由Imaging Source公司生产的带有渐进式扫描CCD图像传感器的B/W摄像机和DFG/BW1帧取样器。

一个重要的附加要求是可以由电压控制的镜头。该要求是由于剧烈变化的照明条件造成的。

使用的镜头是焦距f为6毫米型号为H612ER的Cosmicar透镜。通过在1.5到5伏范围内控制电压的变化对光圈进行控制，从f/1.2到f/360。采用NuDAQ6208多通道模拟输出卡对光圈进行控制。

摄像机通过连接装置4(例如Hirose电缆)与一个处理单元5连接，所述处理单元5对由摄像机摄取的数字化立体图像进行处理。根据下述算法，处理单元对自动扶梯上是否有人进行检测。检测基于对经校正的立体对图像进行区分，其中卷绕变换是将左侧图像覆盖于右侧图像上，反之亦然。3D摄像机位置是通过建立在姿态评估基础上的模型获得的，并利用视差获得卷绕变换。

特别是，目的是检测自动扶梯上的物件，所述自动扶梯可看作在现场照明条件下的一个移动背景。所建议的方案包括建立在背景重建基础上的模型、在一个立体结构中将一个图像向另一个图像的透视卷绕，以及对图像棱锥中差异的最后判定。具体地说，我们使用建立在通过用几何不变量对线特征进行分组基础上的阶梯姿态评估器的模型的基础上。所述检测建立在对未卷绕和卷绕的图像之间的绝对像素差的测量的基础上。在Peter J.Burt、Tsai-Hong Hong和Azriel Rosenfeld在1981年12月在《IEEE系统、人和控制论学报》上第802-809页发表的文章“通过配合分级计算进行图像区域属性的分割和评估”中，图像差表现在图像棱锥中，M.Spann和R.Wilson在“图形识别”1985年，18(3/4)第257-269页中的“结合统计和空间信息进行图像分割的四倍-树方法”建议的算法被分割成背景(梯节)和前景(障碍物)。

图像处理是在PC-class机(英特尔奔腾)上进行的。PC盒的数量可大于一个。在一个优选实施例中，每个PC盒负责两个立体摄像机对，即与四个摄像机连接。每个PC装有一个NuDAQ6208和两个DFG/BW1卡。

软件是用C++语言编写的，在Linux操作系统下运行。高效的图像、计算机显示和矩阵代数算法由所使用的英特尔性能原语图书馆提供。

主要的软件构成是：

采集，包括光圈控制。

摄像机和系统的校准(脱机)。

监视，状态评估和检测(联机)。

检测部分是在自动扶梯工作时(联机)进行实时部分，而校准部分是提前完成的，即在装配自动扶梯时(脱机)完成的。

采集完成两项任务：

为一些让渡共用存储器提供采集的图像。

根据图像特性对光圈进行控制，例如将重要的阶梯区中的信息内容(ROI)最大化。

图4为一个协作图，该图用于说明采集件与需要处理的图像之间，即脱机与联机件之间的联通。同步和联通的基本原理如下：

元件是Unix程序。

用共用存储器交换图像数据。

共用存储器存取同步使用信号。

程序之间的信号联通使用信息队列。

对于校准和监视部分，确定了七项主要任务：

径向/切向无失真化。

移动分割和ROI识别。

边缘和直线提取。

几何适配、模型/数据线对应、姿态评估。

差异计算、建立卷绕表。

阶梯状态评估。

图像卷绕、分割、相连部分的标记、判定支持。

脱机和联机部件中需要完成无失真化任务。前四个件可概括为脱机件，而后两个件是联机件。

图5示出具有上述件的系统的数据流。外部数据存储器根据内部校准提供无失真化参数，以及楼梯的CAD模型，即点和线的清单。作为检测结果的输出被传递给另一外部数据存储器。主要件：采集、脱机和联机组成图中的阴影区。对由联机和脱机件收集的图像进行无失真化处理。

如上所述，目前系统的主要件是采集部分、脱机(或校准)部分以及联机(或检测)部分。脱机部分中的最重要的分部分是几何适配部分(在2D数据与3D模型之间建立对应关系)，和在联机部分中的最重要的分部分是根据立体图像的检测，下面将对这些分部分加以详细的说明。

采用数据与模型之间的对应关系找出说明相对方向和位置的基于模型的姿态评估参数。其中数据是从单个图像中提取的2D线，模型是3D线框的物体，接近水平的线是在方向、图像梯度和H-变换技术的基础上采用标准边缘检测根据图像数据中推导出来的。为了建立在立体对中和进一步在两个立体对之间的每个图像的数据与模型线之间的对应关系，应用下述的匹配程序(根据交比进行分组)。

匹配中的第一个步骤是对数据与模型线之间可能的对应关系进行识别。在透视投影条件下，线的比的比和角度的比的比，即所谓的交比是不变的。我们使用交比从一个大组的可能的线中识别出四线组。这种四线组起着阶梯图形的匹配候选的作用，其特征在于此交比是针对一个大致垂直线的交叉点获得的。一条线上的四个点p1，...，p4的交比的定义是：

Cr(p1，...，p4)＝[(x3-x1)(x4-x2)]/[(x3-x2)(x4-x1)]，

其中x1，....，x4是线上每个点的对应位置。

采取下面的方法对数据线进行选择，所述数据线是与模型线对应的良好的候选：

对于线上的四个等间距的点计算理论交比，Crt＝4/3。

根据数据检测出靠近水平线的一个合理组L(具有尺寸N)。

计算这些线与一靠近垂直线的交叉点。

计算线liL，i＝1，...，M的全部M＝四元素分组。

计算对应于组li的全部交比ci。

(以升序)相对于|ci-Crt|对li进行分类。

仅将对应于与Crt相距较近的分类的组的一部分输入到下面描述的姿态评估步骤中(对位置和方向的评估)。

将线的对应组输入到一个与RANSAC类似的程序中，在M.A.Fischler和R.C.Bolles在美国计算机学会通信1981年24期381-395页的题为“随机取样调查：应用于图像分析和自动制图的模型拟合的范型”中对RANSAC进行了描述。基于交比的分组改进了用于RANSAC的取样，并减少了所需迭代的数量。RANSAC的基本构思是，RANSAC使用尽可能小的可行的初始数据组，并在可能时与数据相一致地对该组进行放大。Fischler和Bolles给出的具有s个特征的尺寸的取样所需的随机选择数ns：

ns＝log(1-pc)/log(1-pi^s)

其中pc是至少一个s＝4线的取样没有外围层的概率。任何所选择的取样都是内围层的概率用pi表示。其中由于在交比基础上改进了取样，我们可以可靠地设定一个大的pi，例如pi＝0.8，并选择pc＝0.99，我们获得了低至ns＝9的必要的RANSAC迭代数量。

对姿态的验证是建立在由David G.Lowe在1991年5月《IEEE系统、人和控制论学报》第13期第802-809页的文章“参数表示的3D模型对图像的拟合”中提出的程序的基础之上的。Lowe通过对投影参数进行线性化并应用牛顿方法，解决了根据3D模型线与2D图像线之间已知对应关系的一给定组推导出物体姿态的问题。姿态评估步骤的结果是从外界到摄像机坐标系统的两次变换，即对于每个摄像机的三个平移参数和三个旋转参数。

根据立体图像的检测包括检测器校准，即对差异的推导和二维卷绕变换的推导，以及自检，即将一个图像卷绕到另一个上，对卷绕和未卷绕的图像进行区分，最后对不同的图像进行分割，以便作出判定。

根据阶梯模型找出卷绕变换并采用上述的姿态评估程序获得两个外界向摄像机坐标系统的变换以及投影变换。投影卷绕变换向我们提供了两个包含在图像平面上对两个坐标方向进行的坐标绘图的卷绕表。卷绕表是根据差异计算出来的，所述卷绕表以直接的方式由于与模型的对应关系被精确地给出。

对障碍物进行检测的主要构思是，对一个图像进行卷绕，即将左侧的图像卷绕到右侧的图像上，并进行比较。检测到的在阶梯上的物体的特性在于，与其所在的阶梯相比，它距离摄像机更近。因此被卷绕的图像中的物体比它们在未卷绕的图像中的位置不同。另外，在卷绕和未卷绕的图像中，在阶梯上的污物或刻划将会出现在相同的位置上。

综上所述可以将基于立体摄像的障碍物检测程序扩展应用于规则结构的且非平面的背景上。根据交比的分组有限地改进了RANSAC取样。姿态评估实现了外部校准的摄像机，简化并加速了对立体图像的处理并且采用基于棱镜的分割程序完成了物体检测任务。实验表明该方法具有高的可靠性，即障碍物的漏检率的数量级为百分之一，和障碍物误检率的数量级为百分之五。可以可靠地检测到尺寸小于15厘米高的圆柱形物体。

处理单元通过控制线路6与自动扶梯控制器7连接，因而可在停机后根据对自动扶梯上是否有人员或障碍物的检测结果对自动扶梯的重新启动进行控制。

采用简单的线路进行PC与自动扶梯控制之间的信号连接，通过所述信号连接使信号从自动扶梯控制器传递给每个PC并从PC反向传回自动扶梯控制器。对从PC传递给控制器的信号以逻辑加的方式进行组合，例如当任何PC信号是检测到的物体等时，则检测到物体。

对控制单元提供三个输出信号：

检测到的物体。

报警，例如摄像机出现故障。

故障，即系统不工作。

此外，系统应对所谓的测试模式进行支持，其中图像从储存位置，而不是从摄像机输送给系统中。因此需要两个输入信号：

阶梯停止运行。

要求测试模式。

在监视与自动扶梯控制单元之间的信号传递是用NuDAO6208多路模拟输出卡的数字输入/输出信道实现的。除模拟输出信道外，NuDAO6208卡还具有四个输入和四个输出信道。

控制器通过电机电源线8与自动扶梯电机9连接，因而能够重新启动电机或将其保持在停机状态。

对于监视系统的其它技术要求是，系统可以由两个单独的信道或控制单元构成。需要监视功能，即对系统的有效性进行不间断的检查。

将在此所披露的应用成对的立体图像的系统和方法用于监视电梯轿厢或在电梯门前的大厅中的人员或物体，对本领域的专业人员来说是显而易见的。

附图标记对照表

1自动扶梯

2人员

3.1、3.2摄像机对

4摄像机处理单元的连接装置

5处理单元

6控制线

7自动扶梯控制器

8电机电源线

9自动扶梯电机

Claims (14)

1.一种用于检测障碍物或人员的监视系统，包括至少一个摄像机和自动扶梯或移动步道，其特征在于，由设置位置略有不同的至少两部摄像机摄取至少一对相同视野范围的图像或由同一摄像机在两个略有不同的位置摄取至少一对相同视野范围的图像，从而在两个略有不同的视角的情况下对同一视野范围立体成像。

2.根据权利要求1所述的监视系统，其特征在于，所述摄像机设置在自动扶梯或移动步道上方。

3.根据权利要求1所述的监视系统，其特征在于，摄像机设置在自动扶梯或移动步道的护栏上。

4.根据权利要求1至3中任一项所述的监视系统，其特征在于，沿自动扶梯或移动步道设有一对以上的摄像机，以便于监视自动扶梯或移动步道的整个行程。

5.根据权利要求1所述的监视系统，其特征在于，监视系统包括一个用于处理立体图像的处理单元。

6.根据权利要求5所述的监视系统，其特征在于，监视系统包括用于将摄像机与处理单元连接在一起的装置和/或用于储存立体图像的装置。

7.根据权利要求6所述的监视系统，其特征在于，将摄像机与处理单元连接在一起的装置是数据交换总线。

8.根据权利要求5或6所述的监视系统，其特征在于，处理单元是至少一个装有图像处理软件程序的个人计算机，所述图像处理软件程序基于将模型图像的数字数据与实际获取图像的数字数据进行比较的原理。

9.根据权利要求5或6所述的监视系统，其特征在于，处理单元集成在摄像机中。

10.根据权利要求5所述的监视系统，其特征在于，自动扶梯或移动步道控制单元与监视系统电气连接，停机后只有在自动扶梯或移动步道上检测不到障碍物或人员时，自动扶梯或移动步道控制单元才重新启动自动扶梯或移动步道。

11.一种采用权利要求1所述的监视系统对自动扶梯或移动步道上的障碍物和/或人员进行检测的计算机程序产品，其特征在于，所述计算机程序产品被装载在处理器中并对自动扶梯或移动步道的立体图像进行处理。

12.根据权利要求11所述的计算机程序产品，其特征在于，停机后只有在自动扶梯或移动步道上没有检测到障碍物和/或人员时，所述计算机程序产品才重新启动扶梯或移动步道。

13.一种用于检测自动扶梯或移动步道上的障碍物和/或人员的方法，其特征在于，由设置位置略有不同的两部摄像机摄取至少一对相同视野范围的图像或由同一摄像机在两个略有不同的位置摄取至少一对相同视野范围的图像，从而在两个略有不同的视角的情况下对同一视野范围立体成像，并且处理单元对所述立体图像进行处理。

14.根据权利要求11所述的方法，其特征在于，停机后只有在自动扶梯或移动步道上没有检测到障碍物和/或人员时，自动扶梯或移动步道才被重新启动。

Images