CN106144816A - 基于深度传感器的乘客检测 - Google Patents
基于深度传感器的乘客检测 Download PDFInfo
- Publication number
- CN106144816A CN106144816A CN201510158617.0A CN201510158617A CN106144816A CN 106144816 A CN106144816 A CN 106144816A CN 201510158617 A CN201510158617 A CN 201510158617A CN 106144816 A CN106144816 A CN 106144816A
- Authority
- CN
- China
- Prior art keywords
- passenger
- depth
- sensor
- data
- elevator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B1/00—Control systems of elevators in general
- B66B1/24—Control systems with regulation, i.e. with retroactive action, for influencing travelling speed, acceleration, or deceleration
- B66B1/2408—Control systems with regulation, i.e. with retroactive action, for influencing travelling speed, acceleration, or deceleration where the allocation of a call to an elevator car is of importance, i.e. by means of a supervisory or group controller
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B1/00—Control systems of elevators in general
- B66B1/34—Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
- B66B1/3476—Load weighing or car passenger counting devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B3/00—Applications of devices for indicating or signalling operating conditions of elevators
- B66B3/02—Position or depth indicators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
- B66B5/0006—Monitoring devices or performance analysers
- B66B5/0012—Devices monitoring the users of the elevator system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
Abstract
一种乘客运输系统包括深度感测传感器,其在乘客运输外壳内用于捕获包括乘客运输门的视域内的对象的深度图数据。处理模块与所述深度感测传感器通信来接收所述深度图数据,所述处理模块使用所述深度图数据来确定所述乘客运输外壳是空的。乘客运输控制器从所述处理模块接收所述乘客数据来响应于空轿厢确定而控制乘客运输门的操作。
Description
技术背景
本公开涉及一种乘客运输,且更明确地说,涉及一种用于电梯的基于深度传感器的控制。
电梯性能源自于许多因素。如果电梯系统发生故障,那么重要的是快速且精确地检测是否有乘客困在电梯轿厢中来进行快速救援。
现代电梯系统仍可提供改进的乘客体验和通行性能的机会。
发明内容
根据本公开的一个公开非限制性实施方案的乘客运输系统可包括:深度感测传感器,其在乘客运输外壳(enclosure)内用于从乘客运输外壳内捕获深度图数据;和处理模块,其与深度感测传感器通信来接收深度图数据,处理模块使用深度图数据来检测其中的对象。
本公开的另一实施方案可包括,其中深度图数据是3D深度图数据。
本公开的前述实施方案中的任一个的另一实施方案可包括,其中深度感测传感器或技术可包括结构光测量、相移测量、飞行时间测量、立体三角测量装置、光三角测量装置板(sheet of light triangulationdevice)、光场相机、编码孔径相机、计算成像技术、同时定位和地图构建(SLAM)、成像雷达、成像声纳、扫描LIDAR、闪光LIDAR、被动红外线(PIR)传感器和小型焦平面阵列(FPA)或包括前述中至少一个的组合。
本公开的前述实施方案中任一个的另一实施方案可包括,其中处理模块计算关于对象的以下对象参数中的至少一个,包括:位置、尺寸、方向、加速度、速度和对象类别。
本公开的前述实施方案中任一个的另一实施方案可包括,其中如果对象被分类成乘客,那么处理模块使用深度图数据来计算乘客数据。
本公开的前述实施方案中任一个的另一实施方案可包括数据捕获模块,数据捕获模块与深度感测传感器和处理模块通信。
本公开的前述实施方案中任一个的另一实施方案可包括,其中数据捕获模块可操作来从深度感测传感器接收乘客运输外壳内的深度图数据用于传递到处理模块。
本公开的前述实施方案中任一个的另一实施方案可包括负载传感器,其与数据捕获模块通信,负载传感器可操作来确定乘客运输外壳的当前负载重量。
本公开的前述实施方案中任一个的另一实施方案可包括,其中如果感测到的负载重量小于预设阈值,那么负载传感器可操作来触发数据捕获模块以从深度感测传感器获得图像。
本公开的前述实施方案中任一个的另一实施方案可包括,其中数据捕获模块将图像传递到处理模块来确认空的乘客运输外壳。
一种检测对象的方法,根据本公开的另一公开非限制性实施方案的方法可包括通过基于深度的深度图数据用乘客运输外壳内的深度感测传感器检测对象;使用基于深度的深度图数据来对对象分类;和传递分类。
本公开的前述实施方案中任一个的另一实施方案可包括,其中分类包括对象的位置。
本公开的前述实施方案中任一个的另一实施方案可包括,其中分类包括对象的尺寸。
本公开的前述实施方案中任一个的另一实施方案可包括,其中分类包括人类识别。
本公开的前述实施方案中任一个的另一实施方案可包括,其中人类识别包括人形模型的应用。
本公开的前述实施方案中任一个的另一实施方案可包括,其中分类包括背景减法。
本公开的前述实施方案中任一个的另一实施方案可包括,其中分类包括帧差分。
本公开的前述实施方案中任一个的另一实施方案可包括,其中分类包括假数据剔除。
本公开的前述实施方案中任一个的另一实施方案可包括计算深度背景来分割前景对象;移除隔离前景区域且通过3D形态学操作分割移动对象用于进一步分析;将移动对象变换到3D全局坐标来估计实际尺寸、面积和体积;以及通过几何过滤从场景移除假移动对象。
本公开的前述实施方案中任一个的另一实施方案可包括,其中3D形态学操作包括:通过深度背景减法计算2D前景对象;作为范围的函数对掩膜尺寸过滤;连接掩膜区域;和基于深度间断性以3D分割对象。
本公开的前述实施方案中任一个的另一实施方案可包括,其中掩膜内的2D前景对象可在任何深度。
本公开的前述实施方案中任一个的另一实施方案可包括,其中用深度感测传感器检测空乘客运输外壳包括检测与乘客相关联的对象。
本公开的前述实施方案中任一个的另一实施方案可包括,其中检测与乘客相关联的对象包括当关联乘客离开乘客运输外壳时提供听得见的警报。
前述特征和元件可以各种组合而非排它性地组合,除非另外明确指明。根据下文描述和附图将变得更明白这些特征和元件以及其操作。然而,应了解下文描述和附图本质上意欲示例性而非限制性的。
附图简述
本领域的技术人员将从下文公开的非限制性实施方案的具体实施方式中明白各种特征。具体实施方式的附图可简述如下:
图1是根据一个公开非限制性实施方案的电梯系统的示意图;
图2是根据另一个公开非限制性实施方案的电梯系统的方块图;
图3是根据另一个公开非限制性实施方案的电梯系统的透视图;
图4是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图5是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图6是根据另一个公开非限制性实施方案的电梯系统的方块图;
图7是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图8是根据另一个公开非限制性实施方案的电梯系统的方块图;
图9是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图10是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图11是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图12是根据另一个公开非限制性实施方案的电梯系统的方块图;
图13是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图14是图示根据另一个公开非限制性实施方案的电梯系统的操作的示意图;
图15是根据另一个公开非限制性实施方案的电梯系统的方块图;
图16是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图17是根据另一个公开非限制性实施方案的电梯系统的人员追踪器的示意图;
图18是根据另一个公开非限制性实施方案的电梯系统的统计高度的图形表示;
图19是根据另一个公开非限制性实施方案的电梯系统的方块图;
图20是根据另一个公开非限制性实施方案的电梯系统的平台的方块图;
图21是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图22是通过轿厢内追踪从起点大厅到目的地大厅的乘客追踪的图形表示;
图23是根据另一个公开非限制性实施方案的电梯系统的门配置的示意图;
图24是根据另一个公开非限制性实施方案的电梯系统的方块图;和
图25是用于单个用户的通行列表产生的示意图;和
图26是电梯系统的算法的方块图。
具体实施方式
图1示意性地图示了乘客运输系统20,诸如电梯系统。系统20可包括电梯轿厢22、电梯门24、大厅电话26、轿厢操作面板(COP)28、传感器系统30和控制系统32。应了解虽然本文举实例公开和说明电梯系统,但其它乘客运输系统诸如公共交通工具也将从中受益。还应了解虽然单独定义特定系统,但系统中的每个或任何个可以另外方式组合或通过硬件和/或软件分离。
乘客与电梯性能相关联的行进时间的总量可包括三个时间间隔。第一个时间间隔可以是乘客在大厅等待电梯到达的时间量,下文是“等待时间”。第二个时间间隔可以是“门停留时间”或电梯门打开容许乘客进入或离开电梯的时间量。第三个时间间隔可以是“乘坐时间”或乘客在电梯中花费的时间量。乘坐时间还可包括在中间层停止来容许乘客进入和/或离开电梯的时间,其会在乘坐时间上至少增加停止期间的门停留时间。
各种电梯系统可使用乘客启动的输入来发送对服务的需求。举例来说,来自大厅电话26的输入可包括按钮(例如向上、向下或所需目的地)来请求电梯服务。乘客启动的输入(例如通过电话按钮)可通知控制系统32存在乘客等待电梯服务。作为响应,控制系统32可将电梯轿厢22调度到适当楼层。视情况地,一旦在电梯轿厢22内,乘客可按下轿厢操作面板(COP)28上指示所需目的地、方向等的按钮,且接着控制系统32可将电梯轿厢22调度到所述目的地。
控制系统32可包括具有处理器42、存储器44和接口46的控制模块40。控制模块40可包括中央控制单元的一部分、独立单元或其它系统(诸如基于云的系统)。处理器42可包括具有所需性能特性的任何类型的微处理器。存储器44可包括任何类型的计算机可读介质,其存储数据且控制本文公开的过程。即,存储器44是示例性计算机存储介质,其上可具体实施有计算机可用指令,诸如当执行时可实施所需方法的过程。控制模块40的接口46可利于控制模块40与其他系统之间的通信。
参考图2,基于深度传感器的乘客感测系统60可包括与数据捕获模块64通信的传感器62和处理模块66。基于深度传感器的乘客感测系统60可以是控制系统32的一部分、独立单元或其它系统(诸如,与控制系统32通信的基于云的系统)。数据捕获模块64和处理模块66可为传感器62特有以捕获和处理来自其的数据。在一个实例中,传感器62通过数据捕获模块64和处理模块66可操作来获取深度图数据,诸如乘客存在于乘客等待区域或大厅H中、乘客的估计到达时间(ETA)、大厅H中的乘客数目等。
根据一个公开非限制性实施方案,传感器62可安装在大厅H的墙壁W的下部分中,诸如处于膝盖高度(图3)。在本公开非限制性实施方案中,传感器62包括深度感测传感器。应了解本公开全文使用的术语“传感器”是针对任何1D、2D、3D深度传感器或其组合。这种传感器可在能够产生具对应尺寸的深度图(还已知为点云或占据栅格)的光学、电磁或声谱下操作。各种深度感测传感器技术和装置包括但不限于结构光测量、相移测量、飞行时间测量、立体三角测量装置、光三角测量装置板、光场相机、编码孔径相机、计算成像技术、同时定位和地图构建(SLAM)、成像雷达、成像声纳、扫描LIDAR、闪光LIDAR、被动红外线(PIR)传感器和小型焦平面阵列(FPA)或包括前述中至少一个的组合。不同技术可包括主动(传输和接收信号)或被动(仅接收信号)且可在电磁或声谱(诸如视觉、红外线等)的带下操作。使用深度感测可具有超越常规2D成像的特定优点。使用红外线感测可具有超越可见光谱成像的特定益处,替代或此外,使得传感器可以是具有一个或多个像素空间分辨率的红外线传感器,例如被动红外线(PIR)传感器或小型IR焦平面阵列(FPA)。
应注意,2D成像传感器(例如常规安全相机)与1D、2D或3D深度感测传感器之间在深度感测提供许多优点的程度上会存在性质上和数量上的差异。在2D成像中,在从成像器的每个径向方向上的来自第一个对象的反射色彩(波长的混合物)被捕获。接着,2D图像可包括源照明和场景中对象的光谱反射系数的组合光谱。2D图像可由人员解译成图片。在1D、2D或3D深度感测传感器中,不存在色彩(光谱)信息;更确切地说,在从传感器的径向方向(1D)或方向(2D、3D)上到第一反射对象的距离(深度、范围)被捕获。1D、2D和3D技术可具有固有最大可检测范围极限且可具有相对低于典型2D成像器的空间分辨率。在对环境照明问题的相对免疫方面,与常规2D成像比较,使用1D、2D或3D深度感测可有利地提供改进型操作、对遮蔽对象的较好分离和较好的私密保护。使用红外线感测可具有超过可见光谱成像的特定益处。举例来说,2D图像会无法被转变成深度图且深度图也无法具有被转变成2D图像(例如,至连续深度的人为分配连续色彩或灰度会使人略微类似于人员如何见到2D图像来粗略地解译深度图,其并非常规意义上的图像。)的能力。无法将深度图转变成图像的能力看似缺点,但在本文公开的某些分析应用中会是有利的。
在一个实例中,传感器62可以是人眼安全行扫描LIDAR,其中举例来说,视域(FOV)可约为180度,其可水平覆盖大厅整个区域或邻近电梯门24的其它乘客区域(图2)。举例来说,LIDAR的输出可以是在安装传感器62的高度处的周围环境的2D水平扫描。对于主动传感器,扫描中的每个数据点表示FOV中实体对象点的反射,从其可获得该对象点的范围和水平角。举例来说,LIDAR的扫描速率可以是每次扫描为50ms,这可利于乘客的可靠追踪。即,在通过处理模块66应用分析过程之前,LIDAR扫描数据可被转变成占据栅格表示。每个栅格表示小区域,例如5cm x 5cm。栅格状态可被数字化指示,例如1或0,来指示每个栅格正方形是否被占用。因此,每个数据扫描可被转变成二进制图且这些图接着用来获悉大厅的背景模型,例如通过使用被设计或修改用于深度数据的过程,诸如高斯混合物模型(GMM)过程、主成分分析(PCA)过程、编码本过程或包括前述中至少一个的组合。
处理模块66可使用各种3D检测和追踪过程(本文另外公开),诸如背景减法、帧差分和/或假数据剔除,其可使系统更能抵抗假数据。这种假数据可以是深度感测固有的且可随使用的特定技术改变。对于主动技术,其中发射了特定信号且随后被检测来确定深度(例如结构光、飞行时间、LIDAR等),高反射表面可产生假深度数据,例如,并非反射表面本身的深度,而是在到反射表面的深度加上从反射表面到一定程度漫反射表面的深度的深度处的漫反射表面的深度。高度漫反射表面无法反射足够量的传输信号来确定会在深度图中造成假间隙的深度。甚至进一步,环境照明中的变动、其它主动深度传感器的干涉或信号处理中的不精确度会造成假数据。
参考图4和图5,在另一公开非限制性实施方案中,以功能方块图公开了用于剔除假数据的过程50、51。这些功能可在专用硬件电路、能够在基于微处理器的电子控制系统中执行的编程软件程序或包括前述中至少一个的组合中制定。
假数据剔除过程50可包括多个步骤。首先,可计算深度背景,其可用来从背景(例如墙壁和地板)分割前景对象(例如乘客、行李等)(步骤52)。深度数据可以是三维的。应了解深度数据可替代地被称为深度图、点云或占据栅格。深度数据可相对“受干扰”。
基于多维的方式可用来建模深度背景。2D成像器背景建模方法可能不足以用于深度背景建模。举例来说,深度不确定性可以是范围的分析函数,深度数据误差可间断(或不连续),且与典型的2D图像数据(例如,无法由连续概率分布表示)比较,深度分布可以是非高斯的,或包括前述中可使得2D成像器背景建模不足以用于深度背景建模的至少一个的组合。
其次,在背景减法和前景检测之后,形态学操作可用来过滤隔离小型前景区域(例如,可能是“噪音”)且分割移动对象(称为斑点)用于进一步分析(步骤54)。这个分析可以3D实施。然而,2D连接组件的3D扩展可能是不合适的,因为3D数据仍自我遮蔽,例如,呈占据栅格的“阴影”。过滤方式可包括扩展2D连接组件使其包括呈占据栅格的“未知”类别用于3D形态过滤的过程。
参考图5进一步解释形态过滤。在3D形态过滤51中,可在多个步骤(例如,如图5中示出,可包括四个连续步骤)中实施对遮蔽的解释。可通过深度背景减法计算2D前景对象掩膜(步骤53)。掩膜内的前景对象可处于任何深度,且部分或完全遮蔽其后的对象。
可在掩膜上作为范围函数实施尺寸过滤,其可移除预定尺寸以下的对象(步骤55)。任何“附近”掩膜区域使用2D连接组件连接,其潜在地合并具有不同深度的对象(步骤57)。接着可基于深度间断性以3D分割对象(步骤59)。一些对象可能在深度间断分割之后将相对较小,例如,几乎完全被一个人遮蔽的另一个人将呈现为小型斑点。这种方式可用来追踪这种小对象使得其可被分类而不是将其过滤出去。
参考图4,用本文其它地方公开的传感器校准结果,前景斑点可被变换成3D全局坐标,且可估计其实际高度和体积(步骤56)。如果选择的特性(诸如高度、宽度、纵横比、体积、加速度、速度和/或其它时空特性)是在检测阈值(例如动态计算的阈值、静态阈值等)之外,那么形态过滤可用来移除斑点。
可应用几何过滤来进一步移除场景边界之外的假斑点(步骤58)。深度背景界定环境的3D场景边界。表示真实对象的斑点应在3D边界内。即,如果斑点的深度大于深度背景的对应位置的深度,那么斑点在3D边界之外且可被移除,例如,从反射表面(诸如镜子)检测到的斑点。乘客或其它移动对象接着可容易通过背景减法技术来检测,其对照明改变、阴影和遮蔽具有高稳健性,从而提供精确的乘客数据。为了进一步增大检测稳健性,可替代地或另外使用时间信息,例如,通过追踪。
乘客追踪还可基于二进制前景图和追踪乘客并且估计其速度和移动方向的方法(诸如卡尔曼滤波器)。基于检测、追踪和计数,可获取乘客数据,诸如大厅中存在乘客、估计到达时间(ETA)和等待的乘客数目。接着,这个乘客数据可用来例如改进大厅电话登记和电梯调度。
举例来说,借助于深度感测装置的检测、追踪和计数可利于接近的乘客登记大厅电话,尤其是在终端楼层;如果轿厢已经在所述楼层,那么为接近的乘客打开轿厢门;基于接近的乘客预先定位轿厢;和/或基于接近的乘客的数目产生多个大厅电话,诸如当多个乘客基本上同时离开研讨会时。
在另一公开的非限制性实施方案中,传感器62可安装有朝向电梯门24和大厅H的FOV。这个位置利于持续监控大厅H使得可获得的信息远远比仅可在电梯门打开时感测大厅H的轿厢中的传感器可用的信息更完整且进一步超越其。替代或另外,可如上使用类似过程,但特别设计和训练用于3D深度图数据。
参考图6,在另一公开的非限制性实施方案中,传感器系统30B可包括在电梯轿厢22内的乘客追踪系统70以利于电梯门24的操作。乘客追踪系统70可包括与数据捕获模块74通信的传感器72以及与数据捕获模块74和门控制模块78通信的数据处理模块76。乘客追踪系统70可以是控制系统32的一部分、独立单元或其它系统(诸如,与控制系统32通信的基于云的系统)。
乘客追踪系统70可特别设计来使用深度图数据。追踪可被认为是贝叶斯估计问题,即,在给定先前系统状态、观测和不确定性的情况下特定系统状态的概率是什么。在这种追踪中,系统状态可以是追踪对象的位置(例如位置)且可能是速度、加速度和其它对象特性,例如如本文另外地方公开的目标特征。不确定性被认为是噪音。取决于针对数学可追踪性或效率所作出的简化假设,贝叶斯估计变成卡尔曼滤波(假设高斯加性噪音)的变体或粒子滤波(假设非高斯噪音)的变体。在2D和3D对象追踪中,目标上存在许多像素/三维像素的情况下,系统状态通常包括目标表示,其包括有差别的信息,诸如色彩描述符(仅是2D的)、形状描述符、表面反射率等。可能目标模型是传感器且是专用的。
用于乘客追踪系统70的深度数据追踪的一个公开非限制性实施方案是基于卡尔曼滤波且系统包括五个(5)变量:x、y、h、vx和vy,其表示目标的真实全局x和y位置、高度和在x方向和y方向上的速度。追踪过程包括两个步骤:预测和更新。恒定速度模型或其它类型的模型(诸如随机走动或恒定加速度模型)可应用于预测,且通过模型,先前深度图中的目标(其状态)可被转送到当前深度图中。视需要可使用更复杂的模型。在更新步骤中,首先当前深度图中的全部目标使用对象检测过程(即,基于深度的背景减法和前景分割)检测,如本文另外地方公开,接着检测目标基于全局最优分配过程(例如,Munkres分配)与预测目标相关联。目标的x、y和h变量用作为分配特征。特征(x、y和h)有效地用于针对追踪关联区分不同目标。
对于具有相关联检测目标的预测目标,可根据卡尔曼等式视观测用相关联的检测目标更新目标系统状态。对于不具有相关联检测目标的预测目标,系统状态可保持相同,但目标的置信度将减小,例如,针对已经离开的视域的目标。如果置信度下降到预定或选择值以下,那么将解除追踪。对于不具有相关联预测目标的检测目标,将启动新的追踪器。
可替代或另外应用类似粒子滤波的其它追踪方式,其将在目标突然改变其速度的情况下更稳健。卡尔曼方式需要相对少的计算成本且因此可更适于实时应用。
在这个实施方案中,传感器72可安装在电梯轿厢22的顶部,其FOV向下且朝向电梯门24。传感器72由此可操作来察觉到轿厢22中的乘客,且还在电梯门24打开时可操作来察觉到大厅H中的乘客。数据捕获模块74从传感器72捕获数据,例如3D深度图数据。当门控制模块78发送信号来打开门24时,例如在电梯22停在楼层之后,门控制模块78还可触发信号使数据捕获模块74捕获传感器数据。在一个实施方案中,乘客追踪仅可在门24打开时启用和/或可在门24关闭时不启用。在另一实施方案中,数据捕获模块74可持续处理数据且由此检测门24何时打开,从而消除对来自门控制模块78的这个信息的需要,使得门控制模块78没有门位置信息。
参考图7,在另一公开非限制性实施方案中,以功能方块图公开了用于检测电梯轿厢22和大厅H中的对象的过程80,且应了解可在专用硬件电路或能够在基于微处理器的电子控制实施方案中执行的编程软件程序中制定这些功能。
数据捕获模块74将数据传递到数据处理模块76来检测电梯轿厢22中以及大厅H中的对象(步骤82)。对象检测可包括如本文其它地方公开的前景检测和使用用于深度数据的计算机视觉过程的乘客检测。乘客检测可通过人类模型拟合(例如通过使用可变形部分模型)和分类来实现,其中检测和分类可被训练用于FOV和3D深度图数据。
接着,将追踪检测对象来获取其移动速度和方向(步骤84)。速度和方向可在传感器坐标系统中和/或通过传感器校准处于全局坐标系统中,如本文其它地方另外公开。如果检测乘客正好站在电梯轿厢22或大厅H中,那么其移动速度是0,其指示这些乘客不会马上乘坐或离开电梯轿厢22。
对于基于深度图的追踪,可使用各种过程,如本文其它地方公开。举例来说,特定运动检测功能使用贝叶斯估计来确定乘客是只是正在移位还是有意从轿厢22内移向门24。这对特定识别拥挤轿厢22后方的乘客想要离开的情况尤其有益。
利用电梯轿厢22和大厅H中的乘客移动速度和方向的信息,可分别控制电梯门24(步骤86)。举例来说,如果许多乘客乘坐或离开,那么电梯门24可被控制来保持打开比常规相对更久且接着在全部乘客已经乘坐或离开之后迅速关闭。相反地,如果没有乘客等待乘坐或离开,那么电梯门24可被控制来比常规相对更快地关闭以减少乘客等待时间并提高通行效率。
参考图8,在另一公开的非限制性实施方案中,传感器系统30C可包括未占用轿厢确定系统90来利于确定电梯轿厢22是否被占用,因为未占用电梯轿厢22可比占用电梯轿厢22有利地移动快五倍到十倍,或以使乘客不舒适的其它方式和/或在编码限制内移动。
未占用轿厢确定系统90可包括与数据捕获模块94通信的传感器92,以及与数据捕获模块94和轿厢状态模块98通信的数据处理模块96。未占用轿厢确定系统90可以是控制系统32的一部分、独立单元或其它系统(诸如,与控制系统32通信的基于云的系统)。未占用轿厢确定系统90可另外包括负载传感器100,其与数据捕获模块94和数据处理模块96通信。
参考图9,在另一公开的非限制性实施方案中,以功能方块图公开了用于确定电梯轿厢22未被占用的过程110,且应了解可在专用硬件电路或能够在基于微处理器的电子控制实施方案中执行的编程软件程序中制定这些功能。
负载传感器100可操作以感测电梯轿厢22的当前负载重量,且还可进一步确定感测的负载重量是否小于预设阈值。负载传感器100还可触发信号给数据捕获模块94来指示电梯轿厢22较高概率(例如,大于80%或90%或95%)是空的(步骤111)。如果数据捕获模块94从负载传感器100接收空信号,那么数据捕获模块94将把当前深度图传感器视图传送到数据处理模块96(步骤112)用于通过应用数据捕获过程进一步确认轿厢22是空的(步骤113)。然而,负载传感器100可以是相关过程传感器且会容易随时间改变其精确度。如果负载传感器100足够不精确,那么可期望数据捕获模块94继续运行而不是由负载传感器100触发。
将3D深度感测传感器用作为传感器92利于通过轿厢内前景检测或乘客检测确认空轿厢,其中各个分析过程被修改而在深度数据下操作,如本文其它地方公开。3D深度感测传感器可利于精确识别乘客、之前无法检测的对象(例如,诸如公文包、雨伞、行李等)或包括前述中至少一个的组合。这种识别可伴随有听得见的通知,举例来说,“请牢记您的财物”。应了解可替代地提供其它适当警报。
数据处理模块96的输出可包括指示轿厢22是否被确认未占用(步骤114)的信号。在这个信号下,可精确地应用电梯待机模式、未占用移动模式和/或多轿厢功能(步骤120)。
来自数据处理模块96的信号可另外或替代地被输入到负载传感器100用于重新校准来维持其精确度(步骤116)。举例来说,在通过传感器92确认空轿厢22之后,可重新校准负载传感器100。特定来说,如果确认轿厢22是空的,那么由负载传感器100感测的负载重量可被设置成零,或可使用差值来调整负载感测等式中的偏移量。
在另一公开的非限制性实施方案中,可使用未占用轿厢管理系统120来利于电梯轿厢电话的操作、轿厢调度和轿厢运动,其是基于确定电梯轿厢22是否未被占用来进行管理。更特定来说,未占用轿厢管理系统120可被使用以在轿厢22未被占用时取消全部其余轿厢电话、平衡轿厢22之间的乘客数目、将乘客引导到特定轿厢22和/或改变运动轮廓来增强乘客体验、改进调度和/或提高通过量。
参考图10,在另一公开的非限制性实施方案中,传感器系统30D可包括电梯监控系统130以利于检测电梯轿厢22内的对象和/或滞留乘客。电梯监控系统130可包括传感器132,诸如3D深度感测传感器。使用3D深度感测传感器易于克服2D成像固有的限制,诸如照明改变和遮蔽,如本文其它地方公开。
传感器132与数据捕获模块134通信,且数据处理模块136与数据捕获模块132和救援中心模块138通信。系统130可以是控制系统32的一部分、独立单元或其它系统(诸如,与控制系统32通信的基于云的系统)。
电梯操作监控模块140还可与数据捕获模块134通信。电梯操作监控模块140监控电梯系统20的状态且如果存在任何故障,那么电梯操作监控模块140会触发传感器132。数据捕获模块134在被触发时将从传感器132捕获一个或多个深度图用于传递到数据处理模块136。数据处理模块136接收3D深度图数据且可应用各种分析过程来确定电梯轿厢22中是否存在任何乘客或对象,如本文其它地方公开。数据捕获模块134还可在不被电梯操作监控模块140触发的情况下继续运行。
在诸如停电的故障下,可提供备用电池142来继续3D感测和处理。继续的3D感测和处理的实施方式因此可以是通过在断电条件下审慎使用来保存电池寿命。
参考图11,在另一公开的非限制性实施方案中,以功能方块图公开了用于操作电梯监控系统130的过程150,且应了解可在专用硬件电路或能够在基于微处理器的电子控制实施方案中执行的编程软件程序中制定这些功能。
过程150提供初始数据处理来基于深度背景减法而提取前景区域(步骤152)。深度背景模型可推理产生且视需要进行更新。举例来说,深度背景模型的产生可基于编码本过程。用主动3D传感器的深度背景减法有利地耐抗照明改变,因为传输的信号用来确定深度。
接着,基于深度图和空间信息分割前景区域(步骤154)。在这个步骤中,对应于不同乘客或其它对象(诸如行李)的区域可从背景中分割出。最后,用人形模型检查每个分割区域来确定深度数据是否是人(步骤156)。在一个实例中,基于深度的人形模型可以是可变形部分模型来增大对遮蔽的耐抗。基于部分的模型还可被训练用于深度数据和传感器FOV来增大精确度。可针对不同乘客姿势建立多个模型,诸如站立、坐下和躺下。接着,举例来说,输出结果来指示乘客或对象的数目(步骤158)。数据处理模块136因此不仅输出关于电梯轿厢22中是否存在滞留乘客的信息,还将滞留乘客数目的信息输出来传递到救援中心模块138以利于合适的救援响应。
参考图12,在另一公开的非限制性实施方案中,传感器系统30E可包括特殊负载系统160以利于检测特殊负载状况。如本文定义,特殊负载状况可包括负载除了人类乘客之外的任何对象和比常规花费相对较长时间的任何负载,例如,轮椅、老年人、带有较大行李架的乘客等。
在检测特殊负载状况下,特殊负载系统160改进了乘客体验和通行性能。举例来说,电梯控制器32的电梯调度系统可给电梯轿厢22分配足够自由空间且电梯门控制器78(图6)可使电梯门24保持较长时间打开来适应较慢移动的乘客或其它特殊负载状况,诸如大行李(其甚至可能进出轿厢22多次来装载)、服务车或甚至是自动车辆。
特殊负载系统160可包括传感器162(安装在大厅H中或在远程信息亭中)来通过本文其它地方公开的分析而查看需要电梯轿厢22的乘客。将3D深度感测传感器用作为传感器162克服了2D成像器的上述基本局限性。
传感器162与数据捕获模块164通信,数据捕获模块164与数据处理模块166通信,数据处理模块166与数据捕获模块164和特殊负载检测模块168通信。特殊负载检测模块168还可从分类器模块170接收信息且与电梯控制系统172通信。系统160可以是控制系统32的一部分、独立单元或其它系统(诸如,与控制系统32通信的基于云的系统)。
参考图13,在另一公开的非限制性实施方案中,以功能方块图公开了用于操作特殊负载系统160的过程180,且应了解可在专用硬件电路或能够在基于微处理器的电子控制实施方案中执行的编程软件程序中制定这些功能。
首先,如本文公开,响应于检测到乘客需要召唤电梯轿厢(步骤182),特殊负载过程180将从传感器162获取深度图数据(步骤184)且接着将深度图数据传递到数据处理模块166(步骤186)。数据处理模块166接着操作来从背景分割出前景对象,如本文其它地方公开(步骤168)。这利于聚焦于前景对象且消除背景影响。被适当修改且训练用于深度数据的各种背景建模和减法过程可应用于分割前景对象,如本文其它地方公开。
在已经分割前景对象之后,空间或时空分类方式利于检测这些前景对象是否构成特殊负载状况(步骤190)。对于特殊负载状况的一般情况,可能难以针对全部可能的特殊负载状况手动定义有用的特征并且包括传感器数据和环境中的大量可能变动。因此,特殊负载过程180可被训练来获悉不同于常规负载的特殊负载状况的特征或特征层级。
在这些自动获悉的特征下,可通过分类器模块170有效地分类特殊负载检测(步骤192)。举例来说,分类步骤190可以是特征获悉和分类,诸如通过深入学习网或稀有学习字典。可有利地使用本领域中已知的其它分类器。举例来说,可脱机实施分类器训练用于各个对象,且对于实时检测,对象检测可基于预定要求特别定制。这允许特殊负载系统160更适于各种特殊负载检测需要以及容易提供可量测性。
另外,检测到的特殊负载状况可被构建到邻近电梯的楼层面积。举例来说,这种制图构建可包括距电话按钮信息亭的距离和实际移动速度,使得电梯控制系统172可为特定调度决定和运动/门控制而定制(步骤194)。举例来说,这可以在一个步骤中实施。举例来说,识别每个特殊负载状况时,分类器直接输出获悉的所需楼层面积和实际移动速度。在替代实施方案中,这可在两个步骤中实施,首先分类特殊负载状况,接着针对特殊负载状况调节传感器数据的随后处理,举例来说,来计算楼层面积、速度或其它信息。
在一个实例中,且参考图14,可追踪特殊负载状况,诸如在信息亭“K”上按按钮的携带行李箱“L”的乘客,来获取移动速度“S”,从而从到电梯轿厢22的距离“D”提供ETA(估计到达时间)。ETA因此可用于适当调度和在充足停留时间内的门控制。
参考图15,在另一公开的非限制性实施方案中,传感器系统30F可包括自动校准系统200以利于精确确定关键的校准参数而不是依赖于安装者的劳力、技能和另外设备。
自动校准系统200可包括传感器202,诸如3D深度感测传感器,其可实施其它功能,诸如本文其它地方公开的功能。传感器202可布置在电梯轿厢22内或在电梯大厅H内。传感器202与数据捕获模块204通信,且数据捕获模块204与数据处理模块206通信且可与自动校准过程210通信。数据处理模块206还可与自动校准过程210通信。自动校准系统200可以是控制系统32的一部分、独立单元或其它系统(诸如,与控制系统32通信的基于云的系统)。
数据处理模块206还包括过程210(图16)用于自动校准系统200的操作。在另一公开的非限制性实施方案中,以功能方块图公开了用于传感器202的自动校准的过程210,且应了解可在专用硬件电路或能够在基于微处理器的电子控制实施方案中执行的编程软件程序中制定这些功能。
最初,可通过使用如本文其它地方公开的背景减法和前景分割由视域中移动对象的系统200来确定传感器坐标系统的至少一次测量。接着,用来建立数学关系(诸如捕获校准信息的变换矩阵)的数据被记录到关于通过全局坐标(x,y,z)空间的乘客移动的传感器坐标系统(u,v,d)中(步骤214)。
接着,关于场景几何的假设(例如,楼层是平坦的;乘客直立站在地面上;乘客不改变高度;门与地面垂直等)用来比较记录的传感器坐标系统数据与关于乘客高度的统计数据(图17和图18;步骤216)。例如,通过满足简单纵横比阈值的连接组件来检测直立乘客。一旦检测到足够的直立乘客,就可确定地板平面且可针对每个地板位置计算乘客的高度分布。
从对乘客高度分布的预定了解(图18),可校准Z轴(步骤218)。从乘客高度分布的这个Z轴校准可被认为是系统识别问题,其中必需持久且充分的输入是通过视域的乘客的尺寸和运动。记录的高度数据可在设置周期期间收集,保存一段时间段和/或受到遗忘因素的影响。
从作为范围的函数的视在高度或三维像素纵横比,接着可基于Z轴校准来校准(X,Y)轴(步骤220)。传感器坐标数据接着可被映射到绝对或“公制”单位的全局坐标系统中(步骤222)。
为了进一步利于识别乘客的意图(诸如接近、离开或经过),还可确定电梯门24的位置。电梯门24的位置可基于各种方法来确定,诸如检测乘客出现、消失的位置、深度改变检测、电梯轿厢的深度、电梯门水平移动和形状识别。即,还可延伸场景几何的推论来定位门、视域边缘等。另外,任何这些技术可在方便的情况下与安装者输入组合。所述方法可监控校准信息的矩阵数学关系估计的收敛来确定何时已经达到足够精确度。
在替代实施方案中,可在传感器坐标系统(u,v,d)中估计地板平面和电梯门位置且可在这个坐标系统中实施全部追踪。在这种情况下,可通过定时乘客追踪来获悉估计到达时间,例如作为经验图的函数。
在替代实施方案中,可在试运转期间通过使安装者遵循标准操作程序来建立电梯门24的位置,因此校准试验台相对于电梯门24定位。举例来说,试验台可定位成与电梯门24的中心齐平且与电梯门24垂直定向。另外特征可用来指示具有独特识别特征的校准试验台上的每个校准点,诸如使用颜色、形状或图案,诸如QR码。
在另一替代实施方案中,可识别除了电梯门24之外的其它受关注区域。例如,可指定乘客固定工具的位置(诸如COP28)、目的地入口信息亭、自动扶梯入口/出口平台的位置、转门/访问控制装置的位置、房间入口、门口等。
参考图19,在另一公开的非限制性实施方案中,传感器系统30G可包括乘客追踪系统230来检测大厅H和电梯轿厢22中的乘客而将全部信息链接在一起以针对建筑中的每个个体产生通行列表(图20)用于各种应用。举例来说,基于通行列表信息的通行图案预测可集中在整个建筑层面的乘客通行信息上而不是单个区域或多个区域。通行列表信息提供了关于建筑中乘客行为的更详细信息,且还可用于除了电梯控制和调度之外的各种应用。
乘客追踪系统230可包括多个传感器242,其通过控制系统32与电梯系统20通信。在一个实例中,传感器242位于每个大厅H和每个电梯轿厢22中。或者,传感器242仅位于每个电梯轿厢22中。传感器242可以是2D成像器、3D深度感测传感器或其任何组合。
参考图21,在这个公开的非限制性实施方案中,以功能方块图公开了用于操作电梯追踪系统230的过程250,且应了解可在专用硬件电路或能够在基于微处理器的电子控制实施方案中执行的编程软件程序中制定这些功能。
通行列表(图20)包含已经使用电梯的每个个体乘客的详细信息,诸如到达时间、起点大厅、目的地大厅等。为了产生通行列表,从大厅的起点开始追踪每个个体乘客,直到乘客离开目的地大厅时为止,以及在起点大厅与目的地大厅之间的轿厢内追踪。
为了产生追踪列表,传感器242可基于各种乘客检测和追踪过程收集乘客信息,如本文其它地方公开。最初,当人员出现在大厅时或从电梯轿厢22离开之后可检测和追踪每个人员(步骤252)。如果传感器242是3D深度传感器,那么可应用本文其它地方公开的检测和追踪过程。如果传感器242是2D成像传感器,那么可由多个注册传感器信道通过输入图像的线性和/或非线性变换来计算“完整信道特征”,接着可通过提升算法(boosting)获悉基于“完整信道特征”的乘客检测模型,其提供了稳健且快速的方式来获悉给定的大量候选特征,且当与串联分类器耦接时成了快速检测器。举例来说,这个检测和追踪过程可基于2D RGB视频。
在一个实施方案中,设计了两个追踪器来追踪一个目标:通过在线提升算法的头部肩部追踪器和基于粒子滤波的身体追踪器。空间局限性还可用来组合两个追踪器,且提升的在线分类器可维持用于遮蔽和消失判断。
举例来说,当人员进入电梯轿厢时,轿厢内的检测和追踪被触发(步骤254)。即,每个人员在轿厢内时且当人员在目的地大厅时被追踪(步骤256)。对于轿厢内的追踪,传感器相对朝下查看,因此乘客将看似只有头部和肩部出现在视域中。这在当其中乘客拥挤时会使追踪变复杂。为了解决2D图像传感器的这个复杂处,举例来说,每个乘客的头部首先通过圆霍夫变换被检测,接着形成基于光流的运动估计来过滤出静止候选者并调整头部检测结果来封围每个乘客。为了进一步利于轿厢内追踪,运动导向的粒子滤波方式可组合两个特征,例如HSV色彩柱状图和边缘定向柱状图,且基于运动估计使用有效的模型更新策略。
为了使在一个传感器的FOV中追踪的人员与另一传感器的FOV中追踪的同一人员保持相关联,大厅/过道追踪和轿厢内追踪在当乘客从大厅/过道移动到轿厢中时相关联且反之亦然。2D图像传感器移交关联问题可对重叠和非重叠视域以及校准和非校准视域使用视觉监视技术。在一个实例中,可使用色彩或形状计算描述符(例如特征向量),且接着这个描述符用来计算跨过不同视域的正确关联。
在3D追踪中,无法用共通2D描述符(诸如色彩)和2D投影形状(例如,2D梯度)。这样,可使用3D描述符,即,表面反射率柱状图、空间定向的3D梯度的柱状图(HoSG3D)等。HoSG3D不同于2D HoG3D描述符,因为第三维是空间,而在HoG3D中,第三维是时间。然而,乘客形状乘客可充分类似于仅使用HoSG3D会不具充分判别力来清楚将追踪从一个传感器移交到另一个。
在另一实施方案中,进入电梯轿厢的乘客自然顺序可用来关联追踪,例如,一个感测体积中的第一消失追踪与另一感测体积中的第一新获追踪相关联等。即,也可能不足够精确,因为乘客在离开两个感测体积时可能交换顺序,且不会发生轿厢进入的严格顺序。为了确保精确度,重叠、校准感测体积提供了更好的性能,因为可已知重叠感测体积中的对象位置处于相同空间位置。
在另一实施方案中,或可使用上述技术的组合。当多种技术提供了正确追踪关联的矛盾信息时,可通过解决贝叶斯估计问题来最大化在给定观测和不确定性下正确关联的概率来解决不明确性。将意识到关联问题的其它数学公式是可能的。针对位于大厅中的传感器242A与位于电梯轿厢22中的传感器242B之间的追踪移交,可使用基于图表的最优化方式(图22)。在一个实例中,基于图表的最优化方式包括三层节点,表示起点大厅的追踪、轿厢内追踪和目的地大厅追踪。
接着,通过基于图表的最优化260来找到整体最佳路径而解决追踪移交。示例性基于图表的最优化260可通过顺序和时间差来加权。即,当乘客通常以顺序方式进入和离开轿厢时,容易实现其过滤来通过权重和节点的类似处而提供最佳路径。
参考图23,如果电梯门24打开,那么门24的垂直边缘(当被基于线的霍夫变换检测时)将按顺序横穿区域1、2和3,且如果门关闭,那么门边缘将按顺序横穿区域3、2、1。电梯门24的位置还可通过位于电梯轿厢22中的传感器242B或位于大厅H中的传感器242A来确认,其中查看电梯门24来确认门正打开、打开了、正关闭、关闭了。即,电梯门状态可从电梯控制器32输入或可由传感器242A/242B检测来提高追踪移交解决方案的性能和效率。举例来说,仅在当电梯门打开时才需要实施追踪移交。应了解其它运输也将受益于此。
参考图24,在另一公开的非限制性实施方案中,传感器系统30H可包括基于融合的乘客追踪系统270来预测乘客的可能移动,接着基于瞬时需要适当地分配电梯轿厢以便为建筑中的电梯乘客带来更多效率和便利。具有完整精确通行列表的电梯系统(图20)可(举例来说)基于每小时、每天、每星期等来预测乘客的可能移动,且基于预期通行使用电梯来为电梯乘客提高效率和便利。为了实现稳健通行列表的产生,提供了基于融合的通行列表产生方法。
现在参考图25,基于融合的乘客追踪系统270可包括多个安全传感器280a到280n,其通过控制系统32与电梯系统20通信。即,来自本质上为控制系统32提供数据的安全传感器280的传感器数据包括但不限于面部识别、徽章识别、指纹虹膜数据、安全卡信息等。在没有监控覆盖的区域或未很好实施分析过程的区域,额外安全传感器可识别人员且接着使用传感器融合关闭通行列表中的间隙来使整个过程更稳健。在身份与乘客相关联的任何情况中,保存身份和关联乘客追踪数据的方式是通过使用加密、认证和其它安全措施来保护隐私。
传感器融合可通过贝叶斯推论来实施,但在替代实施方案中可通过任何熟知技术来实施。利用安全信息和通行历史数据,可确定在建筑中移动的人员的图案来了解常规行为并且提高电梯服务。在这个公开的非限制性实施方案中,通行列表含有使用电梯传感器284的乘客的详细信息以及来自各个安全传感器280的安全数据。来自各个传感器的数据被融合且通过控制系统32被传递到电梯系统20。识别信息与这个人的视觉描述特征链接,因此在不同成像器或传感器视野下的整个通行列表将具有ID信息。即,乘客通行列表是基于大厅和轿厢追踪结果之间的协调(“移交”)。接着,融合的数据可用以利于电梯调度。
可预定义移交规则,诸如先进先出规则。对于先进先出规则,当大厅传感器和轿厢传感器同时针对相同区域中追踪的目标进行操作,且一个乘客从大厅移动来乘坐轿厢时,这个离开大厅进入轿厢的信息就可用来将来自大厅的追踪器链接到轿厢中的追踪器。当乘客离开轿厢且进入大厅时,类似规则(离开轿厢进入大厅)可应用于使轿厢中的追踪器与大厅中的追踪器链接。
在一个实例中,安全传感器识别特定乘客且与全部其它传感器共享其安全数据而使追踪结果与该乘客的ID链接。第二,在一些区域中,其中未安装安全传感器,安全凭证信息可用来继续追踪建筑中存在该乘客且以这种方式继续为所述乘客产生通行列表。还可与其它成像器或传感器共享源自于一个成像器或传感器视野的额外信息来进一步改进跨过非重叠视野的追踪关联。
可使用对乘客意欲目的地的可能性预测的贝叶斯推论随时间组合单个乘客的通行列表,其中时间作为参数。这种系统可获悉乘客A总是清早到楼层N,通常在中午到楼层C(自助餐厅)且总是在傍晚到停车库。
另外,可再次使用贝叶斯推论随时间组合多个乘客的通行列表,其中时间作为参数。这种系统利于在日常以及周末、假期等期间用于整个建筑的电梯用途的统计分布确定。这个消息可用于预先分配轿厢来运行(甚至是有意跳过楼层)用于有效停置、调度轿厢等。
给出通行列表的信息,通过用于实时解决最优化问题的技术来实现电梯最优化。通行列表信息还可用于其它电梯相关应用(诸如电梯日常负载估计)来提供一个精确的能量报告用于将来的能量节约、基于反常通行列表信息的电梯系统诊断、现代化价值主张等。
参考图26,在另一公开的非限制性实施方案中,过程300可进一步使用电梯传感器284,以及来自各个安全传感器280的安全数据来为乘客便利识别特定乘客,从而最优化电梯操作、改进操作和/或用于各种安全目的。过程300允许多个乘客同时进入轿厢而不混淆目的地。
最初,例如当乘客接近电梯时可在起点大厅识别乘客(步骤302)。电梯传感器284可同时操作、全异视角、多传感器识别、特定组合2D成像器;和1D、2D或3D深度传感器以及其替代物或组合,即2D/3D。再者,来自各个成像器和深度传感器的数据被融合且通过控制系统32传递到电梯系统20。举例来说,可通过乘客已知的事物(例如密码)、乘客拥有的事物(例如令牌或ID卡)和/或乘客类别(例如独特生物特征)来识别乘客。在一个生物特征实例中,面部识别相对便宜且良好发展。
接着,基于被识别人员登记用于预定义目的地楼层的电话(步骤304)。期望楼层的确定可由人员事先录音或可由通行分析(诸如通过通行列表)自动获悉。即使利用识别和追踪能力,在没有能够忽略异常值的统计分析下,即由于偶然的非典型电梯使用,无法自动辨别特定个体的图案。在一个实施方案中,使用用于这种异常值忽略获悉的稳健主要成分分析(RPCA)。在另一实施方案中,可使用贝叶斯推论。
接着,特定电梯轿厢被分配给人员,且所述人员被引导到适当轿厢(步骤306)。各种分配可基于特定识别、普通用途等,使得特定乘客总是被引导到最近轿厢、最快轿厢到达他或她的目的地等。
如果人员乘坐错误轿厢或被导向错误轿厢,那么分配的轿厢还可装配有警报。警报可基于追踪乘客进入轿厢,然而警报不一定是要求离开,因为这种要求会造成消极的顾客体验。在一个实例中,警报可用来撤销先前轿厢中的乘客且登记新轿厢22中的意欲目的地楼层。电梯调度接着可实时重新最优化,包括重新引导乘客穿过空中大厅来提供期望的通过量和顾客体验。
接着,可追踪乘客从大厅进入轿厢,在中转期间,接着通过目的地大厅,如上文讨论。在一些情况中,当在轿厢内追踪乘客时,可识别不同目的地的选择。举例来说,当追踪乘客以与目的地一致时,人员已经按下按钮来改变目的地的分析以及关于按下哪个按钮的来自轿厢控制器的时间相关信息可用来识别目的地的改变。一旦识别目的地的改变,由此就可实施通过量最优化。
举例来说,如果乘客在不同于为该特定乘客登记的目的地错误地离开,那么过程300还可警告乘客(步骤308)。在一个实施方案中,可期望在乘客实际上错误离开之前就警告乘客。过程300由此可通过追踪分析推断乘客企图或开始朝向门移动,例如朝向轿厢前部移动。顾客警报可通过听得见的声音信号完成。或者,为了安全目的,警报可安静地通知安全人员或系统且追踪乘客。
本文公开和描绘的元件(包括附图中的流程图和方块图)意指元件之间的逻辑边界。然而,根据软件或硬件工程实践,描绘的元件及其功能可通过计算机可执行介质在机器上执行,计算机可执行介质具有能够执行存储在其上的程序指令的处理器,所述程序指令作为单片软件结构、作为独立软件模块或作为使用外部程序、代码、服务等的模块,或这些的任何组合,且全部这些执行方案可落入本公开的范围内。
应了解相对位置术语(诸如“向前”、“向后”、“上”、“下”、“上方”、“下方”、“底部”、“顶部”等)是参考常规操作姿势且不应被认为是以另外方式限制。
应了解贯穿多幅图中的相同参考数字识别对应或类似元件。还应了解虽然图示的实施方案中公开了特定组件配置,但其它配置将受益于此。
虽然不同非限制性实施方案具有特定说明的组件,但本发明的实施方案不限于这些特定组合。可能使用来自任何非限制性实施方案的组件或特征中的一些与来自任何其它非限制性实施方案的特征或组件组合。
虽然示出、公开和要求了特定步骤顺序,但应了解步骤可以任何次序实施、分离或组合,除非另外指明,且仍将受益于本公开。
前述描述是示例性的而非定义成受限于其内。本文公开了各种非限制性实施方案,然而,本领域的一般技术人员将意识到根据上述教示,各种修改和变更将落入附属权利要求的范围内。因此,将了解在附属权利要求的范围内,可实行除了特定公开之外的公开内容。由于这个原因,应研读附属权利要求来确定真实范围和内容。
Claims (23)
1.一种乘客运输系统,其包括:
深度感测传感器,其在乘客运输外壳内用于从所述乘客运输外壳内捕获深度图数据;以及
处理模块,其与所述深度感测传感器通信来接收所述深度图数据,所述处理模块使用所述深度图数据来检测其中的对象。
2.根据权利要求1所述的系统,其中所述深度图数据是3D深度图数据。
3.根据权利要求1到2中任一项所述的系统,其中所述深度感测传感器包括结构光、相移、飞行时间、立体三角测量、光三角测量板、光场相机、编码孔径相机、计算成像技术、同时定位和地图构建(SLAM)、成像雷达、成像声纳、扫描LIDAR、闪光LIDAR、被动红外线(PIR)传感器和小型焦平面阵列(FPA)中的至少一个。
4.根据权利要求1到3中任一项所述的系统,其中所述处理模块计算关于所述对象的以下对象参数中的至少一个,包括:位置、尺寸、方向、加速度、速度和对象类别。
5.根据权利要求1到4中任一项所述的系统,其中如果所述对象被分类成乘客,那么所述处理模块使用所述深度图数据来计算乘客数据。
6.根据权利要求5所述的系统,其还包括数据捕获模块,所述数据捕获模块与所述深度感测传感器和所述处理模块通信。
7.根据权利要求6所述的系统,其中所述数据捕获模块可操作来从所述深度感测传感器接收所述乘客运输外壳内的所述深度图数据用于传递到所述处理模块。
8.根据权利要求7所述的系统,其还包括负载传感器,所述负载传感器与所述数据捕获模块通信,所述负载传感器可操作来确定所述乘客运输外壳的当前负载重量。
9.根据权利要求8所述的系统,其中如果所述感测到的负载重量小于预设阈值,那么所述负载传感器可操作来触发所述数据捕获模块以从所述深度感测传感器获得图像。
10.根据权利要求9所述的系统,其中所述数据捕获模块将所述图像传递到所述处理模块来确认空的乘客运输外壳。
11.一种检测对象的方法,所述方法包括:
通过基于深度的深度图数据用乘客运输外壳内的深度感测传感器检测对象;
使用所述基于深度的深度图数据来对所述对象分类;和
传递所述分类。
12.根据权利要求11所述的方法,其中所述分类包括所述对象的位置。
13.根据权利要求11到12中任一项所述的方法,其中所述分类包括所述对象的尺寸。
14.根据权利要求11到13中任一项所述的方法,其中所述分类包括人类识别。
15.根据权利要求11到14中任一项所述的方法,其中人类识别包括人形模型的应用。
16.根据权利要求11到15中任一项所述的方法,其中所述分类包括背景减法。
17.根据权利要求11到16中任一项所述的方法,其中所述分类包括帧差分。
18.根据权利要求11到17中任一项所述的方法,其中所述分类包括假数据剔除。
19.根据权利要求18所述的方法,其中假数据剔除包括:
计算深度背景来分割前景对象;
移除隔离前景区域且通过3D形态学操作分割移动对象用于进一步分析;
将移动对象变换到3D全局坐标来估计实际尺寸、面积和体积中的至少一个;以及
通过几何过滤从所述场景移除假移动对象。
20.根据权利要求19所述的方法,其中所述3D形态学操作包括:
通过深度背景减法计算2D前景对象掩膜;
作为范围的函数对所述掩膜尺寸过滤;
连接掩膜区域;和
基于深度间断性以3D分割对象。
21.根据权利要求20所述的方法,其中所述掩膜内的所述2D前景对象可在任何深度。
22.根据权利要求19所述的方法,其中用深度感测传感器检测所述空乘客运输外壳包括检测与乘客相关联的对象。
23.根据权利要求11到22中任一项所述的方法,其中检测与所述乘客相关联的所述对象包括当所述关联乘客离开所述乘客运输外壳时提供听得见的警报。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510158617.0A CN106144816B (zh) | 2015-04-03 | 2015-04-03 | 基于深度传感器的乘客检测 |
US15/089,622 US10055657B2 (en) | 2015-04-03 | 2016-04-04 | Depth sensor based passenger detection |
EP16163709.5A EP3075694B1 (en) | 2015-04-03 | 2016-04-04 | Depth sensor based passenger detection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510158617.0A CN106144816B (zh) | 2015-04-03 | 2015-04-03 | 基于深度传感器的乘客检测 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106144816A true CN106144816A (zh) | 2016-11-23 |
CN106144816B CN106144816B (zh) | 2019-11-12 |
Family
ID=55650351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510158617.0A Active CN106144816B (zh) | 2015-04-03 | 2015-04-03 | 基于深度传感器的乘客检测 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10055657B2 (zh) |
EP (1) | EP3075694B1 (zh) |
CN (1) | CN106144816B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107204012A (zh) * | 2016-03-16 | 2017-09-26 | 美国亚德诺半导体公司 | 降低飞行时间深度成像的功耗 |
CN107416630A (zh) * | 2017-09-05 | 2017-12-01 | 广州日滨科技发展有限公司 | 电梯非正常关闭的检测方法和系统 |
CN109052087A (zh) * | 2018-07-18 | 2018-12-21 | 揭阳市聆讯软件有限公司 | 电梯安全监控方法、装置、智能设备及存储介质 |
CN109353907A (zh) * | 2017-09-05 | 2019-02-19 | 日立楼宇技术(广州)有限公司 | 电梯运行的安全提示方法和系统 |
CN112693981A (zh) * | 2020-12-17 | 2021-04-23 | 日立楼宇技术(广州)有限公司 | 一种触摸操纵箱的调整方法、装置、设备及存储介质 |
US11209528B2 (en) | 2017-10-15 | 2021-12-28 | Analog Devices, Inc. | Time-of-flight depth image processing systems and methods |
CN115690748A (zh) * | 2021-07-29 | 2023-02-03 | Aptiv技术有限公司 | 占据类预测方法和系统以及遮挡值确定方法和系统 |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107074484B (zh) * | 2014-11-03 | 2020-11-06 | 奥的斯电梯公司 | 电梯乘客跟踪控制和呼叫取消系统 |
CN106144797B (zh) | 2015-04-03 | 2020-11-27 | 奥的斯电梯公司 | 用于乘客运输的通行列表产生 |
CN106144795B (zh) | 2015-04-03 | 2020-01-31 | 奥的斯电梯公司 | 通过识别用户操作用于乘客运输控制和安全的系统和方法 |
CN106144801B (zh) * | 2015-04-03 | 2021-05-18 | 奥的斯电梯公司 | 用于特殊乘客运输工具负载状况的基于深度传感器的感测 |
CN106144861B (zh) * | 2015-04-03 | 2020-07-24 | 奥的斯电梯公司 | 用于乘客运输控制的基于深度传感器的乘客感测 |
CN106144862B (zh) * | 2015-04-03 | 2020-04-10 | 奥的斯电梯公司 | 用于乘客运输门控制的基于深度传感器的乘客感测 |
US10030968B2 (en) * | 2016-02-08 | 2018-07-24 | Youspace, Inc. | Floor estimation for human computer interfaces |
WO2017186305A1 (en) * | 2016-04-29 | 2017-11-02 | Kone Corporation | Elevator entry control system and method |
US10308477B2 (en) * | 2016-10-24 | 2019-06-04 | Echostar Technologies International Corporation | Smart elevator movement |
US9988237B1 (en) * | 2016-11-29 | 2018-06-05 | International Business Machines Corporation | Elevator management according to probabilistic destination determination |
US10437342B2 (en) | 2016-12-05 | 2019-10-08 | Youspace, Inc. | Calibration systems and methods for depth-based interfaces with disparate fields of view |
US10303259B2 (en) | 2017-04-03 | 2019-05-28 | Youspace, Inc. | Systems and methods for gesture-based interaction |
US10259683B2 (en) * | 2017-02-22 | 2019-04-16 | Otis Elevator Company | Method for controlling an elevator system |
US10544007B2 (en) * | 2017-03-23 | 2020-01-28 | International Business Machines Corporation | Risk-aware management of elevator operations |
WO2019060110A1 (en) * | 2017-08-29 | 2019-03-28 | Thyssenkrupp Ag | SYSTEM FOR MONITORING AND CONTROLLING ELEVATOR TRAFFIC |
US20200024103A1 (en) * | 2018-07-18 | 2020-01-23 | Otis Elevator Company | Notification of objects in elevator system |
US12043515B2 (en) * | 2018-08-16 | 2024-07-23 | Otis Elevator Company | Elevator system management utilizing machine learning |
EP3628620B1 (en) * | 2018-09-27 | 2023-04-26 | Otis Elevator Company | Elevator system |
AT523031A1 (de) * | 2019-10-14 | 2021-04-15 | View Promotion Gmbh | Verfahren zur überwachung einer aufzugskabine |
US20210107769A1 (en) * | 2019-10-15 | 2021-04-15 | Otis Elevator Company | Elevator condition based maintenance using an in-car camera |
DE102020115145A1 (de) * | 2020-06-08 | 2021-12-09 | Blickfeld GmbH | Punktwolkenverarbeitung |
JP7155201B2 (ja) * | 2020-07-09 | 2022-10-18 | 東芝エレベータ株式会社 | エレベータの利用者検知システム |
US11305964B2 (en) | 2020-07-15 | 2022-04-19 | Leandre Adifon | Systems and methods for operation of elevators and other devices |
US20220073316A1 (en) | 2020-07-15 | 2022-03-10 | Leandre Adifon | Systems and methods for operation of elevators and other devices |
TWI756904B (zh) | 2020-11-05 | 2022-03-01 | 財團法人工業技術研究院 | 智慧儲物裝置及智慧儲物方法 |
CN112990068A (zh) * | 2021-03-31 | 2021-06-18 | 辽宁华盾安全技术有限责任公司 | 一种基于深度学习的电梯乘员计数方法及系统 |
WO2023245402A1 (en) * | 2022-06-21 | 2023-12-28 | Kone Corporation | A method and a triggering system for triggering an acquisition of image data of an empty elevator car |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100568959C (zh) * | 2003-03-20 | 2009-12-09 | 因温特奥股份公司 | 监视电梯设备的范围的方法和装置 |
US20120087573A1 (en) * | 2010-10-11 | 2012-04-12 | Vinay Sharma | Eliminating Clutter in Video Using Depth Information |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3486424B2 (ja) * | 1991-11-27 | 2004-01-13 | オーチス エレベータ カンパニー | 空かご割当てにより混雑時サービスを改善する方法及び装置 |
US5387768A (en) * | 1993-09-27 | 1995-02-07 | Otis Elevator Company | Elevator passenger detector and door control system which masks portions of a hall image to determine motion and court passengers |
US6397976B1 (en) | 1999-10-04 | 2002-06-04 | Otis Elevator Company | Automatic elevator destination call processing |
US6675939B2 (en) * | 2001-01-31 | 2004-01-13 | Inertia Dynamics, Inc. | Elevator brake assembly |
JP2010111444A (ja) | 2008-11-04 | 2010-05-20 | Mitsubishi Electric Corp | エレベータかごの乗場呼び登録管理装置 |
TWI411978B (zh) | 2010-04-14 | 2013-10-11 | Hon Hai Prec Ind Co Ltd | 電梯安全監控系統及方法 |
US9167991B2 (en) * | 2010-09-30 | 2015-10-27 | Fitbit, Inc. | Portable monitoring devices and methods of operating same |
CN203392650U (zh) | 2013-08-16 | 2014-01-15 | 湖州华奥电梯科技有限公司 | 电梯运行控制装置 |
US20150239708A1 (en) * | 2014-02-25 | 2015-08-27 | Thyssenkrupp Elevator Ag | System and Method for Monitoring a Load Bearing Member |
JP2015210702A (ja) * | 2014-04-28 | 2015-11-24 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
2015
- 2015-04-03 CN CN201510158617.0A patent/CN106144816B/zh active Active
-
2016
- 2016-04-04 EP EP16163709.5A patent/EP3075694B1/en active Active
- 2016-04-04 US US15/089,622 patent/US10055657B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100568959C (zh) * | 2003-03-20 | 2009-12-09 | 因温特奥股份公司 | 监视电梯设备的范围的方法和装置 |
US20120087573A1 (en) * | 2010-10-11 | 2012-04-12 | Vinay Sharma | Eliminating Clutter in Video Using Depth Information |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107204012A (zh) * | 2016-03-16 | 2017-09-26 | 美国亚德诺半导体公司 | 降低飞行时间深度成像的功耗 |
US10841491B2 (en) | 2016-03-16 | 2020-11-17 | Analog Devices, Inc. | Reducing power consumption for time-of-flight depth imaging |
CN107204012B (zh) * | 2016-03-16 | 2021-02-12 | 美国亚德诺半导体公司 | 降低飞行时间深度成像的功耗 |
CN107416630A (zh) * | 2017-09-05 | 2017-12-01 | 广州日滨科技发展有限公司 | 电梯非正常关闭的检测方法和系统 |
CN109353907A (zh) * | 2017-09-05 | 2019-02-19 | 日立楼宇技术(广州)有限公司 | 电梯运行的安全提示方法和系统 |
CN109353907B (zh) * | 2017-09-05 | 2020-09-15 | 日立楼宇技术(广州)有限公司 | 电梯运行的安全提示方法和系统 |
US11209528B2 (en) | 2017-10-15 | 2021-12-28 | Analog Devices, Inc. | Time-of-flight depth image processing systems and methods |
CN109052087A (zh) * | 2018-07-18 | 2018-12-21 | 揭阳市聆讯软件有限公司 | 电梯安全监控方法、装置、智能设备及存储介质 |
CN112693981A (zh) * | 2020-12-17 | 2021-04-23 | 日立楼宇技术(广州)有限公司 | 一种触摸操纵箱的调整方法、装置、设备及存储介质 |
CN115690748A (zh) * | 2021-07-29 | 2023-02-03 | Aptiv技术有限公司 | 占据类预测方法和系统以及遮挡值确定方法和系统 |
CN115690748B (zh) * | 2021-07-29 | 2023-09-29 | Aptiv技术有限公司 | 用于占据类预测的方法和用于遮挡值确定的方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3075694A1 (en) | 2016-10-05 |
EP3075694B1 (en) | 2018-12-19 |
US20160292521A1 (en) | 2016-10-06 |
CN106144816B (zh) | 2019-11-12 |
US10055657B2 (en) | 2018-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106144816B (zh) | 基于深度传感器的乘客检测 | |
CN106144862A (zh) | 用于乘客运输门控制的基于深度传感器的乘客感测 | |
CN106144861A (zh) | 用于乘客运输控制的基于深度传感器的乘客感测 | |
CN106144798A (zh) | 用于乘客运输控制的传感器融合 | |
CN106144797A (zh) | 用于乘客运输的通行列表产生 | |
CN106144795A (zh) | 通过识别用户操作用于乘客运输控制和安全的系统和方法 | |
CN106144801A (zh) | 用于特殊乘客运输负载状况的基于深度传感器的感测 | |
CN106144796A (zh) | 用于空乘客运输外壳确定的基于深度传感器的乘客感测 | |
CN104828664B (zh) | 自动调试系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |