CN106144797B - 用于乘客运输的通行列表产生 - Google Patents

用于乘客运输的通行列表产生 Download PDF

Info

Publication number
CN106144797B
CN106144797B CN201510158110.5A CN201510158110A CN106144797B CN 106144797 B CN106144797 B CN 106144797B CN 201510158110 A CN201510158110 A CN 201510158110A CN 106144797 B CN106144797 B CN 106144797B
Authority
CN
China
Prior art keywords
passenger
lobby
tracking
transport
elevator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510158110.5A
Other languages
English (en)
Other versions
CN106144797A (zh
Inventor
F.陈
L.于
X.王
贾真
方辉
A.苏
A.M.芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Otis Elevator Co
Original Assignee
Otis Elevator Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=56096890&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN106144797(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Otis Elevator Co filed Critical Otis Elevator Co
Priority to CN201510158110.5A priority Critical patent/CN106144797B/zh
Priority to CN202011638877.5A priority patent/CN112850406A/zh
Priority to EP16163708.7A priority patent/EP3075693B1/en
Priority to US15/089,625 priority patent/US11232312B2/en
Publication of CN106144797A publication Critical patent/CN106144797A/zh
Application granted granted Critical
Publication of CN106144797B publication Critical patent/CN106144797B/zh
Priority to US17/481,681 priority patent/US11836995B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00Control systems of elevators in general
    • B66B1/34Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
    • B66B1/3476Load weighing or car passenger counting devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00Control systems of elevators in general
    • B66B1/24Control systems with regulation, i.e. with retroactive action, for influencing travelling speed, acceleration, or deceleration
    • B66B1/2408Control systems with regulation, i.e. with retroactive action, for influencing travelling speed, acceleration, or deceleration where the allocation of a call to an elevator car is of importance, i.e. by means of a supervisory or group controller
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B3/00Applications of devices for indicating or signalling operating conditions of elevators
    • B66B3/02Position or depth indicators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006Monitoring devices or performance analysers
    • B66B5/0012Devices monitoring the users of the elevator system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Abstract

一种乘客追踪系统包括多个传感器,其用于捕获对象的深度图数据。处理模块与所述多个传感器通信来接收所述深度图数据,所述处理模块使用所述深度图数据来追踪对象并且计算与所述追踪对象相关联的乘客数据来产生乘客追踪列表,其从起点大厅到目的地大厅且通过所述起点大厅与所述目的地大厅之间的轿厢内追踪来呈乘客数据追踪每个个别乘客。

Description

用于乘客运输的通行列表产生
技术背景
本公开涉及一种乘客运输,且更明确地说,涉及一种用于电梯的基于深度传感器的控制。
电梯性能可源自于许多因素。对于电梯乘客,重要因素可包括行进时间。举例来说,随着基于时间的参数被最小化,乘客对电梯服务的满意度会提到。现代电梯系统仍可提供改进的乘客体验和通行性能的机会。
通常,在有许多人在里面的建筑中,有效的电梯使用可能复杂化,因为某些时间段可能是高通行时间,而其它时间段将是低通行的,其会对轿厢中的用户以及等待轿厢的用户造成不便和延迟。
现代电梯系统仍可提供改进的乘客体验和通行性能的机会。
发明内容
根据本公开的一个公开非限制性实施方案的乘客追踪系统可包括:一个或多个传感器,其用于捕获传感器数据;和处理模块,其与一个或多个传感器通信来接收传感器数据,其中处理模块使用传感器数据来追踪对象并且计算与追踪对象相关联的乘客数据来产生乘客追踪列表,其从起点运输大厅到目的地运输大厅呈传感器数据追踪乘客。
本公开的另一实施方案可包括,其中用于捕获传感器数据的一个或多个传感器中的至少一个位于邻近运输系统的运输大厅中。
本公开的前述实施方案中的任一个的另一实施方案可包括,其中用于捕获传感器数据的一个或多个传感器中的至少一个位于运输乘客外壳(enclosure)中。
本公开的前述实施方案中的任一个的另一实施方案可包括,其中传感器数据是来自深度感测传感器的2D深度数据和3D深度数据中的至少一种。
本公开的前述实施方案中的任一个的另一实施方案可包括,其中深度感测传感器包括结构光测量、相移测量、飞行时间测量、立体三角测量装置、光三角测量装置板(sheetof light triangulation device)、光场相机、编码孔径相机、计算成像技术、同时定位和地图构建(SLAM)、成像雷达、成像声纳、扫描LIDAR、闪光LIDAR、被动红外线(PIR)传感器和小型焦平面阵列(FPA)或包括前述中至少一个的组合。
本公开的前述实施方案中任一个的另一实施方案可包括,其中处理模块计算追踪对象的对象参数,其中对象参数包括对象计数、位置、尺寸、方向、加速度、速度、对象类别或包括前述中至少一个的组合。
本公开的前述实施方案中任一个的另一实施方案可包括,其中如果追踪对象被分类成乘客,那么处理模块计算乘客数据。
本公开的前述实施方案中任一个的另一实施方案可包括,其中乘客在起点运输大厅、运输乘客外壳、目的地运输大厅中的至少一个中被追踪。
本公开的前述实施方案中任一个的另一实施方案可包括,其中当乘客在相应大厅内时被两个追踪器追踪。
本公开的前述实施方案中任一个的另一实施方案可包括,其中两个追踪器包括头部肩部追踪器和身体追踪器。
本公开的前述实施方案中任一个的另一实施方案可包括,其中头部肩部追踪器是基于在线提升且身体追踪器是基于粒子滤波。
本公开的前述实施方案中任一个的另一实施方案可包括,其中在从起点运输大厅到运输乘客外壳和从运输乘客外壳到目的地运输大厅中的至少一个的乘客转移期间维持独有的乘客身份。
一种用于乘客运输系统的乘客追踪的方法,根据本公开的另一公开的非限制性实施方案的方法可包括追踪起点运输大厅中的个别乘客;追踪个别乘客从起点运输大厅直到在运输乘客外壳内;和追踪个别乘客从运输乘客外壳进入目的地运输大厅中来产生通行列表。
本公开的前述实施方案中任一个的另一实施方案可包括,其中使用来自运输乘客外壳中的传感器的传感器数据来实施追踪。
本公开的前述实施方案中任一个的另一实施方案可包括当个别乘客在运输乘客外壳中时追踪个别乘客。
本公开的前述实施方案中任一个的另一实施方案可包括追踪每个个别乘客的头部。
本公开的前述实施方案中任一个的另一实施方案可包括通过圆霍夫变换检测每个个别乘客的头部且通过粒子滤波追踪头部。
本公开的前述实施方案中任一个的另一实施方案可包括基于光流调整头部检测结果来封围每个个别乘客。
本公开的前述实施方案中任一个的另一实施方案可包括,其中追踪个别乘客从起点运输大厅直到在运输乘客外壳内以及追踪个别乘客从运输乘客外壳进入目的地运输大厅中的至少一个包括追踪移交方式。
本公开的前述实施方案中任一个的另一实施方案可包括边缘加权基于图表的最优化。
本公开的前述实施方案中任一个的另一实施方案可包括按顺序和时间差进行边缘加权。
本公开的前述实施方案中任一个的另一实施方案可包括,其中追踪个别乘客从起点运输大厅直到在运输乘客外壳内以及追踪个别乘客从运输乘客外壳进入目的地运输大厅来产生通行列表中的至少一个包括运输乘客外壳门打开/关闭识别。
本公开的前述实施方案中任一个的另一实施方案可包括随时间组合每个个别乘客的多个通行列表。
本公开的前述实施方案中任一个的另一实施方案可包括随时间组合多个个别乘客中每一个的多个通行列表,其中时间作为参数,来利于用于整个建筑的统计分配确定。
本公开的前述实施方案中任一个的另一实施方案可包括随时间组合多个个别乘客中每一个的多个通行列表,其中时间作为参数,来利于用于地理区域的统计分配确定。
本公开的前述实施方案中任一个的另一实施方案可包括随时间组合多个个别乘客中每一个的多个通行列表,其中时间作为参数,来利于用于日常负载估计的统计分配确定。
本公开的前述实施方案中任一个的另一实施方案可包括随时间组合多个个别乘客中每一个的多个通行列表,其中时间作为参数,来利于用于系统诊断的统计分配确定。
前述特征和元件可以各种组合而非排它性地组合,除非另外明确指明。根据下文描述和附图将变得更明白这些特征和元件以及其操作。然而,应了解下文描述和附图本质上意欲示例性而非限制性的。
附图简述
本领域的技术人员将从下文公开的非限制性实施方案的具体实施方式中明白各种特征。具体实施方式的附图可简述如下:
图1是根据一个公开非限制性实施方案的电梯系统的示意图;
图2是根据另一个公开非限制性实施方案的电梯系统的方块图;
图3是根据另一个公开非限制性实施方案的电梯系统的透视图;
图4是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图5是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图6是根据另一个公开非限制性实施方案的电梯系统的方块图;
图7是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图8是根据另一个公开非限制性实施方案的电梯系统的方块图;
图9是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图10是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图11是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图12是根据另一个公开非限制性实施方案的电梯系统的方块图;
图13是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图14是图示根据另一个公开非限制性实施方案的电梯系统的操作的示意图;
图15是根据另一个公开非限制性实施方案的电梯系统的方块图;
图16是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图17是根据另一个公开非限制性实施方案的电梯系统的人员追踪器的示意图;
图18是根据另一个公开非限制性实施方案的电梯系统的统计高度的图形表示;
图19是根据另一个公开非限制性实施方案的电梯系统的方块图;
图20是根据另一个公开非限制性实施方案的电梯系统的平台的方块图;
图21是根据另一个公开非限制性实施方案的电梯系统的算法的方块图;
图22是通过轿厢内追踪从起点大厅到目的地乘客大厅的乘客追踪的图形表示;
图23是根据另一个公开非限制性实施方案的电梯系统的门配置的示意图;
图24是根据另一个公开非限制性实施方案的电梯系统的方块图;和
图25是用于单个用户的通行列表产生的示意图;和
图26是电梯系统的算法的方块图。
具体实施方式
图1示意性地图示了乘客运输系统20,诸如电梯系统。系统20可包括电梯轿厢22、电梯门24、大厅电话26、轿厢操作面板(COP)28、传感器系统30和控制系统32。应了解虽然本文举实例公开和说明电梯系统,但其它乘客运输系统诸如公共交通工具也将从中受益。还应了解虽然单独定义特定系统,但系统中的每个或任何个可以另外方式组合或通过硬件和/或软件分离。
乘客与电梯性能相关联的行进时间的总量可包括三个时间间隔。第一个时间间隔可以是乘客在大厅等待电梯到达的时间量,下文是“等待时间”。第二个时间间隔可以是“门停留时间”或电梯门打开容许乘客进入或离开电梯的时间量。第三个时间间隔可以是“乘坐时间”或乘客在电梯中花费的时间量。乘坐时间还可包括在中间层停止来容许乘客进入和/或离开电梯的时间,其会在乘坐时间上至少增加停止期间的门停留时间。
各种电梯系统可使用乘客启动的输入来发送对服务的需求。举例来说,来自大厅电话26的输入可包括按钮(例如向上、向下或所需目的地)来请求电梯服务。乘客启动的输入(例如通过电话按钮)可通知控制系统32存在乘客等待电梯服务。作为响应,控制系统32可将电梯轿厢22调度到适当楼层。视情况地,一旦在电梯轿厢22内,乘客可按下轿厢操作面板(COP)28上指示所需目的地、方向等的按钮,且接着控制系统32可将电梯轿厢22调度到所述目的地。
控制系统32可包括具有处理器42、存储器44和接口46的控制模块40。控制模块40可包括中央控制单元的一部分、独立单元或其它系统(诸如基于云的系统)。处理器42可包括具有所需性能特性的任何类型的微处理器。存储器44可包括任何类型的计算机可读介质,其存储数据且控制本文公开的过程。即,存储器44是示例性计算机存储介质,其上可具体实施有计算机可用指令,诸如当执行时可实施所需方法的过程。控制模块40的接口46可利于控制模块40与其他系统之间的通信。
参考图2,基于深度传感器的乘客感测系统60可包括与数据捕获模块64通信的传感器62和处理模块66。基于深度传感器的乘客感测系统60可以是控制系统32的一部分、独立单元或其它系统(诸如,与控制系统32通信的基于云的系统)。数据捕获模块64和处理模块66可为传感器62特有以捕获和处理来自其的数据。在一个实例中,传感器62通过数据捕获模块64和处理模块66可操作来获取深度图数据,诸如乘客存在于乘客等待区域或大厅H中、乘客的估计到达时间(ETA)、大厅H中的乘客数目等。
根据一个公开非限制性实施方案,传感器62可安装在大厅H的墙壁W的下部分中,诸如处于膝盖高度(图3)。在本公开非限制性实施方案中,传感器62包括深度感测传感器。应了解本公开全文使用的术语“传感器”是针对任何1D、2D、3D深度传感器或其组合。这种传感器可在能够产生具对应尺寸的深度图(还已知为点云或占据栅格)的光学、电磁或声谱下操作。各种深度感测传感器技术和装置包括但不限于结构光测量、相移测量、飞行时间测量、立体三角测量装置、光三角测量装置板、光场相机、编码孔径相机、计算成像技术、同时定位和地图构建(SLAM)、成像雷达、成像声纳、扫描LIDAR、闪光LIDAR、被动红外线(PIR)传感器和小型焦平面阵列(FPA)或包括前述中至少一个的组合。不同技术可包括主动(传输和接收信号)或被动(仅接收信号)且可在电磁或声谱(诸如视觉、红外线等)的带下操作。使用深度感测可具有超越常规2D成像的特定优点。使用红外线感测可具有超越可见光谱成像的特定益处,替代或此外,使得传感器可以是具有一个或多个像素空间分辨率的红外线传感器,例如被动红外线(PIR)传感器或小型IR焦平面阵列(FPA)。
应注意,2D成像传感器(例如常规安全相机)与1D、2D或3D深度感测传感器之间在深度感测提供许多优点的程度上会存在性质上和数量上的差异。在2D成像中,在从成像器的每个径向方向上的来自第一个对象的反射色彩(波长的混合物)被捕获。接着,2D图像可包括源照明和场景中对象的光谱反射系数的组合光谱。2D图像可由人员解译成图片。在1D、2D或3D深度感测传感器中,不存在色彩(光谱)信息;更确切地说,在从传感器的径向方向(1D)或方向(2D、3D)上到第一反射对象的距离(深度、范围)被捕获。1D、2D和3D技术可具有固有最大可检测范围极限且可具有相对低于典型2D成像器的空间分辨率。在对环境照明问题的相对免疫方面,与常规2D成像比较,使用1D、2D或3D深度感测可有利地提供改进型操作、对遮蔽对象的较好分离和较好的私密保护。使用红外线感测可具有超过可见光谱成像的特定益处。举例来说,2D图像会无法被转变成深度图且深度图也无法具有被转变成2D图像(例如,至连续深度的人为分配连续色彩或灰度会使人略微类似于人员如何见到2D图像来粗略地解译深度图,其并非常规意义上的图像。)的能力。无法将深度图转变成图像的能力看似缺点,但在本文公开的某些分析应用中会是有利的。
在一个实例中,传感器62可以是人眼安全行扫描LIDAR,其中举例来说,视域(FOV)可约为180度,其可水平覆盖大厅整个区域或邻近电梯门24的其它乘客区域(图2)。举例来说,LIDAR的输出可以是在安装传感器62的高度处的周围环境的2D水平扫描。对于主动传感器,扫描中的每个数据点表示FOV中实体对象点的反射,从其可获得该对象点的范围和水平角。举例来说,LIDAR的扫描速率可以是每次扫描为50ms,这可利于乘客的可靠追踪。即,在通过处理模块66应用分析过程之前,LIDAR扫描数据可被转变成占据栅格表示。每个栅格表示小区域,例如5cm x 5cm。栅格状态可被数字化指示,例如1或0,来指示每个栅格正方形是否被占用。因此,每个数据扫描可被转变成二进制图且这些图接着用来获悉大厅的背景模型,例如通过使用被设计或修改用于深度数据的过程,诸如高斯混合物模型(GMM)过程、主成分分析(PCA)过程、编码本过程或包括前述中至少一个的组合。
处理模块66可使用各种3D检测和追踪过程(本文另外公开),诸如背景减法、帧差分和/或假数据剔除,其可使系统更能抵抗假数据。这种假数据可以是深度感测固有的且可随使用的特定技术改变。对于主动技术,其中发射了特定信号且随后被检测来确定深度(例如结构光、飞行时间、LIDAR等),高反射表面可产生假深度数据,例如,并非反射表面本身的深度,而是在到反射表面的深度加上从反射表面到一定程度漫反射表面的深度的深度处的漫反射表面的深度。高度漫反射表面无法反射足够量的传输信号来确定会在深度图中造成假间隙的深度。甚至进一步,环境照明中的变动、其它主动深度传感器的干涉或信号处理中的不精确度会造成假数据。
参考图4和图5,在另一公开非限制性实施方案中,以功能方块图公开了用于剔除假数据的过程50、51。这些功能可在专用硬件电路、能够在基于微处理器的电子控制系统中执行的编程软件程序或包括前述中至少一个的组合中制定。
假数据剔除过程50可包括多个步骤。首先,可计算深度背景,其可用来从背景(例如墙壁和地板)分割前景对象(例如乘客、行李等)(步骤52)。深度数据可以是三维的。应了解深度数据可替代地被称为深度图、点云或占据栅格。深度数据可相对“受干扰”。
基于多维的方式可用来建模深度背景。2D成像器背景建模方法可能不足以用于深度背景建模。举例来说,深度不确定性可以是范围的分析函数,深度数据误差可间断(或不连续),且与典型的2D图像数据(例如,无法由连续概率分布表示)比较,深度分布可以是非高斯的,或包括前述中可使得2D成像器背景建模不足以用于深度背景建模的至少一个的组合。
其次,在背景减法和前景检测之后,形态学操作可用来过滤隔离小型前景区域(例如,可能是“噪音”)且分割移动对象(称为斑点)用于进一步分析(步骤54)。这个分析可以3D实施。然而,2D连接组件的3D扩展可能是不合适的,因为3D数据仍自我遮蔽,例如,呈占据栅格的“阴影”。过滤方式可包括扩展2D连接组件使其包括呈占据栅格的“未知”类别用于3D形态过滤的过程。
参考图5进一步解释形态过滤。在3D形态过滤51中,可在多个步骤(例如,如图5中示出,可包括四个连续步骤)中实施对遮蔽的解释。可通过深度背景减法计算2D前景对象掩膜(步骤53)。掩膜内的前景对象可处于任何深度,且部分或完全遮蔽其后的对象。
可在掩膜上作为范围函数实施尺寸过滤,其可移除预定尺寸以下的对象(步骤55)。任何“附近”掩膜区域使用2D连接组件连接,其潜在地合并具有不同深度的对象(步骤57)。接着可基于深度间断性以3D分割对象(步骤59)。一些对象可能在深度间断分割之后将相对较小,例如,几乎完全被一个人遮蔽的另一个人将呈现为小型斑点。这种方式可用来追踪这种小对象使得其可被分类而不是将其过滤出去。
参考图4,用本文其它地方公开的传感器校准结果,前景斑点可被变换成3D全局坐标,且可估计其实际高度和体积(步骤56)。如果选择的特性(诸如高度、宽度、纵横比、体积、加速度、速度和/或其它时空特性)是在检测阈值(例如动态计算的阈值、静态阈值等)之外,那么形态过滤可用来移除斑点。
可应用几何过滤来进一步移除场景边界之外的假斑点(步骤58)。深度背景界定环境的3D场景边界。表示真实对象的斑点应在3D边界内。即,如果斑点的深度大于深度背景的对应位置的深度,那么斑点在3D边界之外且可被移除,例如,从反射表面(诸如镜子)检测到的斑点。乘客或其它移动对象接着可容易通过背景减法技术来检测,其对照明改变、阴影和遮蔽具有高稳健性,从而提供精确的乘客数据。为了进一步增大检测稳健性,可替代地或另外使用时间信息,例如,通过追踪。
乘客追踪还可基于二进制前景图和追踪乘客并且估计其速度和移动方向的方法(诸如卡尔曼滤波器)。基于检测、追踪和计数,可获取乘客数据,诸如大厅中存在乘客、估计到达时间(ETA)和等待的乘客数目。接着,这个乘客数据可用来例如改进大厅电话登记和电梯调度。
举例来说,借助于深度感测装置的检测、追踪和计数可利于接近的乘客登记大厅电话,尤其是在终端楼层;如果轿厢已经在所述楼层,那么为接近的乘客打开轿厢门;基于接近的乘客预先定位轿厢;和/或基于接近的乘客的数目产生多个大厅电话,诸如当多个乘客基本上同时离开研讨会时。
在另一公开的非限制性实施方案中,传感器62可安装有朝向电梯门24和大厅H的FOV。这个位置利于持续监控大厅H使得可获得的信息远远比仅可在电梯门打开时感测大厅H的轿厢中的传感器可用的信息更完整且进一步超越其。替代或另外,可如上使用类似过程,但特别设计和训练用于3D深度图数据。
参考图6,在另一公开的非限制性实施方案中,传感器系统30B可包括在电梯轿厢22内的乘客追踪系统70以利于电梯门24的操作。乘客追踪系统70可包括与数据捕获模块74通信的传感器72以及与数据捕获模块74和门控制模块78通信的数据处理模块76。乘客追踪系统70可以是控制系统32的一部分、独立单元或其它系统(诸如,与控制系统32通信的基于云的系统)。
乘客追踪系统70可特别设计来使用深度图数据。追踪可被认为是贝叶斯估计问题,即,在给定先前系统状态、观测和不确定性的情况下特定系统状态的概率是什么。在这种追踪中,系统状态可以是追踪对象的位置(例如位置)且可能是速度、加速度和其它对象特性,例如如本文另外地方公开的目标特征。不确定性被认为是噪音。取决于针对数学可追踪性或效率所作出的简化假设,贝叶斯估计变成卡尔曼滤波(假设高斯加性噪音)的变体或粒子滤波(假设非高斯噪音)的变体。在2D和3D对象追踪中,目标上存在许多像素/三维像素的情况下,系统状态通常包括目标表示,其包括有差别的信息,诸如色彩描述符(仅是2D的)、形状描述符、表面反射率等。可能目标模型是传感器且是专用的。
用于乘客追踪系统70的深度数据追踪的一个公开非限制性实施方案是基于卡尔曼滤波且系统包括五个(5)变量:x、y、h、vx和vy,其表示目标的真实全局x和y位置、高度和在x方向和y方向上的速度。追踪过程包括两个步骤:预测和更新。恒定速度模型或其它类型的模型(诸如随机走动或恒定加速度模型)可应用于预测,且通过模型,先前深度图中的目标(其状态)可被转送到当前深度图中。视需要可使用更复杂的模型。在更新步骤中,首先当前深度图中的全部目标使用对象检测过程(即,基于深度的背景减法和前景分割)检测,如本文另外地方公开,接着检测目标基于全局最优分配过程(例如,Munkres分配)与预测目标相关联。目标的x、y和h变量用作为分配特征。特征(x、y和h)有效地用于针对追踪关联区分不同目标。
对于具有相关联检测目标的预测目标,可根据卡尔曼等式视观测用相关联的检测目标更新目标系统状态。对于不具有相关联检测目标的预测目标,系统状态可保持相同,但目标的置信度将减小,例如,针对已经离开的视域的目标。如果置信度下降到预定或选择值以下,那么将解除追踪。对于不具有相关联预测目标的检测目标,将启动新的追踪器。
可替代或另外应用类似粒子滤波的其它追踪方式,其将在目标突然改变其速度的情况下更稳健。卡尔曼方式需要相对少的计算成本且因此可更适于实时应用。
在这个实施方案中,传感器72可安装在电梯轿厢22的顶部,其FOV向下且朝向电梯门24。传感器72由此可操作来察觉到轿厢22中的乘客,且还在电梯门24打开时可操作来察觉到大厅H中的乘客。数据捕获模块74从传感器72捕获数据,例如3D深度图数据。当门控制模块78发送信号来打开门24时,例如在电梯22停在楼层之后,门控制模块78还可触发信号使数据捕获模块74捕获传感器数据。在一个实施方案中,乘客追踪仅可在门24打开时启用和/或可在门24关闭时不启用。在另一实施方案中,数据捕获模块74可持续处理数据且由此检测门24何时打开,从而消除对来自门控制模块78的这个信息的需要,使得门控制模块78没有门位置信息。
参考图7,在另一公开非限制性实施方案中,以功能方块图公开了用于检测电梯轿厢22和大厅H中的对象的过程80,且应了解可在专用硬件电路或能够在基于微处理器的电子控制实施方案中执行的编程软件程序中制定这些功能。
数据捕获模块74将数据传递到数据处理模块76来检测电梯轿厢22中以及大厅H中的对象(步骤82)。对象检测可包括如本文其它地方公开的前景检测和使用用于深度数据的计算机视觉过程的乘客检测。乘客检测可通过人类模型拟合(例如通过使用可变形部分模型)和分类来实现,其中检测和分类可被训练用于FOV和3D深度图数据。
接着,将追踪检测对象来获取其移动速度和方向(步骤84)。速度和方向可在传感器坐标系统中和/或通过传感器校准处于全局坐标系统中,如本文其它地方另外公开。如果检测乘客正好站在电梯轿厢22或大厅H中,那么其移动速度是0,其指示这些乘客不会马上乘坐或离开电梯轿厢22。
对于基于深度图的追踪,可使用各种过程,如本文其它地方公开。举例来说,特定运动检测功能使用贝叶斯估计来确定乘客是只是正在移位还是有意从轿厢22内移向门24。这对特定识别拥挤轿厢22后方的乘客想要离开的情况尤其有益。
利用电梯轿厢22和大厅H中的乘客移动速度和方向的信息,可分别控制电梯门24(步骤86)。举例来说,如果许多乘客乘坐或离开,那么电梯门24可被控制来保持打开比常规相对更久且接着在全部乘客已经乘坐或离开之后迅速关闭。相反地,如果没有乘客等待乘坐或离开,那么电梯门24可被控制来比常规相对更快地关闭以减少乘客等待时间并提高通行效率。
参考图8,在另一公开的非限制性实施方案中,传感器系统30C可包括未占用轿厢确定系统90来利于确定电梯轿厢22是否被占用,因为未占用电梯轿厢22可比占用电梯轿厢22有利地移动快五倍到十倍,或以使乘客不舒适的其它方式和/或在编码限制内移动。
未占用轿厢确定系统90可包括与数据捕获模块94通信的传感器92,以及与数据捕获模块94和轿厢状态模块98通信的数据处理模块96。未占用轿厢确定系统90可以是控制系统32的一部分、独立单元或其它系统(诸如,与控制系统32通信的基于云的系统)。未占用轿厢确定系统90可另外包括负载传感器100,其与数据捕获模块94和数据处理模块96通信。
参考图9,在另一公开的非限制性实施方案中,以功能方块图公开了用于确定电梯轿厢22未被占用的过程110,且应了解可在专用硬件电路或能够在基于微处理器的电子控制实施方案中执行的编程软件程序中制定这些功能。
负载传感器100可操作以感测电梯轿厢22的当前负载重量,且还可进一步确定感测的负载重量是否小于预设阈值。负载传感器100还可触发信号给数据捕获模块94来指示电梯轿厢22较高概率(例如,大于80%或90%或95%)是空的(步骤111)。如果数据捕获模块94从负载传感器100接收空信号,那么数据捕获模块94将把当前深度图传感器视图传送到数据处理模块96(步骤112)用于通过应用数据捕获过程进一步确认轿厢22是空的(步骤113)。然而,负载传感器100可以是相关过程传感器且会容易随时间改变其精确度。如果负载传感器100足够不精确,那么可期望数据捕获模块94继续运行而不是由负载传感器100触发。
将3D深度感测传感器用作为传感器92利于通过轿厢内前景检测或乘客检测确认空轿厢,其中各个分析过程被修改而在深度数据下操作,如本文其它地方公开。3D深度感测传感器可利于精确识别乘客、之前无法检测的对象(例如,诸如公文包、雨伞、行李等)或包括前述中至少一个的组合。这种识别可伴随有听得见的通知,举例来说,“请牢记您的财物”。应了解可替代地提供其它适当警报。
数据处理模块96的输出可包括指示轿厢22是否被确认未占用(步骤114)的信号。在这个信号下,可精确地应用电梯待机模式、未占用移动模式和/或多轿厢功能(步骤120)。
来自数据处理模块96的信号可另外或替代地被输入到负载传感器100用于重新校准来维持其精确度(步骤116)。举例来说,在通过传感器92确认空轿厢22之后,可重新校准负载传感器100。特定来说,如果确认轿厢22是空的,那么由负载传感器100感测的负载重量可被设置成零,或可使用差值来调整负载感测等式中的偏移量。
在另一公开的非限制性实施方案中,可使用未占用轿厢管理系统120来利于电梯轿厢电话的操作、轿厢调度和轿厢运动,其是基于确定电梯轿厢22是否未被占用来进行管理。更特定来说,未占用轿厢管理系统120可被使用以在轿厢22未被占用时取消全部其余轿厢电话、平衡轿厢22之间的乘客数目、将乘客引导到特定轿厢22和/或改变运动轮廓来增强乘客体验、改进调度和/或提高通过量。
参考图10,在另一公开的非限制性实施方案中,传感器系统30D可包括电梯监控系统130以利于检测电梯轿厢22内的对象和/或滞留乘客。电梯监控系统130可包括传感器132,诸如3D深度感测传感器。使用3D深度感测传感器易于克服2D成像固有的限制,诸如照明改变和遮蔽,如本文其它地方公开。
传感器132与数据捕获模块134通信,且数据处理模块136与数据捕获模块132和救援中心模块138通信。系统130可以是控制系统32的一部分、独立单元或其它系统(诸如,与控制系统32通信的基于云的系统)。
电梯操作监控模块140还可与数据捕获模块134通信。电梯操作监控模块140监控电梯系统20的状态且如果存在任何故障,那么电梯操作监控模块140会触发传感器132。数据捕获模块134在被触发时将从传感器132捕获一个或多个深度图用于传递到数据处理模块136。数据处理模块136接收3D深度图数据且可应用各种分析过程来确定电梯轿厢22中是否存在任何乘客或对象,如本文其它地方公开。数据捕获模块134还可在不被电梯操作监控模块140触发的情况下继续运行。
在诸如停电的故障下,可提供备用电池142来继续3D感测和处理。继续的3D感测和处理的实施方式因此可以是通过在断电条件下审慎使用来保存电池寿命。
参考图11,在另一公开的非限制性实施方案中,以功能方块图公开了用于操作电梯监控系统130的过程150,且应了解可在专用硬件电路或能够在基于微处理器的电子控制实施方案中执行的编程软件程序中制定这些功能。
过程150提供初始数据处理来基于深度背景减法而提取前景区域(步骤152)。深度背景模型可推理产生且视需要进行更新。举例来说,深度背景模型的产生可基于编码本过程。用主动3D传感器的深度背景减法有利地耐抗照明改变,因为传输的信号用来确定深度。
接着,基于深度图和空间信息分割前景区域(步骤154)。在这个步骤中,对应于不同乘客或其它对象(诸如行李)的区域可从背景中分割出。最后,用人形模型检查每个分割区域来确定深度数据是否是人(步骤156)。在一个实例中,基于深度的人形模型可以是可变形部分模型来增大对遮蔽的耐抗。基于部分的模型还可被训练用于深度数据和传感器FOV来增大精确度。可针对不同乘客姿势建立多个模型,诸如站立、坐下和躺下。接着,举例来说,输出结果来指示乘客或对象的数目(步骤158)。数据处理模块136因此不仅输出关于电梯轿厢22中是否存在滞留乘客的信息,还将滞留乘客数目的信息输出来传递到救援中心模块138以利于合适的救援响应。
参考图12,在另一公开的非限制性实施方案中,传感器系统30E可包括特殊负载系统160以利于检测特殊负载状况。如本文定义,特殊负载状况可包括负载除了人类乘客之外的任何对象和比常规花费相对较长时间的任何负载,例如,轮椅、老年人、带有较大行李架的乘客等。
在检测特殊负载状况下,特殊负载系统160改进了乘客体验和通行性能。举例来说,电梯控制器32的电梯调度系统可给电梯轿厢22分配足够自由空间且电梯门控制器78(图6)可使电梯门24保持较长时间打开来适应较慢移动的乘客或其它特殊负载状况,诸如大行李(其甚至可能进出轿厢22多次来装载)、服务车或甚至是自动车辆。
特殊负载系统160可包括传感器162(安装在大厅H中或在远程信息亭中)来通过本文其它地方公开的分析而查看需要电梯轿厢22的乘客。将3D深度感测传感器用作为传感器162克服了2D成像器的上述基本局限性。
传感器162与数据捕获模块164通信,数据捕获模块164与数据处理模块166通信,数据处理模块166与数据捕获模块164和特殊负载检测模块168通信。特殊负载检测模块168还可从分类器模块170接收信息且与电梯控制系统172通信。系统160可以是控制系统32的一部分、独立单元或其它系统(诸如,与控制系统32通信的基于云的系统)。
参考图13,在另一公开的非限制性实施方案中,以功能方块图公开了用于操作特殊负载系统160的过程180,且应了解可在专用硬件电路或能够在基于微处理器的电子控制实施方案中执行的编程软件程序中制定这些功能。
首先,如本文公开,响应于检测到乘客需要召唤电梯轿厢(步骤182),特殊负载过程180将从传感器162获取深度图数据(步骤184)且接着将深度图数据传递到数据处理模块166(步骤186)。数据处理模块166接着操作来从背景分割出前景对象,如本文其它地方公开(步骤168)。这利于聚焦于前景对象且消除背景影响。被适当修改且训练用于深度数据的各种背景建模和减法过程可应用于分割前景对象,如本文其它地方公开。
在已经分割前景对象之后,空间或时空分类方式利于检测这些前景对象是否构成特殊负载状况(步骤190)。对于特殊负载状况的一般情况,可能难以针对全部可能的特殊负载状况手动定义有用的特征并且包括传感器数据和环境中的大量可能变动。因此,特殊负载过程180可被训练来获悉不同于常规负载的特殊负载状况的特征或特征层级。
在这些自动获悉的特征下,可通过分类器模块170有效地分类特殊负载检测(步骤192)。举例来说,分类步骤190可以是特征获悉和分类,诸如通过深入学习网或稀有学习字典。可有利地使用本领域中已知的其它分类器。举例来说,可脱机实施分类器训练用于各个对象,且对于实时检测,对象检测可基于预定要求特别定制。这允许特殊负载系统160更适于各种特殊负载检测需要以及容易提供可量测性。
另外,检测到的特殊负载状况可被构建到邻近电梯的楼层面积。举例来说,这种制图构建可包括距电话按钮信息亭的距离和实际移动速度,使得电梯控制系统172可为特定调度决定和运动/门控制而定制(步骤194)。举例来说,这可以在一个步骤中实施。举例来说,识别每个特殊负载状况时,分类器直接输出获悉的所需楼层面积和实际移动速度。在替代实施方案中,这可在两个步骤中实施,首先分类特殊负载状况,接着针对特殊负载状况调节传感器数据的随后处理,举例来说,来计算楼层面积、速度或其它信息。
在一个实例中,且参考图14,可追踪特殊负载状况,诸如在信息亭“K”上按按钮的携带行李箱“L”的乘客,来获取移动速度“S”,从而从到电梯轿厢22的距离“D”提供ETA(估计到达时间)。ETA因此可用于适当调度和在充足停留时间内的门控制。
参考图15,在另一公开的非限制性实施方案中,传感器系统30F可包括自动校准系统200以利于精确确定关键的校准参数而不是依赖于安装者的劳力、技能和另外设备。
自动校准系统200可包括传感器202,诸如3D深度感测传感器,其可实施其它功能,诸如本文其它地方公开的功能。传感器202可布置在电梯轿厢22内或在电梯大厅H内。传感器202与数据捕获模块204通信,且数据捕获模块204与数据处理模块206通信且可与自动校准过程210通信。数据处理模块206还可与自动校准过程210通信。自动校准系统200可以是控制系统32的一部分、独立单元或其它系统(诸如,与控制系统32通信的基于云的系统)。
数据处理模块206还包括过程210(图16)用于自动校准系统200的操作。在另一公开的非限制性实施方案中,以功能方块图公开了用于传感器202的自动校准的过程210,且应了解可在专用硬件电路或能够在基于微处理器的电子控制实施方案中执行的编程软件程序中制定这些功能。
最初,可通过使用如本文其它地方公开的背景减法和前景分割由视域中移动对象的系统200来确定传感器坐标系统的至少一次测量。接着,用来建立数学关系(诸如捕获校准信息的变换矩阵)的数据被记录到关于通过全局坐标(x,y,z)空间的乘客移动的传感器坐标系统(u,v,d)中(步骤214)。
接着,关于场景几何的假设(例如,楼层是平坦的;乘客直立站在地面上;乘客不改变高度;门与地面垂直等)用来比较记录的传感器坐标系统数据与关于乘客高度的统计数据(图17和图18;步骤216)。例如,通过满足简单纵横比阈值的连接组件来检测直立乘客。一旦检测到足够的直立乘客,就可确定地板平面且可针对每个地板位置计算乘客的高度分布。
从对乘客高度分布的预定了解(图18),可校准Z轴(步骤218)。从乘客高度分布的这个Z轴校准可被认为是系统识别问题,其中必需持久且充分的输入是通过视域的乘客的尺寸和运动。记录的高度数据可在设置周期期间收集,保存一段时间段和/或受到遗忘因素的影响。
从作为范围的函数的视在高度或三维像素纵横比,接着可基于Z轴校准来校准(X,Y)轴(步骤220)。传感器坐标数据接着可被映射到绝对或“公制”单位的全局坐标系统中(步骤222)。
为了进一步利于识别乘客的意图(诸如接近、离开或经过),还可确定电梯门24的位置。电梯门24的位置可基于各种方法来确定,诸如检测乘客出现、消失的位置、深度改变检测、电梯轿厢的深度、电梯门水平移动和形状识别。即,还可延伸场景几何的推论来定位门、视域边缘等。另外,任何这些技术可在方便的情况下与安装者输入组合。所述方法可监控校准信息的矩阵数学关系估计的收敛来确定何时已经达到足够精确度。
在替代实施方案中,可在传感器坐标系统(u,v,d)中估计地板平面和电梯门位置且可在这个坐标系统中实施全部追踪。在这种情况下,可通过定时乘客追踪来获悉估计到达时间,例如作为经验图的函数。
在替代实施方案中,可在试运转期间通过使安装者遵循标准操作程序来建立电梯门24的位置,因此校准试验台相对于电梯门24定位。举例来说,试验台可定位成与电梯门24的中心齐平且与电梯门24垂直定向。另外特征可用来指示具有独特识别特征的校准试验台上的每个校准点,诸如使用颜色、形状或图案,诸如QR码。
在另一替代实施方案中,可识别除了电梯门24之外的其它受关注区域。例如,可指定乘客固定工具的位置(诸如COP 28)、目的地入口信息亭、自动扶梯入口/出口平台的位置、转门/访问控制装置的位置、房间入口、门口等。
参考图19,在另一公开的非限制性实施方案中,传感器系统30G可包括乘客追踪系统230来检测大厅H和电梯轿厢22中的乘客而将全部信息链接在一起以针对建筑中的每个个体产生通行列表(图20)用于各种应用。举例来说,基于通行列表信息的通行图案预测可集中在整个建筑层面的乘客通行信息上而不是单个区域或多个区域。通行列表信息提供了关于建筑中乘客行为的更详细信息,且还可用于除了电梯控制和调度之外的各种应用。
乘客追踪系统230可包括多个传感器242,其通过控制系统32与电梯系统20通信。在一个实例中,传感器242位于每个大厅H和每个电梯轿厢22中。或者,传感器242仅位于每个电梯轿厢22中。传感器242可以是2D成像器、3D深度感测传感器或其任何组合。
参考图21,在这个公开的非限制性实施方案中,以功能方块图公开了用于操作电梯追踪系统230的过程250,且应了解可在专用硬件电路或能够在基于微处理器的电子控制实施方案中执行的编程软件程序中制定这些功能。
通行列表(图20)包含已经使用电梯的每个个体乘客的详细信息,诸如到达时间、起点大厅、目的地大厅等。为了产生通行列表,从大厅的起点开始追踪每个个体乘客,直到乘客离开目的地大厅时为止,以及在起点大厅与目的地大厅之间的轿厢内追踪。
为了产生追踪列表,传感器242可基于各种乘客检测和追踪过程收集乘客信息,如本文其它地方公开。最初,当人员出现在大厅时或从电梯轿厢22离开之后可检测和追踪每个人员(步骤252)。如果传感器242是3D深度传感器,那么可应用本文其它地方公开的检测和追踪过程。如果传感器242是2D成像传感器,那么可由多个注册传感器信道通过输入图像的线性和/或非线性变换来计算“完整信道特征”,接着可通过提升算法(boosting)获悉基于“完整信道特征”的乘客检测模型,其提供了稳健且快速的方式来获悉给定的大量候选特征,且当与串联分类器耦接时成了快速检测器。举例来说,这个检测和追踪过程可基于2DRGB视频。
在一个实施方案中,设计了两个追踪器来追踪一个目标:通过在线提升算法的头部肩部追踪器和基于粒子滤波的身体追踪器。空间局限性还可用来组合两个追踪器,且提升的在线分类器可维持用于遮蔽和消失判断。
举例来说,当人员进入电梯轿厢时,轿厢内的检测和追踪被触发(步骤254)。即,每个人员在轿厢内时且当人员在目的地大厅时被追踪(步骤256)。对于轿厢内的追踪,传感器相对朝下查看,因此乘客将看似只有头部和肩部出现在视域中。这在当其中乘客拥挤时会使追踪变复杂。为了解决2D图像传感器的这个复杂处,举例来说,每个乘客的头部首先通过圆霍夫变换被检测,接着形成基于光流的运动估计来过滤出静止候选者并调整头部检测结果来封围每个乘客。为了进一步利于轿厢内追踪,运动导向的粒子滤波方式可组合两个特征,例如HSV色彩柱状图和边缘定向柱状图,且基于运动估计使用有效的模型更新策略。
为了使在一个传感器的FOV中追踪的人员与另一传感器的FOV中追踪的同一人员保持相关联,大厅/过道追踪和轿厢内追踪在当乘客从大厅/过道移动到轿厢中时相关联且反之亦然。2D图像传感器移交关联问题可对重叠和非重叠视域以及校准和非校准视域使用视觉监视技术。在一个实例中,可使用色彩或形状计算描述符(例如特征向量),且接着这个描述符用来计算跨过不同视域的正确关联。
在3D追踪中,无法用共通2D描述符(诸如色彩)和2D投影形状(例如,2D梯度)。这样,可使用3D描述符,即,表面反射率柱状图、空间定向的3D梯度的柱状图(HoSG3D)等。HoSG3D不同于2D HoG3D描述符,因为第三维是空间,而在HoG3D中,第三维是时间。然而,乘客形状乘客可充分类似于仅使用HoSG3D会不具充分判别力来清楚将追踪从一个传感器移交到另一个。
在另一实施方案中,进入电梯轿厢的乘客自然顺序可用来关联追踪,例如,一个感测体积中的第一消失追踪与另一感测体积中的第一新获追踪相关联等。即,也可能不足够精确,因为乘客在离开两个感测体积时可能交换顺序,且不会发生轿厢进入的严格顺序。为了确保精确度,重叠、校准感测体积提供了更好的性能,因为可已知重叠感测体积中的对象位置处于相同空间位置。
在另一实施方案中,或可使用上述技术的组合。当多种技术提供了正确追踪关联的矛盾信息时,可通过解决贝叶斯估计问题来最大化在给定观测和不确定性下正确关联的概率来解决不明确性。将意识到关联问题的其它数学公式是可能的。针对位于大厅中的传感器242A与位于电梯轿厢22中的传感器242B之间的追踪移交,可使用基于图表的最优化方式(图22)。在一个实例中,基于图表的最优化方式包括三层节点,表示起点大厅的追踪、轿厢内追踪和目的地大厅追踪。
接着,通过基于图表的最优化260来找到整体最佳路径而解决追踪移交。示例性基于图表的最优化260可通过顺序和时间差来加权。即,当乘客通常以顺序方式进入和离开轿厢时,容易实现其过滤来通过权重和节点的类似处而提供最佳路径。
参考图23,如果电梯门24打开,那么门24的垂直边缘(当被基于线的霍夫变换检测时)将按顺序横穿区域1、2和3,且如果门关闭,那么门边缘将按顺序横穿区域3、2、1。电梯门24的位置还可通过位于电梯轿厢22中的传感器242B或位于大厅H中的传感器242A来确认,其中查看电梯门24来确认门正打开、打开了、正关闭、关闭了。即,电梯门状态可从电梯控制器32输入或可由传感器242A/242B检测来提高追踪移交解决方案的性能和效率。举例来说,仅在当电梯门打开时才需要实施追踪移交。应了解其它运输也将受益于此。
参考图24,在另一公开的非限制性实施方案中,传感器系统30H可包括基于融合的乘客追踪系统270来预测乘客的可能移动,接着基于瞬时需要适当地分配电梯轿厢以便为建筑中的电梯乘客带来更多效率和便利。具有完整精确通行列表的电梯系统(图20)可(举例来说)基于每小时、每天、每星期等来预测乘客的可能移动,且基于预期通行使用电梯来为电梯乘客提高效率和便利。为了实现稳健通行列表的产生,提供了基于融合的通行列表产生方法。
现在参考图25,基于融合的乘客追踪系统270可包括多个安全传感器280a到280n,其通过控制系统32与电梯系统20通信。即,来自本质上为控制系统32提供数据的安全传感器280的传感器数据包括但不限于面部识别、徽章识别、指纹虹膜数据、安全卡信息等。在没有监控覆盖的区域或未很好实施分析过程的区域,额外安全传感器可识别人员且接着使用传感器融合关闭通行列表中的间隙来使整个过程更稳健。在身份与乘客相关联的任何情况中,保存身份和关联乘客追踪数据的方式是通过使用加密、认证和其它安全措施来保护隐私。
传感器融合可通过贝叶斯推论来实施,但在替代实施方案中可通过任何熟知技术来实施。利用安全信息和通行历史数据,可确定在建筑中移动的人员的图案来了解常规行为并且提高电梯服务。在这个公开的非限制性实施方案中,通行列表含有使用电梯传感器284的乘客的详细信息以及来自各个安全传感器280的安全数据。来自各个传感器的数据被融合且通过控制系统32被传递到电梯系统20。识别信息与这个人的视觉描述特征链接,因此在不同成像器或传感器视野下的整个通行列表将具有ID信息。即,乘客通行列表是基于大厅和轿厢追踪结果之间的协调(“移交”)。接着,融合的数据可用以利于电梯调度。
可预定义移交规则,诸如先进先出规则。对于先进先出规则,当大厅传感器和轿厢传感器同时针对相同区域中追踪的目标进行操作,且一个乘客从大厅移动来乘坐轿厢时,这个离开大厅进入轿厢的信息就可用来将来自大厅的追踪器链接到轿厢中的追踪器。当乘客离开轿厢且进入大厅时,类似规则(离开轿厢进入大厅)可应用于使轿厢中的追踪器与大厅中的追踪器链接。
在一个实例中,安全传感器识别特定乘客且与全部其它传感器共享其安全数据而使追踪结果与该乘客的ID链接。第二,在一些区域中,其中未安装安全传感器,安全凭证信息可用来继续追踪建筑中存在该乘客且以这种方式继续为所述乘客产生通行列表。还可与其它成像器或传感器共享源自于一个成像器或传感器视野的额外信息来进一步改进跨过非重叠视野的追踪关联。
可使用对乘客意欲目的地的可能性预测的贝叶斯推论随时间组合单个乘客的通行列表,其中时间作为参数。这种系统可获悉乘客A总是清早到楼层N,通常在中午到楼层C(自助餐厅)且总是在傍晚到停车库。
另外,可再次使用贝叶斯推论随时间组合多个乘客的通行列表,其中时间作为参数。这种系统利于在日常以及周末、假期等期间用于整个建筑的电梯用途的统计分布确定。这个消息可用于预先分配轿厢来运行(甚至是有意跳过楼层)用于有效停置、调度轿厢等。
给出通行列表的信息,通过用于实时解决最优化问题的技术来实现电梯最优化。通行列表信息还可用于其它电梯相关应用(诸如电梯日常负载估计)来提供一个精确的能量报告用于将来的能量节约、基于反常通行列表信息的电梯系统诊断、现代化价值主张等。
参考图26,在另一公开的非限制性实施方案中,过程300可进一步使用电梯传感器284,以及来自各个安全传感器280的安全数据来为乘客便利识别特定乘客,从而最优化电梯操作、改进操作和/或用于各种安全目的。过程300允许多个乘客同时进入轿厢而不混淆目的地。
最初,例如当乘客接近电梯时可在起点大厅识别乘客(步骤302)。电梯传感器284可同时操作、全异视角、多传感器识别、特定组合2D成像器;和1D、2D或3D深度传感器以及其替代物或组合,即2D/3D。再者,来自各个成像器和深度传感器的数据被融合且通过控制系统32传递到电梯系统20。举例来说,可通过乘客已知的事物(例如密码)、乘客拥有的事物(例如令牌或ID卡)和/或乘客类别(例如独特生物特征)来识别乘客。在一个生物特征实例中,面部识别相对便宜且良好发展。
接着,基于被识别人员登记用于预定义目的地楼层的电话(步骤304)。期望楼层的确定可由人员事先录音或可由通行分析(诸如通过通行列表)自动获悉。即使利用识别和追踪能力,在没有能够忽略异常值的统计分析下,即由于偶然的非典型电梯使用,无法自动辨别特定个体的图案。在一个实施方案中,使用用于这种异常值忽略获悉的稳健主要成分分析(RPCA)。在另一实施方案中,可使用贝叶斯推论。
接着,特定电梯轿厢被分配给人员,且所述人员被引导到适当轿厢(步骤306)。各种分配可基于特定识别、普通用途等,使得特定乘客总是被引导到最近轿厢、最快轿厢到达他或她的目的地等。
如果人员乘坐错误轿厢或被导向错误轿厢,那么分配的轿厢还可装配有警报。警报可基于追踪乘客进入轿厢,然而警报不一定是要求离开,因为这种要求会造成消极的顾客体验。在一个实例中,警报可用来撤销先前轿厢中的乘客且登记新轿厢22中的意欲目的地楼层。电梯调度接着可实时重新最优化,包括重新引导乘客穿过空中大厅来提供期望的通过量和顾客体验。
接着,可追踪乘客从大厅进入轿厢,在中转期间,接着通过目的地大厅,如上文讨论。在一些情况中,当在轿厢内追踪乘客时,可识别不同目的地的选择。举例来说,当追踪乘客以与目的地一致时,人员已经按下按钮来改变目的地的分析以及关于按下哪个按钮的来自轿厢控制器的时间相关信息可用来识别目的地的改变。一旦识别目的地的改变,由此就可实施通过量最优化。
举例来说,如果乘客在不同于为该特定乘客登记的目的地错误地离开,那么过程300还可警告乘客(步骤308)。在一个实施方案中,可期望在乘客实际上错误离开之前就警告乘客。过程300由此可通过追踪分析推断乘客企图或开始朝向门移动,例如朝向轿厢前部移动。顾客警报可通过听得见的声音信号完成。或者,为了安全目的,警报可安静地通知安全人员或系统且追踪乘客。
本文公开和描绘的元件(包括附图中的流程图和方块图)意指元件之间的逻辑边界。然而,根据软件或硬件工程实践,描绘的元件及其功能可通过计算机可执行介质在机器上执行,计算机可执行介质具有能够执行存储在其上的程序指令的处理器,所述程序指令作为单片软件结构、作为独立软件模块或作为使用外部程序、代码、服务等的模块,或这些的任何组合,且全部这些执行方案可落入本公开的范围内。
应了解相对位置术语(诸如“向前”、“向后”、“上”、“下”、“上方”、“下方”、“底部”、“顶部”等)是参考常规操作姿势且不应被认为是以另外方式限制。
应了解贯穿多幅图中的相同参考数字识别对应或类似元件。还应了解虽然图示的实施方案中公开了特定组件配置,但其它配置将受益于此。
虽然不同非限制性实施方案具有特定说明的组件,但本发明的实施方案不限于这些特定组合。可能使用来自任何非限制性实施方案的组件或特征中的一些与来自任何其它非限制性实施方案的特征或组件组合。
虽然示出、公开和要求了特定步骤顺序,但应了解步骤可以任何次序实施、分离或组合,除非另外指明,且仍将受益于本公开。
前述描述是示例性的而非定义成受限于其内。本文公开了各种非限制性实施方案,然而,本领域的一般技术人员将意识到根据上述教示,各种修改和变更将落入附属权利要求的范围内。因此,将了解在附属权利要求的范围内,可实行除了特定公开之外的公开内容。由于这个原因,应研读附属权利要求来确定真实范围和内容。

Claims (27)

1.一种乘客追踪系统,其包括:
一个或多个传感器,其用于捕获传感器数据;和
处理模块,其与所述一个或多个传感器通信来接收所述传感器数据,其中所述处理模块使用所述传感器数据来追踪对象并且计算与所述追踪对象相关联的乘客数据来产生乘客追踪列表,所述乘客追踪列表从起点运输大厅到目的地运输大厅呈所述传感器数据追踪乘客;
其中在从起点运输大厅到运输乘客外壳和从运输乘客外壳到目的地运输大厅中的至少一个的乘客转移期间维持独有的乘客身份。
2.根据权利要求1所述的系统,其中用于捕获传感器数据的所述一个或多个传感器中的至少一个位于邻近运输系统的运输大厅中。
3.根据权利要求1到2中任一项所述的系统,其中用于捕获传感器数据的所述一个或多个传感器中的至少一个位于运输乘客外壳中。
4.根据权利要求1所述的系统,其中所述传感器数据是来自深度感测传感器的2D深度数据和3D深度数据中的至少一种。
5.根据权利要求4所述的系统,其中所述深度感测传感器包括结构光测量、相移测量、飞行时间测量、立体三角测量装置、光三角测量装置板、光场相机、编码孔径相机、计算成像技术、同时定位和地图构建(SLAM)、成像雷达、成像声纳、扫描LIDAR、闪光LIDAR、被动红外线(PIR)传感器和小型焦平面阵列(FPA),或包括前述中至少一个的组合。
6.根据权利要求1所述的系统,其中所述处理模块计算所述追踪对象的对象参数,其中所述对象参数包括对象计数、位置、尺寸、方向、加速度、速度、对象类别或包括前述中至少一个的组合。
7.根据权利要求1所述的系统,其中如果所述追踪对象被分类成乘客,那么所述处理模块计算所述乘客数据。
8.根据权利要求1所述的系统,其中乘客在起点运输大厅、运输乘客外壳、目的地运输大厅中的至少一个中被追踪。
9.根据权利要求8所述的系统,其中当乘客在相应大厅内时被两个追踪器追踪。
10.根据权利要求9所述的系统,其中所述两个追踪器包括头部肩部追踪器和身体追踪器。
11.根据权利要求10所述的系统,其中所述头部肩部追踪器是基于在线提升且所述身体追踪器是基于粒子滤波。
12.一种用于电梯系统的乘客追踪的方法,所述方法包括:
追踪起点运输大厅中的个别乘客;
追踪所述个别乘客从所述起点运输大厅直到在运输乘客外壳内;和
追踪所述个别乘客从所述运输乘客外壳进入目的地运输大厅中来产生通行列表;
其中在从起点运输大厅到运输乘客外壳和从运输乘客外壳到目的地运输大厅中的至少一个的乘客转移期间维持独有的乘客身份。
13.根据权利要求12所述的方法,其中使用来自所述运输乘客外壳中的传感器的传感器数据来实施所述追踪。
14.根据权利要求12所述的方法,其还包括当所述个别乘客在所述运输乘客外壳中时追踪所述个别乘客。
15.根据权利要求14所述的方法,其还包括追踪每个个别乘客的头部。
16.根据权利要求15所述的方法,其还包括通过圆霍夫变换检测每个个别乘客的所述头部且通过粒子滤波追踪所述头部。
17.根据权利要求15所述的方法,其还包括基于光流调整所述头部的检测结果来封围每个个别乘客。
18.根据权利要求12所述的方法,其中追踪所述个别乘客从所述起点运输大厅直到在运输乘客外壳内以及追踪所述个别乘客从所述运输乘客外壳进入目的地运输大厅中的至少一个包括追踪移交方式。
19.根据权利要求18所述的方法,其中追踪所述个别乘客包括边缘加权基于图表的最优化。
20.根据权利要求12到19中任一项所述的方法,其还包括按顺序和时间差进行边缘加权。
21.根据权利要求12所述的方法,其中追踪所述个别乘客从所述起点运输大厅直到在运输乘客外壳内以及追踪所述个别乘客从所述运输乘客外壳进入目的地运输大厅来产生通行列表中的至少一个包括运输乘客外壳门打开/关闭识别。
22.根据权利要求12所述的方法,其还包括随时间组合每个个别乘客的多个通行列表。
23.根据权利要求22所述的方法,其还包括随时间组合多个个别乘客中每一个的多个通行列表,其中时间作为参数,来利于用于整个建筑的统计分配确定。
24.根据权利要求22所述的方法,其还包括随时间组合多个个别乘客中每一个的多个通行列表,其中时间作为参数,来利于用于地理区域的统计分配确定。
25.根据权利要求12所述的方法,其还包括随时间组合多个个别乘客中每一个的多个通行列表,其中时间作为参数,来利于用于日常负载估计的统计分配确定。
26.根据权利要求12所述的方法,其还包括随时间组合多个个别乘客中每一个的多个通行列表,其中时间作为参数,来利于用于系统诊断的统计分配确定。
27.一种乘客追踪系统,其包括:
一个或多个传感器,其用于捕获传感器数据;和
处理模块,其与所述一个或多个传感器通信来接收所述传感器数据,其中所述处理模块使用所述传感器数据来追踪对象并且计算与所述追踪对象相关联的乘客数据,以至所述乘客追踪系统被安排来从起点运输大厅到目的地运输大厅呈所述传感器数据追踪乘客以产生乘客追踪列表;
其中乘客在起点运输大厅、运输乘客外壳、目的地运输大厅中的至少一个中被追踪;以及
其中在从起点运输大厅到运输乘客外壳和从运输乘客外壳到目的地运输大厅中的至少一个的乘客转移期间维持独有的乘客身份。
CN201510158110.5A 2015-04-03 2015-04-03 用于乘客运输的通行列表产生 Active CN106144797B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201510158110.5A CN106144797B (zh) 2015-04-03 2015-04-03 用于乘客运输的通行列表产生
CN202011638877.5A CN112850406A (zh) 2015-04-03 2015-04-03 用于乘客运输的通行列表产生
EP16163708.7A EP3075693B1 (en) 2015-04-03 2016-04-04 Traffic list generation for passenger conveyance
US15/089,625 US11232312B2 (en) 2015-04-03 2016-04-04 Traffic list generation for passenger conveyance
US17/481,681 US11836995B2 (en) 2015-04-03 2021-09-22 Traffic list generation for passenger conveyance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510158110.5A CN106144797B (zh) 2015-04-03 2015-04-03 用于乘客运输的通行列表产生

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011638877.5A Division CN112850406A (zh) 2015-04-03 2015-04-03 用于乘客运输的通行列表产生

Publications (2)

Publication Number Publication Date
CN106144797A CN106144797A (zh) 2016-11-23
CN106144797B true CN106144797B (zh) 2020-11-27

Family

ID=56096890

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011638877.5A Pending CN112850406A (zh) 2015-04-03 2015-04-03 用于乘客运输的通行列表产生
CN201510158110.5A Active CN106144797B (zh) 2015-04-03 2015-04-03 用于乘客运输的通行列表产生

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011638877.5A Pending CN112850406A (zh) 2015-04-03 2015-04-03 用于乘客运输的通行列表产生

Country Status (3)

Country Link
US (2) US11232312B2 (zh)
EP (1) EP3075693B1 (zh)
CN (2) CN112850406A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11780703B2 (en) 2020-07-15 2023-10-10 Leandre Adifon Systems and methods for operation of elevators and other devices

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9323232B2 (en) * 2012-03-13 2016-04-26 Nokia Technologies Oy Transportion remote call system based on passenger geo-routines
US10712529B2 (en) 2013-03-13 2020-07-14 Cognex Corporation Lens assembly with integrated feedback loop for focus adjustment
US11002854B2 (en) 2013-03-13 2021-05-11 Cognex Corporation Lens assembly with integrated feedback loop and time-of-flight sensor
US10934135B2 (en) * 2015-02-23 2021-03-02 Inventio Ag Elevator system with adaptive door control
CN106144801B (zh) * 2015-04-03 2021-05-18 奥的斯电梯公司 用于特殊乘客运输工具负载状况的基于深度传感器的感测
CN112850406A (zh) 2015-04-03 2021-05-28 奥的斯电梯公司 用于乘客运输的通行列表产生
CN106144795B (zh) 2015-04-03 2020-01-31 奥的斯电梯公司 通过识别用户操作用于乘客运输控制和安全的系统和方法
CN106144861B (zh) * 2015-04-03 2020-07-24 奥的斯电梯公司 用于乘客运输控制的基于深度传感器的乘客感测
CN106144862B (zh) * 2015-04-03 2020-04-10 奥的斯电梯公司 用于乘客运输门控制的基于深度传感器的乘客感测
EP3299326A1 (en) * 2016-08-24 2018-03-28 Otis Elevator Company Communication with a trapped passenger in a transportation system
WO2018069565A1 (en) * 2016-10-12 2018-04-19 Kone Corporation Estimating the number of passengers in an elevator system
US20180111793A1 (en) * 2016-10-20 2018-04-26 Otis Elevator Company Building Traffic Analyzer
US10308477B2 (en) * 2016-10-24 2019-06-04 Echostar Technologies International Corporation Smart elevator movement
US9988237B1 (en) * 2016-11-29 2018-06-05 International Business Machines Corporation Elevator management according to probabilistic destination determination
US10081513B2 (en) * 2016-12-09 2018-09-25 Otis Elevator Company Motion profile for empty elevator cars and occupied elevator cars
US10259683B2 (en) * 2017-02-22 2019-04-16 Otis Elevator Company Method for controlling an elevator system
EP3598175B1 (en) 2017-03-14 2023-06-21 Konica Minolta, Inc. Object detection system
US10544007B2 (en) * 2017-03-23 2020-01-28 International Business Machines Corporation Risk-aware management of elevator operations
US10997421B2 (en) 2017-03-30 2021-05-04 Hrl Laboratories, Llc Neuromorphic system for real-time visual activity recognition
US10891488B2 (en) 2017-03-30 2021-01-12 Hrl Laboratories, Llc System and method for neuromorphic visual activity classification based on foveated detection and contextual filtering
US11055872B1 (en) * 2017-03-30 2021-07-06 Hrl Laboratories, Llc Real-time object recognition using cascaded features, deep learning and multi-target tracking
WO2018195996A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Multi-object tracking based on lidar point cloud
US10386460B2 (en) 2017-05-15 2019-08-20 Otis Elevator Company Self-calibrating sensor for elevator and automatic door systems
US10221610B2 (en) 2017-05-15 2019-03-05 Otis Elevator Company Depth sensor for automatic doors
CN109279461B (zh) 2017-07-20 2022-05-27 奥的斯电梯公司 电梯轿厢中的乘客人流的无缝跟踪
CN107480603B (zh) * 2017-07-27 2020-09-18 和创懒人(大连)科技有限公司 基于slam和深度摄像头的同步建图与物体分割方法
US11560288B2 (en) * 2017-10-30 2023-01-24 Hitachi, Ltd. Elevator operation management system and elevator operation management method
US10947086B2 (en) * 2017-11-30 2021-03-16 Otis Elevator Company Sequence triggering for automatic calls and multi segment elevator trips
US10947085B2 (en) * 2017-11-30 2021-03-16 Otis Elevator Company Sequence triggering for automatic calls and multi-segment elevator trips
EP3505961A1 (en) * 2017-12-29 2019-07-03 Cognex Corporation Lens assembly with integrated feedback loop and time-of-flight sensor
JP2019132019A (ja) * 2018-01-31 2019-08-08 日本電気株式会社 情報処理装置
CN110232701A (zh) * 2018-03-05 2019-09-13 奥的斯电梯公司 使用深度传感器网络的行人跟踪
CN110294372B (zh) * 2018-03-23 2023-02-28 奥的斯电梯公司 一种无线信号装置、电梯服务请求系统和方法
CN110451369B (zh) * 2018-05-08 2022-11-29 奥的斯电梯公司 用于电梯的乘客引导系统、电梯系统和乘客引导方法
US10837215B2 (en) * 2018-05-21 2020-11-17 Otis Elevator Company Zone object detection system for elevator system
CN110510486B (zh) * 2018-05-21 2023-03-14 奥的斯电梯公司 电梯门控制系统、电梯系统和电梯门控制方法
US20190382235A1 (en) * 2018-06-15 2019-12-19 Otis Elevator Company Elevator scheduling systems and methods of operation
CN110626891B (zh) * 2018-06-25 2023-09-05 奥的斯电梯公司 用于改进的电梯调度的系统和方法
CN110807345A (zh) 2018-08-06 2020-02-18 开利公司 建筑物疏散方法和建筑物疏散系统
US11745983B2 (en) 2018-08-08 2023-09-05 Otis Elevator Company Elevator system with LIDAR and/or RADAR sensor
US11332345B2 (en) 2018-08-09 2022-05-17 Otis Elevator Company Elevator system with optimized door response
GB201814019D0 (en) * 2018-08-29 2018-10-10 Avire Ltd An elevator door sensor controller
EP3628619A1 (en) * 2018-09-27 2020-04-01 Otis Elevator Company Elevator system
EP3628620B1 (en) 2018-09-27 2023-04-26 Otis Elevator Company Elevator system
US11697571B2 (en) * 2018-10-30 2023-07-11 International Business Machines Corporation End-to-end cognitive elevator dispatching system
US11661307B2 (en) * 2019-04-01 2023-05-30 Otis Elevator Company Crowd sensing for elevator systems
DE102019209847A1 (de) * 2019-07-04 2021-01-07 Thyssenkrupp Ag Fahrgastdetektionssystem für Fahrgastbewegungssysteme
CN110713082B (zh) * 2019-10-22 2021-11-02 日立楼宇技术(广州)有限公司 一种电梯控制方法、系统、装置和存储介质
US11305964B2 (en) 2020-07-15 2022-04-19 Leandre Adifon Systems and methods for operation of elevators and other devices
CN114180427B (zh) * 2021-11-29 2023-12-19 北京云迹科技股份有限公司 机器人及控制机器人乘坐电梯的方法、装置和存储介质
JPWO2023175650A1 (zh) * 2022-03-14 2023-09-21
CN115303901B (zh) * 2022-08-05 2024-03-08 北京航空航天大学 一种基于计算机视觉的电梯交通流量识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060037818A1 (en) * 2003-03-20 2006-02-23 Romeo Deplazes Three-dimensional monitoring in the area of an elevator by means of a three-dimensional sensor
JP2014131932A (ja) * 2013-01-07 2014-07-17 Toshiba Elevator Co Ltd エレベータシステム
WO2014122357A1 (en) * 2013-02-07 2014-08-14 Kone Corporation Personalization of an elevator service
US20150073748A1 (en) * 2012-06-27 2015-03-12 Kone Corporation Method and system for measuring traffic flow in a building

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3219151A (en) 1962-11-27 1965-11-23 Pacific Elevator And Equipment Elevator car call cancelling circuit which counts calls and compares with load
US3556256A (en) 1969-04-25 1971-01-19 Reliance Electric Co Elevator false car call cancellation control
US4299309A (en) 1979-12-27 1981-11-10 Otis Elevator Company Empty elevator car determination
US4939679A (en) * 1988-08-09 1990-07-03 Otis Elevator Company Recalibrating an elevator load measuring system
JPH07106839B2 (ja) 1989-03-20 1995-11-15 株式会社日立製作所 エレベーター制御システム
JPH0578048A (ja) 1991-09-19 1993-03-30 Hitachi Ltd エレベーターホールの待ち客検出装置
US5168136A (en) * 1991-10-15 1992-12-01 Otis Elevator Company Learning methodology for improving traffic prediction accuracy of elevator systems using "artificial intelligence"
JP3486424B2 (ja) 1991-11-27 2004-01-13 オーチス エレベータ カンパニー 空かご割当てにより混雑時サービスを改善する方法及び装置
US5387768A (en) 1993-09-27 1995-02-07 Otis Elevator Company Elevator passenger detector and door control system which masks portions of a hall image to determine motion and court passengers
US5487451A (en) 1994-01-26 1996-01-30 Otis Elevator Company System and method for determining the availability of an elevator car for response to hall calls
FI111620B (fi) * 1995-12-21 2003-08-29 Kone Corp Menetelmä ja laitteisto hissin toimintojen esittämiseksi
AU760298B2 (en) 1999-02-01 2003-05-08 Magnolia Star Pty Limited Object recognition and tracking system
US6707374B1 (en) 1999-07-21 2004-03-16 Otis Elevator Company Elevator access security
JP2001058765A (ja) 1999-08-20 2001-03-06 Mitsubishi Electric Corp 画像監視装置及び画像監視方法
EP1110899A1 (de) 1999-12-24 2001-06-27 Inventio Ag Verfahren und Vorrichtung zur berührungslosen Eingabe von Fahrbefehlen bei Aufzügen
JP2001302121A (ja) 2000-04-19 2001-10-31 Mitsubishi Electric Corp エレベータ装置
US7079669B2 (en) 2000-12-27 2006-07-18 Mitsubishi Denki Kabushiki Kaisha Image processing device and elevator mounting it thereon
US6675939B2 (en) 2001-01-31 2004-01-13 Inertia Dynamics, Inc. Elevator brake assembly
SG124246A1 (en) 2001-11-26 2006-08-30 Inventio Ag System for security control and/or transportation of persons with an elevator installation, method of operating this system, and method of retro-fitting an elevator installation with this system
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
EP1345445A1 (de) 2002-03-11 2003-09-17 Inventio Ag Raumüberwachung im Bereich eines Aufzugs mittels 3-D Sensor
ATE319263T1 (de) 2002-03-11 2006-03-15 Inventio Ag Video überwachungssystem mittels 3-d halbleiterbildsensor und infra-rot lichtquelle
EP1493130A1 (en) 2002-04-08 2005-01-05 Newton Security, Inc. Tailgating and reverse entry detection, alarm, recording and prevention using machine vision
US7165655B2 (en) 2002-05-14 2007-01-23 Otis Elevator Company Neural network detection of obstructions within and motion toward elevator doors
US7031525B2 (en) 2002-07-30 2006-04-18 Mitsubishi Electric Research Laboratories, Inc. Edge detection based on background change
US7397929B2 (en) 2002-09-05 2008-07-08 Cognex Technology And Investment Corporation Method and apparatus for monitoring a passageway using 3D images
US7920718B2 (en) 2002-09-05 2011-04-05 Cognex Corporation Multi-zone passageway monitoring system and method
JP5048912B2 (ja) * 2002-11-06 2012-10-17 インベンテイオ・アクテイエンゲゼルシヤフト エスカレータ及び動く歩道のビデオカメラ監視
JP2004338891A (ja) 2003-05-16 2004-12-02 Toshiba Elevator Co Ltd エレベータシステム
JP2005126184A (ja) 2003-10-23 2005-05-19 Mitsubishi Electric Corp エレベーターの制御装置
US7623674B2 (en) 2003-11-05 2009-11-24 Cognex Technology And Investment Corporation Method and system for enhanced portal security through stereoscopy
JP2005255244A (ja) 2004-03-08 2005-09-22 Hiroshima Ryoju Engineering Kk 多軸移動機構
JP2005255274A (ja) 2004-03-09 2005-09-22 Toshiba Elevator Co Ltd エレベータの防犯カメラシステム
JP4135674B2 (ja) 2004-04-26 2008-08-20 日本電気株式会社 エレベータ自動運転システム及びプログラム
US7712586B2 (en) 2004-05-26 2010-05-11 Otis Elevator Company Passenger guiding system for a passenger transportation system
US20060126738A1 (en) * 2004-12-15 2006-06-15 International Business Machines Corporation Method, system and program product for a plurality of cameras to track an object using motion vector data
US7529646B2 (en) 2005-04-05 2009-05-05 Honeywell International Inc. Intelligent video for building management and automation
US8024112B2 (en) * 2005-09-29 2011-09-20 Microsoft Corporation Methods for predicting destinations from partial trajectories employing open-and closed-world modeling methods
PL2033926T3 (pl) 2005-09-30 2015-06-30 Inventio Ag Instalacja windy do transportu użytkowników windy w obszarze budynku
US7536030B2 (en) 2005-11-30 2009-05-19 Microsoft Corporation Real-time Bayesian 3D pose tracking
GB2479495B (en) 2006-01-12 2011-12-14 Otis Elevator Co Video aided system for elevator control
JP5318584B2 (ja) 2006-01-12 2013-10-16 オーチス エレベータ カンパニー エレベータ制御に用いるビデオ補助式システム
DE102006005044B4 (de) 2006-02-03 2011-01-27 Metaio Gmbh Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung
US8781162B2 (en) * 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
KR101171032B1 (ko) 2006-08-25 2012-08-03 오티스 엘리베이터 컴파니 목적지 입력 급송 작동들에서의 보안 추적을 위한 익명 승객 인덱싱 시스템
JP2008120548A (ja) 2006-11-14 2008-05-29 Mitsubishi Electric Corp エレベータの制御装置
JP2008127158A (ja) 2006-11-21 2008-06-05 Mitsubishi Electric Corp エレベータセキュリティシステム
WO2008096433A1 (ja) 2007-02-08 2008-08-14 Mitsubishi Electric Corporation エレベータのセキュリティシステム
JP5008728B2 (ja) 2007-09-04 2012-08-22 三菱電機株式会社 利用者検出方法及び装置、並びに制御方法
JP2009143722A (ja) 2007-12-18 2009-07-02 Mitsubishi Electric Corp 人物追跡装置、人物追跡方法及び人物追跡プログラム
US8660700B2 (en) 2008-05-22 2014-02-25 Otis Elevator Company Video-based system and method of elevator door detection
EP2295361B1 (en) 2008-07-07 2014-10-22 Mitsubishi Electric Corporation Elevator control apparatus and elevator control method
EP2154653A1 (de) 2008-07-21 2010-02-17 SkiData AG Zugangskontrollsystem
WO2010023724A1 (ja) 2008-08-26 2010-03-04 三菱電機株式会社 エレベータのドア装置
JP2010063001A (ja) 2008-09-05 2010-03-18 Mitsubishi Electric Corp 人物追跡装置および人物追跡プログラム
CN101739122A (zh) * 2008-11-24 2010-06-16 玴荣科技股份有限公司 手势辨识及追踪的方法
US20120020518A1 (en) * 2009-02-24 2012-01-26 Shinya Taguchi Person tracking device and person tracking program
US8189943B2 (en) 2009-03-17 2012-05-29 Mitsubishi Electric Research Laboratories, Inc. Method for up-sampling depth images
EP2243737A1 (de) 2009-04-24 2010-10-27 Inventio AG Verfahren zum ortsabhängigen Personenmanagement in einem Gebäude
WO2011007428A1 (ja) 2009-07-15 2011-01-20 三菱電機株式会社 エレベーターシステム
FI121421B (fi) 2009-07-28 2010-11-15 Marimils Oy Järjestelmä hissien ohjaamiseksi hissijärjestelmässä
FI122222B (fi) 2009-12-22 2011-10-14 Kone Corp Hissijärjestelmä
US20130038694A1 (en) 2010-04-27 2013-02-14 Sanjay Nichani Method for moving object detection using an image sensor and structured light
EP2402275A1 (en) 2010-06-30 2012-01-04 Inventio AG Elevator access control system
JP2012017161A (ja) 2010-07-06 2012-01-26 Toshiba Elevator Co Ltd エレベータ装置
EP2605990B1 (en) 2010-08-19 2021-08-04 Kone Corporation Passenger flow management system
FI122597B (fi) * 2010-09-07 2012-04-13 Kone Corp Hissijärjestelmä
US9167991B2 (en) 2010-09-30 2015-10-27 Fitbit, Inc. Portable monitoring devices and methods of operating same
US20120087573A1 (en) 2010-10-11 2012-04-12 Vinay Sharma Eliminating Clutter in Video Using Depth Information
WO2012066910A1 (ja) 2010-11-19 2012-05-24 株式会社ニコン 誘導装置、検出装置及び姿勢状態判定装置
FI122875B (fi) 2010-12-30 2012-08-15 Kone Corp Kuljetusjärjestelmä
IL210427A0 (en) 2011-01-02 2011-06-30 Agent Video Intelligence Ltd Calibration device and method for use in a surveillance system for event detection
JP5713717B2 (ja) * 2011-02-16 2015-05-07 三菱電機株式会社 エレベーター交通流検出装置
TWI469910B (zh) 2011-03-15 2015-01-21 Via Tech Inc 簡單節點式運輸系統之控制方法與裝置
JP2012218912A (ja) 2011-04-12 2012-11-12 Toshiba Elevator Co Ltd エレベータ制御装置
TWI435842B (zh) 2011-09-27 2014-05-01 Hon Hai Prec Ind Co Ltd 電梯安全控制裝置及其工作方法
JP5879877B2 (ja) * 2011-09-28 2016-03-08 沖電気工業株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
US9740937B2 (en) 2012-01-17 2017-08-22 Avigilon Fortress Corporation System and method for monitoring a retail environment using video content analysis with depth sensing
JP5865729B2 (ja) 2012-02-24 2016-02-17 東芝エレベータ株式会社 エレベータシステム
US9323232B2 (en) 2012-03-13 2016-04-26 Nokia Technologies Oy Transportion remote call system based on passenger geo-routines
JP5966573B2 (ja) 2012-05-01 2016-08-10 三菱電機ビルテクノサービス株式会社 エレベーター装置
US8880200B2 (en) * 2012-05-04 2014-11-04 Inventio Ag Associating user preferences with elevator activity
JP5877135B2 (ja) 2012-07-20 2016-03-02 株式会社日立製作所 画像認識装置及びエレベータ装置
CN105473482A (zh) 2013-08-15 2016-04-06 奥的斯电梯公司 用于输送控制的传感器
WO2015034459A1 (en) 2013-09-03 2015-03-12 Otis Elevator Company Elevator dispatch using facial recognition
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9481548B2 (en) 2013-10-09 2016-11-01 King Fahd University Of Petroleum And Minerals Sensor-based elevator system and method using the same
EP2907783A1 (en) 2014-02-17 2015-08-19 ThyssenKrupp Elevator AG Method of controlling the movement of an elevator car
US20150239708A1 (en) 2014-02-25 2015-08-27 Thyssenkrupp Elevator Ag System and Method for Monitoring a Load Bearing Member
JP2015210702A (ja) 2014-04-28 2015-11-24 キヤノン株式会社 画像処理装置及び画像処理方法
EP3126274B1 (en) * 2014-06-10 2022-11-30 KONE Corporation Method for controlling a passenger transport system
DE102014214587A1 (de) 2014-07-24 2016-01-28 Thyssenkrupp Ag Verfahren zum Steuern einer Aufzugsanlage
WO2016073067A1 (en) 2014-11-03 2016-05-12 Otis Elevator Company Elevator passenger tracking control and call cancellation system
US9896303B2 (en) 2014-12-10 2018-02-20 Thyssenkrupp Elevator Corporation Method for controlling elevator cars
GB201501510D0 (en) * 2015-01-29 2015-03-18 Apical Ltd System
US9957132B2 (en) 2015-02-04 2018-05-01 Thyssenkrupp Elevator Ag Elevator control systems
CN106144861B (zh) 2015-04-03 2020-07-24 奥的斯电梯公司 用于乘客运输控制的基于深度传感器的乘客感测
CN106144862B (zh) 2015-04-03 2020-04-10 奥的斯电梯公司 用于乘客运输门控制的基于深度传感器的乘客感测
CN106144798B (zh) 2015-04-03 2020-08-07 奥的斯电梯公司 用于乘客运输控制的传感器融合
CN104828664B (zh) 2015-04-03 2020-05-22 奥的斯电梯公司 自动调试系统和方法
CN106144816B (zh) 2015-04-03 2019-11-12 奥的斯电梯公司 基于深度传感器的乘客检测
CN106144801B (zh) 2015-04-03 2021-05-18 奥的斯电梯公司 用于特殊乘客运输工具负载状况的基于深度传感器的感测
CN112850406A (zh) 2015-04-03 2021-05-28 奥的斯电梯公司 用于乘客运输的通行列表产生
US10239728B2 (en) 2015-04-09 2019-03-26 Carrier Corporation Intelligent building system for providing elevator occupancy information with anonymity
CN106315316A (zh) 2015-06-16 2017-01-11 奥的斯电梯公司 一种电梯系统及其控制方法
AU2015234329A1 (en) * 2015-09-30 2017-04-13 Canon Kabushiki Kaisha Method, system and apparatus for processing an image
US10371512B2 (en) 2016-04-08 2019-08-06 Otis Elevator Company Method and system for multiple 3D sensor calibration
EP3236286B1 (en) 2016-04-18 2023-01-25 Otis Elevator Company Auto commissioning system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060037818A1 (en) * 2003-03-20 2006-02-23 Romeo Deplazes Three-dimensional monitoring in the area of an elevator by means of a three-dimensional sensor
US20150073748A1 (en) * 2012-06-27 2015-03-12 Kone Corporation Method and system for measuring traffic flow in a building
JP2014131932A (ja) * 2013-01-07 2014-07-17 Toshiba Elevator Co Ltd エレベータシステム
WO2014122357A1 (en) * 2013-02-07 2014-08-14 Kone Corporation Personalization of an elevator service

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11780703B2 (en) 2020-07-15 2023-10-10 Leandre Adifon Systems and methods for operation of elevators and other devices

Also Published As

Publication number Publication date
CN106144797A (zh) 2016-11-23
CN112850406A (zh) 2021-05-28
US11836995B2 (en) 2023-12-05
EP3075693A1 (en) 2016-10-05
US11232312B2 (en) 2022-01-25
US20220004787A1 (en) 2022-01-06
US20160292522A1 (en) 2016-10-06
EP3075693B1 (en) 2018-09-12

Similar Documents

Publication Publication Date Title
CN106144797B (zh) 用于乘客运输的通行列表产生
CN104828664B (zh) 自动调试系统和方法
CN106144862B (zh) 用于乘客运输门控制的基于深度传感器的乘客感测
CN106144798B (zh) 用于乘客运输控制的传感器融合
CN106144801B (zh) 用于特殊乘客运输工具负载状况的基于深度传感器的感测
CN106144861B (zh) 用于乘客运输控制的基于深度传感器的乘客感测
CN106144796B (zh) 用于空乘客运输外壳确定的基于深度传感器的乘客感测
CN106144795B (zh) 通过识别用户操作用于乘客运输控制和安全的系统和方法
US10055657B2 (en) Depth sensor based passenger detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant