CN111170100A - 输运系统视频分析 - Google Patents

Abstract

根据一方面，一种方法包括从输运系统处的视频摄像机捕获图像数据。能够发起图像数据的分析以确定输运系统的多个状况。状况的状态能够被概括为元数据输出。元数据输出能够被传送到支持系统，所述支持系统可操作以响应于状况的状态而发起校正动作。

Description

输运系统视频分析

技术领域

本文中的实施例涉及输运系统操作，并且更特别地涉及输运系统视频分析。

背景技术

诸如电梯系统的输运系统可以链接到视频监视系统，该视频监视系统将来自一个或多个摄像机的视频从输运系统本地的位置流播到集中式监视站。监视系统操作员可监控视频馈送，以确定在一个或多个输运系统处是否存在异常状况。在具有并行操作的多个输运系统的结构中，视频馈送可消耗大量带宽和/或可要求多个专用视频链路。此外，对于人类观察者来说，注意到输运系统的状况的较细微的变化能够是有挑战性的。

发明内容

根据实施例，一种方法包括从输运系统处的视频摄像机捕获图像数据。发起图像数据的分析以确定输运系统的多个状况。状况的状态被概括为元数据输出。元数据输出被传送到支持系统，所述支持系统可操作以响应于状况的状态而发起校正动作。

除了本文中描述的特征中的一个或多个特征外，或者作为备选方案，另外的实施例能够包括：其中所述状况包括所述输运系统的发光水平。

除了本文中描述的特征中的一个或多个特征外，或者作为备选方案，另外的实施例能够包括：其中状况包括输运系统的一个或多个组件的状态或对输运系统的一个或多个组件的损坏。

除了本文中描述的特征中的一个或多个特征外，或者作为备选方案，另外的实施例能够包括：其中状况包括输运系统的控制操作面板的操作状态。

除了本文中描述的特征中的一个或多个特征外，或者作为备选方案，另外的实施例能够包括：其中状况包括输运系统的占用状态。

除了本文中描述的特征中的一个或多个特征外，或者作为备选方案，另外的实施例能够包括：其中输运系统包括乘客围舱，并且状况包括以下中的一个或多个：乘客围舱的门操作和乘客围舱的门循环计数。

除了本文中描述的特征中的一个或多个特征外，或者作为备选方案，另外的实施例能够包括：其中状况包括在乘客围舱内一个或多个乘坐者的被困。

除了本文中描述的特征中的一个或多个特征外，或者作为备选方案，另外的实施例能够包括：其中状况包括破坏行为，并且方法包括基于图像数据输出具有疑似破坏者的图像的疑似破坏行为通知。

除了本文中描述的特征中的一个或多个特征外，或者作为备选方案，另外的实施例能够包括：应用机器学习来识别多个场景，并使用多个特征图像来建立一个或多个基准。

除了本文中描述的特征中的一个或多个特征外，或者作为备选方案，另外的实施例能够包括：针对输运系统和照明的布置的变化来适配图像数据。

根据实施例，一种系统包括视频摄像机和可操作地耦合到视频摄像机的监控系统。监控系统配置成执行多个操作，所述多个操作包括从输运系统处的视频摄像机捕获图像数据，并且发起图像数据的分析以确定输运系统的多个状况。该监控系统还配置成将状况的状态概括为元数据输出，并将元数据输出传送到支持系统，该支持系统可操作以响应于状况的状态而发起校正动作。

本公开的实施例的技术效果包括执行视频分析以确定电梯轿厢内的一个或多个状况。

除非另有明确指示，前述特征和元件可非排他性地以各种组合进行组合。根据以下描述和附图，这些特征和元件以及其操作将变得更加明显。然而，应该理解，以下描述和附图旨在本质上是说明性和解释性的而非限制性的。

附图说明

本公开通过示例的方式来被说明，并且不限于附图，在附图中，相似参考标号指示类似的元件。

图1是可以采用本公开的各种实施例的电梯系统的示意图示；

图2是可以采用本公开的各种实施例的系统的框图；

图3是图示根据本公开的实施例的过程的流程图；以及

图4是图示根据本公开的实施例的过程的流程图。

具体实施方式

图1是电梯系统101的透视图，该电梯系统包含电梯轿厢103、配重105、受拉构件107、导轨109、机器111、位置参考系统113和控制器115。电梯轿厢103和配重105通过受拉构件107被彼此连接。受拉构件107可包含或者被配置为例如绳、钢缆和/或涂层钢带。配重105配置成平衡电梯轿厢103的负载并且配置成促进电梯轿厢103相对于配重105在电梯井117内且沿导轨109同时地并且在反方向上移动。

受拉构件107接合机器111，其是电梯系统101的头顶结构的一部分。机器111配置成控制在电梯轿厢103与配重105之间的移动。位置参考系统113可被安装在电梯井117顶部的固定部分上，诸如在承轨或导轨上，并且可配置成提供与电梯井117内电梯轿厢103的位置有关的位置信号。在其它实施例中，位置参考系统113可被直接安装到机器111的移动组件，或者可被定位在如本领域所熟知的其它位置和/或配置中。如本领域所熟知的，位置参考系统113能够是用于监视电梯轿厢和/或配重的位置的任何装置或机构。例如且不是限制，如本领域技术人员将领会的，位置参考系统113能够是编码器、传感器或其它系统，并且能够包含速度感测、绝对位置感测等。

控制器115如所示出的被定位在电梯井117的控制器室121中，并且配置成控制电梯系统101的操作且特别地电梯轿厢103的操作。例如，控制器115可提供驱动信号到机器111以控制电梯轿厢103的加速、减速、置平（leveling）、停止等。控制器115可也配置成接收来自位置参考系统113或任何其它期望的位置参考装置的位置信号。沿导轨109在电梯井117内向上或向下移动时，电梯轿厢103可停止在控制器115所控制的一个或多个层站125。虽然在控制器室121中示出，但本领域技术人员将领会到，控制器115能够被定位和/或配置在电梯系统101内的其它地点或位置中。在一个实施例中，控制器可被远程或在云中定位。

机器111可包含马达或类似驱动机构。根据本公开的实施例，机器111配置成包含电驱动马达。用于马达的供电设施可以是任何电源，包含电网，其与其它组件组合被供应到马达。机器111可包含曳引轮，其将力传递到受拉构件107以在电梯井117内移动电梯轿厢103。

虽然通过包含受拉构件107的挂绳系统来示出和描述，但采用在电梯井内移动电梯轿厢的其它方法和机构的电梯系统可采用本公开的实施例。例如，实施例可在使用直线马达将运动传递到电梯轿厢的无绳电梯系统中被采用。实施例也可在使用液压升降机将运动传递到电梯轿厢的无绳电梯系统中被采用。图1只是为说明性和解释目的而呈现的非限制性示例。

在其他实施例中，该系统包括在楼层之间和/或沿着单个楼层移动乘客的输运系统。这种输运系统可包括自动扶梯、人员输送器等。因此，本文所述的实施例不限于电梯系统（诸如图1中所示的电梯系统）。因此，电梯系统101也可以称为输运系统101。

图2描绘了根据实施例的系统200的示例。系统200包括乘客围舱202，其可以是图1的电梯轿厢103。系统200还包括可操作地耦合到视频摄像机206的监控系统204，其中视频摄像机206被配置成在诸如图1的输运系统101之类的输运系统处捕捉图像数据。在图2的示例中，在乘客围舱202内存在视频摄像机206的单个实例。在备选实施例中，可以存在视频摄像机206的多个实例，例如，以捕获乘客围舱202内的多个角度、以执行深度测量（例如，在立体配置中）和/或观察相对于乘客围舱202的内部和外部状况。具有视频摄像机206的单个实例的实施例对于其中较低复杂度解决方案足以捕获所关心的状况的图像的应用（例如，改造应用）可以是有益的。监控系统204可配置成通过摄像机接口208捕获图像数据并且发起图像数据的分析以确定输运系统101的多个状况，而不是集成大套传感器来确定乘客围舱202内的各种状况。尽管图2描绘了处于一定角度的视频摄像机206，但是视频摄像机206的位置和定向可取决于摄像机类型、安装几何以及要捕捉的事件或状况的类型而改变。例如，视频摄像机206可安装在电梯轿厢103的天花板中的中央位置，向下看。监控系统204还可包括处理系统210、存储器系统212和通信接口214以及其它子系统（未描绘）。在一些实施例中，处理系统210配置成捕获图像数据并执行板上（on-board）图像处理以分析图像数据的内容。在其它实施例中，处理系统210通过通信接口214提供捕获的图像数据，以用于板外（off-board）图像处理，诸如在图1的控制器115处执行的图像处理，或在另一位置处执行的图像处理，诸如通过网络218和/或其它计算资源的基于云的图像处理。

处理系统210可以是但不限于具有各种各样的可能架构中的任何架构的单处理器或多处理器系统，包括同构或异构布置的现场可编程门阵列（FPGA）、中央处理单元（CPU）、专用集成电路（ASIC）、数字信号处理器（DSP）或图形处理单元（GPU）硬件。存储器系统212可以是存储装置，诸如，例如随机存取存储器（RAM）、只读存储器（ROM）或其它的电子、光、磁计算机可读存储介质或任何其它的计算机可读存储介质。存储器系统212可包括计算机可执行指令，所述计算机可执行指令当由处理系统210执行时促使处理系统210执行如本文中进一步描述的操作。

通信接口214可包括有线、无线和/或光通信链路，以直接或通过网络218建立与一个或多个支持系统216的通信。支持系统216的示例可包括移动装置220或任何类型的计算机系统222（诸如个人计算机、工作站、膝上型计算机、平板计算机、可穿戴计算机或定制的计算机系统），和/或图1的控制器115。移动装置220可以具有服务接口以便技工或技术人员进一步诊断与由监控系统204报告的一个或多个状况相关联的数据。计算机系统222可以是中央控制计算机，其监控输运系统101的多个实例（诸如同一建筑物或结构中的多个电梯）的功能性。计算机系统222可以也是或备选地是监控安全状况和/或监控对乘客围舱202的潜在损坏的安全系统的一部分。计算机系统222还可以是用来监控和控制与电梯系统101有关的状况的电梯服务系统的一部分。网络218还可支持基于云的操作和处理，以直接支持或部分地卸下处理系统210的处理负担。

在一些实施例中，支持系统216可控制乘客围舱202的一个或多个方面作为响应于如由监控系统204报告的状况的状态而进行的校正动作的一部分。例如，如果乘客围舱202的一个或多个灯具224的发光水平被报告为低于最小照明阈值，则支持系统216可以禁用乘客围舱202的操作，直到可修理或以其他方式维修灯具224为止。监控系统204可以观察由视频摄像机206捕获的图像数据中的平均发光水平，并且监控随时间的变化。在乘客围舱202的内部配置成例如通过窗户接收外部照明的情况下，在进行关于灯具224的健康确定时可以考虑一天中的时间和/或外部天气状况。此外，在确定发光水平时也可以考虑乘客围舱202的一个或多个门226的打开/关闭状态。

监控系统204的嵌入式视频分析可监控乘客围舱202的各种可观察状况。例如，监控系统204可检测诸如地板228、壁230、天花板232、扶手234和控制操作面板236之类的特征。通过观察随时间发生的变化，可通过图像数据来检测损坏、碎屑或灰尘的积聚。监控系统204的图像处理可包括应用机器学习来识别多个场景，以及使用多个特征图像来建立一个或多个基准（benchmark）。图像处理还可以包括针对输运系统和照明的布置的变化来适配图像数据。例如，监控系统204可以通过在存储器系统212内本地访问特征数据库或通过网络218远程访问特征数据库来执行初始训练，以学习相对位置、尺寸设置、颜色、照度水平以及定义灯具224、门226、地板228、壁230、天花板232、扶手234、控制操作面板236等的其它特征。可在监控系统204本地实现诸如边缘检测器、分类器和已知的机器学习技术（例如，线性回归、最近邻、支持向量机、神经网络等）之类的算法，以建立基准并观察从基准的变化。因此，可检测乘客围舱202的不同配置和随时间的变化。监控系统204可区分例如随着时间的过去而积聚在乘客围舱202的一个或多个表面上的灰尘或碎屑的积聚与在乘客围舱202内的标志或图片的悬挂。此外，通过区分乘客围舱202内的各个表面，可以确定需要校正动作响应的状况的存在。例如，扶手234的形状、线性、角偏转或其它方面的变化可指示导致维修呼叫的对扶手234的损坏。一些状况可以包括要建立的组合或基于时间的序列。例如，门226的移动模式可包括观察图像数据的多个帧的序列，以验证在完全打开/关闭、行进的速率等方面的正确操作。该算法也可以被训练以对门打开/门关闭循环进行计数，产生改进的门服务。控制操作面板236的照度或对控制操作面板236的损坏也可以采用多帧图像数据来确认。

此外，监控系统204可观察乘客围舱202内的乘坐者的占用和活动。例如，监控系统204可使用已知的乘客计数技术来跟踪进入和离开乘客围舱202的乘坐者的数量。在一个或多个乘坐者保持在乘客围舱202内并且门226在预定超时时段之后没有打开的情况下，可以检测到乘坐者被困。设想用来跟踪和被困检测的其它方法。此外，监控系统204可支持对一个或多个乘坐者在乘客围舱202内进行破坏行为的实时检测。在检测到至少一个乘坐者并且在一个或多个表面特征中的变化（诸如，凹痕、划痕、油漆、孔洞、破损的按钮或按钮周围的功能不良的灯等）时，监控系统204可将潜在的破坏行为状况消息合并到对一个或多个支持系统216的通知中。可在图像数据中捕获并且报告状况的图像和/或疑似破坏者的图像。

在继续参考图1-2的情况下，现在参考图3，图3描述了根据本公开的实施例的方法300的流程图。方法300可例如由图2的监控系统204执行。

在框302，监控系统204从输运系统101处的视频摄像机206捕获图像数据。如前所述，视频摄像机206可以安装在乘客围舱202内。监控系统204可以在乘客围舱202本地，并且可以与乘客围舱202一起行进。

在框304，监控系统204可以发起图像数据的分析以确定输运系统101的多个状况。针对图4进一步描述关于电梯的状况的示例。

在框306，监控系统204可将状况的状态概括为元数据输出。元数据输出可从图像数据概括观察到的状况，而不是存储所有的图像数据。此外，图像数据可以与在所关心的事件或状况附近捕获和保留的剪辑或序列一起被临时缓冲在存储器系统212中。这可减少存储器系统212的存储要求和网络218的通信带宽要求。

在框308，监控系统204可将元数据输出传送到支持系统216，所述支持系统216可操作以响应于状况的状态而发起校正动作。元数据输出和/或数据的传输可包括将数据发送到控制器115以执行一个或多个校正动作和/或进一步的分析。校正动作可包括禁用或从服务移除乘客围舱202、改变其它输运系统101的调度、将电梯轿厢103发送到某楼层、停止电梯轿厢103的移动、触发安全警报、发起维护请求、发起与乘客围舱202的乘坐者的通信以及其它这样的动作。

尽管以上描述已经以特定顺序描述了图3的流程，但是应当理解，除非在所附权利要求中另外具体要求，否则步骤的排序可以被改变。

在继续参考图1-3的情况下，现在参考图4，图4描绘了根据本公开的实施例的、在被实现为电梯系统101的情况下输运系统101的状况检查的方法400的流程图。方法400可例如由图2的监控系统204（例如，处理系统210）执行。图4中描绘的顺序不旨在传达步骤的特定顺序，所述步骤可以被重新排序，其中添加、省略或组合其他步骤。例如，图4的方法400中所描绘的框可以基于各种调度、条件和/或事件（诸如当电梯轿厢103停止时、满足定时条件时等）来被执行。

在框402，监控系统204可例如基于来自视频摄像机206的图像数据的图像亮度数据来检查输运系统101的发光水平。作为一个示例，当确定发光水平时，在红-绿-蓝（RGB）颜色空间中，RGB像素可跨图像被平均，并且可以使用掩蔽来遮挡所选择的特征。发光水平检查可包括建立参考水平、跟踪灯泡/灯具老化、针对外部照明效果的归一化、与门打开/关闭状态的协调等。可以使用利用参考图像的训练来建立参考水平和初始状况。

在框404，监控系统204可以检查乘客围舱202的门226操作。图像数据可随时间而被分析，以确保门226不被卡住，并且可平稳地打开和关闭。门操作检查也可在门226打开时捕获图像数据，以检视在门226关闭时转而不可见的灰尘、碎屑或障碍物。每当在没有其他视觉障碍的时候门226在打开和关闭之间循环时，可以执行门226的视觉检视。

在框406，监控系统204可使用图像数据来检查输运系统101的一个或多个部件的状态或可见损坏，所述组件诸如乘客围舱202的地板228、壁230、天花板232、扶手234和控制操作面板236。状态可以包括状态数据，诸如确认门226的当前打开/关闭状态、检视灰尘和/或各种类型的损坏，诸如划痕、凹痕、毁损等。

在框408，监控系统204可检查输运系统101的占用，诸如基于图像数据来确定在乘客围舱202内是否观察到人或观察到多少人。占用的检查还可包括检查占用的状况，例如是否有人跌倒、乘坐者是否在搏斗、破坏行为是否正在进行和/或与乘坐者相关的其他这样的情况。例如，可以捕获并输出与占用相关联的图像数据，以帮助识别可疑的破坏者。一般占用可以通过减去图像帧的序列以识别在门226关闭时电梯轿厢103内的运动来被确定。如果检测到运动，则可将一个或多个分类器应用于图像数据，以搜索面部特征和/或其他所关心的特征。

在框410，监控系统204可基于图像数据来检查在乘客围舱202内一个或多个乘坐者的被困。例如，可基于在电梯轿厢103内检测到的运动和延长的时间段（例如，超时时段）而门226没有打开来检测被困。设想其它算法。

在框412，监控系统204可基于图像数据来检查输运系统101的控制操作面板236的操作状态。操作状态可包括对按钮照度、按钮响应性、按钮损坏和其它这样的特征的检测。

尽管以上描述已经以特定顺序描述了图4的流程，但是应当理解，除非在所附权利要求中另外具体要求，否则步骤的排序可以被改变。

如上所述，实施例可以采用处理器实现的过程和例如处理器的用于实践那些过程的装置的形式。实施例也可以采用包含体现在有形介质（诸如网络云存储装置、SD卡、闪存驱动器、软盘、CD ROM、硬盘驱动器或任何其它计算机可读存储介质）中的指令的计算机程序代码的形式，其中，当计算机程序代码被加载到计算机中并由计算机执行时，计算机变成为用于实践实施例的装置。实施例还可以采用例如无论是存储在存储介质中、加载到计算机中和/或由计算机执行、还是通过某种传输介质（诸如通过电线或电缆、通过光纤、或经由电磁辐射）传输的计算机程序代码的形式，其中，当计算机程序代码被加载到计算机并由计算机执行时，计算机变成为用于实践实施例的装置。当在通用微处理器上实现时，计算机程序代码段配置微处理器以创建特定的逻辑电路。

用语“大约”旨在包含与基于在提交申请时可用的设备的制造公差和/或具体量的测量关联的误差度。

本文中使用的术语只是用于描述具体实施例的目的，而不旨在限制本公开。在本文使用时，除非上下文另有明确指示，否则，单数形式“一（a或an）”以及“该”也旨在包含复数形式。将进一步理解的是，用语“包括（comprise和/或comprising）”在本说明书中使用时指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，而不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、组件和/或其的群组。

本领域技术人员将领会，各种示例实施例在本文中被示出和描述，其各自具有在具体实施例中的某些特征，但本公开并非如此地被限制。相反，本公开能够被修改以结合此前未描述但与本发明的范围相称的任何数量的变化、变更、替换、组合、子组合或等效布置。另外，尽管本公开的各种实施例已被描述，但要理解的是，本公开的方面可只包含描述的实施例中的一些。相应地，本公开不要被视为受前面描述限制，而是只受随附权利要求的范围限制。

Claims (20)

1.一种方法，包括：

从输运系统处的视频摄像机捕获图像数据；

发起所述图像数据的分析以确定所述输运系统的多个状况；

将所述状况的状态概括为元数据输出；以及

将所述元数据输出传送到支持系统，所述支持系统能够操作以响应于所述状况的所述状态而发起校正动作。

2.如权利要求1所述的方法，其中所述状况包括所述输运系统的发光水平。

3.如权利要求1所述的方法，其中所述状况包括所述输运系统的一个或多个组件的状态或对所述输运系统的一个或多个组件的损坏。

4.如权利要求1所述的方法，其中所述状况包括所述输运系统的控制操作面板的操作状态。

5.如权利要求1所述的方法，其中所述状况包括所述输运系统的占用状态。

6.如权利要求1所述的方法，其中所述输运系统包括乘客围舱，并且所述状况包括以下中的一个或多个：所述乘客围舱的门操作和所述乘客围舱的门循环计数。

7.如权利要求6所述的方法，其中所述状况包括在所述乘客围舱内的一个或多个乘坐者的被困。

8.如权利要求1所述的方法，其中所述状况包括破坏行为，并且所述方法还包括：

基于所述图像数据输出具有疑似破坏者的图像的疑似破坏行为通知。

9.如权利要求1所述的方法，进一步包括：

应用机器学习来识别多个场景，以及使用多个特征图像来建立一个或多个基准。

10.如权利要求1所述的方法，进一步包括：

针对所述输运系统和照明的布置的变化来适配所述图像数据。

11. 一种系统，包括：

视频摄像机；以及

监控系统，所述监控系统可操作地耦合到所述视频摄像机，并且配置成执行多个操作，所述多个操作包括：

从在输运系统处的所述视频摄像机捕获图像数据；

发起所述图像数据的分析以确定所述输运系统的多个状况；

将所述状况的状态概括为元数据输出；以及

将所述元数据输出传送到支持系统，所述支持系统能够操作以响应于所述状况的所述状态而发起校正动作。

12.如权利要求11所述的系统，其中所述状况包括所述输运系统的发光水平。

13.如权利要求11所述的系统，其中所述状况包括所述输运系统的一个或多个组件的状态或对所述输运系统的一个或多个组件的损坏。

14.如权利要求11所述的系统，其中所述状况包括所述输运系统的控制操作面板的操作状态。

15.如权利要求11所述的系统，其中所述状况包括所述输运系统的占用状态。

16.如权利要求11所述的系统，其中所述输运系统包括乘客围舱，并且所述状况包括以下中的一个或多个：所述乘客围舱的门操作和所述乘客围舱的门循环计数。

17.如权利要求16所述的系统，其中所述状况包括在所述乘客围舱内一个或多个乘坐者的被困。

18.如权利要求11所述的系统，其中所述监控系统还配置成执行：

基于所述图像数据输出具有疑似破坏者的图像的疑似破坏行为通知。

19.如权利要求11所述的系统，其中所述监控系统还配置成执行：

应用机器学习来识别多个场景，并使用多个特征图像来建立一个或多个基准。

20.如权利要求11所述的系统，其中所述监控系统还配置成执行：

针对所述输运系统和照明的布置的变化来适配所述图像数据。

Images