CN116934809A - 用于自动监控人员运送设备的行驶运行的方法和装置 - Google Patents

Abstract

本发明涉及一种用于通过监控系统自动监控人员运送设备的行驶运行的方法。监控系统具有危险分析模块和运动检测模块。运动检测模块指向人员运送设备，并且被配置用于检测各种情况的能够以电子方式处理的实际运动序列记录。该方法包括：在危险分析模块中接收实际的运动序列记录；在危险分析模块中接收人员运送设备的数字孪生的数据，其中，该数据至少包括与人员运送设备的物理特性相关的信息，该信息能够得出关于人员运送设备在预定的运动状态下的视觉外观的结论；通过危险分析模块确定关于人员运送设备上的动态对象的信息。

Description

用于自动监控人员运送设备的行驶运行的方法和装置

技术领域

本发明涉及一种用于监控一个或多个人员运送设备的行驶运行的方法。本发明还涉及一种用于执行该方法的装置、一种相应配备的人员运送设备以及一种计算机程序产品和一种计算机可读介质。

背景技术

自动扶梯和自动人行道等人员运送设备不仅用于百货公司和大型购物中心等建筑物，而且还用于火车站、地铁站和机场以运送乘客。特别是在火车站、地铁站和机场，事故风险可能会增加，例如，如果匆忙的用户在人员运送设备上推搡其他用户。因此，如果梯级带或踏板带没有停止，例如通过紧急停止，人员可能会跌倒在自动扶梯的传送带或梯级带上或自动人行道的踏板带上并受到严重伤害。另一方面，其他人草率地将人员运送设备滥用作运动和游乐设备，从而将自己和其他用户置于危险之中。

传统上，摄像机用于监控人员运送设备，摄像机的视频序列实时传输到监控室并显示在屏幕上。从监控室中，通常由一个监控人员监控几个人员运送设备。然而，监控人员的注意力不集中或疲劳可能导致人员运送设备发生的危急情况未被注意到或未被及时发现，相应的对策或援助启动得太晚或根本没有启动。

为了解决上述问题，将监控系统设置成，通过借助图像识别来处理运动序列记录，可以自动识别人员运送设备上的用户的危急情况。一旦发现危急情况，相应的运动序列记录就会显示在监控室的屏幕上，例如，以便监控人员得到警报，并可以及时启动对策或援助。

EP 3 276 535 A1描述了这样一种用于人员运送设备的监控系统。

在对运动序列记录的分析中，例如由用于监控人员运送设备的相机提供的记录，在图像识别的领域内通常通过图像差分来处理。通常从运动序列记录的一个或多个当前拍摄的图像中减去基准图像。当前拍摄的图像反映实际的人员运送设备的图像，包括乘客和/或位于其上的物品。相反，基准图像显示没有乘客和/或物品的人员运送设备，并且例如在设备投入运行之前被拍摄下来。在以这种方式形成的差分图像中仅反映乘客和/或物品。与原始运动序列记录相比，此类差分图像可以更容易地自动评估，因为在原始运动序列记录中描绘了人员运送设备的大量细节，这使得图像分析变得困难，而不利于检测人员运送设备上的危急情况。

然而，生成差分图像的具体实现方式可能很复杂。特别是，人员运送设备的某些部分、例如其传送带，在运行过程中相对于其他部分移动，这一事实会导致难以生成差分图像。例如，通常仅当人员运送设备的当前运动状态，例如其传送带的当前定位与人员运送设备在拍摄基准图像的运动状态尽可能准确地一致，才能生成易于评估的差分图像。例如，在运动序列记录的当前拍摄的图像中被监控的自动扶梯的梯级边缘应该与基准图像中的梯级边缘完全一致地定位。

在用于对人员运送设备进行自动监控的另一种方法中，可以使用能够提供被监控区域的三维拍摄的特殊相机。例如，可以使用TOF(飞行时间)相机，其中除了侧向图像分辨率之外，还确定与在监控区域中观察到的对象或检测到的像素相对于相机的距离的信息。可以选择监控的距离范围，从而不再检测人员运送设备的移动部件，例如人员运送设备的梯级或踏板。如有必要，还可以限制TOF相机的侧向检测区域，使得布置在传送带侧面的护栏不再可识别。在这种情况下，可以省略差分图像的生成。然而，人员运送设备的重要区域，例如梯级上的脚部空间，并没有在以这种方式设置的TOF相机的运动序列记录中反映，因此在评估危急情况时无法将其考虑在内。

发明内容

为了解决上述问题，需要提供一种监控方法和一种监控系统，其能够对人员运送设备的行驶运行进行可靠和/或相对容易实施的自动监控。还需要一种适当装备的人员运送设备和一种用于实施该监控方法的计算机程序产品以及一种存储计算机程序产品的计算机可读介质。

通过独立权利要求的主题满足这种需求。有利的实施方式在从属权利要求和以下说明书中表述并且在附图中可视化。

根据本发明的第一方面，描述了一种借助监控系统自动监控人员运送设备的行驶运行的方法。在这种情况下，监控系统具有危险分析模块和至少一个运动检测模块。运动检测模块指向人员运送设备并且被配置用于检测在相关人员运送设备上所发生的情况的能够电子处理的运动序列记录。该方法至少包括以下步骤，可能但不一定按所示顺序进行：

在危险分析模块中接收实际运动序列记录，其中，实际运动序列记录已由至少一个运动检测模块检测；

在危险分析模块中接收人员运送设备的数字孪生的数据，该数据至少包括与人员运送设备的物理特性相关的信息，该信息能够得出关于人员运送设备在预定的运动状态下的视觉外观的结论；

通过危险分析模块确定人员运送设备上关于动态对象的信息，其中，该信息基于接收到的数字孪生数据和实际的运动序列记录来确定；

通过危险分析模块基于对所确定的动态对象的运动的分析确定与人员运送设备上的当前危险情况相关的信息；和

基于所确定的与当前危险情况相关的信息由危险分析模块输出警告。

根据本发明的第二方面，描述了一种呈监控系统形式的装置，用于监控人员运送设备的行驶运行。监控系统具有危险分析模块，危险分析模块被配置为接收来自运动检测模块和来自数据库模块的数据。运动检测模块指向人员运送设备并且被配置用于检测在相关人员运送设备上所发生的情况的能够电子处理的运动序列记录。人员运送设备的数字孪生的数据存储在数据库模块中，其中，该数据至少包括与人员运送设备的物理特性相关的信息，该信息能够得出关于人员运送设备在预定的运动状态下的视觉外观的结论。危险分析模块被配置为执行或控制根据本发明的第一方面的实施方式的方法。

根据本发明的第三方面，描述了一种人员运送设备，其具有传送带、用于驱动传送带的驱动器、用于控制驱动器的控制器和根据本发明第二方面的实施方式的监控系统，监控系统的运动检测模块至少指向传送带的部分区域。

根据本发明的第四方面，描述了一种计算机程序产品，该计算机程序产品包括机器可读程序指令，当在可编程装置上执行这些指令时，促使该装置执行或控制根据本发明的第一方面的实施方式的方法。

根据本发明的第五方面，描述了一种其上存储有根据本发明的第四方面的实施方式的计算机程序产品的计算机可读介质。

简要概括，并且在不限制本发明的范围的情况下，基于本发明的思想之一可以被视为通过由例如具有相机的运动检测模块提供的运动序列记录来监控人员运送设备的行驶运行，通常不将其与用作基准图像的记录进行比较，并且这些记录也是用相机拍摄的，以便最终创建差分图像，然后可以从中得出相关当前危险情况的信息。代替此类基准图像，应使用来自人员运送设备的数字孪生的数据来确定关于动态对象(例如在人员运送设备上移动的乘客、他们的行李和随身携带的物品、动物等)的信息，以便通过分析这些动态对象的运动，最终能够得出关于当前危险情况的结论。数字孪生的数据反映了人员运送设备的物理特性，例如构件的空间尺寸及其动态运动，从而可以得出关于人员运送设备的外观的结论。因此，该数据可用于例如生成虚拟运动序列记录，这些记录反映了人员运送设备的由运动检测模块监控的区域。然后，这些虚拟运动序列记录可用于得出与在人员运送设备上移动的动态对象的信息。如有必要，能够以与传统的基准图像类似的方式使用虚拟运动序列记录，以通过从实际运动序列记录中进行减法来生成差分图像。然而，与使用传统的基准图像相比，虚拟运动序列记录可以从数字孪生的数据中以更高的精度、更少的图像伪影和/或更少的计算能力来确定。此外，虚拟运动序列记录能够以相对简单的方式与当前所拍摄的实际运动序列记录同步，从而可以大大简化差分图像的生成。

下面更详细地描述实施方式的可能设计方案和优点。

设置人员运送设备以在建筑物内运送乘客和/或物品。例如，人员运送设备可以设计为自动扶梯或自动人行道。这里的人员运送设备具有与建筑物牢固连接的固定部件，例如支撑框架、驱动器、护栏等。此外，人员运送设备具有能够相对于固定部件移动的可移动部件。例如，在自动扶梯的情况下，在运动方向上相继地相互连接的多个梯级形成梯级带，梯级带可以通过驱动器相对于固定部件环形地或者环绕地移位。在自动人行道的情况下，几个踏板彼此相继连接在一起，以形成一个可以能够环绕地移位的踏板带。乘客可以使用环绕的梯级带或踏板带以便沿行进路径被运送。

为了能够监控人员运送设备的行驶运行，该人员运送设备配有一个监控系统，其中，由运动检测模块确定的数据由危险分析模块进行评估，以便得出获得关于当前危险情况的信息，并且然后，如有必要，能够发出警告。

在这种情况下，运动检测模块是被配置用于检测在人员运送设备上所发生的情况的运动序列记录的装置。特别地，运动检测模块应该被配置为以光学或视觉方式监控人员运送设备上的情况，并相应地输出图像数据作为表示运动序列记录的数据。在这种情况下，运动序列记录可以是多个连续的图像记录，这些图像记录例如二维或三维地反映人员运送设备的区域。为此目的，运动检测模块可以使用例如一个或多个图像检测装置，例如照相机、摄像机、热成像相机、激光扫描仪、TOF相机、一组多个传感器和/或类似物，这些图像检测装置的运动序列记录被相应地以可电子处理的形式被检测为图像序列、视频序列、热图像序列等。当每个人员运送设备使用多个运动检测模块时，每个运动检测模块优选地被分配特定部分或区域，使得在其中一个运动序列记录中不能看到整个自动扶梯或整个自动人行道。

由运动检测模块当前拍摄的实际运动序列记录作为数据流传输给危险分析模块并由其接收。为了能够处理这些数据，危险分析模块被设计为数据处理设备，并且还具有用于以特定方式处理数据的处理器。通过计算机程序产品，处理器优选地可编程。此外，危险分析模块通常具有数据存储器和数据接口，以便能够与外部设备和/或数据库交换数据。

除了实际的运动序列记录之外，这里描述的危险分析模块尤其被配置为还接收和处理来自人员运送设备的数字孪生的数据。

数字孪生有时也被称为数字双胞胎(英语：digital twin)。例如在人员运送设备的当前情况下，数字孪生通常被理解为对真实存在的物品的虚拟反映，数字孪生尽可能逼真地反映物品的物理特性。数字孪生通常作为数据组(有时也称为数字孪生数据组)存储在数据库中。根据应用场景和使用目的，真实的物品的各种参数或属性可以存储在该数据集中。例如，数据组可以包括与真实的物品的机械特性、几何特性、光学特性、电特性、磁特性、材料特性等相关的信息。在此，数字孪生中包含的数据应尽可能准确地反映物品的真实属性，以便在以后的时间点可以非常逼真地再次呈现真实的物品的属性，而无需实际访问真实的物品。此外，数字孪生中包含的数据还应该尽可能能够再现甚至预测真实的物品在一定的条件和/或一定的影响下的行为。为此，可以将数字孪生的数据用于例如物理计算、建模和/或模拟。

对于此处介绍的监控方法中的应用，数字孪生的数据应该能够得出关于人员运送设备的视觉外观的结论。特别地，对于人员运送设备的预定运动状态，这样的结论会是可能的。类似于具有例如基于摄像机的运动检测模块的人员运送设备的俯视图，运动检测模块的视野指向人员运送设备，视觉外观应反映人员运送设备的可从外部识别的外观。特别地，能够基于数字孪生来代表人员运送设备的梯级带或踏板带、入口区域和/或出口区域、护栏上的扶手等的外观。

数字孪生旨在反映人员运送设备在至少一种预定运动状态下的外观。运动状态可以理解为人员运送设备的静止或动态的状态。运动状态通常至少表示人员运送设备的可移动部件相对于其固定部件和/或其他可移动部件所处的位置。特别地，运动状态表示梯级带或踏板带的梯级或踏板当前位于何处。此外，运动状态可以表示可移动部件相对于彼此和/或相对于固定部件移动的速度。

数字孪生中的数据应能够在至少一个预定的运动状态下尽可能精确地反映人员运送设备的视觉外观。为此，设计数据(如CAD数据)、材料数据、加工数据、装配数据、维护数据等可以存储在数字孪生中，其中，这些数据反映了关于影响人员运送设备的外观(包络)的物理参数的信息。如有必要，可以将数据记录在数字孪生中，该数据能够以多种不同的运动状态反映人员运送设备的视觉外观。此外，基于存储在数字孪生中的数据，可以计算、模拟、建模、推断或以某种其他方式确定关于人员运送设备在其他运动状态下的视觉外观的内容。

危险分析模块被设计用于，借助从数字孪生接收到的数据来处理由运动检测模块尽可能实时接收的实际运动序列记录，以便借此能够得出关于在人员运送设备上可能占主导地位的当前危险情况的信息。为此，危险分析模块确定相关人员运送设备上的动态对象的信息。这样的动态对象可以是例如乘客、物品、动物等，这些动态对象由人员运送设备运送并且这些动态对象本身保持被动。然而，动态对象也可以是相对于人员运送设备移动的乘客等，例如当乘客跌倒时或当乘客沿着运送设备的梯级带或踏板带主动移动时。

然后，由危险分析模块分析所确定的动态对象的运动，以便能够借此导出与当前危险情况相关的信息。例如，在危险分析模块中，在考虑数字孪生的数据的情况下，借助于分析算法检查运动序列记录是否存在危急情况。为此，可以使用监控电子技术领域中已知的自动化检测过程或分析方法，例如图像分析方法及相应算法、运动分析方法及相应算法、统计学及启发式评估方法等，以便检测人员运送设备的用户偏离正常或非典型的运动样式(Bewegungsablauf)。根据偏离的运动过程的运动样式，危险分析模块可以假定危险情况，例如，面临乘客受伤或将受伤的严重危险的事故情况，或者是至少存在这种伤害的重大风险的危急情况。

如果检测到危险情况，可以发出警告。例如，可以将警告传输到另一个设备。例如，可以将警告发送到远程布置的监控中心。发出警告可以在接收设备中触发响应，该响应可以产生能够用来消除危险情况的措施。例如，人员运送设备的操作可以由于警告而停止或减慢。

替代地或附加地，警告可以使得向人员运送设备的用户发出警报信号，以警告人员运送设备的操作模式短时间内将发生改变，即，例如人员运送设备正在被制动。这种警报信号可以优选地在人员运送设备的紧邻处以光学方式、声学方式或以其他方式输出。

根据一种实施方式，虚拟运动序列记录由危险分析模块基于接收到的数字孪生的数据确定。然后，危险分析模块通过将虚拟运动序列记录与实际运动序列记录进行比较来确定与人员运送设备上的动态对象相关的信息。

换言之，数字孪生的数据可用于创建虚拟运动序列记录，虚拟运动序列记录以与由运动检测模块拍摄的实际运动序列记录相似或相同的方式反映人员运送设备的外观。然后通过将这些虚拟运动序列记录与当前实际运动序列记录进行比较，可以确定关于人员运送设备上的动态对象的信息，并从中推断出可能的危险情况。

根据一种具体的实施方式，实际运动序列记录与虚拟运动序列记录的比较是通过实际运动序列记录和虚拟运动序列记录之间的图像差分来进行的。

在这种图像差分中，从相关联的实际运动序列记录中减去虚拟运动序列记录，或者从虚拟运动序列记录中减去实际运动序列记录。因此，在两个运动序列记录中相同的图像部分不再在获得的差分图像中呈现。因此，可以显著简化对运动序列记录的评估。

根据另一具体的实施方式，该方法还包括将实际运动序列记录与虚拟运动序列记录进行同步，使得人员运送设备在两个运动序列记录中，都处于相同的运动状态下。

将实际的运动序列记录与虚拟的运动序列记录进行同步尤其可能使得人员运送设备的移动部件在两种记录类型中处于相同的位置处和/或以相同的方式移动。同步可以在规定的公差范围内进行。因此，在这种同步之后，实际的运动序列记录可以特别良好地与虚拟的运动序列记录进行比较。

如果相互同步的两个运动序列记录反映的是处于相同运动状态下的人员运送设备，则人员运送设备的部件通常不再显示在差分图像中。当前处于人员运送设备上并因此显示在实际运动序列记录中但未显示在虚拟运动序列记录中的乘客或物品因此在差分图像中被表示为动态对象并且可以在差分图像中很好地进行分析。

根据另一具体的实施方式，在考虑从人员运送设备的控制器接收的并且包含关于人员运送设备的当前实际运动状态的信息的数据的情况下进行该同步。

换言之，在此处介绍的监控方法中，数据可用于将实际的运动序列记录与虚拟的运动序列记录同步，这些数据可由人员运送设备的控制器提供，并提供关于人员运送设备的当前运动状态的信息。例如，控制器可以提供关于梯级带或踏板带沿行进路径的当前位置的精确信息，即关于梯级或踏板当前所在的位置。关于梯级带或踏板带的当前运动，尤其是当前速度和/或运动方向的信息也可以存在于控制器中。如果由危险分析模块查询或接收到此类信息，此类信息可用于适当地处理从数字孪生接收的数据，以将人员运送设备的由该数据代表的虚拟外观或从中生成的虚拟运动序列记录与实际的运动序列记录进行同步。

附加地或替代地，根据另一具体的实施方式，可以在考虑来自人员运送设备的变频器的速度信息或来自布置在人员运送设备上的传感器(例如编码器)的信号的情况下执行同步。

可以在人员运送设备中提供变频器，以便通过适当地调整能量供应内的频率以期望的方式控制梯级带或踏板带的驱动。由变频器所使用或确定的速度信息可以由危险分析模块查询或接收。然后，该信息可用于处理数字孪生的数据，从而反映具有在其中移动的部件(特别是移动梯级带或踏板带)的人员运送设备的虚拟外观，其方式是，使得移动部件的速度与实际部件的由变频器规定的速度一致。

类似地，可以在人员运送设备中提供编码器，以输出表示人员运送设备的移动部件的当前速度的信号。例如，这样的编码器可以具有由人员运送设备的移动部件移动的可移动构件，然后可以通过合适的传感器检测可移动构件的移动，以便能够间接地得出关于人员运送设备的部件的移动的结论。在这种情况下，所获得的速度信息也可用于将数字孪生的关于在其中虚拟移动的部件的速度的数据与人员运送设备的实际移动部件的数据同步。

根据另一具体实施方式，同步可以附加地或替代地在考虑移动位置信息的情况下执行，其中，移动位置信息通过观察固定在人员运送设备的移动部件上的一个部位处并随之一起移动的标记来确定。

换言之，一个或多个标记可以在一个或多个预定位置处安装在梯级带或踏板带上。这种标记例如可以是视觉上可识别的并且因此可以被相机等检测到。例如，标记可以设计为彩色标记。或者，标记也可以由移动部件本身的固有特性形成，例如易于视觉识别的梯级或踏板的边缘。作为另一替代方案，标记能够以其他方式来检测，例如电检测和/或磁检测。可以为此目的设计合适的传感器和/或可以将合适的传感器布置在人员运送设备上的合适位置处，以便能够观察(一个或多个)标记并且能够提供相应的移动位置信息。因此基于该移动位置信息，可以得出关于被观察的部件的实际移动以及关于该部件的标记的当前位置的结论。在数字孪生中标记也得以虚拟反映。因此，可以对从数字孪生获得的数据进行适当处理，以使其与实际运动和被观察部件的标签的正确匹配相同步。

根据一种实施方式，将所确定的动态对象的运动与反映潜在危险情况的所存储的运动场景进行比较，以分析所确定的动态对象的运动。

特别地，可以在危险分析模块中进行危急情况的自动检测过程和/或评估过程，其中，对所确定的动态对象的通过已知分析方法提取的运动进行评估。为了进行评估过程，在危险情况分析模块中可以存储一组具有非典型运动场景的危急情况。在此，该组可以包括可以与从运动序列记录中提取的所确定的动态对象的运动进行比较的各种运动场景。例如，可以通过机器学习过程生成这组存储的运动场景，方式为，借助假人或特技演员来追踪和检测典型的危急情况，例如跌倒或人员运送设备上的草率动作，并且提取的运动样式被记录在该组中作为存储的运动场景。当然，也可以通过合适的软件和足够的计算能力，纯粹虚拟地创建这样的运动场景。当然，该组还可以补充其他存储的移动场景，这些场景可能导致人员运送设备在运行期间发生事故并且无法由危险分析模块识别。在动态对象与存储的运动场景充分一致时，则危险分析模块假定存在危险情况并发出警告和/或警报信号。

根据一种实施方式，基于确定的动态对象与各种存储的运动场景的比较来评估人员运送设备处的当前危险情况。然后根据危险情况的评估发出警告。

该组的各种非典型运动场景优选地按照优先级具有不同的权重。根据这些权重，可以限定影响人员运送设备运行的不同动作。

例如，仅当识别到的用户跌倒具有很高的权重并且针对这个高权重限定紧急停止作为动作，控制模块才可以释放或者说建立需要手动操作的紧急停止触发装置与相应的人员运送设备的控制器之间的连接，以进行操作。当监控人员操作紧急停止触发装置时，立即启动紧急停止。

例如，如果用户以与人员运送设备的运送方向相反的方向进入人员运送设备，则这种危急情况可以具有中等权重，并且对于这种中等权重，可以设置为，控制模块仅释放或者说建立需要手动操作的速度调节器与相应的人员运送设备的控制器之间的连接，以进行操作。

用户也可以自行解决危急情况，例如通过抓住扶手阻止其跌倒，然后再站立起来。根据检测到的情况，该运动序列记录可以立即显示在交互模块的显示屏上，以便监控人员意识到这一点，并且必要时可以消除几乎跌倒的原因(用户分心、自动扶梯或自动人行道外的干扰影响)。然而，低权重不具有控制模块释放或者说建立任何上述连接的效果。此时还需要注意的是，连接的建立并不自动意味着连接的释放或者说建立。

根据本发明第三方面的实施方式的人员运送设备包括传送带、驱动器、控制器和这里描述的监控系统的实施方式。传送带可设计为梯级带或踏板带。驱动器被配置为沿着传送路径使传送带移位，包括位于传送带上的乘客或物品。在此，驱动器由控制器控制。在此可以通过变频器实现供电。编码器可以设置在传送带上或与传送带一起移动的另一个部件上，以便能够检测传送带的运动。该监控系统旨在识别传送带的区域和/或相邻区域中的危险情况。为此，监控系统的运动检测模块至少指向传送带的部分区域。警告可以直接或间接转发给控制器，以便例如在发生危险情况时减慢或停止传送带的运动。

根据本发明的第四方面的计算机程序产品的实施方式能够以能够由处理器解释的任何计算机语言来编写。根据本发明的第五方面的实施方式，计算机程序产品可以存储在计算机可读介质上。这种计算机可读介质可以是便携式的。特别地，介质能够以非易失性或易失性方式存储数据。例如，计算机可读介质可以是CD、DVD、闪存、ROM、EPROM等。替代地，计算机程序也可以存储在另一计算机、服务器、数据云(Cloud)等形式的计算机可读介质上，可以通过数据网络、特别是互联网从这些计算机可读介质上进行下载。

需要指出的是，本发明的实施方式的可能优点和改进在此部分地参考根据本发明的监控方法和部分地参考根据本发明的监控系统进行描述。本领域技术人员将认识到，所描述的特征可以适当地转用、适配、交换或修改，以实现本发明的其他实施方式。

附图说明

下面结合附图对本发明的实施方式进行说明，其中，附图和说明书均不应被理解为对本发明的限制。

图1以三维视图示出了根据本发明实施方式的待监控其运行的人员运送设备和用于监控该人员运送设备的监控系统。

该图仅是示意性的，并非必然按比例绘制。在附图中，相同的附图标记表示相同的特征或作用相同的特征。

具体实施方式

图1以三维视图示示出了具有多个自动扶梯3’、3”、3”’的人员运送设备1，人员运送设备的行驶运行F由监控系统5监控。为此，监控系统5具有危险分析模块7和运动检测模块9。

为了能够监控多个自动扶梯3’、3”、3”’，运动检测模块9具有多个相机11’、11”、11”’、13’、13”、13”’。在本示例性实施方式中，详细示出了两个自动扶梯3’、3”。用虚线勾勒的护栏象征着可能的多个其他自动扶梯3”’。这些自动扶梯3’、3”、3”’中的每一个都配有运动检测模块9的两个相机11’、13’、11”、13”、11”’、13”’，两个相机从与其对应的自动扶梯的行驶运行F中拍摄实际的运动序列记录15。

危险分析模块7和运动检测模块9优选地通过数据网络17相互连接。此外，危险分析模块7还连接到数据库模块19，从该数据库模块中可以提供人员运送设备1的数字孪生29的数据X、Y、Z。数据网络17可以通过多种方式建立，例如通过本地有线和/或无线数据网络、通过数据云(Cloud)47中的网络连接、通过CAN总线系统、蓝牙连接等。各个模块7、9、19能够相互交换数据，其中，各个模块之间的这种数据交换能够根据需要单向或双向地进行，以及连续地、顺序地或临时地进行。

借助监控系统5，可以执行根据本发明的方法的实施方式，以用于监控人员运送设备1的行驶运行F。

运动检测模块9的相机11’、13’、11”、13”、11”’、13”’指向对应的3’、3”、3”’并且检测可电子处理的人员运送设备1上所发生的情况101A、101B、101C的实际运动序列记录15。在此也可以包括人员运送设备1的附近周围环境。该附近周围环境包括例如在入口区域21、23前面的建筑物区域(未示出)，在建筑物中安装了人员运送设备1。该建筑物的前面区域也被称为前厅并且可选地由人员运送设备1的接近传感器(未示出)监控。接近传感器将其检测数据传输到人员运送设备1的“自动启动/停止”，这通常在自动扶梯3’、3”的相应控制器25’、25”中实现。控制器25’、25”控制对应的自动扶梯3’、3”的相应驱动器45的操作。

运动检测模块9可以使用摄像机、热成像相机、激光扫描仪、TOF相机、多个传感器的组合等，其中，它们的实际运动序列记录15以可电子处理的形式被相应地作为视频胶片序列、图像序列、热图像序列等拍摄。如果在人员运送设备1中使用多个相机11、13等，则相机11、13中的每一个优选地与特定的部分或区域相关联。这些区域优选地重叠，从而不存在用户102A、102B、102C的未观察到的危急情况101A、101B、101C发生的监控死角。由于监控要尽可能可靠，因此运动检测模块9优选地连续检测人员运送设备1上发生的事情。在此，还包括运动检测模块9将其实际的运动序列记录15实时地传输到危险分析模块7。

在危险分析模块7中接收所传输的实际运动序列记录15。此外，危险分析模块7从存储在数据库模块19中的数字孪生29接收数据X、Y、Z。该数据X、Y、Z能够得出关于处于预定运动状态下的人员运送设备1的视觉外观30的结论。因此，基于数字孪生29，可以确定虚拟运动序列记录16并且可以用于危险分析模块7。

然后危险分析模块7可以确定关于动态对象31(例如人员运送设备1上的移动用户102A、102B、102C)的信息，并且为此可以使用数字孪生29的接收到的实际运动序列记录15和接收到的数据X、Y、Z两者。特别地，可以有利地将虚拟运动序列记录16与实际运动序列记录15进行比较，例如通过形成两种类型的运动序列记录15、16之间的差分图像。

优选地，实际运动序列记录15可以与虚拟运动序列记录16同步，使得人员运送设备1在两个运动序列记录15、16中处于相同的运动状态。为此，例如，可以从人员运送设备1中的控制器25查询数据，该数据反映关于实际的人员运送设备1的当前运动状态的信息。替代地或附加地，可以从人员运送设备1的变频器33查询速度信息和/或查询人员运送设备1上的编码器35的信号，并用于同步两个运动序列记录15、16。作为进一步的替代或补充，可以在人员运送设备1的可移动部件39(例如传送带43的梯级41)上设置特殊标记37，该特殊标记随这些可移动部件39一起移动。例如，可以借助传感器装置观察这些标记37，以便获得与可移动部件39相关的移动位置信息，通过这些信息，可以精确地同步虚拟和实际的运动序列记录15、16。

然后，通过分析算法针对危险情况101A、101B、101C检查关于动态对象31的以这种方式确定的信息。这些分析算法例如基于已知的图像处理技术，这些技术例如在神经网络中使用人工智能的自学习过程中得到优化和应用。用于从图像生成信息的常见图像处理技术例如是直方图的计算，直方图的计算提供关于图像中的统计学的亮度分布的信息。例如，这种直方图可以用作进一步的图像处理步骤的配置或用作软件的人类用户的信息。图像的可以计算的其他信息例如是，图像的熵或平均亮度。基于该信息可以关于各个突出部位如何相对于彼此移动来进行矢量分析，并且由此可以得出关于用户102A、102B、102C的移动场景103A、103B、103C的结论。

当然，除了上述方法步骤之外，还可以使用视频监控技术领域中已知的其他分析技术和分析方法，以便从运动序列记录15、16中提取用户101A、101B、101C的运动样式。

一旦用户102、102A、102B、102C的运动样式已经被危险分析模块7识别并且例如已经被提取为骨骼运动样式，就可以将该运动样式与所存储的一组可能的危险情况或危急情况进行比较。更准确地说，存储在该组中的情况反映了在可能的危险情况下的非典型运动场景103A、103B、103C。

一旦危险分析模块7识别出危险情况101A、101B、101C，则危险分析模块发出警告26。例如，可以将警告26传输到监控中心28。从那里，作为对警告26的响应，例如人员运送设备1的运行可以通过适当地影响相关的自动扶梯3的控制器25而减慢或停止。此外，可以通过人员运送设备1上的信号装置27输出合适的视觉或听觉的警报信号，以便警告人员运送设备1的用户。

为了更好地理解本发明，三个危险情况101A至101C作为示例示出在图1所示的人员运送设备1上及其附近周围环境。在危险分析模块7中存在一组可能的运动场景103A、103B、103C以匹配这些危险情况101A、101B、101C，将从实际运动序列记录15中提取的动态对象31与这些危险情况进行比较。这种危险情况101A、101B、101C主要发生的可能位置也可以发挥作用。非典型的运动场景103A(该运动场景例如反映了在自动扶梯3”的倾斜的中部坠落)不能以相同的方式发生在人员运送设备1的前厅或其中一个进入区域21、23中。一组非典型运动场景103A、103B、103C可以例如通过机器学习过程借助假人或特技演员来追踪典型的危险情况101A、101B、101C(例如在人员运送设备上1的跌倒或草率动作)来生成。在该过程中所检测和提取的动态对象31或其运动样式可以作为非典型运动场景103A、103B、103C包括在该组中。当然，该组还可以补充在人员运送设备1的运行期间导致事故并且未被危险分析模块7识别的其他非典型运动场景。在动态对象31和非典型运动场景103A、103B、103C之间有足够的一致性的情况下，危险分析模块7可以假设或确定危险情况的存在并发出警告26。

各种非典型运动场景103A、103B、103C在优先级的意义上可以具有不同的权重。根据该优先级，可以在监控中心28中存储指令(未示出)，该指令关于如何影响相关的自动扶梯3’、3”的行驶运行F。例如，根据权重，必须启动紧急停止、降低行进速度、发出声音警告和/或视觉警告等。由运动检测模块9拍摄的危险情况101A在危险分析模块7中被识别为“跌倒”并且相关的警告26被赋予最高权重(＝紧急停止)，因为继续的行驶运行F可能导致对跌倒的用户102A的严重伤害。

由运动检测模块9拍摄的危急情况101B在危险分析模块7中被识别为“以错误的方向进入”并且相关的警告26被赋予最低权重。由于错误地进入，用户102B不会将自己置于直接危险中，而是在离开人员运送设备1时干扰迎面而来的用户。例如，在此向受影响的用户102B发出视觉警告和/或声音警告就足够了。

由运动检测模块46拍摄的危急情况101C在危险分析模块7中被识别为“携带购物车进入”并且相关的警告26被赋予中等权重。在这种情况下，用户102C仅在其带着购物车到达人员运送设备1的上升的中间部分时才处于危险之中。根据该中等权重，指令可以是降低行进速度F并发出视觉和/或听觉警告。行进速度的降低允许用户102C比在正常行进速度下更容易地沿相反方向离开自动扶梯3’。这样可以防止用户带着购物车过快到达自动扶梯的上升区域。

最后，应注意“包含”、“包括”等术语不排除其他元件或步骤，“一”或“一个”等术语不排除多个。此外，应当指出，已经参考上述示例性实施例之一描述的特征或步骤也可以与上述其他示例性实施例的其他特征或步骤结合使用。权利要求中的任何附图标记不应被解释为限制性的。

附图标记列表

1 人员运送设备

3 自动扶梯

5 监控系统

7 危险分析模块

9 运动检测模块

11 相机

13 相机

15 实际的运动序列记录

16 虚拟的运动序列记录

17 数据网络

19 数据库模块

21 进入区域

23 进入区域

25 控制器

26 警告

27 信号装置

29 数字孪生

30 人员运送设备的外观

31 动态对象

33 变频器

35 编码器

37 标记

39 可移动部件

41 梯级

43 传送带

45 驱动器

47 数据云

X、Y、Z 数字孪生数据

101A、101B、101C 危险情况

102A、102B、102C 用户

103A、102B、102C 运动场景

Claims (13)

1.一种用于通过监控系统(5)自动监控人员运送设备(1)的行驶运行(F)的方法，所述人员运送设备被设计为自动扶梯或自动人行道，

其中，监控系统(5)具有危险分析模块(7)和至少一个运动检测模块(9)，运动检测模块(9)指向人员运送设备(1)，并且被配置用于检测各种情况的能够以电子方式处理的实际的运动序列记录(15)，所述各种情况发生在相对应的人员运送设备(1)上，

所述方法包括：

在危险分析模块(7)中接收实际的运动序列记录(15)，其中，所述实际的运动序列记录(15)已由运动检测模块(9)检测；

在危险分析模块(7)中接收人员运送设备(1)的数字孪生(29)的数据(X、Y、Z)，所述数据(X、Y、Z)至少包括与人员运送设备(1)的物理特性相关的信息，所述信息能够得出关于人员运送设备(1)在预定的运动状态下的视觉外观(30)的结论；

通过危险分析模块(7)确定关于人员运送设备(1)上的动态对象(31)的信息，其中，所述信息基于数字孪生(29)的接收到的数据(X、Y、Z)和实际的运动序列记录(15)来确定；

基于对所确定的动态对象(31)的运动的分析，通过危险分析模块(7)确定与人员运送设备(1)上的当前危险情况(101A、101B、101C)相关的信息；以及

由危险分析模块(7)基于所确定的与当前危险情况(101A、101B、101C)相关的信息来输出警告(26)。

2.根据权利要求1所述的方法，

其中，基于数字孪生(29)的接收到的数据(X、Y、Z)由危险分析模块(7)确定虚拟的运动序列记录(16)，以及

与人员运送设备(1)上的动态对象(31)相关的信息由危险分析模块(7)通过将虚拟的运动序列记录(16)与实际的运动序列记录(15)进行比较来确定。

3.根据权利要求2所述的方法，

其中，对实际的运动序列记录(15)与虚拟的运动序列记录(16)的比较通过实际的运动序列记录(15)与虚拟的运动序列记录(16)之间的图像差分来进行。

4.根据权利要求2和3中任一项所述的方法，

其中，所述方法还包括将实际的运动序列记录(15)与虚拟的运动序列记录(16)进行同步，使得人员运送设备(1)的可移动部件(39)在两个运动序列记录(15、16)中，都处于相同的运动状态下。

5.根据权利要求4所述的方法，

其中，在考虑到从人员运送设备(1)的控制器(25)接收的并且包含关于人员运送设备(1)的当前实际运动状态的信息的数据的情况下，进行所述同步。

6.根据权利要求4和5中任一项所述的方法，

其中，在考虑到来自人员运送设备(1)的变频器(33)的速度信息或来自布置在人员运送设备(1)上的编码器(35)的信号的情况下，进行所述同步。

7.根据权利要求4至6中任一项所述的方法，

其中，在考虑到移动的位置信息的情况下，进行所述同步，所述移动的位置信息通过观察标记(37)来确定，所述标记固定在人员运送设备(1)的可移动部件(39)上的一个部位上并且随所述可移动部件一起移动。

8.根据前述权利要求中任一项所述的方法，

其中，为了分析所确定的动态对象(31)的运动，将所确定的动态对象(31)的运动与反映潜在的危险情况(101A、101B、101C)的所存储的运动场景(103A、103B、103C)进行比较。

9.根据前述权利要求中任一项所述的方法，

其中，基于所确定的动态对象(31)与各种所存储的运动场景(103A、103B、103C)的比较来评估人员运送设备(1)上的当前危险情况(101A、101B、101C)，以及

根据对危险情况的评估(101A、101B、101C)输出警告。

10.一种用于监控人员运送设备(1)的行驶运行(F)的监控系统(5)，其中，所述监控系统(5)具有危险分析模块(7)，所述危险分析模块(7)被配置用于接收来自运动检测模块(9)以及来自数据库模块(19)的数据，其中，所述运动检测模块(9)指向人员运送设备(1)并且被配置用于检测各种情况的能够以电子方式处理的实际运动序列记录(15)，所述各种情况发生在相关的人员运送设备(1)上，并且，在数据库模块(19)中存储有人员运送设备(1)的数字孪生(29)的数据，所述数据至少包括与人员运送设备(1)的物理特性相关的信息，所述信息能够得出关于人员运送设备(1)在预定的运动状态下的视觉外观的结论；

其中，危险分析模块(7)被配置用于，执行或控制根据前述权利要求中任一项所述的方法。

11.一种人员运送设备(1)，包括：

传送带(43)；

用于驱动所述传送带(43)的驱动器(45)；

用于控制所述驱动器(45)的控制器(25)；

根据权利要求10所述的监控系统(5)，所述监控系统的运动检测模块(9)至少指向所述传送带(43)的部分区域。

12.一种计算机程序产品，包括机器能够读取的程序指令，所述程序指令在能够编程的装置上执行时，促使该装置执行或控制根据权利要求1至9中任一项所述的方法。

13.一种计算机能够读取的介质，其上存储有根据权利要求12所述的计算机程序产品。