CN107765846A - 用于使用跨建筑的传感器网络进行基于手势的远距离控制的系统和方法 - Google Patents

Abstract

一种用于与基于设备的系统进行通信的基于手势的交互系统包括传感器装置和信号处理单元。所述传感器装置被配置成捕获用户的至少一个场景，以监视由所述用户执行的多个可能的手势中的至少一个手势，并且输出所捕获的信号。所述信号处理单元包括被配置成执行辨识软件的处理器和被配置成存储预定义的手势数据的存储介质。所述信号处理单元被配置成：接收所述所捕获的信号；至少通过将所述所捕获的信号与所述预定义的手势数据进行比较以确定所述多个可能的手势中的至少一个手势是否被刻画在所述至少一个场景中，来处理所述所捕获的信号；以及向所述基于设备的系统输出与所述至少一个手势相关联的命令信号。

Description

用于使用跨建筑的传感器网络进行基于手势的远距离控制的 系统和方法

对相关申请的交叉参考

此申请是2016年8月19日申请的美国序列号15/241,735的部分接续案，所述申请以全文引用的方式并入本文。

背景

本文公开的标的大体上涉及控制建筑内设备，并且更具体来说，涉及对建筑内设备的基于手势的控制。

传统上，人与建筑内设备(例如，电梯系统、照明、空调、电子设备、门、窗、遮光帘等)的交互取决于例如按压按钮或开关、在自助服务终端处输入目的地等物理交互。此外，人与某一建筑内设备的交互被设计成经由与建筑内设备的物理交互来促进商务管理应用，包括维修安排、资产置换、电梯调度、空气调节、照明控制等。举例来说，当前触摸系统尝试经由例如使用移动电话或者利用可以放置在建筑的不同区域的小键盘来解决从电梯之外的位置请求电梯。第一解决方案需要用户携带移动电话并且安装适当的应用程序。第二解决方案需要安装小键盘，这样代价较高并且并不总是方便的。

随着技术上的进步，可以使用不同的激活系统来实施需要较少的物理交互的系统，例如语音或手势控制系统。举例来说，现有的听觉系统可以采用两种模式中的一者来激活语音辨识系统。通常，第一模式包括用户按压按钮以激活语音辨识系统，并且第二模式包括用户向语音辨识系统说出一组特定词语，例如“OK，Google”。然而，两种激活方法都需要用户与建筑内设备非常紧密接近。类似地，当前基于手势的系统需要用户接近建筑内设备(例如，电梯大堂中的电梯)并且在所述设备内或附近。

这些实施方案都不允许从特定位置和距离远处呼叫和/或控制建筑内设备，例如电梯。

简述

根据本公开的一个非限制性实施例的用于与基于设备的系统进行通信的基于手势的交互系统包括：传感器装置，其被配置成捕获用户的至少一个场景，以监视所述用户执行的多个可能的手势中的至少一个手势，并且输出所捕获的信号；以及信号处理单元，其包括：处理器，其被配置成执行辨识软件；存储介质，其被配置成存储预定义的手势数据，并且所述信号处理单元被配置成：接收所捕获的信号；至少通过将所述所捕获的信号与所述预定义的手势数据进行比较来处理所捕获的信号，以用于确定所述多个可能的手势中的至少一个手势是否被刻画在所述至少一个场景中，并且向基于设备的系统输出与所述至少一个手势相关联的命令信号。

在前述实施例的另外实施例中，所述多个可能的手势包括由听觉受损者应用并且与预定义的手势数据相关联的常规手语。

在前述实施例的替代性实施例或另外实施例中，所述多个可能的手势包括用于开始交互并且与预定义的手势数据相关联的唤醒手势。

在前述实施例的替代性实施例或另外实施例中，所述基于手势的交互系统包括确认装置，所述确认装置被配置成在接收并且辨识唤醒手势时从信号处理单元接收确认信号，并且起始确认事件以警示用户曾接收到和辨识出所述唤醒手势。

在前述实施例的替代性实施例或另外实施例中，所述多个可能的手势包括与所述预定义的手势数据相关联的命令手势。

在前述实施例的替代性实施例或另外实施例中，所述基于手势的交互系统包括接近传感器装置而安置的显示器，所述显示器被配置成从信号处理单元接收与所述命令手势相关联的命令解译信号，并且向用户显示所述命令解译信号。

在前述实施例的替代性实施例或另外实施例中，所述多个可能的手势包括与所述预定义的手势数据相关联的确认手势。

在前述实施例的替代性实施例或另外实施例中，所述传感器装置包括光学相机、深度传感器和电磁场传感器中的至少一者。

在前述实施例的替代性实施例或另外实施例中，所述唤醒手势、所述命令手势和所述确认手势是视觉手势。

在前述实施例的替代性实施例或另外实施例中，所述基于设备的系统是电梯系统，并且所述命令手势是电梯命令手势并且包括向上命令手势、向下命令手势和楼层目的地手势中的至少一者。

根据另一非限制性实施例的一种操作基于手势的交互系统的方法包括：由用户执行命令手势并且由传感器装置捕获；通过信号处理单元来辨识所述命令手势；以及向确认装置输出与所述命令手势相关联的命令解译信号以让所述用户确认。

在前述实施例的另外实施例中，所述方法包括由所述用户执行唤醒手势并由传感器装置捕获；以及由信号处理单元证实接收到所述唤醒手势。

在前述实施例的替代性实施例或另外实施例中，所述方法包括由所述用户执行用于确认命令解译信号的确认手势。

在前述实施例的替代性实施例或另外实施例中，所述方法包括由所述信号处理单元通过利用辨识软件和预定义的手势数据来辨识所述确认手势。

在前述实施例的替代性实施例或另外实施例中，所述方法包括由所述信号处理单元通过利用辨识软件和预定义的手势数据来辨识所述命令手势。

在前述实施例的替代性实施例或另外实施例中，所述方法包括由所述信号处理单元向基于设备的系统发送与所述命令手势相关联的命令信号。

在前述实施例的替代性实施例或另外实施例中，所述唤醒手势和所述命令手势是视觉手势。

在前述实施例的替代性实施例或另外实施例中，所述传感器装置包括用于捕获所述视觉手势并且向所述信号处理单元输出所捕获的信号的光学相机。

在前述实施例的替代性实施例或另外实施例中，所述信号处理单元包括处理器和存储介质，并且所述处理器被配置成执行辨识软件来辨识所述视觉手势。

可以非排他地以各种组合来组合前述特征和元件，除非另外明确指示。鉴于以下描述和附图，这些特征和元件以及其操作将变得更加显而易见。然而，应该理解，以下描述和图式既定在本质上是说明性和阐释性的而非限制性的。

附图简述

通过结合附图进行的以下详细描述，本公开的前述和其他特征和优势会显而易见，附图中：

图1是根据一个或多个实施例的用于控制建筑内设备的手势和位置辨识系统的框图；

图2是根据一个或多个实施例的用于控制建筑内设备的手势和位置辨识系统的框图；

图3是根据一个或多个实施例的包括手势和位置辨识系统的建筑楼层的图；

图4描绘根据一个或多个实施例的在用户与手势和位置辨识系统之间的用户交互；

图5描绘根据一个或多个实施例的用户手势；

图6描绘根据一个或多个实施例的由两个子动作构成的两部分用户手势；

图7描绘根据一个或多个实施例的由两个子动作构成的两部分用户手势；

图8描绘根据一个或多个实施例的经过处理的手势的状态图；

图9描绘根据一个或多个实施例的经过处理的手势的状态图；

图10是根据一个或多个实施例的包括手势远处控制的方法的流程图；以及

图11是操作基于手势的交互系统的方法的流程图。

详细描述

如本文中示出和描述，将呈现本公开的各种特征。各种实施例可能具有相同或类似的特征，并且因此可以使用相同的参考数字标记所述相同或类似的特征，但是前面有指示示出所述特征的图的不同第一数字。因此，例如，在图X中示出的元件“a”可以标记为“Xa”，并且图Z中的类似特征可以标记为“Za”。虽然可以在一般意义上使用类似的参考数字，但将描述各种实施例，并且本领域技术人员将了解，各种特征可以包括无论明确描述还是本领域技术人员原本将了解的变化、更改、修改等。

本文描述的实施例针对于用于从远处与建筑内设备的基于手势的交互的系统和方法，所述建筑内设备例如为电梯、灯、空气调节、门、百叶窗、电子器件、复印机、扬声器等。根据其他实施例，所述系统和方法可用于在远处交互和控制其他建筑内设备，例如运输系统(例如，自动扶梯、按需运人器等)。一个或多个实施例将人检测和跟踪与表示手势的时空描述符或运动签名进行整合，以与状态机一起来跟踪复杂的手势识别。

举例来说，与建筑内设备的交互是多种多样的。人员可能希望：控制本地环境，例如照明、加热、通风和空气调节(HVAC)、打开或关闭门等；控制服务，例如提供给养、清除垃圾等；控制本地设备，例如将计算机锁定或解锁、开启或关闭投影仪等；与安全系统交互，例如打手势以确定是否有其他人在同一楼层、请求辅助等；或者与建筑内的运输工具交互，例如召唤电梯、选择目的地等。与电梯的交互的此后一实例将在说明书中用作示例性而不是限制性，除非另有特别说明。

在一个实施例中，用户使用基于手势的接口来呼叫电梯。另外，基于手势的接口是系统的部分，所述系统还可以包括跟踪系统，所述跟踪系统推断用户到被呼叫的电梯的预期到达时间(ETA)。所述系统还可以向呼叫登记所计算的延迟以避免让电梯轿厢过分等待，并且跟踪用户，从而在ETA偏离最新估计的情况下向厅门呼叫发送改变。在替代性实施例中，对电梯的远程命令利用在做手势时看向相机的用户。在另一替代性实施例中，对电梯的远程命令包括除了手势之外发出特征声音(例如，打响指)。检测和跟踪系统可以使用其他传感器(例如，被动红外(PIR))来代替光学相机或深度传感器。所述传感器可以是3D传感器，例如深度传感器；2D传感器，例如摄像机；运动传感器，例如PIR传感器；麦克风或麦克风阵列；按钮或一组按钮；开关或一组开关；键盘；触摸屏；RFID读取器；电容性传感器；无线信标传感器；压敏地毯、重力梯度仪或针对如本文其他地方描述的人员检测和/或意图辨识而设计的任何其他已知的传感器或系统。虽然主要关于来自可见光谱相机的光学图像或视频进行教导，但还预期可以使用来自3D传感器(例如，结构光传感器、LIDAR、立体相机等)的处于电磁波谱或声谱的任何部分的深度图或点云。

另外，一个或多个实施例以一种方式使用传感器来检测手势，使得通过组合多个因素而存在较低的错误肯定率。具体来说，因为可以实施肯定检测的较高阈值，所以可以提供较低的错误肯定率，因为还提供允许用户知晓是否检测到手势的反馈特征。如果不是因为较高的阈值，那么用户将知晓并且可以尝试再次作出更准确的手势。举例来说，因素的特定实例可以包括：仅当所述系统对作出的手势具有非常高的置信度时所述系统才作出电梯呼叫。这允许系统以丢失对一些手势是的检测为代价而具有少量的错误肯定。所述系统通过向用户传达是否已经检测到手势来补偿此因素。在本文的一个或多个实施例中提供了在没有许多丢失的检测的情况下减小错误肯定率的其他手段。举例来说，一个或多个实施例包括利用脸的定向(人将通常看向相机或传感器，以了解他们的手势是否被辨识)，或者使用额外的信息源(例如，用户可能在做手势时打响指，并且在传感器还具有麦克风的情况下可以由所述系统辨识此噪声)。因此，一个或多个实施例包括能够跨建筑通过手势来呼叫电梯，并且向用户提供是否已经作出手势的反馈。

根据其他实施例，提供从很远处，即，在建筑的远离电梯的部分呼叫电梯。此系统和方法允许优化电梯业务和分配，并且可以减少用户的平均等待时间。此外，根据另一实施例，所述系统不需要用户携带任何装置或安装任何额外的硬件。举例来说，用户可以使用手或手臂作出手势，从而以自然的方式呼叫电梯。为了检测这些手势，此实施例可以使用在整个建筑中已经在适当位置的现有的传感器(例如，光学相机、深度传感器等)的网络，例如安全摄像机。根据一个或多个实施例，所述传感器可以是3D传感器，例如深度传感器；2D传感器，例如摄像机；运动传感器，例如PIR传感器；麦克风或麦克风阵列；按钮或一组按钮；开关或一组开关；键盘；触摸屏；RFID读取器；电容性传感器；无线信标传感器；压敏地毯、重力梯度仪，或针对如本文其他地方描述的人员检测和/或意图辨识而设计的任何其他已知的传感器或系统。

因此，作为本文的公开的一个或多个实施例提供一种用于从建筑中的远处控制建筑内设备的方法和/或系统。举例来说，用户例如通过观察在传感器旁边开启的绿灯而知道他/她已经呼叫了电梯，如图4中所示。

现在转向图1，示出根据一个或多个实施例的具有手势远处控制的系统100的框图。系统100包括位于建筑内某处的至少一个传感器装置110.1。根据一个实施例，此传感器装置110.1在楼层上其他地方远离电梯大堂而放置。此外，此传感器装置110.1可以是可以捕获包括用户的视频序列的数据信号的摄像机。系统100可以进一步包括在整个建筑楼层的其他位置处提供的其他传感器装置110.2到110.n。系统100还包括基于设备的系统150，所述基于设备的系统可以是按需运输系统(例如，电梯系统)。应预期并且理解，基于设备的系统150可以是具有人可能想要经由手势系统100基于手势进行控制的设备的任何系统。

电梯系统150可以包括电梯控制器151以及一个或多个电梯轿厢152.1和152.2。传感器装置110.1至110.n全部与电梯系统150通信地连接，使得它们可以向电梯控制器151传输信号以及接收信号。这些传感器装置110.1至110.n可以直接或间接地连接到系统150。如所示，电梯控制器151还充当数字信号处理器，以用于处理视频信号来检测是否已经提供手势，并且在检测到手势的情况下，电梯控制器151向曾提供含有手势的信号的相应的传感器装置(例如，110.2)发送回确认信号。传感器装置110.2随后可以向用户160提供手势已经被接收并且经过处理并且正在呼叫电梯的通知。根据另一实施例，在传感器附近的例如屏幕、标志、扩音器等通知装置(未示出)向用户160提供所述通知。替代地，可以通过向用户移动装置发送信号而向用户提供通知，所述用户移动装置随后警告用户。另一实施例包括向在用户的检测到的位置附近的显示装置(未示出)传输通知信号。所述显示装置随后向用户传输通知。举例来说，所述显示装置可以包括向用户示出图像或者给出指示所要通知的言语确认声音或其他通告的视觉或听觉显示装置。用户160随后可以行进到电梯轿厢152.1或152.2。此外，电梯控制器151还可以基于哪个传感器装置110.2提供手势来计算所估计的到达时间。因此，可以将电梯呼叫定制成最适合用户160。

现在转向图2，示出根据一个或多个实施例的具有手势远处控制的系统101的框图。此系统类似于图1中示出的系统，原因在于此系统包括连接到基于设备的系统150(例如，电梯系统)的一个或多个传感器装置110.1至110.n。电梯系统150可以包括电梯控制器151以及一个或多个电梯轿厢152.1和152.2。系统101还包括与电梯控制器151分开的单独信号处理单元140。信号处理单语140能够处理来自传感器装置和任何其他传感器、装置或系统的所有所接收的数据，并且产生可以提供给电梯系统150的正常电梯呼叫。以此方式，所述系统可以与已经存在的电梯系统一起使用，而不需要更换电梯控制器。另外，可以在若干位置提供信号处理单元140，例如，在建筑内、作为传感器装置中的一者的部分、在异地或其组合。此外，所述系统可以包括定位装置130，例如使用无线路由器或建筑中的另一相机阵列或某一其他形式的检测装置的位置检测方案。此定位装置130可以向信号处理单元140提供用户的位置。举例来说，定位装置130可以由无线通信集线器构成，所述无线通信集线器可以检测用户的移动装置的信号强度，所述信号强度可以用于确定位置。根据另一实施例，所述定位装置可以使用在整个建筑中放置在已知位置的一个或多个相机，所述相机可以检测穿过相机视场的用户，并且因此可以识别用户在建筑内何处。还可以使用其他已知的定位装置，例如深度传感器、雷达、激光雷达、音频回声定位系统，和/或安装在楼层中不同位置处的压力传感器阵列。如果从用户160接收手势的图像传感器装置110处于未知的位置(例如，在建筑周围移动的移动单元)，或者如果传感器装置110移动到新的位置并且新的位置尚未被编程到系统中，那么所述定位装置可为有帮助的

图3是根据本公开的一个或多个实施例的建筑楼层200的图，所述建筑楼层包括：作出手势的用户260；以及手势和位置检测系统，所述手势和位置检测系统包括一个或多个传感器210.1-210.3，每个传感器具有对应的检测域211.1-211.3；以及建筑内设备，例如电梯250。用户260可以使用他们的手、头部、手臂和/或以其他方式作出手势以指示他的/她的使用电梯250的意图。如所示，在用户在覆盖入口区域的检测域211.1内时，传感器(210.1)(例如，光学相机、红外相机，或深度传感器)捕获手势，并且系统在用户260到达电梯门之前呼叫电梯250。根据其他实施例，所述传感器可以是3D传感器，例如深度传感器；2D传感器，例如摄像机；运动传感器，例如PIR传感器；麦克风或麦克风阵列；按钮或一组按钮；开关或一组开关；键盘；触摸屏；RFID读取器；电容性传感器；无线信标传感器；压敏地毯、重力梯度仪，或针对如本文其他地方描述的人员检测和/或意图辨识而设计的任何其他已知的传感器或系统。因此，根据一个或多个实施例，所述传感器捕获可以是视觉表示和/或3D深度图等中的至少一者的数据信号。

因此，如图所示，可以提供由可以是相机的一个或多个传感器210.1-210.3检测到的手势。相机210.1-210.3可以提供用户260的位置和来自用户260的手势，所述位置和手势可以经过处理以确定对电梯250的呼叫。处理所述位置和手势可以用于产生穿过建筑楼层到电梯的用户路径270。此所产生的预期路径270可以用于提供到电梯的所估计到达时间。举例来说，穿过建筑的不同路径可以具有横穿的对应的估计行进时间。此所估计行进时间值可以是在特定时间帧内检测到的平均行进时间，所述平均行进时间可以基于特定用户的已知速度或随时间的平均速度而是所述用户特有的，或者可以由建筑管理者设定。一旦针对用户产生路径270，可以分析路径270并且与估计行进时间匹配。例如，如果用户采取较长的蜿蜒路径或者如果用户在沿着路径的部分开始行进，那么可以将所估计行进时间的组合一起相加，也可以减小所述估计。通过此所估计的到达时间，电梯系统可以呼叫在向用户提供最佳服务的同时还维持系统优化的电梯。如图3中示出，提供小楼层平面，其中用户与电梯相距不是很远。因此，图3示出与可以对应于(例如)酒店的更大平面相同的概念。

根据另一实施例，用户260可以进入传感器210.1的检测域211.1并且不作出手势。在此情况下，系统将不采取任何动作。用户260随后可以行进到所述建筑中和周围。随后，用户260可以在某时决定呼叫电梯250。用户随后可以进入检测域，例如，传感器210.2的检测域211.2。用户260随后可以作出由传感器210.2检测的手势。当此发生时，传感器210.2可以分析或传输所述信号以进行分析。所述分析包括确定所述手势请求什么以及还有用户260的位置。一旦这些经过确定，便可以计算出到用户所请求的电梯250的路径270，以及用户将花费多少时间沿着路径270行进到达电梯250。举例来说，可以确定用户260将花费1分35秒到达电梯250。所述系统随后可以确定最近的电梯轿厢的垂直距离，所述电梯轿厢可以(例如)相距35秒。所述系统随后可以确定在一分钟内呼叫电梯将使得在用户260到达电梯250时所述电梯同时到达。

根据另一实施例，用户可以仅沿着路径270移动而决定不再乘坐电梯。传感器210.1-210.3可以检测来自用户的取消建筑内设备呼叫的另一手势。如果用户260未作出取消手势，那么传感器210.1-210.3还可以例如通过跟踪所述用户已经偏离路径270达特定时间和/或距离量而确定所述用户不再使用电梯250。所述系统可以首先检测与路径270的此偏离会在用户260计划返回到路径270的情况下向用户260提供额外时间。在预定时间量之后，所述系统可以确定用户将不再使用电梯250并且可以取消电梯呼叫。根据另一实施例，所述系统可以通过向用户发送先前基于手势的呼叫已经取消的通知而向用户进行指示。

如图3中示出，并且根据另一实施例，示出用户260将遵循的用来乘坐电梯250的所估计路径270。此路径270可以用于计算到达电梯250的所估计时间，电梯250可以使用那个信息进行等待并且随后在特定时间呼叫特定电梯轿厢。举例来说，用户260可以使用传感器210.1-210.3来提供他们需要电梯的手势。传感器210.1-210.3随后可以跟踪用户的移动，并且基于用户的当前速度来计算实时估计，所述当前速度可以在用户移动穿过建筑时进行调整。举例来说，如果用户缓慢移动，那么在呼叫电梯250之前的时间将会延长。替代地，如果检测到用户260正跑向电梯250，那么可以基于用户横穿建筑而尽可能快地(如果不是立即地)作出对电梯轿厢的呼叫。

在检测到手势之后，所述系统可以立刻呼叫电梯，或替代地，所述系统可以等待较短时间，之后对电梯作出实际呼叫。在后一种情况下，所述系统可以使用曾捕获手势的传感器的位置来估计用户到达电梯将花费的时间，以便进行呼叫。

图4描绘根据本公开的一个或多个实施例的用户460与检测系统410之间的交互。具体来说，图4说明用户460与系统的传感器411(例如，光学相机、深度传感器等)之间的交互。举例来说，用户460作出手势461，并且系统410通过产生可见信号412来确认电梯已经被呼叫。具体来说，如所示，手势461是用户460的左手臂的向上手臂移动。根据其他实施例，此手势可以是挥手、另一用户附体的移动、摇头、移动的组合和/或移动和听觉命令的组合。确认的实例包括开启在捕获手势461的传感器411附近的灯412，或发射用户460可以辨识的特征噪声、言语表达或其他通告。根据其他实施例，系统410可以提供向用户460移动装置或向用户旁边的显示屏幕传输的信号。向用户460提供此类型的反馈是有用的，使得如果手势第一次没有被辨识，那么人460可以重复手势461。根据其他实施例，可以通过其他手段向用户460提供确认反馈，例如通过听觉声音或信号，或者可以向用户的个人电子装置(例如，手机、智能手表等)传输数字信号。

图5描绘根据本公开的一个或多个实施例的用户560和用户手势565。如所示，用户560抬起他们的左手臂，从而作出第一手势561，并且还抬起他们的右手臂，从而作出第二手势562。这两个手势561、562组合在一起以产生用户手势565。当检测到此手势565时，系统随后可以基于特定手势565的已知含义而产生控制信号。举例来说，如所示，手势565让用户560抬起两个手臂，这可以指示想要乘坐向上的电梯。根据一个或多个实施例，如果用户想要向上，那么简单手势可以是仅抬起一个手臂，或者如果想要向下，那么使用手臂作出向下移动。此类手势在具有传统的二按钮电梯系统的建筑中将是最有用的，而且还可以在目的地分派系统中是有用的。举例来说，用户可以作出向上运动，从而指示想要向上，并且还口头喊出他们想要的楼层。用户可以将他们的手臂抬起特定距离，这指示特定楼层，或者，根据另一实施例，抬起并保持他们的手臂向上以递增对时间进行计数的计数器，所述时间随后被转译为楼层编号。例如，用户可以保持他们的手臂向上达10秒，从而指示想要去往楼层10。根据另一实施例，用户可以使用手指指示楼层编号，例如举起4根手指来指示楼层4。还设想其他手势、手势的组合以及手势和听觉响应的组合，它们可以指示若干不同请求。

根据一个或多个实施例，简单手势的问题是，所述手势可能会被人意外执行。一般来说，简单手势可能会导致较高数目的错误肯定。为了避免此问题，一个或多个实施例可能需要用户执行更复杂的手势，例如，涉及一个以上手臂，如图5中说明。在此情况下，手势辨识系统是基于在人体560的两侧561、561检测到向上移动。根据其他实施例，其他可能性是执行两次相同的简单手势，使得系统完全地确信用户560打算使用电梯。另外，替代性实施例可能需要用户560除了手势之外发出某一特征声音(例如，打响指或吹口哨)。在此情况下，系统利用多个证据来源(手势和音频图案)，这会显著减少错误肯定的数目。

图6描绘根据一个或多个实施例的由两个子动作构成的两部分用户手势。示出将手势分解为移动或“子动作”的时间序列。在此实例中，所述手势(动作)是由向上弯曲手臂组成。此动作产生一连串连续移动(所谓的子动作)。每个移动或子动作与特定时间周期相关联，并且可以通过特定空间区中的特征运动向量来描述(在所述实例中，第一子动作发生在低高度处，并且第二子动作发生在中间高度处)。可以利用两种不同方法来捕获子动作的此序列，如图7和图8中说明。

图7描绘根据一个或多个实施例的由两个子动作(子动作1和子动作2)构成的两部分用户手势。具体来说，如所示，子动作1是从完全向下位置到用户手臂与地面垂直的中途点的向上和向外旋转运动。第二子动作2是在用户手朝向用户旋转的情况下向上并且朝向用户旋转的第二移动。如所示，每个子动作的向量被示出为移动穿过的每个帧的子向量的集合。这些子动作随后可以一起级联成手势的总向量。

此外，图8描绘根据一个或多个实施例的经过处理的手势的状态图。为了考虑在连续时间产生不同运动向量的动态手势，可以将手势分解为一连串子动作，如图6中针对上升手臂手势所说明。基于此，可以遵循若干方法，例如本文描述的两种方法，或未描述的其他方法。图7说明第一类型的方法。所述方法由构建光流直方图(HOF)的空间-时间描述符组成，通过级联序列的连续帧处的特征向量而获得所述空间-时间描述符。还可以使用其他描述符，例如HOOF、HOG、SIFT、SURF、ASIFT、其他SIFT变体、Harris拐点检测器、SUSAN、FAST、相位相关、归一化互相关、GLOH、BRIEF、CenSure/STAR、ORB等。随后将级联的特征向量传递到分类器，所述分类器确定所述特征向量是否对应于目标手势。图8说明第二类型的方法，其中利用状态机，所述状态机允许考虑到对序列中的不同子动作的辨识。每个状态都应用分类器，所述分类器被特别训练成辨识子动作中的一者。虽然在此实例中仅使用两个子动作，但可以将所述手势分解为所要多的子动作，或者可以使用单个子动作(即，完整手势)，这对应于不使用状态机并且替代地仅使用分类器的情况。

图7包括随时间级联特征向量以便捕获随时间由手势产生的不同运动向量的图解。级联的描述符捕获此信息，并且可以将所述描述符视为手势的空间-时间描述符。在所述图解中仅示出两个帧，但可以使用更多的帧。级联的特征向量可以属于邻接帧或被给定时间间隔分离的帧，以便对手臂的轨迹适当地取样。

图8包括可以用于将复杂手势检测为连续子动作(参看图7)的状态机的实例，其中通过专用分类器来检测每个子动作。如所示，系统开始于状态0，其中完全不辨识、开始或部分辨识动作。如果未检测到子动作，那么系统将继续保持于状态0，如通过“无子动作”环指示。接下来，当检测到子动作1时，系统移动为状态1，其中所述系统现在已经部分地辨识出手势并且主动地搜索另一子动作。如果在设定时间内未检测到子动作，那么系统将返回状态0。然而，如果所述系统辨识出子动作2，那么所述系统将转变为状态2，所述状态是其中所述系统已经检测到完成的动作并且将根据检测到的动作而作出响应的状态。举例来说，如果所述系统检测到在图5或图7中示出的运动，那么所述系统(可以是电梯系统)将呼叫电梯轿厢以在建筑中向上搭乘用户。

实际上，分类过程的输出将是连续实值，其中高值指示作出手势的高置信度。举例来说，当检测到作为来自每个帧的六个子向量的组合的子动作时，有可能的是，仅检测到4个子向量意味着曾作出较弱的检测。相比而言，如果辨识出所有六个子向量，那么曾作出较强检测。通过对此值施加高阈值，所述系统可以获得少量错误肯定，代价为失去一些真肯定(即，未检测到的有效手势)。失去真肯定并不关键，这是因为用户可以了解实际上何时已经呼叫电梯或在尚未检测手势时，如上文阐释(参看图4)。以此方式，在第一次未检测到手势的情况下，用户可以重复手势。此外，所述系统可以含有第二状态机，所述第二状态机允许随时间累积手势检测的证据，如图8中说明。

图9描绘根据一个或多个实施例的经过处理的手势的状态图。具体来说，图9包括允许随时间增加手势检测器的证据的状态机的实例。在状态0，如果用户执行某一手势，那么可能发生三种情况。在第一种情况下，系统以足够置信度(置信度＞T2)辨识出手势。在此情况下，机器移动到状态2，其中辨识出动作(手势)，并且系统向用户指示此动作(例如，通过开启绿灯，参看图4)。在第二种情况下，系统可能检测到手势，但不完全确信(T1＜置信度＜T2)。在此情况下，机器移动到状态1，并且不告诉用户检测到手势。机器期望用户重复所述手势。如果在一段短暂时间之后系统以置信度＞T1’检测到所述手势，那么将所述动作视为被辨识出，并且向用户用信号通知此情况。否则，系统回到初始状态。在状态1，系统可以累积在第一手势与第二手势中的一者中获得的置信度。最后，在第三种情况下，完全检测不到手势(置信度＜T1)，并且状态机仅等待，直到置信度大于T1为止。

在一个或多个实施例中，为了增加系统的准确性，可以充分利用信息，例如用户在做手势时正看向传感器(例如，光学相机)。这可以通过检测特定定向/姿势下的脸来检测。在当前技术下，这种类型的脸检测是相对准确的，并且可以提供已经作出手势的额外证据。可以利用的另一信息来源是在做手势时的日时，从而考虑到人们通常在特定时间使用电梯(例如，在商务环境中，在进入/离开工作时，或在午餐时)。如上文所论述，还可能在做手势时要求用户产生特征声音，例如在做手势时打响指。如果传感器具有集成的麦克风，那么此声音便可以由所述系统辨识。

图10是根据本发明的一个或多个实施例的包括手势远处控制的方法1100的流程图。方法1100包括使用传感器装置捕获用户的数据信号并且从所述数据信号检测来自用户的手势输入(操作1105)。此外，方法1100包括基于建筑中的传感器装置的传感器位置和用户的所收集的数据信号来计算用户位置(操作1110)。方法1100继续包括使用信号处理单元基于手势输入和用户位置而产生控制信号(操作1115)。此外，方法1100包括使用建筑内设备从信号处理单元接收控制信号，并且基于所述控制信号来控制所述建筑内设备(操作1120)。根据另一实施例，所述方法可以包括使用电梯控制器从信号处理单元接收控制信号，并且基于所述控制信号来控制一个或多个电梯轿厢。

在替代性实施例中，可以使用例如被动红外(PIR)等传感器来代替相机。这些传感器通常部署成例如针对HVAC应用来估计建筑占用率。所述系统可以充分利用PIR传感器的现有的网络来检测用户作出的手势。PIR传感器检测移动，并且所述系统可以要求用户在传感器前以特有方式移动手。

在额外实施例中，可以通过产生特定声音(例如，吹连续三次口哨、拍手等)来呼叫电梯，并且在此情况下，所述系统可以使用跨建筑的声学麦克风的网络。最后，如上文阐释，所述系统可以通过要求用户在执行手势时发出特征声音(例如，吹两声口哨)而融合不同传感器。通过整合多个证据，所述系统可以显著增加系统的准确性。

根据一个或多个实施例，用户可以通过若干不同方式来使用用于控制建筑内设备的手势和位置辨识系统。举例来说，根据一个实施例，用户走向建筑，并且由相机拾取。用户随后挥动他们的手，得到闪光，从而证实挥手手势被辨识。所述系统随后计算电梯到达时间估计值以及用户的电梯到达时间。基于这些计算，所述系统相应地作出电梯呼叫。随后，放置在整个建筑中的作为系统的部分的相机跟踪穿过建筑(入口大堂、厅门等)到电梯的用户。所述跟踪可以用于更新用户到达估计，并且确认用户走在朝向电梯的正确方向。一旦用户到达电梯，被请求的电梯轿厢将进行等待或也将到达用户。

根据另一实施例，用户可以接近建筑、被建筑相机拾取，但可以决定不发出信号。所述系统将不产生任何建筑内设备控制信号。所述系统可以继续跟踪用户或者可以不跟踪。用户于是稍后可以在大堂驻足，在那里用户作出指示用户想要(例如)电梯的手势。电梯系统可以发出证实信号，并且所述系统随后将为用户呼叫电梯轿厢。另一实施例包括离开二十楼的办公室的用户，并且厅门相机拾取用户。此时，用户作出手势，例如拍他们的手。所述系统检测到此手势，并且可以使用所计算的延迟和所发送的证实来呼叫电梯。此外，整个建筑中的相机可以继续跟踪用户，直到用户走进电梯为止。

参看图2，系统101可以是可以被配置成与电梯系统150交互的基于手势的交互系统。基于手势的交互系统101可以包括至少一个定位装置130、至少一个传感器装置110、至少一个确认装置111(即，也参看图4中的可见信号412)，以及信号处理单元140。装置110、111、130和140可以彼此通信和/或经由可以是硬连线或无线的路径102与电梯控制器151通信。传感器装置110可以是图像传感器装置，和/或可以包括组件104，所述组件可以是深度传感器、电场传感器和光学相机中的至少一者。传感器装置110可以进一步包括声学麦克风106。定位装置130可以是传感器装置110的整体部分，或者可以一般定位成接近传感器装置110。信号处理单元140也可以是传感器装置110的整体部分，或者可以与装置110远程定位。在一个实施例中，信号处理单元140可以是电梯控制器151的整体部分和/或改装部分。信号处理单元140可以包括处理器108和存储介质112。处理器108可以是基于计算机的处理器(例如，微处理器)，并且存储介质112可以是计算机可写和可读存储介质。电梯系统150的实例可以包括电梯、自动扶梯、车辆、轨道系统和其他。

传感器装置110的组件104可以包括视场114(还参看图3中的视场211.1、211.2、211.3)，所述视场被配置成或一般定位成对用户160进行成像或成帧和/或记录场景，因此监视视觉手势(参看图4中的视觉手势461、图5中的视觉手势561、562的实例)。麦克风106可以定位成从用户160接收可听手势116。视觉手势的实例可以包括用户160的物理指向、若干手指、物理运动(例如，在空中‘写’数字)、已知用于听力受损者的常规手语、被设计成用于与特定设备通信的特定标志和其他。可以通过深度学习、深度网络、深度卷积网络、深度递归神经网络、深度信任网络、深度玻尔兹曼机器等来辨识这些手势和其他。可听手势116的实例一般可以包括语言、非言语发声、打响指、拍手和其他。多个手势(其可为各种视觉手势、各种可听手势和/或以上两者的组合)可以与多个运输命令相关联。运输命令的实例可以包括电梯命令，所述电梯命令可以包括向上和/或向下呼叫、目的地楼层编号(例如，轿厢呼叫或罗盘呼叫)、需要使用最近的电梯(即，使用户移动最少)、保持门打开(即，向电梯轿厢装载多个物品或货物)，以及门打开和/或门关闭。

更具体来说，用户160可能想要来自电梯系统150的特定动作，并且为了实现此动作，用户160可以执行可以由信号处理单元140辨识的至少一个手势。在操作中，传感器装置110的组件104(例如，光学相机)可以监视视场114中的用户160的存在。组件104可以拍摄用户160的连续一系列场景(例如，在组件是光学相机的情况下是图像)，并且将所述场景作为所捕获的信号(参看箭头118)输出到信号处理单元140的处理器108。麦克风106可以记录或检测声音并且将可听信号(参看箭头119)输出到处理器108。

信号处理单元140可以包括辨识软件120和预定义的手势数据122，以上两者一般存储在信号处理单元140的存储介质112中。预定义的手势数据122一般是一连串数据分组，其中每个群组与特定手势相关联。应预期并且理解，可以至少部分通过信号处理单元140的学习能力来开发数据122。处理器108被配置成在需要时执行辨识软件120并且检索预定义的手势数据122，以辨识与相应场景(例如，图像)和可听信号118、119相关联的特定视觉和/或可听手势。

更具体来说，由利用辨识软件120和预定义的手势数据122的处理器108来接收和监视所捕获的信号118。在一个实施例中，如果所述手势是物理运动(例如，手向下移动)的视觉手势，那么处理器108可以监视所捕获的信号118以寻找在规定时间周期内拍摄的一连串场景。在另一实施例中，如果视觉手势仅仅是若干手指向上举，那么处理器108可以监视所捕获的信号118以寻找单个可辨识场景，或者对于较高的辨识置信度水平，寻找一连串基本上相同的场景(例如，图像)。

参看图11，说明操作基于手势的交互系统101以与电梯系统150交互的方法的一个实例。在框600处，一旦用户160在组件104(例如，光学相机)的视场114内，和/或在麦克风106的范围内，用户160便可以起始唤醒手势(即，视觉和/或可听手势)以开始交互。在框602处，信号处理单元140的处理器108通过例如向确认装置111发送确认信号(参看图2中的箭头124)而证实准备好接收用户160的命令手势，所述确认装置111随后起始确认事件。确认装置111的实例可以是能够显示消息以作为确认事件的本地显示器或屏幕、开启区域中的灯以作为确认事件的装置、被调适成进行照射以作为确认事件的运输呼叫灯、音频确认和其他装置。

在框604处，用户160通过(例如)视觉手势来执行命令手势(例如，上下呼叫或目的地楼层编号)。在框606处，传感器装置110的组件104(例如，光学相机)捕获命令手势，并且经由所捕获的信号118将所述命令手势发送到信号处理单元140的处理器108。

在框608处，利用辨识软件120和预定义的手势数据122的处理器108尝试辨识手势。在框610处，信号处理单元140的处理器108向确认装置111(例如，显示器)发送命令解译信号(参看图2中的箭头126)，所述确认装置111可以向用户160请求手势确认。应预期并且理解，用于唤醒确认的确认装置111可以是与接收命令解译信号126的显示器相同的装置或者可以是不同和单独的装置。

在框612处，如果信号处理单元140已经正确地解译命令手势，那么用户160可以执行确认手势以进行确认。在框614处，如果信号处理单元140未正确地解译命令手势，那么用户160可以重新执行所述命令手势或执行另一手势。应预期并且理解，基于手势的交互系统101可以与其他形式的认证组合，以实现安全楼层访问控制和VIP服务呼叫。

在框616处并且在用户执行了指示信号处理单元正确地解译先前命令手势的确认的最终手势之后，信号处理单元140可以向电梯系统151的电梯控制器151输出与先前命令手势相关联的命令信号128。

应预期并且理解，如果未接收到确认手势，和/或如果用户明确想要作出未恰当地理解命令的手势，那么所述系统可以首先超时，随后可以提供准备接收命令信号，所述准备接收命令信号表示所述系统准备好接收用户手势的另一尝试。用户可以知晓所述系统保持唤醒，因为所述系统可以指示在唤醒手势之后的相同的证实接收状态。然而，在较长的超时之后，如果用户似乎未作出任何进一步手势，那么所述系统可以返回到非唤醒状态。进一步预期，在等待确认手势时，所述系统还可以辨识表示用户尝试纠正系统对先前手势的解译的手势。在所述系统接收到此纠正手势时，所述系统可以立即关闭先前的并错误解译的命令解译信号，并且再次提供准备接收命令信号。

有利的是，本文描述的实施例提供一种系统，所述系统允许用户从建筑的远处呼叫基于设备的系统(例如，电梯系统)，这与被设计成在电梯内或在电梯附近使用的当前系统形成对比。在这里公开的一个或多个实施例还允许在没有携带任何额外设备的情况下仅通过手势呼叫电梯，这与需要移动电话或其他可穿戴或携带装置的系统形成对比。在这里公开的一个或多个实施例也不需要安装硬件。一个或多个实施例能够充分利用现有的传感器(例如，CCTV光学相机或深度传感器)的网络。一个或多个实施例的另一益处可以包括对电梯的无缝远程召唤，而不需要用户具有特定设备(移动电话、RFID标签或其他装置)，其中对请求进行自动更新。在已经安装了适当的视频安全系统的情况下，所述跟踪可以不需要额外设备。

虽然已经结合仅有限数目的实施例详细描述了本公开，但应该容易理解，本公开不限于这些公开的实施例。而是，可以修改本公开以便并入迄今为止未描述的任何数目的变化、更改、替代、组合、子组合或等效布置，但是其与本公开的范围相称。另外，虽然已经描述了本公开的各种实施例，但将理解，本公开的各方面可以包括所描述的实施例中的仅一些实施例。

本文使用的术语是用于仅描述特定实施例的目的，而无意具有限制性。如在本文中所使用，除非上下文另外清楚地指示，否则希望单数形式“一”和“所述”也包括复数形式。将进一步理解，术语“包括(comprises)”和/或“包括(comprising)”当用于本说明书中时指定所陈述的特征、整体、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组的存在或添加。

所附权利要求书中所有构件或步骤加功能元件的对应结构、材料、动作和等效物意在包括用于与特定要求保护的其他要求保护的元件组合地执行所述功能的任何结构、材料或动作。已经出于说明和描述的目的呈现了所述描述，但是所述描述无意是详尽的或以所公开的形式受限于所述实施例。在不脱离本公开的范围的情况下，许多修改和变化对于本领域技术人员来说将显而易见。选择和描述所述实施例以便最佳地解释本公开的原理以及实际应用，并且使本领域其他技术人员能够理解具有适用于所预期的特定用途的各种修改的各种实施例。

本实施例可以是处于任何可能的技术细节整合水平的系统、方法和/或计算机程序产品。所述计算机程序产品可以包括计算机可读存储介质(或媒体)，其在上面具有用于致使处理器实行本公开的各方面的计算机可读程序指令。

本文参考根据实施例的方法、设备(系统)和计算机程序产品的流程图说明和/或框图而描述了本发明的各方面。将理解，可以通过计算机可读程序指令实施流程图说明和/或框图的每个框，以及流程图说明和/或框图中的框的组合。

图中的流程图和框图说明根据各种实施例的系统、方法和计算机程序产品的可能的实施方案的架构、功能性和操作。在此方面，流程图或框图中的每个框可以表示指令的模块、片段或部分，其包括用于实施指定逻辑功能的一个或多个可执行指令。在一些替代性实施方案中，框中所述的功能可以不以图中所述的次序发生。举例来说，连续示出的两个框实际上可以基本上同时地执行，或者依据所涉及的功能性，有时可以通过颠倒的次序执行所述框。还将注意，可以通过执行指定功能或动作或者实行专用硬件和计算机指令的组合的基于专用硬件的系统来实施框图和/或流程图说明的每个框以及框图和/或流程图说明中的框的组合。

已经出于说明的目的呈现了各种实施例的描述，但是这些描述无意是详尽的或者受限于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域技术人员来说将显而易见。本文使用的术语经过选择以便最佳地阐释实施例的原理、实际应用或对市场中发现的技术的技术改进，或者使得本领域其他技术人员能够理解本文公开的实施例。

因此，不应把本公开看作受到前述描述限制，而是仅受到所附权利要求书的范围限制。

Claims (19)

1.一种用于与基于设备的系统进行通信的基于手势的交互系统，所述基于手势的交互系统包括：

传感器装置，所述传感器装置被配置成捕获用户的至少一个场景，以监视由所述用户执行的多个可能的手势中的至少一个手势，并且输出所捕获的信号；以及

信号处理单元，所述信号处理单元包括：

处理器，所述处理器被配置成执行辨识软件，

存储介质，所述存储介质被配置成存储预定义的手势数据，并且

其中所述信号处理单元被配置成：接收所述所捕获的信号；至少通过将所述所捕获的信号与所述预定义的手势数据进行比较以确定所述多个可能的手势中的至少一个手势是否被刻画在所述至少一个场景中，来处理所述所捕获的信号；以及向所述基于设备的系统输出与所述至少一个手势相关联的命令信号。

2.如权利要求1所述的基于手势的交互系统，其中所述多个可能的手势包括由听觉受损者应用并且与所述预定义的手势数据相关联的常规手语。

3.如权利要求1所述的基于手势的交互系统，其中所述多个可能的手势包括用于开始交互并且与所述预定义的手势数据相关联的唤醒手势。

4.如权利要求3所述的基于手势的交互系统，进一步包括：

确认装置，所述确认装置被配置成在接收到和辨识出所述唤醒手势时从所述信号处理单元接收确认信号，并且起始确认事件以警示所述用户接收到和辨识出所述唤醒手势。

5.如权利要求1所述的基于手势的交互系统，其中所述多个可能的手势包括与所述预定义的手势数据相关联的命令手势。

6.如权利要求5所述的基于手势的交互系统，进一步包括：

显示器，所述显示器安置成接近所述传感器装置，所述显示器被配置成从所述信号处理单元接收与所述命令手势相关联的命令解译信号，并且向所述用户显示所述命令解译信号。

7.如权利要求6所述的基于手势的交互系统，其中所述多个可能的手势包括与所述预定义的手势数据相关联的确认手势。

8.如权利要求1所述的基于手势的交互系统，其中所述传感器装置包括光学相机、深度传感器和电磁场传感器中的至少一者。

9.如权利要求7所述的基于手势的交互系统，其中所述唤醒手势、所述命令手势和所述确认手势是视觉手势。

10.如权利要求9所述的基于手势的交互系统，其中所述基于设备的系统是电梯系统，并且所述命令手势是电梯命令手势，并且包括向上命令手势、向下命令手势和楼层目的地手势中的至少一者。

11.一种操作基于手势的交互系统的方法，所述方法包括：

由用户执行命令手势并且由传感器装置捕获；

由信号处理单元辨识所述命令手势；以及

向确认装置输出与所述命令手势相关联的命令解译信号以让所述用户确认。

12.如权利要求11所述的方法，进一步包括：

由所述用户执行唤醒手势并由所述传感器装置捕获；以及

由所述信号处理单元证实接收到所述唤醒手势。

13.如权利要求12所述的方法，进一步包括：

由所述用户执行用于确认所述命令解译信号的确认手势。

14.如权利要求13所述的方法，进一步包括：

由所述信号处理单元通过利用辨识软件和预定义的手势数据来辨识所述确认手势。

15.如权利要求13所述的方法，进一步包括：

由所述信号处理单元通过利用辨识软件和预定义的手势数据来辨识所述命令手势。

16.如权利要求15所述的方法，进一步包括：

由所述信号处理单元向基于设备的系统发送与所述命令手势相关联的命令信号。

17.如权利要求12所述的方法，其中所述唤醒手势和所述命令手势是视觉手势。

18.如权利要求17所述的方法，其中所述传感器装置包括用于捕获所述视觉手势并且向所述信号处理单元输出所捕获的信号的光学相机。

19.如权利要求18所述的方法，其中所述信号处理单元包括处理器和存储介质，并且所述处理器被配置成执行辨识软件以辨识所述视觉手势。