CN116745816A - 用于使多个移动机器人可视化的系统和方法 - Google Patents

Abstract

一种使多个移动机器人(110)可视化的方法包括：获取移动机器人的位置；获取关于移动机器人的至少一个非视觉特性的信息；在增强现实AR环境中渲染场景(200)；以及将移动机器人可视化为场景中的局部人形化身(210)，其中化身响应于非视觉特性。

Description

用于使多个移动机器人可视化的系统和方法

技术领域

本公开涉及人机交互领域，并且尤其涉及人机交互。本公开提出了一种用于指示多个移动机器人的非视觉特性的系统和方法。

背景技术

由于机器人为生产效率带来的好处，机器人在不同环境中变得越来越普遍，尤其是在工厂。如今，在工厂发现多个相同类型、外观几乎相同、任务相似的机器人并不罕见。同时，这对工厂工人或操作者来说意味着一些挑战，工厂工人或操作者本应监测机器人并且负责其维护，尤其是当机器人是移动的并且无法根据其位置来识别时。操作者可能遇到的一个特别困难是在同一类型的若干移动机器人之中标识某个移动机器人，这可能是快速确定机器人的年龄、能力或维护状态所需要的。

如图1所示，具有相似外观的多个机器人110.1、110.2、100.3的存在会使操作者感到困惑或压力。它还迫使操作者反复区分机器人并且检索或记忆其不同个体信息。此外，使用混乱的文本或图表的传统表示可能会分散操作者的感知，需要他们付出大量努力来吸收和记住信息。

发明内容

本公开的一个目的是提供一种系统和方法，使得操作者能够容易地识别移动机器人的个体信息。在移动机器人与外部相似的其他移动机器人一起操作的情况下，促进移动机器人的个体信息的识别是一个特别的目标。

这些和其他目的由独立权利要求限定的发明来实现。从属权利要求涉及本发明的有利实施例。

在本发明的第一方面，提供了一种使多个移动机器人可视化的方法。该方法包括：获取移动机器人的位置；获取关于移动机器人的至少一个非视觉特性的信息；在增强现实(AR)环境中渲染场景；以及将移动机器人可视化为场景中的局部人形化身，其中化身响应于非视觉特性。

应当理解，权利要求意义上的“非视觉特性”是指无法通过观察机器人本身(例如，尺寸、类型、负载、健康状态)或在其环境中观察机器人(例如，位置、速度)来确定的特性或属性。非视觉特性可以特别是机器人的功能能力。此外应理解，术语“AR”应涵盖严格意义上的AR、扩展现实(XR)和/或虚拟现实(VR)。

根据本发明的第一方面的方法使观看AR环境的操作者能够感知非视觉特性。非视觉特性与打算向移动机器人中的一个发出工作指令或对其进行维护的操作者有关。如果没有AR可视化，操作者将不知道他可以从每个机器人获取什么服务和性能，也不知道其需要维护；在这种情况下，操作者可能会选择错误的机器人，从而浪费时间和其他资源。这一优点是可实现的，特别是如果经可视化的移动机器人中的至少两个共享共同外观；其在非视觉特性方面的差异将影响其在AR场景中的化身并且使其可区分。操作者可以以不引人注目的方式查看可视化，例如，通过佩戴AR眼镜。此外，由于人类操作者具有准确区分人脸和面部表情的先天能力，因此可视化非常直观，并且可以被认为可以使给定大小的AR场景所传达的信息量最大化。

在本发明的另一方面，提供了一种被配置为使多个移动机器人可视化的信息系统。该信息系统包括：用于获取移动机器人的位置和关于移动机器人的至少一个非视觉特性的信息的通信接口；AR接口；以及被配置为使用AR接口渲染场景的处理电路系统，在该场景中，移动机器人被可视化为局部人形化身，其中化身响应于非视觉特性。

根据第二方面的信息系统以与最初讨论的方法相同或相似的方式在技术上是有利的。

另一方面涉及一种计算机程序，该计算机程序包含用于引起计算机、或者特别是信息系统来执行上述方法的指令。计算机程序可以存储或分布在数据载体上。如本文中使用的，“数据载体”可以是暂态数据载体，诸如调制的电磁波或光波，或者可以是非暂态数据载体。非暂态数据载体包括易失性和非易失性存储器，诸如磁性、光学或固态类型的永久性和非永久性存储装置。仍然在“数据载体”的范围内，这样的存储器可以固定安装或是便携式的。

通常，权利要求中使用的所有术语应根据其在技术领域中的普通含义进行解释，除非本文另有明确定义。除非另有明确说明，否则对“元素、装置、组件、手段、步骤等”的所有提及均应公开解释为提及该元素、装置、组件、手段、步骤等中的至少一个实例。除非明确说明，否则本文中公开的任何方法的步骤不必以公开的确切顺序执行。

附图说明

现在参考附图，以示例的方式描述各方面和实施例，在附图上：

图1示出了在操作者与多个移动机器人之间共享的工作空间；

图2示出了包括表示移动机器人的人形化身的AR环境中的场景；

图3是根据本发明的实施例的使多个移动机器人可视化的方法的流程图；

图4示出了根据本发明的实施例的包括可穿戴AR接口的信息系统，该可穿戴AR接口被配置为使多个移动机器人可视化；以及

图5示出了人形化身，人形化身响应于移动机器人的非视觉特性的差异而在视觉上不同。

具体实施方式

下面将参考附图更全面地描述本公开的各个方面，附图上示出了本发明的某些实施例。然而，这些方面可以以很多不同形式体现，并且不应当被解释为限制；相反，这些实施例是以示例的方式提供的，因此本公开将是彻底和完整的，并且将本发明所有方面的范围完全传达给本领域技术人员。在整个描述中，相同的数字指代相同的元素。

图1示出了在操作者190与三个移动机器人110.1、110.2、110.3之间共享的工作空间100。对于裸眼而言，每个移动机器人110.1、110.2、110.3具有相似外观，并且仅通过它们的瞬时姿势或位置、或者通过从远处难以识别的印刷标记或标签而可区分。为了研究这样的标签，通常要求操作者190停止移动机器人110.1、110.2、110.3并且接近它们。

图2示出了操作者190通过AR接口120观看的相同场景。在AR环境中，每个机器人110被可视化为人形(类人)化身210。

化身210被定位在AR场景200中。两个化身210的相对位置可以对应于它们所表示的移动机器人110的相对位置；这可以通过将透视投影应用于移动机器人110的位置来实现。移动机器人110的位置信息可以是已经从外部相机130所获取的(参见图1)。外部相机130优选地是静止的，即，既不由机器人110也不由操作者190携带。操作者190的定位可以通过将光学、射频或其他标记191附接到操作者190或AR接口120(如果其由操作者190携带或佩戴)来促进。

三个化身210不是彼此的副本，而是根据它们所表示的机器人110的非视觉特性而有意义地不同。换言之，如果化身210的特征对于非视觉特性的不同值将不同，则化身210“响应”于非视觉特性。化身210可以在至少以下可变特征方面彼此不同：面部颜色、皮肤纹理、面部表情、服装(风格、颜色、图案、磨损)、徽章/标签、发型、胡须、眼镜、演讲气球、思考气泡。

为了说明可以通过组合这样的特征而生成的大量可识别化身，图5示出了除图2中的人形化身之外的五个人形化身501、502、503、504、505。这里，化身501和505留着胡子，但化身502、503和504都没有。化身501将被识别为比其他化身相对年长。化身501和503胸前佩戴圆形徽章；化身502佩戴钻石形徽章；化身504和505佩戴六边形徽章。化身505是唯一一个戴着帽子的。化身501、503和504在其头部上方具有不同形状的演讲气球。五个化身501、502、503、504、505的服装在型号、图案和亮度方面有所不同。在图5中给出的示例之间可以容易地识别出另外的可见差异，并且如果给定用例需要，本领域技术人员将能够提出另外的化身。

化身210之间的视觉差异反映关于非视觉特征的差异，诸如经可视化的移动机器人110的不同任务。该信息与操作者190相关，操作者190由此可以评估出于维护目的而停止机器人110而产生的影响、或者向机器人110分配新任务而产生的影响。

作为另一示例，当化身210表示具有不同服务时间的移动机器人110时，化身210可以不同。服务时间可以从部署时间开始计算，也可以从最近一次维护开始计算。服务时间是机器人110的需要计划维护的一个指示符。如果机器人110已经得到很好的维护和最近已经被提供服务。其化身210的面部可以看起来明亮并且充满活力，并且衣服是新的。

图4示出了信息系统400，信息系统400包括可以与操作者190关联(例如，由其佩戴、携带)的AR接口120。操作者190可以在一个或多个移动机器人110在其中操作的环境100中工作。机器人110可以通过轮子、带、爪、可移动吸盘或其他推进和/或附接装置在表面之上移动。表面可以是水平的、倾斜的或垂直的；其可以可选地设置有导轨或其他移动引导件。

这里，AR接口120由眼镜(也称为智能眼镜、AR眼镜或头戴式显示器(HMD))示出，当操作者190用户佩戴该眼镜时，该眼镜允许用户通过眼镜以自然的方式观察环境100。AR接口120还配备有用于生成视觉刺激的布置，该视觉刺激适于从操作者190的角度产生叠加(或重叠)在环境100的视图之上的图形元素的外观。在透视HMD中生成这种刺激的各种方式本身在本领域中是已知的，包括用于向操作者190呈现数字图像的衍射、全息、反射和其他光学技术。

信息系统400还包括朝向可选外部相机130和机器人信息源490的通信接口(在图4中象征性地示为天线410)、以及处理电路系统430。通信接口410允许信息系统400获取移动机器人210的非视觉特性的最新值、以及其位置和操作者190的位置。机器人信息源490可以是或连接到主计算机，主计算机负责调度或控制移动机器人210在工作环境100中的移动和任务、和/或监测和协调机器人210。为了获取用户的位置，系统400可以依赖于AR接口120中的定位设备(例如，具有定位功能的蜂窝芯片组、用于卫星导航系统的接收器)，向外部定位服务发出请求，或者使用由外部相机130收集的数据。

图3是使多个移动机器人110可视化的方法300的流程图。它可以对应于信息系统400的被编程的行为。

在第一步骤310中，获取移动机器人110的位置。机器人信息源490可以提供该信息，相机130也可以提供该信息。

在第二步骤320中，获取关于移动机器人的至少一个非视觉特性的信息。机器人信息源490也可以提供该信息。如上所述，移动机器人110的示例非视觉特性包括尺寸、类型、负载、健康状态、维护状态、位置、目的地、速度、功能能力、当前分配的任务。在一些实施例中，非视觉特性不包括移动机器人110的身份。

在第三步骤330中，在AR环境中渲染场景200。

在第四步骤340中，使移动机器人可视化为场景200中的局部人形化身210。化身210响应于非视觉特性，即化身210的特征对于非视觉特性的不同值是不同的。

在可选的第五步骤350中，获取操作者位置。这可以通过AR接口120中的定位设备、外部定位服务或外部相机130来进行。

在另一可选的第六步骤360中，基于操作者位置来适配AR场景200。该适配可以包括重新分配透视投影的假想相机位置或相机取向，通过它们渲染场景200。

当移动机器人110与操作者190共享工作空间100时，步骤350和360特别地相关。

以上主要参考了若干实施例对本公开的各方面进行了描述。然而，如本领域技术人员容易理解的，在如所附专利权利要求所限定的本发明的范围内，除了上述公开的实施例之外的其他实施例也是同样可能的。

Claims (12)

1.一种使多个移动机器人(110)可视化的方法(300)，所述方法包括：

获取(310)所述移动机器人的位置；

获取(320)关于所述移动机器人的至少一个非视觉特性的信息；

在增强现实AR环境中渲染(330)场景(200)；以及

将所述移动机器人可视化(340)为所述场景中的局部人形化身(210)，其中所述化身响应于所述非视觉特性。

2.根据权利要求1所述的方法(300)，其中所述非视觉特性表示移动机器人的功能能力。

3.根据权利要求1或2所述的方法(300)，其中经可视化的移动机器人中的在所述非视觉特性方面不同的至少两个经可视化的移动机器人共享共同外观。

4.根据前述权利要求中任一项所述的方法(300)，其中所述化身(210)响应于每个经可视化的移动机器人的任务。

5.根据前述权利要求中任一项所述的方法(300)，其中所述化身(210)响应于每个经可视化的移动机器人的服务时间。

6.根据前述权利要求中任一项所述的方法(300)，其中所述化身(210)的相对位置对应于所述移动机器人(110)的相对位置。

7.根据前述权利要求中任一项所述的方法，其中所述移动机器人(110)的位置信息是从外部相机(130)获取的。

8.根据前述权利要求中任一项所述的方法，其中所述移动机器人与至少一个操作者(190)共享工作空间(100)，所述方法还包括：

获取(350)操作者位置；以及

基于所述操作者位置来适配(360)所述AR环境。

9.根据权利要求8所述的方法，其中所述操作者位置是从外部相机(130)获取的，所述外部相机(130)被配置为检测附接到所述操作者(190)或操作者携带的AR接口(120)的光学或其他标记(191)。

10.一种信息系统(400)，被配置为使多个移动机器人(110)可视化，所述信息系统包括：

通信接口(410)，用于获取

-移动机器人的位置，以及

-关于所述移动机器人的至少一个非视觉特性的信息；

增强现实AR接口(120)；以及

处理电路系统(430)，被配置为使用所述AR接口渲染场景，在所述场景中，所述移动机器人被可视化为局部人形化身(210)，其中所述化身响应于所述非视觉特性。

11.一种计算机程序，包括用于使根据权利要求10所述的信息系统(400)执行根据权利要求1至9中任一项所述的方法(300)的步骤的指令。

12.一种数据载体，具有存储在其上的根据权利要求11所述的计算机程序。