CN109416589A - 交互系统与交互方法 - Google Patents

Abstract

根据本发明可穿戴设计的交互系统、也即设置用于穿戴在人身体上的交互系统包括：安装在操作人员（USR）的臂区域中的至少一个姿势检测单元（GS1，GS2）、用于位置正确地将虚拟对象可视化到所述操作人员的视野中的双目可视化单元（VIS）以及用于控制所述可视化单元的控制单元（CTR）。所述姿势控制直观地借助前臂的运动和/或转动进行。在工业环境中通常不匹配的输入设备因此不是必需的。操作人员（USR）可以基于根据本发明的交互系统的便携式特性来不费劲地在工业设施的实际维护与在工业设施的虚拟模型中的身临其境的运动之间切换。

Description

交互系统与交互方法

技术领域

本发明涉及用于操作人员与技术系统的模型交互的交互系统和方法。

背景技术

这样的交互系统和方法例如应用在自动化技术领域、生产机器或工具机中、诊断或服务支持系统中以及复杂的部件、设备和系统、尤其工业设施或医疗设施的操作和维护中。

在现有技术中，已知以下交互系统：所述交互系统在应对设置与维护工作时借助丰富的情景示图来支持技术设施的操作人员。丰富的情景示图在学术界也称作“增强现实”。在此，借助通过计算机生成的附加信息或虚拟对象借助插入或叠加来补充或取代由操作人员可感知的情景。

尤其已知数据眼镜的应用。配备有数据眼镜的操作人员可以例如观察技术系统的对象，所述对象同时通过数据眼镜的光学检测单元来检测。在光学检测的对象的计算机支持的分析过程中，关于该对象的附加信息或虚拟对象可供使用，操作人员可以选择和调用所述附加信息或虚拟对象。附加信息例如包括技术手册或者维护指南，而虚拟对象通过光学的插入或叠加来丰富可感知的情景。

例如，已知工业机器人的用于冲突分析目的的虚拟的动作标记，所述虚拟的动作标记叠加数据眼镜的视野中的真实的工业环境，以便允许操作人员直观地检查：工业机器人从其尺寸或从其动作半径是否可以在规定的周围环境中定位在规定的位置上。

虚拟对象的选择以及附加信息的调用要求在操作人员侧的命令的检测。在工业环境中，对于办公室环境中的操作人员的坐着的工作位置定制的已知的输入设备、诸如键盘、触摸屏、绘图板、触控板或鼠标已经由于通常站立的工作位置而排除在外。

另一种已知的方案是，无线输入设备——例如Flystick或无线游戏手柄（Gamepad）——的运动或倾斜，以便进行所期望的交互。操作人员为此必须将输入设备握在手中，因此不是两个手空闲。

已知的在数据眼镜上设置输入元件虽然具有以下优点：操作人员大多时候两个手空闲，然而，通过操纵这样的输入元件而触发输入命令在许多情景下由于手与运行材料的持续接触而不是所期望的，例如对于外科医生或对于机器技术人员而言。

例如在使用微软Kinect、Leap Motion或微软HoloLens的情况下的姿势的已知的光学探测是一个或多个光学检测装置，其例如在使用运行时间方法（Time of Flight：飞行时间）或条带式光地形测量（结构式光）的情况下三维地检测操作人员的身体姿态。所述方法同样具有操作人员的不用手的工作方式的优点，然而要求在操作人员的周围环境中应用光学检测装置并且因此要求工作环境的并非较少耗费的准备。

总之，现今已知的用于交互的措施并非无触摸式地、而是不安全地或借助用于姿势检测的输入设备或光学机构的与工作情景不匹配的应用进行。

发明内容

与此相对，本发明提出以下任务：提供具有直观地和无触摸式检测借助姿势的命令的交互系统，所述交互系统使得输入设备的手操纵可有可无。

所述任务通过具有专利权利要求1的特征的交互系统来解决。

根据本发明的交互系统被构造用于穿戴在人身体上并且包括：安装在操作人员的臂区域中的至少一个姿势检测单元，所述至少一个姿势检测单元具有用于检测所述操作人员的臂的姿势、也即运动和/或转动和/或位置的多个惯性传感器。优选可穿戴在操作人员的头部区域中的双目可视化单元用于位置正确地将虚拟对象可视化到操作人员的视野中。此外，设有用于控制可视化单元的控制单元，所述可视化单元被设置用于识别由所述姿势检测单元检测的姿势以及用于处理操作人员与对象的待通过操作人员的姿势触发的交互。控制单元布置在操作人员的身体上，优选集成到可视化单元中或集成在所述多个姿势检测单元的一个中。

与已知的交互系统不同，根据本发明的交互系统是极端可移动的，或者更确切地说，可携带或可穿戴的。姿势控制直观地借助前臂的运动和/或转动来进行。在工业环境中通常不匹配的输入设备不是必需的。操作人员可以基于根据本发明的交互系统的便携式特性来不费劲地在工业设施的实际维护与在工业设施的虚拟模型中的身临其境的运动之间切换，例如以便在工业设施的维护之前或维护期间查阅所属的机器数据或分解图。

本发明的一个特别的优点在于，商业上通用的配备有惯性传感器的智能手表可以作为便携式姿势检测单元来使用。

所述任务此外通过一种用于操作人员与技术系统的模型交互的方法来解决，其中，不限制顺序地依次或同时执行以下步骤：

- 通过安装在操作人员的臂区域中的、具有多个惯性传感器的至少一个姿势检测单元来检测通过操作人员的臂位置、臂运动和/或臂转动产生的姿势；

- 通过双目可视化单元位置正确地将对象可视化到操作人员的视野中；以及

- 通过控制单元控制可视化单元、识别由姿势检测单元检测的姿势以及处理操作人员与对象的待通过操作人员的姿势触发的交互。

本发明的另外的设计方案是从属专利权利要求的主题。

根据本发明的一种有利的设计方案规定，在操作人员的相应的臂上设置两个姿势检测单元。通过交互系统——即通过控制单元或通过相应的姿势检测单元或通过控制单元与两个姿势检测单元相互作用，可以给所述两个姿势检测单元中的一个姿势检测单元可选择地分配选择姿势、区域选择姿势、运动姿势、导航姿势和/或变焦姿势，并且给另一个姿势检测单元分配操纵姿势。

根据本发明的一种有利的设计方案规定，对于姿势检测单元此外设置用于检测通过操作人员的臂运动产生的姿势的肌电的和/或机械的传感器。肌电的传感器检测由于生物化学过程而在肌细胞中产生的电压。机械的传感器例如检测在身体表面上的、由于操作人员的臂运动引起的、机械的表面张力改变或力作用。该措施确保姿势控制的可靠性的改善，并且例如也可以检测手指运动。

根据本发明的一种有利的设计方案，控制可视化单元，使得虚拟对象的示图不仅仅确定操作人员的视野，使得虚拟对象的示图除了真实环境之外也对于操作人员变得可见。借助如此丰富的情景示图或者“增强现实”，借助由交互系统产生的虚拟对象借助插入来补充可由操作人员光学感知的真实环境。这样的设计方案适合于以下情况：在所述情况中，虚拟对象——例如指示箭头——在待维护的机器组件上的插入除了接受真实环境之外也支持真实环境的理解。

根据本发明的一种替代的设计方案，控制可视化单元，使得借助由交互系统产生的虚拟对象通过叠加来取代真实环境。这样的设计方案适合于以下情况：在所述情况中，应借助虚拟的情景示图给操作人员提供较大程度的身临其境，在所述虚拟的情景示图中，与真实环境的叠化将对于虚拟示图的理解是有阻碍的。

根据本发明的一种有利的设计方案规定，在至少一个姿势检测单元中或者在可视化单元中设置一个或多个致动器，借助所述一个或多个致动器可以通过控制单元来促使对于操作人员而言触觉可感知的反馈的输出。例如用于产生振动的不平衡电动机用作致动器。在致动器定位在可视化单元中——在头部区域中或者在致动器定位在姿势检测单元中——在相应的臂区域中进行该反馈。这样的反馈在确定的事件——例如标记对象或虚拟地抓握对象的情况下或者在达到菜单的列表末尾的情况下被触发。

根据本发明的另一种有利的设计方案，交互系统具有用于确定交互系统的位置坐标的至少一个标记。一个或多个标记例如可以设置在至少一个姿势检测单元上、可视化单元上和/或控制单元上。该措施允许在经典的虚拟环境中应用根据本发明的交互系统，在所述虚拟环境中，例如应用光学的跟踪系统。在一种实施方式中，红外摄像机检测至少一个标记的位置坐标并且向控制单元或者向交互系统外部的控制单元转交所述位置坐标。这样的扩展方案附加地支持操作人员视野的和操作人员自身的根据本发明的位置确定，以便确保在操作人员的视野中对象的位置正确的可视化。

本发明的另一种有利的设计方案设置一个或多个设置在控制单元中的用于与至少一个另外的交互系统和/或至少一个服务器通信的接口。该措施形成具有至少一个交互系统、必要时在另外的中央计算机或服务器参与的情况下的交互系统联合体的基础。借助交互系统联合体，例如多个进行合作的工程师可以在“协同工作”的意义上执行在工业设施的模型上的设计审查（Design Review）。

附图说明

下面根据附图详细阐述本发明的另外的实施例和优点。在此，唯一的图示出操作根据本发明的交互系统的操作人员的示意性的结构示图。

具体实施方式

所述图示出操作人员USR，其具有穿戴在操作人员USR的身体上的可视化单元VIS、控制单元CTR以及两个姿势检测单元GS1、GS2，所述两个姿势检测单元可松脱地安装在操作人员USR的相应的臂区域上，例如借助在手关节的区域中安装的手表带。

在控制单元CTR上运行的软件计算虚拟的三维环境或场景，所述虚拟的三维环境或场景通过与控制单元CTR连接的可视化单元VIS显示给操作人员。所述场景包括或是技术系统的模型。

每个姿势检测单元GS1、GS2包括（未示出的）多个惯性传感器，可选地也包括附加的（未示出的）光学传感器、磁电传感器、陀螺仪传感器、机械式接触传感器和/或肌电的传感器。

姿势检测单元GS1、GS2的惯性传感器——与头部运动的上述检测类似地——检测操作人员USR的相应的臂的运动，而肌电的传感器用于检测在肌细胞中由于生物化学过程而产生的电压。根据本发明的一个设计方案，肌电的传感器的附加的测量结果被考虑用于借助惯性传感器收集的运动数据的改善。优选地，姿势检测单元GS1、GS2和控制单元CTR以无线的方式交换数据。

基于操作人员USR的所探测的臂运动，在控制单元CTR中推断出姿势。交互系统将该姿势解释为输入命令，基于该输入命令，实施基于输入命令的操作。

优选地，在自由空间中产生的姿势——通过所述姿势触发控制命令和/或选择命令——包括：

- 借助手沿着第一方向执行的擦拭运动；

- 借助手沿着与第一方向相反的方向执行的擦拭运动；

- 臂沿着与第一方向垂直延伸的第二方向的运动；

- 臂沿着与第二方向相反的方向的运动；

- 臂的旋前或旋后；

- 臂的外展或内收；

- 臂的内旋以及外旋；

- 臂的前倾和/或后倾；

- 以下手运动：所述手运动的手内面指向第一方向；和/或

- 以下手运动：所述手运动的手内面指向与第二方向相反的方向；

以及所有另外的可设想的与上述运动组合的姿势。第一或第二方向可以在脊背侧、在掌侧或在手掌上、轴向地、在轴外地、在尺骨上地或径向地延伸。

控制单元CTR分析由姿势检测单元GS1、GS2检测的运动模式并且将所述运动模式分类成姿势。然后由操作人员USR的姿势确定操作人员USR与虚拟对象的待触发的交互。控制单元CTR控制可视化单元VIS，使得操作人员USR与对象的交互对于操作人员而言可见地示出。

可视化单元VIS可选地包括多个（未示出的）惯性传感器。优选地，设置具有9个自由度（或者也称为Degrees of Freedom）的多个惯性传感器，所述9个自由度在专业领域也已知为“9DOF”。惯性传感器（或者也称为Inertialsensor）在分别所有三个空间方向上分别提供关于陀螺仪转速、加速度以及磁场的值。头部的转动通过转速的测量来检测，操作人员USR的平移的头部运动通过加速度的测量来检测。磁场的测量在此主要用于陀螺仪传感器的漂移均衡并且因此有助于用户的视野中虚拟对象的位置正确的可视化。在用户的视野中虚拟对象的这种位置正确的可视化在专业领域中也已知为“头部跟踪”。

优选地，在姿势检测单元GS1、GS中也设置至少一个（未示出的）上述类型的惯性传感器，所述惯性传感器优选具有9个自由度。

在一种有利的扩展方案中，头部跟踪可以附加地通过（未示出的）在可视化单元VIS中设置的光学检测单元或摄像机的分析来改进，其中，分析在操作人员USR的周围环境中的由于头部运动而通过检测单元检测的变化。

由控制单元CTR计算的场景因此匹配于操作人员USR的由于身体位置、身体转动以及身体运动而检测的视角切换。

操作人员USR可以通过相应的头部运动来在场景内取向和运动。为此，使操作人员的头部位置的位置坐标匹配于操作人员自身的视角或“第一人视角（First PersonPerspective）”。

此外，操作人员USR可以在场景中虚拟地检测二维的或三维的对象或手操纵标记并且使其运动。以此方式，支持所谓的“虚拟手”方案。在场景中对象的选择或手操纵在相应的处理操作之前发生，所述处理操作例如在于改变参数。对象的处理、选择或手操纵优选地通过在虚拟对象的尺寸、颜色、透明度、形状、位置、取向或其他特性方面的变换来可视化。

最后，场景自身也可以由于确定的处理操作或手操纵标记而被匹配，例如在场景的视角或显示方式或“渲染（Rendering）”的切换方面，所述切换引起：更大地、更小地、离远地、模糊地、更亮地或更暗地显示所述场景。

虚拟场景在显示速度方面匹配于操作人员USR的需求，例如在动画地展示维修指南的情况下。

操作人员USR与对象的交互可选地借助基于文本的或基于符号的菜单示图以及借助任意的控制元件，例如从基于文本的菜单中选择多个可能性来进行。

最后，也能够实现真实示图、虚拟示图和丰富的示图之间的转换，尤其当双目可视化单元VIS被设置用于通过摄像机检测真实环境并且摄像机图像可以位置正确地插入到用户USR的视野中的时候。

此外，可以设置不同的交互模式，例如如下：操作人员USR的左臂引起在场景内的运动，而右臂用于选择和操纵虚拟对象。替代地，右臂用于操纵对象，而左臂用于改变所选择的对象的特性。这些交互模式和另外的交互模式又可以通过姿势的输入来选择或切换。

根据一种设计方案规定：向操作人员USR光学反馈虚拟事件。触觉反馈例如在以下情景中是有利的：操作人员USR“触摸”虚拟对象或者操作人员USR通过合适的姿势切换到对于确定的手——例如摄像机运动、虚拟手的运动——而言的另一交互模式中。此外，触觉反馈也可以通过选择选项的调用来触发。

在本发明的一个设计方案中，控制单元CTR和可视化单元VIS根据附图一件式地设计，例如以具有显示器的移动终端设备的形式，所述移动终端设备借助合适的固定装置固定在操作人员USR的头部上并且保持在距离操作人员USR的视野一可限定的间距处，必要时使用光学器件，所述光学器件包括透镜、平面镜或棱镜。替代地，视应用环境而定，数据头盔或数据眼镜对于本发明的实现也是有利的。

根据本发明的交互系统尤其适合用于在工业环境中的应用。这种基本的适合性通过本发明的另外的有利的扩展方案还变得更明显。

根据本发明的一种有利的设计方案，控制单元CTR以及可视化单元VIS的至少部分集成到工作人员的安全帽中或集成到外科医生的头架保持装置中。以此方式，确保在工作环境中交互系统的持续可用性。工作人员或外科医生可以在需要时通过回转运动来使可视化单元VIS的成像部分-即例如双目显示器、平面镜装置或透镜装置挪动到其视野中。在核定待维护的机器的或待治疗的人身体的虚拟模型之后，工作人员或外科医生可以使成像部分往回转动，以便事实上执行先前模拟的、演示的和/或阐述的处理。在所述实施方式的一种变型方案中，也通过姿势控制——即通过姿势检测单元GS1、GS2促使——来电机驱动地实施用于使用成像部分的回转运动或平移运动，以便避免由于通过工作人员或外科医生的借助手实施的回转运动所致的触摸引起的、成像部分的弄脏。

根据本发明的另一种设计方案规定，可视化单元VIS作为便携式通信单元，例如智能手机来实现。操作人员可以以此方式在与其智能手机和智能手表的常规交互之间切换成VR-交互，在所述VR-交互的情况下，智能手机被置于眼睛前方并且显示立体的虚拟环境。

根据本发明“可穿戴地”——即穿戴在人身体上设计的交互系统包括：安装在操作人员的臂区域中的至少一个姿势检测单元、用于位置正确地将虚拟对象可视化到所述操作人员的视野中的双目可视化单元以及用于控制所述可视化单元的控制单元。所述姿势控制直观地借助前臂的运动和/或转动进行。在工业环境中通常不匹配的输入设备因此不是必需的。操作人员可以基于根据本发明的交互系统的便携式特性来不费劲地在工业设施的实际维护与在工业设施的虚拟模型中的身临其境的运动之间切换。

Claims (12)

1.一种交互系统，所述交互系统被构造用于穿戴在人身体上，所述交互系统包括：

- 安装在操作人员（USR）的臂区域中的至少一个姿势检测单元（GS1，GS2），所述至少一个姿势检测单元具有用于检测通过所述操作人员（USR）的臂位置、臂运动和/或臂转动产生的姿势的多个惯性传感器；

- 用于位置正确地将对象可视化到所述操作人员（USR）的视野中的双目可视化单元（VIS）；以及

- 控制单元（CTR），所述控制单元用于控制所述可视化单元（VIS）、用于识别由所述姿势检测单元（GS1，GS2）检测的姿势以及用于处理所述操作人员（USR）与所述对象的待通过所述操作人员（USR）的姿势触发的交互。

2.根据权利要求1所述的交互系统，所述交互系统具有设置在所述操作人员（USR）的相应的臂上的两个姿势检测单元（GS1，GS2），其中，通过所述交互系统，能够给所述两个姿势检测单元（GS1，GS2）中的一个姿势检测单元可选择地分配选择姿势、区域选择姿势、运动姿势、导航姿势和/或变焦姿势，并且给另一个姿势检测单元（GS1，GS2）分配操纵姿势。

3.根据以上权利要求中任一项所述的交互系统，所述姿势检测单元（GS1，GS2）包括用于检测通过所述操作人员（USR）的臂运动产生的姿势的肌电的、磁的和/或机械的传感器。

4.根据以上权利要求中任一项所述的交互系统，所述姿势检测单元（GS1，GS2）和/或所述可视化单元（VIS）包括用于输出对于所述操作人员（USR）可触觉感知的反馈的一个或多个致动器。

5.根据以上权利要求中任一项所述的交互系统，其中，由可视化单元（VIS）可视化的对象借助插入或叠加来补充或取代光学可感知的环境。

6.根据以上权利要求中任一项所述的交互系统，其具有用于确定所述交互系统的位置坐标的至少一个标记。

7.根据以上权利要求中任一项所述的交互系统，其具有设置在所述控制单元（CTR）中的用于与至少一个另外的交互系统和/或至少一个服务器通信的接口。

8.一种交互系统联合体，其具有至少一个根据权利要求7所述的系统。

9.一种用于操作人员（USR）与技术系统的模型交互的方法，所述方法包括以下步骤：

- 通过安装在所述操作人员（USR）的臂区域中的、具有多个惯性传感器的至少一个姿势检测单元（GS1，GS2）来检测通过所述操作人员（USR）的臂位置、臂运动和/或臂转动产生的姿势；

- 通过双目可视化单元（VIS）位置正确地将对象可视化到所述操作人员（USR）的视野中；以及

- 通过控制单元（CTR）控制所述可视化单元（VIS）、识别由所述姿势检测单元（GS1，GS2）检测的姿势以及处理所述操作人员（USR）与所述对象的待通过所述操作人员（USR）的姿势触发的交互。

10.根据权利要求9所述的方法，其特征在于，能够给所述两个姿势检测单元（GS1，GS2）中的一个姿势检测单元可选择地分配选择姿势、区域选择姿势、运动姿势、导航姿势和/或变焦姿势，并且给另一个姿势检测单元（GS1，GS2）分配操纵姿势。

11.根据权利要求9和10中任一项所述的方法，其特征在于，由可视化单元（VIS）可视化的对象借助插入或叠加来补充或取代光学可感知的环境。

12.一种根据权利要求9和11中任一项所述的方法的应用，所述方法用于医学治疗或用于在工业过程中的机器操作。