CN109416587A - 用于操作者与技术系统的模型交互的方法 - Google Patents

Abstract

根据本发明的方法设置对多个空间参数的检测，所述多个空间参数被分配给操作者的一个或两个前臂。在虚拟场景中可视化由空间参数产生的处理标记。操作者激活处理标记并且通过其一个前臂或多个前臂的方位改变来执行处理操作。在结束处理操作之后，操作者通过前臂的转动来引起对处理标记与操纵标记之间的分配的释放。本发明相对于常规方法的特殊的优点在于，借助操作者的前臂的转动来激活和释放。可以尽可能地与前臂的指示方向无关地促使手关节的转动。以此方式，操作者可以为了前臂的方位改变来应用肩膀转动和手肘屈曲，以便改变用于处理标记的空间参数，而通过前臂的与此无关的转动则可以来促使处理操作的释放和/或激活。

Description

用于操作者与技术系统的模型交互的方法

技术领域

本发明涉及一种用于操作者与技术系统的模型交互的方法。

背景技术

这样的方法例如在自动化技术领域中、在生产机器或工具机情况下、在诊断或服务支持系统情况下以及在对复杂的部件、设备和系统、尤其工业设施或医疗设施的操作和维护情况下得到应用。

在现有技术中，已知以下交互系统：所述交互系统借助丰富的状况示图来支持技术设施的操作者来完成设置与维护工作。所述丰富的状况示图在学术界也称作“增强现实”。在此，利用通过计算机生成的附加信息或虚拟对象借助插入（Einblendung）或叠加来补充或取代由操作者能觉察的状况。

例如，已知用于冲突分析目的的工业机器人的虚拟动作标记，所述虚拟动作标记在数据眼镜的视野中叠加真实的工业环境，以便允许操作者直观地检查：工业机器人通过其尺寸或其动作半径是否可以在所设置的周围环境中定位在所设置的位置上。

虚拟对象的选择以及附加信息的调用要求在操作者侧的命令的检测。在工业环境中，已知的针对办公室环境中的操作者的坐着的工作位置所定制的输入设备、诸如键盘、触摸屏、绘图板、轨迹板或鼠标已经基于通常站立的工作位置而排除在外。

姿势的已知的光学探测例如在使用Microsoft Kinect、Leap Motion（体感控制）或Microsoft HoloLens的情况下进行。一个或多个光学检测装置三维地检测操作者的身体姿态，例如在使用运行时间方法（Time of Flight（飞行时间））或条带光投影测量（Structured-light（结构光））的情况下。

概括来说，现今已知的用于交互的措施以并非无触摸的方式、不安全地或通过工作状况不匹配地应用用于姿势检测的输入设备来进行。

发明内容

与此相对，本发明提出以下任务：提供具有对处理操作的直观的和无触摸式检测的交互系统，所述交互系统使得对输入设备的操纵并不必要。

所述任务通过具有专利权利要求1所述的特征的方法来解决。

根据本发明的用于操作者与技术系统的模型交互的方法规定：在虚拟场景中方位正确地可视化所述模型的对象以及方位正确地可视化至少一个操纵标记。在操作交互系统时检测多个空间参数，所述空间参数被分配给操作者的一个或两个前臂。在虚拟场景中可视化由空间参数产生的一个或多个处理标记。操作者首先激活一个或多个处理标记作为分配给第一操纵标记的一个第一处理标记或多个处理标记。接着，根据能归因于分配给所述第一处理标记的前臂的方位改变的空间参数的改变来执行在所述第一操纵标记上的处理操作。操作者的前臂在此经历转动式的或平移式的方位改变或者也经历由平移式的方位改变和转动式的方位改变组成的组合。在结束处理操作之后，操作者引起第一处理标记到第一操纵标记的分配的释放，其方式是，操作者促使改变能归因于分配给第一处理标记的前臂的转动运动的空间参数。

本发明相对于常规方法的特殊优点在于，通过操作者来激活和释放处理操作。

已知的用于操作者与技术系统的模型交互的方法通常设置姿势控制方法，所述姿势控制方法借助通过虚拟的鼠标指针进行的控制或者与鼠标指针输入类似的控制来解决与二维的或三维的对象的无触摸式交互的问题。在此，原则上提出以下问题，应如何触发所述处理的激活和释放，其中所述处理在常规的鼠标控制的情况下通过鼠标点击进行。鼠标点击到通常站立的操作者的无触摸式交互上的映射大多变得繁琐，尤其是基于以下事实：在无相应的用于姿势控制检测的传感器系统的情况下，对单个手指的检测是困难的。

本发明通过借助操作者的前臂的转动进行的对处理操作的激活和/或释放来解决所述问题。这样的转动运动、例如前臂的旋前或旋后利用在操作者的前臂区域中所设置的常规的惯性传感器或者也利用对臂转动姿势的光学检测而比对手指姿势的检测显著更简单。

本发明的特殊优点在于，有利地利用人臂的生物力学的条件：操作者可以与前臂的指示方向无关地促使手关节的转动。以此方式，操作者可以为了前臂的方位改变而应用关节运动、尤其肩膀转动和手肘屈曲，以便改变用于处理标记的空间参数，而通过前臂的与此无关的转动则可以来促使处理操作的释放和/或激活。

根据本发明的方法的一个另外的优点在于，用于施加姿势控制的必要的装置不要求特殊的设备。尤其不需要手指姿势检测装置或肌电图装置。

与常规的姿势检测方法不同，根据本发明的方法允许用于控制技术系统的经可视化的模型的不同的和可容易区分的参数的细粒度控制。为了可视化该模型的虚拟场景-也即不同的对象和所属的操纵标记，简单的屏幕就足够。

本发明的一个另外的优点在于，操作者仅仅必须使用和学习小数目的、用于控制交互系统的姿势。所述姿势尤其包括借助操纵标记来激活、移动和释放处理标记。对处理标记到处理标记的分配的释放能够直观地利用前臂的转动运动来执行。

根据本发明的交互方法的一个另外的优点在于，所述操作的类型提供尽可能大的保护以防无意触发释放。操纵标记的设计可以如此进行，使得操作者在借助方位改变来控制处理标记期间不促使错误释放。

本发明的另外的构型是从属专利权利要求的主题。

根据一种有利的扩展方案规定，将在所述技术系统的模型中执行的处理操作转换成在所述技术系统上的控制操作。该措施允许对技术系统的超出简单仿真的控制。

根据一种有利的扩展方案规定，所述操纵标记被分配给所述虚拟场景的至少一个对象或至少一个区域。对象分配能够实现对所述对象进行影响，而区域分配则能够实现区域选择和/或多个对象的影响。

为了激活第一处理标记，确定处理标记和至少第一操纵标记之间的空间距离。根据第一实施方式，激活如下处理标记作为分配给所述第一操纵标记的第一处理标记，其中所述处理标记与所述第一操纵标记的空间距离低于能预给定的第一阈值。根据第二实施方式，首先标记如下处理标记作为能够分配给所述第一操纵标记的第一处理标记，所述处理标记与第一操纵标记的空间距离低于能预给定的第一阈值。接着，根据能归因于分配给所述第一处理标记的前臂的转动运动的空间参数的改变来激活能够分配的第一处理标记作为分配给第一操纵标记的第一处理标记。能归因于转动运动的空间参数的所述改变也应如此理解：在处理标记接近操纵标记之前，操作者已经将前臂转动到所设位置，因此已经事先促使转动运动，从而在这种情况下、也即在没有超过之前的转动运动的附加的转动运动的情况下也进行操纵标记的激活。

第一实施方式具有通过仅仅使由前臂控制的操纵标记单纯地接近处理标记来进行的简单激活的优点。与此相反，第二实施方式规定用于最终选择处理标记的明确的臂转动。如果对通过转动运动引起的激活的附加确认尤其出于安全操作的原因而是值得期望的，则第二实施方式是有利的。

根据一种有利的扩展方案规定，在低于处理标记与第一操纵标记之间的空间距离的第二阈值的情况下，输出反馈给操作者。该反馈向用户指示处理标记的即将来临的激活。该反馈优选触觉地、声学地或光学地进行。声学的或触觉的反馈例如可通过将姿势检测单元实施为智能手表来进行，所述姿势检测单元通常具有用于输出这样的反馈的相应的执行机构。

空间距离的第二阈值优选位于第一阈值之上，从而使即将来临的激活的反馈在实际的激活之前进行。操作者可以在触发反馈时决定，操作者是否进一步朝待激活的操纵标记的方向上引导处理标记，或者却针对对于处理标记所驶入的路线不应引起对所接近的操纵标记的激活的情况来相应地改变所述路线。

附图说明

图1: 交互系统连同进行控制的操作者的示意性的结构图；和

图2: 操作者与技术系统的模型的交互的示意图。

具体实施方式

图1示出在俯视图中示出的操作者USR，借助至少一个姿势检测单元GS来检测所述操作者的通过一个或两个前臂形成的姿势。

在附图中示出的实施例中，姿势检测单元构造用于穿戴在人身体上并且包括安置在操作者USR的前臂区域中的至少一个姿势检测单元GS，所述至少一个姿势检测单元具有用于检测分配给操作者USR的前臂的多个空间参数、尤其以下多个参数的多个惯性传感器，所述多个参数由操作者USR的臂的运动、转动和/或位置形成。

可替代地，使用例如光学的跟踪系统。在这样的光学的跟踪系统中，红外摄像机根据至少一个光学记号检测空间参数并且将所述空间参数转发给控制单元。

空间参数包括至少两个、优选三个自由度，其中至少一个空间参量被分配给前臂的转动运动、即旋前或旋后。

作为姿势检测单元GS例如应用所谓的智能手表，其具有集成的加速度传感器、磁传感器和陀螺仪传感器。利用这些传感器的评估，能够实现以三个自由度进行的取向确定。在这些传感器的相应校准和用户USR的至少暂时静止的位置情况下，能够实现接下来更详细地考虑的三个空间参数的可靠检测：

操作者USR的肩膀的外部转动或内部转动，尤其用于促使前臂的向左运动/向右运动；

手肘的弯曲或伸展，尤其用于促使前臂绕手肘关节的向上运动/向下运动；

前臂转动、即前臂的旋前或旋后、即前臂绕其主轴线的借助手关节实施的转动。

在进一步的描述中，对于分配给前臂的多个空间参数，继续由上述参数组成的三元组（sr，ef，fp），其中以由用于肩膀转动的参数sr、用于手肘屈曲的参数ef以及用于前臂转动或“前臂旋前”的参数fp组成的方式。该三元组的每个空间参数代表相对于所限定的起始取向的角度，例如在水平方向上的朝北方向指向的臂，其具有向上指的拇指。

在与操作者USR的视线接触中，设有可视化装置SCN，其在此实施为屏幕。在可视化装置SCN上进行处理标记HND的、方位正确的可视化，所述处理标记在该实施例中可视化为具有对拇指方向TP的表示的环形构造CR。用于可视化装置SCN的实施例此外包括手术室中的大屏幕、数据眼镜或数据头盔（Datenhelm）或“头戴式显示器”、用于投影场景、尤其方位正确地投影解剖学的图像数据或结构数据到病人的身体上的投影仪。

根据一种另外的构型，可以部分地放弃可视化装置SCN，其方式是，不通过虚拟对象而是通过真实对象在虚拟场景中进行模型的对象的、方位正确的可视化，例如在对机器人臂的运动控制或运动编程的情况下。分配给真实对象的操纵标记的以及处理标记的、方位正确的可视化将在这种情况下利用丰富的状况示图或“增强现实”，例如通过将操纵标记投影到真实对象上或者操作者的视野中来进行，例如利用数据眼镜。

未示出的控制单元设置用于操控可视化单元SCN。在控制单元中进行对由姿势检测单元GS检测的姿势的识别以及对于待通过操作者USR的姿势来触发的与在可视化单元SCN上示出的场景的交互的处理。

出于一目了然的原因，根据图1的以绘图方式示出的场景限于处理标记HND的表示。该场景又包括或表示技术系统的如下模型，操作者USR在交互方法的施加中可以控制、配置和运行所述模型。

该交互通过处理标记HND的影响来进行。每个处理标记HND通过上述三元组空间参数来控制或表示。例如，通过由肩膀转动和手肘屈曲的相应组合来形成在水平方向XD上的运动或在竖直方向YD上的运动。在水平的或竖直的方向XD、YD上的运动直观地通过操作者USR在水平的或竖直的方向XD、YD上的视觉投影的相应运动来进行。操作者USR的视觉投影相应于操作者USR的前臂轴线的在附图中点虚线式示出的延长。

处理标记HND是姿势在可视化单元SCN上的视觉表示。该视觉表示通过分配函数来产生，所述分配函数从由姿势检测单元GS检测的空间参数中分配到虚拟示图。通过前臂的运动，处理标记HND以相应的方式运动。

在图2中示出如下场景的示意图，所述场景由多个浆果以及多个操纵标记HND2、HND3、HND4、HND5的示例性的图形组成。

操作者USR在所示的实施例中具有以下任务：限定图形的矩形片段，例如包括仅仅一个浆果的区域。在此，操作者必须如此调准该矩形片段自身或所述片段的各个角部，使得所期望的片段与在所述场景中示出的片段一致。这四个操纵标记HND2、HND3、HND4、HND5在该实施例中在所述片段的相应的角部中可视化。

处理标记HND1基于操作者USR的当前的臂定位而位于所述矩形片段内。根据在操纵标记HND1的内部区域中的、代表操作者USR的拇指方向的指针，该操作者的拇指位置当前指向八点钟方向。

操作者USR现在可以给处理标记HND1分配离得最近的第三操纵标记HND3并且因此激活操纵标记HND3用于处理。接着，操作者可以根据能归因于分配给所述处理标记HND1的前臂、例如根据图1的右前臂的方位改变的空间参数的改变来执行在所述第三操纵标记HND3上的处理操作。在该实施例中，操作者可以通过处理标记HND1的平移式方位改变来改变第三操纵标记HND3的方位。平移式方位改变包括三元组（sr，ef，fp）的前两个空间参数的改变。在结束该处理操作之后，操作者USR通过对能归因于分配给处理标记HND1的前臂的转动运动的空间参数的改变、换言之在三元组（sr，ef，fp）中的空间参数fp的改变来促使对处理标记HND1到第三操纵标记HND3的分配的释放。操作者然后可以将处理标记HND1用于进一步的可替代的处理操作。

在多个处理操作之后，可以设置确认操作，所述确认操作引起，将在所述技术系统的模型中执行的处理操作转换成在所述技术系统上的控制操作。对此可替代地，可以直接地或在原地进行到控制操作的转换。

概括来说，根据本发明的方法设置对多个空间参数的检测，所述多个空间参数分配给操作者的一个或两个前臂。在虚拟场景中可视化由空间参数产生的处理标记。操作者激活处理标记并且通过其一个前臂或两个前臂的方位改变来执行处理操作。在结束处理操作之后，操作者通过前臂的转动来引起处理标记与操纵标记之间的分配的释放。

本发明相对于常规的方法的特殊的优点在于，借助操作者的前臂的转动来激活和释放。可以尽可能地与前臂的指示方向无关地促使手关节的转动。以此方式，操作者可以为了前臂的方位改变而应用肩膀转动和手肘屈曲，以便改变用于处理标记的空间参数，而通过前臂的与此无关的转动则可以来促使处理操作的释放和/或激活。

在通过医学辅助人员来在病人的身体上限定例如针对X射线拍摄待界定的检查区域的情况下，根据本发明的方法尤其有利。所述交互尤其包括检查区域的选择，此外包括设定检查参数、例如辐射强度和对比度以及限定和发起成像序列。

此外，以有利的方式，在病人的身体上已经记录的X射线照片的方位正确的、也在时间上顺序交叉的投影可以支持医生的诊断。

Claims (9)

1.一种用于操作者与技术系统的模型交互的方法，所述方法包括以下步骤：

在虚拟场景中方位正确地可视化所述模型的对象；

方位正确地可视化至少一个操纵标记（HND2，…, HND5）；

检测多个空间参数，其中所述多个空间参数被分配给所述操作者（USR）的至少一个前臂，并且在所述虚拟场景中方位正确地可视化由所述空间参数产生的至少一个处理标记（HND1）；

激活至少一个处理标记（HND1）作为分配给第一操纵标记（HND3）的第一处理标记（HND1）；

根据能归因于分配给所述第一处理标记（HND1）的前臂的方位改变的空间参数的改变来执行在所述第一操纵标记（HND3）上的处理操作；

根据能归因于分配给所述第一处理标记（HND1）的前臂的转动运动的空间参数的改变来释放所述第一处理标记（HND1） 到所述第一操纵标记（HND3）的分配。

2.根据专利权利要求1所述的方法，其特征在于，将在所述技术系统的模型中执行的处理操作转换成在所述技术系统上的控制操作。

3.根据以上专利权利要求中任一项所述的方法，其特征在于，所述操纵标记（HND2，…,HND5）被分配给所述虚拟场景的至少一个对象或至少一个区域。

4.根据以上专利权利要求中任一项所述的方法，所述第一处理标记的激活包括以下步骤：

检测所述至少一个处理标记（HND1）和所述至少第一操纵标记（HND3）之间的空间距离；

激活如下处理标记（HND1）作为分配给所述第一操纵标记（HND3）的第一处理标记（HND1），其中所述处理标记与所述第一操纵标记（HND3）的空间距离低于能预给定的第一阈值。

5.根据以上专利权利要求1至3中任一项所述的方法，所述第一处理标记的激活包括以下步骤：

检测所述至少一个处理标记（HND1）和所述至少第一操纵标记（HND3）之间的空间距离；

标记如下处理标记（HND1）作为能够分配给所述第一操纵标记（HND3）的第一处理标记（HND1），其中所述处理标记与第一操纵标记（HND3）的空间距离低于能预给定的第一阈值；

根据能归因于分配给所述第一处理标记的前臂的转动运动的空间参数的改变来激活能够分配的第一处理标记（HND1）作为分配给第一操纵标记（HND3）的第一处理标记（HND1）。

6.根据以上专利权利要求4和5中任一项所述的方法，其中，在低于所述处理标记（HND1）和所述第一操纵标记（HND3）之间的空间距离的第二阈值的情况下，输出反馈给所述操作者（USR）。

7.根据以上专利权利要求中任一项所述的方法，其特征在于，所述转动运动是所述操作者（USR）的至少一个前臂的旋前或旋后。

8.根据以上专利权利要求中任一项所述的方法，其特征在于，所述多个空间参数至少包括：

用于所述操作者USR的肩膀转动的参数；

用于所述操作者USR的手肘屈曲的参数；和

用于所述操作者USR的前臂转动的参数。

9.一种根据以上专利权利要求中任一项所述的方法的应用，所述方法用于医学治疗或用于工业过程中的机器操作。