CN104272365A - 使用多局部力反馈提供全局6个自由度运动效果的方法 - Google Patents

Abstract

本发明涉及一种用于为触觉设备自动产生力反馈数据的方法和设备，以提供模拟的六个自由度(6-DoF)的运动。确定与要模拟的运动相对应的三维加速度分量。确定与要模拟的运动相对应的三维速度分量。确定用于控制至少三个力反馈设备的控制信号，其中三个力反馈设备中的每个力反馈设备向与该力反馈设备相关联的固定点提供三维力作用，所述三个力反馈设备被设置在相对彼此限定的位置处，所述三个固定点限定一个几何平面。

Description

使用多局部力反馈提供全局6个自由度运动效果的方法

技术领域

本发明涉及一种用于为触觉设备自动产生力反馈数据的方法和设备，以提供模拟的六个自由度(6-DoF)的运动。

背景技术

运动模拟器是设计为使得观众能够感受运动的公知设备。它们被广泛地用作驾驶或飞行模拟器以用作学习目的。大多数运动模拟器是基于Stewart平台(B.Dasgupta，“The Stewart platform manipulator：areview”，Mechanism and Machine Theory，第35卷第1期，第15-40页，2000年1月)。Stewart平台是六个自由度(6-DoF)的平台，利用六个液压柱而运动。六个自由度的平台沿三个方向运动，例如，水平面内的两个方向以及沿垂直轴的运动方向。此外，执行绕这三个方向的旋转。运动模拟器基本上是附连在这种平台上的座位，可以专门用于增强视听体验。这里，所述座位在观众观看电影期间进行运动，以增强他的体验。这些系统被广泛地用于游乐园或“4D影院”，但是很少被设计用于终端用户消费者。

此外，放置在专用于终端用户客厅的四个致动器上的舒适座椅在本领域内是公知的。这些座位允许用于视听内容观看和消费者应用的三个自由度(俯仰(pitch)、横滚(roll)和垂荡(heave))。三个自由度是沿垂直轴的运动(垂荡)和沿两个垂直水平轴的旋转(俯仰和横滚)。然而，这些座椅仍旧非常昂贵，仅提供3-DoF，并同样是基于Stewart平台的。

在侵入性更小的方式下，如WO2011/032937所公开，还可以通过力反馈设备来引起对运动的感知。通过向用户手部施加力，系统通过力反馈来产生运动的错觉。在接口拉动手部的同时，用户感到向前运动。

提出了多个力反馈设备以便支持与用户进行本地交互。通常，3-DoF力反馈设备能够沿三个相垂直的轴提供力的作用。图1示出了3-DoF力反馈设备1的示例。所述设备相对便宜，是针对大众市场而设计的。所述设备具有作为固定点2的手柄，其中向所述手柄施加三维的力。此外，存在其它3-DoF设备。

A.Shah，S.Teuscher，E.McClain和J.Abbott，“How to build aninexpensive 5-DOF haptic device using two novint falcons，”(Haptics：Generating and Perceiving Tangible Sensations，第136-143页，2010)公开了两个3-DoF力反馈设备1，如图2所示，所述设备彼此相连以便提供一个5-DoF力反馈系统。通过触控棒(stylus)3链接每个设备的手柄2。这样，沿三个相垂直的轴操控该触控棒，并沿这些轴中的两个轴旋该转触控棒。

本发明的目的在于提出一种低成本的设备和用于操作所述设备的方法，以提供6-DoF交互。

发明内容

根据本发明，公开了一种用于为触觉设备自动产生力反馈数据的方法。通过提供力反馈，来模拟六个自由度的运动。第一步骤包括确定与要模拟的运动相对应的三维加速度分量。第二步骤包括确定与要模拟的运动相对应的三维角速度分量。第三步骤包括确定用于控制至少三个力反馈设备的控制信号。三个力反馈设备中的每个力反馈设备具有与其相关联的固定点，并向其固定点提供沿三个相垂直的轴的力的作用。三个力反馈设备被设置在相对彼此限定的位置处，三个固定点限定一个几何平面。因此，固定点被设置成共面方式，但不位于一条直线上。根据本发明的方法的优点为用低成本设备模拟六个自由度的运动。可从消费类电子市场购得三个自由度的力反馈设备，并可以合理价格将其用于这些应用。

优选地，根据三维加速度分量和三维角速度，确定每个固定点的三维位移(displacement)，所述每个固定点的三维位移是用于确定控制至少三个力反馈设备的控制信号的基础。所述方法具有如下优点：使用独自仅能够提供三维运动的设备来模拟角度运动

有利地，确定缩放因子。将缩放因子用于缩放三维位移，使得可以充分利用力反馈设备的工作空间。在确定用于要模拟的整个序列的三维位移值之后确定缩放因子。因此，知道该整个序列的最大位移并确定缩放因子，使得在力反馈设备的至少一个维度内完全使用工作空间。另一解决方法在于连续调整对三维位移的缩放因子。通过三维位移在一段时间上的积分来进行所述调整。可应用用于缩放的其它规则，以便优化地使用力反馈设备的三维工作空间并同时保持在不同方向内和针对不同力反馈设备确定的位移之间的比率。

有利地，力反馈设备分别位于座椅的左扶手、右扶手和头枕内。因此，通过假定固定点分别位于座椅的左扶手、右扶手和头枕处，来确定三个固定点的三维位移。因此，所限定的固定点向其左臂、右臂和头部分别与固定点之一接触的用户提供六个自由度运动的错觉。

有利地，每个固定点的三维位移是基于骨架模型(skeleton model)的。此外，要模拟的运动是基于至少部分电影或游戏内容的。这种方法具有以下优点：坐在TV或计算机前方座椅上的用户通过容易用作家庭设备的便宜方便的设备得到与他正观看的视听内容同步的六个自由度运动的错觉。

根据本发明的另一方面，公开了一种用于提供六个自由度交互的设备。所述设备包括至少三个力反馈设备。三个力反馈设备中的每个力反馈设备沿三个相垂直的轴向固定点提供力的作用。三个力反馈设备被设置在相对彼此限定的位置处，所述三个固定点限定一个几何平面。因此，固定点被设置成共面方式，但不位于一条直线上。力反馈设备的限定位置是固定位置。备选地，力反馈设备的限定位置还可以随着时间运动，使得固定点的位移是力反馈设备的位移和固定点相对力反馈设备的位移的叠加运动。此外，将固定点设置为使得用户每个脚站在一个固定点上并例如倚在第三固定点上。可以使用任意的其它设置，其中三个固定点与用户相接触并限定一个几何平面。

有利地，将所述设备集成在座椅内，将力反馈设备之一分别集成在左扶手、右扶手和头枕内。

有利地，将至少一个其它力反馈设备集成在至少一个腿托内。所述力反馈设备不提供额外的自由度，而是支持提供给用户的虚拟六个自由度的模拟。这样，在身体的主要部位保持不动的同时，用虚拟运动刺激人体的所有远端部位(remote part)。发明人发现，与公知6-DoF模拟器相反，不必运动整个身体来在用户内产生6-DoF的感觉，而是运动身体的至少三个远端部位就足以实现该目的。

有利地，所述设备包括控制单元，产生用于控制彼此相关的至少三个力反馈设备的控制信号，使得所述至少三个力反馈设备的固定点的运动向固定在三个固定点之间的对象提供六个自由度的运动。固定在三个固定点之间的对象可以是任何对象，特别是可以是人类。此外，还可以使用其它力反馈设备，以便增加固定点的数目，从而增强六个自由度运动的错觉。

为了更好地理解本发明，现将在参考附图的以下描述中详细描述本发明。应理解，本发明不限于该示例实施例，还可以方便地合并和/或修改具体特征，而不脱离本发明的范围。

附图说明

图1示出了3-DoF力反馈设备。

图2示出了由两个3-DoF设备组成的5-DoF力反馈系统。

图3示出了根据本发明的6-DoF力反馈系统。

图4示出了根据本发明的6-DoF力反馈系统的示意图。

图5示出了骨架模型。

图6示出了根据本发明的系统的示意图，包括提取运动数据、触觉呈现和力反馈系统。

图7示出了根据本发明具体实施例的配置用于控制图3的6-DoF力反馈系统的控制单元的示意图。

具体实施方式

已在以上介绍中描述了图1和图2。

图3示出了本发明的示例实施例。用户坐在座椅7上并用他的头部/颈部3与3-DoF力反馈设备H的固定点2相接触，用他的左臂和右臂5分别与其它两个3-DoF力反馈设备RA、LA相接触。在图3中，为了简单起见，仅示出了用户的右臂5和座椅的右扶手4。用户的臂部5放在扶手4上，向用户臂部5传送力反馈设备RA、LA的固定点2的运动。备选地，用户臂部5可以直接与固定点2相接触。通过固定件8将移动用户头部3的力反馈设备H安装在座椅7上。因此，实施例利用三个3-DoF局部致动器来提供6-DoF的全局运动(3x3-DoF→6-DoF)。在用户前方，布置呈现视听内容的显示屏6。图3示出了力反馈设备H、RA、LA的固定点2的运动的具体示例。通过箭头10指示安装在用户头部处的力反馈设备H的固定点2的运动。通过箭头11指示安装在右扶手4处的力反馈设备RA的固定点2的运动。通过斜箭头9指示产生运动的6-DoF错觉。

图4介绍了系统的示意性表示以及在下文使用的不同符号的说明。

所述系统由三个局部3-DoF力反馈设备H、RA、LA构成，所述三个力反馈设备分别位于用户的头部后方以及在用户右前臂和左前臂的下方。力反馈设备H、RA、LA优选地位于座椅的头枕、左扶手和右扶手内(这里未示出)。用户被动地将他的头部和手部(或手臂)置于3-DoF力反馈设备H、RA、LA中的每个力反馈设备上，与此同时他观看投影在位于他前方的显示屏上的电影。如果没有提供运动，则三个力反馈设备H、RA、LA保持用户的头部、右臂和左臂分别位于中心位置G_H、G_RA、G_LA处。在观看序列开始并提供运动之后，每个力反馈设备H、RA、LA在由如图4所示的三个框示意性指示的有限工作空间内叠加身体的不同关联部位的3-DoF运动。工作空间与3-DoF力反馈设备H、RA、LA在每个方向上的最大幅度L相对应。

所提出的系统意在令观众感受全局的6-DoF运动。将用与场景中观看到的主要运动相关的附加信息增强的视听内容描述为针对每个时刻t的线性加速度a(t)＝[a_x(t)，a_y(t)，a_z(t)]^T(消除重力分量)和角速度w(t)＝[W_x(t)，W_y(t)，w_z(t)]^T的形式。通过a(t)和w(t)来对6-DoF全局运动进行建模。

在用户观看视听内容期间，三维局部力反馈设备H、RA、LA以同步方式运动，以便给予由a(t)和w(t)表示的全局运动的错觉。更精确地，每个力反馈设备H、RA、LA提供可以在身体的不同部位感受到的运动。第一力反馈设备H可以专门提供在头部位置感受到的运动，而两个其它力反馈设备RA、LA提供由手部感受到的运动。

图5公开了由身体部位和关节构成的通用的多关节连接的骨架，将其用于计算力向目标身体部位的传播。在上述情况中，力的目标是手部/手臂和头部。如果考虑到附加致动器，则这种通用的骨架直接允许考虑所述附加致动器。

骨架的第一简化实现方案考虑刚体方法，其中将手部的运动认为是等同于肩部的运动。

将身体的上部(包括头部和胸部)认为是旋转的刚体，由三维矢量w(t)来表示其角速度(或旋转速率)，以G表现的加速度是a(t)。将这两个量认为是与导航框架(navigation frame)F_N相关，并将其表示为身体框架F_B(以G为中心)。

头部的坐标P_H以及左肩和右肩P_LS、P_RS的坐标在F_B内是已知的。通过以下机械关系来计算这些点中的每个点的加速度(运动扭子(kinetic torsor)的时间微分)：

$\stackrel{\→}{a}(P\∈S|F_N)=a(G\∈S|F_N)+\frac{\mathrm{dw}}{\mathrm{dt}}\×\stackrel{\→}{\mathrm{GP}}+w\×(w\×\stackrel{\→}{\mathrm{GP}})$

然后，将控制三个局部致动器的命令规律用构建为从它们的初始和中心位置G_H、G_LA、G_RA的位移的形式：

$\stackrel{\→}{G_H{C^{\′}}_H}=\left[\begin{array}{ccc}{k}_x& 0& 0\\ 0& k_y& 0\\ 0& 0& k_z\end{array}\right](a\left(t\right)+\frac{\mathrm{dw}}{\mathrm{dt}}\left(t\right)\×\stackrel{\→}{{\mathrm{GP}}_H}+w\left(t\right)\×(w\left(t\right)\×\stackrel{\→}{{\mathrm{GP}}_H}))$

$\stackrel{\→}{G_{\mathrm{LA}}{C^{\′}}_{\mathrm{LA}}}=\left[\begin{array}{ccc}{k}_x& 0& 0\\ 0& k_y& 0\\ 0& 0& k_z\end{array}\right](a\left(t\right)+\frac{\mathrm{dw}}{\mathrm{dt}}\left(t\right)\×\stackrel{\→}{{\mathrm{GP}}_{\mathrm{LS}}}+w\left(t\right)\×(w\left(t\right)\×\stackrel{\→}{{\mathrm{GP}}_{\mathrm{LS}}}))$

$\stackrel{\→}{G_{\mathrm{RA}}{C^{\′}}_{\mathrm{RA}}}=\left[\begin{array}{ccc}{k}_x& 0& 0\\ 0& k_y& 0\\ 0& 0& k_z\end{array}\right](a\left(t\right)+\frac{\mathrm{dw}}{\mathrm{dt}}\left(t\right)\×\stackrel{\→}{{\mathrm{GP}}_{\mathrm{RS}}}+w\left(t\right)\×(w\left(t\right)\×\stackrel{\→}{{\mathrm{GP}}_{\mathrm{RS}}}))$

其中G’_H、G’_LA和G’_RA是时刻t时的新施力点，k_x、k_y和k_z是用于映射在三个致动器的工作空间内的真实运动的缩放因子。

通过寻找折中使得在使用每个工作空间内可用的最大空间的同时避免任何饱和，来确定这些缩放因子，以便以优化方式使用每个力反馈设备H、RA、LA的工作空间(从而在最终呈现中具有更大幅度，因此，用户具有更强感觉)。

通过预处理步骤来确定这些缩放因子，所述预处理步骤包括发现由三个不同致动器提供的每个加速度的最大幅度。因此，考虑整个序列的最大幅度。备选地，连续调整对三维位移的缩放因子。通过三维位移在一段时间上的积分来完成该操作。

图6示出了根据本发明的系统的示意图。从视听内容提取运动数据。产生模型。呈现触觉效果，确定用于控制力反馈设备的控制信号。通过这些控制信号来控制根据图4的系统，通过三个力反馈设备来影响在TV屏幕前方观看视听内容的用户。

图7图解性地示出了控制单元7的硬件实施例，所述控制单元7被配置为控制触觉设备提供模拟六个自由度的运动。所述控制单元7包括以下元件，所述元件通过还传输时钟信号的地址和数据的总线74相连：

-一个或多个微处理器71(或CPU)；

-ROM(“只读存储器”)型的非易失性存储器72；

-随机访问存储器或RAM 73；

-接口75，适于接收数据(例如，添加到视听内容并表示场景中的主要运动的信息，其形式为在不同时刻t的线性加速度a(t)和角速度w(t))；

-接口76，适于发送数据(例如，用于控制至少三个力反馈设备的控制信号)；

-MMI(人机界面)接口38或用于向用户显示信息和/或输入数据或参数的专门应用。

应注意，在存储器72和73的描述中所用的词语“寄存器”指示在所述多个存储器内的每个存储器中的小容量存储区域(一些二进制数据)以及大容量存储区域(支持要存储的整个程序、或表示接收到的数据或要广播的数据的所有数据或部分数据)。

存储器ROM 72具体地包括：

-程序720。

将下文所述的并实现专属于本发明的方法步骤的算法存储在与控制单元7相关联的ROM 72存储器中，所述控制器7用于实现这些步骤。当加电时，微处理器71加载并运行这些算法的指令。

随机访问存储器73具体地包括：

-在寄存器730中负责启动控制单元7的微处理器71的操作程序；

-表示三维加速度分量的数据731；

-表示三维速度分量的数据732；

-表示与力反馈设备相关联的每个固定点的三维位移的数据733。

接口76和76是无线电型和/或以太网型的接口。

自然地，本发明不限于先前所述的实施例。

具体地，本发明不限于针对触觉设备自动产生力反馈数据的方法，而是可以扩展到实现所述方法的任何设备和配置为控制这种触觉设备的任何设备，明显地，所述任何设备包括至少一个CPU。可以将产生用于控制触觉设备的信号所需的计算的实现方案实现为任何程序类型，例如，可以由CPU型微处理执行的程序。

可以将本文所述的实现方案实现为例如方法或处理、装置、软件程序、数据流或信号。即使仅在单个实现方案的上下文中进行了讨论(例如，仅作为方法或设备进行讨论)，还可以将所讨论的特征的实现方案实现为其它形式(例如，程序)。可以将装置实现为例如适合的硬件、软件和固件。例如，可以将方法实现为例如处理器的装置，通常将所述处理器称作处理设备，例如包括计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备，例如，计算机、机顶盒、平板电脑、游戏机。

此外，可以将所述方法实现为由处理器执行的指令，可以将这种指令(和/或由实现方案产生的数据值)存储在处理器可读介质上，例如，集成电路、软件载体或其它存储设备(例如，硬盘、压缩盘(CD)、光盘(例如，DVD，通常称作数字多用盘或数字视频盘)、随机访问存储器(“RAM”)或只读存储器(“ROM”))。指令可以形成为有形地实现在处理器可读介质上的应用程序。例如，指令可以是硬件、固件、软件或其组合。例如可以在操作系统、单独应用或两者的组合内发现指令。因此，可以将处理器特征化为例如配置为执行处理的设备和包括处理器可读介质的设备(例如，存储设备)，所述处理器可读介质具有用于执行处理的指令。此外，除了指令之外或代替指令，处理器可读介质可以存储由实现方案产生的数据值。

本领域技术人员显而易见的是，实现方案可以产生构建为携带信息的多种信号，例如，可以存储或发送所述信号。所述信息可以包括例如用于执行方法的指令或通过所述实现方案之一产生的数据。例如，可以将信号构建为携带作为用于写入或读取所述实施例的句法的规则的数据，或携带作为通过所述实施例写入的实际句法值的数据。例如，可以将这种信号构建为电磁波(例如，使用频谱的无线电频率部分)或构建为基带信号。所述构建可以包括例如对数据流编码并用编码后的数据流调制载波。信号携带的信息可以是例如模拟或数字信息。可以通过公知的多种不同有线或无线链路来传输该信号。可以将该信号存储在处理器可读介质上。

描述了多个实现方案。尽管如此，应清楚可以进行多种修改。例如，可以合并、增补、修改或去除不同实现方案的要素，以便产生其它实现方案。此外，本领域技术人员应理解其它结构和处理可以代替所述的这些结构和处理，得到的实现方案将以至少本质上相同的方式执行至少本质上相同的功能，以便实现与所公开的实现方案至少本质上相同的结果。因此，本申请考虑到以上实现方案和其他实现方案。

Claims (13)

1.一种为触觉设备自动产生力反馈数据的方法，所述力反馈提供模拟的六个自由度的运动，其特征在于，所述方法包括以下步骤：

-确定与要模拟的运动相对应的三维加速度分量；

-确定与要模拟的运动相对应的三维速度分量；

-确定用于控制三个力反馈设备(H，RA，LA)的控制信号，其中所述三个力反馈设备(H，RA，LA)中的每个力反馈设备向与该力反馈设备相关联的固定点(2)提供三维力作用(10，11)，所述三个力反馈设备(H，RA，LA)被设置在相对彼此限定的位置处，三个固定点限定一个几何平面。

2.根据权利要求1所述的方法，其特征在于，确定用于控制三个力反馈设备的控制信号的步骤还包括以下步骤：

-根据三维加速度分量和三维角速度，确定每个固定点的三维位移。

3.根据权利要求2所述的方法，其特征在于，所述确定每个固定点的三维位移的步骤还包括以下步骤：

-应用缩放因子来缩放要确定的三维位移，以便利用力反馈设备(H，RA，LA)的工作空间。

4.根据权利要求1-3中任一权利要求所述的方法，其特征在于，在假定三个固定点(2)分别位于座椅(7)的左扶手、右扶手(4)和头枕处的情况下，确定所述三个固定点(2)的三维位移。

5.根据权利要求1-4中任一权利要求所述的方法，其特征在于，所述确定每个固定点(2)的三维位移的步骤是基于骨架模型的。

6.根据权利要求1-5中任一权利要求所述的方法，其特征在于，所述要模拟的运动是基于至少部分电影或游戏内容的。

7.根据权利要求6所述的方法，其中根据所述至少部分电影或游戏内容来回控要模拟的运动。

8.一种用于提供六个自由度的交互的设备，其特征在于，所述设备包括至少三个力反馈设备(H，RA，LA)，其中所述三个力反馈设备(H，RA，LA)中的每个设备向固定点(2)提供三维力作用，所述三个力反馈设备(H，RA，LA)被设置在相对彼此限定的位置处，三个固定点(2)限定一个几何平面。

9.根据权利要求8所述的设备，其特征在于，所述设备被集成在座椅(7)内，力反馈设备(H，RA，LA)分别集成在左扶手、右扶手(4)和头枕内。

10.根据权利要求9所述的设备，其特征在于，至少一个其它力反馈设备被集成在至少一个腿托内。

11.根据权利要求9到10中任一权利要求所述的设备，其特征在于，所述设备包括控制单元，控制单元产生用于控制彼此相关的所述至少三个力反馈设备(H，RA，LA)的控制信号，使得所述至少三个力反馈设备(H，RA，LA)的固定点(2)的运动向固定在所述三个固定点(2)之间的对象提供六个自由度的运动(9)。

12.一种配置为控制六个自由度运动触觉设备的控制单元，其特征在于，所述控制单元包括至少一个处理器，所述处理器被配置为：

-确定与要模拟的运动相对应的三维加速度分量；

-确定与要模拟的运动相对应的三维速度分量；

-产生用于控制至少三个力反馈设备(H，RA，LA)的控制信号，其中所述至少三个力反馈设备(H，RA，LA)中的每个力反馈设备向与该力反馈设备相关联的固定点(2)提供三维力作用(10，11)，所述至少三个力反馈设备(H，RA，LA)被设置在相对彼此限定的位置处。

13.一种计算机程序产品，其特征在于，所述计算机程序产品包括程序代码的指令，用于当在计算机上执行所述程序时，执行根据权利要求1到8之一所述的方法的步骤。