CN100437438C - 触觉传输系统 - Google Patents

Abstract

一种用于补偿触觉传输中的网络延时的方法，其中通过从网络接收的信号对触觉效应器的位置进行控制。该方法包括：存储触觉效应器的一系列位置，使用傅立叶变换或者其他手段根据该系列确定振幅正在增大的频率，以及生成过滤函数来从引导触觉效应器的力和方向的输出信号中去除正在增大的频率。

Description

触觉传输系统

技术领域

本发明涉及触觉传输系统(haptics transmission system)，更具体地涉及一种结合有改善的延时校正(latency correction)的系统，以及改善延时校正的方法。

本发明涉及触觉通信，更具体地涉及改善通过电信网络连接的触觉设备的响应。

背景技术

已使用来自计算机的触觉输出来增强游戏体验以提供一种“感觉”，例如振动，从而给游戏增添了附加的感官知觉。还利用这种输出使视力减弱的人能够阅读文献和感知图画等。在我们的共同未决欧洲专利申请No.01305947.2中已经描述了触觉输出设备的基本操作，该专利申请公开了调整触觉接口输出特性以针对每个人的触感差异进行校正的方法。在另一欧洲专利申请No.01307951.2中公开了通过使用触觉输出设备使得能够阅读盲文字母表(Moon alphabet)的方法。在从计算机或数据存储器向触觉输出设备发送字符组时，不太可能有取决于输出信号的任何时间紧急的活动。然而，在涉及玩游戏的情况下，尤其是如果玩家以竞争方式彼此进行比赛或者与机器进行比赛，则向前或向后力参数的传输延迟可能会对所感觉的体验具有显著的影响。

由于玩游戏更有可能通过无连接网络(例如因特网或者万维网)而非点对点通信链接进行，所以可能引入信号延时，这会导致所感觉的输出运动与输入运动的不一致。

此外，如果要使感受运动和对用户响应进行反应的感觉真实，则感觉设备需要在两个信号方向上的频繁更新。保持真实性所需的更新次数，虽然在触觉输出设备紧密靠近发生处理器并与其直接相连的情况下不成问题，但是可能导致在很短时间内的通信网络过载并且/或者可能需要极限带宽分配。

发明内容

根据本发明的一个方面，提供了一种激活对限定方向力的信号进行响应的这种触觉输出设备的方法，包括：接收限定了多个数据分组的一系列信号，每个分组限定在一个地点处施加的用来发送到当前地点的方向力；根据分组数据确定限定了期望将触觉输出设备移动到的位置的信息；使用当前位置数据产生限定了力和方向的输出信号；对所述力和方向信号施加阻尼因数以减慢从先前限定的位置向当前限定的位置的移动的速率；存储限定了触觉输出设备已经移动到的多个位置中的每一个位置的数据；分析所述数据以确定在移动中正在增大的频率分量；创建过滤函数以去除所述正在增大的频率分量；并将所述过滤函数应用于所述力和方向信号，以从触觉输出设备所产生的移动中去除所述频率分量。

优选地，该方法包括在各个方向上传输信号，由此在一个设备处施加的、反作用于所施加的朝向当前限定位置的力的触觉力在一系列返回数据分组中以当前位置信号的形式被反映给相应的设备。

本发明的特征提供了一种与双向传输设备结合的交互式触觉输出终端，该终端包括至少一个触觉输出设备和控制装置，所述控制装置从所述触觉输出设备接收信号以确定所述设备的当前位置，并且根据从所述传输设备接收的信号确定所述触觉输出设备的优选当前位置，所述控制装置确定使所述触觉输出设备从所述当前位置移动到所述优选位置所需的输出力和方向，进一步使用阻尼因数修正所述输出力和方向以减慢位置之间的明显移动，并输出限定了修正后的力和方向的信号，保持限定了触觉输出设备已经移动到的多个位置中的每一个位置的数据记录，分析所述数据以确定出运动中正在增大的频率分量，创建过滤函数以去除所述正在增大的频率分量，并将所述过滤函数应用于所述力和方向信号以从触觉输出设备所作用的运动中去除所述频率分量。

控制装置从触觉输出设备接收信号，所述信号包含限定了所述设备在任何特定时间的位置的数据，所述控制装置将所述数据转换成以预定的时间间隔发送给所述双向传输设备的信号。

限定了优选当前位置的信号可以通过例如经编程的计算机的环境仿真器产生，或者可以由在传输设备的相对端处的相应交互式输出终端产生。

在收到限定了优选位置的一系列分组的情况下，每个分组限定在一个地点处施加的用来发送到当前地点的方向力，控制装置可以包括这样的装置，该装置根据分组数据确定：发送顺序以及将数据重新排序成数值上正确的序列；关于任何丢失的数据分组，根据之前接收的分组推断出将被随后接收的分组限定的预期线性移动并施加与所述预期线性移动对应的输出方向力信号。

附图说明

现在将参照附图仅以示例的方式说明根据本发明的触觉传输系统，在附图中：

图1是第一触觉通信系统的示意性框图，其中网络将环境仿真与触觉输入/输出设备互连；

图2是具有多个互连的触觉输入/输出设备的触觉通信系统的示意性框图；

图3是图2的系统内的数据交换的示意图；

图4是测量两个地点之间的延时以实现图2系统的调整的方法的示意性流程图；

图5是计算要本地施加的力的方法的示意性流程图；

图6至8是示出如何实践本发明的示意性流程图。

具体实施方式

参照图1，在我们的共同未决欧洲专利申请No.01305947.2中，公开了一种提供作为例如对象模型数据存储的场景的触觉输出表示的方法。在这种情况下，处理器1包括对触觉输出设备(例如美国Sense Able技术公司的Phantom 1.0触觉输出设备)的位置进行响应的程序，以根据对象模型数据输出反作用力。在数据存储器3中存储的对象模型数据可以限定可被触觉输出接口2的用户感知的固定或可移动对象的织构、表面和位置。在该在先申请中公开的一些进一步的发展中，在数据存储器4中保存的基于玩家标识6的信息使得可以使用玩家偏好7和伽玛校正系数8来提供适当的输出调整，以保证不同的玩家对触觉输出接口2处的输出具有大致相同的感觉。

如所公开的，处理器1与触觉输出接口2紧密连接，因此可以对用户的手指相对于设备的x、y、z轴的位置提供基本连续的检测，从而能够对对象模型数据3所限定的环境进行实时仿真。

如上所述，一旦在触觉输出接口2与处理器1之间引入网络5，则如果需要以基本连续的速率对用于确定用户响应和地点的响应信号传输进行更新的话，通过输入/输出接口6向处理器1连续发送虚拟环境以及该响应信号传输将变得不现实。此外，由网络带给该信号传输的延时导致对于正在传输的信息的极其不平稳感觉。

现在转到图2，其中多个触觉输出设备21、22通过各自的输入/输出接口25、26与各自的处理器23、24通信，网络延时和信号传输受限的问题变得更加尖锐。因此，如果处理器23通过网络适配器27接收表示触觉输出设备22的位置的信号并且立即试图将触觉设备21相应地移动到该位置，则相当大的移动不平稳性(jerk)将很明显。无论如何，触觉输出设备21的用户将施加可能阻止这种移动的向后的力，从而阻止处理器23将触觉输出设备21的位置与触觉输出设备22的位置对齐。因此，正在测量触觉输出设备21的位置的处理器23将经由网络5通过网络适配器28将信号发回给处理器24，处理器24将试图对触觉输出设备22做出相应的移动。由此，因为触觉设备21和22之间的通信不再是连续模式而是按时间间隔收发位置信息，因此将严重地破坏用户的体验。此外，信号穿过网络所用的时间段(网络延时)将进一步破坏用户的感受。

由此再考虑图3，可以意识到：如果在地点A处用户定位了触觉输出设备21的“位置”并受到来自该触觉输出设备的力，则由个人计算机(PC)23导出从“位置”导出的本地位置数据，并且本地位置数据被发送到网络。同时，由PC 23将从网络接收的远端数据转化为本地力数据。

相应的位置和力导出数据在位置B处也被PC 24使用。

在实际的网络中，以大约5微秒的时间间隔在各个终端之间传输位置数据和力输出。由此，每次收到新的位置时，输出力以试图将输出设备移动到新位置，该力使用推动本地用户的电机来起作用。结果，将在地点A和B处的各个终端的用户连接在一起，并且双向活动和数据传输有效地试图将两个输出设备21和22移动到相应的位置。这以如下方式仿真了两个用户的连接：就好象他们通过某种弹性装置(例如弹簧或挠性杆)连接在一起。因为在各个终端处存在反作用力，所以两个设备之间可能存在不稳定，这是因为具有延迟的力传输的反馈回路可能导致有效的正反馈。

而且，网络延时可能导致经过网络传输触觉信息的系统的不稳定。这种不稳定本身可能表现为使服务质量降低的蜂鸣感觉；可能损坏触觉输出设备；并有可能导致重复性劳损。在极端的情况下，这种不稳定可能导致灾难性故障，其中触觉输出设备失去中断使用的控制，这可能对输出设备造成很大损坏，最极端地，这种不稳定可能对用户造成急性伤害。

因为触摸是交互的感觉，所以比起具有被动性的音频和视频传输，触觉传输更容易受反馈问题的影响。通过触摸观测物体需要从用户对它施加力，同时用户受到来自该物体的反作用力。这有效地提供了紧密相连的反馈回路。由于网络延时，在反馈回路中引入了延迟，这在某些频率处将负反馈变成正反馈，导致系统的不稳定。

由于不稳定具有在某些频率处将负反馈变为正反馈的效果，因此在这些频率处的振荡增大。出现这种振荡的频率将依赖于所使用的触觉输出设备的固有特性而随时间变化，但是更具体地依赖于同样随时间变化的网络延时，尤其是在采用无连接网络的情况下。

因此，本发明试图识别出这些出现振荡增大的频率，并通过过滤掉这些频率处的信号对该影响进行补偿。

因此，如上所述，再次参照图3，包括两个触觉输出设备21、22的系统容易受到上述网络延时问题的影响，所述两个触觉输出设备21、22分别附接到通过例如互联网5依次链接的个人计算机23、24。

使用中，各个计算机23、24读取与之附接的触觉输出设备21、22各自的位置，并且将限定了其触觉显示器的机头(handpiece)的位置坐标的数据发送给另一计算机，该另一计算机计算将它自己的所连接触觉显示器的机头强推(coerce)到该相同坐标所需的力。从而，计算机指示触觉显示器通过机头将此力施加给用户。该对称通信保持了两个显示器移动的一致，使得能够在它们之间传输简单的力、位置、形状织构以及待传输的运动。

现在，在本发明的系统中，各个计算机保持其各自的触觉显示器机头的最近位置的记录，在一个方法中对该记录进行傅立叶变换以提供运动的频率分量的频谱。然后通过比较频谱确定出是否存在振幅一直增大的频率，并且如果发现这样的频率，则在计算要在机头移动中施加的力时抑制该频率。

另选地，通过确定所传输的数据分组的往返延时可以确定哪些频率可能越来越不稳定。在这种情况下，作为被两倍往返延时整除的奇数的频率有此危险，因为在往返期间负反馈将转变成正反馈。这里还有一个需要考虑的因素是与系统连接的两个触觉设备的固有振荡频率。在这种情况下，需要确定可能不恒定但是可重复测量的延时、所连接的触觉设备的机械属性和仿真机械属性(可在软件中设置)、以及当施加已知力时可被测量或可从输出设备机头的响应估算出的用户的手的机械响应。

在更进一步的可能考虑中，如果确定出最有可能有增大振幅危险的频率，并且只需要对这些有危险的频率检查增大的频谱分量，则可以减少进行傅立叶变换比较所需的计算量。

现在转到图4，从各个地点A、B，使用PC 23、24各自的本地时钟30、40来确定网络延时。由此，在步骤31，从地点A将来自本地时钟的时间打包成传输分组，并在步骤32经由网络5传送。在步骤33，在地点B处接收该分组，并且在步骤34立即经由网络5再次发送该分组，并在步骤35，在地点A处再次接收该分组，取出所接收的时刻(这是第一次进行发送的时刻)，并且在步骤37再次将所接收的时刻与本地时钟30进行比较，以在步骤38，提供网络5的延时的可用量度。

虽然可以通过网络发送延时信息使得各个终端使用相同的延时，但是在网络各异的情况下可以从地点B使用自己的本地时钟40进行如所述类似的延时测量，以通过与步骤31至37对应的步骤41至47得到延时测量。

要注意，因为在确定延时测量时只涉及一个时钟，所以不需要所述两个通信系统的时钟同步。当然要理解打包并不一定需要是具体的时钟时间，而可以简单的是一个序列号，对该序列号进行收发，并且使用查询表来确定序列号分组的传送时间，以与当前时间进行比较。

注意，在由于向前和向后传输路径中的路径差异而使通过网络所经历的延时之间应当存在差异的情况下，各个终端可以进行各自的延时测量。

一旦确定了各个方向上的延时，可以使用两种方法来应对延时问题。在一个实例中，在本地终端使用延时测量来被动地进行反作用，以修正用于发送到相对终端的位置数据。考虑图5，在通常的通过网络的触觉连接中，使用如步骤51所示的从触觉输出设备检测器获得的本地位置以及在步骤52从网络接收的远端位置，来计算差距并提供相对于这两个触觉输出设备的x、y和z坐标的差距向量(步骤53)。然后使用两个设备之间的连接强度或者连接弹性(步骤54)，来计算将本地触觉设备强推到远端设备的相对位置所需的力(步骤55)，从而可发送x、y和z向量，以在步骤56对电机提供本地力。

现在参照图6，在计算出了将本地机头强推到远端机头相对位置所需的力之后，在步骤57，使用确定输入移动的位置历史记录来计算本地触觉输出设备的加速度，并且在步骤58，使用之前确定的延时测量来计算在确定要施加的力时要加上的惯性值。在另选方案中，可以使用查询表提供测量的延时值与适当的惯性值之间的联系。由此可以使用加速度和惯性值来提供惯性力特性，在步骤61，惯性力特性可与所算出的力相结合地使用，以将本地机头强推到远端机头相对位置，使得由此考虑延时或输出来调整到本地触觉输出设备的电机的x、y和z力输出。

现在参照图7，在本发明中引入另一个步骤，其中将来自检测器的本地位置(步骤51)加入位置历史记录(步骤63)，然后对位置历史记录进行傅立叶变换或者进行上述更为受限的频率分析，以确定表现为振幅增大的那些分量(步骤64)。然后创建对那些增大的频率分量进行去除的过滤函数(步骤65)，并且将其应用于本地位置数据(步骤66)，随后使用本地位置数据计算差距向量，该差距向量用来计算将本地机头强推到远端机头的相对位置所需的力。

图8，在更复杂的配置中，除有关延时测量的连接强度之外还可以引入用户偏好。由此，例如，在计算将本地机头强推到远端检测器的相对位置所需的力时，用户偏好可能影响连接强度54，可以考虑位置历史和用户偏好对该连接强度进行调整(步骤70)。

用户偏好72还可以用来修正过滤特性73，包括但不限于加速度的动态变量77可如以前一样计算，使用过滤74以考虑本地硬件参数75以及用户偏好和延时，所有这些力76都对输出给本地力电机78的输出信号数据的调节作出贡献。

载有时间信息的分组可以是与载有触觉效应器位置信息的分组相同的分组。这样有利地确保了在所测量的延时中包括了针对位置信息的适当网络栈延迟，并且减少了需要发送的分组的数量。

除了质量之外，还可以调整其他物理参数，以去除延时导致的不稳定。这些物理参数包括粘滞阻力(正比于速度并与速度相反的力)和摩擦力(与速度相反、并且如果速度不为零则为常量、在其他情况下大小等于施加的力并且与施加的力相反直到一极限值为止)。

除了使用与触觉效应器的物理性质相关的参数，还可以使用与触觉效应器之间的连接相关的那些参数。例如，减小各个效应器试图跳到另一效应器的位置的强度可以减少不稳定。

上述不同的过滤手段可以组合应用，也可以单独应用。

除了使用仿真弹性力将效应器机头强推到对方的位置，还可以使用其他触觉传输方法(例如，在一个效应器处测量来自环境的反作用力，传送该反作用力并经由其他效应器输出该反作用力)。

除了UDP，还可以使用其他网络连接方法(例如，ISDN，基于IP的TCP，或者基于PSTN的modem到modem链接的RS232系列)。可以使用其他网络延时测量方法(例如，“ping”时间，来自网络中的其他计算机的网络性能度量，或者利用同步时钟的单方向测量)。

可以响应于延时测量来调整其他形式的可调不稳定抑制。

可以通过除延时测量以外的手段自动调整过滤参数。例如，每当检测到表示不稳定的振荡的开始时可以自动增大过滤参数，而当一段时间没有检测到不稳定时可以逐渐减小过滤参数。

可以使用所述的不稳定过滤的形式而无需自动调整，例如，将所仿真的质量保持在用户预定或设置的值。用户如何对效应器运动进行响应也影响不稳定。在我们的试验中，某些用户自己能够学习如何减少某种不稳定。因此这样的用户偏好较少的过滤，从而以稳定为代价提高对速度和细节的感觉。因此，提出了在校正程度的计算中包括用户具有某种控制的参数。

另选地，本系统可以调节过滤的程度以自动适应用户(例如，通过减少过滤直到检测到表示不稳定的振荡的开始)。

每个用户的参数，无论手工地或是自动地设置的，可以存储起来供以后使用。

对位置参数所做的调整可以与其他感觉结合起来。最显然的是触觉画面的视觉表示，以及声音、气味和其他感官刺激。

Claims (11)

1、一种激活对限定方向力的信号进行响应的触觉输出设备的方法，该方法包括以下步骤：

在当前地点接收限定了多个数据分组的一系列信号，每个数据分组限定在一远程地点处施加的用来发送到当前地点的方向力；

根据接收到的一系列信号确定限定了期望将当前地点的触觉输出设备移动到的位置的位置数据；

使用当前地点的所述位置数据产生限定了力和方向的输出信号；

对所述限定了力和方向的输出信号施加阻尼因数以减慢触觉输出设备从先前限定位置向当前限定位置的移动的速率；

存储限定了触觉输出设备已经移动到的多个位置中的每一个位置的数据；

分析存储的所述数据以确定在移动中正在增大的频率分量；

创建过滤函数以去除所述正在增大的频率分量；以及

将所述过滤函数应用于所述限定了力和方向的输出信号，以从触觉输出设备所产生的移动中去除所述频率分量。

2、根据权利要求1所述的方法，该方法还包括以下步骤：

在各个方向上传输信号，由此把在当前地点和远程地点中的一个地点处的触觉输出设备处反作用于所施加的朝向当前限定位置的力而施加的触觉力，以当前地点的位置信号的形式用一系列数据分组反映给当前地点和远程地点中的另一地点处的触觉输出设备。

3、根据权利要求1或2所述的方法，该方法还包括以下步骤：

根据其上载有所述数据分组的传输网络的所确定的参数来计算过滤函数。

4、根据权利要求3所述的方法，其中，按以下步骤确定网络延时：

向网络发送数据分组，所述数据分组包括时间确定标识；

经由网络反射该数据分组，并且将所接收的时间与所发送的时间进行比较，以提供延时参数，根据该延时参数确定所述过滤函数。

5、根据权利要求4所述的方法，其中，至少一些载有位置数据的发送数据分组还包括时间确定数据，所述时间确定数据中的一些被返回以允许更新延时参数。

6、根据权利要求1、2、4和5中任一项所述的方法，该方法还包括以下步骤：

将修正因子应用于所述限定了力和方向的输出信号，所述修正因子根据预先确定的用户偏好数据导出。

7、根据权利要求3所述的方法，该方法还包括以下步骤：

将修正因子应用于所述限定了力和方向的输出信号，所述修正因子根据预先确定的用户偏好数据导出。

8、一种与双向传输设备结合的交互式触觉输出终端，该交互式触觉输出终端至少包括触觉输出设备和控制装置，所述控制装置从所述触觉输出设备接收信号以确定所述触觉输出设备的当前位置，并且根据从所述双向传输设备接收的信号确定所述触觉输出设备的优选当前位置，所述控制装置确定使所述触觉输出设备从所述当前位置移动到所述优选当前位置所需的输出力和方向，通过存储限定了触觉输出设备已经移动到的多个位置中的每一个位置的数据来修正所述输出力和方向，分析存储的所述数据以确定在移动中正在增大的频率分量，创建过滤函数以去除所述正在增大的频率分量，并将所述过滤函数应用于所述输出力和方向的信号以从触觉输出设备所作用的移动中去除所述频率分量。

9、根据权利要求8所述的终端，其中，控制装置从触觉输出设备接收信号，所述接收的信号包含限定了所述触觉输出设备在任何特定时间的位置的位置数据，所述控制装置将所述位置数据转换成以预定的时间间隔发送给所述双向传输设备的信号。

10、根据权利要求8或9所述的终端，其中，限定了优选当前位置的信号通过环境仿真器产生。

11、根据权利要求8或9所述的终端，其中，限定了优选当前位置的信号由位于所述双向传输设备的远程端处的对应交互式输出终端产生。

Images