CN113348430B - 确定超声波触觉设备和视觉传感器设备中的坐标系之间的变换 - Google Patents

确定超声波触觉设备和视觉传感器设备中的坐标系之间的变换 Download PDF

Info

Publication number
CN113348430B
CN113348430B CN201980090339.6A CN201980090339A CN113348430B CN 113348430 B CN113348430 B CN 113348430B CN 201980090339 A CN201980090339 A CN 201980090339A CN 113348430 B CN113348430 B CN 113348430B
Authority
CN
China
Prior art keywords
ultrasonic
transformation
coordinate system
focus
body part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980090339.6A
Other languages
English (en)
Other versions
CN113348430A (zh
Inventor
何塞·阿罗约
阿迷尔侯赛因·塔赫库斯塔尼
拉尔斯·安德森
迭戈·冈萨雷斯莫兰
约安尼斯·卡拉吉安尼斯
阿南亚·慕都克里斯那
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN113348430A publication Critical patent/CN113348430A/zh
Application granted granted Critical
Publication of CN113348430B publication Critical patent/CN113348430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

提供了一种用于确定超声波触觉设备的第一坐标系和视觉传感器设备的第二坐标系之间的变换的方法。该方法包括以下步骤：触发(40)超声波焦点的生成；获得(42)描绘当超声波焦点处于活跃状态时用户的身体部位的图像；当用户的身体部位位于超声波焦点中时，确定超声波焦点在第二坐标系中的位置；重复(45)触发、获得和确定的步骤；以及基于超声波焦点在第一坐标系和第二坐标系中的位置，计算(46)第一坐标系和第二坐标系之间的第一变换，从而校准超声波触觉设备和视觉传感器设备之间的关系。

Description

确定超声波触觉设备和视觉传感器设备中的坐标系之间的 变换
技术领域
本公开涉及一种用于确定超声波触觉设备的第一坐标系和视觉传感器设备的第二坐标系之间的变换的方法、一种用于确定超声波触觉设备的第一坐标系和视觉传感器设备的第二坐标系之间的变换的变换确定器、对应的计算机程序、以及对应的计算机程序产品。
背景技术
触觉设备是一种人机接口，其实现不同于视觉和声音的交互方式，通过不同的技术产生触摸感觉。例如，可以通过振动或力反馈来产生触摸感觉。
传统上，触觉设备已用于触觉显示器、游戏和模拟器。然而，随着虚拟现实(VR)和混合现实(MR)(包括增强现实AR和增强虚拟化AV)设备的快速增长，触觉设备正在成为这种系统的组成部分，以闭合交互循环。在VR和MR系统中，触觉设备扮演着为虚拟内容提供触摸反馈的角色。在没有有效和精确的触觉反馈的情况下，无法实现沉浸式VR或MR系统。
触觉感知包括动感和触感，并且涉及对物理对象、表面等的大小、形状、质量、纹理和刚度的感觉。动感信息是指移动关节、肌肉和肌腱时感知的信息，而触觉信息是指通过皮肤获得的信息。例如，触觉设备可以通过与用户皮肤的直接接触来产生振动(例如AvatarVR)；这些触觉设备可以使用马达来使由用户持有的工具的运动转向(例如GeomagicTouch)，或者他们可以产生空中(mid-air)触觉感觉(例如Ultrahaptics、MyVox)，这是可以应用本文提出的实施例的环境的一部分。
空中触觉技术为用户提供了无需穿戴或持有任何事物的自由，因此更易于使用并增强用户体验。
空中触觉技术可应用于广泛的行业，包括汽车、医疗保健、营销和广告、游戏等。它们可以用作对图形用户界面(例如按钮、滑动条和下拉菜单)的反馈强化。例如，通过将空中触觉设备嵌入汽车的信息娱乐系统，可以以空中方式与系统交互，而无需驾驶员将视线从道路上移开。
另一个示例是公开可用的机器，例如自动取款机、电梯自动售货机。空中反馈将提供更清洁、更卫生的交互，同时减少机器所需的维护。
空中触觉设备主要使用超声波来产生触感。这些超声波触觉设备利用超声波换能器的阵列来产生超声波，这些超声波在空间中的某一点(超声波焦点)处重合。在空间中移动或强度改变的超声波焦点可以在用户的手部上产生触感。为了跟踪和确定手在空间中的位置以便能够在其上投射焦点，使用了手部跟踪系统，例如Leap Motion公司提供的手部跟踪系统。
精确的手部跟踪用于确保用户在正确的位置感受到触感。手部跟踪设备导出用户手部及其部分的位置，然后使用该信息来定义应该发生致动的位置(用于触觉致动的超声波焦点)。手部跟踪还需要准确，以便在用户手部的与要渲染的(虚拟)对象“接触”的特定点处提供更高分辨率的触觉致动。
在实验中，发明人已经发现触觉反馈不够精确。超声波焦点与手部跟踪传感器跟踪到的点之间的偏差可能很大，例如一厘米或更大，这极大地影响了用户体验。
发明内容
一个目的是改进超声波触觉设备的第一坐标系和视觉传感器设备的第二坐标系之间的校准。
根据第一方面，提供了一种用于确定超声波触觉设备的第一坐标系和视觉传感器设备的第二坐标系之间的变换的方法。该法在变换确定器中执行并且包括以下步骤：触发超声波触觉设备生成超声波焦点，超声波焦点的位置是在第一坐标系中定义的；获得由视觉传感器设备捕获的图像，该图像描绘当超声波焦点处于活跃状态时用户的身体部位；当用户的身体部位在误差裕量内位于超声波焦点中时，基于图像来确定超声波焦点在第二坐标系中的位置；针对至少三个附加的超声波焦点重复触发、获得和确定的步骤，其中，每个超声波焦点与其他超声波焦点相比位于不同的位置；以及基于超声波焦点在第一坐标系和第二坐标系中的位置，计算第一坐标系和第二坐标系之间的第一变换，从而校准超声波触觉设备和视觉传感器设备之间的关系。
确定超声波焦点的位置的步骤可以是基于身体部位跟踪器进行的。
身体部位跟踪器可以形成视觉传感器设备的一部分。
确定超声波焦点的位置的步骤可以是基于形成图像的一部分的深度信息进行的。
该方法还可以包括以下步骤：指示用户利用身体部位来找到超声波焦点。
指示用户的步骤可以包括触发对围绕超声波焦点的区域的三维渲染。
确定超声波焦点的位置的步骤可以包括检测身体部位上的皮肤振动。
第一变换可以具有变换矩阵的形式。
身体部位可以是手部。
该方法还可以包括应用校准的步骤，其中，校准基于在计算第一变换的步骤中计算出的变换。
根据第二方面，提供了一种用于确定超声波触觉设备的第一坐标系和视觉传感器设备的第二坐标系之间的变换的变换确定器。该变换确定器包括：处理器；以及存储指令的存储器，该指令在由处理器执行时使变换确定器：触发超声波触觉设备生成超声波焦点，超声波焦点的位置是在第一坐标系中定义的；获得由视觉传感器设备捕获的图像，该图像描绘当超声波焦点处于活跃状态时用户的身体部位；当用户的身体部位在误差裕量内位于超声波焦点中时，基于图像来确定超声波焦点在第二坐标系中的位置；针对至少三个附加的超声波焦点重复用于触发、获得和确定的指令，其中，每个超声波焦点与其他超声波焦点相比位于不同的位置；以及基于超声波焦点在第一坐标系和第二坐标系中的位置，计算第一坐标系和第二坐标系之间的第一变换，从而校准超声波触觉设备和视觉传感器设备之间的关系。
用于确定超声波焦点的位置的指令可以基于来自身体部位跟踪器的数据。
身体部位跟踪器可以形成视觉传感器设备的一部分。
用于确定超声波焦点的位置的指令可以基于形成图像的一部分的深度信息。
变换确定器还可以包括如下指令：该指令在由处理器执行时使变换确定器指示用户利用身体部位来找到超声波焦点。
用于指示用户的指令可以包括如下指令：该指令在由处理器执行时使变换确定器触发对围绕超声波焦点的区域的三维渲染。
用于确定超声波焦点的位置的指令可以包括如下指令：该指令在由处理器执行时使变换确定器检测身体部位上的皮肤振动。
第一变换可以具有变换矩阵的形式。
身体部位可以是手部。
变换确定器还可以包括在由处理器执行时使变换确定器应用校准的指令，其中，校准是基于在用于计算第一变换的指令中计算出的变换进行的。
根据第三方面，提供了一种用于确定超声波触觉设备的第一坐标系和视觉传感器设备的第二坐标系之间的变换的计算机程序。该计算机程序包括计算机程序代码，该计算机程序代码在变换确定器上运行时使变换确定器：触发超声波触觉设备生成超声波焦点，超声波焦点的位置是在第一坐标系中定义的；获得由视觉传感器设备捕获的图像，该图像描绘当超声波焦点处于活跃状态时用户的身体部位；当用户的身体部位在误差裕量内位于超声波焦点中时，基于图像来确定超声波焦点在第二坐标系中的位置；针对至少三个附加的超声波焦点重复用于触发、获得和确定的指令，其中，每个超声波焦点与其他超声波焦点相比位于不同的位置；以及基于超声波焦点在第一坐标系和第二坐标系中的位置，计算第一坐标系和第二坐标系之间的第一变换，从而校准超声波触觉设备和视觉传感器设备之间的关系。
根据第四方面，提供了一种计算机程序产品，该计算机程序产品包括根据第三方面的计算机程序和其上存储有该计算机程序的计算机可读装置。
通常，除非本文另有明确说明，否则权利要求中使用的所有术语根据其技术领域中的普通含义来解释。除非另有明确说明，否则对“一/一个/元件、设备、组件、装置、步骤等”的所有引用应被开放地解释为指代元件、设备、组件、装置、步骤等中的至少一个实例。除非明确说明，否则本文公开的任何方法的步骤不必严格以所公开的确切顺序来执行。
附图说明
现在参照附图通过示例的方式来描述各个方面和实施例，在附图中：
图1是示出了可以在其中应用本文提出的实施例的环境的示意图；
图2A至图2C是示出了超声波焦点对身体部位的作用(effect)的示意图；
图3A至图3B是示出了用于确定超声波触觉设备的第一坐标系和视觉传感器设备的第二坐标系之间的变换的方法的实施例的流程图；
图4是示出了根据一个实施例的图1的变换确定器的组件的示意图；
图5是示出了根据一个实施例的图1的变换确定器的功能模块的示意图；以及
图6示出了包括计算机可读装置的计算机程序产品的一个示例。
具体实施方式
现在将在下文参考其中示出本发明的特定实施例的附图来更全面地描述本公开的方面。然而，这些方面可以按多种不同形式来体现，并且不应当被解释为限制；相反，通过示例的方式给出这些实施例，使得本公开将是透彻和完整的，并且向本领域技术人员充分地传达本发明的所有方面的范围。贯穿说明书，相似的标记指代相似的元件。
在本文提出的实施例中，提供了一种允许校准超声波触觉设备和视觉传感器设备的解决方案。该解决方案允许确定用户的手部在超声波触觉设备的坐标系中的姿势。以这种方式，可以在用户的手部的正确位置提供由超声波触觉设备进行的致动。当超声波撞击手部的皮肤时，它们在皮肤上产生振动。手部的图像用于定位超声波触觉反馈在用户的手部上的振动，并且执行对超声波焦点在视觉传感器设备的坐标系中的位置的估计。然后，将超声波焦点在超声波触觉设备坐标系中的位置设置为已知位置。在对此进行多次重复之后，超声波焦点在两个坐标系中的位置被用于计算两个坐标系之间的变换，如下面更详细的解释。
在现有技术中，没有办法自动找到超声波触觉设备和身体部位跟踪传感器(例如手部跟踪传感器)的坐标系之间的变换。在Ultrahaptics设备的情况下，换能器板和身体部位跟踪传感器之间的变换在制造设备时被计算一次，并被硬编码在设备SDK(软件开发工具组)中，这能够应用是因为身体部位跟踪传感器是固定的，并且不能移动。然而，这阻止了与Ultrahaptics设备一起使用其他身体部位跟踪传感器，并且无法重新定位所提供的跟踪传感器以改进跟踪。
图1是示出了可以在其中应用本文提出的实施例的环境的示意图。超声波触觉设备10用于通过超声波换能器的阵列向用户提供触觉反馈(例如Ultrahaptics)。由换能器产生的超声波被控制以在空间中的某个点(即超声波焦点20)处重合。超声波焦点20可以在空间中移动或者其强度可以改变以控制用户的身体部位15上的触感。在本文提出的示例中，身体部位15被例示为手部。然而，需要注意的是，本文提出的实施例不将身体部位限于手部；可以使用用户的任何合适的身体部位。为了跟踪和确定手部15在空间中的位置，以便能够在其上投射超声波焦点，例如提供来自Leap Motion的身体部位(在该示例中为手部)跟踪系统13。身体部位跟踪器13可以是例如使用RGB(红绿蓝)视觉传感器、深度相机等跟踪用户的身体部位(例如手部)的传感器。
视觉传感器设备11包括能够捕获图像的视觉传感器。因此，视觉传感器设备11包括相机。可选地，视觉传感器设备11可以与身体部位跟踪器13组合在单个物理设备中。视觉传感器设备11可以被放置在超声波触觉设备10旁边，面向超声波触觉设备10的活跃区域。单独的或与身体部位跟踪器13相组合的视觉传感器设备11可用于确定到被跟踪的手部的皮肤的深度，例如距离。
提供变换确定器1来校准视觉传感器设备11和超声波触觉设备10的坐标系之间的转换，如下面更详细的解释。
图2A至图2C是示出了超声波焦点对身体部位15(在这种情况下是手部)的作用的示意图。手部上的每个标记(以小线条的形式)，指示皮肤上的小振动。在图2A中，示出了当手部接近但尚未到达超声波焦点时手部的皮肤的振动。在图2B中，手部更靠近超声波焦点，从而增加了振动的强度，但尚未达到最大值。在图2C中，手部的皮肤位于超声波焦点20中，并且振动最大。
随着手部15移动通过超声波焦点，手部的一系列图像(例如作为视频流)被捕获。当振动最大时，可以可靠地确定该帧的超声波焦点20的位置。在该帧中，振动的幅度最大，并且振动最集中，即集中在最小的区域中。只要用户以合理的速度移动手部通过超声波焦点，这将使得捕获包含超声波焦点的帧。
这种确定的误差裕量取决于视频捕获的帧速率和超声波焦点20的聚焦程度。
图3A至图3B是示出了用于确定超声波触觉设备的第一坐标系和视觉传感器设备的第二坐标系之间的变换的方法的实施例的流程图。该方法在变换确定器中执行。
在触发焦点生成步骤40中，变换确定器触发超声波触觉设备生成超声波焦点。超声波焦点的位置在第一坐标系中定义，即在超声波触觉设备的坐标系中定义。
该步骤可以利用超声波触觉设备的制造商提供的API(应用程序编程接口)。超声波触觉设备然后在第一坐标系中渲染超声波焦点P_uhd，其中P_uhd是X、Y、Z三个维度上的点。参见图1，其中X轴和Y轴沿超声波触觉设备的边缘延伸，Z轴垂直于XY平面。
在一个实施例中，点被选择为位于设备的中心和拐角之上并且处于不同的高度。
在获得图像步骤42中，变换确定器获得由视觉传感器设备捕获的图像。图像描绘了当超声波焦点处于活跃状态时用户的身体部位。图像可以是一组顺序图像的形式，例如特定帧速率下的视频流。身体部位可以是手部，其便于用户按要求移动。然而，没有内容阻止身体部位为任何其他合适的身体部位，例如手臂、肘部、脚部、腿部等。
在确定焦点的位置的步骤44中，变换确定器基于图像来确定超声波焦点在第二坐标系(即视觉传感器设备的坐标系)中的位置。这是当用户的身体部位在误差裕量内位于超声波焦点时执行的。
超声波焦点产生气压，因此在皮肤上产生振动，从而改变皮肤的成分(composition)。因此，在视觉传感器设备拍摄的图像中捕获到皮肤表面的变化。图像用于检测振动，以及可选地用于检测振动的幅度和频率。可选地，图像之间的插值用于改进这种确定的分辨率。
在一个实施例中，估计手部的皮肤的不同部位的振动频率响应。将超声波焦点投射到手部的皮肤上产生一定范围的振动频率响应。例如，当超声波焦点被投射到手部的这些不同部位时，手掌中心的振动频率响应与指尖的振动频率响应不同。可以预先测量这个频率响应范围，并且可以建立与给定用户手部中的超声波焦点的正确频率响应相对应的模型。
此外，超声波焦点上的频率响应不同于具有多个分散的撞击点时(即当身体部位不在超声波焦点中时)的频率响应。其原因是(超声波触觉设备10的)多个致动器都在非常小的区域中以重叠方式撞击超声波焦点。类似地，由于在同一区域中执行了多次致动，因此这些致动产生的幅度更大。这也是可以在一系列图像中测量到的东西。
对于每个所捕获的帧，将手部的不同部位的估计的振动频率响应与超声波焦点的振动频率响应范围进行比较。例如，如果手掌的中心暴露于超声波，则随着手部更加接近超声波焦点(参见图2A至图2C)，手掌的中心的频率响应更加接近手掌的中心到超声波焦点的频率响应范围。根据该实施例，其中的所估计的振动频率响应落入超声波焦点频率响应范围的帧是容纳超声波焦点的帧。
要注意的是，在皮肤上检测到的超声波焦点不是空间中的精确点，而是取决于超声波触觉设备的分辨率的区域。目前，该区域的面积可以是几平方毫米到几平方厘米。例如，对于Ultrahaptics设备，该区域大约为一平方厘米。该形状的质心被认为是超声波焦点的位置。
在检测到包含最高强度的超声波的帧后，在第二坐标系中获得超声波焦点的位置。为了获得该位置P_vs，使用深度信息。
深度信息可以由包含深度相机和单个RGB相机的深度传感器(例如IntelRealsense D435)来提供。RGB图像信息可以用于检测手掌中的振动点(2D点)，然后深度相机被用于在相机的3D坐标系中跟踪手掌和对应的2D点(P_vs)。
超声波焦点的位置可以基于身体部位跟踪器来确定。身体部位跟踪器可以形成视觉传感器设备的一部分或者是单独的设备。在任何情况下，在该实施例中，视觉传感器设备和身体部位跟踪器之间的几何关系是已知的，无论通过固定的协同定位(colocation)或固定的几何关系已知，还是通过导出的变换(例如如下面更详细解释的)已知。
超声波焦点的位置可以基于形成图像的一部分的深度信息来确定。
超声波焦点的位置可以基于检测到身体部位上的皮肤振动来确定，如图2A至图2C中所示并且如上所述。
在一个实施例中，可以使用本领域本身已知的深度神经网络来根据图像计算身体部位跟踪信息，参见例如在提交本专利申请时可从https://arxiv.org/pdf/1705.01389.pdf获得的弗莱堡大学的Zimmerman(齐默尔曼)等人的：“Learning toEstimate 3D Hand Pose from Single RGB Images”。针对在其中识别超声波焦点的上述帧(即图像)计算被投射到用户手部上的超声波焦点的位置。该位置P_vs是超声波焦点在第二坐标系中的位置。
在一个实施例中，视觉传感器设备形成与身体部位跟踪传感器相同的设备的一部分。在这种情况下，视觉传感器设备和身体部位跟踪传感器之间的变换是已知的(例如，由制造商提供)。超声波焦点在第二坐标系中的位置可以从身体部位跟踪传感器中获取。
在一个实施例中，身体部位跟踪传感器没有被集成在视觉传感器设备中。身体部位跟踪传感器和视觉传感器设备然后可以被单独校准，如下所述。
在有条件的完成步骤45中，变换确定器确定何时完成超声波焦点定位，即，是否已经定位了足够数量的超声波焦点。三维坐标系变换总共需要至少四个点。然而，该方法可以使用更多点来提高准确性并减少噪声测量和/或异常值的影响。当超声波焦点定位完成时，该方法进行到计算变换步骤46。否则，该方法返回到触发焦点生成步骤40。对于步骤40的每次迭代，每个超声波焦点与其他(先前生成的)超声波焦点相比位于不同的位置。
在计算变换步骤46中，变换确定器计算第一坐标系和第二坐标系之间的第一变换。该计算基于超声波焦点在第一坐标系和第二坐标系中的位置。以这种方式，超声波焦点与视觉传感器设备之间的关系被校准。第一变换可以例如具有变换矩阵的形式。备选地，第一变换可以具有一组等式的形式或任何其他合适的形式。
为了能够计算超声波触觉设备和视觉传感器设备之间的变换，如上所述，使用第一坐标系中的至少四个线性独立的点(P_uhd)及其在第二坐标系中的对应点(P_vs)。当多于四组点可用时，给定一组测量值，可以应用异常值拒绝方法(例如RANSAC)和/或可以应用最小二乘法来计算(线性平方意义上的)最佳变换。
例如，可以计算在以下等式(1)中应用的变换矩阵T_uhd_vs：
P_uhd＝T_uhd_vs·P_vs (1)
现在参见图3B，将仅描述与图3A的步骤相比新的步骤或修改的步骤。
在可选的指示用户步骤41中，变换确定器指示用户利用身体部位找到超声波焦点。在一个实施例中，这包括触发对围绕超声波焦点的区域的三维渲染。可以例如使用混合现实或VR(虚拟现实)硬件来实现三维渲染。也可以使用例如计算机和/或智能电话上的听觉和/或二维图形用户界面来执行指导。
换言之，引导用户在超声波触觉设备上方的区域中移动手部(或其他身体部位)，从而定位超声波焦点。
指示用户在第一坐标系中的点P_uhd所在位置中平行于换能器阵列来将张开的手部放置在超声波触觉设备上方。
用户可以选择手部的哪一部分来暴露于超声波。该部分可以是食指或中指的远节指骨(手指的最后一个关节)、手掌或手背。
在一个实施例中，指示用户沿投射超声波焦点的Z轴向上移动手部，使得用户在接近超声波焦点时感觉到手部上的超声波压力增强，之后减弱。然后用户沿Z轴降低手部。例如，如果超声波焦点在设备的左上角上方15厘米处产生，则用户首先将手放在左上角上。用户逐渐将手部抬高至起点上方25厘米左右，然后开始沿相同路径降低手部，直到手部到达设备。此时超声波触觉设备停止投射并且视觉传感器设备停止捕获图像。
在一个实施例中，指示用户移动手部直到用户找到超声波焦点感觉更强烈的区域。指示用户在该区域内在几立方厘米的虚拟球体中继续移动手部。在手部在超声波焦点周围的球体中悬停几秒钟后，超声波触觉设备停止投射，并且视觉传感器设备停止捕获图像，超声波焦点的位置可以被确定。
在一个实施例中，用户可以利用AR设备，该设备将超声波触觉设备工作空间中的点的位置可视化。AR设备还可以将应该在其中移动手部的超声波焦点周围的虚拟区域可视化。在手部在超声波焦点周围悬停几秒钟后，超声波触觉设备停止投射，并且视觉传感器设备停止捕获图像。
在可选的应用校准步骤48中，应用校准，该校准基于在计算变换步骤46中计算出的变换。以这种方式，每当超声波触觉设备的第一坐标系和视觉传感器设备的第二坐标系需要一起使用例如以跟踪身体部位时，应用校准，以确保用户在正确的位置感受到触感。
当超声波触觉设备配备有身体部位跟踪传感器时，可以根据以下内容来针对超声波触觉设备校准身体部位跟踪传感器。
身体部位跟踪传感器和视觉传感器设备被配置为具有类似的光学特性，例如采样频率、尺度和焦点。执行上面的步骤40和41。此外，执行步骤42，但这里身体部位跟踪传感器还与视觉传感器设备一起捕获手部的图像。此时，已经检测到包含最强烈的超声波焦点的帧，并获取超声波焦点在第二坐标系中的位置(P_vs)。
获得与视觉传感器设备的检测到的帧相对应的身体部位跟踪传感器信息，从而获取超声波焦点在第一坐标系中的位置P_hts。
然后针对至少四个点重复所提到的步骤。
以类似于上述步骤46的方式，然后在身体部位跟踪传感器的坐标系和第二坐标系之间计算变换矩阵T_hts_vs。该计算基于身体部位传感器和视觉传感器设备二者以同步方式捕获相同的对应点，之后可以根据以下内容从两个坐标系中的这些对应点计算变换。
当用户使用经校准的超声波触觉设备时，计算出的变换T_hts_vs可用于根据以下内容将第一坐标系中的点直接映射到身体部位跟踪传感器坐标系中：
P_uhd＝T_uhd_vs·P_vs (2)
P_vs＝T_vs_hts·P_hts (3)
根据(2)和(3)，导出等式(4)：
P_uhd＝T_uhd_vs·T_vs_hts·P_hts (4)
根据本文提出的实施例，实现了视觉传感器设备的坐标系和超声波触觉设备的坐标系之间的自动校准。所提出的解决方案不依赖于对这种变换进行硬编码。因此，提供了将视觉传感器设备放置在超声波触觉设备周围的任何期望位置的自由，此后可以执行适用于视觉传感器设备的当前位置的新变换和校准。
除了常规设置中使用的硬件外，不需要附加的硬件。所需要的只是系统的集成组件(超声波触觉设备和视觉传感器设备)、用户的手部(或用户的其他身体部位)和变换确定器。
图4是示出了图1的变换确定器1的组件的示意图。使用能够执行存储在存储器64中的软件指令67的合适的中央处理单元(CPU)、多处理器、微控制器、数字信号处理器(DSP)等中的一个或多个的任意组合来提供处理器60，其中存储器64因此可以是计算机程序产品。处理器60可备选地地使用专用集成电路(ASIC)、现场可编程门阵列(FPGA)等来实现。处理器60可以被配置为执行上面参照图3A和图3B描述的方法。
存储器64可以是随机存取存储器(RAM)和/或只读存储器(ROM)的任意组合。存储器64还包括持久存储设备，其例如可以是磁存储器、光存储器、固态存储器或甚至远程安装存储器中的任意单独一个或组合。
还提供数据存储器66，用于在处理器60中软件指令的执行期间读取和/或存储数据。数据存储器66可以是RAM和/或ROM的任意组合。
变换确定器1还包括用于与外部和/或内部实体进行通信的I/O接口62。可选地，I/O接口62还包括用户接口。
变换确定器1的其他组件被省略，以便不会模糊本文提出的构思。
图5是示出了根据一个实施例的图1的变换确定器的功能模块的示意图。使用诸如在变换确定器1中执行的计算机程序的软件指令来实现模块。备选地或附加地，使用硬件(诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)或分立逻辑电路中的任何一个或多个)来实现模块。模块对应于图3A和图3B中示出的方法中的步骤。
焦点触发器70对应于步骤40。用户指示器71对应于步骤41。图像获得器72对应于步骤42。位置确定器74对应于步骤44。完成评估器75对应于步骤45。变换计算器76对应于步骤46。
图6示出了包括计算机可读装置的计算机程序产品90的一个示例。在该计算机可读装置中，可以存储计算机程序91，该计算机程序可以使处理器执行根据本文描述的实施例的方法。在该示例中，计算机程序产品是诸如CD(紧凑盘)或DVD(数字多功能盘)或蓝光盘之类的光盘。如上所述，该计算机程序产品也可以体现在设备的存储器中，例如图4的计算机程序产品64。虽然计算机程序91此处被示意性地示为所示光盘上的轨道，可以以任意适合于计算机程序产品的方式来存储计算机程序，例如可移除固态存储器(例如，通用串行总线(USB)驱动器)。
以上已经参考一些实施例主要地描述了本公开的方面。然而，如本领域技术人员容易理解的，除了上文所公开的实施例之外的其它实施例同样可能在由所附专利权利要求限定的本发明的范围内。因此，虽然本文已经公开了各种方面和实施例，但是其他方面和实施例对于本领域技术人员将是显而易见的。本文公开的各个方面和实施例是出于说明的目的而不是限制性的，真实的范围和精神由所附权利要求指示。

Claims (21)

1.一种用于确定超声波触觉设备的第一坐标系和视觉传感器设备的第二坐标系之间的变换的方法，所述方法在变换确定器中执行并且包括：
触发步骤：触发所述超声波触觉设备生成超声波焦点，所述超声波焦点的位置是在所述第一坐标系中定义的；
获得步骤：用于获得由所述视觉传感器设备捕获的图像，所述图像描绘当所述超声波焦点处于活跃状态时用户的身体部位；
确定步骤：当所述用户的所述身体部位在误差裕量内位于所述超声波焦点中时，基于所述图像来确定所述超声波焦点在所述第二坐标系中的位置；
重复步骤：针对至少三个附加的超声波焦点，重复执行所述触发步骤、获得步骤和确定步骤，其中，每个超声波焦点与其他超声波焦点相比位于不同的位置；以及
计算步骤：基于超声波焦点在所述第一坐标系和所述第二坐标系中的位置来计算所述第一坐标系和所述第二坐标系之间的第一变换，从而校准所述超声波触觉设备和所述视觉传感器设备之间的关系。
2.根据权利要求1所述的方法，其中，所述确定步骤是基于身体部位跟踪器进行的。
3.根据权利要求2所述的方法，其中，所述身体部位跟踪器形成所述视觉传感器设备的一部分。
4.根据权利要求1所述的方法，其中，所述确定步骤是基于形成所述图像的一部分的深度信息进行的。
5.根据权利要求1-4中任一项所述的方法，还包括：
指示步骤：指示所述用户利用所述身体部位找到所述超声波焦点。
6.根据权利要求5所述的方法，其中，所述指示步骤包括触发对围绕所述超声波焦点的区域的三维渲染。
7.根据权利要求1-4中任一项所述的方法，其中，所述确定步骤包括检测所述身体部位上的皮肤振动。
8.根据权利要求1-4中任一项所述的方法，其中，所述第一变换具有变换矩阵的形式。
9.根据权利要求1-4中任一项所述的方法，其中，所述身体部位是手部。
10.根据权利要求1-4中任一项所述的方法，还包括应用校准步骤，其中，校准是基于在所述计算步骤中计算出的变换进行的。
11.一种用于确定超声波触觉设备的第一坐标系和视觉传感器设备的第二坐标系之间的变换的变换确定器，所述变换确定器包括：
处理器；以及
存储指令的存储器，所述指令在由所述处理器执行时使所述变换确定器执行：
触发步骤：触发所述超声波触觉设备生成超声波焦点，所述超声波焦点的位置是在所述第一坐标系中定义的；
获得步骤：获得由所述视觉传感器设备捕获的图像，所述图像描绘当所述超声波焦点处于活跃状态时用户的身体部位；
确定步骤：当所述用户的所述身体部位在误差裕量内位于所述超声波焦点中时，基于所述图像来确定所述超声波焦点在所述第二坐标系中的位置；
重复步骤：针对至少三个附加的超声波焦点，重复执行所述触发步骤、获得步骤和确定步骤，其中，每个超声波焦点与其他超声波焦点相比位于不同的位置；以及
计算步骤：基于超声波焦点在所述第一坐标系和所述第二坐标系中的位置来计算所述第一坐标系和所述第二坐标系之间的第一变换，从而校准所述超声波触觉设备和所述视觉传感器设备之间的关系。
12.根据权利要求11所述的变换确定器，其中，所述确定步骤基于来自身体部位跟踪器的数据。
13.根据权利要求12所述的变换确定器，其中，所述身体部位跟踪器形成所述视觉传感器设备的一部分。
14.根据权利要求11所述的变换确定器，其中，所述确定步骤基于形成所述图像的一部分的深度信息。
15.根据权利要求11至14中任一项所述的变换确定器，其中，所述指令在由所述处理器执行时还使所述变换确定器执行指示步骤：指示所述用户利用所述身体部位找到所述超声波焦点。
16.根据权利要求15所述的变换确定器，其中，所述指示步骤包括：触发对围绕所述超声波焦点的区域的三维渲染。
17.根据权利要求11至14中任一项所述的变换确定器，其中，所述确定步骤包括：检测所述身体部位上的皮肤振动。
18.根据权利要求11至14中任一项所述的变换确定器，其中，所述第一变换具有变换矩阵的形式。
19.根据权利要求11至14中任一项所述的变换确定器，其中，所述身体部位是手部。
20.根据权利要求11至14中任一项所述的变换确定器，其中，所述指令在由所述处理器执行时还使所述变换确定器应用校准步骤，其中，校准是基于在用于计算第一变换的指令中计算出的变换进行的。
21.一种用于存储计算机程序的计算机可读存储介质，所述计算机程序用于确定超声波触觉设备的第一坐标系和视觉传感器设备的第二坐标系之间的变换，所述计算机程序包括计算机程序代码，所述计算机程序代码在变换确定器上运行时使所述变换确定器执行：
触发步骤：触发所述超声波触觉设备生成超声波焦点，所述超声波焦点的位置是在所述第一坐标系中定义的；
获得步骤：获得由所述视觉传感器设备捕获的图像，所述图像描绘当所述超声波焦点处于活跃状态时用户的身体部位；
确定步骤：当所述用户的所述身体部位在误差裕量内位于所述超声波焦点中时，基于所述图像来确定所述超声波焦点在所述第二坐标系中的位置；
重复步骤：针对至少三个附加的超声波焦点，重复执行所述触发步骤、获得步骤和确定步骤，其中，每个超声波焦点与其他超声波焦点相比位于不同的位置；以及
校准步骤：基于超声波焦点在所述第一坐标系和所述第二坐标
系中的位置来计算所述第一坐标系和所述第二坐标系之间的第一变换，
从而校准所述超声波触觉设备和所述视觉传感器设备之间的关系。
CN201980090339.6A 2019-03-26 2019-03-26 确定超声波触觉设备和视觉传感器设备中的坐标系之间的变换 Active CN113348430B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/057596 WO2020192895A1 (en) 2019-03-26 2019-03-26 Determining a transformation between coordinate systems in an ultrasonic haptic device and a visual sensor device

Publications (2)

Publication Number Publication Date
CN113348430A CN113348430A (zh) 2021-09-03
CN113348430B true CN113348430B (zh) 2023-08-29

Family

ID=65995698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980090339.6A Active CN113348430B (zh) 2019-03-26 2019-03-26 确定超声波触觉设备和视觉传感器设备中的坐标系之间的变换

Country Status (7)

Country Link
US (1) US11893155B2 (zh)
EP (1) EP3948490A1 (zh)
CN (1) CN113348430B (zh)
AU (1) AU2019437374B2 (zh)
BR (1) BR112021014296A2 (zh)
CA (1) CA3134724A1 (zh)
WO (1) WO2020192895A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103230283A (zh) * 2013-04-16 2013-08-07 清华大学 一种超声探头成像平面空间位置标定的优化方法
EP3195089A1 (en) * 2014-09-09 2017-07-26 Ultrahaptics Ip Ltd Method and apparatus for modulating haptic feedback

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5295483A (en) * 1990-05-11 1994-03-22 Christopher Nowacki Locating target in human body
US6757582B2 (en) * 2002-05-03 2004-06-29 Carnegie Mellon University Methods and systems to control a shaping tool
US8814810B2 (en) * 2005-12-01 2014-08-26 Orthosensor Inc. Orthopedic method and system for mapping an anatomical pivot point
JP5291619B2 (ja) * 2006-05-24 2013-09-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 座標系レジストレーション
US8316324B2 (en) * 2006-09-05 2012-11-20 Navisense Method and apparatus for touchless control of a device
US20090287450A1 (en) * 2008-05-16 2009-11-19 Lockheed Martin Corporation Vision system for scan planning of ultrasonic inspection
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
US8872762B2 (en) * 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US8749396B2 (en) * 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
US10691219B2 (en) * 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8988373B2 (en) * 2012-04-09 2015-03-24 Sony Corporation Skin input via tactile tags
WO2014145279A1 (en) * 2013-03-15 2014-09-18 Leap Motion, Inc. Determining the relative locations of multiple motion-tracking devices
GB2513884B (en) * 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
US9632572B2 (en) * 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) * 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9612658B2 (en) * 2014-01-07 2017-04-04 Ultrahaptics Ip Ltd Method and apparatus for providing tactile sensations
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
WO2016007920A1 (en) * 2014-07-11 2016-01-14 New York University Three dimensional tactile feedback system
US10818162B2 (en) * 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
US11189140B2 (en) * 2016-01-05 2021-11-30 Ultrahaptics Ip Ltd Calibration and detection techniques in haptic systems
US10877559B2 (en) * 2016-03-29 2020-12-29 Intel Corporation System to provide tactile feedback during non-contact interaction
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
US10740973B2 (en) * 2017-06-23 2020-08-11 Dell Products, L.P. Ultrasonic collision management in virtual, augmented, and mixed reality (xR) applications
US11048329B1 (en) * 2017-07-27 2021-06-29 Emerge Now Inc. Mid-air ultrasonic haptic interface for immersive computing environments
WO2019122912A1 (en) * 2017-12-22 2019-06-27 Ultrahaptics Limited Tracking in haptic systems
CN108663677A (zh) * 2018-03-29 2018-10-16 上海智瞳通科技有限公司 一种多传感器深度融合提高目标检测能力的方法
SE541717C2 (en) * 2018-04-27 2019-12-03 Myvox Ab A device, system and method for generating an acoustic-potential field of ultrasonic waves
US11550395B2 (en) * 2019-01-04 2023-01-10 Ultrahaptics Ip Ltd Mid-air haptic textures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103230283A (zh) * 2013-04-16 2013-08-07 清华大学 一种超声探头成像平面空间位置标定的优化方法
EP3195089A1 (en) * 2014-09-09 2017-07-26 Ultrahaptics Ip Ltd Method and apparatus for modulating haptic feedback

Also Published As

Publication number Publication date
US11893155B2 (en) 2024-02-06
AU2019437374B2 (en) 2023-08-31
EP3948490A1 (en) 2022-02-09
CN113348430A (zh) 2021-09-03
CA3134724A1 (en) 2020-10-01
BR112021014296A2 (pt) 2021-10-05
US20220171462A1 (en) 2022-06-02
AU2019437374A1 (en) 2021-11-04
WO2020192895A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
Frati et al. Using Kinect for hand tracking and rendering in wearable haptics
Yamamoto et al. Augmented reality and haptic interfaces for robot‐assisted surgery
Pai et al. Scanning physical interaction behavior of 3D objects
CN109313821B (zh) 三维对象扫描反馈
Carvalheiro et al. User redirection and direct haptics in virtual environments
Lee et al. Haptic teleoperation of a mobile robot: A user study
CN104380338A (zh) 信息处理器以及信息处理方法
JP2009276996A (ja) 情報処理装置、情報処理方法
KR20140034847A (ko) 관절로 연결된 모델의 전자동 동적 교정 기법
JP5608007B2 (ja) 表面硬さ計測装置、触力覚提示装置、表面硬さ計測プログラム、及び触力覚提示プログラム
KR101710000B1 (ko) 모션 추적 기반 3차원 인터페이스 장치 및 그 방법
KR101888491B1 (ko) 가상 공간 이동 장치 및 방법
JP2020091898A (ja) 仮想現実の長距離相互作用のためのシステム及び方法
Arafsha et al. Contactless haptic feedback: State of the art
KR20220016831A (ko) 햅틱 렌더링
JP2004265222A (ja) インタフェース方法、装置、およびプログラム
Hirota et al. Providing force feedback in virtual environments
US20210019900A1 (en) Recording medium, object detection apparatus, object detection method, and object detection system
CN113110734B (zh) 一种基于聚焦超声波产生虚拟形状感知的系统
CN113348430B (zh) 确定超声波触觉设备和视觉传感器设备中的坐标系之间的变换
US11403830B2 (en) Image processing device, image processing method, and program
KR101807512B1 (ko) 맵핑형 3차원 상호작용 장치 및 방법
WO2017151142A1 (en) Generating digital representations using a glove interface
Varma et al. Gestural interaction with three-dimensional interfaces; current research and recommendations
KR101597242B1 (ko) Ｒｆ 센서 및 영상센서를 이용한 3차원 동작 인터페이스 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant