CN111352500A - 触觉基准标签 - Google Patents

触觉基准标签 Download PDF

Info

Publication number
CN111352500A
CN111352500A CN201911048479.5A CN201911048479A CN111352500A CN 111352500 A CN111352500 A CN 111352500A CN 201911048479 A CN201911048479 A CN 201911048479A CN 111352500 A CN111352500 A CN 111352500A
Authority
CN
China
Prior art keywords
haptic
reference tag
uid
tactile
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911048479.5A
Other languages
English (en)
Inventor
A·曼德威尔
S·阿塔里
D·G·比灵顿
C·J·乌尔里奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN111352500A publication Critical patent/CN111352500A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及触觉基准标签。具体地，本发明提供了用于增强现实(AR)环境的触觉基准标签。触觉基准标签包括触摸传感器、无线通信接口和触觉输出设备。触摸传感器被配置为检测触摸或用户接触。无线通信接口被配置为发送唯一标识符(UID)并接收与该UID相关联的触觉内容，触觉内容包括触觉效果。触觉输出设备被配置为在触摸传感器检测到触摸或用户接触时呈现触觉效果。

Description

触觉基准标签
技术领域
本发明涉及触觉设备。更具体地，本发明涉及触觉基准标签。
背景技术
计算机生成的环境，诸如例如增强现实(AR)环境、虚拟现实(VR)环境、计算机游戏等，通常使用视觉和听觉提示向用户提供反馈。在某些AR环境中，主机电子设备可以向用户提供触感反馈和/或动觉反馈。触感反馈被称为“触感触觉反馈”或“触感触觉效果”，并且可以包括例如振动、纹理、温度变化等。动觉反馈被称为“动觉触觉反馈”或“动觉触觉效果”，并且可以包括例如主动和阻力反馈。一般而言，触感和动觉反馈统称为“触觉反馈”或“触觉效果”。触觉效果提供了增强用户与主机电子设备的交互的提示，从增强对于具体事件的简单警报到为AR环境内的用户创建更大的感官沉浸。
在某些AR环境中，可以将基准标记放置在用户的物理环境中以用作参考点，从而促进跟踪用户的头戴式显示器(HMD)或启用AR、VR或混合现实交互的任何其它设备形式的位置。安装到设备的相机查看用户的物理环境，并且AR应用检测可能存在于相机的视场中的任何基准标记。基准标记是通过其形状、颜色或任何其它视觉特点而被检测到的物理对象。例如，一些基准标记可以包括印在可见表面上的矩阵条形码，诸如快速响应(QR)码。虽然AR应用可以通过在AR环境内显示计算机生成的图像来对检测到基准标记做出响应，但是已知的基准标记是不与用户交互的被动对象。
发明内容
本发明的实施例有利地提供用于AR环境的触觉系统、用于AR环境的触觉接口或基准标签，以及用于在启用触觉的AR系统中呈现触觉内容的方法。
触觉接口或基准标签包括触摸传感器、无线通信接口和触觉输出设备。触摸传感器被配置为检测触摸或用户接触。无线通信接口被配置为发送唯一标识符(UID)并接收与该UID相关联的触觉内容，该触觉内容包括触觉效果。触觉输出设备被配置为在触摸传感器检测到触摸或用户接触时呈现触觉效果。
附图说明
图1图示了根据本发明实施例的启用触觉的AR系统的框图。
图2图示了根据本发明实施例的用于AR环境的触觉系统的框图。
图3图示了根据本发明实施例的用于AR环境的触觉基准标签的框图。
图4A描绘了根据本发明实施例的触觉基准标签，图4B描绘了与触觉基准标签相关联的视觉内容，并且图4C描绘了与触觉基准标签相关联的触觉内容。
图5A描绘了根据本发明另一个实施例的触觉基准标签，图5B描绘了与触觉基准标签相关联的视觉内容，并且图5C和5D描绘了与触觉基准标签相关联的触觉内容。
图6描绘了根据本发明实施例的流程图，该流程图图示了用于在启用触觉的AR系统中创建视觉和触觉内容的功能。
图7描绘了根据本发明实施例的流程图，该流程图图示了用于在启用触觉的AR系统中呈现触觉内容的功能。
图8和9描绘了根据本发明实施例的用于在启用触觉的AR系统中呈现触觉内容的可选功能。
图10描绘了根据本发明实施例的流程图，该流程图图示了用于为启用触觉的AR系统呈现触觉内容的功能。
具体实施方式
现在将参考附图描述本发明的实施例，在附图中，相同的附图标记始终表示相同的部分。本发明的实施例有利地提供了用于AR环境的触觉系统、用于AR环境的触觉基准标签以及用于在启用触觉的AR系统中呈现触觉内容的方法。
图1图示了根据本发明实施例的启用触觉的AR系统的框图。启用触觉的AR系统10包括AR服务器20、网络30和触觉系统40。
AR服务器20是内容开发人员在其上为AR应用创建视觉和触觉内容的计算机。在某些实施例中，AR服务器20还发布、托管、服务用于触觉系统40的AR应用，等等。
网络30可以包括有线和/或无线网络的各种组合，诸如例如铜线或同轴线缆网络、光纤网络、蓝牙无线网络、WiFi无线网络、CDMA、FDMA和TDMA蜂窝无线网络等，这些网络执行各种网络协议，诸如例如有线和无线以太网、蓝牙等。
在这个实施例中，触觉系统40包括智能电话50和一个或多个触觉基准标签200。智能电话50包括计算机100、显示器170和一个或多个输入/输出(I/O)设备180(例如，相机)，如下面更详细讨论的。
AR服务器20和智能电话50连接到网络30。虽然触觉基准标签200通常不连接到网络30，但是在某些示例中，触觉基准标签200可以连接到网络30。
图2图示了根据本发明实施例的用于AR环境的触觉系统的框图。触觉系统40包括计算机100、显示器170、一个或多个I/O设备180以及触觉基准标签200。
计算机100可以结合到便携式电子设备中，诸如例如智能电话、智能手表、便携式游戏设备、虚拟现实耳机等。计算机100包括总线110、处理器120、存储器130、显示接口140、(一个或多个)I/O接口150和(一个或多个)无线通信接口160。显示接口140耦合到显示器170。I/O接口150耦合到I/O设备180。一般而言，当计算机100在无线通信范围内时，无线通信接口160可以无线地耦合到触觉基准标签200，无线通信范围可以取决于特定的无线通信协议而变化。
总线110是在处理器120、存储器130、显示接口140、I/O接口150和无线通信接口160以及图1中未描绘的其它部件之间传送数据的通信系统。电源连接器112耦合到总线110和诸如电池等的电源(未示出)。
处理器120包括一个或多个通用或专用微处理器，以执行计算机100的计算和控制功能。处理器120可以包括单个集成电路(诸如微处理设备)，或者协同工作以完成处理器120的功能的多个集成电路设备和/或电路板。此外，处理器120可以执行存储在存储器130中的计算机程序(诸如操作系统132、AR应用134、其它应用136等)。
存储器130存储供处理器120执行的信息和指令。存储器130可以包含用于检索、呈现、修改和存储数据的各种部件。例如，存储器130可以存储在由处理器120执行时提供功能的软件模块。这些模块可以包括提供用于计算机100的操作系统功能的操作系统132。这些模块还可以包括向用户提供视觉和触觉内容的AR应用134。在某些实施例中，AR应用134可以包括多个模块，每个模块提供用于向用户提供视觉和触觉内容的具体的个体功能。应用136可以包括与AR应用134合作以便为用户提供视觉和触觉内容的其它应用。
一般而言，存储器130可以包括可以由处理器120访问的各种非暂态计算机可读介质。在各个实施例中，存储器130可以包括易失性和非易失性介质、不可移除介质和/或可移除介质。例如，存储器130可以包括随机存取存储器(“RAM”)、动态RAM(DRAM)、静态RAM(SRAM)、只读存储器(“ROM”)、闪存、高速缓冲存储器和/或任何其它类型的非暂态计算机可读介质。
显示接口140耦合到显示器170。
I/O接口150被配置为从I/O设备180发送和/或接收数据。通过对要从处理器120发送到I/O设备180的数据进行编码并且对从I/O设备180接收的数据进行解码以用于处理器120，I/O接口150启用处理器120和I/O设备180之间的连接性。数据可以通过有线连接(诸如通用串行总线(USB)连接、以太网等)或无线连接(诸如Wi-Fi、蓝牙等)被发送。
无线通信接口160耦合到天线162。无线通信接口160使用一个或多个无线协议来提供与触觉基准标签200的无线连接。可以使用各种低功率无线通信技术，包括蓝牙、蓝牙低功耗(BLE)、iBeacon、射频标识(RFID)、近场通信(NFC)等。
显示器170可以是智能电话的液晶显示器(LCD)、AR头戴式耳机的LCD、图像投影仪以及一副AR眼镜的镜片等。
一般而言，I/O设备180是被配置为向计算机100提供输入的外围设备，并且可以向用户提供触觉反馈。I/O设备180使用无线连接或者有线连接可操作地连接到计算机100。I/O设备180可以包括耦合到通信接口的本地处理器，该通信接口被配置为使用有线或无线连接与计算机100通信。
I/O设备180可以是相机，其提供用户看到的物理环境的前视视频图像。
在一个示例中，计算机100、显示器170和I/O设备180(即，相机)结合到智能电话50中，如图1中所描绘的。智能电话50可以是手持式的或安装在AR头戴式耳机中。在另一个示例中，计算机100、显示器170和相机结合到AR头戴式耳机中。在另一个示例中，显示器170和相机结合到AR头戴式耳机或AR眼镜中，而计算机100是通信耦合到AR头戴式耳机或AR眼镜的单独的电子设备。对于AR头戴式耳机和基于智能电话的头戴式设备(HDM)，计算机生成的AR环境覆盖在由相机提供的视频图像上，然后显示在显示器170中。对于AR眼镜，可以直接通过镜片查看物理环境，并将计算机生成的AR环境投影到镜片上。
I/O设备180可以是可穿戴设备。例如，I/O设备180可以是触觉手套、智能手表、智能手镯、指尖触觉设备(FHD)等。
I/O设备180可以包括一个或多个传感器。传感器被配置为检测能量或其它物理特性的形式，并将检测到的能量或其它物理特性转换成电信号。然后，I/O设备180将转换后的信号发送到I/O接口150。
一般而言，传感器可以是声学或声音传感器、电传感器、磁传感器、压力传感器、运动传感器(诸如加速度计等)、导航传感器(诸如全球定位系统(GPS接收器等))、位置传感器、接近传感器、与移动相关的传感器、成像或光学传感器(诸如相机)、力传感器、温度或热量传感器等。传感器可以包括智能材料，诸如压电聚合物，在一些实施例中，其可以既用作传感器又用作致动器。
I/O设备180可以包括一个或多个触觉输出设备，诸如触觉致动器等。触觉输出设备响应于接收到触觉信号而输出触觉效果，诸如振动触感触觉效果、动觉触觉效果、变形触觉效果等。
一般而言，触觉输出设备可以是电动马达、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量马达(“ERM”)、谐波ERM马达(“HERM”)、线性致动器、线性谐振致动器(“LRA”)、压电致动器、高带宽致动器、电活性聚合物(“EAP”)致动器、静电摩擦显示器、超声波振动发生器等。在一些情况下，触觉致动器可以包括致动器驱动电路。
触觉基准标签200是当被用户触摸或接触时直接向用户提供触觉反馈的电子设备，或者可以由于视觉扫描而促进其它形状因子上的触觉的激活。在某些实施例中，当用户接近触觉基准标签200时，I/O设备180可以结合或独立于由触觉基准标签200直接提供给用户的任何触觉反馈来向用户提供触觉反馈。
图3图示了根据本发明实施例的用于AR环境的触觉基准标签的框图。
触觉基准标签200包括无线通信接口202、处理器204、触觉输出设备206、存储器208和电源210。
触觉基准标签200具有在处理器204的非易失性存储器内或在存储器208内编码的唯一标识符(UID)。触摸传感器205耦合到处理器204。在某些实施例中，不存在处理器204，并且无线通信接口202耦合到触摸传感器205和触觉输出设备206。在这些实施例中，该UID可以在无线通信接口202的非易失性存储器内或存储器208内被编码。
可以使用许多不同的技术来感测用户的触摸、接触或接近，诸如电容传感器、光学传感器、接近传感器、电压改变电路、触摸力传感器等。
当手指或物体触摸、接触或非常接近电容传感器时，电容传感器检测到电容的改变。虽然电容传感器通常包括一小片薄的导电材料，诸如铜箔，但可以使用任何适当的导电材料。电容传感器可以包括印刷电路板(PCB)或柔性电路上的金属迹线，而且价格不贵。用于电容传感器的检测电路可以是例如使用振荡器来检测电容改变的单个集成电路(IC)。在另一个示例中，处理器204可以包括可通过端口引脚访问的内置电容器感测(CAP SENSE)电路。还可以预期其它检测电路设计。
某些光学传感器检测电磁光谱的红外、可见或紫外部分中的反射光或中断光。这些光学传感器包括发送光的“发送器”和检测从发送器接收的光的量的“接收器”。当光被反射或中断并且检测到的光的量低于特定阈值时，光学传感器提供已经发生了触摸或接触事件的通知。其它光学传感器可以包括“接收器”，但不包括“发送器”。这些光学传感器对环境光操作，并且也可以检测接近事件。
接近传感器不一定要求用户触摸或接触传感器；相反，接近传感器检测用户何时“接近”传感器。例如，某些接近传感器使用“电荷转移”原理进行操作，即使通过绝缘材料，也可以在特定距离处检测到手指、手、物体等的存在。许多接近传感器可以检测触摸以及接近。例如，Quantum QT240-ISSG是能够检测触摸或附近-接近的自包含数字传感器IC。其它接近传感器可以包括许多不同的感测技术。例如，Azoteq IQS621是多功能、环境光感测(ALS)、电容、霍尔效应和电感传感器。
电压改变电路是简单的单发(one-shot)数字设备，其通过在手指触摸附接到触发引脚的金属时“触发”存在的小电压来检测触摸或接触。例如，Signetics NE555时间IC可以在这种类型的触摸或接触检测电路中用作触发器(flip-flop)元件，该检测电路检测由用户手指造成的电压改变。触摸力传感器包括应变仪和力感测电阻器(FSR)，其也可以用于触摸或接触检测。Interlink FSR 400是已针对电子设备的人为触摸控制进行了优化的FSR传感器。
无线通信接口202连接到天线203，并提供与计算机100的无线连接。无线通信接口202可以提供一种或多种无线通信协议，包括蓝牙、蓝牙低功耗(BLE)、iBeacon、射频标识(RFID)、近场通信(NFC)等。
触觉输出设备206可以提供振动触感触觉效果、动觉触觉效果、变形触觉效果、温度触觉效果、嗅觉触觉效果等。触觉输出设备206可以是例如电动马达、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量马达(“ERM”)、谐波ERM马达(“HERM”)、线性致动器、线性谐振致动器(“LRA”)、压电致动器、高带宽致动器、电活性聚合物(“EAP”)致动器、静电摩擦显示器、超声振动发生器、嗅觉效果或气味发生器等。在一些情况下，触觉致动器可以包括致动器驱动电路。虽然在图3中描绘了单个触觉输出设备206，但是触觉基准标签200的其它示例可以包括呈现不同触觉效果(诸如例如振动触觉效果和嗅觉触觉效果等)的多个触觉输出设备206。
在某些实施例中，与UID相关联的触觉内容存储在存储器208中。触觉内容包括一个或多个触觉效果。在这些实施例中，触觉基准标签200在被用户触摸或接触时向用户呈现存储在存储器208中的触觉效果。
电源210耦合到无线通信接口202、处理器204、触觉输出设备206和存储器208。电源210可以包括电池、太阳能、环境射频(RF)、微生物燃料电池、压电等。也可以预期这些电源的组合。
图4A描绘了根据本发明实施例的触觉基准标签。
触觉基准标签400是游戏物件(即，多米诺骨牌)的物理表示，可以将其放置在物理环境中的物体(诸如房屋的房间、餐馆等中的桌子)上。基准标签400具有矩形形状，并且前表面被中心线划分成两个区域。每个区域都标记有许多斑点，通常从零个斑点到六个斑点。这些物理特点促进计算机100对触觉基准标签400的视觉检测。触觉基准标签400具有可以包括非永久性粘合剂、防滑材料、橡胶垫等的后表面，以将触觉基准标签400临时(或永久地)附接到物理环境中的物体，并且这将出于不同目的而促进固定装置的重新定位。
图5A描绘了根据本发明另一个实施例的触觉基准标签。
触觉基准标签500是盐瓶的物理表示，可以将其放置在物理环境中的物体(诸如餐馆、房屋等中的桌子)上。触觉基准标签500具有长方形形状，带有圆顶形的末端。这些物理特点促进由计算机100对触觉基准标签500进行视觉检测。触觉基准标签500还具有可以包括非永久性粘合剂、防滑材料、橡胶垫等的后表面，以将触觉基准标签500可移除地(或永久地)附接到物理环境中的物体。
图6描绘了根据本发明实施例的流程图，该流程图图示了用于为启用触觉的AR系统创建视觉和触觉内容的功能。
一般而言，AR应用创建AR环境，该AR环境将物理环境的视觉描绘与计算机生成的信息(诸如例如视觉信息)相结合。任何AR应用都可以结合本文描述的触觉基准标签的优点。因而，AR服务器20可以包括内容开发软件工具，其允许内容开发人员创建视觉内容和触觉内容并将其集成到AR应用中。
AR应用可以通过从相机(I/O设备180)接收视频信号、处理视频信号、然后在显示器170上显示视频信号来创建物理环境的视觉描绘。各种便携式电子设备可以被用于托管AR环境，例如包括带有前视相机的AR头戴式耳机(HMD)、头戴式智能电话(HMD)、手持式智能电话、具有可见、近红外、红外和/或热成像的头盔式夜视设备(NVD)、手持式NVD等。
可替代地，用户可以通过一副AR眼镜的镜片直接观看物理环境，并且AR应用可以将计算机生成的信息投影到AR眼镜的镜片(显示器170)上。即使用户直接查看物理环境，并且更新的HMD模型包括内置相机，也可以将相机(I/O设备180)安装在AR眼镜上，以便检测触觉基准标签200。
关于实施例600，在610处，在AR服务器20处创建用于触觉基准标签的视觉内容。视觉内容可以包括图形、3D模型、动画等。在一个示例中，图4B描绘了用于触觉基准标签400的视觉内容，其是一行倒下的多米诺骨牌的动画410(或动画序列)。在另一个示例中，图5B描绘了用于触觉基准标签500的视觉内容，其是盐瓶分配盐的动画510(或动画序列)。用于触觉基准标签500的视觉内容还可以包括描绘餐馆的新菜单项的图形(未示出)。一般而言，为特定的触觉基准标签200创建视觉内容是可选的。
在620处，在AR服务器20处创建用于触觉基准标签的触觉内容。触觉内容可以包括振动、力、温度、气味等。在一个示例中，图4C描绘了用于触觉基准标签400的触觉内容，其是与一行倒下的多米诺骨牌相关联的振动触觉效果420。在另一个示例中，图5C和5D描绘了用于触觉基准标签500的触觉内容。图5C描绘了与盐瓶分配盐相关联的振动触觉效果520，而图5D描绘了与盐瓶分配盐相关联的嗅觉触觉效果530。例如，嗅觉触觉效果530可以包括从预定义的气味的列表中选择特定的气味标识符(ID)，该预定义的气味可以由结合在触觉基准标签500内的气味发生器再现。
在630处，在AR服务器20处视觉内容和触觉内容被链接到触觉基准标签200。如果为触觉基准标签200创建了视觉内容，那么视觉内容被链接到触觉基准标签200的UID。例如，动画410被链接到触觉基准标签400的UID，并且动画510被链接到触觉基准标签500的UID。由于为每个触觉基准标签200创建了触觉内容，因此相应的触觉内容被链接到每个触觉基准标签200的UID。例如，振动触觉效果420被链接到触觉基准标签400的UID，并且振动触觉效果520和嗅觉触觉效果530被链接到触觉基准标签500的UID。
一般而言，视觉内容可以包含多个元素，诸如一个或多个动画、3D模型、图形等。类似地，触觉内容可以包含多个元素，诸如一个或多个振动触觉效果、力反馈触觉效果、温度触觉效果、嗅觉触觉效果等。
此外，可以为每个用户定制触觉内容。例如，如果特定的触觉基准标签200包括生成两种不同气味(例如，女用香水或男用古龙水)的触觉输出设备206，那么从计算机100发送到该特定的触觉基准标签200的触觉内容将包括单一的气味效果，即，针对女性用户的女用香水或针对男性用户的男用古龙水。一般而言，可以根据某些用户特点或设置(诸如，性别、年龄等)或某些策略为用户过滤用于触觉基准标签200的触觉内容。
其中可以放置触觉基准标签200的其它示例性物理环境包括博物馆、杂货店等。博物馆展品特别适合通过AR环境使用触觉基准标签200进行增强，杂货店产品展示也是如此。触觉基准标签200的其它示例性用途包括广告(诸如家具、衣物、游戏等)以及政治竞选。
在640处，包括视觉和触觉内容的AR应用被发布在AR服务器20上。计算机100可以以若干不同的方式访问AR服务器20上的AR应用。
例如，计算机100可以通过网络30从AR服务器20下载独立的AR应用、将独立的AR应用存储在存储器130中，然后使用处理器120执行独立的AR应用以向用户提供AR环境。
在另一个示例中，计算机100可以通过网络30从AR服务器20下载客户端AR应用、将客户端AR应用存储在存储器130中，然后使用处理器120执行客户端AR应用以与由AR服务器20托管的服务器AR应用合作来提供AR环境。
在另一个示例中，计算机100可以通过网络30从AR服务器20下载瘦客户端AR应用，将瘦客户端AR应用存储在存储器130或处理器120本地的存储器中，然后使用处理器120执行瘦客户端AR应用以与由AR服务器20托管的服务器AR应用合作来提供AR环境。对于缺少大量存储器等的计算机100的某些实现方案，瘦客户端AR应用可以是优选的，并且通常在服务器AR应用内分配AR环境的大多数功能。
在650处，将触觉基准标签放置在用户的物理环境中。例如，可以将触觉基准标签400放置在房屋的房间的桌子上、可以将触觉基准标签500放置在餐馆的桌子上，等等。
图7描绘了根据本发明实施例的流程图，该流程图图示了用于为启用触觉的AR系统呈现触觉内容的功能。
关于实施例700，在710处，计算机100检测触觉基准标签200。在一个实施例中，可以使用相机(I/O设备180)来检测触觉基准标签200。例如，可以在相机的视场中识别触觉基准标签200的特定视觉特点，诸如唯一的形状、唯一的标记、QR码等。
在另一个实施例中，可以使用计算机100与触觉基准标签200之间的无线信号来检测触觉基准标签200。例如，无线(蓝牙、BLE、RFID等)信号强度指示符可以用于确定计算机100与触觉基准标签200之间的距离。触觉基准标签200可以被配置为连续广播其UID的有源设备或信标。可替代地，触觉基准标签200可以被配置为无源设备，其监听来自计算机100的无线信号，并且一旦该无线信号被接收，就通过无线连接将无源设备的UID发送到计算机100。
在另一个实施例中，计算机100包括GPS接收器(I/O设备180)。例如，如果触觉基准标签200的位置是先验已知的，那么计算机100可以基于触觉基准标签200的位置和GPS位置信息(诸如以十进制度(DD)、度、分钟、秒(DMS)等为单位的纬度/经度坐标)来检测触觉基准标签200是否接近用户。
在720处，计算机100通过计算机100与触觉基准标签200之间的无线连接从触觉基准标签200接收UID。在许多示例中，使用蓝牙、BLE、RFID等在本地建立该无线连接。在其它示例中，使用WiFi等通过网络30建立无线连接。UID可以经由根据标准或自定义无线通信协议而格式化的消息来接收。
在730处，计算机100确定与UID相关联的触觉内容。对于独立的AR应用134，处理器120在存储器130中查找与UID相关联的触觉内容。对于客户端AR应用134，处理器120通过网络30与AR服务器20通信以确定与UID相关联的触觉内容。
在740处，计算机100通过计算机100与触觉基准标签200之间的无线连接将与UID相关联的触觉内容发送到触觉基准标签200。如前所述，在许多示例中，使用蓝牙、BLE、RFID等在本地建立该无线连接。在其它示例中，使用WiFi等通过网络30建立无线连接。
在750处，触觉基准标签200确定用户是否正在使用例如一个或多个手指、手等触摸或接触触觉基准标签200。如果用户正在触摸或接触触觉基准标签200，那么流程继续。
在760处，向用户呈现触觉内容。在一个示例中，触觉基准标签200向用户呈现整个触觉效果。触觉效果可以是振动触觉效果，诸如振动触觉效果420、振动触觉效果520等。触觉效果还可以是力反馈触觉效果、温度触觉效果、气味(诸如嗅觉触觉效果530)等。
在另一个示例中，触觉基准标签200向用户呈现触觉效果的第一部分，并且计算机100经由一个或多个触觉输出设备(I/O设备180)向用户呈现该触觉效果的第二部分。触觉效果的第一部分可以是由触觉基准标签200直接向用户的手指呈现的振动触觉效果，而触觉效果的第二部分可以是由触觉输出设备呈现的不同的振动触觉效果。可替代地，振动触觉效果可以是相同的。关于定时，可以在与触觉效果的第二部分相同的时间呈现触觉效果的第一部分、可以在与触觉效果的第二部分不同的时间呈现触觉效果的第一部分、触觉效果的第一部分和触觉效果的第二部分的呈现可以在时间上部分重叠，等等。计算机100和触觉输出设备可以在用户拥有的可穿戴设备中提供。触觉效果的各种组合是预期的。
在另一个示例中，计算机100通过经由一个或多个触觉输出设备(I/O设备180)向用户呈现触觉效果。例如，AR HMD(I/O设备180)扫描触觉基准标签200上的QR码，并且相关的触觉效果由触觉输出设备呈现。可以在用户拥有的可穿戴设备(诸如智能手表、AR HMD等)中提供计算机100和触觉输出设备。在这个示例中，不需要直接的用户触摸或接触。
图8描绘了根据本发明实施例的用于在启用触觉的AR系统中呈现触觉内容的可选功能。
在720(图7)之后，在722处，计算机100确定与UID相关联的视觉内容。对于独立的AR应用134，处理器120在存储器130中查找与UID相关联的视觉内容。对于客户端AR应用134，处理器120通过网络30与AR服务器20通信以确定与UID相关联的视觉内容。
在724处，计算机100经由显示器170向用户呈现与UID相关联的视觉内容。例如，动画410可以经由显示器170向用户呈现，动画510可以经由显示器170向用户呈现，等等。流程继续到730(图7)。
图9描绘了根据本发明实施例的用于在启用触觉的AR系统中呈现触觉内容的可选功能。
在740(图7)之后，在742处，计算机100确定用户是否接近触觉基准标签200。
在一个实施例中，可以使用相机(I/O设备180)来确定与触觉基准标签200的接近度。例如，可以在相机的视场中识别触觉基准标签200的特定视觉特点(诸如唯一的形状、唯一的标记、QR码等)的尺寸，从中可以确定与触觉基准标签200的接近度。
在另一个实施例中，可以使用计算机100和触觉基准标签200之间的无线(蓝牙、BLE、RFID等)信号来确定与触觉基准标签200的接近度。例如，无线信号强度指示符可以用于确定计算机100与触觉基准标签200之间的距离。
在另一个实施例中，可以使用GPS接收器(I/O设备180)来确定与触觉基准标签200的接近度。例如，如果触觉基准标签200的位置是先验已知的，那么可以基于触觉基准标签200的已知位置和GPS位置信息(诸如以十进制度(DD)、度、分钟、秒(DMS)等为单位的纬度/经度坐标)来确定与触觉基准标签200的接近度。
对于所有触觉基准标签200，确定触觉基准标签200接近用户的距离或接近度阈值可以是相同的，诸如例如1英尺、2英尺、5英尺、10英尺等。可替代地，不同的触觉基准标签200可以具有不同的接近度阈值。
如果用户接近触觉基准标签200，那么流程继续到760(图7)，在该处向用户呈现触觉内容。在一个示例中，计算机100通过经由一个或多个可穿戴触觉输出设备(I/O设备180)(诸如智能手表、AR HMD等)向用户呈现整个触觉效果。在这个示例中，不需要用户直接触摸或接触触觉基准标签200，并且触觉效果可以是振动触觉效果(诸如振动触觉效果420、振动触觉效果520等)、嗅觉触觉效果(诸如嗅觉触觉效果530等)、力反馈触觉效果、温度触觉效果等。在另一个示例中，触觉基准标签200向用户呈现触觉效果的第一部分，并且计算机100经由一个或多个可穿戴触觉输出设备(I/O设备180)向用户呈现触觉效果的第二部分，如上面所讨论的。在另一个示例中，触觉基准标签200向用户呈现整个触觉效果。触觉效果可以是嗅觉触觉效果(诸如嗅觉触觉效果530等)。触觉基准标签200还可以呈现其它触觉效果，诸如振动触觉效果、力反馈触觉效果、温度触觉效果等，这些触觉效果是用户在与触觉基准标签200接触时所经历的。
图10描绘了根据本发明实施例的流程图，该流程图图示了用于为启用触觉的AR系统呈现触觉内容的功能。
关于实施例800，在810处，计算机100检测触觉基准标签200。在一个实施例中，可以使用相机(I/O设备180)来检测触觉基准标签200。例如，可以在相机的视场中识别触觉基准标签200的特定视觉特点，诸如唯一的形状、唯一的标记、QR码等。
在另一个实施例中，可以使用计算机100和触觉基准标签200之间的无线信号来检测触觉基准标签200。例如，无线(蓝牙、BLE、RFID等)信号强度指示符可以用于确定计算机100与触觉基准标签200之间的距离。触觉基准标签200可以被配置为连续广播其UID的有源设备或信标。可替代地，触觉基准标签200可以被配置为无源设备，其监听来自计算机100的无线信号，并且一旦该无线信号被接收，就经由根据标准或自定义无线通信协议而格式化的消息将该无源设备的UID发送到计算机100。
在另一个实施例中，计算机100包括GPS接收器(I/O设备180)。例如，如果触觉基准标签200的位置是先验已知的，那么计算机100可以基于触觉基准标签200的位置和GPS位置信息(诸如以十进制度(DD)、度、分钟、秒(DMS)等为单位的纬度/经度坐标)来检测触觉基准标签200是否接近用户。
在820处，计算机100通过计算机100和触觉基准标签200之间的无线连接从触觉基准标签200接收UID。在许多示例中，使用蓝牙、BLE、RFID等在本地建立该无线连接。在其它示例中，使用WiFi等通过网络30建立无线连接。UID可以经由根据标准或自定义无线通信协议而格式化的消息来接收。
在830处，计算机100确定与UID相关联的触觉内容。对于独立的AR应用134，处理器120在存储器130中查找与UID相关联的触觉内容。对于客户端AR应用134，处理器120通过网络30与AR服务器20通信以确定与UID相关联的触觉内容。
在840处，通过计算机100和触觉基准标签200之间的无线连接从触觉基准标签200接收用户正在使用例如一个或多个手指、手等触摸或接触触觉基准标签200的通知。该通知可以包括用户正在触摸或接触的触觉基准标签200的UID。可以经由根据标准或自定义无线通信协议而格式化的消息来接收该通知。
在850处，将与用户正在触摸或接触的UID相关联的触觉内容呈现给用户。在这个实施例中，计算机100通过经由一个或多个触觉输出设备(I/O设备180)向用户呈现触觉效果。可以在用户拥有的可穿戴设备(诸如智能手表、AR HMD等)中提供计算机100和触觉输出设备。触觉效果可以是振动触觉效果、力反馈触觉效果、温度触觉效果、嗅觉触觉效果等。
本发明的一个实施例提供了用于AR环境的触觉系统。该触觉系统包括触觉基准标签和计算机。触觉基准标签包括触摸传感器、无线通信接口和触觉输出设备。触摸传感器被配置为检测触摸或用户接触。无线通信接口被配置为发送唯一标识符(UID)，并接收与该UID相关联的触觉内容，触觉内容包括触觉效果。触觉输出设备被配置为在触摸传感器检测到触摸或用户接触时呈现触觉效果。计算机包括无线通信接口和处理器。无线通信接口被配置为从触觉基准标签接收UID，并且将与UID相关联的触觉内容发送到触觉基准标签。处理器被配置为检测触觉基准标签，并确定与UID相关联的触觉内容。
本发明的一个实施例提供了用于AR环境的触觉基准标签。该触觉基准标签包括触摸传感器、无线通信接口和触觉输出设备。触摸传感器被配置为检测触摸或用户接触。无线通信接口被配置为发送唯一标识符(UID)并接收与该UID相关联的触觉内容，触觉内容包括触觉效果。触觉输出设备被配置为在触摸传感器检测到触摸或用户接触时呈现触觉效果。
本发明的一个实施例提供了用于在启用触觉的AR系统中呈现触觉内容的方法。该方法包括：由计算机的处理器检测触觉基准标签；通过无线连接从触觉基准标签接收唯一标识符(UID)；确定与UID相关联的触觉内容，触觉内容包括触觉效果；通过无线连接向触觉基准标签发送与UID相关联的触觉内容；由触觉基准标签确定用户是否正在触摸或接触触觉基准标签；以及向用户呈现触觉效果。
本发明的另一个实施例提供了用于在启用触觉的AR系统中呈现触觉内容的方法。该方法包括：由计算机的处理器检测触觉基准标签；通过无线连接从触觉基准标签接收唯一标识符(UID)；确定与UID相关联的触觉内容，触觉内容包括触觉效果；通过无线连接从触觉基准标签接收用户正在触摸或接触触觉基准标签的通知；以及向用户呈现触觉效果。
除非另有说明，否则本文描述的各种实施例和示例是可组合的。
根据具体实施方式，本发明的许多特征和优点是清楚的，因此，所附权利要求书旨在覆盖落入本发明的真实精神和范围内的本发明的所有这些特征和优点。另外，由于本领域技术人员将容易想到许多修改和变型，因此不期望将本发明限于所图示和描述的确切构造和操作，因而，可以采用落入本发明的范围内的所有合适的修改和等同物。

Claims (15)

1.一种用于增强现实AR环境的触觉系统，包括：
触觉基准标签，包括：
触摸传感器，被配置为检测触摸或用户接触，
无线通信接口，被配置为发送唯一标识符UID，并接收与所述UID相关联的触觉内容，所述触觉内容包括触觉效果，以及
触觉输出设备，被配置为在所述触摸传感器检测到触摸或用户接触时呈现所述触觉效果；以及
计算机，包括：
无线通信接口，被配置为从所述触觉基准标签接收所述UID，并向所述触觉基准标签发送与所述UID相关联的所述触觉内容，以及
处理器，被配置为检测所述触觉基准标签，并确定与所述UID相关联的所述触觉内容。
2.如权利要求1所述的触觉系统，还包括：
相机，耦合到所述计算机，被配置为输出视频信号；以及
显示器，耦合到所述计算机，被配置为显示与所述UID相关联的视觉内容，
其中，所述处理器还被配置为确定与所述UID相关联的所述视觉内容。
3.如权利要求2所述的触觉系统，其中，所述处理器基于所述视频信号来检测所述触觉基准标签。
4.如权利要求1所述的触觉系统，其中，所述处理器基于所述触觉基准标签和所述计算机之间的无线通信信号来检测所述触觉基准标签。
5.如权利要求1所述的触觉系统，其中，所述触觉基准标签包括耦合到所述触摸传感器、所述无线通信接口和所述触觉输出设备的处理器。
6.如权利要求1所述的触觉系统，其中，所述触觉效果是力反馈触觉效果、温度触觉效果或嗅觉触觉效果。
7.如权利要求1所述的触觉系统，其中，所述触觉效果的第一部分由所述触觉基准标签呈现，并且所述触觉效果的第二部分由耦合到所述计算机的触觉输出设备呈现。
8.一种用于增强现实AR环境的触觉基准标签，包括：
触摸传感器，被配置为检测触摸或用户接触；
无线通信接口，被配置为发送唯一标识符UID，并接收与所述UID相关联的触觉内容，所述触觉内容包括触觉效果；以及
触觉输出设备，被配置为在所述触摸传感器检测到触摸或用户接触时呈现所述触觉效果。
9.如权利要求8所述的触觉基准标签，其中，所述触觉基准标签包括耦合到所述触摸传感器、所述无线通信接口和所述触觉输出设备的处理器。
10.一种用于在启用触觉的增强现实AR系统中呈现触觉内容的方法，包括：
由计算机的处理器检测触觉基准标签；
通过无线连接从所述触觉基准标签接收唯一标识符UID；
确定与所述UID相关联的触觉内容，所述触觉内容包括触觉效果；
通过所述无线连接向所述触觉基准标签发送与所述UID相关联的所述触觉内容；
确定用户是否正在触摸或接触所述触觉基准标签，或者用户是否接近所述触觉基准标签；以及
向用户呈现所述触觉效果。
11.如权利要求10所述的方法，还包括：
确定与所述UID相关联的视觉内容；
向用户显示与所述UID相关联的视觉内容。
12.如权利要求10所述的方法，其中，所述触觉效果由所述触觉基准标签来呈现。
13.如权利要求10所述的方法，其中：
所述计算机是包括触觉输出设备的可穿戴设备；
所述触觉效果的第一部分由所述触觉基准标签呈现；以及
所述触觉效果的第二部分由所述触觉输出设备呈现。
14.如权利要求10所述的方法，其中，所述触觉基准标签是基于由耦合到所述计算机的相机生成的视频信号来检测的。
15.如权利要求10所述的方法，其中，所述触觉基准标签是基于所述触觉基准标签和所述计算机之间的无线通信信号来检测的。
CN201911048479.5A 2018-12-24 2019-10-31 触觉基准标签 Pending CN111352500A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/231,811 US20200201438A1 (en) 2018-12-24 2018-12-24 Haptic Fiducial Sticker
US16/231,811 2018-12-24

Publications (1)

Publication Number Publication Date
CN111352500A true CN111352500A (zh) 2020-06-30

Family

ID=68281278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911048479.5A Pending CN111352500A (zh) 2018-12-24 2019-10-31 触觉基准标签

Country Status (4)

Country Link
US (1) US20200201438A1 (zh)
JP (1) JP2020102196A (zh)
KR (1) KR20200079176A (zh)
CN (1) CN111352500A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11819999B2 (en) 2021-01-27 2023-11-21 Toyota Research Institute, Inc. Input devices having a deformable membrane and methods of using the same
US11811964B1 (en) * 2022-07-19 2023-11-07 Snap Inc. Olfactory stickers for chat and AR-based messaging

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10095311B2 (en) * 2016-06-15 2018-10-09 Immersion Corporation Systems and methods for providing haptic feedback via a case
US10228773B2 (en) * 2017-01-02 2019-03-12 Merge Labs, Inc. Three-dimensional augmented reality object user interface functions

Also Published As

Publication number Publication date
JP2020102196A (ja) 2020-07-02
US20200201438A1 (en) 2020-06-25
KR20200079176A (ko) 2020-07-02

Similar Documents

Publication Publication Date Title
US11045725B1 (en) Controller visualization in virtual and augmented reality environments
JP6713445B2 (ja) 触覚フィードバックを備えた拡張現実ユーザ・インタフェース
US9836929B2 (en) Mobile devices and methods employing haptics
US10395116B2 (en) Dynamically created and updated indoor positioning map
KR102038638B1 (ko) 가상 현실에서 핸드 헬드 디바이스를 트랙킹하는 시스템
US8941603B2 (en) Touch sensitive display
US10754546B2 (en) Electronic device and method for executing function using input interface displayed via at least portion of content
US20160364962A1 (en) Wearable device manager
JP2017146651A (ja) 画像処理方法及び画像処理プログラム
TR201815821T4 (tr) Bir cihazın kontrolu için yöntem.
CN107710009B (zh) 虚拟和增强现实环境中的控制器可视化
US10163198B2 (en) Portable image device for simulating interaction with electronic device
US20190265792A1 (en) Systems and methods for haptifying virtual objects using smart stickers
US20180322444A1 (en) Methods for pick and put location verification
CN111352500A (zh) 触觉基准标签
CN108700915B (zh) 用于虚拟现实显示器的自动对准器
CN108829247B (zh) 基于视线跟踪的交互方法及装置、计算机设备
US20200326765A1 (en) Head mounted display system capable of indicating a tracking unit to track a hand gesture or a hand movement of a user or not, related method and related non-transitory computer readable storage medium
CN115735182A (zh) 用于动态形状速写的系统和方法
US20240143267A1 (en) Electronic device for using external device in metaverse and method thereof
EP3734416A1 (en) Head mounted display system capable of indicating a tracking unit to track a hand gesture or a hand movement of a user or not, related method and related non-transitory computer readable storage medium
JP2023531303A (ja) 誇張されたコンテンツを用いた動的なスケッチのためのシステム及び方法
WO2023028569A1 (en) Product comparison and upgrade in a virtual environment
CN117501208A (zh) 利用步态印迹模仿的ar数据模拟
KR20180062954A (ko) 시각-촉각 알림을 위한 스마트 표면

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200630

WD01 Invention patent application deemed withdrawn after publication