CN110187754A - 用于利用智能贴纸触觉化虚拟物体的系统和方法 - Google Patents

用于利用智能贴纸触觉化虚拟物体的系统和方法 Download PDF

Info

Publication number
CN110187754A
CN110187754A CN201910132503.7A CN201910132503A CN110187754A CN 110187754 A CN110187754 A CN 110187754A CN 201910132503 A CN201910132503 A CN 201910132503A CN 110187754 A CN110187754 A CN 110187754A
Authority
CN
China
Prior art keywords
processor
laminating apparatus
paster
sensor
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910132503.7A
Other languages
English (en)
Inventor
伍黎雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN110187754A publication Critical patent/CN110187754A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q1/00—Details of, or arrangements associated with, antennas
    • H01Q1/12—Supports; Mounting means
    • H01Q1/22—Supports; Mounting means by structural association with other equipment or articles
    • H01Q1/2208—Supports; Mounting means by structural association with other equipment or articles associated with components used in interrogation type services, i.e. in systems for information exchange between an interrogator/reader and a tag/transponder, e.g. in Radio Frequency Identification [RFID] systems
    • H01Q1/2225—Supports; Mounting means by structural association with other equipment or articles associated with components used in interrogation type services, i.e. in systems for information exchange between an interrogator/reader and a tag/transponder, e.g. in Radio Frequency Identification [RFID] systems used in active tags, i.e. provided with its own power source or in passive tags, i.e. deriving power from RF signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Toxicology (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

教导了用于利用智能贴纸来触觉化虚拟物体的示例系统和方法。一个示例贴纸装置包括：触觉输出装置；存储有处理器可执行指令的非暂态计算机可读介质；以及与触觉输出装置和非暂态计算机可读介质通信的处理器，该处理器被配置为执行处理器可执行指令以进行以下操作：从传感器接收传感器信号；基于传感器信号确定触觉效果；并且向触觉输出装置发送触觉信号以使得触觉输出装置输出触觉效果。

Description

用于利用智能贴纸触觉化虚拟物体的系统和方法
技术领域
本申请概括而言涉及触觉(haptics)，更具体而言涉及用于利用智能贴纸(smartsticker)来触觉化虚拟物体的系统和方法。
背景技术
用户接口可采用触觉效果来向接口的用户提供触感响应。例如，当智能电话接收到电话呼叫或文本消息时，可播放振动效果。这种效果可通知用户正在发生的事件，或者它们可在视频游戏期间被输出，以指示出用户的车辆遭受的损害或者武器的开火。
发明内容
针对用于利用智能贴纸来触觉化虚拟物体的系统和方法描述了各种示例。例如，一种示例贴纸装置包括：触觉输出装置；存储有处理器可执行指令的非暂态计算机可读介质；以及与触觉输出装置和非暂态计算机可读介质通信的处理器，该处理器被配置为执行处理器可执行指令来进行以下操作：从传感器接收传感器信号；基于传感器信号确定触觉效果；并且向触觉输出装置发送触觉信号以使得触觉输出装置输出触觉效果。
另一示例装置包括：传感器；存储有处理器可执行指令的非暂态计算机可读介质；以及与传感器和非暂态计算机可读介质通信的处理器，该处理器被配置为执行处理器可执行指令来进行以下操作：从传感器接收传感器信号；基于传感器信号来检测用于增强现实或虚拟现实中的触觉交互的贴纸装置；确定与贴纸装置相关联的虚拟物体；并且输出信号以使得显示装置显示该虚拟物体。
提及这些说明性示例并不是为了限制或限定本公开的范围，而是为了提供示例来帮助对其的理解。在提供进一步描述的“具体实施方式”部分论述了说明性示例。通过查阅本说明书可进一步理解各种示例提供的优点。
附图说明
被包含到本说明书中并构成本说明书的一部分的附图图示了一个或多个特定示例，并且与对示例的描述一起帮助说明这些特定示例的原理和实现方式。
图1示出了用于利用智能贴纸来触觉化虚拟物体的示例系统；
图2A-2B示出了用于利用智能贴纸来触觉化虚拟物体的示例系统；
图3示出了用于利用智能贴纸来触觉化虚拟物体的示例系统；
图4示出了适合与用于利用智能贴纸来触觉化虚拟物体的示例系统和方法一起使用的示例贴纸装置；
图5示出了适合与用于利用智能贴纸来触觉化虚拟物体的示例系统和方法一起使用的示例计算装置；并且
图6-7示出了用于利用智能贴纸来触觉化虚拟物体的示例方法。
具体实施方式
本文在用于利用智能贴纸来触觉化虚拟物体的系统和方法的上下文中描述了示例。本领域普通技术人员将会认识到，以下描述只是说明性的，而并不打算以任何方式进行限定。现在将详细述及附图中图示的示例的实现方式。相同的附图标记将在各幅图中和以下描述的各处用于指代相同或相似的项目。
为了清晰起见，没有示出和描述本文描述的示例的所有常规特征。当然，将会明白，在任何这种实际实现方式的开发中，必须做出许多依实现方式而定的决定以便实现开发者的具体目标(例如，遵从与应用和业务相关的约束)，并且这些具体目标在一个实现方式与另一实现方式之间和一个开发者与另一开发者之间将是不同的。
在一个说明性示例中，用户可在佩戴着具有部分透明面甲的头戴式装置(head-mounted device，“HMD”)的同时与增强现实(augmented reality，“AR”)环境交互，其中透过该面甲用户可看到其周围的真实环境。然而，HMD包括在面甲上显示信息以增强真实环境的显示装置。在这个示例中，HMD包括捕获真实环境的图像的摄像头并且检测被施加到真实环境中的一个或多个物体的触觉贴纸。在检测到触觉贴纸之后，其基于识别贴纸上的标记或者基于从贴纸无线接收的信息来识别贴纸，例如通过其在真实环境内的定位(position)来识别。HMD随后可基于贴纸的身份或者从贴纸接收的信息来确定环境中的特定物体，并且在HMD面甲上显示虚拟物体以便其看起来覆盖在贴纸上。
例如，用户可透过面甲查看真实环境并且可在她手腕上的环带上佩戴着贴纸。当她将她的注视转到贴纸时，HMD利用摄像头检测到该贴纸，基于识别贴纸上的标记确定该贴纸对应于虚拟智能手表，并且显示覆盖在贴纸上的虚拟智能手表。从而，HMD向用户提供了在AR环境中佩戴着智能手表的外观。此外，HMD可使用虚拟智能手表来向用户提供信息，例如时间、日期、天气信息、文本消息或电子邮件信息、社交媒体信息、闹钟信息等等，就好像用户佩戴着真实智能手表一样。用户可通过在空间中执行可以被HMD的摄像头(或者内置到贴纸中的摄像头)检测到的手势来与AR环境中的虚拟智能手表交互。手势可用于响应文本消息或电子邮件、关闭闹钟通知、滚动经过不同的信息屏幕(例如，天气、日期/时间、日历等等)，等等。响应于这些手势，贴纸或HMD可向用户输出一个或多个触觉效果。在这个示例中，贴纸配备有扬声器来输出可感知为触觉效果的超声振动。这种触觉效果可基于用户动作(例如，手势)被输出，或者可被输出来提醒用户一个或多个通知或事件。这种实现方式可使得用户能够从虚拟智能手表接收信息并响应该信息，而不会有附近的其他人可能能够查看呈现给用户的信息的风险。
并且虽然此示例论述了使用贴纸作为可穿戴装置，但贴纸可与真实环境中的任何物体相关联并被施加到真实环境中的任何物体来(例如，通过为装置提供用户接口，提供游戏环境内的物体，提供关于相应物体的信息，等等)使能与装置的AR或虚拟现实(virtualreality，“VR”)交互。另外，这种贴纸当配备有触觉输出装置时可使能AR或VR环境内的触感交互，而不要求用户佩戴触觉手套或者持有其他触觉使能装置。
给出这个说明性示例来向读者介绍本文论述的一般主题，而本公开不限于此示例。接下来的部分描述了各种额外的非限制性示例和用于利用智能贴纸来触觉化虚拟物体的系统和方法的示例。
现在参考图1，图1示出了用于利用智能贴纸来触觉化虚拟物体的示例系统100。系统100包括计算装置110，其通信地耦合到HMD 120。HMD 120包括用户佩戴在其眼睛上的面甲122和被定向为捕获用户的视野内的真实环境的图像的摄像头。在操作期间，HMD 120在面甲上显示图像，这些图像可包括关于AR或虚拟现实(“VR”)环境的信息，例如位置(location)、化身(avatar)的健康或其他统计信息(例如在游戏环境中)、目标信息、覆盖在AR或VR环境内的虚拟物体，等等。系统100还包括贴纸装置140，其被粘贴到了真实环境内的物体130。
“真实环境”指的是可包括一个或多个物理物体的物理环境，例如房屋中的房间、街道、公园，等等。与之对照，“虚拟环境”(例如，AR或VR环境)是由计算装置维护的可包括一个或多个虚拟物体的环境。用户可通过一个或多个用户接口装置或传感器与虚拟环境交互。在一些示例中，虚拟环境可被覆盖在真实环境上，例如，以增强真实环境或者以利用真实环境内的可用于向与虚拟环境交互的用户提供触感响应的物理物体(例如，通过提供这样的物理屏障或物理物体：当经由显示装置向用户呈现覆盖在物理物体上的虚拟物体的视觉表示的同时，用户可与这些物理屏障或物理物体交互)。在没有这种物理物体的情况下，虚拟环境内的触感响应可利用触觉输出装置来模拟，其中触觉输出装置可以由用户佩戴或者可以在用户所握持或触摸的用户接口装置内。
除了在面甲122上显示信息以外，HMD 120还利用其摄像头来捕获图像。捕获的图像随后可被HMD 120或计算装置110处理以识别真实环境内的物体。在这个示例中，HMD 120可捕获包括贴纸140的一个或多个图像。HMD 120或计算装置110可基于识别贴纸上的标记来识别贴纸，所述标记例如是条码或字母或数字。在识别出贴纸140之后，HMD 120或计算装置110可访问数据库以确定与贴纸140相关联的虚拟物体并且在虚拟环境内显示该虚拟物体。在这个示例中，HMD 120将虚拟物体显示在与检测到的贴纸140的位置相对应的位置处，以便在用户看来虚拟物体位于贴纸140顶上。
在这个示例中，计算装置110和HMD 120是经由WiFi与彼此通信的具有分离的外壳的分立组件。不同的示例系统可采用其他种类的适当有线或无线通信技术，包括蓝牙(Bluetooth，“BT”)、低能耗BT(low-energy BT，“BLE”)、WiFi、近场通信(near-fieldcommunications，“NFC”)、蜂窝、以太网、HDMI、显示端口(DisplayPort)，等等。在一些示例中，计算装置110和HMD 120可被集成到单个可穿戴装置中，而不是分离在两个或更多个不同装置之间。
图1所示的系统100只包括一个贴纸，然而，根据不同的示例，可采用任何适当数目和布置的贴纸。另外，虽然此示例只包括一个HMD 120和一个计算装置110，但是任何数目的具有HMD或其他用户接口装置的用户可在共同的虚拟环境内交互。在一个这种示例中，每个HMD可与共同的计算装置110通信，或者一个或多个HMD可具有其自己的计算装置，该计算装置与另一计算装置(例如，服务器)通信以获得关于虚拟环境的信息并且使能虚拟环境内的交互。例如，HMD 120可具有集成的计算装置，并且计算装置110可表示服务器计算机，该服务器计算机维护虚拟环境并且跟与虚拟环境交互的一个或多个HMD通信。
虽然系统100在这个示例中包括HMD 120，但其他示例可包括其他用户接口装置，包括适合用于虚拟环境的接口装置，包括键盘、鼠标、控制手柄、方向盘、显示装置、魔杖、触笔、剑、仿真枪支，等等。这种接口装置可利用任何适当的有线或无线通信技术与HMD 120或计算装置110通信以提供输入信号或从HMD 120或计算装置110接收信号来提供输出(例如，触觉效果、音频或视觉效果)、改变配置参数，等等。在一些示例中，HMD 120或计算装置110可从这种用户接口装置接收传感器信号来检测移动或输入。例如，一个或多个摄像头可检测接口装置的移动。
现在参考图2A-2B，图2A示出了用于利用智能贴纸来触觉化虚拟物体的示例系统200。在这个示例中，用户佩戴着包括面甲212的HMD 120，并且正在参与基于AR的视频游戏。HMD 210在这个示例中包括集成的计算装置，例如图1所示的计算装置110。系统还包括贴纸240，其被粘贴到了真实环境内的物体230。在这个示例中，贴纸240包括显示装置，该显示装置显示在真实环境内唯一识别贴纸240的二维条码。此外，贴纸240包括用于利用BLE的无线通信的无线收发器，和用于输出超声波来提供基于非接触的触觉效果的扬声器。
在这个示例中，用户的HMD 210利用摄像头捕获用户的视野内的真实环境的图像来检测贴纸240。摄像头捕获包括贴纸140和二维条码的图像，HMD 210解析该二维条码以确定贴纸240的身份，但在一些示例中，二维条码可改为识别虚拟物体而不是贴纸本身。在这个示例中，贴纸240对应于提供电子小键盘来打开视频游戏内的保险箱的虚拟物体。从而，HMD 210基于贴纸的身份来确定与贴纸240相关联的虚拟物体242(在此情况下是具有电子小键盘的保险箱)，并且在面甲212上与贴纸240相对应的位置处显示虚拟物体242。
在HMD 210显示了虚拟物体242之后，用户可与虚拟物体242交互以尝试打开保险箱。例如，用户可尝试通过利用按压手势按压虚拟电子小键盘上的虚拟键来输入虚拟保险箱的密码。在这个示例中，随着用户在小键盘上的键之一上移动其手部并随后向外朝着控制板按压以做出按压手势，HMD 210跟踪用户的手部220。在一些示例中，贴纸装置可检测手势，例如通过使用其自己的摄像头或者连接到贴纸或在贴纸自身内的其他传感器来检测手势。
图2B图示了当用户在按压手势中向前移动了手之后的用户的手，这被HMD 210解读为对按钮的按压。该按压手势创建了与虚拟小键盘上的虚拟键的交互，其由HMD 210向视频游戏提供了输入。此外，HMD 210向贴纸240发送消息以使得贴纸240输出超声触觉效果。贴纸240随后利用其扬声器输出超声波，这可被用户的指尖(或手部)感觉到。随着用户继续按压虚拟小键盘上的键，她继续从贴纸240接收到触觉效果，并且如果她输入正确的密码，则她可接收到又一个触觉效果并且被呈现以保险箱门打开的动画以及显示在贴纸240上的保险箱的内部。如果她没有输入正确的密码，则贴纸240可输出指示输入了错误密码的触觉效果。
从而，图2A-2B中的系统200图示了用户可如何使用智能贴纸来帮助与虚拟环境交互。虽然以上论述的示例是在视频游戏的上下文中的，但这种技术可能可用在其他设置中，例如用于控制某个人的家中的家电(例如，冰箱、热水器、电视、收音机、流媒体装置、游戏机等等)、与恒温器、门锁交互，等等。在一些示例中，其可能可用于虚拟物体，比如用于智能电话、智能手表或其他可穿戴装置的用户接口，而不需要与可穿戴装置物理交互。
例如，在她的房屋内，用户可能将一个或多个贴纸装置粘贴到了家电或电子装置。从而，如果用户在家中使用HMD，则她可被呈现以用于施加有贴纸装置的家电或电子装置的虚拟用户接口。例如，在坐在起居间中的躺椅中的同时，用户可看着房间另一端的立体声系统，并且被呈现以具有用于立体声系统的接口控件(例如，音量旋钮、收音机拨盘、输入选择，等等)的虚拟物体。她随后可在保持呆在相对于立体声系统在房间另一端的躺椅中的同时与接口控件交互以通过执行手势来改变收音机电台、改变音量、切换到不同的音频或音频/视觉输入等等。这种接口也可在其他情境中提供，例如针对恒温器来改变温度或者从空调到供暖、报警系统、烤箱、灶头，等等。从而，可以采用贴纸来向真实环境内的任何适当装置提供虚拟用户接口。
现在参考图3，图3示出了用于利用智能贴纸来触觉化虚拟物体的示例系统300。在这个示例中，系统300包括与多个HMD 320a-b(每一者具有各自的面甲320a-b)通信的服务器310。定位在真实环境内的物体330a-b中的每一者配备有贴纸340a-b。服务器310向HMD320a-b提供虚拟环境，例如，游戏环境(例如，诸如视频游戏之类的完全仿真的游戏环境或者诸如在激光枪战或彩弹球竞技场中之类的AR游戏环境)、办公室环境、家庭环境，等等。服务器310经由网络350从远程服务器360获得信息。获得的信息可包括虚拟环境信息(例如，虚拟物体和关联的贴纸的位置和身份)、触觉效果信息、用户账户或简档信息(包括安全信息，例如，与一个或多个虚拟物体交互的权限)，等等。
在这个示例中，两个用户各自经由其各自的HMD 320a-b与同一虚拟环境交互。HMD320a-b与服务器310无线通信以获得关于虚拟环境的信息，获得关于一个或多个识别出的贴纸340a-b的信息，获得虚拟环境内的虚拟物体，等等。此外，HMD 320a-b在各自的面甲322a-b上显示关于虚拟环境的信息，并且包括一个或多个传感器，这些传感器可用于感测HMD在真实环境内的位置或朝向或者用于检测贴纸340a-b、手势或其他用户输入。
服务器360可以是根据本公开的任何适当计算装置。在图3所示的系统300内，服务器360向服务器310提供虚拟环境信息。例如，当用户激活视频游戏时，或者当用户进入虚拟环境内的不同区域时，服务器310可向服务器360发送请求以获得关于虚拟环境的信息。在一些示例中，服务器360可与多于一个服务器310通信以允许处于不同位置的多个用户与共同的虚拟环境交互，例如在多玩家或大型多玩家游戏的情境中。
网络350在图3所示的示例中是因特网；然而在不同的示例中，网络350可以是任何适当的通信网络，例如局域网、广域网、城域网，等等。
现在参考图4，图4示出了可结合用于利用智能贴纸来触觉化虚拟物体的示例系统和方法使用的示例贴纸装置400。在这个示例中，贴纸装置400包括与存储器420通信的处理器410、触觉输出装置430、显示器440、无线收发器450和传感器460。
处理器410被配置为执行存储在存储器420中的处理器可执行指令，以例如确定触觉效果、生成触觉信号、生成显示信号、接收传感器信号以及利用RF收发器440发送和接收信息。指令可在贴纸被安装或制造时被编程到贴纸装置400上，或者指令可被动态地提供，例如经由RF收发器来提供。例如，当用户开始游戏时，诸如触觉效果或身份信息之类的配置参数可被计算装置或用户接口装置(例如，HMD)提供给贴纸装置400。
例如，对于上文针对图2论述的示例系统200，贴纸装置400可被提供以与虚拟保险箱物体相关联的身份信息。此外，贴纸装置400可被提供以与虚拟保险箱的虚拟小键盘相关联的触觉效果，例如按键效果、密码成功效果和密码不成功效果。这种效果可在用户开始游戏时被发送到贴纸装置400，或者在用户在游戏环境内遇到虚拟保险箱时被实时发送到贴纸装置400。从而，贴纸装置的身份可随着时间而变化(例如基于游戏事件(或其他事件)而变化)，并且新的信息可被发送到贴纸装置400。然而，在一些示例中，贴纸装置的身份可以是静态指定的。
传感器460在这个示例中是可向处理器410提供图像的摄像头。处理器410可从摄像头接收传感器信号并且确定用户执行的手势。例如，处理器410可确定用户所执行的用于与跟贴纸装置400相关联的虚拟物体交互的按压手势。在一些示例中，也可确定其他类型的手势，例如，按压、扭转、拉拔、滑扫，等等。
根据各种示例可采用其他类型的传感器。例如，可采用触摸传感器，其可允许用户触摸贴纸并与贴纸交互，例如以便施加基于按压的输入(例如，按压、滑扫等等)、接触手势输入(包括多点触摸手势)，等等。适当的触摸传感器可包括电容式或电阻式触摸传感器、应变计、压电元件、光幕，等等。触摸传感器在一些示例中可被包含到显示器440中，例如在触摸敏感显示器的情况下。然而，在一些示例中，触摸传感器可被耦合到贴纸装置400的任何表面。
在一些示例中，贴纸装置400可包括一个或多个惯性传感器、全球定位系统(Global Positioning System，“GPS”)或类似的定位传感器，等等。例如，贴纸装置400可包括一个或多个加速度计、陀螺仪，等等，以检测其定位或朝向的变化，这可使得贴纸装置400能够确定其位置或者跟踪其在真实环境内的移动。在一个示例中，贴纸装置400可包括GPS接收器，这可使得贴纸装置400能够确定其自己的地理定位。这种定位或朝向信息可被提供给服务器310或远程计算机360，或者提供给一个或多个HMD。这种定位或朝向随后可用于确定一个或多个虚拟物体的恰当定位和朝向。
贴纸装置400还包括触觉输出装置430。触觉输出装置430在这个示例中是基于非接触的触觉输出装置，其包括扬声器来输出超声波。超声波可用于对接近扬声器的用户的手部或手指(或其他身体部位)创建非接触触感刺激。在一些示例中，可利用其他类型的致动器来生成超声波，例如压电致动器。另外，在一些示例中，可使用其他类型的基于非接触的触觉输出装置。例如，适当的基于非接触的触觉输出装置可包括用来从压缩空气筒中释放一阵空气的压缩空气分配器(例如阀门或喷嘴)、电子触觉输出装置、热输出装置(例如，电阻器或红外光源)，等等。应当注意，当在本说明书中使用时，术语“非接触”或“基于非接触”指的是当物体(例如指尖)没有接触表面时可施加的力。然而，这并不排除物体与表面之间的接触。例如，触觉效果仍可被施加到与表面接触的指尖并且仍可被用户感觉到，或者根据本公开的示例可在基于非接触的触觉效果的输出期间(例如在静电力(electrostaticforce，“ESF”)型触觉效果的输出期间)导致物体与表面之间的接触。
根据本公开的示例贴纸装置可包括基于接触的触觉输出装置，例如DC电机、偏心旋转质量(eccentric rotating masses，“ERM”)、线性致动器、静电摩擦触觉输出装置、微机电系统(micro-electromechanical systems，“MEMS”)元件、形变触觉输出装置(例如，水凝胶、形状记忆合金、双稳态元件等等)、电磁铁，等等。另外，示例贴纸装置可包括多个触觉输出装置，其中包括多个不同类型的触觉输出装置。
显示器440在这个示例中包括电子显示装置，例如液晶显示器(liquid crystaldisplay，“LCD”)、发光二极管(light emitting diode，“LED”)显示器、有机LED(organicLED，“OLED”)显示器、电子墨水显示器，等等。显示器440可从处理器410接收显示信号以使得显示器440显示图像或文本。例如，处理器410可生成并发送显示信号来使得显示器440显示贴纸装置400的识别信息。识别信息可以是条码(包括二维条码)、字母数字码、一个或多个符号或字形，等等。在一些示例中，处理器410可生成并发送显示信号以使得显示器440输出其他信息，例如用于贴纸装置400的配置信息、用于与显示器440交互的用户接口，等等。
RF收发器450在此示例中被配置为使得处理器410能够利用BLE通信。然而，可以采用其他适当的RF收发器或子系统，包括BT、WiFi、NFC，等等。在一些示例中，贴纸装置400可包括多个不同的RF收发器，或者可用于多个不同的无线通信技术的RF收发器。在一些示例中，贴纸装置400可经由RF收发器接收电力。例如，贴纸装置400可以是或者可以包括RFID标签并且可从RF发送器获得电力，并且可利用反向散射技术来通信。这种技术例如可用于提供关于贴纸装置400的身份信息。从而，根据不同的示例，可采用任何适当的(一个或多个)无线通信技术。
上文论述的贴纸装置400的组件被定位在贴纸装置400的外壳内。这种外壳可限定一个或多个内部空腔，各种组件可被定位在这些空腔内。外壳可具有耦合装置以使得贴纸装置400能够物理地耦合到另一物体。适当的耦合装置可包括粘合剂，比如压敏粘合剂。其他示例可包括铁磁材料或者含铁材料以使能与物体的磁耦合。在一些示例中，贴纸可通过条带、螺钉、钉子等等被附着到物体。在一些示例中，贴纸可被包含到可穿戴装置中，例如手环、项链、耳环等等。
应当明白，图4所示的示例贴纸装置400包括在其他示例中可能不存在的某些组件。例如，贴纸装置可不包括传感器、触觉输出装置、显示器、RF收发器、处理器或存储器。例如，一种便宜的实施例可包括粘性标签，其上打印有唯一条码，但缺乏任何处理或其他电子组件。另外，去除图4所示的组件中的一个或多个可实现成本效益好的贴纸装置，且同时仍实现根据本说明书的至少一些功能。例如，在一些示例中可不采用传感器或触觉输出装置，同时仍允许HMD检测传感器并且显示与传感器相关联的虚拟物体。或者，可不包括显示器，取而代之，识别标记可被打印在贴纸装置400的外壳上或者被粘贴到贴纸装置400的外壳。这种示例可用于根据本公开的各种系统，例如上文针对图1、图2A-2B和图3论述的系统。
现在参考图5，图5示出了可结合用于利用智能贴纸来触觉化虚拟物体的示例系统和方法使用的示例计算装置500。计算装置500包括与存储器520通信的处理器510、触觉输出装置530、显示器540、网络接口550和传感器560。处理器510被配置为执行存储在存储器520中的处理器可执行指令，以例如确定触觉效果、生成触觉信号、生成显示信号、接收传感器信号以及利用网络接口550发送和接收信息。
在这个示例中，计算装置500是HMD的一部分并且显示器540被包含到HMD的面甲中。然而，在一些示例中，计算装置可与HMD或其他用户接口装置分离，例如图1所示的计算装置110。另外，一个或多个服务器装置(例如图3所示的那种)可以是或者可以包括示例计算装置。
在这个示例中，处理器510从传感器560接收信号并且检测真实环境内的一个或多个贴纸，并且基于与检测到的贴纸相关联的一个或多个虚拟物体来生成显示信号。显示信号被配置为使得显示器540在HMD面甲内的与检测到的贴纸相对应的位置处显示虚拟物体。例如，处理器510可确定贴纸相对于面甲的位置，例如基于从传感器560接收的一个或多个传感器信号来确定。处理器510随后可确定面甲上的与贴纸相对应的位置并且基于所确定的面甲上的位置来确定虚拟物体的显示位置。另外，处理器510可随着时间的流逝(例如，基于用户对HMD和面甲的移动)在不同的位置处显示虚拟物体，以使得虚拟物体保持在与检测到的贴纸相对应的位置处。
处理器510生成触觉输出信号以使得触觉输出装置530输出一个或多个触觉效果。这种效果可以是上文针对图4的贴纸装置400论述的那些之中的任何一种。另外，触觉输出装置530可以是根据本公开的任何适当的触觉输出装置。这种触觉输出装置530可位于计算装置500的外壳内，可被用户佩戴(例如，在手环或触觉手套上)，或者可被包括在被用户抓握的操纵杆(manipulandum)内。
网络接口550可以是根据本公开的任何适当的有线或无线网络接口。处理器510可采用网络接口550来与用户装置(例如，HMD或操纵杆)通信。在一些示例中，网络接口550可使能与远程服务器装置的通信，例如上文针对图3描述的那种。网络接口装置550还可使能与贴纸装置的无线通信，例如经由BLE、BT、WiFi或NFC通信技术。另外，一些示例计算装置500可包括多个网络接口550。
传感器560在此示例中是摄像头；然而，在一些示例中可采用多个摄像头。也可采用另外的其他类型的传感器。例如，传感器可包括加速度计、陀螺仪等等，以感测用户装置(例如，HMD)在真实环境中的定位或朝向。
应当明白，根据本公开的示例计算装置可以不包括上文论述的所有组件。例如，被配置为作为服务器操作的计算装置可不包括触觉输出装置530或传感器560，或者可不包括显示器540。另外，一些计算装置可不包括传感器或触觉输出装置。取而代之，处理器510可从另一计算装置接收传感器信息，例如粘附到HMD的计算装置。类似地，计算装置500可缺乏触觉输出装置。在一些示例中，这种计算装置500可与例如在HMD或其他用户操纵杆内的包括触觉输出装置530的另一计算装置通信，以向该另一计算装置提供触觉信号或触觉命令。根据不同的示例，可采用计算装置的另外的配置。
现在参考图6，图6示出了用于利用智能贴纸来触觉化虚拟物体的示例方法600。对图6的描述将参考图3所示的示例系统300、图4所示的示例贴纸装置400和图5所示的示例计算装置500，然而，应当明白，根据本公开可采用任何适当的系统、贴纸装置或计算装置500。
在方框610，贴纸340a从传感器460或多个传感器接收一个或多个传感器信号。在这个示例中，传感器460是摄像头并且(一个或多个)传感器信号包括一个或多个图像。然而，在一些示例中，可采用其他类型的传感器，例如接近传感器(例如，超声传感器、光发射器/检测器、BT信标等等)、触摸传感器、压力传感器，等等。
在方框620，贴纸340a基于传感器信号中的一个或多个来检测手势。在这个示例中，贴纸340a基于从摄像头接收到的图像来检测手势。贴纸的处理器410利用接收到的图像作为输入来执行手势识别技术。这种技术可利用训练机器学习技术或者任何其他适当的手势识别技术来实现。在一些示例中，用户可佩戴手套或者握持着具有一个或多个识别标记(例如，光、对比性斑点、线条或者井号(hash)等等)的装置，这些标记可被处理器410或训练机器学习技术检测到来促进手势识别或者训练机器学习技术。在一些示例中，处理器410可从远程装置(例如，HMD或服务器)接收信息，该信息识别检测到的用户执行的手势。
在方框630，处理器410基于检测到的手势来确定触觉效果。例如，处理器410可访问具有手势和相应的触觉效果的查找表。在一些示例中，存储器420可存储多个查找表，其中的一个或多个可与不同的虚拟环境、不同的应用、不同的虚拟物体等等相关联。从而，处理器410可选择与当时的当前虚拟环境、应用、物体等等相关联的查找表。其随后可访问查找表来识别与检测到的手势相对应的触觉效果。例如，处理器410可确定用户执行了按压手势，并且可通过访问查找表并且识别与“按压”手势相对应的触觉效果来确定“按压”触觉效果。
在确定触觉效果时，处理器410除了确定触觉效果的类型以外还可确定触觉效果的幅值或持续时间，虽然在一些示例中，触觉效果可具有默认的幅值和持续时间。例如，处理器410可基于所确定的用户与贴纸装置400的接近度来确定幅值。如果贴纸装置400包括基于非接触的触觉输出装置430，则处理器410可基于所确定的与用户或者与用户的执行手势的身体部位的距离来确定触觉效果的幅值。这种确定可基于从接近传感器接收的传感器信号(例如上文针对方框610论述的那种)，或者可从远程计算装置(例如HMD或服务器装置)接收。如果用户或用户的身体部位更远离贴纸装置430，则可能需要更大幅值的触觉效果。例如，处理器410可访问例如查找表中的或者基于一个或多个等式计算出的缩放比例因子或者幅值到距离的映射(例如，在特定输出幅值下触觉效果的感知强度可随着距离以指数方式减小)。从而，处理器可基于检测到的与用户或用户的身体部位的接近度或距离或者要施加的触觉效果的强度来确定幅值(或者调整默认幅值)。例如，所确定的触觉效果可具有关联的幅值，例如在查找表中具有关联的幅值；然而，为了施加指定的幅值，贴纸装置可能需要按比例缩放触觉输出装置的输出以适应与用户的距离。
处理器410也可确定触觉效果的持续时间。例如，处理器410可基于手势被执行来确定持续时间。如果用户执行按压手势，则处理器410可确定持续直到用户(例如通过放下其手部或者通过将其手部从贴纸装置400缩回来)中断按压手势为止的持续时间。然而，在一些示例中，可使用触觉效果的默认持续时间。或者，持续时间可基于检测到的用户或用户的身体部位的接近度。例如，用户或身体部位越远离贴纸装置400，持续时间就可以越长。这种示例可帮助确保用户即使在远离贴纸装置400时仍能够感知到触觉效果。
在方框640，处理器410发送被配置为使得触觉效果被输出的触觉信号。在这个示例中，处理器410向触觉输出装置430发送触觉信号。在一些示例中，贴纸装置400可包括多个触觉输出装置430，并且因此处理器410可向与要输出的触觉效果的类型相对应的触觉输出装置430输出触觉信号。例如，如果触觉效果被确定为是基于非接触的触觉效果，则处理器410可向基于非接触的触觉输出装置(例如压缩空气装置)而不是基于接触的触觉输出装置(例如ERM)发送触觉效果信号。在一些示例中，处理器410可基于触觉输出装置的有效范围来选择一个或多个触觉输出装置。例如，ESF触觉输出装置可提供基于非接触的触觉效果，但是在几毫米的范围内提供的，而压缩空气型触觉输出装置可具有几厘米到一米或更长的有效范围。从而，如果检测到的与用户的距离是20厘米，则处理器410可向压缩空气型触觉输出装置而不是ESF触觉输出装置发送触觉信号。另外，处理器410可在确定触觉效果时在方框630做出这种确定，例如通过从查找表确定触觉输出装置来做出这种确定。
在一些示例中，贴纸装置400可不包括触觉输出装置。从而，在一个这种示例中，处理器410可利用RF收发器向HMD 320a或者用户采用的其他操纵杆发送触觉信号。
现在参考图7，图7示出了用于利用智能贴纸来触觉化虚拟物体的示例方法700。对图7的描述将参考图3所示的示例系统300、图4所示的示例贴纸装置400和图5所示的示例计算装置500，然而，应当明白，根据本公开可采用任何适当的系统、贴纸装置或计算装置500。
在方框710，与HMD 320a相关联的处理器510从传感器560或多个传感器接收一个或多个传感器信号。在这个示例中，传感器460是摄像头并且(一个或多个)传感器信号包括一个或多个图像。然而，在一些示例中，可采用其他类型的传感器，例如基于激光的条码传感器、RF传感器(例如，NFC、RFID、BT、BLE等等)，等等。如上所述，计算装置500可包括任何数目的传感器来检测用户在真实环境内的定位、朝向、移动等等。从而，在一些示例中，这种定位相关的传感器可被采用来确定用户在真实环境中的定位并且确定与一个或多个贴纸装置的接近度。例如，服务器310可维护真实环境中的每个贴纸装置340a-b的物理位置并且确定用户与贴纸340a-b之间的相对接近度。或者，HMD 320a-b可访问这种信息并且确定用户与贴纸340a-b之间的相对接近度。从而，在一些示例中，处理器510可从这种传感器(例如，加速度计、陀螺仪等等)中的一个或多个接收传感器信号以确定用户在真实环境内的定位。
在方框720，处理器510检测一个或多个贴纸装置340a-b。在这个示例中，处理器510利用在方框710处接收到的一个或多个图像利用训练机器学习物体识别技术来检测贴纸。物体识别技术可被训练来识别贴纸的形状、条码(一维的或多维的)、数字或字母(例如，利用磁墨水字符识别(magnetic ink character recognition，“MICR”)式字体显示的)、与系统300中的贴纸相关联的其他字形或符号。
在一些示例中，处理器510可基于具有其他类型的信息的传感器信号来检测贴纸。例如，HMD的计算装置500可接收BLE信标或广播通信，或者它可通过检测由一个或多个贴纸装置340a-b发出的可见光或者在人类感知范围之外的光(例如，红外线或紫外线)来检测它们。
在一些示例中，HMD的计算装置500可基于从服务器310、360接收的或者计算装置500以其他方式可访问的贴纸信息来检测贴纸。贴纸信息可包括贴纸的定位信息、朝向信息、识别信息、能力(例如，RF通信、触觉输出等等)，等等。HMD 320a可利用定位传感器(例如，加速度计、陀螺仪等等)来确定其在真实环境内的定位和朝向并且基于贴纸信息和所确定的HMD的定位和朝向来确定真实环境内的已知位置处的一个或多个贴纸是否对用户可见。计算装置500随后基于这种确定来检测一个或多个贴纸。
在一些示例中，计算装置500确定与检测到的贴纸相关联的识别信息。例如，计算装置500可从贴纸获得条码或字母数字序列，例如通过从接收自摄像头的一个或多个图像提取这种信息来获得。在一些示例中，计算装置500可基于从贴纸装置接收的RF信号来确定识别信息。在检测到贴纸装置之后，计算装置500可向检测到的贴纸发送RF信号，请求识别信息。计算装置500可结合如上所述接收关于环境中的一个或多个贴纸的定位信息而接收关于这种贴纸的识别信息。
在方框730，处理器510确定与检测到的贴纸装置相关联的虚拟物体。在这个示例中，处理器510基于检测到的贴纸向服务器310请求一个或多个虚拟物体，并且作为响应，接收关于一个或多个虚拟物体的信息。这种信息可包括用于呈现虚拟物体的图形信息、关于存储在存储器520中的一个或多个虚拟物体的识别信息、触觉信息，等等。
在一些示例中，除了确定特定虚拟物体以外，计算装置500还可基于贴纸装置的定位或朝向来确定显示的虚拟物体的大小或朝向。例如，计算装置可确定从HMD到检测到的贴纸的距离，并且确定针对虚拟物体的缩放比例因子以使得虚拟物体的表观大小是基于HMD与贴纸装置之间的距离的。距离信息可基于从贴纸装置接收的信息(例如定位或朝向信息)，或者可以是由HMD 320a-b、服务器310或远程计算装置360确定的。类似地，虚拟物体的朝向可基于从贴纸装置接收的信息来确定，或者基于根据接收到的传感器信号确定的朝向(例如根据接收自摄像头的一个或多个图像确定的朝向)来确定，或者基于真实环境内的被配置为感测贴纸装置的定位或朝向的一个或多个传感器来确定。
在方框740，处理器510生成并发送显示信号到HMD显示器以显示(一个或多个)虚拟物体。虚拟物体可包括用户接口物体、游戏物体(例如，武器、游戏内货币、盔甲、道具等等)、视频游戏内的一个或多个玩家角色或非玩家角色的化身、信息性显示、广告或推广，等等。在一些示例中，虚拟物体可以是静态的并且不随着时间而变化。然而，应当明白，随着用户在真实环境内移动，她在虚拟环境中的视角可变化，这可使得虚拟物体上的视角变化，从而导致显示虚拟物体的不同部分。从而，随着虚拟物体的不同部分被显示，针对静态虚拟物体的显示信号可随着时间而变化。此外，系统300可显示动画的虚拟物体(其中虚拟物体在没有用户交互的情况下移动)，或者显示基于用户交互而变化、从而可随着时间而变化的虚拟物体。
此外，用户可能够与一些虚拟物体交互，例如通过将虚拟物体收集到库存中，激活或解除激活虚拟物体提供的功能，利用虚拟物体改变装置的用户接口设置，移动虚拟物体，用虚拟物体战斗或毁坏虚拟物体，或者以其他方式操纵虚拟物体。为了与这种虚拟物体交互，用户可执行一个或多个手势，物理地接触贴纸装置以提供输入(例如，基于接触的手势，包括基于按压的手势)，采用操纵杆来向计算装置500或服务器310提供一个或多个命令以影响虚拟物体或虚拟环境，等等，这可使得虚拟物体的显示变化。
在方框750，计算装置500确定触觉效果。在这个示例中，处理器510基于显示的虚拟物体来确定触觉效果。例如，处理器510可基于虚拟物体首次被显示(例如首次出现在用户的视野中)来确定触觉效果。在一些示例中，处理器510可基于虚拟物体采取的动作或者与虚拟物体的交互来确定触觉效果。例如，用户可向其前臂或手部施加与虚拟小猫相关联的贴纸。当用户看着贴纸时，她可被呈现以小猫在她的手臂或手上行走的动画。处理器可基于小猫在用户的手臂上行走来确定一个或多个触觉效果。或者，如果贴纸被施加到真实环境中的物体并且与战斗游戏中的防御性系统(例如激光武器)相关联，则处理器510可确定触觉效果来指示用户已被防御性系统检测到或瞄准。
确定触觉效果可包括访问一个或多个查找表来识别与虚拟物体相关联的触觉效果或者与虚拟物体相关联的交互，例如警报、从虚拟物体遭受的伤害、武器开火、虚拟物体的移动，等等。在一些示例中，处理器510可从服务器310、360或者从贴纸装置340a-b接收触觉效果或触觉信号。例如，贴纸装置340a可基于感测到的与用户的交互来确定触觉效果，并且可生成并发送触觉效果到用户的HMD 320，在这里计算装置500基于接收到的触觉效果来确定触觉效果。
在方框760，在确定触觉效果之后，处理器510向触觉输出装置发送触觉信号。在这个示例中，处理器510向计算装置的触觉输出装置530发送触觉信号。然而，在一些示例中，处理器510可经由RF传输来向贴纸装置发送触觉信号以使得贴纸装置输出触觉效果。处理器510可向与另一HMD相关联的计算装置或者向多个不同的装置发送触觉信号以引起触觉效果。
虽然这里的方法和系统的一些示例是按照在各种机器上执行的软件来描述的，但这些方法和系统也可实现为特别配置的硬件，例如特别配置来执行各种方法的现场可编程门阵列(field-programmable gate array，FPGA)。例如，示例可在数字电子电路中实现，或者在计算机硬件、固件、软件或者其组合中实现。在一个示例中，装置可包括一个或多个处理器。处理器包括计算机可读介质，例如耦合到处理器的随机访问存储器(random accessmemory，RAM)。处理器执行存储器中存储的计算机可执行程序指令，例如执行一个或多个计算机程序。这种处理器可包括微处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)以及状态机。这种处理器还可包括可编程电子器件，例如PLC、可编程中断控制器(programmable interrupt controller，PIC)、可编程逻辑器件(programmable logic device，PLD)、可编程只读存储器(programmable read-only memory，PROM)、电可编程只读存储器(electronically programmable read-onlymemory，EPROM或EEPROM)或者其他类似的器件。
这种处理器可以包括可存储指令的介质(例如计算机可读存储介质)或者可以与可存储指令的介质通信，所述指令当被处理器执行时可使得处理器执行本文描述为由处理器实现或辅助的步骤。计算机可读介质的示例可包括但不限于能够向处理器(例如web服务器中的处理器)提供计算机可读指令的电子存储装置、光存储装置、磁存储装置或其他存储装置。介质的其他示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光介质、所有磁带或其他磁介质或者计算机处理器可从其进行读取的任何其他介质。所描述的处理器和处理可在一个或多个结构中，并且可通过一个或多个结构来散布。处理器可包括用于实现本文描述的方法(或方法的一部分)中的一个或多个的代码。
以上对一些示例的描述只是为了说明和描述而给出的，而并不打算穷举或者将本公开限制到所公开的确切形式。在不脱离本公开的精神和范围的情况下，本领域技术人员将清楚对其的许多修改和适应性改变。
本文对示例或实现方式的述及意思是联系该示例描述的特定特征、结构、操作或其他特性可被包括在本公开的至少一个实现方式中。本公开不限于这样描述的特定示例或实现方式。在说明书中的各种地方出现短语“在一个示例中”、“在一示例中”、“在一个实现方式中”或者“在一实现方式中”或者其变体不一定指的是同一示例或实现方式。在本说明书中关于一个示例或实现方式描述的任何特定特征、结构、操作或其他特性可与关于任何其他示例或实现方式描述的其他特征、结构、操作或其他特性相组合。
本文对词语“或”的使用打算涵盖包含性和排他性“或”条件。换言之，A或B或C包括适合于特定用法的以下备选组合的任何一者或全部：A独自；B独自；C独自；仅A和B；仅A和C；仅B和C；以及A和B和C。

Claims (19)

1.一种用于增强现实或虚拟现实中的触觉交互的贴纸装置，包括：
触觉输出装置；
存储有处理器可执行指令的非暂态计算机可读介质；以及
与所述触觉输出装置和所述非暂态计算机可读介质通信的处理器，所述处理器被配置为执行所述处理器可执行指令以进行以下操作：
从传感器接收传感器信号；
基于所述传感器信号来确定触觉效果；并且
向所述触觉输出装置发送触觉信号以使得所述触觉输出装置输出触觉效果。
2.如权利要求1所述的贴纸装置，其中，所述触觉输出装置包括非接触触觉输出装置。
3.如权利要求2所述的贴纸装置，其中，所述非接触触觉输出装置包括超声装置、静电摩擦装置、压缩空气装置。
4.如权利要求1所述的贴纸装置，还包括外壳，其中所述外壳包括识别机制。
5.如权利要求4所述的贴纸装置，其中，所述识别机制是条码、显示器或者射频识别(“RFID”)标签中的至少一者。
6.如权利要求1所述的贴纸装置，还包括外壳，其中所述外壳包括耦合装置来将所述外壳耦合到物体。
7.如权利要求6所述的贴纸装置，其中，所述耦合装置是粘合剂、铁磁材料或者含铁材料。
8.如权利要求1所述的贴纸装置，还包括传感器，其中所述传感器包括摄像头，并且其中所述传感器信号包括一个或多个图像，并且其中所述处理器被配置为执行所述处理器可执行指令以基于所述传感器信号来确定手势。
9.一种装置，包括：
传感器；
存储有处理器可执行指令的非暂态计算机可读介质；以及
与所述传感器和所述非暂态计算机可读介质通信的处理器，所述处理器被配置为执行所述处理器可执行指令以进行以下操作：
从所述传感器接收传感器信号；
基于所述传感器信号来检测用于增强现实或虚拟现实中的触觉交互的贴纸装置；
确定与所述贴纸装置相关联的虚拟物体；并且
输出信号以使得显示装置显示所述虚拟物体。
10.如权利要求9所述的装置，其中，所述处理器被配置为执行所述处理器可执行指令来输出信号以使得所述显示装置在与所述贴纸装置相对应的位置处显示所述虚拟物体。
11.如权利要求9所述的装置，其中，所述处理器被配置为执行所述处理器可执行指令以进行以下操作：
从远程计算装置接收贴纸位置信息；
基于所述传感器信号来确定所述装置在真实环境中的定位和位置信息；并且
基于所述装置的定位和位置信息以及所述贴纸位置信息来检测所述贴纸装置。
12.如权利要求9所述的装置，其中，所述传感器包括摄像头。
13.如权利要求12所述的装置，其中，所述处理器被配置为执行所述处理器可执行指令来确定所述贴纸装置的视觉标识符，并且基于所述视觉标识符来确定所述虚拟物体。
14.如权利要求12所述的装置，其中，所述处理器被配置为执行所述处理器可执行指令以基于所述传感器信号来确定手势。
15.如权利要求9所述的装置，其中，所述传感器包括射频识别(“RFID”)读取器。
16.如权利要求12所述的装置，其中，所述处理器被配置为执行所述处理器可执行指令来从所述RFID读取器接收标识符并且基于所述标识符来确定所述虚拟物体，其中所述标识符是从与所述贴纸装置相关联的RFID标签获得的。
17.如权利要求9所述的装置，其中，所述处理器被配置为执行所述处理器可执行指令来输出信号以使得所述显示装置在与所述贴纸装置相对应的位置处显示所述虚拟物体的动画。
18.如权利要求9所述的装置，其中，所述处理器被配置为执行所述处理器可执行指令以进行以下操作：
响应于确定所述贴纸装置耦合到用户，向所述贴纸装置输出信号以使得所述贴纸输出基于接触的触觉效果；并且
响应于确定所述贴纸装置未耦合到所述用户并且所述贴纸装置在交互范围内，向所述贴纸装置输出信号以使得所述贴纸装置输出非接触触觉效果。
19.如权利要求18所述的装置，其中，所述非接触触觉效果包括超声效果、静电摩擦效果、压缩空气效果。
CN201910132503.7A 2018-02-23 2019-02-22 用于利用智能贴纸触觉化虚拟物体的系统和方法 Pending CN110187754A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/903,837 US20190265792A1 (en) 2018-02-23 2018-02-23 Systems and methods for haptifying virtual objects using smart stickers
US15/903,837 2018-02-23

Publications (1)

Publication Number Publication Date
CN110187754A true CN110187754A (zh) 2019-08-30

Family

ID=65576262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910132503.7A Pending CN110187754A (zh) 2018-02-23 2019-02-22 用于利用智能贴纸触觉化虚拟物体的系统和方法

Country Status (5)

Country Link
US (1) US20190265792A1 (zh)
EP (1) EP3531246A1 (zh)
JP (1) JP2019145103A (zh)
KR (1) KR20190101886A (zh)
CN (1) CN110187754A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114281195A (zh) * 2021-12-27 2022-04-05 广东景龙建设集团有限公司 一种基于虚拟触觉手套的装配石材的选择方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3738108A4 (en) * 2018-01-11 2021-03-03 Access Solutions, LLC SYSTEMS AND PROCESSES ALLOWING AN ACCOUNTABILITY FOR THE EXCLUSION OF FOREIGN COMPONENTS
US10748391B2 (en) * 2018-12-27 2020-08-18 Immersion Corporation Haptic signal conversion system
KR20220012073A (ko) 2020-07-22 2022-02-03 삼성전자주식회사 가상 사용자 인터랙션을 수행하기 위한 방법 및 그 장치
US11790070B2 (en) 2021-04-14 2023-10-17 International Business Machines Corporation Multi-factor authentication and security
US11676311B1 (en) 2021-11-29 2023-06-13 International Business Machines Corporation Augmented reality replica of missing device interface

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9035874B1 (en) * 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
WO2014152729A2 (en) * 2013-03-14 2014-09-25 Matthew Weiner Finger splint system
US9619027B2 (en) * 2013-07-12 2017-04-11 Disney Enterprises, Inc. Using vortices to provide tactile sensations corresponding to a visual presentation
US9600076B2 (en) * 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US9754464B1 (en) * 2015-04-27 2017-09-05 Evernote Corporation Haptic communications
US9934754B2 (en) * 2015-09-30 2018-04-03 Daqri, Llc Dynamic sensor array for augmented reality system
US10102722B2 (en) * 2015-12-18 2018-10-16 Immersion Corporation Wearable article having an actuator that performs non-haptic and haptic operations
US10073525B2 (en) * 2016-06-16 2018-09-11 Immersion Corporation Systems and methods for a low profile haptic actuator

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114281195A (zh) * 2021-12-27 2022-04-05 广东景龙建设集团有限公司 一种基于虚拟触觉手套的装配石材的选择方法及系统
CN114281195B (zh) * 2021-12-27 2022-08-05 广东景龙建设集团有限公司 一种基于虚拟触觉手套的装配石材的选择方法及系统

Also Published As

Publication number Publication date
KR20190101886A (ko) 2019-09-02
EP3531246A1 (en) 2019-08-28
JP2019145103A (ja) 2019-08-29
US20190265792A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
CN110187754A (zh) 用于利用智能贴纸触觉化虚拟物体的系统和方法
JP6906580B6 (ja) ビューポートベースの拡張現実触覚効果のシステム、方法及び非一時的コンピュータ可読媒体
US11360558B2 (en) Computer systems with finger devices
CN110249368B (zh) 混合现实环境中提供虚拟远程控制的可穿戴系统及方法
JP7182851B2 (ja) 位置ベースの触覚効果のためのシステム及び方法
US10732721B1 (en) Mixed reality glasses used to operate a device touch freely
US11045725B1 (en) Controller visualization in virtual and augmented reality environments
AU2018205044B2 (en) Three-dimensional augmented reality object user interface functions
CN104122996B (zh) 用于支持触觉的紧贴式和多面显示器的系统和方法
US20190391647A1 (en) Real-world haptic interactions for a virtual reality user
KR100812624B1 (ko) 입체영상 기반 가상현실장치
CN105739683A (zh) 为增强和虚拟现实应用生成触觉加强的对象的系统和方法
KR20160075333A (ko) 대상들과의 햅틱으로 인에이블되는 상호작용을 위한 시스템들 및 방법들
CN110168475A (zh) 将用户接口装置导入虚拟现实/增强现实的系统
WO2017193829A1 (en) Substrate with electrically conductive patterns that are readable
EP3364272A1 (en) Automatic localized haptics generation system
CN107896508A (zh) 可以作为多个目标/端点（设备）和的整合点的以人为中心的“设备的超ui”体系结构的方法和设备，以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统
US20150331488A1 (en) Non-collocated haptic cues in immersive environments
CN105556423A (zh) 用于基于压力的触觉效果的系统和方法
CN104541225A (zh) 用于衣物显示器的交互式用户接口
US10372216B2 (en) Gesture feedback
WO2015108112A1 (ja) 操作判定装置、操作判定方法、および、プログラム
CN110140100A (zh) 三维增强现实对象用户界面功能
KR101360980B1 (ko) 필기구형 전자 입력장치
Verma et al. Multi-Touch Table With Rfid Technology For Hotels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190830