CN108434726A - 自动局部触觉生成系统 - Google Patents

自动局部触觉生成系统 Download PDF

Info

Publication number
CN108434726A
CN108434726A CN201810040801.9A CN201810040801A CN108434726A CN 108434726 A CN108434726 A CN 108434726A CN 201810040801 A CN201810040801 A CN 201810040801A CN 108434726 A CN108434726 A CN 108434726A
Authority
CN
China
Prior art keywords
haptic
video
output devices
user
haptic output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810040801.9A
Other languages
English (en)
Inventor
伍黎雯
J·萨伯恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN108434726A publication Critical patent/CN108434726A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

动态生成局部触觉效果的方法和系统，包括接收视频数据和检测所述视频数据内的视频事件。收集至少包括所检测的视频事件的位置和类型的信息。收集的信息至少还包括在所述视频数据中的用户的化身的位置和方向。确定第一和第二触觉输出设备的方位。针对第一和第二触觉输出设备动态生成触觉效果，其中动态生成触觉效果基于第一和第二触觉输出设备的方位、与视频事件的位置和类型有关的用户的化身的位置和方向。

Description

自动局部触觉生成系统
技术领域
一个实施例总体上涉及触觉系统，并且特别地涉及自动局部触觉生成系统。
背景技术
触觉是可触知和力反馈技术，其通过向用户施加诸如力、振动和运动的触觉反馈效果(如，“触觉效果”)来利用用户的触觉。诸如移动设备、触摸屏设备和个人计算机的设备可以配置为生成触觉效果。一般来说，可以在设备的操作系统(“OS”)内对能够生成触觉效果的嵌入式硬件(诸如致动器)的调用进行编程。这些调用指定要播放的触觉效果。例如，在用户使用例如按钮、触摸屏、杆、操纵杆、方向盘或一些其他控件与设备交互时，设备的OS可以通过控制电路发送播放命令至嵌入式硬件。然后嵌入式硬件产生适当的触觉效果。
发明内容
在本公开的实施例中，展示了动态生成局部触觉效果的方法。该方法包括接收视频数据和检测该视频数据内的视频事件。该方法继续收集包括至少所检测的视频事件的位置和类型的信息。该方法还包括收集包含在视频数据中的至少用户化身的位置和方向的信息。确定第一和第二触觉输出设备的方位。该方法然后动态地生成第一触觉输出设备的第一触觉效果和第二触觉输出设备的第二触觉效果，其中第一和第二触觉效果的动态生成基于第一和第二触觉输出设备的方位、与位置及视频事件的类型有关的用户化身的位置和方向。
附图说明
结合本文并形成说明书一部分的所附附图示出了本发明，并与说明书一起进一步用作解释本发明的原理并使相关领域技术人员能够制造和使用本发明。
此外，参考编号的最左侧数字识别了参考编号最先出现的附图(如，参考编号“310”指示这样编号的元件最先标注或最先出现于图3)。此外，具有相同参考编号的元件，随后有字母表中的不同字母或其他有区别的标记(如，撇号)，指示在结构上、操作上或形式上相同的元件，但可能标记为在空间的不同方位或者在不同的时间点重现。
图1示出了根据本公开的实施例的计算机/服务器系统的框图。
图2是根据本公开的实施例的局部触觉生成系统的框图，局部触觉生成系统检测事件、收集事件和用户数据、确定触觉输出设备的方位并动态生成局部触觉。
图3是根据本公开的实施例的触觉输出设备在用户上布置的立体说明图。
图4是根据本公开的实施例的三维游戏空间中的视频事件和化身的图示，其中化身的多个坐标映射至用户上的真实世界触发点。
图5是根据本公开的实施例的用户的或与视频事件有关的用户的化身的多个方向的立体说明图。
图6是根据本公开的实施例的在三维游戏空间中的在与图4相比在旋转位置的视频事件和化身的图示，其中化身的多个坐标映射至用户上的真实世界触发点。
图7是根据本公开的实施例的在自动生成局部触觉时的图1的系统的功能流程图。
具体实施方式
一个实施例提供了在三维虚拟现实(“VR”)环境中的环绕触觉播放。在一个实施例中，多个触觉输出设备连同三维VR视频系统实施，以基于视频内用户化身的位置和定位来定制触觉经验。在一个实施例中，接收视频数据并检测视频数据内的视频事件。基于化身的位置，多个触觉输出设备的位置、所检测的视频事件的类型和视频事件的位置和定位，针对每一个触觉输出设备生成动态局部触觉。
虽然本文所描述的实施例是针对特定应用的示意性实施例，但是应当理解的是本发明不限本文。本领域技术人员结合本文提供的教导将认识到在其范围内的其他修改、应用和实施例以及本发明将具有显著实用性的其他领域。
图1示出了根据实施例的系统100的框图。在一个实施例中，系统100是设备的一部分，并且系统100基于设备所检测的视频事件提供自动触觉效果。在另一实施例中，系统100与设备分开，并基于设备所检测的视频事件远程提供自动触觉效果。虽然显示为单个系统，但是系统100的功能可以实现为分布式系统。系统100包括用于传达信息的总线115或其他通信机构及耦合至总线115以处理信息的处理器111。处理器111可以是任何类型的一般的或特定的专用目的处理器。系统100进一步包括存储器116，存储器116用于储存待由处理器111执行的信息和指示。存储器116可以由以下任意组合构成：随机存取存储器(“RAM”)、只读存储器(“ROM”)、诸如磁盘或光盘的静态存储器或者任意其他类型的计算机只读介质。
计算机只读介质可以是任意可用暂态介质和非暂态介质，其可以由处理器111进行存取并可以包括易失性介质和非易失性介质二者、可移除和不可移除介质、通信介质及存储介质。通信介质可以包括计算机可读指示、数据结构、程序模块或诸如载波或其他传输结构的调制数据信号中的其他数据，并且可以包括本领域已知的其他任何形式的信息传递介质。存储介质可以包括RAM、闪存存储器、ROM、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、寄存器、硬盘、可移除磁盘、光盘只读存储器(“CD-ROM”)或本领域已知的其他任何形式的存储介质。
在一个实施例中，存储器116储存软件模块，软件模块提供处理器111执行时的功能。在实施例中，模块包括对系统100提供操作系统功能的操作系统117以及设备的其余部分。模块进一步包括自动检测视频事件的视频事件检测模块118，如以下更具体公开的。在某些实施例中，视频事件检测模块118可以包括多个模块，其中每一个单独模块提供用于检测视频事件的特定单独功能。例如，视频事件检测模块118可以包括检测模块，检测模块基于颜色和运动分析、视觉测程法或运动传感器(如，可穿戴心率传感器、雷达速率检测器等)或任意其他外部传感器来检测事件。数据收集器模块119配置为收集与所检测的视频事件相关联的数据，该数据包括与视频数据内的用户化身有关的信息。所收集的有关用户的数据包括化身的位置、面对方向、头部旋转和任意其他动作。所收集的数据还可以包括通过使用与外部传感器与用户相关联的数据，该数据可以单独使用或结合与化身相关联的数据使用。可以使用视觉测程法或外部传感器来分析用户或者化身的动作。所收集的有关所检测的视频事件的数据可以包括目标事件的捕获、事件开始和结束时间及三维空间中事件位置/坐标。位置/坐标也可以相对于用户或用户化身来表示。
系统100一般还包括一个或多个额外的应用模块120以包括额外的功能，诸如Immersion Corp.的“触感”应用，其将触摸效果与音频/视频输入集成。
在从远程源传送和/或接收数据的实施例中，系统100进一步包括诸如网络接口卡的通信设备113，以提供移动无限网络通信，诸如红外线、无线电、Wi-Fi或蜂窝网络通信。在其他实施例中，通信设备113提供了有线网络连接，诸如以太网连接或调制解调器。
处理器111进一步经由总线115耦合至显示器121，诸如液晶显示器(“LCD”)，以用于向用户显示图形表示或用户界面。显示器121可以是触摸感应输入设备，诸如触摸屏，其配置为从处理器111发送和接收信号，以及可以是多触摸触摸屏。处理器111可以进一步耦合至键盘或光标控制124(诸如鼠标或光笔)，其允许用户与系统100交互。
在一个实施例中，系统100进一步包括致动器122。处理器111可以将与所生成的触觉效果相关联的触觉信号传送至致动器122，致动器122转而输出触觉效果，诸如触觉振动触觉效果、静电摩擦触觉效果或变形触觉效果。致动器122包括致动器驱动电路。致动器122例如可以是电动机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机(“ERM”)、线性谐振致动器(“LRA”)、压电致动器、高带宽致动器、电活性聚合物(“EAP”)致动器、静电摩擦显示器或超声振动生成器。在可替换的实施例中，系统100可以包括一个或多个额外的致动器，除了致动器122(在图1中未示出)。致动器122是触觉输出设备的示例，其中触觉输出设备是配置为响应驱动信号输出触觉效果的设备，诸如触觉振动触觉效果、静电摩擦触觉效果或变形触觉效果。在可替换实施例中，致动器122可以用一些其他类型的触觉输出设备替换。进一步地，在其他可替换实施例中，系统100可以不包括致动器122，与系统100分开的设备包括致动器或生成触觉效果的其他触觉输出设备，并且系统100通过通信设备113向该设备发送生成的触觉效果信号。
系统100可以进一步可操作耦合至数据库130，其中数据库130可以配置为储存存储器116使用的数据。数据库130可以是操作数据库、分析数据库、数据仓库、分布式数据库、终端用户数据库、外部数据库、引导数据库、内存数据库、面向文件数据库、实时数据库、相关数据库、面向对象数据库或本领域已知的任意其他数据库。
在一些实施例中，系统100进一步包括一个或多个扬声器126。处理器111可以传送音频信号至扬声器126，扬声器126转而输出音频效果。扬声器126例如可以是动态扩音器、电动力扩音器、压电扩音器、磁致伸缩扩音器、静电扩音器、带状和平面磁性扩音器、弯曲波扩音器、扁平面板扩音器、海尔空气运动变换器、等离子弧扬声器和数字扩音器。
在一个实施例中，系统100进一步包括传感器128。传感器128可以配置为检测能量或其他物理性能的形式，诸如但不限于加速度、生物信号、距离、流量、力/压力/张力/弯曲、湿度、线性位置、方向/倾角、无线电频率、旋转位置、旋转速度、开关操作、温度、振动或可见光强度。传感器128可以进一步配置为将所检测的能量或其他物理性能转换为电信号或表示虚拟传感器信息的任何信号。传感器128可以是任何设备，诸如但不限于加速器、心电图、脑电图、肌电图、眼电图、电子颚位图、皮肤电响应传感器、电容传感器、霍尔效应传感器、红外传感器、超声传感器、压力传感器、光纤传感器、曲率传感器(或弯曲传感器)、力感应电阻器、测压元件、LuSense CPS2 155、微型压力变换器、压电传感器、应变计、湿度计、线性位置触摸传感器、线性电位计(或滑动器)、线性可变微分变压器、指南针、测斜仪、磁标签(或无线电频率识别标签)、旋转编码器、旋转电位计、陀螺仪、通断开关、温度传感器(诸如温度计、热电偶、电阻温度检测器、热敏电阻或温度变换集成电路)、麦克风、光度计、测高仪、生物监测器或光敏电阻器。
通常，从感测多媒体数据(包括音频和/或视频数据)生成触觉效果的自动触觉转换算法缺乏针对特定事件的定制的或定做的效果。本公开所展示的实施例使用各种检测和相关联的算法技术针对特定视频事件自动注入了动态定做触觉效果的能力。
一般来说，一些已知的系统可以在虚拟的或增强的现实环境中提供触觉效果。虚拟现实指的是使用软件通过使得用户使用专用显示屏、投影仪或其他设备与空间和本文所描述的物体能够交互来生成现实图像、声音和其他感觉，其在这个环境中复制现实环境(或创建虚构设置)并仿真用户的物理“存在”。虚拟现实可以通过诸如来自Facebook的OculusRift、来自Sony的Project Morpheus和来自Samsung的Gear VR的系统来提供。增强的现实指的是物理真实世界环境的现场直接或间接视图，其元素通过计算机生成的感官输入(诸如声音、视频、图形、GPS数据等)增强(或增补)。增强的现实可以通过智能眼镜来提供，智能眼镜诸如来自Google的谷歌眼镜、来自Daqri的Daqri智能头盔或来自Epson的Moverio。此外，混合现实(还称为混和现实)指的是合并真实和虚拟世界以产生新的环境和可视化，其中物理和数字虚拟物体共存并实时交互。与增强的现实不同，混合现实中的虚拟物体与真实物体交互并且不仅仅作为在真实物体顶部的虚拟覆盖物而被添加。混合现实可以通过诸如来自Microsoft的HoloLens的系统来提供。
一些已知的系统经由预先配置的控制器提供触觉反馈至虚拟的、增强的或混合的现实系统的用户。然而，由每一个这些已知的系统提供的触觉反馈限于并约束于伴随每一个系统的预先配置的控制器。进一步地，虽然这些控制器中的一些控制器(诸如“Vive”和“Touch”)使用相同类型的致动器，但其每一者实现不同的专有应用编程接口(“API”)方法以用于唤醒(calling)电机并发送电压至电机。因此，在一个设备上通过触觉反馈提供的感受可能与在其他设备上通过触觉反馈提供的感受不同。
与已知系统相反，本公开中的实施例允许用户感受添加给其用户感受的触觉反馈，以使得用户可以基于虚拟环境中的虚拟化身位置、用户的触觉输出设备位置、事件类型和事件位置，体验更逼真的基于环境的触觉环境。进一步地，一般来说，从感应的多媒体数据(包括音频和/或视频数据)生成触觉效果的自动触觉转换算法缺乏对基于与视频事件相关的用户的位置和定位的特定事件的定制的或定做的三维效果。本公开所展示的实施例自动注入了该能力并针对特定视频事件动态定做了三维现实的触觉效果。
图2是根据实施例的触觉效果生成系统200的框图。触觉效果生成系统200包括事件检测器210、事件数据收集器220、用户数据收集器230、致动器测定器240、动态触觉生成器250、致动器系统260和致动器265。图2的部分或所有可以通过图1的系统100来实现。
事件检测器210接收视频数据。视频数据可以是媒体文件、包括视频内容的数据流或任意其他类型的媒体内容文件。然而，最低限度，视频数据包括一些视频内容。一旦接收到视频数据，事件检测器210就会检测包含在所接收的视频数据内的视频事件。这种检测通过使用处理视频数据(包括视频和音频二者)的视频处理算法来完成。这种算法在所接收的视频数据内可以基于颜色和运动分析，或者基于视觉测程法、或基于运动传感器或任意其他外部传感器，其识别视频事件(也称为目标事件)的开始时间和结束时间。进一步地，事件感应还可以手动完成，例如在接收数据流之前通过操作员或监护人的人为干预。自动检测还可以仅使用视频数据和/或音频数据来完成。
事件数据收集器220包括捕获和收集有关所检测事件的数据的视频处理算法。该数据包括事件的三维位置。可替换地，不仅绝对位置，事件数据收集器220内的算法可以确定相对位置，诸如观察者与事件之间的距离和角度定位。事件数据还可以包括任意事件属性或其他特征，诸如时间戳、暂时传播、空间传播、事件跨度、事件性质等。在实施例中，观察者实际上是在虚拟现实环境中的用户化身。
在另一实施例中，事件数据参数可以例如通过设计者手动完成。这种能力使得能够设计观察者无法看见的事件(例如地震)的触觉效果，或者发生在观察者现场范围之外的大爆炸。进一步地，事件数据参数还可以通过外部传感器来捕获。事件数据还可以通过使用源编码和在三维视频或游戏内发现的其相关联的参数来收集。
在收集事件数据之后，用户数据收集器230用于收集有关用户、观察者或玩家的信息。用户数据收集器230收集包括观察者/玩家的位置或视频中观察者/玩家的化身的位置的数据。这可以包括面对方向、头部姿势和玩家/观察者的身体或化身的任意其他部分的姿势。在一些实施例中，实际的观察者的方位和方向独立于化身的方位和/或方向。在其他实施例中，化身的方位和方向依赖于真实世界中观察者的方位和方向，在三维视频中的用户数据收集器230可以使用视频测程法技术或外部传感器分析观察者的动作。并且，如采用事件数据收集器220一样，用户数据收集器230可以收集来自源代码的用户数据。
致动器测定器240配置为确定触觉输出设备或致动器的数量、方位和类型。设备或致动器的布置、类型和数量确定了局部触觉的品质。设备的数量越多，用户的局部触觉的感觉就越好。触觉输出设备可以位于用户身上，诸如通过可穿戴技术的用户，嵌入在手持控制器内或集成至诸如椅子或其他家具之类的物体中。此外，少量的致动器能够通过使用触觉幻觉技术产生合理的局部触觉。
动态触觉生成器250基于事件检测器210、事件数据收集器220、用户数据收集器230和致动器测定器240的输出来针对触觉输出设备动态生成触觉效果命令。动态触觉生成器250基于目标事件和/或观察者的动作和/或观察者/玩家的化身来生成效果。动态触觉生成器250分析可用触觉输出设备(如，致动器)的数量和位置来确定即将针对每一个触觉输出设备提供的适当类型的动态局部触觉效果。进一步地，动态触觉生成器250可以针对每一个触觉输出设备实时地动态产生局部触觉效果。例如，如果用户/玩家和/或用户/玩家的化身在所检测视频事件期间进行了运动，那么局部触觉效果将基于改变的运动进行修改。例如，如果在化身前面存在爆炸，那么用户会在其身体的前面感觉到响应，并且接着如果化身转向左边，那么触觉效果会移动至用户身体的右侧。
在另一实施例中，Lisa正在观看三维动作电影。她通过感受到局部触觉知道爆炸的方向和距离，这使她的感觉好像她处于真实情景。当她在电影中改变她观察的点时，局部触觉将相应地改变。在另一示例中，Mike正在玩三维游戏。他可以估计在游戏中怪物在他后面多远或者在不需要转头的情况下通过局部触觉估计在他左侧/右侧。局部触觉在他跑离怪物或接近怪物时将自动改变，或者在游戏中改变他的方向。
致动器系统260从动态触觉生成器250接收触觉命令或指示并操作产生所需触觉效果的致动器265。致动器系统260还包括一个或多个驱动器。
图3是根据实施例的在局部触觉系统300中在用户上的触觉输出设备的可能位置的示意。局部触觉系统300包括在用户310上的触觉输出设备和/或传感器。触觉输出设备或传感器的位置称为致动点。在实施例中，用户310示出了致动点312的方位，致动点312包括在用户310的头部、胸部、左手和右手及左脚和右脚上的312-1至312-7。位置不限于用户310上的任意特定方位，而仅处于示出的目的而显示。以相同的方式，致动点可以是用户310的身体的任意部分。
每一个致动点312可以包括触觉致动器以及与致动器测定器240进行通信(如，无线或通过有线)的功能。每一个致动点312还包括电子器件和软件以驱动其触觉致动器。触觉致动器可以根据本文所描述的实施例来提供触觉功能。例如，触觉致动器可以提供包括振动、变形、加热、ESF或本领域已知的任意其他类型的触觉致动的触觉反馈。进一步地，可以应用一个或多个其他触觉输出设备以向用户310提供额外的触觉反馈。例如，振动致动器可以嵌入至地砖，以使得其可以传送振动至用户310的脚。作为另一示例，超声发射器可以嵌入至墙壁，以使得其可以投射触觉效果给用户310。作为另一示例，珀尔帖单体可以在增强现实环境中嵌入物理物体(如，门把手)，以使得其可以在用户310触摸时改变其温度。可替换地或额外地，手柄控制器340、智能电话330、触摸板设备320或包括触觉致动器的任意其他设备可以用于向用户310提供额外的触觉效果。
在实施例中，一旦致动点312通过有线或无线通信连接至致动器系统260，其就可以接收用于提供触觉效果的命令。它还可以与致动器测定器240通信以提供各种信息，例如，关于其能力、其传感器读数等的信息。
在实施例中，致动点312可以包括不同的触觉致动器类型，诸如振动致动器、动觉致动器、复合致动器(一个设备包括一个以上的致动器类型)、可穿戴的、投射的触觉等。
在实施例中，局部触觉系统300实现了位置感应功能并追踪相互相对的以及在三维虚拟空间中的致动点312的方位。任何已知的感应功能的位置可以在局部触觉系统300中实现以追踪致动点312，诸如磁力追踪(测量在各个方向上的磁场的强度)、声追踪(测量其采用已知声信号来到达已知接收器的时间)、惯性追踪(使用加速计和陀螺仪)、光学追踪(使用各种照相机来获取位置信息)等，或者任意其他接近感应功能(在没有任何物理接触的情况下检测附近物体的出现)。在一个实施例中，例如，局部触觉系统300包括一个或多个远程传感器，诸如实现位置和运动追踪功能并检测用户310的出现和/或检测用户310的各个身体部分的照相机或深度传感器。
图4是根据实施例的局部触觉生成系统400。局部触觉生成系统400示出了包括视频事件的三维游戏空间410，视频事件现实为虚拟爆炸点415、三维游戏空间中的化身420和真实世界中的对应用户422。化身420用采样致动点430-1A至430-8A显示。化身的致动点对应于显示为430-1B至430-8B的用户422上的真实世界致动点。进一步地，矢量440指示从虚拟爆炸点415至化身致动点430-1A—430-8A中的每一者的方向和距离。
局部触觉生成系统400首先检测和识别在图4中显示为在虚拟爆炸点415发生的虚拟爆炸的事件。系统识别事件并指定事件的类型，诸如是碰撞还是爆炸。系统还识别事件的量级或范围，诸如其是小爆炸还是大爆炸。系统还指定虚拟爆炸点415在三维游戏空间410中的绝对坐标，或者它计算矢量440-1—440-7，以确定从虚拟爆炸点415至化身420上的每一个致动点430-1A—430-8A的相对距离。矢量440-1—440-7还可以表示从虚拟爆炸点415至化身420上的每一个致动点的强度。系统400还可以包括基于与事件的距离定义虚拟爆炸点415的强度的空间传播跨度，诸如用户可以在100米的半径中感受到爆炸，其中爆炸的强度从爆炸中心指数减少。系统400还检测虚拟爆炸点415的开始和停止时间。系统400还可以确定暂时传播跨度，例如其中事件即将被感受30秒的时间，但是开始的5秒是最强的。
系统400所检测的属性可以与视频一起保存为单独的轨道或文件，或嵌入至三维视频本身。
在实施例中，系统400使用计算机视觉方法通过分析360度视频帧检测事件415。检测可以使用所有相同的时间戳的一个帧或多个帧来完成，其包括360度视角。这种分析还可以使用相同时间戳的帧或者来自单个或多个视角(包括360度视频)的多个连续帧来执行。为此，可以使用文献中使用的常用计算机视觉技术，诸如深度学习、模式匹配、光流分析、颜色和运动特性分析等。一旦检测到事件，其三维方位就可以使用关于相同时间戳的不同视角的帧来估计，诸如立体声视觉技术或多角度场景重建。事件的一些特征还可以通过相同途径来确定，诸如事件的大小。通过分析向用户显示的帧，在事件对用户可见的情况下和/或使用在三维视频引擎中可用的任意其他帧的情况下，系统400的这种检测可以在用户观看视频时实时运行。检测还可以离线执行。
在另一有关三维VR游戏的实施例中，在给定游戏场景的情况下，可以实时估计事件的三维方位，诸如玩家投掷在与投掷的速度和强度有关的方位处爆炸的投掷物。事件的特征因此通过游戏引擎来提供。系统400还可以使用之前所描述的相同计算机视觉方法在游戏中提供事件的自动实时检测。进一步地，游戏设计者可以提前指定事件特征的一部分，而其他部分可以通过系统400来估计。此外，事件不限于爆炸或碰撞而是用户与虚拟环境的任何具体交互，包括某物仅触摸物体。
系统400示出了观察者的三维状态。用户422在如化身420所显示的三维游戏空间410中的位置和定位可以直接通过三维视频引擎来提供。在另一实施例中，用户422在真实世界中的三维位置和定位可以使用多个传感器来完成，诸如加速计、陀螺仪、RFID、光学追踪等，还将该位置提供给系统400或者提供给之前所讨论的动态触觉生成器250。用户422的状态可以包括在绝对或相对参考坐标中的三维位置并且可能仅仅指用户422的方位或者通过参考多个身体部位的方位和方向更加局部化，或者指每一个致动点(如，430-1B—430-8B)的方位。
使用动态触觉生成器(诸如动态触觉生成器250)的系统400分析所检测的事件的特征、用户的状态、可用触觉回放设备并生成相应的适当的触觉效果。触觉效果包括传递给用户的一个或多个触觉提示的组合，诸如可触知振动、ESF、动觉、热量、超声、吹气、变形等。实际上，系统400可以生成具有特定特征的效果，诸如触觉提示的类型、频率、持续时间和强度。
这种效果和特征可以基于以下特征：
■用户422或化身420的相对接近度以及使用事件和用户的三维方位来估计的事件；
·如，在越接近时效果越强vs.在离得越远时效果越弱；
■用户422或化身420的视野；
·如，面对事件或未使用用户的头部三维定位来估计，例如其中用户422或化身420查看由较强效果转化的事件；
■事件的性质；
·如，爆炸与碰撞意味着不同的振动频率、通过热反馈转化的触发事件；
■事件的量级；
·如，小爆炸导致较弱效果vs.强爆炸；
■可用的触觉回放设备的性质；
·如，如果可以的话决定显示热反馈，或者如果没有可用的导热片，用可触知振动效果代替它；
·用户的身体部分位置；
◆如，如果用户的手足够接近三维触发事件，用户会感受到效果与如果手接近身体，用户不会有任何感受；
■触觉回放设备的分布；
·如，事件接近用户的脚所以它仅在附着至脚的设备上被感受到或者在该设备上感受更强烈并且在与设备有关的其他身体部分上感受更弱。
总之，关于局部触觉生成的系统400以智能的方式结合所有可用信息，以向用户提供尽可能多的沉浸经历。此外，触觉效果可以动态生成和更新，从而反应出在这种情况下的任何改变，诸如用户422或化身420的运动，其中运动接近虚拟爆炸点415会导致增强强度的效果。
在另一实施例中，系统400在生成触觉效果时考虑到了触觉设计者的意图。例如设计者可以表达以下意图：诸如“如果爆炸和用户的手隐藏了他的/她的脸，他/她将在他的/她的手上感受到触觉效果”或者“用户应当感受到非常远的爆炸的高强度，即使他距离爆炸中心有100km”。因此设计者意图可以优先于以上所描述的自动生成。
可以实时生成触觉效果并沿着三维视频或在玩游戏期间和/或局部离线时(即，保存在嵌入到视频的时间轴/轨道或分开)回放触觉效果，因为考虑到事件的一些已知特征(如，效果的类型)系统可以预先生成部分效果并然后考虑到用户相对事件的方位生成即将显示的最终效果。例如系统可以规定使用50ms可触知振动的效果与60Hz的频率来增强爆炸，其强度稍后实时确定，这考虑用户在3D游戏空间410接近。
系统400示出了在相同的相对位置上用户422和化身420。如所讨论的，用户422和化身420的位置可以相互依赖。然而，这种依赖不是必须的。图5示出了根据实施例描述了化身420的多个不同的面对位置。例如，位置510与图4中的化身420相同。然而，位置512-524显示了从前向位置开始并以45度增量顺时针旋转的八分之一圈。化身的运动不限于描述并还显示了用户和化身的物理位置可以是独立的。
用户与化身422的位置可以在三个不同场景中进行查看。第一个场景是用户运动导致化身422的运动，其中化身422表示虚拟显示空间中的用户。第二个场景是化身422和用户的运动是独立的，诸如化身422转身，但是用户不运动。第三个场景是化身422不存在(诸如在虚拟现实环境中的第一人称视角)。在该场景中，用户的运动、手势和/或感应信息会命令用户在虚拟现实空间中的位置。进一步地，虚拟现实环境可以在用户没有任何运动的情况下将用户和/或化身(如，给定游戏玩法或动画序列)“虚拟传递”至虚拟现实空间中的任意三维方位，其中方位由虚拟现实渲染器提供。此外，脑机接口(“BCI”)还可以用于由用户控制化身422。
图6是根据实施例的局部触觉生成系统600。局部触觉生成系统600示出了包括视频事件(显示为虚拟爆炸点615)的三维游戏空间610、三维游戏空间中的化身620和真实世界的对应用户422(参见图4)。化身620用采样致动点630-1A至630-8A显示。化身的致动点对应于用户422上的真实世界致动点，用户422显示为630-1B至630-8B。进一步地，矢量640指示从虚拟事件点615到每一个化身致动点630-1A—630-8A的方向和距离。
系统600与图4所描述的系统400几乎一样。然而，当用户422如图4在相同的位置和方向显示时，化身620已经顺时针旋转了45度。在运动时，已经改变了矢量640所指示的距离。例如，化身620的右侧的致动点(如，630-3A、630-5A、630-7A)与事件点615可能比图4中的相对点更远。以同样的方式，化身620的左侧的致动点(如，630-4A、630-6A、630-8A)与事件点615可能比图4中的相对点更近。因而，靠近的致动点会接收比那些远离的致动点更强强度的触觉。此外，从定时的角度来看，更靠近事件点615的致动点会感受到比距事件点615更远的致动点更早感受到触觉效果。
图7是根据实施例用于局部触觉的自动生成的具有图1的系统100的功能的流程图700。在一个实施例中，图7的流程图的功能通过储存在存储器中的软件或者其他计算机可读或有形介质实现，并由处理器执行。在其他实施例中，功能可以通过硬件(如，通过使用专用集成电路(“ASIC”)、可编程门阵列(“FPGA”)、现场可编程门阵列(“FPGA”)等)或硬件和软件的任意组合来执行。
流程图700开始于710，在710接收视频数据。如图2所讨论的，视频数据可以是任意类型或协议，但至少包括视频数据。在实施例中，通过通信设备113接收视频数据并在数据库130中存储，其中处理器111可以开始分析所接收的视频数据。
在720，检测一个或多个视频事件。该检测使用视频事件检测模块118来完成，基于颜色和运动分析或基于视觉测程法或运动传感器或其他任何外部传感器，视频事件检测模块118可以利用包括事件检测的各种事件检测算法，这种检测识别在所接收的视频数据中的视频事件的开始时间和结束事件，视频事件也称为目标事件。
在730，收集事件数据。事件数据包括视频处理算法，视频处理算法捕获和收集关于所检测事件的数据。该数据包括事件的三维位置。或者，除了绝对位置，事件数据收集器220内的算法确定相对位置，诸如观察者与事件之间的距离和角度方向。在另一实施例中，事件数据参数可以例如由设计者手动完成。进一步地，事件数据还可以包括任意事件属性或者其他特征，诸如时间戳、暂时传播、空间传播、事件跨度、事件的性质等。
在740，收集用户数据。用户数据的收集可以通过使用用户数据收集器230来完成，以收集包括视频中观察者/玩家的位置或观察者/玩家的化身的位置的数据。这可以包括面对方向、头部姿势和玩家/观察者的身体或化身的任意其他部分的姿势。
在750，收集并确定致动器信息。可以使用致动器测定器240来收集并确定信息，包括确定触觉输出设备或致动器的数量、方位和类型。如所讨论的，触觉输出设备可以定位在用户上，例如通过可穿戴技术的用户，嵌入在手持控制器内，或集成到诸如椅子或其他家具的物体中。此外，少量致动器能够通过使用触觉幻觉技术来产生合理的局部触觉。
在760，基于所收集的视频事件数据、观察者/玩家信息和致动器数据来动态生成触觉命令集合。该动态生成可以通过使用动态触觉生成器250来完成，动态触觉生成器250基于目标事件和/或观察者的动作和/或观察者/玩家的化身来生成触觉命令。动态触觉生成器250分析可用触觉输出设备(如，致动器)的数量和位置以确定合适类型的即将向每一个触觉输出设备提供的动态局部触觉效果。进一步地，动态触觉生成器250可以针对每一个触觉输出设备实时地动态产生局部触觉效果命令。
在770，生成动态生成的触觉命令。该触觉效果生成可以使用致动器系统260来完成，致动器系统260从动态触觉生成器250接收触觉命令或指示并操作产生所需要的触觉效果的致动器265。
在780，分析在观察者/玩家中信息的任意改变。如果检测到改变，则在785更新观察者/玩家信息，以生成更新的触觉命令。例如，所感受的触觉效果可以动态生成并更新以反应诸如用户422或化身420的运动的状况的改变，其中接近虚拟爆炸点415的运动导致增大强度的效果。
如果在780中不存在已经改变的观察者/玩家信息，则实施例朝向790以查看在视频数据中是否存在任何额外的触觉帧或命令。方法将继续循环并处理所有剩余的视频事件。在完成时进程结束。
如所讨论的，已经公开了包括通过接收视频数据的动态生成局部触觉效果的实施例，视频数据包括对应于视频数据的用户的化身。检测视频数据中的视频事件并且收集有关事件和化身的信息。该信息可以包括所检测的视频事件的位置和类型以及化身的位置和方向。然后基于在用户上触觉输出设备的方位、与位置和视频事件的类型有关的化身的位置和方向来动态生成触觉效果。
本文特别示出和/或描述了几个实施例。然而，应当理解的是，在不脱离本发明的精神和预期范围的情况下，所公开的实施例的修改和变化被上述的教导所涵盖并在所附权利要求的范围内。

Claims (20)

1.一种产生触觉效果的方法，包括：
接收视频数据，所述视频数据包括具有对应于所述视频数据的用户的化身位置和方向的化身；
检测所述视频数据内具有视频位置和事件类型的视频事件；
确定与所述用户相关联的第一触觉输出设备的第一位置和第二触觉输出设备的第二位置；以及
基于所述事件类型、第一位置和第二位置以及与所述视频位置有关的所述化身位置和方向，用所述第一触觉输出设备产生第一触觉效果并用所述第二触觉输出设备产生第二触觉效果。
2.根据权利要求1所述的方法，其中检测所述视频事件包括自动生成所述视频事件的开始事件、结束事件和三维位置。
3.根据权利要求2所述的方法，其中所述三维位置是所述化身与所述视频事件之间的相对位置和方向。
4.根据权利要求1所述的方法，其中所述检测所述视频事件利用外部传感器。
5.根据权利要求1所述的方法，其中所述检测所述视频事件利用源代码。
6.根据权利要求1所述的方法，其中检测所述视频事件包括手动生成所述视频事件的开始时间、结束时间和三维位置。
7.根据权利要求1所述的方法，其中收集包括所述化身位置和方向的信息，包括面对方向和头部旋转。
8.根据权利要求7所述的方法，其中所述化身位置和方向独立于所述用户的实际位置和方向。
9.根据权利要求7所述的方法，其中所述化身位置和方向依赖于所述用户的实际位置和方向。
10.根据权利要求1所述的方法，其中所述第一触觉输出设备的所述第一位置和所述第二触觉输出设备的所述第二位置包括在所述用户上的布置的确定。
11.根据权利要求1所述的方法，其中针对所述第一触觉输出设备生成的所述第一触觉效果不同于针对所述第二触觉输出设备生成的所述第二触觉效果。
12.根据权利要求1所述的方法，其中所述第一触觉输出设备在时间的强度方面不同于所述第二触觉效果。
13.根据权利要求1所述的方法，其中所述第一触觉效果和所述第二触觉效果的生成由于所述化身的位置和方向的改变而被修改。
14.根据权利要求1所述的方法，其中使用虚拟现实来生成所述视频数据。
15.一种在其上存储有指示的计算机可读介质，在由处理器执行时，使所述处理器生成触觉效果，所述生成包括：
接收视频数据，所述视频数据包括具有对应于所述视频数据的用户的化身位置和方向的化身；
检测所述视频数据内具有视频位置和事件类型的视频事件；
确定与所述用户相关联的第一触觉输出设备的第一位置和第二触觉输出设备的第二位置；以及
基于所述事件类型、第一位置和第二位置以及与所述视频位置有关的所述化身位置和方向，用所述第一触觉输出设备产生第一触觉效果并用所述第二触觉输出设备产生第二触觉效果。
16.根据权利要求15所述的计算机可读介质，其中所述第一触觉效果和所述第二触觉效果的生成由于所述化身位置和方向的改变而被修改。
17.一种触觉效果生成系统，包括：
事件检测器，配置为接收视频数据和检测所述视频数据内的视频事件，所述视频数据包括对应于所述视频数据的用户具有化身位置和方向的化身，所述视频事件具有视频位置和事件类型；
致动器测定器，配置为确定与所述用户相关联的第一触觉输出设备的第一位置和第二触觉输出设备的第二位置；以及
动态触觉生成器，配置为基于所述事件类型、第一位置和第二位置以及与所述视频位置有关的所述化身位置和方向，用所述第一触觉输出设备产生第一触觉效果并用所述第二触觉输出设备产生第二触觉效果。
18.根据权利要求17所述的系统，其中所述事件检测器配置为确定所述视频事件的三维位置以及所述化身与所述视频事件之间的相对位置和方向。
19.根据权利要求17所述的系统，其中所述动态触觉生成器配置为产生针对所述第一触觉输出设备的所述第一触觉效果，其不同于产生针对所述第二触觉输出设备的所述第二触觉效果。
20.根据权利要求17所述的系统，其中所述动态触觉生成器配置为由于所述化身位置和方向的改变修改所述第一触觉效果和所述第二触觉效果。
CN201810040801.9A 2017-02-16 2018-01-16 自动局部触觉生成系统 Pending CN108434726A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/434,752 US20180232051A1 (en) 2017-02-16 2017-02-16 Automatic localized haptics generation system
US15/434,752 2017-02-16

Publications (1)

Publication Number Publication Date
CN108434726A true CN108434726A (zh) 2018-08-24

Family

ID=61024672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810040801.9A Pending CN108434726A (zh) 2017-02-16 2018-01-16 自动局部触觉生成系统

Country Status (5)

Country Link
US (1) US20180232051A1 (zh)
EP (1) EP3364272A1 (zh)
JP (1) JP2018136938A (zh)
KR (1) KR20180094799A (zh)
CN (1) CN108434726A (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740620B2 (en) * 2017-10-12 2020-08-11 Google Llc Generating a video segment of an action from a video
US20190204917A1 (en) * 2017-12-28 2019-07-04 Immersion Corporation Intuitive haptic design
US10895444B1 (en) 2018-06-21 2021-01-19 Chosen Realities, LLC. Device performing simultaneous localization and mapping
US10345758B2 (en) * 2018-10-07 2019-07-09 Rising Star Pathway, a California Corporation Processor controlled energy harvester based on oscillating weight type energy collectors
WO2020242482A1 (en) * 2019-05-30 2020-12-03 Hewlett-Packard Development Company, L.P. Haptic device activation for virtual events that exceed view boundary
JP7079225B2 (ja) * 2019-07-08 2022-06-01 グリー株式会社 位置情報提示システム、位置情報提示装置、位置情報提示プログラムおよび位置情報提示方法
KR102313622B1 (ko) * 2019-08-21 2021-10-19 한국과학기술연구원 생체신호 기반 아바타 제어시스템 및 방법
US11282281B2 (en) * 2019-11-13 2022-03-22 At&T Intellectual Property I, L.P. Activation of extended reality actuators based on content analysis
WO2021101775A1 (en) * 2019-11-19 2021-05-27 Immersion Corporation Dynamic modification of multiple haptic effects
JP2023549747A (ja) * 2020-11-12 2023-11-29 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ 触覚オブジェクトの表現フォーマット
WO2023055308A1 (en) * 2021-09-30 2023-04-06 Sensiball Vr Arge Anonim Sirketi An enhanced tactile information delivery system
US20230214020A1 (en) * 2022-01-06 2023-07-06 Qualcomm Incorporated Audio-video-haptics recording and playback

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104053065A (zh) * 2013-03-14 2014-09-17 伊梅森公司 用于增强的电视交互的系统和方法
CN104932678A (zh) * 2014-03-21 2015-09-23 意美森公司 把感官数据转换成触觉效果的系统及方法
CN104922899A (zh) * 2014-03-19 2015-09-23 意美森公司 用于共享触觉体验的系统与方法
EP3037918A1 (en) * 2014-12-23 2016-06-29 Thomson Licensing System and method for localizing haptic effects on a body
US20170032630A1 (en) * 2015-07-29 2017-02-02 Immersion Corporation Crowd-based haptics

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6166732A (en) * 1998-02-24 2000-12-26 Microsoft Corporation Distributed object oriented multi-user domain with multimedia presentations
US9459632B2 (en) * 2005-06-27 2016-10-04 Coactive Drive Corporation Synchronized array of vibration actuators in a network topology
JP4926799B2 (ja) * 2006-10-23 2012-05-09 キヤノン株式会社 情報処理装置、情報処理方法
US8686952B2 (en) * 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
US8294557B1 (en) * 2009-06-09 2012-10-23 University Of Ottawa Synchronous interpersonal haptic communication system
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
US9069760B2 (en) * 2010-08-24 2015-06-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
US9401178B2 (en) * 2010-08-26 2016-07-26 Blast Motion Inc. Event analysis system
KR102054370B1 (ko) * 2011-11-23 2019-12-12 삼성전자주식회사 햅틱 피드백 방법 및 장치, 기계로 읽을 수 있는 저장 매체 및 휴대용 통신 단말
US20130198625A1 (en) * 2012-01-26 2013-08-01 Thomas G Anderson System For Generating Haptic Feedback and Receiving User Inputs
US20130257877A1 (en) * 2012-03-30 2013-10-03 Videx, Inc. Systems and Methods for Generating an Interactive Avatar Model
US9229530B1 (en) * 2012-05-05 2016-01-05 You WU Wireless haptic feedback apparatus configured to be mounted on a human arm
US9132342B2 (en) * 2012-10-31 2015-09-15 Sulon Technologies Inc. Dynamic environment and location based augmented reality (AR) systems
US9128523B2 (en) * 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US20160235323A1 (en) * 2013-09-25 2016-08-18 Mindmaze Sa Physiological parameter measurement and feedback system
US9164587B2 (en) * 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) * 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
CN106061456A (zh) * 2013-12-31 2016-10-26 伊夫徳发明未来科技有限公司 用于感官刺激和操作以及生理数据采集的可穿戴式设备、系统、方法和架构
JP2015166890A (ja) * 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US20150328082A1 (en) * 2014-05-16 2015-11-19 HDFEEL Corp. Interactive Entertainment System Having Sensory Feedback
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US9645646B2 (en) * 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9645648B2 (en) * 2014-09-18 2017-05-09 Mary A. Spio Audio computer system for interacting within a virtual reality environment
US11030806B2 (en) * 2014-11-15 2021-06-08 Vr Exit Llc Combined virtual and physical environment
US10324522B2 (en) * 2015-11-25 2019-06-18 Jakob Balslev Methods and systems of a motion-capture body suit with wearable body-position sensors
US9981182B2 (en) * 2016-02-12 2018-05-29 Disney Enterprises, Inc. Systems and methods for providing immersive game feedback using haptic effects
US10469971B2 (en) * 2016-09-19 2019-11-05 Apple Inc. Augmented performance synchronization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104053065A (zh) * 2013-03-14 2014-09-17 伊梅森公司 用于增强的电视交互的系统和方法
CN104922899A (zh) * 2014-03-19 2015-09-23 意美森公司 用于共享触觉体验的系统与方法
CN104932678A (zh) * 2014-03-21 2015-09-23 意美森公司 把感官数据转换成触觉效果的系统及方法
EP3037918A1 (en) * 2014-12-23 2016-06-29 Thomson Licensing System and method for localizing haptic effects on a body
US20170032630A1 (en) * 2015-07-29 2017-02-02 Immersion Corporation Crowd-based haptics

Also Published As

Publication number Publication date
US20180232051A1 (en) 2018-08-16
JP2018136938A (ja) 2018-08-30
KR20180094799A (ko) 2018-08-24
EP3364272A1 (en) 2018-08-22

Similar Documents

Publication Publication Date Title
CN108434726A (zh) 自动局部触觉生成系统
JP7339392B2 (ja) 複合現実環境における仮想ユーザ入力制御
US10720189B2 (en) Haptic effect generation for space-dependent content
US10509468B2 (en) Providing fingertip tactile feedback from virtual objects
EP2942693B1 (en) Systems and methods for viewport-based augmented reality haptic effects
KR20200000803A (ko) 가상 현실 사용자를 위한 실세계 햅틱 상호작용
CN104122996B (zh) 用于支持触觉的紧贴式和多面显示器的系统和方法
CN110476142A (zh) 虚拟对象用户界面显示
US20110148607A1 (en) System,device and method for providing haptic technology
US8599194B2 (en) System and method for the interactive display of data in a motion capture environment
CN110007750A (zh) 实体对象与虚拟对象的增强现实绑定
KR20150085801A (ko) 사용자에 의해 생성되는 콘텐츠 저작을 위한 시스템 및 방법
CN105556423A (zh) 用于基于压力的触觉效果的系统和方法
US11157084B2 (en) Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects
CN110389655A (zh) 在沉浸现实环境中生成触觉效果的启用触觉的可穿戴设备
JP2019519856A (ja) マルチモーダルハプティック効果
CN111290583A (zh) 三维立体板书的生成方法、电子设备及教学系统
US10665067B2 (en) Systems and methods for integrating haptics overlay in augmented reality
CN111258482A (zh) 信息分享方法、头戴式设备及介质
US20200286298A1 (en) Systems and methods for a user interaction proxy
CN114984563A (zh) 云游戏控制系统、游戏手柄、游戏手柄的控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180824

WD01 Invention patent application deemed withdrawn after publication