JP2019220170A5 - 触覚オーバーレイを拡張現実に統合するシステム、方法及び非一時的コンピュータ可読媒体 - Google Patents

触覚オーバーレイを拡張現実に統合するシステム、方法及び非一時的コンピュータ可読媒体 Download PDF

Info

Publication number
JP2019220170A5
JP2019220170A5 JP2019107855A JP2019107855A JP2019220170A5 JP 2019220170 A5 JP2019220170 A5 JP 2019220170A5 JP 2019107855 A JP2019107855 A JP 2019107855A JP 2019107855 A JP2019107855 A JP 2019107855A JP 2019220170 A5 JP2019220170 A5 JP 2019220170A5
Authority
JP
Japan
Prior art keywords
haptic
sensor
output devices
proxy object
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019107855A
Other languages
English (en)
Other versions
JP6732078B2 (ja
JP2019220170A (ja
Filing date
Publication date
Priority claimed from US16/010,230 external-priority patent/US10665067B2/en
Application filed filed Critical
Publication of JP2019220170A publication Critical patent/JP2019220170A/ja
Publication of JP2019220170A5 publication Critical patent/JP2019220170A5/ja
Application granted granted Critical
Publication of JP6732078B2 publication Critical patent/JP6732078B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (21)

  1. システムであって、
    一つ以上の触覚出力デバイスを含むプロキシオブジェクトと、
    視覚効果を前記プロキシオブジェクトの表面に出力するべく構成されたディスプレイと、
    前記プロキシオブジェクトの位置を追跡するセンサと、
    プロセッサと
    を含み、
    前記プロセッサは、
    前記センサから受信したデータに部分的に基づいて修正視覚効果を決定することと、
    前記センサから受信したデータに部分的に基づいて触覚効果を決定することと、
    前記修正視覚効果に関連付けられるディスプレイ信号を前記ディスプレイに送信することであって、前記修正視覚効果が前記ディスプレイを介して前記プロキシオブジェクトに表示されることと、
    前記触覚効果に関連付けられる触覚信号を前記一つ以上の触覚出力デバイスに送信することと、
    前記一つ以上の触覚出力デバイスを使用して前記触覚効果を出力することと
    を行うべく構成される、システム。
  2. 一つ以上の第2の触覚出力デバイスを含むウェアラブルデバイスをさらに含む、請求項1のシステム
  3. 前記プロキシオブジェクトは、靴、衣料品、電子デバイス、ディスプレイ、インタフェイスオブジェクト、又は車両の内装の一つ以上を含む、請求項のシステム。
  4. 前記プロキシオブジェクトは中性的な物理特性を含む、請求項のシステム。
  5. 前記修正視覚効果は、前記ディスプレイを介して前記プロキシオブジェクトの外観を修正するべく構成される、請求項のシステム。
  6. 前記ディスプレイは、ウェアラブルデバイス又は携帯型デバイスの少なくとも一方を含む、請求項1のシステム。
  7. 前記センサは、カメラ、レーザ、レーダー、加速度計、ジャイロメータ、圧力センサ、磁気センサ、光センサ、追跡センサ又はマイクロホンの少なくとも一つを含む、請求項1のシステム。
  8. 前記プロセッサはさらに、入力信号を入力キャプチャデバイスから受信し、前記入力キャプチャデバイスから受信したデータに部分的に基づいて前記触覚効果を決定するべく構成される、請求項1のシステム。
  9. 前記触覚効果は、前記プロキシオブジェクトのテクスチャを修正するべく構成される、請求項1のシステム。
  10. 前記触覚効果は、皮革、プラスチック、ゴム、金属、黄麻布、スエード、デニム、木、布、セラミック、発泡材料又はガラスの一つ以上のテクスチャを模擬するべく構成される、請求項9のシステム。
  11. 方法であって、
    センサから受信したデータに部分的に基づいて修正視覚効果を決定することと、
    前記センサから受信したデータに部分的に基づいて触覚効果を決定することと、
    前記修正視覚効果に関連付けられるディスプレイ信号をディスプレイに送信することであって、前記修正視覚効果が前記ディスプレイを介して、一つ以上の触覚出力デバイスを含むプロキシオブジェクトの表面に表示されることと、
    前記触覚効果に関連付けられる触覚信号を前記一つ以上の触覚出力デバイスに送信することと、
    前記一つ以上の触覚出力デバイスを使用して前記触覚効果を出力することと
    を含む、方法。
  12. 第2の触覚効果を決定することと、
    前記第2の触覚効果に関連付けられる第2の触覚信号を一つ以上の第2の触覚出力デバイスに送信することと、
    前記一つ以上の第2の触覚出力デバイスを使用して前記第2の触覚効果を出力することであって、前記一つ以上の第2の触覚出力デバイスはウェアラブルデバイスに機械的に結合されることと
    をさらに含む、請求項11の方法。
  13. 前記プロキシオブジェクトは、靴、衣料品、電子デバイス、ディスプレイ、インタフェイスオブジェクト、又は車両の内装の一つ以上を含む、請求項11の方法。
  14. 前記プロキシオブジェクトは中性的な物理特性を含む、請求項11の方法。
  15. 前記修正視覚効果は、前記ディスプレイを介して前記プロキシオブジェクトの外観を修正するべく構成される、請求項11の方法。
  16. 前記ディスプレイは、ウェアラブルデバイス又は携帯型デバイスの少なくとも一方を含む、請求項11の方法。
  17. 前記センサは、カメラ、レーザ、レーダー、加速度計、ジャイロメータ、圧力センサ、磁気センサ、光センサ、追跡センサ又はマイクロホンの少なくとも一つを含む、請求項11の方法。
  18. 入力信号を入力キャプチャデバイスから受信することと、
    前記入力キャプチャデバイスから受信したデータに部分的に基づいて前記触覚効果を決定することと
    をさらに含む、請求項11の方法。
  19. 前記触覚効果は、前記プロキシオブジェクトのテクスチャを修正するべく構成される、請求項12の方法。
  20. 前記触覚効果は、皮革、プラスチック、ゴム、金属、キャンバス、エナメル、黄麻布、スエード、デニム、木、布、セラミック、発泡材料又はガラスの一つ以上のテクスチャを模擬するべく構成される、請求項19の方法。
  21. 非一時的コンピュータ可読媒体であって、
    プロセッサにより実行されると前記プロセッサに、
    センサから受信したデータに部分的に基づいて修正視覚効果を決定することと、
    前記センサから受信したデータに部分的に基づいて触覚効果を決定することと、
    前記修正視覚効果に関連付けられるディスプレイ信号をディスプレイに送信することであって、前記修正視覚効果が前記ディスプレイを介して、一つ以上の触覚出力デバイスを含むプロキシオブジェクトの表面に表示されることと、
    前記触覚効果に関連付けられる触覚信号を前記一つ以上の触覚出力デバイスに送信することと、
    前記一つ以上の触覚出力デバイスを使用して前記触覚効果を出力することと
    を行わせるべく構成されたプログラムコードを含む、非一時的コンピュータ可読媒体。
JP2019107855A 2018-06-15 2019-06-10 触覚オーバーレイを拡張現実に統合するシステム、方法及び非一時的コンピュータ可読媒体 Active JP6732078B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/010,230 US10665067B2 (en) 2018-06-15 2018-06-15 Systems and methods for integrating haptics overlay in augmented reality
US16/010,230 2018-06-15

Publications (3)

Publication Number Publication Date
JP2019220170A JP2019220170A (ja) 2019-12-26
JP2019220170A5 true JP2019220170A5 (ja) 2020-06-25
JP6732078B2 JP6732078B2 (ja) 2020-07-29

Family

ID=66867068

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019107855A Active JP6732078B2 (ja) 2018-06-15 2019-06-10 触覚オーバーレイを拡張現実に統合するシステム、方法及び非一時的コンピュータ可読媒体

Country Status (5)

Country Link
US (1) US10665067B2 (ja)
EP (1) EP3582080A1 (ja)
JP (1) JP6732078B2 (ja)
KR (1) KR102201678B1 (ja)
CN (1) CN110609615A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500470B2 (en) * 2019-12-23 2022-11-15 Robert Bosch Gmbh System and method of vehicle aware gesture recognition in vehicles with smart helmets
WO2021134269A1 (zh) * 2019-12-30 2021-07-08 瑞声声学科技(深圳)有限公司 车载装置

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
US9370704B2 (en) 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
GB2468811B (en) 2008-01-17 2012-12-19 Articulate Technologies Inc Methods and devices for intraoral tactile feedback
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
WO2011127379A2 (en) 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
US9462262B1 (en) 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
US10852093B2 (en) 2012-05-22 2020-12-01 Haptech, Inc. Methods and apparatuses for haptic systems
FR2999741B1 (fr) 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
CN103077633A (zh) 2013-01-11 2013-05-01 深圳超多维光电子有限公司 一种立体虚拟培训系统和方法
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
EP3014394B1 (en) 2013-07-05 2022-06-22 Rubin, Jacob A. Whole-body human-computer interface
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
GB2521138B (en) 2013-12-10 2019-01-02 Flexenable Ltd Source/Drain Conductors for Transistor Devices
EP3095023A1 (en) 2014-01-15 2016-11-23 Sony Corporation Haptic notification on wearables
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
EP3648072A1 (en) 2014-07-28 2020-05-06 CK Materials Lab Co., Ltd. A method for providing haptic information
US9645646B2 (en) 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9799177B2 (en) 2014-09-23 2017-10-24 Intel Corporation Apparatus and methods for haptic covert communication
US9535550B2 (en) * 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US20160170508A1 (en) 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
US9922518B2 (en) 2014-12-11 2018-03-20 Elwha Llc Notification of incoming projectiles
US9870718B2 (en) 2014-12-11 2018-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Imaging devices including spacing members and imaging devices including tactile feedback devices
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9843744B2 (en) 2015-01-13 2017-12-12 Disney Enterprises, Inc. Audience interaction projection system
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
US10322203B2 (en) 2015-06-26 2019-06-18 Intel Corporation Air flow generation for scent output
EP3332313B1 (en) 2015-08-06 2019-10-09 PCMS Holdings, Inc. Methods and systems for providing haptic feedback for virtual 3d objects
US9778746B2 (en) 2015-09-25 2017-10-03 Oculus Vr, Llc Transversal actuator for haptic feedback
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170131775A1 (en) 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US10055948B2 (en) 2015-11-30 2018-08-21 Nike, Inc. Apparel with ultrasonic position sensing and haptic feedback for activities
US10310804B2 (en) 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10324530B2 (en) 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
US10096163B2 (en) 2015-12-22 2018-10-09 Intel Corporation Haptic augmented reality to reduce noxious stimuli
US10065124B2 (en) 2016-01-15 2018-09-04 Disney Enterprises, Inc. Interacting with a remote participant through control of the voice of a toy device
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
TWI688879B (zh) 2016-01-22 2020-03-21 宏達國際電子股份有限公司 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體
US9990815B2 (en) * 2016-02-18 2018-06-05 Immersion Corporation Wearable haptic effects with permissions settings
US9933851B2 (en) 2016-02-22 2018-04-03 Disney Enterprises, Inc. Systems and methods for interacting with virtual objects using sensory feedback
US10555153B2 (en) 2016-03-01 2020-02-04 Disney Enterprises, Inc. Systems and methods for making non-smart objects smart for internet of things
WO2018026959A1 (en) * 2016-08-04 2018-02-08 Fairwayiq, Inc. System and method for managing and interacting with spectators at an activity venue
US10155159B2 (en) 2016-08-18 2018-12-18 Activision Publishing, Inc. Tactile feedback systems and methods for augmented reality and virtual reality systems
US20180053351A1 (en) 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US10372213B2 (en) 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10779583B2 (en) 2016-09-20 2020-09-22 Facebook Technologies, Llc Actuated tendon pairs in a virtual reality device
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US9996980B1 (en) * 2016-11-18 2018-06-12 Toyota Jidosha Kabushiki Kaisha Augmented reality for providing vehicle functionality through virtual features
US20170102771A1 (en) 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Similar Documents

Publication Publication Date Title
JP2020524430A5 (ja)
KR102322589B1 (ko) 3차원 콘텐츠 내의 위치-기반 가상 요소 양식
US10324293B2 (en) Vision-assisted input within a virtual world
JP6558839B2 (ja) 媒介現実
JP5877219B2 (ja) 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果
JP2018190443A5 (ja)
US9858707B2 (en) 3D video reconstruction system
JP2016154018A5 (ja) グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのデバイス、方法及びコンピュータ可読媒体
JP2018109984A5 (ja)
US11302086B1 (en) Providing features of an electronic product in an augmented reality environment
US9599825B1 (en) Visual indicator for transparent display alignment
CN107924586B (zh) 搜索图像内容的方法、装置以及计算机可读存储介质
JP2019220170A5 (ja) 触覚オーバーレイを拡張現実に統合するシステム、方法及び非一時的コンピュータ可読媒体
US10295403B2 (en) Display a virtual object within an augmented reality influenced by a real-world environmental parameter
US10366495B2 (en) Multi-spectrum segmentation for computer vision
WO2018130909A3 (en) Images with virtual reality backgrounds
JP6732078B2 (ja) 触覚オーバーレイを拡張現実に統合するシステム、方法及び非一時的コンピュータ可読媒体
US20180160093A1 (en) Portable device and operation method thereof
KR102185322B1 (ko) 적외선 스테레오 카메라를 이용한 위치 검출 시스템
KR101177793B1 (ko) 입체영상 체험 장치 및 방법
CN111612915B (zh) 渲染对象以匹配相机噪声
EP3534241B1 (en) Method, apparatus, systems, computer programs for enabling mediated reality
JP2020182109A5 (ja)
KR102654176B1 (ko) 기계 학습 모델을 이용하여 시각 기반 촉감 출력을 위한 컴퓨터 장치 및 그의 방법
US10964056B1 (en) Dense-based object tracking using multiple reference images