JP2016154018A5 - グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのデバイス、方法及びコンピュータ可読媒体 - Google Patents

グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのデバイス、方法及びコンピュータ可読媒体 Download PDF

Info

Publication number
JP2016154018A5
JP2016154018A5 JP2016046840A JP2016046840A JP2016154018A5 JP 2016154018 A5 JP2016154018 A5 JP 2016154018A5 JP 2016046840 A JP2016046840 A JP 2016046840A JP 2016046840 A JP2016046840 A JP 2016046840A JP 2016154018 A5 JP2016154018 A5 JP 2016154018A5
Authority
JP
Japan
Prior art keywords
physical space
virtual physical
user interaction
remote
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016046840A
Other languages
English (en)
Other versions
JP2016154018A (ja
Filing date
Publication date
Priority claimed from US12/502,702 external-priority patent/US8638301B2/en
Application filed filed Critical
Publication of JP2016154018A publication Critical patent/JP2016154018A/ja
Publication of JP2016154018A5 publication Critical patent/JP2016154018A5/ja
Pending legal-status Critical Current

Links

Claims (21)

  1. デバイスであって、
    仮想物理的空間を含むグラフィカルユーザインターフェースを表示するべく構成されたディスプレイと、
    前記仮想物理的空間とのユーザ相互作用を検出するべく構成されたセンサーと、
    前記ディスプレイ及び前記センサーと通信するプロセッサと
    を含み、
    前記ユーザ相互作用は、前記ディスプレイを一以上の自由度で動かすことを含み、
    前記プロセッサは、
    前記ユーザ相互作用と関連付けられたデータを含むセンサー信号を前記センサーから受け取り、
    前記仮想物理的空間における一以上のオブジェクトの動きを前記ユーザ相互作用に少なくとも部分的に基づいて決定し、
    前記仮想物理的空間の外観を前記動きに少なくとも部分的に基づいて修正し、
    前記ユーザ相互作用に少なくとも部分的に基づいて実行されるべき機能を決定し、
    前記機能を実行するべく構成されるデバイス。
  2. 前記仮想物理的空間は、複数の仮想物理的オブジェクトを含む、請求項1のデバイス。
  3. 前記仮想物理的空間は、2次元仮想物理的空間を含む、請求項1のデバイス。
  4. 前記仮想物理的空間は、3次元仮想物理的空間を含む、請求項1のデバイス。
  5. アクチュエータをさらに含み、
    前記プロセッサはさらに、
    前記ユーザ相互作用に基づいてアクチュエータ信号を生成し
    前記アクチュエータ信号を前記アクチュエータに出力して前記アクチュエータに触覚エフェクトを出力させるべく構成される、請求項1のデバイス。
  6. 前記プロセッサはさらに、前記仮想物理的空間の共有を要求する遠隔信号を遠隔デバイスから受信するべく構成され、
    前記仮想物理的空間は、前記遠隔デバイスからの前記遠隔信号の受信前に前記グラフィカルユーザインターフェースに表示され、
    前記遠隔信号は、前記仮想物理的空間との第2のユーザ相互作用と関連付けられたデータを含む、請求項1のデバイス。
  7. 前記機能は、前記デバイスから前記遠隔デバイスへの送信データと関連付けられたコマンドを含む、請求項のデバイス。
  8. 前記プロセッサはさらに、前記遠隔信号に部分的に基づいて前記コマンドを決定するべく構成される、請求項のデバイス。
  9. 方法であって、
    仮想物理的空間を含むグラフィカルユーザインターフェースを表示することと、
    第1のデバイスとの第1のユーザ相互作用を検出するべく構成されたセンサーからセンサー信号を受け取ることであって、前記第1のユーザ相互作用は前記第1のデバイスを一以上の自由度で動かすことを含むことと、
    前記仮想物理的空間における一以上のオブジェクトの動きを前記第1のユーザ相互作用に少なくとも部分的に基づいて決定することと、
    前記仮想物理的空間の外観を前記動きに少なくとも部分的に基づいて修正することと、
    前記第1のユーザ相互作用に少なくとも部分的に基づいて実行されるべき機能を決定することと、
    前記機能を実行することと
    を含む方法。
  10. 前記仮想物理的空間は、複数の仮想物理的オブジェクトを含む、請求項9の方法。
  11. 前記仮想物理的空間は、2次元仮想物理的空間を含む、請求項9の方法。
  12. 前記仮想物理的空間は、3次元仮想物理的空間を含む、請求項9の方法。
  13. 前記第1のユーザ相互作用に基づいてアクチュエータ信号を生成することと、
    前記アクチュエータ信号を触覚エフェクトを出力させるべく構成されたアクチュエータに出力することと
    をさらに含む、請求項9の方法。
  14. 前記仮想物理的空間の共有を要求する遠隔信号を遠隔デバイスから受信することをさらに含み、
    前記仮想物理的空間は、前記遠隔デバイスからの前記遠隔信号の受信前に前記グラフィカルユーザインターフェースに表示され、
    前記遠隔信号は、前記仮想物理的空間との第2のユーザ相互作用と関連付けられたデータを含む、請求項9の方法。
  15. 前記機能は、前記第1のデバイスから前記遠隔デバイスへの送信データと関連付けられたコマンドを含む、請求項14の方法。
  16. 前記コマンドはさらに、前記遠隔信号に部分的に基づいて決定される、請求項15の方法。
  17. プログラムコードを含む非一時的なコンピュータ可読媒体であって、
    前記プログラムコードは、プロセッサにより実行されると前記プロセッサに、
    仮想物理的空間を含むグラフィカルユーザインターフェースを表示することと、
    第1のデバイスとの第1のユーザ相互作用を検出するべく構成されたセンサーからセンサー信号を受信することであって、前記第1のユーザ相互作用は前記第1のデバイスを一以上の自由度で動かすことを含むことと、
    前記仮想物理的空間における一以上のオブジェクトの動きを前記第1のユーザ相互作用に少なくとも部分的に基づいて決定することと、
    前記仮想物理的空間の外観を前記動きに少なくとも部分的に基づいて修正することと、
    前記第1のユーザ相互作用に少なくとも部分的に基づいて実行されるべき機能を決定することと、
    前記機能を実行することと
    を引き起こすべく構成されるコンピュータ可読媒体。
  18. 前記仮想物理的空間は、3次元仮想物理的空間を含む、請求項17のコンピュータ可読媒体。
  19. プロセッサにより実行されると前記プロセッサに、
    前記第1のユーザ相互作用に基づいてアクチュエータ信号を生成することと、
    触覚エフェクトを出力するべく構成されたアクチュエータに前記アクチュエータ信号を出力することと
    を引き起こすべく構成されたプログラムコードをさらに含む、請求項17のコンピュータ可読媒体。
  20. プロセッサにより実行されると前記プロセッサに、前記仮想物理的空間の共有を要求する遠隔信号を遠隔デバイスから前記プロセッサが受信することを引き起こすべく構成されたプログラムコードをさらに含み、
    前記仮想物理的空間は、前記遠隔デバイスからの前記遠隔信号の受信前に前記グラフィカルユーザインターフェースに表示され、
    前記遠隔信号は、前記仮想物理的空間との第2のユーザ相互作用と関連付けられたデータを含む、請求項17のコンピュータ可読媒体。
  21. プロセッサにより実行されると前記プロセッサに前記遠隔信号に部分的に基づいてコマンドを決定するべく構成されたプログラムコードをさらに含む、請求項20のコンピュータ可読媒体。
JP2016046840A 2009-01-29 2016-03-10 グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法 Pending JP2016154018A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US14831209P 2009-01-29 2009-01-29
US61/148,312 2009-01-29
US18128009P 2009-05-26 2009-05-26
US61/181,280 2009-05-26
US12/502,702 2009-07-14
US12/502,702 US8638301B2 (en) 2008-07-15 2009-07-14 Systems and methods for transmitting haptic messages

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014087262A Division JP2014170568A (ja) 2009-01-29 2014-04-21 グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018133909A Division JP2018185853A (ja) 2009-01-29 2018-07-17 グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法

Publications (2)

Publication Number Publication Date
JP2016154018A JP2016154018A (ja) 2016-08-25
JP2016154018A5 true JP2016154018A5 (ja) 2016-10-06

Family

ID=42396029

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2011548330A Expired - Fee Related JP5793426B2 (ja) 2009-01-29 2010-01-29 グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法
JP2014087262A Pending JP2014170568A (ja) 2009-01-29 2014-04-21 グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法
JP2016046840A Pending JP2016154018A (ja) 2009-01-29 2016-03-10 グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法
JP2018133909A Pending JP2018185853A (ja) 2009-01-29 2018-07-17 グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2011548330A Expired - Fee Related JP5793426B2 (ja) 2009-01-29 2010-01-29 グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法
JP2014087262A Pending JP2014170568A (ja) 2009-01-29 2014-04-21 グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018133909A Pending JP2018185853A (ja) 2009-01-29 2018-07-17 グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法

Country Status (5)

Country Link
EP (1) EP2391934B1 (ja)
JP (4) JP5793426B2 (ja)
KR (4) KR101899506B1 (ja)
CN (2) CN102301319B (ja)
WO (1) WO2010088477A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010009152A1 (en) 2008-07-15 2010-01-21 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
US8913009B2 (en) 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
EP2392389A4 (en) 2010-02-03 2014-10-15 Nintendo Co Ltd GAME SYSTEM, OPERATING METHOD AND GAME PROCESSING METHOD
JP6243586B2 (ja) 2010-08-06 2017-12-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP5988549B2 (ja) * 2010-08-20 2016-09-07 任天堂株式会社 位置算出システム、位置算出装置、位置算出プログラム、および位置算出方法
US10150033B2 (en) 2010-08-20 2018-12-11 Nintendo Co., Ltd. Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method
JP5742163B2 (ja) 2010-10-15 2015-07-01 ヤマハ株式会社 情報処理端末および設定制御システム
KR101492310B1 (ko) 2010-11-01 2015-02-11 닌텐도가부시키가이샤 조작 장치 및 정보 처리 장치
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
KR20240045365A (ko) 2012-05-11 2024-04-05 가부시키가이샤 한도오따이 에네루기 켄큐쇼 전자 기기, 기억 매체, 프로그램, 및 표시 방법
US8570296B2 (en) 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
CN103226066B (zh) * 2013-04-12 2015-06-10 北京空间飞行器总体设计部 一种针对巡视器移动运行状态的图形显示界面优化方法
KR20140138424A (ko) 2013-05-23 2014-12-04 삼성전자주식회사 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
US20150005039A1 (en) * 2013-06-29 2015-01-01 Min Liu System and method for adaptive haptic effects
US20160224234A1 (en) * 2013-09-11 2016-08-04 Yulong Computer Telecommunication Scientific (Shenzhen) Co., Ltd. Display method for touchscreen and terminal
US9159294B2 (en) * 2014-01-31 2015-10-13 Google Inc. Buttonless display activation
JP5707519B1 (ja) * 2014-02-05 2015-04-30 日本電信電話株式会社 入力装置、入力方法及びプログラム
CN104932800A (zh) * 2014-03-21 2015-09-23 朱江 一种互动装置
JP2015207242A (ja) * 2014-04-23 2015-11-19 富士通株式会社 電子機器
US10678326B2 (en) * 2015-09-25 2020-06-09 Microsoft Technology Licensing, Llc Combining mobile devices with people tracking for large display interactions
CN109565820B (zh) 2016-08-04 2023-04-18 株式会社Ntt都科摩 用户终端以及无线通信方法
JP6946857B2 (ja) * 2017-08-24 2021-10-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2884720B2 (ja) * 1990-06-15 1999-04-19 ソニー株式会社 ポータブル検索表示装置
JP2502914B2 (ja) * 1992-07-31 1996-05-29 インターナショナル・ビジネス・マシーンズ・コーポレイション デ―タ転送方法及び装置
US5666499A (en) * 1995-08-04 1997-09-09 Silicon Graphics, Inc. Clickaround tool-based graphical interface with two cursors
JPH1049290A (ja) * 1996-08-05 1998-02-20 Sony Corp 情報処理装置および方法
JPH10240434A (ja) * 1997-02-27 1998-09-11 Matsushita Electric Ind Co Ltd コマンドメニュー選択方法
JP4251673B2 (ja) * 1997-06-24 2009-04-08 富士通株式会社 画像呈示装置
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
US7844914B2 (en) * 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US20060279542A1 (en) * 1999-02-12 2006-12-14 Vega Vista, Inc. Cellular phones and mobile devices with motion driven control
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
JP2000325653A (ja) * 1999-05-19 2000-11-28 Enix Corp 携帯型ビデオゲーム装置およびプログラムを格納した記録媒体
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
AU7807300A (en) * 1999-10-18 2001-04-30 British Telecommunications Public Limited Company Personal mobile communication device
US7688306B2 (en) * 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
JP2002298160A (ja) * 2001-03-29 2002-10-11 Namco Ltd 携帯型画像生成装置、プログラム及び情報記憶媒体
JP3944824B2 (ja) * 2001-11-09 2007-07-18 ソニー株式会社 データ通信装置、表示方法、プログラム及びプログラム格納媒体
JP2003177864A (ja) * 2001-12-13 2003-06-27 Fuji Photo Film Co Ltd 情報端末システム
US7002553B2 (en) * 2001-12-27 2006-02-21 Mark Shkolnikov Active keyboard system for handheld electronic devices
JP3902508B2 (ja) * 2002-05-20 2007-04-11 任天堂株式会社 ゲームシステムおよびゲームプログラム
JP4218336B2 (ja) * 2002-12-12 2009-02-04 ソニー株式会社 情報処理システム、サービス提供装置および方法、情報処理装置および方法、並びにプログラム
KR20050104382A (ko) * 2003-02-19 2005-11-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 휴대용 디바이스들 사이의 콘텐트 아이템들의 ad hoc공유를 위한 시스템 및 그를 위한 상호작용 방법들
JP4401728B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
US7532196B2 (en) * 2003-10-30 2009-05-12 Microsoft Corporation Distributed sensing techniques for mobile devices
JP2007531113A (ja) * 2004-03-23 2007-11-01 富士通株式会社 携帯装置の傾斜及び並進運動成分の識別
US7176888B2 (en) * 2004-03-23 2007-02-13 Fujitsu Limited Selective engagement of motion detection
US20050219211A1 (en) * 2004-03-31 2005-10-06 Kotzin Michael D Method and apparatus for content management and control
JP2005332063A (ja) * 2004-05-18 2005-12-02 Sony Corp 触覚機能付き入力装置、情報入力方法及び電子機器
JP2006113859A (ja) * 2004-10-15 2006-04-27 Nec Corp 携帯情報端末及びその表示制御方法
JP2006146440A (ja) * 2004-11-17 2006-06-08 Sony Corp 電子機器及び情報表示選択方法
KR101002807B1 (ko) * 2005-02-23 2010-12-21 삼성전자주식회사 메뉴 화면을 표시하는 단말기에서 메뉴 네비게이션을 제어하는 장치 및 방법
JP2006333355A (ja) * 2005-05-30 2006-12-07 Toshiba Corp 携帯情報処理装置およびその操作方法
JP4507992B2 (ja) * 2005-06-09 2010-07-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7933632B2 (en) 2005-09-16 2011-04-26 Microsoft Corporation Tile space user interface for mobile devices
KR100746008B1 (ko) * 2005-10-31 2007-08-06 삼성전자주식회사 3차원 모션 그래픽 유저 인터페이스, 이를 제공하는 장치및 방법
US8049715B2 (en) * 2005-11-30 2011-11-01 Motorola Mobility, Inc. Method and system for accessing data stored in an electronic device
US7812826B2 (en) * 2005-12-30 2010-10-12 Apple Inc. Portable electronic device with multi-touch input
JP2007206755A (ja) * 2006-01-31 2007-08-16 Sony Computer Entertainment Inc 情報処理システム、情報処理装置、情報処理プログラム、情報処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体
US20070268246A1 (en) * 2006-05-17 2007-11-22 Edward Craig Hyatt Electronic equipment with screen pan and zoom functions using motion
KR100772909B1 (ko) * 2006-05-30 2007-11-05 삼성전자주식회사 이미지 검색 방법 및 장치
JP4485492B2 (ja) * 2006-06-27 2010-06-23 ソフトバンクモバイル株式会社 実行機能選択方法及び移動通信端末装置
US20080125224A1 (en) * 2006-09-26 2008-05-29 Pollatsek David Method and apparatus for controlling simulated in flight realistic and non realistic object effects by sensing rotation of a hand-held controller
CN102883043B (zh) * 2007-03-16 2014-10-22 日本电气株式会社 移动终端装置、功能启动方法及其程序
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
JP2009003799A (ja) * 2007-06-22 2009-01-08 Aplix Corp ポータブル機器およびポータブル機器における仮想空間の提供方法
CN101178615A (zh) * 2007-12-12 2008-05-14 美新半导体(无锡)有限公司 姿态及运动感应系统及使用该系统的便携式电子设备

Similar Documents

Publication Publication Date Title
JP2016154018A5 (ja) グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのデバイス、方法及びコンピュータ可読媒体
JP2018109974A5 (ja)
JP2011528474A5 (ja)
RU2013154098A (ru) Мир массового одновременного удаленного цифрового присутствия
JP2014517384A5 (ja)
JP2019149202A5 (ja)
JP6478360B2 (ja) コンテンツ閲覧
WO2018125742A3 (en) Dynamic depth-based content creation in virtual reality environments
JP2013235373A5 (ja)
KR102389185B1 (ko) 컨텐츠의 적어도 일부를 통해 표시된 입력 인터페이스를 이용하여 기능을 실행하기 위한 전자 장치 및 방법
CN105144072B (zh) 在多点触控装置上对压感进行模拟
EP4250066A3 (en) Method and system for the detection and augmentation of tactile interactions in augmented reality
JP6558839B2 (ja) 媒介現実
JP2017502535A5 (ja)
JP2012521039A5 (ja)
JP2016538649A5 (ja)
JP2015514246A5 (ja)
GB201308357D0 (en) Untouched 3D measurement with range imaging
RU2017115669A (ru) Система и способ для дополненной и виртуальной реальности
JP2018109835A5 (ja)
WO2015042048A3 (en) Approaches for three-dimensional object display
JP2014203377A5 (ja)
JP2011239398A5 (ja)
WO2014210158A3 (en) Space carving based on human physical data
JP2017514192A5 (ja)