JP2016154018A5 - グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのデバイス、方法及びコンピュータ可読媒体 - Google Patents
グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのデバイス、方法及びコンピュータ可読媒体 Download PDFInfo
- Publication number
- JP2016154018A5 JP2016154018A5 JP2016046840A JP2016046840A JP2016154018A5 JP 2016154018 A5 JP2016154018 A5 JP 2016154018A5 JP 2016046840 A JP2016046840 A JP 2016046840A JP 2016046840 A JP2016046840 A JP 2016046840A JP 2016154018 A5 JP2016154018 A5 JP 2016154018A5
- Authority
- JP
- Japan
- Prior art keywords
- physical space
- virtual physical
- user interaction
- remote
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims 20
- 230000000694 effects Effects 0.000 claims 3
- 230000005540 biological transmission Effects 0.000 claims 2
Claims (21)
- デバイスであって、
仮想物理的空間を含むグラフィカルユーザインターフェースを表示するべく構成されたディスプレイと、
前記仮想物理的空間とのユーザ相互作用を検出するべく構成されたセンサーと、
前記ディスプレイ及び前記センサーと通信するプロセッサと
を含み、
前記ユーザ相互作用は、前記ディスプレイを一以上の自由度で動かすことを含み、
前記プロセッサは、
前記ユーザ相互作用と関連付けられたデータを含むセンサー信号を前記センサーから受け取り、
前記仮想物理的空間における一以上のオブジェクトの動きを前記ユーザ相互作用に少なくとも部分的に基づいて決定し、
前記仮想物理的空間の外観を前記動きに少なくとも部分的に基づいて修正し、
前記ユーザ相互作用に少なくとも部分的に基づいて、実行されるべき機能を決定し、
前記機能を実行するべく構成されるデバイス。 - 前記仮想物理的空間は、複数の仮想物理的オブジェクトを含む、請求項1のデバイス。
- 前記仮想物理的空間は、2次元仮想物理的空間を含む、請求項1のデバイス。
- 前記仮想物理的空間は、3次元仮想物理的空間を含む、請求項1のデバイス。
- アクチュエータをさらに含み、
前記プロセッサはさらに、
前記ユーザ相互作用に基づいてアクチュエータ信号を生成し、
前記アクチュエータ信号を前記アクチュエータに出力して前記アクチュエータに触覚エフェクトを出力させるべく構成される、請求項1のデバイス。 - 前記プロセッサはさらに、前記仮想物理的空間の共有を要求する遠隔信号を遠隔デバイスから受信するべく構成され、
前記仮想物理的空間は、前記遠隔デバイスからの前記遠隔信号の受信前に前記グラフィカルユーザインターフェースに表示され、
前記遠隔信号は、前記仮想物理的空間との第2のユーザ相互作用と関連付けられたデータを含む、請求項1のデバイス。 - 前記機能は、前記デバイスから前記遠隔デバイスへの送信データと関連付けられたコマンドを含む、請求項6のデバイス。
- 前記プロセッサはさらに、前記遠隔信号に部分的に基づいて前記コマンドを決定するべく構成される、請求項7のデバイス。
- 方法であって、
仮想物理的空間を含むグラフィカルユーザインターフェースを表示することと、
第1のデバイスとの第1のユーザ相互作用を検出するべく構成されたセンサーからセンサー信号を受け取ることであって、前記第1のユーザ相互作用は前記第1のデバイスを一以上の自由度で動かすことを含むことと、
前記仮想物理的空間における一以上のオブジェクトの動きを前記第1のユーザ相互作用に少なくとも部分的に基づいて決定することと、
前記仮想物理的空間の外観を前記動きに少なくとも部分的に基づいて修正することと、
前記第1のユーザ相互作用に少なくとも部分的に基づいて、実行されるべき機能を決定することと、
前記機能を実行することと
を含む方法。 - 前記仮想物理的空間は、複数の仮想物理的オブジェクトを含む、請求項9の方法。
- 前記仮想物理的空間は、2次元仮想物理的空間を含む、請求項9の方法。
- 前記仮想物理的空間は、3次元仮想物理的空間を含む、請求項9の方法。
- 前記第1のユーザ相互作用に基づいてアクチュエータ信号を生成することと、
前記アクチュエータ信号を、触覚エフェクトを出力させるべく構成されたアクチュエータに出力することと
をさらに含む、請求項9の方法。 - 前記仮想物理的空間の共有を要求する遠隔信号を遠隔デバイスから受信することをさらに含み、
前記仮想物理的空間は、前記遠隔デバイスからの前記遠隔信号の受信前に前記グラフィカルユーザインターフェースに表示され、
前記遠隔信号は、前記仮想物理的空間との第2のユーザ相互作用と関連付けられたデータを含む、請求項9の方法。 - 前記機能は、前記第1のデバイスから前記遠隔デバイスへの送信データと関連付けられたコマンドを含む、請求項14の方法。
- 前記コマンドはさらに、前記遠隔信号に部分的に基づいて決定される、請求項15の方法。
- プログラムコードを含む非一時的なコンピュータ可読媒体であって、
前記プログラムコードは、プロセッサにより実行されると前記プロセッサに、
仮想物理的空間を含むグラフィカルユーザインターフェースを表示することと、
第1のデバイスとの第1のユーザ相互作用を検出するべく構成されたセンサーからセンサー信号を受信することであって、前記第1のユーザ相互作用は前記第1のデバイスを一以上の自由度で動かすことを含むことと、
前記仮想物理的空間における一以上のオブジェクトの動きを前記第1のユーザ相互作用に少なくとも部分的に基づいて決定することと、
前記仮想物理的空間の外観を前記動きに少なくとも部分的に基づいて修正することと、
前記第1のユーザ相互作用に少なくとも部分的に基づいて、実行されるべき機能を決定することと、
前記機能を実行することと
を引き起こすべく構成されるコンピュータ可読媒体。 - 前記仮想物理的空間は、3次元仮想物理的空間を含む、請求項17のコンピュータ可読媒体。
- プロセッサにより実行されると前記プロセッサに、
前記第1のユーザ相互作用に基づいてアクチュエータ信号を生成することと、
触覚エフェクトを出力するべく構成されたアクチュエータに前記アクチュエータ信号を出力することと
を引き起こすべく構成されたプログラムコードをさらに含む、請求項17のコンピュータ可読媒体。 - プロセッサにより実行されると前記プロセッサに、前記仮想物理的空間の共有を要求する遠隔信号を遠隔デバイスから前記プロセッサが受信することを引き起こすべく構成されたプログラムコードをさらに含み、
前記仮想物理的空間は、前記遠隔デバイスからの前記遠隔信号の受信前に前記グラフィカルユーザインターフェースに表示され、
前記遠隔信号は、前記仮想物理的空間との第2のユーザ相互作用と関連付けられたデータを含む、請求項17のコンピュータ可読媒体。 - プロセッサにより実行されると前記プロセッサに前記遠隔信号に部分的に基づいてコマンドを決定するべく構成されたプログラムコードをさらに含む、請求項20のコンピュータ可読媒体。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14831209P | 2009-01-29 | 2009-01-29 | |
US61/148,312 | 2009-01-29 | ||
US18128009P | 2009-05-26 | 2009-05-26 | |
US61/181,280 | 2009-05-26 | ||
US12/502,702 | 2009-07-14 | ||
US12/502,702 US8638301B2 (en) | 2008-07-15 | 2009-07-14 | Systems and methods for transmitting haptic messages |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014087262A Division JP2014170568A (ja) | 2009-01-29 | 2014-04-21 | グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018133909A Division JP2018185853A (ja) | 2009-01-29 | 2018-07-17 | グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016154018A JP2016154018A (ja) | 2016-08-25 |
JP2016154018A5 true JP2016154018A5 (ja) | 2016-10-06 |
Family
ID=42396029
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011548330A Expired - Fee Related JP5793426B2 (ja) | 2009-01-29 | 2010-01-29 | グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法 |
JP2014087262A Pending JP2014170568A (ja) | 2009-01-29 | 2014-04-21 | グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法 |
JP2016046840A Pending JP2016154018A (ja) | 2009-01-29 | 2016-03-10 | グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法 |
JP2018133909A Pending JP2018185853A (ja) | 2009-01-29 | 2018-07-17 | グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011548330A Expired - Fee Related JP5793426B2 (ja) | 2009-01-29 | 2010-01-29 | グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法 |
JP2014087262A Pending JP2014170568A (ja) | 2009-01-29 | 2014-04-21 | グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018133909A Pending JP2018185853A (ja) | 2009-01-29 | 2018-07-17 | グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP2391934B1 (ja) |
JP (4) | JP5793426B2 (ja) |
KR (4) | KR101899506B1 (ja) |
CN (2) | CN102301319B (ja) |
WO (1) | WO2010088477A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010009152A1 (en) | 2008-07-15 | 2010-01-21 | Immersion Corporation | Systems and methods for shifting haptic feedback function between passive and active modes |
US8913009B2 (en) | 2010-02-03 | 2014-12-16 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
EP2392389A4 (en) | 2010-02-03 | 2014-10-15 | Nintendo Co Ltd | GAME SYSTEM, OPERATING METHOD AND GAME PROCESSING METHOD |
JP6243586B2 (ja) | 2010-08-06 | 2017-12-06 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法 |
JP5988549B2 (ja) * | 2010-08-20 | 2016-09-07 | 任天堂株式会社 | 位置算出システム、位置算出装置、位置算出プログラム、および位置算出方法 |
US10150033B2 (en) | 2010-08-20 | 2018-12-11 | Nintendo Co., Ltd. | Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method |
JP5742163B2 (ja) | 2010-10-15 | 2015-07-01 | ヤマハ株式会社 | 情報処理端末および設定制御システム |
KR101492310B1 (ko) | 2010-11-01 | 2015-02-11 | 닌텐도가부시키가이샤 | 조작 장치 및 정보 처리 장치 |
US8711118B2 (en) * | 2012-02-15 | 2014-04-29 | Immersion Corporation | Interactivity model for shared feedback on mobile devices |
US8493354B1 (en) | 2012-08-23 | 2013-07-23 | Immersion Corporation | Interactivity model for shared feedback on mobile devices |
KR20240045365A (ko) | 2012-05-11 | 2024-04-05 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 전자 기기, 기억 매체, 프로그램, 및 표시 방법 |
US8570296B2 (en) | 2012-05-16 | 2013-10-29 | Immersion Corporation | System and method for display of multiple data channels on a single haptic display |
CN103226066B (zh) * | 2013-04-12 | 2015-06-10 | 北京空间飞行器总体设计部 | 一种针对巡视器移动运行状态的图形显示界面优化方法 |
KR20140138424A (ko) | 2013-05-23 | 2014-12-04 | 삼성전자주식회사 | 제스쳐를 이용한 사용자 인터페이스 방법 및 장치 |
US20150005039A1 (en) * | 2013-06-29 | 2015-01-01 | Min Liu | System and method for adaptive haptic effects |
US20160224234A1 (en) * | 2013-09-11 | 2016-08-04 | Yulong Computer Telecommunication Scientific (Shenzhen) Co., Ltd. | Display method for touchscreen and terminal |
US9159294B2 (en) * | 2014-01-31 | 2015-10-13 | Google Inc. | Buttonless display activation |
JP5707519B1 (ja) * | 2014-02-05 | 2015-04-30 | 日本電信電話株式会社 | 入力装置、入力方法及びプログラム |
CN104932800A (zh) * | 2014-03-21 | 2015-09-23 | 朱江 | 一种互动装置 |
JP2015207242A (ja) * | 2014-04-23 | 2015-11-19 | 富士通株式会社 | 電子機器 |
US10678326B2 (en) * | 2015-09-25 | 2020-06-09 | Microsoft Technology Licensing, Llc | Combining mobile devices with people tracking for large display interactions |
CN109565820B (zh) | 2016-08-04 | 2023-04-18 | 株式会社Ntt都科摩 | 用户终端以及无线通信方法 |
JP6946857B2 (ja) * | 2017-08-24 | 2021-10-13 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2884720B2 (ja) * | 1990-06-15 | 1999-04-19 | ソニー株式会社 | ポータブル検索表示装置 |
JP2502914B2 (ja) * | 1992-07-31 | 1996-05-29 | インターナショナル・ビジネス・マシーンズ・コーポレイション | デ―タ転送方法及び装置 |
US5666499A (en) * | 1995-08-04 | 1997-09-09 | Silicon Graphics, Inc. | Clickaround tool-based graphical interface with two cursors |
JPH1049290A (ja) * | 1996-08-05 | 1998-02-20 | Sony Corp | 情報処理装置および方法 |
JPH10240434A (ja) * | 1997-02-27 | 1998-09-11 | Matsushita Electric Ind Co Ltd | コマンドメニュー選択方法 |
JP4251673B2 (ja) * | 1997-06-24 | 2009-04-08 | 富士通株式会社 | 画像呈示装置 |
US6522312B2 (en) * | 1997-09-01 | 2003-02-18 | Canon Kabushiki Kaisha | Apparatus for presenting mixed reality shared among operators |
US7844914B2 (en) * | 2004-07-30 | 2010-11-30 | Apple Inc. | Activating virtual keys of a touch-screen virtual keyboard |
US20060279542A1 (en) * | 1999-02-12 | 2006-12-14 | Vega Vista, Inc. | Cellular phones and mobile devices with motion driven control |
US6545669B1 (en) * | 1999-03-26 | 2003-04-08 | Husam Kinawi | Object-drag continuity between discontinuous touch-screens |
JP2000325653A (ja) * | 1999-05-19 | 2000-11-28 | Enix Corp | 携帯型ビデオゲーム装置およびプログラムを格納した記録媒体 |
US6972734B1 (en) * | 1999-06-11 | 2005-12-06 | Canon Kabushiki Kaisha | Mixed reality apparatus and mixed reality presentation method |
AU7807300A (en) * | 1999-10-18 | 2001-04-30 | British Telecommunications Public Limited Company | Personal mobile communication device |
US7688306B2 (en) * | 2000-10-02 | 2010-03-30 | Apple Inc. | Methods and apparatuses for operating a portable device based on an accelerometer |
JP2002298160A (ja) * | 2001-03-29 | 2002-10-11 | Namco Ltd | 携帯型画像生成装置、プログラム及び情報記憶媒体 |
JP3944824B2 (ja) * | 2001-11-09 | 2007-07-18 | ソニー株式会社 | データ通信装置、表示方法、プログラム及びプログラム格納媒体 |
JP2003177864A (ja) * | 2001-12-13 | 2003-06-27 | Fuji Photo Film Co Ltd | 情報端末システム |
US7002553B2 (en) * | 2001-12-27 | 2006-02-21 | Mark Shkolnikov | Active keyboard system for handheld electronic devices |
JP3902508B2 (ja) * | 2002-05-20 | 2007-04-11 | 任天堂株式会社 | ゲームシステムおよびゲームプログラム |
JP4218336B2 (ja) * | 2002-12-12 | 2009-02-04 | ソニー株式会社 | 情報処理システム、サービス提供装置および方法、情報処理装置および方法、並びにプログラム |
KR20050104382A (ko) * | 2003-02-19 | 2005-11-02 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 휴대용 디바이스들 사이의 콘텐트 아이템들의 ad hoc공유를 위한 시스템 및 그를 위한 상호작용 방법들 |
JP4401728B2 (ja) * | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 複合現実空間画像生成方法及び複合現実感システム |
US7532196B2 (en) * | 2003-10-30 | 2009-05-12 | Microsoft Corporation | Distributed sensing techniques for mobile devices |
JP2007531113A (ja) * | 2004-03-23 | 2007-11-01 | 富士通株式会社 | 携帯装置の傾斜及び並進運動成分の識別 |
US7176888B2 (en) * | 2004-03-23 | 2007-02-13 | Fujitsu Limited | Selective engagement of motion detection |
US20050219211A1 (en) * | 2004-03-31 | 2005-10-06 | Kotzin Michael D | Method and apparatus for content management and control |
JP2005332063A (ja) * | 2004-05-18 | 2005-12-02 | Sony Corp | 触覚機能付き入力装置、情報入力方法及び電子機器 |
JP2006113859A (ja) * | 2004-10-15 | 2006-04-27 | Nec Corp | 携帯情報端末及びその表示制御方法 |
JP2006146440A (ja) * | 2004-11-17 | 2006-06-08 | Sony Corp | 電子機器及び情報表示選択方法 |
KR101002807B1 (ko) * | 2005-02-23 | 2010-12-21 | 삼성전자주식회사 | 메뉴 화면을 표시하는 단말기에서 메뉴 네비게이션을 제어하는 장치 및 방법 |
JP2006333355A (ja) * | 2005-05-30 | 2006-12-07 | Toshiba Corp | 携帯情報処理装置およびその操作方法 |
JP4507992B2 (ja) * | 2005-06-09 | 2010-07-21 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US7933632B2 (en) | 2005-09-16 | 2011-04-26 | Microsoft Corporation | Tile space user interface for mobile devices |
KR100746008B1 (ko) * | 2005-10-31 | 2007-08-06 | 삼성전자주식회사 | 3차원 모션 그래픽 유저 인터페이스, 이를 제공하는 장치및 방법 |
US8049715B2 (en) * | 2005-11-30 | 2011-11-01 | Motorola Mobility, Inc. | Method and system for accessing data stored in an electronic device |
US7812826B2 (en) * | 2005-12-30 | 2010-10-12 | Apple Inc. | Portable electronic device with multi-touch input |
JP2007206755A (ja) * | 2006-01-31 | 2007-08-16 | Sony Computer Entertainment Inc | 情報処理システム、情報処理装置、情報処理プログラム、情報処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体 |
US20070268246A1 (en) * | 2006-05-17 | 2007-11-22 | Edward Craig Hyatt | Electronic equipment with screen pan and zoom functions using motion |
KR100772909B1 (ko) * | 2006-05-30 | 2007-11-05 | 삼성전자주식회사 | 이미지 검색 방법 및 장치 |
JP4485492B2 (ja) * | 2006-06-27 | 2010-06-23 | ソフトバンクモバイル株式会社 | 実行機能選択方法及び移動通信端末装置 |
US20080125224A1 (en) * | 2006-09-26 | 2008-05-29 | Pollatsek David | Method and apparatus for controlling simulated in flight realistic and non realistic object effects by sensing rotation of a hand-held controller |
CN102883043B (zh) * | 2007-03-16 | 2014-10-22 | 日本电气株式会社 | 移动终端装置、功能启动方法及其程序 |
US9317110B2 (en) * | 2007-05-29 | 2016-04-19 | Cfph, Llc | Game with hand motion control |
JP2009003799A (ja) * | 2007-06-22 | 2009-01-08 | Aplix Corp | ポータブル機器およびポータブル機器における仮想空間の提供方法 |
CN101178615A (zh) * | 2007-12-12 | 2008-05-14 | 美新半导体(无锡)有限公司 | 姿态及运动感应系统及使用该系统的便携式电子设备 |
-
2010
- 2010-01-29 KR KR1020177021696A patent/KR101899506B1/ko active Application Filing
- 2010-01-29 WO PCT/US2010/022528 patent/WO2010088477A1/en active Application Filing
- 2010-01-29 CN CN201080006056.8A patent/CN102301319B/zh not_active Expired - Fee Related
- 2010-01-29 KR KR1020117019912A patent/KR101653432B1/ko active IP Right Grant
- 2010-01-29 CN CN201410557837.6A patent/CN104407667B/zh not_active Expired - Fee Related
- 2010-01-29 KR KR1020167023362A patent/KR101766370B1/ko active IP Right Grant
- 2010-01-29 JP JP2011548330A patent/JP5793426B2/ja not_active Expired - Fee Related
- 2010-01-29 KR KR1020187026205A patent/KR20180102708A/ko active IP Right Grant
- 2010-01-29 EP EP10736451.5A patent/EP2391934B1/en active Active
-
2014
- 2014-04-21 JP JP2014087262A patent/JP2014170568A/ja active Pending
-
2016
- 2016-03-10 JP JP2016046840A patent/JP2016154018A/ja active Pending
-
2018
- 2018-07-17 JP JP2018133909A patent/JP2018185853A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016154018A5 (ja) | グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのデバイス、方法及びコンピュータ可読媒体 | |
JP2018109974A5 (ja) | ||
JP2011528474A5 (ja) | ||
RU2013154098A (ru) | Мир массового одновременного удаленного цифрового присутствия | |
JP2014517384A5 (ja) | ||
JP2019149202A5 (ja) | ||
JP6478360B2 (ja) | コンテンツ閲覧 | |
WO2018125742A3 (en) | Dynamic depth-based content creation in virtual reality environments | |
JP2013235373A5 (ja) | ||
KR102389185B1 (ko) | 컨텐츠의 적어도 일부를 통해 표시된 입력 인터페이스를 이용하여 기능을 실행하기 위한 전자 장치 및 방법 | |
CN105144072B (zh) | 在多点触控装置上对压感进行模拟 | |
EP4250066A3 (en) | Method and system for the detection and augmentation of tactile interactions in augmented reality | |
JP6558839B2 (ja) | 媒介現実 | |
JP2017502535A5 (ja) | ||
JP2012521039A5 (ja) | ||
JP2016538649A5 (ja) | ||
JP2015514246A5 (ja) | ||
GB201308357D0 (en) | Untouched 3D measurement with range imaging | |
RU2017115669A (ru) | Система и способ для дополненной и виртуальной реальности | |
JP2018109835A5 (ja) | ||
WO2015042048A3 (en) | Approaches for three-dimensional object display | |
JP2014203377A5 (ja) | ||
JP2011239398A5 (ja) | ||
WO2014210158A3 (en) | Space carving based on human physical data | |
JP2017514192A5 (ja) |