JP2020177587A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2020177587A
JP2020177587A JP2019081299A JP2019081299A JP2020177587A JP 2020177587 A JP2020177587 A JP 2020177587A JP 2019081299 A JP2019081299 A JP 2019081299A JP 2019081299 A JP2019081299 A JP 2019081299A JP 2020177587 A JP2020177587 A JP 2020177587A
Authority
JP
Japan
Prior art keywords
information processing
contact
unit
information
drag force
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019081299A
Other languages
English (en)
Inventor
惇一 清水
Junichi Shimizu
惇一 清水
真生 近藤
Masao Kondo
真生 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2019081299A priority Critical patent/JP2020177587A/ja
Priority to PCT/JP2020/010393 priority patent/WO2020217759A1/ja
Publication of JP2020177587A publication Critical patent/JP2020177587A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの入力に応じた力覚を提示することができる情報処理装置、情報処理方法及びプログラムを提案する。【解決手段】情報処理装置は、操作対象物に設けられ、操作対象物の操作に応じて接触した外界から受ける抗力を変更可能な接触部と、接触部に関する環境情報を取得する取得部と、取得部によって取得した環境情報に基づいて、接触部が外界から受ける抗力を変更する変更部と、を備える。【選択図】図3

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
スマートフォンまたはゲーム機に用いられるコントローラには、ユーザに触覚フィードバックを与えるための触覚デバイスが備えられているものがある。特許文献1には、属性を有する仮想オブジェクトと他の仮想オブジェクトが接触したときに、触覚デバイスを動作させる触覚データを生成する情報処理装置が開示されている。
国際公開第2017/043400号
上記の従来技術では、触覚フィードバックに振動を用いているため、ユーザにフィードバックさせる情報が制限されてしまう。このため、ユーザに触覚フィードバックを与える技術には、改善の余地がある。
そこで、本開示では、ユーザの入力に応じた力覚を提示することができる情報処理装置、情報処理方法及びプログラムを提案する。
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、操作対象物に設けられ、前記操作対象物の操作に応じて接触した外界から受ける抗力を変更可能な接触部と、前記接触部に関する環境情報を取得する取得部と、前記取得部によって取得した前記環境情報に基づいて、前記接触部が前記外界から受ける前記抗力を変更する変更部と、を備える。
また、本開示に係る一形態の情報処理方法は、操作対象物に設けられ、前記操作対象物の操作に応じて接触した外界から受ける抗力を変更可能な接触部を備える情報処理装置によって実行される情報処理方法であって、前記接触部に関する環境情報を取得するステップと、取得した前記環境情報に基づいて、前記接触部が前記外界から受ける前記抗力を変更するステップと、を含む。
また、本開示に係る一形態のプログラムは、操作対象物に設けられ、前記操作対象物の操作に応じて接触した外界から受ける抗力を変更可能な接触部を備える情報処理装置に、前記接触部に関する環境情報を取得するステップと、取得した前記環境情報に基づいて、前記接触部が前記外界から受ける前記抗力を変更するステップと、を実行させる。
第1の実施形態に係る情報処理装置の概略構成を示す図である。 図1におけるA−A線の断面模式図である。 第1の実施形態に係る情報処理装置の構成の一例を示す図である。 第1の実施形態に係るパラメータ情報の一例を示す図である。 第1の実施形態に係る情報処理装置の移動と摩擦力との関係を説明するための図である。 第1の実施形態に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。 第1の実施形態に係る情報処理装置による動作を説明するための図である。 第1の実施形態の変形例(1)に係る情報処理装置の動作を説明するための図である。 第1の実施形態の変形例(2)に係る情報処理装置の一例を説明するための図である。 第1の実施形態の変形例(2)に係る情報処理装置の動作を説明するための図である。 第1の実施形態の変形例(3)に係る情報処理装置の構成例を示す図である。 第1の実施形態の変形例(3)に係る情報処理装置の構成例を示す図である。 第1の実施形態の変形例(3)に係る情報処理装置の構成例を示す図である。 第2の実施形態に係るシステムの一例を説明するための図である。 第2の実施形態に係る情報処理装置及び制御装置の構成の一例を示す図である。 第2の実施形態に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
(第1の実施形態)
[第1の実施形態に係る情報処理装置の概要]
図1は、第1の実施形態に係る情報処理装置10の概略構成を示す図である。図1に示す情報処理装置10は、グラフィックに連動した力覚をユーザに提示する装置である。情報処理装置10は、ユーザによって操作される操作対象物の一例である。図1に示す一例では、情報処理装置10は、テーブルトップ型の表示装置100の画面101等の外界に接触した状態で配置されるコントローラとなっている。情報処理装置10は、筐体11がユーザの手によって持たれ、画面101に接触した状態で移動される。情報処理装置10は、筐体11に対するユーザの入力よって生じる力覚を提示する機能を有する。なお、情報処理装置10は、例えば、物理オブジェクト、紙等のグラフィックが表現された物体と接触させてもよい。
表示装置100は、画面101に各種情報を表示する機能を有する。表示装置100は、制御装置200によって制御される。表示装置100は、例えば、タッチパネル、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置、プロジェクタ等の表示デバイスを用いることができる。本実施形態では、表示装置100は、タッチパネルである場合について説明する。
制御装置200は、例えば、専用または汎用コンピュータである。情報処理装置10と制御装置200とは、例えば、データや信号の授受が可能な構成となっている。制御装置200は、表示装置100に色の濃淡が異なる画像を表示させている。制御装置200は、情報処理装置10の操作に応じた結果を表示装置100に表示させる機能を有する。なお、制御装置200は、例えば、表示装置100に組み込まれてもよい。
図1に示す一例では、画像は、色の濃淡、色相、明度の変化等に応じて、情報処理装置10の摩擦感を変化させるための画像となっている。例えば、色の濃淡の場合、画像は、色が濃いほど摩擦力を大きくする領域であり、色が淡いほど摩擦力を小さくする領域と定義することができる。例えば、画像の表示色は、情報処理装置10が提供する力覚と連動することで、ユーザに坂道を錯覚させるグラフィックとして機能する。情報処理装置10は、画面101の濃い色の領域で摩擦力を大きくすることで、ユーザの操作(入力)によって坂道を上っているような力覚を提示することができる。情報処理装置10は、画面101の淡い色の領域で摩擦力を小さくすることで、ユーザの操作(入力)によって坂道を下っているような力覚を提示することができる。
[第1の実施形態に係る情報処理装置の構成]
図2は、図1におけるA−A線の断面模式図である。図2に示すように、情報処理装置10は、筐体11と、接触部12と、駆動部13と、検出部14と、を備える。本実施形態では、筐体11は、例えば、合成樹脂、金属等の部材によって中空円柱状に形成されている。なお、筐体11は、例えば、玩具、マウス等の形状としてもよい。筐体11は、対向する上面111及び底面112と、側面113と、を有する。筐体11は、底面112に貫通孔114が形成されている。底面112は、筐体11が外界と接触する面である。外界は、例えば、情報処理装置10が接触した状態で移動する環境、物体等である。貫通孔114は、例えば、接触部12の少なくとも一部が筐体11の外部へ突出可能な大きさで形成されている。
接触部12は、筐体11の内部に収容されている。接触部12は、筐体11に対するユーザの操作に応じて、接触している外界から受ける抗力を変更可能な構成となっている。第1の実施形態では、接触部12は、筐体11に移動可能に固定されており、外界との接触面積を変化させることで、外界から受ける抗力を変化させる。これにより、接触部12は、固定されている筐体11を介して、外界に応じて変化する抗力をユーザに伝達することができる。図2に示す一例では、接触部12は、スポンジ、ゴム等の弾性部材によって凸状に形成されている。接触部12は、外界と接触する表面に、摩擦力を有するゴム、皮、布等の摩擦材12Aが設けられている。接触部12は、駆動部13の移動機構13Aに装着されている。
駆動部13は、筐体11の内部に固定された状態で収容されている。駆動部13は、接触部12を移動方向Mに沿って移動させる移動機構131と、接触部12を移動方向Mへ移動させる動力を発生するモータ132と、を有する。移動機構131は、例えば、モータ132の動力によって回転するねじ軸と、接触部12に固定されてねじ軸の回転に応じて移動するナットと、を含むリンク機構等を用いることができる。駆動部13は、接触部12を移動方向Mに移動させることで、接触部12と外界との接触面積を変化させる。
検出部14は、筐体11の内部に収容されている。検出部14は、情報処理装置10の姿勢、移動量、移動状態等を検出する。検出部14は、例えば、加速度センサ、方位センサ及びジャイロセンサの少なくとも1つを含む。検出部14は、例えば、筐体11または接触部12の近傍の外界を撮影可能なカメラを含んでもよい。
図3は、第1の実施形態に係る情報処理装置10の構成の一例を示す図である。図3に示すように、情報処理装置10は、通信部15と、記憶部16と、制御部17と、をさらに備える。すなわち、第1の実施形態に係る情報処理装置10は、筐体11と、接触部12と、駆動部13と、検出部14と、通信部15と、記憶部16と、制御部17と、を備える。情報処理装置10の制御部17は、駆動部13、検出部14、通信部15及び記憶部16と電気的に接続されている。
通信部15は、表示装置100及び制御装置200と直接またはネットワークを介して通信を行う機能を有する。通信部15は、例えば、有線による通信または無線による通信が可能な通信装置である。通信部15は、表示装置100及び制御装置200から受信した情報を制御部17に出力する。通信部15は、制御部17から入力された情報、信号等を表示装置100、制御装置200等に送信する。
記憶部16は、各種データ及びプログラムを記憶する。記憶部16は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部16は、力覚を提示するためのデータを記憶する。記憶部16は、パラメータ情報D1、環境情報D2等を記憶する。パラメータ情報D1は、例えば、環境のパラメータに基づいて接触部12の摩擦力を特定するための情報を含む。環境のパラメータは、例えば、色彩情報、物性情報等を含む。色彩情報は、例えば、色相、明度、彩度、等を含む。物性情報は、接触部12の物性を特定可能な情報を含む。環境情報D2は、接触部12が相互に関係し合って直接または間接に影響を与える外界を示す情報を含む。
制御部17は、情報処理装置10の制御を司る。制御部17は、取得部171と、変更部172といった各処理部を有する。本実施形態では、取得部171及び変更部172の各処理部は、例えば、CPU(Central Processing Unit)やMCU(Micro Control Unit)等によって、情報処理装置10内部に記憶されたプログラムがRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、各処理部は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等の集積回路により実現されてもよい。
取得部171は、接触部12の環境情報D2を取得する。取得部171は、接触部12が移動可能な外界の色彩情報を含む環境情報D2を取得する。取得部171は、操作対象物の状態に関する情報を含む環境情報D2を取得する。操作対象物の状態に関する情報は、例えば、操作対象物に対するユーザの操作、操作対象物の移動状態、動作状態等を示す情報を含む。例えば、取得部171は、通信部15を介して、制御装置200から情報処理装置10の表示装置100の画面101における位置、情報処理装置10の周囲の色彩等を含む環境情報D2を取得する。例えば、取得部171は、検出部14の検出結果を操作対象物の状態に関する情報として取得する。
変更部172は、取得部171によって取得した環境情報D2に基づいて、接触部12が外界から受ける抗力を変更する。例えば、変更部172は、接触部12と外界との間の摩擦が、ユーザに提示する力覚となるように駆動部13を駆動させる。抗力を変更させる方法の一例については、後述する。変更部172は、駆動部13の駆動により、色彩情報の色及び色の明度の少なくとも一方に応じた抗力となるように、接触部12と外界との接触状態を変更させる。変更部172は、色彩情報が示す色の明度が低いほど接触部に生じる抗力が高くなるように、接触部12と外界との接触状態を変化させる。第1の実施形態では、変更部172は、駆動部13を制御して接触部12と外界との摩擦力を変更することで、ユーザの操作に応じた接触部12の抗力を発生させる。変更部172は、表示装置100に表示されている表示内容に基づいて、当該表示装置100に接触している接触部12に生じる抗力を変更する機能を有する。
以上、第1の実施形態に係る情報処理装置10の構成例について説明した。なお、図2及び図3を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理装置10の構成は係る例に限定されない。本実施形態に係る情報処理装置10の機能構成は、仕様や運用に応じて柔軟に変形可能である。
[第1の実施形態に係るパラメータ情報の構成例]
図4は、第1の実施形態に係るパラメータ情報D1の一例を示す図である。図4に示すパラメータ情報D1は、色彩情報の明度と接触部12の摩擦力との関係を示すテーブルを含む。パラメータ情報D1は、明度L,L,L,L,Lの順番で明度の値が高くなるように設定されている。パラメータ情報D1は、最も低い値の明度Lと最も大きな値の摩擦力Fとを紐付けている。次に、パラメータ情報D1は、明度Lよりも高い値の明度Lと摩擦力Fよりも小さな値の摩擦力Fとを紐付けている。次に、パラメータ情報D1は、明度Lよりも高い値の明度Lと摩擦力Fよりも小さな値の摩擦力Fとを紐付けている。次に、パラメータ情報D1は、明度Lよりも高い値の明度Lと摩擦力Fよりも小さな値の摩擦力Fとを紐付けている。次に、パラメータ情報D1は、明度Lよりも高い値の明度Lと摩擦力Fよりも小さな値の摩擦力Fとを紐付けている。換言すると、パラメータ情報D1は、最も高い値の明度Lと最も小さな値の摩擦力Fとを紐付けている。なお、パラメータ情報D1は、例えば、同一の明度における自装置の移動方向と摩擦力の変化量との関係、移動方向への摩擦力の増減等を示す情報を含んでもよい。例えば、パラメータ情報D1は、同一の明度において、第1の方向への移動に応じて摩擦力を減少させ、第1の方向とは反対の第2の方向への移動時には摩擦力を増加させる情報を含んでもよい。なお、移動方向については、2方向に限定するものではなく、3つ以上の方向を含んでもよい。
情報処理装置10は、環境情報D2に基づいて外界の明度を特定すると、パラメータ情報D1から当該明度に対応する摩擦力を特定する。情報処理装置10は、特定した摩擦力となるように駆動部13を駆動させることで、接触部12の抗力を変更する。例えば、情報処理装置10は、環境情報D2に基づいて明度Lを特定した場合、パラメータ情報D1から当該明度Lに対応した摩擦力Fを特定する。そして、情報処理装置10は、接触部12と外界とが摩擦力Fとなるように駆動部13を駆動させることで、外界の明度Lに対応した抗力をユーザに提示することを可能にしている。
図4に示した一例では、パラメータ情報D1は、明度と摩擦力との関係を示すテーブルである場合について説明したが、これに限定されない。パラメータ情報D1は、例えば、色相と摩擦力との関係、彩度と摩擦力との関係等を示すテーブルとしてもよい。また、パラメータ情報D1は、例えば、色彩情報と駆動部13の駆動量との関係を示してもよい。
[第1の実施形態に係る情報処理装置の摩擦力の設定]
図5は、第1の実施形態に係る情報処理装置10の移動と摩擦力との関係を説明するための図である。情報処理装置10は、自装置が置かれた位置の色彩と移動距離によって接触部12の摩擦力を変化させることができる。自装置は、ユーザによって操作される操作対象物を意味する。本実施形態では、情報処理装置10自体が自装置となるが、これに限定されない。例えば、情報処理装置10が接触部12を遠隔操作する場合、自装置は接触部12が設けられた操作対象物とすることができる。
図5に示す一例では、情報処理装置10は、自装置の筐体11の中心を位置(X,Y)と設定している。情報処理装置10は、位置(X,Y)を中心とした領域Thと、領域Thの外部に連なる領域Thとを設定している。なお、情報処理装置10は、自装置の位置(X,Y)が領域Thの内部にある場合、位置(X,Y)=位置(X,Y)とする。そして、情報処理装置10は、自装置の位置(X,Y)が領域Thの内部にある場合、位置(X,Y)=位置(X,Y)とする。この場合、情報処理装置10は、距離と位置とに応じた摩擦力Fを式(1)で変化させる。式(1)のα、βは、外界の色彩等に応じた係数である。
摩擦力F=α(X−X)+β(Y−Y) ・・・式(1)
図5において、情報処理装置10は、位置(X,Y)から位置(X,Y)、位置(X,Y)へユーザによって移動されたとする。この場合、情報処理装置10は、領域Thを移動している場合と、領域Thを移動している場合とで摩擦力Fを変化させることができる。すなわち、情報処理装置10は、外界の色彩に変化がない場合でも、自装置の移動量に応じて摩擦力Fを変化させることで、ユーザの入力に応じた現実的な力覚を提供することができる。
[第1の実施形態に係る情報処理装置の処理手順]
次に、第1の実施形態に係る情報処理装置10の処理手順の一例について説明する。図6は、第1の実施形態に係る情報処理装置10が実行する処理手順の一例を示すフローチャートである。図6に示す処理手順は、情報処理装置10の制御部17がプログラムを実行することによって実現される。
図6に示すように、情報処理装置10の制御部17は、接触部12の環境情報D2を取得する(ステップS101)。例えば、制御部17は、通信部15を介して、接触部12の周囲、状況等を示す環境情報D2を制御装置200から取得する。制御部17は、環境情報D2を時系列順に記憶部16に記憶すると、処理をステップS102に進める。
制御部17は、検出部14の検出結果に基づいて移動状態を推定する(ステップS102)。例えば、制御部17は、検出部14によって検出された加速度、方位等に基づいて、自装置が移動しているか否か、移動方向等を推定する。制御部17は、推定結果を記憶部16に記憶すると、処理をステップS103に進める。
制御部17は、自装置の環境が変化したか否かを判定する(ステップS103)。例えば、制御部17は、記憶部16に記憶している環境情報D2が自装置の周囲の色彩、明度等の変化を示している場合に、自装置の環境が変化したと判定する。制御部17は、自装置の環境が変化したと判定した場合(ステップS103でYes)、処理をステップS104に進める。
制御部17は、環境情報D2とパラメータ情報D1とに基づいて、外界に接触したときに接触部12が外界から受ける抗力を特定する(ステップS104)。例えば、制御部17は、環境情報D2が示す明度Lに対応する摩擦力Fに基づいて抗力を特定する。制御部17は、自装置の環境に応じた抗力を特定すると、処理をステップS105に進める。
制御部17は、特定した抗力に基づいて接触部12が外界から受ける抗力を変更する(ステップS105)。例えば、制御部17は、特定した抗力となるように駆動部13を駆動させることで、接触部12が外界から受ける抗力を変更する。制御部17は、ステップS105の処理が終了すると、処理を後述するステップS109に進める。
また、制御部17は、自装置の環境が変化していないと判定した場合(ステップS103でNo)、処理をステップS106に進める。制御部17は、ステップS102の推定結果に基づいて、自装置が移動しているか否かを判定する(ステップS106)。制御部17は、自装置が移動していないと判定した場合(ステップS106でNo)、処理を後述するステップS109に進める。また、制御部17は、自装置が移動していると推定した場合(ステップS106でYes)、処理をステップS107に進める。
制御部17は、自装置の移動量と環境情報D2とに基づいて、外界に接触したときに接触部12が外界から受ける抗力を更新する(ステップS107)。例えば、制御部17は、上述した式(1)を用いて摩擦力Fを求め、当該摩擦力Fに基づいて新たな抗力に更新する。例えば、制御部17は、環境情報D2が示す明度Lにおける自装置の移動方向に応じた摩擦力Fを求め、当該摩擦力Fに基づいて新たな抗力に更新する。そして、制御部17は、更新した抗力に基づいて、接触部12が外界から受ける抗力を変更する(ステップS108)。制御部17は、接触部12が外界から受ける抗力を変更すると、処理をステップS109に進める。
制御部17は、終了するか否かを判定する(ステップS109)。例えば、制御部17は、ユーザ、制御装置200等から終了の要求を受けている場合、情報処理装置10の電源がオフになった場合等に終了すると判定する。制御部17は、終了しないと判定した場合(ステップS109でNo)、処理を既に説明したステップS101に戻し、ステップS101以降の処理手順を継続する。また、制御部17は、終了すると判定した場合(ステップS109でYes)、図6に示す処理手順を終了させる。
図6に示す処理手順では、制御部17は、ステップS101の処理を実行することで、取得部171として機能する。そして、制御部17は、ステップS102からステップS108の処理を実行することで、変更部172として機能する。
[第1の実施形態に係る情報処理装置の動作]
次に、第1の実施形態に係る情報処理装置10の動作の一例について、図7を参照して説明する。図7は、第1の実施形態に係る情報処理装置10による動作を説明するための図である。図7に示す一例では、表示装置100は、複数の帯状領域を有する画像を表示している。複数の帯状領域は、隣り合う帯状領域同士の明度が異なっている。そして、情報処理装置10は、表示装置100の画面101において、明度Lの帯状領域に配置されている。
場面SN1では、ユーザは、手Hで情報処理装置10を方向M1へ移動させことで、情報処理装置10を明度Lの帯状領域から明度Lの帯状領域に進入させている。この場合、情報処理装置10は、明度Lの帯状領域の内部を移動している場合は、パラメータ情報D1から摩擦力Fに基づく抗力DR1を特定する。そして、情報処理装置10は、当該抗力DR1を表示装置100の画面101(外界)から受けるように接触部12と画面101との接触状態を変更する。その後、情報処理装置10は、明度Lの帯状領域から明度Lの帯状領域に進入すると、パラメータ情報D1から摩擦力Fに基づく抗力DR1に更新する。そして、情報処理装置10は、更新した抗力DR1を表示装置100の画面101(外界)から受けるように接触部12と画面101との接触状態を変更する。これにより、情報処理装置10は、移動している帯状領域の明度の変化に応じて抗力DR1が変化するので、ユーザに対して明度の変化に基づく力覚の変化を提示することができる。その結果、ユーザは、情報処理装置10を方向M1へ移動させるにしたがって、表示装置100からの抗力DRが強くなっていることを認識する。
場面SN2では、ユーザは、手Hで情報処理装置10を方向M1とは反対の方向M2へ移動させことで、情報処理装置10を明度Lの帯状領域の内部を移動させている。この場合、情報処理装置10は、明度Lの帯状領域の内部のみを移動しているので、パラメータ情報D1から摩擦力Fに基づく抗力DR2を特定する。そして、情報処理装置10は、当該抗力DR2を表示装置100の画面101(外界)から受けるように接触部12と画面101との接触状態を変更する。その後、情報処理装置10は、明度Lの帯状領域における移動量に応じて抗力DR2を弱めるように、接触部12と画面101との接触状態を変更する。これにより、情報処理装置10は、移動している帯状領域の明度の変化がない場合、抗力DR2を移動量に応じて変化させるので、ユーザに対して移動量の変化に基づく力覚の変化を提示することができる。その結果、ユーザは、情報処理装置10を方向M2へ移動させるにしたがって、表示装置100からの抗力DRが弱まっていることを認識する。
また、物体が坂道を下るときの抗力は、平坦な場所を移動する場合の抗力よりも小さくなる。物体が坂道を下るときの抗力は、坂道を上る場合の抗力よりもさらに小さくなる。例えば、場面SN2では、明度Lの帯状領域が方向M2への下り坂を想定しているとする。この場合、情報処理装置10は、方向M2への移動を検出すると、抗力DR2を抗力DR1よりも小さくなるように、接触部12と画面101との接触状態を変更する。例えば、情報処理装置10は、平坦な場所を移動する場合及び坂道を上る場合よりも、抗力DR2を小さくしたり、抗力DR2をなくしたりするように、接触部12と画面101との接触状態を変更することができる。これにより、情報処理装置10は、移動する方向性に基づいて抗力を異ならせることで、自装置が平坦な外界を移動している場合に、あたかも斜面を下っているような力覚を提示することができる。その結果、ユーザは、情報処理装置10を方向M2を移動させることで、表示装置100からの抗力DRによって坂道を下っているような感覚を得ることができる。このように、情報処理装置10は、検出した操作の方向に応じて抗力が異なるように、接触部12と外界との接触状態を変化させることができる。
以上のように、第1の実施形態に係る情報処理装置10は、筐体11(操作対象物)に設けられ、筐体11の操作に応じて接触した外界から受ける抗力を変更可能な接触部12と、接触部12に関する環境情報D2を取得する取得部171と、取得部171によって取得した環境情報D2に基づいて、接触部12が外界から受ける抗力を変更する変更部172と、を備える。これにより、情報処理装置10は、ユーザによって筐体11が操作されると、接触部12が外界から受ける抗力を、環境情報D2に応じた抗力に変更することができる。また、情報処理装置10は、環境情報D2が変化すると、接触部12が外界から受ける抗力も変化させることができる。その結果、情報処理装置10は、接触部12が外界から受ける抗力を環境情報D2に基づいて変更することで、ユーザの入力に応じて接触部12の環境に基づく力覚を提示することができる。情報処理装置10は、仮想物体に物理特性効果を与えることができるので、斬新な表示態様に貢献することができる。
また、情報処理装置10は、取得部171によって接触部12が移動可能な外界の色彩情報を含む環境情報D2を取得すると、色彩情報に基づいて接触部12に生じる抗力を変更部172によって変更する。これにより、情報処理装置10は、接触部12が移動する外界の色彩に基づいて、接触部12が外界から受ける抗力を変更することができる。その結果、情報処理装置10は、接触部12が外界から受ける抗力を外界の色彩に応じて変更することで、ユーザの入力に応じて外界の色彩に基づく力覚を提示することができる。
また、情報処理装置10は、色彩情報の色及び色の明度の少なくとも一方に応じた抗力となるように接触部12と外界との接触状態を変更部172によって変更させる。これにより、情報処理装置10は、接触部12が移動する外界の色及び明度の少なくとも一方が変化すると、接触部12が外径から受ける抗力も変化させることができる。その結果、情報処理装置10は、接触部12が外界から受ける抗力を外界の色及び明度の少なくとも一方に基づいて変更することで、ユーザの入力に応じた外界からの色や明度に基づく力覚を提示することができる。
また、情報処理装置10は、色彩情報が示す色の明度が低いほど接触部12が外界から受ける抗力が高くなるように、接触部12と外界との接触状態を変更部172によって変化させる。これにより、情報処理装置10は、接触部12が移動する外界の明度が低くなると、接触部12が外径から受ける抗力を高くすることができる。その結果、情報処理装置10は、外界の明度が低くなるほど接触部12が外界から受ける抗力を高くすることで、明度の変化に基づく力覚を提示することができる。
第1の実施形態では、情報処理装置10は、表示装置100上を移動するテーブルトッププロジェクションの一例について説明したが、これに限定されない。例えば、情報処理装置10は、紙などの実世界オブジェクトにおいて環境に応じた色彩情報を表現し、当該実世界オブジェクト上を移動させる実施形態としてもよい。この場合、情報処理装置10は、検出部14、実世界オブジェクトを撮影するカメラ等から色彩情報を取得し、当該色彩情報に基づいて接触部12が外界から受ける抗力を変更すればよい。
[第1の実施形態の変形例(1)]
図8は、第1の実施形態の変形例(1)に係る情報処理装置10の動作を説明するための図である。図8に示す場面SN11では、制御装置200は、おもりのオブジェクトOB1とおもりにつながったバネのオブジェクトOB2とを有する画像G11を表示装置100に表示させている。表示装置100は、画面101に当該画像G11を表示している。そして、情報処理装置10は、マグネットとして、バネのオブジェクトOB2の先端に接触するように、画面101に配置されている。
この状態で、ユーザは、手Hで位置(X,Y)の情報処理装置10を方向M11へ移動させている。この場合、情報処理装置10は、おもりの重さ、バネの係数、マグネットパワーに基づいて接触部12の抗力を特定し、当該抗力を画面101(外界)から受けるように接触部12と画面101との接触状態を変更する。これにより、情報処理装置10は、接触部12が画面101に触れたときに、自装置が受ける抗力により、ユーザの操作(入力)に応じておもりを引っ張る場合の力覚を提供することができる。
場面SN12では、ユーザは、手Hで情報処理装置10を位置(X,Y)まで移動させている。この場合、制御装置200は、表示装置100を介して、情報処理装置10の位置情報を検出し、検出した位置情報に基づいておもりを移動させかつバネを変形させた画像G12を表示装置100に表示させている。その結果、表示装置100は、画像G12を表示することにより、移動する情報処理装置10におもりが追従し、かつバネが変形する演出をユーザに提供することになる。
なお、情報処理装置10は、位置(X,Y)で静止した状態となっている。また、例えば、移動している情報処理装置10は、マグネットパワーp、調整係数k等を有する環境情報D2を、通信部15を制御装置200から取得する。マグネットパワーpは、自装置もおもりも静止している安定状態を表現している。これにより、情報処理装置10は、例えば、バネを伸ばす方向に自装置が移動される場合の抗力を環境情報D2のマグネットパワーp、調整係数k等に基づいて特定する。例えば、バネを伸ばす方向に自装置が移動している場合、情報処理装置10は、自装置の移動量をバネの伸びaとして求め、抗力をp+k*a等の算出式で特定する。情報処理装置10は、例えば、バネを縮める方向に自装置が移動している場合、自装置の移動量をバネの伸びaとして求めることで、抗力をp−k*a等の算出式で特定する。そして、情報処理装置10は、移動している場合に、おもり及びバネの変化に応じて抗力を変更する。
場面SN13では、ユーザは、手Hで情報処理装置10を位置(X,Y)に固定している。この場合、制御装置200は、表示装置100を介して、情報処理装置10の位置情報を検出し、検出した位置情報に基づいて、バネが伸縮していない形状に戻り、おもりが停止する画像G13を表示装置100に表示させている。その結果、表示装置100は、画像G13を表示することにより、情報処理装置10の近傍でおもりが停止し、かつバネが伸縮していない形状に戻る演出をユーザに提供することになる。
以上のように、第1の実施形態の変形例(1)に係る情報処理装置10は、検出部14によって筐体11(操作対象物)に対する操作を検出すると、筐体11の状態に関する情報を含む環境情報D2を取得部171によって取得する。情報処理装置10は、検出された操作に応じた作用となるように、接触部12が外界から受ける抗力を変更する。これにより、情報処理装置10は、ユーザによって筐体11が操作されると、接触部12が外界から受ける抗力を、筐体11の状態に応じた抗力に変更することができる。例えば、情報処理装置10は、接触部12が外界から受ける抗力を、筐体11とおもりとバネとの状態に応じた抗力に変更することができる。その結果、情報処理装置10は、接触部12が外界から受ける抗力を筐体11の状態に基づいて変更することで、ユーザの入力に応じて操作対象物の状態に基づく力覚を提示することができる。
[第1の実施形態の変形例(2)]
図9は、第1の実施形態の変形例(2)に係る情報処理装置10の一例を説明するための図である。図10は、第1の実施形態の変形例(2)に係る情報処理装置10の動作を説明するための図である。図9に示すように、情報処理装置10は、画像G20を表示する表示装置100の画面101上に配置されている。画像G20は、円形の領域を示すオブジェクトOB3と、オブジェクトOB3の内部を移動する球体を示すオブジェクトOB4と、オブジェクトOB4を操作する棒状のオブジェクトOB5と、を有する。情報処理装置10は、オブジェクトOB5と連動することで、オブジェクトOB5を操作する操作装置として機能する。
図10に示す場面SN21では、制御装置200は、オブジェクトOB4とオブジェクトOB5が離れた状態の画像G21を表示装置100に表示させている。表示装置100は、画面101に当該画像G21を表示している。そして、情報処理装置10は、オブジェクトOB5と端部と接触し、オブジェクトOB1の中心に位置するように、画面101に配置されている。この状態で、ユーザは、手Hで情報処理装置10を方向M21へ回転させている。
場面SN22では、制御装置200は、表示装置100を介して、情報処理装置10の回転を検出すると、オブジェクトOB5をオブジェクトOB4に接触させた画像G22を表示装置100に表示させる。表示装置100は、画面101に当該画像G22を表示している。そして、情報処理装置10は、自装置の回転量に基づいて、オブジェクトOB5をオブジェクトOB4と接触する位置まで移動させたことを検出すると、オブジェクトOB4の重さ等を含む環境情報D2を取得する。情報処理装置10は、環境情報D2に基づいて、オブジェクトOB5でオブジェクトOB4を押す場合に、接触部12が外界から受ける抗力を特定する。そして、情報処理装置10は、当該抗力を画面101(外界)から受けるように接触部12と画面101との接触状態を変更する。
場面SN23では、ユーザは、手Hで情報処理装置10を方向M22へ回転させている。これにより、情報処理装置10は、接触部12が画面101上で回転するときに、自装置が受ける抗力により、ユーザの操作(入力)に応じてオブジェクトOB5がオブジェクトOB4を押し出す場合の力覚を提供することができる。そして、制御装置200は、表示装置100を介して、情報処理装置10の方向M22への回転を検出すると、オブジェクトOB5がオブジェクトOB4を押し出した場合のオブジェクトOB4の移動量を算出する。そして、制御装置200は、オブジェクトOB5がオブジェクトOB4を押し出した場合の画像G23を表示装置100に表示させる。表示装置100は、画面101に当該画像G23を表示している。
場面SN24では、ユーザは、オブジェクトOB5がオブジェクトOB4を押し出せたことを認識し、情報処理装置10の回転(操作)を停止させている。制御装置200は、オブジェクトOB4が停止位置まで移動していない移動中の場合、オブジェクトOB4の位置を更新した画像G24を表示装置100に表示させる。表示装置100は、画面101に当該画像G24を表示している。
場面SN25では、制御装置200は、オブジェクトOB4が停止しているオブジェクトOB5の反対側と接触すると、オブジェクトOB4をオブジェクトOB5に接触させた画像G25を表示装置100に表示させる。表示装置100は、画面101に当該画像G25を表示している。
以上のように、第1の実施形態の変形例(2)に係る情報処理装置10は、検出部14によって筐体11(操作対象物)に対する操作を検出すると、筐体11の状態に関する情報を含む環境情報D2を取得部171によって取得する。情報処理装置10は、検出された操作に応じた作用となるように、接触部12が外界から受ける抗力を変更する。これにより、情報処理装置10は、ユーザによって筐体11が操作されると、接触部12が外界から受ける抗力を、筐体11の状態と周囲との関係に応じた抗力に変更することができる。その結果、情報処理装置10は、接触部12が外界から受ける抗力を筐体11の状態に基づいて変更することで、ユーザの入力に応じて操作対象物の状態に基づく力覚を提示することができる。
[第1の実施形態の変形例(3)]
図11から図13は、第1の実施形態の変形例(3)に係る情報処理装置10の構成例を示す図である。図11に示すように、情報処理装置10は、接触部12を電磁石122で構成してもよい。この場合、情報処理装置10は、投影装置によって画像等が投影される磁性体300に配置される。情報処理装置10は、制御部17によって電磁石122の磁力の強度を変更することで、ユーザの操作に応じて接触部12が外界から受ける抗力を変更する構成を実現する。
図12に示すように、情報処理装置10は、検出部14を検出部14Aに置き換えてもよい。あるいは、情報処理装置10は、検出部14Aをさらに備える構成としてもよい。検出部14Aは、例えば、ピックアップ機構を有する。検出部14Aは、ピックアップ機能により、情報処理装置10の移動量及び移動方向を検出し、検出結果を制御部17に提供する。なお、検出部14Aは、上述した第1の実施形態に係る情報処理装置10に適用してもよい。
図13に示すように、情報処理装置10は、接触部12が複数の車輪123を有する構成としてもよい。情報処理装置10は、駆動部13をブレーキ機構135で構成してもよい。この場合、情報処理装置10は、上述した表示装置100の画面101上に配置される。情報処理装置10は、制御部17がブレーキ機構135によって車輪123の回転量を制御することで、ユーザの操作に応じて接触部12が外界から受ける抗力を変更する構成を実現する。
なお、上述の第1の実施形態の変形例(1)から変形例(3)は、他の変形例、他の実施形態の情報処理装置に適用したり、組み合わせたりしてもよい。
(第2の実施形態)
[第2の実施形態に係るシステムの概要]
図14は、第2の実施形態に係るシステム1Sの一例を説明するための図である。図14に示すように、システム1は、情報処理装置10Aと、制御装置200と、を備える。情報処理装置10Aと制御装置200とは、例えば、ネットワークを介して通信したり、ネットワークを介さずに直に通信したりすることが可能な構成となっている。なお、システム1は、制御装置200が制御する表示装置100を構成として備えてもよい。
情報処理装置10Aは、例えば、ペン型のデバイスである。情報処理装置10Aは、制御装置200と連動し、表示装置100のグラフィックに応じた力覚をユーザに提示する。情報処理装置10Aは、ユーザによって操作される操作対象物である。情報処理装置10Aは、ユーザの手によって持たれ、画面101に接触した状態で移動される。情報処理装置10Aは、筐体11Aを備える。情報処理装置10Aは、筐体11Aに対するユーザの操作(入力)よって筐体11Aに生じる力覚を提示する機能を有する。
図15は、第2の実施形態に係る情報処理装置10A及び制御装置200の構成の一例を示す図である。図15に示すように、情報処理装置10Aは、接触部12と、駆動部13と、検出部14と、通信部15と、記憶部16と、制御部17と、を備える。情報処理装置10Aは、接触部12をペン型の筐体11Aの先端部分に設けている点が、第1の実施形態とは異なっている。接触部12は、例えば、筐体11Aの先端から突出するように設けられてもよいし、筐体11Aの先端の一部として設けられてもよい。
表示装置100は、画面101に各種情報を表示する機能を有する。表示装置100は、制御装置200によって制御される。図14に示す一例では、表示装置100は、3次元のオブジェクトOB10を表示している。オブジェクトOB10は、例えば、部位と材質との関係、部位の形状等の情報を有している。表示装置100は、画面101が情報処理装置10Aとの接触面となっている。
制御装置200は、コンピュータグラフィックを作成、編集する機能を提供する。制御装置200は、情報処理装置10Aを入力デバイスとして用いることができる。制御装置200は、図15に示すように、記憶部210と、通信部220と、制御部230と、を備える。制御部230は、記憶部210及び通信部220と電気的に接続されている。
記憶部210は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部210は、表示装置100に表示させるオブジェクトOB10の物性情報211を記憶している。物性情報211は、例えば、オブジェクトOB10の材質、接触に応じた摩擦力等の情報を含む。
通信部220は、ネットワークを介して情報処理装置10Aとの情報通信を行う機能を有する。具体的には、通信部220は、制御部230が要求する情報を情報処理装置10Aに送信する。また、通信部220は、情報処理装置10Aから情報を受信すると、当該情報を制御部230に出力する。
制御部230は、制御装置200の動作を制御する。制御部230は、例えば、CAD(Computer Aided Design)、ドローイング等のソフトウェアを実行することで、オブジェクトOB10を表示装置100に表示させる。制御部230は、表示装置100を介して入力された情報を、表示させているオブジェクトOB10に反映させる。制御部230は、通信部220を介して、情報処理装置10Aと情報の送受信を行う。例えば、制御部230は、情報処理装置10Aから送信要求を受信すると、オブジェクトOB10の物性情報211等の情報を情報処理装置10Aに送信する。
[第2の実施形態に係る情報処理装置の処理手順]
次に、第2の実施形態に係る情報処理装置10Aの処理手順の一例について説明する。図16は、第2の実施形態に係る情報処理装置10Aが実行する処理手順の一例を示すフローチャートである。図16に示す処理手順は、情報処理装置10Aの制御部17がプログラムを実行することによって実現される。
図16に示すように、情報処理装置10Aの制御部17は、接触部12がオブジェクトOB10に接触しているか否かを判定する(ステップS201)。例えば、制御部17は、通信部15を介して、制御装置200等から接触部12の接触位置とオブジェクトOB10の表示位置とを取得する。そして、制御部17は、接触位置が表示位置に含まれる場合、接触部12がオブジェクトOB10に接触していると判定する。制御部17は、接触部12がオブジェクトOB10に接触していると判定した場合(ステップS201でYes)、処理をステップS202に進める。
制御部17は、接触部12の環境情報D2を取得する(ステップS202)。例えば、制御部17は、通信部15を介して、接触部12が接触しているオブジェクトOB10の物性情報と環境情報D2として制御装置200から取得する。制御部17は、環境情報D2を時系列順に記憶部16に記憶すると、処理をステップS203に進める。
制御部17は、環境情報D2とパラメータ情報D1とに基づいて、接触部12が外界から受ける抗力を特定する(ステップS203)。例えば、制御部17は、環境情報D2が示すオブジェクトOB10の物性等に対応する摩擦力Fに基づいて抗力を特定する。制御部17は、オブジェクトOB10に応じた抗力を特定すると、処理をステップS204に進める。
制御部17は、特定した抗力に基づいて接触部12が外界から受ける抗力を変更する(ステップS204)。例えば、制御部17は、特定した抗力となるように駆動部13を駆動させることで、接触部12が外界から受ける抗力を変更する。制御部17は、ステップS204の処理が終了すると、処理をステップS205に進める。
制御部17は、接触部12とオブジェクトOB10との接触が継続中であるか否かを判定する(ステップS205)。例えば、制御部17は、通信部15を介して、制御装置200等から接触部12の接触位置とオブジェクトOB10の表示位置とを取得する。そして、制御部17は、接触部12が表示装置100の画面101に接触しかつ接触位置がオブジェクトOB10の表示位置に含まれる場合、接触部12とオブジェクトOB10との接触が継続中であると判定する。制御部17は、接触部12とオブジェクトOB10との接触が継続中であると判定した場合(ステップS205でYes)、処理をステップS205に戻す。これにより、制御部17は、接触部12とオブジェクトOB10との接触が解除されるのを待つ。また、制御部17は、接触部12とオブジェクトOB10との接触が継続中ではないと判定した場合(ステップS205でNo)、処理を後述するステップS207に進める。
また、制御部17は、接触部12がオブジェクトOB10に接触していないと判定した場合(ステップS201でNo)、処理をステップS206に進める。制御部17は、オブジェクトOB10と接触していない場合に、接触部12が外界から受ける抗力に変更する(ステップS206)。例えば、制御部17は、オブジェクトOB10と接触していない場合の抗力となるように駆動部13を駆動させることで、接触部12が外界から受ける抗力を変更する。なお、オブジェクトOB10と接触していない場合の抗力は、例えば、オブジェクトOB10と接触している場合よりも抗力が小さくする、あるいは、抗力を受けないようにしてもよい制御部17は、ステップS206の処理が終了すると、処理をステップS207に進める。
制御部17は、終了するか否かを判定する(ステップS207)。例えば、制御部17は、制御装置200等から終了の要求を受けている場合、オブジェクトOB10の表示が終了した場合等に終了すると判定する。制御部17は、終了しないと判定した場合(ステップS207でNo)、処理を既に説明したステップS201に戻し、ステップS201以降の処理手順を継続する。また、制御部17は、終了すると判定した場合(ステップS207でYes)、図16に示す処理手順を終了させる。
図16に示す処理手順では、制御部17は、ステップS202の処理を実行することで、取得部171として機能する。そして、制御部17は、ステップS203からステップS206の処理を実行することで、変更部172として機能する。
[第2の実施形態に係る情報処理装置の動作]
次に、第2の実施形態に係る情報処理装置10Aの動作の一例について、図14を参照して説明する。図14に示す場面では、制御装置200は、オブジェクトOB10を表示装置100の画面101に表示させている。情報処理装置10Aは、接触部12が画面101におけるオブジェクトOB10の表示領域を接触すると、接触部12がオブジェクトOB10に接触したと判定する。情報処理装置10Aは、接触部12が接触しているオブジェクトOB10の物性情報211を環境情報D2として取得する。情報処理装置10Aは、オブジェクトOB10の物性、接触位置等に基づく抗力を特定すると、ユーザの操作に応じて接触部12が外界から受ける抗力を変更する。すなわち、情報処理装置10Aは、オブジェクトOB10の物性、接触位置等に応じた抗力を接触部12に設定する。そして、接触部12が画面101に接触した状態で、情報処理装置10Aは、ユーザによって移動されると、接触部21がオブジェクトOB10の物性に応じた抗力を受ける。その結果、情報処理装置10Aは、オブジェクトOB10の物性の変化に基づく力覚をユーザに提示することができる。ユーザは、情報処理装置10Aが提供する力覚によってオブジェクトOB10の物性等の相違を認識することができる。
以上のように、第2の実施形態に係る情報処理装置10Aは、筐体11A(操作対象物)に設けられ、筐体11Aの操作に応じて接触した外界から受ける抗力を変更可能な接触部12と、接触部12に関する環境情報D2を取得する取得部171と、取得部171によって取得した環境情報D2に基づいて、接触部12が外界から受ける抗力を変更する変更部172と、を備える。これにより、情報処理装置10Aは、ユーザによって筐体11Aが操作されると、接触部12が外界から受ける抗力を、環境情報D2に応じた抗力に変更することができる。また、情報処理装置10Aは、環境情報D2が変化すると、接触部12が外界から受ける抗力も変化させることができる。その結果、情報処理装置10Aは、接触部12が外界から受ける抗力を環境情報D2に基づいて変更することで、ユーザの入力に応じて接触部12の環境に基づく力覚を提示することができる。情報処理装置10Aは、仮想物体に物理特性効果を与えることができるので、斬新な表示態様に貢献することができる。
また、情報処理装置10Aは、接触部12と外界とが接触した場合に、接触部12が外界から受ける抗力を変更部172によって変更する。これにより、情報処理装置10Aは、接触部12が外界と接触すると、接触部12が接触している外界に応じた環境情報D2に基づいて、接触部12が外界から受ける抗力を変更することができる。その結果、情報処理装置10は、接触部12が接触する外界が変化しても、ユーザの入力に応じて接触部12の環境に基づく力覚を提示することができる。
また、情報処理装置10Aは、表示装置100に表示されている表示内容に基づいて、表示装置100に接触している接触部12が表示装置100から受ける抗力を変更部172によって変更する。これにより、情報処理装置10Aは、表示装置100に表示されている表示内容が変化しても、当該表示内容に基づいて接触部12が表示装置100から受ける抗力を変更することができる。その結果、情報処理装置10Aは、接触部12が接触する表示装置100の表示内容に基づいて、ユーザの入力に応じて接触部12の環境に基づく力覚を提示することができる。情報処理装置10Aは、ユーザに対して表示装置100のグラフィックに基づく力覚を提示することができる。
また、情報処理装置10Aは、表示装置100に表示されているオブジェクトと接触部12とが接触状態になると、接触部12が表示装置100から受ける抗力の変更を開始する。これにより、情報処理装置10Aは、表示装置100において、接触部12がオブジェクトと接触していると、接触部12が表示装置100から受ける抗力を変更することができる。その結果、情報処理装置10Aは、接触部12とオブジェクトとが接触した場合に、ユーザの入力に応じた力覚を提示することができる。
また、情報処理装置10Aは、表示装置100に表示されているオブジェクトと接触部12とが接触状態でない場合、接触部12が表示装置100から受ける抗力を初期値に変更する。これにより、情報処理装置10Aは、表示装置100において、接触部12がオブジェクトと接触している場合と接触部12がオブジェクトと接触していない場合とで、接触部12が表示装置100から受ける抗力を変更することができる。その結果、情報処理装置10Aは、接触部12とオブジェクトとの接触状態を区別することで、ユーザの入力に応じた力覚を変更して提示することができる。
また、情報処理装置10Aは、表示装置100に表示されているオブジェクトの物性情報を取得部171によって取得し、当該物性情報に基づいて接触部12がユーザの操作に応じて表示装置100から受ける抗力を変更部172によって変更する。これにより、情報処理装置10Aは、表示装置100に表示されているオブジェクトの物性情報に基づいて、接触部12が表示装置100から受ける抗力を変更することができる。その結果、情報処理装置10Aは、表示装置100に表示されているオブジェクトの物性を考慮することで、ユーザの入力に応じた力覚の現実性を向上させることができる。
[ハードウェア構成]
上述してきた第1の実施形態に係る情報処理装置10及び第2の実施形態に係る情報処理装置10Aは、例えば図17に示すような構成のコンピュータ1000によって実現してもよい。以下、実施形態に係る情報処理装置10を例に挙げて説明する。図17は、情報処理装置10の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)等の光学記録媒体、MO(Magneto−Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係る情報処理装置30として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、取得部171、変更部172等の機能を実現する。また、HDD1400には、本開示に係るプログラムや、記憶部16内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアに、情報処理装置30が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
また、本明細書の情報処理装置10,10Aの処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置10,10Aの処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本実施形態の情報処理装置10,10Aは、例えば、ドローイングに用いられる場合、ドローイングの状態に基づいて、接触部12がユーザの操作に応じて外界から受ける抗力を変化させてもよい。例えば、ドローイングによる色、色の濃淡、明度等の変化に応じて、情報処理装置10,10Aは、接触部12がユーザの操作に応じて外界から受ける抗力を変化させてもよい。これにより、情報処理装置10,10Aは、外界の色、形状等の変化を、接触部12を介した力覚として提示することができる。
また、本実施形態の情報処理装置10,10Aは、ユーザの操作に応じた力覚を提示する場合について説明したが、これに限定されない。例えば、情報処理装置10,10Aは、力覚提示を従来技術の振動提示と組み合わせたり、接触面やオブジェクトによって提示する形態を切り替えたりしてもよい。
また、本実施形態の情報処理装置10,10Aは、接触部12と一体に構成する場合について説明したが、これに限定されない。情報処理装置10,10Aは、例えば、接触部12と別体とし、接触部12を遠隔操作する構成とすることもできる。情報処理装置10,10Aは、例えば、ヘッドマウントディスプレイ、AR(Augmented Reality)、VR(Virtual Reality)等のウェアラブル装置で実現してもよい。
(効果)
情報処理装置10,10Aは、操作対象物に設けられ、操作対象物の操作に応じて接触した外界から受ける抗力を変更可能な接触部12と、接触部12に関する環境情報D2を取得する取得部171と、取得部171によって取得した環境情報D2に基づいて、接触部12が外界から受ける抗力を変更する変更部172と、を備える。
これにより、情報処理装置10,10Aは、ユーザによって操作対象物が操作されると、接触部12が外界から受ける抗力を、環境情報D2に応じた抗力に変更することができる。また、情報処理装置10,10Aは、環境情報D2が変化すると、接触部12が外界から受ける抗力も変化させることができる。その結果、情報処理装置10,10Aは、接触部12が外界から受ける抗力を環境情報D2に基づいて変更することで、ユーザの入力に応じて接触部12の環境に基づく力覚を提示することができる。情報処理装置10,10Aは、仮想物体に物理特性効果を与えることができるので、斬新な表示態様に貢献することができる。
情報処理装置10,10Aでは、取得部171は、接触部12が移動可能な外界の色彩情報を含む環境情報D2を取得し、変更部172は、色彩情報に基づいて接触部12に生じる抗力を変更する。
これにより、情報処理装置10,10Aは、接触部12が移動する外界の色彩に基づいて、接触部12が外界から受ける抗力を変更することができる。その結果、情報処理装置10,10Aは、接触部12が外界から受ける抗力を外界の色彩に応じて変更することで、ユーザの入力に応じて外界の色彩に基づく力覚を提示することができる。
情報処理装置10,10Aでは、変更部172は、色彩情報の色及び色の明度の少なくとも一方に応じた抗力となるように接触部12と外界との接触状態を変更させる。
これにより、情報処理装置10,10Aは、接触部12が移動する外界の色及び明度の少なくとも一方が変化すると、接触部12が外径から受ける抗力も変化させることができる。その結果、情報処理装置10,10Aは、接触部12が外界から受ける抗力を外界の色及び明度の少なくとも一方に基づいて変更することで、ユーザの入力に応じた外界からの色や明度に基づく力覚を提示することができる。
情報処理装置10,10Aでは、変更部172は、色彩情報が示す色の明度が低いほど接触部12が外界から受ける抗力が高くなるように接触部12と外界との接触状態を変化させる。
これにより、情報処理装置10,10Aは、接触部12が移動する外界の明度が低くなると、接触部12が外径から受ける抗力を高くすることができる。その結果、情報処理装置10,10Aは、外界の明度が低くなるほど接触部12が外界から受ける抗力を高くすることで、明度の変化に基づく力覚を提示することができる。
情報処理装置10,10Aでは、操作対象物に対する操作を検出する検出部14をさらに備え、取得部171は、操作対象物の状態に関する情報を含む環境情報D2を取得し、変更部172は、検出部14によって検出された操作に応じた作用となるように、接触部12が外界から受ける抗力を変更する。
これにより、情報処理装置10,10Aは、ユーザによって操作対象物が操作されると、接触部12が外界から受ける抗力を、操作対象物の状態に応じた抗力に変更することができる。その結果、情報処理装置10,10Aは、接触部12が外界から受ける抗力を操作対象物の状態に基づいて変更することで、ユーザの入力に応じて操作対象物の状態に基づく力覚を提示することができる。
情報処理装置10,10Aでは、変更部172は、検出部14によって検出された操作の方向に応じた作用となるように、環境情報D2に基づいて接触部12が外界から受ける抗力を変更する。
これにより、情報処理装置10,10Aは、操作対象物の操作の方向に応じて、接触部12が外界から受ける抗力を変更することができる。その結果、情報処理装置10,10Aは、検出した操作の方向に応じて抗力が異なるように、接触部12と外界との接触状態を変化させることで、操作の方向に意味を持たせることができる。
情報処理装置10,10Aでは、変更部172は、接触部12と外界とが接触した場合に、接触部12が外界から受ける抗力を変更する。
これにより、情報処理装置10,10Aは、接触部12が外界と接触すると、接触部12が接触している外界に応じた環境情報D2に基づいて、接触部12が外界から受ける抗力を変更することができる。その結果、情報処理装置10,10Aは、接触部12が接触する外界が変化しても、ユーザの入力に応じて接触部12の環境に基づく力覚を提示することができる。
情報処理装置10,10Aでは、外界は、表示装置100であり、変更部172は、表示装置100に表示されている表示内容に基づいて、表示装置100に接触している接触部12が表示装置100から受ける抗力を変更する。
これにより、情報処理装置10,10Aは、表示装置100に表示されている表示内容が変化しても、当該表示内容に基づいて接触部12が表示装置100から受ける抗力を変更することができる。その結果、情報処理装置10,10Aは、接触部12が接触する表示装置100の表示内容に基づいて、ユーザの入力に応じて接触部12の環境に基づく力覚を提示することができる。情報処理装置10Aは、ユーザに対して表示装置100のグラフィックに基づく力覚を提示することができる。
情報処理装置10,10Aでは、変更部172は、表示装置100に表示されているオブジェクトと接触部12とが接触状態になると、接触部12が表示装置100から受ける抗力の変更を開始する。
これにより、情報処理装置10,10Aは、表示装置100において、接触部12がオブジェクトと接触していると、接触部12が表示装置100から受ける抗力を変更することができる。その結果、情報処理装置10,10Aは、接触部12とオブジェクトとが接触した場合に、ユーザの入力に応じた力覚を提示することができる。
情報処理装置10,10Aでは、変更部172は、表示装置100に表示されているオブジェクトと接触部12とが接触状態でない場合、接触部12が表示装置100から受ける抗力を初期値に変更する。
これにより、情報処理装置10,10Aは、表示装置100において、接触部12がオブジェクトと接触している場合と接触部12がオブジェクトと接触していない場合とで、接触部12が表示装置100から受ける抗力を変更することができる。その結果、情報処理装置10,10Aは、接触部12とオブジェクトとの接触状態を区別することで、ユーザの入力に応じた力覚を変更して提示することができる。
情報処理装置10,10Aでは、取得部171は、表示装置100に表示されているオブジェクトの物性情報を取得し、変更部172は、取得部171によって取得された物性情報に基づいて、接触部12が表示装置100から受ける抗力を変更する。
これにより、情報処理装置10,10Aは、表示装置100に表示されているオブジェクトの物性情報に基づいて、接触部12が表示装置100から受ける抗力を変更することができる。その結果、情報処理装置10,10Aは、表示装置100に表示されているオブジェクトの物性を考慮することで、ユーザの入力に応じた力覚の現実性を向上させることができる。
情報処理装置30の情報処理方法は、操作対象物に設けられ、操作対象物の操作に応じて接触した外界から受ける抗力を変更可能な接触部12を備える情報処理装置10,10Aによって実行される情報処理方法であって、接触部12に関する環境情報D2を取得するステップと、取得した環境情報D2に基づいて、接触部12が外界から受ける抗力を変更するステップと、を含む。
これにより、情報処理方法は、ユーザによって操作対象物が操作されると、情報処理装置10,10Aによって接触部12が外界から受ける抗力を、環境情報D2に応じた抗力に変更することができる。また、情報処理方法は、環境情報D2が変化すると、情報処理装置10,10Aによって接触部12が外界から受ける抗力も変化させることができる。その結果、情報処理方法は、情報処理装置10,10Aの接触部12が外界から受ける抗力を環境情報D2に基づいて変更することで、ユーザの入力に応じて接触部12の環境に基づく力覚を提示することができる。情報処理方法は、仮想物体に物理特性効果を与えることができるので、斬新な表示態様に貢献することができる。
プログラムは、作対象物に設けられ、操作対象物の操作に応じて接触した外界から受ける抗力を変更可能な接触部12を備える情報処理装置10,10Aに、接触部12に関する環境情報D2を取得するステップと、取得した環境情報D2に基づいて、接触部12が外界から受ける抗力を変更するステップと、を実行させる。
これにより、プログラムは、ユーザによって操作対象物が操作されると、情報処理装置10,10Aによって接触部12が外界から受ける抗力を、環境情報D2に応じた抗力に変更することができる。また、プログラムは、環境情報D2が変化すると、情報処理装置10,10Aによって接触部12が外界から受ける抗力も変化させることができる。その結果、プログラムは、情報処理装置10,10Aの接触部12が外界から受ける抗力を環境情報D2に基づいて変更することで、ユーザの入力に応じて接触部12の環境に基づく力覚を提示することができる。プログラムは、仮想物体に物理特性効果を与えることができるので、斬新な表示態様に貢献することができる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
操作対象物に設けられ、前記操作対象物の操作に応じて接触した外界から受ける抗力を変更可能な接触部と、
前記接触部に関する環境情報を取得する取得部と、
前記取得部によって取得した前記環境情報に基づいて、前記接触部が前記外界から受ける前記抗力を変更する変更部と、
を備える情報処理装置。
(2)
前記取得部は、前記接触部が移動可能な前記外界の色彩情報を含む前記環境情報を取得し、
前記変更部は、前記色彩情報に基づいて前記接触部に生じる前記抗力を変更する
前記(1)に記載の情報処理装置。
(3)
前記変更部は、前記色彩情報の色及び色の明度の少なくとも一方に応じた前記抗力となるように前記接触部と前記外界との接触状態を変更させる
前記(2)に記載の情報処理装置。
(4)
前記変更部は、前記色彩情報が示す色の明度が低いほど前記接触部が前記外界から受ける前記抗力が高くなるように前記接触部と前記外界との前記接触状態を変化させる
前記(2)または(3)に記載の情報処理装置。
(5)
前記操作対象物に対する操作を検出する検出部をさらに備え、
前記取得部は、前記操作に応じた前記操作対象物の状態に関する情報を含む前記環境情報を取得し、
前記変更部は、前記検出部によって検出された前記操作に応じた作用となるように、前記環境情報に基づいて前記接触部が前記外界から受ける前記抗力を変更する
前記(1)から(4)のいずれかに記載の情報処理装置。
(6)
前記変更部は、前記検出部によって検出された前記操作の方向に応じた作用となるように、前記環境情報に基づいて前記接触部が前記外界から受ける前記抗力を変更する
前記(5)に記載の情報処理装置。
(7)
前記変更部は、前記接触部と前記外界とが接触した場合に、前記接触部が前記外界から受ける前記抗力を変更する
前記(1)から(6)のいずれかに記載の情報処理装置。
(8)
前記外界は、表示装置であり、
前記変更部は、前記表示装置に表示されている表示内容に基づいて、前記表示装置に接触している前記接触部が前記表示装置から受ける前記抗力を変更する
前記(1)から(7)のいずれかに記載の情報処理装置。
(9)
前記変更部は、前記表示装置に表示されているオブジェクトと前記接触部とが接触状態になると、前記接触部が前記表示装置から受ける前記抗力の変更を開始する
前記(8)に記載の情報処理装置。
(10)
前記変更部は、前記表示装置に表示されているオブジェクトと前記接触部とが接触状態でない場合、前記接触部が前記表示装置から受ける前記抗力を初期値に変更する
前記(9)に記載の情報処理装置。
(11)
前記取得部は、前記表示装置に表示されているオブジェクトの物性情報を取得し、
前記変更部は、前記取得部によって取得された前記物性情報に基づいて、前記接触部が前記表示装置から受ける前記抗力を変更する
前記(8)から(10)のいずれかに記載の情報処理装置。
(12)
操作対象物に設けられ、前記操作対象物の操作に応じて接触した外界から受ける抗力を変更可能な接触部を備える情報処理装置によって実行される情報処理方法であって、
前記接触部に関する環境情報を取得するステップと、
取得した前記環境情報に基づいて、前記接触部が前記外界から受ける前記抗力を変更するステップと、
を含む情報処理方法。
(13)
操作対象物に設けられ、前記操作対象物の操作に応じて接触した外界から受ける抗力を変更可能な接触部を備える情報処理装置に、
前記接触部に関する環境情報を取得するステップと、
取得した前記環境情報に基づいて、前記接触部が前記外界から受ける前記抗力を変更するステップと、
を実行させるプログラム。
10,10A 情報処理装置
11 筐体
12 接触部
13 駆動部
14 検出部
15 通信部
16 記憶部
17 制御部
100 表示装置
101 画面
171 取得部
172 変更部
200 制御装置
210 記憶部
220 通信部
230 制御部
D1 パラメータ情報
D2 環境情報

Claims (13)

  1. 操作対象物に設けられ、前記操作対象物の操作に応じて接触した外界から受ける抗力を変更可能な接触部と、
    前記接触部に関する環境情報を取得する取得部と、
    前記取得部によって取得した前記環境情報に基づいて、前記接触部が前記外界から受ける前記抗力を変更する変更部と、
    を備える情報処理装置。
  2. 前記取得部は、前記接触部が移動可能な前記外界の色彩情報を含む前記環境情報を取得し、
    前記変更部は、前記色彩情報に基づいて前記接触部に生じる前記抗力を変更する
    請求項1に記載の情報処理装置。
  3. 前記変更部は、前記色彩情報の色及び色の明度の少なくとも一方に応じた前記抗力となるように前記接触部と前記外界との接触状態を変更させる
    請求項2に記載の情報処理装置。
  4. 前記変更部は、前記色彩情報が示す色の明度が低いほど前記接触部が前記外界から受ける前記抗力が高くなるように前記接触部と前記外界との前記接触状態を変化させる
    請求項3に記載の情報処理装置。
  5. 前記操作対象物に対する操作を検出する検出部をさらに備え、
    前記取得部は、前記操作に応じた前記操作対象物の状態に関する情報を含む前記環境情報を取得し、
    前記変更部は、前記検出部によって検出された前記操作に応じた作用となるように、前記環境情報に基づいて前記接触部が前記外界から受ける前記抗力を変更する
    請求項1に記載の情報処理装置。
  6. 前記変更部は、前記検出部によって検出された前記操作の方向に応じた作用となるように、前記環境情報に基づいて前記接触部が前記外界から受ける前記抗力を変更する
    請求項5に記載の情報処理装置。
  7. 前記変更部は、前記接触部と前記外界とが接触した場合に、前記接触部が前記外界から受ける前記抗力を変更する
    請求項1に記載の情報処理装置。
  8. 前記外界は、表示装置であり、
    前記変更部は、前記表示装置に表示されている表示内容に基づいて、前記表示装置に接触している前記接触部が前記表示装置から受ける前記抗力を変更する
    請求項1に記載の情報処理装置。
  9. 前記変更部は、前記表示装置に表示されているオブジェクトと前記接触部とが接触状態になると、前記接触部が前記表示装置から受ける前記抗力の変更を開始する
    請求項8に記載の情報処理装置。
  10. 前記変更部は、前記表示装置に表示されているオブジェクトと前記接触部とが接触状態でない場合、前記接触部が前記表示装置から受ける前記抗力を初期値に変更する
    請求項9に記載の情報処理装置。
  11. 前記取得部は、前記表示装置に表示されているオブジェクトの物性情報を取得し、
    前記変更部は、前記取得部によって取得された前記物性情報に基づいて、前記接触部が前記表示装置から受ける前記抗力を変更する
    請求項8に記載の情報処理装置。
  12. 操作対象物に設けられ、前記操作対象物の操作に応じて接触した外界から受ける抗力を変更可能な接触部を備える情報処理装置によって実行される情報処理方法であって、
    前記接触部に関する環境情報を取得するステップと、
    取得した前記環境情報に基づいて、前記接触部が前記外界から受ける前記抗力を変更するステップと、
    を含む情報処理方法。
  13. 操作対象物に設けられ、前記操作対象物の操作に応じて接触した外界から受ける抗力を変更可能な接触部を備える情報処理装置に、
    前記接触部に関する環境情報を取得するステップと、
    取得した前記環境情報に基づいて、前記接触部が前記外界から受ける前記抗力を変更するステップと、
    を実行させるプログラム。
JP2019081299A 2019-04-22 2019-04-22 情報処理装置、情報処理方法及びプログラム Pending JP2020177587A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019081299A JP2020177587A (ja) 2019-04-22 2019-04-22 情報処理装置、情報処理方法及びプログラム
PCT/JP2020/010393 WO2020217759A1 (ja) 2019-04-22 2020-03-10 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019081299A JP2020177587A (ja) 2019-04-22 2019-04-22 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2020177587A true JP2020177587A (ja) 2020-10-29

Family

ID=72937668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019081299A Pending JP2020177587A (ja) 2019-04-22 2019-04-22 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JP2020177587A (ja)
WO (1) WO2020217759A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024147301A1 (ja) * 2023-01-05 2024-07-11 ソニーグループ株式会社 情報処理装置、情報処理方法及び摩擦可変デバイス

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008242894A (ja) * 2007-03-28 2008-10-09 Sega Corp スタイラスペン,及びこれを用いたコンピュータシミュレーション装置
JP5369933B2 (ja) * 2009-06-25 2013-12-18 富士ゼロックス株式会社 位置指示具制御装置、位置指示装置、及びプログラム
US9489048B2 (en) * 2013-12-13 2016-11-08 Immersion Corporation Systems and methods for optical transmission of haptic display parameters
JP2017174211A (ja) * 2016-03-24 2017-09-28 富士通株式会社 ペン型入力装置、及び、電子機器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024147301A1 (ja) * 2023-01-05 2024-07-11 ソニーグループ株式会社 情報処理装置、情報処理方法及び摩擦可変デバイス

Also Published As

Publication number Publication date
WO2020217759A1 (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
US11221730B2 (en) Input device for VR/AR applications
US20220121344A1 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
JP7335462B2 (ja) 発光ユーザ入力デバイス
US10317989B2 (en) Transition between virtual and augmented reality
US20180314333A1 (en) Systems and Methods for Force-Based Object Manipulation and Haptic Sensations
JP6074170B2 (ja) 近距離動作のトラッキングのシステムおよび方法
CN110554769A (zh) 触笔、头戴式显示系统和相关方法
US7607983B2 (en) Game program and game device using touch panel
KR20220045977A (ko) 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
JP2020531985A (ja) 拡張現実環境及び仮想現実環境と相互作用するためのシステム、方法、及びグラフィカルユーザインタフェース
JP2000504450A (ja) ユーザフィードバックメカニズムによるカーソル制御
US20120208639A1 (en) Remote control with motion sensitive devices
JP7145889B2 (ja) 入力方法および装置
JP2013037675A5 (ja)
TWI710249B (zh) 可於第一人稱視角模式與第三人稱視角模式之間切換之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體
JP6270495B2 (ja) 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
WO2019166005A1 (zh) 智能终端及其感控方法、具有存储功能的装置
WO2020217759A1 (ja) 情報処理装置、情報処理方法及びプログラム
TWI707575B (zh) 可以子母畫面模式顯示虛擬場景以及現實環境之地圖之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體
CN111736689A (zh) 虚拟现实装置、数据处理方法与计算机可读存储介质
JP7134558B2 (ja) 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
CN116438507A (zh) 显示可选择选项的方法
CN110275600A (zh) 采用手势控制的无人机操作方法
US20230280832A1 (en) Signal generation device, signal generation method, and signal generation program
KR20240025593A (ko) 객체에 대한 동작 양식을 동적으로 선택하기 위한 방법 및 디바이스