JP2022105939A - ３次元触覚情報を提供可能な入力装置 - Google Patents

Abstract

【課題】シミュレートされた仮想空間におけるユーザの操作を入力可能な入力装置において、臨場感を高めることができる触覚フィードバックを提供できる入力装置を提供すること。【解決手段】シミュレートされた仮想空間におけるユーザの操作を入力可能な入力装置であって、前記入力装置に対して触覚フィードバックを与えるように構成された複数のアクチュエータを備え、前記複数のアクチュエータは、協同して３次元方向に前記触覚フィードバックを発生できるように配置されている入力装置。【選択図】図１Ａ

Description

本発明は、３次元の触覚情報を提供可能な入力装置に関し、特に、人体に触覚フィードバックを付与するアクチュエータを複数搭載した、３次元の触覚情報を提供可能な入力装置に関する。

近年、タッチパネルなどの感圧入力装置は直感的な操作が可能になるという利点により、使用者が機器を操作する際のインターフェースとして幅広い分野に採用されている。また、従来、物理的なボタンやキーボードが用いられていた機器にも、タッチパネルへ置き換える動きが広がっている。

タッチパネルを搭載した電子機器は、人体に触覚フィードバック（ハプティク・フィードバック）を付与するハプティク・アクチュエータ（以下、単に「アクチュエータ」と称することもある。）をタッチパネルと組み合わせて搭載することがある。ユーザの身体の部位（例えば、手指）若しくはユーザが操作する物体が電子機器の入力部に触れたとき、あるいはシステムが特定のイベントを生成したとき、ハプティク・アクチュエータは、電子機器の筐体やタッチスクリーンなどの構成部品に運動を発生させる。ユーザは、電子機器に接触した身体の部位で振動を知覚したり、音として知覚したりすることで、直感的かつ容易に電子機器を操作し、又は情報を受け取ることができる。

ハプティク・アクチュエータは、一般的に駆動源に電力を使用しており、運動の性質から衝撃駆動型と振動駆動型に大別することができる。衝撃駆動型は代表例として、形状記憶合金を利用するＳＩＡ（Ｓｈａｐｅ ｍｅｍｏｒｙ ａｌｌｏｙ Ｉｍｐａｃｔ Ａｃｔｕａｔｏｒ）やピエゾ素子を利用した圧電アクチュエータを挙げることできる。衝撃駆動型アクチュエータは、衝撃的な動きが可能な動作部品を含み、電子機器のタッチスクリーンや筐体に対し、動作部品が打撃し、又は連動させることで一過性の衝撃を与える。振動駆動型アクチュエータは代表例として偏心モータを利用するＥＲＭ（Ｅｃｃｅｎｔｒｉｃ Ｒｏｔａｔｉｎｇ Ｍａｓｓ）型アクチュエータ、磁界中のコイルに交流電流を流して可動子を振動させるリニア共振型アクチュエータ（ＬＲＡ：Ｌｉｎｅａｒ Ｒｅｓｏｎａｎｔ Ａｃｔｕａｔｏｒ）などを挙げることができる。振動駆動型は振動体に必要な時間だけ一定の振幅の振動を与える。

例えば、特許文献１（国際公開第２０１２／０２３６０５号）には、ワイヤー状形態を有する形状記憶合金の長さ方向の伸縮変化を利用して水平方向（または平面方向）または上下方向（前後方向または厚み方向）の衝撃的な動き（衝撃動作）、および当該衝撃動作の繰り返しに基づく回転動作または直進動作を可能にする衝撃駆動型アクチュエータが開示されている。当該衝撃駆動型アクチュエータによれば、所定の配線状態で配置されるワイヤー状形状記憶合金に対して各種形状の絶縁性熱伝導体を可能な限り有効に接触させるように設け、この絶縁性熱伝導体によってワイヤー状形状記憶合金でパルス的通電時に生じた熱を迅速に放散させて逃がすようにしたため、ワイヤー状形状記憶合金の低温化を迅速に行うことができ、比較的に短い時間で繰り返すことが可能な瞬間的動作を実現することができ、実用性の高い衝撃駆動型アクチュエータを実現することができる。

また、ユーザのタッチパネルにおける操作やタッチパネルの表示内容などに応じて、多種多様な触覚フィードバックパターンを提供できるように、触覚フィードバック発生機構を複数搭載することがある。例えば、特許文献２（特開２０１２－２０３８９５号公報）には、スマートフォンのガラス基板の下に、当該スマートフォンの上部及び下部にそれぞれ圧電振動素子を搭載したタッチパネル装置が開示されている。圧電振動素子を２ヶ所に設けたので、各々に入力される信号の振幅や位相を制御することにより、保護パネル２２の面内の特定の場所に強い振幅を誘起することができ、指などが触れている部分を選択的に振動させることが可能となる。

さらに近年、教育訓練や、エンタテインメントなどの目的のために、シミュレートされた仮想空間において、ユーザが特定のキャラクターや物体を操作することができるシステムが複数の技術分野において提案されている。例えば、特許文献３（特表２０２０－５１５８９１号公報）は、仮想環境における訓練および共同作業のためのシステムおよび方法が開示されており、これにより、離れた場所にいる複数人が同一の仮想空間上において、手術などの共同作業を行うことができる。

また、業務用のゲームシステムの中には、ＶＲ（ヴァーチャルリアリティ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を用いたゲーム、いわゆるＶＲゲームがプレイできるようにデザインされたものが現れるようになった。例えば、特許文献４（特開２０１７－１４３９７８号公報）は、安全に配慮しつつギャラリーがゲームプレイの様子を外から鑑賞することができるようにデザインされたゲームシステムが開示されている。

国際公開第２０１２／０２３６０５号 特開２０１２－２０３８９５号公報 特表２０２０－５１５８９１号公報 特開２０１７－１４３９７８号公報

外科手術用システムや、業務用ゲームシステムなどの高度なシステムのみならず、近年、ユーザの利便性やエンタテインメント性などの目的のために、シミュレートされた仮想空間の利用がますます広がっている。例えば、テレビ、スマートフォン、コンピュータディスプレイなどの２次元の表示手段に、３次元に構築された仮想空間を表示させ、それに対しユーザは、リモコン、タッチパネル、ゲームコントローラ、マウス、キーボードなどの入力装置を介して操作を入力することにより、当該仮想空間における視点の移動、キャラクターや物体の移動などの動作を実現する技術が存在する。

シミュレートされた仮想空間において、ユーザによる入力、あるいは何らかのイベントによる変化は、通常何らかの表示手段によりユーザに表示され、それを見ることによりユーザが仮想空間における変化を把握することが可能であるが、仮想空間における出来事をより直感的にユーザに伝え、さらに臨場感を高めるために、視覚情報以外の情報をユーザに提供することが望まれている。

例えば、コンピュータディスプレイなどの２次元の表示装置において３次元の仮想空間を表示する場合、表示面から奥行方向又は手前方向への視点の移動が必要になる場合があるが、視点の移動を誘導するため、又は視点の移動の開始／終了をユーザに知らせるため、視覚情報だけでなく触覚情報をユーザに提供することが望ましい。

また、仮想空間内において、ユーザが操作するキャラクターや物体が他のキャラクターや物体と接触した場合、当該接触に対応する触感をユーザにフィードバックすることで、臨場感を高めることができ、またユーザに対し素早く反応するように注意喚起することもできるので、好ましい。

本発明は上記の点に鑑み完成されたものであり、一実施形態において、シミュレートされた仮想空間におけるユーザの操作を入力可能な入力装置において、臨場感を高めることができる触覚フィードバックを提供できる入力装置を提供することを課題とする。

本発明者らが鋭意検討した結果、シミュレートされた仮想空間のほとんどが３次元であることに着目し、それに対応する触覚フィードバックを与えることが可能な構成を見出し、本発明の完成に至った。以下、本発明の一部の実施形態を例示する。
［１］
シミュレートされた仮想空間におけるユーザの操作を入力可能な入力装置であって、
前記入力装置に対して触覚フィードバックを与えるように構成された複数のアクチュエータを備え、
前記複数のアクチュエータは、協同して３次元方向に前記触覚フィードバックを発生できるように配置されている
入力装置。
［２］
前記複数のアクチュエータは３つのアクチュエータからなり、
それぞれのアクチュエータは、一方向において振動又は変位することにより前記触覚フィードバックを発生することができ、かつ、それぞれのアクチュエータが振動又は変位する方向は、互いに直交するように配置される、［１］に記載の入力装置。
［３］
前記触覚フィードバックの方向は、前記仮想空間におけるユーザによる動作又はユーザに対する動作の方向に対応するものである、［１］又は［２］に記載の入力装置。
［４］
タッチパネル装置である、［１］～［３］のいずれか１項に記載の入力装置。
［５］
仮想空間上におけるゲームの操作受付手段である、［１］～［３］のいずれか１項に記載の入力装置。
［６］
仮想空間上にシミュレートされた自動車運転の操作受付手段である、［１］～［３］のいずれか１項に記載の入力装置。
［７］
仮想空間上にシミュレートされた外科手術の操作受付手段である、［１］～［３］のいずれか１項に記載の入力装置。

本発明によれば、シミュレートされた仮想空間におけるユーザの操作を入力可能な入力装置において、臨場感を高めることができる触覚フィードバックを提供できる。

本発明の一実施形態におけるタッチパネルの作動方法を示す図である。 図１Ａの実施形態の応用例を示す図である。 図１Ａの実施形態の別の応用例を示す図である。 本発明の一実施形態におけるＶＲ用コントローラを含むＶＲゲームシステムの一例を示す図である。 本発明の一実施形態におけるＶＲ用コントローラの動作方法を示すブロック図である。 本発明の一実施形態において、ユーザのゲーム内における動作に対応して３次元の触覚フィードバックを与える例を示す図である。 本発明の一実施形態において、ユーザのゲーム内における動作に対応して３次元の触覚フィードバックを与える例を示す図である。 本発明の一実施形態において、ユーザのゲーム内における動作に対応して３次元の触覚フィードバックを与える例を示す図である。 本発明の一実施形態における自動車運転シミュレータの一例を示す図である。 本発明の一実施形態におけるハンドルの動作方法を示すブロック図である。 本発明の一実施形態において、シミュレートされた自動車運転の動作に対応して３次元の触覚フィードバックを与える例を示す図である。 本発明の一実施形態において、シミュレートされた自動車運転の動作に対応して３次元の触覚フィードバックを与える例を示す図である。 本発明の一実施形態における外科手術シミュレータの一例を示す図である。 本発明の一実施形態における手術器具の動作方法を示すブロック図である。 本発明の一実施形態において、シミュレートされた外科手術の動作に対応して３次元の触覚フィードバックを与える例を示す図である。

次に、本発明の実施形態について、図面を参照しながら詳細に説明する。本発明は以下の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、当業者の通常の知識に基づいて、適宜設計の変更、改良等が加えられることが理解されるべきである。

本発明は、一実施形態において、シミュレートされた仮想空間におけるユーザの操作を入力可能な入力装置であって、
前記入力装置に対して触覚フィードバックを与えるように構成された複数のアクチュエータを備え、
前記複数のアクチュエータは、協同して３次元方向に前記触覚フィードバックを発生できるように配置されている
入力装置を提供する。

（１．シミュレートされた仮想空間）
シミュレートされた仮想空間は３次元のものであれば、その実現手段は特に限定されないが、例えばＶＲ技術、ＡＲ技術、ＭＲ技術及びＳＲ技術などのＸＲ技術を活用することにより実現することが可能である。

ここで、ＶＲとは、「Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ」の略である。日本語では「仮想現実」と訳されている。コンピュータ上で現実に似せた仮想世界を作り出し、あたかもそこにいるかの様な感覚を体験することができる技術である。

また、ＡＲとは、「Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ」の略である。日本語では「拡張現実」と訳されている。ＶＲ（仮想現実）は「別の仮想空間」であるのに対し、ＡＲは現実世界にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）などで作るデジタル情報を加えるものである。つまり、現実世界に仮想現実を反映（拡張）させる技術である。「仮想空間」の世界が主体となるＶＲと異なり、ＡＲはあくまで「現実世界が主体」となる。

また、ＭＲとは、「Ｍｉｘｅｄ Ｒｅａｌｉｔｙ」の略である。日本語では「複合現実」と訳されている。仮想世界を現実世界に重ね合わせて体験できる技術である。ＭＲの場合は、前記ＡＲとは逆に、主体は仮想世界（デジタル空間）となる。現実世界の情報を、カメラなどを通して仮想世界に反映させる。仮想世界に現実世界の情報を固定できるため、同じＭＲ空間にいる複数の人間が、同時にその情報を得たり、同じ体験をすることができる。

また、ＳＲとは、「Ｓｕｂｓｔｉｔｕｔｉｏｎａｌ Ｒｅａｌｉｔｙ」の略である。日本語では「代替現実」と訳されている。ヘッドマウントディスプレイ等の表示器を用いて、現実世界の映像に事前に撮影してあった過去の映像を映し出すことで、過去に起きた出来事が、あたかも現実の出来事であるかのような錯覚を生じさせることができる。

また、ＸＲとは、「Ｘ Ｒｅａｌｉｔｙ（クロスリアリティ）」の略である。前記のＶＲやＡＲのように個々の技術そのものを指す用語ではなく、上記で説明したＶＲ、ＡＲ、ＭＲ及びＳＲ技術の総称として利用されている用語である。

シミュレートされた仮想空間におけるユーザの操作の内容は特に限定されないが、例えは視点の移動、特定のキャラクターや物体の移動などの動作、特定のイベントの引き起こし、当該仮想空間に関連する属性の変更などが考えられる。

（２．入力装置）
入力装置は、上記ユーザの操作を入力可能であれば特に種類は限定されないが、例えばマウス、キーボード、タッチパネル、ゲームコントローラなどの従来から汎用される入力装置のほか、ＶＲ用コントローラ、ＡＲコントローラ、などを挙げることができる。ＶＲ用コントローラなどの３次元に操作することが可能な入力装置の場合、当該入力装置に対するトラッキング機能（入力装置の位置・回転を素早く認識する機能）が搭載されていることが好ましい。

本発明の入力装置の各具体的実施態様は後述する。

（３．アクチュエータ）
本発明の入力装置には、触覚フィードバックを与えるように構成された複数のアクチュエータが搭載され、当該複数のアクチュエータは、協同して３次元方向に前記触覚フィードバックを発生できるように配置されている。

本発明は、さまざまは触覚フィードバック効果を生成する、任意のアクチュエータを備えることができる。衝撃駆動型のアクチュエータや、振動駆動型のアクチュエータのいずれも、本発明のために用いることができるが、動作が比較的単純で運動力学特性を特定しやすい衝撃駆動型アクチュエータが好ましい。後述の触覚フィードバックシステムは、衝撃駆動型アクチュエータを例として説明するが、振動駆動型アクチュエータにも適用できることは言うまでもない。

例えば、本発明の一実施形態におけるアクチュエータはコイル、動作部品（例えば金属芯材）及びバネから作られている。コイルは金属の周りに巻きつけられ、（ここで、コイルと金属の部品の両者は「ソレノイド」と称してよい）かつ、コイルが磁界を生成するとき（例えば、電流がコイル端子間を流れる時）金属は移動する。当該金属の移動は電子機器に衝撃をもたらし得る。バネは次いで、電流がコイルから除去されるとき移動金属または他の芯材を静止位置に戻すように用いてよい。

あるいは、別の実施形態における衝撃駆動型アクチュエータは、通電加熱で収縮するワイヤー状形状記憶合金と、このワイヤー状形状記憶合金に接触し当該ワイヤー状形状記憶合金で生じた熱を逃がす絶縁性熱伝導体（動作部品）と、を備えるように構成される。駆動回路により、当該ワイヤー状形状記憶合金に対して瞬間的に通電を行い、ワイヤー状形状記憶合金を瞬間的に収縮させると、それに接触する絶縁性熱伝導体が瞬間的に押圧されて変位する。当該絶縁性熱伝導体の変位は電子機器に衝撃をもたらし得る。そして、絶縁性熱伝導体による熱伝導作用によってワイヤー状形状記憶合金で生じた熱が急速に放熱され、その結果、ワイヤー状形状記憶合金は直ぐに元の長さ状態（伸長状態）に戻る。こうして、ワイヤー状形状記憶合金において、相対的に短い時間間隔での瞬間的な収縮を行うことが可能となる。このようなアクチュエータの詳細は国際公開第２０１２／０２３６０５号に開示されている。

あるいは、別の実施形態における衝撃駆動型アクチュエータは、通電加熱で収縮するワイヤー状形状記憶合金と、このワイヤー状形状記憶合金に接触し当該ワイヤー状形状記憶合金で生じた熱を逃がす絶縁性熱伝導体の固定子（固定部品）及び移動子（動作部品）と、を備えるように構成される。駆動回路により、当該ワイヤー状形状記憶合金に対して瞬間的に通電を行い、ワイヤー状形状記憶合金を瞬間的に収縮させると、それに接触する絶縁性熱伝導体の移動子が瞬間的に押圧されて変位する。当該絶縁性熱伝導体の移動子の変位は電子機器に衝撃をもたらし得る。そして、絶縁性熱伝導体による熱伝導作用によってワイヤー状形状記憶合金で生じた熱が急速に放熱され、その結果、ワイヤー状形状記憶合金は直ぐに元の長さ状態（伸長状態）に戻る。こうして、ワイヤー状形状記憶合金において、相対的に短い時間間隔での瞬間的な収縮を行うことが可能となる。

固定子の位置を変更させないように、電子機器の部品に、例えば両面テープや接着剤などで固定し、移動子に電子機器の動作する部品（筐体やタッチスクリーンなど）を密着させ、衝撃駆動型アクチュエータを挟み込み、それらを元に戻すスプリングなどの弾性を持った部品で動作する部品を抑え込むことで電子機器に衝撃をもたらすことが可能となる。固定子と移動子の形状は、上記機能を実現できれば特に限定されず、円盤状、波状、柱状など、適宜選択することができる。

各アクチュエータが３次元方向に前記触覚フィードバックを発生させるためには、入力装置における各アクチュエータの向きを制御する必要がある。例えば、それぞれのアクチュエータが一方向において振動又は変位することにより触覚フィードバックを発生することができる場合、それぞれのアクチュエータが振動又は変位する方向が互いに直交するように、各アクチュエータを配置することで、３次元において任意の方向に対して触覚フィードバックを発生することが可能である。

例えば、（Ｘ，Ｙ，Ｚ）３次元座標軸において、それぞれＸ軸方向、Ｙ軸方向、及びＺ軸方向において振動又は変位するアクチュエータを１つずつ配置することにより、それぞれのアクチュエータの動作・静止、及び動作の強度を調整することにより、Ｘ軸方向の移動量を表すベクトル、Ｙ軸方向の移動量を表すベクトル、及びＺ軸方向の移動量を表すベクトルのベクトル和の方向に、振動又は変位を発生させることができ、ユーザにおいて当該方向から、又は当該方向へ触覚フィードバックを感知させることが可能である。

ユーザにおいて感知する触覚フィードバックの方向は、各アクチュエータによる振動又は変位のベクトル和の方向であるので、複数のアクチュエータは、厳密に直交する方向に配置する必要はなく、協同して３次元方向に触覚フィードバックを発生可能な方向に配置すればよい。また、複数のアクチュエータは、入力装置において、近傍に配置してもよいが、必ずしもその必要はなく、入力装置の形状や内部構造に応じて、互いに離れた場所に配置してもよい。

３次元方向の触覚フィードバックを発生させるために、アクチュエータは、３つ以上あることが好ましい。アクチュエータの数の上限は特にないが、入力装置の小型化や生産コストの観点から、例えば７つ以下とすることができ、例えば６つ以下とすることができ、例えば５つ以下とすることができ、例えば４つ以下とすることができる。

シミュレートされた仮想空間における出来事をより直感的にユーザに伝えるために、又は臨場感を高めるために、又はユーザの反応を促すために、触覚フィードバックの方向は、シミュレートされた仮想空間におけるユーザによる動作又はユーザに対する動作の方向に対応するものであることが好ましい。「対応する」とは、当該ユーザの動作又はユーザに対する動作が現実空間に発生した場合、ユーザが感知すべき触覚の方向と同一の方向に、触覚フィードバックが発生することを意味する。

ユーザによる動作は、ユーザが当該仮想空間において操縦するキャラクター又は物体の動作を含み、当該動作に対応する触覚フィードバックは、典型的には当該キャラクター又は物体が他のキャラクター又は物体に接触する際に発生する衝撃又は反動を含む。ユーザに対する動作は、ユーザが当該仮想空間において操縦するキャラクター又は物体が受ける動作を含み、当該動作に対応する触覚フィードバックは、典型的には当該キャラクター又は物体が他のキャラクター又は物体から接触された際に発生する衝撃又は反動を含む。

（４．第１実施形態）
本発明の一実施形態において、入力装置は、タッチパネル装置である。タッチパネル１０の駆動方法は限定されず、感圧式や静電容量方式、抵抗膜方式など、既知のいずれかの駆動方法を採用することができる。タッチパネルの下には、シミュレートされた仮想空間を表示する表示装置を配置することが可能であるが、タッチパネルとは独立に、シミュレートされた仮想空間を表示する表示装置を配置することが可能である。表示装置についても、その駆動方法は限定されず、液晶表示装置のほか、有機ＥＬを用いた表示装置等が利用可能である。

図１Ａは本発明の一実施形態におけるタッチパネルの作動方法を示す図である。タッチパネル１０の下に、表示装置１２が配置されており、シミュレートされた仮想空間が表示されている。また当該タッチパネルに密接して、３つのアクチュエータ１４は、それぞれの振動方向がＸ軸方向、Ｙ軸方向、Ｚ軸方向になるように配置されている（Ｚ軸方向のアクチュエータ１４は未図示）。図１Ａ下方の、Ｘ軸、Ｙ軸、及びＺ軸に関する矢印は、それぞれのアクチュエータ１４の動作の経時変化を示す時間軸である。図１Ａ上方の点は、下方の各アクチュエータ１４の動作に対応する時点を示し、点線は仮想空間内における視点の移動を示し、実線はユーザの指の動きを示す。

まず、ユーザの指がタッチパネル１０に触れると、Ｘ軸方向アクチュエータ１４及びＹ軸方向アクチュエータ１４が作動し、Ｘ軸方向のベクトルとＹ軸方向のベクトルのベクトル和の方向への触覚フィードバックを発生させ、ユーザの指を右上向きに誘導する。この例において、ユーザの指が右上向きに移動することにより、仮想空間内において、現在ユーザが操作している地点より右前方の地点（すなわち、仮想空間内の奥行側右方向の地点）における操作が可能となる。ユーザの指が右上方向に移動すると、仮想空間における視点も、それに連動して右上向きに変動することが可能である。この誘導は、例えばユーザの操作の目的となる物体が仮想空間内の奥行側にある場合、又はゲームなどの進行上ユーザが仮想空間内の奥行側において操作する必要があるとシステムが判断した場合に、実行されることが可能である。そのため、Ｘ軸方向アクチュエータ１４及びＹ軸方向アクチュエータ１４の動作に加えて、Ｚ軸方向のアクチュエータの動作を追加して、奥行側への誘導であることをユーザに知らせることも可能である。さらにＸ軸方向の誘導を経て、仮想空間の奥行側に到達すると、Ｚ軸方向アクチュエータ１４が奥行方向に強く駆動し、ユーザに対し仮想空間の奥行側に到達したことを知らせる。さらにＸ軸方向、右下向き方向の誘導を経て、仮想空間の奥行側の目的地点に到達すると、Ｚ軸方向アクチュエータ１４が奥行方向に強く駆動し、ユーザに対し目的地点に到達したことを知らせる。

例えば、図１Ｂに示されるように、シューティングゲームにおいて、ユーザが遠方の標的を狙う場合、当該標的の近く（ここでは左前方）にユーザが照準を合わせた場合、標的が右前方にあることをユーザに示し照準を微調整させるために、ユーザに対して、右上向きの誘導が実行される。

あるいは、例えば、図１Ｃに示されるように、バランス操作ゲームにおいて、ユーザが台を操作して、台の上にあるボールが台から落ちないようにする。台は長方形のものであり、長辺の一方側がユーザの左手前方向に、反対側がユーザの右奥方向にあるほうに配置されている。ユーザが台の手前側に指を置くと、それに対応して台が手前側に傾き、ボールが落ちようとする。そこでゲームシステムは、台の向きを調整させるために、ユーザの指を画面の右上方向に誘導し、それに従ってユーザの指が画面の右上方向に移動すると、台が水平を取り戻し、又は右前方側が傾き、ボールの動きを止める。

このように、Ｚ軸方向（画面表示の奥行方向）の触覚フィードバックにより、二次元の表示装置１２に表示される３次元の仮想空間における奥行方向の移動をより直感的にユーザに伝えることができる。

また、Ｚ軸方向アクチュエータ１４は、仮想空間の奥行側の特定地点に到達した時にのみ駆動してもよく、例えば仮想空間奥行側に進むにつれて振動が強くなるように（又は弱くなるように）、連続的に変化する触覚フィードバックを提供することも可能である。

（５．第２実施形態）
本発明の別の一実施形態において、入力装置は、仮想空間上におけるゲームの操作受付手段である。典型的には、操作受付手段は、ＶＲ用コントローラであり、ユーザが手に把持して使用する。ＶＲ用コントローラは、例えばジャイロセンサや加速度センサを搭載することが可能であり、ＶＲ用コントローラを把持したユーザの手の動きを検出することが可能となっている。ＶＲ用コントローラには、協同して３次元方向に前記触覚フィードバックを発生できるように配置された、複数のアクチュエータが搭載される。

図２はＶＲ用コントローラを含むＶＲゲームシステムの一例を示す図である。ＶＲゲームを行うためには、ユーザは通常ＶＲヘッドセット又はＶＲゴーグルを装着し、両手又は片手に、３次元に移動することができるＶＲ用コントローラを使用して操作する。ＶＲヘッドセットは、ユーザの現実空間における位置を検知し、位置情報をシミュレーションシステムに送信する。シミュレーションシステム内のゲームサーバー、又はシミュレーションシステムと独立に設置されるゲームサーバーは、ユーザの現実空間における位置座標に基づいて、仮想空間における位置座標を計算し、それに対応する映像をＶＲヘッドセットに出力する。ゲームが進行する間、ＶＲ用コントローラの位置・回転動作などがトラッキングされ、リアルタイムにシミュレーションシステムに反映される。ユーザがＶＲ用コントローラを用いて所定の操作をした場合、又はゲームシステム内において特定のイベントが発生した場合など、ユーザに対する触覚フィードバックが必要とシミュレーションシステムが判断した場合、シミュレーションシステムはＶＲ用コントローラに指示を送り、特定の方向への触覚フィードバックを発生させる。

より具体的には、図３に示されるように、ＶＲ用コントローラのデータ受信部がシミュレーションシステムから指示を受けると、当該指示に基づき、ＶＲ用コントローラに搭載される演算装置（未図示）は、触覚フィードバックを発生させるべき向き及び強度（荷重向き）を計算する。例えば、シミュレートされた仮想空間においてユーザが操作するキャラクターが壁に接触する場合、当該接触の場所及び接触時の速度に基づき、ユーザが受けるべき衝撃の向き及び強度を計算する。さらに、算出された向き及び強度に基づき、各アクチュエータをどの程度の強さで振動させるべきかが算出される（振動力計算）。振動力の計算結果に基づき、各アクチュエータが駆動される。実際に駆動させるアクチュエータの数は、当該フィードバックの向き及び強度を実現できる最低限度の個数でもよく、それより多くてもよい。なお、荷重向き計算及び振動力計算は、ＶＲ用コントローラ内に搭載される演算装置によって行ってもよく、シミュレーションシステム内において計算されてもよい。シミュレーションシステム内において計算された場合、各アクチュエータの駆動信号は直接に各アクチュエータに送信される。

図４Ａ～図４Ｃは、ユーザのゲーム内における動作に対応して３次元の触覚フィードバックを与える例を示す。図示の実施形態では、ユーザはゲーム内において仮想のキャラクターを操縦し、ＶＲ用コントローラを用いて剣を動かす。ＶＲ用コントローラには、３つのアクチュエータが搭載されており、Ｘ軸、Ｙ軸、及びＺ軸に関する矢印は、それぞれのアクチュエータの動作の経時変化を示す時間軸である。ユーザがコントローラを突き刺すと、ゲーム内のキャラクターがそれに応じて、剣を突き刺す。剣先が標的に当たると、剣の動きの方向や速度などに基づき、反発力が発生すべき向き及び強度が計算される。計算結果に基づいて、アクチュエータが駆動される。図示の実施形態では、Ｘ軸方向のアクチュエータが下向きに駆動し、下向きの反発をユーザにフィードバックする（図４Ａ）。

次に、仮想のキャラクターが持つ剣の剣先が標的に突き刺さっていくと、反発力が強くなるため、Ｘ軸方向のアクチュエータの下向き方向の振動が強くなり、反発力が強くなったことをユーザにフィードバックする（図４Ｂ）。さらに、剣が標的に突き刺さった状態で仮想のキャラクターの動作が止まると、力を抜いた後の不安定さを表現するために、Ｘ軸方向のアクチュエータだけでなく、Ｙ軸方向及びＺ軸方向のアクチュエータも同時に駆動され、手が震える状態をフィードバックする（図４Ｃ）。なお、図４Ａ～図４Ｃそれぞれの左側に示される矢印は、ユーザがＶＲ用コントローラから感知する触覚フィードバックの向きを示す。

（６．第３実施形態）
本発明の別の一実施形態において、入力装置は、仮想空間上にシミュレートされた自動車運転の操作受付手段である。典型的には、操作受付手段は、運転シミュレーション用のハンドルである。ハンドルには、その円周方向に沿って、触覚フィードバックを与えるように構成された複数のアクチュエータが搭載され、複数のアクチュエータは、協同して３次元方向に前記触覚フィードバックを発生できる。

図５は自動車運転シミュレータの一例を示す図である。モニタには、シミュレートされた仮想空間が表示され、具体的には運転席から見える車内及び車外の様子が表示される。ユーザがハンドルを回すと、シミュレーションシステムはハンドルの向きによって車両がどのように動くかを計算し、さらに当該車両の動きによりハンドルが受けるべき力の向き及び強度を計算し、計算された結果に基づきアクチュエータが駆動される。同時に、車両の動きがモニタに反映される。

より具体的には、図６に示されるように、シミュレーションシステムは、シミュレーション内でプレイヤーが操作する車の状況（ぶつかった、乗り上げた、でこぼこした道を走っている等）に基づき、車のどこに、どのくらいの大きさ・向きの力や衝撃が加わるかに関する情報をハンドルのデータ受信部に送信する。次に、これらの情報に基づき、ハンドルに搭載される演算装置（未図示）は、触覚フィードバックを発生させるべき向き及び強度（荷重向き）を計算する。例えば、シミュレートされた仮想空間においてユーザが操作する車両が他の車両に接触した場合、当該接触の場所及び接触時の速度に基づき、ハンドルが受けるべき衝撃の向き及び強度を計算する。さらに、算出された向き及び強度に基づき、各アクチュエータをどの程度の強さで振動させるべきかが算出される（振動力計算）。振動力の計算結果に基づき、各アクチュエータが駆動される。実際に駆動させるアクチュエータの数は、当該フィードバックの向き及び強度を実現できる最低限度の個数でもよく、それより多くてもよい。なお、荷重向き計算及び振動力計算は、ハンドル内に搭載される演算装置によって行ってもよく、シミュレーションシステム内において計算されてもよい。シミュレーションシステム内において計算された場合、各アクチュエータの駆動信号は直接に各アクチュエータに送信される。

図７Ａ及び図７Ｂは、シミュレートされた自動車運転の動作に対応して３次元の触覚フィードバックを与える例を示す。図示では、車両は道路左側の縁石に乗り上げた時の様子が示される。図示の実施形態では、シミュレートされた自動車運転において、ユーザがハンドルを握って仮想の車両を操縦する。３つのアクチュエータが搭載されており、Ｘ軸、Ｙ軸、及びＺ軸に関する矢印は、それぞれのアクチュエータの動作の経時変化を示す時間軸である。ユーザが操縦する仮想の車両が仮想空間内において、左前輪から縁石に乗り上げると、車両が左から衝撃を受けるので、運転手目線では、右向きの衝撃を受ける。図示の実施形態では、Ｘ軸方向のアクチュエータが右向きに駆動し、右向きの衝撃をユーザにフィードバックする（図７Ａ）。また、車両が縁石に乗り上げたことにより下から突き上げられる衝撃もあり、それに対応してＺ軸方向のアクチュエータも一定程度上向きに駆動する（図７Ａ）。

次いで、車両がさらに進み左後輪も縁石に乗り上げると、縁石による阻害により車両の速度が一時的に低下するので、運転手目線では、後ろ向きの衝撃を受ける。図示の実施形態では、Ｙ軸方向のアクチュエータが後ろ向きに駆動し、後ろ向きの衝撃をユーザにフィードバックする（図７Ｂ）。また、車両が縁石に乗り上げたことにより下から突き上げられる衝撃もあり、それに対応してＺ軸方向のアクチュエータも一定程度上向きに駆動する（図７Ｂ）。

なお、各車輪が縁石に乗り上げた時点でそれぞれ衝撃が発生するため、車両が全体的に縁石に乗り上げるまで４回の衝撃が発生し、それに伴ってアクチュエータが４回駆動される。本実施形態では、左前輪及び左後輪が乗り上げた時の駆動状態のみを示し、それ以外を省略する。

（７．第４実施形態）
本発明の別の一実施形態において、入力装置は、仮想空間上にシミュレートされた外科手術の操作受付手段である。典型的には、操作受付手段は、手術器具を動かすためのコントローラである。コントローラの形状は、対応する手術器具の形状によって多種多様であり得る。例えば、メッス、セッシ、ピストル、ニッパーなどに類似する形状であり得る。コントローラには、触覚フィードバックを与えるように構成された複数のアクチュエータが搭載され、複数のアクチュエータは、協同して３次元方向に前記触覚フィードバックを発生できる。仮想空間上にシミュレートされた外科手術は、実際の外科手術とリンク付けて、遠隔の外科手術を実現することも可能である。

図８は外科手術シミュレータの一例を示す図である。モニタには、シミュレートされた仮想空間が表示され、具体的には医師が手術する際の様子が表示される。ユーザが手術器具（コントローラ）を動かすと、シミュレーションシステムは当該手術器具の動きに手術器具が受けるべき力の向き及び強度を計算し、計算された結果に基づきアクチュエータが駆動される。同時に、手術器具の動きがモニタに反映される。

より具体的には、図９に示されるように、シミュレーションシステムは、シミュレーション内の情報から手術を受けるヒト又は動物にかかる力や衝撃についての情報を手術器具のデータ受信部に送信する。次に、これらの情報に基づき、手術器具に搭載される演算装置（未図示）は、触覚フィードバックを発生させるべき向き及び強度（荷重向き）を計算する。例えば、シミュレートされた仮想空間においてユーザが操作する手術器具が人体の組織に接触した場合、当該組織の硬さ及び接触時の速度に基づき、手術器具が受けるべき衝撃の向き及び強度を計算する。さらに、算出された向き及び強度に基づき、各アクチュエータをどの程度の強さで振動させるべきかが算出される（振動力計算）。振動力の計算結果に基づき、各アクチュエータが駆動される。実際に駆動させるアクチュエータの数は、当該フィードバックの向き及び強度を実現できる最低限度の個数でもよく、それより多くてもよい。なお、荷重向き計算及び振動力計算は、手術器具内に搭載される演算装置によって行ってもよく、シミュレーションシステム内において計算されてもよい。シミュレーションシステム内において計算された場合、各アクチュエータの駆動信号は直接に各アクチュエータに送信される。

図１０は、シミュレートされた外科手術の動作に対応して３次元の触覚フィードバックを与える例を示す。図示では、ニッパーに類似する形状の手術器具が対象物（組織）を挟んで動かす時の様子が示される。図示の実施形態では、シミュレートされた外科手術において、ユーザが手術器具を動かして仮想の手術を行う。手術器具には３つのアクチュエータが搭載されており、図面下方のＸ軸、Ｙ軸、及びＺ軸に関する矢印は、それぞれのアクチュエータの動作の経時変化を示す時間軸である。ユーザが操縦する手術器具が仮想空間内において、対象物を挟んで上向きにひくと、下向きの抵抗を受ける。図示の実施形態では、Ｚ軸方向のアクチュエータが下向きに駆動し、下向きの抵抗をユーザにフィードバックする。また、対象物を上向きに引いた後に横向きに引くと、抵抗の方向が横向きになり、それに対応してＹ軸方向のアクチュエータが横向き駆動して抵抗の触覚をフィードバックする。さらに、図面では示されていないが、紙面の手前方向又は奥行方向に向かって手術器具を動かすと、それに対応してＸ軸方向のアクチュエータが横向き駆動して抵抗の触覚をフィードバックする。

上記各実施形態の説明は、本発明の一部の好ましい実施形態の説明に過ぎず、シミュレートされた仮想空間におけるユーザの操作が必要とされるあらゆる場面において、本発明を適用することが可能である。

Claims (7)

1. シミュレートされた仮想空間におけるユーザの操作を入力可能な入力装置であって、
   前記入力装置に対して触覚フィードバックを与えるように構成された複数のアクチュエータを備え、
   前記複数のアクチュエータは、協同して３次元方向に前記触覚フィードバックを発生できるように配置されている
   入力装置。
2. 前記複数のアクチュエータは３つのアクチュエータからなり、
   それぞれのアクチュエータは、一方向において振動又は変位することにより前記触覚フィードバックを発生することができ、かつ、それぞれのアクチュエータが振動又は変位する方向は、互いに直交するように配置される、請求項１に記載の入力装置。
3. 前記触覚フィードバックの方向は、前記仮想空間におけるユーザによる動作又はユーザに対する動作の方向に対応するものである、請求項１又は２に記載の入力装置。
4. タッチパネル装置である、請求項１～３のいずれか１項に記載の入力装置。
5. 仮想空間上におけるゲームの操作受付手段である、請求項１～３のいずれか１項に記載の入力装置。
6. 仮想空間上にシミュレートされた自動車運転の操作受付手段である、請求項１～３のいずれか１項に記載の入力装置。
7. 仮想空間上にシミュレートされた外科手術の操作受付手段である、請求項１～３のいずれか１項に記載の入力装置。

Images