JP2022105942A - シミュレートされた仮想空間における操作のための入力装置 - Google Patents

Abstract

【課題】シミュレートされた仮想空間における操作の方向又は限界を直感的にユーザに伝達することができる入力装置を提供すること。【解決手段】シミュレートされた仮想空間における操作のための入力装置であって、前記入力装置に対して触覚フィードバックを与えるように構成された複数のアクチュエータを備え、前記複数のアクチュエータは、時間差を持って前記触覚フィードバックを与えることにより、前記シミュレートされた仮想空間における操作の方向又は限界を示すように構成される、入力装置。【選択図】図１

Description

本発明は、シミュレートされた仮想空間における操作のための入力装置に関し、特に、シミュレートされた仮想空間における操作の方向又は限界を、触覚フィードバックを通じてより直感的にユーザに伝達することが可能な入力装置に関する。

近年、タッチパネルなどの感圧入力装置は直感的な操作が可能になるという利点により、使用者が機器を操作する際のインターフェースとして幅広い分野に採用されている。また、従来、物理的なボタンやキーボードが用いられていた機器にも、タッチパネルへ置き換える動きが広がっている。

タッチパネルを搭載した電子機器は、人体に触覚フィードバック（ハプティク・フィードバック）を付与するハプティク・アクチュエータ（以下、単に「アクチュエータ」と称することもある。）をタッチパネルと組み合わせて搭載することがある。ユーザの身体の部位（例えば、手指）若しくはユーザが操作する物体が電子機器の入力部に触れたとき、あるいはシステムが特定のイベントを生成したとき、ハプティク・アクチュエータは、電子機器の筐体やタッチスクリーンなどの構成部品に運動を発生させる。ユーザは、電子機器に接触した身体の部位で振動を知覚したり、音として知覚したりすることで、直感的かつ容易に電子機器を操作し、又は情報を受け取ることができる。

ハプティク・アクチュエータは、一般的に駆動源に電力を使用しており、運動の性質から衝撃駆動型と振動駆動型に大別することができる。衝撃駆動型は代表例として、形状記憶合金を利用するＳＩＡ（Ｓｈａｐｅ ｍｅｍｏｒｙ ａｌｌｏｙ Ｉｍｐａｃｔ Ａｃｔｕａｔｏｒ）やピエゾ素子を利用した圧電アクチュエータを挙げることできる。衝撃駆動型アクチュエータは、衝撃的な動きが可能な動作部品を含み、電子機器のタッチスクリーンや筐体に対し、動作部品が打撃し、又は連動させることで一過性の衝撃を与える。振動駆動型アクチュエータは代表例として偏心モータを利用するＥＲＭ（Ｅｃｃｅｎｔｒｉｃ Ｒｏｔａｔｉｎｇ Ｍａｓｓ）型アクチュエータ、磁界中のコイルに交流電流を流して可動子を振動させるリニア共振型アクチュエータ（ＬＲＡ：Ｌｉｎｅａｒ Ｒｅｓｏｎａｎｔ Ａｃｔｕａｔｏｒ）などを挙げることができる。振動駆動型は振動体に必要な時間だけ一定の振幅の振動を与える。

例えば、特許文献１（国際公開第２０１２／０２３６０５号）には、ワイヤー状形態を有する形状記憶合金の長さ方向の伸縮変化を利用して水平方向（または平面方向）または上下方向（前後方向または厚み方向）の衝撃的な動き（衝撃動作）、および当該衝撃動作の繰り返しに基づく回転動作または直進動作を可能にする衝撃駆動型アクチュエータが開示されている。当該衝撃駆動型アクチュエータによれば、所定の配線状態で配置されるワイヤー状形状記憶合金に対して各種形状の絶縁性熱伝導体を可能な限り有効に接触させるように設け、この絶縁性熱伝導体によってワイヤー状形状記憶合金でパルス的通電時に生じた熱を迅速に放散させて逃がすようにしたため、ワイヤー状形状記憶合金の低温化を迅速に行うことができ、比較的に短い時間で繰り返すことが可能な瞬間的動作を実現することができ、実用性の高い衝撃駆動型アクチュエータを実現することができる。

また、ユーザのタッチパネルにおける操作やタッチパネルの表示内容などに応じて、多種多様な触覚フィードバックパターンを提供できるように、触覚フィードバック発生機構を複数搭載することがある。例えば、特許文献２（特開２０１２－２０３８９５号公報）には、スマートフォンのガラス基板の下に、当該スマートフォンの上部及び下部にそれぞれ圧電振動素子を搭載したタッチパネル装置が開示されている。圧電振動素子を２ヶ所に設けたので、各々に入力される信号の振幅や位相を制御することにより、保護パネル２２の面内の特定の場所に強い振幅を誘起することができ、指などが触れている部分を選択的に振動させることが可能となる。

さらに近年、教育訓練や、エンタテインメントなどの目的のために、シミュレートされた仮想空間において、ユーザが特定のキャラクターや物体を操作することができるシステムが複数の技術分野において提案されている。例えば、特許文献３（特表２０２０－５１５８９１号公報）は、仮想環境における訓練および共同作業のためのシステムおよび方法が開示されており、これにより、離れた場所にいる複数人が同一の仮想空間上において、手術などの共同作業を行うことができる。

また、業務用のゲームシステムの中には、ＶＲ（ヴァーチャルリアリティ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術を用いたゲーム、いわゆるＶＲゲームがプレイできるようにデザインされたものが現れるようになった。例えば、特許文献４（特開２０１７－１４３９７８号公報）は、安全に配慮しつつギャラリーがゲームプレイの様子を外から鑑賞することができるようにデザインされたゲームシステムが開示されている。

国際公開第２０１２／０２３６０５号 特開２０１２－２０３８９５号公報 特表２０２０－５１５８９１号公報 特開２０１７－１４３９７８号公報

外科手術用システムや、業務用ゲームシステムなどの高度なシステムのみならず、近年、ユーザの利便性やエンタテインメント性などの目的のために、シミュレートされた仮想空間の利用がますます広がっている。例えば、テレビ、スマートフォン、コンピュータディスプレイなどの２次元の表示手段に、３次元に構築された仮想空間を表示させ、それに対しユーザは、リモコン、タッチパネル、ゲームコントローラ、マウス、キーボードなどの入力装置を介して操作を入力することにより、当該仮想空間における視点の移動、キャラクターや物体の移動などの動作を実現する技術が存在する。

シミュレートされた仮想空間は３次元であるため、その操作を実現するためには、３次元に動かして操作を入力することが可能な入力装置、例えばＶＲコントローラなどが望ましいが、現状、ＶＲコントローラの操作は、仮想空間における距離と同様の距離を動かすことにより実現されるため、ユーザの身体への負担が大きい。そのため、業務などでＶＲコントローラを長時間使用する際の負担が大きい。また、ＶＲコントローラの操作のために、大きな空間を確保しなければならないという問題点もある。そのため、ユーザへの負担を低減して、長時間の操作を楽にするため、より少ない動作で操作可能で、例えば椅子に座った状態でも使用可能な入力方法及び装置が求められている。

そこで、ＶＲコントローラの移動量に比例して仮想空間における移動量を大きくしたり、従来の二次元入力装置（載置平面上において操作されるマウスなど）の操作入力を工夫して３次元の仮想空間における操作を可能とするなど、ユーザの負担を軽減する方法が考えられるが、シミュレートされた仮想空間と現実空間の直接な対応関係が失われるため、従来の操作方法と比較して、操作の直感性が低下し、それによって、ユーザはマウスカーソルを見失うなど、混乱してしまう可能性がある。したがって、ユーザの身体負担を減らしつつも、操作の直感性の低下を抑制する解決案の提供が求められている。

本発明は上記の点に鑑み完成されたものであり、一実施形態において、シミュレートされた仮想空間における操作の方向又は限界を直感的にユーザに伝達することができる入力装置を提供することを課題とする。

本発明者らが鋭意検討した結果、入力装置に触覚フィードバックを与える事が可能なアクチュエータを複数搭載し、当該複数のアクチュエータが時間差を持って触覚フィードバックを与えることにより、シミュレートされた仮想空間における操作の方向又は限界をユーザにより直感的に伝達することができ、上記課題を解決できることを見出した。本発明は上記知見に基づき完成されたものであり、以下に例示される。
［１］
シミュレートされた仮想空間における操作のための入力装置であって、
前記入力装置に対して触覚フィードバックを与えるように構成された複数のアクチュエータを備え、
前記複数のアクチュエータは、時間差を持って前記触覚フィードバックを与えることにより、前記シミュレートされた仮想空間における操作の方向又は限界を示すように構成される、
入力装置。
［２］
前記複数のアクチュエータは、さらに強弱差を持って前記触覚フィードバックを与えることにより、前記シミュレートされた仮想空間における操作の方向又は限界を示すように構成される、［１］に記載の入力装置。
［３］
前記複数のアクチュエータは、協同して３次元方向に前記触覚フィードバックを発生できるように配置されている、［１］又は［２］に記載の入力装置。
［４］
前記複数のアクチュエータは３つのアクチュエータからなり、
それぞれのアクチュエータは、一方向において振動又は変位することにより前記触覚フィードバックを発生することができ、かつ、それぞれのアクチュエータが振動又は変位する方向は、互いに直交するように配置される、［１］～［３］のいずれか１項に記載の入力装置。
［５］
載置平面上において操作されるマウスである、［１］～［４］のいずれか１項に記載の入力装置。
［６］
空中において操作されるコントローラである、［１］～［４］のいずれか１項に記載の入力装置。

本発明によれば、シミュレートされた仮想空間における操作の方向又は限界を直感的にユーザに伝達することができる。

本発明の一実施形態において、入力装置として載置平面上において操作されるマウスに複数のアクチュエータを配置した構成概略図である。 本発明の一実施形態におけるマウス１０の内部構造の概略を示す透視図である。 本発明の一実施形態のマウス１０において、各アクチュエータを作動させる方法を示すブロック図である。 本発明の一実施形態のマウス１０の操作に対応する一つの触覚効果パターンを示す図である。 本発明の一実施形態のマウス１０の操作に対応する別の触覚効果パターンを示す図である。 本発明の一実施形態のマウス１０の操作に対応する別の触覚効果パターンを示す図である。 本発明の一実施形態のマウス１０の操作に対応する別の触覚効果パターンを示す図である。 本発明の一実施形態のマウス１０の操作に対応する別の触覚効果パターンを示す図である。 本発明の一実施形態のマウス１０の操作に対応する別の触覚効果パターンを示す図である。 本発明の一実施形態のマウス１０の操作に対応する別の触覚効果パターンを示す図である。 本発明の一実施形態のマウス１０の操作に対応する別の触覚効果パターンを示す図である。 本発明の一実施形態のマウス１０の操作に対応する別の触覚効果パターンを示す図である。 本発明の一実施形態のマウス１０の操作に対応する別の触覚効果パターンを示す図である。 本発明の一実施形態のマウス１０の操作に対応する別の触覚効果パターンを示す図である。 本発明の一実施形態のマウス１０の操作に対応する別の触覚効果パターンを示す図である。 本発明の一実施形態のマウス１０の操作に対応する別の触覚効果パターンを示す図である。

次に、本発明の実施形態について、図面を参照しながら詳細に説明する。本発明は以下の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、当業者の通常の知識に基づいて、適宜設計の変更、改良等が加えられることが理解されるべきである。なお、本発明の各実施形態を説明する図面における寸法、縮尺、角度などは、理解に資するために便宜上示すものであり、実際の寸法、縮尺、角度などを示すとは限らない。

（１．シミュレートされた仮想空間）
シミュレートされた仮想空間は３次元のものであれば、その実現手段は特に限定されないが、例えばＶＲ技術、ＡＲ技術、ＭＲ技術及びＳＲ技術などのＸＲ技術を活用することにより実現することが可能である。

ここで、ＶＲとは、「Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ」の略である。日本語では「仮想現実」と訳されている。コンピュータ上で現実に似せた仮想世界を作り出し、あたかもそこにいるかの様な感覚を体験することができる技術である。

また、ＡＲとは、「Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ」の略である。日本語では「拡張現実」と訳されている。ＶＲ（仮想現実）は「別の仮想空間」であるのに対し、ＡＲは現実世界にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）などで作るデジタル情報を加えるものである。つまり、現実世界に仮想現実を反映（拡張）させる技術である。「仮想空間」の世界が主体となるＶＲと異なり、ＡＲはあくまで「現実世界が主体」となる。

また、ＭＲとは、「Ｍｉｘｅｄ Ｒｅａｌｉｔｙ」の略である。日本語では「複合現実」と訳されている。仮想世界を現実世界に重ね合わせて体験できる技術である。ＭＲの場合は、前記ＡＲとは逆に、主体は仮想世界（デジタル空間）となる。現実世界の情報を、カメラなどを通して仮想世界に反映させる。仮想世界に現実世界の情報を固定できるため、同じＭＲ空間にいる複数の人間が、同時にその情報を得たり、同じ体験をすることができる。

また、ＳＲとは、「Ｓｕｂｓｔｉｔｕｔｉｏｎａｌ Ｒｅａｌｉｔｙ」の略である。日本語では「代替現実」と訳されている。ヘッドマウントディスプレイ等の表示器を用いて、現実世界の映像に事前に撮影してあった過去の映像を映し出すことで、過去に起きた出来事が、あたかも現実の出来事であるかのような錯覚を生じさせることができる。

また、ＸＲとは、「Ｘ Ｒｅａｌｉｔｙ（クロスリアリティ）」の略である。前記のＶＲやＡＲのように個々の技術そのものを指す用語ではなく、上記で説明したＶＲ、ＡＲ、ＭＲ及びＳＲ技術の総称として利用されている用語である。

シミュレートされた仮想空間におけるユーザの操作の内容は特に限定されないが、例えは視点の移動、特定のキャラクターや物体の移動などの動作、特定のイベントの引き起こし、当該仮想空間に関連する属性の変更などが考えられる。

（２．入力装置）
入力装置は、上記ユーザの操作を入力可能であれば特に種類は限定されないが、例えばマウス、キーボード、タッチパネル、ゲームコントローラなどの従来から汎用される入力装置のほか、ＶＲコントローラ、ＡＲコントローラ、などを挙げることができる。ＶＲコントローラなどの３次元に操作することが可能な入力装置の場合、当該入力装置に対するトラッキング機能（入力装置の位置・回転を素早く認識する機能）が搭載されていることが好ましい。

本発明の入力装置の各具体的実施態様は後述する。

（３．アクチュエータ）
本発明の入力装置には、触覚フィードバックを与えるように構成された複数のアクチュエータが搭載され、当該複数のアクチュエータは、時間差を持って前記触覚フィードバックを与えることにより、シミュレートされた仮想空間における操作の方向又は限界を示すように構成される。

本発明は、さまざまは触覚フィードバック効果を生成する、任意のアクチュエータを備えることができる。衝撃駆動型のアクチュエータや、振動駆動型のアクチュエータのいずれも、本発明のために用いることができる。触覚フィードバックは特に限定されないが、衝撃若しくは振動、又はこれらの組み合わせが考えられる。

例えば、本発明の一実施形態におけるアクチュエータはコイル、動作部品（例えば金属芯材）及びバネから作られている。コイルは金属の周りに巻きつけられ、（ここで、コイルと金属の部品の両者は「ソレノイド」と称してよい）かつ、コイルが磁界を生成するとき（例えば、電流がコイル端子間を流れる時）金属は移動する。当該金属の移動は電子機器に衝撃をもたらし得る。バネは次いで、電流がコイルから除去されるとき移動金属または他の芯材を静止位置に戻すように用いてよい。

あるいは、別の実施形態における衝撃駆動型アクチュエータは、通電加熱で収縮するワイヤー状形状記憶合金と、このワイヤー状形状記憶合金に接触し当該ワイヤー状形状記憶合金で生じた熱を逃がす絶縁性熱伝導体（動作部品）と、を備えるように構成される。駆動回路により、当該ワイヤー状形状記憶合金に対して瞬間的に通電を行い、ワイヤー状形状記憶合金を瞬間的に収縮させると、それに接触する絶縁性熱伝導体が瞬間的に押圧されて変位する。当該絶縁性熱伝導体の変位は電子機器に衝撃をもたらし得る。そして、絶縁性熱伝導体による熱伝導作用によってワイヤー状形状記憶合金で生じた熱が急速に放熱され、その結果、ワイヤー状形状記憶合金は直ぐに元の長さ状態（伸長状態）に戻る。こうして、ワイヤー状形状記憶合金において、相対的に短い時間間隔での瞬間的な収縮を行うことが可能となる。このようなアクチュエータの詳細は国際公開第２０１２／０２３６０５号に開示されている。

あるいは、別の実施形態における衝撃駆動型アクチュエータは、通電加熱で収縮するワイヤー状形状記憶合金と、このワイヤー状形状記憶合金に接触し当該ワイヤー状形状記憶合金で生じた熱を逃がす絶縁性熱伝導体の固定子（固定部品）及び移動子（動作部品）と、を備えるように構成される。駆動回路により、当該ワイヤー状形状記憶合金に対して瞬間的に通電を行い、ワイヤー状形状記憶合金を瞬間的に収縮させると、それに接触する絶縁性熱伝導体の移動子が瞬間的に押圧されて変位する。当該絶縁性熱伝導体の移動子の変位は電子機器に衝撃をもたらし得る。そして、絶縁性熱伝導体による熱伝導作用によってワイヤー状形状記憶合金で生じた熱が急速に放熱され、その結果、ワイヤー状形状記憶合金は直ぐに元の長さ状態（伸長状態）に戻る。こうして、ワイヤー状形状記憶合金において、相対的に短い時間間隔での瞬間的な収縮を行うことが可能となる。

固定子の位置を変更させないように、電子機器の部品に、例えば両面テープや接着剤などで固定し、移動子に電子機器の動作する部品（筐体やタッチスクリーンなど）を密着させ、衝撃駆動型アクチュエータを挟み込み、それらを元に戻すスプリングなどの弾性を持った部品で動作する部品を抑え込むことで電子機器に衝撃をもたらすことが可能となる。固定子と移動子の形状は、上記機能を実現できれば特に限定されず、円盤状、波状、柱状など、適宜選択することができる。

シミュレートされた仮想空間における操作の方向又は限界をユーザに示すためには、複数のアクチュエータは、時間差を持って変位又は振動して、その衝撃又は振動により、方向性を持った触覚フィードバックを入力装置に与え、さらに入力装置を把持しているユーザに伝達する。時間差は、人が動きを感じる知覚限界以上の時間差として適宜設定され得る。なお、時間差には、位相差も含まれる。すなわち、複数のアクチュエータが同時に駆動されても、それぞれの駆動パルスの波形又は位相に違いが存在すれば、時間差として扱われる。

例えば、入力装置が載置平面上において操作されるマウスである場合、当該マウスの筐体内部左側及び右側に、それぞれアクチュエータを１つずつ配置することができる。ユーザがマウスを使用して仮想空間内にあるマウスカーソルを左から右へ動かすとき、左側のアクチュエータと右側のアクチュエータを順次駆動させることにより、マウスカーソルが右側へ移動していることをユーザに示すことができる。このような順次的な駆動は、１回のみであってもよく、複数回、あるいはマウスカーソルが移動している間に連続的に繰り返されてもよい。

また、シミュレートされた仮想空間内におけるマウスカーソルの移動だけでなく、ユーザが操作するキャラクターや物体の移動などの動作についても、同様にアクチュエータを順次駆動させることにより、方向又は限界をユーザに示すことが可能である。

さらに、シミュレートされた仮想空間における操作の方向又は限界をより直感的にユーザに示すために、複数のアクチュエータは、強弱差を持って触覚フィードバックを与えることが好ましい。例えば、シミュレートされた仮想空間内の操作の限界が存在する場合、マウスカーソルが右側に移動し続けたとき、操作の限界に近づいていることをユーザに知らせるために、強弱差を持ってアクチュエータを駆動させることも可能である。例えば、左側のアクチュエータと右側のアクチュエータを順次駆動させて、マウスカーソルが右側へ移動していることをユーザに示してから、右側のアクチュエータが振動を継続し、マウスカーソルが移動していることをユーザに知らせる。次いで、マウスカーソルが右側に移動し続け、操作の限界に近づくにつれて、右側のアクチュエータの振動が大きくなり、これにより、操作の限界が近いことをユーザに知らせることが可能である。

例えば、入力装置が載置平面上において操作されるマウスである場合、当該マウスの筐体内部左側、中央部、及び右側に、それぞれアクチュエータを１つずつ配置することができる。ユーザが操作するキャラクターが仮想空間内において、ある物体を掴むとき、左側のアクチュエータと右側のアクチュエータを弱く振動させてから、中央部のアクチュエータを強く振動させて、当該物体を掴んだことをユーザに示す。次に、ユーザが物体を掴んで移動させると、左側のアクチュエータ、中央部のアクチュエータ、右側のアクチュエータが順次弱く振動し、物体が移動していることをユーザに示す。次に、ユーザが物体を放すと、中央部のアクチュエータを強く振動させてから、左側のアクチュエータと右側のアクチュエータを弱く振動させて、当該物体を放したことをユーザに示す。なお、この場合、物体を掴む動作と放す動作は、それぞれ両手を寄せる方向に操作と、両手を離す方向の動作として示される。

以上のように、シミュレートされた仮想空間における操作の方向又は限界を示すために、最小で２つのアクチュエータを搭載することが必要であるが、触覚フィードバックのバリエーションを充実させて、より正確に仮想空間における操作の方向又は限界を表し、操作の直感性を向上させるためには、３つ以上のアクチュエータを搭載することも可能である。例えば、入力装置が載置平面上において操作されるマウスである場合、当該マウスの筐体内部左側及び右側のアクチュエータに加えて、マウスの前方及び後方にそれぞれアクチュエータを１つずつ配置することにより、左右の移動だけでなく、前後の移動における方向又は限界をユーザに直感的に示すことができる。また、入力装置が空中において操作されるコントローラである場合、コントローラの上下の動きもあるので、コントローラの筐体内部において、左側、右側、前方、後方、上部、下部にそれぞれアクチュエータを１つずつ配置することにより、左右、前後移動だけでなく、上下の移動における方向又は限界をユーザに直感的に示すことができる。アクチュエータの配置場所及び数量は、実際にシミュレートされた仮想空間の複雑さや、ユーザの要求に応じて適宜設定し得る。

アクチュエータの数の上限は特にないが、入力装置の小型化や生産コストの観点から、例えば７つ以下とすることができ、例えば６つ以下とすることができ、例えば５つ以下とすることができ、例えば４つ以下とすることができる。

本発明の一実施形態において、シミュレートされた仮想空間における操作の方向又は限界をさらにより直感的にユーザに伝達するためには、複数のアクチュエータは、協同して３次元方向に触覚フィードバックを発生できるように配置されていることが好ましい。例えば、それぞれのアクチュエータが一方向において振動又は変位することにより触覚フィードバックを発生することができる場合、入力装置に３つ又はそれ以上のアクチュエータを配置し、それぞれのアクチュエータが振動又は変位する方向が互いに直交するように、各アクチュエータを配置することで、３次元において任意の方向に対して触覚フィードバックを発生することが可能である。

例えば、（Ｘ，Ｙ，Ｚ）３次元座標軸において、それぞれＸ軸方向、Ｙ軸方向、及びＺ軸方向において振動又は変位するアクチュエータを１つずつ配置することにより、それぞれのアクチュエータの動作・静止、及び動作の強度を調整することにより、Ｘ軸方向の移動量を表すベクトル、Ｙ軸方向の移動量を表すベクトル、及びＺ軸方向の移動量を表すベクトルのベクトル和の方向に、振動又は変位を発生させることができ、ユーザにおいて当該方向から、又は当該方向へ触覚フィードバックを感知させることが可能である。

ユーザにおいて感知する触覚フィードバックの方向は、各アクチュエータによる振動又は変位のベクトル和の方向であるので、複数のアクチュエータは、厳密に直交する方向に配置する必要はなく、協同して３次元方向に触覚フィードバックを発生可能な方向に配置すればよい。また、複数のアクチュエータは、入力装置において、近傍に配置してもよいが、必ずしもその必要はなく、入力装置の形状や内部構造に応じて、互いに離れた場所に配置してもよい。

アクチュエータをこのように配置することにより、時間差及び／又は強弱差に加え、アクチュエータの振動又は変位のベクトル和によりさらに方向を示すことが可能であるので、シミュレートされた仮想空間における操作の方向又は限界をより直感的にユーザに示すことが可能である。

各アクチュエータの駆動を適切に制御するために、アクチュエータの触覚フィードバックのパターンを決定し、それに対応してアクチュエータを駆動するパルス電圧などの信号を発生する制御手段を設けることが可能である。本発明の一実施形態において、制御手段は、駆動信号を生成するように構成された増幅器、又はより一般的には駆動回路を含み得る。一実施形態では、制御手段は、１つ又は複数のプロセッサ又はプロセッサコア、プログラマブルロジックアレイ（ＰＬＡ）又はプログラマブルロジック回路（ＰＬＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロコントローラ、又は任意の他の制御回路を含み得る。コントローラがプロセッサを含む場合、プロセッサは、携帯電話又は他のエンドユーザデバイス上の汎用プロセッサなどの汎用プロセッサであってもよく、あるいは、触覚効果の生成専用のプロセッサであってもよい。

本発明の一実施形態において、制御手段は、シミュレートされた仮想空間における操作の内容に応じて、様々な触覚効果パターン（強さ、持続時間、振動波形など）を決定することが可能である。これらの触覚効果パターンは、所定のアルゴリズムに基づいて、その都度算出されてもよく、ハードディスク（ＨＤ）やＲＯＭ、ＲＡＭなどで構成される記憶装置にあらかじめ定義されたものであってもよい。一実施形態において、触覚効果パターンは、ユーザが任意に設定又は変更することができる。

（４．例示的な実施形態）
図１は、本発明の一実施形態において、入力装置として載置平面上において操作されるマウスに複数のアクチュエータを配置した構成概略図である。マウス１０には、通常のメインボタン（左側ボタン及び右側ボタン）のほか、ホイール１０１、左側のサイドボタン１０２、右側のサイドボタン１０３が設置されている。図示のホイール１０１は車輪状のものであるが、任意方向に転動可能な球状であってもよい。

また、マウス１０の筐体内部には、当該筐体に当接して、４つのアクチュエータ１２１、１２２、１２３、１２４が設置されており、マウス１０を平面視したとき、アクチュエータ１２１はマウス１０の前方、アクチュエータ１２２はマウス１０の中央左側、アクチュエータ１２３はマウス１０の中央部、アクチュエータ１２４はマウス１０の中央右側に配置されている。さらに、マウス１０の筐体内部には、バイブレーションを発生するためのモータ１４が設置されている。アクチュエータ１２１、１２２、１２３、１２４、及びモータ１４は、マウス１０の筐体外部から見えないため、点線で示されている。なお、モータ１４は、継続的に回転振動によりバイブレーションを発生することができることから、アクチュエータ１２１、１２２、１２３及び１２４との違いがあり、そのため便宜上「モータ」を称するが、本発明のアクチュエータの概念に含まれる。

図２はマウス１０の内部構造の概略を示す透視図であり、図２Ａはマウス１０を平面視したときの図であり、図２Ｂはマウス１０を側面から見た時の図である。図２Ｂにおいて、矢印の方向は、それぞれアクチュエータ１２１、１２２、１２３、１２４が振動する方向を示す。

図３は、マウス１０において、各アクチュエータを作動させる方法を示すブロック図である。マウス１０には電源から電力が送られており、メインボタンのほか、サイドボタン１０２、１０３、ホイール１０１からの操作入力は、制御手段に送信される。なお、ホイール１０１の転動は、ホイール用二軸センサーにより検知される。さらに、マウス１０の移動の加速度、速度、方向等はモーションセンサーにより検知され、制御手段に送信される。

制御手段は、マウス１０により入力される操作がシミュレートされた仮想空間においてどのような方向になるかを計算し、そのような方向又は当該方向における限界を示すために、それぞれのアクチュエータ１２１、１２２、１２３、又は１２４の触覚効果パターンを決定し、パルス電圧などの信号を駆動回路に送信して、アクチュエータ１２１、１２２、１２３、又は１２４を駆動させる。さらに、制御手段は、必要に応じて、バイブレーション用のモータ１４も駆動させる。制御手段の上記計算は、マウス１０内に設けられた制御手段において行われてもよく、マウス１０の外部にある演算装置などにより行われてもよい。

図４は、マウス１０の操作に対応する一つの触覚効果パターンを示す図である。図面上部の矢印は時間軸を示し、スケールは１マス２ｍｓを示す。各アクチュエータの駆動状況を示す波形は、時間の進行に伴うパルス強度の変化を示す。この例では、マウス１０が左から右へ移動するに伴い、ユーザがマウスカーソルを見失わないように、マウス１０の中央左側に配置されるアクチュエータ１２２、中央部に配置されるアクチュエータ１２３、及び中央右側に配置される１２４は、マウスの移動方向に合わせて順次振動する。この例では、各アクチュエータの駆動パルスの波形は同一であるので、振動の強度は一定である。

図５は、マウス１０の操作に対応する別の一つの触覚効果パターンを示す図である。図面上部の矢印は時間軸を示し、スケールは１マス２ｍｓを示す。各アクチュエータの駆動状況を示す波形は、時間の進行に伴うパルス強度の変化を示す。この例では、マウス１０が左から右へ移動するに伴い、ユーザがマウスカーソルを見失わないように、マウス１０の中央左側に配置されるアクチュエータ１２２、中央部に配置されるアクチュエータ１２３、及び中央右側に配置される１２４は、マウスの移動方向に合わせて順次振動する。この例では、アクチュエータ１２２、１２３、及び１２４の駆動パルスの波形は徐々に弱くなるので、マウスの移動に伴い振動が弱くなる。

図６は、マウス１０の操作に対応する別の一つの触覚効果パターンを示す図である。図面上部の矢印は時間軸を示し、スケールは１マス２ｍｓを示す。各アクチュエータの駆動状況を示す波形は、時間の進行に伴うパルス強度の変化を示す。この例では、マウス１０が左から右へ移動するに伴い、ユーザがマウスカーソルを見失わないように、マウス１０の中央左側に配置されるアクチュエータ１２２、中央部に配置されるアクチュエータ１２３、及び中央右側に配置される１２４は、マウスの移動方向に合わせて順次振動する。この例では、アクチュエータ１２２、１２３、及び１２４の駆動パルスの波形は徐々に強くなるので、マウスの移動に伴い振動が強くなる。

図７は、マウス１０の操作に対応する別の一つの触覚効果パターンを示す図である。図面上部の矢印は時間軸を示し、スケールは１マス２ｍｓを示す。各アクチュエータ又はモータの駆動状況を示す波形は、時間の進行に伴うパルス強度の変化を示す。この例では、ユーザがマウス１０を操作して仮想空間内にある物体を掴むと、マウス１０の中央左側に配置されるアクチュエータ１２２及び中央右側に配置されるアクチュエータ１２４が振動して、物体を掴んだことをユーザに示し、さらにユーザが物体を移動させる間には、モータ１４が駆動され、物体の重量がかかっていることをユーザに示す。ユーザが物体を放すと、アクチュエータ１２２及びアクチュエータ１２４が再度振動して、物体を放したことをユーザに示す。なお、物体を移動させる間には、モータ１４を駆動させる代わりに、マウス１０の中央部に配置されるアクチュエータ１２３を駆動させてもよい。

図８は、マウス１０の操作に対応する別の一つの触覚効果パターンを示す図である。図面上部の矢印は時間軸を示し、スケールは１マス２ｍｓを示す。各アクチュエータ又はモータの駆動状況を示す波形は、時間の進行に伴うパルス強度の変化を示す。この例では、ユーザがマウス１０を操作して仮想空間内にある物体を掴むと、マウス１０の中央左側に配置されるアクチュエータ１２２及び中央右側に配置されるアクチュエータ１２４が振動して、物体を掴んだことをユーザに示し、さらにユーザが物体を移動させる間には、モータ１４が駆動され、物体の重量がかかっていることをユーザに示す。ユーザが物体を放すと、今度は、アクチュエータ１２２及びアクチュエータ１２４を駆動させるのではなく、マウス１０の前方に配置されるアクチュエータ１２１を駆動させて、物体を放した方向をユーザに示す。この触覚効果パターンは、最後にマウス１０の前方に配置されるアクチュエータ１２１を駆動させるので、例えばユーザが仮想空間において物体を前方に移動させるときに使用することができる。同様に、マウス１０の中央左側に配置されるアクチュエータ１２２又はマウス１０の中央右側に配置されるアクチュエータ１２４を駆動させることで、それぞれ物体を左方向又は右方向に移動させたこと（すなわち、方向性）をユーザに示すことができる。なお、物体を移動させる間には、モータ１４を駆動させる代わりに、マウス１０の中央部に配置されるアクチュエータ１２３を駆動させてもよい。

図９は、マウス１０の操作に対応する別の一つの触覚効果パターンを示す図である。図面上部の矢印は時間軸を示し、スケールは１マス２ｍｓを示す。各アクチュエータ又はモータの駆動状況を示す波形は、時間の進行に伴うパルス強度の変化を示す。この例では、ユーザが仮想空間に関連する属性を変更する操作（例えば、画面の拡大、音量の調整など）をするとする。ユーザが画面を拡大すると、画面が拡大されていることをユーザに伝達するために、マウス１０の中央左側に配置されるアクチュエータ１２２及びマウス１０の中央部に配置されるアクチュエータ１２３は、順次振動する。なお、当該操作とともに、仮想空間を表示する表示装置は、画面の拡大の程度を示すバーなどを表示することも可能である。画面の拡大が仮想空間内の操作限界に近づくと、モータ１４が駆動し始め、操作限界に近づいていることをユーザに示す。さらに、ユーザが操作を続けて操作限界に近づくと、モータ１４はより高い頻度で動作し、操作限界にさらに近づいたことをユーザに示す。この例では、モータ１４の駆動強度は一定である。

図１０は、マウス１０の操作に対応する別の一つの触覚効果パターンを示す図である。図面上部の矢印は時間軸を示し、スケールは１マス２ｍｓを示す。各アクチュエータ又はモータの駆動状況を示す波形は、時間の進行に伴うパルス強度の変化を示す。この例では、ユーザが仮想空間内における視点を移動し、又は仮想空間内のキャラクター若しくは物体を移動させるとする。ユーザが仮想空間内における視点を右から左へ移動する間、視点が移動していることをユーザに示すために、モータ１４が継続的に駆動されるが、マウスカーソルが仮想空間内の操作限界（例えば壁）に近づくと、マウス１０の中央左側に配置されるアクチュエータ１２２が駆動し始め、さらに駆動強度が徐々に増加し、マウスカーソルが操作限界に達すると、アクチュエータ１２２が強く駆動され、操作限界に達したことをユーザに示す。アクチュエータ１２２は、モータ１４と比較して、より瞬時に強い衝撃を与えられるように構成されるので、ユーザは通常の視点移動時のバイブレーションと異なる衝撃を感知することができ、移動の限界にぶつかったことを知ることができる。

図１１は、マウス１０の操作に対応する別の一つの触覚効果パターンを示す図である。図面上部の矢印は時間軸を示し、スケールは１マス２ｍｓを示す。各アクチュエータ又はモータの駆動状況を示す波形は、時間の進行に伴うパルス強度の変化を示す。この例では、ユーザがマウス１０を操作して仮想空間内にある物体を前方に投げると、モータ１４が駆動し、投げるための力がかかったことをユーザに示す、さらに当該物体が仮想空間内のキャラクターの手から離れるまでの間には、マウス１０の中央部に配置されるアクチュエータ１２３及びマウス１０の前方に配置されるアクチュエータ１２１が順次に駆動され、アクチュエータ１２３の駆動強度が徐々に弱くなる一方で、アクチュエータ１２１の駆動強度が徐々に強くなり、あたかも物体が手の中で移動しているようにユーザに触覚フィードバックを与える。

図１２は、マウス１０の操作に対応する別の一つの触覚効果パターンを示す図である。図面上部の矢印は時間軸を示し、スケールは１マス２ｍｓを示す。各アクチュエータの駆動状況を示す波形は、時間の進行に伴うパルス強度の変化を示す。この例では、ユーザがマウス１０を操作して仮想空間内にある物体を前方から受け取ると、マウス１０の前方に配置されるアクチュエータ１２１及びマウス１０の中央部に配置されるアクチュエータ１２３が順次に駆動され、アクチュエータ１２１の駆動強度が徐々に弱くなる一方で、アクチュエータ１２３の駆動強度が徐々に強くなり、あたかも物体が手のひらに入ってくるようにユーザに触覚フィードバックを与える。

図１３は、マウス１０の操作に対応する別の一つの触覚効果パターンを示す図である。図面上部の矢印は時間軸を示し、スケールは１マス２ｍｓを示す。各アクチュエータの駆動状況を示す波形は、時間の進行に伴うパルス強度の変化を示す。この例では、ユーザがマウス１０のホイール１０１を回転させて、仮想空間を示す画面を拡大し、又は仮想空間内において前方に進むとする。ユーザがマウス１０のホイール１０１を回転させると、マウス１０の中央部に配置されるアクチュエータ１２３が先に駆動され、それに続いてアクチュエータ１２３の周辺に配置されるアクチュエータ１２１、１２２、及び１２４が駆動され、マウス１０の中央から周辺への方向を持って、仮想空間を示す画面を拡大し、又は仮想空間内において前方に進んだことをユーザに示す。

図１４Ａ～Ｃは、マウス１０の操作に対応する別の一つの触覚効果パターンを示す図である。図面上部の矢印は時間軸を示し、スケールは１マス２ｍｓを示す。各アクチュエータの駆動状況を示す波形は、時間の進行に伴うパルス強度の変化を示す。この例では、ユーザがマウス１０の左側サイドボタン１０２を押して、マウス１０の感度を下げるとする。ユーザがマウス１０の左側サイドボタン１０２を押すと、仮想空間内においてはマウスの感度が下がることを示すバーなどが表示されると同時に、マウス１０の中央右側に配置されるアクチュエータ１２４、中央部に配置されるアクチュエータ１２３、及び中央左側に配置される１２２が順次に駆動して、感度が下がることを左方向で示す（図１４Ａ）。次いで、ユーザがさらにユーザがマウス１０の左側サイドボタン１０２を押して、マウス１０の感度を下げると、同様に、マウス１０の中央右側に配置されるアクチュエータ１２４、中央部に配置されるアクチュエータ１２３、及び中央左側に配置される１２２が順次に駆動して、感度が下がることを左方向で示すが、すでに感度が一定程度下がっているため、アクチュエータ１２４、１２３、１２２の駆動強度は全体的に弱くなり、現在の感度は比較的に低い状態にあることもユーザに示す（図１４Ｂ）。あるいは、駆動強度を全体的に弱くするに代わり、又は駆動強度を全体的に弱くすることに追加して、アクチュエータ１２４、１２３、１２２が駆動する時間差を大きくすることで、現在の感度が比較的に低い状態にあることをユーザに示すことができる（図１４Ｃ）。これにより、ユーザは感度がどのように変化しているかだけでなく、現在の感度がどの程度かを直感的に知覚することができる。
なお、別の実施形態において、これらのアクチュエータを駆動させる順番を逆にしてもよい。

以上、本発明の好ましい実施形態を説明したが、本明細書において開示される各実施形態の各具体的な特徴は互いに独立するものではなく、本発明の趣旨を逸脱しない範囲で、当業者の通常の知識に基づいて、適宜組み合わせることができることが理解されるべきである。

１０ マウス
１０１ ホイール
１０２ 左側サイドボタン
１０３ 右側サイドボタン
１２１、１２２、１２３、１２４ アクチュエータ
１４ モータ

Claims (6)

1. シミュレートされた仮想空間における操作のための入力装置であって、
   前記入力装置に対して触覚フィードバックを与えるように構成された複数のアクチュエータを備え、
   前記複数のアクチュエータは、時間差を持って前記触覚フィードバックを与えることにより、前記シミュレートされた仮想空間における操作の方向又は限界を示すように構成される、
   入力装置。
2. 前記複数のアクチュエータは、さらに強弱差を持って前記触覚フィードバックを与えることにより、前記シミュレートされた仮想空間における操作の方向又は限界を示すように構成される、請求項１に記載の入力装置。
3. 前記複数のアクチュエータは、協同して３次元方向に前記触覚フィードバックを発生できるように配置されている、請求項１又は２に記載の入力装置。
4. 前記複数のアクチュエータは３つのアクチュエータからなり、
   それぞれのアクチュエータは、一方向において振動又は変位することにより前記触覚フィードバックを発生することができ、かつ、それぞれのアクチュエータが振動又は変位する方向は、互いに直交するように配置される、請求項１～３のいずれか１項に記載の入力装置。
5. 載置平面上において操作されるマウスである、請求項１～４のいずれか１項に記載の入力装置。
6. 空中において操作されるコントローラである、請求項１～４のいずれか１項に記載の入力装置。

Images