JP2016197364A - 操作支援装置、及びプログラム - Google Patents

Abstract

【課題】ＡＲ環境におけるＡＲ操作対象を効率良く操作することを可能とする技術を提供する。【解決手段】現実空間上に仮想的な情報を重ねて提示することで、現実空間を拡張するＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ）環境に存在する操作対象であるＡＲ操作対象への操作を支援する操作支援装置において、物理的なデバイスである操作デバイスの位置と、当該操作デバイスに与えられた操作情報を取得する入力手段と、前記操作デバイスの位置に基づいて、ＡＲ操作対象を特定する特定手段と、前記操作デバイスに与えられた操作情報と、前記特定手段により特定されたＡＲ操作対象とに基づいて、前記操作情報を変換し、変換により得られた操作を前記特定されたＡＲ操作対象に適用する操作手段とを備える。【選択図】図１

Description

本発明は、ＡＲ環境における操作対象の操作を行うための技術に関連するものである。

現実空間上に仮想的な情報を重ねて提示することで、現実空間を拡張するＡｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ：拡張現実感）環境を提供する技術がある。このＡＲを用いた情報提示として、主にウェアラブル環境において、ヘッドマウントディスプレイ（ＨＭＤ）を用いた提示方法が提案されている。これにより、物理的な操作デバイスを把持せず、かつ視界を広範囲に覆うＡＲが活用できるようになりつつある。

しかし、ＨＭＤによるＡＲでは、ユーザがＡＲ環境上の操作対象（以下、ＡＲ操作対象）を直接操作できない、という問題が発生している。そのため、ＨＭＤの操作をするためにＨＭＤに組み込まれたリモコンを用いる。しかし、リモコン操作と、ＡＲ操作対象との対応付けがわかりにくく、直感的に操作することは難しい。

このような操作性の問題を解決するために、例えば、非特許文献１に開示されているように、マーカーを搭載したコントローラ（指）を操作することで、ＡＲ空間を操作する方法が検討されている。また、非特許文献２に開示されているように、ハンドジェスチャ（手の動き）によって操作対象を操作する方法も提案されている。これによって、デバイスレスで、特定の操作対象をジェスチャによってある程度直感的に操作できる。

SixthSense: a wearable gestural interface, SIGGRAPH Asia 2009, Yokohama, Japan, December 16-19, 2009. LeapLook: a free-hand gestural travel technique using the leap motion finger tracker, SUI'14, October 4-5, 2014, Honolulu, HI, USA

上記従来技術を用いることで、より直感的にＡＲ操作対象を操作できると考えられる。しかし、上記従来技術をＡＲ環境で用いる場合、実空間には存在しないＡＲ操作対象を指やジェスチャによって操作する必要があるため、操作に対して十分なフィードバックが得にくく、また、ＡＲ操作対象を操作するために常に手や腕を空中で動かす必要があり疲れやすい、という物理的な課題が残る。加えて、第三者から見た場合に、何も無い空間に対して腕や手を動かすため、操作している姿が変に見えてしまう（見られてしまうのではないか）、という心理的な課題もある。

本発明は上記の点に鑑みてなされたものであり、ＡＲ環境におけるＡＲ操作対象を効率良く操作することを可能とする技術を提供することを目的とする。

本発明の実施の形態により、現実空間上に仮想的な情報を重ねて提示することで、現実空間を拡張するＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ）環境に存在する操作対象であるＡＲ操作対象への操作を支援する操作支援装置であって、
物理的なデバイスである操作デバイスの位置と、当該操作デバイスに与えられた操作情報を取得する入力手段と、
前記操作デバイスの位置に基づいて、ＡＲ操作対象を特定する特定手段と、
前記操作デバイスに与えられた操作情報と、前記特定手段により特定されたＡＲ操作対象とに基づいて、前記操作情報を変換し、変換により得られた操作を前記特定されたＡＲ操作対象に適用する操作手段と
を備えることを特徴とする操作支援装置が提供される。

本発明の実施の形態によれば、ＡＲ環境におけるＡＲ操作対象を効率良く操作することを可能とする技術が提供される。

本発明の実施の形態に係る操作支援装置１０の構成図である。 入力部１１の動作手順を示すフローチャートである。 入力情報の例を示す図である。 特定部１２の動作手順を示すフローチャートである。 ＡＲ操作対象を特定する様子を示す図である。 特定部１２の動作に対応するプログラムの例を示す図である。 操作部１３の動作手順を示すフローチャートである。 変換ＤＢ１４の情報例を示す図である。 操作デバイスがタッチパネルを持つ場合の操作情報もＡＲ操作対象への適用例を示す図である。 複数の操作対象への操作情報の適用例を示す図である。 傾き、加速度を用いる場合の変換ＤＢ１４の情報例を示す図である。 出力部１５の動作手順を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

（実施の形態の概要）
本実施の形態ではＡＲ操作対象を効率良く操作できるようにすることを目的として、「物理的なＡＲ空間操作デバイス」（以下、操作デバイス）を用いることにより、直感的なＡＲ操作対象の操作を実現する操作支援装置が提供される。具体的には、操作支援装置は、操作デバイスの位置情報を取得し、ＡＲ環境におけるＡＲ操作対象の位置情報と突合することで、操作デバイスで操作するＡＲ操作対象を特定し、かつ操作デバイスに与えられた操作情報を、ＡＲ操作対象に応じて変換し、適用することで、高速なＡＲ操作対象の特定と操作を可能とする。

これにより、ＡＲ操作対象をスマートフォンなどの既存のデバイスを利用する感覚で直感的に操作できるようになり、ＨＭＤ（ヘッドマウントディスプレイ）を用いたＡＲ環境の操作における物理的、心理的な課題の両方を解決することとしている。以下、本実施の形態についてより詳細に説明する。なお、本実施の形態では、ＡＲ環境を利用者に提示するディスプレイとしてＨＭＤを使用することを想定しているが、本発明はＨＭＤ以外のディスプレイにも適用可能である。

（装置構成、機能概要）
図１に、本実施の形態に係る操作支援装置１０の構成図を示す。操作支援装置１０は、ＡＲ環境を提供するディスプレイ（ＨＭＤ）の利用者がＡＲ環境においてＡＲ操作対象を操作することを支援する装置である。

操作支援装置１０は、例えばＨＭＤに組み込まれる装置であってもよいし、ＨＭＤの外部に備えられる装置であってもよい。また、ＨＭＤの機能の一部として操作支援装置１０の機能が備えられていてもよい。

なお、本実施の形態におけるＡＲ環境を提供するＨＭＤの方式は特定の方式に限定されない。例えば、本実施の形態では、ＡＲ操作対象が、現実空間と重なって利用者に見える方式のＨＭＤを用いることができる。また、ＡＲの方式も特定の方式に限定されない。例えば、マーカーを用いる方式、マーカーを用いない方式のいずれでもよい。

図１に示すように、操作支援装置１０は、入力部１１、特定部１２、操作部１３、変換ＤＢ（データベース）１４、及び出力部１５を含む。特定部１２は、複数特定部１１２を含む。

前述したように、本実施の形態では、ＡＲ操作対象の操作を行うために操作デバイスが用いられる。一例として操作デバイスはスマートフォンであるが、操作デバイスは特定の装置に限定されない。操作デバイスと操作支援装置１０は有線又は無線により通信可能であり、操作支援装置１０は操作デバイスでなされた操作の情報等を操作デバイスから取得できる。以下、操作支援装置１０の各部の動作概要を説明する。

入力部１１は、操作デバイスの位置情報と当該操作デバイスに対して与えられる操作情報を受け取る。一例として、操作デバイスがスマートフォンのようにタッチパネルを有する装置である場合、入力部１１は、タッチパネルに対する操作の情報を操作情報として取得する。

特定部１２は、操作デバイスの位置情報とＡＲ操作対象の位置情報とを突合し、操作デバイスにより操作する対象となるＡＲ操作対象を特定する。複数特定部１１２では、操作デバイスに与えられた特定の操作情報（例：複数選択を指定する操作）がある場合に、複数の操作対象を特定する。

操作部１３は、特定部１２等により特定されたＡＲ操作対象に応じて、操作デバイスに与えられた操作情報を変換し、ＡＲ操作対象に適用する。例として、操作デバイスがタッチパネルデバイスの場合は、タッチパネルへの操作をそのままＡＲ操作対象に適用するすることとしてもよい。操作部１３による操作情報の変換にあたっては、変換ＤＢ１４に格納された情報が用いられる。

出力部１５は、特定部１２でのＡＲ操作対象の特定結果、及び当該ＡＲ操作対象に操作情報を適用した結果をＡＲ環境に提示する。すなわち、操作されたＡＲ操作対象を含むＡＲ環境をディスプレイ２２（例：ＨＭＤ）に表示する。また、例えば、操作デバイスがタッチパネルデバイスの場合、出力部１５は、ＡＲ環境への特定結果及び操作情報の適用結果の提示に加えて、特定したＡＲ操作対象をタッチパネルに表示するとともに、操作情報の適用結果についてもタッチパネルに表示することとしてもよい。

なお、ＡＲ環境を作成・提示する機能（ＡＲ操作対象の作成、表示を行う機能等）自体は既存技術であるため、詳細には説明していない。ＡＲ環境を作成・提示する当該機能自体は、操作支援装置１０が有することとしてもよいし、操作支援装置１０の外部の装置が有することとしてもよい。いずれの場合も、操作支援装置１０は、ＡＲ環境におけるＡＲ操作対象の情報（ＡＲ操作対象毎の位置情報、形の情報等）を保持する、もしくは取得できる。

本実施の形態に係る操作支援装置１０は、例えば、ＣＰＵ及びメモリ等を備えるコンピュータ（コンピュータの機能を有する様々な装置を含む）に、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、操作支援装置１０が有する機能は、当該コンピュータに内蔵されるＣＰＵやメモリ、ハードディスクなどのハードウェア資源を用いて、操作支援装置１０で実施される処理に対応するプログラムを実行することによって実現することが可能である。また、上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

以下、各部の動作をより詳細に説明する。

（入力部１１）
図２に、入力部１１の動作手順を示す。図２に示すように、入力部１１は、ＡＲ環境と連携する操作デバイスから、操作デバイスの位置（ｘ，ｙ，ｚ）と、操作デバイスに対する操作情報を取得する（ステップＳ１０１、Ｓ１０２）。これは継続的になされるものである。また、取得された操作デバイスの位置の情報は特定部１２に渡され（ステップＳ１０３）、操作情報は操作部１３に渡される（ステップＳ１０４）。

図３に、入力情報の例を示す。図３に示す例では、時間（操作がなされた時刻）、位置、及び操作情報が入力される。図３の例においては表形式での情報入力を想定しているが、上記情報を取得可能であればどのような形式であってもよい。また、操作デバイスの位置についてもＡＲ操作対象（ｘｉ，ｙｉ，ｚｉ）と突合できる形式であれば、どのような形式でも良い。操作デバイスに対する操作情報としては、例えば操作デバイスがタッチパネルを搭載している場合、入力としては、タップ、スワイプ、ピンチなどの操作を受け付けることができる。

具体的な操作デバイスの位置の取得方法としては、例えば、ＨＭＤにＫｉｎｅｃｔのような赤外線レーザーを用いたＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式による対象デバイスの位置と距離推定が可能なデバイスを搭載することで、位置情報の取得が可能である。その他にも、ＡＲマーカーを操作デバイスに予め搭載しておき、ＨＭＤにカメラを搭載することで、ＡＲマーカーを認識し、デバイス位置を推定し、推定した位置を操作支援装置１０に提供することも可能である。逆に、操作デバイス側にカメラを搭載し、ＨＭＤに搭載したＡＲマーカーを検知することで、ＨＭＤと操作デバイスとの距離を検出することも可能である。このように、操作デバイスの位置の取得については、ＨＭＤの位置（つまり、利用者の位置）を基準としてｘ，ｙ，ｚが取れるのであればどのような方式であっても良い。

具体的なＡＲ環境と操作デバイスとの連携方法としては、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信を用いることで実現可能であるし、有線接続で繋いでも良い。このように、ＨＭＤを基準とした操作デバイスの位置情報が検出可能であって、かつ、操作デバイスの操作情報をＡＲ操作対象に適用できるのであれば、どのような方式を用いても構わない。

（特定部１２）
特定部１２では、入力部１１で得た操作デバイスの位置情報をもとにＡＲ操作対象を特定する。図４に、特定部１２の動作手順を示す。

図４に示すように、特定部１２は、入力部１１により得られ、メモリ等に格納されている操作デバイスの位置の情報を読み込む（ステップＳ２０１）。特定部１２は、各ＡＲ操作対象ｉに対して操作デバイスとの距離を算出する（ステップＳ２０２、Ｓ２０３）。

全てのＡＲ操作対象について、操作デバイスとの距離の算出が終了したら、最小の距離を持つＡＲ操作対象ｉを特定する（ステップＳ２０４）。特定部１２は、特定したＡＲ操作対象の情報を操作部１３に渡す（ステップＳ２０５）。

図５に、操作デバイスの位置の情報を用いてＡＲ操作対象を特定するイメージを例示する。図５に示す例では、ＡＲ操作対象１〜４のうち、操作デバイスとの距離が最小であるＡＲ操作対象１が、操作デバイスによる操作の対象として特定されている。なお、図４の例では、最小の距離を持つＡＲ操作対象を特定しているが、更に、最小の距離を持つＡＲ操作対象が一定の距離以下にある場合に、当該ＡＲ操作対象を操作対象として特定することとしてもよい。この場合のプログラムの例を図６に示す。当該プログラムは、特定部１２の動作に対応する。

図６のプログラムにおける変数は下記のように定義されるものである。

ＡＲ操作対象ｉ：ｏｂｊｅｃｔｓ［ｉ］；／／ｏｂｊｅｃｔｓは配列
操作デバイスの位置情報：ｘ，ｙ，ｚ；
ＡＲ操作対象ｉの位置情報：ｘｉ，ｙｉ，ｚｉ；
絶対値の取得：Ｍａｔｈ．ａｂｓ（）；
最小値の取得：Ｍａｔｈ．ｍｉｎ（）；
ＡＲ操作対象ｉと操作デバイスとの距離：ｄｉｓｔａｎｃｅｓ［ｉ］ ／／ｄｉｓｔａｎｃｅｓは配列
係数：Ａ，Ｂ，Ｃ；
操作対象と見なす閾値： Ｔｈｒｅｓｈｏｌｄ。

なお、一定の距離以下にあるＡＲ操作対象を最初に検出し、当該ＡＲ操作対象が複数有る場合に、最も操作デバイスの位置に近いＡＲ操作対象を選択することとしてもよい。

また、操作デバイスに特定の操作情報（複数選択を指定する操作）を与え、当該操作情報が複数特定部１１２に通知されることで、複数特定部１１２がＡＲ操作対象（操作デバイスによる操作の対象）を複数特定することとしてもよい。例えば、デスクトップコンピュータ環境における範囲選択や、複数選択、全選択などの操作と同様の操作により複数ＡＲ操作対象を選択したり、操作デバイスの位置からの距離が一定以内のＡＲ操作対象を自動的に全て選択することとしてもよい。

（操作部１３）
操作部１３では、ＡＲ操作対象に応じて操作デバイスに与えられた操作情報を変換し、変換された操作を特定されたＡＲ操作対象に与える。図７に、操作部１３の動作手順を示す。

図７に示すように、操作部１３は、特定部１２により特定されたＡＲ操作対象の情報を読み込み（ステップＳ３０１）、入力部１１により取得された操作デバイスへの操作情報を読み込む（ステップＳ３０２）。操作部１３は、変換ＤＢ１４を参照し、ステップＳ３０１、Ｓ３０２で取得したＡＲ操作対象と操作情報に対応する操作を特定し、当該操作をＡＲ操作対象に適用する（ステップＳ３０３、Ｓ３０４）。

図８に変換ＤＢ１４の例を示す。図８に示す例では、表形式で情報を保持しているが、変換方法の情報を保持できる方法であれば、テキスト、ｘｍｌなど、任意の形式で保持して良い。図８に示すように、例えば、ＡＲ操作対象が「リンク」であり、操作情報が「タップ」であるとすると、「リンク選択」という操作が、当該「リンク」に対して適用される。

また、例として、操作デバイスがタッチパネルを持つ場合の操作情報のＡＲ操作対象への適用例を図９に示す。タッチパネルを具備する操作デバイスでは、タッチパネルに与えられた操作情報をそのままＡＲ環境の操作対象に適用することができる。つまり、図９に示すように、「ピンチ」（例：２本の指でタッチパネル表面を押し広げる動作）を行うことで、ＡＲ操作対象１が拡大される（例えば、利用者は当該対象がズームで大きくなったように見える）。

また、図１０に示すように、複数のＡＲ操作対象が特定されている場合には、複数の操作対象に対して、操作デバイスに与えられた操作情報を同時に適用することができる。図１０の例では、ＡＲ操作対象１と３にピンチの操作が適用されている。

また、本実施の形態では、一時的にＡＲ操作対象と操作デバイスとの関係を固定し、操作デバイス位置が変わっても、ＡＲ操作対象への操作情報の適用を継続させることを指示する操作（固定の操作と呼ぶ）が可能である。この場合、操作デバイスの位置をＡＲ操作対象の位置に適用することが可能となる。

つまり、ＡＲ操作対象を操作デバイスの位置で指定するとともに、一時的にＡＲ操作対象と操作デバイスとの関係を固定することを指示する操作を行う。その後、利用者は、操作デバイス上での実際の操作を（ＡＲ操作対象の位置でなくて）手元で行うことができる。これにより、素早い操作デバイスの特定と、特定後の直感的な操作感とを両立できる。なお、操作が完了した後、固定を解除することで、操作デバイスの操作情報のＡＲ操作対象への適用を停止できる。

また、操作デバイスの位置によりＡＲ操作対象を特定した後で、操作デバイスの操作により位置情報の同期を指示することで、操作デバイスの位置をＡＲ操作対象に適用することも可能である。これにより、操作デバイスを用いて、ＡＲ操作対象のＡＲ空間上の提示（表示）位置を素早く変更できるようになる。

また、操作デバイスに与えられた傾きや加速度（例：操作デバイスを振る）などが操作情報として入力部１１に与えられる場合、それらの操作情報をＡＲ操作対象に応じて変換し、ＡＲ操作対象に適用することも可能である。当該変換を行う場合の変換ＤＢ１４の例を図１１に示す。図１１に示す例において、例えば、ＡＲ操作対象として「ボタン」が特定され、操作情報として「加速度」が与えられた場合、当該「ボタン」に対する操作として「タップ」が適用される。さらに、操作デバイスの地理的位置座標（例：ＧＰＳ座標）を取得し、当該地理的位置座標も加味して、ＡＲ操作対象に適用する操作を決定することとしてもよい。

なお、傾き、加速度、地理的位置情報は組み合わせてもよい。つまり、傾き、加速度、地理的位置情報のうちのいずれか１つ又は複数を用いることとしてもよい。また、傾き、加速度等と、図８等に示すタッチパネル上の操作情報とを組み合わせて用いることとしてもよい。

（出力部１５）
図１２は、出力部１５の動作手順を示す。図１２に示すように、出力部１５は、特定部１２の特定結果をディスプレイ２２に出力するとともに、操作部１３によるＡＲ操作対象に対する操作の結果（操作後のＡＲ操作対象）をディスプレイ２２に出力する（ステップＳ４０１、Ｓ４０２）。

つまり、ＡＲ環境を表示するディスプレイ（ＨＭＤなど）には、特定部１２における特定結果、及び操作部１３で操作した結果が統合して提示される。これにより、利用者は、例えば図９に示すように、操作デバイスによる操作後のＡＲ環境を見ることができる。

なお、出力部１５は、操作に係るＡＲ操作対象のみならず、操作に関わらないＡＲ操作対象も含むＡＲ環境を出力する機能を持つ。

このようにして、操作支援装置１０の利用者はディスプレイ２２に表示された情報を見ながら、操作デバイスを用いてＡＲ環境のＡＲ操作対象を操作することが可能となる。

また、例として、タッチパネルを搭載する操作デバイスを使用する場合は、特定されたＡＲ操作対象をタッチパネルに投影することとしてもよい。これにより、ＡＲ操作対象をタッチパネル上で操作することが可能となり、タッチパネルなど一般に普及したデバイスの操作感で、ＡＲ操作対象を操作することが可能となる。特定されたＡＲ操作対象をタッチパネルに投影する処理は、例えば、操作支援装置１０から操作デバイスに対して投影画像の情報を送り、操作デバイスが投影画像（ＡＲ操作対象）を表示することにより行う。

（実施の形態のまとめ）
以上、説明したように、本実施の形態により、現実空間上に仮想的な情報を重ねて提示することで、現実空間を拡張するＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ）環境に存在する操作対象であるＡＲ操作対象への操作を支援する操作支援装置であって、物理的なデバイスである操作デバイスの位置と、当該操作デバイスに与えられた操作情報を取得する入力手段と、前記操作デバイスの位置に基づいて、ＡＲ操作対象を特定する特定手段と、前記操作デバイスに与えられた操作情報と、前記特定手段により特定されたＡＲ操作対象とに基づいて、前記操作情報を変換し、変換により得られた操作を前記特定されたＡＲ操作対象に適用する操作手段とを備える操作支援装置が提供される。

前記操作支援装置は、例えば、ＡＲ操作対象と操作情報とに対応する操作を規定した変換データベースを備え、前記操作手段は、前記変換データベースを参照することにより、前記特定されたＡＲ操作対象に適用する操作を決定することとしてもよい。

前記操作デバイスは、例えば、タッチパネルを備えるデバイスであり、前記操作情報は、当該タッチパネル上の操作を示す操作情報である。また、前記操作情報として、前記操作デバイスの傾き、加速度、地理的位置情報のうちのいずれか１つ又は複数を用いることとしてもよい。

前記操作デバイスに特定の操作が与えられた場合に、前記特定手段は、複数のＡＲ操作対象を同時に特定し、前記操作手段は、操作デバイスに対する操作情報に基づく操作を、前記複数のＡＲ操作対象に適用することとしてもよい。

前記特定手段は、例えば、前記操作デバイスとの距離が所定の閾値よりも小さいＡＲ操作対象を特定することができる。

（実施の形態の効果）
本実施の形態における操作支援装置１０を用いることにより、ＡＲ操作対象をスマートフォンなどの既存のデバイスを利用する感覚で直感的に操作できるようになるため、操作に関する学習時間が短くなる。また、ジェスチャなどの大きな動作が必要なくなるため、操作動作を小さくできる。さらに、加えて、ＨＭＤを用いたＡＲ環境の操作において、第三者から見た場合に操作している姿が変に見えてしまう（見られてしまうのではないか）という心理的な障壁を軽減できる。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１０ 操作支援装置
１１ 入力部
１２ 特定部
１３ 操作部
１４ 変換ＤＢ
１５ 出力部
１２ 複数特定部
２１ 位置、操作情報
２２ ディスプレイ

Claims (7)

1. 現実空間上に仮想的な情報を重ねて提示することで、現実空間を拡張するＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ）環境に存在する操作対象であるＡＲ操作対象への操作を支援する操作支援装置であって、
   物理的なデバイスである操作デバイスの位置と、当該操作デバイスに与えられた操作情報を取得する入力手段と、
   前記操作デバイスの位置に基づいて、ＡＲ操作対象を特定する特定手段と、
   前記操作デバイスに与えられた操作情報と、前記特定手段により特定されたＡＲ操作対象とに基づいて、前記操作情報を変換し、変換により得られた操作を前記特定されたＡＲ操作対象に適用する操作手段と
   を備えることを特徴とする操作支援装置。
2. 前記操作支援装置は、ＡＲ操作対象と操作情報とに対応する操作を規定した変換データベースを備え、
   前記操作手段は、前記変換データベースを参照することにより、前記特定されたＡＲ操作対象に適用する操作を決定する
   ことを特徴とする請求項１に記載の操作支援装置。
3. 前記操作デバイスは、タッチパネルを備えるデバイスであり、前記操作情報は、当該タッチパネル上の操作を示す操作情報である
   ことを特徴とする請求項１又は２に記載の操作支援装置。
4. 前記操作情報として、前記操作デバイスの傾き、加速度、地理的位置情報のうちのいずれか１つ又は複数を用いる
   ことを特徴とする請求項１ないし３のうちいずれか１項に記載の操作支援装置。
5. 前記操作デバイスに特定の操作が与えられた場合に、前記特定手段は、複数のＡＲ操作対象を同時に特定し、前記操作手段は、操作デバイスに対する操作情報に基づく操作を、前記複数のＡＲ操作対象に適用する
   ことを特徴とする請求項１ないし４のうちいずれか１項に記載の操作支援装置。
6. 前記特定手段は、前記操作デバイスとの距離が所定の閾値よりも小さいＡＲ操作対象を特定する
   ことを特徴とする請求項１ないし５のうちいずれか１項に記載の操作支援装置。
7. コンピュータを、請求項１ないし６のうちいずれか１項に記載の操作支援装置における各手段として機能させるためのプログラム。

Images