JP2018005676A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】オブジェクトが仮想オブジェクトであることを、状況に適応的にユーザに認識させることが可能な、情報処理装置、情報処理方法、およびプログラムを提案する。
【解決手段】仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理を実行する処理実行部、を備える、情報処理装置。
【選択図】図８

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

近年、実世界に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）に関する技術が各種開発されている（例えば下記特許文献１参照）。

また、ＡＲコンテンツの表示時における視認性の向上を図るための技術も提案されている。例えば、下記特許文献２には、透過ディスプレイの背後に位置する実物体を、透過ディスプレイを通してユーザが視認可能なように、透過ディスプレイにおける表示オブジェクトの表示を制御する技術が記載されている。

特開２０１２−１５５６５４号公報 特許第５８３０９８７号公報

ところで、例えばユーザの動作状況などの状況に応じて、オブジェクトが仮想オブジェクトであることをユーザに認識させることも望まれる。しかしながら、特許文献１および特許文献２には、表示対象のオブジェクトが仮想オブジェクトであることをユーザに通知することは開示されていない。

そこで、本開示では、オブジェクトが仮想オブジェクトであることを、状況に適応的にユーザに認識させることが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理を実行する処理実行部、を備える、情報処理装置が提供される。

また、本開示によれば、仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理をプロセッサが実行すること、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータを、仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理を実行する処理実行部、として機能させるための、プログラムが提供される。

以上説明したように本開示によれば、オブジェクトが仮想オブジェクトであることを、状況に適応的にユーザに認識させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の実施形態による情報処理システムの構成例を示した説明図である。 ＡＲグラス１０を通して実オブジェクトおよび仮想オブジェクトをユーザが視認する様子を示した概略図である。 図２に示した状況において表示部１２４を通して視認される実オブジェクトおよび仮想オブジェクトを示した図である。 本実施形態によるＡＲグラス１０の構成例を示した機能ブロック図である。 ユーザが仮想オブジェクト３２に体重を預ける姿勢の一例を示した図である。 仮想オブジェクト３２に対するユーザの動作の流れの一例を示した図である。 図６に示した各状況における表示部１２４の表示例を示した図である。 本実施形態による第１の動作例を示したフローチャートである。 本実施形態による第２の動作例を示したフローチャートである。 本実施形態によるＡＲグラス１０のハードウェア構成例を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてＡＲグラス１０ａおよびＡＲグラス１０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、ＡＲグラス１０ａおよびＡＲグラス１０ｂを特に区別する必要が無い場合には、単にＡＲグラス１０と称する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．情報処理システムの構成
２．実施形態の詳細な説明
３．ハードウェア構成
４．変形例

＜＜１．情報処理システムの構成＞＞
まず、本開示の実施形態による情報処理システムの構成について、図１を参照して説明する。図１に示すように、当該情報処理システムは、ＡＲグラス１０、サーバ２０、および、通信網２２を含む。

＜１−１．ＡＲグラス１０＞
ＡＲグラス１０は、本開示における情報処理装置の一例である。ＡＲグラス１０は、予め実世界上の位置に関連付けられている仮想オブジェクトの表示を制御する装置である。例えば、ＡＲグラス１０は、まず、ＡＲグラス１０の位置情報に基づいて、当該位置の周囲（例えば上下左右全方位の一定の範囲）に位置する仮想オブジェクトを、通信網２２を介してサーバ２０から取得する。そして、ＡＲグラス１０は、ＡＲグラス１０の姿勢（またはユーザの視線方向の検出結果）に基づいて、取得した仮想オブジェクトのうち、ユーザの視界内に含まれる仮想オブジェクトを、後述する表示部１２４に表示する。例えば、ＡＲグラス１０は、取得した仮想オブジェクトに基づいて右目用画像および左目用画像を生成し、そして、右目用画像を右目用表示部１２４ａに表示し、かつ、左目用画像を左目用表示部１２４ｂに表示する。これにより、仮想的な立体視映像をユーザに視認させることができる。なお、（ＡＲグラス１０の）表示部１２４は、透過型のディスプレイで構成される。

ここで、仮想オブジェクトは、基本的に３Ｄのオブジェクトである。また、仮想オブジェクトは、基本的には、実世界上に存在する種類のオブジェクト（例えば、椅子、ベッド、壁、ドア、動物（人や犬）など）であり得る。例えば、仮想オブジェクトは、実オブジェクトと同様の形状、サイズ、および色で表示される。なお、仮想オブジェクトは、実オブジェクトの存在に依存せずに、実世界上の位置に関連付けられ得る。

図２は、ユーザがＡＲグラス１０を装着して、実オブジェクト３０および仮想オブジェクト３２を視認する様子を示した概略図である。なお、図２に示した例では、実オブジェクト３０は、実物の机である。また、仮想オブジェクト３２は、椅子の仮想オブジェクトであり、かつ、写実的に（つまり、実物の椅子であるかのように）表示され得る。

また、図３は、図２に示した状況において、表示部１２４を通して視認される実オブジェクト３０および仮想オブジェクト３２の例を示した図である。図３に示したように、ユーザの視界内に含まれる実オブジェクト３０および仮想オブジェクト３２は、表示部１２４を通して同時にユーザに視認される。

また、ＡＲグラス１０は、通信網２２を介してサーバ２０と通信することが可能である。

＜１−２．サーバ２０＞
サーバ２０は、実世界の位置情報と関連付けて仮想オブジェクトを記憶する装置である。ここで、実世界の位置情報は、緯度および経度を含む情報であってもよいし、所定の建物内の間取り図の情報であってもよい。また、サーバ２０は、仮想オブジェクトの取得要求を例えばＡＲグラス１０などの他の装置から受信した場合には、当該取得要求に対応する仮想オブジェクトを当該他の装置へ送信する。

＜１−３．通信網２２＞
通信網２２は、通信網２２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網２２は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網２２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

＜１−４．課題の整理＞
以上、本実施形態による情報処理システムの構成について説明した。ところで、写実的な３Ｄの仮想オブジェクトが表示部１２４に表示されると、ユーザは当該仮想オブジェクトが仮想オブジェクトであるか実オブジェクトであるかを識別し難い。特に表示部１２４が高輝度なディスプレイである場合には、ユーザはさらに識別し難い。そして、仮想オブジェクトを実オブジェクトであるとユーザが誤認識してしまうと、様々な危険がユーザに生じ得る。例えば、ユーザは、仮想の椅子に座ろうとして転倒したり、または、仮想の壁に寄り掛かろうとして転倒する恐れがある。

そこで、上記事情を一着眼点にして、本実施形態によるＡＲグラス１０を創作するに至った。本実施形態によるＡＲグラス１０は、仮想オブジェクトであるオブジェクトに対するユーザの動作認識の結果に基づいて、当該オブジェクトが仮想オブジェクトであることをユーザに認識させるための処理を実行する。このため、例えば、ユーザの周囲に位置する特定のオブジェクトが仮想オブジェクトであることを適切なタイミングで当該ユーザに認識させることができる。

＜＜２．実施形態の詳細な説明＞＞
＜２−１．構成＞
以上、本実施形態による情報処理システムの構成について説明した。次に、本実施形態によるＡＲグラス１０の構成について詳細に説明する。図４は、本実施形態によるＡＲグラス１０の構成例を示した機能ブロック図である。図４に示すように、ＡＲグラス１０は、制御部１００、通信部１２０、センサ部１２２、表示部１２４、音声出力部１２６、および、記憶部１２８を有する。

｛２−１−１．制御部１００｝
制御部１００は、ＡＲグラス１０に内蔵される、後述するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５０や、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５４などのハードウェアを用いて、ＡＲグラス１０の動作を統括的に制御する。また、図４に示すように、制御部１００は、仮想オブジェクト取得部１０２、動作認識部１０４、および、処理実行部１０６を有する。

｛２−１−２．仮想オブジェクト取得部１０２｝
仮想オブジェクト取得部１０２は、後述するセンサ部１２２による、ＡＲグラス１０の位置情報の測定結果に基づいて、表示対象の仮想オブジェクトをサーバ２０から取得する。例えば、仮想オブジェクト取得部１０２は、まず、センサ部１２２により測定された位置情報をサーバ２０へ送信することにより、当該位置情報の周囲（例えば上下左右全方位の一定の範囲）に位置付けられている複数の仮想オブジェクトをサーバ２０から取得する。

｛２−１−３．動作認識部１０４｝
動作認識部１０４は、例えばセンサ部１２２による、ＡＲグラス１０の位置情報、姿勢、速度、加速度、または、方位などの測定結果に基づいて、ユーザの動作を認識する。または、動作認識部１０４は、センサ部１２２により撮像された一連の動画像に基づいて、ユーザの動作を認識することも可能である。

例えば、動作認識部１０４は、センサ部１２２による測定結果に基づいて、所定の動作を認識する。ここで、所定の動作は、例えば体重を預ける姿勢以外の姿勢から体重を預ける姿勢へ変える動作などの、姿勢の変化を伴う所定の動作であり得る。なお、「体重を預ける姿勢以外の姿勢」は、本開示における第１の姿勢の一例であり、また、体重を預ける姿勢は、本開示における第２の姿勢の一例である。また、体重を預ける姿勢は、例えば、寄り掛かる姿勢や座る姿勢などである。

また、動作認識部１０４は、ユーザの動作に関する学習データと、センサ部１２２による現在の測定結果とに基づいて、例えば所定の時間分の未来におけるユーザの動作を予測することも可能である。なお、この学習データは、例えば過去のユーザの動作に関する測定結果（または動作の認識結果）に基づいて動作の特徴が学習されることにより予め生成され得る。また、学習データはユーザごとに生成されてもよいし、または、複数のユーザの測定結果の履歴に基づいて一つの学習データだけが生成されてもよい。

｛２−１−４．処理実行部１０６｝
（２−１−４−１．仮想オブジェクトの表示）
処理実行部１０６は、センサ部１２２により測定される、ＡＲグラス１０の姿勢（またはユーザの視線方向）に基づいて、仮想オブジェクト取得部１０２により取得された仮想オブジェクトの表示を制御する。より具体的には、処理実行部１０６は、まず、仮想オブジェクト取得部１０２により取得された仮想オブジェクトのうち、ＡＲグラス１０の姿勢（またはユーザの視線方向）の測定結果に基づいて、ユーザの視界内に含まれる仮想オブジェクトを抽出する。そして、処理実行部１０６は、抽出した仮想オブジェクトを表示部１２４に表示させる。

（２−１−４−２．通知処理）
また、処理実行部１０６は、仮想オブジェクト取得部１０２により取得された仮想オブジェクト、および、動作認識部１０４による動作認識の結果（または動作予測）に基づいて、対象のオブジェクトが仮想オブジェクトであることをユーザに認識させるための処理（以下、通知処理と称する）を実行する。ここで、対象のオブジェクトは、例えば、実世界においてユーザから所定の範囲内の位置に関連付けられている仮想オブジェクトであり得る。

例えば、処理実行部１０６は、仮想オブジェクト取得部１０２により取得された仮想オブジェクトに対するユーザの動作認識の結果（または動作予測）に基づいて、当該オブジェクトに関する通知処理を実行する。ここで、通知処理は、対象のオブジェクトが仮想オブジェクトであることをユーザに認識させるための表示制御、音声の出力制御、および／または、触覚刺激（振動など）の出力制御を行うことである。

例えば、通知処理は、対象の仮想オブジェクトの表示属性または表示位置を変化させることである。一例として、通知処理は、対象の仮想オブジェクトの表示色をデフォルトの表示色から変更したり、当該仮想オブジェクトを半透明にしたり、当該仮想オブジェクトのサイズを拡大または縮小したり、当該仮想オブジェクトをワイヤフレーム表示するように変更したり、当該仮想オブジェクトの周囲にデコレーションを付加したり、当該仮想オブジェクトの形状を変更したり、当該仮想オブジェクトを非表示にしたり、または、当該仮想オブジェクトを別の種類の仮想オブジェクトに置き換えることであってもよい。または、通知処理は、対象の仮想オブジェクトがデフォルトではアニメーション表示されていない場合に、当該仮想オブジェクトをアニメーション表示（例えば、所定の時間間隔で点滅させたり、連続的に回転させるなど）するように変更することであってもよい。これらの変化は実オブジェクトでは生じ得ないので、これらの変化がなされることにより、対象のオブジェクトが仮想オブジェクトであることをユーザに認識させることができる。

または、通知処理は、例えば警告用のテキストや画像などの他の仮想オブジェクトを新たに表示させることであってもよい。または、通知処理は、警告用の音声（例えばブザー音や、「危険です！」などの音声など）や触覚刺激（振動など）を出力させることであってもよい。

（２−１−４−３．通知処理の具体例１）
以下では、処理実行部１０６による通知処理の実行方法に関してより詳細に説明する。例えば、処理実行部１０６は、仮想オブジェクト取得部１０２により取得された仮想オブジェクトに対する動作認識の結果、および、当該仮想オブジェクトの実世界上の位置とユーザとの位置関係に基づいて、通知処理を実行するか否かを決定する。一例として、仮想オブジェクトの実世界上の位置とユーザとの距離が所定の閾値以下である仮想オブジェクトが存在する場合には、処理実行部１０６は、該当の仮想オブジェクトに対するユーザの動作認識の結果に基づいて、通知処理を実行するか否かを決定する。また、全ての仮想オブジェクトの実世界上の位置とユーザとの距離が所定の閾値よりも大きい場合には、処理実行部１０６は、通知処理を実行しない。

前者の場合、例えば、ユーザとの距離が所定の閾値以下である仮想オブジェクトに対する、上述した所定の動作が認識された場合には、処理実行部１０６は、該当の仮想オブジェクトに関して通知処理を実行する。また、当該仮想オブジェクトに対する、上述した所定の動作が認識されない場合には、処理実行部１０６は、該当の仮想オブジェクトに関して通知処理を実行しない。なお、仮想オブジェクトの実世界上の位置とユーザとの距離は、センサ部１２２により測定されるＡＲグラス１０の位置および姿勢（またはユーザの視線方向の検出結果）と、当該仮想オブジェクトの実世界上の位置とに基づいて特定され得る。

ここで、図５を参照して、上記の機能についてより詳細に説明する。図５に示したように、対象の仮想オブジェクト３２の実世界上の位置とユーザとの距離が所定の閾値（＝Ｄ）であり、かつ、仮想オブジェクト３２の方へユーザが体重を預けるように姿勢を変える動作が認識された（または当該動作が予測された）とする。この場合、処理実行部１０６は、例えば、警告用の音声を音声出力部１２６に出力させたり、または、表示部１２４において警告用のオブジェクトを新たに表示させる。これにより、対象の仮想オブジェクト３２が仮想オブジェクトであることをユーザに認識させることができ、ユーザに注意喚起を行うことができる。

（２−１−４−４．通知処理の具体例２）
または、処理実行部１０６は、仮想オブジェクト取得部１０２により取得された個々の仮想オブジェクトに関連付けて登録されている通知条件に基づいて、通知処理を実行することも可能である。ここで、通知条件は、例えば、仮想オブジェクトごとに、当該仮想オブジェクト（の実世界上の位置）にユーザの身体のいずれの部位が接近した場合に通知処理を実行するかの条件である。例えば、仮想オブジェクトの種類が椅子である場合には、臀部、背中、または、手などが接近した場合に通知処理を開始するように定められ得る。また、仮想オブジェクトの種類が壁である場合には、肩、背中、または、手などが接近した場合に通知処理を開始するように定められ得る。あるいは、仮想オブジェクトにユーザの身体のいずれの部位が接近したことに加え、高さ方向において当該仮想オブジェクトと当該部位が所定の位置関係を有することを条件に通知処理が行われても良い。具体的には、ユーザが仮想オブジェクトを踏もうとするようなケースが想定される。この場合、仮想オブジェクトにユーザの脚が接近し、かつ、仮想オブジェクトの上方にユーザの脚が位置することを条件として通知処理が行われてもよい。あるいは、高さ方向の位置関係の代わりに、高さ方向におけるユーザの体のいずれかの部位の速度あるいは加速度が通知処理の条件として用いられても良い。

例えば、処理実行部１０６は、仮想オブジェクト取得部１０２により取得された仮想オブジェクトごとに、当該仮想オブジェクトに関連付けて登録されている種類の当該ユーザの部位と当該仮想オブジェクトとの距離に基づいて、通知処理を実行するか否かを決定する。一例として、該当の部位と当該仮想オブジェクトとの距離が所定の閾値以下になった場合（つまり接近した場合）には、処理実行部１０６は、当該仮想オブジェクトに関して通知処理を実行する。また、該当の部位と当該仮想オブジェクトとの距離が所定の閾値よりも大きい場合には、処理実行部１０６は、当該仮想オブジェクトに関して通知処理を実行しない。

（２−１−４−５．通知処理の具体例３）
または、処理実行部１０６は、所定の基準に基づいて、通知処理を段階的に実行することも可能である。例えば、処理実行部１０６は、まず、対象の仮想オブジェクトの実世界上の位置とユーザとの位置関係に基づいて、当該オブジェクトが仮想オブジェクトであることをユーザに認識させるための第１の処理（以下、第１の通知処理と称する）を実行する。そして、処理実行部１０６は、当該オブジェクトに対するユーザの動作認識の結果に基づいて、当該オブジェクトが仮想オブジェクトであることをユーザに認識させるための第２の処理（以下、第２の通知処理と称する）を実行する。

より具体的には、仮想オブジェクトの実世界上の位置とユーザとの距離が所定の閾値以下である仮想オブジェクトが存在する場合には、処理実行部１０６は、まず、該当の仮想オブジェクトに関して第１の通知処理を実行する。その後、処理実行部１０６は、該当の仮想オブジェクトに対するユーザの動作認識の結果に基づいて、該当の仮想オブジェクトに関して第２の通知処理を実行する。

また、全ての仮想オブジェクトの実世界上の位置とユーザとの距離が所定の閾値よりも大きい間は、処理実行部１０６は、全ての仮想オブジェクトに関して第１の通知処理および第２の通知処理を実行しない。

ここで、第１の通知処理は、対象のオブジェクトが仮想オブジェクトであることをユーザに認識させるための第１の表示制御を行うことであり、かつ、第２の通知処理は、対象のオブジェクトが仮想オブジェクトであることをユーザに認識させるための第２の表示制御を行うことであり得る。例えば、第１の通知処理は、対象の仮想オブジェクトの表示属性または表示位置を変化させることであり、かつ、第２の通知処理は、他の仮想オブジェクトを新たに表示させることであってもよい。

あるいは、第１の通知処理は、対象のオブジェクトが仮想オブジェクトであることをユーザに認識させるための表示制御、音声の出力制御、および、触覚刺激（振動など）の出力制御の三種類のうちのいずれか一つを行うことであり、かつ、第２の通知処理は、上記三種類の制御のうち、第１の通知処理とは異なるいずれかの種類の制御を行うことであり得る。例えば、第１の通知処理は、仮想オブジェクトの表示属性または表示位置を変化させることであり、かつ、第２の通知処理は、警告用の音声を音声出力部１２６に出力させることであってもよい。

‐適用例
ここで、図６および図７を参照して、上記の機能についてより詳細に説明する。図６は、仮想オブジェクト３２に対するユーザの動作の流れの例を示した説明図である。また、図７は、図６の（ａ）〜（ｃ）に示した各状況における表示部１２４の表示例を示した図である。なお、図６および図７に示した仮想オブジェクト３２は、図２に示した椅子の仮想オブジェクト３２と同一である。

まず、図６の（ａ）に示したように、仮想オブジェクト３２の実世界上の位置とユーザとの距離（＝ｄ）が所定の閾値（＝Ｄ）よりも大きい状況を想定する。この際には、ＡＲグラス１０は、仮想オブジェクト３２をデフォルトの表示属性で表示部１２４に表示させる（図７の（ａ））。

その後、ユーザが仮想オブジェクト３２の方へ移動し、そして、図６の（ｂ）に示すように、仮想オブジェクト３２の実世界上の位置とユーザとの距離（＝ｄ）が所定の閾値（＝Ｄ）よりも小さくなったとする。この際には、図７の（ｂ）に示したように、処理実行部１０６は、例えば仮想オブジェクト３２の表示色をデフォルトの表示色から変化させ、そして、表示部１２４に表示させる（第１の通知処理）。

その後、ユーザは仮想オブジェクト３２の方へさらに移動し、そして、図６の（ｃ）に示すように、仮想オブジェクト３２に座るように姿勢を変化させ始めたとする。この際には、図７の（ｃ）に示したように、処理実行部１０６は、例えば警告用の仮想オブジェクト３４を新たに表示部１２４に表示させる（第２の通知処理）。このように、通知処理を段階的に行うことにより、仮想オブジェクト３２が仮想オブジェクトであることをユーザに対して、より強調して通知することができる。従って、仮想オブジェクト３２を実オブジェクトであるとユーザが誤認識する恐れをさらに減少させることができる。

（２−１−４−６．通知処理の変形例）
なお、変形例として、処理実行部１０６は、上述した通知処理の内容を、所定の基準に基づいて動的に変化させてもよい。ここで、所定の基準は、仮想オブジェクトの実世界上の位置とユーザとの位置関係であり得る。例えば、「通知処理」が仮想オブジェクトの透過度を変化させる処理である場合、処理実行部１０６は、仮想オブジェクトの実世界上の位置とユーザとの距離が小さくなるほど、表示部１２４に表示される当該仮想オブジェクトの透過度をより大きくさせてもよい。また、「通知処理」が仮想オブジェクトの実世界上の位置を変化させる処理である場合、処理実行部１０６は、仮想オブジェクトの実世界上の位置とユーザとの距離が所定の距離よりも小さくならないように、ユーザの移動に応じて、当該仮想オブジェクトの実世界上の位置を変化させてもよい。これにより、例えば、ユーザが仮想オブジェクトに近づこうとしても当該仮想オブジェクトが遠ざかっていく（当該仮想オブジェクトに対して所定の距離以上近づくことができない）ような体験を実現することができる。そして、このような体験を通して、該当のオブジェクトが仮想オブジェクトであることをユーザに認識させることができる。

または、所定の基準は、ユーザの動作認識であり得る。例えば、「通知処理」が仮想オブジェクトの透過度を変化させる処理である場合、処理実行部１０６は、仮想オブジェクトの方へユーザが体重を預ける（例えば寄り掛かる）ように姿勢を変化させるにつれて、表示部１２４に表示される当該仮想オブジェクトの透過度をより大きくさせてもよい。また、「通知処理」が警告用の音声を出力させる処理である場合、処理実行部１０６は、仮想オブジェクトの方へユーザが体重を預けるように姿勢を変化させるにつれて、出力される警告用の音声の音量をより大きくしてもよい。

｛２−１−５．通信部１２０｝
通信部１２０は、他の装置との間で情報の送受信を行う。例えば、通信部１２０は、仮想オブジェクト取得部１０２の制御に従って、現在位置の周囲に位置する仮想オブジェクトの取得要求をサーバ２０へ送信する。また、通信部１２０は、仮想オブジェクトをサーバ２０から受信する。

｛２−１−６．センサ部１２２｝
センサ部１２２は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの測位衛星から測位信号を受信して現在位置を測位する測位装置を含み得る。また、センサ部１２２は、測域センサを含み得る。

さらに、センサ部１２２は、例えば、３軸加速度センサ、ジャイロスコープ、磁気センサ、カメラ、深度センサ、および／または、マイクロフォンなどを含む。例えば、センサ部１２２は、ＡＲグラス１０の速度、加速度、姿勢、または方位などを測定する。また、センサ部１２２は、ＡＲグラス１０を装着するユーザの目の画像を撮影したり、ＡＲグラス１０の前方の画像を撮影する。また、センサ部１２２は、ユーザの前方に位置する物体を検出したり、また、検出した物体までの距離を検出し得る。

｛２−１−７．表示部１２４｝
表示部１２４は、本開示における出力部の一例である。表示部１２４は、出力制御部１０８の制御に従って、映像を表示する。例えば、表示部１２４は、左目用レンズおよび右目用レンズそれぞれの少なくとも一部の領域（投影面）に対して映像を投影する。なお、左目用レンズおよび右目用レンズは、例えば樹脂やガラスなどの透明材料により形成され得る。

なお、変形例として、表示部１２４は液晶パネルを有し、かつ、液晶パネルの透過率が制御可能であってもよい。これにより、表示部１２４は、透明または半透明の状態に制御され得る。

｛２−１−８．音声出力部１２６｝
音声出力部１２６は、本開示における出力部の一例である。音声出力部１２６は、出力制御部１０８の制御に従って、音声を出力する。

｛２−１−９．記憶部１２８｝
記憶部１２８は、各種のデータや各種のソフトウェアを記憶する。

＜２−２．動作＞
以上、本実施形態による構成について説明した。次に、本実施形態による動作について、「２−２−１．第１の動作例」〜「２−２−２．第２の動作例」において説明する。図８は、本実施形態による第１の動作例を示したフローチャートである。

｛２−２−１．第１の動作例｝
図８に示したように、まず、ＡＲグラス１０の仮想オブジェクト取得部１０２は、センサ部１２２による位置情報の測定結果に基づいて、現在位置の周囲（例えば上下左右全方位の一定の範囲）に位置する複数の仮想オブジェクトをサーバ２０から取得する（Ｓ１０１）。

続いて、処理実行部１０６は、センサ部１２２による測定結果に基づいて、仮想オブジェクト取得部１０２により取得された個々の仮想オブジェクトの実世界上の位置とユーザとの距離を算出する。そして、処理実行部１０６は、ユーザとの距離が所定の閾値以下である仮想オブジェクトが存在するか否かを判定する（Ｓ１０３）。ユーザとの距離が所定の閾値以下である仮想オブジェクトが存在しない場合には（Ｓ１０３：Ｎｏ）、ＡＲグラス１０は、後述するＳ１０９の処理を行う。

一方、ユーザとの距離が所定の閾値以下である仮想オブジェクトが存在する場合には（Ｓ１０３：Ｙｅｓ）、処理実行部１０６は、該当の仮想オブジェクトのうちの少なくともいずれかに対する所定の動作が動作認識部１０４により認識されたか否かを判定する（Ｓ１０５）。所定の動作が認識されていない場合には（Ｓ１０５：Ｎｏ）、ＡＲグラス１０は、後述するＳ１０９の処理を行う。

一方、該当の仮想オブジェクトのうちの少なくともいずれかに対する所定の動作が認識された場合には（Ｓ１０５：Ｙｅｓ）、処理実行部１０６は、該当の仮想オブジェクトの各々に関して通知処理を実行する（Ｓ１０７）。

その後、処理実行部１０６は、センサ部１２２によるＡＲグラス１０の姿勢（またはユーザの視線方向）の測定結果と、Ｓ１０７での処理結果とに基づいて、Ｓ１０１で取得された仮想オブジェクトのうちユーザの視界内に位置する仮想オブジェクトを表示部１２４に表示させる（Ｓ１０９）。あるいは、Ｓ１０７およびＳ１０９の処理は一体的に行われてもよい。

｛２−２−２．第２の動作例｝
次に、本実施形態による第２の動作例について説明する。図９は、本実施形態による第２の動作例を示したフローチャートである。なお、図９に示したＳ２０１は、第１の動作例におけるＳ１０１と同様である。

Ｓ２０１の後、処理実行部１０６は、Ｓ２０１で取得された個々の仮想オブジェクトに関連付けて登録されている通知条件を例えばサーバ２０または記憶部１２８から取得する（Ｓ２０３）。なお、この通知条件は、上述したように、例えば仮想オブジェクトごとに、当該仮想オブジェクト（の実世界上の位置）にユーザの身体のいずれの部位が接近した場合に通知処理を実行するかの条件であり得る。

続いて、処理実行部１０６は、Ｓ２０１で取得された仮想オブジェクトのうちの少なくともいずれかに関連付けられている通知条件が成立するか否かを判定する（Ｓ２０５）。全ての仮想オブジェクトに関して通知条件が成立しないと判定された場合には（Ｓ２０５：Ｎｏ）、処理実行部１０６は、後述するＳ２０９の処理を行う。

一方、少なくともいずれかの仮想オブジェクトに関連付けられている通知条件が成立すると判定された場合には（Ｓ２０５：Ｙｅｓ）、処理実行部１０６は、該当の仮想オブジェクトに関して通知処理を実行する（Ｓ２０７）。

なお、図９に示したＳ２０９は、第１の動作例におけるＳ１０９と同様である。なお、Ｓ２０７およびＳ２０９の動作は一体的に行われてもよい。

＜２−３．効果＞
以上説明したように、本実施形態によれば、ＡＲグラス１０は、仮想オブジェクトであるオブジェクトに対するユーザの動作認識の結果に基づいて、当該オブジェクトが仮想オブジェクトであることを当該ユーザに認識させるための処理を実行する。このため、例えば、ユーザの周囲に位置する特定のオブジェクトが仮想オブジェクトであることを適切なタイミングで当該ユーザに認識させることができる。

例えば、仮想オブジェクトに対する所定の動作（例えば仮想オブジェクトの方へユーザが体重を預けるように姿勢を変化させる動作など）が認識された場合には、ＡＲグラス１０は、当該オブジェクトが仮想オブジェクトであることをユーザに認識させるための処理を実行する。このため、仮に仮想オブジェクトが（あたかも実オブジェクトであるかのように）写実的に表示されている場合であっても、当該オブジェクトに対してユーザが所定の動作を行おうとする際には、当該オブジェクトが仮想オブジェクトであることをユーザに認識させることができる。

従って、仮想オブジェクトの表示時における安全性を向上させることができる。例えば、表示部１２４に表示されている仮想オブジェクトを実オブジェクトであるとユーザが誤認識してしまうことによりユーザが転倒してしまう等の危険の発生を防止することができる。

＜＜３．ハードウェア構成＞＞
次に、本実施形態によるＡＲグラス１０のハードウェア構成について、図１０を参照して説明する。図１０に示すように、ＡＲグラス１０は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５２、ＲＡＭ１５４、バス１５６、インターフェース１５８、入力装置１６０、出力装置１６２、ストレージ装置１６４、および通信装置１６６を備える。

ＣＰＵ１５０は、演算処理装置および制御装置として機能し、各種プログラムに従ってＡＲグラス１０内の動作全般を制御する。また、ＣＰＵ１５０は、ＡＲグラス１０において制御部１００の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。

ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。

ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

バス１５６は、ＣＰＵバスなどから構成される。このバス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４を相互に接続する。

インターフェース１５８は、入力装置１６０、出力装置１６２、ストレージ装置１６４、および通信装置１６６を、バス１５６と接続する。

入力装置１６０は、例えばボタン、スイッチ、レバー、マイクロフォンなどユーザが情報を入力するための入力手段、および、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１５０に出力する入力制御回路などから構成される。

出力装置１６２は、例えば、プロジェクタなどの表示装置、および、スピーカーなどの音声出力装置を含む。なお、表示装置は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置や、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などであってもよい。

ストレージ装置１６４は、記憶部１２８として機能する、データ格納用の装置である。ストレージ装置１６４は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。

通信装置１６６は、例えば通信網２２などに接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６６は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６６は、通信部１２０として機能する。

＜＜４．変形例＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

＜４−１．変形例１＞
例えば、上述した実施形態では、本開示における情報処理装置がＡＲグラス１０である例について説明したが、かかる例に限定されない。例えば、上述した処理実行部１０６を（ＡＲグラス１０の代わりに）サーバ２０が含む場合には、当該情報処理装置は、サーバ２０であってもよい。この場合、サーバ２０は、ＡＲグラス１０の位置情報および姿勢情報（およびユーザの視線方向の検出結果）と、動作認識部１０４による動作認識の結果とをＡＲグラス１０から取得することにより、ＡＲグラス１０に対して通知処理を行うことが可能である。例えば、サーバ２０は、これらの情報に基づいて、対象のオブジェクトが仮想オブジェクトであることをユーザに認識させるための表示制御や音声の出力制御などをＡＲグラス１０に対して行う。また、この場合、動作認識部１０４の機能は、ＡＲグラス１０の代わりに、サーバ２０が行ってもよい。

また、当該情報処理装置は、サーバ２０に限定されず、例えば、スマートフォン、タブレット端末、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、または、ゲーム機など、通信網２２に接続可能な他の種類の装置であってもよい。

＜４−２．変形例２＞
また、上述した実施形態では、本開示における表示部がＡＲグラス１０の表示部１２４である例について説明したが、かかる例に限定されない。例えば、当該表示部は、ビデオ透過型のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）のディスプレイであってもよい。この場合、ユーザの前方の撮像映像が当該ディスプレイに逐次表示され得る。

または、当該表示部は、３Ｄプロジェクタであってもよい。この場合、例えば、サーバ２０は、ユーザが装着するセンサまたは環境内に配置されたセンサによるユーザの視界のセンシング結果に基づいて、仮想オブジェクトを投影対象に対して当該３Ｄプロジェクタにプロジェクションマッピングさせる。これにより、上述した実施形態と同様の機能を実現することができる。なお、投影対象は、平面であってもよいし、立体物であってもよい。

＜４−３．変形例３＞
また、上述した実施形態の動作における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。

また、上述した実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した実施形態によるＡＲグラス１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理を実行する処理実行部、
を備える、情報処理装置。
（２）
前記第１のオブジェクトに対する前記ユーザの所定の動作が認識された場合には、前記処理実行部は、前記処理を実行し、
前記第１のオブジェクトに対する前記ユーザの所定の動作が認識されない場合には、前記処理実行部は、前記処理を実行しない、前記（１）に記載の情報処理装置。
（３）
前記ユーザの所定の動作は、第１の姿勢から第２の姿勢へ変える動作を含む、前記（２）に記載の情報処理装置。
（４）
前記第１の姿勢は、体重を預ける姿勢以外の姿勢であり、
前記第２の姿勢は、体重を預ける姿勢である、前記（３）に記載の情報処理装置。
（５）
前記ユーザの所定の動作は、前記第１のオブジェクトに対する前記ユーザの所定の部位の接近と、高さ方向における前記ユーザの所定の部位の移動を含む、前記（２）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記処理実行部は、さらに、実世界における前記第１のオブジェクトに関連付けられた領域と、前記ユーザとの位置関係に基づいて、前記処理を実行する、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記領域と前記ユーザとの距離が所定の閾値以下である場合には、前記処理実行部は、前記ユーザの動作認識の結果に基づいて、前記処理を実行する、前記（６）に記載の情報処理装置。
（８）
前記領域と前記ユーザとの距離が所定の閾値よりも大きい場合には、前記処理実行部は、前記処理を実行しない、前記（６）または（７）に記載の情報処理装置。
（９）
前記処理実行部は、さらに、実世界における前記第１のオブジェクトに関連付けられた領域に接近する前記ユーザの部位の認識結果に基づいて、前記処理を実行する、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記処理実行部は、さらに、実世界における前記第１のオブジェクトに関連付けられた領域と、前記ユーザの身体のうち、前記第１のオブジェクトに関連付けられている種類の部位との距離に基づいて、前記処理を実行する、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１１）
前記ユーザの身体のうち、前記第１のオブジェクトに関連付けられている種類の部位と前記領域との距離が所定の閾値以下になった場合には、前記処理実行部は、前記処理を実行し、
前記ユーザの身体のうち、前記第１のオブジェクトに関連付けられている種類の部位と前記領域との距離が所定の閾値よりも大きい場合には、前記処理実行部は、前記処理を実行しない、前記（１０）に記載の情報処理装置。
（１２）
前記処理は、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための表示制御、音声の出力制御、および／または、触覚刺激の出力制御を行うことである、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記処理は、前記第１のオブジェクトの表示属性または表示位置を変化させることを含む、前記（１２）に記載の情報処理装置。
（１４）
前記処理は、警告情報を出力部に出力させることを含む、前記（１２）または（１３）に記載の情報処理装置。
（１５）
前記処理実行部は、実世界における前記第１のオブジェクトに関連付けられた領域と前記ユーザとの位置関係に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための第１の処理を実行し、
前記処理実行部は、前記第１のオブジェクトに対する前記ユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための第２の処理を実行する、前記（２）に記載の情報処理装置。
（１６）
前記領域と前記ユーザとの距離が所定の閾値以下である場合には、前記処理実行部は、前記第１の処理を実行し、かつ、前記ユーザの動作認識の結果に基づいて前記第２の処理を実行する、前記（１５）に記載の情報処理装置。
（１７）
前記領域と前記ユーザとの距離が所定の閾値よりも大きい場合には、前記処理実行部は、前記第１の処理および前記第２の処理を実行しない、前記（１５）または（１６）に記載の情報処理装置。
（１８）
前記第１の処理は、表示部に対する第１の表示制御を行うことであり、
前記第２の処理は、前記表示部に対する第２の表示制御を行うことである、前記（１５）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理をプロセッサが実行すること、
を含む、情報処理方法。
（２０）
コンピュータを、
仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理を実行する処理実行部、
として機能させるための、プログラム。

１０ ＡＲグラス
２０ サーバ
２２ 通信網
１００ 制御部
１０２ 仮想オブジェクト取得部
１０４ 動作認識部
１０６ 処理実行部
１０８ 出力制御部
１２０ 通信部
１２２ センサ部
１２４ 表示部
１２６ 音声出力部
１２８ 記憶部

Claims (20)

1. 仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理を実行する処理実行部、
   を備える、情報処理装置。
2. 前記第１のオブジェクトに対する前記ユーザの所定の動作が認識された場合には、前記処理実行部は、前記処理を実行し、
   前記第１のオブジェクトに対する前記ユーザの所定の動作が認識されない場合には、前記処理実行部は、前記処理を実行しない、請求項１に記載の情報処理装置。
3. 前記ユーザの所定の動作は、第１の姿勢から第２の姿勢へ変える動作を含む、請求項２に記載の情報処理装置。
4. 前記第１の姿勢は、体重を預ける姿勢以外の姿勢であり、
   前記第２の姿勢は、体重を預ける姿勢である、請求項３に記載の情報処理装置。
5. 前記ユーザの所定の動作は、前記第１のオブジェクトに対する前記ユーザの所定の部位の接近と、高さ方向における前記ユーザの所定の部位の移動を含む、請求項２に記載の情報処理装置。
6. 前記処理実行部は、さらに、実世界における前記第１のオブジェクトに関連付けられた領域と、前記ユーザとの位置関係に基づいて、前記処理を実行する、請求項１に記載の情報処理装置。
7. 前記領域と前記ユーザとの距離が所定の閾値以下である場合には、前記処理実行部は、前記ユーザの動作認識の結果に基づいて、前記処理を実行する、請求項６に記載の情報処理装置。
8. 前記領域と前記ユーザとの距離が所定の閾値よりも大きい場合には、前記処理実行部は、前記処理を実行しない、請求項６に記載の情報処理装置。
9. 前記処理実行部は、さらに、実世界における前記第１のオブジェクトに関連付けられた領域に接近する前記ユーザの部位の認識結果に基づいて、前記処理を実行する、請求項１に記載の情報処理装置。
10. 前記処理実行部は、さらに、実世界における前記第１のオブジェクトに関連付けられた領域と、前記ユーザの身体のうち、前記第１のオブジェクトに関連付けられている種類の部位との距離に基づいて、前記処理を実行する、請求項１に記載の情報処理装置。
11. 前記ユーザの身体のうち、前記第１のオブジェクトに関連付けられている種類の部位と前記領域との距離が所定の閾値以下になった場合には、前記処理実行部は、前記処理を実行し、
    前記ユーザの身体のうち、前記第１のオブジェクトに関連付けられている種類の部位と前記領域との距離が所定の閾値よりも大きい場合には、前記処理実行部は、前記処理を実行しない、請求項１０に記載の情報処理装置。
12. 前記処理は、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための表示制御、音声の出力制御、および／または、触覚刺激の出力制御を行うことである、請求項１に記載の情報処理装置。
13. 前記処理は、前記第１のオブジェクトの表示属性または表示位置を変化させることを含む、請求項１２に記載の情報処理装置。
14. 前記処理は、警告情報を出力部に出力させることを含む、請求項１２に記載の情報処理装置。
15. 前記処理実行部は、実世界における前記第１のオブジェクトに関連付けられた領域と前記ユーザとの位置関係に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための第１の処理を実行し、
    前記処理実行部は、前記第１のオブジェクトに対する前記ユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための第２の処理を実行する、請求項２に記載の情報処理装置。
16. 前記領域と前記ユーザとの距離が所定の閾値以下である場合には、前記処理実行部は、前記第１の処理を実行し、かつ、前記ユーザの動作認識の結果に基づいて前記第２の処理を実行する、請求項１５に記載の情報処理装置。
17. 前記領域と前記ユーザとの距離が所定の閾値よりも大きい場合には、前記処理実行部は、前記第１の処理および前記第２の処理を実行しない、請求項１５に記載の情報処理装置。
18. 前記第１の処理は、表示部に対する第１の表示制御を行うことであり、
    前記第２の処理は、前記表示部に対する第２の表示制御を行うことである、請求項１５に記載の情報処理装置。
19. 仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理をプロセッサが実行すること、
    を含む、情報処理方法。
20. コンピュータを、
    仮想オブジェクトである第１のオブジェクトに対するユーザの動作認識の結果に基づいて、前記第１のオブジェクトが仮想オブジェクトであることを前記ユーザに認識させるための処理を実行する処理実行部、
    として機能させるための、プログラム。

Images