JP2019101743A

JP2019101743A - 情報処理装置、情報処理方法及びプログラム

Info

Publication number: JP2019101743A
Application number: JP2017231960A
Authority: JP
Inventors: 壮一郎稲谷; Soichiro Inatani
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-12-01
Filing date: 2017-12-01
Publication date: 2019-06-24
Also published as: WO2019107040A1; US20200380733A1; US11170539B2

Abstract

【課題】表示アイテムがユーザの視界に与える影響を低減し、ユーザは快適にＡＲ重畳技術を体験できる。【解決手段】ユーザの行動変化をトリガとして、環境情報またはユーザ情報に応じて決定された表示アイテムの表示順序に基づいて、表示部における前記表示アイテムの有無を制御する表示制御部、を備える、情報処理装置により、表示アイテムがユーザの視界に与える影響を低減し、ユーザは快適にＡＲ重畳技術を体験することができる。【選択図】図４

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

近年、現実空間（以下、実空間と称す。）に、付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）と呼ばれるＡＲ重畳技術が開発されている。重畳される付加的な情報は、テキスト、アイコンまたはアニメーションなど様々な種類の表示アイテムがユーザの眼前に表示されることで可視化され得る。

特許文献１では、表示アイテムが多岐にわたり、複数の表示アイテムが表示されている場合において、ユーザが必要な表示アイテムを見落とすリスクを低減するために表示アイテムの表示を制御する技術が開示されている。

特開２０１４−７１８１１号公報

しかし、特許文献１では、複数の表示アイテムが表示または消去される際の、表示アイテムの制御方法に関しては、開示されていなかった。そのため、複数の表示アイテムが一斉に表示されたり、消去されたりすることにより、ユーザの視界全体に影響を与える可能性があった。表示アイテムがユーザの視界全体に影響を与えると、ユーザが煩わしさを感じることがあり、ユーザがＡＲ重畳技術を体験する上で不快と感じる要因の一因となり得た。

上記事情に鑑みれば、表示アイテムがユーザの視界に与える影響を低減し、ユーザが快適にＡＲ重畳技術を体験できることが望ましい。

本開示によれば、ユーザの行動変化をトリガとして、環境情報またはユーザ情報に応じて決定された表示アイテムの表示順序に基づいて、表示部における前記表示アイテムの有無を制御する表示制御部、を備える、情報処理装置が提供される。

また、本開示によれば、プロセッサが、ユーザの行動変化をトリガとして、環境情報またはユーザ情報に応じて決定された表示アイテムの表示順序に基づいて、表示部における前記表示アイテムの有無を制御すること、を含む情報処理方法が提供される。

また、本開示によれば、コンピュータを、ユーザの行動変化をトリガとして、環境情報またはユーザ情報に応じて決定された表示アイテムの表示順序に基づいて、表示部における前記表示アイテムの有無を制御する表示制御部、として機能させるためのプログラム、が提供される。

本開示によれば、ユーザの行動変化をトリガとして、環境情報またはユーザ情報に応じて決定された表示アイテムの表示順序に基づいて、表示部における前記表示アイテムの有無を制御することで、ユーザの視界に与える影響を低減させることができる。

以上説明したように本開示によれば、表示アイテムがユーザの視界に与える影響を低減し、ユーザは快適にＡＲ重畳技術を体験できる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理システムの概要を説明する説明図である。同実施形態に係る情報処理システムの概要を説明する説明図である。同実施形態に係る情報処理システムの概要を説明する説明図である。同実施形態に係る情報処理システムを説明するブロック図である。同実施形態に係る情報処理システムの動作の流れを示すフローチャートである。同実施形態による表示制御の一例を示す図である。同実施形態による表示制御の一例を示す図である。同実施形態による表示制御の一例を示す図である。同実施形態に係る表示順序の一例を示す図である。同実施形態に係る表示順序の一例を示す図である。同実施形態に係る表示順序の一例を示す図である。同実施形態に係る表示順序の一例を示す図である。同実施形態に係る表示順序の一例を示す図である。同実施形態に係る情報処理システムのハードウェア構成の一例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態に係る情報処理システムの概要
１．１．外部構成
１．２．技術概要
２．情報処理システムの構成
３．動作処理の流れ
４．表示制御例
４．１．トリガに基づいた表示制御
４．２．キャンセル動作による表示制御の解除
４．３．ユーザの状態に応じた表示制御
５．表示順序例
６．変形例
７．ハードウェア構成例
８．まとめ

＜１．本開示の一実施形態に係る情報処理システムの概要＞
[１．１．外部構成]
まず、図１を参照して、本開示の一実施形態に係る情報処理システムの概要を説明する。図１は、本開示の一実施形態に係る情報処理システムが適用された表示装置Ｏ及び表示装置ＯによるユーザＵｓｅｒの視界を示す図である。図１に示す表示装置Ｏは、ＡＲグラスまたはＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）とも称される装置である。表示装置Ｏは、図１に示すような装着状態において、ユーザの眼前に、右眼用と左眼用の一対の表示部Ｏａ及びＯｂが配置されている。この表示部Ｏａ及びＯｂには、例えば透過型のディスプレイが用いられ、表示装置Ｏは透過型のディスプレイの透過率を制御することで、スルー状態、（即ち透明）または半透明の状態に制御することができる。表示部Ｏａ及びＯｂがスルー状態とされることで、表示装置Ｏを眼鏡のように使用できるため、ユーザは表示装置Ｏを常時装着していても、通常の生活には支障がなく行動ができる。

表示部Ｏａ及びＯｂは、透明または半透明の状態のまま、テキストや図等の画像を表示することで、実空間の風景に表示アイテムを重畳表示することができる。即ち、表示装置Ｏは、透過型のＡＲグラスとして実現されてもよい。

図１では、表示部Ｏａ内に、実空間の建物Ｘ１、建物Ｘ２及びバスＸ３に対応した表示アイテムｘ１、ｘ２及びｘ３が表示されている様子を示している。本開示の技術は、このような実空間の風景に表示アイテムを重畳表示させる場合に適用され得る。

また、表示部Ｏａ及びＯｂは、撮像された実空間の撮像画像を表示しつつ、実空間の撮像画像に表示アイテムを重畳表示することも可能である。また、表示部Ｏａ及びＯｂは、あたかも実空間を撮像したかのような画像を表示しつつ、当該仮想空間の画像に表示アイテムを重畳表示することも可能である。すなわち、表示装置Ｏは、ビデオシースルー型の表示装置であってもよい。

表示部Ｏａ及びＯｂには、多様なコンテンツが表示アイテムとして表示され得る。コンテンツは、例えば時刻、地図、ゲームプログラムに基づくゲーム画像、ユーザの入力操作が可能なアイコンなど、表示対象となるあらゆるデータが想定される。

以上、本開示の技術が適用され得る表示装置Ｏの一例について説明した。なお、以下では、本開示の情報処理システムを備える表示装置ＯがＡＲグラスである場合に関して、説明を行う。

[１．２．技術概要]
ここでは、図２を参照して、本開示の技術概要に関して説明を行う。図２は、表示装置Ｏを装着したユーザ視界４０及び４２を示している。この時、ユーザ視界４０では、ユーザは、立ち止まっており、ユーザ視界４０には、表示アイテム４００Ａ、４００Ｂ及び４００Ｃが表示されている。ユーザが立ち止まっているため、ユーザ視界４０の一部が表示アイテム４００Ａ、４００Ｂ及び４００Ｃによって遮られたとしても問題ない。

一方で、ユーザが歩き出す際は、表示アイテムによりユーザの視界が遮られた状態であると、ユーザが実空間を視認する上で、障害となったり、煩わしさを感じたりし得る。よって、例えば、ユーザが、歩き始める際には、ユーザ視界４２に示すように、表示アイテム４００Ａ、４００Ｂ及び４００Ｃをユーザ視界４２から消去して、ユーザが実空間を視認しやすくする。

図２では、表示アイテムを消去する際に、消去トリガを検出する（Ｓ４０）ことによって、表示アイテム４００Ａ、４００Ｂ及び４００Ｃが同タイミングで一斉に消され（Ｓ４１、４２、４３）、表示制御が終了する（Ｓ４４）。

しかしながら、ユーザが立ち止まっている状態から歩く状態となる際に、表示アイテム４００Ａ、４００Ｂ及び４００Ｃを一斉に消すと、ユーザの視界に与える影響または変化が大きい。そのため、ユーザが視野の変化に適応しがたく、ユーザがＡＲ重畳技術を体験する上で不快に感じることがある。

そこで、図３を参照して、本開示の技術概要を説明する。図３は、図２と同様に、表示装置Ｏを装着したユーザ視界１を示している。この時、ユーザ視界１においてユーザは、立ち止まっており、ユーザ視界１には、表示アイテム１Ａ、１Ｂ及び１Ｃが表示されている。ユーザ視界２では、表示アイテム１Ａ、１Ｂ及び１Ｃがユーザ視界２から消去された状態を示している。

本開示の技術では、例えば、ユーザが立ち止まっている状態から歩く状態に変化する行動変化により、トリガが検出（Ｓ１）され、表示アイテム１Ａ、１Ｂ及び１Ｃがそれぞれ、表示アイテム１Ａ（Ｓ２）、表示アイテム１Ｂ（Ｓ３）、表示アイテム１Ｃ（Ｓ４）の順で消える表示の制御を行う。最終的に、表示アイテム１Ｃを消すことで、表示制御が終了する（Ｓ５）。このように、本開示の技術では、ユーザの行動変化をトリガとして、環境情報またはユーザ情報に応じて決定された表示アイテムの表示順序に基づいて、表示部における前記表示アイテムの有無を制御することを可能にする。

なお、環境情報とは、ユーザの周囲の環境の輝度情報、色情報、音情報、又はデプス情報等であり、実空間に存在する建物または障害物等の物体の形状、位置及び動きに関する情報を含む。また、ユーザ情報とは、ユーザの視線及び視野情報、姿勢情報、又は移動情報等を含む。これらの環境情報及びユーザ情報に基づいて、表示順序は決定され得る。

以上では、本開示の技術概要を説明した。詳細な説明は次項以降にて行う。

＜２．情報処理システムの構成＞
ここでは、情報処理システム５に関して、図４を参照して説明する。図４は、同実施形態に係る情報処理システム５の構成の一例を示すブロック図である。情報処理システム５は、情報処理装置５０、表示装置５１及びセンサ装置５２を備える。

情報処理システム５では、情報処理装置５０は、表示アイテムの有無の制御処理を行う上で必要な情報をセンサ装置５２から取得し、表示装置５１にてユーザに表示アイテムの有無が視認できるように、表示制御を行う。これより、各構成の詳細について説明を行う。

[センサ装置５２]
センサ装置５２は、情報処理装置５０により使用されるユーザ情報及び環境情報を取得する機能を有する。ユーザ情報及び環境情報を得られるセンサであれば、センサの種類は限られず、搭載される各種センサの数も限られない。本実施形態においては、カメラ５２１、デプスセンサ５２２、マイクロフォン５２３、加速度センサ５２４及び測位センサ５２５を備えるセンサ装置５２に関して説明する。

（カメラ５２１）
カメラ５２１は、ＲＧＢカメラまたはサーモカメラ等の画像（静止画像又は動画像）を撮像する撮像装置であり、レンズ系、駆動系、及び撮像素子を有してもよい。カメラ５２１により得られた撮像画像は、画像解析に使用されてもよく、表示装置５１にて表示するために使用されてもよい。

また、カメラ５２１は、実空間を撮像して環境情報を取得するために用いられてもよく、ユーザに対して向けられることで、ユーザの眼球の動き、視線等の視線情報を解析し、ユーザ情報を取得するために用いられてもよい。このように、カメラ５２１は、環境情報及びユーザ情報を取得できるため、表示アイテムまたは実空間に対するユーザの着目状況等を把握することができる。

（デプスセンサ５２２）
デプスセンサ５２２は、実空間における物体の深度情報を取得する機能を有する。例えば、デプスセンサ５２２は、赤外線測距装置、超音波測距装置、ＬｉＤＡＲ（ＬａｓｅｒＩｍａｇｉｎｇＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）又はステレオカメラ等を含んでもよい。デプスセンサ５２２にて取得された深度情報は、ユーザに対する表示アイテムの表示位置等を決定するため等に用いられ、ユーザが適切な位置で表示アイテムを視認できる様に使用される。

（マイクロフォン５２３）
マイクロフォン５２３は、周囲の音を収音し、アンプおよびＡＤＣ（ＡｎａｌｏｇＤｉｇｉｔａｌＣｏｎｖｅｒｔｅｒ）を介してデジタル信号に変換した音声データを出力する装置である。マイクロフォン５２３にて収音された音声に応じて、表示アイテムの有無を制御する際に、出力される表示態様を変化させることができる。集音された音声に応じて表示態様を変化させる例としては、ユーザの右側から車の音が近づく音声を収音した場合、ユーザの右側から左側に表示アイテムを移動させるように表示アイテムを消去させてもよい等が挙げられる。このように、マイクロフォン５２３にて収音された音声の方向に応じて表示アイテムを消去する方向を制御することで、ユーザがより直観的に車が近づいている方向と危険予知を行うことができる。

（加速度センサ５２４）
加速度センサ５２４は、重力加速度を測定し、重力加速度の大きさおよび方向を表すセンサデータ（加速度データ）を取得することができる。センサ装置５２がユーザに装着されている場合には、センサ装置５２は、ユーザの動きまたはジェスチャ等の情報を取得することができる。例えば、加速度センサ５２４がユーザの頭部に装着されていると、加速度センサ５２４は、ユーザの首ふりまたはうなずき等の情報を得ることができる。また、加速度センサ５２４に替えて、ジャイロセンサのような角速度を検出するセンサを用いてもよい。

（測位センサ５２５）
測位センサ５２５は、ユーザの位置に関する情報を取得する機能を有する。測位センサ５２５は、例えば、ＧＮＳＳ（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ）信号を受信して装置の緯度、経度及び高度を測定するＧＮＳＳセンサであってもよい。他には、測位センサは、無線アクセスポイントから受信される無線信号の強度に基づいて測位を実行するセンサであってもよい。ＧＮＳＳと更にステップカウンタを備えることにより、ユーザの位置だけでなく、ユーザの移動速度に関しても情報を取得することができる。

また、これらの各種センサを用いて、センサ装置５２は、ＳＬＡＭ（ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ）技術により、ユーザの位置情報および移動速度に関する情報を取得してもよい。

[情報処理装置５０]
情報処理装置５０は、センサ装置５２から、表示アイテムの表示制御に必要なユーザ情報及び環境情報を検出及び取得し、表示装置５１における表示アイテムの有無を制御する。情報処理装置５０は、Ｉ／Ｆ部５０１、検出部５０２、制御部５０３及び記憶部５０４を含む。

（Ｉ／Ｆ部５０１）
Ｉ／Ｆ部５０１は、情報処理装置５０と他の機器とを接続するための接続装置である。Ｉ／Ｆ部５０１は、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）コネクタ等により実現され、表示装置５１及びセンサ装置５２の各構成要素との間で情報の入出力を行う。

（検出部５０２）
検出部５０２は、ユーザ位置情報検出部５０２１、ユーザ動作情報検出部５０２２、トリガ検出部５０２３、及び環境情報取得部５０２４を含む。検出部５０２では、センサ装置５２が取得したセンサ情報から、対象とするユーザ情報及び環境情報を各構成要素にて抽出し、かつ制御部５０３において制御の基となる検出データを制御部５０３に出力する機能を有する。

・ユーザ位置情報検出部５０２１
ユーザ位置情報検出部５０２１は、ユーザ情報の内、ユーザの位置に関する情報を検出する機能を有する。ユーザの位置に関する情報とは、実空間におけるユーザの位置、ユーザの移動方向または移動速度等の移動情報を含む。

・ユーザ動作情報検出部５０２２
ユーザ動作情報検出部５０２２は、ユーザ情報の内、ユーザの動作に関する情報を検出する機能を有する。ユーザの動作とは、ユーザの姿勢及びユーザのジェスチャ等を含む。ユーザの動作とは、ユーザが立ち止まる状態か、歩いている状態か、または立っている状態か、座っている状態か等も含み、ユーザのジェスチャとは、ユーザの首ふりまたはうなずき、空中ポインティングジェスチャ等も含む。

また、ユーザの動作に関する情報は、ユーザの視線を示す情報を含み得る。ユーザの視線を示す情報は、ユーザの視線の位置及び視線方向を示す情報を含む。また、ユーザの視線を示す情報は、ユーザの顔や頭の向きを示す情報を含んでもよく、さらに眼球の向きを示す情報を含んでもよい。

・トリガ検出部５０２３
トリガ検出部５０２３は、ユーザの位置情報および動作情報を含むユーザの行動変化に関する情報の中から、表示制御を行う所定の行動変化を示すトリガであるか否かを判断する。そして、トリガ検出部５０２３は、ユーザの行動変化が所定のトリガであれば、トリガ信号として検出する機能を有する。

所定の行動変化とは、ユーザが静止した状態または移動している状態、歩行中の状態または走っている状態、早歩き若しくは小走りの状態等のユーザ動作に関する情報を含み得る。また、ユーザが車に乗っている場合は、車が停止又は走行の状態であるか、若しくは、前進又は後進しているかの状態を含み得る。

更には、トリガ検出部５０２３は、ユーザが立っている状態か、座っている状態か等の情報をトリガとしてもよく、ユーザのジェスチャをトリガとしてもよい。ユーザのジェスチャとは、ユーザの首ふりまたはうなずき、空中ポインティングジェスチャ及び他の人に話しかける等の行動も含み得る。

・環境情報取得部５０２４
環境情報取得部５０２４は、センサ装置５２によりセンシングされた情報に基づいて、環境情報を検出する機能を有する。環境情報取得部５０２４にて取得された環境情報は、制御部５０３に備えられた表示順序生成部５０３１において、表示アイテムの表示順序を生成するために使用され得る。

環境情報は、実空間に存在する建物または障害物等の物体の形状、位置及び動きを示す情報を含む。実空間に存在する物体が、建物であれば、ユーザが事前に建物を認識している可能性が高い。そのため、表示アイテムが建物に重畳されていてもユーザは不快に感じる可能性が低い。しかし、実空間に存在する物体が、障害物または、動きを有する物体である場合、ユーザが事前に認識している可能性が低い。この場合、ユーザにとって、表示アイテムが障害物などの物体に重畳されてしまうと、ユーザが不快に感じることが考えられる。この様に実空間の物体に対する様々な情報を取得することにより、制御部５０３は表示アイテムの有無を制御することができる。

また、環境情報は、実空間における環境音に関する情報を含み得る。環境音を把握することにより、制御部５０３が表示アイテムの表示の有無を制御する際に、例えば、車が近づく環境音を収音した際には、近づく車とは反対方向に表示アイテムが消去される制御をすることができる。このような制御が可能になることにより、ユーザがより快適にＡＲ重畳技術を体験することができる。

[制御部５０３]
制御部５０３は、表示順序生成部５０３１及び表示制御部５０３２を含む。制御部５０３は、検出部５０２により検出されたユーザ情報及び環境情報に基づいて、表示順序を生成し、ユーザの視界に対する影響を低減させて、表示アイテムの有無を制御する機能を有する。

・表示順序生成部５０３１
表示順序生成部５０３１では、表示アイテムの有無が制御される際に、どの順番で消えるのか、どの順番で表示するのか、の表示順序を生成する機能を有する。表示順序は、表示制御部５０３２により、時系列に表示アイテムの有無が制御される順序を示す。表示アイテムが時系列で表示制御されることにより、ユーザの視界に対する影響を徐々に与えることができる。これにより、表示アイテムが一斉に表示または消去される際の視界の変化によるユーザが感じる煩わしさを軽減することができる。なお本明細書において、表示順序は、高いほど先に表示され、低いほど後に表示されるとする。つまり、表示アイテムを表示する際には、表示アイテムの表示順序が高いほど、先に表示が行われる。一方で、表示アイテムを消去する際には、表示アイテムの表示順序が低いほど、先に表示が消去される。

表示順序生成部５０３１は、表示順序を環境情報またはユーザ情報に応じて決定する。例えば、環境情報を用いる場合、表示順序生成部５０３１は、ユーザと実空間の建物との距離に応じて、表示順序を決定する。また、ユーザ情報を用いる場合、表示順序生成部５０３１は、ユーザの視線情報に応じて表示順序を決定する。このような表示順序のバリエーションは、その詳細を後述する。

表示アイテムの表示順序は、環境情報及びユーザ情報から取得された情報に基づいてユーザの視界に対する影響度に応じて決定されてもよい。ユーザの視界に対する影響度とは、ユーザが不快と感じやすい表示アイテムの表示状態を示す指標である。ユーザの視界に対する影響度は、表示アイテムの表示位置、表示アイテムが表示される領域（表示領域）、ユーザの視野範囲に基づいて、計算を行い算出することができる。

・表示制御部５０３２
表示制御部５０３２は、表示順序生成部５０３１により生成された表示順序に応じて、表示アイテムの表示の有無を表示装置５１にて制御する機能を有する。また、表示制御部５０３２は、表示アイテムを表示または消去する際の表示態様を制御する機能も有する。

表示制御部５０３２は、表示順序に従って、異なるタイミングで表示アイテムを表示させる、または表示アイテムを消去させてもよい。表示制御部５０３２が、表示アイテムを表示させる際には、表示順序に従って、表示順序が高い表示アイテムから先に表示を開始し、先に表示された表示アイテムの表示開始タイミングと異なるタイミングで、次の表示アイテムの表示を開始する。先に表示された表示アイテムの表示開始タイミングと次に表示される表示アイテムの表示開始タイミングは、同時でなく異なっていればよい。

表示制御部５０３２が、表示アイテムを消去させる際には、表示順序に従って、表示順序が低い表示アイテムから先に表示アイテムの消去を開始する。先に消去された表示アイテムの消去開始タイミングと異なるタイミングで、次の表示アイテムの消去を開始する。先に消去された表示アイテムの消去開始タイミングと次に消去される表示アイテムの消去開始タイミングは、同時でなく異なっていればよい。

上述したように、表示アイテムの表示および消去の開始タイミングが異なることにより、一斉に表示アイテムが表示または消去されることを抑制し、表示アイテムが徐々に表示または消去されるため、ユーザの視界に与える影響を抑制することができる。

表示アイテムを表示または消去する際の表示態様とは、表示アイテムが表示または消去される際の視覚的表現を示す。例えば、表示制御部５０３２は、表示アイテムが消去される際に、表示順序に応じて、表示アイテムが表示部外に移動する表現を用いて、表示アイテムが消去される際の表示態様を制御してもよい。

一方で、表示制御部５０３２は、表示アイテムが表示される際に、表示順序に応じて、表示アイテムが表示部内に移動する表現を用いて表示制御してもよい。このように表示アイテムが移動して表示アイテムの有無が制御されることにより、ユーザへの視界に与える影響が少なく、ユーザが快適にＡＲ重畳技術を体感できる。

さらに、表示アイテムを移動させる方向は、環境情報に応じて決定されても良い。例えば、ユーザに車が近づいている場合には、車が近づく方向とは反対方向に表示アイテムが移動することにより、ユーザに車が迫っていることを知らせながら表示を制御することができる。

また、表示制御部５０３２は、表示アイテムが消去される際に、表示アイテムを表示順序に応じて、表示アイテムがフェードアウトする表現を用いて、表示アイテムを消去する表示態様を制御してもよい。

一方で、表示制御部５０３２は、表示アイテムが表示される際に、表示順序に応じて、表示アイテムがフェードインする表現を用いて表示制御してもよい。このように表示アイテムが徐々に変化して表示アイテムの有無が制御されることにより、ユーザへの視界に与える影響が少なく、ユーザが快適にＡＲ重畳技術を体感できる。

上記のフェードイン及びフェードアウトの表現方法としては、例えば、表示アイテムの透過度が徐々に変化する表現であってもよく、表示アイテムの解像度が徐々に変化する表現であってもよい。このように表示アイテムが徐々に変化して表示アイテムの有無が制御されることにより、ユーザへの視界に与える影響が少なく、ユーザが快適にＡＲ重畳技術を体感できる。ここまでで、表示制御部５０３２が制御する表示態様に関して説明したが、表示態様はかかる例に限定されず、他の多様な表示態様を含み得る。

記憶部５０４は、上述した制御部５０３または検出部５０２が各機能を実行するためのプログラムやパラメータを格納する。例えば記憶部５０４には、検出部５０２によるユーザ情報及び環境情報の認識処理に用いる認識アルゴリズム、表示順序の生成処理に用いる各種閾値等が記憶されている。

[表示装置５１]
表示装置５１は、情報処理装置５０にて生成された表示順序に基づいて、表示部における表示アイテムの表示出力を行う機能を有する。表示装置５１では、例えば、ＡＲグラス５１１、車のフロントガラス５１２またはスマートフォン５１３を含んでもよい。ＡＲグラス５１１は、画面を有し、画像の表示が可能な眼鏡型の装着機器である。車のフロントガラス５１２は、表示部または画面を有し、画像表示が可能であるフロントガラスである。スマートフォン５１３は、画面を有し、画像、音声及び振動等を出力する無線通信可能な携帯モバイル機器である。表示装置５１は、このように画像等の表示が可能であればかかる例に限定されない。

ここまででは、情報処理システム５が備える各構成に関して説明を行った。各構成は、単独で用いられてもよく、各構成が複合されて用いられてもよい。

＜３．動作処理の流れ＞
ここでは、上述した各構成が動作する動作の流れに関して、図５を参照して説明を行う。まず、情報処理装置５０の電源ボタン等が押下される（Ｓ１１０）。

次に、センサ装置５２から取得したセンサ情報に基づいて、ユーザ位置情報検出部５０２１及びユーザ動作情報検出部５０２２により、ユーザ位置情報及びユーザ動作情報が検出される（Ｓ１１２、Ｓ１１４）。

次に、センサ装置５２から取得したセンサ情報に基づいて、環境情報取得部５０２４は、環境情報を取得する（Ｓ１１６）。

次に、表示順序生成部５０３１は、ユーザ情報及び環境情報に基づいて、表示アイテムの表示順序を生成する（Ｓ１１８）。

次に、トリガ検出部５０２３は、ユーザ情報に基づいて、トリガが検出されたか否かを判断する（Ｓ１２０）。ここで、トリガが検出されなかった場合、再度ユーザの位置情報の検出及びユーザ動作情報の検出を開始し、繰り返し表示順序の生成が継続して行われる。トリガ検出部５０２３にてトリガが検出された場合には、次の処理へ進む。

次に、表示制御部５０３２は、生成された表示順序に基づいて、表示アイテムの表示または消去、及び表示態様の表示制御を行う（Ｓ１２２）。

次に、表示の制御中に、キャンセル動作が行われたか否かを判断する（Ｓ１２４）。例えば、表示アイテムの表示制御の最中には、ユーザが表示制御を中断したい場合が生じ得る。その際にキャンセル動作が、検出されることにより、表示制御の解除を行うことができる。ここでいうキャンセル動作とは、あらかじめキャンセル動作として設定されたジェスチャであり、例えば、ユーザの首ふりまたはうなずき等のジェスチャであってもよい。これらのジェスチャを検出することで、ユーザは表示制御の解除を指示することができる。ここでは、ジェスチャを例示したが、キャンセル動作は、音声の入力等でもよく、ユーザが「解除」等の音声を発して、音声を解析することによりキャンセル動作を検出してもよい。

次に、キャンセル動作が検出された場合、表示制御部５０３２は、表示制御の解除または、表示アイテムを表示制御前の表示状態に戻す処理を行う。例えば、表示制御部５０３２は、表示アイテムを、キャンセル動作の検出が行われた時点における状態に留める制御を行ってもよく、表示アイテムの有無が制御される前の状態に戻す制御を行ってもよい（Ｓ１２６）。

キャンセル動作が検出されない場合は、表示制御が行われて（Ｓ１２２）、情報処理システム５は動作処理を終了する（Ｓ１２８）。

ここまででは、情報処理システム５が動作処理を行う流れに関して説明を行った。動作順序はかかる例に限定されない。例えば、ユーザ位置情報の検出及びユーザ動作情報の検出の後に、環境情報が取得される旨を記載したが、これらは、順不同であり、同時に行われてもよい。

＜４．表示制御例＞
ここでは、表示アイテムの有無に関する表示制御を行う例について、図６〜８を参照して説明する。

[４．１．トリガに基づいた表示制御]
図６では、トリガに基づいた表示アイテムの有無の制御に関して説明する。図６は、ユーザが歩いている状態から立ち止まった際に、表示アイテムを表示させる表示制御を示す。ユーザ視界１０では、歩いている状態のユーザの視界を表している。ユーザ視界１０には、ユーザが歩く道路Ｘが存在する。ユーザ視界１０における表示空間１１０は、表示アイテムが表示され得る領域を表している。表示制御が実行されると、表示空間１１０に表示アイテムが表示される。ユーザ視界１０においては、まだ表示制御は実行されておらず、表示空間１１０において表示アイテムは視認されない。

ユーザ視界１２では、ユーザが立ち止まった状態のユーザの視界を表している。ユーザが立ち止まったことをトリガ検出部５０２３がトリガとして検出し、表示制御部５０３２が表示アイテムの有無の制御を開始する。ユーザ視界１２では、あらかじめ表示順序生成部５０３１により決定された表示順序に応じて、まず表示アイテム１１０Ａが表示される。ユーザ視界１４では、継続してユーザは立ち止まった状態にあり、表示アイテム１１０Ｂが表示アイテム１１０Ａの次に表示された様子を示している。ユーザ視界１６では、継続してユーザは立ち止まった状態にあり、表示アイテム１１０Ｃが、表示アイテム１１０Ａ及び１１０Ｂに続いて表示された様子を示している。

この様に、ユーザの行動変化をトリガとして、環境情報またはユーザ情報に応じて決定された表示アイテムの表示順序に基づいて、表示制御部５０３２は、表示部における表示アイテムの有無を制御してもよい。これにより、ユーザの視界に与える影響を低減しつつ、表示アイテムの表示を制御することが可能となり、ユーザが快適にＡＲ重畳技術を体感することができる。

図６では、ユーザが歩いている状態から立ち止まる状態となる行動変化をトリガとして、表示制御部５０３２が表示制御を行ったが、かかる例に限定されない。他にも、トリガの種類としては、ユーザが歩く状態から走る状態となる行動変化をトリガとしてもよく、ユーザが立った状態から座った状態となる姿勢の変化をトリガとしてもよい。このように、ユーザのあらゆる行動変化をトリガとして検出することで、表示制御部５０３２は、ユーザの状況に応じた表示アイテムの表示制御を実現することができる。

また、図６では、表示アイテムが順番に表示される一例を示したが、ユーザが立ち止まっている状態から歩いている状態となるユーザの行動変化をトリガとする場合、表示アイテムは順番に消去されてもよい。ユーザが歩き出す際には、表示アイテムが表示されたままであると、ユーザの視界を遮ることがあるため、表示アイテムを消去することで、ユーザへの煩わしさを低減することができる。この際には図６にて順番に表示アイテムを表示させたように、順番に（例えば、図６の表示アイテムを表示させた順序とは逆の順序で）表示アイテムを消去することで、ユーザの視界に与える影響をより小さくすることができ、ユーザは表示アイテムの有無による視界の変化に適用しやすくなる。

[４．２．キャンセル動作による表示制御の解除]
図７では、トリガに基づいた表示制御中にキャンセル動作が検出される場合に関して説明する。図７は、ユーザが継続して歩いている状態を示し、ユーザ視界２０では、ユーザが歩いている際のユーザの視界を表している。ユーザ視界２０には、ユーザが歩く道路Ｘが存在する。ユーザ視界２０における表示空間２１０は、表示アイテムが表示され得る領域を表している。表示制御が開始されると、表示空間２１０に表示アイテムが表示され得る。ユーザ視界２０においては、まだ、表示制御は開始されておらず、表示空間２１０において表示アイテムは視認されない。

ユーザ視界２２では、ユーザが継続して歩いているものの、トリガ検出部５０２３が、ユーザが歩いている状態から立ち止まった状態に変化したと誤ってトリガ検出した様子を示している。ユーザ視界２２では、表示順序生成部５０３１により生成された表示順序に従って、表示アイテム２１０Ａが表示された様子を示している。続いて、ユーザ視界２４では、表示順序に従い、表示アイテム２１０Ｂが、表示アイテム２１０Ａの後に表示されている。しかしながら、ユーザは実際には立ち止まっておらず、トリガ検出は誤っているため、ユーザは、表示制御を解除するために、キャンセル動作のジェスチャＧ１を行う。ここでは、キャンセル動作のジェスチャＧ１として首ふりジェスチャを挙げたが、かかる例に限定されない。キャンセル動作は、音声であってもよい。

キャンセル動作のジェスチャＧ１を検出すると表示制御部５０３２は表示の制御を解除してもよい。ユーザ視界２６では、表示アイテムが表示されていない表示空間２１０Ｃを示している。この様に、キャンセル動作のジェスチャＧ１が行われた後は、その後以降に表示される表示アイテムの表示制御が中断されてもよい。また、表示アイテムの表示の中断だけではなく、表示制御が開始する前の状態に戻ってもよい。ユーザ視界２８は、表示制御部５０３２が表示の制御を開始する前の状態に戻ったユーザの視界を表している。この様に表示制御部５０３２が、表示制御を解除することにより、ユーザの視界を遮ることを防止することができる。

[４．３．ユーザの移動状態に応じた表示制御]
表示制御部５０３２は、ユーザの移動状態に応じて、表示アイテムの有無を制御してもよい。図８を参照して、ユーザの移動状態に応じた表示制御に関して説明を行う。図８では、ユーザが立ち止まった状態から、歩き始め、さらには走り始める様子を示している。まず、ユーザ視界３０は、ユーザが立ち止まっている状態の前を向いた視線の先の視界を示している。ユーザの視界３０ｂは、ユーザが立ち止まっている状態の足元の視界を示している。ユーザが立ち止まっている状態であれば、表示アイテムがユーザの視界を遮っても、ユーザの視界に与える影響は小さいため、表示アイテムは全てが表示されてもよい。ユーザ視界３０及び３０ｂでは、表示アイテムが全て表示されている状態を示しており、表示アイテム３１０Ａ〜３１０Ｄが表示されている。

ユーザ視界３２及び３２ｂは、ユーザの状態が立ち止まった状態から歩く状態に変化した際のユーザの視界を示している。ユーザが歩き出す際には、ユーザの足元には、表示アイテムは表示されない方がよいため、ユーザの足元の視界３２ｂでは、表示アイテム３１０Ａは、表示順序が低く、表示アイテム３１０Ａは最先に消去される。

ユーザ視界３４及び３４ｂでは、継続してユーザは歩いている。よって表示順序に従って、表示アイテム３１０Ａの次に、表示アイテム３１０Ｂが消去される。ユーザ視界３６では、ユーザは歩いている状態から、走っている状態となった様子を示している。ユーザが走る際には、移動速度が速いため、ユーザの視界では、表示アイテムがより表示されない方がユーザは快適に行動することができる。ユーザ視界３６では、ユーザが走り始めたことをトリガとして、表示アイテム３１０Ｃ及び３１０Ｄが視界から消去された様子を示している。この様に、ユーザの移動状態に応じて、表示制御部５０３２は、表示アイテムの有無を制御してもよい。

ここでは、ユーザが立ち止まった状態から走り始めるまでの移動状態に応じた表示制御の方法を説明した。具体的に、立ち止まった状態とは、ユーザの移動速度が１．５ｋｍ／ｈ以下であってもよく、歩いている状態とは３ｋｍ／ｈ以上であってもよく、走った状態は６ｋｍ／ｈ以上であってもよい。この様に、第１の閾値、第２の閾値、第３の閾値を設けることで、ユーザの移動状態をトリガ検出する際に用いて、ユーザの移動状態に対して、表示制御部５０３２は、細やかな表示制御を行ってもよい。ここでは、所定の閾値を３種類の閾値として設定したが、閾値設定の数は限られない。また、閾値の値は任意に設定することが可能である。

以上までで、表示アイテムの表示の有無の制御を行う一例を示した。

＜５．表示順序例＞
ここでは、表示アイテムの有無を制御する際の表示の有無の制御順序のバリエーションを説明する。表示アイテムの表示順序は、ユーザの視界に対する影響度に応じて、決定される。ユーザに対する影響度とは、表示アイテムの表示位置、表示アイテムの表示領域、およびユーザの視野範囲に基づいて計算が可能である。

例えば、表示アイテムの表示領域が同等の領域を有する表示アイテムがある場合、表示アイテムの表示位置がユーザに近くなる程、ユーザの視界に占める表示領域の割合が大きくなる。よって、ユーザの視界に対する影響度は大きくなる。一方で、表示アイテムの表示位置がユーザに近くても表示アイテムの表示領域がそもそも小さい場合は、ユーザは煩わしさを感じにくい。そのため、ユーザの視界に対する影響度は小さくなる。また、表示アイテムがユーザに近い位置にあっても、ユーザが遠くを見ている場合は、ユーザは煩わしさを感じにくい。このように、ユーザの視野範囲が表示アイテムの位置と異なる場合には、ユーザの視界に対する影響度は小さい。

上述のように、表示アイテムの表示位置、表示領域およびユーザの視野範囲により、ユーザの視界への影響度は変化し得る。よって、これらの観点からユーザへの影響度の計算を行い、表示アイテムの表示順序を決定する。ここからは、図９Ａ〜図９Ｅを参照して表示アイテムの表示順序の一例を説明する。

図９Ａは、表示アイテムの表示順序の一例を示した図である。図９Ａは、ユーザＵ１の手元におけるユーザ視界６０ａを示している。ユーザＵ１の手を始点として、表示アイテムがＱａ１、Ｑａ２、Ｑａ３、の順に表示されている。この時ユーザＵ１は、立ち止まっている状態である。ユーザの身体に近い表示アイテムほど、ユーザは、立ち止まった状態から歩き始める際に邪魔になりにくい。そのため、ユーザＵ１の身体に近い表示アイテムほどユーザの視界に対する影響は小さくなる。よって、ユーザＵ１が歩き始める際に、表示制御部５０３２は、表示アイテムＱａ１〜Ｑａ３の内、ユーザに遠い表示アイテムから順に表示アイテムＱａ３、Ｑａ２、Ｑａ１の順に表示アイテムを消去する制御を行っても良い。これにより、ユーザは煩わしさを感じることなく、ＡＲ重畳体験を行うことができる。

図９Ｂは、表示アイテムの表示順序の一例を示した図である。図９Ｂは、ユーザＵ１の足元におけるユーザ視界６０ｂを示している。ユーザＵ１の足元を始点として、表示アイテムがＱｂ３、Ｑｂ２、Ｑｂ１、の順に表示されている。この時ユーザＵ１は、立ち止まっている状態である。ユーザの足元に近い表示アイテムほど、ユーザが歩き出す際に煩わしさを感じやすい。よってこの場合では、ユーザが歩き始める際に、表示制御部５０３２は、表示アイテムＱｂ３〜Ｑｂ１の内、ユーザに近い表示アイテムＱｂ３から順に表示アイテムＱｂ３、Ｑｂ２、Ｑｂ１の順に表示アイテムを消去する制御を行っても良い。これにより、ユーザは煩わしさを感じることなく、ＡＲ重畳体験を行うことができる。

図９Ｃは、表示アイテムの表示順序の一例を示した図である。図９Ｃは、ユーザＵ１が前を向いて歩いている際のユーザ視界６０ｃを示している。ユーザ視界６０ｃには、ユーザＵ１が移動していく道路Ｘが示されている。ユーザＵ１は道路Ｘに沿って、移動する。ユーザＵ１の移動方向の直線に近い表示アイテムほど、ユーザＵ１に対して障害物となり得るため、ユーザＵ１は煩わしさを感じる。この際には、表示制御部５０３２は、ユーザＵ１を始点としてユーザＵ１の移動方向に向かう直線に近い表示アイテムＱｃ３から順に、表示アイテムＱｃ３、Ｑｃ２、Ｑｃ１の順に表示アイテムを消去する制御をしても良い。これにより、ユーザＵ１は煩わしさを感じることなく、ＡＲ重畳体験を行うことができる。

図９Ｄは、表示アイテムの表示順序の一例を示した図である。図９Ｄは、ユーザＵ１の視界を示している。ユーザＵ１は、ユーザ視界６０ｄに占める表示領域の割合が大きいほど、煩わしさを感じやすい。これにより、表示制御部５０３２は、表示アイテムの表示領域が大きい表示アイテムＱｄ３を最先に消去し、表示アイテムＱｄ２、Ｑｄ１の順に表示を消去する表示制御をおこなっても良い。

図９Ｅは、表示アイテムの表示順序の一例を示した図である。図９Ｅは、ユーザＵ１の視界を示している。ユーザ視界６０ｅには、障害物ＱｅＸが存在する。この時、障害物ＱｅＸに対して、表示アイテムの表示領域が占める割合が大きいほど、ユーザＵ１は、障害物を認識しづらく、煩わしさを感じやすい。これにより、表示制御部５０３２は、ユーザＵ１が歩き始める際に、表示アイテムの表示領域が、障害物ＱｅＸの領域と重なる領域が大きい表示アイテムほど先に表示アイテムを消去する表示制御を行っても良い。ここでは、ユーザＵ１が歩き出す際に、表示アイテムＱｅ３、Ｑｅ２、Ｑｅ１の順に表示アイテムを消去する制御を行ってもよい。

他には、表示順序の一例としては、ユーザＵ１に定位して配置される表示アイテムの方が、実空間に定位して配置される表示アイテムよりも表示順序が低くなる。ユーザＵ１に定位して配置されている表示アイテムとは、例えば、実空間の建物や道路等に対応して表示される表示アイテムではない表示アイテムを示し得る。

具体的には、ユーザＵ１に定位して配置されている表示アイテムとは、時刻などの表示を示す。一方で、実空間に定位して配置される表示アイテムとは、建物に関する表示アイテム等のことを示し得る。建物に定位する表示アイテムは、ユーザＵ１が建物をすでに認識している可能性が高いため、その建物に対応する表示アイテムが存在していてもユーザは表示アイテムで隠れる実空間の物体を予測しやすい。そのため、表示アイテムがもたらすユーザの視界への影響度は少ない。しかしながら、ユーザＵ１に定位した表示アイテムは、該表示アイテムに対応する実空間の物体が無いことが多い。この場合には、ユーザＵ１に定位した表示アイテムは実空間の物体を隠していることがあり、ユーザが実空間の物体を認識していない可能性がある。よって、ユーザＵ１が歩き始める際には、表示制御部５０３２は、ユーザの頭に定位する表示アイテムほど先に、消去してもよい。これによりユーザの視界に対する影響を少なく、表示アイテムの有無を制御することができる。

他には、表示順序の一例としては、風景の差分が大きい領域に存在する表示アイテムほど、表示順序が低いとしてもよい。風景の差分とは、表示アイテムが表示された領域における所定の時間内の画像変化量を表す。風景の差分が大きいと、該風景に新たな物体が存在している可能性が高く、ユーザはその新たな物体に対して認識が困難である可能性が高い。そのため、ユーザが歩き始める際には、風景の差分が大きい領域に存在する表示アイテムほど、先に消去されてもよい。これによりユーザの視界に対する影響を少なく、表示アイテムの有無を制御することができる。

ここまででは、表示アイテムの表示順序のバリエーションに関して説明をおこなった。このように表示順序は、表示アイテムの表示位置、表示アイテムの表示領域、およびユーザの視野範囲により決定され、ユーザの視界に与える影響がより少ない順序として生成されれば、いかなる順序でも良い。

＜６．変形例＞
上述した表示アイテムの制御例は、主にユーザＵ１が歩き始めたり立ち止まったりする場合に対して説明を行った。しかし、それらはかかる一例にすぎず、ユーザＵ１が乗車する場合にも本開示の技術は適用可能である。ここでは、ユーザＵ１が乗車した場合に適用される表示アイテムの制御例に関して説明を行う。

本開示の技術は、車のフロントガラスまたはリアガラスに使用されてもよい。本開示の技術は、車が徐々に速度を上げるような移動状態が連続的に変化するユーザの移動変化よりも、車が発進停止する際のような非連続的な移動変化に対して、より効果的である。

例えば、本開示の技術は、車が前発進する際のフロントガラスに適用され得る。車が前発進する際に、別の車が近づいていると、近づく車とは反対方向に表示アイテムの消去を制御する。この時、ユーザに対して、車が近づく方向を示唆することができ、表示アイテムの有無を制御する際に、より安全にユーザを誘導することができる。

他には、本開示の技術は、ユーザが乗る車が後発進する際のリアガラスに適用され得る。車が後発進する際は、前発進する際よりも、死角が多くなる。例えば、車のリアガラスに本開示の技術を適用すると、障害物と車との距離が近いほど、先に表示アイテムを消去することにより、ユーザは、障害物と車との距離を直観的に把握することができる。これにより、ユーザは衝突の危険を予知することが可能となる。

また、表示アイテムの調光度合いを変化させることにより、ユーザに直観的に衝突の危険を示唆してもよい。例えば、より障害物と車との距離が近い表示アイテムほど、表示アイテムの明るさを増加させてもよい。これにより、表示アイテムがより明るくなることで、ユーザの着目を得やすく、かつ表示内容が見えやすくなる。よってユーザは、より直観的に危険を予知することが可能となる。

以上のように、本開示の技術は、ユーザが停止、歩行するなどの際に用いられるだけでなく、車などで移動を始める際にも用いられてもよい。

＜７．ハードウェア構成例＞
最後に、図１０を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１０は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１０に示す情報処理装置９００は、例えば、図４に示した情報処理装置５０を実現し得る。本実施形態に係る情報処理装置５０による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図１０に示すように、情報処理装置９００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９０１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）９０２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）若しくはＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等の処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図４に示す検出部５０２及び制御部５０３の機能を実行し得る。

ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）ディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、出力装置９０７は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置を用いる場合は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、図４に示す表示装置５１の機能を実行し得る。

ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図４に示す記憶部５０４の機能を実行し得る。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）などによりデータ伝送可能な外部機器との接続口である。

通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（ＷｉｒｅｌｅｓｓＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（ＡｓｙｍｍｅｔｒｉｃＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図４に示すＩ／Ｆ部５０１の機能を実行し得る。

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ−ＶｉｒｔｕａｌＰｒｉｖａｔｅＮｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

また、情報処理装置５０に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭなどのハードウェアを上述した本実施形態に係る情報処理装置５０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記録媒体も提供される。

＜８．まとめ＞
以上、図１〜図１０を参照して、本開示の一実施形態について詳細に説明した。本実施形態に係る情報処理システム５は、ユーザの行動変化をトリガとして、環境情報またはユーザ情報に応じて決定された表示アイテムの表示順序に基づいて、表示部における前記表示アイテムの有無を制御する表示制御部、を備える。これにより、表示アイテムがユーザの視界に与える影響を低減し、ユーザが快適にＡＲ重畳技術を体験できる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの行動変化をトリガとして、環境情報またはユーザ情報に応じて決定された表示アイテムの表示順序に基づいて、表示部における前記表示アイテムの有無を制御する表示制御部、を備える、情報処理装置。
（２）
前記表示順序は、前記表示制御部により、時系列に前記表示アイテムの有無が制御される順序である、前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記表示順序に従って、異なるタイミングで前記表示アイテムを表示させる、または前記表示アイテムを消去する、前記（１）または（２）に記載の情報処理装置。
（４）
前記環境情報は、前記ユーザの周囲の環境の輝度情報、色情報、音情報、又はデプス情報の少なくとも１つ以上を含む、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記ユーザ情報は、前記ユーザの視線及び視野情報、姿勢情報、又は移動情報の少なくとも１つ以上を含む、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記表示制御部は、前記表示部の表示領域の内外に前記表示アイテムを移動させることで、前記表示アイテムの有無を制御する、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記表示制御部は、前記表示部の表示領域内で、前記表示アイテムをフェードイン及びフェードアウトすることで、前記表示アイテムの有無を制御する、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（８）
前記表示アイテムの表示順序は、前記ユーザの視界に対する影響度に応じて決定される、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記影響度は、前記表示アイテムの表示位置、前記表示アイテムが表示される表示領域、及び前記ユーザの視野範囲に基づいて決定される、前記（８）に記載の情報処理装置。
（１０）
前記表示アイテムの表示順序は、前記表示アイテムの表示領域が前記表示部の面積を占める占有割合が小さいほど高くなる、前記（９）に記載の情報処理装置。
（１１）
前記表示アイテムの表示順序は、前記表示アイテムの表示位置が、前記ユーザの身体に接近するほど高くなる、前記（９）に記載の情報処理装置。
（１２）
前記表示アイテムの表示順序は、前記表示アイテムの表示位置が、前記ユーザの足元に近くなるほど低くなる、前記（９）に記載の情報処理装置。
（１３）
前記表示アイテムの表示順序は、前記表示アイテムの表示位置が、前記ユーザを始点として前記ユーザの移動方向に向けた直線に近いほど低くなる、前記（９）に記載の情報処理装置。
（１４）
前記表示アイテムの表示順序は、前記表示アイテムの表示領域が、実空間に存在する障害物の領域と重なる割合が大きいほど低くなる、前記（９）に記載の情報処理装置。
（１５）
前記表示アイテムの表示順序では、前記ユーザに定位して配置される前記表示アイテムの方が、前記表示部を介した実空間に定位して配置される前記表示アイテムより低くなる、前記（８）に記載の情報処理装置。
（１６）
前記ユーザによるキャンセル動作を検知した場合、前記表示制御部は前記表示アイテムの制御を解除する、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記キャンセル動作は、ジェスチャ、又は音声の少なくともいずれかを含む、前記（１６）に記載の情報処理装置。
（１８）
前記表示制御部は、前記ユーザの移動状態に応じて、前記表示アイテムの有無を制御する、前記（１）または（５）に記載の情報処理装置。
（１９）
プロセッサが、
ユーザの行動変化をトリガとして、環境情報またはユーザ情報に応じて決定された表示アイテムの表示順序に基づいて、表示部における前記表示アイテムの有無を制御すること、を含む情報処理方法。
（２０）
コンピュータを、
ユーザの行動変化をトリガとして、環境情報またはユーザ情報に応じて決定された表示アイテムの表示順序に基づいて、表示部における前記表示アイテムの有無を制御する表示制御部、として機能させるためのプログラム。

５０情報処理装置
５１表示装置
５２センサ装置
５０２検出部
５０３制御部
５０２１ユーザ位置情報検出部
５０２２ユーザ動作情報検出部
５０２３トリガ検出部
５０２４環境情報取得部
５０３制御部
５０３１表示順序生成部
５０３２表示制御部

Claims

ユーザの行動変化をトリガとして、環境情報またはユーザ情報に応じて決定された表示アイテムの表示順序に基づいて、表示部における前記表示アイテムの有無を制御する表示制御部、を備える、情報処理装置。
前記表示順序は、前記表示制御部により、時系列に前記表示アイテムの有無が制御される順序である、請求項１に記載の情報処理装置。
前記表示制御部は、前記表示順序に従って、異なるタイミングで前記表示アイテムを表示させる、または前記表示アイテムを消去する、請求項２に記載の情報処理装置。
前記環境情報は、前記ユーザの周囲の環境の輝度情報、色情報、音情報、又はデプス情報の少なくとも１つ以上を含む、請求項１に記載の情報処理装置。
前記ユーザ情報は、前記ユーザの視線及び視野情報、姿勢情報、又は移動情報の少なくとも１つ以上を含む、請求項１に記載の情報処理装置。
前記表示制御部は、前記表示部の表示領域の内外に前記表示アイテムを移動させることで、前記表示アイテムの有無を制御する、請求項１に記載の情報処理装置。
前記表示制御部は、前記表示部の表示領域内で、前記表示アイテムをフェードイン及びフェードアウトすることで、前記表示アイテムの有無を制御する、請求項１に記載の情報処理装置。
前記表示アイテムの表示順序は、前記ユーザの視界に対する影響度に応じて決定される、請求項３に記載の情報処理装置。
前記影響度は、前記表示アイテムの表示位置、前記表示アイテムが表示される表示領域、及び前記ユーザの視野範囲に基づいて決定される、請求項８に記載の情報処理装置。
前記表示アイテムの表示順序は、前記表示アイテムの表示領域が前記表示部の面積を占める占有割合が小さいほど高くなる、請求項９に記載の情報処理装置。
前記表示アイテムの表示順序は、前記表示アイテムの表示位置が、前記ユーザの身体に接近するほど高くなる、請求項９に記載の情報処理装置。
前記表示アイテムの表示順序は、前記表示アイテムの表示位置が、前記ユーザの足元に近くなるほど低くなる、請求項９に記載の情報処理装置。
前記表示アイテムの表示順序は、前記表示アイテムの表示位置が、前記ユーザを始点として前記ユーザの移動方向に向けた直線に近いほど低くなる、請求項９に記載の情報処理装置。
前記表示アイテムの表示順序は、前記表示アイテムの表示領域が、実空間に存在する障害物の領域と重なる割合が大きいほど低くなる、請求項９に記載の情報処理装置。
前記表示アイテムの表示順序では、前記ユーザに定位して配置される前記表示アイテムの方が、前記表示部を介した実空間に定位して配置される前記表示アイテムより低くなる、請求項８に記載の情報処理装置。
前記ユーザによるキャンセル動作を検知した場合、前記表示制御部は前記表示アイテムの制御を解除する、請求項１に記載の情報処理装置。
前記キャンセル動作は、ジェスチャ、又は音声の少なくともいずれかを含む、請求項１６に記載の情報処理装置。
前記表示制御部は、前記ユーザの移動状態に応じて、前記表示アイテムの有無を制御する、請求項５に記載の情報処理装置。
プロセッサが、
ユーザの行動変化をトリガとして、環境情報またはユーザ情報に応じて決定された表示アイテムの表示順序に基づいて、表示部における前記表示アイテムの有無を制御すること、を含む情報処理方法。
コンピュータを、
ユーザの行動変化をトリガとして、環境情報またはユーザ情報に応じて決定された表示アイテムの表示順序に基づいて、表示部における前記表示アイテムの有無を制御する表示制御部、として機能させるためのプログラム。