JP2019152794A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】ユーザの視野領域における調光制御をより柔軟に行うことが可能となる。【解決手段】実物体からの入射光の量を制限する調光を行うことで、ユーザの視野領域において前記調光を行った調光領域と前記調光が前記調光領域よりも相対的に行われていない非調光領域を生成する調光制御部と、前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御する表示制御部と、を備え、情報処理装置が提供される。【選択図】図２

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

近年、情報処理技術に伴い、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）および拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）等の表示制御技術が様々な装置、システムまたはサービス等に用いられている。

例えば、以下の特許文献１には、ディスプレイが表示する外界の映像をユーザに視覚させる状態と、眼前の外界をユーザに直接視覚させる状態とを切り替える技術が開示されている。

特開２０１６−１９７８１６号公報

しかし、ユーザの視野領域における調光制御について依然として改善の余地がある。例えば、特許文献１に記載の技術では、視野領域の一部分に対する調光を行うことが十分に考慮されていない。

そこで、本開示は、上記に鑑みてなされたものであり、本開示は、ユーザの視野領域における調光制御をより柔軟に行うことが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供する。

本開示によれば、実物体からの入射光の量を制限する調光を行うことで、ユーザの視野領域において前記調光を行った調光領域と前記調光が前記調光領域よりも相対的に行われていない非調光領域を生成する調光制御部と、前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御する表示制御部と、を備え、情報処理装置が提供される。

また、本開示によれば、実物体からの入射光の量を制限する調光を行うことで、ユーザの視野領域において前記調光を行った調光領域と前記調光が前記調光領域よりも相対的に行われていない非調光領域を生成することと、前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御することと、を有し、前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御することと、を有する、コンピュータにより実行される情報処理方法が提供される。

また、本開示によれば、実物体からの入射光の量を制限する調光を行うことで、ユーザの視野領域において前記調光を行った調光領域と前記調光が前記調光領域よりも相対的に行われていない非調光領域を生成することと、前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御することと、前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御することと、をコンピュータに実現させるためのプログラムが提供される。

以上説明したように本開示によれば、ユーザの視野領域における調光制御をより柔軟に行うことが可能になる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本実施形態に係る情報処理装置の概要を説明する図である。 視野領域の一部に入射する光量の調節により実世界の物体の遮蔽を行うことができる原理を説明する図である。 ユーザの視野領域における実世界と仮想世界を徐々に切り替える一例を示す図である。 情報処理装置の機能構成の一例を示すブロック図である。 情報処理装置が実世界から仮想世界への切り替えを行う動作の一例を示すフローチャートである。 ＶＲ通話の使用イメージの一例を示す図である。 ＶＲ通話において、あるユーザの視野領域に進入した他のユーザの遮蔽を行う方法の一例を示す図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態の概要
２．装置の機能構成
３．装置の動作
４．ＶＲ通話アプリケーションへの適用
５．装置のハードウェア構成
６．むすび

＜１．本開示の一実施形態の概要＞
まず、本開示の一実施形態の概要について説明する。

図１は、本実施形態に係る情報処理装置１００の概要を説明する図である。図１に示すように、本実施形態に係る情報処理装置１００は、例えばユーザの頭部に装着されるヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）により実現されるが、これに限定されない。例えば、ヘッドマウントディスプレイは、メガネ型であってもよい。なお、情報処理装置１００は、ヘッドマウントディスプレイの表示を制御する少なくとも１つのプロセッサであってもよい。あるいは、ヘッドマウントディスプレイに内蔵された、プロセッサとＩＭＵ（Inertial Measurement Unit）を含むモジュールであってもよい。

情報処理装置１００には、装着時にユーザの視線方向、すなわち外方向を撮影する外向きカメラ１３１が設けられている。さらに、図１に図示しないが、情報処理装置１００には、装着時にユーザの眼を撮影する内向きカメラやマイクロホン（以降、「マイク」と呼称する）等の各種センサが設けられている。外向きカメラ１３１、および内向きカメラは、それぞれ複数設けられていてもよい。なお外向きカメラ１３１によりデプスマップ（距離画像）を得ることができ、周囲の環境をセンシングすることが可能である。

なお情報処理装置１００の形状は図１に示す例に限定されない。例えば情報処理装置１００は、ヘッドバンド型（頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある）のＨＭＤや、ヘルメットタイプ（ヘルメットのバイザー部分がディスプレイに相当する）のＨＭＤであってもよい。

本開示に係る情報処理装置１００は、ユーザの視野領域の一部に入射する光（入射光）の量を、例えば後述の調光素子を用いて調節することで、実世界の物体（実物体）の遮蔽を行う。そして、情報処理装置１００は、当該遮蔽を行った視野領域に任意の画像（第１の画像）が映るように表示制御を行う。以下、光量の調整を単に調光という場合がある。なお、本明細書において“遮蔽”とは、ユーザが実物体を視認することを、画像の表示以外によって妨げることと見做されてもよい。以下、“遮蔽を行う”ことを、単に“遮蔽する”という場合がある。ここで、一般的なＡＲ表示装置は、実物体に対して重畳的に情報を表示することはできるが、実物体の遮蔽は行うことができないため視野領域を部分的に仮想世界に切り替えることはできない。一方、情報処理装置１００は、上記の処理によって、視野領域を部分的に仮想世界に切り替えることができる。

ここで、図２を参照して、視野領域の一部の入射光の調光を行うことにより実世界の物体を遮蔽できる原理について説明する。図２に示すように、情報処理装置１００は、調光部１１０と、ＡＲ表示部１２０と、を備えており、観察対象物（実物体）からの光が、調光部１１０、ＡＲ表示部１２０、ユーザの眼球という順に入射するように各構成が配置されている。ここで、“実物体から入射する光”とは、実物体が自発的に発した光や、実物体により反射された外光を含む。すなわち、“実物体から入射する光”は、ユーザが実物体を認識するための光と見做されてよい。また、ＡＲ表示部１２０が本開示における表示装置の少なくとも一部を構成すると見做されてよい。以降で、各構成の概要について説明していく。

調光部１１０は、部分的に調光を制御することができる調光素子（以降、「部分調光素子」と呼称する）を備えており、ＡＲ表示部１２０および眼球に入射する光を調光可能な部材である。より具体的には、調光部１１０は、図２に示すように、観察対象物からの光が入射する面において部分調光素子を制御することで、調光される領域１０（以降、「調光領域１０」と呼称する）と調光されない領域１１（以降、「非調光領域１１」と呼称する）を生成することができる。なお、非調光領域１１は、調光領域１０よりも相対的に調光が行われていない領域として見做されてよい。すなわち、非調光領域１１は、所定量の入射光を不完全に透過させることで仮想物体の視認性が高められているとともに実空間が視認可能な領域も含み得る。なお、図２には、調光部１１０が格子状に配置された各領域の調光を制御できる場合を表しているが、これはあくまで一例であり、調光が制御される各領域の形状は任意である。

通常、観察対象物からの光が眼球に入射して網膜上に像を結ぶことで、ユーザは観察対象物を視認することができる。一方、本実施形態において、調光領域１０に入射した光は、図２に示すように調光領域１０を透過できず網膜上に像を結ぶことができないため（図２の点線部分参照）、ユーザは観察対象物を明瞭に視認することができない。図示していないが、仮に、観察対象物からの光が網膜に像を結ぶことが全くできないように調光領域１０が形成された場合、ユーザは観察対象物を全く視認することができなくなる。

なお、観察対象物が完全に遮蔽されていなくても、例えば、周囲が明るい場合には、虹彩の働きによって瞳孔が縮小（縮瞳）することで網膜上に像を結ぶ光が減少するため、調光部１１０は効果的に観察対象物を遮蔽することができる。また、周囲が暗い場合には、後述するＡＲ表示部１２０が周囲に比べて相対的に明るくなるため、やはり、調光部１１０は、効果的に観察対象物を遮蔽することができる。また、調光部１１０は、必要に応じて、視野領域を全体的に調光した上で、観察対象物からの光が入射する領域における調光の度合いをより強めることで観察対象物を効果的に遮蔽してもよい。また、ＡＲ表示部１２０および眼球に入射する光を調光することができるのであれば、調光部１１０の形状は任意である。

ＡＲ表示部１２０は、調光領域１０に対応する領域に任意の画像を映すことができるディスプレイである。例えば、ＡＲ表示部１２０は、調光領域１０に対応するディスプレイ領域に観察対象物とは全く異なる物体を表示することで、あたかも観察対象物が他の物体に置き換わったような印象をユーザに与えることができる。

また、情報処理装置１００は、ユーザの視野領域において調光領域１０から非調光領域１１にわたってユーザが認識する像が実質的に連続するよう、調光領域１０の画像の表示制御を行ってもよい。より具体的には、ＡＲ表示部１２０は、観察対象物と同一または類似の物体を表示することで、実世界が再現されたような印象をユーザに与えることができる。また、ＡＲ表示部１２０は、調光領域１０に対応するディスプレイ領域を、非調光領域１１に関する情報（非調光領域１１に対応するディスプレイ領域の輝度値等）に基づいて補間することで、あたかも観察対象物が存在しないような印象（換言すると、観察対象物が消えたような印象）をユーザに与えることができる。ここで、非調光領域１１に関する情報は、実物体の背景に関する情報を含むものと見做されてもよい。この場合、非調光時にユーザが観察対象物を認識するべき位置には、背景に対応する画像が表示される。この背景に対応する画像は、一般的な画像編集技術によって生成され補完画像であり得る。さらに、情報処理装置１００は、調光時に、ユーザから見て観察対象物の一部が非調光領域に存在する場合、前記調光領域に隣接する前記非調光領域に画像（第２の画像）を表示するようＡＲ表示部１２０を制御してもよい。言い換えれば、観察対象物が完全に遮蔽されていない場合、ＡＲ表示部１２０は、非調光領域１１に関する情報（非調光領域１１に対応するディスプレイ領域の輝度値等）に基づいて観察対象物の遮蔽を補助する画像を生成し、当該画像を調光領域１０に対応するディスプレイ領域に表示することもできる。上記はあくまで一例であり、ＡＲ表示部１２０の表示内容は適宜変更され得る。

以上で説明した調光部１１０およびＡＲ表示部１２０を制御することで、情報処理装置１００は、ユーザの視野領域における実世界と仮想世界の切り替えを徐々に、あるいは段階的に行うことができる。

ここで、図３を参照して、ユーザの視野領域における実世界と仮想世界の段階的な切り替えの一例について説明する。例えば、図３の３Ａでは、全視野領域において実世界が映っている。その後、情報処理装置１００が、徐々に実世界から仮想世界への切り替えを行うことで視野領域において実世界と仮想世界が混在した３Ｂの状態に遷移し、最終的に全視野領域において仮想世界が映っている３Ｃの状態に遷移する。すなわち、情報処理装置１００は、ユーザの視線の移動に応じて、調光領域１０の面積を徐々に増加させるとともに、調光領域１０における画像の面積を増加させるものと見做されてもよい。なお、情報処理装置１００は、上記とは逆に、仮想世界から実世界への段階的な切り替えを行ってもよい。このような処理によって、情報処理装置１００は、ユーザに違和感を与えることなく実世界と仮想世界を切り替えることができる。なお、図３には、ＡＲ表示部１２０が実世界の人および物体に対応する画像を表示する場合を一例として表したが、これに限定されない。

ここで、上記のような段階的な切り替えについての具体的な制御方法は任意である。例えば、情報処理装置１００は、ユーザの視線方向に基づいて段階的な切り替えを行ってもよい。より具体的には、情報処理装置１００は、装着時にユーザの眼を撮影する内向きカメラによってユーザの視線方向を推定することができる。そして、情報処理装置１００は、ユーザの視線が注がれていない領域、または、ユーザの視線が注がれた領域から一定以上離れた領域から順次実世界と仮想世界との切り替えを行ってもよい。これによって、情報処理装置１００は、実世界と仮想世界との切り替えをユーザに知覚させにくくすることができる。換言すると、情報処理装置１００は、いつの間にか実世界と仮想世界とが切り替わっているような印象をユーザに与えることができる。

また、情報処理装置１００は、デプスマップが作成された領域、または、デプスマップの尤度が高い領域から実世界と仮想世界の切り替えを行ってもよい。より具体的には、情報処理装置１００は、実世界と仮想世界との切り替えの際に外向きカメラ１３１の撮影画像に基づいて作成されたデプスマップを使用する。そして、情報処理装置１００は、デプスマップが作成された領域、または、一定値よりも高い尤度のデプスマップが作成された領域から切り替えを行ってもよい。これによって、全視野領域においてデプスマップもしくは高い尤度のデプスマップが作成されるまで待つことなく順次切り替えを行うことができる。上記の処理はあくまで一例であり、適宜変更され得る。

また、情報処理装置１００は、実世界と仮想世界とを切り替えるにあたり、座標変換処理、色変換処理または遅延補正処理を行うことで、ユーザに与える違和感をより軽減させることができる。

座標変換処理についてより具体的に説明すると、情報処理装置１００は、ＡＲ表示部１２０に画像を表示する際、外向きカメラ１３１の視点を原点とする座標系からユーザの視点を原点とする座標系への変換処理を行う。これによって、情報処理装置１００は、ユーザから見た実物体の位置、向きおよび大きさに対応するように仮想物体（画像）を表示することができる。このため、ユーザに与える違和感をより軽減させることができる。なお、情報処理装置１００は、仮想物体の表示制御に応じて、仮想物体が調光領域からはみ出さないように、ユーザから見た実物体の位置、向きおよび大きさに対応するように調光領域１０の位置、形状および大きさのうち少なくとも１つを変化させてもよい。これにより、情報処理装置１００は、実物体の遮蔽をより確実に行うことができる。

なお、座標変換処理の具体的方法は特に限定されない。例えば、ユーザが情報処理装置１００を装着した際、情報処理装置１００は、内向きカメラをはじめとする各種センサを用いて、外向きカメラ１３１と眼球との位置関係を把握することで座標変換処理を実現してもよい。また、外向きカメラ１３１の視野領域がユーザの視野領域の全てを包含することができない場合、情報処理装置１００は、その包含されない領域を周囲の輝度値に基づいて補間してもよい。また、情報処理装置１００の位置がずれた場合、情報処理装置１００は、再度、外向きカメラ１３１と眼球との位置関係を把握し直して座標変換処理に反映させてもよい。なお、一般的な自由視点技術が用いられる場合には、情報処理装置１００は、座標変換処理を行わなくてもよい。

色変換処理についてより具体的に説明すると、情報処理装置１００は、実物体の状態変化に応じた実物体の色彩の変化の予測に基づいて、調光が行われていない場合にユーザが知覚するべき実物体の色彩に対応する色彩を調光領域１０の表示画像に付する。これによって、情報処理装置１００は、ユーザに与える違和感をより軽減させることができる。色変換処理の具体的内容も特に限定されない。例えば、情報処理装置１００は、ユーザが知覚する色に関するパラメータ（明度、彩度、輝度、ホワイトバランス等）であればいずれの変換処理を行ってもよい。

遅延補正処理についてより具体的に説明すると、情報処理装置１００は、外向きカメラ１３１をはじめとする各種センサの出力に基づいて、実世界の人、物体または自装置を装着したユーザの状態を把握し、所定時間経過後におけるこれらの状態（位置、向き、形、動き、色彩等）を予測する。例えば、情報処理装置１００は、自装置に搭載されている外向きカメラ１３１、加速度センサまたはジャイロセンサの出力に基づいて自装置を装着したユーザの動きを予測する。

そして、情報処理装置１００は、当該予測に基づいて調光部１１０による調光およびＡＲ表示部１２０による表示を制御することで、実世界の人、物体またはユーザの状態が変化しても、これらの遮蔽および画像の表示を適切に行うことができる。例えば、これらが動いていても、調光領域１０が実物体からずれることなく、適切に実物体の遮蔽を行うことができる。なお、実世界の人、物体またはユーザの動きが激しい場合（例えば、これらの運動量が一定値以上となったとき）、情報処理装置１００は、一時的に、調光領域１０を拡大させることによって調光領域１０が実物体からずれることを防いでもよい。あるいは、情報処理装置１００は、実物体が第１の運動量を有する場合、実物体が第１の運動量よりも小さい第２の運動量を有する場合よりも、調光領域１０を大きくするものと見做されても良い。その際、ＡＲ表示部１２０は、一時的に拡大された調光領域１０に対応するディスプレイ領域を、その周囲の輝度値に基づいて補間することで、ユーザに与える違和感を軽減させることができる。

また、全視野領域（または一定面積よりも広い視野領域）が仮想世界に切り替わった場合、情報処理装置１００は、上記の変換処理または遅延補正処理を適宜省略してもよい。例えば、全視野領域が仮想世界に切り替わった場合、情報処理装置１００は、座標変換処理を省略し、外向きカメラ１３１の視点を原点とする座標系のままの画像を表示してもよい（「カメラスルー表示」とも呼称する）。全視野領域が仮想世界に切り替わった後には、ユーザは仮想物体と実物体との位置のずれを認識することができないため、カメラスルー表示に変更されても違和感を受けにくい。これによって、情報処理装置１００は、処理負荷を軽減させ、処理速度を向上させることができる。例えば、外向きカメラ１３１の視野領域がユーザの視野領域の全てを包含することができない場合、情報処理装置１００は、その包含されない領域を周囲の輝度値に基づいて補間等をすることになる。ここで、情報処理装置１００は、座標変換処理を省略することによって、当該補間等に要する処理の負荷を削減することができる。

また、ユーザに危険が及んでいると判断される場合（外向きカメラ１３１の撮影画像の解析によって、任意の物体（例えば、自動車等）がユーザに迫っていると判断される場合等）において、情報処理装置１００は、安全性確保のために実世界から仮想世界への切り替えを中止し調光を解除することで（または、調光の度合いを低減させることで）、ユーザが実世界を視認できるようにしてもよい。また、情報処理装置１００の位置がずれた場合においても、情報処理装置１００は、上記と同様に、ユーザが実世界を視認できるようにしてもよい。

また、本開示の技術は様々なアプリケーション（サービス）に適用され得る。本書では、本開示の技術がＶＲ通話アプリケーションに適用される場合を、「４．ＶＲ通話アプリケーションへの適用」にて説明する。なお、当該技術が適用されるアプリケーションは特に限定されない。

＜２．装置の機能構成＞
上記では、本実施形態の概要について説明した。続いて、図４を参照して、情報処理装置１００の機能構成について説明する。図４は、情報処理装置１００の機能構成の一例を示すブロック図である。

図４に示すように、情報処理装置１００は、調光部１１０と、ＡＲ表示部１２０と、センサ部１３０と、制御部１４０と、操作入力部１５０と、スピーカ１６０と、通信部１７０と、記憶部１８０と、を備える。

（調光部１１０）
調光部１１０は、部分調光素子を用いて部分的な調光を行う。ここで、部分調光素子に用いられる調光素子は、電圧の印加等の制御によって光の透過率を制御可能な部材である。一般的な調光素子は領域全体の透過率を一様に制御するが、例えば液晶ディスプレイと同様の構成にすることで任意のピクセルの透過率が制御され得る。調光部１１０は、この原理を用いる部分調光素子を備えることで、部分的な調光を可能にしている。なお、調光部１１０は、部分的な調光を行うだけでなく、領域全体を調光してもよい。また、調光部１１０は、網膜投射方式にて部分的な調光を実現してもよい。

また、調光部１１０は、特定の波長帯域の光または特定の偏光の透過を制御可能な部材（色フィルター、偏光フィルター等）をさらに備えることによって、特定の波長帯域の光や特定の偏光のみを遮蔽したり、ＡＲ表示部１２０を透過させたりしてもよい。例えば、調光部１１０は、実物体から入射する光について、ピクセル単位で特定の偏光を遮蔽することで、実物体の遮蔽をより厳密に行うことができる。ここで、“実物体から入射する光”とは、実物体が自発的に発した光や、実物体により反射された外光を含む、すなわち、“実物体から入射する光”は、ユーザが実物体を認識するための光と見做されてよい。

（ＡＲ表示部１２０）
ＡＲ表示部１２０は、調光部１１０と連携するようにディスプレイに画像を表示する。ＡＲ表示部１２０は、例えばホログラム光学技術を用いて表示を行うレンズ部、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic Light Emitting Diode）装置等により実現される。また、ＡＲ表示部１２０が透過型または半透過型の部材であることを想定して説明するが、これに限定されない。

（制御部１４０）
制御部１４０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。実世界と仮想世界との切り替え処理については、例えば、制御部１４０は、外向きカメラ１３１をはじめとするセンサ部１３０の出力に基づいてユーザの視野領域内の実物体を認識し、その認識結果、デプスマップの作成状況、ユーザの視線またはアプリケーションの内容等の様々な要素に基づいて実世界と仮想世界との切り替えを行う領域、タイミングまたはその内容を決定する。

また、制御部１４０は、ＶＲ通話アプリケーション（以降、「ＶＲ通話」と呼称する場合がある）に関する処理全般を制御する。ＶＲ通話の詳細については「４．ＶＲ通話アプリケーションへの適用」にて説明する。

また、本実施形態による制御部１４０は、図４に示すように、認識エンジン１４１と、調光制御部１４２と、表示制御部１４３と、を備える。

認識エンジン１４１は、センサ部１３０によりセンシングされた各種センサ情報を用いてユーザまたは周辺の各種状況を認識する機能を有する。より具体的には、認識エンジン１４１は、Ｄｅｐｔｈ認識エンジン１４１ａ、頭部姿勢認識エンジン１４１ｂ、ＳＬＡＭ（Simultaneous Localization and Mapping）認識エンジン１４１ｃ、視線認識エンジン１４１ｄ、音声認識エンジン１４１ｅ、位置認識エンジン１４１ｆおよび行動認識エンジン１４１ｇを含む。なお、図４に示すこれらの認識エンジンは一例であって、本実施形態はこれに限定されない。

Ｄｅｐｔｈ認識エンジン１４１ａは、センサ部１３０によりセンシングされた各種センサ情報を用いて、ユーザ周辺の空間におけるデプス情報を認識する。例えばＤｅｐｔｈ認識エンジン１４１ａは、外向きカメラ１３１により取得した周辺の撮像画像を解析して、周辺空間の物体の距離情報および物体の平面位置を認識し得る。なおＤｅｐｔｈ認識のアルゴリズムについては一般的に知られているアルゴリズムを用いてもよく、本実施形態では特に限定しない。

頭部姿勢認識エンジン１４１ｂは、センサ部１３０によりセンシングされた各種センサ情報を用いて、ユーザの頭部の姿勢（身体に対する顔の向きまたは傾きを含む）を認識する。例えば頭部姿勢認識エンジン１４１ｂは、外向きカメラ１３１により撮像された周辺の撮像画像、ジャイロセンサ１３４により取得されたジャイロ情報、加速度センサ１３５により取得された加速度情報、および方位センサ１３６により取得された方位情報の少なくともいずれかを解析して、ユーザの頭部の姿勢を認識し得る。なお頭部姿勢の認識アルゴリズムは一般的に知られているアルゴリズムを用いてもよく、本実施形態では特に限定しない。

ＳＬＡＭ認識エンジン１４１ｃは、センサ部１３０によりセンシングされた各種センサ情報を用いて、自己位置の推定と周辺空間の地図作成を同時に行い、周辺空間内における自身の位置を同定し得る。例えばＳＬＡＭ認識エンジン１４１ｃは、外向きカメラ１３１により取得した周辺の撮像画像を解析して、情報処理装置１００の自己位置を同定し得る。なおＳＬＡＭ認識のアルゴリズムについては一般的に知られているアルゴリズムを用いてもよく、本実施形態では特に限定しない。

なお認識エンジン１４１は、上述したＤｅｐｔｈ認識エンジン１４１ａの認識結果およびＳＬＡＭ認識エンジン１４１ｃの認識結果に基づいて、空間認識（空間把握）を行うことが可能である。具体的には、認識エンジン１４１は、周辺３次元空間における情報処理装置１００の位置を認識することができる。

視線認識エンジン１４１ｄは、センサ部１３０によりセンシングされた各種センサ情報を用いて、ユーザの視線検出を行う。例えば視線認識エンジン１４１ｄは、内向きカメラ１３２により取得したユーザの眼の撮像画像を解析して、ユーザの視線方向を認識する。なお視線検出のアルゴリズムについては特に限定しないが、例えば目頭と虹彩の位置関係、または角膜反射（プルキニエ像等）と瞳孔の位置関係に基づいて、ユーザの視線方向を認識し得る。また、視線認識エンジン１４１ｄは、のヘッドマウントディスプレイである情報処理装置１００の正面を視線方向とみなしてもよい。

音声認識エンジン１４１ｅは、センサ部１３０によりセンシングされた各種センサ情報を用いて、ユーザまたは環境音の認識を行う。例えば音声認識エンジン１４１ｅは、マイク１３３により取得した収音情報に対してノイズ除去や音源分離等を行い、音声認識、形態素解析、音源認識、または騒音レベルの認識等を行い得る。

位置認識エンジン１４１ｆは、センサ部１３０によりセンシングされた各種センサ情報を用いて、情報処理装置１００の絶対位置を認識する。例えば位置認識エンジン１４１ｆは、測位部１３７により測位された位置情報、および予め取得した地図情報に基づいて、情報処理装置１００の場所（例えば駅、学校、家、会社、電車、テーマパーク等）を認識する。

行動認識エンジン１４１ｇは、センサ部１３０によりセンシングされた各種センサ情報を用いて、ユーザの行動を認識する。例えば行動認識エンジン１４１ｇは、外向きカメラ１３１の撮像画像、マイク１３３の収音音声、ジャイロセンサ１３４の角速度情報、加速度センサ１３５の加速度情報、方位センサ１３６の方位情報、および測位部１３７の絶対位置情報の少なくともいずれかを用いて、ユーザの行動状況（活動状態の一例）を認識する。ユーザの行動状況としては、例えば静止状態、歩行状態（ゆっくり歩行、ジョグ）、走行状態（ダッシュ、高速走行）、座っている状態、立っている状態、寝ている状態、自転車に乗っている状態、電車に乗っている状態、自動車に乗っている状態が認識し得る。また、行動認識エンジン１４１ｇは、より具体的には、角速度情報および加速度情報に基づいて測定される活動量に応じて状態状況を認識してもよい。なお本実施形態による上記各種センサ情報は、ユーザの活動状態に関する情報の一例と言える。

調光制御部１４２は、調光部１１０による調光処理を制御する。より具体的には、調光制御部１４２は、制御部１４０によって決定された実世界と仮想世界との切り替えの内容に基づいて調光部１１０に対して制御信号を提供することで調光部１１０による調光処理を制御する。これによって、調光制御部１４２は、調光部１１０の調光を部分的に制御することができ、調光領域１０と非調光領域１１を生成することができる。

表示制御部１４３は、ＡＲ表示部１２０による表示処理を制御する。より具体的には、表示制御部１４３は、制御部１４０によって決定された実世界と仮想世界との切り替えの内容に基づいてＡＲ表示部１２０に対して制御信号を提供することでＡＲ表示部１２０による表示処理を制御する。ここで、表示制御部１４３は、調光制御部１４２による調光制御と連携することによって調光領域１０に対応するディスプレイ領域に画像を表示させることができる。なお、上記のとおり、調光領域１０に対応するディスプレイ領域付近に補間的な画像を表示させることで、実物体の遮蔽を補助してもよい。

（センサ部１３０）
センサ部１３０は、ユーザまたは周辺環境に関する各種情報を取得する機能を有する。例えばセンサ部１３０は、外向きカメラ１３１、内向きカメラ１３２、マイク１３３、ジャイロセンサ１３４、加速度センサ１３５、方位センサ１３６、および測位部１３７を含む。なおここで挙げるセンサ部１３０の具体例は一例であって、本実施形態はこれに限定されない。また、各センサは複数あってもよい。

外向きカメラ１３１および内向きカメラ１３２は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。

マイク１３３は、ユーザの音声や周囲の環境音を収音し、音声データとして制御部１４０に出力する。

ジャイロセンサ１３４は、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する。

加速度センサ１３５は、例えば３軸加速度センサ（Ｇセンサとも称す）により実現され、移動時の加速度を検出する。

方位センサ１３６は、例えば３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検出する。

測位部１３７は、外部からの取得信号に基づいて情報処理装置１００の現在位置を検知する機能を有する。具体的には、例えば測位部１３７は、ＧＰＳ（Global Positioning System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、情報処理装置１００が存在している位置を検知し、検知した位置情報を制御部１４０に出力する。また、測位部１３７は、ＧＰＳの他、例えばＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。

（操作入力部１５０）
操作入力部１５０は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。

（スピーカ１６０）
スピーカ１６０は、制御部１４０の制御に従って、音声信号を再生する。

（通信部１７０）
通信部１７０は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１７０は、例えば有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。

（記憶部１８０）
記憶部１８０は、上述した制御部１４０が各機能を実行するためのプログラム、パラメータまたは画像データ等を格納する。例えば記憶部１８０には、ＡＲ表示部１２０が表示する人や物体に関する画像データ等が記憶されている。

以上、本実施形態に係る情報処理装置１００の構成について具体的に説明したが、本実施形態による情報処理装置１００の構成は図４に示す例に限定されない。例えば情報処理装置１００の制御部１４０の少なくとも一部の処理が、通信部１７０を介して接続するクラウド上のサーバで行われるようにしてもよい。

＜３．装置の動作＞
続いて、図５を参照して、情報処理装置１００の動作について説明する。図５は、情報処理装置１００が実世界から仮想世界への切り替えを行う動作の一例を示すフローチャートである。

切り替えにあたり、まず、制御部１４０が、外向きカメラ１３１をはじめとするセンサ部１３０の出力に基づいてユーザの視野領域内の実物体を認識し、その認識結果、デプスマップの作成状況、ユーザの視線、アプリケーションの内容等の様々な要素に基づいて実世界から仮想世界への切り替えを行う領域、タイミングまたはその内容を決定する。その後、ステップＳ１０００では、表示制御部１４３が、この決定に基づいて制御信号をＡＲ表示部１２０に提供する。ステップＳ１００４では、ＡＲ表示部１２０が制御信号に基づいて情報処理装置１００を装着しているユーザの視点にて、ディスプレイに表示させる画像のレンダリング処理を行う。

ステップＳ１００８では、ＡＲ表示部１２０がレンダリング後の仮想物体をディスプレイに表示する。ステップＳ１０１２では、調光制御部１４２が制御信号を調光部１１０に提供することで、ステップＳ１０１６にて、ＡＲ表示部１２０による仮想物体の表示と連携するように、調光部１１０が視野領域を部分的に調光し実物体を徐々に遮蔽していく。そして、ステップＳ１０２０にて、全視野領域（または一定面積よりも広い視野領域）の遮蔽が完了した場合、ステップＳ１０２４にて、表示制御部１４３が、ユーザ視点からカメラスルー表示に切り替えるための制御信号をＡＲ表示部１２０に提供する。この制御信号を受信したＡＲ表示部１２０は、ステップＳ１０２８にて、ユーザ視点に変換されていた表示をカメラスルー表示に切り替える（換言すると、座標変換等の各種変換処理を省略する）。

上記のフローチャートはあくまで一例であり、適宜変更され得る。例えば、ステップＳ１０２４およびステップＳ１０２８にて実現するカメラスルー表示への切り替え処理は実施されなくてもよい。また、各ステップの動作が適宜入れ替えられたり、並列的に行われたりしてもよい。

＜４．ＶＲ通話アプリケーションへの適用＞
上記では、情報処理装置１００の動作について説明した。続いて、本開示をＶＲ通話アプリケーションへ適用した場合の一例について説明する。ここで、ＶＲ通話とは、複数のユーザが互いに音声と映像を送信し合うことで双方向のコミュニケーションを実現するアプリケーションを指す。

本開示が適用されたＶＲ通話においては、ユーザは、通話相手が遠隔（直接会話ができない程度の離隔距離を想定）にいる場合には、ＡＲ表示部１２０に通話相手のアバターが表示された状態で、アプリケーションを介して通話を行う。これによって、ＶＲ通話は、あたかも通話相手と直接会話をしているような感覚をユーザに与えることができる。そして、遠隔に位置していた通話相手がユーザに近づいた場合（直接会話ができる程度の離隔距離を想定）、情報処理装置１００は、ユーザがアバターではなく実物の通話相手を視認できるように調光部１１０およびＡＲ表示部１２０を制御し、通話機能を停止しユーザ同士を直接会話させる。これによって、ＶＲ通話は、ユーザ同士がＶＲ通話を介して通話する状態から、直接会話する状態への移行を円滑に行うことができる。

なお、アバターは、通話相手の外見を再現する３Ｄモデルであることを想定して説明するが、これに限定されない。例えば、アバターは、通話相手の属性（性別、年齢、国籍等）と類似の属性を有する架空のキャラクターであってもよい。また、アバターは、通話相手の表情の撮影画像が所定の方法で取得され、この撮影画像に基づいて通話相手の表情が顔部分に再現されたものであってもよい。

また、アバターは、ユーザと対面するように位置してもよいし、ユーザと並ぶように位置してもよい（すなわち、アバターの横顔がユーザによって見られてもよい）。なお、ＡＲ表示部１２０がアバターを表示する際には、センサ部１３０によって取得された各種センシングデータに基づいて実世界との矛盾が発生しないようにアバターに対して各種加工を行う。例えば、情報処理装置１００は、外向きカメラ１３１の撮影画像を解析することで外光の強度または照射方向を把握し、アバターが外光に照らされているようにアバターの表面に加工を施してもよい。

ここで、図６を参照して、ＶＲ通話の使用イメージの一例について説明する。例えば、ユーザＡとユーザＢがＶＲ通話を用いて互いに通話をしながら待ち合わせをする場面を想定する（図６は、ユーザＡの視野領域を表している）。

ユーザＢが遠隔に位置する場合には、６Ａのように、ユーザＢのアバターがユーザＡに対面するように表示される。これによって、情報処理装置１００は、ユーザＡに対してユーザＢと直接会話をしているような感覚を与えることができる。このとき、ユーザＢがユーザＡの視野領域に進入しても、調光部１１０およびＡＲ表示部１２０が連携することによってユーザＡには見えないようにユーザＢが遮蔽されている。

その後、ユーザＢが到着し、６Ｂのように、ユーザＢがアバターと重畳するように位置すると、情報処理装置１００は、６Ｃのように、アバターではなくユーザＢがユーザＡに視認されるように調光部１１０およびＡＲ表示部１２０を制御する。６Ｃのように、ユーザＡとユーザＢが直接会話できる位置関係に立った場合には、情報処理装置１００は、通話機能を停止しユーザ同士を直接会話させる。

これによって、情報処理装置１００は、ユーザＡとユーザＢがＶＲ通話を介して通話する状態から、直接会話する状態への移行を円滑に行うことができる。すなわち、情報処理装置１００は、いつの間にか、会話の相手がアバターから実世界のユーザＢに入れ替わっているような感覚をユーザＡに対して与えることができる。なお、情報処理装置１００は、上記とは逆に、ユーザＡとユーザＢが直接会話する状態から、ＶＲ通話を介して通話する状態へ移行させてもよい。

続いて、図７を参照して、ユーザＡに対して遠隔に位置していたユーザＢがユーザＡの視野領域に進入した場合に、ユーザＢを遮蔽する方法の一例について説明する。

図７に示すように、ユーザＡの視野角と、外向きカメラ１３１の画角が異なっており、外向きカメラ１３１の画角の方がユーザＡの視野角よりも大きいとする。このとき、状態１のように、ユーザＢがユーザＡの視野角外かつ外向きカメラ１３１の画角内に進入した場合、情報処理装置１００は、外向きカメラ１３１の撮影画像を解析することによってユーザＢを認識する。そして、情報処理装置１００は、状態２のように、ユーザＢがユーザＡの視野角内に進入する場合には、調光部１１０およびＡＲ表示部１２０を制御することで、ユーザＢをユーザＡに見えないように遮蔽する。

そして、実世界のユーザＢがアバターと重畳するように位置すると、情報処理装置１００は、アバターではなく実世界のユーザＢがユーザＡに視認されるように調光部１１０およびＡＲ表示部１２０を制御する。

これによって、情報処理装置１００は、アバターと実世界のユーザＢがユーザＡによって同時に視認されることを防ぐことができるため、ユーザＡに与える違和感を軽減させることができる。

＜５．装置のハードウェア構成＞
上記では、本開示をＶＲ通話へ適用した場合の一例について説明した。続いて、情報処理装置１００のハードウェア構成について説明する。上述した部分的な調光処理等は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図８は、情報処理装置１００のハードウェア構成の一例を示すブロック図である。情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、を備える。また、情報処理装置１００は、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置（ＨＤＤ）９１０と、ドライブ９１１と、通信装置９１２とを備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４により相互に接続されている。当該ＣＰＵ９０１、ＲＯＭ９０２およびＲＡＭ９０３の協働により、制御部１４０の機能が実現される。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段や、外向きカメラ１３１等の各種センサがセンシングデータを入力するための入力手段として機能し、入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。ユーザは、入力装置９０８を操作することにより、各装置に対して各種のデータを入力したり処理動作を指示したりすることができる。当該入力装置９０８により、センサ部１３０または操作入力部１５０の機能が実現される。

出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、出力装置９０９は、部分的に調光を制御することができる部分調光素子を含む。さらに、出力装置９０９は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置９０９は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をイメージまたはテキストで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。当該出力装置９０９により、調光部１１０、ＡＲ表示部１２０またはスピーカ１６０の機能が実現される。

ストレージ装置９１０は、記憶部１８０の一例として構成されたデータ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

ドライブ９１１は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ９１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体９１３に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９１１は、リムーバブル記憶媒体９１３に情報を書き込むこともできる。

通信装置９１２は、例えば、通信網９１４に接続するための通信デバイス等で構成された通信インタフェースである。当該通信装置９１２により、通信部１７０の機能が実現される。

＜６．むすび＞
以上で説明してきたように、本開示に係る情報処理装置１００は、ユーザの視野領域の一部に入射する光を調光することで実世界の物体を遮蔽し、当該遮蔽された視野領域に任意の画像が映るように表示制御を行う。これによって、情報処理装置１００は、ユーザの視野領域において、実世界と仮想世界を部分的に切り替えることができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実物体からの入射光の量を制限する調光を行うことで、ユーザの視野領域において前記調光を行った調光領域と前記調光が前記調光領域よりも相対的に行われていない非調光領域を生成する調光制御部と、
前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御する表示制御部と、を備え、
情報処理装置。
（２）
前記調光制御部は、前記ユーザが前記実物体を視認することを妨げるように前記調光領域を生成する、
前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記視野領域において前記調光領域から前記非調光領域にわたって前記ユーザが認識する像が実質的に連続するよう前記第１の画像の表示制御を行う、
前記（２）に記載の情報処理装置。
（４）
前記第１の画像は、前記実物体に対応する画像を含み、
前記表示制御部は、前記ユーザに認識される前記実物体の像が実質的に連続するように前記実物体に対応する画像を表示するよう前記表示装置を制御する、
前記（３）に記載の情報処理装置。
（５）
前記第１の画像は、前記実物体の背景に対応する画像を含み、
前記表示制御部は、前記ユーザに認識される前記背景の像が実質的に連続するように前記背景に対応する画像を表示するよう前記表示装置を制御する、
前記（３）から（４）のいずれか１項に記載の情報処理装置。
（６）
前記表示制御部は、前記ユーザから見て前記実物体の一部が前記非調光領域に存在する場合、前記調光領域に隣接する前記非調光領域に第２の画像を表示するよう前記表示装置を制御する、
前記（３）から（５）のいずれか１項に記載の情報処理装置。
（７）
前記表示制御部は、前記ユーザの視点を原点とする座標系に基づいて、前記ユーザから見た前記実物体の位置、向き、および大きさの変化に応じた変換処理が施された前記第１の画像を表示するよう前記表示装置を制御する、
前記（３）から（６）のいずれか１項に記載の情報処理装置。
（８）
前記調光制御部は、前記変換処理が施された前記第１の画像の表示制御に応じて、前記第１の画像が前記調光領域からはみ出さないように、前記ユーザから見た前記実物体の位置、向き、および大きさに対応するように前記調光領域の位置、形状、大きさを変化させる、
前記（７）に記載の情報処理装置。
（９）
前記表示制御部は、前記調光領域が所定の面積より大きい場合に、前記変換処理を省略する、
前記（７）または（８）に記載の情報処理装置。
（１０）
前記表示制御部は、前記実物体の状態変化に応じた前記実物体の色彩の変化の予測に基づいて、前記調光が行われていない場合に前記ユーザが知覚するべき前記実物体の色彩に対応する色彩を有する前記第１の画像を表示するよう前記表示装置を制御する、
前記（２）から（９）のいずれか１項に記載の情報処理装置。
（１１）
前記調光制御部は、前記実物体が第１の運動量を有する場合、前記実物体が前記第１の運動量よりも小さい第２の運動量を有する場合よりも、前記調光領域を大きくする、
前記（１０）に記載の情報処理装置。
（１２）
前記調光制御部は、前記調光領域の面積の増減を徐々に行う、
前記（１）から（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記調光制御部は、前記ユーザの視線が注がれていない領域、または、前記視線が注がれた領域から一定以上離れた領域から前記調光を行う、
前記（１２）に記載の情報処理装置。
（１４）
前記調光制御部は、デプスマップが作成された領域、または、前記デプスマップの尤度が一定値以上である領域から前記調光を行う、
前記（１２）に記載の情報処理装置。
（１５）
前記調光制御部は、前記ユーザの視線の移動に応じて、前記調光領域の面積を徐々に増加させるとともに、前記第１の画像の面積を増加させる、
前記（１２）から（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記調光制御部は、前記調光において、特定の波長帯域の光または特定の偏光が前記表示装置を透過すること制限する、
前記（１）から（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記表示装置は、ヘッドマウントディスプレイである、
前記（１）から（１６）のいずれか１項に記載の情報処理装置。
（１８）
前記表示制御部および前記調光制御部は、少なくとも１つのプロセッサを構成し、
前記情報処理装置は、前記ヘッドマウントディスプレイを更に備える、
前記（１７）に記載の情報処理装置。
（１９）
実物体からの入射光の量を制限する調光を行うことで、ユーザの視野領域において前記調光を行った調光領域と前記調光が前記調光領域よりも相対的に行われていない非調光領域を生成することと、
前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御することと、を有し、
前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御することと、を有する、
コンピュータにより実行される情報処理方法。
（２０）
実物体からの入射光の量を制限する調光を行うことで、ユーザの視野領域において前記調光を行った調光領域と前記調光が前記調光領域よりも相対的に行われていない非調光領域を生成することと、
前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御することと、
前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御することと、
をコンピュータに実現させるためのプログラム。

１００ 情報処理装置
１１０ 調光部
１２０ ＡＲ表示部
１３０ センサ部
１３１ 外向きカメラ
１３２ 内向きカメラ
１３３ マイク
１３４ ジャイロセンサ
１３５ 加速度センサ
１３６ 方位センサ
１３７ 測位部
１４０ 制御部
１４１ 認識エンジン
１４１ａ Ｄｅｐｔｈ認識エンジン
１４１ｂ 頭部姿勢認識エンジン
１４１ｃ ＳＬＡＭ認識エンジン
１４１ｄ 視線認識エンジン
１４１ｅ 音声認識エンジン
１４１ｆ 位置認識エンジン
１４１ｇ 行動認識エンジン
１４２ 調光制御部
１４３ 表示制御部
１５０ 操作入力部
１６０ スピーカ
１７０ 通信部
１８０ 記憶部

Claims (20)

1. 実物体からの入射光の量を制限する調光を行うことで、ユーザの視野領域において前記調光を行った調光領域と前記調光が前記調光領域よりも相対的に行われていない非調光領域を生成する調光制御部と、
   前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御する表示制御部と、を備え、
   情報処理装置。
2. 前記調光制御部は、前記ユーザが前記実物体を視認することを妨げるように前記調光領域を生成する、
   請求項１に記載の情報処理装置。
3. 前記表示制御部は、前記視野領域において前記調光領域から前記非調光領域にわたって前記ユーザが認識する像が実質的に連続するよう前記第１の画像の表示制御を行う、
   請求項２に記載の情報処理装置。
4. 前記第１の画像は、前記実物体に対応する画像を含み、
   前記表示制御部は、前記ユーザに認識される前記実物体の像が実質的に連続するように前記実物体に対応する画像を表示するよう前記表示装置を制御する、
   請求項３に記載の情報処理装置。
5. 前記第１の画像は、前記実物体の背景に対応する画像を含み、
   前記表示制御部は、前記ユーザに認識される前記背景の像が実質的に連続するように前記背景に対応する画像を表示するよう前記表示装置を制御する、
   請求項３に記載の情報処理装置。
6. 前記表示制御部は、前記ユーザから見て前記実物体の一部が前記非調光領域に存在する場合、前記調光領域に隣接する前記非調光領域に第２の画像を表示するよう前記表示装置を制御する、
   請求項３に記載の情報処理装置。
7. 前記表示制御部は、前記ユーザの視点を原点とする座標系に基づいて、前記ユーザから見た前記実物体の位置、向き、および大きさの変化に応じた変換処理が施された前記第１の画像を表示するよう前記表示装置を制御する、
   請求項３に記載の情報処理装置。
8. 前記調光制御部は、前記変換処理が施された前記第１の画像の表示制御に応じて、前記第１の画像が前記調光領域からはみ出さないように、前記ユーザから見た前記実物体の位置、向き、および大きさに対応するように前記調光領域の位置、形状、大きさを変化させる、
   請求項７に記載の情報処理装置。
9. 前記表示制御部は、前記調光領域が所定の面積より大きい場合に、前記変換処理を省略する、
   請求項７に記載の情報処理装置。
10. 前記表示制御部は、前記実物体の状態変化に応じた前記実物体の色彩の変化の予測に基づいて、前記調光が行われていない場合に前記ユーザが知覚するべき前記実物体の色彩に対応する色彩を有する前記第１の画像を表示するよう前記表示装置を制御する、
    請求項２に記載の情報処理装置。
11. 前記調光制御部は、前記実物体が第１の運動量を有する場合、前記実物体が前記第１の運動量よりも小さい第２の運動量を有する場合よりも、前記調光領域を大きくする、
    請求項２に記載の情報処理装置。
12. 前記調光制御部は、前記調光領域の面積の増減を徐々に行う、
    請求項１に記載の情報処理装置。
13. 前記調光制御部は、前記ユーザの視線が注がれていない領域、または、前記視線が注がれた領域から一定以上離れた領域から前記調光を行う、
    請求項１２に記載の情報処理装置。
14. 前記調光制御部は、デプスマップが作成された領域、または、前記デプスマップの尤度が一定値以上である領域から前記調光を行う、
    請求項１２に記載の情報処理装置。
15. 前記調光制御部は、前記ユーザの視線の移動に応じて、前記調光領域の面積を徐々に増加させるとともに、前記第１の画像の面積を増加させる、
    請求項１２に記載の情報処理装置。
16. 前記調光制御部は、前記調光において、特定の波長帯域の光または特定の偏光が前記表示装置を透過すること制限する、
    請求項１に記載の情報処理装置。
17. 前記表示装置は、ヘッドマウントディスプレイである、
    請求項１に記載の情報処理装置。
18. 前記表示制御部および前記調光制御部は、少なくとも１つのプロセッサを構成し、
    前記情報処理装置は、前記ヘッドマウントディスプレイを更に備える、
    請求項１７に記載の情報処理装置。
19. 実物体からの入射光の量を制限する調光を行うことで、ユーザの視野領域において前記調光を行った調光領域と前記調光が前記調光領域よりも相対的に行われていない非調光領域を生成することと、
    前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御することと、を有し、
    前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御することと、を有する、
    コンピュータにより実行される情報処理方法。
20. 実物体からの入射光の量を制限する調光を行うことで、ユーザの視野領域において前記調光を行った調光領域と前記調光が前記調光領域よりも相対的に行われていない非調光領域を生成することと、
    前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御することと、
    前記ユーザから見て前記調光領域に第１の画像を表示するよう表示装置を制御することと、
    をコンピュータに実現させるためのプログラム。
    

Images