JP2015114757A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】ＡＲによる重畳表示において視認性が損なわれるのを防止すること。
【解決手段】情報処理装置は、撮像部と、制御部と、出力部とを有する。上記制御部は、上記撮像部により撮像された画像からコンテンツの重畳表示候補となる候補領域を検出し、上記候補領域のうち、輝度分布の起伏変化が閾値以下の領域を重畳表示領域として検出し、ユーザに上記重畳表示領域上で仮想的に視認されるように配置される上記コンテンツを生成するように構成される。上記出力部は、上記生成されたコンテンツを上記重畳表示領域に重畳させて出力するように構成される。
【選択図】図３

Description

本技術は、入力画像上にコンテンツを重畳表示することが可能な情報処理装置、当該情報処理装置における情報処理方法及びプログラムに関する。

近年、現実空間と仮想空間とを融合した環境である複合現実感（MR: Mixed Reality）に関する研究が盛んに行われており、その中でも、現実空間に仮想空間のコンテンツを重畳表示することで現実の感覚を増強するＡＲ（Augmented Reality）が注目されている。

上記ＡＲは、例えばスマートフォンや、ＨＭＤ（Head Mount Display）、シースルー眼鏡型等のウェアラブル機器等において既に実現されている。例えば、下記特許文献１には、遺跡の中を歩き回る見学者が所持する携帯型端末装置において、カメラで撮影された遺跡の実写画像に、遺跡の中の展示物に関する情報を重畳させて表示する技術が開示されている。

特開２０１１−２５２８７９号公報

しかしながら、上記特許文献１のような従来技術においては、カメラに写っている画像上の、例えば仮想コンテンツの重畳表示領域のテクスチャ成分が強い場合等には、当該仮想コンテンツの視認性が損なわれるという問題があった。

以上のような事情に鑑み、本技術の目的は、ＡＲによる重畳表示において視認性が損なわれるのを防止することが可能な情報処理装置、情報処理方法及びプログラムを提供することにある。

上述の課題を解決するため、本技術の一形態に係る情報処理装置は、撮像部と、制御部と、出力部とを有する。上記制御部は、上記撮像部により撮像された画像からコンテンツの重畳表示候補となる候補領域を検出し、上記候補領域のうち、輝度分布の起伏変化が第１の閾値以下の領域を重畳表示領域として検出し、ユーザに上記重畳表示領域上で仮想的に視認されるように配置される上記コンテンツを生成するように構成される。上記出力部は、上記生成されたコンテンツを上記重畳表示領域に重畳させて出力するように構成される。

これにより情報処理装置は、輝度分布の起伏変化が小さい領域、すなわちテクスチャが弱い領域を検出してコンテンツを重畳表示するため、テクスチャが強い領域にコンテンツが重畳表示されて視認性が損なわれるのを防止することができる。

上記制御部は、上記候補領域のうち、三次元形状の起伏変化が第２の閾値以下の領域を上記重畳表示領域として検出してもよい。

これにより情報処理装置は、平坦な領域を重畳表示領域として検出することで、コンテンツを実世界の形状に沿った形で視認性よく表示することができる。

上記制御部は、上記入力された画像から、上記候補領域が動体領域であるか否かを検出し、上記動体領域を上記重畳表示領域から除外してもよい。

これにより情報処理装置は、動体領域にコンテンツが表示されないようにすることで、視認性のみならず安全性も向上させることができる。

当該情報処理装置の姿勢を検出するように構成されたセンサをさらに具備してもよい。この場合上記制御部は、上記センサにより検出された姿勢の変動を検出し、上記入力された画像から、上記姿勢の変動を差し引いて上記動体領域を検出してもよい。

これにより情報処理装置は、姿勢の変動による影響をキャンセルすることで、装置の移動中も、画像内の動体領域を高精度に検出することができる。

上記制御部は、上記入力された画像のうち連続する第１の画像及び第２の画像からそれぞれ第１の深度分布及び第２の深度分布を算出し、上記第１の画像及び第２の画像の時間間隔において検出された上記姿勢の変動量を上記第１の深度分布に反映させて第３の深度分布を算出し、上記第２の深度分布と上記第３の深度分布との差分の有無を検出することで、上記動体領域の有無を検出してもよい。

これにより情報処理装置は、フレーム間の深度分布を、姿勢の変動量分ずらして比較することで、装置の移動も、画像内の動体領域を高精度に検出することができる。

当該情報処理装置の姿勢を検出するセンサをさらに具備してもよい。この場合上記制御部は、上記センサの検出結果を基に、当該情報処理装置が静止しているか否かを判断し、当該情報処理装置が静止している場合に上記入力された連続した画像の差分を抽出することで、上記動体領域を検出してもよい。

これにより情報処理装置は、重畳表示処理を静止状態にのみ限定することで、動体領域の検出を簡略化して処理負荷を軽減することができる。

上記出力部は、上記生成されたコンテンツを上記重畳表示領域に半透過状態で重畳させて出力してもよい。この場合上記制御部は、上記輝度分布の起伏変化が第１の閾値以下の上記候補領域が検出されない場合、上記生成されたコンテンツの透過度を上記半透過状態よりも下げて重畳させるように上記出力部を制御してもよい。

これにより情報処理装置は、テクスチャの弱い領域が見つからない場合には、コンテンツの透過度を下げることで、視認性及び安全性の低下を防ぐことができる。

上記制御部は、上記輝度分布の起伏変化が第１の閾値以下の上記候補領域が検出されない場合、上記コンテンツを、上記候補領域以外の領域に、上記輝度分布の起伏変化が第１の閾値より大きい候補領域と関連付けて表示させるように上記出力部を制御してもよい。

これにより情報処理装置は、テクスチャの弱い領域が見つからない場合でも、候補領域以外の領域に、例えば候補領域からの引き出し線付きでコンテンツを表示させることで、領域とコンテンツとの関連性をユーザに把握させることができる。

上記制御部は、上記入力された画像から、動体領域を上記重畳表示領域として検出してもよい。

これにより情報処理装置は、動体をコンテンツの重畳表示領域とすることで、ユーザの興味を惹くことができる。

本技術の他の形態に係る情報処理方法は、
撮像装置により撮像され入力された画像からコンテンツの重畳表示候補となる候補領域を検出すること、
上記検出された候補領域のうち、輝度分布の起伏変化が所定の閾値以下の領域を重畳表示領域として検出すること、
ユーザに上記重畳表示領域上で仮想的に視認されるように配置される上記コンテンツを生成すること、及び、
上記生成されたコンテンツを上記重畳表示領域に重畳させて出力することを含む。

本技術のまた別の形態に係るプログラムは、情報処理装置に、
撮像装置により撮像され入力された画像からコンテンツの重畳表示候補となる候補領域を検出するステップと、
上記検出された候補領域のうち、輝度分布の起伏変化が所定の閾値以下の領域を重畳表示領域として検出するステップと、
ユーザに上記重畳表示領域上で仮想的に視認されるように配置される上記コンテンツを生成するステップと、
上記生成されたコンテンツを上記重畳表示領域に重畳させて出力するステップと
を実行させる。

以上のように、本技術によれば、ＡＲによる重畳表示において視認性が損なわれるのを防止することができる。しかし、当該効果は本技術を限定するものではない。

本技術の一実施形態に係るＨＭＤを用いたシステムの概要を示した図である。 上記ＨＭＤのハードウェア構成を示したブロック図である。 上記ＨＭＤのコンテンツ重畳表示処理の流れを示したフローチャートである。 上記ＨＭＤのコンテンツ重畳表示処理における動体領域の検出処理の詳細な流れを示したフローチャートである。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

［システムの概要］
図１は、本技術の一実施形態に係るシステムの概要を示した図である。

同図に示すように、本実施形態では、ユーザが頭部にシースルー眼鏡型のＨＭＤ（Head Mount Display）１００を装着することで、ＡＲ環境が実現される。ユーザは、ＨＭＤ１００のレンズ（表示部）を通して実環境を視認しながら、当該実環境における道路、建物、看板等に重畳して仮想的に表示されるコンテンツＣを視認することができる。

例えば、同図に示すように、ユーザから見て、道路上にはユーザの目的地までのルートをナビゲートするラインが表示されたり、ビル上にはそのビルに存在するレストランやバーの情報が表示されたりする。

本実施形態では、上記ＡＲシステムにおける重畳表示の実行の際に、ＨＭＤ１００は、ユーザの視認性に鑑みて、テクスチャの強い（輝度分布の起伏変化が大きい）領域等を避けてコンテンツを重畳表示することが可能である。

［ＨＭＤのハードウェア構成］
図２は、上記ＨＭＤ１００のハードウェア構成を示したブロック図である。

同図に示すように、ＨＭＤ１００は、制御部１１、記憶部１２、通信部１３、センサ部１４、操作受付部１５、右カメラ１６、左カメラ１７及び表示部１８を有する。

制御部１１は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等からなり、コンテンツの重畳表示処理等において各種演算処理を行いながらＨＭＤ１００の各ブロック全体を統括的に制御する。

記憶部１２は、例えばフラッシュメモリ（ＳＳＤ；Solid State Drive）、その他の固体メモリ等の不揮発性メモリである。記憶部１２は、ＯＳや各種アプリケーション、各種データを記憶する。特に本実施形態においては、記憶部１２は、例えば重畳表示対象のコンテンツ（例えば広告用のテキストや画像等）を記憶する。

通信部１３は、例えばＷｉＦｉ（Wireless Fidelity）等の無線ＬＡＮ（Local Area Network）やBluetooth（登録商標）等の規格に対応した無線通信モジュールであり、例えばユーザの携帯するスマートフォン等の機器と通信可能とされている。また通信部１３は、スマートフォン等のユーザの携帯機器を介して、または直接、インターネット上から、コンテンツや地図情報等の重畳表示に必要なデータを受信することが可能である。

センサ部１４は、ジャイロセンサ、加速度センサ、地磁気センサ等の各種センサから構成され、仮想三次元オブジェクトＯの表示処理のために、ＨＭＤ１００（ユーザ）の姿勢、位置、方向等を検出する。

操作受付部１５は、例えばタッチパネル、ボタン、スイッチ等からなり、ユーザの各種操作を受け付ける。

右カメラ１６及び左カメラ１７は、それぞれ例えばＨＭＤ１００の右フレーム及び左フレームに設けられ、両者で撮影された画像間の視差から、ユーザの前方の実環境（物体の位置、立体的形状及び深度（Depth Map））を認識するステレオカメラとして機能する。

表示部１８は、透過ディスプレイとして構成され、表示素子１８１と光学部材１８２とを有する。表示部１８は、例えばＨＭＤ１００のフレーム部に収容される表示素子１８１によりコンテンツの画像を形成し、その画像光を光学部材１８２内に導光しユーザの目に出射することで、コンテンツの画像をユーザに提示する。コンテンツの画像は二次元画像でも三次元画像でもよい。

表示素子１８１は例えばＬＣＤ（Liquid Crystal Display）で構成される。光学部材１８２は、偏向素子（ホログラム回折格子）及び表示面としての導光板を有し、偏光素子によりＲＧＢの各色に対応する特定波長の光が回折反射され、導光板内で全反射されることで画像がユーザの目に出射される。

［ＨＭＤの動作］
次に、以上のように構成されたＨＭＤ１００の動作について説明する。以降の説明においては、ＨＭＤの制御部１１を主な動作主体として説明するが、この動作は制御部１１の制御下において実行される他のハードウェア及びソフトウェアと協働して行われる。

（重畳表示処理）
図３は、上記ＨＭＤ１００のコンテンツ重畳表示処理の流れを示したフローチャートである。

同図に示すように、まず、ＨＭＤ１００の制御部１１には、右カメラ１６及び左カメラ１７が撮像した画像群が入力される（ステップ３１）。入力される画像群は、片方のカメラからのものでも構わない。

続いて制御部１１は、入力された画像から、ユーザが存在する実環境情報を認識する（ステップ３２）。

具体的には、制御部１１は、入力された画像それぞれについて、カメラ１６及び１７の姿勢を推定及び算出する。カメラ１６及び１７の姿勢は、三次元世界における位置と角度（カメラ１６及び１７が向いている向き）からなる。これらは例えば画像間の画素値や特徴点のマッチング結果や、上記センサ部１４（加速度センサ・角速度（ジャイロ）センサ、地磁気センサ）の情報などから求めることができる。

さらに制御部１１は、追加的に深度情報（DepthMap）を算出することも考えられる。当該深度情報は、時系列の複数フレーム、あるいは上記カメラ１６及び１７から入力されたステレオ画像のペアなど、複数画像のマッチングから求められる。また、ＩＲセンサによりＩＲパターンを照射する等、別センサを使う等の手法も適用可能である。

さらに制御部１１は、画像から物体を認識したり、ＧＰＳ情報を利用したりして実環境を認識することも可能である。

続いて制御部１１は、実環境の認識結果を基に、広告や地図情報に紐付いた各種情報など、重畳表示するコンテンツ及びその重畳表示の候補領域を、ユーザからのリクエストやコンテキストに応じて決定する（ステップ３３）。

重畳表示候補領域の選定にあたり、制御部１１は、ユーザの視線を検出してもよい。ユーザの視線は、右カメラ１６及び左カメラ１７により検出されてもよいし、例えばユーザの瞳孔を検出可能な近赤外ＬＥＤ（Light Emitting Diode）センサ等の専用のセンサまたはそれとカメラとの組み合わせ、その他の光学的・物理的・電気的な手法により検出されてもよい。

続いて制御部１１は、重畳表示候補領域の画像を解析し、それが重畳領域として適しているかを判定する（ステップ３４）。

具体的には、制御部１１は、上記重畳表示候補領域が、動体領域か、テクスチャ領域か、または非平面領域かを検出し（ステップ３５）、重畳表示候補領域がそれら３つの条件に合致する場合には、当該領域を候補から除外する（ステップ３６）。

動体領域としては、例えば人混みや車の通りなどが相当する。制御部１１は、カメラ１６及び１７の姿勢の変動を差し引いた上で、被写体側に動体が存在しているかを検出することができる。動体領域が重畳表示候補から除外されるのは、視認性の面のみならず安全性の面でも問題があるからである。当該動体領域の検出方法の詳細については後述する。

テクスチャ領域は、輝度分布の起伏変化が激しい領域である。制御部１１は、入力画像の矩形領域内での輝度の分散などの分布から、テクスチャが強いかどうか判別することでテクスチャ領域を検出することができる。

制御部１１は、例えば重畳表示候補領域の輝度分布の起伏変化が所定の閾値を超えている場合には、当該領域を重畳表示候補から除外する。すなわち、輝度分布の起伏変化が閾値以下の領域を重畳表示領域として検出する。

上述のとおり、ＨＭＤ１００はシースルー眼鏡型のデバイスであり、視認性及び安全性の面から、重畳表示は半透過で行なうことが基本と考えられるため、テクスチャ成分が強い、つまり分散の高い領域への重畳表示は避けられるべきである。

非平面領域は、三次元形状の分布が平坦でない領域である。例えば壁や床、あるいは中空など、形状が平坦な領域は、重畳されるコンテンツがその実世界における形状に沿った形で表示できるため、重畳領域として適している。

非平面領域（平面領域）は、上述のとおり、上記カメラ１６及び１７のステレオ画像や時系列の複数フレーム等、複数画像のマッチングによるパッシブな深度情報取得手法により検出されてもよいし、センサによるＩＲパターンの照射等によるアクティブな深度情報取得手法により検出されてもよい。

制御部１１は、例えば重畳表示候補領域の三次元形状の分布の起伏変化が所定の閾値（上記テクスチャ領域の閾値とは異なる）を超えている場合には、当該領域を重畳表示候補から除外する。すなわち、三次元計上の分布の起伏変化が閾値以下の領域を重畳表示領域として検出する。

続いて制御部１１は、上記判定及び候補領域からの除外後、重畳表示可能な領域が存在するか否かを判定する（ステップ３７）。

重畳表示可能な領域が存在すると判定した場合（Ｎｏ）、制御部１１は、当該領域を重畳表示領域として決定し、表示部１８において、それに関連付けられたコンテンツを生成して、当該領域上に重畳表示する（ステップ３９）。

重畳表示可能な領域が存在しないと判定した場合（Ｙｅｓ）、制御部１１は、重畳表示候補領域以外の領域であって、上記除外基準に該当しない領域を、重畳表示領域として決定する（ステップ３８）。

そして制御部１１は、当該候補領域以外の領域にコンテンツを重畳表示する（ステップ３９）。この際、制御部１１は、例えば除外された候補領域から重畳表示領域にかけて線分を表示したり、除外された候補領域から吹き出し状でコンテンツを表示したりして、領域間の関連付けを示してもよい。

また制御部１１は、候補領域以外の重畳表示領域が見つからない場合には、検出されたテクスチャ領域や非平面領域上に、透過度を通常の値よりも下げたコンテンツを重畳表示してもよい。

制御部１１は、上記のような各種判定基準により、ユーザにとって視認性が良く、かつ視界を妨げない領域に各種コンテンツを重畳表示することができる。

（動体領域検出処理）
ここで、上記コンテンツ重畳表示処理における動体領域の検出処理の詳細について説明する。図４は、当該動体領域の検出処理の流れを示したフローチャートである。

上述の通り、本実施形態では、制御部１１は、ＨＭＤ１００の自己運動（カメラ１６及び１７の姿勢の変動）を考慮した上で動体領域を検出する。

同図に示すように、制御部１１はまず、カメラ１６及び１７からの同時刻における複数視点の画像間でマッチングを行なうことで、画素毎に実世界でのＺ方向の奥行き、深度分布を算出する（ステップ４１）。当該深度分布は所謂Depth Mapに相当する。

また制御部１１は、単一のカメラしか有さない場合や２つのカメラのうち一方しか用いない場合でも、当該カメラの焦点距離やセンサのサイズ等の内部パラメータ（Intrinsic Parameter）及びカメラの位置・向きを示すパラメータ（Extrinsic Parameter）を元に射影変換を行なうことで、カメラ画像上の各画素に対応する被写体及び領域が実世界の三次元空間においてどこの座標に位置するかを算出することもできる。

続いて制御部１１は、上記Depth Map上での画素を、実世界の三次元空間上にマッピングした点群（3D Point Cloud）を作成する（ステップ４２）。

続いて制御部１１は、上記ジャイロセンサ、加速度センサ等、センサ部１４の各種センサ情報から、自己運動量（三次元の位置及び角度の変動量）を算出する（ステップ４３）。この自己運動量は、上記深度分布を算出したフレームの次のフレームにおいて、上記Extrinsic Parameterが変動することに相当する。

続いて制御部１１は、直前のフレームにおいて上述の手法で算出した3D Point Cloudを、上記センサ情報から算出した自己運動量における位置・角度に置かれたカメラ上に逆射影してDepth Mapを算出する（ステップ４４）。

続いて制御部１１は、次フレームにて、同じく上述の手法でDepth Mapを算出する（ステップ４５）。

続いて制御部１１は、上記ステップ４４で算出したDepth Mapと、上記ステップ４５で算出したDepth Mapとを、重畳表示候補領域単位で比較する（ステップ４６）。

入力画像内の物体が、剛体または静止物体であれば、上記両Depth Mapの差分はほぼ０になるはずである。したがって制御部１１は、当該差分がある場合には（ステップ４７のＹｅｓ）、当該差分が存在する領域を動体領域と判別する（ステップ４８）。

一方、差分がない場合には（ステップ４７のＮｏ）、制御部１１は、重畳表示候補領域は動体領域ではないと判別する（ステップ４９）。

ここで制御部１１は、深度のみならず輝度値の差分も考慮して動体領域か否かを判断することが可能である。

制御部１１は、以降も同様に、時系列でのフレーム間比較を逐次行なうことで、動体領域を検出することができる。

以上のように、本実施形態によれば、ＨＭＤ１００は、実環境に応じて、動体領域、テクスチャ領域及び非平面領域を表示領域から除外するように、重畳表示の位置を適用的に制御することで、視認性を向上することができる。

［変形例］
本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更され得る。

上述の実施形態においては、動体領域、テクスチャ領域及び非平面領域が全て重畳表示候補領域から除外されたが、これら３つのうちいずれか１つまたはいずれか２つが除外条件とされてもよい。

例えばＨＭＤ１００は、非平面領域については、当該非平面形状を検出して、深度情報等を基に、当該非平面形状に沿ってコンテンツを変形させて、当該領域上にコンテンツを重畳表示してもよい。

また例えば、ＨＭＤ１００は、入力画像から、動体領域をあえて重畳表示領域として検出してもよい。この場合、ＨＭＤ１００は、安全性を考慮して、動体領域を重畳表示領域とするのを、ユーザが静止している場合に限ってもよい。

上述の実施形態では、ＨＭＤ１００は、自己運動を考慮した上で被写体が動体かどうか検知した。しかし、ＨＭＤ１００等のグラス型のウェアラブル機器では、ユーザの移動中は安全性を考慮して重畳表示を行なわず、ユーザが立ち止まった際にのみ重畳表示を行なうことで、ユーザの注意及び注視を喚起する、といったユースケースも考えられる。

この場合、ＨＭＤ１００は、動体領域の検出処理を自己静止状態に限定してもよい。これにより、検出処理が簡略化され、処理負荷が軽減される。

すなわち、ＨＭＤ１００は、ジャイロ／加速度センサ等の測定値の結果から、自己運動量が無い（姿勢がほぼ静止している）、いわゆる自己静止状態をまず検出する。そしてＨＭＤ１００は、自己は静止している状態という前提のもと、時系列の画像間で差分を取るだけで、輝度差分のある画素または領域を、動体領域とみなすことができる。

上述の実施形態では、ステレオカメラを有するシースルー眼鏡型のＨＭＤが本技術に適用された例が示されたが、本技術はこれに限られない。

例えば、同様のウェアラブルデバイスの表示部に網膜プロジェクタが用いられてもよい。また、スマートフォンやタブレット等のカメラで撮像された画像が表示部に表示されさらにコンテンツが重畳表示されることによって上述の実施形態と同様の処理が実現されてもよい。

［その他］
本技術は以下のような構成もとることができる。
（１）
撮像部と、
前記撮像部により撮像された画像からコンテンツの重畳表示候補となる候補領域を検出し、前記候補領域のうち、輝度分布の起伏変化が第１の閾値以下の領域を重畳表示領域として検出し、ユーザに前記重畳表示領域上で仮想的に視認されるように配置される前記コンテンツを生成するように構成された制御部と、
前記生成されたコンテンツを前記重畳表示領域に重畳させて出力するように構成された出力部と
を具備する情報処理装置。
（２）
上記（１）に記載の情報処理装置であって、
前記制御部は、前記候補領域のうち、三次元形状の起伏変化が第２の閾値以下の領域を前記重畳表示領域として検出する
情報処理装置。
（３）
上記（１）に記載の情報処理装置であって、
前記制御部は、前記撮像された画像から、前記候補領域が動体領域であるか否かを検出し、前記動体領域を前記重畳表示領域から除外する
情報処理装置。
（４）
上記（３）に記載の情報処理装置であって、
当該情報処理装置の姿勢を検出するように構成されたセンサをさらに具備し、
前記制御部は、前記センサにより検出された姿勢の変動を検出し、前記撮像された画像から、前記姿勢の変動を差し引いて前記動体領域を検出する
情報処理装置。
（５）
上記（４）に記載の情報処理装置であって、
前記制御部は、前記撮像された画像のうち連続する第１の画像及び第２の画像からそれぞれ第１の深度分布及び第２の深度分布を算出し、前記第１の画像及び第２の画像の時間間隔において検出された前記姿勢の変動量を前記第１の深度分布に反映させて第３の深度分布を算出し、前記第２の深度分布と前記第３の深度分布との差分の有無を検出することで、前記動体領域の有無を検出する
情報処理装置。
（６）
上記（３）に記載の情報処理装置であって、
当該情報処理装置の姿勢を検出するように構成されたセンサをさらに具備し、
前記制御部は、前記センサの検出結果を基に、当該情報処理装置が静止しているか否かを判断し、当該情報処理装置が静止している場合に前記撮像された連続した画像の差分を抽出することで、前記動体領域を検出する
情報処理装置。
（７）
上記（１）に記載の情報処理装置であって、
前記出力部は、前記生成されたコンテンツを前記重畳表示領域に半透過状態で重畳させて出力し、
前記制御部は、前記輝度分布の起伏変化が第１の閾値以下の前記候補領域が検出されない場合、前記生成されたコンテンツの透過度を前記半透過状態よりも下げて重畳させるように前記出力部を制御する
情報処理装置。
（８）
上記（１）に記載の情報処理装置であって、
前記制御部は、前記輝度分布の起伏変化が第１の閾値以下の前記候補領域が検出されない場合、前記コンテンツを、前記候補領域以外の領域に、前記輝度分布の起伏変化が第１の閾値より大きい候補領域と関連付けて表示させるように前記出力部を制御する
情報処理装置。
（９）
上記（１）に記載の情報処理装置であって、
前記制御部は、前記撮像された画像から、動体領域を前記重畳表示領域として検出する
情報処理装置。

１１…制御部
１２…記憶部
１３…通信部
１４…センサ部
１５…操作受付部
１６…右カメラ
１７…左カメラ
１８…表示部
１００…ＨＭＤ（Head Mount Display）

Claims (11)

1. 撮像部と、
   前記撮像部により撮像された画像からコンテンツの重畳表示候補となる候補領域を検出し、前記候補領域のうち、輝度分布の起伏変化が第１の閾値以下の領域を重畳表示領域として検出し、ユーザに前記重畳表示領域上で仮想的に視認されるように配置される前記コンテンツを生成するように構成された制御部と、
   前記生成されたコンテンツを前記重畳表示領域に重畳させて出力するように構成された出力部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記候補領域のうち、三次元形状の起伏変化が第２の閾値以下の領域を前記重畳表示領域として検出する
   情報処理装置。
3. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記撮像された画像から、前記候補領域が動体領域であるか否かを検出し、前記動体領域を前記重畳表示領域から除外する
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   当該情報処理装置の姿勢を検出するように構成されたセンサをさらに具備し、
   前記制御部は、前記センサにより検出された姿勢の変動を検出し、前記撮像された画像から、前記姿勢の変動を差し引いて前記動体領域を検出する
   情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   前記制御部は、前記撮像された画像のうち連続する第１の画像及び第２の画像からそれぞれ第１の深度分布及び第２の深度分布を算出し、前記第１の画像及び第２の画像の時間間隔において検出された前記姿勢の変動量を前記第１の深度分布に反映させて第３の深度分布を算出し、前記第２の深度分布と前記第３の深度分布との差分の有無を検出することで、前記動体領域の有無を検出する
   情報処理装置。
6. 請求項３に記載の情報処理装置であって、
   当該情報処理装置の姿勢を検出するように構成されたセンサをさらに具備し、
   前記制御部は、前記センサの検出結果を基に、当該情報処理装置が静止しているか否かを判断し、当該情報処理装置が静止している場合に前記撮像された連続した画像の差分を抽出することで、前記動体領域を検出する
   情報処理装置。
7. 請求項１に記載の情報処理装置であって、
   前記出力部は、前記生成されたコンテンツを前記重畳表示領域に半透過状態で重畳させて出力し、
   前記制御部は、前記輝度分布の起伏変化が第１の閾値以下の前記候補領域が検出されない場合、前記生成されたコンテンツの透過度を前記半透過状態よりも下げて重畳させるように前記出力部を制御する
   情報処理装置。
8. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記輝度分布の起伏変化が第１の閾値以下の前記候補領域が検出されない場合、前記コンテンツを、前記候補領域以外の領域に、前記輝度分布の起伏変化が第１の閾値より大きい候補領域と関連付けて表示させるように前記出力部を制御する
   情報処理装置。
9. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記撮像された画像から、動体領域を前記重畳表示領域として検出する
   情報処理装置。
10. 撮像装置により撮像された画像からコンテンツの重畳表示候補となる候補領域を検出し、
    前記検出された候補領域のうち、輝度分布の起伏変化が所定の閾値以下の領域を重畳表示領域として検出し、
    ユーザに前記重畳表示領域上で仮想的に視認されるように配置される前記コンテンツを生成し、
    前記生成されたコンテンツを前記重畳表示領域に重畳させて出力する
    情報処理装置。
11. 情報処理装置に、
    撮像装置により撮像された画像からコンテンツの重畳表示候補となる候補領域を検出するステップと、
    前記検出された候補領域のうち、輝度分布の起伏変化が所定の閾値以下の領域を重畳表示領域として検出するステップと、
    ユーザに前記重畳表示領域上で仮想的に視認されるように配置される前記コンテンツを生成するステップと、
    前記生成されたコンテンツを前記重畳表示領域に重畳させて出力するステップと
    を実行させるプログラム。

Images