JP2016071496A - 情報端末装置、方法及びプログラム - Google Patents

Abstract

【課題】撮像対象と撮像部との相対的な位置関係をコンテンツに反映するとともに、高品位なコンテンツをリアルタイム表示することも可能な、処理負荷の低い情報装置端末を提供する。
【解決手段】撮像部1は、撮像を行って撮像画像を取得する。推定部2は、前記撮像画像より所定の撮像対象を特定すると共に、当該撮像対象と撮像部1との相対的な位置姿勢を推定する。記憶部3は、撮像対象ごとにその位置姿勢の各々に応じて予め描画された関連情報を記憶する。制御部4は、前記特定された撮像対象及び前記推定された位置姿勢に応じた関連情報を記憶部3から読み出して提示情報を生成する。提示部5は、前記生成された提示情報を提示する。
【選択図】図１

Description

本発明は、撮像対象との相対的な位置関係に応じて情報を提示する情報端末装置、方法及びプログラムに関する。

撮像対象との相対的な位置関係に応じて情報を提示する装置は、提示する情報を直感的に変化させることが可能であり、利用者の利便性を向上させることができる。このような装置を実現する技術として、以下のようなものが公開されている。

非特許文献１では、白黒マーカの形状を既知とし、画像から抽出した白黒マーカの形状変形から位置、姿勢を計算するとともに、マーカ内部の模様から複数の種類を区別する手法が開示されている。

特許文献１では、処理負荷を軽減し、マーカをより正確に検出するため、色情報と円形状との組み合わせにより、マーカの検出負荷を軽減する手法が開示されている。

特許文献２では、仮想的な物体像の描画にかかる負荷量が大きな場合でも、拡張現実の合成画像を実用的な速度で表示するため、処理の負荷量を算出し、複数の端末で負荷量を分散する手法が開示されている。

特開２０１２−２１６０２９号公報 特開２０１２−２２０９８６号公報

加藤, M. Billinghurst, 浅野, 橘, "マーカー追跡に基づく拡張現実感システムとそのキャリブレーション", 日本バーチャルリアリティ学会論文誌, vol.4, 20 no.4, pp.607-617, 1999.

非特許文献１及び特許文献１では、マーカが必要であるため、利用できる環境に制約を受けるという問題がある。

また、高精細な情報や数多くの情報を提示する場合は、その生成処理、描画処理がマーカを検出処理より負荷が大きいことから、マーカ検出の負荷軽減は全体の処理負荷軽減に大きく寄与しないという問題がある。

特許文献２では、複数の端末で処理を分散することから上記の問題は一部解決される。しかし、分散に伴う通信等による遅延が端末を動かした時にズレとして感じられることから、リアルタイム性が求められる用途には使えないという問題がある。

本発明の目的は、上記従来技術の課題を解決し、撮像対象と撮像部との相対的な位置関係をコンテンツに反映するとともに、高品位なコンテンツをリアルタイム表示することも可能な、処理負荷の低い情報装置端末、方法及びプログラムを提供することにある。

上記目的を達成するため、本発明は、情報端末装置であって、撮像を行って撮像画像を取得する撮像部と、前記撮像画像より所定の撮像対象を特定すると共に、当該撮像対象と前記撮像部との相対的な位置姿勢を推定する推定部と、撮像対象ごとにその位置姿勢の各々に応じて予め描画された関連情報を記憶する記憶部と、前記特定された撮像対象及び前記推定された位置姿勢に応じた関連情報を前記記憶部から読み出して提示情報を生成する制御部と、前記生成された提示情報を提示する提示部と、を備えることを特徴とする。

また、本発明は、方法であって、撮像を行って撮像画像を取得する撮像段階と、前記撮像画像より所定の撮像対象を特定すると共に、当該撮像対象と前記撮像部との相対的な位置姿勢を推定する推定段階と、撮像対象ごとにその位置姿勢の各々に応じて予め描画された関連情報を記憶する記憶段階と、前記特定された撮像対象及び前記推定された位置姿勢に応じた関連情報を前記記憶段階で記憶された関連情報から読み出して提示情報を生成する制御部と、前記生成された提示情報を提示する提示段階と、を備えることを特徴とする。

さらに、本発明は、プログラムであって、コンピュータを前記情報端末装置として機能させることを特徴とする。

本発明によれば、記憶部において事前に撮像対象ごとにその位置姿勢の各々に応じて予め描画された関連情報を記憶しておき、撮像画像より特定された撮像対象とその位置姿勢に応じた関連情報を読み出して提示情報を生成して提示するので、計算負荷の高い位置姿勢に応じた描画処理を省略することができ、低い計算負荷で撮像対象と撮像部との相対的な位置関係をコンテンツに反映することができ、高品位なコンテンツを表示することも可能となる。

一実施形態に係る情報端末装置の機能ブロック図である。 制御部における処理を模式的に説明するための例を示す図である。 図２の例を用いて提示情報を生成する各実施形態を模式的に説明するための図である。 関連情報に実在の物体を用いる場合の撮像画像と関連情報との例を示す図である。 図４の例に対応する、外部対象が混在する場合における提示情報の例を示す図である。

図１は、一実施形態に係る情報端末装置の機能ブロック図である。情報端末装置10は、撮像部1、推定部2、記憶部3、制御部4及び提示部5を備える。情報端末装置10としてはスマートフォン等の携帯端末を利用することができるが、撮像部1を備えたものであればどのような装置や機器等を利用してもよい。例えば、デスクトップ型、ラップトップ型又はその他のコンピュータなどでもよい。

なお、情報端末装置10のうち、記憶部3、推定部2及び制御部4の全てまたはその任意の一部分を、情報端末装置10には備わらない外部構成とする、例えば、１台以上の外部サーバーにおいてその機能を実現させる構成とすることもできる。この場合、当該外部構成で実現された各部2,3,4と情報端末装置10との間で、以下説明する処理において必要となる情報の授受をネットワーク等経由によって行うようにすればよい。

図１の各部の処理内容は以下の通りである。

撮像部1は、所定の撮像対象が配置されている現場（屋内、屋外その他の景色）を撮像して、その撮像画像を推定部2および制御部4へと出力する。撮像部1としては例えば、昨今の携帯端末に標準装備されることの多いデジタルカメラを用いることができる。

推定部2は、撮像部1で撮像された撮像画像から撮像対象を特定するとともに、当該特定結果に基づいて撮像対象と撮像部1との相対的な位置、姿勢を推定する。推定部2において当該推定された撮像対象、位置、姿勢は対象情報として制御部4へ出力する。

なお、撮像対象が特定できない場合（撮像画像にいずれの撮像対象も撮影されていない場合、あるいは、撮影されているがノイズ等の影響により以下説明する処理によっても未検出と判定される場合）は、その旨が対象情報として制御部4へと出力される。

ここで、特定対象となる撮像対象については、１つ以上の所定対象（例えば前掲の非特許文献１におけるマーカ等）を予め設定しておき、その画像上における特徴情報を予め抽出したうえで推定部2に登録しておく。推定部2では撮像画像より特徴情報を抽出し、当該予め登録されている特徴情報との間でマッチングを行うことにより、撮像画像に撮像されている撮像対象を特定すると共に、相対的な位置及び姿勢を推定する。

画像に対する特徴情報としては、周知のSIFT特徴量又はSURF特徴量等のような、回転及び拡大縮小あるいは射影変化（射影変換による歪み）のいずれか又はその任意の組み合わせに対して不変な性質を有し、画像の局所領域における相対的な輝度勾配に基づいて算出される局所特徴量を用いることができる。あるいは、同性質を有する周知の ORB特徴量等を用いてもよい。なお、SIFT特徴量は以下の非特許文献２に、SURF 特徴量は以下の非特許文献３に、ORB特徴量は以下の非特許文献４に、それぞれ開示されている。

非特許文献２ 「D.G.Lowe, Distinctive image features from scale-invariant key points, Proc. of Int. Journal of Computer Vision (IJCV), 60(2) pp.91-110 (2004)」
非特許文献３ 「H.Bay, T.Tuytelaars, and L.V.Gool, SURF: Speed Up Robust Features, Proc. of Int. Conf. of ECCV, (2006)」
非特許文献４ 「Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary R. Bradski: ORB: An efficient alternative to SIFT or SURF. ICCV 2011: 2564-2571.」

また、推定部2において撮像対象を特定する際の当該特徴量（特徴情報）同士のマッチングについても、画像認識の分野における周知の各手法を利用することができる。さらに、予め登録しておく撮像対象の特徴情報における画像上の座標情報と、撮像画像より抽出されマッチングされた特徴情報の撮像画像上における座標情報と、を互いに変換する平面射影変換の関係を求めることで、推定部2は撮像対象・撮像部1間の相対的な位置及び姿勢を算出することができる。当該位置及び姿勢の算出についても、前掲の非特許文献１その他に開示された拡張現実表示分野における周知手法を利用することができる。

制御部4は、撮像部1から撮像画像を入力し、また、推定部2から対象情報を入力することで、当該入力された対象情報に応じた関連情報を記憶部3から読み出して提示情報を生成し、当該提示情報を提示部5へ出力する。制御部4の詳細は後述する。

記憶部3は、推定部2で推定された撮像対象、位置、姿勢に応じた関連情報を事前に保持し、制御部4での処理に応じて適宜関連情報を出力する。なお、当該事前に保持される関連情報は、管理者等がマニュアル作業等で用意しておく。

提示部5は、画像を表示するディスプレイで構成することができ、制御部4より入力された提示情報を提示する。一実施形態では当該関連情報の提示は、撮像部1で撮像された撮像対象に応じた拡張現実表示とすることができる。その詳細は後述する制御部4の詳細説明の通りである。

なお、情報端末装置10の全体的な動作として、撮像部1で撮像画像が得られる都度、各部2,3,4の処理を経て提示部5に提示情報が提示されることとなる。撮像部1では所定のフレームレートで各時刻tの撮像画像P(t)を得て、提示部5では当該時刻tでの提示情報D(t)をリアルタイムで提示することができる。同様に、ユーザの指示によってある１時刻t1の撮像画像P(t1)（静止画）を得て、対応する1つの提示情報D(t1)を提示することもできる。

すなわち、本発明によれば提示情報を少ない計算負荷で得ることができるので、所定レートでリアルタイムに提示部5における当該提示情報の提示が可能であるが、ユーザ指示によってある1時刻の撮像画像に対応する提示情報のみを提示するようにしてもよい。後者の場合であっても、ユーザ指示を受けた後に（処理完了まで長時間待たされることなく）速やかに提示情報の提示が可能であるため、ユーザに快適な操作環境を提供することができる。

以下、制御部4（及び制御部4の出力に従って提示情報を提示する提示部5）の詳細を説明する。

制御部4ではまず、撮像部1で撮像された画像に撮像対象が含まれているか否かの場合分けによって、処理を切り替える。ここで前述の通り、撮像画像に撮像対象が含まれているか否かの判定は、推定部2において撮像対象が特定されたか否かという形により実施されており、その判定結果は対象情報として制御部4に出力されている。従って、制御部4では当該判定結果に従って処理を切り替える。

当該判定結果による処理の切り替えは具体的には次の通りである。まず、推定部2の対象情報で撮像対象が特定されていない場合、撮像部1で撮像された画像をそのまま、提示情報として出力する。逆に、推定部2の対象情報で撮像対象が特定されている場合、当該対象情報における撮像対象、位置及び姿勢に対応する関連情報を記憶部3から検索して読み出し、撮像部1で撮像された撮像画像に関連情報を重ねあわせ、提示情報として出力する。

ここで、関連情報については撮像画像に対して重ね合わせる（重畳する）ことで、拡張現実表示等を実現するような所定の内容として予め用意しておき、記憶部3に記憶させておけばよい。この際、撮像画像上の座標(u, v)のどのような範囲においてどのような画像を重畳させるかという情報まで含めて関連情報を用意しておくことで、本発明においては高速に関連情報の重畳処理を実施し、提示情報を生成することができる。

例えば、前掲の非特許文献１等における従来技術に係るマーカベースの重畳処理では、カメラ位置姿勢パラメータを求める際に特定される、マーカの三次元座標(X, Y, Z)と画像座標(u, v)との対応関係を用いることで、重畳させる画像を画像座標(u, v)において算出する必要がその都度発生してしまう。しかし、本発明においては当該算出を予め実施しておき算出結果を関連情報（位置及び姿勢の関数としての関連情報）として記憶部3に保持しておくので、処理を高速化することが可能となる。

また、従来技術ではリアルタイム表示させる際の計算リソースの制約から、重畳させる画像は所定内容の2次元画像を3次元空間において（傾き等を伴って）表示させることを前提としており、3次元立体物を3次元空間において重畳させて表示させる処理は考慮されていない。これに対して本発明においては、上記と同様に、当該位置及び姿勢に応じた3次元立体物の見え方を表現した画像として関連情報を予め算出し記憶部3に記憶させておくことで、3次元立体物の重畳表示も可能となる。

当該重畳させる関連情報は、撮像画像の座標(u, v)の全範囲に対する一部分として用意されていてもよいし、撮像画像の全体として用意されていてもよい。関連情報が撮像画像の全体として用意されている場合は、重畳させることなく関連情報をそのまま提示情報として提示部5に出力すればよい。（なお、当該出力は、撮像画像の全体が関連情報として「上書き」されて提示部5に出力されるものとみなすこともできる。すなわち、撮像画像に対する関連情報の重畳の特別な場合とみなすこともできる。）

図２は、以上の説明における処理を含む制御部4の処理を模式的に説明するための例を[1]〜[4]と分けて示す図である。[1]には撮像部1が撮像する現場Fが示され、現場Fには地面G上に直方体形状の展示台Sが存在し、展示台Sの上面にその特徴情報が予め推定部2に登録された撮像対象M（例えば正方マーカ）が配置されている。

[1]における当該現場Fにおいて撮像部1が位置姿勢C1,C2,C3,C4で撮像した撮像画像が[2]にそれぞれ撮像画像P1,P2,P3,P4として示され、生成される提示情報が[3]にそれぞれ提示情報D1,D2,D3,D4として示されている。

ここで、位置姿勢C1,C2,C3では撮像部1は撮像対象Mをそれぞれ概ね正面左側、正面、正面右側から撮像しており、撮像画像P1,P2,P3に撮像対象Mが含まれているので、関連情報が記憶部3から読み込まれ、撮像画像P1,P2,P3にそれぞれ重畳等されることによって提示情報D1,D2,D3が生成されている。当該重畳等して生成される提示情報は、[4]に示すように、現場Fにおいて撮像対象M上に所定物体O（図２の例では直方体形状の物体）があたかも実在しているように撮像画像を加工するものであり、拡張現実表示を提供するものである。

一方、位置姿勢C4では撮像部1は撮像対象M（及び不図示のその他の撮像対象）を撮像できない状態であるので、得られた撮像画像P4をそのままの形で提示情報D4が生成されることとなる。

図３は、図２の例を用いて提示情報を生成する各実施形態を模式的に説明するための図であり、各実施形態において図２における撮像画像P1から提示情報D1を生成する際の例が[3-1]及び[3-2]としてそれぞれ示されている。

図３の[3-1]は、撮像画像P1に対して、その画像の一部分の領域を占めるものとして予め記憶部3に保持されている関連情報R1を重畳することにより、提示情報D1が得られる（D1=P1+R1）実施形態を示している。ここで、関連情報R1は前述のように、当該撮像画像P1における位置姿勢C1（図２）において撮像対象Mとの関係で所定の物体Oが実在しているように見えるような画像として予め用意しておき、記憶部3に保持しておく。従って[3-1]に示すように、重畳される物体Oに対応する画像上の領域において関連情報R1は予め用意されている。

一方、図３の[3-2]は、撮像画像P1に対して、その画像の全体を置き換えるものとして予め記憶部3に保持されている関連情報R10よってそのまま、提示情報D1を得る（D1=R10）実施形態を示している。ここで、関連情報R10は前述のように、当該撮像画像P1における位置姿勢C1（図２）において撮像対象Mとの関係で所定の物体Oが実在しているように見えるような画像として、当該物体Oに加えてその背景を含めた画像全体として予め用意しておき、記憶部3に保持しておく。

ここで、図３の[3-1]のように画像の一部を重畳する実施形態は、重畳させようとする関連情報R1が例えばコンピュータグラフィックで描画される対象である場合に適用することができる。この場合、撮像対象が取りうる位置、姿勢に応じて事前に描画しておき記憶部3に記憶させておくことで高品位な関連情報を生成しておく。

より高い臨場感を実現するには、記憶部3に記憶させるための事前描画時と撮像部1で実際に撮像する時とで光源分布は変化させないことを前提として、光源分布を事前に推定しコンピュータグラフィックスの描画に反映させることが望ましい。この場合、周知のレイトレーシング技術を用いることにより、拡張現実表示で重畳させようとする物体等の表面の光沢や、光源分布によって生ずる当該物体等の陰及び影を含めて関連情報を描画することで、臨場感のある高品位な関連情報を事前に用意しておくことができる。

一方、図３[3-2]のように画像全体を置き換える実施形態は、関連情報に例えば商品等の実在の物体を用いる場合（実在の物体として表示させたい場合）に適用することができる。

ただし、上記のように提示情報において撮像画像の全体がいわば「差し替えられている」場合、高い臨場感を実現するには、次のようにすることが好ましい。まず、関連情報は、実際に撮像が行われる現場（あるいは当該現場を模した現場）において、重畳させたい実在物体を撮像対象に対する所定位置姿勢で配置したうえで、撮像部1と同様のカメラパラメータを有するカメラを用いた事前撮影によって用意する。そして、実際に撮像部1が撮像を行う環境においても、撮像対象および周辺物体、光源は（上述のコンピュータグラフィックスの場合と同様に）事前撮影時と同等の環境が維持されるようにしておくことが望ましい。

図４は、関連情報に実在の物体を用いる場合の撮像画像と関連情報との例を示す図である。撮像画像P100はパーソナルコンピュータ等が配置された机上の風景を撮像したものであり、撮像対象としての所定模様が付されたマーカがパーソナルコンピュータ手前に配置されている。当該撮像画像P100に対して生成される関連情報R100では、同風景のマーカ上に商品の瓶が配置されている。当該関連情報R100は、同風景に実際に商品の瓶を配置して事前撮影することによって用意することができる。

以上の図３の[3-1]又は[3-2]で例示したいずれの実施形態（関連情報が撮像画像の一部又は全部として用意される実施形態）においても、撮像対象毎に用意される関連情報は、当該撮像対象が実際に撮像部1で撮像される際に取りうる位置及び姿勢のそれぞれにつき、網羅的に用意して記憶部3に保存しておくことが望ましい。

すなわち、ある所定の撮像対象Mに対する関連情報R_iは、一連の網羅的な位置姿勢C_i=(X_i, Y_i, Z_i, r_1i, r_2i, r_3i)(i=1, 2, …, n; nは当該網羅する個数)のそれぞれの関数R_i(C_i)として用意しておく。ここで、X_i, Y_i, Z_iは当該位置姿勢C_iにおける位置（平行移動の３自由度のパラメータ）であり、r_1i, r_2i, r_3iは当該位置姿勢C_iにおける姿勢（回転の３自由度のパラメータ）である。なお、図２の[1]では、当該網羅的に用意しておく対象となる一連の位置姿勢C_iのうちの一部分の例として、位置姿勢C1,C2,C3が描かれている。

以下、（１）〜（８）としてそれぞれ、本発明における種々の実施形態や補足的事項を説明する。

（１）各撮像対象Mに対する関連情報R_iは上記のように、予め網羅的に設定された一連の位置姿勢C_iの関数R_i(C_i)として、離散的に用意されている。従って、各時刻tの撮像画像P(t)に対する関連情報R(t)を制御部4が記憶部3から検索して求める際には、当該時刻tにおける撮像部1の撮像対象Mに対する位置姿勢C(t)に最も近いような位置姿勢C_{i_min}に対応する関連情報R_{i_min}(C_{i_min})を求めればよい。

ここで、前述のように一連の位置姿勢C_iの各々をC_i=(X_i, Y_i, Z_i, r_1i, r_2i, r_3i)と要素表示し、当該時刻tにおける撮像部1の撮像対象Mに対する位置姿勢C(t)を同じくC(t) =(X(t), Y(t), Z(t), r₁ (t), r₂ (t), r₃(t))と要素表示すると、最も近い位置姿勢C_{i_min}はそのインデクスi_minを以下の式[1],[2]によって求めることができる。

すなわち、式[1]のように、位置姿勢C(t)と位置姿勢C_iとの距離d_{[位置姿勢距離]}を最小にするようなiをi_minとして、最も近い位置姿勢C_{i_min}を定めればよい。位置姿勢間の距離については、式[2]で示すような6次元空間におけるユークリッド距離として求めてもよいし、当該距離の各要素に所定の重み（重みをゼロとして当該要素を考慮しない場合を含む）を付与して算出される距離によって求めてもよいし、その他の定義の距離によって求めてもよい。

（２）以上の（１）の実施形態では、位置姿勢同士で定義される距離d_{[位置姿勢距離]}を用いた。当該距離の定義に関する別の実施形態として、当該位置姿勢における撮像対象Mの所定の特徴点（推定部2で抽出されるSIFT等の所定の画像特徴量における特徴点）の画像上の座標位置(u, v)同士で定義される距離d_{[画像距離]}を用いることで、最も近い位置姿勢C_{i_min}を定めるようにしてもよい。

すなわち、一連の位置姿勢C_iにおいて予め抽出され推定部2（及び記憶部3）に登録しておく画像上の特徴点の座標を(u_i[j], v_i[j])(j=1, 2, …)とし、当該時刻tの撮像画像P(t)より抽出された当該姿勢C(t)に対応する特徴点の座標を(u_[j](t), v_[j](t))(j=1, 2, …)とすると、以下の式[3],[4]によって画像上での距離d_{[画像距離]}を最小にするようなiをi_minとして、最も近い位置姿勢C_{i_min}を定めてもよい。なお、共通の添え字jを付した座標(u_i[j], v_i[j])と座標(u_[j](t), v_[j](t))とは、対応する特徴量がマッチングによって互いに対応付けられた座標同士であることを表している。

ここで、式[4]において添え字jについての和は、特徴量同士がマッチングされた個数の分だけ取るようにすればよい。当該マッチングされた個数に応じた規格化項を式[4]に追加してもよい。式[4]では距離を2乗距離として定義しているが、その他の定義による距離を用いてもよい。添え字jによって和を取る各要素には、特徴量同士のマッチング度合い（類似度）に応じた重みや、その他の所定の重みを付与してもよい。

なお、一連の位置姿勢C_iにおける画像上の特徴点の座標(u_i[j], v_i[j])(j=1, 2, …)を記憶部3に事前登録するので、記憶部3では当該位置姿勢C_i及びその他の情報に紐付く形で当該座標を記憶することとなる。

（３）上記（１）、（２）の実施形態では次のような問題が生ずることがありうる。すなわち（１）及び（２）の実施形態では共に、それぞれ定義した距離d_{[位置姿勢距離]}又はd_{[画像距離]}を用いることにより、推定部2に予め登録された一連の離散的な位置姿勢C_iの中から、各時刻tの撮像画像P(t)より求まる位置姿勢C(t)に最も近いと判定される位置姿勢C_{i_min}を算出した。

従って、ある時刻t=t1の画像P(t1)において突発的に、ノイズが発生していたり撮像対象Mの一部にオクルージョンが生じている等の外乱がある場合には、算出される位置姿勢C_{i_min}も当該突発的な外乱を受けてしまうこととなる。当該突発的な変動は、当該時刻t1において実際の位置姿勢C(t1)から突発的に乖離した形で所定物体等を重畳させた提示情報を与える。例えば、時刻t1において突発的に提示情報が大きなズレを伴って表示されることとなる。当該表示は、時系列上で連続してリアルタイムに提示部5の提示情報を見るユーザに対して不自然な印象を与えるため、好ましくない。

従って、当該各時刻tにつき判定される位置姿勢C_{i_min}=C_{i_min(t)}（時刻t依存を明記してインデクスをi_min=i_min(t)と書いた）が時間軸上で滑らかに変動するように、直近の過去時刻t-1において既に判定された位置姿勢C_{i_min(t-1)}から当該時刻tにおける位置姿勢C_{i_min(t)}が極端に変動することを抑制するようなコスト項を前述の式[1]又は式[3]に追加したうえで、当該時刻tの位置姿勢C_{i_min(t)}を判定するようにしてもよい。具体的には、式[1]又は式[3]に代えて以下の式[5]で当該時刻tの位置姿勢C_{i_min(t)}を判定すればよい。

ここで、αは0<α<1の定数であり、追加したコスト項d_[距離](C_i-C_{i_min(t-1)})をどれだけ考慮するかの重みを定めるものである。αが小さいほどコスト項が大きく考慮される。また、d_[距離]については、式[1]に対応する式[2]又は式[3]に対応する式[4]のいずれかの定義による距離d_{[位置姿勢距離]}又はd_{[画像距離]}を用いればよい。

なお、d_[距離](C_i-C_{i_min(t-1)})の部分について式[2]又は式[4]を適用するに際しては、それぞれの式におけるC_i-C(t)の部分のうちC(t)の項をC_{i_min(t-1)}で置き換えればよい。すなわち、当該直近の時刻t-1において最も近いと判定された位置姿勢C_{i_min(t-1)}に該当するものとして推定部2に予め登録されている位置姿勢の６パラメータ又は画像上の座標位置により、それぞれ式[2]又は式[4]のC(t)の部分に該当する各要素を置き換えるようにすればよい。

上記の式[5]では直近の過去時刻t-1において判定された位置姿勢C_{i_min(t-1)}からの変動のみを加味しているが、さらに前の過去時刻t-2, t-3等における位置姿勢C_{i_min(t-2)}, C_{i_min(t-3)}等からの変動も加味したうえで同様に、当該時刻tの位置姿勢C_{i_min(t)}を判定するようにしてもよい。この場合も上記式(5)におけるαのように所定の重みをそれぞれの過去時点において付与するようにすればよい。

（４）前述のように、各撮像対象Mに定義される関連情報R_iは離散的な位置姿勢C_iの関数として、いわば「量子化」されて用意されている。従って、提示情報として各時刻tにおいてリアルタイムに提示する際に、撮像部1・撮像対象M間の位置姿勢C(t)に応じて滑らかに変動するように、当該時刻tの位置姿勢C(t)に最も近いと判定された位置姿勢に対応する関連情報R_iを直接利用するのではなく、画像処理分野で周知のモーフィング技術を適用した関連情報R_mを利用するようにしてもよい。具体的には例えば、以下の（ステップ１）〜（ステップ５）のようにしてモーフィングによる関連情報R_mを制御部4において算出することができる。

（ステップ１）まず、当該時刻tにおける位置姿勢C(t)に近い位置姿勢C_iのうち上位所定数のものを、推定部2で登録している一連の離散的な位置姿勢C_iより検索する。当該検索には前述の式[2]又は[4]で定義される距離を利用すればよい。ここで説明例として、上位2個を検索して位置姿勢C_i及びC_jが得られたとし、対応する関連情報がR_i及びR_jであるものとする。

（ステップ２）次に、推定部2の推定に用いた特徴点（推定部2において事前登録されている）に該当する点を当該上位所定数の関連情報R_i及びR_j（上位2個の場合）から求め、それぞれ、ドロネー三角分割により特徴点から構成される三角パッチを生成する。

（ステップ３）次に、推定部2の推定に用いる特徴量（推定部2において事前登録されている）に対応する特徴量を当該上位所定数の関連情報R_i及びR_j（上位2個の場合）の特徴点周りから求め、当該特徴量同士が一致すると判定されるもの同士を対応付けることで、複数の関連情報（上位2個の場合、R_i及びR_j）間の三角パッチ同士の対応関係を算出する。

（ステップ４）続いて、モーフィングによって補間する位置、姿勢に対応する特徴点を複数の関連情報（上位2個の場合、R_i及びR_j）のそれぞれの三角パッチ毎に内分によって求める。なお、内分のための比は（ステップ１）で計算した距離の逆関数で定めてもよいし、等比など所定比としてもよい。ここで、三角パッチ毎の内分はアフィン変換によってなされ、アフィン変換係数を算出する。

（ステップ５）最後に、ポリゴン毎にアフィン変換でテクスチャを変形し、全ポリゴンの画像を１つに集めることで、モーフィングによる関連情報R_mを算出することができる。

なお、上記の（ステップ２）及び（ステップ３）に関して、各関連情報R_iにおける特徴点及び特徴量を推定部2に事前登録されている特徴点及び特徴量と対応付けるという形により事前に実施しておき、その結果を制御部4が保持しておくようにしてもよい。この場合、特徴点及び特徴量には全ての関連情報R_i間で共通であり、且つ、推定部2の登録情報とも対応したID（識別子）が事前付与されることとなるので、各時刻tの撮像画像P(t)につきその都度（ステップ２）及び（ステップ３）を実行する必要はなくなる。

（５）図３の[3-2]の例で説明したように、関連情報R_iを撮像画像P(t)の全領域を占めるものとして構成し、撮像画像を置き換えるあるいは上書きする形で提示情報D(t)を生成する実施形態においては、制御部4は次のような追加処理を行ってもよい。

まず、当該追加処理の意義を述べる。すなわち、当該実施形態においては、図４等で説明したように関連情報R_iを、画面全体（撮像画像P(t)の全領域）に対する事前撮影等によって用意しておくこととなる。従って、撮像部1で実際に撮像された現場に、当該事前撮影時には存在しなかった何らかの外部対象O_ext（例えば、人物や、撮像部1で撮像したユーザが誤って写した自分自身の指など）が存在して、撮像画像P(t)に撮像されていた場合、次のような不都合が生じる。すなわち、当該外部対象O_extが事前撮影等で得られる関連情報R_iには含まれないため、生成される提示情報D(t)も外部対象O_extが存在しないような画像となってしまい、ユーザに不自然な印象を与えることとなってしまうという不都合が生じる。（なお、用途によっては外部対象O_extが存在しない提示情報D(t)であっても不都合ではない場合もありうる。）

従って、当該追加処理は、上記不都合となりうる問題を解決して、関連情報R_iを事前に用意しておくための事前撮影等の際には存在しなかった外部対象O_extを、提示情報D(t)の画像内にも存在させるようにするという処理である。具体的には、次の（ステップ１０）及び（ステップ１１）のようにすればよい。

（ステップ１０）まず、外部対象O_extの領域を、撮像画像P(t)と、対応する関連情報R_iにおいて所定の対象Oを画像として重畳しない場合の情報（背景情報R_i'とする）と、に差分が生じている領域として検出する。

ここで、背景情報R_i'は関連情報R_iに紐付けて記憶部3に事前に記憶させておき制御部4が読み出せばよい。背景情報R_i'はすなわち、外部対象O_extが全く存在しない場合に得られることとなる撮像画像P(t)を事前に用意しておくものである。従って、前述のように高品位化のため光源分布を考慮する等して実写によって関連情報R_iを用意する際に、併せて所定対象Oを除外した同環境において実写を行うことにより、背景情報R_i'を用意すればよい。

また、差分が生じている領域の検出については、各種の周知手法により検出すればよい。例えば、撮像画像P(t)及び対応する関連情報R_iの両画像において各画素位置(u, v)の画素値の差を求め、当該差が所定の閾値を超える一連の画素に対して周知のモルフォジー演算等により外部対象O_extの領域を抽出すればよい。

（ステップ１１）次に、提示情報D(t)を、関連情報R_iに対して上記（ステップ１０）で検出された撮影画像P(t)における外部対象O_extの領域の部分を重畳した情報として生成する。

なお、（ステップ１０）において外部対象O_extの領域が未検出と判定される場合もあるが、この場合には通常通りに画面全体として構成されている関連情報R_iをそのまま提示情報D(t)とすればよい。

また、（ステップ１０）において検出された外部対象O_extの領域が、関連情報R_iに置き換えることによって撮影画像P(t)に重畳させようとしている所定対象Oの領域と重なっている場合には、提示部5において所定対象Oの全体を提示情報として表示させるべく、当該重なり部分に関しては重畳させる外部対象O_extの領域から除外するようにしてもよい。

図５は、図４の撮像画像P100及び関連情報R100の例に対応する例で、外部対象が混在する場合の例を示す図である。ここでは、図４の撮像画像P10において右上側に外部対象としての指の一部が映り込んでいる場合に、当該外部対象を重畳させることで生成された提示情報D100の例が示されている。

（６）式[1]〜[5]等で説明した各実施形態においては、制御部4は記憶部3に保存された網羅的な位置姿勢C_iを検索する必要がある。当該検索の負荷を下げるべく、位置姿勢C_iの各々には自身との距離が所定の閾値THによる判定で小さいと判定される一連の別の位置姿勢{C_j|d_[距離](C_i-C_j)<TH}の情報を予め紐付けたうえで、記憶部3に事前記憶しておいてもよい。

この場合、各時刻tにおいて最も近い位置姿勢C_{i_min(t)}を検索するに際して、記憶部3に保存された全ての位置姿勢C_iを検索する代わりに、その一部分である位置姿勢{C_j|d_[距離]( C_{i_min(t-1)}-C_j)<TH}のみを検索することで、負荷を低減することができる。ただしここで、当該閾値THで制限された範囲を超えるような位置姿勢の変動が隣接する時刻t-1,t間で発生しないことを前提とする。

（７）関連情報を事前に用意するに際しては、以上説明した手法に限らず、用途に応じた手法で用意することができる。例えば以上の説明では、関連情報が撮像画像の一部分の領域を占める場合、コンピュータグラフィックス（CG）による事前描画を行うことができ、全体を占める場合、同環境による事前撮影（実写）を行うことができるとして説明したが、この逆の組み合わせで関連情報を用意してもよいし、CG又は実写のいずれか片方のみを用いてもよい。（撮像画像の一部分を実写で置き換える場合は、実写した画像から周知の領域抽出法等にて関連情報を抽出すればよい。）また、実写とCGとを組み合わせた手法で関連情報を用意してもよい。また、関連情報として重畳させる対象は、撮像対象毎に複数存在してもよい。画面全体を対象として事前描画あるいは事前撮影を行う場合も、実際に撮像部1が撮像する環境から大きく変わる環境において実施し、提示部5においていわゆる「パラレルワールド」を表示させるようにしてもよい。

（８）本発明は、コンピュータを情報端末装置10として機能させるプログラムとしても提供可能である。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが情報端末装置10の各部の機能に対応する命令を実行することとなる。

10…情報端末装置、1…撮像部、2…推定部、3…記憶部、4…制御部、5…提示部

Claims (11)

1. 撮像を行って撮像画像を取得する撮像部と、
   前記撮像画像より所定の撮像対象を特定すると共に、当該撮像対象と前記撮像部との相対的な位置姿勢を推定する推定部と、
   撮像対象ごとにその位置姿勢の各々に応じて予め描画された関連情報を記憶する記憶部と、
   前記特定された撮像対象及び前記推定された位置姿勢に応じた関連情報を前記記憶部から読み出して提示情報を生成する制御部と、
   前記生成された提示情報を提示する提示部と、を備えることを特徴とする情報端末装置。
2. 前記制御部は、前記推定部が前記撮像画像より所定の撮像対象を特定できた場合には、前記読み出した関連情報を前記取得した撮像画像に重畳することによって前記提示情報を生成し、前記推定部が前記撮像画像より所定の撮像対象を特定できなかった場合には、前記取得した撮像画像を前記提示情報とすることを特徴とする請求項１に記載の情報端末装置。
3. 前記記憶部は、撮像対象ごとにその位置姿勢に応じた所定の拡張現実表示を構成するような情報として関連情報を記憶することを特徴とする請求項１または２に記載の情報端末装置。
4. 前記記憶部は、撮像画像の全範囲に渡る実写画像として構成された画像を含んで、撮像対象ごとにその位置姿勢に応じた所定の拡張現実表示を構成するような情報として、前記関連情報を記憶することを特徴とする請求項１ないし３のいずれかに記載の情報端末装置。
5. 前記記憶部は、前記実写画像を、撮像画像に対して所定の重畳表示を加えた画像として記憶し、当該実写画像に紐付けて当該所定の重畳表示を省略した際の撮像画像に対応する背景画像を記憶し、
   前記制御部は、前記撮像画像の全範囲に渡る実写画像として構成された画像としての関連情報を前記記憶部より読み出した際には、前記取得された撮像画像と、前記読み出した関連情報に前記紐付く背景画像と、の差分をなす領域を外部領域として求め、当該外部領域を前記読み出した関連情報に重畳することで、前記提示情報を生成することを特徴とする請求項４に記載の情報端末装置。
6. 前記記憶部は、撮像画像の一部分の領域においてコンピュータグラフィックスにより生成された画像を含んで、撮像対象ごとにその位置姿勢に応じた所定の拡張現実表示を構成するような情報として、前記関連情報を記憶することを特徴とする請求項１ないし５のいずれかに記載の情報端末装置。
7. 前記記憶部は、撮像対象ごとにその離散的な位置姿勢の各々に応じて予め描画された関連情報を記憶し、
   前記制御部は、前記特定された撮像対象に応じた関連情報を、前記推定された位置姿勢が近いと判定される上位の所定数について前記記憶部より読み出し、当該上位の所定数の関連情報に対してモーフィングを施して生成される関連情報により、前記提示情報を生成することを特徴とする請求項１ないし６のいずれかに記載の情報端末装置。
8. 前記撮像部は時間軸上の所定サンプリングレートで連続的に撮像を行って撮像画像を取得し、
   前記制御部は、各時刻において、当該現時刻において前記特定された撮像対象及び前記推定された位置姿勢と、所定範囲の直近の過去時刻において前記読み出された関連情報に対する位置姿勢と、に応じた関連情報を前記記憶部から読み出して提示情報を生成することを特徴とする請求項１ないし７のいずれかに記載の情報端末装置。
9. 前記推定部は、所定の撮像対象につきあらかじめ抽出された画像特徴量と、前記撮像画像より抽出した画像特徴量と、をマッチングすることにより、前記撮像画像より所定の撮像対象を特定すると共に、当該撮像対象と前記撮像部との相対的な位置姿勢を推定し、
   前記記憶部は、撮像対象ごとにその位置姿勢の各々に応じて予め描画された関連情報を、当該位置姿勢における撮像対象の画像より予め抽出される画像特徴量と紐付けて記憶し、
   前記制御部は、前記推定された位置姿勢に応じた関連情報を前記記憶部から読み出すに際して、前記記憶部に紐付けて記憶された画像特徴量の画像座標のうち、前記推定された位置姿勢において前記抽出された画像特徴量の画像座標に一致していると判定されるものに対応する関連情報を読み出すことを特徴とする請求項１ないし８のいずれかに記載の情報端末装置。
10. 撮像を行って撮像画像を取得する撮像段階と、
    前記撮像画像より所定の撮像対象を特定すると共に、当該撮像対象と前記撮像部との相対的な位置姿勢を推定する推定段階と、
    撮像対象ごとにその位置姿勢の各々に応じて予め描画された関連情報を記憶する記憶段階と、
    前記特定された撮像対象及び前記推定された位置姿勢に応じた関連情報を前記記憶段階で記憶された関連情報から読み出して提示情報を生成する制御部と、
    前記生成された提示情報を提示する提示段階と、を備えることを特徴とする方法。
11. コンピュータを請求項１ないし９のいずれかに記載の情報端末装置として機能させることを特徴とするプログラム。