JP2011118834A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】実空間画像における３次元空間のスケールに適したサイズの仮想情報を重畳する。
【解決手段】情報処理装置１０は、実空間画像を取得する画像取得部１５２と、実空間画像の３次元空間構造を解析する空間解析部１５４と、実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出するスケール基準検出部１５８と、スケール基準検出部により検出されたオブジェクトの長さから、３次元空間のスケールを決定するスケール決定部１６０と、を備える。
【選択図】図４

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

最近では、拡張現実技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の一環として撮影画像などの実空間情報に対して仮想的な情報を重畳して表示することが行われている。例えば、撮影画像に含まれる所定のマークなどを読み取り、該マークに対応する仮想的な情報を実空間画像に重畳して表示することができる（例えば、特許文献１）。

特開２００８−５１０２５４号公報

しかし、特許文献１では、撮像された実空間画像における空間のスケールが不明であるため、仮想情報を適切な大きさで実空間画像に重畳させて表示することができないという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、実空間画像における３次元空間のスケールに適したサイズの仮想情報を重畳することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、実空間画像を取得する画像取得部と、前記実空間画像の３次元空間構造を解析する空間解析部と、前記実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出するスケール基準検出部と、前記スケール基準検出部により検出された前記オブジェクトの長さから、３次元空間のスケールを決定するスケール決定部と、を備える情報処理装置が提供される。

また、上記情報処理装置は、さらに、前記実空間画像に重畳表示する仮想情報と前記仮想情報の実寸サイズとを関連付けて記憶している記憶部と、前記スケール決定部により決定されたスケールに応じてサイズ調整された前記仮想情報を、前記実空間画像に配置する仮想情報配置部と、前記実空間画像に前記仮想情報を重畳した出力画像を生成する画像生成部と、を備えてもよい。

また、前記スケール基準検出部により検出されるスケール基準となるオブジェクトは、人物であってもよい。

また、前記スケール基準検出部により検出されるスケール基準となるオブジェクトは、顔であってもよい。

また、前記スケール基準検出部は、前記実空間画像に含まれるオブジェクトのうち、鮮明に撮像されているオブジェクトを、優先的に基準となるオブジェクトとしてもよい。

また、前記スケール基準検出部は、前記実空間画像に含まれるオブジェクトのうち、撮像装置から近い距離に位置しているオブジェクトを、優先的に基準となるオブジェクトとしてもよい。

また、前記スケール基準検出部は、前記実空間画像に含まれるオブジェクトのうち、撮像装置の水平位置に近いオブジェクトを、優先的に基準となるオブジェクトとしてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、実空間画像を取得するステップと、前記実空間画像の３次元空間構造を解析するステップと、前記実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出するステップと、前記検出されたオブジェクトの長さから、３次元空間のスケールを決定するステップと、を含む情報処理方法が提供される。

また、コンピュータを、実空間画像を取得する画像取得部と、前記実空間画像の３次元空間構造を解析する空間解析部と、前記実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出するスケール基準検出部と、前記スケール基準検出部により検出された前記オブジェクトの長さから、３次元空間のスケールを決定するスケール決定部と、を備える情報処理装置として機能させる、プログラムが提供される。

以上説明したように本発明によれば、実空間画像における３次元空間のスケールに適したサイズの仮想情報を重畳することができる。

本発明の実施形態に係る情報処理装置の概要を説明する説明図である。 同実施形態にかかる情報処理装置の概要を説明する説明図である。 同実施形態にかかる情報処理装置のハードウェア構成を示すブロック図である。 同実施形態にかかる情報処理装置の機能構成を示すブロック図である。 同実施形態にかかる記憶部の記憶内容を説明する説明図である。 同実施形態にかかるスケール基準検出部の検出結果の例を説明する説明図である。 同実施形態にかかる情報処理装置の全体動作を示すフローチャートである。 同実施形態にかかるスケーリング処理の詳細を示すフローチャートである。 同実施形態にかかる仮想情報配置処理の詳細を示すフローチャートである。 同実施形態にかかる仮想情報の配置例を説明する説明図である。 他の実施形態にかかる情報処理装置とサーバの機能構成を示すブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕情報処理装置の概要
〔３〕情報処理装置のハードウェア構成
〔４〕情報処理装置の機能構成
〔５〕情報処理装置の動作の詳細

〔１〕本実施形態の目的
まず、本実施形態の目的について説明する。最近では、拡張現実技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の一環として撮影画像などの実空間情報に対して仮想的な情報を重畳して表示することが行われている。例えば、撮影画像に含まれる所定のマークなどを読み取り、該マークに対応する仮想的な情報を実空間画像に重畳して表示することができる。しかし、撮像された実空間画像における空間のスケールが不明であるため、仮想情報を適切な大きさで実空間画像に重畳させて表示することができないという問題があった。

そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる情報処理装置１０が創作されるに至った。本実施形態にかかる情報処理装置１０によれば、実空間画像における３次元空間のスケールに適したサイズの仮想情報を重畳することが可能となる。

〔２〕情報処理装置の概要
次に、図１および図２を参照して、情報処理装置１０の概要について説明する。図１および図２は、情報処理装置１０の概要を説明する説明図である。情報処理装置１０は、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯用ゲーム機器や小型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）など、表示装置を備える情報処理端末を例示することができる。情報処理装置１０には、実空間画像に重畳される仮想情報が登録されている。

図１に示したように、画像５００は、情報処理装置１０の表示部に表示される画像である。画像５００には、情報処理装置１０に備わる撮像装置により撮像された実空間画像に仮想情報５０１が重畳して表示されている。画像５００では、仮想情報５０１として、ネコやイヌなどが表示されている。画像５００に表示されている仮想情報５０１のサイズは、実空間画像の実物体である人よりも大きいサイズとなってしまっている。これは、実空間画像のスケールや、仮想情報の実空間画像における大きさなどが不明なため、仮想情報５０１を適切なサイズに調整することができないためである。

一方、画像５１０では、人物５１２の高さに合わせて、仮想情報５１１のサイズが調整されて実空間画像に重畳されている。情報処理装置１０は、人物５１２の高さをもとに、実空間画像のスケール基準を決定して、該スケール基準に合ったサイズに仮想情報５１１を調整する。例えば、スケール基準となるオブジェクトを人物５１２とした場合、画像内の人物５１２の長さが１６．５目盛であり、人物の平均身長が１６５ｃｍであれば、空間のスケールは１０ｃｍ／目盛となる。

仮想情報５１１のネコの実寸サイズが５０ｃｍであることが登録されている場合、上記方法により算出された空間スケールに合わせて、ネコのサイズは５目盛であることがわかる。このように、本実施形態では、実空間画像における３次元空間のスケールに適したサイズの仮想情報を重畳して表示することが可能となる。

また、図２に示したように、画像５２０では、仮想情報５２１の大きさは人物に対して適切な大きさとなっているが、３次元空間の奥に配置された仮想情報５２２は適切な大きさで表示されていない。画像５２０においては、右側の画像は３次元空間において奥行きのある画像となっているにも関わらず、仮想情報５２２のサイズは３次元空間の奥行きとは合わないサイズとなっている。

（後で追加？）
一方、画像５３０では、仮想情報５３１は、実空間画像内の人物５３３の高さに合った大きさとなっており、仮想情報５３２は、３次元空間の奥行きに合った大きさとなっている。このように、情報処理装置１０は、実空間画像のスケールに適したサイズの仮想情報を重畳し、さらに、実空間画像の３次元空間における奥行きに適したサイズの仮想情報を重畳することができる。

〔３〕情報処理装置のハードウェア構成
以上、情報処理装置１０の概要について説明した。次に、図３を参照して、情報処理装置１０のハードウェア構成について説明する。図３は、情報処理装置１０のハードウェア構成を示すブロック図である。情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、ホストバス１０４と、ブリッジ１０５と、外部バス１０６と、インタフェース１０７と、入力装置１０８と、出力装置１０９と、ストレージ装置（ＨＤＤ）１１０と、ドライブ１１１と、通信装置１１２とを備える。

ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバス１０４により相互に接続されている。

ホストバス１０４は、ブリッジ１０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０６に接続されている。なお、必ずしもホストバス１０４、ブリッジ１０５および外部バス１０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置１０８は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、該入力装置１０８を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置１０９、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。出力装置１０９は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。

ストレージ装置１１０は、本実施形態にかかる情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置１１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置１１０は、ハードディスクを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。また、このストレージ装置１１０には、後述の、アイテム、識別番号などを記憶する。

ドライブ１１１は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ１１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ１０３に出力する。

通信装置１１２は、例えば、通信網５０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１１２は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

〔４〕情報処理装置の機能構成
以上、情報処理装置１０のハードウェア構成例について説明した。次に、図４を参照して、本実施形態にかかる情報処理装置１０の機能構成について説明する。図４は、本実施形態にかかる情報処理装置１０の機能構成を示すブロック図である。

図４に示したように、情報処理装置１０は、画像取得部１５２、空間解析部１５４、記憶部１５６、スケール基準検出部１５８、スケール決定部１６０、仮想情報配置部１６２、画像生成部１６４、画像出力部１６６などを備える。

画像取得部１５２は、実空間画像を取得する機能を有する。実区間画像とは、撮像装置（図示せず）により撮像された風景などの画像である。撮像装置は、情報処理装置１０と一体として構成されていてもよいし、別体の装置として構成されていてもよい。例えば、情報処理装置１０とは別体の撮像装置により撮像された画像をメモリカード等の記憶装置に記憶させて、画像取得部１５２により取り込むようにしてもよい。画像取得部１５２は、取得した実空間画像を空間解析部１５４に提供する。

空間解析部１５４は、画像取得部１５２から提供された実空間画像の３次元空間としての構造を解析する。実空間画像をもとに、３次元の構造を解析する方法としては、画像の濃淡を認識することにより実空間画像の３次元の構造を解析してもよいし、実空間画像に含まれる建物などのフレームを検出して、フレームの構成をもとに３次元の構造を解析するようにしてもよい。

記憶部１５６には、実空間画像に重畳される仮想情報と、該仮想情報の実際のサイズとが関連付けて記憶されている。図５は、記憶部１５６の記憶内容４００を説明する説明図である。図５に示したように、仮想情報４０１と仮想情報のサイズ４００とが関連付けられて記憶されている。仮想情報４０１は、仮想情報を識別する識別情報を有していてもよい。仮想情報４０１として、各仮想情報の画像が記憶されていてもよいし、仮想情報の識別情報のみ記憶されており、仮想情報の識別情報に関連付けられた画像をサーバ等他の装置から取得するようにしてもよい。

図５に示したように、記憶部１５６には、例えば、仮想情報の３Ｄモデル４０１の「ネコ」とサイズ４０２の「５０ｃｍ」、仮想情報の３Ｄモデル４０１の「イヌ」とサイズ４０２の「６０ｃｍ」が関連付けられて記憶されている。また、仮想情報の３Ｄモデル４０１の「○○ホテル」とサイズ４０２の「１００ｍ」が関連付けられて記憶されている。仮想情報の３Ｄモデル４０１とサイズ４０２は、予め記憶されていてもよいし、ユーザ入力に応じて記憶内容を更新したり追加したりしてもよい。

図４に戻り、スケール基準検出部１５８は、実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出する機能を有する。実空間画像に含まれるスケール基準となるオブジェクトとは、例えば、人物や顔など、その平均的な長さが明らかなものが挙げられる。人物の身長や、顔の長さ、目の間の距離などについては、予め平均的な長さを得ることができる。また、長さとは、３次元空間座標系における長さであり、例えば目盛数などが挙げられる。

図６に、スケール基準検出部１５８の検出結果４１０の例を示した。例えば、図６に示したように、スケール基準検出部１５８は、あるオブジェクトの長さ５１１として１６．５を検出する。検出したオブジェクトのプロパティ４１２は、「人物、男性、大人、起立」である。また、仮想空間での該オブジェクトの一座標は、「（１、２、３）」と検出される。また、スケール基準オブジェクトのプロパティとして、「座っている」状態であることを検出して、座っている状態の長さ（身長）を検出してもよい。さらに、スケール基準オブジェクトのプロパティとして「顔」であることを検出して、顔の長さ（目と目の間隔）を検出してもよい。実空間画像に含まれる人物の身長や顔の長さなどは、例えば、特開２００６−２０９３３４に記載されている公知の技術を用いて検出することが可能である。

特開２００６−２０９３３４では、人物などを撮影して２次元画像を取得し、取得した２次元画像から人物領域を抽出して３次元空間中の複数の水平面上に投影する。そして、各水平面上に投影された人物の写像を積分して積分値を算出し、算出された積分値のピークが位置する３次元空間中の水平位置を人物の位置として検出するとともに、このピークが位置する三次元空間中の水平位置に人物の写像が存在する最も高い水平面の高さを人間の高さとして検出する。

図４に戻り、スケール基準検出部１５８の機能の説明を続ける。実空間画像に複数の人物や顔がある場合には、複数の人物や顔のうち、より鮮明に撮像されているオブジェクトを優先的にスケール基準となるオブジェクトとし、その長さを検出する。また、情報処理装置１０から近い距離に位置している人物等を優先的にスケール基準となるオブジェクトとして、その長さを検出してもよい。

さらに、情報処理装置１０の水平位置に近いオブジェクトを優先的にスケール基準となるオブジェクトとして、その長さを検出してもよい。情報処理装置１０と高さ方向の差が大きい場所に位置しているオブジェクトは、身長の長さや顔の長さなどを正確に検出するのが困難なため、情報処理装置１０の水平位置に近いオブジェクトを優先的に選択する。また、身長差の著しい子供ではなく、一般的な人物の身長を有する男性を優先的にスケール基準となるオブジェクトとしてもよい。

また、人物が座っている状態の場合には、スケール基準となるオブジェクトが座っている状態であることを検出して、座っている状態の長さ（例えば、１４．８）を検出する。このように、スケール基準検出部１５８は、オブジェクトの長さとともに、オブジェクトのプロパティも検出して、検出結果をスケール決定部１６０に提供する。

スケール決定部１６０は、スケール基準検出部１５８により検出されたオブジェクトの長さから、３次元空間のスケールを決定する機能を有する。例えば、スケール基準検出部１５８から、スケール基準となるオブジェクトは人物であり、その長さが１６．５目盛であると通知されたとする。この場合人物の平均身長が１６５ｃｍであると予め設定されている場合には、空間のスケールは１０ｃｍ／目盛に決定することができる。

また、上記したように、スケール基準検出部１５８から、オブジェクトの長さとともにオブジェクトのプロパティが提供されている場合には、プロパティの特徴をもとに空間のスケールを決定することができる。すなわち、オブジェクトのプロパティとして、「人物」という情報だけでなく、「男性、大人、起立」などの情報が提供された場合には、大人の男性が起立している場合の平均的な実寸値を取得して、空間のスケールをより精密に決定することが可能となる。

また、スケール基準検出部１５８により、複数のオブジェクトの長さが提供された場合には、複数のオブジェクトのなかから、任意の一つのオブジェクトを選択して空間のスケールを決定してもよい。また、スケール基準検出部１５８から複数のオブジェクトの長さが提供された場合、複数のオブジェクトを用いて長さの値の平均化や外れ値の除外などを行って、統計的な算出処理により空間のスケールを算出するようにしてもよい。

また、スケール基準となるオブジェクトが複数ある場合には、オブジェクトのプロパティ情報に応じてグループに分類し、各グループに対して異なるスケール基準のオブジェクトの実際の長さを適用するようにしてもよい。例えば、オブジェクトのプロパティである性別や年齢、人物か顔の種別、人物の姿勢（起立、着座）などにより分類することが考えられる。

また、スケール基準検出部１５８において、実空間画像に含まれるすべてのオブジェクトの長さが検出される場合には、スケール決定部１６０により、任意のオブジェクトをスケール決定の処理から除外したり、各オブジェクトを重み付けしてスケールを決定したりするようにしてもよい。

例えば、情報処理装置１０から遠いオブジェクトは、スケール決定処理から除外してもよいし、情報処理装置１０から近いオブジェクトよりも低い重み付けで計算するようにしてもよい。上記したように、情報処理装置１０から遠いオブジェクトは画像的に不鮮明である可能性が高く、スケール決定処理に用いると計算精度が落ちるためである。

また、情報処理装置１０から高さ方向の差が大きい場所に位置しているオブジェクトを除外したり、情報処理装置１０の水平位置に近いオブジェクトよりも低い重み付けで計算したりするようにしてもよい。これは、上記したように、オブジェクトが情報処理装置１０よりも高さ方向の差が大きい場所に位置している場合には、正確な身長の検出が困難であるからである。

仮想情報配置部１６２は、スケール決定部１６０により決定されたスケールに応じてサイズ調整された仮想情報を、実空間画像に配置する機能を有する。上記したように、仮想情報は、記憶部１５６に、各仮想情報の実際のサイズと関連付けて記憶されている。仮想情報配置部１６２は、実空間画像に配置する仮想情報と仮想情報のサイズを記憶部１５６から取得して、スケール決定部１６０により算出された空間のスケールと、仮想情報のサイズの情報をもとに、仮想情報の３次元空間におけるサイズを算出する。

例えば、スケール決定部１６０により、空間のスケールが１０ｃｍ／目盛に決定された場合には、実際のサイズが５０ｃｍである仮想情報「ネコ」の３次元空間におけるサイズは「５目盛」となる。したがって、仮想情報配置部１６２は、仮想情報「ネコ」を５目盛に調整して適切な位置に配置する。

また、仮想情報配置部１６２は、仮想情報を配置する際に、仮想情報の位置が情報処理装置１０からの相対位置や相対距離、ＧＰＳ等の絶対位置で決められている場合には、仮想情報を適切な大きさに調整するとともに、３次元空間のスケールをもとに適切な位置に配置する。

画像生成部１６４は、上記仮想情報配置部１６２により配置される仮想情報を実空間画像に重畳して２次元の出力画像を生成する機能を有する。例えば、３次元空間座標上の仮想情報を仮想ディスプレイとなる２次元平面に投影した画像を、実空間画像に重畳して出力画像を生成する。画像生成部１６４は、生成した画像を画像出力部１６６に提供する。

画像出力部１６６は、画像生成部１６４より提供された画像をディスプレイ（図示せず）等に出力する機能を有する。ディスプレイ等の出力装置は、情報処理装置１０と一体であってもよし、別体の装置に備えられていてもよい。画像出力部１６６は、ディスプレイが情報処理装置１０と一体か別体かに関わらず、生成された画像をディスプレイに送出する。

なお、上記では、実空間画像に人物などのスケール基準となるオブジェクトが含まれている場合について説明したが、実空間画像にスケール基準となるオブジェクトが含まれていない場合には、スケール基準となるオブジェクトを撮像する必要がある旨のメッセージをディスプレイに表示して、ユーザに通知するようにしてもよい。

〔５〕情報処理装置の動作の詳細
以上、情報処理装置１０の機能構成について説明した。次に、図７〜図１０を参照して、情報処理装置１０の動作の詳細について説明する。図７は、情報処理装置１０の全体動作を示すフローチャートである。まず。画像取得部１５２は、撮像装置を介して情報処理装置１０の周辺の画像を取得する（Ｓ１０２）。

そして、空間解析部１５４は、ステップＳ１０２において取得した実空間画像の３次元空間としての構造を解析する。上記したように、実空間画像をもとに、３次元の構造を解析する方法としては、画像の濃淡を認識することにより実空間画像の３次元の構造を解析してもよいし、実空間画像に含まれる建物などのフレームを検出して、フレームの構成をもとに３次元の構造を解析するようにしてもよい。

次に、スケール基準検出部１５８およびスケール決定部１６０により、実空間画像のスケーリングが行われる（Ｓ１０６）。ここで、図８を参照して、ステップＳ１０６におけるスケーリング処理について詳細に説明する。図８は、スケーリング処理の詳細を示すフローチャートである。

図８に示したように、スケール基準検出部１５８は、スケール基準となるオブジェクトを選択して、該オブジェクトの長さを検出する（Ｓ１２２）。ステップＳ１２２において、スケール基準検出部１５８は、実空間画像に含まれる人物や顔など、その平均的な長さが明らかなオブジェクトを選択して、該オブジェクトの３次元空間座標系における目盛数などを検出する。

そして、スケール決定部１６０は、ステップＳ１２２において検出されたオブジェクトの長さから、３次元空間のスケールを決定する（Ｓ１２４）。ステップＳ１２２においてスケール基準となるオブジェクトは人物であり、その長さが１６．５目盛であると検出されたとする。人物の平均身長が１６５ｃｍであると予め設定されている場合には、ステップＳ１２４において、空間のスケールは１０ｃｍ／目盛と決定する。

以上、ステップＳ１０６におけるスケーリング処理の詳細について説明した。図７に戻り、説明を続ける。ステップＳ１０６においてスケーリング処理が実行された後、仮想情報配置部１６２により、実空間画像に仮想情報が配置される（Ｓ１０８）。ここで、図９を参照して、ステップＳ１０８における仮想情報配置処理の詳細について説明する。図９は仮想情報配置処理の詳細を示すフローチャートである。

図９に示したように、仮想情報配置部１６２は、まず記憶部１５６に記憶されている仮想情報を取得する（Ｓ１３２）。そして、ステップＳ１０６において決定された空間スケールをもとに、実空間画像における仮想情報のサイズを決定する（Ｓ１３４）。ステップＳ１３４においては、例えば、ステップＳ１０６において空間のスケールが１０ｃｍ／目盛に決定された場合には、実際のサイズが５０ｃｍである仮想情報「ネコ」の三次元空間におけるサイズは「５目盛」と決定される。

そして、ステップＳ１３２において取得した仮想情報を３次元空間座標に配置して（Ｓ１３６）、ステップＳ１３４において決定したサイズに仮想情報の３Ｄモデルのサイズを変換する（Ｓ１３８）。なお、ステップＳ１３６における仮想情報の配置は、ステップＳ１３２の直後に実行するようにしてもよい。

ここで、図１０を参照して、仮想情報の配置例について説明する。図１０は、仮想情報の配置例を説明する説明図である。図１０に示したように、画像５４０は、空間解析部１５４により３次元空間の構造が解析され、座標軸５４１が設定されている。画像５４０には複数の人物が含まれており、スケール基準検出部１５８により人物５４３の長さが検出されて、人物の目盛は１６．５目盛であり、実空間における身長は１６５ｃｍであるとする。スケール決定部１６０は、３次元空間のスケールを１０ｃｍ／目盛と決定する。

画像５４０では、仮想情報「ネコ」のサイズをスケールに合わせて変換せずに実空間画像に重畳している。したがって、画像５４０では、ネコのサイズは２０目盛となっており、人物とネコの大きさが実際の大きさと合っていない状態である。

画像５５０は、仮想情報配置部１６２により仮想情報のスケールが変換された結果の出力画像である。画像５５０では、仮想情報「ネコ」の実際のサイズは５０ｃｍであるため、３次元空間座標のスケール（１０ｃｍ／目盛）に合わせて、２０目盛から５目盛に変更されている。したがって、画像５５０では、人物５５２の大きさに対して、仮想情報「ネコ」５５３の大きさが適切な大きさとなっている。以上、仮想情報配置処理の詳細について説明した。

図７に戻り説明を続ける。ステップＳ１０８において、仮想情報が配置された後に、画像生成部１６４は、出力画像を生成する（Ｓ１１０）。ステップＳ１１０において、ステップＳ１０８においてスケール変換された仮想情報が、実空間画像上に重畳されて２次元の出力画像が生成される。そして、画像出力部１６６は、ステップＳ１６４において生成された画像をディスプレイに出力する（Ｓ１１２）。

以上、情報処理装置１０の動作の詳細について説明した。図７に示した各処理は、撮像装置のフレームレート等に合わせて周期的に実行するようにしてもよい。また、空間解析のステップ（Ｓ１０４）や、スケーリングのステップ（Ｓ１０６）や、仮想情報配置のステップ（Ｓ１０８）は、処理負荷の高いステップであるため、数周期に一度実行するようにしてもよい。また、スケーリングのステップ（Ｓ１０６）は、最初に一度だけ実行するようにして、周期的に行わなくてもよい。

（後で追加？）
また、本実施形態では、１つの実空間画像内で統一されたスケーリング処理を実行することとしたが、本発明はかかる例に限定されない。すなわち、１つの実空間画像内で、複数の空間ごとにスケーリングを変更するようにしてもよい。例えば、情報処理装置１０の近傍と遠方でそれぞれ異なる空間スケールを決定するようにしてもよい。これにより、情報処理装置１０の近傍に配置される仮想情報は、情報処理装置１０の遠方に配置される仮想情報よりも大きいサイズに変換されて配置されることとなり、実際の３次元空間と同様に仮想情報を配置することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書の情報処理装置１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、情報処理装置１０の処理における各ステップは、異なる処理であっても並列的に実行されてもよい。

また、情報処理装置１０などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

上記実施形態では、情報処理装置１０において各処理を実行することとしたが、本発明はかかる例に限定されない。例えば、情報処理装置１０における所定の処理をネットワークに接続されたサーバ２０において実行するようにしてもよい。図１１は、情報処理装置１０とサーバ２０の機能構成を示すブロック図である。

図１１に示したように、情報処理装置１５とサーバ２０とは、ネットワークを介して接続されている。情報処理装置１５は、画像取得部１５２および画像出力部１６６を有する。また、サーバ２０は、空間解析部２０２、スケール基準検出部２０４、スケール決定部２０６、記憶部２０８、仮想情報配置部２１０、画像生成部２１２などを備える。

サーバ２０における各部は、上記した情報処理装置１０に対応する各部と同様の機能を有するため、詳細な説明は省略する。図１１に示した構成とすることにより、空間解析処理やスケール決定処理や画像生成処理等の負荷の高い処理がサーバ２０において実行されることとなる。すなわち、情報処理装置１５において取得された実空間画像がネットワークを介してサーバ２０に送信される。そして、サーバ２０の空間解析部２０２は、送信された実空間画像を用いて実空間画像の３次元空間構造を解析する。さらに、スケール基準検出部２０４によりスケール基準となるオブジェクトの３次元空間における長さが検出されて、スケール決定部２０６により、３次元空間のスケールが決定される。そして、仮想情報配置部２１０により仮想情報のサイズがスケールに応じたサイズに調整されて、画像生成部２１２により該仮想情報を重畳した出力画像が生成される。画像生成部２１２により生成された画像が情報処理装置１５に送信されて、情報処理装置１５のディスプレイに表示される。

これにより、情報処理装置１５の処理性能が高くなく、負荷の高い処理を実行するのに時間がかかる場合でも、サーバ２０に実空間画像を送信するだけで、仮想情報が適切な大きさに変換された所望の画像を取得することが可能となる。

１０ 情報処理装置
１５２ 画像取得部
１５４ 空間解析部
１５６ 記憶部
１５８ スケール基準検出部
１６０ スケール決定部
１６２ 仮想情報配置部
１６４ 画像生成部
１６６ 画像出力部
１５ 情報処理装置
２０ サーバ
２０２ 空間解析部
２０４ スケール基準検出部
２０６ スケール決定部
２０８ 記憶部
２１０ 仮想情報配置部
２１２ 画像生成部

Claims (9)

1. 実空間画像を取得する画像取得部と、
   前記実空間画像の３次元空間構造を解析する空間解析部と、
   前記実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出するスケール基準検出部と、
   前記スケール基準検出部により検出された前記オブジェクトの長さから、３次元空間のスケールを決定するスケール決定部と、
   を備える情報処理装置。
2. 前記実空間画像に重畳表示する仮想情報と前記仮想情報の実寸サイズとを関連付けて記憶している記憶部と、
   前記スケール決定部により決定されたスケールに応じてサイズ調整された前記仮想情報を、前記実空間画像に配置する仮想情報配置部と、
   前記実空間画像に前記仮想情報を重畳した出力画像を生成する画像生成部と、
   を備える、請求項１に記載の情報処理装置。
3. 前記スケール基準検出部により検出されるスケール基準となるオブジェクトは、人物である、請求項１に記載の情報処理装置。
4. 前記スケール基準検出部により検出されるスケール基準となるオブジェクトは、顔である、請求項１に記載の情報処理装置。
5. 前記スケール基準検出部は、
   前記実空間画像に含まれるオブジェクトのうち、鮮明に撮像されているオブジェクトを、優先的にスケール基準となるオブジェクトとする、請求項１に記載の情報処理装置。
6. 前記スケール基準検出部は、
   前記実空間画像に含まれるオブジェクトのうち、撮像装置から近い距離に位置しているオブジェクトを、優先的にスケール基準となるオブジェクトとする、請求項１に記載の情報処理装置。
7. 前記スケール基準検出部は、
   前記実空間画像に含まれるオブジェクトのうち、撮像装置の水平位置に近いオブジェクトを、優先的にスケール基準となるオブジェクトとする、請求項１に記載の情報処理装置。
8. 実空間画像を取得するステップと、
   前記実空間画像の３次元空間構造を解析するステップと、
   前記実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出するステップと、
   前記検出されたオブジェクトの長さから、３次元空間のスケールを決定するステップと、
   を含む情報処理方法。
9. コンピュータを、
   実空間画像を取得する画像取得部と、
   前記実空間画像の３次元空間構造を解析する空間解析部と、
   前記実空間画像に含まれるスケール基準となるオブジェクトの３次元空間における長さを検出するスケール基準検出部と、
   前記スケール基準検出部により検出された前記オブジェクトの長さから、３次元空間のスケールを決定するスケール決定部と、
   を備える情報処理装置として機能させる、プログラム。
   

Images