JP2017130047A - 情報処理装置、情報処理システム、及びプログラム - Google Patents

Abstract

【課題】情報処理装置、情報処理システム、及びプログラムを提供する。【解決手段】撮像装置により取得される撮像画像から、少なくとも１の直角を含む外形を有するマーカを検出する認識部と、前記撮像画像から検出される前記マーカにおける前記直角をなす２辺の情報に基づいて、前記撮像装置の位置姿勢情報を特定する、特定部と、を備える情報処理装置。【選択図】図４

Description

本発明は、情報処理装置、情報処理システム、及びプログラムに関する。

近年、人間の知覚する実空間（現実空間）を拡張するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が広く用いられつつある。例えば、実空間を撮像する撮像装置（カメラ）と実空間の関係に基づいて、撮像された画像に仮想情報を重畳して表示させることで、ユーザは表示された仮想情報があたかも実空間に実在するかのように感じることができる。

上記のようなＡＲ技術を実現するため、例えば非特許文献１には、２組の平行な２辺を含む外形を有するマーカを用いて、カメラと実空間に存在するマーカの相対的な関係（相対位置、及び相対姿勢）を求める技術が開示されている。

加藤, M. Billinghurst, 浅野, 橘, "マーカー追跡に基づく拡張現実感システムとそのキャリブレーション", 日本バーチャルリアリティ学会論文誌, vol.4, no.4, pp.607-617, 1999.

しかし、上述した技術では、マーカの外形に２組の平行２辺が含まれる必要があり、利用可能なマーカの外形が限られるという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、より多様な外形のマーカを用いて、撮像装置の位置、または姿勢を得ることが可能な、新規かつ改良された情報処理装置、情報処理システム、及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像装置により取得される撮像画像から、少なくとも１の直角を含む外形を有するマーカを検出する認識部と、前記撮像画像から検出される前記マーカにおける前記直角をなす２辺の情報に基づいて、前記撮像装置の位置姿勢情報を特定する、特定部と、を備える情報処理装置が提供される。

前記特定部は、前記マーカにおける前記２辺に含まれない点の情報にさらに基づいて、前記位置姿勢情報を特定してもよい。

前記マーカにおける前記２辺に含まれない点の情報は、前記２辺の情報に基づいて得られてもよい。

前記位置姿勢情報は、前記マーカに対する前記撮像装置の相対位置、または相対姿勢の情報を含んでもよい。

前記位置姿勢情報は、実空間における前記撮像装置の位置または姿勢の情報を含んでもよい。

前記認識部は、前記マーカが示すマーカ情報を読み出し、前記特定部は、前記マーカ情報に基づいて、前記実空間における前記撮像装置の位置または姿勢を特定してもよい。

前記マーカ情報は、前記マーカの識別情報を含み、前記特定部は、前記識別情報に基づいて取得される、前記実空間における前記マーカの位置情報に基づいて、前記実空間における前記撮像装置の位置または姿勢を特定してもよい。

前記マーカ情報は、前記実空間における前記マーカの位置情報を含み、前記特定部は、前記実空間における前記マーカの位置情報に基づいて、前記実空間における前記撮像装置の位置または姿勢を特定してもよい。

前記位置姿勢情報に基づいて、表示を制御する表示制御部をさらに備えてもよい。

前記表示制御部は、前記位置姿勢情報に基づいて、前記撮像装置を示す情報を、所定の地図と重ね合わせて表示させてもよい。

前記表示制御部は、前記位置姿勢情報に基づいて、所定の目標を示す情報を、前記撮像画像と重ね合わせて表示させてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、撮像装置により取得される撮像画像から、少なくとも１の直角を含む外形を有するマーカを検出する認識部と、前記撮像画像から検出される前記マーカにおける前記直角をなす２辺の情報に基づいて、前記撮像装置の位置姿勢情報を特定する、特定部と、を備える情報処理システムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、撮像装置により取得される撮像画像から、少なくとも１の直角を含む外形を有するマーカを検出する機能と、前記撮像画像から検出される前記マーカにおける前記直角をなす２辺の情報に基づいて、前記撮像装置の位置姿勢情報を特定する機能と、を実現させるための、プログラムが提供される。

以上説明したように本発明によれば、より多様な外形のマーカを用いて、撮像装置の位置、または姿勢を得ることが可能である。

本発明の一実施形態に係る情報処理システム１００の概要を示す説明図である。 本発明に係るマーカ２の外形の他の例を示す説明図である。 同実施形態による撮像装置１の構成例を示すブロック図である。 同実施形態に係る情報処理装置３の構成例を示すブロック図である。 座標変換部３７３による座標変換について説明するための説明図である。 実空間に配置されるマーカ２の例を示す模式図である。 記憶部３９に記憶されるマーカ２の位置情報の例を示す説明図である。 同実施形態に係る情報処理システム１００の処理の流れを示すシーケンス図である。 実空間中の点と、撮像面における点の関係を説明するための模式図である。 カメラ座標系でのマーカ２の枠の内側の頂点の関係を示す模式図である。 非正方形マーカの外形の例を示す模式図である。 データセンタ内で本実施形態を利用した場合に、撮像装置１の表示操作部１７に表示される情報の例を示す説明図である。 データセンタ内で本実施形態を利用した場合に、撮像装置１の表示操作部１７に表示される情報の他の例を示す説明図である。 撮像装置がマーカの認識や位置姿勢情報の特定に係る処理を行う例を示すブロック図である。 撮像装置１以外の装置においても表示が行われる例を示すブロック図である。 ハードウェア構成例を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

＜＜１．概要＞＞
まず、図１を参照しながら、本発明の一実施形態に係る情報処理システムの概要を説明する。図１は、本発明の一実施形態に係る情報処理システム１００の概要を示す説明図である。

図１に示したように、本実施形態に係る情報処理システム１００は、撮像装置１、マーカ２、情報処理装置３、及び通信網５を有する情報処理システムである。図１に示したように、撮像装置１と情報処理装置３は、通信網５を介して相互に接続される。例えば、情報処理システム１００は、撮像装置１のユーザに、当該ユーザまたは撮像装置１の、位置や姿勢に関する情報を提示する。

撮像装置１は、マーカ２を含む実空間を撮像して取得した撮像画像を情報処理装置３に送信する情報処理装置である。撮像装置１は、例えばスマートフォンやタブレットＰＣ（Personal Computer）、携帯電話等のようにユーザによって所持されて移動する装置であってもよい。また、撮像装置１は、自律的、ユーザによる直接操作、あるい遠隔操作等により移動する装置、または当該装置に搭載される装置（例えば車載装置等）であってもよい。なお、本実施形態において撮像装置１はユーザによって所持される装置であり、撮像装置１の位置、及び姿勢は、それぞれ当該ユーザの位置、及び姿勢とも扱われるものとして説明を行う。

また、撮像装置１は、情報処理装置３から受信する情報に基づいて、撮像装置１のユーザへの情報提示を行う。例えば、撮像装置１は、実空間における撮像装置１の位置姿勢情報を情報処理装置３から受信し、受信した情報に基づいて撮像装置１のユーザへの情報提示を行ってもよい。撮像装置１の構成の詳細、及び撮像装置１が行う情報提示の例については後述する。なお、図１には撮像装置１は１つしか示されていないが、情報処理システム１００は、複数の撮像装置を有してもよい。

マーカ２は、実空間に配置され、撮像装置１によって撮像されるマーカである。図１では、マーカ２が正方形の外形を有する例を示したが、本発明に係るマーカは係る例に限定されない。

図２は、本発明に係るマーカ２の外形の他の例を示す説明図である。図２に示すマーカ２Ａ〜Ｆのように、本発明に係るマーカは、非正方形の外形を有し得る。例えば、本発明に係るマーカは、図２に示すマーカ２Ｂ，２Ｃのように、２組の平行な２辺を含まない外形を有してもよい。また、本発明に係るマーカは、その外形に少なくとも１の直角を含む。なお、図２に示すマーカ２Ａ〜Ｆは、全て左上の角が直角であるが、本発明に係るマーカが直角を有する位置は左上に限定されず、当然他の位置でもよい。

また、マーカ２の外形を形成する枠（以下、単に枠と呼ぶ場合もある）は、所定の色であってもよい。以下では、マーカ２の枠が赤色である場合を例に説明するが、本発明は係る例に限定されず、マーカ２の枠は他の色であってもよい。

また、図１に示すように、本実施形態に係るマーカ２は、外形を形成する枠の内部にマーカ情報を含むコード２２を有する。マーカ情報は、例えばマーカの識別情報（ＩＤ等）を含んでもよい。また、図１に示すようにコード２２は、例えばＱＲコード（登録商標）等の二次元コードであってもよい。

情報処理装置３は、撮像装置１から、マーカ２を含む実空間を撮像して取得した撮像画像を受信する。また、情報処理装置３は、受信した撮像画像に基づいて撮像装置１の位置姿勢情報を特定し、特定した位置姿勢情報を撮像装置１に送信する。例えば情報処理装置３が特定する位置姿勢情報は、マーカ２に対する撮像装置１の相対位置、または相対姿勢の情報を含んでもよい。また、位置姿勢情報は、実空間における撮像装置１の位置または姿勢の情報を含んでもよい。情報処理装置３は、撮像画像から検出されるマーカ２の枠に基づいて上記相対位置、及び相対姿勢を特定してもよい。また、情報処理装置３は、例えば撮像画像から検出されるコード２２から読み出されるマーカ情報に基づいて、実空間におけるマーカ２の位置を取得し、さらに実空間における撮像装置１の位置または姿勢を特定してもよい。情報処理装置３の構成の詳細については後述する。

通信網５は、通信網５に接続されている装置、またはシステムから送信される情報の有線、または無線の伝送路である。例えば、通信網５は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を含んでもよい。また、通信網５は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）等の専用回線網を含んでもよい。

上述したように、本実施形態による情報処理システム１００は、マーカ２を含む実空間を撮像して取得される撮像画像に基づいて、撮像装置１のユーザに、当該ユーザまたは撮像装置１の、位置や姿勢に関する情報を提示することが可能である。また、本実施形態による情報処理システム１００は、マーカ２の外形に２組の平行２辺が含まれない場合であっても、上述した情報提示を実現することが可能である。以下、このような効果を有する本実施形態による情報処理システム１００が備える、撮像装置１と情報処理装置３の構成について順次詳細に説明する。

＜＜２．構成＞＞
＜２−１．撮像装置の構成＞
図３は、本実施形態による撮像装置１の構成例を示すブロック図である。図３に示すように、撮像装置１は、制御部１１、撮像部１３、通信部１５、及び表示操作部１７を備える。

（制御部１１）
制御部１１は、撮像装置１が有する各構成を制御する。例えば、制御部１１は、撮像部１３を制御して、撮像部１３に撮像画像を取得させる。また、制御部１１は、通信部１５を制御して、情報処理装置３との間で情報を送受信させる。また、制御部１１は、表示操作部１７の表示を制御する表示制御部としての機能を有し、例えば、情報処理装置３から通信部１５が受信した位置姿勢情報に基づいて、表示操作部１７の表示を制御する。なお、制御部１１が表示操作部１７に表示させる情報の例については図１２、１３を参照して後述する。また、制御部１１は、表示操作部１７を介して入力されるユーザ操作を認識する。制御部１１は、認識されたユーザ操作に従って、上述した撮像装置１の制御を行ってもよい。

（撮像部１３）
撮像部１３は、実空間を撮像して撮像画像を取得する。例えば、撮像部１３は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を用いて実現される。本実施形態において、撮像部１３は、図１を参照して説明したマーカ２を含む実空間を撮像し、マーカ２を含む撮像画像を取得する。

（通信部１５）
通信部１５は、撮像装置１による情報処理装置３との間の通信を仲介する通信インタフェースである。通信部１５は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１を参照して説明した通信網５を介して情報処理装置３との間の通信接続を確立する。それにより、例えば、撮像装置１が情報処理装置３に撮像画像を送信し及び情報処理装置３から撮像装置１の位置姿勢情報を受信することが可能となる。

（表示操作部１７）
表示操作部１７は、表示部としての機能と、操作部としてのユーザからの操作入力を受け付ける機能とを有し、例えばタッチパネルディスプレイ等により実現される。表示操作部１７は、制御部１１の制御を受けて、例えば撮像装置１の位置や姿勢に関する表示を行う。

＜２−２．情報処理装置の構成＞
図４は、本実施形態に係る情報処理装置３の構成例を示すブロック図である。図４に示すように、情報処理装置３は、通信部３１、通信制御部３３、認識部３５、特定部３７、及び記憶部３９を備える。

（通信部３１）
通信部３１は、情報処理装置３による撮像装置１との間の通信を仲介する通信インタフェースである。通信部３１は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１を参照して説明した通信網５を介して撮像装置１との間の通信接続を確立する。それにより、情報処理装置３が撮像装置１から撮像画像を受信し及び撮像装置１に撮像装置１の位置姿勢情報を送信することが可能となる。

（通信制御部３３）
通信制御部３３は、通信部３１を制御して、撮像装置１との間で情報を送受信させる。本実施形態に係る通信制御部３３は、撮像装置１により取得される撮像画像を通信部３１に受信させる。また、通信制御部３３は、特定部３７が特定した位置姿勢情報を通信部３１に送信させる。

（認識部３５）
認識部３５は、図４に示すように検出部３５１と読出部３５３とを含み、マーカ２の検出と読出しの機能を有する。

検出部３５１は、通信部３１が受信した撮像画像から、マーカ２を検出する。例えば、検出部３５１は、マーカ２の外形を形成する枠を以下のように検出することで、マーカ２を検出してもよい。

まず、検出部３５１は、所定の閾値を用いて、撮像画像から赤色領域を抽出し、抽出された赤色領域に対して、Ｈｏｕｇｈ変換による線分検出を行う。さらに、検出部３５１は、検出された線分の両端と、他の線分の両端との距離が近いものを繋いで、総当たりでの多角形検出を行う。検出部３５１は、以上のようにして検出された多角形をマーカ２の枠として検出する。また、検出部３５１は、マーカ２の外形に関する外形情報を記憶部３９から読み出して、検出された多角形がマーカ２の外形とマッチングするか否かを判定してもよい。

なお、検出部３５１によるマーカ２の検出は、上記に限定されず、例えばテンプレートマッチング等の他の画像認識手法に基づいて、マーカ２が検出されてもよい。

読出部３５３は、図１を参照して説明したマーカ２に含まれるコード２２から、マーカ情報を読み出す。例えば、読出部３５３は、検出部３５１により検出されたマーカ２の枠内の領域に対して、射影変換を行ってコード２２を正面から見た画像に変換し、コード２２からマーカ情報を読み出す。例えば、読出部３５３は、記憶部３９に記憶されたマーカ２の外形に含まれる頂点４点の情報と、検出されたマーカ２の頂点４点の情報を対応付けることで、射影変換を行ってもよい。

なお、本実施形態において読出部３５３により読み出されるマーカ情報は、マーカ２の識別情報であるＩＤを含む。

（特定部３７）
特定部３７は、図４に示すように相対情報特定部３７１と座標変換部３７３とを有し、撮像装置１の位置姿勢情報を特定する機能を有する。本実施形態において、位置姿勢情報は、マーカ２に対する撮像装置１の相対位置と相対姿勢の情報、及び実空間における撮像装置１の位置と姿勢の情報を含む。

相対情報特定部３７１は、マーカ２に対する撮像装置１の相対位置と相対姿勢の情報を特定する。相対情報特定部３７１は、撮像画像から検出されたマーカ２の外形と、記憶部３９に記憶されるマーカ２の外形情報とに基づいて、相対位置と相対姿勢を特定してもよい。

例えば、相対情報特定部３７１は、撮像画像から検出されたマーカ２における直角をなす２辺の情報に基づいて、相対位置と相対姿勢を特定してもよい。また相対情報特定部３７１は、撮像画像から検出されたマーカ２における当該２辺に含まれない点の情報にさらに基づいて、相対位置と相対姿勢を特定してもよい。なお、マーカ２における当該２辺に含まれない点の情報は、当該２辺の情報に基づいて得られてもよい。

係る構成により、情報処理装置３は、２組の平行な２辺を含む外形を有するマーカに限定されず、多様な外形のマーカを用いて、撮像装置の位置、または姿勢を得ることが可能となる。

なお、相対情報特定部３７１による相対位置と相対姿勢の特定処理の詳細については、図９〜１１を参照して、より具体的に後述する。

座標変換部３７３は、相対情報特定部３７１により特定された相対位置と相対姿勢に基づいて、実空間における撮像装置１の位置と姿勢の情報を特定する。例えば、座標変換部３７３は、読出部３５３により読み出されたＩＤに基づいて記憶部３９からマーカ２の位置情報を取得し、当該位置情報を用いて相対位置と相対姿勢の座標変換を行って、実空間における撮像装置１の位置と姿勢の情報を特定してもよい。

図５は、座標変換部３７３による座標変換について説明するための説明図である。図５に示すように、撮像装置１の位置Ｃ１２を中心とするカメラ座標系と、実空間中の点Ｃ１４を中心とする実空間座標系の、２つの座標系が存在する。なお、カメラ座標系におけるＺ軸の方向は、撮像装置１による撮像の方向であってもよい。

上述した相対情報特定部３７１による相対位置と相対姿勢は、例えばカメラ座標系において行われ、撮像装置１とマーカ２との相対的な関係を示す。座標変換部３７３は、マーカ２の実空間における位置情報（実空間座標系における位置情報）を用いて相対位置と相対姿勢の情報の座標変換を行い、実空間座標系における、撮像装置１の位置Ｃ１２の位置座標、及び姿勢（例えばＺの方向）を特定する。

係る構成により、情報処理装置３は実空間における撮像装置１の位置と姿勢の情報を撮像装置１に提供することが可能となり、撮像装置１は、例えば図１２を参照して後述するようなユーザへの情報提示を行うことが可能となる。

（記憶部３９）
記憶部３９は、情報処理装置３が備える各部が上記各処理を実行するためのプログラムや、様々なデータを記憶する。例えば、本実施形態に係る記憶部３９は、予め定められたマーカ２の外形情報（例えば、頂点の数、寸法等の情報）を記憶する。本実施形態において用いられるマーカの外形は一種類であってもよいし、複数種類であってもよく、記憶部３９は、用いられるマーカの外形の種類の数だけ外形情報を記憶してもよい。

また、本実施形態に係る記憶部３９は、実空間におけるマーカ２の位置情報を記憶する。以下では、記憶部３９に記憶されるマーカ２の位置情報について、図６，７を参照して説明する。なお、以下で説明するマーカ２の位置情報は、例えば図５を参照して説明した実空間座標における情報であってもよい。

図６は、実空間に配置されるマーカ２の例を示す模式図である。以下では、図６に示すように、実空間にマーカ２Ｇ，及びマーカ２Ｈが配置される場合を例に説明する。なお、図６に示すようにマーカ２ＧのＩＤは１であり、マーカ２ＨのＩＤは２である。

図７は、記憶部３９に記憶されるマーカ２の位置情報の例を示す説明図である。図７に示すように、マーカ２の位置情報は、マーカ２の位置、及び２つの向き（向き１と向き２）の情報を含み、ＩＤと対応付けられて記憶部３９に記憶される。マーカ２の位置は、マーカ２に含まれる直角に係る頂点の位置座標であってもよく、例えば図６に示す例では、マーカ２Ｇ頂点２４Ｇ、及びマーカ２Ｈの頂点２４Ｈの位置座標であってもよい。また、向き１、及び向き２は、マーカ２に含まれる直角をなす２辺を示すベクトルであってもよく、当該ベクトルの始点は当該頂点であってもよい。図６に示すマーカ２Ｇの例では、図６に示すベクトルｖ１が向き１に、ベクトルｖ２が向き２に対応する。

＜＜３．動作＞＞
以上、本実施形態に係る情報処理システム１００が備える撮像装置１と情報処理装置３の構成例について説明した、続いて、本実施形態に係る情報処理システム１００の動作例について説明する。以下では、情報処理システム１００の全体的な処理の流れについて図８を参照して説明した後、相対情報特定部３７１による相対位置と相対姿勢の特定処理については、図９〜１１を参照して具体的に説明する。さらにその後、撮像装置１に表示される情報の例について、図１２、１３を参照して説明する。

＜３−１．処理の流れ＞
図８は、本実施形態に係る情報処理システム１００の処理の流れを示すシーケンス図である。まず、撮像装置１の撮像部１３は、マーカ２を含む実空間を撮像し、撮像画像を取得する（Ｓ１０２）。取得された撮像画像は、撮像装置１から情報処理装置３に送信される（Ｓ１０４）。

撮像画像を受信した情報処理装置３の検出部３５１は、マーカ２を検出する（Ｓ１０６）。続いて、情報処理装置３の読出部３５３は、検出されたマーカ２に含まれるコード２２から、マーカ２の識別情報（ＩＤ）を読み出す（Ｓ１０８）。コード２２から読み出されたマーカ２の識別情報に基づいて、記憶部３９からマーカ２の位置情報が読み出される（Ｓ１１０）。

続いて、情報処理装置３の相対情報特定部３７１が、相対位置と相対姿勢の情報を特定する（Ｓ１１２）。なお、相対情報特定部３７１による相対位置と相対姿勢の特定処理については、図９〜１１を参照して後述する。

続いて、座標変換部３７３が、マーカ２の位置情報に基づいて座標変換を行い、実空間における撮像装置１の位置と姿勢の情報を特定する（Ｓ１１４）。特定された位置姿勢情報（例えば実空間における撮像装置１の位置と姿勢の情報）は、情報処理装置３から撮像装置１に送信される（Ｓ１１６）。

位置姿勢情報を受信した撮像装置１は、位置姿勢情報に基づいて表示操作部１７に情報を表示する。撮像装置１の表示操作部１７に表示される情報の例については、図１２、１３を参照して後述する。

以上説明した処理は、随時、または定期的に繰り返されてもよい。また、図示されていないが、ステップＳ１０６、Ｓ１０８、Ｓ１１０においてエラーが発生した（例えば、検出や読出しに失敗した）場合には、発生したエラーの情報が情報処理装置３から撮像装置１に送信されてもよい。

＜３−２．相対情報特定処理の例＞
以上、本実施形態に係る情報処理システム１００の全体的な処理の流れを説明した。続いて情報処理装置３の相対情報特定部３７１による相対位置と相対姿勢の特定処理（図８のステップＳ１１２）について、図９〜１１を参照して具体的な例を説明する。なお、以下の相対情報特定処理の説明における座標系は、特に説明のない限り図５を参照して説明したカメラ座標系である。

（具体例１：正方形マーカの場合）
まず、マーカ２が正方形である場合について、具体例１として説明を行う。図９は、実空間中の点と、撮像面における点の関係を説明するための模式図である。なお、図９〜１１、及び以下で説明する数式において、点は太字、ベクトルは斜体で表される。

図９に示す点Ｆは、撮像装置１が有するカメラレンズによる焦点である。また、図９に示す点Ｒは、実空間に配置されたマーカ２上の点である。また、図９に示す面Ｎは、撮像装置１が有するカメラの撮像面を示す。また、図９に示す点Ｐは、点Ｒに対応する撮像面上の点を示す。ここで、焦点Ｆ、点Ｒ、点Ｐについて、非負実数ｔを用いて以下の数式（１）が成り立つ。

図１０は、カメラ座標系でのマーカ２の枠の内側の頂点の関係を示す模式図である。図１０に示す点Ｒ０、点Ｒ１、点Ｒ２、及び点Ｒ３は、マーカ２の枠の内側の頂点である。また、図１０に示すベクトルＶ１は頂点Ｒ０を始点とし、頂点Ｒ１を終点とするベクトルであり、ベクトルＶ２は同様に頂点Ｒ０を始点とし、頂点Ｒ２を終点とするベクトルである。また、図１０に示すように頂点Ｒ３は、ベクトルＶ１、Ｖ２に対応する辺のいずれにも含まれない頂点である。なお、本例ではマーカ２の外形は正方形であるため、ベクトルＶ１、Ｖ２がなす角Ａ１は直角である。

以上に説明したベクトルＶ１，Ｖ２について、以下の数式（２）〜（６）が成り立つ。なお、数式（４）、（５）におけるＬ１、Ｌ２は記憶部３９に記憶される外形情報に含まれる寸法であり、それぞれ図６，７を参照して説明した向き１、向き２のユークリッド長さに対応する。また、数式（６）における「・」はベクトルの内積演算を示す。

ここで、点Ｒ０，Ｒ１，Ｒ２は、上述した数式（１）を用いて、以下の数式（７）〜（９）のように表すことが出来る。

上記数式（７）〜（９）において、点Ｆ、Ｐ０、Ｐ１、Ｐ２の座標はそれぞれ既知であるため、点Ｒ０，Ｒ１，Ｒ２は、それぞれ１の未知数ｔ０，ｔ１，ｔ２（非負実数）により表現される。

したがって、数式（７）〜（９）を、数式（２）〜（６）に代入することで、３の未知数についての３元連立方程式が得られる。当該３元連立方程式を解くことで、ｔ０，ｔ１，ｔ２が特定され、数式（７）〜（９）により、カメラ座標系における点Ｒ０，Ｒ１，Ｒ２の座標を得ることが出来る。さらに、マーカ２の外形情報と、カメラ座標系における点Ｒ０，Ｒ１，Ｒ２の座標を対応させることで、マーカ２に対する撮像装置１の相対位置、及び相対姿勢を特定することが出来る。

ただし、撮像の際の量子化誤差等によっては、上述した３元連立方程式の解が複数組得られる場合がある。例えば、カメラ座標系のＺ軸方向に対して、手前側と奥側で点Ｒ０，Ｒ１，Ｒ２の座標が２組得られる場合がある。係る場合、以下のようにして点Ｒ０，Ｒ１，Ｒ２の座標を１組に特定する。

ベクトルＶ１、Ｖ２に対応する２辺のいずれにも含まれない頂点Ｒ３の情報は、当該２辺の情報に基づいて得られる。例えば、マーカ２の外形は既知であるため、ベクトルＶ１及びＶ２、及び点Ｒ０を用いて、点Ｒ３の位置は以下の数式（１０）のように特定される。

さらに、数式（１）を用いることと、撮像面の焦点からの距離が固定であることの条件から、以下の数式（１１）のように点Ｒ３に係る未知数ｔ３が得られる。

なお、数式（１１）において、ｐ.ｚは点ｐのＺ成分、すなわち図５を参照して説明したカメラ座標系におけるＺ方向の成分を示す。また、点Ｐ３'は点Ｒ３に対応する撮像面上の点の候補であり、Ｆ.z‐Ｐ３'.ｚは撮像面の焦点からの距離である。数式（１１）より、既知の点Ｒ３，焦点Ｆの座標を用いて、Ｐ３'は次の数式（１２）のように表される。

３元連立方程式を解いて得られた点Ｒ０，Ｒ１，Ｒ２の座標の全ての組について、数式（１０）、（１２）を用いて点Ｐ３'を算出し、実際の撮像画像における点Ｒ３に対応する点Ｐ３の座標に最も近い点Ｐ３'が得られた組が、正しい解として採用される。点Ｒ０，Ｒ１，Ｒ２の座標が１組に特定された場合、上述したように、マーカ２の外形情報と、対応させることで、マーカ２に対する撮像装置１の相対位置、及び相対姿勢を特定することが出来る。

（具体例２：非正方形マーカの場合）
上記具体例１では、マーカ２が正方形である場合の相対情報特定処理について説明した。続いて、マーカ２が、図２を参照して説明したような非正方形である場合の相対情報特定処理について、具体例２として説明する。なお、以下の説明においては、上述した具体例１と同様の部分については説明を省略する。

上述した具体例１においては、マーカ２が正方形であるため、点Ｒ３はベクトルＶ１，Ｖ２を用いて数式（１０）のように得られた。本具体例２では、直角をなすベクトルＶ１、Ｖ２に対応する２辺のいずれにも含まれない頂点Ｒｎは、ベクトルＶ１、Ｖ２を用いて、以下の数式（１３）のように得られる。

ここで、ｕ_ｎ，ｗ_ｎは、それぞれ実数値である。また、ｕ_ｎ，ｗ_ｎはマーカの外形から予め算出することが可能なパラメータであり、例えば、記憶部３９に記憶される外形情報に含まれていてもよい。したがって、上述した具体例１の数式（１０）の代わりに、数式（１３）を用いることで、相対情報特定部３７１は、相対位置と相対姿勢の特定処理を行うことが可能である。

図１１は、非正方形マーカの外形の例を示す模式図である。図１１に示すマーカ２Ｃ、及びマーカ２Ｄは、それぞれ図２に示したマーカ２Ｃ、及びマーカ２Ｄと対応している。

図１１に示すように、マーカ２Ｃは頂点Ｅ０，Ｅ１，Ｅ２，Ｅ３を有する。また、頂点Ｅｎは、それぞれカメラ座標系における点Ｒｎに対応する。図１１に示すにおけるベクトルＵは、頂点Ｅ０を始点とし、頂点Ｅ１を終点とするベクトルであり、ベクトルＷは同様に頂点Ｅ０を始点とし、頂点Ｅ２を終点とするベクトルである。また、ベクトルＵ、Ｗは、それぞれカメラ座標系におけるベクトルＶ１，Ｖ２に対応する。

ここで、頂点Ｅ０を始点とし、頂点Ｅ３を終点とするベクトルは、ベクトルＵ、Ｗを用いて表すことが可能である。図１１に示すマーカ２Ｃの例では、頂点Ｅ３は以下の数式（１４）のように表される。

ここで、図１１に示すマーカ２Ｃは、実空間に配置されたマーカ２Ｃと相似の関係にあるため、同様に以下の数式（１５）が得られる。

数式（１３）と数式（１５）を比較すれば、図１１に示すマーカ２Ｃがマーカ２として用いられる場合、ｕ_３＝０．７５、ｗ_３＝０．７５というパラメータが外形情報に含まれていればよい。また、同様に、図１１に示すマーカ２Ｄがマーカ２として用いられる場合、ｕ_３＝２、ｗ_３＝０．５、ｕ_４＝１、ｗ_４＝１というパラメータが外形情報に含まれていればよい。

なお、上記ではマーカ２が正方形の場合と非正方形の場合で分けて説明を行ったが、相対情報特定部３７１は、マーカ２が正方形であるか非正方形であるかを判定して、判定結果に応じて異なる処理を行ってもよいし、判定することなく処理を行ってもよい。例えば、マーカ２が正方形である場合、ｕ_３＝１、ｗ_３＝１というパラメータが外形情報に含まれれば、具体例２として説明した例と同様に相対情報特定処理を行うことが可能である。

＜３−３．表示の例＞
図８のステップＳ１１８において、撮像装置１の表示操作部１７に表示される情報の例について、図１２、１３を参照して説明する。

（表示例１）
図１２は、データセンタ内で本実施形態を利用した場合に、撮像装置１の表示操作部１７に表示される情報の例を示す説明図である。図１２に示すように、表示操作部１７には、データセンタを上部から俯瞰した地図Ｇ１０が表示されており、地図Ｇ１０に含まれる四角形はそれぞれデータセンタ内に設置されたラックを示している。また、表示操作部１７には、撮像装置１を示す情報であるアイコンＧ１２が、地図Ｇ１０に重ね合わせられて表示されている。アイコンＧ１２は、実空間における撮像装置１の位置に基づいて、地図Ｇ１０における撮像装置１の位置に表示されている。アイコンＧ１２は、実空間における撮像装置１の姿勢に基づいて、撮像画像の取得を行った向きで表示されている。

係る構成によれば、撮像装置１を所持したユーザは、自身の位置や向きを把握することが可能である。

（表示例２）
図１３は、データセンタ内で本実施形態を利用した場合に、撮像装置１の表示操作部１７に表示される情報の他の例を示す説明図である。図１３に示すように表示操作部１７には、データセンタにおいて撮像された撮像画像Ｇ２０と、所定の目標を示す情報である矢印Ｇ２２、及び矢印Ｇ２４とが重ね合わせられて表示されている。図１３に示す矢印Ｇ２２は、予め与えられたユーザの目標地点（目標の一例）を示している。また、図１３に示す矢印Ｇ２４は、予め与えられたユーザが探している装置の位置（目標の一例）を示している。

係る構成によれば、ユーザは実空間を撮像して得た撮像画像に重ねて表示された情報と、目の前の実空間を比較して、目標とする地点や装置の位置を把握することが可能となる。特に、データセンタのように、ユーザにとっては類似して見える装置やラックが多数設置された環境において、上記の情報を把握することは非常に有用である。

＜＜４．変形例＞＞
本発明の実施形態を説明した。以下では、本発明の実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で上記実施形態に適用されてもよいし、組み合わせで上記実施形態に適用されてもよい。また、各変形例は、上記実施形態で説明した構成に代えて適用されてもよいし、上記実施形態で説明した構成に対して追加的に適用されてもよい。

＜４−１．変形例１＞
上記実施形態では、撮像と表示に係る処理を撮像装置１が行い、マーカの認識（検出）や位置姿勢情報の特定に係る処理を情報処理装置３が行う例を説明したが、本発明は係る例に限定されない。撮像装置と情報処理装置で行われる処理は多様な組み合わせで実現されてもよく、以下にいくつかの構成例を説明する。

図１４は、撮像装置がマーカの認識や位置姿勢情報の特定に係る処理を行う例を示すブロック図である。図１４に示す各構成のうち、図１，３，４と実質的に同様の構成については同一の符号を付してあるため、説明を省略する。

図１４に示すように、撮像装置６が有する制御部６１は、図３を参照して説明した制御部１１の機能に加え、認識部６１５、及び特定部６１７としての機能をさらに有する。認識部６１５、及び特定部６１７の機能は、図４を参照して説明した認識部３５、及び特定部３７と同様である。ただし、認識部６１５、及び特定部６１７は、マーカの認識や位置姿勢情報の特定のために必要な情報を、通信部１５を介して情報処理装置７の記憶部３９から取得して、処理を行う。

また、図１４に示す情報処理装置７が有する通信制御部７３は、撮像装置６からの要求に応えて、記憶部３９から必要な情報を抽出し、通信部３１に送信させる機能を有する。

図１５は、撮像装置１以外の装置においても表示が行われる例を示すブロック図である。図１５に示す各構成のうち、図１，３，４と実質的に同様の構成については同一の符号を付してあるため、説明を省略する。

図１５に示す情報処理装置８の通信制御部８３は、位置姿勢情報を表示装置９に送信させ、表示装置９は位置姿勢情報に基づいて、例えば図１２，１３を参照して説明した情報を表示してもよい。

また、図１５に示すように、情報処理装置８は、表示制御部８５、及び表示部８７を備えてもよい。表示制御部８５は、特定部３７により特定される位置姿勢情報に基づいて、表示部８７の表示を制御し、例えば図１２，１３を参照して説明した情報を表示させてもよい。

また、本発明の構成は上述した例に限定されず、多様に実現され得る。例えば、上述した撮像部、認識部、特定部、記憶部、表示制御部、表示部等の構成が、同一の装置に備えられてもよい。

＜４−２．変形例２＞
また、上記実施形態では、マーカ２に含まれるコード２２が二次元コードであり、コード２２から読み出されるマーカ情報はマーカの識別情報（ＩＤ）である例を説明したが、本発明は係る例に限定されない。

例えば、マーカに含まれるコードは、一次元コード（バーコード）であってもよい。また、マーカが赤外、可視光、電波、超音波等を発信する装置を含み、撮像装置が赤外、可視光、電波、超音波等を受信するセンサを有して、信号通信によりマーカ情報を受信してもよい。

また、マーカ情報は、図６，７を参照して説明した、実空間におけるマーカの位置情報を含んでもよい。係る場合、情報処理装置の特定部は、マーカ情報に含まれる当該マーカの位置情報に基づいて、実空間における撮像装置の位置または姿勢を特定してもよい。

係る構成によれば、新たにマーカを設置した場合に、情報処理装置が有する記憶部に当該マーカの情報を追加しなくても、当該マーカの位置情報を取得することが可能である。

＜＜５．ハードウェア構成例＞＞
以上、本発明の各実施形態と各変形例を説明した。上述したマーカ検出処理、コード読出処理、相対情報特定処理、座標変換処理などの情報処理は、ソフトウェアと、撮像装置１、及び情報処理装置３のハードウェアとの協働により実現される。以下では、本実施形態に係る情報処理装置３のハードウェア構成例について説明する。

図１６は、本実施形態に係る情報処理装置３のハードウェア構成例を示す説明図である。図１６に示したように、情報処理装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３００１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３００２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３００３と、入力装置３００４と、出力装置３００５と、ストレージ装置３００６と、通信装置３００７とを備える。

ＣＰＵ３００１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置３内の動作全般を制御する。また、ＣＰＵ３００１は、マイクロプロセッサであってもよい。ＲＯＭ３００２は、ＣＰＵ３００１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ３００３は、ＣＰＵ３００１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。主に、ＣＰＵ３００１、ＲＯＭ３００２及びＲＡＭ３００３とソフトウェアとの協働により、例えば通信制御部３３、認識部３５、特定部３７の機能が実現される。

入力装置３００４は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ３００１に出力する入力制御回路などから構成されている。情報処理装置３のユーザは、該入力装置３００４を操作することにより、情報処理装置３に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置３００５は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置及びランプなどの表示装置を含む。さらに、出力装置３００５は、スピーカ及びヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データなどを音声に変換して出力する。

ストレージ装置３００６は、データ格納用の装置である。ストレージ装置３００６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置３００６は、ＣＰＵ３００１が実行するプログラムや各種データを格納する。

通信装置３００７は、例えば、通信網に接続するための通信デバイスなどで構成された通信インタフェースである。また、通信装置３００７は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース（登録商標）通信装置を含んでもよい。通信装置３００７は、図４を参照して説明した通信部３１に対応する。

なお、上記では情報処理装置３のハードウェア構成を説明したが、撮像装置１，６、情報処理装置７，８、表示装置９も、情報処理装置３と同様に、ＣＰＵ３００１、ＲＯＭ３００２及びＲＡＭ３００３などに相当するハードウェアを有する。そして、例えば、撮像装置１のハードウェアとソフトウェアとの協働により制御部１１の機能が実現される。

＜＜６．むすび＞＞
以上説明したように、本発明の実施形態によれば、より多様な外形のマーカを用いて、撮像装置の位置、または姿勢を得ることが可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態における各ステップは、必ずしもシーケンス図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、シーケンス図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、上述した、撮像装置１、情報処理装置３等に内蔵されるＣＰＵ３００１、ＲＯＭ３００２及びＲＡＭ３００３などのハードウェアに、上述した撮像装置１、情報処理装置３等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１ 撮像装置
２ マーカ
３ 情報処理装置
５ 通信網
１１ 制御部
１３ 撮像部
１５ 通信部
１７ 表示操作部
２２ コード
３１ 通信部
３３ 通信制御部
３５ 認識部
３７ 特定部
３９ 記憶部
１００ 情報処理システム

Claims (13)

1. 撮像装置により取得される撮像画像から、少なくとも１の直角を含む外形を有するマーカを検出する認識部と、
   前記撮像画像から検出される前記マーカにおける前記直角をなす２辺の情報に基づいて、前記撮像装置の位置姿勢情報を特定する、特定部と、
   を備える情報処理装置。
2. 前記特定部は、前記マーカにおける前記２辺に含まれない点の情報にさらに基づいて、前記位置姿勢情報を特定する、請求項１に記載の情報処理装置。
3. 前記マーカにおける前記２辺に含まれない点の情報は、前記２辺の情報に基づいて得られる、請求項２に記載の情報処理装置。
4. 前記位置姿勢情報は、前記マーカに対する前記撮像装置の相対位置、または相対姿勢の情報を含む、請求項１〜３のいずれか一項に記載の情報処理装置。
5. 前記位置姿勢情報は、実空間における前記撮像装置の位置または姿勢の情報を含む、請求項１〜４のいずれか一項に記載の情報処理装置。
6. 前記認識部は、前記マーカが示すマーカ情報を読み出し、
   前記特定部は、前記マーカ情報に基づいて、前記実空間における前記撮像装置の位置または姿勢を特定する、請求項５に記載の情報処理装置。
7. 前記マーカ情報は、前記マーカの識別情報を含み、
   前記特定部は、前記識別情報に基づいて取得される、前記実空間における前記マーカの位置情報に基づいて、前記実空間における前記撮像装置の位置または姿勢を特定する、請求項６に記載の情報処理装置。
8. 前記マーカ情報は、前記実空間における前記マーカの位置情報を含み、
   前記特定部は、前記実空間における前記マーカの位置情報に基づいて、前記実空間における前記撮像装置の位置または姿勢を特定する、請求項６に記載の情報処理装置。
9. 前記位置姿勢情報に基づいて、表示を制御する表示制御部をさらに備える、請求項１〜８のいずれか一項に記載の情報処理装置。
10. 前記表示制御部は、前記位置姿勢情報に基づいて、前記撮像装置を示す情報を、所定の地図と重ね合わせて表示させる、請求項９に記載の情報処理装置。
11. 前記表示制御部は、前記位置姿勢情報に基づいて、所定の目標を示す情報を、前記撮像画像と重ね合わせて表示させる、請求項９または１０に記載の情報処理装置。
12. 撮像装置により取得される撮像画像から、少なくとも１の直角を含む外形を有するマーカを検出する認識部と、
    前記撮像画像から検出される前記マーカにおける前記直角をなす２辺の情報に基づいて、前記撮像装置の位置姿勢情報を特定する、特定部と、
    を備える情報処理システム。
13. コンピュータに、
    撮像装置により取得される撮像画像から、少なくとも１の直角を含む外形を有するマーカを検出する機能と、
    前記撮像画像から検出される前記マーカにおける前記直角をなす２辺の情報に基づいて、前記撮像装置の位置姿勢情報を特定する機能と、
    を実現させるための、プログラム。
    

Images