JP2007064807A - 指標位置計測方法および装置 - Google Patents

Abstract

【課題】 指標の誤同定を回避すること。
【解決手段】 撮像装置１３０の撮像画像から情景中の指標を検出する指標検出部１１０と、検出された指標候補の画像座標に関する情報を用いて指標を同定する指標同定部１２０と、同定した結果の尤度を算出する同定尤度算出部１４０と、算出した尤度に関する情報を提示装置１８０に出力する情報出力部１９０を有する。
【選択図】 図１

Description

本発明は、指標の誤同定を回避するための技術に関するものである。

［従来技術１］
現実空間を撮像するカメラなどの撮像部（以下適宜カメラと言い換える）の位置姿勢計測は、例えば現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。このような従来技術として、特許文献１または２および非特許文献１において開示されているように、現実空間に配置した位置が既知のマーカ、または現実空間中の位置が既知の特徴点（以下、マーカと特徴点を合わせて指標という）を用いて、カメラの位置姿勢を測定する位置姿勢センサの計測誤差を補正する方法がある。 言い換えると、これらの方法は、カメラの位置姿勢を測定する位置姿勢センサと、カメラで撮像した指標とを利用して、カメラの位置姿勢を推定する方法である。このような方法で利用される指標としては、色領域の重心や同心円等がある。また、指標は同時に複数利用されることが多いが、カメラが撮像した画像から検出した指標が、現実空間に複数個配置した指標のどれに対応するのかを求める手段のひとつとして、画像から検出した指標の座標と、指標の絶対位置を位置姿勢センサの計測値を基にして投影して得られる、画像面上での指標の座標との間の関係を利用することが知られている。

［従来技術２］
一方で、非特許文献２または３において開示されているように、位置姿勢センサを用いず、カメラで撮像した指標のみを利用してカメラの位置姿勢推定を行う方法も知られている。そして、これら非特許文献においては、正方形の指標を利用し、正方形の４頂点の座標を基にして、カメラの位置姿勢を推定している。ただし、正方形はその中心点（対角線の交点）を通り、面に垂直な軸を回転軸として９０°毎の回転対称形であることから、頂点の座標からだけでは上下左右の判定を行うことができない。そのため、正方形の指標内部に、上下左右の判定を行うためのさらなる画像特徴が設けられている。さらに、指標を複数利用する場合に、カメラで撮像した画像のみに基づいて複数の指標のどれを捉えているのかを識別する必要があるため、指標の内部にはさらに指標毎に異なる固有のパターンや符号などの図形情報が埋め込まれている。

［従来技術３］
また、現実空間に配置した位置姿勢が既知の複数の撮像部によって、対象物上での位置が既知の複数の指標を撮像して、対象物の位置姿勢を推定する方法が知られている。例えば、検出した指標が複数の指標のどれに対応するのかを求める手段として、指標となるＬＥＤ毎に発光タイミングを制御することが行われている。
特開平１１−０８４３０７号公報 特開２０００−０４１１７３号公報 Ａ．Ｓｔａｔｅ，Ｇ．Ｈｉｒｏｔａ，Ｄ．Ｔ．Ｃｈｅｎ，Ｂ．Ｇａｒｒｅｔｔ，ａｎｄ Ｍ．Ｌｉｖｉｎｇｓｔｏｎ：Ｓｕｐｅｒｉｏｒ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｒｅｇｉｓｔｒａｔｉｏｎ ｂｙ ｉｎｔｅｇｒａｔｉｎｇ ｌａｎｄｍａｒｋ ｔｒａｃｋｉｎｇ ａｎｄ ｍａｇｎｅｔｉｃ ｔｒａｃｋｉｎｇ，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ’９６，ｐｐ．４２９−４３８，Ｊｕｌｙ １９９６． 加藤，Ｂｉｌｌｉｎｇｈｕｒｓｔ，浅野，橘：マーカー追跡に基づく拡張現実感システムとそのキャリブレーション，日本バーチャルリアリティ学会論文誌，ｖｏｌ．４，ｎｏ．４，ｐｐ．６０７−６１６，Ｄｅｃ．１９９９． Ｘ．Ｚｈａｎｇ，Ｓ．Ｆｒｏｎｚ，Ｎ．Ｎａｖａｂ：Ｖｉｓｕａｌ ｍａｒｋｅｒ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｄｅｃｏｄｉｎｇ ｉｎ ＡＲ ｓｙｓｔｅｍｓ：Ａ ｃｏｍｐａｒａｔｉｖｅ ｓｔｕｄｙ，Ｐｒｏｃ．ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＩＳＭＡＲ’０２），ｐｐ．９７−１０６，２００２．

従来技術１のカメラの位置姿勢を推定する方法において、ある特定の色の小さな円形のシート状の物体を指標とすることができる。この場合、指標のもつ情報は、３次元位置（座標）と色である。位置姿勢センサの計測値を利用し、指標の３次元位置をカメラの画像面へと投影し、一方で、画像からのその指標の色を検出する色領域検出処理を行い、画像中での重心位置を計算する。そして、画像面上へ投影した３次元位置と、画像から計算した重心位置を比較し、例えば最も近いものを同じ指標であると判定することによって、画像中の指標を同定することができる。

このように、色領域検出によって画像中から指標を検出する場合、カメラが撮像するであろう現実空間の中に、指標以外に指標と同じ色が存在すると、それらを誤って同定してしまうという問題がある。

このような問題を防止するため、同心円状に配置した異なる色の組み合わせからなる指標を用い、色領域検出を行った後に色の組み合わせを調べる、組み合わせの正しい領域のみを指標として検出する方法もある。この場合、単色の指標を用いた場合に比べ、背景の一部を誤って指標であると検出してしまう可能性が低くなる。

しかしながら、色領域検出を利用して安定した指標検出を行うため、指標の色は目立つ色に設定されることが多く、さらに同心円上に異なる色を組み合わせる場合には、同心円を安定的に検出するために画像中で十分大きく撮像されねばならない。すなわち、現実空間に大きく、かつ、見た目を損ねる指標を配置する必要が生じる。しかし、現実空間にそのような指標を配置することが許されない場合があったり、現実空間の見栄えを悪くするという点で改善の余地があった。

一方で、従来技術２で利用されている正方形マーカのような図形的な拡がりのある指標を利用する方法がある。しかしながら、従来技術２では完全に画像のみから個々のマーカを識別する必要が生じるため、指標に符号情報やテンプレートとなりうる記号情報などを埋め込む必要があった。図７は、非特許文献２および非特許文献３にて開示されている従来技術２で利用されている具体的な正方形マーカの例である。

このような複雑な構造をもつ指標を撮像画像から検出しなければならないため、撮像画像面の中で十分に大きな面積を占めるように指標を捉えなければ、指標の認識ができないという問題があった。これは換言すれば、現実空間の広い領域を指標配置のために確保しなければならないこと、あるいは、カメラが指標に十分に近づかなければならないということを意味する。または、指標の配置条件が厳しいという問題と言い換えることができる。

指標が目立たないように小さくしつつ、個々の指標を識別するには、ＬＥＤのような発光体や、再帰性反射材を指標として利用する方法がある。しかしながら、このような方法には、指標の他に発光体や反射体が存在する場合に、それらを指標と誤って判定してしまうという問題があった。

例えば、図８に示すように、背景となる空間に指標の他にも発光体が存在する場合を例にして説明する。図において、利用する指標８０５は現実物体８０４上に配置され、ここでは例えば赤外光を発光する球体であるとする。また、電球などの発光体８０３から赤外光が放出されているとする。この状態で赤外カメラ８０１が可視光カット（赤外光透過）フィルタ８０２を通して撮像した画像が、図９に示すような画像だったとする。

このとき、画像から指標８０５の明度に相当する領域を検出する明度領域検出処理を行うと、指標８０５に対応する領域９０１のみならず、発光体８０３に対応する領域９０２もまた指標８０５の明度に相当する領域として検出される可能性がある。このように、撮像される空間内に、指標と同じか又は似通った明度をもつ物体が存在すると、それを指標と誤って認識してしまう場合があるという問題点があった。

発光体や反射体を利用した指標を識別するために、数点の発光体または反射体を相対位置が固定された状態で配置し、それらをまとめて指標として用いる方法がある。この方法では、点間の関係を使って個々の指標を識別している。しかしながら、数点の発光体または反射体のうちの一部が隠されてしまうと指標として識別されなくなるという問題があった。また、指標が大きくなるため、現実空間の見栄えを悪くするという問題もあった。

一方、従来技術３では、複数の指標を識別するために、時分割で発光タイミングを制御することが可能な指標を用いているが、発光タイミングの制御機構や高速度カメラが必要であるため、コストがかかるという問題があった。

本発明はこのような従来技術の問題点を解決し、既に同定されている個別識別不能な指標が誤同定されてしまうことを回避することを目的とする。

本発明の目的を達成するために、本発明は、情景を撮像する撮像手段で撮像された画像を入力する画像入力工程と、前記画像入力工程で入力された画像から、前記情景中の指標に関わる候補領域の画像座標に関わる特徴量を検出する検出工程と、前記検出工程で検出された前記指標に関わる候補領域の画像座標に関わる特徴量に基づいて、該候補領域を該指標と同定する同定工程と、前記同定工程における同定の尤度を算出する同定尤度算出工程と、前記同定尤度算出工程で算出された同定の尤度に関わる情報を提示する提示工程と、を備えることを特徴とする。

本発明の構成により、既に同定されている個別識別不能な指標が誤同定されてしまうことを回避することができる。

以下、添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。

［第１の実施形態］
本実施形態に係る指標位置計測装置は、指標の同定結果の尤度（同定結果の確からしさ）に関する情報をユーザに提示することによって誤同定を回避しつつ、画像上における指標の位置を計測する。以下、本実施形態に係る指標位置計測装置及び指標位置計測方法について説明する。

図１は、本実施形態における指標位置計測装置の構成を示している。同図に示したように、本実施形態における指標位置計測装置１００は、画像入力部１６０、データ記憶部１７０、指標候補検出部１１０、指標同定部１２０、同定尤度算出部１４０、情報生成部１５０、及び情報出力部１９０によって構成されており、撮像装置１３０及び提示装置１８０に接続されている。

現実空間中には、撮像装置１３０によって撮影するための指標Ｐが配置されている。図１の例は、指標Ｐが提示装置１８０上に配置されており、また、指標Ｐと似た偽指標Ｐ’が現実空間中に存在していて、指標Ｐと偽指標Ｐ’の両方が撮像装置１３０の視野内に含まれている状況を示している。なお、指標Ｐは提示装置１８０上ではなくユーザ自身やユーザの把持物体上等に配置されていてもよい。

なお、指標Ｐは、広画角の撮像装置１３０で遠くから撮影した画像上で安定的に検出する必要があるため、例えばＬＥＤや再帰性反射材などによって構成される。

撮像装置１３０が出力する画像（以下、これを撮像画像と呼ぶ）は、画像入力部１６０に入力される。ここで、撮像装置１３０は、提示装置１８０上の指標Ｐをなるべく常に撮像可能な位置に固定して配置されている。

画像入力部１６０は、指標位置計測装置１００へ入力される撮像画像をデジタルデータに変換し、データ記憶部１７０に保存する。

指標候補検出部１１０は、データ記憶部１７０より撮像画像を入力し、入力した撮像画像中に撮影されている指標に関わる候補領域（以下，指標候補と呼ぶ）の画像座標を検出する。例えば、撮像画像上からＬＥＤや再帰性反射材などの明るさに対応する領域を検出し、その重心位置を指標候補の検出座標とする。

指標候補検出部１１０は、さらに、検出された指標候補の画像座標をデータ記憶部１７０へと出力する。なお、以下では、撮像画像上で検出された指標候補を、検出された指標候補の夫々に付けられた識別子ｍ（ｍ＝１，，，Ｍ）を用いて、Ｐ_ｍと表記する。ここで、Ｍは撮像画像上で検出された指標候補の数を表している。また、検出された指標候補Ｐ_ｍの画像座標をｕ^Ｐｍと表記する。例えば図１の場合には、Ｍ＝２であり、画像座標ｕ^Ｐ１，ｕ^Ｐ２が出力される。

指標同定部１２０は、指標候補Ｐ_ｍの中から指標Ｐを同定する。例えば、指標Ｐの初期位置（３次元）を予め定め、その初期位置に対応する撮像画像中の画像座標をデータ記憶部１７０に保持しておく。そして、計測処理の開始時には、その初期位置に指標Ｐを置くことにより、それに対応する画像座標に最も近い指標候補Ｐ_ｍが指標Ｐであると判定する。一方、計測処理の最中は指標の追跡（トラッキング）処理を行う。すなわち、保持されている最新の指標Ｐの画像座標（多くの場合は、現在より一つ前の時刻（フレーム）における指標Ｐの計測位置に相当する）と最も近い画像座標を持つ指標候補Ｐ_ｍを指標Ｐであると判定する。

指標同定部１２０は、さらに、同定した指標Ｐの画像座標ｕ^Ｐをデータ記憶部１７０に出力する。例えば図１の場合において、指標Ｐに対応する指標候補の識別子がｍ＝２であると判定された場合には、指標Ｐの画像座標ｕ^Ｐとして指標候補Ｐ_２の画像座標ｕ^Ｐ２が出力される。この値は、当該装置の出力として、必要に応じて装置の外部にも出力される。

同定尤度算出部１４０は、指標候補Ｐ_ｍの中から指標Ｐを同定した結果の尤度を算出し、データ記憶部１７０に出力する。処理の詳細は後述する。

情報生成部１５０は、提示装置１８０に提示するための情報を生成し、情報出力部１９０は、情報生成部１５０で生成された情報を提示装置１８０に出力するデータに変換し、提示装置へ出力する。例えば本実施形態では、同定の尤度に関する情報（数値や図形）を含む画像を、ユーザが頭に被るＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）に提示する。

なお、尤度に関する情報は、画像に限らず、音や光や振動や匂い等によってユーザに提示してもよい。これらの場合の提示装置には、スピーカ、ランプ、振動子、匂い発生装置等を用いればよい。

データ記憶部１７０は、画像入力部１６０から入力される画像、指標候補検出部１１０から入力される各々の指標の画像座標及び識別子、撮像装置１３０のカメラパラメータ等のデータを保持し、必要に応じてこれらを入出力する。

なお、図１に示した画像入力部１６０、データ記憶部１７０、指標候補検出部１１０、指標同定部１２０、同定尤度算出部１４０、情報生成部１５０、及び情報出力部１９０の夫々は、独立した装置として扱ってもよいし、夫々ソフトウェアとして１つもしくは複数のコンピュータにインストールし、夫々のコンピュータのＣＰＵにより実行することで、その機能を実現するようにしてもよい。本実施形態では、各部（画像入力部１６０、データ記憶部１７０、指標候補検出部１１０、指標同定部１２０、同定尤度算出部１４０、情報生成部１５０、及び情報出力部１９０）は１台のコンピュータ内で実行対象となるソフトウェアとして扱う。

図２は画像入力部１６０、データ記憶部１７０、指標候補検出部１１０、指標同定部１２０、同定尤度算出部１４０、情報生成部１５０、及び情報出力部１９０の夫々をソフトウェアとして実行するコンピュータの基本構成を示す図である。

１００１はＣＰＵで、ＲＡＭ１００２やＲＯＭ１００３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行うと共に、画像入力部１６０、データ記憶部１７０、指標候補検出部１１０、指標同定部１２０、同定尤度算出部１４０、情報生成部１５０、及び情報出力部１９０の夫々のソフトウェアの実行を制御して、各部の機能を実現する。

１００２はＲＡＭで、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。データ記憶部１７０の機能は、ＲＡＭ１００２によって実現される。

１００３はＲＯＭで、一般にコンピュータの記憶プログラムや設定データなどが格納されている。１００４、１００５は夫々キーボード、マウスで、操作者は夫々を用いて、各種の指示をＣＰＵ１００１に入力することができる。

１００６は表示部で、ＣＲＴや液晶画面などにより構成されており、例えば、指標の同定のために表示すべきメッセージ等を表示することができる。また、提示装置１８０の機能の一部は、表示部１００６によって実現される。

１００７は外部記憶装置で、ハードディスクなどの大容量情報記憶装置として機能する装置であって、ここにＯＳ（オペレーティングシステム）やソフトウェアのプログラム等を保存する。また本実施形態の説明において、既知であると説明する情報はここに保存されており、必要に応じてＲＡＭ１００２にロードされる。

１００８は記憶媒体ドライブで、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。

１００９はＩ／Ｆで、撮像装置１３０を接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポート、また、識別した指標に関わる情報を外部へ出力するためのイーサネット（登録商標）ポート等によって構成される。夫々が入力したデータはＩ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。画像入力部１６０の機能の一部は、Ｉ／Ｆ１００９によって実現される。

１０１０は上述の各部を繋ぐバスである。

図３は、指標同定部１２０で同定された指標の同定結果の尤度を算出する処理のフローチャートであり、ＣＰＵ１００１が同定尤度算出部１４０のソフトウェアのプログラムを実行することで行われる。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、ＲＡＭ１００２に既にロードされているものとする。

ステップＳ３０００において、同定尤度算出部１４０は、指標候補検出部１１０において検出された夫々の指標候補Ｐ_ｍの画像座標ｕ^Ｐｍと、指標同定部１２０において同定された指標Ｐの画像座標ｕ^Ｐ（同定された指標候補Ｐ_ｍの画像座標ｕ^Ｐｍと一致している）をデータ記憶部１７０から入力する。

ステップＳ３０１０において、同定尤度算出部１４０は、指標Ｐから夫々の（同定された指標候補以外の）指標候補Ｐ_ｍまでの画像座標上での距離ｄ_ｍを算出する。すなわち、距離ｄ_ｍを、

によって算出し、その最小値ｄ_ｍｉｎを求める。

例えば図１において、指標Ｐに対応付けられた指標候補の識別子がｍ＝２である場合には、指標候補Ｐ_２は指標Ｐそのものなので、指標Ｐから指標候補Ｐ_１（偽指標Ｐ’に相当）までの画像座標上での距離ｄ_１を算出すれば、それが最小値ｄ_ｍｉｎとなる。

ステップＳ３０２０において、同定尤度算出部１４０は、ステップＳ３０１０で算出した距離ｄ_ｍｉｎに基づいて、指標候補Ｐ_ｍの中から指標Ｐを同定した結果の尤度ｌ_Ｐを算出する。例えば、距離ｄ_ｍｉｎそのものを同定の尤度ｌ_Ｐの値とする。すなわち、同定の尤度ｌ_Ｐを、
ｌ_Ｐ＝ｄ_ｍｉｎ ・・・（２）
によって算出する。

ステップＳ３０３０において、同定尤度算出部１４０は、ステップＳ３０２０で算出した同定の尤度ｌ_Ｐをデータ記憶部１７０に出力して、本処理を終了する。

以上のように、本実施形態に係る指標位置計測装置及び指標位置計測方法によると、指標が配置されたユーザに指標の同定結果の尤度を提示することによって、指標が配置されたユーザが偽指標に近付き過ぎて誤同定が発生することを避けることができる。すなわち、偽指標が現実空間に存在し、指標とともに偽指標も指標候補として検出された場合であっても、偽指標に誤って同定されてしまうことを避けることができる。例えば、図９において、指標が領域９０２に近付くような挙動をすると、ユーザに警告が提示されて、ユーザが自身の移動を制約することによって誤同定を回避することができる。その結果、領域９０１と領域９０２が指標候補として検出された場合であっても、正しく同定し続けることができる。

なお、本実施形態では、赤外光を発光する指標を例に説明したが、赤外光に限らず、紫外光や可視光などを発光する指標を用いてもよい。その場合、指標を撮像する撮像装置としては、紫外光や可視光を撮像できる撮像装置を使用すればよい。

また、光を発光する指標の代わりに光を反射する指標を用いてもよい。例えば、表面に再帰性反射素材を配した指標に向かって、撮像装置の近傍から光を照射して、それを撮像装置で撮像してもよい。

［第２の実施形態］
本実施形態に係る指標位置計測装置は、第１の実施形態の指標位置計測装置にさらにもう１台の撮像装置を追加した構成となっている。以下、本実施形態に係る指標位置計測装置及び指標位置計測方法について説明する。

図４は、本実施形態に係る指標位置計測装置の構成を示す図である。なお、図１と同じ部分については同じ番号、記号を付けており、その説明を省略する。図４に示したように、本実施形態における指標位置計測装置４００は、画像入力部１６０、データ記憶部１７０、指標候補検出部４１０、指標候補３次元位置算出部４１５、指標同定部４２０、同定尤度算出部４４０、情報生成部１５０、及び情報出力部１９０によって構成されており、撮像装置１３０ａ，１３０ｂ、及び提示装置１８０に接続されている。

現実空間中には、撮像装置１３０ａ及び１３０ｂによって撮影するための指標Ｐが配置されている。図４の例は、指標Ｐが提示装置１８０上に配置されており、また、指標Ｐと似た偽指標Ｐ’が現実空間中に存在していて、指標Ｐと偽指標Ｐ’の両方が撮像装置１３０ａ及び１３０ｂの視野内に含まれている状況を示している。

撮像装置１３０ａ及び１３０ｂが出力する画像（以下、これを撮像画像と呼ぶ）は、画像入力部１６０に入力される。ここで、撮像装置１３０ａ及び１３０ｂは、提示装置１８０上の指標Ｐをなるべく常に撮像可能な位置に固定して配置されている。ここで、撮像装置１３０ａ及び１３０ｂの世界座標系における位置及び姿勢は、データ記憶部１７０に既知の値として予め保持されているものとする。

指標候補検出部４１０は、データ記憶部１７０より撮像装置１３０ａ，１３０ｂによって撮影された撮像画像を入力し、入力した撮像画像中に撮影されている指標候補の画像座標を夫々の撮像画像中で検出し、夫々の画像座標をデータ記憶部１７０へと出力する。なお、以下では、識別番号ｉ（図４の場合にはｉ＝（ａ，ｂ））の撮像装置１３０ｉによって撮影された撮像画像上で検出された指標候補を、検出された指標候補の夫々に付けられた識別子ｍ_ｉ（ｍ_ｉ＝１，，，Ｍ_ｉ）を用いて、Ｐ^ｉ _ｍｉと表記する。ここで、Ｍ_ｉは撮像装置１３０ｉによって撮影された撮像画像上で検出された指標候補の数を表している。また、検出された指標候補Ｐ^ｉ _ｍｉの画像座標をｕ^Ｐｉｍｉと表記する。例えば図４の場合には、Ｍ_ａ＝Ｍ_ｂ＝２であり、画像座標ｕ^Ｐａ１ａ，ｕ^Ｐａ２ａ，ｕ^Ｐｂ１ｂ，ｕ^Ｐｂ２ｂが出力される。

指標候補３次元位置算出部４１５は、指標候補Ｐ_ｍの中から指標Ｐを同定する。例えば、指標候補検出部４１０によって検出された各々の指標候補Ｐ_ｍの画像座標（図４の例ではｕ^Ｐａ１ａ，ｕ^Ｐａ２ａ，ｕ^Ｐｂ１ｂ，ｕ^Ｐｂ２ｂ）と、夫々の撮像装置の世界座標における位置及び姿勢をデータ記憶部１７０から入力し、これらの情報を基に、エピポーラ拘束及び三角測量の原理に基づいて夫々の指標候補Ｐ_ｍの３次元位置ｘ^Ｐｍを算出して、データ記憶部１７０に出力する。

指標同定部４２０は、データ記憶部１７０より夫々の指標候補Ｐ_ｍの３次元位置ｘ^Ｐｍを入力し、それらのうち、保持されている最新の指標Ｐの３次元位置（多くの場合は、現在より一つ前の時刻（フレーム）における指標Ｐの計測位置に相当する）に最も近いものを指標Ｐであると判定する。指標同定部４２０は、さらに、同定した指標Ｐの３次元位置ｘ^Ｐをデータ記憶部１７０に出力する。この値は、当該装置の出力として、必要に応じて装置の外部にも出力される。

同定尤度算出部４４０は、指標候補Ｐ_ｍの中から指標Ｐを同定した結果の尤度を算出し、データ記憶部１７０に出力する。処理の詳細は後述する。

なお、図４に示した画像入力部１６０、データ記憶部１７０、指標候補検出部４１０、指標候補３次元位置算出部４１５、指標同定部４２０、同定尤度算出部４４０、情報生成部１５０、及び情報出力部１９０の夫々は、独立した装置として扱ってもよいし、夫々ソフトウェアとして１つもしくは複数のコンピュータにインストールし、夫々のコンピュータのＣＰＵにより実行することで、その機能を実現するようにしてもよい。本実施形態では、各部（画像入力部１６０、データ記憶部１７０、指標候補検出部４１０、指標候補３次元位置算出部４１５、指標同定部４２０、同定尤度算出部４４０、情報生成部１５０、及び情報出力部１９０）は１台のコンピュータ内で実行対象となるソフトウェアとして扱う。またこのコンピュータの基本構成は図２に示した構成とする。

図５は、指標同定部４２０で同定された指標の同定結果の尤度を算出する処理のフローチャートであり、ＣＰＵ１００１が同定尤度算出部４４０のソフトウェアのプログラムを実行することで行われる。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、ＲＡＭ１００２に既にロードされているものとする。

ステップＳ５０００において、同定尤度算出部４４０は、指標候補３次元位置算出部４１５において算出された夫々の指標候補Ｐ_ｍの３次元位置ｘ^Ｐｍと、指標同定部４２０において同定された指標Ｐの３次元位置ｘ^Ｐ（同定された指標候補Ｐ_ｍの３次元位置ｘ^Ｐｍと一致している）をデータ記憶部１７０から入力する。

ステップＳ５０１０において、同定尤度算出部４４０は、指標Ｐから夫々の（同定された指標候補以外の）指標候補Ｐ_ｍまでの３次元距離Ｄ_ｍを算出する。すなわち、距離Ｄ_ｍを、

によって算出し、その最小値Ｄ_ｍｉｎを求める。

例えば図４において、指標Ｐに対応する指標候補の識別子がｍ＝２である場合には、指標候補Ｐ_２は指標Ｐそのものなので、指標Ｐから指標候補Ｐ_１（偽指標Ｐ’に相当）までの３次元距離Ｄ_１を算出すれば、それが最小値Ｄ_ｍｉｎとなる。

ステップＳ５０２０において、同定尤度算出部４４０は、ステップＳ５０１０で算出した３次元距離Ｄ_ｍｉｎに基づいて、指標候補Ｐ_ｍの中から指標Ｐを同定した結果の尤度ｌ_Ｐを算出する。例えば、３次元距離Ｄ_ｍｉｎそのものを同定の尤度ｌ_Ｐの値とすることができる。すなわち、同定の尤度ｌ_Ｐを、
ｌ_Ｐ＝Ｄ_ｍｉｎ ・・・（４）
によって算出する。

なお、指標候補Ｐ_ｍと指標Ｐの３次元距離が離れている場合でも、画像座標上での距離が短い場合、すなわち撮像装置と指標Ｐと偽指標Ｐ’が３次元的にほぼ一直線上に並んでいるような場合には、同定の尤度が小さくなる。従って、画像座標上での距離も考慮して同定の尤度を算出してもよい。例えば、指標Ｐから夫々の指標候補Ｐ_ｍまでの、夫々の撮像画像の画像座標上での距離ｄ_ｍｉ（ｉは撮像装置の識別番号で、図４の場合にはｉ＝（ａ，ｂ））を

によって算出し、その最小値ｄ_ｍｉｎを求めて、同定の尤度ｌ_Ｐを
ｌ_Ｐ＝Ｄ_ｍｉｎ・ｄ_ｍｉｎ ・・・（６）
によって算出してもよい。

ステップＳ５０３０において、同定尤度算出部４４０は、ステップＳ５０２０で算出した同定の尤度ｌ_Ｐをデータ記憶部１７０に出力して、本処理を終了する。

以上のように、本実施形態に係る指標位置計測装置及び指標位置計測方法によっても、指標が配置されたユーザに指標の同定結果の尤度を提示することによって、指標が配置されたユーザが偽指標に近付き過ぎて誤同定が発生することを避けることができる。すなわち、偽指標が現実空間に存在し、指標とともに偽指標も指標候補として検出された場合であっても、指標が偽指標に近付くような挙動をすると、ユーザに警告が提示されるので、ユーザが自身の移動を制約することによって偽指標に誤って同定されてしまうことを避けることができる。

なお、本実施形態では撮像装置が２台の場合について説明したが、撮像装置は３台以上の任意の台数であってもよい。

［第３の実施形態］
上記の第１及び第２の実施形態における同定尤度算出部では、指標候補と指標との距離に基づいて同定の尤度を算出していた。これに対し、より簡便に、指標を観察している撮像装置の台数に基づいて同定の尤度を算出してもよい。以下、本実施形態に係る指標位置計測装置及び指標位置計測方法について説明する。本実施形態に係る指標位置計測装置は、第１の実施形態の指標位置計測装置にさらにもう３台の撮像装置を追加した構成となっている。

図６は、本実施形態に係る指標位置計測装置の構成を示す図である。なお、図１または図４と同じ部分については同じ番号、記号を付けており、その説明を省略する。図６に示したように、本実施形態における指標位置計測装置６００は、画像入力部１６０、データ記憶部１７０、指標候補検出部６１０、指標候補３次元位置算出部４１５、指標同定部４２０、同定尤度算出部６４０、情報生成部１５０、及び情報出力部１９０によって構成されており、撮像装置１３０ａ，１３０ｂ，１３０ｃ，１３０ｄ、及び提示装置１８０に接続されている。

現実空間中には、撮像装置１３０ａ〜１３０ｄによって撮影するための指標Ｐが配置されている。図６の例は、指標Ｐが提示装置１８０上に配置されており、また、指標Ｐと似た偽指標Ｐ’が現実空間中に存在していて、指標Ｐと偽指標Ｐ’の両方が撮像装置１３０ａ〜１３０ｃの視野内に含まれている状況を示している。

撮像装置１３０ａ〜１３０ｄが出力する画像（以下、これを撮像画像と呼ぶ）は、画像入力部１６０に入力される。ここで、撮像装置１３０ａ〜１３０ｄは、提示装置１８０上の指標Ｐをなるべく常に撮像可能な位置に固定して配置されている。ここで、撮像装置１３０ａ〜１３０ｄの世界座標系における位置及び姿勢は、データ記憶部１７０に既知の値として予め保持されているものとする。

本実施形態に係る指標位置計測装置６００の構成は、第２の実施形態における指標位置計測装置の構成と同様であって図６に示した通りであるが、指標候補検出部６１０および同定尤度算出部６４０の機能が第２の実施形態とは異なっている。

指標候補検出部６１０は、データ記憶部１７０より撮像装置１３０ａ〜１３０ｄによって撮影された撮像画像を入力し、入力した撮像画像中に撮影されている指標候補の画像座標を夫々の撮像画像中で検出し、夫々の画像座標をデータ記憶部１７０へと出力する。例えば図６の場合には、指標候補の数Ｍ_ａ＝Ｍ_ｂ＝Ｍ_ｃ＝２，Ｍ_ｄ＝０であり、画像座標ｕ^Ｐａ１ａ，ｕ^Ｐａ２ａ，ｕ^Ｐｂ１ｂ，ｕ^Ｐｂ２ｂ，ｕ^Ｐｃ１ｃ，ｕ^Ｐｃ２ｃが出力される。

同定尤度算出部６４０は、指標候補Ｐ_ｍの中から指標Ｐを同定した結果の尤度を算出し、データ記憶部１７０に出力する。本実施形態では、指標を視野に含む撮像装置の台数に基づいて同定の尤度を算出する。例えば、指標を視野に含む撮像装置の台数ｎ_Ｐそのものを同定の尤度ｌ_Ｐの値とする。すなわち、
ｌ_Ｐ＝ｎ_Ｐ ・・・（７）
によって算出する。

なお、図６に示した画像入力部１６０、データ記憶部１７０、指標候補検出部６１０、指標候補３次元位置算出部４１５、指標同定部４２０、同定尤度算出部６４０、情報生成部１５０、及び情報出力部１９０の夫々は、独立した装置として扱ってもよいし、夫々ソフトウェアとして１つもしくは複数のコンピュータにインストールし、夫々のコンピュータのＣＰＵにより実行することで、その機能を実現するようにしてもよい。本実施形態では、各部（画像入力部１６０、データ記憶部１７０、指標候補検出部６１０、指標候補３次元位置算出部４１５、指標同定部４２０、同定尤度算出部６４０、情報生成部１５０、及び情報出力部１９０）は１台のコンピュータ内で実行対象となるソフトウェアとして扱う。またこのコンピュータの基本構成は図２に示した構成とする。

以上のように、本実施形態に係る指標位置計測装置及び指標位置計測方法によっても、指標が配置されたユーザに指標の同定結果の尤度を提示することによって、指標が配置されたユーザが撮像装置の視野から外れて指標の位置計測が不可能となり同定に失敗することを避けることができる。すなわち、ユーザが撮像装置の視野から外れるような挙動をするとユーザに警告が提示されるので、ユーザが自身の移動を制約することによって同定に失敗してしまうことを避けることができる。

なお、本実施形態では撮像装置が４台の場合について説明したが、撮像装置は２台以上の任意の台数であってもよい。

（変形例１）
上記の実施形態の夫々において、撮像装置が固定されている場合を想定していたが、撮像装置が移動する場合であっても，撮像装置の位置姿勢の計測が可能であれば，本発明を好適に適用可能である。

（変形例２）
上記の実施形態の夫々において、指標が１つの場合を想定していたが、指標が複数の場合であっても本発明を好適に適用可能である。例えば指標が２つの場合、すなわち第２の指標Ｑが第２のユーザの提示装置上に配置されていて、撮像装置１３０の視野内に含まれている状況となる。この場合の指標位置計測は、上記の実施形態の夫々における計測処理を夫々のユーザに対して独立に行えばよいだけなので、上記の実施形態の夫々における指標位置計測装置の構成と同様となる。

本変形例によれば、［従来技術３］で利用されていたような発光タイミングの制御機構や高速度カメラは不要となるため、コストを低く抑えることができる。

（変形例３）
上記の実施形態の夫々において、同定の尤度は指標の現在の位置に基づいて算出していたが、指標の未来の位置をカルマンフィルタ等によって予測し，その予測位置に基づいて同定尤度を算出してもよい。この場合には、より高い精度で誤同定を回避することが可能となる。

本変形例によれば、撮像装置と指標の間に遮蔽物（例えばユーザやＨＭＤや情景中の物体）が入ることが予測されるような場合にも、予めユーザに警告することで、誤同定を回避することができる。

（変形例４）
同定の尤度が所定値よりも大きな領域をデータ記憶部１７０に記憶しておき、その領域に関する情報も提示装置に提示すれば、より確実に誤同定を回避することができる。例えば、ユーザの現在位置に対する上記領域の方向を示す矢印画像をＨＭＤに表示して、同定の尤度がより大きな領域にユーザが移動するように促すことによって、誤同定を回避することができる。

（変形例５）
上記の実施形態の夫々において、同定の尤度に関わる情報はユーザに提示していたが、ユーザ以外（例えばオペレータ）に提示してもよい。この場合には、ユーザが提示装置を装着したりユーザの近傍に提示装置を配置したりする必要は無い。

［その他の実施形態］
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

第１の実施形態に係る指標位置計測装置の概略構成を示す図である。 指標位置計測装置の各部をソフトウェアにより実現することのできるコンピュータの基本構成を示す図である。 第１の実施形態における、指標の誤検出を防止する処理を説明するフローチャートである。 第２の実施形態に係る指標位置計測装置の概略構成を示す図である。 第２の実施形態における、指標の誤検出を防止する処理を説明するフローチャートである。 第３の実施形態に係る指標位置計測装置の概略構成を示す図である。 従来技術で利用されている指標の例である。 従来技術３および第１の実施形態における利用場面を模式的に表す模式図である。 従来技術３および第１の実施形態における処理を説明するための、指標および指標と似た明度の領域が画像に捉えられている様子を表す模式図である。

Claims (11)

1. 情景を撮像する撮像手段で撮像された画像を入力する画像入力工程と、
   前記画像入力工程で入力された画像から、前記情景中の指標に関わる候補領域の画像座標に関わる特徴量を検出する検出工程と、
   前記検出工程で検出された前記指標に関わる候補領域の画像座標に関わる特徴量に基づいて、該候補領域を該指標と同定する同定工程と、
   前記同定工程における同定の尤度を算出する同定尤度算出工程と、
   前記同定尤度算出工程で算出された同定の尤度に関わる情報を提示する提示工程と、
   を備えることを特徴とする指標位置計測指標位置計測方法。
2. 前記指標が体験者に取り付けられており、前記提示工程は、同定の尤度に関わる情報を該体験者に提示することを特徴とする、請求項１に記載の指標位置計測方法。
3. 前記同定尤度算出工程は、前記候補領域が複数存在するときに、前記指標と同定された候補領域の画像座標から前記指標と同定されなかった候補領域の画像座標までの距離の関数として同定の尤度を算出することを特徴とする、請求項１または２に記載の指標位置計測方法。
4. 前記同定尤度算出工程は、前記候補領域が複数存在するときに、前記指標と同定された候補領域から前記指標と同定されなかった候補領域までの３次元的な距離の関数として同定の尤度を算出することを特徴とする、請求項１または２に記載の指標位置計測方法。
5. 前記撮像手段が複数のカメラからなり、前記同定尤度算出工程は、該複数のカメラおよび前記指標と同定された候補領域および前記指標と同定されなかった候補領域の３次元的な位置関係に基づいて同定の尤度を算出することを特徴とする、請求項１または２に記載の指標位置計測方法。
6. 前記撮像手段が複数のカメラからなり、前記同定尤度算出工程は、前記指標と同定された候補領域を視野に含む撮像手段の個数に基づいて同定の尤度を算出することを特徴とする、請求項１または２に記載の指標位置計測方法。
7. 前記同定尤度算出工程は、前記情景中に位置姿勢および形状が既知の物体があるときに、前記指標と同定された候補領域および該物体および前記撮像手段の３次元的な位置関係に基づいて同定の尤度を算出することを特徴とする、請求項１または２に記載の指標位置計測方法。
8. 前記同定尤度算出工程は、前記指標が撮像された時刻より後の時刻における指標の予測位置に基づいて同定の尤度を算出することを特徴とする、請求項１乃至７のいずれか１項に記載の指標位置計測方法。
9. 同定の尤度が所定値よりも大きな領域を記憶する領域記憶工程をさらに備え、前記提示工程は、該領域に関わる情報を提示することを特徴とする、請求項１乃至８のいずれか１項に記載の指標位置計測方法。
10. 請求項１乃至９の何れかに記載の指標位置計測方法をコンピュータで実現するためのプログラム。
11. 情景を撮像する撮像手段と、
    前記撮像手段で撮像された画像から、前記情景中の指標に関わる候補領域の画像座標に関わる特徴量を検出する検出手段と、
    前記検出手段で検出された前記指標に関わる候補領域の画像座標に関わる特徴量に基づいて、該候補領域を該指標と同定する同定手段と、
    前記同定手段における同定の尤度を算出する同定尤度算出手段と、
    前記同定尤度算出手段で算出された同定の尤度に関わる情報を提示する提示手段と、
    を備えることを特徴とする指標位置計測指標位置計測装置。
    

Images