JP2022112168A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】撮像画像から抽出された特徴点の中で、誤対応の虞が少ない特徴点を高精度かつ迅速に取得可能にする。【解決手段】情報処理装置は、撮像装置により取得された第一の画像から複数の特徴点を特徴点群として抽出し、特徴点群に含まれる夫々の特徴点を着目特徴点とし、その着目特徴点と近傍の他の特徴点との類似度を取得して、着目特徴点の類似度とする。そして、情報処理装置は、特徴点群に含まれる複数の特徴点の中から、類似度が閾値以下の特徴点を選択して選択特徴点群とする。【選択図】図１

Description

本発明は、撮像された画像を基に撮像装置の位置姿勢を推定する情報処理技術に関する。

近年、設計・製造分野において、プロトタイプを用いた評価の期間短縮、費用削減が求められている。例えばＣＡＤ（コンピュータ支援設計）システムで作成した設計（形状・デザイン）データを用いて、組み立てやすさやメンテナンス性の評価をするための複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）を提供するシステムが導入されている。
ここで、ＭＲシステムによって複合現実感を提供する場合には、現実空間と仮想空間との位置合わせを、正確かつリアルタイムに実現することが求められる。現実空間と仮想空間との正確な位置合わせを実現する際に用いられる技術の一つに、撮像装置が現実空間を撮像した画像を用いて、現実空間における当該撮像装置の位置姿勢をリアルタイムに推定する技術がある。

非特許文献１には、撮像装置にて得られた画像を用いて位置姿勢を推定する処理において、画像中の局所的な特徴点に対して、オプティカルフロー（フレーム間での特徴点の追跡）推定やステレオマッチングによる奥行推定を行うことが開示されている。これらはどちらも、二つ画像間で特徴点の正しい対応を求める処理（局所的な特徴点の対応付け）に基づいている。対応点の中に誤対応点が含まれると、位置姿勢の推定精度が低下する。そのため非特許文献１では、対応点の一部をランダムに抽出して位置姿勢を推定する処理を反復し、外れ値となる対応点を誤対応点として除去している。
また特許文献１には、連続的に撮像された二つの画像間で対応点を探索する際に、第一の類似点と、その近傍点との類似度を比較し、より類似度の高い方を対応点とする方法が開示されている。
さらに非特許文献２には、対応点の探索におけるクロスマッチが開示されており、これは一方の画像の特徴点から対応点探索を行った結果と、もう一方の画像の特徴点から対応点探索を行った結果とが一致しないものを除去する方法である。

特開２０１７－４１１４１号公報

Ｒ．Ｍｕｒ－Ａｒｔａｌ ａｎｄ Ｊ．Ｄ．Ｔａｒｄｏｓ："ＯＲＢ－ＳＬＡＭ： Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ Ｒｅｃｏｇｎｉｚａｂｌｅ Ｆｅａｔｕｒｅｓ"，Ｒｏｂｏｔｉｃｓ：Ｓｃｉｅｎｃｅ ａｎｄ Ｓｙｓｔｅｍｓ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｕｌｔｉ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ ＲＯｂｏｔｉｃｓ，２０１４． Ｂ．Ｚａｋ ａｎｄ Ｓ．Ｈｏzｙｎ："Ｌｏｃａｌ Ｉｍａｇｅ Ｆｅａｔｕｒｅｓ Ｍａｔｃｈｉｎｇ ｆｏｒ Ｒｅａｌ－ｔｉｍｅ Ｓｅａｂｅｄ Ｔｒａｃｋｉｎｇ Ａｐｐｌｉｃａｔｉｏｎｓ"，Ｊｏｕｒｎａｌ ｏｆ Ｍａｒｉｎｅ Ｅｎｇｉｎｅｅｒｉｎｇ ＆ Ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌｕｍｅ １６，２０１７．

しかしながら、非特許文献１に開示された方法の場合、全対応点の中で誤対応点の比率が多く、誤対応点が幾何的な整合性を満たしている場合には、それら誤対応点を除去することができない。例えばビルの窓の四隅にある特徴点を、同じ見かけをした別の窓の四隅の特徴点と対応付けた場合などに、これらを誤対応と判定することが難しい。そのため、幾何的整合性に基づいた誤対応の除去だけでなく、画像の見かけに基づいた誤対応の除去を行う必要がある。
また特許文献１に開示された方法の場合、第一の類似点とその近傍点との類似度が同程度に高い場合などに誤対応が生じることがある。
また非特許文献２に開示された方法の場合、特徴点同士の見かけの比較回数が増加して、計算量が増加する。
言い換えると、これらの手法では、誤対応点の虞が少ない特徴点のみを迅速かつ高い精度で取得することができず、その結果、撮像装置の位置姿勢を安定的且つ高い精度で推定することができなくなることがある。

そこで本発明は、撮像画像から抽出された特徴点の中で、誤対応の虞が少ない特徴点を高精度かつ迅速に取得可能にすることを目的とする。

本発明の情報処理装置は、撮像装置により取得された第一の画像から複数の特徴点を特徴点群として抽出する特徴点抽出手段と、前記特徴点群に含まれる夫々の特徴点を着目特徴点とし、前記着目特徴点と近傍の他の特徴点との類似度を取得して、前記着目特徴点の類似度とする類似度取得手段と、前記特徴点群に含まれる前記複数の特徴点の中から、前記類似度が閾値以下の特徴点を選択して選択特徴点群とする処理手段と、を有することを特徴とする。

本発明によれば、撮像画像から抽出された特徴点の中で誤対応の虞が少ない特徴点を高精度かつ迅速に取得可能となる。

情報処理装置の構成例を示す図である。 情報処理装置のハードウェア構成例を示す図である。 画像から抽出された複数の特徴点の例を示す模式図である。 情報処理装置における処理のフローチャートである。 選択特徴点群の抽出処理のフローチャートである。

以下、実施形態を、添付の図面に基づいて詳細に説明する。以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定するものではない。なお同一の構成または処理については、同じ参照符号を付して説明する。
本実施形態では、一例として、ＣＡＤシステムで作成した設計データを用いて組み立てやすさやメンテナンス性の評価をするための複合現実感（ＭＲ）システムに、情報処理装置を適用した例を挙げて説明する。ＭＲシステムでは、現実空間と仮想空間（コンピュータグラフィクスにより描画された仮想物体や文字情報等）の画像とを合成してユーザに提供する。例えば、ＭＲシステムに用いられるビデオシースルー方式の画像表示装置では、撮像装置で撮像された現実空間の画像に、該撮像装置の位置及び姿勢に応じて生成した仮想空間の画像を重畳描画した合成画像を表示する。また例えば、光学シースルー方式の画像表示装置では、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成された仮想空間の画像を表示する。

このようにＭＲシステムでは、現実空間と仮想空間との間の位置合わせを正確に行う必要があり、本実施形態では、例えば撮像装置にて撮像された画像中の局所的な特徴点に基づいて位置合わせを行うとする。ただし、局所的な特徴点の対応付けの処理では、しばしば誤対応が発生することがあり、その一因として、撮像画像中に、局所的に見ると特徴が似ている点が複数存在する場合が挙げられる。
本実施形態では、撮像装置にて得られた画像間の局所的な特徴点の対応を正しく、かつ迅速に求めるために、画像から抽出された複数の特徴点の中から、誤対応点の虞がある特徴点を除去、つまり誤対応点の虞が少ない特徴点を選択的に取得する処理を行う。本実施形態では、画像間の局所特徴点から誤対応点の虞が少ない特徴点を選択的に取得することで、撮像装置の位置姿勢推定をより安定的に実施可能とする。

図１は本実施形態に係る情報処理装置１を含むシステム構成例を示したブロック図である。図１に示すように、本実施形態にかかるシステムは、情報処理装置１が、撮像装置であるカメラ１００と接続された構成となっている。なお、カメラ１００は、左目用のカメラと右目用のカメラからなるステレオカメラ構成である例を挙げるが、単眼カメラや２つ以上のカメラであってもよい。

情報処理装置１は、画像入力部１０１、特徴点追跡部１０２、位置姿勢推定部１０３、特徴点抽出部１０４、類似度算出部１０５、類似点処理部１０６、マップ構築部１０７、マップ保持部１０８、および出力部１０９を有する。なお、これらの構成は一例であり、図示した例に限るものではない。詳細については後述するが、本実施形態の情報処理装置１は、これら構成による処理を実行することで、撮像装置の位置姿勢推定とマップ構築を行う。なお、位置姿勢推定とマップ構築の際には、撮像画像に加えて、加速度センサ、角速度センサ、超音波センサ、磁気センサ、奥行画像センサ、レーザー距離センサなどのセンサや、現実空間中に配置したマーカーから得られた情報などが用いられてもよい。以下の説明では、撮像装置の位置姿勢を、カメラ位置姿勢と呼ぶことにする。

図２は、情報処理装置１を含む本実施形態のハードウェア構成例を示した図である。
図２において、ＣＰＵ２０１は装置全体を制御する。ＲＡＭ２０２は、ＣＰＵ２０１が各部を制御しながら処理を行う時に作業領域として用いられる。ＲＯＭ２０３は、制御プログラム、各種アプリケーションプログラム、データなどを記憶する。ＣＰＵ２０１は、ＲＯＭ２０３に記憶する制御プログラムをＲＡＭ２０２に展開して実行する。ＣＰＵ２０１は、制御プログラムを実行することにより、図１の画像入力部１０１、特徴点追跡部１０２、位置姿勢推定部１０３、特徴点抽出部１０４、類似度算出部１０５、類似点処理部１０６、マップ構築部１０７、マップ保持部１０８等の各機能を実現する。入力Ｉ／Ｆ２０４は、カメラ１００からの画像信号を、情報処理装置１で処理可能な形式の入力信号として取得する。出力Ｉ／Ｆ２０５は、情報処理装置１にて生成等された信号を、不図示の外部装置が処理可能な形式の信号にして出力する。なお、入力Ｉ／Ｆ２０４や出力Ｉ／Ｆ２０５は、情報処理装置が外部の装置と有線で接続される場合には通信用のケーブルが接続され、また外部の装置と無線通信する機能を有する場合にはアンテナを備える。

このように図１に示す情報処理装置１の各部の機能は、図２のＣＰＵ２０１がプログラムを実行することで実現することができる。なお、図１に示す各機能部のうち少なくとも一部は、不図示の専用のハードウェアやＧＰＵによって実行するようになされていてもよい。この場合、専用のハードウェアやＧＰＵは、ＣＰＵ２０１の制御に基づいて動作する。また、ＣＰＵとは異なる１又は複数の専用のハードウェアを有していて、ＣＰＵによる処理の少なくとも一部を専用のハードウェアが実行しても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。また図２では図示していないが、情報処理装置１には表示部や操作部、大容量の記憶部を備えるか、若しくは接続されていても良い。表示部は、例えば液晶ディスプレイやＬＥＤディスプレイ等で構成され、ユーザが情報処理装置を操作するためのＧＵＩ（グラフィカルユーザインタフェース）などを表示する。操作部は、マウスやキーボード、ジョイスティック、タッチパネル等のようにユーザが操作する操作デバイスを含む。記憶部は、着脱可能なメモリカードや、内蔵若しくは外付けのハードディスクドライブやソリッドステートドライブ等を含む。

以下、本実施形態に係る情報処理装置１とその利用形態の一例について詳細に説明する。
画像入力部１０１は、カメラ１００が現実空間を撮像した画像を取得し、特徴点追跡部１０２に送出する。カメラ１００は動画像を撮像する装置であり、画像入力部１０１には、動画像のフレーム毎の画像が入力される。以下、最新の入力フレームを現フレーム、その一つ前のフレームを前フレームとして説明する。なお、カメラ１００がステレオカメラなど、複数の撮像装置からなる場合、画像入力部１０１に入力される複数の画像のフレームは同期している（撮像時刻が一致している）ものとする。また、各カメラの内部パラメータおよび外部パラメータは予め校正されているものとして説明する。

特徴点追跡部１０２は、後述するマップ保持部１０８に保持されたマップ点群に含まれる複数のマップ点（世界座標系の３次元点）に対応する、現フレームにおける画像座標（２次元座標）を算出する。
特徴点追跡部１０２による処理の具体的手順の一例を以下に示す。
まず特徴点追跡部１０２は、マップ保持部１０８に保持されたマップ点群に含まれる複数のマップ点を、前フレームの画像が撮像された時のカメラ位置姿勢とカメラ１００の内部パラメータとに基づいて前フレームの画像平面上に投影して、投影座標を得る。そして、特徴点追跡部１０２は、各マップ点の投影座標が前フレームの画像領域内にある点の集合を投影点群とする。投影点群の各点は、投影座標（すなわち前フレーム画像中の２次元座標）と、対応するマップ点の情報を保持するものとする。

次に特徴点追跡部１０２は、前フレームの画像と現フレームの画像とを用いて、投影点群の各点に対応する現フレームの画像座標（以下、対応点群と呼ぶ）を求める、対応点探索処理を行う。その方法の一つとして、Ｌｕｃａｓ－Ｋａｎａｄｅ法があるが、本実施形態における対応点探索処理の方法はこれに限らない。対応点群の各点は、現フレームにおける画像座標（２次元座標）と、対応する投影座標およびマップ点の情報を保持するものとする。
そして特徴点追跡部１０２は、投影点群と対応点群を、位置姿勢推定部１０３に送出する。なお、現フレームの画像が情報処理装置１に入力された最初の画像であり、マップ保持部１０８にマップ点群が保持されていない場合、特徴点追跡部１０２は、位置姿勢推定部１０３には何も送出しなくともよい。

位置姿勢推定部１０３は、特徴点追跡部１０２から取得した複数のマップ点と夫々に対応する現フレームの画像座標とを基に、現フレームの画像撮像時のカメラ位置姿勢を推定する。
ここで、カメラの位置と姿勢を６自由度で求める方法の一つに、複数の３次元座標と２次元座標との対応からＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ）問題と呼ばれる連立方程式を解く方法がある。本実施形態では、マップ点の３次元座標と現フレームの画像座標（２次元座標）との対応から、ＰｎＰ問題を解くことで、現フレームのカメラ位置姿勢を求める。なお、３次元座標と２次元座標との対応には誤対応が含まれる可能性があるため、ＲＡＮＳＡＣなどのロバスト推定を用いても良い（非特許文献１を参照）。ただし、本実施形態におけるカメラ位置姿勢推定はこの方法に限るものではなく、デプス画像や加速度センサ、角速度センサ、磁気センサなど、他のセンサの情報を利用して求めても良い。
そして、位置姿勢推定部１０３は、前述のようにして算出した現フレームにおけるカメラ位置姿勢を示す情報を出力部１０９に送出する。また現フレームのカメラ位置姿勢の情報は、同時に、特徴点抽出部１０４にも送出される。

なお現フレームの画像が情報処理装置１に入力された最初の画像であり、特徴点追跡部１０２から何も情報が送出されていない場合、位置姿勢推定部１０３は、カメラ位置姿勢として既定の値（例えば世界座標系の原点など）を送出してもよい。或いは、位置姿勢推定部１０３は、他の方法で求めたカメラ位置姿勢を送出してもよい。他の方法としては、例えば、画像中のマーカーを検出してカメラの位置姿勢を求める方法や、モーションキャプチャ技術のように物体の位置姿勢をトラッキングできるセンサを用いる方法などがある。画像中のマーカーを検出してカメラ位置姿勢を求める方法は、下記の参考文献に記載されている。

参考文献： Ｈ．Ｋａｔｏ ａｎｄ Ｍ．Ｂｉｌｌｉｎｇｈｕｒｓｔ："Ｍａｒｋｅｒ Ｔｒａｃｋｉｎｇ ａｎｄ ｈｍｄ ｃａｌｉｂｒａｔｉｏｎ ｆｏｒ ａ ｖｉｄｅｏ－ｂａｓｅｄ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｃｏｎｆｅｒｅｎｃｉｎｇ ｓｙｓｔｅｍ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２ｎｄ ＩＥＥＥ ａｎｄ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ，１９９９．

特徴点抽出部１０４には、画像入力部１０１から送出された現フレームの画像が、前述した特徴点追跡部１０２および位置姿勢推定部１０３を介して入力される。そして、特徴点抽出部１０４は、現フレームの画像から複数の特徴点を抽出し、それらを特徴点群として出力する。特徴点の抽出方法としては、Ｓｈｉ－Ｔｏｍａｓｉらの手法のように局所的に見てコーナー点と判定される点を特徴点として検出する方法があるが、本実施形態における特徴点の抽出方法はこれに限らない。本実施形態では、特徴点群は、複数の特徴点の画像座標を保持するものとして説明するが、特徴点周辺の画像情報や、ＳＩＦＴなどに代表される特徴記述子、エッジ情報などの情報を、特徴点に紐づく特徴情報として含めても良い。また、特徴点追跡部１０２から送出されたマップ点の現フレームの画像座標を、特徴点として特徴点群に含めても良い。特徴点抽出部１０４は、それら何れかの方法を用いて抽出した特徴点群を、類似度算出部１０５に送出する。

図３は、画像３０１から特徴点群を抽出した状態を示す模式図である。特徴点３０２、３０３、３０５、および３０６は、特徴点抽出部１０４にて抽出された特徴点群に含まれる各特徴点である。

類似度算出部１０５は、以下に説明するような特徴点類似度取得処理（特徴点の類似度算出処理）によって、特徴点抽出部１０４にて抽出された特徴点群に含まれる夫々の特徴点ごとに、その近傍の特徴点との類似度を算出する。
図３を用いて、類似度算出部１０５における特徴点の類似度算出処理について説明する。
まず類似度算出部１０５は、各特徴点の夫々に対して近傍探索範囲を設定する。例えば特徴点３０２に対しては、図中に点線で示す近傍探索範囲３０４を設定する。本実施形態における近傍探索範囲は、パッチサイズよりも大きく、かつ画像サイズよりも小さいものとする。なお、パッチサイズとは、特徴点のオプティカルフローやステレオマッチングを行う際に用いられる特徴点周辺の小領域（パッチ）のサイズである。

次に類似度算出部１０５は、夫々の特徴点を着目特徴点とし、その着目特徴点について設定された近傍探索範囲内にある他の特徴点（つまり近傍の特徴点）との類似度を算出する。着目特徴点と近傍特徴点のような二つの特徴点の類似度を算出する方法として、本実施形態では、後述する、パッチ内の画素の輝度値ヒストグラムを用いた方法を用いる。ただし本実施形態において二つの特徴点の類似度を算出する方法はこれに限るものではない。例えば、パッチ内の各画素の輝度のＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を類似度として算出しても良いし、各画素の色情報などを使って類似度を定義しても良い。また、一方の特徴点のパッチをテンプレートとして、もう一方の特徴点のパッチ内をテンプレートマッチングして得られた最大の類似度を特徴点間の類似度としても良い。

本実施形態の場合、類似度算出部１０５は、パッチ内の画素の輝度値ヒストグラムを用いて類似度を算出する。
まず類似度算出部１０５は、一方の特徴点である第一の特徴点のパッチに対し、各画素の輝度値からヒストグラムＨ₁を求める。同様に類似度算出部１０５は、もう一方の特徴点である第二の特徴点のパッチに対し、各画素の輝度値からヒストグラムＨ₂を求める。そして類似度算出部１０５は、二つのヒストグラムの相関係数Ｄを、以下の式（１）で求める。

ここで、式（１）のＨ（Ｉ）はヒストグラムＨのＩ番目のビンであり、Ａ（Ｈ）は下記の式（２）で求められる。式（２）中のＮはヒストグラムのビン数である。

類似度算出部１０５は、夫々の特徴点について、近傍探索範囲内の特徴点との相関係数Ｄを求め、最も大きい相関係数Ｄをその特徴点の類似度とする。つまり、類似度算出部１０５は、近傍探索範囲内の１以上の特徴点（近傍特徴点）のうち、着目特徴点との類似度が最も高い類似度を、この着目特徴点の類似度として算出する。

例えば図３の状況の場合、特徴点３０２が着目特徴点とすると、特徴点３０２の近傍探索範囲３０４内の他の特徴点（近傍特徴点）は、特徴点３０３および特徴点３０６である。そして例えば、特徴点３０２と特徴点３０３との相関係数をＤ１、特徴点３０２と特徴点３０６との相関係数をＤ２として、Ｄ２よりＤ１の方が大きい場合は、特徴点３０２の類似度はＤ１となる。また例えば着目特徴点が特徴点３０３であるとすると、その特徴点３０３の近傍探索範囲内の特徴点（近傍特徴点）は特徴点３０２のみであり、特徴点３０３の類似度もＤ１となる。また例えば着目特徴点が特徴点３０５である場合、その特徴点３０５の近傍探索範囲内には特徴点（近傍特徴点）がない。この場合、特徴点３０５は、類似度を極小としても良いし、類似特徴点がないことを示す規定値としても良い。
類似度算出部１０５は、前述のようにして特徴点群に含まれる夫々の特徴点ごとに算出した類似度を、類似点処理部１０６に送出する。

類似点処理部１０６は、特徴点抽出部１０４にて抽出された特徴点群に含まれる各特徴点について、類似度算出部１０５で算出された類似度が閾値以下か否かを判定する。類似点処理部１０６は、類似度が閾値以下と判定された特徴点の集合を、選択特徴点群として抽出し、マップ構築部１０７に送出する。
例えば図３の状況の場合、特徴点３０２と特徴点３０３との類似度Ｄ１が閾値を超えており、特徴点３０２と特徴点３０６との類似度Ｄ２が閾値以下であるとすると、選択特徴点群は、特徴点３０５と特徴点３０６のみとなる。

マップ構築部１０７は、類似点処理部１０６から送出された選択特徴点群の各特徴点に対し３次元座標の算出を行い、その３次元座標をマップ点としてマップ保持部１０８に送出して保持させる。
そして本実施形態の場合、マップ構築部１０７は、選択特徴点群の各特徴点について、カメラ１００から入力された画像を基にステレオマッチングを行うことで、現フレームのカメラ座標系における特徴点の３次元座標を推定する。さらにマップ構築部１０７は、位置姿勢推定部１０３で求めたカメラ位置姿勢を用いて世界座標系における３次元座標に変換した座標をマップ点とする。ただし、本実施形態におけるマップ点の算出方法はこれに限るものではなく、マップ保持部１０８に蓄積されたマップ点との対応に基づくバンドル調整などの最適化処理を行うなどの方法を用いても良い（非特許文献１を参照）。

図４は、本実施形態の情報処理装置１における処理の流れを示したフローチャートである。
ステップＳ４０１において、画像入力部１０１は、カメラ１００の撮像画像を情報処理装置１に取り込む。なお本実施形態の場合、カメラ１００はステレオカメラとしているが、ステップＳ４０６以外ではステレオ画像を必要としないため、予め定めた一方の画像に対して処理を行うものとしてもよい。

次にステップＳ４０２において、特徴点追跡部１０２は、マップ保持部１０８に保持されたマップ点群に含まれる夫々のマップ点の座標を前フレームの画像中に投影することで、投影点群を算出する。
さらにステップＳ４０３において、特徴点追跡部１０２は、対応点探索処理を行い、前フレームの画像における投影点群に対応した、現フレームの画像における対応点群を算出する。

次にステップＳ４０４において、位置姿勢推定部１０３は、ステップＳ４０２およびステップＳ４０３で算出された情報を基に、現フレームにおけるカメラ位置姿勢を算出する。そして位置姿勢推定部１０３は、算出したカメラ位置姿勢を出力部１０９に送出する。

次にステップＳ４０５において、特徴点抽出部１０４と類似度算出部１０５と類似点処理部１０６によって、ステップＳ４０１で入力された画像から選択特徴点群を抽出する処理が行われる。このステップＳ４０５にて行われる処理の詳細は、後に図５のフローチャートを用いて説明する。

次にステップＳ４０６において、マップ構築部１０７は、ステップＳ４０５で算出された選択特徴点群の各点に対し、ステレオマッチングに基づいて３次元座標を算出する。
さらにステップＳ４０７において、マップ構築部１０７は、ステップＳ４０６で算出した選択特徴点群の３次元点を、ステップＳ４０４で求められカメラ位置姿勢を用いて世界座標系に変換し、マップ点としてマップ保持部１０８に登録する。

その後、ステップＳ４０８において、情報処理装置１は、処理を終了するか否かを判定し、終了しない場合には次のフレームに対してステップＳ４０１からの処理を繰り返す。ここで、処理を終了する条件は、カメラ１００からの画像入力がなくなった場合や、情報処理装置１の外部からの終了要求があった場合などであるが、これらには限定されない。
以上の処理により、情報処理装置１は、画像入力部１０１に入力された各フレームに対するカメラ位置姿勢推定の結果を、出力部１０９に出力することができる。

ここで、特徴点抽出部１０４で算出された特徴点群には、パッチの見かけが類似している特徴点が、近接した位置に存在している可能性がある。この特徴点群を用いた場合、ステップＳ４０６のステレオマッチングや、以降のフレームにおけるステップＳ４０３の対応点探索処理で、近傍にある別の特徴点と対応付けてしまう、誤対応が発生する可能性がある。そして、もしステップＳ４０３にて誤対応が生じると、ステップ４０４にて算出されるカメラ位置姿勢に誤差が生じる。また、もしステップＳ４０６にて誤対応が生じると、ステップＳ４０７で登録されるマップ点の３次元座標に誤差が生じ、以降のフレームにおけるステップＳ４０２～ステップＳ４０４までの処理に誤差が生じる。

そこで、本実施形態の情報処理装置１は、ステップＳ４０５において、特徴点群の夫々の特徴点ごとに求めた類似度に基づいて選択特徴点群を抽出することで、ステップＳ４０６およびステップＳ４０３で誤対応が生じる可能性を減らしている。本実施形態における選択特徴点群は、前述したように、夫々の特徴点の近傍に、見かけの類似した他の特徴点がない特徴点の集合である。

図５は、図４のステップＳ４０５の詳細な処理の流れを示すフローチャートである。
ステップＳ５０１において、特徴点抽出部１０４は、取り込んだ画像から複数の特徴点を特徴点群として抽出する。この時点では、選択特徴点群は空の集合とする。
次にステップＳ５０２において、類似度算出部１０５は、ステップＳ５０１で抽出された特徴点群から１つの特徴点（ｉ番目の特徴点）を着目特徴点として取り出し、その特徴点の近傍の特徴点との類似度を算出する。

次にステップＳ５０３において、類似点処理部１０６は、ステップＳ５０２で算出されたｉ番目の特徴点の類似度が、予め定められた閾値以下か否かを判定する。類似点処理部１０６は、ｉ番目の特徴点の類似度が閾値以下であった場合にはステップＳ５０４に進み、一方、閾値より大きい場合にはステップＳ５０５に進む。

ステップＳ５０４に進んだ場合、つまりｉ番目の特徴点の類似度が閾値以下であった場合、類似点処理部１０６は、そのｉ番目の特徴点を選択特徴点群に追加する。
一方、ステップＳ５０５に進んだ場合、つまりｉ番目の特徴点の類似度が閾値より大きい場合、類似点処理部１０６は、処理を終了するか否かを判定する。

ここで、処理を終了する条件は、ステップＳ５０１で抽出された特徴点群の中に、類似度算出が未処理の次の特徴点があるか否かであり、次の特徴点がない場合には処理が終了する。類似度算出が未処理の特徴点があり、ステップＳ５０５で処理を終了しないと判定された場合には、ステップＳ５０２に戻り、類似度算出が未処理の次の特徴点（この場合はｉ＋１番目の特徴点）について類似度の算出が行われる。つまり、ステップＳ５０１で抽出された特徴点群に含まれる全ての特徴点に対して処理が終わるまで、ステップＳ５０２以降の処理が繰り返される。
そして、類似点処理部１０６は、ステップＳ５０１で抽出された特徴点群に含まれる全ての特徴点に対して処理が完了した場合、図５のフローチャートの処理を終了する。

本実施形態の情報処理装置１は、以上説明したような処理を行うことにより、誤対応の虞が少ない複数の特徴点からなる選択特徴点群を抽出することができる。また本実施形態の情報処理装置１では、ステップＳ４０６やステップＳ４０３における対応点探索の計算量を削減することができることから、システムの計算量を大きく増加させることなく誤対応を減少させる効果を得ることができる。これにより、本実施形態の情報処理装置１によれば、画像間の局所特徴点の誤対応を減らすことができ、カメラの撮像画像を用いたカメラ位置姿勢推定をより安定的かつ高速に実施することができる。

＜変形例１＞
本実施形態の変形例１として、特徴点抽出部１０４は、画像から特徴点群を抽出する際、画像中のコーナー点などの未知の特徴点（自然特徴点とも呼ばれる）を検出する方法と、人工的に配置した所定の指標に対応した特徴点を検出する方法とを併用しても良い。この場合、特徴点抽出部１０４は、未知の自然特徴点の集合を特徴点群とし、人工的に配置した所定の指標に対応して取得された特徴点の集合を指標点群として抽出する。なお、指標点群の３次元座標は既知であり、事前の校正によって得られているものとする。

ここで、人工的に配置した所定の指標を用いる場合の当該指標としては、非特許文献３に記載されているようなマーカーが挙げられる。この方法では、マーカーのエッジを基にコーナー点の座標を算出するため、当該マーカーによるコーナー点検出の安定性が高い。また、マーカーの向きやマーカーのＩＤを特定することができるため、マーカーによるコーナー点同士の見かけが類似していたとしても、誤対応を起こす可能性が低い。そのため、指標点群に対しては、前述したような類似度算出部１０５および類似点処理部１０６の処理を実施する必要はなく、特徴点抽出部１０４は、抽出した特徴点をマップ構築部１０７に送出する。

そして変形例１の場合、マップ構築部１０７は、類似点処理部１０６から送出された選択特徴点群の３次元座標を推定する際に、指標点群の事前に校正された３次元座標を用いてバンドル調整などの最適化を行う。これにより、マップ点の精度を高めることができる。

＜変形例２＞
本実施形態の変形例２として、類似点処理部１０６は、類似度算出部１０５で算出された類似度を各特徴点の重み情報として付加した上で、特徴点抽出部１０４にて抽出された特徴点群の全点を選択特徴点群としてもよい。
選択特徴点群に付加する各特徴点の重み情報は、マップ構築部１０７で選択特徴点群の各特徴点に対するマップ点を生成する際に参照しても良いし、マップ点と共にマップ保持部１０８に保持してもよい。

＜変形例３＞
前述した実施形態では、画像中に見かけの類似した特徴点が多い場合には、選択特徴点群に含まれる特徴点数が少なくなる。その結果、カメラ位置姿勢の安定性が低下する可能性がある。また局所的な画像の類似度が高い場合でも、より広い範囲の画像で比較すると差異が生じて類似度が低下し、別の特徴点として区別できる可能性がある。そのため、着目特徴点の近傍の特徴点との区別が行える画像サイズを、その着目特徴点のパッチサイズとすることで、誤対応の可能性を減らしつつも、より多くの特徴点を選択特徴点群として抽出することができる。これにより、より安定したカメラ位置置姿勢推定が可能になると期待される。同様の理由から、パッチサイズを広げる代わりに、入力画像を縮小した縮小画像を用いて類似度を算出することでも、類似度が低下し、別の特徴点として区別できる可能性がある。

そこで本実施形態の変形例３として、類似度算出部１０５は、二つの特徴点間の類似度が閾値を超える場合には、予め設定された範囲内でパッチサイズを広げるか、若しくは縮小画像を用いて、類似度を再計算してもよい。そして、再計算した類似度が閾値以下になった場合、それを特徴点の類似度としてもよい。さらに、類似点処理部１０６には、算出した各特徴点の類似度と共に、その類似度の算出に利用したパッチサイズ（もしくは縮小画像のスケール）を送出してもよい。

＜変形例４＞
本実施形態の変形例４として、類似点処理部１０６は、類似度が閾値より大きいと判定された特徴点を拒絶特徴点とし、それらを拒絶特徴点群として抽出しても良い。さらに、類似点処理部１０６は、拒絶特徴点群の情報を、不図示の出力画像生成部に送出し、入力画像の中で拒絶特徴点群に含まれる特徴点の座標を可視化した画像を生成しても良い。また、類似点処理部１０６は、入力画像の中で拒絶特徴点群に含まれる特徴点が多い領域を可視化した画像を生成しても良い。これにより、ユーザは、画像内のどの特徴点が拒絶特徴点か、あるいは画像内の拒絶特徴点群の領域かを認識可能となる。

また前述の説明では、カメラの撮像画像を用いて現実空間におけるカメラ位置姿勢を推定する処理をＭＲシステムへ適用する例を挙げたが、これに限定されるものではない。例えば、本実施形態の情報処理装置１は、ロボットや無人搬送車の自己位置推定などにも適用可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１：情報処理装置、１００：カメラ、１０１：画像入力部、１０２：特徴点追跡部、１０３：位置姿勢推定部、１０４：特徴点抽出部、１０５：類似度算出部、１０６：類似点処理部、１０７：マップ構築部、１０８：マップ保持部、１０９：出力部

Claims (10)

1. 撮像装置により取得された第一の画像から複数の特徴点を特徴点群として抽出する特徴点抽出手段と、
   前記特徴点群に含まれる夫々の特徴点を着目特徴点とし、前記着目特徴点と近傍の他の特徴点との類似度を取得して、前記着目特徴点の類似度とする類似度取得手段と、
   前記特徴点群に含まれる前記複数の特徴点の中から、前記類似度が閾値以下の特徴点を選択して選択特徴点群とする処理手段と、
   を有することを特徴とする情報処理装置。
2. 前記類似度取得手段は、前記類似度が前記閾値を超えた特徴点のパッチサイズを、予め設定した範囲内で広げたパッチサイズ、若しくは第一の画像を縮小した画像を用いて、前記類似度を取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記処理手段は、前記特徴点群に含まれる複数の特徴点のうち、前記類似度取得手段で取得した前記類似度が前記閾値を超えた特徴点を拒絶特徴点として抽出し、
   前記拒絶特徴点の座標を前記第一の画像に可視化する表示手段をさらに有することを特徴とする請求項１または請求項２に記載の情報処理装置。
4. 撮像装置により取得された第一の画像から複数の特徴点を特徴点群として抽出する特徴点抽出手段と、
   前記特徴点群に含まれる夫々の特徴点を着目特徴点とし、前記着目特徴点と近傍の他の特徴点との類似度を取得して、前記着目特徴点の類似度とする類似度取得手段と、
   前記特徴点群に含まれる夫々の特徴点に対して、前記類似度取得手段で特徴点ごとに取得した類似度を重み情報として付加して選択特徴点群とする処理手段と、
   を有することを特徴とする情報処理装置。
5. 前記類似度取得手段は、前記着目特徴点と前記近傍の複数の特徴点との類似度のうち、最も高い類似度を、前記着目特徴点の類似度として取得することを特徴とする請求項１乃至請求項４のいずれか１項に記載の情報処理装置。
6. 前記選択特徴点群に含まれる特徴点ごとに３次元座標を推定してマップ点群として登録するマップ構築手段と、
   前記マップ点群と、前記第一の画像を取得した後に前記撮像装置により取得された第二の画像から前記特徴点抽出手段が抽出した特徴点との対応に基づいて、前記第二の画像を撮像した際の前記撮像装置の位置姿勢を推定する位置姿勢推定手段と、
   をさらに有することを特徴とする請求項１乃至請求項５のいずれか１項に記載の情報処理装置。
7. 前記特徴点抽出手段は、前記第一の画像から３次元座標が既知の指標を指標点群として抽出し、
   前記マップ構築手段は、前記指標点群の各指標点の３次元座標に基づいて、前記選択特徴点に含まれる特徴点ごとに３次元座標を推定し、前記マップ点群として登録することを特徴とする請求項６に記載の情報処理装置。
8. 情報処理装置が実行する情報処理方法であって、
   撮像装置により取得された第一の画像から複数の特徴点を特徴点群として抽出する特徴点抽出工程と、
   前記特徴点群に含まれる夫々の特徴点を着目特徴点とし、前記着目特徴点と近傍の他の特徴点との類似度を取得して、前記着目特徴点の類似度とする類似度取得工程と、
   前記特徴点群に含まれる前記複数の特徴点の中から、前記類似度が閾値以下の特徴点を選択して選択特徴点群とする処理工程と、
   を有することを特徴とする情報処理方法。
9. 情報処理装置が実行する情報処理方法であって、
   撮像装置により取得された第一の画像から複数の特徴点を特徴点群として抽出する特徴点抽出工程と、
   前記特徴点群に含まれる夫々の特徴点を着目特徴点とし、前記着目特徴点と近傍の他の特徴点との類似度を取得して、前記着目特徴点の類似度とする類似度取得工程と、
   前記特徴点群に含まれる夫々の特徴点に対して、前記類似度取得工程で特徴点ごとに取得した類似度を重み情報として付加して選択特徴点群とする処理工程と、
   を有することを特徴とする情報処理方法。
10. コンピュータを、請求項１乃至請求項７のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images