JP2011259044A - 画像処理装置、方法 - Google Patents

Abstract

【課題】マッチング成功率を高めること。
【解決手段】先に撮影された第１の画像と、直後に撮影された第２の画像とを取得する画像取得部と、第１、第２の画像から、画像中の特徴点を抽出する特徴点抽出部と、抽出された特徴点を用いて、回転行列を、ＲＡＮＳＡＣにより算出する回転行列推定部とを備える装置が構築される。
【選択図】図２

Description

本発明は、デジタルスチルカメラ、ビデオカメラ、ウェアラブルカメラなどで撮影した映像の補正技術に関するものである。

従来の、カメラの揺れを補正する方法としては、２枚の画像を用い、ＭＰＥＧ技術などに代表される、動きベクトルを検出する事で、フレーム間のカメラの揺れ量を推定・補正する方法がある。

これは、画像を、複数の矩形領域に区切り、領域ごとに、フレーム間の移動量を求め、この、領域ごとの動きベクトルから、画像全体の移動量を推定し、最終的に、画像の補正を行う方法である。このような、動きベクトルを用いた方法では、アルゴリズムの性質上、精度・計算コスト面で問題が存在するため、検出可能な、カメラの揺れの大きさは制限される。検出可能な、カメラの揺れの大きさと、その計算コストには、トレードオフの関係が存在し、検出可能な、カメラの揺れの大きさを広げるほど、その計算コストも高くなるため、通常は、事前にカメラの揺れの大きさを想定し、検出可能な、カメラの揺れの大きさを設定する。そのため、この手法で、大きなカメラの揺れを検出する場合には、検出可能な範囲を、大きく設定する必要があるが、その範囲の大きさが、解空間の大きさと同一であり、その大きさに応じて、局所解に陥る可能性も高くなる。この場合の検出精度は十分ではなく、歩行時に撮影された映像や、ファインダレスで撮影された映像に含まれる揺れの大きさには対応できなかった。

他方、動きベクトルを用いた手法では扱えない大きさの揺れを補正する方式として、特徴点ベースのマッチング手法がある。これは、時間的に連続して撮影された２枚の画像間で共通に存在するいくつかの点を用いる。以下、２枚の画像のうち、時間的に先に撮影された画像を画像ｔ‐１、時間的に後に撮影された画像を画像ｔと表記する。その、共通する複数の点の中で、画像処理によって検出可能なものを特徴点と呼び、画像間で生じた揺れを、画像ｔ‐１と、画像ｔとの特徴点の位置合わせを行うによって推定する手法であり、この位置合わせを、マッチングと呼ぶ。このマッチングを行う事で、揺れ量を表す回転行列を推定し、補正を行う。

この手法では、特徴点のフレーム間の類似性を用いてマッチングするため、動きベクトルを用いた手法と比較して、歩行時に撮影された映像や、ファインダレスで撮影された映像に含まれる大きな揺れであっても、カメラの揺れが推定可能である。ただし、カメラの揺れは、遠景（背景）に対して補正する事が好ましいため、最終的な揺れ量の推定には、遠景領域に存在する特徴点を用いて行う。

ところで、特徴点ベースのマッチング手法では、カメラの揺れを表す回転行列を推定するため、画像ｔ‐１と、画像ｔとから、それぞれの特徴点を取得し、その特徴点の間の対応関係を調べる。特徴点ベースのマッチング処理では、回転行列を推定するには、画像ｔ‐１と画像ｔとの間で、共通に存在する特徴点が必要である。

しかしながら、画像ｔ‐１と画像ｔとの２つの画像は、時間的に連続して撮影されているため、画像間の類似性は高いものの、同一ではない。このため、画像ｔ‐１と、画像ｔとの間に、照明条件の変化が起こる場合、人などの被写体が移動する場合、カメラ自身が動いた事によって、写る範囲や、見え方が変わる場合、あるいは、これらの複合的な理由により、画像間で変化が生じる。

図１ａ〜図１ｃは、それぞれ、画像の特徴点の例を示す図と、画像の特徴点の性質の種類を示す図と、特徴点のマッチングを示す図とである。

このため、画像ｔ‐１と、画像ｔとから抽出した特徴点（図１ａ）には、画像間で共通に写っている領域から得られた特徴点（図１ｂ中の丸印「○」）と、画像間で共通に写っている領域から得られているが、フレーム間で位置が変わっている特徴点（図１ｂ中の三角印「△」）と、画像間で共通に写っていない領域から得られた特徴点（図１ｂ中のバツ印「×」）とが存在する。これらの特徴点のうち、マッチング可能な特徴点は、画像間で共通に写っている領域から得られた特徴点である（図１ｂ中の丸印「○」）。しかし、この特徴点の位置や比は、マッチング前には、未知であるため、どの特徴点が、画像間で共通に写っている領域から得られた特徴点であるかも未知である。

そのため、ＲＡＮＳＡＣ（RANdom SAmple Consensus）などの手法を使い、画像ｔ‐１と画像ｔとから、それぞれ、特徴点の組合せを選び出し、事前に設定した評価関数で、それぞれの特徴点の組合せの評価値を求める（図１ｃ）。この評価値は、画像間で共通に写っている領域から得られている特徴点の組合せ（以下、ｉｎｌｉｅｒと表記する）であった場合に、高くなりやすいように設計される。具体的には、選んだ２組の特徴点の組合せから、回転行列を生成し、この生成した回転行列が、正しいかどうかを検算するために、選んだ特徴点の組合せ以外の画像ｔ‐１の特徴点を、生成した回転行列で回してみる。もし、回した後の画像ｔ‐１の特徴点が、画像ｔの特徴点と一致すれば、生成した回転行列が、正しい可能性が高い事が分かるため、この一致度合を評価値とした評価関数を設定する。この評価関数を用いて、規定回数探索を行った段階で、探索を打ち切り、その時点で最大の評価値を得たｉｎｌｉｅｒを用いて、回転行列を推定するのが一般的である。

この際、前述のように、画像ｔ‐１と画像ｔとで抽出された特徴点の組合せのうち、ｉｎｌｉｅｒがどれだけあるかが不明であるため、マッチング成功率を高めるには、ＲＡＮＳＡＣの探索回数を増やす必要がある。ＲＡＮＳＡＣで、特徴点の組合せを選ぶ探索回数を増やす事で、ｉｎｌｉｅｒを選ぶ可能性が高くなる。また、マッチング成功率を高めるには、この特徴点の組合せを選ぶ探索回数を増やす以外に、ＲＡＮＳＡＣ前に、画像ｔ‐１と画像ｔとで、ｉｎｌｉｅｒとなり得る特徴点の組合せができるように、特徴点の抽出を行う事が考えられる。しかしながら、ｉｎｌｉｅｒは、ＲＡＮＳＡＣで回転行列を求める過程で事後的に判明するため、事前に、どの特徴点がｉｎｌｉｅｒであるかは分からない。

このため、マッチング成功率と、演算コストとは、トレードオフの関係にあり、高いマッチング成功率を求める場合には、その計算コストも高くなる。

このようなマッチング手法は、組込み系など、リソースが限られている環境での適用は容易ではなく、特に、高いマッチング精度と、リアルタイム性とが同時に求められる環境での適用は困難である。このような観点から、特許文献１では、特定の規則に従った複雑な計算を必要とせずに、各画像を位置合わせするための変換式、または、特徴点対応のｉｎｌｉｅｒ集合を高速に求めているが、特定の規則に従う必要があるため、図１ｃのような、適切な特徴点が得られない場合、正しいｉｎｌｉｅｒが得られず、マッチング成功率が低くなる場合がある。

特開２００８−２７６６２１号公報

本発明が解決しようとする課題は、従来の、特徴点ベースのマッチング手法では、マッチング成功率と演算コストとはトレードオフにあり、マッチング成功率を高めるには探索回数を増やす以外に方法がなく、演算コストが大きくかかっていた事であり、本発明では、少ない探索回数で、マッチング成功率を高める事を目的とした画像処理装置を提供する事を目的とする。

上記の課題を解決するために、本発明の画像処理装置は、時間軸上で先に撮影された第１の画像と、第１の画像の撮影された直後に撮影された第２の画像とを取得する画像取得部と、前記画像取得部によって得られた第１、第２の画像から、画像中の特徴点を抽出する特徴点抽出部と、前記特徴点抽出部によって抽出された、第１、第２の画像の特徴点を用いて、第１、第２の画像間の回転行列を、ＲＡＮＳＡＣにより算出する回転行列推定部とを備える画像処理装置である。

なお、前記回転行列推定部は、直前の処理で、当該回転行列推定部によって回転行列の推定に使用された特徴点（ｉｎｌｉｅｒの組合せでの特徴点）が、第２の画像の特徴点内に存在するかを事前に判定し、ｉｎｌｉｅｒ（の組合での特徴点）が存在しないと判定された場合に、ｉｎｌｉｅｒを追加可能な場合には、当該回転行列推定部で用いる特徴点にｉｎｌｉｅｒ（の特徴点）を追加し、回転行列の推定を行ってもよい。

本発明の画像処理装置によると、従来は、マッチング後に事後的に判明するｉｎｌｉｅｒを、マッチング前に推測し、マッチングに使用する事で、少ない探索回数で、成功率の高いマッチングが可能となる。このため、組込み系などの、リソースが限られている環境でも、カメラの大きな揺れ量を推定・補正できる画像処理装置の提供が可能となる。

画像の特徴点の例を示す図である。 画像の特徴点の性質の種類を示す図である。 特徴点のマッチングを示す図である。 本発明の実施の形態１における画像処理装置の全体構成図である。 画像の周辺特徴の例を示す図である。 時系列上で連続して画像ｔ‐４〜画像ｔまで撮影された映像を示す図である。 画像ｔ‐４〜画像ｔ‐１までマッチングの結果、ｉｎｌｉｅｒが判明した結果を示す図である。 画像ｔ‐１で複数フレームにわたって連続して存在する特徴点を示す図である。 画像ｔの特徴点とその性質を示した図である。 画像ｔ‐１の複数フレームにわたって連続して存在するｉｎｌｉｅｒ間の距離を算出し、ある程度近い特徴点を示した図である。 距離の近いｉｎｌｉｅｒ間においての、相対的な２点の位置関係を示す図である。 画像ｔ‐１の距離の近いｉｎｌｉｅｒと、周辺特徴を比較する、画像ｔの特徴点を示す図である。 比較の結果、類似特徴において対応の取れた点を示す図である。 比較の結果、消失した可能性のある特徴点を示す図である。 復元された点を示す図である。 本発明の画像処理装置のフローチャートである。 本発明の画像処理装置のフレーム内特徴点対応付のフローチャートである。

以下、本発明の実施の形態について、図面を参照しながら説明する。

つまり、実施形態の画像処理装置は、時間軸上で先に撮影された第１の画像と、第１の画像の撮影された直後に撮影された第２の画像とを取得する画像取得部と、前記画像取得部によって得られた第１、第２の画像から、画像中の特徴点を抽出する特徴点抽出部と、前記特徴点抽出部によって抽出された、第１、第２の画像の特徴点を用いて、第１、第２の画像間の回転行列を、ＲＡＮＳＡＣにより算出する回転行列推定部とを備える画像処理装置である。

そして、先述のように、この、実施形態の画像処理装置によると、従来は、マッチング後に事後的に判明するｉｎｌｉｅｒを、マッチング前に推測し、マッチングに使用する事で、少ない探索回数で、成功率の高いマッチングが可能となる。このため、組込み系などの、リソースが限られている環境でも、カメラの大きな揺れ量を推定・補正できる画像処理装置の提供が可能となる。

具体的には、例えば、前記回転行列推定部は、直前の処理で、当該回転行列推定部によって回転行列の推定に使用された特徴点（ｉｎｌｉｅｒ）が、第２の画像の特徴点内に存在するかを事前に判定し、ｉｎｌｉｅｒが存在しないと判定された場合に、ｉｎｌｉｅｒを追加可能な場合には、当該回転行列推定部で用いる特徴点にｉｎｌｉｅｒを追加し、回転行列の推定を行ってもよい。

以下、詳しく説明される。

（実施の形態１）
図２は、実施の形態１における画像処理装置の全体構成を示す図である。

図２において、撮像部１０１は、デジタルスチルカメラやデジタルビデオカメラなどの、ＣＣＤやＣＭＯＳセンサ等の撮像素子を備えたカメラであり、映像を撮影して、電気信号として出力する。

画像データ蓄積部１０２は、撮像部１０１で撮影された画像データ１に対して、時系列上で、画像データ１の直前に撮影された画像データ２が蓄積されている。

画像入力部１０３は、撮像部１０１で撮影された画像データ１と、画像データ蓄積部１０２に蓄積された画像データ２との、２枚の画像データの入力を行う。

ここで、画像２は、時系列上で、画像１の直前に撮影された画像であり、画像１は、画像２が撮影された直後に撮影された画像を指す。

尚、この画像データは、一般的なＪＰＥＧ形式で圧縮符号化されたものでも良いし、ＭＰＥＧ４等の動画形式で記録されたものでも良い。本発明の一例である画像処理装置１００は、補正を行う画像が、いつ撮影されたものであるかは関知しない。また、本実施形態では、本発明の一例である画像処理装置１００を、デジタルスチルカメラやデジタルビデオカメラに内蔵し、撮像画像を、その場で補正する構成をとっているが、パーソナルコンピュータ上で、アプリケーションとして実装するなど、撮像装置とは別に、画像処理装置１００を用意し、カメラなどの記録デバイスと直接、ケーブル等で接続して、撮像画像を入力するような構成にしてもよいし、ＳＤメモリカード等の記録媒体や、ネットワークを介して、画像データを読み込んでもよい。

特徴点抽出部１０４は、前記画像入力部１０３にて入力された画像１、２を受け取り、入力された画像１の特徴点の抽出を行い、特徴点データ１を生成する。

ここで、特徴点とは、画像中の、縦方向・横方向のエッジが共に強く出ている、エッジの交差した点や、ローカルの近傍に、２つの異なる方向を向いた、強いエッジの存在する点などの事を表し、時系列上で連続した、画像１と画像２の２枚の画像間で、共通に写っている点から、安定的に検出できるものが好ましい。ここで、この抽出の際、画像１と画像２との、正確な位置関係は未知であるため、何らかの基準を用いて、共通に存在する特徴点を生成する必要がある。この特徴点の生成に、Ｈａｒｒｉｓを用いた場合、画像のエッジを基準として、縦・横のエッジが交差するようなコーナー点が検出される。

特徴点抽出部１０４では、画素ごとに、エッジの交差度を表す特徴点スコアを算出するため、理論上は、画素ごとに特徴点スコアが存在する。

しかし、組込み系など、リソース制限のある環境で実装を行う場合、マッチング処理に用いる特徴点数に上限がある場合があるため、算出された全ての特徴点を用いてマッチング処理を行う事は、計算コストや演算精度の面から好ましくない。この場合、特徴点スコアの高いものから順に、規定数に達するまで、特徴点として採用される。Ｈａｒｒｉｓで使用されるエッジは、画像のコントラスト（輝度値）の変化を反映するため、照明条件が多少変化する程度では、画像のコントラストは保存され、エッジは消失しない。この事から、遮蔽によって障害物などに隠され、エッジ自体が消失する場合を除いては、エッジは、フレーム間で消失する可能性は低い。そのため、エッジ情報をベースとした特徴点スコアの高い点は、特徴点データ１と特徴点データ２とで共通して存在する可能性が高くなる。この性質を利用し、特徴点スコアを、選択の基準として使用する場合には、ある特定の閾値よりもスコアの高い特徴点を選択する事となる。

尚、ここで、特徴点スコアを用いて、特徴点を選択する場合、前記特定の閾値は、画像内の平均スコアの値を用いてもよいし、複数の画像の時系列上でのスコアの平均などを基に決めてもよい。更に、前記特定の閾値は、画像全体で、１つの閾値を用いる必要はなく、領域ごとに生成される閾値に基づいて、特徴点の選択を行ってもよいし、領域ごとに生成される閾値は、単一の画像を基に決められてもよいし、時系列上の複数の画像を利用して決めてもよい。また、何らかのオブジェクトの認識を行った場合の、オブジェクトのスコアを基に、スコアを決めてもよい。これは、例えば、最初、画像１に１０００点存在した特徴点を、１００点にまで絞る事を意味する。この場合、最終的には、回転行列推定部１１１で、この１００点の中から、揺れ量を推定するために必要な特徴点ペアを決定する事になる。この特徴点抽出部１０４を実現する代表的な方法としては、この他に、ＳＩＦＴなどの方法が存在する。

特徴点周辺特徴抽出部１０５は、特徴点抽出部１０４で抽出され、特徴点スコアなどの指標で選択された特徴点の周辺特徴を抽出する。

図３は、周辺特徴の例である。

尚、図３の右欄では、左欄の図が、より模式的にされた図が示される。適宜、右欄も参照されたい。

この例では、周辺特徴を、各特徴点周りの輝度情報とする。尚、図３では、特徴点の周囲を、円状の領域と設定し、円状の周辺特徴を取得しているが、特徴点の周囲を、矩形状と設定し、矩形状の周辺特徴を取得しても良い。

図３のビルの天井部分のコーナーに、４点の特徴点が存在した場合、各点の周囲は、空やビルなど、それぞれ異なる上に、照明条件や、カメラからの見え方などにより、異なるため、各点ごとに、固有の特徴を有することになる。この、特徴点の周辺特徴を用いて、フレーム間の特徴点の照合をする事により、本来は、回転行列生成後に事後的に分かるｉｎｌｉｅｒを、回転行列の生成前に調べる事が可能となる。これにより、照明条件などによって、特徴点スコアが低くなったために、特徴点の選択から漏れている特徴点を、ｉｎｌｉｅｒの可能性のある特徴点として追加できる事になる。

尚、ここで、特徴点周辺特徴として、輝度情報を基にした輝度ヒストグラムを用いてもよい。また、特徴点周辺特徴としては、特徴点周辺のエッジベースにした特徴量や、エッジ情報から得られる角度情報から生成される角度ヒストグラム、画像中の領域ごとに異なる特徴量、画像認識を行った結果を用いたタグ情報など、画像ｔ‐１、画像ｔ間で、各特徴点の対応が取れるような特徴であればよい。尚、カメラの揺れは、回転運動として記述されるため、回転運動に対して不変な特徴であれば、より好ましい。

フレーム内特徴点対応付部１０６は、画像ｔ‐１で、ｉｎｌｉｅｒとして判定された特徴点を用いる。この画像ｔ‐１の全てのｉｎｌｉｅｒ間の、画像上での距離を算出し、このｉｎｌｉｅｒ間の距離が一定距離内に存在するｉｎｌｉｅｒ間のみで、互いの相対的な位置関係を算出する。

ｉｎｌｉｅｒ間の距離を一定距離で区切るのは、あまりに距離が離れすぎている場合には、各ｉｎｌｉｅｒは、別々の対象（被写体）から得られている可能性が高くなるためである。別々な対象からｉｎｌｉｅｒが得られている場合には、各ｉｎｌｉｅｒ間の動きが一様ではなく、バラバラとなるため、ｉｎｌｉｅｒ間の相対的な位置関係が崩れてしまい、ｉｎｌｉｅｒ間の相対的な動きから得られる情報はなくなってしまう事による。

また、フレーム内特徴点対応付部１０６で、処理の対象となるのは、複数フレームにわたってｉｎｌｉｅｒであると判定された特徴点のみである。ｉｎｌｉｅｒは、画像間で共通に写っている領域から得られている特徴点の組合せであるため、ｉｎｌｉｅｒの追加は、回転行列推定に貢献する。通常３０ｆｐｓで撮影される動画は、急なシーンの変化が起こらない限り、特定のｉｎｌｉｅｒが複数フレームにわたって安定して存在する。この、特定のｉｎｌｉｅｒが、複数フレームにわたって存在する傾向を利用し、不要な特徴点の追加を防ぐために、複数フレームにわたって連続でｉｎｌｉｅｒであると判定された特徴点のみを、フレーム内特徴点対応付部１０６の処理の対象とする。尚、画像ｔ‐１の、ある特徴点が、ｉｎｌｉｅｒであったかどうかは、ＲＡＮＳＡＣの結果によって、事後的に判明する。

この画像ｔ‐１でｉｎｌｉｅｒと判定された特徴点の周辺特徴を用いて、画像ｔの特徴点の周辺特徴を照合する事で、画像ｔの特徴点の中で、ｉｎｌｉｅｒの可能性の高い特徴点を選定する。このように、マッチングに使用する特徴点の中で、ｉｎｌｉｅｒの含まれる可能性が高くなる事は、マッチング時に、正しい回転行列を生成する、特徴点のペアを選ぶ確率が高くなる事を意味するため、短時間で、成功率の高いマッチングが可能となる。

フレーム間対応推定部１０７は、画像１の特徴点データ１と、画像２の特徴点データ２との間の対応関係の推定を行う。ここで、特徴点データ１は、特徴点抽出部１０４の抽出結果を用い、特徴点データ２は、フレーム内特徴点対応付部１０６から読み込む。

尚、ここで、他のｉｎｌｉｅｒとの、画像上での距離が遠すぎる点については、フレーム内特徴点対応付部１０６で、相対的な位置関係が求められていないため、処理しない。

フレーム間対応推定部１０７では、まず、特徴点周辺特徴抽出部１０５で抽出した周辺特徴を用い、特徴点データ１と特徴点データ２とで類似した周辺特徴を持った特徴点がないかどうかを調べる。類似度の高い周辺特徴を持った特徴点が見つかった場合には、画像１、画像２で共通して存在する特徴点であるｉｎｌｉｅｒの可能性が高い。このような、類似度の高い特徴点を全て探し出した後、フレーム内特徴点対応付部１０６で求めた、画像ｔ‐１のｉｎｌｉｅｒの、相対的な位置関係を用いて、画像ｔで消失している、ｉｎｌｉｅｒの可能性が高い特徴点があるかどうかを調べる。

ｉｎｌｉｅｒ復元判定部１０９では、フレーム間対応推定部１０７で、消失している可能性のあるｉｎｌｉｅｒを復元すべきかどうかの判定を行う。この判定では、フレーム間対応推定部１０７で、画像ｔで消失している可能性のあるｉｎｌｉｅｒと判定された特徴点と対応する、画像ｔ‐１のｉｎｌｉｅｒの周辺特徴を用いて、画像ｔの所定位置の周辺特徴の照合を行う。画像ｔ‐１のｉｎｌｉｅｒの周辺特徴との類似度が一定以上高い場合には、画像ｔにおいてｉｎｌｉｅｒが存在していたが、特徴点抽出部１０４の時点で消失したと判定し、画像ｔの特徴点を復元する。逆に、画像ｔ‐１のｉｎｌｉｅｒの周辺特徴との類似度が低い場合には、遮蔽や、カメラの動きにより、画像ｔ‐１に存在していた対象物が消失したため、画像ｔ‐１で存在したｉｎｌｉｅｒが消失したと判定する。

この、フレーム内特徴点対応付部１０６、フレーム間対応推定部１０７、ｉｎｌｉｅｒ復元判定部１０９の処理の流れを、図を使って説明する。

図４ａは、時系列上で連続して、画像ｔ‐４〜画像ｔまで撮影された映像を示す図であり、図４ｂは、画像ｔ‐４〜画像ｔ‐１までマッチングの結果、ｉｎｌｉｅｒが判明した結果を示す図であり、図４ｃは、画像ｔ‐１で複数フレームにわたって連続して存在する特徴点を示す図であり、図４ｄは、画像ｔの特徴点と、その性質とを示した図であり、図４ｅは、画像ｔ‐１の複数フレームにわたって連続して存在するｉｎｌｉｅｒ間の距離を算出し、ある程度近い特徴点を示した図である。

図４ａのような映像が撮影された場合、特徴点を抽出し、ＲＡＮＳＡＣによって回転行列を推定した結果、ｉｎｌｉｅｒが、図４ｂのように判定されたとする。この場合、画像ｔ‐１において、複数フレームにわたって連続で、ｉｎｌｉｅｒと判定された特徴点は、図４ｃの通りである。

この、図４ｃの特徴点を用い、フレーム内特徴点対応付部１０６では、特徴点間の、相対的な位置関係を算出する。まず、図４ｄのように、画像ｔ‐１において、複数フレームにわたって連続でｉｎｌｉｅｒである特徴点のみを対象として、ｉｎｌｉｅｒ間の画像上の距離を求め、ｉｎｌｉｅｒ間の距離の近いものを探索する（図４ｅ）。

図４ｆは、距離の近いｉｎｌｉｅｒ間においての、相対的な２点の位置関係を示す図である。

次に、特徴点間の距離の近いｉｎｌｉｅｒ間で、相対的な位置関係を、図４ｆのように算出する。２点のｉｎｌｉｅｒを選択し、２点間のなす角と、その距離を算出して、２点間の相対的な位置関係を表す特徴として保持する。このような、２点間の相対的な位置関係を表す特徴を、全ての、特徴点距離の近いｉｎｌｉｅｒ間で算出し、保持する。

図４ｇは、画像ｔ‐１の、距離の近いｉｎｌｉｅｒと、周辺特徴を比較する、画像ｔの特徴点とを示す図である。

フレーム間対応推定部１０７では、この、相対的な位置関係を表す特徴を用いて、画像ｔで消失している可能性のあるｉｎｌｉｅｒを探索する。図４ｇのように、画像ｔ‐１では、相対的な位置関係の求められた特徴点のみを用い、画像ｔでは、特徴点抽出部１０４で算出された全ての特徴点を用いる。

画像ｔの各特徴点（図４ｄの画像ｔ（右側の画像）の特徴点、丸印「○」、三角印「△」、バツ印「×」）は、特徴点周辺特徴抽出部１０５で周辺特徴が抽出されている。尚、この図４ｄにおいて、各特徴点は、丸印「○」、三角印「△」、バツ印「×」と、どの特徴点がｉｎｌｉｅｒであるかが既知のように描かれているが、これは、説明の便宜上、このように描いており、実際には、ＲＡＮＳＡＣ前の段階では、どの特徴点がｉｎｌｉｅｒであるかは不明である。

図４ｈ、比較の結果、類似特徴において対応の取れた点を示す図であり、図４ｉは、比較の結果、消失した可能性のある特徴点を示す図である。

画像ｔで特徴点を抽出した結果が、図４ｄの通りであり、画像ｔ‐１まで複数フレームにわたって存在していたｉｎｌｉｅｒが、消失してしまっているとする。

まず、特徴点の周辺特徴を用いて、画像ｔ‐１と、画像ｔとの間で、類似度の高い特徴点を求める（図４ｇ、ｈ）。類似度の高い特徴点と、保持している相対的な位置関係を用いて、消失している可能性のある特徴点を見つける（図４ｉの「？」参照）。ｉｎｌｉｅｒ復元判定部１０９では、このように、消失している可能性のある特徴点間の周辺特徴の類似度を基に、復元するかを判定する。このようにして、画像ｔの特徴点から、ｉｎｌｉｅｒの可能性の高い点の復元を行う（図４ｊ）。

尚、この特徴点間の類似度は、照明変化や、カメラからの見え方の変化などの影響で、ある程度の類似度までしか達成できないため、この特徴点間の類似度だけを用いて、カメラの揺れを推定すると、正しい回転行列が得られない可能性が高い。そのため、最終的な回転行列の推定は、ＲＡＮＳＡＣによって生成を行う。

図４ｊは、復元された点を示す図である。

特徴点追加部１１０は、ｉｎｌｉｅｒ復元判定部１０９で、復元すると判定された、画像ｔの特徴点を、特徴点抽出部１０４で抽出された特徴点に追加する。

回転行列推定部１１１は、特徴点抽出部１０４で抽出された特徴点と、特徴点追加部１１０で追加された特徴点とのそれぞれの特徴点の特徴点データを、特徴点データ１として用い、更に、特徴点データ蓄積部１０８から特徴点データ２を読み込む。そして、これら、特徴点データ１と、特徴点データ２とを用いて、画像１、画像２の間に生じた、カメラの動きを表す回転行列の算出を行う。回転行列の算出方法は、ＲＡＮＳＡＣ（RANdom SAmple Consensus）などの手法を用いて算出する。

回転行列推定後、特徴点追加部１１０で追加された、画像１の特徴点と、特徴点抽出部１０４で抽出された、画像１の特徴点とを、特徴点データ蓄積部１０８に、画像１の特徴点データを特徴点データ１として記憶し、次の画像が、撮像部１０１で撮影され、揺れの推定を行う際には、この特徴点データ１を、特徴点データ２として参照する。

画像補正部１１２は、回転行列推定部１１１で算出された回転行列を用いて、画像１、画像２の間で生じた、カメラの動きを補正する。

図５は、画像処理装置のフローチャートである。

図６は、画像処理装置のフレーム内特徴点対応付のフローチャートである。

次に、図５、図６を用いて、画像処理装置１００の処理の流れについて説明する。

画像入力部１０３は、撮像部１０１から、画像ｔの画像データを、画像データ蓄積部１０２から画像ｔ‐１の画像データを、それぞれ読み込み、特徴点抽出部１０４は、画像ｔから、特徴点の抽出を行う（ステップＳ５０１）。

特徴点周辺特徴抽出部１０５は、画像ｔの全ての特徴点と、画像ｔ‐１の、複数フレーム連続して存在しているｉｎｌｉｅｒに限って（ステップＳ５０２）、周辺特徴を算出する（ステップＳ５０３）。

フレーム内特徴点対応付部１０６は、画像ｔ‐１の、複数フレーム連続して存在しているｉｎｌｉｅｒの特徴点内の対応付けを行う（ステップＳ５０４）。

具体的には、各ｉｎｌｉｅｒ間の距離を計算し（図６のステップＳ５２０）、ｉｎｌｉｅｒ間の距離が近いと判定された（ステップＳ５２１：ｙｅｓ）ｉｎｌｉｅｒのペアは、それぞれ対応付けられ（ステップＳ５２２、図４ｅ参照）、距離と角度の算出を行い（ステップＳ５２３、図４ｆ参照）、相対的な位置関係を表す特徴として保持される。

フレーム間対応推定部１０７では、フレーム内特徴点対応付部１０６で対応付けられた、画像ｔ‐１のｉｎｌｉｅｒと、画像ｔの特徴点同士で、フレーム間の対応付けを行い（ステップＳ５０５、図４ｇおよび図４ｈを参照）、画像ｔで消失した可能性の高いｉｎｌｉｅｒがあるかどうか探し出す。消失したｉｎｌｉｅｒが存在する場合（ステップＳ５０７、図４ｉ参照）、ｉｎｌｉｅｒ復元判定部１０９では、消失ｉｎｌｉｅｒの復元を行い（ステップＳ５０８、図４ｊ参照）、特徴点追加部１１０では、復元されたｉｎｌｉｅｒを、画像ｔの特徴点として、特徴点抽出部１０４で抽出された特徴点に追加する（ステップＳ５０９）。回転行列推定部１１１では、画像ｔ‐１、画像ｔの特徴点を用いて、回転行列の推定を行う（ステップＳ５１０）。画像補正部１１２では、推定された回転行列で、画像の補正を行う（ステップＳ５１１）。

尚、このようにして、例えば、位置関係（図４ｅ、図４ｆ等を参照）から、有用な特徴点（図４ｉ、図４ｊ等を参照）が復元されてもよい。また、数フレーム連続で、対応が取れている点（図４ｃ等を参照）のみが使用されてもよい。つまり、つまり、複数フレームにわたってｉｎｌｉｅｒであると判定された特徴点（複数のフレームでうまくいった特徴点）のみが用いられてもよい。そして、本技術においては、例えば、有用な特徴点が復元される点で、従来例とは相違する。そして、このようにして、先述のように、マッチング成功率を高める事ができる。

尚、こうして、例えば、複数の構成が設けられ、組合わせからの相乗効果が生じてもよい。これに対して、従来例では、これらの複数の構成のうちの全部または一部を欠き、相乗効果は生じない。この点で、本技術は、従来例に対して、相違する。

尚、例えば、撮像部１０１と、画像処理装置１００とが含まれたシステム１００ｘ（図２）が構築されてもよい。

こうして、例えば、カメラの揺れを推定する際に、時系列情報を利用して、フレーム間の画像において、揺れの推定に実績のある特徴点（ｉｎｌｉｅｒ）を事前に選別し、ｉｎｌｉｅｒの周辺の輝度分布を利用して、ｉｎｌｉｅｒのテンプレート情報を保持してもよい。そして、このｉｎｌｉｅｒのテンプレート情報を用いて、フレーム間のｉｎｌｉｅｒ候補を推定し、欠落したｉｎｌｉｅｒを特定可能な場合には、欠落したｉｎｌｉｅｒ候補を復元し、復元したｉｎｌｉｅｒ候補を追加した特徴点を用いて、カメラの揺れを推定してもよい。

尚、このような画像処理装置１００において、ある局面で、例えば、次の動作がされてもよい。

つまり、画像１が撮影された際における、カメラの動き（揺れ量）を特定する回転行列が算出されてもよい（回転行列推定部１１１、Ｓ５１０）。つまり、例えば、その動きが推定されてもよい。そして、算出される回転行列は、具体的には、例えば、当該回転行列により特定される動きに対応した補正（画像補正部１１２、Ｓ５１１）がされる行列でもよい。

そして、画像１の特徴点を用いて、この推定がされてもよい。

そして、特徴点として、画像１における、画像２の特徴点（例えば、図４ｊの特徴点４ｊｐｃ）に対応した有用な点（点４ｊｐ）が復元され（特徴点追加部１１０、Ｓ５０９）、復元された有用な特徴点が、回転行列の算出に用いられてもよい。

そして、用いられる、画像２における特徴点は、先述の通り、例えば、図４ｃなどで説明された、複数のフレームでうまくいった、画像２における特徴点（特徴点４ｊｐｃ）でもよい（Ｓ５０３：ｙｅｓ）。

そして、この、画像２の特徴点は、より具体的には、例えば、先述のように、そのような、複数のフレームでうまくいった、画像２における特徴点の複数（図４ｅ等を参照）のうちの、算出される（Ｓ５２０参照）、他の特徴点との間の距離が、（閾値等よりも）近い距離と判定された特徴点でもよい（Ｓ５２１：ｙｅｓ）。

尚、回転行列推定部１１１が含まれる推定部１１１ｘ（図２）があってもよい。そして、例えば、この推定部１１１ｘが、回転行列推定部１１１により、復元された特徴点を取得し、取得された特徴点から、回転行列を生成すると理解されてもよい。尚、特徴点追加部１１０が、推定部１１１ｘに含まれてもよく、ひいては、特徴点周辺特徴抽出部１０５、フレーム内特徴点対応付部１０６、…ｉｎｌｉｅｒ復元判定部１０９なども含まれてもよい。

こうして、マッチング成功率を高める事ができる。

尚、本発明について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。この実施の形態に対して、当業者が思いつく変形を施して得られる形態も本発明に含まれる。また、実施の形態における構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。

上述の実施の形態は、単なる一例であり、本発明が適用される限り、如何なるケースの形態も、本発明の範囲に属する。

また、本発明は、画像処理装置として実現できるだけでなく、画像処理装置を構成する処理手段をステップとする方法としても、実現できる。そして、本発明は、それらステップをコンピュータに実行させるプログラムとしても、実現できる。さらに、本発明は、そのプログラムを記憶したコンピュータ読み取り可能なＣＤ−ＲＯＭ等の記憶媒体としても、実現できる。

また、上述の機能を実装した集積回路が構築されてもよいし、上述の機能が実装されたコンピュータプログラムが構築されてもよいし、これらの種類以外の他の種類のものが構築されてもよい。なお、上述の集積回路は、ＬＳＩ（Large Scale Integration）でもよいし、他の種類の集積回路でもよい。また、上述の工程が含まれる方法、上述のコンピュータプログラムを通信する方法、記憶する方法などの、各種の方法が構築されてもよいし、上述のコンピュータプログラムが含まれるデータが有するデータ構造などが構築されてもよい。

本発明にかかる画像処理装置は、デジタルスチルカメラ、ビデオカメラ、ウェアラブルカメラやパーソナルコンピュータのソフトウェア等の映像補正処理装置として有用である。

１００ 画像処理装置
１０１ 撮像部
１０２ 画像データ蓄積部
１０３ 画像入力部
１０４ 特徴点抽出部
１０５ 特徴点周辺特徴抽出部
１０６ フレーム内特徴点対応付部
１０７ フレーム間対応推定部
１０８ 特徴点データ蓄積部
１０９ ｉｎｌｉｅｒ復元判定部
１１０ 特徴点追加部
１１１ 回転行列推定部
１１２ 画像補正部

Claims (18)

1. 時間軸上で先に撮影された第１の画像と、第１の画像の撮影された直後に撮影された第２の画像とを取得する画像取得部と、
   前記画像取得部によって得られた第１、第２の画像から、画像中の特徴点を抽出する特徴点抽出部と、
   前記特徴点抽出部によって抽出された、第１、第２の画像の特徴点を用いて、第１、第２の画像間の回転行列を、ＲＡＮＳＡＣ（RANdom SAmple Consensus）により算出する回転行列推定部とを備える画像処理装置。
2. 前記回転行列推定部は、直前の処理で、当該回転行列推定部によって回転行列の推定に使用された特徴点（ｉｎｌｉｅｒ）が、第２の画像の特徴点内に存在するかを事前に判定し、ｉｎｌｉｅｒが存在しないと判定された場合に、ｉｎｌｉｅｒを追加可能な場合には、当該回転行列推定部で用いる特徴点にｉｎｌｉｅｒを追加し、回転行列の推定を行う請求項１記載の画像処理装置。
3. 前記回転行列推定部は、第１の画像と第２の画像との特徴点の周辺の特徴を照合する事で、時間軸上で直前の回転行列の算出に用いられた特徴点が、第２の画像の特徴点の中に存在するかどうかを推定する請求項２記載の画像処理装置。
4. 前記回転行列推定部は、第１の画像と第２の画像との特徴点の周辺特徴として、輝度ヒストグラムを用いる請求項２記載の画像処理装置。
5. 前記回転行列推定部は、第１の画像と第２の画像との特徴点の周辺特徴として、エッジ情報から得られる角度ヒストグラムを用いる請求項２記載の画像処理装置。
6. 前記回転行列推定部は、特徴点の周辺特徴を照合する事で、特徴点間の相対的な距離情報と方向情報とを算出し、この算出した、距離情報と方向情報とを基に、ｉｎｌｉｅｒが第２の画像の特徴点の中に存在するかどうかを推定する請求項２記載の画像処理装置。
7. 前記回転行列推定部は、特徴点の周辺特徴を照合する事で、第２の画像の特徴点内のｉｎｌｉｅｒの存在の有無を推定し、ｉｎｌｉｅｒが存在すると判定された場合に、ｉｎｌｉｅｒを、第２の画像の特徴点として追加する請求項２記載の画像処理装置。
8. 前記特徴点抽出部は、画像中でコーナー度合を表すスコアを生成し、生成されたこのスコアの高い順に、規定数の特徴点を抽出する請求項１記載の画像処理装置。
9. 前記特徴点抽出部は、規定数の特徴点を抽出後、抽出されなかった、第１の画像の特徴点の中で、時間軸上で直前の回転行列の算出に用いられた特徴点が、第２の画像の特徴点の中に存在するかどうかを推定し、存在した場合には、その特徴点を、第１の画像の特徴点として抽出する請求項１記載の画像処理装置。
10. 時間軸上で先に撮影された第１の画像と、第１の画像の撮影された直後に撮影された第２の画像とを取得する画像取得ステップと、
    前記画像取得ステップによって得られた第１、第２の画像から、画像中の特徴点を抽出する特徴点抽出ステップと、
    前記特徴点抽出ステップによって抽出された、第１、第２の画像の特徴点を用いて、第１、第２の画像間の回転行列を、ＲＡＮＳＡＣにより算出する回転行列推定ステップとを含む画像処理方法。
11. 前記回転行列推定ステップでは、直前の処理で、当該回転行列推定ステップによって回転行列の推定に使用された特徴点（ｉｎｌｉｅｒ）が、第２の画像の特徴点内に存在するかを事前に判定し、ｉｎｌｉｅｒが存在しないと判定された場合に、ｉｎｌｉｅｒを追加可能な場合には、当該回転行列推定ステップで用いる特徴点にｉｎｌｉｅｒを追加し、回転行列の推定を行う請求項１０記載の画像処理方法。
12. 前記回転行列推定ステップでは、第１の画像と第２の画像との特徴点の周辺の特徴を照合する事で、時間軸上で直前の回転行列の算出に用いられた特徴点が、第２の画像の特徴点の中に存在するかどうかを推定する請求項１０記載の画像処理方法。
13. 前記回転行列推定ステップでは、第１の画像と第２の画像との特徴点の周辺特徴として、輝度ヒストグラムを用いる請求項１０記載の画像処理方法。
14. 前記回転行列推定ステップでは、第１の画像と第２の画像との特徴点の周辺特徴として、エッジ情報から得られる角度ヒストグラムを用いる請求項１０記載の画像処理方法。
15. 前記回転行列推定ステップでは、特徴点の周辺特徴を照合する事で、特徴点間の相対的な距離情報と方向情報とを算出し、この、算出した距離情報と方向情報とを基に、ｉｎｌｉｅｒが第２の画像の特徴点の中に存在するかどうかを推定する請求項１０記載の画像処理方法。
16. 前記回転行列推定ステップでは、特徴点の周辺特徴を照合する事で、第２の画像の特徴点内のｉｎｌｉｅｒの存在の有無を推定し、ｉｎｌｉｅｒが存在すると判定された場合に、ｉｎｌｉｅｒを第２の画像の特徴点として追加する請求項１０記載の画像処理方法。
17. 前記特徴点抽出ステップでは、画像中でコーナー度合を表すスコアを生成し、生成されたこのスコアの高い順に、規定数の特徴点を抽出する請求項１０記載の画像処理方法。
18. 前記特徴点抽出ステップでは、規定数の特徴点を抽出後、抽出されなかった、第１の画像の特徴点の中で、時間軸上で直前の回転行列の算出に用いられた特徴点が、第２の画像の特徴点の中に存在するかどうかを推定し、存在した場合には、その特徴点を、第１の画像の特徴点として抽出する請求項１０記載の画像処理方法。