JP2006293600A - 画像処理方法、画像処理装置及び画像合成処理装置 - Google Patents

Abstract

【課題】同一被写体を撮影して得られた複数の撮影画像同士を高精度に対応付け可能とする。
【解決手段】同一の被写体を撮影して得られた複数の撮影画像の各々から特徴点を抽出し、当該被写体の同一点に対応する特徴点同士を対応付ける画像処理では、各撮影画像の間で、被写体の同一点に対応する特徴点の候補となる対応特徴点候補同士の座標値を評価し（Ａ２）、各々の撮影画像内で、対応特徴点候補と当該対応特徴点候補の近傍に位置する特徴点との位置関係を評価し（Ａ７）、座標評価及び位置関係評価において得られた評価情報に基づいて、被写体の同一点に対応する対応特徴点があるか否かを判定し、対応特徴点を決定する（Ａ８）。
【選択図】図２

Description

本発明は、複数の撮影画像を対応付けるための画像処理方法、画像処理装置及び画像合成処理装置に関する。

同一の被写体を撮影して得られた複数の撮影画像（例えば、時系列的な撮影で得られた画像、異なる複数の撮影位置の撮影で得られた画像など）同士を対応付けることにより、被写体の動き、３次元形状等を求めることができる。例えば、特許文献１では、時系列な撮影で得られた画像の各々から、対応付けの候補となる特徴点を抽出し、局所空間フィルタ等の前処理を施した後、当該特徴点とその近傍画素データとの相関を計算することにより、各撮影画像同士を対応付ける技術が開示されている。
特開２０００−２５９８３５号公報

しかしながら、従来の撮影画像の対応付け方法では、同一被写体の撮影時に、各撮影画像間で条件変化（時系列的な撮影での被写体の動き、撮影条件（例えば、露出条件）の変化、撮影位置の違いなど）があった場合、特徴点の対応性は大きく影響を受け、被写体の同一点が、各撮影画像のどの特徴点に対応するのかを正確に判断することが容易ではないという問題があった。また、このような場合、各撮影画像同士を重ね合わせて合成するなど、僅かな対応付けエラーも許されないアプリケーションに対応することは容易ではなかった。

また、異なる位置に設置された複数台のカメラで同一被写体を同時に撮影する立体撮影で得られた各撮影画像を処理するアプリケーションでは、撮影時の条件のずれは一定であって、そのずれ情報を用いて対応付けの精度を向上させる余地はあった。一方、時系列的な撮影で得られた各撮影画像を処理するアプリケーションにおいては、被写体の動きが完全に把握できないという問題があった。

本発明の課題は、同一被写体を撮影して得られた複数の撮影画像同士を高精度に対応付け可能とすることである。

上記課題を解決するため、請求項１に記載の発明は、同一の被写体を撮影して得られた複数の撮影画像の各々から特徴点を抽出し、当該被写体の同一点に対応する特徴点同士を対応付ける画像処理方法において、
各撮影画像の間で、前記被写体の同一点に対応する特徴点の候補となる対応特徴点候補同士の座標値を評価する座標評価工程と、
各撮影画像の間で、撮影画像内の対応特徴点候補と当該対応特徴点候補の近傍に位置する特徴点との位置関係を評価する位置関係評価工程と、
前記座標評価工程及び前記位置関係評価工程において得られた評価情報に基づいて、前記被写体の同一点に対応する対応特徴点があるか否かを判定する判定工程と、を含むことを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像処理方法において、前記対応特徴点候補同士の色情報を評価する色情報評価工程を含み、
前記判定工程では、前記色情報評価工程で得られた評価情報を更に用いて対応特徴点の有無が判定されることを特徴としている。

請求項３に記載の発明は、請求項２に記載の画像処理方法において、前記色情報には、色相情報が含まれることを特徴としている。

請求項４に記載の発明は、請求項２に記載の画像処理方法において、前記色情報には、色相情報及び彩度情報が含まれることを特徴としている。

請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像処理方法において、前記対応特徴点候補同士の位相幾何学的属性を評価する幾何評価工程を含み、
前記判定工程では、前記幾何評価工程で得られた評価情報を更に用いて対応特徴点の有無が判定されることを特徴としている。

請求項６に記載の発明は、請求項５に記載の画像処理方法において、複数の撮影画像の各々から特徴点を抽出する際、撮影画像から輪郭線を抽出し、当該抽出された輪郭線を細線化し、その細線における特異点を特徴点として抽出し、
前記位相幾何学的属性には、前記抽出された特徴点に連結された細線の数の情報が含まれることを特徴としている。

請求項７に記載の発明は、請求項６に記載の画像処理方法において、前記幾何評価工程では、前記連結された細線の数が一定数を超える場合、当該連結された細線の数は当該一定数とみなされることを特徴としている。

請求項８に記載の発明は、請求項１〜７の何れか一項に記載の画像処理方法において、前記判定工程では、ユーザによる設定又は特徴点の分布状況に応じて、前記座標評価工程で得られた評価情報と、前記位置関係評価工程で得られた評価情報の間で、優先的に用いる評価情報が切り替え可能であることを特徴としている。

請求項９に記載の発明は、請求項１〜８の何れか一項に記載の画像処理方法において、前記対応付けられた特徴点に基づいて、前記複数の撮影画像の各々を多角形に分割する分割工程と、
前記分割工程で得られた各多角形の形状が一致するように幾何変換処理を行う幾何変換工程と、
前記幾何変換処理により特徴点の座標が一致した各撮影画像の同一座標の画素データ同士に対して所定の演算処理を施すことによって新たな画像を生成する画像生成工程と、を含むことを特徴としている。

請求項１０に記載の発明は、同一の被写体を撮影して得られた複数の撮影画像の各々から特徴点を抽出し、当該被写体の同一点に対応する特徴点同士を対応付ける画像処理装置において、
各撮影画像の間で、前記被写体の同一点に対応する特徴点の候補となる対応特徴点候補同士の座標値を評価する座標評価手段と、
各撮影画像の間で、撮影画像内の対応特徴点候補と当該対応特徴点候補の近傍に位置する特徴点との位置関係を評価する位置関係評価手段と、
前記座標評価手段及び前記位置関係評価手段により得られた評価情報に基づいて、前記被写体の同一点に対応する対応特徴点があるか否かを判定する判定手段と、を備えることを特徴としている。

請求項１１に記載の発明は、請求項１０に記載の画像処理装置において、前記対応特徴点候補同士の色情報を評価する色情報評価手段を備え、
前記判定手段は、前記色情報評価手段により得られた評価情報を更に用いて対応特徴点の有無を判定することを特徴としている。

請求項１２に記載の発明は、請求項１１に記載の画像処理装置において、前記色情報には、色相情報が含まれることを特徴としている。

請求項１３に記載の発明は、請求項１１に記載の画像処理装置において、前記色情報には、色相情報及び彩度情報が含まれることを特徴としている。

請求項１４に記載の発明は、請求項１０〜１３の何れか一項に記載の画像処理装置において、前記対応特徴点候補同士の位相幾何学的属性を評価する幾何評価手段を備え、
前記判定手段は、前記幾何評価手段により得られた評価情報を更に用いて対応特徴点の有無を判定することを特徴としている。

請求項１５に記載の発明は、請求項１４に記載の画像処理装置において、複数の撮影画像の各々から特徴点を抽出する際、撮影画像から輪郭線を抽出し、当該抽出された輪郭線を細線化し、その細線における特異点を特徴点として抽出し、
前記位相幾何学的属性には、前記抽出された特徴点に連結された細線の数の情報が含まれることを特徴としている。

請求項１６に記載の発明は、請求項１５に記載の画像処理装置において、前記幾何評価手段は、前記連結された細線の数が一定数を超える場合、当該連結された細線の数は当該一定数とみなすことを特徴としている。

請求項１７に記載の発明は、請求項１０〜１６の何れか一項に記載の画像処理装置において、前記判定手段の判定処理では、ユーザによる設定又は特徴点の分布状況に応じて、前記座標評価手段により得られた評価情報と、前記位置関係評価手段により得られた評価情報の間で、優先的に用いる評価情報が切り替え可能であることを特徴としている。

請求項１８に記載の発明は、請求項１０〜１７の何れか一項に記載の画像処理装置によって前記対応付けられた特徴点に基づいて、前記複数の撮影画像の各々を多角形に分割する分割手段と、前記分割手段により得られた各多角形の形状が一致するように幾何変換処理を行う幾何変換手段と、前記幾何変換処理により特徴点の座標が一致した各撮影画像の同一座標の画素データ同士に対して所定の演算処理を施すことによって新たな画像を生成する画像生成手段と、を備えることを特徴としている。

本発明によれば、同一被写体を撮影して得られた複数の撮影画像同士を高精度に対応付けることができる。

以下、図面を参照して、本発明の実施形態を詳細に説明する。
まず、本実施形態における構成について説明する。

図１に、本発明の実施形態に係る画像処理装置１００の構成を示す。画像処理装置１００は、図１に示すように、画像入力部１、特徴点抽出部２、対応特徴点判定部３、対応特徴点出力部４、画像解析部５、条件パラメータ設定部６により構成され、所定の通信ネットワークを介して画像合成処理装置２００に接続される。

画像入力部１は、被写体の撮影により得られた撮影画像を取得し、特徴点抽出部２及び画像解析部５に出力する。本実施形態において画像入力部１に入力される画像は、同一の被写体を撮影して得られた複数の撮影画像である。この複数の撮影画像としては、時系列的な撮影（例えば、動画撮影、連写撮影）で得られた画像、異なる複数の撮影位置で同時に撮影して得られた画像などがある。また、画像入力部１での撮影画像の取得方法（入力方法）としては、所定の通信ネットワークを介して外部に接続された装置から取得する方法、有線又は無線接続されたデジタルカメラ等の撮影装置から取得する方法、記録メディア（ＣＤ−Ｒ、メモリーカード等）に記録された撮影画像を読み込む方法などがある。

特徴点抽出部２は、条件パラメータ設定部６で設定された条件パラメータに基づいて、画像入力部１から入力された複数の撮影画像の各々から特徴点を抽出し、抽出結果を対応特徴点判定部３に出力する。具体的に、特徴点抽出部２は、撮影画像から周波数変換処理等により輪郭線（エッジ）を抽出し、その輪郭線を太さが１の線画に細線化し、得られた細線を解析して幾何学的特異点（端点、折点、分岐点、交差点（図５参照））を検出することにより特徴点を抽出する。

対応特徴点判定部３は、条件パラメータ設定部６で設定された条件パラメータに基づいて、被写体の同一点に対応する特徴点の候補となる対応特徴点候補同士の座標値、連結数、色情報、近傍特徴点との位置関係を評価し、これらの評価結果（評価情報）に基づいて対応特徴点があるか否かを判定する。そして、対応特徴点があると判定された場合、該当する対応特徴点候補を対応特徴点として決定し、決定された対応特徴点の情報を対応特徴点出力部４に出力する。

対応特徴点出力部４は、対応特徴点判定部３から入力された対応特徴点の情報を画像合成処理装置２００及び条件パラメータ設定部６に出力する。

画像解析部５は、画像入力部１から入力された撮影画像に所定の解析処理を施し、解析結果を条件パラメータ設定部６に出力する。ここでの解析処理とは、例えば、撮影画像の画像サイズを抽出したり、当該撮影画像に対してフーリエ変換を施して空間周波数成分の分布状況を算出するなどの処理が含まれる。

条件パラメータ設定部６は、画像解析部５の解析結果及び／又は対応特徴点出力部４から出力された対応特徴点の情報に基づいて、特徴点抽出部２及び対応特徴点判定部３の処理で必要な条件パラメータを設定する。また、ユーザにより設定されたパラメータを条件パラメータとしてもよい。条件パラメータとしては、座標値の評価に必要な許容値（ε１）、連結数の評価に必要な許容値（ε２）、色情報の評価に必要な許容値（ε３、ε４）、近傍特徴点との位置関係の評価に必要な許容値（ε５）等がある。

画像合成処理装置２００は、画像処理装置１００において対応付けられた特徴点に基づいて、各撮影画像を微小三角形に分割し、分割により得られた各微小三角形の形状が一致するように幾何変換処理（例えば、アフィン変換）を行うことにより位置補正を行う。そして、幾何変換処理により特徴点の座標が一致した各撮影画像の同一座標の画素データ同士に対して所定の演算処理（例えば、重み付け平均）を施すことにより各撮影画像を合成する。

なお、図１では、画像合成処理装置２００が画像処理装置１００と別体として設けられた場合を示したが、画像合成処理装置２００と画像処理装置１００を一体化したスタンドアロンの構成としてもよい。

次に、本実施形態における動作について説明する。
図２のフローチャートを参照して、画像処理装置１００の対応特徴点判定部３において実行される特徴点対応付け処理について説明する。

まず、処理対象の２枚の撮影画像（画像１、画像２）から、対応特徴点候補（被写体の同一点に対応する特徴点の候補）が探索され、リストアップされる（ステップＡ１）。次いで、各撮影画像の間で、ステップＡ１でリストアップされた対応特徴点候補同士の座標値を評価する処理と（ステップＡ２）、連結数を評価する処理と（ステップＡ３）、色情報を評価する処理が行われる（ステップＡ４）。以下、ステップＡ２〜Ａ４の処理について詳細に説明する。

まず、図３を参照して、対応特徴点候補同士の座標値の評価（ステップＡ２）について説明する。以下では、画像２を基準画像とする。図３（ａ）に示すように、画像１の特徴点をＴｉ（ｉ＝１、２、…、ｍ）とし、画像２の特徴点をＳｊ（ｊ＝１、２、…、ｎ）とする。特徴点同士の座標値を評価するには、図３（ｂ）に示すように、ＴｉとＳｊの全ての組み合わせについて、ＴｉとＳｊとの距離を算出すればよい。Ｔｉの座標を（x_i,y_i）、Ｓｊの座標を（x’_j,y’_j）とすると、ＴｉとＳｊとの距離Δ_ijは式（１）のように定義される。

距離Δ_ijが許容値ε１以下となる特徴点Ｔｉを、対応特徴点候補を順位付けしたテーブルα（図９参照）への登録候補とする。

次に、図４〜図６を参照して、連結数の評価（ステップＡ３）について説明する。
上述のように、撮影画像からエッジが抽出され、エッジの細線化で得られた細線の特異点が特徴点として抽出される。図４（ａ）に、撮影画像の一例を示し、図４（ｂ）に、当該撮影画像の細線及び特徴点（図中の白丸）の一例を示す。このようにして抽出された特徴点は、その特徴点に細線が何本集中しているかを表す連結数（order）で分類される。

図５に示すように、細線の端点は連結数＝１、分岐点は連結数＝３、折点（角点）は連結数＝２、交差点は連結数＝４、複合点は連結数＞４である。なお、極めて近接した特徴点同士は１つの特徴点とみなされる。また、図６に示すように、評価対象の連結数（評価連結数）に上限値を設け、実際の連結数（真の連結数）が一定数以上である場合は、上限値（一定数）を評価連結数としてもよい。特徴点ＴｉとＳｊの全ての組み合わせについて、ＴｉとＳｊの連結数を比較し、双方の連結数の差分（差の絶対値）が許容値ε２以下となる特徴点Ｔｉを、テーブルα（図９参照）への登録候補とする。

次に、図７及び図８を参照して、色情報の評価（ステップＡ４）について説明する。
露出条件の異なる撮影画像を位置合わせするアプリケーションを想定した場合、対応特徴点候補同士の明度情報にはある程度の開きがあることが考えられるため、図７に示すように、対応特徴点同士の色相のみを評価する方法（図７（ａ））又は対応特徴点同士の色相及び彩度を評価する方法（図７（ｂ））を採用する。

色度座標の例としてＬ＊ａ＊ｂ＊を用いる場合、対応特徴点同士の色相のみを評価する方法では、図７（ａ）に示すように、ＴｉとＳｊの全ての組み合わせについて、ａ＊ｂ＊平面に、対応特徴点候補同士の色度座標をプロットし、各々の色度座標と原点とを結ぶ線がつくる角θ（色相差）を算出し、この色相差θが許容値ε３以下である特徴点Ｔｉを、テーブルα（図９参照）への登録候補とする。但し、一方の色度座標が、原点との距離が一定値以内のニュートラル領域にある場合、中性色とみなして色相差θが有意ではないものとする。

色度座標の例としてＬ＊ａ＊ｂ＊を用いる場合、対応特徴点同士の色相及び彩度を評価する方法では、図７（ｂ）に示すように、ＴｉとＳｊの全ての組み合わせについて、ａ＊ｂ＊平面に、対応特徴点候補同士の色度座標をプロットし、色度座標間の距離を算出し、この算出された距離が許容値ε４以下となる特徴点Ｔｉを、テーブルα（図９参照）への登録候補とする。

図８に、色情報の評価に用いる色情報の算出方法を示す。
通常、デジタルカメラ等で撮影され、現像された画像データのＲＧＢ値は、色空間が規定されている。最も一般的なｓＲＧＢ色空間の場合は、図８の変換式（１０）を用いて、ＲＧＢデータからＣＩＥ ＸＹＺ空間の色度値に変換される。更に、図８の変換式（２０）を用いて白色点の色度（観察照明条件）を規定することにより、ＣＩＥ Ｌ＊ａ＊ｂ＊空間の色度値に変換される。

なお、図７では、評価に用いる色情報としてＬ＊ａ＊ｂ＊を用いる場合を示したが、明度と色情報を分離可能な他の様々な色空間（Ｌ＊ｕ＊ｖ＊、ＨＳＶ、ＨＬＳ、ＹＣｂＣｒ等）を用いるようにしてもよい。

ステップＡ２〜Ａ４の評価処理が終了すると、各評価処理での結果（評価情報）に基づいて、テーブルαへの登録候補となった特徴点Ｔｉを順位付けし、順位が上位（例えば、１位〜６位まで）の特徴点がテーブルαに登録されることにより、テーブルαが作成される（ステップＡ５）。例えば、座標ずれ（式（１）の距離Δ_ijの値）が小さく、連結数の差が小さく、色相差θ又は色度座標間の距離が小さくなるほど、テーブルαでの順位は上位となる。

図９に、画像１と画像２の対応特徴点候補を順位付けしたテーブルαの一例を示す。図９によると、画像２の特徴点Ｓ１の対応特徴点候補として、画像１の特徴点Ｔ２が最も上位に位置し、画像１の中に、画像２の特徴点Ｓ５に対応する特徴点が存在しないことを示している。

図２のステップＡ１〜Ａ５の処理と並行して、各々の撮影画像内の各特徴点について、特徴点から一定距離以内に位置する近傍特徴点（一般に複数）が探索される（ステップＡ６）。ステップＡ１〜Ａ６の処理が終了すると、撮影画像同士で、特徴点とその近傍特徴点との位置関係を評価する処理が行われる（ステップＡ７）。

基準画像の特徴点（注目特徴点：Ｓｊ）とその近傍特徴点に対して、それぞれテーブルαに登録された対応特徴点候補（Ｔｉ）が存在する（存在しない場合もある）。ステップＡ７の評価処理では、ＳｊとＳｋが近傍関係にある場合、Ｓｊの対応特徴点候補Ｔｉと、Ｓｋの対応特徴点候補Ｔｌの全ての組み合わせ（Ｔｉ、Ｔｌ）について、その位置関係が、基準画像の注目特徴点とその近傍特徴点との位置関係に一致するか否かが判断される。テーブルαの例において、画像２の特徴点Ｓ３とＳ４が近傍関係にあった場合、Ｓ３の対応特徴点候補Ｔ３、Ｔ４、Ｔ１に対して、Ｓ４の対応特徴点候補Ｔ４、Ｔ２があるため、６通りの組み合わせについての位置関係が評価される。

図１０に示すように、基準画像（画像２）の注目特徴点とその近傍特徴点の座標をそれぞれ、（x₁,y₁）、（x₂,y₂）とし（図１０（ａ））、注目特徴点の対応特徴点候補とその近傍特徴点の座標をそれぞれ、（x’₁,y’₁）、（x’₂,y’₂）とする（図１０（ｂ））。ステップＡ７の評価処理では、式（２）に示す評価値が用いられる。

ここで、Δx＝x₂−x₁、Δy＝y₂−y₁、Δx’＝x’₂−x’₁、Δy’＝y’₂−y’₁である。又は、デジタル画像の特性に基づき、座標の量子化誤差に考慮して式（２）を調整した式（３）に示す評価値を用いることも可能である。

ステップＡ７の評価処理では、式（２）又は式（３）に示した評価値が許容値ε５以下である場合に、該当する対応特徴点候補の組み合わせについてカウントアップされる。図１１に、対応特徴点候補のカウント情報を表すテーブルβの一例を示す。図９のテーブルαにおいて、基準画像の特徴点Ｓ３とその近傍特徴点Ｓ４の位置関係と、Ｓ３の対応特徴点候補Ｔ３とその近傍特徴点Ｔ２との位置関係の評価値が許容値ε５以下である場合、図１１のように、該当するテーブル情報がカウントアップ（＋１）される。

テーブルα及びテーブルβが作成されると、テーブルαの順位情報及びテーブルβのカウント情報に基づいて、被写体の同一点に対応する対応特徴点があるか否かが判定され、対応特徴点があると判定された場合、対応特徴点が１点決定される（ステップＡ８）。ステップＡ８における対応特徴点の決定方法は、座標ずれによる評価情報と、近傍特徴点との位置関係による評価情報のどちらを優先的に使用するかに応じて２通りに分類される。

座標ずれによる評価情報を優先的に用いる場合、図１２（ａ）に示すように、まず、テーブルβでカウント値が０でない対応特徴点候補が選ばれ、その選ばれた対応特徴点候補のうち、テーブルαで最も上位にある（即ち、座標ずれが最も小さい）対応特徴点候補が対応特徴点として決定される。

近傍特徴点との位置関係による評価情報を優先的に用いる場合、図１２（ｂ）に示すように、テーブルαで登録済みの対応特徴点候補のうち、テーブルβでカウント値が最大である対応特徴点候補が対応特徴点として決定される。

なお、優先的に使用する評価情報は、ユーザによる設定又は状況に応じて切り替え可能である。例えば、特徴点の分布状況の解析やパターンマッチングにより、被写体の動き量及び変形具合等を推定し、例えば、動き量が所定量より小さい場合には、座標ずれによる評価情報（図１２（ａ））を優先的に使用する。

対応特徴点が決定されると、評価すべき対応特徴点候補がまだ存在するか否かが判定される（ステップＡ９）。ステップＡ９において、評価すべき対応特徴点候補が存在すると判定された場合（ステップＡ９；ＹＥＳ）、該当する撮影画像についてステップＡ１〜Ａ８の処理が繰り返される。ｎ枚（ｎ≧３）以上の撮影画像の特徴点を対応付ける処理の場合、基準画像（例えば、１枚目の撮影画像）を設定し、基準画像と他の１枚の撮影画像について、図２のステップＡ１〜Ａ８の処理がｎ―１回繰り返される。ステップＡ９において、評価すべき対応特徴点候補がないと判定された場合（ステップＡ９；ＮＯ）、本特徴点対応付け処理が終了する。

画像合成処理装置２００では、図２の特徴点対応付け処理の処理結果を用いて、各撮影画像の合成処理が行われる。図１３に、この合成処理の一例として、露出条件を徐々に変化させて同一被写体を連続的に撮影して得られた撮影画像（図１３では３枚）の合成の例を示す。

図２の特徴点対応付け処理により対応特徴点が決定されると、この対応特徴点を用いて、各々の撮影画像が微小三角形領域に分割される。この三角形分割では、まず、基準画像の全ての画像領域が、特徴点と画像角（四角形の頂点）を頂点とする微小三角形領域に分割される。ここで、全ての微小三角形についてなるべくつぶれた形状を避けるため、Delauney三角形分割を用いるのが好ましい。次いで、基準画像以外の撮影画像について、基準画像の微小三角形の頂点に対応する特徴点（対応特徴点）又は画像角を頂点とする微小三角形（対応微小三角形）が生成され、基準画像と同様に、全画像領域が微小三角形領域に分割される。

次いで、基準画像以外の撮影画像について、各微小三角形が、対応する基準画像の微小三角形の形状に一致するように幾何変換（アフィン変換）が施される。このように幾何変換を施すことによって、撮影画像の位置補正が行われる。

次いで、位置補正された撮影画像の各々に関して、同一座標同士の画素データから合成画像の座標値の画素データが決定される。その際、各撮影画像の撮影条件（露出条件）を加味して重み付け平均が行われ、飽和レベルに達している画素データは計算から除外される。このようなステップにより合成画像が生成される。

本実施形態に示した特徴点同士の対応付け処理は、様々な画像処理システムに組み込んで使用することができる。図１４に、本実施形態の特徴点対応付け処理の適用例と、その特徴と、条件パラメータの調整方向との関係を示す。図１４に示すように、撮影状況に応じて条件パラメータを調整し、適切な特徴点対応付け処理を行うことができる。

以上のように、本実施形態の画像処理装置１００によれば、同一被写体を撮影して得られた複数の撮影画像から抽出された特徴点同士の座標値、連結数、色情報、近傍特徴点との位置関係を評価し、評価結果に基づいて特徴点同士を対応付けることにより、高精度な対応付けが可能となる。特に、撮影時の条件変化（時系列的な撮影での被写体の動き、撮影条件（例えば、露出条件）の変化、撮影位置の違いなど）があっても対応特徴点を正確に判断することが可能となる。よって、本実施形態の対応付け方法は、複数の撮影画像を処理する様々なアプリケーション（立体撮影、動画を利用した短時間での動きの解析、連写撮影で得られた画像の重ね合わせなど）に適用することが可能となる。

また、撮影時の被写体の微妙な動きを避けられないような場合であっても、ブレの影響による画質劣化が少なく、ダイナミックレンジの広い高画質の合成画像を得ることが可能となる。

本発明の実施形態に係る画像処理装置の構成を示すブロック図。 画像処理装置の対応特徴点判定部において実行される特徴点対応付け処理を示すフローチャート。 画像１と画像２における細線及び特徴点を示す図（ａ）と、画像１の各特徴点と画像２の各特徴点の組み合わせを示す図。 撮影画像（ａ）と、当該撮影画像のエッジ情報から得られる細線及び特徴点を示す図（ｂ）。 細線図における特徴点の位置付けを示す図。 真の（実際の）連結数と、評価連結数（比較評価用の連結数）の関係を示す図。 対応する特徴点同士の色相のみを評価する場合（ａ）と、色相及び彩度について評価する場合（ｂ）を説明する図。 評価用の色情報の算出方法を示す図。 対応特徴点候補を順位付けしたテーブルαを示す図。 近傍特徴点同士の位置関係の評価方法を示す図。 近傍特徴点同士の位置関係の評価値に基づいて生成されるテーブルβを示す図。 対応特徴点の特定方法を示す図。 特徴点同士が対応付けられた各撮影画像（連写画像）の合成方法を示す図。 特徴点同士の対応付けの適用例と、その特徴及び条件パラメータの調整方向の関係を示す図。

符号の説明

１ 画像入力部
２ 特徴点抽出部
３ 対応特徴点判定部
４ 対応特徴点出力部
５ 条件パラメータ設定部
６ 画像解析部
１００ 画像処理装置
２００ 画像合成処理装置

Claims (18)

1. 同一の被写体を撮影して得られた複数の撮影画像の各々から特徴点を抽出し、当該被写体の同一点に対応する特徴点同士を対応付ける画像処理方法において、
   各撮影画像の間で、前記被写体の同一点に対応する特徴点の候補となる対応特徴点候補同士の座標値を評価する座標評価工程と、
   各撮影画像の間で、撮影画像内の対応特徴点候補と当該対応特徴点候補の近傍に位置する特徴点との位置関係を評価する位置関係評価工程と、
   前記座標評価工程及び前記位置関係評価工程において得られた評価情報に基づいて、前記被写体の同一点に対応する対応特徴点があるか否かを判定する判定工程と、
   を含むことを特徴とする画像処理方法。
2. 前記対応特徴点候補同士の色情報を評価する色情報評価工程を含み、
   前記判定工程では、前記色情報評価工程で得られた評価情報を更に用いて対応特徴点の有無が判定されることを特徴とする請求項１に記載の画像処理方法。
3. 前記色情報には、色相情報が含まれることを特徴とする請求項２に記載の画像処理方法。
4. 前記色情報には、色相情報及び彩度情報が含まれることを特徴とする請求項２に記載の画像処理方法。
5. 前記対応特徴点候補同士の位相幾何学的属性を評価する幾何評価工程を含み、
   前記判定工程では、前記幾何評価工程で得られた評価情報を更に用いて対応特徴点の有無が判定されることを特徴とする請求項１〜４の何れか一項に記載の画像処理方法。
6. 複数の撮影画像の各々から特徴点を抽出する際、撮影画像から輪郭線を抽出し、当該抽出された輪郭線を細線化し、その細線における特異点を特徴点として抽出し、
   前記位相幾何学的属性には、前記抽出された特徴点に連結された細線の数の情報が含まれることを特徴とする請求項５に記載の画像処理方法。
7. 前記幾何評価工程では、前記連結された細線の数が一定数を超える場合、当該連結された細線の数は当該一定数とみなされることを特徴とする請求項６に記載の画像処理方法。
8. 前記判定工程では、ユーザによる設定又は特徴点の分布状況に応じて、前記座標評価工程で得られた評価情報と、前記位置関係評価工程で得られた評価情報の間で、優先的に用いる評価情報が切り替え可能であることを特徴とする請求項１〜７の何れか一項に記載の画像処理方法。
9. 前記対応付けられた特徴点に基づいて、前記複数の撮影画像の各々を多角形に分割する分割工程と、
   前記分割工程で得られた各多角形の形状が一致するように幾何変換処理を行う幾何変換工程と、
   前記幾何変換処理により特徴点の座標が一致した各撮影画像の同一座標の画素データ同士に対して所定の演算処理を施すことによって新たな画像を生成する画像生成工程と、
   を含むことを特徴とする請求項１〜８の何れか一項に記載の画像処理方法。
10. 同一の被写体を撮影して得られた複数の撮影画像の各々から特徴点を抽出し、当該被写体の同一点に対応する特徴点同士を対応付ける画像処理装置において、
    各撮影画像の間で、前記被写体の同一点に対応する特徴点の候補となる対応特徴点候補同士の座標値を評価する座標評価手段と、
    各撮影画像の間で、撮影画像内の対応特徴点候補と当該対応特徴点候補の近傍に位置する特徴点との位置関係を評価する位置関係評価手段と、
    前記座標評価手段及び前記位置関係評価手段により得られた評価情報に基づいて、前記被写体の同一点に対応する対応特徴点があるか否かを判定する判定手段と、
    を備えることを特徴とする画像処理装置。
11. 前記対応特徴点候補同士の色情報を評価する色情報評価手段を備え、
    前記判定手段は、前記色情報評価手段により得られた評価情報を更に用いて対応特徴点の有無を判定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記色情報には、色相情報が含まれることを特徴とする請求項１１に記載の画像処理装置。
13. 前記色情報には、色相情報及び彩度情報が含まれることを特徴とする請求項１１に記載の画像処理装置。
14. 前記対応特徴点候補同士の位相幾何学的属性を評価する幾何評価手段を備え、
    前記判定手段は、前記幾何評価手段により得られた評価情報を更に用いて対応特徴点の有無を判定することを特徴とする請求項１０〜１３の何れか一項に記載の画像処理装置。
15. 複数の撮影画像の各々から特徴点を抽出する際、撮影画像から輪郭線を抽出し、当該抽出された輪郭線を細線化し、その細線における特異点を特徴点として抽出し、
    前記位相幾何学的属性には、前記抽出された特徴点に連結された細線の数の情報が含まれることを特徴とする請求項１４に記載の画像処理装置。
16. 前記幾何評価手段は、前記連結された細線の数が一定数を超える場合、当該連結された細線の数は当該一定数とみなすことを特徴とする請求項１５に記載の画像処理装置。
17. 前記判定手段の判定処理では、ユーザによる設定又は特徴点の分布状況に応じて、前記座標評価手段により得られた評価情報と、前記位置関係評価手段により得られた評価情報の間で、優先的に用いる評価情報が切り替え可能であることを特徴とする請求項１０〜１６の何れか一項に記載の画像処理装置。
18. 請求項１０〜１７の何れか一項に記載の画像処理装置によって前記対応付けられた特徴点に基づいて、前記複数の撮影画像の各々を多角形に分割する分割手段と、
    前記分割手段により得られた各多角形の形状が一致するように幾何変換処理を行う幾何変換手段と、
    前記幾何変換処理により特徴点の座標が一致した各撮影画像の同一座標の画素データ同士に対して所定の演算処理を施すことによって新たな画像を生成する画像生成手段と、
    を備えることを特徴とする画像合成処理装置。

Images