JP2014146215A - 画像補正装置、画像補正方法および画像補正プログラム - Google Patents

Abstract

【課題】顔の輪郭上の特徴点のように、位置を特定することが難しい特徴点を、幾何変形パラメータ推定に有効に活用できるようにすることで良好な補正画像を生成する画像補正技術提供する。
【解決手段】一方の画像の特徴点と他方の画像の特徴点との対応関係から幾何変形パラメータを推定する推定手段と、前記幾何変形パラメータによって変換した前記一方の画像の特徴点と、前記他方の画像の特徴点との、誤差の算出方法を前記特徴点の種類によって選定する選定手段と、選定した前記算出方法にもとづいて前記誤差を算出する誤差算出手段と、算出した前記誤差にもとづいて前記特徴点が前記幾何変形パラメータに寄与する割合を算出する寄与率算出手段と、算出した前記寄与する割合にもとづいて前記幾何変形パラメータを更新して補正画像を生成する画像生成手段と、を備えた画像補正装置である。
【選択図】 図１

Description

本発明は、対応点を使った画像補正技術に関し、特に、画像中に写っている被写体の位置・大きさ・姿勢を正規化する画像補正技術に関する。

２枚の画像から検出した対応点の対応関係をもとにして画像を補正する技術は、ステレオマッチング、画像モーフィング、画像認識等の画像処理技術のさまざまな分野において利用されている。例えば、特許文献１では、画像をつなぎ合わせたモザイク画像を合成するために、画像間の対応点に基づいて画像の幾何変形を補正する処理をする。また、特許文献２では、高精度な文字認識を実現するために、文書画像の歪みを補正する。

このような画像の対応点にもとづく画像補正技術では、対応点の正確さや信頼性がその後の補正に大きな影響を与える。対応点に外れ値が含まれていると、正しい補正パラメータが推定できず、結果として所望の補正結果が得られない。対応点は、一般的にはコーナー検出や特徴点検出など、画像上で特徴的な点（特徴点）を検出したものである。２枚の画像で特徴点を求めることで、それら２枚の画像の位置や角度を合わせることができる。

しかしながら、必ずしも特徴的なテクスチャ上に存在しない特徴点が配置される場合がある。例えば、顔画像を考えた場合、顔の輪郭の特徴点がそれにあたる。目や口という部分には特徴点を正確に配置しやすいが、顔の輪郭や鼻筋といった部分に正確に特徴点を配置するのは難しい。正確に言えば、輪郭の曲線上に特徴点を定めることはできるが、曲線上のどの位置かということを正確に決めることは困難である。しかしながら、顔の位置や姿勢、表情などを一定に揃える正規化処理を行う上では、顔の輪郭や鼻筋などの特徴点も補正に有効に活用すべきである。

特開２００２‐１５０２６４号公報 特許４８５９０６１号公報

一般的に２枚の画像の対応点にもとづいて画像の位置、大きさ、角度などを補正する幾何変形パラメータを推定する場合には、外れ値の影響を低減するために、ロバスト推定法を利用する。特許文献１や特許文献２でも、外れ値の影響を低減するために、ロバスト推定の利用について言及されている。

ロバスト推定法のひとつであるＭ推定法において、対応点が外れ値かどうかを判断する基準として用いられる指標は、対応点間の距離である。例えば、特許文献１では、画像Ｉ_１と画像Ｉ_２の２枚の画像上にそれぞれ（ｕ_１，ｖ_１）、（ｕ_２，ｖ_２）という対応点があったとすると、それら対応点の関係にもとづいて推定した幾何変形パラメータを用いて画像Ｉ_２上の（ｕ_２，ｖ_２）を画像Ｉ_１上に投影した対応点（ｕ_２’，ｖ_２’）と（ｕ_１，ｖ_１）とのユークリッド距離が閾値以上となった場合に、（ｕ_２，ｖ_２）を外れ値とみなす。そして、ロバスト推定法で外れ値とみなされなかった特徴点（インライア）を利用して幾何変形パラメータを推定することで、外れ値の影響を抑えた幾何変形パラメータが得られる。

しかしながら、上記の手法では、前記の顔の輪郭のように厳密な位置の設定をすることが困難な特徴点を幾何変形パラメータ推定に有効に利用することができない。前述したように、顔の輪郭の特徴点は、輪郭の曲線上に特徴点を定めることはできるものの、曲線上のどの位置かということを厳密に定めることはできない。そのため、検出した特徴点が曲線に沿って位置ずれしていることが十分に考えられる。このとき、特許文献１のように対応点間の距離で外れ値を判定すると、特徴点が曲線上に正しく存在するような場合でも外れ値として排除されてしまう場合がある。これは、ＲＡＮＳＡＣなどの別のロバスト推定法を用いたとしても解決できない課題である。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、顔の輪郭上の特徴点のように、位置の特定がされない特徴点を、画像補正パラメータ推定に有効に活用できるようにすることで良好な補正画像を生成する画像補正技術を提供することにある。

本発明の画像補正装置は、一方の画像の特徴点と他方の画像の特徴点との対応関係から幾何変形パラメータを推定する推定手段と、前記幾何変形パラメータによって変換した前記一方の画像の特徴点と、前記他方の画像の特徴点との、誤差の算出方法を前記特徴点の種類によって選定する選定手段と、選定した前記算出方法にもとづいて前記誤差を算出する誤差算出手段と、算出した前記誤差にもとづいて前記特徴点が前記幾何変形パラメータに寄与する割合を算出する寄与率算出手段と、算出した前記寄与する割合にもとづいて前記幾何変形パラメータを更新して補正画像を生成する画像生成手段と、を備えた画像補正装置である。

本発明の画像補正方法は、一方の画像の特徴点と他方の画像の特徴点との対応関係から幾何変形パラメータを推定し、前記幾何変形パラメータによって変換した前記一方の画像の特徴点と、前記他方の画像の特徴点と、の誤差の算出方法を前記特徴点の種類によって選定し、選定した前記誤差の算出方法にもとづいて前記誤差を算出し、算出した前記誤差にもとづいて前記特徴点が前記幾何変形パラメータに寄与する割合を算出し、算出した前記寄与する割合にもとづいて前記幾何変形パラメータを更新して補正画像を生成する、画像補正方法である。

本発明の画像補正プログラムは、一方の画像の特徴点と他方の画像の特徴点との対応関係から幾何変形パラメータを推定する処理と、前記幾何変形パラメータによって変換した前記一方の画像の特徴点と、前記他方の画像の特徴点と、の誤差の算出方法を前記特徴点の種類によって選定する処理と、選定した前記誤差の算出方法にもとづいて前記誤差を算出する処理と、算出した前記誤差にもとづいて前記特徴点が前記幾何変形パラメータに寄与する割合を算出する処理と、算出した前記寄与する割合にもとづいて前記幾何変形パラメータを更新して補正画像を生成する処理と、を実行させる画像補正プログラムである。

本発明によれば、顔の輪郭上の特徴点のように、位置を特定することが難しい特徴点を画像補正パラメータ推定に有効に活用できるようになり、良好な補正画像を生成する画像補正技術が提供される。

すなわち、本発明によれば、画像の補正精度が向上する。その理由は、曲線上に存在する正確な位置の特定がされない特徴点を幾何変形パラメータの推定に有効に利用できるようになるためである。また、補正の際の利便性が向上する。その理由は、これまでは対応点として利用できなかったような特徴点を、正確な位置を定めなくても対応点として利用できるようになるためである。

本発明の第１の実施形態の画像補正装置１００の構成を示すブロック図である。 本発明の第１の実施形態の画像補正装置１００の動作を示すフローチャートである。 本発明の第２の実施形態の画像補正装置３００の構成を示すブロック図である。 本発明の第２の実施形態の画像補正装置３００の動作を示すフローチャートである。 本発明の第３の実施形態の画像補正装置５００の構成を示すブロック図である。 誤差計算部１０３の構成を示すブロック図である。 厳密な位置設定がされない特徴点と変換後の特徴点との誤差算出方法を示す図である。 画像補正装置５００の入力画像Ｉを示す図である。 画像補正装置５００の出力画像Ｉ’を示す図である。

以下、図を参照しながら、本発明の実施形態を詳細に説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。
（第１の実施形態）
本発明の第１の実施形態の画像補正装置１００について、図１を用いて説明する。
［構成の説明］
図１は、本発明の第１の実施形態の画像補正装置１００の構成を示すブロック図である。画像補正装置１００は、特徴点検出部１０１と推定部１０２と誤差計算部１０３と重み計算部１０４と再推定部１０５と画像生成部１０６とを有する。また、誤差計算部１０３は、図６に示す誤差計算部１０３の構成のブロック図のように、座標変換部１０３１と選定部１０３２と誤差算出部１０３３とを有する。

特徴点検出部１０１は、画像入力手段により入力された２枚の画像それぞれから特徴点を検出する。例えば顔画像の場合には、目や鼻や口、顔の輪郭などの特徴点を検出する。

推定部１０２は、前記特徴点検出部１０１で検出された２枚の画像の特徴点の組（対応点）にもとづいて、画像の幾何変形パラメータを推定する。

誤差計算部１０３は、前記推定部１０２で推定された幾何変形パラメータで変換した一方の画像の特徴点と、他方の画像の特徴点との誤差（位置的な差異、距離をいう）を算出する。

すなわち、誤差計算部１０３を構成する座標変換部１０３１と選定部１０３２と誤差算出部１０３３とにおいて、まず、座標変換部１０３１は、前記推定部１０２で推定された幾何変形パラメータにもとづいて、一方の画像の特徴点を他方の画像の上に座標変換する。次に、選定部１０３２は、座標変換された一方の画像の特徴点と、これに対応する他方の画像の特徴点との、誤差の算出方法を選定する。例えば顔画像の場合、目や口の特徴点と顔の輪郭の特徴点とでは、異なる算出方法を選定する。次に、誤差算出部１０３３は、前記選定部１０３２で選定した誤差の算出方法にもとづいて、座標変換された一方の画像の特徴点とこれに対応する他方の画像の特徴点との誤差を算出する。

重み計算部１０４は、前記誤差計算部１０３で算出した誤差にもとづいて、各対応点の幾何変形パラメータ推定時の寄与する割合（寄与率あるいは重み）を算出する。

再推定部１０５は、前記重み計算部１０４で算出した各対応点の重みを利用して幾何変形パラメータを再度推定し、幾何変形パラメータの更新を行う。

画像生成部１０６は、前記再推定部１０５で更新した幾何変形パラメータにもとづいて入力画像を変形し生成する。
［動作の説明］
図２は、本実施形態の画像補正装置１００の処理の流れを説明するためのフローチャートである。

ステップＳ２０１では、画像入力手段により入力された２枚の画像Ｉ_１と画像Ｉ_２から、対応点として利用するｎ点の特徴点（ｕ_１ｎ，ｖ_１ｎ）、（ｕ_２ｎ，ｖ_２ｎ）を検出する。特徴点検出手法は、任意のアルゴリズムを利用すればよく、例えばＨａｒｒｉｓのコーナー検出アルゴリズムや、テンプレートマッチング、ＳＩＦＴのような一般的なアルゴリズムを用いればよい。

ステップＳ２０２では、前記ステップＳ２０１で検出した特徴点の対応関係にもとづいて幾何変形パラメータを推定する。ここで言う幾何変形は、相似変形、アフィン変形、射影変形のいずれであってもよい。また、パラメータの推定方法は、線形最小２乗法、非線形最小２乗法どちらでもよい。一例として、アフィン変形の幾何変形パラメータを線形最小２乗法にて算出する場合には、同次座標で表現した特徴点座標ｐ＝（ｕ_１ｎ，ｖ_１ｎ，１）、ｑ＝（ｕ_２ｎ，ｖ_２ｎ，１）を用いて式１（アフィン変換パラメータＡの推定式）で幾何変形パラメータＡを推定できる。

ステップＳ２０３では、前記ステップＳ２０２で推定した幾何変形パラメータＡにもとづいて特徴点（ｕ_１ｎ，ｖ_１ｎ）を座標変換し、変換後の特徴点（ｕ_１ｎ’，ｖ_１ｎ’）と（ｕ_２ｎ，ｖ_２ｎ）との誤差を算出する。変換後の特徴点（ｕ_１ｎ’，ｖ_１ｎ’）は、同次座標で表現した特徴点座標ｐ’＝（ｕ_１ｎ’，ｖ_１ｎ’，１）を用いて式２（変換後の特徴点ｐ’の算出式）により導出できる。

誤差の計算方法は、特徴点の種類によって切り替える。正確な位置特定がされる特徴点（顔画像で言うところの目や口や鼻や眉の端などの、テクスチャの曲線あるいは直線の角部や終点部に存在する特徴点）の場合には、変換後の特徴点（ｕ_１ｎ’，ｖ_１ｎ’）と（ｕ_２ｎ，ｖ_２ｎ）の点間の距離を算出する。

正確な位置特定がされない特徴点（顔画像で言うところの顔の輪郭や鼻筋などの、テクスチャのエッジ上、すなわち、曲線や直線の途中に存在する特徴点）の場合には、変換後の特徴点（ｕ_１ｎ’，ｖ_１ｎ’）と、（ｕ_２ｎ，ｖ_２ｎ）のうち同一の曲線上あるいは直線上に存在しかつ隣接する特徴点（ｕ_２ｎ，ｖ_２ｎ）と（ｕ_２ｎ＋１，ｖ_２ｎ＋１）および（ｕ_２ｎ−１，ｖ_２ｎ−１）をつないだ線分Ｌ_１，Ｌ_２のうち、変換後の特徴点（ｕ_１ｎ’，ｖ_１ｎ’）から垂線が下ろせる方の線分との距離を算出する。すなわち、変換後の特徴点（ｕ_１ｎ’，ｖ_１ｎ’）と、そこからの垂線が線分Ｌ_１あるいはＬ_２と交わる交点との距離である（図７）。

垂線が下ろせるかどうかの判定は、図７のように、変換後の特徴点（ｕ_１ｎ’，ｖ_１ｎ’）と（ｕ_２ｎ，ｖ_２ｎ）とを結ぶ線と、線分Ｌ_１とのなす角θ_１の余弦ｃｏｓθ_１、および、線分Ｌ_２とのなす角θ_２の余弦ｃｏｓθ_２の、それぞれの符号で判定できる。余弦の符号が正であれば垂線を引くことができ、余弦が負であれば変換後の特徴点から線分へ下ろした垂線と線分が交わらないため、垂線を引くことができない。なお、線分Ｌ_１および線分Ｌ_２のどちらにも垂線を引くことが可能な場合には、長さが短い方の垂線と線分との交点との距離を算出する。線分Ｌ_１および線分Ｌ_２のどちらにも垂線を引くことができない場合には、変換後の特徴点（ｕ_１ｎ’，ｖ_１ｎ’）と（ｕ_２ｎ，ｖ_２ｎ）の距離を算出する。

ステップＳ２０４では、前記ステップＳ２０３で算出した誤差にもとづいて、各特徴点が幾何変形パラメータへ寄与する割合である重みを算出する。重みは、前記ステップＳ２０３で得た誤差から算出されるユークリッド距離にもとづき、ユークリッド距離が小さいほど１に近く、ユークリッド距離が大きいほど０に近くなるように設定する。例えば、ロバスト推定法のひとつであるＭ推定法で利用されるｂｉｗｅｉｇｈｔ法を用いてもよいし、誤差が大きくなるほどガウス関数に従って減衰するような重み関数を用いてもよい。また、ユークリッド距離の代わりにマハラノビス距離を用いてもよい。

ステップＳ２０５では、前記ステップＳ２０４で算出した各特徴点に対する重みを利用して幾何変形パラメータを再度推定して更新する。幾何変形パラメータは重み付き最小２乗法により行う。各特徴点に対する重みをｗ_ｎとすると、再度推定した幾何変形パラメータＡ’は式３（アフィン変換パラメータＡ’の再推定式）により導出できる。ここで、Ｗはｗ_ｎを対角成分とした対角行列である。

ステップＳ２０６では、前記ステップＳ２０５で再度推定し更新した幾何変形パラメータにもとづいて、補正画像Ｉ_１’を生成する。
［効果の説明］
誤差計算部１０３において、画像Ｉ_１上に存在する特徴点（ｕ_１，ｖ_１）と画像Ｉ_２上に存在する特徴点（ｕ_２，ｖ_２）の対応関係にもとづいて推定した幾何変形パラメータを用いて、画像Ｉ_１上の（ｕ_１，ｖ_１）を画像Ｉ_２上に投影した特徴点（ｕ_１’，ｖ_１’）と、画像Ｉ_２上の特徴点（ｕ_２，ｖ_２）とこれの同一曲線上や同一直線上に存在する複数の隣接点とを結ぶ線分との、距離を誤差とすることで、曲線に沿った位置ずれが多少ある特徴点でも外れ値として除外されないようになる。これにより、顔の輪郭のように曲線上に存在する厳密な位置の特定が難しい特徴点を有効に利用して幾何変形パラメータを推定することができる。

本実施形態によれば、顔の輪郭上の特徴点のように、位置を特定することが難しい特徴点を画像補正パラメータ推定に有効に活用できるようになり、良好な補正画像を生成する画像補正技術が提供される。すなわち、本実施形態によれば、画像の補正精度が向上する。その理由は、曲線上に存在する正確な位置の特定が難しい特徴点を幾何変形パラメータの推定に有効に利用できるようになるためである。また、補正の際の利便性が向上する。その理由は、これまでは対応点として利用できなかったような特徴点を、正確な位置を定めなくても対応点として利用できるようになるためである。
（第２の実施形態）
本発明の第２の実施形態の画像補正装置３００について、図３を用いて説明する。
［構成の説明］
図３は、本発明の第２の実施形態の画像補正装置３００の構成を示すブロック図である。画像補正装置３００は、図１の画像補正装置１００の推定部１０２の機能と再推定部１０５の機能を統合した推定部３０２と、幾何変形パラメータの推定回数や収束条件を制御する制御部３０５を備えている点で、第１の実施形態の画像補正装置１００と異なる。他の構成および動作、すなわち、特徴点検出部３０１、誤差計算部３０３、重み計算部３０４、画像生成部３０６は、各々、画像補正装置１００の特徴点検出部１０１、誤差計算部１０３、重み計算部１０４、画像生成部１０６と同じであるため、ここでは説明を省略する。

推定部３０２は、前記特徴点検出部３０１で検出された２枚の画像の特徴点の組（対応点）にもとづいて画像の幾何変形パラメータを推定し、さらに、前記重み計算部３０４で算出された対応点に対する重みにもとづいて、前記幾何変形パラメータを再度推定し更新する。

制御部３０５は、前記誤差計算部３０３で算出した各特徴点の誤差、またはあらかじめ設定しておいた繰り返し回数にもとづいて、幾何変形パラメータの推定回数を制御する。
［動作の説明］
図４は、画像補正装置３００の処理の流れを説明するためのフローチャートである。図２に示した画像補正装置１００の処理の流れを説明するためのフローチャートに加えて、ステップＳ４０５が追加されており、パラメータ推定ステップＳ２０２を変更したパラメータ推定ステップＳ４０２を備えている点で、図２と異なる。

特徴点検出ステップＳ４０１、誤差計算ステップＳ４０３、重み計算ステップＳ４０４、画像生成ステップＳ４０６は、各々、画像補正装置１００の特徴点検出ステップＳ２０１、誤差計算ステップＳ２０３、重み計算ステップＳ２０４、画像生成ステップＳ２０６と同じであるため、ここでは説明を省略する。

ステップＳ４０２は、前記ステップＳ４０１で検出した画像Ｉ_１上の特徴点（ｕ_１ｎ，ｖ_１ｎ）と画像Ｉ_２上の特徴点（ｕ_２ｎ，ｖ_２ｎ）およびステップＳ４０４で算出した各特徴点に対する重みｗ_ｎにもとづいて幾何変形パラメータＡを推定する。幾何変換パラメータＡは、式４（アフィン変換パラメータＡの推定式）で導出できる。

ここで、Ｗはｗ_ｎを対角成分とした対角行列である。初回の幾何変換パラメータ推定時にはステップＳ４０４で重みｗ_ｎが算出されていないので、ｗ_ｎ＝１としておく。そうすることで、式４は式１と等価となる。

ステップＳ４０５は、あらかじめ設定された収束条件にしたがって幾何変形パラメータの繰り返しを制御する。収束条件を満たす場合には、幾何変形パラメータの推定を終え、補正画像生成の処理ステップＳ４０６へ進む。収束条件を満たさない場合には、前記ステップＳ４０３で算出された各特徴点の誤差にしたがって各特徴点に対する重みを算出するステップＳ４０４へ進み、幾何変形パラメータの推定を再度実行する。収束条件は、前記ステップＳ４０３で算出された各特徴点の誤差がある閾値以下であることや、前回の誤差との変化量が一定値以下であることを利用してもよいし、あるいは、あらかじめ幾何変形パラメータ推定の繰り返し回数を決めておいてもよい。
［効果の説明］
本実施形態によれば、顔の輪郭上の特徴点のように、位置を特定することが難しい特徴点を画像補正パラメータ推定に有効に活用できるようになり、良好な補正画像を生成する画像補正技術が提供される。すなわち、本実施形態によれば、画像の補正精度が向上する。その理由は、曲線上に存在する正確な位置の特定が難しい特徴点を幾何変形パラメータの推定に有効に利用できるようになるためである。また、補正の際の利便性が向上する。その理由は、これまでは対応点として利用できなかったような特徴点を、正確な位置を定めなくても対応点として利用できるようになるためである。
（第３の実施形態）
本発明の第３の実施形態の画像補正装置５００について、図５を用いて説明する。
［構成の説明］
図５は、本発明の第３の実施形態の画像補正装置５００の構成を示すブロック図である。本実施形態の画像補正装置５００は、特徴点検出部５０１と推定部５０２と誤差計算部５０３と重み計算部５０４と制御部５０５と画像生成部５０６と記録部５０７とを有する。本実施形態では、制御部５０５にて制御する幾何変形パラメータ推定回数を固定値とするため、誤差計算部５０３と制御部５０５の順序関係が、図３の画像補正装置３００の誤差計算部３０３と制御部３０５の順序関係と逆になっている点、および、記録部５０７を有する点で、第２の実施形態と構成が異なる。
［動作の説明］
特徴点検出部５０１は、図８に示すような顔画像Ｉが入力されたとき、顔画像Ｉから特徴点（ｕ_２ｎ，ｖ_２ｎ）を検出する。検出する特徴点は、目や口の端点や、顔の輪郭上の点など３点以上の任意のｎ点を検出する。

記録部５０７は、入力された顔画像Ｉの顔の向きを変換するための基準となる特徴点座標（ｕ_１ｎ，ｖ_１ｎ）の情報を記録する。基準となる特徴点座標（ｕ_１ｎ，ｖ_１ｎ）を入力された顔画像Ｉの特徴点座標（ｕ_２ｎ，ｖ_２ｎ）へ変換するアフィン変換パラメータＡを推定し、その逆変換をすることで、入力された顔画像の大きさ、位置、角度を一定の状態に揃えた正規化顔画像を生成することができる。

推定部５０２は、入力された顔画像Ｉの特徴点（ｕ_２ｎ，ｖ_２ｎ）と基準となる特徴点（ｕ_１ｎ，ｖ_１ｎ）および各特徴点に対する重みｗ_ｎからアフィン変換パラメータＡを推定する。アフィン変換パラメータＡは、同次座標で表現した特徴点座標ｐ＝（ｕ_１ｎ，ｖ_１ｎ，１）、ｑ＝（ｕ_２ｎ，ｖ_２ｎ，１）および各特徴点の重みｗ_ｎを用いて式４で導出する。Ｗはｗ_ｎを対角成分とした対角行列である。初回の幾何変換パラメータ推定時には、ｗ_ｎ＝１としてアフィン変換パラメータを推定する。

制御部５０５は、アフィン変換パラメータの再推定を行うかどうかを制御する。本実施形態では、アフィン変換パラメータの推定回数を例えば２回と設定し、２回目のアフィン変換パラメータが推定されたならば画像生成の処理を行うように構成する。

誤差計算部５０３は、推定部５０２で推定したアフィン変換パラメータＡによって基準となる特徴点（ｕ_１ｎ，ｖ_１ｎ）を変換した特徴点（ｕ_１ｎ’，ｖ_１ｎ’）と、画像Ｉ上の特徴点（ｕ_２ｎ，ｖ_２ｎ）との誤差を計算する。変換後の特徴点（ｕ_１ｎ’，ｖ_１ｎ’）は、同次座標で表現した特徴点座標ｐ’＝（ｕ_１ｎ’，ｖ_１ｎ’，１）を用いて式２により導出できる。

このとき、正確な位置特定がされる特徴点、すなわち、顔画像で言うところの目や口や鼻や眉の端などの、テクスチャの曲線あるいは直線の角部や終点部に存在する特徴点の場合には、変換後の特徴点（ｕ_１ｎ’，ｖ_１ｎ’）と画像Ｉ上の特徴点（ｕ_２ｎ，ｖ_２ｎ）とのＸ方向とＹ方向それぞれの誤差（ｕ_１ｎ’−ｕ_２ｎ，ｖ_１ｎ’−ｖ_２ｎ）を算出する。

一方、正確な位置特定がされない特徴点、すなわち、顔画像で言うところの顔の輪郭や鼻筋などの、テクスチャのエッジ上、すなわち、曲線や直線の途中に存在する特徴点の場合には、隣接する特徴点（ｕ_２ｎ，ｖ_２ｎ）と（ｕ_２ｎ＋１，ｖ_２ｎ＋１）および（ｕ_２ｎ−１，ｖ_２ｎ−１）をつないだ線分Ｌ_１、Ｌ_２と、変換後の特徴点（ｕ_１ｎ’，ｖ_１ｎ’）との誤差を算出する。具体的には、線分Ｌ_１、Ｌ_２のうち、変換後の特徴点（ｕ_１ｎ’，ｖ_１ｎ’）から垂線が下ろせる方の線分と、（ｕ_１ｎ’，ｖ_１ｎ’）から下ろす垂線との、交点Ｍ＝（ｕ_２ｍ，ｖ_２ｍ）との誤差（ｕ_１ｎ’−ｕ_２ｍ，ｖ_１ｎ’−ｖ_２ｍ）を算出する（図７）。

なお、線分Ｌ_１、Ｌ_２のどちらにも垂線が下ろせる場合には垂線の長さが短い方の誤差を採用する。線分Ｌ_１、Ｌ_２のどちらにも垂線が下ろせない場合には変換後の特徴点（ｕ_１ｎ’，ｖ_１ｎ’）と画像Ｉ上の特徴点（ｕ_２ｎ，ｖ_２ｎ）との誤差を採用する。

重み計算部５０４は、前記誤差計算部５０３で得た各特徴点の誤差をもとにして、各特徴点がアフィン変換パラメータの推定に寄与する割合（重み）を算出する。重みを設定するための重み関数には、Ｍ推定法で用いられるｂｉｗｅｉｇｈｔの重み関数を用い、重みをゼロとする閾値を誤差分布の標準偏差の３倍に設定する。

画像生成部５０６は、前記推定部５０２で推定されたアフィン変換パラメータＡにもとづいて補正画像Ｉ’を生成する。生成する補正画像の画素インデックスをアフィン変換パラメータＡで変換すると、生成する補正画像の画素に対応する原画像の画像座標を算出できるので、生成する補正画像の画素分だけ処理を繰り返し、画素を埋めていけば、図９に示すような補正画像Ｉ’が生成できる。
［効果の説明］
本実施形態によれば、顔の輪郭上の特徴点のように、位置を特定することが難しい特徴点を画像補正パラメータ推定に有効に活用できるようになり、良好な補正画像を生成する画像補正技術が提供される。すなわち、本実施形態によれば、画像の補正精度が向上する。その理由は、曲線上に存在する正確な位置の特定が難しい特徴点を幾何変形パラメータの推定に有効に利用できるようになるためである。また、補正の際の利便性が向上する。その理由は、これまでは対応点として利用できなかったような特徴点を、正確な位置を定めなくても対応点として利用できるようになるためである。

本発明は上記実施形態に限定されることなく、特許請求の範囲に記載した発明の範囲内で、種々の変形が可能であり、それらも本発明の範囲内に含まれるものであることはいうまでもない。また、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

付記
（付記１）
一方の画像の特徴点と他方の画像の特徴点との対応関係から幾何変形パラメータを推定する推定手段と、前記幾何変形パラメータによって変換した前記一方の画像の特徴点と、前記他方の画像の特徴点との、誤差の算出方法を前記特徴点の種類によって選定する選定手段と、選定した前記算出方法にもとづいて前記誤差を算出する誤差算出手段と、算出した前記誤差にもとづいて前記特徴点が前記幾何変形パラメータに寄与する割合を算出する寄与率算出手段と、算出した前記寄与する割合にもとづいて前記幾何変形パラメータを更新して補正画像を生成する画像生成手段と、を備えた画像補正装置。
（付記２）
前記特徴点の種類は、位置の特定がされる種類の特徴点と、位置の特定がされない種類の特徴点である、付記１記載の画像補正方法。
（付記３）
前記選定手段は、位置の特定がされる種類の特徴点の場合には、前記幾何変形パラメータによって変換した一方の画像の特徴点と、前記他方の画像の特徴点と、の距離を算出する算出方法を選定する、付記１または２に記載の画像補正装置。
（付記４）
前記選定手段は、位置の特定がされない種類の特徴点の場合には、前記幾何変形パラメータによって変換した一方の画像の特徴点と、前記他方の画像の特徴点と、前記他方の画像の特徴点と同一の曲線上または直線上に配置されている前記他方の画像の特徴点と隣接する特徴点と、を結んだ線分と、の距離を算出する算出方法を選定する、付記１または２に記載の画像補正装置。
（付記５）
前記幾何変形パラメータによって変換した一方の画像の特徴点と前記線分との距離は、前記幾何変形パラメータによって変換した一方の画像の特徴点と、前記幾何変形パラメータによって変換した一方の画像の特徴点から前記線分へ下ろした垂線と前記線分との交点と、の距離である、付記４に記載の画像補正装置。
（付記６）
前記誤差算出手段は、前記幾何変形パラメータによって変換した一方の画像の特徴点から前記線分へ、垂線を下ろせるか否かを判定する、付記４に記載の画像補正装置。
（付記７）
前記誤差算出手段は、前記幾何変形パラメータによって変換した一方の画像の特徴点から複数の前記線分へ垂線が下ろせる場合、前記垂線の長さが最も短い前記線分との距離を算出する、付記４に記載の画像補正装置。
（付記８）
前記誤差算出手段は、前記幾何変形パラメータによって変換した一方の画像の特徴点から前記線分へ垂線が下ろせない場合、前記幾何変形パラメータによって変換した一方の画像の特徴点と前記他方の画像の特徴点との距離を算出する、付記４に記載の画像補正装置。
（付記９）
前記距離は、Ｘ−Ｙ座標のＸ軸およびＹ軸のそれぞれを算出する、付記１から８の内の１項記載の画像補正装置。
（付記１０）
前記一方の画像の特徴点を格納する記憶手段を有し、前記記憶手段から前記一方の画像の特徴点を供給する、付記１から９の内の１項記載の画像補正装置。
（付記１１）
前記位置の特定がされる種類の特徴点は、曲線上あるいは直線上の、角部あるいは終点部を含む、付記２から１０の内の１項記載の画像補正装置。
（付記１２）
前記位置の特定がされる種類の特徴点は、顔の眉、目、鼻、口を含む、付記２から１０の内の１項記載の画像補正装置。
（付記１３）
前記位置の特定がされない種類の特徴点は、曲線上あるいは直線上の、途中点を含む、付記２から１０の内の１項記載の画像補正装置。
（付記１４）
前記位置の特定がされない種類の特徴点は、顔の輪郭、鼻筋を含む、付記２から１０の内の１項記載の画像補正装置。
（付記１５）
一方の画像の特徴点と他方の画像の特徴点との対応関係から幾何変形パラメータを推定し、
前記幾何変形パラメータによって変換した前記一方の画像の特徴点と、前記他方の画像の特徴点と、の誤差の算出方法を前記特徴点の種類によって選定し、選定した前記誤差の算出方法にもとづいて前記誤差を算出し、算出した前記誤差にもとづいて前記特徴点が前記幾何変形パラメータに寄与する割合を算出し、算出した前記寄与する割合にもとづいて前記幾何変形パラメータを更新して補正画像を生成する、画像補正方法。
（付記１６）
前記特徴点の種類は、位置の特定がされる種類の特徴点と、位置の特定がされない種類の特徴点である、付記１５記載の画像補正方法。
（付記１７）
一方の画像の特徴点と他方の画像の特徴点との対応関係から幾何変形パラメータを推定する処理と、前記幾何変形パラメータによって変換した前記一方の画像の特徴点と、前記他方の画像の特徴点と、の誤差の算出方法を前記特徴点の種類によって選定する処理と、選定した前記誤差の算出方法にもとづいて前記誤差を算出する処理と、算出した前記誤差にもとづいて前記特徴点が前記幾何変形パラメータに寄与する割合を算出する処理と、算出した前記寄与する割合にもとづいて前記幾何変形パラメータを更新して補正画像を生成する処理と、を実行させる画像補正プログラム。
（付記１８）
前記特徴点の種類は、位置の特定がされる種類の特徴点と、位置の特定がされない種類の特徴点である、付記１７記載の画像補正プログラム。

１００、３００、５００ 画像補正装置
１０１、３０１、５０１ 特徴点検出部
１０２、３０２、５０２ 推定部
１０３、３０３、５０３ 誤差計算部
１０４、３０４、５０４ 重み計算部
１０５ 再推定部
３０５、５０５ 制御部
１０６、３０６、５０６ 画像生成部
５０７ 記録部
１０３１ 座標変換部
１０３２ 選定部
１０３３ 誤差算出部

Claims (10)

1. 一方の画像の特徴点と他方の画像の特徴点との対応関係から幾何変形パラメータを推定する推定手段と、
   前記幾何変形パラメータによって変換した前記一方の画像の特徴点と、前記他方の画像の特徴点との、誤差の算出方法を前記特徴点の種類によって選定する選定手段と、
   選定した前記算出方法にもとづいて前記誤差を算出する誤差算出手段と、
   算出した前記誤差にもとづいて前記特徴点が前記幾何変形パラメータに寄与する割合を算出する寄与率算出手段と、
   算出した前記寄与する割合にもとづいて前記幾何変形パラメータを更新して補正画像を生成する画像生成手段と、を備えた画像補正装置。
2. 前記特徴点の種類は、位置の特定がされる種類の特徴点と、位置の特定がされない種類の特徴点である、請求項１記載の画像補正方法。
3. 前記選定手段は、位置の特定がされる種類の特徴点の場合には、
   前記幾何変形パラメータによって変換した一方の画像の特徴点と、
   前記他方の画像の特徴点と、
   の距離を算出する算出方法を選定する、請求項１または２に記載の画像補正装置。
4. 前記選定手段は、位置の特定がされない種類の特徴点の場合には、
   前記幾何変形パラメータによって変換した一方の画像の特徴点と、
   前記他方の画像の特徴点と、前記他方の画像の特徴点と同一の曲線上または直線上に配置されている前記他方の画像の特徴点と隣接する特徴点と、を結んだ線分と、
   の距離を算出する算出方法を選定する、請求項１または２に記載の画像補正装置。
5. 前記幾何変形パラメータによって変換した一方の画像の特徴点と前記線分との距離は、
   前記幾何変形パラメータによって変換した一方の画像の特徴点と、
   前記幾何変形パラメータによって変換した一方の画像の特徴点から前記線分へ下ろした垂線と前記線分との交点と、
   の距離である、請求項４に記載の画像補正装置。
6. 前記誤差算出手段は、前記幾何変形パラメータによって変換した一方の画像の特徴点から複数の前記線分へ垂線が下ろせる場合、前記垂線の長さが最も短い前記線分との距離を算出する、請求項４に記載の画像補正装置。
7. 前記誤差算出手段は、前記幾何変形パラメータによって変換した一方の画像の特徴点から前記線分へ垂線が下ろせない場合、前記幾何変形パラメータによって変換した一方の画像の特徴点と前記他方の画像の特徴点との距離を算出する、請求項４に記載の画像補正装置。
8. 前記一方の画像の特徴点を格納する記憶手段を有し、前記記憶手段から前記一方の画像の特徴点を供給する、請求項１から７の内の１項記載の画像補正装置。
9. 一方の画像の特徴点と他方の画像の特徴点との対応関係から幾何変形パラメータを推定し、
   前記幾何変形パラメータによって変換した前記一方の画像の特徴点と、前記他方の画像の特徴点と、の誤差の算出方法を前記特徴点の種類によって選定し、
   選定した前記誤差の算出方法にもとづいて前記誤差を算出し、
   算出した前記誤差にもとづいて前記特徴点が前記幾何変形パラメータに寄与する割合を算出し、
   算出した前記寄与する割合にもとづいて前記幾何変形パラメータを更新して補正画像を生成する、画像補正方法。
10. 一方の画像の特徴点と他方の画像の特徴点との対応関係から幾何変形パラメータを推定する処理と、
    前記幾何変形パラメータによって変換した前記一方の画像の特徴点と、前記他方の画像の特徴点と、の誤差の算出方法を前記特徴点の種類によって選定する処理と、
    選定した前記誤差の算出方法にもとづいて前記誤差を算出する処理と、
    算出した前記誤差にもとづいて前記特徴点が前記幾何変形パラメータに寄与する割合を算出する処理と、
    算出した前記寄与する割合にもとづいて前記幾何変形パラメータを更新して補正画像を生成する処理と、を実行させる画像補正プログラム。

Images