JP2008217526A - 画像処理装置、画像処理プログラム及び画像処理方法 - Google Patents

Abstract

【課題】多くの動きに対応し、簡易な処理により画像間の幾何変形を表す情報を得られる画像処理装置を提供する。
【解決手段】画像処理装置は、画像間における動きを検出するための動き検出点を選択し、該動き検出点での局所動きベクトルである第１の動きベクトルを求める第１の処理部１０５ａと、第１の動きベクトルに基づいて、並進、拡大縮小及び回転の代表動きである第１の代表動きを求める第２の処理部１０５ｂと、第１の動きベクトルから該第１の代表動きの成分を除去して第２の動きベクトルを求める第３の処理部１０５ｃと、第２の動きベクトルからあおりによる局所動きを求める第４の処理部１０５ｄと、該局所あおり動きからあおりの代表動きである第２の代表動きを求める第５の処理部１０５ｄとを有する。
【選択図】図７

Description

本発明は、動画撮像時における撮像装置と被写体間の相対的な動きにより生じるフレーム画像間での幾何変形に関する情報を得る画像処理装置、画像処理プログラム及び画像処理方法に関する。

ビデオカメラ等の撮像装置において、手振れ等のカメラ振れによる画像の振れを補正する技術に関して種々の方式が提案されている。特に、画像から動き情報を検出し、電子的に画像の動き補正を行ういわゆる電子防振は、安価な画像振れ補正技術の実現手法として重要である。

また、画像から動きを検出する技術に関しても様々な方式が存在する。そのうちの１つとして、動画像を構成するフレーム画像間において複数の動きベクトルを検出し、それらの動きベクトルから画面全体を代表する動き情報（代表動き）を求める画像処理方法が、特許文献１にて提案されている。

ここで「動きベクトル」とは、画像中の局所的な特徴点（注目点ともいう：多くの場合、注目ピクセルに相当する）が隣接フレーム画像間もしくは間隔があいたフレーム画像間でどの方向にどれだけ変位したかを表すベクトル量である。該動きベクトルは、ローカルモーションとも呼ばれる。

また、本明細書中にいう「動き」は、撮像装置と被写体間の相対的な位置変化等に起因して生じるフレーム画像間の幾何的な変形（幾何変形）を表す量である。言い換えれば、画像の大局的な見えの変化を表し、グローバルモーションとも呼ばれる。

幾何変形は、その性質毎に分類される。幾何変形には、並進（水平及び垂直）、拡大縮小、回転、せん断、及びあおり（foreshortening）（水平及び垂直）がある。被写体が単一の剛体である場合、撮像装置と被写体間の相対的な位置変化によって生じる画像間の変化は、全てこれらの動きに対応する。したがって、画像内の各部位に生じた局所的な変位量である局所動きベクトルは、動きを打ち消すように画像補正を行うことにより、すべて打ち消される。

また、局所動きベクトルは、動きに対して位置により変化する値となる。動きは動きベクトルを位置により規格化した値とも言える。

特許文献１にて開示された画像補正手法について説明する。該手法は大きく分けて４つのステップにより構成される。

まず、第１のステップでは、図２に示すように、局所動きを検出する動き検出点（特徴点）３２を、画像３１の中心に対して点対称となるように同心円状に複数配置する。黒丸が特徴点３２を示すである。

次に、第２のステップでは、特徴点ごとに局所動きベクトルを算出する。

そして、図３に示すように、画像８１中のある特徴点８２の局所動きベクトルと、その特徴点８２と点対称の特徴点８３の局所動きベクトルとの間で演算を行う。具体的には、まず互いに円対称の特徴点８２，８３の局所動きベクトル間で同方向に向かう成分と反対向きの成分とに分ける。次に、反対向きの成分を、さらに放射方向の成分と接線方向の成分とに分ける。

ここでは、並進、拡大縮小及び回転による特徴点の座標変化が次式（１）のように表されるとする。

この場合、同方向成分、つまり並進（水平及び垂直）の動き成分がｃとｄに対応する。また、反対向き成分のうち放射方向成分がａに、接線方向成分がｂに対応する。反対方向成分は、回転と拡大縮小の混合された動き成分である。このように、点対称の２つの特徴点の組のそれぞれから並進、拡大縮小及び回転の動きに関連するパラメータａ，ｂ，ｃ，ｄが求められる。

ａ，ｂ，ｃ，ｄからは簡単な処理により、純粋な並進、拡大縮小及び回転のパラメータに変換可能である。これらの動き情報は、局所的な動きベクトルから算出されるため、局所動き（情報）という。

ただし、このようにして求められた複数の特徴点の組に対応するパラメータセットには、誤差や離散化、及びマッチング精度の影響により、値にばらつきが生じている。

第４のステップでは、複数求まった並進、拡大縮小及び回転に関連する局所動きに関係するパラメータａ，ｂ，ｃ，ｄについて、ばらつきの重心に対応する代表パラメータＡ，Ｂ，Ｃ，Ｄを１つ求める。ここでは、図４Ａ及び図４Ｂに示すように、パラメータの頻度分布（ヒストグラム）５１をガウス関数５３でコンボリューションし、コンボリューションされた頻度分布５２の中で積算値が最大となったパラメータを代表値として選択する。以上の処理により、並進、拡大縮小及び回転に関連する代表動きのパラメータＡ，Ｂ，Ｃ，Ｄを得ることができる。

この方法により、動画像のフレーム画像間での水平及び垂直方向の並進、拡大縮小及び回転を、複数の局所動きベクトル対のそれぞれに対する簡単な演算で算出することができる。

また、誤ベクトル（outlierとも称される）が含まれる場合でも、複数の動き情報が求まっているため、ヒストグラムを用いた単純な処理により誤ベクトルの影響を排除した画面全体を代表する動き情報を算出することが可能である。このような方法で動き情報を求めることにより、低負荷でロバストな処理の実現が可能である。

一方、並進、拡大縮小及び回転の動きに加え、あおりのような画像間の幾何変形の情報を求めたい場合がある。あおりとは、撮像装置と被写体間の相対的な動きにより生じる幾何変形のうち、視軸を傾けたときに支配的に生じる変化に相当する。また、別の言い方をすれば、一般的な動きから、並進、拡大縮小、回転及びせん断を除いた変化である。

図５Ｂは、水平のある一方向に、撮像装置の視軸を被写体に対し相対的に傾けた結果生じる幾何変形（被写体の見えの変化）と局所動きベクトルとを表した図である。また、別の方向に視軸を傾けた場合、線対称な幾何変形と局所動きベクトルが生じる。また、垂直方向に視軸をずらした場合にも、あおりが支配的に生じる。

また、画像間の動きを求める別の方法として、画像フレーム間の対応する点の複数の動きベクトル情報を入力とし、最小二乗法で線形式を解くことにより、フレーム画像間の動き情報を求める方法が非特許文献１にて開示されている。

この方法によれば、フレーム画像間の水平及び垂直方向での並進、拡大縮小、回転及びせん断、さらにはあおりの動きまで算出することができる。ただし、誤ベクトルが含まれる場合は、ＲＡＮＳＡＣやＬＭｅｄｓ等に代表される高負荷で手間のかかるロバスト算出法を導入しなければ、誤ベクトルの影響を排除した画像全体を代表する動き情報を算出することができない。
特開２００５−２６９４１９号公報 Multiple View Geometry,R.Hartley,A.Zisserman,Campridge Press(2000)

しかしながら、特許文献１にて開示された方法では、撮像装置と被写体間の動きのうち、モデリング可能な動きが並進、拡大縮小及び回転の動きに限定されている。このため、あおりのような大きな動きの際に生じる想定外の動きが含まれる場合に対応できない。

一方、非特許文献１にて開示された手法は、被写体を平面チェックボードとするような、局所動きベクトルの間違い（誤ベクトルを）生じにくい実験室的な条件で用いる場合に適している。すなわち、撮像装置と被写体間のあらゆる動きによって起こり得るフレーム画像間の幾何変形の全てをモデリング可能である。しかし、フレーム画像間で検出される複数の動きベクトル情報に誤ベクトルが含まれるような実際的な環境の場合には、その影響を排除するために上記ロバスト算出法を導入しなければならない。

本発明は、より多くの動きに対応し、簡易な処理により画像間の幾何変形を表す情報を得ることが可能な画像処理装置、画像処理プログラム及び画像処理方法を提供する。

本発明の一側面としての画像処理装置は、画像間における動きを検出するための動き検出点を選択し、該動き検出点での局所動きベクトルである第１の動きベクトルを求める第１の処理部と、第１の動きベクトルに基づいて、並進、拡大縮小及び回転の代表動きである第１の代表動きを求める第２の処理部と、第１の動きベクトルから該第１代表動きの成分を除去して第２の動きベクトルを求める第３の処理部と、第２の動きベクトルからあおりの局所動きを求める第４の処理部と、該局所あおり動きからあおりの代表動きである第２の代表動きを求める第５の処理部とを有することを特徴とする。

なお、上記画像処理装置を備えた撮像装置も本発明の他の側面を構成する。

また、本発明の他の側面としての画像処理プログラム及び画像処理方法は、画像間における動きを検出するための動き検出点を選択し、該動き検出点での局所動きベクトルである第１の動きベクトルを求める第１のステップと、第１の動きベクトルに基づいて、並進、拡大縮小及び回転のうち少なくとも１つの代表動きである第１の代表動きを求める第２のステップと、第１の動きベクトルから該第１代表動きの成分を除去して第２の動きベクトルを求める第３のステップと、第２の動きベクトルからあおりの局所動きを求める第４のステップと、該局所あおり動きからあおりの代表動きである第２の代表動きを求める第５のステップとを有することを特徴とする。

本発明によれば、並進、拡大縮小、回転及びあおりを含む画像間の幾何変形を表す情報を簡易な処理で生成することができる。

以下、本発明の好ましい実施例について、図面を参照しながら説明する。

図７には、本発明の実施例であるビデオカメラ、デジタルスチルカメラ等の動画撮影が可能な撮像装置の構成を示している。

同図において、１０１は撮像光学系、１０２は撮像光学系１０１により形成された被写体像を光電変換する撮像素子である。

１０３は撮像素子１０２からの信号を処理するカメラ信号処理部である。カメラ信号処理部１０３は、撮像素子からの信号に対して、色差／輝度分離、鮮鋭化、ホワイトバランス調整、黒レベル調整及び符号／複合化等の処理を施してフレーム画像により構成される動画像を生成する。撮像素子１０２及びカメラ信号処理部１０３により撮像系が構成される。

１０４はワークメモリである。ワークメモリ１０４は、後述する動き演算のためにフレーム画像を保存する。

１０５は第１〜第６の処理部１０５ａ〜１０５ｂを含む動き情報検出部である。動き情報検出部１０５は、ワークメモリ１０４に保存されたフレーム画像とカレントフレーム画像との間での動き情報を算出する。動き情報検出部１０５は、画像処理装置に相当する。

第１の処理部１０５ａは、フレーム画像間における動きを検出するための動き検出点を選択し、該動き検出点での局所動きベクトルである第１の動きベクトルを求める。第２の処理部１０５ｂは、該第１の動きベクトルに基づいて、並進、拡大縮小及び回転の代表動きである第１の代表動きを求める。第３の処理部１０５ｃは、第１の動きベクトルから第１の代表動きの成分を除去して第２の動きベクトルを求める。第４の処理部１０５ｄは、第２の動きベクトルからあおりの局所動き（局所あおり動き）を求める。第５の処理部１０５ｅは、局所あおり動きからあおりの代表動きである第２の代表動きを求める。さらに、第６の処理部１０５ｆは、第１及び第２の代表動きを合成する。

ただし、第１〜第６の処理部１０５ａ〜１０５ｆは互いに独立した形で設けられている訳ではなく、動き情報検出部１０５を構成するマイクロコンピュータと後述する画像処理プログラムとによって一体のものとして構成されている。

１０６は撮像装置全体を総合的に制御するマイクロコンピュータによって構成されたシステム制御部である。

１０７は動き補正部であり、動き情報検出部１０５により求められたフレーム画像間の動き情報に基づいて電子防振処理を行う。具体的には、撮像素子１０２の全有効画素を用いて生成された画像からのフレーム画像の切り出し範囲を動き情報に基づいてシフトさせる。これにより、像振れが抑制された動画像が得られる。

１０８は不図示の各種操作部材の操作に応じてシステム制御部１０６に操作信号を入力する操作信号入力部である。操作部材としては、機能選択ボタン、設定ボタン、撮影開始及び終了ボタンが含まれる。なお、操作信号入力部１０８としてタッチパネル式表示素子を用い、後述する表示部と一体としてもよい。

１０９は液晶ディスプレイ等の表示素子により構成される表示部である。該表示部１０９には、撮像された動画像や各種動作モードの設定状態等が表示される。

１１０は画像データを半導体メモリ、光ディスク、磁気テープ等の記録媒体に記録する記録部である。

次に、図１を用いて、動き情報検出部１０５でのフレーム画像間の幾何変形算出のための処理について説明する。この処理は、マイクロコンピュータとしての動き情報検出部１０５が、その内部に格納されたコンピュータプログラム（画像処理プログラム）に従って実行する。なお、図１のフローチャートは、画像処理方法を示すものでもある。

ステップＳ１０１では、該処理の実行が指示されている（ＯＮ）か否かを確認する。ＯＦＦである場合は本処理を終了し、ＯＮである場合はステップＳ１０２に進む。

ステップＳ１０２では、隣接する又は１フレーム以上間隔をあけた２つのフレーム画像（以下、動き検出画像という）間の局所動きベクトル（第１の動きベクトル）を算出する。本実施例では、動き検出画像である２つのフレーム画像のうち、一方を基準画像とし、他方を探索画像としてブロックマッチングを行う。

具体的には、まず、図２に示したように、基準画像３１において、該画像３１の中心に対して相互に点対称となるように複数組の特徴点（動き検出点）３２を選択する。該複数組の特徴点３２は、画像３１の中心を中心とした同心円状（円対称）に配置される。

図８には、ブロックマッチングの例を示す。図中の左側の画像８０１が基準画像であり、右側の画像８０２が探索画像である。図では、基準画像８０１中に複数の特徴点８４をグリッド状に配置しているが、実際には、図２に示すように同心円状に配置される。

ブロックマッチングでは、基準画像８０１中の任意の特徴点（注目画素）８０４を中心とした特定サイズの部分領域をテンプレート８０３とする。そして、探索画像８０２中に任意に設定された探索領域８０７内で候補領域８０６を順次移動させながら、テンプレート８０３と最も合致する候補領域の位置を探索する。具体的には、探索画像８０２中における特徴点８０４に対応する画素８０５を基準とした候補領域８０６と、基準画像８０１のテンプレート８０３との類似度を計算する。類似度の指標としては、ＳＳＤ(Sum of Square Difference)、ＳＡＤ(Sum of Absolute Difference)及び正規相互相関等が用いられる。

候補領域８０６の類似度を一通り算出した結果、最も類似度の高い位置を対応位置とみなし、特徴点８０４から対応画素８０５への動きを示す局所動きベクトルを算出する。オクルージョンがなければ、基準画像８０１上で設定した特徴点８０４の数だけ局所動きベクトルが算出される。すなわち、複数の特徴点８０４が設定されれば、複数の局所動きベクトルが算出される。

次に、ステップＳ１０３では、動き検出画像間での並進、拡大縮小及び回転による代表動き（第１の代表動き）を算出する。

背景技術でも説明したように、まず図３に示す円対称の位置の特徴点８２，８３の動きベクトルを同方向に向かう成分と反対向きの成分とに分ける。

図９には、ステップＳ１０２で局所動きベクトルが算出された複数の特徴点のうち、任意の点対称の特徴点（図中の太い丸）の組とそれら特徴点に対して算出された局所動きベクトル（図中の太い矢印）を示している。また、図１０Ａ〜１０Ｄには、該特徴点の組での並進、拡大縮小及び回転による代表動きを示している。

上記特徴点の組の局所動きベクトルを、差分演算及び加算演算によって、同方向に向かう成分と反対向きの成分とに分ける。図１０Ａには、図９の局所動きベクトルから抽出された同方向に向かう成分を示している。図１０Ｂには、図９の局所動きベクトルから抽出された反対向きの成分を示している。

次に、図１０Ｂに示す反対向きの成分を、画像の中心を中心とした放射方向の成分と該放射方向に直交する方向である接線方向成分とに分ける。図１０Ｃには放射方向成分を、図１０Ｄには接線方向成分を示している。

これらの単純な処理により、上記点対称の特徴点の組での並進、拡大縮小及び回転に関連する局所動きを表すパラメータａ，ｂ，ｃ，ｄが算出される。ａ，ｂ，ｃ，ｄは、上述した式（１）のパラメータである。

図１１には、図９に示した動きベクトルから、並進、拡大縮小及び回転の局所動きを算出する過程をまとめて示す。

図１１の上段には、図９と同じ図を示している。図１１の中段には、図１０Ａと図１０Ｂと同じ図を示している。図１１の下段において、ａが図１０Ｃに示す放射方向成分に対応し、ｂが図１０Ｄに示す接線方向成分に対応する。放射方向成分及び接線方向成分はそれぞれ、拡大縮小及び回転による動き成分である。また、ｃ，ｄがそれぞれ、図１０Ａに示した同方向成分から分けられた、並進の垂直方向及び水平方向の動き成分を示す。

次に、複数の特徴点の組に対してそれぞれ求められた並進、拡大縮小及び回転に関連するパラメータａ，ｂ，ｃ，ｄのそれぞれについて、ばらつきの重心を求める。パラメータａ，ｂ，ｃ，ｄのばらつきの重心とは、各パラメータの頻度分布（ヒストグラム）の最大頻度位置に対応するパラメータである。そして、最大頻度位置に対応するパラメータａ，ｂ，ｃ，ｄを、並進、拡大縮小及び回転の代表動き（第１の代表動き）を表すパラメータＡ，Ｂ，Ｃ，Ｄとして求める。

ここでは、図４Ａ及び図４Ｂに示したように、ヒストグラムをガウス関数でコンボリューションすることにより、頻度分布の中での積分値が最大となったパラメータを代表動きパラメータＡ，Ｂ，Ｃ，Ｄとして選択する。ガウス関数は、単一のピークと広がりを持つ関数であるが、コンボリューションはガウス関数以外の単一のピークと広がりを持つ関数を用いて行ってもよい。また、代表動きとは、パラメータＡ，Ｂ，Ｃ，Ｄで表現される幾何変形の量である。

ステップＳ１０４では、各特徴点の局所動きベクトルから、並進、拡大縮小及び回転の代表動きの成分を除去する。ここでは、ステップＳ１０２で求められた局所動きベクトルを［ｘ，ｙ，１］と表現する。そして、この局所動きベクトル［ｘ，ｙ，１］に対し、ステップＳ１０３で算出した並進、拡大縮小及び回転の代表動きを打ち消すように逆変換を行う。具体的には、以下に示す逆行列［式（２）］を適用する。

図１２Ａ〜１２Ｃには、代表動き除去の過程を示す。図１２Ａには、ステップＳ１０２において求められたある点対称の２つの特徴点での局所動きベクトルを表す。図１２Ｂには、該局所動きベクトルからステップＳ１０３で求められた並進、拡大縮小及び回転の代表動きを、再度図１２Ａに示す特徴点での局所動きベクトルに変換して示している。

図１２Ｃには、代表動き成分の除去処理によって図１２Ａの局所動きベクトルから図１２Ｂの代表動きに相当する局所動きベクトルを除去して求められる、あおり及びせん断による局所動きベクトル（第２の動きベクトル）を示す。

ステップＳ１０５では、ステップＳ１０４にて並進、拡大縮小及び回転の代表動きの成分が除去された局所動きベクトルから局所あおり動きを算出する。

並進、拡大縮小及び回転の代表動きの成分が除去された場合、空間中の平面の動きを観察する像には、図５Ａに示すせん断と図５Ｂに示すあおりが生じ得る。せん断は、撮像光学系の光軸に対して垂直な方向についての撮像装置の移動が大きい場合に、被写体の向きに関連して生じる画像の動きである。ただし、せん断の動き情報は、画像の幾何変形情報を防振に用いる場合には不要な情報であるので、本実施例では推定を行わない。

一方、局所あおり動きの情報は、誤差情報として扱う。局所あおり動きは、図６に示されるように、並進、拡大縮小及び回転を求める際に用いた円対称の２つの特徴点（Select）３２での並進、拡大縮小及び回転の代表動きが除去された局所動きベクトルを用いて推定する。この際、図６中の画像３１内に三角形のグレー領域として示した、水平軸（ｘ軸）及び垂直軸（ｙ軸）を含むそれらの軸に近接した領域内の特徴点（Not Select）での局所動きベクトルは使用しない。

この場合、並進、拡大縮小及び回転の代表動き成分が除去された局所動きベクトルには、あおり動きのみが含まれると考える。あおり動きは、並進、拡大縮小及び回転のようにベクトル演算的に算出できないため、代数的に算出する。下記の式（３）は、ある座標点にあおりに相当する動きのみが生じる際の幾何変形を示す代数式である。式（３）において、ｇ，ｈがあおり動きに関するパラメータである。

この式を変形すると、

となる。ここでｘ′＝ｘ＋ｄｘ，ｙ′＝ｙ＋ｄｙである。これを特徴点の座標と動きベクトルの形に変形すると、

となる。これを２つの特徴点についての方程式とすると、以下の式（４つの式）が成り立つ。

そして、式（６）の左辺第１項の擬似逆行列もしくは一般化逆行列を求め、右辺に乗ずることで、［ｇ，ｈ］を求める。

これにより、各特徴点の組について局所あおり動きの量が算出できる。ここでは、局所的な２点から推定した動き量のひとつとしてのあおりであるため、局所あおり動き量という。

図６で示したように、点対称となる２点の組は、同一円周上や同心円上に多数（無数）存在するので、局所あおり動き量も複数の２点の組について算出する。

また、ここでは１組の２点での局所動きベクトルから局所あおり動き量を算出したが、複数組の２点での局所動きベクトルを用いて、最小二乗法によって１つの局所あおり動き量を算出してもよい。

ステップＳ１０６では、複数算出された局所あおり動きから、ヒストグラムを用いて大小あおり動きを算出する。

ここでも、複数の２点の組で算出された複数の局所あおり動きのばらつきの重心（頻度分布の最大頻度位置）に相当する局所あおり動きを代表値として抽出する。これを代表あおり動き（第２の代表動き）という。

ステップＳ１０７では、ステップＳ１０３で求めた並進、拡大縮小及び回転の代表動きと、ステップＳ１０６で求めたあおりの代表動きとを合成して、扱いやすい形に変換する。具体的には、下記の式（７）〜（９）を用いて幾何学的に変換を行う。

空間中の平面の運動による像の変動は、以下に示すような形で成分分解される。Ｈｓは並進（ｔ）、拡大縮小（ｓ）、回転（Ｒ）の成分であり、Ｈａはせん断の成分である。また、Ｈｐはあおりの成分である。

ステップＳ１０３で求めたａ，ｂ，ｃ，ｄから、

とし、Ｈ＝ＨｓＨｐで示される合成行列を得る。該合成行列は、Ｈａ＝Ｉより、せん断による動き成分を含まない行列である。

そして、画像間の幾何変形を扱う標準的な形式であるホモグラフィを、

（ただし、

は任意の数）
とする。これにより、並進、拡大縮小及び回転の動き情報に加えて、あおりの動き情報を含んだフレーム画像間の動き情報を得ることができる。

ステップＳ１０８では、次のフレーム画像に対する処理を継続するか否かを確認する。継続する場合にはステップＳ１０１に戻って処理を継続する。

以上説明したように、本実施例によれば、簡単な処理により、並進、拡大縮小及び回転だけでなく、あおりの動き情報を含んだフレーム画像間の幾何変形情報を得ることができる。そして、該動き情報を用いて電子防振処理を行うことにより、並進、拡大縮小、回転及びあおりによる画像の動き（像振れ）を抑制した動画像を生成することができる。

上記実施例１では、撮像装置に、画像処理装置としての動き情報検出部を内蔵した場合について説明したが、本発明はこれに限らない。

例えば図１３に示すように、撮像装置１４０１で撮像した画像（フレーム画像）をパーソナルコンピュータ１４０２に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。

そして、パーソナルコンピュータ１４０２において、図１のフローチャートに示した幾何変形算出処理を行ってもよい。この場合、パーソナルコンピュータ１４０２が画像処理装置として機能する。

本発明の実施例の画像処理装置（動き情報検出部）における処理動作を示すフローチャート。 実施例における特徴点の配置を示す図。 実施例における局所動きベクトル間での演算を説明する図。 ヒストグラムに対するコンボリューションを利用した代表値抽出を説明する図。 ヒストグラムに対するコンボリューションを利用した代表値抽出を説明する図。 せん断動きを示す図。 あおり動きを示す図。 実施例における局所あおり動き量の算出方法を説明する図。 実施例１の撮像装置の構成を示すブロック図。 実施例で行われるブロックマッチングを説明する図。 実施例における動き検出点と局所動きベクトルを示す図。 実施例における並進による局所動きを示す図。 実施例における拡大縮小と回転の混合した局所動きを示す図。 実施例における拡大縮小による局所動きを示す図。 実施例における回転による局所動きを示す図。 図９に示した局所動きベクトルから、並進、拡大縮小及び回転の局所動きを算出する過程をまとめて示す図。 図９と同じ動き検出点と局所動きベクトルを示す図。 図１２Ａの局所動きベクトルから求めた並進、拡大縮小及び回転の代表動きを局所動きベクトルに再変換して示す図。 図１２Ａの局所動きベクトルから図１２Ｂの局所動きベクトル（代表動き）を除去したあおり及びせん断による局所動きベクトルを示す図。 本発明の実施例２である画像処理装置を示す図。

符号の説明

１０１ 撮像光学系
１０２ 撮像素子
１０３ カメラ信号処理部
１０４ ワークメモリ
１０５ 動き情報検出部
１０６ システム制御部
１０７ 動き補正部
１０８ 操作信号入力部
１０９ 表示部
１１０ 記録部

Claims (8)

1. 画像間の幾何変形を求める画像処理装置であって、
   前記画像間における動きを検出するための動き検出点を選択し、該動き検出点での局所動きベクトルである第１の動きベクトルを求める第１の処理部と、
   前記第１の動きベクトルに基づいて、並進、拡大縮小及び回転の代表動きである第１の代表動きを求める第２の処理部と、
   前記第１の動きベクトルから該第１の代表動きの成分を除去して第２の動きベクトルを求める第３の処理部と、
   前記第２の動きベクトルからあおりの局所動きを求める第４の処理部と、
   該局所あおり動きからあおりの代表動きである第２の代表動きを求める第５の処理部とを有することを特徴とする画像処理装置。
2. 前記第１の処理部は、画像の中心に対して点対称に配置される複数の前記動き検出点を選択し、該複数の動き検出点における複数の前記第１の動きベクトルを求め、
   前記第２の処理部は、前記複数の第１の動きベクトルから得られた並進、拡大縮小及び回転の局所動きの頻度分布を、単一のピークと広がりを持つ関数でコンボリューションし、該コンボリューションにより得られた最大頻度位置に対応する局所動きを前記第３の処理部での前記第１の代表動きとして用いることを特徴とする請求項１に記載の画像処理装置。
3. 前記第３の処理部は、前記複数の動き検出点での局所あおり動きの頻度分布を、単一のピークと広がりを持つ関数でコンボリューションし、該コンボリューションにより得られた最大頻度位置に対応する局所あおり動きを前記第２の代表動きとして用いることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１及び第２の代表動きを合成する第６の処理部を有することを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
5. 前記第６の処理部は、せん断の動きを合成しないことを特徴とする請求項４に記載の画像処理装置。
6. 被写体像を撮像して画像を生成する撮像系と、
   前記生成された画像間の幾何変形を求める請求項１から５のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
7. コンピュータに画像間の幾何変形を求める処理を実行させる画像処理プログラムであって、
   前記画像間における動きを検出するための動き検出点を選択し、該動き検出点での局所動きベクトルである第１の動きベクトルを求める第１のステップと、
   前記第１の動きベクトルに基づいて、並進、拡大縮小及び回転の代表動きである第１の代表動きを求める第２のステップと、
   前記第１の動きベクトルから該第１の代表動きの成分を除去して第２の動きベクトルを求める第３のステップと、
   前記第２の動きベクトルからあおりの局所動きを求める第４のステップと、
   該局所あおり動きからあおりの代表動きである第２の代表動きを求める第５のステップとを有することを特徴とする画像処理プログラム。
8. 画像間の幾何変形を求める画像処理方法であって、
   前記画像間における動きを検出するための動き検出点を選択し、該動き検出点での局所動きベクトルである第１の動きベクトルを求める第１のステップと、
   前記第１の動きベクトルに基づいて、並進、拡大縮小及び回転の代表動きである第１の代表動きを求める第２のステップと、
   前記第１の動きベクトルから該第１の代表動きの成分を除去して第２の動きベクトルを求める第３のステップと、
   前記第２の動きベクトルからあおりの局所動きを求める第４のステップと、
   該局所あおり動きからあおりの代表動きである第２の代表動きを求める第５のステップとを有することを特徴とする画像処理方法。