JP2008160300A - 画像処理装置及び撮像装置 - Google Patents

Abstract

【課題】歪みを含む画像に対して、歪み低減処理を施さずに像振れの低減処理を行うことができる画像処理装置を提供する。
【解決手段】画像処理装置は、歪みを含む入力画像中の第１画像領域での像振れを検出する振れ検出手段１０９と、振れ検出手段により検出された像振れに基づいて、入力画像中の第２画像領域での像振れに関する振れ情報１１３を生成する振れ情報生成手段と、該振れ情報に基づいて、入力画像に対し、歪みを低減するための画像処理を行うことなく像振れを低減するための画像処理を行う振れ低減処理手段１１４とを有する。
【選択図】図１

Description

本発明は、入力画像に対して座標変換処理を行うことにより、像振れを補正（低減）した出力画像を得るための画像処理技術に関する。

カメラ等の撮像装置において手振れによる画像の振れを補正する方式として、いわゆる電子式振れ補正方式がある。

この電子式振れ補正方式は、画像処理技術を用いて、撮像素子により得られる連続するフレーム画像間の振れ（振れ量及び振れ方向）を検出し、その振れを打ち消すように画像の出力範囲（切り出し範囲）をシフトさせて出力画像を安定化する方式である。

特許文献１には、入力画像の画素毎又は小ブロック毎に最小２乗法を用いて像振れを動きベクトルとして検出し、該動きベクトルから画面全体の振れ補正を行うためのアフィン変換処理のパラメータを算出する電子式振れ補正方法が開示されている。

また、特許文献２には以下の電子式振れ補正方法が開示されている。まず画像上のいくつかの領域における振れを動き量として検出し、それらを用いて画像全体の動きを表す変換係数を算出する。次に、求められた変換係数から画面上の残りの領域における予測動き量を算出する。そして、この予測動き量と実際に画像から検出された動き量とを比較して、誤差が閾値以下のものを同一の動きをしている領域として抽出することにより、精度の高い振れ検出及び振れ補正を可能としている。
特許第２５８６６８６号公報（特許請求の範囲等） 特許第２５０６５００号公報（３頁左上欄３行〜同頁右下欄１８行等）

しかしながら、特許文献１，２において開示された振れ補正方法には、以下のような問題がある。

特許文献１にて開示された方法では、画面全体の振れ量が一様であることを前提としている。このため、本方法を、広角レンズを用いて撮像された画像や魚眼レンズ等の射影方式が透視投影方式ではないレンズを用いて撮像された画像のように歪みが生じている画像に対して適用しても十分な振れ補正精度を得ることができない。

また、特許文献２にて開示された方法でも画像の歪みを考慮していない。歪みを含む領域と含まない領域とでは、同じカメラ振れに対する画像上での見かけの振れが異なる。このため、画像全体の動きを表す変換係数から求められた予測動き量と実際に検出された動き量とを比較しても、どの領域が同一の動きをしているかを正確に判定できず、振れ補正を精度良く行うことができない。

歪みを含む画像に対して振れ補正処理を行う場合、前処理として歪みを含む入力画像に画像変換処理を施して歪みのない画像を生成し、該歪みのない画像上で振れ検出及び振れ補正処理を行い、振れ補正後に元の歪みを含む画像に再変換することも可能である。しかし、このような方法では、計算量が増大し、出力画像の生成速度が低下してしまう。また、画像変換処理を施すことによる画質の劣化も無視できないものとなる。

本発明は、歪みを含む画像に対して、歪み低減処理を施さずに像振れの低減処理を行うことができる画像処理技術を提供することを目的の１つとしている。

本発明の一側面としての画像処理装置は、歪みを含む入力画像中の第１画像領域での像振れを検出する振れ検出手段と、振れ検出手段により検出された像振れに基づいて、入力画像中の第２画像領域での像振れに関する振れ情報を生成する振れ情報生成手段と、該振れ情報に基づいて、入力画像に対し、歪みを低減するための画像処理を行うことなく像振れを低減するための画像処理を行う振れ低減処理手段とを有することを特徴とする。

なお、光学系及び撮像素子を用いて入力画像を生成する撮像系と、上記画像処理装置とを有する撮像装置も本発明の他の側面を構成する。

また、本発明の一側面としての画像処理方法は、歪みを含む入力画像中の第１画像領域での像振れを検出するステップと、振れ検出手段により検出された像振れに基づいて、入力画像中の第２画像領域での像振れに関する振れ情報を生成するステップと、該振れ情報に基づいて、入力画像に対し、歪みを低減するための画像処理を行うことなく像振れを低減するための画像処理を行うステップとを有することを特徴とする。

本発明によれば、歪みを含む画像に対する歪み低減のための画像処理を行わずに、像振れを低減した歪みを含む出力画像を得ることができる。したがって、処理速度が速く、かつ画質劣化が少ない良好な像振れ低減画像が得られる電子式防振機能を実現することができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である撮像装置の構成を示す。この撮像装置は、後述するように撮像系と振れ補正機能を有する画像処理系（画像処理装置）とを含む。

図１において、１０１は被写体からの光束により被写体像を形成する光学系である。１０２は、光学系１０１により形成された被写体像を光電変換するＣＣＤセンサやＣＭＯＳセンサ等の撮像素子である。

１０３は撮像素子１０２から出力された電気信号から映像信号を生成する画像生成部である。画像生成部１０３は、Ａ／Ｄ変換回路１０４、オートゲイン制御回路（ＡＧＣ）１０５及びオートホワイトバランス回路（ＡＷＢ）１０６を含み、デジタル映像信号を生成する。

Ａ／Ｄ変換回路１０４は、アナログ信号をデジタル信号に変換する。ＡＧＣ１０５は、デジタル信号のレベル補正を行う。また、ＡＷＢ１０６は、映像の白レベル補正を行う。

１０７は画像生成部１０３により生成された映像信号の１フレームもしくは複数フレームを一時的に記憶保存するフレームメモリである。

１０８はフレームメモリ１０７に対するフレーム画像の入出力を制御するメモリ制御回路である。以上により撮像系が構成される。以下、画像処理系について説明する。

１０９は振れ検出手段としての振れ解析部であり、隣接するフレーム画像間から、後述する近似領域判定回路１１２により判定された透視投影近似領域における本撮像装置の見かけの振れを検出し、またその動きの傾向を解析する。該振れ解析部１０９は、振れ量検出回路１１０と振れ量解析回路１１１とから構成されている。

１１２は近似領域判定回路（領域判定手段）であり、画像生成部１０３で生成された歪みを含む画像（入力画像）中において透視投影画像に近似可能な画像領域（第１画像領域：以下、透視投影近似領域という）を判定する。

ここで、当然のことであるが、本発明にいう歪みとは、光学系として透視投影方式以外のレンズ、例えば魚眼レンズ等を用いて撮像された魚眼画像や、後述する実施例４で説明するようにズーム光学系の特に広角側を用いて撮像された画像に含まれる大きさを有する歪みをいう。つまり、通常の光学系が有する本来なくするべき収差による微小な歪み（ないとみなせる歪み）までは含まない。

１１３は近似領域判定回路１１２により判定された透視投影近似領域と、振れ解析部１０９にて検出された振れ量とに基づいて、透視投影近似領域の周辺の画像領域（第２画像領域）の振れ量を推定する周辺振れ量推定回路（振れ情報生成手段）である。なお、本実施例にいう「振れ量」には、振れの方向も含まれる。

１１４は振れ解析部１０９により検出された振れ量と周辺振れ量推定回路１１３により推定された推定振れ量（振れ情報）とに基づいて、入力画像に対する振れ補正処理（振れ低減処理）を行う振れ補正回路（振れ低減処理手段）である。

１１５は映像出力回路であり、振れ補正が行われた画像（映像）を不図示のディスプレイに表示したり、半導体メモリや光ディスク、磁気テープなどの記録媒体に記録したりするための出力部を構成する。

１００は撮像素子１０２、画像生成部１０３、メモリ制御回路１０８、振れ解析部１０９、近似領域判定回路１１２、周辺振れ量推定回路１１３、振れ補正回路１１４および映像出力回路１１５を制御するメインコントローラである。メインコントローラ１００は、ＣＰＵ等により構成されている。

以上のように構成された撮像装置の動作（画像処理系の動作）について、図２に示すフローチャートを用いて説明する。

なお、ここで説明する動作は、メインコントローラ１００の不図示のメモリに格納されたコンピュータプログラム（ソフトウェア）にしたがって実行される。このことは、以下の実施例でも同様である。

図２において、ステップＳ２０１では、光学系１０１によって形成された被写体像が撮影素子１０２によって光電変換される。撮像素子１０２は、被写体輝度に応じたアナログ信号を出力し、該アナログ信号は画像生成部１０３に入力される。画像生成部１０３では、Ａ／Ｄ変換回路１０４によってアナログ信号を、例えば１４ビットのデジタル信号に変換する。さらにＡＧＣ１０５及びＡＷＢ１０６によって信号レベル補正や白レベル補正が行われたデジタル映像信号（入力画像としてのフレーム画像）は、フレームメモリ１０７に一時的に記憶される。

本撮像装置では、所定のフレームレートで順次フレーム画像が生成され、フレームメモリ１０７に記憶保持されたフレーム画像は順次、振れ解析部１０９に入力される。また、フレームメモリ１０７に記憶されるフレーム画像も順次更新される。以上の動作は、メモリ制御回路１０８によって制御される。

ステップＳ２０２では、入力されたフレーム画像において、透視投影近似領域が近似領域判定回路１１２によって判定される。

ここで、本実施例における透視投影近似領域の判定方法について説明する。図３には、透視投影画像を示す。また、図４には、入力画像の例として正射影方式の魚眼画像を示す。これらの図において、被写体自体の動きはないものとする。

ここで、透視投影画像３００における像高と画角との関係は、像高をｒ、画角をθ、光学系１０１の焦点距離をｆとすると、
ｒ＝ｆtanθ …（１）
と表される。また、同様に、魚眼画像４００における像高と画角との関係は、像高をｒ′、画角をθ′、光学系１０１の焦点距離をｆ′とすると、
ｒ′＝ｆ′tanθ′ …（２）
と表される。

図３の矢印３０１および３０２は、透視投影画像３００上における見かけの動きベクトルを示す。動きベクトルは、被写体に対する撮像装置の振れに起因した画像上での被写体像の変位とその方向を示す。動きベクトル３０１，３０２の大きさは、画像３００のどの領域でも同じである。

これに対し、図４の矢印４０１および４０２は、魚眼画像４００上における見かけの動きベクトルを示す。魚眼画像４００上においては、画角がより大きい（像高がより高い）領域、つまりは画像４００の外側により近い領域ほど見かけの動きベクトルは大きく歪む。

このように、透視投影画像と魚眼画像では、画像上に表れる見かけの動きベクトルが大きく異なる。このため、魚眼画像に振れ補正（低減）のための画像処理を施す際には、画像の歪みを考慮に入れる必要がある。

しかし、動きベクトル３０１と４０１との比較から分かるように、魚眼画像４００の中心付近の領域（以下、単に中心領域という）においては歪みが小さく、該中心領域の動きベクトル４０１は、透視投影画像上での見かけの動きベクトルとほぼ同じとなる。このため、このような魚眼画像上での見かけの動きベクトルが、透視投影画像での動きベクトルと近似できる領域においては、透視投影画像と同様の画像処理を施すことが可能である。

近似領域判定回路１１２は、このように魚眼画像上の領域でありながら、透視投影画像と同様に扱うことのできる領域を透視投影近似領域として判定し、その判定結果を振れ解析部１０９へ出力する。言い換えれば、魚眼画像における特定の領域を透視投影近似領域とみなす。

本実施例では、入力画像として正射影方式の魚眼画像を例として説明したが、本発明における歪みを含む画像はこれに限定されず、どのような射影方式で得られた歪みを含む画像であってもよい。どのような射影方式で得られた歪みを含む画像に対しても、同様に透視投影近似領域を判定することができる。

また、透視投影近似領域は、必ずしも画像の中心領域でなくてもよく、中心領域を囲む円環状の領域や、中心領域から離れた領域であってもよい。

図２において、ステップＳ２０３では、振れ量検出回路１１０において、連続するフレーム画像間での透視投影近似領域の動きベクトル４０１が検出される。動きベクトルの検出には、テンプレートマッチング法、勾配法等の一般的な検出方法を用いることができ、方法に制限はない。また、ここでの動きベクトルの検出は、透視投影近似領域内の複数の小ブロックにおいて行われる。

振れ量検出回路１１０によって検出された複数ブロックの動きベクトルは、振れ解析回路１１１によって統合され、透視投影近似領域全体の動きを表す代表動きベクトルが生成される。この代表動きベクトルが、透視投影近似領域で検出される検出振れ量（検出振れ情報）となる。

なお、本実施例では、入力画像としてフレーム画像を用いた画像処理演算手法によって振れ量を検出する場合について説明するが、角速度センサ等の振れセンサを用いて振れ量を検出してもよい。

ステップＳ２０４では、周辺振れ量推定回路１１３は、振れ解析部１０９から出力された透視投影近似領域の代表動きベクトルに基づいて、透視投影近似領域外の歪みが大きい周辺領域における見かけの振れ量（動きベクトル）を推定する。

ここで、周辺領域での動きベクトルの推定方法について説明する。画像に歪みが生じている場合には、見かけの動きベクトルの大きさや方向にも歪みが生じるが、その始点と終点の画角位置の差は歪みに係わらず一定である。したがって、透視投影近似領域での動きベクトルをｘ方向及びｙ方向に分解し、それぞれについて始点と終点の画角位置差（つまりは像高差）を算出し、任意の座標点を、算出した画角位置差の分だけ移動させた位置がその座標点の動きベクトルとなる。

以下、より具体的に説明する。まず、画像中心を原点とした場合の任意の座標における画角位置（つまりは像高位置）は、上記（１）式より、
θ＝sin^−１（ｒ／ｆ） …（３）
と表される。

ここで、透視投影近似領域内の動きベクトルの始点の座標を、
Ｒ＝（Ｘ，Ｙ） …（４）
とし、終点の座標を、
Ｒ′＝（Ｘ′，Ｙ′） …（５）
とする。このときの上記２点間の画角位置のｘ方向の差をΔθｘ、ｙ方向の差をΔθｙとすると、
Δθｘ＝sin^−１（Ｘ′／ｆ′）−sin^−１（Ｘ／ｆ）
Δθｙ＝sin^−１（Ｙ′／ｆ′）−sin^−１（Ｙ／ｆ） …（６）
となる。

したがって、動きベクトルの推定を行いたい座標を、
Ｒ″＝（Ｘ″，Ｙ″） …（７）
とすると、その画角位置は、
θｘ＝sin^−１（Ｘ″／ｆ）
θｙ＝sin^−１（Ｙ″／ｆ） …（８）
となる。このため、推定される動きベクトルの終点の座標を、
Ｒ″′＝（Ｘ″′，Ｙ″′） …（９）
とすると、
Ｘ″′＝ｆsin（θｘ−Δθｘ）
Ｙ″′＝ｆsin（θｙ−Δθｙ） …（１０）
と表すことができる。

以上述べたように、透視投影近似領域の動きベクトルと透視投影近似領域に対する周辺領域の画角位置差とを用いて、該周辺領域（画素ごと若しくは小ブロック毎）の動きベクトル（推定振れ量、つまりは推定振れ情報）を推定する。これにより、魚眼画像全体における領域ごとの動きベクトルを得ることができる。

図２において、ステップＳ２０５では、振れ補正回路１１４により、ステップＳ２０３で求めた透視投影近似領域での検出振れ量と、ステップＳ２０４で求めた周辺領域での推定振れ量とを用いて、振れ補正処理としての座標変換処理を行う。具体的には、画素ごと若しくは小ブロック毎の振れを打ち消す方向に画素若しくは小ブロックを移動させることにより、振れ補正後の各画素の座標値を算出し、振れ補正のための座標値変換データを作成する。

そして、作成された座標値変換データに基づいて、フレームメモリ１０７に記憶保持されているフレーム画像に対して座標変換処理を行う。座標変換後の画素値により構成される画像は、振れ補正画像として映像出力回路１１５に出力される。

ステップＳ２０６では、映像出力回路１１５から振れ補正画像がディスプレイ又は記録媒体に出力される。

以上説明したように本実施例では、歪みを含む画像中の透視投影近似領域を判定し、該透視投影近似領域で求められた検出振れ量に基づいて、歪みの大きい周辺領域等の透視投影近似領域外の領域（非近似領域）での見かけの振れ量を推定する。そして、検出振れ量に基づいて透視投影近似領域での振れ補正処理を行い、かつ非近似領域での推定振れ量に基づいて該非近似領域での振れ補正処理を行う。

これにより、歪みを含む入力画像全体を透視投影画像に変換することなく、画像全体の振れ量検出及び振れ補正処理を行うことができる。したがって、処理時間の増大を抑え、かつ画像変換による画質の劣化が生じない良好な振れ補正画像が得られる電子式振れ補正機能を実現することができる。

図５には、本発明の実施例２である撮像装置の構成を示す。本実施例では、入力画像の画角の大きさに応じて透視投影近似領域を判定する。

図５において、図１に示した構成要素と共通する要素については、図１と同符号を付す。

本実施例の撮像装置は、図１に示した構成に加え、入力画像の画角（以下、入力画角という）を検出する入力画角検出回路５１６を有する。なお、図１に示したメインコントローラは、図５では省略している。

以下、本実施例の撮像装置の動作について、図６に示すフローチャートを用いて説明する。

ステップＳ６０１は、実施例１の図２に示したステップＳ２０１と同様である。

ステップＳ６０２では、入力画角検出回路５１６において、光学系１０１を構成するレンズの位置情報や光学系１０１の焦点距離情報に基づいて入力画角が算出される。算出された入力画角は、近似領域判定回路１１２に送られる。

ステップＳ６０３では、近似領域判定回路１１２は、ステップＳ６０１により得られた歪みを含む入力画像と、ステップＳ６０２により得られた入力画角とを用いて、透視投影近似領域の判定を行う。本実施例では、歪みを含む入力画像の画角位置と像高との関係を、透視投影画像の同関係と比較して入力画像中で透視投影画像に近似が可能な透視投影近似領域を判定する。

ここで、図７に透視投影画像における画角位置と像高との関係をグラフ７０１で示す。また、歪みを含む入力画像の例として、正射影方式の魚眼画像での画角位置と像高との関係をグラフ７０２で示す。

図７から分かるように、画角の大きい位置では透視投影画像の像高と魚眼画像の像高との間に大きな差がある。これは、魚眼画像では、画角が大きい位置ほど歪みが大きいためである。これに対して、画角が小さい位置ほど透視投影画像の像高と魚眼画像の像高との間の差が小さくなり、図７中に７０３で示す領域では像高の大きさがほぼ等しくなる。これは、画角が小さいと、透視投影画像と魚眼画像とで画角位置に対する像高の変化の様子が等しくなることを表している。

これにより、領域７０３を、魚眼画像のうち透視投影画像に近似できる透視投影近似領域と判定することができる。透視投影画像及魚眼画像の画角位置と像高との関係（グラフ７０１，７０２に対応するデータ）は近似領域判定回路１１２内の不図示のメモリに記憶されている。ステップＳ６０２により得られた入力画角と領域７０３に対応する入力画角との関係から魚眼画像における透視投影近似領域を判定する。

ステップＳ６０４からＳ６０７はそれぞれ、実施例１の図２に示したステップＳ２０３からＳ２０６と同様である。

以上説明したように、本実施例では、歪みを含む入力画像の画角位置と像高との関係を、透視投影画像の同関係と比較して入力画像中の透視投影近似領域を判定する。さらに、透視投影近似領域にて求められた検出振れ量に基づいて、周辺領域等の非近似領域での見かけの振れ量を推定する。そして、検出振れ量に基づいて透視投影近似領域での振れ補正処理を行い、かつ非近似領域での推定振れ量に基づいて該非近似領域での振れ補正処理を行う。

これにより、歪みを含む入力画像全体を透視投影画像に変換することなく、画像全体の振れ量検出及び振れ補正処理を行うことができる。したがって、処理時間の増大を抑え、かつ画像変換による画質の劣化が生じない良好な振れ補正画像が得られる電子式振れ補正機能を実現することができる。

図８には、本発明の実施例３である撮像装置の構成を示す。本実施例では、入力画像上での見かけの振れ量（動きベクトル）の大きさ変化に基づいて、該入力画像における透視投影近似領域を判定する。

図８において、図１に示した構成要素と共通する要素については、図１と同符号を付す。

本実施例の撮像装置では、図１に示した構成とは異なり、振れ解析部１０９での振れ量の検出結果を、近似領域判定回路１１２へ送ることで透視投影近似領域が判定される。 なお、図１に示したメインコントローラは、図８では省略している。

以下、本実施例の撮像装置の動作について、図９に示すフローチャートを用いて説明する。

ステップＳ９０１は、実施例１の図２に示したステップＳ２０１と同様である。

ステップＳ９０２では、振れ量検出回路１１０において、連続するフレーム画像（入力画像）間において、画像の中心からその付近までの範囲のうち複数の領域での振れ量（動きベクトル）を算出する。算出された動きベクトルは、近似領域判定回路１１２へと送られる。

ステップＳ９０３では、近似領域判定回路１１２は、ステップＳ９０２で算出された画像中心付近の複数の領域での動きベクトルに基づいて、入力画像における透視投影近似領域を判定する。

ここで、本実施例における近似領域の判定方法について説明する。本実施例では、入力画像の例として正射影方式の魚眼画像を用いて説明する。図１０には、魚眼画像上における画角位置と動きベクトルの見かけの大きさとの関係をグラフ１００１で示す。

この図から分かるように、動きベクトルの見かけの大きさは画角が大きい位置ほど歪んで小さくなる。そこで、画像中心からの動きベクトルの変化量（減少量）が許容できる大きさを閾値とし、そのときの画角位置を透視投影近似領域の境界（外縁）とする。

図１０においては、画角０°位置（画像中心）においてαの大きさを持つ動きベクトルの大きさが、画角の増加に伴ってグラフ１００１のように変化するとき、その変化量が許容量１００２以内であれば、透視投影近似領域内と判定する。許容量１００２の上限に対応した画角位置を１００３で示す。すなわち、画角０°位置から画角位置１００３までの範囲は透視投影近似領域であると判定できる。

なお、本実施例では、画像中心からその付近までの範囲に動きベクトル検出領域を複数設定する場合について説明する。しかし、画角の変化に対する動きベクトルの変化の様子を知ることができる範囲であれば、上記範囲に限らず動きベクトル検出領域を設定することができる。さらに、許容量１００２は、元の動きベクトルの大きさ（例えば、画角０°位置での動きベクトルの大きさ）に対する割合や画素数等によって設定される。

このようにして判定された透視投影近似領域の情報と該近似領域の動きベクトルの情報は、周辺振れ量推定回路１１３及び振れ補正回路１１４に送られる。

図９において、ステップＳ９０４からＳ９０６はそれぞれ、実施例１の図２に示したステップＳ２０４からＳ２０６と同様である。

以上説明したように、本実施例では、入力画像上で複数の領域で検出される振れ量の大きさの変化の様子から、歪みを含む入力画像における透視投影近似領域を判定する。さらに、透視投影近似領域にて求められた検出振れ量に基づいて、周辺領域等の非近似領域での見かけの振れ量を推定する。そして、検出振れ量に基づいて透視投影近似領域での振れ補正処理を行い、かつ非近似領域での推定振れ量に基づいて該非近似領域での振れ補正処理を行う。

これにより、歪みを含む入力画像全体を透視投影画像に変換することなく、画像全体の振れ量検出及び振れ補正処理を行うことができる。したがって、処理時間の増大を抑え、かつ画像変換による画質の劣化が生じない良好な振れ補正画像が得られる電子式振れ補正機能を実現することができる。

図１１には、本発明の実施例４である撮像装置の構成を示す。上記各実施例では、光学系として魚眼レンズを用いて撮像された魚眼画像の像振れを補正する場合について説明したが、本発明は、魚眼画像以外の歪みを含む画像の像振れを補正する場合にも適用することができる。例えば、広角レンズ又はズーム光学系の広角側を用いて撮像された画像もその周辺領域の歪みが大きくなる場合があり、この場合にも本発明を適用できる。

本実施例の撮像装置は、光学系として変倍が可能なズーム光学系を有し、ズーム位置（倍率に関する情報）に基づいて入力画像における透視投影近似領域の範囲を判定する。

図１１において、図１に示した構成要素を共通する要素に付いては、図１と同符号を付す。本実施例の撮像装置は、図１に示した構成に加えて、ズーム光学系１１１６と、ズーム制御回路１１１７と、ズーム位置検出回路１１１８とを有する。なお、図１に示したメインコントローラは、図１１では省略している。

以下、本実施例の撮像装置の動作について、図１２に示すフローチャートを用いて説明する。

ステップＳ１２０１は、実施例１の図２に示したステップＳ２０１と同様である。

ステップＳ１２０２では、撮影者による不図示のズームスイッチの操作に応じてズーム位置制御回路１１１７はズーム光学系１１１６のズーム位置を制御する。また、ズーム位置検出回路１１１８により、ズーム位置が検出される。検出されたズーム位置の情報は、近似領域判定回路１１２へと送られる。

ステップＳ１２０３では、近似領域判定回路１１２は、ズーム位置検出回路１１１８から得られたズーム位置情報を用いて、入力画像上での透視投影近似領域を判定する。

ここで、本実施例における透視投影近似領域の判定方法について説明する。本実施例では、ズーム光学系１１１６のズーム位置情報を取得し、そのズーム位置に応じた入力画像上での座標位置に対する動きベクトルの大きさの変化の特性を解析する。そして、該解析結果から、透視投影画像として扱うのに最も適した透視投影近似領域を判定する。

ズーム光学系１１１６のズーム位置を変化させると、入力画像上における動きベクトルの見かけの大きさの特性も変化する。例えば、ズーム位置を望遠側に移動させた場合には、入力画像が拡大されるとともに、該入力画像上での見かけの動きベクトルも拡大される。また、入力画像上での画角位置に対する動きベクトルの変化の割合が小さくなる。

図１３には、入力画像上での座標位置に応じた動きベクトルの大きさの変化を示す。 図１３において、１３０１はズーム光学系１１１６のズーム位置が望遠側のときの座標位置に対する動きベクトルの見かけの大きさの変化を表している。また、１３０２はズーム光学系１１１６のズーム位置が広角側のときの座標位置に対する動きベクトルの見かけの大きさの変化を表している。

ズーム位置が望遠側のときは、透視投影近似領域となり得る画像中央の部分が拡大されて撮像される。したがって、座標位置に対する動きベクトルの見かけ上の変化は緩やかになる。

これに対して、ズーム位置が広角側のときには、大きく歪んだ周辺領域が多く撮像されるため、この周辺領域での動きベクトルの座標位置に対する見かけの変化は大きくなる。

ここで、透視投影近似領域を判定するための動きベクトルの大きさの変化の許容量を、望遠側においては１３０３で示すように設定し、広角側においては１３０４で示すように設定する。

このとき、望遠側及び広角側での許容量１３０３，１３０４を等しく設定した場合での透視投影近似領域の外縁は、望遠側では座標１３０５で示され、広角側では座標１３０５よりも画像中心から離れた座標１３０６で示される。つまり、広角側での撮像時では、望遠側での撮像時よりも狭い領域しか透視投影近似領域とならず、歪みが大きい領域が広くなる。このため、広角側での撮像時に、特に、本発明による像振れ補正方法が有効となる。

このように、ズーム光学系１１１６のズーム位置に応じて、透視投影近似領域の大きさを変化させることで、より精度の高い振れ量の検出を行うことが可能となる。

図１２において、ステップＳ１２０４からＳ１２０７はそれぞれ、実施例１の図２に示したステップＳ２０３からＳ２０６と同様である。

以上説明したように、本実施例では、ズーム光学系のズーム位置情報に基づいて入力画像上で透視投影近似領域を判定する。さらに、透視投影近似領域にて求められた検出振れ量に基づいて、周辺領域等の非近似領域での見かけの振れ量を推定する。そして、検出振れ量に基づいて透視投影近似領域での振れ補正処理を行い、かつ非近似領域での推定振れ量に基づいて該非近似領域での振れ補正処理を行う。

これにより、歪みを含む画像全体を透視投影画像に変換することなく、画像全体の振れ量検出及び振れ補正処理を行うことができる。したがって、処理時間の増大を抑え、かつ画像変換による画質の劣化が生じない良好な振れ補正画像が得られる電子式振れ補正機能を実現することができる。

なお、上述した各実施例では、近似領域判定回路１１２が画角やズーム位置等の情報に基づいて、適切な透視投影近似領域を判定する場合について説明したが、本発明はこのような場合に限定されない。例えば、撮影者によるスイッチなどの操作部材のマニュアル操作を通じて、撮影状況に最も合うと考えられる透視投影近似領域を任意に選択できるようにしてもよい。

上記各実施例では、撮像装置に、振れ補正機能を備えた画像処理装置を内蔵した場合について説明したが、本発明はこれに限らない。

例えば図１４に示すように、撮像装置１４０１で撮像した画像をパーソナルコンピュータ１４０２に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。

そして、パーソナルコンピュータ１４０２において、図２，６，９及び１２のフローチャートに示した振れ補正処理を行ってもよい。

この場合、パーソナルコンピュータが本発明にいう画像処理装置として機能する。

また、この場合において、振れ量（動きベクトル）の検出は、パーソナルコンピュータによって行ってもよいし、撮像装置に搭載された振れセンサ又は動きベクトルの検出回路からの出力をパーソナルコンピュータに取り込むようにしてもよい。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１における振れ補正処理のフローチャート。 透視投影画像を示す図。 正射影方式の魚眼画像を示す図。 本発明の実施例２である撮像装置の構成を示すブロック図。 実施例２における振れ補正処理のフローチャート。 透視投影像と魚眼画像の画角と像高との関係を示す図。 本発明の実施例３である撮像装置の構成を示すブロック図。 実施例３における振れ補正処理のフローチャート。 画角と動きベクトルの大きさの関係を示す図。 本発明の実施例４である撮像装置の構成を示すブロック図。 実施例４における振れ補正処理のフローチャート。 ズーム位置毎の座標位置と動きベクトルの関係を示す図。 本発明の実施例５である画像処理装置の構成を示す概略図。

符号の説明

１００ メインコントローラ
１０１ 光学系
１０２ 撮像素子
１０３ 画像生成部
１０９ 振れ解析部
１１２ 近似領域判定回路
１１３ 周辺振れ量推定回路
１１４ 振れ補正回路
３００ 透視投影画像
４００ 魚眼画像
１１１６ ズーム光学系
１４０１ 撮像装置
１４０２ パーソナルコンピュータ

Claims (8)

1. 歪みを含む入力画像中の第１画像領域での像振れを検出する振れ検出手段と、
   前記振れ検出手段により検出された像振れに基づいて、前記入力画像中の第２画像領域での像振れに関する振れ情報を生成する振れ情報生成手段と、
   前記振れ情報に基づいて、前記入力画像に対し、前記歪みを低減するための画像処理を行うことなく像振れを低減するための画像処理を行う振れ低減処理手段とを有することを特徴とする画像処理装置。
2. 前記入力画像は、透視投影方式以外の射影方式で撮像された画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１画像領域は、前記入力画像のうち透視投影画像に近似可能な領域であり、
   前記入力画像において、前記第１画像領域を判定する領域判定手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記入力画像の画角を検出する画角検出手段を有し、
   前記領域判定手段は、前記画角検出手段により検出された画角に基づいて前記第１画像領域を判定することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記領域判定手段は、前記入力画像中の複数の画像領域での像振れを検出し、該複数の画像領域での像振れの検出結果に基づいて前記第１画像領域を判定することを特徴とする１又は２に記載の画像処理装置。
6. 前記入力画像は、変倍可能な光学系を用いて取得された画像であり、
   前記領域判定手段は、前記光学系の倍率に関する情報に基づいて前記第１画像領域を判定することを特徴とする請求項１に記載の画像処理装置。
7. 光学系及び撮像素子を用いて前記入力画像を生成する撮像系と、
   請求項１から６のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
8. 歪みを含む入力画像中の第１画像領域での像振れを検出するステップと、
   前記振れ検出手段により検出された像振れに基づいて、前記入力画像中の第２画像領域での像振れに関する振れ情報を生成するステップと、
   前記振れ情報に基づいて、前記入力画像に対し、前記歪みを低減するための画像処理を行うことなく像振れを低減するための画像処理を行うステップとを有することを特徴とする画像処理方法。