JP2014127773A - 画像処理装置およびそれを備えた撮像装置、ならびに画像処理装置の制御方法 - Google Patents

Abstract

【課題】 画像に対して幾何変形を適用して出力画像を生成する際に、参照画素の不足による出力画像の欠落を回避可能な画像処理装置を提供する。
【解決手段】 幾何変形処理に必要な参照領域が撮像領域内に収まるかどうかを判定する（Ｓ２０３）。幾何変形処理に必要な参照領域が撮像領域内に収まらない場合、収まるように幾何変形処理の参照領域の変位量に上限値を設定する。設定された上限値に基づいて生成した幾何変形パラメータを用いた幾何変形処理を画像に適用する（Ｓ２０４）。
【選択図】 図２

Description

本発明は画像処理装置およびそれを備えた撮像装置、ならびに画像処理装置の制御方法に関し、特には画質劣化を補正する技術に関する。

近年、デジタルカメラなどの撮像装置においては、装置の小型化、レンズの広画角化、センサの高画素化に伴い、レンズの光学特性や手振れに起因する撮像画像の画質劣化が生じやすくなってきている。レンズの光学特性による画質劣化としては、例えば歪曲収差がある。一方、手振れは、撮影者の意図しないカメラの回転や並進運動を引き起こすため、撮像画像に並進移動や回転、あおりなどの画質劣化を生じさせる。また、ライン毎に露光タイミングの異なる、ＣＭＯＳセンサのようなローリングシャッター方式の撮像素子においては、手振れや被写体の動きによって撮像画像が歪む現象であるローリング歪みが生じる。

これらの画質劣化を補正するために、撮像画像に対して複数の幾何変形処理を適用する技術が提案されており、特許文献１では、歪曲収差と手振れによる画質劣化を幾何変形処理により補正する方法が開示されている。

ここで、画像の幾何変形処理について図１０（ａ）を用いて説明する。
撮像領域１００１内に出力画像領域１００２が設けられている。そして、垂直方向に立っている被写体１００４を出力画像領域の中央で撮影しようとしたが、手振れによって撮像装置が撮像面に平行に回転し、被写体１００５のように撮影されてしまったとする。

この場合、出力画像領域の各座標（Ｘｎ，Ｙｎ）の画素を、点線で示した領域１００３の各座標（Ｘｎ’，Ｙｎ’）にある画素で置き換えることで、被写体１００５が被写体１００４のように変形する（手振れによる画質劣化を補正する）。

このように、画像内のある座標の画素を、他の座標の画素を参照して置換する処理を画像の幾何変形処理という。このとき、参照される画素を参照画素と呼び、参照画素によって形成される領域を参照領域と呼ぶ。図１０（ａ）では、（Ｘｎ’，Ｙｎ’）が参照画素、点線で示した領域１００３が参照領域となる。

特開２０１０−２７３２４５号公報

しかしながら、撮像領域をはみ出した参照領域を用いて幾何変形処理した場合、参照領域のうち撮像領域からはみ出た領域には参照すべき画素が存在しないため、幾何変形処理後の画像の一部が欠落してしまう。

図１０（ｂ）を用いてその問題を説明する。図１０（ａ）と比較して、出力画像領域１００７の大きさは等しいが、撮像領域１００６が小さい。ここで、図１０（ａ）の場合と同様の手振れを幾何変形処理により補正するには、参照領域１００８の画素を参照する必要がある。しかし、参照領域１００８のうち、黒塗りされた部分は撮像領域１００６からはみ出しており、参照すべき画素が存在しない。

従って、参照領域１００８をそのまま用いて出力画像を生成すると、黒塗り部分に相当する領域が欠落することになる。
これは特許文献１にも当てはまる。幾何変形処理後の画像の欠落を回避するために参照領域を変更することが考えられるが、複数の幾何変形処理を行う特許文献１のような場合では、参照領域をどのように変更するかを決定することが容易でない。

本発明は、このような従来技術の問題に鑑みてなされたものであり、画像に対して変形処理を適用して出力画像を生成する際に、参照画素の不足による出力画像の欠落を回避可能な画像処理装置およびその制御方法の提供を目的とする。

上述の目的は、撮像装置の動きや光学特性に起因する画質劣化を補正する画像処理装置であって、画質劣化を補正するための変形処理を規定するパラメータを生成する生成手段と、変形処理が必要とする画像領域である参照領域が、画像を含み、画像より大きな撮像領域内に収まるか否かを判定する判定手段と、判定手段により参照領域が撮像領域内に収まらないと判定された場合に、パラメータを、参照領域が撮像領域内に収まるように調整する調整手段と、パラメータに従って画像に対して変形処理を適用する変形手段と、を有することを特徴とする画像処理装置によって達成される。

本発明によれば、画像に対して変形処理を適用して出力画像を生成する際に、参照画素の不足による出力画像の欠落を回避することができる。

本発明の第１の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 本発明の第１の実施形態に係る幾何変形処理を説明するためのフローチャート 本発明の実施形態における順次座標算出部の構成例を示すブロック図 本発明の実施形態における参照領域の算出方法を説明するための図 本発明の実施形態における撮像領域に対する参照領域の包含判定の方法を説明するための図 本発明の実施形態において、参照領域の変位量が負となる場合を説明するための図 負の変位量に上限値を設定することにより生じうる問題を説明するための図 本発明の第２の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 本発明の第２の実施形態に係る優先度の設定方法を説明するための図 画像の幾何変形処理を説明するための図

（第１の実施形態）
以下、本発明の例示的な実施形態について図面を参照して詳細に説明する。
図１は、本発明の第１の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図である。なお、変形処理の実施には、撮像装置の動きに関する情報、撮影条件に関する情報、撮像領域、参照領域およびどのような変形処理を適用するのかの情報が取得可能であれば足り、少なくとも撮像や記録のための機構は必須ではない点に留意されたい。

また、本実施形態では、撮像装置の動きや光学特性に起因する撮像画像の画質劣化を、撮像画像に変形処理を適用することで補正する構成を前提としている。そのため、出力領域を含み、出力領域よりも大きい（すなわち、出力領域の周囲にマージンを持たせた）撮像領域に対応した画像を用いて、出力領域に対応する画像を生成する。

光学系１０１を通じて撮像素子１０２に結像された光学像は、撮像素子１０２にて画像信号に変換される。画像信号は現像部１０３にてＡ／Ｄ変換、ホワイトバランス調整、色（輝度・色差信号）変換、γ補正などが実施され、メモリ１０４に格納される。

メモリ１０４に格納された画像信号は、メモリコントローラ１０５から入力されるアドレスに従って読み出され、メモリコントローラ１０５を介して幾何変形処理部１０６に入力される。メモリコントローラ１０５は例えば、読み出す画像領域の最上ラインから順に、左端の画素から右端の画素へ読み出されるようなアドレスをメモリ１０４に提供する。

システム制御部１０７は、デジタルカメラ全体の動作を制御する。光学系１０１の焦点距離や絞り値、フォーカス距離、撮像素子１０２の駆動方式の制御を行う。

デジタルカメラの動きに関する情報を検出する振れ検出部１０８は、例えば角速度センサであって、デジタルカメラの動きによって生じる３軸（ヨー、ロール、ピッチ）周りの角速度を検出し、動き情報としてパラメータ生成部１１０に出力する。

光学補正データ格納部１０９には、光学系１０１の光学特性により撮像画像に生じる歪曲収差を補正するための光学補正データが予め記憶されている。例えば、光学補正データは、絞り値や焦点距離といった、光学系１０１のパラメータの組み合わせと対応づけて記憶されている。

パラメータ生成部１１０は、振れ検出部１０８から得られるデジタルカメラの動き情報と、光学補正データ格納部１０９から得られる光学補正データとから、手振れおよびレンズの光学特性が与える撮像画像への影響を補正するための幾何変形パラメータを生成する。幾何変形パラメータは、幾何変形処理を規定するパラメータである。パラメータ生成部１１０は、順次座標算出部１１１が実行可能な複数の幾何変形処理の組み合わせによって補正が実現できるよう、幾何変形処理の種類ごとのパラメータを生成する。

幾何変形処理の主な流れを、図２のフローチャートを用いて説明する。
Ｓ２０１において、システム制御部１０７が、幾何変形パラメータを順次座標算出部１１１に入力する。順次座標算出部１１１は、第１の座標算出部１１２及び、第２の座標算出部１１３及び、第３の座標算出部１１４及び、第４の座標算出部１１５から構成される。

Ｓ２０２において、参照領域算出部１１７は、出力選択部１１６を介して得られる順次座標算出部１１１の出力を用いて、画像の幾何変形に必要な参照領域を算出する。

Ｓ２０３において、領域判定部１１８は、Ｓ２０２において算出された参照領域が、撮像領域内に収まるか否かを判定する。
参照領域が撮像領域内に収まると判定された場合、Ｓ２０４において幾何変形処理部１０６は、出力選択部１１６を介して得られる順次座標算出部１１１の出力に基づいて、画像に幾何変形を行う。

一方、参照領域が撮像領域内に収まらないと判定された場合、Ｓ２０５において上限値設定部１１９は、領域判定部１１８の出力から、複数の幾何変形の各々についての参照領域の大きさを評価する。

Ｓ２０６において上限値設定部１１９は、Ｓ２０５における評価結果に基づいて、各幾何変形の参照領域に上限値を設定する。
Ｓ２０７においてパラメータ調整部１２０は、各幾何変形の参照領域が、Ｓ２０６において設定された上限値を超えないよう、システム制御部１０７から入力される各幾何変形パラメータを調整する。
以降、Ｓ２０１からの処理が再度実行される。

次に、順次座標算出部１１１の詳細と関連する幾何変形パラメータについて述べる。
本実施形態では、画像の幾何変形処理として、リサイズ及び切り出し処理、射影変換、ローリング歪み補正、歪曲収差補正を想定する。上述の通り、ローリング歪みはローリングシャッター方式の撮像素子を用いた撮影で生じる歪みである。

（順次座標算出部１１１の内部構成）
順次座標算出部１１１の内部構成、及び順次座標算出部１１１内で行われる処理について、図３を用いて説明する。
第１の座標算出部１１２は、画像のリサイズ及び切り出しを行うための参照座標を算出し、第２の座標算出部１１３及び、出力選択部１１６に出力する。
第１の座標算出部１１２で用いる幾何変形パラメータを、第１の幾何変形パラメータＰｒと表現する。第１の幾何変形パラメータＰｒは、リサイズ処理の水平変倍率ｒｘ、垂直変倍率ｒｙ、切り出し処理の水平切り出し量ｃ、垂直切り出し量ｄを含む。
この場合、リサイズ処理の中心座標を（Ｘｒ０，Ｙｒ０）とすると、座標（Ｘ，Ｙ）に対して、リサイズ及び切り出し処理による参照座標（Ｘｒ，Ｙｒ）は以下の式で算出される。

例えば、画像を水平方向および垂直方向に２倍に拡大するリサイズ処理の場合、第１の幾何パラメータＰｒは、ｒｘ＝ｒｙ＝２、ｃ＝ｄ＝０（切り出し処理を行わないため）となる。（Ｘｒ０，Ｙｒ０）=（０，０）とすれば、Ｘｒ＝１／２Ｘ、Ｙｒ＝１／２Ｙとなり、座標（Ｘ，Ｙ）の画素を、座標（１／２Ｘ，１／２Ｙ）の画素で置き換えることにより、リサイズ処理が実現されることを意味する。

第２の座標算出部１１３は、第１の座標算出部１１２の出力から、画像の射影変換を行うための参照座標を算出し、第３の座標算出部１１３及び、出力選択部１１６に出力する。射影変換は、手振れにより生じる画像の回転やあおりを補正するために用いることができる。

第２の座標算出部１１３で用いる幾何変形パラメータを、第２の幾何変形パラメータＰｈと表現する。第２の幾何変形パラメータＰｈは、例えば３ｘ３の射影変換行列で与えられる。Ｘ方向の並進移動量をｔｘ、Ｙ方向の並進移動量をｔｙ、回転角度をθ、Ｘ方向のあおり量をｖｘ、Ｙ方向のあおり量をｖｙとする。この場合、画像の並進移動及び回転を補正するための射影変換行列Ｈ１と、画像のあおりを補正するための射影変換行列Ｈ２とはそれぞれ以下のように表わされる。

画像の並進及び回転及びあおりを補正するための射影変換行列Ｐｈは、Ｈ１とＨ２の乗算により次のように与えられる。

ここで、並進移動量ｔｘ，ｔｙ、回転角度θ、あおり量ｖｘ，ｖｙは、カメラのヨー方向、ピッチ方向、ロール方向の振れ角度をそれぞれα，β，γ、光学系の焦点距離をｆとすると、以下の式で表わされる。

なお、振れ角度α，β，γは、振れ検出部１０８から得られる振れの角速度を、積分器で積分することで得られる。

射影変換の中心座標を（Ｘｈ０，Ｙｈ０）とすると、第１の座標算出部の出力座標（Ｘｒ，Ｙｒ）に対して、射影変換による参照座標（Ｘｈ，Ｙｈ）は以下の式で算出される。

第３の座標算出部１１４は、第２の座標算出部１１３の出力から、画像のローリング歪み補正を行うための参照座標を算出し、第４の座標算出部１１５及び、出力選択部１１６に出力する。
ローリング歪みは、ＣＭＯＳセンサのようなライン毎に露光期間が異なる撮像素子で撮影を行った場合に、露光中の被写体の移動、もしくは撮影者の手振れにより、ライン毎に被写体像が移動するために生じる撮像画像の歪みである。

第３の座標算出部１１４で用いる幾何変形パラメータを、第３の幾何変形パラメータＰｗと表現する。第３の幾何変形パラメータＰｗは、ヨー方向とピッチ方向のローリング歪みの補正量ｙ、ｐを含む。撮影者の手振れにより生じるローリング歪みの補正量は、振れ検出部１０８から得られる振れの角速度を積分器で積分することで振れ角度に変換し、ライン間の振れ角度の変位量を求めることで算出できる。

参照座標を算出する際は、補正量ｙ、ｐを座標の移動量ｙ’、ｐ’に換算する必要があるが、光学系１０１の焦点距離をｆ、撮像素子１０２のセルピッチ（画素ピッチ）をｃとすれば、以下の式で変換できる。

第２の座標算出部１１３の出力座標（Ｘｈ，Ｙｈ）に対して、ローリング歪み像振れ補正による参照座標（Ｘｗ，Ｙｗ）は以下の式で算出される。

第４の座標算出部１１５は、第３の座標算出部１１４に接続され、画像の歪曲収差補正を行うための参照座標を算出し、出力選択部１１６に出力する。
第４の座標算出部１１５で用いる幾何変形パラメータを、第４の幾何変形パラメータＰｄと表現する。第４の幾何変形パラメータＰｄは、歪曲収差の補正量である。

歪曲収差は、光学系１０１のレンズによって決まり、レンズの光軸を中心とした同心円状の歪曲を生じる。従って、歪曲収差の補正量は、光軸からの距離（像高）に応じて異なる値を取る。歪曲収差の補正量Ｐｄは、理想像高ｒｎと実像高ｒｄの比で次のように与えられる。

歪曲収差補正の中心座標を（Ｘｄ０，Ｙｄ０）とすると、第３の座標算出部１１４の出力座標（Ｘｗ，Ｙｗ）に対して、歪曲収差補正による参照座標（Ｘｄ，Ｙｄ）は以下の式で算出される。

ここで、Ｐｄｘ、ＰｄｙはそれぞれＰｄの水平成分、垂直成分である。
以上が、順次座標算出部１１１の説明である。

次に、出力選択部１１６は、領域判定部１１８の判定結果から、参照領域が撮像領域内に収まると判定した場合に、順次座標算出部１１１の出力を幾何変形処理部１０６に入力する。また、参照領域が撮像領域内に収まると判定されなかった場合には、順次座標算出部１１１の出力を参照領域算出部１１７に入力する。

幾何変形処理部１０６は、出力選択部１１６を介して入力される順次座標算出部１１１の出力に基づいて、画像に幾何変形処理を適用する。
順次座標算出部１１１において、参照座標は小数精度で算出することが可能だが、デジタル画像の各画素の座標は全て整数で表現される。そのため小数点を含む座標における画素値は、近傍の整数座標上の画素を補間することで計算する。この補間処理としては、例えば補間される画素の近傍４画素の値を用いて線形補間を行うバイリニア補間などの公知の手法を適用すれば良い。

幾何変形処理部１０６は、補間処理に必要な近傍の画素座標をメモリコントローラ１０５に出力し、メモリ１０４からそれらの座標に位置する画素を読み出して補間処理を行い、出力画像を生成する。

続いて、参照領域の算出方法及び、参照領域が撮像領域内に収まるか否かの判定（包含判定）方法について述べる。
参照領域算出部１１７は、出力選択部１１６を介して入力される順次座標算出部１１１の出力から、画像の各幾何変形に必要な参照領域をそれぞれ算出する。
参照領域は、図４に示すように、出力画像領域４０１の各辺上の座標の参照座標を算出することで、領域４０２のように得られる。ただし、本実施形態では計算を簡略化するため、以降の処理では領域４０２に外接する矩形領域４０３を参照領域として扱う。

参照領域算出部１１７は、領域４０２を形成する参照座標群のＸ方向とＹ方向の最大値及び最小値を算出することで、矩形領域４０３の４隅の座標を算出する。
ここで、領域算出部１１７は、第１〜第４の座標算出部１１２〜１１５の出力から得られる参照領域をそれぞれ第１〜第４の参照領域とし、４つの参照領域の４隅の座標値を、領域判定部１１８に出力する。

領域判定部１１８は、参照領域算出部１１７の出力から、各参照領域の変位量を算出し、撮像領域内に収まるか否かの包含判定を行う。変位量は、最終的な参照領域、すなわち第４の参照領域が撮像領域に対してはみ出す可能性が高い方向に対して算出する。

ここで、出力画像領域に対する第１〜第４の参照領域の変位量（すなわち、幾何変形処理前後における変位量）をそれぞれ第１〜第４の変位量とする。各変位量は、水平方向と垂直方向の成分を持つので、第１の変位量をＳｒｘ、Ｓｒｙ、第２の変位量をＳｈｘ、Ｓｈｙ、第３の変位量をＳｗｘ、Ｓｗｙ、第４の変位量をＳｄｘ、Ｓｄｙと、それぞれ水平成分と垂直成分で分けて表わす。

図５を用いて、各参照領域の変位量の算出方法を説明する。図５（ａ）において、５０１は撮像領域、５０２は出力画像領域、５０３は第１の参照領域、５０４は第４の参照領域である。
まず、領域判定部１１８は、第４の参照領域５０４が、撮像領域５０１に対して、右上、右下、左上、左下のいずれの方向にはみ出す可能性が高いかを判定する。

領域判定部１１８は例えば、第４の参照領域５０４の重心（Ｘｄｇ，Ｙｄｇ）と、撮像領域５０１の重心（Ｘｇ，Ｙｇ）との各成分の差分の符号関係とから、この判定を行う。すなわち、水平成分の差分ｄｘ＝Ｘｄｇ−Ｘｇと、垂直成分の差分ｄｙ＝Ｙｄｇ−Ｙｇを計算し、ｄｘ＞０ならば右方向、ｄｘ＜０ならば左方向、ｄｙ＞０ならば上方向、ｄｙ＜０ならば下方向に、それぞれはみ出す可能性が高いと判定できる。
図５（ａ）の例では、ｄｘ＞０かつｄｙ＞０であるため、領域判定部１１８は、第４の参照領域５０４が撮像領域５０１に対して右上方向にはみ出す可能性が高いと判定する。

領域判定部１１８は次に、第１の変位量Ｓｒｘ、Ｓｒｙを算出する。これは、第１の参照領域５０３と出力画像領域５０２の頂点のうち、はみ出す可能性が高いと判定された右上方向の頂点の座標の差分として求めることができる。図５（ａ）の例では、第１の参照領域５０３の右上の頂点座標（Ｘｒｒｔ，Ｙｒｒｔ）と、出力画像領域５０２の右上の頂点座標（Ｘ０ｒｔ，Ｙ０ｒｔ）の成分ごとの差分、Ｓｒｘ＝Ｘｒｒｔ−Ｘ０ｒｔ，Ｓｙ＝Ｙｒｒｔ−Ｙ０ｒｔとなる。

同様に、第２の変位量は図５（ｂ）に示すように、第２の参照領域５０５の右上の頂点座標（Ｘｈｒｔ，Ｙｈｒｔ）と第１の参照領域５０３の右上の頂点座標（Ｘｒｒｔ，Ｙｒｒｔ）から、Ｓｈｘ＝Ｘｈｒｔ−Ｘｒｒｔ、Ｓｈｙ＝Ｙｈｒｔ−Ｙｒｒｔと算出できる。
また、第３の変位量は、第３の参照領域の右上の頂点座標（Ｘｗｒｔ，Ｙｗｒｔ）と第２の参照領域の右上の頂点座標（Ｘｈｒｔ，Ｙｈｒｔ）の差分、Ｓｗｘ＝Ｘｗｒｔ−Ｘｈｒｔ、Ｓｗｙ＝Ｙｗｒｔ−Ｙｈｒｔと算出できる。
第４の変位量は、第４の参照領域の右上の頂点座標（Ｘｄｒｔ，Ｙｄｒｔ）と第３の参照領域の右上の頂点座標（Ｘｗｒｔ，Ｙｗｒｔ）の差分、Ｓｄｘ＝Ｘｄｒｔ−Ｘｗｒｔ、Ｓｄｙ＝Ｙｄｒｔ−Ｙｗｒｔと算出できる。

なお、第４の参照領域５０４が撮像領域５０１に対して最もはみ出す可能性が高い方向が右下方向、左上方向、左下方向の場合には、それぞれ領域の右下の頂点座標、左上の頂点座標、左下の頂点座標を用いることで、同様に各幾何変形の変位量を算出できる。

領域判定部１１８は、このようにして算出した変位量の合計Ｓｘ＝Ｓｒｘ+Ｓｈｘ＋Ｓｗｘ＋Ｓｄｘ＝Ｘｄｒｔ−Ｘ０ｒｔ、Ｓｙ＝Ｓｒｙ＋Ｓｈｙ＋Ｓｗｙ＋Ｓｄｙ＝Ｙｄｒｔ−Ｙ０ｒｔを用いて、参照領域が撮像領域内に収まっているか否かを判定する。

なお、上式から分かるように、変位量の合計Ｓｘ、Ｓｙは、図５（ａ）における、出力画像領域５０２に対する第４の参照領域５０４の変位量に等しい。

領域判定部１１８による判定動作について、撮像領域と画像出力領域との位置関係を示す図５（ｃ）を用いてさらに説明する。ここで、撮像領域５０１のうち、出力画像領域５０２を除いた領域（余剰領域と呼ぶ）について、左右方向の幅をＭｘ、上下方向の幅をＭｙとする。ここでは、出力画像領域５０２が、撮像領域５０１に対して左右方向および上下方向でそれぞれ等しい間隔を有するように設定されているものとする。

領域判定部１１８は、Ｓｘ≦Ｍｘ、かつ、Ｓｙ≦Ｍｙの条件を満たせば、参照領域５０４は撮像領域５０１に収まると判定し、条件を満たさない場合には、参照領域５０４は撮像領域５０１に収まらないと判定する。

図５（ｃ）の例では、Ｓｘ＜Ｍｘ、かつ、Ｓｙ＜Ｍｙであるので、領域判定部１１８は参照領域５０４が撮像領域５０１に収まると判定する。一方、図５（ｄ）の例では、Ｓｘ＞Ｍｘ、かつ、Ｓｙ＞Ｍｙであるため、領域判定部１１８は参照領域５０４が撮像領域５０１に収まらない（はみ出す）と判定する。
領域判定部１１８は、判定結果を出力選択部１１６およびシステム制御部１０７に出力するとともに、各参照領域の変位量をシステム制御部１０７に出力する。

システム制御部１０７は、参照領域が撮像領域に収まらないと領域判定部１１８が判定した場合、領域判定部１１８から得られる各参照領域の変位量を上限値設定部１１９に出力する。また、システム制御部１０７は、直前に順次座標算出部１１１に入力した幾何変形パラメータを、パラメータ調整部１２０に出力する。

上限値設定部１１９は、領域判定部１１８において参照領域が撮像領域に収まると判定されるよう、各参照領域の変位量の上限値を設定し、パラメータ調整部１２０に出力する。
上限値の設定方法について、図５（ｄ）を用いて説明する。
変位量の上限値は、各変位量の水平成分と垂直成分に対してそれぞれ設定することができる。ここでは、水平成分に対する上限値の設定について説明するが、垂直成分に関しても水平成分と同様の方法で上限値を設定するものとする。

第１〜第４の変位量の水平成分をそれぞれＡ〜Ｄ、対応する上限値をそれぞれＡ’〜Ｄ’と表現する。各変位量の合計値が、前述した図５（ｄ）におけるＳｘに相当する（すなわち、Ａ＋Ｂ＋Ｃ＋Ｄ＝Ｓｘ）。余剰領域の水平幅はＭｘであるから、Ｓｘ≦Ｍｘを満たすためには、各変位量の上限値を以下のように設定すれば良い。

式１１に含まれる（Ｓｘ−Ｍｘ）は、参照領域が撮像領域をはみ出す量に相当するため、はみ出し量の合計を、各参照領域の変位量の大きさに応じて分割し、変位量から差し引くことで、上限値を設定する。従って、変位量が大きいほど、設定される上限値と変位量との差が大きくなる。

このように設定された変位量の上限値の合計値はＡ’＋Ｂ’＋Ｃ’＋Ｄ’＝Ｍｘとなるため、全ての参照領域について変位量が上限値となっても、参照領域が撮像領域内に収まるようにすることができる。

ところで、変位量Ａ、Ｂ、Ｃ、Ｄは負の値を取る場合もある。本実施形態では、各変位量は、撮像領域に対してはみ出す可能性が高いと判定した方向が正となるように算出されているため、逆方向に変位した場合には負の値を取る。また、その他に、図６に示すような場合も考えられる。

図６において、６０１は撮像領域、６０２は出力画像領域、６０３は参照領域である。（ａ）は画像の拡大処理、（ｂ）は樽型の歪曲収差補正、（ｃ）はＲＳ歪みによる垂直縮み補正を表わし、いずれの場合も、参照領域６０３が撮像領域６０１の中心方向に変位するため、変位量が負の値を取る。

これらの例から分かるように、負の変位量は、撮像領域に対する参照領域のはみ出しを抑制していると言える。従って、負の変位量に対して式１１に従って上限値を設定することは、参照領域のはみ出しを抑制するという負の変位量本来の働きを抑制することになる。

この問題について、図７を用いてさらに説明する。
図７（ａ）において、７０１は撮像領域、７０２は出力画像領域、７０３は樽型歪曲収差補正による参照領域を表わしている。
図７（ｂ）では、樽型歪曲収差補正に加えて、手振れによる回転を補正する場合の参照領域７０４の例を示した。この例では、参照領域７０４のうち、黒塗りされた領域が撮像領域７０１をはみ出している。ここで、樽型歪曲収差補正と回転補正による参照領域の変位量をそれぞれＥ、Ｆと表現する。図７（ａ）から分かるように、変位量Ｅは、はみ出す方向（この場合は上方向もしくは下方向）に対して逆方向に変位するため、負の値を取る。一方、変位量Ｆははみ出す方向に変位するため正の値となる。

はみ出る領域が無くなるように、式１１に従って、変位量Ｅ、Ｆの上限値を設定した場合、上限値設定後の参照領域は図７（ｃ）の７０５のようになる。参照領域７０５は、参照領域７０４に比べて、歪曲による歪みの形状が和らぎ、ほぼ長方形になっている。これは、変位量Ｅに上限値を設定したために、歪曲収差補正が弱められたためである。

一方、負の変位量Ｅに対しては上限値を設定せず、はみ出し量を正の変位量Ｆだけで削減するように上限値を設けた場合、参照領域は７０６のようになる。参照領域７０６は参照領域７０５に比べて十分な歪曲収差補正が行われる形状を有し、かつ、回転角も参照領域７０４の回転角により近い（参照領域７０５の回転角よりも大きい）。

これは、負の変位量Ｅを制限しないことで、負の変位量が有するはみ出し抑制効果を有効に利用し、正の変位量Ｆを極力削減しないことで、樽型歪曲収差補正と回転方向の像振れ補正を可能な限り両立させられることを意味する。
以上のことから、負の変位量に対しては上限値を設定しないことが望ましいと考えられる。
この場合、式１１を以下のように変形して適用すれば良い。

パラメータ調整部１２０は、上限値設定部１１９から入力される各幾何変形の変位量に対する上限値に基づいて、システム制御部１０７から入力される幾何変形パラメータを調整する。

第１の幾何変形パラメータＰｒについて、第１の変位量が、上限値を超えないように調整を行う方法を説明する。前述の通り、Ｐｒはリサイズ処理の水平変倍率ｒｘ、垂直変倍率ｒｙ、切り出し処理の水平切り出し量ｃ、垂直切り出し量ｄである。
式１から、第１の変位量と幾何変形パラメータＰｒの関係は以下のようになる。

左辺のＸｒ−ＸとＹｒ−Ｙの最大値が、それぞれ第１の変位量の水平成分、垂直成分に相当する。それぞれの上限値をＸｒｌｉｍ、Ｙｒｌｉｍに抑えるには、幾何変形パラメータＰｒを以下を満たすように決定すれば良い。

ここで、座標（Ｘ，Ｙ）は参照領域がはみ出す可能性の高い方向にある出力画像領域の頂点座標である。

ところで、変倍率ｒｘ、ｒｙを調整することは、画像を拡大縮小することを意味し、動画では画像が大きくなったり小さくなったりと不自然な見え方をすることが予想される。
そこで、例えば変倍率ｒｘ、ｒｙは調整せず、式１４を満たす最大の切り出し量ｃ、ｄを求めるようにして上限値を調整することができる。一方、切り出し量ｃ＝ｄ＝０とした場合でも式１４が満足されない場合に初めて変倍率ｒｘ、ｒｙを調整し、式１４を満足する最大のｒｘ、ｒｙを求めるようにすることができる。

第２の幾何変形パラメータＰｈについて、第２の変位量が、上限値を超えないように調整を行う方法を説明する。前述の通り、Ｐｈは３ｘ３の射影変換行列である。
射影変換行列は、並進成分、回転成分、あおり成分に分解して考えることができる。式２で示した、並進及び回転に関する射影変換行列Ｈ１による参照領域の変位量は、式６において、Ｐｈの代わりにＨ１を適用することで、以下のように求めることができる。

ここで、座標（Ｘｒ，Ｙｒ）は参照領域がはみ出す可能性の高い方向にある第１の参照領域の頂点座標、座標（Ｘｈ１，Ｙｈ１）は行列Ｈ１による射影変換を行うための参照座標である。

同様に、式３で示した、あおりに関する射影変換行列Ｈ２による参照領域の変位量は、式６において、Ｐｈの代わりにＨ２を適用することで、以下のように求めることができる。

ここで、座標（Ｘｈ２，Ｙｈ２）は行列Ｈ２による射影変換を行うための参照座標である。

以下では簡単のため、射影変換の中心座標を（Ｘｒ０，Ｙｒ０）＝（０，０）とする。式１５と式１６を足し合わせることで、第２の変位量と幾何変形パラメータＰｈの関係は以下のように近似的に表現できる。

左辺のＸｈ−ＸｒとＹｈ−Ｙｒの最大値が、それぞれ第３の変位量の水平成分、垂直成分に相当する。右辺の第１項が並進成分、第２項が回転成分、第３項があおり成分である。各成分の変位量に対する上限値は、上限値設定部１１９で算出された第２の変位量の上限値を、各成分の比で分配することで設定すれば良い。

並進成分、回転成分、あおり成分の各変位量の水平成分、垂直成分の上限値をそれぞれｔｘｌｉｍ、ｔｙｌｉｍ、θｘｌｉｍ、θｙｌｉｍ、Ｖｘｌｉｍ、Ｖｙｌｉｍに抑えるには、幾何変形パラメータＰｈ以下を満たすように決定すれば良い。

ここで、座標（Ｘｒ，Ｙｒ）は参照領域がはみ出す可能性の高い方向にある第１の参照領域の頂点座標である。

第３の幾何変形パラメータＰｗについて、第３の変位量が、上限値を超えないように調整を行う方法を説明する。前述の通り、Ｐｗはヨー方向とピッチ方向のローリング歪み補正量である。
式８から、第３の変位量と幾何変形パラメータＰｗの関係は以下のようになる。

左辺のＸｗ−ＸｈとＹｗ−Ｙｈの最大値が、それぞれ第３の変位量の水平成分、垂直成分に相当する。従って、それぞれの上限値をＸｗｌｉｍ、Ｙｗｌｉｍに抑えるには、幾何変形パラメータｙ’、ｐ’の各最大値について、以下を満たすように決定すれば良い。

第４の幾何変形パラメータＰｄについて、第４の変位量が、上限値を超えないように調整を行う方法を説明する。前述の通り、Ｐｄは歪曲収差補正量である。
式１０から、第４の変位量と幾何変形パラメータＰｄの関係は以下のようになる。

Ｐｄｘ、ＰｄｙはそれぞれＰｄの水平成分、垂直成分である。

左辺のＸｄ−ＸｗとＹｄ−Ｙｗの最大値が、それぞれ第４の変位量の水平成分、垂直成分に相当する。それぞれの上限値をＸｄｌｉｍ、Ｙｄｌｉｍに抑えるには、幾何変形パラメータＰｄの最大値について、以下を満たすように決定すれば良い。

ここで、座標（Ｘｗ，Ｙｗ）は参照領域がはみ出す可能性の高い方向にある第３の参照領域の頂点座標である。

以上のように、パラメータ調整部１２０で調整された幾何変形パラメータは、システム制御部１０７を通じて再び順次座標算出部１１１に出力される。そして、調整された幾何変形パラメータに基づく参照座標が順次座標算出部１１１で算出され、出力選択部１１６を介して、再び参照領域判定部１１７に入力される。

これは、幾何変形パラメータＰｒ、Ｐｈ、Ｐｗ、Ｐｄによる参照領域の変位量は、それぞれ独立なものとして上限値を設定したが、順次座標算出部１１１の仕組みから、各変位量は依存関係にあるためである。つまり、幾何変形パラメータＰｒを調整すれば、Ｐｈによる参照領域の変位量が変化し、それ以降の幾何変形パラメータによる参照領域の変位量も当然変化する。このことは、第２の幾何変形パラメータＰｈを調整する際、行列Ｈ１と行列Ｈ２による参照領域の変位量を独立するものとして扱ったことに対しても当てはまる。

従って、複数の幾何変形パラメータによる参照領域が順次演算される仕組みにおいては、幾何変形パラメータを調整し、その都度参照領域が撮像領域内に収まるか否かを判定する必要がある。

このように、本実施形態によれば、撮像画像に対して複数の幾何変形処理を順次適用して出力画像を生成する場合に、幾何変形処理に用いる参照領域が撮像領域に収まらない場合には、収まるように個々の幾何変形処理における変位量の上限値を設定する。そして、幾何変形処理の変位量が上限値の範囲内となるように幾何変形パラメータを調整する。
そのため、撮像画像に対して複数の幾何変形処理を適用して出力画像を生成する際に、撮像領域の不足によって出力画像が欠落することを回避できる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、適用される複数の幾何変形処理の各々において参照領域を撮像領域内に収めるため、各幾何変形処理の参照領域の変位量に応じて変位量に上限値を設定し、上限値を満たすように各幾何変形パラメータを調整する方法について説明した。

本実施形態では、上限値を、各幾何変形処理における参照領域の変位量だけでなく、撮影状況に応じた幾何変形処理の優先度に基づいて設定することを特徴とする。

図８は本発明の第２の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図である。なお、図８において、第１の実施形態と同様の構成要素に対しては、図１と同一の参照符号を付して説明を省略する。

図８と図１との比較から明らかなように、本実施形態のデジタルカメラは、優先度設定部８０１を有する点で第１の実施形態と構成上相違する。優先度設定部８０１は、システム制御部１０７から入力される補助情報に基づいて、順次座標算出手段１１１で適用する複数の幾何変形処理に対して優先度を設定し、上限値設定部１１９に出力する。補助情報とは、例えば主被写体情報、輝度情報、シャッタースピード、撮影モード等の情報であり、撮像部１０３から取得したり、撮像画像を解析して取得したり、撮像画像に記録されている付加情報から取得したりすることができる。

優先度を設定する目的について述べる。参照領域が撮像領域内に収まらないことを理由として、参照領域の変位量に対して上限値を設けることは、必要量よりも少ない補正に止めること、すなわち、補正不足が生じることを意味する。そのため、補正後の画像に与える影響が大きい補正不足を削減すべく、幾何変形処理に優先度を設定し、優先度の高い幾何変形処理については上限値の設定による補正量不足を抑制する。

なお、同一画像に対して複数の幾何変形処理を適用する場合、個々の幾何変形処理における補正不足が処理後の補正後の画像に対して与える影響は、画像の撮影状況に応じて異なると考えられる。つまり、ある撮影状況では第１の幾何変形処理の補正不足が目立ち、別の撮影状況では第２の幾何変形処理の補正不足が目立つといった現象が起こると考えられる。
つまり、複数の幾何変形処理のうち、どの処理における補正不足を抑制すべきかは、各幾何変形処理における参照領域の変位量からだけでは判断できない。参照領域の変位量が同じであっても、補正不足の目立ち易さは撮影状況に応じて変わりうる。

補助情報に応じて各幾何変形処理の優先度を設定する方法の一例を、図９を用いて説明する。ここでは幾何変形処理として、射影変換に含まれる回転補正及びあおり補正と、ローリング歪み補正、歪曲収差補正を考える。
また、補助情報として、撮影状況を示す情報の例としてのシャッタースピードおよび被写体輝度値と、主被写体情報を用いるものとする。主被写体情報は例えば、主被写体の人物らしさ、主被写体の大きさ、主被写体までの距離である。主被写体の人物らしさおよび大きさは、例えば主被写体を人物の顔とする場合、主被写体の色や輪郭の情報を用いる公知の顔検出技術によって得る事ができる。また、主被写体までの距離は例えば自動焦点検出処理で検出されるフォーカスレンズ位置から得る事ができる。

主被写体の人物らしさについては、より人物らしい被写体ほど歪みが目立つと考えられる。なぜなら、人間は、人物の顔に対して非常に高い認識力を持つため、人物の顔がわずかに歪んだだけでも違和感を覚えるためである。一方で人物以外の被写体、例えば風景などでは、歪みよりも回転のような画面全体の動きが目立つと考えられる。

よって、図９（ａ）のように、人物らしさが高いほど、画像の歪みを生じるローリング歪み、歪曲収差、あおりを補正するための幾何変形処理を優先し、回転補正を行う幾何変形処理の優先度を下げることが望ましいと考えられる。なお、図９および以下の説明においては、簡潔な記載と理解を容易さを考慮し、補正すべき画質劣化の種類に優先度を与えるように記載しているが、実際には記載されている画質劣化の補正を行う幾何変形処理に対して優先度が与えられる。

なお、本実施形態では図９（ａ）に示すように、手振れや撮像レンズの光学特性によって生じる画像の歪みを補正するための複数の幾何変形処理のうち、ローリング歪みの補正に係る幾何変形処理を最優先としている。これは、ローリング歪みが撮像素子の種類や駆動方式に依存するものであり、一般的な認知度が歪曲収差やあおりと比較して低いため、違和感を覚えやすいと考えられることによる。また、歪曲収差とあおりでは、直線が曲線として見えてしまう歪曲収差の方が、四角形が台形のように見えてしまうあおりと比べて、視覚的に目立ち易いと考えられるため、歪曲収差を補正する幾何変形処理の優先順位を高くしている。

主被写体の大きさについては、主被写体が大きいほど、画面全体の動きよりも主被写体の領域における歪みが目立つと考えられるため、例えば図９（ｂ）のような優先順位を設定する。
同様に、主被写体までの距離については、主被写体までの距離が近いほど、画面全体の動きよりも主被写体の領域における歪みが目立つと考えられるため、例えば図９（ｃ）のような優先順位を設定する。

輝度値については、例えば画像の平均輝度が低い場合はコントラストが低く、物の輪郭がぼやけるため画像の歪みが目立ちにくく、平均輝度が高い場合は物の輪郭がはっきりと見えるため画像の歪みが目立ちやすくなると考えられる。そのため、図９（ｄ）のように、輝度値が高いほど、歪みを補正する幾何変形処理を優先する。

シャッタースピードについては、遅い場合は蓄積振れの影響が大きくなるため、一部の歪みよりも画像全体の動きが目立ちやすくなり、早い場合は蓄積振れの影響が小さくなるため、画像全体の動きよりも画像の歪みが目立ちやすくなると考えられる。従って、図９（ｅ）のように、シャッタースピードが速くなるほど、歪みを補正する幾何変形処理を優先する。

また、特定の撮影シーンを検出し、撮影シーンに応じた優先度を設定しても良い。撮影シーンは、輝度情報と色情報を用いて公知の手法により判定できる。例えば、青空や雪景色などの平坦部が多いシーンでは、画像の歪みは視覚的に目立ちにくいため、画面全体の動きである回転を補正する幾何変形処理を優先させる。夕景では、夕日が地平線に沈む様子を撮影するような場面が想定されるが、夕日の歪みや地平線の傾きは特に目立ちやすいと考えられるため、歪曲収差補正と回転補正に係る幾何変形処理を優先する。夜景では、前述のように暗いところでは物の輪郭がぼやけ、画像の歪みが目立ちにくいと考えられるため、画像全体の動きである回転を補正する幾何変形処理を優先する。

なお、図９には「優先順位」を示しているが、「優先順位」と、最終的に幾何変形処理に設定される「優先度」は重みであるため、優先順位と同じ上下関係を有する点を除き、実際に設定される値は任意に設定することができる。

例えば、人物らしさが高い場合は、優先順位の最も高い、ローリング歪みを補正する幾何変形処理の優先度を「６」と設定することができる。この場合、他の幾何変形処理の優先度は６未満の値となり、例えば歪曲収差を補正する幾何変形処理の優先度を「４」、あおりを補正する幾何変形処理の優先度を「２」、回転を補正する幾何変形処理の優先度を「１」とすることができる。
また、人物らしさが低い場合は回転を補正する幾何変形処理の優先度を「５」、ローリング歪みを補正する幾何変形処理の優先度を「４」、歪曲収差を補正する幾何変形処理の優先度を「３」、あおりを補正する幾何変形処理の優先度を「２」とすることができる。
このように、優先度の差を偏らせたり、優先順位が同じ幾何変形処理に異なる優先度を設定したりすることができる。

優先度は、ある閾値に応じて２値的に切り替えても良いが、補助情報の値に応じて連続的に変化させてもよい。例えば、人物らしさが連続的な数値で与えられる場合の、優先度の設定例を図９（ｆ）に示す。

また優先度は、過去に設定された優先度を参照して、決めても良い。例えば、前フレームで各幾何変形処理の優先度がａ０、ｂ０、ｃ０、ｄ０として、現在のフレームでの優先度がａ１、ｂ１、ｃ１、ｄ１であるとする。この場合、優先度の変化量ａ１−ａ０、ｂ１−ｂ０、ｃ１−ｃ０、ｄ１−ｄ０が所定の閾値を超えないように設定することができる。

優先度は、撮影者の指示によって設定してもよい。例えば、一般的に行われるように、メニュー画面などを通じて撮影者に優先させたい幾何変形処理を選択させ、選択された幾何変形の優先度が最も高くなるように優先度を設定することができる。

ここで、優先度は各補助情報に対して１つ決定されるが、複数の補助情報から優先度を得る場合には、個々の補助情報の優先度を合算して、最終的な優先度とすればよい。合算する際には、補助情報の種類に応じて、重み付け加算してもよい。

上限値設定部１１９は、優先度設定部８０１から入力される優先度と、システム制御部１０７を介して入力される各幾何変形の参照領域の変位量に基づいて、各幾何変形の参照領域の変位量に対して上限値を設定する。

例えば、回転、あおり、ローリング歪み、歪曲収差を補正するための幾何変形処理の各優先度がａ、ｂ、ｃ、ｄ、各参照領域の変位量がＡ、Ｂ、Ｃ、Ｄ、合計の変位量の上限値がＭであるような場合を説明する。ここでは、水平方向もしくは垂直方向のいずれか一方向だけで考える。
Ｓ＝Ａ＋Ｂ＋Ｃ＋Ｄ、ｓ＝ａ＋ｂ＋ｃ＋ｄとし、各参照領域の変位量の上限値をＡ’、Ｂ’、Ｃ’、Ｄ’と表現する。
前述の通り、各参照領域の変位量だけに基づいて上限値を設定するならば、式１１または式１２を用いれば良い。

優先度を考慮した上限値の設定方法としては、例えば、各幾何変形処理について、参照領域の変位量と優先度とに基づいた評価値を生成し、評価値に基づく割合で参照領域のはみ出し量を各幾何変形処理で分担させることが考えられる。

各幾何変形処理の評価値をＷＡ、ＷＢ、ＷＣ、ＷＤと表わせば、例えば次のように評価値を計算することができる。

評価値は、参照領域のはみ出し量を個々の幾何変形処理が負担する度合いを示しており、評価値が高いほど、はみ出し量を負担する度合いが高いことを意味する。従って、参照領域が大きいものほど評価値がより高く、優先度の高いものほど評価値がより低くなるようにする。

このような評価値を用いた各参照領域の変位量の上限値をＡ’、Ｂ’、Ｃ’、Ｄ’は、評価値の和が１となるような正規化を行った上で、以下の式で算出することができる。

各上限値の合計値Ｍ＝Ａ’＋Ｂ’＋Ｃ’＋Ｄ’である。

具体的な数値を用いて説明を行う。先の例のように、Ａ＝４０、Ｂ＝２０、Ｃ＝８０、Ｄ＝４０、Ｓ＝１８０、Ｍ＝１００、ａ＝６、ｂ＝４、ｃ＝２、ｄ＝１とする。このとき式２５より、評価値はＷＡ＝０．１１、ＷＢ＝０．０７、ＷＣ＝０．３７、ＷＤ＝０．２０となる。式２６より、Ｗ＝０．７５、正規化後の評価値はＷＡ’＝０．１５、ＷＢ’＝０．０９、ＷＣ’＝０．４９、ＷＤ’＝０．２７と計算される。さらに、Ａ’＝２８、Ｂ’＝１２、Ｃ’＝４０、Ｄ’＝２０となり、合計で１００となる。
参照領域の変位量ＡとＤはいずれも４０で等しかったが、優先度がａ＞ｄであるため、Ａ’がＤ’より高く設定されることがわかる。これにより、回転を補正する幾何変形処理が、歪曲歪みを補正する幾何変形処理よりも優先され、回転補正が十分に行われるようになる。

以上説明したように、本実施形態によれば、優先度を考慮して幾何変形処理の上限値を設定することにより、目立ちやすい画質劣化に対する補正を優先的に行うことで、補正不足を効果的に抑制することができる。そのため、出力画像における欠落領域の発生を防止しながら、視覚的に一層望ましい画質の出力画像を得ることができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 撮像装置の動きや光学特性に起因する画質劣化を補正する画像処理装置であって、
   前記画質劣化を補正するための変形処理を規定するパラメータを生成する生成手段と、
   前記変形処理が必要とする画像領域である参照領域が、前記画像を含み、前記画像より大きな撮像領域内に収まるか否かを判定する判定手段と、
   前記判定手段により前記参照領域が前記撮像領域内に収まらないと判定された場合に、前記パラメータを、前記参照領域が前記撮像領域内に収まるように調整する調整手段と、
   前記パラメータに従って前記画像に対して変形処理を適用する変形手段と、を有することを特徴とする画像処理装置。
2. 前記変形処理が、複数の幾何変形処理の組み合わせであり、
   前記生成手段が、前記複数の幾何変形処理の各々を規定する複数のパラメータを生成し、
   前記判定手段が、前記複数の幾何変形処理の各々における、幾何変形処理前後の変位量の合計および、前記撮像領域と前記画像との位置関係に基づいて前記判定を行い、
   前記調整手段が、前記変位量の合計が、前記参照領域が前記撮像領域内に収まる範囲の値となるように、前記複数の幾何変形処理の各々における前記変位量に上限値を設定することによって、前記生成手段が生成するパラメータを調整する、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記画像の主被写体情報および撮影状況を示す情報の少なくとも一方に基づいて、前記複数の幾何変形処理の各々に優先度を設定する設定手段をさらに有し、
   前記調整手段は、前記設定された優先度が高い幾何変形処理ほど、対応する変位量の上限値を高く設定することを特徴とする請求項２記載の画像処理装置。
4. 前記主被写体情報が、主被写体の人物らしさ、主被写体の大きさ、および主被写体までの距離のいずれかであり、前記撮影状況を示す情報がシャッタースピードおよび被写体輝度値であることを特徴とする請求項３に記載の画像処理装置。
5. 前記変形処理は、
   画像のリサイズ及び切り出し、
   画像のあおり補正および回転補正を行う射影変換と、
   ローリングシャッター方式の撮像素子での撮影で生じるローリング歪みを補正するローリング歪み補正と、
   レンズの光学特性により生じる歪みを補正するための歪曲収差補正と、
   の１つ以上であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 撮像装置であって、
   前記撮像装置の動きを検出する検出手段と、
   請求項１乃至請求項５のいずれか１項に記載の画像処理装置とを有し、
   前記撮像装置の動きによって画像に生じた画質劣化を、前記画像処理装置で補正して出力することを特徴とする撮像装置。
7. 撮像装置の動きや光学特性に起因する画質劣化を補正する画像処理装置の制御方法であって、
   生成手段が、前記画質劣化を補正するための変形処理を規定するパラメータを生成する生成ステップと、
   判定手段が、前記変形処理が必要とする画像領域である参照領域が、前記画像を含み、前記画像より大きな撮像領域内に収まるか否かを判定する判定ステップと、
   前記判定ステップにおいて前記参照領域が前記撮像領域内に収まらないと判定された場合に、調整手段が、前記パラメータを、前記参照領域が前記撮像領域内に収まるように調整する調整ステップと、
   幾何変形手段が、前記パラメータに従って前記画像に変形処理を適用する変形ステップと、を有することを特徴とする画像処理装置の制御方法。
8. コンピュータを、請求項１乃至請求項５のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images