JP2014127773A5

JP2014127773A5 -

Info

Publication number: JP2014127773A5
Application number: JP2012281750A
Authority: JP
Filing date: 2012-12-25
Publication date: 2015-10-08
Anticipated expiration: 2032-12-25

Description

図１０（ｂ）を用いてその問題を説明する。図１０（ａ）と比較して、出力画像領域１００７の大きさは等しいが、撮像領域１００６が小さい。ここで、図１０（ａ）の場合と同様の手振れを幾何変形処理により補正するには、参照領域１００８の画素を参照する必要がある。しかし、参照領域１００８のうち、黒塗りされた部分１０１１は撮像領域１００６からはみ出しており、参照すべき画素が存在しない。

従って、参照領域１００８をそのまま用いて出力画像を生成すると、黒塗り部分１０１１に相当する領域が欠落することになる。
これは特許文献１にも当てはまる。幾何変形処理後の画像の欠落を回避するために参照領域を変更することが考えられるが、複数の幾何変形処理を行う特許文献１のような場合では、参照領域をどのように変更するかを決定することが容易でない。

上述の目的は、画像を撮影した撮像装置の動きや光学特性に起因する、画像の画質劣化を補正する画像処理装置であって、画質劣化を補正するための変形処理を規定するパラメータを生成する生成手段と、変形処理が必要とする画像領域である参照領域が、画像を含み、画像より大きな撮像領域内に収まるか否かを判定する判定手段と、判定手段により参照領域が撮像領域内に収まらないと判定された場合に、パラメータを、参照領域が撮像領域内に収まるように調整する調整手段と、パラメータに従って画像に対して変形処理を適用する変形手段と、を有することを特徴とする画像処理装置によって達成される。

第２の座標算出部１１３は、第１の座標算出部１１２の出力から、画像の射影変換を行うための参照座標を算出し、第３の座標算出部１１４及び、出力選択部１１６に出力する。射影変換は、手振れにより生じる画像の回転やあおりを補正するために用いることができる。

射影変換の中心座標を（Ｘｈ０，Ｙｈ０）とすると、第１の座標算出部１１２の出力座標（Ｘｒ，Ｙｒ）に対して、射影変換による参照座標（Ｘｈ，Ｙｈ）は以下の式で算出される。

参照領域算出部１１７は、領域４０２を形成する参照座標群のＸ方向とＹ方向の最大値及び最小値を算出することで、矩形領域４０３の４隅の座標を算出する。
ここで、参照領域算出部１１７は、第１〜第４の座標算出部１１２〜１１５の出力から得られる参照領域をそれぞれ第１〜第４の参照領域とし、４つの参照領域の４隅の座標値を、領域判定部１１８に出力する。

図８と図１との比較から明らかなように、本実施形態のデジタルカメラは、優先度設定部８０１を有する点で第１の実施形態と構成上相違する。優先度設定部８０１は、システム制御部１０７から入力される補助情報に基づいて、順次座標算出部１１１で適用する複数の幾何変形処理に対して優先度を設定し、上限値設定部１１９に出力する。補助情報とは、例えば主被写体情報、輝度情報、シャッタースピード、撮影モード等の情報であり、撮像部１０３から取得したり、撮像画像を解析して取得したり、撮像画像に記録されている付加情報から取得したりすることができる。

優先度は、撮影者の指示によって設定してもよい。例えば、一般的に行われるように、メニュー画面などを通じて撮影者に優先させたい幾何変形処理を選択させ、選択された幾何変形処理の優先度が最も高くなるように優先度を設定することができる。

具体的な数値を用いて説明を行う。先の例のように、Ａ＝４０、Ｂ＝２０、Ｃ＝８０、Ｄ＝４０、Ｓ＝１８０、Ｍ＝１００、ａ＝６、ｂ＝４、ｃ＝２、ｄ＝１とする。このとき式２５より、評価値はＷＡ＝０．１１、ＷＢ＝０．０７、ＷＣ＝０．３７、ＷＤ＝０．２０となる。式２６より、Ｗ＝０．７５、正規化後の評価値はＷＡ’＝０．１５、ＷＢ’＝０．０９、ＷＣ’＝０．４９、ＷＤ’＝０．２７と計算される。さらに、Ａ’＝２８、Ｂ’＝１２、Ｃ’＝４０、Ｄ’＝２０となり、合計で１００となる。
参照領域の変位量ＡとＤはいずれも４０で等しかったが、優先度がａ＞ｄであるため、Ａ’がＤ’より高く設定されることがわかる。これにより、回転を補正する幾何変形処理が、歪曲収差を補正する幾何変形処理よりも優先され、回転補正が十分に行われるようになる。

Claims

画像を撮影した撮像装置の動きや光学特性に起因する、前記画像の画質劣化を補正する画像処理装置であって、
前記画質劣化を補正するための変形処理を規定するパラメータを生成する生成手段と、
前記変形処理が必要とする画像領域である参照領域が、前記画像を含み、前記画像より大きな撮像領域内に収まるか否かを判定する判定手段と、
前記判定手段により前記参照領域が前記撮像領域内に収まらないと判定された場合に、前記パラメータを、前記参照領域が前記撮像領域内に収まるように調整する調整手段と、
前記パラメータに従って前記画像に対して変形処理を適用する変形手段と、を有することを特徴とする画像処理装置。
前記変形処理が、複数の幾何変形処理の組み合わせであり、
前記生成手段が、前記複数の幾何変形処理を規定する複数のパラメータを生成し、
前記判定手段が、前記複数の幾何変形処理の各々における、幾何変形処理前後の変位量の合計および、前記撮像領域と前記画像との位置関係に基づいて前記判定を行い、
前記調整手段が、前記変位量の合計が、前記参照領域が前記撮像領域内に収まる範囲の値となるように、前記複数の幾何変形処理の各々における幾何変形処理前後の変位量に上限値を設定することによって、前記生成手段が生成するパラメータを調整する、
ことを特徴とする請求項１記載の画像処理装置。
前記画像の主被写体情報および撮影状況を示す情報の少なくとも一方に基づいて、前記複数の幾何変形処理の各々に優先度を設定する設定手段をさらに有し、
前記調整手段は、前記設定された優先度が高い幾何変形処理ほど、対応する変位量の上限値を高く設定することを特徴とする請求項２記載の画像処理装置。
前記主被写体情報が、主被写体の人物らしさ、主被写体の大きさ、および主被写体までの距離のいずれかであり、前記撮影状況を示す情報がシャッタースピードおよび被写体輝度値であることを特徴とする請求項３に記載の画像処理装置。
前記変形処理は、
画像のリサイズ及び切り出し、
画像のあおり補正および回転補正を行う射影変換と、
ローリングシャッター方式の撮像素子での撮影で生じるローリング歪みを補正するローリング歪み補正と、
レンズの光学特性により生じる歪みを補正するための歪曲収差補正と、
の１つ以上であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
撮像装置であって、
前記撮像装置の動きを検出する検出手段と、
請求項１乃至請求項５のいずれか１項に記載の画像処理装置とを有し、
前記撮像装置の動きによって画像に生じた画質劣化を、前記画像処理装置で補正して出力することを特徴とする撮像装置。
画像を撮影した撮像装置の動きや光学特性に起因する、前記画像の画質劣化を補正する画像処理装置の制御方法であって、
生成手段が、前記画質劣化を補正するための変形処理を規定するパラメータを生成する生成ステップと、
判定手段が、前記変形処理が必要とする画像領域である参照領域が、前記画像を含み、前記画像より大きな撮像領域内に収まるか否かを判定する判定ステップと、
前記判定ステップにおいて前記参照領域が前記撮像領域内に収まらないと判定された場合に、調整手段が、前記パラメータを、前記参照領域が前記撮像領域内に収まるように調整する調整ステップと、
変形手段が、前記パラメータに従って前記画像に変形処理を適用する変形ステップと、を有することを特徴とする画像処理装置の制御方法。
コンピュータを、請求項１乃至請求項５のいずれか１項に記載の画像処理装置として機能させるためのプログラム。