JP2007336524A

JP2007336524A - 画像処理装置、画像処理プログラム、および撮像装置

Info

Publication number: JP2007336524A
Application number: JP2007128229A
Authority: JP
Inventors: Yasutoshi Yamamoto; 靖利山本
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2006-05-16
Filing date: 2007-05-14
Publication date: 2007-12-27

Abstract

【課題】被写体の持つ周波数特性の影響を受けにくく、また、画像の劣化を適正に補正して画像を復元することができる画像処理装置、画像処理プログラム、および撮像装置を提供する。
【解決手段】入力画像の周波数特性の特徴を抽出する特徴抽出部４と、特徴抽出部４で抽出した特徴から周波数特性の補正量を算出する補正量算出部２と、補正量算出部２で算出した補正量に応じて入力画像を補正する画像補正部５とを備えている。
【選択図】図３

Description

本発明は、デジタルカメラ等に搭載される画像処理装置、画像処理プログラム、および撮像装置に関する。特に、手ぶれ等によってぼけた画像を復元する技術に関する。

近年、デジタルカメラは、小型化やズームの高倍率化が進み、手ぶれ補正が必要となるシーンが増えている。

手ぶれ補正方式には、光学式手ぶれ補正方式と電子式手ぶれ補正方式とがある。光学式手ぶれ補正方式は、手ぶれ量に応じて光学系を制御することにより、撮像素子上の結像位置を一定に保つ方式である。また、電子式手ぶれ補正方式は、手ぶれによってカメラがぶれた状態で撮像素子上に結像した画像を信号処理する際に、手ぶれ量に応じて被写体が同じ位置に表示されるように画像の一部を切り出す方式である。

ただし、画像を連続的に撮影する動画撮影の場合には、電子式手ぶれ補正方式が有効であるが、静止画撮影の場合には、光学式手ぶれ補正方式を使用する必要がある。

しかしながら、光学式手ぶれ補正方式は光学系を制御するため、光学式手ぶれ補正を行う手段を備えていないデジタルカメラに比べて、デジタルカメラの筐体が大きくなる。また、光学式手ぶれ補正を用いても、機械的な制約で実際の手ぶれに追従し切れない場合があり、必ずしも手ぶれを完全に補正することができず、手ぶれ成分が残留してしまう場合がある。

これに対し、入力される画像に残留する手ぶれ成分を検出し、信号処理により手ぶれを補正する画像処理装置が提案されている。例えば、特許文献１（特開平１１−２８４９４４号公報）には、信号処理により画像を補正する構成が開示されている。

以下、従来の画像処理装置（例えば、特許文献１）について、図１９と図２０とを参照して説明する。

図１９は、従来の画像処理装置の構成を示すブロック図である。図１９において、入力部１０１は、カメラ等で記録され、デジタル化された画像信号が入力される。入力部１０１に入力される画像信号は、デジタルカメラで撮影された画像の画像信号でも良いし、銀塩カメラで撮影された写真をスキャナで読み取って、デジタルデータ化した画像信号でも良い。ＣＰＵ１０２は、画像処理装置の動作を制御する。画像メモリ１０３は、入力部１０１に入力される画像信号を一旦蓄積し、ＣＰＵ１０２の制御に応じて画像信号をＣＰＵ１０２に与え、ＣＰＵ１０２における処理後の画像信号を再び蓄積する。

図１９の構成要素は、汎用コンピュータと同様であり、従来の画像処理装置は汎用コンピュータでも実現することが可能である。

図２０は、従来の画像処理装置における手ぶれ補正方法を説明するためのフローチャートである。

従来の画像処理装置では、初めに、ＣＰＵ１０２は、画像メモリ１０３に蓄積されている画像信号（手ぶれによってぼけている画像の画像信号）を読み出し、読み出した画像信号に基づく画像を小領域のブロックに分割する（Ｓ１）。例えば、画像メモリ１０３から読み出した画像信号に基づく画像を、３×３や５×５の小領域のブロックに分割する。

次に、ＣＰＵ１０２は、ブロック化した画像の小領域ごとにエッジ検出を行い、エッジ量が最も大きい小領域を「特徴領域」に決定する（Ｓ２）。ここで、「エッジ量」とは、エッジ検出により得られたエッジ信号を、小領域に渡って積分したものである。エッジ量は、画像中に細かなエッジがあるほど大きくなり、エッジが少なく平坦な画像では小さくなる。

次に、ＣＰＵ１０２は、特徴領域の画像の画像信号に対し、２次元のフィルタ処理を行うことにより、手ぶれ方向の検出を行う（Ｓ３）。

次に、ＣＰＵ１０２は、特徴領域の画像の画像信号に対し、想定する手ぶれ量を変化させながら画像演算処理を行うことにより、手ぶれ量の検出を行う（Ｓ４）。

次に、ＣＰＵ１０２は、検出した手ぶれ方向と手ぶれ量とから、劣化関数を決定する（Ｓ５）。

次に、ＣＰＵ１０２は、入力部１０１に入力される画像信号に基づく画像を、小領域のブロックに分割する（Ｓ６）。

次に、ＣＰＵ１０２は、Ｓ５で求めた劣化関数に基づいて、画素信号を復元する（Ｓ７）。

次に、ＣＰＵ１０２は、画素信号が復元された小領域の画像信号を結合して、全体の画像信号を復元する（Ｓ８）。ＣＰＵ１０２で復元された画像信号は、出力部１０４から出力される。
特開平１１−２８４９４４号公報

しかしながら、特許文献１に開示されている特徴領域を抽出する処理（Ｓ２）は、エッジ検出を行うことによりエッジ量の大きい小領域を特徴領域として抽出する処理であるが、画像の周波数特性は必ずしも手ぶれの方向に依存しない。例えば、縦縞のエッジ量が大きい小領域が特徴領域として抽出された場合と、横縞のエッジ量が大きい小領域が特徴領域として抽出された場合とでは、手ぶれ方向の検出結果が異なる場合がある。縦縞のエッジ量が大きい小領域が特徴領域として抽出された場合には、横方向の手ぶれに関しては手ぶれ量を検出できるが、縦方向の手ぶれに関しては、画像の相関性が高いため手ぶれ量を検出することができない。

このように特許文献１の画像処理装置では、手ぶれ量の検出ができない場合があり、入力部１０１に入力される画像信号を正しく復元することができないという課題がある。

本発明の目的は、上記従来の課題を解決するもので、被写体の持つ周波数特性の影響を受けにくく、また、画像の劣化を適正に補正して画像を復元することができる画像処理装置、画像処理プログラム、および撮像装置を提供することである。

本発明の画像処理装置は、入力画像の周波数特性の特徴を抽出する特徴抽出部と、前記特徴抽出部で抽出した特徴から周波数特性の補正量を算出する補正量算出部と、前記補正量算出部で算出した補正量に応じて入力画像を補正する画像補正部と、を有している。

また、本発明の画像処理プログラムは、コンピュータを、入力画像の周波数特性の特徴を抽出する特徴抽出部と、前記特徴抽出部で抽出した特徴から周波数特性の補正量を算出する補正量算出部と、前記補正量算出部で算出した補正量に応じて入力画像を補正する画像補正部と、して機能させるものである。

また、本発明の撮像装置は、低解像度の画像と高解像度の画像とを選択的に生成可能な撮像手段と、前記撮像手段で生成された画像の画像信号を記憶する画像記憶部と、前記画像記憶部に記憶された画像信号の周波数特性の特徴を抽出する特徴抽出部と、前記特徴抽出部で抽出された前記低解像度の画像の画像信号の周波数特性の特徴に対応する基準の周波数特性を出力する対応出力部と、前記特徴抽出部から出力される周波数特性と、前記対応出力部から出力される基準の周波数特性とに基づいて補正量を算出する補正量算出部と、前記補正量算出部で算出された補正量に応じて前記高解像度の画像の画像信号を補正する画像補正部とを備え、前記補正量算出部は、前記特徴抽出部で抽出された前記低解像度の画像の画像信号の周波数特性の特徴に対応する基準の周波数特性を前記対応出力部から読み出し、前記特徴抽出部で抽出された前記高解像度の画像の画像信号の周波数特性の特徴と前記対応出力部から読み出された基準の周波数特性とを比較して、前記特徴抽出部で抽出された前記高解像度の画像の画像信号の周波数特性の特徴を前記対応出力部から読み出された基準の周波数特性に近づけるような補正量を算出するものである。

本発明によれば、被写体の持つ周波数特性の影響をあまり受けずに、画像の劣化を適正に補正して、手ぶれにより劣化している画像を復元できるという優れた効果が得られる。

〔手ぶれ補正の考え方〕
初めに、本発明の手ぶれ補正の考え方について説明する。

図１Ａ及び図１Ｂは、本発明の画像処理装置による手ぶれ補正の考え方を説明するために、点光源の被写体を撮影した時の画像の信号波形を示す。横軸は画素の位置を示す。縦軸は信号レベルを示す。また、図２Ａ及び図２Ｂは、図１Ａ及び図１Ｂの信号波形に対応した周波数特性を示す。横軸は周波数を示す。縦軸は信号レベルを示す。ここでは説明を簡単にするために、１次元で表される画像を用いて説明する。実際の画像は２次元で表されるが、画像を処理する原理は１次元の画像と２次元の画像とで同じであり、１次元の画像の処理に関する説明を２次元の画像の処理に関する説明に拡張することができる。

図１Ａは、点光源を撮影した時に、手ぶれによる画像の劣化が発生していない場合の画像信号の波形である。図１Ａに示す画像信号は、手ぶれによる画像の劣化が発生していないため、画像中の１点に信号レベルが高い部分が存在する。図２Ａは、図１Ａに示す点光源の画像信号に対応する周波数特性である。図２Ａに示す周波数特性は、手ぶれによる画像の劣化がないため、低周波数から高周波数まで均一に広がっている。

図１Ｂは、点光源を撮影した時に、撮像装置において３画素分の手ぶれが発生した場合の画像信号の波形である。図１Ｂに示す画像信号は、手ぶれにより波形がなまっているため、この画像信号に基づく画像はぼけている。図２Ｂは、図１Ｂに示す点光源の画像信号に対応する周波数特性である。図２Ｂに示す周波数特性は、手ぶれにより画像がぼけているため、低周波数から高周波数まで均一になっておらず、劣化している。

このように手ぶれによる画像の劣化は、画像信号の周波数特性の劣化と考えることができる。このため、本発明は、画像信号の周波数特性の劣化を補正することによって、手ぶれにより劣化している画像を、劣化していない画像に復元することができる。

ただし、周波数特性の劣化は、手ぶれの方向と手ぶれの大きさとの影響を受ける。すなわち、手ぶれによって劣化している画像は、手ぶれの方向における周波数特性は劣化しているが、手ぶれの方向に対して直交する方向における周波数特性は劣化していない。また、手ぶれの大きさが大きければ、画像が大きくぼける。これは、手ぶれの大きさが大きい場合は、周波数特性の劣化が大きいことを意味している。そのため、手ぶれの方向と手ぶれの大きさとの影響を検出して、その検出結果に合わせて適正に画像の補正を行う必要がある。

（実施の形態１）
〔１．画像処理装置の動作〕
図３は、実施の形態１に係る画像処理装置の構成を示すブロック図である。図３において、入力部１は、デジタルカメラ等で撮影され、デジタル化された画像信号が入力される。入力部１に入力される画像信号は、デジタルカメラで撮影され記録媒体に記録された画像信号でも良いし、銀塩カメラで撮影された写真をスキャナで読み取り、デジタルデータ化した画像信号であっても良い。

特徴抽出部４は、入力部１に入力された画像信号の周波数特性の特徴を抽出する。具体的な抽出方法は後述する。補正量算出部２は、特徴抽出部４で抽出された周波数特性の特徴に基づいて、周波数特性の補正量を算出する。画像メモリ３は、入力部１に入力された画像信号を、一旦蓄積する。画像補正部５は、補正量算出部２で算出された補正量に基づいて、画像メモリ３に蓄積された画像信号を順次読み出して、読み出した画像信号を補正する。

実施の形態１に係る画像処理装置の動作を、図３から図７を参照して説明する。図４は、実施の形態１に係る画像処理装置の特徴抽出部４の動作を示すフローチャートである。

まず、図３及び図４に示すように、特徴抽出部４では、入力部１に入力される画像信号に基づく画像を小領域（例えば８×８程度）に分割する（Ｓ１０１）。小領域の大きさは、補正が必要な手ぶれの量に依存する。なお、大きな手ぶれが発生して画像が大きく劣化している場合には、小領域の大きさを大きくする必要がある。

次に、特徴抽出部４は、分割された画像の画像信号に対して、２次元の周波数分析を行う（Ｓ１０２）。２次元の周波数分析の手法としては、フーリエ変換、ディスクリートコサイン変換（ＤＣＴ）、ウェーブレット変換等の方法がある。上記周波数分析処理を行うことによって、８×８の小領域に分割された画像の画像信号は、８×８の各小領域に対応した周波数特性に変換される。

次に、特徴抽出部４は、小領域ごとに求められた周波数特性に対して、画像全体にわたり平均化を行う（Ｓ１０３）。平均化された周波数特性は、特徴抽出部４から出力され、補正量算出部２に入力される。

次に、補正量算出部２の動作について、図５を参照して説明する。図５は、実施の形態１に係る画像処理装置の補正量算出部２の動作を示すフローチャートである。

図３及び図５に示すように、補正量算出部２には、特徴抽出部４で抽出された８×８の各小領域に対応した周波数特性の特徴と、基準の周波数特性の特徴とが入力される。補正量算出部２は、特徴抽出部４から出力される周波数特性の特徴と基準の周波数特性の特徴とを比較する（Ｓ２０１）。ここで、「基準の周波数特性の特徴」とは、撮像装置において手ぶれが発生していない状態において撮影された画像の周波数特性の特徴を示す。このような基準の周波数特性の特徴は、撮像装置を三脚などに固定した状態で、解像度チャートや周波数特性を測定するためのチャートを撮影することにより得ることができる。

ただし、この基準の周波数特性の特徴は、必ずしも撮像装置において手ぶれが発生していない状態において撮影された画像の周波数特性の特徴でなくても良い。また、基準の周波数特性の特徴を変更することによって、手ぶれ補正に加えて、撮影条件に応じた画質の調整等も行うことができる。

次に、補正量算出部２は、特徴抽出部４から出力される周波数特性の特徴と基準の周波数特性の特徴との差分を算出する。次に、補正量算出部２は、算出した差分を周波数逆変換処理して、８×８のフィルタ特性としての補正特性を算出する（Ｓ２０２）。補正量算出部２で算出された補正特性は、画像補正部５に入力される。

画像補正部５では、補正量算出部２で算出された補正特性に基づいて、画像メモリ３から読み出した原信号に対してフィルタ処理を行って、原信号の周波数特性を補正する。

〔２．具体的な周波数特性の補正動作〕
図６Ａ〜図６Ｅは、実施の形態１に係る画像処理装置によって点光源の被写体を撮影した時の、画像信号の波形を示す。また、図７Ａ〜図７Ｅは、図６Ａ〜図６Ｅに示す画像信号の周波数特性を示す。ここでは、説明を簡単にするために、画像は１次元であるものとして説明する。実際の画像は２次元で表されるが、１次元の場合と原理は同じであり、１次元の説明を２次元に拡張すれば良い。

図６Ａは、手ぶれが発生していない撮像装置で点光源を撮影した時に得られる画像信号の波形である。手ぶれによる画像の劣化が発生していないため、点光源の画像信号は１点に発生する。図７Ａに示すように、手ぶれによる画像の劣化が発生していないため、周波数特性は低周波数から高周波数まで均一に広がっている。なお、図７Ａは、点光源を撮影した時に得られる画像信号の理想的な周波数特性であるが、撮影した撮像装置の周波数特性によっては、図７Ａに示すような均一な周波数特性が得られるとは限らない。ここでは、図７Ａに示す周波数特性を、本発明の基準の周波数特性の特徴とする。

図６Ｂは、３画素分の手ぶれが発生している撮像装置で点光源を撮影した時に得られる、画像信号の波形である。撮像装置において手ぶれが発生しているため、画像信号の波形がなまっており、この画像信号に基づく画像はぼけている。図７Ｂに示すように、撮像装置において手ぶれが発生していることにより、高域の周波数特性が劣化している。

図７Ｃは、図７Ａに示す周波数特性と図７Ｂに示す周波数特性との差分を表す。図７Ｃに示す差分が、画像の高周波成分の劣化分に相当する。図６Ｃは、図７Ｃに示す周波数特性の劣化分を周波数領域から空間領域に周波数逆変換した信号波形である。

周波数逆変換処理で得られる空間領域のパルス列は、手ぶれによる劣化分を与えるインパルス応答に相当する。このインパルス応答（図６Ｃ参照）を原信号（図６Ｂ参照）に畳み込むことによって、劣化した信号成分に近い信号を得ることができる。図６Ｄは、畳み込み処理により得られる信号波形を示す。図７Ｄは、畳み込み処理により得られる信号の周波数特性を示す。

図６Ｄに示す劣化した信号成分を原信号（図６Ｂ参照）に加えることにより、手ぶれにより劣化する前の元画像（図６Ａ参照）に近い画像を復元することができる。図６Ｅは、復元処理により得られる画像信号の波形である。図７Ｅは、図６Ｅに示す画像信号の周波数特性を示す。

なお、実施の形態１では、手ぶれにより劣化している画像の復元処理について、１次元の信号を用いて説明したが、２次元の周波数変換処理を行えば、上記と同様の処理により画像を復元することができる。

〔３．実施の形態の効果、他〕
以上のように実施の形態１によれば、入力される画像信号の周波数特性の特徴を抽出する特徴抽出部４と、特徴抽出部４で抽出された特徴から周波数特性の補正量を算出する補正量算出部２と、補正量算出部２で算出された補正量に応じて画像信号の周波数特性を補正する画像補正部５とを備えているため、手ぶれによる画像信号の周波数特性の劣化量を抽出し、その周波数特性の劣化量に応じて周波数特性を改善することができる。よって、適正な補正処理により画像を復元することができる。

（実施の形態２）
〔１．画像処理装置の動作〕
実施の形態１における特徴抽出部４は、画像の小領域ごとに周波数特性を分析し、小領域ごとの周波数特性を全画面に渡り平均化する処理を行うことができる。これに対して、実施の形態２における特徴抽出部４は、画像の小領域ごとに周波数特性を分析し、小領域ごとの周波数特性に基づいて全画面での最大値を抽出する処理を行うことができる。実施の形態２に係る画像処理を行うことによって、画像処理装置に入力される画像信号における、手ぶれによる周波数特性の劣化量を正確に抽出することができる。

実施の形態２に係る画像処理装置の構成は、実施の形態1と同様であるので、詳しい説明は省略する。以下、実施の形態２に係る画像処理装置の動作を、図３、図８〜図１２を参照して説明する。

図８は、実施の形態２に係る画像処理装置の特徴抽出部４の動作を示すフローチャートである。図８において、実施の形態1と同様の動作を行うステップに対しては、同一の番号を付与し説明を省略する。

特徴抽出部４は、入力部１に入力される画像信号に基づく画像を、小領域（例えば８×８程度）に分割する（Ｓ１０１）。次に、特徴抽出部４は、分割された小領域の画像信号に対して、２次元の周波数分析処理を行う（Ｓ１０２）。

次に、特徴抽出部４は、８×８の小領域ごとに求められた周波数特性に対して、画像全体に渡りその最大値を抽出する処理を行う（Ｓ１１３）。「最大値」とは、８×８（＝６４）の周波数特性それぞれの周波数ごとに、最大となる小領域の周波数特性を集めたものである。

図９Ａ及び図９Ｂは、最大値を説明するための図である。図９Ａに示すように、画像は、８×８の小領域Ａ〜Ｚに分割される。各小領域の信号は、例えばディスクリートコサイン変換（ＤＣＴ）されて、８×８のＤＣＴ係数ａ_ij〜ｚ_ij（ｉ＝０〜７、ｊ＝０〜７）が得られる。最大値は小領域を示す添字ｉ、ｊごとに、
Ｍａｘ_ij＝Ｍａｘ（ａｉｊ，ｂｉｊ，・・・，ｚｉｊ）
として求められる。ここで、Ｍａｘ（）は、（）内の引数の最大値を示す。図９Ｂは、小領域ごとに求められた最大値を示す。このようにして求められた周波数ごとの最大値が特徴抽出部４より出力され、補正量算出部２に入力される。

次に、補正量算出部２の動作について、図１０を参照して説明する。図１０は、実施の形態２に係る画像処理装置の補正量算出部２の動作を示すフローチャートである。図１０において、実施の形態1と同様の動作を行うステップについては、同一の番号を付与し説明を省略する。

まず、補正量算出部２は、特徴抽出部４で抽出された８×８の周波数特性の特徴と、基準の周波数特性の特徴とを比較する（Ｓ２０１）。

次に、補正量算出部２は、８×８の周波数特性の特徴と基準の周波数特性の特徴との差分を算出する。次に、補正量算出部２は、算出した差分を周波数逆変換して、補正特性を算出する。算出された補正特性は、８×８のフィルタ特性である（Ｓ２０２）。

次に、補正量算出部２は、算出した補正特性を、特定の条件で制限する（Ｓ２０３）。補正特性を制限するための特定の条件は、例えば、算出された補正特性により画像補正部５で補正された原信号の振幅が、補正前の原信号の振幅を超えない程度に設定される。

このようにして補正量算出部２で算出された補正特性は、補正量算出部２から出力され、画像補正部５に入力される。

画像補正部５では、補正量算出部２で算出された補正特性に基づいて、画像メモリ３から読み出された原信号に対してフィルタ処理を行って、原信号の周波数特性を補正する。

〔２．具体的な周波数特性の補正動作〕
図１１は、実施の形態２に係る画像処理装置によって点光源の被写体を撮影した時の、画像信号の波形を示す。また、図１２は、図１１に示す画像信号の周波数特性を示す。なお、実施の形態２において、実施の形態１と同様の内容については説明を省略する。

図１１Ａは、手ぶれが発生していない撮像装置で点光源を撮影した時の、画像信号の波形である。図１２Ａは、図１１Ａに示す画像信号の周波数特性である。図１１Ｂは、３画素分の手ぶれが発生している撮像装置で点光源を撮影した時の、画像信号の波形である。図１２Ｂは、図１１Ｂに示す画像信号の周波数特性である。

図１２Ｃは、図１２Ａに示す周波数特性と図１２Ｂに示す周波数特性との差分を示す。図１１Ｃは、図１２Ｃに示す周波数特性の差分を、周波数領域から空間領域に周波数逆変換して得られた信号（補正特性）の波形である。

図１１Ｄは、図１１Ｃに示す補正特性に対して大きさが制限された補正特性の波形である。図１２Ｄは、図１１Ｄに示す補正特性の周波数特性を示す。ここでは、図１１Ｄに示す周波数特性は、図１１Ｃに示す補正特性の大きさが１／２に抑圧された特性である。

図１１Ｄに示す補正特性（空間領域のパルス列）は、手ぶれによる劣化分を与えるインパルス応答に相当する。このインパルス応答（図１１Ｄ参照）を原信号（図１１Ｂ参照）に畳み込むことによって、劣化した信号成分に近い信号を得ることができる。図１１Ｅは、畳み込み処理により得られる画像信号の波形である。図１２Ｅは、図１１Ｅに示す画像信号の周波数特性である。

図１１Ｅに示す信号成分を原信号（図１１Ｂ参照）に加えることにより、手ぶれによって劣化する前の元画像（図１１Ａ参照）に近い画像を復元することができる。図１１Ｆは、復元処理によって得られる画像信号の波形を示す。図１２Ｆは、図１１Ｆに示す画像信号の周波数特性である。

なお、実施の形態２では、手ぶれにより劣化している画像の復元処理について、１次元の信号を用いて説明したが、２次元の周波数変換を行えば上記と同様の処理により画像を復元することができる。

ここで、実施の形態２に係る画像処理装置について、２次元画像での周波数特性の考え方を説明する。

図１３及び図１４は、実施の形態２に係る画像処理装置の画像と周波数特性の関係を表す模式図である。図１３は、手ぶれが発生していない撮像装置で、円形の被写体を撮影した時に得られる画像を示す。図１４は、垂直方向に手ぶれが発生している撮像装置で、円形の被写体を撮影した時に得られる画像を示す。

図１４に示すように、撮像装置が垂直方向にぶれていると、撮影された画像３０における水平方向の線がぼけることになる。図１３及び図１４において、領域３１は、円形の被写体の横線部分を指している。領域３２は、円形の被写体の斜め線部分を指している。領域３３は、円形の被写体の縦線部分を指している。また、特性Ａ１及びＡ２は、画像３０中の領域３１における垂直方向の周波数特性（符号Ｖ）と水平方向の周波数特性（符号Ｈ）を示す。特性Ｂ１及びＢ２は、領域３２における周波数特性を示す。特性Ｃ１及びＣ２は、領域３３における周波数特性を示す。符号Ｖ及び符号Ｈに示す周波数特性において、横軸は周波数で、縦軸は信号レベルである。なお、本実施の形態では、被写体が円形であるため、領域３１〜３３で指示している部分の画像は曲線であるが、説明の便宜上、領域３１〜３３で示す部分の画像はそれぞれ直線であると仮定して説明する。

図１３の領域３１で示す部分の画像は、横線であるため、特性Ａ１に示すように垂直方向の周波数特性が高く、水平方向の周波数特性が低くなっている。図１３の領域３２で示す部分の画像は、斜め線であるため、特性Ｂ１に示すように垂直方向も水平方向もやや低い周波数特性となっている。図１３の領域３３で示す部分の画像は、縦線であるため、特性Ｃ１に示すように水平方向の周波数特性が高く、垂直方向の周波数特性が低くなっている。

これに対し、図１４に示すように、手ぶれによって画像３０が垂直方向にぶれている場合は、特性Ｂ２及びＣ２に示すように、領域３２及び領域３３で示す部分の画像の周波数特性は、図１３の特性Ｂ１及びＣ１に示す周波数特性と同様である。しかし、領域３１で示す部分の画像の周波数特性は、特性Ａ２に示すように垂直方向の周波数特性が特性Ａ１よりも低くなっている。

ここで、垂直方向、水平方向の周波数特性の最大値を比較すると、手ぶれによる劣化がない図１３に示す画像では、垂直方向の周波数特性が最大となる位置は領域３１（特性Ａ１）で、水平方向の周波数特性が最大となる位置は領域３３（特性Ｃ１）となっている。また、手ぶれによる劣化が発生している図１４に示す画像では、垂直方向の周波数特性が最大となる位置は領域３１（特性Ａ２）で、水平方向の周波数特性が最大となる位置は領域３３（特性Ｃ２）となっている。しかし、特性Ａ１及びＡ２に示すように、垂直方向の周波数特性の最大値に手ぶれによる差が発生している。画像補正部５は、特性Ａ２に示すような周波数特性の劣化を補正することができ、手ぶれによる劣化を抑えた画像を復元することができる。

〔３．実施の形態の効果、他〕
以上のように実施の形態２によれば、特徴抽出部４が、画像の小領域ごとに周波数特性を分析し、小領域ごとの周波数特性の全画面での最大値を抽出する構成を有しているため、手ぶれによる周波数特性の劣化量を正確に検出することができる。したがって、特徴抽出部４で検出された周波数特性の劣化量に応じて周波数特性を改善することにより、適正な補正を行うことができ、手ぶれによる劣化を抑えた画像を復元することができる。

なお、実施の形態１及び実施の形態２では、特徴抽出部４が、画像の小領域ごとに周波数特性を分析し、小領域ごとの周波数特性の全画面での平均値または最大値を用いたが、図１５に示すように平均値と最大値の両方を用いても良い。図１５は、図１０に示すフローチャートにおけるＳ２０１の前段に、重み付け平均処理を行うステップ（Ｓ２００）を追加したフローチャートである。この場合には、例えば、平均値と最大値の重み付け平均が、本発明の平均値と最大値の演算処理により得られる新たな周波数特性の特徴となる。

この構成によって、画像全体の周波数特性の特徴を捉えることができ、被写体の一部分の周波数特性の影響を受けにくい手ぶれ補正を実現することができる。また、手ぶれによる周波数特性の劣化量を正確に抽出することができる。

また、実施の形態１及び実施の形態２において、小領域の大きさを８×８としているが、図１６に示すように、条件によって小領域の大きさを変更しても良い。図１６は、図８に示すフローチャートに、最大値と基準値とを比較するステップ（Ｓ１１４）と、最大値が基準値よりも低い場合に小領域の分割幅を設定するステップ（Ｓ１１５）とを追加したフローチャートである。特徴抽出部４で設定している小領域の大きさによって、抽出できる手ぶれ量が決まる。例えば、８×８の小領域で手ぶれによる周波数特性の劣化が激しい場合には、手ぶれ量が８×８の小領域を超える場合がある。そのような場合には、例えば、Ｓ１１３で求めた最大値と、第２の基準の周波数特性の特徴となる所定の値とを比較し、最大値が所定の値より小さい場合には、小領域の大きさを例えば１６×１６に変更する。ただし、通常は、より小さい小領域で手ぶれ量を抽出したほうが、演算量は少なくなる。

図１６に示すように処理することによって、撮像装置の手ぶれ量が大きい場合でも、適正に手ぶれによる画像の劣化（周波数特性の劣化）を補正することができる。

また、実施の形態１及び実施の形態２において、基準の周波数特性の特徴は、手ぶれが発生していない撮像装置の周波数特性の特徴としたが、基準の周波数特性の特徴を撮像装置の周波数特性以上にすることもできる。このように構成することで、入力部１に入力される画像信号の周波数特性を基準の周波数特性に近づけるように補正するため、画像の画質を改善することができる。すなわち、本発明では、検出した周波数特性の特徴を設定した基準の周波数特性の特徴に近づけるように補正する。従って、基準の周波数特性の特徴を撮像装置の持つ周波数特性の特徴に対して、特定の周波数のみ強調したり、特定の周波数のみ減衰させたりすることによって、所望の画質に近づけることができる。

また、実施の形態１及び実施の形態２において、補正量算出部２で補正を施した信号は、主に高周波成分からなり、ノイズ成分を多く含むことになる。そのため補正された原信号の小振幅成分を抑圧することにより、ノイズ成分を抑圧し、ノイズの少ない復元画像を得ることが出来る。

（実施の形態３）
〔１．画像処理装置の構成〕
図１７は、実施の形態３における画像処理装置の一例である撮像装置の構成を示す。図１７において、実施の形態１または実施の形態２における構成と同様の構成については、同一番号を付与して説明を省略する。実施の形態３に示す画像処理装置は、デジタルカメラなどの撮像装置に搭載される。

ＣＣＤイメージセンサ１２は、マトリクス状に多数の光電変換素子（画素）を備え、レンズ１１を介して入射する光学的画像を電気的画像に変換して出力する。また、ＣＣＤイメージセンサ１２は、画素混合駆動モード（第１の駆動モード）または全画素読み出しモード（第２の駆動モード）で動作することができる。画素混合駆動モードは、水平方向及び垂直方向に配列された複数画素の値を加算して出力するモードであり、実質的に画素を間引いて解像度を低下させて出力するモードである。また、全画素読み出しモードは、光電変換素子から出力される画素信号を間引かずに、全ての光電変換素子から画素信号を出力するモードである。したがって、ＣＣＤイメージセンサ１２を全画素読み出しモードで動作させた際に得られる画像は、画素混合読み出しモードで動作させた際に得られる画像に比べて解像度が高い。

ＣＣＤ駆動部１３は、マイコン１４から出力される制御信号によって、ＣＣＤイメージセンサ１２を駆動することができる。具体的には、ＣＣＤイメージセンサ１２に対して、画素混合駆動モードまたは全画素読み出しモードで動作するよう制御したり、露光動作を制御したりする。なお、ＣＣＤ駆動部１３は、実施の形態３における撮像装置がモニタモードの時はＣＣＤイメージセンサ１２を画素混合駆動モードで動作させ、レリーズ時はＣＣＤイメージセンサ１２を全画素読み出しモードで動作させている。「モニタモード」とは、所定の周期でＣＣＤイメージセンサ１２から画像信号を出力し続け、撮像装置に搭載されているモニタ２０に動画（いわゆる「スルー画像」）を表示させているモードのことである。

マイコン１４（制御部）は、ＣＣＤ駆動部１３に対して、画素混合駆動モードと全画素読み出しモードとの切り替えを指示する。画素混合駆動モード時は、所定の組み合せで画素信号を混合した後に読み出されるため、全画素読み出しモードと比較して、水平及び垂直方向の画素数が間引かれた画像信号が読み出される。また、マイコン１４は、レリーズスイッチ１５から出力される制御信号によって、ＣＣＤ駆動部１３の動作を制御することができる。

アナログデジタル変換部（以下、Ａ／Ｄ変換部と称する）１６は、ＣＣＤイメージセンサ１２から出力されるアナログの画像信号をデジタルの画像信号に変換する。Ａ／Ｄ変換部１６から出力されるデジタル化された画像信号は、信号処理部１７に入力される。

信号処理部１７は、Ａ／Ｄ変換部１６から出力される画像信号に対して、ノイズ除去などの各種画像処理を施す。撮像装置がモニタモードの時は、信号処理部１７から出力される画像信号は、フレームメモリ１８に出力される。また、ユーザによってレリーズスイッチ１５が操作された時は、信号処理部１７から出力される画像信号は、フレームメモリ１８と画像補正部５とに出力される。

なお、撮像手段は、ＣＣＤイメージセンサ１２、ＣＣＤ駆動部１３、Ａ／Ｄ変換部１６、および信号処理部１７で構成されている。

フレームメモリ１８（画像記憶部）は、信号処理部１７から出力される画像信号を一時的に蓄積する。フレームメモリ１８は、撮像装置がモニタモードの時は蓄積した画像信号を、所定周期で表示制御部１９に出力している。また、レリーズスイッチ１５が操作された時、ＣＣＤイメージセンサ１２が全画素読み出しモードで動作して得られた画像信号がフレームメモリ１８に書き込まれる直前の画像信号（ＣＣＤイメージセンサ１２が画素混合駆動モードで動作して得られた画像信号）は、特徴抽出部４に出力される。なお、画像記憶部は、フレームメモリ１８に限らず、少なくとも画像信号を記憶することができる手段であればよい。

表示制御部１９は、フレームメモリ１８から出力される画像信号を、モニタ２０へ表示可能な画像信号に変換して、モニタ２０へ出力する。モニタ２０は、例えば液晶モニタで構成されている。

テーブル記憶部２２（対応出力部）は、ＣＣＤイメージセンサ１２が画素混合駆動モードで動作している時に得られる画像信号の周波数特性に対応した周波数特性のテーブルが、予め格納されている。すなわち、テーブル記憶部２２には、特徴抽出部４から出力される周波数特性の特徴（モニタモードにおける画像信号の周波数特性の特徴）と、その周波数特性の特徴に対応した画像補正用の周波数特性の特徴（理想値）とがテーブル化されて格納されている。以下、テーブル記憶部２２に格納されている画像補正用の周波数特性の特徴を「基準の周波数特性の特徴」と称する。なお、画像の周波数特性は、画像の劣化の度合いに応じて変動するため、特徴抽出部４から出力される周波数特性の特徴も変動する。したがって、テーブル記憶部２２には、特徴抽出部４から出力される変動する周波数特性の特徴に応じた、複数の基準の周波数特性の特徴が格納されている。なお、対応出力部はテーブル記憶部２２に限らず、演算回路などテーブル以外の手段で構成されていてもよい。

補正量算出部２１は、特徴抽出部４から出力されるモニタ画像の８×８の周波数特性の特徴に基づいて、テーブル記憶部２２から基準の周波数特性の特徴を取得する。また、補正量算出部２１は、テーブル記憶部２２から取得した基準の周波数特性の特徴と、特徴抽出部４から出力される撮影画像の周波数特性の特徴との差分を算出する。また、補正量算出部２１は、算出した差分を周波数逆変換処理して８×８の補正特性を算出する。ここで、「モニタ画像」とは、撮像装置がモニタモードの時にＣＣＤイメージセンサ１２で取り込まれる画像のことである。また、「撮影画像」とは、レリーズスイッチ１５が操作された時にＣＣＤイメージセンサ１２で取り込まれる画像のことである。

記録制御部２３は、画像補正部５から出力される画像信号を、メモリカード２４へ記録するよう制御する。また、記録制御部２３は、画像信号をメモリカード２４へ記録する際に、所定の画像圧縮形式で圧縮処理を行うこともできる。なお、メモリカード２４は情報媒体の一例であって、画像信号が記録可能な媒体であればメモリカードに限らない。

画像処理部２５は、特徴抽出部４、画像補正部５、補正量算出部２１、およびテーブル記憶部２２で構成されている。

次に、撮像装置の動作について説明する。

まず、撮像装置がモニタモードの時は、マイコン１４はＣＣＤ駆動部１３を制御して、ＣＣＤイメージセンサ１２を画素混合駆動モードで動作させる。ＣＣＤイメージセンサ１２から出力される画像信号（アナログ信号）は、Ａ／Ｄ変換部１６でデジタルの画像信号に変換される。Ａ／Ｄ変換部１６から出力されるデジタル化された画像信号は、信号処理部１７に入力される。信号処理部１７は、Ａ／Ｄ変換部１６から出力される画像信号に対して、ノイズ除去などの各種信号処理を行う。信号処理部１７から出力される画像信号は、フレームメモリ１８に書き込まれ、所定の周期でフレームメモリ１８から読み出される。フレームメモリ１８から読み出された画像信号は、表示制御部１９に入力され、モニタ２０に表示可能な画像信号に変換するよう処理される。これにより、モニタ２０には、モニタ画像で構成される動画（いわゆるスルー画像）が表示される。

撮像装置がモニタモードの時にレリーズスイッチ１５が操作されると、マイコン１４はＣＣＤ駆動部１３を制御して、ＣＣＤイメージセンサ１２を全画素読み出しモードで動作させる。ＣＣＤイメージセンサ１２から出力される画像信号（アナログ信号）は、Ａ／Ｄ変換部１６でデジタルの画像信号に変換される。Ａ／Ｄ変換部１６から出力されるデジタル化された画像信号は、信号処理部１７に入力される。信号処理部１７は、Ａ／Ｄ変換部１６から出力される画像信号に対して、ノイズ除去などの各種信号処理を行う。信号処理部１７から出力される画像信号は、フレームメモリ１８に書き込まれるとともに、画像補正部５に出力される。フレームメモリ１８から読み出された画像信号は、表示制御部１９に入力され、モニタ２０に表示可能な画像信号に変換するよう処理される。これにより、モニタ２０には、撮影画像（静止画）が表示される。

一方、画像補正部５は、信号処理部１７から出力される画像信号の周波数特性を補正する。補正後の画像信号は、記録制御部２３に出力される。記録制御部２３は、画像補正部５から出力される画像信号を、メモリカード２４に記録可能な形式に変換処理し、メモリカード２４に書き込む。

〔２．画像処理部２５の動作〕
まず、撮像装置がモニタモードの時は、ＣＣＤイメージセンサ１２は画素混合駆動モードで動作しているため、フレームメモリ１８には、水平及び垂直方向に画素が間引かれた画像信号が順次書き込まれる。

次に、撮像装置がモニタモードの時にレリーズスイッチ１５が操作されると、マイコン１４は、ＣＣＤ駆動部１３を制御して、ＣＣＤイメージセンサ１２で露光動作を実行させる。所定の露光時間終了後、マイコン１４は、ＣＣＤ駆動部１３に対してＣＣＤイメージセンサ１２の露光動作を停止させるよう制御する。

次に、マイコン１４は、ＣＣＤ駆動部１３を制御してＣＣＤイメージセンサ１２を全画素読み出しモードで動作させる。ＣＣＤ駆動部１３は、ＣＣＤイメージセンサ１２を１フレーム期間、全画素読み出しモードで動作させる。

ＣＣＤイメージセンサ１２から読み出される画像信号は、Ａ／Ｄ変換部１６でデジタル化されて信号処理部１７に入力される。信号処理部１７は、Ａ／Ｄ変換部１６から出力される画像信号に所定の信号処理を行い、フレームメモリ１８に出力する。ここで、フレームメモリ１８は、レリーズスイッチ１５が操作された時、モニタ画像における最終画像（撮影画像の画像信号をフレームメモリ１８に書き込む直前の、モニタ画像の画像信号）の画像信号を、特徴抽出部４に出力する。

特徴抽出部４は、フレームメモリ１８から出力される最終画像の画像信号を、実施の形態１等と同様に小領域（例えば８×８程度）に分割する（図４のＳ１０１）。小領域の大きさは、補正が必要な手ぶれの量に依存する。なお、大きな手ぶれが発生して画像が大きく劣化している場合には、小領域の大きさを大きくする必要がある。

次に、特徴抽出部４は、２次元の周波数分析を行う（図４のＳ１０２）。２次元の周波数分析の手法としては、フーリエ変換、ディスクリートコサイン変換（ＤＣＴ）、ウェーブレット変換等の方法がある。上記周波数分析処理を行うことによって、８×８の小領域に分割された画像の画像信号は、８×８の各小領域に対応した周波数特性に変換される。

次に、特徴抽出部４は、小領域ごとに求められた周波数特性を、画像全体にわたり平均化する（図４のＳ１０３）。特徴抽出部４で平均化された周波数特性の特徴は、補正量算出部２１に入力される。

図１８は、実施の形態３における補正量算出部２１の動作を示す。まず、補正量算出部２１には、特徴抽出部４から出力される周波数特性の特徴が入力される（Ｓ３０１）。補正量算出部２１は、特徴抽出部４から出力される周波数特性の特徴に対応した基準の周波数特性の特徴を、テーブル記憶部２２から取得する（Ｓ３０２）。

ここで、テーブル記憶部２２には、特徴抽出部４から出力される様々な周波数特性の特徴と、撮影画像を補正するための周波数特性の特徴との対応を表すテーブルが格納されている。すなわち、特徴抽出部４に入力される最終画像の画像信号は、ＣＣＤイメージセンサ１２が画素混合駆動モードの時に得られた画像であるため、撮影画像に比べて解像度が低い。したがって、特徴抽出部４から出力される周波数特性の特徴をそのまま画像補正部５に入力して撮影画像の補正を行うと、最終画像と撮影画像との解像度の違いが原因で、画質が低下してしまう。そこで本実施の形態のテーブル記憶部２２には、最終画像の解像度を撮影画像の解像度まで高くした場合における理想的な周波数特性の特徴を、基準の周波数特性の特徴としてテーブル化して格納している。

また、テーブル記憶部２２は、モニタ画像の周波数特性の特徴と、その周波数特性の特徴のそれぞれに応じた基準の周波数特性の特徴が格納されている。したがって、補正量算出部２１は、特徴抽出部４から出力される最終画像（モニタ画像）の周波数特性の特徴が変動すれば、テーブル記憶部２２から取得する基準の周波数特性の特徴を変更する。なお、テーブル記憶部２２に格納されている基準の周波数特性の特徴は、理論的に算出した特性であってもよいし、実測して得た特性であってもよい。

また、撮像装置がモニタモードの時は、ＣＣＤイメージセンサ１２における電子シャッターのシャッター速度が速い（一般的に１／３０秒以下）ため、手ぶれによる画像の劣化があまり発生していない。したがって、モニタモードにおける最終画像の周波数特性の特徴から、基準の周波数特性の特徴を抽出する構成としたことで、適正に画像補正を行うことができる。

次に、特徴抽出部４は、フレームメモリ１８から出力される撮影画像の画像信号を、上記同様に小領域（例えば８×８程度）に分割し（図４のＳ１０１）、２次元の周波数分析を行う（図４のＳ１０２）。次に、特徴抽出部４は、小領域ごとに求められた周波数特性を、画像全体にわたり平均化し（図４のＳ１０３）、周波数特性の特徴を補正量算出部２１に出力する。

次に、補正量算出部２１には、特徴抽出部４から出力される撮影画像の周波数特性の特徴が入力される（Ｓ３０３）。

次に、補正量算出部２１は、特徴抽出部４から出力される撮影画像の周波数特性の特徴と、テーブル記憶部２２から取得した基準の周波数特性の特徴との差分を算出する（Ｓ３０４）。

次に、補正量算出部２１は、算出した差分を周波数逆変換処理して、８×８のフィルタ特性としての補正特性を算出する（Ｓ３０５）。補正量算出部２１で算出された補正特性は、画像補正部５に入力される。

画像補正部５では、補正量算出部２１で算出された補正特性に基づいて、信号処理部１７から出力される撮影画像の画像信号の周波数特性を補正する。なお、具体的な補正処理の説明については、実施の形態１等において説明したので省略する。

上記動作は、レリーズスイッチ１５が操作される度に行われる。すなわち、補正量算出部２１は、レリーズスイッチ１５が操作される度に、最終のモニタ画像の周波数特性に応じた基準の周波数特性の特徴をテーブル記憶部２２から取得し、取得した基準の周波数特性の特徴と撮影画像の周波数特性の特徴とにより補正特性を算出する。したがって、レリーズスイッチ１５が操作された時における最終画像の周波数特性の特徴によって、画像補正部５における撮影画像の補正量が異なる。

〔３．実施の形態の効果、他〕
以上のように実施の形態３によれば、特徴抽出部４が、画像の小領域ごとに周波数特性を分析し、小領域ごとの周波数特性の全画面での平均値を抽出する構成を有しているため、手ぶれによる周波数特性の劣化量を正確に検出することができる。したがって、特徴抽出部４で検出された周波数特性の劣化量に応じて、補正量算出部２１で補正量を算出することにより、画像補正部５において適正な画像補正を行うことができ、手ぶれによる劣化を抑えた画像を復元することができる。

また、テーブル記憶部２２は、最終画像（低解像度）に対応した周波数特性の特徴と、その周波数特性の特徴に対応した撮影画像（高解像度）を補正するための周波数特性の特徴とから構成されるテーブルが格納されている。これにより、補正量算出部２１において、特徴抽出部４から出力される周波数特性の特徴に応じた基準の周波数特性の特徴を抽出し、抽出した周波数特性の特徴に基づいて補正特性を算出することで、撮影画像に最適な手ぶれ補正を行うことができる。

なお、実施の形態３の特徴抽出部４は、平均値を算出する構成としたが、実施の形態２において説明したように最大値を算出する構成（図８参照）であってもよい。このような構成の場合、テーブル記憶部２２に、特徴抽出部４で算出される最大値に基づく周波数特性の特徴と、基準の周波数特性の特徴とのテーブルを格納しておくことにより、上記と同様に動作させることができる。よって、画像補正部５において適正な画像補正を行うことができ、手ぶれによる劣化を抑えた画像を復元することができる。

また、実施の形態３のＣＣＤイメージセンサ１２は、画素混合駆動モードまたは全画素読み出しモードに切り換えて動作する構成としたが、いずれか一方のみの駆動モードで動作する構成としてもよい。その場合は、例えば信号処理部１７が画素混合を行う処理または画素を間引く処理を行う構成にすればよい。すなわち、低解像度の画像と高解像度の画像とを選択的に生成可能な構成であれば、その構成は問わない。

〔付記１〕
本発明の画像処理装置は、入力画像の周波数特性の特徴を抽出する特徴抽出部と、前記特徴抽出部で抽出した特徴から周波数特性の補正量を算出する補正量算出部と、前記補正量算出部で算出した補正量に応じて入力画像を補正する画像補正部とを備えている。

この構成により、被写体の持つ周波数特性の影響をあまり受けずに、画像の劣化を適正に補正して、手ぶれにより劣化している画像を復元できるという優れた効果が得られる。

〔付記２〕
本発明の画像処理装置において、前記特徴抽出部は、前記入力画像を複数の小領域に分割し、前記複数の小領域の周波数特性の特徴について、前記入力画像の全画面での平均値を抽出する構成とすることができる。

この構成により、画像全体の周波数特性の特徴を捉えることができ、被写体の一部分の周波数特性の影響を受けにくい手ぶれ補正を実現することができる。

〔付記３〕
本発明の画像処理装置において、前記特徴抽出部は、前記入力画像を複数の小領域に分割し、前記複数の小領域の周波数特性の特徴について、前記入力画像の全画面での最大値を抽出する構成とすることができる。

この構成により、手ぶれによる周波数特性の劣化量を正確に抽出することができる。

〔付記４〕
本発明の画像処理装置において、前記補正量算出部は、前記特徴抽出部で抽出した周波数特性の特徴と基準の周波数特性の特徴を比較し、前記抽出された周波数特性の特徴を前記基準の周波数特性の特徴に近づけるような補正量を算出する構成とすることができる。

この構成により、手ぶれによる周波数特性の劣化を適正に補正することができる。

〔付記５〕
本発明の画像処理装置において、前記特徴抽出部は、前記入力画像を複数の小領域に分割し、前記複数の小領域の周波数特性の特徴について、前記入力画像の全画面での平均値と最大値を抽出し、前記補正量算出部は、前記特徴抽出部で抽出した周波数特性の特徴の平均値と最大値の演算処理により得られる新たな周波数特性の特徴と基準の周波数特性の特徴を比較し、前記新たな周波数特性の特徴を前記基準の周波数特性の特徴に近づけるような補正量を算出する構成とすることができる。

この構成によって、画像全体の周波数特性の特徴を捉えることができ、被写体の一部分の周波数特性の影響を受けにくい手ぶれ補正を実現することができるとともに、手ぶれによる周波数特性の劣化量を正確に抽出することができる。

〔付記６〕
本発明の画像処理装置において、前記補正量算出部は、基準の周波数特性の特徴を変更可能な構成とすることができる。

この構成によって、手ぶれ補正に加えて、撮影条件に応じた画質の調整等も行うことができる。

〔付記７〕
本発明の画像処理装置において、前記特徴抽出部は、前記入力画像を複数の小領域に分割し、前記複数の小領域の周波数特性の特徴と第２の基準の周波数特性の特徴を比較し、前記複数の小領域の大きさを変更する構成とすることができる。

この構成によって、手ぶれ量が大きい場合でも適正に手ぶれを補正することができる。

〔付記８〕
本発明の画像処理装置において、前記補正量算出部は、補正量が所定の大きさ以上にならないように制限する構成とすることができる。

この構成によって、周波数特性の過補正による画像の劣化を抑制することができる。

〔付記９〕
本発明の画像処理装置において、前記画像補正部は、前記補正量算出部で算出された補正量による補正を施した入力画像に対し、振幅が小さい信号の信号レベルを抑圧する構成とすることができる。

この構成によって、手ぶれの補正処理に伴うノイズの影響を抑制することができる。

〔付記１０〕
本発明の画像処理プログラムは、コンピュータを、入力画像の周波数特性の特徴を抽出する特徴抽出部と、前記特徴抽出部で抽出した特徴から周波数特性の補正量を算出する補正量算出部と、前記補正量算出部で算出した補正量に応じて入力画像を補正する画像補正部と、して機能させるものである。

〔付記１１〕
本発明の画像処理プログラムにおいて、前記特徴抽出部は、前記入力画像を複数の小領域に分割し、前記複数の小領域の周波数特性の特徴について、前記入力画像の全画面での平均値を抽出するよう処理することができる。

〔付記１２〕
本発明の画像処理プログラムにおいて、前記特徴抽出部は、前記入力画像を複数の小領域に分割し、前記複数の小領域の周波数特性の特徴について、前記入力画像の全画面での最大値を抽出するよう処理することができる。

〔付記１３〕
本発明の画像処理プログラムにおいて、前記補正量算出部は、前記特徴抽出部で抽出した周波数特性の特徴と基準の周波数特性の特徴を比較し、前記抽出された周波数特性の特徴を前記基準の周波数特性の特徴に近づけるような補正量を算出するよう処理することができる。

〔付記１４〕
本発明の画像処理プログラムにおいて、前記特徴抽出部は、前記入力画像を複数の小領域に分割し、前記複数の小領域の周波数特性の特徴について、前記入力画像の全画面での平均値と最大値を抽出し、前記補正量算出部は、前記特徴抽出部で抽出した周波数特性の特徴の平均値と最大値の演算処理により得られる新たな周波数特性の特徴と基準の周波数特性の特徴を比較し、前記新たな周波数特性の特徴を前記基準の周波数特性の特徴に近づけるような補正量を算出するよう処理することができる。

〔付記１５〕
本発明の画像処理プログラムにおいて、前記補正量算出部は、基準の周波数特性の特徴を変更するよう処理することができる。

〔付記１６〕
本発明の画像処理プログラムにおいて、前記特徴抽出部は、前記入力画像を複数の小領域に分割し、前記複数の小領域の周波数特性の特徴と第２の基準の周波数特性の特徴を比較し、前記複数の小領域の大きさを変更するよう処理することができる。

〔付記１７〕
本発明の画像処理プログラムにおいて、前記補正量算出部は、補正量が所定の大きさ以上にならないように制限するよう処理することができる。

〔付記１８〕
本発明の画像処理プログラムにおいて、前記画像補正部は、前記補正量算出部で算出された補正量による補正を施した入力画像に対し、振幅が小さい信号の信号レベルを抑圧するよう処理することができる。

〔付記１９〕
本発明の撮像装置は、低解像度の画像と高解像度の画像とを選択的に生成可能な撮像手段と、前記撮像手段で生成された画像の画像信号を記憶する画像記憶部と、前記画像記憶部に記憶された画像信号の周波数特性の特徴を抽出する特徴抽出部と、前記特徴抽出部で抽出された前記低解像度の画像の画像信号の周波数特性の特徴に対応する基準の周波数特性を出力する対応出力部と、前記特徴抽出部で抽出された周波数特性の特徴と前記対応出力部から出力される基準の周波数特性の特徴とに基づいて補正量を算出する補正量算出部と、前記補正量算出部で算出された補正量に応じて前記高解像度の画像の画像信号を補正する画像補正部とを備え、前記補正量算出部は、前記特徴抽出部で抽出された前記低解像度の画像の画像信号の周波数特性の特徴に対応する基準の周波数特性を前記対応出力部から読み出し、前記特徴抽出部で抽出された前記高解像度の画像の画像信号の周波数特性の特徴と前記対応出力部から読み出された基準の周波数特性とを比較して、前記特徴抽出部で抽出された前記高解像度の画像の画像信号の周波数特性の特徴を前記対応出力部から読み出された基準の周波数特性に近づけるような補正量を算出するものである。

この構成により、被写体の持つ周波数特性の影響をあまり受けずに、撮影画像に最適な手ぶれ補正を行うことができるという優れた効果が得られる。

〔付記２０〕
本発明の撮像装置において、前記特徴抽出部は、前記画像記憶部に格納されている画像信号に基づく画像を複数の小領域に分割し、前記複数の小領域の周波数特性の特徴について、前記画像記憶部に格納されている画像信号に基づく画像の全画面での平均値を抽出する構成とすることができる。

〔付記２１〕
本発明の撮像装置において、前記特徴抽出部は、前記画像記憶部に格納されている画像信号に基づく画像を複数の小領域に分割し、前記複数の小領域の周波数特性の特徴について、前記画像記憶部に格納されている画像信号に基づく画像の全画面での最大値を抽出する構成とすることができる。

〔付記２２〕
本発明の撮像装置において、前記特徴抽出部は、前記画像記憶部に格納されている画像信号に基づく画像を複数の小領域に分割し、前記複数の小領域の周波数特性の特徴について、前記画像記憶部に格納されている画像信号に基づく画像の全画面での平均値と最大値を抽出し、前記補正量算出部は、前記特徴抽出部で抽出した周波数特性の特徴の平均値と最大値の演算処理により得られる新たな周波数特性の特徴と基準の周波数特性の特徴を比較し、前記新たな周波数特性の特徴を前記基準の周波数特性の特徴に近づけるような補正量を算出する構成とすることができる。

〔付記２３〕
本発明の撮像装置において、前記補正量算出部は、基準の周波数特性の特徴を変更することができる構成とすることができる。

〔付記２４〕
本発明の撮像装置において、前記特徴抽出部は、前記画像記憶部に格納されている画像信号に基づく画像を複数の小領域に分割し、前記複数の小領域の周波数特性の特徴と第２の基準の周波数特性の特徴を比較し、前記複数の小領域の大きさを変更する構成とすることができる。

〔付記２５〕
本発明の撮像装置において、前記補正量算出部は、補正量が所定の大きさ以上にならないように制限する構成とすることができる。

〔付記２６〕
本発明の撮像装置において、前記画像補正部は、前記補正量算出部で算出された補正量による補正を施した入力画像に対し、振幅が小さい信号の信号レベルを抑圧する構成とすることができる。

〔付記２７〕
本発明の撮像装置において、前記低解像度の画像は、前記高解像度の画像の直前に撮影された画像である。

〔付記２８〕
本発明の撮像装置において、前記対応出力部は、前記特徴抽出部で抽出された前記低解像度の画像の画像信号の周波数特性の特徴に対応する基準の周波数特性を示すテーブルを記憶する構成とすることができる。

本発明の画像処理装置は、被写体の持つ周波数特性の影響を受けにくく、また、画像の劣化を適正に補正して手ぶれ画像を復元できるという優れた効果が得られるので、デジタルカメラや静止画撮影機能付きビデオカメラ、静止画撮影機能付き携帯電話等の静止画撮影機能を有する機器に有用である。また、本発明の画像処理プログラムは、パーソナルコンピュータなどで実行される画像処理プログラムとして有用である。

点光源の被写体を撮影した際の信号波形を示す図点光源の被写体を撮影した際の信号波形を示す図図１Ａの信号波形に対応した周波数特性を示す図図１Ｂの信号波形に対応した周波数特性を示す図実施の形態１に係る画像処理装置の構成を示すブロック図実施の形態１に係る画像処理装置の特徴抽出部の動作を示すフローチャート実施の形態１に係る画像処理装置の補正量算出部の動作を示すフローチャート実施の形態１に係る画像処理装置によって点光源の被写体を撮影した画像の信号波形を示す図実施の形態１に係る画像処理装置によって点光源の被写体を撮影した画像の信号波形を示す図実施の形態１に係る画像処理装置によって点光源の被写体を撮影した画像の信号波形を示す図実施の形態１に係る画像処理装置によって点光源の被写体を撮影した画像の信号波形を示す図実施の形態１に係る画像処理装置によって点光源の被写体を撮影した画像の信号波形を示す図図６Ａの信号波形に対応した周波数特性を示す図図６Ｂの信号波形に対応した周波数特性を示す図図６Ｃの信号波形に対応した周波数特性を示す図図６Ｄの信号波形に対応した周波数特性を示す図図６Ｅの信号波形に対応した周波数特性を示す図実施の形態２に係る画像処理装置の特徴抽出部の動作を示すフローチャート実施の形態２における最大値を説明するための図実施の形態２における最大値を説明するための図実施の携帯２に係る画像処理装置の補正量算出部の動作を示すフローチャート実施の形態２に係る画像処理装置によって点光源の被写体を撮影した画像の信号波形を示す図実施の形態２に係る画像処理装置によって点光源の被写体を撮影した画像の信号波形を示す図実施の形態２に係る画像処理装置によって点光源の被写体を撮影した画像の信号波形を示す図実施の形態２に係る画像処理装置によって点光源の被写体を撮影した画像の信号波形を示す図実施の形態２に係る画像処理装置によって点光源の被写体を撮影した画像の信号波形を示す図実施の形態２に係る画像処理装置によって点光源の被写体を撮影した画像の信号波形を示す図図１１Ａの信号波形に対応した周波数特性を示す図図１１Ｂの信号波形に対応した周波数特性を示す図図１１Ｃの信号波形に対応した周波数特性を示す図図１１Ｄの信号波形に対応した周波数特性を示す図図１１Ｅの信号波形に対応した周波数特性を示す図図１１Ｆの信号波形に対応した周波数特性を示す図手ぶれが存在しない場合の実施の形態２に係る画像処理装置の画像と周波数特性の関係を表す模式図垂直方向に手ぶれが発生した場合の実施の形態２に係る画像処理装置の画像と周波数特性の関係を表す模式図その他の実施の形態に係る画像処理装置の特徴抽出部の動作を示すフローチャートその他の実施の形態に係る画像処理装置の補正量算出部の別の動作を示すフローチャート実施の形態３における画像処理装置の構成を示すブロック図実施の形態３の画像処理装置における補正量算出部の動作を示すフローチャート従来の画像処理装置の構成を示すブロック図従来の画像処理装置の手ぶれ補正方法を説明するためのフローチャート

符号の説明

２、２１補正量算出部
３画像メモリ
４特徴抽出部
５画像補正部
２２テーブル記憶部

Claims

入力画像の周波数特性の特徴を抽出する特徴抽出部と、
前記特徴抽出部で抽出した特徴から周波数特性の補正量を算出する補正量算出部と、
前記補正量算出部で算出した補正量に応じて入力画像を補正する画像補正部と、を有する画像処理装置。
前記特徴抽出部は、
前記入力画像を複数の小領域に分割し、
前記複数の小領域の周波数特性の特徴について、前記入力画像の全画面での平均値を抽出する、請求項１に記載の画像処理装置。
前記特徴抽出部は、
前記入力画像を複数の小領域に分割し、
前記複数の小領域の周波数特性の特徴について、前記入力画像の全画面での最大値を抽出する、請求項１に記載の画像処理装置。
前記補正量算出部は、
前記特徴抽出部で抽出した周波数特性の特徴と基準の周波数特性の特徴を比較し、
前記抽出された周波数特性の特徴を前記基準の周波数特性の特徴に近づけるような補正量を算出する、請求項１に記載の画像処理装置。
前記特徴抽出部は、
前記入力画像を複数の小領域に分割し、
前記複数の小領域の周波数特性の特徴について、前記入力画像の全画面での平均値と最大値を抽出し、
前記補正量算出部は、
前記特徴抽出部で抽出した周波数特性の特徴の平均値と最大値の演算処理により得られる新たな周波数特性の特徴と基準の周波数特性の特徴を比較し、
前記新たな周波数特性の特徴を前記基準の周波数特性の特徴に近づけるような補正量を算出する、請求項１に記載の画像処理装置。
前記補正量算出部は、
基準の周波数特性の特徴を変更することができる、請求項４に記載の画像処理装置。
前記特徴抽出部は、
前記入力画像を複数の小領域に分割し、
前記複数の小領域の周波数特性の特徴と第２の基準の周波数特性の特徴を比較し、
前記複数の小領域の大きさを変更する、請求項１に記載の画像処理装置。
前記補正量算出部は、
補正量が所定の大きさ以上にならないように制限する、請求項１に記載の画像処理装置。
前記画像補正部は、
前記補正量算出部で算出された補正量による補正を施した入力画像に対し、振幅が小さい信号の信号レベルを抑圧する、請求項１に記載の画像処理装置。
コンピュータを、
入力画像の周波数特性の特徴を抽出する特徴抽出部と、
前記特徴抽出部で抽出した特徴から周波数特性の補正量を算出する補正量算出部と、
前記補正量算出部で算出した補正量に応じて入力画像を補正する画像補正部と、して機能させる画像処理プログラム。
前記特徴抽出部は、
前記入力画像を複数の小領域に分割し、
前記複数の小領域の周波数特性の特徴について、前記入力画像の全画面での平均値を抽出する、請求項１０に記載の画像処理プログラム。
前記特徴抽出部は、
前記入力画像を複数の小領域に分割し、
前記複数の小領域の周波数特性の特徴について、前記入力画像の全画面での最大値を抽出する、請求項１０に記載の画像処理プログラム。
前記補正量算出部は、
前記特徴抽出部で抽出した周波数特性の特徴と基準の周波数特性の特徴を比較し、
前記抽出された周波数特性の特徴を前記基準の周波数特性の特徴に近づけるような補正量を算出する、請求項１０に記載の画像処理プログラム。
前記特徴抽出部は、
前記入力画像を複数の小領域に分割し、
前記複数の小領域の周波数特性の特徴について、前記入力画像の全画面での平均値と最大値を抽出し、
前記補正量算出部は、
前記特徴抽出部で抽出した周波数特性の特徴の平均値と最大値の演算処理により得られる新たな周波数特性の特徴と基準の周波数特性の特徴を比較し、
前記新たな周波数特性の特徴を前記基準の周波数特性の特徴に近づけるような補正量を算出する、請求項１０に記載の画像処理プログラム。
前記補正量算出部は、
基準の周波数特性の特徴を変更することができる、請求項１３に記載の画像処理プログラム。
前記特徴抽出部は、
前記入力画像を複数の小領域に分割し、
前記複数の小領域の周波数特性の特徴と第２の基準の周波数特性の特徴を比較し、
前記複数の小領域の大きさを変更する、
請求項１０に記載の画像処理プログラム。
前記補正量算出部は、
補正量が所定の大きさ以上にならないように制限する、請求項１０に記載の画像処理プログラム。
前記画像補正部は、
前記補正量算出部で算出された補正量による補正を施した入力画像に対し、振幅が小さい信号の信号レベルを抑圧する、請求項１０に記載の画像処理プログラム。
低解像度の画像と高解像度の画像とを選択的に生成可能な撮像手段と、
前記撮像手段で生成された画像の画像信号を記憶する画像記憶部と、
前記画像記憶部に記憶された画像信号の周波数特性の特徴を抽出する特徴抽出部と、
前記特徴抽出部で抽出された前記低解像度の画像の画像信号の周波数特性の特徴に対応する基準の周波数特性を出力する対応出力部と、
前記特徴抽出部で抽出された周波数特性の特徴と、前記対応出力部から出力される基準の周波数特性の特徴とに基づいて補正量を算出する補正量算出部と、
前記補正量算出部で算出された補正量に応じて前記高解像度の画像の画像信号を補正する画像補正部とを備え、
前記補正量算出部は、
前記特徴抽出部で抽出された前記低解像度の画像の画像信号の周波数特性の特徴に対応する基準の周波数特性を前記対応出力部から読み出し、
前記特徴抽出部で抽出された前記高解像度の画像の画像信号の周波数特性の特徴と前記対応出力部から読み出された基準の周波数特性とを比較して、
前記特徴抽出部で抽出された前記高解像度の画像の画像信号の周波数特性の特徴を前記対応出力部から読み出された基準の周波数特性に近づけるような補正量を算出する、撮像装置。
前記特徴抽出部は、
前記画像記憶部に格納されている画像信号に基づく画像を複数の小領域に分割し、
前記複数の小領域の周波数特性の特徴について、前記画像記憶部に格納されている画像信号に基づく画像の全画面での平均値を抽出する、請求項１９に記載の撮像装置。
前記特徴抽出部は、
前記画像記憶部に格納されている画像信号に基づく画像を複数の小領域に分割し、
前記複数の小領域の周波数特性の特徴について、前記画像記憶部に格納されている画像信号に基づく画像の全画面での最大値を抽出する、請求項１９に記載の撮像装置。
前記特徴抽出部は、
前記画像記憶部に格納されている画像信号に基づく画像を複数の小領域に分割し、
前記複数の小領域の周波数特性の特徴について、前記画像記憶部に格納されている画像信号に基づく画像の全画面での平均値と最大値を抽出し、
前記補正量算出部は、
前記特徴抽出部で抽出した周波数特性の特徴の平均値と最大値の演算処理により得られる新たな周波数特性の特徴と基準の周波数特性の特徴を比較し、
前記新たな周波数特性の特徴を前記基準の周波数特性の特徴に近づけるような補正量を算出する、請求項１９に記載の撮像装置。
前記補正量算出部は、
基準の周波数特性の特徴を変更することができる、請求項１９に記載の撮像装置。
前記特徴抽出部は、
前記画像記憶部に格納されている画像信号に基づく画像を複数の小領域に分割し、
前記複数の小領域の周波数特性の特徴と第２の基準の周波数特性の特徴を比較し、
前記複数の小領域の大きさを変更する、請求項１９に記載の撮像装置。
前記補正量算出部は、
補正量が所定の大きさ以上にならないように制限する、請求項１９に記載の撮像装置。
前記画像補正部は、
前記補正量算出部で算出された補正量による補正を施した入力画像に対し、振幅が小さい信号の信号レベルを抑圧する、請求項１９に記載の撮像装置。
前記低解像度の画像は、
前記高解像度の画像の直前に撮影された画像である、請求項１９に記載の撮像装置。
前記対応出力部は、
前記特徴抽出部で抽出された前記低解像度の画像の画像信号の周波数特性の特徴に対応する基準の周波数特性を示すテーブルを記憶する、請求項１９または２７に記載の撮像装置。