JP2009141769A

JP2009141769A - 画像処理装置

Info

Publication number: JP2009141769A
Application number: JP2007317262A
Authority: JP
Inventors: Takanaga Miki; 隆永三木
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2007-12-07
Filing date: 2007-12-07
Publication date: 2009-06-25
Anticipated expiration: 2027-12-07
Also published as: US20090147090A1; JP5191224B2

Abstract

【課題】手ブレ発生時でも好適な画像を取得でき得る画像処理装置を提供する。
【解決手段】デジタルカメラは、撮像時における手ブレ量を検出する角速度センサ２８を有している。制御パラメータ算出部３２は、この角速度センサ２８での検出結果に基づいて、手ブレやノイズが無い理想状態で得られる原画像の信号成分が手ブレに起因して劣化する帯域の強調度が低くなるようなエッジ強調係数を算出する。また、この原画像の信号成分が劣化する帯域の量子化値が大きくなるような量子化テーブルも算出する。
【選択図】図１

Description

本発明は、撮像により得られた撮像画像データに対して所定の画像処理を施す画像処理装置に関する。

デジタルカメラなどには、撮像により得られたデジタル画像に対して、エッジ強調処理や圧縮処理を施す画像処理装置が搭載されている。こうした画像処理装置では、エッジ強調処理の際に用いられる周波数と強調量との関係を示すエッジ強調カーネルと呼ばれるパラメータや、圧縮処理の際に用いられる量子化値などのパラメータの値は、経験値に基づいて設定されている。

ここで、量子化値やエッジ強調カーネルなどの画像処理用パラメータの値は、いずれも、手ブレが生じていないことを前提として設定されている。そして、手ブレに起因する画像劣化については、専用の手ブレ補正処理を行うことで対処していた。換言すれば、従来、手ブレ補正処理と、その他の画像処理は、互いに関連しない、全く別の処理として取り扱われていた。

特開２００５−２１７４８５号公報

しかしながら、手ブレの有無は、エッジ強調処理や圧縮処理の結果に大きな影響を及ぼす。例えば、手ブレに起因して、本来、撮影すべき画像（原画像）の信号成分が大幅に低下し、Ｓ／Ｎ比が悪化する場合がある。かかるＳ／Ｎ比が悪化している場合に、手ブレが生じていない場合と同様にエッジ強調を行うと、ノイズが強調されてしまい、かえって、画像劣化を招くことになる。また、圧縮時に行う量子化に関しても、Ｓ／Ｎ比が悪化している部分を、Ｓ／Ｎ比が良好な部分と同様な量子化値で量子化すれば、圧縮画像（より正確には圧縮画像を伸張復元した復元画像）においてノイズが残存することになり、やはり、画像劣化の原因となる。

そこで、本発明では、手ブレ発生時でも好適な画像を取得でき得る画像処理装置を提供することを目的とする。

本発明の画像処理装置は、撮像により得られた撮像画像データに対して所定の画像処理を施す画像処理装置であって、撮像時における撮像系の手ブレ量を検出する検出手段と、画像処理に用いられる制御パラメータを算出する手段であって、検出手段により検出された手ブレ量に基づいて手ブレやノイズが無い理想状態で得られる原画像の信号成分が手ブレに起因して低下した帯域におけるノイズの影響を低減でき得る制御パラメータを算出する制御パラメータ算出手段と、算出された制御パラメータを用いて、撮像画像データに対して規定の画像処理を施す画像処理手段と、を備えることを特徴とする。

好適な態様では、前記制御パラメータ算出手段は、前記制御パラメータとして、少なくとも、エッジ強調処理における各周波数帯域ごとの強調度を示すエッジ強調係数を算出する。この場合、前記制御パラメータ算出手段は、前記検出された手ブレ量に基づいて、前記手ブレに起因して原画像の信号成分が低下した帯域における強調度が小さくなるようなエッジ強調係数を算出することが望ましい。また、さらに、前記検出された手ブレ量に基づいて、手ブレによる像の動き量を示すＰＳＦを算出するＰＳＦ算出手段と、手ブレが発生していない状態で利用されるエッジ強調係数を、基準エッジ強調係数として記憶する記憶手段と、を備え、前記制御パラメータ算出手段は、前記基準エッジ強調係数と、前記ＰＳＦと、を畳み込み積分することでエッジ強調係数を算出することも望ましい。さらに、前記画像処理手段は、前記検出された手ブレ量が一定以上の場合には、エッジ強調処理を行わないことも望ましい。

他の好適な態様では、前記制御パラメータ算出手段は、前記制御パラメータとして、圧縮処理のための量子化処理における各周波数帯域ごとの量子化値を示す量子化テーブルを算出する。この場合、前記制御パラメータ算出手段は、前記検出された手ブレ量に基づいて、前記手ブレに起因して原画像の信号成分が低下した帯域における量子化値が大きくなるような量子化テーブルを算出することが望ましい。また、さらに、前記検出された手ブレ量に基づいて、手ブレによる像の動き量を示すＰＳＦを算出するＰＳＦ算出手段と、手ブレが発生していない状態で利用される量子化テーブルを、基準量子化テーブルとして記憶する記憶手段と、を備え、前記制御パラメータ算出手段は、前記ＰＳＦに基づいて手ブレに起因する原画像の信号成分の各帯域ごとの低下度合いを算出し、当該低下度合いが大きい帯域ほど量子化値を増加するべく前記基準量子化テーブルを補正することで量子化テーブルを算出することも望ましい。

上述の画像処理装置では、前記画像処理手段は、前記撮像画像データの圧縮処理の実行後に、手ブレに起因する画像劣化を補正する手ブレ補正処理を行うことが望ましい。

本発明によれば、手ブレ量に基づいて画像処理に用いられる制御パラメータが算出されるため、手ブレ発生時でも好適な画像を取得できる。

以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の実施形態であるデジタルカメラの構成を示すブロック図である。このデジタルカメラは、撮像により得られた画像データに対して、エッジ強調処理や圧縮処理などの画像処理を施した後に、圧縮画像データとして記憶部４２に保存する。本実施形態では、この画像処理の際に利用される制御パラメータの値を、撮影時に生じた手ブレ量に応じて可変調整している。以下、このデジタルカメラの各部について詳説する。

絞り部材１１およびレンズ１２を介して入力された被写界光は、撮像デバイスであるＣＣＤ１４で焦点を結ぶ。絞り部材１１の絞り量およびレンズ１２の移動量は、ＣＰＵなどから構成される制御部１０により制御される。ＣＣＤ１４は、入力された被写界光を電気信号に変換し、撮像データとして出力する。このＣＣＤ１４による光電変換のタイミングは、タイミングジェネレータ（ＴＧ）２２を介して制御部１０により制御される。通常、ＣＣＤ１４は、ＬＣＤ１４に表示されるプレビュー画像取得のために一定間隔で常時、電荷の蓄積および電荷の掃き出しを行う。また、ユーザから撮像指示があった場合には、プレビュー画像取得のため光電変換を一時中断し、画像撮像に必要な露光時間をかけて電荷を蓄積した上で、電荷の掃き出しを行う。

ＣＣＤ１４から出力された電気信号は、二重相関サンプリング回路（ＣＤＳ）１６による所定のアナログ信号処理、増幅回路（ＡＭＰ）１８による増幅処理が施された後、Ａ／Ｄ変換器（Ａ／Ｄ）２０によりデジタルデータに変換される。この変換により得られたデジタルデータは、撮像画像データとしてメモリ２４に一時記憶される。

ＰＳＦ算出部３０は、ジャイロなどからなる角速度センサ２８で検出された角速度に基づいて撮像時に生じた手ブレ量を示す関数であるＰＳＦ（点広がり関数）を算出する。ＰＳＦは、角速度センサ２８で検出された角速度と撮像系の像倍率から導出される手ブレによる像の動き量を示すパラメータである。算出されたＰＳＦは、撮像画像データとともにメモリ２４に一時記憶される。このＰＳＦは、手ブレに起因する画像劣化を補正する手ブレ補正処理に利用される他、後述するエッジ強調処理や圧縮処理に用いる制御パラメータの算出にも利用される。

制御パラメータ算出部３２は、メモリ２４に一時記憶されるＰＳＦに基づいて、エッジ強調処理および圧縮処理に用いられる制御パラメータ、具体的には、エッジ強調係数および量子化テーブルを算出する。この二つの制御パラメータの具体的算出方法については後に詳説する。

画像処理部２６には、ホワイトバランス（ＷＢ）処理部４６やγ補正処理部４８などが設けられており、メモリ２４に一時記憶された撮像画像データに対して公知な画像処理を施す。また、この画像処理部２６には、画像の鮮鋭度を向上させるエッジ強調処理を実行するエッジ強調処理部５０も設けられている。後に詳説するが、エッジ強調処理部５０では、まず、撮像画像データと制御パラメータ算出部３２で算出されたエッジ強調係数とを畳み込み積分し、画像に含まれるエッジ成分を強調する。続いて、図２に図示するようなコアリング変換特性値を用いて、一定閾値より小さい振幅の信号を除去するコアリング処理を行う。

画像処理部２６において必要な処理が施された画像データは、圧縮処理部３４によりＪＰＥＧ形式に圧縮処理され、圧縮画像データとして記憶部４２に保存される。このとき、対応するＰＳＦの値も、圧縮画像データのヘッダに書き込むなどの方法により、当該圧縮画像データと関連付けられて記憶される。この圧縮処理の際、制御パラメータ算出部３２で算出された量子化テーブルが利用されるが、これについても後に詳説する。

ユーザからの指示により記憶部４２に保存されている圧縮画像の再生が指示された場合、伸張処理部３６は、圧縮された画像データを伸張復元する。このとき、ユーザからの指示があれば、手ブレ補正処理部３８は、伸張復元された画像データに対して手ブレ補正処理を施す。手ブレ補正の際には、圧縮画像データとともに関連付けて記憶されたＰＳＦが用いられる。

ＰＳＦを用いた手ブレ補正としては、例えば最急降下法が知られており、その概要は以下のとおりである。すなわち、撮像画像の∇Ｊを算出する。ここに、Ｊは一般逆フィルタの評価量であり、撮影画像である劣化画像Ｇ、復元画像Ｆ、劣化関数Ｈ（ＰＳＦ）とした場合に、
Ｊ＝‖Ｇ−ＨＦ‖^２
で与えられる。上式は、評価量Ｊは、復元画像Ｆに劣化関数Ｈを作用させて得られる画像ＨＦと実際の劣化画像Ｇとの差分の大きさで与えられることを意味する。復元画像が正しく復元されていれば、理論的にはＨＦ＝Ｇであって評価量は０である。評価量Ｊが小さいほど、復元画像Ｆはより良く復元されたことになる。最急降下法では、この評価量Ｊの勾配である∇Ｊの大きさ、すなわち∇Ｊのノルムの２乗がしきい値以下となるまで反復計算を繰り返し、しきい値以下となった時点で反復計算を終了して復元画像Ｆを得るものである。撮影画像（劣化画像Ｇ）と復元画像Ｆ、並びにＰＳＦ、すなわち劣化関数Ｈを用いて評価量Ｊを算出し、さらに∇Ｊを算出する。算出した∇Ｊのノルムの２乗をしきい値と大小比較し、しきい値以下であるか否かを判定する。しきい値以下であれば∇Ｊのノルムは十分小さく最適解に収束したものとみなして反復計算を終了する。一方、∇Ｊのノルムの２乗がしきい値を超えていれば、いまだ復元は十分ではないとして反復計算を続行する。もちろん、ＰＳＦを用いた手ブレ補正方法としては最急降下法に限定されるものではなく、他の方法を用いてもよい。

ところで、ここまでの説明で明らかなとおり、本実施形態では、圧縮処理後に手ブレ補正処理を行う、いわゆる、ポスト処理を採用している。ポスト処理を採用することにより、ユーザが手ブレ補正の要否を自由に決定できる。すなわち、従来、多くのデジタルカメラでは、手ぶれ補正処理を実行した後に、エッジ強調処理や圧縮処理を実行していた。しかし、この従来の手ブレ補正処理の多くは、ＰＳＦの値に基づいて自動的に行うものであり、ユーザの指示によるものではなかった。そのため、ユーザの意図に反して、手ブレ補正処理が実行されてしまい、ユーザが意図したものとは異なる画像になってしまう場合もあった。かかる意図と異なる画像に対して非線形処理であるエッジ処理や圧縮処理を施して、ＪＰＥＧ画像として記憶すると、手ブレ補正処理前の画像を再度復元することはできないことになる。

かかる問題を解決するために、エッジ処理や圧縮処理等を施す前の画像をＬＣＤ４４に表示して、手ぶれ補正の有無をユーザに指示してもらうことも考えられる。しかし、通常、デジタルカメラに搭載しているＬＣＤ４４は、小さい（低画素）ことが多く、当該ＬＣＤ４４での表示を見て手ブレの影響度をユーザが明確に認識することは困難であった。また、エッジ処理や圧縮処理する前の画像データを記憶部４２に保存することも考えられるが、その場合は、保存すべきデータ量が大きくなるため、現実的ではない。そこで、本発明では、撮影時に手ブレが生じていたとしても、圧縮処理前に手ブレ補正は行わず、圧縮処理後に手ブレ補正を行うようにしている。かかる構成とすることで、保存すべき画像データのデータ量を低減しつつも、ユーザの希望に応じて手ブレ補正の可否を決定できる。

ところで、ポスト処理を採用した場合、エッジ強調処理や圧縮処理の対象である画像データには、手ブレの影響が残存していることになる。この手ブレの影響は、エッジ強調処理や圧縮処理に悪影響を与える場合があった。しかしながら、従来、エッジ強調処理や圧縮処理で用いられる制御パラメータは、手ブレの有無とは無関係に規定されており、手ブレ発生状況に応じて制御パラメータを調整するということは行われていなかった。その結果、手ブレの発生状況によっては、処理後に得られる画質が低下するという問題があった。

これについてエッジ強調処理の場合を例に挙げて説明する。図３は、従来多用されているエッジ強調係数（以下「基準エッジ強調係数」という）の周波数応答を示すグラフである。また、図４は、この図３に図示した基準エッジ強調係数の一部を抜き出して二次元グラフで表現したものである。図５は、この図４に図示した基準エッジ強調係数に対応する撮像画像の周波数応答を示すグラフである。すなわち、エッジ強調係数や画像信号などは、水平方向、垂直方向、および、パワーの三軸を有しており、本来、図３に図示するような三次元グラフを用いて表現される。しかしながら、ここでは、説明の都合上、図４、図５に図示するように、三次元グラフの一部を抜き出して二次元グラフで表現したものを用いて説明する。また、図３〜図１２において縦軸は、全て、常用対数軸となっている。

従来、エッジ強調処理の際には、図４に図示する基準エッジ強調係数と図５に図示する撮像画像信号とを畳み込み積分し、エッジ成分を強調する。その後、図２に図示するコアリング特性に基づいて、一定閾値以下の信号を除去し、ノイズを低減していた。

ここで、基準エッジ強調係数は、本来、エッジ成分を強調でき得る値に設定されているが、手ブレが発生した際には、エッジ成分ではなくノイズを強調してしまう場合があった。例えば、図４に図示した基準エッジ強調係数では、高周波帯域を特に強調するような特性となっている。手ブレに起因して、この強調されるべき高周波帯域におけるＳ／Ｎ比が悪化していると、ノイズを強調することになる。その結果、エッジ強調処理を行うことにより、画質が却って低下するということになる。

具体例を挙げて説明する。いま、図６に図示するような周波数応答を有する原画像を撮像する場合を考える。ここで、原画像とは、手ブレやノイズが無い理想状態で得られる画像を意味している。この原画像の撮影の際に生じた手ブレのＰＳＦの周波数応答が図７に図示するように、高周波になるほどパワーが低下するものであったとする。手ブレにより劣化した劣化画像は、原画像とＰＳＦとの畳み込み積分したものとなる。したがって、ＰＳＦのパワーが小さい帯域では、原画像の信号が低下することになる。本例でのＰＳＦは、高周波になるほどパワーが低下しているため、当然、原画像の信号も高周波になるほどパワーが低下することになる。そして、劣化画像の周波数応答は、図８に図示するように、高周波帯域におけるパワーが小さいものとなる。

撮像により最終的に得られる撮像画像は、この劣化画像に、さらに、ＣＣＤノイズ等のノイズが付加されたものとなる。通常、付加されるノイズは、全帯域において一定のレベルを有したホワイトノイズである。したがって、最終的に得られる画像信号の周波数応答は、図５に図示するようなものとなる。ここで、高周波帯域における原画像の信号は、手ブレに起因して大幅に低下しているにもかかわらず、付加されるノイズは、手ブレとは無関係に一定のレベルを有している。したがって、本例では、手ブレにより原画像の信号が低下した高周波帯域においては、原画像の信号とノイズとの比率であるＳ／Ｎ比が、手ブレに起因して大幅に悪化（減少）しているといえる。

かかる高周波帯域におけるＳ／Ｎ比が悪化した画像に対して、図４に図示するように高周波におけるパワーが大きい基準エッジ強調係数を適用すると、高周波帯域においてノイズが強調されることになる。そして、その結果、得られる画像の画質の低下を招くことになる。

そこで、本実施形態では、手ブレ量（ＰＳＦ）に応じて、エッジ強調係数を可変調整し、これにより、画質の更なる向上を図っている。例えば、図７に図示するようなＰＳＦが得られた場合には、高周波帯域において原画像のパワーが劣化していると予想できる。したがって、この場合には、図９に図示するように、原画像の信号低下が予想される高周波帯域におけるエッジ強調係数のパワーを低下させる。これにより、不必要にノイズが強調されることが防止され、画質の更なる向上を図ることができる。

ここで、このエッジ強調係数の可変調整方法としては種々の形態が考えられるが、本実施形態では、次の手順でエッジ強調係数を補正する。まず、手ブレが無い場合に用いられる基準エッジ強調係数（すなわち図３、図４に図示したエッジ強調係数）を記憶部４２に記憶しておく。制御パラメータ算出部３２は、この基準エッジ強調係数と、ＰＳＦと、を畳み込み積分して得られた値を補正後エッジ強調係数として算出する。エッジ強調処理部５０は、この算出された補正後エッジ強調係数を用いてエッジ強調処理を実行する。

例えば、記憶部４２に、図１０に図示するような基準エッジ強調係数が記憶部４２に記憶されており、撮像時の手ブレ量に基づいて算出されたＰＳＦが図１１に図示するような周波数応答を有していたとする。この場合、制御パラメータ算出部３２は、図１０の基準エッジ強調係数と、図１１のＰＳＦと、を畳み込み積分し、得られた図１２に図示するエッジ強調係数を補正後エッジ強調係数として算出する。かかる方法によれば、エッジ強調係数のうち、手ブレに起因して原画像の信号が低下する帯域（換言すれば、ＰＳＦにおいてパワーが小さい帯域）における強調度（エッジ強調係数のパワー）が小さくなるため、エッジ強調処理によりノイズが不必要に強調されることが防止される。そして、これにより、手ブレが生じた場合であっても、画質を向上させることができる。

なお、ここで説明したエッジ強調係数の算出手順は、一例であり、当然、他の手順でエッジ強調係数を補正してもよい。例えば、本実施形態では、基準エッジ強調係数をＰＳＦの値に基づいて補正するようにしているが、予め複数種類のエッジ強調係数を用意しておき、ＰＳＦの値に応じて、当該複数のエッジ強調係数から最も適したものを選択するようにしてもよい。また、手ブレ量が一定の基準値より大きい場合には、エッジ強調処理そのものを省略するようにしてもよい。

次に、圧縮処理と手ブレとの関係について説明する。本実施形態において、エッジ強調処理やγ補正処理などの画像処理が施された画像データは、ＪＰＥＧ形式で圧縮され、保存される。ＪＰＥＧ圧縮処理では、画像を固定サイズ（例えば８×８画素）のブロックに分割し、そのブロック単位で、離散コサイン変換（ＤＣＴ）を用いて、８×８の周波数成分Ｇ（ｋ，ｌ）（ｋは水平方向、ｌは垂直方向、ｋ，ｌ＝０〜７）を取得する。その後、この周波数成分Ｇ（ｋ，ｌ）を、量子化テーブルで規定された対応する量子化値Ｑ（ｋ、ｌ）で割って四捨五入した値で、ハフマン符号によるエントロピー符号化がなされ、圧縮される。なお、エントロピー符号化とは、データの生起確率の高低に応じて異なる長さの符号を割り当てることで圧縮を行うものである。

ここで、従来、量子化のステップサイズを規定した量子化テーブルは、手ブレの有無に関わらず、一定であった。その結果、手ブレに起因してＳ／Ｎ比が悪化している帯域についてまで、無駄に小さい量子化値で量子化してしまう場合があった。そして、その結果、量子化後も、ノイズが無駄に残存しており、画質の劣化を招く場合があった。

そこで、本実施形態では、手ブレ量（ＰＳＦ）に応じて、適宜、量子化テーブルを変更するようにしている。これについて具体例を挙げて説明する。図１３（ａ）は、従来、多用されていた量子化テーブルの一例を示す図である。ＪＰＥＧ圧縮処理では、細かく変化する箇所は少ない階調でも不自然に感じにくいという人間の視覚特性を利用して、高周波における量子化値（ステップサイズ）を大きく（階調が少なくなるように）している。したがって、従来、多用されていた量子化テーブルでも、図１３に示すとおり、高周波における量子化値（例えば、Ｑ（７，７）など）は大きくなっている。

しかしながら、エッジ強調処理で説明したとおり、手ブレの発生状況によっては、当該手ブレに起因して原画像の信号成分は大幅に低減され、手ブレと無関係に生じるＣＣＤノイズなどのノイズ成分に対する原画像の信号成分の比率が大幅低下することもある。例えば、水平方向の手ブレが発生した場合には、水平方向の高周波帯域（Ｇ（７，０）やＧ（７，１）などの部分）における原画像の信号成分が低下する。かかる原画像の信号成分が低下した帯域を、小さい量子化値で量子化しても、ノイズ成分が残存するだけで、無駄であるといえる。そこで、本実施形態では、水平方向の手ブレが発生した場合、換言すれば、手ブレに起因して水平方向の高周波帯域における原画像の信号成分が低下している場合には、図１３（ｂ）に図示するように、量子化テーブルのうち水平方向の高周波帯域における量子化値（図１３（ｂ）においてハッチングを施した箇所）を増加させ、当該帯域における階調を大きくする。これにより、より効率的な圧縮が可能となる。また、不必要にノイズが残存することが防止され、圧縮画像における画質を向上できる。

ここで、この量子化テーブルの変更方法としては種々の形態が考えられるが、本実施形態では、次のような手順で、手ブレ量に応じた量子化テーブルを算出する。まず、予め手ブレが無い場合に用いられる量子化テーブル（すなわち、図１３（ａ）に図示した量子化テーブル）を基準量子化テーブルとして記憶部４２に記憶しておく。制御パラメータ算出部３２は、ＰＳＦ算出部３０で算出されたＰＳＦをＤＣＴし、８×８の周波数成分Ｐ（ｋ，ｌ）を算出する。続いて、この８×８の周波数成分のうち、Ｐ（０，０）を基準と考え、このＰ（０，０）に対する各周波数成分Ｐ（ｋ，ｌ）の絶対値の比を示す値Ｐａ（ｋ、ｌ）＝｛｜Ｐ（０，０）｜／｜Ｐ（ｋ、ｌ）｜｝を算出する。続いて、この計算で得られた値をＰａ（ｋ、ｌ）を、それぞれ、四捨五入するとともに２５５でクリップした値を補正係数Ｐ^＊（ｋ、ｌ）として算出する。この補正係数は、手ブレに起因する原画像の信号成分の各帯域ごとの低下度合いを示すパラメータとして機能する。この低下度合いを示す補正係数Ｐ^＊（ｋ，ｌ）と、基準量子化テーブルに規定された量子化値Ｑ（ｋ，ｌ）を対応する帯域ごとに積算し、２５５でクリップした値を補正後量子化値Ｑ^＊（ｋ，ｌ）＝Ｑ（ｋ，ｌ）×Ｐｂ（ｋ，ｌ）（Ｑ^＊（ｋ，ｌ）＞２５５の場合、Ｑ^＊（ｋ，ｌ）＝２５５に強制的に変換）として算出する。

この量子化テーブルの算出方法を具体例を挙げて説明する。図１４は、ＰＳＦのＤＣＴ結果Ｐ（ｋ，ｌ）を示す表である。このＰＳＦのＤＣＴ結果に着目すると、網掛け部分であるＰ（６，４）やＰ（７，５）の値が非常に小さいことがわかる。かかる周波数帯域では、原画像の信号成分は手ブレに起因して大幅に低下しており、Ｓ／Ｎ比が悪化している。このような周波数帯域についても、細かい階調で量子化することは無駄であり、ノイズの残存を招くことになる。

そこで、制御パラメータ算出部３２は、上述した手順で補正係数Ｐ^＊（ｋ，ｌ）を算出する。この補正係数Ｐ^＊（ｋ，ｌ）は、Ｐ（０，０）に対してＰ（ｋ，ｌ）が小さいほど、帯域ほど大きくなる。したがって、既述した（６，４）や、（７，５）のように、ＰＳＦの周波数成分が小さい帯域、換言すれば、原信号の信号成分が手ブレに起因して大幅に低下していると推測できる帯域の補正係数Ｐ^＊（ｋ，ｌ）の値は大きくなる。かかる補正係数Ｐ^＊（ｋ，ｌ）を、図１３（ａ）に図示した基準量子化テーブルＱ（ｋ，ｌ）に積算して得られた補正後量子化テーブルＱ^＊（ｋ，ｌ）が図１５である。図５を見れば明らかな通り、ＰＳＦの周波数成分が小さい（６，４）や（７，５）における補正後量子化値Ｑ^＊（ｋ，ｌ）は、他の帯域に比して大きくなっている。したがって、この補正後量子化値Ｑ^＊（ｋ，ｌ）を用いて量子化すれば、手ブレに起因して原画像の信号成分が低下した帯域を無駄に細かい階調で量子化することが防止される。そして、その結果、圧縮効率を向上させるだけでなく、ノイズ残存を防止することができるので、圧縮画像の画質を向上させることができる。

なお、ここで説明した量子化値の補正方法は一例であり、当然、他の方法で量子化値を補正してもよい。例えば、上記説明のように、全帯域に関して補正係数を算出するのではなく、ＰＳＦの周波数成分パワーの絶対値が所定閾値（例えば１×１０^−４）以下の帯域についてのみ、補正係数を算出し、量子化値を補正するようにしてもよい。また、基準量子化テーブルを補正するのではなく、予め用意された複数の量子化テーブルの中から、ＰＳＦの値に基づいて最適な量子化テーブルを選択するようにしてもよい。

以上説明したように、本実施形態によれば、手ブレ量に応じて、画像処理に利用する制御パラメータを可変調整している。これにより、手ブレが生じた場合であっても、画質の向上を図ることができる。なお、本実施形態では、エッジ強調係数および量子化テーブルのみを可変調整するようにしているが、手ブレの影響を受けやすい画像処理に用いられる制御パラメータであれば他の制御パラメータも手ブレ量に応じて可変調整するようにしてもよい。

本発明の実施形態であるデジタルカメラの構成を示すブロック図である。コアリング処理におけるコアリング特性値を示すグラフである。基準エッジ強調係数の周波数応答を示すグラフである。基準エッジ強調係数の周波数応答の一例を示すグラフである。撮像画像の周波数応答を示すグラフである。原画像の周波数応答を示すグラフである。ＰＳＦの周波数応答を示すグラフである。劣化画像の周波数応答を示すグラフである。補正後エッジ強調係数の周波数応答を示すグラフである。他の基準エッジ強調係数の周波数応答を示すグラフである。他のＰＳＦの周波数応答を示すグラフである。他の補正後エッジ強調係数の周波数応答を示すグラフである。（ａ）は基準量子化テーブルを、（ｂ）は補正後量子化テーブルを示す表である。（ａ）はＰＳＦのＤＣＴ結果であり、（ｂ）は補正係数である表である。補正後量子化テーブルを示す表である。

符号の説明

１０制御部、１１絞り部材、１２レンズ、２４メモリ、２６画像処理部、２８角速度センサ、３０ＰＳＦ算出部、３２制御パラメータ算出部、３４圧縮処理部、３６伸張処理部、３８手ブレ補正処理部、４２記憶部、４６ＷＢ処理部、４８ γ補正処理部、５０エッジ強調処理部。

Claims

撮像により得られた撮像画像データに対して所定の画像処理を施す画像処理装置であって、
撮像時における撮像系の手ブレ量を検出する検出手段と、
画像処理に用いられる制御パラメータを算出する手段であって、検出手段により検出された手ブレ量に基づいて手ブレやノイズが無い理想状態で得られる原画像の信号成分が手ブレに起因して低下した帯域におけるノイズの影響を低減でき得る制御パラメータを算出する制御パラメータ算出手段と、
算出された制御パラメータを用いて、撮像画像データに対して規定の画像処理を施す画像処理手段と、
を備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置であって、
前記制御パラメータ算出手段が、前記制御パラメータとして、少なくとも、エッジ強調処理における各周波数帯域ごとの強調度を示すエッジ強調係数を算出する場合、
前記制御パラメータ算出手段は、前記検出された手ブレ量に基づいて、前記手ブレに起因して原画像の信号成分が低下した帯域における強調度が小さくなるようなエッジ強調係数を算出することを特徴とする画像処理装置。
請求項２に記載の画像処理装置であって、さらに、
前記検出された手ブレ量に基づいて、手ブレによる像の動き量を示すＰＳＦを算出するＰＳＦ算出手段と、
手ブレが発生していない状態で利用されるエッジ強調係数を、基準エッジ強調係数として記憶する記憶手段と、
を備え、
前記制御パラメータ算出手段は、前記基準エッジ強調係数と、前記ＰＳＦと、を畳み込み積分することでエッジ強調係数を算出する、
ことを特徴とする画像処理装置。
請求項１から３のいずれか１項に記載の画像処理装置であって、
前記画像処理手段は、前記検出された手ブレ量が一定以上の場合には、エッジ強調処理を行わないことを特徴とする画像処理装置。
請求項１から４のいずれか１項に記載の画像処理装置であって、
前記制御パラメータ算出手段が、前記制御パラメータとして、圧縮処理のための量子化処理における各周波数帯域ごとの量子化値を示す量子化テーブルを算出する場合、
前記制御パラメータ算出手段は、前記検出された手ブレ量に基づいて、前記手ブレに起因して原画像の信号成分が低下した帯域における量子化値が大きくなるような量子化テーブルを算出することを特徴とする画像処理装置。
請求項５に記載の画像処理装置であって、さらに、
前記検出された手ブレ量に基づいて、手ブレによる像の動き量を示すＰＳＦを算出するＰＳＦ算出手段と、
手ブレが発生していない状態で利用される量子化テーブルを、基準量子化テーブルとして記憶する記憶手段と、
を備え、
前記制御パラメータ算出手段は、前記ＰＳＦに基づいて手ブレに起因する原画像の信号成分の各帯域ごとの低下度合いを算出し、当該低下度合いが大きい帯域ほど量子化値を増加するべく前記基準量子化テーブルを補正することで量子化テーブルを算出する、
ことを特徴とする画像処理装置。
請求項１から６のいずれか１項に記載の画像処理装置であって、
前記画像処理手段は、前記撮像画像データの圧縮処理の実行後に、手ブレに起因する画像劣化を補正する手ブレ補正処理を行うことを特徴とする画像処理装置。