JP2009201062A - 撮像装置及び撮像方法 - Google Patents
撮像装置及び撮像方法 Download PDFInfo
- Publication number
- JP2009201062A JP2009201062A JP2008043384A JP2008043384A JP2009201062A JP 2009201062 A JP2009201062 A JP 2009201062A JP 2008043384 A JP2008043384 A JP 2008043384A JP 2008043384 A JP2008043384 A JP 2008043384A JP 2009201062 A JP2009201062 A JP 2009201062A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- gain
- image
- correction gain
- light amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】撮影状況に依存した適切な光量落ち補正が実現できるようにする。
【解決手段】光学ユニットによって撮像素子上に結像された映像から映像信号を生成する手段と、前記光学ユニットに起因して生じる光量落ち現象を、前記撮像素子上の任意の画素毎に補正する手段と、前記光量落ち補正を行うための補正ゲインを、前記撮像素子上の画素座標位置に関連付けた特性に基いて調整する手段と、前記映像信号を生成する手段が前記映像信号を生成する状況に応じて、前記ゲインを調整する手段の調整動作を制御する手段とを設け、光量が低下した領域の光量補正を、画質を劣化させることなく行うことができるようにする。
【選択図】図１
【解決手段】光学ユニットによって撮像素子上に結像された映像から映像信号を生成する手段と、前記光学ユニットに起因して生じる光量落ち現象を、前記撮像素子上の任意の画素毎に補正する手段と、前記光量落ち補正を行うための補正ゲインを、前記撮像素子上の画素座標位置に関連付けた特性に基いて調整する手段と、前記映像信号を生成する手段が前記映像信号を生成する状況に応じて、前記ゲインを調整する手段の調整動作を制御する手段とを設け、光量が低下した領域の光量補正を、画質を劣化させることなく行うことができるようにする。
【選択図】図１
Description
本発明は撮像装置及び撮像方法に関し、特に、光学的な要因による画質の劣化を、光学情報を基にして補正するために用いて好適な技術に関する。
近年のデジタルビデオカメラ、デジタルカメラでは、超多画素のセンサを採用することにより、より高画質な映像を得られるようになってきている。反面、センサ画素の微細化や、小型レンズ設計の困難さなどの要因で、光学系が原理的に引き起こしてしまう像円周辺部の光量低下による画質劣化が顕在化するようになってきている。このような問題に対し、光学系のパラメータ情報から光量低下を補正する技術としては、特許文献１に記載の「光量補正装置」がある。
また、デジタルビデオカメラ、デジタルカメラでは、ジャイロなどを用いて取得される手ブレ量を基にして、シフトレンズなどを用いて光路を変化させることで手ブレ成分を除去する光学的手ブレ補正が採用されている。あるいは、撮像素子からの画像を一度フレームメモリに保持し、フレームメモリへの書き込み、読み出しで画角調整することで手ブレ成分を除去する電子的手ブレ補正が採用されている。
このような手ブレ補正を行うことで、光学系起因の光量低下は、現象中心のズレなど、様子が逐次変わることになる。このような問題に対し、光学系のパラメータ情報から光量低下を補正する技術としては、特開２００５-２６９１３０に記載の「ドキュメント編集システム」がある。
特に、ビデオカメラのように、焦点距離、絞り、フォーカス位置が撮影中に常に変動するような撮影を想定した場合、光学的な要因による光量低下は、光学パラメータの変化によって逐次変動している。
このような撮影状況に対処するためには、補正特性の生成手段は、撮影状況に応じて適切に動的制御を行う必要がある。前述した特許文献１に記載の「光量補正装置」では、フォーカス、ズーム、アイリス情報から、動的に撮像装置の映像信号の光量低下を補正している。
しかしながら、特許文献１に記載の「光量補正装置」では、補正処理によって生じる画質劣化、特に、Ｓ／Ｎ感の劣化について言及されていない。このため、もともとノイズ感の高い撮影状況であった場合に、光量低下を補正した領域がかえって画質を劣化させてしまっていた。
また、特許文献２に記載の「ドキュメント編集システム」では、手ブレ補正機構を有する撮像装置で、手ブレ補正の移動量に応じてシェーディング補正を決定している。しかしながら、この「ドキュメント編集システム」では、やはり補正処理によって生じる画質劣化について言及されていない。特に、Ｓ／Ｎ感の劣化について言及されておらず、もともとノイズ感の高い撮影状況であった場合に、光量低下を補正した領域が画質をかえって劣化させてしまっていた。
本発明は前述の問題点に鑑み、撮影状況に依存した適切な光量落ち補正が実現できるようにすることを目的としている。
本発明は前述の問題点に鑑み、撮影状況に依存した適切な光量落ち補正が実現できるようにすることを目的としている。
本発明の撮像装置は、光学ユニットによって撮像素子上に結像された映像から映像信号を生成する映像信号生成手段と、予め記憶されたデータを用いて、前記撮像素子上の画素の座標位置に応じた補正ゲインを求める補正生成手段と、前記補正生成手段にて生成された前記補正ゲインを抑圧する調整手段と、前記調整手段にて調整された前記補正ゲインを用いて、前記光学ユニットに起因して生じる光量落ち現象を補正する光量落ち補正手段とを有することを特徴とする。
本発明の撮像方法は、光学ユニットによって撮像素子上に結像された映像から映像信号を生成する映像信号生成工程と、予め記憶されたデータを用いて、前記撮像素子上の画素の座標位置に応じた補正ゲインを求める補正生成工程と、前記補正生成工程において生成された前記補正ゲインを抑圧する調整工程と、前記調整工程において調整された前記補正ゲインを用いて、前記光学ユニットに起因して生じる光量落ち現象を補正する光量落ち補正工程とを有することを特徴とする。
本発明のプログラムは、光学ユニットによって撮像素子上に結像された映像から映像信号を生成する映像信号生成工程と、予め記憶されたデータを用いて、前記撮像素子上の画素の座標位置に応じた補正ゲインを求める補正生成工程と、前記補正生成工程において生成された前記補正ゲインを抑圧する調整工程と、前記調整工程において調整された前記補正ゲインを用いて、前記光学ユニットに起因して生じる光量落ち現象を補正する光量落ち補正工程とをコンピュータに実行させることを特徴とする。
本発明によれば、画質低下の抑制と光量落ち補正をバランス良く両立させることが可能となる。
（第１の実施形態）
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
図１は、本発明に好適な光量落ち補正処理を行う撮像装置の構成例を示すブロック図である。
図１に示すように、本実施形態の撮像装置は、ズームレンズ、フォーカスレンズなどで構成されるレンズユニット１、及び絞り２からなる光学ユニットを通して結像された映像は、色フィルタが規則的に配色された撮像素子３で映像信号となる。そして、アナログフロントエンド（以降ＡＦＥ）４で、デジタル映像信号に変換される。すなわち、レンズユニット１、絞り２、撮像素子３及びアナログフロントエンド４により映像信号生成部が構成されている。
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
図１は、本発明に好適な光量落ち補正処理を行う撮像装置の構成例を示すブロック図である。
図１に示すように、本実施形態の撮像装置は、ズームレンズ、フォーカスレンズなどで構成されるレンズユニット１、及び絞り２からなる光学ユニットを通して結像された映像は、色フィルタが規則的に配色された撮像素子３で映像信号となる。そして、アナログフロントエンド（以降ＡＦＥ）４で、デジタル映像信号に変換される。すなわち、レンズユニット１、絞り２、撮像素子３及びアナログフロントエンド４により映像信号生成部が構成されている。
ＡＦＥ４から出力されるデジタル映像信号は、光量落ち補正回路５に入力される。そして、光量落ち補正回路５において補正値Ｇｔ'が、撮像素子上の任意の画素毎に順次乗ぜられることで、レンズユニット１及び絞り２によって生じる像円周辺部の光量落ち現象が補正されて出力される。
次に、補正値Ｇｔ'の生成について詳細に述べる。
ビデオカメラの光学系は、ズーミング操作や被写体の移動、撮影対象の変更、周囲の明るさの環境変化や撮影者の意図する撮影効果などの様々な要因により、光学パラメータは変更可能である。ここで、光学パラメータは焦点距離、フォーカス位置、絞り値に代表され、常に制御され変動している。なお、以降の説明において、光学パラメータとある場合は、焦点距離、フォーカス位置、絞り値を示す。
ビデオカメラの光学系は、ズーミング操作や被写体の移動、撮影対象の変更、周囲の明るさの環境変化や撮影者の意図する撮影効果などの様々な要因により、光学パラメータは変更可能である。ここで、光学パラメータは焦点距離、フォーカス位置、絞り値に代表され、常に制御され変動している。なお、以降の説明において、光学パラメータとある場合は、焦点距離、フォーカス位置、絞り値を示す。
マイコン６は、所定の焦点距離を実現するための駆動パルス位置ＣＬを出力し、レンズユニット１のズームレンズ用アクチュエータ７を駆動する。また、マイコン６は、所定の焦点距離を実現するための駆動パルス位置ＣＦを出力し、レンズユニット１のフォーカスレンズ用アクチュエータ８を駆動する。
さらに、マイコン６は、所定の絞り値を実現するための駆動パルス位置ＣＦを出力し、絞り２のアクチュエータ９を駆動する。タイミングジェネレータ（以降、ＴＧ）１０は、撮影装置が使用する撮像素子３の駆動仕様に合わせて、図１７に示すような水平同期信号ＨＤ、垂直同期信号ＶＤを発生してＡＦＥ４に出力する。ＡＦＥ４は駆動波形を生成して撮像素子３に入力する。
この水平同期信号ＨＤ、垂直同期信号ＶＤは、マイコン６から指示する光軸中心位置情報Ｃｘ、Ｃｙとともに、画素座標生成回路１１にも入力される。画素座標生成回路１１は、例えば図１９のように構成されている。
画素座標生成回路１１には、水平同期信号ＨＤ、垂直同期信号ＶＤが入力されている。そして、水平同期信号ＨＤの立ち下りでリセットされるＨカウンタ１９１と、垂直同期信号ＶＤの立ち下がりでリセットされるＶカウンタ１９２が、それぞれ水平カウンタ値Ｘ、垂直カウンタ値Ｙを出力する。
ここで、水平カウンタ値Ｘ及び垂直カウンタ値Ｙは、図１８に示すように、撮像素子３の出力画素を走査方向に沿って水平軸を、走査方向に直交して垂直軸を規定する、二次元の直交座標系となっている。
画素座標生成回路１１に入力される光軸中心位置情報Ｃｘ、Ｃｙは、レンズユニット１、絞り２で構成される光学系の光軸中心位置ｃが、前述した直交座標系でどの位置にあるかを示している。ここで、着目画素tの水平カウンタ値Ｘ及び垂直カウンタ値ＹをＸｔ、Ｙｔとすると、光軸中心位置ｃを原点とする極座標系において、着目画素tの極座標は下記の「数１」と表すことができる。極座標変換回路１９３は、「数１」の演算を行い、極座標値Ｒｔを出力する。「数１」のような平方根演算は、二分法、開平法などの既知の手法を有限語長精度で表現することにより、ハードウェア数値演算として実現することが可能である。
さて、光学系に起因して生じる光量落ち現象であるが、像高が光学中心から乖離するにつれて、光量落ちが増大することが知られており、光軸中心からの距離で示される像高Ｒに対して、例えば図７（ａ）、（ｂ）のような特性を有する。図７（ａ）には、着目画素tの光量Ｖｔと像高Ｒとの関係において複数の特性が描かれているが、これは、光学パラメータが変更されたときの特性変化の代表的な例を示したものである。
これを見ると、像高中心に近いところから緩やかに光量落ちが発生する場合や、像光が高くなったところで急激に光量が低下する場合など、光学パラメータによって多様な特性を有することが分かる。このような光量落ち現象を解消するためには、図７（ｂ）のように、現象特性の逆数をもって補正ゲインとすればよい。
マイコン６は、光学ユニット１及び絞り２に駆動パルス位置ＣＬ、ＣＦ、Ｃｆを出力する際に、光量落ち補正データベース１３を参照し、光量落ち補正生成回路１２に与える補正関数係数セットＣｍを出力する。
光量落ち補正データベース１３は、光学パラメータに対する光量落ち現象の補正特性を保持しているフラッシュメモリなどの記憶装置である。例えば、着目画素tにおける光量落ち補正ゲインＧｔを、３次関数で表現する場合は、以下の（式）のようになる。
Ｇｔ＝ａｔ3＋ｂｔ2＋ｃｔ＋ｄ
Ｇｔ＝ａｔ3＋ｂｔ2＋ｃｔ＋ｄ
前述した（式)において、３次関数の各項の係数ａ、ｂ、ｃ、ｄを補正関数係数セットＣｍとして、光学パラメータ毎に参照可能なＬＵＴ（look up table）としてあらかじめ算出して保持しておく。このＬＵＴは、撮像装置の許容するメモリ容量や、光学系の特性変化量の傾向に応じて情報量を決定すればよく、情報を間引いた光学パラメータ領域では、前後の値から補間するなどの手法で補うことができる。
なお、光量落ち補正データベース１３をＬＵＴとしたのは一例に過ぎない。光学パラメータに対して補正関数係数セットＣｍが複雑な特性変化をするような場合には、補正関数係数セットＣｍの変化自体をさらに高次の関数で表現するなど、撮像装置の特性に応じた手法を採用することができる。
光量落ち補正生成回路１２は、光量落ち補正特性関数を実現する数値演算回路であり、例えば前述したような、３次関数演算を行い、光量落ち補正ゲインＧｔを出力する。光量落ち補正ゲインＧｔは、ゲイン調整回路１４に入力されるとともに、マイコン６からはゲイン調整用の制御係数が入力され、ゲイン調整回路１４の調整動作を制御する。
ゲイン調整回路１４で実行される光量落ち補正ゲイン値の制御は、例えば図８のような、閾値Ｇｔｈと抑圧係数Ｇｓ（Ｇｓ＜０）による非線形特性とし、以下のような（式）で表すことができるものとする。
Ｇｍ＝１ （Ｇｔ＜Ｇｔｈ）
Ｇｍ＝Ｇｓ（Ｇｔ−Ｇｔｈ）＋１ （Ｇｔｈ≦Ｇｔ≦Ｇｔｈ−１／Ｇｓ）
Ｇｍ＝０ （Ｇｔｈ−１／Ｇｓ＜Ｇｔ）
このような補正ゲインＧｔの値が大きいほど、その値を大きく抑圧する特性を実現するため、制御係数は閾値Ｇｔｈと抑圧係数Ｇｓで構成されている。なお、光量落ち補正データベース１３が保持するデータを、Ｇｍが０となるＧｔの値が存在しない値に設定しておくことが望ましい。
Ｇｍ＝１ （Ｇｔ＜Ｇｔｈ）
Ｇｍ＝Ｇｓ（Ｇｔ−Ｇｔｈ）＋１ （Ｇｔｈ≦Ｇｔ≦Ｇｔｈ−１／Ｇｓ）
Ｇｍ＝０ （Ｇｔｈ−１／Ｇｓ＜Ｇｔ）
このような補正ゲインＧｔの値が大きいほど、その値を大きく抑圧する特性を実現するため、制御係数は閾値Ｇｔｈと抑圧係数Ｇｓで構成されている。なお、光量落ち補正データベース１３が保持するデータを、Ｇｍが０となるＧｔの値が存在しない値に設定しておくことが望ましい。
ゲイン調整回路１４は、例えば図２０のような回路である。ゲイン生成回路２０１は、光量落ち補正ゲインＧｔと閾値Ｇｔｈ、抑圧係数Ｇｓから、前述した各式の演算によってマスターゲインＧｍを出力する。マスターゲインＧｍは、乗算回路２０２で光量落ち補正ゲインＧｔに乗じられ、指定の制御特性でゲインを調整した光量落ち補正ゲインＧｔ'を出力する。
このようにして、光学パラメータから求められる光量落ち補正ゲインに対して、適性値に調整を行うことが可能となる。例えば、光量落ち現象が図９（ａ）のように非常に大きな光量低下を起こしている場合、これを補正して中央部と同じ明るさにするには、非常に大きなゲインを画像周辺部にかけることになる。
このような補正を行うと、図９（ｂ）のように、明るさは画像全体で均一になるが、光量落ち補正を強く行った領域はＳ／Ｎが低下し、ノイズによる画質劣化が顕著となって現れてしまう。
このような画質低下を低減するために、本実施形態のゲイン調整回路１４は、閾値Ｇｔｈを超えるような光量落ち補正に対して、補正ゲインを弱くするように作用する。このような構成、制御を行うことにより、光量落ち補正を過度に行うことが抑制され、画質劣化を低減することが可能となる。
閾値Ｇｔｈ、抑圧係数Ｇｓは固定である必要はなく、撮影状況や光量落ち特性曲線の状態、撮影者の意図などで動的に変更することができる。なお、この実施形態では、ゲイン調整回路１４を設けてゲイン調整を行ったが、これは一例に過ぎない。
例えば、マイコン６で補正関数係数セットＣｍを生成する際に、ゲイン調整回路１４に与えたような抑圧特性を重畳する、ＬＵＴをシフトして使うなど、ソフトウェアでも同様の制御を実現することが可能である。
前述のように構成された本実施形態の撮像装置で行われる光量落ち補正処理の概略を図３０のフローチャートを参照しながら説明する。
ステップＳ３０１において映像信号が生成されると、ステップＳ３０２に進んで光量落ち補正を行うための補正ゲインを生成する。ステップＳ３０１で行われる映像信号の生成は、前述したように、レンズユニット１、絞り２、撮像素子３及びアナログフロントエンド４により映像信号生成部により行われる。また、光量落ち補正を行うための補正ゲインは、光量落ち補正生成回路１２により、撮像素子３上の画素座標位置に関連付けた特性から生成される。
ステップＳ３０１において映像信号が生成されると、ステップＳ３０２に進んで光量落ち補正を行うための補正ゲインを生成する。ステップＳ３０１で行われる映像信号の生成は、前述したように、レンズユニット１、絞り２、撮像素子３及びアナログフロントエンド４により映像信号生成部により行われる。また、光量落ち補正を行うための補正ゲインは、光量落ち補正生成回路１２により、撮像素子３上の画素座標位置に関連付けた特性から生成される。
次に、ステップＳ３０３において、ステップＳ３０２で作成した光量落ち補正ゲインの調整をゲイン調整回路１４により行う。前述したように、ゲイン調整回路１４は、光量落ち補正生成回路１２から供給される、着目画素tにおける光量落ち補正ゲインＧｔを、指定の制御特性で調整して光量落ち補正ゲインＧｔ'を出力する。
次に、ステップＳ３０４において、光量落ち補正が行われる。この補正は、光量落ち補正回路５において補正値Ｇｔ'を画素毎に順次乗算されて行われる。この補正が行われることにより、レンズユニット１及び絞り２によって生じる像円周辺部の光量落ち現象が補正されて出力される。
次に、ステップＳ３０５において、全ての画素を補正したか否かが判断される。この判断の結果、全ての画素を補正していない場合にはステップＳ３０２に戻って前述した処理を繰り返し行う。撮影が行われている間はステップＳ３０５の判断は、常に「ＮＯ」となる。
本実施形態の撮像装置は、前述したような光量落ち補正を行うことにより、Ｓ／Ｎ感の劣化などの画質劣化が生じることがない補正処理を実現することができる。これにより、撮影状況に依存した適切な光量落ち補正が実現でき、例えば、ノイズ感の高い撮影状況であった場合においても、画質を劣化させることなく光量低下を補正することができる。
また、光量落ち補正ゲインが閾値を超えるような光量落ち補正領域に対して、補正ゲインを徐々に抑圧するように制御するようにした。これにより、光量落ち補正を過度に行うことを抑制することができ、光量落ち補正とノイズ感の緩和の両立を実現する。なお、本実施形態の撮像装置は画素単位で光量落ち補正を行ったが、複数の画素で構成されたエリア単位で光量落ち補正を行っても構わない。撮像素子を複数の領域に分け、この領域毎に光量落ち補正を行う構成であればよい。
（第２の実施形態）
次に、本発明の第２の実施形態についての説明をする。図２は、本発明に好適な光量落ち補正処理を行う撮像装置の一例を説明するブロック図の例である。なお、第１の実施形態の撮像装置を説明した図１の構成と同じくする部分については、詳細な説明は省略する。
次に、本発明の第２の実施形態についての説明をする。図２は、本発明に好適な光量落ち補正処理を行う撮像装置の一例を説明するブロック図の例である。なお、第１の実施形態の撮像装置を説明した図１の構成と同じくする部分については、詳細な説明は省略する。
ズームレンズ、フォーカスレンズで構成されるレンズユニット１及び絞り２からなる光学ユニットを通して結像された映像は、色フィルタが規則的に配色された撮像素子３で映像信号となり、アナログフロントエンド４で、デジタル映像信号に変換される。デジタル映像信号は、光量落ち補正回路５に入力され、光量落ち補正回路５において補正値Ｇｔ'を画素毎に順次乗算されることで、レンズユニット１及び絞り２によって生じる像円周辺部の光量落ち現象が補正されて出力される。
第２の実施形態では、マイコン６はＡＦＥ４のゲイン調整機構を制御するために、制御信号Ｇａを出力する。撮像装置は、環境の変化により暗くなってくると、撮像素子３には十分な光が集光されなくなり、出力レベルが下がってくる。これを補うために、マイコン６はＡＦＥ４に対して、暗さに応じたゲイン量を算出した上で、適正露光値になるようにゲイン値Ｇａを出力する。ＡＦＥ４は、指示されたゲイン値Ｇａに基づいて、撮像素子３の出力レベルを増大するようにゲインを乗じて出力する。
次に、ゲイン調整回路１４による、光量落ち補正ゲインＧｔに対する補正制御、及び補正値Ｇｔ'の生成について詳細に述べる。
第２の実施形態では、ゲイン調整回路１４には、光量落ち補正生成回路１２が出力した光量落ち補正ゲインＧｔ及び、マイコン６がＡＦＥ４に対して出力したゲイン値Ｇａが入力される。
第２の実施形態では、ゲイン調整回路１４には、光量落ち補正生成回路１２が出力した光量落ち補正ゲインＧｔ及び、マイコン６がＡＦＥ４に対して出力したゲイン値Ｇａが入力される。
ゲイン調整回路１４で実行される光量落ち補正ゲイン値の制御は、ここでは例えば図１０の特性図に示すような閾値Ｇｔｈと抑圧係数Ｇｓ（Ｇｓ＜０）による非線形特性とし、以下のような（式)で表すことができるものとする。
Ｇｍ＝１ （Ｇａ＜Ｇｔｈ）
Ｇｍ＝Ｇｓ（Ｇａ−Ｇｔｈ）＋１ （Ｇｔｈ≦Ｇａ≦Ｇｔｈ−１／Ｇｓ）
Ｇｍ＝０ （Ｇｔｈ−１／Ｇｓ＜Ｇａ）
なお、正常な処理では、マイコン６はＡＦＥ４のゲイン値ＧａをＧｍが０となる値に設定することはない。
Ｇｍ＝１ （Ｇａ＜Ｇｔｈ）
Ｇｍ＝Ｇｓ（Ｇａ−Ｇｔｈ）＋１ （Ｇｔｈ≦Ｇａ≦Ｇｔｈ−１／Ｇｓ）
Ｇｍ＝０ （Ｇｔｈ−１／Ｇｓ＜Ｇａ）
なお、正常な処理では、マイコン６はＡＦＥ４のゲイン値ＧａをＧｍが０となる値に設定することはない。
ゲイン調整回路１４は、例えば図２１のような回路であり、ゲイン生成回路２１１は、ゲイン値Ｇａと閾値Ｇｔｈ、抑圧係数Ｇｓから、前述した式の演算によってマスターゲインＧｍを出力する。マスターゲインＧｍは、乗算回路２１２で光量落ち補正ゲインＧｔに乗じられ、指定の制御特性でゲインを調整した光量落ち補正ゲインＧｔ'を出力する。このようにして、光学パラメータから求められる光量落ち補正ゲインに対して、適性値に調整を行うことが可能となる。
例えば、撮影時の映像レベルが充分に明るい場合、光量落ち現象が図２２（ａ）のように起きていたとしても、これを補正するにはそれほど大きなゲインは必要ない。このような補正を行うと、図２２（ｂ）のように、明るさは画像全体で均一、かつ光量落ち補正によるＳ／Ｎ低下も軽微な画像を得ることができる。しかし、撮影時に周囲が暗くなると、マイコン６の露出調整によりＡＦＥ４の出力にゲインがかけられることになり、図２２（ｃ）のような、全体にノイズがのるような映像出力となる。
このような状態で光量落ち補正を行うと、図２２（ｄ）のように、明るさは画像全体で均一になるが、光量落ち補正を強く行った領域のＳ／Ｎ低下が中央部のＳ／Ｎ感と一致しなくなり、ノイズによる画質劣化が顕著となって現れてしまう。
このような画質低下を低減するために、ゲイン調整回路１４は、閾値Ｇｔｈを超えるようなＡＦＥ４のゲインに対して、補正ゲインを所定値から徐々に弱くするように作用する。このような構成、制御を行うことにより、光量落ち補正を過度に行うことが抑制され、画質劣化を低減することが可能となる。
閾値Ｇｔｈ、抑圧係数Ｇｓは固定である必要はなく、撮影状況や光量落ち特性曲線の状態、撮影者の意図などで動的に変更することができる。なお、この実施形態では、ゲイン調整回路１４を設けてゲイン調整を行ったが、これは一例に過ぎない。例えば、マイコン６で補正関数係数セットＣｍを生成する際に、ゲイン調整回路１４に与えたような抑圧特性を重畳する、ＬＵＴをシフトして使うなど、ソフトウェアでも同様の制御を実現することが可能である。
（第３の実施形態）
次に、本発明の第３の実施形態についての説明をする。図３は、本発明に好適な光量落ち補正処理を行う撮像装置のブロック図の例である。なお、前述した第１の実施形態、第２の実施形態を構成する撮像装置と同じくする部分については、詳細な説明は省略する。
次に、本発明の第３の実施形態についての説明をする。図３は、本発明に好適な光量落ち補正処理を行う撮像装置のブロック図の例である。なお、前述した第１の実施形態、第２の実施形態を構成する撮像装置と同じくする部分については、詳細な説明は省略する。
ズームレンズ、フォーカスレンズで構成されるレンズユニット１及び絞り２からなる光学ユニットを通して結像された映像は、色フィルタが規則的に配色された撮像素子３で映像信号となり、アナログフロントエンド４で、デジタル映像信号に変換される。デジタル映像信号は、光量落ち補正回路５に入力され、光量落ち補正回路５において補正値Ｇｔ'を画素毎に順次乗算されることで、レンズユニット１及び絞り２によって生じる像円周辺部の光量落ち現象が補正されて出力される。
第３の実施形態では、マイコン６はレンズユニット１内部にある手ブレ補正用のシフトレンズ１５を制御するために、制御信号Ｃｄｉ、Ｃｖａを出力する。撮像装置は、撮影者の手ブレによって、撮像素子３に結像する映像にランダムな画角変動が生じてしまい、映像として見辛いものとなってしまう。
これを補うために、マイコン６はシフトレンズ１５に対して、手ブレ方向、手ブレ量を検出した上で、手ブレのない映像が撮像素子３に結像するように、位相変化方向Ｃｄｉ、位相変化量Ｃｖａを位相シフト制御信号として出力する。シフトレンズ１５は、指示された制御信号Ｃｄｉ、Ｃｖａに基づいて、シフトレンズを所定の方向、所定の量だけ位相シフトさせ、手ブレ成分を除去する。
図１１は、光学ユニット１の像円に対して、シフトレンズの移動により撮像素子３に結像する領域の変化の一例を示す図である。図１１において、光軸中心にある画角（黒枠）は、撮影者の手ブレ方向、量とちょうど点対象になるように位相変化方向Ｃｄｉ、位相変化量Ｃｖａが与えられ、撮像画角が移動する（白枠）。
次に、ゲイン調整回路１４による、光量落ち補正ゲインＧｔに対する補正制御及び補正値Ｇｔ'の生成について詳細に述べる。
第３の実施形態では、ゲイン調整回路１４には、光量落ち補正生成回路１２が出力した光量落ち補正ゲインＧｔ及び、マイコン６がシフトレンズ１５に対して出力した位相シフト制御信号Ｃｄｉ、Ｃｖａが入力される。
第３の実施形態では、ゲイン調整回路１４には、光量落ち補正生成回路１２が出力した光量落ち補正ゲインＧｔ及び、マイコン６がシフトレンズ１５に対して出力した位相シフト制御信号Ｃｄｉ、Ｃｖａが入力される。
ゲイン調整回路１４で実行される光量落ち補正ゲイン値の制御は、ここでは例えば図１２のような閾値Ｇｔｈと抑圧係数Ｇｓ（Ｇｓ＜０）による非線形特性とし、以下のような（式)で表すことができるものとする。
Ｇｍ＝１ （Ｃｖａ＜Ｃｔｈ）
Ｇｍ＝Ｇｓ（Ｃｖａ−Ｃｔｈ）＋１ （Ｃｔｈ≦Ｃｖａ≦Ｃｔｈ−１／Ｇｓ）
Ｇｍ＝０ （Ｃｔｈ−１／Ｇｓ＜Ｃｖａ）
なお、正常な手ブレ補正処理では、マイコン６は位相変化量ＣｖａをＧｍが０となる値に設定することはない。
Ｇｍ＝１ （Ｃｖａ＜Ｃｔｈ）
Ｇｍ＝Ｇｓ（Ｃｖａ−Ｃｔｈ）＋１ （Ｃｔｈ≦Ｃｖａ≦Ｃｔｈ−１／Ｇｓ）
Ｇｍ＝０ （Ｃｔｈ−１／Ｇｓ＜Ｃｖａ）
なお、正常な手ブレ補正処理では、マイコン６は位相変化量ＣｖａをＧｍが０となる値に設定することはない。
通常、撮像装置の出力画角アスペクト比は４:３、１６:９など正方形ではないため、シフトレンズ１５の移動方向により、画角の中で偏った光量落ち現象となる。そして、対角方向にシフトレンズを移動した場合が、光量落ち現象に最も偏りを生じ、対角線上で光量落ちが激しく起こることになる。これを考慮した場合は、前述した特性式の抑圧係数Ｇｓは、位相変化方向Ｃｄｉの関数として制御されることが望ましい。
撮像装置の出力画角アスペクト比のａ―ｔａｎをａとすると、抑圧係数Ｇｓ'はａと位相変化方向Ｃｄｉの関数をマイコン６からの抑圧係数Ｇｓに乗じた以下の「数２」で表すことができ、例えば図１３のような特性を持たせるようにする。
これは、位相変化方向Ｃｄｉがaに近くなるほど抑圧係数Ｇｓを低下させるように制御を行うための特性である。このような制御を加えると、光量落ち現象が強く出てしまう対角線上位相を考慮した抑圧係数Ｇｓ'を与えることができる。
ゲイン調整回路１４は、例えば図２４のような回路である。
関数回路２４１は、図１２のような入出力特性を実現する回路である。マイコン６からの標準の抑圧係数Ｇｓと、位相変化方向Ｃｄｉが入力され、図１３のような所定の関数を基に、位相変化方向に適した抑圧係数を求め、調整された抑圧係数Ｇｓ'を出力する。
関数回路２４１は、図１２のような入出力特性を実現する回路である。マイコン６からの標準の抑圧係数Ｇｓと、位相変化方向Ｃｄｉが入力され、図１３のような所定の関数を基に、位相変化方向に適した抑圧係数を求め、調整された抑圧係数Ｇｓ'を出力する。
ゲイン生成回路２４２は、位相変化量Ｃｖａと閾値Ｇｔｈ、抑圧係数Ｇｓ'から、前述した式の演算によってマスターゲインＧｍを出力する。マスターゲインＧｍは、乗算回路２４３で光量落ち補正ゲインＧｔに乗じられ、指定の制御特性でゲインを調整した光量落ち補正ゲインＧｔ'を出力する。このようにして、光学パラメータから求められる光量落ち補正ゲインに対して、適性値に調整を行うことが可能となる。
例えば、手ブレ補正によるシフトレンズ１５の位相が光学ユニット１の光軸中心近傍の場合、光量落ち現象は、図１４（ａ）のように画角の四隅で均一な特性であり、これを補正する場合には光量落ち現象の偏りを考慮する必要はない。
このような状況で補正を行うと、図１４（ｂ）のように、明るさは画像全体で均一、かつ光量落ち補正によるＳ／Ｎ低下も均一な画像を得ることができる。しかし、手ブレによりシフトレンズ１５の位相が光学ユニット１の光軸中心近傍から乖離すると、光量落ち現象は、図１４（ｃ）のように画角の四隅で不均一な特性となる。
このような状態で光量落ち補正を行うと、図１４（ｄ）のように、明るさは画像全体で均一になるが、光量落ち補正を強く行った領域のＳ／Ｎ低下が中央部あるいは他の隅のＳ／Ｎ感と一致しなくなり、ノイズによる画質劣化が顕著となって現れてしまう。このような画質低下を低減するために、ゲイン調整回路１４は、閾値Ｇｔｈを超えるようなシフトレンズ１５の位相変化量Ｃｖａに対して、補正ゲインを徐々に弱くするように作用する。このような構成、制御を行うことにより、光量落ち補正が画角内でアンバランスに、また過度に行うことが抑制され、画質劣化を低減することが可能となる。
閾値Ｇｔｈ、抑圧係数Ｇｓは固定である必要はなく、撮影状況や光量落ち特性曲線の状態、撮影者の意図などで動的に変更することができる。なお、この実施形態では、ゲイン調整回路１４を設けてゲイン調整を行ったが、これは一例に過ぎない。例えば、マイコン６で補正関数係数セットＣｍを生成する際に、ゲイン調整回路１４に与えたような抑圧特性を重畳する、ＬＵＴをシフトして使うなど、ソフトウェアでも同様の制御を実現することが可能である。
本実施形態においては、低照度撮影時に映像信号のレベル不足を補うための信号ゲイン調整手段の動作状況、手ブレ補正の光学中心からの乖離度をもとに、理想的な光量落ち補正ゲインに対して補正を緩和するように制御するようにした。これにより、光量落ち補正とノイズ感の緩和の両立を実現する。
（第４の実施形態）
次に、本発明の第４の実施形態についての説明をする。図４は、本発明に好適な光量落ち補正処理を行う撮像装置のブロック図の例である。なお、前述した第１〜第３の実施形態を構成する撮像装置と同じくする部分については、詳細な説明は省略する。
次に、本発明の第４の実施形態についての説明をする。図４は、本発明に好適な光量落ち補正処理を行う撮像装置のブロック図の例である。なお、前述した第１〜第３の実施形態を構成する撮像装置と同じくする部分については、詳細な説明は省略する。
ズームレンズ、フォーカスレンズで構成されるレンズユニット１及び絞り２からなる光学ユニットを通して結像された映像は、色フィルタが規則的に配色された撮像素子３で映像信号となり、アナログフロントエンド４でデジタル映像信号に変換される。
デジタル映像信号は、光量落ち補正回路５に入力され、光量落ち補正回路５において補正値Ｇｔ'を画素毎に順次乗算されることで、レンズユニット１及び絞り２によって生じる像円周辺部の光量落ち現象が補正されて出力される。
第４の実施形態では、マイコン６は信号処理内部にある手ブレ補正用のフレームメモリ１６を制御するために、制御信号Ｃｄｉ、Ｃｖａをメモリ制御回路１７に出力する。第３の実施形態との違いは、手ブレ補正をシフトレンズで行ういわゆる光学的な防振か、画像メモリ上で行う電子的な防振かである。
図２３は、フレームメモリ１６にいったん保持された撮像素子３の画像に対して、フレームメモリからの読み出しアドレスの移動による出力領域の変化を示している。
図２３において、光軸中心にある画角（黒枠）は、撮影者の手ブレ方向、量とちょうど点対象になるように位相変化方向Ｃｄｉ、位相変化量Ｃｖａが与えられ、画角が移動する（白枠）。ゲイン調整回路１４の詳細以降については、第３の実施形態とまったく同じとなるので、これは省略する。このような構成、制御を行うことにより、光量落ち補正が画角内でアンバランスに、また過度に行うことが抑制され、画質劣化を低減することが可能となる。
図２３において、光軸中心にある画角（黒枠）は、撮影者の手ブレ方向、量とちょうど点対象になるように位相変化方向Ｃｄｉ、位相変化量Ｃｖａが与えられ、画角が移動する（白枠）。ゲイン調整回路１４の詳細以降については、第３の実施形態とまったく同じとなるので、これは省略する。このような構成、制御を行うことにより、光量落ち補正が画角内でアンバランスに、また過度に行うことが抑制され、画質劣化を低減することが可能となる。
閾値Ｇｔｈ、抑圧係数Ｇｓは固定である必要はなく、撮影状況や光量落ち特性曲線の状態、撮影者の意図などで動的に変更することができる。なお、この実施形態では、ゲイン調整回路１４を設けてゲイン調整を行ったが、これは一例に過ぎない。例えば、マイコン６で補正関数係数セットＣｍを生成する際に、ゲイン調整回路１４に与えたような抑圧特性を重畳する、ＬＵＴをシフトして使うなど、ソフトウェアでも同様の制御を実現することが可能である。
（第５の実施形態）
次に、本発明の第５の実施形態についての説明をする。図５は、本発明に好適な光量落ち補正処理を行う撮像装置のブロック図の例である。なお、第２の実施形態を構成する撮像装置と同じくする部分については、詳細な説明は省略する。
次に、本発明の第５の実施形態についての説明をする。図５は、本発明に好適な光量落ち補正処理を行う撮像装置のブロック図の例である。なお、第２の実施形態を構成する撮像装置と同じくする部分については、詳細な説明は省略する。
ズームレンズ、フォーカスレンズで構成されるレンズユニット１及び絞り２からなる光学ユニットを通して結像された映像は、色フィルタが規則的に配色された撮像素子３で映像信号となり、アナログフロントエンド４で、デジタル映像信号に変換される。
デジタル映像信号は、光量落ち補正回路５に入力され、光量落ち補正回路５において補正値Ｇｔ'を画素毎に順次乗算されることで、レンズユニット１及び絞り２によって生じる像円周辺部の光量落ち現象が補正されて出力される。出力された映像信号は、信号レベル調整を行うホワイトバランス回路２２において白いものが白くなるように、各色信号レベルが調整される。
色分離回路１８は、撮像素子３の色フィルタで離散的にサンプリングされた各色信号、ベイヤー配列であればＲＧＢ信号及び輝度信号Ｙｗを分離して、各色プレーンを補間生成し出力する。ＲＧＢ−Ｙ換算式は、例えばＳＭＰＴＥ １２５Ｍに準拠すれば、以下の（式）である。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ
輪郭補償回路１９は、例えば図２６のような回路であり、輝度信号Ｙｗは高周波ろ過フィルタであるＢＰＦ２６１で高周波成分を抽出し、乗算回路２６２で輪郭補償ゲインGeを乗じた輪郭信号Ｙｈを出力する。
ＹＣマトリクス回路２０は、色分離回路１８の出力信号ＲＧＢと輝度信号Ｙｗ、輪郭信号Ｙｈが入力され、所定の換算式に基づいてＲＧＢ信号をＹＣｂＣｒ信号にマトリクス変換する。ＲＧＢ−ＣｂＣｒ換算式は、例えばＳＭＰＴＥ １２５Ｍに準拠すれば、以下の（式）である。
Ｃｂ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ
Ｃｒ＝０.５００Ｂ−０.３３１Ｇ−０.１６９Ｒ
Ｃｂ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ
Ｃｒ＝０.５００Ｂ−０.３３１Ｇ−０.１６９Ｒ
輝度Ｙは、以下の（式）に示すように、輝度信号Ｙｗと、輪郭信号Ｙｈに輪郭補償ゲインＧｅを乗じたものを加算して出力する。
Ｙ＝Ｙｗ＋Ｇｅ*Ｙｈ
Ｙ＝Ｙｗ＋Ｇｅ*Ｙｈ
出力されたＹ、Ｃｂ、Ｃｒ信号は、ノイズ抑圧回路２１でノイズ成分が抑圧され、Ｙ'、Ｃｂ'、Ｃｒ'信号を出力する。
ノイズ抑圧回路２１は、例えば図２７のような回路であり、ノイズを抑圧して画像処理を行う。この例では小幅振幅雑音を除去するための非線型フィルタであるεフィルタで構成されている。Ｙ、Ｃｂ、Ｃｒの各チャンネルにこのような回路が挿入されているが、ここでは輝度信号Ｙチャンネルに挿入された回路で説明を行う。
マイコン６から与えられるε値Ｇｅｐは、ゲイン調整回路１４から出力される抑圧ゲインＧｎを乗算器２７１で乗じてε値Ｇｅｐ'を出力する。入力信号である輝度信号Ｙｉｎは差分回路２７２に入力され、着目画素と近傍画素との差分値Ｙｄｆ１、Ｙｄｆ２を逐次求める。この例では簡単のため、差分値は着目画素近傍２画素から求めているが、この限りではない。
差分回路２７２の出力差分値Ｙｄｆ１、Ｙｄｆ２は、関数回路２７３に入力され、図２８のような入出力特性を有する関数で非線形処理を施され、Ｙｅ１、Ｙｅ２を出力する。Ｙｅ１、Ｙｅ２、Ｙｉｎは合成回路２７４に入力され、以下の「数３」と演算することで、着目画素との差分が小さいものにだけLPFがかかり、結果小幅振幅雑音を除去することができる。
第５の実施形態では、第２の実施形態に対し、後段のカメラ信号処理とカメラ信号処理に対する適応制御を加えた例であり、ここでは輪郭補償回路１９及びノイズ抑圧回路２１に加えられる。ゲイン調整回路１４には、光量落ち補正生成回路１２が出力した光量落ち補正ゲインＧｔ及び、マイコン６がＡＦＥ４に対して出力したゲイン値Ｇａが入力される。
ゲイン調整回路１４で実行される光量落ち補正ゲイン値の制御は、ここでは例えば図１０のような閾値Ｇｔｈと抑圧係数Ｇｓ（Ｇｓ＜０）による非線形特性とし、以下のような（式）で表すことができるものとする。
Ｇｍ＝１ （Ｇａ＜Ｇｔｈ）
Ｇｍ＝Ｇｓ（Ｇａ−Ｇｔｈ）＋１ （Ｇｔｈ≦Ｇａ≦Ｇｔｈ−１／Ｇｓ）
Ｇｍ＝０ （Ｇｔｈ−１／Ｇｓ＜Ｇａ）
Ｇｍ＝１ （Ｇａ＜Ｇｔｈ）
Ｇｍ＝Ｇｓ（Ｇａ−Ｇｔｈ）＋１ （Ｇｔｈ≦Ｇａ≦Ｇｔｈ−１／Ｇｓ）
Ｇｍ＝０ （Ｇｔｈ−１／Ｇｓ＜Ｇａ）
ゲイン調整回路１４は、例えば図２５のような回路であり、ゲイン生成回路２５１は、ゲイン値Ｇａと閾値Ｇｔｈ、抑圧係数Ｇｓから、前述した式の演算によってマスターゲインＧｍを出力する。マスターゲインＧｍは、乗算回路２５２で光量落ち補正ゲインＧｔに乗じられ、指定の制御特性でゲインを調整した光量落ち補正ゲインＧｔ'を出力する。さらに、マスターゲインＧｍは、ゲイン生成回路２５３及び２５４に入力される。
ゲイン調整回路１４で実行される輪郭補償制御は、ここでは例えば図１５のような閾値Ｇmtheと抑圧係数Ｇmse（Ｇmse＜０）による非線形特性とし、以下のような（式）で表すことができるものとする。
Ｇｅ＝１ （Ｇｍ＜Ｇmthe）
Ｇｅ＝Ｇmse（Ｇｍ−Ｇmthe）＋１ （Ｇmthe≦Ｇｍ≦Ｇmthe−１／Ｇmse）
Ｇｅ＝０ （Ｇmthe−１／Ｇmse＜Ｇｍ）
Ｇｅ＝１ （Ｇｍ＜Ｇmthe）
Ｇｅ＝Ｇmse（Ｇｍ−Ｇmthe）＋１ （Ｇmthe≦Ｇｍ≦Ｇmthe−１／Ｇmse）
Ｇｅ＝０ （Ｇmthe−１／Ｇmse＜Ｇｍ）
ゲイン生成回路２５３は、ゲイン値Gmと閾値Gmthe、抑圧係数Ｇmseから、前述した式の演算によって輪郭補償ゲインGeを出力する。ゲイン調整回路１４で実行されるノイズ抑圧制御は、ここでは例えば図１６のような閾値Ｇmthn1、Ｇmthn2（Ｇmthn1＜Ｇmthn2）と抑圧係数Ｇmsn（Ｇmsn＞０）による非線形特性とし、以下のような（式）で表すことができるものとする。
Ｇｎ＝１ （Ｇm＜Ｇmthn1）
Ｇｎ＝Ｇmsn（Ｇm−Ｇmthn1）＋１ （Ｇmthn1≦Ｇm≦Ｇmthn2）
Ｇｎ＝Ｇmsn（Ｇmthn2−Ｇmthn1）＋１ （Ｇm＞Ｇmthn2）
Ｇｎ＝１ （Ｇm＜Ｇmthn1）
Ｇｎ＝Ｇmsn（Ｇm−Ｇmthn1）＋１ （Ｇmthn1≦Ｇm≦Ｇmthn2）
Ｇｎ＝Ｇmsn（Ｇmthn2−Ｇmthn1）＋１ （Ｇm＞Ｇmthn2）
ゲイン生成回路２５４は、ゲイン値Ｇｍと閾値Ｇmthn1、Ｇmthn2と抑圧係数Ｇmsnから、前述した式の演算によってノイズ抑圧ゲインGnを出力する。ノイズ抑圧ゲインGnは、マイコン６からノイズ抑圧回路２１に与えられるε値Gepに対するゲインとして乗じられる。
このようにして、光学パラメータから求められる光量落ち補正ゲインに対して、適性値に調整を行うことが可能となると同時に、光量落ち補正量に応じて画質調整を行うことができる。
閾値Ｇmthe、抑圧係数Ｇmse、閾値Ｇmthn1、Ｇmthn2と抑圧係数Ｇmsnは固定である必要はなく、撮影状況や光量落ち特性曲線の状態、撮影者の意図などで動的に変更することができる。なお、この実施形態では、ゲイン調整回路１４を設けて光量落ちゲイン調整、輪郭補償ゲイン調整、ノイズ抑圧ゲイン調整を行ったが、これは一例に過ぎない。
例えば、マイコン６で補正関数係数セットＣｍを生成する際に、ゲイン調整回路１４に与えたような抑圧特性を重畳する、ＬＵＴをシフトして使う。そして、得られた光量落ちゲインから輪郭補償ゲイン調整、ノイズ抑圧ゲイン調整を求めるなど、ソフトウェアでも同様の制御を実現することが可能である。これにより、光量落ち補正ゲインに応じた画像処理を実現することができる。具体的には、輪郭補償処理やノイズ抑圧処理を制御するようにしたので、より好適な画像を得ることができる。
（第６の実施形態）
次に、本発明の第６の実施形態についての説明をする。図６は、本発明に好適な光量落ち補正処理を行う撮像装置のブロック図の例である。なお、第３の実施形態、第５の実施形態を構成する撮像装置と同じくする部分については、詳細な説明は省略する。
次に、本発明の第６の実施形態についての説明をする。図６は、本発明に好適な光量落ち補正処理を行う撮像装置のブロック図の例である。なお、第３の実施形態、第５の実施形態を構成する撮像装置と同じくする部分については、詳細な説明は省略する。
ズームレンズ、フォーカスレンズで構成されるレンズユニット１及び絞り２からなる光学ユニットを通して結像された映像は、色フィルタが規則的に配色された撮像素子３で映像信号となり、アナログフロントエンド４で、デジタル映像信号に変換される。
デジタル映像信号は、光量落ち補正回路５に入力され、光量落ち補正回路５において補正値Ｇｔ'を画素毎に順次乗算されることで、レンズユニット１及び絞り２によって生じる像円周辺部の光量落ち現象が補正されて出力される。出力された映像信号は、ホワイトバランス回路２２で白いものが白くなるように、各色信号レベルが調整される。
色分離回路１８は、撮像素子３の色フィルタで離散的にサンプリングされた各色信号、ベイヤー配列であればＲＧＢ信号及び輝度信号Ｙｗを分離して、各色プレーンを補間生成し出力する。
輪郭補償回路１９は画像処理を行うために設けられた回路であり、例えば図２６のような回路である。図２６に示すように、輝度信号Ｙｗは高周波ろ過フィルタであるＢＰＦ２６１で高周波成分を抽出し、乗算回路２６２で輪郭補償ゲインGeを乗じて輪郭信号Ｙｈを生成して出力する。
ＹＣマトリクス回路２０は、色分離回路１８の出力信号ＲＧＢと輝度信号Ｙｗ、輪郭信号Ｙｈが入力され、所定の換算式に基づいてＲＧＢ信号をＹＣｂＣｒ信号にマトリクス変換する。出力されたＹＣｂＣｒ信号は、ノイズ抑圧回路２１でノイズ成分が抑圧され、Y'Cb'Cr'信号を出力する。
第６の実施形態では、第３の実施形態に対し、後段のカメラ信号処理とカメラ信号処理に対する適応制御を加えた例であり、ここでは輪郭補償回路１９及びノイズ抑圧回路２１に加えられる。
ゲイン調整回路１４には、光量落ち補正生成回路１２が出力した光量落ち補正ゲインＧｔ及び、マイコン６がシフトレンズ１５に対して出力した位相シフト制御信号Ｃｄｉ、Ｃｖａが入力される。
ゲイン調整回路１４で実行される光量落ち補正ゲイン値の制御は、ここでは例えば図１１のような閾値Ｇｔｈと抑圧係数Ｇｓ（Ｇｓ＜０）による非線形特性とし、以下のような（式）で表すことができるものとする。
Ｇｍ＝１ （Ｃｖａ＜Ｃｔｈ）
Ｇｍ＝Ｇｓ（Ｃｖａ−Ｃｔｈ）＋１ （Ｃｔｈ≦Ｃｖａ≦Ｃｔｈ−１／Ｇｓ）
Ｇｍ＝０ （Ｃｔｈ−１／Ｇｓ＜Ｃｖａ）
Ｇｍ＝１ （Ｃｖａ＜Ｃｔｈ）
Ｇｍ＝Ｇｓ（Ｃｖａ−Ｃｔｈ）＋１ （Ｃｔｈ≦Ｃｖａ≦Ｃｔｈ−１／Ｇｓ）
Ｇｍ＝０ （Ｃｔｈ−１／Ｇｓ＜Ｃｖａ）
ゲイン調整回路１４は、例えば図２９のような回路である。
関数回路２９１は、図１２のような入出力特性を実現する回路であり、マイコン６からの標準の抑圧係数Ｇｓと、位相変化方向Ｃｄｉが入力され、図１３のような所定の関数を基に、位相変化方向に適した抑圧係数を求め、調整された抑圧係数Ｇｓ'を出力する。
関数回路２９１は、図１２のような入出力特性を実現する回路であり、マイコン６からの標準の抑圧係数Ｇｓと、位相変化方向Ｃｄｉが入力され、図１３のような所定の関数を基に、位相変化方向に適した抑圧係数を求め、調整された抑圧係数Ｇｓ'を出力する。
ゲイン生成回路２９２は、位相変化量Ｃｖａと閾値Ｇｔｈ、抑圧係数Ｇｓ'から、前述した式の演算によってマスターゲインＧｍを出力する。マスターゲインＧｍは、乗算回路２９３で光量落ち補正ゲインＧｔに乗じられ、指定の制御特性でゲインを調整した光量落ち補正ゲインＧｔ'を出力する。さらに、マスターゲインＧｍは、ゲイン生成回路２９４及び２９５に入力される。
ゲイン調整回路１４で実行される輪郭補償制御は、ここでは例えば図１５のような閾値Ｇmtheと抑圧係数Ｇmse（Ｇmse＜０）による非線形特性とし、以下のような（式）で表すことができるものとする。
Ｇｅ＝１ （Ｇｍ＜Ｇmthe）
Ｇｅ＝Ｇmse（Ｇｍ−Ｇmthe）＋１ （Ｇmthe≦Ｇｍ≦Ｇmthe−１／Ｇmse）
Ｇｅ＝０ （Ｇmthe−１／Ｇmse＜Ｇｍ）
Ｇｅ＝１ （Ｇｍ＜Ｇmthe）
Ｇｅ＝Ｇmse（Ｇｍ−Ｇmthe）＋１ （Ｇmthe≦Ｇｍ≦Ｇmthe−１／Ｇmse）
Ｇｅ＝０ （Ｇmthe−１／Ｇmse＜Ｇｍ）
ゲイン生成回路２９４は、ゲイン値Ｇｍと閾値Ｇmthe、抑圧係数Ｇmseから、前述した（式）の演算によって輪郭補償ゲインGeを出力する。ゲイン調整回路１４で実行されるノイズ抑圧制御は、ここでは例えば図１６のような閾値Ｇmthn1、Ｇmthn2（Ｇmthn1＜Ｇmthn2）と抑圧係数Ｇmsn（Ｇmsn＞０）による非線形特性とし、以下のような（式)で表すことができるものとする。
Ｇｎ＝１ （Ｇm＜Ｇmthn1）
Ｇｎ＝Ｇmsn（Ｇm−Ｇmthn1）＋１ （Ｇmthn1≦Ｇm≦Ｇmthn2）
Ｇｎ＝Ｇmsn（Ｇmthn2−Ｇmthn1）＋１ （Ｇm＞Ｇmthn2）
Ｇｎ＝１ （Ｇm＜Ｇmthn1）
Ｇｎ＝Ｇmsn（Ｇm−Ｇmthn1）＋１ （Ｇmthn1≦Ｇm≦Ｇmthn2）
Ｇｎ＝Ｇmsn（Ｇmthn2−Ｇmthn1）＋１ （Ｇm＞Ｇmthn2）
ゲイン生成回路２９５は、ゲイン値Ｇｍと閾値Ｇmthn1、Ｇmthn2と抑圧係数Ｇmsnから、前述した式の演算によってノイズ抑圧ゲインGnを出力する。ノイズ抑圧ゲインGnは、マイコン６からノイズ抑圧回路２１に与えられるε値Gepに対するゲインとして乗じられる。
このようにして、光学パラメータから求められる光量落ち補正ゲインに対して、手ブレ補正による光量落ち補正が画角内でアンバランスになることが防止できる。また、過度に行うことが抑制されて適性値に調整を行うことが可能となると同時に、光量落ち補正量に応じて画質調整を行うことができる。
閾値Ｇmthe、抑圧係数Ｇmse、閾値Ｇmthn1、Ｇmthn2と抑圧係数Ｇmsnは固定である必要はなく、撮影状況や光量落ち特性曲線の状態、撮影者の意図などで動的に変更することができる。なお、この実施形態では、ゲイン調整回路１４を設けて光量落ちゲイン調整、輪郭補償ゲイン調整、ノイズ抑圧ゲイン調整を行ったが、これは一例に過ぎない。
例えば、マイコン６で補正関数係数セットＣｍを生成する際に、ゲイン調整回路１４に与えたような抑圧特性を重畳する、ＬＵＴをシフトして使う。そして、得られた光量落ちゲインから輪郭補償ゲイン調整、ノイズ抑圧ゲイン調整を求めるなど、ソフトウェアでも同様の制御を実現することが可能である。
（本発明に係る他の実施の形態）
前述した本発明の実施の形態における撮像装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
前述した本発明の実施の形態における撮像装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
なお、本発明は、前述した撮像方法における各工程を実行するソフトウェアのプログラム（実施の形態では図３０に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行うことによっても前述した実施の形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。
１ レンズユニット
２ 絞り
３ 撮像素子
４ アナログフロントエンド（ＡＦＥ）
５ 光量落ち補正回路
６ マイコン
７ ズームレンズ用アクチュエータ
８ フォーカスレンズ用アクチュエータ
９ 絞りのアクチュエータ
１０ タイミングジェネレータ（ＴＧ）
１１ 画素座標生成回路
１２ 光量落ち補正生成回路
１３ 光量落ち補正データベース
１４ ゲイン調整回路
１５ シフトレンズ
１６ フレームメモリ
１７ メモリ制御回路
１８ 色分離回路
１９ 輪郭補償回路
２０ ＹＣマトリクス回路
２１ ノイズ抑圧回路
２２ ホワイトバランス回路
２ 絞り
３ 撮像素子
４ アナログフロントエンド（ＡＦＥ）
５ 光量落ち補正回路
６ マイコン
７ ズームレンズ用アクチュエータ
８ フォーカスレンズ用アクチュエータ
９ 絞りのアクチュエータ
１０ タイミングジェネレータ（ＴＧ）
１１ 画素座標生成回路
１２ 光量落ち補正生成回路
１３ 光量落ち補正データベース
１４ ゲイン調整回路
１５ シフトレンズ
１６ フレームメモリ
１７ メモリ制御回路
１８ 色分離回路
１９ 輪郭補償回路
２０ ＹＣマトリクス回路
２１ ノイズ抑圧回路
２２ ホワイトバランス回路
Claims (10)
- 光学ユニットによって撮像素子上に結像された映像から映像信号を生成する映像信号生成手段と、
予め記憶されたデータを用いて、前記撮像素子上の画素の座標位置に応じた補正ゲインを求める補正生成手段と、
前記補正生成手段にて生成された前記補正ゲインを抑圧する調整手段と、
前記調整手段にて調整された前記補正ゲインを用いて、前記光学ユニットに起因して生じる光量落ち現象を補正する光量落ち補正手段とを有することを特徴とする撮像装置。 - 前記調整手段は、前記補正生成手段にて生成された前記補正ゲインの値が閾値より高い場合に、前記補正ゲインを抑圧することを特徴とする請求項１に記載の撮像装置。
- 前記撮像素子から出力された映像信号の信号レベルを調整する信号レベル調整手段を有し、
前記調整手段は、前記信号レベル調整手段で調整する信号レベルが閾値より大きい場合に、前記補正ゲインを抑圧することを特徴とする請求項１に記載の撮像装置。 - 前記映像信号生成手段により前記映像信号を生成する際の手ブレ量を検出し、光学的あるいは電子的に撮像画角を変更する手ブレ補正手段を有し、
前記調整手段は、前記手ブレ補正手段による映像の切り出し画角と光学中心の乖離度が閾値より大きい場合に、前記補正ゲインを抑圧することを特徴とする請求項１に記載の撮像装置。 - 前記補正生成手段は、光学的に手ブレ補正を行う場合には、光学パラメータとしてシフトレンズの位相も含めた光量落ち現象特性から、前記撮像素子上の画素座標位置に応じた補正ゲインを求めることを特徴とする請求項４に記載の撮像装置。
- 前記光量落ち補正手段によって光量落ち補正された映像信号の画像処理を行う画像処理手段を有し、
前記画像処理手段は、前記調整手段にて調整された前記補正ゲインに応じて処理の強さを変更することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。 - 前記画像処理手段は、輪郭補償の処理を行う場合には、前記調整手段にて調整された前記補正ゲインが高くなるにつれて輪郭補償の処理を弱くするように制御することを特徴とする請求項６に記載の撮像装置。
- 前記画像処理手段は、ノイズ抑圧の処理を行う場合には、前記調整手段にて調整された前記補正ゲインが高くなるにつれて、ノイズ抑圧の処理を強くするように制御することを特徴とする請求項７に記載の撮像装置。
- 光学ユニットによって撮像素子上に結像された映像から映像信号を生成する映像信号生成工程と、
予め記憶されたデータを用いて、前記撮像素子上の画素の座標位置に応じた補正ゲインを求める補正生成工程と、
前記補正生成工程において生成された前記補正ゲインを抑圧する調整工程と、
前記調整工程において調整された前記補正ゲインを用いて、前記光学ユニットに起因して生じる光量落ち現象を補正する光量落ち補正工程とを有することを特徴とする撮像方法。 - 光学ユニットによって撮像素子上に結像された映像から映像信号を生成する映像信号生成工程と、
予め記憶されたデータを用いて、前記撮像素子上の画素の座標位置に応じた補正ゲインを求める補正生成工程と、
前記補正生成工程において生成された前記補正ゲインを抑圧する調整工程と、
前記調整工程において調整された前記補正ゲインを用いて、前記光学ユニットに起因して生じる光量落ち現象を補正する光量落ち補正工程とをコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008043384A JP2009201062A (ja) | 2008-02-25 | 2008-02-25 | 撮像装置及び撮像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008043384A JP2009201062A (ja) | 2008-02-25 | 2008-02-25 | 撮像装置及び撮像方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012097812A Division JP5677361B2 (ja) | 2012-04-23 | 2012-04-23 | 撮像装置及び画像信号の処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009201062A true JP2009201062A (ja) | 2009-09-03 |
| JP2009201062A5 JP2009201062A5 (ja) | 2011-02-03 |
Family
ID=41144041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008043384A Pending JP2009201062A (ja) | 2008-02-25 | 2008-02-25 | 撮像装置及び撮像方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009201062A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019096993A (ja) * | 2017-11-21 | 2019-06-20 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、及びプログラム |
| JP2019176302A (ja) * | 2018-03-28 | 2019-10-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP2020095220A (ja) * | 2018-12-14 | 2020-06-18 | キヤノン株式会社 | レンズ装置、撮像装置、処理装置、およびカメラ装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001167263A (ja) * | 1999-12-09 | 2001-06-22 | Ricoh Co Ltd | 画像処理装置 |
| JP2003101866A (ja) * | 2001-09-25 | 2003-04-04 | Canon Inc | 光学装置 |
| JP2003338949A (ja) * | 2002-05-20 | 2003-11-28 | Nec Corp | エッジ補正回路及びエッジ補正方法 |
| JP2005072967A (ja) * | 2003-08-25 | 2005-03-17 | Olympus Corp | 顕微鏡像撮像装置及び顕微鏡像撮像方法 |
| JP2005258277A (ja) * | 2004-03-15 | 2005-09-22 | Matsushita Electric Ind Co Ltd | 画像動き補正装置 |
| JP2006295807A (ja) * | 2005-04-14 | 2006-10-26 | Canon Inc | 撮像装置、画像処理方法、プログラム、及び記憶媒体 |
-
2008
- 2008-02-25 JP JP2008043384A patent/JP2009201062A/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001167263A (ja) * | 1999-12-09 | 2001-06-22 | Ricoh Co Ltd | 画像処理装置 |
| JP2003101866A (ja) * | 2001-09-25 | 2003-04-04 | Canon Inc | 光学装置 |
| JP2003338949A (ja) * | 2002-05-20 | 2003-11-28 | Nec Corp | エッジ補正回路及びエッジ補正方法 |
| JP2005072967A (ja) * | 2003-08-25 | 2005-03-17 | Olympus Corp | 顕微鏡像撮像装置及び顕微鏡像撮像方法 |
| JP2005258277A (ja) * | 2004-03-15 | 2005-09-22 | Matsushita Electric Ind Co Ltd | 画像動き補正装置 |
| JP2006295807A (ja) * | 2005-04-14 | 2006-10-26 | Canon Inc | 撮像装置、画像処理方法、プログラム、及び記憶媒体 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019096993A (ja) * | 2017-11-21 | 2019-06-20 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、及びプログラム |
| JP7023678B2 (ja) | 2017-11-21 | 2022-02-22 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、及びプログラム |
| JP2019176302A (ja) * | 2018-03-28 | 2019-10-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP7134666B2 (ja) | 2018-03-28 | 2022-09-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP2020095220A (ja) * | 2018-12-14 | 2020-06-18 | キヤノン株式会社 | レンズ装置、撮像装置、処理装置、およびカメラ装置 |
| JP7059171B2 (ja) | 2018-12-14 | 2022-04-25 | キヤノン株式会社 | レンズ装置、撮像装置、処理装置、およびカメラ装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5157753B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
| US7636106B2 (en) | Image processing apparatus and method, and program used therewith | |
| JP6497382B2 (ja) | 撮像装置、画像データの出力方法及びプログラム | |
| JP4822773B2 (ja) | 色ノイズ低減回路及びそれを用いた撮像装置 | |
| US8587671B2 (en) | Digital image processing apparatus, an image processing method, and a recording medium storing the image processing method for obtaining an out-of-focus image by using a plurality of images | |
| JP4433883B2 (ja) | ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 | |
| JP2009201094A (ja) | 撮像装置および撮像方法 | |
| JP5223686B2 (ja) | 撮像装置および撮像方法 | |
| US9019406B2 (en) | Imaging apparatus and image processing program for correcting dark area gradation | |
| JP4958635B2 (ja) | 撮像装置及びその制御方法 | |
| JP2004363853A (ja) | 画像信号のノイズ低減方法及びノイズ低減装置 | |
| JP2009201062A (ja) | 撮像装置及び撮像方法 | |
| JP2006253970A (ja) | 撮像装置、シェーディング補正データ作成方法およびプログラム | |
| US20160284061A1 (en) | Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| JP5677361B2 (ja) | 撮像装置及び画像信号の処理方法 | |
| JP2007194832A (ja) | 階調補正装置 | |
| US20110221932A1 (en) | Apparatus and method for processing image, and computer-readable storage medium | |
| JP2007081724A (ja) | 撮像装置及び撮像装置の制御方法 | |
| JP6090565B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| JP2010056817A (ja) | 撮像装置 | |
| JP5535443B2 (ja) | 画像処理装置 | |
| JP4973428B2 (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
| JP2007019593A (ja) | 輪郭強調信号生成回路、画像信号処理装置、撮像装置、輪郭強調信号生成方法、プログラム | |
| JP2007180689A (ja) | 撮像装置 | |
| JP2013127804A (ja) | 画像処理プログラム、画像処理装置、および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101210 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120619 |