JP2010166107A - 撮像装置 - Google Patents

Abstract

【課題】撮像素子から出力される画像信号に対し、より適切なスミア補正を施すことができる撮像装置を提供すること。
【解決手段】光学的黒エリアおよび有効エリアが隣接して形成された複数の画素から画像信号を出力する撮像素子と、画像信号に含まれる光学的黒エリアに対応する黒画像信号に基づいてスミアレベルを検出するスミアレベル検出手段と、黒画像信号に基づいてスミア補正信号を生成する生成手段と、画像信号に含まれる有効エリアに対応する有効画像信号に対してスミア補正信号に基づいてスミア補正を施すスミア補正手段と、スミアレベルに応じてスミア補正信号のレベルを調整する調整手段を備えることを特徴とする。
【選択図】図６

Description

本発明は、ＣＣＤイメージャなどの撮像素子から出力される画像信号に発生するスミアを低減させる撮像装置に関するものである。

ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子では、フォトダイオードにて光電変換された電荷を垂直方向にバケツリレー方式にて転送させていく垂直転送部、および該垂直転送部からの電荷を水平方向に転送させていく水平転送部を含んで構成されている。さて、この撮像素子に強い光が照射された場合に、垂直転送部に収まらずに飽和した電荷は、隣接する垂直転送部に現在の電荷分に追加されると共に飽和し、さらに隣接する垂直転送部へと飽和した電荷が現在の電荷分に追加される。従って、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）に出力される画像には、強い光が照射されていない箇所まで縦方向に真っ白に色飛びした部分が帯状に現れる。このような状態が一般的にスミアと称されている。

さて、上述したスミアを補正する技術は、従来から考えられてきた。
特開２００６−２９５６７６３号公報 [H04N 5/335]

特許文献１に記載された従来技術の撮像装置においては、ＣＣＤの複数ライン分のＯＢ（オプティカルブラック）領域から得られる１２ビット幅のデジタル信号を加算平均して１ライン分のスミア信号を求める際に、前記ビット幅よりもビット幅の小さいデジタル信号を使用し、これにより回路規模の削減を可能にしている。

しかしながら、従来技術では、スミアレベルと光学的黒領域から得られる信号の平均値との差分が所定の値を超える場合には、差分によるスミア補正を行わないようにしているため、スミアを低減させることが出来ない場合がある。

本発明は、上記の問題点を解決するもので、撮像素子から出力される画像信号に対し、より適切なスミア補正を施すことができる撮像装置を提供するものである。

第１の発明の撮像装置は、光学的黒エリアおよび有効エリアが隣接して形成された複数の画素から画像信号を出力する撮像素子と、画像信号に含まれる光学的黒エリアに対応する黒画像信号に基づいてスミアレベルを検出するスミアレベル検出手段と、黒画像信号に基づいてスミア補正信号を生成する生成手段と、画像信号に含まれる有効エリアに対応する有効画像信号に対してスミア補正信号に基づいてスミア補正を施すスミア補正手段と、スミアレベルに応じてスミア補正信号のレベルを調整する調整手段を備えることを特徴とする。

第２の発明の撮像装置は、第１の発明の撮像装置に従属し、調整手段は、スミアレベル検出手段において検出されたスミアレベルが所定レベルも小さいか否かを判別するレベル判別手段と、レベル判別手段においてスミアレベルが所定レベルよりも小さいと判別された場合に調整手段における前記スミア補正信号のレベルの調整を施さない処理を行い、レベル判別手段においてスミアレベルが所定レベル以上であると判別された場合に調整手段におけるスミア補正信号のレベルを低減する調整を施す処理を行う第１制御手段を備えることを特徴とする。

第３の発明の撮像装置は、第１または第２の発明の撮像装置に従属し、画像信号を所定フレームレートに従って繰り返し出力せしめる出力制御手段を更に備え、調整手段は、スミアレベル検出手段により検出されるスミアレベルに基づいてスミアが発生している有効エリアの水平方向の画素の位置を検出する画素位置検出手段と、スミア補正手段によりスミア補正が施された有効画像信号と、前の該スミア補正手段によりスミア補正が施された有効画像信号から動き量の検出を行う動き量検出手段と、動き量に基づいて、スミア補正信号に含まれる画素位置検出手段により検出された有効エリアの画素に対応する第１信号のレベルの調整を施す第２制御手段を備えることを特徴とする。

第４の発明の撮像装置は、第３の発明の撮像装置に従属し、第２制御手段は、スミア補正信号に含まれる画素位置検出手段により検出された有効エリアの画素の隣接画素に対応する信号のレベルに基づいて、第１信号のレベルの調整を施すことを特徴とする。

第５の発明の制御方法は、光学的黒エリアおよび有効エリアが隣接して形成された複数の画素から画像信号を出力する撮像素子を備える撮像装置において、該画像信号に対してスミア補正を施す制御方法であって、画像信号に含まれる光学的黒エリアに対応する黒画像信号に基づいてスミアレベルを検出するスミアレベル検出ステップと、黒画像信号に基づいてスミア補正信号を生成する生成ステップと、画像信号に含まれる有効エリアに対応する有効画像信号に対してスミア補正信号に基づいてスミア補正を施すスミア補正ステップと、スミアレベルに応じてスミア補正信号のレベルを調整する調整ステップを備えることを特徴とする。

本発明の撮像装置によれば、撮像素子から出力される画像信号に対し、より適切なスミア補正を施すことができる。

本実施例に係る撮像装置を示すブロック図である。 図１の撮像装置の画像処理回路を示すブロック図である。 本実施例に係るＣＣＤイメージャの画素配置を示す図解図である。 本実施例に係るＣＣＤイメージャの内部を示す図解図である。 本実施例の撮像装置において発生したスミアに関する一部の図解図である。 本実施例の撮像装置において発生したスミアに関する他の一部の図解図である。 本実施例に係るスミア補正処理の手続の一部を表すフローチャートである。 本実施例に係るスミア補正処理の手続の他の一部を表すフローチャートである。

以下、本発明の撮像装置の一実施例として、デジタルカメラ１０に実施した形態につき、図面に沿って具体的に説明する。

図１は、本実施例のデジタルカメラ１０のブロック図を示している。デジタルカメラ１０は、光学レンズ１２および絞り１４を含む。これらの光学レンズ１２および絞り１４の移動および絞り１４の調節は、モータ駆動部１６によって行われる。ただし、このモータ駆動部１６は、光学レンズ１２および絞り１４を別々に調節する図示しない２つのモータで構成される。

被写体の光学像は、光学レンズ１２および絞り１４を介して、撮像素子であるＣＣＤイメージャ１８の受光面上に結像させる。ＣＣＤイメージャ１８は、図３に示すように、複数個のフォトダイオード１００と垂直転送レジスタ１０２と水平転送レジスタ１０４によって構成されている。また、ＣＣＤイメージャ１８は、図４に示すように、１ライン分の参照エリアを含む光学的黒エリアおよび有効エリアから構成される。フォトダイオード１００の受光面にはＲ、Ｇ、Ｂの原色フィルタが装着されており、いずれか１つの原色成分を持つ光が照射される。フォトダイオード１００では光電変換が行われ、光の強さと時間に応じて蓄積された電荷の信号は、垂直転送レジスタに転送され、次に水平転送レジスタへ転送され、アナログ撮像信号として出力される。この転送動作は、シグナルジェネレータ（ＳＧ）２０によって生成されたＣＣＤイメージャ１８の駆動に必要な各種のパルス波形である電荷読み出しパルス、垂直転送パルスおよび水平転送パルスに従って行われる。静止画像を記録するときは、操作部２８よる操作、例えばレリーズボタンが押下されるとＣＰＵ２６はＳＧ２０を制御し、ＣＣＤイメージャ１８から１フレーム分のアナログ撮像信号を出力させる。また、動画像を記録するとき、またはスルー画像をＬＣＤ３２に出力させるときは、ＣＰＵ３２はＣＣＤイメージャ１８から所定のフレームレートでアナログ撮像信号を出力させるよう、ＳＧ２０を制御する。

さて、操作部２８が操作されることによって、ＬＣＤ３２にスルー画像を表示させるスルー画像表示モードへの遷移に応答して、ＣＣＤイメージ１８から出力されたアナログ撮像信号は、ＡＦＥ（Ａｎａｌｏｇ Ｆｌｏｎｔ Ｅｎｄ）回路２２へ入力され、相関２重サンプリング処理、ゲイン調整およびＡ／Ｄ変換処理などが施され、バス４０を介してデジタル撮像信号として一旦ＳＤＲＡＭ３０に格納される。

ＳＤＲＡＭ３０に格納されたデジタル撮像信号は、画像処理回路２４へ入力される。画像処理回路２４の詳細なブロック図を、図２に示す。画像処理回路２４は、輝度検出回路５０、バッファメモリ５４ａを含むスミア補正回路５４および信号処理回路５６を備える。ＳＤＲＡＭ３０から入力されるデジタル撮像信号は、輝度検出回路５０およびスミア補正回路５４に入力される。ここで、輝度検出回路５０およびスミア補正回路５４に入力されるデジタル撮像信号は、図４に示す参照エリア（１ライン分）に対応するデジタル撮像信号である。ここで、該デジタル撮像信号を黒信号と定義する。輝度検出回路５０では、黒信号の輝度レベルを検出する。

ここで、例えば図５（ａ）に示すように、有効エリア内にスミア２００、２０２が発生したとすると、黒信号の輝度レベルは、図５（ｂ）に示すように、スミア２００、２０２に対応する位置に検出され、黒信号としてスミア補正回路５４に出力される。ここで、ＣＰＵ２６は、輝度レベルが所定レベルＬ以上である黒信号を検出したとき、スミアが発生したと判断している。スミア補正回路５４には、輝度検出回路５０からの黒信号と、ＳＤＲＡＭ３０からの有効エリアに対応するデジタル撮像信号が出力される。

また、ＣＰＵ２６は、輝度検出回路５０に入力された黒信号の輝度レベルピーク値を検出し、閾値Ａと比較する。閾値Ａに対する黒信号の輝度レベルピーク値の割合を算出し、算出された割合に応じて、輝度レベルを下げた補正輝度信号（以後、補正輝度信号Ｍと称する）を生成する。

例えば、図６（ａ）に示すように、黒信号の輝度信号の輝度レベルピーク値がＸであった場合に、閾値Ａとピーク値Ｘを比較し、閾値Ａに対するピーク値Ｘの割合を算出する。閾値Ａに対するピーク値Ｘの割合が１３０％であれば、ＣＰＵ２６は、スミア補正回路５４を制御し、スミア補正回路５４に入力されている黒信号の輝度レベルに対して、３０％輝度レベルを下げた補正輝度信号Ｍを生成する。３０％輝度レベルを下げた補正輝度信号Ｍの図解図を図６（ｂ）に示す。

そして、スミア補正回路５４で生成された補正輝度信号Ｍは、スミア補正回路５４内に設けられたバッファメモリ５４ａに格納される。そして、次のフレームの有効エリアに対応するデジタル撮像信号が、ＳＤＲＡＭ３０からスミア補正回路５４に入力されると、スミア補正回路５４は、該次のフレームの有効エリアに対応するデジタル撮像信号に対して、補正輝度信号Ｍを減算するスミア補正処理を１ラインずつ実行し、補正デジタル撮像信号を信号処理回路５６に出力する。つまり、スミア補正処理において減算される補正輝度信号Ｍは、補正対象のデジタル撮像信号の１フレーム前の黒信号に基づく補正輝度信号となる。

また、閾値Ａに対するピーク値の割合が１００％であれば、ＣＰＵ２６は、スミア補正回路５４を制御して、スミア補正回路５４に入力されている黒信号に対して、何ら輝度レベルを下げる処理を施さない。スミア補正回路５４は、スミア補正処理において、デジタル撮像信号に対して黒信号を減算する。

また、閾値Ａに対するピーク値Ｘの割合が１０％未満であれば、ＣＰＵ２６は、スミア補正回路５４を制御し、スミア補正処理を実行しない。

信号処理回路５６では、補正デジタル撮像信号に対して、色分離処理を施し、更にＹＵＶ変換により、Ｙ、Ｕ、Ｖ信号に変換する。そして、信号処理回路５６で変換されたデジタル画像信号は、バス４０を介して、再びＳＤＲＡＭ３０に格納される。本実施例においては、ＣＣＤイメージャ１８から出力されたアナログ撮像信号が、信号処理回路５６でデジタル画像信号に変換され、ＳＤＲＡＭ３０に格納されるまでの処理を撮影処理と定義する。

そして、ＳＤＲＡＭ３０に格納されたデジタル画像信号は、ＣＰＵ２６の制御によりＬＣＤ３２へ出力される。ＬＣＤ３２は、図示しないＬＣＤドライバを含み、ＬＣＤドライバは、Ｙ、Ｕ、Ｖ信号をＲＧＢ信号に変換して、ＬＣＤ３２にデジタル画像信号に基づくスルー画像を表示させる。つまり、ＬＣＤ３２に表示される画像信号は、スミアが軽減されたスルー画像である。

さて、本実施例のデジタルカメラ１０には、手振れ補正機能が搭載されており、操作部２８が操作されることにより、手振れ補正モードが有効化される。手振れ補正モードが有効化されている状態で、ＬＣＤ３２にスルー画像が表示されている最中に手振れが発生すると、ＣＰＵ２６に接続された手振れセンサ５８が手振れ量を検出する。この手振れセンサ５８は、例えば、ジャイロセンサ等の角速度検出センサである。ＣＰＵ２６は、手振れセンサ５８から出力される手振れ量に基づいて、モータ駆動部１６を制御して光学レンズ１２を移動させ、移動制御された光学レンズ１２を介して、ＣＣＤイメージャ１８の受光面上に結像された光学像は、上述したように各回路にて処理（撮影処理）が施され、ＳＤＲＡＭ３０に格納される。ここで、手振れ補正モードが有効化されている場合には、手振れ量に応じて以下に述べる（１）〜（３）にようにスミア補正処理が実行される。

（１）画角がほとんど変化しない程度の微小な手振れ量の場合
上述した手法で補正輝度信号Ｍが生成され、スミア補正処理が実行される。

（２）画角が完全に変化する程度の大きな手振れ量の場合
スミア補正処理を実行しない。

（３）（１）および（２）以外の場合
スミアが発生していると判断されるスミア発生画素からの輝度信号の輝度レベルと、該スミア発生画素の隣接している隣接画素からの輝度信号の輝度レベルとの平均値を算出し、平均値に対応する補正輝度信号（以後、補正輝度信号Ｎと称する）を生成して、スミア補正処理を実行する。例えば、隣接画素にノイズが載っていない、つまり黒信号の輝度レベルが０である場合には、スミア発生画素の輝度信号の輝度レベルの半分のレベルとなる補正輝度信号Ｎを生成し、スミア補正処理を実行する。このように、補正輝度信号のレベルを変更する理由としては、もし、手振れが発生した状態で、デジタル撮像信号に対して上述したような手法で補正輝度信号Ｍが生成され、スミア補正処理が実行されると、スミア補正処理が施された画素に隣接する画素に、偽色が発生したような不適切な画像がＬＣＤ３２上に表示されてしまうからである。

次に、ＣＰＵ２６および画像処理回路２４によって実行される、上述したスミア補正処理の手続について、図７および図８のフローチャートを用いて説明する。具体的には、図７に示すフローチャートは、ＣＰＵ２６および画像処理回路２４によって実行されるスミア補正処理の手続であり、図８に示すフローチャートは、ＣＰＵ２６によって実行されるスミア補正処理のための補正輝度信号生成処理の手続である。これらの処理は、ＣＰＵ２６によって並列的に実行される。なお、これらの処理に対応する制御プログラムは、図示しない、フラッシュメモリに記憶されている。

まず、図７を参照してスミア補正処理全体の手続について説明する。ステップＳ１において、ＣＰＵ２６は、ＣＣＤイメージャ１８から１Ｖ期間、被写体からの光学像の取り込みが終了したか否かを判別する。ステップＳ１にて、ＣＰＵ２６がＹＥＳと判別すると、ステップＳ３へ進み、手振れセンサ５８から出力される角速度データを取り込み、手振れ量を検出し、ステップＳ５へ進む。

ステップＳ５では、ＣＰＵ２６は、手振れ量の判定を行う。該判定の詳細は、上述した（１）画角がほとんど変化しない程度の微小な手振れ量であるか否か、（２）画角が完全に変化する程度の大きな手振れ量であるか否か、（３）（１）および（２）以外であるか否かの判定を行う。ステップＳ５において、（１）または（３）であると判定すると、ステップＳ７へ進み、ＣＰＵ２６は、ＳＤＲＡＭ３０から有効エリアに対応するデジタル撮像信号を、１ラインずつスミア補正回路５４へ入力させる。そして、ステップＳ９へ進み、スミア補正回路５４は、バッファメモリ５４ａに格納されている補正輝度信号を用いて、スミア補正処理を実行し、ステップＳ１に戻る。

一方、ステップＳ５において、ＣＰＵ２６は、（２）であると判定すると、ステップＳ１に戻る。

次に、図８を参照して、スミア補正処理のための補正信号生成処理の手続について、説明する。ステップＳ２１において、ＣＰＵ２６は、ＣＣＤイメージャ１８から１Ｖ期間、被写体からの光学像の取り込みが終了したか否かを判別する。そして、ステップＳ２３へ進み、参照ラインの黒信号の輝度レベルを検出し、ステップＳ２５へ進む。ステップＳ２５では、ステップＳ２３において検出された輝度レベルからスミアが発生しているか否かを判別する。ここで、ＮＯと判別した場合には、ステップＳ２１へ戻り、ＹＥＳと判別した場合には、ステップＳ２７へ進む。

ステップＳ２７では、スミア補正処理における手振れ量検出処理が完了したか否かを判別し、ＹＥＳと判別すると、ステップＳ２９へ進む。ステップＳ２９では、スミア補正処理における手振れ量判定の結果（（１）画角がほとんど変化しない程度の微小な手振れ量であるか否か、（２）画角が完全に変化する程度の大きな手振れ量であるか否か、（３）（１）および（２）以外であるか否かの判定結果）を参照して、（２）であると判別すると、ステップＳ３１へ進む。ステップＳ３１では、輝度レベルピーク値と閾値Ａを比較し、閾値Ａに対する輝度レベルピーク値の割合を算出する。次にステップＳ３３へ進み、ステップＳ３１において算出された割合に対応する補正輝度信号を生成し、ステップＳ３７へ進む。

ステップＳ２９において、（１）または（３）であると判別すると、ステップＳ３５へ進み、スミア発生している画素と隣接する画素との黒信号の輝度平均値を算出し、該平均値となるような補正輝度信号を生成する。そして、ステップＳ３７へ進む。ここで、ステップ３３において生成される補正輝度信号は、上述した補正輝度信号Ｍであり、ステップＳ３５において生成される補正輝度信号は、上述した補正輝度信号Ｎである。

ステップＳ３７では、ステップＳ３３またはステップＳ３５において生成された補正輝度信号を、バッファメモリ５４ａに格納する。そして、ステップＳ２１へ戻る。

このように、本実施例によるデジタルカメラ１０では、スミア補正処理の際に、黒信号の輝度レベルや手振れ量に応じて、スミアを低減させる度合いを異ならしめることができるため、感度の高い画像を出力する際にも、適切なスミア補正処理を施すことができる。

１０・・・ デジタルカメラ
１２・・・ 光学レンズ
１４・・・ 絞り
１６・・・ モータ駆動部
１８・・・ ＣＣＤイメージャ
２０・・・ シグナルジェネレータ（ＳＧ）
２２・・・ ＡＦＥ回路
２４・・・ 画像処理回路
２６・・・ ＣＰＵ
３０・・・ ＳＤＲＡＭ
５０・・・ 輝度検出回路
５４・・・ スミア補正回路
５４ａ・・ バッファメモリ
５６・・・ 信号処理回路
５８・・・ 手振れセンサ

Claims (5)

1. 光学的黒エリアおよび有効エリアが隣接して形成された複数の画素から画像信号を出力する撮像素子と、
   前記画像信号に含まれる前記光学的黒エリアに対応する黒画像信号に基づいてスミアレベルを検出するスミアレベル検出手段と、
   前記黒画像信号に基づいてスミア補正信号を生成する生成手段と、
   前記画像信号に含まれる前記有効エリアに対応する有効画像信号に対してスミア補正信号に基づいてスミア補正を施すスミア補正手段と、
   前記スミアレベルに応じて前記スミア補正信号のレベルを調整する調整手段を備える、撮像装置。
2. 前記調整手段は、
   前記スミアレベル検出手段において検出されたスミアレベルが所定レベルも小さいか否かを判別するレベル判別手段と、
   前記レベル判別手段において前記スミアレベルが前記所定レベルよりも小さいと判別された場合に前記調整手段における前記スミア補正信号のレベルの調整を施さない処理を行い、
   前記レベル判別手段において前記スミアレベルが前記所定レベル以上であると判別された場合に前記調整手段における前記スミア補正信号のレベルを低減する調整を施す処理を行う第１制御手段を備えることを特徴とする、請求項１に記載の撮像装置。
3. 前記画像信号を所定フレームレートに従って繰り返し出力せしめる出力制御手段を更に備え、
   前記調整手段は、
   前記スミアレベル検出手段により検出されるスミアレベルに基づいてスミアが発生している前記有効エリアの水平方向の画素の位置を検出する画素位置検出手段と、
   前記スミア補正手段によりスミア補正が施された有効画像信号と、前の該スミア補正手段によりスミア補正が施された有効画像信号から動き量の検出を行う動き量検出手段と、
   前記動き量に基づいて、前記スミア補正信号に含まれる前記画素位置検出手段により検出された有効エリアの画素に対応する第１信号のレベルの調整を施す第２制御手段を備えることを特徴とする、請求項１または２記載の撮像装置。
4. 前記第２制御手段は、前記スミア補正信号に含まれる前記画素位置検出手段により検出された有効エリアの画素の隣接画素に対応する信号のレベルに基づいて、前記第１信号のレベルの調整を施すことを特徴とする、請求項３記載の撮像装置。
5. 光学的黒エリアおよび有効エリアが隣接して形成された複数の画素から画像信号を出力する撮像素子を備える撮像装置において、該画像信号に対してスミア補正を施す制御方法であって、
   前記画像信号に含まれる前記光学的黒エリアに対応する黒画像信号に基づいてスミアレベルを検出するスミアレベル検出ステップと、
   前記黒画像信号に基づいてスミア補正信号を生成する生成ステップと、
   前記画像信号に含まれる前記有効エリアに対応する有効画像信号に対してスミア補正信号に基づいてスミア補正を施すスミア補正ステップと、
   前記スミアレベルに応じて前記スミア補正信号のレベルを調整する調整ステップを備える、制御方法。