JP2009224903A - 撮像装置、及び撮像装置の制御方法 - Google Patents

Abstract

【課題】動画に適したフレームレートを維持しながら、画像におけるスミアの影響を可能な範囲で低減する。
【解決手段】スミア検出回路２４７は、画像データから、スミアが発生したスミア領域を検出するとともに、スミア領域に含まれるスミア成分の大きさを示すスミアレベルを検出する。カメラ制御部２１は、スミア検出回路２４７からスミアレベルの情報を取得する。カメラ制御部２１は、スミアレベルが閾値Ｓ１以下である場合、複数の光電変換手段のそれぞれにより蓄積された電荷を転送する前におけるＣＣＤ（３，４）における不要電荷を掃き出すための高速掃出し駆動を行い、スミアレベルが閾値Ｓ１より大きい場合、高速掃出し駆動を行わないように、イメージセンサ駆動装置１４を制御する。
【選択図】図５

Description

本発明は、撮像装置、及び撮像装置の制御方法に関する。

従来、複数の画素（フォトダイオード）が行方向及び列方向に配列された画素配列で高輝度の被写体を撮像し、撮像して得られた信号をＣＣＤ（電荷結合素子）により転送した場合に、スミア現象が発生することが知られている。すなわち、高輝度の被写体に応じた光が画素で光電変換されることにより生成された余分な信号が、すでに光電変換され垂直転送路で転送されている画像信号に混入する。この画像信号により得られる画像には、画素配列の列方向に対応した縦方向に白いすじ、すなわちスミア領域が含まれるようになる。このようなスミア現象は、撮影された画像の画質の劣化を招く。

それに対して、特許文献１に示された撮像装置では、フレーム期間毎に、画素で蓄積された電荷を転送する前に垂直ＣＣＤ中の不要電荷を掃き捨てる高速転送駆動を行っている。

また、特許文献２に示された撮像装置では、有効画素領域の画素から読み出された信号から、オプティカルブラック領域の画素から読み出された信号をスミア成分として減算することが提案されている。
特開平１０−１３７４８号公報 特開平７−６７０３８号公報

特許文献１に示された撮像装置では、スミア領域に含まれるスミア成分の大きさを示すスミアレベルに関わらず、フレーム期間毎に、高速転送駆動を行っている。しかし、スミアレベルが大きい場合、高速転送駆動を行って不要電荷が掃き捨てられた画素の信号と、高速転送駆動完了後に新たに不要電荷が混入した画素の信号とで信号レベルの差が大きくなる傾向にある。これにより、得られた画像は、高輝度の被写体の下側のみに白いすじが非常に目立った状態で残り、画質が悪くなる。

仮に、このような画像に対して、特許文献２に示される技術を用いて、スミア成分を減算して補正したとすれば、補正後の画像は、高輝度の被写体の上側が過補正されたものとなってしまう。この結果、補正後の画像は、高輝度の被写体の上側のみに黒いすじが非常に目立った状態で残り、画質が悪くなる。

本発明の目的は、画像におけるスミアの影響を可能な範囲で低減することにある。

本発明の第１側面に係る撮像装置は、複数の光電変換手段と、電荷を電圧に変換する電荷電圧変換手段と、前記複数の光電変換手段のそれぞれにより蓄積された電荷を前記電荷電圧変換手段へ順次に転送する転送手段と、前記転送手段を駆動する駆動手段と、前記電荷電圧変換手段により変換された電圧に応じた信号から画像データを生成する生成手段と、前記画像データから、スミアが発生したスミア領域を検出するとともに、前記スミア領域に含まれるスミア成分の大きさを示すスミアレベルを検出するスミア検出手段と、前記スミアレベルの大きさを判断し、判断した結果に応じてスミアの影響を低減するための制御を行う制御手段とを備え、前記制御手段は、前記スミアレベルが閾値以下である場合、前記複数の光電変換手段のそれぞれにより蓄積された電荷を転送する前における前記転送手段における不要電荷を掃き出すための掃出し駆動を行い、前記スミアレベルが前記閾値より大きい場合、前記掃出し駆動を行わないように、前記駆動手段を制御することを特徴とする。

本発明の第２側面に係る撮像装置は、複数の光電変換手段と、電荷を電圧に変換する電荷電圧変換手段と、前記複数の光電変換手段のそれぞれにより蓄積された電荷を前記電荷電圧変換手段へ順次に転送する転送手段と、前記転送手段を駆動する駆動手段と、前記電荷電圧変換手段により変換された電圧に応じた信号から画像データを生成する生成手段と、前記画像データから、スミアが発生したスミア領域を検出するとともに、前記スミア領域に含まれるスミア成分の大きさを示すスミアレベルを検出するスミア検出手段と、前記スミアレベルの大きさを判断し、判断した結果に応じてスミアの影響を低減するための制御を行う制御手段とを備え、前記制御手段は、前記スミアレベルが第１の閾値以下である場合、前記複数の光電変換手段のそれぞれにより蓄積された電荷を転送する前における前記転送手段における不要電荷を掃き出すための掃出し駆動を行い、前記スミアレベルが前記第１の閾値より大きな第２の閾値より大きい場合、前記掃出し駆動を行わないように、前記駆動手段を制御することを特徴とする。

本発明の第３側面に係る撮像装置の制御方法は、複数の光電変換手段と、電荷を電圧に変換する電荷電圧変換手段と、前記複数の光電変換手段のそれぞれにより蓄積された電荷を前記電荷電圧変換手段へ順次に転送する転送手段と、前記転送手段を駆動する駆動手段と、前記電荷電圧変換手段により変換された電圧に応じた信号から画像データを生成する生成手段と、前記画像データから、スミアが発生したスミア領域を検出するとともに、前記スミア領域に含まれるスミア成分の大きさを示すスミアレベルを検出するスミア検出手段とを有する撮像装置の制御方法であって、前記スミアレベルの大きさを判断する判断ステップと、前記判断ステップで判断した結果に応じて、スミアの影響を低減するための制御を行う制御ステップとを備え、前記制御ステップでは、前記スミアレベルが第１の閾値以下である場合、前記複数の光電変換手段のそれぞれにより蓄積された電荷を転送する前における前記転送手段における不要電荷を掃き出すための掃出し駆動を行い、前記スミアレベルが前記第１の閾値より大きい場合、前記掃出し駆動を行わないことを特徴とする。

本発明の第４側面に係る撮像装置の制御方法は、複数の光電変換手段と、電荷を電圧に変換する電荷電圧変換手段と、前記複数の光電変換手段のそれぞれにより蓄積された電荷を前記電荷電圧変換手段へ順次に転送する転送手段と、前記転送手段を駆動する駆動手段と、前記電荷電圧変換手段により変換された電圧に応じた信号から画像データを生成する生成手段と、前記画像データから、スミアが発生したスミア領域を検出するとともに、前記スミア領域に含まれるスミア成分の大きさを示すスミアレベルを検出するスミア検出手段とを有する撮像装置の制御方法であって、前記スミアレベルの大きさを判断する判断ステップと、前記判断ステップで判断した結果に応じて、スミアの影響を低減するための制御を行う制御ステップとを備え、前記制御ステップでは、前記スミアレベルが第１の閾値以下である場合、前記複数の光電変換手段のそれぞれにより蓄積された電荷を転送する前における前記転送手段における不要電荷を掃き出すための掃出し駆動を行い、前記スミアレベルが前記第１の閾値より大きな第２の閾値より大きい場合、前記掃出し駆動を行わないことを特徴とする。

本発明によれば、画像におけるスミアの影響を可能な範囲で低減することができる。

本発明の実施形態に係る撮像装置１００を、図１を用いて説明する。図１は、本発明の実施形態に係る撮像装置１００の概略構成を示すブロック図である。

撮像装置１００は、例えば、デジタルカメラ、ビデオカムコーダである。撮像装置１００は、光学系１１、メカシャッタ１３、撮像素子１２、プリプロセス回路１５、デジタルプロセス回路１６、メモリ１７、ＬＣＤディスプレイ１８、光源位置検出回路２３、スミア検出・補正処理回路２４、及び操作部２２を備える。撮像装置１００は、カメラ制御部２１、及び画像変換回路１９を備える。

光学系１１は、レンズを含む。光学系１１は、撮像素子１２における画素配列ＰＡに被写体の像を形成する。

メカシャッタ１３は、光学系１１と撮像素子１２との間に配されている。メカシャッタ１３は、光学系１１から撮像素子１２へ導かれる光の量を調節する。例えば、メカシャッタ１３が閉じると、光学系１１から撮像素子１２へ導かれる光が遮断される。

撮像素子１２は、被写体の像を画像信号（アナログ信号）に変換して、変換した画像信号をプリプロセス回路１５へ出力する。撮像素子１２は、複数の画素（光電変換手段、例えば、フォトダイオード）（１，２）、フローティングディフュージョン（電荷電圧変換手段、以下、ＦＤ）７、及びＣＣＤ（転送手段）（３，４）を含む。撮像素子１２は、出力部５を含む（図２参照）。複数の画素（１，２）のそれぞれは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する。ＣＣＤ（３，４）は、複数の画素（１，２）のそれぞれにより蓄積された電荷をＦＤ７へ順次に転送する。ＦＤ７は、転送された電荷を電圧に変換する。出力部５は、ＦＤ７により変換された電圧に応じた信号をプリプロセス回路１５へ出力する。撮像素子１２の構成の詳細は後述する。

イメージセンサ駆動装置（駆動手段）１４は、撮像素子１２を駆動するための駆動パルスを発生させて、発生させた駆動パルスを撮像素子１２へ供給する。イメージセンサ駆動装置１４は、画素のそれぞれにより蓄積された電荷を転送する前における後述のＣＣＤにおける不要電荷を掃き出すための掃出し駆動（高速掃出し駆動）を行う機能を有する。

プリプロセス回路１５は、撮像素子１２から出力された信号に対して、サンプルホールド（Ｓ／Ｈ）処理、ゲインアンプ処理、及びアナログデジタル変換（Ａ／Ｄ）処理などを行い、画像信号（デジタル信号）を生成する。プリプロセス回路１５は、画像信号（デジタル信号）をデジタルプロセス回路１６へ供給する。

デジタルプロセス回路（生成手段）１６は、受けた画像信号（デジタル信号）に対して、ガンマ処理、色信号処理などの各種デジタル信号処理を行い、画像データ（原画像データ）を生成する。デジタルプロセス回路１６は、画像データをメモリ１７へ書き込んだり、メモリ１７から画像データを読み出したりする。また、デジタルプロセス回路１６は、画像データをＬＣＤディスプレイ１８へ供給する。さらに、デジタルプロセス回路１６は、画像データを光源位置検出回路２３、スミア検出・補正処理回路２４、及び画像変換回路１９へ供給する。

ＬＣＤディスプレイ１８は、受けた画像データを表示用信号に変換して、その表示用信号に応じた画像を表示する。

光源位置検出回路（光源位置検出手段）２３は、画像データから、高輝度光源の画素位置を検出する。光源位置検出回路２３は、高輝度光源の位置を示す情報をカメラ制御部２１へ供給する。

スミア検出・補正処理回路（スミア検出手段、スミア補正処理手段）２４は、画像データから、スミアが発生したスミア領域を検出するとともに、スミア領域に含まれるスミア成分の大きさを示すスミアレベルを検出する。スミア検出・補正処理回路２４は、スミア領域を示す情報とスミアレベルを示す情報とをカメラ制御部２１へ供給する。また、スミア検出・補正処理回路２４は、カメラ制御部２１により制御されて、画像データにおけるスミア領域から補正量を減算する減算処理を行うことにより、スミア領域に含まれる画素データのレベルを補正する。

操作部２２は、ユーザから所定の指示を受け付ける。操作部２２は、例えば、レリーズや出力画像サイズ切り替え、読み出しモード切り替えなどの指示を受け付ける。操作部２２は、受け付けた指示を示す情報をカメラ制御部２１へ供給する。

カメラ制御部（制御手段）２１は、操作部２２が受け付けた指示に応じて、各部を全体的に制御する。カメラ制御部２１は、光学系１１やメカシャッタ１３を駆動制御したり、イメージセンサ駆動装置１４、プリプロセス回路１５、デジタルプロセス回路１６、画像変換回路１９、及びメモリカード２０の動作を制御する。

また、カメラ制御部２１は、フレーム期間毎に、スミアレベルの大きさを判断し、判断した結果に応じてスミアの影響を低減するための制御を行う。カメラ制御部２１は、例えば、次のように制御を行う。

カメラ制御部２１は、スミアレベルが第１の閾値Ｓ３以下である場合、複数の画素１，２のそれぞれにより蓄積された電荷を転送する前におけるＣＣＤ３，４内の不要電荷を掃き出すための掃出し駆動を行うようにイメージセンサ駆動装置１４を制御する。カメラ制御部２１は、スミアレベルが第１の閾値Ｓ３より大きい場合、掃出し駆動を行わないように、イメージセンサ駆動装置１４を制御する（後述の第１の動作例）。

カメラ制御部２１は、スミアレベルが第１の閾値Ｓ３以下である場合、複数の画素１，２のそれぞれにより蓄積された電荷を転送する前におけるＣＣＤ３，４内の不要電荷を掃き出すための掃出し駆動を行うようにイメージセンサ駆動装置１４を制御する。カメラ制御部２１は、スミアレベルが第１の閾値Ｓ３より大きい第２の閾値Ｓ２以上である場合、掃出し駆動を行わないようにイメージセンサ駆動装置１４を制御する（後述の第２の動作例）。

カメラ制御部２１は、高輝度光源の画素位置が画像データにおける中央画素位置より上でありかつスミアレベルが第１の閾値Ｓ３と第２の閾値Ｓ２との間にある場合、掃出し駆動を行うように、イメージセンサ駆動装置１４を制御する。カメラ制御部２１は、高輝度光源の画素位置が画像データにおける中央画素位置より下であり、かつ、スミアレベルが第１の閾値Ｓ３と第２の閾値Ｓ２との間にある場合、掃出し駆動を行わないように、イメージセンサ駆動装置１４を制御する（後述の第２の動作例）。

カメラ制御部２１は、高輝度光源の画素位置が画像データにおける中央画素位置より下でありかつスミアレベルが第１の閾値Ｓ３と第２の閾値Ｓ２との間にある場合、減算処理を行うように、スミア検出・補正処理回路２４を制御する（後述の第２の動作例）。

カメラ制御部２１は、スミアレベルが第２の閾値以上であり、かつ、スミアレベルが第２の閾値より大きい第３の閾値Ｓ１以下である場合、減算処理を行うように、スミア検出・補正処理回路２４を制御する（後述の第２の動作例）。

カメラ制御部２１は、スミアレベルが第３の閾値Ｓ１より大きい場合、掃出し駆動を行わないように、イメージセンサ駆動装置１４を制御するとともに、減算処理を行わないように、スミア検出・補正処理回路２４を制御する。

画像変換回路１９は、受けた画像データを圧縮し、圧縮後の画像データをメモリカード２０に書き込む記録処理を行う。画像変換回路１９は、デジタルプロセス回路１６からの画像データを圧縮してメモリカード２０へ出力する機能と、メモリカード２０より読み出した画像データを伸長してデジタルプロセス回路１６へ出力する機能とを有している。

次に、撮像素子１２の構成について、図２を用いて説明する。図２は、撮像素子１２の構成図である。図２には、撮像素子１２がインターライン型のＣＣＤイメージセンサである例について示されている。

図２において、１は、遮光されていない有効画素、２は、遮光されたＯＢ画素（オプティカルブラック画素）である。複数の画素（有効画素１，ＯＢ画素２）は、マトリクス状に配列された画素配列ＰＡを形成している。ここで、有効画素１は、入射光を光電変換して電荷を発生させ、発生させた電荷を蓄積する。ＯＢ画素２は、遮光されているので光電変換を行わないが、暗電流成分に相当する電荷を蓄積している。

３は、画素（有効画素１，ＯＢ画素２）からの電荷を垂直方向に転送する垂直転送部である。４は、垂直転送部３からの電荷を水平方向に転送する水平転送部、７は、ＦＤ（フローティングディフュージョン）、５は、出力部、６は、信号出力端子である。垂直転送部３及び水平転送部４は、上述のＣＣＤを構成する。

図２において、画素（有効画素１，ＯＢ画素２）の個数は、説明をわかりやすくするために、水平１２画素、垂直１０画素となっているが、信号処理や補正に必要な所望の数が配置されていればその個数に限定されない。また、有効画素１の上方に設けられる色フィルタの配列は、Ｒ（赤）及びＧ（緑）が水平方向に交互に並んでいるＲＧラインと、Ｇ（緑）及びＢ（青）が水平方向に交互に並んでいるＧＢラインとがある、いわゆるベイヤ配列とする。

画素（有効画素１，ＯＢ画素２）に蓄積された電荷は、画素と垂直転送部３との間に設けられた転送ゲート（図示せず）に電荷読み出しパルスが印加された列において、垂直転送部３に読み出される。垂直転送部３では、読み出された電荷が、それぞれ、転送電極Ｖ１〜Ｖ６に加えられる６相駆動パルスφＶ１〜φＶ６により水平転送部４の方向へ順次に転送される。

水平転送部４では、垂直転送部３から転送されてきた水平１行分の信号電荷を、それぞれ、転送電極Ｈ１及びＨ２に加えられる２相駆動パルスφＨ１及びφＨ２により順次にＦＤ７へ転送する。ＦＤ７は、転送された（信号）電荷を電圧に変換して、変換した電圧を出力部５へ入力する。出力部５は、入力された電圧に応じた信号を増幅し、増幅した信号を出力端子６経由で後段（プリプロセス回路１５）へ出力する。

次に、スミア検出・補正処理回路２４の構成を、図３を用いて説明する。図３は、スミア検出・補正処理回路２４の構成図である。図３の点線矢印は、カメラ制御部２１の制御により動作していることを示している。

スミア検出・補正処理回路２４は、スミア検出回路２４７、補正値算出回路２４４、遅延回路２４５、及び減算回路２４６を含む。スミア検出回路２４７は、平均化回路２４１、ラインメモリ２４２、及びスミアレベル算出回路２４３を含む。

スミア検出回路２４７は、スミア検出・補正処理回路２４に入力された画像データのうち、垂直ＯＢラインＶＯＢ（図２参照）の画素データと、画素を含まないダミーライン（図示せず）の垂直転送部３のデータと受ける。垂直ＯＢラインＶＯＢ１及びダミーラインは、有効画素領域ＥＡと異なり、画素が配されていないか、又は、画素が遮光されている。これにより、垂直ＯＢラインＶＯＢ１及びダミーラインのデータは、ほぼスミア成分のデータという扱うことができるため、垂直ＯＢラインＶＯＢ１及びダミーラインをまとめてスミアデータラインと呼ぶことにする。なお、スミアデータラインは、１ラインでも複数ラインでも構わないが、本実施例では複数ラインであるとする。

スミア検出回路２４７では、平均化回路２４１が、このスミアデータラインのデータを受ける。平均化回路２４１は、ラインごとに、受けたデータとラインメモリ２４２に蓄積されたデータとを加算して、加算したデータをラインメモリ２４２に記憶させるという処理を繰り返す。その後、平均化回路２４１は、ラインメモリ２４２に記憶されたデータを、加算したライン数で除算することにより、スミアデータラインのデータを平均化することができる。平均化回路２４１は、この平均化されたスミアデータラインのデータをスミア成分データとしてラインメモリ２４２に記憶する。すなわち、平均化回路２４１は、画像データから、スミア成分データを介して、スミアが発生したスミア領域を検出する。このスミア成分データは、１ラインのデータとして存在する。平均化回路２４１は、スミア成分データを補正値算出回路２４４へ出力する。

なお、平均化回路２４１は、必要に応じて水平方向にローパスフィルタ処理を行い、ノイズ成分の除去を行ってもよい。

また、スミアレベル算出回路２４３は、ラインメモリ２４２に記憶されたスミア成分データから、その１ラインのデータの平均値や最大値、あるいは任意の指定された領域での平均値や最大値などをスミアレベルとして検出する。すなわち、スミアレベル算出回路２４３は、画像データから、スミア領域に含まれるスミア成分の大きさを示すスミアレベルを検出する。スミアレベル算出回路２４３は、検出したスミアレベルの情報をカメラ制御部２１へ出力する。

続いて、補正値算出回路２４４は、平均化回路２４１から出力されたスミア成分データを受ける。補正値算出回路２４４は、カメラ制御部２１の制御により、スミア成分データから補正に用いる補正値（補正量）を算出する。例えば、補正値算出回路２４４は、スミアレベルが著しく小さく、スミアが発生していないと判断すれば補正値を全て０にし、スミアレベルが著しく大きく、そのまま減算すると出力画像のダイナミックレンジを圧迫すると判断すれば補正値を全て無効にする。補正値算出回路２４４は、算出した補正値（補正量）に応じて、スミア補正データを生成して減算回路２４６へ出力する。

一方、遅延回路２４５は、スミア検出・補正処理回路２４に入力された画像データのうち、有効画素領域ＥＡの画素データを受ける。遅延回路２４５は、受けた画素データを、所定期間だけ保持した後、遅延させたタイミングで減算回路２４６へ供給する。

減算回路２４６は、有効画素の画素データから、スミア補正データが示す補正量を減算することができる。なお、減算処理は、水平方向に画素アドレスが同じデータ同士で行われる。本減算処理により、画像データにおけるスミア領域に含まれる画素データからスミア成分を除去することができ、スミア領域に含まれる画素データのレベルを補正することができる。

本実施形態では、スミアレベルに応じたカメラ制御部２１からの制御により、減算回路２４６の減算処理がＯＮ／ＯＦＦされる。また、言うまでもなく、減算処理における補正量を０にすることも、上述の減算処理がＯＦＦされることと等価である。

続いて、本実施形態における光源位置検出回路２３の動作について、図４を用いて説明する。図４は、光源位置検出回路２３に供給される画像データの構成を示す図である。

光源位置検出回路２３は、供給された画像データ画像データを、図４に示すような複数のブロックに分け、各領域での平均値を求めることにより、高輝度光源の画素位置を検出する。図４の例では、画像データを水平２０ブロック×垂直１５ブロックに分割する、すなわち、３００ブロックに分割する。光源位置検出回路２３は、各ブロックについて輝度の平均値Ｙ１〜Ｙ３００を求める。光源位置検出回路２３は、これらの輝度の平均値Ｙ１〜Ｙ３００のうち最大値Ｙｍａｘを算出する。光源位置検出回路２３は、そのＹｍａｘを有するブロックの画像データにおける座標位置を高輝度光源の画素位置として検出して、検出した高輝度光源の画素位置の情報をカメラ制御部２１に供給する。

その情報を受けたカメラ制御部２１は、高輝度光源の画素位置が中央画素位置Ｃ１より上か下かを判定する。例えば、カメラ制御部２１は、検出された高輝度光源Ｙｍａｘの座標の垂直位置が１〜８であった場合は画像データにおける上部にいるとし、垂直位置が９〜１５であった場合は画像データにおける下部にいると判定する。

なお、高輝度光源の画素位置が複数あった場合は、複数の高輝度光源の画素位置のうち、上か下かで多い方を、高輝度光源の画素位置の判定結果とする。

以上のように、光源位置検出回路により、画像データ上の高輝度光源の位置を検出することができ、カメラ制御部２１はその位置情報を得ることができる。

次に、本実施形態に係る撮像装置１００の第１の動作例を、図５のフローチャートを用いて説明する。図５は、本実施形態に係る撮像装置１００の第１の動作例を示すフローチャートである。

まず、カメラ制御部２１は、スミア検出・補正処理回路２４内のスミア検出回路２４７からスミアレベルの情報を取得し（Ｓ１０１）、そのスミアレベルと第３の閾値Ｓ１とを比較する（Ｓ１０２）。このとき、スミアレベルは、スミア成分データのレベルを１ラインについて平均した値とする。

カメラ制御部２１は、スミアレベルが第３の閾値Ｓ１よりも大きい場合（Ｓ１０２のＹ）、イメージセンサ駆動装置１４に対して高速掃出し駆動を付加しない（Ｓ１０３）。これは、スミアレベルが非常に高い場合、このまま高速掃出し駆動を行うと、画像データにおける上部と下部とでスミアデータのレベルに著しく差が生じてしまい、画像データ内でのスミアの見た目が非常に悪くなってしまうため、これを避けるための判断である。

カメラ制御部２１は、スミアレベルが第３の閾値Ｓ１以下（第３の閾値以下）である場合（Ｓ１０２のＮ）、イメージセンサ駆動装置１４に対して高速掃出し駆動を付加する（Ｓ１０４）。スミアレベルが小さい場合は高速掃出し駆動によって読み出し処理前に残留しているスミア信号を掃出してスミアを大幅に低減することに加え、画像データにおける上部と下部でスミアデータが著しく差が生じることがないため、高速掃出しの付加が有益である。

以上のように状況に応じて高速掃出しを実施することにより、画像におけるスミアの影響を低減することが出来る。

次に、本実施形態に係る撮像装置１００の第２の動作例を、図６のフローチャートを用いて説明する。図６は、本実施形態に係る撮像装置１００の第２の動作例を示すフローチャートである。

まず、カメラ制御部２１は、スミア検出・補正処理回路２４内のスミア検出回路からスミアレベルの情報を取得し（Ｓ２０１）、そのスミアレベルと第３の閾値Ｓ１とを比較する（Ｓ２０２）。このとき、スミアレベルは、スミア成分データのレベルを１ラインについて平均した値とする。

カメラ制御部２１は、スミアレベルが第３の閾値Ｓ１よりも大きい場合（Ｓ２０２のＹ）、イメージセンサ駆動装置１４に対して高速掃出し駆動を付加しない。また、カメラ制御部２１は、スミア検出・補正処理回路２４の減算回路２４６をＯＦＦにし、減算処理を実行しない（Ｓ２０３）。

これは、スミアレベルが非常に高い場合、このまま高速掃出し駆動を行うと、画像データの上部と下部でスミアデータのレベルに著しく差が生じてしまい、画像データ内でのスミアの見た目が非常に悪くなってしまうため、これを避けるための判断である。

ここで、特開平７−０６７０３８号公報に示された撮像装置において生じる可能性のある過補正について説明する。特開平７−０６７０３８号公報に示された撮像装置では、スミア成分を減算することにより画像データ内のスミアが大幅に減ることとなるが、強い光が動いている場合に正確にスミア補正できないという問題がある。ある時点では強い光があたった垂直転送部にスミアが発生するが、次の時点では強い光が動き、別の垂直転送部にスミアが発生する。この動きが１フレームの期間内に起こるとスミアが画像データ内で上下に直線状にならない。このため、データ画素ラインとＯＢ画素ラインの画像データの差分をとっても、スミアののってないデータ画素からスミア成分を引いたり、スミアが発生している画素からスミア成分を引かなかったりということが起きる。これにより被写体の条件によっては、正確な補正ができないという問題が生じる。特に、スミアの存在しているところとしていないところの境界にて、過補正による黒筋が目立ちやすいことが確認されている。

それに対して、本実施形態におけるステップＳ２０３では、スミアレベルが第３の閾値Ｓ１よりも大きいことに応じて、減算処理を行わない。これは、このまま減算回路を使って減算すると出力データのダイナミックレンジが著しく低下する可能性があること、また、スミア補正による弊害である過補正の状況で黒い縦筋が画像データ内で非常に目立ってしまうことを避けるためである。

カメラ制御部２１は、スミアレベルが第３の閾値Ｓ１以下である場合（Ｓ２０２のＮ）、スミアレベルと第２の閾値Ｓ２とを比較する（Ｓ２０４）。ここで、第２の閾値Ｓ２は第３の閾値Ｓ１よりも小さい値である。

カメラ制御部２１は、スミアレベルが第２の閾値Ｓ２よりも大きい場合（Ｓ２０４のＹ）、スミア検出・補正処理回路２４の減算回路２４６をＯＮにし、減算処理を実行する（Ｓ２０５）。

カメラ制御部２１は、スミアレベルが第２の閾値Ｓ２以下（第２の閾値以下）である場合（Ｓ２０４のＮ）、スミアレベルと第１の閾値Ｓ３とを比較する（Ｓ２０６）。ここで、第１の閾値Ｓ３は第２の閾値Ｓ２よりも小さい値である。

カメラ制御部２１は、スミアレベルが第１の閾値Ｓ３以下（第１の閾値以下）である場合（Ｓ２０６のＮ）、イメージセンサ駆動装置１４に対して高速掃出し駆動を付加する。さらにスミア検出・補正処理回路２４の減算回路２４６をＯＦＦにし、減算処理を実行しない（Ｓ２０７）。

これは、画像データ内スミアレベルが非常に小さい場合は、高速掃出し駆動によって読み出し処理前に残留しているスミア信号を掃出してスミアを大幅に低減することに加え、画像データ上部と下部でスミアデータが著しく差が生じることがない。このため、高速掃出しの付加が有益であるとの判断である。また、減算処理を行わないのは、スミアレベルが非常に小さいため、高速掃出し駆動によりスミア成分を除去すればスミア補正をする必要がないためである。また、スミア補正データを減算する処理を行うと、無駄なノイズを付加することとなり、弊害として現れる恐れもあるため、これを避けることにもつながる。

カメラ制御部２１は、スミアレベルが第１の閾値Ｓ３よりも大きい場合（Ｓ２０６のＹ）、光源位置検出回路２３から高輝度光源の画素位置の情報を取得し（Ｓ２０８）、高輝度光源の画素位置が画像データ内の上部にあるか否かを判定する（Ｓ２０９）。

カメラ制御部２１は、高輝度光源の画素位置が画像データ内の上部にある場合（Ｓ２０９のＹ）、イメージセンサ駆動装置１４に対して高速掃出し駆動を付加しない。また、カメラ制御部２１は、スミア検出・補正処理回路２４の減算回路２４６をＯＮにし、減算処理を実行する（Ｓ２１０）。

これは、画像データ内の上部に高輝度光源がある場合、高速掃出し駆動によって画像データの上部と下部とでスミアデータのレベルに著しく差が生じてしまい、画像データ内でのスミアの見た目が非常に悪くなってしまうため、これを避けるための判断である。

カメラ制御部２１は、高輝度光源の位置が画像データ内の下部にある場合（Ｓ２０９のＮ）、イメージセンサ駆動装置１４に対して高速掃出し駆動を付加する。また、カメラ制御部２１は、スミア検出・補正処理回路２４の減算回路２４６をＯＦＦにし、減算処理を実行しない（Ｓ２１１）。

これは、画像データ内の下部に高輝度光源がある場合、高速掃出し駆動によって読み出し処理前に残留しているスミア信号を掃出してスミアを大幅に低減することに加え、画像データ上部と下部とでスミアデータが著しく差が生じることがない。このため、高速掃出しの付加が有益であるとの判断である。

このように状況に応じて高速掃出しを実施することにより、画像におけるスミアの影響を低減することができる。

以上のように、本実施形態によれば、スミアレベルが小さい場合にだけ、ＣＣＤ中の不要電荷を掃き捨てるためには高速転送駆動を行うので、画像におけるスミアの影響が目立たない範囲でスミアの影響を低減できる。すなわち、画像におけるスミアの影響を可能な範囲で低減することができる。

また、動画像のスミアレベル及び高輝度光源の画素位置に応じて高速掃出し駆動または減算処理を選択し、行うことで、減算処理の弊害を最低限に抑えた上で、画像データ内のスミアの見た目を改善することができる。これにより、一般的に用いられている固体撮像素子の構造を大きく変更することなく、かつ動画像フレームレートなどの性能を落とさずに、安価で、画像データ上のスミアの見た目を改善できる撮像装置を提供することができる。

本発明の実施形態に係る撮像装置１００の概略構成を示すブロック図。 撮像素子１２の構成図。 スミア検出・補正処理回路２４の構成図。 光源位置検出回路２３に供給される画像データの構成を示す図。 本実施形態に係る撮像装置１００の第１の動作例を示すフローチャート。 本実施形態に係る撮像装置１００の第２の動作例を示すフローチャート。

符号の説明

１２ 撮像素子
１００ 撮像装置

Claims (9)

1. 複数の光電変換手段と、
   電荷を電圧に変換する電荷電圧変換手段と、
   前記複数の光電変換手段のそれぞれにより蓄積された電荷を前記電荷電圧変換手段へ順次に転送する転送手段と、
   前記転送手段を駆動する駆動手段と、
   前記電荷電圧変換手段により変換された電圧に応じた信号から画像データを生成する生成手段と、
   前記画像データから、スミアが発生したスミア領域を検出するとともに、前記スミア領域に含まれるスミア成分の大きさを示すスミアレベルを検出するスミア検出手段と、
   前記スミアレベルの大きさを判断し、判断した結果に応じてスミアの影響を低減するための制御を行う制御手段と、
   を備え、
   前記制御手段は、前記スミアレベルが閾値以下である場合、前記複数の光電変換手段のそれぞれにより蓄積された電荷を転送する前における前記転送手段における不要電荷を掃き出すための掃出し駆動を行い、前記スミアレベルが前記閾値より大きい場合、前記掃出し駆動を行わないように、前記駆動手段を制御する
   ことを特徴とする撮像装置。
2. 複数の光電変換手段と、
   電荷を電圧に変換する電荷電圧変換手段と、
   前記複数の光電変換手段のそれぞれにより蓄積された電荷を前記電荷電圧変換手段へ順次に転送する転送手段と、
   前記転送手段を駆動する駆動手段と、
   前記電荷電圧変換手段により変換された電圧に応じた信号から画像データを生成する生成手段と、
   前記画像データから、スミアが発生したスミア領域を検出するとともに、前記スミア領域に含まれるスミア成分の大きさを示すスミアレベルを検出するスミア検出手段と、
   前記スミアレベルの大きさを判断し、判断した結果に応じてスミアの影響を低減するための制御を行う制御手段と、
   を備え、
   前記制御手段は、前記スミアレベルが第１の閾値以下である場合、前記複数の光電変換手段のそれぞれにより蓄積された電荷を転送する前における前記転送手段における不要電荷を掃き出すための掃出し駆動を行い、前記スミアレベルが前記第１の閾値より大きな第２の閾値より大きい場合、前記掃出し駆動を行わないように、前記駆動手段を制御する
   ことを特徴とする撮像装置。
3. 前記画像データから、光源の画素位置を検出する光源位置検出手段をさらに備え、
   前記制御手段は、前記光源の画素位置が前記画像データにおける中央画素位置よりも上であり、かつ、前記スミアレベルが前記第１の閾値と前記第２の閾値との間にある場合、前記掃出し駆動を行い、前記光源の画素位置が前記画像データにおける中央画素位置よりも下であり、かつ、前記スミアレベルが前記第１の閾値と前記第２の閾値との間にある場合、前記掃出し駆動を行わないように、前記駆動手段を制御する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記画像データにおける前記スミア領域から補正量を減算する減算処理を行うことにより、前記スミア領域に含まれる画素データのレベルを補正するスミア補正処理手段をさらに備え、
   前記制御手段は、前記光源の画素位置が前記画像データにおける中央画素位置よりも下であり、かつ、前記スミアレベルが前記第１の閾値と前記第２の閾値との間にある場合、前記減算処理を行うように、前記スミア補正処理手段を制御する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、前記スミアレベルが第２の閾値より大きく、かつ、前記スミアレベルが前記第２の閾値より大きい第３の閾値以下である場合、前記減算処理を行うように、前記スミア補正処理手段を制御する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記スミアレベルが前記第３の閾値より大きい場合、前記掃出し駆動を行わないように、前記駆動手段を制御するとともに、前記減算処理を行わないように、前記スミア補正処理手段を制御する
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、フレーム期間毎に、前記スミアレベルの大きさを判断する
   ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 複数の光電変換手段と、電荷を電圧に変換する電荷電圧変換手段と、前記複数の光電変換手段のそれぞれにより蓄積された電荷を前記電荷電圧変換手段へ順次に転送する転送手段と、前記転送手段を駆動する駆動手段と、前記電荷電圧変換手段により変換された電圧に応じた信号から画像データを生成する生成手段と、前記画像データから、スミアが発生したスミア領域を検出するとともに、前記スミア領域に含まれるスミア成分の大きさを示すスミアレベルを検出するスミア検出手段とを有する撮像装置の制御方法であって、
   前記スミアレベルの大きさを判断する判断ステップと、
   前記判断ステップで判断した結果に応じて、スミアの影響を低減するための制御を行う制御ステップと、
   を備え、
   前記制御ステップでは、
   前記スミアレベルが第１の閾値以下である場合、前記複数の光電変換手段のそれぞれにより蓄積された電荷を転送する前における前記転送手段における不要電荷を掃き出すための掃出し駆動を行い、前記スミアレベルが前記第１の閾値より大きい場合、前記掃出し駆動を行わない
   ことを特徴とする撮像装置の制御方法。
9. 複数の光電変換手段と、電荷を電圧に変換する電荷電圧変換手段と、前記複数の光電変換手段のそれぞれにより蓄積された電荷を前記電荷電圧変換手段へ順次に転送する転送手段と、前記転送手段を駆動する駆動手段と、前記電荷電圧変換手段により変換された電圧に応じた信号から画像データを生成する生成手段と、前記画像データから、スミアが発生したスミア領域を検出するとともに、前記スミア領域に含まれるスミア成分の大きさを示すスミアレベルを検出するスミア検出手段とを有する撮像装置の制御方法であって、
   前記スミアレベルの大きさを判断する判断ステップと、
   前記判断ステップで判断した結果に応じて、スミアの影響を低減するための制御を行う制御ステップと、
   を備え、
   前記制御ステップでは、
   前記スミアレベルが第１の閾値以下である場合、前記複数の光電変換手段のそれぞれにより蓄積された電荷を転送する前における前記転送手段における不要電荷を掃き出すための掃出し駆動を行い、前記スミアレベルが前記第１の閾値より大きな第２の閾値より大きい場合、前記掃出し駆動を行わない
   ことを特徴とする撮像装置の制御方法。

Images