JP2009100048A - 撮像装置および撮像機器 - Google Patents

Abstract

【課題】暗電流ノイズを取得する際の撮像条件と、実際に撮像する際の撮像条件とが異なってしまい、十分なノイズ除去の精度を得られない。
【解決手段】撮像部１３は、所定の撮像領域を持ち、その撮像領域に対する入射光を電気信号に変換する。遮光部１２は、撮像領域内の一部の領域に対する入射光を遮光し、それ以外の領域に対する入射光を透過する。駆動部１４は、遮光部１２が遮光する領域を動的に切り替える。駆動部１４は、撮像領域において、奇数ラインが遮光および偶数ラインが透過の状態と、奇数ラインが透過および偶数ラインが遮光の状態とが交互に切り替えられるよう、遮光部１２を駆動してもよい。
【選択図】図１

Description

本発明は、ＣＣＤ（Charge Coupled Devices）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどの固体撮像素子を搭載した撮像装置および撮像機器に関する。

デジタルスチルカメラやデジタルムービーカメラが広く普及してきている。それらカメラの普及に伴い、高画質化の要求も益々強まっている。当該カメラの画質を低下させる要因の一つとして、暗電流ノイズがある。暗電流ノイズは、入射光がない状態でも固体撮像素子から出力されてしまう信号成分である。暗電流ノイズを除去する一つの手法として、あらかじめ暗電流ノイズを取得して記憶しておき、その暗電流ノイズを、撮像された画像信号から減算する手法がある。

特許文献１は、ＣＣＤセンサーの暗電流補正方法を開示する。この補正方法は、第１の期間でＣＣＤセンサーの暗電流を読み取り記憶し、次いで第２の期間で像を走査して得られるＣＣＤセンサーの出力を読み取ることにより１回の走査周期とし、第１の期間で記憶された暗電流と第２の期間で読み出された走査した得られる信号との差分を取ることによりＣＣＤセンサーの暗電流を補正する。

特許文献２は、撮像装置を開示する。この撮像装置は、固体撮像素子の全面にメカニカルアイリス調整機構に代えて、画素毎に光透過率を変換可能な液晶シャッタを設ける。
特開昭５７−４２２７５号公報 特開２００７−１３６８７号公報

上述した手法では、暗電流ノイズを取得するタイミングと、実際に撮影するタイミングとに大きな時間差が発生してしまうため以下の問題が発生し得る。すなわち、暗電流ノイズを取得する際の撮像条件と、実際に撮影する際の撮像条件とが異なってしまい、十分なノイズ除去の精度を得られないことである。

当然のことながら、暗電流ノイズを取得するには固体撮像素子を遮光して撮像しなければならない。暗電流ノイズは、温度、露光時間、ゲインなどの撮像条件によって大きく変化する。したがって、暗電流を取得するための撮像および実際の撮影は、できるだけ同じ環境で行われることが望ましい。理想的には実際の撮影の直前に、暗電流を取得するための撮像が行われることが望ましい。しかしながら、暗電流ノイズを取得するため、カメラの動作中に遮光した場合、その期間、撮影を中断しなければならない。

本発明はこうした状況に鑑みなされたものであり、その目的は、撮影を中断することなく、暗電流ノイズを取得することができる撮像装置および撮像機器を提供することにある。

本発明のある態様の撮像装置は、所定の撮像領域を持ち、その撮像領域に対する入射光を電気信号に変換する撮像部と、撮像領域内の一部の領域に対する入射光を遮光し、それ以外の領域に対する入射光を透過する遮光部と、遮光部が遮光する領域を動的に切り替える駆動部と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、撮影を中断することなく、暗電流ノイズを取得することができる。

図１は、本発明の実施の形態に係る撮像機器１００を示す図である。撮像機器１００は、撮像装置１０および画像処理装置２０を備える。
撮像装置１０は、レンズ１１、遮光部１２、撮像部１３および駆動部１４を含む。

画像処理装置２０は、暗電流ノイズ記憶部２１、暗電流ノイズ更新部２２、領域制御部２３、減算部２４、ドライバ制御部２５および画像処理部２６を含む。画像処理装置２０の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされた画像処理プログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

撮像装置１０は画像を取得する。
撮像部１３は、所定の撮像領域を持ち、その撮像領域に対する入射光を電気信号に変換する。撮像部１３は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの固体撮像素子で構成される。上記撮像領域は、ｍ×ｎ（ｍ、ｎは自然数）の画素で構成される。撮像領域に入射される光は、レンズ１１により集光され、遮光部１２により透過された光である。撮像部１３により変換された電気信号は、画像信号として、図示しないアナログフロントエンド回路を介して画像処理装置２０に出力される。なお、アナログフロントエンド回路は、撮像部１３から出力されるアナログ信号をデジタル信号に変換するなどの信号処理を行う。

遮光部１２は、撮像領域内の一部の領域に対する入射光を遮光し、それ以外の領域に対する入射光を透過する。遮光部１２は、撮像部１３とレンズ１１との間に設けられる。たとえば、遮光部１２は液晶シャッタで構成される。以下、液晶シャッタで構成される例で説明する。液晶シャッタは、電圧印加に応じて、液晶分子の配向が変化し、光を透過したり遮光したりすることが可能である。

駆動部１４は、遮光部１２が遮光する領域を動的に切り替える。ここで、切り替え単位となる領域（以下、単位領域という）は、画素であっても、ラインであっても、ブロックであってもよい。たとえば、駆動部１４は、上記撮像領域において、奇数ラインが遮光および偶数ラインが透過の状態と、奇数ラインが透過および偶数ラインが遮光の状態とが交互に切り替えられるよう、遮光部１２を駆動する。ここで、ラインとは横のラインであっても縦のラインでもあってもよい。

撮像部１３、遮光部１２および駆動部１４は、同一の半導体プロセスで製造することが可能である。駆動部１４は、上記単位領域が画素の場合、通常の液晶ディスプレイと同様の水平ドライバと垂直ドライバが必要であるが、ラインまたはブロックの場合、通常の液晶ディスプレイのドライバより構成を簡素化することができる。たとえば、ラインの場合、水平ドライバおよび垂直ドライバの一方を省略することが可能である。

画像処理装置２０は、撮像装置１０により取得された信号を処理する。
暗電流ノイズ記憶部２１は、上記撮像領域に含まれる画素の暗電流ノイズを記憶する。暗電流ノイズ記憶部２１の初期値は、あらかじめ撮像された暗電流ノイズであってもよいし、ゼロとしてもよい。初期値をゼロとする場合、撮影が開始されると、順次、上記撮像領域に含まれる画素の暗電流ノイズが埋まっていく。最終的に上記撮像領域に含まれる全画素の暗電流ノイズが設定される。

領域制御部２３は、上記単位領域ごとに、撮影モードであるか暗電流取得モードであるかを暗電流ノイズ更新部２２、減算部２４およびドライバ制御部２５に指定する。この単位領域ごとのモードの切り替え制御は、設計者によりあらかじめ設定される。

暗電流ノイズ更新部２２は、遮光部１２により遮光された領域の信号を撮像部１３から取得し、その領域に対応する、暗電流ノイズ記憶部２１に記憶された暗電流ノイズを更新する。より具体的には、暗電流ノイズ更新部２２は、領域制御部２３から暗電流取得モードに指定された単位領域について、暗電流ノイズ記憶部２１に記憶された暗電流ノイズを更新する。

減算部２４は、遮光部１２が透過した領域の信号を撮像部１３から取得し、その領域に対応する暗電流ノイズを暗電流ノイズ記憶部２１から取得し、撮像部１３から取得した信号から、暗電流ノイズを減算する。減算部２４は、領域制御部２３から暗電流取得モードに指定された単位領域については上記減算を実行しない。

ドライバ制御部２５は、領域制御部２３からの指定に基づき、撮影モードと指定された単位領域を透過し、暗電流取得モードと指定された単位領域を遮光するよう、駆動部１４に指示する。減算部２４およびドライバ制御部２５は領域制御部２３の制御により同期がとられるため、遮光部１２が遮光する領域と、減算部２４が減算しない領域とが一致することになる。

画像処理部２６は、減算部２４により暗電流ノイズが除去された画像を処理する。一般的な画像処理に加え、本実施の形態では非インタレース画像の場合、以下の処理を行う。すなわち、暗電流ノイズ取得モードに指定された単位領域の画素値を補間する。補間処理は、一般的な処理が適用可能であり、空間的または時間的な補間が可能である。たとえば、対象画素に隣接する画素の画素値の平均値を算出して補間してもよい。また、対象画素のフレームに対して一フレーム前および一フレーム後における対応画素の画素値の平均値を算出して補間してもよい。

つぎに、本実施の形態に係る撮像機器１００の動作について説明する。実施例１でインタレース方式の例を、実施例２でプログレッシブ方式の例を説明する。
図２は、実施例１に係るインタレース方式による暗電流ノイズ除去処理を説明するための図である。インタレース方式では、一フレームが二つのフィールド、すなわち奇数フィールドと偶数フィールドに分けられる。本実施例では、奇数フィールドは上記撮像領域の奇数ラインの画素信号で構成され、偶数フィールドは偶数ラインの画素信号で構成されるものとする。

図２にて、上段のブロックは、撮像装置１０から入力されるフレーム単位の画像信号Ｉ１、Ｉ２、Ｉ３を示す。下段のブロックは、減算部２４から出力されるフィールドｆ１、ｆ２を示す。第１フィールドｆ１は奇数フィールドであり、第２フィールドｆ２は偶数フィールドである。

撮像装置１０から入力されるフレーム単位の第１画像信号Ｉ１は、奇数ラインが上記撮影モード、偶数ラインが上記暗電流取得モードに指定される。よって、第１画像信号Ｉ１の奇数ラインの画素信号１、３、・・・、ｎ−１は、減算部２４に出力される。一方、第１画像信号Ｉ１の偶数ラインの画素信号２、４、・・・、ｎである暗電流ノイズ２、４、・・・、ｎは、暗電流ノイズ記憶部２１に転送され、上書きされる。

そのつぎのフレームである第２画像信号Ｉ２は、奇数ラインが上記暗電流取得モード、偶数ラインが上記撮影モードに指定される。よって、第２画像信号Ｉ２の奇数ラインの画素信号である暗電流ノイズ１、３、・・・、ｎ−１は、暗電流ノイズ記憶部２１に転送され、上書きされる。一方、第２画像信号Ｉ２の偶数ラインの画素信号２、４、・・・、ｎ２、４、・・・、ｎは、減算部２４に出力される。

減算部２４は、先に入力された、第１画像信号Ｉ１の奇数ラインの画素信号１、３、・・・、ｎ−１から、暗電流ノイズ記憶部２１に記憶された、第２画像信号Ｉ２の奇数ラインの暗電流ノイズ１、３、・・・、ｎ−１を減算する。

そのつぎのフレームである第３画像信号Ｉ３は、奇数ラインが上記撮影モード、偶数ラインが上記暗電流取得モードに指定される。よって、第３画像信号Ｉ３の奇数ラインの画素信号１、３、・・・、ｎ−１は、減算部２４に出力される。一方、第３画像信号Ｉ３の偶数ラインの画素信号２、４、・・・、ｎである暗電流ノイズ２、４、・・・、ｎは、暗電流ノイズ記憶部２１に転送され、上書きされる。

減算部２４は、先に入力された、第２画像信号Ｉ２の偶数ラインの画素信号２、４、・・・、ｎから、暗電流ノイズ記憶部２１に記憶された、第２画像信号Ｉ２の偶数ラインの暗電流ノイズ２、４、・・・、ｎを減算する。

このように、上記撮像領域の奇数フィールドと偶数フィールドにおいて、撮影用のフィールドと暗電流ノイズ取得用のフィールドとを交互に切り替えることにより、直前のフレームで取得された暗電流ノイズを、画素信号からの減算対象とすることができる。

図３は、実施例１に係るインタレース方式による暗電流ノイズ除去処理を説明するためのフローチャートである。
まず、ドライバ制御部２５は、撮像部１３で撮像すべきフレーム画像の奇数フィールドが上記撮影モードに指定されているか、上記暗電流取得モードに指定されているか判断する（Ｓ１０）。奇数フィールドが上記撮影モードに指定されている場合、偶数フィールドは上記暗電流取得モードに指定されていることになる。その逆もしかりである。

上記撮影モードに指定されている場合（Ｓ１０のＹ）、ドライバ制御部２５は、駆動部１４に指示して、遮光部１２の上記奇数フィールドに対応する領域を透過し、偶数フィールドに対応する領域を遮光するよう制御させる（Ｓ１１）。一方、上記暗電流取得モードに指定されている場合（Ｓ１０のＮ）、ドライバ制御部２５は、駆動部１４に指示して、遮光部１２の上記偶数フィールドに対応する領域を透過し、奇数フィールドに対応する領域を遮光するよう制御させる（Ｓ１２）。

撮像部１３は、露光し、露光した光信号を電気信号に変換し、画像処理装置２０に順次読み出す（Ｓ１３）。暗電流ノイズ更新部２２は、撮像部１３から入力されたフレーム画像の奇数フィールドが上記撮影モードに指定されているか、上記暗電流取得モードに指定されているか判断する（Ｓ１４）。

上記撮影モードに指定されている場合（Ｓ１４のＹ）、暗電流ノイズ更新部２２は、上記フレームの偶数ライン（Ｓ１５のＮ）の画素信号を、暗電流ノイズとして暗電流ノイズ記憶部２１に記憶または更新する（Ｓ１７）。減算部２４は、上記フレームの奇数ライン（Ｓ１５のＹ）の画素信号から、暗電流ノイズ記憶部２１に記憶された、奇数ラインの暗電流ノイズを減算する（Ｓ１６）。

ステップＳ１４に戻り、上記撮影モードに指定されていない場合、すなわち上記暗電流取得モードに指定されている場合（Ｓ１４のＮ）、暗電流ノイズ更新部２２は、上記フレームの奇数ライン（Ｓ１８のＹ）の画素信号を、暗電流ノイズとして暗電流ノイズ記憶部２１に記憶または更新する（Ｓ２０）。減算部２４は、上記フレームの偶数ライン（Ｓ１８のＮ）の画素信号から、暗電流ノイズ記憶部２１に記憶された、偶数ラインの暗電流ノイズを減算する（Ｓ１９）。
その後、画像処理部２６は暗電流ノイズが除去された、奇数フィールドおよび偶数フィールドの画素信号に対して一般的な画像処理を施す（Ｓ２１）。

図４は、実施例２に係るプログレッシブ方式による暗電流ノイズ除去処理を説明するためのフローチャートである。
まず、領域制御部２３は一フレーム当たりの単位領域数を変数Ｋとして設定する（Ｓ３０）。たとえば、単位領域が一画素であれば、単位領域数は画素数に一致し、単位領域が四画素であれば、単位領域数は画素数の１／４となる。つぎに、領域制御部２３は初期化処理として変数ｉにゼロを設定する（Ｓ３１）。

領域制御部２３は変数ｉをインクリメントする（Ｓ３２）。ドライバ制御部２５は、駆動部１４に指示して、遮光部１２の上記単位領域ｉに対応する領域を遮光し、その他の領域を透過するよう制御させる（Ｓ３３）。暗電流ノイズ更新部２２は、撮像部１３から入力されたフレーム画像の上記単位領域ｉの画素信号を、暗電流ノイズとして暗電流ノイズ記憶部２１に記憶または更新する（Ｓ３４）。

減算部２４は、上記フレームの上記単位領域ｉを除く画素信号から、暗電流ノイズ記憶部２１に記憶された、上記単位領域ｉを除く暗電流ノイズを減算する。画像処理部２６は、上記単位領域ｉの画素信号を補間する（Ｓ３５）。処理が終了しない間（Ｓ３６のＮ）、領域制御部２３は、変数Ｋと変数ｉを比較する（Ｓ３７）。変数ｉが変数Ｋ以下の間（Ｓ３７のＮ）、ステップＳ３２に遷移し、変数ｉをインクリメントする。変数ｉが変数Ｋを超えると（Ｓ３７のＹ）、一フレーム分の暗電流ノイズの更新が終了したことになるため、ステップＳ３１に遷移し、変数ｉを初期化する。

なお、図４に示したフローチャートにおいて、変数Ｋを小さくすれば、補間する画素を少なくすることができるが、撮影時と暗電流取得時との時間差が大きくなってしまう。反対に、変数Ｋを大きくすれば、撮影時と暗電流取得時との時間差を小さくすることができるが、補間する画素が多くなってしまう。設計者は、この知見を考慮して変数Ｋを最適に設定することが可能である。

以上説明したように本実施の形態によれば、撮像領域内の一部の領域に対する入射光を遮光することができる遮光部を備え、遮光部が遮光する領域を動的に切り替えることにより、撮影を中断することなく、暗電流ノイズを取得することができる。また、撮影直前の暗電流ノイズを取得することができるため、暗電流ノイズを高精度に除去することができる。すなわち、撮影時の環境と暗電流取得時の環境をほぼ一致させることができる。しかも、撮影を中断することなくほぼ一致させることができる。インタレース方式でもプログレッシブ方式でも当該効果を奏する。

以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記実施の形態において、暗電流ノイズが動的に更新される領域は上記撮像領域の一部であってもよい。たとえば、上記撮像領域の周辺領域はあらかじめ取得された固定の暗電流ノイズを設定し、上記撮像領域の中央領域は暗電流ノイズを動的に更新してもよい。これによれば、暗電流ノイズを更新するための構成および演算量を低減しつつ、暗電流ノイズが固定の場合より、暗電流ノイズの除去精度を向上させることができる。

本発明の実施の形態に係る撮像機器を示す図である。 実施例１に係るインタレース方式による暗電流ノイズ除去処理を説明するための図である。 実施例１に係るインタレース方式による暗電流ノイズ除去処理を説明するためのフローチャートである。 実施例２に係るプログレッシブ方式による暗電流ノイズ除去処理を説明するためのフローチャートである。

符号の説明

１０ 撮像装置、 １１ レンズ、 １２ 遮光部、 １３ 撮像部、 １４ 駆動部、 ２０ 画像処理装置、 ２１ 暗電流ノイズ記憶部、 ２２ 暗電流ノイズ更新部、 ２３ 領域制御部、 ２４ 減算部、 ２５ ドライバ制御部、 ２６ 画像処理部、 １００ 撮像機器。

Claims (4)

1. 所定の撮像領域を持ち、その撮像領域に対する入射光を電気信号に変換する撮像部と、
   前記撮像領域内の一部の領域に対する入射光を遮光し、それ以外の領域に対する入射光を透過する遮光部と、
   前記遮光部が遮光する領域を動的に切り替える駆動部と、
   を備えることを特徴とする撮像装置。
2. 前記駆動部は、前記撮像領域において、奇数ラインが遮光および偶数ラインが透過の状態と、奇数ラインが透過および偶数ラインが遮光の状態とが交互に切り替えられるよう、前記遮光部を駆動することを特徴とする請求項１に記載の撮像装置。
3. 請求項１または２に記載の撮像装置と、
   前記撮像装置により取得された信号を処理する画像処理装置と、を備え、
   前記画像処理装置は、
   前記撮像領域に含まれる画素の暗電流ノイズを記憶する暗電流ノイズ記憶部と、
   前記遮光部により遮光された領域の信号を前記撮像部から取得し、その領域に対応する、前記暗電流ノイズ記憶部に記憶された暗電流ノイズを更新する暗電流ノイズ更新部と、
   を含むことを特徴とする撮像機器。
4. 前記画像処理装置は、
   前記遮光部が透過した領域の信号を前記撮像部から取得し、その領域に対応する暗電流ノイズを前記暗電流ノイズ記憶部から取得し、前記撮像部から取得した信号から、前記暗電流ノイズを減算する減算部を、
   さらに含むことを特徴とする請求項３に記載の撮像機器。

Images