JP2008048277A - 撮像装置 - Google Patents

Abstract

【課題】撮影機会の制約を受けずに、高い精度でＦＰＮの除去を行う。
【解決手段】デジタルカメラ１０はシャッタ１２、撮像素子１３、ＤＳＰ１４およびタイミングジェネレータ１７を有する。デジタルカメラ１０は撮影モードおよび再生モードなどの動作モードを有する。撮影モード以外の動作モードにおいてタイミングジェネレータ１７はシャッタ１２を閉じさせたまま、撮像素子１３にブラック画像信号を生成させる。ブラック画像信号をＤＳＰ１４内のラインメモリに格納する。撮影モードにおいてタイミングジェネレータ１７はシャッタ１２を開き、撮像素子１３に有効画像信号を生成させる。露光時間およびＩＳＯ感度に基づいて、ＦＰＮ除去部はブラック画像信号を用いてノイズ除去データを生成する。ＦＰＮ除去部はノイズ除去データを用いて有効画像信号のＦＰＮを除去する。
【選択図】図１

Description

本発明は、撮像素子などの撮像体の生成する画像信号から固定パターンノイズを除去する撮像装置に関する。

撮像素子を構成する画素からの出力信号は、同じ使用環境で同じ受光量、例えば暗時の受光量であれば等しいことが求められる。しかし、製造誤差によりＦＰＮ（Ｆｉｘｅｄ Ｐａｔｔｅｒｎ Ｎｏｉｓｅ）が発生する。

そこで従来では、以下のような方法によりＦＰＮが除去されていた。第１の方法では、撮像素子の一部に開口を遮光したブラック画素が設けられる。複数のブラック画素において生成される複数のブラック信号が平均化される。平均化したブラック信号を用いて被写体像を受光する有効画素において生成される有効画像信号からＦＰＮが除去されている（特許文献１参照）。

また、第２の方法では、アイリスや電子シャッタを用いて露光時間が実質的にゼロであるときに有効画素に生成される画素信号を用いて、有効画像信号からＦＰＮが除去される（特許文献２参照）。

しかし、第１の方法ではブラック画素にＦＰＮ以外のノイズ成分が混入することがあり、かかる場合に適切なＦＰＮの除去は困難であった。また第２の方法では完全な入射光の遮光は困難であり、また補正用のデータを生成する間は撮影が出来なくなるため、撮影チャンスを逃す問題および連写撮影や動画撮影の妨げとなる問題が生じていた。
特開２００４−１５７１２号公報 特開平１０−３１３４２８号公報

したがって、本発明では、撮影の機会の制約を受けずに、高い精度でＦＰＮの除去を行うデジタルカメラの提供を目的とする。

本発明の撮像装置は、被写体を撮影するための撮影モードを含む複数の動作モードが設定される撮像装置であって、受光する被写体像に基づいて画像信号を生成する撮像素子と、撮像素子への入射光線の通路を開閉するシャッタと、撮影モード以外の動作モードに切替えられるときにシャッタを閉じさせ撮像素子に画像信号をブラック信号として生成させる制御部と、ブラック信号を格納するメモリと、撮影モードにおいてメモリに格納されたブラック信号を用いてシャッタを開いて撮像素子に生成される画像信号である有効画像信号から有効画像信号に含まれる固定パターンノイズを除去するノイズ除去部とを備えることを特徴としている。

なお、撮像素子の受光面には複数の画素が第１の方向に沿って複数の列を形成し画素は第１の方向に沿った列毎に設けられる出力線に接続され画素は受光量に応じた画素信号を生成し画素信号は出力線を介して出力され画像信号は複数の画素信号により形成され、メモリにはそれぞれの出力線に応じた格納領域が設けられ格納領域には対応する出力線に接続される画素の画素信号を積算した積算ブラック信号が格納され、ノイズ除去部は有効画像信号を形成する画素信号である画素信号を生成する画素に接続される出力線に応じた積算ブラック信号を用いて有効画素信号から固定パターンノイズを除去することが好ましい。

また、撮影モードにおいて有効画像信号を生成するときに設定される撮影条件を認識する認識部と、撮影条件に応じてメモリに格納されたブラック信号を補正することにより、固定パターンノイズを除去するためのノイズ除去信号を生成する補正部とを備え、ノイズ除去部はノイズ除去信号を用いて有効画像信号から固定パターンノイズを除去することが好ましい。

また、撮影条件は露光時間およびＩＳＯ感度の少なくとも一方を含むことが好ましい。

本発明によれば、撮影モード以外の動作モードのときにブラック信号を取得することが可能となる。したがって、撮影モード時にはブラック信号の生成を行なわないので、撮影機会の制約を除去することが可能である。また、撮像素子すべての画素を用いてブラック信号を生成できるので、精度の高いＦＰＮ除去が可能になる。

以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の一実施形態を適用した撮像装置であるデジタルカメラの構成を概略的に示すブロック図である。デジタルカメラ１０は、撮影光学系１１、シャッタ１２、撮像素子１３、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１４、ＲＯＭ１５、システムコントローラ１６、およびタイミングジェネレータ１７などによって構成される。

撮影光学系１１は撮像素子１３に光学的に接続される。撮影光学系１１と撮像素子１３との間にシャッタ１２が設けられる。なお、撮像素子１３は、例えばＣＭＯＳイメージセンサである。

シャッタ１２により、撮影光学系１１から撮像素子１３への光路の開閉が行なわれる。シャッタ１２が開いたときに、撮影光学系１１は被写体像を撮像素子１３の受光面に結像させる。撮像素子１３において、受光した被写体像に相当する画像信号が生成される。

なお、撮像素子１３の受光面には複数の画素（図示せず）がマトリックス状に配列される。各画素では、受光量に応じた画素信号が生成される。画素信号の生成および読出しは、行毎に行なわれる。１行目に配列された画素からの画素信号の読出しが終わると、２行目に配列された画素における画素信号の生成と読出しが順番に行なわれる。画像信号は、受光面全体の画素信号によって形成される。

撮像素子１３はＡＤコンバータ１８を介してＤＳＰ１４に接続される。撮像素子１３により生成された画像信号はＡＤコンバータ１８において、アナログ信号からデジタルデータである画像データに変換される。

画像データはＤＳＰ１４に送られる。画像データは一旦ＤＳＰ１４からデータ処理用のメモリであるＳＤＲＡＭ１９に送られ、格納される。ＤＳＰ１４により、ＳＤＲＡＭ１９に格納された画像データが読出される。

読出された画像データに対して、ユーザーにより設定されるＩＳＯ感度に応じたゲイン調整が施される。ゲイン調整の行われた画像データは、ＤＳＰ１４内部に設けられるＦＰＮ除去部（図１において図示せず）に送られる。ＦＰＮ除去部において、画像データに対して後述するノイズ除去処理が行われる。さらにＤＳＰ１４では、ノイズ除去処理の行われた画像データに対して所定のデータ処理が施される。なお、画像データのデータ処理に必要なデータがＲＯＭ１５に格納される。

ＤＳＰ１４はシステムコントローラ１６に接続される。システムコントローラ１６は、表示装置２０、外部記憶装置２１、通信装置２２に接続される。ＤＳＰ１４による画像データのデータ処理はシステムコントローラ１６によって制御される。データ処理の施された画像データはシステムコントローラ１６を介して表示装置２０、外部記憶装置２１、通信装置２２に送信可能である。

表示装置２０は例えばＬＣＤモニタであり、送信される画像データに相当する画像が表示装置２０に表示される。外部記憶装置２１はデジタルカメラ１０のコネクタ（図示せず）と着脱自在であり、送信された画像データが外部記憶装置２１に格納される。また、通信装置２２は例えばケーブルコネクタであり、ケーブル（図示せず）を介して外部のパソコン（図示せず）に接続可能である。外部パソコンに接続した状態において、画像データが通信装置２２から外部パソコンに送信される。

タイミングジェネレータ１７はシャッタ１２、撮像素子１３、ＡＤコンバータ１８、およびＤＳＰ１４に接続される。タイミングジェネレータ１７に駆動されることにより、シャッタ１２の開閉、撮像素子１３による画像信号の生成、ＡＤコンバータ１８におけるＡＤ変換が実行される。また、タイミングジェネレータ１７から画像データのデータ処理のタイミングを定めるタイミング制御信号がＤＳＰ１４に送られる。

タイミングジェネレータ１７は、システムコントローラ１６に接続される。タイミングジェネレータ１７による、シャッタ１２、撮像素子１３、ＡＤコンバータ１８の駆動などは、システムコントローラ１６によって制御される。また、デジタルカメラ１０全体の動作もシステムコントローラ１６によって制御される。

システムコントローラ１６には、レリーズボタン（図示せず）や十字キー（図示せず）などにより構成される入力装置２３が接続される。撮像動作の実行、露光時間の設定、ＩＳＯ感度の設定などの操作が、ユーザーにより入力装置２３に入力される。システムコントローラ１６は、入力装置２３への操作入力に応じてデジタルカメラ１０の各部位の制御を行なう。

なお、デジタルカメラ１０には複数の動作モードが設けられる。例えば、撮影モードでは、撮影待機中にスルー画像を表示装置２０に表示し、レリーズボタン（図示せず）を押下するときに撮像動作が実行され画像データの外部記憶装置２１への格納が行なわれる。また、再生モードでは、外部記憶装置２１に格納された画像データを再生して表示装置２０に表示させることが可能である。さらに、設定モードでは、デジタルカメラ１０全体の設定や撮影条件の設定を行うことが可能である。

撮影モードにおいてレリーズボタンが押下されるとき、撮影を実行するためのタイミングジェネレータ１７とＤＳＰ１４の制御がシステムコントローラ１６によって行なわれる。タイミングジェネレータ１７はシャッタ１２を設定された露光時間だけ開かせ、その間に撮像素子１３に画像信号を生成させる。

なお、シャッタ１２を開いたまま生成させた画像信号は、ＤＳＰ１４において有効画像信号として後段のデータ処理などが行われる。前述のように、有効画像信号は、設定されたＩＳＯ感度に応じたゲインにより感度の調整が行われる。

また、再生モード、設定モードなどの撮影モード以外のモードに設定されるとき、ＦＰＮの除去に用いるデータ生成のためのタイミングジェネレータ１７とＤＳＰ１４の制御が行なわれる。タイミングジェネレータ１７はシャッタ１２を閉じさせたまま撮像素子１３に１フレームの画像信号を生成させる。

なお、シャッタ１２を閉じたまま生成させた画像信号は、ＤＳＰ１４においてブラック画像信号として後段のデータ処理などが行われる。なお、撮像素子１３の露光時間、すなわち、各画素の受光時間は所定の時間となるように設定される。また、ブラック画像信号は、所定のＩＳＯ感度に応じた所定のゲインにより増幅される。

次に、ＤＳＰ１４の内部に設けられるＦＰＮ除去部の構成について図２を用いて説明する。図２はＦＰＮ除去部３０の内部構成を概略的に示すブロック図である。ＦＰＮ除去部３０は、分別器３１、加算器３２、ラインメモリ３３、演算器３４、乗算器３５、減算器３６によって構成される。

ゲイン調整の施された画像データは、ＦＰＮ除去部３０の分別器３１に送られる。また、分別器３１にはＤＳＰ１４に送られるタイミング制御信号が入力される。タイミング制御信号に基づいて、分別器３１に送信された画像データが有効画像データであるかブラック画像データであるかが分別される。なお、有効画像データとは有効画像信号をＡ／Ｄ変換することにより生成される。また、ブラック画像データとはブラック画像信号をＡ／Ｄ変換することにより生成される。

分別器３１に送信された画像データがブラック画像データである場合、ブラック画像データは加算器３２に送られる。前述のように、ブラック画像データは１フレームのブラック画素データによって形成され、ブラック画像データの加算器３２への送信はブラック画素データを順番に送ることにより実行される。なお、ブラック画素データとは、ブラック画像信号を形成する画素信号をＡ／Ｄ変換することにより生成される。

また、加算器３２には、後述する積算ブラックデータがラインメモリ３３から送られる。積算ブラックデータは、撮像素子１３の受光面における画素の並ぶ列別に生成される。加算器３２に送られるブラック画素データと同じ列の積算ブラックデータが加算器３２に送られる。加算器３２において、積算ブラックデータにブラック画素データが加算され、新たな積算ブラックデータが生成される。

新たに生成した積算ブラックデータは、ラインメモリ３３に送られる。ラインメモリ３３には積算ブラックデータを列別に格納する領域が設けられる。ラインメモリ３３に送られた積算ブラックデータは定められた領域に格納される。

別の行のブラック画素データが分別器３１から加算器３２に送られるとき、ラインメモリ３３に格納された積算ブラックデータが加算器３２に送られ、前述のように積算ブラックデータが更新される。なお、ラインメモリ３３は不揮発性のメモリであり、デジタルカメラ１０の電源をＯＦＦにした後において積算ブラックデータを保持可能である。

分別器３１に送信された画像データが有効画像データである場合、有効画像データは減算器３６に送られる。前述のように、有効画像データは１フレームの有効画素データによって形成され、有効画像データの減算器３６への送信は、有効画素データを順番に送ることにより実行される。なお、有効画素データとは、有効画像信号を形成する画素信号をＡ／Ｄ変換することにより生成される。

また、分別器３１に送信された画像データが有効画像データである場合に、演算器３４および乗算器３５によって生成されるノイズ除去データも減算器３６に送られる。ノイズ除去データの生成のために、積算ブラックデータがラインメモリ３３から演算器３４に読出される。

積算ブラックデータは、演算器３４において１フレームの画素の行数により除算され、平均ブラックデータが生成される。平均ブラックデータのデータ強度は、１画素におけるＦＰＮに相当するデータのデータ強度と実質的に同じとなる。

平均ブラックデータは、演算器３４から乗算器３５に送られる。ＦＰＮに相当するデータのデータ強度は、設定されるＩＳＯ感度や露光時間などの撮影条件によって変化する。前述のように、ブラック画素信号は基準とするＩＳＯ感度と露光時間において生成される。乗算器３５では、有効画像信号を生成したときに設定されているＩＳＯ感度と露光時間に応じて、平均ブラックデータが調整され、ノイズ除去データが生成される。

なお、有効画像信号を生成したときのＩＳＯ感度と露光時間は、システムコントローラ１６によって認識される。また、ＩＳＯ感度と露光時間とに応じて平均ブラックデータを調整するための係数のデータテーブルがＲＯＭ１５に記憶されている。システムコントローラ１６に認識されたＩＳＯ感度と露光時間に応じた係数がデータテーブルから選択され、乗算器３５に送られる。

前述のように、積算ブラックデータは画素の列別に生成され格納されており、積算ブラックデータに基づいて生成されるノイズ除去データも画素の並ぶ列別に生成される。減算器３６に送られる有効画素データと同じ列の積算ブラックデータが演算器３４に送られ、同じ列のノイズ除去データが生成され、減算器３６に送られる。減算器３６では、有効画素データからのノイズ除去データの減算処理が施される。

有効画像データを形成するすべての有効画素データに対して、同様にノイズ除去データを用いて減算処理を行うことにより、有効画像データのＦＰＮの除去が完了する。

次に、上述のような構成であるデジタルカメラにより実行される動作について図３のフローチャートを用いて説明する。なお、本動作は、デジタルカメラ１０の電源がＯＦＦに切替えられるまで繰返される。

デジタルカメラ１０の電源がＯＮになることにより、本動作が開始される。まず、ステップＳ１００において、ラインメモリ３３に積算ブラックデータが格納されているか否かが確認される。

積算ブラックデータが格納されている場合、ステップＳ１０１、ステップＳ１０２をスキップして、ステップＳ１０３に進む。積算ブラックデータが格納されていない場合、ステップＳ１０１に進む。

ステップＳ１０１では、ブラック画像信号の生成が行なわれる。前述のように、シャッタ１２を閉じたまま、基準とする露光時間で撮像素子１３に画像信号の生成を行なわせる。

次のステップＳ１０２において、生成されたブラック画像信号に基づいて積算ブラックデータが生成され、ラインメモリ３３に格納される。前述のように、生成されたブラック画像信号に対して基準とするＩＳＯ感度に対応するゲイン調整が行われ、ブラック画像データが生成される。ブラック画像データを構成するブラック画素データの信号強度を列別に積算することにより積算ブラックデータが生成され、格納される。

ステップＳ１０２の終了後、またはステップＳ１００において積算ブラックデータが格納されている場合は、ステップＳ１０３に進む。ステップＳ１０３では、デジタルカメラ１０の動作モードが撮影モードであるか否かが確認される。

再生モードや設定モードなど撮影モード以外の動作モードに設定されている場合は、ステップＳ１０１に戻る。以後、ステップＳ１０３において撮影モードに設定されるまで、ステップＳ１０１〜ステップＳ１０３の動作が繰返される。

ステップＳ１０３において撮影モードである場合に、ステップＳ１０４に進む。ステップＳ１０４では、レリーズボタンが押下されるか否かが判断される。レリーズボタンが押下されるまでステップＳ１０４の動作が繰返され、レリーズボタンが押下されるとステップＳ１０５に進む。

ステップＳ１０５では、有効画像信号の生成が行なわれる。前述のように設定された露光時間に応じたシャッタ１２の開閉および撮像素子１３の駆動を行い、撮像素子１３に画像信号を生成させる。

有効画像信号の生成が終わると、ステップＳ１０６において、ＦＰＮの除去が行われる。前述のように、ラインメモリ３３に格納された積算ブラックデータを用い、有効画像信号の生成時に設定された露光時間およびＩＳＯ感度に応じたノイズ除去データが生成される。また、有効画像信号が有効画像データに変換され、さらに設定されたＩＳＯ感度に応じたゲイン調整が行われる。ゲイン調整の行われた有効画像データとノイズ除去データとの差分を算出することにより、ＦＰＮの除去が行われる。

ステップＳ１０７では、ＦＰＮが除去された有効画像データに対して所定のデータ処理が施され、表示装置２０および／または外部記憶装置２１への送信が行なわれる。所定のデータ処理の施された有効画像データに相当する画像が表示装置２０に表示され、外部記憶装置２１に格納される。表示装置２０における表示および外部記憶装置２１への格納の後、再びステップＳ１０３に戻る。

以上のような構成である本実施形態を適用したデジタルカメラによれば、撮影モード以外の動作モードの間に完全に遮光した状態で生成したブラック画像信号に基づいてＦＰＮの除去を行うことが可能になる。

したがって、撮影機会に制約を受けること無くＦＰＮ除去を行うことが可能になる。また、多くの画素から出力されるブラック画素信号を用いるので、一部の画素にＦＰＮと異なるノイズ成分が混入しても、精度の高いＦＰＮ除去が可能である。

なお、本実施形態において、露光時間および／またはＩＳＯ感度に応じて、平均ブラックデータが調整される構成であるが、調整せずに平均ブラックデータをそのままノイズ除去データとして減算器３６に出力する構成であってもよい。

本実施形態では、デジタルカメラ１０の露光時間およびＩＳＯ感度の調整が可能であるため、平均ブラックデータが調整される構成である。しかし、露光時間および／またはＩＳＯ感度が固定された簡易な構成のデジタルカメラや調整範囲の狭いデジタルカメラに対しては、平均ブラックデータの調整を行わずに十分な精度のＦＰＮ除去を行うことが可能である。

また、本実施形態において、露光時間および／またはＩＳＯ感度に応じて平均ブラックデータを調整する構成であるが、積算ブラックデータのデータ強度に影響を及ぼす他のいかなる撮影条件に応じて平均ブラックデータを調整する構成であってもよい。

また、本実施形態において、撮像素子１３に全画素読出しを行わせる構成であるが、間引き読出しを行わせることも可能である。前述のようにＦＰＮ除去は列別に行われるため、列間引きを行なう場合は、有効画素信号を読出した列の積算ブラックデータを用いてＦＰＮの除去を行えばよい。

また、本実施形態において、撮像素子１３にＣＭＯＳイメージセンサを用いたが、ＣＣＤイメージセンサや他のいかなる形態の撮像素子を用いても、同様の効果を得ることは可能である。

また、本実施形態において、画像データがＳＤＲＡＭ１９に一旦格納された後に、ノイズ除去処理が行われる構成であるが、ＤＳＰ１４に送られた画像データに対してノイズ除去処理を施した後にＳＤＲＡＭ１９に画像データを一旦格納する構成であってもよい。

本発明の一実施形態を適用した撮像装置であるデジタルカメラの構成を概略的に示すブロック図である。 ＦＰＮ除去部の内部構成を概略的に示すブロック図である。 撮像装置により実行される動作を説明するためのフローチャートである。

符号の説明

１０ デジタルカメラ
１２ シャッタ
１３ 撮像素子
１４ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
１５ ＲＯＭ
１６ システムコントローラ
１７ タイミングジェネレータ
３０ ＦＰＮ除去部
３１ 分別器
３２ 加算器
３３ ラインメモリ
３４ 演算器
３５ 乗算器
３６ 減算器

Claims (4)

1. 被写体を撮影するための撮影モードを含む複数の動作モードが設定される撮像装置であって、
   受光する前記被写体像に基づいて画像信号を生成する撮像素子と、
   前記撮像素子への入射光線の通路を開閉するシャッタと、
   前記撮影モード以外の動作モードに切替えられるときに、前記シャッタを閉じさせ、前記撮像素子に画像信号をブラック信号として生成させる制御部と、
   前記ブラック信号を格納するメモリと、
   前記撮影モードにおいて、前記メモリに格納された前記ブラック信号を用いて、前記シャッタを開いて前記撮像素子に生成される前記画像信号である有効画像信号から前記有効画像信号に含まれる固定パターンノイズを除去するノイズ除去部とを備える
   ことを特徴とする撮像装置。
2. 前記撮像素子の受光面には複数の前記画素が第１の方向に沿って複数の列を形成し、前記画素は前記第１の方向に沿った列毎に設けられる出力線に接続され、前記画素は受光量に応じた画素信号を生成し、前記画素信号は前記出力線を介して出力され、前記画像信号は複数の前記画素信号により形成され、
   前記メモリにはそれぞれの前記出力線に応じた格納領域が設けられ、前記格納領域には対応する前記出力線に接続される前記画素の前記画素信号を積算した積算ブラック信号が格納され、
   前記ノイズ除去部は、前記有効画像信号を形成する前記画素信号である有効画素信号を生成する前記画素に接続される前記出力線に応じた前記積算ブラック信号を用いて、前記有効画素信号から前記固定パターンノイズを除去する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮影モードにおいて、前記有効画像信号を生成するときに設定される撮影条件を認識する認識部と、
   前記撮影条件に応じて前記メモリに格納された前記ブラック信号を補正することにより、前記固定パターンノイズを除去するためのノイズ除去信号を生成する補正部とを備え、
   前記ノイズ除去部は、前記ノイズ除去信号を用いて、前記有効画像信号から前記固定パターンノイズを除去する
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記撮影条件は、ＩＳＯ感度および露光時間の少なくとも一方を含むことを特徴とする請求項３に記載の撮像装置。

Images