JP2016082420A - 撮像システム - Google Patents

Abstract

【課題】露光時間を減らすことなく画素ごとに存在するＦＰＮ（Ｆｉｘｅｄ Ｐａｔｔｅｒｎ Ｎｏｉｓｅ）を除去し、良好な画像を撮影することが可能なカメラシステムを提供する。【解決手段】撮像システムは、複数の画素が２次元に配置された撮像素子２と、画素ごとに配置され入射光量に応じた電荷を発生させる光電変換部と、光電変換部の電荷を電荷保持部に転送するか否かを切り替える電荷転送部と、電荷転送部が電荷保持部に電荷を転送しない状態において、電荷保持部から画素ごとの信号を読み出し、画素ごとのノイズ補正データを作成する補正データ作成部５と、電荷転送部が電荷保持部に電荷を転送する状態において、電荷保持部から画素ごとの信号を読み出し、補正データ作成部により作成されたノイズ補正データに基づいて画素ごとのノイズ補正を行う画素ノイズ補正部（ＦＰＮ補正部７）と、を有する。【選択図】図１

Description

本発明は、固体撮像素子を用いて被写体を撮像する撮像システムに関する。

従来、ＣＣＤ型やＭＯＳ型などの固体撮像素子を使用したカメラにおいて、固定パターンノイズ（ＦＰＮ: Fixed Pattern Noise）が画質劣化につながり問題となっていた。特にＣＭＯＳ型などの場合には、アナログ信号処理回路が撮像素子平面上の列ごと、画素ごとに並列で構成されていることが多く、各並列回路間の信号のオフセットレベル差が縦縞ノイズや画素ばらつきノイズなどのＦＰＮとなってあらわれることがあった。

ＦＰＮは入射する光量に影響されず常に一定量発生するという特徴があるため、撮像素子を遮光するなどして暗画像を作成すると、ＦＰＮのみを取得することが出来る。このことを利用し、長時間露光画像から短時間露光画像を減算処理することでＦＰＮを除去する手法が示されている（特許文献１）。さらに、光電変換素子に蓄積された電荷を転送しない状態で信号を読み出すことでＦＰＮを取得し、転送する状態で読み出した信号から減算処理することでＦＰＮ補正を行う手法が示されている（特許文献２）。

特開２０１１−２２８７７１号公報 特許５３５３４６６号公報

しかしながら、上述の特許文献１に開示された従来技術では、ＦＰＮを取得するために短時間露光画像を撮影する必要があるため、蓄積した電荷を一旦リセットしてしまう時間分だけ露光時間が短くなってしまう。これに対し、特許文献２に開示された従来技術では、蓄積した電荷をリセットすることなくＦＰＮデータを取得することが出来るので、露光時間を減らすことなく縦縞ノイズを除去することが出来る。しかし、この手法では縦縞ノイズを除去することは出来るが、画素ごとに存在するＦＰＮを除去することが出来ない。

そこで、本発明の目的は、露光時間を減らすことなく画素ごとに存在するＦＰＮを除去し、良好な画像を撮影することが可能な撮像システムを提供することである。

上記目的を達成するために、本発明における撮像システムは、複数の画素が２次元に配置された撮像素子と、前記画素ごとに配置され入射光量に応じた電荷を発生させる光電変換部と、前記光電変換部の電荷を電荷保持部に転送するか否かを切り替える電荷転送部と、前記電荷転送部が前記電荷保持部に電荷を転送しない状態において、前記電荷保持部から画素ごとの信号を読み出し、画素ごとのノイズ補正データを作成する補正データ作成部と、前記電荷転送部が前記電荷保持部に電荷を転送する状態において、前記電荷保持部から画素ごとの信号を読み出し、前記補正データ作成部により作成されたノイズ補正データに基づいて画素ごとのノイズ補正を行う画素ノイズ補正部と、を有することを特徴とする。

本発明に係る撮像システムによれば、露光時間を減らすことなく画素ごとに存在するＦＰＮを除去し、良好な画像を撮影することが可能となる。

実施例１における撮像システムの構成図である。 撮像素子２の単位画素内の回路を示す説明図である。 実施例１における処理のフローチャートである。 実施例２における撮像システムの構成図である。 実施例２における処理のフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

以下、図１を参照して、本発明の第１の実施例による構成について説明する。本実施例の撮像システムは、レンズ１、撮像素子２、撮像素子制御部３、操作部４、補正データ作成部５、フレームメモリ６、ＦＰＮ補正部７、画像処理部８、出力部９、記録部１１から構成される。

撮像素子２は、レンズ１からの光を受光する複数の画素が２次元に配置された構造を有する。撮像素子２における単位画素内の構成について図２を用いて説明する。撮像素子２の単位画素は、フォトダイオード２１、電荷転送部２２、電荷保持部２３、リセット部２４、駆動行選択部２５、垂直信号線２６、信号出力部２７から構成される。フォトダイオード（光電変換部）２１は、画素ごとに配置され入射光量に応じた電荷を発生させる。

本実施例の撮像システムは、６０ｐ（１秒あたり６０フレーム画像出力）で駆動する動画撮影システムである。以下、図３のフローチャートを用いて本実施例の動画撮影処理の流れについて説明する。

本実施例の撮像システムは、電源を立ち上げた後、最初に操作部４から撮影開始指示が入力されているかを判断する（Ｓ１０１）。撮影開始指示が来ていない場合は引き続き撮影開始指示の待ち受け状態を継続する。撮影開始指示が入力された場合には、まず撮像素子制御部３が撮像素子２の駆動を開始させ、ノイズレベルの読み出しを行う（Ｓ１０２）。このノイズレベルの読み出しは、図２における電荷転送部２２がフォトダイオード２１の電荷を転送しない状態で電荷保持部２３に保持されるノイズレベルを読み出す動作を示している。ノイズレベルの読み出しが終わると、次に撮像素子制御部３は電荷転送部２２をフォトダイオード２１の電荷を転送する状態に移行させ（Ｓ１０３）、信号レベル読み出しを行う（Ｓ１０４）。次に、撮像素子２が読みだしたノイズレベルをもとに、補正データ作成部５がノイズ補正データの作成を行う（Ｓ１０５）。このノイズ補正データは、Ｓ１０２で読み出したノイズレベルを、画素ごとに現在のフレームを含む直近１０フレーム分を加算平均したものとしている。すなわち、複数回の信号読出しにより取得した複数の信号に基づいて画素ごとのノイズ補正データを作成する。このノイズ補正データおよびノイズ補正データを作成するための１０フレーム分のノイズレベルサンプルは、図１におけるフレームメモリ（記憶手段）６に格納する。ノイズ補正データの作成が終了した後、ＦＰＮ補正部（画素ノイズ補正部）７は、Ｓ１０４で読み出した信号レベルから、信号レベルを読み出した画素と同一画素で算出したノイズ補正データの値を減算処理することでノイズ補正を行う（Ｓ１０６）。そして、出力部９は、ノイズ補正処理を終えた信号を画像信号として表示部１０、記録部１１に対して出力する（Ｓ１０７）。画像信号の出力が終わると、操作部４から撮影終了指示が入力されているかどうかを判断する（Ｓ１０８）。撮影終了指示が来ていない場合には、Ｓ１０２の処理に戻り動画撮影を続行する。撮影終了指示が入力された場合には、さらに電源オフの指示が入力されているかどうかを判断する（Ｓ１０９）。電源オフの指示が入力されていない場合には、Ｓ１０１の撮影開始指示の待ち受け状態に戻る。電源オフの指示が入力されている場合には、電源をオフしシステムを終了する。

以上の様に、本実施例の撮像システムはフォトダイオード２１の電荷を電荷転送部２２によって転送するか転送しないかを切り替えることでノイズレベルと信号レベルを読み出しているため、露光時間を減らすことなくノイズ補正データを得ることが出来る。さらに、画素ごとにノイズ補正データを作成し、対応画素の信号レベルから減算することで画像信号を出力しているため、縦縞だけではなく画素ごとのオフセットレベルの差に起因する固定パターンノイズも除去することが出来る。また、画素ごとにノイズレベルの読出しを制御することができるため、撮像素子上の任意の領域にノイズ補正データを作成するための信号読み出しを行う画素と信号読み出しを行わない画素を設定することができる。

本実施例の撮像システムは、６０ｐ駆動の動画撮影システムであるとしたが、撮影フレームレートは６０ｐ以外でも良いし、動画撮影システムではなく静止画撮影システムに適用しても良い。また、システム構成および回路構成は本実施例の構成に限定されるものではない。例えば、本発明の撮像システムを構成する、レンズ１、撮像素子２、撮像素子制御部３、操作部４、補正データ作成部５、フレームメモリ６、ＦＰＮ補正部７、画像処理部８、出力部９、記録部１１は、一体で構成されていてもよいが、必ずしも一体で構成される必要はない。複数の装置に分割して構成され、互いに接続するように構成されていてもよい。

以下、本発明の第２の実施例について説明する。

本実施例による構成を図４に示す。図１に示す実施例１の構成に対し遮光素子１２、遮光素子制御部１３が追加されている。その他の構成は実施例１と同様である。本実施例の撮像システムは、実施例１と同様に６０ｐ（１秒あたり６０フレーム画像出力）で駆動する動画撮影システムである。処理の流れを示すフローチャートにも一部変更があるため、実施例２における動画撮影処理の流れを図５に示すフローチャートを用いて説明する。

遮光素子１２は、レンズ１から撮像素子２に入射する光を遮光する状態と、遮光しない状態を切り替える部材であり、遮光素子制御部１３は、遮光素子１２を遮光する状態と遮光しない状態とで切り替える駆動を制御する制御部である。

本実施例の撮像システムは、電源を立ち上げた後、ＦＰＮ補正用の暗画像データを作成するために、初期化処理を行う。まず、遮光素子制御部１３は、遮光素子１２を駆動させ撮像素子２に対する光を遮光する（Ｓ２０１）。Ｓ２０２〜Ｓ２０６の暗画像取得の流れは、図３のフローチャートにおけるＳ１０２〜Ｓ１０６の処理の流れと同様である。ＦＰＮ補正部（暗画像データ作成部）７は、ノイズ補正処理を終えた暗信号サンプルをフレームメモリ６に格納する（Ｓ２０７）。次に、ノイズ補正のための暗画像データを作成するために必要な暗信号サンプル数の取得が完了し、初期化を終了するか否かを判断する（Ｓ２０８）。初期化を終了しない場合は、Ｓ２０２に戻り暗信号をサンプルする動作を繰り返す。初期化を終了する場合は、ＦＰＮ補正部７は取得した暗信号サンプルの平均値をノイズ補正のための暗画像データとし、フレームメモリ６に格納する（Ｓ２０９）。次に、遮光素子制御部１３は遮光素子１２を駆動させ撮像素子２の遮光を解除し（Ｓ２１０）、通常の動画撮影フローに移行する。動画撮影における処理の流れのうちＳ２１１からＳ２１５は、図３のフローチャートにおけるＳ１０１〜Ｓ１０５と同様である。その後、Ｓ２１５で作成したノイズ補正データを用いてリアルタイムのノイズ補正（Ｓ１０６と同様の処理）を行い、得られた画像信号に対してさらにＳ２０９で作成したノイズ補正のための暗画像データを用いて暗画像ノイズ補正を行う（Ｓ２１７）。そして、出力部９は、ノイズ補正処理を終えた信号を画像信号として表示部１０、記録部１１に対して出力する（Ｓ２１８）。画像信号の出力が終わると、操作部４から撮影終了指示が入力されているかどうかを判断する（Ｓ２１９）。撮影終了指示が来ていない場合には、Ｓ２１２の処理に戻り動画撮影を続行する。撮影終了指示が入力された場合には、さらに電源オフの指示が入力されているかどうかを判断する（Ｓ２２０）。電源オフの指示が入力されていない場合には、Ｓ２１１の撮影開始指示の待ち受け状態に戻る。電源オフの指示が入力されている場合には、電源をオフしシステムを終了する。

以上のように、本実施例の撮像システムはフォトダイオード２１の電荷を電荷転送部２２によって転送するか転送しないかを切り替えることでノイズレベルと信号レベルを読み出しているため、露光時間を減らすことなくノイズ補正データを得ることが出来る。さらに、初期化処理によって取得したノイズ補正のための暗画像データを用いて暗画像ノイズ補正を行うことで、実施例１の構成と比較してさらに精度良く画素ごとに存在するＦＰＮを補正することが出来る。さらに、画素ごとにノイズ補正データを作成し、対応画素の信号レベルから減算することで画像信号を出力しているため、縦縞だけではなく画素ごとのオフセットレベルの差に起因する固定パターンノイズも除去することが出来る。また、画素ごとにノイズレベルの読出しを制御することができるため、撮像素子上の任意の領域にノイズ補正データを作成するための信号読み出しを行う画素と信号読み出しを行わない画素を設定することができる。

撮像素子の一部の領域には光が入射しないように遮光された遮光画素を有するように構成し、この遮光画素から出力される画像信号である暗信号に基づき、同じ列の画素の画像信号に対する補正、色ごとの画像信号の補正など、従来の補正技術と本発明の画素ごとのノイズ補正を併用する構成としてもよい。

本実施例の撮像システムは、６０ｐ駆動の動画撮影システムであるとしたが、撮影フレームレートは６０ｐ以外でも良いし、動画撮影システムではなく静止画撮影システムに適用しても本発明の効果を享受することができる。また、システム構成および回路構成は本実施例の構成に限定されるものではない。

２ 撮像素子
２１ フォトダイオード（光電変換部）
２２ 電荷転送部
２３ 電荷保持部
５ 補正データ作成部
７ ＦＰＮ補正部（画素ノイズ補正部、暗画像データ作成部）

Claims (7)

1. 複数の画素が２次元に配置された撮像素子と、
   前記画素ごとに配置され入射光量に応じた電荷を発生させる光電変換部と、
   前記光電変換部の電荷を電荷保持部に転送するか否かを切り替える電荷転送部と、
   前記電荷転送部が前記電荷保持部に電荷を転送しない状態において、前記電荷保持部から画素ごとの信号を読み出し、画素ごとのノイズ補正データを作成する補正データ作成部と、
   前記電荷転送部が前記電荷保持部に電荷を転送する状態において、前記電荷保持部から画素ごとの信号を読み出し、前記補正データ作成部により作成されたノイズ補正データに基づいて画素ごとのノイズ補正を行う画素ノイズ補正部と、
   を有することを特徴とする撮像システム。
2. 前記補正データ作成部は、複数回の信号読み出しにより取得した複数の信号に基づいて画素ごとのノイズ補正データを作成すること、を特徴とする請求項１に記載の撮像システム。
3. 前記補正データ作成部は、ノイズ補正データを作成するための信号読み出しを行う画素と信号読み出しを行わない画素を撮像素子上の任意の領域に設定すること、を特徴とする請求項１又は２に記載の撮像システム。
4. 前記電荷保持部から画素ごとに読み出された信号を格納する記憶手段を有する、ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
5. 前記撮像素子への光を遮光した状態と遮光しない状態とを切り替える遮光素子と、
   前記遮光素子の駆動を制御する遮光素子制御部と、
   前記遮光素子によって前記撮像素子への光が遮光されている状態で、該撮像素子から読み出された信号をもとに暗画像データを作成する暗画像データ作成部と、
   を有し、
   前記画素ノイズ補正部は、前記暗画像データ作成部が作成した前記暗画像データに基づいて画素ごとのノイズ補正を行う、
   ことを特徴とした請求項１乃至４のいずれか１項に記載の撮像システム。
6. レンズ装置を含み、前記撮像素子は該レンズ装置からの光を受光する、ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像システム。
7. 前記画素ノイズ補正部により補正された信号をもとに画像を作成し出力する出力部と、
   前記出力部からの信号に基づく画像を表示する表示部と、
   を備えることを特徴とする、請求項６に記載の撮像システム。

Images