JP2021166377A - 光電変換装置、撮像システム、移動体 - Google Patents

Abstract

【課題】新規のノイズ低減処理を行う光電変換装置を提供する。【解決手段】光電変換装置は、それぞれが複数行および複数列に渡って配された複数の有効画素および複数の遮光画素と、複数の垂直出力線と、信号処理回路とを備え、前記複数の遮光画素のうち第１の行の遮光画素である第１の遮光画素から前記複数の垂直出力線のうちの第１の垂直出力線に画素信号が出力されている期間に、前記複数の遮光画素のうちの第２の行の遮光画素である第２の遮光画素から前記複数の垂直出力線のうちの第２の垂直出力線に画素信号が出力され、前記信号処理回路は、前記第１の遮光画素の前記画素信号と前記第２の遮光画素の前記画素信号とをフィルタ処理して得られる補正信号を用いて、前記有効画素から出力される有効画素信号を補正する。【選択図】図１

Description

本発明は、光電変換装置、撮像システム、移動体に関する。

近年、デジタルスチルカメラ、ビデオカメラ、あるいは携帯電話等に搭載される光電変換装置の開発が行われている。例えば、光電変換装置として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが広く知られている。ＣＭＯＳセンサは、ＣＣＤセンサと比較して、低消費電力、高速読み出し、システムオンチップ化可能といった特長を備えているため注目度が高まっている。

ＣＭＯＳセンサは、フローティングディフュージョンアンプ等による増幅回路を画素ごとに備えている。画素信号を読み出す際は、行方向及び列方向にマトリクス状に配置された画素アレイ部の中のある１行を選択し、その選択された１行に位置する全画素の画素信号を同時に読み出す方式が多く用いられている。

このため、ＣＭＯＳセンサでは、構成上、横１ラインに一様のオフセット性ノイズ（以下、横縞ノイズと呼ぶ）が発生する問題がある。これに対して、従来の撮像装置では、イメージセンサにおける遮光画素でのオプティカルブラック（以下、ＯＢと呼ぶ）信号を用いて、横縞ノイズの補正を行うものがあった。

特許文献１には、ＯＢ領域の複数の水平ラインの画素信号の平均値を用いて、有効画素の画素信号をクランプ（補正）するクランプ回路と、水平ラインごとに画素信号の平均値を演算して有効画素の画素信号をクランプするクランプ回路の記載がある。そして、ＯＢ領域を用いて横縞ノイズを検出する検出ブロックの記載がある。ここでは、検出ブロックが線キズを検出したか否かに応じて、２種類のクランプ回路を切り替えて、クランプ（ライン平均クランプ）によって横縞ノイズの影響を低減している。

特開２０１３−１０６１８６号公報

しかしながら、特許文献１におけるノイズの低減処理は検討が充分では無い。横縞ノイズが画面全体に発生した場合には、常に、水平ラインごとの平均値を演算する必要がある。

本発明は、より好適にノイズを低減した光電変換装置を提供する。

本発明の１つの態様は、
それぞれが複数行および複数列に渡って配された複数の有効画素および複数の遮光画素と、複数の垂直出力線と、信号処理回路とを備え、
前記複数の遮光画素のうちの第１の行の遮光画素である第１の遮光画素から前記複数の垂直出力線のうちの第１の垂直出力線に画素信号が出力されている期間に、前記複数の遮光画素のうちの第２の行の遮光画素である第２の遮光画素から前記複数の垂直出力線のう
ちの第２の垂直出力線に画素信号が出力され、
前記信号処理回路は、前記第１の遮光画素の前記画素信号と前記第２の遮光画素の前記画素信号とをフィルタ処理して得られる補正信号を用いて、前記有効画素から出力される有効画素信号を補正することを特徴とする光電変換装置である。

本発明によれば、より好適にノイズを低減した光電変換装置を提供することができる。

実施形態１に係る光電変換装置の回路構成を示す図である。 実施形態１に係る画素信号の読み出し処理のフローチャートである。 実施形態１に係る信号処理回路の処理を説明する図である。 実施形態２に係る信号処理回路の処理を説明する図である。 実施形態３に係る信号処理回路の処理を説明する図である。 実施形態３に係る信号処理回路の処理を説明する図である。 実施形態４に係る信号処理回路の処理を説明する図である。 実施形態４に係る信号処理回路の処理を説明する図である。 実施形態３に係る信号処理回路の処理のフローチャートである。 実施形態４に係る信号処理回路の処理のフローチャートである。 実施形態５に係るカメラシステムの構成図である。 実施形態６に係る撮像システムの構成例を表す図である。 実施形態７に係る撮像システムおよび移動体の構成例を表す図である。

以下、図面を用いて本発明に係る実施形態を説明する。なお、上述した各実施形態は、矛盾が生じない限り任意に組み合わせることができる。また、以下に述べる各実施形態では、光電変換装置の一例として、撮像装置を中心に説明する。ただし、各実施形態は、撮像装置に限られるものではなく、光電変換装置の他の例にも適用可能である。例えば、測距装置（焦点検出やＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）を用いた距離測定等の装置）、測光装置（入射光量の測定等の装置）などがある。

＜実施形態１＞
［光電変換装置の構成］
図１を参照して、実施形態１に係る光電変換装置１０（光電変換装置）の回路構成について説明する。図１は、実施形態１に係る光電変換装置１０の回路構成を示す。光電変換装置１０は、画素領域１００、垂直出力線ＶＬ１〜ＶＬ４、水平読み出し回路１０６−１〜１０６−８、信号処理回路１０７−１，１０７−２、列読み出し回路１１０−１，１１０−２を有する。

画素領域１００は、８列×８行のマトリクス状の（２次元的に画素が配列された；複数列および複数行の画素からなる）画素アレイを有する。画素領域１００は、遮光画素領域１０１および有効画素領域１０２（開口画素領域）を有する。遮光画素領域１０１と有効画素領域１０２は、それぞれ４列×８行の画素によって構成されている。以下では、遮光画素領域１０１が有する画素をＯＢ（オプティカルブラック）画素または遮光画素と呼び、有効画素領域１０２が有する画素を有効画素（開口画素）と呼ぶ。また、ＯＢ画素の信号（遮光画素信号）の平均値などを経た信号を用いて、有効画素の信号（有効画素信号）を補正することを「クランプ（ＯＢクランプ）」と呼ぶ。なお、上述した画素領域１００、遮光画素領域１０１、有効画素領域１０２における画素の配列（画素の数）は、上述した限りではなく、画素領域１００における同一の行に有効画素およびＯＢ画素が存在すれば任意の数の画素の２次元的な配列であってもよい。

また、画素領域１００は、ベイヤー配列のカラーフィルタを有している。図１において、Ｒはレッド画素を示し、ＧｒおよびＧｂはグリーン画素を示し、Ｂはブルー画素を示している。また、図１では、８列×８行のマトリクスに応じて、画素Ｒ１１〜Ｂ４４まで画素配置に応じた番号が付してある。

垂直出力線ＶＬ１〜ＶＬ４は、画素配列の１列ごとに配置されている。全ての列に対応する垂直出力線ＶＬ１〜ＶＬ４によって、画素領域１００の全ての列の画素から信号を取得する（読み出す）ことができる。

列読み出し回路１１０−１，１１０−２は、垂直出力線ＶＬ１〜ＶＬ４によって取得された（読み出された）信号を読み出す。列読み出し回路１１０−１，１１０−２は、垂直出力線ＶＬ１〜ＶＬ４の電流源や、列ゲインアンプ、列ＡＤ、列メモリなどの回路を含む。なお、本実施形態では、垂直出力線１本ごとに対応した、列読み出し回路１１０−１，１１０−２における列回路一列分をそれぞれ、列読み出し部１０３−１〜１０３−３２としている。

水平読み出し回路１０６−１〜１０６−８は、列読み出し回路１１０−１，１１０−２が読み出した信号を、画素の列ごとに読み出す。このように、光電変換装置１０は、水平読み出し回路１０６−１〜１０６−８までの８組を有している。以下では、８組の水平読み出し回路１０６−１〜１０６−８をそれぞれ、チャンネル１ｃｈ〜８ｃｈと呼ぶ。本実施形態では、垂直出力線ＶＬ１〜ＶＬ４が読み出した画素信号それぞれは、２つのチャンネルに分割される。

信号処理回路１０７−１，１０７−２は、水平読み出し回路１０６−１〜１０６−８により読み出された信号を処理する。信号処理回路１０７−１，１０７−２には、チャンネルごとに信号処理をする処理回路１０４−１〜１０４−８と、複数のチャンネルについて共通の処理を行う処理回路１０５−１，１０５−２が含まれる。

［画素の信号の読み出し方法］
次に、画素の信号を水平読み出し回路１０６−１〜１０６−８が読み出すまでの読み出し方法について、図１の回路構成図および図２のフローチャートを用いて説明する。

（Ｓ１００１）
画素Ｒ１１〜Ｂ２４までの８列×４行の３２画素の信号（画素信号）がそれぞれ、同時に垂直出力線ＶＬ１〜ＶＬ４によって読み出される（取得される）。本実施形態では、１行目の画素（画素Ｒ１１〜Ｇｒ１４）の画素信号が垂直出力線ＶＬ２によって読み出され、２行目の画素（画素Ｇｂ１１〜Ｂ１４）の画素信号が垂直出力線ＶＬ１によって読み出される。同様に、３行目の画素（画素Ｒ２１〜Ｇｒ２４）の画素信号が垂直出力線ＶＬ４によって読み出され、４行目の画素（画素Ｇｂ２１〜Ｂ２４）の画素信号が垂直出力線ＶＬ３によって読み出される。なお、画素Ｒ１１〜Ｂ２４までの３２画素の信号は、それぞれ対応する垂直出力線に同一のタイミングで（同一の期間において）読み出されるように制御されている。例えば、１行目の画素の画素信号が垂直出力線ＶＬ２によって読み出されている期間に、３行目の画素の画素信号が垂直出力線ＶＬ４によって読み出される。

（Ｓ１００２）
垂直出力線ＶＬ１〜ＶＬ４に読み出された３２画素分の画素信号は、列読み出し回路１１０−１に１６画素分が読み出されて、列読み出し回路１１０−２に１６画素分が読み出される。本実施形態では、垂直出力線ＶＬ１，ＶＬ３によって読み出された画素信号が列読み出し回路１１０−２に読み出され、垂直出力線ＶＬ２，ＶＬ４によって読み出された
画素信号が列読み出し回路１１０−１に読み出される。なお、列読み出し回路１１０−１，１１０−２による画素信号の読み出しも、３２画素分がほぼ同時に（同一の期間において）行われるように制御されている。

（Ｓ１００３）
列読み出し回路１１０−１，１１０−２は、読み出した画素信号に対して、信号増幅やＡＤ変換処理などのアナログ処理を行う。このとき、信号増幅やＡＤ変換処理は、上下に分かれた３２画素分の画素信号についてほぼ同一のタイミングで（同一の期間において）行われるように制御される。

なお、光電変換装置１０による画素信号の読み出し方式によっては、マルチサンプリングや列ごとにオフセットをつける動作を行うなどの読み出しを行い、ランダムノイズや固定パターンノイズを低減させる方法が存在する。これらの方法では、都合上、タイミング制御をずらす駆動例もある。しかしながら、Ｓ１００３において３２画素分の画素信号に対するアナログ処理の同時性は、次の３２画素（画素Ｒ３１〜Ｂ４４）分の画素信号の読み出しまでのタイミングに比べると、十分に同時性が高いといえる。

（Ｓ１００４）
３２画素分の画素信号は、列読み出し回路１１０−１，１１０−２が有する列メモリに同時に（同一の期間において）一時保存される。

（Ｓ１００５）
水平読み出し回路１０６−１〜１０６−８によって、８画素ごとに画素信号が順次読み出される。本実施形態では、列読み出し回路１１０−１によってアナログ処理された画素信号が水平読み出し回路１０６−１，１０６−３，１０６−５，１０６−７により読み出される。一方、列読み出し回路１１０−２によってアナログ処理された画素信号が水平読み出し回路１０６−２，１０６−４，１０６−６，１０６−８により読み出される。

Ｓ１００５の処理が終了した後、Ｓ１００１〜Ｓ１００５と同様の処理が、次の４行８列の画素Ｒ３１〜Ｂ４４の３２画素について行われる。

ここで、Ｓ１００３において信号増幅やＡＤ変換処理などのアナログ処理を行う際などに、電源やＧＮＤ（グラウンド；アース）の変動に起因したノイズ（横縞ノイズ）が発生する。この横縞ノイズは、画素からの画素信号の読み出しから列メモリでの一時保存までのタイミングが同時であれば、原理的に各画素の画素信号において同じレベルのノイズ量である。

従って、本実施形態に係る読み出し方法を用いる場合には、画素Ｒ１１〜Ｂ２４までの８列×４行についての画素信号は同一の或る横縞ノイズを有しており、画素Ｒ３１〜Ｂ４４までの８列×４行についての画素信号は同一の他の横縞ノイズを有する。

これらの横縞ノイズを除去するために、同一の行に存在するＯＢ画素の画素信号の平均値を求めて、有効画素の画素信号と当該平均値との差分を取る方法がある。しかしながら、ＯＢ画素の画素信号の平均値を取得する際には、ＯＢ画素ごとに独立したランダムノイズの影響を受ける。このため、電源やＧＮＤの変動に起因した横縞ノイズのみをＯＢ画素から抽出するためには、多くのＯＢ画素の画素信号を平均してランダムノイズの影響を低減することが望ましい。

一般的に、電源やＧＮＤの変動に起因した横縞ノイズは、画素に起因するランダムノイズに比べて非常に小さい。しかしながら、横縞ノイズは、ランダムノイズと違い横線に見
えるため、ノイズレベルが小さくても画質への影響が大きい。

例えば、平均化した画像信号での横縞ノイズの推定誤差を、平均化する前のＯＢ画素の画素信号における横縞ノイズの推定誤差の１／１０にするためには、同一の行に存在する多くのＯＢ画素を用いて平均化する必要があった。本実施形態では、ＯＢ画素は一行あたり４画素であるが、推定誤差を十分に小さくするための平均化に必要な画素数は、一般的には５０〜１００画素程度である。従って、一行あたり４画素の画素数では、横縞ノイズを除去するのに十分な画素数ではない。しかしながら、水平方向のＯＢ画素を増やすことは、コストアップや高速化の妨げなどにつながり現実的ではない場合がある。

［信号処理回路の処理］
図３を参照して、本実施形態に係る信号処理回路１０７−１，１０７−２による、有効画素の画素信号（有効画素信号）から横縞ノイズ成分を除去するためのクランプ処理について詳細に説明する。図３は、信号処理回路１０７−１の処理の一部を説明する図である。なお、信号処理回路１０７−２の処理については、信号処理回路１０７−１の処理と同様であるため省略する。

なお、図３では、信号処理回路１０７−１に入力される画素信号の信号値を「〜ｖ」と記しており、例えば、画素Ｒ２３の画素信号の信号値を「Ｒ２３ｖ」と記している。また、クランプ処理後の画素信号の信号値を「〜ｏｕｔ」と記しており、例えば、画素Ｇｒ２３の画素信号のクランプ処理後の信号値を「Ｇｒ２３ｏｕｔ」と記している。

信号処理回路１０７−１は、水平読み出し回路１０６−１，１０６−３，１０６−５，１０６−７から画素信号が入力され、画素信号に対してデジタル信号処理を行う回路である。信号処理回路１０７−１は、デジタルのＳ−Ｎ動作やデジタルＯＢクランプの減算処理、黒レベルオフセット付加処理などを行う。

本実施形態において、信号処理回路１０７−１は、チャンネルごとに信号を処理する処理回路１０４−１，１０４−３，１０４−５，１０４−７と、４つのチャンネルについて共通の処理を行う処理回路１０５−１とを有する。ここで、図３の処理回路１０４−１，１０４−３，１０５−５，１０７−７と処理回路１０５−１に記載の式について説明する。図３の各処理回路に記載された上段の式は、画素Ｒ１１〜Ｇｒ１４，Ｒ２１〜Ｇｒ２４から画素信号が読み出された時刻における処理を表し、下段の式は、画素Ｒ３１〜Ｇｒ３４，Ｒ４１〜Ｇｒ４４から画素信号が読み出された時刻における処理を表している。

処理回路１０４−１には、水平読み出し回路１０６−１から画素信号が入力され、処理回路１０４−３には、水平読み出し回路１０６−３から画素信号が入力される。同様に、処理回路１０４−５には、水平読み出し回路１０６−５から画素信号が入力され、処理回路１０４−７には、水平読み出し回路１０６−７から画素信号が入力される。また、処理回路１０５−１には、水平読み出し回路１０６−１，１０６−３，１０６−５，１０６−７の全てから画素信号が入力される。

処理回路１０５−１は、チャンネル間の共通の値として、４つのチャンネルのＯＢ画素の画素信号を平均化して（フィルタ処理をして）クランプ値ＣＬＭＰを求める。クランプ値ＣＬＭＰは、同時に読み出す行単位で算出される。本実施形態に係るクランプ値ＣＬＭＰは、タイミングごとの横縞ノイズ成分を示す信号値（補正信号）である。図３にて、同時に読み出されるＯＢ画素Ｒ１１〜Ｇｒ１２，Ｒ２１〜Ｇｒ２２の画素信号の平均値がクランプ値ＣＬＭＰ１であり、次のタイミングで読み出されるＯＢ画素Ｒ３１〜Ｇｒ３２，Ｒ４１〜Ｇｒ４２の画素信号の平均値がクランプ値ＣＬＭＰ２である。例えば、クランプ値ＣＬＭＰ１は、ＯＢ画素の画素信号の信号値Ｒ１１ｖ，Ｇｒ１１ｖ，Ｒ１２ｖ，Ｇｒ１
２ｖ，Ｒ２１ｖ，Ｇｒ２１ｖ，Ｒ２２ｖ，Ｇｒ２２ｖを平均化した値である。なお、処理回路１０５−１は、クランプ値ＣＬＭＰを、処理回路１０４−１，１０４−３，１０４−５，１０４−７のそれぞれに出力する。

処理回路１０４−１，１０４−３，１０４−５，１０４−７はそれぞれ、クランプ値ＣＬＭＰを、自身に入力された有効画素の画素信号から減算する処理（クランプ処理）を行う。例えば、処理回路１０４−１には、水平読み出し回路１０６−１から有効画素Ｒ１３，Ｒ１４の画素信号の信号値Ｒ１３ｖ，Ｒ１４ｖが入力され、処理回路１０５−１からクランプ値ＣＬＭＰ１が入力される。このため、処理回路１０４−１は、画素信号の信号値Ｒ１３ｖ，Ｒ１４ｖからそれぞれクランプ値ＣＬＭＰ１を減算することによって、クランプ処理後の画素信号の信号値Ｒ１３ｏｕｔ，Ｒ１４ｏｕｔを取得する。

ここで、本実施形態では、複数の行の画素の画素信号が同時に読み出されれば、これらの画像信号における横縞ノイズが、電源やＧＮＤの変動に起因したノイズ成分と同じノイズレベルであることに着目している。このため、異なる垂直出力線に対応する画素（異なる行の画素）であっても平均化処理に用いることができるので、多くの画素の画素信号から平均値を取得することができる。従って、水平方向にＯＢ画素が多く存在しない場合にも、ＯＢ画素の画素信号の平均化におけるランダムノイズの影響を圧縮することができる。つまり、有効画素の画素信号から、精度高く横縞ノイズを除去することができる。

例えば、垂直出力線が４線で、ＯＢ画素が１００列である場合、上下に２線ずつ読み出しを分けたとしても２００画素の画素信号の平均を取得することができる。この場合、ランダムノイズの影響による、平均した画素信号における横縞ノイズの推定誤差を、平均化しない場合の横縞ノイズの推定誤差の１／√２００すなわち約１／１４程度に抑えることができる。

また、本実施形態では、垂直出力線が画素１列あたり４本の例を示したが、２本以上であれば同様効果を得ることができる。なお、画素１列あたりの垂直出力線の数は同時に読み出せる行の数を示すので、垂直出力線は８本や１２本など、本数が多いほどより効果が高い。また、垂直出力線ＶＬ１〜ＶＬ４は、本実施形態のように、ＯＢ画素と同数の有効画素との画素信号を同一のタイミングで取得することが望ましい。しかし、垂直出力線ＶＬ１〜ＶＬ４が、複数の行に渡って存在する複数のＯＢ画素の複数の画素信号と、当該複数の行の少なくともいずれかの有効画素の画素信号とを同一のタイミングで取得すれば、当該有効画素のクランプ処理は可能である。

また、信号処理回路１０７−１，１０７−２の２つに分けて信号処理を行っているが、全画素まとめて１つの信号処理回路が信号処理を行ってもよい。さらに、本実施形態では、平均化（フィルタ処理）に関して単純平均を用いているが、例えば、メディアン値を用いたり、キズ画素の画素信号を除いて平均化を行ったり、フィルタを用いた重みづけの平均値を用いても、本実施形態の効果は得ることができる。

＜実施形態２＞
複数の垂直出力線間において、画素領域内のレイアウトの制約上、配線容量が異なることが多い。また、同じ垂直出力線であっても、Ｒ画素に接続されるものとＧｒ画素に接続されるものとでは特性が異なる。このような垂直出力線または色ごとの特性の違いの補正のために、チャンネルごとにＯＢ画素の画素信号の平均値を取得し、この平均値を有効画素の画素信号から減算することで、チャンネルごとの差異（オフセット）を補正するクランプ処理を行うことがある。

このようなチャンネルごとのノイズを除去するクランプ処理と、実施形態１に示した横
縞ノイズを除去するクランプ処理とは、組み合わせることが可能である。そこで、本実施形態では、このような２つのクランプ処理を行う光電変換装置１０について説明する。なお、「横縞ノイズを除去するクランプ処理」と「チャンネルごとのノイズを除去するクランプ処理」とを区別するために、以下では、「チャンネルごとのノイズを除去するクランプ処理」を「オフセット補正」と記す。

図４は、本実施形態に係る信号処理回路１０７−１の処理を説明する図である。なお、信号処理回路１０７−２の処理は、信号処理回路１０７−１の処理と同様であるため詳細な説明は省略する。信号処理回路１０７−１は、実施形態１と同様に、処理回路１０４−１，１０４−３，１０４−５，１０４−７と、処理回路１０５−１を有する。信号処理回路１０７−２は、処理回路１０４−２，１０４−４，１０４−６，１０４−８と、処理回路１０５−２を有する。また、本実施形態では、処理回路１０４−１〜１０４−８はそれぞれ、対応する回路２００−１〜２００−８のいずれかを有する。

回路２００−１，２００−３，２００−５，２００−７は、チャンネルごとにＯＢ画素の画素信号の平均をクランプ値（補正値）として算出する回路である。ここでは、チャンネルごと（もしくは垂直出力線ごと）に異なるクランプ値を有効画素の画素信号から除去することが目的であるので、同一チャンネルで読み出される有効画素の画素信号について、同一のクランプ値が算出される。なお、「実施形態１に係るクランプ値」と本実施形態に係る「チャンネルごとのクランプ値」とを区別するために、以下では「チャンネルごとのクランプ値」を「オフセットレベル」と記し、「実施形態１に係るクランプ値」を「クランプ値」と記す。

本実施形態では、このオフセットレベルを、ＣＬＭＰ＿ＣＨ１（０）〜ＣＬＭＰ＿ＣＨ７（２）のいずれかで記す。ここで、オフセットレベルＣＬＭＰ＿ＣＨｉ（ｔ）において、「ｔ」は画素信号が画素から読み出されたタイミング（時刻）を示し、「ｉ」はチャンネルを示す。例えば、タイミングｔ１で読み出された画像信号であって、処理回路１０４−３がチャンネル３ｃｈ（水平読み出し回路１０６−３）から取得した画素信号についての、オフセットレベルはＣＬＭＰ＿ＣＨ３（１）と記される。

図４の回路２００−１，２００−３，２００−５，２００−７と処理回路１０５−１に記載の式について説明する。図４の各処理回路および回路の上段の式は、画素Ｒ１１〜Ｇｒ１４，Ｒ２１〜Ｇｒ２４から画素信号が読み出された時刻ｔ＝１における処理を表している。下段の式は、画素Ｒ３１〜Ｇｒ３４，Ｒ４１〜Ｇｒ４４から画素信号が読み出された時刻ｔ＝２における処理を表している。

（信号処理回路の処理）
以下、信号処理回路１０７−１の処理について、画素Ｒ１１〜Ｇｒ１４，Ｒ２１〜Ｇｒ２４の画素信号が信号処理回路１０７−１に入力された場合について説明する。

まず、処理回路１０５−１は、実施形態１と同様にクランプ値ＣＬＭＰ１（補正信号）を算出して、処理回路１０４−１，１０４−３，１０４−５，１０４−７に出力する。なお、クランプ値ＣＬＭＰ２も実施形態１と同様に算出することができる。

次に、回路２００−１，２００−３，２００−５，２００−７は、信号処理回路１０７−１に入力された各チャンネルのＯＢ画素の画素信号の平均値から、前（直前）のオフセットレベルを減算した値を求め、この減算後の値を減衰させる（小さくする）。そして、回路２００−１，２００−３，２００−５，２００−７は、減衰させた値を当該前のオフセットレベルに加算して、当該加算した値を新たなオフセットレベルとして算出する。ここで、本実施形態では、減衰量を２^−ｎとしている。ｎは０より大きい数字であり、例え
ば、ｎ＝５であれば、減衰量は２^−５＝１／３２である。このため、回路２００−１，２００−３，２００−５，２００−７は、各チャンネルのＯＢ画素の画素信号の平均値と前のオフセットレベルとの差分を１／３２に減衰させて、前のオフセットレベルと当該減衰させた値との和を求める。このとき、ｎは自然数であると、処理回路の構成を簡易化することができる。

具体的に、オフセットレベルＣＬＭＰ＿ＣＨ１（１）を算出する例を説明する。まず、回路２００−１は、ＯＢ画素Ｒ１１，Ｒ１２の信号値Ｒ１１ｖ，Ｒ１２ｖの平均値から直前のオフセットレベルであるＣＬＭＰ＿ＣＨ１（０）を減算した値を算出し、当該減算した値に２^−ｎを乗算した値を算出する。そして、回路２００−１は、この乗算した値をＣＬＭＰ＿ＣＨ１（０）に加算した値をＣＬＭＰ＿ＣＨ１（１）とする。つまり、ＣＬＭＰ＿ＣＨ１（１）は、ＣＬＭＰ＿ＣＨ１（０）を３１／３２倍した値と、（Ｒ１１ｖ＋Ｒ１２ｖ）／２を１／３２倍した値とを加算した値である。

例えば、或る時刻をｔとし、その１つ前の時刻をｔ−１とし、その１つ前の時刻をｔ−２として定義して、時刻ｔでのチャンネルｉｃｈのＯＢ画素の画素信号の信号値の平均値をＡｖｅ（ｔ）とし、減衰量をαとする。すると、ＣＬＭＰ＿ＣＨｉ（ｔ）＝Ａｖｅ（ｔ）×α＋Ａｖｅ（ｔ−１）×α（１−α）＋Ａｖｅ（ｔ−２）×α（１−α）^２＋Ａｖｅ（ｔ−３）×α（１−α）^３＋・・・が成立する。つまり、複数の時刻の或るチャンネルのＯＢ画素の画素信号の平均値を、時刻ごとに重みづけして合成したもの（合成値）を、当該チャンネルの有効画素の画素信号に用いるオフセットレベルとしている。ここで、重みは、現在の時刻に近いほど大きな重みである。このような処理が行われることによって、オフセットレベルは、横縞ノイズが十分に除去されて、チャンネルごとのノイズ（ランダムノイズ）成分のみを有することができる。

最後に、処理回路１０４−１，１０４−３，１０４−５，１０４−７は、処理回路１０５−１から取得したクランプ値ＣＬＭＰ１と、回路２００−１，２００−３，２００−５，２００−７が算出した新たなオフセットレベルを、対象の画素信号から減算する。例えば、処理回路１０４−１は、有効画素Ｒ１３について、信号値Ｒ１３ｖから、クランプ値ＣＬＭＰ１とオフセットレベルＣＬＭＰ＿ＣＨ１（１）を減算することで、補正後の画素信号の信号値Ｒ１３ｏｕｔを取得する。

本実施形態では、このように、新たなオフセットレベルの算出にあたり、直前のオフセットレベルに対して加算する追従量を一定量減衰させている。このため、新たなオフセットレベルは、横縞ノイズが十分に除去されて、チャンネルごとのノイズ（ランダムノイズ）成分のみを有する信号値にされる。このような、オフセットレベルを用いることによれば、オフセット補正によって、有効画素におけるＯＢ画素のチャンネルごとのノイズの影響を低減させることができる。チャンネルごとのノイズ成分は、読み出しのタイミングによらず同じチャンネルであれば、どの行でも同じ成分を有するので、複数の読み出しタイミングを利用して、有効画素におけるランダムノイズの影響の低減を実現している。

このように、回路２００−１，２００−３，２００−５，２００−７が、チャンネルごとのノイズ成分を抽出しており、処理回路１０５−１が同時に読み出すタイミングごとの横縞ノイズを抽出している。そして、これらを有効画素の画素信号から減算することによって、チャンネルごとのノイズ成分と、読み出すタイミングごとの横縞ノイズ成分の両方を除去することができる。つまり、有効画素の画素信号から、実施形態１よりも多くのノイズを除去することができる。

なお、チャンネルごとのノイズ成分の抽出とタイミングごとの横縞ノイズの抽出とは、互いに独立の成分の抽出であるため、どちらの処理を先に行ってもよい。

＜実施形態３＞
近年、画素データの読み出し速度をさらに高速化するため、垂直出力線数の多線化技術が注目されている。これは垂直出力線数を増やすことによって、一度に読み出すデータ数を増やし、１フレーム当たりの読み出し回数を減らす技術である。

しかし、垂直出力線の多線化技術と実施形態２を併用した場合、チャンネルごと（もしくは垂直出力線ごと）に異なるクランプ値を補正することはできるが、垂直シェーディング成分を補正することが難しいという課題がある。本実施形態に係る垂直シェーディング成分とは、垂直方向（行方向）に連続的に変化していく黒レベルのことを指す。この垂直シェーディング成分は、例えば電源インピーダンス等の違いによって発生するものである。

実施形態２に係るオフセットレベルは、同時読み出し行単位でしか更新されないため、垂直出力線の多線化技術によって同時読み出し行数が増えるに連れて、行単位あたりの補正値の更新頻度が下がってしまう。例えば、２行同時読み出しの場合は２行に１回補正値が更新されるが、１０行同時読み出しの場合は１０行に１回しか補正値が更新されない。そのため、垂直出力線を多線化するに連れて、垂直シェーディング成分の補正精度が低下してしまう。

そこで、本実施形態では、光電変換装置１０は、チャンネルごとのクランプ値であるオフセットレベルを算出した後に、さらに行ごとのクランプ値を算出し、これら２つの補正値を用いて補正する。このことによって、チャンネルごとのノイズ成分の除去と行ごとのノイズ成分の除去との両立を実現する。

なお、「チャンネルごとのクランプ値（補正信号）」である「オフセットレベル」と、「行ごとのクランプ値」とを区別するために、以下では「行ごとのクランプ値」を「シェーディングレベル」と記す。

本実施形態では、光電変換装置１０において、図１の信号処理回路１０７−１を信号処理回路１０７−３に、信号処理回路１０７−２を信号処理回路１０７−４に、それぞれ置き換えた装置を説明する。図５Ａは、本実施形態に係る信号処理回路１０７−３の処理を説明する図である。なお、信号処理回路１０７−４の処理は、信号処理回路１０７−３の処理と同様であるため詳細な説明は省略する。信号処理回路１０７−３は、処理回路１０４−９，１０４−１１，１０４−１３，１０４−１５と、処理回路１０５−３を有する。また、本実施形態では、処理回路１０４−９，１０４−１１，１０４−１３，１０４−１５はそれぞれ実施形態２と同様に、対応する回路２００−１，２００−３，２００−５，２００−７のいずれかを有する。

回路２００−１，２００−３，２００−５，２００−７は実施形態２と同様、チャンネルごとにＯＢ画素の画素信号の平均をクランプ値（補正値）として算出する回路である。本実施形態においても実施形態２と同様に、この補正値をオフセットレベルＣＬＭＰ＿ＣＨｉ（ｔ）と記す。

本実施形態では、各チャンネルのＯＢ画素の画素信号の平均値をＡＶＥ＿Ｒ［１］〜ＡＶＥ＿Ｒ［４］，ＡＶＥ＿Ｇｒ［１］〜ＡＶＥ＿Ｇｒ［４］のいずれかで記す。また、シェーディングレベルをＣＬＭＰ３［０］〜ＣＬＭＰ３［４］，ＣＬＭＰ４［０］〜ＣＬＭＰ［４］のいずれかで記す。ここでＡＶＥ＿Ｒ［ｙ］，ＡＶＥ＿Ｇｒ［ｙ］，ＣＬＭＰ３［ｙ］，ＣＬＭＰ４［ｙ］において、「ｙ」は色ごとの行番号（垂直座標）を表す。

図５Ｂは、処理回路１０５−３において実行される処理を式によって表す。図５Ｂに記載の式について説明する。図５Ｂの処理回路１０５−３に記載の、上段の４つの式は、画素Ｒ１１〜Ｇｒ１４，Ｒ２１〜Ｇｒ２４から画素信号が読み出された時刻ｔ＝１における処理を表している。下段の４つの式は、画素Ｒ３１〜Ｇｒ３４，Ｒ４１〜Ｇｒ４４から画素信号が読み出された時刻ｔ＝２における処理を表している。

［信号処理回路の処理］
以下、信号処理回路１０７−３の処理について、画素Ｒ１１〜Ｇｒ１４，Ｒ２１〜Ｇｒ２４の画素信号が信号処理回路１０７−３に入力された場合について、図５Ａ、図５Ｂおよび図７を用いて説明する。図７は、信号処理回路の処理を示すフローチャートである。

（Ｓ２００１）
まず、回路２００−１，２００−３，２００−５，２００−７は、実施形態２と同様にオフセットレベルを算出して、処理回路１０５−３に出力する。

（Ｓ２００２）
次に、図５Ｂに示すように、処理回路１０５−３は、信号処理回路１０７−３に入力された各チャンネルのＯＢ画素の画素信号の平均値から、回路２００−１，２００−３，２００−５，２００−７から出力されたオフセットレベルを減算する。処理回路１０５−３は、さらに、各チャンネルのＯＢ画素の画素信号の平均値からオフセットレベル（第１の合成値）を減算した値（補正信号）に対して、前（直前）のシェーディングレベルを減算した値を求め、この減算後の値を減衰させる（小さくする）。そして、処理回路１０５−３は、減衰させた値を当該前のシェーディングレベルに加算して、当該加算した値を新たなシェーディングレベル（第２の合成値）として算出する。

（Ｓ２００３）
最後に、処理回路１０４−９，１０４−１１，１０４−１３，１０４−１５は、処理回路１０５−３が算出したシェーディングレベルと、回路２００−１，２００−３，２００−５，２００−７が算出したオフセットレベルを用いて、対象の画素信号を補正する。

具体的に、シェーディングレベルＣＬＭＰ３［２］を算出し、有効画素Ｒ２３を補正する例を説明する。

まず、図５Ｂに示すように、処理回路１０５−３は、ＯＢ画素Ｒ１１，Ｒ１２の信号値Ｒ１１ｖ，Ｒ１２ｖの平均値ＡＶＥ＿Ｒ［１］から、回路２００−１で算出したオフセットレベルＣＬＭＰ＿ＣＨ１（１）を減算する。そして、処理回路１０５−３は、平均値ＡＶＥ＿Ｒ［１］からオフセットレベルＣＬＭＰ＿ＣＨ１（１）を減算した値に対して前行のシェーディングレベルであるＣＬＭＰ３［０］を減算した値を算出し、当該減算した値に２^−ｎを乗算した値を算出する。

次に、処理回路１０５−３は、この乗算した値をシェーディングレベルＣＬＭＰ３［０］に加算した値をシェーディングレベルＣＬＭＰ３［１］とする。次に、処理回路１０５−３は、ＯＢ画素Ｒ２１，Ｒ２２の信号値Ｒ２１ｖ，Ｒ２２ｖの平均値ＡＶＥ＿Ｒ［２］から、回路２００−１で算出したオフセットレベルＣＬＭＰ＿ＣＨ３（１）を減算する。次に、処理回路１０５−３は、平均値ＡＶＥ＿Ｒ［２］からオフセットレベルＣＬＭＰ＿ＣＨ３（１）を減算した値に対して前行のシェーディングレベルであるＣＬＭＰ３［１］を減算した値を算出し、当該減算した値に２^−ｎを乗算した値を算出する。そして、この乗算した値をシェーディングレベルＣＬＭＰ３［１］に加算した値（合成した値；合成値）をシェーディングレベルＣＬＭＰ３［２］とする。つまり、処理回路１０５−３は、オフセットレベルＣＬＭＰ＿ＣＨ１（１）とオフセットレベルＣＬＭＰ＿ＣＨ３（１）との
少なくとも２つのチャンネルのオフセットレベルを用いたフィルタ処理により、シェーディングレベルＣＬＭＰ３［２］を算出する。

最後に、処理回路１０４−１１は、有効画素２３について、信号値Ｒ２３ｖから、オフセットレベルＣＬＭＰ＿ＣＨ３（１）とシェーディングレベルＣＬＭＰ３［２］を減算することで、補正後の画素信号の信号値Ｒ２３ｏｕｔを取得する。

このように、オフセットレベルを算出した後に、シェーディングレベルを算出し、これら２つの補正値を用いて補正することによって、チャンネルごとのノイズ成分の除去と行ごとのノイズ成分の除去との両立を実現している。

また、本実施形態では、垂直出力線が画素１列あたり４本の例を示したが、２本以上であれば同様効果を得ることができる。なお、画素１列あたりの垂直出力線の数は同時に読み出せる行の数を示すので、垂直出力線は８本や１２本など、本数が多いほどより効果が高い。

＜実施形態４＞
実施形態３では、算出したオフセットレベルの中に行ごとのクランプ値も一部含んでしまうため、オフセットレベルとシェーディングレベルを完全には分離することができない。

そこで、本実施形態では、オフセットレベルを算出する前に、ＯＢ画素の画素信号の平均値から前行のシェーディングレベルを減算する処理を加えることによって、オフセットレベルとシェーディングレベルを精度よく分離する。

本実施形態では、光電変換装置１０において、図１の信号処理回路１０７−１を信号処理回路１０７−５に、信号処理回路１０７−２を信号処理回路１０７−６に、それぞれ置き換えた装置を説明する。図６Ａは、本実施形態に係る信号処理回路１０７−５の処理を説明する図である。なお、信号処理回路１０７−６の処理は、信号処理回路１０７−５の処理と同様であるため詳細な説明は省略する。信号処理回路１０７−５は、処理回路１０４−１７，１０４−１９，１０４−２１，１０４−２３と、処理回路１０５−５を有する。また、本実施形態では、処理回路１０４−１７，１０４−１９，１０４−２１，１０４−２３は、対応する回路２００−９，２００−１１，２００−１３，２００−１５と、回路３００−１，３００−３，３００−５，３００−７のいずれかを有する。

本実施形態では、ＯＢ画素の画素信号の平均値から前行（過去）の垂直シェ―ディングレベルを減算した値を、ＤＡＴＡ＿Ｒ［１］〜ＤＡＴＡ＿Ｒ［４］，ＤＡＴＡ＿Ｇｒ［１］〜ＤＡＴＡ＿Ｇｒ［４］のいずれで記す。ここで、ＤＡＴＡ＿Ｒ［ｙ］，ＤＡＴＡ＿Ｇｒ［ｙ］において、「ｙ」は色ごとの行番号（垂直座標）を表す。

図６Ｂは、回路３００−１，３００−３，３００−５，３００−７と回路２００−９，２００−１１，２００−１３，２００−１５と処理回路１０５−５のそれぞれにおいて実行される処理を式によって表している。図６Ｂに記載の式について説明する。図６Ｂの回路３００−１，３００−３，３００−５，３００−７と回路２００−９，２００−１１，２００−１３，２００−１５に記載の、上段の式は、画素Ｒ１１〜Ｇｒ１４，Ｒ２１〜Ｇｒ２４から画素信号が読み出された時刻ｔ＝１における処理を表している。下段の式は、画素Ｒ３１〜Ｇｒ３４，Ｒ４１〜Ｇｒ４４から画素信号が読み出された時刻ｔ＝２における処理を表している。図６Ｂの処理回路１０５−３に記載の、上段の４つの式は、画素Ｒ１１〜Ｇｒ１４，Ｒ２１〜Ｇｒ２４から画素信号が読み出された時刻ｔ＝１における処理を表している。下段の４つの式は、画素Ｒ３１〜Ｇｒ３４，Ｒ４１〜Ｇｒ４４から画素信
号が読み出された時刻ｔ＝２における処理を表している。

［信号処理回路の処理］
以下、信号処理回路１０７−５の処理について、画素Ｒ１１〜Ｇｒ１４，Ｒ２１〜Ｇｒ２４の画素信号が信号処理回路１０７−５に入力された場合について、図６Ａ、図６Ｂ、図８を用いて説明する。図８は、信号処理回路の処理を示すフローチャートである。

（Ｓ３００１）
まず、図６Ｂに示すように、回路３００−１，３００−３，３００−５，３００−７は、信号処理回路１０７−５に入力された各チャンネルのＯＢ画素の画素信号の平均値から、前行（過去）のシェーディングレベルを減算した値を出力する。

（Ｓ３００２）
次に、図６Ｂに示すように、回路２００−９，２００−１１，２００−１３，２００−１５は、回路３００−１，３００−３，３００−５，３００−７から出力された値を用いてオフセットレベルを算出して、処理回路１０５−５に出力する。

（Ｓ３００３）
次に、図６Ｂに示すように、処理回路１０５−５は、回路３００−１，３００−３，３００−５，３００−７から出力された値から、回路２００−９，２００−１１，２００−１３，２００−１５から出力されたオフセットレベルを減算する。その後、処理回路１０５−５は、さらに、オフセットレベルを減算した値に対して、前（直前）のシェーディングレベルを減算した値を求め、この減算後の値を減衰させる（小さくする）。そして、回路１０５−５は、減衰させた値を当該前のシェーディングレベルに加算して、当該加算した値を新たなシェーディングレベルとして算出する。

（Ｓ３００４）
処理回路１０４−１７，１０４−１９，１０４−２１，１０４−２３は、処理回路１０５−５が算出したシェーディングレベルと、回路２００−９，２００−１１，２００−１３，２００−１５が算出したオフセットレベルを用いて、対象の画素信号を補正する。

具体的に、シェーディングレベルＣＬＭＰ３［２］を算出し、有効画素Ｒ２３を補正する例を、説明する。

回路３００−１は、ＯＢ画素Ｒ１１，Ｒ１２の信号値Ｒ１１ｖ，Ｒ１２ｖの平均値ＡＶＥ＿Ｒ［１］から、前行のシェ―ディングレベルであるＣＬＭＰ３［０］を減算し、ＤＡＴＡ＿Ｒ［１］を算出する。同様に、回路３００−３は、ＯＢ画素Ｒ２１，Ｒ２２の信号値Ｒ２１ｖ，Ｒ２２ｖの平均値ＡＶＥ＿Ｒ［２］から、前行のシェ―ディングレベルであるＣＬＭＰ３［１］を減算しＤＡＴＡ＿Ｒ［２］を算出する。

次に、回路２００−９は、回路３００−１で算出したＤＡＴＡ＿Ｒ［１］から、直前のオフセットレベルであるＣＬＭＰ＿ＣＨ１（０）を減算した値を算出し、当該減算した値に２^−ｎを乗算した値を算出する。そして、この乗算した値をＣＬＭＰ＿ＣＨ１（０）に加算した値をＣＬＭＰ＿ＣＨ１（１）とする。同様に、回路２００−１１は、回路３００−３で算出したＤＡＴＡ＿Ｒ［２］から、直前のオフセットレベルであるＣＬＭＰ＿ＣＨ３（０）を減算した値を算出し、当該減算した値に２^−ｎを乗算した値を算出する。そして、この乗算した値をＣＬＭＰ＿ＣＨ３（０）に加算した値をＣＬＭＰ＿ＣＨ３（１）とする。

次に、処理回路１０５−５は、回路３００−１が算出したＤＡＴＡ＿Ｒ［１］から、回
路２００−９で算出したオフセットレベルＣＬＭＰ＿ＣＨ１（１）と、前行のシェーディングレベルであるＣＬＭＰ３［０］を減算した値を算出する。その後、処理回路１０５−５は、当該減算した値に２^−ｎを乗算した値を算出する。そして、この乗算した値をＣＬＭＰ３［０］に加算した値をＣＬＭＰ３［１］とする。さらに、処理回路１０５−５は、回路３００−３が算出したＤＡＴＡ＿Ｒ［２］から、回路２００−１１で算出したオフセットレベルＣＬＭＰ＿ＣＨ３（１）と、前行のシェーディングレベルであるＣＬＭＰ３［１］を減算した値を算出する。その後、処理回路１０５−５は、当該減算した値に２^−ｎを乗算した値を算出する。そして、処理回路１０５−５は、この乗算した値をＣＬＭＰ３［１］に加算した値をＣＬＭＰ３［２］とする。

最後に、処理回路１０４−１９は、有効画素Ｒ２３について、信号値Ｒ２３ｖから、オフセットレベルＣＬＭＰ＿ＣＨ３（１）とシェーディングレベルＣＬＭＰ３［２］を減算することで、補正後の画素信号の信号値Ｒ２３ｏｕｔを取得する。

このように、オフセットレベルを算出する前に前行のシェーディングレベルを減算することによって、オフセットレベルとシェーディングレベルを精度よく分離して補正することができる。

また、本実施形態では、垂直出力線が画素１列あたり４本の例を示したが、２本以上であれば同様効果を得ることができる。なお、画素１列あたりの垂直出力線の数は同時に読み出せる行の数を示すので、垂直出力線は８本や１２本など、本数が多いほどより効果が高い。

また、本実施形態では、シェーディングレベルを色ごとに分けて算出する例を示したが、同じ行番号（垂直座標）の画素であれば、色ごとに分けずにシェーディングレベルを算出してもよい。

＜実施形態５＞
図９は、実施形態５に係るカメラシステムの構成例であり、実施形態１で説明した光電変換装置１０をデジタルカメラに組み込んだシステムである。デジタルカメラは、光電変換装置１０、バリア８０１、レンズ８０２、絞り８０３、センサ８０５、信号処理装置８０７、処理部８０８、メモリ部８０９を有する。デジタルカメラは、外部Ｉ／Ｆ回路８１０、タイミング発生部８１１、全体制御部８１２、記録媒体Ｉ／Ｆ部８１３、記録媒体８１４を有する。また、デジタルカメラは、外部コンピュータ８１５と接続される。

光電変換装置１０は、固体撮像素子８０４とＡ／Ｄ変換器８０６とデジタル信号処理装置８２１が同一チップ上に形成されている。ここで、実施形態１に係る列読み出し回路１１０−１，１１０−２がＡ／Ｄ変換器８０６に相当し、実施形態１に係る信号処理回路１０７−１，１０７−２がデジタル信号処理装置８２１に相当する。

バリア８０１は、レンズ８０２のプロテクトとメインスイッチとを兼ねる。レンズ８０２は、被写体の光学像を固体撮像素子８０４に結像する。絞り８０３は、レンズ８０２を通過した光量を調整する。

固体撮像素子８０４は、レンズで結像された被写体を画像信号として取り込む。センサ８０５は、焦点検出装置（ＡＦセンサ）と色温度センサである。Ａ／Ｄ変換器８０６は、固体撮像素子８０４から出力された信号をアナログデジタル変換する。

信号処理装置８０７は、ＡＤ変換されたデジタル信号や焦点検出信号を信号処理する。処理部８０８は、信号処理装置８０７から出力された画像データに対して各種の補正を行
い、データを圧縮する。

メモリ部８０９は、画像データを一時記憶する。外部Ｉ／Ｆ回路８１０は、外部コンピュータ８１５と通信するためのインターフェイス回路である。

タイミング発生部８１１は、処理部８０８等に各種タイミング信号を出力する。全体制御部８１２は、各種演算とカメラ全体を制御する。記録媒体Ｉ／Ｆ部８１３は、記録媒体８１４と通信するためのインターフェイスである。記録媒体８１４は、記録、または読み出しを行うための半導体メモリ等の着脱可能な記録媒体である。

［デジタルカメラの動作］
次に、上記のデジタルカメラの撮影時の動作について説明する。バリア８０１がオープンにされるとメイン電源がオンにされ、コントロール系の電源がオンにされる。さらに、Ａ／Ｄ変換器８０６等の撮像系回路の電源がオンされる。

次いで、センサ８０５（焦点検出装置）から出力された信号に基づき、全体制御部８１２は位相差検出により被写体までの距離を演算する。

その後、全体制御部８１２は、レンズ８０２が駆動されて合焦しているか否かを判定し、合焦していないと判定された場合には、レンズ８０２を駆動してオートフォーカス制御を行う。また、全体制御部８１２は、合焦していると判定した場合には、本露光を始める。

露光が終了すると、固体撮像素子８０４から出力された画像信号は、Ａ／Ｄ変換器８０６によってアナログデジタル変換され、処理部８０８を介して全体制御部８１２によりメモリ部８０９に書き込まれる。

その後、メモリ部８０９に蓄積されたデータは全体制御部８１２の制御により記録媒体Ｉ／Ｆ回路８１０を介して着脱可能な記録媒体８１４に記録される。また、全体制御部８１２は、外部Ｉ／Ｆ回路８１０を介して、外部コンピュータ８１５にデータを出力してもよい。

なお、実施形態２では、光電変換装置１０内に用いられた信号処理回路１０７−１，１０７―２において、チャンネルごとのノイズ成分と、タイミングごとの横縞ノイズの抽出を行っている。一方、本実施形態のようなカメラシステム（デジタルカメラ）を用いた場合には、例えばチャンネルごとのノイズ成分を光電変換装置１０が抽出し、読み出すタイミングごとの横縞ノイズ成分を信号処理装置８０７が抽出することもできる。この場合には、実施形態２に係る処理回路１０５−１に相当する装置を信号処理装置８０７が搭載する。

また、光電変換装置における信号処理回路は、実施形態１に係る信号処理回路１０７−１，１０７―２のように二か所、もしくは、それ以上に配置される場合がある。このため、タイミングごとの横縞ノイズの抽出を行う際に、同時に読み出す全てのＯＢ画素の画素信号の平均値を取得することが難しいことも考えられる。つまり、実施形態１に係る光電変換装置１０の構成では、信号処理回路が２つに分かれているため、８画素分のＯＢ画素の画素信号しか平均値の取得に使えない。

一方、本実施形態に係るカメラシステムを構成すれば、信号処理装置８０７が、タイミングごとの全てのＯＢ画素の画素信号を平均化することによって横縞ノイズの抽出を行うことができる。従って、本実施形態によれば、より多くのＯＢ画素の画素信号の平均値を
取得することができるため、横縞ノイズの除去がより精度高く可能になる。

＜実施形態６＞
本発明の実施形態６による撮像システムについて、図１０を用いて説明する。図１０は、本実施形態による撮像システムの概略構成を示すブロック図である。

上記実施形態１〜実施形態４で述べた光電変換装置１０（光電変換装置）は、種々の撮像システムに適用可能である。適用可能な撮像システムとしては、特に限定されるものではないが、例えば、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星、医療用カメラなどの各種の機器が挙げられる。また、レンズなどの光学系と光電変換装置とを備えるカメラモジュールも、撮像システムに含まれる。図１０にはこれらのうちの一例として、デジタルスチルカメラのブロック図を例示している。

撮像システム５００は、図１０に示す、光電変換装置５０１、撮像光学系５０２、ＣＰＵ５１０、レンズ制御部５１２、撮像装置制御部５１４、画像処理部５１６、絞りシャッタ制御部５１８、表示部５２０、操作スイッチ５２２、記録媒体５２４を備える。

撮像光学系５０２は、被写体の光学像を形成するための光学系であり、レンズ群、絞り５０４等を含む。絞り５０４は、その開口径を調節することで撮影時の光量調節を行なう機能を備えるほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。レンズ群及び絞り５０４は、光軸方向に沿って進退可能に保持されており、これらの連動した動作によって変倍機能（ズーム機能）や焦点調節機能を実現する。撮像光学系５０２は、撮像システムに一体化されていてもよいし、撮像システムへの装着が可能な撮像レンズでもよい。

撮像光学系５０２の像空間には、その撮像面が位置するように光電変換装置５０１が配置されている。光電変換装置５０１は、実施形態１〜実施形態４で説明した光電変換装置１０であり、ＣＭＯＳセンサ（画素部）とその周辺回路（周辺回路領域）とを含んで構成される。光電変換装置５０１は、複数の光電変換部を有する画素が２次元配置され、これらの画素に対してカラーフィルタが配置されることで、２次元単板カラーセンサを構成している。光電変換装置５０１は、撮像光学系５０２により結像された被写体像を光電変換し、画像信号や焦点検出信号として出力する。

レンズ制御部５１２は、撮像光学系５０２のレンズ群の進退駆動を制御して変倍操作や焦点調節を行うためのものであり、その機能を実現するように構成された回路や処理装置により構成されている。絞りシャッタ制御部５１８は、絞り５０４の開口径を変化して（絞り値を可変として）撮影光量を調節するためのものであり、その機能を実現するように構成された回路や処理装置により構成される。

ＣＰＵ５１０は、カメラ本体の種々の制御を司るカメラ内の制御装置であり、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を含む。ＣＰＵ５１０は、ＲＯＭ等に記憶されたコンピュータプログラムに従ってカメラ内の各部の動作を制御し、撮像光学系５０２の焦点状態の検出（焦点検出）を含むＡＦ、撮像、画像処理、記録等の一連の撮影動作を実行する。ＣＰＵ５１０は、信号処理部でもある。

撮像装置制御部５１４は、光電変換装置５０１の動作を制御するとともに、光電変換装置５０１から出力された信号をＡ／Ｄ変換してＣＰＵ５１０に送信するためのものであり、それら機能を実現するように構成された回路や制御装置により構成される。Ａ／Ｄ変換
機能は、光電変換装置５０１が備えていてもかまわない。画像処理部５１６は、Ａ／Ｄ変換された信号に対してγ変換やカラー補間等の画像処理を行って画像信号を生成するためのものであり、その機能を実現するように構成された回路や制御装置により構成される。表示部５２０は、液晶表示装置（ＬＣＤ）等の表示装置であり、カメラの撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態等を表示する。操作スイッチ５２２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。記録媒体５２４は、撮影済み画像等を記録するためのものであり、撮像システムに内蔵されたものでもよいし、メモリカード等の着脱可能なものでもよい。

このようにして、実施形態１〜実施形態４による光電変換装置１０（光電変換装置）を適用した撮像システム５００を構成することにより、高性能の撮像システムを実現することができる。

＜実施形態７＞
本発明の実施形態７による撮像システム及び移動体について、図１１（Ａ）及び図１１（Ｂ）を用いて説明する。図１１（Ａ）及び図１１（Ｂ）は、本実施形態による撮像システム及び移動体の構成を示す図である。

図１１（Ａ）は、車載カメラに関する撮像システム６００の一例を示したものである。撮像システム６００は、光電変換装置６１０を有する。光電変換装置６１０は、上述の実施形態１〜実施形態２に記載の光電変換装置１０（光電変換装置）のいずれかである。撮像システム６００は、光電変換装置６１０により取得された複数の画像データに対し、画像処理を行う処理装置である画像処理部６１２を有する。撮像システム６００は、光電変換装置６１０により取得された複数の画像データから視差（視差画像の位相差）の算出を行う処理装置である視差取得部６１４を有する。また、撮像システム６００は、算出された視差に基づいて対象物までの距離を算出する処理装置である距離取得部６１６と、算出された距離に基づいて衝突可能性があるか否かを判定する処理装置である衝突判定部６１８と、を有する。ここで、視差取得部６１４や距離取得部６１６は、対象物までの距離情報等の情報を取得する情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部６１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。上述した各種の処理装置は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールに基づいて演算を行う汎用のハードウェアによって実現されてもよい。また、処理装置は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等によって実現されてもよい。または処理装置は、これらの組合せによって実現されてもよい。

撮像システム６００は、車両情報取得装置６２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム６００は、衝突判定部６１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ６３０が接続されている。すなわち、制御ＥＣＵ６３０は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム６００は、衝突判定部６１８での判定結果に基づいて、ドライバーへ警報を発する警報装置６４０とも接続されている。例えば、衝突判定部６１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ６３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置６４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム６００で撮像する。図１１（Ｂ）に、車両前方（撮像範囲６５０）を撮像する場合の撮像システム６００を示した。車両情報取得装置６２０は、撮像システム６００を動作させ撮像を実行させるように指示を送る。上述の実施形態１〜実施形態４の光電変換装置１０（光電変換装置）を光電変換装置６１０として用いることにより、本実施形態の撮像システム６００は、測距の精度をより向上させることができる。

以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自動車等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（輸送機器）に適用することができる。移動体（輸送機器）における移動装置はエンジン、モーター、車輪、プロペラなどの各種の移動手段である。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

１０：光電変換装置、ＶＬ１〜ＶＬ４：垂直出力線、１０７：信号処理回路

Claims (12)

1. それぞれが複数行および複数列に渡って配された複数の有効画素および複数の遮光画素と、複数の垂直出力線と、信号処理回路とを備え、
   前記複数の遮光画素のうちの第１の行の遮光画素である第１の遮光画素から前記複数の垂直出力線のうちの第１の垂直出力線に画素信号が出力されている期間に、前記複数の遮光画素のうちの第２の行の遮光画素である第２の遮光画素から前記複数の垂直出力線のうちの第２の垂直出力線に画素信号が出力され、
   前記信号処理回路は、前記第１の遮光画素の前記画素信号と前記第２の遮光画素の前記画素信号とをフィルタ処理して得られる補正信号を用いて、前記有効画素から出力される有効画素信号を補正することを特徴とする光電変換装置。
2. 前記信号処理回路は、
   前記第１の遮光画素の前記画素信号を含む前記第１の行の複数の遮光画素の画素信号に基づき得られる第１の補正信号と、前記第２の遮光画素の前記画素信号を含む前記第２の行の複数の遮光画素の画素信号に基づき得られる第２の補正信号を算出し、
   前記第１の補正信号と前記第２の補正信号とをフィルタ処理して得られる補正信号を用いて、前記有効画素から出力される有効画素信号を補正する、
   ことを特徴とする請求項１に記載の光電変換装置。
3. 前記信号処理回路は、前記第１の遮光画素の前記画素信号と前記第２の遮光画素の前記画素信号とをフィルタ処理して得られる補正信号を、前記有効画素信号から減算することによって前記有効画素信号を補正する、
   ことを特徴とする請求項１または２に記載の光電変換装置。
4. 前記信号処理回路は、さらに、前記第１の垂直出力線に出力された複数の遮光画素の画素信号をフィルタ処理して得られる補正信号を用いて、前記第１の垂直出力線に出力された前記有効画素信号を補正する、
   ことを特徴とする請求項１から３のいずれか１項に記載の光電変換装置。
5. 前記第１の垂直出力線に出力された複数の画素信号のそれぞれは、さらに複数のチャンネルに分割されて前記信号処理回路に出力され、
   前記信号処理回路は、１つのチャンネルの複数の遮光画素の画素信号をフィルタ処理して得られる補正信号を用いて、当該チャンネルの前記有効画素信号を補正する、
   ことを特徴とする請求項４に記載の光電変換装置。
6. 前記信号処理回路は、１つのチャンネルの複数の遮光画素の画素信号をフィルタ処理して得られる補正信号と、過去に当該１つのチャンネルの複数の遮光画素の画素信号をフィルタ処理して得られた補正信号とを重みづけして得られる第１の合成値を用いて、当該チャンネルの前記有効画素信号を補正する、
   ことを特徴とする請求項５に記載の光電変換装置。
7. 前記信号処理回路は、１つのチャンネルの複数の遮光画素の画素信号をフィルタ処理して得られる補正信号から、前記第１の合成値を減算して得られる第３の補正信号と、過去に算出された前記第３の補正信号とを重み付して得られる第２の合成値を用いて、当該チャンネルの前記有効画素信号を補正する、
   ことを特徴とする請求項６に記載の光電変換装置。
8. 前記信号処理回路は、前記第１の合成値を算出する前に、１つのチャンネルの複数の遮光画素の画素信号をフィルタ処理して得られる補正信号から、過去に算出された前記第２
   の合成値を減算する、
   ことを特徴とする請求項７に記載の光電変換装置。
9. 画素信号を保存するメモリを含む、列読み出し回路をさらに有し、
   前記列読み出し回路は、前記第１の垂直出力線から前記第１の行の画素の画素信号を読み出している期間に、前記第２の垂直出力線から前記第２の行の画素の画素信号を読み出し、前記第１の行の画素の画素信号を前記メモリに保存する期間に、前記第２の行の画素の画素信号を前記メモリに保存する、
   ことを特徴とする請求項１から８のいずれか１項に記載の光電変換装置。
10. 前記列読み出し回路は、前記第１の行および前記第２の行の画素の画素信号に対して、信号増幅またはＡＤ変換処理を行った後に、信号増幅またはＡＤ変換処理が行われた当該画素信号を前記メモリに保存する、
    ことを特徴とする請求項９に記載の光電変換装置。
11. 請求項１から１０のいずれか１項に記載の光電変換装置と、
    前記光電変換装置から出力される信号を処理する処理装置と、
    を有することを特徴とする撮像システム。
12. 移動体であって、
    請求項１から１０のいずれか１項に記載の光電変換装置と、
    移動装置と、
    前記光電変換装置から出力される信号から情報を取得する処理装置と、
    前記情報に基づいて前記移動装置を制御する制御装置と、
    を有することを特徴とする移動体。

Images