JP2020182057A - 撮像装置、撮像方法、コンピュータプログラム及び記憶媒体 - Google Patents

Abstract

【課題】ゲインを変更して画素信号を読み出す場合に、フレームレートを低下させることなく、各ゲインの画素信号の黒レベルを合わせられる撮像装置を提供する。【解決手段】撮像素子１０２は、ノイズ信号と光電変換により得られた画素信号の読み出しが可能な画素を複数配列した画素部２０３と、画素部の各画素２０９からノイズ信号を読み出し、第１のゲインで増幅して第１のノイズ信号を生成するとともに、第１のゲインで増幅した第１の画素信号と第２のゲインで増幅した第２の画素信号を生成する読み出し手段２０２と、画素部の所定の一部の行の画素から読み出したノイズ信号を第２のゲインで増幅して第２のノイズ信号を生成して記憶する第１の記憶手段２１０と、各画素から順次信号を読み出しつつ、第１の画素信号から第１のノイズ信号の減算を行うとともに、第２の画素信号から第１の記憶手段に記憶した第２のノイズ信号を減算する減算手段２０７を有する。【選択図】図２

Description

本発明は、デジタルカメラ等に適した撮像装置等に関する。

撮像装置内の撮像素子には多数の画素部が配列され、光電変換された画像信号を出力するだけでなく、例えばダイナミックレンジを拡大することが可能なものがある。
特許文献１には、単位画素の出力信号に対して列回路内にある増幅部のゲインを切り替え、画像信号のダイナミックレンジを向上することが可能な撮像素子が記載されている。そして特許文献１の図１３には、アンプの入力容量を２つ持ち、２種類のゲインの切り替えるようにした撮像素子が記載されている。

特開２００５−１７５５１７号公報

一般的に撮像素子では、単位画素毎にまずノイズ成分の信号を読み出し、その後にノイズ信号を含んだ画素信号を読み出し、撮像素子内で減算することでノイズ抑制を行う、いわゆる相関二重サンプリングによる読み出し方法がよく用いられている。特に内部の増幅回路のゲインが大きいときは、相関二重サンプリングの効果が大きくなる。

しかしながら、特許文献１のような構成で相関二重サンプリングによる読み出しを行おうとすると、ゲインを変えて２回ずつノイズ信号と画素信号を読み出す必要がある。従って、１画素の読み出しレートが落ちてしまい、結果的にフレームレートの低下を招く。
また、ノイズ信号をどちらか一方のゲインで読み出し、画素信号のみゲインを変えて２回読み出すような駆動を行うと、対応するゲインのノイズ信号が存在しない画素信号が出てきてしまうことになる。

ノイズ信号が存在せず、画素信号のみ出力される場合、画素信号の黒レベル（すなわちノイズ信号と近似される）がわからず、映像のペデスタルレベルを決定することができないという問題がある。
本発明は上記のような、ゲインを変更して画素信号を読み出す場合に、フレームレートを低下させることなく、各ゲインの画素信号の黒レベルを合わせることができる撮像装置を提供することを目的とする。

上述の目的を達成するため、本発明の撮像装置は、
ノイズ信号の読み出しと、光電変換により得られた画素信号の読み出しが可能な画素を複数配列した画素部と、
前記画素部の各画素からノイズ信号を読み出し、第１のゲインで増幅して第１のノイズ信号を生成するとともに、各画素から画素信号を読み出し、第１のゲインで増幅した第１の画素信号と第２のゲインで増幅した第２の画素信号を生成する読み出し手段と、
前記画素部の所定の一部の行の画素から読み出したノイズ信号を第２のゲインで増幅して第２のノイズ信号を生成して記憶する第１の記憶手段と、
前記画素部の各画素から順次信号を読み出しつつ、前記第１の画素信号から前記第１のノイズ信号の減算を行うとともに、前記第２の画素信号から前記第１の記憶手段に記憶した前記第２のノイズ信号を減算する減算手段と、
を有することを特徴とする。

本発明によれば、ゲインを変更して画素信号を読み出す場合に、フレームレートを低下させることなく、各ゲインの画素信号の黒レベルを合わせることができる撮像装置を得ることができる。

本発明に係る実施例１の撮像装置のブロック図である。 実施例１における、撮像素子の内部のブロック図である。 実施例１における、撮像素子の列アンプ部の構成を示す図である。 実施例１における、列アンプ部回路の動作タイミングチャートである。 実施例２における撮像装置の一部のブロック図である。 実施例における、撮像素子の画素部の構造の一例を示す図である。 実施例３における撮像素子の一部のブロック図である。 実施例３における、撮像素子の列アンプ部の構成を示す図である。 実施例３における、列アンプ部回路の動作タイミングチャートである。 実施例３における撮像装置のフローチャートである。 実施例４における、撮像素子の内部のブロック図である。 実施例４における撮像素子の一部のブロック図である。 実施例４における撮像装置のフローチャートである。

以下、実施例に基づき図面を参照しながら本発明を実施するための形態について説明する。

以下、図を参照しつつ、本発明の実施形態に係る撮像装置の実施例を説明する。
なお、実施例においては、撮像装置としてデジタルスチルカメラに適用した例について説明する。しかし、撮像装置はデジタルムービーカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータなど、撮像機能を有する電子機器であれば良く、それらを含む。
図１は、実施例１に係る撮像装置における一般的なブロック図であり、図１の各ブロックについて詳細を下記に説明する。

光学レンズ１０１は、被写体の光を取り込み、撮像素子１０２に光を結像する。撮像素子１０２は光学レンズ１０１から入射光を受け、それを電気信号へ変換して出力する。代表的なものとして、ＣＣＤイメージセンサー（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーなどが挙げられる。
画像取得部１０３は、撮像素子１０２から出力された画像信号をキャプチャし、各処理を行うブロックから構成される。撮像素子１０２内部でＡＤ変換を行わない場合は、アナログデジタル変換を行うアナログフロントエンドも含まれる。画像取得部１０３では、撮像素子１０２の固定パターンノイズの除去や、黒レベルクランプ処理などを行なう。そして、画像信号記録に使用する画像を生成するとともに、撮像素子制御のための評価用信号を生成する機能も有する。

画像合成部１０４は、撮像素子から出力された信号から、任意の合成方法を用いてＨＤＲ画像を合成するための回路を備える。例えば、通常輝度部分の高ゲイン画像と明るく白飛びしている部分の低ゲイン画像を用いて合成を行う手法があるが、本実施例は２枚のゲインが異なる画像から合成を行う手法であれば、その合成アルゴリズムに限定されるものではない。
信号処理部１０５は、撮像装置の代表的な画像処理機能である、画素加算機能やノイズリダクション、ガンマ補正、ニー補正、デジタルゲイン補正などをはじめ、キズ補正など各種画像処理を行なう。画像取得部１０３や信号処理部１０５には、それぞれの補正や画像処理に必要となる設定値を記憶しておくための不図示の記憶回路も含まれる。

信号記録部１０６は、信号処理部１０５から受けた画像信号を記憶装置もしくは記憶媒体へ記録する。
制御部１０７は、画像取得部１０３から受けた画像信号から最適露光量を算出したり、口述するような位相差情報を出力できる撮像素子を用いた場合には、その出力から位相差を計算したりするための制御を行う。また撮像素子制御部１０８の動作を制御する機能を有する。更に、撮像装置内のその他の各回路の動作を制御することができる。なお、制御部１０７にはコンピュータとしてのＣＰＵが内蔵されており、不図示のメモリに記憶されたコンピュータプログラムに基づき装置全体の各種動作を制御する制御手段として機能する。

次に、本実施例における撮像素子１０２の構成の一例のブロック図を図２に示す。
タイミング・パルス制御部２０１は撮像素子１０２の各ブロックに対する動作ＣＬＫ（クロック）を供給したり、各ブロックにタイミング信号を供給したりして、撮像素子１０２の動作を制御するものである。

画素部２０３には、複数の画素が２次元状に配置されている。ここで本実施例では、画素部２０３内の各画素２０９は、マイクロレンズ及びカラーフィルタを介した光を受光する１つの光電変換部であるフォトダイオードを有するものとする。また、画素部２０３の２次元状に複数配列された画素２０９に対して例えばベイヤー配列でＲＧＢフィルタが配置されている。
なお、各画素は、異なる入射瞳からの光を受光する２つの光電変換部を備えるように構成されていてもよい。そして各画素から前記２つの光電変換部からの出力信号を別々に読み出して位相差情報を生成するモードと、上記２つの光電変換部で生成された信号を加算して読み出すモードを選択することができるようにしても良い。

垂直走査回路２０２は画素部２０３を駆動制御し、１フレーム中に複数の画素の各々により生成された画素信号を順次読み出す。一般的に、１フレーム中に画素部２０３内の上部の行から下部の行にかけて、行単位で順次画素信号が読み出される。
列アンプ２０４は、画素部２０３から各垂直出力線に出力された信号をそれぞれの列ごとに電気的に増幅するためのものであり、後述のようにオペアンプを含む。また増幅手段として機能する。前段に設けられた列アンプ２０４で画素部２０３の出力信号を増幅することにより、画素信号のＳＮを改善することができる。また、列アンプ２０５は、タイミング・パルス制御部２０１からの制御信号により、ゲインを変更できる構造となっている。

本実施例の撮像素子は、ＨＤＲ画像生成用として、列アンプゲインを変更して２種類のゲインで増幅した画素信号を出力することが可能である。各画素のフォトダイオードから読み出されたある時刻の信号に対して２つのゲインを選択的に切り替えて出力できるため、データ量は増えるものの、同時性を持った２つのゲインの異なる画像を得ることができる。
列ＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２０５は、列アンプ２０４により増幅された画素信号をアナログデジタル変換する。列ＡＤＣ２０５は、後述するように、ゲインの異なる画素信号である第１の画素信号、第２の画素信号と、ゲインの異なるノイズ信号である第１のノイズ信号、第２のノイズ信号をそれぞれＡＤ変換するＡＤ変換手段として機能している。

ＲＡＭ２１０は、後述するように所定の遮光された行のノイズ信号を第２のゲインＧａｉｎ２で増幅した第２のノイズ信号Ｇａｉｎ２（Ｎ）を記憶する第１の記憶手段として機能している。第２のゲインＧａｉｎ２で増幅した第２の画素信号Ｇａｉｎ２（Ｓ）が信号処理回路２０７に入ってきたときに、その列に対応した第２のノイズ信号Ｇａｉｎ２（Ｎ）が減算される。
なお、列ＡＤＣ２０５でデジタル化された信号はＲＡＭ２１０を介して水平転送回路２０６により順次読み出され、信号処理回路２０７に入力される。

信号処理回路２０７はデジタル的に信号処理を行う回路であり、デジタル処理により画素信号からノイズ信号を減算する減算手段として機能している。更に、一定量のオフセット値を加えたり、シフト演算や乗算を行うことで、簡易にゲイン演算を行うこともできる。また、画素部２０３に、意図的に遮光した画素領域を持たせることで、これを利用してデジタルの黒レベルクランプ動作を行っても良い。

信号処理回路２０７で処理された信号は、外部出力回路２０８に出力される。外部出力回路２０８はシリアライザー機能を有し、信号処理回路２０７からの多ビットの入力パラレル信号をシリアル信号に変換する。また、このシリアル信号を、例えばＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）信号等のデジタルデータに変換し、外部に出力する。
なお、撮像素子１０２は多層構造になっていてもよい。その場合、画素部２０３以外の回路（例えば減算手段としての信号処理回路２０７や記憶手段としてのＲＡＭ２１０など）は別の層に配置されるとともに、光を受光するように画素部２０３が一番上に配置される。

また、撮像素子１０２を複数の半導体チップで構成し、複数の半導体チップ同士を互いに積層させた積層構造で構成してもよい。その場合、画素部２０３以外の一部の回路（例えば減算手段としての信号処理回路２０７や記憶手段としてのＲＡＭ２１０など）を画素部２０３が設けられている半導体チップとは異なる半導体チップに設けてもよい。その場合、画素部２０３が設けられている半導体チップが一番上に配置され、光を受光するように構成される。
また、本実施例では撮像素子１０２内に上記のような回路がすべて内蔵されているが、一部の回路（例えば減算手段としての信号処理回路２０７や記憶手段としてのＲＡＭ２１０など）を撮像素子外部に設けてもよい。これについては図５を用いて後述する。

次に、ＨＤＲ画像生成時の撮像素子１０２と画像合成部１０４の動作について記述する。
前述したように、本実施例の撮像素子１０２は、ＨＤＲ画像を生成するために、列アンプゲインを変更して出力することができるように構成されている。
図３は、列アンプ２０４の中のある列に対応した列アンプ２０４の回路構成を示す。
入力容量Ｃ３０１は、スイッチＳＷ３０１がＯＮのときに画素部２０３から出力された信号を保持し、スイッチＳＷ３０２がＯＮのときに保持した信号をオペアンプ３０１に出力する。

オペアンプＯＰ３０１には、入力容量Ｃ３０１と帰還容量Ｃ３０２、Ｃ３０３が接続されスイッチＳＷ３０３をＯＮ／ＯＦＦすることによって帰還容量Ｃ３０２の接続を制御することができる。また、帰還容量をリセットするためにスイッチＳＷ３０４が設けられている。オペアンプの増幅率（ゲイン）は入力容量／帰還容量の組み合わせで決まる。入力容量に対して帰還容量を切り替えることができるため、帰還容量との組み合わせで異なったゲインをかけた画像信号を列ＡＤＣ２０５へ出力することができる。

続いて図４（Ａ）のタイミングチャートを用いて、異なったゲインの２枚の画像データを読み出す動作について説明する。
図４（Ａ）のタイミングチャートは、水平同期信号ＨＤで規定される１水平期間で行われる撮像素子の画素部２０３におけるある行からの信号読み出しを示している。
まず、時刻ｔ１〜時刻ｔ２でスイッチＳＷ３０１〜ＳＷ３０４を同時にＯＮし、残留電荷を排出するリセット動作を行う。次に時刻ｔ３でスイッチＳＷ３０１およびスイッチＳＷ３０２をＯＮ、スイッチＳＷ３０３およびスイッチＳＷ３０４をＯＦＦし、垂直出力線のノイズ成分を読み出して第１のゲインＧａｉｎ１で増幅する。第１のゲインＧａｉｎ１は、以下の式（１）であらわされる。

Ｇａｉｎ１＝Ｃ３０１／Ｃ３０３… （１）

これにより、列ＡＤＣ２０５には、ノイズ成分を第１のゲインＧａｉｎ１で増幅した、第１のノイズ信号Ｇａｉｎ１（Ｎ）が出力される。
次に時刻ｔ４で画素部からの画素信号（光電変換信号）を読み出す。このとき、スイッチＳＷ３０１とスイッチＳＷ３０２をＯＮし、スイッチＳＷ３０３とスイッチＳＷ３０４はＯＦＦのままとすることによって、第１のゲインＧａｉｎ１で画素信号を増幅する。列ＡＤＣ２０５には、画素信号成分を第１のゲインＧａｉｎ１で増幅した第１の画素信号Ｇａｉｎ１（Ｓ）が出力される。次に時刻ｔ５でスイッチＳＷ３０１，３０２をＯＦＦすることで信号レベルの変動を抑制し、列ＡＤＣ２０５でのアナログデジタル変換に影響を与えないようにしている。

このとき、画素信号にはノイズ成分も含まれている。なお、上述のように各画素からはノイズ信号の読み出しと、光電変換により得られた画素信号の読み出しが可能となっている。
次に時刻ｔ６〜時刻ｔ７でスイッチＳＷ３０４をＯＮして帰還容量をリセットし、時刻ｔ６〜時刻ｔ８でスイッチＳＷ３０３をＯＮすることによって、入力容量Ｃ３０１の画素信号を第２のゲインＧａｉｎ２で増幅する。このとき、第２のゲインＧａｉｎ２は、以下の式（２）であらわされる。
Ｇａｉｎ２＝Ｃ３０１／（Ｃ３０２＋Ｃ３０３）… （２）
列ＡＤＣ２０５には、Ｇａｉｎ２で増幅された第２の画素信号Ｇａｉｎ２（Ｓ）が出力される。なお、このとき撮像素子制御部１０８は読み出し手段として機能している。

ここで、このような読み出し方式では、第２のゲインＧａｉｎ２に対応するノイズ成分を読み出すことができない。そのため、本実施例では更に、所定の遮光された行で第２のゲインに対応するノイズ成分を読み出すように動作させている。そのタイミングチャートを図４（Ｂ）に示す。
図４（Ｂ）では、時刻ｔ１〜時刻ｔ２でスイッチＳＷ３０１〜スイッチＳＷ３０４をＯＮし、リセット動作を行った後、時刻ｔ９〜時刻ｔ１０の間、スイッチＳＷ３０１とスイッチＳＷ３０２をＯＮし、時刻ｔ９〜時刻ｔ１１の間、スイッチＳＷ３０３をＯＮにする。これによって、第２のゲインＧａｉｎ２で増幅した第２のノイズ信号Ｇａｉｎ２（Ｎ）を読み出している。この行では第２のノイズ信号Ｇａｉｎ２（Ｎ）を読み出せばよいので、画素信号の読み出しは必要ではないが読み出しても構わない。

図４（Ｂ）に示すような動作を所定の遮光された行に対して行うことによって第２のノイズ信号Ｇａｉｎ２（Ｎ）信号を読み出す。それによって、以下の式（３）で表されるように第２の画素信号Ｇａｉｎ２（Ｓ）から第２のノイズ信号Ｇａｉｎ２（Ｎ）を減算できる。
Ｇａｉｎ２（Ｓ）−Ｇａｉｎ２（Ｎ）… （３）
即ち、式（３）を後段の信号処理回路２０７で計算し、第２の画素信号Ｇａｉｎ２（Ｓ）についてもノイズを除去した信号を得ることができる。

なお、本実施例では、図２のように、撮像素子内に全列分のＲＡＭ２１０（第１の記憶手段）を持ち、所定の遮光された行から読み出した第２のノイズ信号Ｇａｉｎ２（Ｎ）を記憶する。そして、全画素の第２の画素信号Ｇａｉｎ２（Ｓ）から信号処理回路２０７において減算を行う。
ただし、本実施例では、全部の行の画素について第２のノイズ信号Ｇａｉｎ２（Ｎ）を取得しているわけではない。従って、各行の画素のＳ／Ｎの向上の効果は限定的であるが、画像の黒レベルが定められ、ペデスタルレベルを確定させることができ、後段のＨＤＲ合成などが可能となる。

このように実施例では各画素からノイズ信号を読み出し第１のゲインで増幅して第１のノイズ信号を生成する動作と、各画素から画素信号を読み出し、第１のゲインで増幅した第１の画素信号と第２のゲインで増幅した第２の画素信号を生成する動作を順次行う。しかも上記の一連の動作を１水平期間内に順次行っている。なお、ここで第１のゲイン＞第２のゲインという関係になっている。
また、画素部の各画素から順次信号を読み出しつつ、減算手段としての信号処理回路２０７によって、第１の画素信号から第１のノイズ信号の減算を行うとともに、前記第２の画素信号から前記第１の記憶手段に記憶した前記第２のノイズ信号を減算している。

また、第２のゲインに対応したノイズ信号を所定の遮光された行から得ているので、第２のゲインの画素信号の黒レベルを確定させ、後段の合成回路などでの合成処理を安定的に実現することができる。
なお、本実施例の回路構成は一例であって、同一の画素信号を２種類のゲインをかけて出力する構成であれば、本実施例に図示した構成に限定されるものではない。また、記憶装置ＲＡＭの構成や配置などは適宜設計変更することが可能である。

実施例１では第２のノイズ信号Ｇａｉｎ２（Ｎ）を、撮像素子内にＲＡＭ２１０を設け、そこに記憶することで
Ｇａｉｎ２（Ｓ）−Ｇａｉｎ２（Ｎ）の計算を撮像素子内の信号処理回路２０７で行った。
実施例２では、撮像素子から第２のノイズ信号Ｇａｉｎ２（Ｎ）を出力し、撮像素子の外部で処理する例について述べる。
図５は、実施例２において、図１と異なる部分を抜き出したブロック図であり、図５では、図１の画像取得部１０３に対して、ラインメモリ１０９および減算部１１０を加えた点が異なる。即ち、図２におけるＲＡＭ２１０の代わりにラインメモリ１０９を用い、図２における信号処理回路２０７の代わりに減算部１１０を用いている。

また図６は、撮像素子１０２の画素部２０３を正面から見た際の画素構成の一例を表す図である。
本実施例では、垂直同期信号であるＶＤに同期して画像の読み出しが始まる。画像の読み出しの最初の行に図４（Ｂ）の読み出しを行うためのＧａｉｎ２（Ｎ）読み出し部２０３１を設けており、読み出した各列の第２のノイズ信号Ｇａｉｎ２（Ｎ）を図５にあるラインメモリ１０９に記憶する。Ｇａｉｎ２（Ｎ）読み出し部２０３１の下側には、垂直オプティカルブラック信号を読み出すための遮光された垂直オプティカルブラック部２０３２が設けられる。

さらに垂直オプティカルブラック部２０３２の下側には、光を受光可能な有効画素部２０３４と水平オプティカルブラック信号を読み出すための遮光された水平オプティカルブラック部２０３３が設けられる。なお、水平オプティカルブラック部２０３３は有効画素部２０３４の水平方向の端部に設けられている。
なお、Ｇａｉｎ２（Ｎ）読み出し部２０３１は有効画素部２０３４に対して垂直方向の端部の垂直オプティカルブラック部２０３２の隣に設けられているが、遮光されている行であれば良い。また、垂直オプティカルブラック部２０３２の一部の行をＧａｉｎ２（Ｎ）読み出し部２０３１として用いても良い。

ラインメモリ１０９に記憶された第２のノイズ信号Ｇａｉｎ２（Ｎ）信号は、垂直オプティカルブラック部２０３２以降の行で、図４（Ａ）で読み出した第２の画素信号Ｇａｉｎ２（Ｓ）信号から、減算部１１０において減算される。
なお、第２のノイズ信号Ｇａｉｎ２（Ｎ）信号を取得する際に、複数フレームの画像から得られた第２のノイズ信号Ｇａｉｎ２（Ｎ）信号を所定の時定数を用いて平均化してからラインメモリ１０９に記憶してもよい。そして、平均化された第２のノイズ信号Ｇａｉｎ２（Ｎ）を減算しても良い。
あるいは、画素部２０３内のＧａｉｎ２（Ｎ）読み出し部２０３１の行数を複数行とし、その複数行から得られた第２のノイズ信号Ｇａｉｎ２（Ｎ）を平均化してからラインメモリ１０９に記憶しても良い。そして、平均化された第２のノイズ信号Ｇａｉｎ２（Ｎ）を減算しても良い。

なお、第１のゲインについては、ノイズ成分および画素信号成分を水平期間内でともに読み出しているため、撮像素子外部で演算は行わず、撮像素子内部で演算する。
また、各列で黒レベルに差が小さい場合、所定の遮光された行から読み出した第２のノイズ信号Ｇａｉｎ２（Ｎ）信号を全水平画素分平均し、その値を第２のノイズ信号Ｇａｉｎ２（Ｓ）信号の黒レベルとしても良い。

このように、撮像素子の外部のラインメモリに第２のノイズ信号Ｇａｉｎ２（Ｎ）を記憶させて減算することによって、第２の画素信号Ｇａｉｎ２（Ｓ）の黒レベルを確定させ、後段の合成回路などでの処理をしやすくすることができる。
なお、本実施例においては、垂直オプティカルブラック部２０３２の隣のＧａｉｎ２（Ｎ）読み出し部２０３１からの信号を用いて第２のノイズ信号を得ている。しかし、垂直オプティカルブラック部２０３２の一部の行から第２のノイズ信号を得ても良い。

次に、実施例３について図７を用いて説明する。図７は撮像素子の各画素とそれに連なる列アンプ等の構成を示した図である。なお、本実施例においては、図２のＲＡＭ２１０の機能を列ＡＤＣ２０５内部に設けている。
次に、画素２０９と水平転送回路２０６までの信号処理の流れについて図７を用いて説明する。画素２０９の中には光電変換素子７０１が設けられており、不図示のマイクロレンズを介して入射した光を光電変換して電荷に変換する。転送スイッチ７０２は光電変換素子７０１で発生した電荷を後段の回路に転送する。電荷保持部７０３は、光電変換素子７０１で発生した電荷を一時的に保持する。画素アンプ７０４は電荷保持部７０３の信号を垂直出力線７０５を通して、後段の列アンプ２０４へ送る。

電流制御部７０６は垂直出力線７０５の電流を制御する。列ＡＤＣ２０５内のメモリ７０８、メモリ７０９、メモリ７１０はＡ／Ｄ変換部７０７で変換されたデジタル信号を一時的に保持するメモリである。
メモリ７０８は光電変換素子７０１から読み出された画素信号を記憶するための第２の記憶手段としてのメモリである。このメモリには画素信号とともに読み出し回路部（電荷保持部７０３からＡ／Ｄ変換部７０７までの回路）のノイズ信号が重畳されてＳ＋Ｎ信号として記憶される。

メモリ７０９は読み出し回路部の第１のゲインのノイズ信号を記憶する第３の記憶手段としてのメモリである。メモリ７１０は遮光された所定の行の読み出し回路部からの第２のゲインのノイズ信号を記憶するための第１の記憶手段としてのメモリである。
なお、遮光された所定の行の画素信号を読み出すと、遮光されているので実質的に読み出し回路部のノイズ信号が読み出されることになる。メモリ７０８からメモリ７０９、もしくはメモリ７１０に保持されたデータを減算手段としての減算器７１１で減算したものが、画素信号として水平転送回路２０６へ出力される。

次に、図８は、実施例３における、列アンプ２０４の構成例を示した図である。図８を用いて実施例３における、ダイナミックレンジ拡大用の画素信号を読み出す方法を説明する。本実施例では、低輝度部分の画像信号を高いゲインで読み出し、高輝度部分の画像信号を低いゲインで読み出し、後段の信号処理で合成することでダイナミックレンジを拡大することを想定している。
列アンプ２０４は、オペアンプＡＭＰ３０１と、入力容量Ｃ３０１とフィードバックコンデンサ（帰還容量）Ｃ３０２及びＣ３０３により反転増幅回路になっている。

また、スイッチＳＷ３０３、スイッチＳＷ３０５により接続を切り替えることができる構成になっている。まず、適露光の画像信号である高ゲインの画素信号を読み出す場合は、スイッチＳＷ３０３をＯＦＦし、スイッチＳＷ３０５をＯＮすることで高ゲインの画素信号を読み出すことができる。次に、高輝度部分の画像信号である低ゲインの画素信号を読み出す場合は、スイッチＳＷ３０３とスイッチＳＷ３０５の両方をＯＮすることで低ゲインの画素信号を読み出す。このように、各スイッチによりコンデンサの容量を切り替えることで異なるゲインで画素信号を読出すことが可能になる。

図９は本実施例３における画素信号読み出し駆動タイミングを示した図である。この図を用いて画素信号の大まかな読み出し方を説明する。
まず、スイッチＳＷ３０３をＯＦＦ、スイッチＳＷ３０５をＯＮし、列アンプ２０４の増幅率を高ゲイン側に設定しておく（時刻ｔ２１）。この状態で光電変換素子の転送スイッチ７０２をＯＮする前に画素のノイズ成分（Ｎ信号）を読み出して高ゲインで増幅し、ＡＤ変換を行う（時刻ｔ２２）。時刻ｔ２３で光電変換素子の転送スイッチ７０２をＯＮし画素信号（Ｓ信号）を読み出して高ゲインで増幅する。その後、読み出した高ゲイン画素信号をＡＤ変換し高ゲインＳ信号として出力する（時刻ｔ２４）。次に時刻ｔ２５でＳＷ３０３をＯＮし、列アンプ２０４の増幅率を低ゲイン側に設定する。

その後、設定された低ゲインの増幅率で増幅した低ゲイン画素信号をＡＤ変換し低ゲインＳ信号として出力する（時刻ｔ２６）。
このように、画像信号を読み出す際に列アンプゲインの増幅率を変えることで画像信号の同時性を保ったままダイナミックレンジ拡大合成用の画像信号を得ることができる。しかしながら、上記の読み出し駆動では低ゲイン用のＮ信号が無いため、低ゲインの画像信号のＳ−Ｎ処理ができない。低ゲイン用のＮ信号を取得するために、例えば時刻ｔ２２の後に列アンプ２０４の増幅率を変えて低ゲイン用のＮ信号を出力すると、Ｎ信号を出力してからＳ信号を出力するまでの時間でノイズ成分が変わってしまい、正しくＳ−Ｎ処理ができなくなってしまう。

そこで実施例３においては、図１０のフローチャートに示すような制御を行う。
図１０は本実施例３の制御におけるＳ信号を読み出したときの処理に関するフローチャートである。
まず、ステップＳ５０１で、読み出された信号が予め設定された遮光画素部（例えば図６の２０３１）の低ゲインのＳ信号であるか否かを判断する。遮光画素領域の低ゲインのＳ信号である場合はステップＳ５０５に進む。ステップＳ５０５では読み出した信号をメモリ７１０に保持する処理をおこなう。ステップＳ５０１で遮光画素領域の低ゲインのＳ信号ではないと判断された場合、ステップＳ５０２に進む。ステップＳ５０２では読み出された信号が有効画素部２０３４の低ゲインのＳ信号であるか否かを判断する。

低ゲインのＳ信号でない場合、つまり高ゲインのＳ信号である場合はステップＳ５０３に進み、Ｓ信号をメモリ７０８に保持し、メモリ７０８のＳ信号からメモリ７０９に予め記憶されたＮ信号を減算することでＳ−Ｎ処理を実施して出力する。
ステップＳ５０２で有効画素領域の低ゲインのＳ信号であると判断された場合にはステップＳ５０４の処理に進む。ステップＳ５０４ではＳ信号はメモリ７０８に保持し、メモリ７０８のＳ信号からメモリ７１０に予め記憶されたＮ信号を減算する処理をおこなう。メモリ７１０には過去のステップＳ５０５で遮光画素領域の低ゲインのＳ信号が保持されているが、遮光されているためＳ信号成分は実質的に存在せずノイズ成分（Ｎ信号）だけの信号である。このデータを使うことで低ゲインＳ信号に対してＳ−Ｎ処理を実施することができる。

実施例１〜３においては、一方のゲインで読み出したＮ信号は有効画素部の上部の例えば垂直オプティカルブラック部２０３２の隣にある遮光画素領域部（例えば２０３１）の信号を使ってＳ−Ｎ処理を実施する構成について説明した。しかし、垂直方向にシェーディング成分があると、上部にある遮光画素領域（例えば２０３１）のＮ信号だけでは正しくＳ−Ｎ処理ができない問題がある。
そこで、実施例４においては、水平方向に配置される遮光画素領域から取得したＮ信号を用いてＳ−Ｎ処理を実施する。

図１１は、実施例４の撮像素子のブロック図である。基本的な構成は図２で説明したものと同じであるが、ＲＡＭ２１０の代わりに、第４の記憶手段としてのメモリ２１１を設けている点が異なる。
第４の記憶手段としてのメモリ２１１には算出手段としての信号処理回路２０７で算出された垂直方向のシェーディング成分だけを行ごとに記録しておく。垂直方向のシェーディング成分は図６に示すような有効画素部２０３４の左側に配置される水平オプティカルブラック部２０３３の信号を用いて信号処理回路２０７で算出する。
画素部２０３と水平転送回路２０６までの信号処理の流れについて図１２を用いて説明する。

図１２の基本的な構成は図７の構成とほぼ同じであるが、メモリ７０８、７０９及び７１０を使ってＳ−Ｎ処理をした後に、メモリ２１１のデータを減算する減算器７１２が追加になっている。メモリ２１１には各行の垂直方向のシェーディング成分が記録されている。従って、画面上部の遮光画素領域のＮ信号を用いてＳ−Ｎの演算そした後に、垂直方向のシェーディング成分を減算手段としての減算器７１２で減算することで正しいＳ信号成分を出力することができる。この時減算器７１２は結果的に画素信号から垂直方向のシェーディング成分を減算している。

図１３は実施例４におけるＳ信号を読み出したときの処理に関するフローチャートである。
まず、ステップＳ８０１では読み出された信号が画素領域上部の遮光画素領域（例えばＧａｉｎ２（Ｎ）読み出し部２０３１）の低ゲインのＳ信号であるか否かを判断する。画素領域上部の遮光画素領域の低ゲインのＳ信号である場合はステップＳ８０５に進み、読み出した信号をメモリ７１０に保持する処理をおこなう。ステップＳ８０１でＮｏと判断された場合、ステップＳ８０２に進み、読み出された信号が画素領域左側の遮光画素領域（例えば水平オプティカルブラック部２０３３）の低ゲインのＳ信号であるか否かを判断する。画素領域左側の遮光画素領域の低ゲインのＳ信号である場合はステップＳ８０６に進み、信号処理回路２０７で垂直方向のシェーディング成分を算出する処理をおこなう。

算出された垂直方向のシェーディング成分はメモリ２１１に保持する（ステップＳ８０７）。ステップＳ８０２でＮｏと判断された場合はステップＳ８０３に進み、有効画素部２０３４の低ゲインのＳ信号であるか否かを判断する。
Ｎｏの場合、つまり高ゲインのＳ信号の場合はステップＳ８０４に進み、Ｓ信号はメモリ７０８に保持し、メモリ７０８のＳ信号からメモリ７０９のＮ信号を減算することでＳ−Ｎ処理を実施し出力する。

ステップＳ８０３で有効画素領域の低ゲインのＳ信号と判断された場合はステップＳ８０８の処理に進む。ステップＳ８０８ではＳ信号はメモリ７０８に保持し、メモリ７０８のＳ信号からメモリ７１０の信号を減算する処理をおこなう。更に、ステップＳ８０９に進み、メモリ２１１に保持されている同じ行の垂直方向のシェーディング成分を減算する処理をおこなう。
一般的には、画素信号は１フレーム中に上部の行から下部の行に向けて、行単位で順次読み出される。従って、垂直方向のＮ信号のシェーディング成分を減算するためには前フレームの画素信号を使う必要があるが、本実施例４によればＮ信号の垂直方向のシェーディング成分も除去することが可能になる。

以上、本発明をその好適な実施例に基づいて詳述してきたが、、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
また、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して撮像装置に供給するようにしてもよい。そしてその撮像装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１０１ ・・・光学レンズ
１０２ ・・・撮像素子
１０３ ・・・画像取得部
１０４ ・・・画像合成部
１０５ ・・・信号処理部
１０６ ・・・信号記録部
１０７ ・・・制御部
１０８ ・・・撮像素子制御部

続いて図４（Ａ）のタイミングチャートを用いて、異なったゲインの２枚の画像データを読み出す動作について説明する。
図４（Ａ）のタイミングチャートは、水平同期信号ＨＤで規定される１水平期間で行われる撮像素子の画素部２０３におけるある行からの信号読み出しを示している。
まず、時刻ｔ１〜時刻ｔ２でスイッチＳＷ３０１〜ＳＷ３０４を同時にＯＮし、残留電荷を排出するリセット動作を行う。次に時刻ｔ３でスイッチＳＷ３０１およびスイッチＳＷ３０２をＯＮし、画素部からのノイズ成分を読み出して第１のゲインＧａｉｎ１で増幅する。第１のゲインＧａｉｎ１は、以下の式（１）であらわされる。

これにより、列ＡＤＣ２０５には、ノイズ成分を第１のゲインＧａｉｎ１で増幅した、第１のノイズ信号Ｇａｉｎ１（Ｎ）が出力される。
次に時刻ｔ４で画素部からの画素信号（光電変換信号）を読み出す。このとき、スイッチＳＷ３０１とスイッチＳＷ３０２をＯＦＦのままとすることによって、第１のゲインＧａｉｎ１で画素信号を増幅する。列ＡＤＣ２０５には、画素信号成分を第１のゲインＧａｉｎ１で増幅した第１の画素信号Ｇａｉｎ１（Ｓ）が出力される。ここで、時刻ｔ５でスイッチＳＷ３０１，３０２をＯＦＦすることで信号レベルの変動を抑制し、列ＡＤＣ２０５でのアナログデジタル変換に影響を与えないようにしている。

ここで、このような読み出し方式では、第２のゲインＧａｉｎ２に対応するノイズ成分を読み出すことができない。そのため、本実施例では更に、所定の遮光された行で第２のゲインに対応するノイズ成分を読み出すように動作させている。そのタイミングチャートを図４（Ｂ）に示す。
図４（Ｂ）では、時刻ｔ１〜時刻ｔ２でスイッチＳＷ３０１〜スイッチＳＷ３０４を同時にＯＮし、リセット動作を行った後、時刻ｔ９〜時刻ｔ１０の間、スイッチＳＷ３０１とスイッチＳＷ３０２をＯＮし、時刻ｔ９〜時刻ｔ１１の間、スイッチＳＷ３０３をＯＮにする。これによって、第２のゲインＧａｉｎ２で増幅した第２のノイズ信号Ｇａｉｎ２（Ｎ）を読み出している。この行では第２のノイズ信号Ｇａｉｎ２（Ｎ）を読み出せばよいので、画素信号の読み出しは必要ではないが読み出しても構わない。

Claims (24)

1. ノイズ信号の読み出しと、光電変換により得られた画素信号の読み出しが可能な画素を複数配列した画素部と、
   前記画素部の各画素からノイズ信号を読み出し、第１のゲインで増幅して第１のノイズ信号を生成するとともに、各画素から画素信号を読み出し、第１のゲインで増幅した第１の画素信号と第２のゲインで増幅した第２の画素信号を生成する読み出し手段と、
   前記画素部の所定の一部の行の画素から読み出したノイズ信号を第２のゲインで増幅して第２のノイズ信号を生成して記憶する第１の記憶手段と、
   前記画素部の各画素から順次信号を読み出しつつ、前記第１の画素信号から前記第１のノイズ信号の減算を行うとともに、前記第２の画素信号から前記第１の記憶手段に記憶した前記第２のノイズ信号を減算する減算手段と、
   を有することを特徴とする撮像装置。
2. 前記撮像装置は撮像素子であることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は多層構造であることを特徴とする請求項２に記載の撮像装置。
4. 前記画素部と前記減算手段はそれぞれ別の層に配置されていることを特徴とする請求項３に記載の撮像装置。
5. 前記画素部は撮像素子内部に設けられ、前記記憶手段は前記撮像素子外部に設けられることを特徴とする請求項１に記載の撮像装置。
6. 前記画素部は撮像素子内部に設けられ、前記減算手段は前記撮像素子外部に設けられることを特徴とする請求項１または５に記載の撮像装置。
7. 前記所定の一部の行は、前記画素部の垂直方向の端部に設けられることを特徴とする請求項１に記載の撮像装置。
8. 前記所定の一部の行は、遮光されていることを特徴とする請求項３に記載の撮像装置。
9. 前記所定の一部の行は、前記画素部の垂直方向の端部に設けられた遮光された行を含むことを特徴とする請求項１に記載の撮像装置。
10. 前記所定の一部の行は、垂直オプティカルブラック信号を読み出すための垂直オプティカルブラック部の隣に配置されていることを特徴とする請求項１に記載の撮像装置。
11. 前記所定の一部の行は、垂直オプティカルブラック信号を読み出すための垂直オプティカルブラック部の行を含むことを特徴とする請求項１に記載の撮像装置。
12. 前記読み出し手段は、前記画素部の各画素からノイズ信号を読み出し第１のゲインで増幅して第１のノイズ信号を生成する動作と、各画素から画素信号を読み出し、第１のゲインで増幅した第１の画素信号と第２のゲインで増幅した第２の画素信号を生成する動作を順次行うことを特徴とする請求項１に記載の撮像装置。
13. 前記読み出し手段は、１水平期間内に、前記画素部の各画素からノイズ信号を読み出し第１のゲインで増幅して第１のノイズ信号を生成する動作と、各画素から画素信号を読み出し、第１のゲインで増幅した第１の画素信号と第２のゲインで増幅した第２の画素信号を生成する動作を順次行うことを特徴とする請求項１に記載の撮像装置。
14. 前記第１のノイズ信号、前記第１の画素信号、前記第２の画素信号、前記第２のノイズ信号をＡＤ変換するＡＤ変換手段を有することを特徴とする請求項１に記載の撮像装置。
15. 前記第１、第２の画素信号を記憶する第２の記憶手段を有することを特徴とする請求項１に記載の撮像装置。
16. 前記第１のノイズ信号を記憶する第３の記憶手段を有することを特徴とする請求項１に記載の撮像装置。
17. 前記画素から読み出した信号を増幅する増幅手段を有することを特徴とする請求項１に記載の撮像装置。
18. 前記増幅手段はオペアンプを含むことを特徴とする請求項１７記載の撮像装置。
19. 前記画素部の水平方向の端部の遮光された画素から読み出したノイズ信号を第２のゲインで増幅して垂直方向のシェーディング成分を算出する算出手段を有することを特徴とする請求項１記載の撮像装置。
20. 前記算出手段によって算出された垂直方向のシェーディング成分を記憶する第４の記憶手段を有することを特徴とする請求項１９記載の撮像装置。
21. 前記減算手段は、前記第４の記憶手段に記憶された垂直方向のシェーディング成分を前記画素信号から減算することを特徴とする請求項２０記載の撮像装置。
22. ノイズ信号の読み出しと、光電変換により得られた画素信号の読み出しが可能な画素を複数配列した画素部の各画素から、ノイズ信号を読み出し第１のゲインで増幅して第１のノイズ信号を生成するとともに、各画素から画素信号を読み出し、第１のゲインで増幅した第１の画素信号と第２のゲインで増幅した第２の画素信号を生成する読み出しステップと、
    前記画素部の所定の一部の行の画素から読み出したノイズ信号を第２のゲインで増幅して第２のノイズ信号を生成して記憶する記憶ステップと、
    前記画素部の各画素から順次信号を読み出しつつ、前記第１の画素信号から前記第１のノイズ信号の減算を行うとともに、前記第２の画素信号から前記記憶手段に記憶した前記第２のノイズ信号を減算する減算ステップと、
    を有することを特徴とする撮像方法。
23. 請求項１〜２１のうちいずれか一項に記載の前記撮像装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
24. 請求項２３に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
    

Images