JP2021106375A - 撮像素子およびその制御方法、撮像装置 - Google Patents

Abstract

【課題】画素部からの信号ごとに複数のゲインで増幅を行う増幅手段を備え、ノイズ成分をより低減することが可能な撮像素子を提供する。【解決手段】撮像装置が備える個体撮像素子は、行列状に配列されるとともに、光電変換により信号電圧を生成する画素部を有する。列アンプ２０４は、光電変換された信号に対して複数のゲインで増幅可能である。増幅後の信号は列ＡＤＣ２０５でアナログ・デジタル変換された後、信号処理回路２０７により画素信号からノイズ信号が減算される。画素部が有するフローティングディフュージョン部のリセット後に読出されるノイズ信号と、その直後に読出される画素信号は第１のゲインが乗算されて取得され、その後に読出される画素信号は第２のゲインが乗算されて取得される。第１のゲインは第２のゲインよりも大きい値に設定される。【選択図】図２

Description

本発明は、画素信号を複数のゲインで増幅して読出すことが可能な撮像素子の動作制御および信号処理の技術に関する。

固体撮像素子を備える撮像装置には、２次元配列された画素部で光電変換された映像信号を出力する際、ダイナミックレンジ（以下、ＤＲとも記す）の拡大処理の機能を有するものがある。特許文献１に開示の装置は、単位画素の出力信号に対して列回路内にある増幅部のゲインを切り替え、出力信号がクリップしないようなゲインを決定し、映像信号のＤＲを向上させることが可能である。特許文献１の図１３には、アンプの入力容量を２つ持ち、ゲイン設定部にて入力信号レベルを判定し、その判定結果に応じたゲインに変更することで、２種類のゲインを得る回路が開示されている。この場合、ノイズ信号がどちらか一方のゲインにしか対応しない駆動方法となる。

また、特許文献２に開示の撮像装置は、入射光量に応じて異なるアンプゲインで増幅された複数の画像信号を用いることでＤＲ拡大が可能である。アンプゲインが異なる２枚の画像について、アンプゲインが大きい方の画像を被写体の低輝度部の画像に用い、アンプゲインが小さい方の画像を被写体の高輝度部の画像に用いて合成処理が実行される。異なるアンプゲインでノイズ成分を読出すには、アンプゲインに対して画素部のリセット回数を十分に確保する必要がある。

特開２００５−１７５５１７号公報 特開２０１６−０４２６３３号公報

ところで、撮像素子では相関二重サンプリングによる信号読出し方法がよく用いられる。この方法では単位画素から、まずノイズ成分を読出し、その後にノイズ成分を含んだ画素信号を読出し、撮像素子内で画素信号からノイズ成分を除去する処理が行われる。特に、内部の増幅回路のゲインが大きいときには、相関二重サンプリングによるノイズ抑制効果が大きい。

同一の画素信号に対して複数のゲインで出力可能な撮像素子では、複数の画像の合成を行う際、特に低輝度部に使用する画像が相関二重サンプリングの行われた画像でないと、ランダムノイズが目立つ画像になる可能性が高くなる。

本発明の目的は、画素部からの信号ごとに複数のゲインで増幅を行う増幅手段を備え、ノイズ成分をより低減可能な撮像素子を提供することである。

本発明の実施形態の撮像素子は、画素部が有する光電変換部からの信号ごとに複数のゲインで増幅を行う増幅手段と、前記増幅手段のゲインを制御する制御手段と、前記増幅手段により増幅された画素信号からノイズ信号を減算する信号処理手段と、を備え、前記制御手段は、前記画素部をリセットした後、前記増幅手段による第１のゲインでノイズ信号と画素信号を読出した後に、前記増幅手段による第２のゲインで画素信号を読出す制御を行い、前記第１のゲインは前記第２のゲインよりも大きいことを特徴とする。

本発明の撮像素子によれば、画素部からの信号ごとに複数のゲインで増幅を行う増幅手段を備え、ノイズ成分をより低減可能な撮像素子を提供することができる。

実施形態に係る撮像装置の基本構成を示すブロック図。 固体撮像素子の内部構成を模式的に示す図。 固体撮像素子の列アンプ部の構成例を示す回路図。 第１実施形態に係る列アンプ部の動作を説明するタイミングチャート。 画像合成処理を説明する図。 第２実施形態に係る列アンプ部の動作を説明するタイミングチャート。 第３実施形態に係る列アンプ部の動作を説明するタイミングチャート。 第４実施形態に係る列アンプ部の動作を説明するタイミングチャート。

以下、本発明の各実施形態について図面を参照しながら説明する。本発明はデジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等の撮像素子に適用可能である。撮像素子を構成する画素部から画素信号のみが出力される場合、画素信号の黒レベル（すなわちノイズと近似されるレベル）が判明しないと、映像信号のペデスタルレベルを決定することができない。そのため、画素部や回路部で離散的に発生するランダムノイズの低減が困難となる。例えば、画像合成等の信号処理において、低輝度部に使用される画像に対する相関二重サンプリングが行われた信号でない場合にはランダムノイズの目立つ画像となる可能性がある。以下の実施形態では、ノイズをより低減するとともに黒レベルを決定することができ、画像信号のＤＲ拡大に好適な撮像素子および撮像装置を説明する。

［第１実施形態］
図１は、本発明の実施形態に係る撮像装置１００の一般的な構成を示すブロック図である。光学レンズ部１０１は、被写体からの光を取り込んで撮像素子１０２の受光面上に結像させる。光学レンズ部１０１は撮像装置１００の本体部に装着可能な交換レンズユニット、または本体部に組み込まれたレンズ部であり、撮像光学系を構成するレンズ、絞り等の光学部材を有する。

撮像素子１０２は光学レンズ部１０１から入射光を受光し、光電変換によって電気信号を出力する。代表例として、ＣＣＤ（電荷結合素子）型イメージセンサや、ＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサ等が挙げられる。撮像素子１０２には、アナログ映像信号を出力する第１のタイプと、撮像素子１０２の内部でＡＤ（アナログ・デジタル）変換処理を行ってデジタル映像信号を出力する第２のタイプがある。第２のタイプには、ＬＶＤＳ（Ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）等によりデジタルデータを出力する形態がある。撮像素子１０２の構成については図２を用いて後述する。

画像取得部１０３は、撮像素子１０２から出力された映像信号のキャプチャを行い、各種処理を行う回路部を備える。画像取得部１０３は、撮像素子１０２における固定パターンノイズの除去や、黒レベルクランプ処理等を行う。画像取得部１０３はまた、映像信号の記録に使用する画像信号と、撮像素子１０２の制御のための評価用信号とに分離する処理を行う。画像取得部１０３には処理に必要となる設定値を記憶するための内部記憶回路が含まれる。

画像合成部１０４は画像取得部１０３の出力を取得し、撮像素子１０２の出力に基づく信号から、任意の合成方法を用いてＨＤＲ（高ダイナミックレンジ）画像を生成する。例えば、所定の画像部分（通常画）については高ゲインで取得された画像を用い、明るく白飛びしている画像部分については低ゲインで取得された画像を用いて合成を行う方法がある。合成後に暗部の信号に用いられる通常画としては、暗部のランダムノイズが抑えられていることが好ましい。

信号処理部１０５は画像合成部１０４の出力を取得し、画素加算やノイズリダクション、ガンマ補正、ニー補正、デジタルゲイン処理、キズ補正等の各種画像処理を行う。信号処理部１０５には補正および画像処理に必要となる設定値を記憶するための内部記憶回路が含まれる。

信号記録部１０６は、信号処理部１０５が処理した映像信号を取得して記憶装置または記憶媒体へ記録する。例えば撮像装置１００の本体部に装着可能なメモリデバイスが使用される。

露出制御部１０７は、画像取得部１０３から取得した映像信号情報に基づいて最適露光量を算出する。例えば、位相差情報を出力可能な撮像素子１０２の場合、露出制御部１０７は撮像素子１０２の出力から位相差を計算することができる。露出制御部１０７が焦点調節制御の機能を有する場合には、位相差に基づく相関演算により撮像光学系に係るデフォーカス量を算出して、光学レンズ部１０１内のフォーカスレンズを駆動することで焦点調節が可能である。また、露出制御部１０７は撮像素子制御部１０８の動作を決定して制御信号を伝達する。撮像素子制御部１０８は露出制御部１０７からの制御信号にしたがって撮像素子１０２の動作制御を行う。

図２を参照して、撮像素子１０２の構成を説明する。図２は撮像素子１０２の一例を示すブロック図である。タイミング・パルス制御部２０１は、撮像素子１０２の各構成部に動作クロックを供給し、また各構成部にタイミング信号を供給することにより、撮像素子１０２の動作を制御する。垂直走査回路２０２は、画素部２０３から画素信号電圧を、１フレーム中に順次読出すタイミング制御を行う。一般的に、映像信号は１フレーム中に画素部２０３における上部の行から下部の行にかけて、行単位で順次読出される。

画素部２０３は、多数の単位画素が２次元に配置された構成である。各単位画素は単数または複数の光電変換部を有しており、入射光量に応じて光電変換を行って電圧を出力する。フォトダイオード等の光電変換素子が用いられる。画素部２０３は通常の映像とともに位相差情報を取得して出力することもできる。例えば、１つのマイクロレンズに対してフォトダイオードが２つに分割された構造が挙げられる。画素部２０３は光電変換素子の他にフローティングディフュージョン部への電荷転送を行うトランジスタや、増幅トランジスタ等を備えるが、回路構成については公知であるので詳細な説明を省略する。

列アンプ２０４は、画素部２０３から列ごとに読出された信号を電気的に増幅する。列ＡＤＣ２０５の前段に設けられた列アンプ２０４で信号を増幅することにより、列ＡＤＣ２０５で発生するノイズに対してＳ／Ｎ比（信号対ノイズ比）を改善することができる。また列アンプ２０４においては、タイミング・パルス制御部２０１からの信号によって、アンプゲインを変更可能である。すなわち、撮像素子１０２は、ＨＤＲ画像生成用として、列アンプ２０４のアンプゲインを変更して２種類のゲインで信号を出力することが可能である。列アンプ２０４は、光電変換部から出力された、ある時刻の信号に対して２つのゲインを乗算した信号を出力できるので、データ量は増えるものの、同時性を有する２つのゲインの異なる画像信号を取得できる。列アンプ２０４の構成については後述する。

列ＡＤＣ（アナログ・デジタル変換部）２０５は、列アンプ２０４により増幅されたアナログ信号をデジタル信号に変換する。列メモリ２０９は、列ＡＤＣ２０５によってデジタル化された画素からの出力信号を一時的に記憶しておく回路である。例えば列メモリ２０９に画素のノイズ信号を記憶しておき、所定のタイミングで水平転送回路２０６へ転送し、信号処理回路２０７で相関二重サンプリングの処理が行われる。相関二重サンプリングの処理は、ノイズ成分が含まれる画素信号からノイズ成分を減算することで両者の差分を算出し、ノイズ成分を除いた信号成分のみが取り出されるものである。

水平転送回路２０６は、列メモリ２０９に一時記憶されたデジタル信号を順次読出す処理を行う。水平転送回路２０６の出力は信号処理回路２０７に入力される。信号処理回路２０７はデジタル信号処理を行う回路である。信号処理回路２０７は、デジタル処理として、読出された画素信号からノイズ成分の信号を減算する相関二重サンプリングを行ったり、一定量のオフセット値の付加を行ったり、シフト演算や乗算を行う。また、信号処理回路２０７は、簡易的なゲイン演算を行うことができる。また、画素部２０３に意図的に遮光された画素領域が設けられている場合には、当該画素領域を利用したデジタル処理での黒レベルクランプ動作を行ってもよい。

外部出力回路２０８は信号処理回路２０７から信号を取得して出力処理を行う。外部出力回路２０８はシリアライザー機能を有し、信号処理回路２０７からの多ビットの入力パラレル信号をシリアル信号に変換する。また外部出力回路２０８は、このシリアル信号を、例えばＬＶＤＳ信号等に変換して、外部デバイスに画像情報を出力する。

次に、ＨＤＲ画像生成時の撮像素子１０２の動作について詳述する。本実施形態の撮像素子１０２は、ＨＤＲ画像を生成するために列アンプ２０４のゲインを変更して出力することができる。図３（Ａ）を参照して、ＨＤＲ画像生成時の列アンプ２０４およびその周辺の回路例を説明する。図３（Ａ）は、列アンプ２０４における、ある１列を抜き出して示す回路図である。容量部をＣと表記し、スイッチ素子（トランジスタ等）をＳＷと表記し、オペアンプをＯＰと表記する。画素部２０３に繋がる垂直信号線は電流源に接続され、図３では左側の直線で示している。

ＯＰ３０１には入力容量と帰還容量が接続されている。ＯＰ３０１の非反転入力端子には基準電源の電圧が印加され、反転入力端子はＳＷ３０２、Ｃ３０１、ＳＷ３０１を介して垂直信号線に接続可能である。つまり、ＳＷ３０１およびＳＷ３０２がオンのときに、画素部２０３から読出された信号が、入力容量であるＣ３０１を介してＯＰ３０１に入力される。

Ｃ３０２とＣ３０３は帰還容量であり、ＳＷ３０３によってＣ３０２の接続および非接続を制御することができる。Ｃ３０３はその一端部がＯＰ３０１の反転入力端子に接続され、他端部がＯＰ３０１の出力端子に接続されている。Ｃ３０２およびＳＷ３０３は、Ｃ３０３に対して並列に接続されている。Ｃ３０２とＳＷ３０３とは直列に接続されており、Ｃ３０２の一端部がＯＰ３０１の反転入力端子に接続され、他端部がＳＷ３０３を介してＯＰ３０１の出力端子に接続されている。リセット用のＳＷ３０４は、Ｃ３０３と、Ｃ３０２およびＳＷ３０３に対して、並列に接続されている。

列アンプ２０４の増幅率は、Ｃ３０１の静電容量と、Ｃ３０２およびＣ３０３の合成容量またはＣ３０３の静電容量との比の値によって決定され、「入力容量／帰還容量」から算出される。図３（Ａ）では１つの入力容量に対して２つの帰還容量の組み合わせにより、２種類のゲインが得られる。つまり、異なるゲインを乗算した２枚の画像の信号を、後段の列ＡＤＣ２０５へ出力することができる。

図４は、ゲインの異なる２枚の画像の信号を読出す動作を説明するタイミングチャートである。ＨＤは水平同期信号を表す。撮像素子１０２の、ある行の読出しに着目して説明する。ＦＤ（フローティングディフュージョン）リセットは、各単位画素が備える光電変換部（フォトダイオード）およびＦＤ部のリセットのタイミングを示す。その下には画素部２０３からの画素信号の転送タイミングと、各スイッチ素子の状態、列ＡＤＣ２０５への出力をそれぞれ示す。

読出し対象画素の光電変換部（フォトダイオード）およびＦＤ部がリセットされるとともに、ＯＰ３０１の周辺回路の全スイッチ素子がＯＮになり、残留電荷を排出するリセット動作が行われる。次に図３（Ａ）のＳＷ３０１、ＳＷ３０２をＯＮとし、第１のゲインであるＧａｉｎ１で画素部２０３からのノイズ成分（ノイズ信号ともいう）を読出す処理が行われる。このとき、ＳＷ３０３はＯＦＦとなっている。よって、第１のゲインをＧａｉｎ１と表記すると、
Ｇａｉｎ１＝Ｃ３０１／Ｃ３０３
で決定される。列ＡＤＣ２０５に対し、第１のゲインで増幅されたノイズ信号（Ｇａｉｎ１−Ｎと記す）が出力される。

次に画素部２０３からの画素信号を列アンプ２０４に転送する処理が行われる。このとき、ＳＷ３０１、ＳＷ３０２をＯＮとし、まず第１のゲインであるＧａｉｎ１で画素信号を読出す処理が行われる。このとき、ＳＷ３０３はＯＦＦとなっている。列ＡＤＣ２０５に対し、第１のゲインで増幅された画素信号成分（Ｇａｉｎ１−Ｓと記す）が出力される。ここで、ＳＷ３０１をＯＦＦとすることで信号レベルの変動を抑制し、列ＡＤＣ２０５でのアナログ・デジタル変換に影響を与えないようにすることができる。このときの画素信号にはノイズ成分も含まれている。

次に、ＳＷ３０３をＯＮとして画素信号を読出す処理が行われる。このとき、第２のゲインをＧａｉｎ２と表記すると、
Ｇａｉｎ２＝Ｃ３０１／（Ｃ３０２＋Ｃ３０３）
で決定される。右辺の分母はＣ３０２とＣ３０３との合成容量である。そして、列ＡＤＣ２０５に対し、第２のゲインで増幅された画素信号成分（Ｇａｉｎ２−Ｓと記す）が出力される。

この例では、ゲインの異なる２つの信号を読出す方法として、ＳＷ３０３をＯＦＦに制御したＧａｉｎ１の状態を先に発生させ、その後にＳＷ３０３をＯＮに制御したＧａｉｎ２の状態を発生させている。図４の動作とは逆に、Ｇａｉｎ２で増幅した信号から先に読出すことも可能である。本実施形態では、画素信号成分とノイズ成分を読出す際、ＦＤリセット直後のゲインをＧａｉｎ１とし、その後のゲインをＧａｉｎ２とする。すなわち、「Ｇａｉｎ１＞Ｇａｉｎ２」としており、相対的に大きいゲインでノイズや画素信号が読出された後に、相対的に小さいゲインで画素信号が読出される。

次に図５を参照して、画像合成部１０４により行われる２種類のゲインで読出された信号の合成方法の例を示す。図５（Ａ）は、横軸に被写体の輝度値を示し、縦軸に撮像素子内のデジタル変換値、すなわち撮像素子１０２からの出力コード値を示すグラフである。Ｇａｉｎ１で読出された信号に基づく画像（以下、Ｇａｉｎ１画像という）については点線の折れ線グラフで表す。また、Ｇａｉｎ２で読出された信号に基づく画像（以下、Ｇａｉｎ２画像という）については実線の直線グラフで表す。

「Ｇａｉｎ１＞Ｇａｉｎ２」の関係であるため、Ｇａｉｎ２画像を表すグラフはＧａｉｎ１画像を表すグラフよりも傾きが小さい。一方、Ｇａｉｎ１画像については列アンプ２０４のゲインが大きいので、Ｇａｉｎ２画像よりも被写体の輝度が小さいところで、出力コード値が飽和上限値（最大値）に到達してしまうが、暗部のノイズに関してＧａｉｎ２画像よりも良好である。

図５（Ｂ）は、デジタルゲイン等で、Ｇａｉｎ１画像を表すグラフの傾きを、Ｇａｉｎ２画像を表すグラフの傾きに合わせる処理を説明するグラフである。横軸および縦軸の設定については図５（Ａ）と同じである。Ｇａｉｎ１画像を表すグラフに対して調整処理を行った後のグラフを、点線の折れ線グラフで示しており、このときの画像を「Ｇａｉｎ１画像２」とする。低輝度側の所定領域において、折れ線グラフの直線部の傾きは、Ｇａｉｎ２画像を表す直線グラフの傾きと一致している。図５（Ａ）と比較して、Ｇａｉｎ１画像２の出力コードの最大値は小さくなる。

図５（Ｃ）は、画像合成処理を説明するグラフであり、横軸および縦軸の設定については図５（Ａ）と同じである。画像合成では、低輝度側の領域においてＧａｉｎ１画像２を表すグラフの飽和部までは、Ｇａｉｎ１画像２の出力コードが用いられる（点線参照）。当該領域よりも輝度の高い領域（つまりＧａｉｎ１画像２の出力コードが一定値となる領域）では、Ｇａｉｎ２画像の出力コードが用いられる。つまり、暗部ではＧａｉｎ１画像２（ノイズが小さい画像）を用い、明部ではＧａｉｎ２画像（輝度が明るい被写体の情報を含む）を用いて合成画像を生成することでＤＲ拡大が行われる。なお、図５で示した画像合成方法は一例であり、Ｇａｉｎ１画像２とＧａｉｎ２画像との切り替えによって２枚の画像をブレンドする方法等、各種方法での実施が可能である。

本実施形態では、信号処理回路２０７において、第１のゲインの画素信号から第１のゲインのノイズ成分の信号を減算する相関二重サンプリングが行われる。このような相関二重サンプリングが行われるノイズ信号と画素信号を読出すときに用いる第１のゲインの値を、画素信号のみを読出すときに用いる第２のゲインの値よりも大きく設定する。これにより、画像の暗部に使用される第１のゲインの画素信号のノイズ特性を確実に改善して、ダイナミックレンジを拡大することができる。なお、本実施形態で示した回路構成は一例である。同一の画素信号に対して複数のゲインを乗算して出力することが可能な構成であれば如何なる回路構成でもよく、本実施形態にて図示した構成に限定されるものではない。例えば、ＦＤ部への付加容量の接続と非接続を制御することによりゲインの変更を行う方法等がある。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では、撮像素子から第２のゲインであるＧａｉｎ２で増幅されたノイズ信号（以下、Ｇａｉｎ２−Ｎと記す）を出力して撮像素子の外部で処理する例を説明する。本実施形態において第１実施形態と同様の事項については既に使用した符号や記号を使用することによって、それらの説明を省略し、相違点を説明する。このような説明の省略方法は後述の実施形態でも同じである。

図６は、異なるゲインが乗算された２つのＳ信号と、Ｇａｉｎ１−Ｎに加え、さらにＧａｉｎ２−Ｎを読出す動作について説明するタイミングチャートである。Ｇａｉｎ１−Ｎ、Ｇａｉｎ１−Ｓ、Ｇａｉｎ２−Ｓを読出す動作は、図４と同じである。

Ｇａｉｎ２−Ｓの読出し後に、Ｇａｉｎ２−Ｎの読出しを行うために、もう一度ＦＤリセットと、ＳＷ３０４のＯＮによる列アンプ２０４のリセットが行われる。このリセット後に、ＳＷ３０３がＯＮ状態のままで、Ｇａｉｎ２−Ｎの読出しが行われる。

その後、信号処理回路２０７において、Ｇａｉｎ１−ＳからＧａｉｎ１−Ｎを減算することにより、第１のゲインで増幅された信号の相関二重サンプリングを行う。さらに、Ｇａｉｎ２−ＳからＧａｉｎ２−Ｎを減算することにより、第２のゲインで増幅された信号の相関二重サンプリングを行う。ここで、本実施形態では、Ｇａｉｎ２−Ｎを読出す前に一度ＦＤリセットを行っているため、第２のゲインで増幅された信号については厳密には相関二重サンプリングの効果は得られない。しかしながら、Ｇａｉｎ２−Ｎを読み出すことでＧａｉｎ２−Ｓに含まれるノイズ成分の概算値を取得できるため、例えば、画像合成時に画像信号の黒レベルを合わせる処理やノイズ除去または低減処理等に効果がある。

本実施形態のように、フォトダイオードおよびＦＤ部のリセット後に、擬似的にＧａｉｎ２−Ｎを読出す駆動を行う場合にも、「Ｇａｉｎ１＞Ｇａｉｎ２」とすることで、合成画像における暗部のノイズ特性を改善し、ＤＲ拡大を行うことができる。さらに、Ｇａｉｎ２−Ｎを読出して、擬似的な相関二重サンプリングを行うことで、Ｇａｉｎ１画像２とＧａｉｎ２画像との合成を行う際、Ｇａｉｎ２画像の黒レベルを合わせることができ、合成が容易となる。

本実施形態によれば、再度フォトダイオードおよびＦＤ部のリセットを行うことで、第１のゲインと第２のゲインのいずれについてもノイズ信号と画素信号を読出すことができる。

［第３実施形態］
次に本発明の第３実施形態を説明する。本実施形態では画素信号の読出し前に、Ｇａｉｎ１およびＧａｉｎ２でノイズ信号をそれぞれ読出す例を示す。

図３（Ｂ）は、本実施形態に係る列アンプ２０４において、ある１列を抜き出して示す回路図である。本実施形態では図３（Ａ）に示す構成に加え、スイッチ素子ＳＷ３０２と入力容量Ｃ３０４が追加されている。つまり、ＯＰ３０１の入力段において、ＳＷ３０１とＣ３０１との直列回路に対して、ＳＷ３０２とＣ３０４との直列回路が並列に接続されている。

図７は、本実施形態におけるゲインの異なる２枚の画像の信号を読出す動作を説明するタイミングチャートである。図７を参照して、異なるゲインで画素信号（Ｓ信号）およびノイズ信号（Ｎ信号）を読出す処理を説明する。まず、読出し対象画素のフォトダイオードおよびＦＤ部がリセットされるとともに、ＯＰ３０１の周辺回路の全スイッチ素子がＯＮになり、残留電荷を排出するリセット動作が行われる。その後、ＳＷ３０１がＯＮであって、ＳＷ３０２、ＳＷ３０３はともにＯＦＦの状態にする。この状態でのゲインは、
Ｇａｉｎ２＝Ｃ３０１／Ｃ３０３
となる。この状態で画素部３０２から画素信号の転送は行われず、Ｇａｉｎ２−Ｎが読出される。

次にＳＷ３０２がＯＮとなり、Ｇａｉｎ１の状態になる。この状態でのゲインは、
Ｇａｉｎ１＝（Ｃ３０１＋Ｃ３０４）／Ｃ３０３
となる。この状態でＧａｉｎ１−Ｎが読出される。

続いてＧａｉｎ１の状態のままで、画素部２０３から画素信号の転送が行われ、Ｇａｉｎ１−Ｓが読出される。次にＳＷ３０３がＯＮとなり、Ｇａｉｎ２の状態になる。この状態でのゲインは、
Ｇａｉｎ２＝（Ｃ３０１＋Ｃ３０４）／（Ｃ３０２＋Ｃ３０３）
となる。この状態でＧａｉｎ２−Ｓが読出される。本実施形態では、「Ｃ３０１／Ｃ３０３」から決定されるゲインと、「（Ｃ３０１＋Ｃ３０４）／（Ｃ３０２＋Ｃ３０３）」から決定されるゲインとが同等になるように静電容量が設定されている。

このようにして、Ｇａｉｎ１とＧａｉｎ２でのＮ信号とＳ信号がそれぞれ読出される。相関二重サンプリングを行うためには、Ｇａｉｎ２−Ｓを読出すまで、Ｇａｉｎ２−Ｎを列メモリ２０９に保持しておく必要がある。

図７に示すように、Ｇａｉｎ２−ＮとＧａｉｎ２−Ｓとの間に、フォトダイオードおよびＦＤ部のリセットは行われないが、Ｇａｉｎ１−ＮとＧａｉｎ１−Ｓを読出す時間分に対応する期間が発生する。第２実施形態と同様に、ノイズ成分の概算値を読出すことができるので、画像合成時に画像信号の黒レベルを合わせる処理やノイズ除去または低減処理等に効果がある。

「Ｇａｉｎ１＞Ｇａｉｎ２」とすることで、合成画像における暗部のノイズ特性を改善し、ＤＲ拡大を行うことができる。さらに、Ｇａｉｎ２−Ｎを読出して、擬似的な相関二重サンプリングを行うことで、Ｇａｉｎ１画像２とＧａｉｎ２画像との合成を行う際、Ｇａｉｎ２画像の黒レベルを合わせることができ、合成が容易となる。本実施形態では、列メモリ２０９の構成を変更し、Ｇａｉｎ２−Ｓを読出すまでの間、Ｇａｉｎ２−Ｎを保持しておくことで、第１のゲインと第２のゲインのいずれについてもノイズ信号と画素信号を読出すことができる。

本実施形態の信号読出し方法のほかには、ＦＤリセットとオペアンプの帰還容量部のリセットを行う方法がある。この方法ではＦＤリセット後にＣ３０１とＣ３０４に電荷が保持されて、Ｇａｉｎ１−Ｎ、Ｇａｉｎ１−Ｓの順に読出される。その後、ＯＰ３０１の帰還容量部がリセットされてから、Ｇａｉｎ２−Ｎ、Ｇａｉｎ２−Ｓの順に読出される。

［第４実施形態］
次に本発明の第４実施形態を説明する。本実施形態では、第２実施形態と同様に、図３（Ａ）の回路図で表される列アンプ２０４を用いる。第２実施形態では、Ｇａｉｎ２−Ｎを読出す場合、フォトダイオードおよびＦＤ部のリセットと列アンプ２０４のリセットとを行っている。一方、本実施形態の例では、Ｇａｉｎ２−Ｎを読出す場合、フォトダイオードおよびＦＤ部のリセットのみを行い、列アンプ２０４のリセットを行わない。

図８は、本実施形態における読出し動作を説明するタイミングチャートである。図８を参照して、異なるゲインで画素信号（Ｓ信号）およびノイズ信号（Ｎ信号）を読出す処理を説明する。

まず、Ｇａｉｎ２−Ｓを読出すまでの動作は、ＳＷ３０１の動作以外は、図６に示す第２実施形態の動作と同様である。本実施形態では、画素信号の変化時に、ＳＷ３０１を一時的にＯＦＦにする。このように、画素信号の変化時にＳＷ３０１を一時的にＯＦＦにすることで、画素転送時やＦＤリセット時のＦＤノードの変動の影響を低減することができる。

ＦＤノードの変動は、列アンプ２０４で増幅され、列アンプ２０４の動作点を大きく変動させる。すると、列アンプ２０４の回路動作の収束に時間を要するようになるため、回路の高速動作に影響を与える。なお、画素信号の変化時にＳＷ３０１を一時的にＯＦＦすることは、他の実施形態にも適用可能である。

Ｇａｉｎ２−Ｓを読出した後、Ｇａｉｎ２−Ｎを読出すために、一度、フォトダイオードおよびＦＤリセットを行う。このタイミングにおいて、本実施形態では、第２実施形態と異なり、ＳＷ３０１をＯＦＦにする一方で列アンプ２０４のリセットを行わない。その後、Ｇａｉｎ２でノイズ成分を読出すために、ＳＷ３０１をＯＮにしてＧａｉｎ２−Ｎを読出す。これについてさらに説明する。

列アンプ２０４のアンプゲインを、ＳＷ３０３を制御してＧａｉｎ１からＧａｉｎ２に切り替える時に、ＳＷ３０３を制御したときのノイズが、列アンプ入力ノード（ＯＰ３０１の−入力端子）に入力されることがある。仮に、列アンプ２０４のアンプゲインのリセットを行って、Ｇａｉｎ２−Ｎを読出すと、ＳＷ３０３によるノイズの影響を受けたＳ信号（Ｇａｉｎ２−Ｓ）とＳＷ３０３のノイズの影響を受けていないＮ信号（Ｇａｉｎ２−Ｎ）を読出すことになる。すると、Ｓ信号とＮ信号の相関がさらに崩れる。Ｓ信号とＮ信号の相関が崩れると、例えば、水平方向のシェーディングが悪化するなど画質劣化に影響を与えることになる。

本実施形態では、Ｇａｉｎ２−Ｎを列アンプ２０４のアンプゲインをリセットせずに読出す。このように、Ｇａｉｎ２−Ｎを読出すときに、列アンプ２０４のアンプゲインのリセットを行わないことで、Ｇａｉｎ１、Ｇａｉｎ２ともに画質劣化させることなくノイズ信号と画素信号を読出すことができる。なお、このとき、ＳＷ３０１は、本実施形態のようにＯＦＦにすることが望ましい。

なお、本実施形態においては、前述の実施形態で示す「Ｇａｉｎ１＞Ｇａｉｎ２」のように、Ｇａｉｎ１がＧａｉｎ２よりも大きいこととしている。しかしながら、これに限るものではなく、Ｇａｉｎ１がＧａｉｎ２よりも小さいこととしてもよい。

前記実施形態によれば、増幅手段のゲインを変更して出力可能な撮像素子において、一般的にノイズが目立ちやすい低輝度部の画像のランダムノイズを低減するとともに、画像信号の黒レベルを決定することができる。合成後の画像信号のダイナミックレンジを拡大することができる。

１０２・・・撮像素子
１０３・・・画像取得部
１０４・・・画像合成部
１０５・・・信号処理部
１０７・・・露出制御部
１０８・・・撮像素子制御部

Claims (12)

1. 画素部が有する光電変換部からの信号ごとに複数のゲインで増幅を行う増幅手段と、
   前記増幅手段のゲインを制御する制御手段と、
   前記増幅手段により増幅された画素信号からノイズ信号を減算する信号処理手段と、を備え、
   前記制御手段は、前記画素部をリセットした後、前記増幅手段による第１のゲインでノイズ信号と画素信号を読出した後に、前記増幅手段による第２のゲインで画素信号を読出す制御を行い、
   前記第１のゲインは、前記第２のゲインよりも大きい
   ことを特徴とする撮像素子。
2. 前記制御手段は、前記第２のゲインで画素信号を読出した後、前記画素部を再びリセットした後に前記第２のゲインでノイズ信号を読出す制御を行う
   ことを特徴とする請求項１に記載の撮像素子。
3. 前記制御手段は、前記画素部をリセットした後に前記第２のゲインでノイズ信号を読出してから、前記第１のゲインでノイズ信号を読出す制御を行う
   ことを特徴とする請求項１に記載の撮像素子。
4. 前記第２のゲインで画素信号が読出されるまで、前記第２のゲインで読出されたノイズ信号を保持する記憶手段を備える
   ことを特徴とする請求項３に記載の撮像素子。
5. 画素部が有する光電変換部からの信号ごとに複数のゲインで増幅を行う増幅手段と、
   前記増幅手段のゲインを制御する制御手段と、
   前記増幅手段により増幅された画素信号からノイズ信号を減算する信号処理手段と、を備え、
   前記制御手段は、
   前記画素部をリセットした後、前記増幅手段による第１のゲインでノイズ信号と画素信号を読出した後に、前記増幅手段による第２のゲインで画素信号を読出す制御を行い、前記第２のゲインで画素信号を読出した後、前記画素部を再びリセットした後に前記第２のゲインでノイズ信号を読出す制御を行う
   ことを特徴とする撮像素子。
6. 前記第１のゲインは、前記第２のゲインよりも大きい
   ことを特徴とする請求項５に記載の撮像素子。
7. 前記第１のゲインは、前記第２のゲインよりも小さい
   ことを特徴とする請求項５に記載の撮像素子。
8. 前記画素部と前記増幅手段との間にスイッチを備え、
   前記画素部を再びリセットする際に、前記スイッチをオフにする
   ことを特徴とする請求項５に記載の撮像素子。
9. 請求項１乃至８のいずれか１項に記載の撮像素子を備える
   ことを特徴とする撮像装置。
10. 前記増幅手段により異なるゲインで増幅された複数の信号を取得して画像を合成する合成手段を備える
    ことを特徴とする請求項９に記載の撮像装置。
11. 画素部が光電変換部を有する撮像素子にて実行される制御方法であって、
    前記光電変換部からの信号ごとに増幅を行う増幅手段のゲインを制御する工程と、
    前記画素部をリセットした後、前記増幅手段による第１のゲインでノイズ信号と画素信号を読出した後に前記増幅手段による第２のゲインで画素信号を読出す制御を行う工程と、
    読出された画素信号からノイズ信号を減算する工程と、を有し、
    前記第１のゲインは前記第２のゲインよりも大きい
    ことを特徴とする撮像素子の制御方法。
12. 画素部が光電変換部を有する撮像素子にて実行される制御方法であって、
    前記光電変換部からの信号ごとに増幅を行う増幅手段のゲインを制御する工程と、
    前記画素部をリセットした後、前記増幅手段による第１のゲインでノイズ信号と画素信号を読出した後に前記増幅手段による第２のゲインで画素信号を読出す制御を行う工程と、
    前記第２のゲインで画素信号を読出した後、前記画素部を再びリセットした後に前記第２のゲインでノイズ信号を読出す制御を行う工程と、
    読出された画素信号からノイズ信号を減算する工程と、を有する
    ことを特徴とする撮像素子の制御方法。
    
    

Images