JP2019054302A - 固体撮像装置およびその駆動方法、電子機器 - Google Patents

Abstract

【課題】個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することが可能な固体撮像装置およびその駆動方法、電子機器を提供する。【解決手段】高利得信号ＨＣＧと低利得信号ＬＣＧを合成してダイナミックレンジを拡大する。合成をする際に、高利得信号と低利得信号のうちの少なくとも一つの信号と閾値Ｊｏｉｎｔ Ｔｈｒｅｓｈとの比較結果に応じて合成に必要となる信号を少なくとも一つ選択する。閾値は動的に変更可能である。【選択図】図４

Description

本発明は、固体撮像装置およびその駆動方法、電子機器に関するものである。

光を検出して電荷を発生させる光電変換素子を用いた固体撮像装置（イメージセンサ）として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが実用に供されている。
ＣＭＯＳイメージセンサは、デジタルカメラ、ビデオカメラ、監視カメラ、医療用内視鏡、パーソナルコンピュータ（ＰＣ）、携帯電話等の携帯端末装置(モバイル機器)等の各種電子機器の一部として広く適用されている。

ＣＭＯＳイメージセンサは、画素毎にフォトダイオード（光電変換素子）および浮遊拡散層（ＦＤ：Floating Diffusion、フローティングディフュージョン)を有するＦＤアンプを持ち合わせており、その読み出しは、画素アレイの中のある一行を選択し、それらを同時に列（カラム）方向へと読み出すような列並列出力型が主流である。

ところで、特性向上のため、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）を持つ高画質の固体撮像装置（ＣＭＯＳイメージセンサ）を実現する方法が種々提案されている。

従来、固体撮像装置において、ダイナミックレンジを高める（拡大させる）方法としては、たとえば、イメージセンサの同一の画素から蓄積時間の異なる２種類の信号を読み出し、この２種類の信号を組み合わせて、ダイナミックレンジを拡大させる方法や、高感度の画素でダイナミックレンジの小さい信号と、低感度でダイナミックレンジを拡大した信号を組み合わせてダイナミックレンジを拡大させる方法などが知られている。

たとえば特許文献１には、短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術が開示されている。
また、特許文献１には、フローティングディフュージョンの容量を可変とした高ダイナミックレンジ化技術が開示されている。

また、特許文献２には、フォトダイオードＰＤに高感度低照度側の小容量Ｃ１のフローティングディフュージョンと低感度高照度側の大容量Ｃ２のフローティングディフュージョンを接続して、低照度側の出力ＯＵＴ１と高照度側出力ＯＵＴ２をそれぞれ出力することで高ダイナミックレンジ化する技術が開示されている。

これらの信号の合成方法は時間的に見ると、複数のフレームに亘っている方式のものや、１フレーム内で複数種類のダイナミックレンジの異なる信号が出力される方式のもの等がある。

特許第３９８４８１４号 特許第３５９２１０６号

ところで、いずれの方法においても、組み合わせようとする(合成しようとする)複数の信号は、組み合わせ（信号の切り替え）を行う信号値の近傍において、それぞれ入射光量（照度）に対する出力電圧の直線性がほぼ同等に保たれている必要がある。
各々の信号はダイナミックレンジ（Ｄレンジ）を拡大するために光量（照度）に対するゲインが異なるように設計されるため、主としてアナログデジタルコンバータ（ＡＤＣ）でデジタル変換後のデジタル信号処理回路でゲインを補正し、直線性（あるいは傾き）が同じに保たれるようにしている。

しかし、固体撮像装置の個体単位でのばらつき、あるいは１個体の中での画素間のばらつき等が存在するため、ばらつきの中心値のパラメータを基に補正した数値で、各々の信号を切り替えたとしても、そのレベルの近傍においての直線性（リニアリティ）が必ずしも保証されない場合がある。
このように補正精度が低い（ばらついている）場合、スムーズな切り替えが不能となり、その不連続点がノイズとなってしまい、いわゆるトーンジャンプ等の画像劣化の要因になるという不利益がある。

本発明は、個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することが可能な固体撮像装置およびその駆動方法、電子機器を提供することにある。

本発明の第１の観点は、複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置であって、前記複数の読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を有し、前記信号処理部は、前記閾値を動的に変更可能である。

本発明の第２の観点は、複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置の駆動方法であって、前記複数の読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値とを比較する比較工程と、比較結果に応じて合成に必要となる信号を少なくとも一つ選択する選択工程と、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する生成工程と、を有し、前記閾値を動的に変更して前記比較工程、前記選択工程、および前記生成工程の処理を行う。

本発明の第３の観点の電子機器は、複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置と、前記固体撮像装置に被写体像を結像する光学系と、を有し、前記固体撮像装置は、前記複数の読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を含み、前記信号処理部は、前記閾値を動的に変更可能である。

本発明によれば、個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することができる。

本発明の第１の実施形態に係る固体撮像装置の信号処理系の全体の構成例を示すブロックである。 本第１の実施形態に係るピクセルアレイ部における低利得信号と高利得信号を生成可能なピクセル(画素)の構成例を示す図である。 本発明の第１の実施形態に係る信号処理部の構成例を示す図である。 高利得信号と低利得信号を合成し、ハイダイナミックレンジ信号とする合成方法を具体的に説明するための図である。 低利得信号と高利得信号を４ステップで段階的にスムーズに合成する場合の、信号レベル、中心閾値、各結合位置（点）、動的に設定される閾値の関係を模式的に示す図である。 本第１の実施形態に係る信号処理部における合成処理の一例を説明するためのフローチャートである。 本発明の第２の実施形態に係る信号処理部の構成例を示す図である。 図７の乱数発生部の具体的な構成例を示す図である。 高利得信号と中利得信号と低利得信号の３つの信号を、傾きを等しくしつつ合成する処理を説明するための図である。 短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術の一例を示す図である。 フレーム単位でダイナミックレンジを高める例を説明するための図である。 本発明の実施形態に係る固体撮像装置が適用される電子機器の構成の一例を示す図である。

以下、本発明の実施形態を図面に関連付けて説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る固体撮像装置の信号処理系の全体の構成例を示すブロックである。
本実施形態において、固体撮像装置１０は，ピクセル（画素）から読み出された複数(２または３以上)の読み出し信号を合成してダイナミックレンジを拡大可能に構成され、たとえばＣＭＯＳイメージセンサにより構成される。

図１の固体撮像装置１０は、レジスタコントローラ(Register Controller）２０、タイミングコントローラ(Timing Controller)３０、ピクセル(画素)アレイ (Pixel Array)部４０、アナログゲイン(Analog Gain)部５０、アナログデジタルコンバータ(ADC : Analog Digital Converter)部６０、信号処理部としての機能を含むデジタルシグナルプロセッサ(DSP : Digital Signal Processor)部７０、スケーラブル低電圧信号伝送(SLVS : Scalable Low Voltage Signaling)インタフェース部８０、およびクロックジェネレータ(Clock Generator)９０を主構成要素として有している。

固体撮像装置１０において、レジスタコントローラ２０、タイミングコントローラ３０、アナログゲイン部５０、ＡＤＣ部６０、ＤＳＰ７部０、およびＳＬＶＳインタフェース部８０が、信号の授受を行うためのバスＢＳにより接続されている。
また、クロックジェネレータ９０により生成されたシステムクロックＣＬＫが、レジスタコントローラ２０、タイミングコントローラ３０、アナログゲイン部５０、ＡＤＣ部６０、ＤＳＰ部７０、およびＳＬＶＳインタフェース部８０に供給される。

レジスタコントローラ２０は、図示しないＣＰＵ、ＤＳＰ等の外部制御装置と通信し、動作モードの設定や各種制御パラメータが書き込まれる記憶部として機能する。

タイミングコントローラ３０は、各種動作モードに合わせてピクセル（画素）データを読み出す制御パルスＳ３０を生成し、ピクセルアレイ部４０の読み出し制御を行う。

ピクセルアレイ部４０は、フォトダイオード（光電変換素子）と画素内アンプとを含む複数のピクセルがＮ行×Ｍ列の２次元の行列状（マトリクス状）に配列されている。

タイミングコントローラ３０による制御パルスＳ３０に従って、ピクセルアレイ部４０の光電変換素子を含むピクセル群から読み出された読み出し信号は、アナログゲイン部５０で所定のゲインをもって増幅され、ＡＤＣ部６０にてデジタル信号に変換され、 後で詳述するような信号処理部として機能するＤＳＰ部７０に入力される。
なお、ＡＤＣ部６０の出力段には、たとえばカラムメモリ(Column Memory)が配置される。

ＤＳＰ部７０では、入力されたデジタル信号に対して相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）、黒補正、デジタルゲイン等の画像信号処理が施された後、ＳＬＶＳインタフェース部８０において出力型式（図１ではＳＬＶＳ)に適合させて出力される。

本実施形態においては、ピクセルアレイ部４０の光電変換素子を含むピクセル群から読み出された読み出し信号は、図１に示すように、光電変換利得の異なる複数種類(本例では２種類)の高利得信号(HCG : High conversion gain )と低利得信号(LCG : Low conversion gain)の２系統の信号が読み出される。
そして、ＤＳＰ部７０の信号処理部７１０にて２つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号を生成する。

なお、読み出し信号が２系統存在するが、後で説明するように、信号の読み出しに関する部分(たとえば信号線)を１系統として時分割で処理することが可能である。

高利得信号ＨＣＧは光電変換素子部からの高利得出力信号であるが、その分低利得信号ＬＣＧに比べて少ない入射光量で飽和する。低利得信号ＬＣＧは低利得出力信号であるため、飽和に達する入射光量に余裕があり、高利得信号ＨＣＧに比較して大きい。
そこで、ＤＳＰ部７０の信号処理部７１０では、低利得信号ＬＣＧと高利得信号ＨＣＧの傾きを等しくするとともに、高利得信号ＨＣＧが飽和する手前すなわち直線性が保たれている領域（非飽和領域）において、この２種類の信号を合成することでダイナミックレンジを高めた信号である合成信号を取得する。

この高利得信号ＨＣＧと低利得信号ＬＣＧの合成処理を行うＤＳＰ部７０の信号処理部７１０は、基本的に以下に示す特徴的な構成、機能を有する。具体的な合成処理については、後で詳述する。

本実施形態の信号処理部７１０は、複数の読み出し信号（この例では、高利得信号ＨＣＧと低利得信号ＬＣＧ）を合成してダイナミックレンジを拡大可能に構成されている。
信号処理部７１０は、合成すべき複数の読み出し信号、たとえば高利得信号ＨＣＧと低利得信号ＬＣＧの傾きを等しくする。
信号処理部７１０は、複数の読み出し信号の合成をする際に、複数の読み出し信号のうちの少なくとも一つの読み出し信号（高利得信号ＨＣＧ、低利得信号ＬＣＧ）と閾値（Ｊｏｉｎｔ Ｔｈｒｅｓｈ)との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する。

そして、本実施形態の信号処理部７１０は、閾値を動的に変更可能に構成されている。
信号処理部７１０は、閾値として、あらかじめ設定された基準閾値(中心閾値) Ｊｏｉｎｔ Ｔｈｒｅｓｈ(以下、Ｊ Ｔｒｅｓｈ)と、基準閾値Ｊ Ｔｈｒｅｓｈと所定のステップ値ｓｔｅｐα(αは自然数)とを比較演算（たとえば加算、減算）することで決定した新たな閾値（Ｊ Ｔｈｒｅｓｈ ± ｓｔｅｐα）と、を合成処理に適用する。

なお、あらかじめ設定された基準閾値(中心閾値) Ｊ Ｔｈｒｅｓｈは、たとえば記憶部としてのレジスタ（ＲＥＧ）に書き換え可能に書き込まれる。

信号処理部７１０は、たとえば複数の読み出し信号のうち基準とする読み出し信号（たとえば高利得信号ＨＣＧ）と対応する閾値（Ｊ Ｔｈｒｅｓｈ、Ｊ Ｔｈｒｅｓｈ±ｓｔｅｐα）との比較結果に応じて、合成対象の複数の読み出し信号（高利得信号ＨＣＧおよび低利得信号ＬＣＧ）を重み付け処理する重み付け処理部を有している。
重み付け処理部は、閾値に挟まれた領域の信号レベルにおいては、この領域に割り当てられた重み付け値に従って重み付け平均値を算出し、重み付け平均値をその領域の合成信号として出力する。

また、信号処理部７１０の重み付け処理部は、記複数の読み出し信号を加算平均する加算平均処理機能を含んで構成される。
加算平均処理機能は、閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする。

以下に、低利得信号ＬＣＧと高利得信号ＨＣＧを生成可能なピクセルＰＸＬの構成例を説明した後、ＤＳＰ部７０の信号処理部７１０における構成例および低利得信号ＬＣＧと高利得信号ＨＣＧの具体的な合成処理について説明する。

（ピクセルアレイ部４０におけるピクセルＰＸＬの構成例）
図２は、本第１の実施形態に係るピクセルアレイ部４０における低利得信号ＬＣＧと高利得信号ＨＣＧを生成可能なピクセルＰＸＬの構成例を示す図である。

図２のピクセルＰＸＬは、フォトダイオードＰＤ、フォトダイオードＰＤのカソード側に接続される、寄生容量もしくは付加容量によって形成される容量Ｃ１１、並びにフォトダイオードＰＤおよび容量Ｃ１１〜Ｃ１３をリセットするリセットトランジスタＲＳＴ−Ｔｒを有する。

フォトダイオードＰＤは、入射光量に応じた量の信号電荷（ここでは電子）を発生し、蓄積する。
以下、信号電荷は電子であり、各トランジスタがｎ型トランジスタである場合について説明するが、信号電荷がホールであったり、各トランジスタがｐ型トランジスタであっても構わない。

ピクセルＰＸＬは、容量Ｃ１１に接続される転送スイッチとしての転送トランジスタＴＧ１１−Ｔｒ、フォトダイオードＰＤおよび容量Ｃ１１から転送される電荷を蓄積する容量Ｃ１２、選択スイッチとしての選択トランジスタＳＥＬ１１−Ｔｒ、およびゲートが容量Ｃ１２に接続されるソースフォロワトランジスタＳＦ１１−Ｔｒを有する。

また、ピクセルＰＸＬは、容量Ｃ１１に接続される転送スイッチとしての転送トランジスタＴＧ１２−Ｔｒ、フォトダイオードＰＤおよび容量Ｃ１１から転送される電荷を蓄積する容量Ｃ１３、選択スイッチとしての選択トランジスタＳＥＬ１２−Ｔｒ、およびゲートが容量Ｃ１３に接続されるソースフォロワトランジスタＳＦ１２−Ｔｒを有する。

なお、ピクセルＰＸＬのリセットトランジスタＲＳＴ−Ｔｒ、転送トランジスタＴＧ１１−Ｔｒ，ＴＧ１２−Ｔｒ、選択トランジスタＳＥＬ１１−Ｔｒ，ＳＥＬ１２−Ｔｒのゲートには、タイミングコントローラ３０で生成された制御パルスＳ３０がそれぞれ供給されて、オン、オフ制御が行われる。

このように、図２のピクセルＰＸＬは、フォトダイオードＰＤおよび容量Ｃ１１に蓄積された電荷は２系統の出力系ｏｕｔ１，ｏｕｔ２を介して出力されるように構成されている。
図２の例では、出力系ｏｕｔ１に低利得信号ＬＣＧが出力され、出力系ｏｕｔ２に高利得信号ＨＣＧが出力される。
そして、図２の構成においては、たとえば出力系ｏｕｔ１と出力系ｏｕｔ２はワイヤードオアされ、各列(カラム)で２系統の高利得信号ＨＣＧと低利得信号ＬＣＧは共通の信号線（垂直信号線）ＬＳＧＮに時分割で出力される。

次に、図２のピクセルＰＸＬの動作を説明する。

フォトダイオードＰＤ、寄生容量もしくは付加容量によって形成される容量Ｃ１１の電位はリセットトランジスタＲＳＴ−Ｔｒによってリセット電位Ｖｒ(図２の例ではＶＤＤ)にリセットされる。
蓄積期間にフォトダイオードＰＤに光が入射すると、発生した光電荷はフォトダイオードＰＤおよび容量Ｃ１１に蓄積される。
この状態で、転送スイッチとしての転送トランジスタＴＧ１１−Ｔｒもしくは転送スイッチとしての転送トランジスタＴＧ１２−Ｔｒをオンすることで容量Ｃ１２もしくは容量Ｃ１３の電位は発生した光電荷に応じて変化する。

ここで容量Ｃ１２および容量Ｃ１３はそれぞれソースフォロワトランジスタＳＦ１１−Ｔｒ、ＳＦ１２−Ｔｒのゲート電極の寄生容量が支配的である。
選択トランジスタＳＥＬ１１−Ｔｒ，ＳＥＬ１２−Ｔｒは行選択スイッチであり、２次元アレイ状に配列されているピクセルＰＸＬのある行を選択するためのスイッチである。選択トランジスタＳＥＬ１１−Ｔｒ，ＳＥＬ１２−Ｔｒは電源ＶＤＤに接続されている。
出力系ｏｕｔ１と出力系ｏｕｔ２は、信号線ＬＳＧＮを介して図には示していない定電流源に接続されており、ソースフォロワトランジスタＳＦ１１−Ｔｒ、ＳＦ１２−Ｔｒとともに、ソースフォロワアンプを形成している。
選択トランジスタＳＥＬ１１−Ｔｒ，ＳＥＬ１２−ＴｒもソースフォロワトランジスタＳＦ１１−Ｔｒ、ＳＦ１２−Ｔｒと同様に定電流源とでソースフォロワアンプを形成しており、トランジスタＴＧ１１−ＴｒとトランジスタＳＥＬ１１−Ｔｒを選択するか、トランジスタＴＧ１２−ＴｒとトランジスタＳＥＬ１２−Ｔｒを選択することで、いずれかのソースフォロワアンプを選択することができる。

これにより、２系統の高利得信号ＨＣＧと低利得信号ＬＣＧは共通の信号線（垂直信号線）ＬＳＧＮに時分割で出力される。
読み出しの容量Ｃ１２、Ｃ１３を場合によって選べることの利点は，撮影条件によって、ダイナミックレンジ（ＤＲ：Ｄ−ｒａｎｇｅ）を選択できることにある。

（ＤＳＰ部７０における低利得信号ＬＣＧと高利得信号ＨＣＧの具体的な合成処理）
次に、ＤＳＰ部７０の信号処理部７１０における構成例および低利得信号ＬＣＧと高利得信号ＨＣＧの具体的な合成処理について説明する。

以下の説明においては、光電変換素子を含むピクセルＰＸＬから読み出される複数の読み出し信号は、少なくとも一組の、低利得信号ＬＣＧと、低利得信号ＬＣＧに比べて少ない入射光量で飽和する高利得信号ＨＣＧと、を含むものとする。

図３は、本発明の第１の実施形態に係る信号処理部の構成例を示す図である。

図３の信号処理部７１０は、乗算器７１１，７１２、および重み付け処理部としての機能を有する合成処理部７１３を有する。

乗算器７１１は、飽和する前に直線性を有する低利得信号ＬＣＧの傾きを、同じく飽和する前に直線性を有する高利得信号ＨＣＧの傾きと等しくするために、入力される低利得信号ＬＣＧに、ゲイン比Ｋ（＝ＨＣＧ／ＬＣＧ）を掛け合わせ、その結果を合成処理部７１３に供給する。

乗算器７１２は、高利得信号ＨＣＧの傾きを微調整するために、入力される高利得信号ＨＣＧに、ゲイン比１．０を掛け合わせ、その結果を合成処理部７１３に供給する。
なお、乗算器７１２は、微調整のために配置されており、必ずしも必要ではなく、なくてもよい。

合成処理部７１３は、傾きが等しくなるように調整された低利得信号ＬＣＧと高利得信号ＨＣＧを受けて、高利得信号ＨＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴで、合成処理により低利得信号ＬＣＧと高利得信号ＨＣＧを合成する。
合成処理部７１３は、重み付け処理部として機能し、たとえば複数の低利得信号ＬＣＧと高利得信号ＨＣＧのうち基準とする高利得信号ＨＣＧと対応する閾値（Ｊ Ｔｈｒｅｓｈ、Ｊ Ｔｈｒｅｓｈ±ｓｔｅｐα）との比較結果に応じて、合成対象の高利得信号ＨＣＧおよび低利得信号ＬＣＧを重み付け処理する重み付け処理部としての機能を有している。
合成処理部７１３は、重み付け処理部として、閾値に挟まれた領域の信号レベルにおいては、この領域に割り当てられた重み付け値に従って重み付け平均値を算出し、重み付け平均値をその領域の合成信号として出力する機能を有する。

また、合成処理部７１３は、重み付け処理部として、低利得信号ＬＣＧと高利得信号ＨＣＧを加算平均する加算平均処理機能を含んで構成される。
加算平均処理機能は、閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする。

以上の構成を有する信号処理部７１０は、ピクセルアレイ部４０のマトリクス配列の各列(カラム)に対応して複数配置される。

以上、本実施形態に係る信号処理部７１０の基本的なブロック構成について説明した。
次に、本実施形態に係る信号処理部７１０によって２つの特性の異なる高利得信号ＨＣＧと低利得信号ＬＣＧを合成し、ハイダイナミックレンジ信号とする合成方法をより具体的に図解して説明する。

図４（Ａ）〜（Ｃ）は、高利得信号ＨＣＧと低利得信号ＬＣＧを合成し、ハイダイナミックレンジ信号とする合成方法を具体的に説明するための図である。
図４（Ａ）は高利得信号ＨＣＧと低利得信号ＬＣＧの傾きを同じとなるように調整する処理概要を示している。
図４（Ｂ）は高利得信号ＨＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴにおいて、合成処理により高利得信号ＨＣＧと低利得信号ＬＣＧを４ステップで段階的にスムーズに合成することを示している。
図４（Ｃ）は高利得信号ＨＣＧと低利得信号ＬＣＧを４ステップで段階的にスムーズに合成する場合の、中心閾値Ｊ Ｔｈｒｅｓｈ、各結合位置（点）ｊｐ０〜ｊｐ３、動的に設定される閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）、重み付け値の関係を模式的に図解して示している。
図５は高利得信号ＨＣＧと低利得信号ＬＣＧを４ステップで段階的にスムーズに合成する場合の、信号レベル、中心閾値Ｊ Ｔｈｒｅｓｈ、各結合位置（点）ｊｐ０〜ｊｐ３、動的に設定される閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）、閾値間の領域の関係を模式的に示している。

図４において、高利得信号ＨＣＧと低利得信号ＬＣＧは前述の２系統の信号に相当する。ここで、図２で示したように高利得信号ＨＣＧと低利得信号ＬＣＧはいずれもデジタル信号である。
前述したように、高利得信号ＨＣＧは光電変換素子部からの高利得出力信号であるが、その分低利得信号ＬＣＧに比べて少ない入射光量で飽和する。低利得信号ＬＣＧは低利得出力信号であるため、飽和に達する入射光量に余裕があり、高利得信号ＨＣＧに比較して大きい。
そこで、ＤＳＰ部７０の信号処理部７１０では、低利得信号ＬＣＧと高利得信号ＨＣＧの傾きを等しくするとともに、高利得信号ＨＣＧが飽和する手前すなわち直線性が保たれている非飽和領域ＡＮＳＡＴでこの２種類の信号を合成することでダイナミックレンジ（ＤＲ）を高めた信号が得られる。

信号処理部７１０の合成処理部７１３は、たとえば高利得信号ＨＣＧを基準として合成処理を行うことが可能である。
合成処理部７１３は、たとえば図４（Ｃ）および図５に示すように、非飽和領域ＡＮＳＡＴの中心部位置ＪＣ（Ｊｏｉｎｔ Ｃｅｎｔｅｒ）に、基準閾値を中心閾値Ｊ Ｔｈｒｅｓｈとして設定する。

合成処理部７１３は、たとえば図４（Ｃ）および図５に示すように、中心閾値Ｊ Ｔｈｒｅｓｈが設定された中心部位置ＪＣから合成信号を高利得信号ＨＣＧと結合すべき高利得信号最端部側結合位置ｊｐ（ｊｏｉｎｔ ｐｏｉｎｔ）０の間に、高利得信号最端部側結合位置ｊｐ０を含む二つの高利得側結合位置ｊｐ０、ｊｐ１を設定するとともに、中心部位置ＪＣから高利得信号最端部に向かって徐々に大きくなる、設定した高利得側結合位置ｊｐ１、ｊｐ０に対応する高利得側ステップ値（−）ｓｔｅｐ１，（−）ｓｔｅｐ２（ｓｔｅｐ２＞ｓｔｅｐ１）を設定する。

合成処理部７１３は、たとえば図４（Ｃ）および図５に示すように、中心閾値Ｊ Ｔｈｒｅｓｈが設定された中心部位置ＪＣから合成信号を低利得信号ＬＣＧと結合すべき低利得信号最端部側結合位置ｊｐ３の間に、低利得信号最端部側結合位置ｊｐ３を含む二つの低利得側結合位置ｊｐ３、ｊｐ２を設定するとともに、中心部位置ＪＣから低利得信号最端部に向かって徐々に大きくなる、設定した低利得側結合位置ｊｐ２、ｊｐ３に対応する低利得側ステップ値ｓｔｅｐ１，ｓｔｅｐ２（ｓｔｅｐ２＞ｓｔｅｐ１）を設定する。

そして、合成処理部７１３は、たとえば図４（Ｃ）および図５に示すように、中心閾値Ｊ Ｔｈｒｅｓｈから設定した高利得側ステップ値ｓｔｅｐ２，ｓｔｅｐ１を減算して対応する高利得側結合位置ｊｐ０，ｊｐ１の新たな閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）として設定する。合成処理部７１３は、新たな閾値を適用して高利得側結合位置ｊｐ０，ｊｐ１における閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）と高利得信号ＨＣＧとの比較結果に応じて合成処理を行う。

同様に、合成処理部７１３は、たとえば図４（Ｃ）および図５に示すように、中心閾値Ｊ Ｔｈｒｅｓｈに設定した低利得側ステップ値ｓｔｅｐ１，ｓｔｅｐ２を加算して対応する低利得側結合位置ｊｐ２，ｊｐ３の新たな閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）として設定する。合成処理部７１３は、新たな閾値を適用して低利得側結合位置ｊｐ２、ｊｐ３における閾値(Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１)、(Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２)と高利得信号ＨＣＧとの比較結果に応じて合成処理を行う。

合成処理部７１３は、合成処理に係る比較処理において、高利得側結合位置ｊｐ０、ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）、または、低利得側結合位置ｊｐ２、ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）と高利得信号ＨＣＧとの比較により選択された値に挟まれた領域Ａ０１，Ａ１２，Ａ２３の信号レベルにおいては、領域Ａ０１，Ａ１２，Ａ２３に割り当てられた重み付け値ＷＶ０１，ＷＶ１２，ＷＶ２３に従って重み付け平均値ＡＶＷ０１、ＡＶＷ１２，ＡＶＷ２３を算出し、重み付け平均値をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして出力する。

たとえば、高利得側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）と隣接の高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）に挟まれた領域Ａ０１においては、低利得信号ＬＣＧに「１」で高利得信号ＨＣＧに「３」の重み付け値（ＬＣＧ：ＨＣＧ＝１：３）ＷＶ０１が割り当てられる。

高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）に挟まれた領域Ａ１２においては、低利得信号ＬＣＧに「１」で高利得信号ＨＣＧに「１」の重み付け値（ＬＣＧ：ＨＣＧ＝１：１）ＷＶ１２が割り当てられる。

低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）に挟まれた領域Ａ２３においては、低利得信号ＬＣＧに「３」で高利得信号ＨＣＧに「１」の重み付け値（ＬＣＧ：ＨＣＧ＝３：１）ＷＶ２３が割り当てられる。

合成処理部７１３は、高利得信号最端部側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）との比較の結果、高利得信号ＨＣＧのレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）より小さい場合は、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する。

合成処理部７１３は、低利得信号最端部側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）との比較の結果、高利得信号ＨＣＧのレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より大きい場合は、低利得信号ＬＣＧ（ｄａｔａ ｌｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する。

以上、信号処理部７１０における合成処理部７１３の構成および機能について説明した。
ここで、合成処理部における高利得信号ＨＣＧと低利得信号ＬＣＧの具体的な合成処理の一例を説明する。
図６は、本実施形態に係る信号処理部７１０における合成処理の一例を説明するためのフローチャートである。

今、高利得信号ＨＣＧを基準に合成する場合を考えると、下記のように表現できる。

（数１）
ｄａｔａ_ｈｃｇ = ｄａｔａ_ｈｃｇ_ｉｎ + ｈｃｇ_ｏｆｆｓｅｔ

低利得信号ＬＣＧは、高利得信号ＨＣＧと傾きが同じになるようにデジタル利得を掛けて変換した場合次のように表現できる。

（数２）
ｄａｔａ_ｌｃｇ ＝ (ｄａｔａ_ｌｃｇ_ｉｎ + ｌｃｇ_ｏｆｆｓｅｔ ) × Ｋ
ここで、ＫはＨＣＧ/ＬＣＧのゲイン比を示す。

この２信号を合成するにあたり、次の条件設定に沿って演算を行う。

（数３）
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ - ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄ= ｄａｔａ_ｈｃｇ ；
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ - ｓｔｅｐ１ ） )
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ ×３ + ｄａｔａ_ｌｃｇ ） / ４ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｓｔｅｐ1 ） ）
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ ） / ２ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ × ３） / ４ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＞ （ ｊ_ｔｈｒｅｓｈ + ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄｒ = ｄａｔａ_ｌｃｇ ;

この合成処理部７１３の合成に係る演算処理について図６に関連付けて説明する。

合成処理部７１３は、たとえば、まず、高利得信号最端部側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ１）、高利得信号ＨＣＧのレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）より小さいか否かを判定する（工程ＰＲ２）。

合成処理部７１３は、工程ＰＲ２において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）より小さいと判定すると、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ３）。

合成処理部７１３は、工程ＰＲ２において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）より大きいと判定すると、高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ４）、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）より小さいか否かを判定する（工程ＰＲ５）。

合成処理部７１３は、工程ＰＲ５において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）より小さいと判定すると、次の処理を行う（工程ＰＲ６、ＰＲ７）。
合成処理部７１３は、高利得側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）と隣接の高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）に挟まれた領域Ａ０１に割り当てられた重み付け値（ＬＣＧ：ＨＣＧ＝１：３）ＷＶ０１に従って高利得信号ＨＣＧと低利得信号ＬＣＧの重み付け平均値ＡＶＷ０１を次式により算出し（工程ＰＲ６）、重み付け平均値ＡＶＷ０１をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ７）。

（数４）
ＡＶＷ０１= （ ｄａｔａ_ｈｃｇ ×３ + ｄａｔａ_ｌｃｇ ） / ４

合成処理部７１３は、工程ＰＲ５において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）より大きいと判定すると、低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ８）、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）より小さいか否かを判定する（工程ＰＲ９）。

合成処理部７１３は、工程ＰＲ９において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）より小さいと判定すると、次の処理を行う（工程ＰＲ１０、ＰＲ１１）。
合成処理部７１３は、高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）に挟まれた領域Ａ１２に割り当てられた重み付け値（ＬＣＧ：ＨＣＧ＝１：１）ＷＶ１２に従って高利得信号ＨＣＧと低利得信号ＬＣＧの重み付け平均値ＡＶＷ１２を次式により算出し（工程ＰＲ１０）、重み付け平均値ＡＶＷ１２をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ１１）。

（数５）
ＡＶＷ１２= （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ ） / ２

合成処理部７１３は、工程ＰＲ９において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）より大きいと判定すると、低利得信号最端部側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ１２）、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より小さいか否かを判定する（工程ＰＲ１３）。

合成処理部７１３は、工程ＰＲ１３において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より小さいと判定すると、次の処理を行う（工程ＰＲ１４、ＰＲ１５）。
合成処理部７１３は、低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）に挟まれた領域Ａ２３に割り当てられた重み付け値（ＬＣＧ：ＨＣＧ＝３：１）ＷＶ２３に従って高利得信号ＨＣＧと低利得信号ＬＣＧの重み付け平均値ＡＶＷ２３を次式により算出し（工程ＰＲ１４）、重み付け平均値ＡＶＷ２３をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ１５）。

（数６）
ＡＶＷ２３= （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ × ３） / ４

合成処理部７１３は、工程ＰＲ１３において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より小さくなく、大きいと判定すると（工程ＰＲ１６）、低利得信号ＬＣＧ（ｄａｔａ ｌｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ１７）。

以上説明したように、本第１の実施形態の固体撮像装置１０の信号処理部７１０は、複数の読み出し信号、たとえば高利得信号ＨＣＧと低利得信号ＬＣＧを合成してダイナミックレンジを拡大可能に構成されている。
信号処理部７１０は、合成すべき複数の読み出し信号、たとえば低利得信号ＬＣＧと高利得信号ＨＣＧの傾きを等しくする。
信号処理部７１０は、複数の読み出し信号の合成をする際に、複数の読み出し信号のうちの少なくとも一つの読み出し信号（高利得信号ＨＣＧ、低利得信号ＬＣＧ）と閾値（Ｊｏｉｎｔ Ｔｈｒｅｓｈ)との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する。
そして、本第１の実施形態の信号処理部７１０は、閾値を動的に変更可能に構成され、閾値として、あらかじめ設定された基準閾値(中心閾値)Ｊ Ｔｈｒｅｓｈと、基準閾値Ｊ Ｔｈｒｅｓｈと所定のステップ値ｓｔｅｐα(αは自然数)とを比較演算（たとえば加算、減算）することで決定した新たな閾値（Ｊ Ｔｈｒｅｓｈ ± ｓｔｅｐα）と、を合成処理に適用する。

したがって、本第１の実施形態によれば、固体撮像装置の個体単位でのばらつき、あるいは１個体の中でのピクセル（画素）間のばらつき等が存在する場合であっても、組み合わせようとする（合成しようとする）複数の信号のスムーズな切り替えが可能で、不連続点を削減でき、ひいてはノイズを削減でき、ノイズの少ない高品質かつ高ダイナミックな画像信号を生成することが可能となる。
また、個体ばらつきを吸収することが可能となるため、製品の歩留まりを向上させることが可能となる。

すなわち、本第１の実施形態によれば、個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することが可能となる。

また、本第１の実施形態の信号処理部７１０は、たとえば複数の読み出し信号のうち基準とする読み出し信号（たとえば高利得信号ＨＣＧ）と対応する閾値（Ｊ Ｔｈｒｅｓｈ、Ｊ Ｔｈｒｅｓｈ±ｓｔｅｐα）との比較結果に応じて、合成対象の複数の読み出し信号（高利得信号ＨＣＧおよび低利得信号ＬＣＧ）を重み付け処理する重み付け処理部としての機能を含む合成処理部７１３を有している。
重み付け処理部を含む合成処理部７１３は、閾値に挟まれた領域の信号レベルにおいては、この領域に割り当てられた重み付け値に従って重み付け平均値を算出し、重み付け平均値をその領域の合成信号として出力する。
また、重み付け処理部は、記複数の読み出し信号を加算平均する加算平均処理機能を含んで構成される。
加算平均処理機能は、閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする。

したがって、本第１の実施形態によれば、組み合わせようとする（合成しようとする）複数の信号のよりスムーズな切り替えが可能で、不連続点を確実に削減でき、ひいてはノイズを削減でき、さらにノイズの少ない高品質かつ高ダイナミックな画像信号を生成することが可能となる。

（第２の実施形態）
図７は、本発明の第２の実施形態に係る信号処理部の構成例を示す図である。
図８は、図７の乱数発生部の具体的な構成例を示す図である。

本第２の実施形態に係る図７の信号処理部７１０Ａが第１の実施形態に係る図３の信号処理部７１０と異なる点は、乱数発生部７１４が設けられ、合成処理部７１３Ａは、乱数ｒｎｄ(clk)を閾値Ｊ Ｔｈｒｅｓｈと加算あるいは減算して閾値を設定することにある。
ここで、ｃｌｋは、ピクセル（画素）データの転送クロックと同じ周波数であり、乱数はピクセル（画素）単位で変化する。

合成処理部７１３Ａは，たとえば複数の閾値の平均値を基準閾値Ｊ Ｔｈｒｅｓｈに相当する中心閾値として設置可能で、中心閾値は初期の中心閾値Ｊ Ｔｈｒｅｓｈに乱数発生部７１４で発生された乱数ｒｎｄ(clk)を加算することで新たに算出された値を第２の中心閾値（Ｊ Ｔｈｒｅｓｈ＋ｒｎｄ(clk)）とし、第２の中心閾値をもとに合成に必要となる信号の選択処理を行う。

乱数発生部７１４は、たとえば図８に示すように、排他的論理和ゲートＥＸＯＲ１〜ＥＸＯＲ３を含む線形帰還シフトレジスタＬＦＳＲにより形成される。図８は１６ビットの場合の一例として示されている。

第２の実施形態の合成処理部７１３Ａで第１の実施形態の数３に対応する２信号を合成するにあたり、次の条件設定に沿って演算を行う。

（数７）
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) - ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄ= ｄａｔａ_ｈｃｇ ；
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) - ｓｔｅｐ１ ） )
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ ×３ + ｄａｔａ_ｌｃｇ ） / ４ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) + ｓｔｅｐ1 ） ）
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ ） / ２ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) + ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ × ３） / ４ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＞ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) + ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄｒ = ｄａｔａ_ｌｃｇ ;

すなわち、この演算処理は、初期の中心閾値Ｊ Ｔｈｒｅｓｈに乱数発生部７１４で発生された乱数ｒｎｄ(clk)を加算することで新たに算出された値が第２の中心閾値（Ｊ Ｔｈｒｅｓｈ＋ｒｎｄ(clk)）として適用される他は、上記数３および図６の処理と同様の処理が行われる。
したがって、ここでは、詳細な説明は省略する。

本第２の実施形態によれば、上述した第１の実施形態と同様の効果を得ることができる。
すなわち、本第２の実施形態によれば、固体撮像装置の個体単位でのばらつき、あるいは１個体の中での画素間のばらつき等が存在する場合であっても、組み合わせようとする（合成しようとする）複数の信号のスムーズな切り替えが可能で、不連続点を削減でき、ひいてはノイズを削減でき、ノイズの少ない高品質かつ高ダイナミックな画像信号を生成することが可能となる。
また、個体ばらつきを吸収することが可能となるため、製品の歩留まりを向上させることが可能となる。

（応用例）
上述した実施形態においては、複数の読み出し信号の例として、２つの高利得信号ＨＣＧと低利得信号ＬＣＧを合成してダイナミックレンジを拡大する場合について説明したが、本発明は，３つあるいは４以上の特性の異なる信号を、傾きを等しくしつつ合成する場合にも適用することが可能である。

図９は、高利得信号ＨＣＧと中利得信号ＭＣＧと低利得信号ＬＣＧの３つの信号を、傾きを等しくしつつ合成する処理を説明するための図である。

図９の例は、高利得と低利得の中間の中利得信号ＭＣＧが合成対象に追加されている。

この場合、高利得信号ＨＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴ１において、前述した実施形態の合成処理と同様の処理により中利得信号ＭＣＧと高利得信号ＨＣＧが段階的にスムーズに合成される。このときの傾きを調整するためのゲイン比はＨＣＧ／ＭＣＧである。
非飽和領域ＡＮＳＡＴ１における合成処理では、中利得信号ＭＣＧが前述した実施形態の合成処理の低利得信号と同様の信号として扱われる。

同様に、中利得信号ＭＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴ２において、前述した実施形態の合成処理と同様の処理により中利得信号ＭＣＧと低利得信号ＬＣＧが段階的にスムーズに合成される。このときの傾きを調整するためのゲイン比はＭＣＧ／ＬＣＧである。
非飽和領域ＡＮＳＡＴ２における合成処理では、中利得信号ＭＣＧが前述した実施形態の合成処理の高利得信号と同様の信号として扱われる。

この場合も、上述した第１および第２の実施形態と同様の効果を得ることができる。

（変形例）
図１０は、短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術の一例を示す図である。

上述した実施形態においては、ピクセルＰＸＬの構成自体に、選択トランジスタＳＥＬ−ＴｒおよびソースフォロワトランジスタＳＦ−Ｔｒを２系統設けて、複数の読み出し信号である２つの高利得信号ＨＣＧと低利得信号ＬＣＧを生成するように構成されている場合を例に説明したが、本発明は、このような構成に限定されない。
たとえばピクセルＰＸＬの構成自体に、選択トランジスタＳＥＬ−ＴｒおよびソースフォロワトランジスタＳＦ−Ｔｒを１系統のみ設けて、図１０に示すように、短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術を採用することも可能である。

ピクセル（画素）の読み出し動作においては、タイミングコントローラ等の制御の下、図１０に示すように、シャッタースキャンＳＳＣＮが行われ、その後、読み出しスキャンＲＳＣＮが行われるが、図１０の例は、シャッタースキャンＳＳＣＮが行われ、その後、読み出しスキャンＲＳＣＮが行われるまでの露光期間Ｔｉｎｔ０，Ｔｉｎｔ１を２つ設け、時間に差を持たせている。

この場合も、上述した第１および第２の実施形態と同様の効果を得ることができる。

図１１は、フレーム単位でダイナミックレンジを高める例を説明するための図である。
また、上述した実施形態では、ピクセル単位でダイナミックレンジを高める例を説明したが、本発明は、図１１に示すように、フレーム単位でダイナミックレンジを高める場合にも適用可能である。

この場合も、上述した第１および第２の実施形態と同様の効果を得ることができる。

以上説明した固体撮像装置１０は、デジタルカメラやビデオカメラ、携帯端末、あるいは監視用カメラ、医療用内視鏡用カメラなどの電子機器に、撮像デバイスとして適用することができる。

図１２は、本発明の実施形態に係る固体撮像装置が適用されるカメラシステムを搭載した電子機器の構成の一例を示す図である。

本電子機器１００は、図１２に示すように、本実施形態に係る固体撮像装置１０が適用可能なＣＭＯＳイメージセンサ１１０を有する。
さらに、電子機器１００は、このＣＭＯＳイメージセンサ１１０の画素領域に入射光を導く（被写体像を結像する）光学系（レンズ等）１２０を有する。
電子機器１００は、ＣＭＯＳイメージセンサ１１０の出力信号を処理する信号処理回路(ＰＲＣ)１３０を有する。

信号処理回路１３０は、ＣＭＯＳイメージセンサ１１０の出力信号に対して所定の信号処理を施す。
信号処理回路１３０で処理された画像信号は、液晶ディスプレイ等からなるモニタに動画として映し出し、あるいはプリンタに出力することも可能であり、またメモリカード等の記録媒体に直接記録する等、種々の態様が可能である。

上述したように、ＣＭＯＳイメージセンサ１１０として、前述した固体撮像装置１０を搭載することで、高性能、小型、低コストのカメラシステムを提供することが可能となる。
そして、カメラの設置の要件に実装サイズ、接続可能ケーブル本数、ケーブル長さ、設置高さなどの制約がある用途に使われる、たとえば、監視用カメラ、医療用内視鏡用カメラなどの電子機器を実現することができる。

１０・・・固体撮像装置、２０・・・レジスタコントローラ、３０・・・タイミングコントローラ、４０・・・ピクセル(画素)アレイ部、５０・・・アナログゲイン部、６０・・・アナログデジタルコンバータ(ADC)、７０・・・デジタルシグナルプロセッサ(DSP)、７１０，７１０Ａ・・・信号処理部、７１１，７１２・・・乗算器、７１３，７１３Ａ・・・合成処理部、７１４・・・乱数発生部、８０・・・スケーラブル低電圧信号伝送(SLVS)インタフェース部、９０・・・クロックジェネレータ、１００・・・電子機器、１１０・・・ＣＭＯＳイメージセンサ、１２０・・・光学系、１３０・・・信号処理回路（ＰＲＣ）。

Claims (16)

1. 複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置であって、
   前記複数の読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を有し、
   前記信号処理部は、
   前記閾値を動的に変更可能である
   固体撮像装置。
2. 前記信号処理部は、前記閾値として、
   あらかじめ設定した基準閾値と、
   前記基準閾値と所定のステップ値とを比較演算することで決定した新たな閾値と、を前記合成処理に適用する
   請求項１記載の固体撮像装置。
3. 前記信号処理部は、
   前記複数の読み出し信号を重み付け処理する重み付け処理部を含み、
   重み付けするための更なる新たな閾値を有し、
   前記重み付け処理部は、
   前記閾値に挟まれた領域の信号レベルにおいては、当該領域に割り当てられた重み付け値に従って重み付け平均値を算出し、当該重み付け平均値を当該領域の合成信号として出力する
   請求項１または２記載の固体撮像装置。
4. 複数の閾値を有し、
   前記重み付け処理部は、
   前記複数の読み出し信号を加算平均する加算平均処理機能を含み、
   前記加算平均処理機能は、
   前記閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする
   請求項３記載の固体撮像装置。
5. 前記信号処理部は、
   乱数発生部を含み、
   複数の閾値の平均値を前記基準閾値に相当する中心閾値として設置可能で、
   前記中心閾値は初期の中心閾値に前記乱数発生部で発生された乱数を加算することで新たに算出された値を第２の中心閾値とし、当該第２の中心閾値をもとに前記合成に必要となる信号の選択処理を行う
   請求項１から４のいずれか一に記載の固体撮像装置。
6. 書き換え可能な記憶部を含み、
   前記基準閾値は前記記憶部に書き込まれている
   請求項１から５のいずれか一に記載の固体撮像装置。
7. 前記信号処理部を複数有する
   請求項１から６のいずれか一に記載の固体撮像装置。
8. 光電変換素子を含む画素から読み出される前記複数の読み出し信号は、少なくとも一組の、
   低利得信号と、
   当該低利得信号に比べて少ない入射光量で飽和する高利得信号と、を含み、
   前記信号処理部は、
   前記低利得信号と前記高利得信号の傾きを等しくするとともに、前記高利得信号が飽和する手前であって直線性が保たれている非飽和領域で、前記合成処理により前記低利得信号と前記高利得信号を合成する
   請求項１から７のいずれか一に記載の固体撮像装置。
9. 前記信号処理部は、
   前記低利得信号と前記高利得信号の少なくとも一方を基準として前記合成処理を行う
   請求項８記載の固体撮像装置。
10. 前記信号処理部は、
    前記高利得信号を基準として前記合成処理を行い、
    前記閾値として、
    あらかじめ設定した基準閾値と、
    前記基準閾値と所定のステップ値とを比較演算することで決定した少なくとも一つの新たな閾値と、を前記合成処理に適用することが可能であり、
    前記非飽和領域の中心部位置に、前記基準閾値を中心閾値として設定し、
    前記中心閾値の設定位置から合成信号を前記高利得信号と結合すべき高利得信号最端部側結合位置の間に、当該高利得信号最端部側結合位置を含む少なくとも二つの高利得側結合位置を設定するとともに、中心部位置から高利得信号最端部に向かって徐々に大きくなる、設定した前記高利得側結合位置に対応する高利得側ステップ値を設定し、
    前記中心閾値から設定した前記高利得側ステップ値を減算して対応する前記高利得側結合位置の新たな閾値として設定し、当該新たな閾値を適用して前記高利得側結合位置における閾値と前記高利得信号との比較結果に応じて前記合成処理を行う
    請求項８または９記載の固体撮像装置。
11. 前記信号処理部は、
    前記高利得信号を基準として前記合成処理を行い、
    前記閾値として、
    あらかじめ設定した基準閾値と、
    前記基準閾値と所定のステップ値とを比較演算することで決定した少なくとも一つの新たな閾値と、を前記合成処理に適用することが可能であり、
    前記非飽和領域の中心部位置に、前記基準閾値を中心閾値として設定し、
    前記中心閾値の設定位置から合成信号を前記低利得信号と結合すべき低利得信号最端部側結合位置の間に、当該低利得信号最端部側結合位置を含む少なくとも二つの低利得側結合位置を設定するとともに、中心部位置から低利得信号最端部に向かって徐々に大きくなる、設定した前記低利得側結合位置に対応する低利得側ステップ値を設定し、
    前記中心閾値に設定した前記低利得側ステップ値を加算して対応する前記低利得側結合位置の新たな閾値として設定し、当該新たな閾値を適用して前記低利得側結合位置における閾値と前記高利得信号との比較結果に応じて前記合成処理を行う
    請求項８または９記載の固体撮像装置。
12. 前記信号処理部は、
    前記高利得信号を基準として前記合成処理を行い、
    前記閾値として、
    あらかじめ設定した基準閾値と、
    前記基準閾値と所定のステップ値とを比較演算することで決定した少なくとも一つの新たな閾値と、を前記合成処理に適用することが可能であり、
    前記非飽和領域の中心部位置に、前記基準閾値を中心閾値として設定し、
    前記中心閾値の設定位置から合成信号を前記高利得信号と結合すべき高利得信号最端部側結合位置の間に、当該高利得信号最端部側結合位置を含む少なくとも二つの高利得側結合位置を設定するとともに、中心部位置から高利得信号最端部に向かって徐々に大きくなる、設定した前記高利得側結合位置に対応する高利得側ステップ値を設定し、
    前記中心閾値の設定位置から合成信号を前記低利得信号と結合すべき低利得信号最端部側結合位置の間に、当該低利得信号最端部側結合位置を含む少なくとも二つの低利得側結合位置を設定するとともに、中心部位置から低利得信号最端部に向かって徐々に大きくなる、設定した前記低利得側結合位置に対応する低利得側ステップ値を設定し、
    前記中心閾値から設定した前記高利得側ステップ値を減算して対応する前記高利得側結合位置の新たな閾値として設定し、当該新たな閾値を適用して前記高利得側結合位置における閾値と前記高利得信号との比較結果に応じて前記合成処理を行い、
    前記中心閾値に設定した前記低利得側ステップ値を加算して対応する前記低利得側結合位置の新たな閾値として設定し、当該新たな閾値を適用して前記低利得側結合位置における閾値と前記高利得信号との比較結果に応じて前記合成処理を行う
    請求項８または９記載の固体撮像装置。
13. 前記信号処理部は、
    前記高利得側結合位置または低利得側結合位置の閾値と前記高利得信号との比較により選択された前記閾値に挟まれた領域の信号レベルにおいては、当該領域に割り当てられた重み付け値に従って重み付け平均値を算出し、当該重み付け平均値を当該領域の合成信号として出力する
    請求項８から１２のいずれか一に記載の固体撮像装置。
14. 前記信号処理部は、
    前記高利得信号最端部側結合位置の閾値と前記高利得信号との比較の結果、閾値の方が大きい場合は前記高利得信号を合成信号として適用し、
    前記低利得信号最端部側結合位置の閾値と前記高利得信号との比較の結果、閾値の方が小さい場合は前記低利得信号を合成信号として適用する
    請求項８から１３のいずれか一に記載の固体撮像装置。
15. 複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置の駆動方法であって、
    前記複数の読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値とを比較する比較工程と、
    比較結果に応じて合成に必要となる信号を少なくとも一つ選択する選択工程と、
    合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する生成工程と、を有し、
    前記閾値を動的に変更して前記比較工程、前記選択工程、および前記生成工程の処理を行う
    固体撮像装置の駆動方法。
16. 複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置と、
    前記固体撮像装置に被写体像を結像する光学系と、を有し、
    前記固体撮像装置は、
    前記複数の読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を含み、
    前記信号処理部は、
    前記閾値を動的に変更可能である
    電子機器。

Images