JP2011109386A - 固体撮像素子およびその駆動方法、カメラシステム、プログラム - Google Patents
固体撮像素子およびその駆動方法、カメラシステム、プログラム Download PDFInfo
- Publication number
- JP2011109386A JP2011109386A JP2009261998A JP2009261998A JP2011109386A JP 2011109386 A JP2011109386 A JP 2011109386A JP 2009261998 A JP2009261998 A JP 2009261998A JP 2009261998 A JP2009261998 A JP 2009261998A JP 2011109386 A JP2011109386 A JP 2011109386A
- Authority
- JP
- Japan
- Prior art keywords
- accumulation
- exposure time
- period
- short
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
Abstract
【課題】被写体が動いて明暗の変化や色の変化がある場合でも、複数の短蓄の値から推定値の精度の向上が期待でき、偽色の発生などを抑えることが可能で、より自然な画像を得ることが可能な固体撮像素子およびその駆動方法、並びにカメラシステムを提供する。
【解決手段】画素駆動部１２０は、長い第１露光時間の第１蓄積期間中に、中間電圧転送により読み出し走査を実行し、その中間電圧転送により読み出し動作よりも高照度領域の画像取得のための第２露光時間だけ先行して、同じあるいは異なる電圧値の中間電圧による転送のための選択走査を、１回または複数回実行する機能を有し、短い第２露光時間の第２蓄積期間が、第１露光時間の第１蓄積期間中に複数設定され、信号処理系１３０は複数の短い第２蓄積期間のフレームからの値を用いて、短い第２蓄積期間のフレームからの出力値を推定する処理を行う。
【選択図】図７
【解決手段】画素駆動部１２０は、長い第１露光時間の第１蓄積期間中に、中間電圧転送により読み出し走査を実行し、その中間電圧転送により読み出し動作よりも高照度領域の画像取得のための第２露光時間だけ先行して、同じあるいは異なる電圧値の中間電圧による転送のための選択走査を、１回または複数回実行する機能を有し、短い第２露光時間の第２蓄積期間が、第１露光時間の第１蓄積期間中に複数設定され、信号処理系１３０は複数の短い第２蓄積期間のフレームからの値を用いて、短い第２蓄積期間のフレームからの出力値を推定する処理を行う。
【選択図】図７
Description
本発明は、ＣＣＤやＣＭＯＳイメージセンサに代表される固体撮像素子およびその駆動方法、カメラシステム、プログラムに関するものである。
ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤやＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）に代表される固体撮像素子は、入射光量に応じた電荷を蓄積する光電変換素子で光電変換を行う。
ところで近年、ＣＣＤに代わる固体撮像素子（イメージセンサ）として、ＣＭＯＳイメージセンサが注目を集めている。
これはＣＭＯＳイメージセンサが次の課題を克服しているからである。
すなわち、ＣＣＤ画素の製造には専用プロセスを必要とし、また、その動作には複数の電源電圧が必要であり、さらに複数の周辺ＩＣを組み合わせて動作させる必要がある。
このようなＣＣＤの場合、システムが非常に複雑化するといった処々の問題を、ＣＭＯＳイメージセンサが克服しているからである。
これはＣＭＯＳイメージセンサが次の課題を克服しているからである。
すなわち、ＣＣＤ画素の製造には専用プロセスを必要とし、また、その動作には複数の電源電圧が必要であり、さらに複数の周辺ＩＣを組み合わせて動作させる必要がある。
このようなＣＣＤの場合、システムが非常に複雑化するといった処々の問題を、ＣＭＯＳイメージセンサが克服しているからである。
ＣＭＯＳイメージセンサは、その製造には一般的なＣＭＯＳ型集積回路と同様の製造プロセスを用いることが可能であり、また単一電源での駆動が可能で、さらにＣＭＯＳプロセスを用いたアナログ回路や論理回路を同一チップ内に混在させることができる。
このため、ＣＭＯＳイメージセンサは、周辺ＩＣの数を減らすことができるといった、大きなメリットを複数持ち合わせている。
このため、ＣＭＯＳイメージセンサは、周辺ＩＣの数を減らすことができるといった、大きなメリットを複数持ち合わせている。
ＣＣＤの出力回路は、浮遊拡散層（ＦＤ：Floating Diffusion)を有するＦＤアンプを用いた１チャネル（ｃｈ）出力が主流である。
これに対して、ＣＭＯＳイメージセンサは画素毎にＦＤアンプを持ち合わせており、その出力は、画素アレイの中のある一行を選択し、それらを同時に列方向へと読み出すような列並列出力型が主流である。
これは、画素内に配置されたＦＤアンプでは十分な駆動能力を得ることは難しく、したがってデータレートを下げることが必要で、並列処理が有利とされているからである。
これに対して、ＣＭＯＳイメージセンサは画素毎にＦＤアンプを持ち合わせており、その出力は、画素アレイの中のある一行を選択し、それらを同時に列方向へと読み出すような列並列出力型が主流である。
これは、画素内に配置されたＦＤアンプでは十分な駆動能力を得ることは難しく、したがってデータレートを下げることが必要で、並列処理が有利とされているからである。
このような、ＣＭＯＳイメージセンサは、デジタルカメラやカムコーダー、監視カメラ、車載カメラなどの撮像装置において、撮像素子として広く用いられている。
図１は、４つのトランジスタで構成されるＣＭＯＳイメージセンサの画素回路例を示す図である。
この画素回路１０は、たとえばフォトダイオード（ＰＤ）からなる光電変換素子１１を有する。
画素回路１０は、この１個の光電変換素子１１に対して、転送トランジスタ１２、リセットトランジスタ１３、増幅トランジスタ１４、および選択トランジスタ１５の４つのトランジスタを能動素子として有する。
画素回路１０は、この１個の光電変換素子１１に対して、転送トランジスタ１２、リセットトランジスタ１３、増幅トランジスタ１４、および選択トランジスタ１５の４つのトランジスタを能動素子として有する。
光電変換素子１１は、入射光をその光量に応じた量の電荷（ここでは電子）に光電変換する。
転送トランジスタ１２は、光電変換素子１１とフローティングディフュージョンＦＤとの間に接続され、転送制御線ＬＴＲＧを通じてそのゲート（転送ゲート）に転送信号（駆動信号）ＴＲＧが与えられる。
これにより、光電変換素子１１で光電変換された電子をフローティングディフュージョンＦＤに転送する。
転送トランジスタ１２は、光電変換素子１１とフローティングディフュージョンＦＤとの間に接続され、転送制御線ＬＴＲＧを通じてそのゲート（転送ゲート）に転送信号（駆動信号）ＴＲＧが与えられる。
これにより、光電変換素子１１で光電変換された電子をフローティングディフュージョンＦＤに転送する。
リセットトランジスタ１３は、電源ラインＬＶＲＥＦとフローティングディフュージョンＦＤとの間に接続され、リセット制御線ＬＲＳＴを通してそのゲートにリセット信号ＲＳＴが与えられる。
これにより、フローティングディフュージョンＦＤの電位を電源ラインＬＶＲＥＦの電位にリセットする。
これにより、フローティングディフュージョンＦＤの電位を電源ラインＬＶＲＥＦの電位にリセットする。
フローティングディフュージョンＦＤには、増幅トランジスタ１４のゲートが接続されている。増幅トランジスタ１４は、選択トランジスタ１５を介して垂直信号線１６に接続され、画素部外の定電流源とソースフォロアを構成している。
そして、選択制御線ＬＳＥＬを通してアドレス信号（選択信号）ＳＥＬが選択トランジスタ１５のゲートに与えられ、選択トランジスタ１５がオンする。
選択トランジスタ１５がオンすると、増幅トランジスタ１４はフローティングディフュージョンＦＤの電位を増幅してその電位に応じた電圧を垂直信号線１６に出力する。垂直信号線１６を通じて、各画素から出力された電圧は、読み出し回路に出力される。
そして、選択制御線ＬＳＥＬを通してアドレス信号（選択信号）ＳＥＬが選択トランジスタ１５のゲートに与えられ、選択トランジスタ１５がオンする。
選択トランジスタ１５がオンすると、増幅トランジスタ１４はフローティングディフュージョンＦＤの電位を増幅してその電位に応じた電圧を垂直信号線１６に出力する。垂直信号線１６を通じて、各画素から出力された電圧は、読み出し回路に出力される。
ＣＭＯＳイメージセンサにおいては、このような構成を有する画素が２次元のアレイ状に配列される。
一般に、光電変換素子は、その蓄積電荷量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。
このような現象を防止するため、固体撮像素子においては、外光の変化等に応じて、光電変換素子における電荷蓄積時間を制御して露光時間を調整し、感度を最適値に制御する等の処理が行われる。
たとえば、明るい被写体に対しては、シャッタ速度を高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積時間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。
このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
たとえば、明るい被写体に対しては、シャッタ速度を高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積時間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。
このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。
しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。
このように、明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、次の処理が必要となる。
すなわち、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
このように、明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、次の処理が必要となる。
すなわち、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。
そのような状況に対応して、ＣＭＯＳイメージセンサにおいて、そのダイナミックレンジを拡大する技術が特許文献１，２，３等に提案されている。
特許文献１に開示された固体撮像素子では、転送トランジスタ１２のゲート電極に複数の制御電圧を順次供給し、その際に転送トランジスタ１２によって転送される信号電荷を２回以上読み出す。
特許文献２に開示された固体撮像素子では、転送トランジスタ１２のゲート電極に同じ電圧値の中間電圧を複数回供給し、その際に転送トランジスタ１２によって転送される信号電荷を２回以上読み出す。
なお、ここで中間電圧（中間電位）とは、転送トランジスタ１２が通常のような完全オフになるレベルではなく、あるレベル以上電子が蓄積されていたら余剰分をＦＤ部に溢れさせることが可能なレベルである。
なお、ここで中間電圧（中間電位）とは、転送トランジスタ１２が通常のような完全オフになるレベルではなく、あるレベル以上電子が蓄積されていたら余剰分をＦＤ部に溢れさせることが可能なレベルである。
特許文献１，２の固体撮像素子によれば、低照度にて通常飽和レベルを狭めることなく線形かつ高Ｓ／Ｎでの信号取得が可能となり、通常飽和レベル以上の入射光に対しても線形領域での良好なＳ／Ｎを実現しながらダイナミックレンジを拡大することができる。
特許文献３に開示された撮像装置では、長時間露光画像および短時間露光画像を入力して、それぞれの有効な画像値を選択的に組み合わせた広ダイナミックレンジ画像を生成する処理において、輝度変化画素を検出し画素値を置き換える処理を行う。
この処理では、広ダイナミックレンジ画像に基づくぼかし画像と広ダイナミックレンジ画像における輝度変化画素の画素位置に対応する画素値を適用して出力画素値を決定する。
この撮像装置によれば、被写体の移動などによって発生する輝度変化画素の階調不良や偽色の発生が防止され、自然な見た目の高品質画像を得ることができる。
この処理では、広ダイナミックレンジ画像に基づくぼかし画像と広ダイナミックレンジ画像における輝度変化画素の画素位置に対応する画素値を適用して出力画素値を決定する。
この撮像装置によれば、被写体の移動などによって発生する輝度変化画素の階調不良や偽色の発生が防止され、自然な見た目の高品質画像を得ることができる。
以下、これらの技術に基づいて、中間電位での読み出しを行う固体撮像素子の動作について説明する。
なお、以下の説明では簡略化のため、トランジスタでのばらつきを抑えるための中間電位を複数回印加する方法の説明については省略する。実際の動作では中間電位での複数回の印加が行われるが、この場合にも本発明の動作に関しては変更することなく使用することができる。
なお、以下の説明では簡略化のため、トランジスタでのばらつきを抑えるための中間電位を複数回印加する方法の説明については省略する。実際の動作では中間電位での複数回の印加が行われるが、この場合にも本発明の動作に関しては変更することなく使用することができる。
図２は、中間電位読み出しを行う固体撮像素子での画素での電荷の時間的な変化を示す図である。
横軸Ｓ１０１は時間軸で、期間Ｓ１０２が長時間蓄積（以下、長蓄）フレームの蓄積時間となる。縦軸Ｓ１０３は、画素に蓄えられた電荷量を示し、Ｓ１０４は画素の電荷蓄積の飽和レベル、Ｓ１０５は読み出しのための中間電位を示す。
横軸Ｓ１０１は時間軸で、期間Ｓ１０２が長時間蓄積（以下、長蓄）フレームの蓄積時間となる。縦軸Ｓ１０３は、画素に蓄えられた電荷量を示し、Ｓ１０４は画素の電荷蓄積の飽和レベル、Ｓ１０５は読み出しのための中間電位を示す。
２つのフレームの合成によってより大きなダイナミックレンジを実現する方法では、長蓄フレームに加え、１枚の短時間蓄積（以下、短畜）のフレームが用いられる。
短蓄フレームの開始時刻Ｓ１０６から終了時刻Ｓ１０７までの間が短蓄フレームの蓄積時間Ｓ１０８となる。短蓄フレームの読み出しは、長蓄フレームの蓄積時間の中間の時間となる。
図２では、ある隣接する画素での三つの色の成分について、時間とともに増加する電荷の様子を示している。
たとえば、成分Ｓ１０９はグリーン（Ｇ）で、成分Ｓ１１０はレッド（Ｒ）、成分Ｓ１１１はブルー（Ｂ）などとなる。
それぞれの色の成分の電荷の増加の速度は、被写体の色の違いや、イメージセンサの色感度の違いなどにより差異がある。
図２では、被写体が暗く、すべての色での電荷量の増加の速度が遅い場合について示している。
このとき、すべての色成分において、画素で蓄積された最終的な値は、長蓄フレームの値を読み出すことにより行われ、これらの色データから画像が再構成（デモザイク）される。このとき短蓄のフレームからの出力はない。
短蓄フレームの開始時刻Ｓ１０６から終了時刻Ｓ１０７までの間が短蓄フレームの蓄積時間Ｓ１０８となる。短蓄フレームの読み出しは、長蓄フレームの蓄積時間の中間の時間となる。
図２では、ある隣接する画素での三つの色の成分について、時間とともに増加する電荷の様子を示している。
たとえば、成分Ｓ１０９はグリーン（Ｇ）で、成分Ｓ１１０はレッド（Ｒ）、成分Ｓ１１１はブルー（Ｂ）などとなる。
それぞれの色の成分の電荷の増加の速度は、被写体の色の違いや、イメージセンサの色感度の違いなどにより差異がある。
図２では、被写体が暗く、すべての色での電荷量の増加の速度が遅い場合について示している。
このとき、すべての色成分において、画素で蓄積された最終的な値は、長蓄フレームの値を読み出すことにより行われ、これらの色データから画像が再構成（デモザイク）される。このとき短蓄のフレームからの出力はない。
図３は、被写体が明るい場合おいて、中間電位読み出しを行う固体撮像素子での画素での電荷の時間的な変化を示す図である。Ｓ１０１〜Ｓ１１１は図２と同じものを示す。
この場合、各色成分Ｓ１０９、Ｓ１１０、Ｓ１１１の電荷量の増加は図２の場合に比べて早く、短蓄フレームの蓄積の開始時間までに中間電位ＭＶを超えたり、あるいは飽和したりする。
このとき、中間電位Ｓ１０５でのリセットＳ２０１後の短蓄フレームの蓄積時間後の読み出しにより、各色成分として値Ｓ２０２、Ｓ２０３、Ｓ２０４が各色の短蓄フレームの値として読み出される。これらの３つの短蓄フレームの色データから画像が再構成（デモザイク）される。
この場合、各色成分Ｓ１０９、Ｓ１１０、Ｓ１１１の電荷量の増加は図２の場合に比べて早く、短蓄フレームの蓄積の開始時間までに中間電位ＭＶを超えたり、あるいは飽和したりする。
このとき、中間電位Ｓ１０５でのリセットＳ２０１後の短蓄フレームの蓄積時間後の読み出しにより、各色成分として値Ｓ２０２、Ｓ２０３、Ｓ２０４が各色の短蓄フレームの値として読み出される。これらの３つの短蓄フレームの色データから画像が再構成（デモザイク）される。
図２や図３の例では、隣接する色成分が同じ短蓄のフレームか、あるいは同じ長蓄のフレームから読み出され、正しい色の復元がこれらの値の組から行われる。
図４は、色ごとに電荷の増加速度に大きな差がある場合において、中間電位読み出しを行う固体撮像素子での画素での電荷の時間的な変化を示す図である。
成分Ｓ１０９は短蓄フレームの蓄積開始時刻までに中間電位Ｓ１０５を超え、短蓄フレームでの蓄積が行われる場合を示している。
成分Ｓ１０９は短蓄フレームの開始時刻Ｓ３０１でリセットされ、その後短蓄フレームの蓄積期間で蓄えられた電荷Ｓ３０２が読み出される。
一方、他の色成分Ｓ１１０、Ｓ１１１では短蓄フレームでの蓄積は行われず、長蓄フレームの出力として、電荷Ｓ３０３、Ｓ３０４が読み出される。
隣接画素において、短蓄の値と長蓄の値が混在するが、この場合にも正しい色を復元（デモザイク）することが可能となる。
成分Ｓ１０９は短蓄フレームの蓄積開始時刻までに中間電位Ｓ１０５を超え、短蓄フレームでの蓄積が行われる場合を示している。
成分Ｓ１０９は短蓄フレームの開始時刻Ｓ３０１でリセットされ、その後短蓄フレームの蓄積期間で蓄えられた電荷Ｓ３０２が読み出される。
一方、他の色成分Ｓ１１０、Ｓ１１１では短蓄フレームでの蓄積は行われず、長蓄フレームの出力として、電荷Ｓ３０３、Ｓ３０４が読み出される。
隣接画素において、短蓄の値と長蓄の値が混在するが、この場合にも正しい色を復元（デモザイク）することが可能となる。
これら３つのケース（図２〜図４）では、長蓄フレームの蓄積時間内での被写体の明暗の変化、色の変化はないものと仮定している。
そのため、短蓄フレームと長蓄フレームの値から、各色それぞれ正しい値を求めることができ、これらの色成分からデモザイクされ、復元された色も正しい色となり、偽色の発生などの現象は起こらない。
そのため、短蓄フレームと長蓄フレームの値から、各色それぞれ正しい値を求めることができ、これらの色成分からデモザイクされ、復元された色も正しい色となり、偽色の発生などの現象は起こらない。
しかしながら、このような中間電位を用いて読み出しを行う固体撮像素子では、被写体が動くなど、長畜フレームの蓄積時間の間に被写体の明暗や色が変化する場合には、短蓄フレーム側の正しい値が読み出せないという不利益がある。
このため、この色成分を用いてデモザイクすると偽色の発生などが起こる場合がある。
このため、この色成分を用いてデモザイクすると偽色の発生などが起こる場合がある。
図５は、問題となる第１の例を示す図である。
図５では、短蓄フレームの開始前までは暗く（Ｓ４０１）、その後明るくなる（Ｓ４０２）場合について示している。
図５では、短蓄フレームの開始前までは暗く（Ｓ４０１）、その後明るくなる（Ｓ４０２）場合について示している。
短蓄フレームの蓄積時間ではすでに明るい状況となっており、図５に示すようにその前の暗い状況での蓄積（Ｓ１０９）より早い速度で電荷が蓄積されて行く（Ｓ４０３）。
この短畜フレームでの値Ｓ４０３を読み出し、短蓄フレームと長蓄フレームの蓄積時間の比のゲインを掛けると、図５の成分値Ｓ４０６、Ｓ４０７、Ｓ４０８から予想値Ｓ４０９が求まる。
しかしながら、実際の値は、図５に示す値Ｓ１０９、Ｓ４１０、Ｓ４１１、Ｓ４１２から、値Ｓ４１３が正しい値となる。
そのため、単純な短蓄フレームからの読み出し値にゲインを掛けて求めたものからの予想値Ｓ４０９は、実際の値Ｓ４１３に比べ、成分値Ｓ４１４分だけ大きな値となってしまう。
この値を用いた場合、長蓄フレームで読みだされる他の色、Ｓ４０４とＳ４０５は正しい値であり、これらの値とともにこの部分でデモザイクを行い、色を求めると、実際の色とは異なるものとなってしまい、動被写体部分の画質が低下する場合もある。
この短畜フレームでの値Ｓ４０３を読み出し、短蓄フレームと長蓄フレームの蓄積時間の比のゲインを掛けると、図５の成分値Ｓ４０６、Ｓ４０７、Ｓ４０８から予想値Ｓ４０９が求まる。
しかしながら、実際の値は、図５に示す値Ｓ１０９、Ｓ４１０、Ｓ４１１、Ｓ４１２から、値Ｓ４１３が正しい値となる。
そのため、単純な短蓄フレームからの読み出し値にゲインを掛けて求めたものからの予想値Ｓ４０９は、実際の値Ｓ４１３に比べ、成分値Ｓ４１４分だけ大きな値となってしまう。
この値を用いた場合、長蓄フレームで読みだされる他の色、Ｓ４０４とＳ４０５は正しい値であり、これらの値とともにこの部分でデモザイクを行い、色を求めると、実際の色とは異なるものとなってしまい、動被写体部分の画質が低下する場合もある。
図６は、問題となる第２の例を示す図である。
図６では、短蓄フレームの開始までは明るく（Ｓ５０１）、その後、暗くなる（Ｓ５０２）場合について示している。
図６では、短蓄フレームの開始までは明るく（Ｓ５０１）、その後、暗くなる（Ｓ５０２）場合について示している。
短蓄フレームの蓄積開始時間ではすでに暗い状況となっており、図６に示すように、その前の明るい状況での蓄積（Ｓ１０９）より遅い速度で電荷が蓄積されて行く（Ｓ５０３）。
この短蓄フレームでの値Ｓ５０３を読みだし、短蓄フレームと長蓄フレームの蓄積時間の比のゲインを掛けると、図６のＳ５０６から予想値Ｓ５０７が求まる。
しかしながら、実際の値は、図６に示す値Ｓ１０９、Ｓ５０８、Ｓ５０９から、Ｓ５１０が正しい値となる。
そのため、単純な短蓄フレームからの読み出された値からの予想値Ｓ５０７は、実際の値Ｓ５１０に比べ、Ｓ５１１分だけ小さな値となってしまう。
この値を用いた場合、長蓄フレームで読みだされる他の色成分Ｓ５０４とＳ５０５は正しい値であり、これらの値とともにデモザイクを行い、この部分の色を求めると、実際の色とは異なるものとなってしまい、動被写体部分の画質が低下する場合もある。
この短蓄フレームでの値Ｓ５０３を読みだし、短蓄フレームと長蓄フレームの蓄積時間の比のゲインを掛けると、図６のＳ５０６から予想値Ｓ５０７が求まる。
しかしながら、実際の値は、図６に示す値Ｓ１０９、Ｓ５０８、Ｓ５０９から、Ｓ５１０が正しい値となる。
そのため、単純な短蓄フレームからの読み出された値からの予想値Ｓ５０７は、実際の値Ｓ５１０に比べ、Ｓ５１１分だけ小さな値となってしまう。
この値を用いた場合、長蓄フレームで読みだされる他の色成分Ｓ５０４とＳ５０５は正しい値であり、これらの値とともにデモザイクを行い、この部分の色を求めると、実際の色とは異なるものとなってしまい、動被写体部分の画質が低下する場合もある。
このような問題を解決するため、特許文献３では偽色の発生部分において、広ダイナミックレンジ画像と、これから生成されたぼかし画像の線形結合として新たな画像を作って置き換え、偽色を目立たなくするなどの方法が使用される。
しかしながら、この技術によっても偽色の発生を抑えることはできない。また、ぼかした画像を使うことで、ぼけが増えるという問題も残る。
しかしながら、この技術によっても偽色の発生を抑えることはできない。また、ぼかした画像を使うことで、ぼけが増えるという問題も残る。
本発明は、被写体が動いて明暗の変化や色の変化がある場合でも、複数の短時間蓄積の値から推定値の精度の向上が期待でき、偽色の発生などを抑えることが可能で、より自然な画像を得ることが可能な固体撮像素子およびその駆動方法、カメラシステム、プログラムを提供することにある。
本発明の第１の観点の固体撮像素子は、光信号を信号電荷に変換する光電変換素子と、当該光電変換素子で光電変換された信号電荷を出力ノードに転送する転送ゲートとを含む画素が行列状に配列された画素アレイ部と、上記画素アレイ部のシャッタ動作、および上記画素アレイ部の画素から読み出しを行うように上記画素の動作を制御する画素駆動部と、上記画素駆動部により読み出された信号を処理する信号処理系と、を有し、上記画素駆動部は、電子シャッタ動作から通常の読み出し動作間での画像を取得する第１露光時間の第１蓄積期間中に、中間電圧転送により読み出し走査を実行し、その中間電圧転送による読み出し動作に応じた画像取得のための第２露光時間を含み、同じあるいは異なる電圧値の中間電圧による転送のための選択走査を、１回または複数回実行する機能を有し、上記第１露光時間より短い第２露光時間の第２蓄積期間が、第１露光時間の第１蓄積期間中に複数設定され、上記信号処理系は、複数の第２蓄積期間で読み出された値を用いて、当該第２蓄積期間の出力値を推定する処理を行う。
本発明の第２の観点のカメラシステムは、固体撮像素子と、上記固体撮像素子に被写体像を結像する光学系と、を有し、上記固体撮像素子は、光信号を信号電荷に変換する光電変換素子と、当該光電変換素子で光電変換された信号電荷を出力ノードに転送する転送ゲートとを含む画素が行列状に配列された画素アレイ部と、上記画素アレイ部のシャッタ動作、および上記画素アレイ部の画素から読み出しを行うように上記画素の動作を制御する画素駆動部と、上記画素駆動部により読み出された信号を処理する信号処理系と、を有し、上記画素駆動部は、電子シャッタ動作から通常の読み出し動作間での画像を取得する第１露光時間の第１蓄積期間中に、中間電圧転送により読み出し走査を実行し、その中間電圧転送による読み出し動作に応じた画像取得のための第２露光時間を含み、同じあるいは異なる電圧値の中間電圧による転送のための選択走査を、１回または複数回実行する機能を有し、上記第１露光時間より短い第２露光時間の第２蓄積期間が、第１露光時間の第１蓄積期間中に複数設定され、上記信号処理系は、複数の第２蓄積期間で読み出された値を用いて、当該第２蓄積期間の出力値を推定する処理を行う。
本発明の第３の観点の固体撮像素子の駆動方法は、光信号を信号電荷に変換する光電変換素子と、当該光電変換素子で光電変換された信号電荷を出力ノードに転送する転送ゲートとを含む画素が行列状に配列された画素アレイ部を駆動するに際し、第１露光時間と、当該第１露光時間より短い第２露光時間の第２蓄積期間を、第１露光時間の第１蓄積期間中に複数設定し、電子シャッタ動作から通常の読み出し動作間での画像を取得する第１露光時間の第１蓄積期間中に、中間電圧転送により読み出し走査を実行し、その中間電圧転送による読み出し動作に応じた画像取得のための第２露光時間を含み、同じあるいは異なる電圧値の中間電圧による転送のための選択走査を、１回または複数回実行し、複数の第２蓄積期間で読み出された値を用いて、当該第２蓄積期間の出力値を推定する処理を行う。
本発明の第４の観点は、光信号を信号電荷に変換する光電変換素子と、当該光電変換素子で光電変換された信号電荷を出力ノードに転送する転送ゲートとを含む画素が行列状に配列された画素アレイ部を駆動するに際し、第１露光時間と、当該第１露光時間より短い第２露光時間の第２蓄積期間を、第１露光時間の第１蓄積期間中に複数設定する処理と、電子シャッタ動作から通常の読み出し動作間での画像を取得する第１露光時間の第１蓄積期間中に、中間電圧転送により読み出し走査を実行し、その中間電圧転送による読み出し動作に応じた画像取得のための第２露光時間を含み、同じあるいは異なる電圧値の中間電圧による転送のための選択走査を、１回または複数回実行する処理と、複数の第２蓄積期間で読み出された値を用いて、当該第２蓄積期間の出力値を推定する処理を行う処理と、を含む固体撮像素子の駆動処理をコンピュータに実行させるプログラムである。
本発明によれば、被写体が動いて明暗の変化や色の変化がある場合でも、複数の短時間蓄積の値から推定値の精度の向上が期待でき、偽色の発生などを抑えることができる。
これにより、より自然な画像を得ることができる。
これにより、より自然な画像を得ることができる。
以下、本発明の実施の形態を図面に関連付けて説明する。
なお、説明は次の順序で行う。
１．固体撮像素子の全体構成例
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．第４の実施形態
６・その他の補足説明
なお、説明は次の順序で行う。
１．固体撮像素子の全体構成例
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．第４の実施形態
６・その他の補足説明
＜１．固体撮像素子の全体構成例＞
図７は、本発明の実施形態に係るＣＭＯＳイメージセンサ（固体撮像素子）の構成例を示す図である。
図７は、本発明の実施形態に係るＣＭＯＳイメージセンサ（固体撮像素子）の構成例を示す図である。
本ＣＭＯＳイメージセンサ１００は、画素アレイ部１１０、画素駆動部としての行選択回路（Ｖｄｅｃ）１２０、および読み出し回路（ＡＦＥ）１３０を有する。
画素アレイ部１１０は、複数の画素回路１１０ＡがＭ行×Ｎ列の２次元状（マトリクス状）に配列されている。
図８は、本実施形態に係る４つのトランジスタで構成されるＣＭＯＳイメージセンサの画素の一例を示す図である。
この画素回路１１０Ａは、たとえばフォトダイオード（ＰＤ）からなる光電変換素子１１１を有する。
そして、画素回路１１０Ａは、この１個の光電変換素子１１１に対して、転送トランジスタ１１２、リセットトランジスタ１１３、増幅トランジスタ１１４、および選択トランジスタ１１５の４つのトランジスタを能動素子として有する。
そして、画素回路１１０Ａは、この１個の光電変換素子１１１に対して、転送トランジスタ１１２、リセットトランジスタ１１３、増幅トランジスタ１１４、および選択トランジスタ１１５の４つのトランジスタを能動素子として有する。
光電変換素子１１１は、入射光をその光量に応じた量の電荷（ここでは電子）に光電変換する。
転送トランジスタ１１２は、光電変換素子１１１と出力ノードとしてのフローティングディフュージョンＦＤとの間に接続され、転送制御線ＬＴＲＧを通じてそのゲート（転送ゲート）に制御信号である転送信号ＴＲＧが与えられる。
これにより、転送トランジスタ１１２は、光電変換素子１１１で光電変換された電子をフローティングディフュージョンＦＤに転送する。
転送トランジスタ１１２は、光電変換素子１１１と出力ノードとしてのフローティングディフュージョンＦＤとの間に接続され、転送制御線ＬＴＲＧを通じてそのゲート（転送ゲート）に制御信号である転送信号ＴＲＧが与えられる。
これにより、転送トランジスタ１１２は、光電変換素子１１１で光電変換された電子をフローティングディフュージョンＦＤに転送する。
リセットトランジスタ１１３は、電源ラインＬＶＲＥＦとフローティングディフュージョンＦＤとの間に接続され、リセット制御線ＬＲＳＴを通してそのゲートに制御信号であるリセット信号ＲＳＴが与えられる。
これにより、リセットトランジスタ１１３は、フローティングディフュージョンＦＤの電位を電源ラインＬＶＲＥＦの電位にリセットする。
これにより、リセットトランジスタ１１３は、フローティングディフュージョンＦＤの電位を電源ラインＬＶＲＥＦの電位にリセットする。
フローティングディフュージョンＦＤには、増幅トランジスタ１１４のゲートが接続されている。増幅トランジスタ１１４は、選択トランジスタ１１５を介して垂直信号線ＬＳＧＮに接続され、画素部外の定電流源とソースフォロアを構成している。
そして、選択制御線ＬＳＥＬを通してアドレス信号に応じた制御信号である選択信号ＳＥＬが選択トランジスタ１１５のゲートに与えられ、選択トランジスタ１１５がオンする。
選択トランジスタ１１５がオンすると、増幅トランジスタ１１４はフローティングディフュージョンＦＤの電位を増幅してその電位に応じた電圧を垂直信号線ＬＳＧＮに出力する。
信号線ＬＳＧＮを通じて、各画素から出力された電圧は、読み出し回路１３０に出力される。
これらの動作は、たとえば転送トランジスタ１１２、リセットトランジスタ１１３、および選択トランジスタ１１５の各ゲートが行単位で接続されていることから、１行分の各画素について同時に行われる。
そして、たとえば転送トランジスタ１１２をオン、オフする転送信号ＴＲＧは、後述するように、行選択回路１２０の駆動処理による中間的な電圧（中間電圧または中間電位という）値に設定されて供給される。
そして、選択制御線ＬＳＥＬを通してアドレス信号に応じた制御信号である選択信号ＳＥＬが選択トランジスタ１１５のゲートに与えられ、選択トランジスタ１１５がオンする。
選択トランジスタ１１５がオンすると、増幅トランジスタ１１４はフローティングディフュージョンＦＤの電位を増幅してその電位に応じた電圧を垂直信号線ＬＳＧＮに出力する。
信号線ＬＳＧＮを通じて、各画素から出力された電圧は、読み出し回路１３０に出力される。
これらの動作は、たとえば転送トランジスタ１１２、リセットトランジスタ１１３、および選択トランジスタ１１５の各ゲートが行単位で接続されていることから、１行分の各画素について同時に行われる。
そして、たとえば転送トランジスタ１１２をオン、オフする転送信号ＴＲＧは、後述するように、行選択回路１２０の駆動処理による中間的な電圧（中間電圧または中間電位という）値に設定されて供給される。
画素アレイ部１１０に配線されているリセット制御線ＬＲＳＴ、転送制御線ＬＴＲＧ、および選択制御線ＬＳＥＬが一組として画素配列の各行単位で配線されている。
これらのリセット制御線ＬＲＳＴ、転送制御線ＬＴＲＧ、および選択制御線ＬＳＥＬは、行選択回路１２０により駆動される。
これらのリセット制御線ＬＲＳＴ、転送制御線ＬＴＲＧ、および選択制御線ＬＳＥＬは、行選択回路１２０により駆動される。
行選択回路１２０は、画素アレイ部１１０の中の任意の行に配置された画素の動作を制御する。行選択回路１２０は、制御線ＬＳＥＬ、ＬＲＳＴ、ＬＴＲＧを通して画素を制御する。
行選択回路１２０は、図示しない制御系によるシャッタモード切替信号に応じて露光方式を行毎に露光を行うローリングシャッタ方式または前画素動に露光を行うグローバルシャッタ方式に切り替えて、画像駆動制御を行う。
行選択回路１２０は、図示しない制御系によるシャッタモード切替信号に応じて露光方式を行毎に露光を行うローリングシャッタ方式または前画素動に露光を行うグローバルシャッタ方式に切り替えて、画像駆動制御を行う。
行選択回路１２０は、たとえばシフトレジスタあるいはアドレスデコーダ等を含んで構成される。
行選択回路１２０は、図示しない制御系の制御の下、転送信号ＴＲＧ、リセット信号ＲＳＴ、および選択信号ＳＥＬ等の画素駆動信号を適宜発生する。
これにより、行選択回路１２０は、画素アレイ部１１０の各画素回路１００Ａを電子シャッタ行と読み出し行それぞれについて行単位で垂直方向に走査しつつ選択する。
そして、行選択回路１２０は、電子シャッタ行に対してはその行の画素回路１１０Ａの信号はき捨て（リセット）を行い、読み出しに対してその行の画素回路１１０Ａの信号読み出しを行うための読み出し駆動を行う。
行選択回路１２０は、図示しない制御系の制御の下、転送信号ＴＲＧ、リセット信号ＲＳＴ、および選択信号ＳＥＬ等の画素駆動信号を適宜発生する。
これにより、行選択回路１２０は、画素アレイ部１１０の各画素回路１００Ａを電子シャッタ行と読み出し行それぞれについて行単位で垂直方向に走査しつつ選択する。
そして、行選択回路１２０は、電子シャッタ行に対してはその行の画素回路１１０Ａの信号はき捨て（リセット）を行い、読み出しに対してその行の画素回路１１０Ａの信号読み出しを行うための読み出し駆動を行う。
行選択回路１２０は、図示しないが、画素回路１１０Ａの行単位で順に選択走査しつつ、読み出し行の各画素回路１１０Ａの信号ＶＳＬを読み出す動作を行うための読み出し走査系を有する。
行選択回路１２０は、図示しないが、読み出し走査系による読み出し走査よりもシャッタ速度に対応した時間分だけ先行して同じ行（電子シャッタ行）に対して電子シャッタ動作を行う電子シャッタ走査系を有する。
行選択回路１２０は、図示しないが、読み出し走査系による読み出し走査よりもシャッタ速度に対応した時間分だけ先行して同じ行（電子シャッタ行）に対して電子シャッタ動作を行う電子シャッタ走査系を有する。
そして、電子シャッタ走査系による電子シャッタ動作によって光電変換素子１１１の不要な電荷がリセットされたタイミングから、読み出し走査系による読み出し動作によって画素回路１１０Ａの信号が読み出されるタイミングまでの期間が第１露光時間となる。
この第１露光時間は、画素回路１１０Ａにおける信号電荷の第１蓄積期間に相当する。
すなわち、電子シャッタ動作とは、光電変換素子１１１に蓄積された信号電荷リセットを行い、そのリセット後から新たな信号電荷の蓄積を開始する動作である。
なお、本実施形態において、第１露光時間の期間中に、第１露光時間に読み出される映像信号を出力する画素回路１１０Ａの転送トランジスタ１１２を駆動する時間間隔によって決まる第２露光時間の第２蓄積期間が設定される。
この第１露光時間は、画素回路１１０Ａにおける信号電荷の第１蓄積期間に相当する。
すなわち、電子シャッタ動作とは、光電変換素子１１１に蓄積された信号電荷リセットを行い、そのリセット後から新たな信号電荷の蓄積を開始する動作である。
なお、本実施形態において、第１露光時間の期間中に、第１露光時間に読み出される映像信号を出力する画素回路１１０Ａの転送トランジスタ１１２を駆動する時間間隔によって決まる第２露光時間の第２蓄積期間が設定される。
行選択回路１２０は、選択走査する読み出し行に先行して等間隔に複数行、たとえば２行を選択走査する先行選択機能を有する。
この先行選択機能は、たとえばシフトレジスタあるいはアドレスデコーダ等を含んで構成可能である。
先行選択機能は、図示しない制御系の制御の下、選択走査に走査して、転送信号ＴＲＧを適宜発生することにより、選択走査される読み出し行に先行して等間隔に２つの行を選択走査する。
この選択走査では、転送信号ＴＲＧに基づいて光電変換素子１１１に蓄積された信号電荷をＦＤに転送する動作が行われる。
この先行選択機能は、たとえばシフトレジスタあるいはアドレスデコーダ等を含んで構成可能である。
先行選択機能は、図示しない制御系の制御の下、選択走査に走査して、転送信号ＴＲＧを適宜発生することにより、選択走査される読み出し行に先行して等間隔に２つの行を選択走査する。
この選択走査では、転送信号ＴＲＧに基づいて光電変換素子１１１に蓄積された信号電荷をＦＤに転送する動作が行われる。
行選択回路１２０は、選択走査に同期して画素回路１１０Ａの転送トランジスタ１１２、リセットトランジスタ１１３、および選択トランジスタ１１５をオン、オフするための転送信号ＴＲＧ、リセット信号ＲＳＴ、選択信号ＳＥＬを画素回路１１０Ａに供給する。 行選択回路１２０は、先行選択機能による選択走査に同期して画素回路１１０Ａの各トランジスタをオン、オフするための電圧と基準電圧との中間的な電圧（中間電圧または中間電位）の転送信号ＴＲＧを画素回路１１０Ａの転送トランジスタ１１２に供給する。
行選択回路１２０は、電子シャッタ動作から通常の読み出し動作間での低照度領域の画像を取得する第１露光時間の期間中に、中間電圧転送により読み出し走査を実行する。
行選択回路１２０は、その中間電圧転送により読み出し動作よりも高照度領域の画像取得のための第２露光時間だけ先行して、同じあるいは異なる電圧値の中間電圧によるダミー転送のための行選択走査を１回または複数回実行する。
本実施形態においては、第１露光時間より短い第２露光時間の期間が、第１露光時間の期間中に複数設定される。
本実施形態においては、短い第２露光時間の第２蓄積期間が、第１露光時間の期間中に複数設定されるが、たとえば同一の蓄積時間Ｔｓに設定された短い第２蓄積期間のフレームを複数持つ。
または、本実施形態においては蓄積時間の異なる短い第２蓄積期間を持つフレームを複数組有し、ひとつの組のフレームにおいては同一の蓄積時間に設定された短い第２蓄積期間のフレームを複数持つ。
行選択回路１２０は、その中間電圧転送により読み出し動作よりも高照度領域の画像取得のための第２露光時間だけ先行して、同じあるいは異なる電圧値の中間電圧によるダミー転送のための行選択走査を１回または複数回実行する。
本実施形態においては、第１露光時間より短い第２露光時間の期間が、第１露光時間の期間中に複数設定される。
本実施形態においては、短い第２露光時間の第２蓄積期間が、第１露光時間の期間中に複数設定されるが、たとえば同一の蓄積時間Ｔｓに設定された短い第２蓄積期間のフレームを複数持つ。
または、本実施形態においては蓄積時間の異なる短い第２蓄積期間を持つフレームを複数組有し、ひとつの組のフレームにおいては同一の蓄積時間に設定された短い第２蓄積期間のフレームを複数持つ。
読み出し回路１３０は、行選択回路１２０の駆動により選択されまたは先行選択された読み出し行の各画素回路１１０Ａからの垂直信号線ＬＳＧＮを通して出力される信号ＶＳＬに対して所定の処理を行い、たとえば信号処理後の画素信号を一時的に保持する。
読み出し回路１３０は、垂直信号線ＬＳＧＮを通して出力される信号をサンプルホールドするサンプルホールド回路を含む回路構成を適用可能である。
あるいは読み出し回路１３０は、サンプルホールド回路を含み、ＣＤＳ（相関二重サンプリング）処理により、リセットノイズや増幅トランジスタ１１４の閾値ばらつき等、画素固有の固定パターンノイズを除去する機能を含む回路構成が適用可能である。
また、読み出し回路１３０は、アナログデジタル（ＡＤ）変換機能を持たせ、信号レベルをデジタル信号とする構成を適用可能である。
読み出し回路１３０は、垂直信号線ＬＳＧＮを通して出力される信号をサンプルホールドするサンプルホールド回路を含む回路構成を適用可能である。
あるいは読み出し回路１３０は、サンプルホールド回路を含み、ＣＤＳ（相関二重サンプリング）処理により、リセットノイズや増幅トランジスタ１１４の閾値ばらつき等、画素固有の固定パターンノイズを除去する機能を含む回路構成が適用可能である。
また、読み出し回路１３０は、アナログデジタル（ＡＤ）変換機能を持たせ、信号レベルをデジタル信号とする構成を適用可能である。
本実施形態の読み出し回路１３０に含まれる信号処理系または後段の信号処理系は、上述した第１露光時間および第２露光時間における読み出し信号から以下の推定処理を行う推定処理機能を有する。
本実施形態の信号処理系は、中間電位での読み出しを行う固体撮像素子において、動被写体などを撮影したような場合など、蓄積期間において明暗の変化のある場合でも、複数の第２露光時間に相当する短時間蓄積（短蓄）フレームの正しい値を推定する。短蓄フレームは第２蓄積期間のフレームに相当する。
これにより、信号処理系は正しい色を再現することができる。
これにより、信号処理系は正しい色を再現することができる。
本実施形態では、第１露光時間に相当する長時間蓄積（長蓄）フレームの期間内において、同一の蓄積期間に設定された複数の短蓄フレームを設けることを特徴とし、これら複数の短蓄フレームからの出力値を用いて、正しい値を推定する。長蓄フレームは第１蓄積期間のフレームに相当する。
２つの異なる蓄積期間のフレームを用いてダイナミックレンジの拡大を行う場合には、通常最終映像のフレームレイトの２倍のフレームレイトが必要となる。
本実施形態では、さらに２つの短蓄のフレームを追加した場合について説明を行うが、この場合には最終映像の４倍のフレームレイトでの動作が必要となる。
２つの異なる蓄積期間のフレームを用いてダイナミックレンジの拡大を行う場合には、通常最終映像のフレームレイトの２倍のフレームレイトが必要となる。
本実施形態では、さらに２つの短蓄のフレームを追加した場合について説明を行うが、この場合には最終映像の４倍のフレームレイトでの動作が必要となる。
本実施形態の固体撮像素子１００は、前述したように、中間電位での読み出しが可能であり、長い蓄積時間の期間ＴＩのなかで、同一の蓄積時間Ｔｓに設定された短い第２蓄積期間のフレームを複数持つことを特徴としている。
そして、信号処理系は、これら複数の短い第２蓄積期間のフレームからの値（第２蓄積期間で読み出された値）を用いて、短い第２蓄積期間のフレームからの出力値を推定する機能を有する。
そして、信号処理系は、これら複数の短い第２蓄積期間のフレームからの値（第２蓄積期間で読み出された値）を用いて、短い第２蓄積期間のフレームからの出力値を推定する機能を有する。
または、本実施形態の固体撮像素子１００は、前述したように、中間電位での読み出しが可能であり、長い蓄積時間の期間ＴＩのなかで、蓄積時間Ｔｓの異なる短い第２蓄積期間を持つフレームを複数組有する。そして、ひとつの組のフレームにおいては同一の蓄積期間に設定された短い蓄積時間Ｔｓのフレームを複数持つことを特徴としている。
そして、信号処理系は、これら複数の短い蓄積時間Ｔｓのフレームからの値を用いて、各組の短い蓄積期間のフレームの出力値を推定する機能を有する。すなわち、信号処理系は、同一の蓄積期間を持つフレームの出力値からの推定する機能を有する。
そして、信号処理系は、これら複数の短い蓄積時間Ｔｓのフレームからの値を用いて、各組の短い蓄積期間のフレームの出力値を推定する機能を有する。すなわち、信号処理系は、同一の蓄積期間を持つフレームの出力値からの推定する機能を有する。
本実施形態の固体撮像素子１００の信号処理系は、複数の異なる蓄積時間を持つ複数の短い第２蓄積期間のフレームを使用する場合、蓄積時間の異なる他の短蓄の出力値からと併せて、その短蓄の正しい出力値を推定するあるいは偽色の発生の検出を行う機能を有する。
すなわち、信号処理系は、異なる蓄積時間を持つ他のフレームの出力値と併せて、出力値を推定するように構成することも可能である。
すなわち、信号処理系は、異なる蓄積時間を持つ他のフレームの出力値と併せて、出力値を推定するように構成することも可能である。
信号処理系は、所望の短蓄フレームの蓄積時間をＴｓとした場合、Ｎ個の各短畜フレームの蓄積時間をＴｓ/Ｎとして、短畜フレームの出力の予想値として、これＮ個の短畜フレームからの出力の合計値とする。
すなわち、信号処理系は、合計値として推定する機能を有するように構成することが可能である。
すなわち、信号処理系は、合計値として推定する機能を有するように構成することが可能である。
信号処理系は、Ｎ個の蓄積時間をＴＳ１/Ｎとする短い蓄積時間に設定された短蓄フレームの第１の組と、Ｍ個の蓄積時間をＴｓ２/Ｍとする短い蓄積時間に設定された短蓄フレームの第２の組を持つ。
そして、信号処理系は、第１の組の短い蓄積時間の出力の予想値として、これＮ個の短畜フレームからの出力の合計とし、第２の組の短い蓄積期間の出力の予想値として、これＭ個の短畜フレームからの出力の合計とするように構成することも可能である。
そして、信号処理系は、第１の組の短い蓄積時間の出力の予想値として、これＮ個の短畜フレームからの出力の合計とし、第２の組の短い蓄積期間の出力の予想値として、これＭ個の短畜フレームからの出力の合計とするように構成することも可能である。
以下に、信号処理系における複数の処理ついて、図９〜図１５に関連付けて具体的に説明する。
＜２．第１の実施形態＞
図９は、図５と同様に被写体が暗から明へ変化した場合での本第１の実施形態に係る駆動方法について説明するための図である。
図９は、図５と同様に被写体が暗から明へ変化した場合での本第１の実施形態に係る駆動方法について説明するための図である。
ここでは、理解を容易にするために、図２〜図６と同一構成部分を同一符号Ｓ１０１〜Ｓ１１１をもって表す。
図２は、中間電位読み出しを行う固体撮像素子での画素での電荷の時間的な変化を示す図である。
横軸Ｓ１０１は時間軸で、期間Ｓ１０２が長時間蓄積（以下、長蓄）フレームの蓄積時間となる。縦軸Ｓ１０３は、画素に蓄えられた電荷量を示し、Ｓ１０４は画素の電荷蓄積の飽和レベル、Ｓ１０５は読み出しのための中間電位を示す。
図２は、中間電位読み出しを行う固体撮像素子での画素での電荷の時間的な変化を示す図である。
横軸Ｓ１０１は時間軸で、期間Ｓ１０２が長時間蓄積（以下、長蓄）フレームの蓄積時間となる。縦軸Ｓ１０３は、画素に蓄えられた電荷量を示し、Ｓ１０４は画素の電荷蓄積の飽和レベル、Ｓ１０５は読み出しのための中間電位を示す。
２つのフレームの合成によってより大きなダイナミックレンジを実現する方法では、長蓄フレームに加え、複数枚の短時間蓄積（以下、短畜）のフレームが用いられる。
図９においても、ある隣接する画素での三つの色の成分について、時間とともに増加する電荷の様子を示している。
たとえば、成分Ｓ１０９はグリーン（Ｇ）で、成分Ｓ１１０はレッド（Ｒ）、成分Ｓ１１１はブルー（Ｂ）などとなる。
それぞれの色の成分の電荷の増加の速度は、被写体の色の違いや、イメージセンサの色感度の違いなどにより差異がある。
図９においても、ある隣接する画素での三つの色の成分について、時間とともに増加する電荷の様子を示している。
たとえば、成分Ｓ１０９はグリーン（Ｇ）で、成分Ｓ１１０はレッド（Ｒ）、成分Ｓ１１１はブルー（Ｂ）などとなる。
それぞれの色の成分の電荷の増加の速度は、被写体の色の違いや、イメージセンサの色感度の違いなどにより差異がある。
図９において、Ｓ６０１は暗い（低照度）の期間を、Ｓ６０２は明るい（高照度）の期間を示している。
本第１の実施形態では、同じ蓄積時間に設定された３つの短蓄Ｔｓ１（Ｓ６０３）、Ｔｓ２（Ｓ６０４）、Ｔｓ３（Ｓ６０５）が設定される。
これら３つの短畜の値が読み出され、正しい値の推定に用いられる。真中の短蓄Ｔｓ２の開始時刻までは暗く（Ｓ６０１）、その後明るく（Ｓ６０２）なる場合について示す。
これら３つの短畜の値が読み出され、正しい値の推定に用いられる。真中の短蓄Ｔｓ２の開始時刻までは暗く（Ｓ６０１）、その後明るく（Ｓ６０２）なる場合について示す。
成分Ｓ１１０はＴｓ２開始後、電荷量の増加速度が増加するが、中間電位までは達することなく、Ｓ６０８として長蓄から読み出される。成分Ｓ１１１も同様にＳ６０９として長蓄から読み出される。
一方、成分Ｓ１０９は、初めの短蓄Ｔｓ１までには蓄積電荷量が中間電位に達せず、短蓄Ｔｓ１の出力はゼロとなるが２番目の短蓄Ｔｓ２の始まりでは中間電位を超えており、明るい被写体での電荷の蓄積が行われ短蓄Ｔｓ２の読み出しで値６０６が読み出される。
第３の短蓄Ｔｓ３でも同様にＳ６０７が読み出される。
以下の説明の便宜上、明るい被写体の輝度に変化はなく、Ｓ６０６とＳ６０７は同じ値になるものとする。
これら３つの短蓄からの出力値から、実際の蓄積電荷量をより正確に推定することが可能となる。
一方、成分Ｓ１０９は、初めの短蓄Ｔｓ１までには蓄積電荷量が中間電位に達せず、短蓄Ｔｓ１の出力はゼロとなるが２番目の短蓄Ｔｓ２の始まりでは中間電位を超えており、明るい被写体での電荷の蓄積が行われ短蓄Ｔｓ２の読み出しで値６０６が読み出される。
第３の短蓄Ｔｓ３でも同様にＳ６０７が読み出される。
以下の説明の便宜上、明るい被写体の輝度に変化はなく、Ｓ６０６とＳ６０７は同じ値になるものとする。
これら３つの短蓄からの出力値から、実際の蓄積電荷量をより正確に推定することが可能となる。
図１０は、図９の状況での短蓄の値から、正しい値の推定方法について示す図である。
図９の短蓄の出力値から、実際の値としての可能な最大値は短蓄Ｔｓ１の終了時点で中間電位でありＳ７０１、その後短蓄Ｔｓ２の蓄積速度で増加していった場合の出力値Ｓ７０２である。
また、実際の値としての可能な最小値は、短蓄Ｔｓ２の開始時点で中間電位Ｓ７０３であり、その後短蓄Ts2の増加速度で増加していった場合の出力値Ｓ７０４となる。
したがって、正しい値として推定される範囲は、図１０のＳ７０５の区間となる。最も確からしい推定値として、Ｓ７０２とＳ７０４の中間値を採用するなどの方法がとられる。
また、実際の値としての可能な最小値は、短蓄Ｔｓ２の開始時点で中間電位Ｓ７０３であり、その後短蓄Ts2の増加速度で増加していった場合の出力値Ｓ７０４となる。
したがって、正しい値として推定される範囲は、図１０のＳ７０５の区間となる。最も確からしい推定値として、Ｓ７０２とＳ７０４の中間値を採用するなどの方法がとられる。
図１１は、図６と同様に明から暗へ変化した場合での本第１の実施形態に係る駆動方法について説明するための図である。
図９と同様に、同じ蓄積時間に設定された３つの短蓄Ｔｓ１（Ｓ８０３）、Ｔｓ２（Ｓ８０４）、Ｔｓ３（Ｓ８０５）が設定される。
これら３つの短畜の値が読み出され、正しい値の推定に用いられる。
真中の短蓄Ｔｓ２の開始時刻までは明るく（Ｓ８０１）、その後、暗く（Ｓ８０２）なる場合について示す。
これら３つの短畜の値が読み出され、正しい値の推定に用いられる。
真中の短蓄Ｔｓ２の開始時刻までは明るく（Ｓ８０１）、その後、暗く（Ｓ８０２）なる場合について示す。
成分Ｓ１１０はＴｓ２後電荷の増加速度が減少し、Ｓ８０９として長蓄から読み出される。成分Ｓ１１１も同様にＳ８１０として長蓄から読み出される。
一方、成分Ｓ１０９は、初めの短蓄Ｔｓ１までに蓄積電荷量が中間電位に達し、短蓄Ｔｓ１の出力はＳ８０６として読み出される。
２番目の短蓄Ｔｓ２の始まりでは中間電位を超えており、暗い被写体での電荷の蓄積が行われ、短蓄Ｔｓ２の読み出しで値Ｓ８０７が読み出される。
第３の短蓄Ｔｓ３でも同様に値Ｓ８０８が読み出される。
以下の説明の便宜上暗い被写体の輝度の変化はなく、Ｓ８０７とＳ８０８は同じ値になるものとする。これら３つの短蓄Ｔｓ１，Ｔｓ２，Ｔｓ３からの出力値から、実際の蓄積電荷量を推定することが可能となる。
一方、成分Ｓ１０９は、初めの短蓄Ｔｓ１までに蓄積電荷量が中間電位に達し、短蓄Ｔｓ１の出力はＳ８０６として読み出される。
２番目の短蓄Ｔｓ２の始まりでは中間電位を超えており、暗い被写体での電荷の蓄積が行われ、短蓄Ｔｓ２の読み出しで値Ｓ８０７が読み出される。
第３の短蓄Ｔｓ３でも同様に値Ｓ８０８が読み出される。
以下の説明の便宜上暗い被写体の輝度の変化はなく、Ｓ８０７とＳ８０８は同じ値になるものとする。これら３つの短蓄Ｔｓ１，Ｔｓ２，Ｔｓ３からの出力値から、実際の蓄積電荷量を推定することが可能となる。
図１２は、図１１の状況での短蓄の値から、正しい値の推定方法について示す図である。
実際の値としての可能な最大値は、短蓄Ｔｓ２の開始時点まで成分Ｓ１０９の速度で増加し、その後短蓄Ｔｓ２の蓄積速度で増加していった場合の出力値Ｓ９０２である。
また、実際の値としての可能な最小値は、短蓄Ｔｓ１の終了時点まで成分Ｓ１０９の速度で増加し、その後短蓄Ｔｓ２の増加速度で増加していった場合の出力値Ｓ９０４となる。
したがって、正しい値の推定範囲は、図１２のＳ９０５となる。
最も確からしい推定値としてＳ９０２とＳ９０４の中間値を採用するなどの方法がとられる。
本例の推定方法を用いれば、ひとつの短蓄の出力値からでは検知することのできなかった被写体の明暗の変化や色の変化を検知することができ、短蓄の推定値としても、より正しい値を求めることが可能となる。
その他の明暗の変化の場合にも同様に正しい値の範囲を推定することができる。
また、実際の値としての可能な最小値は、短蓄Ｔｓ１の終了時点まで成分Ｓ１０９の速度で増加し、その後短蓄Ｔｓ２の増加速度で増加していった場合の出力値Ｓ９０４となる。
したがって、正しい値の推定範囲は、図１２のＳ９０５となる。
最も確からしい推定値としてＳ９０２とＳ９０４の中間値を採用するなどの方法がとられる。
本例の推定方法を用いれば、ひとつの短蓄の出力値からでは検知することのできなかった被写体の明暗の変化や色の変化を検知することができ、短蓄の推定値としても、より正しい値を求めることが可能となる。
その他の明暗の変化の場合にも同様に正しい値の範囲を推定することができる。
図１３は、図１１とは異なる明暗の変化をした例を示す図である。
図１４は、図１３での駆動方法での推定の方法を示す図である。
図１４は、図１３での駆動方法での推定の方法を示す図である。
短蓄Ｔｓ１の読み出し時点まで明るく、その後、暗くなった場合で、短蓄フレームの出力は、Ｓ１１０６、Ｓ１１０７、Ｓ１１０８となる。
これら３つの短蓄フレームからの出力により、図１４に示すように図１１と同様な推定方法を用い、推定の最大値Ｓ１２０２と最小値Ｓ１２０４の中間値が最も確からしい値として妥当である。
図１４に示す明暗の変化の再には、実際の値は、Ｓ１２０４となる。
このように明暗の変化のさまざまな場合について同様な方法で正しい値を推定することが可能となる。
これら３つの短蓄フレームからの出力により、図１４に示すように図１１と同様な推定方法を用い、推定の最大値Ｓ１２０２と最小値Ｓ１２０４の中間値が最も確からしい値として妥当である。
図１４に示す明暗の変化の再には、実際の値は、Ｓ１２０４となる。
このように明暗の変化のさまざまな場合について同様な方法で正しい値を推定することが可能となる。
＜３．第２の実施形態＞
図１５は、本第２の実施形態に係る駆動方法について説明するための図である。
図１５は、本第２の実施形態に係る駆動方法について説明するための図である。
本第２の実施形態では３種類の異なる蓄積時間を持つフレームを合成して高ダイナミックレンジの拡張を行う場合について、本発明を適用した例を示す。この場合、必要なフレームレイトは８倍となる。
本例では、短い蓄積時間を持つ４つの短蓄Ｓ１００１（Ｔｓｓ１）、Ｓ１００２（Ｔｓｓ２）、Ｓ１００３（Ｔｓｓ３）、Ｓ１００４（Ｔｓｓ４）を使用する。
そして、本例では、短蓄Ｔｓｓ１〜Ｔｓｓ４より長い蓄積時間に設定された３つの短蓄Ｓ１００５（Ｔｓ１）、Ｓ１００６（Ｔｓ２）、Ｓ１００７（Ｔｓ３）を使用し、図に示すように交互に読み出しを行う。
４つの短い短蓄を使用して明暗の変化を捉え、蓄積時間Ｔｓｓでの正しい値を推定する。
また同様に、３つの長い蓄積時間を持つ短蓄を使用して明暗の変化を捉え、蓄積時間Ｔｓでの正しい値を推定する。それぞれのフレームでの正しい値の推定方法は、第１の実施形態と同様に行うことが可能となる。
そして、本例では、短蓄Ｔｓｓ１〜Ｔｓｓ４より長い蓄積時間に設定された３つの短蓄Ｓ１００５（Ｔｓ１）、Ｓ１００６（Ｔｓ２）、Ｓ１００７（Ｔｓ３）を使用し、図に示すように交互に読み出しを行う。
４つの短い短蓄を使用して明暗の変化を捉え、蓄積時間Ｔｓｓでの正しい値を推定する。
また同様に、３つの長い蓄積時間を持つ短蓄を使用して明暗の変化を捉え、蓄積時間Ｔｓでの正しい値を推定する。それぞれのフレームでの正しい値の推定方法は、第１の実施形態と同様に行うことが可能となる。
＜４．第３の実施形態＞
第３の実施形態は、４つのフレームの合成を行って広ダイナミックレンジを実現する従来の場合において、異なる蓄積時間を持つ他の短蓄のフレームの出力データを併用して、各短蓄の正しい値を推定する方法を提供する。
また、本手法は、偽色の発生を検出したり、その検出を用いて偽色を補正したりする場合にも有効に使用できる。
第３の実施形態は、４つのフレームの合成を行って広ダイナミックレンジを実現する従来の場合において、異なる蓄積時間を持つ他の短蓄のフレームの出力データを併用して、各短蓄の正しい値を推定する方法を提供する。
また、本手法は、偽色の発生を検出したり、その検出を用いて偽色を補正したりする場合にも有効に使用できる。
図９において、３つの短蓄フレームＳ６０３、Ｓ６０４、Ｓ６０６の蓄積時間に異なるものを用いた場合も同様の方法で正しい値を推定することができる。
このように短蓄フレームの蓄積時間を変えることで、４フレームでの合成により、広ダイナミックレンジを実現することが可能となり、この場合でも正しい値の推定が同様に可能となる。
このように短蓄フレームの蓄積時間を変えることで、４フレームでの合成により、広ダイナミックレンジを実現することが可能となり、この場合でも正しい値の推定が同様に可能となる。
＜５．第４の実施形態＞
本例では、図９において、所望の短畜の蓄積時間Ｔｓの３分の一の同一の蓄積時間に設定された３つの短蓄Ｔｓ１（Ｓ６０３）、Ｔｓ２（Ｓ６０４）、Ｔｓ３（Ｓ６０５）の場合において短蓄の正しい値の推定として、３つの短蓄からの出力値の合計として求める。
３つに短蓄の合計に限ることなく、Ｔｓ/Ｎの蓄積時間を持つＮ個の短畜の場合も同様に実現することが可能である。
また、異なる短蓄の蓄積時間を持つ、複数のフレームの組から構成される場合にも同様に、それぞれの組の中で、短蓄フレームからの値を合計して正しい値を推定する場合にも同様に適用できる。
本例では、図９において、所望の短畜の蓄積時間Ｔｓの３分の一の同一の蓄積時間に設定された３つの短蓄Ｔｓ１（Ｓ６０３）、Ｔｓ２（Ｓ６０４）、Ｔｓ３（Ｓ６０５）の場合において短蓄の正しい値の推定として、３つの短蓄からの出力値の合計として求める。
３つに短蓄の合計に限ることなく、Ｔｓ/Ｎの蓄積時間を持つＮ個の短畜の場合も同様に実現することが可能である。
また、異なる短蓄の蓄積時間を持つ、複数のフレームの組から構成される場合にも同様に、それぞれの組の中で、短蓄フレームからの値を合計して正しい値を推定する場合にも同様に適用できる。
＜６．その他の補足説明＞
本発明の実施形態の説明においては、主に、２つの異なる蓄積時間の２種類のフレームを用いてダイナミックレンジの拡大を図る場合について説明し、この中で３つの同一の蓄積時間を持つ短蓄のフレームを用いた場合についての説明を中心に行う。
しかし、本発明の適用はこのような場合に限るものではない。
３つ以上の異なる蓄積時間を持つフレームの合成によりダイナミックレンジを拡大する場合や、４つ以上の同一の蓄積時間を持つ短蓄からの値を用いて正しい値を推定する場合へも容易に拡張することができる。
本発明の実施形態の説明においては、主に、２つの異なる蓄積時間の２種類のフレームを用いてダイナミックレンジの拡大を図る場合について説明し、この中で３つの同一の蓄積時間を持つ短蓄のフレームを用いた場合についての説明を中心に行う。
しかし、本発明の適用はこのような場合に限るものではない。
３つ以上の異なる蓄積時間を持つフレームの合成によりダイナミックレンジを拡大する場合や、４つ以上の同一の蓄積時間を持つ短蓄からの値を用いて正しい値を推定する場合へも容易に拡張することができる。
実際の明暗の変化は、例で示したような場合に限られるわけではなく様々な場合がある。これらの場合でも同じ手法に、従来方法に比べ、より正しい値を推定することは可能である。
推定の精度の問題などで偽色が残存する場合には、彩度の圧縮を併用するなどして目立たなくするなどの手法が用いられる。
推定の精度の問題などで偽色が残存する場合には、彩度の圧縮を併用するなどして目立たなくするなどの手法が用いられる。
図１６は、本実施形態に係る短蓄フレームの正しい値を推定する推定回路を含む固体撮像素子の構成例を含むブロック図である。
この固体撮像素子２００は、図７の固体撮像素子１００の読み出し回路１３０の後段に推定回路を含む信号処理系２１０およびメモリ２２０が配置されている。
信号処理系２１０は、メモリコントローラ２１１、推定回路２１２、合成回路２１３、およびカメラ信号処理回路２１４を有する。
ここでは、図９に示した動作に沿って説明する。
信号処理系２１０は、メモリコントローラ２１１、推定回路２１２、合成回路２１３、およびカメラ信号処理回路２１４を有する。
ここでは、図９に示した動作に沿って説明する。
中間電位の読み出し機能を有するＣＭＯＳイメージセンサ（固体撮像素子）１００から読み出された３つの短蓄Ｔｓ１，Ｔｓ２，Ｔｓ３の信号と長蓄ＴＩ（Ｓ１０２）の信号は、メモリコントローラ２１１により信号Ｓ２１１１としてメモリ２２０に書き込まれる。
３つの短蓄期間と長蓄の読み出しタイミングは図９に示すとおりである。
メモリ２２０から信号Ｓ２２０を経てメモリコントローラ２１１によって読み出された短蓄の信号は、信号Ｓ２１１２として推定回路２１２に入力される。
推定回路２１２においては、図９等に関連付けて説明した推定方法により推定値Ｖ２１２が算出され、合成回路２１３に出力される。
長蓄からの信号も同様にメモリ２２０から読み出され、メモリコントローラ２１１を経て、信号Ｓ２１１３として合成回路２１３に入力される。
合成回路２１３では、通常の合成方法により短蓄、長蓄の蓄積時間を勘案して、その値にゲインをかけるなどの方法によってつなぎ部分の不具合が生じないように合成され、一枚の合成フレームとして後段のカメラ信号処理回路２１４に供給される。
カメラ信号処理回路２１４でそのほかのカメラ信号処理が行われて、最終的な信号Ｓ２１４が出力される。
３つの短蓄期間と長蓄の読み出しタイミングは図９に示すとおりである。
メモリ２２０から信号Ｓ２２０を経てメモリコントローラ２１１によって読み出された短蓄の信号は、信号Ｓ２１１２として推定回路２１２に入力される。
推定回路２１２においては、図９等に関連付けて説明した推定方法により推定値Ｖ２１２が算出され、合成回路２１３に出力される。
長蓄からの信号も同様にメモリ２２０から読み出され、メモリコントローラ２１１を経て、信号Ｓ２１１３として合成回路２１３に入力される。
合成回路２１３では、通常の合成方法により短蓄、長蓄の蓄積時間を勘案して、その値にゲインをかけるなどの方法によってつなぎ部分の不具合が生じないように合成され、一枚の合成フレームとして後段のカメラ信号処理回路２１４に供給される。
カメラ信号処理回路２１４でそのほかのカメラ信号処理が行われて、最終的な信号Ｓ２１４が出力される。
以上説明したように、本実施形態によれば、被写体が動いて明暗の変化や色の変化がある場合でも、複数の短蓄の値から推定値の精度の向上が期待でき、偽色の発生などを抑える効果がある。
これにより、より自然な画像を得ることが可能となる。
本実施形態では、動きそのものの検出を行っているわけではないので、被写体の動きの誤検出による新たな偽色などの問題は発生しない。
また、動き以外の理由で被写体の明るさそのものが変化した場合にも、正しい値がより適切に推定ができるため、動き検出を基に正しい値を推定する方法に比べて優れていると言える。
これにより、より自然な画像を得ることが可能となる。
本実施形態では、動きそのものの検出を行っているわけではないので、被写体の動きの誤検出による新たな偽色などの問題は発生しない。
また、動き以外の理由で被写体の明るさそのものが変化した場合にも、正しい値がより適切に推定ができるため、動き検出を基に正しい値を推定する方法に比べて優れていると言える。
なお、各実施形態に係るＣＭＯＳイメージセンサは、特に限定されないが、たとえば列並列型のアナログ−デジタル変換装置（以下、ＡＤＣ（Analog digital converter)と略す）を搭載したＣＭＯＳイメージセンサとして構成することも可能である。
このような効果を有する固体撮像素子は、デジタルカメラやビデオカメラの撮像デバイスとして適用することができる。
図１７は、本発明の実施形態に係る固体撮像素子が適用されるカメラシステムの構成の一例を示す図である。
本カメラシステム３００は、図１７に示すように、本実施形態に係るＣＭＯＳイメージセンサ（固体撮像素子）１００，２００が適用可能な撮像デバイス３１０を有する。
さらに、カメラシステム３００は、この撮像デバイス３１０の画素領域に入射光を導く（被写体像を結像する）光学系、たとえば入射光（像光）を撮像面上に結像させるレンズ３２０を有する。
カメラシステム３００は、撮像デバイス３１０を駆動する駆動回路(ＤＲＶ)３３０と、撮像デバイス３１０の出力信号を処理する信号処理回路(ＰＲＣ)３４０と、を有する。
さらに、カメラシステム３００は、この撮像デバイス３１０の画素領域に入射光を導く（被写体像を結像する）光学系、たとえば入射光（像光）を撮像面上に結像させるレンズ３２０を有する。
カメラシステム３００は、撮像デバイス３１０を駆動する駆動回路(ＤＲＶ)３３０と、撮像デバイス３１０の出力信号を処理する信号処理回路(ＰＲＣ)３４０と、を有する。
駆動回路３３０は、撮像デバイス３１０内の回路を駆動するスタートパルスやクロックパルスを含む各種のタイミング信号を生成するタイミングジェネレータ(図示せず)を有し、所定のタイミング信号で撮像デバイス３１０を駆動する。
また、信号処理回路３４０は、撮像デバイス３１０の出力信号に対して所定の信号処理を施す。
信号処理回路３４０で処理された画像信号は、たとえばメモリなどの記録媒体に記録される。記録媒体に記録された画像情報は、プリンタなどによってハードコピーされる。また、信号処理回路３４０で処理された画像信号を液晶ディスプレイ等からなるモニターに動画として映し出される。
信号処理回路３４０で処理された画像信号は、たとえばメモリなどの記録媒体に記録される。記録媒体に記録された画像情報は、プリンタなどによってハードコピーされる。また、信号処理回路３４０で処理された画像信号を液晶ディスプレイ等からなるモニターに動画として映し出される。
上述したように、デジタルスチルカメラ等の撮像装置において、撮像デバイス３１０として、先述した撮像素子１００，２００を搭載することで、上述したと同様の効果を得ることができる。
すなわち、被写体が動いて明暗の変化や色の変化がある場合でも、複数の短蓄の値から推定値の精度の向上が期待でき、偽色の発生などを抑えることが可能で、より自然な画像を得ることが低消費電力で、高精度なカメラが実現できる。
すなわち、被写体が動いて明暗の変化や色の変化がある場合でも、複数の短蓄の値から推定値の精度の向上が期待でき、偽色の発生などを抑えることが可能で、より自然な画像を得ることが低消費電力で、高精度なカメラが実現できる。
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
１００，２００・・・固体撮像素子、１１０・・・画素アレイ部、１１０Ａ・・・画素回路、１２０・・・行選択回路（画素駆動部）、１３０・・・読み出し回路、１４０・・・シャッタモード切替部、１１１・・・光電変換素子、１１２・・・転送トランジスタ、１１３・・・リセットトランジスタ、１１４・・・増幅トランジスタ、１１５・・・選択トランジスタ、２１０・・・信号処理系、２１１・・・メモリコントローラ、２１２・・・推定回路、２１３・・・合成回路、２１４・・・カメラ信号処理回路、３００・・・カメラシステム、３１０・・・撮像デバイス、３２０・・・駆動回路、３３０・・・レンズ、３４０・・・信号処理回路。
Claims (9)
- 光信号を信号電荷に変換する光電変換素子と、当該光電変換素子で光電変換された信号電荷を出力ノードに転送する転送ゲートとを含む画素が行列状に配列された画素アレイ部と、
上記画素アレイ部のシャッタ動作、および上記画素アレイ部の画素から読み出しを行うように上記画素の動作を制御する画素駆動部と、
上記画素駆動部により読み出された信号を処理する信号処理系と、を有し、
上記画素駆動部は、
電子シャッタ動作から通常の読み出し動作間での画像を取得する第１露光時間の第１蓄積期間中に、中間電圧転送により読み出し走査を実行し、その中間電圧転送による読み出し動作に応じた画像取得のための第２露光時間を含み、同じあるいは異なる電圧値の中間電圧による転送のための選択走査を、１回または複数回実行する機能を有し、
上記第１露光時間より短い第２露光時間の第２蓄積期間が、第１露光時間の第１蓄積期間中に複数設定され、
上記信号処理系は、
複数の第２蓄積期間で読み出された値を用いて、当該第２蓄積期間の出力値を推定する処理を行う
固体撮像素子。 - 上記第２露光時間の第２蓄積期間が、第１露光時間の第１蓄積期間中に複数設定され、かつ同一の蓄積期間に設定された第２蓄積期間を複数有する
請求項１記載の固体撮像素子。 - 上記第１露光時間の第１の蓄積期間のなかで、蓄積時間の異なる第２蓄積期間を複数組有し、ひとつの組のおいては同一の蓄積期間に設定された第２蓄積期間を複数有し、
上記信号処理系は、
複数の第２蓄積期間で読み出された値を用いて、各組の第２蓄積期間の出力値を推定する処理を行う
請求項１記載の固体撮像素子。 - 上記信号処理系は、
複数の異なる蓄積時間を持つ複数の第２蓄積期間を使用する場合、蓄積時間の異なる他の第２蓄積期間の出力値からと併せて、当該第２蓄積期間の正しい出力値を推定する
請求項３記載の固体撮像素子。 - 上記信号処理系は、
所望の第２蓄積期間のフレームの蓄積時間をＴｓとした場合、Ｎ個の各第２蓄積期間の蓄積時間をＴｓ/Ｎとして、第２蓄積期間の出力の予想値として、当該Ｎ個の第２蓄積期間の出力の合計値とする
請求項１から４のいずれか一に記載の固体撮像素子。 - Ｎ個の蓄積時間をＴｓ１/Ｎとする第２蓄積期間に設定された蓄積期間のフレームの第１の組と、Ｍ個の蓄積時間をＴｓ２/Ｍとする蓄積期間に設定された蓄積期間の第２の組を有し
上記信号処理系は、
第１の組の蓄積期間の出力の予想値として、これらＮ個の畜積期間の出力の合計とし、第２の組の蓄積期間の出力の予想値として、Ｍ個の蓄積期間の出力の合計とする
請求項１から４のいずれか一に記載の固体撮像素子。 - 固体撮像素子と、
上記固体撮像素子に被写体像を結像する光学系と、を有し、
上記固体撮像素子は、
光信号を信号電荷に変換する光電変換素子と、当該光電変換素子で光電変換された信号電荷を出力ノードに転送する転送ゲートとを含む画素が行列状に配列された画素アレイ部と、
上記画素アレイ部のシャッタ動作、および上記画素アレイ部の画素から読み出しを行うように上記画素の動作を制御する画素駆動部と、
上記画素駆動部により読み出された信号を処理する信号処理系と、を有し、
上記画素駆動部は、
電子シャッタ動作から通常の読み出し動作間での画像を取得する第１露光時間の第１蓄積期間中に、中間電圧転送により読み出し走査を実行し、その中間電圧転送による読み出し動作に応じた画像取得のための第２露光時間を含み、同じあるいは異なる電圧値の中間電圧による転送のための選択走査を、１回または複数回実行する機能を有し、
上記第１露光時間より短い第２露光時間の第２蓄積期間が、第１露光時間の第１蓄積期間中に複数設定され、
上記信号処理系は、
複数の第２蓄積期間で読み出された値を用いて、当該第２蓄積期間の出力値を推定する処理を行う
カメラシステム。 - 光信号を信号電荷に変換する光電変換素子と、当該光電変換素子で光電変換された信号電荷を出力ノードに転送する転送ゲートとを含む画素が行列状に配列された画素アレイ部を駆動するに際し、
第１露光時間と、当該第１露光時間より短い第２露光時間の第２蓄積期間を、第１露光時間の第１蓄積期間中に複数設定し、
電子シャッタ動作から通常の読み出し動作間での画像を取得する第１露光時間の第１蓄積期間中に、中間電圧転送により読み出し走査を実行し、その中間電圧転送による読み出し動作に応じた画像取得のための第２露光時間を含み、同じあるいは異なる電圧値の中間電圧による転送のための選択走査を、１回または複数回実行し、
複数の第２蓄積期間で読み出された値を用いて、当該第２蓄積期間の出力値を推定する処理を行う
固体撮像素子の駆動方法。 - 光信号を信号電荷に変換する光電変換素子と、当該光電変換素子で光電変換された信号電荷を出力ノードに転送する転送ゲートとを含む画素が行列状に配列された画素アレイ部を駆動するに際し、
第１露光時間と、当該第１露光時間より短い第２露光時間の第２蓄積期間を、第１露光時間の第１蓄積期間中に複数設定する処理と、
電子シャッタ動作から通常の読み出し動作間での画像を取得する第１露光時間の第１蓄積期間中に、中間電圧転送により読み出し走査を実行し、その中間電圧転送による読み出し動作に応じた画像取得のための第２露光時間を含み、同じあるいは異なる電圧値の中間電圧による転送のための選択走査を、１回または複数回実行する処理と、
複数の第２蓄積期間で読み出された値を用いて、当該第２蓄積期間の出力値を推定する処理を行う処理と、を含む
固体撮像素子の駆動処理をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009261998A JP5428792B2 (ja) | 2009-11-17 | 2009-11-17 | 固体撮像素子およびその駆動方法、カメラシステム、プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009261998A JP5428792B2 (ja) | 2009-11-17 | 2009-11-17 | 固体撮像素子およびその駆動方法、カメラシステム、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011109386A true JP2011109386A (ja) | 2011-06-02 |
| JP5428792B2 JP5428792B2 (ja) | 2014-02-26 |
Family
ID=44232398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009261998A Expired - Fee Related JP5428792B2 (ja) | 2009-11-17 | 2009-11-17 | 固体撮像素子およびその駆動方法、カメラシステム、プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5428792B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114365478A (zh) * | 2019-10-03 | 2022-04-15 | 松下知识产权经营株式会社 | 摄像装置、摄像系统及摄像方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008099158A (ja) * | 2006-10-16 | 2008-04-24 | Sony Corp | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 |
| JP2008523695A (ja) * | 2004-12-07 | 2008-07-03 | ブライト・イメージング・リミテッド | 輝度分散が大きい場面を撮像する方法および装置 |
| JP2008227697A (ja) * | 2007-03-09 | 2008-09-25 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
| JP2008252814A (ja) * | 2007-03-30 | 2008-10-16 | National Univ Corp Shizuoka Univ | 固体撮像装置及びその駆動方法 |
-
2009
- 2009-11-17 JP JP2009261998A patent/JP5428792B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008523695A (ja) * | 2004-12-07 | 2008-07-03 | ブライト・イメージング・リミテッド | 輝度分散が大きい場面を撮像する方法および装置 |
| JP2008099158A (ja) * | 2006-10-16 | 2008-04-24 | Sony Corp | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 |
| JP2008227697A (ja) * | 2007-03-09 | 2008-09-25 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
| JP2008252814A (ja) * | 2007-03-30 | 2008-10-16 | National Univ Corp Shizuoka Univ | 固体撮像装置及びその駆動方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114365478A (zh) * | 2019-10-03 | 2022-04-15 | 松下知识产权经营株式会社 | 摄像装置、摄像系统及摄像方法 |
| CN114365478B (zh) * | 2019-10-03 | 2024-03-29 | 松下知识产权经营株式会社 | 摄像装置、摄像系统及摄像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5428792B2 (ja) | 2014-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4973115B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
| TWI424744B (zh) | 固態影像拾取器件及其驅動方法，以及電子裝置 | |
| JP4961982B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
| WO2013031368A1 (ja) | 撮像装置、および信号処理方法、並びにプログラム | |
| JP5256874B2 (ja) | 固体撮像素子およびカメラシステム | |
| JP4692196B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
| JP2008167004A (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
| JP2011244309A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| KR101939402B1 (ko) | 고체 촬상 소자 및 구동 방법, 및 전자 기기 | |
| US8610809B2 (en) | Solid-state imaging device and camera system that controls a unit of plural rows | |
| JP2010141848A (ja) | 光電変換装置、撮像システム、及び光電変換装置の駆動方法 | |
| JP2009272820A (ja) | 固体撮像装置 | |
| JP5434485B2 (ja) | 固体撮像素子、固体撮像素子の駆動方法、およびカメラシステム | |
| JP2004282552A (ja) | 固体撮像素子および固体撮像装置 | |
| JP2010028434A (ja) | 固体撮像装置 | |
| JP6574653B2 (ja) | 撮像装置及び撮像システム | |
| JP2006033381A (ja) | 撮像装置及び制御方法 | |
| JP2009021889A (ja) | 固体撮像装置及びその駆動方法 | |
| JP5428792B2 (ja) | 固体撮像素子およびその駆動方法、カメラシステム、プログラム | |
| JP2011097541A (ja) | 固体撮像素子、カメラシステム、固体撮像素子の読み出し方法、およびプログラム | |
| JP2006222762A (ja) | 撮像装置 | |
| JP4654783B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 | |
| JP5672363B2 (ja) | 固体撮像素子およびカメラシステム | |
| JP6393087B2 (ja) | 撮像素子及び撮像装置 | |
| JP2011142434A (ja) | 固体撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131118 |
|
| LAPS | Cancellation because of no payment of annual fees |