JP2011015103A - 固体撮像装置及びその制御方法 - Google Patents

Abstract

【課題】スミア及び暗電流による雑音を抑える。
【解決手段】本発明に係る固体撮像装置１００は、行列状に配置された複数の画素１８０と、垂直転送部１８１及び水平転送部１８２と、複数の画素１８０の全てへ光を入射させるか否かを制御する光制御部１１２と、第１期間の間、複数の画素１８０の全てに光が入射するように光制御部１１２に制御させ、第１期間に含まれる第１時刻に、複数の画素１８０に含まれる複数の第１光電変換素子に蓄積されている信号電荷をリセットし、第１期間に含まれ、かつ第１時刻より後の第２時刻に複数の画素１８０に含まれる複数の第２光電変換素子に蓄積されている信号電荷をリセットし、第１期間の直後の第２期間の間、複数の画素１８０の全てへ光を入射しないように光制御部１１２に制御させ、垂直転送部１８１及び水平転送部１８２に複数の画素１８０に蓄積された信号電荷を読み出させる制御部１２０とを備える。
【選択図】図１

Description

本発明は、固体撮像装置及びその制御方法に関し、特に、異なる露光時間の信号を出力する固体撮像装置に関する。

現在、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いた固体撮像装置が、デジタルスチルカメラ、デジタルビデオカメラ又は携帯電話機などに広く用いられている。これらＣＣＤイメージセンサ又はＭＯＳイメージセンサは、銀塩カメラと比べ、ダイナミックレンジが狭いことが知られている。

これに対して、ＣＣＤイメージセンサのダイナミックレンジを広げる技術が特許文献１に記載されている。

特許文献１記載の技術は、近接する２つの画素の露光時間（感度）を異ならせ、この異なる露光時間の信号を合成することで、ダイナミックレンジを広げている。

以下、特許文献１記載の固体撮像素子について説明する。
図２１は、特許文献１記載の固体撮像素子の構成を示す図である。

図２１においては、多数の画素ＰＩＸ上には、赤Ｒ、緑Ｇ、青Ｂの３原色のカラーフィルタが配置されている。

列方向において、奇数列のＢ１、Ｂ２、Ｇ１、Ｇ２、偶数列のＧ１、Ｇ２、Ｒ１、Ｒ２のように、同色の画素が２つずつ並んで配列されている。横方向においては、２つずつの同色画素の組が、Ｂ１、Ｂ２の右隣にＧ１、Ｇ２、その右隣にＢ１、Ｂ２のように、同じ列方向位置に配置されている。上側の画素群Ｒ１、Ｇ１、Ｂ１を第１の画素群、下側の画素群Ｒ２、Ｇ２、Ｂ２を第２の画素群と呼ぶ。例えば第１の画素群は、高感度の画素群であり、第２の画素群は、低感度の画素群である。

画素の各列に沿って（図では各列の右側に）、垂直電荷転送路ＶＣＣＤがそれぞれ１本配置されている。複数の垂直電荷転送路ＶＣＣＤの下端に、横方向に水平電荷転送路ＨＣＣＤが結合され、その一端に出力アンプＯＡが接続されている。

図２２は、特許文献１記載の固体撮像素子の駆動信号のタイミングチャートである。
図２２に示すタイミングｔ１〜ｔ２に、オーバーフロードレイン電圧ＶＯＤが高電圧となり、各画素の蓄積電荷は基板に引き抜かれ、全画素ＰＩＸがクリアされて新たな露光が開始される。駆動信号φ３はタイミングｔ３で高電位となり、その後タイミングｔ４で駆動信号φ１が、それより更に高電位となる。

タイミングｔ２からｔ３に至るまでの短期間ｔＳ、全画素ＰＩＸで入射光に応じた信号電荷の蓄積が行われる。タイミングｔ３で駆動信号φ３が読み出し電圧となり、φ３を印加された第２の画素群の画素ＰＩＸ２から垂直電荷転送路ＶＣＣＤに短期間ｔＳの蓄積電荷が読み出される。φ１を印加された画素では読み出しは生ぜず、入射光に応じた電荷蓄積が継続する。

次に、タイミングｔ３〜ｔ４では、入射光に応じた信号電荷の蓄積が行われる。垂直電荷転送路ＶＣＣＤは、タイミングｔ３で読み出した電荷を保持する。

次に、タイミングｔ４で駆動信号φ１が読み出し電圧となり、φ１を印加された画素ＰＩＸ１から垂直電荷転送路ＶＣＣＤにタイミングｔ２からｔ４までの長期間ｔＬの蓄積電荷が読み出される。

図２２に示すように、タイミングｔ５以後、垂直電荷転送路では４層駆動信号φ１、φ２、φ３、φ４が印加され垂直転送が行われる。水平電荷転送路では、２相駆動信号φＨ１、φＨ２が印加される。

次に、垂直電荷転送路ＶＣＣＤで電荷転送が行われ，短期間露光の蓄積電荷、長期間露光の蓄積電荷が交互に配列された２画素行分の電荷行が水平電荷転送路ＨＣＣＤに供給される。水平電荷転送路ＨＣＣＤは、ＶＣＣＤから供給される２画素行分の電荷行を出力アンプＯＡに向かって転送する。信号電荷は、出力アンプＯＡを介して外部に読み出される。

以上のように、特許文献１記載の固体撮像素子は、異なる露光時間の信号を合成することで、ダイナミックレンジを広げている。

特開２００７−２６６５５６号公報

しかしながら、特許文献１記載の固体撮像素子は、先ず短期間露光の蓄積電荷を垂直電荷転送路に転送し、この垂直電荷転送路内に保持する。その後、特許文献１記載の固体撮像素子は、長期間露光の蓄積電荷を垂直電荷転送路に読み出す。このように、特許文献１記載の固体撮像素子は、短期間露光の蓄積電荷を短期間露光が終了してから長期間露光が終了するまでの期間、一時的に垂直電荷転送路内に保持する。

これにより、短時間露光の蓄積電荷が垂直電荷転送路に保持されている期間に、この蓄積電荷には次の２種類の雑音電荷が重畳されてしまう。１つは入射光の漏洩による所謂スミア成分であり、もう１つは、垂直電荷転送路内で熱的に発生する暗電流成分である。これらにより、従来技術で高品位の映像信号を得る事は困難である。

そこで、本発明は、スミア及び暗電流による雑音を抑えることができる固体撮像装置及びその制御方法を提供することを目的とする。

上記目的を達成するために、本発明に係る固体撮像装置は、固体撮像装置であって、行列状に配置され、光を信号電荷に変換し、変換した前記信号電荷を蓄積する複数の光電変換素子と、列毎に設けられ、対応する列に配置された複数の光電変換素子に蓄積されている前記信号電荷を転送する複数の垂直転送部と、前記複数の垂直転送部により転送された信号電荷を転送する水平転送部と、前記複数の光電変換素子へ光を入射させるか否かを制御する光制御部と、制御部とを備え、前記制御部は、第１期間の間、前記複数の光電変換素子に光が入射するように前記光制御部に制御させ、前記第１期間に含まれる第１時刻に、前記複数の光電変換素子に含まれる複数の第１光電変換素子に蓄積されている前記信号電荷をリセットし、前記第１期間に含まれ、かつ前記第１時刻より後の第２時刻に前記複数の光電変換素子に含まれる複数の第２光電変換素子に蓄積されている前記信号電荷をリセットし、前記第１期間の直後の第２期間の間、前記複数の光電変換素子へ光が入射しないように前記光制御部に制御させ、前記第１時刻から前記第２期間の開始時刻までの第１露光時間の間に前記複数の第１光電変換素子に蓄積された第１信号電荷と、前記第２時刻から前記第２期間の開始時刻までの第２露光時間の間に前記複数の第２光電変換素子により蓄積された第２信号電荷とを前記第２期間の間に前記垂直転送部及び前記水平転送部を介して読み出し、前記各第１光電変換素子と各第２光電変換素子とは一対一で対応して配置されており、前記各第１光電変換素子は、当該第１光電変換素子に対応する前記第２光電変換素子から予め定められた距離内に配置されている。

この構成によれば、本発明に係る固体撮像装置は、異なる露光時間の信号を出力できる。これにより、この異なる露光時間の信号を合成することにより、ダイナミックレンジを拡大できる。さらに、本発明に係る固体撮像装置は、２つの露光時間の開始時刻を異ならせ、かつ、光制御部により２つの露光時間の終了時刻を同時刻にする。これにより、本発明に係る固体撮像装置は、露光時間が終了した後から、信号電荷を読み出すまでの期間、光電変換素子に信号電荷を保持できる。よって、本発明に係る固体撮像装置は、垂直電荷転送路等に信号電荷を長時間保持する必要がないので、スミア及び暗電流による雑音を抑えることができる。

また、前記各第１光電変換素子は、当該第１光電変換素子に対応する前記第２光電変換素子の行方向、列方向又は斜め方向における１つ隣、又は行方向又は列方向における２つ隣に配置されていてもよい。

この構成によれば、本発明に係る固体撮像装置により出力される、対応する２つの光電変換素子に対応する信号を合成することにより、広いダイナミックレンジの画像信号を生成できる。

また、前記固体撮像装置は、さらに、前記複数の光電変換素子の上にそれぞれ形成される複数のフィルタを備え、前記複数のフィルタのそれぞれは、複数の波長帯域のうちいずれかの光を透過する複数の種類のフィルタのうちいずれかであり、互いに対応する前記第１光電変換素子及び前記第２光電変換素子の上には、同一の種類の前記フィルタが形成されていてもよい。

また、前記複数のフィルタのそれぞれは、赤色光を透過する赤色フィルタと、緑色光を透過する緑色フィルタと、青色光を透過する青色フィルタとのうちいずれかであり、前記各第１光電変換素子は、当該第１光電変換素子に対応する前記第２光電変換素子の行方向又は列方向における１つ隣に配置されており、前記互いに対応する前記第１光電変換素子及び前記第２光電変換素子の組は、ベイヤ配列されていてもよい。

この構成によれば、本発明に係る固体撮像装置は、互いに対応する第１光電変換素子と第２光電変換素子との距離を小さくできる。

また、前記複数のフィルタのそれぞれは、赤色光を透過する赤色フィルタ、緑色光を透過する緑色フィルタ、及び青色光を透過する青色フィルタのうちいずれかであるとともに、ベイヤ配列されており、前記緑色フィルタの下に形成される各第１光電変換素子は、当該第１光電変換素子に対応する前記第２光電変換素子の斜め方向における１つ隣に配置されており、前記赤色フィルタ又は前記青色フィルタの下に配置される各第１光電変換素子は、当該第１光電変換素子に対応する前記第２光電変換素子の行方向又は列方向における２つ隣に配置されていてもよい。

この構成によれば、本発明に係る固体撮像装置は、各色の第１光電変換素子と第２光電変換素子と加算重心を空間的に均等に配置させることができる。

また、前記複数のフィルタのそれぞれは、赤色光を透過する赤色フィルタ、緑色光を透過する緑色フィルタ、及び青色光を透過する青色フィルタのうちいずれかであり、前記緑色フィルタは市松状に配置されており、前記各赤色フィルタ及び各青色フィルタの斜めに隣接する４つのフィルタのうち２つは前記赤色フィルタであり、２つは青色フィルタであり、前記各第１光電変換素子は、当該第１光電変換素子に対応する前記第２光電変換素子の斜め方向における１つ隣に配置されていてもよい。

この構成によれば、本発明に係る固体撮像装置は、各色の第１光電変換素子と第２光電変換素子と加算重心を空間的に均等に配置させることができる。

また、前記制御部は、前記第２時刻に前記複数の第２光電変換素子に蓄積されている前記信号電荷を、前記垂直転送部に転送することにより、当該複数の第２光電変換素子に蓄積されている前記信号電荷をリセットしてもよい。

この構成によれば、本発明に係る固体撮像装置は、垂直転送部等に機能を追加することなく、第２光電変換素子に蓄積されている信号電荷をリセットできる。

また、前記固体撮像装置は、さらに、前記複数の光電変換素子が形成される半導体基板を備え、前記制御部は、前記第１時刻に、前記複数の光電変換素子に蓄積されている前記信号電荷を前記半導体基板に排出することにより、前記複数の第１光電変換素子に蓄積されている前記信号電荷をリセットしてもよい。

また、前記制御部は、前記第１時刻に前記複数の第１光電変換素子に蓄積されている前記信号電荷を、前記垂直転送部に転送することにより、当該複数の第１光電変換素子に蓄積されている前記信号電荷をリセットしてもよい。

また、前記固体撮像装置は、さらに、前記第１信号電荷を第１画像信号に変換し、前記第２信号電荷を第２画像信号に変換し、変換した前記第１画像信号及び前記第２画像信号を出力する出力部と、前記第１画像信号及び前記第２画像信号を合成する信号処理部とを備えてもよい。

この構成によれば、本発明に係る固体撮像装置は、異なる露光時間の信号を合成することにより、広いダイナミックレンジの画像信号を生成できる。

また、前記信号処理部は、前記第１画像信号が第１の値より大きい場合に、当該第１画像信号を前記第１の値にすることにより補正後第１画像信号を生成する第１ホワイトクリップ処理部と、前記補正後第１画像信号と、前記第２画像信号とを合成する合成部とを備えてもよい。

この構成によれば、本発明に係る固体撮像装置は、光電変換素子の飽和出力電圧のばらつきにより生じる映像ムラを低減できる。

また、前記固体撮像装置は、第１動作モードと、第２動作モードとを有し、前記第１動作モード時には、前記制御部は、前記第１信号電荷及び前記第２信号電荷を読み出し、前記出力部は、前記第１信号電荷を第１画像信号に変換し、前記第２信号電荷を第２画像信号に変換し、変換した前記第１画像信号及び前記第２画像信号を出力し、前記信号処理部は、前記第１画像信号及び前記第２画像信号を合成し、前記第２動作モード時には、前記制御部は、前記第１信号電荷と前記第２信号電荷とを前記垂直転送部内又は前記水平転送部内で混合することにより混合信号電荷を生成し、前記出力部は、前記混合信号電荷を混合画像信号に変換し、変換した混合画像信号を出力してもよい。

この構成によれば、本発明に係る固体撮像装置は、第１動作モードで動作することにより、広いダイナミックレンジの画像信号を生成できる。さらに、本発明に係る固体撮像装置は、第２動作モードで動作することにより、高感度な画像信号を生成できる。

また、前記信号処理部は、さらに、前記第２動作モード時に、前記混合画像信号が第２の値より大きい場合に、当該混合画像信号を前記第２の値にすることにより補正後第２画像信号を生成する第２ホワイトクリップ処理部を備え、前記第２の値は、前記光電変換素子の飽和信号電荷に相当する混合画像信号の値をＶＳＡＴとし、前記第１露光時間をｔ１とし、前記第２露光時間をｔ２とした場合、ＶＳＡＴ×（１＋ｔ２／ｔ１）で表される値以下であってもよい。

この構成によれば、本発明に係る固体撮像装置は、光電変換素子の飽和出力電圧のばらつきにより生じる映像ムラを低減できる。

また、前記制御部は、前記第１露光時間を前記第２露光時間の２倍以上にし、前記第２動作モード時には、前記第２露光時間を前記第１露光時間の９０％以上にしてもよい。

また、前記固体撮像装置は、さらに、第３動作モードを有し、前記第３動作モード時には、前記制御部は、前記第１信号電荷及び前記第２信号電荷を前記第２期間の間に読み出し、前記出力部は、前記読み出し部により読み出された前記第１信号電荷及び第２信号電荷を第３画像信号に変換し、変換した前記第３画像信号を出力し、前記制御部は、前記第３動作モード時には、前記第２露光時間を前記第１露光時間の９０％以上にしてもよい。

この構成によれば、本発明に係る固体撮像装置は、さらに、第３動作モードで動作することにより、高解像度な画像信号を生成できる。

また、前記固体撮像装置は、さらに、被写界の明るさを取得する明るさ取得部と、前記明るさ取得部により取得された明るさが第３の値より大きい場合、前記第１動作モードを選択し、前記明るさ取得部により取得された明るさが前記第３の値より小さい場合、前記第２動作モードを選択するモード選択部とを備え、前記固体撮像装置は、前記モード選択部により選択された前記第１動作モード又は前記第２動作モードで動作してもよい。

この構成によれば、本発明に係る固体撮像装置は、自動的に最適な動作モードを選択し、選択した動作モードで動作できる。

また、前記読み出し部は、前記第２期間の間に、前記複数の光電変換素子に蓄積された前記信号電荷を複数回に分けて読み出してもよい。

この構成によれば、本発明に係る固体撮像装置は、各光電変換素子に対して１個の垂直転送電極のみを設ければよいので、当該固体撮像装置の回路面積を縮小できる。

また、前記光制御部は、機械式シャッタであってもよい。
また、前記光制御部は、液晶、ＭＥＭＳミラー、又は電気的に制御可能な光学素子であってもよい。

なお、本発明は、このような固体撮像装置として実現できるだけでなく、固体撮像装置に含まれる特徴的な手段をステップとする固体撮像装置の制御方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

さらに、本発明は、このような固体撮像装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような固体撮像装置を備えるカメラ又はデジタルスチルカメラとして実現したりできる。

以上より、本発明は、スミア及び暗電流による雑音を抑えることができる固体撮像装置及びその制御方法を提供できる。

本発明の実施の形態に係る固体撮像装置の構成を示すブロック図である。 本発明の実施の形態に係る撮像素子の構成を示す図である。 本発明の実施の形態に係る、広ＤＲモード時の固体撮像装置の動作を示すタイミングチャートである。 本発明の実施の形態に係る、広ＤＲモード時の撮像素子の動作を模式的に示す図である。 本発明の実施の形態に係る垂直転送部の断面図である。 本発明の実施の形態に係る縦型オーバーフロードレイン部のポテンシャル分布を示す図である。 本発明の実施の形態に係る、光制御部の開閉と、電子シャッタの開閉との関係を示す図である。 本発明の実施の形態に係る固体撮像装置における垂直転送電極の構成例を示す図である。 本発明の実施の形態に係る固体撮像装置における垂直転送電極の構成例を示す図である。 本発明の実施の形態に係る、広ＤＲモード時の固体撮像装置の動作の変形例を示すタイミングチャートである。 本発明の実施の形態に係る、短露光時間と長露光時間とにおける光電変換素子の光電変換特性を示す図である。 本発明の実施の形態に係る、合成画像信号の特性を示す図である。 本発明の実施の形態に係る、高感度モード時の固体撮像装置の動作を示すタイミングチャートである。 本発明の実施の形態に係る、画素配置例及び加算重心の分布を示す図である。 本発明の実施の形態に係る、画素の寸法の一例を示す図である。 本発明の実施の形態に係る、画素配置例及び加算重心の分布を示す図である。 本発明の実施の形態に係る、画素混合前と画素混合後の２次元ナイキストリミットを示す図である。 本発明の実施の形態に係る固体撮像装置における垂直転送電極の構成例を示す図である。 本発明の実施の形態に係る、画素配置例及び加算重心の分布を示す図である。 本発明の実施の形態に係る、画素配置例及び加算重心の分布を示す図である。 本発明の実施の形態に係る、画素配置例及び加算重心の分布を示す図である。 本発明の実施の形態に係る固体撮像装置の動作の流れを示すフローチャートである。 本発明の実施の形態に係る、ＭＥＭＳミラーを用いた場合の撮像部の構成例を示す図である。 本発明の実施の形態に係る、ＭＥＭＳミラーを用いた場合の撮像部の構成例を示す図である。 従来の固体撮像素子の構成を示す図である。 従来の固体撮像素子の駆動信号のタイミングチャートである。

以下、本発明に係る固体撮像装置の実施の形態について、図面を参照しながら詳細に説明する。

（実施の形態１）
本発明の実施の形態に係る固体撮像装置は、異なる露光時間の信号を出力し、この異なる露光時間の信号を合成することにより、ダイナミックレンジを拡大できる。さらに、本発明の実施の形態に係る固体撮像装置は、２つの露光時間の開始時刻を異ならせ、かつ、機械式シャッタにより２つの露光時間の終了時刻を同時刻にする。これにより、本発明の実施の形態に係る固体撮像装置は、垂直電荷転送路等に信号電荷を長時間保持する必要がないので、スミア及び暗電流による雑音を抑えることができる。

まず、本発明の実施の形態に係る固体撮像装置１００の構成を説明する。
図１は、本発明の実施の形態に係る固体撮像装置１００の構成を示すブロック図である。

図１に示す固体撮像装置１００は、例えば、デジタルスチルカメラに用いられる。この固体撮像装置１００は、光１５０を電気信号である画像信号１５１に変換し、画像信号１５１を出力する。

また、この固体撮像装置１００は、広ダイナミックレンジモード（以下「広ＤＲモード」）と、高感度モードと、高解像度モードとを有する。

広ＤＲモード（第１動作モード）は、高感度モード及び高解像度モードに比べ、広いダイナミックレンジを実現できる動作モードである。具体的には、広ＤＲモード時には、固体撮像装置１００は、露光時間の異なる信号を生成し、この露光時間の異なる信号を合成することによりダイナミックレンジの広い画像信号１５１を生成する。

高感度モード（第２動作モード）は、広ＤＲモード及び高解像度モードに比べ、高い感度を有する動作モードであり、被写界の光量が少ない場合（暗所）に有効である。具体的には、高感度モード時には、固体撮像装置１００は、２画素で生成された信号電荷を混合し、混合した信号電荷に対応する画像信号１５１を出力する。

高解像度モード（第３動作モード）は、広ＤＲモード及び高感度モードに比べ、高い解像度の画像信号１５１を生成する動作モードである。具体的には、高解像度モード時には、固体撮像装置１００は、各画素で生成された信号電荷に対応する画像信号１５１を出力する。これにより、固体撮像装置１００は、高解像度モード時には、例えば、広ＤＲモード及び高感度モードに比べ、２倍の解像度の画像信号１５１を生成する。

また、この固体撮像装置１００には、例えば、ユーザの操作に応じた指定モード信号１５２が入力される。固体撮像装置１００は、この指定モード信号１５２に応じて、広ＤＲモードと、高感度モードと、高解像度モードとのうちいずれかを選択し、選択したモードで動作する。

また、図１に示すように、固体撮像装置１００は、撮像部１１０と、制御部１２０と、モード決定部１３０と、信号処理部１４０とを備える。

撮像部１１０は、被写界の光１５０を電気信号である画像信号１５３に変換し、出力する。この撮像部１１０は、レンズ１１１及び１１３と、光制御部１１２と、撮像素子１１４とを備える。

レンズ１１１は、被写界の光１５０を光制御部１１２に集光する。
光制御部１１２は、撮像素子１１４が備える複数の光電変換素子の全てに、レンズ１１１により集光された光１５０を入射させるか否かを制御する。例えば、光制御部１１２は、機械式シャッタである。

レンズ１１３は、光制御部１１２を通過した光１５０を撮像素子１１４に集光する。
撮像素子１１４は、レンズ１１３により集光された光１５０を電気信号である画像信号１５３に変換し、出力する。

モード決定部１３０は、指定モード信号１５２に応じて、固体撮像装置１００の動作モードを決定する。また、モード決定部１３０は、決定した動作モードを示す選択モード信号１６０を制御部１２０及び信号処理部１４０に出力する。このモード決定部１３０は、モード取得部１３１と、明るさ取得部１３２と、モード選択部１３３とを備える。

信号処理部１４０は、撮像素子１１４により出力される画像信号１５３に、モード決定部１３０で決定された動作モードに応じた信号処理を施すことにより画像信号１５１を生成し、生成した画像信号１５１を出力する。この信号処理部１４０は、第１ホワイトクリップ処理部１４１と、合成部１４２と、出力部１４３と、第２ホワイトクリップ処理部１４４とを備える。

制御部１２０は、モード決定部１３０により決定された動作モードに応じて、撮像部１１０の動作を制御する。この制御部１２０は、第１駆動部１２１と、第２駆動部１２２とを備える。第１駆動部１２１は、撮像素子１１４を駆動する第１駆動信号１５４を生成する。第２駆動部１２２は、光制御部１１２を制御する第２駆動信号１５５を生成する。

次に、撮像素子１１４の構成を説明する。
図２は、撮像素子１１４の構成を示す図である。

図２に示す撮像素子１１４は、ＣＣＤイメージセンサであり、行列状に配置された複数の画素１８０と、列毎に設けられた複数の垂直転送部１８１と、水平転送部１８２と、出力部１８３とを備える。

各画素１８０は、光電変換素子とフィルタとを備える。この光電変換素子は、光を信号電荷に変換し、変換した前記信号電荷を蓄積する。

なお、図２において、８×８の画素１８０が配置されている例を示しているが、画素１８０の数は、これ以外であってもよい。

また、当該フィルタは、光電変換素子上に形成され、予め定められた波長帯域の光のみを当該光電変換素子へ透過する。また、各フィルタは、複数の波長帯域のうちいずれかの光を透過する複数の種類のフィルタのうちいずれかである。具体的には、当該複数のフィルタは、赤色光を透過する赤色フィルタと、緑色光を透過する緑色フィルタと、及び青色光を透過する青色フィルタとのうちいずれかである。なお、当該フィルタには、無色（可視光）を透過するフィルタ又は赤外光を透過するフィルタ等の上記以外の波長帯域を透過するフィルタが含まれてもよい。

また、以下において、赤色フィルタを含み、赤色光を光電変換する画素１８０をＲ画素と記し、緑色フィルタを含み、緑色光を光電変換する画素１８０をＧ画素と記し、青色フィルタを含み、青色光を光電変換する画素１８０をＢ画素と記す。

また、Ｒ画素Ｒ１、Ｇ画素Ｇ１及びＢ画素Ｂ１は、広ＤＲモード時において、短露光時間の間、光電変換を行う画素１８０であり、以下において第１画素と記す。また、Ｒ画素Ｒ２、Ｇ画素Ｇ２及びＢ画素Ｂ２は、広ＤＲモード時において、長露光時間の間、光電変換を行う画素１８０であり、以下において第２画素と記す。

ここで、複数の第１画素と複数の第２画素とは一対一で対応して配置されており、対応する１つの第１画素と対応する１つの第２画素とが組を成す。図２に示す例では、列方向に隣接する同色の画素１８０が、１つの組を成す。広ＤＲモード時には、信号処理部１４０は、この組を成す画素１８０に対応する画像信号１５３を合成することにより、ダイナミックレンジの広い画像信号１５１を生成する。また、高感度モード時には、撮像素子１１４は、この組を成す画素１８０により光電変換された信号電荷を混合したうえで出力する。

また、各第１画素は、当該第１画素に対応する第２画素から予め定められた距離内に配置されている。例えば、図２では、この組を成す２つの画素１８０は、列方向における１つ隣に配置されている。また、この組は、ベイヤ配列されている。

ここで、ベイヤ配列とは、Ｇ画素が市松状に配置されるとともに、Ｒ画素が配置される行（又は列）と、Ｂ画素が配置される行（又は列）とが交互に配置される配列である。言い換えると、ベイヤ配列とは、２×２の４つの画素で構成される単位画素セルが平面状に配置された配列である。この単位画素セルは、互いに斜めに方向に配置される２つのＧ画素と、１つのＲ画素と、１つのＢ画素とを備える。

複数の垂直転送部１８１及び水平転送部１８２は、本発明の読み出し部に相当し、複数の画素１８０により蓄積された信号電荷を読み出す。

垂直転送部１８１は、対応する列に配置された複数の画素１８０に蓄積されている信号電荷を列方向（垂直方向）に転送する垂直転送ＣＣＤである。

水平転送部１８２は、複数の垂直転送部１８１により転送された複数の信号電荷を行方向（水平方向）に転送する水平転送ＣＣＤである。

出力部１８３は、水平転送部１８２により転送された信号電荷を画像信号１５３に変換し、変換した画像信号１５３を出力する。具体的には、広ＤＲモード時には、出力部１８３は、第１画素に蓄積されていた信号電荷を長露光画像信号１５３ａに変換し、第２画素に蓄積されていた信号電荷を短露光画像信号１５３ｂに変換し、変換した長露光画像信号１５３ａ及び短露光画像信号１５３ｂを信号処理部１４０へ出力する。

また、高感度モード時には、出力部１８３は、組を成す第１画素及び第２画素に蓄積されていた信号電荷が混合された混合信号電荷を混合画像信号１５３ｃに変換し、変換した混合画像信号１５３ｃを信号処理部１４０へ出力する。また、高解像度モード時には、出力部１８３は、全画素１８０の信号電荷を高解像度画像信号１５３ｄに変換し、変換した高解像度画像信号１５３ｄを信号処理部へ出力する。

以下、広ＤＲモード時の固体撮像装置１００の動作を説明する。
広ＤＲモード時には、制御部１２０は、第１期間の間、複数の画素１８０の全てに光１５０が入射するように光制御部１１２に制御させる。また、制御部１２０は、第１期間に含まれる第１時刻に、第２画素に蓄積されている信号電荷をリセットし、第１期間に含まれ、かつ第１時刻より後の第２時刻に第１画素に蓄積されている前記信号電荷をリセットする。また、制御部１２０は、第１期間の直後の第２期間の間、複数の画素１８０の全てに光１５０が入射しないように光制御部１１２に制御させるとともに、複数の画素１８０に蓄積された信号電荷を複数の垂直転送部１８１及び水平転送部１８２を介して読み出す。

具体的には、制御部１２０は、第１時刻に、複数の画素１８０の全てに蓄積されている信号電荷を半導体基板に排出することにより、複数の第２画素に蓄積されている信号電荷をリセットする。また、制御部１２０は、第２時刻に複数の第１画素に蓄積されている信号電荷を、垂直転送部１８１に転送することにより、当該複数の第１画素に蓄積されている信号電荷をリセットする。

これにより、第１画素の短露光時間及び第２画素の長露光時間が異なるタイミングで開始されるとともに、同時に終了する。

図３は、広ＤＲモード時の固体撮像装置１００の動作を示すタイミングチャートである。図４は、広ＤＲモード時の撮像素子１１４の動作を模式的に示す図である。

図３に示すように、時刻ｔ１０より前において、第２駆動部１２２は、光制御部１１２を開くことにより、撮像素子１１４に光１５０を入射させる。

次に、第１駆動部１２１は、時刻ｔ１０〜時刻ｔ１１の間、信号Ｖｓｕｂに基板掃出しパルスを印加することにより、全ての画素１８０に蓄積されている信号電荷をリセットする（図４のＳ１０１）。

ここで、この基板掃出し動作について説明する。
図５は、画素１８０及び垂直転送部１８１の断面図である。図５に示すように、撮像素子１１４は、所謂縦型オーバーフロードレイン（ＶＯＤ）構造を有する。具体的には、撮像素子１１４は、ｎ型半導体基板１９１と、ｎ型半導体基板１９１内に形成されたｐウェル１９２と、ｐウェル内に形成されたフォトダイオード１９６（光電変換素子）と、フォトダイオード１９６上に形成されたｐ＋領域１９３とを備える。また、垂直転送部１８１は、垂直転送チャネル１９４と、垂直転送チャネル１９４上に形成された垂直転送電極１９５とを備える。

図６は、図５に示すｘ断面におけるポテンシャル分布を示す図である。図６に示すように、フォトダイオード１９６の蓄積時（基板掃出し時以外）には、ｎ型半導体基板１９１に電圧ＶＳＢが印加される。これにより、フォトダイオード１９６は入射光１５０の光量に応じた信号電荷を蓄積する。

一方、基板掃出し時には、第１駆動部１２１は、パルスφＥＳに例えば１５Ｖを印加する。これにより、ｎ型半導体基板１９１に電圧ＶＳＢ＋φＥＳが印加される。よって、図６に示すようにフォトダイオード１９６に蓄積されていた信号電荷がｐウェル１９２を経由して、ｎ型半導体基板１９１に掃出される。

また、図７は、光制御部１１２の開閉と、電子シャッタの開閉との関係を示す図である。図７に示すように、光制御部１１２が開いている状態において、基板掃出しが行われてから、光制御部１１２が閉まるまでの期間が、電子シャッタが開いている状態（長露光時間）になる。

再び、図３及び図４を用いて説明を行う。
図３の時刻ｔ１１〜時刻ｔ１２の間、第１画素及び第２画素は、図１に示す入射光１５０を信号電荷に変換し、変換した信号電荷を蓄積する。なお、図４に示す丸印は信号電荷を示す。また、当該丸印の大きさは信号電荷の量を示し、丸印が大きいほど信号電荷が大きいことを示す。

次に、時刻ｔ１２〜時刻ｔ１３の間、第１駆動部１２１は、第１画素に印加されるφＶ１及びφＶ５にＶＣＣＤ掃出しパルス（読み出しパルス）を印加することにより、第１画素に蓄積されていた信号電荷を垂直転送部１８１に転送する（掃出す）。これにより、第１駆動部１２１は、第１画素に蓄積されていた信号電荷をリセットする（図４のＳ１０２）。

次に、時刻ｔ１３〜時刻ｔ１４の間、第１画素及び第２画素は、入射光１５０を信号電荷に変換し、変換した信号電荷を蓄積する（図４のＳ１０３）。

次に、時刻ｔ１４において、第２駆動部１２２は、光制御部１１２を閉じる。これにより、時刻ｔ１４以降において、光１５０は、撮像素子１１４に入射しない。つまり、露光時間が終了する。

以上のように、第１画素の短露光時間は、ＶＣＣＤ掃出しパルスが印加されてから、光制御部１１２が閉じるまでの時刻ｔ１３〜時刻ｔ１４となり、第２画素の長露光時間は、基板掃出しパルスが印加されてから、光制御部１１２が閉じるまでの時刻ｔ１１〜時刻１４となる。

なお、図３に示す時刻ｔ１２の前後において、第２画素に印加されるφＶ３及びφＶ７にパルスを印加している。これは、φＶ１及びφＶ５にＶＣＣＤ掃出しパルスが印加されることにより、ｐウェル１９２の電位が変動することを防止するために行っている。なお、このタイミングでφＶ３及びφＶ７にパルスを印加しなくてもよい。

次に、時刻ｔ１４〜時刻１９において、第１画素及び第２画素に蓄積された信号電荷が読み出される。ここで第１駆動部１２１は、撮像素子１１４に、複数の画素１８０に蓄積された信号電荷をＮ回に分けて読み出させる所謂Ｎフィールド読み出しを行う。

具体的には、時刻ｔ１４〜時刻１５のダミーフィールド期間において、垂直転送部１８１に保持されている信号電荷を水平転送部１８２に転送する。これにより、垂直転送部１８１に保持されている信号電荷がリセットされる。つまり、時刻ｔ１２〜時刻ｔ１３において垂直転送部１８１に掃出された信号電荷がリセットされる。

また、このダミーフィールド期間は、直後の第１フィールド期間開始時の垂直転送部１８１の状態を、後続の第２〜第４フィールド期間のそれぞれの開始時の状態と同様にする効果がある。これにより、第１フィールド期間で読み出される信号電荷と、第２〜第４フィールド期間で読み出される信号電荷とのバラツキの傾向を近づけることができる。

なお、垂直転送部１８１に保持されている信号電荷をリセットするためだけであれば、ダミーフィールド期間の転送速度を、第１〜第４フィールド期間の転送速度よりも早くする、所謂高速転送を行ってもよい。

次に、時刻ｔ１５から時刻ｔ１６の第１フィールド期間において、φＶ７が印加される第２画素に蓄積された信号電荷が読み出される（図４のＳ１０４）。

次に、時刻ｔ１６から時刻ｔ１７の第２フィールド期間において、φＶ３が印加される第２画素に蓄積された信号電荷が読み出される（図４のＳ１０５）。

次に、時刻ｔ１７から時刻ｔ１８の第３フィールド期間において、φＶ５が印加される第１画素に蓄積された信号電荷が読み出される（図４のＳ１０６）。

最後に、時刻ｔ１８から時刻ｔ１９の第４フィールド期間において、φＶ１が印加される第１画素に蓄積された信号電荷が読み出される（図４のＳ１０７）。

以上のように、全ての画素１８０に蓄積された信号電荷が読み出される。
なお、ここでは、４フィールドに分けて読み出しを行う場合を例に説明したが、フィールドの数は４に限定されるものではない。また、フィールドに分割して読み出しを行わなくてもよい。つまり、１度で全ての画素１８０に蓄積された信号電荷を読み出してもよい。

また、ここでは、第２画素の信号電荷を読み出した後に、第１画素の信号電荷を読み出しているが、第１画素の信号電荷を読み出した後に、第２画素の信号電荷を読み出してもよいし、第１画素の信号電荷と第２画素の信号電荷とを交互に読み出してもよい。

次に、撮像素子１１４の垂直転送電極１９５の構成を説明する。
図８Ａは、垂直転送電極１９５の構成例を示す図である。図８Ａに示すように１つの画素１８０に対して、２つの垂直転送電極１９５が形成される。また、上述した４フィールド読み出しを行う場合には、第１駆動部１２１は、φＶ１〜φＶ８の８相の駆動パルスにより垂直転送部１８１を制御する。

以上のように、本発明の実施の形態に係る固体撮像装置１００は、長露光画像信号１５３ａと短露光画像信号１５３ｂとを出力できる。これにより、信号処理部１４０がこの異なる露光時間の長露光画像信号１５３ａと短露光画像信号１５３ｂとを合成することにより、ダイナミックレンジを拡大できる。さらに、本発明の実施の形態に係る固体撮像装置１００は、短露光時間ｔ２と長露光時間ｔ１の開始時刻を異ならせ、かつ、光制御部１１２により短露光時間ｔ２と長露光時間ｔ１との終了時刻を同じにする。これにより、本発明の実施の形態に係る固体撮像装置１００は、特許文献１記載の技術のように垂直転送部１８１に信号電荷を長時間保持する必要がないので、スミア及び暗電流による雑音を抑えることができる。

さらに、撮像素子１１４の画素数の増加及び撮像素子１１４の小型化を実現するために、図８Ａに示すように、１画素に対して２つの垂直転送電極１９５を配置したうえで、Ｎ回に分けて信号電荷を読み出すＮフィールド読み出しが用いられている。

ここで、特許文献１記載の技術では、垂直電荷転送路（垂直転送部１８１）に一時的に信号電荷を蓄積するために、このようなＮフィールド読み出しを行うことができない。

また、特許文献１記載の技術を実現しようとすると、１画素に対して１転送段を配置する必要がある。ここで、１転送段には少なくとも３つの垂直転送電極１９５を配置する必要があるため、垂直転送電極１９５の構造が複雑になる。さらに１転送段が占有できる面積が１画素の中に限定されるので、転送できる電荷量が低下してしまう。一方、近年のデジタルスチルカメラに搭載されている固体撮像装置の画素のサイズは２μｍ以下に微細化されている。このような微細化された画素に従来技術を適用する事は極めて困難である。

一方、本発明の実施の形態に係る固体撮像装置１００では、画素１８０に一時的に信号電荷を蓄積することにより、上述したＮフィールド読み出しが可能となる。これにより、本発明の実施の形態に係る固体撮像装置１００は、図８Ａに示すように１画素に２つの垂直転送電極１９５のみを配置すればよい。

さらに、１画素に１つの垂直転送電極１９５のみを配置することもできる。図８Ｂは、この場合の垂直転送電極１９５の構成例を示す図である。なお、図８Ｂは、ベイヤ配列を用いた場合の垂直転送電極１９５の構成例を示すが、このようなベイヤ配列を用いた場合の詳細については後述する。

図８Ｂに示すように、本発明の実施の形態に係る固体撮像装置１００は、１画素に１つの垂直転送電極１９５のみを配置すればよいので、撮像素子１１４の小型化、つまり、固体撮像装置１００の小型化及び低コスト化を実現できる。また、本発明は、デジタルスチルカメラ用の固体撮像装置等の画素サイズが微細化されている固体撮像装置に容易に適用できる。

なお、上記説明では、図３に示す時刻ｔ１０〜時刻ｔ１１において、第１駆動部１２１は、撮像素子１１４に基板掃出しパルスを印加することにより、第２画素に蓄積された信号電荷をリセットしているが、第２画素に印加されるφＶ３及びφＶ７にＶＣＣＤ掃出しパルス（読み出しパルス）を印加することにより、第２画素に蓄積された信号電荷をリセットしてもよい。

図９は、第１駆動部１２１がＶＣＣＤ掃出しパルスを用いて第２画素に蓄積された信号電荷をリセットする場合の固体撮像装置１００のタイミングチャートである。

図９に示すように、第１駆動部１２１は、時刻ｔ２０〜時刻ｔ２１の間、第２画素に印加されるφＶ３及びφＶ７にＶＣＣＤ掃出しパルス（読み出しパルス）を印加することにより、第２画素に蓄積された信号電荷をリセットしてもよい。

なお、図９に示す時刻ｔ２２〜ｔ２３の間、第１駆動部１２１は、第１画素に印加されるφＶ１及びφＶ５にＶＣＣＤ掃出しパルス（読み出しパルス）を印加することにより、第１画素に蓄積された信号電荷をリセットしているが、このＶＣＣＤ掃出しパルスは印加しなくてもよい。だたし、第１駆動部１２１がＶＣＣＤ掃出しパルスを印加し、一旦、第１画素に蓄積された信号電荷をリセットすることにより、時刻ｔ１２〜ｔ１３での２回目のＶＣＣＤ掃出しパルスで確実に第１画素に蓄積された信号電荷をリセットできる。よって、図９に示すように、時刻ｔ２２〜ｔ２３の間に、第１画素にＶＣＣＤ掃出しパルス（読み出しパルス）を印加するほうがより好ましい。

また、第１駆動部１２１は、時刻ｔ２０〜ｔ２１において、第１画素及び第２画素に同時にＶＣＣＤ掃出しパルスを印加してもよい。ただし、第１画素及び第２画素に同時にＶＣＣＤ掃出しパルスを印加する場合には、φＶ１、φＶ３、φＶ５及びφＶ７が同時に高電位に変化することになる。これにより、例えば、ｐウェル１９２の電位が変動してしまう。よって、図９に示すように、異なる時刻に、第１画素と第２画素とにＶＣＣＤ掃出しパルスを印加することがより好ましい。

以上のように、長露光時間ｔ１の開始時刻において、第２画素にＶＣＣＤ掃出しパルスを印加することにより当該第２画素をリセットすることにより、撮像素子１１４は、上述した縦型オーバーフロードレイン（ＶＯＤ）構造を有する必要がない。これにより、撮像素子１１４の構成を簡略化できる。

次に、広ＤＲモード時の信号処理部１４０の動作を説明する。
上述したように、広ＤＲモード時には、信号処理部１４０には、長露光時間ｔ１に対応する長露光画像信号１５３ａと、短露光時間ｔ２に対応する短露光画像信号１５３ｂとが入力される。また、信号処理部１４０は、この長露光画像信号１５３ａと短露光画像信号１５３ｂとを合成することによりダイナミックレンジが広い画像信号１５１を生成する。

以下、長露光画像信号１５３ａと短露光画像信号１５３ｂとを合成することによりダイナミックレンジが広い画像信号１５１が得られる原理を説明する。

図１０は、短露光時間と長露光時間とにおける画素１８０の光電変換特性を示す図である。図１０の横軸は露光量（露光時間中に受光した光量の積分値）を示し、縦軸は画像信号１５３の出力レベルを示す。

図１０に示すように、同一の露光量に対して、長露光画像信号１５３ａの出力レベルは短露光画像信号１５３ｂの出力レベルに対して、当該長露光画像信号１５３ａと当該短露光画像信号１５３ｂの露光時間（積分時間）の比に応じて大きくなる。また、図１０に示す感度曲線の傾きが感度を表す。つまり、露光時間が長いほど、感度は高くなる。

また、各画素１８０に蓄積できる信号電荷量には上限がある。これにより、この上限に相当する出力レベル（飽和出力電圧ＶＳＡＴ）まで、画像信号１５３の出力レベルが達すると、それ以上露光量が増加しても、画像信号１５３の出力レベルは一定値（飽和出力電圧ＶＳＡＴ）に保たれる。この飽和出力電圧ＶＳＡＴに達する露光量（飽和露光量）に応じて、光量（明るさ）に対するダイナミックレンジが決定される。

従って、感度が高い長露光画像信号１５３ａのダイナミックレンジは狭く、感度が低い短露光画像信号１５３ｂのダイナミックレンジは広い。

一方、固体撮像装置１００において感度が高いことは、最も重要な要件である。しかしながら、高感度を実現すると、図１０に示すように、被写体のコントラストに対するダイナミックレンジが狭くなる。つまり、明るい部分の出力レベルが飽和し、ディテールが潰れてしまう（一般に白とびと称す）。即ち、暗い部分に対しては高感度であり、明るい部分に対しては低感度であることが好ましい。

これを実現するには、長露光画像信号１５３ａと短露光画像信号１５３ｂとを合成すればよい。図１１は、長露光画像信号１５３ａと短露光画像信号１５３ｂとを合成した合成画像信号の特性を示す図である。図１１に示すように、合成画像信号は、暗い領域（低露光量）では高感度を実現し、明るい領域（高露光量）では低感度の特性が実現できる。さらに、合成画像信号は、低感度特性で決まる広いダイナミックレンジが得られる。

以下、図１に示す信号処理部１４０の動作を説明する。
第１ホワイトクリップ処理部１４１は、長露光画像信号１５３ａにホワイトクリップ処理を行うことにより、補正後長露光画像信号１５６を生成する。ここでホワイトクリップ処理とは、長露光画像信号１５３ａのレベルがホワイトクリップレベルより大きい場合に、当該長露光画像信号１５３ａのレベルを当該ホワイトクリップレベルにする処理である。

ここで、一般的に、画素１８０の飽和出力電圧ＶＳＡＴは素子間でばらつく。これにより、映像にムラが生じる。つまり、図１１に示すニーポイントがばらつく。これを避けるために上記ホワイトクリップ処理が行われる。換言すると、このホワイトクリップ処理を行うために全画素１８０の画像信号１５３を独立に読み出す必要がある。また、ホワイトクリップレベルは、飽和出力電圧ＶＳＡＴより低いレベルである。

合成部１４２は、第１ホワイトクリップ処理部１４１により生成された補正後長露光画像信号１５６と短露光画像信号１５３ｂとを合成することにより、高感度及び広ダイナミックレンジを有する合成画像信号１５７を生成する。

出力部１４３は、合成画像信号１５７を画像信号１５１として外部に出力する。なお、出力部１４３は、合成画像信号１５７に、ゲイン調整、ノイズ除去、レベル補正及びマトリックス変換等の所定の信号処理を施すことにより、画像信号１５１を生成してもよい。また、信号処理部１４０は、上記所定の信号処理の一部又は全てを合成前の長露光画像信号１５３ａ、短露光画像信号１５３ｂ又は補正後長露光画像信号１５６に対して行ってもよい。

以上のように、広ＤＲモード時には、信号処理部１４０は、露光時間の異なる長露光画像信号１５３ａと短露光画像信号１５３ｂとを合成することによりダイナミックレンジの広い画像信号１５１を生成できる。

次に、高感度モード時の固体撮像装置１００の動作を説明する。
高感度モード時には、制御部１２０は、第１期間の間、複数の画素１８０の全てに光１５０が入射するように光制御部１１２に制御させる。また、制御部１２０は、当該第１期間に含まれる第１時刻に、第２画素に蓄積されている信号電荷をリセットし、当該第１期間に含まれる第２時刻に第１画素に蓄積されている信号電荷をリセットする。また、制御部１２０は、当該第１期間の後の第２期間の間、複数の画素１８０の全てに光が入射しないように光制御部１１２に制御させるとともに、組を成す第１画素及び第２画素に蓄積されていた信号電荷を複数の垂直転送部１８１内又は水平転送部１８２内で混合することにより、混合信号電荷を生成する。

また、出力部１８３は、当該混合信号電荷を混合画像信号１５３ｃに変換し、変換した混合画像信号１５３ｃを信号処理部１４０へ出力する。

図１２は、高感度モード時の固体撮像装置１００の動作を示すタイミングチャートである。図１２に示すように、高感度モード時には、制御部１２０は、長露光時間ｔ１と短露光時間ｔ２とを略等しくする。

具体的には、時刻ｔ３０より前において、第２駆動部１２２は、光制御部１１２を開くことにより、撮像素子１１４に光１５０を入射させる。

次に、第１駆動部１２１は、時刻ｔ３０〜時刻ｔ３１の間、第２画素に印加されるφＶ３及びφＶ７にＶＣＣＤ掃出しパルス（読み出しパルス）を印加することにより、第２画素に蓄積された信号電荷をリセットする。

次に、第１駆動部１２１は、時刻ｔ３２〜時刻ｔ３３の間、第１画素に印加されるφＶ１及びφＶ５にＶＣＣＤ掃出しパルス（読み出しパルス）を印加することにより、第１画素に蓄積された信号電荷をリセットする。

次に、時刻ｔ３３〜時刻ｔ３４の間、第１画素及び第２画素は、入射光１５０を信号電荷に変換し、変換した信号電荷を蓄積する。

次に、時刻ｔ３４において、第２駆動部１２２は、光制御部１１２を閉じる。これにより、時刻ｔ３４以降において、光１５０は、撮像素子１１４に入射しない。つまり、露光時間が終了する。

以上のように、第１画素の短露光時間ｔ２は、ＶＣＣＤ掃出しパルスが印加されてから、光制御部１１２が閉じるまでの時刻ｔ３３〜時刻ｔ３４となり、第２画素の長露光時間ｔ１は、ＶＣＣＤ掃出しパルスが印加されてから、光制御部１１２が閉じるまでの時刻ｔ３１〜時刻３４となる。

なお、第１駆動部１２１は、時刻ｔ３０〜ｔ３１において、第１画素及び第２画素に同時にＶＣＣＤ掃出しパルスを印加してもよい。ただし、第１画素及び第２画素に同時にＶＣＣＤ掃出しパルスを印加する場合には、φＶ１、φＶ３、φＶ５及びφＶ７が同時に高電位に変化することになる。これにより、例えば、ｐウェル１９２の電位が変動してしまう。よって、図１２に示すように、第１画素と第２画素とを異なる時刻にＶＣＣＤ掃出しパルスを印加することがより好ましい。

次に、時刻ｔ３４〜時刻３７において、第１画素及び第２画素に蓄積された信号電荷が混合されたうえで読み出される。ここで第１駆動部１２１は、撮像素子１１４に、複数の画素１８０に蓄積された信号電荷をＮ回に分けて読み出させる所謂Ｎフィールド読み出しを行う。

具体的には、時刻ｔ３４〜時刻３５のダミーフィールド期間において、垂直転送部１８１に保持されている信号電荷を水平転送部１８２に転送する。これにより、垂直転送部１８１に保持されている信号電荷がリセットされる。つまり、時刻ｔ３０〜ｔ３１及び時刻ｔ３２〜時刻ｔ３３において垂直転送部１８１に掃出された信号電荷がリセットされる。

次に、時刻ｔ３５から時刻ｔ３６の第１フィールド期間において、φＶ５及びφＶ７が印加される第１画素及び第２画素に蓄積された信号電荷が混合されたうえで読み出される。

次に、時刻ｔ３６から時刻ｔ３７の第２フィールド期間において、φＶ１及びφＶ３が印加される第１画素及び第２画素に蓄積された信号電荷が混合されたうえで読み出される。

具体的には、第１駆動部１２１は、上下に隣接して配置された同色の画素の信号電荷を垂直転送部１８１内で混合する。

以上のように、全ての画素１８０に蓄積された信号電荷が混合されたうえで読み出される。

なお、ここでは、２フィールドに分けて読み出しを行う場合を例に説明したが、フィールドの数は２に限定されるものではない。また、フィールドに分割して読み出しを行わなくてもよい。つまり、１度で全ての画素１８０に蓄積された信号電荷を読み出してもよい。

このように、本発明の実施の形態に係る固体撮像装置１００は、高感度モード時には、組を成す画素１８０の信号電荷を撮像素子１１４内で混合することにより、信号電荷量を増加させることがきる。これにより、実効感度を上昇させる事ができる。

例えば、暗い被写体を撮影する場合には、感度がダイナミックレンジに優先する。このような場合に、高感度モードが選択される。

次に、高感度モード時の信号処理部１４０の動作を説明する。
上述したように、高感度モード時には、信号処理部１４０には、混合画像信号１５３ｃが入力される。

図１に示す第２ホワイトクリップ処理部１４４は、混合画像信号１５３ｃにホワイトクリップ処理を行うことにより、補正後混合画像信号１５８を生成する。ここで、第２ホワイトクリップ処理部１４４が用いるホワイトクリップレベルＶＭは、長露光時間ｔ１と、短露光時間ｔ２と、画素１８０の飽和出力電圧ＶＳＡＴとに対して、下記式（１）の関係を満たすように設定される。

ＶＭ ≦ ＶＳＡＴ×（１＋ｔ２／ｔ１） ・・・ （１）

これにより、飽和出力電圧ＶＳＡＴのムラが画像に現れるのを回避できる。また、ｔ１≒ｔ２とすれば、混合電荷量が大凡２倍になり、実効感度は約２倍になる。

出力部１４３は、補正後混合画像信号１５８を画像信号１５１として外部に出力する。なお、出力部１４３は、補正後混合画像信号１５８に、ゲイン調整、ノイズ除去、レベル補正及びマトリックス変換等の所定の信号処理を施すことにより、画像信号１５１を生成してもよい。また、信号処理部１４０は、上記所定の信号処理の一部又は全てを混合画像信号１５３ｃに対して行ってもよい。

以上のように、高感度モード時には、固体撮像装置１００は、２画素で生成された信号電荷を混合し、混合した信号電荷に対応する高感度な画像信号１５１を出力できる。

以下、高感度モード時において、上下に隣接する同色の画素の信号電荷を混合した場合の画素混合の重心について説明する。なお、広ＤＲモード時において、上下に隣接する同色の画素の画像信号１５３を合成した場合の加算重心も同様である。

図１３Ａは、上下に隣接する同色の画素の信号電荷を混合した場合の、撮像面上における加算重心の分布を示す図である。図１３Ａに示す重心ＲｇはＲ画素Ｒ１とＲ２との加算重心であり、重心ＧｇはＧ画素Ｇ１とＧ２との加算重心であり、重心ＢｇはＢ画素Ｂ１とＢ２との加算重心である。図１３Ａに示すように、隣接画素間の混合になるので、加算重心は規則的に配置される。これにより、画質（解像度）の劣化を極力抑えることができる。

図１３Ｂは、画素寸法の一例を示す図である。図１３Ｂに示すように、垂直方向の画素寸法を水平方向の画素寸法の約１／２にすることにより、解像度の等方性を確保できる。なお、例えば、垂直方向の画素寸法と水平方向の画素寸法とが等しい場合に比べ、垂直方向の画素寸法を水平方向の画素寸法より小さくするとともに、１／４より大きくすることで、解像度の等方性を向上できる。また、ここで、画素寸法とは、上述した画素１８０（フォトダイオード１９６）と当該画素１８０に対応する垂直転送部１８１の一部（上記例では２つの垂直転送電極１９５）とを含む領域の寸法である。

なお、上記説明では、組を成す第１画素及び第２画素が、列方向に隣接する例を示したが、組を成す第１画素及び第２画素は、行方向に隣接してもよい。

また、第１画素と第２画素との配置関係は、以下に示す配置を用いてもよい。
図１４Ａは、第１画素及び第２画素の配置例、及び加算重心の分布を示す図である。

図１４Ａに示すように、組を成す画素が斜め方向における１つ隣に配置されてもよい。なお、図１４Ａに示す点線枠はこの組を示している。

具体的には、Ｇ画素が市松状に配置され、Ｒ画素及びＢ画素は斜めストライプ状に配置される。つまり、Ｒ画素及びＢ画素は、行方向及び列方向にＧ画素を介して交互に配置される。また、第１画素のみが配置される列と、第２画素が配置される列とが交互に配置される。言い換えると、各Ｒ画素及び各Ｂ画素フィルタの斜めに隣接する４つの画素１８０のうち２つはＲ画素であり、２つはＢ画素である。

組を成す画素が斜め方向に隣接することにより、水平及び垂直の両方向に対して、Ｇ画素、Ｂ画素、及びＲ画素の空間サンプリングピッチを等しくできる。さらに、組を成す画素間の信号電荷の混合による空間的混合重心の分布も均等にすることができる。これにより、良好な解像度特性を得ることができる。

図１４Ｂは、混合前と混合後の２次元ナイキストリミットを示す図である。混合前において、Ｒ画素とＢ画素との斜め方向の解像度特性は不均一になるが、図１４Ｂに示すように、２画素を混合することによってＲ画素、Ｂ画素及びＧ画素の各々で均等な解像度特性を実現することができる。

以下、図１４Ａに示す画素配置の場合の、画素混合の方法について説明する。
図１５は、図１４Ａに示す画素配置の場合の、垂直転送電極１９５の構成例、及び読み出し動作を模式的に示す図である。

図１５に示すように、撮像素子１１４は、さらに、位置調整部１８４と、ラインメモリ１８５とを備える。

位置調整部１８４は、第１画素のみが配置される複数の第１列の垂直転送部１８１により転送された信号電荷と、第２画素のみが配置される複数の第２列の垂直転送部１８１により転送された信号電荷とを異なる段数で転送する。例えば、図１５に示す例では、第１列の垂直転送部１８１により転送された信号電荷を３段で転送し、第２列の垂直転送部１８１により転送された信号電荷を４段で転送する。

ラインメモリ１８５は、位置調整部１８４により転送された信号電荷を一時的に保持する。また、ラインメモリ１８５は。保持する信号電荷を水平転送部１８２に転送する。

以下、図１５に示す組を成す第１画素１８０Ａ及び第２画素１８０Ｂに蓄積された信号電荷を混合する場合を例に説明する。なお、図１５における丸印内の数値は、転送回数を示す。

図１５に示すように組を成す第１画素１８０Ａ及び第２画素１８０Ｂの信号電荷が同時に垂直転送部１８１に読み出される。次に、読み出された各信号電荷は、垂直方向（図１５の下方向）に順時転送されることにより、位置調整部１８４に入力される。位置調整部１８４は、入力された信号電荷をそれぞれ転送する。これにより、ラインメモリ１８５に組を成す第１画素１８０Ａ及び第２画素１８０Ｂの信号電荷が同時に保持される。次に、ラインメモリ１８５は、この組を成す第１画素１８０Ａ及び第２画素１８０Ｂの信号電荷を水平転送部１８２に転送する。次に、水平転送部１８２は、ラインメモリ１８５から転送された第１画素１８０Ａ及び第２画素１８０Ｂの信号電荷を当該水平転送部１８２内で混合するとともに、混合した信号電荷を水平方向に転送する。次に、出力部１８３は、水平転送部１８２により転送された信号電荷を混合画像信号１５３ｃに変換し、変換した混合画像信号１５３ｃを出力する。

このように、斜め方向に隣接して配置された第１画素の信号電荷と第２画素の信号電荷とを撮像素子１１４内で混合できる。

なお、第１画素及び第２画素を斜め方向に隣接して配置する画素配置として、以下に示す画素配置を用いてもよい。

図１６及び図１７は、画素配置の変形例、及び加算重心の分布を示す図である。なお、図１６及び図１７に示す点線枠は、対応する第１画素と第２画素の組を示している。

図１６に示す画素配置例では、Ｇ画素が市松状に配置され、Ｒ画素及びＢ画素は２列ごとの縦ストライプ状に配置される。つまり、Ｒ画素及びＢ画素は、行方向にＧ画素を介して交互に配置される。また、Ｇ画素及びＲ画素の第１画素のみが交互に配置される列と、Ｇ画素及びＲ画素の第２画素のみが交互に配置される列と、Ｇ画素及びＢ画素の第１画素のみが交互に配置される列と、Ｇ画素及びＢ画素の第２画素のみが交互に配置される列とが、この順に繰り返し配置される。

また、図１７に示す画素配置例では、Ｇ画素が市松状に配置され、Ｒ画素及びＢ画素は２行ごとの横ストライプ状に配置される。つまり、Ｒ画素及びＢ画素は、列方向にＧ画素を介して交互に配置される。また、Ｇ画素及びＲ画素の第１画素のみが交互に配置される行と、Ｇ画素及びＲ画素の第２画素のみが交互に配置される行と、Ｇ画素及びＢ画素の第１画素のみが交互に配置される行と、Ｇ画素及びＢ画素の第２画素のみが交互に配置される行とが、この順に繰り返し配置される。

図１６及び図１７に示す配置の場合も、図１４Ａに示す配置と同様の効果を得ることができる。

また、第１画素及び第２画素の配置として、以下に示す画素配置を用いてもよい。
図１８は、画素配置の変形例、及び加算重心の分布を示す図である。なお、図１８に示す点線枠は、対応する第１画素と第２画素の組を示している。

図１８に示す画素配列では、Ｒ画素、Ｇ画素及びＢ画素がベイヤ配列される。具体的には、Ｇ画素が市松状に配置される。また、Ｇ画素及びＲ画素のみが交互に配置される行と、Ｇ画素及びＢ画素のみが交互に配置される行とが交互に配置されるとともに、Ｇ画素及びＲ画素のみが交互に配置される列と、Ｇ画素及びＢ画素のみが交互に配置される列とが交互に配置される。

また、Ｇ画素は、斜め方向に隣接する画素間で組を成し、Ｒ画素及びＢ画素は、空間的に最も近い同色の画素間で組を成す。例えば、図１８に示す例では、Ｒ画素及びＢ画素は、列方向における２つ隣に配置されている同色の画素間で組を成す。なお、Ｒ画素及びＢ画素は、行方向における２つ隣に配置されている同色の画素間で組を成してもよい。

この画素配列を用いることにより、Ｇ画素、Ｒ画素及びＢ画素のそれぞれの加算重心を空間的に均等に配置させることができる。よって、Ｒ画素、Ｂ画素及びＧ画素の各々で均等な解像度特性を実現することができる。

また、図１８に示すベイヤ配列を用いることで、後述する高解像度モード時において、Ｒ画素、Ｂ画素及びＧ画素の各々で均等な解像度特性を実現することができる。

次に、高解像度モード時の固体撮像装置１００の動作を説明する。
高解像度モード時には、制御部１２０は、第１期間の間、複数の画素１８０の全てに光が入射するように光制御部１１２に制御させる。また、制御部１２０、当該第１期間に含まれる第１時刻に、複数の第２画素に蓄積されている信号電荷をリセットし、当該第１期間に含まれる第２時刻に複数の第１画素に蓄積されている信号電荷をリセットする。また、制御部１２０は、第１期間の後の第２期間の間、複数の画素１８０の全てに光が入射しないように光制御部１１２に制御させるとともに、複数の画素１８０に蓄積されている信号電荷を複数の垂直転送部１８１及び水平転送部１８２を介してそれぞれ読み出す。

また、出力部１８３は、読み出された信号電荷を高解像度画像信号１５３ｄに変換し、変換した高解像度画像信号１５３ｄを信号処理部１４０へ出力する。

次に、固体撮像装置１００の全体の動作の流れを説明する。
図１９は、固体撮像装置１００の動作の流れを示すフローチャートである。

まず、モード取得部１３１は、ユーザの操作に応じた指定モード信号１５２を取得し、取得した指定モード信号１５２をモード選択部１３３に出力する（Ｓ２０１）。ここで、指定モード信号１５２は、固体撮像装置１００の動作モードである、広ＤＲモード、高感度モード、高解像度モード及びオートモードのいずれかを示す。

また、明るさ取得部１３２は、被写界の明るさを示す明るさ情報１５９を取得し、取得した明るさ情報１５９をモード選択部１３３に出力する（Ｓ２０２）。例えば、明るさ取得部１３２は、固体撮像装置１００が備える、又は、当該固体撮像装置１００が搭載される撮影装置（デジタルスチルカメラ等）が備える光センサにより出力される明るさ情報を取得する。なお、明るさ取得部１３２は、予め撮影した画像信号１５１又は１５３から被写界の明るさを判定してもよい。

次に、モード選択部１３３は、指定モード信号１５２及び明るさ情報１５９を用いて、動作モードを選択し、選択した動作モードを示す選択モード信号１６０を制御部１２０に出力する。

具体的には、指定モード信号１５２でオートモードが指定されている場合（Ｓ２０３でＹｅｓ）、モード選択部１３３は、明るさ情報１５９に示される被写界の明るさが予め定められた閾値以上であるか否かを判定する（Ｓ２０４）。

明るさ情報１５９に示される被写界の明るさが予め定められた閾値以上である場合（Ｓ２０４でＹｅｓ）、つまり、被写界が明るい場合、モード選択部１３３は、広ＤＲモードを選択し、広ＤＲモードを示す選択モード信号１６０を制御部１２０に出力する。

これにより、第１駆動部１２１は、撮像素子１１４に上述した広ＤＲモードの動作を行わせる第１駆動信号１５４を生成する。具体的には、第１駆動信号１５４は、基板掃出しパルス（Ｖｓｕｂ）と、垂直転送部１８１を駆動する駆動信号（φＶ１〜φＶ８等）と、水平転送部１８２を駆動する駆動信号（φＨ１〜φＨ４）とを含む。

具体的には、制御部１２０は、撮像素子１１４を非加算読み出しで動作させるとともに、長露光時間ｔ１を短露光時間ｔ２より長くする。例えば、制御部１２０は、長露光時間ｔ１を短露光時間ｔ２の２倍以上にする（Ｓ２０５）。

これにより、撮像素子１１４は、長露光時間ｔ１に対応する長露光画像信号１５３ａと、短露光時間ｔ２に対応する短露光画像信号１５３ｂとを生成する（Ｓ２０６）。

次に、第１ホワイトクリップ処理部１４１は、長露光画像信号１５３ａにホワイトクリップ処理を行うことにより、補正後長露光画像信号１５６を生成する。次に、合成部１４２は、補正後長露光画像信号１５６と短露光画像信号１５３ｂとを合成することにより、合成画像信号１５７を生成する（Ｓ２０７）。

次に、出力部１４３は、被写界の状態に対して、モード選択部１３３により選択された動作モードが適正か否かを判定する（Ｓ２０８）。具体的には、出力部１４３は、白とび又は黒つぶれが発生している場合には、動作モードが適正でないと判定する。例えば、出力部１４３は、合成画像信号１５７の信号レベルの平均値が予め定められた範囲内の場合に動作モードが適正であると判定し、当該範囲外の場合に動作モードが適正でないと判断する。なお、出力部１４３は、合成画像信号１５７に含まれる、信号レベルが所定の範囲外にある画素の数が予め定められた数未満の場合に動作モードが適正であると判定し、当該数以上の場合に動作モードが適正でないと判断してもよい。

動作モードが適正である場合（Ｓ２０８でＹｅｓ）、次に、出力部１４３は、合成画像信号１５７を画像信号１５１として外部に出力する（Ｓ２１６）。

一方、ステップＳ２０４において、明るさ情報１５９に示される被写界の明るさが予め定められた閾値未満である場合（Ｓ２０４でＮｏ）、つまり、被写界が暗い場合、モード選択部１３３は、高感度モードを選択し、高感度モードを示す選択モード信号１６０を制御部１２０に出力する。

これにより、第１駆動部１２１は、撮像素子１１４に上述した高感度モードの動作を行わせる第１駆動信号１５４を生成する。

具体的には、制御部１２０は、撮像素子１１４を混合読み出しで動作させるとともに、長露光時間ｔ１及び短露光時間ｔ２を略等しくする。例えば、制御部１２０は、長露光時間ｔ１を短露光時間ｔ２の９０〜１１０％の範囲内にする（Ｓ２１０）。

これにより、撮像素子１１４は、混合画像信号１５３ｃを生成する（Ｓ２１１）。
次に、第２ホワイトクリップ処理部１４４は、混合画像信号１５３ｃにホワイトクリップ処理を行うことにより、補正後混合画像信号１５８を生成する。

次に、出力部１４３は、被写界の状態に対して、モード選択部１３３により選択された動作モードが適正か否かを判定する（Ｓ２０８）。

動作モードが適正である場合（Ｓ２０８でＹｅｓ）、次に、出力部１４３は、補正後混合画像信号１５８を画像信号１５１として外部に出力する（Ｓ２１６）。

一方、指定モード信号１５２で広ＤＲモードが指定されている場合（Ｓ２０３でＮｏ、かつＳ２１２でＹｅｓ）、モード選択部１３３は、広ＤＲモードを選択し、広ＤＲモードを示す選択モード信号１６０を制御部１２０に出力する。なお、この場合の動作は、オートモード時に明るさ情報１５９に示される被写界の明るさが予め定められた閾値以上である場合（Ｓ２０４でＹｅｓ）と同様である。

また、指定モード信号１５２で高感度モードが指定されている場合（Ｓ２０３でＮｏ、かつＳ２１２でＮｏ、かつＳ２１３でＹｅｓ）、モード選択部１３３は、高感度モードを選択し、高感度モードを示す選択モード信号１６０を制御部１２０に出力する。なお、この場合の動作は、オートモード時に明るさ情報１５９に示される被写界の明るさが予め定められた閾値未満である場合（Ｓ２０４でＮｏ）と同様である。

一方、指定モード信号１５２で高解像度モードが指定されている場合（Ｓ２０３でＮｏ、かつＳ２１２でＮｏ、かつＳ２１３でＮｏ）、モード選択部１３３は、高解像度モードを選択し、高解像度モードを示す選択モード信号１６０を制御部１２０に出力する。

これにより、第１駆動部１２１は、撮像素子１１４に高解像度モードの動作を行わせる第１駆動信号１５４を生成する。

具体的には、制御部１２０は、撮像素子１１４を非加算読み出しで動作させるとともに、長露光時間ｔ１及び短露光時間ｔ２を略等しくする。例えば、制御部１２０は、長露光時間ｔ１を短露光時間ｔ２の９０〜１１０％の範囲内にする（Ｓ２１４）。

これにより、撮像素子１１４は、高解像度画像信号１５３ｄを生成する（Ｓ２１５）。この高解像度画像信号１５３ｄは、長露光画像信号１５３ａ、短露光画像信号１５３ｂ及び混合画像信号１５３ｃに対して２倍の解像度を有する。

次に、出力部１４３は、被写界の状態に対して、モード選択部１３３により選択された動作モードが適正か否かを判定する（Ｓ２０８）。

動作モードが適正である場合（Ｓ２０８でＹｅｓ）、次に、出力部１４３は、高解像度画像信号１５３ｄを画像信号１５１として外部に出力する（Ｓ２１６）。

一方、各動作モードにおいて、動作モードが適正でない場合（Ｓ２０８でＮｏ）、明るさ取得部１３２は、再度、明るさ情報１５９を取得し、取得した明るさ情報１５９をモード選択部１３３に出力する（Ｓ２０９）。

次に、モード選択部１３３は、指定モード信号１５２でオートモードが指定されている場合（Ｓ２０３でＹｅｓ）と同様の処理を再度行う。

なお、高解像度モード時において、適正でない場合（Ｓ２０８でＮｏ）には、明るさ情報１５９に基づき、露光時間ｔ１≒ｔ２を変更したうえで、再度ステップＳ２１４の処理を行ってもよい。具体的には、被写界が明るい場合には、露光時間ｔ１≒ｔ２を短くし、被写界が暗い場合には、露光時間ｔ１≒ｔ２を長くすればよい。

以上より、本発明の実施の形態に係る固体撮像装置１００は、広ＤＲモード時には、異なる露光時間の長露光画像信号１５３ａと短露光画像信号１５３ｂとを生成し、この長露光画像信号１５３ａと短露光画像信号１５３ｂとを合成することにより、ダイナミックレンジの広い画像信号１５１を生成できる。

さらに、本発明の実施の形態に係る固体撮像装置１００は、２つの露光時間の開始時刻を異ならせ、かつ、光制御部１１２により２つの露光時間の終了時刻を同時刻にする。これにより、本発明の実施の形態に係る固体撮像装置１００は、露光時間が終了した後から、信号電荷を読み出すまでの期間、画素１８０に信号電荷を保持できる。よって、固体撮像装置１００は、垂直転送部１８１等に信号電荷を長時間保持する必要がないので、スミア及び暗電流による雑音を抑えることができる。

また、本発明の実施の形態に係る固体撮像装置１００は、高感度モード時には、撮像素子１１４内で、２画素の信号電荷を混合することにより、高感度な画像信号１５１を生成できる。

また、本発明の実施の形態に係る固体撮像装置１００は、高解像度モード時には、各画素１８０の信号電荷を個別に読み出すことにより、高解像度な画像信号１５１を生成できる。

また、本発明の実施の形態に係る固体撮像装置１００は、被写界の明るさに応じて動作モードを選択する。これにより、固体撮像装置１００は、自動的に最適な動作モードを選択できる。

以上、本発明の実施の形態に係る固体撮像装置１００について説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、上記実施の形態では、光制御部１１２は、機械式シャッタであるとしたが、複数の画素１８０の全てへ光を入射させるか否かを制御可能な構成であれば、機械式シャッタ以外でもよい。

具体的には、光制御部１１２は、液晶パネル等の電気的に光の透過率を制御可能な光学素子であってもよい。例えば、当該光学素子を撮像素子１１４の入射面側の全面に配置する。この構成において、当該光学素子の透過率を下げることで、撮像素子１１４へ光１５０を入射させないように制御し、当該光学素子の透過率を上げることで、撮像素子１１４へ光１５０を入射させるように制御できる。

また、光制御部１１２は、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ミラー等の光１５０の反射方向を制御可能なデバイスであってもよい。

図２０Ａ及び図２０Ｂは、光制御部１１２としてＭＥＭＳミラー１１２Ａを用いた場合の撮像部１１０の構成例を示す図である。

図２０Ａに示すようにＭＥＭＳミラー１１２Ａの反射方向を制御することによりレンズ１１１により集光された光１５０を撮像素子１１４へ入射させることができる。また、図２０Ｂに示すようにＭＥＭＳミラー１１２Ａの反射方向を制御することによりレンズ１１１により集光された光１５０を撮像素子１１４へ入射させないことができる。

また、光制御部１１２は、ストロボ等の被写体に光を照射する光照射装置であってもよい。例えば、暗所において撮影する場合には、この光照射装置が被写体に光を照射することにより、撮像素子１１４に光１５０を入射させ、光照射装置が被写体に光を照射しないことにより、撮像素子１１４に光１５０を入射させないように制御できる。

また、上記実施の形態に係る固体撮像装置１００に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、本発明の実施の形態に係る固体撮像装置１００に含まれる制御部１２０、モード決定部１３０及び信号処理部１４０の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記説明では、本発明の実施の形態に係る固体撮像装置１００は、撮像部１１０、制御部１２０、モード決定部１３０及び信号処理部１４０を含むとしたが、モード決定部１３０及び信号処理部１４０のうち少なくとも一方が、固体撮像装置１００の外部に形成されてもよい。つまり、固体撮像装置１００は、画像信号１５３を外部に出力し、外部の装置が、この画像信号１５３に上述した信号処理を行ってもよい。

また、上記で用いた数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。さらに、ハイ／ローにより表される論理レベル又はオン／オフにより表されるスイッチング状態は、本発明を具体的に説明するために例示するものであり、例示された論理レベル又はスイッチング状態の異なる組み合わせにより、同等な結果を得ることも可能である。また、トランジスタ及び半導体層等のｎ型及びｐ型等は、本発明を具体的に説明するために例示するものであり、これらを反転させることで、同等の結果を得ることも可能である。また、構成要素間の接続関係は、本発明を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。

更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。

また、上記実施の形態に係る、固体撮像装置１００、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。

本発明は、固体撮像装置に適用でき、特に、デジタルスチルカメラに適用できる。

１００ 固体撮像装置
１１０ 撮像部
１１１、１１３ レンズ
１１２ 光制御部
１１２Ａ ＭＥＭＳミラー
１１４ 撮像素子
１２０ 制御部
１２１ 第１駆動部
１２２ 第２駆動部
１３０ モード決定部
１３１ モード取得部
１３２ 明るさ取得部
１３３ モード選択部
１４０ 信号処理部
１４１ 第１ホワイトクリップ処理部
１４２ 合成部
１４３ 出力部
１４４ 第２ホワイトクリップ処理部
１５０ 光
１５１、１５３ 画像信号
１５２ 指定モード信号
１５３ａ 長露光画像信号
１５３ｂ 短露光画像信号
１５３ｃ 混合画像信号
１５３ｄ 高解像度画像信号
１５４ 第１駆動信号
１５５ 第２駆動信号
１５６ 補正後長露光画像信号
１５７ 合成画像信号
１５８ 補正後混合画像信号
１５９ 明るさ情報
１６０ 選択モード信号
１８０ 画素
１８０Ａ 第１画素
１８０Ｂ 第２画素
１８１ 垂直転送部
１８２ 水平転送部
１８３ 出力部
１８４ 位置調整部
１８５ ラインメモリ
１９１ ｎ型半導体基板
１９２ ｐウェル
１９３ ｐ＋領域
１９４ 垂直転送チャネル
１９５ 垂直転送電極
Ｂｇ、Ｇｇ、Ｒｇ 重心
Ｂ１、Ｂ２ Ｂ画素
Ｇ１、Ｇ２ Ｇ画素
Ｒ１、Ｒ２ Ｒ画素

Claims (20)

1. 固体撮像装置であって、
   行列状に配置され、光を信号電荷に変換し、変換した前記信号電荷を蓄積する複数の光電変換素子と、
   列毎に設けられ、対応する列に配置された複数の光電変換素子に蓄積されている前記信号電荷を転送する複数の垂直転送部と、
   前記複数の垂直転送部により転送された信号電荷を転送する水平転送部と、
   前記複数の光電変換素子へ光を入射させるか否かを制御する光制御部と、
   制御部とを備え、
   前記制御部は、
   第１期間の間、前記複数の光電変換素子に光が入射するように前記光制御部に制御させ、
   前記第１期間に含まれる第１時刻に、前記複数の光電変換素子に含まれる複数の第１光電変換素子に蓄積されている前記信号電荷をリセットし、
   前記第１期間に含まれ、かつ前記第１時刻より後の第２時刻に前記複数の光電変換素子に含まれる複数の第２光電変換素子に蓄積されている前記信号電荷をリセットし、
   前記第１期間の直後の第２期間の間、前記複数の光電変換素子へ光が入射しないように前記光制御部に制御させ、
   前記第１時刻から前記第２期間の開始時刻までの第１露光時間の間に前記複数の第１光電変換素子に蓄積された第１信号電荷と、前記第２時刻から前記第２期間の開始時刻までの第２露光時間の間に前記複数の第２光電変換素子により蓄積された第２信号電荷とを前記第２期間の間に前記垂直転送部及び前記水平転送部を介して読み出し、
   前記各第１光電変換素子と各第２光電変換素子とは一対一で対応して配置されており、
   前記各第１光電変換素子は、当該第１光電変換素子に対応する前記第２光電変換素子から予め定められた距離内に配置されている
   固体撮像装置。
2. 前記各第１光電変換素子は、当該第１光電変換素子に対応する前記第２光電変換素子の行方向、列方向又は斜め方向における１つ隣、又は行方向又は列方向における２つ隣に配置されている
   請求項１記載の固体撮像装置。
3. 前記固体撮像装置は、さらに、
   前記複数の光電変換素子の上にそれぞれ形成される複数のフィルタを備え、
   前記複数のフィルタのそれぞれは、複数の波長帯域のうちいずれかの光を透過する複数の種類のフィルタのうちいずれかであり、
   互いに対応する前記第１光電変換素子及び前記第２光電変換素子の上には、同一の種類の前記フィルタが形成されている
   請求項１又は２記載の固体撮像装置。
4. 前記複数のフィルタのそれぞれは、赤色光を透過する赤色フィルタと、緑色光を透過する緑色フィルタと、青色光を透過する青色フィルタとのうちいずれかであり、
   前記各第１光電変換素子は、当該第１光電変換素子に対応する前記第２光電変換素子の行方向又は列方向における１つ隣に配置されており、
   前記互いに対応する前記第１光電変換素子及び前記第２光電変換素子の組は、ベイヤ配列されている
   請求項３記載の固体撮像装置。
5. 前記複数のフィルタのそれぞれは、赤色光を透過する赤色フィルタ、緑色光を透過する緑色フィルタ、及び青色光を透過する青色フィルタのうちいずれかであるとともに、ベイヤ配列されており、
   前記緑色フィルタの下に形成される各第１光電変換素子は、当該第１光電変換素子に対応する前記第２光電変換素子の斜め方向における１つ隣に配置されており、
   前記赤色フィルタ又は前記青色フィルタの下に配置される各第１光電変換素子は、当該第１光電変換素子に対応する前記第２光電変換素子の行方向又は列方向における２つ隣に配置されている
   請求項３記載の固体撮像装置。
6. 前記複数のフィルタのそれぞれは、赤色光を透過する赤色フィルタ、緑色光を透過する緑色フィルタ、及び青色光を透過する青色フィルタのうちいずれかであり、
   前記緑色フィルタは市松状に配置されており、
   前記各赤色フィルタ及び各青色フィルタの斜めに隣接する４つのフィルタのうち２つは前記赤色フィルタであり、２つは青色フィルタであり、
   前記各第１光電変換素子は、当該第１光電変換素子に対応する前記第２光電変換素子の斜め方向における１つ隣に配置されている
   請求項３記載の固体撮像装置。
7. 前記制御部は、前記第２時刻に前記複数の第２光電変換素子に蓄積されている前記信号電荷を、前記垂直転送部に転送することにより、当該複数の第２光電変換素子に蓄積されている前記信号電荷をリセットする
   請求項１〜６のいずれか１項に記載の固体撮像装置。
8. 前記固体撮像装置は、さらに、
   前記複数の光電変換素子が形成される半導体基板を備え、
   前記制御部は、前記第１時刻に、前記複数の光電変換素子に蓄積されている前記信号電荷を前記半導体基板に排出することにより、前記複数の第１光電変換素子に蓄積されている前記信号電荷をリセットする
   請求項７記載の固体撮像装置。
9. 前記制御部は、前記第１時刻に前記複数の第１光電変換素子に蓄積されている前記信号電荷を、前記垂直転送部に転送することにより、当該複数の第１光電変換素子に蓄積されている前記信号電荷をリセットする
   請求項７記載の固体撮像装置。
10. 前記固体撮像装置は、さらに、
    前記第１信号電荷を第１画像信号に変換し、前記第２信号電荷を第２画像信号に変換し、変換した前記第１画像信号及び前記第２画像信号を出力する出力部と、
    前記第１画像信号及び前記第２画像信号を合成する信号処理部とを備える
    請求項１〜９のいずれか１項に記載の固体撮像装置。
11. 前記信号処理部は、
    前記第１画像信号が第１の値より大きい場合に、当該第１画像信号を前記第１の値にすることにより補正後第１画像信号を生成する第１ホワイトクリップ処理部と、
    前記補正後第１画像信号と、前記第２画像信号とを合成する合成部とを備える
    請求項１０記載の固体撮像装置。
12. 前記固体撮像装置は、第１動作モードと、第２動作モードとを有し、
    前記第１動作モード時には、
    前記制御部は、前記第１信号電荷及び前記第２信号電荷を読み出し、
    前記出力部は、前記第１信号電荷を第１画像信号に変換し、前記第２信号電荷を第２画像信号に変換し、変換した前記第１画像信号及び前記第２画像信号を出力し、
    前記信号処理部は、前記第１画像信号及び前記第２画像信号を合成し、
    前記第２動作モード時には、
    前記制御部は、前記第１信号電荷と前記第２信号電荷とを前記垂直転送部内又は前記水平転送部内で混合することにより混合信号電荷を生成し、
    前記出力部は、前記混合信号電荷を混合画像信号に変換し、変換した混合画像信号を出力する
    請求項１０又は１１記載の固体撮像装置。
13. 前記信号処理部は、さらに、
    前記第２動作モード時に、前記混合画像信号が第２の値より大きい場合に、当該混合画像信号を前記第２の値にすることにより補正後第２画像信号を生成する第２ホワイトクリップ処理部を備え、
    前記第２の値は、前記光電変換素子の飽和信号電荷に相当する混合画像信号の値をＶＳＡＴとし、前記第１露光時間をｔ１とし、前記第２露光時間をｔ２とした場合、ＶＳＡＴ×（１＋ｔ２／ｔ１）で表される値以下である
    請求項１２記載の固体撮像装置。
14. 前記制御部は、前記第１露光時間を前記第２露光時間の２倍以上にし、前記第２動作モード時には、前記第２露光時間を前記第１露光時間の９０％以上にする
    請求項１２又は１３記載の固体撮像装置。
15. 前記固体撮像装置は、さらに、第３動作モードを有し、
    前記第３動作モード時には、
    前記制御部は、前記第１信号電荷及び前記第２信号電荷を前記第２期間の間に読み出し、
    前記出力部は、前記読み出し部により読み出された前記第１信号電荷及び第２信号電荷を第３画像信号に変換し、変換した前記第３画像信号を出力し、
    前記制御部は、前記第３動作モード時には、前記第２露光時間を前記第１露光時間の９０％以上にする
    請求項１４記載の固体撮像装置。
16. 前記固体撮像装置は、さらに、
    被写界の明るさを取得する明るさ取得部と、
    前記明るさ取得部により取得された明るさが第３の値より大きい場合、前記第１動作モードを選択し、前記明るさ取得部により取得された明るさが前記第３の値より小さい場合、前記第２動作モードを選択するモード選択部とを備え、
    前記固体撮像装置は、前記モード選択部により選択された前記第１動作モード又は前記第２動作モードで動作する
    請求項１２〜１５のいずれか１項に記載の固体撮像装置。
17. 前記読み出し部は、前記第２期間の間に、前記複数の光電変換素子に蓄積された前記信号電荷を複数回に分けて読み出す
    請求項１〜１６のいずれか１項に記載の固体撮像装置。
18. 前記光制御部は、機械式シャッタである
    請求項１〜１７のいずれか１項に記載の固体撮像装置。
19. 前記光制御部は、液晶、ＭＥＭＳミラー、又は電気的に制御可能な光学素子である
    請求項１〜１７のいずれか１項に記載の固体撮像装置。
20. 行列状に配置され、光を信号電荷に変換し、変換した前記信号電荷を蓄積する複数の光電変換素子と、
    列毎に設けられ、対応する列に配置された前記光電変換素子に蓄積されている前記信号電荷を転送する複数の垂直転送部と、
    前記複数の垂直転送部により転送された信号電荷を転送する水平転送部と、
    前記複数の光電変換素子へ光を入射させるか否かを制御する光制御部とを備える固体撮像装置の制御方法であって、
    第１期間の間、前記複数の光電変換素子に光が入射するように前記光制御部に制御させるステップと、
    前記第１期間に含まれる第１時刻に、前記複数の光電変換素子に含まれる複数の第１光電変換素子に蓄積されている前記信号電荷をリセットするステップと、
    前記第１期間に含まれ、かつ前記第１時刻より後の第２時刻に前記複数の光電変換素子に含まれる複数の第２光電変換素子に蓄積されている前記信号電荷をリセットするステップと、
    前記第１期間の直後の第２期間の間、前記複数の光電変換素子へ光が入射しないように前記光制御部に制御させるステップと、
    前記第１時刻から前記第２期間の開始時刻までの第１露光時間の間に前記複数の第１光電変換素子に蓄積された第１信号電荷と、前記第２時刻から前記第２期間の開始時刻までの第２露光時間の間に前記複数の第２光電変換素子により蓄積された第２信号電荷とを前記第２期間の間に前記垂直転送部及び前記水平転送部を介して読み出すステップとを含み、
    前記各第１光電変換素子と各第２光電変換素子とは一対一で対応して配置されており、
    前記各第１光電変換素子は、当該第１光電変換素子に対応する前記第２光電変換素子から予め定められた距離内に配置されている
    固体撮像装置の制御方法。

Images