JP2010283624A - 固体撮像装置およびその制御方法 - Google Patents

Abstract

【課題】全画素読み出し画像の解像度を損なうことなく、かつ高ダイナミックレンジ画像における動く被写体に対する輪郭ぼけや解像度の低下が少ない手段を提供する。
【解決手段】露光期間をオーバーラップさせながら互いに異なる時間露光する第１の画素群２７と第２の画素群２８から単位画素群２６を形成し、各単位画素群２６における行列方向に、互いに独立して読み出し可能な第１の画素群２７の画素２５と第２の画素群２８の画素２５をそれぞれ少なくとも１つ配置し、第１の画素群２７の画素２５と第２の画素群２８の画素２５を合成して撮像画像を生成することにより、全画素読み出し画像の解像度を損なうことなく、動く被写体に対する輪郭ぼけを抑制しながら、高ダイナミックレンジ画像における解像度を向上することができる。
【選択図】図２

Description

本発明は、異なる感度の画像信号を合成することにより高ダイナミックレンジの画像を生成する固体撮像装置およびその制御方法に関する。

人間の目のダイナミックレンジはおよそ１００ｄＢ（１００，０００倍）と言われるが、デジタルスチルカメラ等で通常使用されているイメージセンサのダイナミックレンジは６０〜８０ｄＢ（１，０００〜１０，０００倍）のものが主流でるため、より人間の目のダイナミックレンジに近付ける、いわゆる高ダイナミックレンジ化技術が数多く発案されている。

単板カラーＣＣＤでダイナミックレンジを拡大する方法としては、電子シャッタを用いて露光時間を異ならせることにより高感度、低感度の２種類の画像信号を発生させ、高ダイナミックレンジ画像信号を合成する方式が提案されている（例えば、特許文献１、２参照）。

特許文献１の撮像装置の駆動方法は、電子シャッタでフォトダイオードの信号をリセットして第１の撮像を行い、高感度の画像信号をフォトダイオードからＣＣＤに読み出し、メカシャッタなどを用いて第２の撮像をより長い露光時間条件で行い、フォトダイオードに低感度の画像信号を保持したまま、第１の撮像による高感度の画像信号をＣＣＤから外部に出力し、第２の撮像による低感度の画像信号をフォトダイオードからＣＣＤに読み出し、外部に出力することを提案する。同一のフォトダイオードにより高感度、低感度の画像信号を得ることができるため、合成される高ダイナミックレンジ画像の解像度は通常画像と同一にできる。

しかしながら、同一の画素を用いて別々に露光するため、高感度、低感度の画像信号の露光時間がオーバーラップしておらず、動く被写体に対してはずれた画像を撮像することになり、合成後の画像の輪郭がぼやけるなどの欠点がある。また、１つの画素で複数回の露光を行うため、順次走査型のＣＣＤ構造が必要となるため１画素あたりの転送ゲート数が多くなり、製造コストや感度・飽和などの特性面で飛び越し走査型のＣＣＤ構造に比べ劣るという欠点がある。

上記欠点を解決する手段として、特許文献２に記載の固体撮像装置は、単板カラーＣＣＤの色フィルタ配列を図１５の従来の高ダイナミックレンジ固体撮像素子の構成図に示すように、同一色のフィルタを垂直方向に２画素隣接させた垂直４画素水平２画素の繰り返しユニットとしている。前記固体撮像装置の駆動方法は、電子シャッタでフォトダイオードの信号をリセットして第１および第２の撮像を同時に開始し、垂直方向に隣接した同一色の画素の一方の第１の画像信号（低感度画素信号）をフォトダイオードからＣＣＤに読み出して第１の撮像を終了し、一定期間の後にメカシャッタなどを用いて光を遮断することにより第２の撮像を終了し、第１の低感度用の画像信号をＣＣＤから外部に出力し、第１の画像信号の垂直方向に隣接した同一色の画素の残りの一方の画像信号（高感度用画素信号）をフォトダイオードからＣＣＤに読み出してさらにＣＣＤから外部に出力することを提案する。

この方法によれば、低感度用画像信号の露光時間が高感度用画像信号の露光時間と完全にオーバーラップしているため、合成して得られる高ダイナミックレンジ画像が動く被写体に対して輪郭がぼやけるなどの欠点が改善される。

しかしながら、特許文献２に記載の固体撮像装置は同一色のフィルタが垂直方向に隣接して配置されているため、垂直方向の画素数が現在多く使用されているベイヤー配列を有する固体撮像装置の半分に減少する。図１６は特許文献２の固体撮像装置によって得られる画像の空間周波数領域における限界解像度の概略説明図である。この図からわかるように、全画素を読み出し画像と高ダイナミックレンジ画像の垂直解像度がベイヤー配列を有する固体撮像装置の半分であり、また水平解像度と垂直解像度が大きく異なるため不自然な画像になるという課題を有する。

特開２０００−１３８８６８公報 特開２００７−２３５６５６公報

本発明は、全画素読み出し画像の解像度を損なうことなく、動く被写体に対する輪郭ぼけを抑制しながら、高ダイナミックレンジ画像における解像度を向上することを目的とする。

前記の目的を達成するため、本発明に係る固体撮像装置は、光電変換により画像を撮像する複数の画素が行列状に２次元配置される固体撮像素子からなり、前記固体撮像素子が、前記各画素から画像信号を読み出すための複数の読み出しゲートを有し、前記画素が行方向に２ｎ画素、列方向に２ｎ画素（ｎは１以上の整数）からなる合計２ｎ×２ｎ画素の単位画素群の繰り返しで構成され、前記単位画素群は第１の画素群と第２の画素群とからなり、前記単位画素群の各行および各列にはそれぞれ少なくとも１つずつの前記第１の画素群の画素および前記第２の画素群の画素が配置され、前記読み出しゲートは前記各画素を個別に読み出すように制御可能であり、前記第１の画素群および前記第２の画素群を露光期間をオーバーラップさせながら異なる時間露光し、前記第１の画素群の画素および前記第２の画素群の画素を合成することにより前記各画素の撮像画像を生成することを特徴とする。

また、複数色に色分けされた複数のカラーフィルタをさらに備え、前記画素それぞれに前記カラーフィルタが配されることを特徴とする。
また、前記カラーフィルタは、行方向２画素、列方向２画素からなる合計４画素を１単位として配置されることを特徴とする。

また、前記カラーフィルタが、前記４画素の一対角線上の２画素に第１の色の前記カラーフィルタを配し、他の２画素に第２および第３の色の前記カラーフィルタをそれぞれ配することを特徴とする。

また、前記合成を同一の色の前記カラーフィルタが配された画素で行うことを特徴とする。
また、前記単位画素群は、行方向４画素、列方向４画素からなる合計１６画素で構成されることを特徴とする。

また、前記単位画素群の全ての行及び列における前記第１の画素群と前記第２の画素群の画素数が異なることを特徴とする。
また、前記単位画素群の行方向および列方向に２画素離れた前記第１の画素群と前記第２の画素群の画素数が等しいことを特徴とする。

また、前記単位画素群の全ての行および列における前記第１の画素群と前記第２の画素群の画素数が等しいことを特徴とする。
また、前記単位画素群の全ての行および列における前記第１の画素群と前記第２の画素群の画素数が等しく、前記第１の画素群の画素は行方向または行方向に隣接して配置されることを特徴とする。

また、前記単位画素群の全ての行および列における前記第１の画素群と前記第２の画素群の画素数が等しく、前記第１の画素群の画素は行方向および列方向に隣接して配置されることを特徴とする。

また、前記単位画素群の前記第１の画素群が、互いに隣接する行方向２画素、列方向２画素からなる合計４画素単位で構成されることを特徴とする。
さらに、本発明の固体撮像装置の制御方法は、前記固体撮像装置の制御方法であって、前記第１の画素群と前記第２の画素群との撮像を開始する第１の画素群撮像開始工程と、前記第２の画素群の画像信号のみを読み出した後、再度前記第２の画素群での撮像を開始する第２の画素群撮像開始工程と、前記第１の画素群および前記第２の画素群の撮像を同時に終了する撮像終了工程と、前記第２の画素群撮像開始工程で読み出された前記第２の画素群の画像信号を外部に掃き出す不要信号排出工程と、前記撮像終了工程時の前記第１の画素群および前記第２の画素群の画像信号を画素毎に読み出して外部に出力する画像信号出力工程と、出力した前記第１の画素群の画像信号と前記第２の画素群の画像信号とを合成する合成工程とを有することを特徴とする。

以上により、全画素読み出し画像の解像度を損なうことなく、動く被写体に対する輪郭ぼけを抑制しながら、高ダイナミックレンジ画像における解像度を向上することができる。

以上のように、露光期間をオーバーラップさせながら互いに異なる時間露光する第１の画素群と第２の画素群から単位画素群を形成し、各単位画素群における行列方向に、互いに独立して読み出し可能な第１の画素群の画素と第２の画素群の画素をそれぞれ少なくとも１つ配置し、第１の画素群の画素と第２の画素群の画素を合成して撮像画像を生成することにより、全画素読み出し画像の解像度を損なうことなく、動く被写体に対する輪郭ぼけを抑制しながら、高ダイナミックレンジ画像における解像度を向上することができる。

本発明に係る固体撮像装置の構成を示すブロック図 第１の実施形態に係る固体撮像素子の平面図 第１の実施形態に係る固体撮像素子の単位画素群の構造を示す平面図 第１の実施形態に係る固体撮像素子の構造を示す断面図 第１の実施形態に係る固体撮像素子の単位画素群におけるｎ＝１の時の構造を示す平面図 第１の実施形態に係る固体撮像素子の単位画素群におけるｎ＝３の時の構造を示す平面図 第２の実施形態に係る固体撮像素子の単位画素群におけるｎ＝２の時の構造を示す平面図 第２の実施形態に係る固体撮像素子の単位画素群におけるｎ＝２の時の構造を示す平面図 第２の実施形態に係る固体撮像素子のｎ＝２の時の限界解像度を示す模式図 本発明に係る固体撮像素子のタイミングチャート 本発明に係る固体撮像素子の電荷転送の様子を説明する模式図 本発明に係る固体撮像素子の電荷転送の様子を説明する模式図 本発明に係る固体撮像素子の電荷転送の様子を説明する模式図 本発明に係る固体撮像素子の電荷転送の様子を説明する模式図 従来の高ダイナミックレンジ固体撮像素子の構成図 特許文献２の固体撮像装置によって得られる画像の空間周波数領域における限界解像度の概略説明図

（第１の実施形態）
図１は、本発明に係る固体撮像装置（例えばＣＣＤ型固体撮像素子を用いたデジタルカメラ）の構成を示すブロック図である。

レンズ１は、メカ（機械式）シャッタ２を介して、被写体１０を固体撮像素子３上に結像する。メカシャッタ２は、カメラ制御部１１からの信号ＭＣにより開閉が制御される。メカシャッタ２が開いているときには、被写体１０からの光が固体撮像素子３上に到達し、メカシャッタ２が閉じているときには被写体１０からの光が固体撮像素子３上へ到達する前に遮られる。

シャッタボタン１３は、撮影者が撮影を指示するために操作するボタンである。カメラ制御部１１は、シャッタボタン１３が押されたタイミングを基にして、メカシャッタ２、ドライバ４及び画像処理部５を制御する。電源１２は、デジタルカメラを動作させるためのものである。

ドライバ４は、固体撮像素子３を制御する。固体撮像素子３は、被写体１０からの入射光量に応じて画像信号を生成し、画像処理部５に出力する。画像処理部５は、Ａ／Ｄ変換器（ＡＤ）６と、２つのフレームメモリ７，８と画像合成プロセッサ９を有する。

固体撮像素子３は、光電変換素子と読み出しゲートと信号蓄積素子を有する。光電変換素子は、画素に相当し、垂直方向および水平方向の２次元に配列され、受光部に照射される光を信号電荷に変換する。読み出しゲートはドライバ４により制御され、各光電変換素子により変換された電荷を信号蓄積素子に転送する。信号蓄積素子は電荷を固体撮像素子の外部に順次出力し、Ａ／Ｄ変換器６に出力する。Ａ／Ｄ変換器６は、固体撮像素子３から供給されたアナログの電荷量をデジタルの電荷量に変換する。

撮影者がシャッタボタン１３を押すことにより１枚の画像生成を指示すると、固体撮像素子３は、異なる露光時間で撮像された第１画像及び第２画像の信号を出力する。
メモリ７とメモリ８は、それぞれ１フレームの画像を記憶することができる。メモリ７は第１の画像信号を記憶し、メモリ８は第２の画像信号を記憶する。

画像合成プロセッサ９は、メモリ７に記憶されている第１の画像信号とメモリ８に記憶されている第２の画像信号を合成し、ダイナミックレンジの広い画像信号を生成して外部に出力する。画像信号を合成する方法は、例えば、欠落している画素を周囲画素で補間したのちに、両者を単純加算する方法、又は各画像信号に所定の係数を乗じてから両者を加算する方法が可能である。

なお、図１の固体撮像素子としてはＣＣＤ型固体撮像素子あるいはＭＯＳ型固体撮像素子を用いることができる。
以下、図２〜図６，図１０〜図１４を用いて、第１の実施形態における固体撮像素子について説明する。

本実施形態における固体撮像素子は、単位画素群として２ｎ×２ｎ個（ｎは１以上の整数）の画素が行列配列され、各画素は、第１の画素群または第２の画素群に振り分けられる。本発明の第１の実施形態について、ｎ＝２を例にとり図面を参照して説明する。また、本発明の画素の配列はベイヤー配列等、任意の配列が可能である。

図２は第１の実施形態に係る固体撮像素子の平面図である。２１は光電変換により電気信号を生成する光電変換素子、２２は光電変換素子が生成する信号を蓄積するための信号蓄積素子、２３１および２３２は光電変換素子２１で生成された信号を信号蓄積素子２２に読み出すための読み出しゲート、２４は信号蓄積素子に読み出された信号を外部に出力するための出力手段を示す。２５は光電変換素子２１、信号蓄積素子２２、第１の読み出しゲート２３１または第２の読み出しゲート２３２からなる画素、２６は行方向に２ｎ画素、列方向に２ｎ画素の合計２ｎ×２ｎ画素からなる単位画素群である。単位画素群２６はそれぞれ２ｎ×ｎ画素を有する第１の画素群２７と第２の画素群２８からなり、第１の読み出しゲート２３１は第１の画素群２７に対応して形成され、第２の読み出しゲート２３２は第２の画素群２８に対応して形成される。

これにより、第１の画素群２７と第２の画素群２８の光電変換素子で生成された信号を第１の読み出しゲート２３１および第２の読み出しゲート２３２を通して独立に信号蓄積素子２２に読み出すことができる。

なお、光電変換素子２１は例えばフォトダイオードであり、信号蓄積素子２２は例えば電荷結合素子（ＣＣＤ）や浮遊拡散容量（フローティングディフュージョン、ＦＤ）であり、読み出しゲート２３１および２３２は例えばＣＣＤの転送ゲートと共通化されたゲートやＭＯＳ型トランジスタのゲートであり、出力手段２４は例えば各行の信号をフローティングディフュージョンアンプから順次出力するＣＣＤや各行の信号を順次出力するシフトレジスタである。

図３は第１の実施形態に係る固体撮像素子の単位画素群の構造を示す平面図であり、図２の単位画素群２６の詳細を、信号蓄積素子２２がＣＣＤの場合について示した平面図である。図４は第１の実施形態に係る固体撮像素子の構造を示す断面図である。

図３，図４において、第１の読み出しゲートに転送パルスを供給する配線８０１〜８０４はスルーホール３１を通して読み出しゲート２３１に接続され、第２の読み出しゲートに転送パルスを供給する配線９０１〜９０４はスルーホール３２を通して読み出しゲート２３２に接続されている。３０は信号蓄積素子として働く電荷転送路、３３は画素を分離するチャネルストップを示す。

図４（ａ）に図３のＡ−Ａ´断面（行方向）を、図４（ｂ）に図３のＢ−Ｂ´断面（電荷転送路上の列方向）を、図４（ｃ）に図３のＣ−Ｃ´断面（光電変換素子上の列方向）を示す。図４（ａ）によれば、行方向の読み出しゲートは第１の読み出しゲート２３１と第２の読み出しゲート２３２を含む。図４（ｂ）によれば、列方向の読み出しゲートは第１の読み出しゲート２３１と第２の読み出しゲート２３２を含む。このように、各単位画素群において、行列それぞれに、少なくとも１つずつの第１の画素および第２の画素を設け、それらを独立して読み出すことができる構成とすることにより、各合成画素を生成する際に、各行および各列の第１の画素および第２の画素を少なくとも１つずつ選択して信号出力を合成できるため、水平、垂直方向の解像度を大きく低下させることなくダイナミックレンジを向上させることができる。また、単位画素２６の各行および各列の光電変換素子２１に生成した信号は、必ず第１の画素群に属する信号と第２の画素群に属する信号の両方を含むため、合成する画素を１対１で隣接させて設ける必要がなくなり、行方向の読み出しゲートが単一で構成されている特許文献２の場合に比べて、第１の画素群の信号と第２の画素群の信号を合成して得られる高ダイナミックレンジ画像の解像度低下が少ない。さらに、図４（ｃ）によれば、配線８０１〜８０４および９０１〜９０４は異なる層により積み重ねて形成されているため、光電変換素子の開口率低下を防ぐという副次的な効果も期待できる。

また、第１の画素群および第２の画素群に含まれる画素数が等しく、かつ単位画素の各行および各列において、第１の画素群の画素数と第２の画素群の画素数とが異なるように配置することにより、図３のように各行および各列に含まれる第１の画素群と第２の画素群の画素数の比が１：３または３：１となり、一方の画素群に欠落している画素を補完する際に、補完画素の一部を他の画素群の画素に対して斜め方向に隣接する４画素から合成して得ることができるため、互いに重心が一致した画素を用いることによりモアレ等の偽信号が少ない高ダイナミックレンジ画像を得ることができる。逆に、単位画素の各行および各列において、第１の画素群の画素数と第２の画素群の画素数とが同じになるように配置しても良く、一方の画素群に欠落している画素を補完する際に、補完画素の一部を他の画素群の画素に対して水平および垂直方向に２画素離れた４画素から合成して得ることができるため、互いに重心が一致した画素を用いることによりモアレ等の偽信号が少ない高ダイナミックレンジ画像を得ることができる。

また、第１の画素群の画素または第２の画素群の画素のいずれかが、行方向または列方向に少なくとも２画素隣接して配置することができ、さらに、行方向および列方向の両方向に少なくとも２画素隣接して配置することもできる。このような配置により、一方の画素群に欠落している画素を補完する際に、補完画素の一部を他の画素群の画素に対して水平または垂直方向に２画素離れた４画素から合成して得ることができるため、互いに重心が一致した画素を用いることによりモアレ等の偽信号が少ない高ダイナミックレンジ画像を得ることができる。

なお、図３は読み出しゲートと転送ゲートを共通化した構成であるが、読み出しゲートと転送ゲートを別電極とする構成や、列方向への転送のみを役割とする転送ゲートを追加した構成であっても良い。また、配線と読み出しゲートが同一の材料（たとえばポリシリコン、シリサイド等）で一体化されている構成でも良い。

これまで、ｎ＝２について図２、図３、図４を用いて説明したが、スルーホール３１および３２の配列を変えることにより、ｎ＝１またはｎ≧３の場合にも拡張が可能である。図５は第１の実施形態に係る固体撮像素子の単位画素群におけるｎ＝１の時の構造を示す平面図である。また、図６は第１の実施形態に係る固体撮像素子の単位画素群におけるｎ＝３の時の構造を示す平面図の一例であり、第１の読み出しゲート２３１に転送パルスを供給する配線が２本増え（配線８０５、８０６）、第２の読み出しゲート２３２に転送パルスを供給する配線が２本増える（配線９０５、９０６）。

いずれの場合も、各行および各列は、第１の画素群と第２の画素群の画素をそれぞれ１画素以上含む構成とすることができるため、第１の画素群と第２の画素群の信号を合成して得られる高ダイナミックレンジ画像の解像度低下が少ない。

図１０は本発明に係る固体撮像素子のタイミングチャートであり、図３に示す固体撮像素子の動作を示すタイミングチャートである。図１１〜１４は本発明に係る固体撮像素子の電荷転送の様子を説明する模式図であり、図３に示すｎ＝２の実施例において、図１０のタイミングチャートに従って固体撮像素子を制御した場合の各時刻における固体撮像素子の動作を説明する状態遷移図である。

図１０において、メカシャッタ信号ＭＣは、メカシャッタ２（図１）の開閉を制御するための信号であり、ハイレベルの時にメカシャッタ２が開き、ローレベルの時にメカシャッタ２が閉じる。

基板電圧ＶＯＤは、２つの電圧レベルＶ１，Ｖ２を有する。電圧レベルＶ２は、光電変換素子２１に蓄積されている電荷を基板に捨てることにより、光電変換素子２１を初期化するための電圧である。電圧レベルＶ１は、オーバフロードレインを動作させるための電圧である。なお、基板電圧ＶＯＤの代わりに画素にリセットＴｒを設け、リセットＴｒがターンオンするゲート電圧を加えても良い。

読み出しゲート配線の電圧パルスφＶ８０１〜φＶ８０４、φＶ９０１〜φＶ９０４は、読み出し電圧ＶＨにより信号を光電変換素子２１から電荷転送路３０に信号を読み出し、ＶＭ電圧とＶＬ電圧間の電圧パスルにより、出力手段２４に向けて順次転送することができる。Ｖｏｕｔは、出力手段２４の信号を順次電圧に変換し得られる外部出力信号である。

第２の露光時間Ｔ２は、時刻ｔ０に基板電圧ＶＯＤとしてパルスＶ２が供給されてからメカシャッタ信号ＭＣによりメカシャッタ２が閉じられるｔ３までの時間であり、第２の画素群２８の撮像のための露光時間である。第１の露光時間Ｔ１は、φＶ８０１〜φＶ８０４にＶＨ電圧を印加して第１の画素群に時刻ｔ１までに蓄積された不要信号を電荷転送路に読み出した時刻ｔ２から、前記メカシャッタ２が閉じられるｔ３までの時間であり、第１の画素群２７を撮像するための露光時間である。

以下、図１１〜図１４を参照しながら、固体撮像素子３の動作を説明する。まず、図１１（ａ）（ｔ０）に示すように、基板電圧ＶＯＤを電圧Ｖ１から電圧Ｖ２に変化させることにより光電変換素子２１を初期化し、第２の画素群２８の撮像のために露光（例えば長時間露光）を開始する。

時刻ｔ１〜ｔ２において、φＶ８０１〜φＶ８０４にＶＨ電圧を印加し第１の画素群に蓄積された不要電荷を電荷転送路３０に読み出し（図１１（ｂ），図１２（ａ））、第１の画素群２７の撮像のための露光を開始する。この時、第２の画素群２８の画像信号である信号電荷は読み出されないため、第２の画素群２８の露光は継続され、図９のＴ１の期間（例えば短時間露光期間）は第１の画素群と第２の画素群の露光時間をオーバーラップさせることができ、同時刻の撮像画像を含んで合成することができるので、ずれの少ない画像同士を合成でき、動く被写体を撮像した時の輪郭のボケなどが少ないという効果をもたらす。

時刻ｔ３においてメカシャッタ信号ＭＣをローレベルに変化させてメカシャッタを閉じ、第１の画素群と第２の画素群の露光が同時に終了する。この時、図１２（ｂ）（ｔ３）に示すように、第１の画素群の光電変換素子には短時間露光期間Ｔ１に蓄積された電荷が保持され、第２の画素群の光電変換素子には長時間露光期間Ｔ２に蓄積された電荷が保持され、電荷転送路３０には第１の画素群から読み出された不要電荷が保持されている。

図１０に示すＴ３の期間に、読み出しゲート配線８０１〜８０４および９０１〜９０４にＶＭ電圧とＶＬ電圧間の電圧パスルが印加され、図１３（ａ）（Ｔ３）に示すように、電荷転送路３０内の不要電荷が出力手段２４に向かって転送され、出力手段２４から順次掃き出される。

図１０の時刻ｔ４において、読み出しゲート配線８０１および９０１に読み出し電圧ＶＨを印加し、図１３（ｂ）（ｔ４）に示すように、読み出しゲート配線８０１および９０１に対応する各行の光電変換素子の信号電荷が電荷転送路３０に読み出される。

次に、図１０に示すＴ４の期間に、読み出しゲート配線８０１〜８０４および９０１〜９０４にＶＭ電圧とＶＬ電圧間の電圧パスルが印加され、図１４（Ｔ４）に示すように、電荷転送路３０内の信号電荷が出力手段２４に向かって転送され、出力手段２４から順次出力される（第１フィールド転送の完了）。

図１０のｔ５以降は、読み出し電圧ＶＨを印加する読み出しゲート配線を順番に切り替え、期間Ｔ４と同様の動作を繰り返すことにより、残りの３行の光電変換素子の信号電荷を順番に出力する（第２フィールド〜第４フィールド転送の完了）。

出力手段２４から出力される第１フィールドから第４フィールドまでの各画像信号において、ＡＤ変換されたデジタル信号は第１の画素群に属する信号（短時間露光信号）と、第２の画素群に属する信号（長時間露光信号）とが、それぞれフレームメモリ７および８に（図１）振り分けられて書き込まれる。

フレームメモリ内の信号は、画像合成プロセッサにより、不足している画素の補完処理を施した後、第１の画素群から得られた短時間露光画像と第２の画素群から得られた長時間露光画像を画素毎に合成する。第１の画素と第２の画素が必ず混載された単位画素群単位で合成することにより、解像度を維持しながら固体撮像素子のダイナミックレンジを広くすることができる。

図１０に示すように、第２の露光時間Ｔ２と第１の露光時間Ｔ１がオーバーラップしているため、被写体が動いた際の、短時間露光画像と長時間露光画像のずれを小さくすることができる。すなわち、第１画像と第２画像との間における被写体のぶれを小さくすることができるので、合成後の画像の画質を向上させることができる。

なお、本実施形態では露光を完了する手段としてメカニカルシャッタを用いたが、液晶式シャッタを制御信号により開閉しても良い。
（第２の実施形態）
本発明の第２の実施形態に係る固体撮像装置は、第１の実施形態における単位画素群の配列を、行方向２画素、列方向２画素からなる合計４画素を１単位とし、例えば、４画素の一対角線上の２画素に緑色のフィルタ（Ｇｒ、Ｇｂ）を配し、他の２画素に赤色のフィルタ（Ｒ）および青色のフィルタ（Ｂ）をそれぞれ配した、所謂ベイヤー配列を有する固体撮像素子を含み、同色画素の補完の際に、第１の画素群あるいは第２の画素群の一方の画素の補完を他方の画素群の画素を用いて行うことにより、補完と同時に信号出力の合成を行うことができるため、全画素読み出し画像に比べて解像度低下が少ない高ダイナミックレンジ画像を得ることができるものである。また、以下の説明では、緑色，赤色，青色のフィルタを配する場合を例に説明するが、フィルタは３色に限らず、補色等を用いて３色以上のフィルタを配することもできる。また、以下の説明ではベイヤー配列を例に説明するが、画素の配置はベイヤー配列に限るものでもない。

以下、第２の実施形態として、図７〜図９を用いて具体例を説明する。
図７，図８は第２の実施形態に係る固体撮像素子の単位画素群におけるｎ＝２の時の構造を示す平面図、図９は第２の実施形態に係る固体撮像素子のｎ＝２の時の限界解像度を示す模式図である。

単位画素群が行方向２ｎ画素、列方向２ｎ画素、合計２ｎ×２ｎ画素からなり、行方向２画素、列方向２画素からなる合計４画素を単位とするベイヤー配列を有する固体撮像素子について、ｎ＝２の場合の構成例を、図７、図８に示す。図中の矢印は、第２の画素群に含まれる○印の画素を加算平均によって補完する際に使用する第１の画素群の画素の補完の様子を示している。簡単のためＧｂ画素およびＢ画素の補完についてのみ記載した。Ｇｒ画素およびＲ画素はそれぞれＧｂ画素およびＢ画素の補完方法と同じである。図９（ａ）、（ｂ）、（ｃ）、（ｄ）に、図７，８のそれぞれの場合に対応して求められる限界解像度を空間周波数座標上に示す。なお水平空間周波数軸および垂直空間周波数軸は、サンプリング周波数を１とした相対値であり、１／２はナイキスト周波数を表す。

図７（ａ）の例では、単位画素群の行方向および列方向に２画素離れた第１の画素群と第２の画素群の画素数を等しくし、第２の画素群に含まれるＧｒ画素およびＧｂ画素を、それぞれ斜め方向に隣接する第１の画素群のＧｂ画素またはＧｒ画素の４画素を用いて補完し、第２の画素群に含まれるＲ画素およびＢ画素を、行方向に２画素、列方向に２画素離れた第１の画素群のＲ画素またはＢ画素を４画素用いて補完することにより、補完した４画素の画素重心が第２の画素群の画素重心と一致することになるため、色モアレが少ない画像が得られる。このとき、第１の画素群と第２の画素群をオーバーラップさせながら異なる時間露光することにより、補完時に信号出力を合成することができ、ダイナミックレンジを向上させることができる。また図９（ａ）に示すように、高ダイナミックレンジ画像の水平解像度と垂直解像度は等しく、互いに直交する斜め４５度方向の解像度も等しい。また、高ダイナミックレンジ画像のＧｒ画素とＧｂ画素の斜め４５度方向およびＲ画素とＢ画素の水平および垂直方向の限界解像度は全画素読み画像と同じで有るため、図１６に示す特許文献２より高画質の高ダイナミックレンジ画像を得ることができる。

図７（ｂ）と図８（ａ）の例では、単位画素群の第１の画素群が、互いに隣接する行方向２画素、列方向２画素からなる合計４画素単位で構成され、第２の画素群に含まれるＧｒ画素およびＧｂ画素を、斜め方向に隣接する第１の画素群のＧｂ画素またはＧｒ画素の２画素を用いて補完し、第２の画素群に含まれるＲ画素およびＢ画素を、行方向に２画素、列方向に２画素離れた第１の画素群のＲ画素またはＢ画素を４画素用いて補完することにより、補完した４画素の画素重心が第２の画素群の画素重心と一致するため、色モアレが少ない画像が得られる。また図９（ｂ）および（ｃ）に示すように、高ダイナミックレンジ画像の水平方向と垂直方向の限界解像度は等しい。また、高ダイナミックレンジ画像のＧｒ画素とＧｂ画素とＲ画素とＢ画素の水平および垂直方向の限界解像度は全画素読み画像と同じで有るため、図１６に示す特許文献２より高画質の高ダイナミックレンジ画像を得ることができる。但し、Ｇｒ画素とＧｂ画素の互いに直交する斜め４５度方向の限界解像度は、全画素読み出し画像と同じである方向と、その半分となる方向の２種類存在するため、図７（ａ）に示した単位画素群の構成よりも解像度は低い。

図８（ｂ）の例では第２の画素群に含まれるＧｒ画素、Ｇｂ画素、Ｒ画素およびＢ画素を、それぞれ行方向に２画素離れた第１の画素群のそれぞれ２個ずつのＧｒ画素、Ｇｂ画素、Ｒ画素およびＢ画素を用いて補完することにより、補完した２画素の画素重心が第２の画素群の画素重心と一致するため、色モアレが少ない画像が得られる。また図９（ｄ）に示すように、高ダイナミックレンジ画像の互いに直交する斜め４５度方向の限界解像度は等しい。また、高ダイナミックレンジ画像のＧｒ画素とＧｂ画素とＲ画素とＢ画素の水平方向の限界解像度は全画素読み出し画像の半分であるが、垂直方向および互いに直交する斜め４５度方向の限界解像度は全画素読み画像と同じで有るため、図１６に示す特許文献２より高画質の高ダイナミックレンジ画像を得ることができる。但し、Ｇｒ画素とＧｂ画素とＲ画素とＢ画素の水平方向と垂直方向の限界解像度が異なるため、図７（ｂ）、図８（ａ）に示した単位画素群の構成よりも解像度は低い。

上記説明ではｎ＝２を例にとって説明したが、ｎ＞２の場合でも図６で説明した様に行方向および列方向に第１の画素群と第２の画素群の画素を少なくとも１画素含む構成とすることができるため、第１の画素群と第２の画素群の画素を互いに補完しながら信号出力を合成することができるため、高ダイナミックレンジ画像の水平方向または垂直方向または互いに直交する斜め４５度方向の少なくとも一方向の限界解像度を全画素読み出し画像と同じにすることができる。

本発明は、全画素読み出し画像の解像度を損なうことなく、動く被写体に対する輪郭ぼけを抑制しながら、高ダイナミックレンジ画像における解像度を向上することができ、異なる感度の画像信号を合成することにより高ダイナミックレンジの画像を生成する固体撮像装置およびその制御方法等に有用である。

１ レンズ
２ メカシャッタ
３ 固体撮像素子
４ ドライバ
５ 画像処理部
６ Ａ／Ｄ変換器
７ メモリ
８ メモリ
９ 画像合成プロセッサ
１０ 被写体
１１ カメラ制御部
１２ 電源
２１ 光電変換素子
２２ 信号蓄積素子
２４ 出力手段
２５ 画素
２６ 単位画素群
２７ 第１の画素群
２８ 第２の画素群
３１、３２ スルーホール
３０ 電荷転送路
３３ チャネルストップ
２３１ 読み出しゲート
２３２ 読み出しゲート
８０１〜８０６ 配線
９０１〜９０６ 配線

Claims (13)

1. 光電変換により画像を撮像する複数の画素が行列状に２次元配置される固体撮像素子からなり、
   前記固体撮像素子が、
   前記各画素から画像信号を読み出すための複数の読み出しゲートを有し、
   前記画素が行方向に２ｎ画素、列方向に２ｎ画素（ｎは１以上の整数）からなる合計２ｎ×２ｎ画素の単位画素群の繰り返しで構成され、
   前記単位画素群は第１の画素群と第２の画素群とからなり、
   前記単位画素群の各行および各列にはそれぞれ少なくとも１つずつの前記第１の画素群の画素および前記第２の画素群の画素が配置され、
   前記読み出しゲートは前記各画素を個別に読み出すように制御可能であり、
   前記第１の画素群および前記第２の画素群を露光期間をオーバーラップさせながら異なる時間露光し、前記第１の画素群の画素および前記第２の画素群の画素を合成することにより前記各画素の撮像画像を生成することを特徴とする固体撮像装置。
2. 複数色に色分けされた複数のカラーフィルタをさらに備え、
   前記画素それぞれに前記カラーフィルタが配されることを特徴とする請求項１記載の固体撮像装置。
3. 前記カラーフィルタは、行方向２画素、列方向２画素からなる合計４画素を１単位として配置されることを特徴とする請求項２記載の固体撮像装置。
4. 前記カラーフィルタが、前記４画素の一対角線上の２画素に第１の色の前記カラーフィルタを配し、他の２画素に第２および第３の色の前記カラーフィルタをそれぞれ配することを特徴とする請求項３記載の固体撮像装置。
5. 前記合成を同一の色の前記カラーフィルタが配された画素で行うことを特徴とする請求項２〜請求項４のいずれかに記載の固体撮像装置。
6. 前記単位画素群は、行方向４画素、列方向４画素からなる合計１６画素で構成されることを特徴とする請求項１〜請求項５のいずれかに記載の固体撮像装置。
7. 前記単位画素群の全ての行及び列における前記第１の画素群と前記第２の画素群の画素数が異なることを特徴とする請求項１〜請求項６のいずれかに記載の固体撮像装置。
8. 前記単位画素群の行方向および列方向に２画素離れた前記第１の画素群と前記第２の画素群の画素数が等しいことを特徴とする請求項６記載の固体撮像装置。
9. 前記単位画素群の全ての行および列における前記第１の画素群と前記第２の画素群の画素数が等しいことを特徴とする請求項１〜請求項５のいずれかに記載の固体撮像装置。
10. 前記単位画素群の全ての行および列における前記第１の画素群と前記第２の画素群の画素数が等しく、
    前記第１の画素群の画素は行方向または行方向に隣接して配置されることを特徴とする請求項６記載の固体撮像装置。
11. 前記単位画素群の全ての行および列における前記第１の画素群と前記第２の画素群の画素数が等しく、
    前記第１の画素群の画素は行方向および列方向に隣接して配置されることを特徴とする請求項６記載の固体撮像装置。
12. 前記単位画素群の前記第１の画素群が、互いに隣接する行方向２画素、列方向２画素からなる合計４画素単位で構成されることを特徴とする請求項１１記載の固体撮像装置。
13. 請求項１〜請求項１２のいずれかに記載の固体撮像装置の制御方法であって、
    前記第１の画素群と前記第２の画素群との撮像を開始する第１の画素群撮像開始工程と、
    前記第２の画素群の画像信号のみを読み出した後、再度前記第２の画素群での撮像を開始する第２の画素群撮像開始工程と、
    前記第１の画素群および前記第２の画素群の撮像を同時に終了する撮像終了工程と、
    前記第２の画素群撮像開始工程で読み出された前記第２の画素群の画像信号を外部に掃き出す不要信号排出工程と、
    前記撮像終了工程時の前記第１の画素群および前記第２の画素群の画像信号を画素毎に読み出して外部に出力する画像信号出力工程と、
    出力した前記第１の画素群の画像信号と前記第２の画素群の画像信号とを合成する合成工程と
    を有することを特徴とする固体撮像装置の制御方法。