JP2012129884A - 撮像装置及びその画素加算方法 - Google Patents

Abstract

【課題】画素加算する場合の画素加算方法を２つの画素加算方法で切り換える。
【解決手段】隣接する同色フィルタを積層したペア画素を構成する２つの光電変換素子の各検出電荷に応じた撮像画像信号を個別に信号読出回路で読み出し、信号処理回路で信号加算させる第１画素加算駆動モード（ステップＳ１，Ｓ２，Ｓ５〜ステップ１１）と、ペア画素の２つの光電変換素子の各検出電荷を混合し、該混合した電荷量に応じた撮像画像信号を信号読出回路で読み出す第２画素加算駆動モード（ステップＳ１，Ｓ２，Ｓ３，Ｓ４）とを、撮像素子で被写体画像を撮影するときの撮影状態に応じて切り換える。
【選択図】図９

Description

本発明は、撮像装置及びその画素加算方法に関する。

ＣＭＯＳ型イメージセンサ等の、信号読出回路としてＭＯＳトランジスタ回路を用いた固体撮像素子は、近年では多画素化が進展し、１０００万画素以上を搭載するのが普通になっている。このため、１画素１画素が微細化され、個々の画素（光電変換素子）の飽和電荷量が小さくなった関係で、撮像画像のダイナミックレンジが狭くなり、また、明るい画像を撮像するのが困難になってきている。

このため、高感度撮影や広ダイナミックレンジ撮影等を行う場合、複数画素の検出信号を加算する画素加算が行われる。この画素加算には、例えば、下記の特許文献１記載の様に、撮像素子から撮像画像信号を読み出した後の信号処理で画素加算する第１の方法と、下記の特許文献２に記載されている様に、受光量に応じて各画素が検出した信号電荷をそのまま撮像素子内部で加算（信号電荷の電荷混合）し、加算した信号電荷量に応じた信号を撮像素子外部に読み出す第２の方法とがある。

特開２００７―１２４１３７号公報 特開２００２―１９９２８４号公報

画素加算を行う上記の２つの方法のうち、撮像素子から撮像画像信号を読み出した後に信号処理で加算する第１の方法は、光ショットノイズや暗時ノイズが共に加算により増加すると共に加算処理に時間が必要になるという短所がある一方、画素加算した結果が飽和してしまうことが無いという長所がある。

これに対し、撮像素子内部で信号電荷の加算を行う第２の方法は、加算を行う場所がフローティングディフュージョン（以下、ＦＤという。）トランジスタのため、ＦＤトランジスタの飽和電荷量の制限を受けてしまい、また、光ショットノイズが加算で増加してしまうという短所がある反面、暗時ノイズは増加せず、更に、加算処理に時間がかからないため高速に加算した信号を読み出すことができるという長所がある。

この様に、２つの加算方法には夫々一長一短があり、これ等を使い分けて互いの短所を補うことにすれば、撮像装置の使い勝手を優れたものとすることが期待され、また、撮影シーンに応じた高品質な被写体画像を得ることが期待される。しかし従来は、この２つの加算方法をどの様な撮像素子に適用し、どの様に使い分けすれば良いかについて、あまり考察されていなかった。

本発明の目的は、撮像素子内部での画素加算と撮像素子から読み出した後の信号の画素加算とを使い分ける撮像装置及びその画素加算方法を提供することにある。

本発明の撮像装置及びその画素加算方法は、複数の光電変換素子が半導体基板上に二次元アレイ状に配列形成される共に、隣接する２つの前記光電変換素子をペア画素とし該ペア画素を１単位としてカラーフィルタがベイヤ配列され、該ペア画素毎に前記半導体基板にＭＯＳトランジスタ回路でなる信号読出回路が形成される撮像素子と、前記撮像素子に付設され該撮像素子の前記信号読出回路から出力される撮像画像信号を処理する信号処理回路とを備える撮像装置及びその画素加算方法であって、
前記ペア画素を構成する２つの前記光電変換素子の各検出電荷に応じた撮像画像信号を個別に前記信号読出回路で読み出し前記信号処理回路で信号加算させる第１画素加算駆動モードと、前記ペア画素の２つの前記光電変換素子の各検出電荷を混合し、該混合した電荷量に応じた撮像画像信号を前記信号読出回路で読み出す第２画素加算駆動モードとを、前記撮像素子で被写体画像を撮影するときの撮影状態に応じて切り換えることを特徴とする。

本発明によれば、２つの画素加算方法を撮影状態によって適切に選択して切り換えることができるため、被写体の高品質，広ダイナミックレンジの画像を撮影することが可能となる。

本発明の一実施形態に係る撮像装置の機能ブロック構成図である。 図１に示す撮像素子の表面模式図である。 図２に示す撮像素子のカラーフィルタ配列を示す図である。 図３の撮像素子のうち主画素２画素と副画素２画素を取り出した図である。 図４に示す計４画素の信号読出回路の回路図である。 図５に示す信号読出回路の内部回路図である。 電荷混合による画素加算のシーケンス図である。 信号加算による画素加算のシーケンス図である。 本発明の第１実施形態による画素加算方法選択処理手順を示すフローチャートである。 図９で用いる閾値αの説明図である。 本発明の第２実施形態による画素加算方法選択処理手順を示すフローチャートである。 図１１で用いる閾値βの説明図である。 撮像素子受光面を複数ブロックに分ける実施形態の説明図である。 図１３で説明する実施形態の信号読出シーケンスを示す図である。 図１３で説明する実施形態で用いるマスク信号発生回路の説明図である。 撮像素子受光面を複数ブロック分けブロック毎に画素加算方法を使い分ける処理手順を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係るデジタルカメラ（撮像装置）の機能ブロック図である。本実施形態のデジタルカメラ１０は、被写体の静止画像或いは動画像を撮影しカメラ１０内で撮像画像信号をデジタル処理する機能を有し、望遠レンズ及びフォーカスレンズを備える撮影レンズ２０と、撮影レンズ２０の背部に置かれその結像面に配置された固体撮像素子２１と、固体撮像素子２１の各画素から出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部２２と、アナログ信号処理部２２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）２３と、後述のシステム制御部（ＣＰＵ）２９からの指示によってＡ／Ｄ２３，アナログ信号処理部２２，固体撮像素子２１，撮影レンズ２０の駆動制御を行う駆動部２４と、ＣＰＵ２９からの指示によって発光するフラッシュ２５とを備える。

駆動部２４は、後述する画素加算方法選択処理手順を実行するＣＰＵ２９からの指示を受けて、該当する画素加算方法に基づき撮像素子２１からの信号読出駆動を実行する。

本実施形態のデジタルカメラ１０は更に、Ａ／Ｄ２３から出力されるデジタル画像データを取り込み画素加算処理，補間処理，ホワイトバランス補正，ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、画像データをＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス４０とを備え、また、システム制御部２９には、ユーザからの指示入力を行う操作部３３が接続されている。

固体撮像素子２１は、本実施形態では半導体基板上に形成したＭＯＳトランジスタ回路を信号読出回路としたＭＯＳ型イメージセンサ、例えばＣＭＯＳ型イメージセンサであり、固体撮像素子２１の出力信号をアナログ信号処理部（ＡＦＥ：アナログフロントエンド）２２で処理するが、このＡＦＥ部分（相関二重サンプリング処理やクランプ処理を行う回路や利得制御を行う信号増幅回路等）は半導体チップ上に周辺回路として設けられるのが普通である。また、固体撮像素子２１の半導体チップ上には、その他にも、水平走査回路や垂直走査回路等が周辺回路として受光部周りに形成され、図１のＡ／Ｄ変換部２３も形成される場合がある。

図２は、図１に示す固体撮像素子２１の表面模式図である。この固体撮像素子２１は、半導体基板４１の受光面４２上に、二次元マトリクス状に多数の画素（光電変換素子：フォトダイオード）４３が形成されている。本実施形態の固体撮像素子２１は、奇数行の画素４３に対して偶数行の画素４３が１／２画素ピッチづつずれるように形成された、所謂、ハニカム画素配列となっている。半導体基板４１の下辺部には水平走査回路４４が設けられており、半導体基板４１の左辺部には垂直走査回路４５が設けられている。

各画素４３には、当該画素４３が受光量に応じて蓄積した信号電荷量に応じた信号を読み出す信号読出回路（ＭＯＳトランジスタ回路）が設けられている。各画素４３の上にはカラーフィルタが積層されており、図２では、赤色フィルタを「Ｒ」「ｒ」、緑色フィルタを「Ｇ」「ｇ」、青色フィルタを「Ｂ」「ｂ」で示している。大文字ＲＧＢと小文字ｒｇｂの違いについては図３で説明する。

本実施形態では、画素４３がいわゆるハニカム配列されている関係で、垂直走査回路４５に接続される水平方向の配線４６（図２では１本のみ図示）は、受光面４２上の各画素４３を避ける様に水平方向に蛇行して設けられ、同様に、水平走査回路４４に接続される垂直方向の配線４７（図２では１本のみ図示）も、垂直方向に蛇行して設けられる。

図３は、固体撮像素子２１のハニカム画素配列された各画素に積層されるカラーフィルタの色を示す図である。各画素の上には、３原色のカラーフィルタ、Ｒ＝ｒ＝赤、Ｇ＝ｇ＝緑、Ｂ＝ｂ＝青が積層されている。

奇数行の画素行だけみると各画素は正方格子配列され、その上に、カラーフィルタＲＧＢがベイヤ配列されている。偶数行の画素行だけみても各画素は正方格子配列され、その上に、カラーフィルタｒｇｂがベイヤ配列されている。この結果、斜めに隣接する２画素に同色のフィルタ（Ｒｒ）（Ｇｇ）（Ｂｂ）が並ぶことになる。

大文字のＲＧＢで示すカラーフィルタを搭載した画素が第１群画素を構成し、小文字のｒｇｂで示すカラーフィルタを搭載した画素が第２群画素を構成する。Ｒとｒ、Ｇとｇ、Ｂとｂは全く同じカラーフィルタであるが、第１群画素だけで撮影した被写体画像と、第２群画素だけで撮影した被写体画像とを区別するために、大文字と小文字で区別している。

本実施形態では、斜めに隣接する同色フィルタ（Ｒｒ）（Ｇｇ）（Ｂｂ）の２画素がペア画素を構成し、このペア画素の各検出信号を、固体撮像素子２１から個別に読み出したあと画素加算したり、固体撮像素子２１内部で画素加算してから読み出す構成としている。

以下、各ペア画素の一方の画素（右斜め上の第１群画素）を「主画素」といい、他方の画素（左斜め下の第２群画素）を「副画素」というものとする。主画素と副画素の各露光時間を同時間として被写体画像を撮像し、主画素と副画素の各検出信号を画素加算することで感度を倍にした撮影を行ったり、主画素の露光時間に対して副画素の露光時間を短時間として各検出信号を画素加算することで広ダイナミックレンジ撮影を行うことができる。あるいは、主画素の検出信号が充分な信号量になっていると判断した場合には、主画素の検出信号だけで被写体画像を生成し、また、主画素と副画素の各検出信号を別々に読み出し、画素加算せずに高精細な被写体画像を生成することも可能である。

図４は、図３に示す多数の画素のうち、水平方向に隣接する２つの主画素４３ａと、これらと夫々ペアを組む副画素４３ｂを抜き出した図である。本実施形態の撮像素子２１では、ペアを組む主画素４３ａと副画素４３ｂとが１つの信号読出回路５０を共用する構成となっている。符号５１ｃについては、図６で説明する。

図５は、図４に示す４つの画素の信号読出回路を示す図である。主画素４３ａと、これとペアを組む副画素４３ｂとが夫々読出ゲート（ＴＧ：トランスファーゲートの略）５１ａ，５１ｂを介して共通（共有）の信号読出回路５０に接続され、信号読出回路５０の出力が出力線５２に接続されている。信号読出回路５０には、リセット端子と電源端子と行選択端子とが設けられている。

読出ゲート５１ａは主画素の読出パルス印加線（主画素ＴＧ線と表記）５４に接続され、読出ゲート５１ｂは副画素の読出パルス印加線（副画素ＴＧ線と表記）５５に接続され、図示は省略しているが、リセット端子がリセット線に接続され、電源端子が電源線に接続され、行選択端子が行選択線に接続される。

主画素の読出パルス印加線５４と、副画素の読出パルス印加線５５と、リセット線，行選択線の計４本の信号配線が、垂直走査回路４５から図２の水平配線４６として画素行２行毎に敷設される。電源線と出力線５２とが図２の垂直配線４７として画素列毎に敷設され、水平走査回路４４から該当電源線に電源電圧Ｖddが印加された画素列の信号読出回路５０がイネーブル状態となり、撮像画像信号が出力線５２に出力される。

図６は、本実施形態で採用した信号読出回路の構成図である。この信号読出回路５０は、出力トランジスタ（ＦＤトランジスタ）５１と、出力トランジスタ５１に直列接続された行選択トランジスタ５４と、リセットトランジスタ５３とを備える。

ＦＤトランジスタ５１のドレインが、水平走査回路４４から電源電圧Ｖddが供給される電源端子５０ａに接続され、ＦＤトランジスタ５１のゲート・ドレイン間にリセットトランジスタ５３が接続される。リセットトランジスタ５３のゲート端子５３ａがリセット線に接続され、ドレインが電源端子５０ａに接続される。

ＦＤトランジスタ５１のソースが行選択トランジスタ５４のドレインに接続され、行選択トランジスタ５４のソース端子５４ａが出力線５２に接続され、行選択トランジスタ５４のゲート端子５４ｂが行選択線に接続される。

主画素のｎ領域４３ａと副画素のｎ領域４３ｂとは近接して設けられると共に、ｎ領域４３ａとｎ領域４３ｂとの間にｎ領域５１ｃが設けられる。このｎ領域５１ｃが出力（ＦＤ）トランジスタ５１のゲートに接続され、ＦＤトランジスタ５１は、主画素４３ａと副画素４３ｂで共通に１つ設けられる。

即ち、主画素（ｎ領域）４３ａとｎ領域５１ｃとの間に読出ゲート５１ａを設け、副画素（ｎ領域）４３ｂとｎ領域５１ｃとの間に読出ゲート５１ｂを設け、主画素と副画素の各検出電荷を共通のｎ領域５１ｃに読み出す構成としている。

図７は、図４，図５，図６で説明した信号読出回路を用い、主画素４３ａと副画素４３ｂが夫々検出した信号電荷を撮像素子２１内部で画素加算（電荷混合）して読み出すシーケンス図である。読出パルス印加線５４に読出パルス６１が印加されると、主画素のｎ領域４３ａの蓄積電荷が図６のｎ領域５１ｃに転送され、主画素４３ａの信号電荷は空となる。次に、読出パルス印加線５５に読出パルス６２が印加されると、副画素のｎ領域４３ｂの蓄積電荷が図６のｎ領域５１ｃに転送され、副画素４３ｂの信号電荷は空となる。

この結果、ｎ領域５１ｃには主画素の検出電荷と副画素の検出電荷とが混合された状態で蓄積され、ｎ領域５１ｃで加算混合された電荷（主画素電荷＋副画素電荷）が、出力トランジスタ５１のゲートに印加されることになる。

今、電源端子５０ａに水平走査回路４４から電源電圧Ｖddが供給されているとする。垂直走査回路４５から行選択トランジスタ５４のゲート端子５４ｂに行選択信号６３が印加されてトランジスタ５４がオン（導通）状態になると、出力トランジスタ５１もオン（導通）状態となり、出力線５２に上記の加算した信号電荷量に応じた信号が撮像画像信号として出力される。この撮像画像信号６４が出力線５２を通してアナログ信号処理部２２に取り込まれ、以後の画像処理が行われる。

その後にリセット信号がリセットトランジスタ５３に印加されると、出力トランジスタ５１のゲートに印加されていた信号電荷（加算電荷）は、リセットトランジスタ５３を通して電源線Ｖddに廃棄され、ｎ領域５１ａは空となる。

図８は、図４，図５，図６で説明した信号読出回路を用い、主画素の信号電荷量に応じた撮像画像信号と副画素の信号電荷量に応じた撮像画像信号とを撮像素子２１外部に個別に読み出すシーケンス図である。この場合には、２つの撮像画像信号は、図１のデジタル信号処理部２６でデジタル加算される。

この場合には、先ず、読出パルス印加線５４に読出パルス６１が印加される。これにより、主画素のｎ領域４３ａの蓄積電荷が図６のｎ領域５１ａに転送され、主画素４３ａの信号電荷は空となる。電源線には電源電圧Ｖddが印加されており、信号読出回路５０はイネーブル状態にある。

出力トランジスタ５１のゲートには、主画素４３ａが検出した信号電荷量が印加されるため、次のタイミングで行選択トランジスタ５４に行選択信号６５が印加されると、主画素４３ａの蓄積電荷量に応じた撮像画像信号６６が出力線５２に出力される。

次のタイミングで、リセット信号６７がリセットトランジスタ５３印加されると、出力トランジスタ５１のゲートに印加されていた信号電荷が電源線に廃棄され、図６のｎ領域５１ｃは空となる。

次のタイミングで読出パルス印加線５５に読出パルス６２が印加されると、副画素のｎ領域４３ｂの蓄積電荷が図６のｎ領域５１ｃに読み出され、副画素４３ｂの信号電荷は空となる。出力トランジスタ５１のゲートには副画素４３ｂが検出した信号電荷量が印加されているため、行選択トランジスタ５４に行選択信号６８が印加されると、副画素４３ｂの蓄積電荷量に応じた撮像画像信号６９が出力線５２に出力される。

次に、リセット信号７０がリセットトランジスタ５３印加されると、出力トランジスタ５１のゲートに印加されていた信号電荷が電源線に廃棄され、ｎ領域５１ｃは空となる。後段のデジタル信号処理部２６は、主画素の撮像画像信号６６と副画素の撮像画像信号６９とを信号加算し、高感度な撮像画像信号としたり、広ダイナミックレンジの撮像画像信号とする。なお、撮像画像信号６６と撮像画像信号６９との信号加算は、デジタル変換前のアナログ信号（電圧値信号）の状態で加算しても良い。

図９は、本発明の一実施形態に係る画素加算方法選択処理手順を示すフローチャートである。この画素加算方法選択処理は、図１のシステム制御部２９が撮像素子を用いて被写体画像を撮影し、各画素が受光量に応じた信号電荷を蓄積した後に実行される。

撮像装置１０による撮影処理が終了し、撮像素子２１の各画素４３ａ，４３ｂ内にシャッタ速度，露出等に応じた信号電荷が蓄積された後、先ず、ステップＳ１で、主画素４３ａの蓄積電荷をｎ領域５１ｃに読み出す。

次のステップＳ２では、主画素の信号電荷量の大きさが閾値α（ＦＤの飽和量の５０％）以上であるか否かを判定する。ｎ領域５１ｃに読み出された信号電荷量は、それに応じた撮像画像信号を出力線５２に出力してみれば判断できる。

図１０は、閾値αを説明図である。主画素４３ａと副画素４３ｂの各受光面積は同面積であり、露光時間も同時間であるため、主画素，副画素の受光量と信号レベルとは同じ比例関係となる。ｎ領域５１ｃの飽和電荷量（ＦＤの飽和量）に対し、主画素４３ａの信号レベル（検出電荷）が半分以下であれば、主画素の検出電荷と同程度であると推測でき、副画素４３ｂの検出電荷をｎ領域５１ｃに読み出しても、ｎ領域５１ｃが溢れる蓋然性は小さいと判断できる。

このため、主画素４３ａから読み出した信号電荷量が閾値α以上でない場合には、ステップＳ２からステップＳ３に進み、ｎ領域５１ｃに、副画素４３ｂの蓄積電荷を読み出す。この結果、ｎ領域５１ｃには、主画素と副画素の合計した信号電荷量が読み出されることになる。次のステップＳ４では、この加算混合した信号電荷量に応じた撮像画像信号を出力線５２に出力し、この処理を終了する。

ステップＳ２の判定の結果、主画素４３ａの検出電荷量が閾値α以上の場合には、副画素４３ｂの検出電荷を一緒にｎ領域５１ｃに読み出してしまうとｎ領域５１ｃが溢れてしまう。そこで、この場合にはステップＳ２からステップＳ５に進み、ｎ領域５１ｃの信号電荷量（主画素４３ａの信号電荷のみ）に応じた撮像画像信号を出力線５２に出力させ、ステップＳ６で、この主画素のみの撮像画像信号をメモリ３０（図１）に保存する。

次のステップＳ７では、リセット信号（図８の信号６７）を印加し、ｎ領域５１ｃを空とする（ステップＳ８）。次のステップＳ９で、副画素４３ｂの検出電荷をｎ領域５１ｃに読み出す。そして、ステップＳ１０でｎ領域５１ｃ内の信号電荷量に応じた撮像画像信号を出力線５２に出力させ、この副画素の撮像画像信号と、ステップＳ６でメモリ３０に待機しておいた主画素の撮像画像信号とを信号加算（電圧加算）して（ステップＳ１１）、この処理を終了する。信号加算した画素加算信号は、そのまま用いても、平均値を求めて撮像画像信号としても良い。

なお、ステップＳ２における閾値αとの比較判定は、撮像素子２１の受光面のうち、撮影処理前に行うＡＥ処理で得た露出データを用い、入射光量が一番大きいと判断した部分領域の主画素から読み出した信号電荷量で判断しても良い。

図１１は、本発明の別実施形態に係る画素加算方法選択処理手順を示すフローチャートである。基本的には、図９の画素加算方法選択処理手順と同じであるが、本実施形態では、主画素の信号電荷量が大きかった場合の処理ステップを付加している点のみ異なる。

本実施形態では、ステップＳ１の後にステップＳ１５の判定処理を行う。この判定処理Ｓ１５では、撮像素子受光面のうち上記の入射光量が一番大きいと判断した部分領域の主画素からｎ領域５１ｃに読み出した信号電荷量が、閾値αより大きな所定の閾値βより大きいか否かを判定する。

主画素から読み出した信号電荷量が閾値βより大きな場合にはステップＳ１５からステップＳ１６に進み、主画素の信号電荷量に応じた撮像画像信号を出力線５２に出力し、この処理を終了する。即ち、この場合には、「画素加算」は行わず、主画素の検出信号だけで被写体画像を生成する。

ステップＳ１５の判定の結果、主画素の検出電荷が閾値βより小さい場合には、ステップＳ２に進み、以下、図９の処理ステップ手順と同じ手順で処理を進めていく。

この様に、主画素の信号電荷量（検出電荷）が閾値βより大きい場合、図１２に示す様に、主画素の信号電荷量だけで十分な信号量が得られ、主画素の信号電荷だけで広いダイナミックレンジの撮像画像信号が得られる蓋然性が高いと判断できるため、画素加算をスキップできる。閾値βとしては、ＦＤの飽和量の８０％や７０％とすることで良い。

図９の処理手順、図１１の処理手順において、画素加算する方法を、信号電荷の電荷混合による方法（ステップＳ４：第２画素加算駆動モード）とするか、信号加算による方法（ステップＳ１１：第１画素加算駆動モード）とするかを、主画素の信号電荷量で判断（ステップＳ２，ステップＳ１５）したが、撮影条件によっては、一々、主画素の信号電荷量で判断するまでもない場合がある。

例えば、撮影処理前にユーザが撮像装置１０の操作部３３から「連写モード」を選択していた場合、個々の撮影のシャッタ速度は短時間のため、主画素の信号電荷量は閾値αより「小さい」と判断できる場合がある。この場合には、例えばステップ１の後に「連写モード」で撮影が行われたか否かを判定し、連写モードの場合には強制的にステップＳ３に進む様にすれば良い。これにより、時間のかかる信号処理による画素加算が回避されることになる。

同様に、撮影処理前に、ユーザがＩＳＯ感度を指定した場合、あるいはオート設定で撮像装置１０が自動的にＩＳＯ感度を設定した場合で、ＩＳＯ感度が所定感度以上（例えばＩＳＯ４００以上）となった場合、撮影シーンが暗いため、上記と同様に、主画素に蓄積される信号電荷量は閾値αより「小さい」と判断できる。この場合も、ステップＳ１の後にＩＳＯ感度を判定し、所定ＩＳＯ感度より大きいとき強制的にステップＳ３に進むようにすれば良い。低ＩＳＯ感度（ＩＳＯ４００未満）の場合には、撮影シーンが明るいため、強制的にステップＳ５に進むことで、ダイナミックレンジの広い被写体画像を撮像することが可能となる。

この様に、撮影条件によって主画素の信号電荷量が閾値αに達しないと判断できる場合には強制的に信号電荷の電荷混合による画素加算を選択することで、無駄な処理を省き、処理時間の短縮化を図ることが可能となる。

野外で撮影を行う場合、晴れた空や太陽で照らされた部分（明るい部分）と影の部分とが存在し、広いダイナミックレンジが要求される。例えば、図１３（ａ）に示される野外の撮影シーンでは、明るい部分と暗い部分とが混在することになる。

この様な場合、撮像素子受光面を複数ブロックに領域分割し、各分割ブロック毎に、画素加算方法を、信号加算による画素加算とするか、信号電荷の電荷混合による画素加算とするかを場合分けして行うのが良い。

例えば、図１３（ｂ）に示す様に、受光面を５行５列の計２５の分割ブロックに領域分割し、Ａ行，Ｂ行のブロックは信号加算による画素加算を行い、Ｄ行，Ｆ行のブロックは電荷混合による画素加算を行う。そして、Ｃ行においては、イ列，ロ列，ニ列，ホ列は信号加算、ハ列は電荷混合による画素加算を行う様にする。

ＭＯＳトランジスタ回路を信号読出回路とする撮像素子の場合、各ペア画素への信号読出をランダムアクセスすることで行うことができ、ペア画素単位，ブロック単位に画素加算の方法を変えることが可能となる。

Ａ行，Ｂ行，Ｄ行，Ｆ行の各ブロックからの信号読出は同一行の各画素の信号加算方法が同じとなるため、その説明は省略し、Ｃ行の各ブロックからの信号読出方法（画素加算方法）について説明する。

Ｃ行ブロックの信号読出時には、先ず、ハ列のブロックの撮像画像信号から信号読出を行う。この場合、イ列，ロ列，ニ列，ホ列の各信号読出回路への電源電圧Ｖddの供給は止め、各信号読出回路５０をディスイネーブル状態とする。そして、ハ列の信号読出回路の電源線にだけ電源電圧Ｖddを印加し、イネーブル状態とする。勿論、この電源電圧Ｖddの印加は、水平走査回路４４によって１ペア画素列毎に行う。

そして、図５の主画素ＴＧ線５４に読出パルス６１（図８参照）を印加すると、Ｃ行の同一行の全て（イ列，ロ列，ニ列，ホ列を含む）の主画素４３ａの信号電荷がｎ領域５１ｃに読み出される。次に、行選択信号６５を印加すると、ハ列の主画素の検出信号に応じた撮像画像信号が出力線５２に出力されることになる。しかし、イ列，ロ列，ニ列，ホ列の信号読出回路５０は不活性（ディスイネーブル状態）なため、撮像画像信号は出力されない。

次に、リセット信号６７を印加すると、ハ列のｎ領域５１ｃの信号電荷は電源線に廃棄されるが、イ列，ロ列，ニ列，ホ列のｎ領域５１ｃの信号電荷は、リセットトランジスタが不活性のためそのままｎ領域５１ｃに残る。

次に、副画素ＴＧ線５５に読出パルス６２を印加すると、Ｃ行の同一行の全て（イ列，ロ列，ニ列，ホ列を含む）の副画素４３ｂの信号電荷がｎ領域５１ｃに読み出される。イ列，ロ列，ニ列，ホ列のｎ領域５１ｃでは、主画素＋副画素の信号電荷が混合した状態となる。しかし、ハ列のｎ領域５１ｃにおいては、副画素４３ｂの信号電荷だけが蓄積される。

次に行選択信号６８が印加されると、ハ列の撮像画像信号６９だけが出力線５２に出力され、イ列，ロ列，ニ列，ホ列の撮像画像信号は夫々の信号読出回路５０が不活性のため出力されない。そして、リセット信号を７０を印加することで、ハ列のｎ領域５１ｃは空となる。

この様にして、ハ列の主画素からの撮像画像信号６６と、ハ列の副画素からの撮像画像信号６９とが別々に読み出された後、信号処理回路による信号加算によって画素加算が行われる。

一方、イ列，ロ列，ニ列，ホ列のｎ領域５１ｃには、主画素の信号電荷と副画素の信号電荷とが混合した状態で維持されている。このため、ハ列の信号読出回路への電源電圧Ｖｄｄの供給を停止し、イ列，ロ列，ニ列，ホ列の信号読出回路５０への電源電圧Ｖddの水平走査と行選択信号の垂直走査とを行うことで、電荷混合した画素加算信号が出力線５２に出力されることになる。

上述した信号読出（画素加算）を行う場合、Ｃ行では、図１４（ａ）に示す様に、電荷混合した信号（主画素＋副画素）７１が出力される場合と、図１４（ｂ）に示す様に、主画素信号７２と副画素信号７３とが別々に出力される場合とが混在することになる。

後段の信号処理回路２６は、ブロック毎に別々の信号処理ができない様に設計される場合が多く、同一ペア画素行の出力信号として、信号７１だけのときと信号７２，７３の両方が存在するときとが混在すると、信号処理を誤る虞がある。例えば、電荷混合の画素加算を行う図１４（ａ）では「主画素」の信号電荷７５だけの出力は行わないが、この位置にノイズ等が重畳していると、このノイズを「撮像画像信号」と誤認する虞がある。

そこで、本実施形態では、図１５に示す様に、アナログ信号処理部２２の前段に、マスク信号発生回路７６と加算回路７７とを設け、マスク信号発生回路７６がオン（ハイ）信号を出力しているときだけ、撮像素子２１の出力信号をアナログ信号処理部２２に通すことにし、図１４（ａ）の主画素電荷７５の読出位置に対応する信号位置ではダミー信号７８を出力する様にする。これにより、デジタル信号処理部２６は信号処理を誤る虞がなくなる。

図１６は、図１３〜図１５を用いて説明した実施形態の処理手順を示すフローチャートである。先ず、ステップＳ２１で、撮影処理前のＡＥ（自動露出）処理で取得したＡＥデータを図１３の分割ブロック毎に取り込む。そして、次のステップＳ２２で、各分割ブロックの露出値が所定閾値以上であるか否かを夫々判定する。

ステップＳ２２の判定の結果、露出値が所定閾値未満のブロックの場合には、暗いシーンのブロックであるためステップＳ２３に進み、信号電荷の電荷混合による画素加算処理を行うブロックとする。ステップＳ２２の判定の結果、露出値が所定閾値以上のブロックの場合には、ステップＳ２４に進み、信号加算による画素加算処理を行うブロックとする。

ステップＳ２４の次のステップＳ２５では、信号加算を行うため、先ず主画素の信号電荷量に応じた撮像画像信号を出力線５２に出力してメモリ３０に保存し（ステップＳ２６）、ステップＳ２７で副画素の信号電荷量に応じた撮像画像信号を出力線５２に出力し、ステップＳ３１で、主画素の撮像画像信号と副画素の撮像画像信号とを信号加算し、この処理を終了する。

信号電荷の電荷混合を行うブロックの場合には、ステップＳ２３の次のステップＳ２８で図１４（ａ）のダミー信号７８を出力し、このダミー信号７８をメモリ３０に保存する（ステップＳ２９）。そして、ステップＳ３０で「主画素＋副画素」の電荷混合した撮像画像信号を出力線５２に出力し、ステップＳ３１で、メモリ３０のダミー信号（出力０）７８と加算し、この処理を終了する。

ステップＳ２５に対しステップＳ２８を設け、ステップＳ２６に対しステップＳ２９を設けたのは、信号処理回路２６が行う処理手順を、画素加算方法が異なるブロック行で同じ信号処理とするためである。

本実施形態によれば、分割ブロック毎に画素加算方法を変えたが、画素加算方法が異なるだけで、ブロック間で積算の明るさが異なる訳ではないため、ブロックの境界で段差が発生することはない。本実施形態によれば、高輝度部分のダイナミックレンジを拡大することができ、また、低輝度部分の暗時ノイズの低減を図ることが可能となる。

なお、上述した実施形態では、図３に示す様に、奇数行の光電変換素子行に対して偶数行の光電変換素子行を１／２ピッチづつずらした所謂ハニカム画素配列としたが、上述した実施形態はこのハニカム画素配列に限るものではなく、画素配列が正方格子配列で、奇数行又は奇数列の各画素（光電変換素子）にカラーフィルタをベイヤ配列し偶数行又は偶数列の各画素にカラーフィルタをベイヤ配列した撮像素子にも同様に適用可能である。

また、上述した実施形態では、光電変換素子として半導体基板に形成したフォトダイオードを用いたが、本発明はこれに限るものではなく、半導体基板の上層に例えば有機膜でなる光電変換膜を積層し、この光電変換膜を共通電極膜と画素毎の画素電極膜で挟んだ撮像素子にも適用可能である。

更に、上述した実施形態では、主画素と副画素の各受光面積を同じ受光面積として説明したが、主画素の受光面積に対して副画素の受光面積を小面積とした撮像素子にも上述した各実施形態を適用可能である。

以上述べた実施形態の撮像装置及びその画素加算方法は、複数の光電変換素子が半導体基板上に二次元アレイ状に配列形成される共に、隣接する２つの前記光電変換素子をペア画素とし該ペア画素を１単位としてカラーフィルタがベイヤ配列され、該ペア画素毎に前記半導体基板にＭＯＳトランジスタ回路でなる信号読出回路が形成される撮像素子と、前記撮像素子に付設され該撮像素子の前記信号読出回路から出力される撮像画像信号を処理する信号処理回路とを備える撮像装置及びその画素加算方法であって、
前記ペア画素を構成する２つの前記光電変換素子の各検出電荷に応じた撮像画像信号を個別に前記信号読出回路で読み出し前記信号処理回路で信号加算させる第１画素加算駆動モードと、前記ペア画素の２つの前記光電変換素子の各検出電荷を混合し、該混合した電荷量に応じた撮像画像信号を前記信号読出回路で読み出す第２画素加算駆動モードとを、前記撮像素子で被写体画像を撮影するときの撮影状態に応じて切り換える撮像素子駆動手段とを備えることを特徴とする。

また、実施形態の撮像装置及びその画素加算方法の前記撮像素子は、奇数行の光電変換素子行が偶数行の光電変換素子行に対して１／２ピッチづつずらして形成されることを特徴とする。

また、実施形態の撮像装置及びその画素加算方法は、前記第１画素加算駆動モードと前記第２画素加算駆動モードとの切換を判断する前記撮影状態は、前記ペア画素の一方の光電変換素子が検出した電荷量が第１閾値以上であるか否かで判断することを特徴とする。

また、実施形態の撮像装置及びその画素加算方法は、前記ペア画素の一方の前記光電変換素子が検出した電荷量が前記第１閾値より大きな第２閾値以上のときは該一方の前記光電変換素子の検出した電荷により前記被写体画像を生成することを特徴とする。

また、実施形態の撮像装置及びその画素加算方法は、連写モードによって前記被写体画像が撮影されたときは前記第２画素加算駆動モードを強制的に実行することを特徴とする。

また、実施形態の撮像装置及びその画素加算方法は、前記被写体画像を撮影するときのＩＳＯ感度が所定ＩＳＯ感度より低いとき前記第１画素加算駆動モードを強制的に実行し、所定ＩＳＯ感度より高いとき前記第２画素加算駆動モードを強制的に実行することを特徴とする。

また、実施形態の撮像装置及びその画素加算方法は、前記光電変換素子が形成された前記撮像素子の受光面を複数ブロックに領域分割し、各分割ブロック毎に、前記撮像素子駆動手段は前記第１画素加算駆動モードと前記第２画素加算駆動モードとを切り換えることを特徴とする。

また、実施形態の撮像装置及びその画素加算方法は、前記第１画素加算駆動モードと前記第２画素加算駆動モードとが混在した状態で同一行の前記ペア画素行から前記信号読出回路が前記撮像画像信号を読み出すとき、前記第２画素加算駆動モードによる前記撮像素子の出力タイミングのうち、前記第１画素加算駆動モードで出力される前記ペア画素のうちの最初に読み出される撮像画像信号の出力タイミングと同じ位置にダミー信号を出力させ、該ダミー信号と前記混合した電荷量に応じた撮像画像信号とを前記信号処理回路で信号加算し、該信号処理回路による信号処理を、前記第１画素加算駆動モードにより前記撮像素子から出力された信号の信号加算処理と同じ処理としたことを特徴とする。

以上述べた実施形態によれば、撮影状態，撮影条件に応じて、画素加算方法を適切な方法にするため、撮影状態，撮影条件によらずに常に最適な品質の被写体画像を撮像することが可能となる。

本発明に係る画素加算方法選択処理は、撮影条件等に応じて適切な画素加算方法が選択されるため、高品質や広ダイナミックレンジの撮像画像を撮影することが可能となり、デジタルスチルカメラやデジタルビデオカメラ，カメラ付携帯電話機，カメラ付電子機器，内視鏡等の各種デジタルカメラに適用すると有用である。

１０ 撮像装置
２１ 撮像素子
２２ アナログ信号処理部
２４ 駆動部
２６ デジタル信号処理部
２９ システム制御部（ＣＰＵ）
３０ メモリ
４１ 半導体基板
４３ 画素（光電変換素子）
４３ａ 主画素
４３ｂ 副画素
４４ 水平走査回路
４５ 垂直走査回路
５０ 信号読出回路
５１ 主画素，副画素の共有の出力トランジスタ（ＦＤトランジスタ）
５１ａ，５１ｂ 読出ゲート
５１ｃ ＦＤトランジスタの主画素，副画素共有のｎ領域
５２ 出力線
５３ リセットトランジスタ
５４ 行選択トランジスタ
５４ 主画素の読出パルス印加線（主画素ＴＧ線）
５５ 副画素の読出パルス印加線（副画素ＴＧ線）
６１，６２ 読出パルス
６４，６６，６９，７１，７２，７３ 出力信号
６３，６５，６８ 行選択線
６７，７０ リセット信号
７６ マスク信号発生回路
７７ 加算回路
７８ ダミー出力

Claims (16)

1. 複数の光電変換素子が半導体基板上に二次元アレイ状に配列形成される共に、隣接する２つの前記光電変換素子をペア画素とし該ペア画素を１単位としてカラーフィルタがベイヤ配列され、該ペア画素毎に前記半導体基板にＭＯＳトランジスタ回路でなる信号読出回路が形成される撮像素子と、
   前記撮像素子に付設され該撮像素子の前記信号読出回路から出力される撮像画像信号を処理する信号処理回路と、
   前記ペア画素を構成する２つの前記光電変換素子の各検出電荷に応じた撮像画像信号を個別に前記信号読出回路で読み出し前記信号処理回路で信号加算させる第１画素加算駆動モードと、前記ペア画素の２つの前記光電変換素子の各検出電荷を混合し、該混合した電荷量に応じた撮像画像信号を前記信号読出回路で読み出す第２画素加算駆動モードとを、前記撮像素子で被写体画像を撮影するときの撮影状態に応じて切り換える撮像素子駆動手段と
   を備える撮像装置。
2. 請求項１に記載の撮像装置であって、奇数行の光電変換素子行が偶数行の光電変換素子行に対して１／２ピッチづつずらして形成される撮像装置。
3. 請求項１又は請求項２に記載の撮像装置であって、前記第１画素加算駆動モードと前記第２画素加算駆動モードとの切換を判断する前記撮影状態は、前記ペア画素の一方の前記光電変換素子が検出した電荷量が第１閾値以上であるか否かで判断する撮像装置。
4. 請求項３に記載の撮像装置であって、前記ペア画素の一方の前記光電変換素子が検出した電荷量が前記第１閾値より大きな第２閾値以上のときは該一方の前記光電変換素子の検出した電荷により前記被写体画像を生成する撮像装置。
5. 請求項１乃至請求項３のいずれか１項に記載の撮像装置であって、連写モードによって前記被写体画像が撮影されたときは前記撮像素子駆動手段は前記第２画素加算駆動モードを強制的に設定する撮像装置。
6. 請求項１乃至請求項３のいずれか１項に記載の撮像装置であって、前記被写体画像を撮影するときのＩＳＯ感度が所定ＩＳＯ感度より低いとき前記撮像素子駆動手段は前記第１画素加算駆動モードを強制的に設定し、所定ＩＳＯ感度より高いとき前記撮像素子駆動手段は前記第２画素加算駆動モードを強制的に設定する撮像装置。
7. 請求項１乃至請求項３のいずれか１項に記載の撮像装置であって、前記光電変換素子が形成された前記撮像素子の受光面を複数ブロックに領域分割し、各分割ブロック毎に、前記撮像素子駆動手段は前記第１画素加算駆動モードと前記第２画素加算駆動モードとを切り換える撮像装置。
8. 請求項７に記載の撮像装置であって、前記第１画素加算駆動モードと前記第２画素加算駆動モードとが混在した状態で同一行の前記ペア画素行から前記信号読出回路が前記撮像画像信号を読み出すとき、前記第２画素加算駆動モードによる前記撮像素子の出力タイミングのうち、前記第１画素加算駆動モードで出力される前記ペア画素のうちの最初に読み出される撮像画像信号の出力タイミングと同じ位置にダミー信号を出力させ、該ダミー信号と前記混合した電荷量に応じた撮像画像信号とを前記信号処理回路で信号加算し、該信号処理回路による信号処理を、前記第１画素加算駆動モードにより前記撮像素子から出力された信号の信号加算処理と同じ処理とした撮像装置。
9. 複数の光電変換素子が半導体基板上に二次元アレイ状に配列形成される共に、隣接する２つの前記光電変換素子をペア画素とし該ペア画素を１単位としてカラーフィルタがベイヤ配列され、該ペア画素毎に前記半導体基板にＭＯＳトランジスタ回路でなる信号読出回路が形成される撮像素子と、
   前記撮像素子に付設され該撮像素子の前記信号読出回路から出力される撮像画像信号を処理する信号処理回路と
   を備える撮像装置の画素加算方法であって、
   前記ペア画素を構成する２つの前記光電変換素子の各検出電荷に応じた撮像画像信号を個別に前記信号読出回路で読み出し前記信号処理回路で信号加算させる第１画素加算駆動モードと、前記ペア画素の２つの前記光電変換素子の各検出電荷を混合し、該混合した電荷量に応じた撮像画像信号を前記信号読出回路で読み出す第２画素加算駆動モードとを、前記撮像素子で被写体画像を撮影するときの撮影状態に応じて切り換える撮像装置の画素加算方法。
10. 請求項９に記載の撮像装置の画素加算方法であって、奇数行の光電変換素子行が偶数行の光電変換素子行に対して１／２ピッチづつずらして形成される撮像装置の画素加算方法。
11. 請求項９又は請求項１０に記載の撮像装置の画素加算方法であって、前記第１画素加算駆動モードと前記第２画素加算駆動モードとの切換を判断する前記撮影状態は、前記ペア画素の一方の前記光電変換素子が検出した電荷量が第１閾値以上であるか否かで判断する撮像装置の画素加算方法。
12. 請求項１１に記載の撮像装置の画素加算方法であって、前記ペア画素の一方の前記光電変換素子が検出した電荷量が前記第１閾値より大きな第２閾値以上のときは該一方の前記光電変換素子の検出した電荷により前記被写体画像を生成する撮像装置の画素加算方法。
13. 請求項９乃至請求項１１のいずれか１項に記載の撮像装置の画素加算方法であって、連写モードによって前記被写体画像が撮影されたときは前記撮像素子駆動手段は前記第２画素加算駆動モードを強制的に設定する撮像装置の画素加算方法。
14. 請求項９乃至請求項１１のいずれか１項に記載の撮像装置の画素加算方法であって、前記被写体画像を撮影するときのＩＳＯ感度が所定ＩＳＯ感度より低いとき前記撮像素子駆動手段は前記第１画素加算駆動モードを強制的に設定し、所定ＩＳＯ感度より高いとき前記撮像素子駆動手段は前記第２画素加算駆動モードを強制的に設定する撮像装置の画素加算方法。
15. 請求項９乃至請求項１１のいずれか１項に記載の撮像装置の画素加算方法であって、前記光電変換素子が形成された前記撮像素子の受光面を複数ブロックに領域分割し、各分割ブロック毎に、前記撮像素子駆動手段は前記第１画素加算駆動モードと前記第２画素加算駆動モードとを切り換える撮像装置の画素加算方法。
16. 請求項１５に記載の撮像装置の画素加算方法であって、前記第１画素加算駆動モードと前記第２画素加算駆動モードとが混在した状態で同一行の前記ペア画素行から前記信号読出回路が前記撮像画像信号を読み出すとき、前記第２画素加算駆動モードによる前記撮像素子の出力タイミングのうち、前記第１画素加算駆動モードで出力される前記ペア画素のうちの最初に読み出される撮像画像信号の出力タイミングと同じ位置にダミー信号を出力させ、該ダミー信号と前記混合した電荷量に応じた撮像画像信号とを前記信号処理回路で信号加算し、該信号処理回路による信号処理を、前記第１画素加算駆動モードにより前記撮像素子から出力された信号の信号加算処理と同じ処理とした撮像装置の画素加算方法。

Images