JP2004172859A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】全画素読出方式の撮像素子において、広ダイナミックレンジ撮像と、Ｖレジスタの取扱い電荷量の向上や転送効率の改善を両立させる。
【解決手段】読出電極を独立に制御可能な複数系統に分ける。色成分に拘わらず、独立駆動可能な複数系統のゲート電極のそれぞれを、有効画素領域中において水平方向に延在して配置する。独立駆動可能な読出電極に対して、蓄積時間の異なる信号に対応した電子シャッタパルスを駆動電圧として印加することで、感度特性の切替えを露光時間制御で電子的に実現する。各転送電極に対応するそれぞれの転送パルスの伝播遅延がほぼ等しくなるので、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。読出電極を独立に制御可能にしているので、シャッタ方式ＳＶＥが持つ感度制御の柔軟性を享受することで、広ダイナミックレンジの画像の撮像を可能とする。
【選択図】 図３２

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置および撮像方法に関する。より詳細には、撮像された被写体画像のダイナミックレンジを向上させる技術に関する。
【０００２】
【従来の技術】
【特許文献１】
特開平８−２２３４９１号公報
【特許文献２】
特開平７−２５４９６５号公報
【特許文献３】
特開平７−２５４９６６号公報
【特許文献４】
特開平８−３４０４８６号公報
【特許文献５】
特開平１０−０６９０１１号公報
【特許文献６】
米国特許第５８０１７７３号明細書
【特許文献７】
特開平８−３３１４６１公報
【特許文献８】
特開平７−２５４９６５公報
【特許文献９】
特開平６−１４１２２９号公報
【特許文献１０】
米国特許第５４２０６３５号明細書
【特許文献１１】
米国特許第５４５５６２１号明細書
【特許文献１２】
米国特許第５８０１７７３号明細書
【特許文献１３】
米国特許第５６３８１１８号明細書
【特許文献１４】
米国特許第５３０９２４３号明細書
【特許文献１５】
米国特許第５７８９７３７号明細書
【特許文献１６】
特開昭５９−２１７３５８号公報
【特許文献１７】
米国特許第５４２０６３５号明細書
【特許文献１８】
特開２０００−６９４９１号公報
【特許文献１９】
特開平９−１９１０９９号公報
【特許文献２０】
ＵＳＡＰＰ ０９／３２６，４２２号明細書
【特許文献２１】
特開２００２−１１２１２０号公報
【非特許文献１】
「１／２インチ３３万画素正方格子全画素読出方式ＣＣＤ撮像素子」、テレビジョン学会技術報告 情報入力、情報ディスプレイ１９９４年１１月、ｐ７−１２
【非特許文献２】
Ｓ．Ｋ．Ｎａｙａｒ ａｎｄ Ｔ．Ｍｉｔｓｕｎａｇａ，”Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｉｎｇ：Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ Ｐｉｘｅｌ Ｅｘｐｏｓｕｒｅｓ”，Ｐｒｏｃ． ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ２０００，Ｖｏｌ．１，ｐｐ．４７２−４７９，Ｊｕｎｅ，２０００
【０００３】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのような固体撮像素子が、ビデオカメラやディジタルスチルカメラなどの撮像装置、ＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）の分野における部品検査装置、あるいはＭＥ（Ｍｅｄｉｃａｌ Ｅｌｅｃｔｒｏｎｉｃｓ）の分野における電子内視鏡などの光計測装置に幅広く利用されている。
【０００４】
従来、全画素読出し（ＰＳ；Ｐｒｏｇｒｅｓｓｉｖｅ Ｓｃａｎ）の画素構造として、非特許文献１には、３層電極３相駆動のものが知られている。この全画素読出方式の撮像素子は、読出電極を兼ねる３層目の転送電極が有効画素領域中において垂直方向に延在した構造となっている。
【０００５】
一方、固体撮像素子を用いた撮像装置や光計測機器などにおいては、ダイナミックレンジを向上させるために、異なる感度の光電変換素子（フォトダイオードなどの受光素子）を利用して画像を撮像し、撮像により得られた光強度信号を合成する手法が種々提案されている。
【０００６】
特許文献１〜６に記載の手法（以下第１の手法という）は、光学的に複数の透過率の異なる光軸に分岐させた入射光をそれぞれの光軸上に配置させた固体撮像素子で計測するというものである。しかしながら、第１の手法は、複数の固体撮像素子および光を分岐させる複雑な光学系が必要となるので、製造コストや装置規模が大きくなってしまうため、省コスト化や省スペース化の面で不利である。
【０００７】
また、特許文献７〜１４に記載の手法（以下第２の手法という）は、１つの固体撮像素子を用いて、その露光時間を複数に分割し、異なる時刻でかつ異なる時間幅で複数枚の画像を撮像した後、それらを合成するというものである。しかしながら、第２の手法は、異なる感度で計測された情報は異なる時刻に撮像されたものであり、かつ、異なる時間幅で撮像されているので、光強度が時々刻々と変化するような動的なシーン（画像）を正しく撮像することができない。
【０００８】
さらに、特許文献１５〜１８に記載の手法（以下第３の手法という）は、１つの固体撮像素子を用い、固体撮像素子の撮像面で互いに隣接する複数の受光素子を１組として、受光素子の１組を出力画像の１画素に対応させるようにし、１組を構成する複数の受光素子の感度をそれぞれ異なるように設定して撮像した後、複数の異なる感度の受光素子で計測された信号を合成させるというものである。これらにおいては、１つの固体撮像素子を構成する受光素子のそれぞれの感度を変化させる方法としては、各受光素子を透過率の異なるＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタで覆う方法がある。また、特に特許文献１８に記載のものは、第３の手法をカラー画像に適応するというものである。
【０００９】
第３の手法は、第１の手法において問題であった省コスト化や省スペース化の面で有利となる。また、第２の手法において問題であった動的シーンを正しく撮像できないことを解決することができる。
【００１０】
しかしながら、第３の手法では、隣接する複数の受光素子を１組として出力画像の１画素に対応させるので、出力画素の解像度を確保するためには、出力画像の画素数の数倍の受光素子からなる撮像素子が必要であり、ユニットセルサイズが大きくなる。
【００１１】
また、第３の手法は、透過率の異なるＮＤフィルタで受光素子を覆うことで感度制御を行なうので、固体撮像素子の製造時に各受光素子の感度が固定されることになり、感度を可変制御にすることができなくなり、ダイナミックレンジ拡大率を状況に合せて可変に制御することが困難になる。
【００１２】
この各受光素子の感度が固定されることにより、ダイナミックレンジ拡大率を状況に合せて可変に制御することが困難になるという課題に対して、特許文献１９には、第１の蓄積時間の後に、選択された列の信号を読出し、その後、電子シャッタをかけ、続く第２の蓄積時間の後に、上記列以外の列の信号を読み出すことによりダイナミックレンジを拡大することが記載されている。しかしながら、この手法でも、フィルタで受光素子を覆う手法のような感度の空間パターンの設計に自由度がないという問題があり、たとえば、垂直方向に３種類以上の複数の露光時間を有する信号を得ることができない。
【００１３】
さらに、特許文献２０および非特許文献２に記載の手法（以下第４の手法という）は、通常のダイナミックレンジを有する撮像素子に、出力画像の１画素に対応する１つの受光素子ごと、その露出が異なるような仕組みを施して撮像し、得られた画像信号に所定の画像処理を施して広ダイナミックレンジの画像信号を生成するというものである。受光素子ごとの露出が異なるような仕組みは、受光素子ごとに光の透過率や開口率を変えたりすることによって、空間的な感度のパターンをつくることにより実現する。つまり、解像度（つまり画素数）方向に余裕のある能力をダイナミックレンジ向上に振り分けるもので、ＳＶＥ（Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ Ｅｘｐｏｓｕｒｅ）方式と称するものである。
【００１４】
この第４の手法（ＳＶＥ方式）では、各受光素子は１種類の感度だけを有する。よって、撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報しか取得することができないが、得られた画像信号に所定の画像処理を施し、全ての画素の感度が均一になるようにすることによって、結果的にダイナミックレンジが広い画像を生成することができる。また、全ての受光素子が同時に露光するので、動きのある被写体を正しく撮像することができる。さらに、１つの受光素子が出力画像の１画素に対応しているので、ユニットセルサイズが大きくなる問題も生じない。つまり、ＳＶＥ方式では、第１〜第３の手法の問題を解決することが可能である。
【００１５】
このＳＶＥ方式を全画素読出しの撮像素子に適用する技術が特許文献２１に提案されている。これによれば、非特許文献１に記載の電極構造の全画素読出方式撮像素子を用いて、垂直列ごとに読出電極を複数系統に分離し、それぞれの読出タイミングを変えることでそれぞれの電極に対応する受光素子の蓄積時間を変え信号処理によりダイナミックレンジを拡大するようにしている。
【００１６】
【発明が解決しようとする課題】
しかし、非特許文献１に記載の全画素読出方式の撮像素子は、１層目と２層目の転送電極は有効画素領域中において水平方向に延在しているのに対し、読出電極を兼ねる３層目の転送電極が有効画素領域中において垂直方向に延在した構造となっている。
【００１７】
このため、これら転送電極の駆動パルスの供給経路に差が生じ、特に画面周辺部で１層目および２層目の転送電極と３層目の転送電極とで伝播遅延に差が生じることに起因して、転送パルスに位相ズレが発生し、この結果、Ｖレジスタの取り扱い電荷量の減少や転送効率が悪化するなどの問題が発生していた。
【００１８】
この問題を解決する一手法として、転送電極を斜め方向に配置する方法が考えられる。しかしながらこの方法では、たとえば対角を結ぶ部分の電極長が最長でそれより離れるほど短くなるというように、電極長が場所によって異なるので、これに起因して、転送パルスに位相ズレが発生してしまう。これを解決するには、たとえば転送電極に対して交差する方向にアルミ配線を配してシャント配線を形成する方法も考えられるが、その分だけ製造工程が増え製造が複雑になるなど、新たな問題が生じる。
【００１９】
本発明は、上記事情に鑑みてなされたものであり、広ダイナミックレンジの画像の撮像が可能であるとともに、Ｖレジスタの取扱い電荷量の向上や転送効率の改善を比較的簡単な方法で実現することのできる撮像方法および撮像装置を提供することを目的とする。
【００２０】
【課題を解決するための手段】
すなわち、本発明に係る撮像装置は、受光した光を光電変換して電荷を蓄積する水平方向および垂直方向に配置された複数の受光素子を具備する光電変換手段と、受光素子により蓄積された電荷を垂直方向に転送する垂直転送レジスタと、受光素子により蓄積された電荷を垂直転送レジスタに転送する転送ゲートとを備えた撮像装置であって、それぞれ異なる蓄積時間に応じて独立に駆動電圧を転送ゲートに印加可能に設けられた複数系統のゲート電極（読出電極）を設けた。つまり、読出電極を複数系統設け、それぞれの読出電極を蓄積時間の違う信号に対応させた。
【００２１】
また、この複数系統のゲート電極のそれぞれは、有効画素領域中において水平方向に延在して配置されているものとした。
【００２２】
なお、ゲート電極を、垂直転送レジスタにて電荷を垂直方向に転送させるための転送電極を兼ねる構成としてもよい。
【００２３】
なお、このような電極構造のセンサは、全画素読出方式のものに適用すると好適である。また、複数の色成分を３原色成分とし、その色配列を、感度特性に拘わらず、３原色成分がベイヤ配列などの格子状をなすように配置されているものとするとさらに好ましい。
【００２４】
電極構造の具体的な形態としては、たとえば、同一の感度特性を呈する受光素子の並び方向が垂直方向に一致するように、複数系統のゲート電極が設けられていることが好ましい。
【００２５】
また、複数の受光素子のそれぞれが、複数の色成分のうちの何れかの色成分を有しているカラー撮像用の場合、色成分に拘わらず、同一の感度特性を呈する受光素子の並び方向が垂直方向に一致するように、複数系統のゲート電極が設けられていることが好ましい。
【００２６】
このような電極構造を有するセンサを使用する場合、複数系統のゲート電極のそれぞれに対応して、蓄積時間の異なる信号に対応した電子シャッタパルスを駆動電圧として印加するパルス駆動部を備えた構成とする。つまり、感度特性の切替えを露光時間制御で電子的に実現する。
【００２７】
また、それぞれ異なる蓄積時間に応じて光電変換手段により撮像された複数系統の撮像信号に基づいて、信号処理により画像のダイナミックレンジを拡大する信号処理部を備えた構成とする。
【００２８】
本発明に係る撮像方法は、本発明に係る撮像装置を利用した撮像方法である。すなわち、光強度に対する複数の感度特性のうちの何れかの感度特性を呈する感度モザイク画像を取得して被写体画像を撮像する撮像方法であって、それぞれ異なる蓄積時間に応じて独立に駆動電圧を転送ゲートに印加可能に設けられた複数系統のゲート電極を備えており、かつ複数系統のゲート電極のそれぞれが、有効画素領域中において水平方向に延在して配置されている撮像装置を使用する。そして、複数系統のゲート電極のそれぞれに対応して、積時間の異なる信号に対応した電子シャッタパルスを駆動電圧として印加することで、それぞれ異なる蓄積時間に応じた複数系統の撮像信号を取得する。さらに、この取得した複数系統の撮像信号に基づいて、信号処理により被写体画像のダイナミックレンジを拡大する。
【００２９】
【作用】
上記構成においては、先ず、センサに読出電極として複数系統設け、それぞれの読出電極を蓄積時間の違う信号に対応させ、感度特性の切替えを露光時間制御で電子的に実現する構成とした。このとき、複数系統のゲート電極のそれぞれが、有効画素領域中において水平方向に延在するように配置させた。これにより、読出電極を他の転送電極に対して平行となるようにした。
【００３０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００３１】
図１は、本発明に係る撮像装置を適用したデジタルスチルカメラの構成を示す図である。このディジタルスチルカメラ１は、大別して光学系２、信号処理系３、記録系４、表示系５、および制御系６から構成されている。
【００３２】
光学系２は、シャッタ２１、被写体の光画像を集光するレンズ２２、光画像の光量を調整する絞り２３、および集光された光画像を光電変換して広ダイナミックレンジの電気信号に変換するＣＣＤイメージセンサ２４から構成されている。図示しない被写体からの光Ｌは、シャッタ２１およびレンズ２２を透過し、絞り２３により調整されて、適度な明るさでＣＣＤイメージセンサ２４に入射する。このとき、レンズ２２は、図示せぬ被写体からの光Ｌからなる映像が、ＣＣＤイメージセンサ２４上で結像されるように焦点位置を調整する。
【００３３】
信号処理系３は、ＣＣＤイメージセンサ２４からの電気信号をサンプリングすることによってノイズを低減させるＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング）回路２５、ＣＤＳ回路２５が出力するアナログ信号をディジタル信号に変換するＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換回路２６、Ａ／Ｄ変換回路２６から入力されるディジタル信号に所定の画像処理を施すＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で構成された画像処理部２７から構成される。
【００３４】
ＣＣＤイメージセンサ２４は、複数の受光素子により構成されており、レンズ２２および絞り２３を介して入射された光Ｌを光電変換し、映像を電気信号に変換して、後段のＣＤＳ回路２５に出力する。
【００３５】
ＣＤＳ回路２５は、ＣＣＤイメージセンサ２４より入力される信号を基準信号と比較し、その差電圧をサンプリングし、これを映像信号としてＡ／Ｄ変換回路２６に出力する。Ａ／Ｄ変換回路２６は、ＣＤＳ回路２５より入力されたアナログ信号をデジタル信号に変換し、画像処理部２７に出力する。
【００３６】
記録系４は、画像信号を記憶するフラッシュメモリなどの記録媒体（メモリ）２９、画像処理部２７が処理した画像信号を符号化してメモリ２９に記録し、また、読み出して復号し、画像処理部２７に供給するＣＯＤＥＣ（Ｃｏｍｐｒｅｓｓｉｏｎ／Ｄｅｃｏｍｐｒｅｓｓｉｏｎ）２８から構成されている。画像処理部２７は、中央制御部３４により制御され、Ａ／Ｄ変換回路２６より入力された信号を所定の映像データに変換し、Ｄ／Ａ変換回路３０、またはＣＯＤＥＣ２８に出力する。また、画像処理部２７は、ＣＯＤＥＣ２８より入力された映像データをＤ／Ａ変換回路３０に出力する。ＣＯＤＥＣ２８は、画像処理部２７より入力された映像データを所定の方法でコーディングし、メモリ２９に記憶させるとともに、メモリ２９に記憶されているデータを読み出し、デコードして画像処理部２７に出力する。
【００３７】
画像処理部２７は、それぞれ異なる蓄積時間に応じて撮像された複数系統の撮像信号に基づいて、信号処理により画像のダイナミックレンジを拡大する信号処理部としての機能を備える。この信号処理に際しては、異なる感度で撮像されたモザイク画像を元にして、補間処理にて、正常な被写体画像を取得する。補間処理は、カラーフィルタの色配列や感度の配列に応じて、その仕組みを工夫する。
【００３８】
表示系５は、画像処理部２７が処理した画像信号をアナログ化するＤ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換回路３０、入力されるビデオ信号に対応する画像を表示することによりファインダとして機能するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などよりなるビデオモニタ３２、およびアナログ化された画像信号を後段のビデオモニタ３２に適合する形式のビデオ信号にエンコードするビデオエンコーダ３１から構成されている。Ｄ／Ａ変換回路３０は、画像処理部２７より入力された映像データのデジタル信号をアナログ信号に変換し、ビデオエンコーダ３１に出力する。ビデオエンコーダ３１は、Ｄ／Ａ変換回路３０より入力されたアナログ信号の映像データを所定のビデオ信号に変換し、ビデオモニタ３２に出力し、映像を表示させる。
【００３９】
制御系６は、先ず、図示しないドライブ（駆動装置）を制御して磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリに記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、あるいはユーザからのコマンドなどに基づいてディジタルスチルカメラ１の全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ ）などよりなる中央制御部３４を備える。この中央制御部３４は、デジタルスチルカメラ１のバス３３に接続された画像処理部２７、ＣＯＤＥＣ２８、メモリ２９、絞りコントローラ３５、およびタイミングジェネレータ３６を制御している。
【００４０】
また制御系６は、画像処理部２７に送られた画像の明るさが適度な明るさを保つように絞り２３を制御する絞りコントローラ３５、ＣＣＤイメージセンサ２４から画像処理部２７までの各機能部の動作タイミングを制御するタイミングジェネレータ（ＴＧ）３６、ユーザがシャッタタイミングやその他のコマンドを入力する操作部３７を有する。
【００４１】
絞りコントローラ３５は、画像処理部２７に送られた画像の明るさが適度な明るさを保つようにその制御値が中央制御部３４により設定され、その制御値に従って絞り２３を制御する。具体的には、中央制御部３４が画像処理部２７に保持されている画像から適当な個数の輝度値のサンプルを獲得し、その平均値があらかじめ定められた適当とされる輝度の範囲に収まるように絞り２３の制御値を設定する。
【００４２】
タイミングジェネレータ３６は、中央制御部３４により制御され、ＣＣＤイメージセンサ２４、ＣＤＳ回路２５、Ａ／Ｄ変換回路２６、および画像処理部２７の動作に必要とされるタイミングパルスを発生し、供給する。操作部３７は、ユーザが、デジタルスチルカメラ１を動作させるとき操作される。
【００４３】
このデジタルスチルカメラ１において、被写体の光学画像（入射光）は、レンズ２２および絞り２３を介してＣＣＤイメージセンサ２４に入射され、ＣＣＤイメージセンサ２４によって光電変換され、得られた電気信号は、ＣＤＳ回路２５によってノイズが除去され、Ａ／Ｄ変換回路２６によってディジタル化された後、画像処理部２７が内蔵する画像メモリに一時格納される。
【００４４】
なお、通常の状態では、タイミングジェネレータ３６による信号処理系に対する制御により、画像処理部２７が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部２７が内蔵する画像メモリの画像信号は、Ｄ／Ａ変換回路３０によってアナログ信号に変換され、ビデオエンコーダ３１によってビデオ信号に変換されて対応する画像がビデオモニタ３２に表示される。
【００４５】
ビデオモニタ３２は、デジタルスチルカメラ１のファインダの役割も担っている。ユーザが操作部３７に含まれるシャッタボタンを押下した場合、中央制御部３４は、タイミングジェネレータ３６に対し、シャッタボタンが押下された直後の画像信号を取り込み、その後は画像処理部２７の画像メモリに画像信号が上書きされないように信号処理系３を制御させる。その後、画像処理部２７の画像メモリに書き込まれた画像データは、ＣＯＤＥＣ２８によって符号化されてメモリ２９に記録される。以上のようなデジタルスチルカメラ１の動作によって、１枚の画像データの取り込みが完了する。
【００４６】
図２は、操作部３７の一例を説明する図である。ここで、図２（Ａ）はキー操作部の詳細を示し、図２（Ｂ）および図２（Ｃ）は動作モードの遷移を示す。
【００４７】
図２（Ａ）に示すように、操作部３７のキャプチャボタン４１は、プッシュボタンで構成され、静止画を撮像するとき、ユーザにより押下される。アクションモード切替スイッチ４２は、アクションモードを設定するための上下にスライドする切替スイッチであり、図中上段から“ｒｅｃｏｒｄ”、“ｏｆｆ ”、および、“ｐｌａｙ”の文字が表示されており、セットされた位置のアクションモードに設定される。今の場合、アクションモード切替スイッチ４２は、“ｏｆｆ”の位置にセットされている。
【００４８】
露出モード切替スイッチ４３は、露出モードを切替えるスイッチであり、図中上段から“ＳＶＥ（Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ Ｅｘｐｏｓｕｒｅ）”、および、“ｎｏｒｍａｌ”の文字が表示されており、スイッチがセットされた位置の露出モードに設定される。今の場合、露出モード切替スイッチ４３は、“ｎｏｒｍａｌ”の位置にセットされている。
【００４９】
アクションモード切替スイッチ４２が、“ｏｆｆ”の位置にセットされているとき、アクションモードは、図２（Ｂ）の状態遷移図の「ｏｆｆ状態」となっており、デジタルスチルカメラ１は停止した状態になっている。
【００５０】
この状態から、アクションモード切替スイッチ４２が、上方向にスライドされて“ｒｅｃｏｒｄ”の位置にセットされると、アクションモードは、図２（Ｂ）の番号１に示すように、「ｏｆｆ状態」から「モニタ状態」に遷移する。
【００５１】
「モニタ状態」のとき、デジタルスチルカメラ１は、中央制御部３４が、タイミングジェネレータ３６を制御してドラフト読出用のタイミングパルスを出力させる。これに基づいて、ＣＣＤイメージセンサ２４、ＣＤＳ回路２５、Ａ／Ｄ変換回路２６、画像処理部２７は、シャッタ２１、レンズ２２、および絞り２３を透過した光Ｌからなる映像を、画像信号としてドラフト読出しし、Ｄ／Ａ変換回路３０に出力する。Ｄ／Ａ変換回路３０は、入力された画像信号をデジタル信号からアナログ信号に変換し、ビデオエンコーダ３１に出力する。さらに、ビデオエンコーダ３１は、入力されたアナログ信号をビデオ信号に変換し、ビデオモニタ３２に表示させる。また、同様にして、アクションモード切替スイッチ４２が、“ｏｆｆ”の位置に戻されると、図２（Ｂ）の番号２に示すように「モニタ状態」から「ｏｆｆ状態」に戻る。
【００５２】
アクションモード切替スイッチ４２が、“ｒｅｃｏｒｄ”の位置にセットされた状態で、すなわち図２（Ｂ）中の「モニタ状態」のときにキャプチャボタン４１が押下されると、図２（Ｂ）の番号３に示すように、「モニタ状態」から「キャプチャ状態」に状態が遷移する。
【００５３】
「キャプチャ状態」のとき、デジタルスチルカメラ１は、中央制御部３４が、タイミングジェネレータ３６を制御して全画素読出用のタイミングパルスを出力させる。これに基づいて、ＣＣＤイメージセンサ２４、ＣＤＳ回路２５、Ａ／Ｄ変換回路２６、画像処理部２７は、シャッタ２１、レンズ２２、および、絞り２３を透過した光Ｌからなる映像を、１フレーム分だけ全画素読出しし、画像処理部２７によりガンマ補正などの処理を施させた後、ＣＯＤＥＣ２８に出力する。ＣＯＤＥＣ２８は、画像処理部２７より入力された１フレーム分の画像データを所定の形式で圧縮符号化し（コーディングし）、メモリ２９に記憶させる。さらに、「キャプチャ状態」は、この画像データがメモリ２９に書き込まれた時点で終了し、図２（Ｂ）の番号４に示すように、「キャプチャ状態」から「モニタ状態」に戻る。
【００５４】
「モニタ状態」で、ユーザが、アクションモード切替スイッチ４２を操作して、“ｐｌａｙ”の位置にセットすると、デジタルスチルカメラ１は、図２（Ｂ）中の番号５に示すように「モニタ状態」から「再生状態」に遷移する。同様にして、「ｏｆｆ状態」で、ユーザが、アクションモード切替スイッチ４２を操作して、“ｐｌａｙ”の位置にセットしても、デジタルスチルカメラ１は、図２（Ｂ）中の番号７に示すように「ｏｆｆ状態」から「再生状態」に状態が遷移する。
【００５５】
「再生状態」のとき、デジタルスチルカメラ１は、中央制御部３４がタイミングジェネレータ３６を停止させて、ＣＣＤイメージセンサ２４からの読出しを停止させる。さらに、中央制御部３４は、ＣＯＤＥＣ２８を制御して、メモリ２９に記憶されている画像データを読み出させて、復号処理させた後、画像処理部２７に出力させる。画像処理部２７は、中央制御部３４により制御されて、ＣＯＤＥＣ２８から出力された画像データをビデオ信号のフォーマットに合せるためのダウンサンプリング処理を施し、Ｄ／Ａ変換回路３０に出力する。Ｄ／Ａ変換回路３０は、画像処理部２７より入力されたデジタル信号をアナログ信号に変換し、ビデオエンコーダ３１に出力する。ビデオエンコーダ３１は、Ｄ／Ａ変換回路３０より入力されたアナログ信号をビデオ信号に変換し、ビデオモニタ３２に表示させる。
【００５６】
もちろん、「再生状態」のときに、ユーザが、アクションモード切替スイッチ４２を操作して、“ｒｅｃｏｒｄ”の位置にセットすると、デジタルスチルカメラ１は、図２（Ｂ）中の番号６に示すように「再生状態」から「モニタ状態」に遷移し、また、同様に、“ｏｆｆ”の位置にセットすれば、図２（Ｂ）中の番号８に示すように「再生状態」から「ｏｆｆ状態」に遷移する。
【００５７】
露出モードは、上記の「キャプチャ状態」の時に有効な、ＣＣＤイメージセンサ２４の露出状態を設定するもので、アクションモードとは独立に設定されるモードである。露出モードには、「Ｎｏｒｍａｌモード」と「ＳＶＥモード」の２つのモードがある。「Ｎｏｒｍａｌモード」は、ＣＣＤイメージセンサ２４の各受光素子の露出時間を全て一定にする（全ての受光素子の感度を一定にする）露出モードである。これに対して、「ＳＶＥモード」は、各受光素子の露出時間を、受光素子ごとに、いくつかのパターンで変化させる露出モードである。
【００５８】
図２（Ａ）に示すように、ユーザが、露出モード切替スイッチ４３を操作して、“ｎｏｒｍａｌ”の位置にセットすると、露出モードは、「Ｎｏｒｍａｌモード」にセットされる。また、図２（Ａ）に示す露出モード切替スイッチ４３が、図中上方向にスライドされて、“ＳＶＥ”の位置にセットされると、図２（Ｃ）の番号２１に示すように、露出モードは「ＳＶＥモード」に遷移する。同様に、「ＳＶＥモード」のとき、露出モード切替スイッチ４３が、図２（Ｃ）に示すように“ｎｏｒｍａｌ”の位置に戻されると、図２（Ｃ）の番号２２に示すように、露出モードは、「ＳＶＥモード」から「Ｎｏｒｍａｌモード」に遷移する。
【００５９】
Ｎｏｒｍａｌモードの全画素読出しは、従来のＣＣＤイメージセンサにより実行されてきた読出し方式と同様の読出し方式である。すなわち、この方式は、「キャプチャ状態」のとき、ＣＣＤイメージセンサ２４の全ての画素に対して、一定の露光時間により蓄積される電荷を読み出す方式である。これに対して、露出モードが、ＳＶＥモードである場合の全画素読出しでは、各画素の露出時間がいくつかのパターンに分けて受光され、異なる感度で受光された電荷が読み出される。
【００６０】
図３は、本実施形態のデジタルスチルカメラ１の動作の概要を説明する図である。デジタルスチルカメラ１は、ＣＣＤイメージセンサ２４を中心とする光学系の撮像処理によって、被写体を画素ごとに異なる色と感度（露光時間を変えることで感度可変を実現）で撮像し、色と感度がモザイク状になった画像（以下、色・感度モザイク画像と記述し、その詳細は後述する）を得る。
【００６１】
その後、画像処理部２７を中心とする信号処理系３により、撮像処理によって得られた画像が、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換される。以下、色・感度モザイク画像を、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換させる画像処理部２７を中心とする信号処理系３の処理を、デモザイク処理とも記述する。
【００６２】
たとえば、図３（Ａ）に示すような被写体を撮影した場合、撮像処理によって図３（Ｂ）に示すような色・感度モザイク画像が得られ、画像処理によって各画素が全ての色成分と均一の感度を有する画像に変換される。すなわち、図３（Ｂ）に示す色・感度モザイク画像から図３（Ｄ）に示す被写体の元の色を復元することで、ダイナミックレンジの拡大された画像を得る。
【００６３】
図４〜図８は、本願発明において対象とする、色・感度モザイク画像を構成する画素の色成分および感度の配列パターン（以下、色・感度モザイクパターンと記述する）の基本構成を説明する図である。なお、色・感度モザイクパターンを構成する色の組合せとしては、Ｒ（赤），Ｇ（緑），およびＢ（青）からなる３色の組合せの他、Ｙ（黄），Ｍ（マゼンタ），Ｃ（シアン），およびＧ（緑）からなる４色の組合せがある。
【００６４】
露光時間を違えることで実現される感度の段階としては、Ｓ１およびＳ２からなる２段階の他、感度Ｓ３を追加した３段階や、さらに、感度Ｓ４を追加した４段階がある。なお、図４〜図８においては、各正方形が１画素に対応しており、英文字がその色を示し、英文字の添え字として数字がその感度を示している。ハッチングを付した正方形は感度Ｓ１の画素を示す。たとえば、Ｇ１と表示された画素は、色がＧ（緑）であって感度がＳ１であることを示している。また、感度については数字が大きいほど、より高感度であるとする。
【００６５】
色・感度モザイクパターンの基本は、以下に示す第１〜第４の特徴によって分類することができる。
【００６６】
図４は、第１の特徴を呈する色・感度モザイクパターンＰ１を示す図である。第１の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されていることである。
【００６７】
たとえば、図４に示す色・感度モザイクパターンＰ１において、感度に拘わらず色がＲである画素に注目した場合、図面を右回りに４５度だけ回転させた状態で見れば明らかなように、それらは、水平方向には２＾１／２（“＾”はべき乗を示す）の間隔で、垂直方向には２＾３／２の間隔で格子状に配置されている。また、感度に拘わらず色がＢである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色がＧである画素に注目した場合、それらは、水平方向および垂直方向に２＾１／２の間隔で格子状の配置されている。
【００６８】
図５は、第２および第３の特徴を呈する色・感度モザイクパターンＰ３を示す図である。第２の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する４画素の合計５画素が有する色の中に、当該色・感度モザイクパターンに含まれる全ての色が含まれることである。また、第３の特徴は、第２の特徴を有しており、さらに、同一の感度を有する画素に注目した場合、それらの配列がベイヤ配列をなしていることである。
【００６９】
たとえば、図５に示す色・感度モザイクパターンＰ３において、感度Ｓ１の画素だけに注目した場合、図面を斜め４５度だけ傾けて見れば明らかなように、それらは２＾１／２の間隔を空けてベイヤ配列をなしている。また、感度Ｓ２の画素だけに注目した場合も同様に、それらはベイヤ配列をなしている。
【００７０】
図６〜図８は、第４の特徴を呈する色・感度モザイクパターンＰ４ａ，Ｐ４ｂ，Ｐ４ｃ（このグループを纏めて色・感度モザイクパターンＰ４ともいう）を示す図である。第４の特徴は、第１の特徴を有しており、さらに、３種類の色が用いられていて、それらがベイヤ（Ｂａｙｅｒ）配列をなしていることである。
【００７１】
たとえば、図６の色・感度モザイクパターンＰ４ａにおいて、感度に拘わらず色がＧである画素に注目した場合、それらは１画素おきに市松状に配置されている。感度に拘わらず色がＲである画素に注目した場合、それらは１ラインおきに配置されている。また、感度に拘わらず色がＢである画素に注目した場合も同様に、１ラインおきに配置されている。したがって、このパターンＰ４は、画素の色だけに注目すれば、ベイヤ配列であるといえる。
【００７２】
なお、この第４の特徴は、図６の色・感度モザイクパターンＰ４ａの他、図７、図８に示す色・感度モザイクパターンＰ４ｂ，Ｐ４ｃも有している。
【００７３】
本願発明は、上述した色・感度モザイクパターンＰ１，Ｐ３，Ｐ４ｃのうち、第２の特徴を呈する色・感度モザイクパターンＰ２や第４の特徴を呈するＰ４ａ，Ｐ４ｂ，Ｐ４ｃを適用しつつ、全画素読出しにおいて感度のモザイク配列を電子的に実現するものである。
【００７４】
なお、上述の図４〜図８に示した色・感度モザイクパターンＰ１，Ｐ３，Ｐ４に関連し、画素の感度に拘わらず色だけに注目して「色のモザイク配列」と記述する。また、色に拘わらず感度だけに注目して「感度のモザイク配列」と記述する。
【００７５】
ここで、本願発明の第１の側面において対象とする図６〜図８に示した色・感度モザイクパターンＰ４ａ，Ｐ４ｂ，Ｐ４ｃの違いを、感度のモザイク配列に着目して整理すると以下の通りである。なお、英字（Ａ〜Ｈ）で示した図中の上下方向を垂直方向、数字（１〜１１）で示した図中の左右方向を水平方向とする。
【００７６】
先ず、図６に示す色・感度モザイクパターンＰ４ａは、英字（Ａ〜Ｈ）で示した何れかの水平行に着目した場合、同一水平行においては、色がＧである画素は同一の感度すなわち同じ露光時間の画素である。一方、色がＲまたはＢである画素は、感度Ｓ１と感度Ｓ２の画素が水平方向（図の左右方向）に交互に配列されている。また、感度だけに注目すれば、垂直方向（図の上下方向）および水平方向に対して、感度がＳ１の画素の並びは、垂直方向（図６中の下側）に３画素が連続し、この３画素の垂直列の端部に位置する画素を起点として水平方向（図６中の左側）に３画素が連続し、さらに３画素の水平列の端部に位置する画素を起点として垂直方向（図６中の下側）に３画素が連続するというように、
【数１】

を繰り返す。
【００７７】
このような配置とすることで、後述する複数系統の読出電極と対応させると、斜め方向の列ごとに受光素子（フォトセル）に蓄積された信号電荷を独立に読み出せるような構造となる。
【００７８】
一方、図７に示す色・感度モザイクパターンＰ４ｂは、水平行に着目した場合、色がＧである画素は感度Ｓ１と感度Ｓ２の画素が水平方向に交互に配列されていて、かつ色がＲまたはＢである画素も、感度Ｓ１と感度Ｓ２の画素が水平方向に交互に配列されている。また、感度だけに注目すれば、水平行および垂直列のそれぞれ２画素（２×２画素）を組として、感度がＳ１の組と感度がＳ２の組が水平方向および垂直方向のそれぞれに交互に配列されている。つまり、各組は、１組おきに市松状に配置されていて、２ライン（水平行）ごとにジグザグに配列されている。換言すれば、ベイヤ配列の隣接した２×２の繰返し単位ごとに感度が異なる。
【００７９】
このような配置とすることで、後述する複数系統の読出電極と対応させると、受光素子（フォトセル）に蓄積された信号電荷を２×２単位でジグザグに独立に読み出せるような電極構造となる。
【００８０】
また、図８に示す色・感度モザイクパターンＰ４ｃは、水平行に着目した場合、色がＧである画素は感度Ｓ１と感度Ｓ２の画素が水平方向に交互に配列されていて、かつ色がＲまたはＢである画素も、感度Ｓ１と感度Ｓ２の画素が水平方向に交互に配列されている。また、感度だけに注目すれば、水平方向に２画素かつ垂直方向に１画素（２×１画素）を組として、感度がＳ１の組と感度がＳ２の組が水平方向および垂直方向のそれぞれに交互に配列されている。つまり、各組は、１組おきに市松状に配置されていて、１ライン（水平行）ごとにジグザグに配列されている。
【００８１】
このような配置とすることで、後述する複数系統の読出電極と対応させると、受光素子（フォトセル）に蓄積された信号電荷を２×１単位でジグザグに独立に読み出せるような電極構造となる。
【００８２】
以上説明したように、図６〜図８に示した色・感度モザイクパターンＰ４ａ，Ｐ４ｂ，Ｐ４ｃは、色に着目すれば何れもベイヤ配列が構成され、かつ、感度に着目すれば、モザイクパターン（格子配列）が形成されているが、感度Ｓ１，Ｓ２の並び方がそれぞれで異なる。
【００８３】
次に、ＣＣＤイメージセンサ２４において上述した色・感度モザイクパターンを実現する方法について説明する。色・感度モザイクパターンのうち、色のモザイク配列については、ＣＣＤイメージセンサ２４の受光素子の上面に、画素ごとに異なる色の光だけを透過させるオンチップカラーフィルタを配置することによって実現する。一方、色・感度モザイクパターンのうち、感度のモザイク配列については、電子的な方法によって実現する。たとえば、隣接する２つの受光素子（第１および第２の受光素子）に対し、制御のタイミングを違えることにより、２つの受光素子を異なる感度に設定する。
【００８４】
たとえば、全画素読出しＣＣＤにおいて、上述した感度のモザイク配列を電子的に実現するには、感度がＳ１の画素グループと感度がＳ２の画素グループについて、それぞれ独立に露光時間を制御可能な電極構造とすればよい。つまり、複数種類の感度設定に応じて読出電極を複数系統に分け、それぞれの読出電極が蓄積時間の違う信号に対応するように、それぞれの読出電極に独立に読出パルスを印加する構造とすればよい。
【００８５】
図９は、全画素読出しにおいて感度のモザイク配列を電子的に実現するための露光制御の第１例を説明する図である。図９（Ａ）は、ＣＣＤイメージセンサ２４の露光期間を示している。図９（Ｂ）は、電荷掃き出しを指令するパルス電圧のタイミングを示している。図９（Ｃ）は、電荷転送を指令する制御電圧が与えられるタイミングを示している。図９（Ｄ）は、第１の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。図９（Ｅ）は、電荷掃出パルス電圧および電荷読出パルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化を示している。図９（Ｆ）は、第２の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。図９（Ｇ）は、電荷掃出パルス電圧および電荷読出パルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。ただし、露出動作中に受光される光強度は変化しないものとする。
【００８６】
感度のモザイク配列を電子的に実現するための露光制御の第１例において、電荷掃出パルス電圧は、第１および第２の受光素子に対し共通して、露光期間以外においては、画素から電荷を掃き出しさせる（リセットさせる）ように供給され、露光期間中においては、所定のタイミングで１回だけ電荷をリセットするために供給される。
【００８７】
電荷転送電圧は、露光期間以外においては、第１および第２の受光素子に対し共通してＶレジスタに電荷を転送させるための波形電圧が供給され、露光期間中においては、Ｖレジスタからの電荷の転送が停止されるように電荷転送電圧は供給されない。
【００８８】
電荷読出パルス電圧は、各受光素子に対して異なるタイミングで供給される。第１の受光素子に対しては、露光期間中の電荷掃出パルス電圧の供給タイミング（図９（Ｂ））の直前に、１回目の電荷読出パルス電圧が供給され、露光期間中の終了の直前に２回目の電荷読出パルス電圧が供給される。
【００８９】
その結果、第１の受光素子からは、１回目および２回目の電荷読出パルス電圧の供給タイミングのそれぞれにおける第１の受光素子の蓄積電荷量がＶレジスタに読み出される。なお、露光期間中はＶレジスタの電荷の転送は停止されているので、それら２回の読み出し電荷量がＶレジスタ内で加算され、露光期間終了後に同じフレームのデータとしてＶレジスタから転送されるようになされている。
【００９０】
一方、第２の受光素子に対しては、露光期間中の電荷掃出パルス電圧の供給タイミングの直前に１回だけ電荷読出パルス電圧が供給される。その結果、第２の受光素子からは、１回だけの電荷読出パルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量がＶレジスタに読み出される。なお、露光期間中は垂直レジスタ２３の電荷の転送は停止されているので、第２の受光素子から読み出された蓄積電荷は、露光期間終了後に、第１の受光素子から読み出された蓄積電荷と同じフレームのデータとしてＶレジスタから転送されるようになされている。
【００９１】
以上のように、第１の受光素子と第２の受光素子とに対する制御タイミングをそれぞれ違えることにより、同じ露光期間中に第１の受光素子から読み出される蓄積電荷量と、第２の受光素子から読み出される蓄積電荷量、すなわち感度が異なるように設定することができる。
【００９２】
ところで、感度のモザイク配列を電子的に実現する第１例の露光制御では、受光素子によっては露光期間中の全域にわたる被写体の情報を計測できないという点が問題である。
【００９３】
図１０は、全画素読出しにおいて感度のモザイク配列を電子的に実現するための露光制御の第２例を説明する図である。図１０（Ａ）〜図１０（Ｇ）はそれぞれ、図９（Ａ）〜図９（Ｇ）と同様に、ＣＣＤイメージセンサ２４の露光期間、電荷掃き出しを指令するパルス電圧のタイミング、電荷転送を指令する制御電圧が与えられるタイミング、第１の受光素子に対して電荷読み出しを指令するパルス電圧のタイミング、電荷掃出パルス電圧および電荷読出パルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化、第２の受光素子に対する電荷読み出しを指令するパルス電圧のタイミング、電荷掃出パルス電圧および電荷読出パルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。
【００９４】
第２例の露光制御においては、露光期間中において、電荷掃出パルス電圧および電荷読出パルス電圧が複数回繰り返して供給される。すなわち、電荷掃出パルス電圧については、第１および第２の受光素子に対し共通して露光期間中において、１回目の電荷掃出パルス電圧と２回目の電荷掃出パルス電圧の組が複数回供給される。電荷読出パルス電圧については、第１の受光素子に対しては、１回目および２回目の電荷掃出パルス電圧の組ごとに、１回目の電荷掃出パルス電圧の直前に１回目の電荷読み出しパルス電圧が供給され、２回目の電荷掃出パルス電圧の直前に２回目の電荷読出パルス電圧が供給される。一方、第２の受光素子に対しては、電荷掃出パルス電圧の組ごとに、１回目の電荷掃出パルス電圧の直前に１回だけ電荷読出パルス電圧が供給される。
【００９５】
この結果、第１の受光素子からは、１回目および２回目の電荷掃出パルス電圧の組ごとに、１回目の電荷読出パルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量と、２回目の電荷読出パルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量が読み出される。なお、露光期間中は、Ｖレジスタの電荷の転送が停止されているので、これら組ごとに２回ずつ読み出された電荷量は、Ｖレジスタで加算される。第２の受光素子からは、１回目および２回目の電荷掃出パルス電圧の組ごとに１回だけ供給される電荷読出パルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が読み出される。これら組ごとに１回ずつ読み出された電荷量は、Ｖレジスタで加算される。
【００９６】
以上説明したような第２例の露光制御では、露光期間において電荷の読み出しを複数回繰り返すので、露光期間中の全域にわたる被写体の情報を計測することが可能となる。
【００９７】
次に、本願発明の第１の側面についての電極構造の詳細について説明する。この第１の側面は、ＣＣＤイメージセンサ２４において、上述した色・感度モザイクパターンにおける第４の特徴を有するもの、すなわち色のモザイク配列がベイヤ配列を呈する色・感度モザイクパターンＰ４ａ，Ｐ４ｂ，Ｐ４ｃのそれぞれについて、感度Ｓ１と感度Ｓ２の設定を露光時間の制御で、つまり電子シャッタに機能を利用して電子的に切り替えるための電極構造のものである。なお、ここでは、特に、３相駆動の垂直レジスタを持つプログレッシブスキャンのＣＣＤイメージセンサ（全画素読出しＣＣＤ／ＰＳ−ＣＣＤ）に好適な２段階感度による任意のモザイク配列を電子的に実現する手法を示す。
【００９８】
図１１は、図６に示した色・感度モザイクパターンＰ４ａについての電極構造の第１例を示す図である。２段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の構造を示している。
【００９９】
図６に示した色のベイヤ配列に従ってＲ，Ｇ，Ｂの各画素（受光素子）が多数、水平方向および垂直方向において２次元マトリクス状に配列されて、撮像部を構成している。これら画素は、入射光をその光量に応じた電荷量の信号電荷に変換して蓄積する。
【０１００】
また、垂直列ごとにそれぞれ３相駆動に対応する複数本（本例では１ユニットセル当たり３本）の垂直レジスタ駆動電極（垂直転送電極）ＶΦ１〜ＶΦ３を有したＶレジスタ（垂直ＣＣＤ、垂直転送部）が配列されている。さらに、Ｖレジスタと各画素との間には読出ゲートＲＯＧが介在している。また各ユニットセルの境界部分にはチャネルストップＬＣＳが設けられている。
【０１０１】
なお、図示しないが、複数本のＶレジスタの各転送先側端部すなわち、最後の行のＶレジスタに隣接して、図の左右方向に延在するＨレジスタ（水平ＣＣＤ、水平転送部）が１ライン分設けられている。Ｈレジスタの転送先側端部には、たとえばフローティングディフュージョンアンプ構成の電荷検出部が設けられている。この電荷検出部は、Ｈレジスタから順に注入される信号電荷を信号電圧に変換して出力する。
【０１０２】
図中破線で表示する１層目の転送電極である第１相電極（第１相垂直レジスタ駆動電極）ＶΦ１および図中細い実線で表示する２層目の転送電極である第２相電極（第２相垂直レジスタ駆動電極）ＶΦ２は、有効画素領域中において水平方向に延在するように配置されて、同じ水平ライン上で隣接する画素の電極と連結している。
【０１０３】
また、読出電極を兼ねる３層目の転送電極である図中太い線（実線または一点鎖線）で表示する第３相電極（第３相垂直レジスタ駆動電極）ＶΦ３も、有効画素領域中において水平方向に延在するように配置されて、同じ水平ライン上で隣接する画素の電極と連結している。すなわち、全ての転送電極が、電荷が転送される垂直列方向に対して垂直に配置されている。そして、同一水平ライン上の電極は同期して駆動されるようになっている。
【０１０４】
また、第２相電極ＶΦ２および第３相電極ＶΦ３は、対応する画素に隣接する読出ゲートＲＯＧ上にもかかるようになされている。たとえば、注目画素に対して、Ｖレジスタおよび読出ゲートＲＯＧ上において、当該注目画素に対応するラインの第１相電極ＶΦ１は、凹部が設けられており、この凹部に対向するように、次ラインの第１相電極ＶΦ１は図中上方向に凸部が設けられている。また、注目画素に対応するラインの第２相電極ＶΦ２は、図中下方向に凸部が設けられ、この凸部に対応する上側には凹部が設けられており、凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１０５】
また、注目画素に対応するラインの第３相電極ＶΦ３は、感度がＳ１の画素グループ（以下読出系統１の画素グループともいう）に対応する第３相電極ＶΦ３Ａ（太い実線）と感度がＳ２の画素グループ（以下読出系統２の画素グループともいう）に対応する第３相電極ＶΦ３Ｂ（太い一点鎖線）とに分けられており、それぞれ独立にパルスを印加できるようになっている。
【０１０６】
この２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂのそれぞれは、図中上方向および下方向の少なくとも一方に凸部が設けられ、この凸部の設けられる位置が感度Ｓ１あるいは感度Ｓ２の各設定に対応するように構成されている。たとえば、感度に拘わらず、図の上下方向である垂直方向に３画素並んだ真ん中の画素は、“図中上方向に設けられた凸部”に対応し、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。そして、この垂直方向に３画素並んだ真ん中の画素を除く全ての画素は、“図中下方向に設けられた凸部”に対応し、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１０７】
したがって、第３相電極ＶΦ３に読出パルスを印加した場合、読出ゲートＲＯＧのバリアを一時的に取り除き、対応する画素に蓄積されている電荷をＶレジスタに転送することが可能である。加えて、第３相電極ＶΦ３は、感度Ｓ１，Ｓ２のそれぞれに対応するように、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの２系統に分けられているので、第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して独立に読出パルスを印加することができる。したがって、カラーフィルタの配列をベイヤ配列としたままで蓄積時間を変えることができる。蓄積時間の変更は、いわゆる電子シャッタ方式を利用すればよく、感度を可変制御にすることができ、ダイナミックレンジ拡大率を状況に合せて可変に制御することができる。
【０１０８】
また、２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して読出パルスを共通に印加した場合には、通常の読出し方と同じになるので、ノーマルモードとして使用することも可能である。つまり、図１１に示した電極構造によれば、カラーフィルタの配列をベイヤ配列としたままでシャッタ方式ＳＶＥを実現するとともに、ノーマルモードとＳＶＥモードの切替えに対応することができる。
【０１０９】
また、独立読出しを可能とした全画素読出方式撮像素子の３層目の電極（第３相電極ＶΦ３）を有効画素領域中において水平方向に延在した構造としたので、１層目、２層目、３層目の各転送電極に対応するそれぞれの転送パルスの伝播遅延がほぼ等しくなる。この結果、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。また、転送電極の配列を工夫したものであり、シャント配線を形成する必要がないので、製造工程が増えたり製造が複雑になるなどの問題が生じない。
【０１１０】
図１２は、図６に示した色・感度モザイクパターンＰ４ａについての電極構造の第２例を示す図である。画素配列、Ｖレジスタ、読出ゲートＲＯＧ、およびチャネルストップＬＣＳが設けられている点は、図１１に示した第１例と共通する。また、第１相電極ＶΦ１および第２相電極ＶΦ２の構造も、図１１に示した第１例と共通する。
【０１１１】
また、第３相電極ＶΦ３は、読出系統１の画素グループに対応する第３相電極ＶΦ３Ａと読出系統２の画素グループに対応する第３相電極ＶΦ３Ｂとに分けられており、それぞれ独立にパルスを印加できるようになっている。また、この２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂのそれぞれは、図中上方向および下方向の少なくとも一方に凸部が設けられ、この凸部の設けられる位置が感度Ｓ１あるいは感度Ｓ２の各設定に対応するように構成されている。これらの点は、図１１に示した第１例と共通する。
【０１１２】
第１例と異なるのは、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの凸部と感度Ｓ１，Ｓ２の各設定との対応関係である。すなわち、感度に拘わらず、図の上下方向である垂直方向に３画素並んだ真ん中の画素は、図中“下方向に設けられた凸部”に対応し、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。そして、この垂直方向に３画素並んだ真ん中の画素を除く全ての画素は、“図中上方向に設けられた凸部”に対応し、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１１３】
したがって、第１例と同様に、第３相電極ＶΦ３に読出パルスを印加した場合、読出ゲートＲＯＧのバリアを一時的に取り除き、対応する画素に蓄積されている電荷をＶレジスタに転送することが可能である。また、第１例と同様に、第３相電極ＶΦ３は、感度Ｓ１，Ｓ２のそれぞれに対応するように、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの２系統に分けられているので、第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して独立に読出パルスを印加することができ、カラーフィルタの配列をベイヤ配列としたままで蓄積時間を変えることができ、感度を可変制御にすることができる。
【０１１４】
また、第１例と同様に、２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して読出パルスを共通に印加した場合には、通常の読出し方と同じになるので、ノーマルモードとして使用することも可能である。つまり、図１２に示した第２例の電極構造によっても、カラーフィルタの配列をベイヤ配列としたままでシャッタ方式ＳＶＥを実現するとともに、ノーマルモードとＳＶＥモードの切替えに対応することができる。
【０１１５】
また、第１例と同様に、３層目の電極を有効画素領域中において水平方向に延在した構造としたので、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。
【０１１６】
図１３は、図７に示した色・感度モザイクパターンＰ４ｂについての電極構造の一例を示す図である。画素配列、Ｖレジスタ、読出ゲートＲＯＧ、およびチャネルストップＬＣＳが設けられている点は、図１１および図１２に示したものと共通する。また、第１相電極ＶΦ１および第２相電極ＶΦ２の構造も、図１１および図１２に示したものと共通する。
【０１１７】
また、第３相電極ＶΦ３は、読出系統１の画素グループに対応する第３相電極ＶΦ３Ａと読出系統２の画素グループに対応する第３相電極ＶΦ３Ｂとに分けられており、それぞれ独立にパルスを印加できるようになっている。また、この２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂのそれぞれは、図中上方向および下方向の少なくとも一方に凸部が設けられ、この凸部の設けられる位置が感度Ｓ１あるいは感度Ｓ２の各設定に対応するように構成されている。これらの点は、図１１および図１２に示したものと共通する。
【０１１８】
図１１および図１２に示したものと異なるのは、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの凸部と感度Ｓ１，Ｓ２の各設定との対応関係である。すなわち、一方の読出系統（図では読出系統１）の２×２画素のグループに対応する第３相電極ＶΦ３Ａは、該当する組の水平方向に隣接する２画素のそれぞれについて、各同一水平位置にて、図中上方向および下方向の両側に凸部が設けられており、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１１９】
これに対して、他方の読出系統（図では読出系統２）の２×２画素のグループに対応する第３相電極ＶΦ３Ｂは、該当する組の水平方向に隣接する２画素のそれぞれについて、各同一水平位置にて、上側の２画素は図中下方向に凸部が設けられ、また下側の２画素は図中上方向に凸部が設けられており、各凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１２０】
したがって、図１１および図１２に示したものと同様に、第３相電極ＶΦ３に読出パルスを印加した場合、読出ゲートＲＯＧのバリアを一時的に取り除き、対応する画素に蓄積されている電荷をＶレジスタに転送することが可能である。また、図１１および図１２に示したものと同様に、第３相電極ＶΦ３は、感度Ｓ１，Ｓ２のそれぞれに対応するように、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの２系統に分けられているので、第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して独立に読出パルスを印加することができ、カラーフィルタの配列をベイヤ配列としたままで、またベイヤ配列の隣接した２×２の繰り返し単位ごとに蓄積時間を変えることができる。また、感度を可変制御にすることができるので、ダイナミックレンジ拡大率を状況に合せて可変に制御することができる。
【０１２１】
また、図１１および図１２に示したものと同様に、２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して読出パルスを共通に印加した場合には、通常の読出し方と同じになるので、ノーマルモードとして使用することも可能である。つまり、図１３に示した電極構造によっても、カラーフィルタの配列をベイヤ配列としたままでシャッタ方式ＳＶＥを実現するとともに、ノーマルモードとＳＶＥモードの切替えに対応することができる。
【０１２２】
また、図１１および図１２に示したものと同様に、３層目の電極を有効画素領域中において水平方向に延在した構造としたので、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。
【０１２３】
図１４は、図８に示した色・感度モザイクパターンＰ４ｃについての電極構造の一例を示す図である。図１１〜図１３に示したものと異なるのは、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの凸部と感度Ｓ１，Ｓ２の各設定との対応関係である。すなわち、感度に拘わらず２×１画素のグループに対応する第３相電極ＶΦ３Ａ，ＶΦ３Ｂは、該当する組の水平方向に隣接する２画素のそれぞれについて、各同一水平位置にて、図中上方向または下方向の何れか一方に凸部が設けられており、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１２４】
そして、読出系統１の２×１画素のグループに対応する第３相電極ＶΦ３Ａの凸部の方向と読出系統２の２×１画素のグループに対応する第３相電極ＶΦ３Ｂの凸部の方向とが水平方向に交互に配置されている。これに対して、垂直方向には、同一の向きに配置されている。つまり、同一感度の水平方向２画素を感度を無視して垂直方向に見たとき、その水平方向２画素からなる垂直列は、全て上方向の凸部、または全て下方向の凸部となるように配置されている。
【０１２５】
このような電極構造においても、図１１〜図１３に示したものと同様に、第３相電極ＶΦ３に読出パルスを印加した場合、読出ゲートＲＯＧのバリアを一時的に取り除き、対応する画素に蓄積されている電荷をＶレジスタに転送することが可能である。また、図１１〜図１３に示したものと同様に、第３相電極ＶΦ３は、感度Ｓ１，Ｓ２のそれぞれに対応するように、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの２系統に分けられているので、第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して独立に読出パルスを印加することができ、カラーフィルタの配列をジグザグ状のベイヤ配列としたままで、そのベイヤ配列の隣接した２×１の繰り返し単位ごとに蓄積時間を変えることができる。また、感度を可変制御にすることができるので、ダイナミックレンジ拡大率を状況に合せて可変に制御することができる。
【０１２６】
また、図１１〜図１３に示したものと同様に、２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して読出パルスを共通に印加した場合には、通常の読出し方と同じになるので、ノーマルモードとして使用することも可能である。つまり、図１４に示した電極構造によっても、カラーフィルタの配列をベイヤ配列としたままでシャッタ方式ＳＶＥを実現するとともに、ノーマルモードとＳＶＥモードの切替えに対応することができる。
【０１２７】
また、図１１〜図１３に示したものと同様に、３層目の電極を有効画素領域中において水平方向に延在した構造としたので、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。
【０１２８】
以上説明したように、図１１〜図１４に示したような電極構造とすることで、カラーフィルタの配列をベイヤ配列としたままでシャッタ方式ＳＶＥを実現できるので、ＳＶＥモードでの解像度の低下を最小限に抑えながらダイナミックレンジの拡大率を可変にしたり、ノーマルモードとＳＶＥモードの切替えなどの機能を実現することができる。
【０１２９】
次に、画像処理部２７を中心とする画像処理系のモザイク処理、すなわちモザイク画像から元画像を復元する処理について説明する。なおその前に、以下の説明において用いる画素の位置座標の定義について、図１５を参照して説明する。
【０１３０】
図１５は、画像上の画素の位置を示す座標系（ｘ，ｙ）を示している。すなわち、画像の左下端を（０，０）とし、画像の右上端を（ｘｍａｘ，ｙｍａｘ）とする。図中に□で表されている各画素は、長さ１の横幅と縦幅を有し、格子上に配列されている。したがって、たとえば、左下端の画素の中心の座標は、（０．５，０．５）であり、右上端の画素の中心の座標は（ｘｍａｘ−０．５，ｙｍａｘ−０．５）である。また、以下の説明において、□で表されている各画素に対して位相が縦横に半画素ずれた画像データ（図中に●で表される位置の画素データ）を利用する場合があるが、たとえば、左下端の画素に対して縦横に半画素だけ位相がずれた画像データの座標は（１，１）である。
【０１３１】
次に、画像処理部２７を中心とする画像処理系のデモザイク処理の概要について説明する。デモザイク処理は、撮像部の処理によって得られた色・感度モザイク画像から輝度画像を生成する輝度画像生成処理、および、色・感度モザイク画像と輝度画像を用いて出力画像Ｒ，Ｇ，Ｂを生成する単色画像処理からなる。
【０１３２】
図１６は、デモザイク処理を主に実行する画像処理部２７の一構成例を示している。図１６に示す画像処理部２７の構成例において、撮像系からの色・感度モザイク画像、色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および、色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、輝度画像生成部１８１および単色画像生成部１８２〜１８４に供給される。
【０１３３】
なお、以下、特に断りがある場合を除き、色・感度モザイク画像は、図６〜図８の色・感度モザイクパターンＰ４ａ，Ｐ４ｂ，Ｐ４ｃであるとする。すなわち、画素の色は３原色ＲＧのうちのいずれかの色であり、感度はＳ１，Ｓ２のうちの一方であって、さらに、感度に拘わらず色だけに注目すれば、それらはベイヤ配列をなしている。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。
【０１３４】
図１７は、輝度画像生成部１８１の一構成例を示している。輝度画像生成部１８１は、供給される色・感度モザイク画像に対して輝度画像生成処理を施し、得られる輝度画像を単色画像生成部１８２〜１８４に供給する。
【０１３５】
単色画像生成部１８２は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｒを生成する。単色画像生成部１８３は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｇを生成する。単色画像生成部１８４は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｂを生成する。
【０１３６】
図１７に示す輝度画像生成部１８１の構成例において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、推定部１９１〜１９３に供給される。
【０１３７】
推定部１９１は、色・感度モザイク画像に対してＲ成分推定処理を施し、得られる各画素に対するＲ成分の推定値Ｒ’を乗算器１９４に供給する。推定部１９２は、色・感度モザイク画像に対してＧ成分推定処理を施し、得られる各画素に対するＧ成分の推定値Ｇ’を乗算器１９５に供給する。推定部１９３は、色・感度モザイク画像に対してＢ成分推定処理を施し、得られる各画素に対するＢ成分の推定値Ｂ’を乗算器１９６に供給する。
【０１３８】
乗算器１９４は、推定部１９１から供給される推定値Ｒ’に、色バランス係数ｋＲを乗算し、その積を加算器１９７に出力する。乗算器１９５は、推定部１９２から供給される推定値Ｇ’に、色バランス係数ｋＧを乗算し、その積を加算器１９７に出力する。乗算器１９６は、推定部１９３から供給される推定値Ｂ’に、色バランス係数ｋＢを乗算し、その積を加算器１９７に出力する。
【０１３９】
加算器１９７は、乗算器１９４から入力される積Ｒ’・ｋＲ、乗算器１９５から入力される積Ｇ’・ｋＧ、および乗算器１９６から入力される積Ｂ’・ｋＢを加算し、その和を画素値とする輝度候補画像を生成してノイズ除去部１９８に供給する。
【０１４０】
ここで、色バランス係数ｋＲ，ｋＧ，ｋＢは、予め設定されている値であり、たとえば、ｋＲ＝０．３、ｋＧ＝０．６、ｋＢ＝０．１である。なお、色バランス係数ｋＲ，ｋＧ，ｋＢの値は、基本的には輝度候補値として輝度変化に相関がある値を算出することができればよい。したがって、たとえば、ｋＲ＝ｋＧ＝ｋＢとしてもよい。
【０１４１】
ノイズ除去部１９８は、加算器１９７から供給される輝度候補画像に対してノイズ除去処理を施し、得られる輝度画像を単色画像生成部１８２〜１８４に供給する。
【０１４２】
図１８は、Ｒ用の推定部１９１が使用するＲ成分用の補間フィルタ係数の一例およびＢ用の推定部１９３が使用するＢ成分用の補間フィルタ係数の一例である。また、図１９は、Ｇ用の推定部１９１が使用するＧ成分用補間フィルタ係数の一例である。これらの係数は、予め図示しないメモリに設定登録されている。
【０１４３】
図２０〜図２２は、それぞれ推定部１９１，１９２，１９３が用いる合成感度補償ＬＵＴの一例を示す図である。図２０は、感度Ｓ１の画素の特性曲線ｂと、感度Ｓ２の画素の特性曲線ａを示しており、横軸は入射光の強度、縦軸は画素値を示す。同図において、高感度の感度Ｓ２は、低感度の感度Ｓ１に対して４倍の感度を有している。
【０１４４】
推定部１９１が行なう推定処理では、図２０の特性曲線ｂに示すような特性で測定された感度Ｓ１の画素から算出された第１の商と、同図の特性曲線ａに示すような特性で測定された感度Ｓ２の画素を用いて算出された第２の商とが加算されている。したがって、第１の商と第２の商の和は、図２１の特性曲線ｃに示すように、感度Ｓ１と感度Ｓ２の特性が合成された特性を有することになる。
【０１４５】
この合成された特性曲線ｃは、低輝度から高輝度にわたる広ダイナミックレンジの特性となるが、図２１に示すように折れ線となっているので、感度特性曲線ｃの逆特性曲線を用いることにより、元のリニアな特性を復元するようにする。具体的には、図２２に示すように、第１の商と第２の商の和を、図２１の感度特性曲線ｃの逆特性曲線ｄに適用して非線形性を補償するようにする。すなわち、合成感度補償ＬＵＴは、図２２の逆特性曲線ｄをルックアップテーブル化したものである。
【０１４６】
図２３は、単色画像生成部１８２の構成例を示す図である。単色画像生成部１８２において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部２０１に供給される。輝度画像は、比率算出部２０２、および乗算器２０３に供給される。
【０１４７】
補間部２０１は、色・感度モザイク画像に補間処理を施し、得られる全ての画素がＲ成分の画素値を有するＲ候補画像を比率値算出部２０２に出力する。比率値算出部２０２は、Ｒ候補画像と輝度画像の対応する画素間の強度比率の低周波成分（以下、単に強度比率と記述する）を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器２０３に供給する。
【０１４８】
乗算器２０３は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像Ｒを生成する。
【０１４９】
なお、単色画像生成部１８３，１８４の構成例も同様であるので、その説明は省略する。
【０１５０】
図２４は、比率値算出部２０２が使用する、平滑化フィルタ係数の一例を示す図である。この係数は、予め図示しないメモリに設定登録されている。
【０１５１】
図２５は、上記画像処理部２７の構成例によるデモザイク処理の手順を示すフローチャートである。
【０１５２】
輝度画像生成部１８１は、色・感度モザイク画像に輝度画像生成処理を施することによって輝度画像を生成し、単色画像生成部１８２〜１８４に供給する（Ｓ２１１）。
【０１５３】
ノイズ除去部１９８にてノイズ除去処理が終了されると、単色画像生成部１８２〜１８４は、供給された色・感度モザイク画像および輝度画像を用い、それぞれ出力画像Ｒ，Ｇ，Ｂを生成する（Ｓ２１２）。
【０１５４】
図２６は、輝度画像生成部１８１の輝度画像生成処理の手順を示すフローチャートである。
【０１５５】
推定部１９１〜１９３は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定する（Ｓ２２１）。そして、全ての画素を注目画素としていないと判定した場合、推定部１９１〜１９３は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ２２１−Ｎｏ，Ｓ２２２）。
【０１５６】
推定部１９１は、色・感度モザイク画像に対してＲ成分推定処理を施すことにより、注目画素に対応する推定値Ｒ’を推定し、乗算器１９４に供給する（Ｓ２２３）。推定部１９２は、色・感度モザイク画像に対してＧ成分推定処理を施すことにより、注目画素に対応する推定値Ｇ’を推定し、乗算器１９４に供給する。推定部１９３は、色・感度モザイク画像に対してＢ成分推定処理を施すことにより、注目画素に対応する推定値Ｂ’を推定し、乗算器１９４に供給する。
【０１５７】
乗算器１９４は、推定部１９１から供給された推定値Ｒ’に色バランス係数ｋＲを乗算し、その積を加算器１９７に出力する。乗算器１９５は、推定部１９２から供給された推定値Ｇ’に色バランス係数ｋＧを乗算し、その積を加算器１９７に出力する（Ｓ２２４）。乗算器１９６は、推定部１９３から供給された推定値Ｂ’に色バランス係数ｋＢを乗算し、その積を加算器１９７に出力する。加算器１９７は、乗算器１９４から入力された積Ｒ’・ｋＲ、乗算器１９５から入力された積Ｇ’・ｋＧ、および乗算器１９６から入力された積Ｂ’・ｋＢを加算し、その和を注目画素に対応する輝度候補画像の画素値（輝度候補値）とする。
【０１５８】
推定部１９１〜１９３は、ステップＳ２２１に戻り、全ての画素を注目画素としたと判定し終えるまで、ステップＳ２２１〜２２４の処理を繰り返す。なお、ステップＳ２２１〜２２４の処理によって生成された輝度候補画像はノイズ除去部１９８に供給される。
【０１５９】
推定部１９１〜１９３により全ての画素を注目画素としたと判定されると（Ｓ２２１−Ｙｅｓ）、ノイズ除去部１９８は、加算器１９７から供給される輝度候補画像にノイズ除去処理を施すことによって輝度画像を生成し、単色画像生成部１８２〜１８４に供給する（Ｓ２２５）。
【０１６０】
図２７は、推定部１９１のＲ成分推定処理の手順を示すフローチャートである。推定部１９１は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（たとえば、注目画素を中心とする１５×１５画素）のうち、Ｒ成分を有し、かつ、感度Ｓ１である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する（Ｓ２３１）。
【０１６１】
推定部１９１は、参照画素の注目画素に対する相対的な位置に対応し、図１８に示すような予め設定されているＲ成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する（Ｓ２３２）。さらに、その積の総和を、用いたＲ成分用補間フィルタ係数の総和で除算して第１の商を取得する。
【０１６２】
推定部１９１は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（たとえば、注目画素を中心とする１５×１５画素）のうち、Ｒ成分を有し、かつ、感度Ｓ２である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する（Ｓ２３３）。
【０１６３】
推定部１９１は、参照画素の注目画素に対する相対的な位置に対応し、Ｒ成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する（Ｓ２３４）。さらに、その積の総和を、用いた補間フィルタ係数の総和で除算して第２の商を取得する。
【０１６４】
推定部１９１は、ステップＳ２３２で取得した第１の商と、ステップＳ２３４で取得した第２の商を加算する（Ｓ２３５）。推定部１９１は、ステップＳ２３５で演算した第１の商と第２の商の和を、内蔵する合成感度補償ＬＵＴ（図２０〜図２２参照）に照らし合わせることにより、感度特性を補償した補償値を取得する（Ｓ２３６）。取得した補償値は、注目画素に対応する推定値Ｒ’とされる。この後、処理は図２６のステップＳ２２４にリターンする。
【０１６５】
なお、推定部１９２のＧ成分推定処理、および推定部１９３のＢ成分推定処理は、推定部１９１のＲ成分推定処理と同様であるので、その説明は省略する。ただし、推定部１９２のＧ成分推定処理においては、注目画素を中心とする７×７画素のなかから参照画素を検出するようにし、さらに、図１９に示すＧ成分用補間フィルタ係数を用いることにする。
【０１６６】
図２８は、ノイズ除去部１９８におけるノイズ除去処理の手順を示したフローチャートである。
ノイズ除去部１９８は、輝度候補画像の全ての画素を注目画素としたか否かを判定する（Ｓ２４１）。そして、全ての画素を注目画素としていないと判定した場合、ノイズ除去部１９８は、輝度候補画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ２４１−Ｎｏ，Ｓ２４２）。
【０１６７】
ノイズ除去部１９８は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を取得し、取得した注目画素の上下左右に位置する画素輝度候補値を、それぞれ変数ａ３，ａ０，ａ１，ａ２に代入する（Ｓ２４３）。
【０１６８】
次に、ノイズ除去部１９８は、方向選択的平滑化処理を実行することにより、注目画素に対応する平滑化値を取得する（Ｓ２４４）。
【０１６９】
ノイズ除去部１９８は、注目画素の画素値（輝度候補値）と、ステップＳ２４４で演算した注目画素に対応する平滑化値αの平均値を演算し、当該平均値を注目画素に対応する輝度画像の画素値（輝度値）とする（Ｓ２４５）。
【０１７０】
ノイズ除去部１９８は、ステップＳ２４１に戻り、全ての画素を注目画素としたと判定するまで、ステップＳ２４１〜Ｓ２４５の処理を繰り返す。ノイズ除去部１９８は、全ての画素を注目画素としたと判定すると（Ｓ２４１−Ｙｅｓ）、ノイズ除去処理を終了する。これにより、輝度画像生成処理も終了されて、図２５のステップＳ２１２にリターンする。
【０１７１】
図２９は、ノイズ除去部１９８における方向選択的平滑化処理の手順を示すフローチャートである。ノイズ除去部１９８は、次式（２４）に適用して、注目画素に対応する輝度勾配ベクトルｇを算出する（Ｓ２５１）。
輝度勾配ベクトルｇ＝（ａ２−ａ１，ａ３−ａ０） …（２４）
【０１７２】
次に、ノイズ除去部１９８は、輝度勾配ベクトルｇの大きさ（絶対値）‖∇‖を演算する（Ｓ２５２）。また、ノイズ除去部１９８は、変数ａ０〜ａ３を次式（２５），（２６）に適用して、注目画素に対応する水平方向の平滑化成分Ｈｈと垂直方向の平滑化成分Ｈｖを演算する（Ｓ２５３）。
Ｈｈ＝（ａ１＋ａ２）／２ …（２５）
Ｈｖ＝（ａ３＋ａ０）／２ …（２６）
【０１７３】
次に、ノイズ除去部１９８は、輝度勾配ベクトルｇの絶対値‖ｇ‖に対応して、水平方向の重要度ｗｈと垂直方向の重要度ｗｖを演算する（Ｓ２５４）。具体的には、輝度勾配ベクトルｇの絶対値‖ｇ‖が０よりも大きい場合、次式（２７）に示すように、正規化した輝度勾配ベクトルｇ／‖ｇ‖とベクトル（１，０）との内積の絶対値を１から減算して水平方向の重要度ｗｈを得る。また、次式（２８）に示すように、正規化した輝度勾配ベクトルｇ／‖ｇ‖とベクトル（０，１）との内積の絶対値を１から減算して垂直方向の重要度ｗｖを得る。
ｗｈ＝１−｜（ｇ／‖ｇ‖，（１，０））｜ …（２７）
ｗｖ＝１−｜（ｇ／‖ｇ‖，（０，１））｜ …（２８）
【０１７４】
輝度勾配ベクトルｇの絶対値‖ｇ‖が０である場合、ノイズ除去部１９８は、水平方向の平滑化寄与率ｗｈおよび垂直方向の平滑化寄与率ｗｖを、それぞれ０．５とする。
【０１７５】
次に、ノイズ除去部１９８は、次式（２９）を用いて注目画素に対応する平滑化値αを演算する（Ｓ２５５）。
α＝（ｗｈ・Ｈｈ＋ｗｖ・Ｈｖ）／（ｗｈ＋ｗｖ） …（２９）
【０１７６】
図３０は、単色画像生成部１８２における単色画像生成処理の手順を示したフローチャートである。
【０１７７】
補間部２０１は、色・感度モザイク画像に補間処理を施すことによって、全ての画素がＲ成分の画素値を有するＲ候補画像を生成し、比率値算出部２０２に出力する（Ｓ２６１）。なお、補間部２０１の補間処理は、図２７のフローチャートを参照して上述した輝度画像生成部１８１を構成する推定部１９１のＲ成分推定処理と同様であるので、その説明は省略する。
【０１７８】
比率値算出部２０２は、比率値算出処理を施すことによって強度比率を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器２０３に供給する（Ｓ２６２）。
【０１７９】
乗算器２０３は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像Ｒを生成する（Ｓ２６３）。
【０１８０】
なお、単色画像生成部１８２の単色画像生成処理と同時に、単色画像生成部１８３，１８４も、同様の処理を実行する。
【０１８１】
図３１は、比率値算出部２０２における比率値算出処理の手順を示したフローチャートである。比率値算出部２０２は、Ｒ候補画像の全ての画素を注目画素としたか否かを判定する（Ｓ２７１）。そして、全ての画素を注目画素としていないと判定した場合、比率値算出部２０２は、Ｒ候補画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ２７１−Ｎｏ，Ｓ２７２）。
【０１８２】
次に、比率値算出部２０２は、注目画素の近傍に位置する画素（たとえば、注目画素を中心とする７×７画素）を参照画素し、それらの画素値（Ｒ成分の単色候補値）を取得する。また、比率値算出部２０２は、参照画素と同じ座標に位置する輝度画像の画素値（輝度値）を抽出する（Ｓ２７３）。
【０１８３】
比率値算出部２０２は、参照画素の注目画素に対する相対的な位置に対応し、図２４に示すように予め設定されている平滑化フィルタ係数を参照画素の数だけ取得する（Ｓ２７４）。
【０１８４】
比率値算出部２０２は、各参照画素のＲ成分の単色候補値に対応する平滑化フィルタ係数を乗算し、その積を対応する輝度値で除算して、それらの商の総和を演算する。さらに、その商の総和を、用いた平滑化フィルタ係数の総和で除算して、その商を注目画素に対応する強度比率として、比率値情報を生成する（Ｓ２７５）。
【０１８５】
比率値算出部２０２は、ステップＳ２７１に戻り、Ｒ候補画像の全ての画素を注目画素としたと判定するまで、ステップＳ２７１〜Ｓ２７５の処理を繰り返す。そして、比率値算出部２０２は、Ｒ候補画像の全ての画素を注目画素としたと判定すると（Ｓ２７１−Ｙｅｓ）、生成した比率値情報を乗算器２０３に供給する。そして、処理は図３０のステップＳ２６３にリターンする。
【０１８６】
次に、本願発明の第２の側面についての電極構造の詳細について説明する。この第２の側面は、垂直方向の列ごとに独立読出しを可能とした全画素読出方式の撮像素子について、感度Ｓ１と感度Ｓ２の設定を露光時間の制御で、つまり電子シャッタに機能を利用して電子的に切り替えるための電極構造のものである。なお、ここでは、特に、３相駆動の垂直レジスタを持つプログレッシブスキャンのＣＣＤイメージセンサに好適な２段階感度による感度モザイク配列を電子的に実現する手法を示す。最初に、モノクロ画像撮像用の構成について説明する。
【０１８７】
図３２は、垂直方向列ごとに独立読出しを可能とした電極構造の第１例を示す図である。画素配列、Ｖレジスタ、読出ゲートＲＯＧ、およびチャネルストップＬＣＳが設けられている点、また、第１相電極ＶΦ１および第２相電極ＶΦ２の構造は、図１１〜図１４に示した第１の側面からのものと共通する。
【０１８８】
また、第３相電極ＶΦ３は、読出系統１の画素グループに対応する第３相電極ＶΦ３Ａと読出系統２の画素グループに対応する第３相電極ＶΦ３Ｂとに分けられており、それぞれ独立にパルスを印加できるようになっている。また、この２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂのそれぞれは、図中上方向および下方向に凸部が設けられ、この凸部の設けられる位置が感度Ｓ１あるいは感度Ｓ２の各設定に対応するように構成されている。これらの点は、図１１〜図１４に示した第１の側面からのものと共通する。
【０１８９】
図１１〜図１４に示した第１の側面からのものと異なるのは、色に拘わらず何れかの感度の画素だけに注目すれば、それらは格子状に配置されているようにするための、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの凸部と感度Ｓ１，Ｓ２の各設定との対応関係である。
【０１９０】
すなわち、一方の読出系統（図では読出系統１）に対応する第３相電極ＶΦ３Ａは、同一水平位置にて図中上方向および下方向の両側に、かつ水平方向に“１画素おき”に、凸部が設けられており、この凸部の一部分が対応する画素用の読出ゲートＲＯＧに接触するように構成されている（接続されている）。つまり、水平方向に“１画素おき”に上下方向に凸部が形成され、これら凸部より、相対的に水平方向に“１画素おき”に上下に凹部が形成されている。
【０１９１】
また、他方の読出系統（図では読出系統２）に対応する第３相電極ＶΦ３Ｂは、同一水平位置にて図中上方向および下方向の両側に、かつ水平方向に“１画素おき”に、凸部が設けられており、この凸部の一部分が対応する画素用の読出ゲートＲＯＧに接触するように構成されている（接続されている）。つまり、水平方向に“１画素おき”に上下方向に凸部が形成され、これら凸部より、相対的に水平方向に“１画素おき”に上下に凹部が形成されている。
【０１９２】
そして、このような第３相電極ＶΦ３Ａ，ＶΦ３Ｂのうちの、一方の電極の凸部と他方の電極の凹部とが対向するように配置されることで、各電極ごとに凸部の形成されている位置が垂直方向に一例に並ぶように、垂直方向に交互に（つまり１ラインおきに）配列されている。つまり、色成分に拘わらず、同一の感度特性を呈する受光素子の並び方向が垂直方向に一致するように、垂直列ごとに読出電極が複数系統に分離されることになる。これにより、色に拘わらず、同一感度を呈する画素が垂直方向に並び、その垂直列が水平方向に“１画素おき”に配列されるようになる。
【０１９３】
この第１例の構造においては、第３相電極ＶΦ３に読出パルスを印加した場合、読出ゲートＲＯＧのバリアを一時的に取り除き、対応する画素に蓄積されている電荷をＶレジスタに転送することが可能であり、垂直列ごとに受光素子に蓄積された信号電荷を独立に読み出すことができる。また、第３相電極ＶΦ３は、感度Ｓ１，Ｓ２のそれぞれに対応するように、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの２系統に分けられているので、第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して独立に読出パルスを印加することで蓄積時間を変えることができ、感度を可変制御にすることができる。
【０１９４】
また、２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して読出パルスを共通に印加した場合には、通常の読出し方と同じになるので、ノーマルモードとして使用することも可能である。つまり、シャッタ方式ＳＶＥを実現するとともに、ノーマルモードとＳＶＥモードの切替えに対応することができる。
【０１９５】
また、垂直方向の列ごとに独立読出しを可能とした全画素読出方式撮像素子の３層目の電極（第３相電極ＶΦ３）を有効画素領域中において水平方向に延在した構造としたので、１層目、２層目、３層目の各転送電極に対応するそれぞれの転送パルスの伝播遅延がほぼ等しくなる。この結果、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。
【０１９６】
図３３は、垂直方向列ごとに独立読出しを可能とした電極構造の第２例を示す図である。画素配列、Ｖレジスタ、読出ゲートＲＯＧ、およびチャネルストップＬＣＳが設けられている点、また、第１相電極ＶΦ１および第２相電極ＶΦ２の構造は、図３２に示した第１例のものと共通する。
【０１９７】
また、第３相電極ＶΦ３は、読出系統１の画素グループに対応する第３相電極ＶΦ３Ａと読出系統２の画素グループに対応する第３相電極ＶΦ３Ｂとに分けられており、それぞれ独立にパルスを印加できるようになっている。また、この２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂのそれぞれは、図中上方向および下方向に凸部が設けられ、この凸部の設けられる位置が感度Ｓ１あるいは感度Ｓ２の各設定に対応するように構成されている。これらの点は、図３２に示した第１例のものと共通する。
【０１９８】
図３２に示した第１例のものと異なるのは、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの凸部の並び方である。すなわち、一方の読出系統（図では読出系統１）に対応する第３相電極ＶΦ３Ａは、同一水平位置にて図中上方向および下方向の両側に、かつ水平方向に“２画素おき”に、凸部が設けられており、この凸部の一部分が対応する画素用の読出ゲートＲＯＧに接触するように構成されている（接続されている）。つまり、水平方向に“２画素おき”に上下方向に凸部が形成され、これら凸部より、相対的に水平方向に“２画素おき”に上下に凹部が形成されている。
【０１９９】
また、他方の読出系統（図では読出系統２）に対応する第３相電極ＶΦ３Ｂは、同一水平位置にて図中上方向および下方向の両側に、かつ水平方向に“２画素おき”に、凸部が設けられており、この凸部の一部分が対応する画素用の読出ゲートＲＯＧに接触するように構成されている（接続されている）。つまり、水平方向に“２画素おき”に上下方向に凸部が形成され、これら凸部より、相対的に水平方向に“２画素おき”に上下に凹部が形成されている。
【０２００】
そして、このような第３相電極ＶΦ３Ａ，ＶΦ３Ｂのうちの、一方の電極の凸部と他方の電極の凹部とが対向するように配置されることで、各電極ごとに凸部の形成されている位置が垂直方向に一例に並ぶように、垂直方向に交互に（つまり１ラインおきに）配列されており、色に拘わらず、同一感度を呈する画素が垂直方向に並ぶようになっている。つまり、色成分に拘わらず、同一の感度特性を呈する受光素子の並び方向が垂直方向に一致するように、垂直列ごとに読出電極が複数系統に分離されることになる。この点は、図３２に示した第１例のものと共通する。ただし、その垂直列が“２画素おき”に水平方向に配列される、つまり同一感度の水平方向の２画素を１組とし、この組単位で水平方向に交互に配列されるようになる点で異なる。
【０２０１】
この第２例の構造においても、第３相電極ＶΦ３に読出パルスを印加した場合、読出ゲートＲＯＧのバリアを一時的に取り除き、対応する画素に蓄積されている電荷をＶレジスタに転送することが可能であり、垂直列ごとに受光素子に蓄積された信号電荷を独立に読み出すことができる。また、第３相電極ＶΦ３は、感度Ｓ１，Ｓ２のそれぞれに対応するように、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの２系統に分けられているので、第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して独立に読出パルスを印加することで蓄積時間を変えることができ、感度を可変制御にすることができる。
【０２０２】
また、２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して読出パルスを共通に印加した場合には、通常の読出し方と同じになるので、ノーマルモードとして使用することも可能である。つまり、シャッタ方式ＳＶＥを実現するとともに、ノーマルモードとＳＶＥモードの切替えに対応することができる。
【０２０３】
また、垂直方向の列ごとに独立読出しを可能とした全画素読出方式撮像素子の３層目の電極（第３相電極ＶΦ３）を有効画素領域中において水平方向に延在した構造としたので、１層目、２層目、３層目の各転送電極に対応するそれぞれの転送パルスの伝播遅延がほぼ等しくなる。この結果、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。
【０２０４】
上記図３２および図３３に示した電極構造を有するモノクロ撮像用の撮像装置の場合における露光制御やデモザイク処理は、特開２００２−１１２１２０号公報に記載の手法を用いればよい。ここでは、その説明を割愛する。
【０２０５】
図３４は、カラー画像対応としつつ、垂直方向列ごとに独立読出しを可能とする場合のカラーフィルタ配列を示した図である。
【０２０６】
図３５は、図３４に示したカラーフィルタ配列と電極構造を有する撮像素子を使用する場合における、画像処理部２７を中心とする画像処理系のデモザイク処理の概要を示す図である。このデモザイク処理は、図３５に示すように、撮像部の処理によって得られた色・感度モザイク画像の画素の感度を変更することなく、各画素のＲＧＢ成分を補間してＲ成分の感度モザイク画像ＭｓＲ、Ｇ成分の感度モザイク画像ＭｓＧ、およびＢ成分の感度モザイク画像ＭｓＢを生成する感度別色補間処理と、Ｒ成分の感度モザイク画像、Ｇ成分の感度モザイク画像、およびＢ成分の感度モザイク画像のそれぞれの感度を均一化して出力画像Ｒ，Ｇ，Ｂを生成する感度均一化処理からなる。
【０２０７】
デモザイク処理における感度別色補間処理は、色・感度モザイク画像から同一の感度の画素だけを抽出する抽出処理と、抽出処理で抽出された画素のＲＧＢ成分の画素値を補間する色補間処理と、色補間処理で補間された画素値をＲＧＢ成分ごとに合成して感度モザイク画像を生成する挿入処理からなる。
【０２０８】
図３６は、デモザイク処理における感度別色補間処理の概要（特に抽出処理）を説明するための図である。たとえば、抽出処理では、図３６（Ａ）に示すような色・感度モザイク画像から、感度Ｓ２の画素だけが抽出されて、画素が市松状に配置された図３６（Ｂ）に示すような色モザイク画像ＭｃＳ２が生成される。色補間処理では、色モザイク画像ＭｃＳ２から、感度Ｓ２であってＲ成分を有する画素が市松状に配置された図３６（Ｃ）に示すような画像ＲＳ２、感度Ｓ２であってＧ成分を有する画素が市松状に配置された画像ＧＳ２、および感度Ｓ２であってＢ成分を有する画素が市松状に配置された画像ＢＳ２が生成される。
【０２０９】
図３７は、デモザイク処理における感度別色補間処理の概要（特に挿入処理）を説明するための図である。たとえば、挿入処理では、色補間処理によって生成された図３７（Ａ）に示すような画像ＲＳ１と、図３７（Ｂ）に示すような画像ＲＳ２が組み合わされて、図３７（Ｃ）に示すような感度モザイク画像ＭｓＲが生成される。
【０２１０】
図３８は、デモザイク処理を主に実行する画像処理部２７の一構成例を示す図である。この画像処理部２７の構成例において、撮像系からの色・感度モザイク画像は、感度別色補間部１５１に供給される。色・感度モザイク画像の色モザイク配列を示す色・感度モザイクパターン情報は、感度別色補間部１５１に供給される。色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、感度別色補間部１５１および感度均一化部１５２〜１５４に供給される。
【０２１１】
なお、以下特に断りがある場合を除き、色・感度モザイク画像は、図５の色・感度モザイクパターンＰ３であるとする。すなわち、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度はＳ１，Ｓ２のうちの一方であって、さらに、色に拘わらず感度Ｓ１の画素だけに注目すれば、それらは格子状（市松状）に配置されている。同様に、感度Ｓ２の画素の格子状（市松状）に配置されている。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。
【０２１２】
感度別色補間部１５１は、色・感度モザイク画像に感度別色補間処理を施し、得られるＲ成分の感度モザイク画像ＭｓＲ、Ｇ成分の感度モザイク画像ＭｓＧ、およびＢ成分の感度モザイク画像ＭｓＢを、それぞれ対応する感度均一化部１５２〜１５４に供給する。
【０２１３】
感度均一化部１５２は、Ｒ成分の感度モザイク画像ＭｓＲに感度均一化処理を施すことによって出力画像Ｒを生成する。感度均一化部１５３は、Ｇ成分の感度モザイク画像ＭｓＧに感度均一化処理を施すことによって出力画像Ｇを生成する。感度均一化部１５４は、Ｂ成分の感度モザイク画像ＭｓＢに感度均一化処理を施すことによって出力画像Ｂを生成する。
【０２１４】
図３９は、感度別色補間部１５１の構成例を示している。感度別色補間部１５１において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、抽出部１６１に供給される。
【０２１５】
抽出部１６１は、色・感度モザイク画像に対して、感度Ｓｉ（いまの場合、ｉ＝１，２）の抽出処理を施し、得られる感度Ｓｉの画素からなる色モザイク画像ＭｃＳｉを色補間部１６２に供給する。なお、色モザイク画像ＭｃＳｉは、元の色・感度モザイク画像のｘｙ座標系とは異なるｓｔ座標系を用いて表現されるで画像である（詳細は図４６および図４７を参照して後述する）。
【０２１６】
また、抽出部１６１は、色モザイク画像ＭｃＳｉの色モザイク配列を示す感度Ｓｉの色・感度モザイクパターン情報を生成し、色補間部１６２に供給する。さらに、抽出部１６１は、色モザイク画像ＭｃＳｉと元の色・感度モザイク画像との位置関係を保持する感度Ｓｉの元位置情報を生成し、挿入部１６３〜１６５に供給する。
【０２１７】
色補間部１６２は、抽出部１６１からの色モザイク画像ＭｃＳｉの全画素のＲＧＢ成分を補間し、得られる画像Ｒｓｉ，Ｇｓｉ，Ｂｓｉをそれぞれ対応する挿入部１６３〜１６５に供給する。画像Ｒｓｉは、色モザイク画像ＭｃＳｉの各画素に対応するＲ成分の画素値からなる画像である。画像Ｇｓｉは、色モザイク画像ＭｃＳｉの各画素に対応するＧ成分の画素値からなる画像である。画像Ｂｓｉは、色モザイク画像ＭｃＳｉの各画素に対応するＢ成分の画素値からなる画像である。また、画像Ｒｓｉ，Ｇｓｉ，Ｂｓｉは、色モザイク画像ＭｃＳｉと同じ座標系によって表現される。
【０２１８】
挿入部１６３は、抽出部１６１から供給される感度Ｓｉの元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されるＲ成分の画像Ｒｓｉを組合せて感度モザイク画像ＭｓＲを生成し、感度均一化部１５２に供給する。挿入部１６４は、抽出部１６１から供給される感度Ｓｉの元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されるＧ成分の画像Ｇｓｉを組合せて感度モザイク画像ＭｓＧを生成し、感度均一化部１５３に供給する。挿入部１６５は、抽出部１６１から供給される感度Ｓｉの元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されるＢ成分の画像Ｂｓｉを組合せて感度モザイク画像ＭｓＢを生成し、感度均一化部１５４に供給する。
【０２１９】
感度均一化部１５２は、挿入部１６３から供給される感度モザイク画像ＭｓＲの各画素に対し、その近傍の画素を用いる局所和算出処理を施し、得られる各画素に対応する補償値を取得し、その補償値を画素値として出力画像Ｒを生成する。感度均一化部１５３，１５４も、同様に、出力画像Ｇ，Ｂを生成する。
【０２２０】
図４０は、色補間部１６２の一構成例を示している。色補間部１６２において、抽出部１６１からの色モザイク画像ＭｃＳｉは、階調変換部７１に供給される。また、抽出部１６１からの色モザイク画像ＭｃＳｉの色モザイク配列を示す感度Ｓｉの色・感度モザイクパターン情報は、色差画像生成部７２，７３、および輝度画像生成部７４に供給される。
【０２２１】
階調変換部７１は、色モザイク画像ＭｃＳｉに対して階調変換処理を施し、得られる変調色モザイク画像Ｍｇを色差画像生成部７２，７３、および輝度画像生成部７４に供給する。階調変換処理としては、具体的にはγ乗のべき算関数による変換などを用いる。
【０２２２】
色差画像生成部７２は、変調色モザイク画像Ｍｇを用い、全ての画素が色差Ｃ（＝Ｒ−Ｇ）成分を有する色差画像Ｃを生成して輝度画像生成部７４および色空間変換部７５に供給する。色差画像生成部７３は、変調色モザイク画像Ｍｇを用い、全ての画素が色差Ｄ（＝Ｂ−Ｇ）成分を有する色差画像Ｄを生成して輝度画像生成部７４および色空間変換部７５に供給する。輝度画像生成部７４は、変調モザイク画像Ｍｇ、色差信号Ｃ，Ｄを用いて輝度画像Ｌを生成し、色空間変換部７５に供給する。
【０２２３】
色空間変換部７５は、色差画像Ｃ，Ｄ、および輝度画像Ｌに色空間変換処理を施し、得られる変調画像（各画素がそれぞれＲＧＢ成分を有する画像）を階調逆変換部７６〜７８に供給する。
【０２２４】
階調逆変換部７６は、色空間変換部７５からのＲ成分の画素値を（１／γ）乗することにより、階調変換部７１における階調変換の逆変換を施して出力画像Ｒｓｉを得る。階調逆変換部７７は、色空間変換部７５からのＧ成分の画素値を（１／γ）乗することにより、階調変換部７１における階調変換の逆変換を施して出力画像Ｇｓｉを得る。階調逆変換部７８は、色空間変換部７５からのＢ成分の画素値を（１／γ）乗することにより、階調変換部７１における階調変換の逆変換を施して出力画像Ｂｓｉを得る。
【０２２５】
なお、感度均一化部１５２から供給される色モザイク画像がベイヤ配列を成している場合には、色補間部１６２において、たとえば、特開昭６１−５０１４２４号公報などに開示されている従来の方法を用いて色補間処理を実行するようにしてもよい。
【０２２６】
図４１は、色差画像生成部７２の一構成例を示している。なお、色差画像生成部７３も色差画像生成部７２と同様に構成されている。
【０２２７】
色差画像生成部７２において、階調変換部７１からの変調色モザイク画像Ｍｇは平滑化部８１，８２に供給される。色・感度モザイクパターン情報も平滑化部８１，８２に供給される。
【０２２８】
平滑化部８１は、各画素に対し、Ｒ成分を有する近傍の画素の画素値を用いて当該画素のＲ成分を補間することにより、平滑化されたＲ成分の画像Ｒ’を生成して減算器８３に供給する。平滑化部８２は、各画素に対し、Ｇ成分を有する近傍の画素の画素値を用いて当該画素のＧ成分を補間することにより、平滑化されたＧ成分の画像Ｇ’を生成して減算器８３に供給する。
【０２２９】
減算器８３は、平滑化部８１からの平滑化されるＲ成分の画像Ｒ’の画素値から、平滑化部８２からの平滑化されるＧ成分の画像Ｇ’の対応する画素の画素値を減算することにより、色差画像Ｃを生成して色空間変換部７５に供給する。
【０２３０】
図４２は、輝度画像生成部７４の一構成例を示している。輝度画像生成部７４を構成する輝度算出部９１は、階調変換部７１からの変調色モザイク画像Ｍｇ、色差画像生成部７２からの色差画像Ｃ、色差画像生成部７３からの色差画像Ｄ、および色・感度モザイクパターン情報に基づいて各画素の輝度候補値を算出し、各画素の輝度候補値からなる輝度候補値画像Ｌｃをノイズ除去部９２に出力する。
【０２３１】
ノイズ除去部９２は、輝度候補値画像Ｌｃの各画素値（輝度候補値）に平滑化成分（後述）を合成することによってノイズを除去し、得られる輝度画像Ｌを色空間変換部７５に出力する。
【０２３２】
図４３は、感度均一化部１５２の一構成例を示している。なお、感度均一化部１５３，１５４も感度均一化部１５２と同様に構成されている。
【０２３３】
感度均一化部１５２において、感度別色補間部１５１の挿入部１６３から供給される感度モザイク画像ＭｓＲは、局所和算出部１７１に供給される。局所和算出部１７１は、感度モザイク画像ＭｓＲの各画素に対し、その近傍の画素を用いる局所和算出処理を施し、得られる各画素に対応する局所和を合成感度補償部１７２に供給する。合成感度補償部１７２は、合成感度補償ＬＵＴ１７３に局所和を照らし合わせて対応する補償値を取得し、補償値を画素値として出力画像Ｒを生成する。合成感度補償ＬＵＴ１７３は、局所和をインデックスとして、対応する補償値を供給するようになされている。
【０２３４】
図４４は、図３４に示したカラーフィルタ配列と電極構造を有する撮像素子を使用する場合における画像処理部２７の作用を説明するフローチャートである。感度別色補間部１５１は、色・感度モザイク画像に感度別色補間処理を施することにより、Ｒ成分の感度モザイク画像ＭｓＲ、Ｇ成分の感度モザイク画像ＭｓＧ、およびＢ成分の感度モザイク画像ＭｓＢを生成し、それぞれ対応する感度均一化部１５２〜１５４に供給する（Ｓ１８１）。
【０２３５】
感度別色補間部１５１の感度別色補間処理の詳細について、図４５のフローチャートを参照して説明する。抽出部１６１は、感度モザイクパターン情報に含まれる全ての感度（いまの場合、Ｓ１およびＳ２）を指定したか否かを判定する（Ｓ１９１）。そして、全ての感度を指定していないと判定した場合（Ｓ１９１−Ｎｏ）、抽出部１６１は、感度モザイクパターン情報に含まれる全ての感度のうちの１種類の感度を指定する。指定された感度をＳｉとする（Ｓ１９２）。
【０２３６】
次に、抽出部１６１は、色・感度モザイク画像の全ての画素のうち、感度Ｓｉの画素だけを抽出し、感度Ｓｉの色モザイク画像ＭｃＳｉを生成して色補間部１６２に供給する（Ｓ１９３）。さらに、抽出部１６１は、色モザイク画像ＭｃＳｉと元の色・感度モザイク画像との位置関係を保持する感度Ｓｉの元位置情報を生成し、挿入部１６３〜１６５に供給する。また、抽出部１６１は、色モザイク画像ＭｃＳｉの色モザイク配列を示す感度Ｓｉの色モザイクパターン情報を生成し、色補間部１６２に供給する。
【０２３７】
ステップＳ１９３の処理の詳細について、図４６および図４７を参照して説明する。抽出される感度Ｓｉの画素は元の色・感度モザイク画像の画素間隔では抽出されないので、生成される感度Ｓｉの色モザイク画像ＭｃＳｉは、元の色・感度モザイク画像とは画素間隔、原点、向きが異なる格子に形成される。そこで、抽出部６１は、色モザイク画像ＭｃＳｉを生成すると同時に、元の色・感度モザイク画像の座標系と、色モザイク画像ＭｃＳｉの座標系との対応関係を元に、画素ごとに元の位置の情報を参照できる元位置情報を生成する。
【０２３８】
元の色・感度モザイク画像と生成する色モザイク画像ＭｃＳｉの座標系の対応関係は、図４６または図４７に示す通りである。同図において、元の色・感度モザイク画像はｘｙ座標系で表示され、色モザイク画像ＭｃＳｉはｓｔ座標系で表示されている。また、色・感度モザイク画像の■は感度Ｓ１の画素を示し、色・感度モザイク画像の□は感度Ｓ２の画素を示している。このようにｘｙ座標系に対して斜めに設定したｓｔ座標系を用いることにより、元の色・感度モザイク画像において市松状に配置された感度Ｓｉの画素を、等間隔格子の画素配置として抽出できるようになされている。
【０２３９】
図４６を参照して、色・感度モザイク画像の“■”で示される感度Ｓ１の画素を抽出する場合について説明する。たとえば図中の画素Ａは、元の色・感度モザイク画像を表現するｘｙ座標系では（ｘＡ，ｙＡ）であり、生成される色モザイク画像ＭｃＳｉを表現するｓｔ座標系では（ｓＡ，ｔＡ）である。（ｓＡ，ｔＡ）と（ｘＡ，ｙＡ）は、次式（２２）に示すような対応関係がある。
ｓＡ＝｛（ｘＡ−１）＋ｙＡ｝／２
ｔＡ＝｛（ｘｍａｘ−１−ｘＡ）＋ｙＡ｝／２ …（２２）
【０２４０】
抽出部１６１は、元の色・感度モザイク画像の感度Ｓ１の画素の座標（ｘＡ，ｙＡ）を式（２２）に適用して、色モザイク画像ＭｃＳｉでの座標（ｓＡ，ｔＡ）を算出し、その座標に当該画素の値を用いて色モザイク画像ＭｃＳｉを生成する。同時に、感度Ｓ１の元位置情報には、座標（ｓＡ，ｔＡ）に対応して座標（ｘＡ，ｙＡ）を格納する。
【０２４１】
図４７を参照して、色・感度モザイク画像の□で示される感度Ｓ２の画素を抽出する場合について説明する。たとえば図中の画素Ｂは、元の色・感度モザイク画像を表現するｘｙ座標系では（ｘＢ，ｙＢ）であり、生成される色モザイク画像ＭｃＳｉを表現するｓｔ座標系では（ｓＢ，ｔＢ）である。（ｓＢ，ｔＢ）と（ｘＢ，ｙＢ）は、次式（２３）に示すような対応関係がある。
ｓＢ＝（ｘＢ＋ｙＢ）／２
ｔＢ＝｛（ｘｍａｘ−１−ｘＢ）＋ｙＢ｝／２ …（２３）
【０２４２】
抽出部１６１は、元の色・感度モザイク画像の感度Ｓ１の画素の座標（ｘＢ，ｙＢ）を式（２２）に適用して、色モザイク画像ＭｃＳｉでの座標（ｓＢ，ｔＢ）を算出し、その座標に当該画素の値を用いて色モザイク画像ＭｃＳｉを生成する。同時に、感度Ｓ１の元位置情報には、座標（ｓＢ，ｔＢ）に対応して座標（ｘＢ，ｙＢ）を格納する。
【０２４３】
図４５に戻り、ステップＳ１９４において、色補間部１６２は、抽出部１６１からの色モザイク画像ＭｃＳｉの全画素のＲＧＢ成分を補間して、画像Ｒｓｉ，Ｇｓｉ，Ｂｓｉを生成し、それぞれ対応する挿入部１６３〜１６５に供給する。
【０２４４】
色補間部１６２の処理の詳細については、図４８のフローチャートを参照して説明する。階調変換部７１は、色モザイク画像ＭｃＳｉに対して階調変調処理を施す（具体的には、変調色モザイク画像Ｍｇの各画素値をγ乗する）ことにより、変調色モザイク画像Ｍｇを生成して色差画像生成部７２，７３、および輝度画像生成部７４に供給する（Ｓ５１）。
【０２４５】
色差画像生成部７２は、階調変換部７１からの変調色モザイク画像Ｍｇを用いて色差画像Ｃを生成し、輝度画像生成部７４および色空間変換部７５に供給する（Ｓ５２）。一方、色差画像生成部７３は、階調変換部７１からの変調色モザイク画像Ｍｇを用いて色差画像Ｄを生成し、輝度画像生成部７４および色空間変換部７５に供給する。
【０２４６】
色差画像生成部７２が色差画像Ｃを生成する処理について、図４９のフローチャートを参照して説明する。平滑化部８１，８２は、変調色モザイク画像Ｍｇの全ての画素を注目画素としたか否かを判定する（Ｓ６１）。そして、全ての画素を注目画素としていないと判定した場合（Ｓ６１−Ｎｏ）、平滑化部８１，８２は、変調色モザイク画像Ｍｇの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ６２）。
【０２４７】
平滑化部８１は、色・感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（例えば、注目画素を中心とする５×５画素）のうち、Ｒ成分を有する画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する（Ｓ６３）。一方、平滑化部８２も同様に、色・感度モザイクパターン情報を参照することにより、注目画素の近傍の画素のうち、Ｇ成分を有する画素を検出し、検出した画素の画素値を抽出する（Ｓ６３）。
【０２４８】
平滑化部８１は、Ｒ成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する（Ｓ６４）。一方、平滑化部８２も同様に、Ｇ成分を有する参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を、参照画素の数だけ取得する（Ｓ６４）。
【０２４９】
平滑化部８１は、Ｒ成分を有する各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する（Ｓ６５）。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を平滑化されたＲ成分だけの画像Ｒ’の注目画素に対応する画素値とする。一方、平滑化部８２も同様に、Ｇ成分を有する各参照画素の画素値と、対応するフィルタ係数とを乗算し、それらの積の総和を演算する。さらに、その積の総和を、用いたフィルタ係数の総和で除算して、その商を平滑化されたＧ成分だけの画像Ｇ’の注目画素に対応する画素値とする。
【０２５０】
減算器８３は、平滑化部８１からの平滑化されたＲ成分だけの画像Ｒ’の注目画素に対応する画素値から、平滑化部８２からの平滑化されたＧ成分だけの画像Ｇ’の注目画素に対応する画素値を減算し、その差を色差画像Ｃの注目画素に対応する画素値とする（Ｓ６６）。
【０２５１】
色差画像生成部７２は、ステップＳ６１の処理に戻る。平滑化部８１，８２は、全ての画素を注目画素としたと判定するまで、ステップＳ６１〜６６の処理を繰り返す。そして、平滑化部８１，８２が全ての画素を注目画素としたと判定した場合（Ｓ６１−Ｙｅｓ）、色差画像生成部７２は、図４８のステップＳ５３の処理にリターンする。
【０２５２】
なお、色差画像生成部７３が色差画像Ｄを生成する処理は、上述した色差画像生成部７２が色差画像Ｃを生成する処理と同様であるので、その説明は省略する。
【０２５３】
輝度画像生成部７４は、変調モザイク画像Ｍｇ、色差信号Ｃ，Ｄを用いて輝度画像Ｌを生成し、色空間変換部７５に供給する（Ｓ５３）。
【０２５４】
輝度画像生成部７４の輝度画像生成処理の詳細について、図５０のフローチャートを参照して説明する。輝度算出部９１は、変調色モザイク画像Ｍｇの全ての画素を注目画素としたか否かを判定する（Ｓ７１）。そして、全ての画素を注目画素としていないと判定した場合（Ｓ７１−Ｎｏ）、輝度算出部９１は、変調色モザイク画像Ｍｇの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ７２）。
【０２５５】
次に、輝度算出部９１は、色モザイクパターン情報を参照して、注目画素の色の種類（いまの場合、ＲＧＢのいずれかの色）を判定する（Ｓ７３）。そして、注目画素の色の種類がＲであると判定した場合（Ｓ７３−Ｙｅｓ）、輝度算出部９１は、変調色モザイク画像Ｍｇ、および色差信号Ｃ，Ｄの注目画素に対応する画素値を次式（１）に適用して、輝度候補画像Ｌｃの注目画素に対応する画素値を算出する（Ｓ７４）。
Ｌｃ＝３Ｍｇ−２Ｃ＋Ｄ …（１）
【０２５６】
輝度算出部９１は、注目画素の色の種類がＧであると判定した場合（Ｓ７３−Ｇ）、変調色モザイク画像Ｍｇ、および色差信号Ｃ，Ｄの注目画素に対応する画素値を次式（２）に適用して輝度候補画像Ｌｃの注目画素に対応する画素値を算出する（Ｓ７５）。
Ｌｃ＝３Ｍｇ＋Ｃ＋Ｄ …（２）
【０２５７】
一方、輝度算出部９１は、注目画素の色の種類がＢであると判定した場合（Ｓ７３−Ｂ）、輝度算出部９１は、変調色モザイク画像Ｍｇ、および色差信号Ｃ，Ｄの注目画素に対応する画素値Ｍｇ，Ｃ，Ｄを次式（３）に適用して輝度候補画像Ｌｃの注目画素に対応する画素値を算出する（Ｓ７６）。
Ｌｃ＝３Ｍｇ＋Ｃ−２Ｄ …（３）
【０２５８】
なお、式（１）〜（３）において、Ｌｃ，Ｍｇ，Ｃ，Ｄは、それぞれ、注目画素に対応する輝度候補画像Ｌｃ、変調色モザイク画像Ｍｇ、色差信号Ｃ、色差画像Ｄの画素値である。
【０２５９】
輝度算出部９１は、ステップＳ７１の処理に戻り、全ての画素を注目画素としたと判定するまで、ステップＳ７１〜Ｓ７６の処理を繰り返す。そして、全ての画素を注目画素としたと判定した場合（Ｓ７１−Ｙｅｓ）、ステップＳ７７の処理に進む。以上説明したステップＳ７１〜Ｓ７６の処理によって生成された輝度候補画像Ｌｃはノイズ除去部９２に供給される。
【０２６０】
ノイズ除去部９２は、変調色モザイク画像Ｍｇの全ての画素を注目画素としたか否かを判定する（Ｓ７７）。そして、全ての画素を注目画素としていないと判定した場合、ノイズ除去部９２は、変調色モザイク画像Ｍｇの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ７８）。
【０２６１】
ノイズ除去部９２は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を次式（４）に適用して、注目画素に対応する勾配∇（グラディエント）を算出する（Ｓ７９）。なお、勾配∇は、画像の水平方向と垂直方向の１次微係数を要素とするベクトルである。また、注目画素の上下左右に位置する画素の画素値（輝度候補値）を、それぞれＬｃ（Ｕ），Ｌｃ（Ｄ），Ｌｃ（Ｌ），Ｌｃ（Ｒ）とする。
勾配∇＝（Ｌｃ（Ｒ）−Ｌｃ（Ｌ），Ｌｃ（Ｕ）−Ｌｃ（Ｄ）） …（４）
【０２６２】
次に、ノイズ除去部９２は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を次式（５），（６）に適用して、注目画素に対応する水平方向の平滑化成分Ｈｈと垂直方向の平滑化成分Ｈｖを算出する（Ｓ８０）。
Ｈｈ＝（Ｌｃ（Ｌ）＋Ｌｃ（Ｒ））／２ …（５）
Ｈｖ＝（Ｌｃ（Ｕ）＋Ｌｃ（Ｄ））／２ …（６）
【０２６３】
ノイズ除去部９２は、ステップＳ７９で算出した注目画素に対応する勾配∇の絶対値‖ｇ‖に対応して、水平方向の平滑化寄与率ｗｈと垂直方向の平滑化寄与率ｗｖを算出する（Ｓ８１）。具体的には、勾配∇の絶対値が０よりも大きい場合、次式（７）に示すように、正規化した勾配∇／‖∇‖とベクトル（１，０）との内積の絶対値を１から減算して水平方向の平滑化寄与率ｗｈを得る。また、次式（８）に示すように、正規化した勾配∇／‖∇‖とベクトル（０，１）との内積の絶対値を１から減算して垂直方向の平滑化寄与率ｗｖを得る。
ｗｈ＝１−｜（∇／‖∇‖，（１，０））｜ …（７）
ｗｖ＝１−｜（∇／‖∇‖，（０，１））｜ …（８）
【０２６４】
ノイズ除去部９２は、勾配∇の絶対値が０である場合、水平方向の平滑化寄与率ｗｈおよび垂直方向の平滑化寄与率ｗｖを、それぞれ０．５とする。
【０２６５】
次に、ノイズ除去部９２は、次式（９）を用いて注目画素に対応する輝度画像Ｌの画素値（輝度値）を算出する（Ｓ８２）。
Ｌ＝Ｌｃ＋（ｗｈ・Ｈｈ＋ｗｖ・Ｈｖ）／（ｗｈ＋ｗｖ） …（９）
【０２６６】
なお、式（９）において、Ｌｃ，Ｌは、それぞれ、注目画素に対応する輝度候補画像Ｌｃ、輝度画像Ｌの画素値である。
【０２６７】
ノイズ除去部９２は、ステップＳ７７の処理に戻り、全ての画素を注目画素としたと判定するまで、ステップＳ７７〜Ｓ８２の処理を繰り返す。そして、全ての画素を注目画素としたと判定した場合、処理は図４８のステップＳ５４にリターンする。
【０２６８】
色空間変換部７５は、色差画像Ｃ，Ｄ、および輝度画像Ｌに色空間変換処理を施すことにより、各画素がそれぞれＲＧＢ成分を有する変調画像を生成して階調逆変換部７６〜７８に供給する（Ｓ５４）。
【０２６９】
色空間変換処理の詳細について、図５１のフローチャートを参照して説明する。色空間変換部７５は、輝度画像Ｌ（色差画像Ｃ、または色差画像Ｄでもよい）の全ての画素を注目画素としたか否かを判定する（Ｓ９１）。そして、全ての画素を注目画素としていないと判定した場合、色空間変換部７５は、輝度画像Ｌの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ９２）。
【０２７０】
色空間変換部７５は、注目画素に対応する輝度画像Ｌ、色差画像Ｃ、および色差画像Ｄの画素値を次式（１０），（１１），（１２）に適用して、注目画素に対応する変調画像のＲ成分の値Ｒｇ、Ｇ成分の値Ｇｇ、Ｂ成分の値Ｂｇを算出する（Ｓ９３）。なお、式（１０）〜（１２）において、Ｌ，Ｃ，Ｄは、それぞれ、注目画素に対応する輝度画像Ｌ、色差信号Ｃ、色差画像Ｄの画素値である。
Ｒｇ＝（Ｌ＋２Ｃ−Ｄ）／３ …（１０）
Ｇｇ＝（Ｌ−Ｃ−Ｄ）／３ …（１１）
Ｂｇ＝（Ｌ−Ｃ＋２Ｄ）／３ …（１２）
【０２７１】
色空間変換部７５は、ステップＳ９１の処理に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ９１〜Ｓ９３の処理を繰り返す。そして、全ての画素を注目画素としたと判定された場合（Ｓ９１−Ｙｅｓ）、処理は図４８のステップＳ５５にリターンする。
【０２７２】
階調逆変換部７６は、色空間変換部７５から供給された変調画像の各画素のＲ成分に対し、ステップＳ５１の階調変換処理に対応する階調逆変換処理を施すこと（具体的には、画素値を１／γ乗すること）によって出力画像Ｒｓｉを生成する（Ｓ５５）。同様に、階調逆変換部７７は、色空間変換部７５から供給された変調画像の各画素のＧ成分に対し、ステップＳ５１の階調変換処理に対応する階調逆変換処理を施すことによって出力画像Ｇｓｉを生成する。階調逆変換部７８は、色空間変換部７５から供給された変調画像の各画素のＢ成分に対し、ステップＳ５１の階調変換処理に対応する階調逆変換処理を施すことによって出力画像Ｂｓｉを生成する。以上説明したような色補間処理によって、出力画像Ｒｓｉ，Ｇｓｉ，Ｂｓｉが生成される。
【０２７３】
この後、感度別色補間部１５１は、ステップＳ１９１の処理に戻り、感度モザイクパターン情報に含まれる全ての感度を指定したと判定されるまで、ステップＳ１９１〜Ｓ１９４に処理が繰り返される。ステップＳ１９１において、感度モザイクパターン情報に含まれる全ての感度を指定したと判定された場合、処理はステップＳ１９５に進む。
【０２７４】
挿入部１６３は、抽出部１６１から供給された全ての元位置情報に基づき、色補間部１６２から感度の種類の数だけ供給されたＲ成分の画像Ｒｓｉ（いまの場合、画像Ｒｓ０と画像Ｒｓ１）を組み合わせて感度モザイク画像ＭｓＲを生成し、感度均一化部１５２に供給する（Ｓ１９５）。同様に、挿入部１６４は、感度モザイク画像ＭｓＧを生成して感度均一化部１５３に供給し、挿入部１６５は、感度モザイク画像ＭｓＢを生成して感度均一化部１５４に供給する。
【０２７５】
処理は図４４のステップＳ１８２にリターンする。感度均一化部１５２は、Ｒ成分の感度モザイク画像ＭｓＲに感度均一化処理を施すことによって出力画像Ｒを生成する（Ｓ１８２）。感度均一化部１５３は、Ｇ成分の感度モザイク画像ＭｓＧに感度均一化処理を施すことによって出力画像Ｇを生成する。感度均一化部１５４は、Ｂ成分の感度モザイク画像ＭｓＢに感度均一化処理を施すことによって出力画像Ｂを生成する。
【０２７６】
感度均一化部１５２の感度均一化処理について、図５２のフローチャートを参照して説明する。局所和算出部１７１は、Ｒ成分の感度モザイク画像ＭｓＲの全ての画素を注目画素としたか否かを判定する（Ｓ２０１）。そして、全ての画素を注目画素としていないと判定した場合（Ｓ２０１−Ｎｏ）、局所和算出部１７１は、感度モザイク画像ＭｓＲの左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ２０２）。
【０２７７】
次に、局所和算出部１７１は、注目画素に対応する局所和を算出し、合成感度補償部１７２に供給する（Ｓ２０３）。具体的には、局所和算出部１７１は、注目画素を中心とする５×５画素（以下、参照画素と記述する）の画素値を抽出し、それらの画素値と、参照画素の注目画素に対する相対的な位置に対応して予め設定されている図５３に示すようなフィルタ係数とをそれぞれ乗算し、それらの積の総和を演算する。さらに、局所和算出部１７１は、その積の総和を、２５個のフィルタ係数の総和で除算し、その商を注目画素に対応する局所和とする。
【０２７８】
次に、合成感度補償部１７２は、合成感度補償ＬＵＴ１７３に局所和を照らし合わせて対応する補償値を取得し、補償値を注目画素に対応する出力画像Ｒの画素値とする（Ｓ２０４）。
【０２７９】
局所和算出部１７１は、ステップＳ２０１の処理に戻り、全ての画素を注目画素としたと判定するまで、ステップＳ２０１〜２０４の処理を繰り返す。そして、全ての画素を注目画素としたと判定した場合（Ｓ２０１−Ｙｅｓ）、局所和算出部１７１は、感度均一化処理を終了し、図４４にリターンする。
【０２８０】
なお、感度均一化部１５３，１５４も、感度均一化部１５２の感度均一化処理と平行して同様の感度均一化処理を実行するが、その詳細な説明は省略する。
【０２８１】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０２８２】
また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０２８３】
たとえば、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、たとえば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２８４】
この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）を含む）、光磁気ディスク（ＭＤ（Ｍｉｎｉ Ｄｉｓｃ ）を含む）、もしくは半導体メモリなどよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭやハードディスクなどで構成される。
【０２８５】
また、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行なわれる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２８６】
【発明の効果】
以上のように、本発明によれば、先ず、読出電極を独立に制御可能な複数系統に分け、それぞれの読出電極を蓄積時間の違う信号に対応させ、感度特性の切替えを露光時間制御で電子的に実現する構成とした。このとき、複数系統のゲート電極のそれぞれを、有効画素領域中において水平方向に延在して配置させることで、読出電極を他の転送電極に対して平行となるようにした。
【０２８７】
こうすることで、各転送電極に対応するそれぞれの転送パルスの伝播遅延がほぼ等しくなる。この結果、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。転送電極の配列を工夫したものであるから、シャント配線を形成する必要がなく、製造工程が増えたり製造が複雑になるなどの問題が生じない。
【０２８８】
また、読出電極を独立に制御可能にしているので、シャッタ方式ＳＶＥが持つ感度制御の柔軟性を享受することができるので、ダイナミックレンジの拡大率を可変にしたり、ノーマルモードとＳＶＥモードの切替えなどの機能を実現することができるようになった。
【０２８９】
つまり、全画素読出方式の撮像装置であっても、広ダイナミックレンジの画像の撮像が可能であるとともに、Ｖレジスタの取扱い電荷量の向上や転送効率の改善を比較的簡単な方法で実現することができるようになった。
【図面の簡単な説明】
【図１】本発明に係る撮像装置を適用したデジタルスチルカメラの構成を示す図である。
【図２】操作部の一例を説明する図である。
【図３】本実施形態のデジタルスチルカメラの動作の概要を説明する図である。
【図４】第１の特徴を呈する色・感度モザイクパターンＰ１を示す図である。
【図５】第２および第３の特徴を呈する色・感度モザイクパターンＰ３を示す図である。
【図６】第４の特徴を呈する色・感度モザイクパターンＰ４ａを示す図である。
【図７】第４の特徴を呈する色・感度モザイクパターンＰ４ｂを示す図である。
【図８】第４の特徴を呈する色・感度モザイクパターンＰ４ｃを示す図である。
【図９】全画素読出しにおいて感度のモザイク配列を電子的に実現するための露光制御の第１例を説明する図である。
【図１０】全画素読出しにおいて感度のモザイク配列を電子的に実現するための露光制御の第２例を説明する図である。
【図１１】図６に示した色・感度モザイクパターンＰ４ａについての電極構造の第１例を示す図である。
【図１２】図６に示した色・感度モザイクパターンＰ４ａについての電極構造の第２例を示す図である。
【図１３】図７に示した色・感度モザイクパターンＰ４ｂについての電極構造の一例を示す図である。
【図１４】図８に示した色・感度モザイクパターンＰ４ｃについての電極構造の一例を示す図である。
【図１５】画像上における画素の位置座標の定義を説明する図である。
【図１６】デモザイク処理を主に実行する画像処理部の一構成例を示している。
【図１７】輝度画像生成部の一構成例を示している。
【図１８】Ｒ用の推定部が使用するＲ成分用の補間フィルタ係数の一例およびＢ用の推定部が使用するＢ成分用の補間フィルタ係数の一例である。
【図１９】Ｇ用の推定部が使用するＧ成分用補間フィルタ係数の一例である。
【図２０】Ｒ用の推定部が用いる合成感度補償ＬＵＴについて説明するための図である。
【図２１】Ｇ用の推定部が用いる合成感度補償ＬＵＴについて説明するための図である。
【図２２】Ｂ用の推定部が用いる合成感度補償ＬＵＴについて説明するための図である。
【図２３】単色画像生成部の構成例を示す図である。
【図２４】比率値算出部が使用する、平滑化フィルタ係数の一例を示す図である。
【図２５】画像処理部の構成例によるデモザイク処理の手順を示すフローチャートである。
【図２６】輝度画像生成部の輝度画像生成処理の手順を示すフローチャートである。
【図２７】Ｒ用の推定部におけるＲ成分推定処理の手順を示すフローチャートである。
【図２８】ノイズ除去部におけるノイズ除去処理の手順を示したフローチャートである。
【図２９】ノイズ除去部における方向選択的平滑化処理の手順を示すフローチャートである。
【図３０】単色画像生成部における単色画像生成処理の手順を示したフローチャートである。
【図３１】比率値算出部における比率値算出処理の手順を示したフローチャートである。
【図３２】垂直方向列ごとに独立読出しを可能とした電極構造の第１例を示す図である（モノクロ用）。
【図３３】垂直方向列ごとに独立読出しを可能とした電極構造の第２例を示す図である（モノクロ用）。
【図３４】カラー画像対応としつつ、垂直方向列ごとに独立読出しを可能とする場合のカラーフィルタ配列を示す図である。
【図３５】図３４に示したカラーフィルタ配列と電極構造を有する撮像素子を使用する場合におけるデモザイク処理の概要を示す図である。
【図３６】デモザイク処理における感度別色補間処理の概要（特に抽出処理）を説明するための図である。
【図３７】デモザイク処理における感度別色補間処理の概要（特に挿入処理）を説明するための図である。
【図３８】デモザイク処理を主に実行する画像処理部の一構成例を示す図である。
【図３９】感度別色補間部の構成例を示す図である。
【図４０】色補間部の一構成例を示す図である。
【図４１】色差画像生成部の一構成例を示す図である。
【図４２】輝度画像生成部の一構成例を示す図である。
【図４３】感度均一化部の一構成例を示す図である。
【図４４】図３４に示したカラーフィルタ配列と電極構造を有する撮像素子を使用する場合における画像処理部の作用を説明するフローチャートである。
【図４５】ステップＳ１８１の感度別色補間処理を説明するフローチャートである。
【図４６】ステップＳ１９３の抽出処理を説明するための図である。
【図４７】ステップＳ１９３の抽出処理を説明するための図である。
【図４８】ステップＳ１９４の色補間処理を説明するフローチャートである。
【図４９】ステップＳ５２の色差画像生成処理を説明するフローチャートである。
【図５０】ステップＳ５３の輝度画像生成処理を説明するローチャートである。
【図５１】ステップＳ５４の色空間変換処理を説明するフローチャートである。
【図５２】ステップＳ１８２の感度均一化処理を説明するフローチャートである。
【図５３】ステップＳ２０３の局所和算出処理において用いるフィルタ係数の例を示す図である。
【符号の説明】
１…デジタルスチルカメラ、２…光学系、３…信号処理系、４…記録系、５…表示系、６…制御系、２４…ＣＣＤイメージセンサ、２５…ＣＤＳ回路、２６…Ａ／Ｄ変換回路、２７…画像処理部、７１…階調変換部、７２…色差画像生成部、７３…色差画像生成部、７４…輝度画像生成部、７５…色空間変換部、７６…階調逆変換部、７７…階調逆変換部、７８…階調逆変換部、８１…平滑化部、８２…平滑化部、８３…減算器、９１…輝度算出部、９２…ノイズ除去部、１５１…感度別色補間部１５１、１５２…感度均一化部１５２、１５３…感度均一化部１５３、１５４…感度均一化部１５４、１６１…抽出部１６１、１６２…色補間部１６２、１７１…局所和算出部１７１、１７２…合成感度補償部１７２、１７３…合成感度補償ＬＵＴ１７３、１８１…輝度画像生成部、１８２…単色画像生成部、１８３…単色画像生成部、１８４…単色画像生成部、１９１…推定部、１９２…推定部、１９３…推定部、１９４…乗算器、１９５…乗算器、１９６…乗算器、１９７…加算器

Claims (8)

1. 受光した光を光電変換して電荷を蓄積する水平方向および垂直方向に配置された複数の受光素子を具備する光電変換手段と、前記受光素子により蓄積された電荷を前記垂直方向に転送する垂直転送レジスタと、前記受光素子により蓄積された電荷を前記垂直転送レジスタに転送する転送ゲートとを備えた撮像装置であって、
   それぞれ異なる前記蓄積時間に応じて独立に駆動電圧を前記転送ゲートに印加可能に設けられた複数系統のゲート電極を備えており、
   当該複数系統のゲート電極のそれぞれは、有効画素領域中において前記水平方向に延在して配置されていることを特徴とする撮像装置。
2. 前記ゲート電極は、前記垂直転送レジスタにて前記電荷を前記垂直方向に転送させるための転送電極を兼ねていることを特徴とする請求項１に記載の撮像装置。
3. 全画素読出方式のものであることを特徴とする請求項１に記載の撮像装置。
4. 同一の感度特性を呈する前記受光素子の並び方向が前記垂直方向に一致するように、前記複数系統のゲート電極が設けられていることを特徴とする請求項１に記載の撮像装置。
5. 前記複数の受光素子のそれぞれは、複数の色成分のうちの何れかの色成分を有しており、
   前記色成分に拘わらず、同一の感度特性を呈する前記受光素子の並び方向が前記垂直方向に一致するように、前記複数系統のゲート電極が設けられていることを特徴とする請求項１に記載の撮像装置。
6. 前記複数系統のゲート電極のそれぞれに対応して、前記蓄積時間の異なる信号に対応した電子シャッタパルスを前記駆動電圧として印加するパルス駆動部を備えていることを特徴とする請求項１に記載の撮像装置。
7. 前記それぞれ異なる蓄積時間に応じて前記光電変換手段により撮像された複数系統の撮像信号に基づいて、信号処理により画像のダイナミックレンジを拡大する信号処理部を備えていることを特徴とする請求項１に記載の撮像装置。
8. 光強度に対する複数の感度特性のうちの何れかの感度特性を呈する感度モザイク画像を取得して被写体画像を撮像する撮像方法であって、
   それぞれ異なる前記蓄積時間に応じて独立に駆動電圧を前記転送ゲートに印加可能に設けられた複数系統のゲート電極を備えており、かつ当該複数系統のゲート電極のそれぞれが、有効画素領域中において前記水平方向に延在して配置されている撮像装置を使用し、
   前記複数系統のゲート電極のそれぞれに対応して、前記蓄積時間の異なる信号に対応した電子シャッタパルスを前記駆動電圧として印加することで、前記それぞれ異なる蓄積時間に応じた複数系統の撮像信号を取得し、
   この取得した複数系統の撮像信号に基づいて、信号処理により前記被写体画像のダイナミックレンジを拡大することを特徴とする撮像方法。

Images