JP2004172858A - 撮像装置および撮像方法 - Google Patents
撮像装置および撮像方法 Download PDFInfo
- Publication number
- JP2004172858A JP2004172858A JP2002335216A JP2002335216A JP2004172858A JP 2004172858 A JP2004172858 A JP 2004172858A JP 2002335216 A JP2002335216 A JP 2002335216A JP 2002335216 A JP2002335216 A JP 2002335216A JP 2004172858 A JP2004172858 A JP 2004172858A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sensitivity
- color
- pixel
- light receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 68
- 230000035945 sensitivity Effects 0.000 claims abstract description 249
- 238000012545 processing Methods 0.000 claims description 97
- 238000012546 transfer Methods 0.000 claims description 43
- 238000006243 chemical reaction Methods 0.000 claims description 29
- 230000001747 exhibiting effect Effects 0.000 claims description 21
- 238000009825 accumulation Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 description 105
- 230000000875 corresponding effect Effects 0.000 description 63
- 238000010586 diagram Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 34
- 238000004364 calculation method Methods 0.000 description 20
- 230000009471 action Effects 0.000 description 15
- 238000010408 sweeping Methods 0.000 description 14
- 239000003086 colorant Substances 0.000 description 12
- 238000009499 grossing Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 230000001276 controlling effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000002834 transmittance Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 4
- 230000010363 phase shift Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 229920005591 polysilicon Polymers 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
【課題】全画素読出方式のカラー撮像素子において、広ダイナミックレンジ撮像と、高解像度撮像とを両立することができるようにする。
【解決手段】読出電極を独立に制御可能な複数系統に分ける。独立駆動可能な読出電極に対して、蓄積時間の異なる信号に対応した電子シャッタパルスを駆動電圧として印加することで、感度特性の切替えを露光時間制御で電子的に実現する。電極配置としては、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置されるようにする。ＮＤ方式ＳＶＥが持つカラーフィルフィルタ配列の柔軟性と、シャッタ方式ＳＶＥが持つ感度制御の柔軟性を享受することができ、広ダイナミックレンジのカラー画像の撮像と、通常ダイナミックレンジの高解像度カラー画像の撮像とを両立することができる。
【選択図】 図１１
【解決手段】読出電極を独立に制御可能な複数系統に分ける。独立駆動可能な読出電極に対して、蓄積時間の異なる信号に対応した電子シャッタパルスを駆動電圧として印加することで、感度特性の切替えを露光時間制御で電子的に実現する。電極配置としては、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置されるようにする。ＮＤ方式ＳＶＥが持つカラーフィルフィルタ配列の柔軟性と、シャッタ方式ＳＶＥが持つ感度制御の柔軟性を享受することができ、広ダイナミックレンジのカラー画像の撮像と、通常ダイナミックレンジの高解像度カラー画像の撮像とを両立することができる。
【選択図】 図１１
Description
【０００１】
【発明の属する技術分野】
本発明は、カラー画像を撮像する撮像装置および撮像方法に関する。より詳細には、撮像された被写体画像のダイナミックレンジを向上させる技術に関する。
【０００２】
【従来の技術】
【特許文献１】
特開平８−２２３４９１号公報
【特許文献２】
特開平７−２５４９６５号公報
【特許文献３】
特開平７−２５４９６６号公報
【特許文献４】
特開平８−３４０４８６号公報
【特許文献５】
特開平１０−０６９０１１号公報
【特許文献６】
米国特許第５８０１７７３号明細書
【特許文献７】
特開平８−３３１４６１公報
【特許文献８】
特開平７−２５４９６５公報
【特許文献９】
特開平６−１４１２２９号公報
【特許文献１０】
米国特許第５４２０６３５号明細書
【特許文献１１】
米国特許第５４５５６２１号明細書
【特許文献１２】
米国特許第５８０１７７３号明細書
【特許文献１３】
米国特許第５６３８１１８号明細書
【特許文献１４】
米国特許第５３０９２４３号明細書
【特許文献１５】
米国特許第５７８９７３７号明細書
【特許文献１６】
特開昭５９−２１７３５８号公報
【特許文献１７】
米国特許第５４２０６３５号明細書
【特許文献１８】
特開２０００−６９４９１号公報
【特許文献１９】
特開平９−１９１０９９号公報
【特許文献２０】
ＵＳＡＰＰ ０９／３２６，４２２号明細書
【特許文献２１】
特開２００２−１１２１２０号公報
【非特許文献１】
「１／２インチ３３万画素正方格子全画素読出方式ＣＣＤ撮像素子」、テレビジョン学会技術報告 情報入力、情報ディスプレイ１９９４年１１月、ｐ７−１２
【非特許文献２】
Ｓ．Ｋ．Ｎａｙａｒ ａｎｄ Ｔ．Ｍｉｔｓｕｎａｇａ，”Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｉｎｇ：Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ Ｐｉｘｅｌ Ｅｘｐｏｓｕｒｅｓ”，Ｐｒｏｃ． ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ２０００，Ｖｏｌ．１，ｐｐ．４７２−４７９，Ｊｕｎｅ，２０００
【０００３】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのような固体撮像素子が、ビデオカメラやディジタルスチルカメラなどの撮像装置、ＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）の分野における部品検査装置、あるいはＭＥ（Ｍｅｄｉｃａｌ Ｅｌｅｃｔｒｏｎｉｃｓ）の分野における電子内視鏡などの光計測装置に幅広く利用されている。
【０００４】
従来、全画素読出し（ＰＳ；Ｐｒｏｇｒｅｓｓｉｖｅ Ｓｃａｎ）の画素構造として、非特許文献１には、３層電極３相駆動のものが知られている。この全画素読出方式の撮像素子は、読出電極を兼ねる３層目の転送電極が有効画素領域中において垂直方向に延在した構造となっている。
【０００５】
一方、固体撮像素子を用いた撮像装置や光計測機器などにおいては、ダイナミックレンジを向上させるために、異なる感度の光電変換素子（フォトダイオードなどの受光素子）を利用して画像を撮像し、撮像により得られた光強度信号を合成する手法が種々提案されている。
【０００６】
特許文献１〜６に記載の手法（以下第１の手法という）は、光学的に複数の透過率の異なる光軸に分岐させた入射光をそれぞれの光軸上に配置させた固体撮像素子で計測するというものである。しかしながら、第１の手法は、複数の固体撮像素子および光を分岐させる複雑な光学系が必要となるので、製造コストや装置規模が大きくなってしまうため、省コスト化や省スペース化の面で不利である。
【０００７】
また、特許文献７〜１４に記載の手法（以下第２の手法という）は、１つの固体撮像素子を用いて、その露光時間を複数に分割し、異なる時刻でかつ異なる時間幅で複数枚の画像を撮像した後、それらを合成するというものである。しかしながら、第２の手法は、異なる感度で計測された情報は異なる時刻に撮像されたものであり、かつ、異なる時間幅で撮像されているので、光強度が時々刻々と変化するような動的なシーン（画像）を正しく撮像することができない。
【０００８】
さらに、特許文献１５〜１８に記載の手法（以下第３の手法という）は、１つの固体撮像素子を用い、固体撮像素子の撮像面で互いに隣接する複数の受光素子を１組として、受光素子の１組を出力画像の１画素に対応させるようにし、１組を構成する複数の受光素子の感度をそれぞれ異なるように設定して撮像した後、複数の異なる感度の受光素子で計測された信号を合成させるというものである。これらにおいては、１つの固体撮像素子を構成する受光素子のそれぞれの感度を変化させる方法としては、各受光素子を透過率の異なるＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタで覆う方法がある。また、特に特許文献１８に記載のものは、第３の手法をカラー画像に適応するというものである。
【０００９】
第３の手法は、第１の手法において問題であった省コスト化や省スペース化の面で有利となる。また、第２の手法において問題であった動的シーンを正しく撮像できないことを解決することができる。
【００１０】
しかしながら、第３の手法では、隣接する複数の受光素子を１組として出力画像の１画素に対応させるので、出力画素の解像度を確保するためには、出力画像の画素数の数倍の受光素子からなる撮像素子が必要であり、ユニットセルサイズが大きくなる。
【００１１】
また、第３の手法は、透過率の異なるＮＤフィルタで受光素子を覆うことで感度制御を行なうので、固体撮像素子の製造時に各受光素子の感度が固定されることになり、感度を可変制御にすることができなくなり、ダイナミックレンジ拡大率を状況に合せて可変に制御することが困難になる。
【００１２】
この各受光素子の感度が固定されることにより、ダイナミックレンジ拡大率を状況に合せて可変に制御することが困難になるという課題に対して、特許文献１９には、第１の蓄積時間の後に、選択された列の信号を読出し、その後、電子シャッタをかけ、続く第２の蓄積時間の後に、上記列以外の列の信号を読み出すことによりダイナミックレンジを拡大することが記載されている。しかしながら、この手法でも、フィルタで受光素子を覆う手法のような感度の空間パターンの設計に自由度がないという問題があり、たとえば、垂直方向に３種類以上の複数の露光時間を有する信号を得ることができない。
【００１３】
さらに、特許文献２０および非特許文献２に記載の手法（以下第４の手法という）は、通常のダイナミックレンジを有する撮像素子に、出力画像の１画素に対応する１つの受光素子ごと、その露出が異なるような仕組みを施して撮像し、得られた画像信号に所定の画像処理を施して広ダイナミックレンジの画像信号を生成するというものである。受光素子ごとの露出が異なるような仕組みは、受光素子ごとに光の透過率や開口率を変えたりすることによって、空間的な感度のパターンをつくることにより実現する。つまり、解像度（つまり画素数）方向に余裕のある能力をダイナミックレンジ向上に振り分けるもので、ＳＶＥ（Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ Ｅｘｐｏｓｕｒｅ）方式と称するものである。
【００１４】
この第４の手法（ＳＶＥ方式）では、各受光素子は１種類の感度だけを有する。よって、撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報しか取得することができないが、得られた画像信号に所定の画像処理を施し、全ての画素の感度が均一になるようにすることによって、結果的にダイナミックレンジが広い画像を生成することができる。また、全ての受光素子が同時に露光するので、動きのある被写体を正しく撮像することができる。さらに、１つの受光素子が出力画像の１画素に対応しているので、ユニットセルサイズが大きくなる問題も生じない。つまり、ＳＶＥ方式では、第１〜第３の手法の問題を解決することが可能である。
【００１５】
このＳＶＥ方式を実現するための固体撮像素子の構造およびその駆動方法としては、たとえば、特許文献２１に、電子シャッタ機能を利用して各受光素子の露出時間をいくつかのパターンで変化させる露出モードを設けるシャッタ方式ＳＶＥというものが提案されている。また本願出願人は、整理番号００００７４０５０２（提出日；平成１３年１月９日）の出願明細書にて、前述の第３の手法と同様に、透過率の異なるフィルタで受光素子を覆うＮＤフィルタ方式ＳＶＥを提案している。
【００１６】
【発明が解決しようとする課題】
ところで、ＳＶＥ方式としつつ全画素読出し（ＰＳ；Ｐｒｏｇｒｅｓｓｉｖｅ Ｓｃａｎ）方式のカラー用固体撮像素子とする場合、色信号を分離するためのフィルタ（以下カラーフィルタという）の配列（アレイ）を、ベイヤ（Ｂａｙｅｒ ；緑市松ともいう）配列などの格子状とすることが望ましい。ベイヤ配列などにすれば、従来の色信号処理を流用することができ、また原色色フィルタを使用するので色再現性が良好であることと、垂直方向および水平方向の解像度を高くとれるという、利点を享受することができるからである。
【００１７】
しかしながら、ＳＶＥ方式を全画素読出しの単版カラー固体撮像素子で実現しようとした場合において、シャッタ方式ＳＶＥの場合は、受光素子（センサ）に蓄積された信号の読出し方法の制限から高感度画素と低感度画素の配列方法に制限があり、カラーフィルタの配列をベイヤ配列とすることが難しく、ＮＤフィルタ方式ＳＶＥと比較した場合において解像度の低下が発生していた。
【００１８】
つまり、特許文献２０および非特許文献２に記載のものは、モノクロ画像を生成することを前提としたもので、カラー画像を生成することについては、その技術が確立されていない。具体的には、画素ごとに色や感度が異なる画像から、全ての画素について、全ての色成分の画像信号を生成し、かつ、感度を均一化する技術を開示していない。
【００１９】
一方、整理番号００００７４０５０２の出願明細書で提案したＮＤフィルタ方式ＳＶＥの場合は、高感度画素と低感度画素の配列方法に制限がない、つまりＳＶＥ感度配列に自由度があるので、カラーフィルタの配列を格子状（たとえばベイヤ配列）にすることができ、解像度の低下はシャッタ方式ＳＶＥと比較して改善することができる。しかしながら、前述の第３の手法と同様に、透過率の異なるＮＤフィルタで受光素子を覆うことで感度制御を行なうので、固体撮像素子の製造時に各受光素子の感度が固定されることになり、感度を可変制御にすることができなくなり、ダイナミックレンジ拡大率を状況に合せて可変に制御することが困難になる。つまり、ノーマルモードとＳＶＥモードの切替えに対応できないので、ダイナミクレンジがあまり必要でないときの解像度の低下が問題になる。
【００２０】
このように、従来提案されているＳＶＥ方式を全画素読出しの単版カラー撮像素子に適用する場合、広ダイナミックレンジのカラー画像の撮像と、通常ダイナミックレンジの高解像度カラー画像の撮像とを両立する技術が確立していない。
【００２１】
本発明は、上記事情に鑑みてなされたものであり、広ダイナミックレンジのカラー画像の撮像と、通常ダイナミックレンジの高解像度カラー画像の撮像とを切替使用可能な撮像方法および撮像装置を提供することを目的とする。
【００２２】
【課題を解決するための手段】
すなわち、本発明に係る撮像装置は、複数の色成分のうちの何れかの色成分を有するとともに受光した光を光電変換して電荷を蓄積する水平方向および垂直方向に配置された複数の受光素子を具備する光電変換手段（センサ）と、受光素子により蓄積された電荷を垂直方向に転送する垂直転送レジスタと、受光素子により蓄積された電荷を垂直転送レジスタに転送する転送ゲートとを備えた撮像装置であって、先ず光電変換手段を、感度特性に拘わらず、同一の色成分を有する受光素子が格子状に配置されたものとした。
【００２３】
また、同一の色成分を有するとともに電荷の蓄積時間に対応する同一の感度特性を呈する受光素子が格子状に配置されるように、それぞれ異なる蓄積時間に応じて独立に駆動電圧を転送ゲートに印加することができるように、複数系統のゲート電極（読出電極）を設けた。つまり、読出電極を複数系統設け、それぞれの読出電極を蓄積時間の違う信号に対応させた。
【００２４】
また、ゲート電極を、垂直転送レジスタにて電荷を垂直方向に転送させるための転送電極を兼ねる構成とするとともに、有効画素領域中において水平方向に延在して配置するとさらに好ましい。
【００２５】
なお、このような電極構造のセンサは、全画素読出方式のものに適用すると好適である。また、複数の色成分を３原色成分とし、その色配列を、感度特性に拘わらず、３原色成分がベイヤ配列をなすように配置されているものとするとさらに好ましい。
【００２６】
電極構造の具体的な形態としては、たとえば、以下のようなものが好ましい。第１には、色成分に拘わらず、同一の感度特性を呈する受光素子が、垂直方向にＭ（Ｍは正の整数）個の連続した受光素子を含み、かつそのＭ個の垂直列の端部に位置する受光素子を基点として水平方向にＮ（Ｎは正の整数）個の連続した受光素子を含む組を１つの単位として繰り返し配置されるように、複数系統のゲート電極を設けるとよい。第１の形態は、複数系統の読出電極が斜め方向の列ごとに受光素子に蓄積された信号電荷を独立に読み出せるような電極構造となる。
【００２７】
また第２には、色成分に拘わらず、同一の感度特性を呈する受光素子が、水平方向にＮ（Ｎは正の整数）個で垂直方向にＭ（Ｍは正の整数）個からなるＮ×Ｍ個の２次元状の組を１つの単位とし、同一の感度特性を呈する組が格子状に配置されるように、複数系統のゲート電極を設けるとよい。
【００２８】
この第２の電極構造の変形例としては、垂直方向を１個（Ｍ＝１）とする形態が考えられる。こうすることで、同一の感度特性を呈するＮ×１個の２次元状の組がジグザグ状に配置される。つまり、複数系統の読出電極が受光素子に蓄積された信号電荷をジグザグに独立に読み出せるような電極構造となる。
【００２９】
このような電極構造を有するセンサを使用する場合、複数系統のゲート電極のそれぞれに対応して、蓄積時間の異なる信号に対応した電子シャッタパルスを駆動電圧として印加するパルス駆動部を備えた構成とする。つまり、感度特性の切替えを露光時間制御で電子的に実現する。
【００３０】
また、それぞれ異なる蓄積時間に応じて光電変換手段により撮像された複数系統の撮像信号に基づいて、信号処理により画像のダイナミックレンジを拡大する信号処理部を備えた構成とする。
【００３１】
本発明に係る撮像方法は、本発明に係る撮像装置を利用した撮像方法である。すなわち、各々受光素子に対応する各画素が複数の色成分のうちの何れかの色成分を有し、かつ、光強度に対する複数の感度特性のうちの何れかの感度特性を呈する色・感度モザイク画像を取得して被写体画像を撮像する撮像方法であって、同一の色成分を有するとともに電荷の蓄積時間に対応する同一の感度特性を呈する受光素子が格子状に配置されるように、それぞれ異なる蓄積時間に応じて独立に駆動電圧を印加可能に設けられた複数系統のゲート電極を備えている撮像装置を使用する。そして、複数系統のゲート電極のそれぞれに対応して、積時間の異なる信号に対応した電子シャッタパルスを駆動電圧として印加することで、それぞれ異なる蓄積時間に応じた複数系統の撮像信号を取得する。さらに、この取得した複数系統の撮像信号に基づいて、信号処理により被写体画像のダイナミックレンジを拡大する。
【００３２】
【作用】
上記構成においては、先ず、センサに読出電極として複数系統設け、それぞれの読出電極を蓄積時間の違う信号に対応させ、感度特性の切替えを露光時間制御で電子的に実現する構成とした。このとき、読出電極が、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置されるようにした。こうすることで、ＮＤ方式ＳＶＥが持つカラーフィルフィルタ配列の柔軟性を享受できるととともに、シャッタ方式ＳＶＥが持つ感度制御の柔軟性を享受する。
【００３３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００３４】
図１は、本発明に係る撮像装置を適用したデジタルスチルカメラの構成を示す図である。このディジタルスチルカメラ１は、大別して光学系２、信号処理系３、記録系４、表示系５、および制御系６から構成されている。
【００３５】
光学系２は、シャッタ２１、被写体の光画像を集光するレンズ２２、光画像の光量を調整する絞り２３、および集光された光画像を光電変換して広ダイナミックレンジの電気信号に変換するＣＣＤイメージセンサ２４から構成されている。図示しない被写体からの光Ｌは、シャッタ２１およびレンズ２２を透過し、絞り２３により調整されて、適度な明るさでＣＣＤイメージセンサ２４に入射する。このとき、レンズ２２は、図示せぬ被写体からの光Ｌからなる映像が、ＣＣＤイメージセンサ２４上で結像されるように焦点位置を調整する。
【００３６】
信号処理系３は、ＣＣＤイメージセンサ２４からの電気信号をサンプリングすることによってノイズを低減させるＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング）回路２５、ＣＤＳ回路２５が出力するアナログ信号をディジタル信号に変換するＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換回路２６、Ａ／Ｄ変換回路２６から入力されるディジタル信号に所定の画像処理を施すＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で構成された画像処理部２７から構成される。
【００３７】
ＣＣＤイメージセンサ２４は、複数の受光素子により構成されており、レンズ２２および絞り２３を介して入射された光Ｌを光電変換し、映像を電気信号に変換して、後段のＣＤＳ回路２５に出力する。
【００３８】
ＣＤＳ回路２５は、ＣＣＤイメージセンサ２４より入力される信号を基準信号と比較し、その差電圧をサンプリングし、これを映像信号としてＡ／Ｄ変換回路２６に出力する。Ａ／Ｄ変換回路２６は、ＣＤＳ回路２５より入力されたアナログ信号をデジタル信号に変換し、画像処理部２７に出力する。
【００３９】
記録系４は、画像信号を記憶するフラッシュメモリなどの記録媒体（メモリ）２９、画像処理部２７が処理した画像信号を符号化してメモリ２９に記録し、また、読み出して復号し、画像処理部２７に供給するＣＯＤＥＣ（Ｃｏｍｐｒｅｓｓｉｏｎ／Ｄｅｃｏｍｐｒｅｓｓｉｏｎ）２８から構成されている。画像処理部２７は、中央制御部３４により制御され、Ａ／Ｄ変換回路２６より入力された信号を所定の映像データに変換し、Ｄ／Ａ変換回路３０、またはＣＯＤＥＣ２８に出力する。また、画像処理部２７は、ＣＯＤＥＣ２８より入力された映像データをＤ／Ａ変換回路３０に出力する。ＣＯＤＥＣ２８は、画像処理部２７より入力された映像データを所定の方法でコーディングし、メモリ２９に記憶させるとともに、メモリ２９に記憶されているデータを読み出し、デコードして画像処理部２７に出力する。
【００４０】
画像処理部２７は、それぞれ異なる蓄積時間に応じて撮像された複数系統の撮像信号に基づいて、信号処理により画像のダイナミックレンジを拡大する信号処理部としての機能を備える。この信号処理に際しては、異なる感度で撮像されたモザイク画像を元にして、補間処理にて、正常な被写体画像を取得する。補間処理は、カラーフィルタの色配列や感度の配列に応じて、その仕組みを工夫する。
【００４１】
表示系５は、画像処理部２７が処理した画像信号をアナログ化するＤ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換回路３０、入力されるビデオ信号に対応する画像を表示することによりファインダとして機能するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などよりなるビデオモニタ３２、およびアナログ化された画像信号を後段のビデオモニタ３２に適合する形式のビデオ信号にエンコードするビデオエンコーダ３１から構成されている。Ｄ／Ａ変換回路３０は、画像処理部２７より入力された映像データのデジタル信号をアナログ信号に変換し、ビデオエンコーダ３１に出力する。ビデオエンコーダ３１は、Ｄ／Ａ変換回路３０より入力されたアナログ信号の映像データを所定のビデオ信号に変換し、ビデオモニタ３２に出力し、映像を表示させる。
【００４２】
制御系６は、先ず、図示しないドライブ（駆動装置）を制御して磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリに記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、あるいはユーザからのコマンドなどに基づいてディジタルスチルカメラ１の全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ ）などよりなる中央制御部３４を備える。この中央制御部３４は、デジタルスチルカメラ１のバス３３に接続された画像処理部２７、ＣＯＤＥＣ２８、メモリ２９、絞りコントローラ３５、およびタイミングジェネレータ３６を制御している。
【００４３】
また制御系６は、画像処理部２７に送られた画像の明るさが適度な明るさを保つように絞り２３を制御する絞りコントローラ３５、ＣＣＤイメージセンサ２４から画像処理部２７までの各機能部の動作タイミングを制御するタイミングジェネレータ（ＴＧ）３６、ユーザがシャッタタイミングやその他のコマンドを入力する操作部３７を有する。
【００４４】
絞りコントローラ３５は、画像処理部２７に送られた画像の明るさが適度な明るさを保つようにその制御値が中央制御部３４により設定され、その制御値に従って絞り２３を制御する。具体的には、中央制御部３４が画像処理部２７に保持されている画像から適当な個数の輝度値のサンプルを獲得し、その平均値があらかじめ定められた適当とされる輝度の範囲に収まるように絞り２３の制御値を設定する。
【００４５】
タイミングジェネレータ３６は、中央制御部３４により制御され、ＣＣＤイメージセンサ２４、ＣＤＳ回路２５、Ａ／Ｄ変換回路２６、および画像処理部２７の動作に必要とされるタイミングパルスを発生し、供給する。操作部３７は、ユーザが、デジタルスチルカメラ１を動作させるとき操作される。
【００４６】
このデジタルスチルカメラ１において、被写体の光学画像（入射光）は、レンズ２２および絞り２３を介してＣＣＤイメージセンサ２４に入射され、ＣＣＤイメージセンサ２４によって光電変換され、得られた電気信号は、ＣＤＳ回路２５によってノイズが除去され、Ａ／Ｄ変換回路２６によってディジタル化された後、画像処理部２７が内蔵する画像メモリに一時格納される。
【００４７】
なお、通常の状態では、タイミングジェネレータ３６による信号処理系に対する制御により、画像処理部２７が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部２７が内蔵する画像メモリの画像信号は、Ｄ／Ａ変換回路３０によってアナログ信号に変換され、ビデオエンコーダ３１によってビデオ信号に変換されて対応する画像がビデオモニタ３２に表示される。
【００４８】
ビデオモニタ３２は、デジタルスチルカメラ１のファインダの役割も担っている。ユーザが操作部３７に含まれるシャッタボタンを押下した場合、中央制御部３４は、タイミングジェネレータ３６に対し、シャッタボタンが押下された直後の画像信号を取り込み、その後は画像処理部２７の画像メモリに画像信号が上書きされないように信号処理系３を制御させる。その後、画像処理部２７の画像メモリに書き込まれた画像データは、ＣＯＤＥＣ２８によって符号化されてメモリ２９に記録される。以上のようなデジタルスチルカメラ１の動作によって、１枚の画像データの取り込みが完了する。
【００４９】
図２は、操作部３７の一例を説明する図である。ここで、図２（Ａ）はキー操作部の詳細を示し、図２（Ｂ）および図２（Ｃ）は動作モードの遷移を示す。
【００５０】
図２（Ａ）に示すように、操作部３７のキャプチャボタン４１は、プッシュボタンで構成され、静止画を撮像するとき、ユーザにより押下される。アクションモード切替スイッチ４２は、アクションモードを設定するための上下にスライドする切替スイッチであり、図中上段から“ｒｅｃｏｒｄ”、“ｏｆｆ ”、および、“ｐｌａｙ”の文字が表示されており、セットされた位置のアクションモードに設定される。今の場合、アクションモード切替スイッチ４２は、“ｏｆｆ”の位置にセットされている。
【００５１】
露出モード切替スイッチ４３は、露出モードを切替えるスイッチであり、図中上段から“ＳＶＥ（Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ Ｅｘｐｏｓｕｒｅ）”、および、“ｎｏｒｍａｌ”の文字が表示されており、スイッチがセットされた位置の露出モードに設定される。今の場合、露出モード切替スイッチ４３は、“ｎｏｒｍａｌ”の位置にセットされている。
【００５２】
アクションモード切替スイッチ４２が、“ｏｆｆ”の位置にセットされているとき、アクションモードは、図２（Ｂ）の状態遷移図の「ｏｆｆ状態」となっており、デジタルスチルカメラ１は停止した状態になっている。
【００５３】
この状態から、アクションモード切替スイッチ４２が、上方向にスライドされて“ｒｅｃｏｒｄ”の位置にセットされると、アクションモードは、図２（Ｂ）の番号１に示すように、「ｏｆｆ状態」から「モニタ状態」に遷移する。
【００５４】
「モニタ状態」のとき、デジタルスチルカメラ１は、中央制御部３４が、タイミングジェネレータ３６を制御してドラフト読出用のタイミングパルスを出力させる。これに基づいて、ＣＣＤイメージセンサ２４、ＣＤＳ回路２５、Ａ／Ｄ変換回路２６、画像処理部２７は、シャッタ２１、レンズ２２、および絞り２３を透過した光Ｌからなる映像を、画像信号としてドラフト読出しし、Ｄ／Ａ変換回路３０に出力する。Ｄ／Ａ変換回路３０は、入力された画像信号をデジタル信号からアナログ信号に変換し、ビデオエンコーダ３１に出力する。さらに、ビデオエンコーダ３１は、入力されたアナログ信号をビデオ信号に変換し、ビデオモニタ３２に表示させる。また、同様にして、アクションモード切替スイッチ４２が、“ｏｆｆ”の位置に戻されると、図２（Ｂ）の番号２に示すように「モニタ状態」から「ｏｆｆ状態」に戻る。
【００５５】
アクションモード切替スイッチ４２が、“ｒｅｃｏｒｄ”の位置にセットされた状態で、すなわち図２（Ｂ）中の「モニタ状態」のときにキャプチャボタン４１が押下されると、図２（Ｂ）の番号３に示すように、「モニタ状態」から「キャプチャ状態」に状態が遷移する。
【００５６】
「キャプチャ状態」のとき、デジタルスチルカメラ１は、中央制御部３４が、タイミングジェネレータ３６を制御して全画素読出用のタイミングパルスを出力させる。これに基づいて、ＣＣＤイメージセンサ２４、ＣＤＳ回路２５、Ａ／Ｄ変換回路２６、画像処理部２７は、シャッタ２１、レンズ２２、および、絞り２３を透過した光Ｌからなる映像を、１フレーム分だけ全画素読出しし、画像処理部２７によりガンマ補正などの処理を施させた後、ＣＯＤＥＣ２８に出力する。ＣＯＤＥＣ２８は、画像処理部２７より入力された１フレーム分の画像データを所定の形式で圧縮符号化し（コーディングし）、メモリ２９に記憶させる。さらに、「キャプチャ状態」は、この画像データがメモリ２９に書き込まれた時点で終了し、図２（Ｂ）の番号４に示すように、「キャプチャ状態」から「モニタ状態」に戻る。
【００５７】
「モニタ状態」で、ユーザが、アクションモード切替スイッチ４２を操作して、“ｐｌａｙ”の位置にセットすると、デジタルスチルカメラ１は、図２（Ｂ）中の番号５に示すように「モニタ状態」から「再生状態」に遷移する。同様にして、「ｏｆｆ状態」で、ユーザが、アクションモード切替スイッチ４２を操作して、“ｐｌａｙ”の位置にセットしても、デジタルスチルカメラ１は、図２（Ｂ）中の番号７に示すように「ｏｆｆ状態」から「再生状態」に状態が遷移する。
【００５８】
「再生状態」のとき、デジタルスチルカメラ１は、中央制御部３４がタイミングジェネレータ３６を停止させて、ＣＣＤイメージセンサ２４からの読出しを停止させる。さらに、中央制御部３４は、ＣＯＤＥＣ２８を制御して、メモリ２９に記憶されている画像データを読み出させて、復号処理させた後、画像処理部２７に出力させる。画像処理部２７は、中央制御部３４により制御されて、ＣＯＤＥＣ２８から出力された画像データをビデオ信号のフォーマットに合せるためのダウンサンプリング処理を施し、Ｄ／Ａ変換回路３０に出力する。Ｄ／Ａ変換回路３０は、画像処理部２７より入力されたデジタル信号をアナログ信号に変換し、ビデオエンコーダ３１に出力する。ビデオエンコーダ３１は、Ｄ／Ａ変換回路３０より入力されたアナログ信号をビデオ信号に変換し、ビデオモニタ３２に表示させる。
【００５９】
もちろん、「再生状態」のときに、ユーザが、アクションモード切替スイッチ４２を操作して、“ｒｅｃｏｒｄ”の位置にセットすると、デジタルスチルカメラ１は、図２（Ｂ）中の番号６に示すように「再生状態」から「モニタ状態」に遷移し、また、同様に、“ｏｆｆ”の位置にセットすれば、図２（Ｂ）中の番号８に示すように「再生状態」から「ｏｆｆ状態」に遷移する。
【００６０】
露出モードは、上記の「キャプチャ状態」の時に有効な、ＣＣＤイメージセンサ２４の露出状態を設定するもので、アクションモードとは独立に設定されるモードである。露出モードには、「Ｎｏｒｍａｌモード」と「ＳＶＥモード」の２つのモードがある。「Ｎｏｒｍａｌモード」は、ＣＣＤイメージセンサ２４の各受光素子の露出時間を全て一定にする（全ての受光素子の感度を一定にする）露出モードである。これに対して、「ＳＶＥモード」は、各受光素子の露出時間を、受光素子ごとに、いくつかのパターンで変化させる露出モードである。
【００６１】
図２（Ａ）に示すように、ユーザが、露出モード切替スイッチ４３を操作して、“ｎｏｒｍａｌ”の位置にセットすると、露出モードは、「Ｎｏｒｍａｌモード」にセットされる。また、図２（Ａ）に示す露出モード切替スイッチ４３が、図中上方向にスライドされて、“ＳＶＥ”の位置にセットされると、図２（Ｃ）の番号２１に示すように、露出モードは「ＳＶＥモード」に遷移する。同様に、「ＳＶＥモード」のとき、露出モード切替スイッチ４３が、図２（Ｃ）に示すように“ｎｏｒｍａｌ”の位置に戻されると、図２（Ｃ）の番号２２に示すように、露出モードは、「ＳＶＥモード」から「Ｎｏｒｍａｌモード」に遷移する。
【００６２】
Ｎｏｒｍａｌモードの全画素読出しは、従来のＣＣＤイメージセンサにより実行されてきた読出し方式と同様の読出し方式である。すなわち、この方式は、「キャプチャ状態」のとき、ＣＣＤイメージセンサ２４の全ての画素に対して、一定の露光時間により蓄積される電荷を読み出す方式である。これに対して、露出モードが、ＳＶＥモードである場合の全画素読出しでは、各画素の露出時間がいくつかのパターンに分けて受光され、異なる感度で受光された電荷が読み出される。
【００６３】
図３は、本実施形態のデジタルスチルカメラ１の動作の概要を説明する図である。デジタルスチルカメラ１は、ＣＣＤイメージセンサ２４を中心とする光学系の撮像処理によって、被写体を画素ごとに異なる色と感度（露光時間を変えることで感度可変を実現）で撮像し、色と感度がモザイク状になった画像（以下、色・感度モザイク画像と記述し、その詳細は後述する）を得る。
【００６４】
その後、画像処理部２７を中心とする信号処理系３により、撮像処理によって得られた画像が、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換される。以下、色・感度モザイク画像を、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換させる画像処理部２７を中心とする信号処理系３の処理を、デモザイク処理とも記述する。
【００６５】
たとえば、図３（Ａ）に示すような被写体を撮影した場合、撮像処理によって図３（Ｂ）に示すような色・感度モザイク画像が得られ、画像処理によって各画素が全ての色成分と均一の感度を有する画像に変換される。すなわち、図３（Ｂ）に示す色・感度モザイク画像から図３（Ｄ）に示す被写体の元の色を復元することで、ダイナミックレンジの拡大された画像を得る。
【００６６】
図４〜図８は、色・感度モザイク画像を構成する画素の色成分および感度の配列パターン（以下、色・感度モザイクパターンと記述する）の基本構成を説明する図である。なお、色・感度モザイクパターンを構成する色の組合せとしては、Ｒ（赤），Ｇ（緑），およびＢ（青）からなる３色の組合せの他、Ｙ（黄），Ｍ（マゼンタ），Ｃ（シアン），およびＧ（緑）からなる４色の組合せがある。
【００６７】
露光時間を違えることで実現される感度の段階としては、Ｓ１およびＳ２からなる２段階の他、感度Ｓ３を追加した３段階や、さらに、感度Ｓ４を追加した４段階がある。なお、図４〜図８においては、各正方形が１画素に対応しており、英文字がその色を示し、英文字の添え字として数字がその感度を示している。ハッチングを付した正方形は感度Ｓ１の画素を示す。たとえば、Ｇ１と表示された画素は、色がＧ（緑）であって感度がＳ１であることを示している。また、感度については数字が大きいほど、より高感度であるとする。
【００６８】
色・感度モザイクパターンの基本は、以下に示す第１〜第４の特徴によって分類することができる。
【００６９】
図４は、第１の特徴を呈する色・感度モザイクパターンＰ１を示す図である。第１の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されていることである。
【００７０】
たとえば、図４に示す色・感度モザイクパターンＰ１において、感度に拘わらず色がＲである画素に注目した場合、図面を右回りに４５度だけ回転させた状態で見れば明らかなように、それらは、水平方向には２＾１／２（“＾”はべき乗を示す）の間隔で、垂直方向には２＾３／２の間隔で格子状に配置されている。また、感度に拘わらず色がＢである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色がＧである画素に注目した場合、それらは、水平方向および垂直方向に２＾１／２の間隔で格子状の配置されている。
【００７１】
図５は、第２および第３の特徴を呈する色・感度モザイクパターンＰ３を示す図である。第２の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する４画素の合計５画素が有する色の中に、当該色・感度モザイクパターンに含まれる全ての色が含まれることである。また、第３の特徴は、第２の特徴を有しており、さらに、同一の感度を有する画素に注目した場合、それらの配列がベイヤ配列をなしていることである。
【００７２】
たとえば、図５に示す色・感度モザイクパターンＰ３において、感度Ｓ１の画素だけに注目した場合、図面を斜め４５度だけ傾けて見れば明らかなように、それらは２＾１／２の間隔を空けてベイヤ配列をなしている。また、感度Ｓ２の画素だけに注目した場合も同様に、それらはベイヤ配列をなしている。
【００７３】
図６〜図８は、第４の特徴を呈する色・感度モザイクパターンＰ４ａ，Ｐ４ｂ，Ｐ４ｃ（このグループを纏めて色・感度モザイクパターンＰ４ともいう）を示す図である。第４の特徴は、第１の特徴を有しており、さらに、３種類の色が用いられていて、それらがベイヤ（Ｂａｙｅｒ）配列をなしていることである。
【００７４】
たとえば、図６の色・感度モザイクパターンＰ４ａにおいて、感度に拘わらず色がＧである画素に注目した場合、それらは１画素おきに市松状に配置されている。感度に拘わらず色がＲである画素に注目した場合、それらは１ラインおきに配置されている。また、感度に拘わらず色がＢである画素に注目した場合も同様に、１ラインおきに配置されている。したがって、このパターンＰ４は、画素の色だけに注目すれば、ベイヤ配列であるといえる。
【００７５】
なお、この第４の特徴は、図６の色・感度モザイクパターンＰ４ａの他、図７、図８に示す色・感度モザイクパターンＰ４ｂ，Ｐ４ｃも有している。
【００７６】
本願発明は、上述した色・感度モザイクパターンＰ１，Ｐ３，Ｐ４ｃのうち、第２の特徴を呈する色・感度モザイクパターンＰ２や第４の特徴を呈するＰ４ａ，Ｐ４ｂ，Ｐ４ｃを適用しつつ、全画素読出しにおいて感度のモザイク配列を電子的に実現するものである。
【００７７】
なお、上述の図４〜図８に示した色・感度モザイクパターンＰ１，Ｐ３，Ｐ４ｃに関連し、画素の感度に拘わらず色だけに注目して「色のモザイク配列」と記述する。また、色に拘わらず感度だけに注目して「感度のモザイク配列」と記述する。
【００７８】
ここで、本願発明の対象とする図６〜図８に示した色・感度モザイクパターンＰ４ａ，Ｐ４ｂ，Ｐ４ｃの違いを、感度のモザイク配列に着目して整理すると以下の通りである。なお、英字（Ａ〜Ｈ）で示した図中の上下方向を垂直方向、数字（１〜１１）で示した図中の左右方向を水平方向とする。
【００７９】
先ず、図６に示す色・感度モザイクパターンＰ４ａは、英字（Ａ〜Ｈ）で示した何れかの水平行に着目した場合、同一水平行においては、色がＧである画素は同一の感度すなわち同じ露光時間の画素である。一方、色がＲまたはＢである画素は、感度Ｓ１と感度Ｓ２の画素が水平方向（図の左右方向）に交互に配列されている。また、感度だけに注目すれば、垂直方向（図の上下方向）および水平方向に対して、感度がＳ１の画素の並びは、垂直方向（図６中の下側）に３画素が連続し、この３画素の垂直列の端部に位置する画素を起点として水平方向（図６中の左側）に３画素が連続し、さらに３画素の水平列の端部に位置する画素を起点として垂直方向（図６中の下側）に３画素が連続するというように、
【数１】
を繰り返す。
【００８０】
このような配置とすることで、後述する複数系統の読出電極と対応させると、斜め方向の列ごとに受光素子（フォトセル）に蓄積された信号電荷を独立に読み出せるような構造となる。
【００８１】
一方、図７に示す色・感度モザイクパターンＰ４ｂは、水平行に着目した場合、色がＧである画素は感度Ｓ１と感度Ｓ２の画素が水平方向に交互に配列されていて、かつ色がＲまたはＢである画素も、感度Ｓ１と感度Ｓ２の画素が水平方向に交互に配列されている。また、感度だけに注目すれば、水平行および垂直列のそれぞれ２画素（２×２画素）を組として、感度がＳ１の組と感度がＳ２の組が水平方向および垂直方向のそれぞれに交互に配列されている。つまり、各組は、１組おきに市松状に配置されていて、２ライン（水平行）ごとにジグザグに配列されている。換言すれば、ベイヤ配列の隣接した２×２の繰返し単位ごとに感度が異なる。
【００８２】
このような配置とすることで、後述する複数系統の読出電極と対応させると、受光素子（フォトセル）に蓄積された信号電荷を２×２単位でジグザグに独立に読み出せるような電極構造となる。
【００８３】
また、図８に示す色・感度モザイクパターンＰ４ｃは、水平行に着目した場合、色がＧである画素は感度Ｓ１と感度Ｓ２の画素が水平方向に交互に配列されていて、かつ色がＲまたはＢである画素も、感度Ｓ１と感度Ｓ２の画素が水平方向に交互に配列されている。また、感度だけに注目すれば、水平方向に２画素かつ垂直方向に１画素（２×１画素）を組として、感度がＳ１の組と感度がＳ２の組が水平方向および垂直方向のそれぞれに交互に配列されている。つまり、各組は、１組おきに市松状に配置されていて、１ライン（水平行）ごとにジグザグに配列されている。
【００８４】
このような配置とすることで、後述する複数系統の読出電極と対応させると、受光素子（フォトセル）に蓄積された信号電荷を２×１単位でジグザグに独立に読み出せるような電極構造となる。
【００８５】
以上説明したように、図６〜図８に示した色・感度モザイクパターンＰ４ａ，Ｐ４ｂ，Ｐ４ｃは、色に着目すれば何れもベイヤ配列が構成され、かつ、感度に着目すれば、モザイクパターン（格子配列）が形成されているが、感度Ｓ１，Ｓ２の並び方がそれぞれで異なる。
【００８６】
次に、ＣＣＤイメージセンサ２４において上述した色・感度モザイクパターンを実現する方法について説明する。色・感度モザイクパターンのうち、色のモザイク配列については、ＣＣＤイメージセンサ２４の受光素子の上面に、画素ごとに異なる色の光だけを透過させるオンチップカラーフィルタを配置することによって実現する。一方、色・感度モザイクパターンのうち、感度のモザイク配列については、電子的な方法によって実現する。たとえば、隣接する２つの受光素子（第１および第２の受光素子）に対し、制御のタイミングを違えることにより、２つの受光素子を異なる感度に設定する。
【００８７】
たとえば、全画素読出しＣＣＤにおいて、上述した感度のモザイク配列を電子的に実現するには、感度がＳ１の画素グループと感度がＳ２の画素グループについて、それぞれ独立に露光時間を制御可能な電極構造とすればよい。つまり、複数種類の感度設定に応じて読出電極を複数系統に分け、それぞれの読出電極が蓄積時間の違う信号に対応するように、それぞれの読出電極に独立に読出パルスを印加する構造とすればよい。
【００８８】
図９は、全画素読出しにおいて感度のモザイク配列を電子的に実現するための露光制御の第１例を説明する図である。図９（Ａ）は、ＣＣＤイメージセンサ２４の露光期間を示している。図９（Ｂ）は、電荷掃き出しを指令するパルス電圧のタイミングを示している。図９（Ｃ）は、電荷転送を指令する制御電圧が与えられるタイミングを示している。図９（Ｄ）は、第１の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。図９（Ｅ）は、電荷掃出パルス電圧および電荷読出パルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化を示している。図９（Ｆ）は、第２の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。図９（Ｇ）は、電荷掃出パルス電圧および電荷読出パルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。ただし、露出動作中に受光される光強度は変化しないものとする。
【００８９】
感度のモザイク配列を電子的に実現するための露光制御の第１例において、電荷掃出パルス電圧は、第１および第２の受光素子に対し共通して、露光期間以外においては、画素から電荷を掃き出しさせる（リセットさせる）ように供給され、露光期間中においては、所定のタイミングで１回だけ電荷をリセットするために供給される。
【００９０】
電荷転送電圧は、露光期間以外においては、第１および第２の受光素子に対し共通してＶレジスタに電荷を転送させるための波形電圧が供給され、露光期間中においては、Ｖレジスタからの電荷の転送が停止されるように電荷転送電圧は供給されない。
【００９１】
電荷読出パルス電圧は、各受光素子に対して異なるタイミングで供給される。第１の受光素子に対しては、露光期間中の電荷掃出パルス電圧の供給タイミング（図９（Ｂ））の直前に、１回目の電荷読出パルス電圧が供給され、露光期間中の終了の直前に２回目の電荷読出パルス電圧が供給される。
【００９２】
その結果、第１の受光素子からは、１回目および２回目の電荷読出パルス電圧の供給タイミングのそれぞれにおける第１の受光素子の蓄積電荷量がＶレジスタに読み出される。なお、露光期間中はＶレジスタの電荷の転送は停止されているので、それら２回の読み出し電荷量がＶレジスタ内で加算され、露光期間終了後に同じフレームのデータとしてＶレジスタから転送されるようになされている。
【００９３】
一方、第２の受光素子に対しては、露光期間中の電荷掃出パルス電圧の供給タイミングの直前に１回だけ電荷読出パルス電圧が供給される。その結果、第２の受光素子からは、１回だけの電荷読出パルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量がＶレジスタに読み出される。なお、露光期間中は垂直レジスタ２３の電荷の転送は停止されているので、第２の受光素子から読み出された蓄積電荷は、露光期間終了後に、第１の受光素子から読み出された蓄積電荷と同じフレームのデータとしてＶレジスタから転送されるようになされている。
【００９４】
以上のように、第１の受光素子と第２の受光素子とに対する制御タイミングをそれぞれ違えることにより、同じ露光期間中に第１の受光素子から読み出される蓄積電荷量と、第２の受光素子から読み出される蓄積電荷量、すなわち感度が異なるように設定することができる。
【００９５】
ところで、感度のモザイク配列を電子的に実現する第１例の露光制御では、受光素子によっては露光期間中の全域にわたる被写体の情報を計測できないという点が問題である。
【００９６】
図１０は、全画素読出しにおいて感度のモザイク配列を電子的に実現するための露光制御の第２例を説明する図である。図１０（Ａ）〜図１０（Ｇ）はそれぞれ、図９（Ａ）〜図９（Ｇ）と同様に、ＣＣＤイメージセンサ２４の露光期間、電荷掃き出しを指令するパルス電圧のタイミング、電荷転送を指令する制御電圧が与えられるタイミング、第１の受光素子に対して電荷読み出しを指令するパルス電圧のタイミング、電荷掃出パルス電圧および電荷読出パルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化、第２の受光素子に対する電荷読み出しを指令するパルス電圧のタイミング、電荷掃出パルス電圧および電荷読出パルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。
【００９７】
第２例の露光制御においては、露光期間中において、電荷掃出パルス電圧および電荷読出パルス電圧が複数回繰り返して供給される。すなわち、電荷掃出パルス電圧については、第１および第２の受光素子に対し共通して露光期間中において、１回目の電荷掃出パルス電圧と２回目の電荷掃出パルス電圧の組が複数回供給される。電荷読出パルス電圧については、第１の受光素子に対しては、１回目および２回目の電荷掃出パルス電圧の組ごとに、１回目の電荷掃出パルス電圧の直前に１回目の電荷読み出しパルス電圧が供給され、２回目の電荷掃出パルス電圧の直前に２回目の電荷読出パルス電圧が供給される。一方、第２の受光素子に対しては、電荷掃出パルス電圧の組ごとに、１回目の電荷掃出パルス電圧の直前に１回だけ電荷読出パルス電圧が供給される。
【００９８】
この結果、第１の受光素子からは、１回目および２回目の電荷掃出パルス電圧の組ごとに、１回目の電荷読出パルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量と、２回目の電荷読出パルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量が読み出される。なお、露光期間中は、Ｖレジスタの電荷の転送が停止されているので、これら組ごとに２回ずつ読み出された電荷量は、Ｖレジスタで加算される。第２の受光素子からは、１回目および２回目の電荷掃出パルス電圧の組ごとに１回だけ供給される電荷読出パルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が読み出される。これら組ごとに１回ずつ読み出された電荷量は、Ｖレジスタで加算される。
【００９９】
以上説明したような第２例の露光制御では、露光期間において電荷の読み出しを複数回繰り返すので、露光期間中の全域にわたる被写体の情報を計測することが可能となる。
【０１００】
次に、ＣＣＤイメージセンサ２４において、上述した色・感度モザイクパターンにおける第４の特徴を有するもの、すなわち色のモザイク配列がベイヤ配列を呈する色・感度モザイクパターンＰ４ａ，Ｐ４ｂ，Ｐ４ｃのそれぞれについて、感度Ｓ１と感度Ｓ２の設定を露光時間の制御で、つまり電子シャッタに機能を利用して電子的に切り替えるための電極構造の詳細について説明する。なお、ここでは、特に、３相駆動の垂直レジスタを持つプログレッシブスキャンのＣＣＤイメージセンサ（全画素読出しＣＣＤ／ＰＳ−ＣＣＤ）に好適な２段階感度による任意のモザイク配列を電子的に実現する手法を示す。
【０１０１】
図１１は、図６に示した色・感度モザイクパターンＰ４ａについての電極構造の第１例を示す図である。２段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の構造を示している。
【０１０２】
図６に示した色のベイヤ配列に従ってＲ，Ｇ，Ｂの各画素（受光素子）が多数、水平方向および垂直方向において２次元マトリクス状に配列されて、撮像部を構成している。これら画素は、入射光をその光量に応じた電荷量の信号電荷に変換して蓄積する。
【０１０３】
また、垂直列ごとにそれぞれ３相駆動に対応する複数本（本例では１ユニットセル当たり３本）の垂直レジスタ駆動電極（垂直転送電極）ＶΦ１〜ＶΦ３を有したＶレジスタ（垂直ＣＣＤ、垂直転送部）が配列されている。さらに、Ｖレジスタと各画素との間には読出ゲートＲＯＧが介在している。また各ユニットセルの境界部分にはチャネルストップＬＣＳが設けられている。
【０１０４】
なお、図示しないが、複数本のＶレジスタの各転送先側端部すなわち、最後の行のＶレジスタに隣接して、図の左右方向に延在するＨレジスタ（水平ＣＣＤ、水平転送部）が１ライン分設けられている。Ｈレジスタの転送先側端部には、たとえばフローティングディフュージョンアンプ構成の電荷検出部が設けられている。この電荷検出部は、Ｈレジスタから順に注入される信号電荷を信号電圧に変換して出力する。
【０１０５】
図中破線で表示する１層目の転送電極である第１相電極（第１相垂直レジスタ駆動電極）ＶΦ１および図中細い実線で表示する２層目の転送電極である第２相電極（第２相垂直レジスタ駆動電極）ＶΦ２は、有効画素領域中において水平方向に延在するように配置されて、同じ水平ライン上で隣接する画素の電極と連結している。
【０１０６】
また、読出電極を兼ねる３層目の転送電極である図中太い線（実線または一点鎖線）で表示する第３相電極（第３相垂直レジスタ駆動電極）ＶΦ３も、有効画素領域中において水平方向に延在するように配置されて、同じ水平ライン上で隣接する画素の電極と連結している。すなわち、全ての転送電極が、電荷が転送される垂直列方向に対して垂直に配置されている。そして、同一水平ライン上の電極は同期して駆動されるようになっている。
【０１０７】
また、第２相電極ＶΦ２および第３相電極ＶΦ３は、対応する画素に隣接する読出ゲートＲＯＧ上にもかかるようになされている。たとえば、注目画素に対して、Ｖレジスタおよび読出ゲートＲＯＧ上において、当該注目画素に対応するラインの第１相電極ＶΦ１は、凹部が設けられており、この凹部に対向するように、次ラインの第１相電極ＶΦ１は図中上方向に凸部が設けられている。また、注目画素に対応するラインの第２相電極ＶΦ２は、図中下方向に凸部が設けられ、この凸部に対応する上側には凹部が設けられており、凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１０８】
また、注目画素に対応するラインの第３相電極ＶΦ３は、感度がＳ１の画素グループ（以下読出系統１の画素グループともいう）に対応する第３相電極ＶΦ３Ａ（太い実線）と感度がＳ２の画素グループ（以下読出系統２の画素グループともいう）に対応する第３相電極ＶΦ３Ｂ（太い一点鎖線）とに分けられており、それぞれ独立にパルスを印加できるようになっている。
【０１０９】
この２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂのそれぞれは、図中上方向および下方向の少なくとも一方に凸部が設けられ、この凸部の設けられる位置が感度Ｓ１あるいは感度Ｓ２の各設定に対応するように構成されている。たとえば、感度に拘わらず、図の上下方向である垂直方向に３画素並んだ真ん中の画素は、“図中上方向に設けられた凸部”に対応し、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。そして、この垂直方向に３画素並んだ真ん中の画素を除く全ての画素は、“図中下方向に設けられた凸部”に対応し、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１１０】
したがって、第３相電極ＶΦ３に読出パルスを印加した場合、読出ゲートＲＯＧのバリアを一時的に取り除き、対応する画素に蓄積されている電荷をＶレジスタに転送することが可能である。加えて、第３相電極ＶΦ３は、感度Ｓ１，Ｓ２のそれぞれに対応するように、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの２系統に分けられているので、第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して独立に読出パルスを印加することができる。したがって、カラーフィルタの配列をベイヤ配列としたままで蓄積時間を変えることができる。蓄積時間の変更は、いわゆる電子シャッタ方式を利用すればよく、感度を可変制御にすることができ、ダイナミックレンジ拡大率を状況に合せて可変に制御することができる。
【０１１１】
また、２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して読出パルスを共通に印加した場合には、通常の読出し方と同じになるので、ノーマルモードとして使用することも可能である。つまり、図１１に示した電極構造によれば、カラーフィルタの配列をベイヤ配列としたままでシャッタ方式ＳＶＥを実現するとともに、ノーマルモードとＳＶＥモードの切替えに対応することができる。
【０１１２】
また、独立読出しを可能とした全画素読出方式撮像素子の３層目の電極（第３相電極ＶΦ３）を有効画素領域中において水平方向に延在した構造としたので、１層目、２層目、３層目の各転送電極に対応するそれぞれの転送パルスの伝播遅延がほぼ等しくなる。この結果、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。
【０１１３】
図１２は、図６に示した色・感度モザイクパターンＰ４ａについての電極構造の第２例を示す図である。画素配列、Ｖレジスタ、読出ゲートＲＯＧ、およびチャネルストップＬＣＳが設けられている点は、図１１に示した第１例と共通する。また、第１相電極ＶΦ１および第２相電極ＶΦ２の構造も、図１１に示した第１例と共通する。
【０１１４】
また、第３相電極ＶΦ３は、読出系統１の画素グループに対応する第３相電極ＶΦ３Ａと読出系統２の画素グループに対応する第３相電極ＶΦ３Ｂとに分けられており、それぞれ独立にパルスを印加できるようになっている。また、この２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂのそれぞれは、図中上方向および下方向の少なくとも一方に凸部が設けられ、この凸部の設けられる位置が感度Ｓ１あるいは感度Ｓ２の各設定に対応するように構成されている。これらの点は、図１１に示した第１例と共通する。
【０１１５】
第１例と異なるのは、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの凸部と感度Ｓ１，Ｓ２の各設定との対応関係である。すなわち、感度に拘わらず、図の上下方向である垂直方向に３画素並んだ真ん中の画素は、図中“下方向に設けられた凸部”に対応し、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。そして、この垂直方向に３画素並んだ真ん中の画素を除く全ての画素は、“図中上方向に設けられた凸部”に対応し、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１１６】
したがって、第１例と同様に、第３相電極ＶΦ３に読出パルスを印加した場合、読出ゲートＲＯＧのバリアを一時的に取り除き、対応する画素に蓄積されている電荷をＶレジスタに転送することが可能である。また、第１例と同様に、第３相電極ＶΦ３は、感度Ｓ１，Ｓ２のそれぞれに対応するように、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの２系統に分けられているので、第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して独立に読出パルスを印加することができ、カラーフィルタの配列をベイヤ配列としたままで蓄積時間を変えることができ、感度を可変制御にすることができる。
【０１１７】
また、第１例と同様に、２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して読出パルスを共通に印加した場合には、通常の読出し方と同じになるので、ノーマルモードとして使用することも可能である。つまり、図１２に示した第２例の電極構造によっても、カラーフィルタの配列をベイヤ配列としたままでシャッタ方式ＳＶＥを実現するとともに、ノーマルモードとＳＶＥモードの切替えに対応することができる。
【０１１８】
また、第１例と同様に、３層目の電極を有効画素領域中において水平方向に延在した構造としたので、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。
【０１１９】
図１３は、図７に示した色・感度モザイクパターンＰ４ｂについての電極構造の一例を示す図である。画素配列、Ｖレジスタ、読出ゲートＲＯＧ、およびチャネルストップＬＣＳが設けられている点は、図１１および図１２に示したものと共通する。また、第１相電極ＶΦ１および第２相電極ＶΦ２の構造も、図１１および図１２に示したものと共通する。
【０１２０】
また、第３相電極ＶΦ３は、読出系統１の画素グループに対応する第３相電極ＶΦ３Ａと読出系統２の画素グループに対応する第３相電極ＶΦ３Ｂとに分けられており、それぞれ独立にパルスを印加できるようになっている。また、この２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂのそれぞれは、図中上方向および下方向の少なくとも一方に凸部が設けられ、この凸部の設けられる位置が感度Ｓ１あるいは感度Ｓ２の各設定に対応するように構成されている。これらの点は、図１１および図１２に示したものと共通する。
【０１２１】
図１１および図１２に示したものと異なるのは、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの凸部と感度Ｓ１，Ｓ２の各設定との対応関係である。すなわち、一方の読出系統（図では読出系統１）の２×２画素のグループに対応する第３相電極ＶΦ３Ａは、該当する組の水平方向に隣接する２画素のそれぞれについて、各同一水平位置にて、図中上方向および下方向の両側に凸部が設けられており、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１２２】
これに対して、他方の読出系統（図では読出系統２）の２×２画素のグループに対応する第３相電極ＶΦ３Ｂは、該当する組の水平方向に隣接する２画素のそれぞれについて、各同一水平位置にて、上側の２画素は図中下方向に凸部が設けられ、また下側の２画素は図中上方向に凸部が設けられており、各凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１２３】
したがって、図１１および図１２に示したものと同様に、第３相電極ＶΦ３に読出パルスを印加した場合、読出ゲートＲＯＧのバリアを一時的に取り除き、対応する画素に蓄積されている電荷をＶレジスタに転送することが可能である。また、図１１および図１２に示したものと同様に、第３相電極ＶΦ３は、感度Ｓ１，Ｓ２のそれぞれに対応するように、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの２系統に分けられているので、第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して独立に読出パルスを印加することができ、カラーフィルタの配列をベイヤ配列としたままで、またベイヤ配列の隣接した２×２の繰り返し単位ごとに蓄積時間を変えることができる。また、感度を可変制御にすることができるので、ダイナミックレンジ拡大率を状況に合せて可変に制御することができる。
【０１２４】
また、図１１および図１２に示したものと同様に、２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して読出パルスを共通に印加した場合には、通常の読出し方と同じになるので、ノーマルモードとして使用することも可能である。つまり、図１３に示した電極構造によっても、カラーフィルタの配列をベイヤ配列としたままでシャッタ方式ＳＶＥを実現するとともに、ノーマルモードとＳＶＥモードの切替えに対応することができる。
【０１２５】
また、図１１および図１２に示したものと同様に、３層目の電極を有効画素領域中において水平方向に延在した構造としたので、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。
【０１２６】
図１４は、図８に示した色・感度モザイクパターンＰ４ｃについての電極構造の一例を示す図である。図１１〜図１３に示したものと異なるのは、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの凸部と感度Ｓ１，Ｓ２の各設定との対応関係である。すなわち、感度に拘わらず２×１画素のグループに対応する第３相電極ＶΦ３Ａ，ＶΦ３Ｂは、該当する組の水平方向に隣接する２画素のそれぞれについて、各同一水平位置にて、図中上方向または下方向の何れか一方に凸部が設けられており、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１２７】
そして、読出系統１の２×１画素のグループに対応する第３相電極ＶΦ３Ａの凸部の方向と読出系統２の２×１画素のグループに対応する第３相電極ＶΦ３Ｂの凸部の方向とが水平方向に交互に配置されている。これに対して、垂直方向には、同一の向きに配置されている。つまり、同一感度の水平方向２画素を感度を無視して垂直方向に見たとき、その水平方向２画素からなる垂直列は、全て上方向の凸部、または全て下方向の凸部となるように配置されている。
【０１２８】
このような電極構造においても、図１１〜図１３に示したものと同様に、第３相電極ＶΦ３に読出パルスを印加した場合、読出ゲートＲＯＧのバリアを一時的に取り除き、対応する画素に蓄積されている電荷をＶレジスタに転送することが可能である。また、図１１〜図１３に示したものと同様に、第３相電極ＶΦ３は、感度Ｓ１，Ｓ２のそれぞれに対応するように、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの２系統に分けられているので、第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して独立に読出パルスを印加することができ、カラーフィルタの配列をジグザグ状のベイヤ配列としたままで、そのベイヤ配列の隣接した２×１の繰り返し単位ごとに蓄積時間を変えることができる。また、感度を可変制御にすることができるので、ダイナミックレンジ拡大率を状況に合せて可変に制御することができる。
【０１２９】
また、図１１〜図１３に示したものと同様に、２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して読出パルスを共通に印加した場合には、通常の読出し方と同じになるので、ノーマルモードとして使用することも可能である。つまり、図１４に示した電極構造によっても、カラーフィルタの配列をベイヤ配列としたままでシャッタ方式ＳＶＥを実現するとともに、ノーマルモードとＳＶＥモードの切替えに対応することができる。
【０１３０】
また、図１１〜図１３に示したものと同様に、３層目の電極を有効画素領域中において水平方向に延在した構造としたので、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。
【０１３１】
以上説明したように、図１１〜図１４に示したような電極構造とすることで、カラーフィルタの配列をベイヤ配列としたままでシャッタ方式ＳＶＥを実現できるので、ＳＶＥモードでの解像度の低下を最小限に抑えながらダイナミックレンジの拡大率を可変にしたり、ノーマルモードとＳＶＥモードの切替えなどの機能を実現することができる。
【０１３２】
次に、画像処理部２７を中心とする画像処理系のモザイク処理、すなわちモザイク画像から元画像を復元する処理について説明する。なおその前に、以下の説明において用いる画素の位置座標の定義について、図１５を参照して説明する。
【０１３３】
図１５は、画像上の画素の位置を示す座標系（ｘ，ｙ）を示している。すなわち、画像の左下端を（０，０）とし、画像の右上端を（ｘｍａｘ，ｙｍａｘ）とする。図中に□で表されている各画素は、長さ１の横幅と縦幅を有し、格子上に配列されている。したがって、たとえば、左下端の画素の中心の座標は、（０．５，０．５）であり、右上端の画素の中心の座標は（ｘｍａｘ−０．５，ｙｍａｘ−０．５）である。また、以下の説明において、□で表されている各画素に対して位相が縦横に半画素ずれた画像データ（図中に●で表される位置の画素データ）を利用する場合があるが、たとえば、左下端の画素に対して縦横に半画素だけ位相がずれた画像データの座標は（１，１）である。
【０１３４】
次に、画像処理部２７を中心とする画像処理系のデモザイク処理の概要について説明する。デモザイク処理は、撮像部の処理によって得られた色・感度モザイク画像から輝度画像を生成する輝度画像生成処理、および、色・感度モザイク画像と輝度画像を用いて出力画像Ｒ，Ｇ，Ｂを生成する単色画像処理からなる。
【０１３５】
図１６は、デモザイク処理を主に実行する画像処理部２７の一構成例を示している。図１６に示す画像処理部２７の構成例において、撮像系からの色・感度モザイク画像、色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および、色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、輝度画像生成部１８１および単色画像生成部１８２〜１８４に供給される。
【０１３６】
なお、以下、特に断りがある場合を除き、色・感度モザイク画像は、図６〜図８の色・感度モザイクパターンＰ４ａ，Ｐ４ｂ，Ｐ４ｃであるとする。すなわち、画素の色は３原色ＲＧのうちのいずれかの色であり、感度はＳ１，Ｓ２のうちの一方であって、さらに、感度に拘わらず色だけに注目すれば、それらはベイヤ配列をなしている。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。
【０１３７】
図１７は、輝度画像生成部１８１の一構成例を示している。輝度画像生成部１８１は、供給される色・感度モザイク画像に対して輝度画像生成処理を施し、得られる輝度画像を単色画像生成部１８２〜１８４に供給する。
【０１３８】
単色画像生成部１８２は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｒを生成する。単色画像生成部１８３は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｇを生成する。単色画像生成部１８４は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｂを生成する。
【０１３９】
図１７に示す輝度画像生成部１８１の構成例において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、推定部１９１〜１９３に供給される。
【０１４０】
推定部１９１は、色・感度モザイク画像に対してＲ成分推定処理を施し、得られる各画素に対するＲ成分の推定値Ｒ’を乗算器１９４に供給する。推定部１９２は、色・感度モザイク画像に対してＧ成分推定処理を施し、得られる各画素に対するＧ成分の推定値Ｇ’を乗算器１９５に供給する。推定部１９３は、色・感度モザイク画像に対してＢ成分推定処理を施し、得られる各画素に対するＢ成分の推定値Ｂ’を乗算器１９６に供給する。
【０１４１】
乗算器１９４は、推定部１９１から供給される推定値Ｒ’に、色バランス係数ｋＲを乗算し、その積を加算器１９７に出力する。乗算器１９５は、推定部１９２から供給される推定値Ｇ’に、色バランス係数ｋＧを乗算し、その積を加算器１９７に出力する。乗算器１９６は、推定部１９３から供給される推定値Ｂ’に、色バランス係数ｋＢを乗算し、その積を加算器１９７に出力する。
【０１４２】
加算器１９７は、乗算器１９４から入力される積Ｒ’・ｋＲ、乗算器１９５から入力される積Ｇ’・ｋＧ、および乗算器１９６から入力される積Ｂ’・ｋＢを加算し、その和を画素値とする輝度候補画像を生成してノイズ除去部１９８に供給する。
【０１４３】
ここで、色バランス係数ｋＲ，ｋＧ，ｋＢは、予め設定されている値であり、たとえば、ｋＲ＝０．３、ｋＧ＝０．６、ｋＢ＝０．１である。なお、色バランス係数ｋＲ，ｋＧ，ｋＢの値は、基本的には輝度候補値として輝度変化に相関がある値を算出することができればよい。したがって、たとえば、ｋＲ＝ｋＧ＝ｋＢとしてもよい。
【０１４４】
ノイズ除去部１９８は、加算器１９７から供給される輝度候補画像に対してノイズ除去処理を施し、得られる輝度画像を単色画像生成部１８２〜１８４に供給する。
【０１４５】
図１８は、Ｒ用の推定部１９１が使用するＲ成分用の補間フィルタ係数の一例およびＢ用の推定部１９３が使用するＢ成分用の補間フィルタ係数の一例である。また、図１９は、Ｇ用の推定部１９１が使用するＧ成分用補間フィルタ係数の一例である。これらの係数は、予め図示しないメモリに設定登録されている。
【０１４６】
図２０〜図２２は、それぞれ推定部１９１，１９２，１９３が用いる合成感度補償ＬＵＴの一例を示す図である。図２０は、感度Ｓ１の画素の特性曲線ｂと、感度Ｓ２の画素の特性曲線ａを示しており、横軸は入射光の強度、縦軸は画素値を示す。同図において、高感度の感度Ｓ２は、低感度の感度Ｓ１に対して４倍の感度を有している。
【０１４７】
推定部１９１が行なう推定処理では、図２０の特性曲線ｂに示すような特性で測定された感度Ｓ１の画素から算出された第１の商と、同図の特性曲線ａに示すような特性で測定された感度Ｓ２の画素を用いて算出された第２の商とが加算されている。したがって、第１の商と第２の商の和は、図２１の特性曲線ｃに示すように、感度Ｓ１と感度Ｓ２の特性が合成された特性を有することになる。
【０１４８】
この合成された特性曲線ｃは、低輝度から高輝度にわたる広ダイナミックレンジの特性となるが、図２１に示すように折れ線となっているので、感度特性曲線ｃの逆特性曲線を用いることにより、元のリニアな特性を復元するようにする。具体的には、図２２に示すように、第１の商と第２の商の和を、図２１の感度特性曲線ｃの逆特性曲線ｄに適用して非線形性を補償するようにする。すなわち、合成感度補償ＬＵＴは、図２２の逆特性曲線ｄをルックアップテーブル化したものである。
【０１４９】
図２３は、単色画像生成部１８２の構成例を示す図である。単色画像生成部１８２において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部２０１に供給される。輝度画像は、比率算出部２０２、および乗算器２０３に供給される。
【０１５０】
補間部２０１は、色・感度モザイク画像に補間処理を施し、得られる全ての画素がＲ成分の画素値を有するＲ候補画像を比率値算出部２０２に出力する。比率値算出部２０２は、Ｒ候補画像と輝度画像の対応する画素間の強度比率の低周波成分（以下、単に強度比率と記述する）を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器２０３に供給する。
【０１５１】
乗算器２０３は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像Ｒを生成する。
【０１５２】
なお、単色画像生成部１８３，１８４の構成例も同様であるので、その説明は省略する。
【０１５３】
図２４は、比率値算出部２０２が使用する、平滑化フィルタ係数の一例を示す図である。この係数は、予め図示しないメモリに設定登録されている。
【０１５４】
図２５は、上記画像処理部２７の構成例によるデモザイク処理の手順を示すフローチャートである。
【０１５５】
輝度画像生成部１８１は、色・感度モザイク画像に輝度画像生成処理を施することによって輝度画像を生成し、単色画像生成部１８２〜１８４に供給する（Ｓ２１１）。
【０１５６】
ノイズ除去部１９８にてノイズ除去処理が終了されると、単色画像生成部１８２〜１８４は、供給された色・感度モザイク画像および輝度画像を用い、それぞれ出力画像Ｒ，Ｇ，Ｂを生成する（Ｓ２１２）。
【０１５７】
図２６は、輝度画像生成部１８１の輝度画像生成処理の手順を示すフローチャートである。
【０１５８】
推定部１９１〜１９３は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定する（Ｓ２２１）。そして、全ての画素を注目画素としていないと判定した場合、推定部１９１〜１９３は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ２２１−Ｎｏ，Ｓ２２２）。
【０１５９】
推定部１９１は、色・感度モザイク画像に対してＲ成分推定処理を施すことにより、注目画素に対応する推定値Ｒ’を推定し、乗算器１９４に供給する（Ｓ２２３）。推定部１９２は、色・感度モザイク画像に対してＧ成分推定処理を施すことにより、注目画素に対応する推定値Ｇ’を推定し、乗算器１９４に供給する。推定部１９３は、色・感度モザイク画像に対してＢ成分推定処理を施すことにより、注目画素に対応する推定値Ｂ’を推定し、乗算器１９４に供給する。
【０１６０】
乗算器１９４は、推定部１９１から供給された推定値Ｒ’に色バランス係数ｋＲを乗算し、その積を加算器１９７に出力する。乗算器１９５は、推定部１９２から供給された推定値Ｇ’に色バランス係数ｋＧを乗算し、その積を加算器１９７に出力する（Ｓ２２４）。乗算器１９６は、推定部１９３から供給された推定値Ｂ’に色バランス係数ｋＢを乗算し、その積を加算器１９７に出力する。加算器１９７は、乗算器１９４から入力された積Ｒ’・ｋＲ、乗算器１９５から入力された積Ｇ’・ｋＧ、および乗算器１９６から入力された積Ｂ’・ｋＢを加算し、その和を注目画素に対応する輝度候補画像の画素値（輝度候補値）とする。
【０１６１】
推定部１９１〜１９３は、ステップＳ２２１に戻り、全ての画素を注目画素としたと判定し終えるまで、ステップＳ２２１〜２２４の処理を繰り返す。なお、ステップＳ２２１〜２２４の処理によって生成された輝度候補画像はノイズ除去部１９８に供給される。
【０１６２】
推定部１９１〜１９３により全ての画素を注目画素としたと判定されると（Ｓ２２１−Ｙｅｓ）、ノイズ除去部１９８は、加算器１９７から供給される輝度候補画像にノイズ除去処理を施すことによって輝度画像を生成し、単色画像生成部１８２〜１８４に供給する（Ｓ２２５）。
【０１６３】
図２７は、推定部１９１のＲ成分推定処理の手順を示すフローチャートである。推定部１９１は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（たとえば、注目画素を中心とする１５×１５画素）のうち、Ｒ成分を有し、かつ、感度Ｓ１である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する（Ｓ２３１）。
【０１６４】
推定部１９１は、参照画素の注目画素に対する相対的な位置に対応し、図１８に示すような予め設定されているＲ成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する（Ｓ２３２）。さらに、その積の総和を、用いたＲ成分用補間フィルタ係数の総和で除算して第１の商を取得する。
【０１６５】
推定部１９１は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（たとえば、注目画素を中心とする１５×１５画素）のうち、Ｒ成分を有し、かつ、感度Ｓ２である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する（Ｓ２３３）。
【０１６６】
推定部１９１は、参照画素の注目画素に対する相対的な位置に対応し、Ｒ成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する（Ｓ２３４）。さらに、その積の総和を、用いた補間フィルタ係数の総和で除算して第２の商を取得する。
【０１６７】
推定部１９１は、ステップＳ２３２で取得した第１の商と、ステップＳ２３４で取得した第２の商を加算する（Ｓ２３５）。推定部１９１は、ステップＳ２３５で演算した第１の商と第２の商の和を、内蔵する合成感度補償ＬＵＴ（図２０〜図２２参照）に照らし合わせることにより、感度特性を補償した補償値を取得する（Ｓ２３６）。取得した補償値は、注目画素に対応する推定値Ｒ’とされる。この後、処理は図２６のステップＳ２２４にリターンする。
【０１６８】
なお、推定部１９２のＧ成分推定処理、および推定部１９３のＢ成分推定処理は、推定部１９１のＲ成分推定処理と同様であるので、その説明は省略する。ただし、推定部１９２のＧ成分推定処理においては、注目画素を中心とする７×７画素のなかから参照画素を検出するようにし、さらに、図１９に示すＧ成分用補間フィルタ係数を用いることにする。
【０１６９】
図２８は、ノイズ除去部１９８におけるノイズ除去処理の手順を示したフローチャートである。ノイズ除去部１９８は、輝度候補画像の全ての画素を注目画素としたか否かを判定する（Ｓ２４１）。そして、全ての画素を注目画素としていないと判定した場合、ノイズ除去部１９８は、輝度候補画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ２４１−Ｎｏ，Ｓ２４２）。
【０１７０】
ノイズ除去部１９８は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を取得し、取得した注目画素の上下左右に位置する画素輝度候補値を、それぞれ変数ａ３，ａ０，ａ１，ａ２に代入する（Ｓ２４３）。
【０１７１】
次に、ノイズ除去部１９８は、方向選択的平滑化処理を実行することにより、注目画素に対応する平滑化値を取得する（Ｓ２４４）。
【０１７２】
ノイズ除去部１９８は、注目画素の画素値（輝度候補値）と、ステップＳ２４４で演算した注目画素に対応する平滑化値αの平均値を演算し、当該平均値を注目画素に対応する輝度画像の画素値（輝度値）とする（Ｓ２４５）。
【０１７３】
ノイズ除去部１９８は、ステップＳ２４１に戻り、全ての画素を注目画素としたと判定するまで、ステップＳ２４１〜Ｓ２４５の処理を繰り返す。ノイズ除去部１９８は、全ての画素を注目画素としたと判定すると（Ｓ２４１−Ｙｅｓ）、ノイズ除去処理を終了する。これにより、輝度画像生成処理も終了されて、図２５のステップＳ２１２にリターンする。
【０１７４】
図２９は、ノイズ除去部１９８における方向選択的平滑化処理の手順を示すフローチャートである。ノイズ除去部１９８は、次式（２４）に適用して、注目画素に対応する輝度勾配ベクトルｇを算出する（Ｓ２５１）。
輝度勾配ベクトルｇ＝（ａ２−ａ１，ａ３−ａ０）…（２４）
【０１７５】
次に、ノイズ除去部１９８は、輝度勾配ベクトルｇの大きさ（絶対値）‖∇‖を演算する（Ｓ２５２）。また、ノイズ除去部１９８は、変数ａ０〜ａ３を次式（２５），（２６）に適用して、注目画素に対応する水平方向の平滑化成分Ｈｈと垂直方向の平滑化成分Ｈｖを演算する（Ｓ２５３）。
Ｈｈ＝（ａ１＋ａ２）／２ …（２５）
Ｈｖ＝（ａ３＋ａ０）／２ …（２６）
【０１７６】
次に、ノイズ除去部１９８は、輝度勾配ベクトルｇの絶対値‖ｇ‖に対応して、水平方向の重要度ｗｈと垂直方向の重要度ｗｖを演算する（Ｓ２５４）。具体的には、輝度勾配ベクトルｇの絶対値‖ｇ‖が０よりも大きい場合、次式（２７）に示すように、正規化した輝度勾配ベクトルｇ／‖ｇ‖とベクトル（１，０）との内積の絶対値を１から減算して水平方向の重要度ｗｈを得る。また、次式（２８）に示すように、正規化した輝度勾配ベクトルｇ／‖ｇ‖とベクトル（０，１）との内積の絶対値を１から減算して垂直方向の重要度ｗｖを得る。
ｗｈ＝１−｜（ｇ／‖ｇ‖，（１，０））｜ …（２７）
ｗｖ＝１−｜（ｇ／‖ｇ‖，（０，１））｜ …（２８）
【０１７７】
輝度勾配ベクトルｇの絶対値‖ｇ‖が０である場合、ノイズ除去部１９８は、水平方向の平滑化寄与率ｗｈおよび垂直方向の平滑化寄与率ｗｖを、それぞれ０．５とする。
【０１７８】
次に、ノイズ除去部１９８は、次式（２９）を用いて注目画素に対応する平滑化値αを演算する（Ｓ２５５）。
α＝（ｗｈ・Ｈｈ＋ｗｖ・Ｈｖ）／（ｗｈ＋ｗｖ） …（２９）
【０１７９】
図３０は、単色画像生成部１８２における単色画像生成処理の手順を示したフローチャートである。
【０１８０】
補間部２０１は、色・感度モザイク画像に補間処理を施すことによって、全ての画素がＲ成分の画素値を有するＲ候補画像を生成し、比率値算出部２０２に出力する（Ｓ２６１）。なお、補間部２０１の補間処理は、図２７のフローチャートを参照して上述した輝度画像生成部１８１を構成する推定部１９１のＲ成分推定処理と同様であるので、その説明は省略する。
【０１８１】
比率値算出部２０２は、比率値算出処理を施すことによって強度比率を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器２０３に供給する（Ｓ２６２）。
【０１８２】
乗算器２０３は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像Ｒを生成する（Ｓ２６３）。
【０１８３】
なお、単色画像生成部１８２の単色画像生成処理と同時に、単色画像生成部１８３，１８４も、同様の処理を実行する。
【０１８４】
図３１は、比率値算出部２０２における比率値算出処理の手順を示したフローチャートである。比率値算出部２０２は、Ｒ候補画像の全ての画素を注目画素としたか否かを判定する（Ｓ２７１）。そして、全ての画素を注目画素としていないと判定した場合、比率値算出部２０２は、Ｒ候補画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ２７１−Ｎｏ，Ｓ２７２）。
【０１８５】
次に、比率値算出部２０２は、注目画素の近傍に位置する画素（たとえば、注目画素を中心とする７×７画素）を参照画素し、それらの画素値（Ｒ成分の単色候補値）を取得する。また、比率値算出部２０２は、参照画素と同じ座標に位置する輝度画像の画素値（輝度値）を抽出する（Ｓ２７３）。
【０１８６】
比率値算出部２０２は、参照画素の注目画素に対する相対的な位置に対応し、図２４に示すように予め設定されている平滑化フィルタ係数を参照画素の数だけ取得する（Ｓ２７４）。
【０１８７】
比率値算出部２０２は、各参照画素のＲ成分の単色候補値に対応する平滑化フィルタ係数を乗算し、その積を対応する輝度値で除算して、それらの商の総和を演算する。さらに、その商の総和を、用いた平滑化フィルタ係数の総和で除算して、その商を注目画素に対応する強度比率として、比率値情報を生成する（Ｓ２７５）。
【０１８８】
比率値算出部２０２は、ステップＳ２７１に戻り、Ｒ候補画像の全ての画素を注目画素としたと判定するまで、ステップＳ２７１〜Ｓ２７５の処理を繰り返す。そして、比率値算出部２０２は、Ｒ候補画像の全ての画素を注目画素としたと判定すると（Ｓ２７１−Ｙｅｓ）、生成した比率値情報を乗算器２０３に供給する。そして、処理は図３０のステップＳ２６３にリターンする。
【０１８９】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０１９０】
また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０１９１】
たとえば、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、たとえば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１９２】
この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）を含む）、光磁気ディスク（ＭＤ（Ｍｉｎｉ Ｄｉｓｃ ）を含む）、もしくは半導体メモリなどよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭやハードディスクなどで構成される。
【０１９３】
また、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行なわれる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１９４】
【発明の効果】
以上のように、先ず、読出電極を独立に制御可能な複数系統に分け、それぞれの読出電極を蓄積時間の違う信号に対応させ、感度特性の切替えを露光時間制御で電子的に実現する構成とした。このとき、読出電極を、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置されるようにした。
【０１９５】
こうすることで、ＮＤ方式ＳＶＥが持つカラーフィルフィルタ配列の柔軟性を享受でき、かつ、シャッタ方式ＳＶＥが持つ感度制御の柔軟性を享受することができるようになった。
【０１９６】
そしてこれにより、カラーフィルタの配列をベイヤ配列などの格子状配列としたままでシャッタ方式ＳＶＥを実現できるので、ＳＶＥモードでの解像度の低下を最小限に抑えながらダイナミックレンジの拡大率を可変にしたり、ノーマルモードとＳＶＥモードの切替えなどの機能を実現することができるようになった。
【０１９７】
つまり、全画素読出方式の撮像装置であっても、広ダイナミックレンジのカラー画像の撮像と、通常ダイナミックレンジの高解像度カラー画像の撮像とを両立することができるようになった。
【図面の簡単な説明】
【図１】本発明に係る撮像装置を適用したデジタルスチルカメラの構成を示す図である。
【図２】操作部の一例を説明する図である。
【図３】本実施形態のデジタルスチルカメラの動作の概要を説明する図である。
【図４】第１の特徴を呈する色・感度モザイクパターンＰ１を示す図である。
【図５】第２および第３の特徴を呈する色・感度モザイクパターンＰ３を示す図である。
【図６】第４の特徴を呈する色・感度モザイクパターンＰ４ａを示す図である。
【図７】第４の特徴を呈する色・感度モザイクパターンＰ４ｂを示す図である。
【図８】第４の特徴を呈する色・感度モザイクパターンＰ４ｃを示す図である。
【図９】全画素読出しにおいて感度のモザイク配列を電子的に実現するための露光制御の第１例を説明する図である。
【図１０】全画素読出しにおいて感度のモザイク配列を電子的に実現するための露光制御の第２例を説明する図である。
【図１１】図６に示した色・感度モザイクパターンＰ４ａについての電極構造の第１例を示す図である。
【図１２】図６に示した色・感度モザイクパターンＰ４ａについての電極構造の第２例を示す図である。
【図１３】図７に示した色・感度モザイクパターンＰ４ｂについての電極構造の一例を示す図である。
【図１４】図８に示した色・感度モザイクパターンＰ４ｃについての電極構造の一例を示す図である。
【図１５】画像上における画素の位置座標の定義を説明する図である。
【図１６】デモザイク処理を主に実行する画像処理部の一構成例を示している。
【図１７】輝度画像生成部の一構成例を示している。
【図１８】Ｒ用の推定部が使用するＲ成分用の補間フィルタ係数の一例およびＢ用の推定部が使用するＢ成分用の補間フィルタ係数の一例である。
【図１９】Ｇ用の推定部が使用するＧ成分用補間フィルタ係数の一例である。
【図２０】Ｒ用の推定部が用いる合成感度補償ＬＵＴについて説明するための図である。
【図２１】Ｇ用の推定部が用いる合成感度補償ＬＵＴについて説明するための図である。
【図２２】Ｂ用の推定部が用いる合成感度補償ＬＵＴについて説明するための図である。
【図２３】単色画像生成部の構成例を示す図である。
【図２４】比率値算出部が使用する、平滑化フィルタ係数の一例を示す図である。
【図２５】画像処理部の構成例によるデモザイク処理の手順を示すフローチャートである。
【図２６】輝度画像生成部の輝度画像生成処理の手順を示すフローチャートである。
【図２７】Ｒ用の推定部におけるＲ成分推定処理の手順を示すフローチャートである。
【図２８】ノイズ除去部におけるノイズ除去処理の手順を示したフローチャートである。
【図２９】ノイズ除去部における方向選択的平滑化処理の手順を示すフローチャートである。
【図３０】単色画像生成部における単色画像生成処理の手順を示したフローチャートである。
【図３１】比率値算出部における比率値算出処理の手順を示したフローチャートである。
【符号の説明】
１…デジタルスチルカメラ、２…光学系、３…信号処理系、４…記録系、５…表示系、６…制御系、２４…ＣＣＤイメージセンサ、２５…ＣＤＳ回路、２６…Ａ／Ｄ変換回路、２７…画像処理部、１８１…輝度画像生成部、１８２…単色画像生成部、１８３…単色画像生成部、１８４…単色画像生成部、１９１…推定部、１９２…推定部、１９３…推定部、１９４…乗算器、１９５…乗算器、１９６…乗算器、１９７…加算器
【発明の属する技術分野】
本発明は、カラー画像を撮像する撮像装置および撮像方法に関する。より詳細には、撮像された被写体画像のダイナミックレンジを向上させる技術に関する。
【０００２】
【従来の技術】
【特許文献１】
特開平８−２２３４９１号公報
【特許文献２】
特開平７−２５４９６５号公報
【特許文献３】
特開平７−２５４９６６号公報
【特許文献４】
特開平８−３４０４８６号公報
【特許文献５】
特開平１０−０６９０１１号公報
【特許文献６】
米国特許第５８０１７７３号明細書
【特許文献７】
特開平８−３３１４６１公報
【特許文献８】
特開平７−２５４９６５公報
【特許文献９】
特開平６−１４１２２９号公報
【特許文献１０】
米国特許第５４２０６３５号明細書
【特許文献１１】
米国特許第５４５５６２１号明細書
【特許文献１２】
米国特許第５８０１７７３号明細書
【特許文献１３】
米国特許第５６３８１１８号明細書
【特許文献１４】
米国特許第５３０９２４３号明細書
【特許文献１５】
米国特許第５７８９７３７号明細書
【特許文献１６】
特開昭５９−２１７３５８号公報
【特許文献１７】
米国特許第５４２０６３５号明細書
【特許文献１８】
特開２０００−６９４９１号公報
【特許文献１９】
特開平９−１９１０９９号公報
【特許文献２０】
ＵＳＡＰＰ ０９／３２６，４２２号明細書
【特許文献２１】
特開２００２−１１２１２０号公報
【非特許文献１】
「１／２インチ３３万画素正方格子全画素読出方式ＣＣＤ撮像素子」、テレビジョン学会技術報告 情報入力、情報ディスプレイ１９９４年１１月、ｐ７−１２
【非特許文献２】
Ｓ．Ｋ．Ｎａｙａｒ ａｎｄ Ｔ．Ｍｉｔｓｕｎａｇａ，”Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｉｎｇ：Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ Ｐｉｘｅｌ Ｅｘｐｏｓｕｒｅｓ”，Ｐｒｏｃ． ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ２０００，Ｖｏｌ．１，ｐｐ．４７２−４７９，Ｊｕｎｅ，２０００
【０００３】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのような固体撮像素子が、ビデオカメラやディジタルスチルカメラなどの撮像装置、ＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）の分野における部品検査装置、あるいはＭＥ（Ｍｅｄｉｃａｌ Ｅｌｅｃｔｒｏｎｉｃｓ）の分野における電子内視鏡などの光計測装置に幅広く利用されている。
【０００４】
従来、全画素読出し（ＰＳ；Ｐｒｏｇｒｅｓｓｉｖｅ Ｓｃａｎ）の画素構造として、非特許文献１には、３層電極３相駆動のものが知られている。この全画素読出方式の撮像素子は、読出電極を兼ねる３層目の転送電極が有効画素領域中において垂直方向に延在した構造となっている。
【０００５】
一方、固体撮像素子を用いた撮像装置や光計測機器などにおいては、ダイナミックレンジを向上させるために、異なる感度の光電変換素子（フォトダイオードなどの受光素子）を利用して画像を撮像し、撮像により得られた光強度信号を合成する手法が種々提案されている。
【０００６】
特許文献１〜６に記載の手法（以下第１の手法という）は、光学的に複数の透過率の異なる光軸に分岐させた入射光をそれぞれの光軸上に配置させた固体撮像素子で計測するというものである。しかしながら、第１の手法は、複数の固体撮像素子および光を分岐させる複雑な光学系が必要となるので、製造コストや装置規模が大きくなってしまうため、省コスト化や省スペース化の面で不利である。
【０００７】
また、特許文献７〜１４に記載の手法（以下第２の手法という）は、１つの固体撮像素子を用いて、その露光時間を複数に分割し、異なる時刻でかつ異なる時間幅で複数枚の画像を撮像した後、それらを合成するというものである。しかしながら、第２の手法は、異なる感度で計測された情報は異なる時刻に撮像されたものであり、かつ、異なる時間幅で撮像されているので、光強度が時々刻々と変化するような動的なシーン（画像）を正しく撮像することができない。
【０００８】
さらに、特許文献１５〜１８に記載の手法（以下第３の手法という）は、１つの固体撮像素子を用い、固体撮像素子の撮像面で互いに隣接する複数の受光素子を１組として、受光素子の１組を出力画像の１画素に対応させるようにし、１組を構成する複数の受光素子の感度をそれぞれ異なるように設定して撮像した後、複数の異なる感度の受光素子で計測された信号を合成させるというものである。これらにおいては、１つの固体撮像素子を構成する受光素子のそれぞれの感度を変化させる方法としては、各受光素子を透過率の異なるＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタで覆う方法がある。また、特に特許文献１８に記載のものは、第３の手法をカラー画像に適応するというものである。
【０００９】
第３の手法は、第１の手法において問題であった省コスト化や省スペース化の面で有利となる。また、第２の手法において問題であった動的シーンを正しく撮像できないことを解決することができる。
【００１０】
しかしながら、第３の手法では、隣接する複数の受光素子を１組として出力画像の１画素に対応させるので、出力画素の解像度を確保するためには、出力画像の画素数の数倍の受光素子からなる撮像素子が必要であり、ユニットセルサイズが大きくなる。
【００１１】
また、第３の手法は、透過率の異なるＮＤフィルタで受光素子を覆うことで感度制御を行なうので、固体撮像素子の製造時に各受光素子の感度が固定されることになり、感度を可変制御にすることができなくなり、ダイナミックレンジ拡大率を状況に合せて可変に制御することが困難になる。
【００１２】
この各受光素子の感度が固定されることにより、ダイナミックレンジ拡大率を状況に合せて可変に制御することが困難になるという課題に対して、特許文献１９には、第１の蓄積時間の後に、選択された列の信号を読出し、その後、電子シャッタをかけ、続く第２の蓄積時間の後に、上記列以外の列の信号を読み出すことによりダイナミックレンジを拡大することが記載されている。しかしながら、この手法でも、フィルタで受光素子を覆う手法のような感度の空間パターンの設計に自由度がないという問題があり、たとえば、垂直方向に３種類以上の複数の露光時間を有する信号を得ることができない。
【００１３】
さらに、特許文献２０および非特許文献２に記載の手法（以下第４の手法という）は、通常のダイナミックレンジを有する撮像素子に、出力画像の１画素に対応する１つの受光素子ごと、その露出が異なるような仕組みを施して撮像し、得られた画像信号に所定の画像処理を施して広ダイナミックレンジの画像信号を生成するというものである。受光素子ごとの露出が異なるような仕組みは、受光素子ごとに光の透過率や開口率を変えたりすることによって、空間的な感度のパターンをつくることにより実現する。つまり、解像度（つまり画素数）方向に余裕のある能力をダイナミックレンジ向上に振り分けるもので、ＳＶＥ（Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ Ｅｘｐｏｓｕｒｅ）方式と称するものである。
【００１４】
この第４の手法（ＳＶＥ方式）では、各受光素子は１種類の感度だけを有する。よって、撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報しか取得することができないが、得られた画像信号に所定の画像処理を施し、全ての画素の感度が均一になるようにすることによって、結果的にダイナミックレンジが広い画像を生成することができる。また、全ての受光素子が同時に露光するので、動きのある被写体を正しく撮像することができる。さらに、１つの受光素子が出力画像の１画素に対応しているので、ユニットセルサイズが大きくなる問題も生じない。つまり、ＳＶＥ方式では、第１〜第３の手法の問題を解決することが可能である。
【００１５】
このＳＶＥ方式を実現するための固体撮像素子の構造およびその駆動方法としては、たとえば、特許文献２１に、電子シャッタ機能を利用して各受光素子の露出時間をいくつかのパターンで変化させる露出モードを設けるシャッタ方式ＳＶＥというものが提案されている。また本願出願人は、整理番号００００７４０５０２（提出日；平成１３年１月９日）の出願明細書にて、前述の第３の手法と同様に、透過率の異なるフィルタで受光素子を覆うＮＤフィルタ方式ＳＶＥを提案している。
【００１６】
【発明が解決しようとする課題】
ところで、ＳＶＥ方式としつつ全画素読出し（ＰＳ；Ｐｒｏｇｒｅｓｓｉｖｅ Ｓｃａｎ）方式のカラー用固体撮像素子とする場合、色信号を分離するためのフィルタ（以下カラーフィルタという）の配列（アレイ）を、ベイヤ（Ｂａｙｅｒ ；緑市松ともいう）配列などの格子状とすることが望ましい。ベイヤ配列などにすれば、従来の色信号処理を流用することができ、また原色色フィルタを使用するので色再現性が良好であることと、垂直方向および水平方向の解像度を高くとれるという、利点を享受することができるからである。
【００１７】
しかしながら、ＳＶＥ方式を全画素読出しの単版カラー固体撮像素子で実現しようとした場合において、シャッタ方式ＳＶＥの場合は、受光素子（センサ）に蓄積された信号の読出し方法の制限から高感度画素と低感度画素の配列方法に制限があり、カラーフィルタの配列をベイヤ配列とすることが難しく、ＮＤフィルタ方式ＳＶＥと比較した場合において解像度の低下が発生していた。
【００１８】
つまり、特許文献２０および非特許文献２に記載のものは、モノクロ画像を生成することを前提としたもので、カラー画像を生成することについては、その技術が確立されていない。具体的には、画素ごとに色や感度が異なる画像から、全ての画素について、全ての色成分の画像信号を生成し、かつ、感度を均一化する技術を開示していない。
【００１９】
一方、整理番号００００７４０５０２の出願明細書で提案したＮＤフィルタ方式ＳＶＥの場合は、高感度画素と低感度画素の配列方法に制限がない、つまりＳＶＥ感度配列に自由度があるので、カラーフィルタの配列を格子状（たとえばベイヤ配列）にすることができ、解像度の低下はシャッタ方式ＳＶＥと比較して改善することができる。しかしながら、前述の第３の手法と同様に、透過率の異なるＮＤフィルタで受光素子を覆うことで感度制御を行なうので、固体撮像素子の製造時に各受光素子の感度が固定されることになり、感度を可変制御にすることができなくなり、ダイナミックレンジ拡大率を状況に合せて可変に制御することが困難になる。つまり、ノーマルモードとＳＶＥモードの切替えに対応できないので、ダイナミクレンジがあまり必要でないときの解像度の低下が問題になる。
【００２０】
このように、従来提案されているＳＶＥ方式を全画素読出しの単版カラー撮像素子に適用する場合、広ダイナミックレンジのカラー画像の撮像と、通常ダイナミックレンジの高解像度カラー画像の撮像とを両立する技術が確立していない。
【００２１】
本発明は、上記事情に鑑みてなされたものであり、広ダイナミックレンジのカラー画像の撮像と、通常ダイナミックレンジの高解像度カラー画像の撮像とを切替使用可能な撮像方法および撮像装置を提供することを目的とする。
【００２２】
【課題を解決するための手段】
すなわち、本発明に係る撮像装置は、複数の色成分のうちの何れかの色成分を有するとともに受光した光を光電変換して電荷を蓄積する水平方向および垂直方向に配置された複数の受光素子を具備する光電変換手段（センサ）と、受光素子により蓄積された電荷を垂直方向に転送する垂直転送レジスタと、受光素子により蓄積された電荷を垂直転送レジスタに転送する転送ゲートとを備えた撮像装置であって、先ず光電変換手段を、感度特性に拘わらず、同一の色成分を有する受光素子が格子状に配置されたものとした。
【００２３】
また、同一の色成分を有するとともに電荷の蓄積時間に対応する同一の感度特性を呈する受光素子が格子状に配置されるように、それぞれ異なる蓄積時間に応じて独立に駆動電圧を転送ゲートに印加することができるように、複数系統のゲート電極（読出電極）を設けた。つまり、読出電極を複数系統設け、それぞれの読出電極を蓄積時間の違う信号に対応させた。
【００２４】
また、ゲート電極を、垂直転送レジスタにて電荷を垂直方向に転送させるための転送電極を兼ねる構成とするとともに、有効画素領域中において水平方向に延在して配置するとさらに好ましい。
【００２５】
なお、このような電極構造のセンサは、全画素読出方式のものに適用すると好適である。また、複数の色成分を３原色成分とし、その色配列を、感度特性に拘わらず、３原色成分がベイヤ配列をなすように配置されているものとするとさらに好ましい。
【００２６】
電極構造の具体的な形態としては、たとえば、以下のようなものが好ましい。第１には、色成分に拘わらず、同一の感度特性を呈する受光素子が、垂直方向にＭ（Ｍは正の整数）個の連続した受光素子を含み、かつそのＭ個の垂直列の端部に位置する受光素子を基点として水平方向にＮ（Ｎは正の整数）個の連続した受光素子を含む組を１つの単位として繰り返し配置されるように、複数系統のゲート電極を設けるとよい。第１の形態は、複数系統の読出電極が斜め方向の列ごとに受光素子に蓄積された信号電荷を独立に読み出せるような電極構造となる。
【００２７】
また第２には、色成分に拘わらず、同一の感度特性を呈する受光素子が、水平方向にＮ（Ｎは正の整数）個で垂直方向にＭ（Ｍは正の整数）個からなるＮ×Ｍ個の２次元状の組を１つの単位とし、同一の感度特性を呈する組が格子状に配置されるように、複数系統のゲート電極を設けるとよい。
【００２８】
この第２の電極構造の変形例としては、垂直方向を１個（Ｍ＝１）とする形態が考えられる。こうすることで、同一の感度特性を呈するＮ×１個の２次元状の組がジグザグ状に配置される。つまり、複数系統の読出電極が受光素子に蓄積された信号電荷をジグザグに独立に読み出せるような電極構造となる。
【００２９】
このような電極構造を有するセンサを使用する場合、複数系統のゲート電極のそれぞれに対応して、蓄積時間の異なる信号に対応した電子シャッタパルスを駆動電圧として印加するパルス駆動部を備えた構成とする。つまり、感度特性の切替えを露光時間制御で電子的に実現する。
【００３０】
また、それぞれ異なる蓄積時間に応じて光電変換手段により撮像された複数系統の撮像信号に基づいて、信号処理により画像のダイナミックレンジを拡大する信号処理部を備えた構成とする。
【００３１】
本発明に係る撮像方法は、本発明に係る撮像装置を利用した撮像方法である。すなわち、各々受光素子に対応する各画素が複数の色成分のうちの何れかの色成分を有し、かつ、光強度に対する複数の感度特性のうちの何れかの感度特性を呈する色・感度モザイク画像を取得して被写体画像を撮像する撮像方法であって、同一の色成分を有するとともに電荷の蓄積時間に対応する同一の感度特性を呈する受光素子が格子状に配置されるように、それぞれ異なる蓄積時間に応じて独立に駆動電圧を印加可能に設けられた複数系統のゲート電極を備えている撮像装置を使用する。そして、複数系統のゲート電極のそれぞれに対応して、積時間の異なる信号に対応した電子シャッタパルスを駆動電圧として印加することで、それぞれ異なる蓄積時間に応じた複数系統の撮像信号を取得する。さらに、この取得した複数系統の撮像信号に基づいて、信号処理により被写体画像のダイナミックレンジを拡大する。
【００３２】
【作用】
上記構成においては、先ず、センサに読出電極として複数系統設け、それぞれの読出電極を蓄積時間の違う信号に対応させ、感度特性の切替えを露光時間制御で電子的に実現する構成とした。このとき、読出電極が、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置されるようにした。こうすることで、ＮＤ方式ＳＶＥが持つカラーフィルフィルタ配列の柔軟性を享受できるととともに、シャッタ方式ＳＶＥが持つ感度制御の柔軟性を享受する。
【００３３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００３４】
図１は、本発明に係る撮像装置を適用したデジタルスチルカメラの構成を示す図である。このディジタルスチルカメラ１は、大別して光学系２、信号処理系３、記録系４、表示系５、および制御系６から構成されている。
【００３５】
光学系２は、シャッタ２１、被写体の光画像を集光するレンズ２２、光画像の光量を調整する絞り２３、および集光された光画像を光電変換して広ダイナミックレンジの電気信号に変換するＣＣＤイメージセンサ２４から構成されている。図示しない被写体からの光Ｌは、シャッタ２１およびレンズ２２を透過し、絞り２３により調整されて、適度な明るさでＣＣＤイメージセンサ２４に入射する。このとき、レンズ２２は、図示せぬ被写体からの光Ｌからなる映像が、ＣＣＤイメージセンサ２４上で結像されるように焦点位置を調整する。
【００３６】
信号処理系３は、ＣＣＤイメージセンサ２４からの電気信号をサンプリングすることによってノイズを低減させるＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング）回路２５、ＣＤＳ回路２５が出力するアナログ信号をディジタル信号に変換するＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換回路２６、Ａ／Ｄ変換回路２６から入力されるディジタル信号に所定の画像処理を施すＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で構成された画像処理部２７から構成される。
【００３７】
ＣＣＤイメージセンサ２４は、複数の受光素子により構成されており、レンズ２２および絞り２３を介して入射された光Ｌを光電変換し、映像を電気信号に変換して、後段のＣＤＳ回路２５に出力する。
【００３８】
ＣＤＳ回路２５は、ＣＣＤイメージセンサ２４より入力される信号を基準信号と比較し、その差電圧をサンプリングし、これを映像信号としてＡ／Ｄ変換回路２６に出力する。Ａ／Ｄ変換回路２６は、ＣＤＳ回路２５より入力されたアナログ信号をデジタル信号に変換し、画像処理部２７に出力する。
【００３９】
記録系４は、画像信号を記憶するフラッシュメモリなどの記録媒体（メモリ）２９、画像処理部２７が処理した画像信号を符号化してメモリ２９に記録し、また、読み出して復号し、画像処理部２７に供給するＣＯＤＥＣ（Ｃｏｍｐｒｅｓｓｉｏｎ／Ｄｅｃｏｍｐｒｅｓｓｉｏｎ）２８から構成されている。画像処理部２７は、中央制御部３４により制御され、Ａ／Ｄ変換回路２６より入力された信号を所定の映像データに変換し、Ｄ／Ａ変換回路３０、またはＣＯＤＥＣ２８に出力する。また、画像処理部２７は、ＣＯＤＥＣ２８より入力された映像データをＤ／Ａ変換回路３０に出力する。ＣＯＤＥＣ２８は、画像処理部２７より入力された映像データを所定の方法でコーディングし、メモリ２９に記憶させるとともに、メモリ２９に記憶されているデータを読み出し、デコードして画像処理部２７に出力する。
【００４０】
画像処理部２７は、それぞれ異なる蓄積時間に応じて撮像された複数系統の撮像信号に基づいて、信号処理により画像のダイナミックレンジを拡大する信号処理部としての機能を備える。この信号処理に際しては、異なる感度で撮像されたモザイク画像を元にして、補間処理にて、正常な被写体画像を取得する。補間処理は、カラーフィルタの色配列や感度の配列に応じて、その仕組みを工夫する。
【００４１】
表示系５は、画像処理部２７が処理した画像信号をアナログ化するＤ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換回路３０、入力されるビデオ信号に対応する画像を表示することによりファインダとして機能するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などよりなるビデオモニタ３２、およびアナログ化された画像信号を後段のビデオモニタ３２に適合する形式のビデオ信号にエンコードするビデオエンコーダ３１から構成されている。Ｄ／Ａ変換回路３０は、画像処理部２７より入力された映像データのデジタル信号をアナログ信号に変換し、ビデオエンコーダ３１に出力する。ビデオエンコーダ３１は、Ｄ／Ａ変換回路３０より入力されたアナログ信号の映像データを所定のビデオ信号に変換し、ビデオモニタ３２に出力し、映像を表示させる。
【００４２】
制御系６は、先ず、図示しないドライブ（駆動装置）を制御して磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリに記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、あるいはユーザからのコマンドなどに基づいてディジタルスチルカメラ１の全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ ）などよりなる中央制御部３４を備える。この中央制御部３４は、デジタルスチルカメラ１のバス３３に接続された画像処理部２７、ＣＯＤＥＣ２８、メモリ２９、絞りコントローラ３５、およびタイミングジェネレータ３６を制御している。
【００４３】
また制御系６は、画像処理部２７に送られた画像の明るさが適度な明るさを保つように絞り２３を制御する絞りコントローラ３５、ＣＣＤイメージセンサ２４から画像処理部２７までの各機能部の動作タイミングを制御するタイミングジェネレータ（ＴＧ）３６、ユーザがシャッタタイミングやその他のコマンドを入力する操作部３７を有する。
【００４４】
絞りコントローラ３５は、画像処理部２７に送られた画像の明るさが適度な明るさを保つようにその制御値が中央制御部３４により設定され、その制御値に従って絞り２３を制御する。具体的には、中央制御部３４が画像処理部２７に保持されている画像から適当な個数の輝度値のサンプルを獲得し、その平均値があらかじめ定められた適当とされる輝度の範囲に収まるように絞り２３の制御値を設定する。
【００４５】
タイミングジェネレータ３６は、中央制御部３４により制御され、ＣＣＤイメージセンサ２４、ＣＤＳ回路２５、Ａ／Ｄ変換回路２６、および画像処理部２７の動作に必要とされるタイミングパルスを発生し、供給する。操作部３７は、ユーザが、デジタルスチルカメラ１を動作させるとき操作される。
【００４６】
このデジタルスチルカメラ１において、被写体の光学画像（入射光）は、レンズ２２および絞り２３を介してＣＣＤイメージセンサ２４に入射され、ＣＣＤイメージセンサ２４によって光電変換され、得られた電気信号は、ＣＤＳ回路２５によってノイズが除去され、Ａ／Ｄ変換回路２６によってディジタル化された後、画像処理部２７が内蔵する画像メモリに一時格納される。
【００４７】
なお、通常の状態では、タイミングジェネレータ３６による信号処理系に対する制御により、画像処理部２７が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部２７が内蔵する画像メモリの画像信号は、Ｄ／Ａ変換回路３０によってアナログ信号に変換され、ビデオエンコーダ３１によってビデオ信号に変換されて対応する画像がビデオモニタ３２に表示される。
【００４８】
ビデオモニタ３２は、デジタルスチルカメラ１のファインダの役割も担っている。ユーザが操作部３７に含まれるシャッタボタンを押下した場合、中央制御部３４は、タイミングジェネレータ３６に対し、シャッタボタンが押下された直後の画像信号を取り込み、その後は画像処理部２７の画像メモリに画像信号が上書きされないように信号処理系３を制御させる。その後、画像処理部２７の画像メモリに書き込まれた画像データは、ＣＯＤＥＣ２８によって符号化されてメモリ２９に記録される。以上のようなデジタルスチルカメラ１の動作によって、１枚の画像データの取り込みが完了する。
【００４９】
図２は、操作部３７の一例を説明する図である。ここで、図２（Ａ）はキー操作部の詳細を示し、図２（Ｂ）および図２（Ｃ）は動作モードの遷移を示す。
【００５０】
図２（Ａ）に示すように、操作部３７のキャプチャボタン４１は、プッシュボタンで構成され、静止画を撮像するとき、ユーザにより押下される。アクションモード切替スイッチ４２は、アクションモードを設定するための上下にスライドする切替スイッチであり、図中上段から“ｒｅｃｏｒｄ”、“ｏｆｆ ”、および、“ｐｌａｙ”の文字が表示されており、セットされた位置のアクションモードに設定される。今の場合、アクションモード切替スイッチ４２は、“ｏｆｆ”の位置にセットされている。
【００５１】
露出モード切替スイッチ４３は、露出モードを切替えるスイッチであり、図中上段から“ＳＶＥ（Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ Ｅｘｐｏｓｕｒｅ）”、および、“ｎｏｒｍａｌ”の文字が表示されており、スイッチがセットされた位置の露出モードに設定される。今の場合、露出モード切替スイッチ４３は、“ｎｏｒｍａｌ”の位置にセットされている。
【００５２】
アクションモード切替スイッチ４２が、“ｏｆｆ”の位置にセットされているとき、アクションモードは、図２（Ｂ）の状態遷移図の「ｏｆｆ状態」となっており、デジタルスチルカメラ１は停止した状態になっている。
【００５３】
この状態から、アクションモード切替スイッチ４２が、上方向にスライドされて“ｒｅｃｏｒｄ”の位置にセットされると、アクションモードは、図２（Ｂ）の番号１に示すように、「ｏｆｆ状態」から「モニタ状態」に遷移する。
【００５４】
「モニタ状態」のとき、デジタルスチルカメラ１は、中央制御部３４が、タイミングジェネレータ３６を制御してドラフト読出用のタイミングパルスを出力させる。これに基づいて、ＣＣＤイメージセンサ２４、ＣＤＳ回路２５、Ａ／Ｄ変換回路２６、画像処理部２７は、シャッタ２１、レンズ２２、および絞り２３を透過した光Ｌからなる映像を、画像信号としてドラフト読出しし、Ｄ／Ａ変換回路３０に出力する。Ｄ／Ａ変換回路３０は、入力された画像信号をデジタル信号からアナログ信号に変換し、ビデオエンコーダ３１に出力する。さらに、ビデオエンコーダ３１は、入力されたアナログ信号をビデオ信号に変換し、ビデオモニタ３２に表示させる。また、同様にして、アクションモード切替スイッチ４２が、“ｏｆｆ”の位置に戻されると、図２（Ｂ）の番号２に示すように「モニタ状態」から「ｏｆｆ状態」に戻る。
【００５５】
アクションモード切替スイッチ４２が、“ｒｅｃｏｒｄ”の位置にセットされた状態で、すなわち図２（Ｂ）中の「モニタ状態」のときにキャプチャボタン４１が押下されると、図２（Ｂ）の番号３に示すように、「モニタ状態」から「キャプチャ状態」に状態が遷移する。
【００５６】
「キャプチャ状態」のとき、デジタルスチルカメラ１は、中央制御部３４が、タイミングジェネレータ３６を制御して全画素読出用のタイミングパルスを出力させる。これに基づいて、ＣＣＤイメージセンサ２４、ＣＤＳ回路２５、Ａ／Ｄ変換回路２６、画像処理部２７は、シャッタ２１、レンズ２２、および、絞り２３を透過した光Ｌからなる映像を、１フレーム分だけ全画素読出しし、画像処理部２７によりガンマ補正などの処理を施させた後、ＣＯＤＥＣ２８に出力する。ＣＯＤＥＣ２８は、画像処理部２７より入力された１フレーム分の画像データを所定の形式で圧縮符号化し（コーディングし）、メモリ２９に記憶させる。さらに、「キャプチャ状態」は、この画像データがメモリ２９に書き込まれた時点で終了し、図２（Ｂ）の番号４に示すように、「キャプチャ状態」から「モニタ状態」に戻る。
【００５７】
「モニタ状態」で、ユーザが、アクションモード切替スイッチ４２を操作して、“ｐｌａｙ”の位置にセットすると、デジタルスチルカメラ１は、図２（Ｂ）中の番号５に示すように「モニタ状態」から「再生状態」に遷移する。同様にして、「ｏｆｆ状態」で、ユーザが、アクションモード切替スイッチ４２を操作して、“ｐｌａｙ”の位置にセットしても、デジタルスチルカメラ１は、図２（Ｂ）中の番号７に示すように「ｏｆｆ状態」から「再生状態」に状態が遷移する。
【００５８】
「再生状態」のとき、デジタルスチルカメラ１は、中央制御部３４がタイミングジェネレータ３６を停止させて、ＣＣＤイメージセンサ２４からの読出しを停止させる。さらに、中央制御部３４は、ＣＯＤＥＣ２８を制御して、メモリ２９に記憶されている画像データを読み出させて、復号処理させた後、画像処理部２７に出力させる。画像処理部２７は、中央制御部３４により制御されて、ＣＯＤＥＣ２８から出力された画像データをビデオ信号のフォーマットに合せるためのダウンサンプリング処理を施し、Ｄ／Ａ変換回路３０に出力する。Ｄ／Ａ変換回路３０は、画像処理部２７より入力されたデジタル信号をアナログ信号に変換し、ビデオエンコーダ３１に出力する。ビデオエンコーダ３１は、Ｄ／Ａ変換回路３０より入力されたアナログ信号をビデオ信号に変換し、ビデオモニタ３２に表示させる。
【００５９】
もちろん、「再生状態」のときに、ユーザが、アクションモード切替スイッチ４２を操作して、“ｒｅｃｏｒｄ”の位置にセットすると、デジタルスチルカメラ１は、図２（Ｂ）中の番号６に示すように「再生状態」から「モニタ状態」に遷移し、また、同様に、“ｏｆｆ”の位置にセットすれば、図２（Ｂ）中の番号８に示すように「再生状態」から「ｏｆｆ状態」に遷移する。
【００６０】
露出モードは、上記の「キャプチャ状態」の時に有効な、ＣＣＤイメージセンサ２４の露出状態を設定するもので、アクションモードとは独立に設定されるモードである。露出モードには、「Ｎｏｒｍａｌモード」と「ＳＶＥモード」の２つのモードがある。「Ｎｏｒｍａｌモード」は、ＣＣＤイメージセンサ２４の各受光素子の露出時間を全て一定にする（全ての受光素子の感度を一定にする）露出モードである。これに対して、「ＳＶＥモード」は、各受光素子の露出時間を、受光素子ごとに、いくつかのパターンで変化させる露出モードである。
【００６１】
図２（Ａ）に示すように、ユーザが、露出モード切替スイッチ４３を操作して、“ｎｏｒｍａｌ”の位置にセットすると、露出モードは、「Ｎｏｒｍａｌモード」にセットされる。また、図２（Ａ）に示す露出モード切替スイッチ４３が、図中上方向にスライドされて、“ＳＶＥ”の位置にセットされると、図２（Ｃ）の番号２１に示すように、露出モードは「ＳＶＥモード」に遷移する。同様に、「ＳＶＥモード」のとき、露出モード切替スイッチ４３が、図２（Ｃ）に示すように“ｎｏｒｍａｌ”の位置に戻されると、図２（Ｃ）の番号２２に示すように、露出モードは、「ＳＶＥモード」から「Ｎｏｒｍａｌモード」に遷移する。
【００６２】
Ｎｏｒｍａｌモードの全画素読出しは、従来のＣＣＤイメージセンサにより実行されてきた読出し方式と同様の読出し方式である。すなわち、この方式は、「キャプチャ状態」のとき、ＣＣＤイメージセンサ２４の全ての画素に対して、一定の露光時間により蓄積される電荷を読み出す方式である。これに対して、露出モードが、ＳＶＥモードである場合の全画素読出しでは、各画素の露出時間がいくつかのパターンに分けて受光され、異なる感度で受光された電荷が読み出される。
【００６３】
図３は、本実施形態のデジタルスチルカメラ１の動作の概要を説明する図である。デジタルスチルカメラ１は、ＣＣＤイメージセンサ２４を中心とする光学系の撮像処理によって、被写体を画素ごとに異なる色と感度（露光時間を変えることで感度可変を実現）で撮像し、色と感度がモザイク状になった画像（以下、色・感度モザイク画像と記述し、その詳細は後述する）を得る。
【００６４】
その後、画像処理部２７を中心とする信号処理系３により、撮像処理によって得られた画像が、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換される。以下、色・感度モザイク画像を、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換させる画像処理部２７を中心とする信号処理系３の処理を、デモザイク処理とも記述する。
【００６５】
たとえば、図３（Ａ）に示すような被写体を撮影した場合、撮像処理によって図３（Ｂ）に示すような色・感度モザイク画像が得られ、画像処理によって各画素が全ての色成分と均一の感度を有する画像に変換される。すなわち、図３（Ｂ）に示す色・感度モザイク画像から図３（Ｄ）に示す被写体の元の色を復元することで、ダイナミックレンジの拡大された画像を得る。
【００６６】
図４〜図８は、色・感度モザイク画像を構成する画素の色成分および感度の配列パターン（以下、色・感度モザイクパターンと記述する）の基本構成を説明する図である。なお、色・感度モザイクパターンを構成する色の組合せとしては、Ｒ（赤），Ｇ（緑），およびＢ（青）からなる３色の組合せの他、Ｙ（黄），Ｍ（マゼンタ），Ｃ（シアン），およびＧ（緑）からなる４色の組合せがある。
【００６７】
露光時間を違えることで実現される感度の段階としては、Ｓ１およびＳ２からなる２段階の他、感度Ｓ３を追加した３段階や、さらに、感度Ｓ４を追加した４段階がある。なお、図４〜図８においては、各正方形が１画素に対応しており、英文字がその色を示し、英文字の添え字として数字がその感度を示している。ハッチングを付した正方形は感度Ｓ１の画素を示す。たとえば、Ｇ１と表示された画素は、色がＧ（緑）であって感度がＳ１であることを示している。また、感度については数字が大きいほど、より高感度であるとする。
【００６８】
色・感度モザイクパターンの基本は、以下に示す第１〜第４の特徴によって分類することができる。
【００６９】
図４は、第１の特徴を呈する色・感度モザイクパターンＰ１を示す図である。第１の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されていることである。
【００７０】
たとえば、図４に示す色・感度モザイクパターンＰ１において、感度に拘わらず色がＲである画素に注目した場合、図面を右回りに４５度だけ回転させた状態で見れば明らかなように、それらは、水平方向には２＾１／２（“＾”はべき乗を示す）の間隔で、垂直方向には２＾３／２の間隔で格子状に配置されている。また、感度に拘わらず色がＢである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色がＧである画素に注目した場合、それらは、水平方向および垂直方向に２＾１／２の間隔で格子状の配置されている。
【００７１】
図５は、第２および第３の特徴を呈する色・感度モザイクパターンＰ３を示す図である。第２の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する４画素の合計５画素が有する色の中に、当該色・感度モザイクパターンに含まれる全ての色が含まれることである。また、第３の特徴は、第２の特徴を有しており、さらに、同一の感度を有する画素に注目した場合、それらの配列がベイヤ配列をなしていることである。
【００７２】
たとえば、図５に示す色・感度モザイクパターンＰ３において、感度Ｓ１の画素だけに注目した場合、図面を斜め４５度だけ傾けて見れば明らかなように、それらは２＾１／２の間隔を空けてベイヤ配列をなしている。また、感度Ｓ２の画素だけに注目した場合も同様に、それらはベイヤ配列をなしている。
【００７３】
図６〜図８は、第４の特徴を呈する色・感度モザイクパターンＰ４ａ，Ｐ４ｂ，Ｐ４ｃ（このグループを纏めて色・感度モザイクパターンＰ４ともいう）を示す図である。第４の特徴は、第１の特徴を有しており、さらに、３種類の色が用いられていて、それらがベイヤ（Ｂａｙｅｒ）配列をなしていることである。
【００７４】
たとえば、図６の色・感度モザイクパターンＰ４ａにおいて、感度に拘わらず色がＧである画素に注目した場合、それらは１画素おきに市松状に配置されている。感度に拘わらず色がＲである画素に注目した場合、それらは１ラインおきに配置されている。また、感度に拘わらず色がＢである画素に注目した場合も同様に、１ラインおきに配置されている。したがって、このパターンＰ４は、画素の色だけに注目すれば、ベイヤ配列であるといえる。
【００７５】
なお、この第４の特徴は、図６の色・感度モザイクパターンＰ４ａの他、図７、図８に示す色・感度モザイクパターンＰ４ｂ，Ｐ４ｃも有している。
【００７６】
本願発明は、上述した色・感度モザイクパターンＰ１，Ｐ３，Ｐ４ｃのうち、第２の特徴を呈する色・感度モザイクパターンＰ２や第４の特徴を呈するＰ４ａ，Ｐ４ｂ，Ｐ４ｃを適用しつつ、全画素読出しにおいて感度のモザイク配列を電子的に実現するものである。
【００７７】
なお、上述の図４〜図８に示した色・感度モザイクパターンＰ１，Ｐ３，Ｐ４ｃに関連し、画素の感度に拘わらず色だけに注目して「色のモザイク配列」と記述する。また、色に拘わらず感度だけに注目して「感度のモザイク配列」と記述する。
【００７８】
ここで、本願発明の対象とする図６〜図８に示した色・感度モザイクパターンＰ４ａ，Ｐ４ｂ，Ｐ４ｃの違いを、感度のモザイク配列に着目して整理すると以下の通りである。なお、英字（Ａ〜Ｈ）で示した図中の上下方向を垂直方向、数字（１〜１１）で示した図中の左右方向を水平方向とする。
【００７９】
先ず、図６に示す色・感度モザイクパターンＰ４ａは、英字（Ａ〜Ｈ）で示した何れかの水平行に着目した場合、同一水平行においては、色がＧである画素は同一の感度すなわち同じ露光時間の画素である。一方、色がＲまたはＢである画素は、感度Ｓ１と感度Ｓ２の画素が水平方向（図の左右方向）に交互に配列されている。また、感度だけに注目すれば、垂直方向（図の上下方向）および水平方向に対して、感度がＳ１の画素の並びは、垂直方向（図６中の下側）に３画素が連続し、この３画素の垂直列の端部に位置する画素を起点として水平方向（図６中の左側）に３画素が連続し、さらに３画素の水平列の端部に位置する画素を起点として垂直方向（図６中の下側）に３画素が連続するというように、
【数１】
【００８０】
このような配置とすることで、後述する複数系統の読出電極と対応させると、斜め方向の列ごとに受光素子（フォトセル）に蓄積された信号電荷を独立に読み出せるような構造となる。
【００８１】
一方、図７に示す色・感度モザイクパターンＰ４ｂは、水平行に着目した場合、色がＧである画素は感度Ｓ１と感度Ｓ２の画素が水平方向に交互に配列されていて、かつ色がＲまたはＢである画素も、感度Ｓ１と感度Ｓ２の画素が水平方向に交互に配列されている。また、感度だけに注目すれば、水平行および垂直列のそれぞれ２画素（２×２画素）を組として、感度がＳ１の組と感度がＳ２の組が水平方向および垂直方向のそれぞれに交互に配列されている。つまり、各組は、１組おきに市松状に配置されていて、２ライン（水平行）ごとにジグザグに配列されている。換言すれば、ベイヤ配列の隣接した２×２の繰返し単位ごとに感度が異なる。
【００８２】
このような配置とすることで、後述する複数系統の読出電極と対応させると、受光素子（フォトセル）に蓄積された信号電荷を２×２単位でジグザグに独立に読み出せるような電極構造となる。
【００８３】
また、図８に示す色・感度モザイクパターンＰ４ｃは、水平行に着目した場合、色がＧである画素は感度Ｓ１と感度Ｓ２の画素が水平方向に交互に配列されていて、かつ色がＲまたはＢである画素も、感度Ｓ１と感度Ｓ２の画素が水平方向に交互に配列されている。また、感度だけに注目すれば、水平方向に２画素かつ垂直方向に１画素（２×１画素）を組として、感度がＳ１の組と感度がＳ２の組が水平方向および垂直方向のそれぞれに交互に配列されている。つまり、各組は、１組おきに市松状に配置されていて、１ライン（水平行）ごとにジグザグに配列されている。
【００８４】
このような配置とすることで、後述する複数系統の読出電極と対応させると、受光素子（フォトセル）に蓄積された信号電荷を２×１単位でジグザグに独立に読み出せるような電極構造となる。
【００８５】
以上説明したように、図６〜図８に示した色・感度モザイクパターンＰ４ａ，Ｐ４ｂ，Ｐ４ｃは、色に着目すれば何れもベイヤ配列が構成され、かつ、感度に着目すれば、モザイクパターン（格子配列）が形成されているが、感度Ｓ１，Ｓ２の並び方がそれぞれで異なる。
【００８６】
次に、ＣＣＤイメージセンサ２４において上述した色・感度モザイクパターンを実現する方法について説明する。色・感度モザイクパターンのうち、色のモザイク配列については、ＣＣＤイメージセンサ２４の受光素子の上面に、画素ごとに異なる色の光だけを透過させるオンチップカラーフィルタを配置することによって実現する。一方、色・感度モザイクパターンのうち、感度のモザイク配列については、電子的な方法によって実現する。たとえば、隣接する２つの受光素子（第１および第２の受光素子）に対し、制御のタイミングを違えることにより、２つの受光素子を異なる感度に設定する。
【００８７】
たとえば、全画素読出しＣＣＤにおいて、上述した感度のモザイク配列を電子的に実現するには、感度がＳ１の画素グループと感度がＳ２の画素グループについて、それぞれ独立に露光時間を制御可能な電極構造とすればよい。つまり、複数種類の感度設定に応じて読出電極を複数系統に分け、それぞれの読出電極が蓄積時間の違う信号に対応するように、それぞれの読出電極に独立に読出パルスを印加する構造とすればよい。
【００８８】
図９は、全画素読出しにおいて感度のモザイク配列を電子的に実現するための露光制御の第１例を説明する図である。図９（Ａ）は、ＣＣＤイメージセンサ２４の露光期間を示している。図９（Ｂ）は、電荷掃き出しを指令するパルス電圧のタイミングを示している。図９（Ｃ）は、電荷転送を指令する制御電圧が与えられるタイミングを示している。図９（Ｄ）は、第１の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。図９（Ｅ）は、電荷掃出パルス電圧および電荷読出パルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化を示している。図９（Ｆ）は、第２の受光素子に対し、電荷読み出しを指令するパルス電圧のタイミングを示している。図９（Ｇ）は、電荷掃出パルス電圧および電荷読出パルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。ただし、露出動作中に受光される光強度は変化しないものとする。
【００８９】
感度のモザイク配列を電子的に実現するための露光制御の第１例において、電荷掃出パルス電圧は、第１および第２の受光素子に対し共通して、露光期間以外においては、画素から電荷を掃き出しさせる（リセットさせる）ように供給され、露光期間中においては、所定のタイミングで１回だけ電荷をリセットするために供給される。
【００９０】
電荷転送電圧は、露光期間以外においては、第１および第２の受光素子に対し共通してＶレジスタに電荷を転送させるための波形電圧が供給され、露光期間中においては、Ｖレジスタからの電荷の転送が停止されるように電荷転送電圧は供給されない。
【００９１】
電荷読出パルス電圧は、各受光素子に対して異なるタイミングで供給される。第１の受光素子に対しては、露光期間中の電荷掃出パルス電圧の供給タイミング（図９（Ｂ））の直前に、１回目の電荷読出パルス電圧が供給され、露光期間中の終了の直前に２回目の電荷読出パルス電圧が供給される。
【００９２】
その結果、第１の受光素子からは、１回目および２回目の電荷読出パルス電圧の供給タイミングのそれぞれにおける第１の受光素子の蓄積電荷量がＶレジスタに読み出される。なお、露光期間中はＶレジスタの電荷の転送は停止されているので、それら２回の読み出し電荷量がＶレジスタ内で加算され、露光期間終了後に同じフレームのデータとしてＶレジスタから転送されるようになされている。
【００９３】
一方、第２の受光素子に対しては、露光期間中の電荷掃出パルス電圧の供給タイミングの直前に１回だけ電荷読出パルス電圧が供給される。その結果、第２の受光素子からは、１回だけの電荷読出パルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量がＶレジスタに読み出される。なお、露光期間中は垂直レジスタ２３の電荷の転送は停止されているので、第２の受光素子から読み出された蓄積電荷は、露光期間終了後に、第１の受光素子から読み出された蓄積電荷と同じフレームのデータとしてＶレジスタから転送されるようになされている。
【００９４】
以上のように、第１の受光素子と第２の受光素子とに対する制御タイミングをそれぞれ違えることにより、同じ露光期間中に第１の受光素子から読み出される蓄積電荷量と、第２の受光素子から読み出される蓄積電荷量、すなわち感度が異なるように設定することができる。
【００９５】
ところで、感度のモザイク配列を電子的に実現する第１例の露光制御では、受光素子によっては露光期間中の全域にわたる被写体の情報を計測できないという点が問題である。
【００９６】
図１０は、全画素読出しにおいて感度のモザイク配列を電子的に実現するための露光制御の第２例を説明する図である。図１０（Ａ）〜図１０（Ｇ）はそれぞれ、図９（Ａ）〜図９（Ｇ）と同様に、ＣＣＤイメージセンサ２４の露光期間、電荷掃き出しを指令するパルス電圧のタイミング、電荷転送を指令する制御電圧が与えられるタイミング、第１の受光素子に対して電荷読み出しを指令するパルス電圧のタイミング、電荷掃出パルス電圧および電荷読出パルス電圧が与えられることに対応して第１の受光素子に蓄積される電荷量の変化、第２の受光素子に対する電荷読み出しを指令するパルス電圧のタイミング、電荷掃出パルス電圧および電荷読出パルス電圧が与えられることに対応して第２の受光素子に蓄積される電荷量の変化を示している。
【００９７】
第２例の露光制御においては、露光期間中において、電荷掃出パルス電圧および電荷読出パルス電圧が複数回繰り返して供給される。すなわち、電荷掃出パルス電圧については、第１および第２の受光素子に対し共通して露光期間中において、１回目の電荷掃出パルス電圧と２回目の電荷掃出パルス電圧の組が複数回供給される。電荷読出パルス電圧については、第１の受光素子に対しては、１回目および２回目の電荷掃出パルス電圧の組ごとに、１回目の電荷掃出パルス電圧の直前に１回目の電荷読み出しパルス電圧が供給され、２回目の電荷掃出パルス電圧の直前に２回目の電荷読出パルス電圧が供給される。一方、第２の受光素子に対しては、電荷掃出パルス電圧の組ごとに、１回目の電荷掃出パルス電圧の直前に１回だけ電荷読出パルス電圧が供給される。
【００９８】
この結果、第１の受光素子からは、１回目および２回目の電荷掃出パルス電圧の組ごとに、１回目の電荷読出パルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量と、２回目の電荷読出パルス電圧の供給タイミングにおける第１の受光素子の蓄積電荷量が読み出される。なお、露光期間中は、Ｖレジスタの電荷の転送が停止されているので、これら組ごとに２回ずつ読み出された電荷量は、Ｖレジスタで加算される。第２の受光素子からは、１回目および２回目の電荷掃出パルス電圧の組ごとに１回だけ供給される電荷読出パルス電圧の供給タイミングにおける第２の受光素子の蓄積電荷量が読み出される。これら組ごとに１回ずつ読み出された電荷量は、Ｖレジスタで加算される。
【００９９】
以上説明したような第２例の露光制御では、露光期間において電荷の読み出しを複数回繰り返すので、露光期間中の全域にわたる被写体の情報を計測することが可能となる。
【０１００】
次に、ＣＣＤイメージセンサ２４において、上述した色・感度モザイクパターンにおける第４の特徴を有するもの、すなわち色のモザイク配列がベイヤ配列を呈する色・感度モザイクパターンＰ４ａ，Ｐ４ｂ，Ｐ４ｃのそれぞれについて、感度Ｓ１と感度Ｓ２の設定を露光時間の制御で、つまり電子シャッタに機能を利用して電子的に切り替えるための電極構造の詳細について説明する。なお、ここでは、特に、３相駆動の垂直レジスタを持つプログレッシブスキャンのＣＣＤイメージセンサ（全画素読出しＣＣＤ／ＰＳ−ＣＣＤ）に好適な２段階感度による任意のモザイク配列を電子的に実現する手法を示す。
【０１０１】
図１１は、図６に示した色・感度モザイクパターンＰ４ａについての電極構造の第１例を示す図である。２段階の感度を有する感度のモザイク配列を実現するために用いる電極配線による垂直転送用ポリシリコン電極の構造を示している。
【０１０２】
図６に示した色のベイヤ配列に従ってＲ，Ｇ，Ｂの各画素（受光素子）が多数、水平方向および垂直方向において２次元マトリクス状に配列されて、撮像部を構成している。これら画素は、入射光をその光量に応じた電荷量の信号電荷に変換して蓄積する。
【０１０３】
また、垂直列ごとにそれぞれ３相駆動に対応する複数本（本例では１ユニットセル当たり３本）の垂直レジスタ駆動電極（垂直転送電極）ＶΦ１〜ＶΦ３を有したＶレジスタ（垂直ＣＣＤ、垂直転送部）が配列されている。さらに、Ｖレジスタと各画素との間には読出ゲートＲＯＧが介在している。また各ユニットセルの境界部分にはチャネルストップＬＣＳが設けられている。
【０１０４】
なお、図示しないが、複数本のＶレジスタの各転送先側端部すなわち、最後の行のＶレジスタに隣接して、図の左右方向に延在するＨレジスタ（水平ＣＣＤ、水平転送部）が１ライン分設けられている。Ｈレジスタの転送先側端部には、たとえばフローティングディフュージョンアンプ構成の電荷検出部が設けられている。この電荷検出部は、Ｈレジスタから順に注入される信号電荷を信号電圧に変換して出力する。
【０１０５】
図中破線で表示する１層目の転送電極である第１相電極（第１相垂直レジスタ駆動電極）ＶΦ１および図中細い実線で表示する２層目の転送電極である第２相電極（第２相垂直レジスタ駆動電極）ＶΦ２は、有効画素領域中において水平方向に延在するように配置されて、同じ水平ライン上で隣接する画素の電極と連結している。
【０１０６】
また、読出電極を兼ねる３層目の転送電極である図中太い線（実線または一点鎖線）で表示する第３相電極（第３相垂直レジスタ駆動電極）ＶΦ３も、有効画素領域中において水平方向に延在するように配置されて、同じ水平ライン上で隣接する画素の電極と連結している。すなわち、全ての転送電極が、電荷が転送される垂直列方向に対して垂直に配置されている。そして、同一水平ライン上の電極は同期して駆動されるようになっている。
【０１０７】
また、第２相電極ＶΦ２および第３相電極ＶΦ３は、対応する画素に隣接する読出ゲートＲＯＧ上にもかかるようになされている。たとえば、注目画素に対して、Ｖレジスタおよび読出ゲートＲＯＧ上において、当該注目画素に対応するラインの第１相電極ＶΦ１は、凹部が設けられており、この凹部に対向するように、次ラインの第１相電極ＶΦ１は図中上方向に凸部が設けられている。また、注目画素に対応するラインの第２相電極ＶΦ２は、図中下方向に凸部が設けられ、この凸部に対応する上側には凹部が設けられており、凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１０８】
また、注目画素に対応するラインの第３相電極ＶΦ３は、感度がＳ１の画素グループ（以下読出系統１の画素グループともいう）に対応する第３相電極ＶΦ３Ａ（太い実線）と感度がＳ２の画素グループ（以下読出系統２の画素グループともいう）に対応する第３相電極ＶΦ３Ｂ（太い一点鎖線）とに分けられており、それぞれ独立にパルスを印加できるようになっている。
【０１０９】
この２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂのそれぞれは、図中上方向および下方向の少なくとも一方に凸部が設けられ、この凸部の設けられる位置が感度Ｓ１あるいは感度Ｓ２の各設定に対応するように構成されている。たとえば、感度に拘わらず、図の上下方向である垂直方向に３画素並んだ真ん中の画素は、“図中上方向に設けられた凸部”に対応し、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。そして、この垂直方向に３画素並んだ真ん中の画素を除く全ての画素は、“図中下方向に設けられた凸部”に対応し、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１１０】
したがって、第３相電極ＶΦ３に読出パルスを印加した場合、読出ゲートＲＯＧのバリアを一時的に取り除き、対応する画素に蓄積されている電荷をＶレジスタに転送することが可能である。加えて、第３相電極ＶΦ３は、感度Ｓ１，Ｓ２のそれぞれに対応するように、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの２系統に分けられているので、第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して独立に読出パルスを印加することができる。したがって、カラーフィルタの配列をベイヤ配列としたままで蓄積時間を変えることができる。蓄積時間の変更は、いわゆる電子シャッタ方式を利用すればよく、感度を可変制御にすることができ、ダイナミックレンジ拡大率を状況に合せて可変に制御することができる。
【０１１１】
また、２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して読出パルスを共通に印加した場合には、通常の読出し方と同じになるので、ノーマルモードとして使用することも可能である。つまり、図１１に示した電極構造によれば、カラーフィルタの配列をベイヤ配列としたままでシャッタ方式ＳＶＥを実現するとともに、ノーマルモードとＳＶＥモードの切替えに対応することができる。
【０１１２】
また、独立読出しを可能とした全画素読出方式撮像素子の３層目の電極（第３相電極ＶΦ３）を有効画素領域中において水平方向に延在した構造としたので、１層目、２層目、３層目の各転送電極に対応するそれぞれの転送パルスの伝播遅延がほぼ等しくなる。この結果、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。
【０１１３】
図１２は、図６に示した色・感度モザイクパターンＰ４ａについての電極構造の第２例を示す図である。画素配列、Ｖレジスタ、読出ゲートＲＯＧ、およびチャネルストップＬＣＳが設けられている点は、図１１に示した第１例と共通する。また、第１相電極ＶΦ１および第２相電極ＶΦ２の構造も、図１１に示した第１例と共通する。
【０１１４】
また、第３相電極ＶΦ３は、読出系統１の画素グループに対応する第３相電極ＶΦ３Ａと読出系統２の画素グループに対応する第３相電極ＶΦ３Ｂとに分けられており、それぞれ独立にパルスを印加できるようになっている。また、この２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂのそれぞれは、図中上方向および下方向の少なくとも一方に凸部が設けられ、この凸部の設けられる位置が感度Ｓ１あるいは感度Ｓ２の各設定に対応するように構成されている。これらの点は、図１１に示した第１例と共通する。
【０１１５】
第１例と異なるのは、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの凸部と感度Ｓ１，Ｓ２の各設定との対応関係である。すなわち、感度に拘わらず、図の上下方向である垂直方向に３画素並んだ真ん中の画素は、図中“下方向に設けられた凸部”に対応し、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。そして、この垂直方向に３画素並んだ真ん中の画素を除く全ての画素は、“図中上方向に設けられた凸部”に対応し、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１１６】
したがって、第１例と同様に、第３相電極ＶΦ３に読出パルスを印加した場合、読出ゲートＲＯＧのバリアを一時的に取り除き、対応する画素に蓄積されている電荷をＶレジスタに転送することが可能である。また、第１例と同様に、第３相電極ＶΦ３は、感度Ｓ１，Ｓ２のそれぞれに対応するように、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの２系統に分けられているので、第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して独立に読出パルスを印加することができ、カラーフィルタの配列をベイヤ配列としたままで蓄積時間を変えることができ、感度を可変制御にすることができる。
【０１１７】
また、第１例と同様に、２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して読出パルスを共通に印加した場合には、通常の読出し方と同じになるので、ノーマルモードとして使用することも可能である。つまり、図１２に示した第２例の電極構造によっても、カラーフィルタの配列をベイヤ配列としたままでシャッタ方式ＳＶＥを実現するとともに、ノーマルモードとＳＶＥモードの切替えに対応することができる。
【０１１８】
また、第１例と同様に、３層目の電極を有効画素領域中において水平方向に延在した構造としたので、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。
【０１１９】
図１３は、図７に示した色・感度モザイクパターンＰ４ｂについての電極構造の一例を示す図である。画素配列、Ｖレジスタ、読出ゲートＲＯＧ、およびチャネルストップＬＣＳが設けられている点は、図１１および図１２に示したものと共通する。また、第１相電極ＶΦ１および第２相電極ＶΦ２の構造も、図１１および図１２に示したものと共通する。
【０１２０】
また、第３相電極ＶΦ３は、読出系統１の画素グループに対応する第３相電極ＶΦ３Ａと読出系統２の画素グループに対応する第３相電極ＶΦ３Ｂとに分けられており、それぞれ独立にパルスを印加できるようになっている。また、この２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂのそれぞれは、図中上方向および下方向の少なくとも一方に凸部が設けられ、この凸部の設けられる位置が感度Ｓ１あるいは感度Ｓ２の各設定に対応するように構成されている。これらの点は、図１１および図１２に示したものと共通する。
【０１２１】
図１１および図１２に示したものと異なるのは、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの凸部と感度Ｓ１，Ｓ２の各設定との対応関係である。すなわち、一方の読出系統（図では読出系統１）の２×２画素のグループに対応する第３相電極ＶΦ３Ａは、該当する組の水平方向に隣接する２画素のそれぞれについて、各同一水平位置にて、図中上方向および下方向の両側に凸部が設けられており、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１２２】
これに対して、他方の読出系統（図では読出系統２）の２×２画素のグループに対応する第３相電極ＶΦ３Ｂは、該当する組の水平方向に隣接する２画素のそれぞれについて、各同一水平位置にて、上側の２画素は図中下方向に凸部が設けられ、また下側の２画素は図中上方向に凸部が設けられており、各凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１２３】
したがって、図１１および図１２に示したものと同様に、第３相電極ＶΦ３に読出パルスを印加した場合、読出ゲートＲＯＧのバリアを一時的に取り除き、対応する画素に蓄積されている電荷をＶレジスタに転送することが可能である。また、図１１および図１２に示したものと同様に、第３相電極ＶΦ３は、感度Ｓ１，Ｓ２のそれぞれに対応するように、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの２系統に分けられているので、第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して独立に読出パルスを印加することができ、カラーフィルタの配列をベイヤ配列としたままで、またベイヤ配列の隣接した２×２の繰り返し単位ごとに蓄積時間を変えることができる。また、感度を可変制御にすることができるので、ダイナミックレンジ拡大率を状況に合せて可変に制御することができる。
【０１２４】
また、図１１および図１２に示したものと同様に、２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して読出パルスを共通に印加した場合には、通常の読出し方と同じになるので、ノーマルモードとして使用することも可能である。つまり、図１３に示した電極構造によっても、カラーフィルタの配列をベイヤ配列としたままでシャッタ方式ＳＶＥを実現するとともに、ノーマルモードとＳＶＥモードの切替えに対応することができる。
【０１２５】
また、図１１および図１２に示したものと同様に、３層目の電極を有効画素領域中において水平方向に延在した構造としたので、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。
【０１２６】
図１４は、図８に示した色・感度モザイクパターンＰ４ｃについての電極構造の一例を示す図である。図１１〜図１３に示したものと異なるのは、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの凸部と感度Ｓ１，Ｓ２の各設定との対応関係である。すなわち、感度に拘わらず２×１画素のグループに対応する第３相電極ＶΦ３Ａ，ＶΦ３Ｂは、該当する組の水平方向に隣接する２画素のそれぞれについて、各同一水平位置にて、図中上方向または下方向の何れか一方に凸部が設けられており、この凸部の一部分が読出ゲートＲＯＧに接触するように構成されている（接続されている）。
【０１２７】
そして、読出系統１の２×１画素のグループに対応する第３相電極ＶΦ３Ａの凸部の方向と読出系統２の２×１画素のグループに対応する第３相電極ＶΦ３Ｂの凸部の方向とが水平方向に交互に配置されている。これに対して、垂直方向には、同一の向きに配置されている。つまり、同一感度の水平方向２画素を感度を無視して垂直方向に見たとき、その水平方向２画素からなる垂直列は、全て上方向の凸部、または全て下方向の凸部となるように配置されている。
【０１２８】
このような電極構造においても、図１１〜図１３に示したものと同様に、第３相電極ＶΦ３に読出パルスを印加した場合、読出ゲートＲＯＧのバリアを一時的に取り除き、対応する画素に蓄積されている電荷をＶレジスタに転送することが可能である。また、図１１〜図１３に示したものと同様に、第３相電極ＶΦ３は、感度Ｓ１，Ｓ２のそれぞれに対応するように、第３相電極ＶΦ３Ａ，ＶΦ３Ｂの２系統に分けられているので、第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して独立に読出パルスを印加することができ、カラーフィルタの配列をジグザグ状のベイヤ配列としたままで、そのベイヤ配列の隣接した２×１の繰り返し単位ごとに蓄積時間を変えることができる。また、感度を可変制御にすることができるので、ダイナミックレンジ拡大率を状況に合せて可変に制御することができる。
【０１２９】
また、図１１〜図１３に示したものと同様に、２系統に分けられた第３相電極ＶΦ３Ａ，ＶΦ３Ｂに対して読出パルスを共通に印加した場合には、通常の読出し方と同じになるので、ノーマルモードとして使用することも可能である。つまり、図１４に示した電極構造によっても、カラーフィルタの配列をベイヤ配列としたままでシャッタ方式ＳＶＥを実現するとともに、ノーマルモードとＳＶＥモードの切替えに対応することができる。
【０１３０】
また、図１１〜図１３に示したものと同様に、３層目の電極を有効画素領域中において水平方向に延在した構造としたので、各転送パルスの位相ズレが減少し、Ｖレジスタの取扱い電荷量の向上や転送効率の改善が可能となる。
【０１３１】
以上説明したように、図１１〜図１４に示したような電極構造とすることで、カラーフィルタの配列をベイヤ配列としたままでシャッタ方式ＳＶＥを実現できるので、ＳＶＥモードでの解像度の低下を最小限に抑えながらダイナミックレンジの拡大率を可変にしたり、ノーマルモードとＳＶＥモードの切替えなどの機能を実現することができる。
【０１３２】
次に、画像処理部２７を中心とする画像処理系のモザイク処理、すなわちモザイク画像から元画像を復元する処理について説明する。なおその前に、以下の説明において用いる画素の位置座標の定義について、図１５を参照して説明する。
【０１３３】
図１５は、画像上の画素の位置を示す座標系（ｘ，ｙ）を示している。すなわち、画像の左下端を（０，０）とし、画像の右上端を（ｘｍａｘ，ｙｍａｘ）とする。図中に□で表されている各画素は、長さ１の横幅と縦幅を有し、格子上に配列されている。したがって、たとえば、左下端の画素の中心の座標は、（０．５，０．５）であり、右上端の画素の中心の座標は（ｘｍａｘ−０．５，ｙｍａｘ−０．５）である。また、以下の説明において、□で表されている各画素に対して位相が縦横に半画素ずれた画像データ（図中に●で表される位置の画素データ）を利用する場合があるが、たとえば、左下端の画素に対して縦横に半画素だけ位相がずれた画像データの座標は（１，１）である。
【０１３４】
次に、画像処理部２７を中心とする画像処理系のデモザイク処理の概要について説明する。デモザイク処理は、撮像部の処理によって得られた色・感度モザイク画像から輝度画像を生成する輝度画像生成処理、および、色・感度モザイク画像と輝度画像を用いて出力画像Ｒ，Ｇ，Ｂを生成する単色画像処理からなる。
【０１３５】
図１６は、デモザイク処理を主に実行する画像処理部２７の一構成例を示している。図１６に示す画像処理部２７の構成例において、撮像系からの色・感度モザイク画像、色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および、色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、輝度画像生成部１８１および単色画像生成部１８２〜１８４に供給される。
【０１３６】
なお、以下、特に断りがある場合を除き、色・感度モザイク画像は、図６〜図８の色・感度モザイクパターンＰ４ａ，Ｐ４ｂ，Ｐ４ｃであるとする。すなわち、画素の色は３原色ＲＧのうちのいずれかの色であり、感度はＳ１，Ｓ２のうちの一方であって、さらに、感度に拘わらず色だけに注目すれば、それらはベイヤ配列をなしている。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。
【０１３７】
図１７は、輝度画像生成部１８１の一構成例を示している。輝度画像生成部１８１は、供給される色・感度モザイク画像に対して輝度画像生成処理を施し、得られる輝度画像を単色画像生成部１８２〜１８４に供給する。
【０１３８】
単色画像生成部１８２は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｒを生成する。単色画像生成部１８３は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｇを生成する。単色画像生成部１８４は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｂを生成する。
【０１３９】
図１７に示す輝度画像生成部１８１の構成例において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、推定部１９１〜１９３に供給される。
【０１４０】
推定部１９１は、色・感度モザイク画像に対してＲ成分推定処理を施し、得られる各画素に対するＲ成分の推定値Ｒ’を乗算器１９４に供給する。推定部１９２は、色・感度モザイク画像に対してＧ成分推定処理を施し、得られる各画素に対するＧ成分の推定値Ｇ’を乗算器１９５に供給する。推定部１９３は、色・感度モザイク画像に対してＢ成分推定処理を施し、得られる各画素に対するＢ成分の推定値Ｂ’を乗算器１９６に供給する。
【０１４１】
乗算器１９４は、推定部１９１から供給される推定値Ｒ’に、色バランス係数ｋＲを乗算し、その積を加算器１９７に出力する。乗算器１９５は、推定部１９２から供給される推定値Ｇ’に、色バランス係数ｋＧを乗算し、その積を加算器１９７に出力する。乗算器１９６は、推定部１９３から供給される推定値Ｂ’に、色バランス係数ｋＢを乗算し、その積を加算器１９７に出力する。
【０１４２】
加算器１９７は、乗算器１９４から入力される積Ｒ’・ｋＲ、乗算器１９５から入力される積Ｇ’・ｋＧ、および乗算器１９６から入力される積Ｂ’・ｋＢを加算し、その和を画素値とする輝度候補画像を生成してノイズ除去部１９８に供給する。
【０１４３】
ここで、色バランス係数ｋＲ，ｋＧ，ｋＢは、予め設定されている値であり、たとえば、ｋＲ＝０．３、ｋＧ＝０．６、ｋＢ＝０．１である。なお、色バランス係数ｋＲ，ｋＧ，ｋＢの値は、基本的には輝度候補値として輝度変化に相関がある値を算出することができればよい。したがって、たとえば、ｋＲ＝ｋＧ＝ｋＢとしてもよい。
【０１４４】
ノイズ除去部１９８は、加算器１９７から供給される輝度候補画像に対してノイズ除去処理を施し、得られる輝度画像を単色画像生成部１８２〜１８４に供給する。
【０１４５】
図１８は、Ｒ用の推定部１９１が使用するＲ成分用の補間フィルタ係数の一例およびＢ用の推定部１９３が使用するＢ成分用の補間フィルタ係数の一例である。また、図１９は、Ｇ用の推定部１９１が使用するＧ成分用補間フィルタ係数の一例である。これらの係数は、予め図示しないメモリに設定登録されている。
【０１４６】
図２０〜図２２は、それぞれ推定部１９１，１９２，１９３が用いる合成感度補償ＬＵＴの一例を示す図である。図２０は、感度Ｓ１の画素の特性曲線ｂと、感度Ｓ２の画素の特性曲線ａを示しており、横軸は入射光の強度、縦軸は画素値を示す。同図において、高感度の感度Ｓ２は、低感度の感度Ｓ１に対して４倍の感度を有している。
【０１４７】
推定部１９１が行なう推定処理では、図２０の特性曲線ｂに示すような特性で測定された感度Ｓ１の画素から算出された第１の商と、同図の特性曲線ａに示すような特性で測定された感度Ｓ２の画素を用いて算出された第２の商とが加算されている。したがって、第１の商と第２の商の和は、図２１の特性曲線ｃに示すように、感度Ｓ１と感度Ｓ２の特性が合成された特性を有することになる。
【０１４８】
この合成された特性曲線ｃは、低輝度から高輝度にわたる広ダイナミックレンジの特性となるが、図２１に示すように折れ線となっているので、感度特性曲線ｃの逆特性曲線を用いることにより、元のリニアな特性を復元するようにする。具体的には、図２２に示すように、第１の商と第２の商の和を、図２１の感度特性曲線ｃの逆特性曲線ｄに適用して非線形性を補償するようにする。すなわち、合成感度補償ＬＵＴは、図２２の逆特性曲線ｄをルックアップテーブル化したものである。
【０１４９】
図２３は、単色画像生成部１８２の構成例を示す図である。単色画像生成部１８２において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部２０１に供給される。輝度画像は、比率算出部２０２、および乗算器２０３に供給される。
【０１５０】
補間部２０１は、色・感度モザイク画像に補間処理を施し、得られる全ての画素がＲ成分の画素値を有するＲ候補画像を比率値算出部２０２に出力する。比率値算出部２０２は、Ｒ候補画像と輝度画像の対応する画素間の強度比率の低周波成分（以下、単に強度比率と記述する）を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器２０３に供給する。
【０１５１】
乗算器２０３は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像Ｒを生成する。
【０１５２】
なお、単色画像生成部１８３，１８４の構成例も同様であるので、その説明は省略する。
【０１５３】
図２４は、比率値算出部２０２が使用する、平滑化フィルタ係数の一例を示す図である。この係数は、予め図示しないメモリに設定登録されている。
【０１５４】
図２５は、上記画像処理部２７の構成例によるデモザイク処理の手順を示すフローチャートである。
【０１５５】
輝度画像生成部１８１は、色・感度モザイク画像に輝度画像生成処理を施することによって輝度画像を生成し、単色画像生成部１８２〜１８４に供給する（Ｓ２１１）。
【０１５６】
ノイズ除去部１９８にてノイズ除去処理が終了されると、単色画像生成部１８２〜１８４は、供給された色・感度モザイク画像および輝度画像を用い、それぞれ出力画像Ｒ，Ｇ，Ｂを生成する（Ｓ２１２）。
【０１５７】
図２６は、輝度画像生成部１８１の輝度画像生成処理の手順を示すフローチャートである。
【０１５８】
推定部１９１〜１９３は、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定する（Ｓ２２１）。そして、全ての画素を注目画素としていないと判定した場合、推定部１９１〜１９３は、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ２２１−Ｎｏ，Ｓ２２２）。
【０１５９】
推定部１９１は、色・感度モザイク画像に対してＲ成分推定処理を施すことにより、注目画素に対応する推定値Ｒ’を推定し、乗算器１９４に供給する（Ｓ２２３）。推定部１９２は、色・感度モザイク画像に対してＧ成分推定処理を施すことにより、注目画素に対応する推定値Ｇ’を推定し、乗算器１９４に供給する。推定部１９３は、色・感度モザイク画像に対してＢ成分推定処理を施すことにより、注目画素に対応する推定値Ｂ’を推定し、乗算器１９４に供給する。
【０１６０】
乗算器１９４は、推定部１９１から供給された推定値Ｒ’に色バランス係数ｋＲを乗算し、その積を加算器１９７に出力する。乗算器１９５は、推定部１９２から供給された推定値Ｇ’に色バランス係数ｋＧを乗算し、その積を加算器１９７に出力する（Ｓ２２４）。乗算器１９６は、推定部１９３から供給された推定値Ｂ’に色バランス係数ｋＢを乗算し、その積を加算器１９７に出力する。加算器１９７は、乗算器１９４から入力された積Ｒ’・ｋＲ、乗算器１９５から入力された積Ｇ’・ｋＧ、および乗算器１９６から入力された積Ｂ’・ｋＢを加算し、その和を注目画素に対応する輝度候補画像の画素値（輝度候補値）とする。
【０１６１】
推定部１９１〜１９３は、ステップＳ２２１に戻り、全ての画素を注目画素としたと判定し終えるまで、ステップＳ２２１〜２２４の処理を繰り返す。なお、ステップＳ２２１〜２２４の処理によって生成された輝度候補画像はノイズ除去部１９８に供給される。
【０１６２】
推定部１９１〜１９３により全ての画素を注目画素としたと判定されると（Ｓ２２１−Ｙｅｓ）、ノイズ除去部１９８は、加算器１９７から供給される輝度候補画像にノイズ除去処理を施すことによって輝度画像を生成し、単色画像生成部１８２〜１８４に供給する（Ｓ２２５）。
【０１６３】
図２７は、推定部１９１のＲ成分推定処理の手順を示すフローチャートである。推定部１９１は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（たとえば、注目画素を中心とする１５×１５画素）のうち、Ｒ成分を有し、かつ、感度Ｓ１である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する（Ｓ２３１）。
【０１６４】
推定部１９１は、参照画素の注目画素に対する相対的な位置に対応し、図１８に示すような予め設定されているＲ成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する（Ｓ２３２）。さらに、その積の総和を、用いたＲ成分用補間フィルタ係数の総和で除算して第１の商を取得する。
【０１６５】
推定部１９１は、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（たとえば、注目画素を中心とする１５×１５画素）のうち、Ｒ成分を有し、かつ、感度Ｓ２である画素を検出し、検出した画素（以下、参照画素と記述する）の画素値を抽出する（Ｓ２３３）。
【０１６６】
推定部１９１は、参照画素の注目画素に対する相対的な位置に対応し、Ｒ成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算する（Ｓ２３４）。さらに、その積の総和を、用いた補間フィルタ係数の総和で除算して第２の商を取得する。
【０１６７】
推定部１９１は、ステップＳ２３２で取得した第１の商と、ステップＳ２３４で取得した第２の商を加算する（Ｓ２３５）。推定部１９１は、ステップＳ２３５で演算した第１の商と第２の商の和を、内蔵する合成感度補償ＬＵＴ（図２０〜図２２参照）に照らし合わせることにより、感度特性を補償した補償値を取得する（Ｓ２３６）。取得した補償値は、注目画素に対応する推定値Ｒ’とされる。この後、処理は図２６のステップＳ２２４にリターンする。
【０１６８】
なお、推定部１９２のＧ成分推定処理、および推定部１９３のＢ成分推定処理は、推定部１９１のＲ成分推定処理と同様であるので、その説明は省略する。ただし、推定部１９２のＧ成分推定処理においては、注目画素を中心とする７×７画素のなかから参照画素を検出するようにし、さらに、図１９に示すＧ成分用補間フィルタ係数を用いることにする。
【０１６９】
図２８は、ノイズ除去部１９８におけるノイズ除去処理の手順を示したフローチャートである。ノイズ除去部１９８は、輝度候補画像の全ての画素を注目画素としたか否かを判定する（Ｓ２４１）。そして、全ての画素を注目画素としていないと判定した場合、ノイズ除去部１９８は、輝度候補画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ２４１−Ｎｏ，Ｓ２４２）。
【０１７０】
ノイズ除去部１９８は、注目画素の上下左右に位置する画素の画素値（輝度候補値）を取得し、取得した注目画素の上下左右に位置する画素輝度候補値を、それぞれ変数ａ３，ａ０，ａ１，ａ２に代入する（Ｓ２４３）。
【０１７１】
次に、ノイズ除去部１９８は、方向選択的平滑化処理を実行することにより、注目画素に対応する平滑化値を取得する（Ｓ２４４）。
【０１７２】
ノイズ除去部１９８は、注目画素の画素値（輝度候補値）と、ステップＳ２４４で演算した注目画素に対応する平滑化値αの平均値を演算し、当該平均値を注目画素に対応する輝度画像の画素値（輝度値）とする（Ｓ２４５）。
【０１７３】
ノイズ除去部１９８は、ステップＳ２４１に戻り、全ての画素を注目画素としたと判定するまで、ステップＳ２４１〜Ｓ２４５の処理を繰り返す。ノイズ除去部１９８は、全ての画素を注目画素としたと判定すると（Ｓ２４１−Ｙｅｓ）、ノイズ除去処理を終了する。これにより、輝度画像生成処理も終了されて、図２５のステップＳ２１２にリターンする。
【０１７４】
図２９は、ノイズ除去部１９８における方向選択的平滑化処理の手順を示すフローチャートである。ノイズ除去部１９８は、次式（２４）に適用して、注目画素に対応する輝度勾配ベクトルｇを算出する（Ｓ２５１）。
輝度勾配ベクトルｇ＝（ａ２−ａ１，ａ３−ａ０）…（２４）
【０１７５】
次に、ノイズ除去部１９８は、輝度勾配ベクトルｇの大きさ（絶対値）‖∇‖を演算する（Ｓ２５２）。また、ノイズ除去部１９８は、変数ａ０〜ａ３を次式（２５），（２６）に適用して、注目画素に対応する水平方向の平滑化成分Ｈｈと垂直方向の平滑化成分Ｈｖを演算する（Ｓ２５３）。
Ｈｈ＝（ａ１＋ａ２）／２ …（２５）
Ｈｖ＝（ａ３＋ａ０）／２ …（２６）
【０１７６】
次に、ノイズ除去部１９８は、輝度勾配ベクトルｇの絶対値‖ｇ‖に対応して、水平方向の重要度ｗｈと垂直方向の重要度ｗｖを演算する（Ｓ２５４）。具体的には、輝度勾配ベクトルｇの絶対値‖ｇ‖が０よりも大きい場合、次式（２７）に示すように、正規化した輝度勾配ベクトルｇ／‖ｇ‖とベクトル（１，０）との内積の絶対値を１から減算して水平方向の重要度ｗｈを得る。また、次式（２８）に示すように、正規化した輝度勾配ベクトルｇ／‖ｇ‖とベクトル（０，１）との内積の絶対値を１から減算して垂直方向の重要度ｗｖを得る。
ｗｈ＝１−｜（ｇ／‖ｇ‖，（１，０））｜ …（２７）
ｗｖ＝１−｜（ｇ／‖ｇ‖，（０，１））｜ …（２８）
【０１７７】
輝度勾配ベクトルｇの絶対値‖ｇ‖が０である場合、ノイズ除去部１９８は、水平方向の平滑化寄与率ｗｈおよび垂直方向の平滑化寄与率ｗｖを、それぞれ０．５とする。
【０１７８】
次に、ノイズ除去部１９８は、次式（２９）を用いて注目画素に対応する平滑化値αを演算する（Ｓ２５５）。
α＝（ｗｈ・Ｈｈ＋ｗｖ・Ｈｖ）／（ｗｈ＋ｗｖ） …（２９）
【０１７９】
図３０は、単色画像生成部１８２における単色画像生成処理の手順を示したフローチャートである。
【０１８０】
補間部２０１は、色・感度モザイク画像に補間処理を施すことによって、全ての画素がＲ成分の画素値を有するＲ候補画像を生成し、比率値算出部２０２に出力する（Ｓ２６１）。なお、補間部２０１の補間処理は、図２７のフローチャートを参照して上述した輝度画像生成部１８１を構成する推定部１９１のＲ成分推定処理と同様であるので、その説明は省略する。
【０１８１】
比率値算出部２０２は、比率値算出処理を施すことによって強度比率を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器２０３に供給する（Ｓ２６２）。
【０１８２】
乗算器２０３は、輝度画像の各画素の画素値に、対応する強度比率を乗算し、その積を画素値とする出力画像Ｒを生成する（Ｓ２６３）。
【０１８３】
なお、単色画像生成部１８２の単色画像生成処理と同時に、単色画像生成部１８３，１８４も、同様の処理を実行する。
【０１８４】
図３１は、比率値算出部２０２における比率値算出処理の手順を示したフローチャートである。比率値算出部２０２は、Ｒ候補画像の全ての画素を注目画素としたか否かを判定する（Ｓ２７１）。そして、全ての画素を注目画素としていないと判定した場合、比率値算出部２０２は、Ｒ候補画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ２７１−Ｎｏ，Ｓ２７２）。
【０１８５】
次に、比率値算出部２０２は、注目画素の近傍に位置する画素（たとえば、注目画素を中心とする７×７画素）を参照画素し、それらの画素値（Ｒ成分の単色候補値）を取得する。また、比率値算出部２０２は、参照画素と同じ座標に位置する輝度画像の画素値（輝度値）を抽出する（Ｓ２７３）。
【０１８６】
比率値算出部２０２は、参照画素の注目画素に対する相対的な位置に対応し、図２４に示すように予め設定されている平滑化フィルタ係数を参照画素の数だけ取得する（Ｓ２７４）。
【０１８７】
比率値算出部２０２は、各参照画素のＲ成分の単色候補値に対応する平滑化フィルタ係数を乗算し、その積を対応する輝度値で除算して、それらの商の総和を演算する。さらに、その商の総和を、用いた平滑化フィルタ係数の総和で除算して、その商を注目画素に対応する強度比率として、比率値情報を生成する（Ｓ２７５）。
【０１８８】
比率値算出部２０２は、ステップＳ２７１に戻り、Ｒ候補画像の全ての画素を注目画素としたと判定するまで、ステップＳ２７１〜Ｓ２７５の処理を繰り返す。そして、比率値算出部２０２は、Ｒ候補画像の全ての画素を注目画素としたと判定すると（Ｓ２７１−Ｙｅｓ）、生成した比率値情報を乗算器２０３に供給する。そして、処理は図３０のステップＳ２６３にリターンする。
【０１８９】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０１９０】
また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０１９１】
たとえば、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、たとえば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１９２】
この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）を含む）、光磁気ディスク（ＭＤ（Ｍｉｎｉ Ｄｉｓｃ ）を含む）、もしくは半導体メモリなどよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭやハードディスクなどで構成される。
【０１９３】
また、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行なわれる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１９４】
【発明の効果】
以上のように、先ず、読出電極を独立に制御可能な複数系統に分け、それぞれの読出電極を蓄積時間の違う信号に対応させ、感度特性の切替えを露光時間制御で電子的に実現する構成とした。このとき、読出電極を、同一の色成分および感度特性を有する複数の画素が格子状に配置され、かつ、感度特性に拘わらず、同一の色成分を有する複数の画素が格子状に配置されるようにした。
【０１９５】
こうすることで、ＮＤ方式ＳＶＥが持つカラーフィルフィルタ配列の柔軟性を享受でき、かつ、シャッタ方式ＳＶＥが持つ感度制御の柔軟性を享受することができるようになった。
【０１９６】
そしてこれにより、カラーフィルタの配列をベイヤ配列などの格子状配列としたままでシャッタ方式ＳＶＥを実現できるので、ＳＶＥモードでの解像度の低下を最小限に抑えながらダイナミックレンジの拡大率を可変にしたり、ノーマルモードとＳＶＥモードの切替えなどの機能を実現することができるようになった。
【０１９７】
つまり、全画素読出方式の撮像装置であっても、広ダイナミックレンジのカラー画像の撮像と、通常ダイナミックレンジの高解像度カラー画像の撮像とを両立することができるようになった。
【図面の簡単な説明】
【図１】本発明に係る撮像装置を適用したデジタルスチルカメラの構成を示す図である。
【図２】操作部の一例を説明する図である。
【図３】本実施形態のデジタルスチルカメラの動作の概要を説明する図である。
【図４】第１の特徴を呈する色・感度モザイクパターンＰ１を示す図である。
【図５】第２および第３の特徴を呈する色・感度モザイクパターンＰ３を示す図である。
【図６】第４の特徴を呈する色・感度モザイクパターンＰ４ａを示す図である。
【図７】第４の特徴を呈する色・感度モザイクパターンＰ４ｂを示す図である。
【図８】第４の特徴を呈する色・感度モザイクパターンＰ４ｃを示す図である。
【図９】全画素読出しにおいて感度のモザイク配列を電子的に実現するための露光制御の第１例を説明する図である。
【図１０】全画素読出しにおいて感度のモザイク配列を電子的に実現するための露光制御の第２例を説明する図である。
【図１１】図６に示した色・感度モザイクパターンＰ４ａについての電極構造の第１例を示す図である。
【図１２】図６に示した色・感度モザイクパターンＰ４ａについての電極構造の第２例を示す図である。
【図１３】図７に示した色・感度モザイクパターンＰ４ｂについての電極構造の一例を示す図である。
【図１４】図８に示した色・感度モザイクパターンＰ４ｃについての電極構造の一例を示す図である。
【図１５】画像上における画素の位置座標の定義を説明する図である。
【図１６】デモザイク処理を主に実行する画像処理部の一構成例を示している。
【図１７】輝度画像生成部の一構成例を示している。
【図１８】Ｒ用の推定部が使用するＲ成分用の補間フィルタ係数の一例およびＢ用の推定部が使用するＢ成分用の補間フィルタ係数の一例である。
【図１９】Ｇ用の推定部が使用するＧ成分用補間フィルタ係数の一例である。
【図２０】Ｒ用の推定部が用いる合成感度補償ＬＵＴについて説明するための図である。
【図２１】Ｇ用の推定部が用いる合成感度補償ＬＵＴについて説明するための図である。
【図２２】Ｂ用の推定部が用いる合成感度補償ＬＵＴについて説明するための図である。
【図２３】単色画像生成部の構成例を示す図である。
【図２４】比率値算出部が使用する、平滑化フィルタ係数の一例を示す図である。
【図２５】画像処理部の構成例によるデモザイク処理の手順を示すフローチャートである。
【図２６】輝度画像生成部の輝度画像生成処理の手順を示すフローチャートである。
【図２７】Ｒ用の推定部におけるＲ成分推定処理の手順を示すフローチャートである。
【図２８】ノイズ除去部におけるノイズ除去処理の手順を示したフローチャートである。
【図２９】ノイズ除去部における方向選択的平滑化処理の手順を示すフローチャートである。
【図３０】単色画像生成部における単色画像生成処理の手順を示したフローチャートである。
【図３１】比率値算出部における比率値算出処理の手順を示したフローチャートである。
【符号の説明】
１…デジタルスチルカメラ、２…光学系、３…信号処理系、４…記録系、５…表示系、６…制御系、２４…ＣＣＤイメージセンサ、２５…ＣＤＳ回路、２６…Ａ／Ｄ変換回路、２７…画像処理部、１８１…輝度画像生成部、１８２…単色画像生成部、１８３…単色画像生成部、１８４…単色画像生成部、１９１…推定部、１９２…推定部、１９３…推定部、１９４…乗算器、１９５…乗算器、１９６…乗算器、１９７…加算器
Claims (10)
- 複数の色成分のうちの何れかの色成分を有するとともに受光した光を光電変換して電荷を蓄積する水平方向および垂直方向に配置された複数の受光素子を具備する光電変換手段と、前記受光素子により蓄積された電荷を前記垂直方向に転送する垂直転送レジスタと、前記受光素子により蓄積された電荷を前記垂直転送レジスタに転送する転送ゲートとを備えた撮像装置であって、
前記光電変換手段は、感度特性に拘わらず、同一の色成分を有する前記受光素子が格子状に配置されており、
同一の色成分を有するとともに前記電荷の蓄積時間に対応する同一の感度特性を呈する前記受光素子が格子状に配置されるように、それぞれ異なる前記蓄積時間に応じて独立に駆動電圧を前記転送ゲートに印加可能に設けられた複数系統のゲート電極を備えている
ことを特徴とする撮像装置。 - 前記ゲート電極は、前記垂直転送レジスタにて前記電荷を前記垂直方向に転送させるための転送電極を兼ねるとともに、有効画素領域中において前記水平方向に延在して配置されていることを特徴とする請求項１に記載の撮像装置。
- 全画素読出方式のものであることを特徴とする請求項１に記載の撮像装置。
- 前記複数の色成分は３原色成分であり、
感度特性に拘わらず、前記３原色成分がベイヤ配列をなすように配置されていることを特徴とする請求項１に記載の撮像装置。 - 前記色成分に拘わらず、同一の感度特性を呈する前記受光素子が、前記垂直方向にＭ（Ｍは正の整数）個の連続した前記受光素子を含み、かつその端部に位置する前記受光素子を基点として前記水平方向にＮ（Ｎは正の整数）個の連続した前記受光素子を含む組を１つの単位として繰り返し配置されるように、前記複数系統のゲート電極が設けられていることを特徴とする請求項１に記載の撮像装置。
- 前記色成分に拘わらず、同一の感度特性を呈する前記受光素子が、前記水平方向にＮ（Ｎは正の整数）個で前記垂直方向にＭ（Ｍは正の整数）個からなるＮ×Ｍ個の２次元状の組を１つの単位とし、前記同一の感度特性を呈する前記組が格子状に配置されるように、前記複数系統のゲート電極が設けられていることを特徴とする請求項１に記載の撮像装置。
- 前記Ｍ個は１個であり、前記同一の感度特性を呈するＮ×１個の２次元状の前記組がジグザグ状に配置されるように、前記複数系統のゲート電極が設けられていることを特徴とする請求項６に記載の撮像装置。
- 前記複数系統のゲート電極のそれぞれに対応して、前記蓄積時間の異なる信号に対応した電子シャッタパルスを前記駆動電圧として印加するパルス駆動部を備えていることを特徴とする請求項１に記載の撮像装置。
- 前記それぞれ異なる蓄積時間に応じて前記光電変換手段により撮像された複数系統の撮像信号に基づいて、信号処理により画像のダイナミックレンジを拡大する信号処理部を備えていることを特徴とする請求項１に記載の撮像装置。
- 各画素が複数の色成分のうちの何れかの色成分を有し、かつ、光強度に対する複数の感度特性のうちの何れかの感度特性を呈する色・感度モザイク画像を取得して被写体画像を撮像する撮像方法であって、
同一の色成分を有するとともに電荷の蓄積時間に対応する同一の感度特性を呈する受光素子が格子状に配置されるように、それぞれ異なる前記蓄積時間に応じて独立に駆動電圧を印加可能に設けられた複数系統のゲート電極を備えている撮像装置を使用し、
前記複数系統のゲート電極のそれぞれに対応して、前記蓄積時間の異なる信号に対応した電子シャッタパルスを前記駆動電圧として印加することで、前記それぞれ異なる蓄積時間に応じた複数系統の撮像信号を取得し、
この取得した複数系統の撮像信号に基づいて、信号処理により前記被写体画像のダイナミックレンジを拡大することを特徴とする撮像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002335216A JP2004172858A (ja) | 2002-11-19 | 2002-11-19 | 撮像装置および撮像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002335216A JP2004172858A (ja) | 2002-11-19 | 2002-11-19 | 撮像装置および撮像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004172858A true JP2004172858A (ja) | 2004-06-17 |
Family
ID=32699409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002335216A Withdrawn JP2004172858A (ja) | 2002-11-19 | 2002-11-19 | 撮像装置および撮像方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004172858A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007235656A (ja) * | 2006-03-02 | 2007-09-13 | Fujifilm Corp | 固体撮像装置とその駆動方法 |
| US7362894B2 (en) | 2003-01-14 | 2008-04-22 | Sony Corporation | Image processing apparatus and method, recording medium, and program |
| JP2009038479A (ja) * | 2007-07-31 | 2009-02-19 | Nikon Corp | 露出制御装置および撮像装置 |
| US9888190B2 (en) | 2015-12-03 | 2018-02-06 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device |
| US10506182B2 (en) | 2014-08-05 | 2019-12-10 | Sony Semiconductor Solutions Corporation | Imaging device and pixel signal reading method |
-
2002
- 2002-11-19 JP JP2002335216A patent/JP2004172858A/ja not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7362894B2 (en) | 2003-01-14 | 2008-04-22 | Sony Corporation | Image processing apparatus and method, recording medium, and program |
| JP2007235656A (ja) * | 2006-03-02 | 2007-09-13 | Fujifilm Corp | 固体撮像装置とその駆動方法 |
| JP2009038479A (ja) * | 2007-07-31 | 2009-02-19 | Nikon Corp | 露出制御装置および撮像装置 |
| US10506182B2 (en) | 2014-08-05 | 2019-12-10 | Sony Semiconductor Solutions Corporation | Imaging device and pixel signal reading method |
| US9888190B2 (en) | 2015-12-03 | 2018-02-06 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device |
| US10165206B2 (en) | 2015-12-03 | 2018-12-25 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device with switchable modes |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4019417B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| US9325918B2 (en) | Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program | |
| JP5007767B2 (ja) | 画像処理装置および方法 | |
| JP4228699B2 (ja) | 撮像装置、および撮像素子 | |
| US20080218598A1 (en) | Imaging method, imaging apparatus, and driving device | |
| US20060050956A1 (en) | Signal processing apparatus, signal processing method, and signal processing program | |
| JP2002209223A (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP2004282552A (ja) | 固体撮像素子および固体撮像装置 | |
| JP2004221265A (ja) | 固体撮像素子及びデジタルカメラ | |
| JP3947969B2 (ja) | 画像処理装置、および画像処理方法、記録媒体、並びにプログラム | |
| JP5607265B2 (ja) | 撮像装置、撮像装置の制御方法、及び制御プログラム | |
| JP2007135200A (ja) | 撮像方法および撮像装置並びに駆動装置 | |
| US20070085924A1 (en) | Control circuit for reading out signal charges from main and subsidiary pixels of a solid-state image sensor separately from each other in interlace scanning | |
| JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
| JP3902525B2 (ja) | 画像信号処理装置 | |
| JP3965555B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| JP2009021985A (ja) | 撮像装置及び撮像装置の駆動方法 | |
| JP2004023683A (ja) | 固体撮像素子の欠陥補正装置及び方法 | |
| JP2004172858A (ja) | 撮像装置および撮像方法 | |
| JP2004172859A (ja) | 撮像装置および撮像方法 | |
| JP4645607B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| JP2008270832A (ja) | 固体撮像素子及び撮像装置 | |
| JP2004336468A (ja) | 撮像装置及び画像処理方法 | |
| JP4468052B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
| JP2000261817A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051014 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070613 |