JP2009303010A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】コストの増加を抑制でき、撮像完了までの時間を長くすることなく、ダイナミックレンジを拡大した画像信号を生成することができる撮像装置及び撮像方法を提供する。
【解決手段】撮像装置は、蓄積画像を形成する個体撮像素子２と、蓄積画像に基づく撮像信号ＳＡを複数の利得量で増幅して複数の第１の信号ＳＢを生成する利得手段３０と、複数の第１の信号ＳＢを複数のデジタル撮像信号ＳＣにそれぞれ変換するＡ／Ｄ変換手段４（Ａ／Ｄ変換器４０）と、蓄積画像を電荷の量に応じた複数の領域に分割する輝度分布検出手段５３と、複数のデジタル撮像信号ＳＣを複数の輝度増幅量でそれぞれ増幅して複数の第２の信号を生成し、複数の第２の信号を合成して画像信号ＳＥを生成する合成手段５０と、前記複数の利得量及び前記複数の輝度増幅量を、蓄積画像の複数の領域ごとの前記蓄積された電荷の量に基づいて設定する制御手段７０とを有する。
【選択図】図２

Description

本発明は、入射光に応じた画像信号を出力する撮像装置及び撮像方法に関するものである。

露出が室内用に調節されているデジタルカメラで室内から窓越しに晴天下の野外の風景を撮影すると、野外の風景が白つぶれを起こしてしまう現象は広く知られている。これは、一般に撮像素子のダイナミックレンジが６０ｄＢ程度であり、室内から窓越しの野外の風景を撮影するために必要なダイナミックレンジを満たしていないために起こる現象である。また、露出が野外用に調節されているデジタルカメラで室内から窓越しに野外の風景を撮影すると、野外は適切な輝度に撮影できるが、室内の撮影画像に黒つぶれが発生してしまう。

ダイナミックレンジを広くするために、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子で、種々の方法が提案されてきた。例えば、入力画像データの階調値を調べて明度平均値を検出し、この明度平均値に応じて階調変換テーブルを決定することによって、ダイナミックレンジを拡大する方法が提案されている（例えば、特許文献１参照）。また、異なる２つの露光時間の撮影により得られた撮像データを合成することによって、ダイナミックレンジを拡大する方法も提案されている（例えば、非特許文献１参照）。

特開２００４−３６３７２６号公報（要約、図５） 上田和彦他、「広ダイナミックレンジカメラ用階調変換処理の開発」、社団法人映像情報メディア学会発行、映像情報メディア学会誌Ｖｏｌ．５６、Ｎｏ．３、２００２年、ｐｐ４６９−４７５（第４７３頁右欄〜第４７４頁左欄、図１３〜図１５）

しかしながら、画像の明度平均値に応じて階調変換テーブルを決定する方法を実施する装置は、高精度に明度平均値を検出する手段及び撮影環境に応じて階調変換テーブルを最適化する手段を必要とするので、装置の構成が複雑になり、装置のコストが増加する問題がある。

また、２つの露光時間の撮影により得られた撮像データを合成する方法を実施する装置は、一つの露光時間の撮影により得られた１画面分の撮像データを記憶するフレームメモリと２枚の画像を合成するための信号処理機能を実現する手段を必要とするので、装置の構成が複雑になり、装置のコストが増加する問題がある。また、この方法では、２つの露光時間の撮影を行うため、１フレームの撮像を完了するまでの時間が長くなるという問題がある。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、コストの増加を抑制でき、撮像完了までの時間を長くすることなく、ダイナミックレンジを拡大した画像信号を生成することができる撮像装置及び撮像方法を提供することにある。

本発明の撮像装置は、入射する光の量に応じた量の電荷を蓄積して蓄積画像を形成し、該蓄積画像に基づく撮像信号を出力する撮像手段と、前記撮像信号を複数の利得量で増幅して複数の第１の信号を生成する利得手段と、前記複数の第１の信号を複数のデジタル撮像信号にそれぞれ変換するＡ／Ｄ変換手段と、前記蓄積画像を電荷の量に応じた複数の領域に分割する輝度分布検出手段と、前記複数のデジタル撮像信号を複数の輝度増幅量でそれぞれ増幅して複数の第２の信号を生成し、該複数の第２の信号を合成して画像信号を生成する合成手段と、前記複数の利得量及び前記複数の輝度増幅量を、前記蓄積画像の前記複数の領域ごとの前記蓄積された電荷の量に基づいて設定する制御手段とを有することを特徴としている。

また、本発明の撮像方法は、撮像手段により、入射する光の量に応じた量の電荷を蓄積して蓄積画像を形成し、該蓄積画像に基づく撮像信号を出力するステップと、制御手段により、複数の利得量及び複数の輝度増幅量を設定するステップと、前記撮像信号を前記複数の利得量で増幅して複数の第１の信号を生成するステップと、前記複数の第１の信号を複数のデジタル撮像信号にそれぞれ変換するステップと、前記蓄積画像を電荷の量に応じた複数の領域に分割するステップと、前記複数のデジタル撮像信号を複数の輝度増幅量でそれぞれ増幅して複数の第２の信号を生成し、該複数の第２の信号を合成して画像信号を生成するステップとを有し、前記複数の利得量及び前記複数の輝度増幅量の設定は、前記蓄積画像の前記複数の領域ごとの前記蓄積された電荷の量に基づいて実行されることを特徴としている。

本発明によれば、装置の構成の簡素化により装置のコストの増加を抑制でき、撮像完了までの時間を長くすることなく、ダイナミックレンジを拡大した画像信号を生成することができるという効果を得ることができる。

実施の形態１．
図１は、本発明の実施の形態１に係る撮像装置の構成を概略的に示すブロック図である。図１に示されるように、実施の形態１に係る撮像装置は、レンズ１と、撮像手段としての固体撮像素子２と、利得手段を有するアナログ信号処理手段３と、Ａ／Ｄ（アナログ／デジタル）変換手段４と、合成手段（後述する図２の符号５０）及び輝度分布検出手段（後述する図２の符号５３）を含むデジタル信号処理手段５と、タイミング信号発生手段６と、制御手段（後述する図２の符号７０）を有するＣＰＵ（中央処理装置）７とを有している。

レンズ１は、図示しない被写体からの光を固体撮像素子２の撮像面に集光する。一般に、撮像装置には、被写体をぼけなく撮像するために、レンズ１の焦点位置の調整を自動的に行う手段（図示せず）が備えられている。なお、焦点位置を調整する手段は、手動によって焦点位置を切り換える手段（図示せず）であってもよい。また、レンズ１として、焦点位置を調整する必要のないパンフォーカスレンズを用いてもよい。さらに、レンズ１として、複数枚のレンズを組み合わせ、レンズ間距離を調整可能に構成した、ズーム機能付きレンズを用いてもよい。

固体撮像素子２は、撮像面にフォトダイオードのような光電変換素子を２次元的に配列している。固体撮像素子２は、被写体からの光を各光電変換素子（画素）で光電変換し、入射光量に応じた量の電荷を蓄積し、蓄積された電荷（蓄積画像）を所定の駆動方法で読み出す。この読み出された電気信号は、固体撮像素子２から撮像信号ＳＡとして出力される。

アナログ信号処理手段３は、固体撮像素子２からの撮像信号ＳＡをタイミング信号発生手段６からのサンプルホールドパルスＰＢにより相関二重サンプリング（ＣＤＳ）処理し、撮像信号ＳＡに応じて自動利得調整（ＡＧＣ）された利得で増幅して、増幅信号ＳＢ（後述する図２の符号ＳＢ１，ＳＢ２，…，ＳＢＮ）として出力する。なお、Ｎは２以上の整数である。

Ａ／Ｄ変換手段４は、アナログ信号処理手段３からの増幅信号ＳＢをタイミング信号発生手段６からのＡ／Ｄ変換クロックＰＣに応じてデジタル変換し、デジタル撮像信号（第１の信号）ＳＣ（後述する図２の符号ＳＣ１，ＳＣ２，…，ＳＣＮ）として出力する。デジタル撮像信号ＳＣの分解能は、８［ビット］が一般的であるが、後段のデジタル信号処理手段５による色分解能の改善、階調特性の改善、微少なコントラスト検出、ダイナミックレンジ拡大など目的に応じて１０［ビット］又は１４［ビット］などの他の分解能とすることができる。

デジタル信号処理手段５は、ＲＧＢ信号から輝度色差信号（ＹＣｂＣｒ）への変換、ホワイトバランス補正、γ（ガンマ）補正、色補間処理、及び輪郭強調補正等の画像処理を行う。デジタル信号処理手段５は、Ａ／Ｄ変換手段４からのデジタル撮像信号ＳＣに画像信号処理を施すことによって、表示装置（図示せず）において表示可能な画像信号ＳＥを出力する。表示装置（図示せず）は、例えば、ＬＣＤ表示装置であり、デジタル信号処理手段５から出力された画像信号ＳＥに基づく画像を表示する。なお、画像信号ＳＥを、ＤＶＤ、ＣＤ、ＨＤＤなどの記憶手段（図示せず）に蓄積するデジタル記憶装置に出力してもよい。

また、デジタル信号処理手段５は、１画面を複数の領域（測光枠）に分割し、分割された測光枠ごとに画素値を積算する積算処理、１画面を分割したＲＧＢ信号ごとに積算する積算処理、後述の合成処理、カラーセンサを用いた場合のホワイトバランス処理などの各種機能を有する。前述の積算処理のデータは、信号ＳＦとしてＣＰＵ７に出力される。ＣＰＵ７は、ホワイトバランスの判別結果として得られたＲ／Ｇゲイン、Ｂ／Ｇゲインをデジタル信号処理手段５に信号ＣＢとして与え、デジタル信号処理手段５は、信号ＣＢ基づいてホワイトバランス処理を行う。

タイミング信号発生手段６は、固体撮像素子２の動作を制御するための信号ＰＡを生成して、個体撮像素子２に供給する。信号ＰＡは、固体撮像素子２に蓄積される電荷の飽和量（蓄積飽和量）の制御のための信号（飽和量制御信号）を含む。また、タイミング信号発生手段６は、例えば、固体撮像素子２としてのＣＣＤ撮像素子に、２相の水平ＣＣＤ（ＨＣＣＤ）を駆動するための水平転送パルスＨＤＰと、４相の垂直ＣＣＤ（ＶＣＣＤ）を駆動するための垂直転送パルスＶＤＰと、画素電荷を読み出すための読み出しパルスと、ＣＣＤの基板から蓄積した画素電荷を排出することにより電子シャッタを実現するための電子シャッタパルスとを所定の手順で供給する。タイミング信号発生手段６による上記動作は、公知であり、例えば、特開２００７−８９０１６号公報（段落００３２〜００４１、図２〜図４）に開示されている。また、タイミング信号発生手段６は、アナログ信号処理手段３の動作を制御するための信号としてサンプルホールドパルスＰＢを生成し、アナログ信号処理手段３に供給する。さらに、タイミング信号発生手段６は、Ａ／Ｄ変換手段４の動作を制御するためのタイミング信号であるＡ／Ｄ変換クロックＰＣを生成し、Ａ／Ｄ変換手段４に供給する。

ＣＰＵ７は、各種演算を実行するとともに、撮像装置全体を制御する。ＣＰＵ７は、主に、タイミング信号発生手段６、デジタル信号処理手段５、及びアナログ信号処理手段３を制御する。

なお、固体撮像素子２は、色フィルタを備えていないモノクロ型のものであってもよく、原色や補色型の色フィルタを備えたカラー型のものであってもよい。また、固体撮像素子２は、ライン型（一次元）の固体撮像素子であってもよい。さらに、固体撮像素子２は、ＣＣＤ撮像素子に限定されず、光電変換機能を有する素子であれば、例えば、ＣＭＯＳ撮像素子や赤外線検出素子などの他の素子であってもよい。さらにまた、固体撮像素子２は、上述の２相の水平転送パルスと４相の垂直転送パルスを用いて駆動されるものに限定されず、例えば、３相の垂直転送パルスを用いる固体撮像素子のような他の方式を採用した個体撮像素子であってもよい。

図２は、実施の形態１に係る撮像装置のダイナミックレンジを拡大するための構成を示すブロック図である。図２に示されるように、ダイナミックレンジを拡大するための構成は、アナログ信号処理手段３と、Ａ／Ｄ変換手段４と、デジタル信号処理手段５と、ＣＰＵ７とから構成される。アナログ信号処理手段３は、複数（Ｎ個）の利得手段３０（各利得手段を区別するために、利得手段３０（１），…，３０（Ｎ）とも表記する。）を有する。ここで、Ｎは、２以上の予め決められた整数である。また、Ａ／Ｄ変換手段４は、複数（Ｎ個）のＡ／Ｄ変換器４０（各Ａ／Ｄ変換手段を区別するために、Ａ／Ｄ変換器４０（１），…，４０（Ｎ）とも表記する。）を有する。また、デジタル信号処理手段５は、合成手段５０と、輝度分布検出手段５３と、階調変換手段５４とを有する。合成手段５０は、複数（Ｎ個）の演算手段５１（各演算手段を区別するために、演算手段５１（１），…，５１（Ｎ）とも表記する。）と、複数の演算手段５１の出力（第２の信号）ＳＤ（ＳＤ１，ＳＤ２，…，ＳＤＮとも表記する。）を加算する加算手段５２とを有する。また、ＣＰＵ７は、複数の利得手段３０（１），…，３０（Ｎ）と合成手段５０の動作を制御する制御手段７０を有する。

複数の利得手段３０（１），…，３０（Ｎ）には、固体撮像素子２から出力される撮像信号ＳＡが分配されて入力される。複数の利得手段３０（１），…，３０（Ｎ）はそれぞれ、固体撮像素子２からの撮像信号ＳＡを増幅する。各利得手段３０（１），…，３０（Ｎ）の利得量Ｇ１，Ｇ２，…，ＧＮは、制御手段７０からの制御信号ＣＣによって設定される。図３は、利得手段３０の利得量の一例を示す図である。図３において、横軸は制御手段７０から出力される制御信号ＣＣに含まれる利得調整コードを示し、縦軸は利得手段３０の利得量を単位ｄＢで示している。制御手段７０は、各利得手段３０（１），…，３０（Ｎ）に出力される利得制御コードを変更することによって、各利得手段３０（１），…，３０（Ｎ）の利得量Ｇ１，Ｇ２，…，ＧＮを、例えば、０ｄＢから４０ｄＢまでの範囲内で調整することができる。ただし、利得調整コード及び利得量は、上記値に限定されず、撮像装置の設計仕様などの種々の条件に応じて決めることができる。なお、図３には、利得量が利得調整コードに対してｄＢ換算で線形関数で表される例を示したが、利得量と利得調整コードの関係はこの関係に限定されず、利得調整コードに対して利得量が一意に定義される関係であれば、利得量が利得調整コードに対して倍換算で表される関係のような他の関係であってもよい。

図２に示されるように、固体撮像素子２からの撮像信号ＳＡは、アナログ信号処理手段３の複数の利得手段３０（１），…，３０（Ｎ）に分配される。実際のアナログ信号処理手段３では、インピーダンスマッチングを考慮した回路設計がなされる。制御手段７０は、各利得手段３０（１），…，３０（Ｎ）について個別に利得量の調整を行なう。アナログ信号処理手段３は、１つの増幅器として機能する利得手段を複数備える構成（図２に示す構成）、又は、複数の増幅器として機能する利得手段を１つ備える構成（図示せず）によって実現できる。

デジタル信号処理手段５内の輝度分布検出手段５３は、画面の輝度分布を検出することによって、画面（蓄積画像）内の領域的な輝度変化を検出する。輝度分布検出手段５３は、デジタル撮像信号ＳＣから輝度信号Ｙを生成する。ＩＴＵ−Ｒ ＢＴ．７０９規定の場合、輝度信号Ｙは、ＲＧＢ信号から、次式（１）で求めることができる。
Ｙ＝０．２９９×Ｒ（ｘ，ｙ）＋０．５８７×Ｇ（ｘ，ｙ）＋０．１１４×Ｂ（ｘ，ｙ）
…式（１）
ここで、Ｒ（ｘ，ｙ）は座標（ｘ，ｙ）におけるＲ信号、Ｇ（ｘ，ｙ）は座標（ｘ，ｙ）におけるＧ信号、Ｂ（ｘ，ｙ）は座標（ｘ，ｙ）におけるＢ信号である。なお、ＲＧＢ信号から輝度信号Ｙを求めるための変換式は、上記式（１）に限定されず、画像処理を行うシステムが採用する色空間の規格によって規定される。また、デジタル撮像信号ＳＣに輝度信号Ｙが含まれる場合は、輝度分布検出手段５３は、輝度信号Ｙを求めるための計算を行わずに、デジタル撮像信号ＳＣを輝度信号Ｙとして用い、フィルタ処理する。

図４は、輝度分布検出手段５３の構成の一部（輝度信号Ｙの生成手段は図示せず）を示す図である。図４に示されるように、輝度分布検出手段５３は、２次元ｎタップの非巡回型デジタルフィルタであり、ディレイ手段８１，８２，８３と、係数手段８４，８５，８６と、ラインメモリ８７，８８と、加算手段８９と、正規化手段９０とを有する。ここで、ｎは２以上の正の整数である。

ディレイ手段８１は、輝度信号Ｙを水平画素単位で遅延させる遅延素子ＤＬ（−１，−１）と、遅延素子ＤＬ（−１，−１）の出力を遅延させる遅延素子ＤＬ（０，−１）と、遅延素子ＤＬ（０，−１）の出力を遅延させる遅延素子ＤＬ（１，−１）とを有する。また、ディレイ手段８２は、輝度信号Ｙをラインメモリ８７で遅延させた輝度信号Ｙ_０を水平画素単位で遅延させる遅延素子ＤＬ（−１，０）と、遅延素子ＤＬ（−１，０）の出力を遅延させる遅延素子ＤＬ（０，０）と、遅延素子ＤＬ（０，０）の出力を遅延させる遅延素子ＤＬ（１，０）とを有する。また、ディレイ手段８３は、ラインメモリ８７で遅延させた輝度信号Ｙ_０をラインメモリ８８で１ライン分遅延させた輝度信号Ｙ_１を水平画素単位で遅延させる遅延素子ＤＬ（−１，１）と、遅延素子ＤＬ（−１，１）の出力を遅延させる遅延素子ＤＬ（０，１）と、遅延素子ＤＬ（０，１）の出力を遅延させる遅延素子ＤＬ（１，１）とを有する。

係数手段８４は、遅延素子ＤＬ（−１，−１）の出力に乗算係数ａ（−１，−１）を乗算する乗算器と、遅延素子ＤＬ（０，−１）の出力に乗算係数ａ（０，−１）を乗算する乗算器と、遅延素子ＤＬ（１，−１）の出力に乗算係数ａ（１，−１）を乗算する乗算器とを有する。係数手段８５は、遅延素子ＤＬ（−１，０）の出力に乗算係数ａ（−１，０）を乗算する乗算器と、遅延素子ＤＬ（０，０）の出力に乗算係数ａ（０，０）を乗算する乗算器と、遅延素子ＤＬ（１，０）の出力に乗算係数ａ（１，０）を乗算する乗算器とを有する。係数手段８６は、遅延素子ＤＬ（−１，１）の出力に乗算係数ａ（−１，１）を乗算する乗算器と、遅延素子ＤＬ（０，１）の出力に乗算係数ａ（０，１）を乗算する乗算器と、遅延素子ＤＬ（１，１）の出力に乗算係数ａ（１，１）を乗算する乗算器とを有する。なお、図４において、タップ数ｎは、
ｎ＝２×ｋ＋１（ｋは正の整数）を満たす。ただし、タップ数ｎは、
ｎ＝２×ｋであってもよい。ここで、ｋは正の整数である。例えば、図４において、遅延素子ＤＬ（−１，−１）、ＤＬ（−１，０）、ＤＬ（−１，１）を設けず、輝度信号Ｙ，Ｙ_１，Ｙ_２を直接遅延素子ＤＬ（０，−１）、ＤＬ（０，０）、ＤＬ（０，１）及び乗算係数ａ（０，−１）、ａ（０，０）、ａ（０，１）の乗算器にそれぞれ入力するようにしてもよい。

輝度分布検出手段５３は、３×３の２次元のデジタルフィルタを構成しており、輝度分布Ｙａｖｇは次式（２）で求めることができる。

式（２）において、輝度信号Ｙ（−１，−１）、Ｙ（−１，０）、Ｙ（−１，１）はそれぞれ、輝度信号Ｙ（０，−１）、Ｙ（０，０）、Ｙ（０，１）の画素の１画素後の画素の輝度信号を示す。輝度信号Ｙ（１，−１）、Ｙ（１，０）、Ｙ（１，１）はそれぞれ、輝度信号Ｙ（０，−１）、Ｙ（０，０）、Ｙ（０，１）の画素の１画素前の画素の輝度信号を示す。各乗算係数を、
ａ（−１，−１）＝ａ（−１，０）＝ａ（−１，１）
＝ａ（０，−１）＝ａ（０，０）＝ａ（０，１）
＝ａ（１，−１）＝ａ（１，０）＝ａ（１，１）
＝１
とすると、式（２）の分母は、次式（３）のようになり、式（２）は単純平均を求める演算を表すものとなる。

したがって、式（２）により、補正を行う画素と、補正を行う画素の周辺画素の平均輝度を求めることができる。なお、「補正を行う画素の周辺画素」とは、ｉ（水平画素方向）を所定の整数とし、ｊ（垂直画素方向）を所定の整数とし、補正を行う画素の座標を（０，０）としたときに、点（−ｉ，−ｊ）、点（ｉ，−ｊ）、点（ｉ，ｊ）、点（ｉ，−ｊ）を結ぶ四角形領域に含まれる画素の内の、補正を行う画素（０，０）以外の画素である。ｉが１であり、ｊが１であるときには、「補正を行う画素の周辺画素」は、補正を行う画素の周囲に隣接する８個の画素である。

このように２次元の非巡回型デジタルフィルタを用いることで、輝度分布検出手段５３の輝度信号Ｙの１次元方向のフィルタ出力を求めることができる。求められたフィルタ出力は、輝度信号Ｙと補正を行う画素の周辺画素の平均値を求めるように構成することで、２次元方向の明るさの分布の変化を求めることができる。よって、明るさの分布の変化に対応した補正利得を検出することができ、明るさの分布の変化を考慮したコントラストの補正をすることができる。また、２次元の非巡回型デジタルフィルタは、デジタル信号処理回路として一般的な構成であり、回路規模の簡素化が図れ、ゲート規模の削減及びコスト軽減の効果がある。

タップ数ｎは、３タップに限らず、任意のタップ数とすることができる。タップ数を増やすことで、カットオフ周波数の特性を細かく設定することができ、また、広い範囲に及ぶ緩やかな輝度変化を検出することができる。このように、タップ数ｎを切替えることで、入力画像内の異なる照明条件による輝度分布の変化に応じてフィルタを構成することができる。

以上の説明においては、輝度分布検出手段５３に用いられるフィルタ手段が２次元の非巡回型デジタルフィルタである場合を説明したが、フィルタ手段は１次元の非巡回型デジタルフィルタであってもよい。１次元の非巡回型デジタルフィルタを用いることによって、ラインメモリを用いることなく平均値を求めることができる。

なお、タップ数は、除算処理をビットシフト処理で行なうことができるので、２ｋ（ｋは正の整数）を用いることもできる。除算処理をビットシフト処理で行なうことによって、除算処理を容易に行うことができ、ハードウェア実装面積を少なくでき、コストを低下させる効果がある。

また、フィルタ手段は、上記式（２）に基づく平均輝度Ｙａｖｇを算出する処理を行う構成に限定されず、明るさの分布の変化を求めることができる構成であればよく、加重平均を出力する構成、ローパスフィルタを用いた構成、又はバンドパスフィルタを用いた構成等のような他の構成とすることができる。

ＣＰＵ７内の制御手段７０は、蓄積画像の複数の領域ごとの蓄積された電荷の量に基づいて、利得量及び輝度増幅量Ｇ_Ｙを設定するために、各利得手段３０（１），…，３０（Ｎ）の利得量Ｇ１，…，ＧＮの設定情報を信号ＣＣとして各利得手段３０に出力し、各演算手段５１の輝度増幅量の設定情報を信号ＣＢとして各演算手段５１に出力する。より具体的に言えば、制御手段７０は、設定する輝度分布検出手段５３の領域的な輝度情報ＳＦから各利得手段３０（１），…，３０（Ｎ）の利得量Ｇ１，…，ＧＮを求め、各利得手段３０（１），…，３０（Ｎ）に求められた利得量を設定する。また、制御手段７０は、求められた利得量から輝度増幅量Ｇ_Ｙを求め、各演算手段５１（１），…，５１（Ｎ）に設定する。制御手段７０は、例えば、第１の信号ＳＢ１，…，ＳＢＮの生成に用いられる利得手段３０（１），…，３０（Ｎ）の利得量Ｇ１，…，ＧＮが小さいほど、該第１の信号ＳＢ１，…，ＳＢＮに対応するデジタル撮像信号ＳＤ１，…，ＳＤＮの生成に用いられる輝度増幅量Ｇ_Ｙ（各演算手段５１（１），…，５１（Ｎ）の輝度増幅量を区別するために、輝度増幅量をＧ_Ｙ（１）…，Ｇ_Ｙ（Ｎ）とも表記する。）が大きくなるように実行される。

デジタル信号処理手段５内の合成手段５０は、複数の演算手段５１と加算手段５２とから構成される。合成手段５０は、複数のＡ／Ｄ変換器４０からのデジタル撮像信号を合成処理して、合成信号として出力する。以下では、利得手段３０を２台用いた構成、すなわち、利得手段３０（１），３０（２）と、Ａ／Ｄ変換器４０（１），４０（２）と、演算手段５１（１），５１（２）とを有する構成を説明する。

各演算手段５１（１），５１（２）は、Ａ／Ｄ変換手段４からのデジタル撮像信号ＳＣに、各利得手段３０（１），３０（２）の利得量Ｇ１，Ｇ２から求められる輝度増幅量Ｇ_Ｙ（１），Ｇ_Ｙ（２）を乗算する。輝度増幅量Ｇ_Ｙ（１），Ｇ_Ｙ（２）の求め方と概念を、図５を用いて説明する。図５は、ダイナミックレンジの広い被写体を撮影した１フレームの画像である。図５において、ＢＲは明るい被写体の領域（明るい領域）を示し、ＤＫは暗い被写体の領域（暗い領域）を示す。輝度分布検出手段５３は、複数の利得手段３０の内の利得手段３０（２）の増幅信号ＳＢを入力し、明るい領域ＢＲの輝度分布の最大の輝度値Ｙ（ＢＲ）と暗い領域ＤＫの輝度分布の最大の輝度値Ｙ（ＤＫ）を求める。

制御手段７０は、明るい領域ＢＲの輝度値Ｙ（ＢＲ）と暗い領域ＤＫの輝度値Ｙ（ＤＫ）から、次式（４）を用いて、輝度増幅量Ｇ_Ｙを求める。
Ｇ_Ｙ＝Ｙ（ＢＲ）／Ｙ（ＤＫ） …式（４）
ここで、Ｙ（ＢＲ）が‘１６０’であり、Ｙ（ＤＫ）が‘４０’であるとすると、式（４）から、Ｇ_Ｙ＝１６０／４０＝４となり、輝度増幅量Ｇ_Ｙは４倍となる。このことは、明るい領域ＢＲは、暗い領域ＤＫに比べて、４倍明るいことを示している。なお、輝度分布の最大値を用いて、輝度増幅量Ｇ_Ｙを求めた例を説明したが、明るい領域ＢＲと暗い領域ＤＫの輝度分布のヒストグラムから、それぞれの領域の明るい輝度の最頻値を求める構成でもよい。

図６は、暗い領域ＤＫの輝度ヒストグラムの一例を示す図であり、図７は、明るい領域ＢＲの輝度ヒストグラムの一例を示す図である。図６より、暗い領域ＤＫにおいて出現頻度が最も高い輝度範囲は、輝度範囲‘４０’〜‘５９’であり、この輝度範囲の最小の輝度値‘４０’を、輝度増幅量Ｇ_Ｙを求めるために用いる。また、図７より、明るい領域ＢＲにおいて出現頻度が最も高い輝度範囲は、輝度範囲‘１６０’〜‘１７９’であり、この輝度範囲の最大の輝度値‘１６０’を、輝度増幅量Ｇ_Ｙを求めるために用いる。

ヒストグラムを用いた場合、Ｙ（ＢＲ）が‘１６０’であり、Ｙ（ＤＫ）が‘４０’であり、輝度増幅量Ｇ_Ｙは、式（４）から、Ｇ_Ｙ＝１６０／４０＝４となる。ここでは、各輝度範囲‘４０’〜‘５９’及び‘１６０’〜‘１７９’の最小値‘４０’及び‘１６０’を用いたが、各輝度範囲の最大値‘５９’及び‘１７９’を用いてもよく、また、各輝度範囲の中央値（例えば、‘５０’及び‘１７０’）を用いてもよい。また、経験的、統計的処理により、ヒストグラムや、最大値、最小値以外の情報をもとに明るい領域ＢＲと暗い領域ＤＫの輝度信号を求めることができる。なお、輝度分布検出手段５３による領域の検出は、１フレーム前の画像についての検出でもよいが、現フレームの画像についての検出でもよい。

図２の構成では、利得手段３０（１）に設定される利得量Ｇ１は、演算手段５１（２）で使用される輝度増幅量Ｇ_Ｙ（２）に等しく、利得量Ｇ１及び輝度増幅量Ｇ_Ｙ（２）は４倍に設定される。また、利得手段３０（２）に設定される利得量Ｇ２は、自動露出制御で得られる値を用いる。自動露出制御は、明るい領域ＢＲが最適な露出になるように設定される。

また、同時に、演算手段５１（１）の輝度増幅量Ｇ_Ｙ（１）を設定する。例えば、輝度増幅量Ｇ_Ｙ（１）は、利得量が最も小さい利得手段３０（２）の利得量Ｇ２を用いる。

図８（ａ）〜（ｆ）は、実施の形態１における利得手段３０と演算手段５１の動作を説明するための図である。同図（ａ）は、利得手段３０（１）から出力されるデジタル撮像信号ＳＣ１の特性ｆ１の一例を示し、同図（ｂ）は、利得手段３０（２）から出力されるデジタル撮像信号ＳＣ２の特性ｆ２の一例を示す。また、同図（ｃ）は、演算手段５１（１）から出力される第２の信号ＳＤ１の特性ｆ１ａを示し、同図（ｄ）は、演算手段５１（２）から出力されるデジタル撮像信号ＳＤ２の特性ｆ２ａを示す。また、同図（ｅ）は、同図（ｃ）の一部を拡大して示し、同図（ｆ）は、同図（ｄ）の一部を拡大して示す。図８（ａ）及び（ｂ）において、横軸は被写体の明るさ（Ｌ）を示し、縦軸はデジタル信号処理手段５に入力されるデジタル撮像信号ＳＣの信号レベルを示す。また、図８（ｃ）〜（ｆ）において、横軸は被写体の明るさ（Ｌ）を示し、縦軸は演算手段５１から出力される第２の信号ＳＤの信号レベルを示す。

図８（ｂ）において、特性ｆ２は、明るい領域ＢＲを撮影する撮像条件の代表的な特性を示す。明るさレベルＬｂで、デジタル撮像信号ＳＣが‘２５５’に飽和するように各利得手段３０の利得量）が設定される。

図８（ａ）において、Ｌａは、明るさレベルＬｂの１／４の明るさレベルを示している。図８（ａ）において、特性ｆ１は、利得量が４倍に設定された利得手段３０（１）の出力特性を示し、明るさレベルＬａで、デジタル撮像信号ＳＣが‘２５５’に達して、飽和する。特性ｆ１は、アナログの撮像信号ＳＡを増幅した増幅信号ＳＢ１をＡ／Ｄ変換手段４を用いてＡ／Ｄ変換することで、明るさレベルＬａ以下においては特性ｆ２におけるデジタル信号レベルに比べて４倍の分解能を持つ。図８（ｃ）において、特性ｆ１ａは、演算手段５１（１）の出力（第２の信号ＳＤ１）であり、図８（ｅ）に示されるように、特性ｆ１ａは、特性ｆ１と同様に、明るさレベルＬａ以下において、４倍の分解能を持つ。

図８（ｄ）において、特性ｆ２ａは、演算手段５１（２）の出力（第２の信号ＳＤ２）であり、図８（ｂ）に示される特性ｆ２のデジタル撮像信号ＳＣが、１０［ビット］で１０２３［階調］にデジタル増幅された信号である。図８（ｅ）及び（ｆ）に示されるように、特性ｆ２ａは、明るさレベルＬａ以下では、特性ｆ１に比べて、階調が１／４であり、階調が荒い。

図２に示される合成手段５０内の加算手段５２は、複数の演算手段５１の出力を加算する手段である。加算手段５２は、デジタル信号レベルが‘２５５’以下のときには、演算手段５１（１）から出力される特性ｆ１の信号を出力し、デジタル信号レベルが‘２５５’より大きいときには、演算手段５１（２）から出力される特性ｆ２ａの信号を出力する。このように、実施の形態１においては、被写体の明るさ（Ｌ）に応じて、階調数を増減することができる。

図９は、実施の形態１に係る撮像装置により得られる効果を説明するための図である。図９において、Ｌ０は、被写体８０への入射光量、Ｌ１は被写体８０の透過率Ｔ１の部分を通過した透過光量であり、Ｌ２は被写体８０の透過率Ｔ２の部分を通過した透過光量である。被写体８０の透過率Ｔ１の部分を通過した光は、固体撮像素子２で光電変換されて撮像信号ＳＡ１を出力し、透過率Ｔ２の部分を通過した光は、固体撮像素子２で光電変換されて撮像信号ＳＡ２を出力する。

入射光量Ｌ０が大きく、被写体８０が明るく撮影される一例として、撮像信号ＳＡが２［Ｖ］、利得量が１倍、シャッタスピードが１／３０［秒］である場合を考える。Ａ／Ｄ変換手段４の性能は、アナログ入力信号２［Ｖ］で、２５５［ｄｉｇｉｔｓ］（すなわち、８［ビット］）分解能であるとする。アナログ信号処理手段３から出力される増幅信号（第１の信号）ＳＢは、次式（５）で算出できる。
ＳＢ＝Ｋ×ＳＡ×利得量×露光時間 …式（５）
となる。ここで、Ｋは、実施の形態１の撮像装置の露出システム系から得られ定数であり、実験的に、統計処理を用いて得られる。また、Ａ／Ｄ変換手段４からのデジタル撮像信号ＳＣは、次式（６）で算出できる。
ＳＣ＝（ＳＢ［Ｖ］／２［Ｖ］）×２５５ …式（６）
なお、Ａ／Ｄ変換手段４からのデジタル撮像信号ＳＣは‘２５５’で出力が、クリップする。

被写体が明るい場合、例えば、撮像信号ＳＡ２が１［Ｖ］のときには、デジタル撮像信号ＳＣは１２７［ｄｉｇｉｔｓ］となる。また、このとき、撮像信号ＳＡ１は、次式から
ＳＡ１＝０．５×ＳＡ２＝０．５［Ｖ］＝６３［ｄｉｇｉｔｓ］
０．５［Ｖ］となる。被写体８０の透過率の分布に伴う信号差（コントラスト信号）は、
１２７［ｄｉｇｉｔｓ］−６３［ｄｉｇｉｔｓ］＝６４［ｄｉｇｉｔｓ］
となり、十分な信号差、コントラストの信号を得ることができる。

被写体８０が暗くなった場合、例えば、ＳＡ２が１００［ｍＶ］のときには、デジタル撮像信号ＳＣは１２［ｄｉｇｉｔｓ］となる。また、このとき、撮像信号ＳＡ１は、次式から
ＳＡ１＝０．５×ＳＡ２＝５０［ｍＶ］＝６［ｄｉｇｉｔｓ］
５０［ｍＶ］となる。被写体８０の透過率の分布に伴う信号差（コントラスト信号）は、
１２［ｄｉｇｉｔｓ］−６［ｄｉｇｉｔｓ］＝６［ｄｉｇｉｔｓ］
となり、被写体が明るい場合に比べ、小さな値となる。

このことから分かるように、被写体８０が明るい場合には、後段の処理におけるコントラスト信号が大きくなり、被写体８０が暗い場合には、後段の処理におけるコントラスト信号は小さくなる。実施の形態１に係る撮像装置は、被写体が低照度の場合であっても、コントラスト信号を大きく得ることができ、低照度におけるコントラストを改善することができる。

なお、図９においては、光透過率の異なる被写体８０を撮像した場合を説明したが、光反射率の異なる被写体を撮像する場合にも、同様である。

図１０は、階調変換手段５４による変換特性の一例を示す図である。階調変換手段５４は、合成手段５０の出力を後段の信号処理に適した特性のデジタル画像信号に変換する。図１０において、横軸は、被写体の明るさ（Ｌ）（又は、被写体の明るさ（Ｌ）に対応した合成手段５０の出力信号レベル）を示し、縦軸は、階調変換手段５４から出力される信号のレベル（階調信号レベル）を示す。階調変換手段５４による階調変換の特性は、入力信号が小さい領域（主に、明るさレベルＬａ以下の領域）における出力信号の変化が大きく（図１０においては、特性曲線の勾配が急であり）、入力信号が大きい領域（主に、明るさレベルＬａより大きい領域）における出力信号の変化が小さい（図１０においては、特性曲線の勾配が緩やかであり）、γ特性を示している。

このため、仮に本発明を適用しない（すなわち、コントラスト改善手段を用いない）場合には、明るさレベルＬａ以下の領域では、階調変換手段５４による階調変換後の階調信号レベルが離散的になり、階調信号レベルのばらつきが大きくなる。しかし、本発明を適用した（すなわち、コントラスト改善手段を用いる）実施の形態１の場合には、明るさレベルＬａ以下の領域において階調数が増加しているので、階調信号レベルが離散的にならず、階調変換の滑らかな特性を実現することができる。このため、低輝度の領域におけるコントラストが向上し、黒つぶれによる情報量の欠落や、視認性の悪化を防ぐことができる。

なお、階調変換手段５４の特性は、ＲＥＴＩＮＥＸなどの領域的な輝度分布を用いた階調変換であってもよい。

以上に説明したように、実施の形態１に係る撮像装置又は撮像方法によれば、暗い領域の輝度信号の階調数を増やすことができるので、画像の低輝度部の黒つぶれを防止することができる。

また、実施の形態１に係る撮像装置又は撮像方法によれば、ダイナミックレンジを拡大しているので、画像の高輝度部の白つぶれすることを防止することができる。

また、実施の形態１に係る撮像装置は、分解能の低いＡ／Ｄ変換手段と、低容量のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアで実現することができ、フレームメモリを用いる必要が無いので、撮像装置の低コスト化を図ることができる。

また、実施の形態１に係る撮像装置は、コントラスト改善のための低輝度側の撮影と、高輝度側の撮影を同時に行うことができるため、時間的な遅延が無く、動画撮影用の撮像装置にも適用することができる。

実施の形態２．
図１１は、本発明の実施の形態２に係る撮像装置のダイナミックレンジを拡大するための構成を示すブロック図である。なお、実施の形態２に係る撮像装置の説明においては、図１をも参照する。

図１１に示されるように、実施の形態２に係る撮像装置においては、アナログ信号処理手段３は、個体撮像素子からの撮像信号ＳＡを時間分割して撮像信号Ｓ１，Ｓ２，…とし、時間分割された撮像信号ＳＡ（Ｓ１，Ｓ２，…とも表記する。）を各利得量Ｇ１，Ｇ２，…，ＧＮで増幅して複数の増幅信号を順次出力する利得手段３０ａを有する。Ａ／Ｄ変換手段４は、利得手段３０ａから出力された複数の増幅信号をデジタル変換して複数のデジタル撮像信号（第１の信号）Ｇ１×Ｓ１，Ｇ２×Ｓ１，…，ＧＮ×Ｓ１，Ｇ１×Ｓ２，Ｇ２×Ｓ２，…を順次出力するＡ／Ｄ変換器４０ａを有する。

また、図１１に示されるように、デジタル信号処理手段５は、合成手段５０ａと、輝度分布検出手段５３ａと、階調変換手段５４ａとを有する。合成手段５０ａは、複数のデジタル撮像信号Ｇ１×Ｓ１，Ｇ２×Ｓ１，…を複数の輝度増幅量Ｇ_Ｙ（各輝度増幅量を区別するために、輝度増幅量Ｇ_Ｙ（１）…，Ｇ_Ｙ（Ｎ）とも表記する。）でそれぞれ増幅して複数のデジタル増幅信号（第２の信号）を順次生成する演算手段５１ａと、この演算手段５１ａから順次出力される複数のデジタル増幅信号（第２の信号）を合成してデジタル画像信号を生成する加算手段５２ａとを有する。加算手段５２ａは、例えば、１８時間分割されたシリアル信号をパラレル変換して、加算処理を行い、画像信号ｆ（Ｇ１×Ｓ１，Ｇ２×Ｓ１）、ｆ（Ｇ１×Ｓ２，Ｇ２×Ｓ２）、…を階調変換手段５４ａに出力する。ここで、画像信号ｆ（Ｇ１×Ｓ１，Ｇ２×Ｓ１）とは、時間分割された信号Ｓ１から、利得手段２０ａで利得量Ｇ１，Ｇ２を用い、さらに演算手段５１ａで利得増幅量Ｇ_Ｙ（１），Ｇ_Ｙ（２）を用いて増幅され、合成された信号である。合成手段５０ａ、輝度分布検出手段５３ａ、及び階調変換手段５４ａはそれぞれ、上記実施の形態１における合成手段５０、輝度分布検出手段５３、及び階調変換手段５４と同様の役割を持ち、デジタル信号処理手段５から出力される画像信号ＳＥは、上記実施の形態１における画像信号ＳＥと同様の信号になる。

また、ＣＰＵ７は、上記各構成の動作を制御する制御手段７０ａを有する。上述した実施の形態１に係る撮像装置においては、複数の利得手段３０、複数のＡ／Ｄ変換器４０、複数の演算手段５０を用いて信号を並列処理したが、実施の形態２に係る撮像装置においては、上述したように信号を時間分割処理している。この点を除いて、実施の形態２は、上記実施の形態１と同じである。

図１２は、実施の形態２に係る撮像装置のダイナミックレンジを拡大するための構成の動作を説明するためのタイミングチャートである。図１２において、入力信号ＳＡは時分割された入力信号Ｓ１，Ｓ２，…となる。利得量は、利得手段３０ａに設定される利得量Ｇ１，Ｇ２，…を示し、（Ｇ１×入力信号）は、利得量Ｇ１が乗算された撮像信号、すなわち、（Ｇ１×Ｓ１），（Ｇ１×Ｓ２），…であり、（Ｇ２×入力信号）は、利得量Ｇ２が乗算された撮像信号、すなわち、（Ｇ２×Ｓ１），（Ｇ２×Ｓ２），…である。また、（サンプリング後のＧ１×入力信号）は、（Ｇ１×入力信号）の処理結果をクロックで再サンプリングした結果を示し、（サンプリング後のＧ２×入力信号）は、（Ｇ２×入力信号）の処理結果をクロックで再サンプリングした結果を示す。図１２において、合成出力は、（サンプリング後のＧ１×入力信号）と（サンプリング後のＧ２×入力信号）を用いて演算手段５１ａによる演算処理と加算手段５２ａによる加算処理からなる合成処理を行って得られた信号ｆ（Ｇ１×Ｓ１，Ｇ２×Ｓ１）、ｆ（Ｇ１×Ｓ２，Ｇ２×Ｓ２）、ｆ（Ｇ１×Ｓ３，Ｇ２×Ｓ３）、…である。

実施の形態２に係る撮像装置のダイナミックレンジを拡大するための構成は、図１２に示されるように、撮像信号をシリアルに処理する点を除いて、撮像信号をパラレルに処理する実施の形態１と、動作及び効果は同等である。また、実施の形態２に係る撮像装置においては、撮像信号をシリアル転送しているので、１つのＡＳＩＣ又はＦＰＧＡなどのハードウェアで信号処理を実現することができ、装置のコストの低減及び実装面積の縮小の効果を得ることができる。

本発明の実施の形態１及び２に係る撮像装置の構成を概略的に示すブロック図である。 実施の形態１に係る撮像装置のダイナミックレンジを拡大するための構成を概略的に示すブロック図である。 図２に示される利得手段の利得量の一例を示す図である。 図２に示される輝度分布検出手段の構成を概略的に示す図である。 暗い領域（室内）と明るい領域（窓越しの野外）を含むダイナミックレンジの広い被写体を撮影した画像の一例を示す図である。 暗い領域のヒストグラムの一例を示す図である。 明るい領域のヒストグラムの一例を示す図である。 （ａ）〜（ｆ）は、実施の形態１における利得手段と演算手段の動作を説明するための図である。 実施の形態１に係る撮像装置により得られる効果を説明するための図である。 実施の形態１に係る撮像装置の階調変換手段の特性を示す図である。 本発明の実施の形態２に係る撮像装置のダイナミックレンジを拡大するための構成を概略的に示すブロック図である。 実施の形態２に係る撮像装置の動作を示すタイミングチャートである。

符号の説明

１ レンズ、 ２ 固体撮像素子、 ３ アナログ信号処理手段、 ４ Ａ／Ｄ変換手段、 ５ デジタル信号処理手段、 ６ タイミング信号発生手段、 ７ ＣＰＵ、 ３０，３０（１），…，３０（Ｎ），３０ａ 利得手段、 ４０，４０（１），…，４０（Ｎ） Ａ／Ｄ変換器、 ５０，５０ａ 合成手段、 ５１，５１（１），…，５１（Ｎ），５１ａ 演算手段、 ５２，５２ａ 加算手段、 ５３ 輝度分布検出手段、 ５４ 階調変換手段、 ７０，７０ａ 制御手段、 ８０ 被写体、 ８１，８２，８３ ディレイ手段、 ８４，８５，８６ 係数乗算手段、 ８７，８８ ラインメモリ、 ８９ 加算手段、 ９０ 正規化手段、 ＤＫ 暗い領域、 ＢＲ 明るい領域。

Claims (7)

1. 入射する光の量に応じた量の電荷を蓄積して蓄積画像を形成し、該蓄積画像に基づく撮像信号を出力する撮像手段と、
   前記撮像信号を複数の利得量で増幅して複数の第１の信号を生成する利得手段と、
   前記複数の第１の信号を複数のデジタル撮像信号にそれぞれ変換するＡ／Ｄ変換手段と、
   前記蓄積画像を電荷の量に応じた複数の領域に分割する輝度分布検出手段と、
   前記複数のデジタル撮像信号を複数の輝度増幅量でそれぞれ増幅して複数の第２の信号を生成し、該複数の第２の信号を合成して画像信号を生成する合成手段と、
   前記複数の利得量及び前記複数の輝度増幅量を、前記蓄積画像の前記複数の領域ごとの前記蓄積された電荷の量に基づいて設定する制御手段と
   を有することを特徴とする撮像装置。
2. 前記制御手段による前記複数の利得量及び前記複数の輝度増幅量の設定は、前記第１の信号の生成に用いられる利得量が小さいほど、該第１の信号に対応する前記デジタル撮像信号の生成に用いられる輝度増幅量が大きくなるように実行されることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段による前記複数の利得量及び前記複数の輝度増幅量の設定は、前記複数の利得量の内の最小の利得量を用いて生成された前記第１の信号又はこれに対応する前記デジタル撮像信号に基づいて実行されることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記利得手段による前記複数の第１の信号の生成は、並行して実行されることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記利得手段による前記複数の第１の信号の生成は、時間分割で順次実行されることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 撮像手段により、入射する光の量に応じた量の電荷を蓄積して蓄積画像を形成し、該蓄積画像に基づく撮像信号を出力するステップと、
   制御手段により、複数の利得量及び複数の輝度増幅量を設定するステップと、
   前記撮像信号を前記複数の利得量で増幅して複数の第１の信号を生成するステップと、
   前記複数の第１の信号を複数のデジタル撮像信号にそれぞれ変換するステップと、
   前記蓄積画像を電荷の量に応じた複数の領域に分割するステップと、
   前記複数のデジタル撮像信号を複数の輝度増幅量でそれぞれ増幅して複数の第２の信号を生成し、該複数の第２の信号を合成して画像信号を生成するステップと
   を有し、
   前記複数の利得量及び前記複数の輝度増幅量の設定は、前記蓄積画像の前記複数の領域ごとの前記蓄積された電荷の量に基づいて実行される
   ことを特徴とする撮像方法。
7. 前記複数の利得量及び前記複数の輝度増幅量を設定するステップは、前記第１の信号の生成に用いられる利得量が小さいほど、該第１の信号に対応する前記デジタル撮像信号の生成に用いられる輝度増幅量が大きくなるように実行されることを特徴とする請求項６に記載の撮像方法。
   

Images