JP2006352804A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2006352804A JP2006352804A JP2005179868A JP2005179868A JP2006352804A JP 2006352804 A JP2006352804 A JP 2006352804A JP 2005179868 A JP2005179868 A JP 2005179868A JP 2005179868 A JP2005179868 A JP 2005179868A JP 2006352804 A JP2006352804 A JP 2006352804A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- unit
- imaging
- multiplication
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 539
- 230000035945 sensitivity Effects 0.000 claims abstract description 362
- 238000006243 chemical reaction Methods 0.000 claims abstract description 274
- 238000012545 processing Methods 0.000 claims abstract description 198
- 238000000034 method Methods 0.000 claims description 123
- 230000008569 process Effects 0.000 claims description 116
- 238000012937 correction Methods 0.000 claims description 95
- 239000002131 composite material Substances 0.000 claims description 40
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 27
- 230000003321 amplification Effects 0.000 description 17
- 238000003199 nucleic acid amplification method Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 12
- 239000003086 colorant Substances 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 2
- HODRFAVLXIFVTR-RKDXNWHRSA-N tevenel Chemical compound NS(=O)(=O)C1=CC=C([C@@H](O)[C@@H](CO)NC(=O)C(Cl)Cl)C=C1 HODRFAVLXIFVTR-RKDXNWHRSA-N 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- JLYXXMFPNIAWKQ-UHFFFAOYSA-N γ Benzene hexachloride Chemical compound ClC1C(Cl)C(Cl)C(Cl)C(Cl)C1Cl JLYXXMFPNIAWKQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】 異なる光電変換特性をもつ撮像センサによる撮影画像に対するISO感度制御を行う。
【解決手段】 異なる光電変換特性を2つ以上有する固体撮像素子の光電変換特性を制御するべく該異なる光電変換特性の切り替わり点(変曲点)位置を制御する切替点制御部と、固体撮像素子からの撮像信号に対する、それぞれ乗算処理及び加算処理を行う乗算部及び加算部と、変曲点位置に関する所定の選択基準情報に基づいて、乗算部の乗算処理により得られる信号と加算処理部の加算処理により得られる信号とに対する信号選択を行う信号選択部とを備え、乗算部、加算部及び切替点制御部それぞれにより、設定するISO感度度に応じて、乗算値、加算値及び変曲点位置を変更する。
【選択図】 図5
【解決手段】 異なる光電変換特性を2つ以上有する固体撮像素子の光電変換特性を制御するべく該異なる光電変換特性の切り替わり点(変曲点)位置を制御する切替点制御部と、固体撮像素子からの撮像信号に対する、それぞれ乗算処理及び加算処理を行う乗算部及び加算部と、変曲点位置に関する所定の選択基準情報に基づいて、乗算部の乗算処理により得られる信号と加算処理部の加算処理により得られる信号とに対する信号選択を行う信号選択部とを備え、乗算部、加算部及び切替点制御部それぞれにより、設定するISO感度度に応じて、乗算値、加算値及び変曲点位置を変更する。
【選択図】 図5
Description
本発明は、異なる2つ以上の特性領域からなる光電変換特性を有する撮像センサを用いた撮像装置であって、特にこの撮像センサにより得られる画像に対する感度調整を行う撮像装置に関するものである。
近年、デジタルカメラ等の撮像装置においては、高画質化の要請に伴い、撮像センサが扱うことのできる被写体の輝度範囲、すなわちダイナミックレンジを拡大させることが1つの大きなテーマとなっている。このダイナミックレンジの拡大化が図られる撮像センサに関し、入射光量に対して電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して電気信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性を有する撮像センサが知られている(例えば特許文献1参照)。この撮像センサのことを「LOGセンサ」ともいう。また、このLOGセンサによる撮像により得られる線形特性及び対数特性を有した画像のことを線形/対数画像と称する。
特開2002−77733号公報
ところで、一般的に、銀塩カメラでの撮影画像に対する各種補正処理(画像処理)の1つとしてISO感度補正がある。このISO感度補正(ISO感度に相当する感度補正)は、デジタルカメラにおいても行われるが、これまでのデジタルカメラでは、1種類すなわち線形特性領域のみからなる光電変換特性を有する撮像センサによって撮影された線形画像を対象としたものであり、当該線形画像に対する増幅処理が行われることでISO感度が制御(ISO感度補正)されるものであった。しかしながら、上記LOGセンサを搭載した撮像装置において、該LOGセンサから得られる線形/対数画像に対するISO感度の制御を行う技術は無かった。
本発明は、上記事情に鑑みてなされたもので、異なる光電変換特性を有する撮像センサ(LOGセンサ)により得られた撮影画像(線形/対数画像)に対するISO感度の制御を行うことができ、ひいては撮影画像の高画質化を図ることが可能な撮像装置を提供することを目的とする。
本発明の請求項1に係る撮像装置は、異なる光電変換特性を2つ以上有する固体撮像素子と、前記異なる光電変換特性の切り替わり点の位置を制御する切替点制御部と、前記固体撮像素子からの撮像信号に対する乗算処理を行う乗算部と、前記固体撮像素子からの撮像信号に対する加算処理を行う加算部と、前記切り替わり点の位置に関する所定の選択基準情報に基づいて、前記乗算部の乗算処理により得られる信号と前記加算部の加算処理により得られる信号とに対する信号選択を行う信号選択部とを備え、前記乗算部、加算部及び切替点制御部はそれぞれ、被写体輝度の入力に対する出力度合いを示す所定の感度に応じて、乗算処理における乗算値、加算処理における加算値及び切り替わり点の位置を変更することを特徴とする。なお、本発明において、切り替わり点の“位置”とは、固体撮像素子の全体的な光電変換特性を例えば2次元座標上に示した場合の、その座標上の位置をいう。
上記構成によれば、切替点制御部によって、異なる光電変換特性を2つ以上有する固体撮像素子の該異なる光電変換特性の切り替わり点(後述する変曲点に相当)の位置が制御される。また、乗算部によって、固体撮像素子からの撮像信号に対する乗算処理が行われ、加算部によって、固体撮像素子からの撮像信号に対する加算処理が行われる。また、信号選択部によって、切り替わり点の位置に関する所定の選択基準情報に基づいて、乗算部の乗算処理により得られる信号と加算処理部の加算処理により得られる信号とに対する信号選択が行われる。そして、これら乗算部、加算部及び切替点制御部によって、被写体輝度の入力に対する出力度合いを示す所定の感度(後述のISO感度に相当)に応じて、乗算処理における乗算値、加算処理における加算値及び切り替わり点の位置が変更される。これにより、所定の感度に応じて、撮像信号つまり撮影画像の変曲点位置を変更したり、撮影画像に対して乗算処理や加算処理を施したりすることができ、選択基準情報すなわち変曲点位置(変曲点レベル)に基づいて、該変曲点位置を境とする信号選択処理を行うことで、例えば乗算処理が施されてなる線形特性領域の画像と、加算処理が施されてなる対数特性領域の画像とからなる撮影画像を求めるといったことが可能となるため、異なる光電変換特性を有する撮像センサにより得られた撮影画像(線形/対数画像)に対するISO感度の制御を行うことができ、ひいては撮影画像の高画質化を図ることができる。
請求項2に係る撮像装置は、請求項1において、前記切替点制御部は、前記感度に応じて切り替わり点の位置を変更し、前記乗算部及び加算部はそれぞれ、当該切替点制御部によって切り替わり点の位置が変更された光電変換特性に基づき得られた撮像信号に対する前記乗算処理及び加算処理を行うことを特徴とする。この構成によれば、切替点制御部によって、感度に応じて切り替わり点の位置が変更され、乗算部及び加算部によって、それぞれ切替点制御部によって切り替わり点の位置が変更された光電変換特性に基づき得られた撮像信号に対する乗算処理及び加算処理が行われる。このように、感度に応じて切り替わり点の位置が変更された後、この替わり点の位置が変更された撮影画像に対する乗算処理及び加算処理が行われるため、感度制御を行う際の乗算処理及び加算処理等によって、撮像信号の出力レベルが所定レベル、例えば一般的に設定される上限値レベルを超過してしまい、好適な感度制御が行われなくなることを確実に防止できる。
請求項3に係る撮像装置は、請求項1又は2において、前記乗算部及び加算部に入力される固体撮像素子からの撮像信号はアナログ信号であることを特徴とする。この構成によれば、乗算部及び加算部に入力される固体撮像素子からの撮像信号はアナログ信号であるため、感度制御における画像の所謂ざらつきを抑えることができる。
請求項4に係る撮像装置は、請求項1又は2において、アナログ信号をデジタル信号に変換するA/D変換を行うA/D変換部をさらに備え、前記乗算部及び加算部に入力される固体撮像素子からの撮像信号は、アナログ信号としての該撮像信号が前記A/D変換部によってA/D変換されてなるデジタル信号であることを特徴とする。この構成によれば、乗算部及び加算部に入力される固体撮像素子からの撮像信号はデジタル信号であるため、アナログ処理と比べてより正確な感度制御が可能となる。
請求項5に係る撮像装置は、異なる光電変換特性を2つ以上有する固体撮像素子と、被写体輝度の入力に対する出力度合いを示す所定の感度に応じて、前記異なる光電変換特性の切り替わり点の位置を制御する切替点制御回路と、前記感度に応じてオン、オフの切り替えを行う所定数の切替スイッチを含み、該切替スイッチによる切り替えに応じて前記固体撮像素子からの撮像信号に対する乗算処理を行う乗算回路と、前記感度に応じてオン、オフの切り替えを行う所定数の切替スイッチを含み、該切替スイッチによる切り替えに応じて前記固体撮像素子からの撮像信号に対する加算処理を行う加算回路と、前記固体撮像素子からの撮像信号に対して前記切り替わり点の位置に関する所定の比較処理を行う比較回路と、前記比較回路の比較処理により得られた選択基準用信号に基づいて、前記乗算回路の乗算処理により得られる信号と前記加算回路の加算処理により得られる信号とに対する信号選択を行う信号選択回路とを備えることを特徴とする。
上記構成によれば、被写体輝度の入力に対する出力度合いを示す所定の感度(後述のISO感度に相当)に応じて、切替点制御回路によって、異なる光電変換特性を2つ以上有する固体撮像素子の該異なる光電変換特性の切り替わり点(後述する変曲点に相当)の位置が制御される。また、所定の感度に応じて、乗算回路により、切替スイッチによる切り替えに応じて固体撮像素子からの撮像信号に対する乗算処理が行われるとともに、加算回路により、切替スイッチによる切り替えに応じて固体撮像素子からの撮像信号に対する加算処理が行われる。一方、比較回路によって、固体撮像素子からの撮像信号に対して切り替わり点の位置に関する所定の比較処理が行われる。また、信号選択回路によって、比較回路の比較処理により得られた選択基準用信号に基づいて、乗算回路の乗算処理により得られる信号と加算回路の加算処理により得られる信号とに対する信号選択が行われる。これにより、所定の感度に応じて、撮像信号つまり撮影画像の変曲点位置を変更したり、撮影画像に対して乗算処理や加算処理を施したりすることができ、選択基準用信号すなわち変曲点位置(変曲点レベル)に基づいて、該変曲点位置を境とする信号選択処理を行うことで、例えば乗算処理が施されてなる線形特性領域の画像と、加算処理が施されてなる対数特性領域の画像とからなる撮影画像を求めるといったことが可能となるため、異なる光電変換特性を有する撮像センサにより得られた撮影画像(線形/対数画像)に対するISO感度の制御を行うことができ、ひいては撮影画像の高画質化を図ることができる。
請求項6に係る撮像装置は、請求項5において、前記切替点制御回路は、前記感度に応じて切り替わり点の位置を変更し、前記乗算回路及び加算回路はそれぞれ、当該切替点制御回路によって切り替わり点の位置が変更された光電変換特性に基づき得られた撮像信号に対する前記乗算処理及び加算処理を行うことを特徴とする。この構成によれば、切替点制御回路によって、感度に応じて切り替わり点の位置が変更され、乗算回路及び加算回路によって、それぞれ切替点制御回路によって切り替わり点の位置が変更された光電変換特性に基づき得られた撮像信号に対する乗算処理及び加算処理が行われる。このように、感度に応じて切り替わり点の位置が変更された後、この切り替わり点の位置が変更された撮影画像に対する乗算処理及び加算処理が行われるため、感度制御を行う際の乗算処理及び加算処理等によって、撮像信号の出力レベルが所定レベル、例えば一般的に設定される上限値レベルを超過してしまい、好適な感度制御が行われなくなることを確実に防止できる。
請求項7に係る撮像装置は、請求項5又は6において、前記固体撮像素子からの撮像信号に対して前記乗算処理及び加算処理の前に黒レベル補正処理を行う黒レベル補正回路をさらに備えることを特徴とする。この構成によれば、黒レベル補正回路によって、固体撮像素子からの撮像信号に対して乗算処理及び加算処理の前に黒レベル補正処理が行われるため、黒レベル補正された撮像信号つまり撮影画像に対する感度調整を行うことができ、ひいては高精度の感度制御を行うことが可能となる。
請求項8に係る撮像装置は、請求項5〜7のいずれかにおいて、前記乗算回路、加算回路及び比較回路に入力される固体撮像素子からの撮像信号はアナログ信号であることを特徴とする。この構成によれば、乗算回路、加算回路及び比較回路に入力される固体撮像素子からの撮像信号はアナログ信号であるため、感度制御における画像の所謂ざらつきを抑えることができる。
請求項9に係る撮像装置は、異なる光電変換特性を2つ以上有する固体撮像素子と、前記固体撮像素子からの撮像信号に対する乗算処理を行う乗算部と、前記固体撮像素子からの撮像信号に対する加算処理を行う加算部と、前記複数の異なる光電変換特性の1つを他の光電変換特性に変換する特性変換部と、前記光電変換特性の切り替わり点の位置に関する所定の選択基準情報に基づいて、前記乗算部の乗算処理により得られる信号と前記加算部の加算処理により得られる信号とに対する信号選択を行う信号選択部とを備え、前記乗算部及び加算部はそれぞれ、被写体輝度の入力に対する出力度合いを示す所定の感度に応じて、乗算処理における乗算値及び加算処理における加算値を変更することを特徴とする。
上記構成によれば、乗算部によって、異なる光電変換特性を2つ以上有する固体撮像素子からの撮像信号に対する乗算処理が行われ、加算部によって、この固体撮像素子からの撮像信号に対する加算処理が行われる。また、特性変換部によって、複数の異なる光電変換特性の1つが他の光電変換特性に変換され、信号選択部によって、光電変換特性の切り替わり点の位置に関する所定の選択基準情報に基づいて、乗算部の乗算処理により得られる信号と加算部の加算処理により得られる信号とに対する信号選択が行われる。そして、これら乗算部及び加算部によって、被写体輝度の入力に対する出力度合いを示す所定の感度(後述のISO感度に相当)に応じて、乗算処理における乗算値及び加算処理における加算値が変更される。このように、特性変換部によって異なる光電変換特性の1つ例えば線形特性データが他の光電変換特性例えば対数特性データに変換され、ISO感度に応じて、当該データ変換処理が施された変換画像データに対して乗算処理や加算処理が施されるとともに、例えばこの変換画像データの特性の切り替わり点に関する選択基準情報に基づいて乗算及び加算処理された画像信号の選択が行われるので、異なる光電変換特性を有する撮像センサの撮影画像(線形/対数画像)に対するISO感度制御を、固体撮像素子に対する切り替わり点の位置の制御(変曲点制御)を行うことなく、且つ当該各処理を例えばデジタル信号処理(演算処理)のみによって行うことが可能となり、ひいてはISO感度制御の高速化、高精度化を図ることができる。
請求項10に係る撮像装置は、請求項9において、前記固体撮像素子は、カラー撮像素子であり、前記特性変換部は、前記異なる光電変換特性の1つを他の光電変換特性に変換する第1の特性変換及び/又は前記他の光電変換特性を前記1つの光電変換特性に変換する第2の特性変換を行うことが可能に構成されたものであって、前記カラー撮像素子からの色信号に対する色の調整に関するゲインと、前記所定の感度の調整に関するゲインとを合成してなる合成ゲインを設定する合成ゲイン設定部をさらに備え、前記特性変換部は、前記合成ゲイン設定部に設定された合成ゲインに応じて、前記第1の特性変換及び/又は前記第2の特性変換を行い、前記乗算部及び加算部はそれぞれ、前記色信号毎に、前記合成ゲインから得られる乗算値及び加算値を用いた乗算処理及び加算処理を行うことを特徴とする。この構成によれば、固体撮像素子は、カラー撮像素子であり、特性変換部によって、異なる光電変換特性の1つを他の光電変換特性に変換する第1の特性変換及び/又は他の光電変換特性を1つの光電変換特性に変換する第2の特性変換が行われる。合成ゲイン設定部によって、カラー撮像素子からの色信号に対する色の調整に関するゲインと、所定の感度の調整に関するゲインとを合成してなる合成ゲインが設定され、特性変換部によって、合成ゲイン設定部に設定された合成ゲインに応じて、第1の特性変換及び/又は第2の特性変換が行われ、乗算部及び加算部によって、色信号毎に、この合成ゲインから得られる乗算値及び加算値を用いた乗算処理及び加算処理が行われる。
このように、所定の感度の調整に関するゲインすなわちISO感度制御用のゲインと、カラー撮像素子からの色信号(例えばRGB信号)に対する色の調整に関するゲインすなわちホワイトバランス補正用のゲインとが合成された合成ゲインを用いて、色信号毎に処理が行われるので、合成ゲインという同一の制御パラメータを用いて感度の調整(ISO感度制御)と色調整(WB補正)とを同時に実行することが可能となり、換言すれば、感度の調整に伴って色調整も行うことが可能となり、感度及び色調整に対する制御効率の向上(制御時間の短縮化)、ひいては撮影の高速化を図ることができる。また、これら感度の調整と色調整とを例えば同一の調整部(回路)によって行うことが可能となり(ISO感度制御回路とWB補正回路との共通化を図ることができ)、ひいては装置の簡素化(装置規模の削減)を図ることができる。
請求項11に係る撮像装置は、請求項10において、アナログ信号をデジタル信号に変換するA/D変換を行うA/D変換部をさらに備え、前記乗算部及び加算部に入力されるカラー撮像素子からの色信号は、アナログ信号としての該色信号が前記A/D変換部によってA/D変換されてなるデジタル信号であることを特徴とする。この構成によれば、乗算部及び加算部に入力されるカラー撮像素子からの色信号はデジタル信号であるため、合成ゲインに基づいて感度及び色の調整(ISO感度制御及びWB補正)を行う構成を、デジタル回路を用いて容易に実現することが可能となる。また、これら各調整がデジタル処理にて行われることで、アナログ処理と比べてより正確な感度及び色の調整の制御が可能となる。
請求項1に係る撮像装置によれば、所定の感度に応じて、撮像信号つまり撮影画像の変曲点位置を変更したり、撮影画像に対して乗算処理や加算処理を施したりすることができ、選択基準情報すなわち変曲点位置(変曲点レベル)に基づいて、該変曲点位置を境とする信号選択処理を行うことで、例えば乗算処理が施されてなる線形特性領域の画像と、加算処理が施されてなる対数特性領域の画像とからなる撮影画像を求めるといったことが可能となるため、異なる光電変換特性を有する撮像センサにより得られた撮影画像(線形/対数画像)に対するISO感度の制御を行うことができ、ひいては撮影画像の高画質化を図ることができる。
請求項2に係る撮像装置によれば、感度に応じて切り替わり点の位置が変更された後、この切り替わり点の位置が変更された撮影画像に対する乗算処理及び加算処理が行われるため、感度制御を行う際の乗算処理及び加算処理等によって、撮像信号の出力レベルが所定レベル、例えば一般的に設定される上限値レベルを超過してしまい、好適な感度制御が行われなくなることを確実に防止できる。
請求項3に係る撮像装置によれば、乗算部及び加算部に入力される固体撮像素子からの撮像信号はアナログ信号であるため、感度制御における画像の所謂ざらつきを抑えることができる。
請求項4に係る撮像装置によれば、乗算部及び加算部に入力される固体撮像素子からの撮像信号はデジタル信号であるため、アナログ処理と比べてより正確な感度制御が可能となる。
請求項5に係る撮像装置によれば、所定の感度に応じて、撮像信号つまり撮影画像の変曲点位置を変更したり、撮影画像に対して乗算処理や加算処理を施したりすることができ、選択基準用信号すなわち変曲点位置(変曲点レベル)に基づいて、該変曲点位置を境とする信号選択処理を行うことで、例えば乗算処理が施されてなる線形特性領域の画像と、加算処理が施されてなる対数特性領域の画像とからなる撮影画像を求めるといったことが可能となるため、異なる光電変換特性を有する撮像センサにより得られた撮影画像(線形/対数画像)に対するISO感度の制御を行うことができ、ひいては撮影画像の高画質化を図ることができる。
請求項6に係る撮像装置によれば、感度に応じて切り替わり点の位置が変更された後、この替わり点の位置が変更された撮影画像に対する乗算処理及び加算処理が行われるため、感度制御を行う際の乗算処理及び加算処理等によって、撮像信号の出力レベルが所定レベル、例えば一般的に設定される上限値レベルを超過してしまい、好適な感度制御が行われなくなることを確実に防止できる。
請求項7に係る撮像装置によれば、黒レベル補正回路によって、固体撮像素子からの撮像信号に対して乗算処理及び加算処理の前に黒レベル補正処理が行われるため、黒レベル補正された撮像信号つまり撮影画像に対する感度調整を行うことができ、ひいては高精度の感度制御を行うことが可能となる。
請求項8に係る撮像装置によれば、乗算回路、加算回路及び比較回路に入力される固体撮像素子からの撮像信号はアナログ信号であるため、感度制御における画像の所謂ざらつきを抑えることができる。
請求項9に係る撮像装置によれば、特性変換部によって異なる光電変換特性の1つ例えば線形特性データが他の光電変換特性例えば対数特性データに変換され、ISO感度に応じて、当該データ変換処理が施された変換画像データに対して乗算処理や加算処理が施されるとともに、例えばこの変換画像データの特性の切り替わり点に関する選択基準情報に基づいて乗算及び加算処理された画像信号の選択が行われるので、異なる光電変換特性を有する撮像センサの撮影画像(線形/対数画像)に対するISO感度制御を、固体撮像素子に対する切り替わり点の位置の制御(変曲点制御)を行うことなく、且つ当該各処理を例えばデジタル信号処理(演算処理)のみによって行うことが可能となり、ひいてはISO感度制御の高速化、高精度化を図ることができる。
請求項10に係る撮像装置によれば、合成ゲインという同一のパラメータを用いて感度の調整(ISO感度制御)と色調整(WB補正)とを同時に実行することが可能となり、換言すれば、感度の調整に伴って色調整も行うことが可能となり、感度及び色調整に対する制御効率の向上(制御時間の短縮化)、ひいては撮影の高速化を図ることができる。また、当該感度の調整と色調整とを例えば同一の調整部(回路)によって行うことが可能となり(ISO感度制御回路とWB補正回路との共通化を図ることができ)、ひいては装置の簡素化(装置規模の削減)を図ることができる。
請求項11に係る撮像装置によれば、乗算部及び加算部に入力されるカラー撮像素子からの色信号はデジタル信号であるため、合成ゲインに基づいて感度及び色の調整(ISO感度制御及びWB補正)を行う構成を、デジタル回路を用いて容易に実現することが可能となる。また、これら各調整がデジタル処理にて行われることで、アナログ処理と比べてより正確な感度及び色の調整の制御が可能となる。
(実施形態1)
図1は、第1の実施形態に係る撮像装置の一例であるデジタルカメラを示し、このデジタルカメラの主に撮像処理に関する概略的なブロック構成図を示している。図1に示すようにデジタルカメラ1は、レンズ部2、撮像センサ3、ISO感度制御部4、A/D変換部5、画像処理部6、画像メモリ7、全体制御部8、モニタ部9及び操作部10等を備えている。
図1は、第1の実施形態に係る撮像装置の一例であるデジタルカメラを示し、このデジタルカメラの主に撮像処理に関する概略的なブロック構成図を示している。図1に示すようにデジタルカメラ1は、レンズ部2、撮像センサ3、ISO感度制御部4、A/D変換部5、画像処理部6、画像メモリ7、全体制御部8、モニタ部9及び操作部10等を備えている。
レンズ部2は、被写体光(光像)を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている撮像センサ3へ導くための光学レンズ系(被写体光の光軸Lに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック)を構成するものである。レンズ部2は、該レンズの透過光量を調節するための絞り(図略)やシャッタ(図略)を備えており、全体制御部8によりこの絞りやシャッタの駆動制御がなされる構成となっている。
撮像センサ3は、レンズ部2において結像された被写体光像の光量に応じ、R、G、B各色成分の画像信号に光電変換してこれを後段の例えばISO感度制御部4へ出力するものである。本実施形態においては、撮像センサ3として、例えば図2に示すセンサ入射輝度が低い場合(暗時)に出力画素信号(光電変換により発生する出力電気信号)が線形的に変換されて出力される線形特性領域と、センサ入射輝度が高い場合(明時)に出力画素信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性、換言すれば、低輝度側が線形で、高輝度側が対数である光電変換特性を有する対数変換型の固体撮像素子が用いられる。なお、この光電変換特性は、撮像センサ3の各画素回路に対する所定の制御信号により任意に制御可能とされている。この光電変換特性の制御は、例えば該光電変換特性の線形特性領域と対数特性領域との切り替わり点(以降、変曲点という)の位置を変化させる制御(例えばダイナミックレンジ制御)によって実現される。
このような撮像センサ3としては、例えば、フォトダイオード等の光電変換素子をマトリクス状に配置してなる固体撮像素子に、P型(又はN型)のMOSFET等を備えた対数変換回路を付加し、MOSFETのサブスレッショルド特性を利用することで、固体撮像素子の出力特性を入射光量に対して電気信号が対数的に変換されるようにした所謂CMOSイメージセンサが採用される。ただし、CMOSイメージセンサに限らず、VMISイメージセンサやCCDイメージセンサ等であってもよい。
ISO感度制御部4は、撮像センサ3から出力された撮像(映像)信号に対して所定の乗算(増幅)処理或いは加算処理を行うなどしてISO感度を調整する(ISO感度制御を行う)ものである。ISO感度制御部4は、入力されたアナログ信号としての撮像信号に対して各種処理を行う。このISO感度制御部4の構成及び動作の詳細については後述する。
A/D変換部5は、ISO感度制御部4から出力されたISO感度調整後のアナログ値の画像信号(アナログ信号)をデジタル値の画像信号(デジタル信号)に変換するものであり、撮像センサ3の各画素で受光して得られる画素信号をそれぞれ例えば12ビットの画素データに変換する。
画像処理部6は、A/D変換部5によるA/D変換処理によって得られた画像信号に対するホワイトバランス(WB)補正処理、色補間・色補正処理、階調変換処理、或いは固定パターンノイズ(FPN;Fixed Pattern Noise)を除去するFPN補正処理等の各種画像処理をデジタル信号処理にて行うものである。
画像メモリ7は、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリからなり、画像処理部6での画像処理を終えた画像データを(一時的に)保存するものである。画像メモリ7は、例えば撮影による所定フレーム分の画像データを記憶し得る容量を有したものとなっている。
全体制御部8は、各制御プログラム等を記憶するROM、一時的にデータを格納するRAM、及び制御プログラム等をROMから読み出して実行する(中央演算処理装置:CPU)等からなり、デジタルカメラ1全体の動作制御を司るものである。全体制御部8は、撮像センサ3やISO感度制御部4或いは操作部10等の装置各部からの各種信号に基づき、装置各部が必要とする制御パラメータ等を算出し、これを送信することで各部の動作を制御する。全体制御部8は、全体制御部8内に備えるタイミング生成部(タイミングジェネレータ)や駆動信号発生部(いずれも図略)により駆動制御信号を生成し、これに基づいて撮像センサ3やレンズ部2(絞りやシャッタ)に対する撮像動作制御を行ったり、画像処理部6や画像メモリ7に対する画像信号の入出力制御、或いはモニタ部9への表示制御などを行う。特にISO感度制御部4に対しては、例えばISO感度設定に関する操作部10からの入力信号に応じてISO感度制御に必要な各種信号を出力したり、逆にISO感度制御部4からの動作状態検出用等の各種信号(例えば後述の撮像信号)を受信することでISO感度制御部4の駆動制御を行う。なお、A/D変換部5に対しては、撮像センサ3の駆動信号に同期したA/D変換タイミング信号や、A/D変換を行う際の最低、最高アナログレベル信号等を出力する。
モニタ部9は、撮像センサ3で撮影された画像(画像メモリ7に保存されていた画像)或いは所定の設定情報等のモニタ表示を行うものである。モニタ部9は、具体的には、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器(LCD;Liquid Crystal Display)で構成されている。
操作部10は、デジタルカメラ1に対するユーザによる操作指示(指示入力)を行うものであり、例えば電源スイッチ、レリーズスイッチ、或いは各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ、或いはISO感度を設定するISO感度設定スイッチ等の各種の操作スイッチ群(操作ボタン群)からなる。この操作部10においては、例えばレリーズスイッチが押下(オン)されることで、撮像動作(撮像センサ3により被写体光が撮像され、この撮像により得られた画像データに対して所要の画像処理が施された後、画像メモリ7に記録されるといった一連の撮影動作)が実行される。また、ISO感度設定スイッチを操作して、例えば所望のISO感度(後述のISO100やISO200)を選択することで、当該選択したISO感度を有する画像が得られる。なお、ISO感度設定スイッチによるISO感度の設定(選択入力)は、例えばISO感度設定スイッチを各ISO感度値に対応する複数の入力ボタンで構成し、これら入力ボタンから任意に選択して押下するようにしてもよいし、1つのISO感度設定スイッチを操作して例えばモニタ部9に表示されるISO感度の選択肢から選択するようにしてもよい。
図3は、全体制御部8の各機能を説明するための機能ブロック図である。同図に示すように全体制御部8は、ISO感度設定部81、撮像センサ駆動制御部82、スイッチ制御部83及び閾値信号出力部84等を備えている。ISO感度設定部81は、ユーザによって操作部10(ISO感度設定スイッチ)から指示入力された所定のISO感度を有するISO感度情報(後述のISO100やISO200等のISO感度情報)を設定するものである。
撮像センサ駆動制御部82は、撮像センサ3の撮像に関する駆動制御を行うものである。撮像センサ駆動制御部82は、当該駆動制御に必要な各種制御パラメータを算出し、算出した制御パラメータに応じて生成した制御信号に基づいて各制御動作要素を駆動させる。具体的には、例えば被写体の輝度に応じた自動露出制御(AE制御)を行うべく、AE制御パラメータ、すなわち、撮影時における最適な露光量に設定するための制御パラメータ(露光量制御パラメータ)と、最適な撮像センサ3の光電変換特性に設定するための制御パラメータ(ダイナミックレンジ制御パラメータ)とを算出する。この露光量制御パラメータとは、撮像センサ3に対する「露光時間」や「絞り」を最適化するための制御パラメータであり、また、ダイナミックレンジ制御パラメータとは、被写体輝度に応じて撮像センサ3の「光電変換特性」を最適化するための制御パラメータである。
ここで、本発明で言うAE制御の概念に関する定義について説明しておく。いわゆる銀塩カメラと異なり、デジタルカメラやデジタルムービィ等の撮像装置においては、AE制御のための制御要素として、撮像センサ3の撮像面に届く光の総量を調整する方法と、撮像センサ3の光電変換特性に関連づけて(光電変換特性を作為的に変化させて)制御する方法とがある。本明細書では、前者を「露光量制御」と称し、後者を「ダイナミックレンジ制御」と称している。露光量制御は、例えば絞りの開口量調整や、或いはメカニカルシャッタのシャッタスピードの調整、又は撮像センサ3に対するリセット動作の制御による電荷の積分時間制御により実行され、一方、ダイナミックレンジ制御は、例えば撮像センサ3の線形特性領域と対数特性領域との切り替わり点(変曲点)の位置を制御することで実行される。
撮像センサ駆動制御部82は、上記AE制御を行うに際して、撮像センサ3で実際に撮影された撮像信号(画像データ)から、AE制御の撮影動作制御を行うに際してのベース値となる評価値、すなわちAE評価値を取得(検出)し、AE評価値取得時点における撮像センサ3の光電変換特性情報とに基づいて、例えば露光量設定用の被写体輝度が線形特性領域において所望の出力レベルとなるような露光時間設定値や絞り設定値といった露光量設定値、或いは例えばダイナミックレンジ設定用の被写体輝度が撮像センサ3の所定の飽和出力レベルとなるような(光電変換特性がこのような状態となるように該光電変換特性の変曲点位置を変化させるための)光電変換特性設定値を、それぞれ上記露光量制御パラメータやダイナミックレンジ制御パラメータとして算出する。なお、本実施形態においては、撮像センサ駆動制御部82は、後述する撮像信号V1において所定の変曲点出力レベル(以降、変曲点レベルという)を有する光電変換特性が得られる撮像状態となるよう上記ダイナミックレンジパラメータ制御等を行うことによって撮像センサ3の駆動制御を行う。
スイッチ制御部83は、後述のISO感度制御回路(図5参照)における撮像信号に対する乗算処理や加算処理或いは信号選択処理等を行うに際して、アナログスイッチ(以降、単にスイッチという)SW1〜SW10といった各スイッチのオン、オフ(ON/OFF)の制御を行うものである。
閾値信号出力部84は、ISO感度設定部81に設定されたISO感度情報(設定ISO感度)に基づいて、所定の閾値信号を、具体的には、後述する撮像信号V1の光電変換特性の変曲点レベル(後述のVth2やVth3)に相当する閾値信号(閾値電圧)Vthを、後述の比較部45に対して出力するものである。
次に、ISO感度制御部4の構成及びISO感度制御について詳述する。ここで、先ず本実施形態(第2〜4の実施形態も同じ)にいう「ISO感度」の概念について説明する。従来の所謂銀塩カメラでのISO感度は、フィルムの光に対する敏感さを数値化したものであり、ISO感度が高い程、感度は高くなり、例えば、同じ絞り値に対してより速いシャッタスピードでの撮影(露光)が可能となるようなものであった。一方、デジタルカメラ1における「ISO感度」の考え方も同様であり、例えば図4に示すように(横軸は被写体輝度に相当する入力値、縦軸は該入力値に対する出力値を示す)、所定のISO感度である符号101に示すISO100の特性に対して、例えばその倍の感度であるISO200の特性は符号102に示すものとして表される。すなわち、所定の出力値(出力OUT1)を得るためには、ISO感度がISO100の場合、入力値L1に示す大きさの入力値が必要であるが、ISO感度がISO200となる場合には、上記入力値L1の約半分の大きさである入力値L2で済むことになる。別の見方をすると、或る入力値(例えば入力値L2)に対して得られる出力は、ISO100の場合には出力値OUT2であるが、ISO200では該出力値OUT2の約2倍の大きさの出力値OUT1が得られるものとなっている。このISO100やISO200といった各ISO感度に対応して設定される個々の特性(特性線の傾きや形状)は、図4に示すものに限定されないが(例えば各社それぞれの規格等において任意に設定されるものであるが)、上記入力値と出力値との関係を用いて説明したように、各ISO感度(例えばISO100及びISO200)間の感度の違いは同じものとなる。
図5は、ISO感度制御部4の具体的な構成の一例を示す回路図である。なお、このISO感度制御部4の回路のことを適宜、ISO感度制御回路という。ISO感度制御部4は、電圧信号出力部41、黒レベル補正部42、乗算部43、加算部44、比較部45及び信号選択部46等からなる。電圧信号出力部41は、黒レベル補正部42及び加算部44に対して所定の信号電圧を出力する回路部である。電圧信号出力部41は、第1ブロック411〜第5ブロック415を備える。これら各ブロック411〜415は、例えば第1ブロックに示すように抵抗R1(ボリューム抵抗)やアンプAmp1等からなり、抵抗R1のボリュームレベル(抵抗値)に応じた電圧を出力する。第2〜第5ブロック412〜415も第1ブロック411と同様に、抵抗やアンプ(いずれも図示略)を備え、同様に各抵抗のボリュームレベルに応じた電圧を出力する。ただし、第1ブロック411の出力電圧は黒レベル補正部42に入力され、第2〜第5ブロック412〜415の出力電圧は加算部44に入力される。
黒レベル補正部42は、符号461の「InSignal」に示す信号ラインに入力された撮像センサ3からの撮像信号V0に対して黒レベル補正を行う回路部である。具体的には、黒レベル補正部42は、同図に示すように抵抗R4〜R7やアンプAmp3等からなり、当該入力された撮像信号V0に対し、第1ブロック411から出力される黒レベル基準としての基準電圧に基づいて、アンプAmp3において差分され黒レベルが差し引かれてなる撮像信号V1を出力する。
このことを図で示すと例えば図6のようになる。すなわち、符号201に示す信号を撮像信号V0とすると、撮像信号V0に対して符号203に示す黒レベル(出力電圧)分だけ差し引かれた、換言すれば撮像信号V0全体が図中の下方向へ平行移動されたものが符号202に示す撮像信号V1(撮像信号202)となる。ただし、撮像信号V0は図2に示すような光電変換特性を備える撮像センサ3によって得られた撮像信号であり、同図に示すように線形特性領域(Lin特性)及び対数特性領域(Log特性)の出力電圧(画像データ)を有する信号となっている。この場合、撮像信号(又は光電変換特性)の変曲点レベルすなわち変曲点電圧は、Vth0から黒レベル補正分だけ差し引かれたVth1へと変化する。なお、図6に示す各撮像信号のLog特性部は、実際には上方にカーブした曲線となるがここでは簡略的に直線で示している(後述の図7についても同様)。
乗算部43は、黒レベル補正部42において生成された撮像信号V1に対する乗算処理すなわち増幅処理を行う回路部である。具体的には、乗算部43は同図に示すように抵抗R8〜R12、抵抗R9〜R12に対して設けられるスイッチSW1〜SW4、及びアンプAmp4等からなり、符号462で示す信号ラインを経て乗算部43に入力された撮像信号V1に対して、スイッチSW1〜SW4における少なくとも1つのスイッチをオンすることで、アンプAmp4において当該オンしたスイッチに対する抵抗に応じた増幅(信号増幅)を行う。この乗算処理の結果、撮像信号V1は撮像信号V3となる。各スイッチSW1〜SW4に対応して設けられている抵抗R9〜R12は、それぞれ例えばISO100、ISO200、ISO400、ISO800(これらはISO感度が順に倍となっている)などと、それぞれISO感度設定部81に設定される各種ISO感度に対応した異なる抵抗値を有するものとされている。ただし、ISO感度に応じた抵抗(スイッチ)の個数は、ここでは抵抗R9〜R12(スイッチSW1〜SW4)の4つであるが、これに限定されず、設定されるISO感度の種類に応じた任意の個数でよい。なお、各スイッチSW1〜SW4のオン、オフ制御は、全体制御部8(スイッチ制御部83)からのスイッチ制御信号に基づいて行われる。乗算部43での乗算処理は、ISO 感度調整における、撮像信号の線形特性領域に対する出力レベル調整に関して行われる。
加算部44は、黒レベル補正部42において生成された撮像信号V1に対する加算処理を行う回路部である。具体的には、加算部44は同図に示すように抵抗R13〜R18、抵抗R15〜R18に対して設けられるスイッチSW5〜SW8、及びアンプAmp5等からなり、符号463で示す信号ラインを経て加算部44に入力された撮像信号V1に対して、スイッチSW5〜SW8における少なくとも1つのスイッチをオンすることで、アンプAmp5において、当該オンしたスイッチに対応する電圧を撮像信号V1に加算する。この加算処理の結果、撮像信号V1は撮像信号V4となる。ただし、上記オンしたスイッチに対応する電圧すなわちスイッチSW5〜SW8に対応する電圧とは、各抵抗R15〜R18を介した上記第2〜第5ブロック412〜415からの出力電圧を示しており、これら各ブロックの出力電圧は、それぞれISO感度設定部81に設定される各種ISO感度に対応して異なる電圧値となっている。ここでは、第2〜第5ブロック412〜415からの出力電圧は、それぞれ上記各抵抗R9〜R12と同じくISO100、ISO200、ISO400、ISO800用の電圧値となるよう設定されている。これにより、上記乗算部43と加算部44とは、設定する各ISO感度に応じてスイッチSW1〜SW4とスイッチSW5〜SW8とのそれぞれが対となって動作する。例えばISO感度がISO200となるよう調整する場合には、スイッチSW2と共にスイッチSW6がオンされる。ただし、乗算部43及び加算部44における当該対となる組み合わせは、上述に限定されず、例えばスイッチSW1〜SW4(抵抗R9〜R12)がそれぞれ逆順にスイッチSW8〜SW5(抵抗R18〜R15)と対になっていてもよいし、“順”に対応していなくともよい。
なお、ここでは加算部44の抵抗R15〜R18は同じ抵抗値とされているが、各種ISO感度に応じた所望の加算処理用電圧が得られるのであれば同じ抵抗値である必要はなく、任意な抵抗値としてよい。また、各スイッチSW5〜SW8のオン、オフ制御は、全体制御部8(スイッチ制御部83)からのスイッチ制御信号に基づいて行われる。加算部44での当該加算処理は、ISO 感度調整における、撮像信号の対数特性領域に対する出力レベル調整に関して行われる。
比較部45は、所定の閾値信号と撮像信号V1とを比較し、この比較結果に基づいて、信号選択部46での信号選択処理時に使用する信号(以降、比較信号V2という)を出力するものである。具体的には、比較部45は抵抗R2、R3及びアンプAmp2等からなり、符号465の「Vth」に示す信号ラインを経て比較部45に入力された全体制御部8(閾値信号出力部84)からの閾値信号Vth(例えば後述の変曲点レベルVth3)と、符号464に示す信号ラインを経て比較部45に入力された撮像信号V1との比較(大小判別)を行い、閾値信号Vth(電圧Vth3)と撮像信号V1(電圧V1)との大小関係に応じた信号を比較信号V2として出力する。すなわち、撮像信号V1はアンプAmp2の正(+)入力に入力されており、閾値信号VthはアンプAmp2の負(−)入力に入力されていることから、比較部45から出力される比較信号V2をV2OUTとすると、V2OUT=(V1−Vth)*A(「*」:乗算、A:アンプAmp2の所定の増幅率)と示されるので、V1>Vthとなる場合には、V2OUTは正の信号となり、V1<Vthとなる場合には、V2OUTは負の信号となる。ただし、V1=Vthの場合は、V1>Vth及びV1<Vthのいずれの場合に入れてもよい(ここでは負の信号となる場合に入れてV1≦Vthとする)。また、上記正及び負の信号が出力される場合が逆になる構成としてもよい。要するに比較部45は、撮像信号V1が、該撮像信号V1の光電変換特性の変曲点レベルである閾値信号Vthよりも大きいか小さいかについての比較判別を行い、この結果に応じて異なる信号(ここでは正又は負の信号)を出力する。なお、ここでは、比較部45を、アンプAmp2(増幅器)を用いるものとしているが、当該“アンプ”の特性を利用したアナログ比較器を用いるものとしてもよい。
信号選択部46は、比較部45から出力された比較信号V2に基づいて、乗算部43からの撮像信号V3と加算部44からの撮像信号V4とに対する信号選択処理を行うことで、撮像信号V5を生成するものである。具体的には、信号選択部46はスイッチSW9及びSW10等からなり、入力される比較信号V2が負の信号である場合には(V1≦Vth)、スイッチSW9の切り替えにより、変曲点レベル以下である線形特性領域の撮像信号として乗算部43からの撮像信号V3を選択し、入力される比較信号V2が正の信号である場合には(V1>Vth)、スイッチSW10の切り替えにより、変曲点レベルより大きい対数特性領域の撮像信号として加算部44からの撮像信号V4を選択する。当該信号選択処理の結果得られた撮像信号V5(アナログ信号)は、符号466の「OutSignal」に示す信号ラインから出力され、後段のA/D変換部5に入力される。
なお、ISO感度制御部4(ISO感度制御回路)は、上述した各機能すなわち黒レベル補正、乗算(増幅)、加算、比較、信号選択等の各機能が実行可能であるのならば、上記回路構成に限定されず、任意の回路構成が採用可能である。
このように、ISO感度制御部4では、撮像センサ3から入力された撮像信号V0が黒レベル補正部42において黒レベル補正されて撮像信号V1となり、この撮像信号V1は、乗算部43、加算部44及び比較部45に入力される。この撮像信号V1は、乗算部43において、オンされた何れかのスイッチSW1〜SW4(設定するISO感度)に応じて増幅(乗算)されるとともに、加算部44において、オンされた何れかのスイッチSW5〜SW8(設定するISO感度)に応じて電圧値が加算される。そして、比較部45において閾値電圧Vthと撮像信号V1との比較に基づき得られた比較信号V2を用いて、信号選択部46により撮像信号V3及びV4から線形特性及び対数特性に対する信号が選択され、その結果、所望のISO感度に応じた光電変換特性を有する撮像信号V5が得られる。このようなISO感度制御部4によるISO感度制御について、その具体的な一例を以下図7を用いて説明する。
図7は、第1の実施形態において、ISO感度をISO100からISO200に変更する場合の撮像信号の出力電圧の変化の様子を示すものであり、横軸がセンサ入射輝度を、縦軸が出力電圧を示している。同図に示すように、例えばISO100時には、撮像信号V1(図5に示す黒レベル補正部42から出力される撮像信号)において、出力Vth2を変曲点レベルとする撮像状態、すなわち変曲点301の出力電圧レベルが出力Vth2となる光電変換特性を有する撮像信号(撮影画像)が得られる撮像状態にて撮像されているとする。この場合の撮像信号V1を符号310に示す撮像信号(撮像信号310)とする。ただし、この撮像信号310は、上記図6で説明した黒レベル補正後の撮像信号202に相当する(このとき変曲点レベルVth1は図7のVth2に相当する)。
このようにISO100からISO200に感度変更するべく、操作部10からの入力信号を受けてISO感度設定部81にISO200の感度情報が設定されると、全体制御部8(撮像センサ駆動制御部82)により、撮像信号310の変曲点レベルがVth3へ移行する、つまり変曲点301が変曲点302へと変化した撮像状態となるように撮像センサ3に対する駆動制御が行われ、この結果、撮像信号V1は符号320に示す撮像信号V1(撮像信号320)に変化する。この変曲点レベルがVth3となる撮像信号V1を得る制御に際しては、全体制御部8は、例えば黒レベル補正部42の出力部である上記図5の符号Sに示す信号ライン位置の信号(撮像信号V1)を検出しておき、この検出情報に基づいて変曲点レベルが当該Vth3となるよう撮像センサ3に対する駆動制御を行うようにしてもよい。この撮像センサ3に対する駆動制御では、黒レベル補正部42による黒レベルの差し引き分が考慮された、すなわち撮像信号V0において黒レベル相当分だけ高い出力レベルの変曲点レベルとなる撮像信号が得られるように光電変換特性が制御される。
この撮像信号320(撮像信号V1)に対し、乗算部43の増幅率(又は乗算値、乗算係数)が上記ISO感度設定部81に設定されたISO感度に対応してn倍(例えばn=Vth2/Vth3)となるよう全体制御部8によって設定がなされる。具体的には乗算部43のスイッチSW1〜SW4のうちの当該n倍の増幅率が得られるスイッチがオンされ(残りのスイッチはオフの状態)、このn倍の増幅がなされた撮像信号V3が得られる。同様に、上記ISO感度設定部81に設定されたISO感度に対応して、加算部44の加算値がm(例えばm=Vth2−Vth3)となるよう全体制御部8によって設定がなされる。具体的には加算部44のスイッチSW5〜SW8のうちの当該mの加算値が得られるスイッチがオンされ(残りのスイッチはオフの状態)、このmの加算値が加算された撮像信号V4が得られる。
一方、比較部45では、該比較部45に入力された、ISO感度設定部81に設定されたISO感度(ここではISO200)に対応する変曲点レベルVth3となる閾値信号Vth(電圧Vth3)と、撮像信号V1(電圧V1)との比較処理が行われ、その結果、閾値信号Vthと撮像信号V1との大小関係に基づく正又は負の信号が比較信号V2として出力される。信号選択部46では、この比較部45の比較結果つまり比較信号V2を信号選択の基準として、比較信号V2が負の値である場合には、撮像信号320における変曲点レベルVth3以下(センサ入射輝度L10以下)の線形特性領域303に対する、乗算部43からの撮像信号V3が選択され、一方、比較信号V2が正の値である場合には、撮像信号320における変曲点レベルVth3(センサ入射輝度L10)より大きい対数特性領域304に対する、加算部44からの撮像信号V4が選択される。これにより、線形特性領域303が上記n倍で増幅されてなる線形特性領域305と、対数特性領域304に上記加算値m分だけ加算されてなる対数特性領域306とからなる撮像信号330が得られる。この撮像信号330がISO200のISO感度を有する撮像信号V5となる。この場合、センサ入射輝度L10において変曲点レベルVth3がn倍に増幅されたものが、符号307に示す変曲点での出力レベルVth2となっている。
ただし、本実施形態では、「n」の値をVth2÷Vth3、「m」の値をVth2−Vth3によって与えている、すなわち、変曲点レベルがVth3から撮像信号310での元のVth2のレベルとなるようなnやmの値を設定しているが、これに限定されず、ISO100、200、400・・・などと各ISO感度設定値に応じた任意なn、mの値(ゲイン値)が設定可能である。以上のようにして撮像センサ3により得られた線形/対数画像に対するISO感度の制御(ISO感度補正)が行われる。
なお、ここでの説明のようにISO感度変更に際しては、乗算処理や加算処理を行う前段階の処理として、撮像信号310から撮像信号320に示すように(Vth2からVth3へと)変曲点レベルが下げられるが、これは、ISO感度制御部4で扱われるアナログ信号は、一般的にその出力レベルの上限値が1.0Vに設定されており、先に変曲点レベルを下げずにそのまま乗算処理や加算処理を行った場合に、この上限値1.0Vのレベルを超過してしまい、好適なISO感度制御(調整)が行われなくなる(ISO感度制御は行われるが好適なものとならない、或いはISO感度制御自体が実行不能となる)畏れがあるため、このような不具合が生じる可能性をより低下させることにある。このように、一旦、光電変換特性の変曲点レベルを下げて撮影しておき、つまり光電変換特性全体の出力レベルを低下させて撮影しておき、その後、この撮影画像に対する所望のISO感度に応じた乗算処理や加算処理を行うISO感度制御手順とすることが望ましい。
図8は、第1の実施形態におけるデジタルカメラ1によるISO感度制御に関する動作の一例を示すフローチャートである。先ず、ユーザによって操作部10からの指示入力に基づきISO感度情報(ISO100やISO200等のISO感度情報)がISO感度設定部81に設定される(ステップS1)。ステップS1での設定ISO感度が例えばISO200とすると、撮像センサ駆動制御部82によって、撮像信号V1において変曲点レベルがVth3となる撮影画像が得られるような撮像センサ3に対する撮像動作設定がなされ(ステップS2)、撮像センサ3による実際の撮影が実行される(ステップS3)。そして、撮像信号V0がISO感度制御部4に入力され、黒レベル補正部42によって黒レベル補正が行われて撮像信号V1が出力される(ステップS4)。この撮像信号V1に対する乗算(増幅)処理が乗算部43によって行われて撮像信号V3が出力されるとともに(ステップS5)、撮像信号V1に対する加算処理が加算部44によって行われて撮像信号V4が出力される(ステップS6)。一方、閾値信号出力部84から出力された閾値信号Vthと撮像信号V1とが比較部45において比較処理され、比較結果としての比較信号V2(比較値)が出力される(ステップS7)。そして、信号選択部46によって、この比較信号V2に基づき、上記ステップS5、S6においてそれぞれ出力された撮像信号V3、V4に対する信号選択がなされ、その結果、撮像信号V5が出力される(ステップS8)。
(実施形態2)
図9は、第2の実施形態に係る撮像装置の一例であるデジタルカメラ1aの撮像処理に関する概略的なブロック構成図を示している。上記図1に示すデジタルカメラ1は、ISO感度制御をアナログ信号によるアナログ処理により行うものであったが、本デジタルカメラ1aは、ISO感度制御をアナログ信号によるデジタル処理によって行う。この点において、図9に示すようにデジタルカメラ1aは、デジタルカメラ1と比べてA/D変換部5a、ISO感度制御部4a及び全体制御部8aが異なるものとなっており、A/D変換部5aがISO感度制御部4aの前段に配置されている。この配置において、撮像センサ3からの撮像信号(アナログ信号)がA/D変換部5aによってデジタル信号に変換され、このデジタル信号に基づいてISO感度制御部4aによりISO感度制御が行われる。ISO感度制御部4aにおけるこのデジタル処理によるISO感度制御の方法は、ISO感度制御部4におけるアナログ処理によるISO感度制御の方法と基本的には同じであり、アナログで行う処理をデジタルで行うという点が異なる。なお、ISO感度制御部4a以外の処理は、第1の実施形態におけるアナログ処理の場合と同様の処理が行われる。撮像センサ3に対する撮影時の変曲点制御(上記図8に示すステップS2の動作と同じ)も、第1の実施形態の場合と同様である。
図9は、第2の実施形態に係る撮像装置の一例であるデジタルカメラ1aの撮像処理に関する概略的なブロック構成図を示している。上記図1に示すデジタルカメラ1は、ISO感度制御をアナログ信号によるアナログ処理により行うものであったが、本デジタルカメラ1aは、ISO感度制御をアナログ信号によるデジタル処理によって行う。この点において、図9に示すようにデジタルカメラ1aは、デジタルカメラ1と比べてA/D変換部5a、ISO感度制御部4a及び全体制御部8aが異なるものとなっており、A/D変換部5aがISO感度制御部4aの前段に配置されている。この配置において、撮像センサ3からの撮像信号(アナログ信号)がA/D変換部5aによってデジタル信号に変換され、このデジタル信号に基づいてISO感度制御部4aによりISO感度制御が行われる。ISO感度制御部4aにおけるこのデジタル処理によるISO感度制御の方法は、ISO感度制御部4におけるアナログ処理によるISO感度制御の方法と基本的には同じであり、アナログで行う処理をデジタルで行うという点が異なる。なお、ISO感度制御部4a以外の処理は、第1の実施形態におけるアナログ処理の場合と同様の処理が行われる。撮像センサ3に対する撮影時の変曲点制御(上記図8に示すステップS2の動作と同じ)も、第1の実施形態の場合と同様である。
図10は、ISO感度制御部4aのデジタル回路構成の一例を示すブロック図である。図10に示す各機能ブロックは、上記図5に示すアナログ回路の各機能部に対応したものとなっている。すなわち、ISO感度制御部4aは、図5における黒レベル補正部42及び第1ブロック411に対応する加算器501及びレジスタ502と、乗算部43に対応する乗算器503、セレクタ504及びレジスタ505と、加算部44及び第2〜第5ブロック412〜415に対応する加算器506、セレクタ507及びレジスタ508と、比較部45に対応する比較器509及びレジスタ510と、信号選択部46に対応するセレクタ511とを備えている。なお、図10に示す各デジタル信号V0、V1〜V5は、図5に示すアナログ信号V0、V1〜V5と対応している。
加算器501は、A/D変換部5aによるA/D変換によって得られたデジタル画像データ(撮像信号V0)に対し、記憶素子であるレジスタ502にデジタル値として設定(記憶)されている黒レベル補正の基準としてのデータ(黒レベル補正用データ)を用いて、加算処理(又は減算処理)を行うことで黒レベル補正(黒レベルキャンセル)を行い、撮像信号V1を出力する。黒レベル補正された撮像信号V1は、乗算器503、加算器506及び比較器509に入力される。乗算器503は、レジスタ505にデジタル値として設定された複数の乗算値データ(乗算係数)のうち、設定ISO感度に応じてセレクタ504により選択された乗算値データ(n倍の増幅率;このnの値は例えば図7で説明したn=Vth2/Vth3)の、撮像信号V1に対する乗算処理を行い、撮像信号V3(乗算処理画像データ)を出力する。加算器506は、レジスタ508にデジタル値として設定された各種加算値データのうち、設定されたISO感度に応じてセレクタ507により選択された加算値データ(加算値m;例えば図7における場合のm=Vth2−Vth3)の、撮像信号V1に対する加算処理を行い、撮像信号V4(加算処理画像データ)を出力する。
比較器509は、レジスタ510に設定された閾値データと、撮像信号V1との比較処理を行い、この比較結果に基づいて、セレクタ511での信号選択時に使用する比較信号V2を出力する。比較器509は、具体的には上記比較部45と同様、例えば閾値Vthと撮像信号V1との大小判別を行い、V1がVthより大きい場合には例えば正の信号として比較信号V2を出力し、V1がVth以下となる場合には負の信号として比較信号V2を出力する。ただし、レジスタ510に設定される閾値データVthは、撮像信号V1がもつ光電変換特性の変曲点レベルの値(例えば上記図7に示すISO100からISO200へのISO感度変更時の変曲点レベルVth3)となっている。
セレクタ511は、比較器509から出力された比較信号V2(正又は負の信号)に基づいて、乗算器503からの撮像信号V3と加算器506からの撮像信号V4とに対する信号選択処理を行い、撮像信号V5(デジタル画像データ)を出力する。セレクタ511での処理も信号選択部46と同様、比較信号V2が負の信号である場合には(V1≦Vth)、変曲点レベル以下である線形特性領域の撮像信号として乗算器503からの撮像信号V3を選択し、比較信号V2が正の信号である場合には(V1>Vth)、変曲点レベルより大きい対数特性領域の撮像信号として加算器506からの撮像信号V4を選択する。なお、上記レジスタ502、505、208及び510への各データの設定は全体制御部8aにより行われる。また、セレクタ504、507は、それぞれ全体制御部8aの後述するISO感度設定部81に設定されたISO感度に基づいて、該ISO感度に対応する乗算値(乗算係数)及び加算値を選択する。
このようにISO感度制御をデジタル処理により行うことで、アナログ処理と比べてより正確なISO感度制御が可能となる。なお、ISO感度制御部4aにおいてISO感度の調整がなされた画像データは、後段の画像処理部6に入力され、該画像処理部6が有するWB補正処理機能においてWB補正処理が施される。
図11は、デジタルカメラ1aの全体制御部8aの各機能を説明するための機能ブロック図である。全体制御部8aは、全体制御部8と同様のISO感度設定部81及び撮像センサ駆動制御部82を備えるとともに、黒レベル制御部85、乗算制御部86、加算制御部87、比較制御部88及び選択制御部89を備えている。黒レベル制御部85は、加算器501及びレジスタ502を制御することで、ISO感度制御部4aに入力される撮像信号V0’の黒レベル補正を行うものである。乗算制御部86は、乗算器503、セレクタ504及びレジスタ505を制御することで撮像信号V1に対する乗算処理を行うものである。加算制御部87は、加算器506、セレクタ507及びレジスタ508を制御することで撮像信号V1に対する加算処理を行うものである。比較制御部88は、比較器509及びレジスタ510を制御することで撮像信号V1に対する比較処理を行うものである。選択制御部89は、セレクタ511を制御することで撮像信号V3及び撮像信号V4に対する信号選択処理を行うものである。このように、全体制御部8aは、これら各機能部により、図7に示すISO感度制御をデジタル処理によって行う。なお、全体制御部8aのISO感度設定部81は、第1の実施形態と同様、ユーザによって操作部10(ISO感度設定スイッチ)から指示入力されたISO100やISO200といったISO感度情報を設定する。撮像センサ駆動制御部82も第1の実施形態と同様、撮像センサ3に対する駆動制御、特に撮像時における光電変換特性の変曲点レベルの制御を行う。
図12は、第2の実施形態におけるデジタルカメラ1aによるISO感度制御に関する動作の一例を示すフローチャートである。先ず、ユーザによって操作部10からの指示入力に基づきISO感度情報(ISO100やISO200等のISO感度情報)が全体制御部8aのISO感度設定部81に設定される(ステップS11)。ステップS11での設定ISO感度が例えばISO200とすると、撮像センサ駆動制御部82によって、撮像信号V1において変曲点レベルがVth3となる撮影画像が得られるような撮像センサ3に対する撮像動作設定がなされ(ステップS12)、撮像センサ3による実際の撮影が行われて、該撮像センサ3からアナログ値としての撮像信号が出力される(ステップS13)。このアナログ値としての撮像信号がA/D変換部5aによるA/D変換処理によってデジタル値に変換される(ステップS14)。そして、このデジタル値としての撮像信号V0’がISO感度制御部4aに入力され、加算器501によって黒レベル補正が行われて撮像信号V1が出力される(ステップS15)。この撮像信号V1に対する乗算処理が乗算器503によって行われて撮像信号V3が出力されるとともに(ステップS16)、撮像信号V1に対する加算処理が加算器506によって行われて撮像信号V4が出力される(ステップS17)。一方、レジスタ510から出力された閾値信号Vthと撮像信号V1とが比較器509において比較処理され、比較結果としての比較信号V2(比較値)が出力される(ステップS18)。そして、セレクタ511によって、この比較信号V2(正又は負の信号)に基づき、上記ステップS16、S17においてそれぞれ出力された撮像信号V3、V4に対する信号選択がなされ、デジタル値としての撮像信号V5が出力される(ステップS19)。
(実施形態3)
図13は、第3の実施形態に係る撮像装置の一例であるデジタルカメラ1bによるISO感度制御部4bのデジタル回路構成の一例を示すブロック図である。本デジタルカメラ1bは、第2の実施形態におけるデジタルカメラ1aと比べてISO感度制御部4b及び全体制御部8bが異なるものとなっており、また、このISO感度制御部4bは、ISO感度制御部4aに対して特性変換部520をさらに備えたものとなっている。第3の実施形態においても、第2の実施形態と同様、ISO感度制御をデジタル処理によって行うが、撮影時の撮像センサ3に対する所謂アナログ的な変曲点制御(上記図12に示すステップS12の動作参照)を行わない点が第2の実施形態と異なる。この変曲点制御に相当する処理は、特性変換部520でのデジタル処理(特性変換処理)にて行われる。なお、デジタルカメラ1bのその他各部の構成や動作は、デジタルカメラ1aと同様であり、その詳細な説明を省略する。
図13は、第3の実施形態に係る撮像装置の一例であるデジタルカメラ1bによるISO感度制御部4bのデジタル回路構成の一例を示すブロック図である。本デジタルカメラ1bは、第2の実施形態におけるデジタルカメラ1aと比べてISO感度制御部4b及び全体制御部8bが異なるものとなっており、また、このISO感度制御部4bは、ISO感度制御部4aに対して特性変換部520をさらに備えたものとなっている。第3の実施形態においても、第2の実施形態と同様、ISO感度制御をデジタル処理によって行うが、撮影時の撮像センサ3に対する所謂アナログ的な変曲点制御(上記図12に示すステップS12の動作参照)を行わない点が第2の実施形態と異なる。この変曲点制御に相当する処理は、特性変換部520でのデジタル処理(特性変換処理)にて行われる。なお、デジタルカメラ1bのその他各部の構成や動作は、デジタルカメラ1aと同様であり、その詳細な説明を省略する。
図13に示すように、ISO感度制御部4bに入力される撮像信号V10は、上記変曲点制御が行われることなく撮像センサ3による撮影により得られたアナログ画像データがA/D変換されてなるデジタル画像データである。この撮像信号V10は、先ず加算器501おいて黒レベル補正された後、撮像信号V11として特性変換部520(及び比較器509)に入力される。
特性変換部520は、入力されたデジタル画像データに対して、設定ISO感度に応じた所定領域の画像データに対する線形特性から対数特性への特性変換(以降、この線形特性から対数特性への特性変換のことを、Lin−Log変換という)を行うものである。ここで、特性変換部520及びこの特性変換処理について、図14、15を用いて詳述する。図14は、特性変換部520の一構成例を示すブロック図である。同図に示すように、特性変換部520は、LUT521、レジスタ522、比較器523及びセレクタ524を備えている。
LUT521は、入力されたデジタル画像データ、ここでは黒レベル補正後の撮像信号V11に対するLin−Log変換を行うための変換用データ(LUT;Look Up Table)を記憶しており、該LUTに基づいて撮像信号V11に対するLin−Log変換を行い、対数特性データとしての撮像信号V112を出力するものである。レジスタ522は、 設定ISO感度に応じて、撮像信号V11のLin−Log変換を行う特性範囲の選択に関する所定の閾値、ここでは後述のVth20及びVth30の2つの閾値をデジタル値として設定(記憶)するものである。
比較器523は、レジスタ522に設定されたこの2つの閾値と、比較器523に入力された撮像信号V11とを比較処理し、この比較結果としての比較信号V111をセレクタ524に出力するものである。比較器523は、例えば、撮像信号V11が上記Vth20及びVth30の閾値間(閾値範囲)の値をとる場合にはセレクタ524に向けて正の信号を出力し、閾値間外の値をとる場合には負の信号を出力する。
セレクタ524は、比較器523からの比較信号V111(上記正又は負の信号)に基づいて、LUT521から出力された対数特性データとしての撮像信号V112と、LUT521を経由しないそのままの(Lin−Log変換処理が施されていない)画像データである撮像信号V11とに対する選択を行うものである。具体的には、比較器523から例えば正の信号が入力される場合には、上記閾値間のLin−Log変換された対数特性データとしてLUT521からの撮像信号V112(後述の特性603の画像データ)を選択し、負の信号が入力される場合には、上記閾値外のLin−Log変換されていない画像データとして撮像信号V11(後述の特性604、605の画像データ)を選択する。セレクタ524は、この選択の結果、撮像信号V11’を出力する。なお、レジスタ522への閾値情報の設定は、後述する全体制御部8bの特性変換制御部90によって行われる。
図15は、第3の実施形態のISO感度制御における、ISO感度を例えばISO100からISO200に変更する場合の撮像信号の出力電圧(特性)の変化の様子を示すグラフ図(横軸はセンサ入射輝度、縦軸は出力電圧を示す)であり、(a)は、ISO感度制御部4bにおける、特性変換部520での特性変換処理前の変化の様子、(b)は、特性変換部520での特性変換処理時の変化の様子、(c)は、特性変換部520より後段での処理部つまり乗算器503及び加算器506における処理時の変化の様子を示している。
先ず図15(a)において、ISO100時には、出力Vth20を変曲点レベルとする撮像状態、すなわち、変曲点601の出力電圧レベルがVth20となる光電変換特性(実線に示す撮像信号610;撮像信号V11)を有する撮影画像が得られる撮像状態で撮像されているとする。このISO100の状態からISO200へと感度変更するべく、操作部10からの入力信号を受けてISO感度設定部81にISO200の感度情報が設定されると、この設定ISO200に応じた撮像センサ3による撮影が行われる。ただし、このISO200に変更した場合でも、ISO100の場合と変わりなく、つまり新たにISO200用の変曲点制御を伴った撮影を行うことなく同様の撮像が行われ、当該撮影で得られた画像データに対する黒レベル補正が加算器501によって行われた結果、一点鎖線に示す撮像信号620(撮像信号V11)が得られる。
次に図15(b)において、上記撮像信号620に対し、各設定ISO感度に応じたLin−Log変換が行われる。ここでは、ISO100を最低ISO感度としており、ISO200設定時には、ISO100における撮像信号610の変曲点レベルVth20の1/2(半分)の出力レベルとなるVth30より大きく且つ該Vth20より小さい領域の出力レベルの画像データ、つまり撮像信号620の符号602に示す線形特性データ(特性602)を、符号603に示す対数特性データ(特性603)に変換する。特性602以外の領域つまり符号604に示す線形特性データ(特性604)及び符号605に示す対数特性データ(特性605)はLin−Log変換を行わない。なお、上記Vth30の出力レベルをVth20の出力レベルの1/2レベルに設定するのは、第1の実施形態で述べたように、或る入力値L1に対して得られる出力がISO200ではISO100の2倍となる設定としていることによる。また、上記閾値Vth20、Vth30の点は、特性602に含んでもよいし、特性604、605に含んでもよい。
上記Lin−Log変換動作(及び非Lin−Log変換動作)は、図14で説明すると、レジスタ522に設定された変曲点レベルVth20及びVth30のデータと、撮像信号V11の画像データとが比較器523によって比較されてVth20>撮像信号V11の出力>Vth30の関係を満たすか否かが判別され、この比較結果が真である場合には、セレクタ524においてLUT521からの出力が選択される。一方、上記関係が真でない場合には、セレクタ524において信号ルート525を経由した撮像信号V11が選択される(要は、Vth20とVth30とで挟まれた領域の画像データだけがLin−Log変換され、それ以外の画像データはそのままスルーして出力される)。なお、ISO100の時は、Vth30>撮像信号V11>Vth30なる比較が行われるようにレジスタ522の閾値を設定する(2つの閾値を同じVth30の値に設定する)ことで、Lin−Log変換が行われないようにしている。このようにして、特性変換部520に入力された撮像信号620(撮像信号V11)は、上記特性変換されることによって特性603並びに特性604及び特性605からなる撮像信号620’(撮像信号V11’)として出力される。
次に図15(c)において、上述のとおり線形領域の一部が対数特性に変換されて特性変換部520から出力された撮像信号620’は、線形特性である特性604に、ISO200に対応する乗算値が乗算されて符号606に示す線形特性データ(特性606)となり、対数特性である特性603及び特性605に、同じくISO200に対応する加算値が加算されて符号607に示す対数特性データ(特性607)となることで、これら特性606、607からなる撮像信号630が得られる。なお、当該処理(デジタル処理)によって撮像信号610における変曲点601が変曲点608へ変化するが、これは、上述における撮影時の撮像センサ3の変曲点レベルを制御する機能に相当する。これを図13に戻って説明すれば、先ずレジスタ510にVth30の閾値データが設定され、比較器509はこのVth30の閾値と撮像信号V11との大小比較を行い、上記と同様、例えば、撮像信号V11がVth30より大きい場合には正の信号を、Vth30以下となる場合には負の信号を、比較信号V12としてセレクタ511へ出力する。一方、特性変換部520から出力された撮像信号V11’(撮像信号620’)は、乗算器503及び加算器506に入力され、それぞれ、ISO200に対応する乗算値及び加算値にて乗算処理及び加算処理が施され、特性606を含む撮像信号V13と特性607を含む撮像信号V14とが出力される。そして、セレクタ511によって、比較器509からの比較信号V12(正又は負の信号)に基づき、撮像信号V13と撮像信号V14とに対する信号選択処理が行われ、ISO200の撮像信号630として撮像信号V15が得られる。
ところで、上記乗算値は、例えば変曲点レベルVth20、Vth30からVth20÷Vth30の値が設定される。加算値は、例えば、撮像信号610の線形特性領域6101及び対数特性領域6102を表す式をy=a・x、y=α・ln(x)+β(a、α、β:係数)とすると、y=α・ln(x)+βの式が変曲点608の位置を通るときのβの値(β’)と元のβの値との差の関係から求められた値が設定される。ISO100から同じISO100に変更する指示がなされた場合は、乗算値が「1」(増幅率が1倍)、加算値が「0」と設定されて特性が変化しない。
なお、上述のように特性変換部520においてLin−Log変換を行うのは、ISO感度制御に伴う線形領域での乗算処理に伴う飽和を回避するため、すなわち、特性602を対数の特性606に変換せずに、線形特性全体(特性602、604)に対して、ISO100からISO200への変化に対応する上記乗算値でそのまま乗算処理すると、第1の実施形態で説明したように出力レベルの上限値を超えてしまうため、これを防止することによる。当該Lin−Log変換は、画像の変曲点レベルと、特性変換部520の後段での乗算処理による増幅率を考慮して行われるものであるとも言える。
図16は、デジタルカメラ1bの全体制御部8bの各機能を説明するための機能ブロック図である。全体制御部8bは、第2の実施形態における全体制御部8aに対し、撮像センサ駆動制御部82bが異なり、且つ特性変換制御部90をさらに備えている。撮像センサ駆動制御部82bは、撮像センサ3の撮像に関する駆動制御を行うものである。ただし、設定ISO感度に応じた撮影時の変曲点制御は行わない。特性変換制御部90は、特性変換部520に対する上記Lin−Log変換処理等の動作制御を行うものである。全体制御部8bのその他各機能部の構成、動作については、図15(a)〜(c)で説明したとおり全体制御部8aと同様であり、その説明を省略する。
図17は、第3の実施形態におけるデジタルカメラ1bによるISO感度制御に関する動作の一例を示すフローチャートである。先ず、ユーザによって操作部10からの指示入力に基づきISO感度情報(ISO100やISO200等のISO感度情報)が全体制御部8bのISO感度設定部81に設定される(ステップS21)。撮像センサ3による撮影が実行され、該撮像センサ3からアナログ値としての撮像信号が出力される(ステップS22)。このアナログ値としての撮像信号がA/D変換部5aによるA/D変換処理によってデジタル値に変換される(ステップS23)。そして、このデジタル値としての撮像信号V10がISO感度制御部4aに入力され、加算器501によって黒レベル補正が行われて撮像信号V11が出力される(ステップS24)。次に、この撮像信号V11が特性変換部520に入力され、撮像信号V11に対する上記Lin−Log変換が行われて撮像信号V11’が出力される(ステップS25)。特性変換部520から出力された撮像信号V11’に対する乗算処理が乗算器503によって行われて撮像信号V13が出力されるとともに(ステップS26)、撮像信号V11’に対する加算処理が加算器506によって行われて撮像信号V14が出力される(ステップS27)。一方、レジスタ510から出力された閾値信号Vth3と撮像信号V11とが比較器509において比較処理され、比較結果としての比較信号V12(比較値)が出力される(ステップS28)。そして、セレクタ511によって、この比較信号V12(正又は負の信号)に基づき、上記ステップS26、S27においてそれぞれ出力された撮像信号V13、V14に対する信号選択がなされ、ISO感度制御(変更)がなされたデジタル値としての撮像信号V15が出力される(ステップS29)。
(実施形態4)
ところで、ISO感度制御は、撮像センサ3の全画素共通のゲインを用いて行っているが(本実施形態におけるゲインとは、上記乗算値及び加算値を総称する広い意味での増幅率を示すものであり、上記乗算(増幅)処理における狭い意味での増幅率と区別される)、これをRGB各色毎にゲインを変えたものがWB補正となる。このWB補正は、全体制御部8cにおいて算出された色画素(RGB画素)毎のゲインに基づいて、ISO感度の制御(調整)と同様の処理が行われる。したがって、ISO感度制御用ゲインとWB補正用ゲインとが算出されれば、これらゲインを掛け合わせてなる合成ゲインを算出し、この合成ゲインを用いて処理を行うことにより、合成ゲインという同一の制御パラメータを用いて或いは同一の処理回路を用いて当該各制御処理を同時に行うことが可能となり得る。このように第4の実施形態は、ISO感度制御と合わせてWB補正を同時に行うようにする(ISO感度制御に伴ってWB補正を行う)ものである。以降、ISO感度制御とWB補正(制御)とを同時に行う制御のことを、合成制御と表現する。
ところで、ISO感度制御は、撮像センサ3の全画素共通のゲインを用いて行っているが(本実施形態におけるゲインとは、上記乗算値及び加算値を総称する広い意味での増幅率を示すものであり、上記乗算(増幅)処理における狭い意味での増幅率と区別される)、これをRGB各色毎にゲインを変えたものがWB補正となる。このWB補正は、全体制御部8cにおいて算出された色画素(RGB画素)毎のゲインに基づいて、ISO感度の制御(調整)と同様の処理が行われる。したがって、ISO感度制御用ゲインとWB補正用ゲインとが算出されれば、これらゲインを掛け合わせてなる合成ゲインを算出し、この合成ゲインを用いて処理を行うことにより、合成ゲインという同一の制御パラメータを用いて或いは同一の処理回路を用いて当該各制御処理を同時に行うことが可能となり得る。このように第4の実施形態は、ISO感度制御と合わせてWB補正を同時に行うようにする(ISO感度制御に伴ってWB補正を行う)ものである。以降、ISO感度制御とWB補正(制御)とを同時に行う制御のことを、合成制御と表現する。
図18は、第4の実施形態に係る撮像装置の一例であるデジタルカメラ1cの撮像処理に関する概略的なブロック構成図を示している。同図に示すようにデジタルカメラ1cは、第3の実施形態のデジタルカメラ1bにおいて、ISO感度制御部4b及び全体制御部8bの代わりに、上記ISO感度制御とWB補正とを同一の制御パラメータを用いて同時に行うためのISO感度/WB制御部11、及びこのISO感度/WB制御部11を制御する全体制御部8cを備えている。
図19は、ISO感度/WB制御部11のデジタル回路構成の一例を示すブロック図である。同図に示すISO感度/WB制御部11は、基本的には図13に示すISO感度制御部4bと同じブロック構成であるが、特性変換部520の代わりに特性変換部550を備える点が異なる。ところで、ISO感度/WB制御部11には、撮像センサ3からの撮像信号がA/D変換部5aによりA/D変換されてなるデジタル信号としての撮像信号V10が入力されるが、実際にはこの撮像信号V10はR、G、B各色の信号からなるRGB信号であり、特性変換部550には、加算器501によって撮像信号V10の各色の信号に対する黒レベル補正がなされた、例えば図20に示すようなRGB信号としての撮像信号V11が入力される。なお、これらR、G、B信号は同じ変曲点レベルVthを有し、且つVthを境として線形特性データ(Vth以下の領域)と対数特性データ(Vthより大きい領域)とを有している。
図21は、特性変換部550の一構成例を示すブロック図である。同図に示すように、特性変換部550は、LUT551、LUT552、比較器553、レジスタ554、セレクタ555及びセレクタ556を備えている。LUT551は、入力されたRGB各色の撮像信号V11に対するLin−Log変換を行うための変換用データ(以降、対数LUTという)を記憶しており、この対数LUTに基づいて撮像信号V11に対するLin−Log変換を行い、対数特性データとしての撮像信号V113を出力するものである。LUT552は、入力されたRGB各色の撮像信号V11に対する対数特性から線形特性への特性変換(以降、この対数特性から線形特性への特性変換のことを、Log−Lin変換という)を行うための変換用データ(以降、線形LUTという)を記憶しており、この線形LUTに基づいて撮像信号V11に対するLog−Lin変換を行い、線形特性データとしての撮像信号V114を出力するものである。
レジスタ553は、設定ISO感度に応じて、撮像信号V11のLin−Log変換又はLog−Lin変換を行う特性範囲の選択に関する所定の閾値、ここでは後述のLin−Log変換用のVth40及びVth50、Log−Lin変換用のVth60及びVth40の各閾値をデジタル値として設定(記憶)するものである。これら閾値は設定ISO感度に応じて且つRGB各色に応じて設定される。比較器554は、レジスタ553に設定された上記各変換用の閾値と、比較器554に入力された撮像信号V11とを比較処理し、この比較結果としての比較信号V116をセレクタ556に出力するものである。比較器554は、例えば、撮像信号V11が上記Vth40及びVth50の閾値間(閾値範囲)の値、或いはVth60及びVth40の閾値間の値をとる場合には、セレクタ556に向けて正の信号を出力し、閾値間外の値をとる場合には負の信号を出力する。
セレクタ555は、上記WB補正用ゲインとISO感度用ゲインとを掛け合わせた合成ゲイン(以降、適宜、TGainという)の値が「1」よりも大きい場合(TGain>1)は、LUT551からの撮像信号V113(対数特性データ)を選択し、TGainの値が「1」よりも小さい場合(TGain<1)は、LUT552からの撮像信号V114(線形特性データ)を選択するものである。TGainが1よりも大きいか小さいかについては、RGB各色の信号毎に設定されることから、セレクタ555はRGB各色に応じてLUT551、552に対する出力信号つまりLin−Log変換又はLog−Lin変換の切り替えを行うものであるとも言える。
セレクタ556は、合成ゲインTGainが1より大きいか小さいかの各場合において、比較器554からの比較信号V116(例えば上記正又は負の信号)に基づき、セレクタ555により選択的に出力された対数特性データ或いは線形特性データとしての撮像信号V115と、信号ルート557を経由したそのままの(Lin−Log変換或いはLog−Lin変換処理が施されていない)画像データである撮像信号V11とに対する選択を行うものである。
具体的には、上記TGain>1の場合、セレクタ555によってLUT551からの撮像信号V113が選択され撮像信号V115として出力されるのであるが、セレクタ556は、比較器554からの例えば正の信号の比較信号V116が入力されると、上記Vth40及びVth50の閾値間のLin−Log変換された撮像信号V115(後述の特性703の画像データ)を選択し、負の信号の比較信号V116が入力されると、Vth40及びVth50の閾値間外のLin−Log変換されていない撮像信号V11(後述の特性704、705の画像データ)を選択する。セレクタ556は、この選択の結果、撮像信号V16を出力する。
また、上記TGain<1の場合、セレクタ555によってLUT552からの撮像信号V114が選択され撮像信号V115として出力されるのであるが、セレクタ556は、比較器554からの例えば正の信号の比較信号V116が入力されると、上記Vth60及びVth40の閾値間のLog−Lin変換された撮像信号V115(後述の特性713の画像データ)を選択し、負の信号の比較信号V116が入力されると、Vth60及びVth40の閾値間外のLog−Lin変換されていない撮像信号V11(後述の特性714、715の画像データ)を選択する。セレクタ556は、この選択の結果、撮像信号V16を出力する。なお、レジスタ553への閾値情報の設定は、後述する全体制御部8cの特性変換制御部90cによって行われる。
図22は、第4の実施形態における上記合成制御に関する、ISO感度を例えばISO100からISO200に変更する場合の、R、G、B各信号における出力電圧(特性)の変化の様子を示すグラフ図(図22を例えばR信号における変化の様子を示すものとする)であり、(a)は、合成ゲインTGainが1より大きい場合の変化の様子、(b)は、合成ゲインTGainが1より小さい場合の変化の様子を示している。なお、図22では変曲点以下の線形特性領域を前記図20のグラフに合わせて曲線で示しているが、図15において直線的に示した線形特性領域と同じものである。
ところで、第4の実施形態におけるISO感度設定とは、単にISO感度値を設定するのではなく(ユーザが操作部10を操作してISO感度値を入力設定するということに関しては、第1〜第3の実施形態と同じであるが)、ISO感度設定を行うことを通して、WB補正も加味されたRGB各信号に対する合成ゲインの設定を行うことを示している。例えば或るISO感度を設定したとし、これが同じISO感度値であったとしても(例えば同じISO100と設定したとしても)、R信号では合成ゲインが1.3(>1.0)になり、G信号では合成ゲインが0.8(<1.0)になるというように、合成ゲインがRGB信号毎に異なり、「1」よりも大きい場合と小さい場合とが生じる。これは、ISO感度制御は、RGB信号全て対して、謂わば同じ増加方向又は減少方向となる一方向でのゲイン変化であるのに対して、WB補正は、RGB信号それぞれにおいて、ゲインが増加する場合もあれば、ゲインが減少する場合もあり、ゲイン変化が一方向(一様)でない。このため、ISO感度制御用ゲインとWB補正用ゲインとが掛け合わされたトータル値としての合成ゲインが1より大きくなる場合と小さくなる場合とが存在する。したがって、この合成ゲインの違いにより、以下の図22(a)、(b)に場合分けされるように特性変換方法が異なるものとなる。
先ず図22(a)に示すように、TGain>1となる場合、上記図15の場合と同様に、黒レベル補正後の撮像信号V11(変曲点701を有する撮像信号720;上記図15の撮像信号620に相当)に対し、設定ISO感度に応じたLin−Log変換が行われる。すなわち、ISO200が設定されると、ISO100における撮像信号720の変曲点レベルVth40より小さく、且つ、該Vth40を上記合成ゲインから求めた乗算値で除算することで得たVth50より大きい、特性702の線形特性データが、特性703に示す対数特性データに変換される。特性702以外の領域つまり特性704(線形特性データ)及び特性705(対数特性データ)に対してはLin−Log変換が行われない。この線形領域の一部が対数特性に変換された撮像信号720は、線形特性である特性704が、合成ゲイン(ISO200)から求められた乗算値が乗算されて特性706(線形特性データ)となり、特性703及び特性705からなる特性707が、同じく合成ゲイン(ISO200)から求められた加算値が加算されて特性708となることで、当該特性706、708からなる撮像信号730が得られる。なお、この場合も上記と同様、撮像信号720における変曲点701が変曲点709へと変化するが、これは、上述した撮影時の撮像センサ3の変曲点レベルを制御する機能に相当する。
上記Lin−Log変換及び乗算/加算処理は、図19、21に戻って説明すると、特性変換部550に入力されるRGB各色の信号(撮像信号V11)に対する合成ゲインTGainの値が1より大きい場合、レジスタ553に設定された変曲点レベルVth40及びVth50のデータと、撮像信号V11の画像データとが比較器554によって比較されてVth40>撮像信号V11>Vth50の関係を満たすか否かが判別され、この比較結果が真である場合には、セレクタ556において、セレクタ555で選択されたLUT551からの撮像信号V113が選択される。一方、上記関係が真でない場合には、セレクタ556において信号ルート557を経由した撮像信号V11が選択される(要は、Vth40とVth50とで挟まれた領域の画像データだけがLin−Log変換され、それ以外の画像データはそのままスルーして出力される)。これにより、特性変換部550に入力された撮像信号V11(撮像信号720)は、上記特性変換されることによって特性703並びに特性704及び特性705からなる撮像信号V16として出力される。
この特性変換部550から出力された撮像信号V16は、乗算器503及び加算器506に入力され、それぞれ、ISO200(合成ゲイン)に対応する乗算値及び加算値にて乗算処理及び加算処理が施され、特性706を含む撮像信号V17と特性708を含む撮像信号V18とが出力される。一方で、レジスタ510に上記Vth50の閾値データが設定され、比較器509はこのVth50の閾値と撮像信号V11との大小比較を行い、上記と同様、例えば、撮像信号V11がVth50より大きい場合には正の信号を、Vth50以下となる場合には負の信号を、比較信号V12としてセレクタ511へ出力する。そして、セレクタ511によって、比較器509からの比較信号V12に基づき、撮像信号V17と撮像信号V18とに対する信号選択処理が行われ、ISO200の撮像信号730(ここではR信号)として撮像信号V19が得られる。
次に、図22(b)に示すように、TGain<1となる場合、黒レベル補正後の撮像信号V11(変曲点701を有する撮像信号720;上記図22(a)の撮像信号720に相当)に対し、設定ISO感度に応じたLog−Lin変換が行われる。すなわち、ISO200が設定されると、ISO100における撮像信号720の変曲点レベルVth40より大きく、且つ、該Vth40を上記合成ゲインから求めた加算値を加算して得たVth60より小さい、特性712の対数特性データが、特性713に示す線形特性データに変換される。特性712以外の領域つまり特性714(線形特性データ)及び特性715(対数特性データ)に対してはLog−Lin変換が行われない。次に、この対数領域の一部が線形特性に変換された撮像信号720は、線形特性である特性713及び特性714からなる特性716が、合成ゲイン(ISO200)から求められた乗算値が乗算されて特性717(線形特性データ)となり、一方、対数特性である特性715が、同じく合成ゲイン(ISO200)から求められた加算値が加算されて特性718となることで、当該特性717、718からなる撮像信号740が得られる。なお、上記と同様、当該処理によって撮像信号720における変曲点701が変曲点719へと変化するが、これも撮影時の撮像センサ3の変曲点レベルを制御する機能に相当する。
上記Log−Lin変換及び乗算/加算処理は、図19、21に戻って説明すると、特性変換部550に入力されるRGB各色の信号(撮像信号V11)に対する合成ゲインTGainの値が1より大きい場合、レジスタ553に設定された変曲点レベルVth40及びVth60のデータと、撮像信号V11の画像データとが比較器554によって比較されてVth60>撮像信号V11>Vth40の関係を満たすか否かが判別され、この比較結果が真である場合には、セレクタ556において、セレクタ555で選択されたLUT551からの撮像信号V114が選択される。一方、上記関係が真でない場合には、セレクタ556において信号ルート557を経由した撮像信号V11が選択される(要は、Vth60とVth40とで挟まれた領域の画像データだけがLog−Lin変換され、それ以外の画像データはそのままスルーして出力される)。これにより、特性変換部550に入力された撮像信号V11(撮像信号720)は、上記特性変換されることによって特性714及び特性713並びに特性715からなる撮像信号V16として出力される。
上記特性変換部550から出力された撮像信号V16は、乗算器503及び加算器506に入力され、それぞれ、ISO200(合成ゲイン)に対応する乗算値及び加算値にて乗算処理及び加算処理が施され、特性717を含む撮像信号V17と特性718を含む撮像信号V18とが出力される。ただし、このTGain<1の場合、実際の演算において加算器506では“加算”だけでなく“減算”も行われる(この場合、負の値を加算すると考えてもよい)。一方で、レジスタ510に上記Vth60の閾値データが設定され、比較器509はこのVth60の閾値と撮像信号V11との大小比較を行い、上記と同様、例えば、撮像信号V11がVth60より大きい場合には正の信号を、Vth60以下となる場合には負の信号を、比較信号V12としてセレクタ511へ出力する。そして、セレクタ511によって、比較器509からの比較信号V12に基づき、撮像信号V17と撮像信号V18とに対する信号選択処理が行われ、ISO200の撮像信号740(ここではR信号)として撮像信号V19が得られる。
なお、同じISO100が設定される時、すなわちTGain=1となる場合には、Vth50>撮像信号V11>Vth50或いはVth40>撮像信号V11>Vth40なる比較が行われるようにレジスタ553の閾値を設定することで、Lin−Log変換及びLog−Lin変換が行われないようにするとともに、乗算値を「1」、加算値を「0」に設定して特性が変化しないようにしている。
ところで、上述したように、合成制御(WB補正+ISO感度制御)における合成ゲインTGainの値はRGB信号毎に異なり、図22(a)に示すTGainが「1」よりも大きい場合(TGain>1)と、図22(b)に示すTGainが「1」よりも小さい場合(TGain<1)とがあることを説明したが、或る撮像信号(RGB信号)の合成制御において、必ずしもTGain>1とTGain<1との両方の場合の特性変換(乗算や加算処理)が行われる構成でなくともよく、いずれか一方のみ、すなわちRGB各色に対する合成制御が全てTGain>1となる場合、或いは、全てTGain<1となる場合の特性変換が行われる構成であってもよい。
これは、“WB補正”では、基準の色を最も感度の高い色とした場合、その他の色のWB補正用ゲインは必ず「1」より大きくなり、逆に、基準の色を最も感度の低い色とした場合、その他の色のWB補正用ゲインは必ず「1」より小さくなる。一方、“ISO感度制御”では、ISO感度制御用ゲインが「1」のときを最低ISO感度とする場合、その他の色のISO感度制御用ゲインは必ず「1」より大きくなり、逆に、ISO感度制御用ゲインが「1」のときを最高ISO感度とする場合は、その他の色のISO感度制御用ゲインは必ず「1」より小さくなる。したがって、WB補正とISO感度制御とを合わせた合成制御も、すなわち上記WB補正用ゲインとISO感度制御用ゲインとを掛け合わせてなる合成ゲインの値も、必ず「1」より大きくなる場合(上記RGB各色に対する合成制御が全てTGain>1となる場合)と、必ず「1」より小さくなる場合(上記RGB各色に対する合成制御が全てTGain<1となる場合)とが存在することになる。
図23は、デジタルカメラ1cの全体制御部8cの各機能を説明するための機能ブロック図である。全体制御部8cは、第3の実施形態における全体制御部8bに対し、特性変換制御部90cが異なり、且つ、合成ゲイン算出部91をさらに備えている。特性変換制御部90cは、特性変換部550に対する上記Lin−Log変換又はLog−Lin変換処理等の動作制御を行うものである。合成ゲイン算出部91は、WB補正用ゲインとISO感度制御用ゲインとから例えば当該各ゲインを掛け合わせることにより合成制御用の合成ゲインを算出するものである。合成ゲイン算出部91は、WB補正用ゲイン算出部911とISO感度制御用ゲイン算出部912とを備えている。WB補正用ゲイン算出部911は、ISO感度設定部81に設定されたISO感度と、撮像センサ3による撮影画像データから算出したWB評価値とに基づいて、RGB各信号に対するWB補正用ゲインを算出するものである。ISO感度制御用ゲイン算出部912は、ISO感度設定部81に設定されたISO感度に基づいて、RGB各信号に対するISO感度制御用ゲインを算出するものである。なお、WB評価値は、WB補正用ゲイン算出部911によって算出する構成としてもよいし、上記撮像センサ駆動制御部82bによって算出する構成としてもよい。
図24は、第4の実施形態におけるデジタルカメラ1cによるISO感度制御(合成制御)に関する動作の一例を示すフローチャートである。先ず、ユーザによって操作部10からの指示入力に基づきISO感度情報(ISO100やISO200等のISO感度情報)が全体制御部8cのISO感度設定部81に設定される(ステップS31)。撮像センサ3による撮影が実行され、該撮像センサ3からアナログ値としての撮像信号が出力される(ステップS32)。このアナログ値としての撮像信号がA/D変換部5aによるA/D変換処理によってデジタル値に変換される(ステップS33)。そして、このデジタル値としてのR、G、B各色の撮像信号V10がISO感度制御部4aに入力され、加算器501によって黒レベル補正が行われて撮像信号V11が出力される(ステップS34)。次に、合成ゲイン算出部91によって、設定ISO感度及びWB評価値に基づいて合成ゲインが算出される(ステップS35)。そして、この算出された合成ゲインが1より大きいか小さいかに応じて、特性変換部550により、入力された撮像信号V11に対する上記Lin−Log変換又はLog−Lin変換が行われて撮像信号V16が出力される(ステップS36)。特性変換部550から出力された撮像信号V16に対する乗算処理が乗算器503によって行われて撮像信号V17が出力されるとともに(ステップS37)、撮像信号V16に対する加算(減算)処理が加算器506によって行われて撮像信号V18が出力される(ステップS38)。一方、レジスタ510から出力された閾値信号Vth50(TGain>1の場合)又はVth60(TGain<1の場合)と、撮像信号V11とが比較器509において比較処理され、比較結果としての比較信号V12(比較値)が出力される(ステップS39)。そして、セレクタ511によって、この比較信号V12(正又は負の信号)に基づき、上記ステップS37、S38においてそれぞれ出力された撮像信号V17、V18に対する信号選択がなされ、合成制御がなされたデジタル値としての撮像信号V19が出力される(ステップS40)。
以上のように、第1及び第2の実施形態における撮像装置(デジタルカメラ1、1a)によれば、全体制御部8(8a)すなわち撮像センサ駆動制御部82(切替点制御部)によって、異なる光電変換特性を2つ以上有する撮像センサ3(固体撮像素子)の該異なる光電変換特性の切り替わり点(変曲点)の位置が制御される。また、乗算部43(乗算器503)によって、撮像センサ3からの撮像信号(撮像信号V0(V0’又はV1))に対する乗算(増幅)処理が行われ、加算部44(加算器506)によって、撮像センサ3からの撮像信号に対する加算処理が行われる。また、信号選択部46(セレクタ511)によって、切り替わり点の位置に関する所定の選択基準情報(比較信号V2)に基づいて、乗算部43(乗算器503)の乗算処理により得られる信号(撮像信号V3)と加算部44(加算器506)の加算処理により得られる信号(撮像信号V4)とに対する信号選択が行われる。そして、これら乗算部43(乗算器503)、加算部44(加算器506)及び撮像センサ駆動制御部82によって、被写体輝度の入力に対する出力度合いを示す所定の感度(ISO感度)に応じて、乗算処理における乗算値、加算処理における加算値及び切り替わり点の位置が変更される。これにより、所定の感度に応じて、撮像信号つまり撮影画像の変曲点位置を変更したり、撮影画像に対して乗算処理や加算処理を施したりすることができ、選択基準情報すなわち変曲点位置(変曲点レベル)に基づいて、該変曲点位置を境とする信号選択処理を行うことで、例えば乗算処理が施されてなる線形特性領域の画像(撮像信号V3)と、加算処理が施されてなる対数特性領域の画像(撮像信号V4)とからなる撮影画像(撮像信号V5)を求めるといったことが可能となるため、異なる光電変換特性を有する撮像センサ3により得られた撮影画像(線形/対数画像)に対するISO感度の制御を行うことができ、ひいては撮影画像の高画質化を図ることができる。
また、撮像センサ駆動制御部82によって、ISO感度に応じて切り替わり点の位置が変更され、乗算部43(乗算器503)及び加算部44(加算器506)によって、それぞれ当該撮像センサ駆動制御部82によって切り替わり点の位置が変更された光電変換特性に基づき得られた撮像信号に対する乗算処理及び加算処理が行われる。このように、ISO感度に応じて切り替わり点の位置が変更された後、この切り替わり点の位置が変更された撮影画像に対する乗算処理及び加算処理が行われるため、感度制御を行う際の乗算処理及び加算処理等によって、撮像信号の出力レベルが所定レベル、例えば一般的に設定される上限値レベル(例えば上述の1.0V)を超過してしまい、好適な感度制御が行われなくなることを確実に防止することができる。
また、第1の実施形態において、乗算部43(乗算回路)、加算部44(加算回路)及び比較部45(比較回路)に入力される撮像センサ3からの撮像信号はアナログ信号であるため、換言すれば、ISO感度制御部4にはアナログ信号が入力されてアナログ信号として処理され、ISO感度制御部4から出力されたアナログ信号は、A/D変換部5に入力される構成であるため、ISO感度制御における画像の所謂ざらつき(量子化誤差)を抑えることができる。
また、第2の実施形態において、乗算器503及び加算器506に入力される撮像センサ3からの撮像信号はA/D変換部5aからのデジタル信号であるため、アナログ処理と比べてより正確なISO感度制御が可能となる。
また、第1の実施形態におけるデジタルカメラ1は、以下のように言うこともできる。すなわち、デジタルカメラ1は、被写体輝度の入力に対する出力度合いを示す所定の感度(ISO感度)に応じて、切替点制御回路(全体制御部8すなわち撮像センサ駆動制御部82)によって、異なる光電変換特性を2つ以上有する固体撮像素子(撮像センサ3)の該異なる光電変換特性の切り替わり点(変曲点)の位置が制御される。また、所定の感度に応じて、乗算回路(乗算部43)により、切替スイッチ(スイッチSW1〜SW4)による切り替えに応じて固体撮像素子からの撮像信号に対する乗算処理が行われるとともに、加算回路(加算部44)により、切替スイッチ(スイッチSW5〜SW8)による切り替えに応じて固体撮像素子からの撮像信号に対する加算処理が行われる。一方、比較回路(比較部45)によって、固体撮像素子からの撮像信号に対して切り替わり点の位置に関する所定の比較処理が行われる。また、信号選択回路(信号選択部46)によって、比較回路の比較処理により得られた選択基準用信号に基づいて、乗算回路の乗算処理により得られる信号と加算回路の加算処理により得られる信号とに対する信号選択が行われる。これにより、所定の感度に応じて、撮像信号つまり撮影画像の変曲点位置を変更したり、撮影画像に対して乗算処理や加算処理を施したりすることができ、選択基準用信号すなわち変曲点位置(変曲点レベル)に基づいて、該変曲点位置を境とする信号選択処理を行うことで、例えば乗算処理が施されてなる線形特性領域の画像(撮像信号V3)と、加算処理が施されてなる対数特性領域の画像(撮像信号V4)とからなる撮影画像(撮像信号V5)を求めるといったことが可能となるため、異なる光電変換特性を有する撮像センサにより得られた撮影画像(線形/対数画像)に対するISO感度の制御を行うことができ、ひいては撮影画像の高画質化を図ることができる。
この場合も上記と同様、切替点制御回路によって、感度に応じて切り替わり点の位置が変更され、乗算回路及び加算回路によって、それぞれ当該切替点制御回路によって切り替わり点の位置が変更された光電変換特性に基づき得られた撮像信号に対する乗算処理及び加算処理が行われる。このように、感度に応じて切り替わり点の位置が変更された後、この切り替わり点の位置が変更された撮影画像に対する乗算処理及び加算処理が行われるため、感度制御を行う際の乗算処理及び加算処理等によって、撮像信号の出力レベルが所定レベル、例えば一般的に設定される上限値レベル(例えば上述の1.0V)を超過してしまい、好適な感度制御が行われなくなることを確実に防止できる。
また、黒レベル補正回路(黒レベル補正部42)によって、固体撮像素子からの撮像信号に対して乗算処理及び加算処理の前に黒レベル補正処理が行われるため、黒レベル補正された撮像信号V1(撮影画像)に対するISO感度調整を行うことができ、ひいては高精度の感度制御を行うことが可能となる。
また、第3の実施形態における撮像装置(デジタルカメラ1b)によれば、乗算器503によって、異なる光電変換特性を2つ以上有する撮像センサ3(固体撮像素子)からの撮像信号に対する乗算処理が行われ、加算器506によって、この撮像センサ3からの撮像信号に対する加算処理が行われる。また、特性変換部520によって、複数の異なる光電変換特性の1つ(例えば図15(b)の特性602に示す線形特性)が他の光電変換特性(図15(b)の特性603に示す対数特性)に変換され、セレクタ511(信号選択部)によって、光電変換特性の切り替わり点(例えば図15に示す変曲点レベルVth30)の位置に関する所定の選択基準情報(比較信号V12)に基づいて、乗算器503の乗算処理により得られる信号(撮像信号V13)と加算器506の加算処理により得られる信号(撮像信号V14)とに対する信号選択が行われる。そして、これら乗算器503及び加算器506によって、被写体輝度の入力に対する出力度合いを示す所定の感度(ISO感度)に応じて、乗算処理における乗算値及び加算処理における加算値が変更される。このように、特性変換部520によって異なる光電変換特性の1つ例えば線形特性データが他の光電変換特性例えば対数特性データに変換され、ISO感度に応じて、当該データ変換処理が施された変換画像データに対して乗算処理や加算処理が施されるとともに、例えばこの変換画像データの特性の切り替わり点(Vth30)に関する選択基準情報に基づいて乗算及び加算処理された画像信号の選択が行われるので、異なる光電変換特性を有する撮像センサ3の撮影画像(線形/対数画像)に対するISO感度制御を、例えば撮影時におけるアナログ的な撮像センサ3に対する切り替わり点の位置の制御(変曲点制御)を行うことなく、且つ当該各処理を例えばデジタル信号処理(演算処理)のみによって行うことが可能となり、ひいてはISO感度制御の高速化、高精度化を図ることができる。
また、第4の実施形態における撮像装置(デジタルカメラ1c)によれば、撮像センサ3は、カラー撮像素子であり、特性変換部550によって、異なる光電変換特性の1つ(例えば図22(a)の特性702に示す線形特性)を他の光電変換特性(図22(a)の特性703に示す対数特性)に変換するLin−Log変換(第1の特性変換)及び/又は上記他の光電変換特性(図22(b)の特性712に示す対数特性)を上記1つの光電変換特性(図22(b)の特性713に示す線形特性)に変換するLog−Lin変換(第2の特性変換)が行われる。そして、合成ゲイン算出部91(合成ゲイン設定部)によって、カラー撮像素子からの色信号に対する色の調整(WB補正)に関するゲインと、ISO感度の調整に関するゲインとを合成してなる合成ゲインが設定され、特性変換部550によって、合成ゲイン算出部91に設定された合成ゲインに応じて、Lin−Log変換及び/又はLog−Lin変換が行われ、乗算器503及び加算器506によって、RGB信号の各色毎に、この合成ゲインから得られる乗算値及び加算値を用いた乗算処理及び加算処理が行われる。
このように、ISO感度制御用ゲインとWB補正用ゲインとが合成された合成ゲインを用いて、RGBの色信号毎に当該各処理(合成制御)が行われるので、合成ゲインという同一の制御パラメータを用いてISO感度制御とWB補正とを同時に実行することが可能となり、換言すれば、ISO感度の調整に伴ってWB補正も同時に行うことが可能となり、ISO感度制御及びWB補正に対する制御効率の向上(制御時間の短縮化)、ひいては撮影の高速化を図ることができる。また、当該ISO感度制御及びWB補正とを例えば同一の機能部(回路;制御装置)によって行うことが可能となり(ISO感度制御回路とWB補正回路との共通化を図ることができ)、ひいては撮像装置の簡素化(装置規模の削減)を図ることができる。
さらに、上記特性変換部550における乗算器503及び加算器506に入力されるカラー撮像素子からのRGBの色信号はデジタル信号であるため、合成ゲインに基づいてISO感度制御及びWB補正を行う構成を、デジタル回路を用いて容易に実現することが可能となる。また、当該ISO感度制御及びWB補正がデジタル処理にて行われることで、アナログ処理と比べてより正確なISO感度制御及びWB補正が可能となる。
なお、本発明は、以下の態様をとることができる。
(A)第1の実施形態においては、加算部44におけるISO感度に応じた加算値の違いは、ISO感度に対応した第2〜第5ブロック412〜415からの出力電圧値を異ならせることで(抵抗R15〜R18は同じ抵抗値に設定)実現していたが、これに限定されず、例えば第2〜第5ブロック412〜415からの出力電圧を同じ電圧値(一定)としておき、抵抗側を変化させることで、すなわち抵抗R15〜R18の抵抗値を異なるものとしておくことで、各種ISO感度に応じた所望の加算値(電圧)が得られる構成としてもよい。
(A)第1の実施形態においては、加算部44におけるISO感度に応じた加算値の違いは、ISO感度に対応した第2〜第5ブロック412〜415からの出力電圧値を異ならせることで(抵抗R15〜R18は同じ抵抗値に設定)実現していたが、これに限定されず、例えば第2〜第5ブロック412〜415からの出力電圧を同じ電圧値(一定)としておき、抵抗側を変化させることで、すなわち抵抗R15〜R18の抵抗値を異なるものとしておくことで、各種ISO感度に応じた所望の加算値(電圧)が得られる構成としてもよい。
(B)第1の実施形態における信号選択部46での信号選択処理時に使用する変曲点レベル情報を有する選択基準用信号(比較信号V2)は、上述したように、比較部45を備え、閾値電圧Vthから比較部45における比較処理に基づいて求めるという方法でなくともよく、例えば比較部45を備えずに(比較部45を備えているが経由せずに)、閾値信号出力部84から直接、当該比較信号V2に相当する信号を生成してこれを信号選択部46に入力する構成としてもよい。この場合、ISO感度毎に設定された比較信号V2が閾値信号出力部84から出力されてもよい。なお、第2〜第4の実施形態における当該比較信号を用いた選択を行う各機能部に対してもこの変形態様(B)を適用することができる。
(C)第1〜第4の実施形態における各ISO感度制御部は必ずしも黒レベル補正部を備えずともよく、この場合、例えばISO感度制御部に入力される前の撮像信号において、既に当該黒レベル補正がなされたものが得られるような装置構成としてもよい。また、黒レベル補正を行わない撮像信号を入力してその撮像信号に対して乗算、加算処理等を施してISO感度調整を行ってもよい。
(D)図19に示すISO感度制御部11又は図21に示す特性変換部550を、RGB各信号毎に備える構成としてもよい。
1、1a、1b、1c デジタルカメラ(撮像装置)
3 撮像センサ(固体撮像素子)
4、4a、4b ISO感度制御部
41 電圧信号出力部
42 黒レベル補正部(黒レベル補正回路)
43 乗算部(乗算回路)
44 加算部(加算回路)
45 比較部(比較回路)
46 信号選択部(信号選択回路)
5、5a A/D変換部
503 乗算器(乗算部)
506 加算器(加算部)
520 特性変換部(請求項9記載の特性変換部)
550 特性変換部(請求項10記載の特性変換部)
8、8a、8b、8c 全体制御部
81 ISO感度設定部
82 撮像センサ駆動制御部(切替点制御部、切替点制御回路)
11 ISO感度/WB制御部
91 合成ゲイン算出部(合成ゲイン設定部)
3 撮像センサ(固体撮像素子)
4、4a、4b ISO感度制御部
41 電圧信号出力部
42 黒レベル補正部(黒レベル補正回路)
43 乗算部(乗算回路)
44 加算部(加算回路)
45 比較部(比較回路)
46 信号選択部(信号選択回路)
5、5a A/D変換部
503 乗算器(乗算部)
506 加算器(加算部)
520 特性変換部(請求項9記載の特性変換部)
550 特性変換部(請求項10記載の特性変換部)
8、8a、8b、8c 全体制御部
81 ISO感度設定部
82 撮像センサ駆動制御部(切替点制御部、切替点制御回路)
11 ISO感度/WB制御部
91 合成ゲイン算出部(合成ゲイン設定部)
Claims (11)
- 異なる光電変換特性を2つ以上有する固体撮像素子と、
前記異なる光電変換特性の切り替わり点の位置を制御する切替点制御部と、
前記固体撮像素子からの撮像信号に対する乗算処理を行う乗算部と、
前記固体撮像素子からの撮像信号に対する加算処理を行う加算部と、
前記切り替わり点の位置に関する所定の選択基準情報に基づいて、前記乗算部の乗算処理により得られる信号と前記加算部の加算処理により得られる信号とに対する信号選択を行う信号選択部とを備え、
前記乗算部、加算部及び切替点制御部はそれぞれ、被写体輝度の入力に対する出力度合いを示す所定の感度に応じて、乗算処理における乗算値、加算処理における加算値及び切り替わり点の位置を変更することを特徴とする撮像装置。 - 前記切替点制御部は、前記感度に応じて切り替わり点の位置を変更し、
前記乗算部及び加算部はそれぞれ、当該切替点制御部によって切り替わり点の位置が変更された光電変換特性に基づき得られた撮像信号に対する前記乗算処理及び加算処理を行うことを特徴とする請求項1記載の撮像装置。 - 前記乗算部及び加算部に入力される固体撮像素子からの撮像信号はアナログ信号であることを特徴とする請求項1又は2記載の撮像装置。
- アナログ信号をデジタル信号に変換するA/D変換を行うA/D変換部をさらに備え、
前記乗算部及び加算部に入力される固体撮像素子からの撮像信号は、アナログ信号としての該撮像信号が前記A/D変換部によってA/D変換されてなるデジタル信号であることを特徴とする請求項1又は2記載の撮像装置。 - 異なる光電変換特性を2つ以上有する固体撮像素子と、
被写体輝度の入力に対する出力度合いを示す所定の感度に応じて、前記異なる光電変換特性の切り替わり点の位置を制御する切替点制御回路と、
前記感度に応じてオン、オフの切り替えを行う所定数の切替スイッチを含み、該切替スイッチによる切り替えに応じて前記固体撮像素子からの撮像信号に対する乗算処理を行う乗算回路と、
前記感度に応じてオン、オフの切り替えを行う所定数の切替スイッチを含み、該切替スイッチによる切り替えに応じて前記固体撮像素子からの撮像信号に対する加算処理を行う加算回路と、
前記固体撮像素子からの撮像信号に対して前記切り替わり点の位置に関する所定の比較処理を行う比較回路と、
前記比較回路の比較処理により得られた選択基準用信号に基づいて、前記乗算回路の乗算処理により得られる信号と前記加算回路の加算処理により得られる信号とに対する信号選択を行う信号選択回路とを備えることを特徴とする撮像装置。 - 前記切替点制御回路は、前記感度に応じて切り替わり点の位置を変更し、
前記乗算回路及び加算回路はそれぞれ、当該切替点制御回路によって切り替わり点の位置が変更された光電変換特性に基づき得られた撮像信号に対する前記乗算処理及び加算処理を行うことを特徴とする請求項5記載の撮像装置。 - 前記固体撮像素子からの撮像信号に対して前記乗算処理及び加算処理の前に黒レベル補正処理を行う黒レベル補正回路をさらに備えることを特徴とする請求項5又は6記載の撮像装置。
- 前記乗算回路、加算回路及び比較回路に入力される固体撮像素子からの撮像信号はアナログ信号であることを特徴とする請求項5〜7のいずれかに記載の撮像装置。
- 異なる光電変換特性を2つ以上有する固体撮像素子と、
前記固体撮像素子からの撮像信号に対する乗算処理を行う乗算部と、
前記固体撮像素子からの撮像信号に対する加算処理を行う加算部と、
前記複数の異なる光電変換特性の1つを他の光電変換特性に変換する特性変換部と、
前記光電変換特性の切り替わり点の位置に関する所定の選択基準情報に基づいて、前記乗算部の乗算処理により得られる信号と前記加算部の加算処理により得られる信号とに対する信号選択を行う信号選択部とを備え、
前記乗算部及び加算部はそれぞれ、被写体輝度の入力に対する出力度合いを示す所定の感度に応じて、乗算処理における乗算値及び加算処理における加算値を変更することを特徴とする撮像装置。 - 前記固体撮像素子は、カラー撮像素子であり、
前記特性変換部は、前記異なる光電変換特性の1つを他の光電変換特性に変換する第1の特性変換及び/又は前記他の光電変換特性を前記1つの光電変換特性に変換する第2の特性変換を行うことが可能に構成されたものであって、
前記カラー撮像素子からの色信号に対する色の調整に関するゲインと、前記所定の感度の調整に関するゲインとを合成してなる合成ゲインを設定する合成ゲイン設定部をさらに備え、
前記特性変換部は、前記合成ゲイン設定部に設定された合成ゲインに応じて、前記第1の特性変換及び/又は前記第2の特性変換を行い、
前記乗算部及び加算部はそれぞれ、前記色信号毎に、前記合成ゲインから得られる乗算値及び加算値を用いた乗算処理及び加算処理を行うことを特徴とする請求項9記載の撮像装置。 - アナログ信号をデジタル信号に変換するA/D変換を行うA/D変換部をさらに備え、
前記乗算部及び加算部に入力されるカラー撮像素子からの色信号は、アナログ信号としての該色信号が前記A/D変換部によってA/D変換されてなるデジタル信号であることを特徴とする請求項10記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005179868A JP2006352804A (ja) | 2005-06-20 | 2005-06-20 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005179868A JP2006352804A (ja) | 2005-06-20 | 2005-06-20 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006352804A true JP2006352804A (ja) | 2006-12-28 |
Family
ID=37648108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005179868A Pending JP2006352804A (ja) | 2005-06-20 | 2005-06-20 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006352804A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007081818A (ja) * | 2005-09-14 | 2007-03-29 | Renesas Technology Corp | 固体撮像装置及びその駆動方法 |
JP2008263547A (ja) * | 2007-04-13 | 2008-10-30 | Konica Minolta Holdings Inc | 撮像装置 |
EP2207343A2 (de) * | 2009-01-09 | 2010-07-14 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Bildsensor |
JP2012235534A (ja) * | 2012-08-23 | 2012-11-29 | Konica Minolta Holdings Inc | 撮像装置 |
WO2017150240A1 (ja) * | 2016-03-04 | 2017-09-08 | ソニー株式会社 | 固体撮像素子、駆動方法、および電子機器 |
-
2005
- 2005-06-20 JP JP2005179868A patent/JP2006352804A/ja active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007081818A (ja) * | 2005-09-14 | 2007-03-29 | Renesas Technology Corp | 固体撮像装置及びその駆動方法 |
JP4658755B2 (ja) * | 2005-09-14 | 2011-03-23 | ルネサスエレクトロニクス株式会社 | 固体撮像装置及びその駆動方法 |
JP2008263547A (ja) * | 2007-04-13 | 2008-10-30 | Konica Minolta Holdings Inc | 撮像装置 |
US7645978B2 (en) | 2007-04-13 | 2010-01-12 | Konica Minolta Holdings, Inc. | Image sensing apparatus and image sensing method using image sensor having two or more different photoelectric conversion characteristics |
EP2207343A2 (de) * | 2009-01-09 | 2010-07-14 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Bildsensor |
EP2207343A3 (de) * | 2009-01-09 | 2014-04-30 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Bildsensor |
JP2012235534A (ja) * | 2012-08-23 | 2012-11-29 | Konica Minolta Holdings Inc | 撮像装置 |
WO2017150240A1 (ja) * | 2016-03-04 | 2017-09-08 | ソニー株式会社 | 固体撮像素子、駆動方法、および電子機器 |
CN108702469A (zh) * | 2016-03-04 | 2018-10-23 | 索尼公司 | 固体摄像器件、固体摄像器件驱动方法和电子设备 |
JPWO2017150240A1 (ja) * | 2016-03-04 | 2019-01-10 | ソニー株式会社 | 固体撮像素子、駆動方法、および電子機器 |
US10811447B2 (en) | 2016-03-04 | 2020-10-20 | Sony Corporation | Solid-state imaging device, driving method, and electronic equipment |
CN108702469B (zh) * | 2016-03-04 | 2021-09-17 | 索尼公司 | 固体摄像器件、固体摄像器件驱动方法和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI524709B (zh) | 影像擷取設備、影像擷取設備之控制方法及電子裝置 | |
JP4293174B2 (ja) | 撮像装置および画像処理装置 | |
JP4678218B2 (ja) | 撮像装置及び画像処理方法 | |
JP4914300B2 (ja) | 撮像装置及び撮像制御方法 | |
JP2006287323A (ja) | 撮像装置 | |
JP2014086855A (ja) | 撮像装置 | |
JP4717720B2 (ja) | 画像処理装置および方法並びにプログラム | |
JP2010147786A (ja) | 撮像装置及び画像処理方法 | |
JP2015019354A (ja) | 撮像装置、画像処理装置、および、これらの制御方法 | |
JP2008085634A (ja) | 撮像装置及び画像処理方法 | |
JP2006352804A (ja) | 撮像装置 | |
US8026965B2 (en) | Image pickup apparatus and method for controlling the same | |
JP4581633B2 (ja) | 色信号補正方法、装置及びプログラム | |
JP2006333113A (ja) | 撮像装置 | |
JP6108854B2 (ja) | 撮像装置及びその制御方法 | |
JP2008219230A (ja) | 撮像装置及び画像処理方法 | |
JP2004222183A (ja) | 露出補正機能付きデジタルカメラ | |
JP2005080190A (ja) | ホワイトバランス調整方法及び電子カメラ | |
JP6990988B2 (ja) | 撮像装置及び撮像素子の制御方法 | |
JP2017102393A (ja) | 撮像装置 | |
JP5482428B2 (ja) | 撮像装置、手ブレ補正方法、プログラム | |
JP2007049533A (ja) | 撮像装置および電子情報機器 | |
JP2008053812A (ja) | 撮像装置 | |
JP4787403B2 (ja) | 自動露出装置及び方法 | |
JP4048104B2 (ja) | 撮像装置及び撮像方法 |