JP2005348005A - 撮像装置、撮像システム及び撮像システム動作プログラム - Google Patents
撮像装置、撮像システム及び撮像システム動作プログラム Download PDFInfo
- Publication number
- JP2005348005A JP2005348005A JP2004164093A JP2004164093A JP2005348005A JP 2005348005 A JP2005348005 A JP 2005348005A JP 2004164093 A JP2004164093 A JP 2004164093A JP 2004164093 A JP2004164093 A JP 2004164093A JP 2005348005 A JP2005348005 A JP 2005348005A
- Authority
- JP
- Japan
- Prior art keywords
- gradation conversion
- characteristic
- inflection point
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 229
- 238000006243 chemical reaction Methods 0.000 claims abstract description 824
- 238000003860 storage Methods 0.000 claims description 105
- 230000008859 change Effects 0.000 claims description 75
- 238000001514 detection method Methods 0.000 claims description 46
- 230000005540 biological transmission Effects 0.000 claims description 32
- 230000002093 peripheral effect Effects 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 16
- 230000001131 transforming effect Effects 0.000 abstract 1
- 235000019557 luminance Nutrition 0.000 description 301
- 238000011156 evaluation Methods 0.000 description 149
- 238000004364 calculation method Methods 0.000 description 103
- 238000012545 processing Methods 0.000 description 88
- 230000000875 corresponding effect Effects 0.000 description 82
- 230000003321 amplification Effects 0.000 description 46
- 238000000034 method Methods 0.000 description 46
- 238000003199 nucleic acid amplification method Methods 0.000 description 46
- 238000012937 correction Methods 0.000 description 37
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 36
- 230000008569 process Effects 0.000 description 27
- 230000001276 controlling effect Effects 0.000 description 25
- 239000003990 capacitor Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 20
- 230000010354 integration Effects 0.000 description 15
- 238000005375 photometry Methods 0.000 description 12
- 229920006395 saturated elastomer Polymers 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 5
- 230000003071 parasitic effect Effects 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
- H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
- H04N1/4074—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Picture Signal Circuits (AREA)
Abstract
【課題】 撮像センサの線形特性領域及び対数特性領域の変曲点が常時変化する場合においても、的確な階調変換処理を行うことができる撮像装置を提供する。
【解決手段】 線形特性領域と対数特性領域とを備える撮像センサと画像信号を階調変換する階調変換部409とを有する撮像装置において、前記撮像センサの線形特性領域と対数特性領域との変曲点を切り替わり点とする、線形特性領域用の階調変換情報である第1の階調変換特性と、対数特性領域用の階調変換情報である第2の階調変換特性との少なくとも2種類の階調変換情報を記憶する階調変換LUT記憶部4092手段を具備させる。そして、前記変曲点が変化された場合に、変化後の変曲点に合わせて前記切り替わり点を変更した新たな階調変換情報に書き換える階調変換情報書換え部4094を設ける。
【選択図】 図5
【解決手段】 線形特性領域と対数特性領域とを備える撮像センサと画像信号を階調変換する階調変換部409とを有する撮像装置において、前記撮像センサの線形特性領域と対数特性領域との変曲点を切り替わり点とする、線形特性領域用の階調変換情報である第1の階調変換特性と、対数特性領域用の階調変換情報である第2の階調変換特性との少なくとも2種類の階調変換情報を記憶する階調変換LUT記憶部4092手段を具備させる。そして、前記変曲点が変化された場合に、変化後の変曲点に合わせて前記切り替わり点を変更した新たな階調変換情報に書き換える階調変換情報書換え部4094を設ける。
【選択図】 図5
Description
本発明は、入射光量に応じた電気信号を発生する撮像センサを具備する撮像装置に関し、特に、その光電変換特性として入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備えている(線形特性の動作と対数特性の動作とが切り替え可能とされている)撮像センサを用いた撮像装置、撮像システム及び撮像システム動作プログラムに関するものである。
従来、フォトダイオード等の光電変換素子をマトリクス状に配置してなる固体撮像素子に、MOSFET等を備えた対数変換回路を付加し、前記MOSFETのサブスレッショルド特性を利用することで、固体撮像素子の出力特性を入射光量に対して電気信号が対数的に変換されるようにした撮像センサ(「LOGセンサ」とも呼ばれている)が知られている。このような撮像センサにおいて、固体撮像素子本来の出力特性、すなわち入射光量に応じて電気信号が線形的に変換されて出力される線形動作状態と、前述の対数動作状態とを切り替えることが可能とされた撮像センサが知られている。
例えば特許文献1では、MOSFETに特定のリセット電圧を与えることで、線形動作状態から対数動作状態へ自動的に切り替え可能とすると共に、前記各画素の前記切り替え点を等しくした撮像装置が開示されている。また特許文献2にも、線形動作状態から対数動作状態へ自動的に切り替え可能とすると共に、MOSFETのリセット時間を調整することでMOSFETのポテンシャル状態を調整可能とした撮像装置が開示されている。
ところで、撮像センサを線形動作状態で用いた場合、光電変換素子で発生した電荷量に比例した出力が得られることから、低輝度の被写体でも高コントラストな画像信号が得られる等の利点がある反面、ダイナミックレンジが狭くなってしまうという不都合がある。一方、撮像センサを対数動作状態で用いた場合、入射光量に対して自然対数的に変換された出力が得られることから、広いダイナミックレンジが確保できるという利点がある反面、画像信号が対数圧縮されることからコントラスト性が悪くなるという不都合がある。
特開2002−77733号公報
特開2002−300476号公報
一般に、デジタル撮像装置においては、撮像センサにより取得された画像信号に対し、ホワイトバランス補正処理、色補間処理、或いは階調変換処理といった各種のデジタル信号処理が施される。ここで、前記階調変換処理とは、色成分R、G、Bの画像信号の階調特性(γカーブやデジタルゲイン)を、当該デジタル撮像装置が備えているLCD表示部や外部出力されるモニターテレビ等の階調特性にマッチするよう補正するものである。
しかしながら、上記のように線形特性領域と対数特性領域とを備えた撮像センサを用いた場合、当該撮像センサの撮像可能領域全体に亘って画一的に階調変換すると、被写体輝度に忠実な階調変換処理が行えないという問題がある。すなわち、対数特性領域においては、撮像センサへの入射光量に対して自然対数的に変換して出力されることから、入射輝度に対して階調圧縮して撮像されることとなり、線形特性領域とは元々異なる階調特性で撮像されることになるからである。特に、線形特性領域及び対数特性領域の長所並びに短所に鑑みた場合、それぞれの動作状態が備える長所を積極的に活用して撮像動作を行わせる構成とすることが望ましく、例えば自動露光制御を行う場合においても、ターゲットとなる被写体の輝度と、撮像センサの線形動作状態から対数動作状態への切り替り点とを関連付けてその制御を行えば、専ら各動作状態が備える長所を活用した最適な自動露光制御を行い得る可能性があるが、この場合線形特性領域及び対数特性領域の切り替わり点(変曲点)を常時変化させ得る制御が不可避になることから、被写体輝度に応じた最適な階調変換処理が一層困難性を帯びることになる。前記特許文献1及び特許文献2に係る撮像装置は、撮像センサを線形動作状態から対数動作状態へ自動的に切り替え可能とすることを開示しているに止まり、このような階調変換処理に関して言及されていない。
従って本発明は、線形特性領域と対数特性領域とを備える撮像センサを用いた撮像装置において、前記線形特性領域及び対数特性領域に応じた階調変換処理が施すことができ、さらに線形特性領域及び対数特性領域の変曲点が常時変化し得る場合においても、的確な階調変換処理を行うことができる撮像装置、撮像システム及び撮像システム動作プログラムを提供することを目的とする。
本発明の請求項1にかかる撮像装置は、入射光量に応じた電気信号を発生すると共に、その光電変換特性が入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサと、前記撮像センサの線形特性領域と対数特性領域との変曲点を切り替わり点とする、線形特性領域用の階調変換情報である第1の階調変換特性と、対数特性領域用の階調変換情報である第2の階調変換特性との少なくとも2種類の階調変換情報を記憶する階調変換情報記憶手段と、前記撮像センサにより撮影された画像信号を、前記階調変換情報記憶手段に記憶されている階調変換情報に基づいて階調変換する階調変換手段とを具備することを特徴とする。この構成によれば、撮像センサの線形特性領域については階調変換情報記憶手段に記憶されている第1の階調変換特性にて階調変換が為され、また対数特性領域については第2の階調変換特性にて階調変換が為されることから、撮像センサそれぞれの特性領域に応じて第1の階調変換特性及び第2の階調変換特性を定めておくことで、被写体輝度に応じた適切な階調変換処理を行うことが可能となる。
上記構成において、対数特性領域用の階調変換情報である第2の階調変換特性が、線形特性領域用の階調変換情報である第1の階調変換特性よりも階調変換度合いが高い階調変換特性を有する構成とすることが望ましい(請求項2)。かかる構成によれば、線形特性領域に比較して階調圧縮して撮像されることとなる対数特性領域における画像信号を、階調伸長された態様で出力させることができ、これにより前記階調圧縮の分を復元させることができるようになる。
また、線形特性領域用の階調変換情報である第1の階調変換特性が、階調変換度合いが他の部分よりも高い高階調変換特性部を有するよう構成することが望ましい(請求項3)。この構成によれば、第1の階調変換特性を例えば単調な線形特性に設定する場合に比べ、前記高階調変換特性部をコントラストの強調したい輝度範囲部分(例えば主被写体の輝度範囲部分)に割り当てることで、当該輝度範囲部分を階調性豊かにした画像信号とすることができるようになる。
請求項4にかかる撮像装置は、請求項1〜3のいずれかにおいて、撮像センサの線形特性領域と対数特性領域との変曲点を制御する変曲点制御手段と、該変曲点制御手段により変曲点が変化された場合に、前記階調変換情報記憶手段に記憶されている階調変換情報を、変化後の変曲点に合わせて前記切り替わり点を変更した新たな階調変換情報に書き換える階調変換情報書換え手段とをさらに具備することを特徴とする。この構成によれば、撮像センサの線形特性領域と対数特性領域との変曲点が変化された場合でも、変化後の変曲点に合わせて階調変換情報記憶手段に記憶されている階調変換情報が、階調変換情報書換え手段により新たな階調変換情報に書き換え更新されるようになる。
請求項4にかかる構成において、変曲点制御手段を、露出制御用の被写体輝度に相当する撮像センサの出力が線形特性領域から得られるよう変曲点を制御する露出制御手段にて構成することができる(請求項5)。この構成によれば、露出制御により撮像センサの光電変換特性(変曲点)が変化された場合、その変化に応じて階調変換情報記憶手段に記憶されている階調変換情報が、階調変換情報書換え手段により新たな階調変換情報に書き換え更新される。
また請求項4にかかる構成において、被写体の輝度を、主被写体輝度と周辺被写体輝度とに分けて検出する輝度検出手段を備え、階調変換情報書換え手段は、前記輝度検出手段が検出する主被写体の輝度情報に基づいて、階調変換情報記憶手段に記憶されている階調変換情報の主被写体輝度範囲部分に相当する部分を、階調変換度合いが比較的高い第3の階調変換特性に書き換えるようにすることが好ましい(請求項6)。この構成によれば、主被写体輝度範囲部分に相当する部分が、階調変換度合いが比較的高い第3の階調変換特性により高コントラストとされた画像信号を生成することが可能となる。
さらに、変曲点制御手段が、露出制御用の被写体輝度に相当する撮像センサの出力が線形特性領域から得られるよう変曲点を制御する露出制御手段であり、前記露出制御用の被写体輝度が前記主被写体輝度範囲部分とされることで、主被写体が撮像センサの線形特性領域内で撮像されるものであって、階調変換情報書換え手段は、少なくとも線形特性領域用の階調変換情報である第1の階調変換特性のうち、前記主被写体輝度範囲部分に相当する部分を、前記第3の階調変換特性に部分的に書き換えるようにすることが好ましい(請求項7)。この構成によれば、主被写体は本来的にコントラスト性に優れる線形特性領域で撮像されると共に、前記第3の階調変換特性により高い階調変換度合いで階調変換されるので、主被写体のコントラストが一層強調された画像信号が得られるようになる。
上記構成において、露出制御手段を、撮像センサに対する露光量を制御する露光量制御手段とすることができる(請求項8)。また、露出制御手段を、撮像センサの光電変換特性を制御するダイナミックレンジ制御手段とすることができる(請求項9)。
ここで、本発明で言う「露出制御(以下、「AE制御」とも言う)」の概念に関する定義につき、図7に基づいて説明しておく。いわゆる銀塩カメラと異なり、デジタルカメラやデジタルムービィ等の撮像装置においては、AE制御のための制御要素としては、撮像センサの光電変換特性に関連づけて(光電変換特性を作為的に変化させて)制御する方法と、撮像センサの撮像面に届く光の総量と光電変換後の光電流の積分時間を調整する方法とがある。本明細書では、前者を「ダイナミックレンジ制御」と呼び、後者を「露光量制御」と呼ぶものとする。なお、前記「ダイナミックレンジ制御」は、例えば撮像センサの線形特性領域と対数特性領域との切り替わり点(以下、「変曲点」という)を制御することで実行される。また、前記「露光量制御」は、例えば絞りの開口量調整や、或いはメカニカルシャッタのシャッタスピードの調整、又は撮像センサに対するリセット動作の制御による電荷の積分時間制御により実行される。
本発明の請求項10にかかる撮像システムは、入射光量に応じた電気信号を発生すると共に、その光電変換特性が入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサと、前記撮像センサの線形特性領域と対数特性領域との変曲点を制御する変曲点制御手段とを具備する撮像装置と、前記撮像センサにより撮像された画像信号と、前記変曲点制御手段により制御された変曲点情報とを、前記撮像装置から外部へ伝送する情報伝送手段と、前記情報伝送手段から前記画像信号と変曲点情報とを取得すると共に、取得された画像信号に所定の階調変換を施して再生用画像信号を生成する画像信号取得手段とを備え、前記画像信号取得手段は、前記撮像センサの線形特性領域と対数特性領域との変曲点を切り替わり点とする、線形特性領域用の階調変換情報である第1の階調変換特性と、対数特性領域用の階調変換情報である第2の階調変換特性との少なくとも2種類の階調変換情報を記憶する階調変換情報記憶部と、取得された画像信号を、前記階調変換情報記憶部に記憶されている階調変換情報に基づいて階調変換する階調変換部とを具備することを特徴とする。この構成によれば、撮像装置にネットワーク等の情報伝送手段を介して外部接続された画像信号取得手段により、所望の階調変換処理を施した上で画像表示や画像記録等を行うことができるようになる。
上記構成において、撮像装置が備える変曲点制御手段により変曲点が変化され、この変化された変曲点情報が画像信号取得手段により取得された場合に、前記階調変換情報記憶部に記憶されている階調変換情報を、変化後の変曲点に合わせて前記切り替わり点を変更した新たな階調変換情報に書き換える階調変換情報書換え部が、前記画像信号取得手段に備えられているよう構成することが望ましい(請求項11)。この構成によれば、撮像センサの線形特性領域と対数特性領域との変曲点が変化された場合でも、変化後の変曲点に合わせて画像信号取得手段の階調変換情報記憶手段に記憶されている階調変換情報が、階調変換情報書換え手段により新たな階調変換情報に書き換え更新されるようになる。
上記撮像システムにおいて、前記情報伝送手段を、通信ケーブル若しくは有線又は無線の通信ネットワークにて構成することができる(請求項12)。或いは、前記情報伝送手段を、撮像装置及び画像信号取得手段に装着可能な情報記録媒体にて構成することができる(請求項13)。
本発明の請求項14にかかる撮像システム動作プログラムは、入射光量に応じた電気信号を発生すると共に、その光電変換特性が入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサと、前記撮像センサの線形特性領域と対数特性領域との変曲点を制御する変曲点制御手段とを具備する撮像装置と、前記撮像センサにより撮像された画像信号と、前記変曲点制御手段により制御された変曲点情報とを、前記撮像装置から外部へ伝送する情報伝送手段と、前記情報伝送手段から前記画像信号と変曲点情報とを取得すると共に、取得された画像信号に所定の階調変換を施して再生用画像信号を生成する画像信号取得手段とを備え、前記画像信号取得手段は、前記撮像センサの線形特性領域と対数特性領域との変曲点を切り替わり点とする、線形特性領域用の階調変換情報である第1の階調変換特性と、対数特性領域用の階調変換情報である第2の階調変換特性との少なくとも2種類の階調変換情報を記憶する階調変換情報記憶部と、取得された画像信号を、前記階調変換情報記憶部に記憶されている階調変換情報に基づいて階調変換する階調変換部とを具備する撮像システムの動作を可能とする撮像システム動作プログラムであって、前記撮像装置から情報伝送手段を介して変曲点情報を前記画像信号取得手段に取得させると共に、前記階調変換情報記憶部に記憶されている階調変換情報を、画像信号取得手段の取得した変曲点情報に基づいて前記切り替わり点を変更した新たな階調変換情報に書き換える動作を行わせることを特徴とする。
請求項1にかかる撮像装置によれば、撮像センサそれぞれの特性領域に応じて第1の階調変換特性及び第2の階調変換特性を定めておくことで、入射輝度に対して階調性の異なる撮像動作が行われることになる線形特性領域及び対数特性領域を備える撮像センサを採用した撮像装置であっても、それぞれの特性領域で撮像された画像信号を被写体輝度に応じた最適な階調特性を有する画像信号に変換して、或いはそれぞれの特性領域の特徴を生かした任意の階調特性を有する画像信号に変換して出力できるようになる。すなわち、線形特性領域及び対数特性領域それぞれの特徴を考慮した様々な階調変換が可能となり、階調変換の自由度に優れる撮像装置を提供できるという効果を奏する。
請求項2にかかる撮像装置によれば、線形特性領域に比較して階調圧縮して撮像されることとなる対数特性領域における画像信号を、階調伸長された態様で出力させることができ、これにより前記階調圧縮の分を復元させることができることから、対数特性領域において撮像された被写体輝度範囲について、被写体輝度階調に対して忠実に階調変換できるようになる。
請求項3にかかる撮像装置によれば、コントラストを強調したい輝度範囲部分(例えば主被写体の輝度範囲部分)に高階調変換特性部を割り当てることで、当該輝度範囲部分を階調性豊かにした画像信号として階調変換出力することができるので、被写体の任意の輝度範囲部分につきコントラストの重み付けをした出力画像信号を生成することが可能となり、階調変換の自由度が向上するという利点がある。
請求項4にかかる撮像装置によれば、撮像センサの線形特性領域と対数特性領域との変曲点が変化された場合でも、変化後の変曲点に合わせて階調変換情報記憶手段に記憶されている階調変換情報が、階調変換情報書換え手段により新たな階調変換情報に書き換えられることから、前記変曲点が入射輝度や各種制御目的で変更された場合であっても、これに追従して新たな階調変換情報に随時更新されることとなる。従って、変曲点が常時変更される場合であっても、常に最適な(意図する)階調変換特性に基づいて階調変換させることが可能となる。
請求項5にかかる撮像装置によれば、露出制御により撮像センサの光電変換特性が変化された場合、その変化に応じて階調変換情報記憶手段に記憶されている階調変換情報が、階調変換情報書換え手段により新たな階調変換情報に書き換え更新されることから、露出制御に伴い変動する光電変換特性(変曲点)連動して、例えば第1の階調変換特性と第2の階調変換特性との変曲点も変化させることが可能となる。従って、露出制御に追従した最適な階調変換出力、つまり被写体輝度に的確に追従した階調変換出力が得られるという効果を奏する。
請求項6にかかる撮像装置によれば、主被写体輝度範囲部分に相当する部分につき、階調変換度合いが比較的高い第3の階調変換特性により高コントラストとされた画像信号を生成することが可能となるので、特に主被写体のコントラストを重視した階調変換出力を得ることができるようになる。
請求項7にかかる撮像装置によれば、主被写体は本来的にコントラスト性に優れる線形特性領域で撮像されると共に、当該主被写体輝度範囲部分が第3の階調変換特性により高い階調変換度合いで階調変換されるので、主被写体のコントラストが一層強調された画像信号を得ることができるという効果を奏する。
請求項8にかかる撮像装置によれば、撮像センサの露光時間、絞りの開口面積及びシャッタスピード等が、露光量制御のために撮像センサの光電変換特性に基づき制御されるのに伴い、階調変換特性が随時書き換えられるようになり、従って露光量制御に追従した最適な階調変換出力が得られるようになる。
請求項9にかかる撮像装置によれば、撮像センサの光電変換特性が、ダイナミックレンジ制御のために制御されるのに伴い、階調変換特性が随時書き換えられるようになり、従ってダイナミックレンジ制御に追従した最適な階調変換出力が得られるようになる
請求項10にかかる撮像システムによれば、撮像装置にネットワーク等の情報伝送手段を介して外部接続された画像信号取得手段により、所望の階調変換処理を施した上で画像表示や画像記録等を行うことができるようになる。すなわち、撮像装置により撮影された画像信号を、ネットワーク等を介してパソコン等の画像信号取得手段に取り込み、該画像信号取得手段において適宜な階調変換処理を施すことができるので、撮像装置が備える撮像センサを画像信号取得手段とする拡張的なシステムを構築することができる。また撮像装置に、少なくとも2種類の階調変換情報を記憶する階調変換情報記憶手段が備えられていない場合であっても、画像信号取得手段側において所期の階調変換出力を得ることができるという利点もある。
請求項11にかかる撮像システムによれば、撮像装置の撮像センサの線形特性領域と対数特性領域との変曲点が変化された場合でも、変化後の変曲点に合わせて画像信号取得手段が備えている階調変換情報記憶部に記憶されている階調変換情報が、階調変換情報書換え部により新たな階調変換情報に書き換えられることから、前記変曲点が入射輝度や各種制御目的で変更された場合であっても、これに追従して新たな階調変換情報に随時更新されることとなる。従って、変曲点が常時変更される場合であっても、画像信号取得手段側において常に最適な(意図する)階調変換特性に基づいて階調変換させることが可能となる。
請求項12にかかる撮像システムによれば、情報伝送手段を、通信ケーブル若しくは有線又は無線の通信ネットワークにて構成するので、撮像装置による静止画像信号やライブビュー画像信号をリアルタイムに画像信号取得手段へ入力し、これに所定の階調変換処理を施した上で画像表示等を行わせることが可能となる。
請求項13にかかる撮像システムによれば、情報伝送手段を、撮像装置及び画像信号取得手段に装着可能な例えばストレージメディア等の情報記録媒体にて構成するので、ストレージメディア等に一時的に画像信号及び変曲点情報を記憶させて自在に持ち運べるようになり、ユーザの利便性を向上させることができる。
請求項14にかかる撮像システム動作プログラムによれば、撮像装置の撮像センサの線形特性領域と対数特性領域との変曲点が変化された場合でも、変化後の変曲点に合わせて画像信号取得手段が備えている階調変換情報記憶部に記憶されている階調変換情報が、階調変換情報書換え部により新たな階調変換情報に書き換えられ、而して前記変曲点が入射輝度や各種制御目的で変更された場合であっても、これに追従して新たな階調変換情報に随時更新されるよう撮像システムを動作させることができる。従って、変曲点が常時変更される場合であっても、画像信号取得手段側において常に最適な(意図する)階調変換特性に基づいて階調変換させる撮像システムを運用することが可能となる。
以下図面に基づいて、本発明の実施形態につき説明する。
(撮像装置の外観構造の説明)
図1は、本発明にかかる撮像装置が好適に適用される小型のデジタルカメラ1の外観を示す図であって、図1(a)はその上面図、(b)は正面図、(c)は背面図をそれぞれ示している。このデジタルカメラ(撮像装置)1は、カメラ本体ボディ10の頂面には電源スイッチ101及びレリーズスイッチ102等が、正面側にはフラッシュ発光部103及び撮影レンズ窓104等が、また背面側にはモード設定スイッチ105などの各種の操作ボタンや液晶モニター(LCD)からなるLCD表示部106等がそれぞれ配置されている。そして本体ボディ10の内部には、各種本体機器のほか、屈曲型の鏡胴20が配置されている。
(撮像装置の外観構造の説明)
図1は、本発明にかかる撮像装置が好適に適用される小型のデジタルカメラ1の外観を示す図であって、図1(a)はその上面図、(b)は正面図、(c)は背面図をそれぞれ示している。このデジタルカメラ(撮像装置)1は、カメラ本体ボディ10の頂面には電源スイッチ101及びレリーズスイッチ102等が、正面側にはフラッシュ発光部103及び撮影レンズ窓104等が、また背面側にはモード設定スイッチ105などの各種の操作ボタンや液晶モニター(LCD)からなるLCD表示部106等がそれぞれ配置されている。そして本体ボディ10の内部には、各種本体機器のほか、屈曲型の鏡胴20が配置されている。
電源スイッチ101は、カメラ1の電源をON(起動)、OFF(起動停止)するための押下スイッチであり、押下動作によりカメラ電源のON、OFFが順次繰り返される。またモード設定スイッチ105は、静止画を撮影する静止画撮影モードと、動画を撮影する動画撮影モードとの2つのモードを設定するためのものである。
レリーズスイッチ102は、途中まで押し込んだ「半押し状態」の操作と、さらに押し込んだ「全押し状態」の操作とが可能とされた押下スイッチである。例えば前記静止画撮影モードにおいて、レリーズスイッチ102が半押しされると、被写体の静止画を撮影するための準備動作(後述の自動露出制御や自動焦点制御等の準備動作)が実行され、レリーズスイッチ102が全押しされると、撮影動作(後述する撮像センサを露光し、その露光によって得られた画像信号に所定の画像処理を施してメモリカード等に記録する一連の動作)が実行される。また、前記動画撮影モードにおいて、レリーズスイッチ102が全押しされると、所定の動画撮影動作が実行され、再度レリーズスイッチ102が全押しされると、動画撮影動作が終了される。
フラッシュ発光部103は、レリーズスイッチ102が半押しされている状態(静止画撮影モード)において、被写体像が暗い場合に発光して被写体を照明する。撮影レンズ窓104は、被写体の光学像を、本体ボディ10の内部に配置された屈曲型鏡胴20へ取り入れるための開口部である。また表示部106は、内蔵する記録媒体に記録された記録画像を再生表示させたり、撮影待機中や動画撮影モードにおいてビデオ撮影された被写体のスルー画像(ライブビュー画像)を表示させたりするものである。なお、前記モード設定スイッチ105以外に、ズームスイッチ、メニュー選択スイッチ、選択決定スイッチ等のプッシュスイッチ群が備えられている。
屈曲型の鏡胴20は、前記撮影レンズ窓104を通して被写体像を取り入れ、本体ボディ10の内部に配置されている撮像センサ30へ導く撮影レンズ系を構成するものである。この鏡胴20は、ズーミングやフォーカシング駆動時においてもその長さ変動しない、つまり本体ボディ10から外部に突出することのない鏡胴である。この鏡胴20の内部には、光軸に沿って直列的に配置されるズームレンズブロックや固定レンズブロックからなる撮影光学系を構成するレンズ群21(図2参照)と、このレンズ群21の適所に配置される絞り22とが備えられている。さらに前記レンズ群21の適所にはシャッタ23が配置されており、該シャッタ23の開閉動作により撮影光学系の光路が遮光若しくは通光されるようになっている。すなわち、絞り22の開口面積設定度合い及びシャッタ23の開閉動作制御等により、撮像センサ30の露光量が制御されるものである。
(撮像装置の電気的構成の全体的な説明)
図2は、本実施形態に係るデジタルカメラ1による撮像処理ブロック図である。このデジタルカメラ1は、操作部100、上述した屈曲型の鏡胴20、撮像センサ30、信号処理部40、全体制御部50、及び駆動部60などを備えている。なお操作部100は、前記で説明した電源スイッチ101、レリーズスイッチ102及びモード設定スイッチ105などからなる。
図2は、本実施形態に係るデジタルカメラ1による撮像処理ブロック図である。このデジタルカメラ1は、操作部100、上述した屈曲型の鏡胴20、撮像センサ30、信号処理部40、全体制御部50、及び駆動部60などを備えている。なお操作部100は、前記で説明した電源スイッチ101、レリーズスイッチ102及びモード設定スイッチ105などからなる。
撮像センサ30は、鏡胴20内のレンズ群21により結像された被写体光像の光量に応じ、R(赤)、G(緑)、B(青)の各成分の画像信号(撮像センサ30の各画素で受光された画素信号の信号列からなる信号)に光電変換して信号処理部40へ出力するものである。本実施形態においては、この撮像センサ30として、入射光量に対して出力画素信号(光電変換により発生する出力電気信号)が線形的ではなく対数的に変換されて出力される対数変換型固体撮像素子が用いられる。なお当該撮像センサ30は、入射光量が少ない場合は、出力画素信号が線形的に変換されて出力される特性を有しており、その光電変換特性が線形的である領域(線形特性領域=暗時)と対数的である領域(対数特性領域=明時)とを備えている。さらに前記線形特性領域と対数特性領域との切り替り点(変曲点)が、特定の制御信号(後述するダイナミックレンジ制御信号)により任意に制御可能とされている。この撮像センサ30の構成、動作等については後に詳述する。
タイミング生成回路(タイミングジェネレータ)31は、撮像センサ30による撮影動作(露光に基づく電荷蓄積や蓄積電荷の読出し等)を制御するものである。タイミング生成回路31は、全体制御部50からの撮影制御信号に基づいて所定のタイミングパルス(画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号等)を生成して撮像センサ30に出力し、動画撮影モード時(スルー画表示モード時)には、例えば1/30(秒)毎にフレーム画像を取り込み、順次信号処理部40に出力させる。また、静止画撮影モード時の露光中には撮像センサ30の露光動作に連動して電荷を蓄積させ(すなわち、被写体光像を画像信号に光電変換させ)、その蓄積電荷を信号処理部40に出力させる。さらにタイミング生成回路31は、後述のA/D変換器402において用いられるA/D変換用のクロックも生成する。
信号処理部40は、撮像センサ30から送出される画像信号に所定のアナログ信号処理およびデジタル信号処理を施すもので、前記画像信号の信号処理は、該画像信号を構成するそれぞれの画素信号ごとに行われる。この信号処理部40は、アナログ信号処理部401、A/D変換器402、黒基準補正部403、FPN補正部404、評価値検出部405、ホワイトバランス制御部406、色補間部407、3×3色補正部408、階調変換部409、ノイズキャンセル部410及び画像メモリ411を備えている。後記で詳述するが、これら信号処理部40の構成のうち、本実施形態においては階調変換部409にて、上記線形特性領域と対数特性領域とを備える撮像センサ30に対応した階調変換を行わせる点に特徴がある。
アナログ信号処理部401は、撮像センサ30から出力される画像信号(撮像センサ30の各画素で受光されたアナログ信号群)に所定のアナログ信号処理を施すもので、アナログ画像信号に含まれるリセット雑音を低減するCDS回路(相関二重サンプリング回路)と、アナログ画像信号のレベルを補正するAGC回路(オートゲインコントロール回路)とを備えている。なおAGC回路は、適正露出が得られなかった場合等に、後段のA/D変換器402の入力電圧範囲に合うよう、アナログ画像信号を適正な増幅率で増幅して撮影画像のレベル不足を補償するアンプ機能も有している。
A/D変換器402は、アナログ信号処理部401から出力されるアナログ画像信号を、例えば12ビットのデジタル画像信号(画像データ)に変換する役目を果たす。このA/D変換器402は、前記タイミング生成回路31から入力されるA/D変換用のクロックに基づいて、アナログ画像信号をデジタル画像信号に変換する。
黒基準補正部403は、A/D変換器402から入力されるデジタル画像信号の黒レベル(暗黒時の画像信号レベル)を基準の値(例えば、A/D変換後のデジタル信号レベルで0)に補正するために、A/D変換器402から入力される画像信号レベルをSD1とし、また暗黒時の画像信号レベルをSD2とするときに、
SD1−SD2
の演算を行う。なお、かかる黒基準補正は、全体制御部50から入力される撮像センサ30の光電変換特性に対応した撮像ダイナミックレンジ情報に基づいて行われる。これは、本実施形態にかかるデジタルカメラ1においては、撮像センサ30の光電変換特性が制御可能とされており、従ってA/D変換器402から入力されるデジタル画像信号の暗黒時における画像信号レベルが、撮像センサ30の光電変換特性の変化により変動することから、その変動に追従した正確な黒基準補正が行えるようにするためである。
SD1−SD2
の演算を行う。なお、かかる黒基準補正は、全体制御部50から入力される撮像センサ30の光電変換特性に対応した撮像ダイナミックレンジ情報に基づいて行われる。これは、本実施形態にかかるデジタルカメラ1においては、撮像センサ30の光電変換特性が制御可能とされており、従ってA/D変換器402から入力されるデジタル画像信号の暗黒時における画像信号レベルが、撮像センサ30の光電変換特性の変化により変動することから、その変動に追従した正確な黒基準補正が行えるようにするためである。
FPN(Fixed Pattern Noise)補正部404は、黒基準補正部403から入力される画像信号のFPN(固定パターンノイズ)を除去するためのものである。固定パターンノイズとは、撮像センサ30の各画素回路が備えるFETの閾値バラツキ等が要因となって生じる、各画素が発生する画像信号の出力値のバラツキに起因するノイズである。FPN補正部404は、黒基準補正部403から入力される画像信号レベルをSD3とし、また黒基準補正部403から入力される画像信号の固定パターン成分をSD4とするとき、
SD3−SD4
の演算を行う。
SD3−SD4
の演算を行う。
評価値検出部405は、撮像センサ30で実際に撮影された画像信号から、自動露出制御(AE)、自動焦点制御(AF;オートフォーカス)、或いはホワイトバランス制御等を行うに際してのベース値となる評価値、すなわちAE評価値、AF評価値、ホワイトバランス評価値(以降、WB評価値という)等を検出する。例えばAE制御を行う場合、
(1)撮像ターゲットとなる被写体の輝度レベル及び輝度範囲を計測し、
(2)その輝度レベル及び輝度範囲に適合する出力が撮像センサから得られるよう、必要な露出制御量を算出し、
(3)前記算出結果に基づいて露光量等を具体的に調整し、本撮像に臨む、
というステップが一般的に採られるが、この評価値検出部405においては、前記ステップ(1)の役目を担うべく、撮像センサ30で実際に撮影された画像信号から被写体の輝度レベル及び輝度範囲が求められ、これがAE評価値として全体制御部50へ出力され、後段ステップにおけるAE制御動作用に供される。
(1)撮像ターゲットとなる被写体の輝度レベル及び輝度範囲を計測し、
(2)その輝度レベル及び輝度範囲に適合する出力が撮像センサから得られるよう、必要な露出制御量を算出し、
(3)前記算出結果に基づいて露光量等を具体的に調整し、本撮像に臨む、
というステップが一般的に採られるが、この評価値検出部405においては、前記ステップ(1)の役目を担うべく、撮像センサ30で実際に撮影された画像信号から被写体の輝度レベル及び輝度範囲が求められ、これがAE評価値として全体制御部50へ出力され、後段ステップにおけるAE制御動作用に供される。
またAF制御の場合は、例えばフォーカスレンズ(レンズ群21)の光軸方向の駆動と撮像センサ30による撮像動作とを交互に行いながら、その撮像動作により得た画像のコントラストが最大となるフォーカスレンズの位置が求められ(所謂山登り検出方式)、これがAF評価値として全体制御部50へ出力され、後段ステップにおけるAF制御動作の用に供される。さらにホワイトバランス制御は、出力画像の色を被写体の光源色に適したものに補正することを目的とするもので、この場合、前段のFPN補正部404から入力される画像信号に基づいてR、G、B各色の輝度比及び輝度差が評価値検出部405で算出され、これがWB評価値として全体制御部50へ出力されるものである。これら評価値の具体的な取得方法等については、後に詳述する。
ホワイトバランス制御部406は、全体制御部50から与えられる撮像ダイナミックレンジ情報と前記WB評価値とに基づいて、画像信号の色バランスが所定の色バランスになるよう、各色成分R、G、Bの各画素データのレベルを変換する補正を行う。なお本実施形態では、撮像センサ30として線形特性領域と対数特性領域とを備えるものを用いることから、線形特性領域及び対数特性領域ごとにWB評価値を取得し、各々の領域に適したホワイトバランス補正を行うようにすることが望ましい。
色補間部407は、ホワイトバランス制御部406から入力される画像信号の各色成分R、G、Bごとに、フレーム画像の不足する画素位置のデータを補間するものである。すなわち、本実施形態で用いられる対数変換型の撮像センサ30のカラーフィルタ構造は、Gが市松状でR、Bが線順次配列された所謂ベイヤー方式が採用されている関係上、色情報が不足していることから、色補間部407は、実在する複数の画素データを用いて実在しない画素位置の画素データを補間するものである。
具体的には色補間部407は、高帯域まで画素を持つGの色成分のフレーム画像については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、メディアン(中間値)フィルターを用いて、補間すべき画素位置の周辺に実在する画素データのうち、最大値と最小値とを除去した画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。また、R,Bの色成分については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、補間すべき画素位置の周辺に実在する画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。
図3に、撮像センサ30のカラーフィルタ構造の一例を示す。かかるカラーフィルタ構造において、前記色補間による各画素における色成分R、G、Bの画像信号は、例えば以下のようにして生成される。
(イ)アドレス11(B11)の色補間式
R11=(R00+R20+R02+R22)/4
G11=(Gr10+Gb01+Gb21+Gr12)/4
B11=B11
(ロ)アドレス11(Gr12)の色補間式
R12=(R02+R22)/2
G12=Gr12
B12=(B11+B13)/2
(ハ)アドレス21(Gb21)の色補間式
R21=(R20+R22)/2
G21=Gb12
B21=(B11+B31)/2
(ニ)アドレス22(R22)の色補間式
R22=R22
G22=(Gb21+Gr12+Gr32+Gb23)/4
B22=(B11+B31+B13+B33)/4
(イ)アドレス11(B11)の色補間式
R11=(R00+R20+R02+R22)/4
G11=(Gr10+Gb01+Gb21+Gr12)/4
B11=B11
(ロ)アドレス11(Gr12)の色補間式
R12=(R02+R22)/2
G12=Gr12
B12=(B11+B13)/2
(ハ)アドレス21(Gb21)の色補間式
R21=(R20+R22)/2
G21=Gb12
B21=(B11+B31)/2
(ニ)アドレス22(R22)の色補間式
R22=R22
G22=(Gb21+Gr12+Gr32+Gb23)/4
B22=(B11+B31+B13+B33)/4
3×3色補正部408は、色補間部407から入力される色成分R、G、Bの画像信号の彩度を補正(色合いを補正)するものである。3×3色補正部408は、色成分R、G、Bの画像信号のレベル比を変換する3種類の変換係数を有し、撮影シーンに応じた変換係数で前記レベル比を変換して画像データの彩度を補正する。例えば、a1〜c3の合計9個の変換係数を用い、次のように画像信号を線形変換する。
R´=a1*R+a2*G+a3*B
G´=b1*R+b2*G+b3*B
B´=c1*R+c2*G+c3*B
R´=a1*R+a2*G+a3*B
G´=b1*R+b2*G+b3*B
B´=c1*R+c2*G+c3*B
階調変換部409は、3×3色補正部408から入力される色成分R、G、Bの画像信号が適切な出力レベルになるよう、画像信号のレベルを色成分毎に所定のガンマ特性を用いて非線形変換すると共にオフセット調整する。すなわち階調変換部409は、基本動作としてホワイトバランス調整及び色補正がなされた画像信号の階調特性(γカーブやデジタルゲイン)を、LCD表示部106や外部出力されるモニターテレビ等の階調特性に補正する動作を行うものである。階調変換部409においては、全体制御部50から入力されるダイナミックレンジ情報と、評価値検出部405で検出されたAE評価値等に基づいて、画像信号の階調特性を変化させる。
本実施形態における階調変換部409は、前記撮像センサ30の線形特性領域と対数特性領域との変曲点を切り替わり点とする、線形特性領域用の階調変換情報である第1の階調変換特性と、対数特性領域用の階調変換情報である第2の階調変換特性との少なくとも2種類の階調変換情報を記憶する階調変換情報記憶手段と、3×3色補正部408から入力される画像信号を、前記階調変換情報記憶手段に記憶されている階調変換情報に基づいて階調変換する階調変換手段と、前記変曲点が変化された場合に、前記階調変換情報記憶手段に記憶されている階調変換情報を、変化後の変曲点に合わせて前記切り替わり点を変更した新たな階調変換情報に書き換える階調変換情報書換え手段などを備えて構成される。この階調変換部409の具体的構成、及び動作等については後記で詳述する。
ノイズキャンセル部410は、階調変換部409から入力される画像信号のノイズ成分を除去すると共に、エッジ成分のみを抽出・強調することで、画像のシャープネスを良好な状態に補正するものである。ノイズキャンセル部410は、全体制御部50から入力されるダイナミックレンジ情報に基づいて、コアリング係数(画像信号のノイズ成分のみを除去し、エッジ成分を抽出する係数及び強調する係数)を変化させることで、適正な補正を行う。
画像メモリ部411は、ROMやRAM等のメモリからなり、信号処理部40での信号処理を終えた画像データを一時的に保存するもので、例えば1フレーム分の画像データを記憶し得る容量を有している。
メモリカードI/F部412は、信号処理部40で生成されたメモリカード記録用画像データを、メモリカード107に記録させるべく出力するためのインターフェイスである。またメモリカード107は、静止画像や動画像などの画像データを記録して保存しておくためのメモリであって、デジタルカメラ1に対して取り外し自在とされており、外部の記録媒体との画像データ交換を可能とするものである。LCD表示I/F部413は、信号処理部40で生成されたLCD表示用画像データを、例えばNTSC方式若しくはPAL方式の画像信号に変換してLCD表示部106に出力するためのインターフェイスである。
全体制御部50は、CPU(中央演算処理装置)等からなり、デジタルカメラ1の撮影動作を集中制御するものである。すなわち全体制御部50は、前記信号処理部40の各部から送られてくる情報(前述のAE評価値、AF評価値、WB評価値等)と、本デジタルカメラ1の動作モード等に基づき、信号処理部40の各部が必要とするパラメータ等の動作情報を算出して送信することで、各処理部の動作を制御する。このほか全体制御部50は、撮影動作のためのタイミング生成回路31の制御、レンズ群21のズーミングやフォーカシング駆動、並びに絞り22及びシャッタ23の駆動のための駆動部60の制御、画像信号の出力制御などを行う。
図4は、全体制御部50の機能を説明するための機能ブロック図である。全体制御部50は、情報受信部501及び情報送信部502、メモリ部515を具備する演算部510、制御信号発生部520及び入出力部530を備えている。
情報受信部501は、信号処理部40の評価値検出部405にて検出されるAE評価値、AF評価値及びWB評価値を取得し、これらを演算部510が備える各パラメータ算出部へ振り分けて送信する。一方、情報送信部502は、信号処理部40において必要とされる情報(ダイナミックレンジ情報やコアリング係数等)をメモリ部515から適宜取り出し、信号処理部40の各処理部に適時振り分けて送信する。
演算部510は、前記情報受信部501から与えられる評価値に基づいて制御パラメータを算出する動作を為すもので、露光量制御パラメータ算出部511及びダイナミックレンジ制御パラメータ算出部512からなるAE制御パラメータ算出部5110、AF制御パラメータ算出部513、ホワイトバランス制御パラメータ算出部514及びメモリ部515を備えている。
前記メモリ部515はROMやRAM等からなり、撮像センサ30のダイナミックレンジ情報、すなわち光電変換特性の設定値を記憶する光電変換特性情報記憶部516、ノイズキャンセル部410において用いられるコアリング係数の設置位置を記憶するコアリング係数記憶部517、撮像センサ30の線形特性領域と対数特性領域とで得られたデータを相互変換するLUT(Look Up Table)等を記憶するLUT記憶部518等から構成されている。なお、光電変換特性情報記憶部516には、光電変換特性そのもの(後述する図12に示すような光電変換特性曲線)が記憶される構成であってもよい。また、LUT記憶部518は、上記LUTの他に、後述する露光時間や絞りの開口面積の値と露光時間設定値や絞り設定値とのデータ変換を行うLUT、光電変換特性の変曲点の値(出力レベル)と光電変換特性設定値とのデータ変換を行うLUT、飽和画素数の値と変曲点変化量の値とのデータ変換を行うLUT、最大輝度レベルから光電変換設定値を出力するLUT若しくは最大輝度出力レベルの変化量から光電変換設定値の変化量を出力するLUT等、種々のデータ変換用のLUTを記憶している。また、上述した通り、光電変換特性情報記憶部516、コアリング係数記憶部517及びLUT記憶部518に記憶されているデータ値は、適宜情報送信部502から信号処理部40の適所へ送信されるようになっている。
AE制御パラメータ算出部5110は、被写体の輝度に応じた露出制御(AE制御)を行うべく、撮影の際の最適な露光量と撮像センサ30の光電変換特性とに設定するための制御パラメータを算出する。すなわち、AE制御パラメータ算出部5110の露光量制御パラメータ算出部511は、露光時間や絞りを最適化するための制御パラメータを算出するもので、露光量制御パラメータ算出部511は評価値検出部405にて検出されるAE評価値と、前記光電変換特性情報記憶部516に記憶されている前記AE評価値取得時点における撮像センサ30のダイナミックレンジ情報(光電変換特性)とに基づいて、被写体輝度に応じた露光時間設定値や絞り設定値を算出する。
またダイナミックレンジ制御パラメータ算出部512は、被写体輝度に応じ撮像センサ30の光電変換特性を最適化するための制御パラメータを算出するものである。ダイナミックレンジ制御パラメータ算出部512は、例えばダイナミックレンジ設定用の被写体輝度が、当該撮像センサ30における所望の飽和出力レベルになるような光電変換特性設定値を算出する。この算出に際しても、光電変換特性情報記憶部516に記憶されている前記AE評価値取得時点における撮像センサ30のダイナミックレンジ情報が参照される。このAE制御パラメータ算出部5110の動作等については、後に詳述する。
AF制御パラメータ算出部513は、評価値検出部405にて検出されるAF評価値に基づいて、被写体の撮影にあたり最適な焦点距離に設定するための制御パラメータを算出する。この制御パラメータの算出にあたり、参照するAF評価値を、撮像センサ30の対数特性領域及び線形特性領域のそれぞれで取得し、それぞれの特性領域の特徴を活用して粗測距(対数特性領域から得たAF評価値)用、詳測距(線形特性領域から得たAF評価値)用の制御パラメータを算出するよう構成することが好ましい。
ホワイトバランス制御パラメータ算出部514は、評価値検出部405にて検出されるWB評価値に基づいて、画像信号の色バランスが所定の色バランスに設定するための制御パラメータを算出する。この制御パラメータの算出にあたり、同様に参照するWB評価値を、撮像センサ30の対数特性領域及び線形特性領域のそれぞれで取得し、それぞれの特性領域に応じた制御パラメータを算出するよう構成することが好ましい。
制御信号発生部520は、前記演算部510で算出された各種の制御パラメータに応じて、各制御動作要素を駆動させるための制御信号を生成するもので、該制御信号発生部520は、ダイナミックレンジ制御信号発生部521、センサ露光時間制御信号発生部522、シャッタ制御信号発生部523、ズーム/フォーカス制御信号発生部524及び絞り制御信号発生部525を備えて構成されている。
ダイナミックレンジ制御信号発生部521は、前記ダイナミックレンジ制御パラメータ算出部512において算出された撮像センサ30の光電変換特性設定値に応じて、光電変換特性が線形特性領域から対数特性領域に切り替える出力レベルポイント(変曲点)を調整する撮像センサ30の駆動信号を生成し、これをタイミング生成回路31へ送信する。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30のダイナミックレンジを制御するタイミング信号を生成して撮像センサ30を駆動させる。具体的には、後述するように撮像センサ30の光電変換特性は、当該撮像センサ30に対する信号φVPS(φVPSにおける電圧VPHの高さ、あるいは時間ΔTの長さ)を制御することでその変曲点が変動することから、ダイナミックレンジ制御信号発生部521は、光電変換特性設定値に応じて、前記信号φVPSを制御するためのタイミング生成回路31に対する駆動信号を制御することで、撮像センサ30のダイナミックレンジを被写体の輝度に適するよう制御する。
センサ露光時間制御信号発生部522は、撮像センサ30の露光時間(積分時間)を、絞り22やシャッタ23等のメカ操作に依らず、電子回路的な制御動作により制御するための制御信号を発生するものである。センサ露光時間制御信号発生部522は、前記露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、所期の露光時間が確保されるよう撮像センサ30の駆動信号(具体的には、後述するように撮像センサ30に対する信号φVPSが中電位Mとなる時間ΔSを制御する信号)を生成し、これをタイミング生成回路31へ送信する。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30の露光時間を制御するタイミング信号を生成して撮像センサ30を駆動させる。
シャッタ制御信号発生部523は、同様に露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、シャッタ23のシャッタスピードを露光時間に合わせて設定する制御信号を生成する。またズーム/フォーカス制御信号発生部524は、前記AF制御パラメータ算出部513にて算出された最適な焦点距離に基づいて、レンズ群21を駆動させるための制御信号を生成する。さらに絞り制御信号発生部525は、前記露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、絞り22の開口面積を設定する制御信号を生成する。これらシャッタ制御信号発生部523、ズーム/フォーカス制御信号発生部524及び絞り制御信号発生部525にて生成された制御信号は、駆動部60の対応箇所へそれぞれ送信される。
入出力部530は、メモリカードI/F部412及びLCD表示I/F部413と接続され、操作部100からの指示信号等に対応して、撮影画像に対して所定の画像処理を行った後、その撮影画像信号をメモリカード107に記録させたり、LCD表示部106に表示させたり、或いは逆にメモリカード107から画像信号を取り入れたりする出入力作用を為す。
図2に戻って、駆動部60は、前記制御信号発生部520で生成された制御信号に基づいて、実際に当該デジタルカメラ1が具備するメカ駆動部を動作させるもので、シャッタ駆動部61、ズーム/フォーカス駆動部62及び絞り駆動部63を備えている。
シャッタ駆動部61は、前記シャッタ制御信号発生部523から与えられる制御信号に応じて、シャッタ23が所定時間開放されるようシャッタ23を開閉駆動する。ズーム/フォーカス制御部62は、ズーム/フォーカス制御信号発生部524から与えられる制御信号に応じて、レンズ群21のズームレンズブロックまたはフォーカスレンズブロックを動作させるモータ等を動作させ、前記レンズブロックを焦点位置に移動させる。さらに絞り駆動部63は、絞り制御信号発生部525から与えられる制御信号に応じ、絞り22を駆動し、所定の開口量に絞りを設定するものである。
(階調変換部409についての詳細説明)
続いて、本実施形態の特徴部分である階調変換部409について詳細に説明する。図5は、階調変換部409の機能を説明するための機能ブロック図である。階調変換部409は、階調変換演算部4091、階調変換LUT記憶部(階調変換情報記憶手段)4092、LUTパターン記憶部4093、階調変換情報書換え部(階調変換情報書換え手段)4094及び変曲点変化情報受信部4095から構成されている。
続いて、本実施形態の特徴部分である階調変換部409について詳細に説明する。図5は、階調変換部409の機能を説明するための機能ブロック図である。階調変換部409は、階調変換演算部4091、階調変換LUT記憶部(階調変換情報記憶手段)4092、LUTパターン記憶部4093、階調変換情報書換え部(階調変換情報書換え手段)4094及び変曲点変化情報受信部4095から構成されている。
階調変換演算部4091は、階調変換部409へ入力された画像信号(3×3色補正部408から入力される色成分R、G、Bの画像信号)の階調特性を、当該画像信号に基づく画像を表示させるべき表示部(LCD表示部106や外部出力されるモニターテレビ等)が備える階調特性にマッチさせるべく諧調変換するための演算処理を行う。かかる演算処理に際しては、階調変換LUT記憶部4092に記憶されている階調変換LUTが参照される。
階調変換LUT記憶部4092は、ROM又はRAM等からなり、上述の通り階調変換演算処理に供する階調変換LUTが記憶されている。ここでの階調変換LUTは、前記撮像センサの線形特性領域と対数特性領域との変曲点を切り替わり点とする、線形特性領域用の階調変換情報である第1の階調変換特性と、対数特性領域用の階調変換情報である第2の階調変換特性との少なくとも2種類の階調変換特性を有するLUTである。例えば階調変換特性が線形な特性とされている場合は、傾きが異なる2種類の線形テーブルが前記変曲点を境界点として連接された階調変換特性となり、その一方が第1の階調変換特性に、他方が第2の階調変換特性とされることとなる。
上記階調変換LUTは、対数特性領域用の階調変換情報である第2の階調変換特性が、線形特性領域用の階調変換情報である第1の階調変換特性よりも階調変換度合いが高い階調変換特性を有する構成とすることが望ましい。すなわち、対数特性領域にあっては、線形特性領域に比較して階調圧縮して撮像されることから、第2の階調変換特性につき階調変換度合い高く設定することで、対数特性領域における画像信号を階調伸長された態様で出力させることができ、これにより前記階調圧縮の分を復元させることができるようになるからである。
この点につき、階調変換LUTの一例を示すグラフ図である図6に基づいて説明する。線形特性領域用の階調変換情報である第1の階調変換特性は傾きh1を持った線形の階調変換特性であり、一方対数特性領域用の階調変換情報である第2の階調変換特性は、前記傾きh1よりも大きな傾きh2を持った線形の階調変換特性である。そして、第1の階調変換特性から第2の階調変換特性の切り替わり点Pは、撮像センサ30の線形特性領域と対数特性領域との変曲点に相当する出力レベル(画像信号入力レベル)Vthに設定されている。従って、画像信号入力レベルがVth以下の場合は第1の階調変換特性にて諧調変換処理がなされ、一方Vth以上の場合は第2の階調変換特性にて諧調変換処理がなされ、階調変換出力が生成されることとなる。
ここで第1の階調変換特性部分については、傾きh1が比較的小さいことから、特定の輝度範囲に相当する出力レベルΔVa1について考えると、階調変換度合いが比較的低い階調変換出力ΔVa2が生成されることになる。これに対し第2の階調変換特性部分については、傾きh2が比較的大きいことから、同様に特定の輝度範囲に相当する出力レベルΔVb1について考えると、階調変換度合いが比較的高い階調変換出力ΔVb2が生成されることになる。これにより、対数特性領域における画像信号を階調伸長させた形で階調変換出力させることができるものである。
LUTパターン記憶部4093は、ROM又はRAM等からなり、例えば第1の階調変換特性用、及び第2の階調変換特性用として用いられる複数の階調変換LUTパターンが記憶されている。第1及び第2の階調変換特性用として、それぞれ複数種の階調変換LUTパターンを記憶させておくことが望ましく、また後記の第3の階調変換特性用、或いはそれ以外の階調変換特性用の階調変換LUTパターンを記憶させておくことが望ましい。これら階調変換LUTパターンは、図6に示すような傾きの異なる線形なLUTパターンとすることができるが、非線形なLUTパターンとしても良い。
階調変換情報書換え部4094は、前記階調変換LUT記憶部4092に記憶されている階調変換LUTを、撮像センサ30の光電変換特性の変化に伴う変曲点の変動に連動して、変動後の変曲点に応じた新たな階調変換LUTに書き換える。例えば、LUTパターン記憶部4093に図6に示すような傾きh1を有する第1の階調変換特性用の階調変換LUTパターンと、傾きh2を有する第2の階調変換特性用の階調変換LUTパターンが記憶されているとして、階調変換情報書換え部4094は変曲点の変動情報を取得したときに、変動後の変曲点に対応するよう第1の階調変換特性と第2の階調変換特性との切り替わり点Pを変更した新たな階調変換LUTを作成し、階調変換LUT記憶部4092に記憶されている階調変換LUTを、新たに作成された階調変換LUTに書き換える。
変曲点変化情報受信部4095は、例えば全体制御部50の光電変換特性情報記憶部516から光電変換特性の更新情報(変曲点の変化情報)を受け取り、その変化情報を前記階調変換情報書換え部4094へ入力する。階調変換情報書換え部4094は、変曲点変化情報受信部4095からの変化情報の入力があった場合に、上述の階調変換LUT書換え動作を行うよう構成されている。なお、上記光電変換特性情報記憶部516及びLUTパターン記憶部4093等は、全体制御部50のメモリ部515に設けるようにしても良い。
(動作の全体的なフローの説明)
以上の通り構成された本実施形態にかかるデジタルカメラ1の動作につき、先ず全体的なフローを説明する。図8は、本実施形態に係るデジタルカメラ1の全体的な動作の一例を示すフローチャートである。図示する通り、動作を大略的に区分すると、AE評価値、AF評価値、及びWB評価値等の評価値を検出する評価値検出ステップ(ステップS1)と、得られた評価値に基づき各種パラメータを算出する制御パラメータ算出ステップ(ステップS2)と、算出された各種パラメータを該当するデジタルカメラ1各部に設定し、当該パラメータに応じた撮影状態となるようにデジタルカメラ1各部を駆動する制御パラメータを設定する制御パラメータ設定ステップ(ステップS3)と、設定された制御パラメータに応じて階調変換LUTを設定する階調変換LUT設定ステップ(ステップS4)とからなる。
以上の通り構成された本実施形態にかかるデジタルカメラ1の動作につき、先ず全体的なフローを説明する。図8は、本実施形態に係るデジタルカメラ1の全体的な動作の一例を示すフローチャートである。図示する通り、動作を大略的に区分すると、AE評価値、AF評価値、及びWB評価値等の評価値を検出する評価値検出ステップ(ステップS1)と、得られた評価値に基づき各種パラメータを算出する制御パラメータ算出ステップ(ステップS2)と、算出された各種パラメータを該当するデジタルカメラ1各部に設定し、当該パラメータに応じた撮影状態となるようにデジタルカメラ1各部を駆動する制御パラメータを設定する制御パラメータ設定ステップ(ステップS3)と、設定された制御パラメータに応じて階調変換LUTを設定する階調変換LUT設定ステップ(ステップS4)とからなる。
このような動作フローにあって、本実施形態においては、ステップS1で検出されたAE評価値等の各種評価値に基づいて、ステップS2において各種制御のための制御パラメータ算出を行い、しかる後ステップS3で撮像制御パラメータを設定した後、ステッブS4として階調変換部409に当該撮像センサ30の線形特性領域及び対数特性領域に応じた第1及び第2の階調変換特性が設定される点に特徴を有し、特に第1の階調変換特性と第2の階調変換特性との切り替わり点が、AE制御等に基づく光電変換特性の変曲点の変動に連動して変化するよう制御する点に特徴がある。かかる特徴点を適宜強調しつつ、以下、前記各ステップS1〜S4を順次説明する。
前記各ステップS1〜S4においては、具体的には以下の処理が行われる。
先ず、評価値検出ステップS1では、各種の制御のベースとなる評価値情報を取得し、該評価値情報に基づいて評価値を算出する。AE制御の場合は、撮像ターゲットとなる被写体の輝度レベルが計測(検出)され、この計測値からAE評価値が算出されることとなる。前記輝度レベル及び輝度範囲の検出に際しては、撮像センサ30により実際に撮像された撮影画像から求めることが合理的であり、撮像センサ30は静止画及び動画の撮像が可能であることから、
(ステップS1−1)静止画からの検出:撮像センサ30により、評価値検出用の画像を本撮影前の静止画にて取得して輝度レベル及び輝度範囲を計測する。
(ステップS1−2)動画からの計測:撮像センサ30により、評価値検出用の画像を本撮影前の動画にて取得して輝度レベル及び輝度範囲を計測する。
という2通りの輝度情報の取得ステップを例示することができる。しかる後、
(ステップS1−3)評価値の算出:取得した画像の輝度情報に基づいてAE評価値を含む各種評価値を評価値検出部405により算出する。
というステップが行われる。
先ず、評価値検出ステップS1では、各種の制御のベースとなる評価値情報を取得し、該評価値情報に基づいて評価値を算出する。AE制御の場合は、撮像ターゲットとなる被写体の輝度レベルが計測(検出)され、この計測値からAE評価値が算出されることとなる。前記輝度レベル及び輝度範囲の検出に際しては、撮像センサ30により実際に撮像された撮影画像から求めることが合理的であり、撮像センサ30は静止画及び動画の撮像が可能であることから、
(ステップS1−1)静止画からの検出:撮像センサ30により、評価値検出用の画像を本撮影前の静止画にて取得して輝度レベル及び輝度範囲を計測する。
(ステップS1−2)動画からの計測:撮像センサ30により、評価値検出用の画像を本撮影前の動画にて取得して輝度レベル及び輝度範囲を計測する。
という2通りの輝度情報の取得ステップを例示することができる。しかる後、
(ステップS1−3)評価値の算出:取得した画像の輝度情報に基づいてAE評価値を含む各種評価値を評価値検出部405により算出する。
というステップが行われる。
次にステップS2では、評価値に基づき各種パラメータが算出されるが、AE制御の場合は、露光量又はダイナミックレンジがAE制御の要素となることから、これらの制御パラメータが、前記AE評価値に基づいて算出される。すなわちステップS2としては、
(ステップS2−1)露光量制御パラメータの算出:全体制御部50により、AE評価値に基づいて露光量制御パラメータを算出する。
(ステップS2−2)ダイナミックレンジ制御パラメータの算出:全体制御部50により、AE評価値に基づいてダイナミックレンジ制御パラメータを算出する。
という2通りのパラメータ算出ステップを例示することができる。
(ステップS2−1)露光量制御パラメータの算出:全体制御部50により、AE評価値に基づいて露光量制御パラメータを算出する。
(ステップS2−2)ダイナミックレンジ制御パラメータの算出:全体制御部50により、AE評価値に基づいてダイナミックレンジ制御パラメータを算出する。
という2通りのパラメータ算出ステップを例示することができる。
そしてステップS3では、デジタルカメラ1各部を駆動する制御パラメータの設定が為される。AE制御の場合は、前記(ステップ2−1)又は(ステップ2−2)に基づく制御パラメータの設定が行われる、すなわちステップS3としては、
(ステップS3−1)露光量制御パラメータの設定:算出された露光量制御パラメータに基づいてメモリ部515や制御信号発生部520等に当該パラメータを設定し、タイミング生成回路31や駆動部60を動作させる。
(ステップS3−2)ダイナミックレンジ制御パラメータの設定:算出されたダイナミックレンジ制御パラメータに基づいて、メモリ部515や制御信号発生部520等に当該パラメータを設定し、タイミング生成回路31を動作させる。
という2通りのパラメータ設定ステップが併合的に、或いは独立的に行われる。
(ステップS3−1)露光量制御パラメータの設定:算出された露光量制御パラメータに基づいてメモリ部515や制御信号発生部520等に当該パラメータを設定し、タイミング生成回路31や駆動部60を動作させる。
(ステップS3−2)ダイナミックレンジ制御パラメータの設定:算出されたダイナミックレンジ制御パラメータに基づいて、メモリ部515や制御信号発生部520等に当該パラメータを設定し、タイミング生成回路31を動作させる。
という2通りのパラメータ設定ステップが併合的に、或いは独立的に行われる。
最後に本実施形態においては、上述の通り、設定された制御パラメータに応じて階調変換LUTを設定すべく、
(ステップS4)階調変換LUT設定ステップ
が行われるものである。
(ステップS4)階調変換LUT設定ステップ
が行われるものである。
(本実施形態で用いる撮像センサの基本的特性について)
以下、上述した各ステップにつき順次詳述するが、本実施形態においては、その光電変換特性として入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサ30を用いることが前提とされている関係上、先ず本実施形態で用いられる撮像センサ30の基本的特性について、その具体的な一例を詳述する。
以下、上述した各ステップにつき順次詳述するが、本実施形態においては、その光電変換特性として入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサ30を用いることが前提とされている関係上、先ず本実施形態で用いられる撮像センサ30の基本的特性について、その具体的な一例を詳述する。
図9は、撮像センサ30の一例である二次元のMOS型固体撮像装置の概略構成図である。同図において、G11〜Gmnは、行列(マトリクス)配列された画素を示している。この画素G11〜Gmnからなる画素部の外周縁部近傍には、垂直走査回路301と水平走査回路302とが配設されている。垂直走査回路301は、行のライン(信号線)304−1、304−2、・・・304−n(これらを纏めて行ライン304という)を順次走査する。水平走査回路302は、各画素から出力信号線306−1、306−2、・・・306−m(これらを纏めて出力信号線306という)に導出された光電変換信号を画素毎に水平方向に順次読み出す。なお、各画素は電源ライン305により電力供給がなされている。各画素には、前記各ラインや出力信号線だけでなく、他のライン(例えばクロックライン)も接続されているが、図9では図示を省略している。
出力信号線306−1、306−2、・・・306−mには、それぞれ、後述のトランジスタT5と対になって増幅回路を構成する定電流源307−1、307−2、・・・307−m(これらを纏めて定電流源307という)が設けられている。ただし、この増幅回路として、定電流源307に代えて抵抗やトランジスタ(MOSトランジスタ)を設けてもよい。この出力信号線306を介して出力される各画素の撮像時の画像データ及びリセット時の補正データが、順次、選択回路(サンプルホールド回路)308−1、308−2、・・・308−m(これらを纏めて選択回路308という)に出力される。この選択回路308に対して、行毎に画像データ及び補正データが出力されてサンプルホールドされる。サンプルホールドされた画像データ及び補正データは、列毎に、補正回路309に出力され、補正回路309において、感度バラツキによるノイズ成分が除去されるように、補正データに基づいて画像データの補正が行われる。そして、補正回路309から各画素の感度バラツキが補正された画像データが、各画素毎にシリアルに出力される。
図10は、図9に示す各画素G11〜Gmnの回路構成例を示している。同図に示すように、画素は、フォトダイオードPD、MOSFET(Metal Oxide Semiconductor Field Effect Transistor)としてのトランジスタT1〜T6、及び積分用のコンデンサとしてのキャパシタCから構成されている。トランジスタT1〜T6は、ここではPチャンネルMOSFETが採用されている。φVD、φV、φVPS、φRST、φS及びRSBは、各トランジスタやキャパシタCに対する信号(電圧)を示し、GNDは接地を示している。
フォトダイオードPDは、感光部(光電変換部)であり、被写体からの入射光量に応じた電気信号(光電流IPD)を出力する。トランジスタT5は、図9に示す定電流源307と対になってソースフォロワ増幅用の増幅回路(ソースフォロワアンプ)を構成するものであり、後述する電圧VOUTに対する増幅(電流増幅)を行う。トランジスタT6は、ゲートに印加する電圧に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタである。すなわち、トランジスタT6のソースは、図9に示す出力信号線306に接続されており、オンした場合、トランジスタT5で増幅された電流を出力電流として出力信号線306へ導出する。
トランジスタT2は、同トランジスタのゲートに、光電流IPDに対して線形変換又は対数変換した電圧を発生させる。ところで、MOSFETでは、ゲート電圧が閾値以下の時に、サブスレッショルド電流と呼ばれる微小電流が流れるが、トランジスタT2はこのサブスレッショルド特性を利用して前記線形変換又は対数変換を行う。
具体的には、撮像する被写体の輝度が低い(被写体が暗い)場合、すなわち、フォトダイオードPDに入射される入射光量が少ない場合には、トランジスタT2のゲート電位が同トランジスタのソース電位より高くなっており、トランジスタT2が所謂カットオフ状態でありトランジスタT2にサブスレッショルド電流が流れず(トランジスタT2がサブスレッショルド領域で動作せず)、フォトダイオードPDで発生する光電流がフォトダイオードPDの寄生容量に流れて電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときT1はオンされているので、上記の寄生容量に蓄積された電荷の量に応じた電圧が、電圧VGとしてトランジスタT2、T3のゲートに発生する。この電圧VGにより、トランジスタT3に電流が流れ、この電圧VGに比例した量の電荷がキャパシタCに蓄積される(トランジスタT3とキャパシタCとで積分回路を構成している)。そして、トランジスタT3とキャパシタCとの接続ノードa、すなわち出力VOUTには、光電流IPDの積分値に対して線形的に比例した電圧が現れる。このときトランジスタT4はオフ状態である。そして、トランジスタT6がオンされると、キャパシタCに蓄積された電荷がトランジスタT5を介して出力電流として出力信号線306に導出される。この出力電流は、光電流IPDの積分値を線形的に変換した値となっている。これが当該撮像センサ30の、線形特性領域における動作である。
一方、撮像する被写体の輝度が高く(被写体が明るく)、フォトダイオードPDに入射される入射光量が多い場合には、トランジスタT2のゲート電位が同トランジスタのソース電位以下となり、トランジスタT2にサブスレッショルド電流が流れ(トランジスタT2がサブスレッショルド領域で動作し)、光電流IPDを自然対数的に変換した値の電圧VGがトランジスタT2、T3のゲートに発生する。そして、この電圧VGにより、トランジスタT3に電流が流れ、キャパシタCに、光電流IPDの積分値を自然対数的に変換した値と同等の電荷が蓄積される。これにより、キャパシタCとトランジスタT3との接続ノードa(出力VOUT)には、光電流IPDの積分値を自然対数的に変換した値に比例した電圧が生じる。このときトランジスタT4はオフ状態である。そして、トランジスタT6がオンされると、キャパシタCに蓄積された電荷がトランジスタT5を介して出力電流として出力信号線306に導出される。この出力電流は、光電流IPDの積分値を自然対数的に変換した値となっている。これが当該撮像センサ30の、対数特性領域における動作である。以上のように、各画素によって、入射光量(被写体輝度)に応じて線形的又は自然対数的に比例した電圧が出力される。
トランジスタT1は、リセット時のノイズデータ(トランジスタT2の製造バラツキに起因して発生するノイズ信号)を取り出す際に用いるスイッチである。トランジスタT1は、リセット時以外にはオン状態とされており、トランジスタT2(のドレイン)及びフォトダイオードPD間に光電流IPDが流れるようになっている。リセット時には、オフ状態となりフォトダイオードPDの光電流IPDが遮断され、前記のバラツキ分だけが取り出される。この取り出されたバラツキ分(ノイズ信号)は、後述の映像信号から減算される。
トランジスタT4は、該トランジスタT4のゲートに印加される電圧に応じてオン、オフされるスイッチとして動作する、キャパシタCをリセットするためのトランジスタである。トランジスタT4がオンされるとリセット電圧(前記信号RSBの電圧)が印加され、キャパシタCに蓄積されていた電荷(電荷量)が元の状態、すなわち積分開始前の状態に戻される。
図11は、撮像センサ30(画素)の撮像動作に関するタイミングチャートの一例である。ここではPチャンネルMOSFETの極性上、以下のようにHi(ハイ)でオフ、Low(ロー)でオンとなる。先ず、信号φVが符号311に示す位置でLowとなり、トランジスタT6がオンされ、映像信号が読み出される、すなわちキャパシタCに蓄積されている電荷が出力電流(映像信号)として出力信号線306に導出される。次に信号φSが符号312に示す位置でHiとなり、トランジスタT1がオフされてフォトダイオードPDが切り離される。次に信号φVPSが符号313に示す位置でHiとなり、トランジスタT2のリセットが行われる。また、トランジスタT2がリセットされるのと同時に、信号φRSTが符号314に示す位置でLowとなり、トランジスタT4がオンされ、キャパシタC(接続ノードa)に信号RSBによるリセット電圧が印加されて(接続ノードaの電位がRSBの電位(VRSB)となり)、キャパシタCの(電荷の)リセットが行われる。このようにトランジスタT2及びキャパシタCがリセットされた後、符号315に示す位置で信号φVが再度LowとなってトランジスタT6がオンされ、出力信号線306にノイズ信号が導出される。
次に、信号φSが符号316に示す位置でLowになり(トランジスタT1がオンされ)、フォトダイオードPDの切り離しが解除される。そして、信号φVPSが符号318に示す位置で中電位Mとなって、残像低減のためにフォトダイオードPDの寄生容量のリセットを行う。また、次フレームの積分開始電圧を一定にするために、信号φRSTが符号317に示す位置で再度LowとなってトランジスタT4がオンされ、キャパシタCのリセットが再度行われる。
その後、信号φVPSが符号319に示す位置でLowになり、フォトダイオードPDの寄生容量のリセットが終了する。併せて、信号φRSTもHiとなりキャパシタCのリセット動作も終了される。このときの時刻t1からキャパシタCの積分が開始され、信号φVの符号311に示す位置、すなわち次フレームにおける映像信号の読み出しが開始される時刻t2までの間、当該積分が継続される。この時刻t1、t2間の時間がキャパシタCの積分時間、すなわち撮像における露光時間となる。この露光時間は、前記中電位Mとなる信号φVPSを与える時間ΔS(長さ)を制御することで制御される。この時間ΔSは、タイミング生成回路31を介したセンサ露光時間制御信号発生部522によって制御される。
信号φVDは、前記増幅回路(ソースフォロワアンプ)の動作範囲に合わせ込むべく、あるいは映像信号やノイズ信号に発生するオフセットの調整を行うべく電位操作を行うものである。信号φVDのVh、Vm及びVlは、それぞれ高電位、中電位及び低電位を示している。
撮像センサ30は、上述のように被写体の輝度に応じて線形変換又は対数変換した出力信号を得ることが可能であり、図12に示すような光電変換特性320を有している。同図に示すように、光電変換特性320は、変曲点321を境にして線形特性領域と対数特性領域とに分かれている。この変曲点321は、線形特性領域から対数特性領域へ切り替わる点であり、この変曲点321のセンサ出力の値をVthで示している。一般的に、線形特性領域では、幅広い輝度範囲の被写体の撮像は不可能であるものの(ダイナミックレンジが狭い)、画像全体の階調性を高くすることができ(高いコントラストを得ることができ)、暗い被写体(例えば曇天時や日陰での被写体)であっても階調性豊かな高品位な画像を得ることができる。一方、対数特性領域では、高輝度での階調性は乏しくなるが、幅広い輝度範囲の被写体の撮像が可能であり(ダイナミックレンジが広い)、明るい被写体(例えば直射日光が照射されていたり、直射日光が背後に存在したりする被写体)であっても、暗い部分も含め、奥行きのある高品位な画像を得ることができる。
ところで、この光電変換特性320(変曲点321)は、トランジスタT2のソースに入力されている信号φVPSの、Hi及びLowの電圧の差を変化させることにより変化(移動)させることができる。すなわち、当該Hi時の電圧をVPHとし、Low時の電圧をVPLとすると、電圧の差ΔVPS(=VPH−VPL)(図11参照)を変化させることにより、図13に示すように、光電変換特性320(変曲点321)から、光電変換特性322(変曲点324)や光電変換特性323(変曲点325)へ任意に変化させることができる。このように光電変換特性が変化することにより、線形特性領域と対数特性領域との比率が変化し、光電変換特性322に示すように線形特性領域の割合が大きな光電変換特性、あるいは光電変換特性323に示すように対数特性領域の割合が大きな光電変換特性を得ることができる。この場合、光電変換特性の全てが線形特性領域又は対数特性領域となるように変化させてもよい。
本実施形態では、電圧VPHを変化させることによりΔVPSを変化させ、撮像センサ30の光電変換特性を変化させている。図13では、VPHが高くなるほど(ΔVPSが大きくなるほど)、線形特性領域の割合が増えて光電変換特性322側へ変化し、VPHが低くなるほど(ΔVPSが小さくなるほど)、対数特性領域の割合が増えて光電変換特性323側へ変化する。この電圧VPHは、タイミング生成回路31を介したダイナミックレンジ制御信号発生部521によって制御される。
なお、光電変換特性を上述のように変化させるために、電圧VPHとなる信号φVPSを与える時間ΔTを変化させてもよい。この場合、時間ΔTを長いほど線形特性領域の割合が大きくなり、短いほど対数特性領域の割合が大きくなるように光電変換特性が変化する。図13では、前記時間ΔTが長い場合が光電変換特性322に、時間ΔTが短い場合が光電変換特性323に相当する。
(評価値検出ステップS1)
続いて、信号処理部40の評価値検出部405におけるAE評価値等の評価値の具体的な取得方法について説明する。
(ステップS1−1)静止画からの評価値検出例
図14は、上述した撮像センサ30が実際に撮像した静止画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。すなわち、本実施形態にかかるデジタルカメラ1で静止画を撮影(本撮影)する場合において、その本撮影の前にAE評価値を取得するための静止画を撮影(予備撮影)し、該予備撮影画像に基づいてAE評価値を算出するフローを示している。この評価値検出手法は、デジタル一眼レフカメラ等の、撮影準備段階において被写体光像が光学ファインダに入射され撮像センサ30には入光しないタイプの撮像装置に好適な手法である。
続いて、信号処理部40の評価値検出部405におけるAE評価値等の評価値の具体的な取得方法について説明する。
(ステップS1−1)静止画からの評価値検出例
図14は、上述した撮像センサ30が実際に撮像した静止画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。すなわち、本実施形態にかかるデジタルカメラ1で静止画を撮影(本撮影)する場合において、その本撮影の前にAE評価値を取得するための静止画を撮影(予備撮影)し、該予備撮影画像に基づいてAE評価値を算出するフローを示している。この評価値検出手法は、デジタル一眼レフカメラ等の、撮影準備段階において被写体光像が光学ファインダに入射され撮像センサ30には入光しないタイプの撮像装置に好適な手法である。
先ず、本デジタルカメラ1の電源スイッチ101が押下され電源ONとされている状態において、撮影開始の操作が為されたかが確認され(ステップS111)、レリーズスイッチ102が操作(例えば半押し操作)されると(ステップS111でYes)、予備撮影準備の動作が開始される(ステップS112)。
ステップS112では、AE評価値を算出するために予備撮影を行うに当り、当該予備撮影のためのダイナミックレンジ制御が行われる。ここでのダイナミックレンジ制御は、被写体の輝度を広い範囲で感知できるよう、撮像センサ30が最大のダイナミックレンジを備えるように制御される。つまり、デジタル一眼レフカメラ等においては、予備撮影のチャンスは本撮影の前の1回しかないことから、いかなる被写体であってもその輝度を確実に検出できるよう、広いダイナミックレンジに設定される。
このため、撮像センサ30が全領域において対数変換出力動作をなすよう、撮像センサ30の動作状態が制御される。具体的には、レリーズスイッチ102が半押しされると、全体制御部50から予備撮影モードへの移行指示が各部に出され、これを受けてダイナミックレンジ制御信号発生部521が、例えば図10に示すトランジスタT2のソースに入力されている信号φVPSの、Hi及びLowの電圧の差を変化させる(この場合、前述のΔVPSを小さくする。図11参照)信号を発生し、これにより撮像センサ30の対数領域の割合が増加されるよう制御される。なお、広いダイナミックレンジを確保するという観点からは全領域を対数領域とすることが望ましいが、必ずしも全領域を対数領域に変換せずとも良く、ある程度線形領域が残存していても良い。
続いて、予備撮影のための露出制御が行われ、予備撮影が行われる(ステップS113)。具体的には、例えばセンサ露光時間制御信号発生部522が、前記信号φVPSが中電位Mとなる時間ΔSの長さを所定の露光時間に合わせて設定する駆動信号を生成し、これをタイミング生成回路31に送ることで撮像センサ30の予備撮影用露出制御(露光量制御)が行われる。この他、シャッタ制御信号発生部523によって生成された制御信号に基づくシャッタ駆動部61によるシャッタ23のシャッタスピードの調整、及び絞り制御信号発生部525によって生成された制御信号に基づく絞り制御部63により絞り22の調整によっても露出制御が行われる。このような露出制御が為された上で、静止画の予備撮影が行われる。そして、撮影された予備撮影画像に基づいて、評価値検出部405によりAE評価値が算出される(ステップS114)。このAE評価値算出ステップについては、後記で詳述する。AE評価値が算出されると予備撮影は終了し(ステップS115)、当該AE評価値に基づく露出制御が行われた上で本撮影が開始されることとなる(ステップS116)。なお、以上はAE評価値を取得する場合について説明したが、AF評価値やホワイトバランス評価値についても同様にして取得することができる。
(ステップS1−2)動画からの評価値検出例
図15は、撮像センサ30が継続的に撮像している動画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。すなわち、本デジタルカメラ1が撮影待機中にある場合や、動画撮影モードにある場合、或いは本実施形態の撮像装置をデジタルムービィに適用した場合において、撮像センサ30が撮像している全てのフレーム画像を用いて、AE評価値を算出するフローを示している。
図15は、撮像センサ30が継続的に撮像している動画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。すなわち、本デジタルカメラ1が撮影待機中にある場合や、動画撮影モードにある場合、或いは本実施形態の撮像装置をデジタルムービィに適用した場合において、撮像センサ30が撮像している全てのフレーム画像を用いて、AE評価値を算出するフローを示している。
先ず、撮影開始の操作が為されたかが確認され(ステップS121)、例えばモード設定スイッチ105が操作されて動画撮影モードに移行され撮影開始が確認されると(ステップS121でYes)、動画の撮影が開始される(ステップS122)。この撮影開始時における撮像ダイナミックレンジ、露光時間、及び絞り等の各制御値は、初期設定値とされる。
続いて、ステップS122において撮像された画像に基づいて、評価値検出部405によりAE評価値が算出される(ステップS123)。そして検出されたAE評価値に基づいて、ダイナミックレンジ制御信号発生部521により信号φVPSの設定を変化させてダイナミックレンジを制御し、またシャッタ駆動信号発生部523及び絞り制御信号発生部525にて生成される制御信号により絞りを制御する等して、所定の撮像AE制御が行われる(ステップS124)。
そして撮影が終了したかが確認され(ステップS125)、撮影の終了指令が無い場合は(ステップS125でNo)、前記ステップS123に戻り同様なAE評価値算出、及びステップS124の撮像AE制御が繰り返されるものである。すなわち、動画撮影が行われているときに、その撮影画像の全てがAE評価値検出のための評価画像として活用され、得られたAE評価値に基づいて次の撮影のための撮像AE制御が行われるというサイクルが繰り返されるものである。なお、撮影画像の全てを評価画像とせず、撮影画像の一部(例えば撮影画像の数フレームに1枚の割合)を評価画像とし、該評価画像からAE評価値を取得するようにしても良い。
(ステップS1−3)評価値の算出
次に、上記のフローにおける評価値算出のステップ(上記ステップS113、S123)について詳述する。図16は、評価値検出部405のブロック図である。評価値検出部405は、分割測光部4051、ヒストグラム算出部4052及び飽和判別部4055を備えている。
次に、上記のフローにおける評価値算出のステップ(上記ステップS113、S123)について詳述する。図16は、評価値検出部405のブロック図である。評価値検出部405は、分割測光部4051、ヒストグラム算出部4052及び飽和判別部4055を備えている。
分割測光部4051は、被写体に対する分割測光(マルチパターン測光)方式による測光を行うものである。すなわち、分割測光部4051は、撮像センサ30による撮像によって得られた撮影画像を所定数の領域(及び区画)に分割し、当該撮影画像(各領域や区画)における輝度を画像信号(画像データ)から検出するものである。図17は、分割測光における撮像領域(測光範囲)の分割の状態を示す図である。符号330は、撮像センサ30による撮像によって得られた撮像領域(撮像領域330)であり、この撮像領域330において被写体が撮影(撮像)される。この撮像領域330には撮像センサ30を構成する撮像素子に対応した多数の画素情報、すなわち被写体の輝度情報が含まれている。撮像領域330は、例えば撮像領域330の中央部である中央領域と、この中央領域の周辺部である周辺領域とに区分されており、さらに中央領域及び周辺領域はそれぞれ所定数の検出ブロック(検出区画)に分割されている。中央領域は、例えばA、B、C、・・・Z、AA、AB、・・・AJブロック(A〜AJブロック)といった36個の検出ブロックに分割されており、周辺領域は、例えば第1〜第16ブロックといった16個の検出ブロックに分割されている。本実施形態では、この中央領域に撮像されている被写体を主被写体とし(以降、中央領域のことを主被写体領域331という)、周辺領域に撮像されている被写体を周辺被写体と称する(以降、周辺領域のことを周辺被写体領域332という)。なお、主被写体領域331の中央部におけるO、P、U及びVブロックから形成される領域は、フォーカス制御のためのAF評価値の検出が行われるAF領域(AF領域333)となっている。また、主被写体領域331における(撮影画像の)輝度を主被写体輝度、周辺被写体領域における輝度を周辺被写体輝度という。
ヒストグラム算出部4052は、各A〜AJブロック毎の主被写体輝度ヒストグラム(分布)を算出すると共に、このA〜AJブロック毎の主被写体輝度ヒストグラムを用いて、図18(a)に示すような主被写体領域331全体における主被写体全体輝度ヒストグラムを算出する。また、各第1〜第16ブロック毎の周辺被写体輝度ヒストグラムを算出すると共に、この第1〜第16ブロック毎の主被写体輝度ヒストグラムを用いて、図18(b)に示すような周辺被写体領域332全体における周辺被写体全体輝度ヒストグラムを算出する。
また、ヒストグラム算出部4052は、前記算出した主被写体全体輝度ヒストグラム及び周辺被写体全体輝度ヒストグラムを用いて、主被写体全体の輝度範囲及び周辺被写体全体の輝度範囲を算出する。この算出の際、所定の閾値を用いて足切りを行う。すなわち、主被写体においては、図18(a)に示すように閾値D1にて足切りを行い、D1以上の度数を有する輝度の最小値L1〜最大値L8の範囲を主被写体全体輝度範囲とする。同様に、周辺被写体においては、図18(b)に示すように閾値D2にて足切りを行い、D2以上の度数を有する輝度の最小値L12〜最大値L19の範囲を主被写体全体輝度範囲とする。この閾値による「足切り」は、ノイズ等による誤差を低減するために行われる。なお、図18の各輝度ヒストグラムの輝度(画像(輝度)データ)は、ここでは説明の便宜上、L1〜L19などとしているが、実際には、例えば8ビットでの画像データを扱う場合には、256段階(階調)で表し、例えばL1〜L256となる。
ヒストグラム算出部4052は、平均輝度算出部4053及び最大/最小輝度算出部4054を備えている。平均輝度算出部4053は、各A〜AJブロック毎の主被写体の平均輝度、及び各第1〜第16ブロック毎の周辺被写体の平均輝度を算出する。この平均輝度は、R、G、Bの各色に対して算出される。当該平均輝度の算出においては、各A〜AJブロック及び各第1〜第16ブロック毎にそれぞれ主被写体輝度ヒストグラム及び周辺被写体輝度ヒストグラムを算出し、前記と同様に所定の閾値を設定して「足切り」を行い、この足切り後の各輝度値を平均することにより各平均輝度を得る。
最大/最小輝度算出部4054は、各A〜AJブロック毎の主被写体の最大/最小輝度、及び各第1〜第16ブロック毎の周辺被写体の最大/最小輝度を算出する。この場合も同様に、各ブロック毎に算出した主被写体輝度ヒストグラム又は周辺被写体輝度ヒストグラムに対して所定の閾値での「足切り」を行い、足切り後の各輝度値(輝度範囲)から最大又は最小輝度を算出する。
なお、ヒストグラム算出部4052は、後述の飽和判別部4055による飽和判別に用いるべく、主被写体全体輝度ヒストグラム及び周辺被写体全体輝度ヒストグラムから、さらにこれらを合わせた全領域(撮像領域330)での全領域輝度ヒストグラムを算出する。飽和判別部4055は、前記ヒストグラム算出部4052によって算出された全領域輝度ヒストグラムに基づいて、AE(AF、WB)評価値検出時に撮像センサ30の出力が飽和しているか否かを判別するものである。
図19は、飽和時の全領域輝度ヒストグラムの一例を示している。同図中におけるPmaxは、撮像センサ30が飽和出力レベルVmax(撮像センサ30の出力レベルの物理的な最大値)となっているときのセンサ入射輝度(飽和輝度)を示し、Pmaxthは、飽和/非飽和の判別を行うべく所定の閾値として設定されたセンサ出力Vmaxthに対するセンサ入射輝度(輝度閾値)を示している。また、Dthは、同様に飽和/非飽和の判別を行うべく予め閾値として設定された度数(度数閾値)を示している。
飽和判別部4055は、全領域輝度ヒストグラム341において、輝度閾値Pmaxth以上及び度数閾値Dth以上となる同図中の符号342に示す斜線領域(飽和領域342という)における総度数、すなわち総画素数(飽和領域での総画素数を飽和画素数という)を算出し、該飽和画素数が所定数以上である場合に、撮像センサ30の出力レベルが飽和していると判別する(所定数より少ない場合は飽和していないと判別する)。なお、飽和/非飽和の判別は、飽和輝度Pmaxの度数(画素数)のみを用いて行ってもよい。
評価値検出部405は、上述のように、分割測光を行い、主被写体及び周辺被写体領域の各検出ブロックにおける輝度情報(画像データ)から、平均輝度、最大/最小輝度、輝度ヒストグラムあるいは輝度範囲等の情報をAE(AF、WB)評価値として検出する。この評価値データは、情報受信部501を介して演算部510の各種評価値に対応するパラメータ算出部、例えばAE評価値であればAE制御パラメータ算出部5110に、AF評価値であればAF制御パラメータ算出部513に、WB評価値であればWB制御パラメータ算出部514に出力され、当該各算出部においてこの評価値に基づき各種制御パラメータが算出される。
(AE制御パラメータ算出ステップS2)
続いて、撮像センサ30の光電変換特性に基づいた露光量制御及びダイナミックレンジ制御によるAE制御について以下に詳述する。図20は、AE制御を行う場合において、撮像センサ30の光電変換特性が変化する様子を示すグラフ図であり、(a)は、露光量制御を行う場合の変化を示し、(b)は、ダイナミックレンジ制御を行う場合の変化を示す図である。図20(a)、(b)は、横軸がセンサ入射輝度、縦軸がセンサ出力であり、横軸は対数座標(センサ入射輝度の対数値)となっている。ただし、センサ入射輝度とは、撮像センサ30に入射された被写体の輝度を示しており、以降、単に輝度という。
続いて、撮像センサ30の光電変換特性に基づいた露光量制御及びダイナミックレンジ制御によるAE制御について以下に詳述する。図20は、AE制御を行う場合において、撮像センサ30の光電変換特性が変化する様子を示すグラフ図であり、(a)は、露光量制御を行う場合の変化を示し、(b)は、ダイナミックレンジ制御を行う場合の変化を示す図である。図20(a)、(b)は、横軸がセンサ入射輝度、縦軸がセンサ出力であり、横軸は対数座標(センサ入射輝度の対数値)となっている。ただし、センサ入射輝度とは、撮像センサ30に入射された被写体の輝度を示しており、以降、単に輝度という。
このAE制御は、光電変換特性に基づく露光量の制御(露光量制御)、及び光電変換特性に基づくダイナミックレンジの制御(ダイナミックレンジ制御)によって行うことができる。具体的には、以下(A)、(B)の各制御に基づいてAE制御が行われる。
(A)シャッタ23及び/又は撮像センサ30における露光時間、すなわちシャッタ23の開放時間及び/又はは撮像センサ30の積分時間、及び/又は絞り23の開口面積の制御に基づく露光量制御。
(B)撮像センサ30の光電変換特性の制御(具体的には、光電変換特性の変曲点位置の制御;図24参照)に基づくダイナミックレンジ制御。
(A)シャッタ23及び/又は撮像センサ30における露光時間、すなわちシャッタ23の開放時間及び/又はは撮像センサ30の積分時間、及び/又は絞り23の開口面積の制御に基づく露光量制御。
(B)撮像センサ30の光電変換特性の制御(具体的には、光電変換特性の変曲点位置の制御;図24参照)に基づくダイナミックレンジ制御。
(ステップS2−1)露光量制御パラメータの算出
先ず(A)の場合の露光量制御について図20(a)を用いて説明する。光電変換特性601は、AE評価値取得時点において光電変換特性情報記憶部516に記憶されている撮像センサ30の光電変換特性である。光電変換特性601は変曲点603(このときのセンサ出力はVth)を境として線形特性領域と対数特性領域とに分かれている。この光電変換特性601が、露光量設定用の所定の輝度(露光量設定用輝度)に対して所定のセンサ出力が得られる光電変換特性602へ変化する露光量を得るための露光量制御パラメータ(露光量設定値)、すなわち前記露光時間を制御するための露光時間設定値及び絞りの開口面積を制御するための絞り設定値が、露光量制御パラメータ算出部511によって算出される。つまり、AE評価値に基づく露出設定用の被写体輝度と、前記光電変換特性情報記憶部516に記憶されている光電変換特性601とに基づいて露光量制御パラメータが算出される。
先ず(A)の場合の露光量制御について図20(a)を用いて説明する。光電変換特性601は、AE評価値取得時点において光電変換特性情報記憶部516に記憶されている撮像センサ30の光電変換特性である。光電変換特性601は変曲点603(このときのセンサ出力はVth)を境として線形特性領域と対数特性領域とに分かれている。この光電変換特性601が、露光量設定用の所定の輝度(露光量設定用輝度)に対して所定のセンサ出力が得られる光電変換特性602へ変化する露光量を得るための露光量制御パラメータ(露光量設定値)、すなわち前記露光時間を制御するための露光時間設定値及び絞りの開口面積を制御するための絞り設定値が、露光量制御パラメータ算出部511によって算出される。つまり、AE評価値に基づく露出設定用の被写体輝度と、前記光電変換特性情報記憶部516に記憶されている光電変換特性601とに基づいて露光量制御パラメータが算出される。
ここでは、光電変換特性601の線形特性領域における所定の輝度Lt1(前記露光量設定用輝度に相当)に対するセンサ出力の値(対数特性領域の点605でのセンサ出力)が、Vtarget(線形特性領域の点606でのセンサ出力)となるような光電変換特性602を算出する。換言すれば、光電変換特性601が、点606を通る光電変換特性602となるように符合608に示す矢印方向(矢印608方向)に向けて変化(移動)させる(このとき、変曲点603は変曲点604へ平行移動され、センサ出力Vthの値は変化しない)ことにより、グラフ図的に表現すると光電変換特性601の状況下にあっては対数特性領域において交差している輝度Lt1のセンサ出力(点605)が、線形特性領域において交差されるよう(その交差点が点606)、新たな光電変換特性602が算出されるものである。なお、Vtargetとは、センサ出力の或る目標となるターゲット出力であり、予め設定された値である。このVtargetは露光量制御パラメータ算出部511等に記憶されている。
この場合、輝度Lt1におけるセンサ出力が、光電変換特性601の点605でのセンサ出力から光電変換特性602の点606でのセンサ出力(Vtarget)まで増加するように、すなわち同じ大きさの輝度に対するセンサ出力が増加するように、露光量の増加を図ることができる露光時間設定値や絞り設定値が算出される。別の見方をすれば、Vtargetに相当する輝度がLt2(点607での輝度)からLt1へ変化し、すなわちVtargetのセンサ出力を得るための輝度がLt2より小さいLt1で済むように当該露光量が増加される露光時間設定値や絞り設定値が、露光量制御パラメータ算出部511によって算出される。このとき、当該露光時間設定値や絞り設定値に基づいて、シャッタ23の開放時間又は撮像センサ30による積分時間が増加され、また、絞り23の開口面積が増加されるように制御される。
なお、光電変換特性601から光電変換特性602へ変化する場合、Vmaxにおける輝度がLm2からLm1まで変化(低下)し、ダイナミックレンジは低下する。Vmaxとは、撮像センサ30におけるセンサ出力の最大値、すなわち飽和出力レベルである。ただし、当該Vmaxは、物理的な最大出力レベルとしての飽和出力レベルとしてもよいし、任意に設定した(例えばこの物理的な最大出力レベルより幾分低く設定された出力レベルとしての)飽和出力レベルとしてもよい。
また、図20(a)の場合では、露光量設定用輝度(Lt1)に対してVtargetを得るために、光電変換特性を矢印608方向に変化させているが、矢印608方向と逆方向(右方向)に向けて変化(移動)させてもよい。また、AE評価値取得時における光電変換特性が、既に上述のように露光量設定用輝度に対してVtargetが得られるものとなっている場合には、光電変換特性は変化(移動)されない。ただし、この場合、前回のAE評価値取得時における露光時間設定値や絞り設定値と同じ値になったとしても、今回における露光時間設定値や絞り設定値の算出が行われる構成であってもよい。
(ステップS2−2)ダイナミックレンジ制御パラメータの算出
次に、前記(B)の場合のダイナミックレンジ制御について図20(b)を用いて説明する。光電変換特性701は、AE評価値取得時において光電変換特性情報記憶部516に記憶されている撮像センサ30の光電変換特性である。光電変換特性701は変曲点703(このときのセンサ出力はVth1)を境として線形特性領域と対数特性領域とに分かれている。ダイナミックレンジ制御パラメータ(光電変換特性設定値)は、この光電変換特性701が、ダイナミックレンジ設定用の所定の輝度(ダイナミックレンジ設定用輝度)に対して所定のセンサ出力が得られる光電変換特性702へと変化されるような光電変換特性の制御値、具体的には、変化後の光電変換特性(702)における変曲点(変曲点704)の位置(該変曲点に対する出力レベル)に関する設定値として求められる。この光電変換特性設定値はダイナミックレンジ制御パラメータ算出部512により算出される。
次に、前記(B)の場合のダイナミックレンジ制御について図20(b)を用いて説明する。光電変換特性701は、AE評価値取得時において光電変換特性情報記憶部516に記憶されている撮像センサ30の光電変換特性である。光電変換特性701は変曲点703(このときのセンサ出力はVth1)を境として線形特性領域と対数特性領域とに分かれている。ダイナミックレンジ制御パラメータ(光電変換特性設定値)は、この光電変換特性701が、ダイナミックレンジ設定用の所定の輝度(ダイナミックレンジ設定用輝度)に対して所定のセンサ出力が得られる光電変換特性702へと変化されるような光電変換特性の制御値、具体的には、変化後の光電変換特性(702)における変曲点(変曲点704)の位置(該変曲点に対する出力レベル)に関する設定値として求められる。この光電変換特性設定値はダイナミックレンジ制御パラメータ算出部512により算出される。
ここでは、ダイナミックレンジにおける最大輝度として設定した輝度Lm20をダイナミックレンジ設定用輝度とし、該輝度Lm20に対するセンサ出力の値が、撮像センサ30の飽和出力レベルであるVmax(図20(a)に示すVmaxと同様)となるように光電変換特性曲線702を算出する。換言すれば、光電変換特性701を、点704を通る光電変換特性702となるように、符合705に示す矢印方向(矢印705方向)に向けて変化させる。このとき、変曲点703は変曲点704へ移り、該変曲点に対するセンサ出力もVth1からVth2へ変化する。
この場合、輝度Lm20におけるセンサ出力が、点706でのセンサ出力(Vover:Vmaxを超えるセンサ出力値)から点707でのセンサ出力(Vmax)まで減少されるような光電変換特性設定値が算出される。別の見方をすれば、センサ出力Vmaxを得ることが可能な最大輝度がLm10(点708での輝度)からLm20へと大きくなるような(ダイナミックレンジを広げるような)光電変換特性設定値が、ダイナミックレンジ制御パラメータ算出部512によって算出される。
なお、光電変換特性701から光電変換特性702へ変化する場合、Vtargetにおける輝度はLt10からLt20まで変化(増加)し、露光量は低下する。ただし、この図20(b)に示すVtargetは、露光量の変化について説明するために設定したものであり、図20(a)に示すVtargetの値とは異なっていてもよい。
また、図20(b)の場合では、ダイナミックレンジ設定用輝度(Lm20)に対してVmaxを得るために、光電変換特性を矢印705方向に変化させているが、矢印705方向と逆方向(上方向)に向けて変化させてもよい。また、AE評価値取得時点における光電変換特性が、上述のようにダイナミックレンジ設定用輝度に対してVmaxが得られるものとなっている場合には、光電変換特性は変化されない。ただし、この場合、前回のAE評価値取得時における光電変換特性設定値と同じ値になったとしても今回における光電変換特性設定値の算出が行われる構成であってもよい。
このように前記(A)の露光量制御、及び(B)のダイナミックレンジ制御によるAE制御により、露光量設定用輝度を光電変換特性の線形特性領域で撮影し、且つ所定のセンサ出力レベルで出力すると共に、ダイナミックレンジ設定用輝度(ここでは被写体の最大輝度;ダイナミックレンジにおける最大輝度)がセンサ飽和出力レベル以下となるようにして撮影することが可能となる。
(露光量制御パラメータの算出方法の詳細説明)
ここで、前記図20(a)の露光量制御の場合における、評価値検出部405によって検出されたAE評価値に基づく、露光量制御パラメータ算出部511による露光量制御パラメータ(露光時間設定値及び絞り設定値)の算出について、より具体的に説明する。
ここで、前記図20(a)の露光量制御の場合における、評価値検出部405によって検出されたAE評価値に基づく、露光量制御パラメータ算出部511による露光量制御パラメータ(露光時間設定値及び絞り設定値)の算出について、より具体的に説明する。
図21は、図20(a)における輝度Lt1(露光量設定用輝度)に対するセンサ出力の値がVtargetとなるようにするための演算方法の一例について説明する図である。同図における光電変換特性α1は、AE評価値取得時における光電変換特性であり、変曲点621(これに対するセンサ出力はVth)を境として線形特性領域622と対数特性領域623とに分かれている。光電変換特性β1は、光電変換特性α1における対数特性領域623を線形特性(線形特性領域624)に変換した場合の、すなわち全て線形特性領域となる光電変換特性を示している。
図21に示すA点におけるLtLinは、光電変換特性α1の線形特性領域622における平均輝度(線形特性領域平均輝度)であり、この輝度LtLinに対するセンサ出力がVtLinとなっている。また、B点におけるLtLogは、光電変換特性α1の対数特性領域623における平均輝度(対数特性領域平均輝度)であり、この輝度LtLogに対するセンサ出力がVtLogとなっている。先ず、この光電変換特性α1の対数特性領域623におけるLtLogに対するB点が、線形特性領域624上のC点に移るように、すなわち対数特性領域623におけるLtLogに対するセンサ出力の値(VtLog)が線形特性領域624での値(VtLogLin)となるようにデータ変換が行われる(これにより、光電変換特性α1での各データを線形特性領域でのデータに統一して扱えるようになる)。前記対数特性領域623(光電変換特性α1)から線形特性領域624(光電変換特性β1)へのデータ変換は、LUT記憶部518に記憶されているLUTを用いて行われる。そして、A点でのVtLinとC点でのVtLogLinとから、以下の式により、D点でのセンサ出力VtAveが算出される。なお、VtAveにおける輝度LtAveが、図20(a)に示す露光量設定用輝度としてのLt1に相当する。
VtAve=(VtLin*k1)+(VtLogLin*(1−k1))
ただし、k1=m/(m+n)
m:A点の輝度LtLinの算出時に用いた総画素数
n:B点の輝度LtLogの算出時に用いた総画素数
このように、LtLin及びLtLogの値から、VtLin及びVtLogLinの値を算出し、VtLin及びVtLogLinの値からVtAveを算出する。
ただし、k1=m/(m+n)
m:A点の輝度LtLinの算出時に用いた総画素数
n:B点の輝度LtLogの算出時に用いた総画素数
このように、LtLin及びLtLogの値から、VtLin及びVtLogLinの値を算出し、VtLin及びVtLogLinの値からVtAveを算出する。
次に、このVtAveが、図20(a)に示すVtargetとなるような露光量の増幅率Gain(ゲイン)、この露光量の増幅率Gainに基づく露光時間の増幅率Gt及び絞りの増幅率Gs、さらに、増幅率Gt及びGsに基づくそれぞれ露光時間T2及び絞りの開口面積S2を以下の式により算出する。
Gain=Vtarget/VtAve
Gt*Gs=Gain
ただし、当該各式を用いたGt及びGsの値の算出は、以下の図22に示すフローチャートによる場合分けによって決定される。
Gain=Vtarget/VtAve
Gt*Gs=Gain
ただし、当該各式を用いたGt及びGsの値の算出は、以下の図22に示すフローチャートによる場合分けによって決定される。
≪露光時間に関する増幅率を算出する式≫
Tmax/T1=Gtmax(露光時間の最大増幅率)
Tmin/T1=Gtmin(露光時間の最小増幅率)
Gain/Gtmax=GGtmax(最大増幅率での不足分を補うための増幅率)
Gain/Gtmin=GGtmin(最小増幅率での不足分を補うための増幅率)
T2=T1*Gt
ただし、T1:AE評価値検出時の露光時間
T2:AE補正後の露光時間
Tmax:撮像センサ30の最大露光時間
Tmin:撮像センサ30の最小露光時間
Tmax/T1=Gtmax(露光時間の最大増幅率)
Tmin/T1=Gtmin(露光時間の最小増幅率)
Gain/Gtmax=GGtmax(最大増幅率での不足分を補うための増幅率)
Gain/Gtmin=GGtmin(最小増幅率での不足分を補うための増幅率)
T2=T1*Gt
ただし、T1:AE評価値検出時の露光時間
T2:AE補正後の露光時間
Tmax:撮像センサ30の最大露光時間
Tmin:撮像センサ30の最小露光時間
≪絞りに関する増幅率を算出する式≫
Smax/S1=Gsmax(絞りの最大増幅率)
Smin/S1=Gsmin(絞りの最小増幅率)
Gain/Gsmax=GGsmax(最大増幅率での不足分を補うための増幅率)
Gain/Gsmin=GGsmin(最小増幅率での不足分を補うための増幅率)
S2=S1*Gs
ただし、S1:AE評価値検出時の絞りの開口面積
S2:AE補正後の絞りの開口面積
Smax:絞り23の最大開口率
Smin:絞り23の最小開口率
Smax/S1=Gsmax(絞りの最大増幅率)
Smin/S1=Gsmin(絞りの最小増幅率)
Gain/Gsmax=GGsmax(最大増幅率での不足分を補うための増幅率)
Gain/Gsmin=GGsmin(最小増幅率での不足分を補うための増幅率)
S2=S1*Gs
ただし、S1:AE評価値検出時の絞りの開口面積
S2:AE補正後の絞りの開口面積
Smax:絞り23の最大開口率
Smin:絞り23の最小開口率
図22のフローチャートに示すように、先ず、VtAveがVtargetの値と同じ値である場合、すなわち露光量の増幅率Gain=1.0であり、露光量の制御(露光量制御パラメータの変更)が必要ない場合には(ステップSe1でYes)、露光時間の増幅率Gt=1.0及び絞りの増幅率Gs=1.0となり(ステップSe2)、露光時間及び絞りの開口面積は変更されない。増幅率Gain=1.0でなく(ステップSe1でNo)、また、Gain>1.0であり(ステップSe3でYes)、且つGain>Gtmaxでない場合には(ステップSe4でNo)、すなわちGainが1.0より大きく、露光量の制御が必要であり、露光量の増幅率Gainが露光時間の増幅率Gt(最大増幅率Gtmax以下の増幅率Gt)にて対応できる場合には、Gt=Gain及びGs=1.0となる(ステップSe5)。
前記ステップSe3において、Gain>1.0でなく(ステップSe3でNo)、且つGain<Gtminでない場合には(ステップSe6でNo)、前記ステップSe5の場合と同様に、Gainが1.0より小さく露光量の制御が必要であり、露光量の増幅率Gainが、露光時間の増幅率Gt(最小増幅率Gtmin以上の増幅率Gt)にて対応できるため、Gt=Gain及びGs=1.0となる(ステップSe7)。
前記ステップSe4において、Gain>Gtmaxであり(ステップSe4でYes)、且つGsmax>GGtmaxである場合には(ステップSe8でYes)、Gt=Gtmax及びGs=GGtmaxとなる(ステップSe9)。このステップSe9では、露光量の増幅率Gainが、露光時間の最大増幅率Gtmaxよりも大きな値となってしまい、絞りの増幅率Gsを変化させることなく(Gs=1.0)、露光時間の増幅率Gtだけで対応することできないため、当該Gainに対するGtの増幅率の不足分を、絞りの増幅率Gsを変化させることで対応(補充)している。ただし、この絞りの増幅率Gsの値としては、露光時間の最大増幅率Gtmaxでの不足分を補うための増幅率GGtmaxが用いられる。これは、増幅率GGtmaxが、絞りの最大増幅率Gsmaxよりも小さい値であるため(絞りの最大増幅率Gsmaxを用いる必要がなく)、露光時間に関する増幅率GGtmaxを用いている。これにより、絞りを制御するための値(増幅率)を、前記絞りに関する増幅率を算出する式を用いて算出する手間が省かれる。
また、前記ステップSe6において、Gain<Gtminであり(ステップSe6でYes)、且つGsmin<GGtminである場合には(ステップSe11でYes)、Gt=Gtmin及びGs=GGtminとなる(ステップSe12)。この場合も前記ステップSe9と同様に、露光量の増幅率Gainが、露光時間の最小増幅率Gtminよりも小さな値となってしまい、絞りの増幅率Gsを変化させることなく(Gs=1.0)、露光時間の増幅率Gtだけで対応することできないため、Gainに対するGtの増幅率の不足分を、絞りの増幅率Gsを変化させることで対応している。ただし、この絞りの増幅率Gsの値としては、露光時間の最小増幅率Gtminでの不足分を補うための増幅率GGtminが用いられる。これは、増幅率GGtminが、絞りの最小増幅率Gsminよりも小さい値であるため(絞りの最小増幅率Gsminを用いる必要がなく)、露光時間に関する増幅率GGtminを用いている。この場合も同様に、絞りを制御するための値(増幅率)を、前記絞りに関する増幅率を算出する式を用いて算出する手間が省かれる。
前記ステップSe8において、Gsmax>GGtmaxでない場合には(ステップSe8でNo)、Gt=Gtmax及びGs=Gsmaxとなる(ステップSe10)。また、前記ステップSe11において、Gsmin<GGtminでない場合には(ステップSe11でNo)、Gt=Gtmin及びGs=Gsminとなる(ステップSe13)。前記ステップSe10においては、増幅率GGtmaxが、絞りの最大増幅率Gsmax以上の値となる場合に、絞りの増幅率Gsの値として最大増幅率Gsmaxが用いられている。同様に、前記ステップSe13においては、増幅率GGtminが、絞りの最小増幅率Gsmin以下の値となる場合に、絞りの増幅率Gsの値として最小増幅率Gsminが用いられている。
なお、本実施形態では、図22のフローチャートに示すように、露光量の増幅率Gainを得るための制御パラメータを選択する際、露光時間の増幅率Gtを優先させている(露光時間の制御を優先させている)が、絞りの増幅率Gsを優先させる(絞りの制御を優先させる)構成であってもよい。また、本実施形態では、1つの露光量設定用輝度(Lt1)に対して、増幅率Gt及びGsの算出を行っているが、2つ以上の露光量設定用輝度に対して同様の算出を行ってもよく、この場合には、それぞれで算出した増幅率(Gt、Gs)の平均値、あるいは最大値や最小値を用いる構成であってもよい。
このようにして増幅率Gt、Gsが算出され、このGt、GsからそれぞれAE補正後の露光時間T2、AE補正後の絞りの開口面積S2が算出される。そして、これらT2及びS2に応じた撮像センサ30やシャッタ23に対する設定値(露光時間設定値)、あるいは絞り22に対する設定値(絞り設定値)が、それぞれLUTを用いたデータ変換によって算出される。そして、当該データ変換によって得られた露光時間設定値や絞り設定値は、光電変換特性情報記憶部516に記憶される(あるいは前回のAE評価値取得時点における露光時間設定値や絞り設定値を、当該新たに得られた同設定値で更新する構成であってもよい。以下の光電変換特性設定値に対しても同様である)。
なお、シャッタ制御信号発生部523及び絞り制御信号発生部525は、それぞれ露光量制御パラメータ算出部511で算出された露光時間設定値及び絞り設定値に基づいて、撮像センサ30やシャッタ23による露光時間(積分時間)が前記T2となるような、あるいは絞り22の開口面積が前記S2となるような、シャッタ駆動部61及び絞り駆動部63に対する制御信号を発生させる。
続いて、前記図21に示す線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLin及び対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの具体的な算出方法について説明する。先ず、線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLin及び対数特性領域平均輝度LtLogの具体的な算出方法について説明する。図17に示す主被写体領域331における各検出ブロック(A〜AJブロック)によって検出した被写体の輝度情報を基に、当該各検出ブロック毎の線形特性領域での平均輝度(ブロック線形平均輝度という)を算出する。このブロック線形平均輝度の算出は、R、G及びBの3色それぞれの線形特性領域の平均値(色線形平均値という)を用いて行う。すなわち、A〜AJブロックから得られるR色の色線形平均値をそれぞれAveRA、AveRB、・・・AveRAJとして算出し、同様に、G色、及びB色の色線形平均値をそれぞれAveGA、AveGB、・・・AveGAJ、及びAveBA、AveBB、・・・AveBAJとして算出する。そして、これらRGB各色の色線形平均値を用いて、以下の色空間変換を行う式により、A〜AJブロック毎のブロック線形平均輝度を算出する。例えばAブロックに対するブロック線形平均輝度をAveYAとすると、AveYAは次式にて求めることができる。
AveYA=AveRA*K1+AveGA*K2+AveBA*K3
ただし、K1、K2、K3:RGBからYCbCrへの色空間変換に用いる係数であり、例えばK1=0.2989、K2=0.5866、K3=0.1145である。
AveYA=AveRA*K1+AveGA*K2+AveBA*K3
ただし、K1、K2、K3:RGBからYCbCrへの色空間変換に用いる係数であり、例えばK1=0.2989、K2=0.5866、K3=0.1145である。
他のB〜AJブロックに対しても同様に演算し、この結果、A〜AJブロック毎のブロック線形平均輝度AveYA、AveYB、・・・AveYAJを算出する。そして、さらにこれらブロック線形平均輝度AveYA、AveYB、・・・AveYAJ全体での平均値を算出する。この平均値のことをMainYとすると、MainYが前記線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLinとなる。
一方、対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの算出も、前記VtLinの場合と同様にして行う。すなわち、図17に示す主被写体領域331におけるA〜AJブロックによって検出した被写体の輝度情報を基に、当該各検出ブロック毎の対数特性領域での平均輝度(ブロック対数平均輝度という)を算出する。このブロック対数平均輝度の算出は、R、G及びBの3色それぞれの対数特性領域の平均値(色対数平均値という)を用いて行う。すなわち、A〜AJブロックから得られるR色の色対数平均値をそれぞれAveRLogA、AveRLogB、・・・AveRLogAJとして算出し、同様に、G色、及びB色の色対数平均値をそれぞれAveGLogA、AveGLogB、・・・AveGLogAJ、及びAveBLogA、AveBLogB、・・・AveBLogAJとして算出する。
ところで、これら対数特性領域でのRGB各色の色対数平均値は、一旦、LUT記憶部518に記憶されているLUTを用いて線形特性領域での値に変換して線形データとしておき、この線形データに変換された値を用いて前記と同様に色空間変換の式を用い、A〜AJブロック毎のブロック対数平均輝度AveYLogA、AveYLogB、・・・AveYLogAJを算出する。そして、さらにこれらブロック対数平均輝度AveYLogA、AveYLogB、・・・AveYLogAJ全体での平均値を算出する。この平均値のことをMainYLogとすると、MainYLogが前記線形特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogLinとなる。なお、前記各A〜AJブロックでの各色の色線形平均値(色対数平均値)は、当該各A〜AJブロック毎の線形特性領域(対数特性領域)での輝度ヒストグラムを算出すると共に輝度ヒストグラムの「足切り」を行い、該足切り後の各輝度値を平均することにより算出してもよい。
前記図21及び図22において説明した増幅率Gain(露光量制御パラメータ)の具体的な算出方法は、以下に示すものであってもよい。先ず、主被写体領域331における各A〜AJブロックでのRGB各色における輝度の最大値(色最大値という)を算出する。すなわち、R色の最大値をそれぞれMaxRA、MaxRB、・・・MaxRAJとして算出し、同様に、G色、及びB色の最大値をそれぞれMaxGA、MaxGB、・・・MaxGAJ、及びMaxBA、MaxBB、・・・MaxBAJとして算出する。そして、これら各色毎の輝度の最大値を用いて、以下の色空間変換を行う式により、A〜AJブロック毎のブロック最大輝度を算出する。例えばAブロックに対するブロック最大輝度をMaxYAとすると、MaxYAは次式にて求めることができる。
MaxYA=MaxRA*K1+MaxGA*K2+MaxBA*K3
ただし、前記と同様に例えばK1=0.2989、K2=0.5866、K3=0.1145である。
MaxYA=MaxRA*K1+MaxGA*K2+MaxBA*K3
ただし、前記と同様に例えばK1=0.2989、K2=0.5866、K3=0.1145である。
他のB〜AJブロックに対しても同様に演算し、この結果、A〜AJブロック毎のブロック最大輝度MaxYA、MaxYB、・・・MaxYAJを算出する。そして、さらにこれらブロック最大輝度MaxYA、MaxYB、・・・MaxYAJ全体での最大値(主被写体領域331での最大輝度値という)を算出する。この最大輝度値のことをMaxYとすると、MaxYが、図23に示す輝度Ltmaxに対応するセンサ出力レベルVtAve2となる。
同様に、各A〜AJブロックでのRGB各色における輝度の最小値(色最小値)を、それぞれMinRA、MinRB、・・・MinRAJ、及びMinGA、MinGB、・・・MinGAJ、及びMinBA、MinBB、・・・MinBAJとして算出し、これらの最小値を用いて前記と同様の色空間変換の式によりA〜AJブロック毎のブロック最小輝度MinYA、MinYB、・・・MinYAJを算出する。そして、さらにこれらブロック最小輝度MinYA、MinYB、・・・MinYAJ全体での最小値(主被写体領域a2での最小輝度値という)を算出する。この最小輝度値のことをMinYとすると、MinYが、図23に示す輝度Ltminに対応するセンサ出力レベルVtAve1となる。
ただし、前記色最大値及び色最小値のうちで対数特性領域での値であるものに対しては、同様にLUTを用いての線形特性領域への変換を行った後に色空間変換を行う。また、各A〜AJブロックでの各色の色最大値及び色最小値は、当該各A〜AJブロック毎に輝度ヒストグラムを算出すると共に輝度ヒストグラムの「足切り」を行い、該足切り後の各輝度値から算出してもよい。
そして、図23に示すように、輝度Ltminに対するセンサ出力値VtAve1が、予め設定されたターゲット出力値であるVtarget1となるような増幅率(Vtarget1/VtAve1;第1増幅率という)を算出すると共に、輝度Ltmaxに対するセンサ出力値VtAve2が、予め設定されたターゲット出力値であるVtarget2となるような増幅率(Vtarget2/VtAve2;第2増幅率という)を算出し、これら2つの増幅率のうちの小さい方の増幅率を選択し、当該選択された増幅率を前記露光量の増幅率Gainとして、前記図22に示すように場合分けを行い、露光時間の増幅率Gt及び絞りの増幅率Gsを算出する構成であってもよい。
なお、上述のように第1及び第2増幅率のうちの大きい方を選択してもよく、あるいは、第1及び第2増幅率を比較して一方を選択するのではなく、第1又は第2増幅率のみを算出して用いる構成であってもよい。また、これら第1及び第2増幅率を平均したものを用いる構成であってもよい。また、上記Vtarget1やVtarget2の値は、露光量制御パラメータ算出部511等に記憶されている。
また、前記最小輝度値MinY及び最大輝度値MaxYは、各A〜AJブロックの輝度ヒストグラムを纏めてなるA〜AJブロック全体での全体輝度ヒストグラムから算出してもよい。この場合、同様に「足切り」を行うことで当該全体輝度ヒストグラムにおける輝度範囲を算出し、この輝度範囲から最小輝度値MinY及び最大輝度値MaxYを算出する。なお、当該算出時に、最小輝度値MinY=最大輝度値MaxY−輝度範囲、あるいは最大輝度値MaxY=最小輝度値MinY+輝度範囲というように、最小又は最大輝度値の一方の輝度値と輝度範囲とから、他方の輝度値を求めてもよい。
(ダイナミックレンジ制御パラメータの算出方法の詳細説明)
次に、前記図20(b)の露光量制御の場合における、評価値検出部405によって検出されたAE評価値に基づく、ダイナミックレンジ制御パラメータ算出部512によるダイナミックレンジ制御パラメータ(光電変換特性設定値)の算出についてより具体的に説明する。
次に、前記図20(b)の露光量制御の場合における、評価値検出部405によって検出されたAE評価値に基づく、ダイナミックレンジ制御パラメータ算出部512によるダイナミックレンジ制御パラメータ(光電変換特性設定値)の算出についてより具体的に説明する。
図24は、変化後の光電変換特性における変曲点の位置の算出方法について説明する図であり、(a)は、輝度Lmaxに対して所定のセンサ出力となるように光電変換特性を変化させた場合の図であり、(b)は、光電変換特性をモデル化した場合の図である。先ず、図24(a)において、輝度Lmaxは、ダイナミックレンジ設定用輝度であり、例えば図20(b)に示すLm20に相当するものとする。光電変換特性α2は変曲点711を有する変化前の光電変換特性、光電変換特性β2は変曲点712を有する変化後の光電変換特性を示している。Vmax2は、撮像センサ30の飽和出力レベル(最大出力レベル)を示している。輝度Lmaxに対するセンサ出力の値が、光電変換特性α2上のE点でのVmax1から光電変換特性β2上のF点でのVmax2へ移るように光電変換特性を変化させる。この場合、光電変換特性α2は、変曲点711でのセンサ出力Vth1から変曲点712でのセンサ出力Vth2となる変曲点の変化量ΔVthに応じて光電変換特性β2の状態へ変化する。
ところで、前記Vth2は、E、F点間のセンサ出力ΔVmax(=Vmax2−Vmax1)から算出される。これについて説明する。図24(b)に示すように、光電変換特性α2、β2における線形特性領域及び対数特性領域をそれぞれモデル化(グラフ化)して関数(数式)で表すと、以下のように表される。
線形特性領域をモデル化した関数:V=K2*L(光電変換特性α2、β2で共通)
対数特性領域をモデル化した関数:V=K1*ln(L)+Wα(光電変換特性α2)
:V=K1*ln(L)+Wβ(光電変換特性β2)
ただし、K1、K2は定数、Lはセンサ入射輝度(図24の横軸座標)、Wα及びWβは切片を示している。
線形特性領域をモデル化した関数:V=K2*L(光電変換特性α2、β2で共通)
対数特性領域をモデル化した関数:V=K1*ln(L)+Wα(光電変換特性α2)
:V=K1*ln(L)+Wβ(光電変換特性β2)
ただし、K1、K2は定数、Lはセンサ入射輝度(図24の横軸座標)、Wα及びWβは切片を示している。
ここで、ΔVmaxは、ΔVmax=Wβ−Wαと表されるので、前記V=K1*ln(L)+Wβの数式は、
V=K1*ln(L)+Wα+ΔVmax
と表される。この数式と、前記V=K2*Lの数式との交点713におけるセンサ出力値がVth2となる。したがって、交点713(の座標)を算出するための、当該2つの数式の連立式;
K1*ln(L)+Wα+ΔVmax=K2*L
を満たす「L」の値、すなわち図24(b)に示す輝度Lを求めることによって、該輝度Lに対応するセンサ出力のVth2が算出される。ただし、算出された出力レベルVth2が飽和出力レベルVmax2より大きくなる場合には、撮像センサ30は、対数特性領域の無い線形特性領域のみの光電変換特性を有することとなる。
V=K1*ln(L)+Wα+ΔVmax
と表される。この数式と、前記V=K2*Lの数式との交点713におけるセンサ出力値がVth2となる。したがって、交点713(の座標)を算出するための、当該2つの数式の連立式;
K1*ln(L)+Wα+ΔVmax=K2*L
を満たす「L」の値、すなわち図24(b)に示す輝度Lを求めることによって、該輝度Lに対応するセンサ出力のVth2が算出される。ただし、算出された出力レベルVth2が飽和出力レベルVmax2より大きくなる場合には、撮像センサ30は、対数特性領域の無い線形特性領域のみの光電変換特性を有することとなる。
そして、上述のように算出したVth2に応じた撮像センサ30に対する設定値、すなわち、光電変換特性の変曲点がVth2の位置となるように光電変換特性を変化させるための設定値(光電変換特性設定値)が、LUTを用いた当該Vth2のデータ変換によって算出される。而して、当該データ変換によって得られた変曲点Vth2に対応する光電変換特性設定値は、光電変換特性情報記憶部516に記憶される。なお、ダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータ算出部512で算出された光電変換特性設定値に基づいて、撮像センサ30の光電変換特性(の変曲点位置)が上述のように変化するような、タイミング生成回路31に対する制御信号を発生させる。
ところで、前記図24に示すダイナミックレンジ設定用輝度である輝度Lmaxに対応するセンサ出力レベルVmax1の具体的な算出方法は以下の通りである。先ず、前記図21における対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの算出と同様に、図17に示す主被写体領域331(A〜AJブロック)での対数特性領域平均輝度を算出すると共に、周辺被写体領域332(第1〜第16ブロック)での対数特性領域平均輝度を、主被写体領域331での場合と同様に算出する。そして、これら主被写体領域331及び周辺被写体領域332で算出した対数特性領域平均輝度を比較して大きな方の対数特性領域平均輝度を選択し、該選択した対数特性領域平均輝度に対応するセンサ出力レベルをVmax1とする。
なお、主被写体領域331及び周辺被写体領域332において、前記対数特性領域平均輝度だけでなく、図21における線形特性領域平均輝度LtLinと同様の線形特性領域平均輝度に対応するセンサ出力も算出し、主被写体領域331及び周辺被写体領域332毎にこれら線形特性領域平均輝度と対数特性領域平均輝度とを平均した全特性領域平均輝度を算出し、これら各領域における全特性領域平均輝度のうちの大きな方を輝度Lmaxに対応するセンサ出力とする構成であってもよい。ただし、当該輝度が同じ大きさであった場合には、いずれの輝度値を輝度Lmaxに対応するセンサ出力としてもよい(以降も同様)。
また、主被写体領域331のみでの対数特性領域平均輝度(あるいは線形特性領域平均輝度と合わせた全特性領域平均輝度)から輝度Lmaxに対応するセンサ出力を得る構成であってもよいし、周辺被写体領域332のみでの対数特性領域平均輝度(あるいは線形特性領域平均輝度と合わせた全特性領域平均輝度)から輝度Lmaxを得る構成であってもよい。
さらに、輝度Lmaxに対応するセンサ出力の具体的な算出方法は、以下に示すものであってもよい。すなわち、先ず、前記図23における最大輝度値Ltmax(MaxY)に対応するセンサ出力の算出と同様に、主被写体領域331での最大輝度値を算出すると共に、周辺被写体領域332での最大輝度値を、主被写体領域331での場合と同様に算出する。そして、これら主被写体領域331及び周辺被写体領域332で算出した最大輝度値を比較して大きな方の最大輝度値を選択し、該選択した最大輝度値に対応するセンサ出力レベルを求め、この出力レベルに対応する輝度をLmaxとする。なお、主被写体領域331のみでの最大輝度値から輝度Lmaxに対応するセンサ出力を得る構成であってもよいし、周辺被写体領域332のみでの最大輝度値から輝度Lmaxを得る構成であってもよい。
ところで、図24に示すような、光電変換特性設定値に基づく光電変換特性(変曲点位置)の制御は、実際には、前記図19で説明したように、飽和判別部4055(図16参照)によって撮像センサ30の出力レベルが飽和していないと判別された場合に行われ、該出力レベルが飽和していると判別された場合には、飽和画素数に応じて、図25(a)に示すようにΔVth分だけ変曲点での出力レベルを低下させるように、すなわち、撮像センサ30によって、より高輝度側での撮影を可能とするべくダイナミックレンジを広げるように光電変換特性を変化させる。ここでは、光電変換特性α3から光電変換特性β3へ変化させる。ただし、このΔVthの値は、図25(b)に示すように、飽和画素数が増加するにつれて増加するように設定されており、該飽和画素数に対応するΔVthの算出は、LUTによるデータ変換によって行われる構成となっている。そして、この算出されたΔVthを、AE評価値時算出時における光電変換特性α3の変曲点721での出力レベルVth1から減算することにより、変化後の光電変換特性β3(光電変換特性α3と比較してダイナミックレンジが広くなる特性)の変曲点722での出力レベルVth2が得られる。さらに、当該得られたVth2に応じた撮像センサ30に対する設定値(光電変換特性設定値)が、LUTによるデータ変換によって算出される。そして、当該データ変換によって得られた変曲点Vth2に対応する光電変換特性設定値は、光電変換特性情報記憶部516に記憶される。
(ステップS3−1)露光量制御パラメータの設定
上記ステップS2−1で説明したような手法でAE制御のための露光量制御パラメータが算出されたならば、該露光量制御パラメータに基づいて露光量制御が行われる。すなわち、静止画像を撮影する場合は、予備撮影画像より取得されたAE評価値に基づいたAE制御がなされた上で本撮影が行われる。また、動画像を撮影する場合は、例えば直前に撮影された撮影画像より取得されたAE評価値に基づいたAE制御がなされた上で順次動画撮影が行われる。
上記ステップS2−1で説明したような手法でAE制御のための露光量制御パラメータが算出されたならば、該露光量制御パラメータに基づいて露光量制御が行われる。すなわち、静止画像を撮影する場合は、予備撮影画像より取得されたAE評価値に基づいたAE制御がなされた上で本撮影が行われる。また、動画像を撮影する場合は、例えば直前に撮影された撮影画像より取得されたAE評価値に基づいたAE制御がなされた上で順次動画撮影が行われる。
具体的には、全体制御部50の露光量制御パラメータ算出部511で算出された露光量制御パラメータは制御信号発生部520に入力され、実際の露光量制御動作を行わせる駆動信号を生成するタイミング生成回路31や駆動部60を動作させるための制御信号が制御信号発生部520の各部で生成される。すなわち、制御信号発生部520のセンサ露光時間制御信号発生部522は、前記露光量制御パラメータに応じて、所期の露光時間が確保されるよう撮像センサ30の制御信号を生成し、これをタイミング生成回路31へ送信する。ここでの制御信号は、例えば図11に示すタイミングチャートにおいて、撮像センサ30に対する信号φVPSが中電位Mとなる時間ΔSを、露光量制御パラメータに応じて適宜な時間に設定する信号(つまり、フォトダイオードPDの寄生容量のリセット動作終了時刻t1から次フレームの映像信号読み出しが開始される時刻t2までの積分時間を適宜な時間に設定する信号)である。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30の露光時間を制御するタイミング信号を生成して撮像センサ30を駆動させる。
またシャッタ制御信号発生部523は、同様に露光量制御パラメータに基づいて、シャッタ23のシャッタスピード(シャッタ開放時間)を露光時間に合わせて設定する制御信号を生成する。この制御信号は駆動部60のシャッタ駆動部61へ送られ、シャッタ駆動部61は該制御信号に基づいてシャッタ23の駆動信号を生成し、露光量制御パラメータに応じたシャッタ23のシャッタ開放動作を行わせる。
さらに絞り制御信号発生部525も、同様に露光量制御パラメータに基づいて、絞り22の開口面積を設定する制御信号を生成する。この制御信号は絞り駆動部63へ送られ、絞り駆動部63は該制御信号に基づいて絞り22の駆動信号を生成し、露光量制御パラメータに応じた絞り22の開口面積設定動作を行わせる。
以上のように、露光量制御(積分時間の制御)の要素としては、タイミング生成回路31のよる撮像センサ30の駆動制御、シャッタスピード制御及び絞り制御があり、これら3つの制御を全て行うようにしても良いが、高速に制御を達成する観点からは、図22のフローチャートに基づいて説明したように、タイミング生成回路31による電子回路的な露光量制御を優先させるようにすることが望ましい。
(ステップS3−2)ダイナミックレンジ制御パラメータの設定
一方、上記ステップS2−2で説明したような手法でAE制御のためのダイナミックレンジ制御パラメータが算出されたならば、該ダイナミックレンジ制御パラメータに基づいてダイナミックレンジ制御が行われる。具体的には、全体制御部50のダイナミックレンジ制御パラメータ算出部512で算出されたダイナミックレンジ制御パラメータは制御信号発生部520に入力され、そのダイナミックレンジ制御信号発生部521において、実際のダイナミックレンジ制御動作を行わせる制御信号が生成される。
一方、上記ステップS2−2で説明したような手法でAE制御のためのダイナミックレンジ制御パラメータが算出されたならば、該ダイナミックレンジ制御パラメータに基づいてダイナミックレンジ制御が行われる。具体的には、全体制御部50のダイナミックレンジ制御パラメータ算出部512で算出されたダイナミックレンジ制御パラメータは制御信号発生部520に入力され、そのダイナミックレンジ制御信号発生部521において、実際のダイナミックレンジ制御動作を行わせる制御信号が生成される。
すなわちダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータ算出部512において算出された撮像センサ30の光電変換特性設定値に応じて、光電変換特性が線形特性領域から対数特性領域に切り替わる出力レベルポイント(変曲点)を調整する撮像センサ30の制御信号を生成し、これをタイミング生成回路31へ送信する。ここでの制御信号は、例えば図11に示すタイミングチャートにおいて、撮像センサ30に対する信号φVPSを、算出されたダイナミックレンジ制御パラメータに応じて適宜設定する制御信号である。
つまり、前記φVPSにおける電圧VPHの高さ、あるいは時間ΔTの長さを制御することでその変曲点が変動されることから、ダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータに基づいてφVPSを制御する制御信号を生成し、これをタイミング生成回路31へ送信する。そしてタイミング生成回路31は、入力された制御信号に応じて、撮像センサ30のダイナミックレンジを制御するタイミング信号を生成して撮像センサ30を、所定の光電変換特性の状態として実際に駆動させるものである。
以上、AE制御を中心に説明したが、実際のデジタルカメラ1においては、AF制御やWB制御等も行われる。AF制御の場合も同様に、撮像センサ30の撮影画像から取得したAF評価値に基づいて制御を行うことができる。例えば、図17に示した主被写体領域331のO、P、U及びVブロックから検出される輝度ヒストグラムを活用し、評価値検出部405にて隣接輝度とのコントラストが最大となるポイントを求める所謂「山登り法」等によってAF評価値を算出することができる。この場合、撮像センサ30の線形特性領域及び対数特性領域の各々からAF評価値を検出し、それぞれの特性領域の特徴を生かし、例えば対数特性領域から得られるAF評価値を、AF制御に際しての粗測距用として用い、また線形特性領域から得られるAF評価値を、詳測距用として用いるようにすることが望ましい。
このようにして評価値検出部405で検出されたAF評価値は、全体制御部50のAF制御パラメータ算出部513へ送られる。AF制御パラメータ算出部513は、該AF評価値に応じたAF制御パラメータを算出し、これをズーム/フォーカス制御信号発生部523へ送信する。該ズーム/フォーカス制御信号発生部523にて、入力されたAF制御パラメータに応じた制御信号が生成され、これがズーム/フォーカス駆動部62へ送信される。そして、ズーム/フォーカス駆動部62により前記制御信号に応じた駆動信号が生成され、該駆動信号により鏡胴20のレンズ群21がフォーカス駆動されるものである。
またWB制御についても、撮像センサ30の撮影画像から取得したWB評価値に基づいて制御を行うことができる。この場合も、撮像センサ30の線形特性領域及び対数特性領域の各々からWB評価値を検出することが望ましい。すなわち、撮影画像に基づきニュートラルな画像によるWB評価値検出を行うものとし、前記ニュートラル画像として線形特性領域と対数特性領域との2種類の画像に基づき、各RGBレベル(R−Log,G−Log,B−Log,R−Lin,G−Lin,B−Lin)を検出するよう構成することが望ましい。評価値検出部405はこのようなWB評価値を検出し、該WB評価値をホワイトバランス制御部406へ送り、ホワイトバランス制御部406により適宜な色バランスとなるようホワイトバランス補正が行われるものである。
このようなAE制御を行う本実施形態にかかるデジタルカメラ1によれば、被写体の輝度情報に基づいて、被写体を撮像するに際しての露出の制御に関する露出評価値が露出評価値検出手段によって検出される。そして、この露出評価値を用いて、撮像センサの光電変換特性に基づいて露光量制御手段によって露光量の制御が行われると共に、この露出評価値を用いて、撮像センサの光電変換特性に基づいてダイナミックレンジ制御手段によってダイナミックレンジの制御が行われる。このように、撮像装置が備える撮像センサの光電変換特性と関連付けて、露光量制御手段による露光量制御とダイナミックレンジ制御手段によるダイナミックレンジ制御とを行うことによって撮像装置の露出制御を行うことができるため、被写体輝度に応じて、被写体を最適な露光状態で、且つ所定のダイナミックレンジを確保した状態で撮像することができる。
(階調変換LUT設定ステップS4)
上記のようにしてAE制御等の制御パラメータの設定がなされ、これにより光電変換特性に変化が生じた場合、信号処理部40の階調変換部409において、変化後の光電変換特性に応じた新たな階調変換LUTに基づいて、撮像された画像信号に対して階調変換処理がなされる。つまり、ステップS1〜S3までの撮像のための制御に合わせて、画像信号処理の1要素である階調変換処理の設定が制御される。
上記のようにしてAE制御等の制御パラメータの設定がなされ、これにより光電変換特性に変化が生じた場合、信号処理部40の階調変換部409において、変化後の光電変換特性に応じた新たな階調変換LUTに基づいて、撮像された画像信号に対して階調変換処理がなされる。つまり、ステップS1〜S3までの撮像のための制御に合わせて、画像信号処理の1要素である階調変換処理の設定が制御される。
具体的には、図20(a)に示すように、露光量制御によって光電変換特性601(変曲点603)が露光量を増加させるべく新たな光電変換特性602(変曲点604)に変更されるような設定が為された場合、或いは図20(b)に示すように、ダイナミックレンジ制御によって光電変換特性701(変曲点703)がダイナミックレンジを広げるべく新たな光電変換特性702(変曲点704)に変更されるような設定が為された場合、これら変更後の光電変換特性602、702に応じた階調変換処理を、階調変換部409が行う。
さらに詳述すると、上記のように光電変換特性に変更が生じることとなった場合、その変更後の光電変換特性設定値は、全体制御部50が備える光電変換特性情報記憶部516(図4参照)に記憶されるが、このように光電変換特性情報記憶部516に新たな設定値が記憶されたとき、階調変換部409の変曲点変化情報受信部4095(図5参照)は、その光電変換特性の設定値情報を取り出し、これを階調変換情報書換え部4094に送信する。これを受けて階調変換情報書換え部4094は、新たな光電変換特性(変曲点)に応じて、階調変換LUT記憶部4092に記憶されている階調変換LUTを、新たな階調変換LUTに書き換える。
なお、図20(a)に示す露光量制御のみによってAE制御が完了した場合、Vtargetのセンサ出力を得るための輝度がLt2からLt1へ小さくなるだけで、変曲点に対するセンサ出力Vthは変動しない。従って、この場合は、階調変換LUT記憶部4092に記憶されている階調変換LUTを書き換えないようにしても良い。勿論、この場合でも入射輝度に対する感度が変更されることとなるので、その感度変更に合わせたLUTパターンをLUTパターン記憶部4093に記憶させておき、新たな階調変換LUTに書き換えるようにしても良い。
次に階調変換LUT制御の具体例につき説明する。図26は、撮像センサ30の出力(光電変換特性320´)と、階調変換部409における階調変換特性とを関連づけて表したグラフ図である。なお本図では、これまでの他図とは異なり光電変換特性320´を線形スケールで描いている(図26の右側のグラフ図)。この光電変換特性320´は、変曲点321(このときのセンサ出力はVth)を境として低輝度側が線形特性領域、高輝度側が対数特性領域とされている。一方階調変換LUT801(図26の左側のグラフ図)は、線形特性領域については傾きh1を持った線形の第1の階調変換特性とされ、また対数特性領域については前記傾きh1よりも大きな傾きh2を持った線形の第2の階調変換特性とされている。そして、前記変曲点321の出力レベルVthに対応する階調変換出力(変曲点321の入射輝度に対応する階調変換出力VthOut)ポイントが、第1の階調変換特性と第2の階調変換特性との切り替わり点Pとされている。このように、傾きh1<h2とするのは、先に図6に基づいて説明した通り、線形特性領域に比較して階調圧縮して撮像されている対数特性領域の画像信号を、階調伸長した形で出力させるようにするためである。
前記階調変換LUT801は、AE制御等によって光電変換特性320´に変更が生じるような設定がなされた場合、例えば変曲点321が変動した場合、その変動に合わせて階調変換情報書換え部4094により前記切り替わり点Pが変化された新たな階調変換LUTに書換えられ、この書換え後の階調変換LUTが階調変換LUT記憶部4092に記憶される。そして階調変換演算部4091は、当該新たな階調変換LUTを参照して、3×3色補正部408から入力される画像信号に対して階調変換処理を施すものである。階調変換LUTは固定的なものとしても良いが、この実施形態のように変曲点321の変動に連動して最適な階調変換LUTに書き換えるよう構成することで、常に被写体輝度に応じた最適な階調変換処理が行えるので好ましい。
図27は、階調変換LUT制御の他の具体例を示すグラフ図である。この例では、線形特性領域に対応する第1の階調変換特性部分を、主被写体の輝度範囲部分についてコントラストを強調すべく部分的に異なる階調変換特性(第3の階調変換特性)とする場合を示している。例えば前述のAE制御においては、階調性豊かに主被写体を撮像するため、主被写体の輝度範囲が撮像センサ30の線形特性領域にて撮影されるよう制御がなされるが、主被写体のコントラストをより強調するために、線形特性領域における主被写体の輝度範囲に相当するセンサ出力を、階調変換度合いが比較的高い第3の階調変換特性にて階調変換すべく、第1の階調変換特性部分の一部を第3の階調変換特性に置換した例を示すのが、図27に示す階調変換LUT802である。
さらに詳述すると、いま前記ヒストグラム算出部4052の最大/最少輝度算出部4054(図16参照)で求められる主被写体の輝度範囲(図18参照)の、出力レベル下限輝度に相当する点326に対応する出力レベルをVminとし、出力レベル上限輝度に相当する点327に対応する出力レベルをVmaxとする。このVminからVmaxの範囲、つまり主被写体の輝度範囲に対応する部分については、階調変換度合いが比較的高い第3の階調変換特性にて階調変換させる。つまり、第1の階調変換特性は単調な線形特性ではなく、出力レベルが低い方から順に、傾きh11を持った階調変換特性部分、傾きh12を持った階調変換特性部分(第3の階調変換特性)及び傾きh13を持った階調変換特性部分に区画されている。これら3つの階調特性の切り替わり点は、それぞれVmin(点326)に対応する切り替わり点P11(このときの階調変換出力はVminO)、及びVmax(点327)に対応する切り替わり点P12(このときの階調変換出力はVmaxO)とされている。
図27に示す例では、主被写体のコントラストを重視する観点から、前記傾きh11〜h13及びh2の大小関係につき、
h12>h2>h13>h11(h13=h11としても良い)
という条件に設定されている。もし対数特性部分の階調伸長をより優先する場合は、
h2>h12>h13>h11(h13=h11としても良い)
と設定しても良く、傾きは適宜に設定することができる。
h12>h2>h13>h11(h13=h11としても良い)
という条件に設定されている。もし対数特性部分の階調伸長をより優先する場合は、
h2>h12>h13>h11(h13=h11としても良い)
と設定しても良く、傾きは適宜に設定することができる。
上記のような階調変換LUT802は、固定的なものとしても良いが、主被写体の輝度範囲の変動に連動して、常時書き換えるようにすることが好ましい。すなわち、主被写体の輝度範囲は、評価値検出部405にて検出されるAE評価値に基づいて算出されるが、この場合、かかる主被写体輝度範囲の変動についての情報を、前記変曲点変化情報受信部4095が、光電変換特性の設定値情報と共に全体制御部50から取り出し、これらの情報を階調変換情報書換え部4094に送信するよう構成する。そしてLUTパターン記憶部4093には、前記第3の階調変換特性に相当するLUTパターンを記憶させておく。
そしてAE制御等によって光電変換特性320´に変更が生じるような設定がなされた場合並びに主被写体の輝度範囲に変動があった場合、その変動に合わせて階調変換情報書換え部4094により前記切り替わり点Pが変化されると共に、第3の階調変換特性の領域を区画する切り替わり点P11及びP12が変化された新たな階調変換LUTに書換えられ、この書換え後の階調変換LUTが階調変換LUT記憶部4092に記憶される。而して階調変換演算部4091は、当該新たな階調変換LUTを参照して、3×3色補正部408から入力される画像信号に対して階調変換処理を施すものである。この実施形態のように変曲点321の変動並びに主被写体の輝度範囲に連動して最適な階調変換LUTに書き換えるよう構成することで、主被写体のコントラストを強調しつつ被写体輝度に応じた最適な階調変換処理が行えるようになる。
なお、上記では主被写体の輝度範囲を、最大/最少輝度算出部4054により求められる輝度範囲に基づいて設定する場合について説明したが、ヒストグラム算出部4052の平均輝度算出部4053で算出される主被写体の平均輝度をベースとし、該平均輝度を中心とする一定範囲を主被写体の輝度範囲として定め、当該輝度範囲部分に相当する出力レベル範囲を第3の階調変換特性にて階調変換処理を行うようにしても良い。
このような階調変換部409の動作を、図28に示すフローチャートに基づいて説明する。いま、撮像センサ30による撮像動作で得られた画像信号が、特定の光電変換特性に対応する階調変換LUTに基づく階調変換処理がなされている状態を考える(ステップS41)。この状態において、AE制御等が行われることにより光電変換特性の変動(変曲点の変化)が生じたか否かが確認され(ステップS42)、特に光電変換特性の変動がない場合(ステップS42でNo)、階調変換LUT記憶部4092に記憶されている階調変換LUTは書き換えられることなく、そのままの階調変換LUTを用いた階調変換処理が階調変換演算部4091により継続される。
これに対し、光電変換特性の変動があった場合(ステップS42でYes)、階調変換LUTが階調変換情報書換え部4094により書き換えられることになるのであるが、その前に、主被写体のコントラストを強調する設定が為されているか否かが確認される(ステップS43)。そのような設定が為されていない場合(ステップS43でNo)、階調変換情報書換え部4094により第1の階調変換特性と第2の階調変換特性との切り替わり点が、変更後の変曲点に対応するように設定された新たな階調変換LUTが生成され、この新たな階調変換LUTが階調変換LUT記憶部4092に記憶される(ステップS44)。そして撮影終了の指令がない限り(ステップS46でNo)、この新たな階調変換LUTにより階調変換処理が行われる(ステップS41)。
主被写体のコントラストを強調する設定が為されている場合(ステップS43でYes)、階調変換情報書換え部4094により第1の階調変換特性と第2の階調変換特性との切り替わり点と、主被写体の輝度範囲に対応する第3の階調変換特性の範囲とが、光電変換特性変更後の変曲点並びに変更後の主被写体の輝度範囲に対応するように設定された新たな階調変換LUTが生成され、この新たな階調変換LUTが階調変換LUT記憶部4092に記憶される(ステップS45)。そして撮影終了の指令がない限り(ステップS46でNo)、この新たな階調変換LUTにより階調変換処理が行われる(ステップS41)ものである。
以上のような階調変換処理を含む信号処理が為されたならば、その信号処理済みの画像信号は、画像メモリに一時的に記録されたり、或いはメモリカード412に記録されたりする。若しくは、LCD表示部106にモニター画像として表示されたりする。このようにして、当該デジタルカメラ1による撮像動作は完了する。
(撮像システムとしての実施形態)
以上、本実施形態をデジタルカメラ等の単独撮像装置で実現する場合について説明したが、続いて本実施形態をデジタルカメラ等とパーソナルコンピュータ等をリンクさせた撮像システムとして実現する場合の実施形態について説明する。なお、以下は撮像システムについて説明するが、当該撮像システムを動作させる動作プログラムとしてのとしての説明も兼ねるものとする。
以上、本実施形態をデジタルカメラ等の単独撮像装置で実現する場合について説明したが、続いて本実施形態をデジタルカメラ等とパーソナルコンピュータ等をリンクさせた撮像システムとして実現する場合の実施形態について説明する。なお、以下は撮像システムについて説明するが、当該撮像システムを動作させる動作プログラムとしてのとしての説明も兼ねるものとする。
図29は、本実施形態にかかる撮像システムSの一例を示すブロック図である。この撮像システムは、上記の実施形態で説明した撮像装置としてのデジタルカメラ1と、該デジタルカメラ1から画像信号等を取得して画像情報の表示や記録を行うホスト(画像信号取得手段)90と、デジタルカメラ1とホスト90との間の情報伝送を行う情報伝送手段42とから構成されている。
デジタルカメラ1は、上記で説明した撮像センサ30、信号処理部40及び全体制御部50等のほか、外部装置との通信端末部となるI/O(入力/出力)部414と、ストレージメディア107等の情報記録媒体が装着されるメディアポート415とを備えている。ホスト90からの指令信号は、前記I/O部414を介して全体制御部50へ伝達され、また信号処理部40で各種の信号処理がなされた画像信号と、全体制御部50の光電変換特性情報記憶部516(図4参照)に記憶されている撮像センサ30の光電変換特性(変曲点)に関する情報とが、前記I/O部414を介してホスト90へ伝送されるようになっている。また、前記画像信号及び光電変換特性(変曲点)情報は、メディアポート415に装着されるストレージメディア107に記録可能とされている。なお、信号処理部40は、前述の階調変換部409を具備していても良いが、デジタルカメラ1を本撮像システムSの構成アイテムとして動作する場合は、当該階調変換部409における階調変換処理を行わないようにする。
ホスト90は、PC(パーソナルコンピュータ)やPDA(携帯情報端末)等からなり、画像信号取得部901、変曲点情報取得部902、階調変換部903、メモリ部904、操作部911、表示部912及びメディアポート913を備えている。
画像信号取得部901は、デジタルカメラ1で撮影された画像信号を取得する。この画像信号取得部901が取得する画像信号は、例えば階調変換前の状態で画像メモリ411に記憶された画像信号を、全体制御部50によりJPEG(Joint Photographic Coding Experts Group)方式により圧縮された圧縮画像(以下、JPEG画像という)やMPEGMoving Picture Experts Group)方式により圧縮された圧縮画像(以下、MPEG画像という)等のフォーマットに変換したものや、或いは撮像センサ30から得られる画像データをそのまま記録したRAWフォーマット(この場合、前記信号処理部40と同等の機能をホスト90にも具備させる)のものである。
変曲点情報取得部902は、撮像センサ30の光電変換特性(変曲点)に関する情報、つまり全体制御部50の光電変換特性情報記憶部516に記憶(設定)されている光電変換特性情報を取得する。この変曲点情報取得部902が取得する光電変換特性情報は、例えば下記の何れかである。
(1)線形特性領域と対数特性領域との変曲点に相当する出力レベルVth
(2)光電変換特性として、予め定められた複数パターンを準備し、AE制御等に応じて適宜な光電変換特性を当てはめる方式を採用している場合は、その光電変換特性のモード番号
(3)光電変換特性は、例えば線形特性領域においてはy=a(x)+b、対数特性領域についてはy=αlog10(x)+βの近似式で表すことができので、これら近似式における変数a、b、α、β
(4)図11に示したリセット電圧ΔVPSの値、或いは露光時間や絞りの値等のデジタルカメラ1の内部情報
(1)線形特性領域と対数特性領域との変曲点に相当する出力レベルVth
(2)光電変換特性として、予め定められた複数パターンを準備し、AE制御等に応じて適宜な光電変換特性を当てはめる方式を採用している場合は、その光電変換特性のモード番号
(3)光電変換特性は、例えば線形特性領域においてはy=a(x)+b、対数特性領域についてはy=αlog10(x)+βの近似式で表すことができので、これら近似式における変数a、b、α、β
(4)図11に示したリセット電圧ΔVPSの値、或いは露光時間や絞りの値等のデジタルカメラ1の内部情報
階調変換部903は、前記画像信号取得部901が取得した画像信号に対して所定の階調変換処理を施す。この階調変換部903は、図5に基づいて説明した信号処理部40における階調変換部409と同様な構成を採用できる。すなわち階調変換部903は、変曲点情報取得部902により取得された光電変換特性情報に基づいて所定の階調変換LUTを作成し、該階調変換LUTによりホスト90が取得した画像信号に対して階調変換処理を施す。
ここで変曲点情報取得部902が取得した光電変換特性情報が、上記(1)の出力レベルVthである場合は、該Vthに基づき図26に示したような第1の階調変換特性及び第2の階調変換特性を備える階調変換LUTが作成される。なお、主被写体の輝度範囲を考慮しコントラスト強調を行う場合は、図27に示したような第3の階調変換特性をも含む階調変換LUTが作成される。また上記(2)の光電変換特性のモード番号の場合(この場合、同様のモード番号で管理された光電変換特性パターンをホスト90に記憶させておく)は、当該モード番号に応じた光電変換特性に対応する階調変換LUTが作成される。上記(3)の近似式の場合は、線形特性領域の光電変換特性y=a(x)+bと、対数特性領域の光電変換特性y=αlog10(x)+βとの交点をVthとして、図26に示したような階調変換LUTが作成される。さらに上記(4)のデジタルカメラ1の内部情報場合は、予め求めた上記近似式のα、b、及び露光時間と絞り開口面積からaを求めると共に、ΔVPSからβを求め、同様に交点をVthとする階調変換LUTが作成される。
メモリ部904はROMやRAM等からなり、階調変換された画像信号を記憶する。操作部911は、操作キーやマウス等からなり、画像信号取得部901や変曲点情報取得部902に画像信号や変曲点情報を取得させるための指示を入力したり、メモリ部904への画像信号の書き込み、若しくは表示部912への画像表示をさせる指示を入力したりする部位である。また表示部912はLCDディスプレイ等からなり、階調変換後(若しくは階調変換前)の画像信号に基づく画像を表示させる。メディアポート913は、ストレージメディア107等が装着され、ストレージメディア107に記録された画像信号を受け入れる端末部である。
情報伝送手段42は、デジタルカメラ1とホスト90とを通信可能に接続する有線又は無線の通信媒体である。デジタルカメラ1とホスト90とは、両者を直接接続する場合はUSB(Universal Serial Bus)インターフェイスやBluetooth(登録商標)インターフェイス等を用い、また両者をネットワーク接続する場合はEthernet(登録商標)や無線LAN等を用いて通信可能に接続できる。従って情報伝送手段42は、これらの通信を実現させるUSBケーブルや光ファイバ等の信号伝送媒体及びそのインターフェイス、或いは無線機器等からなる。
なお、デジタルカメラ1からホスト90へ光電変換特性(変曲点)に関する情報を送信する手法としては、例えば静止画の画像信号を送信する場合は、該変曲点情報を画像ファイルのヘッダ部に付加して、画像信号と共に送信することができる。すなわち、通常はカメラの内部情報が記録される画像ファイルのヘッダ部分を活用し、そこに変曲点情報を書き込んで同時送信することができる。また、動画の画像信号を送信する場合は、例えばMotion−JPEG画像の場合は、当該JPEG画像をそのままデジタルカメラ1側から出力することとなるため、前記静止画の場合と同様に、各フレーム画像のヘッダ部分に変曲点情報を書き込んで動画出力させる方式を採用することができる。一方、MPEG画像の場合は、前記のようなヘッダ部分への書き込みができないことから、変曲点情報を画像信号ファイルとは別ルートでデジタルカメラ1からホスト90へ送信させる方式を採用することができる。
この他、直接接続やネットワーク接続によらず、ストレージメディア107等の情報記録媒体も、本発明における「情報伝送手段」として用いることができる。この場合、ストレージメディア107をデジタルカメラ1のメディアポート415に装着し、静止画像若しくは動画像の画像信号と変曲点情報とを、装着されたストレージメディア107に書き込むようにする。そして、該ストレージメディア107をデジタルカメラ1から取り外してホスト90のメディアポート913に装着し、操作部911から読み込み指示を出すことにより、画像信号取得部901及び変曲点情報取得部902に、それぞれ画像信号及び変曲点情報を取得させるものである。
以上説明したような本実施形態にかかる撮像システム(撮像システム動作プログラム)の動作につき、図30〜図35に示すフローチャートに基づいて説明する。これらフローチャートのうち、図30〜図32は、デジタルカメラ1とホスト90とが直接接続又はネットワーク接続されている場合の動作フロー例であり、図33〜図35は、デジタルカメラ1とホスト90との間の情報伝達がストレージメディア107で行われる場合の動作フロー例である。
図30は、デジタルカメラ1から静止画像を取得する場合の動作フローの一例である。ホスト90の操作部911により画像データ取得の指示が出されると、デジタルカメラ1とホスト90との間の通信回線が確保され(ステップS511)、デジタルカメラ1の全体制御部50に対して所定の画像信号の出力指示が与えられる(ステップS512)。この出力指示を受けて全体制御部50は、画像メモリ411(図2参照)に記憶されている静止画像の画像信号をファイル化すると共に当該画像ファイルのヘッダ部分に、前記静止画像が撮像された際の光電変換特性に関する情報(変曲点情報)を、光電変換特性情報記憶部516から読み出して書き込む。そして前記変曲点情報付きの画像ファイルは、I/O部414を介してホスト90へ送信され、情報伝送手段42を経由してホスト90に取得される(ステップS513)。
ホスト90の画像信号取得部901では前記画像ファイルの画像信号が取り込まれ、一方変曲点情報取得部902では、前記画像ファイルのヘッダ部分に記録された変曲点情報が読み出される(ステップS514)。この変曲点情報に応じて、上述の手法により階調変換部903において、図26に示したような第1の階調変換特性及び第2の階調変換特性を備える階調変換LUT、若しくは図27に示したような第3の階調変換特性をも含む階調変換LUTが作成される(ステップS515)。そして、階調変換部903が備える階調変換演算部により階調変換処理がなされ(ステップS516)、操作部911からの指示により、その諧調変換後の出力画像信号に基づく画像が表示部912にて表示されたり、或いはメモリ部904に記憶(保存)されたりする(ステップS517)。なお、前記画像表示又は保存にあたり、ホスト90のユーザが任意に階調変換LUTを変更して、新たな階調変換出力を生成するように構成しても良い。
その後、続いて送信されてくる静止画像(画像ファイル)について、変曲点に変更があるか否かが変曲点情報取得部902において確認され(ステップS518)、変更があった場合は(ステップS518でYes)、前記ステップS515に戻り、変更後の変曲点に応じた階調変換LUTが作成され、当該新たな階調変換LUTに基づく階調変換処理が行われる。このような処理が、デジタルカメラ1とホスト90との間の通信回線の切断(ステップS519)まで継続される。
図31は、動画像(Motion−JPEG画像)を取得する場合の動作フローの一例である。この場合、上記と同様にデジタルカメラ1とホスト90との間の通信回線が確保されたら(ステップS521)、デジタルカメラ1の全体制御部50に対して1フレームずつの画像信号の出力指示が与えられる(ステップS522)。この出力指示を受けて全体制御部50は、各フレーム画像ファイルのヘッダ部分に、前記動画像が撮像された際の変曲点情報を、光電変換特性情報記憶部516から読み出して書き込む。そして前記変曲点情報付きのフレーム画像ファイルは、I/O部414を介してホスト90へ送信され、情報伝送手段42を経由してホスト90に取得される(ステップS523)。
ホスト90の画像信号取得部901では前記画像ファイルの画像信号が取り込まれ、一方変曲点情報取得部902では、前記画像ファイルのヘッダ部分に記録された変曲点情報が読み出される(ステップS524)。この変曲点情報に応じて、同様に階調変換部903において、図26に示したような第1の階調変換特性及び第2の階調変換特性を備える階調変換LUT、若しくは図27に示したような第3の階調変換特性をも含む階調変換LUTが作成される(ステップS525)。そして、階調変換部903によりフレーム画像の階調変換処理がなされ(ステップS526)、操作部911からの指示により、その諧調変換後の出力画像信号に基づく画像が表示部912にて表示されたり(ライブビュー表示の場合もある)、或いはメモリ部904に記憶(保存)されたりする(ステップS527)。
その後、ストリームの終了(ホスト90による画像信号取得動作の終了)指示があるかが確認され(ステップS528)、ストリーム終了指示がない場合は(ステップS528でNo)、前記ステップS522に戻り、次のフレーム画像について同様な処理が行われる。この際、フレーム画像ファイルのヘッダ部に書き込まれている変曲点情報に変更があった場合は、前記ステップS525において、変更後の変曲点に応じた階調変換LUTが作成され、当該新たな階調変換LUTに基づく階調変換処理が行われる。このような処理が、デジタルカメラ1とホスト90との間の通信回線の切断(ステップS529)まで継続される。
図32は、動画像(MPEG画像)を取得する場合の動作フローの一例である。この場合、上記と同様にデジタルカメラ1とホスト90との間の通信回線が確保されたら(ステップS531)、先ずデジタルカメラ1の全体制御部50に対して変曲点情報の出力指示が出され(ステップS532)、これを受けて全体制御部50は光電変換情報記憶部516に記憶されている変曲点情報を読み出してホスト90へ送信し、変曲点情報取得部902が当該変曲点情報を取得する(ステップS533)。なお変曲点情報は、フレーム画像のアドレス等に関連付けて記憶されている。かかる変曲点情報に応じて、予め階調変換部903において、図26に示したような第1の階調変換特性及び第2の階調変換特性を備える階調変換LUT、若しくは図27に示したような第3の階調変換特性をも含む階調変換LUTが作成される(ステップS534)。
このような準備が整ったら、デジタルカメラ1の全体制御部50に対して1フレームずつの画像信号の出力指示が与えられ(ステップS535)、全体制御部50によりフレーム画像ファイルは、I/O部414を介してホスト90へ送信され、情報伝送手段42を経由してホスト90に取得される(ステップS536)。そして、予め作成されている前記階調変換LUTに基づいて、階調変換部903によりフレーム画像の階調変換処理がなされ(ステップS537)、操作部911からの指示により、その諧調変換後の出力画像信号に基づく画像が表示部912にて表示されたり(ライブビュー表示の場合もある)、或いはメモリ部904に記憶(保存)されたりする(ステップS538)。
その後、ストリームの終了(ホスト90による画像信号取得動作の終了)指示があるかが確認され(ステップS539)、ストリーム終了指示がない場合は(ステップS539でNo)、前記ステップS535に戻り、次のフレーム画像について同様な処理が行われる。この際、変曲点情報に変更があった場合は、変更後の変曲点に応じた階調変換LUTが作成されるので、前記ステップS535〜ステップS538までの処理は、新たな階調変換LUTに基づく階調変換処理が行われることとなる。このような処理が、デジタルカメラ1とホスト90との間の通信回線の切断(ステップS540)まで継続される。
次に、デジタルカメラ1とホスト90との間の情報伝達がストレージメディア107で行われる場合の動作フローについて、図33〜図35に基づいて説明する。図33は、デジタルカメラ1により撮像された静止画像が記録されたストレージメディア107から、画像信号を取得する場合の動作フローの一例である。ストレージメディア107がホスト90のメディアポート913に装着され、操作部911により画像データ取得の指示が出されると、ストレージメディア107に記憶されている静止画像の画像ファイルが取得される(ステップS611)。なお、この画像ファイルのヘッダ部分には、前記静止画像が撮像された際の光電変換特性に関する情報(変曲点情報)が書き込まれている。
ホスト90の画像信号取得部901では前記画像ファイルの画像信号が取り込まれ、一方変曲点情報取得部902では、前記画像ファイルのヘッダ部分に記録された変曲点情報が読み出される(ステップS612)。この変曲点情報に応じて、上述の手法により階調変換部903において、図26に示したような第1の階調変換特性及び第2の階調変換特性を備える階調変換LUT、若しくは図27に示したような第3の階調変換特性をも含む階調変換LUTが作成される(ステップS613)。そして、階調変換部903が備える階調変換演算部により階調変換処理がなされ(ステップS614)、操作部911からの指示により、その諧調変換後の出力画像信号に基づく画像が表示部912にて表示されたり、或いはメモリ部904に記憶(保存)されたりする(ステップS615)。なお、前記画像表示又は保存にあたり、ホスト90のユーザが任意に階調変換LUTを変更して、新たな階調変換出力を生成するように構成しても良い。
その後、次に読み出す静止画像(画像ファイル)について、変曲点に変更があるか否かが変曲点情報取得部902において確認され(ステップS616)、変更があった場合は(ステップS616でYes)、前記ステップS613に戻り、変更後の変曲点に応じた階調変換LUTが作成され、当該新たな階調変換LUTに基づく階調変換処理が行われる。このような処理が、例えばストレージメディア107に記録された画像ファイルの数だけ繰り返される。
図34は、動画像(Motion−JPEG画像)を取得する場合の動作フローの一例である。この場合、上記と同様にストレージメディア107に記憶されている動画像のフレーム画像ファイルが取得され(ステップS621)、画像信号取得部901では前記画像ファイルの画像信号が取り込まれ、一方変曲点情報取得部902では、前記画像ファイルのヘッダ部分に記録された変曲点情報が読み出される(ステップS622)。この変曲点情報に応じて、同様に階調変換部903において、図26に示したような第1の階調変換特性及び第2の階調変換特性を備える階調変換LUT、若しくは図27に示したような第3の階調変換特性をも含む階調変換LUTが作成される(ステップS623)。そして、階調変換部903によりフレーム画像の階調変換処理がなされ(ステップS624)、操作部911からの指示により、その諧調変換後の出力画像信号に基づく画像が表示部912にて表示されたり、或いはメモリ部904に記憶(保存)されたりする(ステップS625)。
その後、ストリームの終了(ストレージメディア107からの動画像信号取得動作の終了)指示があるかが確認され(ステップS626)、ストリーム終了指示がない場合は(ステップS626でNo)、前記ステップS621に戻り、次のフレーム画像について同様な処理が行われる。この際、フレーム画像ファイルのヘッダ部に書き込まれている変曲点情報に変更があった場合は、前記ステップS623において、変更後の変曲点に応じた階調変換LUTが作成され、当該新たな階調変換LUTに基づく階調変換処理が行われる。このような処理が、ストリームの終了(ステップS626でYes)まで継続される。
図35は、動画像(MPEG画像)を取得する場合の動作フローの一例である。この場合、ストレージメディア107がホスト90のメディアポート913に装着されると、先ずストレージメディア107に記憶されている変曲点情報が読み出され、変曲点情報取得部902が当該変曲点情報を取得する(ステップS631)。なお変曲点情報は、フレーム画像のアドレス等に関連付けて記憶されている。かかる変曲点情報に応じて、予め階調変換部903において、図26に示したような第1の階調変換特性及び第2の階調変換特性を備える階調変換LUT、若しくは図27に示したような第3の階調変換特性をも含む階調変換LUTが作成される(ステップS632)。
このような準備が整ったら、ストレージメディア107から1フレームずつの画像信号が読み出され(ステップS633)、予め作成されている前記階調変換LUTに基づいて、階調変換部903によりフレーム画像の階調変換処理がなされる(ステップS634)。そして、操作部911からの指示により、その諧調変換後の出力画像信号に基づく画像が表示部912にて表示されたり、或いはメモリ部904に記憶(保存)されたりする(ステップS635)。
その後、ストリームの終了(ストレージメディア107からの動画像信号取得動作の終了)指示があるかが確認され(ステップS636)、ストリーム終了指示がない場合は(ステップS636でNo)、前記ステップS633に戻り、次のフレーム画像について同様な処理が行われる。この際、変曲点情報に変更があった場合は、変更後の変曲点に応じた階調変換LUTが作成されるので、前記ステップS633〜ステップS635までの処理は、新たな階調変換LUTに基づく階調変換処理が行われることとなる。このような処理が、ストリームの終了(ステップS636でYes)まで継続されるものである。
以上、本実施形態にかかる撮像システムSの動作について説明したが、そのような動作を可能とする撮像システム動作プログラムを作成してCD−ROM等に記録し、例えば上述のホスト90として用いられるパーソナルコンピュータ等に前記CD−ROM等から当該プログラムをダウンロードさせることで、上記撮像システムSの動作を可能とする構成であっても良い。
1 デジタルカメラ(撮像装置)
100 操作部
107 ストレージメディア(情報記録媒体)
20 鏡胴
30 撮像センサ
31 タイミング生成回路
40 信号処理部
405 評価値検出部
409 階調変換部(階調変換手段)
4092 階調変換LUT記憶部(階調変換情報記憶手段)
4094 階調変換情報書換え部(階調変換情報書換え手段)
42 情報伝送手段
50 全体制御部(変曲点制御手段/露出制御手段)
511 露光量制御パラメータ算出部(露光量制御手段)
512 ダイナミックレンジ制御パラメータ算出部(ダイナミックレンジ制御手段)
516 光電変換特性情報記憶部
60 駆動部
90 ホスト(画像信号取得手段)
901 画像信号取得部
902 変曲点情報取得部
903 階調変換部
S 撮像システム
100 操作部
107 ストレージメディア(情報記録媒体)
20 鏡胴
30 撮像センサ
31 タイミング生成回路
40 信号処理部
405 評価値検出部
409 階調変換部(階調変換手段)
4092 階調変換LUT記憶部(階調変換情報記憶手段)
4094 階調変換情報書換え部(階調変換情報書換え手段)
42 情報伝送手段
50 全体制御部(変曲点制御手段/露出制御手段)
511 露光量制御パラメータ算出部(露光量制御手段)
512 ダイナミックレンジ制御パラメータ算出部(ダイナミックレンジ制御手段)
516 光電変換特性情報記憶部
60 駆動部
90 ホスト(画像信号取得手段)
901 画像信号取得部
902 変曲点情報取得部
903 階調変換部
S 撮像システム
Claims (14)
- 入射光量に応じた電気信号を発生すると共に、その光電変換特性が入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサと、
前記撮像センサの線形特性領域と対数特性領域との変曲点を切り替わり点とする、線形特性領域用の階調変換情報である第1の階調変換特性と、対数特性領域用の階調変換情報である第2の階調変換特性との少なくとも2種類の階調変換情報を記憶する階調変換情報記憶手段と、
前記撮像センサにより撮影された画像信号を、前記階調変換情報記憶手段に記憶されている階調変換情報に基づいて階調変換する階調変換手段と
を具備することを特徴とする撮像装置。 - 対数特性領域用の階調変換情報である第2の階調変換特性が、線形特性領域用の階調変換情報である第1の階調変換特性よりも階調変換度合いが高い階調変換特性を有していることを特徴とする請求項1記載の撮像装置。
- 線形特性領域用の階調変換情報である第1の階調変換特性が、階調変換度合いが他の部分よりも高い高階調変換特性部を有していることを特徴とする請求項1記載の撮像装置。
- 撮像センサの線形特性領域と対数特性領域との変曲点を制御する変曲点制御手段と、
該変曲点制御手段により変曲点が変化された場合に、前記階調変換情報記憶手段に記憶されている階調変換情報を、変化後の変曲点に合わせて前記切り替わり点を変更した新たな階調変換情報に書き換える階調変換情報書換え手段と
をさらに具備することを特徴とする請求項1〜3のいずれかに記載の撮像装置。 - 変曲点制御手段が、露出制御用の被写体輝度に相当する撮像センサの出力が線形特性領域から得られるよう変曲点を制御する露出制御手段であることを特徴とする請求項4記載の撮像装置。
- 被写体の輝度を、主被写体輝度と周辺被写体輝度とに分けて検出する輝度検出手段を備え、
階調変換情報書換え手段は、前記輝度検出手段が検出する主被写体の輝度情報に基づいて、階調変換情報記憶手段に記憶されている階調変換情報の主被写体輝度範囲部分に相当する部分を、階調変換度合いが比較的高い第3の階調変換特性に書き換えることを特徴とする請求項4記載の撮像装置。 - 変曲点制御手段が、露出制御用の被写体輝度に相当する撮像センサの出力が線形特性領域から得られるよう変曲点を制御する露出制御手段であり、前記露出制御用の被写体輝度が前記主被写体輝度範囲部分とされることで、主被写体が撮像センサの線形特性領域内で撮像されるものであって、
階調変換情報書換え手段は、少なくとも線形特性領域用の階調変換情報である第1の階調変換特性のうち、前記主被写体輝度範囲部分に相当する部分を、前記第3の階調変換特性に部分的に書き換えることを特徴とする請求項4記載の撮像装置。 - 露出制御手段が、撮像センサに対する露光量を制御する露光量制御手段であることを特徴とする請求項5又は7記載の撮像装置。
- 露出制御手段が、撮像センサの光電変換特性を制御するダイナミックレンジ制御手段であることを特徴とする請求項5又は7記載の撮像装置。
- 入射光量に応じた電気信号を発生すると共に、その光電変換特性が入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサと、前記撮像センサの線形特性領域と対数特性領域との変曲点を制御する変曲点制御手段とを具備する撮像装置と、
前記撮像センサにより撮像された画像信号と、前記変曲点制御手段により制御された変曲点情報とを、前記撮像装置から外部へ伝送する情報伝送手段と、
前記情報伝送手段から前記画像信号と変曲点情報とを取得すると共に、取得された画像信号に所定の階調変換を施して再生用画像信号を生成する画像信号取得手段とを備え、
前記画像信号取得手段は、
前記撮像センサの線形特性領域と対数特性領域との変曲点を切り替わり点とする、線形特性領域用の階調変換情報である第1の階調変換特性と、対数特性領域用の階調変換情報である第2の階調変換特性との少なくとも2種類の階調変換情報を記憶する階調変換情報記憶部と、
取得された画像信号を、前記階調変換情報記憶部に記憶されている階調変換情報に基づいて階調変換する階調変換部と
を具備することを特徴とする撮像システム。 - 撮像装置が備える変曲点制御手段により変曲点が変化され、この変化された変曲点情報が画像信号取得手段により取得された場合に、前記階調変換情報記憶部に記憶されている階調変換情報を、変化後の変曲点に合わせて前記切り替わり点を変更した新たな階調変換情報に書き換える階調変換情報書換え部が、前記画像信号取得手段に備えられていることを特徴とする請求項10記載の撮像システム。
- 情報伝送手段が、通信ケーブル若しくは有線又は無線の通信ネットワークからなることを特徴とする請求項10記載の撮像システム。
- 情報伝送手段が、撮像装置及び画像信号取得手段に装着可能な情報記録媒体からなることを特徴とする請求項10記載の撮像システム。
- 入射光量に応じた電気信号を発生すると共に、その光電変換特性が入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサと、前記撮像センサの線形特性領域と対数特性領域との変曲点を制御する変曲点制御手段とを具備する撮像装置と、
前記撮像センサにより撮像された画像信号と、前記変曲点制御手段により制御された変曲点情報とを、前記撮像装置から外部へ伝送する情報伝送手段と、
前記情報伝送手段から前記画像信号と変曲点情報とを取得すると共に、取得された画像信号に所定の階調変換を施して再生用画像信号を生成する画像信号取得手段とを備え、
前記画像信号取得手段は、前記撮像センサの線形特性領域と対数特性領域との変曲点を切り替わり点とする、線形特性領域用の階調変換情報である第1の階調変換特性と、対数特性領域用の階調変換情報である第2の階調変換特性との少なくとも2種類の階調変換情報を記憶する階調変換情報記憶部と、取得された画像信号を、前記階調変換情報記憶部に記憶されている階調変換情報に基づいて階調変換する階調変換部とを具備する撮像システムの動作を可能とする撮像システム動作プログラムであって、
前記撮像装置から情報伝送手段を介して変曲点情報を前記画像信号取得手段に取得させると共に、前記階調変換情報記憶部に記憶されている階調変換情報を、画像信号取得手段の取得した変曲点情報に基づいて前記切り替わり点を変更した新たな階調変換情報に書き換える動作を行わせることを特徴とする撮像システム動作プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004164093A JP2005348005A (ja) | 2004-06-02 | 2004-06-02 | 撮像装置、撮像システム及び撮像システム動作プログラム |
US11/142,037 US8213063B2 (en) | 2004-06-02 | 2005-06-01 | Image sensing apparatus, image sensing system, and operating program product for image sensing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004164093A JP2005348005A (ja) | 2004-06-02 | 2004-06-02 | 撮像装置、撮像システム及び撮像システム動作プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005348005A true JP2005348005A (ja) | 2005-12-15 |
Family
ID=35480249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004164093A Pending JP2005348005A (ja) | 2004-06-02 | 2004-06-02 | 撮像装置、撮像システム及び撮像システム動作プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8213063B2 (ja) |
JP (1) | JP2005348005A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007189405A (ja) * | 2006-01-12 | 2007-07-26 | Konica Minolta Holdings Inc | 撮像装置及び撮像方法 |
JP2007208833A (ja) * | 2006-02-03 | 2007-08-16 | Fujifilm Corp | デジタルカメラ及び画像処理方法 |
WO2007145099A1 (ja) * | 2006-06-14 | 2007-12-21 | Konica Minolta Holdings, Inc. | 撮像装置 |
US8013918B2 (en) | 2006-03-20 | 2011-09-06 | Konica Minolta Holdings, Inc. | Image capturing apparatus including an image sensor having three photoelectric conversion characteristics with each corresponding to a range of luminance intensity |
US8218027B2 (en) | 2009-04-09 | 2012-07-10 | Hand Held Products, Inc. | Imaging terminal having color correction |
US9183425B2 (en) | 2009-04-09 | 2015-11-10 | Hand Held Products, Inc. | Image sensor pixel array having output response curve including logarithmic pattern for image sensor based terminal |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4556722B2 (ja) | 2004-05-31 | 2010-10-06 | コニカミノルタホールディングス株式会社 | 撮像装置 |
JP2005348005A (ja) | 2004-06-02 | 2005-12-15 | Konica Minolta Holdings Inc | 撮像装置、撮像システム及び撮像システム動作プログラム |
EP1781043B1 (en) * | 2004-07-07 | 2013-01-23 | Nikon Corporation | Image processor and computer program product |
EP3364647B1 (en) * | 2008-07-17 | 2023-10-11 | Nikon Corporation | Imaging apparatus, image processing program, image processing apparatus, and image processing method |
JP5247397B2 (ja) * | 2008-12-05 | 2013-07-24 | キヤノン株式会社 | 撮像装置及び撮像方法 |
JP5185849B2 (ja) * | 2009-02-03 | 2013-04-17 | オリンパス株式会社 | 画像処理装置、プログラム、及び方法、並びに撮像システム |
JP6327246B2 (ja) * | 2013-04-17 | 2018-05-23 | コニカミノルタ株式会社 | 画像読取装置及び画像読取装置の補正方法 |
KR20220010264A (ko) * | 2020-07-17 | 2022-01-25 | 에스케이하이닉스 주식회사 | 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07298132A (ja) | 1994-04-28 | 1995-11-10 | Toshiba Lighting & Technol Corp | シャッターの制御装置とその制御装置を用いたテレビドアホン |
JP3576715B2 (ja) * | 1996-09-10 | 2004-10-13 | 本田技研工業株式会社 | 光センサ回路 |
US6573927B2 (en) * | 1997-02-20 | 2003-06-03 | Eastman Kodak Company | Electronic still camera for capturing digital image and creating a print order |
US6160532A (en) * | 1997-03-12 | 2000-12-12 | Seiko Epson Corporation | Digital gamma correction circuit, gamma correction method, and a liquid crystal display apparatus and electronic device using said digital gamma correction circuit and gamma correction method |
JPH11298799A (ja) * | 1998-04-15 | 1999-10-29 | Honda Motor Co Ltd | 光センサ信号処理装置 |
US6323479B1 (en) * | 1998-09-16 | 2001-11-27 | Dalsa, Inc. | Sensor pixel with linear and logarithmic response |
US6836288B1 (en) * | 1999-02-09 | 2004-12-28 | Linvatec Corporation | Automatic exposure control system and method |
JP2001028712A (ja) * | 1999-07-12 | 2001-01-30 | Minolta Co Ltd | 固体撮像装置 |
US8379126B2 (en) * | 1999-06-24 | 2013-02-19 | Konica Minolta Holdings, Inc. | Image-sensing apparatus |
JP4269421B2 (ja) | 1999-08-11 | 2009-05-27 | 株式会社ニコン | 電子カメラ |
US7088390B2 (en) * | 2000-06-19 | 2006-08-08 | Olympus Optical Co., Ltd. | Imaging apparatus in which exposure control is performed to suppress changes in sensitivity due to changes in gradation mode |
JP4374745B2 (ja) * | 2000-07-19 | 2009-12-02 | コニカミノルタホールディングス株式会社 | 固体撮像装置 |
JP2003032542A (ja) * | 2001-07-19 | 2003-01-31 | Mitsubishi Electric Corp | 撮像装置 |
JP3493405B2 (ja) * | 2000-08-31 | 2004-02-03 | ミノルタ株式会社 | 固体撮像装置 |
AU2002224027A1 (en) * | 2000-12-01 | 2002-06-11 | Honda Giken Kogyo Kabushiki Kaisha | Image sensor output correcting device |
JP4360041B2 (ja) | 2001-03-29 | 2009-11-11 | コニカミノルタホールディングス株式会社 | 撮像装置 |
JP3780178B2 (ja) * | 2001-05-09 | 2006-05-31 | ファナック株式会社 | 視覚センサ |
US6821808B2 (en) * | 2002-08-23 | 2004-11-23 | Micron Technology, Inc. | CMOS APS with stacked avalanche multiplication layer which provides linear and logarithmic photo-conversion characteristics |
JP4013700B2 (ja) | 2002-08-26 | 2007-11-28 | コニカミノルタホールディングス株式会社 | 撮像装置 |
US6853806B2 (en) * | 2002-09-13 | 2005-02-08 | Olympus Optical Co., Ltd. | Camera with an exposure control function |
JP4046276B2 (ja) | 2002-10-24 | 2008-02-13 | 富士フイルム株式会社 | デジタルカメラ |
JP4185771B2 (ja) * | 2002-12-27 | 2008-11-26 | シャープ株式会社 | 固体撮像装置 |
US7545412B2 (en) * | 2003-09-09 | 2009-06-09 | Konica Minolta Holdings, Inc. | Image-sensing apparatus with a solid-state image sensor switchable between linear and logarithmic conversion |
US7714928B2 (en) * | 2004-05-28 | 2010-05-11 | Konica Minolta Holdings, Inc. | Image sensing apparatus and an image sensing method comprising a logarithmic characteristic area and a linear characteristic area |
JP4556722B2 (ja) * | 2004-05-31 | 2010-10-06 | コニカミノルタホールディングス株式会社 | 撮像装置 |
JP2005348005A (ja) | 2004-06-02 | 2005-12-15 | Konica Minolta Holdings Inc | 撮像装置、撮像システム及び撮像システム動作プログラム |
JP2006020055A (ja) * | 2004-07-01 | 2006-01-19 | Konica Minolta Holdings Inc | 撮像装置 |
US7956903B2 (en) * | 2006-06-14 | 2011-06-07 | Konica Minolta Holdings, Inc. | Imaging apparatus |
-
2004
- 2004-06-02 JP JP2004164093A patent/JP2005348005A/ja active Pending
-
2005
- 2005-06-01 US US11/142,037 patent/US8213063B2/en not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007189405A (ja) * | 2006-01-12 | 2007-07-26 | Konica Minolta Holdings Inc | 撮像装置及び撮像方法 |
JP4710617B2 (ja) * | 2006-01-12 | 2011-06-29 | コニカミノルタホールディングス株式会社 | 撮像装置及び撮像方法 |
JP2007208833A (ja) * | 2006-02-03 | 2007-08-16 | Fujifilm Corp | デジタルカメラ及び画像処理方法 |
JP4719020B2 (ja) * | 2006-02-03 | 2011-07-06 | 富士フイルム株式会社 | デジタルカメラ及び画像処理方法 |
US8013918B2 (en) | 2006-03-20 | 2011-09-06 | Konica Minolta Holdings, Inc. | Image capturing apparatus including an image sensor having three photoelectric conversion characteristics with each corresponding to a range of luminance intensity |
WO2007145099A1 (ja) * | 2006-06-14 | 2007-12-21 | Konica Minolta Holdings, Inc. | 撮像装置 |
US7956903B2 (en) | 2006-06-14 | 2011-06-07 | Konica Minolta Holdings, Inc. | Imaging apparatus |
JP5012796B2 (ja) * | 2006-06-14 | 2012-08-29 | コニカミノルタホールディングス株式会社 | 撮像装置 |
US8218027B2 (en) | 2009-04-09 | 2012-07-10 | Hand Held Products, Inc. | Imaging terminal having color correction |
US9183425B2 (en) | 2009-04-09 | 2015-11-10 | Hand Held Products, Inc. | Image sensor pixel array having output response curve including logarithmic pattern for image sensor based terminal |
US9609241B2 (en) | 2009-04-09 | 2017-03-28 | Hand Held Products, Inc. | Image sensor pixel array having output response curve including logarithmic pattern for image sensor based terminal |
Also Published As
Publication number | Publication date |
---|---|
US8213063B2 (en) | 2012-07-03 |
US20050280868A1 (en) | 2005-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4556722B2 (ja) | 撮像装置 | |
JP5045791B2 (ja) | 撮像装置及び撮像方法 | |
US8213063B2 (en) | Image sensing apparatus, image sensing system, and operating program product for image sensing system | |
US7525579B2 (en) | Image sensing apparatus and image processing method for use therein | |
US7667764B2 (en) | Image sensing apparatus | |
JP2006020055A (ja) | 撮像装置 | |
JP4791331B2 (ja) | 撮像装置及び露出制御方法 | |
JP2007053499A (ja) | ホワイトバランス制御装置及び撮像装置 | |
JP2010147786A (ja) | 撮像装置及び画像処理方法 | |
JP4661285B2 (ja) | 撮像装置及び撮像方法 | |
JP2006050541A (ja) | 撮像装置 | |
JP4736792B2 (ja) | 撮像装置及びそれに用いる画像処理方法 | |
JP4114707B2 (ja) | 撮像装置 | |
JP4507929B2 (ja) | 撮像装置 | |
JP2008017198A (ja) | 光源色算出装置、光源色算出方法及び撮影装置 | |
JPWO2006103880A1 (ja) | 撮像装置 | |
JP2006109327A (ja) | 撮像装置及び階調変換方法 | |
JP2016046610A (ja) | 撮像装置 | |
JP5045788B2 (ja) | 撮像装置 | |
JP4720118B2 (ja) | 撮像装置 | |
JP2017126920A (ja) | 撮像装置 | |
JP2006013892A (ja) | 撮像装置 | |
JP2006003727A (ja) | 撮像装置及び撮像方法 | |
JP2003116047A (ja) | 撮像装置および撮影制御方法 | |
JP2006013593A (ja) | 撮像装置 |