JP2006109327A - 撮像装置及び階調変換方法 - Google Patents

撮像装置及び階調変換方法 Download PDF

Info

Publication number
JP2006109327A
JP2006109327A JP2004296193A JP2004296193A JP2006109327A JP 2006109327 A JP2006109327 A JP 2006109327A JP 2004296193 A JP2004296193 A JP 2004296193A JP 2004296193 A JP2004296193 A JP 2004296193A JP 2006109327 A JP2006109327 A JP 2006109327A
Authority
JP
Japan
Prior art keywords
characteristic
luminance
gamma
gradation conversion
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004296193A
Other languages
English (en)
Inventor
Tetsuya Katagiri
哲也 片桐
Koichi Kanbe
幸一 掃部
Kazumutsu Sato
一睦 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2004296193A priority Critical patent/JP2006109327A/ja
Publication of JP2006109327A publication Critical patent/JP2006109327A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 線形特性領域だけでなく対数特性領域においても高い階調性が確保される好適な階調変換を行える撮像装置及び階調変換方法を提供する。
【解決手段】 入射光量に応じた電気信号を発生すると共に、その光電変換特性が入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサと、ガンマ変換による階調変換を行うガンマ特性部810と、ガンマ変換によらない階調変換を行う非ガンマ特性部820とからなる階調変換特性800を作成する階調変換特性作成手段と、撮像センサにより撮影された画像信号を、階調変換特性作成手段により作成された階調変換特性800に基づいて階調変換する階調変換手段とを備える。
【選択図】 図21

Description

本発明は、入射光量に応じた電気信号を発生する撮像センサを具備する撮像装置に関し、特に、その光電変換特性として入射光量に対して上記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して上記電気信号が対数的に変換されて出力される対数特性領域とを備えている(線形特性の動作と対数特性の動作とが切り替え可能とされている)撮像センサを用いた撮像装置、及び撮像センサによって取得された画像信号に対する階調変換処理における階調変換方法に関するものである。
従来、フォトダイオード等の光電変換素子をマトリクス状に配置してなる固体撮像素子に、MOSFET等を備えた対数変換回路を付加し、MOSFETのサブスレッショルド特性を利用することで、固体撮像素子の出力特性を入射光量に対して電気信号が対数的に変換されるようにした撮像センサ(「LOGセンサ」とも呼ばれている)が知られている。このような撮像センサにおいて、固体撮像素子本来の出力特性、すなわち入射光量に応じて電気信号が線形的に変換されて出力される線形動作状態と、前述の対数動作状態とを切り替えることが可能とされた撮像センサが知られている(例えば特許文献1参照)。
この撮像センサを線形動作状態で用いた場合、光電変換素子で発生した電荷量に比例した出力が得られることから、低輝度の被写体でも高コントラストな(高い階調性を有した)画像信号が得られる等の利点がある反面、ダイナミックレンジが狭くなってしまうという不都合がある。一方、撮像センサを対数動作状態で用いた場合、入射光量に対して自然対数的に変換された出力が得られることから、広いダイナミックレンジが確保できるという利点がある反面、画像信号が対数圧縮されることからコントラスト性が悪くなるという不都合がある。
ところで、一般に、デジタル撮像装置においては、撮像センサにより取得された画像信号に対し、ホワイトバランス補正処理、色補間処理、或いは階調変換処理といった各種のデジタル信号処理が施される。ここで、上記階調変換処理とは、R、G、B各色成分の画像信号の階調特性を、当該デジタル撮像装置が備えているLCD表示部や外部出力されるモニターテレビ等の階調特性にマッチするよう補正するものであり、当該階調変換処理においては、例えば画像の暗い部分の階調を持ち上げ、明るい部分の階調を下げる(潰す)といった人間の視覚特性に応じてなされる所謂ガンマ変換(ガンマ)による階調変換特性が広く利用されている。
特開2002−77733号公報
しかしながら、上述のように線形特性領域と対数特性領域とを備える撮像センサを用いた場合、当該撮像センサの撮像可能領域全体に亘って画一的に階調変換すると、被写体輝度が忠実に再現される階調変換処理が行えないという問題がある。図28は、線形特性領域281と対数特性領域282とを備えた光電変換特性280を有する撮像センサからの出力データが、ガンマ変換特性283に基づいて階調変換される様子を示すものである。同図に示すように、対数特性領域282においては、撮像センサへの入射輝度DRin(広いレンジの輝度情報)に対して自然対数的に変換され、センサ出力284として圧縮(対数圧縮;階調圧縮)されて出力される。
このような対数特性領域282を備えた光電変換特性において、線形特性領域281は一般の撮像装置と同じ階調を確保したいという観点からも、ガンマ変換特性283を領域全体に亘って画一的に適用したとすると、上記輝度情報が圧縮されたセンサ出力284が、階調変換出力DRoutへとさらに潰れてしまう(圧縮されてしまう)ことになり、例えば元々が青空と白い雲とからなるシーンなどでは、階調の無い(コントラストが低い)白一面の空に見えるようになってしまう。
本発明は、上記事情に鑑みてなされたものであり、線形特性領域と対数特性領域とを備える撮像センサを用いた撮像装置において、この線形特性領域及び対数特性領域に応じた(各領域の長所を積極的に活用するべく)階調変換処理を施すことが可能な、すなわち、線形特性領域では従来の撮像装置と同じように階調が確保されるとともに、対数特性領域では輝度情報が潰れてしまうことのない(コントラストが向上された)好適な階調変換処理が可能な撮像装置、及び当該階調変換処理における階調変換方法を提供することを目的とする。
本発明の請求項1に係る撮像装置は、入射光量に応じた電気信号を発生すると共に、その光電変換特性が入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサと、ガンマ変換による階調変換を行うガンマ特性部と、前記ガンマ変換によらない階調変換を行う非ガンマ特性部とからなる階調変換特性を作成する階調変換特性作成手段と、前記撮像センサにより撮影された画像信号を、前記階調変換特性作成手段により作成された階調変換特性に基づいて階調変換する階調変換手段とを備えることを特徴とする。
上記構成によれば、階調変換特性作成手段によって、ガンマ変換による階調変換を行うガンマ特性部とガンマ変換によらない階調変換を行う非ガンマ特性部とからなる階調変換特性が作成され、この作成された階調変換特性に基づいて、撮像センサにより撮影された画像信号が階調変換手段によって階調変換されるため、階調変換特性を、従来のようにガンマ変換特性のみで画一的に構成されたものでなく、当該ガンマ変換特性からなるガンマ特性部と非ガンマ特性部という2つの変換特性から構成することができ、例えばこのガンマ特性部が線形特性領域に、一方の非ガンマ特性部が対数特性領域に対応するように構成した階調変換特性を用いることで、線形特性領域では従来の撮像装置と同じように(ガンマ変換特性により)階調が確保されるとともに、対数特性領域では(非ガンマ特性部による階調変換を用いることで)輝度情報が潰れてしまうことのない(コントラストが向上された)好適な階調変換処理が可能な撮像装置を提供することができる。
請求項2に係る撮像装置は、請求項1において、前記階調変換特性作成手段は、被写体の輝度情報に基づいて、前記ガンマ特性部と非ガンマ特性部との切り替わり点を設定する切替点設定手段を備えたものであって、当該切替点設定手段により設定された切り替わり点の情報に基づいて、少なくとも線形特性領域に対応するガンマ特性部と、少なくとも対数特性領域に対応する非ガンマ特性部とを作成することを特徴とする。この構成によれば、階調変換特性作成手段によって、これに備えられた切替点設定手段において被写体の輝度情報に基づきガンマ特性部と非ガンマ特性部との切り替わり点が設定されるため、撮影に際しての、輝度情報に基づいて得られた評価値を用いた露出制御等による光電変換特性の変化に合わせて当該階調変換特性を変化させることにより、撮影に応じた最適な階調変換を行うことが可能となる。また、この階調変換特性のガンマ特性部が少なくとも線形特性領域に対応されて、従来の場合と同様に線形特性領域ではガンマ変換特性により階調を確保することができるとともに、非ガンマ特性部が少なくとも対数特性領域に対応されて、当該非ガンマ特性部により対数特性領域での階調(輝度情報)が潰れてしまうのを防止するといったことが可能な階調変換を実現できる。
請求項3に係る撮像装置は、請求項2において、前記切替点設定手段は、被写体の輝度情報に基づいて得られた前記光電変換特性における線形特性領域と対数特性領域との変曲点の位置(Vth)を前記切り替わり点として設定することを特徴とする。この構成によれば、切替点設定手段によって変曲点の位置が切り替わり点として設定されるため、階調変換特性における当該切り替わり点を、変曲点の情報を利用して(光電変換特性の変化と連動させて)容易に設定することができる。
請求項4に係る撮像装置は、請求項3において、前記切替点設定手段は、前記切り替わり点を、階調変換入力及び階調変換出力を座標軸とする座標平面における、原点と当該階調変換入力及び階調変換出力の最大値である最大点とを通る仮想直線上の点としてさらに設定することを特徴とする。この構成によれば、切替点設定手段によって、切り替わり点が、原点と最大点とを通る仮想直線(対角線)上にくるように設定されるため、変曲点の位置の変化に応じて、この切り替わり点を直線に沿った位置として容易に設定することができる。また、当該直線上の切り替わり点の変化に応じたガンマ特性部の拡大・縮小処理が容易に行えるとともに、非ガンマ特性部の例えば直線特性をこの仮想直線上の特性として容易に作成することができる。
請求項5に係る撮像装置は、請求項3において、前記切替点設定手段は、前記切り替わり点を、階調変換入力及び階調変換出力を座標軸とする座標平面における、原点と当該階調変換入力及び階調変換出力の最大値である最大点とを両端点として有する前記ガンマ変換用のガンマ特性曲線上の点としてさらに設定することを特徴とする。この構成によれば、切替点設定手段によって、切り替わり点が、原点と最大点とに亘るガンマ特性曲線上にくるように設定されるため、切り替わりの変更に応じてガンマ特性部のガンマ変換特性を拡大・縮小させることなく、当該ガンマ特性曲線に示す同じガンマ変換特性(ガンマ階調変換LUT)を利用して容易にガンマ特性部を作成することができる。
請求項6に係る撮像装置は、請求項1〜5のいずれかにおいて、前記階調変換特性作成手段は、前記非ガンマ特性部を、対数特性領域における輝度情報に基づく直線特性として作成することを特徴とする。この構成によれば、階調変換特性作成手段によって、非ガンマ特性部が直線特性として作成されるため、非ガンマ特性部を容易に作成することができる。
請求項7に係る撮像装置は、請求項1〜5のいずれかにおいて、前記階調変換特性作成手段は、前記非ガンマ特性部を、対数特性領域における対数圧縮された輝度情報が線形特性として伸長処理された入力輝度範囲に応じた重み付け処理が施されてなる重み付け特性として作成することを特徴とする。この構成によれば、階調変換特性作成手段によって、非ガンマ特性部が、対数圧縮された輝度情報が伸長された入力輝度範囲に応じて重み付け処理が施されてなる重み付け特性として作成されるため、対数特性領域における実際の輝度情報が反映された非ガンマ特性部を作成することができ、例えば画像の明るく白一色となっている(白とびが発生している)部分のコントラストを強調する(階調性を回復させる)といったことが可能となり、画像の高輝度領域における好適な階調性を得ることができる。
請求項8に係る撮像装置は、請求項1〜5のいずれかにおいて、前記階調変換特性作成手段は、前記非ガンマ特性部を、対数特性領域における輝度情報に基づいてヒストグラム均等化処理が施されてなるヒストグラム均等化特性として作成することを特徴とする。この構成によれば、階調変換特性作成手段によって、非ガンマ特性部が、輝度情報に基づいてヒストグラム均等化処理が施されてなるヒストグラム均等化特性として作成されるため、従来一般的に用いられるヒストグラム均等化処理を利用して当該非ガンマ特性部におけるコントラストの強調を容易に行うことができ、画像の高輝度領域における好適な階調性を得ることができる。
請求項9に係る撮像装置は、請求項8において、前記階調変換特性作成手段は、対数特性領域における対数圧縮された輝度情報が線形特性として伸長処理された入力輝度範囲に応じた重み付け処理がなされた輝度情報に基づいて前記ヒストグラム均等化処理を行うことを特徴とする。この構成によれば、ヒストグラム均等化処理に用いる輝度情報として、対数圧縮された輝度情報が伸長された入力輝度範囲に応じて重み付け処理がなされたものが用いられるため、実際の輝度情報が反映されたヒストグラム均等化処理を行うことができ、当該非ガンマ特性部において更なるコントラストの強調を図ることが可能となり、画像の高輝度領域におけるより好適な階調性を得ることができる。
請求項10に係る撮像装置は、請求項1〜9のいずれかにおいて、被写体の輝度情報に基づいて、被写体を撮像するに際しての露出の制御に関する露出評価値を検出する露出評価値検出手段と、前記露出評価値に基づいて前記撮像センサの光電変換特性における線形特性領域と対数特性領域との変曲点を制御する変曲点制御手段とをさらに備え、前記階調変換特性作成手段は、当該変曲点制御手段の制御による変曲点の変化に応じて切替点設定手段により更新設定された切り替わり点に基づく新たな階調変換特性を作成することを特徴とする。この構成によれば、露出評価値検出手段により露出評価値が検出され、露出評価値に基づき変曲点制御手段によって変曲点が制御(変化)され、階調変換特性作成手段によって、変曲点の変化に応じて切替点設定手段により更新設定された切り替わり点に基づく新たな階調変換特性が作成される。このように、撮像装置の露出制御情報に依存して切り替わり点が更新され、この切り替わり点の更新の都度、新たに階調変換特性が作成される構成であるため、階調変換特性における当該切り替わり点を、露出制御情報、すなわち光電変換特性の変曲点の変化情報を利用して容易に設定することができる。
ここで、本発明で言う「露出制御(以下、「AE制御」とも言う)」の概念に関する定義につき、図5に基づいて説明しておく。いわゆる銀塩カメラと異なり、デジタルカメラやデジタルムービィ等の撮像装置においては、AE制御のための制御要素としては、撮像センサの光電変換特性に関連づけて(光電変換特性を作為的に変化させて)制御する方法と、撮像センサの撮像面に届く光の総量と光電変換後の光電変換電流の積分時間を調整する方法とがある。本明細書では、前者を「ダイナミックレンジ制御」と呼び、後者を「露光量制御」と呼ぶものとする。なお、上記「ダイナミックレンジ制御」は、例えば撮像センサの線形特性領域と対数特性領域との変曲点を制御することで実行される。また、上記「露光量制御」は、例えば絞りの開口量調整や、或いはメカニカルシャッタのシャッタスピードの調整、又は撮像センサに対するリセット動作の制御による電荷の積分時間制御により実行される。
請求項11に係る撮像装置は、請求項2において、前記切替点設定手段は、前記光電変換特性における線形特性領域と対数特性領域との変曲点の位置(Vth)と別に設けた切替点設定用パラメータ(Vx)の位置を前記切り替わり点として設定することを特徴とする。この構成によれば、切替点設定手段によって、変曲点の位置と別に設けた切替点設定用パラメータの位置が切り替わり点として設定されるため、必ずしも変曲点と連動させることなく、別に設けた切替点設定用パラメータを用いての自由度の高い切り替わり点の設定を行うことができる。
請求項12に係る撮像装置は、請求項11において、前記切替点設定手段は、前記切替点設定用パラメータの位置を線形特性領域における位置として設定することを特徴とする。この構成によれば、切替点設定手段により、切替点設定用パラメータの位置が線形特性領域における位置として設定されるため、ガンマ特性部を線形特性領域に、非ガンマ特性部を線形特性領域の一部及び対数特性領域に対して作成することになり、特に、非ガンマ特性部が対数特性領域だけでなく線形特性領域にまで拡張されることで、高輝度側のより広い範囲の画像に対して、例えば重み付け特性やヒストグラム均等化特性による階調変換を適用することができ、高輝度領域、すなわち画像の明るく白一色となっている部分等のコントラストをより強調させるといったことが可能となるとともに、全体に亘ってさらに好適に階調性が確保(回復)された良好な画像を得ることが可能となる。
請求項13に係る撮像装置は、請求項11又は12において、前記切替点設定手段は、前記切替点設定用パラメータに対応する切り替わり点を、階調変換入力及び階調変換出力を座標軸とする座標平面における、原点と当該階調変換入力及び階調変換出力の最大値である最大点とを両端点として有する前記ガンマ変換用のガンマ特性曲線上の点としてさらに設定することを特徴とする。この構成によれば、切替点設定手段によって、切替点設定用パラメータに対応する切り替わり点が、原点と最大点とに亘るガンマ特性曲線上にくるように設定されるため、切り替わり点の変更に応じてガンマ特性部のガンマ変換特性を拡大・縮小させることなく、当該ガンマ特性曲線に示す同じガンマ変換特性(ガンマ階調変換LUT)を利用して容易にガンマ特性部を作成することができる。
請求項14に係る撮像装置は、請求項11又は12において、前記切替点設定手段は、前記切替点設定用パラメータに対応する切り替わり点を、階調変換入力及び階調変換出力を座標軸とする座標平面における、原点と当該階調変換入力及び階調変換出力の最大値である最大点とを通る仮想直線上の点としてさらに設定することを特徴とする。この構成によれば、切替点設定手段によって、切替点設定用パラメータに対応する切り替わり点が、原点と最大点とを通る仮想直線(対角線)上にくるように設定されるため、切替点設定用パラメータの位置の変化に応じて、この切り替わり点を直線に沿った位置として容易に設定することができる。また、当該直線上の切り替わり点の変化に応じたガンマ特性部の拡大・縮小処理が容易に行えるとともに、非ガンマ特性部の例えば直線特性をこの仮想直線上の特性として容易に作成することができる。
請求項15に係る撮像装置は、請求項11〜14のいずれかにおいて、前記切替点設定手段は、前記切替点設定用パラメータを前記変曲点の位置に対する所定のオフセット情報に基づいて設定することを特徴とする。この構成によれば、切替点設定手段によって、切替点設定用パラメータが変曲点の位置に対する所定のオフセット情報に基づいて設定されるため、切替点設定用パラメータの位置を変曲点情報と当該オフセット情報とによって容易に決定することができるとともに、このオフセット情報を、例えば撮像装置に予め設定した固定値として与えたり、或いは撮像装置と接続したPC等におけるユーザによる指示入力情報として与えることができ、ひいては切り替わり点の設定における自由度が高くなる。
請求項16に係る撮像装置は、請求項11〜14のいずれかにおいて、被写体の輝度を、主被写体領域における主被写体輝度と周辺被写体領域における周辺被写体輝度とに分けて検出する輝度検出手段をさらに備え、前記切替点設定手段は、前記切替点設定用パラメータを当該主被写体輝度情報に基づいて設定することを特徴とする。この構成によれば、切替点設定手段によって、切替点設定用パラメータが主被写体輝度情報に基づいて設定されるため、例えば主被写体(主被写体領域)の平均画素値(平均輝度値;センサ出力平均値)をこの切替点設定用パラメータの値とするなどして、撮影において重要な主被写体領域の輝度情報をガンマ特性部の決定に反映することができ、少なくとも当該主被写体領域に対する、ガンマ変換特性による好適な階調性の確保を図ることができる。
請求項17に係る撮像装置は、請求項11〜14のいずれかにおいて、被写体の輝度を、主被写体領域における主被写体輝度と周辺被写体領域における周辺被写体輝度とに分けて検出する輝度検出手段をさらに備え、前記切替点設定手段は、前記切替点設定用パラメータを当該主被写体輝度情報と前記変曲点の位置情報とに基づいて設定することを特徴とする。この構成によれば、切替点設定手段によって、切替点設定用パラメータが主被写体輝度情報と変曲点の位置情報とに基づいて設定されるため、例えば主被写体の平均画素値と変曲点のセンサ出力値との平均値をこの切替点設定用パラメータの値とするなどして、変曲点情報とともに撮影において重要な主被写体領域の輝度情報をガンマ特性部の決定に反映することができ、少なくとも当該主被写体領域に対する、ガンマ変換特性によるより好適な階調性の確保を図ることができる。
請求項18に係る撮像装置は、請求項11〜14のいずれかにおいて、前記線形特性領域における輝度情報に基づく輝度ヒストグラムを算出するヒストグラム算出手段をさらに備え、前記切替点設定手段は、前記切替点設定用パラメータを当該輝度ヒストグラムに基づいて設定することを特徴とする。この構成によれば、切替点設定手段によって、切替点設定用パラメータが、線形特性領域における輝度情報を基に算出された輝度ヒストグラムに基づいて設定されるため、例えば当該輝度ヒストグラムにおける最大画素値(最大輝度)を切替点設定用パラメータとして採用するといった方法により、切替点設定用パラメータの決定において、好適な階調性を確保した画像を得るのに必要な線形特性領域の輝度情報をより容易に反映させることができる。
請求項19に係る撮像装置は、請求項11〜14のいずれかにおいて、被写体の輝度を、主被写体領域における主被写体輝度と周辺被写体領域における周辺被写体輝度とに分けて検出する輝度検出手段と、前記主被写体領域における輝度情報に基づく輝度ヒストグラムを算出するヒストグラム算出手段とをさらに備え、前記切替点設定手段は、前記切替点設定用パラメータを当該輝度ヒストグラムに基づいて設定することを特徴とする。この構成によれば、切替点設定手段によって、切替点設定用パラメータが、主被写体領域における輝度情報を基に算出された輝度ヒストグラムに基づいて設定されるため、例えば当該輝度ヒストグラムにおける最大画素値(最大輝度)を切替点設定用パラメータとして採用するといった方法により、切替点設定用パラメータの決定において、好適な階調性を確保した画像を得るのに必要な主被写体領域の輝度情報をより容易に反映させることができる。
請求項20に係る撮像装置は、請求項18又は19において、前記切替点設定手段は、前記輝度ヒストグラムに基づく平均輝度値に対する標準偏差を算出し、該標準偏差を用いて切替点設定用パラメータを設定することを特徴とする。この構成によれば、切替点設定手段によって、輝度ヒストグラムの平均輝度値に対する標準偏差に基づいて切替点設定用パラメータが設定されるため、切替点設定用パラメータの決定において、好適な階調性を確保した画像を得るのに必要な輝度ヒストグラムの輝度情報をより正確に且つ容易に反映させることができる。
請求項21に係る撮像装置は、請求項11〜20のいずれかにおいて、前記階調変換特性作成手段は、前記非ガンマ特性部を、前記切り替わり点の位置に応じて決定される対数特性領域、又は対数特性領域と線形特性領域の一部とからなる両特性領域における輝度情報に基づく直線特性として作成することを特徴とする。この構成によれば、階調変換特性作成手段によって、非ガンマ特性部が直線特性として作成されるため、非ガンマ特性部を容易に作成することができる。特に、非ガンマ特性部が対数特性領域だけでなく線形特性領域にまで拡張された両特性領域とされた場合には、高輝度領域或いは全体に亘ってさらに好適に階調性が確保された良好な画像を得ることができる。
請求項22に係る撮像装置は、請求項11〜20のいずれかにおいて、前記階調変換特性作成手段は、前記非ガンマ特性部を、前記切り替わり点の位置に応じて決定される対数特性領域、又は対数特性領域と線形特性領域の一部とからなる両特性領域において、対数特性領域における対数圧縮された輝度情報が線形特性として伸長処理された入力輝度範囲に応じた重み付け処理が全部又は一部に施されてなる重み付け特性として作成することを特徴とする。この構成によれば、階調変換特性作成手段によって、非ガンマ特性部が、対数圧縮された輝度情報が伸長された入力輝度範囲に応じた重み付け処理が全部又は一部に施されてなる重み付け特性(すなわち、対数特性領域のみで構成されてその全部に重み付け処理が施されてなる重み付け特性、或いは、対数特性領域と線形特性領域の一部とで構成され、そのうちの線形特性領域における重み付け処理が施されない部分と対数特性領域における重み付け処理が施された部分とが合成されてなる重み付け特性)として作成されるため、いずれにしても、対数特性領域において実際の輝度情報が反映された非ガンマ特性部を作成することができ、特に、非ガンマ特性部が対数特性領域だけでなく線形特性領域にまで拡張された両特性領域とされた場合には、高輝度領域或いは全体に亘ってさらに好適に階調性が確保された良好な画像を得ることができる。
請求項23に係る撮像装置は、請求項11〜20のいずれかにおいて、前記階調変換特性作成手段は、前記非ガンマ特性部を、前記切り替わり点の位置に応じて決定される対数特性領域、又は対数特性領域と線形特性領域の一部とからなる両特性領域における輝度情報に基づいてヒストグラム均等化処理が施されてなるヒストグラム均等化特性として作成することを特徴とする。この構成によれば、階調変換特性作成手段によって、非ガンマ特性部が、輝度情報に基づいてヒストグラム均等化処理が施されてなるヒストグラム均等化特性として作成されるため、従来一般的に用いられるヒストグラム均等化処理を利用して当該非ガンマ特性部におけるコントラストの強調を容易に行うことができ、画像の高輝度領域における好適な階調性を得ることができる。特に、非ガンマ特性部が対数特性領域だけでなく線形特性領域にまで拡張された両特性領域とされた場合には、高輝度領域或いは全体に亘ってさらに好適に階調性が確保された良好な画像を得ることができる。
請求項24に係る撮像装置は、請求項23において、前記階調変換特性作成手段は、対数特性における対数圧縮された輝度情報が線形特性として伸長処理された入力輝度範囲に応じた重み付け処理が全部又は一部になされた輝度情報に基づいて前記ヒストグラム均等化処理を行うことを特徴とする。この構成によれば、ヒストグラム均等化処理に用いる輝度情報として、対数圧縮された輝度情報が伸長された入力輝度範囲に応じた重み付け処理が全部又は一部になされたものが用いられるため、いずれにしても、対数特性領域において実際の輝度情報が反映されたヒストグラム均等化処理を行うことができ、当該非ガンマ特性部において更なるコントラストの強調を図ることが可能となり、画像の高輝度領域におけるより好適な階調性を得ることができる。特に、非ガンマ特性部が対数特性領域だけでなく線形特性領域にまで拡張された両特性領域とされた場合には、高輝度領域或いは全体に亘ってさらに好適に階調性が確保された良好な画像を得ることができる。
請求項25に係る撮像装置は、入射光量に応じた電気信号を発生すると共に、その光電変換特性が入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサと、被写体の輝度情報に基づいて設定される所定の切り替わり点により、第1の階調変換特性部と第2の階調変換特性部とに区分されてなる階調変換特性を作成する階調変換特性作成手段と、前記撮像センサにより撮影された画像信号を、前記階調変換特性作成手段により作成された階調変換特性に基づいて階調変換する階調変換手段とを備えることを特徴とする。
上記構成によれば、階調変換特性作成手段によって、被写体の輝度情報に基づいて所定の切り替わり点が設定されて当該切り替わり点により第1の階調変換特性部と第2の階調変換特性部とに区分されてなる階調変換特性が作成される。そしてこの作成された階調変換特性に基づいて、撮像センサにより撮影された画像信号が階調変換手段によって階調変換される。これにより、階調変換特性を、従来のようにガンマ変換特性のみで画一的に構成されたものでなく、当該第1の階調変換特性部と第2の階調変換特性部という2つの変換特性から構成することができ、この第1の階調変換特性部を例えばガンマ変換特性とするとともに線形特性領域に対応させて、一方の第2の階調変換特性部を対数特性領域に対応させて構成した階調変換特性を用いることで、線形特性領域では従来の撮像装置と同じように(ガンマ変換特性により)階調が確保されるとともに、対数特性領域では(第2の階調変換特性部による階調変換を用いることで)輝度情報が潰れてしまうことのない(コントラストが向上された)好適な階調変換処理が可能な撮像装置を提供することができる。
請求項26に係る階調変換方法は、撮像センサを、入射光量に応じた電気信号を発生すると共に、その光電変換特性が入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備えるものとし、ガンマ変換による階調変換を行うガンマ特性部と、前記ガンマ変換によらない階調変換を行う非ガンマ特性部とからなる階調変換特性を階調変換特性作成手段により作成する工程と、前記撮像センサにより撮影された画像信号を、前記階調変換特性作成手段により作成された階調変換特性に基づいて階調変換手段により階調変換する工程とを有することを特徴とする。
上記構成によれば、ガンマ変換による階調変換を行うガンマ特性部とガンマ変換によらない階調変換を行う非ガンマ特性部とからなる階調変換特性が階調変換特性作成手段によって作成され、この作成された階調変換特性に基づいて、撮像センサにより撮影された画像信号が階調変換手段によって階調変換されるため、階調変換を、従来のようにガンマ変換特性のみを用いて画一的に行うのではなく、当該ガンマ変換特性からなるガンマ特性部と非ガンマ特性部という2つの変換特性を有する階調変換特性を用いて行うことができ、例えばこのガンマ特性部が線形特性領域に、一方の非ガンマ特性部が対数特性領域に対応するように構成した階調変換特性による階調変換を行うことで、線形特性領域では従来の撮像装置と同じように(ガンマ変換特性により)階調が確保されるとともに、対数特性領域では(非ガンマ特性部による階調変換を用いることで)輝度情報が潰れてしまうことのない(コントラストが向上された)好適な階調変換を実現することができる。
請求項1記載の発明によれば、階調変換特性を、従来のようにガンマ変換特性のみで画一的に構成されたものでなく、当該ガンマ変換特性からなるガンマ特性部と非ガンマ特性部という2つの変換特性から構成することができ、例えばこのガンマ特性部が線形特性領域に、一方の非ガンマ特性部が対数特性領域に対応するように構成した階調変換特性を用いることで、線形特性領域では従来の撮像装置と同じように(ガンマ変換特性により)階調が確保されるとともに、対数特性領域では(非ガンマ特性部による階調変換を用いることで)輝度情報が潰れてしまうことのない(コントラストが向上された)好適な階調変換処理が可能な撮像装置を提供することができる。
請求項2記載の発明によれば、撮影に際しての、輝度情報に基づいて得られた評価値を用いた露出制御等による光電変換特性の変化に合わせて当該階調変換特性を変化させることにより、撮影に応じた最適な階調変換を行うことが可能となる。また、この階調変換特性のガンマ特性部が少なくとも線形特性領域に対応されて、従来の場合と同様に線形特性領域ではガンマ変換特性により階調を確保することができるとともに、非ガンマ特性部が少なくとも対数特性領域に対応されて、当該非ガンマ特性部により対数特性領域での階調(輝度情報)が潰れてしまうのを防止するといったことが可能な階調変換を実現できる。
請求項3記載の発明によれば、階調変換特性における当該切り替わり点を、変曲点の情報を利用して(光電変換特性の変化と連動させて)容易に設定することができる。
請求項4記載の発明によれば、変曲点の位置の変化に応じて、この切り替わり点を直線に沿った位置として容易に設定することができる。また、当該直線上の切り替わり点の変化に応じたガンマ特性部の拡大・縮小処理が容易に行えるとともに、非ガンマ特性部の例えば直線特性をこの仮想直線上の特性として容易に作成することができる。
請求項5記載の発明によれば、切り替わりの変更に応じてガンマ特性部のガンマ変換特性を拡大・縮小させることなく、当該ガンマ特性曲線に示す同じガンマ変換特性(ガンマ階調変換LUT)を利用して容易にガンマ特性部を作成することができる。
請求項6記載の発明によれば、階調変換特性作成手段によって、非ガンマ特性部が直線特性として作成されるため、非ガンマ特性部を容易に作成することができる。
請求項7記載の発明によれば、対数特性領域における実際の輝度情報が反映された非ガンマ特性部を作成することができ、例えば画像の明るく白一色となっている(白とびが発生している)部分のコントラストを強調する(階調性を回復させる)といったことが可能となり、画像の高輝度領域における好適な階調性を得ることができる。
請求項8記載の発明によれば、従来一般的に用いられるヒストグラム均等化処理を利用して当該非ガンマ特性部におけるコントラストの強調を容易に行うことができ、画像の高輝度領域における好適な階調性を得ることができる。
請求項9記載の発明によれば、実際の輝度情報が反映されたヒストグラム均等化処理を行うことができ、当該非ガンマ特性部において更なるコントラストの強調を図ることが可能となり、画像の高輝度領域におけるより好適な階調性を得ることができる。
請求項10記載の発明によれば、撮像装置の露出制御情報に依存して切り替わり点が更新され、この切り替わり点の更新の都度、新たに階調変換特性が作成されるため、階調変換特性における当該切り替わり点を、露出制御情報、すなわち光電変換特性の変曲点の変化情報を利用して容易に設定することができる。
請求項11記載の発明によれば、必ずしも変曲点と連動させることなく、別に設けた切替点設定用パラメータを用いての自由度の高い切り替わり点の設定を行うことができる。
請求項12記載の発明によれば、ガンマ特性部を線形特性領域に、非ガンマ特性部を線形特性領域の一部及び対数特性領域に対して作成することになり、特に、非ガンマ特性部が対数特性領域だけでなく線形特性領域にまで拡張されることで、高輝度側のより広い範囲の画像に対して、例えば重み付け特性やヒストグラム均等化特性による階調変換を適用することができ、高輝度領域、すなわち画像の明るく白一色となっている部分等のコントラストをより強調させるといったことが可能となるとともに、全体に亘ってさらに好適に階調性が確保(回復)された良好な画像を得ることが可能となる。
請求項13記載の発明によれば、切り替わり点の変更に応じてガンマ特性部のガンマ変換特性を拡大・縮小させることなく、当該ガンマ特性曲線に示す同じガンマ変換特性(ガンマ階調変換LUT)を利用して容易にガンマ特性部を作成することができる。
請求項14記載の発明によれば、切替点設定用パラメータの位置の変化に応じて、この切り替わり点を直線に沿った位置として容易に設定することができる。また、当該直線上の切り替わり点の変化に応じたガンマ特性部の拡大・縮小処理が容易に行えるとともに、非ガンマ特性部の例えば直線特性をこの仮想直線上の特性として容易に作成することができる。
請求項15記載の発明によれば、切替点設定用パラメータの位置を変曲点情報と当該オフセット情報とによって容易に決定することができるとともに、このオフセット情報を、例えば撮像装置に予め設定した固定値として与えたり、或いは撮像装置と接続したPC等におけるユーザによる指示入力情報として与えることができ、ひいては切り替わり点の設定における自由度が高くなる。
請求項16記載の発明によれば、撮影において重要な主被写体領域の輝度情報をガンマ特性部の決定に反映することができ、少なくとも当該主被写体領域に対する、ガンマ変換特性による好適な階調性の確保を図ることができる。
請求項17記載の発明によれば、変曲点情報とともに撮影において重要な主被写体領域の輝度情報をガンマ特性部の決定に反映することができ、少なくとも当該主被写体領域に対する、ガンマ変換特性によるより好適な階調性の確保を図ることができる。
請求項18記載の発明によれば、切替点設定用パラメータの決定において、好適な階調性を確保した画像を得るのに必要な線形特性領域の輝度情報をより容易に反映させることができる。
請求項19記載の発明によれば、切替点設定用パラメータの決定において、好適な階調性を確保した画像を得るのに必要な主被写体領域の輝度情報をより容易に反映させることができる。
請求項20記載の発明によれば、切替点設定用パラメータの決定において、好適な階調性を確保した画像を得るのに必要な輝度ヒストグラムの輝度情報をより正確に且つ容易に反映させることができる。
請求項21記載の発明によれば、非ガンマ特性部を容易に作成することができ、特に、非ガンマ特性部が対数特性領域だけでなく線形特性領域にまで拡張された両特性領域とされた場合には、高輝度領域或いは全体に亘ってさらに好適に階調性が確保された良好な画像を得ることができる。
請求項22記載の発明によれば、対数特性領域において実際の輝度情報が反映された非ガンマ特性部を作成することができ、特に、非ガンマ特性部が対数特性領域だけでなく線形特性領域にまで拡張された両特性領域とされた場合には、高輝度領域或いは全体に亘ってさらに好適に階調性が確保された良好な画像を得ることができる。
請求項23記載の発明によれば、従来一般的に用いられるヒストグラム均等化処理を利用して当該非ガンマ特性部におけるコントラストの強調を容易に行うことができ、画像の高輝度領域における好適な階調性を得ることができる。特に、非ガンマ特性部が対数特性領域だけでなく線形特性領域にまで拡張された両特性領域とされた場合には、高輝度領域或いは全体に亘ってさらに好適に階調性が確保された良好な画像を得ることができる。
請求項24記載の発明によれば、対数特性領域において実際の輝度情報が反映されたヒストグラム均等化処理を行うことができ、当該非ガンマ特性部において更なるコントラストの強調を図ることが可能となり、画像の高輝度領域におけるより好適な階調性を得ることができる。特に、非ガンマ特性部が対数特性領域だけでなく線形特性領域にまで拡張された両特性領域とされた場合には、高輝度領域或いは全体に亘ってさらに好適に階調性が確保された良好な画像を得ることができる。
請求項25記載の発明によれば、階調変換特性を、従来のようにガンマ変換特性のみで画一的に構成されたものでなく、当該第1の階調変換特性部と第2の階調変換特性部という2つの変換特性から構成することができ、この第1の階調変換特性部を例えばガンマ変換特性とするとともに線形特性領域に対応させて、一方の第2の階調変換特性部を対数特性領域に対応させて構成した階調変換特性を用いることで、線形特性領域では従来の撮像装置と同じように(ガンマ変換特性により)階調が確保されるとともに、対数特性領域では(第2の階調変換特性部による階調変換を用いることで)輝度情報が潰れてしまうことのない(コントラストが向上された)好適な階調変換処理が可能な撮像装置を提供することができる
請求項26記載の発明によれば、階調変換を、従来のようにガンマ変換特性のみを用いて画一的に行うのではなく、当該ガンマ変換特性からなるガンマ特性部と非ガンマ特性部という2つの変換特性を有する階調変換特性を用いて行うことができ、例えばこのガンマ特性部が線形特性領域に、一方の非ガンマ特性部が対数特性領域に対応するように構成した階調変換特性による階調変換を行うことで、線形特性領域では従来の撮像装置と同じように(ガンマ変換特性により)階調が確保されるとともに、対数特性領域では(非ガンマ特性部による階調変換を用いることで)輝度情報が潰れてしまうことのない(コントラストが向上された)好適な階調変換を実現することができる。
以下図面に基づいて、本発明の実施形態につき説明する。
(第1実施形態)
(撮像装置の外観構造の説明)
図1は、本発明に係る撮像装置が好適に適用される小型のデジタルカメラ1の外観を示す図であって、図1(a)はその上面図、(b)は正面図、(c)は背面図をそれぞれ示している。このデジタルカメラ(撮像装置)1は、カメラ本体ボディ10の頂面には電源スイッチ101及びレリーズスイッチ102等が、正面側にはフラッシュ発光部103及び撮影レンズ窓104等が、また背面側にはモード設定スイッチ105などの各種の操作ボタンや液晶モニター(LCD)からなるLCD表示部106等がそれぞれ配置されている。そして本体ボディ10の内部には、各種本体機器のほか、屈曲型の鏡胴20が配置されている。電源スイッチ101は、カメラ1の電源をON(起動)、OFF(起動停止)するための押下スイッチであり、押下動作によりカメラ電源のON、OFFが順次繰り返される。またモード設定スイッチ105は、静止画を撮影する静止画撮影モードと、動画を撮影する動画撮影モードとの2つのモードを設定するためのものである。
レリーズスイッチ102は、途中まで押し込んだ「半押し状態」の操作と、さらに押し込んだ「全押し状態」の操作とが可能とされた押下スイッチである。例えば上記静止画撮影モードにおいて、レリーズスイッチ102が半押しされると、被写体の静止画を撮影するための準備動作(後述の自動露出制御や自動焦点制御等の準備動作)が実行され、レリーズスイッチ102が全押しされると、撮影動作(後述する撮像センサを露光し、その露光によって得られた画像信号に所定の画像処理を施してメモリカード等に記録する一連の動作)が実行される。また、上記動画撮影モードにおいて、レリーズスイッチ102が全押しされると、所定の動画撮影動作が実行され、再度レリーズスイッチ102が全押しされると、動画撮影動作が終了される。
フラッシュ発光部103は、レリーズスイッチ102が半押しされている状態(静止画撮影モード)において、被写体像が暗い場合に発光して被写体を照明する。撮影レンズ窓104は、被写体の光学像を、本体ボディ10の内部に配置された屈曲型鏡胴20へ取り入れるための開口部である。また表示部106は、内蔵する記録媒体に記録された記録画像を再生表示させたり、撮影待機中や動画撮影モードにおいてビデオ撮影された被写体のスルー画像(ライブビュー画像)を表示させたりするものである。なお、上記モード設定スイッチ105以外に、ズームスイッチ、メニュー選択スイッチ、選択決定スイッチ等のプッシュスイッチ群が備えられている。
鏡胴20は、上記撮影レンズ窓104を通して被写体像を取り入れ、本体ボディ10の内部に配置されている撮像センサ30へ導く撮影レンズ系を構成するものである。この鏡胴20は、ズーミングやフォーカシング駆動時においてもその長さの変動しない、つまり本体ボディ10から外部に突出することのない鏡胴である。鏡胴20の内部には、光軸に沿って直列的に配置されるズームレンズブロックや固定レンズブロックからなる撮影光学系を構成するレンズ群21(図2参照)と、レンズ群21の適所に配置される絞り22とが備えられている。さらにレンズ群21の適所にはシャッタ23が配置されており、当該シャッタ23の開閉動作により撮影光学系の光路が遮光若しくは通光されるようになっている。すなわち、絞り22の開口面積設定度合い及びシャッタ23の開閉動作制御等により、撮像センサ30の露光量が制御されるようになっている。
(撮像装置の電気的構成の全体的な説明)
図2は、本実施形態に係るデジタルカメラ1による撮像処理ブロック図である。このデジタルカメラ1は、操作部100、上述した鏡胴20、撮像センサ30、信号処理部40、全体制御部50、及び駆動部60等を備えている。なお、操作部100は、上記で説明した電源スイッチ101、レリーズスイッチ102及びモード設定スイッチ105などからなる。
撮像センサ30は、鏡胴20内のレンズ群21により結像された被写体光像の光量に応じ、R(赤)、G(緑)、B(青)の各成分の画像信号(撮像センサ30の各画素で受光された画素信号の信号列からなる信号)に光電変換して信号処理部40へ出力するものである。本実施形態においては、この撮像センサ30として、入射光量に対して出力画素信号(光電変換により発生する出力電気信号)が線形的ではなく対数的に変換されて出力される対数変換型固体撮像素子が用いられる。なお、撮像センサ30は、入射光量が少ない場合は、出力画素信号が線形的に変換されて出力される特性を有しており、その光電変換特性が線形的である領域(線形特性領域=暗時)と対数的である領域(対数特性領域=明時)とを備えている。さらに、線形特性領域と対数特性領域との切り替り点(変曲点という)が、特定の制御信号(後述するダイナミックレンジ制御信号等)により任意に制御可能とされている。撮像センサ30の構成、動作等については後に詳述する。
タイミング生成回路(タイミングジェネレータ)31は、撮像センサ30での撮影動作(露光に基づく電荷蓄積や蓄積電荷の読み出し等)を制御するものである。タイミング生成回路31は、全体制御部50からの撮影制御信号に基づいて所定のタイミングパルス(画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号等)を生成して撮像センサ30に出力し、動画撮影モード時(スルー画表示モード時)には、例えば1/30(秒)毎にフレーム画像を取り込み、順次、信号処理部40に出力させる。また、静止画撮影モード時の露光中には撮像センサ30の露光動作に連動して電荷を蓄積させ、すなわち被写体光像を画像信号に光電変換させ、その蓄積電荷を信号処理部40に出力させる。さらにタイミング生成回路31は、後述のA/D変換器402において用いられるA/D変換用のクロックも生成する。
信号処理部40は、撮像センサ30から送出される画像信号に所定のアナログ信号処理およびデジタル信号処理を施すもので、上記画像信号の信号処理は、該画像信号を構成するそれぞれの画素信号ごとに行われる。この信号処理部40は、アナログ信号処理部401、A/D変換器402、黒基準補正部403、FPN補正部404、評価値検出部405、ホワイトバランス制御部406、色補間部407、3×3色補正部408、階調変換部409、ノイズキャンセル部410及び画像メモリ411等を備えている。後記で詳述するが、これら信号処理部40の構成のうち、本実施形態においては階調変換部409にて、上記線形特性領域と対数特性領域とを備える光電変換特性を有する撮像センサ30に対応した階調変換を行わせる点に特徴がある。
アナログ信号処理部401は、撮像センサ30から出力される画像信号(撮像センサ30の各画素で受光されたアナログ信号群)に所定のアナログ信号処理を施すもので、アナログ画像信号に含まれるリセット雑音を低減するCDS回路(相関二重サンプリング回路)と、アナログ画像信号のレベルを補正するAGC回路(オートゲインコントロール回路)とを備えている。なおAGC回路は、適正露出が得られなかった場合等に、後段のA/D変換器402の入力電圧範囲に合うよう、アナログ画像信号を適正な増幅率で増幅して撮影画像のレベル不足を補償するアンプ機能も有している。
A/D変換器402は、アナログ信号処理部401から出力されるアナログ画像信号を、例えば12ビットのデジタル画像信号(画像データ)に変換する役目を果たす。このA/D変換器402は、上記タイミング生成回路31から入力されるA/D変換用のクロックに基づいて、アナログ画像信号をデジタル画像信号に変換する。
黒基準補正部403は、A/D変換器402から入力されるデジタル画像信号の黒レベル(暗黒時の画像信号レベル)を基準の値(例えば、A/D変換後のデジタル信号レベルで0)に補正するために、A/D変換器402から入力される画像信号レベルをSD1とし、また暗黒時の画像信号レベルをSD2とするときに、
SD1−SD2
の演算を行う。なお、かかる黒基準補正は、全体制御部50から入力される撮像センサ30の光電変換特性に対応した撮像ダイナミックレンジ情報に基づいて行われる。これは、本実施形態にかかるデジタルカメラ1においては、撮像センサ30の光電変換特性が制御可能とされており、従ってA/D変換器402から入力されるデジタル画像信号の暗黒時における画像信号レベルが、撮像センサ30の光電変換特性の変化により変動することから、その変動に追従した正確な黒基準補正が行えるようにするためである。
FPN(Fixed Pattern Noise)補正部404は、黒基準補正部403から入力される画像信号のFPN(固定パターンノイズ)を除去するためのものである。固定パターンノイズとは、撮像センサ30の各画素回路が備えるFETの閾値バラツキ等が要因となって生じる、各画素が発生する画像信号の出力値のバラツキに起因するノイズである。FPN補正部404は、黒基準補正部403から入力される画像信号レベルをSD3とし、また黒基準補正部403から入力される画像信号の固定パターン成分をSD4とするとき、
SD3−SD4
の演算を行う。
評価値検出部405は、撮像センサ30で実際に撮影された画像信号から、自動露出制御(AE)、自動焦点制御(AF;オートフォーカス)、或いはホワイトバランス制御等を行うに際してのベース値となる評価値、すなわちAE評価値、AF評価値、ホワイトバランス評価値(以降、WB評価値という)等を検出する。例えばAE制御を行う場合、
(1)撮像ターゲットとなる被写体の輝度レベル及び輝度範囲を計測し、
(2)その輝度レベル及び輝度範囲に適合する出力が撮像センサから得られるよう、必要な露出制御量を算出し、
(3)上記算出結果に基づいて露光量等を具体的に調整し、本撮像に臨む、
というステップが一般的に採られるが、この評価値検出部405においては、上記ステップ(1)の役目を担うべく、撮像センサ30で実際に撮影された画像信号から被写体の輝度レベル及び輝度範囲が求められ、これがAE評価値として全体制御部50へ出力され、後段ステップにおけるAE制御動作用に供される。
またAF制御の場合は、例えばフォーカスレンズ(レンズ群21)の光軸方向の駆動と撮像センサ30による撮像動作とを交互に行いながら、その撮像動作により得た画像のコントラストが最大となるフォーカスレンズの位置が求められ(所謂山登り検出方式)、これがAF評価値として全体制御部50へ出力され、後段ステップにおけるAF制御動作の用に供される。さらにホワイトバランス制御は、出力画像の色を被写体の光源色に適したものに補正することを目的とするもので、この場合、前段のFPN補正部404から入力される画像信号に基づいてR、G、B各色の輝度比及び輝度差が評価値検出部405で算出され、これがWB評価値として全体制御部50へ出力されるものである。これら評価値の具体的な取得方法等については後に詳述する。
ホワイトバランス制御部406は、全体制御部50から与えられる撮像ダイナミックレンジ情報と上記WB評価値とに基づいて、画像信号の色バランスが所定の色バランスになるよう、各色成分R、G、Bの各画素データのレベルを変換する補正を行う。なお本実施形態では、撮像センサ30として線形特性領域と対数特性領域とを備えるものを用いることから、線形特性領域及び対数特性領域ごとにWB評価値を取得し、各々の領域に適したホワイトバランス補正を行うようにすることが望ましい。
色補間部407は、ホワイトバランス制御部406から入力される画像信号の各色成分R、G、Bごとに、フレーム画像の不足する画素位置のデータを補間するものである。すなわち、本実施形態で用いられる対数変換型の撮像センサ30のカラーフィルタ構造は、Gが市松状でR、Bが線順次配列された所謂ベイヤー方式が採用されている関係上、色情報が不足していることから、色補間部407は、実在する複数の画素データを用いて実在しない画素位置の画素データを補間するものである。具体的には色補間部407は、高帯域まで画素を持つGの色成分のフレーム画像については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、メディアン(中間値)フィルターを用いて、補間すべき画素位置の周辺に実在する画素データのうち、最大値と最小値とを除去した画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。また、R,Bの色成分については、フレーム画像を構成する画像データを所定のフィルタパターンでマスキングした後、補間すべき画素位置の周辺に実在する画素データの平均値を演算し、その平均値を当該画素位置の画素データとして補間する。
図3に、撮像センサ30のカラーフィルタ構造の一例を示す。かかるカラーフィルタ構造において、上記色補間による各画素における色成分R、G、Bの画像信号は、例えば以下のようにして生成される。
(イ)アドレス11(B11)の色補間式
R11=(R00+R20+R02+R22)/4
G11=(Gr10+Gb01+Gb21+Gr12)/4
B11=B11
(ロ)アドレス11(Gr12)の色補間式
R12=(R02+R22)/2
G12=Gr12
B12=(B11+B13)/2
(ハ)アドレス21(Gb21)の色補間式
R21=(R20+R22)/2
G21=Gb12
B21=(B11+B31)/2
(ニ)アドレス22(R22)の色補間式
R22=R22
G22=(Gb21+Gr12+Gr32+Gb23)/4
B22=(B11+B31+B13+B33)/4
3×3色補正部408は、色補間部407から入力される色成分R、G、Bの画像信号の彩度を補正(色合いを補正)するものである。3×3色補正部408は、色成分R、G、Bの画像信号のレベル比を変換する3種類の変換係数を有し、撮影シーンに応じた変換係数で上記レベル比を変換して画像データの彩度を補正する。例えば、a1〜c3の合計9個の変換係数を用い、次のように画像信号を線形変換する。ただし、式中の「*」は積算を意味する(以降も同じ)。
R´=a1*R+a2*G+a3*B
G´=b1*R+b2*G+b3*B
B´=c1*R+c2*G+c3*B
階調変換部409は、3×3色補正部408から入力される色成分R、G、Bの画像信号が適切な出力レベルになるよう、画像信号のレベルを色成分毎に所定の変換特性を用いて変換するとともにオフセット調整を行う。すなわち階調変換部409は、基本動作としてホワイトバランス調整及び色補正がなされた画像信号の階調特性を、LCD表示部106や外部出力されるモニターテレビ等の階調特性に補正する動作を行うものである。階調変換部409においては、全体制御部50から入力されるダイナミックレンジ情報(後述の変曲点情報)、評価値検出部405で検出されたAE評価値等に基づいて、画像信号の階調特性を変化させる。
本実施形態における階調変換部409は、上記撮像センサ30の光電変換特性の変曲点のセンサ出力情報(Vth)等に基づいて、階調変換特性における、少なくとも線形特性領域に対応するガンマ特性部と対数特性領域に対応する非ガンマ特性部との切り替わり点(切替点)を設定する切替点設定部、この切替点を境とし、所定のガンマ特性を利用してガンマ特性部を作成するガンマ作成部や、当該階調変換特性におけるガンマ特性部以外の非ガンマ特性部を種々の方法で作成する非ガンマ作成部などを備えて構成されている。この階調変換部409の具体的構成、及び動作等については後に詳述する。
ノイズキャンセル部410は、階調変換部409から入力される画像信号のノイズ成分を除去すると共に、エッジ成分のみを抽出・強調することで、画像のシャープネスを良好な状態に補正するものである。ノイズキャンセル部410は、全体制御部50から入力されるダイナミックレンジ情報に基づいて、コアリング係数(画像信号のノイズ成分のみを除去し、エッジ成分を抽出する係数及び強調する係数)を変化させることで、適正な補正を行う。
画像メモリ部411は、ROMやRAM等のメモリからなり、信号処理部40での信号処理を終えた画像データを一時的に保存するもので、例えば1フレーム分の画像データを記憶し得る容量を有している。
メモリカードI/F部412は、信号処理部40で生成されたメモリカード記録用画像データを、メモリカード107に記録させるべく出力するためのインターフェイスである。またメモリカード107は、静止画像や動画像などの画像データを記録して保存しておくためのメモリであって、デジタルカメラ1に対して取り外し自在とされており、外部の記録媒体との画像データ交換を可能とするものである。LCD表示I/F部413は、信号処理部40で生成されたLCD表示用画像データを、例えばNTSC方式若しくはPAL方式の画像信号に変換してLCD表示部106に出力するためのインターフェイスである。
全体制御部50は、CPU(中央演算処理装置)等からなり、デジタルカメラ1全体の動作(撮影動作)の制御を司るものである。すなわち全体制御部50は、上記信号処理部40の各部から送られてくる情報(上述のAE評価値、AF評価値、WB評価値等)と、本デジタルカメラ1の各種動作モード等に基づき、信号処理部40の各部が必要とするパラメータ等の動作情報を算出して送信することで、各処理部の動作を制御する。この他、全体制御部50は、撮影動作のためのタイミング生成回路31の制御、レンズ群21のズーミングやフォーカシング駆動、並びに絞り22及びシャッタ23の駆動のための駆動部60の制御、画像信号の出力制御などの制御を行う。
図4は、全体制御部50の機能を説明するための機能ブロック図である。全体制御部50は、情報受信部501、情報送信部502、メモリ部515を具備する演算部510、制御信号発生部520、及び入出力部530を備えている。
情報受信部501は、信号処理部40の評価値検出部405にて検出されるAE評価値、AF評価値及びWB評価値を取得し、これらを演算部510が備える各パラメータ算出部へ振り分けて送信する。一方、情報送信部502は、信号処理部40において必要とされる情報(光電変換特性情報やコアリング係数等)をメモリ部515から適宜取り出し、信号処理部40の各処理部に適時振り分けて送信する。
演算部510は、上記情報受信部501から与えられる評価値に基づいて制御パラメータを算出する動作を為すもので、露光量制御パラメータ算出部511及びダイナミックレンジ制御パラメータ算出部512からなるAE制御パラメータ算出部5110、AF制御パラメータ算出部513、ホワイトバランス制御パラメータ算出部514及びメモリ部515を備えている。
メモリ部515はROMやRAM等からなり、撮像センサ30の光電変換特性の情報(撮影に際しての所望の光電変換特性を得るための情報)、すなわち、後述する露光時間設定値や絞り設定値、或いは光電変換特性設定値(該光電変換特性に対応するダイナミックレンジ情報)を記憶する光電変換特性情報記憶部516、ノイズキャンセル部410において用いられるコアリング係数の設置位置を記憶するコアリング係数記憶部517、撮像センサ30の線形特性領域と対数特性領域とで得られたデータに対するデータ変換(相互変換)を行うための変換情報、すなわちLUT(Look Up Table)等を記憶するLUT記憶部518等から構成されている。
なお、光電変換特性情報記憶部516には、光電変換特性そのもの(後述する図10に示すような光電変換特性曲線)が記憶される構成であってもよい。また、LUT記憶部518は、上記LUTの他に、後述する露光時間(T1)や絞りの開口面積(S2)の値と露光時間設定値や絞り設定値とのデータ変換を行うLUT、光電変換特性の変曲点の値(出力レベル)と光電変換特性設定値とのデータ変換を行うLUT、最大輝度出力レベルから光電変換特性設定値を出力するLUTもしくは最大輝度出力レベルの変化量から光電変換特性設定値の変化量を出力するLUT、或いは飽和画素数の値と変曲点変化量(ΔVth)の値とのデータ変換を行うLUT等、種々のデータ変換用のLUTを記憶している。また、上述した通り、光電変換特性情報記憶部516、コアリング係数記憶部517及びLUT記憶部518に記憶されているデータ値は、適宜情報送信部502から信号処理部40の適所へ送信されるようになっている。
AE制御パラメータ算出部5110は、被写体の輝度に応じた露出制御(AE制御)を行うべく、撮影の際の最適な露光量と撮像センサ30の光電変換特性とに設定するための制御パラメータを算出する。すなわち、AE制御パラメータ算出部5110の露光量制御パラメータ算出部511は、露光時間や絞りを最適化するための制御パラメータを算出するもので、露光量制御パラメータ算出部511は評価値検出部405にて検出されるAE評価値と、光電変換特性情報記憶部516に記憶されているAE評価値取得時点における撮像センサ30の光電変換特性情報とに基づいて、被写体輝度に応じた露光時間設定値や絞り設定値を算出する。
また、ダイナミックレンジ制御パラメータ算出部512は、被写体輝度に応じ撮像センサ30の光電変換特性を最適化するための制御パラメータを算出するものである。ダイナミックレンジ制御パラメータ算出部512は、例えばダイナミックレンジ設定用の被写体輝度が、当該撮像センサ30における所望の飽和出力レベルになるような光電変換特性設定値を算出する。この算出に際しても、光電変換特性情報記憶部516に記憶されている上記AE評価値取得時点における撮像センサ30のダイナミックレンジ情報が参照される。このAE制御パラメータ算出部5110の動作等については後に詳述する。
AF制御パラメータ算出部513は、評価値検出部405にて検出されるAF評価値に基づいて、被写体の撮影にあたり最適な焦点距離に設定するための制御パラメータを算出する。この制御パラメータの算出にあたり、参照するAF評価値を、撮像センサ30の対数特性領域及び線形特性領域のそれぞれで取得し、それぞれの特性領域の特徴を活用して粗測距(対数特性領域から得たAF評価値)用、詳測距(線形特性領域から得たAF評価値)用の制御パラメータを算出するよう構成することが好ましい。
ホワイトバランス制御パラメータ算出部514は、評価値検出部405にて検出されるWB評価値に基づいて、画像信号の色バランスが所定の色バランスに設定するための制御パラメータを算出する。この制御パラメータの算出にあたり、同様に参照するWB評価値を、撮像センサ30の対数特性領域及び線形特性領域のそれぞれで取得し、それぞれの特性領域に応じた制御パラメータを算出するよう構成することが好ましい。
制御信号発生部520は、演算部510で算出された各種の制御パラメータに応じて、各制御動作要素を駆動させるための制御信号を生成するものであり、この制御信号発生部520は、ダイナミックレンジ制御信号発生部521、センサ露光時間制御信号発生部522、シャッタ制御信号発生部523、ズーム/フォーカス制御信号発生部524及び絞り制御信号発生部525を備えて構成されている。
ダイナミックレンジ制御信号発生部521は、上記ダイナミックレンジ制御パラメータ算出部512において算出された撮像センサ30の光電変換特性設定値に応じて、光電変換特性が線形特性領域から対数特性領域に切り替わる出力レベルポイント(変曲点)を調整する撮像センサ30の駆動信号を生成し、これをタイミング生成回路31へ送信する。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30のダイナミックレンジを制御するタイミング信号を生成して撮像センサ30を駆動させる。具体的には、後述するように撮像センサ30の光電変換特性は、撮像センサ30に対する信号φVPS(φVPSにおける電圧VPHの高さ、あるいは時間ΔTの長さ)を制御することでその変曲点が変動することから、ダイナミックレンジ制御信号発生部521では、光電変換特性設定値に応じて、上記信号φVPSを制御するためのタイミング生成回路31に対する駆動信号を制御することで、撮像センサ30のダイナミックレンジを被写体の輝度に適するよう制御する。
センサ露光時間制御信号発生部522は、撮像センサ30の露光時間(積分時間)を、絞り22やシャッタ23等のメカ操作に依らず、電子回路的な制御動作により制御するための制御信号を発生するものである。センサ露光時間制御信号発生部522は、露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、所期の露光時間が確保されるよう撮像センサ30の駆動信号(具体的には、後述するように撮像センサ30に対する信号φVPSが中電位Mとなる時間ΔSを制御する信号)を生成し、これをタイミング生成回路31へ送信する。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30の露光時間を制御するタイミング信号を生成して撮像センサ30を駆動させる。
シャッタ制御信号発生部523は、同様に露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、シャッタ23のシャッタスピードを露光時間に合わせて設定する制御信号を生成する。またズーム/フォーカス制御信号発生部524は、上記AF制御パラメータ算出部513にて算出された最適な焦点距離に基づいて、レンズ群21を駆動させるための制御信号を生成する。さらに絞り制御信号発生部525は、上記露光量制御パラメータ算出部511にて算出された最適な露光量に基づいて、絞り22の開口面積を設定する制御信号を生成する。これらシャッタ制御信号発生部523、ズーム/フォーカス制御信号発生部524及び絞り制御信号発生部525にて生成された制御信号は、駆動部60の対応箇所へそれぞれ送信される。
入出力部530は、メモリカードI/F部412及びLCD表示I/F部413と接続され、操作部100からの指示信号等に応じて、撮影画像に対して所定の画像処理を行った後、その撮影画像信号をメモリカード107に記録させたり、LCD表示部106に表示させたり、或いは逆にメモリカード107から画像信号を取り入れたりする出入力作用を為す。
図2に戻って、駆動部60は、制御信号発生部520で生成された制御信号に基づいて、実際に当該デジタルカメラ1が具備するメカ駆動部を動作させるもので、シャッタ駆動部61、ズーム/フォーカス駆動部62及び絞り駆動部63を備えている。シャッタ駆動部61は、上記シャッタ制御信号発生部523から与えられる制御信号に応じて、シャッタ23が所定時間開放されるようシャッタ23を開閉駆動する。ズーム/フォーカス制御部62は、ズーム/フォーカス制御信号発生部524から与えられる制御信号に応じて、レンズ群21のズームレンズブロックまたはフォーカスレンズブロックを動作させるモータ等を動作させ、上記レンズブロックを焦点位置に移動させる。さらに絞り駆動部63は、絞り制御信号発生部525から与えられる制御信号に応じ、絞り22を駆動し、所定の開口量に絞りを設定するものである。
(動作の全体的なフローの説明)
以上の通り構成された本実施形態にかかるデジタルカメラ1の動作につき、先ず全体的なフローを説明する。図6は、デジタルカメラ1の全体的な動作の一例を示すフローチャートである。図示する通り、動作を大略的に区分すると、AE評価値、AF評価値、及びWB評価値等の評価値を検出する評価値検出ステップ(ステップS1)と、得られた評価値に基づき各種パラメータを算出する制御パラメータ算出ステップ(ステップS2)と、算出された各種パラメータを該当するデジタルカメラ1各部に設定し、当該パラメータに応じた撮影状態となるようにデジタルカメラ1各部を駆動する制御パラメータを設定する制御パラメータ設定ステップ(ステップS3)と、設定された制御パラメータに応じて階調変換LUTを設定する階調変換LUT設定ステップ(ステップS4)とからなる。
このような動作フローにあって、本実施形態においては、ステップS1で検出されたAE評価値等の各種評価値に基づいて、ステップS2において各種制御のための制御パラメータ算出を行い、ステップS3で撮像制御パラメータを設定した後、ステップ4として、階調変換部409に当該撮像センサ30の線形特性領域及び対数特性領域に応じた階調変換特性が設定される。特に、AE制御等に基づく光電変換特性の変曲点位置の変化とも連動して切替点を設定し、この切替点に基づいてガンマ特性部(第1の階調変換特性部)と非ガンマ特性部(第2の階調変換特性部)とにおける所定の階調変換特性を設定する点に特徴がある。かかる特徴点を適宜強調しつつ、以下、各ステップS1〜S4について順次説明する。
上記各ステップS1〜S4においては、具体的には以下の処理が行われる。
先ず、評価値検出ステップS1では、各種の制御のベースとなる評価値情報を取得し、該評価値情報に基づいて評価値を算出する。AE制御の場合は、撮像ターゲットとなる被写体の輝度レベルが計測(検出)され、この計測値からAE評価値が算出されることとなる。上記輝度レベル及び輝度範囲の検出に際しては、撮像センサ30により実際に撮像された撮影画像から求めることが合理的であり、撮像センサ30は静止画及び動画の撮像が可能であることから、
(ステップS1−1)静止画からの検出:撮像センサ30により、評価値検出用の画像を本撮影前の静止画にて取得して輝度レベル及び輝度範囲を計測する。
(ステップS1−2)動画からの計測:撮像センサ30により、評価値検出用の画像を本撮影前の動画にて取得して輝度レベル及び輝度範囲を計測する。
という2通りの輝度情報の取得ステップを例示することができる。しかる後、
(ステップS1−3)評価値の算出:取得した画像の輝度情報に基づいてAE評価値を含む各種評価値を評価値検出部405により算出する。
というステップが行われる。
次にステップS2では、評価値に基づき各種パラメータが算出されるが、AE制御の場合は、露光量又はダイナミックレンジがAE制御の要素となることから、これらの制御パラメータが、上記AE評価値に基づいて算出される。すなわちステップS2としては、
(ステップS2−1)露光量制御パラメータの算出:全体制御部50により、AE評価値に基づいて露光量制御パラメータを算出する。
(ステップS2−2)ダイナミックレンジ制御パラメータの算出:全体制御部50により、AE評価値に基づいてダイナミックレンジ制御パラメータを算出する。
という2通りのパラメータ算出ステップを例示することができる。
そしてステップS3では、デジタルカメラ1各部を駆動する制御パラメータの設定がなされる。AE制御の場合は、上記(ステップS2−1)又は(ステップS2−2)に基づく制御パラメータの設定が行われる、すなわちステップS3としては、
(ステップS3−1)露光量制御パラメータの設定:算出された露光量制御パラメータに基づいてメモリ部515や制御信号発生部520等に当該パラメータを設定し、タイミング生成回路31や駆動部60を動作させる。
(ステップS3−2)ダイナミックレンジ制御パラメータの設定:算出されたダイナミックレンジ制御パラメータに基づいて、メモリ部515や制御信号発生部520等に当該パラメータを設定し、タイミング生成回路31を動作させる。
という2通りのパラメータ設定ステップが併合的に、或いは独立的に行われる。
最後に上述の通り、設定された制御パラメータに応じて階調変換LUTを設定すべく、
(ステップS4)階調変換LUT設定が行われるものである。
(撮像センサの基本的特性について)
以下、上述した各ステップにつき順次詳述するが、本実施形態においては、その光電変換特性として入射光量に対して上記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して上記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサ30を用いることが前提とされている関係上、先ず撮像センサ30の基本的特性について、その具体的な一例を詳述する。
図7は、撮像センサ30の一例である二次元のMOS型固体撮像装置の概略構成図である。同図において、G11〜Gmnは、行列(マトリクス)配列された画素を示している。この画素G11〜Gmnからなる画素部の外周縁部近傍には、垂直走査回路301と水平走査回路302とが配設されている。垂直走査回路301は、行のライン(信号線)304−1、304−2、・・・304−n(これらを纏めて行ライン304という)を順次走査する。水平走査回路302は、各画素から出力信号線306−1、306−2、・・・306−m(これらを纏めて出力信号線306という)に導出された光電変換信号を画素毎に水平方向に順次読み出す。なお、各画素は電源ライン305により電力供給がなされている。各画素には、上記各ラインや出力信号線だけでなく、他のライン(例えばクロックライン)も接続されているが、図7では図示を省略している。
出力信号線306−1、306−2、・・・306−mには、それぞれ、後述のトランジスタT5と対になって増幅回路を構成する定電流源307−1、307−2、・・・307−m(これらを纏めて定電流源307という)が設けられている。ただし、この増幅回路として、定電流源307に代えて抵抗やトランジスタ(MOSトランジスタ)を設けてもよい。この出力信号線306を介して出力される各画素の撮像時の画像データ及びリセット時の補正データが、順次、選択回路(サンプルホールド回路)308−1、308−2、・・・308−m(これらを纏めて選択回路308という)に出力される。この選択回路308に対して、行毎に画像データ及び補正データが出力されてサンプルホールドされる。サンプルホールドされた画像データ及び補正データは、列毎に、補正回路309に出力され、補正回路309において、感度バラツキによるノイズ成分が除去されるように、補正データに基づいて画像データの補正が行われる。そして、補正回路309から各画素の感度バラツキが補正された画像データが、各画素毎にシリアルに出力される。
図8は、図7に示す各画素G11〜Gmnの回路構成例を示している。同図に示すように、画素は、フォトダイオードPD、MOSFET(Metal Oxide Semiconductor Field Effect Transistor)としてのトランジスタT1〜T6、及び積分用のコンデンサとしてのキャパシタCから構成されている。トランジスタT1〜T6は、ここではPチャンネルMOSFETが採用されている。φVD、φV、φVPS、φRST、φS及びRSBは、各トランジスタやキャパシタCに対する信号(電圧)を示し、GNDは接地を示している。
フォトダイオードPDは、感光部(光電変換部)であり、被写体からの入射光量に応じた電気信号(光電流IPD)を出力する。トランジスタT5は、図7に示す定電流源307と対になってソースフォロワ増幅用の増幅回路(ソースフォロワアンプ)を構成するものであり、後述する電圧VOUTに対する増幅(電流増幅)を行う。トランジスタT6は、ゲートに印加する電圧に応じてオン、オフされるスイッチとして動作する信号読み出し用のトランジスタである。すなわち、トランジスタT6のソースは、図7に示す出力信号線306に接続されており、オンした場合、トランジスタT5で増幅された電流を出力電流として出力信号線306へ導出する。
トランジスタT2は、同トランジスタのゲートに、光電流IPDに対して線形変換又は対数変換した電圧を発生させる。ところで、MOSFETでは、ゲート電圧が閾値以下の時に、サブスレッショルド電流と呼ばれる微小電流が流れるが、トランジスタT2はこのサブスレッショルド特性を利用して上記線形変換又は対数変換を行う。
具体的には、撮像する被写体の輝度が低い(被写体が暗い)場合、すなわち、フォトダイオードPDに入射される入射光量が少ない場合には、トランジスタT2のゲート電位が同トランジスタのソース電位より高くなっており、トランジスタT2が所謂カットオフ状態でありトランジスタT2にサブスレッショルド電流が流れず(トランジスタT2がサブスレッショルド領域で動作せず)、フォトダイオードPDで発生する光電流がフォトダイオードPDの寄生容量に流れて電荷が蓄積され、蓄積電荷量に応じた電圧が発生する。このときT1はオンされているので、上記の寄生容量に蓄積された電荷の量に応じた電圧が、電圧VGとしてトランジスタT2、T3のゲートに発生する。この電圧VGにより、トランジスタT3に電流が流れ、この電圧VGに比例した量の電荷がキャパシタCに蓄積される(トランジスタT3とキャパシタCとで積分回路を構成している)。そして、トランジスタT3とキャパシタCとの接続ノードa、すなわち出力VOUTには、光電流IPDの積分値に対して線形的に比例した電圧が現れる。このときトランジスタT4はオフ状態である。そして、トランジスタT6がオンされると、キャパシタCに蓄積された電荷がトランジスタT5を介して出力電流として出力信号線306に導出される。この出力電流は、光電流IPDの積分値を線形的に変換した値となっている。これが当該撮像センサ30の、線形特性領域における動作である。
一方、撮像する被写体の輝度が高く(被写体が明るく)、フォトダイオードPDに入射される入射光量が多い場合には、トランジスタT2のゲート電位が同トランジスタのソース電位以下となり、トランジスタT2にサブスレッショルド電流が流れ(トランジスタT2がサブスレッショルド領域で動作し)、光電流IPDを自然対数的に変換した値の電圧VGがトランジスタT2、T3のゲートに発生する。そして、この電圧VGにより、トランジスタT3に電流が流れ、キャパシタCに、光電流IPDの積分値を自然対数的に変換した値と同等の電荷が蓄積される。これにより、キャパシタCとトランジスタT3との接続ノードa(出力VOUT)には、光電流IPDの積分値を自然対数的に変換した値に比例した電圧が生じる。このときトランジスタT4はオフ状態である。そして、トランジスタT6がオンされると、キャパシタCに蓄積された電荷がトランジスタT5を介して出力電流として出力信号線306に導出される。この出力電流は、光電流IPDの積分値を自然対数的に変換した値となっている。これが当該撮像センサ30の、対数特性領域における動作である。以上のように、各画素によって、入射光量(被写体輝度)に応じて線形的又は自然対数的に比例した電圧が出力される。
トランジスタT1は、リセット時のノイズデータ(トランジスタT2の製造バラツキに起因して発生するノイズ信号)を取り出す際に用いるためのスイッチである。トランジスタT1は、リセット時以外にはオン状態とされており、トランジスタT2(のドレイン)及びフォトダイオードPD間に光電流IPDが流れるようになっている。リセット時には、オフ状態となりフォトダイオードPDの光電流IPDが遮断され、上記のバラツキ分だけが取り出される。この取り出されたバラツキ分(ノイズ信号)は、後述の映像信号から減算される。
トランジスタT4は、該トランジスタT4のゲートに印加される電圧に応じてオン、オフされるスイッチとして動作する、キャパシタCをリセットするためのトランジスタである。トランジスタT4がオンされるとリセット電圧(上記信号RSBの電圧)が印加され、キャパシタCに蓄積されていた電荷(電荷量)が元の状態、すなわち積分開始前の状態に戻される。
図9は、撮像センサ30(画素)の撮像動作に関するタイミングチャートの一例である。ここではPチャンネルMOSFETの極性上、以下のようにHi(ハイ)でオフ、Low(ロー)でオンとなる。先ず、信号φVが符号311に示す位置でLowとなり、トランジスタT6がオンされ、映像信号が読み出される、すなわちキャパシタCに蓄積されている電荷が出力電流(映像信号)として出力信号線306に導出される。次に信号φSが符号312に示す位置でHiとなり、トランジスタT1がオフされてフォトダイオードPDが切り離される。次に信号φVPSが符号313に示す位置でHiとなり、トランジスタT2のリセットが行われる。また、トランジスタT2がリセットされるのと同時に、信号φRSTが符号314に示す位置でLowとなり、トランジスタT4がオンされ、キャパシタC(接続ノードa)に信号RSBによるリセット電圧が印加されて(接続ノードaの電位がRSBの電位(VRSB)となり)、キャパシタCの(電荷の)リセットが行われる。このようにトランジスタT2及びキャパシタCがリセットされた後、符号315に示す位置で信号φVが再度LowとなってトランジスタT6がオンされ、出力信号線306にノイズ信号が導出される。
次に、信号φSが符号316に示す位置でLowになり(トランジスタT1がオンされ)、フォトダイオードPDの切り離しが解除される。そして、信号φVPSが符号318に示す位置で中電位Mとなって、残像低減のためにフォトダイオードPDの寄生容量のリセットを行う。また、次フレームの積分開始電圧を一定にするために、信号φRSTが符号317に示す位置で再度LowとなってトランジスタT4がオンされ、キャパシタCのリセットが再度行われる。
その後、信号φVPSが符号319に示す位置でMからLowになり、フォトダイオードPDの寄生容量のリセットが終了する。併せて、信号φRSTもLowからHiとなりキャパシタCのリセット動作も終了される。このときの時刻t1からキャパシタCの積分が開始され、信号φVがHiからLowとなる符号311に示す位置、すなわち次フレームにおける映像信号の読み出しが開始される時刻t2までの間、当該積分が継続される。この時刻t1、t2間の時間がキャパシタCの積分時間、すなわち撮像における露光時間となる。この露光時間は、上記中電位Mとなる信号φVPSを与える時間ΔS(長さ)を制御することで制御される。この時間ΔSは、タイミング生成回路31を介したセンサ露光時間制御信号発生部522によって制御される。
信号φVDは、上記増幅回路(ソースフォロワアンプ)の動作範囲に合わせ込むべく、あるいは映像信号やノイズ信号に発生するオフセットの調整を行うべく電位操作を行うものである。信号φVDのVh、Vm及びVlは、それぞれ高電位、中電位及び低電位を示している。
撮像センサ30は、上述のように被写体の輝度に応じて線形変換又は対数変換した出力信号を得ることが可能であり、図10に示すような光電変換特性320を有している。同図に示すように、光電変換特性320は、変曲点321を境にして線形特性領域と対数特性領域とに分かれている。この変曲点321は、線形特性領域から対数特性領域へ切り替わる点であり、この変曲点321のセンサ出力の値をVthで示している。一般的に、線形特性領域では、幅広い輝度範囲の被写体の撮像は不可能であるものの(ダイナミックレンジが狭い)、画像全体の階調性を高くすることができ(高いコントラストを得ることができ)、暗い被写体(例えば曇天時や日陰での被写体)であっても階調性豊かな高品位な画像を得ることができる。一方、対数特性領域では、高輝度での階調性は乏しくなるが、幅広い輝度範囲の被写体の撮像が可能であり(ダイナミックレンジが広い)、明るい被写体(例えば直射日光が照射されていたり、直射日光が背後に存在したりする被写体)であっても、暗い部分も含め、奥行きのある高品位な画像を得ることができる。
ところで、この光電変換特性320(変曲点321)は、トランジスタT2のソースに入力されている信号φVPSの、Hi及びLowの電圧の差を変化させることにより変化(移動)させることができる。すなわち、当該Hi時の電圧をVPHとし、Low時の電圧をVPLとすると、電圧の差ΔVPS(=VPH−VPL)(図9参照)を変化させることにより、図11に示すように、光電変換特性320(変曲点321)から、光電変換特性322(変曲点324)や光電変換特性323(変曲点325)へ任意に変化させることができる。このように光電変換特性が変化することにより、線形特性領域と対数特性領域との比率が変化し、光電変換特性322に示すように線形特性領域の割合が大きな光電変換特性、あるいは光電変換特性323に示すように対数特性領域の割合が大きな光電変換特性を得ることができる。この場合、光電変換特性の全てが線形特性領域又は対数特性領域となるように変化させてもよい。
本実施形態では、電圧VPHを変化させることによりΔVPSを変化させ、撮像センサ30の光電変換特性を変化させている。図11では、VPHが高くなるほど(ΔVPSが大きくなるほど)、線形特性領域の割合が増えて光電変換特性322側へ変化し、VPHが低くなるほど(ΔVPSが小さくなるほど)、対数特性領域の割合が増えて光電変換特性323側へ変化する。この電圧VPHは、タイミング生成回路31を介したダイナミックレンジ制御信号発生部521によって制御される。
なお、光電変換特性を上述のように変化させるために、電圧VPHとなる信号φVPSを与える時間ΔTを変化させてもよい。この場合、時間ΔTを長いほど線形特性領域の割合が大きくなり、短いほど対数特性領域の割合が大きくなるように光電変換特性が変化する。図11では、上記時間ΔTが長い場合が光電変換特性322に、時間ΔTが短い場合が光電変換特性323に相当する。
(評価値検出ステップS1)
続いて、信号処理部40の評価値検出部405におけるAE評価値等の評価値の具体的な取得方法について説明する。
(ステップS1−1)静止画からの評価値検出例
図12は、上述した撮像センサ30が実際に撮像した静止画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。すなわち、本実施形態にかかるデジタルカメラ1で静止画を撮影(本撮影)する場合において、その本撮影の前にAE評価値を取得するための静止画を撮影(予備撮影)し、該予備撮影画像に基づいてAE評価値を算出するフローを示している。この評価値検出手法は、デジタル一眼レフカメラ等の、撮影準備段階において被写体光像が光学ファインダに入射され撮像センサ30には入光しないタイプの撮像装置に好適な手法である。
先ず、本デジタルカメラ1の電源スイッチ101が押下され電源ONとされている状態において、撮影開始の操作が為されたかが確認され(ステップS111)、レリーズスイッチ102が操作(例えば半押し操作)されると(ステップS111のYES)、予備撮影準備の動作が開始される(ステップS112)。
ステップS112では、AE評価値を算出するために予備撮影を行うに当り、当該予備撮影のためのダイナミックレンジ制御が行われる。ここでのダイナミックレンジ制御は、被写体の輝度を広い範囲で感知できるよう、撮像センサ30が最大のダイナミックレンジを備えるように制御される。つまり、デジタル一眼レフカメラ等においては、予備撮影のチャンスは本撮影の前の1回しかないことから、いかなる被写体であってもその輝度を確実に検出できるよう、広いダイナミックレンジに設定される。
このため、撮像センサ30が全領域において対数変換出力動作をなすよう、撮像センサ30の動作状態が制御される。具体的には、レリーズスイッチ102が半押しされると、全体制御部50から予備撮影モードへの移行指示が各部に出され、これを受けてダイナミックレンジ制御信号発生部521が、例えば図8に示すトランジスタT2のソースに入力されている信号φVPSの、Hi及びLowの電圧の差を変化させる(この場合、前述のΔVPSを小さくする。図9参照)信号を発生し、これにより撮像センサ30の対数領域の割合が増加されるよう制御される。なお、広いダイナミックレンジを確保するという観点からは全領域を対数領域とすることが望ましいが、必ずしも全領域を対数領域に変換せずとも良く、ある程度線形領域が残存していても良い。
続いて、予備撮影のための露出制御が行われ、予備撮影が行われる(ステップS113)。具体的には、例えばセンサ露光時間制御信号発生部522が、上記信号φVPSが中電位Mとなる時間ΔSの長さを所定の露光時間に合わせて設定する駆動信号を生成し、これをタイミング生成回路31に送ることで撮像センサ30の予備撮影用露出制御(露光量制御)が行われる。この他、シャッタ制御信号発生部523によって生成された制御信号に基づくシャッタ駆動部61によるシャッタ23のシャッタスピードの調整、及び絞り制御信号発生部525によって生成された制御信号に基づく絞り制御部63により絞り22の調整によっても露出制御が行われる。このような露出制御が為された上で、静止画の予備撮影が行われる。そして、撮影された予備撮影画像に基づいて、評価値検出部405によりAE評価値が算出される(ステップS114)。このAE評価値算出ステップについては、後記で詳述する。AE評価値が算出されると予備撮影は終了し(ステップS115)、当該AE評価値に基づく露出制御が行われた上で本撮影が開始されることとなる(ステップS116)。なお、以上はAE評価値を取得する場合について説明したが、AF評価値やホワイトバランス評価値についても同様にして取得することができる。
(ステップS1−2)動画からの評価値検出例
図13は、撮像センサ30が継続的に撮像している動画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。すなわち、本デジタルカメラ1が撮影待機中にある場合や、動画撮影モードにある場合、或いは本実施形態の撮像装置をデジタルムービィに適用した場合において、撮像センサ30が撮像している全てのフレーム画像を用いて、AE評価値を算出するフローを示している。
先ず、撮影開始の操作が為されたかが確認され(ステップS121)、例えばモード設定スイッチ105が操作されて動画撮影モードに移行され撮影開始が確認されると(ステップS121のYES)、動画の撮影が開始される(ステップS122)。この撮影開始時における撮像ダイナミックレンジ、露光時間、及び絞り等の各制御値は、初期設定値とされる。
続いて、ステップS122において撮像された画像に基づいて、評価値検出部405によりAE評価値が算出される(ステップS123)。そして検出されたAE評価値に基づいて、ダイナミックレンジ制御信号発生部521により信号φVPSの設定を変化させてダイナミックレンジを制御し、またシャッタ駆動信号発生部523及び絞り制御信号発生部525にて生成される制御信号により絞りを制御する等して、所定の撮像AE制御が行われる(ステップS124)。
そして撮影が終了したかが確認され(ステップS125)、撮影の終了指令が無い場合は(ステップS125のNO)、上記ステップS123に戻り同様なAE評価値算出、及びステップS124の撮像AE制御が繰り返されるものである。すなわち、動画撮影が行われているときに、その撮影画像の全てがAE評価値検出のための評価画像として活用され、得られたAE評価値に基づいて次の撮影のための撮像AE制御が行われるというサイクルが繰り返されるものである。なお、撮影画像の全てを評価画像とせず、撮影画像の一部(例えば撮影画像の数フレームに1枚の割合)を評価画像とし、該評価画像からAE評価値を取得するようにしても良い。
(ステップS1−3)評価値の算出
次に、上記のフローにおける評価値算出のステップ(上記ステップS113、S123)について詳述する。図14は、評価値検出部405のブロック図である。評価値検出部405は、分割測光部4051、ヒストグラム算出部4052及び飽和判別部4055を備えている。
分割測光部4051は、被写体に対する分割測光(マルチパターン測光)方式による測光を行うものである。すなわち、分割測光部4051は、撮像センサ30による撮像によって得られた撮影画像を所定数の領域(及び区画)に分割し、当該撮影画像(各領域や区画)における輝度を画像信号(画像データ)から検出するものである。図15は、分割測光における撮像領域(測光範囲)の分割の状態を示す図である。符号330は、撮像センサ30による撮像によって得られた撮像領域(撮像領域330)であり、この撮像領域330において被写体が撮影(撮像)される。この撮像領域330には撮像センサ30を構成する撮像素子に対応した多数の画素情報、すなわち被写体の輝度情報が含まれている。撮像領域330は、例えば撮像領域330の中央部である中央領域と、この中央領域の周辺部である周辺領域とに区分されており、さらに中央領域及び周辺領域はそれぞれ所定数の検出ブロック(検出区画)に分割されている。中央領域は、例えばA、B、C、・・・Z、AA、AB、・・・AJブロック(A〜AJブロック)といった36個の検出ブロックに分割されており、周辺領域は、例えば第1〜第16ブロックといった16個の検出ブロックに分割されている。本実施形態では、この中央領域に撮像されている被写体を主被写体とし(以降、中央領域のことを主被写体領域331という)、周辺領域に撮像されている被写体を周辺被写体と称する(以降、周辺領域のことを周辺被写体領域332という)。なお、主被写体領域331の中央部におけるO、P、U及びVブロックから形成される領域は、フォーカス制御のためのAF評価値の検出が行われるAF領域(AF領域333)となっている。また、主被写体領域331における(撮影画像の)輝度を主被写体輝度、周辺被写体領域における輝度を周辺被写体輝度という。
ヒストグラム算出部4052は、各A〜AJブロック毎の主被写体輝度ヒストグラム(分布)を算出すると共に、このA〜AJブロック毎の主被写体輝度ヒストグラムを用いて、図16(a)に示すような主被写体領域331全体における主被写体全体輝度ヒストグラムを算出する。また、各第1〜第16ブロック毎の周辺被写体輝度ヒストグラムを算出すると共に、この第1〜第16ブロック毎の主被写体輝度ヒストグラムを用いて、図16(b)に示すような周辺被写体領域332全体における周辺被写体全体輝度ヒストグラムを算出する。
また、ヒストグラム算出部4052は、上記算出した主被写体全体輝度ヒストグラム及び周辺被写体全体輝度ヒストグラムを用いて、主被写体全体の輝度範囲及び周辺被写体全体の輝度範囲を算出する。この算出の際、所定の閾値を用いて足切りを行う。すなわち、主被写体においては、図16(a)に示すように閾値D1にて足切りを行い、D1以上の度数を有する輝度の最小値L1〜最大値L8の範囲を主被写体全体輝度範囲とする。同様に、周辺被写体においては、図16(b)に示すように閾値D2にて足切りを行い、D2以上の度数を有する輝度の最小値L12〜最大値L19の範囲を主被写体全体輝度範囲とする。この閾値による「足切り」は、ノイズ等による誤差を低減するために行われる。なお、図16の各輝度ヒストグラムの輝度(画像(輝度)データ)は、ここでは説明の便宜上、L1〜L19などとしているが、実際には、例えば8ビットでの画像データを扱う場合には、256段階(階調)で表し、例えばL1〜L256となる。
ヒストグラム算出部4052は、平均輝度算出部4053及び最大/最小輝度算出部4054を備えている。平均輝度算出部4053は、各A〜AJブロック毎の主被写体の平均輝度、及び各第1〜第16ブロック毎の周辺被写体の平均輝度を算出する。この平均輝度は、R、G、Bの各色に対して算出される。当該平均輝度の算出においては、各A〜AJブロック及び各第1〜第16ブロック毎にそれぞれ主被写体輝度ヒストグラム及び周辺被写体輝度ヒストグラムを算出し、上記と同様に所定の閾値を設定して「足切り」を行い、この足切り後の各輝度値を平均することにより各平均輝度を得る。最大/最小輝度算出部4054は、各A〜AJブロック毎の主被写体の最大/最小輝度、及び各第1〜第16ブロック毎の周辺被写体の最大/最小輝度を算出する。この場合も同様に、各ブロック毎に算出した主被写体輝度ヒストグラム又は周辺被写体輝度ヒストグラムに対して所定の閾値での「足切り」を行い、足切り後の各輝度値(輝度範囲)から最大又は最小輝度を算出する。なお、ヒストグラム算出部4052は、後述の飽和判別部4055による飽和判別に用いるべく、主被写体全体輝度ヒストグラム及び周辺被写体全体輝度ヒストグラムから、さらにこれらを合わせた全領域(撮像領域330)での全領域輝度ヒストグラムを算出する。また、線形特性領域における輝度ヒストグラム(線形領域輝度ヒストグラム)や対数特性領域における輝度ヒストグラム(対数領域輝度ヒストグラム)の算出も行う。この場合、上記全領域(撮像領域330)における、或いは主被写体領域331又は周辺被写体領域332における、当該線形領域輝度ヒストグラムや対数領域輝度ヒストグラムが算出される。
また、ヒストグラム算出部4052は、後述のヒストグラム均等化部495(495a、495b)におけるヒストグラム均等化処理に用いる、非ガンマ特性部820(920、1020)の輝度ヒストグラムを算出する。これに関し、実施形態1及び2では、光電変換特性の変曲点(Vth)(ここでは切替点Pの位置と同じ)を境にした対数特性領域における輝度情報に基づいて当該輝度ヒストグラムを算出し、実施形態3では、入力値Vx(切替点P)を境にした領域(線形特性領域の一部を含む対数特性領域)における輝度情報に基づいて当該輝度ヒストグラムを算出する。
飽和判別部4055は、上記ヒストグラム算出部4052によって算出された全領域輝度ヒストグラムに基づいて、AE(AF、WB)評価値検出時に撮像センサ30の出力が飽和しているか否かを判別するものである。飽和判別部4055は、全領域輝度ヒストグラムにおいて、所定の輝度閾値以上及び所定の度数閾値以上となるような領域(飽和領域)における輝度の総度数、すなわち総画素数(当該飽和領域での総画素数を飽和画素数という)を算出し、この飽和画素数が所定数以上である場合に、撮像センサ30の出力レベルが飽和していると判別する(所定数より少ない場合は飽和していないと判別する)。なお、飽和/非飽和の判別は、撮像センサ30が飽和出力レベル状態にある場合の当該撮像センサ30の出力レベルの物理的な最大輝度(飽和輝度という)の度数(画素数)のみを用いて行ってもよい。
評価値検出部405は、上述のように、分割測光を行い、主被写体及び周辺被写体領域の各検出ブロックにおける輝度情報(画像データ)から、平均輝度、最大/最小輝度、輝度ヒストグラムあるいは輝度範囲等の情報をAE(AF、WB)評価値として検出する。この評価値データは、情報受信部501を介して演算部510の各種評価値に対応するパラメータ算出部、例えばAE評価値であればAE制御パラメータ算出部5110に、AF評価値であればAF制御パラメータ算出部513に、WB評価値であればWB制御パラメータ算出部514に出力され、当該各算出部においてこの評価値に基づき各種制御パラメータが算出される。
(AE制御パラメータ算出ステップS2)
続いて、撮像センサ30の光電変換特性に基づいた露光量制御及びダイナミックレンジ制御によるAE制御について以下に詳述する。図17は、AE制御を行う場合において、撮像センサ30の光電変換特性が変化する様子を示すグラフ図であり、(a)は、露光量制御を行う場合の変化を示し、(b)は、ダイナミックレンジ制御を行う場合の変化を示す図である。図17(a)、(b)は、横軸がセンサ入射輝度、縦軸がセンサ出力であり、横軸は対数座標(センサ入射輝度の対数値)となっている。ただし、センサ入射輝度とは、撮像センサ30に入射された被写体の輝度を示しており、以降、単に輝度という。
このAE制御は、光電変換特性に基づく露光量の制御(露光量制御)、及び光電変換特性に基づくダイナミックレンジの制御(ダイナミックレンジ制御)によって行うことができる。具体的には、以下(A)、(B)の各制御に基づいてAE制御が行われる。
(A)シャッタ23及び/又は撮像センサ30における露光時間、すなわちシャッタ23の開放時間及び/又は撮像センサ30の積分時間、及び/又は絞り23の開口面積の制御に基づく露光量制御。
(B)撮像センサ30の光電変換特性の制御(具体的には、光電変換特性の変曲点位置の制御;図19参照)に基づくダイナミックレンジ制御。
(ステップS2−1)露光量制御パラメータの算出
先ず(A)の場合の露光量制御について図17(a)を用いて説明する。光電変換特性601は、AE評価値取得時点において光電変換特性情報記憶部516に記憶されている撮像センサ30の光電変換特性である。光電変換特性601は変曲点603(このときのセンサ出力はVth)を境として線形特性領域と対数特性領域とに分かれている。この光電変換特性601が、露光量設定用の所定の輝度(露光量設定用輝度)に対して所定のセンサ出力が得られる光電変換特性602へ変化する露光量を得るための露光量制御パラメータ(露光量設定値)、すなわち上記露光時間を制御するための露光時間設定値及び絞りの開口面積を制御するための絞り設定値が、露光量制御パラメータ算出部511によって算出される。つまり、AE評価値に基づく露出設定用の被写体輝度と、上記光電変換特性情報記憶部516に記憶されている光電変換特性601とに基づいて露光量制御パラメータが算出される。
ここでは、光電変換特性601の線形特性領域における所定の輝度Lt1(上記露光量設定用輝度に相当)に対するセンサ出力の値(対数特性領域の点605でのセンサ出力)が、Vtarget(線形特性領域の点606でのセンサ出力)となるような光電変換特性602を算出する、換言すれば、光電変換特性601を、点606を通る光電変換特性602となるように符合608に示す矢印方向(矢印608方向)に向けて変化(移動)させる(このとき、変曲点603は変曲点604へ平行移動され、センサ出力Vthの値は変化しない)。ただし、Vtargetとは、センサ出力の或る目標となるターゲット出力であり、予め設定された値である。このVtargetは露光量制御パラメータ算出部511等に記憶されている。
この場合、輝度Lt1におけるセンサ出力が、光電変換特性601の点605でのセンサ出力から光電変換特性602の点606でのセンサ出力(Vtarget)まで増加するように、すなわち同じ大きさの輝度に対するセンサ出力が増加するように、露光量の増加を図ることができる露光時間設定値や絞り設定値が算出される。別の見方をすれば、Vtargetに相当する輝度がLt2(点607での輝度)からLt1へ変化し、すなわちVtargetのセンサ出力を得るための輝度がLt2より小さいLt1で済むように当該露光量が増加される露光時間設定値や絞り設定値が、露光量制御パラメータ算出部511によって算出される。このとき、当該露光時間設定値や絞り設定値に基づいて、シャッタ23の開放時間又は撮像センサ30による積分時間が増加され、また、絞り23の開口面積が増加されるように制御される。
なお、光電変換特性601から光電変換特性602へ変化する場合、Vmaxにおける輝度がLm2からLm1まで変化(低下)し、ダイナミックレンジは低下する。Vmaxとは、撮像センサ30におけるセンサ出力の最大値、すなわち飽和出力レベルである。ただし、当該Vmaxは、物理的な最大出力レベルとしての飽和出力レベルとしてもよいし、任意に設定した(例えばこの物理的な最大出力レベルより幾分低く設定された出力レベルとしての)飽和出力レベルとしてもよい。
また、図17(a)の場合では、露光量設定用輝度(Lt1)に対してVtargetを得るために、光電変換特性を矢印608方向に変化させているが、矢印608方向と逆方向(右方向)に向けて変化(移動)させてもよい。また、AE評価値取得時における光電変換特性が、既に上述のように露光量設定用輝度に対してVtargetが得られるものとなっている場合には、光電変換特性は変化(移動)されない。ただし、この場合、前回のAE評価値取得時における露光時間設定値や絞り設定値と同じ値になったとしても、今回における露光時間設定値や絞り設定値の算出が行われる構成であってもよい。
(ステップS2−2)ダイナミックレンジ制御パラメータの算出
次に、上記(B)の場合のダイナミックレンジ制御について図17(b)を用いて説明する。光電変換特性701は、AE評価値取得時において光電変換特性情報記憶部516に記憶されている撮像センサ30の光電変換特性である。光電変換特性701は変曲点703(このときのセンサ出力はVth1)を境として線形特性領域と対数特性領域とに分かれている。ダイナミックレンジ制御パラメータ(光電変換特性設定値)は、この光電変換特性701が、ダイナミックレンジ設定用の所定の輝度(ダイナミックレンジ設定用輝度)に対して所定のセンサ出力が得られる光電変換特性702へと変化されるような光電変換特性の制御値、具体的には、変化後の光電変換特性(702)における変曲点(変曲点704)の位置(該変曲点に対する出力レベル)に関する設定値として求められる。この光電変換特性設定値はダイナミックレンジ制御パラメータ算出部512により算出される。
ここでは、ダイナミックレンジにおける最大輝度として設定した輝度Lm20をダイナミックレンジ設定用輝度とし、該輝度Lm20に対するセンサ出力の値が、撮像センサ30の飽和出力レベルであるVmax(図17(a)に示すVmaxと同様)となるように光電変換特性曲線702を算出する。換言すれば、光電変換特性701を、点704を通る光電変換特性702となるように、符合705に示す矢印方向(矢印705方向)に向けて変化させる。このとき、変曲点703は変曲点704へ移り、該変曲点に対するセンサ出力もVth1からVth2へ変化する。
この場合、輝度Lm20におけるセンサ出力が、点706でのセンサ出力(Vover:Vmaxを超えるセンサ出力値)から点707でのセンサ出力(Vmax)まで減少されるような光電変換特性設定値が算出される。別の見方をすれば、センサ出力Vmaxを得ることが可能な最大輝度がLm10(点708での輝度)からLm20へと大きくなるような(ダイナミックレンジを広げるような)光電変換特性設定値が、ダイナミックレンジ制御パラメータ算出部512によって算出される。
なお、光電変換特性701から光電変換特性702へ変化する場合、Vtargetにおける輝度はLt10からLt20まで変化(増加)し、露光量は低下する。ただし、この図17(b)に示すVtargetは、露光量の変化について説明するために設定したものであり、図17(a)に示すVtargetの値とは異なっていてもよい。
また、図17(b)の場合では、ダイナミックレンジ設定用輝度(Lm20)に対してVmaxを得るために、光電変換特性を矢印705方向に変化させているが、矢印705方向と逆方向(上方向)に向けて変化させてもよい。また、AE評価値取得時点における光電変換特性が、上述のようにダイナミックレンジ設定用輝度に対してVmaxが得られるものとなっている場合には、光電変換特性は変化されない。ただし、この場合、前回のAE評価値取得時における光電変換特性設定値と同じ値になったとしても今回における光電変換特性設定値の算出が行われる構成であってもよい。
このように上記(A)の露光量制御、及び(B)のダイナミックレンジ制御によるAE制御により、露光量設定用輝度を光電変換特性の線形特性領域で撮影し、且つ所定のセンサ出力レベルで出力すると共に、ダイナミックレンジ設定用輝度(ここでは被写体の最大輝度;ダイナミックレンジにおける最大輝度)がセンサ飽和出力レベル以下となるようにして撮影することが可能となる。
(露光量制御パラメータの算出方法の詳細説明)
ここで、上記図17(a)の露光量制御の場合における、評価値検出部405によって検出されたAE評価値に基づく、露光量制御パラメータ算出部511による露光量制御パラメータ(露光時間設定値及び絞り設定値)の算出について、より具体的に説明する。
図18は、図17(a)における輝度Lt1(露光量設定用輝度)に対するセンサ出力の値がVtargetとなるようにするための演算方法の一例について説明する図である。同図における光電変換特性α1は、AE評価値取得時における光電変換特性であり、変曲点621(これに対するセンサ出力はVth)を境として線形特性領域622と対数特性領域623とに分かれている。光電変換特性β1は、光電変換特性α1における対数特性領域623を線形特性(線形特性領域624)に変換した場合の、すなわち全て線形特性領域となる光電変換特性を示している。
図18に示すA点におけるLtLinは、光電変換特性α1の線形特性領域622における平均輝度(線形特性領域平均輝度)であり、この輝度LtLinに対するセンサ出力がVtLinとなっている。また、B点におけるLtLogは、光電変換特性α1の対数特性領域623における平均輝度(対数特性領域平均輝度)であり、この輝度LtLogに対するセンサ出力がVtLogとなっている。先ず、この光電変換特性α1の対数特性領域623におけるLtLogに対するB点が、線形特性領域624上のC点に移るように、すなわち対数特性領域623におけるLtLogに対するセンサ出力の値(VtLog)が線形特性領域624での値(VtLogLin)となるようにデータ変換が行われる(これにより、光電変換特性α1での各データを線形特性領域でのデータに統一して扱えるようになる)。上記対数特性領域623(光電変換特性α1)から線形特性領域624(光電変換特性β1)へのデータ変換は、LUT記憶部518に記憶されているLUTを用いて行われる。そして、A点でのVtLinとC点でのVtLogLinとから、以下の式により、D点でのセンサ出力VtAveが算出される。なお、VtAveにおける輝度LtAveが、図17(a)に示す露光量設定用輝度としてのLt1に相当する。
VtAve=(VtLin*k1)+(VtLogLin*(1−k1))
ただし、k1=m/(m+n)
m:A点の輝度LtLinの算出時に用いた総画素数
n:B点の輝度LtLogの算出時に用いた総画素数
このように、LtLin及びLtLogの値から、VtLin及びVtLogLinの値を算出し、VtLin及びVtLogLinの値からVtAveを算出する。
次に、このVtAveが、図17(a)に示すVtargetとなるような露光量の増幅率Gain(ゲイン)、この露光量の増幅率Gainに基づく露光時間の増幅率Gt及び絞りの増幅率Gs、さらに、増幅率Gt及びGsに基づくそれぞれ露光時間T2及び絞りの開口面積S2を以下の式により算出する。
Gain=Vtarget/VtAve
Gt*Gs=Gain
ただし、当該各式を用いたGt及びGsの値の算出は、以下の式を用いた場合分けによって決定される。
≪露光時間に関する増幅率を算出する式≫
Tmax/T1=Gtmax(露光時間の最大増幅率)
Tmin/T1=Gtmin(露光時間の最小増幅率)
Gain/Gtmax=GGtmax(最大増幅率での不足分を補うための増幅率)
Gain/Gtmin=GGtmin(最小増幅率での不足分を補うための増幅率)
T2=T1*Gt
ただし、T1:AE評価値検出時の露光時間
T2:AE補正後の露光時間
Tmax:撮像センサ30の最大露光時間
Tmin:撮像センサ30の最小露光時間
≪絞りに関する増幅率を算出する式≫
Smax/S1=Gsmax(絞りの最大増幅率)
Smin/S1=Gsmin(絞りの最小増幅率)
Gain/Gsmax=GGsmax(最大増幅率での不足分を補うための増幅率)
Gain/Gsmin=GGsmin(最小増幅率での不足分を補うための増幅率)
S2=S1*Gs
ただし、S1:AE評価値検出時の絞りの開口面積
S2:AE補正後の絞りの開口面積
Smax:絞り23の最大開口率
Smin:絞り23の最小開口率
場合分けの結果、Gt及びGsは、以下(c1)〜(c7)に示すものとなる。
(c1)露光時間の増幅率Gt=1.0及び絞りの増幅率Gs=1.0
これは、VtAveがVtargetの値と同じ値である場合、すなわち露光量の増幅率Gain=1.0であり、露光量の制御(露光量制御パラメータの変更)が必要ない(露光時間及び絞りの開口面積は変更されない)場合である。
(c2)Gt=Gain及びGs=1.0
これは、増幅率Gain=1.0でなく、また、Gain>1.0であり、且つGain>Gtmaxでない場合、すなわちGainが1.0より大きく、露光量の制御が必要であり、露光量の増幅率Gainが露光時間の増幅率Gt(最大増幅率Gtmax以下の増幅率Gt)にて対応できる場合である。
(c3)Gt=Gain及びGs=1.0(結果として上記c2の場合と同じ)
これは、Gain>1.0でなく、且つGain<Gtminでない場合であり、Gainが1.0より小さく露光量の制御が必要であり、露光量の増幅率Gainが、露光時間の増幅率Gt(最小増幅率Gtmin以上の増幅率Gt)にて対応できる場合である。
(c4)Gt=Gtmax及びGs=GGtmax
これは、Gain>Gtmaxであり、且つGsmax>GGtmaxの場合であり、露光量の増幅率Gainが、露光時間の最小増幅率Gtminよりも小さな値となってしまい、露光時間の増幅率Gtだけで対応することできないため、増幅率Gainに対するGtの増幅率の不足分を、絞りの増幅率Gsを変化させることで対応(補充)している場合である。ただし、この絞りの増幅率Gsの値としては、露光時間の最大増幅率Gtmaxでの不足分を補うための増幅率GGtmax(絞りの最大増幅率Gsmaxよりも小さい値であり、この増幅率GGtmaxを用いることで絞りの最大増幅率Gsmaxを用いる手間が省かれている)を用いている。
(c5)Gt=Gtmin及びGs=GGtmin
これは、Gain<Gtminであり、且つGsmin<GGtminの場合であり、
露光量の増幅率Gainが、露光時間の最小増幅率Gtminよりも小さな値となってしまい、露光時間の増幅率Gtだけで対応することできないため、増幅率Gainに対するGtの増幅率の不足分を、絞りの増幅率Gsを変化させることで対応している場合である。ただし、この絞りの増幅率Gsの値としては、露光時間の最小増幅率Gtminでの不足分を補うための増幅率GGtmin(絞りの最小増幅率Gsminよりも小さい値であり、この増幅率GGtminを用いることで絞りの最小増幅率Gsminを用いる手間が省かれている)を用いている。
(c6)Gt=Gtmax及びGs=Gsmax
これは、Gsmax>GGtmaxでない場合であり、増幅率GGtmaxが、絞りの最大増幅率Gsmax以上の値となる場合に、絞りの増幅率Gsの値として最大増幅率Gsmaxが用いられている場合である。
(c7)Gt=Gtmin及びGs=Gsmin
これは、Gsmin<GGtminでない場合であり、増幅率GGtminが、絞りの最小増幅率Gsmin以下の値となる場合に、絞りの増幅率Gsの値として最小増幅率Gsminが用いられている場合である。
なお、本実施形態では、上記各場合分けに示すように、露光量の増幅率Gainを得るための制御パラメータを選択する際、露光時間の増幅率Gtを優先させている(露光時間の制御を優先させている)が、絞りの増幅率Gsを優先させる(絞りの制御を優先させる)構成であってもよい。また、1つの露光量設定用輝度(Lt1)に対して、増幅率Gt及びGsの算出を行っているが、2つ以上の露光量設定用輝度に対して同様の算出を行ってもよく、この場合には、それぞれで算出した増幅率(Gt、Gs)の平均値、あるいは最大値や最小値を用いる構成であってもよい。
このようにして増幅率Gt、Gsが算出され、このGt、GsからそれぞれAE補正後の露光時間T2、AE補正後の絞りの開口面積S2が算出される。そして、これらT2及びS2に応じた撮像センサ30やシャッタ23に対する設定値(露光時間設定値)、あるいは絞り22に対する設定値(絞り設定値)が、それぞれLUTを用いたデータ変換によって算出される。そして、当該データ変換によって得られた露光時間設定値や絞り設定値は、光電変換特性情報記憶部516に記憶される(あるいは前回のAE評価値取得時点における露光時間設定値や絞り設定値を、当該新たに得られた同設定値で更新する構成であってもよい。以下の光電変換特性設定値に対しても同様である)。
なお、シャッタ制御信号発生部523及び絞り制御信号発生部525は、それぞれ露光量制御パラメータ算出部511で算出された露光時間設定値及び絞り設定値に基づいて、撮像センサ30やシャッタ23による露光時間(積分時間)が上記T2となるような、あるいは絞り22の開口面積が上記S2となるような、シャッタ駆動部61及び絞り駆動部63に対する制御信号を発生させる。
続いて、上記図18に示す線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLin及び対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの具体的な算出方法について説明する。先ず、線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLinの算出方法について説明する。図15に示す主被写体領域331における各検出ブロック(A〜AJブロック)によって検出した被写体の輝度情報を基に、当該各検出ブロック毎の線形特性領域での平均輝度(ブロック線形平均輝度という)を算出する。このブロック線形平均輝度の算出は、R、G及びBの3色それぞれの線形特性領域の平均値(色線形平均値という)を用いて行う。すなわち、A〜AJブロックから得られるR色の色線形平均値をそれぞれAveRA、AveRB、・・・AveRAJとして算出し、同様に、G色、及びB色の色線形平均値をそれぞれAveGA、AveGB、・・・AveGAJ、及びAveBA、AveBB、・・・AveBAJとして算出する。そして、これらRGB各色の色線形平均値を用いて、以下の色空間変換を行う式により、A〜AJブロック毎のブロック線形平均輝度を算出する。例えばAブロックに対するブロック線形平均輝度をAveYAとすると、AveYAは次式にて求めることができる。
AveYA=AveRA*K1+AveGA*K2+AveBA*K3
ただし、K1、K2、K3:RGBからYCbCrへの色空間変換に用いる係数であり、例えばK1=0.2989、K2=0.5866、K3=0.1145である。
他のB〜AJブロックに対しても同様に演算し、この結果、A〜AJブロック毎のブロック線形平均輝度AveYA、AveYB、・・・AveYAJを算出する。そして、さらにこれらブロック線形平均輝度AveYA、AveYB、・・・AveYAJ全体での平均値を算出する。この平均値のことをMainYとすると、MainYが上記線形特性領域平均輝度LtLinに対応するセンサ出力レベルVtLinとなる。
一方、対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの算出も、上記VtLinの場合と同様にして行う。すなわち、図15に示す主被写体領域331におけるA〜AJブロックによって検出した被写体の輝度情報を基に、当該各検出ブロック毎の対数特性領域での平均輝度(ブロック対数平均輝度という)を算出する。このブロック対数平均輝度の算出は、R、G及びBの3色それぞれの対数特性領域の平均値(色対数平均値という)を用いて行う。すなわち、A〜AJブロックから得られるR色の色対数平均値をそれぞれAveRLogA、AveRLogB、・・・AveRLogAJとして算出し、同様に、G色、及びB色の色対数平均値をそれぞれAveGLogA、AveGLogB、・・・AveGLogAJ、及びAveBLogA、AveBLogB、・・・AveBLogAJとして算出する。
ところで、これら対数特性領域でのRGB各色の色対数平均値は、一旦、LUT記憶部518に記憶されているLUTを用いて線形特性領域での値に変換して線形データとしておき、この線形データに変換された値を用いて上記と同様に色空間変換の式を用い、A〜AJブロック毎のブロック対数平均輝度AveYLogA、AveYLogB、・・・AveYLogAJを算出する。そして、さらにこれらブロック対数平均輝度AveYLogA、AveYLogB、・・・AveYLogAJ全体での平均値を算出する。この平均値のことをMainYLogとすると、MainYLogが上記線形特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogLinとなる。なお、上記各A〜AJブロックでの各色の色線形平均値(色対数平均値)は、当該各A〜AJブロック毎の線形特性領域(対数特性領域)での輝度ヒストグラムを算出すると共に輝度ヒストグラムの「足切り」を行い、該足切り後の各輝度値を平均することにより算出してもよい。
増幅率Gain(露光量制御パラメータ)の具体的な算出方法は、上述において説明したものでなくともよく、以下に示す方法であってもよい。すなわち、主被写体領域331における各A〜AJブロックでのRGB各色における輝度の最大値(色最大値という)及び色空間変換を行う式を用いて、A〜AJブロック毎のブロック最大輝度MaxYA、MaxYB、・・・MaxYAJを算出し、さらにこれらブロック最大輝度MaxYA、MaxYB、・・・MaxYAJ全体での最大値(主被写体領域331での最大輝度値という)を算出する。この最大輝度値のことをMaxYとし、このMaxYが、或る輝度Ltmaxに対応するセンサ出力レベルVtAve2であるとする。
一方、同様に、各A〜AJブロックでのRGB各色における輝度の最小値(色最小値)及び色空間変換を行う式を用いて、A〜AJブロック毎のブロック最小輝度MinYA、MinYB、・・・MinYAJを算出し、さらにこれらブロック最小輝度MinYA、MinYB、・・・MinYAJ全体での最小値(主被写体領域331での最小輝度値という)を算出する。この最小輝度値のことをMinYとし、このMinYが、或る輝度Ltminに対応するセンサ出力レベルVtAve1であるとする。ただし、上記色最大値及び色最小値のうちで対数特性領域での値であるものに対しては、同様にLUTを用いての線形特性領域への変換を行った後に色空間変換を行う。また、各A〜AJブロックでの各色の色最大値及び色最小値は、当該各A〜AJブロック毎に輝度ヒストグラムを算出すると共に輝度ヒストグラムの「足切り」を行い、該足切り後の各輝度値から算出してもよい。
そして、輝度Ltminに対するセンサ出力値VtAve1が、予め設定されたターゲット出力値であるVtarget1となるような増幅率(Vtarget1/VtAve1;第1増幅率という)を算出すると共に、輝度Ltmaxに対するセンサ出力値VtAve2が、予め設定されたターゲット出力値であるVtarget2となるような増幅率(Vtarget2/VtAve2;第2増幅率という)を算出し、これら2つの増幅率のうちの小さい方の増幅率を選択し、当該選択された増幅率を上記露光量の増幅率Gainとして、上述のように場合分けを行い、露光時間の増幅率Gt及び絞りの増幅率Gsを算出する構成であってもよい。
また、上記最小輝度値MinY及び最大輝度値MaxYは、各A〜AJブロックの輝度ヒストグラムを纏めてなるA〜AJブロック全体での全体輝度ヒストグラムから算出してもよい。この場合、同様に「足切り」を行うことで当該全体輝度ヒストグラムにおける輝度範囲を算出し、この輝度範囲から最小輝度値MinY及び最大輝度値MaxYを算出する。なお、当該算出時に、最小輝度値MinY=最大輝度値MaxY−輝度範囲、あるいは最大輝度値MaxY=最小輝度値MinY+輝度範囲というように、最小又は最大輝度値の一方の輝度値と輝度範囲とから、他方の輝度値を求めてもよい。
(ダイナミックレンジ制御パラメータの算出方法の詳細説明)
次に、上記図17(b)の露光量制御の場合における、評価値検出部405によって検出されたAE評価値に基づく、ダイナミックレンジ制御パラメータ算出部512によるダイナミックレンジ制御パラメータ(光電変換特性設定値)の算出についてより具体的に説明する。
図19は、変化後の光電変換特性における変曲点の位置の算出方法について説明する図であり、(a)は、輝度Lmaxに対して所定のセンサ出力となるように光電変換特性を変化させた場合の図であり、(b)は、光電変換特性をモデル化した場合の図である。先ず、図19(a)において、輝度Lmaxは、ダイナミックレンジ設定用輝度であり、例えば図17(b)に示すLm20に相当するものとする。光電変換特性α2は変曲点711を有する変化前の光電変換特性、光電変換特性β2は変曲点712を有する変化後の光電変換特性を示している。Vmax2は、撮像センサ30の飽和出力レベル(最大出力レベル)を示している。輝度Lmaxに対するセンサ出力の値が、光電変換特性α2上のE点でのVmax1から光電変換特性β2上のF点でのVmax2へ移るように光電変換特性を変化させる。この場合、光電変換特性α2は、変曲点711でのセンサ出力Vth1から変曲点712でのセンサ出力Vth2となる変曲点の変化量ΔVthに応じて光電変換特性β2の状態へ変化する。
ところで、上記Vth2は、E、F点間のセンサ出力ΔVmax(=Vmax2−Vmax1)から算出される。これについて説明する。図19(b)に示すように、光電変換特性α2、β2における線形特性領域及び対数特性領域をそれぞれモデル化(グラフ化)して関数(数式)で表すと、以下のように表される。
線形特性領域をモデル化した関数:V=K2*L(光電変換特性α2、β2で共通)
対数特性領域をモデル化した関数:V=K1*ln(L)+Wα(光電変換特性α2)
:V=K1*ln(L)+Wβ(光電変換特性β2)
ただし、K1、K2は定数、Lはセンサ入射輝度(図19の横軸座標)、Wα及びWβは切片を示している。
ここで、ΔVmaxは、ΔVmax=Wβ−Wαと表されるので、上記V=K1*ln(L)+Wβの数式は、
V=K1*ln(L)+Wα+ΔVmax
と表される。この数式と、上記V=K2*Lの数式との交点713におけるセンサ出力値がVth2となる。したがって、交点713(の座標)を算出するための、当該2つの数式の連立式;
K1*ln(L)+Wα+ΔVmax=K2*L
を満たす「L」の値、すなわち図19(b)に示す輝度Lを求めることによって、該輝度Lに対応するセンサ出力のVth2が算出される。ただし、算出された出力レベルVth2が飽和出力レベルVmax2より大きくなる場合には、撮像センサ30は、対数特性領域の無い線形特性領域のみの光電変換特性を有することとなる。
そして、上述のように算出したVth2に応じた撮像センサ30に対する設定値、すなわち、光電変換特性の変曲点がVth2の位置となるように光電変換特性を変化させるための設定値(光電変換特性設定値)が、LUTを用いた当該Vth2のデータ変換によって算出される。そして、当該データ変換によって得られた変曲点Vth2に対応する光電変換特性設定値は、光電変換特性情報記憶部516に記憶される。なお、ダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータ算出部512で算出された光電変換特性設定値に基づいて、撮像センサ30の光電変換特性(の変曲点位置)が上述のように変化するような、タイミング生成回路31に対する制御信号を発生させる。
ところで、上記図19に示すダイナミックレンジ設定用輝度である輝度Lmaxに対応するセンサ出力レベルVmax1の具体的な算出方法は以下の通りである。先ず、上記図18における対数特性領域平均輝度LtLogに対応するセンサ出力レベルVtLogの算出と同様に、図15に示す主被写体領域331(A〜AJブロック)での対数特性領域平均輝度を算出すると共に、周辺被写体領域332(第1〜第16ブロック)での対数特性領域平均輝度を、主被写体領域331での場合と同様に算出する。そして、これら主被写体領域331及び周辺被写体領域332で算出した対数特性領域平均輝度を比較して大きな方の対数特性領域平均輝度を選択し、該選択した対数特性領域平均輝度に対応するセンサ出力レベルをVmax1とする。
なお、主被写体領域331及び周辺被写体領域332において、上記対数特性領域平均輝度だけでなく、図18における線形特性領域平均輝度LtLinと同様の線形特性領域平均輝度に対応するセンサ出力も算出し、主被写体領域331及び周辺被写体領域332毎にこれら線形特性領域平均輝度と対数特性領域平均輝度とを平均した全特性領域平均輝度を算出し、これら各領域における全特性領域平均輝度のうちの大きな方を輝度Lmaxに対応するセンサ出力とする構成であってもよい。ただし、当該輝度が同じ大きさであった場合には、いずれの輝度値を輝度Lmaxに対応するセンサ出力としてもよい(以降も同様)。また、主被写体領域331のみでの対数特性領域平均輝度(あるいは線形特性領域平均輝度と合わせた全特性領域平均輝度)から輝度Lmaxに対応するセンサ出力を得る構成であってもよいし、周辺被写体領域332のみでの対数特性領域平均輝度(あるいは線形特性領域平均輝度と合わせた全特性領域平均輝度)から輝度Lmaxに対応するセンサ出力を得る構成であってもよい。
さらに、輝度Lmaxに対応するセンサ出力の具体的な算出方法は、以下に示すものであってもよい。すなわち、先ず、上述の最大輝度値Ltmax(MaxY)に対応するセンサ出力の算出と同様に、主被写体領域331での最大輝度値を算出すると共に、周辺被写体領域332での最大輝度値を、主被写体領域331での場合と同様に算出する。そして、これら主被写体領域331及び周辺被写体領域332で算出した最大輝度値を比較して大きな方の最大輝度値を選択し、当該選択した最大輝度値に対応するセンサ出力レベルを求め、この出力レベルに対応する輝度をLmaxとする。なお、主被写体領域331のみでの最大輝度値から輝度Lmaxに対応するセンサ出力を得る構成であってもよいし、周辺被写体領域332のみでの最大輝度値から輝度Lmaxに対応するセンサ出力を得る構成であってもよい。
ところで、図19に示すような、光電変換特性設定値に基づく光電変換特性(変曲点位置)の制御は、実際には、飽和判別部4055(図14参照)によって撮像センサ30の出力レベルが飽和していないと判別された場合に行われ、当該出力レベルが飽和していると判別された場合には、飽和画素数に応じて変曲点での出力レベルを低下させるように、すなわち、撮像センサ30によって、より高輝度側での撮影を可能とするべくダイナミックレンジを広げるように(図17(b)の矢印705方向へ)光電変換特性を変化させる。ただし、この場合の変曲点の変化量(ΔVth)の値は、飽和画素数が増加するにつれて増加するように設定されており、当該飽和画素数に対応するΔVthの算出は、LUTによるデータ変換によって行われる構成となっている。
(ステップS3−1)露光量制御パラメータの設定
上記ステップS2−1で説明したような手法でAE制御のための露光量制御パラメータが算出されたならば、当該露光量制御パラメータに基づいて露光量制御が行われる。すなわち、静止画像を撮影する場合は、予備撮影画像より取得されたAE評価値に基づいたAE制御がなされた上で本撮影が行われる。また、動画像を撮影する場合は、例えば直前に撮影された撮影画像より取得されたAE評価値に基づいたAE制御がなされた上で順次動画撮影が行われる。
具体的には、全体制御部50の露光量制御パラメータ算出部511で算出された露光量制御パラメータは制御信号発生部520に入力され、実際の露光量制御動作を行わせる駆動信号を生成するタイミング生成回路31や駆動部60を動作させるための制御信号が制御信号発生部520の各部で生成される。すなわち、制御信号発生部520のセンサ露光時間制御信号発生部522は、上記露光量制御パラメータに応じて、所期の露光時間が確保されるよう撮像センサ30の制御信号を生成し、これをタイミング生成回路31へ送信する。ここでの制御信号は、例えば図9に示すタイミングチャートにおいて、撮像センサ30に対する信号φVPSが中電位Mとなる時間ΔSを、露光量制御パラメータに応じて適宜な時間に設定する信号(つまり、フォトダイオードPDの寄生容量のリセット動作終了時刻t1から次フレームの映像信号読み出しが開始される時刻t2までの積分時間を適宜な時間に設定する信号)である。タイミング生成回路31は、入力された駆動信号に応じて、撮像センサ30の露光時間を制御するタイミング信号を生成して撮像センサ30を駆動させる。
また、シャッタ制御信号発生部523は、同様に露光量制御パラメータに基づいて、シャッタ23のシャッタスピード(シャッタ開放時間)を露光時間に合わせて設定する制御信号を生成する。この制御信号は駆動部60のシャッタ駆動部61へ送られ、シャッタ駆動部61は該制御信号に基づいてシャッタ23の駆動信号を生成し、露光量制御パラメータに応じたシャッタ23のシャッタ開放動作を行わせる。
さらに、絞り制御信号発生部525も、同様に露光量制御パラメータに基づいて、絞り22の開口面積を設定する制御信号を生成する。この制御信号は絞り駆動部63へ送られ、絞り駆動部63は該制御信号に基づいて絞り22の駆動信号を生成し、露光量制御パラメータに応じた絞り22の開口面積設定動作を行わせる。
以上のように、露光量制御(積分時間の制御)の要素としては、タイミング生成回路31のよる撮像センサ30の駆動制御、シャッタスピード制御及び絞り制御があり、これら3つの制御を全て行うようにしても良いが、高速に制御を達成する観点からは、タイミング生成回路31による電子回路的な露光量制御を優先させるようにすることが望ましい。
(ステップS3−2)ダイナミックレンジ制御パラメータの設定
一方、上記ステップS2−2で説明したような手法でAE制御のためのダイナミックレンジ制御パラメータが算出されたならば、当該ダイナミックレンジ制御パラメータに基づいてダイナミックレンジ制御が行われる。具体的には、全体制御部50のダイナミックレンジ制御パラメータ算出部512で算出されたダイナミックレンジ制御パラメータは制御信号発生部520に入力され、そのダイナミックレンジ制御信号発生部521において、実際のダイナミックレンジ制御動作を行わせる制御信号が生成される。
すなわちダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータ算出部512において算出された撮像センサ30の光電変換特性設定値に応じて、光電変換特性が線形特性領域から対数特性領域に切り替わる出力レベルポイント(変曲点)を調整する撮像センサ30の制御信号を生成し、これをタイミング生成回路31へ送信する。ここでの制御信号は、例えば図9に示すタイミングチャートにおいて、撮像センサ30に対する信号φVPSを、算出されたダイナミックレンジ制御パラメータに応じて適宜設定する制御信号である。
つまり、上記φVPSにおける電圧VPHの高さ、あるいは時間ΔTの長さを制御することでその変曲点が変動されることから、ダイナミックレンジ制御信号発生部521は、ダイナミックレンジ制御パラメータに基づいてφVPSを制御する制御信号を生成し、これをタイミング生成回路31へ送信する。そしてタイミング生成回路31は、入力された制御信号に応じて、撮像センサ30のダイナミックレンジを制御するタイミング信号を生成して撮像センサ30を、所定の光電変換特性の状態として実際に駆動させるものである。
以上、AE制御を中心に説明したが、実際のデジタルカメラ1においては、AF制御やWB制御等も行われる。AF制御の場合も同様に、撮像センサ30の撮影画像から取得したAF評価値に基づいて制御を行うことができる。例えば、図15に示した主被写体領域331のO、P、U及びVブロックから検出される輝度ヒストグラムを活用し、評価値検出部405にて隣接輝度とのコントラストが最大となるポイントを求める所謂「山登り法」等によってAF評価値を算出することができる。この場合、撮像センサ30の線形特性領域及び対数特性領域の各々からAF評価値を検出し、それぞれの特性領域の特徴を生かし、例えば対数特性領域から得られるAF評価値を、AF制御に際しての粗測距用として用い、また線形特性領域から得られるAF評価値を、詳測距用として用いるようにすることが望ましい。
このようにして評価値検出部405で検出されたAF評価値は、全体制御部50のAF制御パラメータ算出部513へ送られる。AF制御パラメータ算出部513は、該AF評価値に応じたAF制御パラメータを算出し、これをズーム/フォーカス制御信号発生部523へ送信する。該ズーム/フォーカス制御信号発生部523にて、入力されたAF制御パラメータに応じた制御信号が生成され、これがズーム/フォーカス駆動部62へ送信される。そして、ズーム/フォーカス駆動部62により上記制御信号に応じた駆動信号が生成され、該駆動信号により鏡胴20のレンズ群21がフォーカス駆動されるものである。
またWB制御についても、撮像センサ30の撮影画像から取得したWB評価値に基づいて制御を行うことができる。この場合も、撮像センサ30の線形特性領域及び対数特性領域の各々からWB評価値を検出することが望ましい。すなわち、撮影画像に基づきニュートラルな画像によるWB評価値検出を行うものとし、上記ニュートラル画像として線形特性領域と対数特性領域との2種類の画像に基づき、各RGBレベル(R−Log,G−Log,B−Log,R−Lin,G−Lin,B−Lin)を検出するよう構成することが望ましい。評価値検出部405はこのようなWB評価値を検出し、該WB評価値をホワイトバランス制御部406へ送り、ホワイトバランス制御部406により適宜な色バランスとなるようホワイトバランス補正が行われるものである。
このようなAE制御を行う本実施形態に係るデジタルカメラ1によれば、被写体の輝度情報に基づいて、被写体を撮像するに際しての露出の制御に関する露出評価値が露出評価値検出手段によって検出される。そして、この露出評価値を用いて、撮像センサの光電変換特性に基づいて露光量制御手段によって露光量の制御が行われると共に、この露出評価値を用いて、撮像センサの光電変換特性に基づいてダイナミックレンジ制御手段によってダイナミックレンジの制御が行われる。このように、撮像装置が備える撮像センサの光電変換特性と関連付けて、露光量制御手段による露光量制御とダイナミックレンジ制御手段によるダイナミックレンジ制御とを行うことによって撮像装置の露出制御を行うことができるため、被写体輝度に応じて、被写体を最適な露光状態で、且つ所定のダイナミックレンジを確保した状態で撮像することができる。
(階調変換LUT設定ステップS4)
上記のようにしてAE制御等の制御パラメータの設定がなされ、これにより光電変換特性に変化が生じた場合、信号処理部40の階調変換部409において、変化後の光電変換特性に応じた新たな階調変換LUTに基づいて、撮像された画像信号に対して階調変換処理がなされる。つまり、ステップS1〜S3までの撮像のための制御に合わせて、画像信号処理の1要素である階調変換処理の設定が制御される。
ここで、階調変換処理に関する動作について説明する前に、階調変換部409の具体的構成について詳述する。図20は、階調変換部409の機能を説明するための機能ブロック図である。階調変換部409は、階調変換演算部4091、階調変換LUT記憶部4092、変換特性作成部4093及び作成用情報受信部4094から構成されている。
階調変換演算部4091は、階調変換部409へ入力された画像信号(3×3色補正部408から入力される色成分R、G、Bの画像信号)の階調特性を、当該画像信号に基づく画像を表示させるべき表示部(LCD表示部106や外部出力されるモニターテレビ等)が備える階調特性にマッチさせるべく諧調変換するための演算処理を行う。かかる演算処理を行うに際しては、階調変換LUT記憶部4092に記憶されている階調変換LUTが参照される。
階調変換LUT記憶部4092は、ROM又はRAM等からなり、上述の通り階調変換演算処理に供する階調変換LUTが記憶されている。ここでの階調変換LUTは、被写体の輝度情報に基づいて、具体的には撮像センサ30の光電変換特性における線形特性領域と対数特性領域との変曲点の位置情報や主被写体領域の平均輝度値や輝度ヒストグラム等に基づいて設定された、後述のガンマ特性部と非ガンマ特性部とからなる階調変換特性に対するLUTである。
変換特性作成部4093は、ガンマ特性部に対する階調変換特性(以降、適宜、ガンマ変換特性という)及び非ガンマ特性部に対する階調変換特性(以降、適宜、非ガンマ変換特性という)からなる全体の階調変換特性(全体階調変換特性)を作成する、すなわち、当該全体階調変換特性に対する階調変換LUTを作成するものである。
作成用情報受信部4094は、全体制御部50から出力された、変換特性作成部4093での階調変換特性(全体階調変換特性)作成用の情報(作成用情報)を受け取り、この作成用情報を変換特性作成部4093へ入力するものである。作成用情報受信部4094は、変曲点情報受付部496及び設定モード情報受付部497を備えている。変曲点情報受付部496は、全体制御部50の光電変換特性情報記憶部516からの光電変換特性の更新情報(光電変換特性の変曲点の出力レベルVthの変化情報)を受け付ける。設定モード情報受付部497は、後述の非ガンマ作成部4096(4096a、4096b)による非ガンマ特性部820(920、1020)における(a)〜(c)の3つの場合の各非ガンマ変換特性を作成するモード(非ガンマ変換特性作成モード)のうち何れのモードを設定するかに関する情報(以降、設定モード情報という)を受け付けるものである。当該設定モード情報は、モード設定スイッチ105の操作により設定されたモード指示情報に応じて全体制御部50から出力されたものである。なお、上記作成用情報には、変曲点情報や設定モード情報の他にも、例えば実施形態3で説明する入力値Vx設定用の主被写体輝度情報や各種ヒストグラム情報等が含まれていてもよい。
変換特性作成部4093は、ガンマ作成部4095、非ガンマ作成部4096及び切替点設定部4097を備えている。ガンマ作成部4095は、全体階調変換特性におけるガンマ変換が行われる領域、すなわちガンマ特性部の階調変換特性(ガンマ変換特性)を作成(算出)するものである。ガンマ作成部4095は、ガンマパターン情報記憶部491及びガンマ用LUT記憶部492を備えている。
ガンマパターン情報記憶部491は、ガンマ作成部4095において作成されるガンマ変換特性用のガンマ階調変換LUTパターン(以降、適宜、ガンマパターンという)、概略的に言えば、ガンマ変換特性を示すガンマ曲線形状(曲線パターン)が記憶されている。ガンマ用LUT記憶部492は、ROM又はRAM等からなり、ガンマ変換特性作成の際のガンマ階調変換処理に供するガンマ用階調変換LUTが記憶されている。ここでのガンマ用階調変換LUTは、ガンマパターン情報記憶部491に記憶されているガンマパターンと後述の切替点の位置情報とに基づいて作成されたものであり、当該切替点が更新されるのに応じて新たに作成されたガンマ用階調変換LUTによって更新される(書き換えられる)。
なお、AE制御等によって光電変換特性の変曲点の位置(Vth)が変化し、当該変曲点位置の変化に応じて切替点の位置も変わることになり、したがって、ガンマ作成部4095では、AE制御等が行われる都度、ガンマ特性部に対する上記ガンマ用階調変換LUTが作成されることになる。
非ガンマ作成部4096は、当該ガンマ変換が行われない領域(非ガンマ特性部)における階調変換特性(非ガンマ変換特性)を作成するものであり、上記作成用情報受信部4094により受信された設定モード情報における何れのモードを設定するかに関する情報)に応じて、当該3つの場合のうちのいずれかの場合の階調変換特性を作成(算出)するものである。
切替点設定部4097は、作成用情報受信部4094により受信された、撮像センサ30の光電変換特性の変曲点の情報(Vth)に基づいて、ガンマ特性部と非ガンマ特性部との境界点、すなわち、ガンマ特性から非ガンマ特性へ(この逆でもよい)切り替わる点(以降、切替点という)を設定するものである。
このガンマ特性部及び非ガンマ特性部の作成につき、階調変換特性の一例を示すグラフ図である図21を用いて説明する。図21は、横軸(X軸)が階調変換入力(輝度値;センサ出力値)、縦軸(Y軸)が階調変換出力となっている。図21は、図28の左側に示す階調変換特性に相当するものであり、図28に示す縦軸における画像データ(階調変換入力)がこの図21に示す横軸の階調変換入力となっている。同図中に示すVmax、すなわち階調変換入力/出力の最大値は、最大画素値を示しており、ここでは8bitデータを扱う場合の「255」となっている。また、同図中のVthは、本実施形態における、上記図27に示すような光電変換特性の変曲点での出力レベル(センサ出力値)を示している。
図21による階調変換においては、例えば図28の右側に示すような光電変換特性がステップS1〜S3までのAE制御等の制御パラメータの設定によって決定され、この決定された光電変換特性下での撮像による撮像センサ30からの出力データ、すなわち上記横軸に示す階調変換入力に対して、階調変換特性800(階調変換LUT)を用いての階調変換処理が行われ、その結果、上記縦軸に示す階調変換出力が得られる構成となっている。
図21に示すように、階調変換特性800は、切替点Pを境にしてガンマ特性部810と非ガンマ特性部820とに区分されている。ガンマ特性部810は、上記背景技術で説明した一般的にデジタルカメラで用いられるガンマ変換特性を、符号801に示す入力値ゼロの位置(原点801)から切替点Pの位置までの区間に適用するものである。すなわち、上記一般的にデジタルカメラで用いられるガンマ変換特性(例えば図28に示すガンマ変換特性に相当するもの)を、仮にガンマ変換特性802とすると、このガンマ変換特性802が謂わば縮小されてなるものがこのガンマ特性部810であると言える。
ただし、上記ガンマ特性部810のガンマ変換特性は、特に図21(図28)に示すような曲線形状に限定されず、例えばその形状の一部がモディファイされたガンマ変換特性であってもよい。この場合、当該モディファイされた曲線上に例えば所謂極大点や極小点を有していてもよい(この極大点や極小点は、切替点とは異なるものである)。上記一般的にデジタルカメラで用いられるガンマ変換とは、要するに、画像の暗いところ即ち低輝度の部分を持ち上げ、明るいところ即ち高輝度の部分をねかせる、所謂人間の視覚特性やディスプレイ特性(モニタ特性)に依存して経験的に作られたような変換特性を示しており、このようなガンマ変換特性であればいずれのものが採用されてもよい。
非ガンマ特性部820は、図21に示すように、(a)〜(c)の3つに場合分けされた階調変換特性を有するものとなっている。この3つの場合とはすなわち、
(a)直線特性
(b)重み付け特性
(c)ヒストグラム均等化特性
である。
(a)の直線特性は、非ガンマ変換特性804に示すように直線状の特性部が形成される場合である。(b)の重み付け特性は、非ガンマ変換特性805に示すように、入力輝度範囲に応じた所定の重み付けの演算が施されてなる曲線状の特性部が形成される場合である。また(c)のヒストグラム均等化特性は、非ガンマ変換特性806に示すように、ヒストグラム均等化(HE;Histogram Equalization)の演算が施されてなる曲線状の特性部が形成される場合である。
ここで、図20に戻って、上記非ガンマ作成部4096は、直線特性作成部493、重み付け部494及びヒストグラム均等化部495を備えている。直線特性作成部493は、上記(a)の場合における直線状の階調変換特性(直線特性)を作成するものであり、この直線特性を後述の対角線830上に位置するように作成する。重み付け部494は、入力輝度範囲(入射輝度範囲)に応じた重み付け処理を行うものである。これは、上述したように光電変換特性は線形特性領域と対数特性領域とを有しているが、対数特性領域では輝度情報が対数圧縮されて撮像センサ30のセンサ出力として出力されるため、当該センサ出力値をそのままの値として扱うのではなく、対数圧縮された分を考慮した重み付け(重み付け処理)を行う、すなわち当該対数圧縮された輝度情報を線形特性となるよう伸長し、この伸長されたものに対応する元々の(広い)入力輝度範囲に応じて重み付けを行うことで、実際の入力輝度範囲に即した値に基づく階調変換が行えるようにするものである。
ヒストグラム均等化部495は、ヒストグラム算出部4052により算出された輝度ヒストグラムの情報に基づいてヒストグラム均等化処理を行うものである。ここで言う“ヒストグラム均等化”とは、従来一般的なコントラスト強調法の1つであり、画像の輝度ヒストグラム(濃度値ヒストグラム)が均等に分布するように各画素の輝度値を変換することでコントラストの強調を図る手法である。具体的には、例えば原画像の輝度ヒストグラムを累積したもの(累積ヒストグラム)をマッピングカーブ(トーンカーブ)とし、このマッピングカーブを用いて原画像中の全画素の輝度(濃度値;グレイレベル)を変換することで実現する。
なお、上記切替点設定部4097は、図21に示すように、切替点Pの位置を、符号803で示す階調変換入力における光電変換特性の変曲点のセンサ出力Vthの位置と同じ位置となるように設定する。その結果、光電変換特性の線形特性領域がガンマ特性部810に対応し、また対数特性領域が非ガンマ特性部820に対応することになる。ただし、本実施形態1では、切替点Pを、上述したようにセンサ出力Vthの位置と同じ位置に設定するとともに、原点801と符号807で示す階調変換入力(出力)の最大値Vmaxとの点(最大点807)とを繋いだ対角線830(直線)上に位置するように設定している。
ところで、変換特性作成部4093での階調変換特性作成時の実際においては、上記ガンマ特性部810と非ガンマ特性部820とが一続きとされた1つの階調変換特性として作成される。すなわち、ガンマ特性部810における階調変換特性のことをガンマ変換特性811とすると、
(1−1)ガンマ変換特性811と非ガンマ変換特性804とからなる第1階調変換特性
(1−2)ガンマ変換特性811と非ガンマ変換特性805とからなる第2階調変換特性
(1−3)ガンマ変換特性811と非ガンマ変換特性806とからなる第3階調変換特性
の3つの場合のうちの何れかの階調変換特性が(上記設定モード情報に応じて)作成される。これら3つの場合について以下に説明する。
(1−1)の場合
<ガンマ特性部810>
ガンマ変換特性811は、以下の関数で与えられる。
v’=v^(1/γ)*Vth/(Vth^(1/γ))
ただし、式中のvは図21に示す横軸の階調変換入力値を、v’は同縦軸の階調変換 入力値を示す。また、γは定数である。(1−2)、(1−3)の場合も同じである。
<非ガンマ特性部820>
非ガンマ変換特性804((a)の直線特性)は、以下の関数で与えられる。
v’=v
(1−2)の場合
<ガンマ特性部810>
上記(1−1)の場合と同じ。
<非ガンマ特性部820>
非ガンマ変換特性805((b)の重み付け特性)は、以下の関数で与えられる。
v’=Wv*v
ここで、Wv=(Vmax’−Vth)/((10^(v+1−β)/α)
−(10^(v−β)/α))
Vmax’=10^((Vmax−β)/α)
ただし、このα、βは、光電変換特性における対数特性領域を、
Y=αLogX+βの式で表した場合の値である。
ここで、図22は、当該重み付けについて概念的に説明する図である。
図22において、符号840に示す上方の図は、撮像センサ30の線形特性及び対数特性領域において出力された画像の輝度ヒストグラム(輝度ヒストグラム840)であり、符号850に示す下方の図は、輝度ヒストグラム840の対数特性領域を線形特性に戻した場合の輝度ヒストグラム(輝度ヒストグラム850)である。図中のVth及びVmaxは、図21に示すものと同じとする。図22に示すように、輝度ヒストグラム840の対数特性領域は輝度情報が対数圧縮されたものであり、この部分を輝度ヒストグラム850に示す線形特性となるよう伸長(伸長処理)し、この伸長されて得られる(圧縮される前の)実際の入力輝度範囲860に応じて上記関数により重み付けがなされる。
この重み付けは、当該関数における「v」と「v’」との関係が、例えば輝度ヒストグラム840の対数特性領域を所定数の区間に等間隔で区切り、そのうちの或る区間841を「v」、その隣の区間842を「v+1」とすると、これら各区間が上記伸長されたものがそれぞれ輝度ヒストグラム850の区間843「v’」、区間844「(v+1)’」となるような対応関係となるように行われる。具体的には、例えば、輝度ヒストグラム840における符号851に示す変曲点の位置(Vth)の画素値(階調値)を例えば「200」とし、符号852に示すVmaxの最大画素値を「255」とすると、輝度ヒストグラム850では、符号854に示すVmax’の最大画素値は例えば10倍の「2550」になるというように値が対数的に大きくなる(伸長される)。このことからも、上記Wvは、当該vからv’へ伸長される度合いが、輝度ヒストグラム840のVthからVmaxにおける輝度範囲(幅)の中での或る位置ではどれ位のウエイトを占めるかということを示す関数となっている。なお、この(1−2)の場合、非ガンマ変換特性805は、階調変換入力値がVmaxに近づくほど急峻に立ち上がるような曲線となっている(ただし、曲線形状は非ガンマ変換特性805に示すものに限定されない。以降、実施形態2、3においても同じ)。
(1−3)の場合
<ガンマ特性部810>
上記(1−1)の場合と同じ。
<非ガンマ特性部820>
図21の非ガンマ特性部820に対する、すなわち対数特性領域における入力輝度 範囲808(階調変換入力範囲)での輝度ヒストグラムが算出され、この輝度ヒストグラムに基づいて上述のヒストグラム均等化処理が施され、その結果、非ガンマ変換特性806が得られる(ただし、曲線形状は非ガンマ変換特性806に示すものに限定されない。以降、実施形態2、3においても同じ)。
ただし、当該ヒストグラム均等化処理は、以下2つの方法が採られてもよい。
(イ):対数圧縮された入力輝度情報に対する上記重み付け(伸長処理)を施さないそ のままの入力輝度情報(入力輝度範囲)に基づく輝度ヒストグラム、すなわち、例えば図22に示す輝度ヒストグラム840における対数特性領域での輝度ヒストグラムを用いたヒストグラム均等化処理。
(ロ):対数圧縮された入力輝度情報に対する上記重み付け(伸長処理)が施された入 力輝度情報(入力輝度範囲)に基づく輝度ヒストグラム、すなわち、例えば図22に示す輝度ヒストグラム850における対数特性領域での輝度ヒストグラムを用いたヒストグラム均等化処理。
(第2実施形態)
本実施形態におけるガンマ特性部及び非ガンマ特性部の作成につき、階調変換特性の一例を示すグラフ図である図23を用いて説明する。図23の横軸、縦軸は図21と同様、それぞれ階調変換入力、階調変換出力を示し、Vthは光電変換特性の変曲点(図28参照)での出力レベルを示している。また、Vmaxは最大画素値を示しており、同様に8bitデータを扱う場合の「255」となっている。
図23による階調変換においても実施形態1と同様、図28の右側に示すような光電変換特性がステップS1〜S3までのAE制御等の制御パラメータの設定によって決定され、この決定された光電変換特性下での撮像による撮像センサ30からの出力データ、すなわち上記横軸に示す階調変換入力に対して、階調変換特性900(階調変換LUT)を用いての階調変換処理が行われ、その結果、縦軸に示す階調変換出力が得られる構成となっている。
図23に示すように、階調変換特性900は、切替点Qを境にしてガンマ特性部910と非ガンマ特性部920とに区分されている。ガンマ特性部910は、同様に、上記背景技術で説明した一般的にデジタルカメラで用いられるガンマ変換特性を、符号901に示す入力値ゼロの位置(原点901)から切替点Qの位置までの区間に適用するものである。ただし、実施形態2では、上記一般的にデジタルカメラで用いられるガンマ変換(ガンマ変換特性)を仮にガンマ変換特性902とすると、このガンマ変換特性902上における一部分(原点901から切替点Qの位置までの区間)がガンマ特性部910とされている。このように、ガンマ特性部910は、従来に用いられるガンマ変換特性902(ガンマパターン)をそのまま(図21の場合のように縮小せずに固定的に)利用して作成されるようになっている。
非ガンマ特性部920は、図21の場合と同様に、以下(d)〜(f)の3つに場合分けされた階調変換特性を有するものとなっている。
(d)直線特性
(e)重み付け特性
(f)ヒストグラム均等化特性
(d)の直線特性は、非ガンマ変換特性904に示すように直線状の特性部が形成される場合である。(e)の重み付け特性は、非ガンマ変換特性905に示すように、入力輝度範囲に応じた所定の重み付けの演算が施されてなる曲線状の特性部が形成される場合である。また(f)のヒストグラム均等化特性は、非ガンマ変換特性906に示すように、ヒストグラム均等化の演算が施されてなる曲線状の特性部が形成される場合である。
ここで、本実施形態2では、実施形態1と同様にガンマ特性部と非ガンマ特性部とからなる階調変換特性を作成するのであるが、その各特性部の設定方法が異なるものとなっている。図24は、実施形態2における階調変換部409aの機能ブロック図である。階調変換部409aは、図20に示す階調変換部409と比べ、変換特性作成部4093a、すなわち変換特性作成部4093aにおけるガンマ作成部4095a、非ガンマ作成部4096a及び切替点設定部4097aが異なっている。
ガンマ作成部4095aは、ガンマ作成部4095と同様、ガンマ特性部の階調変換特性(ガンマ変換特性)を作成するものであるが、ここでは、上述したようにガンマ変換特性902上における一部分(原点901から切替点Qの位置までの区間)がガンマ特性部910となるようにガンマ変換特性を作成する。なお、当該ガンマ変換特性に対するガンマパターンはガンマパターン情報記憶部491aに記憶されており、ガンマ作成部4095aは、このガンマパターン情報及び変曲点情報(Vth)等に基づいて、ガンマ用階調変換LUTを作成し、これをガンマ用LUT記憶部492aに記憶しておく。
また、非ガンマ作成部4096aも、非ガンマ作成部4096と同様、非ガンマ特性部における階調変換特性(非ガンマ階調変換特性)を作成するものであるが、ここでは、ガンマ変換特性902上にある上記切替点Qを境とした非ガンマ特性部920における非ガンマ階調変換特性を作成する。なお、この非ガンマ特性部920における非ガンマ階調変換特性作成時の、直線特性作成部493aによる直線特性の作成、重み付け部494aによる重み付け処理、及びヒストグラム均等化部495aによるヒストグラム均等化処理は実施形態1と同様に行われる。ただし、直線特性作成部493aによる直線特性の作成については、実施形態1の場合のように、原点901と最大値Vmaxの点(最大点907)とを繋ぐ対角線930(直線)上にくるように作成するのではなく、ガンマ変換特性902上の切替点Qと最大点907とを繋ぐ直線上にくるように作成する。
切替点設定部4097aは、図23に示すように、切替点Qの位置を、符号903で示す階調変換入力における変曲点(Vth)の位置と同じ位置となるように設定する。これにより、上記と同様、光電変換特性の線形特性領域がガンマ特性部910に対応し、また対数特性領域が非ガンマ特性部920に対応することになる。ただし、ここでは、切替点Qを、上述したようにセンサ出力Vthの位置と同じ位置に設定するとともに、ガンマ変換特性902上に位置するように設定している。このようにガンマ変換特性902上で ガンマ特性部910と非ガンマ特性部920とを分ける切替点Qが設定される構成であるため、変曲点(Vth)の位置が何処にこようとも、同じガンマ変換特性902(ガンマパターン)を用いることが可能となる、すなわち実施形態1のように変曲点(Vth)の位置(切替点の位置)に合わせてガンマ変換特性(802)を縮小又は拡大させるといった処理が不要となる。
ところで、実施形態2においても同様に、変換特性作成部4093aでの階調変換特性作成時の実際においては、上記ガンマ特性部910と非ガンマ特性部920とが一続きとされた1つの階調変換特性として作成される。ガンマ特性部910における階調変換特性のことをガンマ変換特性911とすると、
(2−1)ガンマ変換特性911と非ガンマ変換特性904とからなる第1階調変換特性
(2−2)ガンマ変換特性911と非ガンマ変換特性905とからなる第2階調変換特性
(2−3)ガンマ変換特性911と非ガンマ変換特性906とからなる第3階調変換特性
の3つの場合のうちの何れかの階調変換特性が(上記設定モード情報に応じて)作成される。これら3つの場合について以下に説明する。
(2−1)の場合
<ガンマ特性部910>
ガンマ変換特性911は、以下の関数で与えられる。
v’=v^(1/γ)*Vmax/(Vmax^(1/γ))
ただし、式中のvは図23に示す横軸の階調変換入力値を、v’は同縦軸の階調変換 入力値を示す。また、γは定数である。(2−2)、(2−3)の場合も同じである。
<非ガンマ特性部920>
非ガンマ変換特性904((d)の直線特性)は、以下の関数で与えられる。
v’=m*v+n
ただし、m=(Vmax−Vth’)/(Vmax−Vth)
n=Vmax−m*Vmax
(2−2)の場合
<ガンマ特性部910>
上記(2−1)の場合と同じ。
<非ガンマ特性部920>
非ガンマ変換特性805((e)の重み付け特性)は、以下の関数で与えられる。
v’=Wv*m*v+n
ここで、Wv=(Vmax’−Vth)/((10^(v+1−β)/α)
−(10^(v−β)/α))
Vmax’=10^((Vmax−β)/α)
ただし、このα、βは、光電変換特性における対数特性領域を、
Y=αLogX+βの式で表した場合の値である。m、nは上記(2−1)の場合と同じである。
この非ガンマ変換特性805の場合も、対数特性領域の輝度情報を上記図22の輝度ヒストグラム850に示すように伸長し(線形特性に戻し)、この伸長されて得られる実際の入力輝度範囲に応じて上記関数により重み付けがなされる。
(2−3)の場合
<ガンマ特性部910>
上記(2−1)の場合と同じ。
<非ガンマ特性部920>
上記(1−3)の場合と同様、図23の非ガンマ特性部920に対する、すなわち 対数特性領域における入力輝度範囲908(階調変換入力範囲)での輝度ヒストグラムが算出され、この輝度ヒストグラムに基づいてヒストグラム均等化処理が施され、その結果、非ガンマ変換特性906が得られる。また同様に、当該ヒストグラム均等化処理は、以下2つの方法が採られてもよい。
(ハ):対数圧縮された入力輝度情報に対する上記重み付け(伸長処理)を施さないそ のままの入力輝度情報(入力輝度範囲)に基づく輝度ヒストグラムを用いたヒストグラム均等化処理。
(ニ):対数圧縮された入力輝度情報に対する上記重み付け(伸長処理)が施された入 力輝度情報(入力輝度範囲)に基づく輝度ヒストグラムを用いたヒストグラム均等化処理。
(第3実施形態)
本実施形態におけるガンマ特性部及び非ガンマ特性部の作成につき、階調変換特性の一例を示すグラフ図である図25を用いて説明する。図25の横軸、縦軸は図21と同様、それぞれ階調変換入力、階調変換出力を示し、Vthは光電変換特性の変曲点(図28参照)での出力レベルを示している。また、Vmaxは最大画素値を示しており、同様に8bitデータを扱う場合の「255」となっている。
図25による階調変換においても実施形態1と同様、図28の右側に示すような光電変換特性がステップS1〜S3までのAE制御等の制御パラメータの設定によって決定され、この決定された光電変換特性下での撮像による撮像センサ30からの出力データ、すなわち上記横軸に示す階調変換入力に対して、階調変換特性1000(階調変換LUT)を用いての階調変換処理が行われ、その結果、縦軸に示す階調変換出力が得られる構成となっている。
図25に示すように、階調変換特性1000は、切替点Rを境にしてガンマ特性部1010と非ガンマ特性部1020とに区分されている。ガンマ特性部1010は、同様に、上記背景技術で説明した一般的にデジタルカメラで用いられるガンマ変換を、符号1001に示す入力値ゼロの位置(原点1001)から切替点Rの位置までの区間に適用するものである。実施形態3では、上記実施形態2と同様に、一般的にデジタルカメラで用いられるガンマ特性を仮にガンマ変換特性1002とすると、このガンマ変換特性1002上における一部分(原点1001から切替点Rの位置までの区間)をガンマ特性部1010としている。このように、ガンマ特性部1010は、従来に用いられるガンマ変換特性1002(ガンマパターン)をそのまま(図21の場合のように縮小せずに固定的に)利用して作成されるようになっている。ただし、ここでは図21、23の場合と異なり、切替点Rの位置が、変曲点(Vth)の位置でない線形特性領域における位置(後述のVxの位置)とされている。
非ガンマ特性部920は、図23の場合と同様に、以下(g)〜(i)の3つに場合分けされた階調変換特性を有するものとなっている。
(g)直線特性
(h)重み付け特性
(i)ヒストグラム均等化特性
(g)の直線特性は、非ガンマ変換特性1004に示すように直線状の特性部が形成される場合である。(h)の重み付け特性は、非ガンマ変換特性1005に示すように、入力輝度範囲に応じた所定の重み付けの演算が施されてなる曲線状の特性部が形成される場合である。また(i)のヒストグラム均等化特性は、非ガンマ変換特性1006に示すようにヒストグラム均等化の演算が施されてなる曲線状の特性部が形成される場合である。
ここで、本実施形態3では、実施形態1、2と同様にガンマ特性部と非ガンマ特性部とからなる階調階調変換特性を作成するのであるが、図25に示すように、切替点Rの位置が、変曲点(Vth)の位置とは異なる線形特性領域における位置(後述のVxの位置)にあるという点、換言すれば、(実施形態1、2において)対数特性領域の輝度情報に対して適用してきた階調変換方法(非ガンマ変換特性)が、線形特性領域における輝度情報の一部に対しても適用されるという点が異なるものとなっている。図26は、本実施形態3における階調変換部409bの機能ブロック図である。階調変換部409bは、図20に示す階調変換部409と比べ、変換特性作成部4093b、すなわち変換特性作成部4093bにおけるガンマ作成部4095b、非ガンマ作成部4096b及び切替点設定部4097bが異なっている。
ガンマ作成部4095bは、ガンマ作成部4095と同様、ガンマ特性部の階調変換特性(ガンマ変換特性)を作成するものであるが、ここでは、上述したようにガンマ変換特性1002上における一部分(原点1001から切替点Rの位置までの区間)がガンマ特性部1010となるようにガンマ変換特性を作成する。なお、当該ガンマ変換特性に対するガンマパターンはガンマパターン情報記憶部491bに記憶されており、ガンマ作成部4095bは、このガンマパターン情報及び変曲点情報(Vth)等に基づいて、ガンマ用階調変換LUTを作成し、これをガンマ用LUT記憶部492bに記憶しておく。
また、非ガンマ作成部4096bも、非ガンマ作成部4096と同様、非ガンマ特性部における階調変換特性(非ガンマ階調変換特性)を作成するものであるが、ここでは、ガンマ変換特性1002上にある上記切替点Rを境とした非ガンマ特性部1020における非ガンマ変換特性を作成する。この非ガンマ特性部1020における非ガンマ変換特性作成時の、直線特性作成部493bによる直線特性の作成、重み付け部494bによる重み付け処理、及びヒストグラム均等化部495bによるヒストグラム均等化処理は実施形態2と同様に行われる。直線特性作成部493bによる直線特性の作成については、実施形態2と同様、原点1001と最大値Vmaxである最大点1007とを繋ぐ対角線1030(直線)上にくるように作成するのではなく、ガンマ変換特性1002上の切替点Rと最大点1007とを繋ぐ直線上にくるように作成する。
ただし、本実施形態では、切替点Rが線形特性領域に位置し、非ガンマ特性部1020の範囲が、対数特性領域(入力輝度範囲1008)だけでなく線形特性領域の一部(符号入力輝度範囲1009)とともに構成されているため、当該非ガンマ特性部1020に対応する入力輝度範囲1040での輝度情報は、対数圧縮されたものが伸長処理された対数特性領域での輝度情報と、線形特性領域での当該伸長処理されないそのままの輝度情報とが合成されてなるものとして扱われる。
かかる態様において、非ガンマ作成部4096bは、入力輝度範囲1009における伸長処理しない輝度情報と、重み付け部494bによって、入力輝度範囲1008における対数圧縮された輝度情報に対する(入力輝度範囲1008に応じて)重み付け処理がなされた輝度情報とに基づいて、後述の非ガンマ変換特性1005を作成したり、或いはこれら輝度情報を用いてヒストグラム均等化部495bによるヒストグラム均等化処理を行うことで後述の非ガンマ変換特性1006を作成する。
切替点設定部4097bは、図25に示すように、切替点Rの位置を、符号1003で示す変曲点(Vth)とは異なる所定の階調変換入力値(以降、この階調変換入力値に対応する符号1041に示す階調変換入力の値を入力値Vxとする)に対応する位置として設定する。すなわち、切替点設定部4097bは、Vxを決定(算出)することで、このVxに対応する切替点Rの設定を行う。この場合、Vxに対応する切替点Rの位置は、線形特性領域におけるガンマ変換特性1011上に位置するように設定される。これにより、光電変換特性の対数特性領域と線形特性領域の一部とからなる領域が非ガンマ特性部1020に対応し、残りの線形特性領域がガンマ特性部1010に対応することとなる。なお、このようにガンマ変換特性1011上で切替点Rが設定される構成であるため、同じガンマ変換特性1011(ガンマ用階調変換LUT)を固定的に使用することが可能となる。
ここで、上記Vxの決定(算出)方法((O)〜(S)の場合)について説明する。
<Vxの決定方法>
(O)変曲点の位置情報に基づいて決定する。
(O1)Vx=変曲点(即ち階調変換入力における変曲点のセンサ出力Vthの位置)
この(O1)の場合は、実質的に実施形態2と同じになる。
(O1)Vx=変曲点−r1
上記「r1」は、変曲点(Vth)からのオフセット値を示しており、Vxの位置は例えば図25に示すものとなる。ただし、当該「r1」の値は負の値とされてもよく、この場合、切替点Rは、対数特性領域(ガンマ変換特性1011上)に位置するように設定される。具体的には、例えば画像における高輝度側に所要の情報が無く、より低輝度での輝度を持ち上げたいといった場合に当該r1を負の値に設定する。なお、「r1」は、デジタルカメラ1内の処理によって例えば固定値として予め記憶されたものを用いて設定してもよいし、例えばデジタルカメラ1と直接接続又はネットワーク接続された、或いはストレージメディア(メモリカード107)等を用いて情報伝達可能とされた所定のホスト(例えばPC)における処理によって設定されてもよい。この場合、ホストは、デジタルカメラ1で得られた光電変換特性の変曲点に関する情報とともに、階調変換前の状態で画像メモリ411に記憶された画像信号が主制御部50において圧縮処理されたJPEG画像やMPEG画像、或いはそのままのRAWフォーマット画像を受け取り、この画像情報(変曲点位置情報)をホストのモニタ部に所定のアプリケーションソフト(ビューワソフト)等を用いて表示させる。そして、当該アプリケーションソフトによってユーザによる上記r1の決定に関する指示入力(例えばr1の数値入力)が行われるという構成になっていてもよい。
(P)主被写体輝度情報に基づいて決定する。
(P1)Vx=主被写体の平均画素値(例えば主被写体領域での主被写体輝度に対するセンサ出力の平均値;この場合の平均値は後述の(S)の場合と同様にヒストグラムから算出されてもよい)
(P2)Vx=主被写体の平均画素値+r2
上記「r2」は、主被写体の平均画素値からのオフセット値を示しており、その上限値は、変曲点のセンサ出力値Vthとなっている。
(Q)上記変曲点の位置情報と主被写体輝度情報とに基づいて決定する。
(Q1)Vx=(変曲点Vth+主被写体の平均画素値)/2
これは、図25の階調変換入力(X軸上)における、変曲点Vth及び主被写体平均画素値の平均値(1/2)を当該Vxとして算出することを示している。
(Q2)γ(Vx)=(γ(変曲点Vth)+γ(主被写体の平均画素値))/2
ただし、関数式中の各項に付記している”γ”とは、上記(Q1)の場合におけるX軸上での平均値の算出とは異なり、ガンマ変換特性1011に対する変曲点Vth及び主被写体平均画素値の平均値(1/2)を当該Vxとして算出することを意味している。
(R)線形特性領域のヒストグラムに基づいて決定する。
(R1)Vx=線形特性領域の最大画素値(最大センサ出力値)
(R2)Vx=線形特性領域の平均画素値+r3*σ’
(R1)、(R2)では、まず主被写体領域331及び周辺被写体領域332を合わせた全領域(撮像領域330)における線形特性領域でのセンサ出力値のヒストグラムを求め、このヒストグラムからそれぞれ最大画素値、平均画素値を算出する。なお、「σ’」は線形特性領域のヒストグラムから求めた標準偏差を示しており、「r3」はその標準偏差の係数を示す。例えば、当該ヒストグラムが正規分布であるような場合には、Vx=線形特性領域の平均画素値+3*σ’などと示される(このことは以下(S2)の場合も同じ)。
(S)主被写体領域のヒストグラムに基づいて決定する。
(S1)Vx=主被写体領域の最大画素値
(S2)Vx=主被写体領域の平均画素値+r4*σ”
(S1)、(S2)では、まず主被写体領域における、線形特性領域及び対数特性領域でのセンサ出力値のヒストグラムを算出し、このヒストグラムからそれぞれ最大画素値、平均画素値を算出する。なお、「σ”」は主被写体領域のヒストグラムから求めた標準偏差を示しており、「r4」はその標準偏差の係数を示す。
上記線形特性領域や主被写体領域のヒストグラムに基づく最大画素値や平均画素値、或いは標準偏差σ’(σ”)等は、ヒストグラム算出部4052において算出されることが好ましいが、切替点設定部4097bにおいて算出されてもよい。また、上記主被写体領域(主被写体領域331)の代わりに、フォーカス制御用のAF領域(AF領域333)を用いてもよいし、これ以外の任意な領域を用いてもよい。
なお、切替点設定部4097bは、入力値Vxに対する切替点の位置を、図25の符号Uで示す位置、すなわちガンマ変換特性1011上でなく、対角線1030上における点として設定してもよい(このときの切替点を、切替点Uとする)。この場合、原点1001から切替点Uまでの区間は、図21に示す場合と同様にガンマ変換特性1011が縮小されてなるガンマ変換特性1042(ガンマ特性部)が作成される。切替点Uから最大点1007までの区間は、後述の非ガンマ特性部1020と同様に階調変換特性が作成される。
ところで、実施形態3においても同様に、変換特性作成部4093bでの階調変換特性作成時の実際においては、上記ガンマ特性部1010と非ガンマ特性部1020とが一続きとされた1つの階調変換特性として作成される。ガンマ特性部1010における階調変換特性のことをガンマ変換特性1011とすると、
(3−1)ガンマ変換特性1011と非ガンマ変換特性1004とからなる第1階調変換特性
(3−2)ガンマ変換特性1011と非ガンマ変換特性1005とからなる第2階調変換特性
(3−3)ガンマ変換特性1011と非ガンマ変換特性1006とからなる第3階調変換特性
の3つの場合のうちの何れかの階調変換特性が(上記設定モード情報に応じて)作成される。これら3つの場合について以下に説明する。
(3−1)の場合
<ガンマ特性部1010>
ガンマ変換特性1011は、以下の関数で与えられる。
v’=v^(1/γ)*Vmax/(Vmax^(1/γ))
ただし、式中のvは図25に示す横軸の階調変換入力値を、v’は同縦軸の階調変換
入力値を示す。また、γは定数である。(3−2)、(3−3)の場合も同じである。
<非ガンマ特性部1020>
非ガンマ変換特性1004((g)の直線特性)は、以下の関数で与えられる。
v’=m*v+n
ただし、m=(Vmax−Vx’)/(Vmax−Vx)
n=Vmax−m*Vmax
(3−2)の場合
<ガンマ特性部1010>
上記(3−1)の場合と同じ。
<非ガンマ特性部1020>
非ガンマ変換特性1005((h)の重み付け特性)は、以下の関数で与えられる。
v’=Wv*m*v+n
ここで、Wv=(Vmax’−Vx)/((10^(v+1−β)/α)
−(10^(v−β)/α))
Vmax’=10^((Vmax−β)/α)
ただし、このα、βは、光電変換特性における対数特性領域を、
Y=αLogX+βの式で表した場合の値である。m、nは上記(3−1)の場合 と同じである。
この非ガンマ変換特性1005の場合も、対数特性領域の輝度情報を上記図22の輝度ヒストグラム850に示すように伸長し(線形特性に戻し)、この伸長されて得られる実際の入力輝度範囲に応じて上記関数により重み付けがなされる。
(3−3)の場合
<ガンマ特性部1010>
上記(3−1)の場合と同じ。
<非ガンマ特性部1020>
図25の非ガンマ特性部1020に対する、すなわち対数特性領域と線形特性領域の一部とにおける入力輝度範囲1040(階調変換入力範囲)での輝度ヒストグラムが算出され、この輝度ヒストグラムに基づいてヒストグラム均等化処理が施され、その結果、非ガンマ変換特性1006が得られる。この場合、上記と同様、当該ヒストグラム均等化処理は、以下2つの方法が採られてもよい。
(ホ):対数特性領域(入力輝度範囲1008)における対数圧縮された入力輝度情報 に対して上記重み付け(伸長処理)を施さないそのままの入力輝度情報と、線形特性領域の一部(入力輝度範囲1009)における入力輝度情報とに基づく輝度ヒストグラムを用いたヒストグラム均等化処理。
(ヘ):対数特性領域(入力輝度範囲1008)における対数圧縮された入力輝度情報 に対して上記重み付け(伸長処理)を施した入力輝度情報と、線形特性領域の一部(入力輝度範囲1009)における入力輝度情報とに基づく輝度ヒストグラムを用いたヒストグラム均等化処理。
ここで、上記実施形態1〜3における階調変換部409(409a、409b)の動作につき、図27に示すフローチャートに基づいて説明する。いま、撮像センサ30による撮像動作で得られた画像信号が、特定の光電変換特性に対応する階調変換LUTに基づく階調変換処理がなされている状態を考える(ステップS21)。この状態において、AE制御等が行われることにより光電変換特性の変動(変曲点の変化)が生じたか否かが確認され(ステップS22)、特に光電変換特性の変動がない場合(ステップS22のNO)、階調変換LUT記憶部4092に記憶されている階調変換LUTは書き換えられることなく、そのままの階調変換LUTを用いた階調変換処理が階調変換演算部4091により継続される。
これに対し、光電変換特性の変動があった場合(ステップS22のYES)、階調変換LUTが階調変換情報書換え部4094(409a、409b)により書き換えられることになるのであるが、まず、作成用情報受信部4094により変曲点情報や設定モード情報が受信され(実施形態3では、Vx値決定用の情報、すなわち線形特性領域や主被写体領域の最大画素値や平均画素値、或いは標準偏差σ’、σ”等の情報も受信される)、この情報が変換特性作成部4093へ送信され(ステップS23)、変換特性作成部4093では、この情報に基づいて切替点設定部4097(4097a、4097b)により、切替点P(Q、R又はU)の位置が設定される(ステップS24)。
そして、当該設定された切替点位置の情報に基づき、ガンマ作成部4095(4095a、4095b)によってガンマ特性部810(910、1010)が作成され(ステップS25)、また、非ガンマ作成部4096(4096a、4096b)によって非ガンマ特性部820(920、1020)が作成される(ステップS26)。ただし、この非ガンマ特性部820(920、1020)における各場合の、すなわち上述の直線特性、重み付け特性又はヒストグラム均等化特性等の非ガンマ変換特性は、設定モード情報に応じて設定される(ステップS25、S26の順序は逆でもよい)。そして、変換特性作成部4093により、上記ステップS25、S26において作成されたガンマ特性部810(910、1010)と、非ガンマ特性部820(920、1020)とが合成されてなる新たな階調変換LUT(階調変換特性)が生成され、この新たな階調変換LUTが階調変換LUT記憶部4092に(更新されて)記憶される(ステップS27)。そして撮影終了の指令がない限り(ステップS28のNO)、上記ステップS21においてこの新たな階調変換LUTによる階調変換処理が行われる。このような階調変換処理を含む信号処理が為されたならば、その信号処理済みの画像データは、画像メモリに一時的に記録されたり、或いはメモリカード107に記録されたりする。若しくは、LCD表示部106にモニター画像として表示されたりする。このようにして、当該デジタルカメラ1による撮像動作が完了する。
以上のように、本実施形態における撮像装置(デジタルカメラ1)によれば、変換特性作成部4093(4093a、4093b)によって、ガンマ変換による階調変換を行うガンマ特性部810(910、1010)とガンマ変換によらない階調変換を行う非ガンマ特性部820(920、1020)とからなる階調変換特性が作成され、この作成された階調変換特性800(900、1000)に基づいて、撮像センサ30により撮影された画像信号が階調変換部409(409a、409b)によって階調変換されるため、階調変換特性を、従来のようにガンマ変換特性のみで画一的に構成されたものでなく(例えばガンマ特性283;図28参照)、当該ガンマ変換特性からなるガンマ特性部810(910、1010)と非ガンマ特性部820(920、1020)という2つの変換特性から構成することができ、例えばこのガンマ特性部810(910、1010)が線形特性領域に、一方の非ガンマ特性部820(920、1020)が対数特性領域に対応するように構成した階調変換特性800(900、1000)を用いることで、線形特性領域では従来の撮像装置と同じように(ガンマ変換特性811(911、1011)により)階調が確保されるとともに、対数特性領域では(非ガンマ特性部820(920、1020)による階調変換を用いることで)輝度情報が潰れてしまうことのない(コントラストが向上された)好適な階調変換処理が可能となる。
また、変換特性作成部4093(4093a、4093b)によって、これに備えられた切替点設定部4097(4097a、4097b)において被写体の輝度情報に基づきガンマ特性部810(910、1010)と非ガンマ特性部820(920、1020)との切り替わり点が設定されるため、撮影に際しての、輝度情報に基づいて得られた評価値(AE評価値)を用いたAE制御等による光電変換特性の変化に合わせて当該階調変換特性800(900、1000)を変化させることにより、撮影に応じた最適な階調変換を行うことが可能となる。また、この階調変換特性800(900、1000)のガンマ特性部810(910、1010)が少なくとも線形特性領域に対応されて、従来の場合と同様に線形特性領域ではガンマ変換特性811(911、1011)により階調を確保することができるとともに、非ガンマ特性部820(920、1020)が少なくとも対数特性領域に対応されて、当該非ガンマ特性部820(920、1020)により対数特性領域での階調(輝度情報)が潰れてしまうのを防止するといったことが可能な階調変換を実現できる。
また、切替点設定部4097(4097a)によって変曲点の位置(Vth)が切り替わり点:切替点P(Q)として設定されるため、階調変換特性800(900)における当該切替点P(Q)を、変曲点の情報を利用して(光電変換特性の変化と連動させて)容易に設定することができる。
また、切替点設定部4097によって、切替点Pが、原点801と最大点807とを通る仮想直線(対角線830)上にくるように設定されるため、変曲点の位置(Vth)の変化に応じて、この切替点Pを対角線830に沿った位置として容易に設定することができる。また、当該対角線830上の切替点Pの変化に応じたガンマ特性部810(ガンマ変換特性811)の拡大・縮小処理が容易に行えるとともに、非ガンマ特性部820の例えば直線特性(非ガンマ変換特性804)をこの対角線830上の特性として容易に作成することができる。
また、切替点設定部4097aによって、切替点Qが、原点901と最大点907とに亘るガンマ特性曲線(ガンマ変換特性902)上にくるように設定されるため、切替点Qの変更に応じてガンマ特性部910のガンマ変換特性911を拡大・縮小させることなく、当該ガンマ変換特性902に示す同じガンマ変換特性(ガンマ階調変換LUT)を利用して容易にガンマ特性部910を作成することができる。
また、変換特性作成部4093(4093a)によって、非ガンマ特性部820(920)が直線特性(非ガンマ変換特性804(904))として作成されるため、非ガンマ特性部820(920)を容易に作成することができる。
また、変換特性作成部4093(4093a)によって、非ガンマ特性部820(920)が、対数圧縮された輝度情報が伸長された入力輝度範囲(例えば入力輝度範囲860参照)に応じて重み付け処理が施されてなる重み付け特性(非ガンマ変換特性805(905))として作成されるため、対数特性領域における実際の輝度情報が反映された非ガンマ特性部820(920)を作成することができ、例えば画像の明るく白一色となっている(白とびが発生している)部分のコントラストを強調する(階調性を回復させる)といったことが可能となり、画像の高輝度領域における好適な階調性を得ることができる。
また、変換特性作成部4093(4093a)によって、非ガンマ特性部820(920)が、輝度情報に基づいてヒストグラム均等化処理が施されてなるヒストグラム均等化特性(非ガンマ変換特性806(906))として作成されるため、従来一般的に用いられるヒストグラム均等化処理を利用して当該非ガンマ特性部820(920)におけるコントラストの強調を容易に行うことができ、画像の高輝度領域における好適な階調性を得ることができる。
また、変換特性作成部4093(4093a)によるヒストグラム均等化処理に用いる輝度情報として、対数圧縮された輝度情報が伸長された入力輝度範囲に応じて重み付け処理がなされたものが用いられるため、実際の輝度情報が反映されたヒストグラム均等化処理を行うことができ、当該非ガンマ特性部820(920)において更なるコントラストの強調を図ることが可能となり、画像の高輝度領域におけるより好適な階調性を得ることができる。
また、評価値検出部405によりAE評価値が検出され、AE評価値に基づき変曲点制御手段(全体制御部50)によって変曲点が制御(変化)され、変換特性作成部4093(4093a)によって、変曲点の変化に応じて切替点設定部4097(4097a)により更新設定された切替点P(Q)に基づく新たな階調変換特性800(900)が作成される。このように、撮像装置の露出制御情報に依存して切替点P(Q)が更新され、この切替点P(Q)の更新の都度、新たに階調変換特性800(900)が作成される構成であるため、階調変換特性800(900)における当該切替点P(Q)を、露出制御情報、すなわち光電変換特性の変曲点(Vth)の変化情報を利用して容易に設定することができる。
また、切替点設定部4097bによって、変曲点の位置と別に設けた切替点設定用パラメータ(入力値Vx)の位置が切り替わり点として設定されるため、必ずしも変曲点(Vth)と連動させることなく、別に設けたこの切替点設定用パラメータVxを用いての自由度の高い切替点Rの設定を行うことができる。
また、切替点設定部4097bにより、切替点設定用パラメータVxの位置が線形特性領域における位置として設定されるため、ガンマ特性部1010を線形特性領域に、非ガンマ特性部1020を線形特性領域の一部及び対数特性領域に対して作成することになり、特に、非ガンマ特性部1020が対数特性領域だけでなく線形特性領域にまで拡張されることで、高輝度側のより広い範囲の画像に対して、例えば重み付け特性やヒストグラム均等化特性による階調変換を適用することができ、高輝度領域、すなわち画像の明るく白一色となっている部分等のコントラストをより強調させるといったことが可能となるとともに、全体に亘ってさらに好適に階調性が確保(回復)された良好な画像を得ることが可能となる。
また、切替点設定部4097bによって、切替点設定用パラメータVxに対応する切替点Rが、原点1001と最大点1007とに亘るガンマ特性曲線(ガンマ変換特性1002)上にくるように設定されるため、切替点Rの変更に応じてガンマ特性部1010のガンマ変換特性1011を拡大・縮小させることなく、当該ガンマ変換特性1002に示す同じガンマ変換特性(ガンマ階調変換LUT)を利用して容易にガンマ特性部1010を作成することができる。
また、切替点設定部4097bによって、切替点設定用パラメータVxに対応する切替点Rが、原点1001と最大点1007とを通る仮想直線(対角線1030)上にくるように設定されるため、切替点設定用パラメータVxの位置の変化に応じて、この切替点Rを対角線1030に沿った位置として容易に設定することができる。また、当該対角線1030上の切替点Uの変化に応じたガンマ特性部1010の拡大・縮小処理が容易に行えるとともに、非ガンマ特性部1020の例えば直線特性(非ガンマ変換特性1004)をこの対角線1030上の特性として容易に作成することができる。
また、切替点設定部4097bによって、切替点設定用パラメータVxが変曲点の位置(Vth)に対する所定のオフセット情報に基づいて設定されるため、切替点設定用パラメータの位置を変曲点情報と当該オフセット情報とによって容易に決定することができるとともに、このオフセット情報を、例えば撮像装置に予め設定した固定値として与えたり、或いは撮像装置と接続したPC等(ホスト)におけるユーザによる指示入力情報として与えることができ、ひいては切替点Rの設定における自由度が高くなる。
また、切替点設定部4097bによって、切替点設定用パラメータVxが主被写体輝度情報に基づいて設定されるため、例えば主被写体(主被写体領域331)の平均画素値(平均輝度値;センサ出力平均値)をこの切替点設定用パラメータVxの値とするなどして、撮影において重要な主被写体領域331の輝度情報をガンマ特性部1010の決定に反映することができ、少なくとも当該主被写体領域331に対する、ガンマ変換特性1011による好適な階調性の確保を図ることができる。
また、切替点設定部4097bによって、切替点設定用パラメータVxが主被写体輝度情報と変曲点の位置情報とに基づいて設定されるため、例えば主被写体の平均画素値と変曲点のセンサ出力値との平均値をこの切替点設定用パラメータVxの値とするなどして、変曲点情報とともに撮影において重要な主被写体領域331の輝度情報をガンマ特性部1010の決定に反映することができ、少なくとも当該主被写体領域331に対する、ガンマ変換特性1011によるより好適な階調性の確保を図ることができる。
また、切替点設定部4097bによって、切替点設定用パラメータVxが、線形特性領域における輝度情報を基に算出された輝度ヒストグラムに基づいて設定されるため、例えば当該輝度ヒストグラムにおける最大画素値(最大輝度)を切替点設定用パラメータVxとして採用するといった方法により、切替点設定用パラメータVxの決定において、好適な階調性を確保した画像を得るのに必要な線形特性領域の輝度情報をより容易に反映させることができる。
また、切替点設定部4097bによって、切替点設定用パラメータVxが、主被写体領域331における輝度情報を基に算出された輝度ヒストグラムに基づいて設定されるため、例えば当該輝度ヒストグラムにおける最大画素値(最大輝度)を切替点設定用パラメータVxとして採用するといった方法により、切替点設定用パラメータVxの決定において、好適な階調性を確保した画像を得るのに必要な主被写体領域331の輝度情報をより容易に反映させることができる。
また、切替点設定部4097bによって、輝度ヒストグラムの平均輝度値に対する標準偏差に基づいて切替点設定用パラメータVxが設定されるため、切替点設定用パラメータVxの決定において、好適な階調性を確保した画像を得るのに必要な輝度ヒストグラムの輝度情報をより正確に且つ容易に反映させることができる。
また、変換特性作成部4093bによって、非ガンマ特性部1020が直線特性(非ガンマ変換特性1004)として作成されるため、非ガンマ特性部1020を容易に作成することができる。特に、非ガンマ特性部1020が対数特性領域だけでなく線形特性領域にまで拡張された両特性領域とされた場合には、高輝度領域或いは全体に亘ってさらに好適に階調性が確保された良好な画像を得ることができる。
また、変換特性作成部4093bによって、非ガンマ特性部1020が、対数圧縮された輝度情報が伸長された入力輝度範囲に応じた重み付け処理が全部又は一部に施されてなる重み付け特性(すなわち、対数特性領域のみで構成されてその全部に重み付け処理が施されてなる重み付け特性、或いは、対数特性領域と線形特性領域の一部とで構成され、そのうちの線形特性領域における重み付け処理が施されない部分と対数特性領域における重み付け処理が施された部分とが合成されてなる重み付け特性(非ガンマ変換特性1005))として作成されるため、いずれにしても、対数特性領域において実際の輝度情報が反映された非ガンマ特性部1020を作成することができ、特に、非ガンマ特性部1020が対数特性領域だけでなく線形特性領域にまで拡張された両特性領域とされた場合には、高輝度領域或いは全体に亘ってさらに好適に階調性が確保された良好な画像を得ることができる。
また、変換特性作成部4093bによって、非ガンマ特性部1020が、輝度情報に基づいてヒストグラム均等化処理が施されてなるヒストグラム均等化特性(非ガンマ変換特性1006)として作成されるため、従来一般的に用いられるヒストグラム均等化処理を利用して当該非ガンマ特性部1020におけるコントラストの強調を容易に行うことができ、画像の高輝度領域における好適な階調性を得ることができる。特に、非ガンマ特性部1020が対数特性領域だけでなく線形特性領域にまで拡張された両特性領域とされた場合には、高輝度領域或いは全体に亘ってさらに好適に階調性が確保された良好な画像を得ることができる。
また、ヒストグラム均等化処理に用いる輝度情報として、対数圧縮された輝度情報が伸長された入力輝度範囲に応じた重み付け処理が全部又は一部になされたものが用いられるため、いずれにしても、対数特性領域において実際の輝度情報が反映されたヒストグラム均等化処理を行うことができ、当該非ガンマ特性部1020において更なるコントラストの強調を図ることが可能となり、画像の高輝度領域におけるより好適な階調性を得ることができる。特に、非ガンマ特性部1020が対数特性領域だけでなく線形特性領域にまで拡張された両特性領域とされた場合には、高輝度領域或いは全体に亘ってさらに好適に階調性が確保された良好な画像を得ることができる。
また、本実施形態における撮像装置(デジタルカメラ1)によれば、変換特性作成部4093(4093a、4093b)によって、被写体の輝度情報に基づいて所定の切替点P(Q、R)が設定されて当該P(Q、R)により第1の階調変換特性部(ガンマ特性部810(910、1010))と第2の階調変換特性部(非ガンマ特性部820(920、1020))とに区分されてなる階調変換特性800(900、1000)が作成される。そしてこの作成された階調変換特性800(900、1000)に基づいて、撮像センサ30により撮影された画像信号が階調変換部409(409a、409b)によって階調変換される。これにより、階調変換特性800(900、1000)を、従来のようにガンマ変換特性のみで画一的に構成されたものでなく(例えばガンマ特性283;図28参照)、当該第1の階調変換特性部と第2の階調変換特性部という2つの変換特性から構成することができ、この第1の階調変換特性部を例えばガンマ変換特性811(911、1011)とするとともに線形特性領域に対応させて、一方の第2の階調変換特性部を対数特性領域に対応させて構成した階調変換特性を用いることで、線形特性領域では従来の撮像装置と同じように(ガンマ変換特性811(911、1011)により)階調が確保されるとともに、対数特性領域では(第2の階調変換特性部による階調変換を用いることで)輝度情報が潰れてしまうことのない(コントラストが向上された)好適な階調変換処理が可能となる。
また、本実施形態における階調変換方法によれば、ガンマ変換による階調変換を行うガンマ特性部810(910、1010)とガンマ変換によらない階調変換を行う非ガンマ特性部820(920、1020)とからなる階調変換特性800(900、1000)が変換特性作成部4093(4093a、4093b)によって作成され、この作成された階調変換特性800(900、1000)に基づいて、撮像センサ30により撮影された画像信号が階調変換部409(409a、409b)によって階調変換されるため、階調変換を、従来のようにガンマ変換特性のみを用いて画一的に行うのではなく(例えばガンマ特性283;図28参照)、当該ガンマ変換特性からなるガンマ特性部810(910、1010)と非ガンマ特性部820(920、1020)という2つの変換特性を有する階調変換特性800(900、1000)を用いて行うことができ、例えばこのガンマ特性部810(910、1010)が線形特性領域に、一方の非ガンマ特性部820(920、1020)が対数特性領域に対応するように構成した階調変換特性800(900、1000)による階調変換を行うことで、線形特性領域では従来の撮像装置と同じように(ガンマ変換特性811(911、1011)により)階調が確保されるとともに、対数特性領域では(非ガンマ特性部820(920、1020)による階調変換を用いることで)輝度情報が潰れてしまうことのない(コントラストが向上された)好適な階調変換を実現することができる。なお、本発明は、以下の態様をとることができる。
(A)上記実施形態では、撮像センサ30の各画素において、PチャンネルMOSFETを採用しているが、NチャンネルMOSFETを採用してもよい。
(B)上記実施形態では、撮像センサ30によって被写体輝度を検出しているが、撮像センサ30とは別に設けた測光素子(被写体の輝度を複数の受光素子にて分割して測光する素子)等を用いて被写体輝度(AE評価値)を検出するようにしてもよい。ただし、機構の簡略化の観点からは撮像センサ30により撮像される実際の撮影画像から得られる画像信号に基づいて被写体輝度(AE評価値)を検出することが望ましい。
(C)上記実施形態では、シャッタ23及び撮像センサ30によって露光時間を制御する構成であるが、シャッタ23及び撮像センサ30のいずれか一方のみで露光時間を制御する構成としてもよい。
(D)上記実施形態では、露光時間T2及び絞りの開口面積S2をLUTによるデータ変換により得られた撮像センサ30やシャッタ23、絞り22に対する設定値を、それぞれ露光時間設定値及び絞り設定値としているが、増幅率Gt、Gs(又はT露光時間T2、絞りの開口面積S2)を、それぞれ露光時間設定値及び絞り設定値としてもよい。同様に、変曲点の出力レベルVth2(又はΔVth)を光電変換特性設定値としてもよい。
(E)上記実施形態では、評価値算出用の画像データとしてRGB原色データを用いているが、その他の画像データ、例えば捕色画像データ、モノクロ輝度データ等を用いてもよい。
(F)撮像領域330の分割(領域分割)は、分割測光方式による分割でなくともよく、例えばスポット測光方式或いは中央部部分測光方式等、いずれの方式によってもよい。また、撮像領域330の主被写体領域331及び周辺被写体領域332のブロック構成は、図15に示すような構成でなくともよい。また、当該ブロック毎に評価値を算出しているが、主被写体領域331と周辺被写体領域332との2つの領域(2ブロック;各領域を1ブロックとする)における評価値を算出する構成であってもよい。また、撮像領域330を主被写体領域331及び周辺被写体領域332といった2つの領域に分けるのではなく、3つ以上の領域に分け、当該各領域(のブロック)での輝度情報から評価値を算出し、これに基づくAE制御を行う構成としてもよい。或いは撮像領域を分けずに当該1つの撮像領域に対して同様に評価値を算出してAE制御を行う構成としてもよい、さらに、撮像領域30の上述のような各領域(ブロック)の領域設定を、ユーザの操作指示に応じて随時行う構成であってもよい。
本発明の実施形態1〜3に係る撮像装置が好適に適用されるデジタルカメラの外観を示す図であって、(a)はその上面図、(b)は正面図、(c)は背面図をそれぞれ示す。 上記デジタルカメラの撮像処理ブロック図である。 上記デジタルカメラに用いられる撮像センサのカラーフィルタ構造の一例を示す模式図である。 上記デジタルカメラが備える全体制御部の機能を説明するための機能ブロック図である。 露出制御に関する用語の定義を説明するための表形式の図である。 上記デジタルカメラの全体的な動作の一例を示すフローチャートである。 撮像センサの一例である、二次元のMOS型固体撮像装置の概略構成図である。 図7に示す各画素G11〜Gmnの構成例を示す回路図である。 撮像センサの撮像動作に関するタイミングチャートの一例である。 撮像センサの光電変換特性を示すグラフ図である。 上記光電変換特性の変化動作を説明するためのグラフ図である。 撮像センサが実際に撮像した静止画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。 撮像センサが継続的に撮像した動画像から、被写体のAE評価値等を検出する場合の動作例を示すフローチャートである。 評価値検出部の機能を説明するための機能ブロック図である。 撮像センサによる分割測光に際しての撮像領域(測光範囲)の分割の状態を示す模式図である。 上記分割測光による輝度ヒストグラムの一例を示すグラフ図であって、(a)は主被写体全体輝度ヒストグラムを、(b)は周辺被写体全体ヒストグラムをそれぞれ示している。 AE制御を行う場合において、撮像センサの光電変換特性が変化する様子を示すグラフ図であり、(a)は、露光量制御を行う場合の変化を示し、(b)は、ダイナミックレンジ制御を行う場合の変化を示す図である。 露光量制御パラメータ算出に際しての線形変換プロセスを説明するためのグラフ図である。 ダイナミックレンジ制御パラメータ算出に際しての、光電変換特性における変曲点の位置の算出方法について説明するグラフ図であり、(a)は、輝度Lmaxに対して所定のセンサ出力となるように光電変換特性を変化させた場合の図であり、(b)は、光電変換特性をモデル化した場合の図である。 実施形態1における階調変換部の機能を説明するための機能ブロック図である。 図20に示す階調変換部により作成される階調変換特性の一例を示すグラフ図である。 非ガンマ作成部による重み付け処理について概念的に説明する図である。 実施形態2における階調変換部により作成される階調変換特性の一例を示すグラフ図である。 図23に示す階調変換部の機能を説明するための機能ブロック図である。 実施形態3における階調変換部により作成される階調変換特性の一例を示すグラフ図である。 図25に示す階調変換部の機能を説明するための機能ブロック図である。 階調変換部の動作を説明するためのフローチャートである。 従来における、光電変換特性及びその光電変換特性により得られるセンサ出力値に対する、ガンマ特性による階調変換について説明する図である。
符号の説明
1 デジタルカメラ(撮像装置)
105 モード設定スイッチ
100 操作部
20 鏡胴
21 レンズ群
22 絞り
23 シャッタ
30 撮像センサ
31 タイミング生成回路
331 主被写体領域
332 周辺被写体領域
40 信号処理部
405 評価値検出部(露出評価値検出手段)
4051 分割測光部(輝度検出手段)
4052 ヒストグラム算出部(ヒストグラム算出手段)
409、409a、409b 階調変換部(階調変換手段)
4091 階調変換演算部
4092 階調変換LUT記憶部
4093、4093a、4093b 変換特性作成部(階調変換特性作成手段)
4094 作成用情報受信部
496 変曲点情報受付部
497 設定モード情報受付部
4095、4095a、4095b ガンマ作成部
491 ガンマパターン情報記憶部
492 ガンマ用LUT記憶部
4096、4096a、4096b 非ガンマ作成部
493、493a、493b 直線特性作成部
494、494a、494b 重み付け部
495、495a、495b ヒストグラム均等化部
4097、4097a、4097b 切替点設定部(切替点設定手段)
50 全体制御部(変曲点制御手段)
511 露光量制御パラメータ算出部
5110 AE制御パラメータ算出部
512 ダイナミックレンジ制御パラメータ算出部
516 光電変換特性情報記憶部
60 駆動部
800、900、1000 階調変換特性
802、902、1002 ガンマ変換特性(ガンマ特性曲線)
804、904、1004 非ガンマ変換特性(直線特性)
805、905、1005 非ガンマ変換特性(重み付け特性)
806、906、1006 非ガンマ変換特性(ヒストグラム均等化特性)
810、910、1010 ガンマ特性部(第1の階調変換特性部)
811、911、1011 ガンマ変換特性
820、920、1020 非ガンマ特性部(第2の階調変換特性部)
830、930、1030 対角線(仮想直線)
860 入力輝度範囲(請求項7記載の入力輝度範囲)
1008、1009、1040 入力輝度範囲
281 線形特性領域
282 対数特性領域
283 ガンマ変換特性
284 センサ出力
P、Q、R、U 切替点
Vx 入力値(切替点設定用パラメータ)

Claims (26)

  1. 入射光量に応じた電気信号を発生すると共に、その光電変換特性が入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサと、
    ガンマ変換による階調変換を行うガンマ特性部と、前記ガンマ変換によらない階調変換を行う非ガンマ特性部とからなる階調変換特性を作成する階調変換特性作成手段と、
    前記撮像センサにより撮影された画像信号を、前記階調変換特性作成手段により作成された階調変換特性に基づいて階調変換する階調変換手段と
    を備えることを特徴とする撮像装置。
  2. 前記階調変換特性作成手段は、被写体の輝度情報に基づいて、前記ガンマ特性部と非ガンマ特性部との切り替わり点を設定する切替点設定手段を備えたものであって、
    当該切替点設定手段により設定された切り替わり点の情報に基づいて、少なくとも線形特性領域に対応するガンマ特性部と、少なくとも対数特性領域に対応する非ガンマ特性部とを作成することを特徴とする請求項1記載の撮像装置。
  3. 前記切替点設定手段は、被写体の輝度情報に基づいて得られた前記光電変換特性における線形特性領域と対数特性領域との変曲点の位置(Vth)を前記切り替わり点として設定することを特徴とする請求項2記載の撮像装置。
  4. 前記切替点設定手段は、前記切り替わり点を、階調変換入力及び階調変換出力を座標軸とする座標平面における、原点と当該階調変換入力及び階調変換出力の最大値である最大点とを通る仮想直線上の点としてさらに設定することを特徴とする請求項3記載の撮像装置。
  5. 前記切替点設定手段は、前記切り替わり点を、階調変換入力及び階調変換出力を座標軸とする座標平面における、原点と当該階調変換入力及び階調変換出力の最大値である最大点とを両端点として有する前記ガンマ変換用のガンマ特性曲線上の点としてさらに設定することを特徴とする請求項3記載の撮像装置。
  6. 前記階調変換特性作成手段は、前記非ガンマ特性部を、対数特性領域における輝度情報に基づく直線特性として作成することを特徴とする請求項1〜5のいずれかに記載の撮像装置。
  7. 前記階調変換特性作成手段は、前記非ガンマ特性部を、対数特性領域における対数圧縮された輝度情報が線形特性として伸長処理された入力輝度範囲に応じた重み付け処理が施されてなる重み付け特性として作成することを特徴とする請求項1〜5のいずれかに記載の撮像装置。
  8. 前記階調変換特性作成手段は、前記非ガンマ特性部を、対数特性領域における輝度情報に基づいてヒストグラム均等化処理が施されてなるヒストグラム均等化特性として作成することを特徴とする請求項1〜5のいずれかに記載の撮像装置。
  9. 前記階調変換特性作成手段は、対数特性領域における対数圧縮された輝度情報が線形特性として伸長処理された入力輝度範囲に応じた重み付け処理がなされた輝度情報に基づいて前記ヒストグラム均等化処理を行うことを特徴とする請求項8記載の撮像装置。
  10. 被写体の輝度情報に基づいて、被写体を撮像するに際しての露出の制御に関する露出評価値を検出する露出評価値検出手段と、
    前記露出評価値に基づいて前記撮像センサの光電変換特性における線形特性領域と対数特性領域との変曲点を制御する変曲点制御手段とをさらに備え、
    前記階調変換特性作成手段は、当該変曲点制御手段の制御による変曲点の変化に応じて切替点設定手段により更新設定された切り替わり点に基づく新たな階調変換特性を作成することを特徴とする請求項1〜9のいずれかに記載の撮像装置。
  11. 前記切替点設定手段は、前記光電変換特性における線形特性領域と対数特性領域との変曲点の位置(Vth)と別に設けた切替点設定用パラメータ(Vx)の位置を前記切り替わり点として設定することを特徴とする請求項2記載の撮像装置。
  12. 前記切替点設定手段は、前記切替点設定用パラメータの位置を線形特性領域における位置として設定することを特徴とする請求項11記載の撮像装置。
  13. 前記切替点設定手段は、前記切替点設定用パラメータに対応する切り替わり点を、階調変換入力及び階調変換出力を座標軸とする座標平面における、原点と当該階調変換入力及び階調変換出力の最大値である最大点とを両端点として有する前記ガンマ変換用のガンマ特性曲線上の点としてさらに設定することを特徴とする請求項11又は12記載の撮像装置。
  14. 前記切替点設定手段は、前記切替点設定用パラメータに対応する切り替わり点を、階調変換入力及び階調変換出力を座標軸とする座標平面における、原点と当該階調変換入力及び階調変換出力の最大値である最大点とを通る仮想直線上の点としてさらに設定することを特徴とする請求項11又は12記載の撮像装置。
  15. 前記切替点設定手段は、前記切替点設定用パラメータを前記変曲点の位置に対する所定のオフセット情報に基づいて設定することを特徴とする請求項11〜14のいずれかに記載の撮像装置。
  16. 被写体の輝度を、主被写体領域における主被写体輝度と周辺被写体領域における周辺被写体輝度とに分けて検出する輝度検出手段をさらに備え、
    前記切替点設定手段は、前記切替点設定用パラメータを当該主被写体輝度情報に基づいて設定することを特徴とする請求項11〜14のいずれかに記載の撮像装置。
  17. 被写体の輝度を、主被写体領域における主被写体輝度と周辺被写体領域における周辺被写体輝度とに分けて検出する輝度検出手段をさらに備え、
    前記切替点設定手段は、前記切替点設定用パラメータを当該主被写体輝度情報と前記変曲点の位置情報とに基づいて設定することを特徴とする請求項11〜14のいずれかに記載の撮像装置。
  18. 前記線形特性領域における輝度情報に基づく輝度ヒストグラムを算出するヒストグラム算出手段をさらに備え、
    前記切替点設定手段は、前記切替点設定用パラメータを当該輝度ヒストグラムに基づいて設定することを特徴とする請求項11〜14のいずれかに記載の撮像装置。
  19. 被写体の輝度を、主被写体領域における主被写体輝度と周辺被写体領域における周辺被写体輝度とに分けて検出する輝度検出手段と、
    前記主被写体領域における輝度情報に基づく輝度ヒストグラムを算出するヒストグラム算出手段とをさらに備え、
    前記切替点設定手段は、前記切替点設定用パラメータを当該輝度ヒストグラムに基づいて設定することを特徴とする請求項11〜14のいずれかに記載の撮像装置。
  20. 前記切替点設定手段は、前記輝度ヒストグラムに基づく平均輝度値に対する標準偏差を算出し、該標準偏差を用いて切替点設定用パラメータを設定することを特徴とする請求項18又は19記載の撮像装置。
  21. 前記階調変換特性作成手段は、前記非ガンマ特性部を、前記切り替わり点の位置に応じて決定される対数特性領域、又は対数特性領域と線形特性領域の一部とからなる両特性領域における輝度情報に基づく直線特性として作成することを特徴とする請求項11〜20のいずれかに記載の撮像装置。
  22. 前記階調変換特性作成手段は、前記非ガンマ特性部を、前記切り替わり点の位置に応じて決定される対数特性領域、又は対数特性領域と線形特性領域の一部とからなる両特性領域において、対数特性領域における対数圧縮された輝度情報が線形特性として伸長処理された入力輝度範囲に応じた重み付け処理が全部又は一部に施されてなる重み付け特性として作成することを特徴とする請求項11〜20のいずれかに記載の撮像装置。
  23. 前記階調変換特性作成手段は、前記非ガンマ特性部を、前記切り替わり点の位置に応じて決定される対数特性領域、又は対数特性領域と線形特性領域の一部とからなる両特性領域における輝度情報に基づいてヒストグラム均等化処理が施されてなるヒストグラム均等化特性として作成することを特徴とする請求項11〜20のいずれかに記載の撮像装置。
  24. 前記階調変換特性作成手段は、対数特性における対数圧縮された輝度情報が線形特性として伸長処理された入力輝度範囲に応じた重み付け処理が全部又は一部になされた輝度情報に基づいて前記ヒストグラム均等化処理を行うことを特徴とする請求項23記載の撮像装置。
  25. 入射光量に応じた電気信号を発生すると共に、その光電変換特性が入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備える撮像センサと、
    被写体の輝度情報に基づいて設定される所定の切り替わり点により、第1の階調変換特性部と第2の階調変換特性部とに区分されてなる階調変換特性を作成する階調変換特性作成手段と、
    前記撮像センサにより撮影された画像信号を、前記階調変換特性作成手段により作成された階調変換特性に基づいて階調変換する階調変換手段と
    を備えることを特徴とする撮像装置。
  26. 撮像センサを、入射光量に応じた電気信号を発生すると共に、その光電変換特性が入射光量に対して前記電気信号が線形的に変換されて出力される線形特性領域と、入射光量に対して前記電気信号が対数的に変換されて出力される対数特性領域とを備えるものとし、
    ガンマ変換による階調変換を行うガンマ特性部と、前記ガンマ変換によらない階調変換を行う非ガンマ特性部とからなる階調変換特性を階調変換特性作成手段により作成する工程と、
    前記撮像センサにより撮影された画像信号を、前記階調変換特性作成手段により作成された階調変換特性に基づいて階調変換手段により階調変換する工程と
    を有することを特徴とする階調変換方法。
JP2004296193A 2004-10-08 2004-10-08 撮像装置及び階調変換方法 Pending JP2006109327A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004296193A JP2006109327A (ja) 2004-10-08 2004-10-08 撮像装置及び階調変換方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004296193A JP2006109327A (ja) 2004-10-08 2004-10-08 撮像装置及び階調変換方法

Publications (1)

Publication Number Publication Date
JP2006109327A true JP2006109327A (ja) 2006-04-20

Family

ID=36378486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004296193A Pending JP2006109327A (ja) 2004-10-08 2004-10-08 撮像装置及び階調変換方法

Country Status (1)

Country Link
JP (1) JP2006109327A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007145099A1 (ja) * 2006-06-14 2007-12-21 Konica Minolta Holdings, Inc. 撮像装置
WO2008018564A1 (fr) * 2006-08-11 2008-02-14 Nikon Corporation Caméra numérique et programme informatique de traitement d'image
JP2011146881A (ja) * 2010-01-14 2011-07-28 Hitachi Consumer Electronics Co Ltd 画像信号処理装置
US8319864B2 (en) 2008-09-11 2012-11-27 Ricoh Company, Ltd. Imaging apparatus and imaging method
WO2019039111A1 (ja) * 2017-08-25 2019-02-28 シャープ株式会社 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体
CN111312133A (zh) * 2015-11-10 2020-06-19 佳能株式会社 显示控制装置及其控制方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007145099A1 (ja) * 2006-06-14 2007-12-21 Konica Minolta Holdings, Inc. 撮像装置
US7956903B2 (en) 2006-06-14 2011-06-07 Konica Minolta Holdings, Inc. Imaging apparatus
JP5012796B2 (ja) * 2006-06-14 2012-08-29 コニカミノルタホールディングス株式会社 撮像装置
WO2008018564A1 (fr) * 2006-08-11 2008-02-14 Nikon Corporation Caméra numérique et programme informatique de traitement d'image
JP2008048029A (ja) * 2006-08-11 2008-02-28 Nikon Corp デジタルカメラ、および画像処理プログラム
US8115857B2 (en) 2006-08-11 2012-02-14 Nikon Corporation Digital camera and image processing computer program product
US8319864B2 (en) 2008-09-11 2012-11-27 Ricoh Company, Ltd. Imaging apparatus and imaging method
JP2011146881A (ja) * 2010-01-14 2011-07-28 Hitachi Consumer Electronics Co Ltd 画像信号処理装置
CN111312133A (zh) * 2015-11-10 2020-06-19 佳能株式会社 显示控制装置及其控制方法
CN111312133B (zh) * 2015-11-10 2024-01-09 佳能株式会社 显示控制装置及其控制方法
WO2019039111A1 (ja) * 2017-08-25 2019-02-28 シャープ株式会社 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体
JP2019041269A (ja) * 2017-08-25 2019-03-14 シャープ株式会社 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体

Similar Documents

Publication Publication Date Title
JP4556722B2 (ja) 撮像装置
JP5045791B2 (ja) 撮像装置及び撮像方法
US7525579B2 (en) Image sensing apparatus and image processing method for use therein
US7508422B2 (en) Image sensing apparatus comprising a logarithmic characteristic area and a linear characteristic area
US7667764B2 (en) Image sensing apparatus
US8213063B2 (en) Image sensing apparatus, image sensing system, and operating program product for image sensing system
JP4791331B2 (ja) 撮像装置及び露出制御方法
JP4661285B2 (ja) 撮像装置及び撮像方法
JP2010147786A (ja) 撮像装置及び画像処理方法
JP3999321B2 (ja) 電子カメラ
JP2006050541A (ja) 撮像装置
JP4736792B2 (ja) 撮像装置及びそれに用いる画像処理方法
JP2006332944A (ja) 撮像装置
JP4507929B2 (ja) 撮像装置
JP2006109327A (ja) 撮像装置及び階調変換方法
JPWO2006103880A1 (ja) 撮像装置
JP5045788B2 (ja) 撮像装置
JP2006332936A (ja) 撮像装置
JP4720118B2 (ja) 撮像装置
KR101408359B1 (ko) 촬상장치 및 촬상방법
JP2006013892A (ja) 撮像装置
JP2004128558A (ja) 撮像装置
JP2006003727A (ja) 撮像装置及び撮像方法
JP2006303755A (ja) 撮像装置及び撮像方法
JP2006013593A (ja) 撮像装置