JP2006180015A - ヒストグラム生成装置及びヒストグラム生成方法 - Google Patents
ヒストグラム生成装置及びヒストグラム生成方法 Download PDFInfo
- Publication number
- JP2006180015A JP2006180015A JP2004368860A JP2004368860A JP2006180015A JP 2006180015 A JP2006180015 A JP 2006180015A JP 2004368860 A JP2004368860 A JP 2004368860A JP 2004368860 A JP2004368860 A JP 2004368860A JP 2006180015 A JP2006180015 A JP 2006180015A
- Authority
- JP
- Japan
- Prior art keywords
- frequency data
- histogram
- exposure time
- luminance
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】 全ての領域において利用者に輝度分布を適切に判別させること。
【解決手段】 高輝度領域では最小露光時間TSで撮像された画像の輝度レベルの度数データを選択すると共に、低輝度領域では最大露光時間TLで撮像された画像の輝度レベルの度数データを選択するようにした。そのため、白とびや黒つぶれが発生していない画素の輝度レベルの度数データのみを用いて、撮像対象の輝度レベルのヒストグラムを生成することができる。その結果、その生成される撮像対象の輝度レベルのヒストグラムにおいて両端の区間に多くの輝度レベルが取り込まれてしまうことを防止することができ、コントラストの高いシーンの撮影時に、例えば、一定の露光時間で撮像された画像の輝度レベルの度数データのみでヒストグラムを生成して表示する方法に比べ、全ての領域において利用者に輝度分布を適切に判別させることができる。
【選択図】 図6
【解決手段】 高輝度領域では最小露光時間TSで撮像された画像の輝度レベルの度数データを選択すると共に、低輝度領域では最大露光時間TLで撮像された画像の輝度レベルの度数データを選択するようにした。そのため、白とびや黒つぶれが発生していない画素の輝度レベルの度数データのみを用いて、撮像対象の輝度レベルのヒストグラムを生成することができる。その結果、その生成される撮像対象の輝度レベルのヒストグラムにおいて両端の区間に多くの輝度レベルが取り込まれてしまうことを防止することができ、コントラストの高いシーンの撮影時に、例えば、一定の露光時間で撮像された画像の輝度レベルの度数データのみでヒストグラムを生成して表示する方法に比べ、全ての領域において利用者に輝度分布を適切に判別させることができる。
【選択図】 図6
Description
本発明は、撮像対象の輝度レベルの高ダイナミックレンジのヒストグラムを生成するヒストグラム生成装置及びヒストグラム表示方法に関する。
近年、コンパクトDSC(Digital Still Camera)においては、撮像素子の多画素化が進んだことにより、ピクセルサイズ(センサセル)が小型化し、その結果、センサセルの飽和電荷量が減少している。そのため、コントラストの高いシーンの撮影時には、露光時間が長いと、明部で白とび(画素の飽和)が発生しやすく、また、露光時間が短いと、暗部で黒つぶれが発生しやすい。即ち、明部の白とびや暗部の黒つぶれが発生しない階調性のよい画像が得られるように、適切な露光時間を決めることが難しくなっている。
そこで、このような問題を解決するために、露光準備期間(露光期間の直前)に、一定の露光時間で撮像し、その撮像された画像の各画素の輝度レベルの度数データを生成し、その度数データに基づいて、撮像対象の輝度レベルのヒストグラムを生成して表示することで、利用者による露光時間の決定を補助するものがある(例えば特許文献1参照)。
特開2004−242015号公報
しかしながら、上記従来のヒストグラムの生成方法にあっては、一定の露光時間で撮像された画像の輝度レベルの度数データに基づいて撮像対象の輝度レベルのヒストグラムを生成するようになっているため、コントラストの高いシーンの撮影時には、そのコントラストの高さにより、前記一定の露光時間で撮像された画像(度数データを生成するための画像)に白とびや黒つぶれが発生し、撮像対象の輝度レベルのヒストグラムにおいて両端の区間に多くの輝度レベルが取り込まれ、その両端の区間における輝度分布を適切に判別できず、その結果、利用者による露光時間の決定を十分に補助できない恐れがあった。
本発明は、上記従来の技術の未解決の課題を解決することを目的とするものであって、全ての領域において利用者に輝度分布を適切に判別させることが可能なヒストグラム生成装置及びヒストグラム表示方法を提供することを課題とする。
上記課題を解決するために、本発明のヒストグラム生成装置によれば、複数の露光時間で撮像を行う撮像手段と、その撮像手段で撮像された画像の輝度レベルの出現頻度を示す度数データを生成する度数データ生成手段と、その生成された度数データ群の中から度数データを選択する選択手段と、その選択された度数データに基づいて、撮像対象の輝度レベルの高ダイナミックレンジヒストグラムを生成するヒストグラム合成手段とを備えたことを特徴とする。
また、前記撮像手段は、複数の異なる露光時間で撮像し、前記度数データ生成手段は、前記複数の画像データに基づいて、複数の度数データ群を生成し、前記選択手段は、前記生成した複数の度数データ群の中から、前記複数の露光時間の長さに基づいて度数データを選択し、前記ヒストグラム合成手段は、前記露光時間の長さに基づいてヒストグラムの輝度幅を補正して、高ダイナミックレンジのヒストグラムを生成するようにしてもよい。
さらに、前記選択手段は、低輝度領域ではより短い露光時間で発生された電圧の度数データを選択し、高輝度領域ではより長い露光時間で発生された電圧の度数データを選択するようにしてもよい。
また、本発明のヒストグラム表示方法にあっては、複数の露光条件で撮像された画像の各画素の輝度レベルに対応する値に基づいて、ヒストグラムを生成して表示することを特徴とする。
また、本発明のヒストグラム表示方法にあっては、複数の露光条件で撮像された画像の各画素の輝度レベルに対応する値に基づいて、ヒストグラムを生成して表示することを特徴とする。
この構成によれば、高輝度領域ではより短い露光時間による画像の輝度レベルの度数データを選択し、低輝度領域ではより長い露光時間による画像の輝度レベルの度数データを選択することで、白とびや黒つぶれが発生していない画素の輝度レベルの度数データのみを用いて、撮像対象の輝度レベルのヒストグラムを生成することができる。そのため、撮像対象の輝度レベルのヒストグラムにおいて両端の区間に多くの輝度レベルが取り込まれてしまうことを防止することができ、コントラストの高いシーンの撮影時に、例えば、一定の露光時間で撮像された画像の輝度レベルの度数データのみでヒストグラムを生成する方法に比べ、全ての領域において利用者に輝度分布を適切に判別させることができる。
以下、本発明に係るヒストグラム生成装置の一実施形態を、図面に基づいて説明する。
このヒストグラム生成装置は、撮像装置に対してヒストグラム生成の指示が入力されると、予め時間比率が分かっている3種類の露光時間(最大露光時間TL>中露光時間TM>最小露光時間TS)で撮像動作を行い、各々の露光時間(条件)において、後述の度数データ生成手段により度数データを生成する。このとき、一つの度数データ生成手段を時分割に動作させて、複数の度数データを生成する。そして、この観測(撮像部からの出力)された複数の結果(度数データ)から、被写体の明るさの状態(輝度レベル)を高ダイナミックレンジヒストグラムとして推測する。具体的には、露光時間毎に生成された度数データのうち、高ダイナミックレンジヒストグラム生成に必要な度数データを選択する。そして、選択された度数データを合成し、撮像対象の輝度レベルの高ダイナミックレンジヒストグラムの頻度データ(縦軸)を生成する。また、露光時間の比から、頻度データに対応する輝度レベル区間(横軸)を算出するとともに、被写体の輝度レベルの推測値(絶対値ではなく、内部の相対輝度値)を算出する。そして、前述の頻度データと輝度レベル区間を用いて、高ダイナミックレンジヒストグラムを生成する。
このヒストグラム生成装置は、撮像装置に対してヒストグラム生成の指示が入力されると、予め時間比率が分かっている3種類の露光時間(最大露光時間TL>中露光時間TM>最小露光時間TS)で撮像動作を行い、各々の露光時間(条件)において、後述の度数データ生成手段により度数データを生成する。このとき、一つの度数データ生成手段を時分割に動作させて、複数の度数データを生成する。そして、この観測(撮像部からの出力)された複数の結果(度数データ)から、被写体の明るさの状態(輝度レベル)を高ダイナミックレンジヒストグラムとして推測する。具体的には、露光時間毎に生成された度数データのうち、高ダイナミックレンジヒストグラム生成に必要な度数データを選択する。そして、選択された度数データを合成し、撮像対象の輝度レベルの高ダイナミックレンジヒストグラムの頻度データ(縦軸)を生成する。また、露光時間の比から、頻度データに対応する輝度レベル区間(横軸)を算出するとともに、被写体の輝度レベルの推測値(絶対値ではなく、内部の相対輝度値)を算出する。そして、前述の頻度データと輝度レベル区間を用いて、高ダイナミックレンジヒストグラムを生成する。
<撮像装置の構成>
図1は、本発明の一実施形態の内部構成を示すブロック図である。図1に示すように、本発明のヒストグラム生成装置を搭載した撮像装置1は、露光量制御部2、撮像部3、度数データ生成部4、度数データ合成部5及びCPU(Central Processing Unit)2を含んで構成される。
図1は、本発明の一実施形態の内部構成を示すブロック図である。図1に示すように、本発明のヒストグラム生成装置を搭載した撮像装置1は、露光量制御部2、撮像部3、度数データ生成部4、度数データ合成部5及びCPU(Central Processing Unit)2を含んで構成される。
露光量制御部2は、ヒストグラム生成の指示が入力されると、最大露光時間TL、中間露光時間TM及び最小露光時間TSを示すデータを撮像部3と度数データ合成部5とに順次出力する。また、露光量制御部2は、前記露光時間で撮像動作及び度数の計数を開始する直前に、リセット信号を度数データ生成部4に出力し、度数データ生成部4内部の計数カウンタを「0」にリセットする。
撮像部3は、図2に示すように、露光量制御部2から露光時間を示すデータが出力され、その後、撮像動作開始の指示を受信すると、その露光時間の間、撮像対象からの光を撮像レンズ7で撮像素子8に集光し、その集光量に応じた電荷を撮像素子8の各画素に蓄積させる。さらに、撮像部3は、前記露光時間が経過すると、撮像素子8の各画素に蓄積されている電荷を順次電圧に変換し、その変換された電圧をAMP9により所定範囲内(0〜Vmax[mV]、ここでVmaxは最大電圧値)で順次増幅させる。そして、撮像部3は、その増幅された電圧をADC(Analog Digital Converter)10で量子化してデジタル画像信号(0〜ADmaxの整数値、ここでADmaxは最大値)を画素毎に生成し、その生成されたデジタル画像信号を順次度数データ生成部4に出力する。
度数データ生成部4は、図3に示すように、撮像部3から出力されるデジタル画像信号の信号レベルが、当該デジタル画像信号が取りうる最大値ADmaxをN等分して形成される複数区間のいずれの区間内にあるかを画素毎に判定し、区間毎に度数を計数する。具体的には、区間の数分存在するカウントユニット11とカウントユニット11の計数結果を外部出力するための出力I/F12により構成される。前記カウントユニット11は、レベル判定器13と計数の為のカウンタ14にて構成される。レベル判定器13は、デジタル画像信号が、その区間に入っている否かを判定し、判定結果を出力する(後述)。カウンタ14は、前記判定結果に基づいて、度数を計数する(後述)。出力I/F12は、それら複数の度数カウントユニット11それぞれによるカウント値を度数データ合成部5に出力する。
度数データ生成部4の機能を説明する。レベル判定器13は、図4に示すように、上限値を示す閾値Highと下限値を示す閾値Lowとの間に、入力される信号レベルがあるか否かを判定し、閾値Highと閾値Lowとの間に前記信号レベルがある場合には有効信号「1」をカウンタ14に出力し、前記信号レベルがない場合には無効信号「0」をカウンタ14に出力する。
カウンタ14は、露光量制御部2から撮像動作開始の指示を示すリセット信号が出力されると、それまでのカウント値をリセットして「0」とする。また、カウンタ14は、レベル判定器13から有効信号「1」が出力されると、カウント値を「1」インクリメント(カウントアップ)する。また、「0」が出力されると、値を保持する。この動作を、一つの露光時間の撮像動作が行われている期間、行う。
出力I/F12は、1つの露光時間の撮像動作及び度数計数の処理が終了するたびに、各度数カウントユニット11のカウンタ14のカウント値(以下、「度数データ群」とも呼ぶ。)を度数データ合成部5にパラレルに出力する。
度数データ合成部5は、図5に示すように、度数データ格納部15と、輝度レベル格納部16と、CPU6に出力する出力I/F17とを含んで構成される。
度数データ合成部5は、図5に示すように、度数データ格納部15と、輝度レベル格納部16と、CPU6に出力する出力I/F17とを含んで構成される。
度数データ格納部15は、飽和開始輝度算出部18、書き込み部19及び頻度格納部20を備える。度数データ格納部15は、度数データ生成部4からある露光時間の全区間の度数データが入力される。そして、後述の如く高ダイナミックレンジヒストグラムを生成するために必要な度数データのみ選択し、それを記録・保持する。
輝度レベル格納部16は、露光量制御部2から出力される露光時間に基づいて、撮像対象の高ダイナミックレンジヒストグラムの各区間の下限値・上限値を示す輝度レベルを算出して記録・保持する。
輝度レベル格納部16は、露光量制御部2から出力される露光時間に基づいて、撮像対象の高ダイナミックレンジヒストグラムの各区間の下限値・上限値を示す輝度レベルを算出して記録・保持する。
度数データ格納部15について説明する。そのために図6を用いる。
図6(d)は、撮像部3の入出力特性(撮像対象の輝度レベル(入力値)と撮像部3から出力されるデジタル画像信号の信号レベル(出力値)との特性)と、高ダイナミックレンジヒストグラム(合成後の度数)を表した図である。縦軸はデジタル画像信号値と度数の双方を示し、横軸は被写体の明るさ(輝度レベル)を示す。なお、横軸は前述の「区間」で区切られている。図6(a)、(b)、(c)は異なる露光時間にて撮像された画像のヒストグラム図(度数データ)であり、縦軸はデジタル画像信号値(「区間」で区切られた)であり、横軸は度数である。なお、3種類の撮像部3における入出力特性の直線部の傾きの比は、露光時間に比例するものと仮定する。ここで、図6においては、露光時間TLとTMとTSとの時間比を(4:2:1)とした。また、露光時間TLにおける入出力特性は、入力値がVmin以下の場合には出力値がADminとなり、入力値がVmaxより大きい場合には出力値がADmaxの一定値となり、入力値がVmin以上で且つVmax以下である場合には、入力値の増加に伴って出力値がリニアに増加する特性線となる。また、露光時間TMにおける入出力特性は、入力値がVminM(VminMは不図示)以下の場合には出力値がADminとなり、入力値が2Vmaxより大きい場合には出力値がADmaxの一定値となり、入力値がVminM以上で且つ2Vmax以下である場合には、入力値の増加に伴って出力値がリニアに増加する特性線となる。さらに、露光時間TSにおける入出力特性は、入力値がVminS(VminSは不図示)以下の場合には出力値がADminとなり、入力値が4Vmaxより大きい場合には出力値がADmaxの一定値となり、入力値がVminS以上で且つ4Vmax以下である場合には、入力値の増加に伴って出力値がリニアに増加する特性線となる。
図6(d)は、撮像部3の入出力特性(撮像対象の輝度レベル(入力値)と撮像部3から出力されるデジタル画像信号の信号レベル(出力値)との特性)と、高ダイナミックレンジヒストグラム(合成後の度数)を表した図である。縦軸はデジタル画像信号値と度数の双方を示し、横軸は被写体の明るさ(輝度レベル)を示す。なお、横軸は前述の「区間」で区切られている。図6(a)、(b)、(c)は異なる露光時間にて撮像された画像のヒストグラム図(度数データ)であり、縦軸はデジタル画像信号値(「区間」で区切られた)であり、横軸は度数である。なお、3種類の撮像部3における入出力特性の直線部の傾きの比は、露光時間に比例するものと仮定する。ここで、図6においては、露光時間TLとTMとTSとの時間比を(4:2:1)とした。また、露光時間TLにおける入出力特性は、入力値がVmin以下の場合には出力値がADminとなり、入力値がVmaxより大きい場合には出力値がADmaxの一定値となり、入力値がVmin以上で且つVmax以下である場合には、入力値の増加に伴って出力値がリニアに増加する特性線となる。また、露光時間TMにおける入出力特性は、入力値がVminM(VminMは不図示)以下の場合には出力値がADminとなり、入力値が2Vmaxより大きい場合には出力値がADmaxの一定値となり、入力値がVminM以上で且つ2Vmax以下である場合には、入力値の増加に伴って出力値がリニアに増加する特性線となる。さらに、露光時間TSにおける入出力特性は、入力値がVminS(VminSは不図示)以下の場合には出力値がADminとなり、入力値が4Vmaxより大きい場合には出力値がADmaxの一定値となり、入力値がVminS以上で且つ4Vmax以下である場合には、入力値の増加に伴って出力値がリニアに増加する特性線となる。
また、飽和開始輝度算出部18は、その算出された第1入出力特性の特性線が飽和を開始する輝度レベルVmaxに対応する、第2入出力特性のデジタル画像信号レベルP1(以下、「第1度数データ切り替え信号レベル」とも呼ぶ。)を算出する。このP1の信号レベルは、観測される信号レベルが露光時間に比例することから、下式で算出される。この信号レベルは撮像部3からの出力であり、観測可能である。
P1のデジタル画像信号レベル=ADmax×TM/TL
そして、飽和開始輝度算出部18は、算出された第1度数データ切り替え信号レベルを書き込み部19に出力する。また、飽和開始輝度算出部18は、第2入出力特性の特性線が飽和を開始する輝度レベル(図6の例では2Vmax)に対応する、第3入出力特性のデジタル画像信号レベルP2(以下、「第2度数データ切り替え信号レベル」とも呼ぶ。)を算出する。このP2の信号レベルは、観測される信号レベルが露光時間に比例することから、下式で算出される。この信号レベルは撮像部3からの出力であり、観測可能である。
そして、飽和開始輝度算出部18は、算出された第1度数データ切り替え信号レベルを書き込み部19に出力する。また、飽和開始輝度算出部18は、第2入出力特性の特性線が飽和を開始する輝度レベル(図6の例では2Vmax)に対応する、第3入出力特性のデジタル画像信号レベルP2(以下、「第2度数データ切り替え信号レベル」とも呼ぶ。)を算出する。このP2の信号レベルは、観測される信号レベルが露光時間に比例することから、下式で算出される。この信号レベルは撮像部3からの出力であり、観測可能である。
P2のデジタル画像信号レベル=ADmax×TS/TM
そして、飽和開始輝度算出部18は、算出された第2度数データ切り替え信号レベルを書き込み部19に出力する。
頻度格納部20は、生成された高ダイナミックレンジを格納するメモリであり、例えば図7(a)に示す構成である。頻度格納部20は、書き込み部19からの度数データを順次格納する。なお、後述するが、図7(b)は頻度データに対応する輝度レベルを示す。
そして、飽和開始輝度算出部18は、算出された第2度数データ切り替え信号レベルを書き込み部19に出力する。
頻度格納部20は、生成された高ダイナミックレンジを格納するメモリであり、例えば図7(a)に示す構成である。頻度格納部20は、書き込み部19からの度数データを順次格納する。なお、後述するが、図7(b)は頻度データに対応する輝度レベルを示す。
書き込み部19は、飽和開始輝度算出部18から出力される第1度数データ切り替え信号レベルP1及び第2度数データ切り替え信号レベルP2と、度数データ生成部4から出力される度数データ群とに基づいて、高ダイナミックレンジヒストグラムを生成するために、度数データを選択し、頻度格納部20へ出力する。すなわち、第1入出力特性が飽和するまで、すなわち図6(a)におけるADmaxまでの区間の度数データを選択する。また、第2入出力特性が飽和するまで、すなわち図6(b)における第1度数データ切り替え信号レベルP1からADmaxまでの区間の度数データを選択する。また、第3入出力特性が飽和するまで、すなわち図6(c)における第2度数データ切り替え信号レベルP2より大きい区間の度数データを選択する。これにより、暗い部分はより細かい間隔で度数データを取得でき、明るい部分は大まかな度数データとすることができる。そして、書き込み部19は、その選択された度数データを、頻度格納部20の対応する領域に格納する。格納例を図7に示す。図7においては、信号レベルが小さい区間に対応する度数データから順番に頻度格納部20に格納させる。
実動作に基づいて説明する。度数データ生成部4から出力された度数データ群が最大露光時間TLの露光によるものである場合には、その度数データ群のうち、デジタル画像信号レベルがADmaxより小さい区間(信号レベルが未飽和状態である区間)に対応する複数の度数データを選択する。
また、度数データ生成部4から出力された度数データ群が中間露光時間TMの露光によるものである場合には、その度数データ群のうち、第1度数データ切り替え信号レベルP1(撮像部からの出力(観測)値)より大きく、かつADmaxより小さい区間の度数データを選択する。言い換えると、以下の区間を除いた度数データ群を選択する。
また、度数データ生成部4から出力された度数データ群が中間露光時間TMの露光によるものである場合には、その度数データ群のうち、第1度数データ切り替え信号レベルP1(撮像部からの出力(観測)値)より大きく、かつADmaxより小さい区間の度数データを選択する。言い換えると、以下の区間を除いた度数データ群を選択する。
(1)前記選択された最大露光時間TLの露光による度数データが対応する区間(デジタル画像信号レベルが第1度数データ切り替え信号レベルP1より小さい区間)
(2)信号レベルが飽和状態である区間(信号レベルがダイナミックレンジの最大値である区間)
さらに、度数データ生成部4から出力された度数データ群が最小露光時間TSで露光されたものである場合には、その度数データ群のうち、デジタル画像信号レベルが第2度数データ切り替え信号レベルP2より大きい区間に対応する度数データを選択する。言い換えると、前記選択された中間露光時間TMによる度数データが対応する区間(信号レベルが第2度数データ切り替え信号レベルP2より小さい区間)に対応する度数データを除いた度数データを選択する。
(2)信号レベルが飽和状態である区間(信号レベルがダイナミックレンジの最大値である区間)
さらに、度数データ生成部4から出力された度数データ群が最小露光時間TSで露光されたものである場合には、その度数データ群のうち、デジタル画像信号レベルが第2度数データ切り替え信号レベルP2より大きい区間に対応する度数データを選択する。言い換えると、前記選択された中間露光時間TMによる度数データが対応する区間(信号レベルが第2度数データ切り替え信号レベルP2より小さい区間)に対応する度数データを除いた度数データを選択する。
また、輝度レベル格納部16は、輝度レベル演算部21及び輝度レベル格納部22を含んで構成される。
輝度レベル格納部22は、後述の輝度レベル演算部21で算出される、高ダイナミックレンジヒストグラムの横軸に対応する輝度レベル(ある幅を持つ離散値)を格納するためのメモリである。例えば、図7(b)に示すように下側をより低い(暗い)レベル、上側をより高い(明るい)レベルの離散値とする。
輝度レベル格納部22は、後述の輝度レベル演算部21で算出される、高ダイナミックレンジヒストグラムの横軸に対応する輝度レベル(ある幅を持つ離散値)を格納するためのメモリである。例えば、図7(b)に示すように下側をより低い(暗い)レベル、上側をより高い(明るい)レベルの離散値とする。
輝度レベル演算部21は、露光量制御部2から露光時間を示すデータが出力されると、まず、その露光時間に対応する、撮像対象の輝度レベルの高ダイナミックレンジヒストグラムの区間の幅を算出する。次に、被写体の輝度レベルの推測値(絶対値ではなく、内部の相対輝度値)と、区間の幅に基づいて各区間の下限値・上限値を示す輝度レベルを算出し、その算出された輝度レベルを順番に輝度レベル格納部22に格納させる。これは、撮像部3から出力されるデジタル画像信号レベルは、露光時間に比例することを利用し、撮像部3の出力(観測)値から、被写体の実際の輝度レベルを推定可能であることを利用する(実際には相対比較)。具体的には、いま最大露光時間TLを示すデータが出力された場合に算出される区間の幅をWLとすると、中間露光時間TMを示すデータが出力された場合には区間の幅として(WL×TL/TM)を算出し、さらに、最小露光時間TSを示すデータが出力された場合には区間の幅として(WL×TL/TS)を算出する。図6(d)においては、(TL:TM:TS)=(4:2:1)であることから、各々、WL、2WL、4WLとなっている。よって、図7において、最大露光時間領域における輝度レベル間隔はWL、中間露光時間領域における輝度レベル間隔は2WL、最小露光時間領域における輝度レベル間隔は2WLとなる。
さらに、出力I/F17は、CPU6から読み出し要求があると、輝度レベル格納部22の頻度格納部20に格納されている度数データ及び輝度レベル格納部16の輝度レベル格納部22に格納されている輝度レベルを順次CPU26に出力する(それぞれの下側の格納領域に格納されているものから順次CPU26に出力する。)。
CPU6は、度数データ合成部5(頻度格納部20、輝度レベル格納部22)から度数データと輝度レベルとを読み出し、その読み出された度数データと輝度レベルとに基づいて、撮像対象の輝度レベルの高ダイナミックレンジヒストグラムを生成させる。そのとき、横軸をリニアにする場合は、図6(d)の如く、暗い側の分解能が高く、明るい側の分解能が低いヒストグラムとなる。一方、横軸を対数型にする場合、輝度レベル(横軸)が圧縮されたヒストグラムとなり、また人の目の感じ方に近いヒストグラムとなる。
CPU6は、度数データ合成部5(頻度格納部20、輝度レベル格納部22)から度数データと輝度レベルとを読み出し、その読み出された度数データと輝度レベルとに基づいて、撮像対象の輝度レベルの高ダイナミックレンジヒストグラムを生成させる。そのとき、横軸をリニアにする場合は、図6(d)の如く、暗い側の分解能が高く、明るい側の分解能が低いヒストグラムとなる。一方、横軸を対数型にする場合、輝度レベル(横軸)が圧縮されたヒストグラムとなり、また人の目の感じ方に近いヒストグラムとなる。
<撮像装置の具体的動作>
まず、ヒストグラム生成の指示が撮像装置1に入力されたとする。すると、露光量制御部2によって、最大露光時間TLを示すデータが撮像部3と度数データ合成部5(輝度レベル格納部16の輝度レベル演算部21)とに出力される。そして、撮像部3によって、その出力されたデータが示す最大露光時間TLの間、撮像対象からの光が撮像レンズ7で撮像素子8に集光され、その集光量に応じた電荷が撮像素子8の各画素に蓄積される。
まず、ヒストグラム生成の指示が撮像装置1に入力されたとする。すると、露光量制御部2によって、最大露光時間TLを示すデータが撮像部3と度数データ合成部5(輝度レベル格納部16の輝度レベル演算部21)とに出力される。そして、撮像部3によって、その出力されたデータが示す最大露光時間TLの間、撮像対象からの光が撮像レンズ7で撮像素子8に集光され、その集光量に応じた電荷が撮像素子8の各画素に蓄積される。
そして、最大露光時間TLが経過すると、撮像装置1によって、撮像素子8の各画素に蓄積されている電荷が順次電圧に変換され、その変換された電圧がAMP9により所定範囲内で順次増幅される。さらに、その増幅された電圧がADC10で量子化されてデジタル画像信号が画素毎に生成され、その生成されたデジタル画像信号が順次度数データ生成部4に出力される。そして、度数データ生成部4によって、図6(a)に示すように、最大露光時間TLにおける度数データ群が生成され、その生成された度数データ群が度数データ合成部5(書き込み部19)に出力される。また、書き込み部19によって、その出力された度数データ群のうち、デジタル画像信号レベルがADmaxより小さい区間(信号レベルが未飽和状態である区間)に対応する度数データが選択され、図7(a)に示すように、その選択された度数データが、信号レベルが小さい区間に対応する度数データから順番に頻度格納部20に格納される。
また同時に、輝度レベル演算部21によって、露光量制御部2からのデータが示す最大露光時間TLに基づいて、撮像対象の輝度レベルの高ダイナミックヒストグラムの区間の幅WLが算出され、その算出された区間の幅WLに基づいて各区間の下限値・上限値を示す輝度レベルが算出され、図7(b)に示すように、その算出された輝度レベルが、輝度レベル格納部22に格納される。
また、最大露光時間TLの露光による度数データが全て格納されると、露光量制御部2からカウンタ14にリセット信号が出力されるとともに、中間露光時間TMを示すデータが撮像部3と度数データ合成部5(輝度レベル格納部16の輝度レベル演算部21)とに出力される。そして、撮像部3によって、中間露光時間TMの露光によってデジタル画像信号が生成されて度数データ生成部4に出力される。さらに、度数データ生成部4によって、図6(b)に示すように、中間露光時間TMにおける度数データ群が生成されて度数データ合成部5(書き込み部19)に出力される。また、書き込み部19によって、その出力された度数データ群のうち、第1度数データ切り替え信号レベルP1より大きく、且つ、ADmaxより小さい区間に対応する度数データが選択され、図7(a)に示すように、その選択された度数データが、前記最大露光時間TLの露光による度数データに引き続いて、頻度格納部20に格納される。また同時に、輝度レベル演算部21によって、露光量制御部2からのデータが示す中間露光時間TMに基づいて、撮像対象の輝度レベルの高ダイナミックヒストグラムの区間の幅(WL×TL/TM)が算出され、その算出された区間の幅(WL×TL/TM)に基づいて各区間の下限値・上限値を示す輝度レベルが算出され、図7(b)に示すように、その算出された輝度レベルが、前記最大露光時間TLの露光による輝度レベルに引き続いて、輝度レベル格納部22に格納される。
さらに、中間露光時間TMの露光による度数データが全て格納されると、露光量制御部2からカウンタ14にリセット信号が出力されるとともに、最小露光時間TSを示すデータが撮像部3と度数データ合成部5(輝度レベル演算部21)とに出力される。そして、撮像部3によって、最小露光時間TSの露光によってデジタル画像信号が生成されて度数データ生成部4に出力される。さらに、度数データ生成部4によって、図6(c)に示すように、最小露光時間TSにおける度数データ群が生成されて度数データ合成部5(書き込み部19)に出力される。また、書き込み部19によって、その出力された度数データ群のうち、デジタル画像信号レベルが第2度数データ切り替え信号レベルP2より大きい区間に対応する度数データが選択され、図7(a)に示すように、その選択された度数データが、前記中間露光時間TMの露光による度数データに引き続いて、頻度格納部20の記憶領域から順次格納される。また同時に、輝度レベル演算部21によって、露光量制御部からのデータが示す最小露光時間TSに基づいて、撮像対象の輝度レベルの高ダイナミックヒストグラムの区間の幅(WL×TL/TS)が算出され、その算出された区間の幅(WL×TL/TS)に基づいて各区間の下限値・上限値を示す輝度レベルが算出され、図7(b)に示すように、その算出された輝度レベルが、前記中間露光時間TMの露光による輝度レベルに引き続いて、輝度レベル格納部22に格納される。
そして、最小露光時間TSの露光による度数データが全て格納された後に、CPU6によって、度数データ合成部5(頻度格納部20、輝度レベル格納部22)から度数データと輝度レベルとを読み出され、その度数データと輝度レベルとに基づいて、図7(d)に示すように、撮像対象の輝度レベルの高ダイナミックレンジヒストグラムが生成される。
このように、本実施形態の撮像装置1では、高輝度領域では最小露光時間TSで撮像された画像の輝度レベルの度数データを選択すると共に、低輝度領域では最大露光時間TLで撮像された画像の輝度レベルの度数データを選択するようにした。そのため、白とびや黒つぶれが発生していない画素の輝度レベルの度数データのみを用いて、撮像対象の輝度レベルのヒストグラムを生成することができる。その結果、その生成される撮像対象の輝度レベルのヒストグラムにおいて両端の区間に多くの輝度レベルが取り込まれてしまうことを防止することができ、コントラストの高いシーンの撮影時に、例えば、一定の露光時間で撮像された画像の輝度レベルの度数データのみでヒストグラムを生成して表示する方法に比べ、全ての領域において利用者に輝度分布を適切に判別させることができる。
このように、本実施形態の撮像装置1では、高輝度領域では最小露光時間TSで撮像された画像の輝度レベルの度数データを選択すると共に、低輝度領域では最大露光時間TLで撮像された画像の輝度レベルの度数データを選択するようにした。そのため、白とびや黒つぶれが発生していない画素の輝度レベルの度数データのみを用いて、撮像対象の輝度レベルのヒストグラムを生成することができる。その結果、その生成される撮像対象の輝度レベルのヒストグラムにおいて両端の区間に多くの輝度レベルが取り込まれてしまうことを防止することができ、コントラストの高いシーンの撮影時に、例えば、一定の露光時間で撮像された画像の輝度レベルの度数データのみでヒストグラムを生成して表示する方法に比べ、全ての領域において利用者に輝度分布を適切に判別させることができる。
また、撮像対象の輝度レベルの高ダイナミックヒストグラムが生成されることで、利用者は適切な露光時間を設定することができる。例えば、高輝度領域に階調性がない場合には、露光時間を長く設定することで明部を白とびさせ、また、高輝度領域に階調性がある場合には、露光時間を短く設定することで明部の階調性を残すといった判断が可能となる。なお、高輝度領域の階調性を残す場合には、トーン(ガンマ)補正により階調性を圧縮するようにしてもよい。そのようにすれば、ガンマ補正の効果により、広い輝度範囲を出力ダイナミックレンジが狭い表示装置に生成させることができる。また、高ダイナミックレンジの撮像画像と高ダイナミックヒストグラムとを同時に生成し、さらに、撮像画像がヒストグラムのどの領域に該当するのかを表示することで、利用者は、その表示を確認しながら撮像動作(露光時間を調整しながらシャッタを切る)を行うことができ、その結果、露光の失敗のない撮像を行うことができる。
以上、図1及び図2の撮像部3が撮像手段を構成し、以下同様に、図1及び図3の度数データ生成部4が度数データ生成手段を構成し、図1及び図5の度数データ合成部5が選択手段を構成し、図1のCPU6がヒストグラム生成手段を構成する。
なお、本発明のヒストグラム生成装置及びヒストグラム表示方法は、上記実施の形態の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
なお、本発明のヒストグラム生成装置及びヒストグラム表示方法は、上記実施の形態の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
1は撮像装置、2は露光量制御部、3は撮像部、4は度数データ生成部、5は度数データ合成部、6はCPU、7は撮像レンズ、8は撮像素子、9はAMP、10はADC、11は度数カウントユニット、12は出力I/F、13はレベル判定器、14はカウンタ、15は度数データ格納部、16は輝度レベル格納部、17は出力I/F、18は飽和開始輝度算出部、19は書き込み部、20は頻度格納部、21は輝度レベル演算部、22は輝度レベル格納部
Claims (4)
- 複数の露光時間で撮像を行う撮像手段と、その撮像手段で撮像された画像の輝度レベルの出現頻度を示す度数データを生成する度数データ生成手段と、その生成された度数データ群の中から度数データを選択する選択手段と、その選択された度数データに基づいて、撮像対象の輝度レベルの高ダイナミックレンジヒストグラムを生成するヒストグラム合成手段とを備えたことを特徴とするヒストグラム生成装置。
- 前記撮像手段は、複数の異なる露光時間で撮像し、前記度数データ生成手段は、前記複数の画像データに基づいて、複数の度数データ群を生成し、前記選択手段は、前記生成した複数の度数データ群の中から、前記複数の露光時間の長さに基づいて度数データを選択し、前記ヒストグラム合成手段は、前記露光時間の長さに基づいてヒストグラムの輝度幅を補正して、高ダイナミックレンジのヒストグラムを生成することを特徴とする請求項1に記載のヒストグラム生成装置。
- 前記選択手段は、低輝度領域ではより長い露光時間で発生された電圧の度数データを選択し、高輝度領域ではより短い露光時間で発生された電圧の度数データを選択することを特徴とする請求項2に記載のヒストグラム生成装置。
- 複数の露光条件で撮像された画像の各画素の輝度レベルに対応する値に基づいて、ヒストグラムを生成して表示することを特徴とするヒストグラム表示方法
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004368860A JP2006180015A (ja) | 2004-12-21 | 2004-12-21 | ヒストグラム生成装置及びヒストグラム生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004368860A JP2006180015A (ja) | 2004-12-21 | 2004-12-21 | ヒストグラム生成装置及びヒストグラム生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006180015A true JP2006180015A (ja) | 2006-07-06 |
Family
ID=36733723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004368860A Withdrawn JP2006180015A (ja) | 2004-12-21 | 2004-12-21 | ヒストグラム生成装置及びヒストグラム生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006180015A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008236534A (ja) * | 2007-03-22 | 2008-10-02 | Casio Comput Co Ltd | デジタルカメラ、及び情報表示方法、情報表示制御プログラム |
JP2009111886A (ja) * | 2007-10-31 | 2009-05-21 | Omron Corp | 画像処理装置 |
JP2009253833A (ja) * | 2008-04-09 | 2009-10-29 | Olympus Corp | 画像信号処理装置、撮像システム、画像信号処理プログラム、画像信号処理方法 |
US8305487B2 (en) | 2009-10-21 | 2012-11-06 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling multiple exposures |
JP2015057610A (ja) * | 2007-08-09 | 2015-03-26 | ヨーロピアン・オーガニゼーション・フォア・ニュークリア・リサーチ | 放射線監視デバイス |
JP2016053597A (ja) * | 2014-09-02 | 2016-04-14 | キヤノン株式会社 | 表示制御装置及びその制御方法 |
JP2022501883A (ja) * | 2018-09-07 | 2022-01-06 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 空間的多重化露光ハイダイナミックレンジイメージセンサの自動露出 |
-
2004
- 2004-12-21 JP JP2004368860A patent/JP2006180015A/ja not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008236534A (ja) * | 2007-03-22 | 2008-10-02 | Casio Comput Co Ltd | デジタルカメラ、及び情報表示方法、情報表示制御プログラム |
JP2015057610A (ja) * | 2007-08-09 | 2015-03-26 | ヨーロピアン・オーガニゼーション・フォア・ニュークリア・リサーチ | 放射線監視デバイス |
JP2009111886A (ja) * | 2007-10-31 | 2009-05-21 | Omron Corp | 画像処理装置 |
JP2009253833A (ja) * | 2008-04-09 | 2009-10-29 | Olympus Corp | 画像信号処理装置、撮像システム、画像信号処理プログラム、画像信号処理方法 |
US8305487B2 (en) | 2009-10-21 | 2012-11-06 | Samsung Electronics Co., Ltd. | Method and apparatus for controlling multiple exposures |
JP2016053597A (ja) * | 2014-09-02 | 2016-04-14 | キヤノン株式会社 | 表示制御装置及びその制御方法 |
JP2022501883A (ja) * | 2018-09-07 | 2022-01-06 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 空間的多重化露光ハイダイナミックレンジイメージセンサの自動露出 |
US11412154B2 (en) | 2018-09-07 | 2022-08-09 | Dolby Laboratories Licensing Corporation | Auto exposure of spatially-multiplexed-exposure high-dynamic-range image sensor metric and adjustment |
JP7150147B2 (ja) | 2018-09-07 | 2022-10-07 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 空間的多重化露光ハイダイナミックレンジイメージセンサの自動露出 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11119641B2 (en) | Electronic apparatus and control method thereof | |
US9413953B2 (en) | Image capturing apparatus and method for controlling the same | |
US9451150B2 (en) | Image capturing apparatus comprising focus detection, and method for controlling the same | |
JP5719418B2 (ja) | ハイダイナミックレンジ画像の露光時間制御方法 | |
US20080253758A1 (en) | Image processing method | |
US20090135276A1 (en) | Flicker correction apparatus, flicker correction method, and image sensing apparatus | |
JP2016134919A (ja) | 輝度分布と動きとの間のトレードオフに基づいてシーンのhdr画像を生成する方法 | |
WO2010118177A1 (en) | Exposure control for high dynamic range image capture | |
WO2008027840A1 (en) | Digital camera with selectively increased dynamic range by control of parameters during image acquisition | |
US10855928B2 (en) | Image capture apparatus and control method thereof | |
US20170302867A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
US20030202115A1 (en) | Image capturing device performing divided exposure | |
WO2010116763A1 (ja) | 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法 | |
JP2016126592A (ja) | 画像処理装置、撮像装置、画像処理方法、および記録媒体 | |
JP2006180015A (ja) | ヒストグラム生成装置及びヒストグラム生成方法 | |
JP2006080942A (ja) | 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置 | |
US10666870B2 (en) | Image processing apparatus for generating correction information, image processing method for generating correction information, and recording medium | |
JP6652303B2 (ja) | フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置 | |
JP2006332944A (ja) | 撮像装置 | |
JP2009027622A (ja) | 露出量算出装置、撮像装置および露出量算出プログラム | |
JP2011199785A (ja) | 撮像装置及び方法 | |
JP3974798B2 (ja) | 撮像装置 | |
US7953272B2 (en) | Image processor, image processing method and computer readable medium for image processing program | |
JP2009218689A (ja) | 測光装置、及び撮像装置 | |
JP2006332936A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070404 |
|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080304 |