JP2010119035A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2010119035A JP2010119035A JP2008292365A JP2008292365A JP2010119035A JP 2010119035 A JP2010119035 A JP 2010119035A JP 2008292365 A JP2008292365 A JP 2008292365A JP 2008292365 A JP2008292365 A JP 2008292365A JP 2010119035 A JP2010119035 A JP 2010119035A
- Authority
- JP
- Japan
- Prior art keywords
- flash
- imaging
- image
- average luminance
- luminance level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 174
- 238000001514 detection method Methods 0.000 claims abstract description 126
- 238000012545 processing Methods 0.000 claims abstract description 118
- 238000006243 chemical reaction Methods 0.000 claims abstract description 84
- 230000003044 adaptive effect Effects 0.000 claims abstract description 61
- 230000002093 peripheral effect Effects 0.000 claims abstract description 49
- 238000012937 correction Methods 0.000 claims abstract description 48
- 230000003287 optical effect Effects 0.000 claims description 10
- 210000003127 knee Anatomy 0.000 description 30
- 238000010586 diagram Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】撮像装置において、外部閃光による高輝度化による白飛びを低減し、かつ暗部の階調も確保し黒つぶれを防ぐ。
【解決手段】撮像部１と、撮像部１の出力から外部閃光を検出する閃光検出部２と、閃光を検出していないときは撮像部１の出力の画面全体を所定のガンマ値で補正変換し、閃光を検出したときは撮像部１の出力の個々の画素について自画素と周辺画素の平均輝度レベルにより適用する補正特性を変えてレベル変換する適応ガンマ処理部３を備え、閃光を検出しているときの適応ガンマ処理部３の処理において、自画素と周辺画素の平均輝度レベルが高いほどガンマ値を大きくした補正特性を用いる。これにより、外部閃光により影響を受けても、明部は高輝度部分に階調を大きく割り当て、暗部は低輝度部分に階調を大きく割り当てることができるため白飛びや黒つぶれを低減することができる。
【選択図】図１
【解決手段】撮像部１と、撮像部１の出力から外部閃光を検出する閃光検出部２と、閃光を検出していないときは撮像部１の出力の画面全体を所定のガンマ値で補正変換し、閃光を検出したときは撮像部１の出力の個々の画素について自画素と周辺画素の平均輝度レベルにより適用する補正特性を変えてレベル変換する適応ガンマ処理部３を備え、閃光を検出しているときの適応ガンマ処理部３の処理において、自画素と周辺画素の平均輝度レベルが高いほどガンマ値を大きくした補正特性を用いる。これにより、外部閃光により影響を受けても、明部は高輝度部分に階調を大きく割り当て、暗部は低輝度部分に階調を大きく割り当てることができるため白飛びや黒つぶれを低減することができる。
【選択図】図１
Description
本発明は、連続画像を撮像するデジタルカメラやビデオカメラなどの撮像装置に活用される技術であって、外部閃光による白飛びや、黒つぶれのような撮像画像の品質（画質）への悪影響を低減する技術に関するものである。
外部閃光による白飛びや、黒つぶれのような撮像画像の品質（画質）への悪影響を低減する従来の信号処理装置（撮像装置）としては、例えば、特許文献１に記載されているようなものがある。図６は、従来の撮像装置９００のブロック図である。
図６に示すように、撮像装置９００は、ＣＣＤセンサ、センサ駆動回路を有し、連続画像を撮像して垂直有効７２０ライン、水平有効１２８０画素、フレーム周波数６０Ｈｚの順次走査画像信号を出力する撮像部９１と、撮像部９１の出力に対し増幅回路により信号ゲインを制御するゲイン制御部９３と、を備える。また、撮像装置９００は、撮像部９１の出力に対し連続するフレームの画像を比較し外部閃光の有無を検出する閃光検出部９２と、ゲイン制御部９３から出力される画像信号に対してガンマ補正を行うガンマ処理部９４と、ガンマ処理部９４から出力される画像信号の高輝度部分に相当する信号に対して折れ線処理（いわゆるニー処理）を行うニー処理部と、を備える。
図６に示すように、撮像装置９００は、ＣＣＤセンサ、センサ駆動回路を有し、連続画像を撮像して垂直有効７２０ライン、水平有効１２８０画素、フレーム周波数６０Ｈｚの順次走査画像信号を出力する撮像部９１と、撮像部９１の出力に対し増幅回路により信号ゲインを制御するゲイン制御部９３と、を備える。また、撮像装置９００は、撮像部９１の出力に対し連続するフレームの画像を比較し外部閃光の有無を検出する閃光検出部９２と、ゲイン制御部９３から出力される画像信号に対してガンマ補正を行うガンマ処理部９４と、ガンマ処理部９４から出力される画像信号の高輝度部分に相当する信号に対して折れ線処理（いわゆるニー処理）を行うニー処理部と、を備える。
以上のように構成された従来の撮像装置９００の動作について、説明する。
まず、撮像部９１では、センサ駆動回路から駆動信号をＣＣＤセンサに供給し、ＣＣＤセンサに入射した光信号（被写体からの光）を光電変換により電気信号に変換し、光電変換されることで取得された電気信号が、順次走査画像信号として、撮像部９１から出力される。この順次走査画像信号は、ゲイン制御部９３と閃光検出部９２に供給（出力）される。
閃光検出部９２では、入力された順次走査画像信号に対して、１フレーム分の平均輝度レベルを計算し、入力された信号のフレーム平均輝度レベルと直前のフレームの平均輝度レベルとを比較し、大幅に平均輝度レベルが増加した場合、フラッシュのような外部閃光が存在する環境下で撮像画像が撮像部９１により取得されたと判断する。例えば、入力された信号のフレーム平均輝度レベルと直前のフレームの平均輝度レベルとの平均輝度レベルが１００％以上増加した場合、閃光検出部９２は、フラッシュのような外部閃光が検出された（外部閃光が存在する環境下で撮像された）と判定し、閃光検出信号の信号値を「１」にして、閃光検出信号を出力する。なお、閃光検出部９２は、外部閃光を検出していないときは、閃光検出信号の信号値を「０」として、閃光検出信号を出力する。このようにして、閃光検出部９２は、フレーム単位での閃光の有無を示す閃光検出信号を生成する。そして、この閃光検出信号は、ゲイン制御部９３に入力される。
まず、撮像部９１では、センサ駆動回路から駆動信号をＣＣＤセンサに供給し、ＣＣＤセンサに入射した光信号（被写体からの光）を光電変換により電気信号に変換し、光電変換されることで取得された電気信号が、順次走査画像信号として、撮像部９１から出力される。この順次走査画像信号は、ゲイン制御部９３と閃光検出部９２に供給（出力）される。
閃光検出部９２では、入力された順次走査画像信号に対して、１フレーム分の平均輝度レベルを計算し、入力された信号のフレーム平均輝度レベルと直前のフレームの平均輝度レベルとを比較し、大幅に平均輝度レベルが増加した場合、フラッシュのような外部閃光が存在する環境下で撮像画像が撮像部９１により取得されたと判断する。例えば、入力された信号のフレーム平均輝度レベルと直前のフレームの平均輝度レベルとの平均輝度レベルが１００％以上増加した場合、閃光検出部９２は、フラッシュのような外部閃光が検出された（外部閃光が存在する環境下で撮像された）と判定し、閃光検出信号の信号値を「１」にして、閃光検出信号を出力する。なお、閃光検出部９２は、外部閃光を検出していないときは、閃光検出信号の信号値を「０」として、閃光検出信号を出力する。このようにして、閃光検出部９２は、フレーム単位での閃光の有無を示す閃光検出信号を生成する。そして、この閃光検出信号は、ゲイン制御部９３に入力される。
ゲイン制御部９３は、閃光検出部９２から出力される閃光検出信号により制御される。具体的には、ゲイン制御部９３は、閃光検出信号が「０」である場合、すなわち、閃光検出信号が外部閃光を検出していないことを示している場合、画像信号に対して減衰処理を行わず、ゲインを「１倍」として、入力された画像信号をそのままガンマ処理部９４に出力する。一方、閃光検出部２から出力される閃光検出信号が「１」である場合、すなわち、閃光検出信号が外部閃光を検出したことを示している場合、ゲイン制御部９３は、画像信号に対して減衰処理を行う。具体的には、ゲイン制御部９３は、ゲインを「１／４倍」として、入力された画像信号に対して演算を行い、「１／４倍」のゲインにより取得された画像信号を、ガンマ処理部９４に出力する。
ガンマ処理部９４では、ゲイン制御部９３から出力される画像信号に対してガンマ値０．４５（γ＝０．４５）のガンマ補正を行う。図７は、従来の撮像装置９００のガンマ補正の入出力特性図である。ガンマ処理部９４の入力画像信号は、標準レベルが１００％、飽和レベルが４００％に調整されており、図７に示した入出力特性によりガンマ補正がなされる。なお、「標準レベル」の「１００％」とは、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）や電波産業界のスタジオ規格でいうところの白ピークレベルに相当するレベルをいう。そして、この白ピークレベルを「１００％」とすることで、「％」により、画像信号のレベル（信号値）を表現する。
ガンマ処理部９４では、ゲイン制御部９３から出力される画像信号に対してガンマ値０．４５（γ＝０．４５）のガンマ補正を行う。図７は、従来の撮像装置９００のガンマ補正の入出力特性図である。ガンマ処理部９４の入力画像信号は、標準レベルが１００％、飽和レベルが４００％に調整されており、図７に示した入出力特性によりガンマ補正がなされる。なお、「標準レベル」の「１００％」とは、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）や電波産業界のスタジオ規格でいうところの白ピークレベルに相当するレベルをいう。そして、この白ピークレベルを「１００％」とすることで、「％」により、画像信号のレベル（信号値）を表現する。
図８は、従来の撮像装置９００のガンマ補正とニー処理との総合入出力特性図である。図８に示す総合入出力特性図において、横軸は、入力画像信号の信号レベルであり、縦軸は、出力画像信号の信号レベルである。
ニー処理部９５では、ガンマ処理部９４から出力される画像信号に対して高輝度部に相当する信号に対して折れ線処理（ニー処理）がなされる。図８に示すように、撮像装置９００のガンマ補正とニー処理との総合入出力特性は、ニー処理部９５から出力される画像信号が出力レベル１０９％以下（出力ダイナミックレンジが１０９％（出力レベルが０％〜１０９％））になるよう、出力レベルが１００％から１０９％になる部分の入出力特性は直線特性となっている。撮像装置９００では、図８に示す入出力特性により、画像信号に対して階調変換処理が実行され、階調変換された画像信号が、ニー処理部９５から出力される。
ニー処理部９５では、ガンマ処理部９４から出力される画像信号に対して高輝度部に相当する信号に対して折れ線処理（ニー処理）がなされる。図８に示すように、撮像装置９００のガンマ補正とニー処理との総合入出力特性は、ニー処理部９５から出力される画像信号が出力レベル１０９％以下（出力ダイナミックレンジが１０９％（出力レベルが０％〜１０９％））になるよう、出力レベルが１００％から１０９％になる部分の入出力特性は直線特性となっている。撮像装置９００では、図８に示す入出力特性により、画像信号に対して階調変換処理が実行され、階調変換された画像信号が、ニー処理部９５から出力される。
次に、外部閃光による被写体の高輝度化が起こった場合の撮像装置９００の動作について説明する。
通常、撮像装置９００は、出力画像信号の平均輝度レベルが標準輝度レベルである１００％以下になるよう露光調整して使用される。しかしながら、フラッシュのような外部閃光があった場合、撮像装置９００の出力画像信号の平均輝度レベルは、瞬間的に標準輝度レベル１００％を超えることになる。
以下では、外部閃光による被写体の高輝度化が起こり、この被写体を撮像装置９００により撮像した場合について説明する。具体的には、撮像部９１から出力される画像信号中の目標被写体の輝度が１８０％から２２０％に分布した場合を例に説明する。
ガンマ補正とニー処理との総合入出力特性が図８に示す特性である場合、ガンマ補正とニー処理との対象となる入力画像信号の信号レベルが１８０％から２２０％（図８のＡで示した範囲）まで変化した場合、出力レベル（出力画像信号のレベル）は、１０２．４％から１０３．６％という狭い範囲（図８のＣで示した範囲）で変化する。つまり、仮に、閃光検出信号が「０」のままで、ゲイン制御部９３でゲインを下げる処理がなされないままであれば、図８のＡで示す範囲の入力画像信号のレベル変化は、図８のＣに示す狭い範囲のレベル変化としてしか表現できない。言い換えれば、図８のＡで示す範囲の画像信号がガンマ処理部９４に入力された場合、ニー処理部９５から出力される画像信号は、１０２．４％から１０３．６％という狭い範囲の信号レベルの画像信号に変換されることになる。すなわち、この場合、図８の入出力特性により階調変換された画像信号により形成される画像は、白飛び状態（例えば、表示画面において、本来、白ではなく階調差がある画像領域が、白になってしまい階調差が損なわれた画像領域になってしまう状態）となり、被写体の輪郭なども見づらいものになってしまう。
通常、撮像装置９００は、出力画像信号の平均輝度レベルが標準輝度レベルである１００％以下になるよう露光調整して使用される。しかしながら、フラッシュのような外部閃光があった場合、撮像装置９００の出力画像信号の平均輝度レベルは、瞬間的に標準輝度レベル１００％を超えることになる。
以下では、外部閃光による被写体の高輝度化が起こり、この被写体を撮像装置９００により撮像した場合について説明する。具体的には、撮像部９１から出力される画像信号中の目標被写体の輝度が１８０％から２２０％に分布した場合を例に説明する。
ガンマ補正とニー処理との総合入出力特性が図８に示す特性である場合、ガンマ補正とニー処理との対象となる入力画像信号の信号レベルが１８０％から２２０％（図８のＡで示した範囲）まで変化した場合、出力レベル（出力画像信号のレベル）は、１０２．４％から１０３．６％という狭い範囲（図８のＣで示した範囲）で変化する。つまり、仮に、閃光検出信号が「０」のままで、ゲイン制御部９３でゲインを下げる処理がなされないままであれば、図８のＡで示す範囲の入力画像信号のレベル変化は、図８のＣに示す狭い範囲のレベル変化としてしか表現できない。言い換えれば、図８のＡで示す範囲の画像信号がガンマ処理部９４に入力された場合、ニー処理部９５から出力される画像信号は、１０２．４％から１０３．６％という狭い範囲の信号レベルの画像信号に変換されることになる。すなわち、この場合、図８の入出力特性により階調変換された画像信号により形成される画像は、白飛び状態（例えば、表示画面において、本来、白ではなく階調差がある画像領域が、白になってしまい階調差が損なわれた画像領域になってしまう状態）となり、被写体の輪郭なども見づらいものになってしまう。
しかし、従来の撮像装置９００では、閃光検出部９２から閃光を検出したことを示す閃光検出信号が出力され、ゲイン制御部９３で、画像信号に対してゲイン「１／４」によるレベル変換処理が実行されるため、撮像部９１から出力される画像信号中の目標被写体の輝度（信号レベル）が１８０％から２２０％であったものは、ガンマ処理部９４の入力では４５％から５５％の輝度（信号レベル）になる。
図９は、従来の撮像装置９００のガンマ補正とニー処理との総合入出力特性図に入力レベル４５％から５５％を範囲Ｄとして示したものである。図９に示すように、範囲Ｄに対応する出力レベルは、範囲Ｅとなる。具体的には、範囲Ｅは、６９．８％から７６．４％という範囲であるので、入力レベルが４５％〜５５％の範囲（範囲Ｄ）の信号は、出力レベルが６９．８％〜７６．４％の範囲（範囲Ｅ）の信号に階調変換されることになる。つまり、ゲイン制御部９３で、画像信号に対してゲイン「１／４」によるレベル変換処理を実行した場合、出力レベルの取り得る範囲は、ゲイン制御部９３でゲインを下げる処理を行わない場合に比べて、広がることになる。
図９は、従来の撮像装置９００のガンマ補正とニー処理との総合入出力特性図に入力レベル４５％から５５％を範囲Ｄとして示したものである。図９に示すように、範囲Ｄに対応する出力レベルは、範囲Ｅとなる。具体的には、範囲Ｅは、６９．８％から７６．４％という範囲であるので、入力レベルが４５％〜５５％の範囲（範囲Ｄ）の信号は、出力レベルが６９．８％〜７６．４％の範囲（範囲Ｅ）の信号に階調変換されることになる。つまり、ゲイン制御部９３で、画像信号に対してゲイン「１／４」によるレベル変換処理を実行した場合、出力レベルの取り得る範囲は、ゲイン制御部９３でゲインを下げる処理を行わない場合に比べて、広がることになる。
以上のように、従来の撮像装置９００では、外部閃光を検出した場合、ゲイン制御部９３で信号レベルを小さくすることにより、目標としている被写体の白飛びを抑え、階調表現ができるようにしている。
特開２００６−３３７４９号公報
しかしながら、上記従来の撮像装置９００では、外部閃光を検出した際、画面全体のゲインを下げてしまうため（１画面を形成する画像信号に対して一律にゲインを下げる処理を行うため）、閃光が当たっていない部分の画面が黒つぶれ（例えば、表示画面において、本来、黒ではなく階調差がある画像領域が、黒になってしまい階調差が損なわれた画像領域になってしまう状態）を起こしてしまうという課題を有している。
フラッシュのような外部閃光があった場合、閃光光源の近くの被写体は、高輝度化するものの閃光光源から離れた被写体は暗いままである。光源の反対側、すなわち、物体の影の部分も暗いままである。例えば、夜間に乗用車に搭乗している人物を撮影しようと別のスチルカメラでフラッシュが焚かれた場合、乗用車中の人物は明るくなるが、乗用車の背景、特に、遠景は明るくならない。このとき、従来の撮像装置９００による撮像画像では、乗用車中の人物の白飛びを抑えることができ、見やすくなる。しかし、従来の撮像装置９００では、暗い背景に相当する画像信号に対しては、ゲイン制御部９３で、信号レベルを小さくする処理を行うので、撮像装置９００による取得される撮像画像は、暗い背景がさらに暗くなり、黒つぶれを起こし見づらいものになってしまう。
フラッシュのような外部閃光があった場合、閃光光源の近くの被写体は、高輝度化するものの閃光光源から離れた被写体は暗いままである。光源の反対側、すなわち、物体の影の部分も暗いままである。例えば、夜間に乗用車に搭乗している人物を撮影しようと別のスチルカメラでフラッシュが焚かれた場合、乗用車中の人物は明るくなるが、乗用車の背景、特に、遠景は明るくならない。このとき、従来の撮像装置９００による撮像画像では、乗用車中の人物の白飛びを抑えることができ、見やすくなる。しかし、従来の撮像装置９００では、暗い背景に相当する画像信号に対しては、ゲイン制御部９３で、信号レベルを小さくする処理を行うので、撮像装置９００による取得される撮像画像は、暗い背景がさらに暗くなり、黒つぶれを起こし見づらいものになってしまう。
本発明は、上記課題を解決するもので、外部閃光による被写体の高輝度部分の階調を確保し、かつ、低輝度部分の階調も確保した撮像画像（映像）を取得する高性能な撮像装置、撮像方法、プログラムおよび集積回路を提供することを目的とする。
第１の発明は、撮像部と、閃光検出部と、適応ガンマ処理部と、を備える撮像装置である。
撮像部は、撮像素子を有し、入射する光信号を電気信号に変換して画像信号を取得する。閃光検出部は、撮像部により取得された画像信号から外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。適応ガンマ処理部は、閃光検出信号により制御され、閃光検出部により閃光が検出していない場合、撮像部により取得された画像信号が形成する画像の全画素に対して、所定のガンマ補正特性により階調変換し、閃光検出部により閃光が検出されている場合、撮像部により取得された画像信号が形成する画像の個々の画素について、処理対象である注目画素とその周辺画素の平均輝度レベルである周辺平均輝度レベルにより適用する階調変換特性を決定し、決定した階調変換特性により、注目画素に対して階調変換を行う。そして、適応ガンマ処理部は、閃光検出部により閃光が検出されている場合、周辺平均輝度レベルが高いほど、ガンマ値を大きくしたガンマ補正特性を階調変換特性に決定し、注目画素に対して階調変換を行う。
撮像部は、撮像素子を有し、入射する光信号を電気信号に変換して画像信号を取得する。閃光検出部は、撮像部により取得された画像信号から外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。適応ガンマ処理部は、閃光検出信号により制御され、閃光検出部により閃光が検出していない場合、撮像部により取得された画像信号が形成する画像の全画素に対して、所定のガンマ補正特性により階調変換し、閃光検出部により閃光が検出されている場合、撮像部により取得された画像信号が形成する画像の個々の画素について、処理対象である注目画素とその周辺画素の平均輝度レベルである周辺平均輝度レベルにより適用する階調変換特性を決定し、決定した階調変換特性により、注目画素に対して階調変換を行う。そして、適応ガンマ処理部は、閃光検出部により閃光が検出されている場合、周辺平均輝度レベルが高いほど、ガンマ値を大きくしたガンマ補正特性を階調変換特性に決定し、注目画素に対して階調変換を行う。
この撮像装置では、撮像部により取得される画像信号から閃光検出部により外部閃光の有無を検出し、外部閃光を含まない画像に対しては、画像全体について、所定のガンマ補正特性により、階調変換を行う。一方、外部閃光を含む画像に対しては、撮像部により取得される画像信号の個々の画素について自画素（注目画素）とその周辺画素の平均輝度レベルにより適用する補正特性（階調変換特性）を可変としてレベル変換（階調変換）を、適応ガンマ処理部により実行する。
そして、この撮像装置では、適応ガンマ処理部の閃光を検出しているときの処理において、周辺平均輝度レベルが高いほど、ガンマ値を大きくした補正特性による階調変換を行う。これにより、外部閃光により影響を受けた画像において、明部では高輝度部分に階調を大きく割り当て、暗部では低輝度部分に階調を大きく割り当てることができるので、この撮像装置により取得される画像において、白飛びや黒つぶれを低減することができる。
そして、この撮像装置では、適応ガンマ処理部の閃光を検出しているときの処理において、周辺平均輝度レベルが高いほど、ガンマ値を大きくした補正特性による階調変換を行う。これにより、外部閃光により影響を受けた画像において、明部では高輝度部分に階調を大きく割り当て、暗部では低輝度部分に階調を大きく割り当てることができるので、この撮像装置により取得される画像において、白飛びや黒つぶれを低減することができる。
第２の発明は、第１の発明であって、適応ガンマ処理部は、注目画素と、注目画素の水平方向に隣接する１または複数の画素との平均輝度レベルを周辺平均輝度レベルとする。
この撮像装置では、撮像画像の水平方向（ライン方向）に周辺平均輝度レベルを算出する対象の画素領域を設定するので、撮像画像の垂直方向において、急激な変換のある画像に対しても、適切に階調変換処理を行うことができる。
特に、撮像装置の撮像素子として、ＣＭＯＳ型イメージセンサを用いた場合、閃光の影響のある画像（例えば、フレーム画像Ｆ１）と、その次の画像（例えば、フレーム画像Ｆ１の次のフレーム画像）と、に発生する高輝度画像領域とそれ以外の画像領域との境界付近においても適切は階調補正処理を行うことができる。
第３の発明は、第１の発明であって、適応ガンマ処理部は、注目画素と、注目画素と同一ライン上に存在する複数の画素との平均輝度レベルを周辺平均輝度レベルとする。
この撮像装置では、撮像画像の水平方向（ライン方向）に周辺平均輝度レベルを算出する対象の画素領域を設定するので、撮像画像の垂直方向において、急激な変換のある画像に対しても、適切に階調変換処理を行うことができる。
特に、撮像装置の撮像素子として、ＣＭＯＳ型イメージセンサを用いた場合、閃光の影響のある画像（例えば、フレーム画像Ｆ１）と、その次の画像（例えば、フレーム画像Ｆ１の次のフレーム画像）と、に発生する高輝度画像領域とそれ以外の画像領域との境界付近においても適切は階調補正処理を行うことができる。
第３の発明は、第１の発明であって、適応ガンマ処理部は、注目画素と、注目画素と同一ライン上に存在する複数の画素との平均輝度レベルを周辺平均輝度レベルとする。
第４の発明は、第１の発明であって、適応ガンマ処理部は、注目画素と、注目画素と同一ライン上に存在する全ての画素との平均輝度レベルを周辺平均輝度レベルとする。
この撮像装置では、周辺平均輝度レベルを算出する対象の画素領域を撮像画像の１ライン単位で設定することができるので、簡易かつ効果的に、適応ガンマ処理部による階調補正処理を行うことができる。
第５の発明は、撮像素子を有し、入射する光信号を電気信号に変換して画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法であって、閃光検出ステップと、適応ガンマ処理ステップと、を備える。
閃光検出ステップでは、撮像部により取得された画像信号から外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。適応ガンマ処理ステップでは、閃光検出信号により制御され、閃光検出部により閃光が検出していない場合、撮像部により取得された画像信号が形成する画像の全画素に対して、所定のガンマ補正特性により階調変換し、閃光検出部により閃光が検出されている場合、撮像部により取得された画像信号が形成する画像の個々の画素について、処理対象である注目画素とその周辺画素の平均輝度レベルである周辺平均輝度レベルにより適用する階調変換特性を決定し、決定した階調変換特性により、注目画素に対して階調変換を行う。そして、適応ガンマ処理ステップでは、閃光検出ステップにより閃光が検出されている場合、周辺平均輝度レベルが高いほど、ガンマ値を大きくしたガンマ補正特性を階調変換特性に決定し、注目画素に対して階調変換を行う。
この撮像装置では、周辺平均輝度レベルを算出する対象の画素領域を撮像画像の１ライン単位で設定することができるので、簡易かつ効果的に、適応ガンマ処理部による階調補正処理を行うことができる。
第５の発明は、撮像素子を有し、入射する光信号を電気信号に変換して画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法であって、閃光検出ステップと、適応ガンマ処理ステップと、を備える。
閃光検出ステップでは、撮像部により取得された画像信号から外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。適応ガンマ処理ステップでは、閃光検出信号により制御され、閃光検出部により閃光が検出していない場合、撮像部により取得された画像信号が形成する画像の全画素に対して、所定のガンマ補正特性により階調変換し、閃光検出部により閃光が検出されている場合、撮像部により取得された画像信号が形成する画像の個々の画素について、処理対象である注目画素とその周辺画素の平均輝度レベルである周辺平均輝度レベルにより適用する階調変換特性を決定し、決定した階調変換特性により、注目画素に対して階調変換を行う。そして、適応ガンマ処理ステップでは、閃光検出ステップにより閃光が検出されている場合、周辺平均輝度レベルが高いほど、ガンマ値を大きくしたガンマ補正特性を階調変換特性に決定し、注目画素に対して階調変換を行う。
これにより、第１の発明と同様の効果を奏する撮像方法を実現することができる。
第６の発明は、撮像素子を有し、入射する光信号を電気信号に変換して画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムである。撮像方法は、閃光検出ステップと、適応ガンマ処理ステップと、を備える。
閃光検出ステップでは、撮像部により取得された画像信号から外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。適応ガンマ処理ステップでは、閃光検出信号により制御され、閃光検出部により閃光が検出していない場合、撮像部により取得された画像信号が形成する画像の全画素に対して、所定のガンマ補正特性により階調変換し、閃光検出部により閃光が検出されている場合、撮像部により取得された画像信号が形成する画像の個々の画素について、処理対象である注目画素とその周辺画素の平均輝度レベルである周辺平均輝度レベルにより適用する階調変換特性を決定し、決定した階調変換特性により、注目画素に対して階調変換を行う。そして、適応ガンマ処理ステップでは、閃光検出ステップにより閃光が検出されている場合、周辺平均輝度レベルが高いほど、ガンマ値を大きくしたガンマ補正特性を階調変換特性に決定し、注目画素に対して階調変換を行う。
第６の発明は、撮像素子を有し、入射する光信号を電気信号に変換して画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムである。撮像方法は、閃光検出ステップと、適応ガンマ処理ステップと、を備える。
閃光検出ステップでは、撮像部により取得された画像信号から外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。適応ガンマ処理ステップでは、閃光検出信号により制御され、閃光検出部により閃光が検出していない場合、撮像部により取得された画像信号が形成する画像の全画素に対して、所定のガンマ補正特性により階調変換し、閃光検出部により閃光が検出されている場合、撮像部により取得された画像信号が形成する画像の個々の画素について、処理対象である注目画素とその周辺画素の平均輝度レベルである周辺平均輝度レベルにより適用する階調変換特性を決定し、決定した階調変換特性により、注目画素に対して階調変換を行う。そして、適応ガンマ処理ステップでは、閃光検出ステップにより閃光が検出されている場合、周辺平均輝度レベルが高いほど、ガンマ値を大きくしたガンマ補正特性を階調変換特性に決定し、注目画素に対して階調変換を行う。
これにより、第１の発明と同様の効果を奏するプログラムを実現することができる。
第７の発明は、撮像素子を有し、入射する光信号を電気信号に変換して画像信号を取得する撮像部を備える撮像装置に用いられる集積回路であって、閃光検出部と、適応ガンマ処理部と、を備える。
閃光検出部は、撮像部により取得された画像信号から外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。適応ガンマ処理部は、閃光検出信号により制御され、閃光検出部により閃光が検出していない場合、撮像部により取得された画像信号が形成する画像の全画素に対して、所定のガンマ補正特性により階調変換し、閃光検出部により閃光が検出されている場合、撮像部により取得された画像信号が形成する画像の個々の画素について、処理対象である注目画素とその周辺画素の平均輝度レベルである周辺平均輝度レベルにより適用する階調変換特性を決定し、決定した階調変換特性により、注目画素に対して階調変換を行う。そして、適応ガンマ処理部は、閃光検出部により閃光が検出されている場合、周辺平均輝度レベルが高いほど、ガンマ値を大きくしたガンマ補正特性を階調変換特性に決定し、注目画素に対して階調変換を行う。
第７の発明は、撮像素子を有し、入射する光信号を電気信号に変換して画像信号を取得する撮像部を備える撮像装置に用いられる集積回路であって、閃光検出部と、適応ガンマ処理部と、を備える。
閃光検出部は、撮像部により取得された画像信号から外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する。適応ガンマ処理部は、閃光検出信号により制御され、閃光検出部により閃光が検出していない場合、撮像部により取得された画像信号が形成する画像の全画素に対して、所定のガンマ補正特性により階調変換し、閃光検出部により閃光が検出されている場合、撮像部により取得された画像信号が形成する画像の個々の画素について、処理対象である注目画素とその周辺画素の平均輝度レベルである周辺平均輝度レベルにより適用する階調変換特性を決定し、決定した階調変換特性により、注目画素に対して階調変換を行う。そして、適応ガンマ処理部は、閃光検出部により閃光が検出されている場合、周辺平均輝度レベルが高いほど、ガンマ値を大きくしたガンマ補正特性を階調変換特性に決定し、注目画素に対して階調変換を行う。
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
本発明によれば、外部閃光による被写体の高輝度部分の階調を確保し、かつ、低輝度部分の階調も確保した撮像画像（映像）を取得する高性能な撮像装置、撮像方法、プログラムおよび集積回路を実現することができる。
以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
＜１．１：撮像装置の構成＞
図１は、本発明の第１実施形態に係る撮像装置１００のブロック図である。
図１に示すように、撮像装置１００は、被写体からの光を電気信号に変換することで画像信号を取得する撮像部１と、撮像部１により取得された画像信号から外部閃光の有無を検出し、検出結果を閃光検出信号として出力する閃光検出部２と、を備える。また、撮像装置１００は、撮像部１から出力される画像信号に対して、適応的にガンマ補正を行う適応ガンマ処理部３と、適応ガンマ処理部３からの出力画像信号の高輝度部分に対して、折れ線処理を行うニー処理部４と、を備える。
［第１実施形態］
＜１．１：撮像装置の構成＞
図１は、本発明の第１実施形態に係る撮像装置１００のブロック図である。
図１に示すように、撮像装置１００は、被写体からの光を電気信号に変換することで画像信号を取得する撮像部１と、撮像部１により取得された画像信号から外部閃光の有無を検出し、検出結果を閃光検出信号として出力する閃光検出部２と、を備える。また、撮像装置１００は、撮像部１から出力される画像信号に対して、適応的にガンマ補正を行う適応ガンマ処理部３と、適応ガンマ処理部３からの出力画像信号の高輝度部分に対して、折れ線処理を行うニー処理部４と、を備える。
撮像装置１００は、撮像素子（例えば、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ）、およびセンサ駆動回路を有し、被写体からの光を光電変換により電気信号に変換し、画像信号として、閃光検出部２および適応ガンマ処理部３に出力する。撮像部１は、連続画像を撮像して、例えば、垂直有効７２０ライン、水平有効１２８０画素、フレーム周波数６０Ｈｚの順次走査画像信号を出力する。
閃光検出部２は、撮像部１から出力される画像信号を入力とし、連続する各フレームの画像（画像信号により形成されるフレーム画像）を比較し、外部閃光の有無を検出する（フレーム画像内に外部閃光の影響を受けている画像信号があるか否かを検出する）。そして、閃光検出部２は、外光閃光の有無を示す閃光検出信号を適応ガンマ処理部３に出力する。
閃光検出部２は、撮像部１から出力される画像信号を入力とし、連続する各フレームの画像（画像信号により形成されるフレーム画像）を比較し、外部閃光の有無を検出する（フレーム画像内に外部閃光の影響を受けている画像信号があるか否かを検出する）。そして、閃光検出部２は、外光閃光の有無を示す閃光検出信号を適応ガンマ処理部３に出力する。
適応ガンマ処理部３は、撮像部１から出力される画像信号および閃光検出部２から出力される閃光検出信号を入力とする。適応ガンマ処理部３は、画像信号により形成されるフレーム画像において、処理対象である画素（以下、「注目画素」という。）の画素値と、注目画素の周辺画素の画素値との状況に応じて、注目画素に対して実行させる階調変換特性を決定する。そして、適応ガンマ処理部３は、注目画素に対して、決定した階調変換特性によるガンマ処理を行う。適応ガンマ処理部３は、この画素単位の処理を、１フレーム分行うことで、１フレーム分の画像信号を取得し、取得した画像信号（適応ガンマ処理を行った画像信号）をニー処理部４に出力する。
ニー処理部４は、適応ガンマ処理部３から出力される画像信号に対し、高輝度部（画像信号の画素値が大きい部分）の折れ線処理（いわゆるニー処理）を行う。
ニー処理部４は、適応ガンマ処理部３から出力される画像信号に対し、高輝度部（画像信号の画素値が大きい部分）の折れ線処理（いわゆるニー処理）を行う。
＜１．２：撮像装置の動作＞
次に、以上のように構成された撮像装置１００の動作について、説明する。
まず、撮像部１では、センサ駆動回路（不図示）から駆動信号を撮像素子（ＣＣＤ型イメージセンサ、ＣＭＯＳ型イメージセンサ等）に供給し、撮像素子に入射した光信号を光電変換し順次走査画像信号を取得する。撮像部１により取得された順次走査画像信号は、適応ガンマ処理部３と閃光検出部２とに出力される。
閃光検出部２は、入力された順次走査画像信号に対して、１フレーム分の平均輝度レベルを計算し、入力された信号のフレーム平均輝度レベルと直前のフレーム（１フレーム前のフレーム）の平均輝度レベルとを比較し、大幅に平均輝度レベルが増加した場合、フラッシュのような外部閃光が存在する環境下で撮像画像（デジタル順次走査画像信号）が撮像部１により取得されたと判断する。例えば、平均輝度レベルが１００％以上増加した場合、フラッシュのような外部閃光が検出されたと判定し、閃光検出信号の信号値を「１」にして、閃光検出信号を出力する。一方、外部閃光を検出していない場合、閃光検出部２は、閃光検出信号の信号値を「０」（無信号にしてもよい。）にして、閃光検出信号を出力する。
次に、以上のように構成された撮像装置１００の動作について、説明する。
まず、撮像部１では、センサ駆動回路（不図示）から駆動信号を撮像素子（ＣＣＤ型イメージセンサ、ＣＭＯＳ型イメージセンサ等）に供給し、撮像素子に入射した光信号を光電変換し順次走査画像信号を取得する。撮像部１により取得された順次走査画像信号は、適応ガンマ処理部３と閃光検出部２とに出力される。
閃光検出部２は、入力された順次走査画像信号に対して、１フレーム分の平均輝度レベルを計算し、入力された信号のフレーム平均輝度レベルと直前のフレーム（１フレーム前のフレーム）の平均輝度レベルとを比較し、大幅に平均輝度レベルが増加した場合、フラッシュのような外部閃光が存在する環境下で撮像画像（デジタル順次走査画像信号）が撮像部１により取得されたと判断する。例えば、平均輝度レベルが１００％以上増加した場合、フラッシュのような外部閃光が検出されたと判定し、閃光検出信号の信号値を「１」にして、閃光検出信号を出力する。一方、外部閃光を検出していない場合、閃光検出部２は、閃光検出信号の信号値を「０」（無信号にしてもよい。）にして、閃光検出信号を出力する。
なお、撮像装置１００において、閃光検出部２により所定のフレームＦ１で、外部閃光が検出された場合、フレームＦ１の次のフレームＦ２でも外部閃光が検出されていると判断し、フレームＦ１からフレームＦ２の期間、つまり、本実施形態においては、フレームＦ１およびＦ２を形成する画像信号が処理される期間において、閃光検出部２が、閃光検出信号の信号値を「１」にして、閃光検出信号を出力するようにしている。
また、フレーム単位で閃光を検出することができる検出方法であれば、他の公知の方法を用いて、閃光検出を行うようにしてもよい。
閃光検出部２により生成された閃光検出信号（フレーム単位での閃光の有無を示す閃光検出信号）は、適応ガンマ処理部３に出力される。
適応ガンマ処理部３では、閃光検出信号に基づいて、撮像部１から出力される画像信号に対して、適応的にガンマ補正を行う。閃光検出部２から出力される閃光検出信号が「０」の場合、すなわち、閃光検出信号が外部閃光を検出していないことを示している場合、適応ガンマ処理部３に入力されている画像信号が形成するフレーム画像には、外部閃光の影響を受けている画像信号がないと判断できる。したがって、この場合、適応ガンマ処理部３は、１フレーム分（外部閃光が検出されていない１フレーム分）の入力画像信号に対して、ガンマ値を「０．４５」（γ＝０．４５）とするガンマ補正処理を行う。
また、フレーム単位で閃光を検出することができる検出方法であれば、他の公知の方法を用いて、閃光検出を行うようにしてもよい。
閃光検出部２により生成された閃光検出信号（フレーム単位での閃光の有無を示す閃光検出信号）は、適応ガンマ処理部３に出力される。
適応ガンマ処理部３では、閃光検出信号に基づいて、撮像部１から出力される画像信号に対して、適応的にガンマ補正を行う。閃光検出部２から出力される閃光検出信号が「０」の場合、すなわち、閃光検出信号が外部閃光を検出していないことを示している場合、適応ガンマ処理部３に入力されている画像信号が形成するフレーム画像には、外部閃光の影響を受けている画像信号がないと判断できる。したがって、この場合、適応ガンマ処理部３は、１フレーム分（外部閃光が検出されていない１フレーム分）の入力画像信号に対して、ガンマ値を「０．４５」（γ＝０．４５）とするガンマ補正処理を行う。
一方、閃光検出部２から出力される閃光検出信号が「１」の場合、すなわち、閃光検出信号が外部閃光を検出していることを示している場合、適応ガンマ処理部３は、画素ごとにガンマ値を変えてレベル変換（階調変換）を行う。具体的には、適応ガンマ処理部３は、処理対象の画素（注目画素）とその周辺画素の平均輝度レベル「ａ」（これを、「周辺平均輝度レベルａ」という。）を用いて、ガンマ値を変化させる。ここで、周辺画素とは、例えば、注目画素の水平方向右側５画素、左側５画素、垂直方向１ライン上の７画素、垂直方向１ライン下の７画素、垂直方向２ライン上の３画素、垂直方向２ライン下の３画素、計３０画素であり、注目画素も含めて３１画素分の平均輝度レベルを求めて「ａ」としている。
そして、適応ガンマ処理部３では、入力レベルをｘ、出力レベルをｙとしたとき、（数式１）で表した関数となるようにレベル変換（階調変換）を行う。
そして、適応ガンマ処理部３では、入力レベルをｘ、出力レベルをｙとしたとき、（数式１）で表した関数となるようにレベル変換（階調変換）を行う。
図２は、本実施形態における撮像装置１００のガンマ補正の入出力特性図である。図２の各階調変換特性曲線（１）〜（５）と周辺平均輝度レベルａとの関係を以下に示す。
曲線（１）は、ａ＝０の場合の入出力特性曲線である。
曲線（２）は、ａ＝０．５の場合の入出力特性曲線である。
曲線（３）は、ａ＝１．０の場合の入出力特性曲線である。
曲線（４）は、ａ＝２．０の場合の入出力特性曲線である。
曲線（５）は、ａ＝３．０の場合の入出力特性曲線である。
ここで、ａ＝０．５とは、周辺平均輝度レベルが「５０％」であることを意味している。また、ａ＝０のときの入出力特性である図２の曲線（１）は、従来の撮像装置９００のガンマ補正の入出力特性として示した図７の入出力特性と同じ特性を実現させる曲線である。撮像装置１００では、周辺平均輝度レベルａが「０」に近いとき、すなわち、撮像画像の暗部に相当する画像領域については、従来の撮像装置９００と同じガンマ値「０．４５」（γ＝０．４５）による補正（階調変換）が行なわれる。一方、撮像装置１００では、周辺平均輝度レベルａが「０」より大きくなるに従って、ガンマ値の大きい入出力特性が適用され、注目画素に対してレベル変換（階調変換）が実行される。
曲線（１）は、ａ＝０の場合の入出力特性曲線である。
曲線（２）は、ａ＝０．５の場合の入出力特性曲線である。
曲線（３）は、ａ＝１．０の場合の入出力特性曲線である。
曲線（４）は、ａ＝２．０の場合の入出力特性曲線である。
曲線（５）は、ａ＝３．０の場合の入出力特性曲線である。
ここで、ａ＝０．５とは、周辺平均輝度レベルが「５０％」であることを意味している。また、ａ＝０のときの入出力特性である図２の曲線（１）は、従来の撮像装置９００のガンマ補正の入出力特性として示した図７の入出力特性と同じ特性を実現させる曲線である。撮像装置１００では、周辺平均輝度レベルａが「０」に近いとき、すなわち、撮像画像の暗部に相当する画像領域については、従来の撮像装置９００と同じガンマ値「０．４５」（γ＝０．４５）による補正（階調変換）が行なわれる。一方、撮像装置１００では、周辺平均輝度レベルａが「０」より大きくなるに従って、ガンマ値の大きい入出力特性が適用され、注目画素に対してレベル変換（階調変換）が実行される。
（１．２．１：ＣＭＯＳ型イメージセンサ用適応ガンマ処理）
ここで、特に、撮像部１の撮像素子がＣＭＯＳ型イメージセンサである場合に効果的な適応ガンマ処理について説明する。
図３（ａ）に、撮像部１の撮像素子の撮像素子面の模式図を示す。撮像部１の撮像素子では、図３（ａ）のＬＴで示したラインから垂直方向に、順番に、図３（ａ）のＬＢで示したラインまで、蓄積電荷を読み出すことで、１フレーム分に相当する画像信号を生成する。そして、この１フレーム分に相当する画像信号により、１フレームの画像が形成される。
ここで、ラインＬＭ（図３（ａ）のＬＭで示したライン）の蓄積電荷を読み出しているタイミングで、外部閃光があった場合について説明する。
ここで、特に、撮像部１の撮像素子がＣＭＯＳ型イメージセンサである場合に効果的な適応ガンマ処理について説明する。
図３（ａ）に、撮像部１の撮像素子の撮像素子面の模式図を示す。撮像部１の撮像素子では、図３（ａ）のＬＴで示したラインから垂直方向に、順番に、図３（ａ）のＬＢで示したラインまで、蓄積電荷を読み出すことで、１フレーム分に相当する画像信号を生成する。そして、この１フレーム分に相当する画像信号により、１フレームの画像が形成される。
ここで、ラインＬＭ（図３（ａ）のＬＭで示したライン）の蓄積電荷を読み出しているタイミングで、外部閃光があった場合について説明する。
この場合、外部閃光は、撮像素子面全体に照射されることになるが、ラインＬＭより上側の領域Ｒ１に含まれるラインの画像信号は、既に読み出されており、これらの画像信号は、外部閃光の影響を受けていない。一方、ラインＬＭより下側の領域Ｒ２に含まれるラインの画像信号は、これから読み出されるので、これらの画像信号は、外部閃光の影響を受けており、その信号値は大きなものとなる。
このような状況下で読み出された画像信号によるフレーム画像Ｆ１を図３（ｂ）に示す。図３（ｂ）から分かるように、撮像素子面の領域Ｒ１から読み出された画像信号により形成されている画像領域Ｒ１（Ｆ１）は、外部閃光の影響を受けていない（図３（ｂ）では、画像領域Ｒ１（Ｆ１）にハッチングを施すことで、外部閃光の影響を受けていないことを示している。）。一方、撮像素子面の領域Ｒ２から読み出された画像信号により形成されている画像領域Ｒ２（Ｆ１）は、外部閃光の影響を受けており、全体的に高輝度になる（図３（ｂ）では、画像領域Ｒ２（Ｆ１）を白地にすることで、外部閃光の影響を受けていることを示している。）。
このような状況下で読み出された画像信号によるフレーム画像Ｆ１を図３（ｂ）に示す。図３（ｂ）から分かるように、撮像素子面の領域Ｒ１から読み出された画像信号により形成されている画像領域Ｒ１（Ｆ１）は、外部閃光の影響を受けていない（図３（ｂ）では、画像領域Ｒ１（Ｆ１）にハッチングを施すことで、外部閃光の影響を受けていないことを示している。）。一方、撮像素子面の領域Ｒ２から読み出された画像信号により形成されている画像領域Ｒ２（Ｆ１）は、外部閃光の影響を受けており、全体的に高輝度になる（図３（ｂ）では、画像領域Ｒ２（Ｆ１）を白地にすることで、外部閃光の影響を受けていることを示している。）。
次に、撮像部１において、フレーム画像Ｆ１の次のフレーム画像Ｆ２を読み出す場合について説明する。
フレーム画像Ｆ１を形成する画像信号が読み出されると、再度、図３（ａ）のラインＬＴから、垂直方向に順番に、画像信号が読み出される。フレーム画像Ｆ１を形成する画像信号のラインＬＭの読み出し時に外部閃光があったので、フレーム画像Ｆ２については、撮像素子面のラインＬＭより上側の領域Ｒ１に含まれるラインから読み出される画像信号は、外部閃光の影響を受けており、その信号値は大きなものとなる。一方、ラインＬＭより下側の領域Ｒ２に含まれるラインの画像信号は、外部閃光の影響を受けていない（外部閃光の影響を受けている画像信号（フレーム画像Ｆ１の画像領域Ｆ２（Ｆ１）に相当する画像信号）は、既に読み出されている）。
フレーム画像Ｆ１を形成する画像信号が読み出されると、再度、図３（ａ）のラインＬＴから、垂直方向に順番に、画像信号が読み出される。フレーム画像Ｆ１を形成する画像信号のラインＬＭの読み出し時に外部閃光があったので、フレーム画像Ｆ２については、撮像素子面のラインＬＭより上側の領域Ｒ１に含まれるラインから読み出される画像信号は、外部閃光の影響を受けており、その信号値は大きなものとなる。一方、ラインＬＭより下側の領域Ｒ２に含まれるラインの画像信号は、外部閃光の影響を受けていない（外部閃光の影響を受けている画像信号（フレーム画像Ｆ１の画像領域Ｆ２（Ｆ１）に相当する画像信号）は、既に読み出されている）。
したがって、フレーム画像Ｆ２は、図３（ｂ）のようになる。つまり、フレーム画像Ｆ２の画像領域Ｒ１（Ｆ２）（ラインＬＭより上側のラインにより取得された画像領域）は、外部閃光の影響を受けており、全体的に高輝度になる（図３（ｃ）では、画像領域Ｒ２（Ｆ１）を白地にすることで、外部閃光の影響を受けていることを示している。）。一方、フレーム画像Ｆ２の画像領域Ｒ２（Ｆ２）（ラインＬＭより下側のラインにより取得された画像領域）は、外部閃光の影響を受けていない。
このように、外部閃光があった場合、撮像装置１００により取得される撮像画像は、連続２フレームにおいて、１番目のフレーム画像（図３の場合のフレーム画像Ｆ１）において、下側の画像領域が高輝度になり、その次のフレーム画像（図３の場合のフレーム画像Ｆ２）の上側の画像領域が高輝度になる。
このように、外部閃光があった場合、撮像装置１００により取得される撮像画像は、連続２フレームにおいて、１番目のフレーム画像（図３の場合のフレーム画像Ｆ１）において、下側の画像領域が高輝度になり、その次のフレーム画像（図３の場合のフレーム画像Ｆ２）の上側の画像領域が高輝度になる。
≪周辺画素領域の設定方法≫
次に、上記現象に対応させた周辺平均輝度レベルａを取得する対象となる周辺画素領域の設定方法について、図４を用いて説明する。
図４（ａ）は、図３（ｂ）と同様、フレーム画像Ｆ１を模式的に示した図である。図４（ｂ）は、図４（ａ）の画像領域Ｒ３に含まれる画素群を示した図である。なお、注目画素をＰ０としている。
上記で説明したように、画像領域Ｒ１（Ｆ１）は外部閃光の影響を受けておらず、画像領域Ｒ２（Ｆ１）は外部閃光の影響を受けているので、両者の境界線付近において、画素値の傾向が大きく異なる。具体的には、図４（ｂ）の注目画素Ｐ０が含まれるラインより下側の領域Ｒ２（Ｆ１）では、外部閃光の影響で画素値が大きくなっている（高輝度化している）が、注目画素Ｐ０の上側の領域Ｒ１（Ｆ１）では、外部閃光の影響はないので、異常に画素値が大きくなる（高輝度化される）ことはない。
次に、上記現象に対応させた周辺平均輝度レベルａを取得する対象となる周辺画素領域の設定方法について、図４を用いて説明する。
図４（ａ）は、図３（ｂ）と同様、フレーム画像Ｆ１を模式的に示した図である。図４（ｂ）は、図４（ａ）の画像領域Ｒ３に含まれる画素群を示した図である。なお、注目画素をＰ０としている。
上記で説明したように、画像領域Ｒ１（Ｆ１）は外部閃光の影響を受けておらず、画像領域Ｒ２（Ｆ１）は外部閃光の影響を受けているので、両者の境界線付近において、画素値の傾向が大きく異なる。具体的には、図４（ｂ）の注目画素Ｐ０が含まれるラインより下側の領域Ｒ２（Ｆ１）では、外部閃光の影響で画素値が大きくなっている（高輝度化している）が、注目画素Ｐ０の上側の領域Ｒ１（Ｆ１）では、外部閃光の影響はないので、異常に画素値が大きくなる（高輝度化される）ことはない。
そこで、外部閃光の影響を受けている領域と受けていない領域の境界付近であっても、周辺画素領域を、例えば、図４（ｂ）のＡＲＥＡ１に示すような画素領域とすることで、外部閃光の影響を受けている領域と受けていない領域の境界付近においても適切な適応ガンマ処理を行うことができる。
つまり、上記外部閃光の影響を受けにくくするために、撮像装置１００の適応ガンマ処理部３においては、以下のようにして、周辺画素領域を設定すればよい。
（１）注目画素Ｐ０を含む１ラインを構成する全ての画素により形成される画素領域を周辺画素領域に設定する。
（２）注目画素Ｐ０および注目画素Ｐ０の左右に隣接するＮ個（Ｎは自然数）の画素により形成される画素領域を周辺画素領域に設定する（なお、注目画素Ｐ０を周辺画素領域に含めないようにしてもよい）。
つまり、上記外部閃光の影響を受けにくくするために、撮像装置１００の適応ガンマ処理部３においては、以下のようにして、周辺画素領域を設定すればよい。
（１）注目画素Ｐ０を含む１ラインを構成する全ての画素により形成される画素領域を周辺画素領域に設定する。
（２）注目画素Ｐ０および注目画素Ｐ０の左右に隣接するＮ個（Ｎは自然数）の画素により形成される画素領域を周辺画素領域に設定する（なお、注目画素Ｐ０を周辺画素領域に含めないようにしてもよい）。
適応ガンマ処理部３において、以上により設定された周辺画素領域から周辺平均輝度レベルａを取得することにより、外部閃光の影響を受けている領域と受けていない領域の境界付近であっても、効果的に適応ガンマ処理を行うことができる。なお、適応ガンマ処理部３に入出力特性曲線の選択方法等は、上記と同様であるので、ここでは、説明を省略する。
次に、ニー処理部４以降の処理について、説明するが、以降の説明は、撮像部１の撮像素子がＣＭＯＳ型イメージセンサである場合に特化したものではない。
ニー処理部４では、適応ガンマ処理部３から出力される画像信号に対して高輝度部に相当する信号に対して折れ線処理（ニー処理）がなされる。ニー処理部４から出力される画像信号が出力レベル１０９％以下（出力ダイナミックレンジ１０９％）になるよう、出力レベルが１００％から１０９％になる部分の入出力特性は直線特性となっている。撮像装置１００では、画像信号に対して、この入出力特性による階調変換が実行され、階調変換された画像信号が、ニー処理部４から出力される。
次に、ニー処理部４以降の処理について、説明するが、以降の説明は、撮像部１の撮像素子がＣＭＯＳ型イメージセンサである場合に特化したものではない。
ニー処理部４では、適応ガンマ処理部３から出力される画像信号に対して高輝度部に相当する信号に対して折れ線処理（ニー処理）がなされる。ニー処理部４から出力される画像信号が出力レベル１０９％以下（出力ダイナミックレンジ１０９％）になるよう、出力レベルが１００％から１０９％になる部分の入出力特性は直線特性となっている。撮像装置１００では、画像信号に対して、この入出力特性による階調変換が実行され、階調変換された画像信号が、ニー処理部４から出力される。
図５は、本発明の第１実施形態における撮像装置１００のガンマ補正とニー処理との総合入出力特性図である。
図５の各階調変換特性曲線（１）〜（５）と周辺平均輝度レベルａとの関係を以下に示す。
曲線（１）は、ａ＝０の場合の入出力特性曲線である。
曲線（２）は、ａ＝０．５の場合の入出力特性曲線である。
曲線（３）は、ａ＝１．０の場合の入出力特性曲線である。
曲線（４）は、ａ＝２．０の場合の入出力特性曲線である。
曲線（５）は、ａ＝３．０の場合の入出力特性曲線である。
ここでａ＝０の場合の入出力特性である図５の曲線（１）は、従来の撮像装置９００のガンマ補正とニー処理との総合入出力特性として示した図８の入出力特性と同じ特性を実現させる曲線である。撮像装置１００では、閃光検出信号が「０」のとき、すなわち、外部閃光を検出していない場合、周辺平均輝度レベルａの値に関わらず、全てガンマ値「０．４５」（γ＝０．４５）による補正（階調変換）が実行され、さらにニー処理が実行されるため、ガンマ補正とニー処理との総合入出力特性は、図５の曲線（１）により実現される入出力特性と一致する。
図５の各階調変換特性曲線（１）〜（５）と周辺平均輝度レベルａとの関係を以下に示す。
曲線（１）は、ａ＝０の場合の入出力特性曲線である。
曲線（２）は、ａ＝０．５の場合の入出力特性曲線である。
曲線（３）は、ａ＝１．０の場合の入出力特性曲線である。
曲線（４）は、ａ＝２．０の場合の入出力特性曲線である。
曲線（５）は、ａ＝３．０の場合の入出力特性曲線である。
ここでａ＝０の場合の入出力特性である図５の曲線（１）は、従来の撮像装置９００のガンマ補正とニー処理との総合入出力特性として示した図８の入出力特性と同じ特性を実現させる曲線である。撮像装置１００では、閃光検出信号が「０」のとき、すなわち、外部閃光を検出していない場合、周辺平均輝度レベルａの値に関わらず、全てガンマ値「０．４５」（γ＝０．４５）による補正（階調変換）が実行され、さらにニー処理が実行されるため、ガンマ補正とニー処理との総合入出力特性は、図５の曲線（１）により実現される入出力特性と一致する。
次に、外部閃光による被写体の高輝度化が起こったときの撮像装置１００の動作について説明する。
通常撮像装置は、出力画像信号の平均輝度レベルが標準輝度レベルである１００％以下になるよう露光調整して使用される。しかしながら、フラッシュのような外部閃光があった場合、瞬間的に標準輝度レベル１００％を超えることになる。具体的には、外部閃光による被写体の高輝度化が起こり、撮像装置１００の撮像部１から出力される画像信号中の目標被写体の輝度レベルが１８０％から２２０％に分布した場合を例に説明する。
図５のＡで示す範囲は、入力レベルが１８０％〜２２０％の範囲である。この範囲Ａに含まれるレベルの画像信号は、仮に、図５の曲線（１）の入出力特性で変換されるのであれば、従来の撮像装置９００で説明したように、ニー処理部４から出力される画像信号の出力レベルは、１０２．４％〜１０３．６％になる。つまり、この場合、入力レベルの変化（図５の範囲Ａ）は、狭い範囲（図５の範囲Ｃ）の出力レベルの変化としてしか表現できないことになる。すなわち、この場合、上記階調変換により取得される画像は、白飛び状態となり、被写体の輪郭なども見づらいものになってしまう。
通常撮像装置は、出力画像信号の平均輝度レベルが標準輝度レベルである１００％以下になるよう露光調整して使用される。しかしながら、フラッシュのような外部閃光があった場合、瞬間的に標準輝度レベル１００％を超えることになる。具体的には、外部閃光による被写体の高輝度化が起こり、撮像装置１００の撮像部１から出力される画像信号中の目標被写体の輝度レベルが１８０％から２２０％に分布した場合を例に説明する。
図５のＡで示す範囲は、入力レベルが１８０％〜２２０％の範囲である。この範囲Ａに含まれるレベルの画像信号は、仮に、図５の曲線（１）の入出力特性で変換されるのであれば、従来の撮像装置９００で説明したように、ニー処理部４から出力される画像信号の出力レベルは、１０２．４％〜１０３．６％になる。つまり、この場合、入力レベルの変化（図５の範囲Ａ）は、狭い範囲（図５の範囲Ｃ）の出力レベルの変化としてしか表現できないことになる。すなわち、この場合、上記階調変換により取得される画像は、白飛び状態となり、被写体の輪郭なども見づらいものになってしまう。
しかし、本実施形態に係る撮像装置１００では、閃光検出部２により外部閃光が検出された場合、適応ガンマ処理部３により、画像信号に対して、周辺平均輝度レベルａにより決定される入出力特性により階調変換処理が実行される。例えば、図５の範囲Ａの入力画像信号に対しては、周辺平均輝度レベルが２００％、すなわち、ａ＝２となるため、図５の曲線（４）の入出力特性による階調変換が実行される。よって、範囲Ａの入力画像信号は、図５の範囲Ｂ（５８．６％〜７８．４％の範囲）の出力画像信号に変換されるので、出力レベルの取り得る範囲（出力ダイナミックレンジ）が広がることになる。
一方、閃光検出部２により外部閃光を検出された場合であり、かつ、周辺平均輝度レベルが小さく、周辺平均輝度レベルａ＝０に近い暗部（撮像画像上の暗部画像領域）が存在していたとしても、画像信号に対して、図５の曲線（１）の入出力特性による階調変換が実行される。そのため、暗部の階調を確保することができる。なぜならば、図５の曲線（１）から（５）の入出力特性のうち、曲線（１）が最も原点付近の傾きが大きくなっているため、暗部の範囲が最も広い範囲に変換されるからである。つまり、撮像装置１００では、適応ガンマ処理部３により、入力レベルの小さい画像信号（暗部に相当する画像信号）の出力ダイナミックレンジを、曲線（１）による階調変換により、効果的に広げることができるので、撮像装置１００により取得される撮像画像上の暗部の階調を適切に保持することができる。
一方、閃光検出部２により外部閃光を検出された場合であり、かつ、周辺平均輝度レベルが小さく、周辺平均輝度レベルａ＝０に近い暗部（撮像画像上の暗部画像領域）が存在していたとしても、画像信号に対して、図５の曲線（１）の入出力特性による階調変換が実行される。そのため、暗部の階調を確保することができる。なぜならば、図５の曲線（１）から（５）の入出力特性のうち、曲線（１）が最も原点付近の傾きが大きくなっているため、暗部の範囲が最も広い範囲に変換されるからである。つまり、撮像装置１００では、適応ガンマ処理部３により、入力レベルの小さい画像信号（暗部に相当する画像信号）の出力ダイナミックレンジを、曲線（１）による階調変換により、効果的に広げることができるので、撮像装置１００により取得される撮像画像上の暗部の階調を適切に保持することができる。
以上のように、本実施形態の撮像装置１００は、撮像部１から出力される画像信号から閃光検出部２により外部閃光の有無を検出し、外部閃光を含まない画像（フレーム画像）に対しては、画像全体（1フレーム分の画像）について、所定のガンマ補正特性により、階調変換を行う。一方、撮像装置１００では、外部閃光を含む画像（フレーム画像）に対しては、撮像部１から出力される画像信号の個々の画素について自画素（注目画素）とその周辺画素の平均輝度レベルにより適用する補正特性（階調変換特性）を可変としてレベル変換（階調変換）を、適応ガンマ処理部３により実行する。
つまり、撮像装置１００では、適応ガンマ処理部３の閃光を検出しているときの処理において、周辺平均輝度レベルが高いほど、ガンマ値を大きくした補正特性による階調変換を行う。これにより、外部閃光により影響を受けた１フレームの画像において、明部では高輝度部分に階調を大きく割り当て、暗部では低輝度部分に階調を大きく割り当てることができるので、撮像装置１００により取得される画像において、白飛びや黒つぶれを低減することができる。
つまり、撮像装置１００では、適応ガンマ処理部３の閃光を検出しているときの処理において、周辺平均輝度レベルが高いほど、ガンマ値を大きくした補正特性による階調変換を行う。これにより、外部閃光により影響を受けた１フレームの画像において、明部では高輝度部分に階調を大きく割り当て、暗部では低輝度部分に階調を大きく割り当てることができるので、撮像装置１００により取得される画像において、白飛びや黒つぶれを低減することができる。
［他の実施形態］
上記実施形態では、撮像装置１００において、フレーム単位の処理を行う場合について説明したが、これに限定されることはなく、例えば、撮像装置１００において、フィールド単位の処理を行うようにしてもよい。
また、上記実施形態では、閃光検出部２が、フレーム単位で閃光を検出する場合について説明したが、これに限定されることはなく、閃光検出部２が、フレーム画像（あるいはフィールド画像）に含まれる画素単位、あるいは走査ライン単位での情報を用いて閃光検出を行うものであってもよい。
なお、上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
上記実施形態では、撮像装置１００において、フレーム単位の処理を行う場合について説明したが、これに限定されることはなく、例えば、撮像装置１００において、フィールド単位の処理を行うようにしてもよい。
また、上記実施形態では、閃光検出部２が、フレーム単位で閃光を検出する場合について説明したが、これに限定されることはなく、閃光検出部２が、フレーム画像（あるいはフィールド画像）に含まれる画素単位、あるいは走査ライン単位での情報を用いて閃光検出を行うものであってもよい。
なお、上記実施形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
本発明にかかる撮像装置は、外部閃光による明部の白飛びを低減し、かつ、暗部の黒つぶれも低減する撮像画像（映像）を取得することができる。このため、本発明は、夜間の撮像、特にニュース取材などに用いられる撮像画像を取得する場合に効果を発揮し、連続画像を撮像するデジタルカメラやビデオカメラなどに非常に有用である。
１００ 撮像装置
１ 撮像部
２ 閃光検出部
３ 適応ガンマ処理部
４ ニー処理部
１ 撮像部
２ 閃光検出部
３ 適応ガンマ処理部
４ ニー処理部
Claims (7)
- 撮像素子を有し、入射する光信号を電気信号に変換して画像信号を取得する撮像部と、
前記撮像部により取得された画像信号から外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出部と、
前記閃光検出信号により制御され、前記閃光検出部により閃光が検出していない場合、前記撮像部により取得された画像信号が形成する画像の全画素に対して、所定のガンマ補正特性により階調変換し、前記閃光検出部により閃光が検出されている場合、前記撮像部により取得された画像信号が形成する画像の個々の画素について、処理対象である注目画素とその周辺画素の平均輝度レベルである周辺平均輝度レベルにより適用する階調変換特性を決定し、決定した階調変換特性により、前記注目画素に対して階調変換を行う適応ガンマ処理部と、
を備え、
前記適応ガンマ処理部は、前記閃光検出部により閃光が検出されている場合、前記周辺平均輝度レベルが高いほど、ガンマ値を大きくしたガンマ補正特性を前記階調変換特性に決定し、前記注目画素に対して階調変換を行う、
撮像装置。 - 前記適応ガンマ処理部は、前記注目画素と、前記注目画素の水平方向に隣接する１または複数の画素との平均輝度レベルを前記周辺平均輝度レベルとする、
請求項１に記載の撮像装置。 - 前記適応ガンマ処理部は、前記注目画素と、前記注目画素と同一ライン上に存在する複数の画素との平均輝度レベルを前記周辺平均輝度レベルとする、
請求項１に記載の撮像装置。 - 前記適応ガンマ処理部は、前記注目画素と、前記注目画素と同一ライン上に存在する全ての画素との平均輝度レベルを前記周辺平均輝度レベルとする、
請求項１に記載の撮像装置。 - 撮像素子を有し、入射する光信号を電気信号に変換して画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法であって、
前記撮像部により取得された画像信号から外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出ステップと、
前記閃光検出信号により制御され、前記閃光検出部により閃光が検出していない場合、前記撮像部により取得された画像信号が形成する画像の全画素に対して、所定のガンマ補正特性により階調変換し、前記閃光検出部により閃光が検出されている場合、前記撮像部により取得された画像信号が形成する画像の個々の画素について、処理対象である注目画素とその周辺画素の平均輝度レベルである周辺平均輝度レベルにより適用する階調変換特性を決定し、決定した階調変換特性により、前記注目画素に対して階調変換を行う適応ガンマ処理ステップと、
を備え、
前記適応ガンマ処理ステップでは、前記閃光検出ステップにより閃光が検出されている場合、前記周辺平均輝度レベルが高いほど、ガンマ値を大きくしたガンマ補正特性を前記階調変換特性に決定し、前記注目画素に対して階調変換を行う、
撮像方法。 - 撮像素子を有し、入射する光信号を電気信号に変換して画像信号を取得する撮像部を備える撮像装置に用いられる撮像方法をコンピュータに実行させるプログラムであって、
前記撮像部により取得された画像信号から外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出ステップと、
前記閃光検出信号により制御され、前記閃光検出部により閃光が検出していない場合、前記撮像部により取得された画像信号が形成する画像の全画素に対して、所定のガンマ補正特性により階調変換し、前記閃光検出部により閃光が検出されている場合、前記撮像部により取得された画像信号が形成する画像の個々の画素について、処理対象である注目画素とその周辺画素の平均輝度レベルである周辺平均輝度レベルにより適用する階調変換特性を決定し、決定した階調変換特性により、前記注目画素に対して階調変換を行う適応ガンマ処理ステップと、
を備え、
前記適応ガンマ処理ステップでは、前記閃光検出ステップにより閃光が検出されている場合、前記周辺平均輝度レベルが高いほど、ガンマ値を大きくしたガンマ補正特性を前記階調変換特性に決定し、前記注目画素に対して階調変換を行う、
撮像方法をコンピュータに実行させるプログラム。 - 撮像素子を有し、入射する光信号を電気信号に変換して画像信号を取得する撮像部を備える撮像装置に用いられる集積回路であって、
前記撮像部により取得された画像信号から外部閃光の検出をして、外部閃光の検出結果を示す閃光検出信号を出力する閃光検出部と、
前記閃光検出信号により制御され、前記閃光検出部により閃光が検出していない場合、前記撮像部により取得された画像信号が形成する画像の全画素に対して、所定のガンマ補正特性により階調変換し、前記閃光検出部により閃光が検出されている場合、前記撮像部により取得された画像信号が形成する画像の個々の画素について、処理対象である注目画素とその周辺画素の平均輝度レベルである周辺平均輝度レベルにより適用する階調変換特性を決定し、決定した階調変換特性により、前記注目画素に対して階調変換を行う適応ガンマ処理部と、
を備え、
前記適応ガンマ処理部は、前記閃光検出部により閃光が検出されている場合、前記周辺平均輝度レベルが高いほど、ガンマ値を大きくしたガンマ補正特性を前記階調変換特性に決定し、前記注目画素に対して階調変換を行う、
集積回路。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008292365A JP5215820B2 (ja) | 2008-11-14 | 2008-11-14 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008292365A JP5215820B2 (ja) | 2008-11-14 | 2008-11-14 | 撮像装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2010119035A true JP2010119035A (ja) | 2010-05-27 |
| JP2010119035A5 JP2010119035A5 (ja) | 2011-12-22 |
| JP5215820B2 JP5215820B2 (ja) | 2013-06-19 |
Family
ID=42306374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008292365A Active JP5215820B2 (ja) | 2008-11-14 | 2008-11-14 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5215820B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012019429A (ja) * | 2010-07-09 | 2012-01-26 | Ikegami Tsushinki Co Ltd | 撮像信号処理回路及び撮像信号処理方法 |
| WO2014188647A1 (ja) * | 2013-05-22 | 2014-11-27 | ソニー株式会社 | 画像調整装置、画像調整方法、画像調整プログラムおよび撮像装置 |
| WO2021165035A1 (en) * | 2020-02-20 | 2021-08-26 | Koninklijke Philips N.V. | Determining pixel intensity values in imaging |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006033749A (ja) * | 2004-07-21 | 2006-02-02 | Konica Minolta Photo Imaging Inc | 撮像装置 |
| JP2006197081A (ja) * | 2005-01-12 | 2006-07-27 | Nikon Corp | ダイナミックレンジ圧縮機能を持つデジタルカメラ |
| JP2007306225A (ja) * | 2006-05-10 | 2007-11-22 | Sony Corp | 撮像装置および方法、並びにプログラム |
| JP2007329620A (ja) * | 2006-06-07 | 2007-12-20 | Olympus Corp | 撮影装置と映像信号処理プログラム |
-
2008
- 2008-11-14 JP JP2008292365A patent/JP5215820B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006033749A (ja) * | 2004-07-21 | 2006-02-02 | Konica Minolta Photo Imaging Inc | 撮像装置 |
| JP2006197081A (ja) * | 2005-01-12 | 2006-07-27 | Nikon Corp | ダイナミックレンジ圧縮機能を持つデジタルカメラ |
| JP2007306225A (ja) * | 2006-05-10 | 2007-11-22 | Sony Corp | 撮像装置および方法、並びにプログラム |
| JP2007329620A (ja) * | 2006-06-07 | 2007-12-20 | Olympus Corp | 撮影装置と映像信号処理プログラム |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012019429A (ja) * | 2010-07-09 | 2012-01-26 | Ikegami Tsushinki Co Ltd | 撮像信号処理回路及び撮像信号処理方法 |
| WO2014188647A1 (ja) * | 2013-05-22 | 2014-11-27 | ソニー株式会社 | 画像調整装置、画像調整方法、画像調整プログラムおよび撮像装置 |
| US9998676B2 (en) | 2013-05-22 | 2018-06-12 | Sony Corporation | Image adjustment apparatus, method, and imaging apparatus to determine a boundary in an image based on a position of a light source |
| US10623653B2 (en) | 2013-05-22 | 2020-04-14 | Sony Corporation | Image adjustment apparatus and image adjustment method that determines and adjusts a state of a back light region in an image |
| WO2021165035A1 (en) * | 2020-02-20 | 2021-08-26 | Koninklijke Philips N.V. | Determining pixel intensity values in imaging |
| US11812167B2 (en) | 2020-02-20 | 2023-11-07 | Koninklijke Philips N.V. | Determining pixel intensity values in imaging |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5215820B2 (ja) | 2013-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
| US8009224B2 (en) | Image signal processing method and image signal processing device | |
| US8780262B2 (en) | Image pickup apparatus that performs exposure control, method of controlling the image pickup apparatus, and storage medium | |
| US7444075B2 (en) | Imaging device, camera, and imaging method | |
| US8023763B2 (en) | Method and apparatus for enhancing image, and image-processing system using the same | |
| JP2015156600A (ja) | 画像信号処理装置，画像信号処理方法，および撮像装置 | |
| JP2004023605A (ja) | 画像処理装置、カメラ装置、及びその自動露光制御方法 | |
| US8477212B2 (en) | Camera device, exposure control method, and program | |
| KR101964228B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
| CN1649395A (zh) | 图像处理装置和方法 | |
| JP5215820B2 (ja) | 撮像装置 | |
| JP6543787B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2013222980A (ja) | 撮像装置及び撮像方法 | |
| JP2007336258A (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JP2002288650A (ja) | 画像処理装置及びデジタルカメラ、画像処理方法、記録媒体 | |
| JP2011044966A (ja) | 撮像装置および撮像方法 | |
| JP4629002B2 (ja) | 撮像装置 | |
| US20150130959A1 (en) | Image processing device and exposure control method | |
| JP5520863B2 (ja) | 画像信号処理装置 | |
| JP6900577B2 (ja) | 画像処理装置及びプログラム | |
| JP2003179809A (ja) | カメラ装置及びその信号処理方法 | |
| JP2007013687A (ja) | 液晶シャッタによるアイリス調整機能付き撮像装置 | |
| JP5485680B2 (ja) | 撮像装置および撮像方法 | |
| US11012630B1 (en) | Image processor and image processing method | |
| US20230386000A1 (en) | Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111102 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111102 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121005 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130301 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5215820 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160308 Year of fee payment: 3 |