JP2012205031A - 画像信号処理装置 - Google Patents

Abstract

【課題】
一般的なデジタルカメラやビデオカメラに搭載されている露光制御では、ダイナミックレンジの広いシーンを撮影した際に白飛び及び黒つぶれが発生し視認性が悪くなることがある。
【解決手段】
入出力特性制御手段が、被写体認識手段から得た被写体情報及び輝度統計情報算出手段から得た輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう撮像手段を制御し、かつ、輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう画像信号補正手段を制御する。または、入出力特性制御手段が、輝度統計情報算出手段から得た輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう撮像手段を制御し、かつ、輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう画像信号補正手段を制御するようにする。
【選択図】 図１

Description

本発明は、画像信号処理装置に関する。

本技術分野の背景技術として、例えば、特開２００８−１４８１８０号公報（特許文献１）がある。該公報には、「[課題]最適露出制御および画像補正処理を行なう装置および方法を提供する。[解決手段]撮像装置の取得画像に基づいて、主要被写体の平均輝度および輝度分布範囲を算出し、算出した主要被写体輝度分布範囲と、主要被写体対応の必要階調数とに基づいて被写体の制御目標平均輝度レベルを決定し、主要被写体が制御目標平均輝度レベルを持つように露出制御を実行する。また、露出制御によって平均輝度のレベルがずれた被写体像について、平均輝度レベルを出力輝度分布のほぼ中央に設定する階調変換処理を実行する。本構成により、露出の最適制御、バランスのとれた明るさの出力画像の生成が可能となる。」と記載されている（要約参照）。

特開２００８−１４８１８０号公報

例えば一般的なデジタルカメラやデジタルビデオカメラなどの撮像装置には、露光制御機能が搭載されている。一般的な露光制御は、画角内の光量を測光し、その結果を用いて絞り及び電子シャッタ及び撮像素子からの利得を調整することで実現されている。このような露光制御を持つ撮像装置を用いてダイナミックレンジの広いシーンを撮影すると、光源などの明るい部分は白飛びし、影になっている暗い部分は黒つぶれして被写体の視認性が低下することがあった。そこで、ダイナミックレンジの広いシーンにおいても被写体の視認性を確保できる技術が必要とされている。

特許文献１（特開２００８−１４８１８０号公報）では、被写体の平均輝度に応じた露出制御を行うことで白飛び、黒つぶれを軽減する撮像装置を提案している。しかし、例えば、明るい領域及び暗い領域が多く、中間輝度の領域の少ない被写体などでは、平均輝度による露出制御では効果が不十分である場合がある。

上記課題を解決するために、特許請求の範囲に記載の構成を採用する。

本発明によれば、ダイナミックレンジの広いシーンを撮影する際の被写体の視認性を向上させることができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１における基本構成の一例を説明する図 ダイナミックレンジの広いシーンを撮影した際の輝度分布の一例を説明する図 画像信号補正部１０５の処理の概念の一例を示す図 入出力特性制御部１０５（図１）が行う入出力特性制御の処理の流れを説明するフロー図 入出力特性の効果の一例を示す図 本発明の実施例２における基本構成の一例を説明する図 第一入出力特性制御部６０５（図６）及び第二入出力特性制御部６０８が行う入出力特性制御の処理の流れを説明するフロー図 第二画像信号補正処理の効果の一例を示す図 ステップＳ７０８（図７）で行う第二画像信号補正処理の一例を示す図

以下、本発明の実施形態を図面を用いて説明する。

（１）実施例１のシステム構成
本発明における実施例について詳細に説明する。図１は、本発明の実施例１における基本構成の一例を説明する図である。撮像部１０１は、被写体からの入射光の光量を調整する絞り、該絞りを通った光を集めるためのレンズ、該レンズが集めた光を光電変換し画像信号として出力する撮像素子などで構成される。画像入力部１０２は、撮像部１０１からの画像信号に所定の処理を行い入力する。所定の処理とは、撮像素子からの信号を入力として、後段の信号処理を行うブロックにて画像信号処理を行うための入力インタフェース処理であり、例えば、ＡＤ（Analog to Digital）変換処理であり、また、例えば、撮像素子と信号処理部との処理タイミングを調整する同期調整処理である。また、信号レベル調整のための利得制御やフィルタ処理など、所定の画像信号を含む構成でも良い。被写体認識部１０３は、画像入力部１０２の出力する画像信号に対して画像認識を行い、特定の被写体を検出して、被写体の個数、各被写体の映像内における位置、輝度分布の情報、色情報、被写体の信頼度などを被写体情報として出力する。被写体としては、例えば顔、人物、動体など、画像認識で検出できるものであれば何でも良い。輝度統計情報算出部１０４は、被写体認識部１０３から得た情報を用いて画像入力部１０２からの画像信号に対して輝度統計情報の算出を行う。具体的には、被写体認識部から被写体の存在する領域に関する情報を取得し、該領域の輝度統計情報を算出する。なお、輝度統計情報とは、例えば、ヒストグラム、最大値最小値、平均輝度などの情報である。入出力特性制御部１０５は、輝度統計情報算出部１０４からの情報を用いて、画像入力部１０２からの画像信号に対する入出力特性制御量を算出し、撮像部１０１と画像信号補正部１０６の制御を行う。これにより、被写体に応じた露光制御と画像信号処理が可能となり、画面の視認性向上効果が得られる。画像信号補正部１０６は、入出力特性制御部１０５から得た情報を元に、画像入力部１０２からの画像信号に対して画像信号補正処理を行う。画像出力部１０７は、画像信号補正部１０６からの画像信号に所定の処理を行い出力する。なお、所定の処理とは、画像信号補正部１０６からの画像信号にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、ＴＶやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理である。出力インタフェース処理とは、例えば、ＮＴＳＣやＰＡＬのビデオ出力に変換するものであり、例えば、ＨＤＭＩ信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。なお、実施例１では画像信号補正部と画像信号処理を行う画像出力部を個別に図示しているが、画像信号補正部が画像出力部の一部に含まれていても構わない。

以上の構成により、被写体の存在する領域の輝度分布に応じて露光制御と画像信号補正処理を実現できるため、ダイナミックレンジの広いシーンにおいても被写体の視認性を向上させることができる。

（２）被写体認識を用いた入出力特性制御
図２は、ダイナミックレンジの広いシーンを撮影した際の輝度分布の一例を説明する図である。横軸は輝度レベルを表わし、縦軸は該輝度レベルの画素数を表わす。図示した２０１の領域は、輝度レベルが低く、画面上ではほとんど黒として見える黒つぶれの状態になっている領域である。２０２の領域は、輝度レベルが高く、画面上ではほとんど白として見える白飛びの状態になっている領域である。画面の視認性を向上させるには、前記黒つぶれ及び前記白飛びしている画素が少なくなるよう入出力特性を制御する必要がある。

図３は、画像信号補正部１０５の処理の概念の一例を示す図である。左側に示すのは、黒つぶれしている様な暗い領域と白飛びしている様な明るい領域と信号補正無しでも階調がはっきり視認できる中間輝度の領域とを併せ持つ入力画像である。また右側に示すのはそれぞれの領域のコントラストを改善するための入出力特性を示している。各画素の輝度レベルに応じて、図３の右側のグラフのようにガンマ特性を制御することで、低輝度領域と高輝度部分とで異なる入出力特性制御を行うことができる。このとき、輝度統計情報算出部１０３（図１）で、画像入力部１０２からの画素信号を中心とし、その周辺画素で構成される所定の画像領域（ｎ×ｍ画素の領域）における信号のヒストグラム分布、最大値最小値、平均値等、画像領域の信号の輝度分布状態を示す情報を算出し、各画素の輝度レベルとしてこれらを用いると、ノイズの影響を抑えた画像信号補正処理を行うことができる。これにより、通常の画面一律のガンマ制御と異なり、画素単位で画像信号を補正することができる。

図４は、入出力特性制御部１０５（図１）が行う入出力特性制御の処理の流れを説明するフロー図である。本実施例では、輝度統計情報として被写体が存在する領域のヒストグラムを使用した場合を例に説明する。また、入出力特性制御部は、低輝度部分と高輝度部分でそれぞれ異なる入出力特性変化量を算出可能であるとする。ステップＳ４０１で、入出力特性制御部１０５に画像入力部１０２からの画像情報及び輝度統計情報算出部１０４からの輝度統計情報が入力されると、ステップＳ４０２にて、前記輝度統計情報を用いて画面内に白飛びがあるか否かの判定を行う。白飛びがある場合はステップＳ４０３にて、入出力特性制御部１０５は撮像部１０１に対して絞りを絞るよう命令する。その後ステップＳ４０４にて、前記輝度統計情報を用いて再び、画面内に白飛びがあるか否かを判定する。このとき、ステップＳ４０２で白飛びがあると判定される画素数と、ステップＳ４０４で白飛びがあると判定される画素数は異なる値が設定される。これは、露光制御だけで白飛びを抑えようとして、暗い領域の信号が減少してしまうのを防ぐためである。ステップＳ４０４で白飛びがあると判定された場合は、ステップＳ４０５で、入出力特性制御部４０５が、高輝度部分の入出力特性制御を行い、画像信号補正部１０６が高輝度部分の画像信号補正を行う。ステップＳ４０４にて、白飛びが無いと判定された場合は、ステップＳ４０５を飛ばしてステップＳ４０６に移行する。ステップＳ４０６では、前記輝度統計情報を用いて画面内に黒つぶれがあるか否かの判定を行う。黒つぶれがある場合は、ステップＳ４０７で、入出力特性制御部１０５が、低輝度部分の入出力特性制御を行い、画像信号補正部１０６が低輝度部分の画像信号補正を行う。ステップＳ４０６で、黒つぶれが無いと判定された場合は、ステップＳ４０７を飛ばして処理を終了する。なお、白飛びしていると判定する輝度レベルの範囲や、ステップＳ４０２及びＳ４０４の判定で白飛びがあると判定するための画素数などは、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などに値を保存し、それを用いても構わない。黒つぶれに関する判定については、白飛びの判定と同様の処理を行えば良い。また、白飛びしている画素数に応じて、露光制御部にて絞り量を制御したり、高輝度側の画像信号補正量を制御したり、また、黒つぶれしている画素数に応じて、低輝度側の画像信号補正量を制御しても良い。なお、本実施例では絞りを制御して画面全体の輝度レベルを変化させると前述したが、状況に応じてシャッタ速度や画像入力部１０２の利得制御量を制御しても構わない。

以上の処理により、被写体が存在する領域の白飛び及び黒つぶれ画素数に応じて露光制御と画像信号補正を行うことができるため、被写体の視認性を向上させることができる。なお、本実施例ではある程度の白飛びを露光制御で抑え、残った白飛び部分には画像信号補正処理を行うため、露光制御によって画面を暗くしすぎることなく視認性の向上を実現することができる。

図５は、入出力特性の効果の一例を示す図である。（ａ）は、ダイナミックレンジの広いシーンを撮影した際に、特別な露光制御や画像信号補正処理を行わなかった場合のヒストグラムを示す。５０１は、黒つぶれになる輝度レベルの範囲を、５０２は、白飛びになる輝度レベルの範囲を示す。５０３は、各輝度レベルを持つ画素数をプロットしたものである。（ａ）の例では、黒つぶれ及び白飛びが発生していることが分かる。（ｂ）は、ステップＳ４０３（図４）の露光制御によって、白飛びを抑える制御を行った際のヒストグラムを示す。５０４は、各輝度レベルを持つ画素数をプロットしたものである。（ｂ）の例では、露光制御によって全体的に矢印５０５の方向にヒストグラムが変化し、白飛びしている画素が減少していることがわかる。（ｃ）は、ステップＳ４０５で高輝度部分の画像信号補正処理を行った際のヒストグラムを示す。５０６は、各輝度レベルを持つ画素数をプロットしたものである。（ｃ）の例では、画像信号補正処理によって高輝度部分が矢印５０７の方向に変化し、高輝度部分の信号の分布が広がっている。このとき、被写体認識部１０３（図１）が高輝度部分に被写体を検出した場合、該被写体の視認性が上がるような画像信号補正が高輝度部分に対して行われる。（ｄ）は、ステップＳ４０５の低輝度側の画像信号補正処理によって、黒つぶれを抑える制御を行った際のヒストグラムを示す。５０８は、各輝度レベルを持つ画素数をプロットしたものである。（ｄ）の例では、画像信号補正処理によって低輝度部分が矢印５０９の方向に変化し、黒つぶれしている画素が減少していることが分かる。このとき、被写体認識部１０３が低輝度部分に被写体を検出した場合、該被写体の視認性が上がるような画像信号補正が低輝度部分に対して行われる。また、本実施例の画像信号補正処理と合わせてガンマ補正などの信号処理を行うことで低輝度部分の視認性をさらに向上させても構わない。

以上より、被写体の白飛びしている部分を露光制御及び画像信号補正処理で改善し、被写体の黒つぶれしている部分を画像信号補正処理によって改善することで、被写体のダイナミックレンジが広いシーンでも白飛び及び黒つぶれを抑制することができる。

なお、実施例１では、白飛びを露光制御及び画像信号補正処理で抑制し、黒つぶれを画像信号補正処理で抑制すると前述したが、その他にも、白飛びを画像信号補正処理で抑制し、黒つぶれを露光制御及び画像信号補正処理で抑制してももちろん構わない。

（１）実施例２のシステム構成
図６は、本発明の実施例２における基本構成の一例を説明する図である。撮像部６０１は、被写体からの入射光の光量を調整する絞り、該絞りを通った光を集めるためのレンズ、該レンズが集めた光を光電変換し画像信号として出力する撮像素子などで構成される。画像入力部６０２は、撮像部６０１からの画像信号に所定の処理を行い入力する。所定の処理とは、撮像素子からの信号を入力として、後段の信号処理を行うブロックにて画像信号処理を行うための入力インタフェース処理であり、例えば、ＡＤ（Analog to Digital）変換処理であり、また、例えば、撮像素子と信号処理部との処理タイミングを調整する同期調整処理である。また、信号レベル調整のための利得制御やフィルタ処理など、所定の画像信号を含む構成でも良い。被写体認識部６０３は、画像入力部６０２の出力する画像信号に対して画像認識を行い、特定の被写体を検出して、被写体の個数、各被写体の映像内における位置、輝度分布の情報、色情報、被写体の信頼度などを被写体情報として出力する。被写体としては、例えば顔、人物、動体など、画像認識で検出できるものであれば何でも良い。第一輝度統計情報算出部６０４は、被写体認識部６０３から得た情報を用いて画像入力部６０２からの画像信号に対して輝度統計情報の算出を行う。具体的には、被写体認識部から被写体の存在する領域に関する情報を取得し、該領域の輝度統計情報を算出する。なお、輝度統計情報とは、例えば、ヒストグラム、最大値最小値、平均輝度などの情報である。第一入出力特性制御部６０５は、入出力特性制御部１０５（図１）と同様の機能を持つブロックであり、画像入力部６０２からの画像信号に対する入出力特性制御量を算出し、撮像部６０１と第一画像信号補正部６０６の制御を行う。第一画像信号補正部６０６は、画像信号補正部１０６と同様の機能を持つブロックであり、第一入出力特性制御部６０５からの情報を元に、画像入力部６０２からの画像信号に対して画像信号補正処理を行う。第二輝度統計情報算出部６０７は、第一画像信号補正部６０６からの画像信号に対して輝度統計情報を算出する。輝度統計情報とは、例えば、ヒストグラム、最大値最小値、平均輝度などの情報である。第二入出力特性制御部６０８は、第二輝度統計情報算出部６０７から得た情報を用いて、第一画像信号補正部６０６からの画像信号の入出力特性制御量を算出する。第二画像信号補正部６０９は、第二入出力特性制御部６０８から得た情報を元に、第一画像信号補正部６０６からの画像信号に対して画像信号補正を行う。画像出力部６１０は、第二画像信号補正部６０９からの画像信号に所定の処理を行い出力する。なお、所定の処理とは、第二画像信号補正部６０９からの画像信号にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、ＴＶやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理である。出力インタフェース処理とは、例えば、ＮＴＳＣやＰＡＬのビデオ出力に変換するものであり、例えば、ＨＤＭＩ信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。

以上の構成により、第一画像信号補正を行った後に、第一輝度統計情報を用いて第二画像信号補正を行うことで、画像信号補正処理による視認性の向上効果をより大きくできる。

（２）実施例２の入出力特性制御
図７は、第一入出力特性制御部６０５（図６）及び第二入出力特性制御部６０８が行う入出力特性制御の処理の流れを説明するフロー図である。本実施例では、第一輝度統計情報として被写体が存在する領域のヒストグラムを、第二輝度統計情報として輝度最大値最小値を使用した場合を例に説明する。また、第一入出力特性制御部は、低輝度部分と高輝度部分でそれぞれ異なる入出力特性変化量を算出可能であるとする。ステップＳ７０１で、入出力特性制御部６０５に画像入力部６０２からの画像情報及び第一輝度統計情報算出部６０４からの輝度統計情報が入力されると、ステップＳ７０２にて、前記輝度統計情報を用いて画面内に白飛びがあるか否かの判定を行う。白飛びがある場合はステップＳ７０３にて、入出力特性制御部６０５は撮像部６０１に対して絞りを絞るよう命令する。その後ステップＳ７０４にて、前記輝度統計情報を用いて再び、画面内に白飛びがあるか否かを判定する。このとき、ステップＳ７０２で白飛びがあると判定される画素数と、ステップＳ７０４で白飛びがあると判定される画素数は異なる値が設定される。これは、露光制御だけで白飛びを抑えようとして、暗い領域の信号が減少してしまうのを防ぐためである。ステップＳ７０４で白飛びがあると判定された場合は、ステップＳ７０５で、第一入出力特性制御部６０５が、高輝度部分の入出力特性制御を行い、第一画像信号補正部６０６が高輝度部分の画像信号補正を行う。ステップＳ７０４にて、白飛びが無いと判定された場合は、ステップＳ７０５を飛ばしてステップＳ７０６に移行する。ステップＳ７０６では、前記第一輝度統計情報を用いて画面内に黒つぶれがあるか否かの判定を行う。黒つぶれがある場合は、ステップＳ７０７で、第一入出力特性制御部６０５が、低輝度部分の入出力特性制御を行い、第一画像信号補正部６０６が低輝度部分の画像信号補正を行う。ステップＳ７０６で、黒つぶれが無いと判定された場合は、ステップＳ７０７を飛ばして処理を終了する。なお、白飛びしていると判定する輝度レベルの範囲や、ステップＳ７０２及びＳ７０４の判定で白飛びがあると判定するための画素数などは、ＥＥＰＲＯＭなどに値を保存し、それを用いても構わない。黒つぶれに関する判定については、白飛びの判定と同様の処理を行えば良い。また、白飛びしている画素数に応じて、露光制御部にて絞り量を制御したり、高輝度側の画像信号補正量を制御したり、また、黒つぶれしている画素数に応じて、低輝度側の画像信号補正量を制御しても良い。なお、本実施例では絞りを制御して画面全体の輝度レベルを変化させると前述したが、状況に応じてシャッタ速度や画像入力部１０２の利得制御量を制御しても構わない。最後にステップＳ７０８で、第二輝度統計情報算出部６０７から得た情報、具体的には第一画像信号補正部からの信号の輝度最大値及び最小値を用いて、第一画像信号補正部６０６からの信号に対して、ダイナミックレンジを拡大する第二画像信号補正処理を行い、処理を終了する。このとき、ステップＳ７０８にて第一画像信号補正部からの輝度最大値最小値を用いて第二画像信号補正処理を行う際に、前記輝度最大値最小値は一定期間蓄積した値の平均を用いて使用しても構わない。これにより、ノイズの影響を軽減することが可能である。また、その他のフィルタ処理を施して信号の確度を上げて使用してももちろん構わない。

以上の処理により、被写体が存在する領域の白飛び及び黒つぶれ画素数に応じて露光制御と画像信号補正を行うことができるため、被写体の視認性を向上させることができる。なお、本実施例ではある程度の白飛びを露光制御で抑え、残った白飛び部分には画像信号補正処理を行うため、露光制御によって画面を暗くしすぎることなく視認性の向上を実現することができる。また、第一画像信号補正処理によってダイナミックレンジが縮小された場合でも、第二画像信号補正処理によって再びダイナミックレンジを拡大することができるため、視認性がさらに向上する。

（３）実施例２の効果
第一画像信号補正処理については、実施例１の図４及び図５で画像信号補正処理として説明したものと同様である。

図８は、第二画像信号補正処理の効果の一例を示す図である。（ａ）は、ステップＳ７０７（図７）で第一画像信号補正処理（低輝度側）を行った後の画像信号に対するヒストグラムである。８０１は、黒つぶれになる輝度レベルの範囲を、８０２は、白飛びになる輝度レベルの範囲を示す。８０３は、各輝度レベルを持つ画素数をプロットしたものである。（ａ）の例では、第一画像信号補正処理によって、黒つぶれ部分を明るい側に、白飛び部分を暗い側に補正した結果、白飛び及び黒つぶれは解消されたが、輝度レベルの最小値（０）付近と最大値（ｍａｘ）付近の画素が存在しない状態になっていることがわかる。この場合、画面上で黒い被写体がグレーに見えることがある。なお、輝度レベルの最小値はｙ１であり、最大値はｙ２である。また、０＜ｙ１＜ｙ２＜ｍａｘである。（ａ）の輝度分布の場合、輝度レベル０からｙ１と、輝度レベルｙ２からｍａｘの画素が存在せず、出力信号のダイナミックレンジが無駄になっている。そこで、第二画像信号補正処理により、（ｂ）の矢印の方向に信号の輝度レベルを補正する。８０４は、第二画像信号補正処理後の画像信号に対するヒストグラムである。

以上の第二画像信号補正処理により、出力信号のダイナミックレンジの無駄をなくし、黒い被写体を黒として出力することができる。

図９は、ステップＳ７０８（図７）で行う第二画像信号補正処理の一例を示す図である。（ａ）は、ステップＳ７０７で第一画像信号補正処理（低輝度側）を行った後の画像信号に対するヒストグラムである。９０１は、各輝度レベルを持つ画素数をプロットしたものである。（ａ）の例では、画像入力部からの画像信号のダイナミックレンジがもともと狭いため、輝度レベルの最小値（０）付近と最大値（ｍａｘ）付近の画素が存在しない状態になっている。なお、輝度レベルの最小値はｙ１であり、最大値はｙ２である。また、０＜ｙ１＜ｙ２＜ｍａｘである。（ａ）の輝度分布の場合、輝度レベル０からｙ１と、輝度レベルｙ２からｍａｘの画素が存在せず、出力信号のダイナミックレンジが無駄になっている。しかし、第二画像信号補正処理によって、（ｂ）の矢印の方向に信号の輝度レベルを補正して最小値を０に、最大値をｍａｘにすると、元の画像信号に対する補正量が大きすぎるため不自然な画像になることがある。そこで、（ｃ）の暗側オフセット９０２及び明側オフセット９０３を設定し、第二画像信号補正処理によって画像信号を補正しすぎないようにする。具体的には、ｙ１がｙ３に、ｙ２がｙ４になるよう画像信号のダイナミックレンジを拡大する。なお、各オフセット値は、ｙ１及びｙ２を用いて算出すると、より自然な出力画像を生成できる。

以上の第二画像信号補正処理により、第二画像信号補正処理によって画像信号を補正しすぎることなく、自然な出力画像を生成することができる。

なお、実施例２では、白飛びを露光制御及び画像信号補正処理で抑制し、黒つぶれを画像信号補正処理で抑制すると前述したが、その他にも、白飛びを画像信号補正処理で抑制し、黒つぶれを露光制御及び画像信号補正処理で抑制してももちろん構わない。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１…撮像部、１０２…画像入力部、１０３…被写体認識部、１０４…輝度統計情報算出部、１０５…入出力特性制御部、１０６…画像信号補正部、１０７…画像出力部、２０１…黒つぶれしている輝度レベルの範囲、２０２…白飛びしている輝度レベルの範囲、５０１…黒つぶれしている輝度レベルの範囲、５０２…白飛びしている輝度レベルの範囲、５０３…（ａ）のヒストグラム、５０４…（ｂ）のヒストグラム、５０５…露光制御による変化方向、５０６…（ｃ）のヒストグラム、５０７…画像信号補正による変化方向、５０８…（ｄ）のヒストグラム、５０９…画像信号補正による変化方向、６０１…撮像部、６０２…画像入力部、６０３…被写体認識部、６０４…第一輝度統計情報算出部、６０５…第一入出力特性制御部、６０６…第一画像信号補正部、６０７…第二輝度統計情報算出部、６０８…第二入出力特性制御部、６０９…第二画像信号補正部、６１０…画像出力部、８０１…黒つぶれしている輝度レベルの範囲、８０２…白飛びしている輝度レベルの範囲、８０３…（ａ）のヒストグラム、８０４…、９０１…黒つぶれしている輝度レベルの範囲、９０２…白飛びしている輝度レベルの範囲、９０３…（ａ）のヒストグラム、９０４…（ｂ）のヒストグラム、１００１…（ａ）のヒストグラム、１００２…暗側オフセット量、１００３…明側オフセット量

Claims (9)

1. 被写体からの入射光を光電変換し画像信号として出力する撮像素子を含む撮像手段と、
   該撮像素子からの信号を入力する画像入力手段と、
   該画像入力手段からの信号を画像処理し、被写体情報を認識及び検出する被写体認識手段と、
   該被写体認識手段から得た被写体情報を元に該画像入力手段からの信号に対して被写体が存在する領域の輝度統計情報を算出する輝度統計情報算出手段と、
   該画像入力手段からの信号に対して入出力特性制御を行う入出力特性制御手段と、
   該画像入力手段からの信号に対して任意の領域ごとに画像信号補正を行う画像信号補正手段と、
   を具備し、
   前記入出力特性制御手段は、
   前記輝度統計情報算出手段から得た輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう前記撮像手段を制御し、かつ、前記輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう前記画像信号補正手段を制御すること、
   を特徴とする画像信号処理装置。
2. 被写体からの入射光を光電変換し画像信号として出力する撮像素子を含む撮像手段と、
   該撮像素子からの信号を入力する画像入力手段と、
   該画像入力手段からの信号を画像処理し、被写体情報を認識及び検出する被写体認識手段と、
   該被写体認識手段から得た被写体情報を元に該画像入力手段からの信号に対して被写体が存在する領域の輝度統計情報を算出する輝度統計情報算出手段と、
   該画像入力手段からの信号に対して入出力特性制御を行う入出力特性制御手段と、
   該画像入力手段からの信号に対して任意の領域ごとに画像信号補正を行う画像信号補正手段と、
   を具備し、
   前記入出力特性制御手段は、
   前記輝度統計情報算出手段から得た輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう前記撮像手段を制御し、かつ、前記輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう前記画像信号補正手段を制御すること、
   を特徴とする画像信号処理装置。
3. 被写体からの入射光を光電変換し画像信号として出力する撮像素子を含む撮像手段と、
   該撮像素子からの信号を入力する画像入力手段と、
   該画像入力手段からの信号を画像処理し、被写体情報を認識及び検出する被写体認識手段と、
   該被写体認識手段から得た被写体情報を元に該画像入力手段からの信号に対して被写体が存在する領域の輝度統計情報を算出する第一輝度統計情報算出手段と、
   該画像入力手段からの信号に対して入出力特性制御を行う第一入出力特性制御手段と、
   該画像入力手段からの信号に対して任意の領域ごとに画像信号補正を行う第一画像信号補正手段と、
   該第一画像信号補正手段の出力の輝度信号統計情報を算出する第二輝度信号統計情報算出手段と、
   該第二輝度信号統計情報を用いて、該第一輝度信号統計情報算出手段からの出力に対して領域ごとに入出力特性の変化を制御する第二入出力特性制御手段と、
   該第二入出力特性制御手段の出力に応じて画像信号補正を行う第二画像信号補正手段と、
   を具備し、
   前記第一入出力特性制御手段は、
   前記第一輝度統計情報算出手段から得た輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう前記撮像手段を制御し、かつ、前記第一輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう前記第一画像信号補正手段を制御すること、
   を特徴とする画像信号処理装置。
4. 被写体からの入射光を光電変換し画像信号として出力する撮像素子を含む撮像手段と、
   該撮像素子からの信号を入力する画像入力手段と、
   該画像入力手段からの信号を画像処理し、被写体情報を認識及び検出する被写体認識手段と、
   該被写体認識手段から得た被写体情報を元に該画像入力手段からの信号に対して被写体が存在する領域の輝度統計情報を算出する第一輝度統計情報算出手段と、
   該画像入力手段からの信号に対して入出力特性制御を行う第一入出力特性制御手段と、
   該画像入力手段からの信号に対して任意の領域ごとに画像信号補正を行う第一画像信号補正手段と、
   該第一画像信号補正手段の出力の輝度信号統計情報を算出する第二輝度信号統計情報算出手段と、
   該第二輝度信号統計情報を用いて、該第一輝度信号統計情報算出手段からの出力に対して領域ごとに入出力特性の変化を制御する第二入出力特性制御手段と、
   該第二入出力特性制御手段の出力に応じて画像信号補正を行う第二画像信号補正手段と、
   を具備し、
   前記第一入出力特性制御手段は、
   前記第一輝度統計情報算出手段から得た輝度統計情報を用いて、信号の低輝度領域の特に黒つぶれ画素を減らすよう前記撮像手段を制御し、かつ、前記第一輝度統計情報を用いて、信号の高輝度部分の特に白飛び画素を減らすよう前記第一画像信号補正手段を制御すること、
   を特徴とする画像信号処理装置。
5. 請求項１または２の画像信号処理装置において、
   前記入出力特性制御手段は、
   少なくとも低輝度部分と高輝度部分とで異なる複数の入出力特性制御を行うこと、
   を特徴とする画像信号処理装置。
6. 請求項３または４の画像信号処理装置において、
   前記第一入出力特性制御手段は、
   少なくとも低輝度部分と高輝度部分とで異なる複数の入出力特性制御を行うこと、
   を特徴とする画像信号処理装置。
7. 請求項１または２の画像信号処理装置において、
   前記輝度統計情報算出手段は、前記画像入力手段からの信号におけるヒストグラム分布、最大値最小値、平均値のいずれかまたは複数を検出すること、
   を特徴とする画像信号処理装置。
8. 請求項３または４の画像信号処理装置において、
   前記第一輝度統計情報算出手段は、前記画像入力手段からの信号におけるヒストグラム分布、最大値最小値、平均値のいずれかまたは複数を検出し、
   前記第二輝度統計情報算出手段は、前記第一画像信号補正手段からの信号におけるヒストグラム分布、最大値最小値、平均値のいずれかまたは複数を検出すること、
   を特徴とする画像信号処理装置。
9. 請求項３または４の画像処理装置において、
   前記第二入出力特性制御手段は、
   前記第二輝度信号統計情報算出手段から得た輝度信号統計情報に対して所定のフィルタ処理を行うこと、
   を特徴とする画像信号処理装置。

Images