JP2017011366A

JP2017011366A - 画像処理装置および画像処理方法ならびに撮像装置

Info

Publication number: JP2017011366A
Application number: JP2015122111A
Authority: JP
Inventors: 木村　直人; Naoto Kimura; 直人木村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-06-17
Filing date: 2015-06-17
Publication date: 2017-01-12
Anticipated expiration: 2035-06-17
Also published as: JP6514577B2

Abstract

【課題】被写体のＤレンジが広い場合でも、適切に被写体の明るさを判定することを可能にする。【解決手段】画像処理装置は、入力された画像の輝度画像を生成し、輝度画像における特定の被写体領域の位置に関連して輝度画像から選択された画素の輝度値に基づいて第１の輝度値を算出し、輝度画像における特定の被写体領域内の輝度値の度数分布と第１の輝度値とに基づいて第２の輝度値を算出し、第１の輝度値と第２の輝度値に基づいて特定の被写体領域の明るさを表す代表輝度値を決定する。【選択図】図３

Description

本発明は、画像処理装置および画像処理方法ならびに撮像装置に関する。

従来より、画像を撮影する際の適切な露光量制御を行う技術や、撮影した画像に最適な階調処理を行う技術が提案されている。しかしながら、被写体領域内でダイナミックレンジ（以下、Ｄレンジ）の広い斜光人物等のシーンでは、被写体の明るさを適切に判定することが困難であり、適切な露光量制御や適切な階調処理を実現するのが困難であった。例えば、特許文献１では、撮影画像のブロック積分の結果によって算出された第１の露出補正値と、ヒストグラムによって算出された第２の露出補正値とを用いることが提案されている。特許文献１では、画面全体の平均輝度が閾値以下の場合は第１、第２の露出補正値のうちの小さい方を、平均輝度値が閾値以上の場合はそれらのうちの大きい方を最終的な露出補正値として設定することが提案されている。

特開２０１１−２５９２２６号公報

しかしながら、上述の特許文献に開示された従来技術では、撮影画像における被写体位置を加味しておらず、特に被写体のＤレンジが広い場合には、被写体を適切な明るさにするような露光量の設定や階調処理を実現するのは難しい。また、画面全体の平均輝度に応じて露出補正値を切り替えているため、被写体が小さいシーンでは、適切な補正が行われにくいという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、被写体のＤレンジが広い場合でも、適切に被写体の明るさを判定することを可能にすることを目的とする。

上記の目的を達成するための、本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
入力された画像の輝度画像を生成する生成手段と、
前記輝度画像における特定の被写体領域の位置に関連して前記輝度画像から選択された画素の輝度値に基づいて第１の輝度値を算出する第１の算出手段と、
前記輝度画像における前記特定の被写体領域内の輝度値の度数分布と前記第１の輝度値とに基づいて第２の輝度値を算出する第２の算出手段と、
前記第１の輝度値と前記第２の輝度値に基づいて前記特定の被写体領域の明るさを表す代表輝度値を決定する決定手段と、を備える。

本発明によれば、被写体のＤレンジが広い場合でも、適切に被写体の明るさを判定することが可能になる。

実施形態による撮像装置の構成例を示したブロック図。撮像装置が有する画像処理装置の構成例を示したブロック図。画像処理装置が有する代表輝度値算出部内の構成例を示したブロック図。画像処理部の処理を示したフローチャート。代表輝度値算出部の処理の流れを示したフローチャート。実施形態によるブロック積分を説明した図。顔検出枠とブロックへの重み付けについて説明した図。顔検出枠内のヒストグラムについて説明した図。ヒストグラムの累積加算と輝度ポイントについて説明した図。輝度ポイントに対する重みについて説明した図。最終代表輝度値を算出するために必要な調整量について説明した図。階調特性の調整について説明した図。

以下に、本発明の好ましい実施形態について、添付の図面に基づいて詳細に説明する。以下に説明する実施形態では、Ｄレンジの広い被写体の画像（たとえば斜光状態となっている人物の画像）の明るさ（代表輝度値）を適切に判定し、被写体の画像を好適な明るさで得るための露光量や階調処理のための階調特性を調整する。なお、以下の実施形態では、斜光状態となっている人物が写っているシーンを例として説明しているが、本発明これに限られるものではない。斜光などにより明暗差が生じた被写体が写っているシーンであれば、人物以外のシーンであっても本発明を適用可能である。

図１は、本実施形態の画像処理装置を適用した撮像装置の構成例を示すブロック図である。図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備えている。光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整する。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換により電気信号に変換するＣＣＤやＣＭＯＳセンサー等の光電変換素子である。

Ａ／Ｄ変換部１０３は、入力された映像信号をデジタルの画像に変換する。画像処理部１０４は、通常の信号処理の他に、後述する露光量算出処理や階調処理を行う。なお、画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された画像のみでなく、記録部１０９から読み出した画像に対しても同様の画像処理を行うことができる。露光制御部１０５は、画像処理部１０４によって算出された露光量での撮像を実現するために、光学系１０１の露出を制御（たとえば、絞り、シャッタースピードの制御）するとともに、撮像部１０２の制御（たとえば、センサーのアナログゲインの制御）を行う。

システム制御部１０６は、本実施形態の装置全体の動作を制御、統括する制御機能部である。システム制御部１０６は、画像処理部１０４で処理された画像から得られる輝度値や操作部１０７から送信された指示に基づいて、光学系１０１や撮像部１０２の駆動制御も行う。操作部１０７はユーザインターフェースを提供し、ユーザ操作に応じた指示をシステム制御部１０６に出力する。表示部１０８は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像部１０２で生成された画像や、記録部１０９から読み出した画像を表示する。記録部１０９は、画像を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよい。また、記録部１０９において、このような情報記録媒体が着脱可能であってもよい。バス１１０は、画像処理部１０４、システム制御部１０６、表示部１０８、および、記録部１０９を接続し、これらの間でデータ（たとえば画像）をやり取りすることを可能にする。

次に、画像処理部１０４の動作、処理について説明する。図２は、画像処理部１０４の露光量算出処理と階調処理を実現するための構成例を示したブロック図である。画像処理部１０４は、画像入力部２０１、代表輝度値算出部２０２、階調特性生成部２０３、露光量算出部２０４、現像処理部２０５、顔検出部２０６を有する。なお、画像処理部１０４には、本撮影前の撮影待機状態において得られた撮影画像や本撮影時の撮影画像が入力される。これら撮影画像はともに画像処理部１０４の画像入力部２０１から入力される。画像入力部２０１が本撮影前の撮影画像を入力した場合には、その撮影画像は露光量算出部２０４による露光量の算出に用いられ、得られた露光量算出結果は露光制御部１０５へ出力される。他方、本撮影時の撮影画像が入力された場合は、階調特性生成部２０３による階調特性の生成に用いられ、現像処理部２０５が生成された階調特性を用いて撮影画像に階調処理を施し、出力画像を得る。

図４は、図２の画像処理部１０４の各ブロックの処理、機能を示すフローチャートである。以下、図４のフローチャートを参照して画像処理部１０４の露光量算出処理と階調処理の流れについて詳細に説明する。図４において、ステップＳ４０１〜Ｓ４０２の処理は、代表輝度値を決定するための処理であり、露光量算出処理および階調処理に共通の処理である。ステップＳ４０３では、たとえば、入力された撮影画像が本撮影の撮影画像化撮影待機中の撮影画像化に応じて、露光量算出処理または階調処理を実行するために処理が分岐する。入力された画像が撮影待機中の撮影画像であれば、露光量算出処理を実行するべくステップＳ４０４〜Ｓ４０５の処理が実行される。また、入力された画像が本撮影による撮影画像であれば、階調特性を決定して現像処理を実行するためにステップＳ４０６〜Ｓ４０８の処理が実行される。以下、各ステップについて詳細に説明する。

ステップＳ４０１において、画像入力部２０１は、処理対象の撮影画像を入力する。ステップＳ４０２において、代表輝度値算出部２０２は、露光量・階調特性を決めるための代表輝度値を算出する。本実施形態が想定するシーンの場合、斜光状態の人物の代表輝度値が算出されることになる。したがって、代表輝度値算出部２０２は、顔検出部２０６が入力された撮影画像から検出した人物の顔の位置を用いて代表輝度値を算出する。なお、顔検出部２０６による撮影画像からの顔の検出処理には周知の技術を適用できる。代表輝度値の算出方法については、後述する。

次に、ステップＳ４０３において、画像処理部１０４は、本撮影前の露光量算出処理と本撮影後の階調処理の何れを実行するのかを判定する。たとえば、画像処理部１０４は、画像入力部２０１が入力した撮影画像が、本撮影前の（撮影待機状態の）撮影画像であるか本撮影により得られた撮影画像であるかを判定し、露光量算出処理と階調処理のいずれを実行するかを決定する。本撮影前の露光量算出処理を実行すると判定された場合、処理はステップＳ４０４へ進む。また、本撮影後の階調処理を実行すること判定された場合、処理はステップＳ４０６へ進む。

ステップＳ４０４において、露光量算出部２０４は、ステップＳ４０２で算出した代表輝度値をもとに、撮影するために最適と判断される露光量を算出する。露光量算出部２０４による露光量の算出方法については後述する。ステップＳ４０５において、露光量算出部２０４は、ステップＳ４０４で算出した露光量を画像処理部１０４の出力データとして出力し、画像処理部１０４の処理を終了する。なお、この出力データは露光制御部１０５の入力データとなる。

他方、階調処理を実行する場合、ステップＳ４０６において、階調特性生成部２０３は、ステップＳ４０２で算出した代表輝度値をもとに階調処理を行うための階調特性を算出する。階調特性の算出方法については後述する。次に、ステップＳ４０７において現像処理部２０５は、ステップＳ４０１で入力された撮影画像に対し、現像処理を行う。現像処理では、ステップＳ４０６で算出した階調特性をもとに撮影画像に対して階調処理を行うだけでなく、ホワイトバランス処理や、ノイズリダクション処理、エッジ強調処理等の処理も行う。ステップＳ４０８において、現像処理部２０５は、ステップＳ４０７で現像処理を行って得られた画像を画像処理部１０４の出力データとして出力し、画像処理部１０４の処理を終了する。以上が、画像処理部１０４の処理である。

次に、代表輝度値算出部２０２（ステップＳ４０２）による代表輝度値の算出方法について説明する。図３は、代表輝度値算出部２０２の構成例を示したブロック図である。代表輝度値算出部２０２は、輝度画像生成部３０１、ブロック処理部３０２、第１輝度値算出部３０３、ヒストグラム算出部３０４、輝度ポイント算出部３０５、第２輝度値算出部３０６、第３輝度値算出部３０７を有する。

図５は代表輝度値算出部２０２による代表輝度値の算出処理を示すフローチャートである。図４に示される代表輝度値算出部２０２の各構成の動作について、図５のフローチャートを参照して説明する。なお、本実施形態の代表輝度値算出部２０２の主な処理の流れは、
・撮影画像の輝度画像における特定の被写体領域（本実施形態では顔の領域）の位置に関連して輝度画像から選択された画素の輝度値に基づいて第１の輝度値を算出する。
・輝度画像における特定の被写体領域内の輝度値の度数分布（ヒストグラム）と第１の輝度値とに基づいて第２の輝度値を算出する。
第１の輝度値と第２の輝度値に基づいて特定の被写体領域の明るさを表す代表輝度値を決定し出力する、というものである。

まず、ステップＳ５０１において、輝度画像生成部３０１は、入力された撮影画像から輝度信号のみで構成される輝度画像を生成する。輝度信号Ｙの生成には公知手法を適用することができ、たとえば、Ｒ、Ｇ、Ｂ信号を下記（式１）の様に混合（ＭＩＸ）して作成する。なお、（式１）においてk、l、mはそれぞれ輝度信号を作成するためのＭＩＸ係数である。

次に、ステップＳ５０２〜Ｓ５０３により、第１の輝度値が算出される。本実施形態では、輝度画像の画素と特定の被写体領域との位置関係に応じた重みを用いて、輝度値の重み付け平均を、第１の輝度値として算出する。本実施形態では、輝度画像の画素と特定の被写体領域との位置関係に応じた重み付けによる重み付け平均を得る方法として、以下のような処理を行う。すなわち、輝度画像を複数の部分領域（本実施形態ではブロック）に分割し、部分領域ごとに平均輝度値を取得する。そして、特定の被写体領域と部分領域の位置関係に基づいて部分領域ごとの重みを決定し、決定された重みを用いることにより、部分領域ごとの平均輝度値を重み付け平均して、第１の輝度値を算出する。以下、より具体的に説明する。

まず、ステップＳ５０２において、ブロック処理部３０２は、ステップＳ５０１で作成した輝度画像についてブロック積分処理を行う。本実施形態のブロック積分処理では、まず、ブロック処理部３０２が図６（ａ）に示すような、輝度画像生成部３０１が生成した輝度画像６０１を、図６（ｂ）に示すように矩形分割して複数の矩形を得る。以降の説明では、矩形分割により得られた枠をブロック積分枠６０２と呼称する。そして、ブロック処理部３０２は、ブロック積分枠６０２内の画素の輝度値を積分し、その積分結果をそのブロック積分枠６０２内の画素数で平均する。こうして、各ブロック積分枠のブロック積分結果が得られる。

ステップＳ５０３において、第１輝度値算出部３０３は、ステップＳ５０２で作成したブロック積分結果から第１の輝度値を算出する。第１輝度値算出部３０３は、下記の（式２）で示す様に、ブロック積分結果に重みを加えて加重平均することによって第１の輝度値repY1を算出する。なお、（式２）において、全ブロック数をB_NUM、i番目のブロック積分結果をBY(i)、i番目のブロックに対応する重みw_iとする。

本実施形態では、ブロックに対応する重みw_iは、撮影画像中で検出された人物の顔検出枠を元に生成される。なお、顔検出枠は、撮影画像から顔を検出する顔検出部２０６により提供される。なお、顔検出枠を生成するのに用いられる画像（顔の検出に用いられる画像）は、画像入力部２０１が入力した撮影画像であってもよいし、輝度画像生成部３０１が生成した輝度画像であってもよい。図７（ａ）に示すように、輝度画像６０１において顔検出枠７０１が配置される。図７（ｂ）は、各ブロック積分枠と顔検出枠７０１の位置関係を示している。ブロック処理部３０２は、顔検出枠７０１がブロック積分枠に含まれる面積によって各ブロック検出枠の重みを決定する。図７（ｄ）に示されるように、顔検出枠７０１が全く含まれないブロック検出枠の重みは０となり、顔検出枠７０１が含まれる面積が大きくなればなる程重みが大きくなるように重み値を設定する。このような重み付けの性質により、被写体の顔領域の輝度が多く含まれているブロック積分値を重視した代表輝度値が算出される。図７（ｃ）は、ブロック積分枠と顔検出枠７０１が図７（ｂ）に示されるような位置関係にある場合の、各ブロック積分枠に対して設定される重み付け値の様子を示している。図７（ｃ）において、黒いブロック積分枠は重み値が０であり、白いブロック積分枠は重み値が１であり、白に近いほど重み値が大きい。

以上の様に、第１の輝度値の特徴の一つは、撮影画像内の被写体位置に応じた重みで被写体の明るさを求めるという点である。また、被写体の周辺領域の輝度も含んだブロック積分枠のブロック積分結果も用いられるため、被写体の分光反射率の依存性をある程度低くしてロバスト性を高めているという特徴もある。

次に、ステップＳ５０４〜Ｓ５０６により、第２の輝度値が算出される。上述したように、第２の輝度値は、輝度画像における特定の被写体領域（顔検出枠）内の輝度値の度数分布（ヒストグラム）と第１の輝度値とに基づいて算出される。本実施形態では、
・輝度値の度数分布について輝度の順に度数を累積した累積加算値が予め設定された複数の閾値に達したときの複数の輝度値の各々と第１の輝度値との差に基づいて、複数の輝度値の各々に重みを設定し、
・設定された重みを用いた複数の輝度値の重みづけ平均を第２の輝度値として算出する。以下、より具体的に第２の輝度値の算出処理を説明する。

まず、ステップＳ５０４において、ヒストグラム算出部３０４は、ステップＳ５０１で作成した輝度画像を入力としてヒストグラムを作成する。ヒストグラム算出部３０４は、図８（ａ）で示している様に顔検出枠７０１内の輝度の度数分布（輝度ヒストグラム）を算出する。そのような輝度ヒストグラムの一例を図８（ｂ）に示す。次に、ステップＳ５０５において、輝度ポイント算出部３０５は、ステップＳ５０４で作成したヒストグラムから輝度ポイントを算出する。輝度ポイントは後述のステップＳ５０６における第２の輝度値の算出に用いられる。

図９は本実施形態における輝度ポイントを算出する処理について説明する図である。輝度ポイント算出部３０５は、ステップＳ５０４で作成された顔検出枠７０１のヒストグラム（図９（ａ））を低輝度側から累積加算していき、累積加算値がある閾値に達した時点での輝度値を輝度ポイントとして算出する。ここで、閾値とは、顔検出枠７０１の面積、つまりヒストグラムの度数の合計値に対する累積加算値の割合を用いている。本実施形態では累積加算値が度数の合計値に対して２０、４０、６０、８０％に達した輝度値を輝度ポイント［１］から輝度ポイント［４］として算出する。図９（ａ）、（ｂ）の様に、斜光状態の人物の顔検出枠７０１から作成したヒストグラムから算出した輝度ポイントはそれぞれ離れた位置に分布する傾向にある。反対に図９（ｃ）の様に、斜光状態ではない人物の顔検出枠から作成されたヒストグラムから算出した輝度ポイントは、図９（ｄ）に示されるように、それぞれ近い位置に分布する傾向にあるという特徴がある。

図５に戻り、ステップＳ５０６において、第２輝度値算出部３０６は、ステップＳ５０５で算出した輝度ポイントとステップＳ５０３で算出した第１の輝度値を入力として、第２の輝度値を算出する。図１０を用いて、第２の輝度値の算出方法について詳細に説明する。第２輝度値算出部３０６は、第２の輝度値repY2を（式３）を用いて、各輝度ポイントの値を用いて２種類の重みW1、W2によって加重平均する事で算出する。（式３）において、Y_1〜Y_4は各輝度ポイントの輝度値、W1_1〜W1_4は第１の重み、W2_1〜W2_4は第２の重みを示す。

（式３）の第１の重みW1は、第１の輝度値に対して輝度ポイントが異なっているほど重みを大きくするような重みとなっている。第２輝度値算出部３０６では、図１０（ａ）で示されるように輝度ポイントと第１の輝度値の差分絶対値（dist1〜dist4）を取得し、たとえば図１０（ｂ）の特性（重み値W1はdistの値に比例する）にしたがって重みW1を決定する。なお、図１０（ｂ）では正比例の関係を示したが、これに限られるものではない。前述した通り、輝度ポイントが第１の輝度値から離れている程、重みW1を大きくする特性となっていればよい。

他方、第２の重みW2は、図１０（ｃ）で示したように、各輝度ポイントに対してあらかじめ設定した固定の重みとなっている。第２の重みW2は、低輝度側の輝度ポイントを重視するか、高輝度側の輝度ポイントを重視するかを決めている。たとえば、輝度ポイント［１］［２］の重みW2_1、W2_2を大きくすれば低輝度側重視、輝度ポイント［３］［４］の重みW2_3、W2_4を大きくすれば高輝度側重視となる。具体的な重み値は、ユーザが所定のユーザインターフェースを介して設定できるようにしてもよいし、装置に固定の値としてもよい。

以上の様に、本実施形態では、被写体領域内のヒストグラムを参照することにより、低輝度から高輝度にかけて偏りのある輝度分布になっているかどうかを判断し、偏りを考慮した明るさを第２の輝度値として算出している。これは、本実施形態の特徴の一つである。なお、第２の輝度値算出において、第１の輝度値を用いて偏りを算出するという点も特徴の一つである。なお、上記では第２の輝度値を算出するための重み値としてW1とW2を用いたが、W1のみを用いて第２の輝度値を算出してもよい。

図５に戻り、ステップＳ５０７において、第３輝度値算出部３０７は、ステップＳ５０３で算出した第１の輝度値repY1と、ステップＳ５０６で算出した第２の輝度値repY2を元に最終的な代表輝度値rep_Yを決定する。代表輝度値rep_Yは、下記の（式４）の様に第１の輝度値rep_Y1に対し調整量ADJを加味して算出される。

（式４）において、調整量ADJは図１１の様に、第２の輝度値repY2と第１の輝度値repY1の輝度段差によって算出される。上記の様にすることで、入力した撮影画像における被写体の明るさが決定される。なお、本実施形態では、輝度段差として、第２の輝度値repY2と第１の輝度値repY1の比の二進対数（LOG₂(repY2／repY1)）を用い、そのような輝度段差に比例した値を調整量ADJとしている（図１１）。そして、この調整量ADJを指数として２をべき乗した値を第１の輝度値に乗じて代表輝度値を決定する。

以上、代表輝度値算出部２０２による代表輝度値の算出処理（ステップＳ４０２）について説明した。

次に、図４のステップＳ４０４の露光量算出方法について説明する。露光量算出においては、代表輝度値算出部２０２が算出した代表輝度値rep_Yが用いられる。露光量算出部２０４は、算出された露光量をtarget_bv、現在の入力画像の露光量をcapture_bv、被写体の目標輝度値をtarget_Yとすると、たとえば（式５）の様にして露光量を算出する。この様にして露光量を算出することで斜光状態の被写体（人物）を適切な明るさで撮影できるように露光量を制御することができる。

次に、ステップＳ４０６の階調特性算出方法について説明する。本実施形態の階調特性はγカーブによる階調圧縮の特性を指しており、階調を維持する輝度域と、階調を圧縮する輝度域がある。階調特性生成部２０３は、図１２（ａ）に示される様に輝度域を分ける境界となるPOINTを左右に移動することにより、斜光状態の人物でも適切な明るさとなるように調整された階調特性を作成する。POINTの調整は前述した代表輝度値rep_Yと第１の輝度値repY1を用いて算出する。調整後のPOINTをOUT_POINT、調整前の基準となるPOINTをIN_POINT、POINTの調整量をPOINT_ADJとすると下記の（式６）の様に調整する。

POINTの調整量POINT_ADJは、図１２（ｂ）のように第１の輝度値repY1と代表輝度値rep_Yの輝度段差に基づいて決定される。図１２（ｂ）の横軸では、輝度段差として、第１の輝度値repY1と代表輝度値rep_Yの比の二進対数（LOG₂(repY2／rep_Y)）が用いられている。このような階調特性の調整によれば、第１の輝度値rep_Y1が代表輝度値rep_Yよりも高い場合は、高輝度側の階調を圧縮する輝度域を拡げるため、POINT_ADJは１より小さい値となる。反対に、代表輝度値rep_Yが第１の輝度値rep_Y1よりも高い場合は、低輝度側の階調を維持する輝度域を拡げるため、POINT_ADJは１より大きい値となる。以上のように階調特性を調整することにより、斜光状態の人物の明部と暗部でそれぞれ階調をコントロールして適切な明るさとなる階調特性を算出することが出来る。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、画像処理装置の適用は、デジタルカメラやビデオカメラといった撮像装置に限られるものではなく、携帯端末、ＰＣなど、種々の電子機器に適用できる。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：光学系、１０２：撮像部、１０３：Ａ／Ｄ変換部、１０４：画像処理部、１０５：露光制御部、１０６：システム制御部、１０７：操作部、１０８：表示部、１０９：記録部、１１０：システムバス、２０２：代表輝度値算出部、３０１：輝度画像生成部、３０２：ブロック処理部、３０３：第１輝度値算出部、３０４：ヒストグラム算出部、３０５：輝度ポイント算出部、３０６：第２輝度値算出部、３０７：第３輝度値算出部

Claims

入力された画像の輝度画像を生成する生成手段と、
前記輝度画像における特定の被写体領域の位置に関連して前記輝度画像から選択された画素の輝度値に基づいて第１の輝度値を算出する第１の算出手段と、
前記輝度画像における前記特定の被写体領域内の輝度値の度数分布と前記第１の輝度値とに基づいて第２の輝度値を算出する第２の算出手段と、
前記第１の輝度値と前記第２の輝度値に基づいて前記特定の被写体領域の明るさを表す代表輝度値を決定する決定手段と、を備えることを特徴とする画像処理装置。
前記第１の算出手段は、前記輝度画像の画素と前記特定の被写体領域との位置関係に応じた重みを用いた、輝度値の重み付け平均を前記第１の輝度値として算出することを特徴とする請求項１に記載の画像処理装置。
前記第１の算出手段は、
前記輝度画像を複数の部分領域に分割し、
部分領域ごとに平均輝度値を取得し、
前記特定の被写体領域と部分領域の位置関係に基づいて部分領域ごとの重みを決定し、
前記決定された重みを用いることにより、部分領域ごとに取得された平均輝度値を重み付け平均して、前記第１の輝度値を得ることを特徴とする請求項１または２に記載の画像処理装置。
前記部分領域ごとの重みは、部分領域の前記特定の被写体領域が占める割合に応じて設定されることを特徴とする請求項３に記載の画像処理装置。
前記第２の算出手段は、
輝度値の度数分布について輝度の順に度数を累積した累積加算値が予め設定された複数の閾値に達したときの複数の輝度値の各々と第１の輝度値との差に基づいて、複数の輝度値の各々に重みを設定し、
設定された重みを用いた複数の輝度値の重みづけ平均を第２の輝度値として算出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記複数の輝度値の各々には、前記第１の輝度値との差が大きいほど、大きい重みが設定されることを特徴とする請求項５に記載の画像処理装置。
前記第２の算出手段は、前記複数の閾値の各々に対応して予め設定されている重みをさらに用いて前記複数の輝度値の各々に重み付けを行い、
前記予め設定されている重みは、低輝度側ほど大きい値である、または、高輝度側ほど大きい値である、ことを特徴とする請求項５または６に記載の画像処理装置。
前記決定手段は、前記第１の輝度値と前記第２の輝度値との第１の比に基づいて前記第１の輝度値を調整することにより前記代表輝度値を決定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記決定手段は、前記第１の比の二進対数に比例した値を指数として２をべき乗した値を調整量とし、前記第１の輝度値から前記調整量を差し引くことで前記代表輝度値を決定することを特徴とする請求項８に記載の画像処理装置。
前記決定手段により決定された前記代表輝度値に基づいて撮影のための露光量を算出する第３の算出手段をさらに備えることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
前記代表輝度値に基づいて、前記入力された画像の階調処理に用いる階調特性を調整する調整手段をさらに備えることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
前記調整手段は、前記代表輝度値と前記第１の輝度値との比に基づいて、前記階調特性を調整することを特徴とする請求項１１に記載の画像処理装置。
前記調整手段は、前記比の二進対数に比例した値を調整量とし、前記階調特性における階調を維持する輝度域と階調を圧縮する輝度域との境界を、前記調整量を用いて変更することを特徴とする請求項１２に記載の画像処理装置。
撮像手段と、
請求項１０に記載の画像処理装置と、
前記撮像手段により撮影待機中に撮影された画像を前記画像処理装置に入力することにより、撮影のための前記露光量を取得し、取得された前記露光量を用いて前記撮像手段の露出を制御する制御手段と、を備えることを特徴とする撮像装置。
撮像手段と、
請求項１１乃至１３のいずれか１項に記載の画像処理装置と、
前記撮像手段により本撮影で撮影された画像を前記画像処理装置に入力することにより前記調整手段により調整された前記階調特性を取得し、取得された前記階調特性を用いて前記撮影された画像を処理する処理手段と、を備えることを特徴とする撮像装置。
画像処理装置による画像処理方法であって、
入力された画像の輝度画像を生成する生成工程と、
前記輝度画像における特定の被写体領域の位置に関連して前記輝度画像から選択された画素の輝度値に基づいて第１の輝度値を算出する第１の算出工程と、
前記輝度画像における前記特定の被写体領域内の輝度値の度数分布と前記第１の輝度値とに基づいて第２の輝度値を算出する第２の算出工程と、
前記第１の輝度値と前記第２の輝度値に基づいて前記特定の被写体領域の明るさを表す代表輝度値を決定する決定工程と、を有することを特徴とする画像処理方法。
請求項１６に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。