JP2013135341A - 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】撮影環境の雰囲気を保ちながら、主被写体からの距離に応じて、露出を変えて撮影した画像の合成比率を変更しつつＨＤＲ合成を行える技術を実現する。
【解決手段】露出を変えて撮影した複数枚の画像を合成する画像処理装置において、被写体ごとの露出値を算出する露出算出手段と、前記露出算出手段により算出された露出値に応じて被写体を撮像する撮像手段と、前記撮像手段により撮像された画像から特定の被写体領域を検出する被写体検出手段と、前記特定の被写体領域から主被写体を決定する主被写体決定手段と、前記主被写体までの距離を取得する距離取得手段と、前記撮像手段により撮像された複数枚の画像を所定の合成比率で合成する画像合成手段と、前記画像合成手段による合成比率を、前記距離取得手段により取得した距離情報に応じて変更する制御手段と、を有する。
【選択図】図３

Description

本発明は、露出を変えて撮影した複数枚の画像を合成することで幅広いダイナミックレンジを持つ画像を生成する技術に関する。

近年、明暗差が大きいことに起因する白飛びや暗部の黒潰れを低減する技術として、露出を変えつつ複数枚の画像を撮影し、これらを合成して幅広いダイナミックレンジを持つ画像を生成するハイダイナミックレンジ（ＨＤＲ）合成機能が注目されている。一般的に、ＣＭＯＳイメージセンサ等のダイナミックレンジ（最明部と最暗部との明暗の比）は、自然界のダイナミックレンジよりも狭いため、太陽などの飛び抜けて明るい部分は白く飛び、暗部は黒く潰れることがある。

この白飛びに対して、露出を低くして撮影すれば、全体的に暗くなるため白飛びは抑制できるが、暗部が黒く潰れてしまう。一方、黒潰れに対して、露出を高くすると、全体的に明るくなるため黒潰れは抑制できるが、明部に白飛びが発生してしまう。

ＨＤＲ合成では、同じ構図で高い露出と低い露出で複数枚の画像を撮影し、明るい領域（白飛び等）は、低露出画像に重みをかけ、暗い領域は、高露出画像に重みをかけて合成することにより、白飛びや暗部の黒潰れを改善できる。

ここで、水族館等のように全体的に暗い屋内にライトアップされた水槽が存在する場所で、水槽を背景に人物を撮影する場合（逆光シーン）を考える。通常の撮影では、人物が適正露出となるように撮影するため水槽が白飛びする一方、水槽が適正露出となるように撮影すると人物が黒潰れしてしまう。

このような場合、ＨＤＲ合成機能によって、人物が黒潰れしないような露出で撮影した画像と、水槽が白飛びしないような露出で撮影した画像を合成することで、白飛びや黒潰れのない画像を生成することが可能となる。しかしながら、従来のＨＤＲ合成機能では、人物が黒潰れしないような露出で撮影する際に、建物の壁や床等の人物以外の暗部まで明るくなってしまい、水族館独特の雰囲気を損ねてしまう。

これに対し、特許文献１では、人物の顔領域について適正露出で撮影した画像と高露出で撮影した画像を合成する際に、人物の顔領域については高露出で撮影した画像を合成する割合（以下、合成比率）を高くし、人物から遠ざかるにつれて露出の高い画像の合成比率を小さくしていくことにより人物のみを明るくしている。

特開２００９−０６５３５０号公報

ところが、上記特許文献１における人物からの距離は画像平面上の距離であって、シーンの奥行きを考慮して合成比率を変更するものではない。このため、主被写体より奥の背景に存在する人物を、背景の一部として明るくしたり、主被写体の手前に存在する無関係の人物を暗いままにする、というような柔軟な画像合成は不可能であった。

本発明は、上記課題に鑑みてなされ、その目的は、撮影環境の雰囲気を保ちながら、主被写体からの距離に応じて、露出を変えて撮影した画像の合成比率を変更しつつＨＤＲ合成を行える技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、露出を変えて撮影した複数枚の画像を合成する画像処理装置において、被写体ごとの露出値を算出する露出算出手段と、前記露出算出手段により算出された露出値に応じて被写体を撮像する撮像手段と、前記撮像手段により撮像された画像から特定の被写体領域を検出する被写体検出手段と、前記特定の被写体領域から主被写体を決定する主被写体決定手段と、前記主被写体までの距離を取得する距離取得手段と、前記撮像手段により撮像された複数枚の画像を所定の合成比率で合成する画像合成手段と、前記画像合成手段による合成比率を、前記距離取得手段により取得した距離情報に応じて変更する制御手段と、を有する。

本発明によれば、撮影環境の雰囲気を保ちながら、主被写体からの距離に応じて、露出を変えて撮影した画像の合成比率を変更しつつＨＤＲ合成を行えるようになる。

本実施形態の画像処理装置のブロック図。 レンズ位置と被写体距離との関係を示す図。 本実施形態の画像生成処理を示すフローチャート（ａ）及び背景が適正露出となるように撮影された画像の例示する図（ｂ）。 本実施形態の画像撮影処理（ａ）及び距離情報取得処理（ｂ）を示すフローチャート。 図４（ｂ）の距離取得処理において、（ａ）は画像をブロック分割した状態を示す図、（ｂ）はブロックごとの距離情報を格納するリストを例示する図。 本実施形態の合成対象領域判定処理を示すフローチャート。 主被写体が適正露出となるように撮影された画像を例示する図。 本実施形態のＨＤＲ合成処理を示すフローチャート（ａ）、主被写体の背景に存在する被写体に対する合成比率を示す図（ｂ）、主被写体の手前に存在する被写体に対する合成比率を示す図（ｃ）、及びＨＤＲ合成結果を例示する図（ｄ）。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

以下、本発明の画像処理装置を、画像を撮影するデジタルカメラ等の撮像装置に適用した実施形態について説明する。

＜装置構成＞図１を参照して、本実施形態の撮像装置１００の構成について説明する。

図１において、１０１は撮像装置全体の制御を司るシステム制御部である。システム制御部１０１は後述する各ブロックを制御して、ユーザの設定と操作に応じて画像を処理する。

１０２は絞り・ズーム・フォーカス機能を備えた光学レンズユニットである。

１０３はシステム制御部１０１からの指示に従い、光学レンズユニット１０２を制御するための光学制御部である。具体的には、光学レンズユニット１０２の絞り・ズーム・フォーカスを変更することができる。

１０４は光学レンズユニット１０２を経て導入された被写体の画像を光電変換する撮像素子であり、ＣＣＤイメージセンサやＣＭＯＳイメージセンサが適用される。

１０５はシステム制御部１０１からの指示に従い、撮像素子１０４を制御するための撮像制御部である。具体的には、撮像素子の感度調整（ゲインコントロール）、シャッター時間に従った撮像素子からのデータの読み取りなどを行う（撮像手段）。

撮像装置１００は、光学制御部１０３や撮像制御部１０５により、絞りやシャッタースピードを変更することで露出を制御する（露出算出処理）。

ここで、光学制御部１０３は、撮像素子１０４から出力されるコントラスト電圧が最大になるようにフォーカスモータを駆動してオートフォーカス機能を実現する。詳述すると、このオートフォーカス機能は、光学レンズユニット１０２を移動してピント位置を動かしていくと、撮像される画像のコントラストが変化していき、合焦位置でコントラストが最大になるという性質を利用している。また、光学制御部１０３は、例えば、図２に示すような、光学レンズユニット１０２の位置と、被写体までの距離との関係を示す数式データを位置−距離テーブルとして格納している。これにより、撮像素子１０４から出力されるコントラスト電圧が最大となる場合の光学レンズユニット１０２の位置に対応する距離を、システム制御部１０１に出力することが可能である（距離取得処理）。

記録媒体１０６はシステム制御部１０１からの指示に従いデータを保持する。具体的にはＳＤメモリカード・コンパクトフラッシュカード（登録商標）・メモリスティックなどのカード型で取り外し可能なメモリが用いられる。記録媒体１０６には、撮像制御部１０５が出力する画像データ（ＲＡＷデータ）か、その画像データからシステム制御部１０１が生成した画像データ（ＪＰＥＧデータ）が格納される。

１０７は本実施形態の撮像装置を制御するプログラムと、当該プログラムが使用するデータを格納するための不揮発性メモリ（ＲＯＭ）である。撮像装置に電源が投入されると、システム制御部１０１はＲＯＭ１０７からプログラムを読み込み、撮像装置の制御を開始する。

１０８は撮像装置を制御するプログラムが作業領域として使用するための書き換え可能な揮発性メモリ（ＲＡＭ）である。また、撮像制御部１０５の出力する画像データを一時的に保持するバッファとしても使用される。

１０９は、後述するＵＩユニット１１０でユーザの指定した設定値や、本実施形態の撮像装置がパワーサイクルを超えて保持する必要のあるパラメータを保持するための書き換え可能な不揮発性メモリ（ＮＶＲＡＭ）である。

１１０はユーザの操作・指示を受け付けて撮像録装置に伝達するＵＩユニットである。ＵＩユニット１１０は撮影ボタン、メニューボタン等を含む複数のボタン、ダイヤル、タッチパネル等を有する。

１１１はシステム制御部１０１からの指示に従い、画像を表示するための表示部である。表示部１１１は液晶表示装置（ＬＣＤ）のような薄型ディスプレイとそのディスプレイをコントロールするディスプレイドライバから構成される。

表示部１１１には、撮像装置の各種設定を行うためのメニュー、撮像制御部１０５が出力する画像のデータ（構図決定用のファインダとしての利用）、撮影した画像（撮影画像の確認としての利用）、記録媒体１０６に格納された画像（画像ビューアとしての利用）がそれぞれ表示される。それぞれの画像には任意のグラフィクス画像を重畳して表示することが可能である。

＜動作説明＞図３を参照して、本実施形態の撮像装置１００による画像生成処理について説明する。

なお、図３の処理は、システム制御部１０１が、ＲＯＭ１０７に格納された制御プログラムを、ＲＡＭ１０８のワークエリアに展開し、実行することで実現される。

本実施形態では、撮影環境の雰囲気として、水族館で人物を撮影するシーンを想定して説明する。

図３（ａ）において、ステップＳ３０１では、システム制御部１０１は、撮像制御部１０５により背景の水槽が白飛びしないように露出を調整して画像を撮影する。図３（ｂ）の３１０は背景が適正露出になるように撮影された画像であり、３１１は水槽、３１２は水族館の床、３２１〜３２３は人物である。

ステップＳ３０２では、システム制御部１０１は、撮影した画像から、ＨＤＲ合成処理の対象となる領域（以下、合成対象領域）を判定する。

ステップＳ３０３では、システム制御部１０１は、ステップＳ３０２で判定された合成対象領域から主被写体を決定し（主被写体決定処理）、主被写体の明るさが適正となるように露出を調整して画像を撮影する。

ステップＳ３０４では、システム制御部１０１は、ステップＳ３０１とＳ３０３で撮影した２枚の画像をＨＤＲ合成する（画像合成処理）。

ここで、図４を参照して、図３のＳ３０１での処理について詳述する。

図４（ａ）において、ステップＳ４０１では、システム制御部１０１は、光学レンズユニット１０２から入力された画像を撮像素子１０４により光電変換して撮像制御部１０５へ出力する。撮像制御部１０５は得られたアナログ画像信号をデジタル画像データに変換してシステム制御部１０１へ出力する。

ステップＳ４０２では、システム制御部１０１は、ステップＳ４０１で取得した画像データを表示部１１１に構図決定用（プレビュー用）の画像として表示する。このとき、ステップＳ４０１で撮像制御部１０５から出力された画像データは、表示部１１１の解像度に調整して表示される。

ステップＳ４０３では、システム制御部１０１は、ステップＳ４０１で取得した画像データから、対象とする被写体を検出し、被写体の数および被写体領域を特定する（被写体検出処理）。

本実施形態で対象とする被写体は、人物の顔である。検出方法は公知の顔検出方法を用いる。顔検出の公知技術は、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがあり、検出精度向上のためにこれらを組み合わせて顔検出を行うのが一般的である。具体的には特開２００２−２５１３８０号広報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。被写体検出により出力される情報としては、検出数分の被写体の位置、大きさ、傾き、検出結果の信頼度などが挙げられる。顔領域を特定した後、顔以外の人物領域を抽出し、被写体領域に含める。上記抽出方法については周知の方法を利用する。例えば、顔領域の座標の画素と、隣接する画素との画素値の差分を計算し、予め定めた閾値以下であれば、同一の人物領域と判定し被写体領域に含める。システム制御部１０１は、抽出した被写体領域の座標情報を、領域ごとにＲＡＭ１０８に格納する。

ステップＳ４０４では、システム制御部１０１は、光学制御部１０３によりシャッタースピードや絞りを調節して、水槽３１１の明るさが適正となるよう露出値を決定する。

ステップＳ４０５では、システム制御部１０１は、ＵＩユニット１１０から合焦指示の有無を確認する。具体的には、ユーザがレリーズボタンを半押しした場合を合焦指示とみなす。合焦指示がされた場合はステップＳ４０６に進み、撮影指示がない場合にはステップＳ４０１に戻り、構図決定用（プレビュー）の画像を更新する。

ステップＳ４０６では、システム制御部１０１は、主被写体（図３（ｂ）の人物３２１とする）に対して合焦する制御において、主被写体までの距離情報を取得する。

ここで、ステップＳ４０６での距離情報取得処理について図４（ｂ）を参照して説明する。

図４（ｂ）において、ステップＳ４０７では、システム制御部１０１は、撮像素子１０４の画素を、１ブロックＬ×Ｌ画素として、Ｍ（Ｘ座標）×Ｎ（Ｙ座標）のブロックに分割し、これに対応させて取り込んだ画像データを図５（ａ）のように複数のブロックに分割する。

ステップＳ４０８では、システム制御部１０１は、光学制御部１０３により光学レンズユニット１０２を焦点位置が無限遠になる位置に移動させる。

ステップＳ４０９では、システム制御部１０１は、光学制御部１０３により焦点位置が小さくなる方向へ光学レンズユニット１０２を１ステップずつ移動させる。

ステップＳ４１０では、システム制御部１０１は、各ブロックの高周波成分をＲＡＭ１０８に記憶する。

ステップＳ４１１では、光学制御部１０３は、焦点位置が最小となるまで光学レンズユニット１０２を移動させたか判定し、判定結果をシステム制御部１０１に通知する。光学レンズユニット１０２の移動が完了した場合には、ステップＳ４１２へ進み、完了していない場合にはステップＳ４０９へ戻る。

ステップＳ４１２では、システム制御部１０１は、各ブロックの高周波成分がピークとなるレンズ位置を算出する。

ステップＳ４１３では、システム制御部１０１は、図２のレンズ位置と被写体距離との関係から各ブロックの距離を算出する。

ステップＳ４１４では、システム制御部１０１は、ステップＳ４１３で算出した距離情報を、図５（ｂ）のように各ブロックの座標情報と対応させてＲＡＭ１０８に保存する。この距離情報は、画像データのヘッダ部に格納してもよいし、別ファイルとして、画像データに対応付けて記録媒体１０６に保存してもよい。ここではブロック単位で距離情報を算出したが、Ｌ＝１として画素単位で距離情報を算出してもよい。

ステップＳ４１５では、光学制御部１０３は、主被写体に合焦する位置に光学レンズユニット１０２を移動させる。

図４（ａ）に戻り、ステップＳ４１６では、システム制御部１０１は、ＵＩユニット１１０から撮影指示の有無を確認する。具体的には、ユーザがレリーズボタンを押下した場合、あるいは、セルフタイマーが完了した場合を撮影指示とみなす。撮影指示がなされた場合はステップＳ４１７に進み、撮影指示がない場合にはステップＳ４０１に戻り、構図決定用（プレビュー）の画像を更新する。

ステップＳ４１７では、システム制御部１０１は、撮像制御部１０５を介して撮影指示時の画像データを取得し、ＲＡＭ１０８に格納する。

次に、図３のＳ３０２での処理について、図６を参照して説明する。

図６において、ステップＳ６０１では、システム制御部１０１は、ステップＳ４０３において特定した被写体領域をＲＡＭ１０８から読み出す。

ステップＳ６０２では、システム制御部１０１は、ステップＳ６０１で読み出した被写体領域ごとに画素の輝度の平均値を算出する。

ステップＳ６０３では、システム制御部１０１は、ステップＳ６０２において算出した平均輝度値が、予め決められた閾値以下か否かを判定する。平均輝度値が閾値以下の場合はステップＳ６０４へ進み、閾値以下でない場合には本処理を終了する。

ステップＳ６０４では、システム制御部１０１は、平均輝度値が閾値以下の被写体領域を合成対象領域と判定する。上記判定方法の他にも、被写体領域のヒストグラムにおいて、所定の輝度以下の画素数が一定以上である場合や、ピークの輝度が閾値以下の場合に、被写体領域を合成対象領域と判定してもよい。ここでは、人物領域３２１〜３２３が合成対象領域となる。

図３に戻り、ステップＳ３０３では、システム制御部１０１は、主被写体（人物３２１）の明るさが適正になるように露出を調整し、撮像制御部１０５により主被写体の画像を撮影し（Ｓ３０３）、撮像された画像データをＲＡＭ１０８に格納する。ここで撮影された画像を図７の７００に示す。図３（ｂ）の画像３１０と比較して、撮影画像７００は、人物領域７１１〜７１３や床７０２の黒潰れが解消された一方、背景の水槽７０１が白飛びしている。

ステップＳ３０４では、システム制御部１０１は、撮影画像７００と、ステップＳ３０１で撮影した画像３１０とをＨＤＲ合成する。

次に、図３のＳ３０４でのＨＤＲ合成処理について、図８（ａ）を参照して説明する。

図８（ａ）において、ステップＳ８０１では、システム制御部１０１は、ＲＡＭ１０８から画像３１０と画像７００のデータを読み出す。

ステップＳ８０２では、システム制御部１０１は、ステップＳ８０１で読み出した２枚の画像の位置合わせを行う。この位置合わせは、公知の方法を用いて実施する。例えば、複数枚の画像から、特開２００８−０４６７５０に記載されているような、一般的な特徴点抽出方法であるＨａｒｒｉｓオペレータ等を用いて特徴点を抽出し、画像間の特徴点の対応付けを行う。その後、特徴点の対応から射影変換行列を推定し、画像を変形することで画像の位置合わせを行う。なお、複数枚の画像の位置合わせは上記の方法のみに限定されず、他の公知の手段を用いても良い。ここでは、画像３１０に対し画像７００を変形して位置合わせする。位置合わせのために画像７００を変形した画像を画像７１０とする。

ステップＳ８０３では、システム制御部１０１は、ステップＳ３０２にて判定した合成対象領域をＲＡＭ１０８から読み出す。

ステップＳ８０４では、システム制御部１０１は、撮影位置から合成対象領域までの距離情報をＲＡＭ１０８から読み出す。ここでは、合成対象領域における各被写体の顔領域の中心座標での距離を撮影位置から合成対象領域までの距離とする。

ステップＳ８０５では、システム制御部１０１は、主被写体の位置を基準として、主被写体からの距離Ｚに対する画像７１０の合成比率Ｒを決定する。この合成比率Ｒは、主被写体位置（距離Ｚ＝０）において、Ｒ＝１となり、主被写体位置から遠ざかるにつれて単調減少するように設定される。ここで、主被写体よりも奥に存在する被写体は、主被写体の背景の一部として扱われる可能性がある。例えば、水槽の前に群衆ができているシーンを撮影したい場合には、人物も背景の一部となる一方、主被写体よりも手前に存在する被写体は、偶然写り込んだ通行人等、不要物である可能性が高い。このため、主被写体の手前に存在する被写体よりも、主被写体の背景に存在する被写体を明るくするよう合成比率Ｒを設定する。

具体的には、合成対象領域の被写体が主被写体よりも手前に存在するか奥に存在するかに応じて合成比率Ｒの単調減少の割合を変更する。図８の（ｂ）と（ｃ）はそれぞれ、主被写体よりも奥の領域（背景）に対する合成比率Ｒのグラフ、主被写体よりも手前の領域（前景）に対する合成比率Ｒのグラフである。図８（ｂ）、（ｃ）のように、Ｚ＝ｋにおいて、主被写体よりも奥の領域に対する合成比率（Ｒｂ）が、主被写体よりも手前の領域に対する合成比率（Ｒｆ）よりも高くなるように合成比率Ｒが設定される。

ステップＳ８０６では、システム制御部１０１は、ステップＳ８０５で決定した合成比率Ｒを用いて、画像３１０と画像７１０をＨＤＲ合成する。具体的には、下記式により、合成結果の画素値を算出する。

ｐ₂＝Ｒ・ｐ₁＋（１−Ｒ）・ｐ₀
ｐ₀は、背景の水槽が白飛びしないように露出を調整して撮影した画像３１０中の合成対象領域の画素（Ｘ₀、Ｙ₀）における画素値である。ｐ₁は、主被写体の明るさが適正になるように露出を調整して撮影した画像７１０中の、画素（Ｘ₀、Ｙ₀）に対応する画素の画素値である。ｐ₂は、合成結果の画素値である。ｐ₂算出後、画像３１０の画素（Ｘ₀、Ｙ₀）の画素値をｐ₂で置き換える。これを全ての合成対象領域の画素に対して行う。

ステップＳ８０７では、システム制御部１０１は、ステップＳ８０６で合成した画像８１０を記録媒体１０６に保存し、本処理を終了する。

本実施形態での合成結果は、図８（ｄ）に示すように、水槽８１１が白飛びせず、被写体領域８２１〜８２３が黒潰れしない一方で、床８１２のような被写体以外の暗部は暗いままとなり、水族館の雰囲気を保持した画像となる。

なお、本実施形態では、２枚の画像の露出値を、主被写体３２１の明るさが適正となる露出値と、それよりも低い露出値（水槽３１１の明るさが適正となる露出値）に設定した。これに対して、主被写体の背景に存在する被写体を明るくする必要がある場合には、上記主被写体の適正露出値より高い露出値に設定して撮影してもよい。

また、撮影位置から被写体までの距離の算出方法については、以下の方法としてもよい。すなわち、画像中の人物の顔領域の大きさに対する、当該人物の撮影装置からの距離を予めデータベース化しておく。そして、人物の顔領域が検出されたときに人物の顔領域の大きさを取得し、上記データベースに問い合わせることで、撮影位置から被写体までの距離を推定可能である。

また、本実施形態では、主被写体が適正露出となるように撮影した場合に背景が白飛びする例について説明したが、背景が黒潰れするような場合にも本発明は適用可能である。すなわち、背景が適正露出となるように撮像された画像を、この露出値よりも高い値で撮像した画像の人物領域に対して、上述の方法でＨＤＲ合成する。また、本実施形態では、被写体を人物としたが、人物以外のオブジェクトに対しても、公知のオブジェクト検出の方法を用いることにより実現可能である。

上述した実施形態によれば、撮影環境の雰囲気を保ちながら、主被写体からの距離に応じて、露出を変えて撮影した画像の合成比率を変更しつつＨＤＲ合成を行えるようになる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (11)

1. 露出を変えて撮影した複数枚の画像を合成する画像処理装置において、
   被写体ごとの露出値を算出する露出算出手段と、
   前記露出算出手段により算出された露出値に応じて被写体を撮像する撮像手段と、
   前記撮像手段により撮像された画像から特定の被写体領域を検出する被写体検出手段と、
   前記特定の被写体領域から主被写体を決定する主被写体決定手段と、
   前記主被写体までの距離を取得する距離取得手段と、
   前記撮像手段により撮像された複数枚の画像を所定の合成比率で合成する画像合成手段と、
   前記画像合成手段による合成比率を、前記距離取得手段により取得した距離情報に応じて変更する制御手段と、を有することを特徴とする画像処理装置。
2. 前記露出算出手段は、前記主被写体の明るさが適正となる露出値を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記露出算出手段は、撮影位置からの距離が前記主被写体よりも遠いもしくは近い被写体の明るさが適正となる露出値を算出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記制御手段は、撮影位置からの距離が前記主被写体よりも遠い被写体の画像の合成比率を小さくすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、撮影位置からの距離が前記主被写体よりも近い被写体の画像の合成比率を大きくすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記被写体検出手段により検出された被写体領域のうち、平均輝度が閾値以下の被写体領域を前記特定の被写体領域と判定する判定手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記特定の被写体領域は人物領域であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記距離取得手段は、前記人物領域の顔の大きさに基づいて前記距離を推定することを特徴とする請求項７に記載の画像処理装置。
9. 露出を変えて撮影した複数枚の画像を合成する画像処理装置における画像処理方法であって、
   被写体ごとの露出値を算出する露出算出ステップと、
   前記露出算出ステップにより算出された露出値に応じて被写体を撮像する撮像ステップと、
   前記撮像ステップにより撮像された画像から特定の被写体領域を検出する被写体検出ステップと、
   前記特定の被写体領域から主被写体を決定する主被写体決定ステップと、
   前記主被写体までの距離を取得する距離取得ステップと、
   前記撮像ステップにより撮像された複数枚の画像を所定の合成比率で合成する画像合成ステップと、
   前記画像合成ステップによる合成比率を、前記距離取得ステップにより取得した距離情報に応じて変更する制御ステップと、を有することを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至８のいずれか１項に記載された画像処理装置の各手段として機能させるプログラム。
11. コンピュータを、請求項１乃至８のいずれか１項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。