JP2014155000A - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】互いに露光時間の異なる複数の画像を合成する際、オクルージョン領域による弊害を低減するとともに、領域別のトーンマッピングの効果を補償する。
【解決手段】
被写体領域検出部２０４は複数枚の画像の各々において所定の複数の被写体領域を検出し、領域別輝度値算出部２０５は被写体領域検出部で検出された被写体領域の各々についてその輝度を求める。オクルージョン領域検出部２０６は複数枚の画像のうち少なくとも２枚の画像を合成する際に生じるオクルージョン領域を検出して、オクルージョン領域と輝度とに応じて複数枚の画像から画像合成を行う画像を決定する。画像合成部２０９はオクルージョン領域検出部で決定された画像を合成処理して合成画像とする。
【選択図】図２

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、複数枚の画像から１枚の画像を合成する画像処理装置に関する。

一般に、画像処理において、ＨＤＲ（ハイダイナミックレンジ合成）又は覆い焼きなどのように、Ｄレンジ（ダイナミックレンジ）が拡大された画像信号を階調圧縮する画像処理が知られている。この手法では、画面全体において輝度情報のみを用いて階調圧縮を行っている関係上、出力画像においてコントラストが低下してしまい、所謂眠い画像となってしまう。

一方、階調圧縮の際、輝度情報のみではなく、被写体領域の検出結果を用いて画像の被写体領域毎に最適なトーンマッピング処理を行って、階調補正を行うようにしたものがある。

さらに、輝度情報および被写体領域の検出結果を用いて、露出が互いに異なる複数枚の画像を合成する際の合成比率を調整して、被写体領域毎に異なる画像信号を出力して１枚の画像を生成し、Ｓ／Ｎ比を向上させるようにしたものがある。この手法は、領域別トーンマッピングと呼ばれている。

図９は、従来の領域別トーンマッピング処理の一例を説明するための図である。

図９において、互いに露出時間を異ならせて、３枚の画像（空用画像、背景用画像、および人物用画像）を得る。そして、これら３枚の画像の合成比率を異ならせて、それぞれ空用画像出力領域、背景用画像出力領域、および人物用画像出力領域を得て、これら出力領域を合成して合成画像とする。

図９に示す例では、撮影の際に３枚の画像間において人物が動いており、このような撮影シーンで上述のようにして合成を行うと、合成画像に所謂オクルージョン領域が生じてしまい、画質に障害が生じてしまう。

さらに、オクルージョン領域は、人物などの動く被写体によって生じるばかりでなく、撮影中の撮像装置の動きなどによっても生じる。

このようなオクルージョン領域の発生を低減するため、例えば、画像間で求めた動きベクトルの信頼度に基づいて画像の合成比率を変える手法がある（特許文献１参照）。

特開２０１２−１９３３７号公報

ところが、特許文献１に記載の手法では、オクルージョン領域に関する要因以外で動きベクトルの信頼度が低くなる領域についても、画像の合成比率が変更されてしまい、画像合成によるＳ／Ｎ比低減などの効果が減殺されてしまう。

なお、オクルージョン領域に関する要因以外で動きベクトルの信頼度が低くなる領域として、例えば、テクスチャーの扁平な壁および柵のような類似する被写体が分布している領域がある。

従って、本発明の目的は、オクルージョン領域による弊害を低減するとともに、領域別のトーンマッピング処理の効果を補償することのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、互いに露光時間の異なる複数枚の画像を合成して合成画像を得る画像処理装置であって、前記複数枚の画像の各々において所定の複数の被写体領域を検出する被写体領域検出手段と、前記被写体領域検出手段で検出された前記被写体領域の各々についてその輝度を求める輝度算出手段と、前記複数枚の画像のうち少なくとも２枚の画像を合成する際に生じるオクルージョン領域を検出するオクルージョン領域検出手段と、前記オクルージョン領域と前記輝度とに応じて前記複数枚の画像から画像合成を行う画像を決定する画像決定手段と、前記画像決定手段で決定された画像を合成処理して前記合成画像とする画像合成手段と、を有することを特徴とする。

本発明による制御方法は、互いに露光時間の異なる複数枚の画像を合成して合成画像を得る画像処理装置の制御方法であって、前記複数枚の画像の各々において所定の複数の被写体領域を検出する被写体領域検出ステップと、前記被写体領域検出ステップで検出された前記被写体領域の各々についてその輝度を求める輝度算出ステップと、前記複数枚の画像のうち少なくとも２枚の画像を合成する際に生じるオクルージョン領域を検出するオクルージョン領域検出ステップと、前記オクルージョン領域と前記輝度とに応じて前記複数枚の画像から画像合成を行う画像を決定する画像決定ステップと、前記画像決定ステップで決定された画像を合成処理して前記合成画像とする画像合成ステップと、を有することを特徴とする。

本発明による制御プログラムは、互いに露光時間の異なる複数枚の画像を合成して合成画像を得る画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記複数枚の画像の各々において所定の複数の被写体領域を検出する被写体領域検出ステップと、前記被写体領域検出ステップで検出された前記被写体領域の各々についてその輝度を求める輝度算出ステップと、前記複数枚の画像のうち少なくとも２枚の画像を合成する際に生じるオクルージョン領域を検出するオクルージョン領域検出ステップと、前記オクルージョン領域と前記輝度とに応じて前記複数枚の画像から画像合成を行う画像を決定する画像決定ステップと、前記画像決定ステップで決定された画像を合成処理して前記合成画像とする画像合成ステップと、を実行させることを特徴とする。

本発明によれば、オクルージョン領域による弊害を低減するとともに、領域別のトーンマッピングの効果を補償することができる。

本発明の実施の形態による画像処理装置を備える撮像装置の一例を示すブロック図である。 図１に示す画像処理部において領域別トーンマッピング処理を行うための構成の一例を示すブロック図である。 図２に示す画像処理部で行われる画像処理の一例を説明するためのフローチャートである。 図２に示す被写体領域検出部で行われる被写体領域検出処理を説明するための図である。 図３に示す領域別トーンマッピング処理を説明するためのフローチャートである（その１）。 図３に示す領域別トーンマッピング処理を説明するためのフローチャートである（その２）。 図２に示すオクルージョン領域検出部で行われる人物用画像を基準とするオクルージョン領域の検出を説明するための図である。 図２に示すオクルージョン領域検出部で行われる背景用画像を基準とするオクルージョン領域の検出について説明するための図である。 図２に示す階調補正処理部で行われる階調補正処理を説明するための図である。 従来の領域別トーンマッピング処理の一例を説明するための図である。

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による画像処理装置を備える撮像装置の一例を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、光学系１０１を有している。光学系１０１は、例えば、ズームレンズおよびフォーカスレンズを有するレンズ群、絞り調整装置、およびシャッター装置を備えている。光学系１０１は、撮像素子１０２に結像する被写体像（光学像）の倍率、ピント位置、そして、光量を調整する。

撮像素子１０２は、光学系１０１を介して結像した光学像を光電変換によって電気信号（アナログ信号）に変換する。撮像素子１０２として、例えば、ＣＣＤ又はＣＭＯＳセンサーなどの光電変換素子が用いられる。

Ａ／Ｄ変換部１０３は、撮像素子１０２の出力であるアナログ信号をＡ／Ｄ変換してデジタル信号（画像データ）を出力する。そして、この画像データは画像処理部１０４に与えられる。

画像処理部１０４は、所定の信号処理の他に、後述するように、互いに露出の異なる複数枚の画像データ（以下単に画像ともいう）を用いて所謂領域別トーンマッピング処理を行う。なお、画像処理部１０４はＡ／Ｄ変換部１０３から出力である画像ばかりでなく、記録部１０８から読み出した画像についても同様の画像処理を行うことができる。

システム制御部１０５は、カメラ全体の制御を司る。そして、システム制御部１０５は画像処理部１０４で画像処理された画像から得られる輝度値又は操作部１０６からの指示に基づいて、光学系１０１および撮像素子１０２の駆動制御を行う。

表示部１０７は、例えば、液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであり、表示部１０７には、画像処理部１０４の出力である画像又は記録部１０８から読み出された画像が表示される。記録部１０８には、撮影の結果得られた画像などが記録される。

なお、記録部１０８は、例えば、半導体メモリが搭載されたメモリカード又は光磁気ディスクなどの回転記録体を収容したパッケージなどを用いた情報記録媒体であってもよく、情報記録媒体はカメラに着脱可能であってもよい。また、図示のように、画像処理部１０４、システム制御部１０５、表示部１０７、および記録部１０８は内部バス１０９によって相互に接続されている。

ここで、図１に示す画像処理部１０４において行われる領域別トーンマッピング処理について説明をする。

図２は、図１に示す画像処理部１０４において領域別トーンマッピング処理を行うための構成の一例を示すブロック図である。なお、ここでは、画像を空領域、背景領域、および人物領域の３つの被写体領域に分割して領域別トーンマッピング処理を行う場合について説明する。

図示のように、画像処理部１０４は、基準画像選択部２０１、座標変換係数算出部２０２、画像変形処理部２０３、被写体領域検出部２０４、領域別輝度値算出部２０５、オクルージョン領域検出部２０６、合成テーブル生成部２０７、階調補正領域検出部２０８、画像合成部２０９、階調補正処理部２１０、および階調圧縮処理部２１１を備えている。

図３は、図２に示す画像処理部１０４で行われる画像処理の一例を説明するためのフローチャートである。

図２および図３を参照して、ここでは、画像処理部１０４には互いに露光量（つまり、露光時間）の異なる３枚の画像が入力される。そして、以下の説明では、３枚の画像をそれぞれ被写体領域（ここでは、人物領域、背景領域、および空領域）の明るさ（つまり、露出）が最適な画像である人物用画像（第１の画像）、背景用画像（第２の画像）、および空用画像（第３の画像）と呼ぶことにする。

なお、３枚の画像を撮影する際の露光量は、領域別トーンマッピングの手法を用いて算出される。

さらに、以下の説明では、領域別トーンマッピング処理を行う対象シーンは、屋外で逆光時に人物が撮影されるシーンとする。そして、この撮影シーンでは、一般に、空が最も明るく、人物が最も暗い。

領域別トーンマッピング処理が開始されると、基準画像選択部２０１は、互いに露出の異なる画像の位置合わせを行うため、３枚の画像から基準となる基準画像を選択する（ステップＳ３０１）。ここでは、基準画像選択部２１０は、基準画像として、例えば、３枚の画像のうち、画面の明るさが中間に位置する背景用画像を選択する。

続いて、座標変換係数算出部２０２は基準画像（ここでは、背景用画像）について、他の画像の位置合わせを行うための座標変換係数を算出する（ステップＳ３０２）。座標変換係数を算出する際には、座標変換係数算出部２０２は、まず画像間の位置ずれ量を検出して、当該検出した位置ずれ量に応じて座標変換係数を算出する。位置ずれの検出の際には、例えば、パターンマッチングによる手法など既知の手法が用いられる。

ここでは、座標変換係数として、式（１）に示す射影変換式の係数
が算出される。算出の際には、例えば、最小二乗法などの既知の手法が用いられる。

続いて、画像変形処理部２０３は座標変換係数に基づいて基準画像以外の画像の座標変換を行って画像を変形する（ステップＳ３０３）。そして、被写体領域検出部２０４は座標変換後の画像、つまり、３枚の画像の各々についてその被写体領域を検出する（ステップＳ３０４）。

図４は、図２に示す被写体領域検出部２０４で行われる被写体領域検出処理を説明するための図である。

被写体領域検出部２０４は、３枚の画像の各々において被写体領域として空領域（第３の被写体領域）、背景領域（第２の被写体領域）、および人物領域（第１の被写体領域）を検出する。ここで、背景領域とは、空領域および人物領域を除く領域をいう。また、空領域には雲および太陽の領域も含まれる。

被写体領域検出部２０４は、検出対象である被写体領域を”１”とし、検出対象の被写体領域以外の領域を”０”とする２値化画像によって被写体領域の検出結果を生成する。つまり、被写体領域検出部２０４は、空用画像、背景用画像、および人物用画像の各々について被写体領域の検出結果（抽出結果）として空抽出結果、背景抽出結果、および人物抽出結果を生成する（図４参照）。

なお、ここでは、２値化画像によって抽出結果を生成したが、多値化画像によって抽出結果を生成するようにしてもよい。また、ここでは、空用画像、背景用画像、および人物用画像の各々について、空領域、背景領域、および人物領域を検出するようにしたが、撮影シーンに応じて被写体領域の検出を行う画像を選択するようにしてもよい。そして、被写体領域を検出する際には、例えば、ニューラルネットワークによる学習データを用いた物体認識などの既知の手法を用いるようにすればよい（例えば、特開２００６−３９６６６号公報参照）。

ステップＳ３０４の処理に続いて、領域別トーンマッピング処理が行われる（ステップＳ３０５）。

図５Ａおよび図５Ｂは、図３に示す領域別トーンマッピング処理を説明するためのフローチャートである。

領域別トーンマッピング処理では、オクルージョン領域の面積と被写体領域との領域間の輝度段差（つまり、輝度の差）を算出して、当該輝度段差に応じて、画像合成制御を行うとともに、階調補正を行う領域を算出する。

領域別トーンマッピング処理を開始すると、領域別輝度値算出部２０５は、被写体領域の検出結果に基づいて各被写体領域（空領域、背景領域、および人物領域の輝度値（領域輝度値）を求める（ステップＳ６０１）。

ここでは、領域別輝度値算出部２０５は、空用画像（つまり、空抽出結果）を用いて空領域、背景領域、および人物領域毎に輝度値の平均値を算出し、当該平均値をそれぞれ空領域、背景領域、および人物領域の領域輝度値とする。

なお、最も明るい空領域が飽和すると正確に空領域の領域輝度値を算出することができないので、空用画像を各被写体領域の領域輝度値の算出として用いることが望ましい。また、平均値を領域輝度値と用いることなく、座標に応じた重み付けによって領域輝度値を算出するようにしてもよい。さらには、被写体領域の種類（種別）に応じて領域輝度値の算出手法を変更するようにしてもよい。

続いて、オクルージョン領域検出部２０６は被写体領域毎の領域輝度値に基づいて、背景領域と人物領域との領域間の輝度段差ΔＢＨを算出する（ステップＳ６０２）。ここでは、背景領域の領域輝度値をＹ＿ＢＡＣＫ、人物領域の領域輝度値をＹ＿ＨＵＭＡＮとして、背景領域における目標輝度値をＹｒｅｆ＿ＢＡＣＫ、人物領域における目標輝度値をＹｒｅｆ＿ＨＵＭＡＮとする。この場合、オクルージョン領域検出部２０６は、次の式（２）によって背景領域と人物領域との領域間の輝度段差ΔＢＨ（第１の差分）を算出する。

なお、背景領域の目標輝度値Ｙｒｅｆ＿ＢＡＣＫおよび人物領域の目標輝度値、Ｙｒｅｆ＿ＨＵＭＡＮをそれぞれ１として、式（２）を用いて演算を行って背景領域と人物領域との領域間の輝度段差ΔＢＨを算出するようにしてもよい。

次に、オクルージョン領域検出部２０６は人物用画像を基準として、背景用画像、空用画像、及び人物用画像の３枚の画像を画像合成した際に想定されるオクルージョン領域を検出する（ステップＳ６０３）。

図６は、図２に示すオクルージョン領域検出部２０６で行われる人物用画像を基準とするオクルージョン領域の検出を説明するための図である。ここでは、オクルージョン領域の検出する際、被写体領域の抽出結果が用いられる。

オクルージョン領域検出部２０６は、前述のように、人物用画像を基準として、人物用画像と空用画像との間のオクルージョン領域（第１のオクルージョン領域）および人物用画像と背景用画像との間のオクルージョン領域（第２のオクルージョン領域）を検出する。

まず、オクルージョン領域検出部２０６は、空用画像の空抽出結果５０１と人物用画像の空抽出結果５０２との差分画像５０６、そして、背景用画像の背景抽出結果５０３と人物用画像の背景抽出結果５０４との差分画像５０７を取得する。

ここで、差分画像とは、２枚の抽出結果が異なる領域の値を”１”とし、２枚の抽出結果が一致する領域の値を”０”とした２値化画像である。例えば、背景用画像の背景抽出結果５０３をａｒｅａ＿ｂ、人物用画像の背景抽出結果５０４をａｒｅａ＿ｈとすると、差分画像ｄｅｆは式（３）で表すことができる。

ａｒｅａ＿ｂ＝ａｒｅａ＿ｈの場合、ｄｅｆ＝０
ａｒｅａ＿ｂ≠ａｒｅａ＿ｈの場合、ｄｅｆ＝１ （３）
次に、オクルージョン領域検出部２０６は差分画像５０６および５０７について、人物用画像の人物抽出結果に該当する領域を除外する除外処理を行う。差分画像５０６および５０７の信号値が”１”の領域で、かつ人物用画像において人物抽出された領域でなければ、オクルージョン領域検出部２０６は信号値を”１”とし、それ以外の場合には信号値を”０”として、オクルージョン領域の検出結果（オクルージョン検出結果）を生成する。

この処理によって、オクルージョン領域検出部２０６は差分画像５０６から空用画像と人物用画像との間のオクルージョン領域の検出結果５０８を生成し、差分画像５０７から背景用画像と人物用画像との間のオクルージョン領域の検出結果５０９を生成する。

再び図５Ａおよび図５Ｂを参照して、オクルージョン領域検出部２０６は、オクルージョン領域の検出結果５０９に基づいて背景用画像と人物用画像とのオクルージョン領域の面積ＢＨ＿ＡＲＥＡ（第１の面積）を算出する（ステップＳ６０４）。ここでは、オクルージョン領域検出部２０６はオクルージョン面積ＢＨ＿ＡＲＥＡを算出する際、検出されたオクルージョン領域の画素数の合計値を用いる。

続いて、オクルージョン領域検出部２０６はオクルージョン面積ＢＨ＿ＡＲＥＡが所定の面積閾値ＴＨ＿ＡＲＥＡ未満（面積閾値未満）であるか否かを判定する（ステップＳ６０５）。なお、上記の面積閾値ＴＨ＿ＡＲＥＡは撮影シーンに応じて調整することが望ましい。例えば、人物がメインである場合には、人物領域と他の被写体領域との間で生じるオクルージョン領域は画質に大きく影響する。このため、背景用画像と人物用画像との間のオクルージョン領域に関しては、面積閾値ＴＨ＿ＡＲＥＡを１画素〜４画素程度に厳しく設定する。

オクルージョン面積ＢＨ＿ＡＲＥＡが面積閾値ＴＨ＿ＡＲＥＡ未満であると（ステップＳ６０５において、ＹＥＳ）、オクルージョン領域検出部２０６は背景用画像における背景領域と人物用画像における人物領域とを合成する際に生じるオクルージョン領域を許容できると判定する。なお、当該許容できる状態とは、領域別トーンマッピング処理で画像合成を行う際に画質に影響がない状態をいう。

オクルージョン領域が許容できると判定すると、オクルージョン領域検出部２０６は背景用画像における背景領域と人物用画像における人物領域との合成を行うことができるとした上で、人物領域と空領域との領域間の輝度段差ΔＳＨ（第２の差分）を算出する（ステップＳ６０６）。

なお、ステップＳ６０２の処理と同様にして、オクルージョン領域検出部２０６は人物領域と空領域との領域間の輝度段差ΔＳＨを算出する。

いま、空領域の領域輝度をＹ＿ＳＫＹ、人物領域の領域輝度をＹ＿ＨＵＭＡＮとし、空領域における目標輝度値をＹｒｅｆ＿ＳＫＹ、人物領域における目標輝度値をＹｒｅｆ＿ＨＵＭＡＮとした場合、オクルージョン領域検出部２０６は次の式（４）によって人物領域と空領域との領域間の輝度段差ΔＳＨを算出する。

なお、目標輝度値Ｙｒｅｆ＿ＳＫＹおよびＹｒｅｆ＿ＨＵＭＡＮをそれぞれ”１”として、式（４）を用いて演算を行って人物領域と空領域との領域間の輝度段差ΔＳＨを算出するようにしてもよい。

続いて、オクルージョン領域検出部２０６は、オクルージョン領域の検出結果５０８に基づいて人物用画像と空用画像とのオクルージョン領域の面積ＳＨ＿ＡＲＥＡ（第２の面積）を算出する（ステップＳ６０７）。なお、オクルージョン面積ＳＨ＿ＡＲＥＡはステップＳ６０４で説明した手法と同様の手法で算出されるので、ここでは説明を省略する。

次に、オクルージョン領域検出部２０６はオクルージョン面積ＢＨ＿ＡＲＥＡとオクルージョン面積ＳＨ＿ＡＲＥＡとの合計面積が所定の面積閾値ＴＨ＿ＡＲＥＡ未満であるか否かを判定する（ステップＳ６０８）。ステップＳ６０８で用いられる面積閾値はステップＳ６０５で用いた面積閾値と同一の閾値を用いることが望ましい。

オクルージョン面積ＢＨ＿ＡＲＥＡおよびＳＨ＿ＡＲＥＡの合計面積が面積閾値ＴＨ＿ＡＲＥＡ未満であると（ステップＳ６０８において、ＹＥＳ）、オクルージョン領域検出部２０６は空用画像の空領域、背景用画像の背景領域、および人物用画像の人物領域を合成した際に生じるオクルージョン領域の面積が許容できると判定する。

オクルージョン領域が許容できると判定されると、つまり、ここでは、３枚の画像合成により領域別トーンマッピング処理を行うことができると判定されると、合成テーブル生成部２０７によって生成された合成テーブルに応じて、画像合成部２０９は、画像変形処理部２０３からの出力である空用画像の空領域、背景用画像の背景領域、および人物用画像の人物領域を合成して合成画像を生成する（ステップＳ６０９）。そして、領域別トーンマッピング処理が終了する。

この際には、階調補正領域算出部２０８は階調補正領域がないと判定することになる。なお、階調補正領域とは階調補正処理を行う領域をいうが、階調補正処理については後述する。

一方、オクルージョン面積ＢＨ＿ＡＲＥＡおよびＳＨ＿ＡＲＥＡの合計面積が面積閾値ＴＨ＿ＡＲＥＡ以上（面積閾値以上）であると（ステップＳ６０８において、ＮＯ）、オクルージョン領域検出部２０６は空用画像の空領域、背景用画像の背景領域、および人物用画像の人物領域を合成した際に生じるオクルージョン領域の面積が許容できないと判定する。

オクルージョン領域が許容できないと判定すると、つまり、３枚の画像合成ができないと判定すると、オクルージョン領域検出部２０６は空領域と人物領域との領域間の輝度段差ΔＳＨが所定の段差閾値ＴＨ＿ＨＵＭＡＮ未満（差分閾値未満）であるか否かを判定する（ステップＳ６１０）。当該段差閾値ＴＨ＿ＨＵＭＡＮは１枚の画像において人物領域に乗算することが可能なゲインの上限に設定することが望ましい。

空領域と人物領域との領域間の輝度段差ΔＳＨが段差閾値ＴＨ＿ＨＵＭＡＮ未満である場合（ステップＳ６１０において、ＹＥＳ）、オクルージョン領域検出部２０６は空用画像において背景領域および人物領域にゲイン処理を行うことによって領域別トーンマッピング処理を行うことができると判定する。つまり、オクルージョン領域検出部２０６は空用画像１枚によって領域別トーンマッピング処理を行うと判定することになる。

これによって、合成テーブル生成部２０７で生成された合成テーブルに応じて、画像合成部２０９は空用画像１枚のみを用い、画像合成処理を行うことなく空用画像を出力する（ステップＳ６１１）。そして、階調補正領域算出部２０８は空用画像において人物領域および背景領域を階調補正領域として指定して（ステップＳ６１２）、領域別トーンマッピング処理を終了する。

一方、空領域と人物領域との領域間の輝度段差ΔＳＨが段差閾値ＴＨ＿ＨＵＭＡＮ以上（差分閾値以上）であると（ステップＳ６１０において、ＮＯ）、オクルージョン領域検出部２０６は空用画像１枚で領域別トーンマッピング処理を行うことができないと判定する。この判定によって、合成テーフル生成部２０７で生成された合成テーブルに応じて、画像合成部２０９は背景用画像の空領域および背景領域と人物用画像の人物領域とを合成して合成画像を出力する（ステップＳ６１３）。そして、領域別トーンマッピング処理が終了する。

この際には、階調補正領域算出部２０８は階調補正領域がないと判定することになる。

ステップＳ６０５において、オクルージョン面積ＢＨ＿ＡＲＥＡが面積閾値ＴＨ＿ＡＲＥＡ以上であると（ステップＳ６０５において、ＮＯ）、オクルージョン領域検出部２０６は背景用画像の背景領域と人物用画像の人物領域とを合成する際に生じるオクルージョン領域の面積が許容できないと判定する。

オクルージョン領域が許容できないと判定すると、つまり、背景用画像の背景領域と人物用画像の人物領域との合成を行うことができないと判定すると、オクルージョン領域検出部２０６は人物領域と背景領域との領域間の輝度段差ΔＢＨが段差閾値ＴＨ＿ＨＵＭＡＮ未満であるか否かを判定する（ステップＳ６１４）。

人物領域と背景領域との領域間の輝度段差ΔＢＨが段差閾値ＴＨ＿ＨＵＭＡＮ未満であると（ステップＳ６１４において、ＹＥＳ）、オクルージョン領域検出部２０６は背景用画像において人物領域にゲイン処理を行うことによって領域別トーンマッピング処理を行うことができると判定する。

続いて、オクルージョン領域検出部２０６は背景用画像を基準としてオクルージョン領域を検出する（ステップＳ６１５）。

図７は、図２に示すオクルージョン領域検出部２０６で行われる背景用画像を基準とするオクルージョン領域の検出について説明するための図である。

ステップＳ６１５では、ステップＳ６０３の処理と同様にして、オクルージョン領域の検出する際には、被写体領域の抽出結果が用いられる。

オクルージョン領域検出部２０６は、前述のように、背景用画像を基準として、背景用画像と空用画像との間のオクルージョン領域（第３のオクルージョン領域）および人物用画像と背景用画像との間のオクルージョン領域（第４のオクルージョン領域）を検出する。

まず、オクルージョン領域検出部２０６は、空用画像の空抽出結果７０１と背景用画像の空抽出結果７０２との差分画像７０４を取得する。この差分画像７０４はステップＳ６０３で説明した式（３）を用いて取得される。

次に、オクルージョン領域検出部２０６は差分画像７０４について、人物用画像の人物抽出結果に該当する領域を除外する除外処理を行う。除外処理を行う際には、オクルージョン領域検出部２０６は、背景用画像における背景抽出結果および人物抽出結果を混合した人物背景抽出結果７０３を用いる。

そして、オクルージョン領域検出部２０６は、差分画像７０４の信号値が”１”の領域で、かつ背景用画像において人物又は背景として抽出された領域でなければ、信号値を”１”とし、それ以外の場合には信号値を”０”として、オクルージョン領域の検出結果（オクルージョン検出結果）を生成する。この処理によって、オクルージョン領域検出部２０６は差分画像７０４から空用画像と背景用画像との間のオクルージョン領域の検出結果７０５を生成する。

再び図５Ａおよび図５Ｂを参照して、背景用画像を基準としてオクルージョン領域を検出した後、オクルージョン領域検出部２０６は、人物領域と空領域との領域間の輝度段差ΔＳＨを算出する（ステップＳ６１６）。なお、人物領域と空領域との領域間の輝度段差ΔＳＨを算出する際には、ステップＳ６０６の処理と同様の手法が用いられる。

続いて、オクルージョン領域検出部２０６は、ステップＳ６１５で検出した空用画像と背景用画像とのオクルージョン領域の面積ＳＢ＿ＡＲＥＡ（第３の面積）を算出する（ステップＳ６１７）。なお、オクルージョン面積ＳＢ＿ＡＲＥＡはステップＳ６０４で説明した手法と同様の手法で算出されるので、ここでは説明を省略する。

次に、オクルージョン領域検出部２０６は、空用画像と背景用画像とのオクルージョン領域の面積ＳＢ＿ＡＲＥＡが所定の面積閾値ＴＨ＿ＡＲＥＡ未満であるか否かを判定する（ステップＳ６１８）。なお、前述のように、上記の面積閾値ＴＨ＿ＡＲＥＡは撮影シーンに応じて調整することが望ましい。例えば、空領域と人物領域とが接していない撮影シーンでは、背景領域と空領域との間でのみオクルージョン領域が生じる。このため、画質に影響がでる人物領域と他の被写体領域とのオクルージョン領域に比べて面積閾値は緩め（低く）に設定される。

空用画像と背景用画像とのオクルージョン領域の面積ＳＢ＿ＡＲＥＡが面積閾値ＴＨ＿ＡＲＥＡ未満であると（ステップＳ６１８において、ＹＥＳ）、オクルージョン領域検出部２０６は空用画像の空領域と背景用画像の背景領域および人物領域とを合成する際に生じるオクルージョン領域の面積が許容できると判定する。

そして、オクルージョン領域検出部２０６によって空用画像と背景用画像とを合成して領域別トーンマッピング処理を行うと判定されると、画像合成部２０９は、合成テーブル生成部２０７で生成された合成テーブルを参照して、空用画像の空領域と背景用画像の背景領域および人物領域とを合成する処理を行う（ステップＳ６１９）。

続いて、階調補正領域算出部２０８は、ステップＳ６１９の処理で得られた合成画像について人物領域を階調補正領域として設定して（ステップＳ６２０）、領域別トーンマッピング処理を終了する。

空用画像と背景用画像とのオクルージョン領域の面積ＳＢ＿ＡＲＥＡが面積閾値ＴＨ＿ＡＲＥＡ以上であると（ステップＳ６１８において、ＮＯ）、オクルージョン領域検出部２０６は空用画像の空領域と背景用画像の背景領域および人物領域を合成する際に生じるオクルージョン領域の面積が許容できないと判定する。つまり、オクルージョン領域検出部２０６は空用画像と背景用画像との合成を行うことができないと判定することになる。

オクルージョン領域検出部２０６は空用画像と背景用画像との合成を行うことができないと、オクルージョン領域検出部２０６は人物領域と空領域との領域間の輝度段差ΔＳＨが段差閾値ＴＨ＿ＨＵＭＡＮ未満であるか否かを判定する（ステップＳ６２１）。人物領域と空領域との領域間の輝度段差ΔＳＨが段差閾値ＴＨ＿ＨＵＭＡＮ未満であると（ステップＳ６２１において、ＹＥＳ）、オクルージョン領域検出部２０６は空用画像において背景領域および人物領域についてゲイン処理を行えば、領域別トーンマッピング処理を行うことができると判定する。

オクルージョン検出部２０６によって領域別トーンマッピング処理を行うことができると判定されると、画像合成部２０９は、合成テーブル生成部２０７で生成された合成テーブルを参照して、合成処理を行うことなく空用画像１枚を出力する（ステップＳ６２２）。

その後、階調補正領域算出部２０８は、ステップＳ６２２で出力された画像について人物領域および背景領域を階調補正領域として設定して（ステップＳ６２３）、領域別トーンマッピング処理を終了する。

一方、人物領域と空領域との領域間の輝度段差ΔＳＨが段差閾値ＴＨ＿ＨＵＭＡＮ以上であると（ステップＳ６２１において、ＮＯ）、オクルージョン領域検出部２０６は空用画像１枚で領域別トーンマッピング処理を行うことができないと判定する。

オクルージョン領域検出部２０６によって空用画像１枚では領域別トーンマッピング処理を行うことができないと判定されると、画像合成部２０９は、合成テーブル生成部２０７で生成された合成テーブルを参照して、背景用画像の空領域および背景領域と人物用画像の人物領域を合成して合成画像を出力して（ステップＳ６２４）、領域別トーンマッピング処理を終了する。この際には、階調補正領域算出部２０８では階調補正領域はないとする。

ステップＳ６１４において、人物領域と背景領域との領域間の輝度段差ΔＢＨが段差閾値ＴＨ＿ＨＵＭＡＮ以上であると（ステップＳ６１４において、ＮＯ）、オクルージョン領域検出部２０６は背景用画像１枚で領域別トーンマッピング処理を行うことができないと判定する。

オクルージョン領域検出部２０６によって背景用画像１枚で領域別トーンマッピング処理を行うことができないと判定されると、画像合成部２０９は、合成テーブル生成部２０７で生成された合成テーブルを参照して、合成処理を行うことなく人物用画像１枚を出力して（ステップＳ６２５）、領域別トーンマッピング処理を終了する。この際には、階調補正領域算出部２０８では階調補正領域はないとする。

再び図３を参照して、上述のようにして、領域別トーンマッピング処理が行われた後、領域補正処理部２１０は画像合成部２０９からの出力である画像について階調補正領域が存在するか否かを判定する（ステップＳ３０６）。階調補正領域が存在すると（ステップＳ３０６において、ＹＥＳ）、領域補正処理部２１０は階調補正領域算出部２０８で指定された階調補正領域に応じて、画像合成部２０９の出力である画像に対して階調補正処理を行う（ステップＳ３０７）。

図８は、図２に示す階調補正処理部２１０で行われる階調補正処理を説明するための図である。

図８に示す例では、画像合成部２０９が合成テーブルを参照して空用画像および背景用画像を画像合成した画像を、領域補正処理した例が示されている。階調補正処理部２１０は、画像合成部２０９の出力である画像についてその階調補正領域に一律のゲインを乗算する処理を行って、階調補正後画像を得る。

当該処理で用いられるゲイン値は、階調補正処理を行う画像における階調補正領域に係る被写体領域を、所定の明るさで撮影した際に得られる画像の被写体領域の明るさとする値である。

なお、階調補正処理においては一律のゲインを乗算することなく、輝度別にゲイン値が異なる輝度別ゲインを用いるようにしてもよい。

階調補正処理が行われた後、階調圧縮処理部２１１は、階調補正後の画像についてそのビット数を（ｍ＋ｎ）ビットからｍビット（ｍおよびｎはともに正の整数である）に圧縮する階調圧縮処理を行って出力画像として出力する（ステップＳ３０８）。そして、画像処理部１０４は画像処理を終了する。

なお、階調圧縮処理については、ガンマカーブによる圧縮方法などの既知の手法が用いられる（例えば、特開２０１０−１９３０９９号公報参照）。階調圧縮処理際には、階調圧縮処理部２１１は位置ずれの影響で画像合成の対象外であった画面端の領域が含まれない領域にトリミングを行う。

一方、階調補正領域が存在しないと（ステップＳ３０６において、ＮＯ）、階調補正処理部２１０による階調補正処理は行われず、ステップＳ３０８で、階調圧縮処理部２１１はが階調圧縮処理を行って、画像処理が終了する。

このようにして、画像処理部１０４による画像処理によって、画像合成の際に生じるオクルージョン領域による弊害を低減できるばかりでなく、領域別トーンマッピング処理による効果を補償することができる。

上述の説明から明らかなように、図１に示す例においては、画像処理部１０４が画像処理装置として用いられる。また、図２に示す例において、被写体領域検出部２０４が被写体領域検出手段として機能し、領域別輝度値算出部２０５が輝度算出手段として機能する。

さらに、オクルージョン領域検出部２０６がオクルージョン領域検出手段および画像決定手段として機能する。そして、基準画像選択部２０１、座標変換係数算出部２０２、画像変形処理部２０３、および合成テーブル生成部２０７、および画像合成部２０９が画像合成手段として機能し、階調補正領域算出部２０８が階調補正領域決定手段として機能し、階調補正処理部２１０が階調補正処理手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも被写体領域検出ステップ、輝度算出ステップ、オクルージョン領域検出ステップ、画像決定ステップ、および画像合成ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

２０１ 基準画像選択部
２０２ 座標変換係数算出部
２０３ 画像変形処理部
２０４ 被写体領域検出部
２０５ 領域別輝度値算出部
２０６ オクルージョン領域検出部
２０８ 階調補正領域算出部
２０９ 画像合成部
２１０ 階調補正処理部
２１１ 階調圧縮処理部

Claims (16)

1. 互いに露光時間の異なる複数枚の画像を合成して合成画像を得る画像処理装置であって、
   前記複数枚の画像の各々において所定の複数の被写体領域を検出する被写体領域検出手段と、
   前記被写体領域検出手段で検出された前記被写体領域の各々についてその輝度を求める輝度算出手段と、
   前記複数枚の画像のうち少なくとも２枚の画像を合成する際に生じるオクルージョン領域を検出するオクルージョン領域検出手段と、
   前記オクルージョン領域と前記輝度とに応じて前記複数枚の画像から画像合成を行う画像を決定する画像決定手段と、
   前記画像決定手段で決定された画像を合成処理して前記合成画像とする画像合成手段と、
   を有することを特徴とする画像処理装置。
2. 前記輝度の領域間の差分に応じて前記合成画像において階調補正を行う階調補正領域を決定する階調補正領域決定手段と、
   前記階調補正領域決定手段で決定された階調補正領域について階調補正処理を行う階調補正処理手段とを有することを特徴とする請求項１に記載の画像処理装置。
3. 前記輝度算出手段は、前記複数枚の画像のいずれかを用いて前記被写体領域の輝度を求めることを特徴とする請求項２に記載の画像処理装置。
4. 前記複数枚の画像は、第１の被写体領域について露出が調整された第１の画像、第２の被写体領域について露出が調整された第２の画像、および第３の被写体領域について露出が調整された第３の画像であり、
   前記オクルージョン検出手段は、前記第１の画像を基準として当該第１の画像と前記第２の画像および前記第３の画像との間に生じるオクルージョン領域の面積をそれぞれ第１の面積および第２の面積として求め、
   前記画像決定手段は、前記第１の被写体領域を基準として当該第１の被写体領域の輝度と前記第２の被写体領域および前記第２の被写体領域の輝度との差分をそれぞれ第１の差分および第２の差分として求めて、前記第１の面積が所定の面積閾値未満であって、かつ前記第１の面積および前記第２の面積の合計が前記面積閾値未満であると、前記第１の差分および前記第２の差分の値に拘わらず、前記第１の画像、前記第２の画像、および前記第３の画像を、前記画像合成を行う画像として決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記画像決定手段は、前記第１の面積が所定の面積閾値未満であって、かつ前記第１の面積および前記第２の面積の合計が所定の面積閾値以上である場合に、前記第２の差分の値が所定の差分閾値未満であると、前記第３の画像のみを、画像合成を行う画像として決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記階調補正領域決定手段は、前記第２の差分の値が所定の差分閾値未満であると、前記第１の被写体領域および前記第２の被写体領域を前記階調補正領域として決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記画像決定手段は、前記第１の面積が所定の面積閾値未満であって、かつ前記第１の面積および前記第２の面積の合計が所定の面積閾値以上である場合に、前記第２の差分の値が所定の差分閾値以上であると、前記第１の画像および前記第２の画像を、画像合成を行う画像として決定することを特徴とする請求項４〜６のいずれか１項に記載の画像処理装置。
8. 前記画像決定手段は、前記第１の面積が所定の面積閾値以上である場合に、前記第１の差分の値が所定の差分閾値以上であると、前記第１の画像のみを、画像合成を行う画像として決定することを特徴とする請求項４〜７のいずれか１項に記載の画像処理装置。
9. 前記オクルージョン領域検出手段は、前記第１の面積が所定の面積閾値以上である場合に、前記第１の差分の値が所定の差分閾値未満であると、前記第２の画像を基準として当該第２の画像と前記第３の画像との間で生じるオクルージョン領域の面積を第３の面積として求め、
   前記画像決定手段は、前記第３の面積が所定の面積閾値未満であると、前記第２の画像および前記第３の画像を、画像合成を行う画像として決定することを特徴とする請求項４〜８のいずれか１項に記載の画像処理装置。
10. 前記階調補正領域決定手段は、前記第１の差分の値が所定の差分閾値未満であると、前記第１の被写体領域を前記階調補正領域として決定することを特徴とする請求項９に記載の画像処理装置。
11. 前記画像決定手段は、前記第３の面積が所定の面積閾値以上である場合に、前記第２の差分の値が所定の差分閾値未満であると、前記第３の画像のみを、画像合成を行う画像として決定することを特徴とする請求項９又は１０に記載の画像処理装置。
12. 前記階調補正領域決定手段は、前記第２の差分の値が所定の差分閾値未満であると、前記第１の被写体領域および前記第２の被写体領域を前記階調補正領域として決定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記画像決定手段は、前記第３の面積が所定の面積閾値以上である場合に、前記第２の差分の値が所定の差分閾値以上であると、前記１の画像および前記第２の画像を、画像合成を行う画像として決定することを特徴とする請求項９〜１２のいずれか１項に記載の画像処理装置。
14. 前記第１の被写体領域は人物を示す人物領域であり、前記第２の被写体領域は背景を示す背景領域であり、前記第３の被写体領域は空を示す空領域であることを特徴とする請求項４〜１３のいずれか１項に記載の画像処理装置。
15. 互いに露光時間の異なる複数枚の画像を合成して合成画像を得る画像処理装置の制御方法であって、
    前記複数枚の画像の各々において所定の複数の被写体領域を検出する被写体領域検出ステップと、
    前記被写体領域検出ステップで検出された前記被写体領域の各々についてその輝度を求める輝度算出ステップと、
    前記複数枚の画像のうち少なくとも２枚の画像を合成する際に生じるオクルージョン領域を検出するオクルージョン領域検出ステップと、
    前記オクルージョン領域と前記輝度とに応じて前記複数枚の画像から画像合成を行う画像を決定する画像決定ステップと、
    前記画像決定ステップで決定された画像を合成処理して前記合成画像とする画像合成ステップと、
    を有することを特徴とする制御方法。
16. 互いに露光時間の異なる複数枚の画像を合成して合成画像を得る画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    前記複数枚の画像の各々において所定の複数の被写体領域を検出する被写体領域検出ステップと、
    前記被写体領域検出ステップで検出された前記被写体領域の各々についてその輝度を求める輝度算出ステップと、
    前記複数枚の画像のうち少なくとも２枚の画像を合成する際に生じるオクルージョン領域を検出するオクルージョン領域検出ステップと、
    前記オクルージョン領域と前記輝度とに応じて前記複数枚の画像から画像合成を行う画像を決定する画像決定ステップと、
    前記画像決定ステップで決定された画像を合成処理して前記合成画像とする画像合成ステップと、
    を実行させることを特徴とする制御プログラム。