JP2015201842A - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】ＨＤＲ合成処理の際に、動画の見えの滑らかさを維持して良好なＨＤＲ効果を得る。
【解決手段】連続して撮影された互いに露出の異なる複数のフレームの画像を合成して１フレームの画像を生成する際、輝度合成比率算出部４０６は１つの画像における輝度に応じて、複数のフレームの第１の合成比率を求め、輝度差合成比率算出部４０７は複数のフレームにおける輝度差に基づいて複数のフレームの第２の合成比率を求める。合成比率算出部４０８は第１の合成比率、第２の合成比率、およびシャッタースピードに基づいて複数のフレームの画像を合成する際の第３の合成比率を求め、合成部４０９は第３の合成比率に基づいて複数のフレームを合成処理して１フレームの画像を生成する。
【選択図】図２

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、複数フレームの画像からハイダイナミックレンジ（ＨＤＲ）合成された動画像を生成する画像処理装置に関する。

画像処理装置の一つとして、デジタルカメラ又はデジタルビデオカメラなどの撮像装置がある。そして、撮像装置において、互いに異なる露光量によって撮影した複数のフレームの画像を合成してハイダイナミックレンジ（ＨＤＲ）画像を得る合成処理（以下ＨＤＲ合成処理と呼ぶ）が行われることがある。このＨＤＲ合成処理においては、適正な露出の画像を合成することによって所謂白飛びおよび黒潰れのない画像を得ることができる。

ところで、ＨＤＲ合成処理においては、撮影の結果得られた複数のフレームを１フレームに合成することを時系列で繰り返すことによって、動画像においてもＨＤＲ画像を得ることができる。ところが、ＨＤＲ合成処理で得られた動画像のフレームレートが撮像の際のフレームレートよりも低下してしまう。このため、特に、シャッタースピードが速い場合には移動被写体の動きが滑らかに見えないことがある。

さらに、動画像の場合には、一般に移動被写体はその特性に応じて、ＨＤＲ合成処理の際に複数のフレームのいずれかのフレームにおける画素で置き換えられる。このため、移動被写体検出の精度が不十分であると、移動被写体が部分的に異なるフレームの画素で置き換えられることとなって、合成画像に違和感が生じることがある。

このような問題点を解消するため、例えば特許文献１の撮像装置は、動画像におけるＨＤＲ合成処理において、短時間露光および長時間露光で互いに露出の異なる２画像を撮影する。そして、短時間露光画像にブレを付加した予測画像を生成し、長時間露光画像と予測画像との差分を算出することで差分画像を生成し、短時間露光画像と差分画像とを符号化する。これによって、短時間露光画像と長時間露光画像とを符号化するより符号化効率を上げるようにしている。

また、動画像において１フレーム期間中の非露光期間おける画像情報を補うため、前後のフレームの動き情報から中間画像を生成するようにしたものがある（特許文献２参照）。ここでは、元の画像と中間画像とを合成して１画像を生成する際、元の画像と中間画像との合成重み付けをシャッタースピードに応じて求めるようにしている。

ＷＯ２０１０／１１６７３１公報 特開２００９−２３２３８２号公報

前述のように、特許文献１においては、フレーム間の差を小さくすることによって符号化効率を上げるようにしているものの、ＨＤＲ合成処理において動画の見えを滑らかとすることは困難である。

また、特許文献２においては、中間画像を生成しているので、ＨＤＲ合成処理によるＨＤＲ効果が低減してしまう。

つまり、特許文献１および２に記載の手法では、ＨＤＲ合成処理の際に、動画の見えの滑らかさを維持して良好なＨＤＲ効果を得ることは困難である。

従って、本発明の目的は、ＨＤＲ合成処理の際に、動画の見えの滑らかさを維持して良好なＨＤＲ効果を得ることのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、連続して撮影された互いに露出の異なる複数のフレームの画像を合成して１フレームの画像を生成する画像処理装置であって、前記複数のフレームの画像のうち少なくとも１つの画像における輝度に基づいて、前記複数のフレームの画像の第１の合成比率を求める第１の算出手段と、前記複数のフレームの画像における輝度差に基づいて、前記複数のフレームの画像の第２の合成比率を求める第２の算出手段と、前記第１の合成比率、前記第２の合成比率、および前記複数のフレームの画像を得る際のシャッタースピードに基づいて、前記複数のフレームの画像を合成する際の最終の合成比率である第３の合成比率を求める第３の算出手段と、前記第３の合成比率に基づいて、前記複数のフレームの画像を合成処理して前記１フレームの画像を生成する合成手段と、を有することを特徴とする。

本発明による制御方法は、連続して撮影された互いに露出の異なる複数のフレームの画像を合成して１フレームの画像を生成する画像処理装置の制御方法であって、前記複数のフレームの画像のうち少なくとも１つの画像における輝度に基づいて、前記複数のフレームの画像の第１の合成比率を求める第１の算出ステップと、前記複数のフレームの画像における輝度差に基づいて、前記複数のフレームの画像の第２の合成比率を求める第２の算出ステップと、前記第１の合成比率、前記第２の合成比率、および前記複数のフレームの画像を得る際のシャッタースピードに基づいて、前記複数のフレームの画像を合成する際の最終の合成比率である第３の合成比率を求める第３の算出ステップと、前記第３の合成比率に基づいて、前記複数のフレームの画像を合成処理して前記１フレームの画像を生成する合成ステップと、を有することを特徴とする。

本発明による制御プログラムは、連続して撮影された互いに露出の異なる複数のフレームの画像を合成して１フレームの画像を生成する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記複数のフレームの画像のうち少なくとも１つの画像における輝度に基づいて、前記複数のフレームの画像の第１の合成比率を求める第１の算出ステップと、前記複数のフレームの画像における輝度差に基づいて、前記複数のフレームの画像の第２の合成比率を求める第２の算出ステップと、前記第１の合成比率、前記第２の合成比率、および前記複数のフレームの画像を得る際のシャッタースピードに基づいて、前記複数のフレームの画像を合成する際の最終の合成比率である第３の合成比率を求める第３の算出ステップと、前記第３の合成比率に基づいて、前記複数のフレームの画像を合成処理して前記１フレームの画像を生成する合成ステップと、を実行させることを特徴とする。

本発明によれば、第１の合成比率、第２の合成比率、および複数のフレームの画像を得る際のシャッタースピードに基づいて、複数のフレームの画像を合成する際の第３の合成比率を求めて、第３の合成比率に基づいて複数のフレームの画像を合成処理して１フレームの画像を生成する。これによって、ＨＤＲ合成処理の際に、動画の見えの滑らかさを維持して良好なＨＤＲ効果を得ることができる。

本発明の第１の実施形態による画像処理装置の構成を示すブロック図である。 図１に示すＨＤＲ処理部の構成を示すブロック図である。 図２に示すＨＤＲ処理部に入力されるフレーム単位の画像信号の流れの一例を示す図である。 図２に示す現像部の構成を示すブロック図である。 図４に示すガンマ変換部で用いられるガンマ特性を示すグラフである。 図２に示す輝度合成比率算出部で算出されるアンダーフレーム画像データの輝度合成比率と輝度との関係を示すグラフである。 図２に示す輝度差合成比率算出部で算出されるアンダーフレーム画像データの輝度差合成比率と輝度差との関係を示すグラフである。 （ａ）は図２に示す輝度差合成比率算出部で算出されたアンダーフレーム画像データの輝度差合成比率と２フレーム間の輝度差との関係を示すグラフ、（ｂ）は図２に示す合成比率算出部が合成度合を変更した後のアンダーフレーム画像データの輝度差合成比率と２フレーム間の輝度差との関係を示すグラフである。 動画をＨＤＲ合成処理する際に、合成比率算出部でアンダーフレーム画像データの輝度差合成比率を算出する際に用いられる変数Ｇとシャッタースピードとの関係を示すグラフである。 静止画をＨＤＲ合成処理する際に、合成比率算出部でアンダーフレーム画像データの輝度差合成比率を算出する際に用いられる変数Ｇとシャッタースピードとの関係を示すグラフである。 本発明の第２の実施形態に係るカメラに備えられたＨＤＲ処理部の構成を示すブロック図である。 図１１に示すＨＤＲ処理部に入力されるフレーム単位の画像信号の一例を示す図である。 図１１に示す輝度合成比率算出部で算出される第１の適レーム画像データ以外の画像データの輝度合成比率と輝度との関係を示すグラフである。 動画をＨＤＲ合成処理する際に、図１１に示す合成比率算出部で算出される合成比率とシャッタースピードとの関係を示すグラフである。 動画をＨＤＲ合成処理する際に、図１１に示す合成比率算出部で最高合成比率を算出する際に用いられる変数Ｇとシャッタースピードとの関係を示すグラフである。 静止画をＨＤＲ合成処理する際に、図１１に示す合成比率算出部で算出される合成比率とシャッタースピードとの関係を示すグラフである。 本発明の第３の実施形態による画像処理装置としての情報処理装置の構成を示すブロック図である。 図１７に示すメモリにロードされたアプリケーションプログラムの格納状況を示す図である。 図１７に示す情報処理装置で行われる映像処理を示すフローチャートである。 図１９のステップＳ４に示す画像処理を示すフローチャートである。

以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置の構成を示すブロック図である。

図示の画像処理装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）などの撮像装置であり、動画撮影を行うことができる。カメラは動画撮影の際、適正露出において１フレーム（以下適フレームという）分の撮影を行うとともに、露出がアンダーな状態で１フレーム（以下アンダーフレームという）分の撮影を行って２フレームの画像を得る。ここで露出とは、シャッタースピード、絞り値に左右される露光量とISO感度等の画像信号に掛かるゲインから決まる画像の明るさに対応する指標であるものとする。すなわち露出の異なるとは、これらの画像の明るさを決める諸条件のいずれかを異ならせることによって起こるものを含む。そして、カメラは、これら２フレームについて移動被写体に関する処理を行って、２フレームの画像を合成してハイダイナミックレンジ（ＨＤＲ）画像を得る合成処理（以下ＨＤＲ合成処理と呼ぶ）を行う。ＨＤＲ合成処理の際には、カメラは、後述するようにして、移動被写体の合成度合をシャッタースピードに応じて制御する。

カメラは、光学系１、撮像素子２、信号処理部３、ＨＤＲ処理部４、信号処理部５、符号化処理部６、出力部７、およびＵＩ（ユーザインタフェース）部８を備えており、これらはバス９によって相互に接続されている。

図２は、図１に示すＨＤＲ処理部４の構成を示すブロック図である。

図示のＨＤＲ処理部４は、シャッタースピード入力端子４０１、適フレーム入力端子４０２、アンダーフレーム入力端子４０３、現像部４０４および４０５、輝度合成比率算出部４０６、輝度差合成比率算出部４０７、合成比率算出部４０８、合成部４０９、およびＨＤＲ合成画像出力端子４１０を有している。

光学系１は、アイリスおよびレンズなどを有しており、光学系１を通過した光学像は、撮像素子２に結像する。撮像素子２は、例えば、ＣＭＯＳ又はＣＣＤセンサであり、光学像を光電変換して電気信号（アナログ信号）を出力する。なお、ここでは、撮像素子２は複数の画素が２次元マトリックス状にベイヤー配列されている。

撮像素子２の出力であるアナログ信号は信号処理部３に送られる。信号処理部３は、アナログ信号に対してＡ／Ｄ変換およびゲインコントロールなどの処理を行って、デジタル画像信号（ここでは、適フレーム画像信号およびアンダーフレーム画像信号）をＨＤＲ処理部４に送る。

なお、ユーザはＵＩ部８を用いて、動画モード又は静止画モードの選択を行うとともに、ＩＳＯ感度およびシャッタースピードなどの撮影条件を設定する。そして、ＵＩ部８で設定された撮影条件に係る設定情報はバス９を介して光学系１、撮像素子２、画像処理部３、ＨＤＲ処理部４、信号処理部５、符号化処理部６、および出力部７に送られる。

ＨＤＲ処理部４には、信号処理部３から入力端子４０２、４０３を介して適フレーム画像信号およびアンダーフレーム画像信号が入力される。そして、これら適フレーム画像信号およびアンダーフレーム画像信号はそれぞれ現像部４０４および４０５に送られる。さらに、前述のように、ＵＩ部８からバス９を介してシャッタースピードがＨＤＲ処理部４に与えられる。そして、シャッタースピードは合成比率算出部４０８に送られる。

現像部４０４は、適フレーム画像信号を現像して得た適フレーム画像データを、合成部４０９、輝度合成比率算出部４０６、および輝度差合成比率算出部４０７に送る。一方、現像部４０５は、アンダーフレーム画像信号を現像して得たアンダーフレーム画像データを、合成部４０９、および輝度差合成比率算出部４０７に送る。

輝度合成比率算出部４０６は、適フレーム画像データを参照して、画像中の予め分割された領域毎又は画素毎に、その輝度に応じた輝度合成比率（第１の合成比率）を算出する。そして、輝度合成比率算出部４０６は当該輝度合成比率を合成比率算出部４０８に送る。輝度差合成比率算出部４０７は、適フレーム画像データおよびアンダーフレーム画像データを参照して、画像データにおいて予め分割された領域毎又は画素毎に、その輝度差に基づいて輝度差合成比率（第２の合成比率）を算出する。そして、輝度差合成比率算出部４０７は輝度差合成比率を合成比率算出部４０８に送る。

合成比率算出部４０８は、輝度合成比率および輝度差合成比率とシャッタースピードとに基づいて最終的な合成比率（第３の合成比率）を算出して当該合成比率を合成部４０９に送る。合成部４０９は、最終的な合成比率に応じて適フレーム画像データおよびアンダーフレーム画像データを合成してＨＤＲ合成画像データとしてＨＤＲ合成画像出力端子４１０を介して信号処理部５に出力する。

信号処理部５では、ＨＤＲ合成画像データに対して輝度のゲイン調整およびリサイズ処理などの信号処理を行って、符号化処理部６に信号処理結果である処理済み画像データを送る。符号化処理部６は処理済み画像データを符号化処理して、符号化画像データを出力部７に出力する。そして、出力部７は、符号化画像データをＨＤＭＩ（登録商標）などのインタフェース（図示せず）に出力するとともに、ＣＦカードなどのメディアへ保存し、さらに、背面液晶装置などの表示デバイス（図示せず）に出力する。

ここで、上述のＨＤＲ処理部４におけるＨＤＲ合成処理についてさらに説明する。入力端子４０２には、信号処理部３から適フレーム画像信号がフレーム単位で順次入力される。同様に、入力端子４０３には、信号処理部３からアンダーフレーム画像信号がフレーム単位で順次入力される。

図３は、図２に示すＨＤＲ処理部４に入力されるフレーム単位の画像信号の流れの一例を示す図である。

図示の例では、カメラは適正露出および露出アンダーの状態で交互に撮影を行う。適フレーム画像信号（適フレーム）は順次入力端子４０２からＨＤＲ処理部４に入力される。一方、アンダーフレーム画像信号（アンダーフレーム）は順次入力端子４０３からＨＤＲ処理部４に入力される。

なお、ここでは、適正露出とアンダー露出との露出差をＩＳＯ感度の差で２段とし、適性露出およびアンダー露出の順で撮像するものとするが、露出差や撮像の順序はこの例に限られない。さらに、適フレームとアンダーフレームは、図示のように交互にＨＤＲ処理部４に入力され、２フレームが一単位となるが、本発明は図示の例に限られない。

前述のように、現像部４０４および４０５はそれぞれ適フレーム画像信号およびアンダーフレーム画像信号の現像処理を行う。

図４は、図２に示す現像部４０４の構成を示すブロック図である。なお、現像部４０４および４０５の構成は同様であるので、ここでは、現像部４０４について説明する。

現像部４０４において、ホワイトバランス（ＷＢ）部４０４１は、適フレーム画像信号に対してＷＢ処理を行う。具体的には、ＷＢ部４０４１は白くあるべき領域についてＲ（赤）、Ｇ（緑）、およびＢ（青）が同一の信号値になるように、ゲインをＲ、Ｇ、およびＢに乗算する。そして、ノイズリダクション（ＮＲ）処理部４０４２はＷＢ処理後の画像信号に対してセンサに起因するノイズなどを低減する。

色補間部４０４３は色モザイク画像を補間して、全ての画素においてＲ、Ｇ、およびＢの色情報が揃ったカラー画像を生成する。マトリックス変換部４０４４は当該カラー画像についてマトリックス変換処理を行い、ガンマ変換部４０４５はマトリックス変換部４０４４の出力に対してガンマ変換処理を行って基本カラー画像を生成する。そして、色調整部４０４６は画像の見栄えを改善するための処理を基本カラー画像に施す。例えば、色調整部４０４６は、基本カラー画像に対して彩度強調、色相補正、およびエッジ強調などの画像補正を行って、適フレーム画像データを出力する。

なお、現像部４０５も、図４で説明される構成を持ち、アンダーフレーム画像信号に対して現像処理を行ってアンダーフレーム画像データを出力する。

ところで、ＨＤＲ合成処理を行う際には、互いに異なる露出で撮影された画像信号が用いられる関係上、予めゲインを乗算して輝度レベルを揃えておく必要がある。この際、所謂白飛びおよび黒潰れが生じないように、ゲインを設定する必要がある。

図５は、図４に示すガンマ変換部４０４５で用いられるガンマ特性を示す図である。

図５において、実線で示されるガンマ特性６０１は、現像部４０４で適フレーム画像信号に用いられる。また、破線で示されるガンマ特性６０２は、現像部４０５でアンダーフレーム画像信号に用いられる。

図５に示すように、ガンマ特性６０２はガンマ特性６０１よりも輝度に対する出力が大きい。このため、アンダーフレーム画像信号については適フレーム画像信号よりもゲインが大きく掛るので、現像後のアンダーフレーム画像データについてノイズも大きくなる。そこで、アンダーフレーム画像信号についてはＮＲ処理部において、適フレーム画像信号よりもＮＲ処理を強くして、現像後の適フレーム画像データとアンダーフレーム画像データとのノイズ量を揃えるようにする。

この処理によって、ＨＤＲ合成処理後において、適フレーム画像信号とアンダーフレーム画像信号のノイズ量の相違に起因する違和感を低減することができる。ＮＲ処理を行う際には、例えば、所定のカーネルサイズにおける平滑化処理が用いられるが、εフィルタ又はエッジ保存型のバイラテラルフィルタなどのフィルタ処理を行うようにしてもよい。いずれにしても、画像処理装置の処理速度およびメモリなどのリソースとのバランスを考慮して、ＮＲ処理を実行する。

なお、上述の説明では、現像部４０４および４０５を別の構成としたが、現像の際に用いるガンマ特性などのパラメータを、適フレーム画像信号とアンダーフレーム画像信号とに応じて切り替えるようにして、一つの現像部で適フレーム画像信号とアンダーフレーム画像信号を処理するようにしてもよい。

前述のように、輝度合成比率算出部４０６は、適フレーム画像データの輝度に応じて、画像データにおいて予め分割された領域毎又は画素毎に輝度合成比率を算出する。

図６は、図２に示す輝度合成比率算出部４０６で算出されるアンダーフレーム画像データの輝度合成比率ｋと輝度との関係を示すグラフである。

ＨＤＲ合成画像データを得るため、適フレーム画像データの中で第１の輝度合成閾値Ｙ１よりも暗い領域については、適フレーム画像データの輝度合成比率を１００％とし、第１の輝度合成閾値Ｙ１よりも大きい第２の輝度合成閾値Ｙ２よりも明るい領域についてはアンダーフレーム画像データの輝度合成比率ｋを１００％にする。つまり、適画像データの輝度（適フレーム輝度）が第１の輝度合成閾値Ｙ１より小さいとき、アンダーフレーム画像データの輝度合成比率ｋは０％となる。

そして、適フレーム輝度が第１の輝度合成閾値以上で第２の輝度合成閾値以下のとき、輝度合成比率算出部４０６は、アンダーフレーム画像データの輝度合成比率ｋを０％〜１００％の間で単調増加させて（つまり、線形的に増加させて）、画像の切り替えを滑らかにする。

前述のように輝度差合成比率算出部４０７は、アンダーフレーム画像データと適フレーム画像データとの輝度差に応じて輝度差合成比率を算出する。

図７は、図２に示す輝度差合成比率算出部４０７で算出されるアンダーフレーム画像データの輝度差合成比率ｄと輝度差との関係を示すグラフである。

ＨＤＲ合成画像データを生成する際には、撮影時刻の異なる複数のフレームを合成する必要がある。このため、フレーム内に移動被写体が存在する際には、複数のフレーム間において移動被写体の位置が異なる。また、移動被写体が存在する領域では、アンダーフレーム画像データと適フレーム画像データとの輝度差が大きくなる。

輝度差合成比率算出部４０７は、画像データにおいて予め分割された領域毎又は画素毎に、アンダーフレーム画像データと適フレーム画像データとの輝度差を求める。そして、輝度差合成比率算出部４０７は当該輝度差に基づいて輝度差合成比率を算出する。

アンダーフレーム画像データについては、適フレーム画像データと比べた場合、階調が残留していることが多い。よって、輝度差合成比率算出部４０７は移動被写体についてはアンダーフレーム画像データを利用する。ここでは、輝度差が第１の輝度差合成閾値ｄ１よりも小さい場合には適フレーム画像データの輝度差合成比率が１００％となる。一方、第１の輝度差合成閾値ｄ１よりも大きい第２の輝度差合成閾値ｄ２よりも輝度差が大きい場合には、アンダーフレーム画像データの輝度差合成比率ｄが１００％になる。

つまり、アンダーフレーム画像データの輝度差合成比率ｄは、輝度差が第１の輝度差合成閾値ｄ１より小さいとき、０％となる。そして、輝度差が第１の輝度差合成閾値以上で第２の輝度差合成閾値以下のとき、輝度差合成比率算出部４０７は、アンダーフレーム画像データの輝度差合成比率ｄを０％〜１００％の間で単調増加させて（つまり、線形的に増加させて）、画像の切り替えを滑らかにする。

一般に、合成された動画像のフレームレートは撮像の際のフレームレートよりも低下する。特に、シャッタースピードが速い場合には、移動被写体の動きが滑らかに見えない。このため、合成比率算出部４０８はシャッタースピードに応じて、移動被写体における合成度合を制御して動画の滑らかさを確保する。

図８は、図２に示す合成比率算出部４０８で行われる合成度合の制御を説明するための図である。そして、図８（ａ）は、図２に示す輝度差合成比率算出部４０７で算出されるアンダーフレーム画像データの輝度差合成比率ｄと２フレーム間の輝度差との関係を示すグラフであり、図８（ｂ）は、合成比率算出部４０８が合成度合を変更した後のアンダーフレーム画像データの輝度差合成比率と２フレーム間の輝度差との関係を示すグラフである。

ここでは、合成比率算出部４０８は、図８（ａ）に示す輝度差合成比率と輝度差との関係を、最高合成比率を、例えば、５０％として、図８（ｂ）に示すような関係に変更する。これによって、輝度差が大きい移動被写体の部分については、適フレーム画像データの輝度差合成比率を５０％、アンダーフレーム画像データの輝度差合成比率を５０％として２フレームが合成される。

図８（ａ）に示すアンダーフレーム画像データの輝度差合成比率をｄとし、合成度合の決定後（つまり、輝度差合成比率変更後）のアンダーフレーム画像データの輝度差合成比率をｄ_afterとする。この場合、変更後の輝度差合成比率ｄ_afterは、次の式（１）によって求められる。

ｄ_after＝ｄ＊（Ｇ／１００） （１）
図９は、動画をＨＤＲ合成処理する際に、図２に示す合成比率算出部４０８でアンダーフレーム画像データの輝度差合成比率ｄ_afterを算出する際に用いられる変数Ｇとシャッタースピードとの関係を示すグラフである。

図９に示すように、式（１）に示す変数Ｇは、シャッタースピードに応じて変化する。ここでは、シャッタースピードが遅くなるにつれて変数Ｇの値は大きくなり、シャッタースピードが速くなるにつれて変数Ｇの値が小さくなる。つまり、シャッタースピードが遅ければ、アンダーフレーム画像データの輝度差合成比率ｄ_afterは大きくなり、シャッタースピードが速ければ、アンダーフレーム画像データの輝度差合成比率ｄ_afterは小さくなる。そして、合成比率算出部４０８は、画像データにおいて予め分割された領域毎又は画素毎に、アンダーフレーム画像データの変更後の輝度差合成比率ｄ_afterとアンダーフレーム画像データの輝度合成比率ｋとを比較して、その値が大きい方を最終的な合成比率ｍとして合成部４０９に出力する。

合成部４０９は、次の式（２）を用いて、合成比率ｍに応じて適フレーム画像データとアンダーフレーム画像データとを合成し、ＨＤＲ合成画像データを生成する。

ｐ＝ｐｔ＊（（１００−ｍ）／１００）＋ｐｕ（ｍ／１００） （２）
ここで、ｐは最終的な合成フレームの画素値を示し、ｐｔは適フレームの画素値を示す。そして、ｐｕはアンダーフレームの画素値を示す。

上述の例では、動画をＨＤＲ合成処理する場合について説明したが、同様にして、静止画をＨＤＲ合成処理するようにしてもよい。この場合、静止画はシャッタースピードが速ければ移動被写体をくっきりと描写するため、可能な限り合成処理を行わないようにする必要がある。

図１０は、静止画をＨＤＲ合成処理する際に、図２に示す合成比率算出部４０８でアンダーフレーム画像データの輝度差合成比率ｄ_afterを算出する際に用いられる変数Ｇとシャッタースピードとの関係を示すグラフである。

図１０に示す例では、シャッタースピードが遅くなるにつれて変数Ｇの値は小さくなり、シャッタースピードが速くなるにつれて変数Ｇの値が大きくなる。つまり、シャッタースピードが遅ければ、アンダーフレーム画像データの変更後の輝度差合成比率ｄ_afterは小さくなり、シャッタースピードが速ければ、アンダーフレーム画像データの輝度差合成比率ｄ_afterは大きくなる。

このように、本発明の第１の実施形態では、画像データをＨＤＲ合成処理する際、移動被写体の部分について適フレームおよびアンダーフレームを合成するようにしたので、画像、特に、動画の見えの滑らかさを維持して良好なＨＤＲ効果を得ることができる。つまり、シャッタースピードに応じて合成比率を変化させてＨＤＲ合成処理を行うようにしたので、最適な動画ＨＤＲ合成画像データを得ることができる。この結果、フレームレートの低下に起因する動きの不自然さを低減するとともに、移動被写体の画質劣化を低減することができる。

さらに、シャッタースピードに応じて合成度合を制御するようにしたので、合成が不必要な部分における合成処理の負荷を低減することができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置の一例であるカメラについて説明する。なお、第２の実施形態に係るカメラの構成は、図１に示すカメラと同様である。

第２の実施形態によるカメラでは、時間的に連続する適フレーム、アンダーフレーム、および適フレームの３フレームを撮像してＨＤＲ合成処理を行う際、移動被写体の部分の合成するフレーム数と合成度合とをシャッタースピードに基づいて制御する。

図１１は、本発明の第２の実施形態に係るカメラに備えられたＨＤＲ処理部４の構成を示すブロック図である。なお、図１１に示すＨＤＲ処理部４において、図２に示すＨＤＲ処理部と同一の構成要素については同一の参照番号を付す。

図１１に示すＨＤＲ処理部４は、シャッタースピード入力端子４０１、第１の適フレーム入力端子４０２、アンダーフレーム入力端子４０３、第２の適フレーム入力端子１１０１を備えている。

第１の適フレーム入力端子４０２には信号処理部３から、時刻（ｔ−１）で撮像された適フレーム画像信号（以下第１の適フレーム画像信号と呼ぶ）が入力され、アンダーフレーム入力端子４０３には時刻ｔで撮像されたアンダーフレーム画像信号が入力される。また、第２の適フレーム入力端子１１０１には時刻（ｔ＋１）で撮像された適フレーム画像信号（以下第２の適フレーム画像信号と呼ぶ）が入力される。そして、これら第１の適フレーム画像信号、アンダーフレーム画像信号、および第２の適フレーム画像信号はそれぞれ現像部４０４、４０５、１１０２に送られる。

現像部４０４は、第１の適フレーム画像信号を現像して得た第１の適フレーム画像データを、合成部１１０６、輝度合成比率算出部１１０３、および輝度差合成比率算出部４０７に送る。現像部４０５は、アンダーフレーム画像信号を現像して得たアンダーフレーム画像データを、合成部１１０６および輝度差合成比率算出部４０７および１１０４に送る。また、現像部１１０２は、第２の適フレーム画像信号を現像して得た第２の適フレーム画像データを、合成部１１０６および輝度差合成比率算出部１１０４に送る。

輝度合成比率算出部１１０３は、第１の適フレーム画像データを参照して、その輝度に応じた輝度合成比率を算出する。そして、輝度合成比率算出部１１０３は当該輝度合成比率を合成比率算出部１１０５に送る。輝度差合成比率算出部４０７は、第１の適フレーム画像データおよびアンダーフレーム画像データの輝度差に基づいて輝度差合成比率（この輝度差合成比率を第１の輝度差合成比率と呼ぶ）を算出する。そして、輝度差合成比率算出部４０７は第１の輝度差合成比率を合成比率算出部１１０５に送る。

また、輝度差合成比率算出部１１０４は、アンダーフレーム画像データおよび第２の適フレーム画像データの輝度差に基づいて輝度差合成比率（この輝度差合成比率を第２の輝度差合成比率と呼ぶ）を算出する。そして、輝度差合成比率算出部１１０４は第２の輝度差合成比率を合成比率算出部１１０５に送る。

合成比率算出部１１０５は、輝度合成比率と第１および第２の輝度差合成比率、さらにシャッタースピードに基づいて合成比率を算出して当該合成比率を合成部１１０６に送る。合成部１１０６は、合成比率に応じて第１および第２の適フレーム画像データとアンダーフレーム画像データとを合成してＨＤＲ合成画像データとしてＨＤＲ合成画像出力端子４１０を介して信号処理部５に出力する。

ここで、第２の実施形態に係るカメラに備えられたＨＤＲ処理部４におけるＨＤＲ合成処理についてさらに説明する。第１の適フレーム入力端子４０２には、信号処理部３から第１の適フレーム画像信号がフレーム単位で順次入力される。同様に、アンダーフレーム入力端子４０３には、信号処理部３からアンダーフレーム画像信号がフレーム単位で順次入力される。そして、第２の適フレーム入力端子１１０１には、信号処理部３から第２の適フレーム画像信号がフレーム単位で順次入力される。

図１２は、図１１に示すＨＤＲ処理部４に入力されるフレーム単位の画像信号の一例を示す図である。

図示の例では、カメラは時刻（ｔ−１）で適正露出の撮影を行い、さらに、時刻ｔで露出アンダーの状態で撮影を行う。さらに、カメラは時刻（ｔ＋１）で適正露出の撮影を行う。そして、第１の適フレーム画像信号が順次第１の適フレーム入力端子４０２からＨＤＲ処理部４に入力される。一方、アンダーフレーム画像信号は順次アンダーフレーム入力端子４０３からＨＤＲ処理部４に入力される。また、第２の適フレーム画像信号が順次第２の適フレーム入力端子１１０１からＨＤＲ処理部４に入力される。

ＨＤＲ合成処理において１フレームの画像データを生成するための処理を１処理は、第１の適フレーム画像信号、アンダーフレーム画像信号、および第２の適フレーム画像信号を必要とする。そして、１処理が終了した後の次の１処理においては、直前の１処理での第２の適フレーム画像信号が第１の適フレーム画像信号となる。

なお、現像部４０４および４０５における処理は、第１の実施形態と同様であるのでここでは説明を省略する。また、現像部１１０２の構成は図４に示す現像部と同様であり、その処理は現像部４０４と同様であるので説明を省略する。

前述のように、輝度合成比率算出部１１０３は、第１の適フレーム画像データの輝度に基づいて輝度合成比率を算出する。

図１３は、図１１に示す輝度合成比率算出部１１０３で算出される第１の適レーム画像データ以外の画像データの輝度合成比率ｋと輝度との関係を示すグラフである。

ＨＤＲ合成画像データを得るため、第１の適フレーム画像データの中で第１の輝度合成閾値Ｙ１よりも暗い領域については、第１の適フレーム画像データの輝度合成比率を１００％とし、第１の輝度合成閾値Ｙ１よりも大きい第２の輝度合成閾値Ｙ２よりも明るい領域については第１の適フレーム画像データ以外の画像データの輝度合成比率ｋを１００％とする。つまり、第１の適フレーム画像データの輝度（第１の適フレーム輝度）が第１の輝度合成閾値Ｙ１より小さい、第１の適レーム画像データ以外の画像データの輝度合成比率ｋは０％となる。

一方、第１の適フレーム輝度が第２の輝度合成閾値Ｙ２より大きいとき、第１の適レーム画像データ以外の画像データの輝度合成比率は１００％となる。そして、第１の適フレーム輝度が第１の輝度合成閾値Ｙ１以上で第２の輝度合成閾値Ｙ２以下のとき、輝度合成比率算出部１１０３は、第１の適レーム画像データ以外の画像データの輝度合成比率ｋを０％〜１００％の間で単調増加させて（つまり、線形的に増加させて）、画像の切り替えを滑らかにする。

前述のように、第１の輝度差合成比率算出部４０７は、第１の適フレーム画像データとアンダーフレーム画像データとの輝度差に応じて第１の輝度差合成比率ｄａを算出する。同様に、第２の輝度差合成比率算出部１１０４は、第２の適フレーム画像データとアンダーフレーム画像データとの輝度差に応じて第２の輝度差合成比率ｄｂを算出する。

なお、輝度差合成比率の算出については、図７に関連して説明したようにして行われるので、ここでは、説明を省略する。

合成比率算出部１１０５はまず、次の式（３）を用いて第２の合成比率ｄｃを求める。

ｄａ≧ｄｂの場合、ｄｃ＝ｄａ
ｄａ＜ｄｂの場合、ｄｃ＝ｄｂ （３）
つまり、合成比率算出部１１０５は、第１の輝度差合成比率ｄａが第２の輝度差合成比率ｄｂ以上であると、第１の輝度差合成比率ｄａを第２の合成比率ｄｃとする。一方、合成比率算出部１１０５は第１の輝度差合成比率ｄａが第２の輝度差合成比率ｄｂ未満であると、第２の輝度差合成比率ｄｂを第２の合成比率ｄｃとする。

続いて、合成比率算出部１１０５は、シャッタースピードに基づいて、３フレームの合成比率を算出する。

図１４は、図１１に示す合成比率算出部１１０５で算出される合成比率とシャッタースピードとの関係を示すグラフである。

アンダーフレーム画像データ、第１の適フレーム画像データ、および第２の適フレーム画像データの合成比率をそれぞれｇｓ_ｔ、ｇｓ_ｔ−１、およびｇｓ_ｔ＋１する。なお、ここでは、シャッタースピードの最小値を１／４０００、最大値を１／６０とするが、シャッタースピードの範囲はカメラによって変動する。

第２の実施形態では、切替シャッタースピードｓを設定し、実際のシャッタースピードＴが切替シャッタースピードｓ以下である場合には、アンダーフレーム画像データ、第１、第２の適フレーム画像データの３つの画像データを合成し、実際のシャッタースピードＴが切替シャッタースピードｓより遅い場合には、アンダーフレーム画像データと第１の適フレーム画像データとの２つの画像データを合成する。

まず、次の式（４）で示す条件においては、合成比率ｇｓ_ｔ、ｇｓ_ｔ−１、およびｇｓ_ｔ＋１は式（５）によって求めることができる。なお、第１の適フレーム画像データの最高合成比率ｇ＝５０％、切替シャッタースピードｓ＝１／３００とする。

上述の式（４）で示す条件以外の場合には、合成比率算出部１１０５は、第１の実施形態で説明したようにして、下記の式（６）に示す変数Ｇを求める。

図１５は、動画をＨＤＲ合成処理する際に、図１１に示す合成比率算出部１１０５で合成比率を算出する際に用いられる変数Ｇとシャッタースピードとの関係を示すグラフである。

図１５に示すように、変数Ｇは、シャッタースピードに応じて変化する。ここでは、シャッタースピードが遅くなるにつれてＧの値は大きくなり、シャッタースピードが速くなるにつれてＧの値が小さくなる。そして、シャッタースピード＝１／３００のとき、Ｇ＝５０となる。

次に、合成比率算出部１１０５は、式（６）によって、合成比率ｇｓ_ｔ、ｇｓ_ｔ−１、およびｇｓ_ｔ＋１を求める。

そして、合成比率算出部１１０５は、輝度合成比率ｋと合成比率ｇｓ_ｔとを比較して、ｋ＞ｇｓ_ｔであるか否かを判定する。ｋ＞ｇｓ_ｔであると、合成比率算出部１１０５は、次の式（７）で示す最終的な合成比率を算出する。ここでは、アンダーフレーム画像データ、第１の適フレーム画像データ、および第２の適フレーム画像データの最終的な合成比率をそれぞれＬ_１、Ｍ_１、およびＬ_２とする。

Ｌ_１＝ｋ
Ｍ_１＝１００−ｋ （７）
Ｌ_２＝０
一方、ｋ≦gs_tであると、合成比率算出部１１０５は、次の式（８）によって合成比率Ｌ_１、Ｍ_１、およびＬ_２を求める。

Ｌ_１＝ｇｓ_ｔ
Ｍ_１＝ｇｓ_ｔ−１ （８）
Ｌ_２＝ｇｓ_ｔ＋１
そして、合成比率算出部１１０５は、合成比率Ｌ_１、Ｍ_１、Ｌ_２を合成部１１０６に出力する。

図１４に示すように、アンダーフレーム画像データの合成比率Ｌ_１はシャッタースピードが遅くなるにつれて徐々に大きくなり、シャッタースピードが切替シャッタースピードｓ＝１／３００より遅くなると、増加率が大きくなる。一方、第１の適フレーム画像データの合成比率Ｍ_１は、シャッタースピードが切替シャッタースピードより速いときにはほぼ一定であるが、シャッタースピードが切替シャッタースピードｓ＝１／３００より遅くなると、急激に低下する。また、第２の適フレーム画像データの合成比率Ｌ_２はシャッタースピードが遅くなるにつれて徐々に低下し、シャッタースピードが切替シャッタースピードｓ＝１／３００となるとゼロとなる。

つまり、図１４に示す例では、シャッタースピードが遅くなると、合成するフレームの数が少なくなる（ここでは、１フレームとなる）。シャッタースピードが速くなると、合成するフレームの数が多くなる（ここでは、３フレームとなる）。

合成部１１０６は、合成比率Ｌ_１， Ｍ_１， Ｌ_２を参照して、次の式（９）によってアンダーフレーム画像データ、第１の適フレーム画像データ、および第２の適フレーム画像データを合成処理して、ＨＤＲ合成画像データを生成する。

ここで、ｐは最終的な合成フレームの画素値を示し、ｐ_ｔ、ｐ_ｔ−１、およびｐ_ｔ＋１はそれぞれアンダーフレーム画像データ、第１の適フレーム画像データ、および第２の適フレーム画像データの画素値を示す。

上述の例では、動画をＨＤＲ合成処理する場合について説明したが、同様にして、静止画をＨＤＲ合成処理するようにしてもよい。この場合、静止画はシャッタースピードが速ければ移動被写体をくっきりと描写するため、可能な限り合成処理を行わないようにする必要がある。

図１６は、静止画をＨＤＲ合成処理する際に、図１１に示す合成比率算出部１１０５で算出される合成比率とシャッタースピードとの関係を示すグラフである。

アンダーフレーム画像データの合成比率Ｌ_１はシャッタースピードが遅くなるにつれて徐々に低下する。一方、第１の適フレーム画像データの合成比率Ｍ_１は、シャッタースピードに拘わらずほぼ一定である。また、第２の適フレーム画像データの合成比率Ｌ_２はシャッタースピードが遅くなるにつれて徐々に大きくなる。

つまり、図１６に示す例では、シャッタースピードが遅くなると、合成するフレームの数が多くなる（ここでは、３フレームとなる）。シャッタースピードが速くなると、合成するフレームの数が少なくなる（ここでは、２フレームとなる）。

このように、本発明の第２の実施形態では、画像データをＨＤＲ合成処理する際、移動被写体の部分について二つの適フレームおよび一つのアンダーフレームを合成するようにしたので、特に、シャッタースピードが速い場合に動画の見えの滑らかさを維持して良好なＨＤＲ効果を得ることができる。

第２の実施形態では、動画においてＨＤＲ合成処理を行う際に、シャッタースピードに応じて合成するフレームの数を変更することによって、動画の見えの滑らかさを維持して良好なＨＤＲ効果を得ることができる。つまり、第１の実施形態では、２フレームを合成するようにしたが、第２の実施形態では、３フレームの合成を行う。そして、この合成処理は、例えば、シャッタースピードが速くなるにつれて合成するフレーム数を多くすれば、動画の見えの滑らかさを維持して良好なＨＤＲ効果を得ることができる。

［第３の実施形態］
次に、本発明の第３の実施形態による画像処理装置について説明する。第３の実施形態では、第１の実施形態と同様に、連続して撮影されたアンダーフレーム画像データと適フレーム画像データとをＨＤＲ合成処理することにより、動画を得る。

図１７は、本発明の第３の実施形態による画像処理装置の構成を示すブロック図である。

図示の画像処理装置は、例えば、パーソナルコンピュータなどの情報処理装置である。情報処理装置は、中央演算装置（ＣＰＵ）３００を有している。メモリ３０１はＲＯＭおよびＲＡＭが備えられ、ＲＯＭには、ＢＩＯＳおよびブートプログラムが記憶される。また、ＲＡＭはＣＰＵ３００のワークエリアとして用いられる。ユーザインターフェイス(I/F)３０３はキーボード、マウス、および各種スイッチなどで構成される指示入力部である。外部記憶装置３０４は例えば、ハードディスク装置であり、制御に必要なオペレーティングシステム（ＯＳ）、コンピュータプログラム、および演算に必要な記憶領域を提供する。記憶装置３０５は動画データを記憶する可搬性記憶媒体（例えば、ＤＶＤ−ＲＯＭ又はＣＤ−ＲＯＭ）にアクセスする。そして、これらＣＰＵ３００、メモリ３０１、ユーザインターフェイス３０３、外部記憶装置３０４、および記憶装置３０５は、バス３０２によって相互に接続されている。

図示の例では、バス３０２にデジタルカメラなどの撮像装置３０６が接続されており、さらに、バス３０２には、情報処理装置によって画像処理（つまり、ここでは、ＨＤＲ合成処理）された画像を表示するためのプロジェクタ３０７が接続されている。なお、情報処理装置には通信インタフェース（Ｉ／Ｆ）３０８が備えられており、通信Ｉ／Ｆ３０８によって、ＬＡＮ、公衆回線網、又は無線回線網などの通信回線３０９を介して画像データが送受される。

ユーザインターフェイス３０３によって情報処理装置の電源が投入されると、ＣＰＵ３００はメモリ３０１に格納されたブートプログラムに従って、外部記憶装置３０４からメモリ３０１にＯＳ（オペレーティングシステム）をロードする。そして、ユーザによる指示応じて、ＣＰＵ３００は外部記憶装置３０４からアプリケーションプログラムをメモリ３０１にロードして、当該情報処理装置を画像処理装置として機能させる。

図１８は、図１７に示すメモリ３０１にロードされたアプリケーションプログラムの格納状況を示す図である。

メモリ３０１には、情報処理装置全体を制御するとともに、各種ソフトウェアを制御するためのＯＳが格納される。さらに、メモリ３０１には、アプリケーションプログラムである映像処理ソフトウェアおよび画像入力ソフトウェアが格納される。

映像処理ソフトウェアは、例えば、欠陥画素の検出および補正を行う。画像入力ソフトウェアは、カメラ３０６を制御して適フレーム画像およびアンダーフレーム画像を交互に撮像させて、動画像として１フレームずつ情報処理装置に入力（キャプチャ）する。なお、メモリ３０１には、画像データを格納する画像エリアと各種パラメータを格納するワーキングエリアとが規定されている。

図１９は、図１７に示す情報処理装置で行われる映像処理を示すフローチャートである。

なお、図１９のフローチャートに係る処理は、ＣＰＵ３００がメモリ３０１に格納されたアプリケーションプログラムを実行することによって行われる。また、カメラ３０６で撮影された画像データが予め記憶装置３０５に記憶されているものとする。

映像処理が開始されると、ＣＰＵ３００は情報処理装置の初期化を行う（ステップＳ１）。続いて、ＣＰＵ３００は、アプリケーションプログラムが終了したか否かを判定する（ステップＳ２）。アプリケーションプログラムが終了すると（ステップＳ２において、ＹＥＳ）、ＣＰＵ３００は映像処理を終了する。なお、ステップＳ２の処理においては、ＣＰＵ３００は、ユーザがユーザインターフェイス３０３から終了指示を入力したか否かに応じてアプリケーションプログラムの終了を判定する。

アプリケーションプログラムが終了しないと（ステップＳ２において、ＮＯ）、ＣＰＵ３００は記憶装置３０５からフレーム単位でメモリ３０１の画像エリアに画像データを入力する（ステップＳ３）。そして、ＣＰＵ３００は、画像処理としてＨＤＲ合成処理を行う（ステップＳ４）。その後、ＣＰＵ３００はステップＳ２の処理に戻る。

図２０は、図１９のステップＳ４に示す画像処理を示すフローチャートである。

画像処理を開始すると、ＣＰＵ３００は、記憶装置３０５に記憶された画像データにおいて時間的に連続した適フレーム画像データおよびアンダーフレーム画像データをメモリ３０１にロードするとともに、シャッタースピードなどのパラメータをメモリ３０１にロードする（ステップＳ４０１）。続いて、ＣＰＵ３００は、メモリ３０１に記憶された２フレームの画像データについてその明るさが合致するように現像する（ステップＳ４０２）。

次に、ＣＰＵ３００は、適フレーム画像データを参照して、画像データにおいて予め分割された領域毎又は画素毎に、アンダーフレーム画像データの輝度合成比率を算出する（ステップＳ４０３）。その後、ＣＰＵ３００は、適フレーム画像データとアンダーフレーム画像データとの輝度差に基づいて、画像データにおいて予め分割された領域毎又は画素毎に、アンダーフレーム画像データの輝度差合成比率を算出する（ステップＳ４０４）。そして、ＣＰＵ３００は輝度合成比率と輝度差合成比率とのうち大きい値を当該領域または画素におけるアンダーフレーム画像データの合成比率とする（ステップＳ４０５）。

その後、ＣＰＵ３００は合成比率に応じて適フレーム画像データとアンダーフレーム画像データとをＨＤＲ合成処理して、ＨＤＲ合成画像データをメモリ３０１に格納する（ステップＳ４０６）。そして、ＣＰＵ３００は画像処理を終了する。

このように、本発明の第３の実施形態では、パーソナルコンピュータなどの情報処理装置を用いて、動画の見えの滑らかさを維持して良好なＨＤＲ効果を得ることができる。

なお、一般に、コンピュータプログラムは、ＣＤ−ＲＯＭなどのコンピュータに読み取り可能な記録媒体に格納されており、このプログラムをコンピュータが有する読み取り装置（ＣＤ−ＲＯＭドライブ）にセットしてコピー又はインストールすることで実行可能である。

上述の説明から明らかなように、図２に示す例においては、輝度合成比率算出部４０６が第１の算出手段として機能し、輝度差合成比率算出部４０７が第２の算出手段として機能する。そして、合成比率算出部４０８が第３の算出手段として機能し、合成部４０９が合成手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも第１の算出ステップ、第２の算出ステップ、第３の算出ステップ、および合成ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

２ 撮像素子
３，５ 信号処理部
４ ＨＤＲ処理部
６ 符号化処理部
７ 出力部
４０４，４０５ 現像部
４０６ 輝度合成比率算出部
４０７ 輝度差合成比率算出部
４０８ 合成比率算出部
４０９ 合成部

Claims (12)

1. 連続して撮影された互いに露出の異なる複数のフレームの画像を合成して１フレームの画像を生成する画像処理装置であって、
   前記複数のフレームの画像のうち少なくとも１つの画像における輝度に基づいて、前記複数のフレームの画像の第１の合成比率を求める第１の算出手段と、
   前記複数のフレームの画像における輝度差に基づいて、前記複数のフレームの画像の第２の合成比率を求める第２の算出手段と、
   前記第１の合成比率、前記第２の合成比率、および前記複数のフレームの画像を得る際のシャッタースピードに基づいて、前記複数のフレームの画像を合成する際の最終の合成比率である第３の合成比率を求める第３の算出手段と、
   前記第３の合成比率に基づいて、前記複数のフレームの画像を合成処理して前記１フレームの画像を生成する合成手段と、
   を有することを特徴とする画像処理装置。
2. 前記第３の算出手段は、前記フレームにおいて予め分割された領域毎又は画素毎に、前記第１の合成比率と第２の合成比率とを比較して、その比率が大きい方を前記第３の合成比率として選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記第３の算出手段は、前記シャッタースピードに応じて前記第２の合成比率を変更することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第３の算出手段は、動画を撮影するモードの際、前記シャッタースピードが速くなるにつれて前記第２の合成比率を低減させることを特徴する請求項３に記載の画像処理装置。
5. 前記第３の算出手段は、静止画を撮影するモードの際、前記シャッタースピードが速くなるにつれて前記第２の合成比率を増加させることを特徴する請求項３に記載の画像処理装置。
6. 前記複数のフレームの画像は、適正な露出で得られた適フレーム画像と、前記適正な露出よりもアンダーな露出で得られたアンダーフレーム画像とを含み、
   前記第１の算出手段は、予め定められた第１の輝度合成閾値よりも前記適フレーム画像の輝度が低いと、前記アンダーフレーム画像の合成比率を０％とし、前記適フレーム画像の輝度が前記第１の輝度合成閾値よりも大きい第２の輝度合成閾値よりも高いと前記アンダーフレーム画像の合成比率を１００％とし、さらに、前記適フレーム画像の輝度が前記第１の輝度合成閾値以上で前記第２の輝度合成閾値以下の範囲では前記アンダーフレーム画像の合成比率を０％から１００％の範囲で増加させて前記第１の合成比率を生成することを特徴とする請求項１に記載の画像処理装置。
7. 前記第２の算出手段は、予め定められた第１の輝度差合成閾値よりも前記輝度差が低いと、前記アンダーフレーム画像の合成比率を０％とし、前記輝度差が前記第１の輝度差合成閾値よりも大きい第２の輝度差合成閾値よりも高いと前記アンダーフレーム画像の合成比率を１００％とし、さらに、前記輝度差が前記第１の輝度差合成閾値以上で前記第２の輝度差合成閾値以下の範囲では前記アンダーフレーム画像の合成比率を０％から１００％の範囲で増加させて前記第２の合成比率を生成することを特徴とする請求項６に記載の画像処理装置。
8. 前記第３の算出手段は、前記第２の合成比率において予め設定された最高の合成比率を前記シャッタースピードに応じて変更して変更後の最高合成比率を得て、画像データにおいて予め分割された領域毎又は画素毎に、前記第２の合成比率と前記第１の合成比率とを比較して、その値が大きい方を前記第３の合成比率とすることを特徴とする請求項７に記載の画像処理装置。
9. 前記複数のフレームの画像は、適正な露出で得られた第１の適フレーム画像と、前記適正な露出よりもアンダーな露出で得られたアンダーフレーム画像と、前記適正な露出で得られた第２の適フレーム画像を含み、
   前記第１の算出手段は、前記第１の適フレーム画像の輝度に応じて前記第１の合成比率を生成することを特徴とする請求項１に記載の画像処理装置。
10. 前記第２の算出手段は、前記第１の適フレーム画像と前記アンダーフレーム画像との輝度差に応じて前記第１の適フレーム画像と前記アンダーフレーム画像との合成比率を示す第１の輝度差合成比率を求めるとともに、前記第２の適フレーム画像と前記アンダーフレーム画像との輝度差に応じて前記第２の適フレーム画像と前記アンダーフレーム画像との合成比率を示す第２の輝度差合成比率を求め、
    前記第３の算出手段は、前記第１の輝度差合成比率と前記第２の輝度差合成比率とのうち大きい値を前記第２の合成比率とすることを特徴とする請求項９に記載の画像処理装置。
11. 連続して撮影された互いに露出の異なる複数のフレームの画像を合成して１フレームの画像を生成する画像処理装置の制御方法であって、
    前記複数のフレームの画像のうち少なくとも１つの画像における輝度に基づいて、前記複数のフレームの画像の第１の合成比率を求める第１の算出ステップと、
    前記複数のフレームの画像における輝度差に基づいて、前記複数のフレームの画像の第２の合成比率を求める第２の算出ステップと、
    前記第１の合成比率、前記第２の合成比率、および前記複数のフレームの画像を得る際のシャッタースピードに基づいて、前記複数のフレームの画像を合成する際の最終の合成比率である第３の合成比率を求める第３の算出ステップと、
    前記第３の合成比率に基づいて、前記複数のフレームの画像を合成処理して前記１フレームの画像を生成する合成ステップと、
    を有することを特徴とする制御方法。
12. 連続して撮影された互いに露出の異なる複数のフレームの画像を合成して１フレームの画像を生成する画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    前記複数のフレームの画像のうち少なくとも１つの画像における輝度に基づいて、前記複数のフレームの画像の第１の合成比率を求める第１の算出ステップと、
    前記複数のフレームの画像における輝度差に基づいて、前記複数のフレームの画像の第２の合成比率を求める第２の算出ステップと、
    前記第１の合成比率、前記第２の合成比率、および前記複数のフレームの画像を得る際のシャッタースピードに基づいて、前記複数のフレームの画像を合成する際の最終の合成比率である第３の合成比率を求める第３の算出ステップと、
    前記第３の合成比率に基づいて、前記複数のフレームの画像を合成処理して前記１フレームの画像を生成する合成ステップと、
    を実行させることを特徴とする制御プログラム。