JP2014229988A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】被写体がわずかに移動した複数枚の画像からきれいな合成画像を生成できるようにする。
【解決手段】まず、第１の合成比率算出回路１０５において、明るさ評価値に基づいて長時間露光信号と短時間露光信号との合成比率を求める。続いて、第２の合成比率算出回路１０８において、動き評価値およびコントラスト評価値に基づいて長時間露光信号と短時間露光信号との合成比率を求める。そして、第３の合成比率算出回路１０９において、第１の合成比率算出回路１０５および第２の合成比率算出回路１０８で求めた合成比率の和を最終的な合成比率として決定する。
【選択図】図１

Description

本発明は、特に、２つ以上の画像を合成するために用いて好適な画像処理装置、画像処理方法およびプログラムに関する。

デジタルカメラやデジタルビデオカメラでは、撮像した被写体像を、ＣＭＯＳセンサやＣＣＤ等の撮像素子により光の強度に応じて画素単位で光電変換し、映像信号に変換して画像処理を行う。一般に、撮像素子のダイナミックレンジは狭く、明るい被写体と暗い被写体との輝度差が大きいシーンにおいては、両被写体を適性露光で撮影することは困難である。そこで、このような問題を解決するために、同一シーンにおいて露光量の異なる複数枚の画像を撮影し、複数枚の画像を合成してダイナミックレンジが拡張された画像を取得する方法が提案されている。例えば特許文献１には、長時間露光信号と短時間露光信号との露光量の比に相当する増幅率を用いて信号レベルの補正を行い、レベル補正した長時間露光信号と短時間露光信号とを合成する方法が開示されている。

特開平７−７５０２６号公報

しかしながら、特許文献１に記載されている画像合成方法は、合成する２枚の画像の位置がずれていないことを前提にした合成方法である。被写体が移動した場合や、撮影者の手ぶれにより合成する２枚の画像に位置ずれが生じた場合は、合成後の画像の階調特性が不連続となる領域が発生する。これにより、この不連続となった領域が２重像に見えたりぶれて見えたりして不自然な画像として合成されるという問題がある。

本発明は前述の問題点に鑑み、被写体がわずかに移動した複数枚の画像からきれいな合成画像を生成できるようにすることを目的としている。

本発明に係る画像処理装置は、互いに露出の異なる条件で異なる時差で撮影された第１の画像および第２の画像のうち少なくとも一方の画像から明るさに係る評価値を算出する明るさ評価値算出手段と、前記第１の画像と前記第２の画像との差分から動きに係る評価値を算出する動き評価値算出手段と、前記第１の画像および第２の画像のうち少なくとも一方の画像からコントラストに係る評価値を算出するコントラスト評価値算出手段と、前記明るさ評価値算出手段、前記動き評価値算出手段および前記コントラスト評価値算出手段によって算出されたそれぞれ評価値に基づいて前記第１の画像と前記第２の画像との合成比率を算出する合成比率算出手段と、前記合成比率算出手段によって算出された合成比率に従って前記第１の画像と前記第２の画像と合成して合成画像を生成する合成手段とを有することを特徴とする。

本発明によれば、被写体がわずかに移動した場合であっても、被写体がわずかにずれた複数枚の画像からきれいな合成画像を生成することができる。

第１の実施形態に係る画像処理装置の内部構成例を示すブロック図である。 明るさ評価値算出回路の詳細な構成例を示すブロック図である。 各露光信号の信号レベルの関係および入射光量と制御係数との関係を示す図である。 横方向の座標位置とそれぞれの露光信号の信号レベルとの関係を示す図である。 動き評価値算出回路の詳細な構成例を示すブロック図である。 コントラスト評価値算出回路の詳細な構成例を示すブロック図である。 露光信号の信号レベルとコントラスト検出フラグとを説明するための図である。 動き評価値およびコントラスト評価値と制御係数との関係を示す図である。 第１の実施形態における合成処理手順の一例を示すフローチャートである。 短時間露光信号で撮影した画像を非基準画像とした場合の階調特性が非連続になる箇所を説明するための図である。 第２の実施形態に係る画像処理装置の内部構成例を示すブロック図である。 合成する画像の枚数と合成比率との関係を示す図である。 第２の実施形態における合成処理手順の一例を示すフローチャートである。 横方向の座標位置とそれぞれの画像信号の信号レベルとの関係を示す図である。

（第１の実施形態）
以下、本発明の好適な実施形態について、図面を参照しながら詳細に説明する。なお、以下の説明では、デジタルカメラで晴天時に屋外で人物を撮影する際に、人物に露出を合わせると背景の空や雲が白飛びし、木陰が黒潰れしてしまう問題に対応することを想定している。そこで、露出の条件が異なる２枚の画像を合成することにより、暗い被写体は高露出の画像で置き換え、明るい被写体は低露出の画像で置き換えることによりダイナミックレンジが拡大された合成画像を作成するものとする。本実施形態では、露出の条件が異なる２枚の画像の位置が少しずれてしまった場合の例について説明する。

図１は、本実施形態に係る画像処理装置１００の内部構成例を示すブロック図である。
図１において、第１の入力端子１０１は、露光時間の長い長時間露光信号Ｓ_Lを入力するための端子である。第２の入力端子１０２は、長時間露光信号Ｓ_Lよりも露光時間の短い短時間露光信号Ｓ_Sを入力するための端子である。増幅回路１０３は、短時間露光信号Ｓ_Sの信号レベルを長時間露光信号Ｓ_Lの信号レベルまで増幅してレベル補正後の短時間露光信号Ｓ_S'を出力する。

明るさ評価値算出回路１０４は、入力される長時間露光信号Ｓ_Lまたは補正後の短時間露光信号Ｓ_S'のどちらかの信号レベルに応じて明るさ評価値を算出する。第１の合成比率算出回路１０５は、明るさ評価値算出回路１０４から出力された明るさ評価値に応じて、長時間露光信号Ｓ_Lと補正後の短時間露光信号Ｓ_S'との合成比率を算出する。

動き評価値算出回路１０６は、入力される長時間露光信号Ｓ_Lと補正後の短時間露光信号Ｓ_S'との差分を取ることにより、動き評価値を算出する。コントラスト評価値算出回路１０７は、入力される長時間露光信号Ｓ_Lおよびレベル補正後の短時間露光信号Ｓ_S'のコントラスト評価値を算出する。第２の合成比率算出回路１０８は、動き評価値算出回路１０６から出力される動き評価値と、コントラスト評価値算出回路１０７から出力されるコントラスト評価値とに応じて、長時間露光信号Ｓ_Lと補正後の短時間露光信号Ｓ_S'との合成比率を算出する。

第３の合成比率算出回路１０９は、第１の合成比率算出回路１０５および第２の合成比率算出回路１０８の算出結果に応じて最終的な長時間露光信号Ｓ_Lと補正後の短時間露光信号Ｓ_S'との合成比率を算出する。画像合成回路１１０は、第３の合成比率算出回路１０９で算出された合成比率に基づき、長時間露光信号Ｓ_Lと補正後の短時間露光信号Ｓ_S'とを合成する処理を行う。出力端子１１１は、画像合成回路１１０で合成した合成画像を出力するための端子である。制御部１１２は例えばＣＰＵであり、上記各回路を制御する。

以下、個々の回路について、詳細に説明する。

（明るさ評価値算出回路１０４）
図２は、明るさ評価値算出回路１０４の詳細な構成例を示すブロック図である。
図２において、第１の入力端子２０１は、長時間露光信号Ｓ_Lを入力するための端子である。第２の入力端子２０２は、レベル補正後の短時間露光信号Ｓ_S'を入力するための端子である。

セレクタ２０３は、長時間露光信号Ｓ_Lおよびレベル補正後の短時間露光信号Ｓ_S'のうち、明るさ評価値を求める際の基準画像をどちらの露出による信号にするかを選択する。本実施形態においては、長時間露光信号Ｓ_Lを基準画像として長時間露光信号Ｓ_Lの明るさ評価値を求める。ローパスフィルタ（ＬＰＦ）２０４は、平滑化処理を行ってノイズ等による影響を除去する。例えば、３×３画素のデータに対し、フィルタ係数１２１のデジタルフィルタを用いて平滑化処理する。出力端子２０５は、平滑化処理が行われた信号を出力するための端子である。

（第１の合成比率算出回路１０５）
第１の合成比率算出回路１０５は、明るさ評価値算出回路１０４で算出した明るさ評価値に基づいて制御信号Ｋ_brightを生成し、入力された長時間露光信号Ｓ_Lとレベル補正後の短時間露光信号Ｓ_S'との合成比率を算出する。

図３（ａ）は、長時間露光信号Ｓ_L、短時間露光信号Ｓ_S、およびレベル補正後の短時間露光信号Ｓ_S'の信号レベルの関係を示す図である。図３（ａ）において、横軸は入射光量を示し、縦軸は信号レベルを示す。また、長時間露光信号Ｓ_Lを実線で表し、短時間露光信号Ｓ_Sを点線で表し、さらにレベル補正した短時間露光信号Ｓ_S'を破線で表す。また、横軸で示した入射光量を明るさ評価値として４つの範囲に分け、入射光量の小さい方から順に範囲Ｐ₁、Ｐ₂、Ｐ₃、Ｐ₄として以下に説明する。

範囲Ｐ₄は、長時間露光信号Ｓ_Lが飽和している範囲を示している。長時間露光信号Ｓ_Lおよびレベル補正後の短時間露光信号Ｓ_S'は、長時間露光信号Ｓ_Lが飽和している範囲Ｐ₄よりも小さい範囲Ｐ₁〜Ｐ₃において信号レベルが同じになる。

ここで、長時間露光信号Ｓ_Lは露光量の大きい信号であり、入射光量が小さくて暗い被写体の場合においては信号レベルが高いが、入射光量が大きくて明るい被写体の場合においては信号レベルが飽和してしまうという特徴がある。一方、短時間露光信号Ｓ_Sは露光量の小さい信号であり、入射光量が小さくて暗い被写体の場合においては信号レベルが低くなるが、入射光量が大きく明るい被写体においては飽和しにくいという特徴がある。

図３（ｂ）は、第１の合成比率算出回路１０５において生成する制御信号Ｋ_brightと長時間露光信号Ｓ_Lとの関係を示す。制御信号Ｋ_brightは、図３（ｂ）に示すように長時間露光信号Ｓ_Lの信号レベルの大きさに応じて０〜１の範囲で制御され、入力される長時間露光信号Ｓ_Lが大きくなれば大きく、小さくなれば小さくなるよう制御される。

例えば、入射光量が小さい範囲Ｐ₁では制御信号Ｋ_brightは０であり、第１の合成比率算出回路１０５のみで合成した場合の合成画像信号Ｓ_mixは長時間露光信号のみとなり、Ｓ_mix＝Ｓ_Lとなる。一方、入射光量が大きい範囲Ｐ₃以降では、制御信号Ｋ_brightは１であり、合成画像信号Ｓ_mixはレベル補正後の短時間露光信号Ｓ_S'のみとなり、Ｓ_mix＝Ｓ_S'となる。

また、入射光量の大きさが中間である範囲Ｐ₂では、制御信号Ｋ_brightは０から１までの値を長時間露光信号Ｓ_Lのレベルに応じて比例的に変化するよう制御される。第１の合成比率算出回路１０５で求める制御信号Ｋ_brightは、レベル補正後の短時間露光信号Ｓ_S'に乗算する合成比率の係数となり、一方の長時間露光信号Ｓ_Lには（１−Ｋ_bright）の係数が乗算される。仮に、第１の合成比率算出回路１０５のみにより長時間露光信号Ｓ_Lと短時間露光信号Ｓ_S'との合成比率を算出して、合成画像を生成する場合には、合成画像信号Ｓ_mixは下記の式（１）から算出される。
Ｓ_mix＝Ｓ_S'×Ｋ_bright＋Ｓ_L×（１−Ｋ_bright） ・・・（１）

例えば、図３（ａ）および図３（ｂ）に示すように、範囲Ｐ₂における信号レベルの範囲がＬ₁〜Ｌ₃であった場合を想定する。この場合、信号レベルＬ₁、Ｌ₃の中間となる信号レベルＬ₂の長時間露光信号Ｓ_Lが入力されると、第１の合成比率算出回路１０５は、短時間露光信号Ｓ_S'に乗算する制御信号を０．５と算出する。そして、長時間露光信号Ｓ_Lに乗算する合成比率を１−Ｋ_bright＝０．５と算出する。同様に、例えば信号レベルＬ₂、Ｌ₃の中間である信号レベルＬ_2.5の長時間露光信号Ｓ_Lが入力された場合には、第１の合成比率算出回路１０５は、短時間露光信号Ｓ_S'に乗算する制御信号を０．７５と算出する。そして、長時間露光信号Ｓ_Lに乗算する合成比率を１−Ｋ_bright＝０．２５と算出する。

一方、第１の合成比率算出回路１０５で算出した合成比率のみにより、長時間露光信号Ｓ_Lと短時間露光信号Ｓ_S'とを合成すると、合成画像の階調特性が不連続になる。次に、この問題について、図４を用いて説明する。

図４は、撮影対象の左側に入射光量の少ない暗い被写体があり、右側に入射光量の多い明るい被写体がある場合に、長時間露光信号Ｓ_Lで撮影した後に短時間露光信号Ｓ_Sで撮影した場合の横方向の座標位置と信号レベルとの関係を示す図である。図４において、横軸は横方向の座標位置を示し、縦軸は信号レベルを示している。また、長時間露光信号Ｓ_Lを実線で表し、レベル補正後の短時間露光信号Ｓ_S'を破線で表し、合成画像信号Ｓ_mixを太線で表している。

図４（ａ）は、被写体が静止している場合の座標位置と信号レベルとの関係を示し、図４（ｂ）は、被写体が左から右へ移動した場合の座標位置と信号レベルとの関係を示している。なお、矢印は被写体の移動方向を示す。図４（ａ）に示す例では、被写体が静止しているため、低輝度部において長時間露光信号Ｓ_Lの信号レベルとレベル補正後の短時間露光信号Ｓ_S'の信号レベルは同じとなり、合成しても階調性を保つことが可能である。

しかしながら、図４（ｂ）に示す例では、長時間露光信号Ｓ_Lで撮影してから短時間露光信号Ｓ_Sで撮影するまでの間に、時差により被写体が左から右へ移動してしまう。このため、長時間露光信号Ｓ_Lとレベル補正後の短時間露光信号Ｓ_S'の信号レベルが異なってしまう。したがって、第１の合成比率算出回路１０５で算出した合成比率に基づいて合成すると、長時間露光信号Ｓ_Lの信号レベルが小さい時は長時間露光信号Ｓ_Lのみが合成画像として出力される。また、長時間露光信号Ｓ_Lの信号レベルが大きい時は、短時間露光信号Ｓ_S'のみが合成画像として出力される。さらにはその中間領域では、長時間露光信号Ｓ_Lと短時間露光信号Ｓ_S'とが図３（ｂ）に示した重み係数である制御信号Ｋ_brightに基づいて合成されることになる。

この結果、合成画像信号Ｓ_mixの信号レベルは、図４（ｃ）に示すように、上がって下がるといった具合に階調特性が不連続となり、不自然な画像に合成されてしまうという問題が生じる。本実施形態では、図４（ｄ）に示すように、階調特性が不連続となる領域はどちらか一方の画像を合成画像として出力するよう制御することにより、自然な合成画像を得るようにする。

なお、図４に示した例では、被写体が左から右に移動した場合について説明したが、この方向に限ったことではなく、上下左右斜めどの方向に被写体が移動したとしても同様に階調特性が不連続となり、不自然な画像に合成されてしまう。そこで本実施形態においては、第１の合成比率算出回路１０５のみならず、後述する第２の合成比率算出回路１０８、および第３の合成比率算出回路１０９を備える構成とした。

（動き評価値算出回路１０６）
図５は、動き評価値算出回路１０６の詳細な構成例示すブロック図である。
図５において、第１の入力端子５０１は、長時間露光信号Ｓ_Lを入力するための端子である。第２の入力端子５０２は、レベル補正後の短時間露光信号Ｓ_S'を入力するための端子である。

差分器５０３は、入力される長時間露光信号Ｓ_Lおよびレベル補正後の短時間露光信号Ｓ_S'の信号レベルの差分値を画素毎に算出する。ＬＰＦ５０４は、平滑化処理を行うことによってノイズ等による影響を除去する。絶対値算出回路（ＡＢＳ）５０５は、ＬＰＦ５０４の出力値に対して、各々の画素を絶対値化する。出力端子５０６は、ＡＢＳ５０５の出力値を動き評価値として出力するための端子である。

なお、本実施形態では、動き評価値を求める際に、ランダムノイズ等の影響を除去するためにＬＰＦを用いて説明したが、ランダムノイズの影響を除外することができればこれに限るものではない。例えば、画像解析により、対象画素を中心とするブロックと画像内から収集したブロックとの類似度を重み係数として求め、各ブロックの中心画素の加重平均を取り、対象画素を置きかえてランダムノイズを低減するといった方法を用いてもよい。

（コントラスト評価値算出回路１０７）
図６は、コントラスト評価値算出回路１０７の詳細な構成例を示すブロック図である。
図６において、第１の入力端子６０１は、長時間露光信号Ｓ_Lを入力するための端子である。第２の入力端子６０２は、レベル補正後の短時間露光信号Ｓ_S'を入力するための端子である。セレクタ６０３は、後述するコントラスト評価値の算出対象を１枚とするのか、２枚とするのかを選択する。算出対象を１枚とする場合は、明るさ評価値算出回路１０４において基準画像として選択した画像に対し、コントラスト評価値を求める。コントラスト評価値の算出対象を２枚とする場合は、長時間露光信号Ｓ_Lとレベル補正後の短時間露光信号Ｓ_S'とで撮影した両画像からコントラスト評価値を求める。

バンドパスフィルタ（ＢＰＦ）６０４はデジタルフィルタであり、入力信号の高域周波数成分、低域周波数成分を取り除き、セレクタ６０３により選択された画像のコントラスト評価値を算出する。例えば、バンドパスフィルタとして、ソーベルフィルタ等が挙げられる。出力端子６０５は、ＢＰＦ６０４の出力値をコントラスト評価値として出力するための端子である。

次に、コントラスト評価値の算出対象を１枚だけでする場合と露出の異なる画像の両方の２枚とする場合との違いについて、図７を用いて説明する。図７は、撮影対象の左右に入射光量の少ない暗い被写体があり、中央に入射光量の多い明るい被写体がある場合に、長時間露光信号Ｓ_Lで撮影した後に短時間露光信号Ｓ_Sで撮影した場合の横方向の座標位置と信号レベルとの関係を示す図である。図７において、横軸は横方向の座標位置を示し、縦軸は信号レベルを示している。また、長時間露光信号Ｓ_Lを実線で表し、レベル補正後の短時間露光信号Ｓ_S'を破線で表し、合成画像信号Ｓ_mixを太線で表している。

フラグ７０１は、１枚目の画像でコントラストを検出した場合のコントラスト検出フラグであり、コントラスト評価値がある閾値より高い場合に、１とするフラグである。一方、フラグ７０２は、２枚目の画像でコントラストを検出した場合のコントラスト検出フラグである。さらに、フラグ７０３は、コントラスト評価値の算出対象を２枚とし、フラグ７０１、７０２の差分によりコントラストを検出したフラグである。

コントラスト評価値の算出対象を１枚だけにしたフラグ７０１、７０２の検出範囲と比較して、コントラスト評価値の算出対象を２枚にしたフラグ７０３の検出範囲は狭くなる。そのため、合成画像信号Ｓ_mixの階調特性が非連続となる領域により絞った範囲を検出することが可能となる。このように、階調特性が非連続となる領域のみを検出し、その領域に対して合成比率を制御することが可能となる。

例えば、検出された領域に対してＳ／Ｎ比の劣る短時間露光信号Ｓ_Sの合成比率を高く制御する場合に、検出する範囲を狭めることが可能なため、全体的にＳ／Ｎ比の良い合成画像を得ることが可能となる。このように、エッジが理想的な被写体の場合は、２枚の画像をコントラスト評価値の算出対象とした方がＳ／Ｎ比の良い合成画像が得ることができる。一方、エッジが複雑に存在するような被写体の場合においては、１枚の基準画像からコントラスト評価値の算出した方がよい場合もある。コントラスト評価値の算出対象を２枚とするか１枚とするかは、ユーザが撮影前に液晶パネル等を用いて任意に設定することができる。

なお、本実施形態においてはＢＰＦ６０４において、階調性が不連続となった場合に不自然さが目立ってしまうエッジ領域を検出するために低域周波数成分の除去しており、さらに高周波のランダムノイズを除去するために高域周波数成分を除去している。一方、バンドパスフィルタを用いる以外に、例えば、周辺画素との輝度比からコントラスト評価値を求めるなど、被写体のコントラストと関連する評価値を求めることができれば他の方法でもよい。

（第２の合成比率算出回路１０８）
第２の合成比率算出回路１０８は、動き評価値算出回路１０６により算出された動き評価値とコントラスト評価値算出回路１０７により算出されたコントラスト評価値とを入力する。そして、これらの評価値に基づいて制御信号Ｋ_MCを生成し、入力された長時間露光信号Ｓ_Lとレベル補正後の短時間露光信号Ｓ_S'との合成比率を算出する。

図８（ａ）は、動き評価値と動きによる合成比率の制御信号Ｋ_Mとの関係を示す図である。図８（ａ）において、横軸は動き評価値を示し、縦軸は動きによる合成比率の制御信号Ｋ_Mを示している。横軸で示した動き評価値を３つの範囲に分け、動き評価値の小さい方から順に範囲Ｍ₀、Ｍ₁、Ｍ₂として以下に説明する。

動き評価値が範囲Ｍ₀においては、制御信号Ｋ_Mは０となる。動き評価値が小さい範囲Ｍ₀において制御信号Ｋ_Mを０とすることにより、ノイズによる動き評価値の誤検出の影響を防ぐことが可能となる。また、動き評価値が範囲Ｍ₁においては、動き評価値と制御信号Ｋ_Mとが０〜１の範囲で比例の関係にあり、動き評価値が範囲Ｍ₂以降では、制御信号Ｋ_Mは１となるよう制御される。

図８（ｂ）は、コントラスト評価値とコントラストによる合成比率の制御信号Ｋ_Cとの関係を示す図である。図８（ｂ）において、横軸はコントラスト評価値を示し、縦軸はコントラストによる合成比率の制御信号Ｋ_Cを示している。横軸で示したコントラスト評価値を３つの範囲に分け、コントラスト評価値の小さい方から順に範囲Ｃ₀、Ｃ₁、Ｃ₂として以下に説明する。

コントラスト評価値が範囲Ｃ₀においては、制御信号Ｋ_Cは０となる。コントラスト評価値が小さい範囲Ｃ₀において制御信号Ｋ_Cを０とすることにより、ノイズによるコントラスト評価値の誤検出の影響を防ぐことが可能となる。また、コントラスト評価値が範囲Ｃ₁においては、コントラスト評価値と制御信号Ｋ_Cとが０〜１の範囲で比例の関係にあり、コントラスト評価値が範囲Ｃ₂以降では、制御信号Ｋ_Cは１となるよう制御される。

また、動き評価値から求めた制御信号Ｋ_Mの値が大きくなればなるほど長時間露光信号Ｓ_LよりもＳ／Ｎ比の悪い短時間露光時間Ｓ_S'の合成比率を高くしてしまうこととなる。この結果、不連続な階調特性になるのを防ぐことができたとしても結果的に合成画像のＳ／Ｎ比が悪くなってしまうという弊害が考えられる。本実施形態においては、こういった弊害を防ぐために、第２の合成比率算出回路１０８は、動き評価値により求めた制御信号Ｋ_Mとコントラスト評価値により求めた制御信号Ｋ_Cとを乗算することにより、制御信号Ｋ_MCを算出する。すなわち、以下の式（２）により制御信号Ｋ_MCが算出される。
Ｋ_MC＝Ｋ_M×Ｋ_C ・・・（２）

動き評価値による制御信号Ｋ_Mに、コントラスト評価値による制御信号Ｋ_Cを乗算する理由は、例えば、被写体がわずかに動いてしまう場合などを想定しているからである。合成する画像同士に位置ずれが生じた場合に、動き評価値により求めた制御信号Ｋ_Mが大きくなったとしても、コントラスト評価値が小さければ制御信号Ｋ_Cの値は小さくなり、制御信号Ｋ_M、Ｋ_Cを乗算して得られる制御信号Ｋ_MCの値は小さくなる。コントラスト評価値が小さい被写体においては、合成する各々の画像に多少の位置ずれが生じたとしても合成後の合成画像の階調の不連続性はコントラスト評価値が高い領域と比較して目立ちにくく影響が小さい。このような領域においては、Ｓ／Ｎ比の良い長時間露光信号Ｓ_Lの合成比率を高くすることにより合成後の合成画像のＳ／Ｎ比を良くし、結果的に自然な合成画像を得ることが可能となる。

（第３の合成比率算出回路１０９）
第３の合成比率算出回路１０９は、第１の合成比率算出回路１０５により算出された制御信号Ｋ_brightと第２の合成比率算出回路１０８により算出された制御信号Ｋ_MCとに基づいて制御信号Ｋ_FIXを生成する。そして、入力された長時間露光信号Ｓ_Lとレベル補正後の短時間露光信号Ｓ_S'との合成比率を算出する。

第３の合成比率算出回路１０９の制御信号Ｋ_FIXは、第１の合成比率算出回路１０５による制御信号Ｋ_brightと第２の合成比率算出回路１０８による制御信号Ｋ_MCとを加算することにより算出される。すなわち、以下の式（３）により制御信号Ｋ_FIXが算出される。
Ｋ_FIX＝Ｋ_bright＋Ｋ_MC ・・・（３）

本実施形態においては、制御信号Ｋ_bright、Ｋ_MCを加算することにより最終的な合成比率となる制御信号Ｋ_FIXを算出した。一方、明るさにより算出した制御信号Ｋ_brightと、動き評価値およびコントラス評価値により算出した制御信号Ｋ_MCとの両者に基づいて最終的な制御信号を算出するのであればこれに限るものではない。例えば、制御信号Ｋ_bright、Ｋ_MCを乗算することにより制御信号Ｋ_FIXを算出してもよい。

（画像合成回路１１０）
画像合成回路１１０は、第３の合成比率算出回路１０９で算出された合成比率の制御信号Ｋ_FIXに応じて、長時間露光信号Ｓ_Lと短時間露光信号Ｓ_S'とを合成する。すなわち、合成画像信号Ｓ_mixは以下の式（４）により算出される。
Ｓ_mix＝Ｓ_S'×Ｋ_FIX＋Ｓ_L×（１−Ｋ_FIX） ・・・（４）

（画像処理装置１００の動作手順）
図９は、本実施形態に係る画像処理装置１００による合成処理手順の一例を示すフローチャートである。
まず、ステップＳ９０１において、制御部１１２により所持している値の初期化を行う。具体的には、第１の合成比率算出回路１０５、第２の合成比率算出回路１０８、および第３の合成比率算出回路１０９の各々の合成比率の算出結果を０に初期化する。

次に、ステップＳ９０２において、制御部１１２により、長時間露光信号Ｓ_Lにより露光された画像と短時間露光信号Ｓ_Sにより露光された画像とのうち、どちらの画像を、制御信号を求める基準画像とするかを選定する。以下の説明では、長時間露光信号Ｓ_Lにより露光された画像を基準画像と選定し、短時間露光信号Ｓ_Sを非基準画像と選定した例について説明する。

次に、ステップＳ９０３において、制御部１１２は、入力された長時間露光信号Ｓ_Lと短時間露光信号Ｓ_Sとで信号レベルが異なるかどうかを判定する。この判定の結果、信号レベルが異なる場合はステップＳ９０４に進み、信号レベルが同じである場合には、ステップＳ９０５に進む。ステップＳ９０４においては、増幅回路１０３により、短時間露光信号Ｓ_Sを長時間露光信号Ｓ_Lの信号レベルにレベルが合うようレベル補正して短時間露光信号Ｓ_S'を出力する。

次に、ステップＳ９０５において、明るさ評価値算出回路１０４により、明るさ評価値を算出する。そして、ステップＳ９０６において、第１の合成比率算出回路１０５により、長時間露光信号Ｓ_Lと短時間露光信号Ｓ_S'との合成比率を算出する。なお、増幅回路１０３によりレベル補正していない場合は、長時間露光信号Ｓ_Lと短時間露光信号Ｓ_Sとの合成比率を算出する。以下の説明では、増幅回路１０３によりレベル補正しているものとして説明する。

次に、ステップＳ９０７において、動き評価値算出回路１０６により、動き評価値を算出する。そして、ステップＳ９０８において、制御部１１２は、コントラスト評価値の算出対象が１枚の画像に設定されているか２枚の画像に設定されているかを判定する。コントラスト評価値を算出するための算出対象の画像数は、ユーザが撮影前に事前にデジタルカメラの液晶パネル等を用いて設定可能である。この判定の結果、コントラスト評価値を算出する対象が１枚であった場合にはステップＳ９０９に進み、２枚であった場合には、ステップＳ９１０に進む。

ステップＳ９０９においては、コントラスト評価値算出回路１０７において、基準画像のみからコントラスト評価値を算出する。一方、ステップＳ９１０においては、コントラスト評価値算出回路１０７において、まず、基準画像及び非基準画像のコントラスト評価値を各々算出する。そして、ステップＳ９１１において、基準画像及び非基準画像のコントラスト評価値の差分を算出する。

なお、本実施形態では、検出された領域に対してＳ／Ｎ比の劣る短時間露光信号Ｓ_S'の合成比率を高くする制御方法について説明した。逆に長時間露光信号Ｓ_Lの合成比率を高くするよう制御すると、長時間露光信号Ｓ_Lが白飛びしていると、合成画像が白飛びしてしまう。白飛びした画像でなければ、どちらの画像の合成比率を高くしても大きな差は生じない。そこで、白飛びをしているかどうか入力画素値の画素レベルを飽和判定し、白飛びしていた場合に、短時間露光信号Ｓ_S'の合成比率を高く制御するという機能を持たせてもよい。

次に、ステップＳ９１２において、第２の合成比率算出回路１０８は、ステップＳ９０７で求めた動き評価値と、ステップＳ９０９又はＳ９１１で求めたコントラスト評価値とに応じて、制御信号Ｋ_MCを算出する。そして、ステップＳ９１３において、第３の合成比率算出回路１０９により、長時間露光信号Ｓ_Lと短時間露光信号Ｓ_S'との最終的な合成比率を算出する。例えば、ステップＳ９０６により制御信号Ｋ_bright＝０．２５と算出され、ステップＳ９１２において第２の合成比率算出回路１０８により制御信号Ｋ_MC＝０．３と算出された場合を考える。この場合、短時間露光信号Ｓ_S'の合成比率を制御信号Ｋ_FIX＝０．２５＋０．３＝０．５５とし、長時間露光信号Ｓ_Lの合成比率を１−０．５５＝０．４５と算出する。

次に、ステップＳ９１４において、画像合成回路１１０は、第３の合成比率算出回路１０９で算出した長時間露光信号Ｓ_Lと短時間露光信号Ｓ_S'との合成比率に基づいて画像を合成する。

以上のように本実施形態によれば、明るさ評価値に応じた合成比率と、動き評価値およびコントラスト評価値に応じた合成比率とを加算することにより最終的な合成比率を制御する構成とした。これにより、複数枚の画像を合成する際に、被写体が移動してしまった場合や、撮影者の手ぶれによりカメラが動いてしまった場合に、階調特性の連続性を保ち、見えの自然な合成画像を生成することが可能となる。

なお、本実施形態においては、コントラスト評価値算出回路１０７において、コントラスト評価値の算出対象の画像数をユーザが設定可能としたが、他の方法を用いてもよい。例えば、被写体の絵柄を画像解析することにより制御部１１２が切り替えるような構成としても構わない。

また、本実施形態においては、ステップＳ９０２において、長時間露光信号Ｓ_Lで撮影した画像を基準画像とし、短時間露光信号Ｓ_Sで撮影した画像を非基準画像として説明した。一方、短時間露光信号Ｓ_Sで撮影した画像を基準画像、長時間露光信号Ｓ_Lで撮影した画像を非基準画像としても構わない。その場合は、図１０に示すように、階調特性が非連続になる箇所が図４と異なるため、第３の合成比率算出回路１０９で求める制御信号Ｋ_FIXは、長時間露光信号Ｓ_Lを基準画像とした場合と、非基準画像とした場合とで、逆の比率となる。本実施形態では、長時間露光信号Ｓ_Lを基準画像とした場合は、コントラスト評価値算出回路１０７は検出した領域を短時間露光信号Ｓ_Sの比率が高くなるよう制御した。これに対して、短時間露光信号Ｓ_Sを基準画像とした場合は、コントラスト評価値算出回路１０７で検出した領域を長時間露光信号Ｓ_Lの比率が高くなるよう制御する。

さらに本実施形態においては、２枚の画像を合成する場合について説明したが、これに限ったものではなく、３枚以上の画像を合成することも可能である。例えば、３枚の画像Ａ〜Ｃから最終的な合成画像を生成する場合は、２枚の画像Ａ、Ｂを合成して合成画像を生成した後に、この合成画像と画像Ｃとを合成して最終的な合成画像を生成する。

（第２の実施形態）
第１の実施形態においては、露出の異なる２枚の画像を合成する例について説明したが、本実施形態においては、露出が同一である画像を２枚以上用いて合成処理を行う例について説明する。例えば、デジタルカメラで夜景シーンを高速連写で撮影して合成する場合などが該当する。以下、撮影した順番により、１枚目、２枚目・・・ｎ枚目という表現を用いて説明する。また、本実施形態は、基本的な構成は第１の実施形態と共通であり、以下の説明においては、第１の実施形態との差異点である内部構成とフローチャートとについて説明する。

図１１は、本実施形態に係る画像処理装置１１００の内部構成例を示すブロック図である。第１の実施形態と異なる点は、入力される各信号の露出が同一である点、信号レベルを合わせるための増幅回路１０３がない点、および明るさ評価値を算出する明るさ評価値算出回路１０４がない点である。図１と同一の符号が付されている構成は、第１の実施形態と同様であるため説明は省略する。

（第１の合成比率算出回路１１０３）
第１の合成比率算出回路１１０３は、第１の入力端子１１０１から入力された画像信号Ｓ₁と、第２の入力端子１１０２から入力された画像信号Ｓ₂との制御信号Ｋ₁を生成して合成比率を算出する。制御信号Ｋ₁は０〜１の数値範囲であり、合成対象の画像の総枚数に応じて制御される。

第１の合成比率算出回路１１０３は、図１２に示すように、合成対象の画像全てを加算して合成比率が１となるよう制御する。例えば、合成対象枚数が２枚の場合には、制御信号Ｋ₁は、１÷２＝０．５となり、入力される２枚の画像に対して各々０．５の制御信号となるよう制御する。例えば、合成対象枚数が４枚であった場合には、１÷４＝０．２５となり入力される４枚の画像に対して各々制御信号Ｋ₁＝０．２５となるように、制御する。

次に、第１の合成比率算出回路１１０３で算出した合成比率のみにより、画像信号Ｓ₁、Ｓ₂を合成した場合に、合成画像の階調特性が不連続になる問題について図１４を用いて説明する。

図１４は、撮影対象の左側に入射光量の少ない暗い被写体があり、右側に入射光量の多い明るい被写体がある場合に、画像信号Ｓ₁で撮影した後に、画像信号Ｓ₂で撮影した場合の横方向の座標位置と信号レベルとの関係を示す図である。横軸は横方向の座標位置を示し、縦軸は信号レベルを示している。また、画像信号Ｓ₁を実線で表し、画像信号Ｓ₂を破線で表し、合成画像信号Ｓ_mixを太線で表している。

図１４（ａ）は、被写体が静止している場合を示しており、図１４（ｂ）は、被写体が左から右へ移動した場合を示している。
図１４（ａ）に示す例では、被写体が静止しているため、低輝度部において画像信号Ｓ₁および画像信号Ｓ₂の信号レベルは同じとなり、合成しても階調性を保つことが可能である。しかしながら、図１４（ｂ）に示す例では、画像信号Ｓ₁で撮影してから画像信号Ｓ₂で撮影するまでの間に、被写体が左から右へ移動したことにより、画像信号Ｓ₁と画像信号Ｓ₂の信号レベルが異なってしまう。このため、第１の合成比率算出回路１１０３で求めた合成比率に基づいて合成すると、合成画像信号Ｓ_mixの明るさ評価値は、図１４（ｃ）に示すように、線形な階調特性とはならない。その結果、不自然な画像に合成されてしまうという問題が生じる。

なお、図１４に示した例では、被写体が左から右に移動した場合について説明したが、この方向に限ったことではなく、上下左右斜めどの方向に被写体が移動したとしても同様に階調特性が不連続となり、不自然な画像に合成されてしまう。そこで本実施形態においても、図１４（ｄ）に示す結果となるように、第１の実施形態と同様に、第１の合成比率算出回路１１０３、第２の合成比率算出回路１０８、および第３の合成比率算出回路１０９で合成比率を算出する。

図１３は、本実施形態に係る画像処理装置１１００による合成処理手順の一例を示すフローチャートである。
まず、ステップＳ１３０１においては、図９のステップＳ９０１と同様であるため、説明は省略する。次に、ステップＳ１３０２において、第１の合成比率算出回路１１０３により、合成枚数に応じて画像信号Ｓ₁および画像信号Ｓ₂の合成比率を算出する。

次に、ステップＳ１３０３において、動き評価値算出回路１０６により、画像信号Ｓ₁、Ｓ₂のそれぞれについて動き評価値を算出する。そして、ステップＳ１３０４において、画像信号Ｓ₁、Ｓ₂のそれぞれについてコントラスト評価値を算出し、その差分を算出する。本実施形態では、コントラスト評価値の算出対象を２枚の画像とする。図１４（ｃ）に示すように、非連続となる領域が第１の実施形態のように１枚目の画像のエッジ領域範囲に納まらないため、本実施形態においては１枚目と２枚目との両画像からコントラスト評価値の高い領域を検出する必要がある。

次に、ステップＳ１３０５において、第２の合成比率算出回路１０８は、ステップＳ１３０３で求めた動き評価値、ステップＳ１３０４で求めたコントラスト評価値に応じて、制御信号Ｋ_MCを算出する。そして、ステップＳ１３０６において、第３の合成比率算出回路１０９により、画像信号Ｓ₁と画像信号Ｓ₂の最終的な合成比率を算出する。

次に、ステップＳ１３０７において、画像合成回路１１０は、第３の合成比率算出回路１０９で算出した画像信号Ｓ₁と画像信号Ｓ₂との合成比率に基づいて画像を合成する。そして、ステップＳ１３０８において、合成する画像がもう存在しないか否かを判定する。この判定の結果、合成する画像が存在しない場合は合成処理を終了し、まだ合成していない画像が存在する場合はステップＳ１３０１に戻る。

ここで、合成処理を継続する場合には、画像信号Ｓ₁として、ステップＳ１３０７の合成処理において１枚目と２枚目とを合成した合成画像が入力され、画像信号Ｓ₂として３枚目の画像が入力されることとなる。例えば、Ｎ枚の合成をする際には、画像信号Ｓ₁として１、２、３、・・・・、Ｎ−１枚目までの合成画像が入力され、画像信号Ｓ₂としてＮ枚目の画像が入力されることとなる。

以上のように本実施形態によれば、合成する画像の総枚数に応じて合成比率を制御し、さらに動き評価値とコントラスト評価値とに応じて最終的な合成比率を制御するようにした。これにより、被写体が移動してしまった場合や、撮影者の手ぶれによりカメラが動いてしまった場合に階調特性が不連続となり不自然な合成画像となってしまう弊害を防ぎ、階調特性の連続性を保ち、見えの自然な合成画像を生成することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０４ 明るさ評価値算出回路
１０５ 第１の合成比率算出回路
１０６ 動き評価値算出回路
１０７ コントラスト評価値算出回路
１０８ 第２の合成比率算出回路
１０９ 第３の合成比率算出回路
１１０ 画像合成回路

Claims (14)

1. 互いに露出の異なる条件で異なる時差で撮影された第１の画像および第２の画像のうち少なくとも一方の画像から明るさに係る評価値を算出する明るさ評価値算出手段と、
   前記第１の画像と前記第２の画像との差分から動きに係る評価値を算出する動き評価値算出手段と、
   前記第１の画像および第２の画像のうち少なくとも一方の画像からコントラストに係る評価値を算出するコントラスト評価値算出手段と、
   前記明るさ評価値算出手段、前記動き評価値算出手段および前記コントラスト評価値算出手段によって算出されたそれぞれ評価値に基づいて前記第１の画像と前記第２の画像との合成比率を算出する合成比率算出手段と、
   前記合成比率算出手段によって算出された合成比率に従って前記第１の画像と前記第２の画像と合成して合成画像を生成する合成手段とを有することを特徴とする画像処理装置。
2. 前記合成比率算出手段は、前記明るさに係る評価値に応じた前記第１の画像と前記第２の画像との比率と、前記動きに係る評価値および前記コントラストに係る評価値に応じた前記第１の画像と前記第２の画像との比率との和を前記合成比率として算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成比率算出手段は、前記明るさに係る評価値に応じた前記第１の画像と前記第２の画像との比率と、前記動きに係る評価値および前記コントラストに係る評価値に応じた前記第１の画像と前記第２の画像との比率との積を前記合成比率として算出することを特徴とする請求項１に記載の画像処理装置。
4. 前記動きに係る評価値および前記コントラストに係る評価値に応じた前記第１の画像と前記第２の画像との比率は、前記動きに係る評価値に応じた前記第１の画像と前記第２の画像との比率と、前記コントラストに係る評価値に応じた前記第１の画像と前記第２の画像との比率との積であることを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記コントラスト評価値算出手段は、前記第１の画像および第２の画像のうち少なくとも一方の画像から低域周波数成分および高域周波数成分を除去して前記コントラストに係る評価値を算出することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記コントラスト評価値算出手段は、前記第１の画像又は前記第２の画像から評価値を算出するか、前記第１の画像と前記第２の画像との両方の画像から評価値を算出するかを切り替える手段を有することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記コントラスト評価値算出手段は、前記明るさ評価値算出手段によって評価値が算出された画像から前記コントラストに係る評価値を算出することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記コントラスト評価値算出手段は、前記第１の画像および前記第２の画像の両方の画像から算出したコントラストに係る評価値の差分を算出することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
9. 前記第１の画像と前記第２の画像との間で被写体の明るさ成分の信号レベルを合わせるレベル補正手段をさらに有し、
   前記合成手段は、前記レベル補正手段によって補正された画像を合成して前記合成画像を生成することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
10. 異なる時差で撮影された第１の画像と第２の画像との差分から動きに係る評価値を算出する動き評価値算出手段と、
    前記第１の画像および第２の画像のうち少なくとも一方の画像からコントラストに係る評価値を算出するコントラスト評価値算出手段と、
    前記動き評価値算出手段および前記コントラスト評価値算出手段によって算出されたそれぞれ評価値と、合成する画像の枚数とに基づいて、前記第１の画像と前記第２の画像との合成比率を算出する合成比率算出手段と、
    前記合成比率算出手段によって算出された合成比率に従って前記第１の画像と前記第２の画像と合成して合成画像を生成する合成手段とを有することを特徴とする画像処理装置。
11. 互いに露出の異なる条件で異なる時差で撮影された第１の画像および第２の画像のうち少なくとも一方の画像から明るさに係る評価値を算出する明るさ評価値算出工程と、
    前記第１の画像と前記第２の画像との差分から動きに係る評価値を算出する動き評価値算出工程と、
    前記第１の画像および第２の画像のうち少なくとも一方の画像からコントラストに係る評価値を算出するコントラスト評価値算出工程と、
    前記明るさ評価値算出工程、前記動き評価値算出工程および前記コントラスト評価値算出工程において算出されたそれぞれ評価値に基づいて前記第１の画像と前記第２の画像との合成比率を算出する合成比率算出工程と、
    前記合成比率算出工程において算出された合成比率に従って前記第１の画像と前記第２の画像と合成して合成画像を生成する合成工程とを有することを特徴とする画像処理方法。
12. 異なる時差で撮影された第１の画像と第２の画像との差分から動きに係る評価値を算出する動き評価値算出工程と、
    前記第１の画像および第２の画像のうち少なくとも一方の画像からコントラストに係る評価値を算出するコントラスト評価値算出工程と、
    前記動き評価値算出工程および前記コントラスト評価値算出工程において算出されたそれぞれ評価値と、合成する画像の枚数とに基づいて、前記第１の画像と前記第２の画像との合成比率を算出する合成比率算出工程と、
    前記合成比率算出工程において算出された合成比率に従って前記第１の画像と前記第２の画像と合成して合成画像を生成する合成工程とを有することを特徴とする画像処理方法。
13. 互いに露出の異なる条件で異なる時差で撮影された第１の画像および第２の画像のうち少なくとも一方の画像から明るさに係る評価値を算出する明るさ評価値算出工程と、
    前記第１の画像と前記第２の画像との差分から動きに係る評価値を算出する動き評価値算出工程と、
    前記第１の画像および第２の画像のうち少なくとも一方の画像からコントラストに係る評価値を算出するコントラスト評価値算出工程と、
    前記明るさ評価値算出工程、前記動き評価値算出工程および前記コントラスト評価値算出工程において算出されたそれぞれ評価値に基づいて前記第１の画像と前記第２の画像との合成比率を算出する合成比率算出工程と、
    前記合成比率算出工程において算出された合成比率に従って前記第１の画像と前記第２の画像と合成して合成画像を生成する合成工程とコンピュータに実行させることを特徴とするプログラム。
14. 異なる時差で撮影された第１の画像と第２の画像との差分から動きに係る評価値を算出する動き評価値算出工程と、
    前記第１の画像および第２の画像のうち少なくとも一方の画像からコントラストに係る評価値を算出するコントラスト評価値算出工程と、
    前記動き評価値算出工程および前記コントラスト評価値算出工程において算出されたそれぞれ評価値と、合成する画像の枚数とに基づいて、前記第１の画像と前記第２の画像との合成比率を算出する合成比率算出工程と、
    前記合成比率算出工程において算出された合成比率に従って前記第１の画像と前記第２の画像と合成して合成画像を生成する合成工程とをコンピュータに実行させることを特徴とするプログラム。

Images