JP2010045510A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 様々な輝度の被写体について、高画質な合成画像を得ることのできる画像処理装置を提供する。
【解決手段】 画像処理装置１は、露光時間の異なる２つの画像信号を合成して合成画像を生成する画像処理装置であって、露光時間の長い方のＬｏｎｇ信号の信号レベルを変換するＬｏｎｇ信号レベル変換部１４と、露光時間の短い方のＳｈｏｒｔ信号の信号レベルを変換するＳｈｏｒｔ信号レベル変換部１６と、Ｌｏｎｇ信号に基づいてミックス係数を算出するＬｏｎｇ基準ミックス係数算出部１８と、Ｓｈｏｒｔ信号に基づいてミックス係数を算出するＳｈｏｒｔ基準ミックス係数算出部２０と、Ｌｏｎｇ基準ミックス係数とＳｈｏｒｔ基準ミックス係数とに基づいて最終ミックス係数を算出する最終ミックス係数算出部２２と、レベル変換後のＬｏｎｇ信号とレベル変換後のＳｈｏｒｔ信号を最終ミックス係数で示される割合でミックスする画像合成部２４とを備える。
【選択図】 図１

Description

本発明は、露光時間の異なる複数の画像を合成してダイナミックレンジの広い画像を得る画像処理装置に関する。

カメラ信号処理において、露光時間の異なる複数の画像を合成してダイナミックレンジの広い画像を得る技術が広く知られている。例えば、特許文献１は、動きのある被写体の合成画像を生成する発明を開示している。

図２１は、特許文献１に記載のダイナミックレンジ拡大カメラの要部構成を示す図である。短時間露光信号に対して階調特性を抑圧する信号レベル抑圧手段１１０と、信号レベル抑圧手段１１０の出力信号に対して所定のオフセットＳを加算するオフセット調整手段１１２とを有している。

信号合成手段１１４には、長時間露光信号とオフセット調整手段１１２を通して出力される短時間露光信号とが入力される。信号合成手段１１４は、Ｌｏｎｇ信号の入出力特性に対して乗換レベルＬＬ以上の部分でＬｏｎｇ信号に減衰係数を乗算し、Ｌｏｎｇ信号の寄与を下げる重み付け処理を行う。また、信号合成手段１１４は、Ｓｈｏｒｔ信号の乗換レベルＬＨ以下の部分で重み付け処理を行う。

このように信号合成手段１１４は、入力信号レベルが、出力信号レベルに換算して第１の乗換レベルＬＬと第２の乗換レベルＬＨとの間にあるときにのみ、重み付け加算を行う。

この際、オフセット調整手段１１２にて加算するオフセットＳを、Ｌｏｎｇ信号の飽和レベルとＳｈｏｒｔ信号が交点を有するように設定するとよい。その結果、乗り換えを行う場合にＬｏｎｇ信号とＳｈｏｒｔ信号とのレベル差が減少し、エッジに不要な低レベル信号が付加することがない。

また、オフセット調整手段１１２にて加算する所定のオフセットＳ２を、信号合成における乗換レベルＬＬより大きいか、又は等しく設定する方法でもよい。この場合は、エッジ部にてＬｏｎｇ信号から乗り換えたＳｈｏｒｔ信号が必ずＬｏｎｇ信号より高い信号レベルとなり、不要なエッジ二重線を回避できる。
特開２００１−１６９１７７号公報（第３−４頁、図１）

撮像装置の実運用においては、被写体の輝度はシーンによって異なり、ダイナミックレンジ拡大処理が必要な被写体の輝度差の大きい画像から、ダイナミックレンジ拡大処理が必要ない被写体の輝度差の小さい画像まで、様々が画像が撮像される。従って、常に高画質な合成画像を得るためには、被写体に合わせた画像処理が必要である。また、輝度差の大きい被写体を撮像した状態から、輝度差の小さな被写体を撮像した状態までの画像処理の連続性を考慮する必要がある。

また、輝度差の小さな被写体の場合、センサの仕様等により、Ｓｈｏｒｔ信号レベルを十分に上げることができないことも考えられる。

さらに、露光時間の異なる複数の画像を得るために、時間をずらして２回撮像を行うので、被写体が動いたりカメラが動いたりする場合、合成した画像には被写体の輪郭が２重に写ってしまい、画質が劣化してしまうという問題が生ずる。なお、たとえ複数の撮像素子を用いて同時に撮像したとしても、露光時間が異なるため、２重像の問題は完全には解決しない。

２重像を原理的に消し去るには、複数の撮像素子に異なる感度特性の減光フィルタ（ＮＤフィルタ）を貼り付け、複数の画像を完全に同タイミングで撮像すればよいが、被写体の輝度差の変化に合わせてＮＤフィルタの感度特性を変えることは難しく、現実的ではない。従って、２重像をできるだけ目立たないようにすることが望ましい。

特許文献１に記載された発明では、２重像の影響をある程度低減できるが、Ｓｈｏｒｔ信号のレベルを持ち上げたものそのものが見えるため、色相などにおいて違和感が残る。

そこで、本発明は上記背景に鑑み、様々な輝度の被写体について、高画質な合成画像を得ることのできる画像処理装置を提供することを目的とする。

本発明の画像処理装置は、露光時間の異なる２つの画像信号を合成して合成画像を生成する画像処理装置であって、露光時間の長い方のＬｏｎｇ信号の信号レベルを変換するＬｏｎｇ信号レベル変換部と、露光時間の短い方のＳｈｏｒｔ信号の信号レベルを変換するＳｈｏｒｔ信号レベル変換部と、Ｌｏｎｇ信号に基づいてＬｏｎｇ基準ミックス係数を算出するＬｏｎｇ基準ミックス係数算出部と、Ｓｈｏｒｔ信号に基づいてＳｈｏｒｔ基準ミックス係数を算出するＳｈｏｒｔ基準ミックス係数算出部と、前記Ｌｏｎｇ基準ミックス係数と前記Ｓｈｏｒｔ基準ミックス係数とに基づいて最終ミックス係数を算出する最終ミックス係数算出部と、レベル変換後のＬｏｎｇ信号とレベル変換後のＳｈｏｒｔ信号を前記最終ミックス係数で示される割合でミックスする画像合成部とを備えた構成を有する。

この構成により、Ｌｏｎｇ信号に基づいて求めたＬｏｎｇ基準ミックス係数とＳｈｏｒｔ信号に基づいて求めたＳｈｏｒｔ基準ミックス係数の両方を用いて最終ミックス係数を求めるので、輝度差の大きい画像、輝度差の小さい画像のいずれにおいても、適正なミックス特性を得ることができる。また、最終ミックス係数は、Ｌｏｎｇ信号とＳｈｏｒｔ信号の両方の特性を反映した係数であるので、この係数を用いて合成画像を生成することにより、２重像を目立たないようにし、動物体の周囲部分においても違和感を低減することができる。

本発明の画像処理装置において、前記Ｌｏｎｇ基準ミックス係数算出部は、Ｌｏｎｇ信号の露光時間とＳｈｏｒｔ信号の露光時間との露光比に基づいて、Ｌｏｎｇ基準ミックス係数を算出し、前記Ｓｈｏｒｔ基準ミックス係数算出部は、前記露光比に基づいてＳｈｏｒｔ基準ミックス係数を算出し、前記最終ミックス係数算出部は、前記露光比に基づいて最終ミックス係数を算出する構成を有する。

この構成により、被写体の輝度に関わらず、各ミックス係数を適切に求めることができる。

本発明の画像処理装置において、前記Ｌｏｎｇ信号レベル変換部は、Ｌｏｎｇ信号の露光時間とＳｈｏｒｔ信号の露光時間との露光比に基づいてＬｏｎｇ信号レベルを変換し、前記Ｓｈｏｒｔ信号レベル変換部は、前記露光比に基づいてＳｈｏｒｔ信号レベルを変換する構成を有する。

この構成により、露光比に基づいて、Ｌｏｎｇ信号レベルおよびＳｈｏｒｔ信号レベルの信号レベルを適切に変換できる。

本発明の画像処理装置において、前記Ｓｈｏｒｔ信号レベル変換部は、入力の低レベル部分に前記露光比に基づく大きさのオフセットを加えた信号レベル変換特性を用いてＳｈｏｒｔ信号レベルを変換する構成を有する。

この構成により、露光比に応じて、合成信号に含まれるＳｈｏｒｔ信号の信号レベルを適切に調整できる。例えば、露光比のレベルを第１の閾値と第２の閾値（第１の閾値＜第２の閾値）を用いて３つの段階に分け、露光比が第１の閾値より小さい場合と露光比が第２の閾値より大きい場合に露光比に基づくオフセットを加え、露光比が第１の閾値と第２の閾値との間にある場合にはオフセットを加えない処理を行う。これにより、被写体の輝度差が比較的小さくかつＳｈｏｒｔ信号の露光時間を延ばせないという状況において、Ｌｏｎｇ信号が飽和し、かつＳｈｏｒｔ信号レベルが足りない場合の合成画像の画質を向上できる。また、動物体付近でＳｈｏｒｔ信号が見えてしまう場合の悪影響を低減できる。

本発明の画像処理装置において、Ｓｈｏｒｔ信号よりＬｏｎｇ信号を多用するようなＳｈｏｒｔ基準ミックス係数を算出する構成を有する。

この構成により、Ｌｏｎｇ信号を多用するので、Ｌｏｎｇ信号とＳｈｏｒｔ信号の露光タイミングの差から生じる合成画像のノイズを低減できる。

本発明の画像処理装置は、Ｌｏｎｇ信号レベルとＳｈｏｒｔ信号レベルとを比較することにより被写体の動き部分を検出する動き検出部を備え、前記最終ミックス係数算出部は、前記動き検出部からの出力により、被写体の動きの有無に基づいて前記最終ミックス係数を算出する構成を有する。

この構成により、被写体の動きの有無に応じて適切な合成画像を生成できる。例えば、動きのある部分では、Ｌｏｎｇ信号とＳｈｏｒｔ信号の両方を併用する最終ミックス係数を用いて画像信号を合成することで、動物体の合成画像の違和感を低減できる。

本発明の画像処理方法は、露光時間の異なる２つの画像信号を合成して合成画像を生成する画像処理方法であって、露光時間の長い方のＬｏｎｇ信号の信号レベルを変換するステップと、露光時間の短い方のＳｈｏｒｔ信号の信号レベルを変換するステップと、Ｌｏｎｇ信号に基づいてミックス係数を算出するステップと、Ｓｈｏｒｔ信号に基づいてミックス係数を算出するステップと、Ｌｏｎｇ基準ミックス係数とＳｈｏｒｔ基準ミックス係数とに基づいて最終ミックス係数を算出するステップと、レベル変換後のＬｏｎｇ信号とレベル変換後のＳｈｏｒｔ信号を最終ミックス係数で示される割合でミックスするステップとを備えた構成を有する。

この構成により、上記した画像処理装置と同様に、輝度差の大きい画像、輝度差の小さい画像のいずれにおいても適正なミックス特性が得られると共に、動物体の周囲部分においても合成画像の違和感を低減できる。なお、本発明の画像処理装置の各種の構成を本発明の画像処理方法にも適用できる。

本発明によれば、輝度差の大きい画像、輝度差の小さい画像のいずれにおいても適正な合成画像が得られるというすぐれた効果を有する。

以下、本発明の実施の形態について、図面を用いて説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態の画像処理装置１を示す図である。第１の実施の形態の画像処理装置１は、Ｌｏｎｇ信号入力部１０と、Ｓｈｏｒｔ信号入力部１２と、Ｌｏｎｇ信号レベル変換部１４と、Ｓｈｏｒｔ信号レベル変換部１６と、Ｌｏｎｇ基準ミックス係数算出部１８と、Ｓｈｏｒｔ基準ミックス係数算出部２０と、最終ミックス係数算出部２２と、画像合成部２４とを有している。

以下では、まず、図１に示す各構成の概要について説明し、続いて、画像合成の詳しい画像処理について説明する。Ｌｏｎｇ信号入力部１０とＳｈｏｒｔ信号入力部１２には、ラインメモリ（図示せず）等にて同時化されたＬｏｎｇ信号とＳｈｏｒｔ信号がそれぞれ入力される。

Ｌｏｎｇ信号レベル変換部１４は、露光比に応じてＬｏｎｇ信号の信号レベル変換を行う。Ｓｈｏｒｔ信号レベル変換部１６は、露光比に応じてＳｈｏｒｔ信号の信号レベル変換を行う。Ｌｏｎｇ信号レベル変換部１４とＳｈｏｒｔ信号レベル変換部１６は、異なる特性で非線形に信号レベル変換を行う。

Ｌｏｎｇ基準ミックス係数算出部１８は、入力されたＬｏｎｇ信号レベルに基づいて画像合成部２４でのミックス係数（Ｌｏｎｇ基準ミックス係数）を算出する。同様に、Ｓｈｏｒｔ基準ミックス係数算出部２０は、入力されたＳｈｏｒｔ信号レベルに基づいて画像合成部２４でのミックス係数（Ｓｈｏｒｔ基準ミックス係数）を算出する。最終ミックス係数算出部２２は、Ｌｏｎｇ基準ミックス係数算出部１８とＳｈｏｒｔ基準ミックス係数算出部２０から出力されたミックス係数を加重加算し、最終ミックス係数を算出する。

画像合成部２４は、Ｌｏｎｇ信号レベル変換部１４から出力されたレベル変換後の画像信号とＳｈｏｒｔ信号レベル変換部１６から出力されたレベル変換後の画像信号を、最終ミックス係数算出部２２から出力された最終ミックス係数に基づいて加重加算し、画像の合成処理を行う。これにより、画像合成部２４は、ダイナミックレンジの広い画像を生成する。

次に、図１に示す画像処理装置１による画像処理について図２〜図６を用いて説明する。最初に、被写体の輝度差が小さい状態から被写体の輝度差が大きい状態まで変化したときの理想的な画像処理について説明する。

輝度差の小さい被写体の場合には、ダイナミックレンジ拡大処理は不要である。この場合、Ｌｏｎｇ信号レベル変換部１４でのレベル変換特性は、リニア特性（図２（ａ）参照）または信号の高域部を寝かせるニー特性（図２（ｂ）参照）とし、最終ミックス係数算出部２２の出力としてＬｏｎｇ信号を１００％使用する。これにより、ダイナミックレンジ拡大処理を行わなかった場合と同等の画像を得ることができる。

被写体の輝度差が大きくなってきた場合、露光比を１倍として、入射光量に対する信号レベルをＬｏｎｇ信号とＳｈｏｒｔ信号で同等にし、さらに、Ｌｏｎｇ信号レベル変換部１４、Ｓｈｏｒｔ信号レベル変換部１６でのレベル変換特性は、リニア特性（図２（ａ）（ｃ）参照）または信号の高域部を寝かせるニー特性（図２（ｂ）（ｄ）参照）する。すなわち、Ｌｏｎｇ信号のレベル変換特性とＳｈｏｒｔ信号のレベル変換特性を、全く同じ特性とする。

被写体の輝度差がさらに大きくなった場合には、被写体の輝度差の拡大に合わせてＳｈｏｒｔ信号の露光時間を短くすると共に、最終ミックス係数算出部２２は、入射光量に従ってＳｈｏｒｔ信号を使用する割合を増やす。以上の画像処理が理想的であり、時間的な不連続点のない滑らかな画像が得られる。

しかしながら、センサの仕様等の問題でＳｈｏｒｔ露光時間をＬｏｎｇ露光時間と同等にまで延ばせない場合には、入射光量に対するＳｈｏｒｔ信号の特性は、図２（ｅ）に示すようになり、十分な信号レベルは得られない。この状態で、Ｌｏｎｇ信号とＳｈｏｒｔ信号を合成すると、Ｌｏｎｇ信号が飽和していても、Ｓｈｏｒｔ信号の信号レベルが十分に上がっていないので、合成画像においてＬｏｎｇ信号が飽和した部分でＳｈｏｒｔ信号が使用されることにより、逆にその部分が暗くなってしまうという弊害が起こる。このとき、Ｓｈｏｒｔ信号を単純に露光比倍してＬｏｎｇ信号と同じ特性にすることもできるが、Ｓｈｏｒｔ信号のノイズ成分も強調されてしまい、ＳＮが低下する。

そこで、Ｓｈｏｒｔ信号レベル変換部１６は、Ｓｈｏｒｔ信号のレベル変換特性の傾きを上げると共に、オフセット特性を与えて、図２（ｆ）に示すようにＳｈｏｒｔ信号の出力特性を定める。

Ｌｏｎｇ信号が飽和してＳｈｏｒｔ信号を使用し始めた時、Ｓｈｏｒｔ信号のレベルがＬｏｎｇ信号レベル同等まで持ち上がっていれば、Ｌｏｎｇ信号からＳｈｏｒｔ信号への乗換えの境界は目立たない。

図３（ａ）〜図３（ｄ）は、輝度差の大きい画像に対する画像処理を説明するための図である。ダイナミックレンジ拡大処理が必要な被写体の輝度差の大きい画像の場合、Ｌｏｎｇ信号は図３（ｃ）に示すように、ある程度の入射光量で飽和してしまう。撮像装置は、Ｌｏｎｇ信号の入射光量の飽和にはかかわらず、暗い部分の輝度を確保できるようにレンズ絞りを制御する。その上で、Ｓｈｏｒｔ信号が図３（ａ）に示すような適正露光になるようにＳｈｏｒｔ露光時間を短くする。

Ｌｏｎｇ信号とＳｈｏｒｔ信号の信号レベルを合わせて正しく合成するためには、Ｓｈｏｒｔ信号に露光比を乗じるか、Ｌｏｎｇ信号に１／露光比を乗じる必要がある。しかし、Ｌｏｎｇ信号とＳｈｏｒｔ信号とを合成すると、露光比倍率が高い場合には、合成後のＬｏｎｇ信号の画像領域の信号レベルが低くなりすぎる。そこで、本実施の形態では、Ｓｈｏｒｔ信号レベル変換部１６は、図３（ｂ）に示すように上に凸の非線形変換を行う。また、Ｌｏｎｇ信号レベル変換部１４は、Ｓｈｏｒｔ信号のレベル変換特性に合わせて、図３（ｄ）に示すように、Ｓｈｏｒｔ信号のレベル変換特性のうちの前半の１／露光比の部分を、入力信号側に露光比倍引き伸ばした特性で、上に凸の非線形変換を行う。

図４（ａ）〜図４（ｄ）は、被写体の輝度差がさらに大きい場合の画像処理について説明するための図である。被写体の輝度差が大きいほど、露光比を大きくする必要がある。Ｌｏｎｇ信号は図４（ｃ）に示すように、Ｓｈｏｒｔ信号が飽和する入射光量に対して、図３（ｃ）に示す例より少ない入射光量で飽和する。このため、Ｌｏｎｇ信号レベル変換部１４、Ｓｈｏｒｔ信号レベル変換部１６は、露光比が大きい時に図４（ｂ）（ｄ）に示すように非線形変換特性の上に凸の度合いを上げることで、合成後のＬｏｎｇ信号の画像領域の信号レベル低下を防ぐ。

Ｌｏｎｇ基準ミックス係数算出部１８は、入力されたＬｏｎｇ信号に基づいてＬｏｎｇ基準ミックス係数を算出する。Ｌｏｎｇ基準ミックス係数は、Ｌｏｎｇ信号によって定まるＬｏｎｇ信号とＳｈｏｒｔ信号をミックスする際の重み付けの係数である。仮に、従来と同様に、Ｌｏｎｇ信号のみにより重み付けが決まるとすれば、係数値０の時は、Ｌｏｎｇ信号が１００％使用され、係数値１の時はＳｈｏｒｔ信号が１００％使用されることを示す係数である。

図５は、Ｌｏｎｇ基準ミックス係数算出部１８にて、Ｌｏｎｇ基準ミックス係数を算出するための関係式を示す図である。Ｌｏｎｇ基準ミックス係数算出部１８は、図５に示すように、ある入力信号レベル３０に対する係数値３１と、傾き３２と、係数値の上限値３３と、係数値の下限値３４とによってＬｏｎｇ基準ミックス係数を定める。Ｌｏｎｇ信号の信号レベルが低い時は、Ｌｏｎｇ基準ミックス係数は、下限値３４をとり、信号レベルの上昇に合わせて、傾き３２にて上限値３３まで線形に上昇する。

図６は、Ｓｈｏｒｔ基準ミックス係数算出部２０にて、Ｓｈｏｒｔ基準ミックス係数を算出するための関係式を示す図である。Ｓｈｏｒｔ基準ミックス係数算出部２０も、Ｌｏｎｇ基準ミックス係数算出部１８と同様に、Ｓｈｏｒｔ信号のレベルに基づいてＳｈｏｒｔ基準ミックス係数を算出する。制御パラメータ３５〜３９は、Ｌｏｎｇ基準ミックス係数算出部１８の制御パラメータ３０〜３４とは異なる値である。図５および図６に示す各制御パラメータ３０〜３９は露光比によって制御される。

また、Ｌｏｎｇ基準ミックス係数とＳｈｏｒｔ基準ミックス係数のミックス比率も露光比によって制御される。例えば、被写体の輝度差が小さく、露光比が小さくてＳｈｏｒｔ信号のレベルが十分に上がらないような場合、Ｌｏｎｇ信号を多用するようなミックス係数とし、かつＬｏｎｇ基準ミックス係数を多用する最終ミックス係数でＬｏｎｇ信号とＳｈｏｒｔ信号を合成する。以上、第１の実施の形態の画像処理装置の構成および画像処理方法について説明した。

Ｌｏｎｇ信号レベル変換部１４、Ｓｈｏｒｔ信号レベル変換部１６は、露光比に合わせてレベル変換特性を変化させるので、被写体の輝度差の大きい画像から被写体の輝度差の小さい画像まで、常に合成信号全体の信号レベルとＬｏｎｇ信号の信号レベルを適正に制御することができる。

また、Ｌｏｎｇ基準ミックス係数算出部１８、Ｓｈｏｒｔ基準ミックス係数算出部２０で求めたミックス係数を最終ミックス係数算出部２２でミックスするので、被写体の輝度差の大きい画像から小さい画像まで、常に適正なミックス特性を得ることができる。また、この構成により、ミックス特性はＬｏｎｇ信号とＳｈｏｒｔ信号の両方を併用しているので、２重像を目立たなくする効果があり、動物体の合成画像の違和感を低減することができる。

（第２の実施の形態）
本発明の第２の実施の形態の画像処理装置の基本的な構成は、第１の実施の形態と同じであるが（図１参照）、第２の実施の形態の画像処理装置は、画像処理の方法が異なる。第２の実施の形態の画像処理方法を図７〜図１２を用いて説明する。

Ｓｈｏｒｔ信号レベル変換部１６は、図７に示すように、Ｓｈｏｒｔ信号レベルを入力の低レベル部分の出力レベルが高くなる変換特性によって信号変換する。図７に示す変換特性は、第１の実施の形態で説明したＳｈｏｒｔ信号レベルの変換特性（図３（ｂ）参照）と比較して、低レベル側の出力レベルがより高くなっている。この変換特性により、センサの仕様等の問題でＳｈｏｒｔ露光時間をＬｏｎｇ露光時間と同等にまで延ばせない場合での低輝度差の被写体の画質の改善、ならびに、動物体の画質の改善を行うことができる。

被写体の輝度差が小さい場合の画質を、Ｓｈｏｒｔ信号レベル変換特性を入力の低レベル部分の出力レベルが高くなる変換特性とすることにより改善できることは第１の実施の形態で説明したとおりである。

以下では、動物体に対する画質改善効果について説明する。ここでは、図８（ａ）に示すように、暗い背景の中を明るい物体が右に移動した場合と、逆に、図８（ｂ）に示すように明るい背景の中を暗い物体が右に移動した場合に生じ得る問題点について説明する。

図９（ａ）（ｂ）は、それぞれ図８（ａ）（ｂ）に示す被写体を撮像することによって得られたＬｏｎｇ信号およびＳｈｏｒｔ信号の信号レベルを示す図である。ただし、図９（ａ）（ｂ）では、図８（ａ）（ｂ）に示す被写体を横切るＸ軸方向（紙面の横方向）の直線上において取得した信号を示している。なお、図９（ａ）（ｂ）では、Ｌｏｎｇ信号とＳｈｏｒｔ信号の露光比を考慮して信号レベルを合わせてある。

図９（ａ）（ｂ）において、信号４１はＬｏｎｇ信号レベルを示す。Ｌｏｎｇ信号４１は、露光時間が長いため、動きボケが生じて信号変化はなだらかであり、かつ、実体よりも幅が大きくなっている。また、信号が飽和しているため、信号レベルが上がりきっていない。

図９（ａ）（ｂ）において、信号４２はＳｈｏｒｔ信号レベルを示す。Ｓｈｏｒｔ信号４２は、Ｌｏｎｇ信号４１と信号レベルを合わせている。露光時間が短いため、Ｌｏｎｇ信号４１と比較してエッジはシャープである。また、Ｌｏｎｇ信号４１とＳｈｏｒｔ信号４２の露光タイミングの差から、Ｌｏｎｇ信号４１とＳｈｏｒｔ信号４２の位置はずれている。

図１０（ａ）（ｂ）は、Ｌｏｎｇ基準ミックス係数算出部１８の出力を示す図である。図１０（ａ）（ｂ）において、信号４３はＬｏｎｇ基準ミックス係数であり。値が０の時にＬｏｎｇ信号１００％、値が１の時にＳｈｏｒｔ１００％のミックス比率となる。図１０（ａ）（ｂ）において信号４４は、（１−Ｌｏｎｇ基準ミックス係数）であり、値が１の時にＬｏｎｇ１００％、値が０の時にＳｈｏｒｔ１００％のミックス比率となる。

前述したように、Ｌｏｎｇ信号レベル４１の幅は実体よりも大きいので、Ｌｏｎｇ基準ミックス係数が変化する場所も実体のエッジとは異なる場所となってしまう。

図１１（ａ）（ｂ）は、Ｌｏｎｇ基準ミックス係数を用いてＬｏｎｇ信号とＳｈｏｒｔ信号をミックスした信号を示す図である。図１１（ａ）（ｂ）において、信号４５は、Ｌｏｎｇ信号×（１−Ｌｏｎｇ基準ミックス係数）であり、信号４６は、Ｓｈｏｒｔ信号×Ｌｏｎｇ基準ミックス係数である。信号４７は、信号４５と信号４６の加算結果であり、ミックス後の最終信号である。

図１１（ａ）（ｂ）に示す最終信号４７において、部分４８が画質的に問題となる。図１１（ａ）を例に説明すると、部分４８において、Ｌｏｎｇ信号は動きボケのために早々に信号レベルが上がり、Ｌｏｎｇ基準ミックス係数はＳｈｏｒｔ信号を多用するような係数になる。しかし、Ｓｈｏｒｔ信号４２（図９（ａ）（ｂ）参照）の部分４８は背景であるため、合成すると暗い背景そのものが見えてしまう。

本実施の形態では、Ｓｈｏｒｔ信号レベル変換部１６は、図７に示すように、入力の低レベル部分の出力レベルが高くなる信号レベル変換を行う。これにより、Ｌｏｎｇ基準ミックス係数でＬｏｎｇ信号とＳｈｏｒｔ信号をミックスした結果は、図１２（ａ）（ｂ）に示すような特性となる。

最終信号５１において部分５２のＳｈｏｒｔ信号は、Ｓｈｏｒｔ信号レベル変換特性により持ち上げられて明るくなり、背景が暗く見えてしまう状況は回避される。Ｓｈｏｒｔ信号レベル変換特性のオフセット成分を、Ｌｏｎｇ信号とＳｈｏｒｔ信号の乗換え信号レベルと同じ程度になるように調整することで、動物体前後に現れる暗い影による画質劣化を低減できる。

また、例えば、入力信号レベルに対する係数値３１または係数の傾き３２を少し上げるなどして（図５参照）、Ｌｏｎｇ基準ミックス係数を、Ｌｏｎｇ信号を多用するような係数にすることで、Ｓｈｏｒｔ信号の使用される割合を減らすことで、背景が見えてしまう面積を小さくすることができる。

（第３の実施の形態）
本発明の第３の実施の形態の画像処理装置の基本的な構成は、第１の実施の形態と同じであるが（図１参照）、第３の実施の形態の画像処理装置は、画像処理の方法が異なる。本発明の第３の実施の形態の画像処理方法を図１３〜図１６を用いて説明する。

Ｓｈｏｒｔ基準ミックス係数算出部２０では、Ｓｈｏｒｔ信号の信号レベルに基づいてＬｏｎｇ信号とＳｈｏｒｔ信号のミックス係数を算出する。

図１３（ａ）（ｂ）は、図８（ａ）（ｂ）に対するＳｈｏｒｔ基準ミックス係数算出部２０の出力を示す図である。図１３（ａ）（ｂ）において信号６０は、Ｓｈｏｒｔ基準ミックス係数である。値が０の時にＬｏｎｇ１００％、値が１の時にＳｈｏｒｔ１００％のミックス比率となる。信号６１は、（１−Ｓｈｏｒｔ基準ミックス係数）であり、値が１の時にＬｏｎｇ１００％、値が０の時にＳｈｏｒｔ１００％のミックス比率となる。

図１４（ａ）（ｂ）は、図１３（ａ）（ｂ）に示すＳｈｏｒｔ基準ミックス係数にてＬｏｎｇ信号とＳｈｏｒｔ信号をミックスした信号を示す図である。信号６２は、Ｌｏｎｇ信号×（１−Ｓｈｏｒｔ基準ミックス係数）であり、信号６３は、Ｓｈｏｒｔ信号×Ｓｈｏｒｔ基準ミックス係数である。信号６４は、信号６２と信号６３の加算結果であり、ミックス後の最終信号である。

図１４（ａ）（ｂ）に示す信号６４において、部分６５が画質的に問題となる。Ｌｏｎｇ信号とＳｈｏｒｔ信号の露光タイミングのずれのため、Ｌｏｎｇ信号の飽和レベルが見えてしまったり、動物体の前後に楔状のノイズが見えてしまったりしている。

そこで、本実施の形態では、Ｓｈｏｒｔ基準ミックス係数算出部２０で、Ｌｏｎｇ信号を多用するようなミックス係数特性となるように閾値制御を行う。例えば、Ｓｈｏｒｔ信号入力を元にＳｈｏｒｔ基準ミックス係数を求めるための制御パラメータ３５（図６参照）の値を少し上げる。

図１５（ａ）（ｂ）は図８（ａ）（ｂ）に対する新しいＳｈｏｒｔ基準ミックス係数を示す図、図１６（ａ）（ｂ）は新しいＳｈｏｒｔ基準ミックス係数にてＬｏｎｇ信号とＳｈｏｒｔ信号をミックスした最終信号を示す図である。

本実施の形態によれば、動物体の前後に現れた楔状のノイズを消すことができる。Ｌｏｎｇ信号の飽和レベルが見える面積は大きくなるが、画質の劣化としては楔状ノイズの影響の方が大きいので、画質改善効果がある。

（第４の実施の形態）
本発明の第４の実施の形態の画像処理装置の基本的な構成は、第１の実施の形態と同じであるが（図１参照）、第４の実施の形態の画像処理装置は、画像処理の方法が異なる。本発明の第４の実施の形態の画像処理方法を図１７、図１８を用いて説明する。

第４の実施の形態の画像処理装置は、図８（ａ）,（ｂ）に示した動物体に対して、第２の実施の形態で示したようなＳｈｏｒｔ信号レベル変換部１６と、第３の実施の形態で示したようなＳｈｏｒｔ基準ミックス係数算出部２０を用いる。Ｌｏｎｇ基準ミックス係数は図１０（ａ）,（ｂ）に示し、Ｓｈｏｒｔ基準ミックス係数は図１３（ａ）,（ｂ）に示した。

図１７（ａ）（ｂ）は、図１０（ａ）（ｂ）に示すＬｏｎｇ基準ミックス係数と図１３（ａ）（ｂ）に示すＳｈｏｒｔ基準ミックス係数とを、等分で加算平均した最終ミックス係数を示す図である。図１７（ａ）（ｂ）において、信号７２の部分は動きによりＬｏｎｇ信号とＳｈｏｒｔ信号の信号レベルに差がある部分であるが、Ｌｏｎｇ基準ミックス係数とＳｈｏｒｔ基準ミックス係数を加算したことにより、Ｌｏｎｇ信号とＳｈｏｒｔ信号両方を併用する値となっている。

図１８（ａ）（ｂ）は、図１７（ａ）（ｂ）に示す最終ミックス係数を用いてＬｏｎｇ信号とＳｈｏｒｔ信号をミックスした信号を示す図である。信号中の部分７３は、図１２（ａ）（ｂ）に示した部分５２では、Ｓｈｏｒｔ信号の背景画像のレベルを上げた信号のみであったのに対して、さらにＬｏｎｇ信号を加算しており、動物体の画質をより改善することができる。

（第５の実施の形態）
図１９は、本発明の第５の実施の形態の画像処理装置５の構成を示す図である。第５の実施の形態の画像処理装置５は、第１の実施の形態の画像処理装置１と基本的な構成は同じであるが、Ｌｏｎｇ基準ミックス係数算出部１８およびＳｈｏｒｔ基準ミックス係数算出部２０に代えて、動き検出部２６を有している。

動き検出部２６は、Ｌｏｎｇ信号とＳｈｏｒｔ信号を入力し、その差分から動きの有無を判定する機能を有する。被写体に動きが無ければ、Ｌｏｎｇ信号とＳｈｏｒｔ信号にはほぼ比例の関係が成り立つ。逆に、Ｌｏｎｇ信号レベルが高くてＳｈｏｒｔ信号が低い部分や、Ｌｏｎｇ信号レベルが低くてＳｈｏｒｔ信号が高い部分は、動きのある画像と判定することができる。

図２０は、Ｌｏｎｇ信号およびＳｈｏｒｔ信号と動きの有無の関係を示す図である。図２０に示すように、本実施の形態では、Ｌｏｎｇ信号およびＳｈｏｒｔ信号をそれぞれ２つの閾値で３つに分け、全部で９つの領域に分けて動きの判定を行い、ミックス係数を決定する。

Ｌｏｎｇ信号もＳｈｏｒｔ信号も小さい領域８０は、画像が暗くてＬｏｎｇ信号を使用すべき領域と考えられるので、この部分では、Ｌｏｎｇ信号を多用するミックス係数とする。逆にＬｏｎｇ信号もＳｈｏｒｔ信号も大きい領域８８は、画像が明るくてＳｈｏｒｔ信号を使用すべき領域と考えられるので、この部分では、Ｓｈｏｒｔ信号を多用するミックス係数とする。

Ｌｏｎｇ信号もＳｈｏｒｔ信号も中間レベルの領域８４は、適正な輝度が得られている領域と考えられるので、ＳＮの良いＬｏｎｇ信号を多用しつつ、信号レベルに合わせてＳｈｏｒｔ信号を使用するミックス係数とする。

Ｌｏｎｇ信号レベルが高くてＳｈｏｒｔ信号が低い領域８６や、Ｌｏｎｇ信号レベルが低くてＳｈｏｒｔ信号が高い領域８２は、動きのある領域と考えることができるので、Ｌｏｎｇ信号とＳｈｏｒｔ信号を半々程度にミックスするミックス係数とする。残りの領域８１、８３、８５、８７は中間的な領域と考え、領域８０、８２、８４、８６、８８のミックス係数を線形補間して求める。

これにより、動物体周囲の信号レベルは、図１８に示す信号の部分７３と同様に、レベルを上げた背景画像にＬｏｎｇ信号を加算したものとなり。動物体の合成画像の画質を改善することができる。

以上、本発明の画像処理装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。本発明は、Ｌｏｎｇ基準ミックス係数とＳｈｏｒｔ基準ミックス係数とに基づいて最終ミックス係数を算出する構成を有する様々な変形例を含む。

以上説明したように、本発明によれば、輝度差の大きい画像、輝度差の小さい画像のいずれにおいても適正なミックス特性が得られるというすぐれた効果を有し、露光時間の異なる信号を合成してダイナミックレンジの広い画像を得る画像処理装置等として有用である。

第１の実施の形態の画像処理装置を示す図 （ａ）入射光量―Ｌｏｎｇ信号レベルを示すグラフ、（ｂ）Ｌｏｎｇ信号レベル−Ｌｏｎｇ信号変換出力を示すグラフ、（ｃ）入射光量―Ｓｈｏｒｔ信号レベルを示すグラフ、（ｄ）Ｓｈｏｒｔ信号レベル−Ｓｈｏｒｔ信号変換出力を示すグラフ、（ｅ）入射光量―Ｓｈｏｒｔ信号レベルを示すグラフ、（ｆ）Ｓｈｏｒｔ信号レベル−Ｓｈｏｒｔ信号変換出力を示すグラフ （ａ）入射光量―Ｓｈｏｒｔ信号レベルを示すグラフ、（ｂ）Ｓｈｏｒｔ信号レベル−Ｓｈｏｒｔ信号変換出力を示すグラフ、（ｃ）入射光量―Ｌｏｎｇ信号レベルを示すグラフ、（ｄ）Ｌｏｎｇ信号レベル−Ｌｏｎｇ信号変換出力を示すグラフ （ａ）入射光量―Ｓｈｏｒｔ信号レベルを示すグラフ、（ｂ）Ｓｈｏｒｔ信号レベル−Ｓｈｏｒｔ信号変換出力を示すグラフ、（ｃ）入射光量―Ｌｏｎｇ信号レベルを示すグラフ、（ｄ）Ｌｏｎｇ信号レベル−Ｌｏｎｇ信号変換出力を示すグラフ Ｌｏｎｇ信号レベル―Ｌｏｎｇ基準ミックスレベルの関係のグラフ Ｓｈｏｒｔ信号レベル―Ｓｈｏｒｔ基準ミックスレベルの関係のグラフ Ｓｈｏｒｔ信号レベル―Ｓｈｏｒｔ信号レベル変換出力の関係のグラフ （ａ）動物体のイメージ図、（ｂ）動物体のイメージ図 （ａ）動物体の信号レベルを示す図、（ｂ）動物体の信号レベルを示す図 （ａ）Ｌｏｎｇ基準ミックス係数を示す図、（ｂ）Ｌｏｎｇ基準ミックス係数を示す図 （ａ）Ｌｏｎｇ基準ミックス係数を用いた合成画像の信号レベルを示す図、（ｂ）Ｌｏｎｇ基準ミックス係数を用いた合成画像の信号レベルを示す図 （ａ）Ｌｏｎｇ基準ミックス係数を用いた合成画像の信号レベルを示す図、（ｂ）Ｌｏｎｇ基準ミックス係数を用いた合成画像の信号レベルを示す図 （ａ）Ｓｈｏｒｔ基準ミックス係数を示す図、（ｂ）Ｓｈｏｒｔ基準ミックス係数を示す図 （ａ）Ｓｈｏｒｔ基準ミックス係数を用いた合成画像の信号レベルを示す図、（ｂ）Ｓｈｏｒｔ基準ミックス係数を用いた合成画像の信号レベルを示す図 （ａ）Ｓｈｏｒｔ基準ミックス係数を示す図、（ｂ）Ｓｈｏｒｔ基準ミックス係数を示す図 （ａ）Ｓｈｏｒｔ基準ミックス係数を用いた合成画像の信号レベルを示す図、（ｂ）Ｓｈｏｒｔ基準ミックス係数を用いた合成画像の信号レベルを示す図 （ａ）Ｌｏｎｇ基準ミックス係数とＳｈｏｒｔ基準ミックス係数をミックスした最終ミックス係数を示す図、（ｂ）Ｌｏｎｇ基準ミックス係数とＳｈｏｒｔ基準ミックス係数をミックスした最終ミックス係数を示す図 （ａ）最終ミックス係数を用いた合成画像の信号レベルを示す図、（ｂ）最終ミックス係数を用いた合成画像の信号レベルを示す図 第５の実施の形態の画像処理装置の構成を示す図 Ｌｏｎｇ信号およびＳｈｏｒｔ信号と動きの有無の関係を示す図 特許文献１に記載のダイナミックレンジ拡大カメラの要部構成を示す図

符号の説明

１ 画像処理装置
１０ Ｌｏｎｇ信号入力部
１２ Ｓｈｏｒｔ信号入力部
１４ Ｌｏｎｇ信号レベル変換部
１６ Ｓｈｏｒｔ信号レベル変換部
１８ Ｌｏｎｇ基準ミックス係数算出部
２０ Ｓｈｏｒｔ基準ミックス係数算出部
２２ 最終ミックス係数算出部
２４ 画像合成部
２６ 動き検出部

Claims (7)

1. 露光時間の異なる２つの画像信号を合成して合成画像を生成する画像処理装置であって、
   露光時間の長い方のＬｏｎｇ信号の信号レベルを変換するＬｏｎｇ信号レベル変換部と、
   露光時間の短い方のＳｈｏｒｔ信号の信号レベルを変換するＳｈｏｒｔ信号レベル変換部と、
   Ｌｏｎｇ信号に基づいてＬｏｎｇ基準ミックス係数を算出するＬｏｎｇ基準ミックス係数算出部と、
   Ｓｈｏｒｔ信号に基づいてＳｈｏｒｔ基準ミックス係数を算出するＳｈｏｒｔ基準ミックス係数算出部と、
   前記Ｌｏｎｇ基準ミックス係数と前記Ｓｈｏｒｔ基準ミックス係数とに基づいて最終ミックス係数を算出する最終ミックス係数算出部と、
   レベル変換後のＬｏｎｇ信号とレベル変換後のＳｈｏｒｔ信号を前記最終ミックス係数で示される割合でミックスする画像合成部と、
   を備えた画像処理装置。
2. 前記Ｌｏｎｇ基準ミックス係数算出部は、Ｌｏｎｇ信号の露光時間とＳｈｏｒｔ信号の露光時間との露光比に基づいて、Ｌｏｎｇ基準ミックス係数を算出し、
   前記Ｓｈｏｒｔ基準ミックス係数算出部は、前記露光比に基づいてＳｈｏｒｔ基準ミックス係数を算出し、
   前記最終ミックス係数算出部は、前記露光比に基づいて最終ミックス係数を算出する請求項１に記載の画像処理装置。
3. 前記Ｌｏｎｇ信号レベル変換部は、Ｌｏｎｇ信号の露光時間とＳｈｏｒｔ信号の露光時間との露光比に基づいてＬｏｎｇ信号レベルを変換し、
   前記Ｓｈｏｒｔ信号レベル変換部は、前記露光比に基づいてＳｈｏｒｔ信号レベルを変換する請求項１または２に記載の画像処理装置。
4. 前記Ｓｈｏｒｔ信号レベル変換部は、入力の低レベル部分に前記露光比に基づく大きさのオフセットを加えた信号レベル変換特性を用いてＳｈｏｒｔ信号レベルを変換する請求項３に記載の画像処理装置。
5. 前記Ｓｈｏｒｔ信号基準ミックス係数算出部は、Ｓｈｏｒｔ信号よりＬｏｎｇ信号を多用するＳｈｏｒｔ基準ミックス係数を算出する請求項１〜４のいずれかに記載の画像処理装置。
6. Ｌｏｎｇ信号レベルとＳｈｏｒｔ信号レベルとを比較することにより被写体の動き部分を検出する動き検出部を備え、
   前記最終ミックス係数算出部は、前記動き検出部からの出力により、被写体の動きの有無に基づいて前記最終ミックス係数を算出する請求項１〜５のいずれかに記載の画像処理装置。
7. 露光時間の異なる２つの画像信号を合成して合成画像を生成する画像処理方法であって、
   露光時間の長い方のＬｏｎｇ信号の信号レベルを変換するステップと、
   露光時間の短い方のＳｈｏｒｔ信号の信号レベルを変換するステップと、
   Ｌｏｎｇ信号に基づいてミックス係数を算出するステップと、
   Ｓｈｏｒｔ信号に基づいてミックス係数を算出するステップと、
   Ｌｏｎｇ基準ミックス係数とＳｈｏｒｔ基準ミックス係数とに基づいて最終ミックス係数を算出するステップと、
   レベル変換後のＬｏｎｇ信号とレベル変換後のＳｈｏｒｔ信号を前記最終ミックス係数で示される割合でミックスするステップと、
   を備えた画像処理方法。

Images