JP2014220760A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】３枚以上の画像を用いて合成を行う場合において、画像の境界を滑らかに接続して自然な合成画像を得ることが可能であり、回路規模をより小さくし、処理遅延をより小さくすることが可能な技術を提供する。
【解決手段】異なる露光量で撮影されたＮ（Ｎは３以上の自然数）枚の画像それぞれを識別するための識別値が、零を下限値とし所定の数値ＡにＮ−１を乗じた数値を上限値とする範囲で定義され、Ｎ枚の画像それぞれを識別するための識別値のいずれかを示す選択値が各画素に対応して定義されている選択情報に対して、ＬＰＦを施すＬＰＦ４０と、ＬＰＦが施された選択情報に定義されている選択値に基づいてＮ枚の画像から２枚の画像を選択する選択処理と、２枚の画像それぞれの対応する画素を合成する合成処理とを、各画素について行うＷＤＲ合成部５０と、を備える、画像処理装置１が提供される。
【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、短時間露光の画像（以下、単に「短露光画像」とも言う。）と長時間露光の画像（以下、単に「長露光画像」とも言う。）を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。

さらに、近年では、撮影可能なダイナミックレンジの拡張を目的として、露光を変えた画像を３枚以上撮影して合成する技術も登場している。例えば、特許文献１には、露光を変えて撮影した３枚の画像を滑らかに合成する手法が開示されている。

かかる手法においては、基準露出画像をグレースケール画像に変換し、濃淡値の閾値処理によってこのグレースケール画像を明るい領域と暗い領域と中間領域との３つに領域分割し、当該３つの領域それぞれに色を付け、平均化フィルタ処理を行った上で各画素の色成分に応じて３枚の画像を合成する。濃淡値の閾値は、エッジ検出結果と濃淡値に応じて分割された領域の境界とを使用して、基準露出画像の全画素についての得点計算によって決定される。

特開２００９−１０５６６号公報 特開２００５−７２９６５号公報

ここで、基準露出画像を使って領域分割するという手法を用いた場合、ＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）を±１程度振って撮影する程度であれば対応し得る。しかし、かかる手法を、露光量を数倍というオーダーで大きく変えて撮影するＷＤＲという撮影機能に適用する場合などにおいては、高輝度部の白飛び・低輝度部の黒潰れが激しく、基準露出画像１枚を基準として合成対象として使用する画像を適切に決定することは難しくなる。

また、撮影可能なダイナミックレンジをさらに拡張するために、合成に使用する画像枚数を増やすと、合成対象の画像の決定はさらに困難になり、高輝度または低輝度領域で適切な合成結果が得られない可能性が高くなる。

さらに、エッジ検出を使用する点、グレースケール画像や重みづけのためのＲＧＢプレーンを用意する必要がある点、全画素について得点をつけて算出する必要があるために全画素の処理が終わらないと合成画像が出力できない点など、ハードウェアで実行しようとすれば非常に大きな回路規模が必要となると考えられる点がある。同様の機能をソフトウェアで実現するにしても、多くの演算量を必要とし、大きな処理遅延も発生すると考えられる。

そこで、本発明は、３枚以上の画像を用いて合成を行う場合において、画像の境界を滑らかに接続して自然な合成画像を得ることが可能な技術を提供する。さらに、本発明は、３枚以上の画像を用いて合成を行う場合において、回路規模をより小さくし、処理遅延をより小さくすることが可能な技術を提供する。

本発明のある実施形態によれば、異なる露光量で撮影されたＮ（Ｎは３以上の自然数）枚の画像それぞれを識別するための識別値が、零を下限値とし所定の数値にＮ−１を乗じた数値を上限値とする範囲で定義され、前記Ｎ枚の画像それぞれを識別するための識別値のいずれかを示す選択値が各画素に対応して定義されている選択情報に対して、所定の処理を施す処理部と、前記所定の処理が施された選択情報に定義されている選択値に基づいて前記Ｎ枚の画像から２枚の画像を選択する選択処理と、前記２枚の画像それぞれの対応する画素を合成する合成処理とを、各画素について行う合成部と、を備える、画像処理装置が提供される。

かかる構成により、異なる露光量で撮影された複数の画像が隣接する境界付近においては、当該隣接する複数の画像それぞれの選択値の中間の値が選択値として生成される。そのため、混合比率を滑らかに変化させ、境界付近が滑らかに接続された合成画像を得ることができる。

また、１つのパラメータとしての選択情報を参照すれば、露光量の異なる３枚以上の画像から合成対象となる２枚の画像を画素毎に選択することが可能である。したがって、ハードウェアで構成する場合には、より小さい回路規模での実装を行うことが可能であり、ソフトウェアで実装する場合には、演算負荷をより小さくすることが可能である。

例えば、前記Ｎ枚の画像それぞれを識別するための識別値は、前記所定の数値に対して零からＮ−１までの各整数を乗じた結果が、露光量の昇順または降順に割り当てられた値であってもよい。かかる構成によれば、隣接する識別値同士の間隔を等間隔にし、露光量の順に識別値を割り当てることが可能となるため、前記所定の処理が施された選択情報に定義されている選択値を用いて混合比率を容易に演算することが可能となる。

前記所定の処理は、選択情報を大きくぼかす処理であるのが望ましい。そうすれば、境界付近をより滑らかに接続させることが可能となる。例えば、前記所定の処理は、ローパスフィルタを施す処理であってもよい。

前記２枚の画像を画素毎に選択する手法は特に限定されない。例えば、前記合成部は、前記所定の処理が施された選択情報に定義されている選択値との差分がより小さい２つの識別値を、前記２枚の画像それぞれを識別するための識別値として特定してもよい。このようにして、前記２枚の画像を画素毎に選択してもよい。

また、例えば、前記合成部は、前記所定の処理が施された選択情報に定義されている選択値と前記２枚の画像それぞれの識別値との差分値に応じて混合比率を決定し、前記混合比率に基づいて前記２枚の画像それぞれの対応する画素を合成してもよい。このようにして、混合比率を画素毎に算出することが可能である。

また、本発明の別の実施形態によれば、異なる露光量で撮影されたＮ（Ｎは３以上の自然数）枚の画像それぞれを識別するための識別値が、零を下限値とし所定の数値にＮ−１を乗じた数値を上限値とする範囲で定義され、前記Ｎ枚の画像それぞれを識別するための識別値のいずれかを示す選択値が各画素に対応して定義されている選択情報に対して、所定の処理を施すステップと、前記所定の処理が施された選択情報に定義されている選択値に基づいて前記Ｎ枚の画像から２枚の画像を選択する選択処理と、前記２枚の画像それぞれの対応する画素を合成する合成処理とを、各画素について行うステップと、を含む、画像処理方法が提供される。

かかる方法によれば、異なる露光量で撮影された複数の画像が隣接する境界付近においては、当該隣接する複数の画像それぞれの選択値の中間の値が選択値として生成される。そのため、混合比率を滑らかに変化させ、境界付近が滑らかに接続された合成画像を得ることができる。

また、１つのパラメータとしての選択情報を参照すれば、露光量の異なる３枚以上の画像から合成対象となる２枚の画像を画素毎に選択することが可能である。したがって、ハードウェアで構成する場合には、より小さい回路規模での実装を行うことが可能であり、ソフトウェアで実装する場合には、演算負荷をより小さくすることが可能である。

以上説明したように、本発明によれば、３枚以上の画像を用いて合成を行う場合において、画像の境界を滑らかに接続して自然な合成画像を得ることが可能な技術を提供することが可能である。さらに、本発明によれば、３枚以上の画像を用いて合成を行う場合において、回路規模をより小さくし、処理遅延をより小さくすることが可能である。

本発明の実施形態に係る画像処理装置の機能構成例を示す図である。 本発明の実施形態に係るＷＤＲ合成技術における各種情報の例を示す図である。 本発明の実施形態に係る画像処理装置の動作の流れの例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、本明細書においては、異なる露光量で撮影されたＮ（Ｎは３以上の自然数）枚の画像の例として、露光量の少ない順に短露光画像、中露光画像および長露光画像の３つの画像を撮影する例を主に説明する。しかし、後に説明するように、４枚以上の画像を撮影する場合にも本発明の実施形態に係る画像処理装置１は適用可能である。

まず、本発明の実施形態に係る画像処理装置１の機能構成について説明する。図３は、本発明の実施形態に係る画像処理装置１の機能構成を示す図である。図３に示すように、画像処理装置１は、センサ１０、短露光画像メモリ２１、中露光画像メモリ２２、長露光画像メモリ２３、使用画像選択部３０、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）４０、ＷＤＲ合成部５０および階調圧縮部６０を備える。以下、画像処理装置１が備える各機能ブロックの機能について順次詳細に説明する。

画像処理装置１は、センサ１０の露光設定を変えて３枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に中露光撮影を行い、その次に長露光撮影を行うものとする。短露光撮影された短露光画像は短露光画像メモリ２１に書き込まれる。画像処理装置１は、短露光撮影が終了したら露光設定を変え、中露光撮影を行う。中露光撮影された中露光画像は中露光画像メモリ２２に書き込まれる。画像処理装置１は、中露光撮影が終了したら露光設定を変え、長露光撮影を行う。長露光撮影された長露光画像は長露光画像メモリ２３に書き込まれる。

図１に示した例では、画像処理装置１は、長露光画像、中露光画像および短露光画像を出力するための共通の系統を１つ有し、センサ１０が長露光画像と中露光画像と短露光画像とを時分割で出力することとしたが、長露光画像と中露光画像と短露光画像とが同時に撮影されてもよい。かかる場合、画像処理装置１は、センサ１０から長露光画像を出力するための系統と中露光画像を出力するための系統と短露光画像を出力するための系統との３つの系統を有すればよい。それぞれのシャッタータイムは、例えば、撮影対象のダイナミックレンジやセンサ仕様などによって決まる。

なお、短露光画像、中露光画像および長露光画像それぞれの読み出し動作は、ハードウェア実装の場合にはシステムをどう組むかによって変わり得る。例えば、短露光画像、中露光画像および長露光画像それぞれは、一旦ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリに格納された後、合成時に再度読み出されるような構成でもよい。

ここで、本発明の実施形態においては、短露光画像、中露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された３つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる３つの画像が撮影された場合に、当該３つの画像のうち、露光時間が短い順に、短露光画像、中露光画像および長露光画像と名付けられる。

図２に示した「短露光画像」「中露光画像」「長露光画像」は、短露光画像、中露光画像および長露光画像それぞれの例を示している。「短露光画像」を参照すると、非常に高い輝度を持つ窓の外の風景が適正露出で撮影されている。しかし、それ以外の領域は露出アンダーとなり、ほとんど真っ暗で視認性が低くなってしまっている。

「中露光画像」を参照すると、棚の上の領域が適正露出で撮影され、携帯電話の存在を視認できるようになる。しかし、窓の外は過露出で白飛びし、棚の下はまだ露出アンダーで視認性が低い。「長露光画像」を参照すると、暗い棚の下の領域が適正露出で撮影され、カバンの存在を視認できるようになる。しかし、窓の外・棚の上は過露出となり視認性が低くなってしまう。

図１に戻って説明を続ける。センサ１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。

使用画像選択部３０は、短露光画像メモリ２１から読み出した短露光画像と、中露光画像メモリ２２から読み出した中露光画像と、長露光画像メモリ２３から読み出した長露光画像とを参照し、短露光画像、中露光画像および長露光画像それぞれの飽和状態や動きなどを検出して、短露光画像と中露光画像と長露光画像とのいずれかを使用画像として選択するための選択情報を生成する。短露光画像と中露光画像と長露光画像とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。

例えば、長露光画像において飽和してしまった領域は中露光画像においては飽和していない可能性が高いため、当該領域の使用画像としては中露光画像を選択すればよい。しかし、当該領域が中露光画像においても飽和している場合には当該領域の使用画像として短露光画像を選択してもよい。しかし、この処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、動きを検出して輪郭が二重になる現象を低減する処理を行ってもよい。かかる処理を含む、短露光画像と中露光画像と長露光画像とのいずれかを選択するアルゴリズムは特に限定されない。

なお、本明細書においては、長露光画像、中露光画像および短露光画像それぞれを識別するための識別値Ｄ０〜Ｄ２は、「０」を下限値とし所定の数値ＡにＮ−１（この例では、画像が３枚であるため、３−１＝２）を乗じた数値を上限値とする範囲で定義される。上記した選択情報は、長露光画像、中露光画像および短露光画像それぞれを識別するための識別値Ｄ０〜Ｄ２のいずれかを示す選択値が各画素に対応して定義される。所定の数値Ａは特に限定されないが、２のべき乗であれば、後に説明するように、識別値同士の距離による割り算が簡易なビットシフト演算で行われ得る。

長露光画像、中露光画像および短露光画像それぞれを識別するための識別値Ｄ０〜Ｄ２は、所定の数値Ａに対して「０」、「１」、「２」を乗じた結果が、露光量の昇順または降順に割り当てられた値であってよい。以下に示す例では、所定の数値Ａを「２５６」とし、「２５６」に対して「０」を乗じた結果としての「０」が、長露光画像を識別するための識別値Ｄ０として割り当てられた場合を説明する。

同様に、以下に示す例では、「２５６」に対して「１」を乗じた結果としての「２５６」が、中露光画像を識別するための識別値Ｄ１として割り当てられ、「２５６」に対して「２」を乗じた結果としての「５１２」が、短露光画像を識別するための識別値Ｄ２として割り当てられた場合を説明する。

図２に示した「選択情報」は、使用画像選択部３０によって生成された選択情報の一例を示している。この「選択情報」は、「長露光画像」において飽和していない領域の使用画像としては「長露光画像」を選択し、「長露光画像」において飽和してしまっており「中露光画像」において飽和していない領域の使用画像としては「中露光画像」を選択し、「中露光画像」において飽和してしまっている領域の使用画像としては「短露光画像」を選択するという手法を採用した場合に生成される。

この「選択情報」において、黒い領域は「長露光画像」を選択する旨を示しており、黒い領域の各選択値は「０」である。また、灰色の領域は「中露光画像」を選択する旨を示しており、灰色の領域の各選択値は「２５６」である。さらに、白い領域は「短露光画像」を選択する旨を示しており、白い領域の各選択値は「５１２」である。

図１に戻って説明を続ける。ＬＰＦ４０は、このように定義された選択情報に対して処理の処理を施す。以下では、所定の処理がローパスフィルタを施す処理である場合を例として説明を続けるが、所定の処理は特に限定されない。ローパスフィルタ処理は、選択情報から高周波成分を取り除く処理に相当する。かかる処理によって、選択情報を大きくぼかし、ＷＤＲ合成部５０において合成を行う際に、短露光画像、中露光画像および長露光画像それぞれの境界を滑らかに接続させることが可能となる。

ＬＰＦ４０からの出力信号のビット精度は、短露光画像、中露光画像および長露光画像それぞれの境界が滑らかに接続されるのに十分に確保されるとよい。選択情報のぼかし方には様々な手法が想定され、特に限定されないが、ぼかしの効果と演算量・回路規模などを考慮してぼかし方が決められるのが望ましい。図２に示した「選択情報＋ＬＰＦ」は、「選択情報」に対してローパスフィルタを施す処理がＬＰＦ４０によってなされた選択情報の例を示している。

図２に示した「選択情報＋ＬＰＦ」を参照すると、「選択情報」において異なる選択値を有する２つの領域の境界付近では、当該２つの領域それぞれの選択値の中間の値が選択値として出力されている。一方、「選択情報」において一定の選択値が連続している領域では、その領域の選択値がそのまま維持されている。

ＷＤＲ合成部５０は、ローパスフィルタ処理が施された選択情報に定義されている選択値に基づいて、短露光画像、中露光画像および長露光画像から２枚の画像を選択する選択処理と、２枚の画像それぞれの対応する画素を合成する合成処理とを、各画素について行う。

例えば、選択処理において、ＷＤＲ合成部５０は、ローパスフィルタ処理が施された選択情報に定義されている選択値に基づいて、短露光画像、中露光画像および長露光画像から２枚の画像を各画素について選択するとよい。より詳細には、ＷＤＲ合成部５０は、ローパスフィルタ処理が施された選択情報に定義されている選択値との差分がより小さい２つの識別値を、２枚の画像それぞれを識別するための識別値として特定すればよい。

また、例えば、合成処理において、ＷＤＲ合成部５０は、ローパスフィルタ処理が施された選択情報に定義されている選択値と選択した２枚の画像それぞれの識別値との差分値に応じて混合比率を決定し、混合比率に基づいて当該２枚の画像それぞれの対応する画素を合成するとよい。例えば、選択した２枚の画像それぞれの識別値同士の距離に対する選択値から各識別値への距離を各混合比率としてもよい。

例えば、ＷＤＲ合成部５０は、各画素について、選択値をＳｅｌとし、短露光画像の画素値をＰｓとし、中露光画像の画素値をＰｍとし、長露光画像の画素値をＰｌとし、合成後の画素値をＯｕｔとした場合、以下の式（１）または式（２）に基づいて、合成を行うことが可能である。

ＩＦ（２５６＜Ｓｅｌ≦５１２）
Ｏｕｔ＝Ｐｓ×（５１２−Ｓｅｌ）／（５１２−２５６）
＋Ｐｍ×（Ｓｅｌ−２５６）／（５１２−２５６）・・・式（１）

ＩＦ（０≦Ｓｅｌ≦２５６）
Ｏｕｔ＝Ｐｍ×（Ｓｅｌ−２５６）／（２５６−０）
＋Ｐｌ×Ｓｅｌ／（２５６−０） ・・・式（２）

例えば、選択値Ｓｅｌが「３００」の画素が存在したとする。この選択値Ｓｅｌ「３００」は、中露光画像を識別するための識別値「２５６」よりも大きく、短露光画像を識別するための識別値「５１２」以下である。かかる場合、式（１）の条件を満たし、その選択値Ｓｅｌとの差分がより小さい２つの識別値は「２５６」「５１２」となる。したがって、ＷＤＲ合成部５０は、この２つの識別値「２５６」「５１２」を、２枚の画像それぞれを識別するための識別値として特定すればよい。

また、かかる場合、選択した２枚の画像それぞれの識別値同士の距離は「５１２」−「２５６」＝「２５６」であり、選択値Ｓｅｌ「３００」から識別値「２５６」への距離は「３００」−「２５６」＝「４４」であり、選択値Ｓｅｌ「３００」から識別値「５１２」への距離は「５１２」−「３００」＝「２１２」である。したがって、ＷＤＲ合成部５０は、中露光画像の混合比率を「４４」／「２５６」、短露光画像の混合比率を「２１２」／「２５６」と算出し、これらの混合比率と各画素値とを用いて、式（１）に基づいて、合成後の画素値Ｏｕｔを算出することが可能である。

この例のように、短露光画像を使用画像とする領域と中露光画像を使用画像とする領域とが隣接する境界付近においては、ＬＰＦ４０によって「２５６」と「５１２」の中間の値が選択値として生成される。そのため、ＷＤＲ合成部５０は、短露光画像および中露光画像それぞれの画素値の混合比率が滑らかに変化するようにすることが可能である。その結果、異なる露光量の画像同士の境界付近が滑らかに接続されたＷＤＲ合成画像を得ることができる。

また、例えば、選択値Ｓｅｌが「２００」の画素が存在したとする。この選択値Ｓｅｌ「２００」は、長露光画像を識別するための識別値「０」以上であり、中露光画像を識別するための識別値「２５６」以下である。かかる場合、式（２）の条件を満たし、その選択値Ｓｅｌとの差分がより小さい２つの識別値は「０」「２５６」となる。したがって、ＷＤＲ合成部５０は、この２つの識別値「０」「２５６」を、２枚の画像それぞれを識別するための識別値として特定すればよい。

また、かかる場合、選択した２枚の画像それぞれの識別値同士の距離は「２５６」−「０」＝「２５６」であり、選択値Ｓｅｌ「２００」から識別値「０」への距離は「２００」−「０」＝「２００」であり、選択値Ｓｅｌ「２００」から識別値「２５６」への距離は「２５６」−「２００」＝「５６」である。したがって、ＷＤＲ合成部５０は、中露光画像の混合比率を「５６」／「２５６」、長露光画像の混合比率を「２００」／「２５６」と算出し、これらの混合比率と各画素値とを用いて、式（２）に基づいて、合成後の画素値Ｏｕｔを算出することが可能である。

この例のように、長露光画像を使用画像とする領域と中露光画像を使用画像とする領域とが隣接する境界付近においては、ＬＰＦ４０によって「０」と「２５６」の中間の値が選択値として生成される。そのため、ＷＤＲ合成部５０は、長露光画像および中露光画像それぞれの画素値の混合比率が滑らかに変化するようにすることが可能である。その結果、異なる露光量の画像同士の境界付近が滑らかに接続されたＷＤＲ合成画像を得ることができる。

なお、上記の例では、選択値Ｓｅｌが「２５６」の場合、上記の式（２）の条件を満たすこととなっているが、上記の式（２）の条件の代わりに上記の式（１）の条件を満たすように、それぞれの条件を変更してもよい。

階調圧縮部６０は、ダイナミックレンジの広い画像信号のビットレンジを所定のビットレンジに収めるための圧縮処理を、ＷＤＲ合成部５０により生成されたＷＤＲ画像に対して行う。階調圧縮部６０の後段は、例えば、ベイヤーデータからＲＧＢプレーンを生成するデモザイク部、輪郭強調部、カラーマネージメントなどを含む画像処理エンジンに接続される。そのため、階調圧縮部６０からの出力信号のデータ量は、例えば、画像処理エンジンへの入力データのサイズに適合するように（例えば、１２ｂｉｔ程度に）調整されるのが好ましい。単純にデータサイズを低下させるだけでは暗い画像に変換されてしまうため、人間の視覚特性に近づくように高輝度側が強く圧縮されるとよい。

図２に示した「合成画像」は、本発明の実施形態に係る画像処理装置１により出力される合成画像の例である。この例を参照すると、露光量が異なる画像同士が隣り合う境界付近においても、不連続な部分が目立たず、自然な合成画像が得られていることが把握される。

また、本発明の実施形態に係る画像処理装置１によれば、１つのパラメータとしての選択情報を参照すれば、露光量の異なる３枚以上の画像から合成対象となる２枚の画像を画素毎に選択することが可能であり、混合比率を画素毎に算出することが可能である。したがって、本発明の実施形態に係る画像処理装置１によれば、ハードウェアで構成する場合には、より小さい回路規模で画像処理装置１を実装することが可能であり、ソフトウェアで実装する場合には、演算負荷をより小さくすることが可能である。

以上においては、露光量の異なる３枚の画像を使用するＷＤＲ合成を主に説明したが、４枚以上の画像を使用するＷＤＲ合成にも同様の手法を用いて拡張することが可能である。例えば、４枚以上の画像を使用する場合、短露光画像および長露光画像それぞれを識別するための識別値として「７６８」「０」を割り当て、その中間の露光量の２枚の画像それぞれを識別するための識別値として「５１２」「２５６」を割り当てればよい。

ローパスフィルタを施す処理を行った選択情報を使って合成を行う場合においても、合成対象となる２枚の画像を選択する部分を変えるだけで、畳み込み演算は同様に行えばよい。このようにして、合成に使用する画像が、仮に５枚、６枚・・・と増えて行ったとしても、本発明の実施形態に係る手法を拡張して対応することが可能である。

図３は、本発明の実施形態に係る画像処理装置１の動作の流れの例を示す図である。図３を参照しながら、使用画像選択部３０およびＷＤＲ合成部５０それぞれに対して、短露光画像、中露光画像および長露光画像が出力される場合を一例として説明する。図３に示すように、まず、使用画像選択部３０は、短露光画像、中露光画像および長露光画像それぞれを識別するための識別値Ｄ１〜Ｄ３が、零を下限値とし所定の数値ＡにＮ−１（この例では、画像が３枚であるため、３−１＝２）を乗じた数値を上限値とする範囲で定義され、これらの識別値Ｄ１〜Ｄ３のいずれかを示す選択値が各画素に対応して定義される選択情報を生成する（ステップＳ１）。

続いて、ＬＰＦ４０は、選択情報に対して所定の処理の一例としてのローパスフィルタ処理を施す（ステップＳ２）。ＷＤＲ合成部５０は、ローパスフィルタ処理が施された選択情報に定義されている選択値に基づいて、短露光画像、中露光画像および長露光画像から２枚の画像を選択する選択処理と、２枚の画像それぞれの対応する画素を合成する合成処理とを、各画素について行う（ステップＳ３）。上記したように、合成画像は、階調圧縮部６０によって圧縮されるのが望ましい。

本発明の実施形態によれば、異なる露光量で撮影されたＮ（Ｎは３以上の自然数）枚の画像それぞれを識別するための識別値が、零を下限値とし所定の数値にＮ−１を乗じた数値を上限値とする範囲で定義され、前記Ｎ枚の画像それぞれを識別するための識別値のいずれかを示す選択値が各画素に対応して定義されている選択情報に対して、所定の処理を施す処理部と、前記所定の処理が施された選択情報に定義されている選択値に基づいて前記Ｎ枚の画像から２枚の画像を選択する選択処理と、前記２枚の画像それぞれの対応する画素を合成する合成処理とを、各画素について行う合成部と、を備える、画像処理装置が提供される。

かかる構成により、異なる露光量で撮影された複数の画像が隣接する境界付近においては、当該隣接する複数の画像それぞれの選択値の中間の値が選択値として生成される。そのため、混合比率を滑らかに変化させ、境界付近が滑らかに接続された合成画像を得ることができる。

また、１つのパラメータとしての選択情報を参照すれば、露光量の異なる３枚以上の画像から合成対象となる２枚の画像を画素毎に選択することが可能である。したがって、ハードウェアで構成する場合には、より小さい回路規模での実装を行うことが可能であり、ソフトウェアで実装する場合には、演算負荷をより小さくすることが可能である。

なお、本発明に係る実施形態においては、ある１つの画素について合成を行う際には必ず２枚の画像の画素値を使うのに対し、先行技術である特開２００９−１０５６６号公報に記載の技術では、３枚の画像を使って１つの画素についての合成結果を得る場合もあると思われる。この点で、本発明の実施形態に係る合成性能が落ちるのではないかという指摘もなされるかもしれない。

しかし、かかる先行技術においては、ＥＶを±１程度変えての撮影を想定しており、その場合には３枚の画像を合成する意味もあり得る。しかし、例えば、本発明の実施形態のように、数倍という露出の違いを持たせて撮影された画像を合成する場合には、露出の違いが大き過ぎて画像３枚分を合成に用いる意味が希薄である。それどころか、却って不要な情報を混ぜてしまうことにつながり得る。そのため、必ず２枚を選択して合成する本手法は合理的であり、先行技術に対して劣ってはいないと考えられる。

また、特開２００５−７２９６５号公報には、短時間露光と長時間露光を加算平均することによって短時間露光と長時間露光の２枚の画像を滑らかにつなぐ手法が開示されている。かかる手法においては、１つの合成パラメータを画素毎に定義し、画素毎に２つの画像の画素値を線形結合する。かかる手法によれば、２枚の画像を滑らかに接続することは可能であるが、３枚以上の画像を合成することはできない。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

本発明の実施形態に係る手法による処理対象の信号としては、Ｂａｙｅｒデータを用いる場合が最も好適であるが、当該処理対象の信号として用いられる信号は、Ｂａｙｅｒデータに限定されず、ＲＧＢデータでもよいし、ＹＵＶデータでもよい。

１ 画像処理装置
１０ センサ
２１ 短露光画像メモリ
２２ 中露光画像メモリ
２３ 長露光画像メモリ
３０ 使用画像選択部
４０ ＬＰＦ（処理部）
５０ ＷＤＲ合成部（合成部）
６０ 階調圧縮部
Ｄ０、Ｄ１、Ｄ２ 識別値
Ａ 所定の数値
Ｓｅｌ 選択値
Ｏｕｔ 合成後の画素値

Claims (6)

1. 異なる露光量で撮影されたＮ（Ｎは３以上の自然数）枚の画像それぞれを識別するための識別値が、零を下限値とし所定の数値にＮ−１を乗じた数値を上限値とする範囲で定義され、前記Ｎ枚の画像それぞれを識別するための識別値のいずれかを示す選択値が各画素に対応して定義されている選択情報に対して、所定の処理を施す処理部と、
   前記所定の処理が施された選択情報に定義されている選択値に基づいて前記Ｎ枚の画像から２枚の画像を選択する選択処理と、前記２枚の画像それぞれの対応する画素を合成する合成処理とを、各画素について行う合成部と、
   を備える、画像処理装置。
2. 前記Ｎ枚の画像それぞれを識別するための識別値は、前記所定の数値に対して零からＮ−１までの各整数を乗じた結果が、露光量の昇順または降順に割り当てられた値である、
   請求項１に記載の画像処理装置。
3. 前記所定の処理は、ローパスフィルタを施す処理である、
   請求項１に記載の画像処理装置。
4. 前記合成部は、前記所定の処理が施された選択情報に定義されている選択値との差分がより小さい２つの識別値を、前記２枚の画像それぞれを識別するための識別値として特定する、
   請求項１に記載の画像処理装置。
5. 前記合成部は、前記所定の処理が施された選択情報に定義されている選択値と前記２枚の画像それぞれの識別値との差分値に応じて混合比率を決定し、前記混合比率に基づいて前記２枚の画像それぞれの対応する画素を合成する、
   請求項１に記載の画像処理装置。
6. 異なる露光量で撮影されたＮ（Ｎは３以上の自然数）枚の画像それぞれを識別するための識別値が、零を下限値とし所定の数値にＮ−１を乗じた数値を上限値とする範囲で定義され、前記Ｎ枚の画像それぞれを識別するための識別値のいずれかを示す選択値が各画素に対応して定義されている選択情報に対して、所定の処理を施すステップと、
   前記所定の処理が施された選択情報に定義されている選択値に基づいて前記Ｎ枚の画像から２枚の画像を選択する選択処理と、前記２枚の画像それぞれの対応する画素を合成する合成処理とを、各画素について行うステップと、
   を含む、画像処理方法。