JP2017229058A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】露光量の異なる複数の画像からダイナミックレンジが広く、かつ、合成後でもコントラストの高い画像を得る画像処理装置およびその制御方法を提供する。【解決手段】複数の画像データのそれぞれに第１のガンマを適用し、適用後の複数の画像データを予め設定された関係に従って合成することで、第１のＨＤＲ画像データを生成する第１の合成部と、複数の画像データのうちの予め設定された１つの画像データが、明領域を含むか否かを判定する判定部と、明領域を含むと判定された場合には、当該明領域に基づき、予め設定された１つの画像データから、明領域、暗領域、及び、中間領域を判別するためのマップデータを生成する生成部と、複数の画像データのうちの１つに第１のガンマとは異なる第２のガンマを適用して得た画像データと、ＨＤＲ画像データとを、マップデータを参照して合成することで第２のＨＤＲ画像データを生成する第２の合成部とを有する。【選択図】図２

Description

本発明は、ビデオカメラ、デジタルカメラなどによる撮像画像のダイナミックレンジの拡張技術に関するものである。

露光の異なる複数の画像を合成してダイナミックレンジの広い映像を得るための画像合成処理が従来よりいくつか提案されている。

たとえば、撮影時の露光時間の異なる複数の画像に対して、露光時間の短い画像（短秒撮影画像）を、露光時間の長い画像（長秒撮影画像）の特性に合わせるためのゲイン調整を行う。その後画像合成することでダイナミックレンジの広い画像を得る手法が特許文献１で提案されている。

また、注目画素の周囲に局所的なフィルタを適用し、局所領域の分散値を露光時間の異なる画像間で比較し、分散値の高さに応じて画像合成時の合成比率を高くするという手法が特許文献２で提案されている。この方法では、画素毎に露光時間の異なる画像どうしで、どちらがより画素飽和を起こすことなく撮影ができているかを判断し、画素飽和の可能性の低い画素を合成に用いるよう工夫している。

特開２００２−１９０９８３号公報 米国特許出願公開第２００５／０４６７０８号公報

ここで、撮影しようとするシーンのダイナミックレンジが非常に大きく、かつ、明るさの分布が明るい方と暗い方に二分している場合を考える。たとえば、屋内と屋外の両方が含まれるシーンが、このケースであると考えるとわかりやすい。

このような場合のシーンのヒストグラム例を図１４に示す。図１４において、横軸はシーン（画像）内の輝度、縦軸は画素の頻度、実線はシーンの輝度分布、点線はガンマを示す。シーンの明るさの分布が二分している場合、画素の多くは画素値下限、および画素値上限付近に集まるようになり、中間調部分は画素が少なくなる傾向にある。このため、特許文献１に示されるように長秒撮影画像に合わせて短秒撮影画像のゲイン調整を行った場合、非常に大きなゲインがかかることになる。その結果、明るい方の画素の画素値は非常に大きな値となり、結果として合成画像の画素値も画素値上限付近と下限付近に集中する傾向となる。これをモニタ等へ出力する場合、図１４内の点線で示すようなガンマを合成画像に適用することになり、高輝度部分では非常にコントラストが低くなってしまう。

また、特許文献２に記載された方法の場合、暗い画素値ではセンサーのＳＮ比が低下するため、シーンの暗い部分では、短秒撮影画像における参照画素の局所領域の分散値が高く、長秒撮影画像における局所領域の分散値は低くなる。明るい部分でも短秒撮影画像の局所領域の分散値は高くなり、長秒撮影画像では画素飽和を発生させ、局所分散が低くなる。この結果、局所分散の高い画素のみを用いれば画素の多くが短秒撮影画像で構成された合成画像に、逆に局所分散の低い画素を用いれば、画素の多くが長秒撮影画像で構成された合成画像になってしまい、合成後にダイナミックレンジ向上効果を得にくいという課題があった。

本発明はかかる問題点に鑑みなされたものであり、露光量の異なる複数の画像からダイナミックレンジが広く、かつ、合成後でもコントラストの高い画像を得る技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
露光量の異なる複数の画像データからＨＤＲ（High Dynamic Range)画像データを生成する画像処理装置であって、
複数の画像データのそれぞれに第１のガンマを適用し、当該第１のガンマの適用後の複数の画像データを合成することで、第１のＨＤＲ画像データを生成する第１の合成手段と、
前記複数の画像データのうちの予め設定された１つの画像データが、予め設定された条件を満たす明領域を含む場合には、当該明領域に基づき、前記予め設定された１つの画像データから、明領域、暗領域、及び、中間領域を判別する判別手段と、
前記複数の画像データのうちの１つに、前記第１のガンマとは異なる第２のガンマを適用して、当該第２のガンマを適用して得た画像データと前記第１のＨＤＲ画像データとを、前記判別手段による判別の結果に応じて合成することで第２のＨＤＲ画像データを生成する第２の合成手段とを有する。

本発明によれば、露光量の異なる複数の画像からダイナミックレンジが広く、かつ、合成後でもコントラストの高い画像を得ることが可能になる。

第１実施形態における画像処理装置のブロック構成図。 第１実施形態における画像処理の全体処理を示すフローチャート。 第１実施形態における明領域判定処理を示すフローチャート。 第１実施形態に明領域画素決定処理の流れを示すフローチャート。 第１実施形態の明領域判定処理に用いる原画像、輝度平均画像、及び、そのヒストグラムを示す図。 第１実施形態の明領域概略マップとヒストグラムを示す図。 第１実施形態におけるゼロ区間計数の概略図。 第１実施形態における３値化を示す図。 第１実施形態における輝度画像データ、明領域マップ、合成マップを示す図。 第１実施形態における合成マップの生成するためのテーブルを示す図。 第１実施形態の第１のガンマ、第２のガンマの概略を示す図。 第１実施形態における合成マップの生成処理を示すフローチャート。 第１実施形態における合成マップと合成比率との関係を示す図。 ダイナミックレンジの広いシーンの輝度分布とガンマの傾向を示す図。 第２実施形態における明領域判定処理の流れを示すフローチャート。 通常の４枚の画像に適用するガンマ曲線を示す図。 ＨＤＲ画像の輝度分布の例を示す図。 第３の実施形態における画像合成処理の流れを示すフローチャート。 第３の実施形態における第２のガンマの合成処理を示すフローチャート。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態では画像処理装置として、デジタルカメラなどの撮像装置に適用した例を説明するが、あくまでも一例であって、本発明は以下の実施形態の記載に限定されるものではない。

［第１実施形態］
［概要］
第１実施形態の概要について説明する。第１実施形態では、露光の異なる４枚の画像を入力し、これらの画像に対して通常のガンマ（第１ガンマ）を適用し、その後で合成して、ＨＤＲ（High Dynamic Range）画像データ（以下、基本ＨＤＲ画像データ）を生成する。そして、本実施形態では、入力した４枚の画像内に、明部のコントラスト向上に利用できる画像の存在を判定する。そのような画像がない場合には、基本ＨＤＲ画像データを最終的なＨＤＲ画像データとして決定する。一方、明部のコントラストを向上させる画像が存在した場合には、その画像を利用して、通常とは異なるガンマ（第２のガンマ）を適用した上で、基本ＨＤＲ画像データと、第２ガンマを適用して得た画像データとを合成処理を行って、明部領域のコントラストを更に向上させたＨＤＲ画像データを生成し、出力する。以下、更に詳しく説明する。

［装置構成］
図１は、第１実施形態が適用する画像処理装置のブロック構成図である。撮像部１０１は、被写体からの光を検知するための装置で、例えば、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、iRカットフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤなどのセンサなどから構成される。Ａ／Ｄ変換部１０２は、被写体の光の検知量をデジタル値に変換するための装置である。信号処理部１０３は、上記デジタル値の信号処理し、デジタル画像を生成するための装置であり、例えば、デモザイキング処理、ホワイトバランス処理、ガンマ処理などを行う。本実施形態で説明する画像合成処理もこの信号処理部１０３により実行される。エンコーダ部１０５は、上記デジタル画像にデータ圧縮を行うための装置であり、例えばJpegに圧縮するなどの処理を行う。メディアインターフェース部１０６は、ＰＣその他メディア（例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ）につなぐためのインターフェースである。
ＣＰＵ１０７は、上述した各構成の処理の全てに関わる。ＲＯＭ１０８とＲＡＭ１０９は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０７に提供する。また、ＲＯＭ１０８には、後述する制御プログラムも格納されている。なお、ＲＡＭ１０９のアクセス速度がＲＯＭ１０８のそれよりも十分に速い場合、ＲＯＭ１０８に格納されたプログラムは、一旦ＲＡＭ１０９に読み込まれてから実行されても構わない。

操作部１１１は、ユーザからの指示を入力する装置であり、例えば、ボタンやモードダイヤルで構成される。キャラクタージェネレーション部１１２は、文字やグラフィックを生成するための装置である。Ｄ／Ａ変換部１０４は、上記デジタル画像をアナログ変換するための装置である。表示部１１３は、撮影画像を表示、あるいはGUI等の画像を表示する装置で、一般的にはCRTや液晶ディスプレイなどが用いられる。また、公知のタッチスクリーンであっても良い。その場合、タッチスクリーンによる入力については操作部１１１の入力として扱うことも可能である。

撮像系制御部１１０は、ＣＰＵ１０７で指示された撮像系の制御を行うための装置で、例えば、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの制御を行う。システム構成については、上記以外にも様々な構成要素が存在するが、実施形態の主眼ではないので、その説明は省略する。

本実施形態で示す画像合成処理は、撮像部１０１で撮影され、Ａ／Ｄ変換部１０２でＡ／Ｄ変換されるまでを画像入力部とし、画像入力部で得られた画像データを信号処理部１０３で画像処理し、その際にＣＰＵ１０７、ＲＯＭ１０８、ＲＡＭ１０９を利用する。その画像処理の詳細について、以下に示す。なお、以下の説明において、撮像部１０１で撮像された画像データは、Ｒ、Ｇ、Ｂの３成分の色空間の画像データであり、各色成分は８ビット（２５６階調）であるものとする。これは、具体例を示すことで技術内容をよりわかりやすくするためであって、あくまで一例であると理解されたい。

［全体処理の流れ］
第１実施形態の画像処理装置の信号処理部１０３における画像合成処理の流れを図２のフローチャートを用いて説明する。本処理は、操作部１１１によるＨＤＲ撮影モードが設定され、撮像処理を行った場合の処理である。ＨＤＲ撮影モードにおいて、ユーザが操作部１１１を操作して撮像指示（シャッターボタン）を操作したとき、ＣＰＵ１０７は、撮像系制御部１１０を制御し、シャッター速度を段階的に変えて、露光量の異なる４枚の画像Ｉ₁乃至Ｉ₄を撮像させる。露光量の関係は、Ｉ₁＞Ｉ₂＞Ｉ₃＞Ｉ₄であるものとする。ここで、画像Ｉ₁は、４枚中で、露光量が最大であるので、被写体の明部は「白とび」となる可能性が高いものの、被写体の暗部の階調整が維持されやすい画像と言える。一方、画像Ｉ₄は、被写体の暗部が「黒つぶれ」となる可能性が高いものの、被写体の明部の階調整が維持されやすい画像と言える。

ステップＳ２０１にて、信号処理部１０３は、撮像部１０１で撮像され、Ａ／Ｄ変換部１０２でＡ／Ｄ変換された、撮像した４枚の画像データＩ₁〜Ｉ₄を入力し、ＲＡＭ１０９に保存する。そして、ステップＳ２０２にて、信号処理部１０３は、入力した画像データＩ₁〜Ｉ₄に対して、第１ガンマを適用し、ガンマ適用後の画像データＩ₁〜Ｉ₄もＲＡＭ１０９に保存する。これは、後述するように、第１ガンマ適用前の画像を再利用可能とするためである。また、ここで適用する第１のガンマは、広いダイナミックレンジを確保しつつも、黒とびや白つぶれが出にくいガンマであることが望ましい。そのため、実施形態では、例えば図１１（ａ）に示されるようなｌｏｇガンマを適用する。

本実施形態のように、露光条件が異なる４枚の画像データＩ₁〜Ｉ₄をもとに、例えば１０ビットのＨＤＲ合成画像を出力する場合、図１１（ａ）に示されるようなｌｏｇガンマは、各露光条件によって図１６（ａ）〜（ｄ）のように、各露光画像のセンサから得られた入力画素値によって出力画素値が異なってくる。これらのガンマを適用した後の画像を合成することで、図１７に示されるような、撮影シーンの明るさに対して出力画素値を連続的に持つＨＤＲ合成画像ができる。なお、もちろんこれ以外のガンマでも構わない。

ステップＳ２０３にて、信号処理部１０３は、第１ガンマ適用後の画像データＩ₁〜Ｉ₄を用いて第１の画像合成処理を行い、ダイナミックレンジの広い１枚の画像データを生成し、生成した画像データをＲＡＭ１０９に保存する。以降、この合成処理で生成されたダイナミックレンジの広い画像データを基本ＨＤＲ画像データという。

なお、基本ＨＤＲ画像データの生成法そのものは公知の合成処理を利用するものとする。具体例を示すのであれば、次の通りである。なお、以下の説明における画像データは既に第１ガンマが適用済みとする。

ＨＤＲ画像の明るさを示す範囲を３等分（合成する画像の数から１減じた値）する。明るさの低い方から高い方に向かって各範囲をＲ１、Ｒ２，Ｒ３と定義する。

Ｒ１の範囲は、明るさが低い部分であるので、そのＲ１の範囲で特に階調性が維持される画像データＩ（Ｒ１）を生成するには、画像データＩ１、Ｉ２を用いる。式で示せば次のようになる。
Ｉ（Ｒ１）＝Ｇ（Ｉ₁，Ｉ₂）
ここで、Ｇ（ｘ、ｙ）は画像ｘと画像ｙとの合成処理を示す関数である。

範囲Ｒ１，Ｒ２で階調性が維持される画像Ｉ（Ｒ２）は次のようになる。
Ｉ（Ｒ２）＝Ｇ（Ｉ（Ｒ１），Ｉ₃）
同様に、全領域Ｒ１〜Ｒ３で階調性が維持される画像Ｉ（Ｒ３）は、次式のようになる。
Ｉ（Ｒ３）＝Ｇ（Ｉ（Ｒ２），Ｉ₄）
この画像データＩ（Ｒ３）が、先に説明した基本ＨＤＲ画像データということができる。

さて、本実施形態では、オリジナルの画像から、被写体の明部領域のコントラストを更に向上できるか否かを判定する。否の場合には基本ＨＤＲ画像データをＨＤＲの合成結果として出力する。一方、コントラストを更に向上できると判定した場合には、基本ＨＤＲ画像データから明部領域のコントラストを更に向上させた、新たなＨＤＲ画像データを生成し、それをＨＤＲの合成結果として出力する。かかる処理を行うのは、Ｓ２０４以降となる。

ステップＳ２０４にて、信号処理部１０３は、第１ガンマが非適用の画像データＩ₃を用いて、或る程度の明るさを持ち、比較的大きな面積の領域が含まれているのを判定する（詳細後述）。ここで判定する対象として画像データＩ₃を選んだ理由は、以下の通りである。

露光量の少ない画像データほど、被写体画像内のより明るい領域のコントラストを維持できる。かかる点は、露光量の一番少ない画像データＩ₄が良いように思える。しかし、本発明者は、コントラストを向上させる明領域は可能な限り広くしたいと考えた。そのためには、対象とする明瞭領域の下限は低くしたい。そのため、その中間領域の階調性をも維持可能な画像データＩ₃を判定の対象とした。なお、判定対象の画像データは、ユーザにより指定可能しても良いし、場合によっては画像データＩ₂を判定対象としても良い。

ステップＳ２０５にて、信号処理部１０３は、ステップＳ２０４の判定結果に基づき、明領域の更なるコントラストの向上が可能か否かを判定する。否の場合には、処理をステップＳ２０６に進め、信号処理部１０３は、基本ＨＤＲ画像データを、本実施形態における合成結果を示す合成画像データとしてエンコーダ部１０５へ出力する。エンコーダ部１０５でエンコードされた合成画像データは、メディアＩ／Ｆ１０６を通じてメディアに出力したり、ＲＡＭ１０９へ格納したりする。

一方、明領域のコントラストを更に向上できると判定した場合は、信号処理部１０３は、処理をステップＳ２０７に進める。

ステップＳ２０７にて、信号処理部１０３は、ステップＳ２０４で算出した明領域の大まかな位置を示す情報をもとに、入力画像中のどの画素位置が明領域であるかを示す明領域画素を決定し、決定した結果をＲＡＭ１０９に保存する。この明領域画素の決定の詳細については後述する。

ステップＳ２０８にて、信号処理部１０３は、ＲＡＭ１０９に保存された入力画像データＩ₁乃至Ｉ₄のうち最も露光量の少ない画像データＩ₄に対して、第１のガンマとは異なる第２のガンマを適用する。これによって第２のガンマを適用して得られた画像データを、以降、画像データＬと表記する。

第２のガンマは、たとえば図１（ｂ）に示すような、入力画像の画素値に対してＳ字カーブ、かつ最大（または最小）出力画素値が第１のガンマとは異なるガンマが考えられる。このカーブを適用することで、シーン内で或る明るさに対応する被写体がなく、且つ、第１のガンマを適用した場合に比べ、よりシーン内の被写体の或る明るさ部分に出力画素値が多くなるようガンマを持たせることで、結果的にＨＤＲ画像全体の階調性をよくすることができる。もちろん第２のガンマも、ここで挙げたＳ字カーブ以外のガンマ特性でも問題ない。ただし、明部に階調がより割り当てられるガンマであることが望ましい。これは、そして、信号処理部１０３は、第２のガンマ適用後の画像データＬをＲＡＭ１０９に保存する。

そして、ステップＳ２０９にて、信号処理部１０３は、基本ＨＤＲ画像データと、第２のガンマを適用して得られた画像データＬとの合成処理を行い、明領域のコントラストを向上させたＨＤＲ画像データを生成する。ここで、明領域のコントラストを向上後のＨＤＲ画像をＩ_HDRと表すなら、次式のようになる。
Ｉ_HDR＝Ｇ（Ｉ（Ｒ３），Ｌ）
そして、Ｓ２１０にて、信号処理部１０３は、生成したＨＤＲ画像データを、本実施形態における合成結果を示す合成画像データとしてエンコーダ部１０５へ出力する。エンコーダ部１０５でエンコードされた合成画像データは、メディアＩ／Ｆ１０６を通じてメディアに出力したり、ＲＡＭ１０９へ格納したりする。以上説明した処理により、本第１実施形態における画像合成処理が完了する。

［明領域判定処理の流れ］
次に、図２のステップＳ２０４の撮像した画像データＩ₃の明領域判定処理について説明する。

明領域判定処理は、入力画像中に明るく、かつ比較的大きな面積を持つ領域が存在するかどうかを大まかに調べる処理である。本第１実施形態では、明るく、且つ、比較的大きな面積を持つ領域を明領域と呼ぶ。以下、図３のフローチャートを用いて詳細に説明する。

ステップＳ３０１にて、信号処理部１０３は、撮像部１０１で撮像して得られた画像データＩ₃に対し輝度成分Ｙを求める色変換を行う。画像データがＲＧＢであれば、変換方法は一般的なＲＧＢから１成分の輝度Ｙへの変換式で構わない。この変換処理によって生成された輝度画像データはＲＡＭ１０９に保存される。なお、輝度Ｙも８ビットで表されるものとする。

ステップＳ３０２にて、信号処理部１０３は、ステップＳ３０１で生成された輝度画像データを予め設定されたサイズの複数の部分領域（画素ブロック）に分割し、各部分領域の平均輝度値Ｙ_AVを求める。

１つの部分領域内の座標（ｘ，ｙ）の輝度値をＹ（ｘ，ｙ）と表したとき、その部分領域の平均輝度値Ｙ_AVは、次式（１）で与えられる。
Ｙ_AV＝ΣＹ（ｘ、ｙ）／（ｐ×ｑ） …（１）
ここで、ｐは部分領域の水平方向の画素数、ｑは部分領域の垂直方向の画素数である。また、Σは、ｘを０、１、…、ｐ−１、ｙを０，１、…、ｑ−１と変更した場合の合算（積分）関数を示している。

第１実施形態における撮像部１０１が、水平方向２４００画素、垂直方向１４００画素の画像データを撮像し、１つの部分領域のサイズが１００×１００画素であるものとする。この場合、画像データは２４×１４個の部分領域（２４×１４画素で構成される縮小画像データとも言える）に分割され、各部分領域の平均輝度が算出されることになる。

このときの様子を図５の模式図を用いて説明する。図５（ａ）は対象となる画像データ（実施形態ではＩ₃）を示し、図５（ｂ）は各部分領域をその平均値で示した画像（以下、輝度平均画像という）を示している。

ステップＳ３０３にて、信号処理部１０３は、ステップＳ３０２によって得られた輝度平均画像に対するヒストグラムを取得する。得られたヒストグラムは例えば図５（ｃ）のようになる。水平軸は輝度値、垂直軸は度数（部分領域の個数）である。

ステップＳ３０４にて、信号処理部１０３は、ステップＳ３０２で得られた輝度平均画像から２値化閾値ＴＨを求め、その閾値を用いて２値化を行って２値化画像を得る。２値化の方法は、公知のアルゴリズムで行えばよい。典型的には、大津法などで２値化閾値ＴＨを求め、その閾値ＴＨを用いて２値化すればよい。図６（ａ）は、２値化画像を示している。ここで、実施形態では、２値化画像における閾値以上の輝度を持つ画素は“２５５”、閾値未満の輝度の画素は“０”とする。また、２値化閾値ＴＨは、図６（ｂ）に示す参照符号６０２で示すように、ヒストグラムを最も精度よく分離できる頻度部分に設定される。

ステップＳ３０５にて、信号処理部１０３は、ステップＳ３０４で求めた２値化閾値を基に、ヒストグラムにおけるゼロ区間を数える。具体的には、図７に示すように、２値化閾値６０２を開始点として、明度の高い方向に向かって頻度が“０”となっているビンの個数を計数する。そして、頻度が０となるビンの範囲をゼロ区間７０１と定義する。ゼロ区間７０１の捜索範囲は、２値化閾値６０２を開始点として、一定の範囲内にゼロ区間７０１がある程度の長さ（たとえばビン数が“５”）で存在するかどうかを調べる。ゼロ区間が見つかった場合は、着目画像データ中に明領域が見つかったという判定結果をＲＡＭ１０９へ格納し、見つからなかった場合は着目画像データに明領域なしという判定結果をＲＡＭ１０９へ格納する。

なお、ここで説明したゼロ区間の捜索範囲の決め方や、ゼロ区間の長さは一例であって、本実施形態を実現する上でほかの方法を用いて決定しても構わない。たとえば、ゼロ区間の長さは、部分領域の個数に依存して決定しても良いし、ユーザが適宜設定できるようにしても良い。また、ゼロ区間の捜索範囲も、２値化閾値６０２の中心から大小両方向に捜索しても良いし、片側だけを捜索しても構わない。

ステップＳ３０６にて、信号処理部１０３は、ステップＳ３０４で生成した２値化画像をもとに、画素値が“０”の領域において、画素値が“２５５”と接する部分を、画素値“２５５”や“０”とは別の画素値“１２８”に設定し、２値画像データの３値化を行う。図８は、２値画像データ６０１から３値画像データ８０１への変換例を示している。図示では、２値画像データにおける画素値“０”（図示の黒い部分）のうち、画素値“２５５”に接する画素値が“１２８”（図示の灰色）となっていることを示している。このように、２値化閾値以上の輝度を持つ領域の周囲に、新たに画素値“１２８”を持つ画素が存在するような画像を得る。つまり、画像データを構成する各部分領域を、明部領域、暗部領域、及び、その中間領域に分類する。なお、この３値画像データはＲＡＭ１０９に格納されることになる。

ステップＳ３０９に処理が進んだ場合、信号処理部１０３は、３値化画像データを、明領域概略マップデータとして出力する。なお、所定長さのゼロ区間７０１が見つからなかった場合には、３値化画像データは生成されず、本処理を終えることになる。

なお、実施形態では、図３の処理を画像データＩ₃に対して行うものとしたが、以下のようにしてもよい。

まず、撮像した画像Ｉ₁〜Ｉ₄の全てに図３の処理を行い、いずれにも、所定長さのゼロ区間がない場合には、明領域無しとして判定する。そして、所定長さのゼロ区間を持つ画像データが１つでも存在した場合、その中の最も露光量の少ない画像データから生成した３値化画像データを明領域概略マップデータとして出力する。

［明領域画素決定処理の流れ］
図２のステップＳ２０４の明領域判定処理で、明領域があるかどうかの判定、および、明領域概略マップデータの作成を行った。図２のステップＳ２０７の明領域画素決定処理では、入力画像中で明領域となる部分を画素単位で決定するための明領域マップデータを生成する。明領域マップデータとは、実際に第１のガンマを適用して得られた基本ＨＤＲ画像データと、第２のガンマを適用した画像とをどの程度の割合で合成するかを示す情報であり、たとえば８ビットの白黒画像として保持される。本実施形態では、画素値が“０”の暗部領域の場合は第１のガンマの適用で生成した基本ＨＤＲ画像データを用い、画素値が“２５５”の明部領域の場合には第２のガンマを適用した画像データを用い、画素値が“１２８”の中間領域場の合は基本ＨＤＲ画像データと、第２のガンマを適用して得た画像データとを合成した画素値を出力させる。なお、３つの画素値が判別できれば良いので、必ずしも３値化で０、１２８、２５５のいずれかにしなければならない、というわけではない。

明領域画素決定処理について、図４のフローチャートを用いて詳細に説明する。

ステップＳ４０１にて、信号処理部１０３は、ステップＳ２０１で作成した明領域概略マップデータを読み込む。

ステップＳ４０２では、ステップＳ４０１で読み込んだ明領域概略マップデータを、入力画像と同じサイズまで拡大させて、明領域マップデータを生成する。このとき、拡大にはニアレストネイバー方式を用いて、明領域マップデータ内の全画素は、先に規定した３つ以外の画素値を取らないようにする。

ステップＳ４０３では、ＲＡＭ１０９に格納していた入力画像（明領域概略マップデータの元になった画像データＩ₃とする）を読み込み、輝度画像データを生成する。入力画像のＲＧＢから輝度Ｙへの変換は、まず一般的な変換式を用いて行えば良い。そして、得られた輝度成分のみで構成される画像データに対して、ガウシアンフィルタなどの平滑化処理を行うことで、輝度画像データを生成する。

ステップＳ４０４では、明領域が入力画像のどの位置になるのかを画素単位で決定する。具体的には、ステップＳ４０２で生成した明領域マップデータに基づき、輝度画像データの各画素が明領域画素かどうかを判定する。詳細については後述する。

ステップＳ４０５では、ステップＳ４０４で生成した明領域画素をマップしたものを合成マップデータとして出力し、ＲＡＭ１０９へ格納する。以上説明した処理により、ステップＳ２０４の明領域画素決定処理が完了する。

［明領域画素判定処理］
ここでは、ステップＳ４０４の明領域画素判定処理について、図９および図１２のフローチャートを用いて詳細に説明する。

ステップＳ１２０１では、信号処理部１０３は、まず明領域画素判定を行う画素位置を初期化する。たとえば入力した画像データの左上隅の画素を判定開始位置としてセットする。同様に、信号処理部１０３は、明領域マップデータ９０２の左上隅の画素を参照開始位置としてセットする。なお、以下の説明では、判定対象画素、参照対象画素それぞれの位置は、ラスタースキャン順に更新されていくものとする。

ステップＳ１２０２では、入力画像内の判定対象画素位置に対応する明領域マップデータ９０２の値が“０”になっているかどうかを確認する。０になっていればステップＳ１２０８へ、それ以外の場合はステップＳ１２０３へ移行する。

ステップＳ１２０３では、入力画像内の判定対象画素位置に対応する明領域マップデータ９０２の値が“２５５”になっているかどうかを確認する。“２５５”になっていればステップＳ１２０７へ、そうでなければステップＳ１２０４へ移行する。

ステップＳ１２０４では、明領域画素の出力値を決定する。具体的には、図１０に示すように、輝度画像データを入力とした場合に、合成マップデータに出力する値を決定するテーブルを持ち、テーブルを参照して出力値を決定する。なお、このときに或る入力値以下は出力値を０、或る入力値以上は出力を２５５としてもよい。この部分は、合成マップデータでは境界と位置付けられる部分であるため、明領域とそうでない部分が混在している可能性が高く、入力画像の明るさによって厳密に判定する必要がある。このため、輝度画像データをもとに明領域画素の出力値の判定を行う。

ステップＳ１２０５では、全画素の明領域判定処理が完了したかどうかを判定する。完了していればステップＳ１２０９へ、していなければステップＳ１２０６へ移行する。

ステップＳ１２０６は、次の判定画素位置へ判定対象を移動させる。たとえば、位置画素右側を判定対象にする、または一行下の左端画素を判定対象にする等が挙げられる。

ステップＳ１２０７は、合成マップデータの画素値を“２５５”をセットする。この部分は、明領域マップデータで確実に明るい場所と判定された領域であるため、出力値を“２５５”とする。ステップＳ１２０８は、合成マップデータの画素値を“０”にセットする。この部分は、先ほどとは逆に明領域マップデータでは確実に暗い場所と判定された領域であるため、出力値を０とする。ステップＳ１２０９は、生成された合成マップデータ９０３を出力し、ＲＡＭ１０９へ格納する。

以上説明した処理により、ステップＳ４０４の明領域画素判定処理＆合成マップデータの出力処理が完了する。ここで、生成される合成マップデータ９０３における画素値は０乃至２５５の値を取り得る。

［画像合成処理］
ステップＳ２０３、Ｓ２０９の画像合成処理について説明する。

ステップＳ２０３で示した関数Ｇ（)は、基本的に式（２）のように、２枚の画像データの合成演算処理である。
Ｉ_out＝Ｇ（Ｉ_short，Ｉ_long）
＝I_Out(x,y)=A×Ｉ_Short (x,y)＋(1-A)×Ｉ_Long (x,y) …（２）
ここで、ｘとｙは画素位置を表す変数、Ａは合成マップデータの画素位置（ｘ、ｙ）の値から決まる合成比率である。Ｉ_Shortは露光量の少ない画像、Ｉ_longは露光量の多い画像を表している。ここで、合成比率Ａの生成方法について説明する。

ここで、合成比率Ａの導出には、画像Ｉ_Shortの輝度成分を用いる。画像Ｉ_Shortから各画素の輝度成分を求め、平滑化処理を行う。平滑化処理には、たとえば５×５のガウシアンフィルタを用いればよい。平滑化処理後の輝度成分に対して、図１３のように、輝度成分に対して、合成マップデータの出力値を参照する。その結果、各画素における合成比率Ａの値が決定する。図１３において、Ａの決定方法は、閾値ｔｈ２、ｔｈ３を設定し、輝度がｔｈ２より少なければ出力値は０、ｔｈ３より大きければ出力値は１とし、ｔｈ２とｔｈ３の間は線形補間した結果を用いている。

Ｓ２０３では、画像データＩ₁〜Ｉ₄について、式（２）を当てはめて演算を行うことになる。なお、各演算における閾値ｔｈ２、ｔｈ３は、合成する２つの画像の関係から予め決まった値となる。

次に、Ｓ２０９の合成処理を説明する。Ｓ２０９の合成処理は、式（２）における画像データＩ_shortが第２のガンマ適用後の画像データＬであり、画像データＩ_Longが基本ＨＤＲ画像となる。そして、合成マップデータＡとして図４のＳ４０５で生成した合成マップデータ９０３を用いることになる。図４のＳ４０５で求めた合成マップデータ９０３の画素値は０乃至２５５の値を取るので、合成比率は合成マップデータの画素値を２５５で除算した値を用いることになる。つまり、合成マップデータの座標（ｘ、ｙ）の値をＭとするなら、合成比率Ａは、Ａ＝Ｍ／２５５となる。

上記の式からわかるように、合成マップデータ９０３における“０”の領域は、図９の暗領域であり、その領域の階調度を強調、もしくは維持するために基本ＨＤＲ画像データを用いることを示している。逆に明領域では、第２のガンマを適用した画像データＬを用いることを示している。そして、中間部については、基本ＨＤＲ画像データと画像データＬとを、合成マップデータに基づき合成していく。この結果、明領域については、基本ＨＤＲ画像よりも更にコントラストを向上させることができる。

以上説明したように、本実施形態よれば、露光条件の異なる複数の画像からＨＤＲ画像データを生成する際に、複数の画像のうちの所定画像が予め設定された明度条件を満たすかどうかを判定し、満たさない場合には通常の第１のガンマを各画像に適用して通常ＨＤＲ画像を生成する。そして、複数の画像のうちの所定画像が予め設定された明度条件を満たした場合には、当該画像と通常ＨＤＲ画像とから、明度領域のコントラストを更に向上させたＨＤＲ画像を生成することが可能となる。

［第２の実施形態］
［概要］
第２実施形態の概要について説明する。第２実施形態では、露光の異なる２枚の画像を入力し、その中のいずれか１枚の入力画像をもとに、明部のコントラスト向上の可否の判断を行う。そして、視認性向上ができると判断された場合には、露光の異なる合成を行う場合に選択した画像に対して、通常の画像合成処理とともに、通常とは異なる画像処理を行ったうえでさらに画像合成を行う。コントラスト向上ができると判断されなかった場合には通常の画像合成処理のみを行う。なお本第２の実施形態は、第１実施形態との差分のみを記載する。

第１実施形態と異なる部分は、ステップＳ２０４における撮影画像の明領域判定処理、特にステップＳ３０９の明領域概略マップデータの出力方法が異なる。

本第２の実施形態の、明領域概略マップデータを出力するにあたり、露光量の少ない方のみを行えばよい。これは、合成枚数が２枚の場合、必然的に撮像可能なシーンの輝度レンジが狭く、露光量の大きい方の撮影画像に図１４のようなガンマをかけても、コントラストの低下が起こりにくいためである。このため、ステップＳ３０９のマップデータの出力処理は、露光量の少ない撮影画像をもとにして得られた２値化画像を出力する。図１５は、本第２の実施形態における明領域概略マップデータの出力処理のフローチャートである。図３との違いは、上記の如く、合成に用いる画像が２枚であるので、１パスで処理が完了する点である。

［第３の実施形態］
第３の実施形態について説明する。第３実施形態では、露光の異なる４枚の画像を１セットとし、時系列に並ぶ複数セット、つまり、動画像を処理する例を説明する。そして、第３の実施形態では、着目している１セット分の画像を入力し、その中で所定条件を満たす画像を特定し、その画像に基づき明部のコントラスト向上ができるかどうかの判断を行う。そして、視認性向上ができると判断された場合には、露光の異なる合成を行う場合に選択した画像に対して、通常のガンマ変換とともに、通常とは異なるガンマ変換条件でガンマ変換を行った上、さらに前フレームで視認性向上のための画像合成をどの程度行ったかをもとに、現フレームの画像合成を行う。以下、更に詳しく説明する。なお本第３の実施形態は、第１実施形態との差分のみを記載する。

第３実施形態では、ＲＡＭ１０９で保持する情報が第１の実施形態で説明した画像入力部で得られた画像データに加えて、前フレームでのＨＤＲ合成画像を出力した際に、第２のガンマ画像をどの程度を第１のガンマに合成したかを表す合成比率Ｉｐ、および現フレームでの第２のガンマ画像をどの程度合成するかを示す合成比率Ｉｎとを保持する。以下、これらのデータをどのように利用するかを説明する。

図１８は、第３実施形態の画像処理装置の信号処理部１０３における画像合成処理の流れを示したものである。ステップＳ１８０１〜ステップＳ１８０３は図２のステップＳ２０１〜Ｓ２０３、ステップＳ１８０７〜Ｓ１８０８はステップＳ２０７〜Ｓ２０８と同じである。ステップＳ１８０４と、ステップＳ１８０９が第１実施形態と異なる部分である。

ステップＳ１８０４にて、信号処理部１０３は、明領域のコントラスト向上可否の判断を行い、後述する変数ＪＬに代入すべき数値を決定する。明領域コントラスト向上が可能だと判断された場合には、信号処理部１０３は変数ＪＬに２５５を、不可だと判断された場合、変数ＪＬに０を代入する。

ステップＳ１８０９にて、信号処理部１０３は、ステップＳ１８０２およびステップＳ１８０８で作成したガンマ適用後画像を用いて画像合成を行い、ダイナミックレンジの広い画像を生成する。詳細については後述するが、ステップＳ１８０４の結果に基づき、第１および第２のガンマが適用後の画像、およびＲＡＭ１０９に保持されている前フレームでのＨＤＲ合成画像における第２のガンマ画像の合成比率Ｉｐを用いて画像合成を行う。

図１９は、第３実施形態の画像処理装置でのステップＳ１８０６における第２のガンマ画像の合成処理の流れを示すフローチャートである。

ステップＳ１９０１にて、信号処理部１０３は、ＲＡＭ１０９に保持された、前フレームでの第２のガンマ画像の合成比率Ｉｐを取得する。なお、Ｉｐは例えば０から２５５の整数で表される。

ステップＳ１９０２にて、信号処理部１０３は、現フレームでの第２のガンマ画像の合成比率Ｉｎを例えば次式（５）のように計算する。
In = Ip + Kp*(JL - Ip) + Ki*(JL - Ip) …（５）
求めたＩｎは、ＲＡＭ１０９に保持される。ここで、ＪＬは現フレームにおけるステップＳ２０３で求められた明領域があるかどうかの判定結果を用いる。明領域がある場合には先のステップＳ１８０４で求めた２５５を、明領域がない場合には０を代入する。また、Kp、Kiは制御パラメータで、例えばKp = 0.5, Ki = 0.3 とすればよい。

ステップＳ１９０３にて、信号処理部１０３は、ステップＳ１９０２で求めたＩｎに基づいて、次式（６）のように、第二のガンマ画像を第１のガンマ画像に合成する。そして、Ｉｎを次フレームでのＩｐとして合成に利用する。
Ｉ_Out3(x,y)＝In×A/255×Ｉ_Local(x,y)＋（255-In）×((255-A)/255)×I_Out1(x,y) …（６）
ここで、ＡはステップＳ２０４で生成した合成マップである。

このようにＩｎ加えて第２のガンマを合成した場合、Ａの値がフレーム毎に大きく変動した場合や、ステップＳ２０３での結果がフレーム毎に変化した場合においても、合成画像Ｉout3は第２のガンマ画像の合成度合が大きく変動することがなくなる。このため、合成画像を動画として見た場合において、変化の少ない画像が得られる。

以上説明したように、第３の実施形態においては、第２のガンマを合成するかどうかがフレーム毎に変化したとしても、出力画像で大きな画像変化を発生させることなく、見やすい画像を提供することができる。

［その他の場合］
第１実施形態および第２実施形態では、ガンマ変換を２種類持つことでコントラスト向上効果を得たが、本発明はこれに限定されるものではなく、ガンマ変換のほか、折れ線ガンマ等、他のトーンカーブを用いても構わない。この時もコントラスト向上のためのトーンカーブには、コントラストを向上させるべき明領域または暗領域に階調を多く持つトーンカーブであることが望ましい。

また、合成処理に利用する画像データの個数は、第１の実施形態では４枚、第２の実施形態では２枚としているが、Ｎ枚（ただしＮ≧２）の画像に一般化できることは言うまでもない。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１…撮像部、１０２…Ａ／Ｄ変換部、１０３…信号処理部、１０７…ＣＰＵ、１０８…ＲＯＭ、１０９…ＲＡＭ

Claims (11)

1. 露光量の異なる複数の画像データからＨＤＲ（High Dynamic Range）画像データを生成する画像処理装置であって、
   複数の画像データのそれぞれに第１のガンマを適用し、当該第１のガンマの適用後の複数の画像データを合成することで、第１のＨＤＲ画像データを生成する第１の合成手段と、
   前記複数の画像データのうちの予め設定された１つの画像データが、予め設定された条件を満たす明領域を含む場合には、当該明領域に基づき、前記予め設定された１つの画像データから、明領域、暗領域、及び、中間領域を判別する判別手段と、
   前記複数の画像データのうちの１つに、前記第１のガンマとは異なる第２のガンマを適用して、当該第２のガンマを適用して得た画像データと前記第１のＨＤＲ画像データとを、前記判別手段による判別の結果に応じて合成することで第２のＨＤＲ画像データを生成する第２の合成手段と
   を有することを特徴とする画像処理装置。
2. 前記判別手段は、前記露光量の異なる複数の画像データのうち、露光量が最大、最小の画像データを除く１つの画像データを用いることを特徴とする請求項１に記載の画像処理装置。
3. 前記判別手段により、前記複数の画像データのうちの予め設定された１つの画像データが前記予め設定された条件を満たす明領域が有ると判定された場合には、前記第２のＨＤＲ画像データを出力し、無いと判定された場合には前記第１のＨＤＲ画像データを出力することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記判別手段は、
   前記予め設定された１つの画像データを、輝度成分のみで構成される輝度画像データに変換する手段と、
   前記輝度画像データを、それぞれが所定の画素数で構成される、複数の画素ブロックに分割し、画素ブロックそれぞれの平均輝度値を算出し、当該平均輝度値を成分とする縮小画像データを生成し、当該縮小画像データの輝度値のヒストグラムを求める手段と、
   前記ヒストグラムから、所定のアルゴリズムに従って明部、暗部に分けるための閾値を算出する手段と、
   前記ヒストグラムにおける前記閾値が示すビンを含み、連続する所定の数のビンの度数が０であるか否かを判定する手段とを含み、
   前記判別手段は、前記度数が０の連続する所定の数のビンが存在した場合、前記複数の画像データのうちの予め設定された１つの画像データが、予め設定された条件を満たす明領域があると判定する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記判別手段は、前記予め設定された１つの画像データから、明領域、暗領域、及び、中間領域を判別するためのマップデータを生成する生成手段を含み、
   前記生成手段は、
   前記明部、前記閾値に基づき、前記縮小画像データを明部、暗部を判別する２値画像データを生成する手段と、
   生成した２値画像データにおける前記暗部の領域に属する画素の、前記明部の領域に接する画素を中間部に変更し、明部、暗部、中間部を判別する３値画像データを生成する３値画像生成手段と、
   生成した３値画像データを、オリジナルの画像のサイズまで拡大する手段とを有し、
   前記生成手段は、前記拡大によって得られた３値画像データから、前記マップデータを生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記第１のガンマは、ｌｏｇガンマであり、
   前記第２のガンマは、明部の階調性を強調するガンマである
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 露光量の異なる複数の画像データからＨＤＲ（High Dynamic Range）画像データを生成する画像処理装置の制御方法であって、
   第１の合成手段が、複数の画像データのそれぞれに第１のガンマを適用し、当該第１のガンマの適用後の複数の画像データを合成することで、第１のＨＤＲ画像データを生成する第１の合成工程と、
   判別手段が、前記複数の画像データのうちの予め設定された１つの画像データが、予め設定された条件を満たす明領域を含む場合には、当該明領域に基づき、前記予め設定された１つの画像データから、明領域、暗領域、及び、中間領域を判別する判別工程と、
   第２の合成手段が、前記複数の画像データのうちの１つに、前記第１のガンマとは異なる第２のガンマを適用して、当該第２のガンマを適用して得た画像データと前記第１のＨＤＲ画像データとを、前記判別工程による判別の結果に応じて合成することで第２のＨＤＲ画像データを生成する第２の合成工程と
   を有することを特徴とする画像処理装置の制御方法。
8. 露光量の異なる複数の画像データからＨＤＲ（High Dynamic Range）画像データを生成する画像処理装置であって、
   複数の画像データのそれぞれに第１のガンマを適用し、当該第１のガンマの適用後の複数の画像データを合成することで、第１のＨＤＲ画像データを生成する第１の合成手段と、
   前記複数の画像データのうちの予め設定された１つの画像データが、予め設定された条件を満たす明領域を含むか否かを判定する判定手段と、
   該判定手段による判定で前記条件を満たす明領域が含むと判定された場合には、当該明領域に基づき、前記予め設定された１つの画像データから、明領域、暗領域、及び、中間領域を判別するためのマップデータを生成する生成手段と、
   前記判定手段による判定結果と、前フレームへの前記判定手段による判定結果から、前記マップデータの補正量を算出する補正量算出手段と、
   前記複数の画像データのうちの１つに、前記第１のガンマとは異なる第２のガンマを適用して、当該第２のガンマを適用して得た画像データと前記第１のＨＤＲ画像データとを、前記補正量算出手段により算出された補正量で補正したマップデータを参照して合成することで第２のＨＤＲ画像データを生成する第２の合成手段と
   を有することを特徴とする画像処理装置。
9. 露光量の異なる複数の画像データからＨＤＲ（High Dynamic Range）画像データを生成する画像処理装置の制御方法であって、
   第１の合成手段が、複数の画像データのそれぞれに第１のガンマを適用し、当該第１のガンマの適用後の複数の画像データを合成することで、第１のＨＤＲ画像データを生成する第１の合成工程と、
   判定手段が、前記複数の画像データのうちの予め設定された１つの画像データが、予め設定された条件を満たす明領域を含むか否かを判定する判定工程と、
   生成手段が、前記判定工程による判定で前記条件を満たす明領域が含むと判定された場合には、当該明領域に基づき、前記予め設定された１つの画像データから、明領域、暗領域、及び、中間領域を判別するためのマップデータを生成する生成工程と、
   算出手段が、前記判定工程による判定結果と、前フレームの前記判定工程による判定結果から、前記マップデータの補正量を算出する算出工程と、
   第２の合成手段が、前記複数の画像データのうちの１つに、前記第１のガンマとは異なる第２のガンマを適用して、当該第２のガンマを適用して得た画像データと前記第１のＨＤＲ画像データとを、前記算出工程により算出された補正量で補正したマップデータを参照して合成することで第２のＨＤＲ画像データを生成する第２の合成工程と
   を有することを特徴とする画像処理装置の制御方法。
10. コンピュータが読み込み実行することで、前記コンピュータに、請求項７又は９に記載の方法の各工程を実行させるためのプログラム。
11. 請求項１０に記載のプログラムを格納したコンピュータが読み込み可能な記憶媒体。