JP2012165259A - 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置 - Google Patents

Abstract

【課題】ハードウェア規模の大幅な増大を招くことなく、ダイナミックレンジが改善されていて且つ劣化が少ないより自然な画像を得ること。
【解決手段】画像処理部３００は、同一被写体を撮影して得られた異なる露光量の複数の入力画像中から基準画像を設定し、この基準画像から階調変換特性を導出する階調変換特性導出部３１０と、基準画像以外の非基準画像の露光量と基準画像の露光量とに基づいて基準画像の明るさを補正した補正画像を生成する正規化部４１０と、補正画像と非基準画像との間の位置ずれ量を算出して位置ずれ量に基づいて非基準画像を基準画像に位置合せした位置合せ画像を生成する位置合せ処理部４２０と、階調変換特性に基づいて複数の入力画像の中から選択された一または複数の画像中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像を生成する画像合成処理部３２０とを備える。
【選択図】図３

Description

本発明は、同一被写体を撮影し、得られた複数フレーム分の異なる露光量の画像データを合成して階調が改善された画像を得る技術に関する。

屋外晴天下での逆光撮影条件等においては、撮影シーン内の被写体輝度のレンジ（以下では単に「輝度レンジ」と称する）が広くなる。輝度レンジの広い被写体をデジタルカメラで撮影したときに、撮像系および画像信号処理系で記録可能なダイナミックレンジ内に収まらない場合がある。その場合、画像内の暗部においては、像が黒くつぶれてしまう、いわゆる黒つぶれを生じる。また、画像内の明部においては、像が白く飛んでしまう、いわゆる白飛びを生じる。

このような現象を解決するための技術として、High Dynamic Range Imaging技術（以下、ＨＤＲ技術と称する）がある。ＨＤＲ技術においては、同じ撮影シーンが、シャッタ速度を変えながら複数回にわたって撮影され、互いに異なる露光量で複数の画像データが取得される。そして、画像内の黒つぶれが生じる可能性のある領域に対しては、多めの露光量で得られた画像データの画素値が用いられ、白飛びが生じる可能性のある領域に対しては少なめの露光量で得られた画像データの画素値が用いられて合成処理が行われる。その結果、画像内の暗部から明部に至るまでの階調が再現された画像を得ることができる。

特許文献１には、電荷蓄積時間の異なる２枚以上の画像を得て、各画像の信号レベルに応じて重み付けして加算し、得られた高ダイナミックレンジ信号のレベルを基準レベルに圧縮する技術が開示される。

特許文献１に開示されるものでは、複数の信号を合成する際にビット幅（ビット深度）を拡げる必要がある。これが原因となり、必要とするハードウェアの規模が増大してしまう。この問題を解決するため、特許文献２には、画像信号の高レベル部を非線形に圧縮する処理を行った後に複数の画像を所定の重み付けで合成し、画像信号のビット幅（ビット数）の拡大を抑制する技術が開示される。

特開平６−１４１２２９号公報 特開２００４−２６６３４７号公報

特許文献１に開示されるものでは、上述した理由によりハードウェアの規模が増大してしまう。また特許文献２に開示されるものでは、露光量の異なる複数の画像を合成する際、予め決められている関数を用いて求まる加重加算比で合成が行われるため、撮影シーンによっては好ましい階調特性を得ることができない場合がある。また、経時的に取得した複数の画像間には位置ずれが生じるため、位置ずれを補正して合成しないと、合成画像が劣化してしまうことが一般的に知られている。

本発明は、上記の課題に鑑みてなされたものであり、ハードウェア規模の大幅な増大を招くことなく、ダイナミックレンジが改善されていて且つ劣化が少ないより自然な画像を得ることが可能な技術を提供することを課題とする。

本発明のある態様に係る画像処理装置は、同一被写体を撮影して得られた異なる露光量の複数の入力画像中から基準画像を設定し、当該の基準画像から階調変換特性を導出する階調変換特性導出部と、前記基準画像以外の非基準画像の露光量と前記基準画像の露光量とに基づいて前記基準画像の明るさを補正した補正画像を生成する正規化部と、前記補正画像と前記非基準画像との間の位置ずれ量を算出し、前記位置ずれ量に基づいて前記非基準画像を前記基準画像に位置合せした位置合せ画像を生成する位置合せ処理部と、前記階調変換特性に基づいて前記基準画像と前記位置合せ画像の中から選択された一または複数の画像中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像を生成する画像合成処理部とを備える。

本発明の別の態様に係る画像処理方法は、同一被写体を撮影して得られた異なる露光量の複数の入力画像の中から基準画像を設定することと、前記基準画像から階調変換特性を導出することと、前記基準画像以外の非基準画像の露光量と前記基準画像の露光量とに基づいて前記基準画像の明るさを補正した補正画像を生成することと、前記補正画像と前記非基準画像との間の位置ずれ量を算出し、前記位置ずれ量に基づいて前記非基準画像を前記基準画像に位置合せした位置合せ画像を生成する位置合せ処理部ことと、前記階調変換特性に基づいて前記基準画像と前記位置合せ画像から選択された一または複数の画像中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像を生成することとを備える。

本発明のさらに別の態様に係る画像処理プログラムは、同一被写体を撮影して得られた異なる露光量の複数の入力画像を合成して階調の改善された合成画像を生成する処理をコンピュータに実行させるための画像処理プログラムであって、前記複数の入力画像の中から基準画像を設定する基準画像設定ステップと、前記基準画像から階調変換特性を導出する階調変換特性導出ステップと、前記基準画像以外の非基準画像の露光量と前記基準画像の露光量とに基づいて前記基準画像の明るさを補正した補正画像を生成する正規化ステップと、前記補正画像と前記非基準画像との間の位置ずれ量を算出し、前記位置ずれ量に基づいて前記非基準画像を前記基準画像に位置合せした位置合せ画像を生成する位置合せ処理ステップと、前記階調変換特性に基づいて前記基準画像と前記位置合せ画像から選択された一または複数の画像中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像を生成する画像合成ステップとを備える。

本発明のさらに別の態様に係る撮影装置は、撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像部を備える撮影装置であって、前記撮像部において、同一被写体を撮影し、異なる露光量の複数の入力画像を得る撮像制御部と、前記複数の入力画像の中から基準画像を設定し、当該の基準画像から階調変換特性を導出する階調変換特性導出部と、前記基準画像以外の非基準画像の露光量と前記基準画像の露光量とに基づいて前記基準画像の明るさを補正した補正画像を生成する正規化部と、前記補正画像と前記非基準画像との間の位置ずれ量を算出し、前記位置ずれ量に基づいて前記非基準画像を前記基準画像に位置合せした位置合せ画像を生成する位置合せ処理部と、前記階調変換特性に基づいて前記基準画像と前記位置合せ画像の中から選択された一または複数の画像中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像を生成する画像合成処理部とを備える。

本発明によれば、ハードウェア規模の大幅な増大を招くことなく、同一被写体を撮影して得られた異なる露光量の複数の画像を位置ずれを防止しながら合成し、ダイナミックレンジが改善されてより自然に見える高品位な合成画像を得ることができる。

デジタルカメラの概略的構成を説明するブロック図である。 コンピュータの概略的内部構成を説明するブロック図であり、画像処理プログラムをコンピュータが実行することにより画像処理部が実現される例を説明する図である。 画像処理部の概略的構成を説明するブロック図である。 画像処理部で導出される階調変換特性と、この階調変換特性に基づいて基準画像データから階調変換特性情報が導出される様子を概念的に示す図である。 基準画像データを解析して階調変換特性を導出する手順の一例を概念的に示す図であり、（ａ）は基準画像データの画素値のヒストグラムを、（ｂ）は基準画像データの画素値の累積頻度曲線を、（ｃ）は基準画像データの画素値の累積頻度曲線に基づいて導出される階調変換特性曲線の例を、それぞれ示す図である。 第１の実施の形態に係る画像処理部内に設けられる画像合成処理部の内部構成を概略的に示すブロック図である。 第１の実施の形態に係る画像処理部内に設けられる画像合成処理部で行われる画像選択／混合の処理内容を概念的に示す図である。 第１の実施の形態に係る画像処理部で実行される画像合成処理手順を説明するフローチャートである。 第１の実施の形態に係る画像処理部で実行される画像合成処理手順の一部の詳細を説明するフローチャートである。 第２の実施の形態に係る画像処理部の概略的構成を説明するブロック図である。 第２の実施の形態に係る画像処理部で実行される画像合成処理手順のうち第一回目の処理を説明するフローチャートである。 第２の実施の形態に係る画像処理部で実行される画像合成処理手順のうち第２回目から第（ｎ−２）回目の処理を説明するフローチャートである。 第２の実施の形態に係る画像処理部で実行される画像合成処理手順のうち第（ｎ−１）回目の処理を説明するフローチャートである。 第３の実施の形態に係る画像処理部の概略的構成を説明するブロック図である。 第３の実施の形態に係る相違度の関数を例示する図である。 第３の実施の形態に係る画像処理部で実行される画像合成処理手順を説明するフローチャートである。 第３の実施の形態に係る画像処理部で実行される画像合成処理手順の一部の詳細を説明するフローチャートである。 第４の実施の形態に係る画像処理部の概略的構成を説明するブロック図である。 第４の実施の形態に係る画像処理部で実行される画像合成処理手順のうち第一回目の処理を説明するフローチャートである。 第４の実施の形態に係る画像処理部で実行される画像合成処理手順のうち第２回目から第（ｎ−２）回目の処理を説明するフローチャートである。 第４の実施の形態に係る画像処理部で実行される画像合成処理手順のうち第（ｎ−１）回目の処理を説明するフローチャートである。

図１は、デジタルカメラ１００の概略的構成を説明するブロック図である。デジタルカメラ１００は、スチルカメラであってもムービーカメラであってもよい。あるいは、携帯電話等に組み込まれるカメラであってもよい。デジタルカメラ１００がスチルカメラまたはムービーカメラであるとき、撮影レンズが固定式のものであっても、交換可能に構成されていてもよい。

デジタルカメラ１００は、撮影光学系１１０と、レンズ駆動部１１２と、撮像部１２０と、アナログ・フロントエンド（図１中では「ＡＦＥ」と表記される）１２２と、画像記録媒体１３０と、操作部１４０と、表示部１５０と、記憶部１６０と、ＣＰＵ１７０と、ＤＳＰ（ディジタル・シグナル・プロセッサ）１９０と、システムバス１８０とを備える。記憶部１６０は、ＲＯＭ１６２とＲＡＭ１６４とを備える。ＤＳＰ１９０には、画像処理部３００が実装される。

レンズ駆動部１１２、撮像部１２０、アナログ・フロントエンド１２２、画像記録媒体１３０、操作部１４０、表示部１５０、記憶部１６０、ＣＰＵ１７０、ＤＳＰ１９０は、システムバス１８０を介して電気的に接続される。ＲＡＭ１６４は、ＣＰＵ１７０およびＤＳＰ１９０の双方からアクセス可能に構成される。

撮影光学系１１０は、被写体像を撮像部１２０の受光エリア上に形成する。レンズ駆動部１１２は、撮影光学系１１０の焦点調節動作を行う。また、撮影光学系１１０が可変焦点距離光学系である場合には、撮影光学系１１０がレンズ駆動部１１２によって駆動されて焦点距離を変更することが可能に構成されていてもよい。

撮像部１２０は、シャッタと撮像素子とを含んで構成され、撮影光学系１１０を透過した被写体光は、シャッタが開いている間、撮像素子に入射する。撮像素子の受光エリア上に形成される被写体像が光電変換され、アナログ画像信号が生成される。なお、撮像素子が電気的に露光時間（光電変換時間）の制御を行うことが可能な、電子シャッタの機能を有する場合、シャッタは必ずしも備えられていなくてもよい。アナログ画像信号はアナログ・フロントエンド１２２に入力される。アナログ・フロントエンド１２２は、撮像部１２０から入力した画像信号にノイズ低減、増幅、Ａ／Ｄ変換等の処理をしてデジタル画像信号を生成する。このデジタル画像信号は、ＲＡＭ１６４に一時的に記憶される。

ＤＳＰ１９０は、ＲＡＭ１６４に一時的に記憶されたデジタル画像信号に対してデモザイク、階調変換、色バランス補正、シェーディング補正、ノイズ低減等のさまざまなデジタル信号処理を施し、必要に応じて画像記録媒体１３０に記録したり、表示部１５０に出力したりする。

画像記録媒体１３０は、フラッシュメモリや磁気記録装置等で構成され、デジタルカメラ１００に対して着脱可能に装着される。あるいは、画像記録媒体１３０がデジタルカメラ１００に内蔵されていてもよい。その場合、ＲＯＭ１６２内に画像データ記録のための領域が確保されて、それを画像記録媒体１３０とすることが可能である。

操作部１４０は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうちいずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。表示部１５０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。なお、表示部１５０は表示インターフェースを備えていて、ＲＡＭ１６４上に設けられるＶＲＡＭ領域内に書き込まれる画像データを表示インターフェースが読み出して画像や文字等の情報が表示部１５０に表示されるものとする。

ＲＯＭ１６２は、フラッシュメモリ等で構成され、ＣＰＵ１７０により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいはデジタルカメラ１００の電源が入っていない状態でも保持する必要のある情報等が記憶される。ＲＡＭ１６４は、ＳＤＲＡＭ等で構成され、比較的高速のアクセス速度を有する。ＣＰＵ１７０は、ＲＯＭ１６２からＲＡＭ１６４に転送されたファームウェアを解釈・実行してデジタルカメラ１００の動作を統括的に制御する。

ＤＳＰ１９０は、ＲＡＭ１６４に一時的に記憶されるデジタル画像信号に上述した様々な処理を施し、記録用画像データ、表示用画像データ等を生成する。

デジタルカメラ１００は、ＨＤＲ撮影モードで静止画を撮影する動作を行うことが可能に構成される。つまり、同一の被写体を撮影して異なる露光量の複数の画像データが得られて、それら複数の画像データから階調の改善された合成画像データを生成するモードで動作可能に構成される。無論、ＨＤＲ撮影モードで動画撮影が可能に構成されていても良い。その場合、動画像の記録フレームレートよりも高速のフレームレートで露光量を変えながら撮像が行われ、得られる複数の画像データから１フレーム分の画像データが生成され、記録される。ところで、上述した同一被写体を異なる露光量で撮影する際に、同一構図で撮影が行われること、つまり一連の撮影で得られる複数の画像は、露光量が異なっている以外は全て同じものが写っていることが、より良い合成画像データを得る上で望ましい。しかし、手持ち撮影であったために撮影動作中に撮影範囲が若干変化する場合や、被写体が動体であったために画面内における位置や形状が変化する場合がある。その場合、パターンマッチングの技術を用いて画像の切り出し、貼り付け等の処理を行い、画像を合成することが可能である。

上記のように露光量を変えながら撮影動作を行う際、撮像制御部としてのＣＰＵ１７０は撮像部１２０を制御し、決められた回数の露光を、各露光に対応して決められた露光量で行う。つまり、ＣＰＵ１７０は、同一の被写体を異なる露光量で撮影し、複数の画像データが得られるように撮像部１２０を制御する。

ところで、デジタルカメラ１００が、撮影光学系１１０、レンズ駆動部１１２、および撮像部１２０等からなる撮像系を複数備えるものであってもよい。この場合、複数組の撮像系を用い、ユーザによる一回のレリーズ操作に応じて各撮像系で異なる露光量での画像を略同時に得ることが可能である。この構成を用いて、動画像撮影時に異なる露光量の複数の画像を各フレームに対応して得ることも可能である。

あるいは、撮像部１２０を複数備えていて、撮影光学系１１０の後方にビームスプリッタ（光路分割部材）を配置し、ビームスプリッタで分割された複数の光路上に撮像部１２０が配置される構成をデジタルカメラ１００が備えていてもよい。ビームスプリッタは不等の光量分割比率で光束を分割する。例えば、ビームスプリッタが入射光束を二つの光束に分割して出射するものである場合、一の光路に沿って出射する光束の光量と、他の光路に沿って出射する光束の光量との比率が例えば１：４などといった光量分割比率となるようにビームスプリッタを設計することが可能である。このようにビームスプリッタを用いる構成では、撮影光学系１１０での設定絞り値や、シャッタ速度（露光時間）は、各撮像部１２０に対して同一の露光条件となる。しかし、ビームスプリッタの作用により、各撮像部１２０に入射する被写体光の光量が異なるので、結果として異なる露光量の複数の画像を一回の撮影動作で得ることができる。この構成を備えることにより、１回の露光動作で異なる露光量の複数の画像を得ることができる。また、この構成を用いて、動画像撮影時に異なる露光量の複数の画像を各フレームに対応して得ることも可能である。

異なる露光量の複数の画像を得るためには、以上に説明した三つの方法のうち、いずれかを用いることが可能である。すなわち、第１の方法は、露光条件を変えながら複数回の露光動作を時系列に行う方法である。第２の方法は、複数の撮像系それぞれで異なる露光条件を設定し、略同時に撮影を行う方法である。第３の方法は、一つの撮影光学系の後方に配置した光路分割部材によって異なる光量分割比率で複数の撮像素子に被写体光を導き、異なる露光量の複数の画像を、一回の露光動作で得る方法である。

図２は、記録媒体に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理部３００としての機能が実装される例を説明するブロック図である。コンピュータ２００は、ＣＰＵ２１０と、メモリ２２０と、補助記憶装置２３０と、インターフェース２４０と、メモリカードインターフェース２５０と、光ディスクドライブ２６０と、ネットワークインターフェース２７０と、表示部２８０とを備える。ＣＰＵ２１０と、メモリカードインターフェース２５０と、光ディスクドライブ２６０と、ネットワークインターフェース２７０と、表示部２８０とは、インターフェース２４０を介して電気的に接続される。

メモリ２２０は、ＤＤＲ ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリである。補助記憶装置２３０は、ハードディスクドライブ、あるいはソリッドステートドライブ（ＳＳＤ）等で構成され、比較的大きな記憶容量を備える。

メモリカードインターフェース２５０は、メモリカードＭＣを着脱自在に装着可能に構成される。デジタルカメラ等で撮影動作が行われて生成され、メモリカードＭＣ内に記憶された画像データは、このメモリカードインターフェース２５０を介してコンピュータ２００内に読み込むことができる。また、コンピュータ２００内の画像データをメモリカードＭＣに書き込むこともできる。

光ディスクドライブ２６０は、光ディスクＯＤからデータを読み取ることが可能に構成される。光ディスクドライブ２６０はまた、必要に応じて光ディスクＯＤにデータを書き込むことが可能に構成されていてもよい。

ネットワークインターフェース２７０は、ネットワークＮＷを介して接続されるサーバ等の外部情報処理装置とコンピュータ２００との間で情報を授受可能に構成される。

表示部２８０は、フラットパネルディスプレイ装置等で構成され、文字、アイコン、カラー画像等を表示可能に構成される。

画像処理部３００は、メモリ２２０上にロードされた画像処理プログラムをＣＰＵ２１０が解釈・実行することにより実現される。この画像処理プログラムは、メモリカードＭＣや光ディスクＯＤ等の記録媒体に記録されてコンピュータ２００のユーザに頒布される。あるいは、ネットワークＮＷを介して、サーバ等の外部情報処理装置からダウンロードされた画像処理プログラムが補助記憶装置２３０に記憶されてもよい。また、他の有線や無線の形態のインターフェースを介して外部情報処理装置等から画像処理プログラムがダウンロードされて補助記憶装置２３０に記憶されてもよい。

画像処理部３００は、補助記憶装置２３０に記憶された画像データ、あるいはメモリカードＭＣ、光ディスクＯＤ、ネットワークＮＷ等を介して入力した画像データに後述する画像処理を行う。以下、画像処理部３００における処理について二つの実施の形態で説明する。

− 第１の実施の形態 −
図３は、第１の実施の形態に係る画像処理部３００の構成を概略的に説明するブロック図である。画像処理部３００は、先に説明したように、デジタルカメラ１００内のＤＳＰ１９０に実装されていてもよいし、コンピュータ２００のＣＰＵ２１０が画像処理プログラムを実行することにより実現されてもよい。

画像処理部３００は、階調変換特性導出部３１０と、画像合成処理部３２０と、画像取得部３３０とを備える。画像処理部３００に接続される画像記録部３６０は、先に図１、図２を参照して説明した画像記録媒体１３０、補助記憶装置２３０に対応する。同じく、画像処理部３００に接続される表示部３５０は、表示部１５０、２８０に対応する。

画像取得部３３０は、同一の被写体を撮影して異なる露光量の複数の入力画像データを取得する。異なる露光量の複数の入力画像データを得るためには、上述した三つの方法のうち、いずれかの方法を用いることができる。以下では、第一の方法、すなわち露光条件を変えながら複数回の露光を時系列に行う（以下では、同一の被写体を異なる露光量で複数回、時系列に撮影することを「ブラケティング露光」と称する）ものとして説明する。このブラケティング露光に際しては、露光時間の長短で露光量を調節することがボケや収差の揃った複数の画像を得る上で望ましい。但し、ブラケティング露光に際しての露光の変化ステップ（露光補正ステップ）が小さめで、絞りを変えることによるボケや収差の変化が殆ど問題とならない状況では絞り値を変えて露光量を変化させてもよい。また、撮影光学系１１０の内部等に、被写体光の光路に対して挿抜可能に構成されるＮＤフィルタが備えられる場合、ＮＤフィルタの挿抜切り換えによって異なる露光量の画像が得られるようにしてもよい。

画像処理部３００がデジタルカメラ１００のＤＳＰ１９０に実装される場合、画像取得部３３０は以下のようにして複数の入力画像データを取得することが可能である。すなわち、デジタルカメラ１００でブラケティング露光が行われている間にアナログ・フロントエンド１２２から逐次出力されるデジタル画像信号をＤＳＰ１９０が処理して得られた複数の入力画像データを画像取得部３３０が取得することが可能である。あるいは、過去にブラケティング露光が行われて画像記録部３６０（画像記録媒体１３０）に記録されていた複数の入力画像データを読み出し、画像取得部３３０で取得することも可能である。いずれの場合であっても、入力画像データはいわゆるロー（ＲＡＷ）画像データから得られるものであっても、現像処理の行われたＲＧＢやＹＣｂＣｒ等の形式の画像データであってもよい。

画像取得部３３０で取得する入力画像データの数は２以上の任意の数ｎとすることが可能である。この数は、固定値であっても、ユーザが設定可能に構成されていても、あるいは撮影準備動作中（ライブビュー表示動作中）に被写界輝度の分布が検出されて、その結果に基づいて自動的に設定されてもよい。例えば、曇天下の順光撮影条件などのように、被写界中の最大輝度と最小輝度との差が比較的小さい場合、ブラケティング露光に際しての露光回数（入力画像データの数）は少なめに設定される場合がある。逆に、晴天下の逆光撮影条件や夜景などのように、被写界中の最大輝度（最明部）と最小輝度（最暗部）との差が比較的大きい場合、ブラケティング露光に際しての露光回数を多めに設定される場合がある。このとき、補正ステップもユーザが任意に設定することが可能に構成されていてもよいし、自動的に設定されるものであってもよい。

以下では、複数の入力画像データのうち露光量が少ないものから入力画像データ１、入力画像データ２、入力画像データ３、…、入力画像データｎと呼ぶ。入力画像データ１、入力画像データ２、入力画像データ３、…、入力画像データｎを得る際の露光量は、この順番に段階的に増し、それぞれ、Ｅｐ（１）、Ｅｐ（２）、Ｅｐ（３）、・・・、Ｅｐ（ｎ）とする。例えば、理解を容易にすることを目的として、露光補正ステップが１Ｅｖで、露光回数が５回であるものとして説明すると、最も少ない露光量を基準として、＋０Ｅｖ（一倍）、＋１Ｅｖ（二倍）、＋２Ｅｖ（四倍）、＋３Ｅｖ（八倍）、＋４Ｅｖ（十六倍）の露光量の画像が得られる（即ち、Ｅｐ（２）＝２×Ｅｐ（１）、Ｅｐ（３）＝４×Ｅｐ（１）、Ｅｐ（４）＝８×Ｅｐ（１）、Ｅｐ（５）＝１６×Ｅｐ（１））。

これらの入力画像データからは、その画素位置（ｉ，ｊ）に対応して画素値Ｐ（ｉ，ｊ）が得られる。ここで、画像の垂直方向の画素数をＭｖとし水平方向の画素数Ｍｈとすると、ｉは０から（Ｍｖ−１）までの整数値であり、ｊは０から（Ｍｈ−１）までの整数値である。以下、入力画像データ１、入力画像データ２、…、入力画像データｎの所与の画素位置（ｉ，ｊ）における画素値をＰ₁（ｉ，ｊ）、Ｐ₂（ｉ，ｊ）、…Ｐ_n（ｉ，ｊ）と表す。また、入力画像データ１、入力画像データ２、…、入力画像データｎを総称して入力画像データ１〜ｎと表す。なお、上述した露光補正ステップや露光回数については被写体や作画意図等に応じて任意に定めることが可能であり、露光補正ステップについては露光量が等間隔で変化するように設定されていても、不等間隔で変化するように設定されていてもよい。

階調変換特性導出部３１０は、画像取得部３３０で取得された複数の入力画像データ１〜ｎ中、一つの入力画像データを基準画像データ（基準画像Ｒのデータ）として選択し、この基準画像データを解析して階調変換特性を導出する。基準画像データの選択方法としては、様々な方法を適用可能である。例えば、一連のブラケティング露光で得られた複数の入力画像データ中、最も少ない露光量で得られた入力画像データを基準画像データとすることができる。また、中間の露光量で得られた入力画像データ、あるいは最も多い露光量で得られた入力画像データを基準画像データとすることも可能である。あるいは、複数の入力画像データをヒストグラム解析して、画素値の分布の中心が明るい側、または暗い側に極端に偏っていないものを基準画像データとすることも可能である。本実施の形態においては、露光量の最も少ない状態で得られた画像データ（入力画像データ１）を基準画像データとする。基準画像Ｒの画素値Ｒ（ｉ，ｊ）はＰ₁（ｉ，ｊ）となる。階調変換特性導出部３１０はさらに、導出された階調変換特性に基づき、基準画像データを構成する画素それぞれの値に対応して階調変換特性情報を導出する。階調変換特性および階調変換特性情報の詳細については後で説明する。

基準画像データは、階調変換特性算出部３１０と、正規化部４１０と、画像合成処理部３２０とに入力される。基準画像データ以外の入力画像データである非基準画像データ２・・・ｎ（非基準画像Ｕ₂・・・Ｕ_nのデータ）は、位置合せ処理部４２０に入力される。入力画像データ２、入力画像データ３、・・・、入力画像データｎは、それぞれ非基準画像データ２、非基準画像データ３、・・・、非基準画像データｎに設定される。非基準画像Ｕ_xの画素値Ｕ_x（ｉ，ｊ）は、Ｐ_x（ｉ，ｊ）となる。ここで、ｘは、２からｎまで整数である。
正規化部４１０は、基準画像Ｒと各非基準画像Ｕ_xの露光量が異なるため、基準画像データに相当する基準画像Ｒを補正し、補正画像Ａ₂…Ａ_nに関する補正画像データ２…ｎを生成して、位置合せ処理部４２０に入力する。正規化部４１０は、基準画像Ｒの露光量Ｅｐ（１）と各非基準画像Ｕ_xの露光量Ｅｐ（ｘ）の比率Ｅｐ（ｘ）／Ｅｐ（１）に基づいて、基準画像Ｒの明るさ（画素値）を補正する。以下の式（１）のように、補正画像Ａ_x(ｘ=２〜ｎ)の画素値Ａ_x（ｉ，ｊ）は、Ｅｐ（ｘ）／Ｅｐ（１）に基準画像Ｒの画素値Ｒ（ｉ，ｊ）を掛けた値になる。

位置合せ処理部４２０は、各非基準画像Ｕ_xを基準画像Ｒに位置合せして、位置合せ画像Ｑ_x(ｘ=２〜ｎ)を生成する。基準画像Ｒと非基準画像Ｕ_xの露光量が異なるため、位置合せ処理部４２０は、基準画像Ｒの明るさを補正した後の補正画像Ａ_xと非基準画像Ｕ_xの間の位置ずれ量を算出し、算出した位置ずれ量に基づいて非基準画像Ｕ_xを基準画像Ｒに対して位置合せする。例えば、補正画像Ａ_xと非基準画像Ｕ_xの間の位置ずれ量は、ブロックマッチング法を用いて動きベクトルとして算出し、非基準画像Ｕ_xを動きベクトルに応じて変形して位置合せ画像Ｑ_xを生成する。位置合せ処理部４２０は、位置合せ画像Ｑ₂…Ｑ_nのデータ（位置合せ画像データ２…ｎ）を画像合成処理部３２０に入力する。以下、基準画像Ｒと位置合せ画像Ｑ₂…Ｑ_nは、画像合成処理部３２０の処理に使用される原画像Ｗ₁…Ｗ_nと呼ばれることがある。原画像Ｗ₁は基準画像Ｒであり、原画像Ｗ₂…Ｗ_nは位置合せ画像Ｑ₂…Ｑ_nである。

画像合成処理部３２０は、原画像Ｗ₁…Ｗ_n（基準画像Ｒと位置合せ画像Ｑ₂…Ｑ_n）から選択された一つまたは複数の画像から合成画像Ｓを生成する。画像合成処理部３２０は、階調変換特性情報（階調変換特性に関する値）Ｇ（ｉ，ｊ）と閾値ＴＨ₁〜ＴＨ_nとを比較し、原画像Ｗ₁…Ｗ_nから一つまたは複数の画像を比較結果に応じて選択し、選択した画像を補正するか又は加重平均（重付き加算）する。画像合成処理部３２０は、基準画像Ｒの露光量Ｅｐ（１）と各非基準画像Ｕ_kの露光量Ｅｐ（ｋ）に基づいて、閾値ＴＨ_k（整数ｋ＝１〜ｎ）を設定する。本実施の形態において、閾値ＴＨ_k（整数ｋ＝１〜ｎ）は、基準画像Ｒと各非基準画像Ｕ_kの露光量の比率（Ｅｐ（ｋ）／Ｅｐ（１））である。例えば、階調変換特性情報Ｇ（ｉ，ｊ）の値が二つの閾値ＴＨ_k-1、ＴＨ_kの間にある場合に、画像合成処理部３２０は、選択した二つの原画像Ｗ_k-1、Ｗ_k中の対応する画素位置（ｉ，ｊ）の画素値（二つの画素値Ｗ_k-1（ｉ，ｊ）、Ｗ_k（ｉ，ｊ））を、階調変換特性情報Ｇ（ｉ，ｊ）の値と二つの閾値ＴＨ_k-1、ＴＨ_kとの関係に基づいて導出される混合比率（重み）で加重平均により混合する。

図４は、階調変換特性導出部３１０で導出される階調変換特性の例を説明する図である。先にも説明したように、本実施の形態において基準画像データは入力画像データ１であるものとして説明する。階調変換特性導出部３１０は、基準画像データを解析して階調変換特性を導出する。ここで、基準画像データ（入力画像データ１）中の画素位置（ｉ，ｊ）における画素値Ｒ（ｉ，ｊ）（＝Ｐ₁（ｉ，ｊ））に対応して導出される階調変換特性情報をＧ（ｉ，ｊ）と表す。つまり、階調変換特性は、画素値Ｒ（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）を導出するための特性である。図４の中央に示されるグラフは、階調変換特性の一例を概念的に示したものであり、横軸に基準画像データの画素値Ｒ（ｉ，ｊ）が、縦軸に階調変換特性情報Ｇ（ｉ，ｊ）の値がとられている。

階調変換特性は、基準画像データの画素値Ｒ（ｉ，ｊ）が増加するほど階調変換特性情報Ｇ（ｉ，ｊ）の値は傾向として減少するように特性を定めることが可能である。つまり、小さめ（暗め）の画素値Ｒ（ｉ，ｊ）に対応して大きめの階調変換特性情報Ｇ（ｉ，ｊ）が導出され、大きめ（明るめ）の画素値Ｒ（ｉ，ｊ）に対応して小さめの階調変換特性情報Ｇ（ｉ，ｊ）の値が導出される。導出される階調変換特性の一例としては、図４の中央のグラフに示されるように、いわゆる逆Ｓ字の特性がある。あるいは、Ｒ（ｉ，ｊ）の増加に伴ってＧ（ｉ，ｊ）の値が直線的に減少する特性であっても、凸カーブや凹カーブを描いて減少する特性でもよい。無論、この階調変換特性は、画像の表現意図や撮影シーンの状況に従って様々なものとすることが可能である。

本実施の形態において、階調変換特性情報Ｇ（ｉ，ｊ）の値は、階調変換前後での画素値の増幅率（倍率）である。たとえば先に説明したように露光補正ステップが１Ｅｖで５回のブラケティング露光が行われた場合、最小の露光量（入力画像データ１の露光量）を基準として、入力画像データ１〜ｎに対して、１倍（＋０Ｅｖ）から１６倍（＋４Ｅｖ）までの露光が行われる。階調変換特性情報Ｇ（ｉ，ｊ）の値は、この１倍から１６倍の露光量の比率の範囲に対応して定めることが好ましい。つまり、増幅率Ｇ（ｉ，ｊ）は、１以上１６以下の範囲（又はこの範囲より若干広い範囲）の値をとることが好ましい。これにより、増幅率Ｇ（ｉ，ｊ）の画素値を、露光量が基準画像のＧ（ｉ，ｊ）倍に近い原画像の画素値から生成できる。また、増幅率Ｇ（ｉ，ｊ）が閾値ＴＨ₁を下回る場合には、Ｇ（ｉ，ｊ）は、Ｇ（ｉ，ｊ）＝ＴＨ₁にクリッピングされて再設定され、増幅率Ｇ（ｉ，ｊ）が閾値ＴＨ_nを上回る場合には、Ｇ（ｉ，ｊ）は、Ｇ（ｉ，ｊ）＝ＴＨ_nにクリッピングされ再設定されてよい。

閾値は、導出される階調変換特性情報Ｇ（ｉ，ｊ）の値との比較結果に基づいて適切な原画像Ｗ₁…Ｗ_nが選択されるように、ブラケティング露光に際しての露光回数（入力画像データの数）と露光補正ステップとに基づいてその個数および値が設定される。本実施の形態において、閾値の個数は入力画像データの数に等しく、閾値ＴＨ_k（整数ｋ＝１〜ｎ）は、基準画像Ｒと各非基準画像Ｕ_kの露光量の比率（Ｅｐ（ｋ）／Ｅｐ（１））である。その結果、ある画素に対して大きめの増幅率、つまり大きめの階調変換特性情報Ｇ（ｉ，ｊ）の値が設定された場合には、多めの露光量の原画像Ｗ₁…Ｗ_nが選択される。また、小さめの階調変換特性情報Ｇ（ｉ，ｊ）の値が設定された場合には、少なめの露光量の原画像Ｗ₁…Ｗ_nが選択される。

以上に説明した階調変換特性、つまりＲ（ｉ，ｊ）の増加に伴ってＧ（ｉ，ｊ）の値が減少する特性が設定されることと、階調変換特性情報Ｇ（ｉ，ｊ）の値が増幅率であることとにより、以下のように合成画像データ中の画素値を設定することが可能となる。すなわち、基準画像Ｒ中、暗めの画素に対応して高めの増幅率が設定され、結果として多めの露光量を有する原画像Ｗ₁…Ｗ_n（基準画像Ｒと位置合せ画像Ｑ₂…Ｑ_n）が選択される。その結果、被写体のシャドウ部での階調を増すことができ、ノイズの影響も低減することが可能となる。逆に、基準画像データによる画像中、明るめの画素に対応して低めの増幅率が設定され、結果として少なめの露光量を有する原画像Ｗ₁…Ｗ_nが選択される。その結果、被写体のハイライト部での階調を増すことができる。このようにして、被写体のより広い輝度範囲に対応して階調を再現することが可能となる。また、シャドウ部におけるノイズも低減することが可能となる。このとき、階調変換特性情報Ｇ（ｉ，ｊ）の値を増幅率として扱うことにより、ブラケティング露光における露光補正ステップとの対応付けが容易となり、画像データの階調変換の処理を単純化することが可能となる。

本発明の実施の形態においては、画像合成処理の過程において、各画素位置（ｉ，ｊ）に対応する画素値として、一連のブラケティング露光で得られた複数の入力画像データ１〜ｎから生成された原画像Ｗ₁…Ｗ_nの中から選択された一つ又は複数の画像の画素値を用いて合成画像Ｓの画素値を生成することが各画素位置（ｉ，ｊ）において行われる。このように各画素値が生成された結果、階調変換が行われたかのような合成画像を得ることができるので、本明細書中では「階調変換特性」という文言を用いている。

ここで、階調変換特性導出部３１０において階調変換特性を導出する際の導出方法の一例を説明する。図５（ａ）は、基準画像データのヒストグラム例を示す。図５（ａ）の例は、少なめの露光量で得られた画像データを基準画像データとすることを想定しており、その結果ヒストグラムが全体として画素値の小さい側に偏っている。

図５（ｂ）は、図５（ａ）に例示されるヒストグラムを呈する画像の画像データを解析して求められた累積頻度を示している。図５（ｂ）中に示される累積頻度の曲線は、画素値の低い領域で急激に立ち上がり、その後中間から高めの画素値の領域で累積頻度の増加が頭打ちとなる凸カーブを描いている。図５（ｃ）は、図５（ｂ）に示される累積頻度曲線に基づいて導出される階調変換特性の例を示す図である。図５（ｃ）に示されるカーブは、図５（ｂ）に示される累積頻度の曲線の傾きに基づいて導出されたものとなっている。つまり、図５（ｂ）に示される累積頻度特性を画素値で微分して得たものとなっている。

図５（ｃ）に示される階調変換特性に基づき、基準画像データの各画素値Ｒ（ｉ，ｊ）に対応して階調変換特性情報Ｇ（ｉ，ｊ）が導出される。図５（ｃ）に示される例では、以下のような特性となっている。すなわち、図５（ｃ）に示される例において、階調変換特性は逆Ｓ字状のカーブ形状を有している。その結果、小さ目の画素値Ｒ（ｉ，ｊ）に対応して大きめの階調変換特性情報Ｇ（ｉ，ｊ）が導出され、大きめの画素値Ｒ（ｉ，ｊ）に対して小さめの階調変換特性情報Ｇ（ｉ，ｊ）が導出される。また、中間域の画素値Ｒ（ｉ，ｊ）に対しては、画素値Ｒ（ｉ，ｊ）の僅かな増加に対して階調変換特性情報Ｇ（ｉ，ｊ）の値が比較的大きく減少する特性となっている。その結果、図５（ｃ）に示される階調変換特性が適用されると、基準画像データ内において画素値の小さ目の画素に対しては比較的多めの露光量を有する原画像Ｗ₁…Ｗ_n中の画素値から合成画像Ｓの画素値Ｓ（ｉ，ｊ）が生成される。また、基準画像データ内において画素値の大きめの画素に対しては比較的少なめの露光量を有する原画像Ｗ₁…Ｗ_n中の画素値から合成画像Ｓの画素値Ｓ（ｉ，ｊ）が生成される。このようにして得られる画像は、低輝度部ではノイズが少なく、高輝度部では白飛びが抑制される。また、中間域に対してはより多くの階調が割り当てられるので、見た目のコントラストが増して見栄えのする画像を得ることが可能となる。

図５を参照して説明した階調変換特性の導出方法は一例であり、別の方法によって階調変換特性を導出することも可能である。

以上に説明した階調変換特性情報Ｇ（ｉ，ｊ）を導出する処理に際して、以下のような方法で行うことが可能である。一例としては、基準画像データ全体の画素値Ｒ（ｉ，ｊ）を解析し、図５（ａ）−（ｃ）に示した方法に基づいて、一つの画像に対して一つの階調変換特性を導出する方法がある。この場合、一つの画像に対して図５（ｃ）に例示される階調変換特性が一つ導出される。別の例としては、以下に説明するように、スペースバリアントに階調変換特性を導出する方法がある。

例えば、基準画像データで形成される画像を縦、横任意の数でグリッド状に分割し、複数のブロックを画定する。画定したブロックごとに図５（ａ）−（ｃ）で示した処理を行い、各ブロックに対応する階調変換特性を導出する。複数のブロックを画定する際には、以上のように単純に幾何学的に分割するだけでなく、被写体認識等の画像処理技術を用いて、画像内で主要被写体が存在すると推定される領域を一つの領域として画定することも可能である。それ以外の領域については、例えば主要被写体が存在する領域からの距離や明るさ等に応じて設定される主要度の高さに応じて分割することが可能である。上記のように各ブロックに対応して導出された階調変換特性を用い、各ブロック内に存在する画素の画素値に対応して階調変換特性情報Ｇ（ｉ，ｊ）を導出することができる。

画像処理部３００がデジタルカメラ１００に実装される場合には、表示部１５０に表示されるライブビュー画像を観ながらユーザがタッチパネル等を操作して主要被写体等を指定するのに応じて階調変換特性導出のための領域が画定されてもよい。また、画像処理部３００がコンピュータ２００により実施される場合、表示部２８０に表示される画像を観ながらユーザがコンピュータマウス等を操作して階調変換特性導出のための領域を設定可能に構成されていてもよい。上述したいずれかの方法によって分割された各領域に対応して導出された階調変換特性を用い、基準画像データの各領域内における画素値Ｒ（ｉ，ｊ）に対応して、スペースバリアントに階調変換特性情報Ｇ（ｉ，ｊ）を導出することが可能となる。

図６は、画像合成処理部３２０の要部を示すブロック図である。画像合成処理部３２０は、選択／混合部３７０を備える。選択／混合部３７０は、入力された階調変換特性情報Ｇ（ｉ，ｊ）の値と閾値ＴＨ₁、ＴＨ₂、…、ＴＨ_nとを、各画素位置（ｉ，ｊ）に対応して比較する。この比較結果に基づき、選択／混合部３７０は、合成画像データＳを構成する各画素値Ｓ（ｉ，ｊ）を、原画像Ｗ₁…Ｗ_n中の対応する画素位置（ｉ，ｊ）の画素値Ｗ₁（ｉ，ｊ）、Ｗ₂（ｉ，ｊ）、…、Ｗ_n（ｉ，ｊ）の中から複数選択でき、選択した複数の画素値を加重平均（重付き加算）により混合することができる。

図７は、選択／混合部３８０で選択された二つの原画像Ｗ₁…Ｗ_n中の二つの画素値が混合される様子を概念的に示す図である。図７において、ブラケティング露光に際しての露光補正ステップと露光回数とに対応して閾値ＴＨ₁〜ＴＨ_nが設定される。このとき、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₁を下回る場合があり、また、閾値Ｔｈ_nを上回る場合もある。階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₁を下回る場合には、合成画像Ｓを構成する各画素値Ｓ（ｉ，ｊ）は、基準画像の画素値Ｒ（ｉ，ｊ）と階調変換特性情報Ｇ（ｉ，ｊ）の値から求められる。また、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_nを上回る場合には、画素値Ｓ（ｉ，ｊ）は、位置合せ画像の画素値Ｑ_n（ｉ，ｊ）、階調変換特性情報Ｇ（ｉ，ｊ）の値、二つの閾値ＴＨ₁、ＴＨ_nから求められる。図７中では、階調変換特性情報Ｇ（ｉ，ｊ）の値は図７の下方に向かうにつれて増すものとして描かれている。また、図７中に示される式において、記号＊は乗算を表す（以下同様）。

階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₁を下回る場合、基準画像Ｒ（原画像Ｗ₁）が選択され補正される。例えば、以下の式（２）に基づいて、合成画像Ｓの画素値Ｓ（ｉ，ｊ）を導出することができる。

階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₁を下回る場合に式（２）を用いて画素値を導出することにより、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₁を下回って減少するのにつれて画素値Ｓ（ｉ，ｊ）も減少する。その結果、画像の暗部における階調再現域を拡大することが可能となる。なお、式（３）を用いて画素値Ｓ（ｉ，ｊ）を導出する場合、閾値ＴＨ₁＝１とすることが望ましい。理由は、階調変換特性情報Ｇ（ｉ，ｊ）の値が１をはさんで変化する際の画素値Ｓ（ｉ，ｊ）の連続性が得られ、トーンジャンプを生じにくくなるからである。

階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₁以上かつ閾値ＴＨ₂以下の場合、基準画像Ｒ（原画像Ｗ₁）および位置合せ画像Ｑ₂（原画像Ｗ₂）が選択される。これらの基準画像Ｒおよび位置合せ画像Ｑ₂中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｒ（ｉ，ｊ）、Ｑ₂（ｉ，ｊ）が以下の加重平均の式（３）を用いて混合され、合成画像Ｓの対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）が導出される。

式（３）から明かであるように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₁に近いほど基準画像Ｒの画素値Ｒ（ｉ，ｊ）の混合比率が増す。混合比率とは、加重平均（重付き加算）における重みに相当する。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₁に等しいとき、画素値Ｓ（ｉ，ｊ）は基準画像Ｒの画素値Ｒ（ｉ，ｊ）の混合比率が１００％となり、画素値Ｒ（ｉ，ｊ）に等しくなる。逆に、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₂に近いほど位置合せ画像Ｑ₂の画素値Ｑ₂（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₂に等しいとき、画素値Ｓ（ｉ，ｊ）は位置合せ画像Ｑ₂の画素値Ｑ₂（ｉ，ｊ）の混合比率が１００％となり、画素値Ｑ₂（ｉ，ｊ）に等しくなる。この、画素値Ｒ（ｉ，ｊ）、Ｑ₂（ｉ，ｊ）の混合比率の変化する様子が図７中に斜めの実線で示されている。そして、斜めの線を挟む左右両側において、両端に矢印の付された破線が示されているが、これが所与の階調変換情報Ｇ（ｉ，ｊ）の値に対応する基準画像Ｒ、位置合せ画像Ｑ₂の画素値Ｒ（ｉ，ｊ）、Ｑ₂（ｉ，ｊ）の混合比率を示している。

階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₂を越し、かつ閾値ＴＨ₃以下の場合、位置合せ画像Ｑ₂および位置合せ画像Ｑ₃が選択される。これらの位置合せ画像Ｑ₂および位置合せ画像Ｑ₃中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｑ₂（ｉ，ｊ）、Ｑ₃（ｉ，ｊ）が以下の加重平均の式（４）を用いて混合され、合成画像Ｓの対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）が導出される。

式（４）から明かであるように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₂に近いほど位置合せ画像Ｑ₂の画素値Ｑ₂（ｉ，ｊ）の混合比率（重み）が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₂に限りなく近づくとき、画素値Ｓ（ｉ，ｊ）は位置合せ画像Ｑ₂の画素値Ｑ₂（ｉ，ｊ）の混合比率が１００％に近づき、画素値Ｑ₂（ｉ，ｊ）に限りなく等しくなる。逆に、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₃に近いほど位置合せ画像Ｑ₃の画素値Ｑ₃（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₃に等しいとき、画素値Ｓ（ｉ，ｊ）は位置合せ画像Ｑ₃の画素値Ｑ₃（ｉ，ｊ）の混合比率が１００％となり、画素値Ｑ₃（ｉ，ｊ）に等しくなる。

以下、同様にして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_n-1を越し、かつ閾値ＴＨ_n以下の場合、位置合せ画像Ｑ_n-1および位置合せ画像Ｑ_nが選択される。これらの位置合せ画像Ｑ_n-1およびＱ_n中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｑ_n-1（ｉ，ｊ）、Ｑ_n（ｉ，ｊ）が以下の加重平均の式（５）を用いて混合され、合成画像Ｓの対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）が導出される。

式（５）から明かであるように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_n-1に近いほど位置合せ画像Ｑ_n-1の画素値Ｑ_n-1（ｉ，ｊ）の混合比率（重み）が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_n-1に限りなく近づくとき、画素値Ｓ（ｉ，ｊ）は位置合せ画像Ｑ_n-1の画素値Ｑ_n-1（ｉ，ｊ）の混合比率が１００％に近づき、画素値Ｑ_n-1（ｉ，ｊ）に限りなく等しくなる。逆に、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_nに近いほど位置合せ画像Ｑ_nの画素値Ｑ_n（ｉ，ｊ）の混合比率が増す。そして、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_nに等しいとき、画素値Ｓ（ｉ，ｊ）は位置合せ画像Ｑ_nの画素値Ｑ_n（ｉ，ｊ）の混合比率が１００％となり、画素値Ｑ_n（ｉ，ｊ）に等しくなる。

以上のように、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_nに等しいとき、導出される合成画像Ｓの画素値Ｓ（ｉ，ｊ）は位置合せ画像Ｑ_nの画素値Ｑ_n（ｉ，ｊ）と等しくなるように構成される。また、階調変換特性情報Ｇ（ｉ，ｊ）の値が相隣り合う二つの閾値ＴＨ_n-1、ＴＨ_nの間の値をとるとき、これら二つの閾値ＴＨ_n-1、ＴＨ_nと階調変換特性情報Ｇ（ｉ，ｊ）の値とに基づいて導出される混合比率で位置合せ画像Ｑ_n-1およびＱ_nの画素値Ｑ_n-1（ｉ，ｊ）およびＱ_n（ｉ，ｊ）が混合される。

なお、３からｎまでの一般の整数ｋに対して、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_k-1を越し、かつ閾値ＴＨ_k以下の場合、位置合せ画像Ｑ_k-1および位置合せ画像Ｑ_kが選択される。これらの位置合せ画像Ｑ_k-1およびＱ_k中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｑ_k-1（ｉ，ｊ）、Ｑ_k（ｉ，ｊ）が以下の加重平均の式（６）を用いて混合され、合成画像Ｓの対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）が導出される。

階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_nを上回る場合、位置合せ画像Ｑ_nが選択され補正される。例えば、以下の式（７）に基づいて画素値Ｓ（ｉ，ｊ）を導出することができる。

階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_nを上回る場合に式（７）を用いて画素値を導出することにより、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_nを上回って増加するのにつれて画素値Ｓ（ｉ，ｊ）も増加する。その結果、画像の明部における階調再現域を拡大することが可能となる。式（７）を用いて画素値Ｓ（ｉ，ｊ）を導出する場合も、式（２）に関して説明したのと同様の理由により、閾値ＴＨ₁＝１とすることが望ましい。

図８は、画像処理部３００により実行される画像合成処理の処理手順を説明するフローチャートである。画像処理部３００がデジタルカメラ１００に内蔵される場合、デジタルカメラ１００で一連のブラケティング露光が行われた後に図８の処理手順が実行される。あるいは、過去にブラケティング露光が行われて画像記録媒体１３０に記録されている入力画像データを用いての合成処理を行うメニューがユーザによって選択されたときに実行される。画像処理部３００がコンピュータ２００によって実施される場合、画像処理ソフトウェアがコンピュータ２００上で実行されて、補助記憶装置２３０中に記憶されている入力画像データを用いての合成処理を行うメニューがユーザによって選択されたときに実行される。図８に示される処理手順は、ハードウェアによって実行されても、ソフトウェアによって実行されてもよい。

Ｓ１００において画像処理部３００は、入力画像データ１〜ｎを取得する。Ｓ１０２において画像処理部３００は、入力画像データ１〜ｎの中から、いずれかの入力画像データを基準画像データとして設定する。本実施の形態においては、一連のブラケティング露光中で最も少ない露光量で得られた入力画像データ１が基準画像データとして設定されるものとする。

Ｓ１０４において画像処理部３００は、基準画像データを解析して各画素位置（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）を生成する。階調変換特性情報Ｇ（ｉ，ｊ）は増幅率として扱われるものとする。また、階調変換特性情報Ｇ（ｉ，ｊ）を生成する手順の詳細については図４、図５（ａ）−（ｃ）等を参照して先に説明したとおりである。さらに、階調変換特性情報Ｇ（ｉ，ｊ）は、基準画像データ全体の画素値を解析して求められるものであっても、スペースバリアントに求められるものであってもよい。

Ｓ１０６において、画像処理部３００は、基準画像Ｒの露光量Ｅｐ（１）と各非基準画像Ｕ_xの露光量Ｅｐ（ｘ）の比率Ｅｐ（ｘ）／Ｅｐ（１）を計算する。Ｓ１０８において、画像処理部３００は、式（１）のように比率Ｅｐ（ｘ）／Ｅｐ（１）に基づいて、比率Ｅｐ（ｘ）／Ｅｐ（１）に基づいて、基準画像Ｒの明るさを補正して補正画像Ａ_x（ｘ=２〜ｎ）を生成する。Ｓ１１０において、画像処理部３００は、補正画像Ａ_xと非基準画像Ｕ_xの位置ずれ量に基づいて、非基準画像Ｕ_xの基準画像Ｒに対する位置合せを行い、位置合せ画像Ｑ_xを生成する。Ｓ１１２において、画像処理部３００は、２からｎまでの全てのｘについて、位置合せ画像Ｑ_xが生成されたか判定する。全てのｘについて、位置合せ画像Ｑ_xが生成されていない場合は、ルーチンはＳ１０６に戻り、次のｘについてＳ１０６からＳ１１０が繰り返えされる。全てのｘについて、位置合せ画像Ｑ_xが生成された場合は、ルーチンはＳ１１４に進む。

Ｓ１１４において、画像処理部３００は、Ｓ１０４で生成された階調変換特性情報Ｇ（ｉ，ｊ）中、所与の画素位置（ｉ，ｊ）における階調変換特性情報Ｇ（ｉ，ｊ）の値を、閾値ＴＨ₁〜ＴＨ_nと比較する。具体的には、画像処理部３００は、下記の階調変換特性情報Ｇ（ｉ，ｊ）に関する条件（１）から条件（ｎ＋１）のいずれが成立するか判定する。｛条件（１）：Ｇ≦ＴＨ₁ 条件（２）：ＴＨ₁＜Ｇ≦ＴＨ₂ ・・・ 条件(ｋ)：ＴＨ_k-1＜Ｇ≦ＴＨ_k ・・・ 条件(ｎ)：ＴＨ_n-1＜Ｇ≦ＴＨ_n 条件(ｎ+１)：ＴＨ_n＜Ｇ｝
Ｓ１１６において、画像処理部３００は、階調変換特性情報Ｇ（ｉ，ｊ）に関して成立する条件に応じて、原画像Ｗ₁…Ｗ_n（基準画像Ｒと位置合せ画像Ｑ₂…Ｑ_n）の中から一または複数の画像を選択する。さらに、画像処理部３００は、選択された一または複数の画像の画素位置（ｉ，ｊ）での画素値を用いて、出力画像（合成画像）Ｓの画素値Ｓ（ｉ，ｊ）を生成する。Ｓ１１６の詳細は、後で説明される。

以上のＳ１１４、Ｓ１１６の処理を全ての画素位置（ｉ，ｊ）に対応して行ったか否かを画像処理部３００はＳ１１８で判定する。この判定が否定される間、Ｓ１１４からＳ１１６までの処理が繰り返し行われる。一方、Ｓ１１４での判定が肯定されると、画像処理部３００は合成画像データＳを出力する処理をＳ１２０で行う。その結果、合成画像データＳに基づく画像は、図３に示される画像記録部３６０に記録される。また、合成画像データＳに基づく画像が必要に応じて表示部３５０に表示される。

図９は、Ｓ１１６の詳細を示す図である。条件（１）が成立する場合、Ｓ１１６ａにおいて、画像処理部３００は、階調変換特性情報Ｇ（ｉ，ｊ）の値に基づき、画素位置（ｉ，ｊ）において、基準画像Ｒの画素値を補正し、出力画像Ｓの画素値Ｓ（ｉ，ｊ）を生成する。即ち、画像処理部３００は、前述の式（２）の計算をする。

条件（２）が成立する場合、Ｓ１１６ｂにおいて、画像処理部３００は、階調変換特性情報Ｇ（ｉ，ｊ）の値と閾値ＴＨ₁、ＴＨ₂に基づく混合比率で、画素位置（ｉ，ｊ）において、基準画像Ｒと位置合せ画像Ｑ₂の画素値を混合して、出力画像Ｓの画素値Ｓ（ｉ，ｊ）を生成する。即ち、画像処理部３００は、前述の式（３）の計算をする。

条件（ｋ）（ｋ＝３〜ｎ）が成立する場合、Ｓ１１６ｃ、Ｓ１１６ｄのように、画像処理部３００は、階調変換特性情報Ｇ（ｉ，ｊ）の値と閾値ＴＨ_k-1、ＴＨ_kに基づく混合比率で、画素位置（ｉ，ｊ）において、位置合せ画像Ｑ_k-1とＱ_kの画素値を混合して、出力画像Ｓの画素値Ｓ（ｉ，ｊ）を生成する。即ち、画像処理部３００は、前述の式（６）の計算をする。

条件（ｎ＋１）が成立する場合、Ｓ１１６ｅのように、画像処理部３００は、階調変換特性情報Ｇ（ｉ，ｊ）の値と閾値ＴＨ₁、ＴＨ_nに基づいて、画素位置（ｉ，ｊ）において、位置合せ画像Ｑ_nの画素値を補正して、出力画像Ｓの画素値Ｓ（ｉ，ｊ）を生成する。即ち、画像処理部３００は、前述の式（７）の計算をする。

（作用・効果）
第１の実施形態によると、階調変換特性導出部３１０は、同一被写体を撮影して得られた異なる露光量の複数の入力画像の中から選択した基準画像Ｒから階調変換特性Ｇを導出する。正規化部４１０は、基準画像以外の非基準画像Ｕ_xの露光量Ｅｐ（ｘ）と基準画像の露光量Ｅｐ（１）とに基づいて、基準画像の明るさを補正した補正画像Ａ_xを生成する。位置合せ処理部４２０は、補正画像Ａ_xと非基準画像Ｕ_xとの間の位置ずれ量を算出し、位置ずれ量に基づいて非基準画像を基準画像に位置合せした位置合せ画像Ｑ_xを生成する。画像合成処理部３２０は、階調変換特性に基づいて基準画像Ｒと位置合せ画像Ｑ_xの中から選択された一または複数の画像中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像Ｓを生成する。

このように、異なる露光量で得られた複数の入力画像から基準画像Ｒとそれ以外の非基準画像Ｕ_xが設定される。非基準画像Ｕ_xを基準画像Ｒに位置合せして生成した位置合せ画像Ｑ_xと基準画像Ｒの中から一または複数の画像を選択して、新たな画素値を導出することが画素ごとに行われてＨＤＲ画像が合成画像Ｓとして生成される。このため、撮影シーンに適した階調変換特性のＨＤＲ画像を生成することができる。このとき、所定のビット深度で表現される基準画像Ｒ及び／又は位置合せ画像Ｑ_xの対応する画素値Ｒ（ｉ，ｊ）、Ｑ_x（ｉ，ｊ）が混合（加重平均）され、同じビット深度で表現される合成画像Ｓ中の対応する画素値Ｓ（ｉ，ｊ）とされるため、ビット深度を増すことなく合成画像Ｓを得る処理を行うことができる。したがって、最終的に得られる合成画像データのビット深度の範囲で合成の処理を行うことができるので、ハードウェア規模の増大を抑制することが可能となる。また、上記の位置合せにより、経時的な入力画像の位置ずれに伴う合成画像Ｓの劣化を抑圧することができる。

このとき、階調変換特性を、先に説明したようにスペースバリアントに導出すると、画像内の各領域に適した階調変換特性で画像の合成処理を行うことが可能となる。また、位置合せ処理部は、複数の非基準画像を基準画像に位置合せして複数の位置合せ画像を生成し、画像合成処理部は、階調変換特性に基づいて複数の位置合せ画像の中から選択された一または複数の画像中の画素値を用いて新たな画素値を導出することを画素ごとに行ってよい。これにより、よりダイナミックレンジが改善されていて且つ劣化が少ない合成画像Ｓが得られる。

さらに、階調変換特性導出部３１０は、階調変換特性Ｇとして基準画像中の各画素値に対する増幅率を導出する。画像合成処理部３２０は、増幅率に応じて基準画像と位置合せ画像の中から二以上の画像を選択し、増幅率に基づいて導出される混合比率で選択された二以上の画像の画素値を混合し、新たな画素値を導出する。この混合処理によって画像が生成されることにより、いわゆるアーティファクトの発生が抑制される。つまり、合成画像中において明度の変化がより滑らかなものとなり、人の肌などのようにトーンが微妙に変化する画像中で階調が不自然に変化する、トーンジャンプのような現象の発生を抑制可能となる。

画像合成処理部は、複数の入力画像のそれぞれを得る際に設定される露光量に応じて閾値を設定し、増幅率と閾値に基づいて導出される混合比率で選択された二以上の画像の画素値を混合する。これにより、画像中で階調が不自然に変化することがさらに抑制できる。

− 第２の実施の形態 −
図１０は、第２の実施の形態に係る画像処理部３００の構成を概略的に説明するブロック図である。第１の実施の形態において、画像処理部３００は、位置合せ処理部４２０により画像合成に使用する全ての位置合せ画像Ｑ₂…Ｑ_nを生成してから、画像合成処理部３２０において画像合成を行った。しかし、位置合せ画像を保持するメモリ領域が膨大になるおそれがある。そこで、第２の実施の形態において、一つの位置合せ画像Ｑ_xを生成する毎に画像合成処理部３２０において画像合成を行う。これにより、全ての位置合せ画像Ｑ₂…Ｑ_nを記憶部１６０などのメモリに保持する必要なくなり、位置合せ画像を保持するメモリ領域が減少する。画像合成処理部３２０の出力が画像合成処理部３２０に再入力され、画像処理部３００は巡回型の処理を行う。

図１１Ａ−Ｃは、第２の実施の形態に係る画像処理部３００により実行される画像合成処理の処理手順を説明するフローチャートである。第１の実施の形態において画像処理部３００が実行した画像合成処理は、第２の実施の形態において複数回の処理に分けて実行される。

図１１Ａは、画像処理部３００が第１回目に実行する処理を示す。Ｓ２００において、画像処理部３００は、基準画像データ（入力画像データ１）と非基準画像データ２を読込む。Ｓ２０２において、画像処理部３００は、基準画像データを解析して各画素位置に対応する階調変換特性情報Ｇ（ｉ，ｊ）を生成する。Ｓ２０４において、画像処理部３００は、露光量Ｅｐ（２）と露光量Ｅｐ（１）との比率Ｅｐ（２）／Ｅｐ（１）を計算する。Ｓ２０６において、画像処理部３００は、比率Ｅｐ（２）／Ｅｐ（１）に基づいて、基準画像Ｒの明るさを補正して補正画像Ａ₂を生成する。Ｓ２０８において、画像処理部３００は、補正画像Ａ₂と非基準画像Ｕ₂の位置ずれ量に基づいて、非基準画像Ｕ₂と基準画像Ｒとの位置合せを行い、位置合せ画像Ｑ₂を生成する。

第１回目のＳ２１０において、画像処理部３００は、階調変換特性情報Ｇ（ｉ，ｊ）の値と閾値ＴＨ₁〜ＴＨ₃との比較結果に基づいて、前述の階調変換特性情報Ｇ（ｉ，ｊ）に関する条件（１）から条件（３）が成立するか判定する。条件（１）が成立する場合、Ｓ２１２において、画像処理部３００は、Ｓ１１６ａと同じ処理を行って前述の式（２）の計算をして出力する。条件（２）が成立する場合、Ｓ２１４において、画像処理部３００は、Ｓ１１６ｂと同じ処理を行って、前述の式（３）の計算をして出力する。条件（３）が成立する場合、Ｓ２１６において、画像処理部３００は、位置合せ画像Ｑ₂の画素値Ｑ₂（ｉ，ｊ）を出力する。条件（１）から条件（３）のいずれも成立しない場合、何もせずルーチンはＳ２２０に進む。Ｓ２２０において、画像処理部３００は、Ｓ２１０の処理を全ての画素位置（ｉ，ｊ）に対応して行ったか否かを判定する。この判定が否定された場合、ルーチンはＳ２１０に戻る。

図１１Ｂは、画像処理部３００が、第１回目以降において、非基準画像データｘ（３≦ｘ＜ｎ）に対して行う第（ｘ−１）回目に実行する処理を示す。Ｓ２００において、画像処理部３００は、基準画像データ（入力画像データ１）と非基準画像データｘと前回の処理の出力を読込む。Ｓ２０４において、画像処理部３００は、露光量Ｅｐ（ｘ）と露光量Ｅｐ（１）との比率Ｅｐ（ｘ）／Ｅｐ（１）を計算する。Ｓ２０６において、画像処理部３００は、比率Ｅｐ（ｘ）／Ｅｐ（１）に基づいて、基準画像Ｒの明るさを補正して補正画像Ａ_xを生成する。Ｓ２０８において、画像処理部３００は、補正画像Ａ_xと非基準画像Ｕ_xの位置ずれ量に基づいて、非基準画像Ｕ_xと基準画像Ｒとの位置合せをして、位置合せ画像Ｑ_xを生成する。

第（ｘ−１）回目のＳ２１０において、画像処理部３００は、階調変換特性情報Ｇ（ｉ，ｊ）の値と閾値ＴＨ_x-2〜ＴＨ_x+1との比較結果に基づいて、前述の階調変換特性情報Ｇ（ｉ，ｊ）に関する条件（ｘ−１）から条件（ｘ＋１）が成立するか判定する。条件（ｘ−１）が成立する場合、Ｓ２１２において、画像処理部３００は、前回のＳ２１４で得た画素値Ｓ（ｉ，ｊ）をそのまま出力する。条件（ｘ）が成立する場合、ルーチンはＳ２１４に進む。Ｓ２１４において、画像処理部３００は、下記の式（８）のように、階調変換特性情報Ｇ（ｉ，ｊ）の値と閾値ＴＨ_x-1、ＴＨ_xに基づく混合比率で、前回のＳ２１６の出力（Ｑ_x-1）と位置合せ画像Ｑ_xの画素値を混合して、出力画像Ｓの画素値Ｓ（ｉ，ｊ）として出力する。

条件（ｘ＋１）が成立する場合、Ｓ２１６において、画像処理部３００は、位置合せ画像Ｑ_xの画素値Ｑ_x（ｉ，ｊ）を出力する。条件（ｘ−１）から条件（ｘ＋１）のいずれも成立しない場合、何もせずルーチンはＳ２２０に進む。

図１１Ｃは、画像処理部３００が、第（ｎ−１）回目に実行する処理を示す。画像処理部３００は、ｘ＝ｎとして、Ｓ２００からＳ２１４において、第（ｘ−１）回目に実行する処理を前述と同様に行う。ただし、Ｓ２１０において条件（ｎ＋１）が成立する場合、Ｓ２１６において、画像処理部３００は、Ｓ１１６ｅと同じ処理を行って、前述の式（７）の計算をして出力する。

第２の実施の形態によると、画像処理部３００は、画像合成処理を複数回の処理に分けて実行する。このため、処理の規模が小さくなり、記憶部１６０などのメモリの容量を削減できる。

− 第３の実施の形態 −
図１２は、第３の実施の形態に係る画像処理部３００の構成を概略的に説明するブロック図である。第３の実施の形態において、位置合せ処理・相違度算出部４２０ａは、位置合せ画像Ｑ_x（ｘ=２〜ｎ）を生成する他、補正画像Ａ_xと位置合せ画像Ｑ_xとの間の相違度Ｄｆ_x（ｘ=２〜ｎ）を計算して、画像合成処理部３２０に入力する。相違度Ｄｆ_xは、直接的には位置合せ画像Ｑ_xの補正画像Ａ_xに対する位置ずれの程度を表すが、間接的に位置合せ画像Ｑ_xの基準画像Ｒに対する位置ずれの程度も表している。

例えば、位置合せ処理・相違度算出部４２０ａは、座標（ｉ，ｊ）を中心とした周辺（３×３）画素の領域を設定し、補正画像Ａ_xと位置合せ画像Ｑ_xの当該領域で相違度Ｄｆ_xとして差分絶対値和ＳＡＤを以下の式（９）のように算出する。

画像合成処理部３２０は、階調変換特性情報Ｇ（ｉ，ｊ）の値と閾値ＴＨ₁〜ＴＨ_nに基づいて、基準画像Ｒと位置合せ画像Ｑ₂…Ｑ_nと補正画像Ａ₂…Ａ_nから一つまたは複数の画像を選択し、選択した画像を補正するか又は加重平均して合成画像Ｓを生成する。例えば、階調変換特性情報Ｇ（ｉ，ｊ）の値が二つの閾値ＴＨ_k-1、ＴＨ_k（ｋ＞２）の間にある場合に、画像合成処理部３２０は、四つの画像（二つの位置合せ画像Ｑ_k-1、Ｑ_kと二つの補正画像Ａ_k-1、Ａ_k）を選択して、階調変換特性情報Ｇ（ｉ，ｊ）の値と二つの閾値ＴＨ_k-1、ＴＨ_kと二つの相違度Ｄｆ_k-1、Ｄｆ_kに基づいて合成して、合成画像Ｓを生成する。

階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₁を以下の場合、基準画像Ｒが選択され補正される。例えば、上記の式（２）に基づいて、合成画像Ｓの画素値Ｓ（ｉ，ｊ）を導出することができる。

階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₁より大きくかつ閾値ＴＨ₂以下の場合、基準画像Ｒと位置合せ画像Ｑ₂と補正画像Ａ₂が選択される。これらの基準画像Ｒ、位置合せ画像Ｑ₂および補正画像Ａ₂中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｒ（ｉ，ｊ）、Ｑ₂（ｉ，ｊ）、Ａ₂（ｉ，ｊ）が以下の式（１０）、（１１）を用いて混合される。そして、合成画像Ｓの対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）が導出される。

なお、式（１１）は、式（１０）を代入するとわかるように、基準画像Ｒの画素値Ｒ（ｉ，ｊ）と位置合せ画像Ｑ₂の画素値Ｑ₂（ｉ，ｊ）と補正画像Ａ₂の画素値Ａ₂（ｉ，ｊ）の加重平均も表している。

ここで、中間画像Ｂ₂の画素値Ｂ₂（ｉ，ｊ）は、位置合せ画像Ｑ₂の画素値Ｑ₂（ｉ，ｊ）と補正画像Ａ₂の画素値Ａ₂（ｉ，ｊ）を関数Ｆ（Ｄｆ₂）に応じて加重平均して得られる。図１３に示すように、関数Ｆ（Ｄｆ₂）は、相違度Ｄｆ₂に対して減少する関数であり、相違度Ｄｆ₂の値が大きいほど０に近づき、相違度が小さいほど１に近づく。

式（１１）から明かであるように、合成画像Ｓの画素値Ｓ（ｉ，ｊ）において、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₁に近いほど基準画像Ｒの画素値Ｒ（ｉ，ｊ）の混合比率が増す。逆に、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₂に近いほど中間画像Ｂ₂の画素値Ｂ₂（ｉ，ｊ）の混合比率が増す。従って、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ₂に近いほど、画素値Ｓ（ｉ，ｊ）において、位置合せ画像Ｑ₂の画素値Ｑ₂（ｉ，ｊ）と補正画像Ａ₂の画素値Ａ₂（ｉ，ｊ））の混合比率が増す。

以下、同様にして、３からｎまでの一般の整数ｋに対して、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_k-1を越し、かつ閾値ＴＨ_k以下の場合、四つの画像、つまり位置合せ画像Ｑ_k-1とＱ_kと補正画像Ａ_k-1とＡ_kが選択される。これらの位置合せ画像Ｑ_k-1とＱ_kと補正画像Ａ_k-1とＡ_k中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｑ_k-1（ｉ，ｊ）、Ｑ_k（ｉ，ｊ）、Ａ_k-1（ｉ，ｊ）、Ａ_k（ｉ，ｊ）が以下の式（１２）（１３）（１４）を用いて混合される。そして、合成画像Ｓの対応する画素位置（ｉ，ｊ）の画素値Ｓ（ｉ，ｊ）が導出される。

なお、式（１４）は、式（１２）と式（１３）を代入する式（１５）になる。式（１５）からわかるように、位置合せ画像Ｑ_k-1の画素値Ｑ_k-1（ｉ，ｊ）、位置合せ画像Ｑ_kの画素値Ｑ_k（ｉ，ｊ）、補正画像Ａ_k-1の画素値Ａ_k-1（ｉ，ｊ）と補正画像Ａ_kの画素値Ａ_k（ｉ，ｊ）の加重平均も表している。

ここで、中間画像Ｂ_kの画素値Ｂ_k（ｉ，ｊ）は、位置合せ画像Ｑ_kの画素値Ｑ_k（ｉ，ｊ）と補正画像Ａ_kの画素値Ａ_k（ｉ，ｊ）を関数Ｆ（Ｄｆ_k）に応じて加重平均して得られる。図１３に示すように、関数Ｆ（Ｄｆ_k）（ｋ=２〜ｎ）は、相違度Ｄｆ_kに対して減少する関数であり、相違度Ｄｆ_kの値が大きいほど０に近づき、相違度が小さいほど１に近づく。このような関数Ｆにより、合成画像Ｓに関して、相違度が小さいほど位置合せ画像の混合比率（重み）が大きくなり、相違度が大きいほど位置合せ画像の混合比率（重み）が小さくなる。これにより、合成画像Ｓの画素値Ｓ（ｉ，ｊ）の生成において、相違度が大きい位置合せ画像の画素値の寄与を減少できるようになり、位置ずれによる合成画像Ｓの劣化を防止できる。

式（１４）から明かであるように、合成画像Ｓの画素値Ｓ（ｉ，ｊ）において、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_k-1に近いほど中間画像Ｂ_k-1の画素値Ｂ_k-1（ｉ，ｊ）の混合比率が増す。従って、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_k-1に近いほど、位置合せ画像Ｑ_k-1の画素値Ｑ_k-1（ｉ，ｊ）と補正画像Ａ_k-1の画素値Ａ_k-1（ｉ，ｊ）の混合比率が増す。逆に、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_kに近いほど中間画像Ｂ_kの画素値Ｂ_k（ｉ，ｊ）の混合比率が増す。従って、階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_kに近いほど、位置合せ画像Ｑ_kの画素値Ｑ_k（ｉ，ｊ）と補正画像Ａ_kの画素値Ａ_k（ｉ，ｊ）の混合比率が増す。

階調変換特性情報Ｇ（ｉ，ｊ）の値が閾値ＴＨ_nを上回る場合、四つの画像、つまり位置合せ画像Ｑ_n-1とＱ_nと補正画像Ａ_n-1とＡ_nが選択される。これらの位置合せ画像Ｑ_n-1とＱ_nと補正画像Ａ_n-1とＡ_n中の所与の画素位置（ｉ，ｊ）に対応する画素値Ｑ_n-1（ｉ，ｊ）、Ｑ_n（ｉ，ｊ）、Ａ_n-1（ｉ，ｊ）、Ａ_n（ｉ，ｊ）が、例えば、以下の式（１６）に基づいて画素値Ｓ（ｉ，ｊ）を導出することができる。

図１４は、第３の実施の形態に係る画像処理部３００により実行される画像合成処理の処理手順を説明するフローチャートである。なお、第１の実施の形態に係る処理ステップと同じものには同じ符号を付して説明を省略する。第３の実施の形態において、第１の実施の形態に係る処理手順に対して、Ｓ１１０の後にＳ１１１が追加され、Ｓ１１６はＳ１１７に置き換えられている。

Ｓ１１１において、画像処理部３００は、補正画像Ａ_xと位置合せ画像Ｑ_xとの間の相違度Ｄｆ_xを算出する。Ｓ１１７において、画像処理部３００は、階調変換特性情報Ｇ（ｉ，ｊ）に関して成立する条件に応じて、基準画像Ｒと位置合せ画像Ｑ₂…Ｑ_nと補正画像Ａ₂…Ａ_nの中から一または複数の画像を選択する。さらに、画像処理部３００は、選択された一または複数の画像の画素位置（ｉ，ｊ）での画素値を用いて、出力画像（合成画像）Ｓの画素値Ｓ（ｉ，ｊ）を生成する。

図１５は、Ｓ１１７の詳細を示す図である。条件（１）が成立する場合、Ｓ１１７ａにおいて、画像処理部３００は、階調変換特性情報Ｇ（ｉ，ｊ）の値に基づき、画素位置（ｉ，ｊ）において、基準画像Ｒの画素値を補正し、出力画像Ｓの画素値Ｓ（ｉ，ｊ）を生成する。即ち、画像処理部３００は、前述の式（２）の計算をする。

条件（２）が成立する場合、Ｓ１１７ｂにおいて、画像処理部３００は、階調変換特性情報Ｇ（ｉ，ｊ）の値と閾値ＴＨ₁、ＴＨ₂と相違度Ｄｆ₂基づく混合比率で、画素位置（ｉ，ｊ）において、基準画像Ｒと位置合せ画像Ｑ₂と補正画像Ａ₂の画素値を混合して、出力画像Ｓの画素値Ｓ（ｉ，ｊ）を生成する。即ち、画像処理部３００は、前述の式（１０）（１１）の計算をする。

条件（ｋ）（ｋ＝３〜ｎ）が成立する場合、Ｓ１１７ｃ、Ｓ１１７ｄのように、画像処理部３００は、階調変換特性情報Ｇ（ｉ，ｊ）の値と閾値ＴＨ_k-1、ＴＨ_kと相違度Ｄｆ_k-1とＤｆ_kに基づく混合比率で、画素位置（ｉ，ｊ）において、位置合せ画像Ｑ_k-1とＱ_kの画素値と補正画像Ａ_k-1とＡ_kの画素値を混合して、出力画像Ｓの画素値Ｓ（ｉ，ｊ）を生成する。即ち、画像処理部３００は、前述の式（１３）（１４）又は式（１５）の計算をする。

条件（ｎ＋１）が成立する場合、Ｓ１１７ｅのように、画像処理部３００は、階調変換特性情報Ｇ（ｉ，ｊ）の値と閾値ＴＨ₁、ＴＨ_n-1、ＴＨ_nと相違度Ｄｆ_k-1とＤｆ_kに基づく混合比率で、画素位置（ｉ，ｊ）において、位置合せ画像Ｑ_k-1とＱ_kの画素値と補正画像Ａ_k-1とＡ_kの画素値を混合して、出力画像Ｓの画素値Ｓ（ｉ，ｊ）を生成する。即ち、画像処理部３００は、前述の式（１６）の計算をする。

第３の実施の形態によると、相違度算出部４２０ａは、補正画像と非基準画像との間の相違度Ｄｆを算出する。画像合成処理部３２０は、増幅率に基づいて基準画像と位置合せ画像と補正画像の中から二以上の画像を選択し、増幅率と相違度とに基づいて導出される混合比率で選択された二以上の画像の画素値を混合し、新たな画素値を導出する。これにより、相違度Ｄｆに基づいて位置合せ画像の画素値の混合比率を調整できる。

画像合成処理部３２０は、相違度Ｄｆに対する所定の関数Ｆに基づいて導出される混合比率で位置合せ画像と補正画像の画素値を混合する。これにより、位置合せ画像の基準画像に対する位置ずれの程度に応じて、合成画像の画素値に対する位置合せ画像の画素値の寄与と補正画像の画素値の寄与を調整できる。

画像合成処理部３２０は、相違度Ｄｆが小さいほど位置合せ画像の混合比率が大きくなるように位置合せ画像の混合比率を導出する。これにより、相違度が小さいほど、位置合せ画像の画素値の寄与を大きくし、逆に相違度が大きいほど、合成画像の画素値に対する位置合せ画像の画素値の寄与を小さくして、位置合せ画像の基準画像に対する位置ずれによる合成画像の劣化を防止できる。

− 第４の実施の形態 −
図１６は、第４の実施の形態に係る画像処理部３００の構成を概略的に説明するブロック図である。第３の実施の形態において、画像処理部３００は、位置合せ処理部４２０により画像合成に使用する全ての位置合せ画像Ｑ₂…Ｑ_nを生成してから、画像合成処理部３２０において画像合成を行った。しかし、位置合せ画像を保持するメモリ領域が膨大になるおそれがある。そこで、第４の実施の形態において、一つの位置合せ画像Ｑ_xを生成する毎に画像合成処理部３２０において画像合成を行う。これにより、全ての位置合せ画像Ｑ₂…Ｑ_nを記憶部１６０などのメモリに保持する必要なくなり、位置合せ画像を保持するメモリ領域が減少する。画像合成処理部３２０の出力が画像合成処理部３２０に再入力され、画像処理部３００は巡回型の処理を行う。

図１７Ａ−Ｃは、第４の実施の形態に係る画像処理部３００により実行される画像合成処理の処理手順を説明するフローチャートである。第３の実施の形態において画像処理部３００が実行した画像合成処理は、第４の実施の形態において複数回の処理に分けて実行される。なお、第２の実施の形態に係る処理ステップと同じものには同じ符号を付して説明を省略する。第４の実施の形態において、第２の実施の形態に係る処理手順に対して、Ｓ２０８の後にＳ２０９が追加され、Ｓ２１２、Ｓ２１４、Ｓ２１６は、それぞれＳ２１３、Ｓ２１５、Ｓ２１７に置き換えられている。

図１７Ａは、画像処理部３００が第１回目に実行する処理を示す。Ｓ２０９において、画像処理部３００は、補正画像Ａ₂と位置合せ画像Ｑ₂との間の相違度Ｄｆ₂を算出する。

第１回目のＳ２１０において条件（１）が成立する場合、Ｓ２１３において、画像処理部３００は、Ｓ１１７ａと同じ処理を行って前述の式（２）の計算をして出力する。条件（２）が成立する場合、Ｓ２１５において、画像処理部３００は、Ｓ１１７ｂと同じ処理を行って、前述の式（１０）（１１）の計算をして出力する。条件（３）が成立する場合、Ｓ２１７において、画像処理部３００は、位置合せ画像Ｑ₂と補正画像Ａ₂の画素値を混合して中間画像Ｂ₂の画素値を生成して出力する。条件（１）から条件（３）のいずれも成立しない場合、何もせずルーチンはＳ２２０に進む。

図１７Ｂは、画像処理部３００が、第１回目以降において、非基準画像データｘ（３≦ｘ＜ｎ）に対して行う第（ｘ−１）回目に実行する処理を示す。 第（ｘ−１）回目のＳ２１０において条件（ｘ−１）が成立する場合、Ｓ２１３において、画像処理部３００は、前回のＳ２１５で得た画素値Ｓ（ｉ，ｊ）をそのまま出力する。条件（ｘ）が成立する場合、ルーチンはＳ２１５に進む。Ｓ２１５において、画像処理部３００は、下記の式（１７）のように、階調変換特性情報Ｇ（ｉ，ｊ）の値と閾値ＴＨ_x-1、ＴＨ_xと相違度Ｄｆ_xに基づく混合比率で、前回のＳ２１７の出力（中間画像Ｂ_x-1）と位置合せ画像Ｑ_xと補正画像Ａ_xの画素値を混合して、出力画像Ｓの画素値Ｓ（ｉ，ｊ）として出力する。

条件（ｘ＋１）が成立する場合、Ｓ２１７において、画像処理部３００は、位置合せ画像Ｑ_xと補正画像Ａ_xの画素値を混合して中間画像Ｂ_xの画素値を生成して出力する。条件（ｘ−１）から条件（ｘ＋１）のいずれも成立しない場合、何もせずルーチンはＳ２２０に進む。

図１７Ｃは、画像処理部３００が、第（ｎ−１）回目に実行する処理を示す。画像処理部３００は、ｘ＝ｎとして、Ｓ２００からＳ２１５において、第（ｘ−１）回目に実行する処理を前述と同様に行う。ただし、Ｓ２１０において条件（ｎ＋１）が成立する場合、Ｓ２１７において、画像処理部３００は、Ｓ１１７ｅと同じ処理を行って、前述の式（１６）の計算をして出力する。

第４の実施の形態によると、画像処理部３００は、画像合成処理を複数回の処理に分けて実行する。このため、処理の規模が小さくなり、記憶部１６０などのメモリの容量を削減できる。

以上、第１から第４の実施の形態においては、階調変換特性情報Ｇ（ｉ，ｊ）に基づいて二つの入力画像データが選択され、これらの入力画像データの画素値が混合される例について説明したが、本発明はこの例に限られるものではない。すなわち、階調変換特性情報Ｇ（ｉ，ｊ）に基づいて、三つ以上の入力画像データが選択され、選択されたこれらの入力画像データの画素値が混合されてもよい。

以上に説明した第１の実施の形態および第４の実施の形態においては、入力画像データの画素値Ｐ_n（ｉ，ｊ）の詳細について、説明を単純化して理解を容易にすることを目的として、詳しく触れなかったが、以下のようにすることが可能である。入力画像データがいわゆるＲＧＢ画像データである場合、Ｒ、Ｇ、Ｂの各画素値に対して以上に説明した処理をすることが可能である。入力画像データがＹＣｂＣｒ、Ｌａｂ等の表色系で表されるものである場合、Ｙ、Ｃｂ、Ｃｒ、あるいはＬ、ａ、ｂの各値に対して以上に説明した処理をしてもよいし、Ｙ値、Ｌ値のみに対して以上に説明した処理をしてもよい。

以上の第１から第４の実施の形態において、閾値ＴＨ₁〜ＴＨ_nは、一連のブラケティング露光が行われる際の露光補正ステップおよび露光回数に基づいて自動的、あるいはユーザ設定によって設定される例について説明した。また、階調変換特性をスペースバリアントに導出し、導出されたそれぞれの階調変換特性から階調変換特性情報Ｇ（ｉ，ｊ）を導出することも可能であることについて説明した。これに代えて、階調変換特性としては基準画像データ全体から一つの特性を導出して各画素位置（ｉ，ｊ）に対応する階調変換特性情報Ｇ（ｉ，ｊ）を導出し、閾値ＴＨ₁〜ＴＨ_nがスペースバリアントに設定されるようにしてもよい。この場合、スペースバリアントな閾値ＴＨ₁〜ＴＨ_nは、一連のブラケティング露光が行われる際の露光補正ステップおよび露光回数と、基準画像データを解析した結果とに基づいて導出することが可能である。また、第１から第４の実施の形態において、閾値ＴＨ₁〜ＴＨ_nと階調変換特性情報としての増幅率Ｇ（ｉ，ｊ）は、真数で表したが、２を底とする対数表現で表してもよい。

以上に説明した画像処理装置は、デジタルスチルカメラ、静止画撮影が可能なデジタルムービーカメラ、カメラ付き携帯電話やＰＤＡ、可搬型コンピュータ等に内蔵可能である。また、コンピュータ上で画像処理プログラムが実行されて画像処理装置が実現されてもよい。

このように、本発明は上記の各実施形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。

１００ … デジタルカメラ
１１０ … 撮影光学系
１１２ … レンズ駆動部
１２０ … 撮像部
１３０ … 画像記録媒体
１５０、２８０、３５０ … 表示部
１６０ … 記憶部
１９０ … ＤＳＰ（ディジタル・シグナル・プロセッサ）
２００ … コンピュータ
２１０ … ＣＰＵ
２２０ … メモリ
２３０ … 補助記憶装置
２５０ … メモリカードインターフェース
２６０ … 光ディスクドライブ
２７０ … ネットワークインターフェース
３００ … 画像処理部
３１０ … 階調変換特性導出部
３２０ … 画像合成処理部
３３０ … 画像取得部
３６０ … 画像記録部
３７０ … 選択部／混合部
４１０ … 正規化部
４２０ … 位置合せ処理部
４２０ａ … 位置合せ処理・相違度算出部

Claims (11)

1. 同一被写体を撮影して得られた異なる露光量の複数の入力画像中から、基準画像を設定し、当該基準画像から階調変換特性を導出する階調変換特性導出部と、
   前記基準画像以外の非基準画像の露光量と前記基準画像の露光量とに基づいて前記基準画像の明るさを補正した補正画像を生成する正規化部と、
   前記補正画像と前記非基準画像との間の位置ずれ量を算出し、前記位置ずれ量に基づいて前記非基準画像を前記基準画像に位置合せした位置合せ画像を生成する位置合せ処理部と、
   前記階調変換特性に基づいて前記基準画像と前記位置合せ画像の中から選択された一または複数の画像中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像を生成する画像合成処理部と
   を備えることを特徴とする画像処理装置。
2. 前記階調変換特性導出部は、前記階調変換特性として前記基準画像中の各画素値に対する増幅率を導出し、
   画像合成処理部は、前記増幅率に応じて前記基準画像と前記位置合せ画像の中から二以上の画像を選択し、前記増幅率に基づいて導出される混合比率で前記選択された二以上の画像の画素値を混合し、前記新たな画素値を導出することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正画像と前記非基準画像との間の相違度を算出する相違度算出部を備え、
   前記画像合成処理部は、前記増幅率に基づいて前記基準画像と前記位置合せ画像と前記補正画像の中から前記二以上の画像を選択し、前記増幅率と前記相違度とに基づいて導出される混合比率で前記選択された二以上の画像の画素値を混合し、前記新たな画素値を導出することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像合成処理部は、前記相違度に対する所定の関数に基づいて導出される混合比率で前記位置合せ画像と前記補正画像の画素値を混合することを特徴とする請求項３に記載の画像処理装置。
5. 前記画像合成処理部は、前記相違度が小さいほど前記位置合せ画像の混合比率が大きくなるように前記位置合せ画像の混合比率を導出することを特徴とする請求項３に記載の画像処理装置。
6. 前記画像合成処理部は、前記複数の入力画像のそれぞれを得る際に設定される露光量に応じて閾値を設定し、前記増幅率と前記閾値に基づいて導出される混合比率で前記選択された二以上の画像の画素値を混合することを特徴とする請求項２に記載の画像処理装置。
7. 前記階調変換特性導出部は、前記基準画像中で複数に分割されたそれぞれの領域ごとに前記階調変換特性を導出することを特徴とする請求項１に記載の画像処理装置。
8. 位置合せ処理部は、複数の非基準画像を前記基準画像に位置合せして複数の位置合せ画像を生成し、
   画像合成処理部は、前記階調変換特性に基づいて前記複数の位置合せ画像の中から選択された一または複数の画像中の画素値を用いて新たな画素値を導出することを画素ごとに行い、前記合成画像を生成することを特徴とする請求項１に記載の画像処理装置。
9. 同一被写体を撮影して得られた異なる露光量の複数の入力画像中から基準画像を設定することと、
   前記基準画像から階調変換特性を導出することと、
   前記基準画像以外の非基準画像の露光量と前記基準画像の露光量とに基づいて前記基準画像の明るさを補正した補正画像を生成することと、
   前記補正画像と前記非基準画像との間の位置ずれ量を算出し、前記位置ずれ量に基づいて前記非基準画像を前記基準画像に位置合せした位置合せ画像を生成する位置合せ処理部ことと、
   前記階調変換特性に基づいて前記基準画像と前記位置合せ画像から選択された一または複数の画像中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像を生成することと
   を備えることを特徴とする画像処理方法。
10. 同一被写体を撮影して得られた異なる露光量の複数の入力画像を合成して階調の改善された合成画像を生成する処理をコンピュータに実行させるための画像処理プログラムであって、
    前記複数の入力画像の中から基準画像を設定する基準画像設定ステップと、
    前記基準画像から階調変換特性を導出する階調変換特性導出ステップと、
    前記基準画像以外の非基準画像の露光量と前記基準画像の露光量とに基づいて前記基準画像の明るさを補正した補正画像を生成する正規化ステップと、
    前記補正画像と前記非基準画像との間の位置ずれ量を算出し、前記位置ずれ量に基づいて前記非基準画像を前記基準画像に位置合せした位置合せ画像を生成する位置合せ処理ステップと、
    前記階調変換特性に基づいて前記基準画像と前記位置合せ画像から選択された一または複数の画像中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像を生成する画像合成ステップと
    を備えることを特徴とする画像処理プログラム。
11. 撮影レンズによって形成された被写体像を光電変換して画像信号を出力可能な撮像部を備える撮影装置であって、
    前記撮像部において、同一被写体を撮影して異なる露光量の複数の入力画像を得る撮像制御部と、
    前記複数の入力画像の中から基準画像を設定し、当該基準画像から階調変換特性を導出する階調変換特性導出部と、
    前記基準画像以外の非基準画像の露光量と前記基準画像の露光量とに基づいて前記基準画像の明るさを補正した補正画像を生成する正規化部と、
    前記補正画像と前記非基準画像との間の位置ずれ量を算出し、前記位置ずれ量に基づいて前記非基準画像を前記基準画像に位置合せした位置合せ画像を生成する位置合せ処理部と、
    前記階調変換特性に基づいて前記基準画像と前記位置合せ画像の中から選択された一または複数の画像中の画素値を用いて新たな画素値を導出することを画素ごとに行い、合成画像を生成する画像合成処理部と
    を備えることを特徴とする撮影装置。

Images