JP2011029695A - 画像処理装置、画像処理プログラム - Google Patents

Abstract

【課題】 本発明の目的は、不自然さの少ない良好な合成画像を得ることができる画像処理装置および画像処理プログラムを提供することである。
【解決手段】 本発明の画像処理装置（１９，１６）は、同一シーンにおいて撮影された露光量の異なる複数枚の画像を合成してダイナミックレンジを拡大させた合成画像を生成する画像処理装置であって、複数枚の画像を重み付け加算することにより合成する合成手段（１９）と、複数枚の画像のうちの基準となる露出条件で撮影された基準画像を基に合成手段による合成結果のゲイン調整を行い、その調整後の合成結果を合成画像として生成する生成手段（１９）とを備える。
【選択図】 図１

Description

本発明は、画像処理装置および画像処理プログラムに関する。

従来、露光量の異なる複数の画像を合成してダイナミックレンジを拡大させた合成画像を得るための技術が提案されているが、その画像合成においては擬似輪郭の発生が問題となっている。

そこで、画像合成による擬似輪郭の発生を抑制するための従来技術の一例として、例えば、特許文献１には、合成に使用する画像（合成対象画像）の画素値の統計を基に閾値を算出する。そして、その閾値によって決定された領域に含まれる画素の画素値を合成対象画像間で置換することにより画像合成を行うという手法が開示されている。

特許第３４２０３０３号公報

この従来の手法によれば、画像合成による擬似輪郭の発生を或る程度抑制することができる。

しかしながら、この手法では、合成処理を単純な画素値の置換によって行っているため、合成対象画像がその低輝度部分や高輝度部分に輝度変化の滑らかな構造を有するものである場合には、擬似輪郭が依然発生してしまっていた。そのため、結果として、不自然な合成画像が得られていた。

本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、不自然さの少ない良好な合成画像を得ることができる画像処理装置および画像処理プログラムを提供することである。

第１の発明の画像処理装置は、同一シーンにおいて撮影された露光量の異なる複数枚の画像を合成してダイナミックレンジを拡大させた合成画像を生成する画像処理装置であって、複数枚の画像を重み付け加算することにより合成する合成手段と、複数枚の画像のうちの基準となる露出条件で撮影された基準画像を基に合成手段による合成結果のゲイン調整を行い、その調整後の合成結果を合成画像として生成する生成手段とを備える。

第２の発明は、第１の発明において、生成手段は、基準画像に含まれる輝度レベルが所定範囲にある画素と、当該画素と対応する合成結果に含まれる画素との輝度差から算出したゲイン調整量を用いて、合成結果のゲイン調整を行う。

第３の発明は、第１または第２の発明において、基準画像の露光量が複数枚の画像のうちの基準画像以外の画像の露光量よりも多い場合、合成手段は、重み付け加算を行うときに、基準画像の中間輝度から低輝度の部分に対しては重みを大きくし、輝度の高い部分に対しては輝度が高くなるに従って重みが小さくなるように重み付けを行い、複数枚の画像のうちの基準画像以外の画像の中間輝度から低輝度の部分に対しては重みを小さくし、輝度の高い部分に対しては輝度が高くなるに従って重みが大きくなるように重み付けを行う。

第４の発明は、第１ないし第３の発明の何れか一の発明において、複数枚の画像は、画像信号成分がリニア特性の状態にある画像であり、複数枚の画像のうちの基準画像以外の画像と基準画像との露光量の差が既知である。

第５の発明の画像処理プログラムは、同一シーンにおいて撮影された露光量の異なる複数枚の画像を合成してダイナミックレンジを拡大させた合成画像を生成する画像処理プログラムであって、第１ないし第３の発明の何れか一の発明の合成手段及び生成手段が行う処理をコンピュータに実行させる。

本発明を利用すれば、不自然さの少ない良好な合成画像を得ることができる。

本発明を適用したデジタルカメラの構成を示すブロック図。 ダイナミックレンジ拡大機能有効時の本撮影の動作を示すフローチャート。 重み関数の特性を示す図。

以下、本発明の実施形態を説明する。本実施形態は、デジタルカメラの実施形態である。

図１は、本実施形態のデジタルカメラの構成を示すブロック図である。

デジタルカメラは、撮影レンズ１１およびレンズ駆動部１２と、撮像素子１３と、アナログ信号処理部１４と、タイミングジェネレータ（ＴＧ）１５と、バッファメモリ１６と、画像処理部１７と、モニタ１８と、制御部１９と、圧縮／復号部２０と、記録媒体２１と、操作部２２と、バス２３とを有している。ここで、バッファメモリ１６、画像処理部１７、モニタ１８、制御部１９、圧縮／復号部２０、記録媒体２１は、バス２３を介して接続されている。また、レンズ駆動部１２、アナログ信号処理部１４、ＴＧ１５、操作部２２は、それぞれ制御部１９に接続されている。

撮影レンズ１１は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成されている。なお、簡単のため、図１では撮影レンズ１１を１枚のレンズとして図示している。

レンズ駆動部１２は、制御部１９の指示に応じてレンズ駆動信号を発生し、撮影レンズ１１を光軸方向に移動させてフォーカス調整やズーム調整を行うと共に、撮影レンズ１１を通過した光束による被写体像を撮像素子１３の受光面に形成する。

撮像素子１３は、ＣＣＤ型やＣＭＯＳ型の撮像素子であり、撮影レンズ１１の像空間側に配置されている。撮像素子１３は、受光面に形成された被写体像を光電変換してアナログ画像信号を生成する。この撮像素子１３の出力はアナログ信号処理部１４に接続されている。

アナログ信号処理部１４は、制御部１９の指示に応じて、撮像素子１３から出力されたアナログ画像信号に対し、ＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換などのアナログ信号処理を施すと共に、処理後の画像信号を出力する。また、アナログ信号処理部１４は、制御部１９の指示に基づいてゲイン調整の調整量を設定し、それによってＩＳＯ感度に相当する撮像感度の調整を行う。なお、アナログ信号処理部１４の出力はバッファメモリ１６に接続されている。

ＴＧ１５は、制御部１９の指示に基づき撮像素子１３およびアナログ信号処理部１４に対してタイミングパルスを供給する。撮像素子１３およびアナログ信号処理部１４の駆動タイミングはそのタイミングパルスによって制御される。

バッファメモリ１６は、アナログ信号処理部１４から出力される画像信号を画像データとして一時的に記憶する。また、バッファメモリ１６は、制御部１９による処理の過程で作成された画像データを一時的に記憶する。

画像処理部１７は、制御部１９の指示に応じて、バッファメモリ１６の画像データに対し、ホワイトバランス調整、補間、輪郭強調、ガンマ補正などの画像処理を施す。なお、画像処理部１７は、ＡＳＩＣなどとして構成される。

モニタ１８は、デジタルカメラ筐体の背面などに設けられたＬＣＤモニタや、接眼部を備えた電子ファインダなどであり、制御部１９の指示に応じて各種の画像を表示する。

圧縮／復号部２０は、制御部１９の指示に応じて、バッファメモリ１６の画像データに圧縮処理を施す。なお、圧縮処理は、ＪＰＥＧ（Joint Photographic Experts Group）形式などによって行われる。

記録媒体２１は、メモリカード、小型ハードディスク、ＤＶＤ等の光ディスクなどで構成される。なお、記録媒体２１は、デジタルカメラに内蔵されるものであっても、着脱可能に装着されるものであってもよいし、外部に設けられるものであってもよい。外部に設けられる場合、記録媒体２１とデジタルカメラとは、有線または無線で電気的に接続される。

操作部２２は、モード設定ボタン、レリーズボタン、メニューボタンなどの各種の操作部材を含み、ユーザーによるそれらの操作内容に応じた操作信号を制御部１９に送る。

制御部１９は、ユーザーによる操作部材の操作内容に応じて、デジタルカメラの各部を統括制御する。

例えば、モード設定ボタン等の操作によりデジタルカメラが撮影モードに設定されると、制御部１９は、レンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５を駆動してスルー画像の撮影を開始する。このとき、撮像素子１３はドラフトモード（間引き読み出しモード）で駆動され、スルー画像の画像データがアナログ信号処理部１４を介してバッファメモリ１６へ順次記録される。制御部１９は、そのスルー画像の画像データを基に、レンズ駆動部１２と協働して撮像レンズ１１の焦点調節制御（ＡＦ）を行う。また、制御部１９は、不図示の測光部を駆動して、バッファメモリ１６のスルー画像の画像データを基に被写体や撮影シーンの評価値を算出させると、その評価値に基づきアナログ信号処理部１４などの設定内容を調整する。また、制御部１９は、画像処理部１７を駆動してバッファメモリ１６のスルー画像の画像データに画像処理を施すと共に、その画像処理後のスルー画像の画像データをモニタ１８に順次表示させる（ライブビュー表示）。

次に、撮影モードで動作中にレリーズボタンが半押しされると、制御部１９は、本撮影に先立ち、レンズ駆動部１２と協働して撮像レンズ１１の焦点調節制御（ＡＦ）を行う。

また、撮影モードで動作中にレリーズボタンが全押しされると、制御部１９は、不図示の測光部が算出した評価値等に基づき露出条件（絞り値、シャッター速度など）を決定する。そして、制御部１９は、決定した露出条件の下でレンズ駆動部１２、アナログ信号処理部１４およびＴＧ１５を駆動して本撮影を実施する。このとき、撮像素子１３はフレームモード（全画素読み出しモード）で駆動され、撮影された本画像の画像データがアナログ信号処理部１４を介してバッファメモリ１６へ記録される。この後、制御部１９は、画像処理部１７を駆動して、バッファメモリ１６に記録された本画像の画像データに対し画像処理を施す。また、制御部１９は、その画像処理後の本画像をモニタ１８に表示させる。そして、制御部１９は、圧縮／復号部２０を駆動して、画像処理後の本画像の画像データに対し圧縮処理を施すと共に、圧縮処理後の本画像の画像データを記録媒体２１へ記録する。但し、デジタルカメラが非圧縮記録モードに設定されている場合には、制御部１９は、圧縮／復号部２０を駆動することなく、画像処理後の本画像の画像データを非圧縮のまま記録媒体２１へ記録する。

ところで、本実施形態のデジタルカメラは、同一シーンを撮影した露光量の異なる複数枚の画像を合成してダイナミックレンジを拡大させた合成画像（広ダイナミックレンジ画像）を作成する機能（ダイナミックレンジ拡大機能）を有している。

以下、この機能について、本実施形態のデジタルカメラが行う動作を、図２のフローチャートを参照して説明する。図２のフローチャートの処理は、ダイナミックレンジ拡大機能が有効に設定されている場合において、ユーザーがレリーズボタンを全押ししてデジタルカメラに本撮影を指示したときに実行されるものである。

ステップ１０１（Ｓ１０１）：制御部１９は、ユーザーが設定した、或いは自動露出により決定した露出条件に基づき本撮影を実施する。なお、撮影された本画像は、アナログ信号処理部１４を介してバッファメモリ１６へ記録される。以下、このように取得されたバッファメモリ１６の本画像を基準画像と称する。

ステップ１０２：制御部１９は、上記の基準画像を撮影した露出条件（基準露出条件）を基準にして、それとは異なる露出条件で本撮影を一回以上実施する。具体的には、制御部１９は、例えば、露出ブラケット撮影のように、基準露出条件を示すＥｖ値を「＋ｎ」段、或いは「−ｎ」段変更しながら本撮影を一回以上実施する。なお、撮影された本画像（一枚以上）は、アナログ信号処理部１４を介してバッファメモリ１６へ記録される。以下、このように取得されたバッファメモリ１６の本画像を参照画像と称する。

なお、本実施形態のデジタルカメラでは、基準画像と参照画像（一枚以上）とを撮影する際に、撮像素子１３の電荷蓄積時間を制御する所謂電子シャッターによりシャッター速度を変化させてそれら画像間の露光量を変えるようにしている。また、同時に、それら画像間の被写界深度が変化して合成が困難とならないように、撮影中は絞り（不図示）を固定するようにしている。

本実施形態のデジタルカメラは、このようにして取得される同一シーンを撮影した露光量の異なる複数枚の画像、即ち、基準画像および一枚以上の参照画像を合成して、広ダイナミックレンジ画像を作成する。

以下、ステップ１０３以降に、その作成に係る動作の詳細を示す。

なお、以下では、簡単のため、参照画像が一枚であるとして説明を行う。

また、その参照画像は、基準露出条件を示すＥｖ値から「−ｎ」段変更された露出条件で撮影されたものであるとして説明を行う。これは、本説明においては、自動露出撮影で白飛びが発生する高輝度な光源を含むシーンを撮影した場合を想定しており、基準画像に写った当該光源の部分は白飛びしているが、参照画像の当該光源の部分は白飛びせず良好に写っていることを前提とするためである。但し、その場合、アンダー露出で撮影された参照画像の中間輝度から低輝度の部分にはノイズや黒つぶれの発生することが考えられるが、それも前提の範囲である。

また、以下の説明では、基準画像および参照画像の画素位置（ｘ，ｙ）における画素値を下記の（式１）のように表すこととする。

ステップ１０３：制御部１９は、画像信号のレベルを基準画像に合わせるように参照画像のゲイン調整を行う。具体的には、下記の（式２）によって参照画像の輝度信号のゲインを調整する。なお、合成に複数枚（二枚以上）の参照画像を使用する場合は、参照画像毎に露光量が異なるため、ゲイン調整をそれぞれ個別に行うようにする。

なお、（式２）の冪指数「ｎ」（負符号は除く）は、上記で参照画像を撮影した際の露出条件を示すものであり、基準露出条件を示すＥｖ値から変更した段数を表している。本説明においては「−ｎ」段変更されたものとしているため、負符号を含めた冪指数は「−（−ｎ）」となる。

ステップ１０４：制御部１９は、基準画像と参照画像（ゲイン調整後のもの）とを合成して合成画像を作成する。具体的には、制御部１９は、下記の（式３）を用いた重み付け加算によって合成を行うことで合成画像を作成する。なお、ここでは、基準画像、参照画像共に全画素を重み付け加算の対象として扱うこととしている。

（式３）の「Ｗ0」は、基準画像（輝度成分ｆ_Y）に対して重み付けを行う関数である。この重み関数「Ｗ0」は、図３（１）に示すように、入力となるｆ_Yに対して、曲線Ｗ0で示すような重み付けを行う。つまり、重み関数「Ｗ0」は、基準画像の中間輝度から低輝度の部分に対しては重みを大きくし、輝度の高い部分に対しては輝度が高くなるに従って重みが小さくなるように重み付けを行う。これは、中間輝度から低輝度の部分については、露光量が適正となるように撮影された基準画像の情報が良好なためである。

また、（式３）の「Ｗn」は、参照画像（輝度成分ｇ_Y）に対して重み付けを行う関数である。この重み関数「Ｗn」は、図３（２）に示すように、入力となるｇ_Yに対して、曲線Ｗnで示すような重み付けを行う。つまり、重み関数「Ｗn」は、先の「Ｗ0」とは逆に、参照画像の中間輝度から低輝度の部分に対しては重みを小さくし、輝度の高い部分に対しては輝度が高くなるに従って重みが大きくなるように重み付けを行う。これは、輝度の高い部分については、基準画像よりも露光量が少なくなるように撮影された参照画像の情報が良好なためである。

なお、重み関数「Ｗn」は、撮影時の露出条件によって参照画像の露光量が少なくなるほど輝度の高い部分の重みが大きくなるような特性の関数とする。

また、（式３）によって合成を行う際には、合成する画素位置（ｘ，ｙ）で重みの合計が「１」になるように正規化を行うようにする。

ところで、（式３）では、輝度成分のみを基にして重みを算出し、またＲ，Ｇ，Ｂの色成分の全てに同じ重みを掛けるようにしている。そのため、合成結果に、合成に使用した個々の画像の色バランスが、保持されたままの状態で確実に反映されることとなる。

また、（式３）では、基準画像において高輝度部分で色が無彩色になる箇所が有る場合にも、輝度の高い部分の情報が良好な参照画像のそれと対応する箇所の重みが大きくなるように重み付けがされるため、合成結果に、色情報が確実に反映されることとなる。

制御部１９は、上記の（式３）により基準画像と参照画像との合成を行うと、その合成結果の「ｈ_R（ｘ，ｙ）、ｈ_G（ｘ，ｙ）、ｈ_B（ｘ，ｙ）」を合成画像としてバッファメモリ１６へ記録する。このようにして合成画像が作成される。

ステップ１０５：制御部１９は、基準画像との輝度差に基づき合成画像のゲイン調整量を算出する。具体的には、制御部１９は、基準画像中の輝度レベルが中間輝度から低輝度である画素について、下記の（式４）により、当該画素と合成画像中の当該画素に対応する画素との輝度レベルの差「Ｅ」が最小となる「ｇａｉｎ」を求め、その求めた「ｇａｉｎ」の値をゲイン調整量として算出する。ゲイン調整量をこのような方法で算出するのは、例えば、単純に基準画像と合成画像の２画像間で輝度平均を揃えるようにゲイン調整量を算出した場合、そのゲイン調整量を使用して合成画像のゲイン調整を行うと合成画像中の輝度の高い部分が飽和してしまうことが考えられるためである。

ステップ１０６：制御部１９は、合成画像のゲイン調整を行う。具体的には、制御部１９は、算出したゲイン調整量をバッファメモリ１６の合成画像の輝度成分に乗算する。これにより、上記の（式３）による合成結果において画像全体の輝度が変化してしまった場合にも、画像信号のレベルが、露光量が適正となるように撮影された基準画像に合わせるように調整されるため、調整後の合成画像は、画像合成による不自然さの少ない良好な画像となる。

ステップ１０７：制御部１９は、画像処理部１７を駆動してバッファメモリ１６の合成画像に対し輪郭強調やガンマ補正などの必要な画像処理を施す。また、制御部１９は、モニタ１８を駆動して画像処理後の合成画像をＬＣＤモニタ等に表示する。そして、制御部１９は、圧縮／復号部２０を駆動して画像処理後の合成画像に圧縮処理を施し、その圧縮後の合成画像を記録媒体２１へ記録すると、本フローチャートの処理を終了する。

このようにして、本実施形態のデジタルカメラは、同一シーンを撮影した露光量の異なる複数枚の画像、即ち、基準画像と参照画像とを合成して、ダイナミックレンジを拡大させた合成画像の広ダイナミックレンジ画像を作成する。

（実施形態の補足事項）
なお、本実施形態では、制御部１９が基準画像と参照画像とを使用して広ダイナミックレンジ画像を合成するようにしたが、その画像合成の処理は、画像処理部１７が制御部１９の指示に応じて行うようにしてもよい。或いは、その画像合成用の回路を設けて、その回路が制御部１９の指示に応じて行うようにしてもよい。

また、上記では、基準画像と一枚の参照画像とを合成して広ダイナミックレンジ画像を作成する動作を説明したが、もちろん、基準画像と複数枚（二枚以上）の参照画像とを合成して広ダイナミックレンジ画像を作成することもできる。

また、上記では、参照画像を基準画像よりもアンダー露出で撮影した場合の合成処理を説明したが、もちろん、上記の処理は、参照画像を基準画像よりもオーバー露出で撮影する場合にも適用可能である。なお、その場合、（式３）では、上記とは反対に、基準画像（輝度成分ｆ_Y）に対しては重み関数「Ｗn」を使用して重み付けを行い、一方、参照画像（輝度成分ｇ_Y）に対しては重み関数「Ｗ0」を使用して重み付けを行うようにする。また、（式４）では、基準画像中の輝度レベルの高い部分の画素について、当該画素と合成画像中の当該画素に対応する画素との輝度レベルの差「Ｅ」が最小となる「ｇａｉｎ」を求め、その求めた「ｇａｉｎ」の値をゲイン調整量として算出するようにする。

（実施形態の作用効果）
本実施形態のデジタルカメラでは、基準画像と参照画像（ゲイン調整後のもの）との合成が、重み付け加算によって行われる。そのため、従来技術のように、算出した閾値によって合成する領域を定め、その領域に含まれる画素の画素値を合成対象の画像間で置換することにより画像合成を行う場合と比べて、合成対象画像がその低輝度部分や高輝度部分に輝度変化の滑らかな構造を有するものである場合にも階調飛びや擬似輪郭が発生しにくいので、不自然さの少ない良好な合成画像が得られる。

また、本実施形態のデジタルカメラでは、参照画像を基準画像よりもアンダー露出で撮影する場合、つまり、基準画像の露光量が参照画像（ゲイン調整後のもの）の露光量よりも多い場合において、基準画像と参照画像とに対する重み付けが次のように行われる。基準画像の中間輝度から低輝度の部分に対しては重みを大きくし、輝度の高い部分に対しては輝度が高くなるに従って重みが小さくなるように重み付けが行われる。一方、参照画像の中間輝度から低輝度の部分に対しては重みを小さくし、輝度の高い部分に対しては輝度が高くなるに従って重みが大きくなるように重み付けが行われる。

即ち、中間輝度から低輝度の部分については露光量が適正となるように撮影された基準画像の情報の重みが大きくなり、輝度の高い部分については基準画像よりも露光量が少なくなるように撮影された参照画像の情報の重みが大きくなるように重み付けが行われる。そのため、重み付け加算による合成結果として、不自然さの少ない良好な合成画像が得られる。

また、本実施形態のデジタルカメラでは、参照画像を基準画像よりもアンダー露出で撮影する場合において、基準画像中の輝度レベルが中間輝度から低輝度である画素と、合成画像中の当該画素に対応する画素との輝度差から算出したゲイン調整量を使用して、合成画像のゲイン調整が行われる。そのため、重み付け加算によって合成結果（合成画像）での画像全体の輝度が変化してしまった場合にも、画像信号のレベルが、露光量が適正となるように撮影された基準画像に合わせるように調整される。これにより、調整後の合成画像は、画像合成による不自然さの少ない良好な画像となる。

よって、本実施形態のデジタルカメラによれば、不自然さの少ない良好な合成画像を得ることができる。

（その他）
なお、上述した広ダイナミックレンジ画像を作成するための画像合成処理に使用する基準画像および参照画像は、ガンマ補正（ガンマ変換）等が施されていない画像信号成分がリニア特性の状態のものである必要がある。そのため、画像合成処理にガンマ補正（ガンマ変換）等の画像処理が施された基準画像および参照画像を用いる場合には、画像信号成分をリニア特性の状態に戻すため、それら基準画像および参照画像に対し、一旦、逆ガンマ補正（逆ガンマ変換）を施した後で、画像合成を行うようにする。

また、上述したデジタルカメラの動作に係るプログラムのうち、特に、ステップ１０３〜ステップ１０７の処理については、コンピュータなどの外部処理装置に実行させるようにしてもよい。そうした場合、必要なプログラムが、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記憶媒体やインターネット等の通信網などを介して外部処理装置へインストールされる。また、そうした場合、デジタルカメラなどの撮像装置で撮影した基準画像と一枚以上の参照画像とを、当該プログラムを実行する外部処理装置へ入力するようにする。なお、基準画像および参照画像の露出条件は、各画像ファイルの、例えば、画像ファイルがＥｘｉｆ規格に基づくものであればＭａｋｅｒＮｏｔｅタグなどのタグ情報として撮像装置側で記録しておくようにする。

また、上記ではデジタルカメラ（デジタルスチルカメラ）の実施例を説明したが、本発明は、画像の撮影が可能な他の機器、例えば、携帯電話機やデジタルビデオカメラなどにも適用することができる。さらに、本発明は、撮像素子を用いて取得した画像により被検体の観察を行うことが可能な顕微鏡などにも適用することができる。

１１…撮影レンズ，１２…レンズ駆動部，１３…撮像素子，１４…アナログ信号処理部，１５…タイミングジェネレータ（ＴＧ），１６…バッファメモリ，１７…画像処理部，１８…モニタ，１９…制御部，２０…圧縮／復号部，２１…記録媒体，２２…操作部，２３…バス

Claims (5)

1. 同一シーンにおいて撮影された露光量の異なる複数枚の画像を合成してダイナミックレンジを拡大させた合成画像を生成する画像処理装置であって、
   前記複数枚の画像を重み付け加算することにより合成する合成手段と、
   前記複数枚の画像のうちの基準となる露出条件で撮影された基準画像を基に前記合成手段による合成結果のゲイン調整を行い、その調整後の合成結果を前記合成画像として生成する生成手段と
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記生成手段は、前記基準画像に含まれる輝度レベルが所定範囲にある画素と、該画素と対応する前記合成結果に含まれる画素との輝度差から算出したゲイン調整量を用いて、前記合成結果のゲイン調整を行う
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記基準画像の露光量が前記複数枚の画像のうちの前記基準画像以外の画像の露光量よりも多い場合、
   前記合成手段は、前記重み付け加算を行うときに、前記基準画像の中間輝度から低輝度の部分に対しては重みを大きくし、輝度の高い部分に対しては輝度が高くなるに従って重みが小さくなるように重み付けを行い、前記複数枚の画像のうちの前記基準画像以外の画像の中間輝度から低輝度の部分に対しては重みを小さくし、輝度の高い部分に対しては輝度が高くなるに従って重みが大きくなるように重み付けを行う
   ことを特徴とする画像処理装置。
4. 請求項１ないし請求項３の何れか一項に記載の画像処理装置において、
   前記複数枚の画像は、画像信号成分がリニア特性の状態にある画像であり、前記複数枚の画像のうちの前記基準画像以外の画像と前記基準画像との露光量の差が既知である
   ことを特徴とする画像処理装置。
5. 同一シーンにおいて撮影された露光量の異なる複数枚の画像を合成してダイナミックレンジを拡大させた合成画像を生成する画像処理プログラムであって、
   前記請求項１ないし請求項３の何れか一項に記載の前記合成手段及び前記生成手段が行う処理をコンピュータに実行させる
   ことを特徴とする画像処理プログラム。
   

Images