JP2011109638A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】良好な画質の高コントラスト画像を得ることができる画像処理装置及び画像処理方法を提供する。
【解決手段】本発明は、同一シーンを撮影した露光量の異なる複数枚の画像を合成して、ダイナミックレンジを拡大させた階調幅の広い高コントラスト画像を生成する画像処理装置(10)であり、前記複数枚の画像の輝度成分の情報に基づき基準画像を選定する選定手段(11)と、前記複数枚の画像の輝度成分の情報に基づき、前記複数枚のうちの前記基準画像を除いた残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出するゲイン算出手段(11)と、前記ゲインと、前記基準画像の輝度成分の情報とに基づき、前記残りの画像に対して適用する重みを算出する重み算出手段(11)と、前記の重みを用いて前記基準画像と前記残りの画像との重み付け合成を行うことにより高コントラスト画像を生成する生成手段(11)を備える。
【選択図】 図１

Description

本発明は、画像処理装置および画像処理方法に関する。

従来、同一シーンを撮影した露光量の異なる複数枚の画像を合成して、ダイナミックレンジを拡大させた階調幅の広い合成画像（高コントラスト画像）を得るための技術が提案されている（例えば、特許文献１）。

特開２００２−３０５６８４号公報

しかしながら、従来技術では、合成対象となる画像中に、輝度変化の滑らかな構造を持つ部分があったり、ノイズなどによる突出的な値（画素値）を有する画素が含まれている場合には、画質の良好な高コントラスト画像を得ることができなかった。具体的には、合成後の高コントラスト画像において、階調飛びが生じたり、ノイズ成分が残る或いはノイズ成分が強調されてしまっていた。

本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、良好な画質の高コントラスト画像を得ることができる画像処理装置および画像処理方法を提供することである。

第１の発明の画像処理装置は、同一シーンを撮影した露光量の異なる複数枚の画像を合成して、ダイナミックレンジを拡大させた階調幅の広い合成画像（高コントラスト画像）を生成する画像処理装置であって、前記複数枚の画像の輝度成分の情報に基づき基準画像を選定する選定手段と、前記複数枚の画像の輝度成分の情報に基づき、前記複数枚のうちの前記基準画像を除いた残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出するゲイン算出手段と、前記算出されたゲインと、前記基準画像の輝度成分の情報とに基づき、前記残りの画像に対して適用する重みを算出する重み算出手段と、前記算出された重みを使用して前記基準画像と前記残りの画像との重み付け合成処理を行うことにより前記高コントラスト画像を生成する生成手段とを備える。

第２の発明は、第１の発明において、選定手段は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い１枚の画像を、前記複数枚の中から前記基準画像として選定する。

第３の発明は、第１または第２の発明において、ゲイン算出手段は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出する。

第４の発明は、第１ないし第３の発明の何れか一の発明において、重み算出手段は、前記算出されたゲインの値が所定の値よりも小さい前記残りの画像に対しては、該画像の高輝度部分の重みが大きくなるように重みの算出を行い、前記算出されたゲインの値が所定の値よりも大きい前記残りの画像に対しては、該画像の低輝度部分の重みが大きくなるように重みの算出を行う。

第５の発明は、第１ないし第４の発明の何れか一の発明において、前記複数枚の画像は、画像信号成分がリニア特性の状態にある画像であり、前記複数枚のうちの１枚の画像は自動露出（ＡＥ）によって決定された又はユーザーによって指定された露出条件で撮影され、それを除いた残りの画像は、前記露出条件を基準とした異なる露出条件で撮影されたものである。

第６の発明の画像処理方法は、同一シーンを撮影した露光量の異なる複数枚の画像を合成して、ダイナミックレンジを拡大させた階調幅が広い合成画像（高コントラスト画像）を生成する画像処理方法であって、前記複数枚の画像の輝度成分の情報に基づき基準画像を選定する選定手順と、前記複数枚の画像の輝度成分の情報に基づき、前記複数枚のうちの前記基準画像を除いた残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出するゲイン算出手順と、前記算出されたゲインと、前記基準画像の輝度成分の情報とに基づき、前記残りの画像に対して適用する重みを算出する重み算出手順と、前記算出された重みを使用して前記基準画像と前記残りの画像との重み付け合成処理を行うことにより前記高コントラスト画像を生成する生成手順とを備える。

第７の発明は、第６の発明において、選定手順は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い１枚の画像を、前記複数枚の中から前記基準画像として選定する。

第８の発明は、第６または第７の発明において、ゲイン算出手順は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出する。

第９の発明は、第６ないし第８の発明の何れか一の発明において、重み算出手順は、前記算出されたゲインの値が所定の値よりも小さい前記残りの画像に対しては、該画像の高輝度部分の重みが大きくなるように重みの算出を行い、前記算出されたゲインの値が所定の値よりも大きい前記残りの画像に対しては、該画像の低輝度部分の重みが大きくなるように重みの算出を行う。

本発明を利用すれば、良好な画質の高コントラスト画像を得ることができる。

実施形態の画像処理装置の構成を示すブロック図。 高コントラスト画像作成に係る画像処理装置の動作を示すフローチャート。 縮小画像の輝度ヒストグラムの例を示す図。 コントラストの低い被写体を撮影した画像の輝度ヒストグラムの例を示す図。 高コントラスト画像を基に最終結果となる画像を作成する例を示す図。

以下、本発明の実施形態を説明する。

図１は、本実施形態の画像処理装置の構成を示すブロック図である。図１のとおり、本実施形態の画像処理装置は、画像処理装置１０と、それに接続される撮像ユニット２０とから構成される。

画像処理装置１０は、制御部１１と、撮像ユニット収容部１２と、バッファメモリ１３と、データ処理部１４と、圧縮／復号部１５と、記録媒体１６と、モニタ１７と、操作部１８と、システムバス１９とを有している。ここで、制御部１１、撮像ユニット収容部１２、バッファメモリ１３、データ処理部１４、圧縮／復号部１５、記録媒体１６、モニタ１７は、システムバス１９を介して接続されている。また、操作部１８は、制御部１１に接続されている。

撮像ユニット２０は、撮像ユニット収容部１２の収容ポート（不図示）を介して画像処理装置１０に接続される。なお、この接続は、ＩＥＥＥ１３９４やＵＳＢなどの規格に基づく通信ケーブルを用いて行われる。

撮像ユニット２０は、２次元マトリクス状に配置された多数の受光素子（画素）を半導体基板上に形成した撮像面を有する撮像素子と、撮像素子から出力された画像信号に、クランプ処理、感度調整（ゲイン調整）、Ａ／Ｄ変換などの信号処理を施し、その信号処理後の画像データを画像処理装置１０へ出力する信号処理回路などから構成される。なお、撮像ユニット２０の撮像素子は、例えば、ＣＣＤ型、或いは、ＣＭＯＳ型の撮像素子によって構成される。

また、撮像ユニット２０は、フォーカスレンズやズームレンズを含む複数のレンズ群で構成される撮影レンズおよび、その撮影レンズを光軸方向に移動させてフォーカス調整やズーム調整を行うレンズ駆動部を有している。なお、撮影レンズのフォーカス調整やズーム調整は、画像処理装置１０の制御部１１からの指示に応じて行われる。

撮像ユニット２０は、画像処理装置１０の制御部１１からの指示に基づき、撮像面に結像された被写体像の画像を撮影する。撮影時のＡＥ（自動露出）やＡＦ（自動焦点調節）の制御は、撮像ユニット２０が、画像処理装置１０の制御部１１からの指示に基づいて行う。或いは、撮像ユニット２０と画像処理装置１０の制御部１１とが協働して行う。撮影により撮像ユニット２０から出力される画像データは、撮像ユニット収容部１２を介して、画像処理装置１０のバッファメモリ１３へ出力される。

バッファメモリ１３には、撮像ユニット２０から出力された画像データが一時的に記録される。また、制御部１１による処理の過程で作成された画像データなどもこのバッファメモリ１３に一時的に記録される。

データ処理部１４は、制御部１１の指示に応じて、バッファメモリ１３に記録された画像データに対し、欠陥画素補正、シェーディング補正、ホワイトバランス調整、補間、輪郭強調、ガンマ補正などの画像処理を施す。なお、データ処理部１４は、ＡＳＩＣなどとして構成される。

圧縮／復号部１５は、制御部１１の指示に応じて、バッファメモリ１３の画像データに圧縮処理を施す。なお、圧縮処理は、ＪＰＥＧ（Joint Photographic Experts Group）形式などによって行われる。

記録媒体１６は、メモリカード、ハードディスク、光ディスク（ＤＶＤ等）などで構成される。なお、記録媒体１６は、画像処理装置１０に内蔵されるものであっても、着脱可能に装着されるものであってもよいし、外部に設けられるものであってもよい。外部に設けられる場合、記録媒体１６と画像処理装置１０とは有線または無線で電気的に接続される。

モニタ１７は、ＬＣＤディスプレイやＣＲＴディスプレイなどから構成される表示装置である。なお、モニタ１７は、画像処理装置１０に内蔵されるものであっても、外部に設けられるものであってもよい。外部に設けられる場合、モニタ１７と画像処理装置１０とは有線で電気的に接続される。

モニタ１７は、制御部１１の指示に応じて、画像処理前の画像の内容を表示したり、画像処理後の画像の内容を画像処理結果として表示したり、さらに、画像に施す画像処理の内容をユーザーに指示させる画像処理メニュー画面（ＧＵＩ）などを表示する。

操作部１８は、キーボード、また、マウスやトラックパッド等のポインティングデバイスなど、制御部１１に対してユーザーが指示を行うための各種の入力デバイスを含んでいる。ユーザーは、これらの入力デバイスを操作することで、制御部１１に対して、画像に施す画像処理の内容の指示や、その画像処理の実行の指示等を行うことができる。

ところで、本実施形態の画像処理装置は、同一シーンを撮影した露光量の異なる複数枚の画像を合成して、高コントラスト画像を作成する機能（高コントラスト画像作成機能）を有している。

以下、この機能について、本実施形態の画像処理装置が行う動作を、図２のフローチャートを参照して説明する。図２のフローチャートの処理は、撮像ユニット２０から出力された同一シーンを撮影した露光量の異なる複数枚の画像がバッファメモリ１３に記録されているときに、そのバッファメモリ１３の複数枚の画像を入力画像（１〜Ｎ）に指定して、高コントラスト画像作成機能の実行を指示した場合に呼び出されるものである。

なお、入力画像の指定および当該機能の実行指示は、例えば、ユーザーが、操作部１８の入力デバイスを操作して、モニタ１７に表示された画像処理メニュー画面（ＧＵＩ）から、「高コントラスト画像を作成する」という項目を選んで確定することなどによって行うことができる。

また、上記のような同一シーンを撮影した露光量の異なる複数枚の画像は、例えば、露出ブラケット撮影を実施することで取得することができる。その場合、それら複数枚のうちの１枚の画像はＡＥ（自動露出）によって決定された或いはユーザーによって指定された露出条件で撮影されるように、また、それ以外の残りの画像はその露出条件を基準とした異なる露出条件（基準の露出条件±ｎ段）で撮影されるように露出ブラケット撮影を行うとよい。

ステップ１０１（Ｓ１０１）：制御部１１は、指定された入力画像（１〜Ｎ）のそれぞれについて縮小画像を作成する。例えば、各入力画像の空間方向で、２×２画素或いは４×４画素の画素値の平均をとることなどによって縮小画像を作成する。なお、作成した縮小画像（１〜ｎ）は、バッファメモリ１３の入力画像（１〜Ｎ）とは別の領域に記録する。

ステップ１０２：制御部１１は、作成した縮小画像（１〜ｎ）のそれぞれについて輝度成分のヒストグラム（輝度ヒストグラム）を作成する。

ステップ１０３：制御部１１は、作成した輝度ヒストグラムをそれぞれ解析し、その解析結果に基づき、入力画像（１〜Ｎ）の中から基準画像となる１枚を選定する。

具体的には、先ず、輝度ヒストグラムの作成の基となった縮小画像の全画素数の例えば０．１％となる画素数（ｉ）を求める。なお、その縮小画像の全画素数に対する割合（０．１％など）は、撮像素子の欠陥画素、また、突出的な画素値やノイズ等、画像を構成する画素以外の領域の画素を、演算の対象に入れないようにするために指定する。

次に、作成した輝度ヒストグラムを使用して、例えば、ここでは図３の輝度ヒストグラムの例を用いるとすると、その横軸（輝度）の高輝度側（輝度値「２５５」）から低輝度側（輝度値「０」）に向けて、輝度ヒストグラムの縦軸（画素数）の値が先に求めた画素数（ｉ）と一致するところまで検索し、一致したところの横軸の値（輝度値）を「ｍａｘ（輝度最大値）」として抽出する。また、続けて、同輝度ヒストグラムの横軸（輝度）の低輝度側（輝度値「０」）から高輝度側（輝度値「２５５」）に向けて、輝度ヒストグラムの縦軸（画素数）の値が先に求めた画素数（ｉ）と一致するところまで検索し、一致したところの横軸の値（輝度値）を「ｍｉｎ（輝度最小値）」として抽出する。

そして、その「ｍａｘ（輝度最大値）」と「ｍｉｎ（輝度最小値）」との差が最も大きい輝度ヒストグラムの作成の基となった縮小画像に対応する入力画像（１枚）を基準画像として選定する。

このようにして、入力画像（１〜Ｎ）の中から、輝度分布の有効幅の最も広い画像１枚が、基準画像として選定される。

ステップ１０４：制御部１１は、縮小画像の輝度成分の情報を基に、基準画像を基準として他の入力画像（基準画像を除いた残りの１枚以上の入力画像）のそれぞれにつきゲインを算出する。具体的には、下記の（式１）によってゲイン（ｇａｉｎ）を算出する。ここで、（式１）のｆ_Y（ｘ，ｙ）は基準画像の縮小画像の輝度成分を、ｈ_Y（ｘ，ｙ）は比較対象とする他の入力画像の縮小画像の輝度成分を、また（ｘ，ｙ）は縮小画像における各画素の座標位置を示している。但し、予め指定された露出条件で撮影するようなブラケット撮影を行う場合にはゲイン算出は不要となる。

なお、（式１）によって算出されるゲイン（ｇａｉｎ）の値が１．０よりも小さい場合（ｇａｉｎ＜１．０）には、その算出対象の「他の入力画像」は、基準画像に対して露出アンダーとなる露出条件で撮影されたものである。また、算出されるゲイン（ｇａｉｎ）の値が１．０よりも大きい場合（ｇａｉｎ＞１．０）には、その算出対象の「他の入力画像」は、基準画像に対して露出オーバーとなる露出条件で撮影されたものである。

ステップ１０５：制御部１１は、算出した各ゲイン（ｇａｉｎ）と基準画像の輝度成分の情報とを基に、他の入力画像のぞれぞれに対して重みを算出する。具体的には、下記の（式２）によって、ゲイン（ｇａｉｎ）の値に応じた重み（Ｗ）を算出する。ここで、（式２）のｆ_Y（ｘ，ｙ）は基準画像の輝度成分を示している。また、「ｍｉｎ」及び「ｍａｘ」は、上記ステップ１０３で基準画像を選定した際に、当該基準画像に対応する輝度ヒストグラムから求めた「ｍｉｎ（輝度最小値）」及び「ｍａｘ（輝度最大値）」である。この（式２）により、他の入力画像のぞれぞれに対し、基準画像の輝度を基準として、重みを算出する。

なお、（式２）によれば、基準画像に対して露出アンダーとなる露出条件で撮影された「他の入力画像」については、「ｇａｉｎ＜１．０のとき」の演算により、画像の高輝度部分の重みが大きくなるように重みの算出が行われる（但し、ｆ_Ｙ＜ｍｉｎのときには式（２）に拘わらずＷは０に設定され、ｆ_Ｙ＞ｍａｘのときには式（２）に拘わらずＷは（−２ｌｏｇ_２（ｇａｉｎ））に設定されるものとする。）。これは、高輝度部分については、基準画像よりも露光量が少なくなるように撮影された「他の入力画像」の情報が良好なためである。
また、基準画像に対して露出オーバーとなる露出条件で撮影された「他の入力画像」については、「ｇａｉｎ＞１．０のとき」の演算により、画像の低輝度部分の重みが大きくなるように重みの算出が行われる（但し、ｆ_Ｙ＜ｍｉｎのときには式（２）に拘わらずＷは（２ｌｏｇ_２（ｇａｉｎ））に設定され、ｆ_Ｙ＞ｍａｘのときには式（２）に拘わらずＷは０に設定されるものとする。）。これは、低輝度部分については、基準画像よりも露光量が多くなるように撮影された「他の入力画像」の情報が良好なためである。

ステップ１０６：制御部１１は、基準画像と他の入力画像とを、下記の（式３）の重み付け合成処理により合成して、高コントラスト画像を作成する。

具体的には、Ｒ（r），Ｇ（g），Ｂ（b）の各色成分毎に、基準画像と他の入力画像と
を上記の算出された重みで重み付け合成することによって高コントラスト画像を作成する。なお、（式３）のｇ_c（ｘ，ｙ）は作成される高コントラスト画像であり、ｆ_c（ｘ，ｙ）は「基準画像」、ｈ_1c（ｘ，ｙ）〜ｈ_n-1c（ｘ，ｙ）は他の入力画像（１〜Ｎ−１、つまり、基準画像を除いた残りの１枚以上の入力画像）を示している。そして、Ｗ₁〜Ｗ_n-1は他の入力画像（１〜Ｎ−１）のそれぞれに対して上記ステップ１０５で算出された重み、「１．０」は基準画像に対する重み、「ｎ」は入力画像の枚数（Ｎ）、「ｃ」はＲ（r），Ｇ（g），Ｂ（b）の各色成分を示している。

このように、本実施形態の画像処理装置では、輝度成分のみに基づいて重みを算出し（上記ステップ１０５）、それを入力画像のＲ（r），Ｇ（g），Ｂ（b）の色成分の全てに適用するようにして重み付け合成処理を行っている（本ステップ１０６）。そのため、作成される高コントラスト画像には、入力画像個々の色バランスが、そのまま維持された状態で、確実に反映されることとなる。

また、上記とは異なり、入力画像のＲ（r），Ｇ（g），Ｂ（b）の色成分の個々につい
て高コントラスト画像を生成する、具体的には上記の輝度成分で処理している箇所を、全て、色成分毎の処理に置き換えるようにすれば、より有効に階調幅を表現できるようになる。

ステップ１０７：制御部１１は、作成した高コントラスト画像を記録媒体１６へ記録する。なお、高コントラスト画像は、非圧縮のまま記録するのが好ましい。そして、制御部１１は、本フローチャートの処理を終了する。

なお、上記の処理は、特に、図４の輝度ヒストグラムに示すようなコントラストの低い（コントラストのはっきりしない）被写体を撮影して高コントラスト画像を作成する場合に、特に効果を発揮することができる。その場合、露出ステップを例えば１／３段などの小さな刻み幅として露出ブラケット撮影を行い、それによって取得する同一シーンを撮影した露光量の異なる複数枚の画像を入力画像に指定して、上記の処理を行うようにするとよい。

（実施形態の補足事項）
なお、上述した高コントラスト画像の作成に使用する入力画像は、ガンマ補正（ガンマ変換）等が施されていないもの、つまり、画像信号成分が撮像素子から出力された状態のリニア特性の状態のものである必要がある。そのため、ガンマ補正（ガンマ変換）等の画像処理が施された入力画像を用いる場合には、画像信号成分をリニア特性の状態に戻すため、入力画像に対し、一旦、逆ガンマ補正（逆ガンマ変換）を施した後で、上記ステップ１０１からの処理を行うようにする。

また、上記ステップ１０７では、作成した高コントラスト画像を記録媒体１６へ記録するだけでなく、高コントラスト画像の内容をモニタ１７に表示するようにしてもよい。

また、高コントラスト画像を基に、ユーザーが、最終結果となる任意の階調幅の画像を作成することができるようにしてもよい。その場合、ユーザーに、拡張または圧縮後の階調幅を指定させ、その指定された内容で、例えば図５に示すように、高コントラスト画像を基に階調変換を行って、最終結果となる画像を作成するようにする。なお、その場合の階調変換は、例えば、階調変換用のＬＵＴ（ルックアップテーブル）を使用したり、ヒストグラム均等化法（ＨＥ）による変換式を用いるなど、既存の手法によって行うことが可能である。

また、作成された最終結果の画像は、圧縮／復号部１５により圧縮してから記録媒体１６へ記録するとよい。また、最終結果の画像の内容をモニタ１７に表示するようにしてもよい。

（実施形態の作用効果）
本実施形態の画像処理装置では、入力画像（１〜Ｎ）のそれぞれについて縮小画像が作成される。縮小画像は、例えば、各入力画像の空間方向でｎ×ｎ（ｎ≧２）画素の画素値の平均をとることによって作成される。

次に、各縮小画像の輝度ヒストグラムを解析した結果に基づき、輝度分布の有効幅の最も広い１枚の画像が、入力画像の中から、基準画像として選定される。

また、縮小画像の輝度成分の情報を基に、基準画像を基準にした他の入力画像（基準画像を除いた残りの１枚以上の入力画像）との輝度比率が、ゲインとして、他の入力画像のそれぞれについて算出される。

そして、算出された各ゲインと、基準画像の輝度成分の情報とを基に、他の入力画像のそれぞれに対して適用する重みが算出され、その重みを使用して基準画像と他の入力画像との重み付け合成処理が行われて、合成結果の高コントラスト画像が作成される。

このように、本実施形態の画像処理装置では、入力画像（１〜Ｎ）を縮小した「縮小画像」の情報を基にして、基準画像の選定、ゲインの算出、そして重みの算出が行われる。

そのため、合成対象となる入力画像中にノイズの生じた画素が含まれる場合にも、重み付け合成処理によって作成される高コントラスト画像においては、そのノイズ成分が軽減される。また、入力画像中に突出的な画素値を有する画素が含まれる場合にも、重み付け合成処理によって作成される高コントラスト画像においては、階調飛びが生じにくい。

また、本実施形態の画像処理装置では、算出されたゲイン（基準画像を基準とした輝度比率）の値が小さい（ｇａｉｎ＜１．０）他の入力画像、即ち、基準画像に対して露出アンダーとなる露出条件で撮影された他の入力画像に対しては、画像の高輝度部分の重みが大きくなるように重みの算出が行われる。これは、基準画像よりも露光量が少なくなるように露出アンダーで撮影された他の入力画像は、その高輝度部分の情報が良好なためである。また、算出されたゲインの値が大きい（ｇａｉｎ＞１．０）他の入力画像、即ち、基準画像に対して露出オーバーとなる露出条件で撮影された他の入力画像に対しては、画像の低輝度部分の重みが大きくなるように重みの算出が行われる。これは、基準画像よりも露光量が多くなるように露出オーバーで撮影された他の入力画像は、その低輝度部分の情報が良好なためである。

そのため、合成対象となる入力画像中に輝度変化の滑らかな構造を持つ部分が含まれる場合にも、重み付け合成処理によって作成される高コントラスト画像においては、階調飛びが生じにくい。

また、本実施形態の画像処理装置では、入力画像（１〜Ｎ）のうち、輝度分布の有効幅の最も広い１枚の画像が基準画像として選定され、その基準画像に基づきゲイン算出及び重み算出が行われる。そして、算出されたその重みを使用して、基準画像と他の入力画像との重み付け合成処理が行われて、高コントラスト画像が作成される。

このように、本実施形態の画像処理装置では、輝度分布の有効幅の最も広い基準画像をベースにして上記の合成処理が行われるので、合成によって高コントラスト画像に生じるノイズ、また階調飛びを、従来よりも減少させることができる。

よって、本実施形態の画像処理装置によれば、良好な画質の高コントラスト画像を得ることができる。

（その他）
本発明は、露出ブラケット撮影が可能な他の機器、例えば、デジタルカメラ（デジタルスチルカメラ）やデジタルビデオカメラ、携帯電話機などにも適用することができる。さらに、本発明は、撮像素子を用いて取得した画像により被写体の観察を行うことが可能な顕微鏡などにも適用することができる。

１０…画像処理装置（本体），１１…制御部，１２…撮像ユニット収容部，１３…バッファメモリ，１４…データ処理部，１５…圧縮／復号部，１６…記録媒体，１７…モニタ，１８…操作部，１９…システムバス，２０…撮像ユニット

Claims (9)

1. 同一シーンを撮影した露光量の異なる複数枚の画像を合成して、ダイナミックレンジを拡大させた階調幅の広い合成画像（高コントラスト画像）を生成する画像処理装置であって、
   前記複数枚の画像の輝度成分の情報に基づき基準画像を選定する選定手段と、
   前記複数枚の画像の輝度成分の情報に基づき、前記複数枚のうちの前記基準画像を除いた残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出するゲイン算出手段と、
   前記算出されたゲインと、前記基準画像の輝度成分の情報とに基づき、前記残りの画像に対して適用する重みを算出する重み算出手段と、
   前記算出された重みを使用して前記基準画像と前記残りの画像との重み付け合成処理を行うことにより前記高コントラスト画像を生成する生成手段と
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記選定手段は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い１枚の画像を、前記複数枚の中から前記基準画像として選定する
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記ゲイン算出手段は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出する
   ことを特徴とする画像処理装置。
4. 請求項１ないし請求項３の何れか一項に記載の画像処理装置において、
   前記重み算出手段は、
   前記算出されたゲインの値が所定の値よりも小さい前記残りの画像に対しては、該画像の高輝度部分の重みが大きくなるように重みの算出を行い、
   前記算出されたゲインの値が所定の値よりも大きい前記残りの画像に対しては、該画像の低輝度部分の重みが大きくなるように重みの算出を行う
   ことを特徴とする画像処理装置。
5. 請求項１ないし請求項４の何れか一項に記載の画像処理装置において、
   前記複数枚の画像は、画像信号成分がリニア特性の状態にある画像であり、
   前記複数枚のうちの１枚の画像は自動露出（ＡＥ）によって決定された又はユーザーによって指定された露出条件で撮影され、それを除いた残りの画像は、前記露出条件を基準とした異なる露出条件で撮影されたものである
   ことを特徴とする画像処理装置。
6. 同一シーンを撮影した露光量の異なる複数枚の画像を合成して、ダイナミックレンジを拡大させた階調幅が広い合成画像（高コントラスト画像）を生成する画像処理方法であって、
   前記複数枚の画像の輝度成分の情報に基づき基準画像を選定する選定手順と、
   前記複数枚の画像の輝度成分の情報に基づき、前記複数枚のうちの前記基準画像を除いた残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出するゲイン算出手順と、
   前記算出されたゲインと、前記基準画像の輝度成分の情報とに基づき、前記残りの画像に対して適用する重みを算出する重み算出手順と、
   前記算出された重みを使用して前記基準画像と前記残りの画像との重み付け合成処理を行うことにより前記高コントラスト画像を生成する生成手順と
   を備えることを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法において、
   前記選定手順は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、輝度分布の有効幅が最も広い１枚の画像を、前記複数枚の中から前記基準画像として選定する
   ことを特徴とする画像処理方法。
8. 請求項６または請求項７に記載の画像処理方法において、
   前記ゲイン算出手順は、前記複数枚の画像をそれぞれ縮小した縮小画像の輝度成分の情報に基づき、前記残りの画像について、前記基準画像を基準にした前記残りの画像との輝度比率をゲインとして算出する
   ことを特徴とする画像処理方法。
9. 請求項６ないし請求項８の何れか一項に記載の画像処理方法において、
   前記重み算出手順は、
   前記算出されたゲインの値が所定の値よりも小さい前記残りの画像に対しては、該画像の高輝度部分の重みが大きくなるように重みの算出を行い、
   前記算出されたゲインの値が所定の値よりも大きい前記残りの画像に対しては、該画像の低輝度部分の重みが大きくなるように重みの算出を行う
   ことを特徴とする画像処理方法。

Images