JP2011023985A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】より自然な階調を有する写真再現を得るための技術を提供する。
【解決手段】互いに露出量が異なる複数の画像データを合成して高階調画像データを生成する画像処理装置において、合成の対象となる複数のＭビット画像データを入力する入力手段と、入力された複数のＭビット画像データの中から、露出の基準とする基準画像データを決定する決定手段と、複数のＭビット画像データを合成し１つのＮビット合成画像データ（Ｎ＞Ｍ）を生成する合成手段と、基準画像データにおける所定の基準輝度が変化しないように、Ｎビット合成画像データに対する階調圧縮の特性パラメータを設定する特性パラメータ設定手段と、設定された特性パラメータに基づいて、Ｎビット合成画像データに含まれる所定の周波数未満の画像成分の輝度階調を圧縮することにより、Ｍビット合成画像データを生成する生成手段と、を含む。
【選択図】図１２

Description

本発明は、画像処理技術、特にデジタル画像データの階調補正技術に関するものである。

現在、日本国内におけるデジタルカメラの世帯普及率は５０％を超えており、「デジタルカメラで撮影する」という行為はごく一般的なものとなっている。ユーザが屋外などにおいてデジタルカメラにより撮影するとき、撮影可能な輝度レンジより撮影シーンの輝度レンジが広い場合がある。このとき、撮影可能な輝度レンジ外の被写体については、その階調情報を記録することができないため、白飛び・黒潰れが発生する。例えば、晴天時に屋外で人物を撮影する場合、人物に露出を合わせると背景の空や雲が白飛びしたり、木陰が黒潰れしたりするケースがある。しかし、非特許文献２に示されるＲｅｔｉｎｅｘモデルに代表されるように、人間の視覚は物体の反射率をより敏感に検知する特性があり、明るい場所および暗い場所の双方において階調を知覚することができる。このため、あるシーンに対する見た目の印象と同じシーンの撮影画像の印象とが異なっている場合があり、デジタルカメラユーザの不満となっている。

このような問題を解決する技術の１つにハイダイナミックレンジ（ＨＤＲ：High Dynamic Range）技術がある。ＨＤＲ技術は、大きく分けて、ＨＤＲキャプチャー技術とダイナミックレンジ圧縮技術とから構成される。ＨＤＲキャプチャー技術は、撮影可能なダイナミックレンジを拡大し、白飛び・黒潰れが発生していた輝度レンジの階調情報を記録するための技術である。例えば、複数の露出で撮影した画像を合成するなどの方法がある。以下、このＨＤＲキャプチャーにより取得される画像をＨＤＲ画像と呼ぶ。一方、ダイナミックレンジ圧縮技術は、ダイナミックレンジの広いＨＤＲ画像をダイナミックレンジの狭い表示／出力機器で好ましく再現するための画像処理技術である。これらのＨＤＲ技術により、撮影画像における白飛び・黒潰れを軽減することができる。ダイナミックレンジ圧縮方法にはさまざまな種類が提案されており、例えば、非特許文献１では、実シーンを見ていたように再現するダイナミックレンジ圧縮方法について述べている。

Kuang, J., Johnson, G.M., Fairchild M.D., "iCAM06: A refined image appearance model for HDR image rendering", Journal of Visual Communication, 2007 Edwin H. Land, John J. McCann, "Lightness and Retinex Theory", Journal of the Optical Society of America, Vol.61, Num1, 1971

しかしながら、上述のＨＤＲ技術による写真再現とこれまでのカメラの写真再現とを比較した場合、現行のカメラユーザには受け入れられにくいものとなっている。具体的には、ハイライト部は高階調ではあるが、露出感が異なる、眠く感じる、色が転んで見える、夜景画像で彩度が低下するなど、ユーザにとって違和感のあるものとなる場合がある。

本発明は、上述の問題点に鑑みなされたものであり、現行カメラの写真再現に対し違和感の無いより自然な階調を有する写真再現を得るための技術を提供することを目的とする。

上述の少なくとも１つの問題点を解決するために、本発明の画像処理装置は以下の構成を備える。すなわち、互いに露出量が異なる複数の画像データを合成して高階調画像データを生成する画像処理装置において、合成の対象となる複数のＭビット画像データを入力する入力手段と、前記入力された複数のＭビット画像データの中から、露出の基準とする基準画像データを決定する決定手段と、前記複数のＭビット画像データを合成し１つのＮビット合成画像データ（Ｎ＞Ｍ）を生成する合成手段と、前記基準画像データにおける所定の基準輝度が変化しないように、前記Ｎビット合成画像データに対する階調圧縮の特性パラメータを設定する特性パラメータ設定手段と、前記設定された特性パラメータに基づいて、前記Ｎビット合成画像データに含まれる所定の周波数未満の画像成分の輝度階調を圧縮することにより、Ｍビット合成画像データを生成する生成手段と、を含む。

本発明によれば、より自然な階調を有する写真再現を得るための技術を提供することができる。

第１実施形態に係る画像処理装置の内部構成を示す図である。 第１実施形態に係る画像処理装置の動作を示す概略フローチャートである。 多段露出画像群を選択するための画像群表示ＵＩの一例を示す図である。 ダイナミックレンジ圧縮処理を行うか否かを選択するＵＩの一例を示す図である。 ダイナミックレンジ圧縮処理に関する設定を行う設定ＵＩの一例を示す図である。 画像ファイルの一例を示す図である。 撮影データの一例を示す図である。 ダイナミックレンジ圧縮パラメータの決定処理の詳細フローチャートである。 ダイナミックレンジ合成処理の詳細フローチャートである。 ダイナミックレンジ合成を説明する図である。 ダイナミックレンジ圧縮処理の詳細フローチャートである。 ダイナミックレンジ圧縮を説明する図である。 輝度照明成分の圧縮処理の詳細フローチャートである。 補正方法に応じた輝度照明成分の圧縮特性の一例を示す図である。 補正強さに応じた黒潰れ補正する輝度照明成分の圧縮特性を示す図である。 補正強さに応じた白飛び補正する輝度照明成分の圧縮特性を示す図である。 補正方法決定テーブルの一例を示す図である。 補正強さ決定テーブルの一例を示す図である。 ＳＣＤテーブルの一例を示す図である。 ＨＣＤテーブルの一例を示す図である。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、画像処理ソフトウェアを実行するパーソナルコンピュータ（ＰＣ）を例に挙げて以下に説明する。

＜装置構成＞
図１は、第１実施形態に係る画像処理装置１００の内部構成を示す図である。入力部１０１は、ユーザからの指示や、データを入力する装置で、キーボードやポインティング装置を含む。なお、ポインティング装置としては、マウス、トラックボール、トラックパッド、タブレット等が挙げられる。あるいは、本例を例えば公知のデジタルカメラ装置やプリンタなどの機器に適用する場合には、ボタンやモードダイヤル等で構成されるのであっても良い。また、キーボードをソフトウェアで構成（ソフトウェアキーボード）し、ボタンやモードダイヤル、あるいは先に挙げたポインティングデバイスを操作して文字を入力するように構成するのであっても良い。

データ保存部１０２は、画像データを保持する部分で、通常はハードディスク、フロッピー（登録商標）ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−ＲやＤＶＤ）、メモリーカード（ＣＦカード、スマートメディア、ＳＤカード、メモリスティック、ｘＤピクチャーカード）、ＵＳＢメモリ等で構成される。データ保存部１０２には画像データの他にも、プログラムやその他のデータを保存することも可能である。あるいは、後述するＲＡＭ１０６の一部をデータ保存部１０２として用いるのであってもよい。またあるいは、後述する通信部１０７により接続した先の機器のデータ保存部を通信部１０７を介して利用する、というように仮想的に構成するのであっても良い。

表示部１０３は、画像処理前、画像処理後の画像を表示、あるいはグラフィカル・ユーザインタフェース（ＧＵＩ）等の画像を表示する装置である。一般的にはＣＲＴや液晶ディスプレイなどが用いられる。あるいは、ケーブル等で接続された装置外部のディスプレイ装置であっても構わない。また、あるいは公知のタッチスクリーンであっても良い。その場合、タッチスクリーンによる入力については入力部１０１の入力として扱うこともできる。

１０４はＣＰＵであり、各種制御プログラムを実行することにより上述の各部を制御する。ＲＯＭ１０５とＲＡＭ１０６は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０４に提供する。また、後述する処理に必要な制御プログラムがデータ保存部１０２に格納されている場合や、ＲＯＭ１０５に格納されている場合には、一旦ＲＡＭ１０６に読み込まれてから実行される。またあるいは通信部１０７を経由して装置がプログラムを受信する場合には、一旦データ保存部１０２に記録した後にＲＡＭ１０６に読み込まれるか、直接通信部１０７からＲＡＭ１０６に直接読み込まれてから実行される。

通信部１０７は、機器間の通信を行うための機能部である。通信の方式としては、公知の有線接続（イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１２８４、ＩＥＥＥ１３９４、電話回線など）が使用可能である。また、赤外線（ＩｒＤＡなど）、無線ＬＡＮ（ＩＥＥＥ８０２．１１シリーズ等）、Bluetooth（登録商標）、ＵＷＢ（Ultra Wide Band）等の無線通信方式であっても良い。

なお、図１では入力部１０１、データ保存部１０２、表示部１０３が全て１つの装置内に含まれるようぶ図示している。しかし、れらの各部を任意の通信路で接続したシステムとして構成してもよい。

＜装置の動作＞
図２に、第１実施形態に係る画像処理装置の動作を示す概略フローチャートである。なお、以下の動作は、ＣＰＵ１０４がＲＯＭ１０４に格納された制御プログラムを実行することにより実現される。

ステップＳ１００１では、表示部１０３に、多段露出画像群選択ＵＩ３００を表示する。ここで、多段露出画像群とは、同じシーンに対して互いに露出の異なる複数の画像データのことを示している。図３は、多段露出画像群選択ＵＩの一例を示す図である。ユーザは、入力部１０１を介して多段露出画像群（例えば、図３の左列にある３つの画像３０１ａ〜３０１ｃ）を選択する。なお、ここでは、各画像データが２４ビット画像データ（ＲＧＢ各８ビット）（Ｍビット画像データ）であるとして説明する。

ステップＳ１００２では、表示部１０３に、ダイナミックレンジ圧縮パラメータ設定ＵＩを表示する。これは、例えば、多段露出画像群を選択した状態において、入力部１０１を介して所定の操作をすることにより実行される。例えば、マウスの右クリックをすることにより、図４に示す右クリックメニューＵＩ４００を表示する。そして、ユーザにより右クリックメニューＵＩ４００から「ダイナミックレンジ圧縮処理」が選択された場合に、図５に示すダイナミックレンジ圧縮パラメータ設定ＵＩ５００を表示する。この際、ＣＰＵ１０４は、選択された多段露出画像群の画像データと撮影データとをＲＡＭ１０６に読み込み、図５に示すようなプレビュー表示を行なうようにすると好適である。ここで、”画像データ”とは、図６の６００に示すように、全画素の８ビットＲＧＢ値が記録されたデータのことである。また、”撮影データ”とは、図７の７００に示すように、撮影時の情報として、画像幅、画像高さ、撮影日時、露出時間、絞り値、ＩＳＯ感度、基準輝度値が記録されたデータ（メタデータ）のことを指す。なお、撮像データはＥｘｉｆデータを用いることが出来る。

ステップＳ１００３では、ダイナミックレンジ圧縮パラメータ設定ＵＩ５００を介してユーザから受け付けた指示に従って、ダイナミックレンジ圧縮パラメータ（階調圧縮の特性パラメータ）を決定する。ここで、ダイナミックレンジ圧縮パラメータとは、適正露出画像の基準輝度と最大輝度、補正方法、及び、補正強さのことを指す。ステップＳ１００３の詳細については後述する。こでは、請求項における特性パラメータ設定手段に相当する。

ステップＳ１００４では、ステップＳ１００１で選択されＲＡＭ１０６に記録された多段露出画像群を合成し、ＨＤＲ画像（Ｎビット合成画像データ）を生成する。ステップＳ１００４の詳細については後述する。

ステップＳ１００５では、ステップＳ１００３により決定されたダイナミックレンジ圧縮パラメータに従って、ステップＳ１００４で作成したＨＤＲ画像のダイナミックレンジ圧縮処理（輝度階調圧縮処理）を行い、ダイナミックレンジ圧縮されたＨＤＲ画像データ（Ｍビット合成画像データ）をを生成する。ステップＳ１００５の詳細については後述する。

ステップＳ１００６では、ダイナミックレンジ圧縮処理後のＨＤＲ画像データ（高階調画像データ）をデータ保存部１０２に保存し、処理を終了する。

＜ダイナミックレンジ圧縮パラメータの決定処理（ステップＳ１００３）の詳細＞
図８に、ステップＳ１００３の処理のフローチャートの一例を示す。上述したように、ステップＳ１００２において、「ダイナミックレンジ圧縮処理」の対象となっている多段露出画像群（互いに露出量が異なる複数の画像データ）が選択されている。

ステップＳ２００１では、ダイナミックレンジ圧縮パラメータ設定ＵＩにおいて、適正露出画像選択が「おまかせ」であるか否かを判定する。「おまかせ」である場合、ステップＳ２００２に進み、「おまかせ」でない場合、ステップＳ２００６に進む。なお、「おまかせ」とは、ユーザによる各種パラメータの直接指定を受け付けること無く、画像処理装置１が自動的に処理を選択／決定するモードを意味する。

ステップＳ２００２では、選択されている複数の画像データおのおのについて、輝度最頻値Ｙ_ｈｉｓｔを検出する。そして、ステップＳ２００３では、数式（１）に従って、輝度最頻値Ｙ_ｈｉｓｔをＬ＊値（Ｌ＊_ｈｉｓｔ）に変換する。

ステップＳ２００４では、Ｌ＊_ｈｉｓｔが５０に最も近い露出画像を適正露出画像（基準画像データ）として選択する。そして、ステップＳ２００５では、ステップＳ２００４、又は、ユーザによって選択された適正露出画像の基準輝度値Ｙ_Ｒｅｆ、及び、最大輝度値Ｙ_ＭａｘをＲＡＭ１０６に記録する。なお、基準輝度値Ｙ_Ｒｅｆは、ＵＩを介してユーザから受け付けるよう構成してもよいし、自動で設定するようにしても良い。

ステップＳ２００６では、ダイナミックレンジ圧縮パラメータ設定ＵＩにおいて、補正方法選択が「おまかせ」であるか否かを判定し、「おまかせ」である場合ステップＳ２００７に進み、「おまかせ」でない場合ステップＳ２０１０に進む。

ステップＳ２００７では、選択された適正露出画像のシャドー画素率を算出する（シャドー画素率判定手段）。シャドー画素率とは、輝度値が所定値（第１輝度値）（例えば”２０”）以下である画素数の全画素数に占める比率のことを指す。また、ステップＳ２００８では、選択された適正露出画像のハイライト画素率を算出する（ハイライト画素率判定手段）。ハイライト画素率とは輝度値が所定値（第２輝度値）（例えば”２３５”）以上である画素の、全画素数に占める比率のことを指す。なお第１輝度値は基準輝度未満の値であり、第２輝度値は基準輝度を超える値である。

ステップＳ２００９では、シャドー画素率、及び、ハイライト画素率に応じて、補正方法決定テーブルに従って、補正方法を選択する。図１７は、補正方法決定テーブルの一例を示す図である。そして、ステップＳ２０１０では、ステップＳ２００９、又は、ユーザによって選択された補正方法をＲＡＭ１０６に記録する。

ステップＳ２０１１では、ダイナミックレンジ圧縮パラメータ設定ＵＩにおいて、補正強さ選択が「おまかせ」であるか否かを判定し、「おまかせ」である場合ステップＳ２０１２に進み、「おまかせ」でない場合ステップＳ２０１７に進む。

ステップＳ２０１２では、ステップＳ２０１０でＲＡＭ１０６に記録された補正方法を読込み、「黒潰れを補正」である場合ステップＳ２０１３に進み、「白飛びを補正」である場合ステップＳ２０１４に進み、「黒潰れと白飛びを補正」である場合ステップＳ２０１５に進む。そして、ステップＳ２０１３〜Ｓ２０１６では、補正強さ決定テーブルに従って、黒潰れ補正強さおよび白飛び補正強さの少なくとも一方を決定する。なお、「白飛びを補正」とは画像における白飛びを軽減するよう圧縮する補正を示し、「黒潰れを補正」とは画像における黒潰れを軽減するよう圧縮する補正を示している。図１８は、補正強さ決定テーブルの一例を示す図である。

ステップＳ２０１７では、ステップＳ２０１３〜Ｓ２０１６で決定された補正強さ、又は、ユーザによって選択された補正強さをＲＡＭ１０６に記録し、処理を終了する。

＜ダイナミックレンジ合成処理（ステップＳ１００４）の詳細＞
図９に、ステップＳ１００４の処理のフローチャートの一例を示す。本ステップでは、図１０に示すように、露出の多い画像に合成ゲインを乗じて、露出の少ない画像に順次合成していく処理を示す。なお。以下では、多段露出画像群（複数の画像データ）は、絞り値が同一であり、露出時間を変化させることにより得られた画像であるものであるとして説明する。

ステップＳ３００１では、ステップＳ１００２でＲＡＭ１０６に記録された多段露出画像に対応する撮影データから露出時間ＥＴを読み出す。そして、ステップＳ３００２では、露出時間の最大値ＥＴｍａｘを検出する。

ステップＳ３００３では、露出時間が最大の画像について、画素番号”１”に対応するＲＧＢ値を読み込む。そして、ステップＳ３００４では、ＲＧＢ値が白飛び・黒潰れの存在しない画素値であるかを判定し、白飛びまたは黒潰れが存在する画素値である場合ステップＳ３００５に進み、白飛びおよび黒潰れの何れもでもない場合ステップＳ３００９に進む。ここで白飛びおよび黒潰れび何れでもない画素値とは、０＜ＲＧＢ＜２５５を満たす画素値を指す。すなわち、ＲＧＢ画素値が２５５である場合、白飛びしていると判定し、ＲＧＢ画素値が０である場合、黒潰れが発生していると判定する。

ステップＳ３００５では、露出時間が一段階小さい（露出時間が１／２）画像について、同じ画素番号のＲＧＢ値を読み込む。そして、ステップＳ３００６では、ＲＧＢ値が白飛び・黒潰れのない画素値であるかを判定し、白飛びまたは黒潰れしている画素値である場合ステップＳ３００５に戻り、白飛びおよび黒潰れび何れでもない場合、ステップＳ３００７に進む。

ステップＳ３００７では、数式（２）に従って、選択画像の露出時間ＥＴと露出時間最大値ＥＴｍａｘの露出時間比ＥＴＲを算出する。

ステップＳ３００８では、選択画像のＲＧＢ値、及び、露出時間比ＥＴＲを用いて、数式（３）により、ダイナミックレンジ合成後のＲＧＢ値ＲＧＢ_ＨＤＲを算出する。

ステップＳ３００９では、ダイナミックレンジ合成後のＲＧＢ値ＲＧＢ_ＨＤＲをＲＡＭ１０６に記録する。

ステップＳ３０１０では、全画素についてダイナミックレンジ合成後のＲＧＢ値をＲＡＭ１０６に記録したか判定し、全画素について記録していない場合ステップＳ３０１１に進む。そして、ステップＳ３０１１では、露出時間が最大の画像について、次の画素番号のＲＧＢ値を読み出し、ステップＳ３００４に戻る。

以上のステップを、各画素に対して実行し、ステップＳ３０１０において、全画素について記録したと判定した場合、処理を終了する。

＜ダイナミックレンジ圧縮処理（ステップＳ１００５）の詳細＞
図１１に、ステップＳ１００５の処理のフローチャートの一例を示す。ステップＳ１００５に係る詳細機能ブロック図を図１２に示す。ここでは、具体的には、非特許文献２に示されるＲｅｔｉｎｅｘモデルを利用してダイナミックレンジ圧縮を行う。より具体的には、輝度成分を、輝度照明成分と輝度反射率成分とに分離し、輝度照明成分のみをダイナミックレンジ圧縮する。つまり、人間の視覚は、輝度照明成分に鈍感であることを利用したものである。なお、輝度照明成分は、ＨＤＲ画像に対し、所定のカットオフ周波数を有するローパスフィルタ処理を行うことで、所定の周波数未満の画像成分として取得される。

ステップＳ４００１では、数式（４）に従って、ＨＤＲ画像のＲＧＢ値（ＲＧＢ_ＨＤＲ）から、輝度成分Ｙ_ＨＤＲを算出する。

ステップＳ４００２では、数式（５）に従って、ガウシアンフィルタを算出する。ここでは、ガウシアンフィルタの分散Ｓを、画像幅Ｗの１／５の画素数とし、フィルタ処理を行う範囲（−Ｓ〜Ｓ）が、ガウス関数の積分値の約９５％が含まれるようにＳを設定している。

ステップＳ４００３では、数式（６）に従って、輝度成分Ｙ_ＨＤＲとガウシアンフィルタの離散畳み込み演算を行い、輝度照明成分Ｙ_{Ｉｌｌｕｍ＿ＨＤＲ}を算出する。

ステップＳ４００４では、数式（７）に従って、輝度反射率成分Ｙ_{Ｒｅｆｒｅｃｔａｎｃｅ}を算出する。

ステップＳ４００５では、輝度照明成分を圧縮し、圧縮後の輝度照明成分Ｙ_{Ｉｌｌｕｍ＿ＬＤＲ}を算出する。ステップＳ４００５の詳細については後述する。

ステップＳ４００６では、数式（８）に従って、圧縮後の輝度照明成分Ｙ_{Ｉｌｌｕｍ＿ＬＤＲ}と輝度反射率成分Ｙ_{Ｒｅｆｒｅｃｔａｎｃｅ}を合成し、Ｙ_ＬＤＲを算出する。

ステップＳ４００７では、数式（９）に従って、ダイナミックレンジ圧縮処理前後の輝度成分Ｙ_ＨＤＲ、Ｙ_ＬＤＲを用いて、ＨＤＲ画像のＲＧＢ値（ＲＧＢ_ＨＤＲ）を調節し、ＲＧＢ_ＬＤＲを算出する。つまり、輝度成分の変化量に応じて、色成分を調整する。

ステップＳ４００８では、数式（１０）に従って、ダイナミックレンジ圧縮処理後のＲＧＢ値（ＲＧＢ_ＬＤＲ）にカメラガンマ処理を行い、ＲＧＢ_{ＬＤＲ＿ｇ}を算出し、ＲＡＭ１０６に記録し、処理を終了する。カメラガンマ処理とは、画像出力デバイスのダイナミックレンジ特性に基づくガンマ特性の補正処理（ガンマ特性補正手段）である。

＜輝度照明成分圧縮処理（ステップＳ４００５）の詳細＞
図１３に、ステップＳ４００５の処理の詳細フローチャートを示す。また、「黒潰れを補正」、「白飛びを補正」、「黒潰れと白飛びを補正」それぞれの場合における輝度照明成分の例示的な圧縮特性曲線を図１４に示す。

ステップＳ５００１では、ダイナミックレンジ圧縮パラメータ（選択画像の基準輝度、補正方法、補正強さ）を読み込む。

ステップＳ５００２では、ＨＤＲ画像における輝度照明成分の最大値Ｙ_{Ｉｌｌｕｍ＿ＭＡＸ}を検出する。

ステップＳ５００３では、輝度照明成分Ｙ_{Ｉｌｌｕｍ＿ＨＤＲ}が基準輝度値Ｙ_Ｒｅｆより小さいか否かを判定する。小さい場合ステップＳ５００４に進み、大きい場合ステップＳ５００５に進む。

ステップＳ５００４では、数式（１１）に従って、輝度照明成分Ｙ_{Ｉｌｌｕｍ＿ＨＤＲ}を圧縮し、圧縮後の輝度照明成分Ｙ_{Ｉｌｌｕｍ＿ＬＤＲ}を算出する。なお、式（１１）中のＳＣＤとは、黒潰れ補正強さ（Shadow Correction Degree）であり、例えば、図１９に示されるＳＣＤテーブルのように予め設定される。設定された黒潰れ補正強さに応じて、図１５に示すような圧縮特性で補正を行う。

ステップＳ５００５では、数式（１２）に従って、輝度照明成分Ｙ_{Ｉｌｌｕｍ＿ＨＤＲ}を圧縮し、圧縮後の輝度照明成分Ｙ_{Ｉｌｌｕｍ＿ＬＤＲ}を算出する。式（１２）中のＨＣＤとは、白飛び補正強さ（Highlight Correction Degree）であり、例えば、図２０に示されるＨＣＤテーブルのように予め設定される。設定された白飛び補正強さに応じて、図１６に示すような圧縮特性で補正を行う。

以上説明したとおり第１実施形態に係る画像処理装置によれば、多段露出画像群に含まれる所定の画像データを基準として、ＨＤＲ画像に対しダイナミックレンジ圧縮処理を行なう。これにより、違和感のある写真再現を回避しつつＨＤＲ技術を活かした階調補正を行うことが可能となる。

（変形例）
＜画像ファイル＞
第１実施形態においては、多段露出画像群に含まれる各画像データは２４ビット画像データ（ＲＧＢ各８ビット）であるとして説明した。また、撮影データとして、画像幅、画像高さ、撮影日時、光学センサ幅、レンズ焦点距離、拡大率、露光時間、絞り値、ＩＳＯ感度が記録されているものとして説明した。しかし、多段露出画像群に含まれる画像データとして、所謂Ｒａｗデータを利用するよう構成してもよい。

＜合成方法＞
第１実施形態においては、露出の多い画像に合成ゲインを乗じて、露出の少ない画像に順次合成していくとした。しかし、合成ゲインを用いて露出の異なる画像同士を合成する方法であれば、これに限るものではない。例えば、露出の少ない画像に合成ゲインを乗じて、露出の多い画像に順次合成しても良い。

＜補正方法＞
第１実施形態においては、画像の補正方法として、基準輝度をダイナミックレンジ圧縮処理前後で維持するとした。しかし、これに限定されず、例えば、画像に対し顔検出処理を実行し”顔”と判定された部分の輝度値Ｙ_ｆａｃｅを基準輝度値Ｙ_Ｒｅｆとすると良い。なお、基準輝度は”顔”に限定されるものでもなく、画像に含まれる任意の主要な被写体の輝度が利用され得る。なお画像から主要被写体を検出する方法は、例えば特開２００５−０６３４０６号公報に記載されている。

＜ダイナミックレンジ圧縮方法＞
第１実施形態においては、ダイナミックレンジ圧縮方法は、ガウシアンフィルタにより抽出された画像低周波成分を圧縮するものとした。しかし、Ｒｅｔｉｎｅｘモデルに基づき、画像低周波成分を圧縮するものであればこれに限定されるものではない。例えば、数式（１３）に示すように、画像データに単純な平均フィルタ処理を実施する方法でも構わない。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 互いに露出量が異なる複数の画像データを合成して高階調画像データを生成する画像処理装置であって、
   合成の対象となる複数のＭビット画像データを入力する入力手段と、
   前記入力された複数のＭビット画像データの中から、露出の基準とする基準画像データを決定する決定手段と、
   前記複数のＭビット画像データを合成し１つのＮビット合成画像データ（Ｎ＞Ｍ）を生成する合成手段と、
   前記基準画像データにおける所定の基準輝度が変化しないように、前記Ｎビット合成画像データに対する階調圧縮の特性パラメータを設定する特性パラメータ設定手段と、
   前記設定された特性パラメータに基づいて、前記Ｎビット合成画像データに含まれる所定の周波数未満の画像成分の輝度階調を圧縮することにより、Ｍビット合成画像データを生成する生成手段と、
   を含むことを特徴とする画像処理装置。
2. さらに、
   前記基準画像データにおいて、全画素数に対する所定の第１輝度値より小さい輝度値を有する画素数の比率であるシャドー画素率を判定するシャドー画素率判定手段と、
   前記基準画像データにおいて、全画素数に対する所定の第２輝度値より大きい輝度値を有する画素数の比率であるハイライト画素率を判定するハイライト画素率判定手段と、
   の少なくとも一方を含み、
   前記特性パラメータ設定手段は、前記シャドー画素率に応じて前記所定の基準輝度未満の画素値を有する画素について黒潰れが軽減されるような特性パラメータを設定し、前記ハイライト画素率に応じて前記所定の基準輝度を超える画素値を有する画素について白飛びが軽減されるような特性パラメータを設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の基準輝度は、前記基準画像データにおける主要被写体の輝度であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記所定の周波数は、Ｒｅｔｉｎｅｘモデルにおける輝度照明成分を抽出するために使用されるローパスフィルタのカットオフ周波数であることを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
5. 前記生成手段は、さらに、前記圧縮による輝度階調の変化量に応じて、前記Ｍビット合成画像データの色成分の調整することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. さらに、前記Ｍビット合成画像データを出力する出力デバイスのダイナミックレンジ特性に基づいて、前記Ｍビット合成画像データのガンマ特性を補正するガンマ特性補正手段を含むことを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. 互いに露出量が異なる複数の画像データを合成して高階調画像データを生成する画像処理装置の制御方法であって、
   入力手段が、合成の対象となる複数のＭビット画像データを入力する入力工程と、
   決定手段が、前記入力された複数のＭビット画像データの中から、露出の基準とする基準画像データを決定する決定工程と、
   合成手段が、前記複数のＭビット画像データを合成し１つのＮビット合成画像データ（Ｎ＞Ｍ）を生成する合成工程と、
   特性パラメータ設定手段が、前記基準画像データにおける所定の基準輝度が変化しないように、前記Ｎビット合成画像データに対する階調圧縮の特性パラメータを設定する特性パラメータ設定工程と、
   生成手段が、前記設定された特性パラメータに基づいて、前記Ｎビット合成画像データに含まれる所定の周波数未満の画像成分の輝度階調を圧縮することにより、Ｍビット合成画像データを生成する生成工程と、
   を含むことを特徴とする画像処理装置の制御方法。
8. コンピュータを請求項１乃至６の何れか一項に記載の画像処理装置として動作させるためのプログラム。