【０００１】
【発明の属する技術分野】
本発明は、各画素のデータが、低輝度域から中輝度域までの階調を表現するメイン画像データと、メイン画像データでは表現できない高輝度域の階調を表現するハイライト画像データとから構成される画像データの画像処理方法及びプログラムに関するものである。
【０００２】
【従来の技術】
ＣＣＤイメージセンサなどの撮像手段によって被写体を撮像して撮影画像をデジタルデータとして記録するデジタルカメラが知られている。ＣＣＤイメージセンサは、多数の受光素子（画素）がマトリックス状に配列された光電面を備えており、光電面の前方には、各画素がＲ（赤），Ｇ（緑），Ｂ（青）のいずれかに対応するようにカラーフイルタアレイが配置されている。この光電面に結像した被写体像を光電変換して、各画素毎に入射光量に応じた電荷をアナログの撮像信号として出力する。
【０００３】
アナログの撮像信号は、Ａ／Ｄコンバータによってデジタルに変換され、変換直後のデータは、ＣＣＤ−ＲＡＷデータ（生データ）と呼ばれる。ＣＣＤ−ＲＡＷデータは、１画素につき１色相当の情報しか持たないデータであるため、そのままでは観賞に堪えられるものではない。そのため、デジタルカメラの多くは、このＣＣＤ−ＲＡＷデータに対してカメラ内部でガンマ補正，ホワイトバランス補正などの各種の画像補正処理を施すことにより観賞可能な完成画像を生成し、この完成画像をＪＰＥＧ形式やＴＩＦＦ形式などの汎用的な画像ファイルの形式でメモリーカードなどのストレージメディアに記録する。
【０００４】
しかし、プロカメラマンやハイアマチュアなどのカメラユーザーからは、ＣＣＤ−ＲＡＷデータを基に自分の好みの補正や加工を加えて完成画像を生成したいという要望が多い。こうしたユーザー向けのハイスペックモデルの中には、ＣＣＤイメージセンサによって取り込まれたＣＣＤ−ＲＡＷデータを、カメラ内部で画像補正処理を実行せずに、そのままストレージメディアに記録するＣＣＤ−ＲＡＷ記録モードを搭載した機種がある。
【０００５】
このモードで記録されたＣＣＤ−ＲＡＷデータは、専用の画像処理プログラム（以下、ＣＣＤ−ＲＡＷアプリケーションと呼ぶ）がインストールされたパーソナルコンピュータなどによって、ゲイン補正及びガンマ補正の他、ユーザーの好みに応じてトーンカーブ補正，シャープネス補正，彩度補正などの画像処理が施されて再生されるとともに、ＪＰＥＧやＴＩＦＦなどの一般的な画像ファイル形式に変換される。ユーザーは、操作画面に表示されるプレビュー画像を確認しながら、所望する補正レベルを指定する。ＣＣＤ−ＲＡＷアプリケーションは、ユーザーの指定に応じて補正パラメータなどを設定し、その処理条件に従って補正処理を実行する。これにより、ユーザーの意図した画質の完成画像が得られる。
【０００６】
ところで、ＣＣＤイメージセンサなどの撮像素子は、一般的に写真フイルムと比較して輝度信号の再現能力を表すダイナミックレンジ（再現可能な最小値と最大値の比率）が狭いので、明暗差の大きいシーンを撮影した場合には、高輝度域が白飛びしたり、低輝度域が黒くつぶれてしまうといったことが生じる。しかし、近年の半導体製造技術の進歩により、ＣＣＤイメージセンサによって広いダイナミックレンジを持つ画像を得る方法が各種提案されてきている。
【０００７】
その１つに、例えば、図７（Ａ）に示すように、１つの画素７１が、主画素７１ａとこの主画素７１ａよりも受光面積が小さい副画素７１ｂとから構成された特殊なＣＣＤイメージセンサ７０を使用して、感度の高い主画素７１ａからメインデータを、感度の低い副画素７１ｂからハイライトデータをそれぞれ取り込む方法がある。図７（Ｂ）のグラフに示すように、主画素７１ａは感度が高いため、副画素７１ｂと比較して少ない入射光量で飽和する。他方、副画素７１ｂは感度が低いため、主画素７１ａよりも多い入射光量で飽和する。これにより、主画素７１ａからは前記メインデータを、副画素７１ｂからは前記ハイライトデータをそれぞれ取り出すことができる。こうして得られたメインデータとハイライトデータは、１つの画像ファイルに格納される。この画像ファイルは、例えば、下記特許文献１に記載された画像形成方法で再生される。この再生プロセスでは、メインデータとハイライトデータとに基づいてレンジ合成処理が施される。
【０００８】
このようなメインデータとハイライトデータからなる特殊画像データは、広いダイナミックレンジが得られることから上述のハイスペックモデルユーザーのニーズに合致する。そこで、上述したＣＣＤ−ＲＡＷアプリケーションで、標準的な画像データ（１画素のデータがメインデータのみからなるデータ）に加えて、特殊画像データも再生できるようにすることが検討されている。
【０００９】
【特許文献１】
特開２００１−８０９２号公報
【００１０】
【発明が解決しようとする課題】
従来のＣＣＤ−ＲＡＷアプリケーションでは、通常、ガンマ補正を行った後に、トーンカーブ補正などのユーザーの好みに応じた補正処理がなされる。また、ガンマ補正とトーンカーブ補正は、そのどちらについても補正パラメータをテーブル化したＬＵＴ（ルックアップテーブル）を使用して処理を行うのが一般的である。
【００１１】
これらガンマ補正とトーンカーブ補正は、ともに入力信号レベルに対する出力信号レベルを変換するという点で共通していることから、ガンマ補正用ＬＵＴとトーンカーブ補正ＬＵＴとを結合して、これらの処理をまとめて実行するようにすれば、処理の簡略化を実現することができる。
【００１２】
こうしたトーンカーブ補正処理とガンマ補正処理の結合処理は、標準画像データに対して実行する場合には問題はない。しかし、特殊画像データの場合には、メインデータの他に、ハイライトデータが含まれるため、標準画像データと同様のプロセスでメインデータのみに結合処理を行うと、ハイライトデータが表現する高輝度域についてトーンカーブ補正の効果を得ることができない。そこで、メインデータとハイライトデータの両方に対して結合処理を行うことも考えられるが、こうすると、ユーザーは、メインデータとハイライトデータの両方についてトーンカーブの補正パラメータを指定しなければならないので、処理条件の指定が複雑になり、ユーザーが意図した画質を得るのが難しいという問題があった。
【００１３】
本発明は、メインデータとハイライトデータのレンジ合成によって得られる完成画像に、ユーザーの意図を正確に反映することができる画像処理方法及びプログラムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
前記目的を達成するために、本発明の画像処理プログラム及び方法は、各画素のデータが、主として低輝度域から中輝度域までの階調を表現するメインデータと、このメインデータで表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータから構成され、これら２種類のデータに基づいてレンジ合成処理が施されることにより広いダイナミックレンジを持つ合成画像が生成可能な特殊画像データに対して、前記レンジ合成処理とともに、少なくともガンマ補正処理及びトーンカーブ補正処理を含む画像補正処理をコンピュータに実行させる場合に、前記レンジ合成処理及びガンマ補正処理を実行させた後に、前記処理条件に基づいて、トーンカーブ補正処理を実行させることを特徴とするものである。
【００１５】
さらに、各画素のデータが１種類のデータからなる標準画像データと、前記特殊画像データとを識別するデータ種を識別して、前記標準画像データに対しては、ガンマ補正処理とトーンカーブ補正処理の各補正パラメータを結合した結合ＬＵＴを使用して、ガンマ補正処理とトーンカーブ補正処理とをまとめて実行させるようにするとよい。
【００１６】
【発明の実施の形態】
図１に示すデジタルカメラ１０は、ＣＣＤ−ＲＡＷ記録モードを備えており、この記録モードで取り込まれたＣＣＤ−ＲＡＷデータは、カメラ内部で画像処理が施されずに、そのままストレージメディア１１に記録される。ストレージメディア１１としては、メモリーカードの他、マイクロドライブ（商品名）などが使用される。また、デジタルカメラ１０は、ＣＣＤイメージセンサとして、上述した特殊なＣＣＤイメージセンサ７０（図７参照）を備えており、ＣＣＤ−ＲＡＷ記録モードでは、メインデータのみからなる標準画像データと、メインデータとハイライトデータとからなる特殊画像データの両方を記録できるようになっている。これらの各画像データは、それぞれ標準画像ファイル及び特殊画像ファイルの各形式で格納される。これらの各ファイルは、それぞれを識別できるように異なる拡張子が付与される。
【００１７】
ＣＣＤ−ＲＡＷデータは、画像処理プログラムがインストールされたパーソナルコンピュータ１２に取り込まれて、各種の画像処理が実行されて再生される。パーソナルコンピュータ１２は、コンピュータ本体１３と、モニタ１４と、キーボード１６及びマウス１７などの入力装置１８からなる。
【００１８】
図２に示すように、コンピュータ本体１３には、ＣＰＵ２１，ＲＡＭ２２，ハードディスクドライブで構成されるデータストレージ２３，通信Ｉ／Ｆ２４からなる。通信Ｉ／Ｆ２４は、通信ケーブルを介してデジタルカメラ１０と接続して、カメラ本体にセットされたストレージメディア１１からコンピュータ本体１３内に画像ファイルを取り込む画像入力手段である。ＲＡＭ２２は、ＣＰＵ２１が処理を実行する際の作業用のメモリである。
【００１９】
データストレージ２３には、画像処理プログラムであるＣＣＤ−ＲＡＷアプリケーション２６がインストールされている。このＣＣＤ−ＲＡＷアプリケーション２６で生成された完成画像は、データストレージ２３に出力される。ＣＣＤ−ＲＡＷアプリケーション２６は、プログラム本体２７，標準画像用ＬＵＴ２８，特殊画像用ＬＵＴ２９，操作画面データ３０などからなる。
【００２０】
このＣＣＤ−ＲＡＷアプリケーション２６は、標準画像ファイルと特殊画像ファイルとを識別するデータ種識別と、ユーザーの指定に応じて画像処理条件を設定する処理条件設定と、設定された処理条件に従って各種の画像処理を実行する画像処理の各ステップとをＣＰＵ２１に実行させる。データ種の識別は、例えば、各ファイルの拡張子に基づいて行われる。
【００２１】
標準画像用ＬＵＴ２８及び特殊画像用ＬＵＴ２９は、ガンマ補正やトーンカーブ補正をする際の補正パラメータをテーブル形式に格納したものである。これら各ＬＵＴ２８，２９は、必要に応じてＲＡＭ２２にロードされて使用される。後述するように、ＣＣＤ−ＲＡＷアプリケーション２６は、データ種に応じて異なるプロセスで画像処理を実行する。その際、各ＬＵＴ２８，２７もデータ種に応じて使い分けられる。
【００２２】
標準画像データの画像処理プロセスでは、ガンマ補正とトーンカーブ補正とがまとめて実行されるので、標準画像用ＬＵＴ２８には、ガンマ補正とトーンカーブ補正とを結合した結合ＬＵＴ２８ａが含まれている。他方、特殊画像データのプロセスでは、ガンマ補正とトーンカーブ補正とがそれぞれ単独で実行されるので、特殊画像用ＬＵＴ２９には、ガンマ補正用のＬＵＴ２９ａと、トーンカーブ補正用のＬＵＴ２９ｂとがそれぞれ含まれている。補正パラメータとしては、予め定められた所定の既定値が設定されており、その補正パラメータが各ＬＵＴに格納されている。この既定の補正パラメータは、ユーザーの指定により調整が可能であり、各ＬＵＴは、それに応じて修正される。
【００２３】
図３に示すように、結合ＬＵＴ２８ａは、ガンマ補正用のＬＵＴ２８ｂと、トーンカーブ補正用のＬＵＴ２８ｃとを結合したものである。ガンマ補正とトーンカーブ補正は、ともに各画素の入力信号レベルに対する出力信号レベルを変換するものであるから、結合ＬＵＴ２８ａを使用することにより、変換処理が１回で済むため、処理が簡略化されて、処理時間が短縮される。
【００２４】
図４に示すように、ＣＣＤ−ＲＡＷアプリケーション２６は、モニタ１４に表示された操作画面３１を通じて各種の操作指示を受け付けるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を採用している。操作画面３１は、画像表示領域３２と調整部表示領域３３とからなる。画像表示領域３２には、選択された画像ファイルのプレビュー画像３４が表示される。ＣＣＤ−ＲＡＷアプリケーション２６は、所望の画像ファイルを選択した状態で起動され、その起動直後に、選択された画像ファイルのデータ種（標準画像か特殊画像か）の識別を行う。そして、そのデータ種に応じた処理条件（補正パラメータ）の既定値が設定されるともに、操作画面３１がモニタ１４に表示される。プレビュー画像３４には、設定された処理条件が適用されるようになっており、これにより、ユーザーによって指定される処理条件の結果が予め確認できるようになっている。
【００２５】
調整部表示領域３３には、トーンカーブ補正，ホワイトバランス補正，彩度補正，シャープネス補正，明るさ補正の各処理条件を指定するための各調整部３６，３７，３８，３９が設けられている。トーンカーブ調整部３６には、横軸と横軸に入力信号レベルと出力信号レベルを取った座標上にトーンカーブ３６ａが表示される。このトーンカーブ３６ａは、マウス１７のポインタ４１を曲線の各部に合わせてドラッグすることで、変形される。図４に示したように、トーンカーブ３６ａをＳ字カーブにすると、画像のハイライト部分（横軸方向の右側）の明るさが増す一方、シャドウ部分（横軸方向の左側）の明るさが低下する。これにより、明るい部分は十分に明るく、暗い部分は十分に暗いというように画像全体のコントラストをはっきりさせることができる。また、このトーンカーブ３６ａの形状によって、入力信号の各輝度域に対して割り当てられる出力信号の階調幅が決まるので、トーンカーブ３６ａの形状を調整することにより、各輝度域のコントラストを調節することができる。
【００２６】
その他の各調整部３７〜３９には、目盛とその目盛上を移動するスライダ３７ａ〜３９ａが設けられている。ポインタ４１を、各スライダ３７ａ〜３９ａに合わせて、それぞれを目盛方向にドラッグすることにより各補正処理の補正レベルが調整される。また、画像表示領域３２の下には、処理条件を確定する決定ボタン４３と、処理条件を既定値に戻すためのキャンセルボタン４４とが設けられている。決定ボタン４３をマウス１７でクリック操作すると、ＣＣＤ−ＲＡＷアプリケーション２６は、ユーザーによって指定された補正レベルに応じて、予め設定された処理条件の既定値を修正する。例えば、トーンカーブ３６ａの調整が行われると、トーンカーブ補正用のＬＵＴに格納された補正パラメータが変更される。
【００２７】
図５は、特殊画像データと標準画像データのそれぞれの画像処理プロセスの説明図である。図５（Ａ）に示すように、標準画像データは、ゲイン補正処理を行った後、ガンマ補正とトーンカーブ補正とをまとめて実行する結合処理が行われる。この結合処理は、前記結合ＬＵＴ２８ａに基づいて行われる。そして、この結合処理後、その他の補正処理が実行されて完成画像がデータストレージ２３に出力される。
【００２８】
他方、図５（Ｂ）に示すように、特殊画像データは、メインデータとハイライトデータに対してゲイン補正処理が行われる。ガンマ補正処理は、標準画像データと異なり、メインデータとハイライトデータのそれぞれに対して単独で行われる。このガンマ補正処理では、特殊画像用のガンマ補正ＬＵＴ２９ａが使用される。この後、メインデータとハイライトデータに基づいてレンジ合成処理がなされて、広いダイナミックレンジを持つ合成データが生成される。そして、この合成データに対して、特殊画像用のトーンカーブ補正ＬＵＴ２９ｂを使用して、トーンカーブ補正が単独でなされる。トーンカーブ補正がなされた後、その他の補正処理が実行されて完成画像がデータストレージ２３に出力される。
【００２９】
以下、上記構成による作用について、図６のフローチャートを参照しながら説明する。デジタルカメラ１０のＣＣＤ−ＲＡＷ記録モードで記録された画像ファイルを選択して起動指示が与えられると、ＣＣＤ−ＲＡＷアプリケーション２６が起動する。ＣＣＤ−ＲＡＷアプリケーション２６が起動されると、ＣＰＵ２１は、ＣＣＤ−ＲＡＷアプリケーション２６の各処理ステップを実行する。ＣＰＵ２１は、起動直後に、まず、画像ファイルの拡張子に基づいて、データ種を判定する。そして、標準画像データの場合には、標準画像用のＬＵＴ２８を選択して、標準画像用の処理条件の既定値を設定する。他方、特殊画像データの場合には、特殊画像用のＬＵＴ２９を選択して、特殊画像用の処理条件の既定値を設定する。
【００３０】
さらに、モニタ１４に操作画面３１を表示する。プレビュー画像３４は、設定された処理条件の既定値に基づいて生成される。ユーザーは、プレビュー画像３４を見ながら、マウス１７を通じて各調整部３６〜４０を操作して、所望の処理条件を指定する。この処理条件の指定に際しては、特殊画像データであっても、トーンカーブ補正はレンジ合成後に行われるので、メインデータとハイライトデータのそれぞれに対して処理条件を指定する必要がないので、処理条件の調整が複雑になることはない。ＣＰＵ２１は、処理条件が調整されると、ユーザーの指定に応じて処理条件の既定値を変更し、変更した補正パラメータに基づいてプレビュー画像３４を更新する。このように処理条件がプレビュー画像３４に反映されるので、調整がしやすい。
【００３１】
調整が終了した場合には、決定ボタン４３をマウス１７でクリックする。これにより調整した処理条件が確定する。ＣＰＵ２１は、確定した処理条件に基づいて、画像処理を実行する。標準画像データの場合には、図５（Ａ）に示した画像処理プロセスを実行し、特殊画像データの場合には、図５（Ｂ）に示した画像処理プロセスを実行する。特殊画像データは、レンジ合成後の合成データに対して、トーンカーブ補正が実行されるので、低輝度域から高輝度域の全域に渡ってトーンカーブ補正の効果が得られる。このため、ユーザーの意図が、完成画像に正確に反映される。
【００３２】
上記実施形態では、画像処理プログラムをコンピュータにインストールした形態で説明しているが、本発明の画像処理方法は、この形態に限られず、例えば、専用の画像処理装置によって実現したり、また、画像処理プログラムをデジタルカメラ本体に組み込んで、デジタルカメラで実現するなど、種々の形態に適用可能である。
【００３３】
【発明の効果】
以上詳細に説明したように、本発明は、各画素のデータが、主として低輝度域から中輝度域までの階調を表現するメインデータと、このメインデータで表現できない高輝度域の階調を表現するハイライトデータとの２種類のデータから構成され、これら２種類のデータに基づいてレンジ合成処理が施されることにより広いダイナミックレンジを持つ合成画像が生成可能な特殊画像データに対して、前記レンジ合成処理とともに、少なくともガンマ補正処理及びトーンカーブ補正処理を含む画像補正処理を実行する場合に、前記レンジ合成処理及びガンマ補正処理を実行させた後に、前記処理条件に基づいて、トーンカーブ補正処理を実行するようにしたから、ユーザーの意図を正確に反映した完成画像を得ることができる。
【００３４】
また、各画素のデータが１種類のデータからなる標準画像データと、前記特殊画像データとを識別するデータ種を識別して、前記標準画像データに対しては、ガンマ補正処理とトーンカーブ補正処理の各補正パラメータを結合した結合ＬＵＴを使用して、ガンマ補正処理とトーンカーブ補正処理とをまとめて実行するようにしたので、処理の簡略化にも寄与する。
【図面の簡単な説明】
【図１】ＣＣＤ−ＲＡＷデータの再生方法の説明図である。
【図２】ＣＣＤ−ＲＡＷアプリケーションとそれがインストールされたパーソナルコンピュータの構成図である。
【図３】結合ＬＵＴの説明図である。
【図４】ＣＣＤ−ＲＡＷアプリケーションの操作画面の説明図である。
【図５】標準画像データと特殊画像データの画像処理プロセスの説明図である。
【図６】ＣＣＤ−ＲＡＷアプリケーションを使用してＣＣＤ−ＲＡＷデータから完成画像を生成する手順を示すフローチャートである。
【図７】広いダイナミックレンジを持つ画像を生成可能なＣＣＤイメージセンサの説明図である。
【符号の説明】
１０ デジタルカメラ
１１ ストレージメディア
１２ パーソナルコンピュータ
２６ ＣＣＤ−ＲＡＷアプリケーション
２８ 標準画像用ＬＵＴ
２９ 特殊画像用ＬＵＴ
３１ 操作画面[0001]
BACKGROUND OF THE INVENTION
According to the present invention, each pixel data includes main image data expressing gradations from a low luminance region to a medium luminance region, and highlight image data expressing gradations of a high luminance region that cannot be expressed by the main image data. The present invention relates to an image processing method and program for configured image data.
[0002]
[Prior art]
2. Description of the Related Art There is known a digital camera that captures an image of a subject by an image capturing unit such as a CCD image sensor and records a captured image as digital data. The CCD image sensor is provided with a photocathode in which a large number of light receiving elements (pixels) are arranged in a matrix. Each pixel has R (red), G (green), and B (blue) in front of the photocathode. A color filter array is arranged so as to correspond to any of the above. The subject image formed on the photocathode is photoelectrically converted, and a charge corresponding to the amount of incident light is output for each pixel as an analog imaging signal.
[0003]
The analog imaging signal is converted to digital by an A / D converter, and the data immediately after the conversion is called CCD-RAW data (raw data). Since the CCD-RAW data is data having only information corresponding to one color per pixel, it cannot be enjoyed as it is. For this reason, many digital cameras generate various types of image correction processing such as gamma correction and white balance correction for the CCD-RAW data inside the camera to generate a completed image that can be viewed. It is recorded on a storage medium such as a memory card in a general-purpose image file format such as a format or TIFF format.
[0004]
However, there are many requests from camera users such as professional photographers and high amateurs to create a completed image by adding their own correction and processing based on the CCD-RAW data. These high-spec models for users are equipped with a CCD-RAW recording mode in which CCD-RAW data captured by a CCD image sensor is recorded directly on storage media without executing image correction processing inside the camera. There is a model.
[0005]
The CCD-RAW data recorded in this mode can be used for gain correction and gamma correction as well as gain correction and gamma correction by a personal computer in which a dedicated image processing program (hereinafter referred to as CCD-RAW application) is installed. It is reproduced after being subjected to image processing such as tone curve correction, sharpness correction, and saturation correction, and is converted into a general image file format such as JPEG or TIFF. The user designates a desired correction level while confirming the preview image displayed on the operation screen. The CCD-RAW application sets correction parameters and the like according to user designation, and executes correction processing according to the processing conditions. Thereby, a completed image having an image quality intended by the user is obtained.
[0006]
By the way, an image pickup device such as a CCD image sensor generally has a narrow dynamic range (ratio between the reproducible minimum value and the maximum value) representing the reproducibility of a luminance signal as compared with a photographic film. When the image is photographed, the high brightness area may be skipped or the low brightness area may be blackened. However, various methods for obtaining an image having a wide dynamic range with a CCD image sensor have been proposed due to recent advances in semiconductor manufacturing technology.
[0007]
For example, as shown in FIG. 7A, a special CCD image sensor in which one pixel 71 includes a main pixel 71a and a sub-pixel 71b having a light receiving area smaller than that of the main pixel 71a. 70, there is a method of taking in main data from the main pixel 71a with high sensitivity and highlight data from the sub-pixel 71b with low sensitivity. As shown in the graph of FIG. 7B, since the main pixel 71a has high sensitivity, it is saturated with a smaller amount of incident light than the sub-pixel 71b. On the other hand, since the subpixel 71b has low sensitivity, it is saturated with a larger amount of incident light than the main pixel 71a. Thereby, the main data can be extracted from the main pixel 71a, and the highlight data can be extracted from the sub-pixel 71b. The main data and highlight data obtained in this way are stored in one image file. This image file is reproduced by, for example, an image forming method described in Patent Document 1 below. In this reproduction process, range synthesis processing is performed based on the main data and highlight data.
[0008]
Such special image data composed of main data and highlight data meets the needs of the above-mentioned high-spec model users because a wide dynamic range is obtained. Therefore, it is considered that special image data can be reproduced in addition to standard image data (data in which one pixel data is composed only of main data) in the above-described CCD-RAW application.
[0009]
[Patent Document 1]
Japanese Patent Laid-Open No. 2001-8092
[Problems to be solved by the invention]
In a conventional CCD-RAW application, normally, after performing gamma correction, correction processing according to user preference such as tone curve correction is performed. Further, both the gamma correction and the tone curve correction are generally performed using a LUT (lookup table) in which correction parameters are tabulated.
[0011]
Since these gamma correction and tone curve correction are common in that the output signal level is converted with respect to the input signal level, the gamma correction LUT and the tone curve correction LUT are combined to combine these processes. If executed, the process can be simplified.
[0012]
Such a combination process of tone curve correction processing and gamma correction processing has no problem when executed on standard image data. However, in the case of special image data, highlight data is included in addition to the main data, so when combining processing is performed only on the main data in the same process as the standard image data, the high brightness expressed by the highlight data is displayed. The tone curve correction effect cannot be obtained for the area. Therefore, it is conceivable to perform combining processing on both main data and highlight data, but this requires the user to specify tone curve correction parameters for both main data and highlight data. However, the specification of processing conditions is complicated, and it is difficult to obtain the image quality intended by the user.
[0013]
It is an object of the present invention to provide an image processing method and program capable of accurately reflecting a user's intention on a completed image obtained by range synthesis of main data and highlight data.
[0014]
[Means for Solving the Problems]
In order to achieve the above object, according to the image processing program and method of the present invention, the data of each pixel mainly includes main data representing gradations from a low luminance region to a middle luminance region, and high data that cannot be represented by this main data. Special data that is composed of two types of data, highlight data that represents the gradation of the luminance range, and that can generate a composite image with a wide dynamic range by performing range synthesis processing based on these two types of data In the case of causing a computer to execute image correction processing including at least gamma correction processing and tone curve correction processing together with the range combining processing on image data, the processing is performed after the range combining processing and gamma correction processing are executed. The tone curve correction process is executed based on the conditions.
[0015]
Further, a data type for identifying standard image data in which each pixel data is composed of one type of data and the special image data is identified, and for the standard image data, gamma correction processing and tone curve correction processing are performed. It is preferable to execute the gamma correction process and the tone curve correction process collectively by using a combined LUT obtained by combining the respective correction parameters.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
The digital camera 10 shown in FIG. 1 has a CCD-RAW recording mode, and the CCD-RAW data captured in this recording mode is recorded on the storage medium 11 as it is without being subjected to image processing inside the camera. The As the storage medium 11, a micro drive (product name) or the like is used in addition to a memory card. Further, the digital camera 10 includes the above-described special CCD image sensor 70 (see FIG. 7) as a CCD image sensor. In the CCD-RAW recording mode, the standard image data including only main data, main data, Both special image data consisting of highlight data can be recorded. Each of these image data is stored in a standard image file and a special image file. Each of these files is given a different extension so that it can be identified.
[0017]
The CCD-RAW data is taken into the personal computer 12 in which an image processing program is installed, and is subjected to various image processing and reproduced. The personal computer 12 includes a computer main body 13, a monitor 14, and input devices 18 such as a keyboard 16 and a mouse 17.
[0018]
As shown in FIG. 2, the computer main body 13 includes a CPU 21, a RAM 22, a data storage 23 including a hard disk drive, and a communication I / F 24. The communication I / F 24 is an image input unit that is connected to the digital camera 10 via a communication cable and captures an image file from the storage medium 11 set in the camera body into the computer body 13. The RAM 22 is a working memory when the CPU 21 executes processing.
[0019]
In the data storage 23, a CCD-RAW application 26 that is an image processing program is installed. The completed image generated by the CCD-RAW application 26 is output to the data storage 23. The CCD-RAW application 26 includes a program main body 27, a standard image LUT 28, a special image LUT 29, operation screen data 30, and the like.
[0020]
The CCD-RAW application 26 uses a data type identification for identifying a standard image file and a special image file, a processing condition setting for setting an image processing condition according to a user's specification, and various images according to the set processing condition. The CPU 21 is caused to execute each step of image processing for executing processing. Identification of the data type is performed based on, for example, the extension of each file.
[0021]
The standard image LUT 28 and the special image LUT 29 store correction parameters used for gamma correction and tone curve correction in a table format. These LUTs 28 and 29 are loaded into the RAM 22 and used as necessary. As will be described later, the CCD-RAW application 26 executes image processing by a different process depending on the data type. At this time, the LUTs 28 and 27 are also selectively used according to the data type.
[0022]
In the image processing process of the standard image data, gamma correction and tone curve correction are executed together, so the standard image LUT 28 includes a combined LUT 28a that combines gamma correction and tone curve correction. On the other hand, in the special image data process, gamma correction and tone curve correction are executed independently, so the special image LUT 29 includes a LUT 29a for gamma correction and a LUT 29b for tone curve correction. ing. As the correction parameter, a predetermined predetermined value set in advance is set, and the correction parameter is stored in each LUT. This default correction parameter can be adjusted by user designation, and each LUT is modified accordingly.
[0023]
As shown in FIG. 3, the combined LUT 28a is a combination of an LUT 28b for gamma correction and an LUT 28c for tone curve correction. Since the gamma correction and tone curve correction both convert the output signal level with respect to the input signal level of each pixel, by using the combined LUT 28a, the conversion process can be performed only once, which simplifies the process. , Processing time is shortened.
[0024]
As shown in FIG. 4, the CCD-RAW application 26 employs a GUI (Graphical User Interface) that accepts various operation instructions through an operation screen 31 displayed on the monitor 14. The operation screen 31 includes an image display area 32 and an adjustment unit display area 33. In the image display area 32, a preview image 34 of the selected image file is displayed. The CCD-RAW application 26 is activated with a desired image file selected, and immediately after the activation, the data type (standard image or special image) of the selected image file is identified. Then, a default value of the processing condition (correction parameter) corresponding to the data type is set, and the operation screen 31 is displayed on the monitor 14. The set processing conditions are applied to the preview image 34, whereby the result of the processing conditions specified by the user can be confirmed in advance.
[0025]
The adjustment unit display area 33 is provided with adjustment units 36, 37, 38, and 39 for designating processing conditions of tone curve correction, white balance correction, saturation correction, sharpness correction, and brightness correction. . In the tone curve adjustment unit 36, a tone curve 36a is displayed on the horizontal axis and the coordinates obtained by taking the input signal level and the output signal level on the horizontal axis. The tone curve 36a is deformed by dragging the pointer 41 of the mouse 17 to each part of the curve. As shown in FIG. 4, when the tone curve 36a is an S-shaped curve, the brightness of the highlight portion (right side in the horizontal axis direction) of the image increases, while the brightness of the shadow portion (left side in the horizontal axis direction) increases. descend. As a result, the contrast of the entire image can be made clear such that the bright part is sufficiently bright and the dark part is sufficiently dark. Further, since the tone width of the output signal assigned to each luminance region of the input signal is determined by the shape of the tone curve 36a, the contrast of each luminance region can be adjusted by adjusting the shape of the tone curve 36a. Can do.
[0026]
Each of the other adjustment units 37 to 39 is provided with a scale and sliders 37a to 39a that move on the scale. The correction level of each correction process is adjusted by dragging the pointer 41 to the sliders 37a to 39a and dragging them in the scale direction. Also, below the image display area 32, a determination button 43 for confirming the processing conditions and a cancel button 44 for returning the processing conditions to the default values are provided. When the determination button 43 is clicked with the mouse 17, the CCD-RAW application 26 corrects the preset value of the processing condition set in advance according to the correction level designated by the user. For example, when the tone curve 36a is adjusted, the correction parameter stored in the LUT for tone curve correction is changed.
[0027]
FIG. 5 is an explanatory diagram of the image processing processes of the special image data and the standard image data. As shown in FIG. 5A, the standard image data is subjected to a gain correction process, and then a combination process that collectively executes gamma correction and tone curve correction is performed. This joining process is performed based on the joining LUT 28a. After this combining process, other correction processes are executed, and a completed image is output to the data storage 23.
[0028]
On the other hand, as shown in FIG. 5B, the special image data is subjected to gain correction processing on the main data and the highlight data. Unlike the standard image data, the gamma correction processing is performed independently for each of the main data and the highlight data. In this gamma correction processing, a gamma correction LUT 29a for special images is used. Thereafter, range synthesis processing is performed based on the main data and the highlight data, and synthesized data having a wide dynamic range is generated. Then, tone curve correction is independently performed on the composite data using the tone curve correction LUT 29b for special images. After tone curve correction is performed, other correction processing is executed, and a completed image is output to the data storage 23.
[0029]
Hereinafter, the operation of the above configuration will be described with reference to the flowchart of FIG. When an image file recorded in the CCD-RAW recording mode of the digital camera 10 is selected and an activation instruction is given, the CCD-RAW application 26 is activated. When the CCD-RAW application 26 is activated, the CPU 21 executes each processing step of the CCD-RAW application 26. The CPU 21 first determines the data type based on the extension of the image file immediately after startup. In the case of standard image data, the standard image LUT 28 is selected, and the default values of the processing conditions for the standard image are set. On the other hand, in the case of special image data, the special image LUT 29 is selected, and the default values of the special image processing conditions are set.
[0030]
Further, an operation screen 31 is displayed on the monitor 14. The preview image 34 is generated based on the default value of the set processing condition. While viewing the preview image 34, the user operates the adjustment units 36 to 40 through the mouse 17 to designate desired processing conditions. When specifying this processing condition, even for special image data, tone curve correction is performed after range synthesis, so there is no need to specify processing conditions for each of the main data and highlight data. The adjustment is not complicated. When the processing condition is adjusted, the CPU 21 changes the default value of the processing condition according to the user's designation, and updates the preview image 34 based on the changed correction parameter. Since the processing conditions are reflected in the preview image 34 in this way, adjustment is easy.
[0031]
When the adjustment is completed, the determination button 43 is clicked with the mouse 17. As a result, the adjusted processing conditions are determined. The CPU 21 executes image processing based on the determined processing conditions. In the case of standard image data, the image processing process shown in FIG. 5A is executed. In the case of special image data, the image processing process shown in FIG. 5B is executed. In the special image data, tone curve correction is performed on the synthesized data after range synthesis, so that the effect of tone curve correction can be obtained over the entire range from the low luminance region to the high luminance region. For this reason, the user's intention is accurately reflected in the completed image.
[0032]
In the above embodiment, the image processing program is installed in a computer. However, the image processing method of the present invention is not limited to this embodiment. For example, the image processing program can be realized by a dedicated image processing apparatus, The present invention can be applied to various forms such as a processing program incorporated in a digital camera body and realized by a digital camera.
[0033]
【The invention's effect】
As described above in detail, according to the present invention, the data of each pixel mainly includes main data representing gradations from a low luminance region to a medium luminance region, and gradations in a high luminance region that cannot be represented by the main data. For special image data that is composed of two types of data, the highlight data to be expressed, and a composite image having a wide dynamic range can be generated by performing range synthesis processing based on these two types of data. When performing image correction processing including at least gamma correction processing and tone curve correction processing together with the range synthesis processing, tone curve correction is performed based on the processing conditions after executing the range synthesis processing and gamma correction processing. Since the processing is executed, a completed image that accurately reflects the user's intention can be obtained.
[0034]
Further, a data type for identifying standard image data in which each pixel data is composed of one type of data and the special image data is identified, and for the standard image data, gamma correction processing and tone curve correction processing are performed. Using the combined LUT that combines these correction parameters, the gamma correction process and the tone curve correction process are executed together, which contributes to simplification of the process.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram of a method for reproducing CCD-RAW data.
FIG. 2 is a configuration diagram of a CCD-RAW application and a personal computer on which it is installed.
FIG. 3 is an explanatory diagram of a combined LUT.
FIG. 4 is an explanatory diagram of an operation screen of a CCD-RAW application.
FIG. 5 is an explanatory diagram of an image processing process of standard image data and special image data.
FIG. 6 is a flowchart showing a procedure for generating a completed image from CCD-RAW data using a CCD-RAW application.
FIG. 7 is an explanatory diagram of a CCD image sensor capable of generating an image having a wide dynamic range.
[Explanation of symbols]
10 Digital Camera 11 Storage Media 12 Personal Computer 26 CCD-RAW Application 28 Standard Image LUT
29 LUT for special images
31 Operation screen
