【０００１】
【発明の属する技術分野】
本発明は画像処理装置およびその方法に関し、例えば、画像を補正する画像処理に関する。
【０００２】
【従来の技術】
ディジタルカメラが急速に普及し、パーソナルコンピュータ（ＰＣ）も家庭で普通に利用されるようになった。ディジタルカメラで撮影された画像は、ＰＣとプリンタを使って印刷され、また、ホームページなどに公開される。しかし、ディジタルカメラの露出やホワイトバランスは完全と言えず、場合によっては、印刷前や公開前に画像の色補正が必要になる。ところが、画像補正は経験が必要で、経験が少ないと思うように画像を補正することができない。そのため、画像補正の未経験者や不慣れな人用に様々な自動画像補正方式が提案されている。
【０００３】
自画像動補正は、主に、画像の画素値のヒストグラムなど解析結果に基づき行われる。しかし、画像自体の情報に加え、メタデータ（付加情報）を考慮すれば、より適切な画像補正を行うことができる。例えばＥｘｉｆに準拠する画像データであれば、シャッタ速度や絞り値などの値を具体的に記録することができる。このようなメタデータを用いる自動画像補正について、例えば特開２００１−２０２５０９公報がある。同公報に記載された発明は、ノイズ除去パラメータをＩＳＯ感度に応じて場合分けし、ＩＳＯ感度に応じてパラメータを決定する。
【０００４】
【特許文献】
特開２００１−２０２５０９公報
【０００５】
【発明が解決しようとする課題】
本発明は、上述の問題を個々にまたはまとめて解決するためのもので、画像データに付加された付加情報に応じた補正を行うことを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００７】
本発明は、入力される画像データに付加された付加情報を取得し、取得した付加情報が示す画像取得時の情報を用いて、前記入力画像データを補正することを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明にかかる一実施形態の画像処理装置を図面を参照して詳細に説明する。
【０００９】
［概要］
上述したメタデータの値そのものを利用することができれば、より適切な画像補正を行うことが可能になる。例えば、ｆ値が大きいほどパンフォーカスに近くなると考えられるので、ｆ値そのものを利用する演算を用いて、エッジ強調の度合いを決めることが考えられる。また、ｆ値が小さい場合は、アウトフォーカスの部分をよりぼかし、フォーカスしている部分はより先鋭に見えるようなフィルタ処理が考えられる。このフィルタのパラメータも、ｆ値そのものを用いて計算することで、撮影時のカメラの設定をダイレクトに補正結果に反映させることが可能になる。
【００１０】
以下では、入力される画像データに付加された付加情報を取得し、取得した付加情報が示す画像取得時の情報に基づき画像処理パラメータを生成し、生成した画像処理パラメータを用いて、入力画像データを補正する実施形態を説明する。
【００１１】
補正された画像データに基づき画像を印刷する場合、印刷に使用する媒体のサイズや種類に応じて、画像処理パラメータを調整する。具体的には、媒体のサイズが大きいほどコントラストを強調するように、シャープネスを強くするように、および／または、ノイズ除去を強くするように画像処理パラメータを調整することが好ましい。
【００１２】
画像取得時の情報には、画像撮影時の露光時間、絞り値（ｆ値）、フラッシュ強度（ガイドナンバ）、被写体距離、焦点距離およびＩＳＯ感度などが含まれる。
【００１３】
また、画像処理には、色調・彩度補正、シャープネス、ノイズ除去、色かぶり補正、ぼかし、セピア調化、モノトーン化、ソラリゼーションおよびエンボスなどのフィルタ処理が含まれる。
【００１４】
補正は、予め順序が定められた複数の画像処理で構成される。
【００１５】
【第１実施形態】
［構成］
図１は実施形態のシステムの概略を示すブロック図である。
【００１６】
ＣＰＵ １０１は、システム全体の動作をコントロールし、一次記憶メモリ１０２に格納されたプログラムなどを実行する。一次記憶メモリ１０２は主にＲＡＭなどのメモリで、ＣＰＵ １０１は、二次記憶メモリ１０３に記憶されたプログラムなどを読み込んで一次記憶メモリ１０２に格納する。二次記憶メモリ１０３は、例えばハードディスクなどに該当する。一般に、一次記憶メモリ１０２のメモリ容量は二次記憶メモリ１０３のメモリ容量より小さく、一次記憶メモリ１０２に格納しきれないプログラムやデータなどは二次記憶メモリ１０３に格納される。また、長時間記憶すべきデータなども二次記憶メモリ１０３に格納される。つまり、ＣＰＵ １０１は、画像処理などのプログラムを実行する際に、二次記憶メモリ１０３に格納されたプログラムを一次記憶メモリ１０２に読み込んで実行する。
【００１７】
入力デバイス１０４は、例えば、システムのコントロールに用いるマウスやキーボードのほか、画像データの入力に必要なカードリーダ、スキャナ、フィルムスキャナ、ディジタルカメラなどに該当する。出力デバイス１０５は、例えば、モニタやプリンタなどが考えられる。なお、入力デバイス１０４および出力デバイス１０５は、図示しない汎用のインタフェイスを介してシステムバス１０９に接続されている。汎用のインタフェイスとしては、ＵＳＢ （Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＩＥＥＥ１３９４などのシリアルバス、ＳＣＳＩやＧＰＩＢなどのパラレルインタフェイス、ＲＳ２３２ＣやＲＳ４２２などのシリアルインタフェイス、ＩｒＤＡやＢｌｕｅｔｏｏｔｈなどの赤外線・無線インタフェイスなどが利用可能である。
【００１８】
図１に示すシステムの構成は、他にも様々な形態が考えられるが、本実施形態の主眼ではないので、その説明を省略する。
【００１９】
［ユーザインタフェイス］
図２はＣＰＵ １０１によってモニタに表示される画像補正用のグラフィカルユーザインタフェイス（ＧＵＩ）の一例を示す図である。
【００２０】
ツールバー２０２に備えられたファイルオープンボタンを押す、もしくは、メニューバー２０１のファイルメニューから「開く」を選択すると、ファイルオープンダイアログが表示され、画像ファイルを開くことができる。勿論、画像ファイルのアイコンを、補正画像の表示領域２０３にドラッグアンドドロップすることで、画像ファイルをオープンすることも可能である。
【００２１】
画像ファイルが選択されると、表示領域２０３には補正対象の画像が表示される。補正結果の画像ファイルを保存する場合は汎用の画像フォーマットで二次記憶メモリ１０３など保存すればよい。汎用の画像フォーマットにはＢＭＰ、ＪＰＥＧ、ＴＩＦＦなどを利用することができる。
【００２２】
ウィンドウ２０９は、ユーザが補正対象画像の表示倍率を設定するための表示倍率指定ウィンドウである。ウィンドウ２０９には「全体表示」「１００％」「２００％」「４００％」などの倍率を設定するためのラジオボタンがある。全体表示が選択された場合、補正対象画像は、そのアスペクト比（縦横比）が保たれたまま、表示領域２０３に収まるサイズで表示される。また、１００％の場合は等倍、２００％の場合は二倍、４００％の場合は四倍に拡大して表示される。例えば、２００％の場合は一画素を２×２画素、４００％の場合は一画素を４×４画素で表現する。以下「全体表示」を単に全体表示と呼び、これ以外の表示モードを部分表示と呼ぶ。
【００２３】
表示領域２０３に補正対象画像を表示しきれない場合はスクロールバーが表示され、ユーザがスクロールバーを操作することで、画像全体を確認することができる。また、スクロールバーが表示されている状態で、表示領域２０３をマウスでクリックした状態でドラッグすると、そのドラッグ分、画像がスクロールされる。
【００２４】
ウィンドウ２０８は、画像の向きやサイズを変更するための画像方向・サイズ指定ウィンドウで行う。ウィンドウ２０８には、画像サイズを変更する際に、ユーザが入力した縦（高さ）または横（幅）のサイズに対して、アスペクト比を保った横または縦のサイズをＣＰＵ １０１に計算させ入力させるためのチェックボックスが備わる。
【００２５】
ウィンドウ２０５から２０７はそれぞれ、色調補正ウィンドウ、ＵＳＭ指定ウィンドウおよびノイズ除去指定ウィンドウで、各ウインドウに配置されたスライダーなどを操作することで処理パラメータを設定（変更）することができる。なお、画像補正の詳細については後述する。
【００２６】
図３はツールバー２０２の詳細なボタン配置例を示す図である。
【００２７】
ツールバー２０２には、上述したファイルオープン用のファイルオープンボタン３０１、自動補正を適用する「強」「弱」「無」の各ボタン３０２−３０４、上述したウィンドウ２０５から２０９をすべて開く開ボタン３０５およびすべて閉じる閉ボタン３０６、各ウィンドウを開閉するためのボタン３０８−３１１、並びに、画像情報を表示するためのＩｎｆｏボタン３１２が備わる。
【００２８】
強ボタン３０２を押すと強めの自動補正が適用され、弱ボタン３０３を押すと弱めの自動補正が適用される。無ボタン３０４を押せば、すべての補正が取り消され、画像は無補正の状態になる。自動補正は、ヒストグラムなどの画像特徴量のほかに、補正対象画像のデータがＥｘｉｆに準拠する場合は、Ｅｘｉｆ情報を用いて補正パラメータを決定する。なお、補正パラメータは、ノイズ除去指定ウィンドウ２０７、色調補正ウィンドウ２０５およびＵＳＭ指定ウィンドウ２０６で設定可能なパラメータである。自動補正の詳細については後述する。
【００２９】
Ｉｎｆｏボタン３１２を押すと、図４に示す画像情報が表示される。「機種」には、Ｅｘｉｆデータの０ｔｈ ＩＦＤに格納されているＭａｋｅとＭｏｄｅｌの値を表示する。「撮影情報」としては、０ｔｈ ＩＦＤの中のＥｘｉｆ ＩＦＤに格納されているＣａｐｔｕｒｅ Ｓｃｅｎｅ Ｔｙｐｅ、Ｅｘｐｏｓｕｒｅ Ｔｉｍｅ（もしくはＳｈｕｔｔｅｒ Ｓｐｅｅｄ Ｖａｌｕｅ）、Ｆ Ｎｕｍｂｅｒ、Ｅｘｐｏｓｕｒｅ Ｂｉａｓ Ｖａｌｕｅ、Ｆｏｃａｌ Ｌｅｎｇｔｈ Ｖａｌｕｅ（もしくはＦｏｃａｌ Ｌｅｎｇｔｈ Ｉｎ ３５ｍｍ Ｆｉｌｍ）、Ｓｕｂｊｅｃｔ Ｄｉｓｔａｎｃｅ、Ｆｌａｓｈの値を表示する。これらの値およびＩＳＯ Ｓｐｅｅｄ Ｒａｔｉｎｇｓの値は、後述する自動補正に利用される。
【００３０】
メニューバー２０１には「ファイル」「自動補正」「ウィンドウ」の三つのメニューが用意されている。
【００３１】
ファイルメニューには、ファイルオープンダイアログを表示するための「開く」、画像補正を終了するための「閉じる」、補正対象画像を印刷するための「印刷」、並びに、ユーザの好みを指定するための「オプション」がある。図５は「オプション」が選択されると表示されるウィンドウの一例を示す図である。図５の例では「鮮やかさ」および「コントラスト」をユーザの好みに応じて設定することができるが、アンシャープマスクに代表される画像の先鋭度など、他の要素によるユーザの好みを反映できるようにしても構わない。
【００３２】
自動補正メニューには、「強」「弱」「無」ボタン３０２−３０４に対応する「強め」「弱め」「無し」がある。以下、「強」ボタン３０２が選択された状態を、自動補正・強、「弱」ボタン３０３が選択された状態を自動補正・弱と呼ぶ。
【００３３】
「ウィンドウ」メニューには、ボタン３０７−３１１に対応する「色調補正」「シャープネス」「ノイズ除去」「画像サイズ」および「表示倍率」がある。
【００３４】
図６はステイタスバー２０４の詳細例を示す図である。ステイタスバー２０４には基本情報の表示領域６０１および撮影モードの表示領域６０２がある。基本情報の表示領域６０１には、ｆ値、シャッタ速度、平均輝度など、画像の基本的な情報が表示される。撮影モードの表示領域６０２には、画像撮影時の撮影モードが表示される。なお、平均輝度値以外は、Ｅｘｉｆ情報から抽出されるデータを表示する。
【００３５】
［画像補正］
本実施形態の画像補正には自動補正と手動補正がある。自動補正は、画像の解析結果から補正パラメータを算出し、Ｅｘｉｆ情報があれば、算出した補正パラメータを修正する。なお、画像の解析結果には「オプション」で指定されたユーザの好みを反映するが、ユーザの好みを反映するための追加パラメータは後述する。
【００３６】
手動補正は、ユーザが色調補正ウィンドウ２０５、ＵＳＭ指定ウィンドウ２０６およびノイズ除去ウィンドウ２０７を使用して補正パラメータを指定する。勿論、自動補正で設定した補正パラメータを、これらのウィンドウ上のスライダを使用して修正することもできる。
【００３７】
以下、ユーザの好みを反映するための追加パラメータ、手動補正および自動補正について説明する。
【００３８】
●追加パラメータ
ユーザの好みを反映するための追加パラメータは、上述した図５に示すユーザインタフェイスで設定される。追加パラメータには、彩度調整パラメータＳｕｓｅｒとコントラスト調整パラメータＣｕｓｅｒの二つがある。
【００３９】
「鮮やかさ」は、「地味」「標準」および「派手」から選択されきるが、「地味」が選択された場合は彩度調整パラメータＳｕｓｅｒ＝−１に、「標準」が選択された場合はＳｕｓｅｒ＝０に、「派手」が選択された場合はＳｕｓｅｒ＝１になる。
【００４０】
「コントラスト」は、「低め」「標準」および「高め」から選択されるが、「低め」が選択された場合はコントラスト調整パラメータＣｕｓｅｒ＝−１に、「標準」が選択された場合はＣｕｓｅｒ＝０に、「高め」が選択された場合はＣｕｓｅｒ＝１になる。
【００４１】
これらの追加パラメータは、自動補正におけるパラメータ決定に用いられる。
【００４２】
●手動補正
図７は画像処理の構成例を示すブロック図である。入力信号は輝度色差信号ＹＣｂＣｒもしくはＲＧＢで、出力信号は入力信号と同じ形式の信号になる。例えば輝度色差信号ＹＣｂＣｒが入力される場合、出力も輝度色差信号ＹＣｂＣｒにする。また、輝度信号ＲＧＢが入力される場合は、変換器７０１によってＹＣｂＣｒ信号に変換してノイズ除去７０３、ヒストグラム補正７０５、彩度修正７０６などの画像処理を行った後、変換器７０２によってＲＧＢ信号に戻す。
【００４３】
ウィンドウ２０５−２０７の画質調整用のスライダ操作などによって補正パラメータが変更されると、輝度成分および色差成分のノイズ除去７０３、色調補正（ヒストグラム補正７０５および彩度修正７０６）、シャープネス（ＵＳＭ）７０７の各処理を、予め定められた順序で画像データに適用され、適用結果の画像が表示領域２０３に表示される。なお、本実施形態では画像処理例としてノイズ除去、色調補正、シャープネスを挙げるが、これら以外の画像処理を加えることもできる。
【００４４】
画像処理の順番は、写真などの画像の補正経験を充分にもつ人の経験に基づき決められた順番が望ましい。本実施形態では、一般的に妥当と考えられる、ノイズ除去、色調補正、シャープネスの順に処理を適用する。このように順序が決められた処理を適用することで、画像処理の未経験者や未熟な人でも、適切な画像処理を実施して、好適な補正結果を得ることが可能になる。
【００４５】
●ノイズ除去
本実施形態におけるノイズ除去７０３には、輝度成分に対するノイズ除去と色差成分に対するノイズ除去の二つがある。
【００４６】
図８はノイズ除去指定ウィンドウ２０７の詳細例を示す図で、輝度と色差の二つのスライダがあり、これらスライダにより補正パラメータＮｙｓｙｓとＮｃｓｙｓを指定する。Ｎｙｓｙｓは輝度成分のノイズ除去の強さを設定するパラメータ、Ｎｃｓｙｓは色差成分のノイズ除去の強さを設定するパラメータで、ＮｙｓｙｓとＮｃｓｙｓは０から１００の値をもつ。
【００４７】
輝度成分に対するノイズ除去には、単純化のため、次のような処理を適用する。すなわち、画素（ｉ， ｊ）の輝度Ｙｉ，ｊを、近傍の四画素の輝度を用いて、次のように算出する。
Ｙｉ，ｊ ＝ （２×Ｙｉ，ｊ ＋ Ｙｉ−１，ｊ ＋ Ｙｉ＋１，ｊ ＋ Ｙｉ，ｊ−１ ＋ Ｙｉ，ｊ＋１）／６×（１００ − Ｎｙｓｙｓ）／１００ ＋ Ｎｙｓｙｓ×Ｙｉ，ｊ／１００ …（１）
【００４８】
色差成分に対するノイズ除去処理にも同様に、単純化のため、次のような処理を適用する。すなわち、画素（ｉ， ｊ）の色差Ｃｂｉ，ｊとＣｒｉ，ｊを、近傍の四画素の色差を用いて、次のように算出する。
【００４９】
●色調補正
色調補正に使用するパラメータには、輝度に対するガンマＧｓｙｓ、黒レベルＢｋｓｙｓおよび明るさＬｓｙｓの三つのパラメータ、並びに、色差に対する彩度Ｓｓｙｓのパラメータがある。ここで、Ｇｓｙｓ、ＢｋｓｙｓおよびＬｓｙｓの３パラメータをヒストグラム変更パラメータと呼ぶ。
【００５０】
図９は色調補正ウィンドウ２０５の詳細例を示す図である。Ｇｓｙｓ、Ｂｋｓｙｓ、ＬｓｙｓおよびＳｓｙｓはそれぞれ、色調補正ウィンドウ２０５のスライダにより変更可能である。本実施形態では、Ｇｓｙｓの値は０．１から６．０、Ｂｋｓｙｓの値は０から２５５、Ｌｓｙｓの値は−１００から１００、Ｓｓｙｓの値は０から１５０である。
【００５１】
図１０は輝度補正の手順を示す図である。まず、画素の輝度値のヒストグラムｈｉｓｔ［２５６］をｈｉｓｔ［ｉ］＝ｉで初期化し（Ｓ１００１）、例えば次式に従いｈｉｓｔ［ｉ］を更新する（Ｓ１００２）。
ｈｉｓｔ［ｉ］ ＝ ２５５×［｛（ ｖ ／ （ ２５５ − Ｂｋ ）｝１／Ｇｓｙｓ］＋ Ｌｓｙｓ×（２５５ − ｖ ）／２５５ …（４）
ここで、ｖ ＝ ０ （ｉ ＜ Ｂｋ）
ｖ ＝ ｉ − Ｂｋ （その他）
【００５２】
次に、各画素の輝度ｊをｊ＝ｈｉｓｔ［ｊ］で再計算する（Ｓ１００３）。なお、輝度値は、後述する図１２もしくは図１３の最上位のレイヤ「表示」に表示する画像を生成する際に反映される。
【００５３】
ここで、ｈｉｓｔ［ｉ］の計算式には様々な構成が考えられるが、どのような式を使ってヒストグラムを計算しても構わない。ただし、式（３）を用いることでハイライト部がカットされなくなり、色調補正による白飛びで画質を著しく低下させる可能性を減らすことができる。
【００５４】
一方、彩度補正は、各画素の色差を次式で表される色差に補正する。
ｕ’ ＝ Ｓｓｙｓ／１００×ｕ …（５）
ここで、ｕは補正前の色差ベクトル（Ｃｂ， Ｃｒ）
ｕ’は補正後の色差ベクトル（Ｃｂ’， Ｃｒ’）
【００５５】
●シャープネス
シャープネスは、アンシャープマスク（ＵＳＭ）と呼ばれる処理を適用する。ＵＳＭの詳細については省略する。ＵＳＭには、適用半径Ｒｓｙｓ、適用量Ｖｓｙｓ、閾値Ｔｈｓｙｓの三つのパラメータがあり、ＵＳＭ指定ウィンドウ２０６にもこの３パラメータを調整するためのスライダがある。図１１はＵＳＭ指定ウィンドウ２０６の詳細を示す図である。
【００５６】
●自動補正
本実施形態における自動画像補正は、ヒストグラムなどの画像特徴量やＥｘｉｆ情報などの撮影条件などを用いて、補正パラメータを自動設定するものである。Ｅｘｉｆ情報には、撮影モードとして「標準」「風景」「人物」「夜景」が用意されている。この情報は、ユーザが撮影時に設定したカメラモードを保持するもので、補正パラメータをより良好に設定するために有用である。
【００５７】
また、露光時間やｆ値などの撮影条件を取り入れた式で補正パラメータを計算することで、撮影者の意図に近い補正を施すことができるようになる。例えば、ｆ値が大きければパンフォーカスに近くなることが予想される。このような場合は、シャープネスを強めに施すことが考えられる。また、フラッシュの発光量を示すガイドナンバ、露光感度を示すＩＳＯ感度、被写体までの距離である被写体距離、撮影時のｆ値、撮影時の３５ｍｍフィルム換算焦点距離を用いることで、被写体にフラッシュの光が届いたかどうか、また、届くために必要な条件を算出することができる。例えばＩＳＯ １００の場合、ガイドナンバＧｎ、被写体距離Ｄ、絞りｆの関係は次式のようになるから、例えば、被写体距離に比べてガイドナンバが小さい場合、撮影時のｆ値と理想ｆ値を用いて、適切な明るさに補正することが考えられる。
Ｇｎ ＝ Ｄ×ｆ …（６）
【００５８】
以下では、補正パラメータの自動設定方法を説明する。
【００５９】
まず、輝度成分のノイズ除去パラメータＮｙｓｙｓは、隣接画素の輝度差の平均値を画像全体で計算し、その平均値ＹＤＡＶＥを、輝度差の最大値ＹＤＭＡＸで割り、さらに１００倍した値にする。
【００６０】
色差成分のノイズ補正パラメータＮｃｓｙｓは、隣接画素の色差ベクトルの差ベクトルを求め、差ベクトルのノルムの平均値を画像全体で計算し、その平均値ＣＤＡＶＥを、輝度差の最大値ＣＤＭＡＸで割り、さらに１００倍した値にする。
【００６１】
ただし、上記の処理は非常に時間が掛かるので、本実施形態では、露光時間ＴＥ（秒）を用いて、次式でＮｙｓｙｓおよびＮｃｓｙｓを求める。
ＴＥ ＞ １または撮影モード「夜景」の場合、Ｎｙｓｙｓ ＝ ＴＥ×２
その他の場合、Ｎｙｓｙｓ ＝ ０
Ｎｃｓｙｓ ＝ ０ …（７）
【００６２】
色調補正パラメータのうち、ガンマ補正パラメータＧｓｙｓは、露光時間ＴＥ（秒）を用いて次式で算出する。
【００６３】
（自動補正・強）
ＴＥ ＜ ３０の場合、Ｇｓｙｓ ＝ １．４ − ＴＥ／７５
その他の場合、Ｇｓｙｓ ＝ １．０ …（８）
（自動補正・弱）
ＴＥ ＜ ３０の場合、Ｇｓｙｓ ＝ １．２ − ＴＥ／１５０
その他の場合、Ｇｓｙｓ ＝ １．０ …（９）
色調補正パラメータのうち、黒レベル補正パラメータＢｋｓｙｓは、露光時間ＴＥ（秒）を用いて次式で算出する。
ＴＥ ＜ ０．０３または撮影モード「風景」の場合、
Ｂｋｓｙｓ ＝ Ｃｕｓｅｒ×α ＋ β ＋ √ｆ
０．０３ ≦ ＴＥ ＜ １または撮影モード「風景」「夜景」以外の場合、
Ｂｋｓｙｓ ＝ Ｃｕｓｅｒ×α ＋ β
ＴＥ ≧ １または撮影モード「夜景」の場合、
Ｂｋｓｙｓ ＝ Ｃｕｓｅｒ×α …（１０）
ここで、
【００６４】
式（１０）において、ｆは撮影情報から得られるｆ値だが、補正対象の画像データがＥｘｉｆ準拠ではないなどの理由により、撮影情報がない場合はこの項を無視する。αおよびβの値は次式で表される。
【００６５】
（自動補正・強）
α ＝ ３
ｈｉｓｔ（ＢｋＨＩＧＨ） ＜ ＢｋＶａｌｕｅ ＨＩＧＨの場合、β ＝ ｈｉｓｔ（ＢｋＨＩＧＨ）
その他の場合、β ＝ ｈｉｓｔ（ＢｋＶａｌｕｅ ＨＩＧＨ）
（自動補正・弱）
α ＝ ２
ｈｉｓｔ（ＢｋＬＯＷ） ＜ ＢｋＶａｌｕｅ ＬＯＷの場合、β ＝ ｈｉｓｔ（ＢｋＬＯＷ）
その他の場合、β ＝ ｈｉｓｔ（ＢｋＶａｌｕｅ ＬＯＷ） …（１１）
ここでｈｉｓｔ（ＢｋＨＩＧＨ）およびｈｉｓｔ（ＢｋＬＯＷ）は、輝度が低い順に画素を所定の割り合い（ｎ％）選択して、選択した画素の中で最も明るいまたは最も暗い画素の輝度を表す。例えば、ＢｋＨＩＧＨ＝１３、ＢｋＬＯＷ＝４などである。また、ＢｋＶａｌｕｅ ＨＩＧＨとＢｋＶａｌｕｅ ＬＯＷは、過剰な黒レベル補正を行わないための定数で、本実施形態ではそれぞれＢｋＶａｌｕｅ ＨＩＧＨ＝４０、ＢｋＶａｌｕｅ ＬＯＷ＝２０である。
【００６６】
色調補正パラメータのうち、明るさ補正パラメータＬｓｙｓは、画像全体の平均輝度Ｌａｖｅを用いて次式で算出する。
Ｌａｖｅ − １２８ ＞ Ｌｌｉｍｉｔの場合、
Ｌｓｙｓ ＝ Ｐｍｏｄｅ×ａ ＋ Ｌｌｉｍｉｔ
｜Ｌａｖｅ − １２８｜ ＜ Ｌｌｉｍｉｔの場合、
Ｌｓｙｓ ＝ Ｐｍｏｄｅ×ａ ＋ １２８ − Ｌａｖｅ
１２８ − Ｌａｖｅ ＞ Ｌｌｉｍｉｔの場合、
Ｌｓｙｓ ＝ Ｐｍｏｄｅ×ａ − Ｌｌｉｍｉｔ …（１２）
【００６７】
Ｌｌｉｍｉｔは、過剰な明るさ補正を適用しないための値で定数である。変数Ｐｍｏｄｅは撮影モードが「人物」か否かの状態を表し、「人物」モードであればＰｍｏｄｅ＝１、そうでなければＰｍｏｄｅ＝０である。自動補正・強の場合は、Ｌｌｉｍｉｔ＝１６およびａ＝３、自動補正・弱の場合はＬｌｉｍｉｔ＝８およびａ＝２にする。ただし、露光時間が１秒以上もしくは撮影モードが「夜景」の場合はＬａｖｅの値に関わらずＬｓｙｓ＝０にする。
【００６８】
人物の撮影は若干、露光オーバ気味がよいとされている。式（１２）を用いることで、顔検出などの複雑な処理を行うことなしに適切な補正を行うことができる。
【００６９】
シャープネスの補正パラメータ、上述したように、適用半径Ｒｓｙｓ、適用量Ｖｓｙｓ、閾値Ｔｈｓｙｓの３パラメータがあるが、本実施形態の自動補正では、適用量Ｖｓｙｓだけを次式によって自動設定し、適用半径Ｒｓｙｓ＝１および閾値Ｔｈｓｙｓ＝０にする。
ＴＥ ＞ １または撮影モード「夜景」の場合、
Ｖｓｙｓ ＝ ＵＳＭＭＡＸ Ｖａｌｕｅ − ＴＥ
それ以外の場合、
Ｖｓｙｓ ＝ ＵＳＭＭＡＸ Ｖａｌｕｅ …（１３）
【００７０】
ＵＳＭＭＡＸ Ｖａｌｕｅは、ＵＳＭの最大適用量で、自動補正・強の場合は８０、自動補正・弱の場合は５０にする。また、Ｖｓｙｓの値が負になった場合はＶｓｙｓ＝０にする。
【００７１】
このように、Ｅｘｉｆ情報を利用して、適切な画像補正を行うことが可能になる。
【００７２】
【第２実施形態】
以下、本発明にかかる第２実施形態の画像処理装置を説明する。なお、本実施形態において、第１実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００７３】
第１実施形態では、単純に、画像全体を色補正してユーザに提示する例を説明したが、画像全体の画像処理は時間が掛かる場合が多く、画面に表示される部分だけを画像処理する方が現実的である。第２実施形態では、画面に表示する部分だけを画像処理してユーザに提示する例を説明する。
【００７４】
図１２は画像全体を表示する際の処理を説明する図である。表示領域２０３よりも補正対象画像のサイズが大きい場合、補正対象画像を表示領域２０３に内接するサイズに縮小した後、すべての補正を適用する。もし逆に、補正対象画像のサイズが表示領域２０３よりも小さい場合は、すべての補正処理を適用した後、表示する直前に拡大処理を行う。拡大・縮小のアルゴリズムには様々な方法を適用可能であるが、詳細な説明は省略する。
【００７５】
図１３は部分画像を表示する際の処理を説明する図である。表示領域２０３よりも補正対象画像のサイズが大きい場合、補正対象画像から表示領域２０３に内接するサイズの部分画像を抽出し、部分画像にすべての補正を適用し、表示領域２０３に表示する。もし逆に、補正対象画像のサイズが表示領域２０３よりも小さい場合は、すべての補正処理を適用した後、表示領域２０３の所定の位置、例えば表示領域２０３の中央に表示する。
【００７６】
このような処理により、よりスムーズに補正結果をユーザに提示することが可能になる。ここで、図１２に示す縮小処理後に補正処理を適用する系では、補正処理を補正対象画像そのものに適用する場合と、縮小画像に適用する場合とで、結果が異なる補正処理が存在する。例えばシャープネスで利用するＵＳＭは、処理に用いる半径をピクセル単位に指定すると、縮小処理によって仮想的に半径が拡大したことと同義になる。そこで、このような場合、縮小率に合わせてＵＳＭの適用半径を小さくすることが考えられる。例えば、ＵＳＭの適用半径Ｒｓｙｓ’を、補正パラメータＲｓｙｓを用いて、次式で算出する。
Ｒｓｙｓ’ ＝ Ｒｓｙｓ×Ｄｕｘ …（１４）
ここで、Ｄｕｘ ＝ Ｗｉｄｔｈｖｉｅｗ／Ｗｉｄｔｈｏｒｉｇ
Ｗｉｄｔｈｏｒｉｇは画像の幅（ピクセル単位）
Ｗｉｄｔｈｖｉｅｗは拡大縮小後の画像の幅（ピクセル単位）
【００７７】
【第３実施形態】
第２実施形態で、第１実施形態で説明した処理の高速化を説明したが、第３実施形態では、さらに高速に処理する方法を説明する。
【００７８】
例えば部分表示時に補正対象画像のサイズが表示領域２０３より大きいならば、スクロールバーを操作するなどして表示領域２０３に表示される部分画像を変更する場合、第２実施形態では常に部分画像を抽出し、すべての画像処理を適用して、その結果を表示することになる。ハードウェアで画像補正を実現する場合、第２実施形態の処理でも充分な速度が得られる可能性が高い。しかし、ソフトウェアで画像補正を実現する場合は、スクロール速度が遅くなったり、スムーズなスクロールができなかったりする場合がある。
【００７９】
そこで、画像全体表示における補正対象画像のサイズ変更処理、および、部分画像の表示時のスクロール操作における表示領域の変更処理中は、幾つかの画像補正、例えばノイズ除去およびシャープネスを省略することが考えられる。
【００８０】
図１４はノイズ除去およびシャープネスを省略可能にする画像処理の構成例を示すブロック図である。スイッチＳＷ ７１１から７１９は、次に挙げるスキップ条件の何れかを満たす場合にオンになり、ノイズ除去およびシャープネスをスキップする。
（１） 表示領域２０３を含むウィンドウのリサイズ操作中
（２） 部分画像の表示時におけるスクロール操作中。つまり、表示領域２０３上でマウスボタンが押された状態でマウスが移動された場合、もしくは、スクロールバーの操作中。
【００８１】
イベントドリブンなシステムであれば、条件（２）に相当するイベントが送られてきた場合にスイッチＳＷ ７１１から７１９をオンにして、補正処理の一部をスキップすればよい。そうでない場合は、マウス操作に伴いＣＰＵ １０１が、例えば図１５に示すスキップ処理を行うことが考えられる。
【００８２】
まず、上記のステップ条件の何れかを満たすかチェックし（Ｓ１５０１）、何れかスキップ条件を満たす場合は図１４に示すスイッチＳＷ ７１１から７１９をオンにして補正処理をスキップする（Ｓ１５０２）。そして、再びスキップ条件をチェックし（Ｓ１５０４）、何れかスキップ条件を満たす場合は処理をステップＳ１５０２へ戻し、ステップＳ１５０２およびＳ１５０４を繰り返す。
【００８３】
また、ステップＳ１５０１またはＳ１５０４で何れのスキップ条件も満たさない場合は、すべての補正処理を適用し（Ｓ１５０５）、処理を終了する。
【００８４】
このように、スクロールやリサイズ中は補正結果をユーザに提示する必要性が低いことを考慮して、補正処理の一部を省略することで、より快適なＧＵＩ操作をユーザに提供することができる。
【００８５】
【第４実施形態】
第４実施形態では、上述したＧＵＩを用いて補正した画像を印刷する処理を説明する。
【００８６】
印刷処理は、画像処理部を上述したどの形態で実装したとしても、図７に示す系で画像補正を行って得られる画像信号を、印刷解像度によって定まる印刷用データに合わせた画像サイズに拡大もしくは縮小して印刷画像を作成し、ＣＭＹＫなど印刷用の画像信号に変換する。その際、印刷サイズによらず、常に同じ補正パラメータを適用しても構わないが、印刷出力サイズに応じて補正パラメータを修正することが考えられる。一般に、例えばＬ判サイズなど小さい記録紙に印刷する場合は、Ａ４サイズなど大きい記録紙に印刷する場合に比べ、同じデータで印刷した場合でもコントラストが高くみえる傾向がある。そこで、例えば記録紙の面積に応じて補正パラメータを修正することが考えられる。
【００８７】
第４実施形態では、Ｌ判サイズの面積を１とした場合の面積比αを用いて、コントラストを補正する。具体的には、ヒストグラム変更パラメータのうち、黒レベルＢｋｓｙｓを補正してコントラストを調整する。また、シャープネス処理の補正パラメータのうち、ＵＳＭの適用量Ｖｓｙｓを補正する。印刷時の黒レベルＢｋｐｒｔおよび印刷時の適用量Ｖｐｒｔは次式のようになる。
Ｂｐｒｔ ＝ α×Ｂｋｓｙｓ （１５）
Ｖｐｒｔ ＝ （１００ ＋ α）×Ｖｓｙｓ／１００ （１６）
【００８８】
このように補正パラメータを修正することで、印刷出力サイズによる印象の差を低減することができる。
【００８９】
以上説明したように、上述した各実施形態によれば、メタデータとして格納されている撮影情報の数値そのものを用いて、撮影時のカメラ設定を適切に反映した画像補正を行うことが可能になる。
【００９０】
また、リアルタイムに画像補正結果をユーザに提示し、処理の順序を意識させずに適切な画像補正を行うことが可能になる。また、ユーザの好みを反映した自動補正結果について、任意のパラメータの調整を行うことが可能になる。
【００９１】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００９２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９４】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００９５】
【発明の効果】
以上説明したように、本発明によれば、画像データに付加された付加情報に応じた補正を行うことができる。
【図面の簡単な説明】
【図１】実施形態のシステムの概略を示すブロック図、
【図２】モニタに表示される画像補正用のグラフィカルユーザインタフェイス（ＧＵＩ）の一例を示す図、
【図３】ツールバー２０２の詳細なボタン配置例を示す図、
【図４】画像情報の表示ウィンドウの一例を示す図、
【図５】オプションウィンドウの一例を示す図、
【図６】ステイタスバーの詳細例を示す図、
【図７】画像処理の構成例を示すブロック図、
【図８】ノイズ除去指定ウィンドウの詳細例を示す図、
【図９】色調補正ウィンドウの詳細例を示す図、
【図１０】輝度補正の手順を示す図、
【図１１】ＵＳＭ指定ウィンドウの詳細を示す図、
【図１２】画像全体を表示する際の処理を説明する図、
【図１３】部分画像を表示する際の処理を説明する図、
【図１４】ノイズ除去およびシャープネスを省略可能にする画像処理の構成例を示すブロック図、
【図１５】スキップ処理を示すフローチャートである。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and method thereof, for example, image processing for correcting an image.
[0002]
[Prior art]
With the rapid spread of digital cameras, personal computers (PCs) are also commonly used at home. Images taken with a digital camera are printed using a PC and a printer, and are also disclosed on a homepage. However, the exposure and white balance of a digital camera cannot be said to be perfect, and in some cases, color correction of an image is required before printing or publication. However, image correction requires experience, and the image cannot be corrected as thought to be less experienced. For this reason, various automatic image correction methods have been proposed for those who are inexperienced or unfamiliar with image correction.
[0003]
The self-image motion correction is mainly performed based on an analysis result such as a histogram of pixel values of an image. However, if metadata (additional information) is considered in addition to information on the image itself, more appropriate image correction can be performed. For example, if the image data conforms to Exif, values such as a shutter speed and an aperture value can be specifically recorded. For example, Japanese Patent Laid-Open No. 2001-202509 discloses automatic image correction using such metadata. In the invention described in the publication, noise removal parameters are classified according to ISO sensitivity, and parameters are determined according to ISO sensitivity.
[0004]
[Patent Literature]
Japanese Patent Laid-Open No. 2001-202509
[Problems to be solved by the invention]
The present invention is for solving the above-described problems individually or collectively, and an object thereof is to perform correction according to additional information added to image data.
[0006]
[Means for Solving the Problems]
The present invention has the following configuration as one means for achieving the above object.
[0007]
The present invention is characterized in that additional information added to input image data is acquired, and the input image data is corrected using information at the time of image acquisition indicated by the acquired additional information.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described in detail with reference to the drawings.
[0009]
[Overview]
If the metadata values described above can be used, more appropriate image correction can be performed. For example, it is considered that the larger the f value is, the closer the pan focus is, so it is conceivable that the degree of edge enhancement is determined using a calculation that uses the f value itself. In addition, when the f value is small, it is conceivable to perform a filtering process in which the out-focus portion is more blurred and the focused portion looks sharper. This filter parameter is also calculated using the f value itself, so that the camera settings at the time of shooting can be directly reflected in the correction result.
[0010]
Hereinafter, additional information added to input image data is acquired, image processing parameters are generated based on information at the time of image acquisition indicated by the acquired additional information, and input image data is generated using the generated image processing parameters. An embodiment for correcting the above will be described.
[0011]
When an image is printed based on the corrected image data, the image processing parameter is adjusted according to the size and type of the medium used for printing. Specifically, it is preferable to adjust the image processing parameters so that the contrast is enhanced as the medium size increases, the sharpness is increased, and / or the noise removal is increased.
[0012]
Information at the time of image acquisition includes exposure time at the time of image shooting, aperture value (f value), flash intensity (guide number), subject distance, focal length, ISO sensitivity, and the like.
[0013]
The image processing includes filter processing such as color tone / saturation correction, sharpness, noise removal, color cast correction, blurring, sepia tone conversion, monotone conversion, solarization, and embossing.
[0014]
The correction is composed of a plurality of image processes whose order is determined in advance.
[0015]
[First Embodiment]
[Constitution]
FIG. 1 is a block diagram illustrating an outline of a system according to an embodiment.
[0016]
The CPU 101 controls the operation of the entire system and executes a program stored in the primary storage memory 102. The primary storage memory 102 is mainly a memory such as a RAM, and the CPU 101 reads a program stored in the secondary storage memory 103 and stores it in the primary storage memory 102. The secondary storage memory 103 corresponds to, for example, a hard disk. Generally, the memory capacity of the primary storage memory 102 is smaller than the memory capacity of the secondary storage memory 103, and programs and data that cannot be stored in the primary storage memory 102 are stored in the secondary storage memory 103. Data that should be stored for a long time is also stored in the secondary storage memory 103. That is, when executing a program such as image processing, the CPU 101 reads the program stored in the secondary storage memory 103 into the primary storage memory 102 and executes it.
[0017]
The input device 104 corresponds to, for example, a mouse or keyboard used for system control, a card reader, a scanner, a film scanner, a digital camera, or the like necessary for inputting image data. For example, the output device 105 may be a monitor or a printer. The input device 104 and the output device 105 are connected to the system bus 109 via a general-purpose interface (not shown). General-purpose interfaces include serial buses such as USB (Universal Serial Bus) and IEEE1394, parallel interfaces such as SCSI and GPIB, serial interfaces such as RS232C and RS422, and infrared and wireless interfaces such as IrDA and Bluetooth. Is available.
[0018]
Various other configurations of the system configuration shown in FIG. 1 are conceivable, but the description thereof is omitted because it is not the main point of the present embodiment.
[0019]
[User interface]
FIG. 2 is a diagram showing an example of a graphical user interface (GUI) for image correction displayed on the monitor by the CPU 101.
[0020]
When a file open button provided on the toolbar 202 is pressed or “Open” is selected from the file menu of the menu bar 201, a file open dialog is displayed, and an image file can be opened. Of course, it is also possible to open the image file by dragging and dropping the icon of the image file to the correction image display area 203.
[0021]
When an image file is selected, an image to be corrected is displayed in the display area 203. When saving the image file of the correction result, the secondary storage memory 103 and the like may be saved in a general-purpose image format. BMP, JPEG, TIFF, etc. can be used as a general-purpose image format.
[0022]
A window 209 is a display magnification designation window for the user to set the display magnification of the correction target image. The window 209 includes radio buttons for setting a magnification such as “entire display”, “100%”, “200%”, and “400%”. When the entire display is selected, the correction target image is displayed in a size that fits in the display area 203 while maintaining its aspect ratio (aspect ratio). Also, 100% is displayed at the same magnification, 200% is displayed at 2 times, and 400% is displayed at 4 times. For example, in the case of 200%, one pixel is expressed by 2 × 2 pixels, and in the case of 400%, one pixel is expressed by 4 × 4 pixels. Hereinafter, “full display” is simply referred to as full display, and other display modes are referred to as partial display.
[0023]
When the image to be corrected cannot be displayed in the display area 203, a scroll bar is displayed, and the user can check the entire image by operating the scroll bar. When the scroll bar is displayed and the display area 203 is clicked and dragged, the image is scrolled by the dragging amount.
[0024]
The window 208 is an image direction / size designation window for changing the orientation and size of the image. In the window 208, when the image size is changed, the CPU 101 calculates and inputs the horizontal or vertical size maintaining the aspect ratio with respect to the vertical (height) or horizontal (width) size input by the user. There is a check box to make it happen.
[0025]
Windows 205 to 207 are respectively a color tone correction window, a USM designation window, and a noise removal designation window, and a processing parameter can be set (changed) by operating a slider or the like arranged in each window. Details of the image correction will be described later.
[0026]
FIG. 3 is a diagram illustrating a detailed button arrangement example of the toolbar 202.
[0027]
The toolbar 202 includes a file open button 301 for opening the file described above, “strong”, “weak”, and “none” buttons 302 to 304 for applying automatic correction, an open button 305 for opening all the windows 205 to 209 described above, and A close button 306 for closing all, a button 308-311 for opening and closing each window, and an Info button 312 for displaying image information are provided.
[0028]
Pressing the strong button 302 applies a weaker automatic correction, and pressing the weak button 303 applies a weaker automatic correction. If the no button 304 is pressed, all corrections are canceled and the image is in an uncorrected state. In the automatic correction, in addition to the image feature amount such as a histogram, when the correction target image data conforms to Exif, the correction parameter is determined using the Exif information. The correction parameters are parameters that can be set in the noise removal designation window 207, the color tone correction window 205, and the USM designation window 206. Details of the automatic correction will be described later.
[0029]
When the Info button 312 is pressed, the image information shown in FIG. 4 is displayed. In “Model”, the values of Make and Model stored in the 0th IFD of the Exif data are displayed. The “shooting information” includes Capture Scene Type, Exposure Time (or Shutter Speed Value), F Number, Exposure Bias Value, Focure Scene Value, 35%, and Fluce Lum, and Fel. , Subject Distance, Flash values are displayed. These values and the ISO Speed Ratings value are used for automatic correction described later.
[0030]
In the menu bar 201, three menus of “file”, “automatic correction”, and “window” are prepared.
[0031]
In the file menu, “Open” for displaying a file open dialog, “Close” for ending image correction, “Print” for printing a correction target image, and user's preference are specified. There is an “option”. FIG. 5 is a diagram showing an example of a window displayed when “option” is selected. In the example of FIG. 5, “brightness” and “contrast” can be set according to the user's preference, but the user's preference due to other factors such as the sharpness of an image typified by an unsharp mask can be reflected. It doesn't matter if you do.
[0032]
The automatic correction menu includes “strong”, “weak”, and “none” corresponding to the “strong”, “weak”, and “none” buttons 302-304. Hereinafter, the state in which the “strong” button 302 is selected is referred to as automatic correction / strong, and the state in which the “weak” button 303 is selected is referred to as automatic correction / weak.
[0033]
The “Window” menu includes “color tone correction”, “sharpness”, “noise removal”, “image size”, and “display magnification” corresponding to the buttons 307-311.
[0034]
FIG. 6 is a diagram showing a detailed example of the status bar 204. The status bar 204 includes a basic information display area 601 and a shooting mode display area 602. The basic information display area 601 displays basic image information such as the f value, shutter speed, and average brightness. A shooting mode display area 602 displays a shooting mode at the time of image shooting. Note that data extracted from Exif information other than the average luminance value is displayed.
[0035]
[Image correction]
Image correction according to the present embodiment includes automatic correction and manual correction. In automatic correction, a correction parameter is calculated from the analysis result of the image, and if there is Exif information, the calculated correction parameter is corrected. Note that the user's preference specified by “option” is reflected in the analysis result of the image, but additional parameters for reflecting the user's preference will be described later.
[0036]
In manual correction, the user specifies correction parameters using the tone correction window 205, the USM designation window 206, and the noise removal window 207. Of course, the correction parameters set by the automatic correction can be corrected using the sliders on these windows.
[0037]
Hereinafter, additional parameters for reflecting user preferences, manual correction, and automatic correction will be described.
[0038]
Additional parameter Additional parameters for reflecting user preferences are set by the user interface shown in FIG. There are two additional parameters, a saturation adjustment parameter S user and a contrast adjustment parameter C user .
[0039]
“Vividness” can be selected from “plain”, “standard”, and “flashy”, but when “plain” is selected, when “standard” is selected for the saturation adjustment parameter S user = −1 Is S user = 0, and S user = 1 when “flash” is selected.
[0040]
“Contrast” is selected from “lower”, “standard”, and “higher”. When “lower” is selected, contrast adjustment parameter C user = −1, and when “standard” is selected, C contrast is selected. If user = 0 and “higher” is selected, C user = 1.
[0041]
These additional parameters are used for parameter determination in automatic correction.
[0042]
Manual Correction FIG. 7 is a block diagram showing a configuration example of image processing. The input signal is a luminance color difference signal YCbCr or RGB, and the output signal is a signal having the same format as the input signal. For example, when the luminance color difference signal YCbCr is input, the output is also the luminance color difference signal YCbCr. When the luminance signal RGB is input, it is converted into a YCbCr signal by the converter 701 and subjected to image processing such as noise removal 703, histogram correction 705, and saturation correction 706, and then converted into an RGB signal by the converter 702. return.
[0043]
When the correction parameter is changed by operating the slider for adjusting the image quality in the window 205-207, the noise removal 703 for the luminance component and the color difference component, the tone correction (histogram correction 705 and the saturation correction 706), and the sharpness (USM) 707 Each process is applied to the image data in a predetermined order, and an application result image is displayed in the display area 203. In this embodiment, noise removal, tone correction, and sharpness are given as examples of image processing, but image processing other than these can be added.
[0044]
The order of image processing is preferably an order determined based on the experience of a person who has sufficient experience in correcting images such as photographs. In this embodiment, processing is applied in the order of noise removal, tone correction, and sharpness, which are generally considered appropriate. By applying the processing in which the order is determined in this manner, even an inexperienced person or an inexperienced person in image processing can perform appropriate image processing and obtain a suitable correction result.
[0045]
Noise removal There are two types of noise removal 703 in the present embodiment: noise removal for luminance components and noise removal for color difference components.
[0046]
FIG. 8 is a diagram showing a detailed example of the noise removal designation window 207. There are two sliders for luminance and color difference, and the correction parameters Ny sys and Nc sys are designated by these sliders. Ny sys is a parameter for setting the noise removal strength of the luminance component, Nc sys is a parameter for setting the noise removal strength of the color difference component, and Ny sys and Nc sys have values from 0 to 100.
[0047]
For the sake of simplification, the following processing is applied to the noise removal for the luminance component. That is, the luminance Y i, j of the pixel (i, j) is calculated as follows using the luminance of the four neighboring pixels.
Y i, j = (2 × Y i, j + Y i-1, j + Y i + 1, j + Y i, j-1 + Y i, j + 1) / 6 × (100 - Ny sys) / 100 + Ny sys × Yi, j / 100 (1)
[0048]
Similarly, the following processing is applied to the noise removal processing for the color difference component for the sake of simplicity. That is, the color difference Cb i of the pixel (i, j), j and Cr i, a j, using the color difference of the four neighboring pixels is calculated as follows.
[0049]
Color Correction The parameters used for color correction include three parameters: gamma G sys for luminance, black level Bk sys, and brightness L sys , and a parameter for saturation S sys for color difference. Here, the three parameters G sys , Bk sys and L sys are referred to as histogram change parameters.
[0050]
FIG. 9 is a diagram showing a detailed example of the color tone correction window 205. G sys , Bk sys , L sys, and S sys can be changed by a slider of the color tone correction window 205. In this embodiment, the value of G sys is 0.1 to 6.0, the value of Bk sys is 0 to 255, the value of L sys is −100 to 100, and the value of S sys is 0 to 150.
[0051]
FIG. 10 is a diagram showing the procedure of luminance correction. First, a histogram hist [256] of pixel luminance values is initialized with hist [i] = i (S1001), and for example, hist [i] is updated according to the following equation (S1002).
hist [i] = 255 × [{(v / (255−Bk)} 1 / Gsys ] + Lsys × (255−v) / 255 (4)
Here, v = 0 (i <Bk)
v = i-Bk (Other)
[0052]
Next, the luminance j of each pixel is recalculated with j = hist [j] (S1003). The luminance value is reflected when generating an image to be displayed on the uppermost layer “display” in FIG. 12 or FIG.
[0053]
Here, various formulas can be considered for the calculation formula of hist [i], but any formula may be used to calculate the histogram. However, the use of Expression (3) makes it possible to reduce the possibility that the highlight portion is not cut and the image quality is significantly deteriorated due to overexposure due to color correction.
[0054]
On the other hand, the saturation correction corrects the color difference of each pixel to a color difference represented by the following equation.
u ′ = S sys / 100 × u (5)
Here, u is a color difference vector (Cb, Cr) before correction.
u ′ is the corrected color difference vector (Cb ′, Cr ′)
[0055]
Sharpness Sharpness uses a process called unsharp mask (USM). Details of USM are omitted. The USM has three parameters of an application radius R sys , an application amount V sys , and a threshold value Th sys , and the USM designation window 206 also has a slider for adjusting these three parameters. FIG. 11 shows details of the USM designation window 206.
[0056]
Automatic correction In the present embodiment, automatic image correction automatically sets correction parameters using image feature amounts such as a histogram and shooting conditions such as Exif information. In the Exif information, “standard”, “landscape”, “person”, and “night view” are prepared as shooting modes. This information holds the camera mode set by the user at the time of shooting, and is useful for setting the correction parameter more favorably.
[0057]
In addition, by calculating the correction parameter using an expression that incorporates the shooting conditions such as the exposure time and the f value, correction close to the photographer's intention can be performed. For example, if the f value is large, it is expected to be close to pan focus. In such a case, it is conceivable to increase the sharpness. In addition, by using a guide number indicating the flash emission amount, an ISO sensitivity indicating exposure sensitivity, a subject distance that is a distance to the subject, an f value at the time of photographing, and a 35 mm film equivalent focal length at the time of photographing, the flash is applied to the subject. It is possible to calculate whether or not the light has arrived and the conditions necessary to reach it. For example, in the case of ISO 100, the relationship between the guide number Gn, the subject distance D, and the aperture f is as follows. For example, when the guide number is smaller than the subject distance, the f value and the ideal f value at the time of shooting are calculated. It can be considered to correct the brightness appropriately.
Gn = D × f (6)
[0058]
Hereinafter, a method for automatically setting correction parameters will be described.
[0059]
First, the luminance component noise removal parameter Ny sys calculates an average value of luminance differences between adjacent pixels for the entire image, divides the average value YD AVE by the maximum luminance difference value YD MAX , and further multiplies it by 100. To do.
[0060]
The noise correction parameter Nc sys for the color difference component calculates a difference vector of color difference vectors of adjacent pixels, calculates an average value of the norm of the difference vector over the entire image, and calculates the average value CD AVE as a maximum value CD MAX of the luminance difference. Divide and further multiply by 100.
[0061]
However, since the above process takes a very long time, in this embodiment, Ny sys and Nc sys are obtained by the following equations using the exposure time TE (seconds).
When TE> 1 or the shooting mode “night view”, Ny sys = TE × 2
Otherwise, Ny sys = 0
Nc sys = 0 (7)
[0062]
Of the color correction parameters, the gamma correction parameter G sys is calculated by the following equation using the exposure time TE (seconds).
[0063]
(Automatic correction / strong)
When TE <30, G sys = 1.4−TE / 75
In other cases, G sys = 1.0 (8)
(Automatic correction, weak)
When TE <30, G sys = 1.2−TE / 150
In other cases, G sys = 1.0 (9)
Of the color correction parameters, the black level correction parameter Bk sys is calculated by the following equation using the exposure time TE (seconds).
If TE <0.03 or shooting mode "Landscape"
Bk sys = C user × α + β + √f
0.03 ≦ TE <1 or when the shooting mode is other than “landscape” and “night view”
Bk sys = C user × α + β
If TE ≧ 1 or the shooting mode is “Night view”,
Bk sys = C user × α (10)
here,
[0064]
In equation (10), f is the f value obtained from the shooting information, but this term is ignored if there is no shooting information because the image data to be corrected is not Exif-compliant. The values of α and β are expressed by the following equations.
[0065]
(Automatic correction / strong)
α = 3
If hist (Bk HIGH ) <Bk Value HIGH , β = hist (Bk HIGH )
In other cases, β = hist (Bk Value HIGH )
(Automatic correction, weak)
α = 2
If hist (Bk LOW ) <Bk Value LOW , β = hist (Bk LOW )
In other cases, β = hist (Bk Value LOW ) (11)
Here, hist (Bk HIGH ) and hist (Bk LOW ) represent the luminance of the brightest or darkest pixel among the selected pixels by selecting a predetermined percentage (n%) of pixels in order of increasing luminance. For example, Bk HIGH = 13, Bk LOW = 4, etc. Bk Value HIGH and Bk Value LOW are constants for preventing excessive black level correction. In this embodiment, Bk Value HIGH = 40 and Bk Value LOW = 20, respectively.
[0066]
Of the color correction parameters, the brightness correction parameter L sys is calculated by the following equation using the average luminance L ave of the entire image.
When L ave −128> L limit ,
L sys = P mode × a + L limit
| L ave −128 | <L limit ,
L sys = P mode × a + 128 − L ave
128-L ave > L limit ,
L sys = P mode × a −L limit (12)
[0067]
L limit is a constant value that does not apply excessive brightness correction. The variable P mode represents the state of whether or not the shooting mode is “person”. If the “person” mode, P mode = 1, otherwise P mode = 0. In the case of automatic correction / strong, L limit = 16 and a = 3, and in the case of automatic correction / weak, L limit = 8 and a = 2. However, when the exposure time is 1 second or longer or the shooting mode is “night view”, L sys = 0 is set regardless of the value of L ave .
[0068]
It is said that a person is slightly overexposed. By using Expression (12), it is possible to perform appropriate correction without performing complicated processing such as face detection.
[0069]
As described above, there are three parameters of the sharpness correction parameter, the application radius R sys , the application amount V sys , and the threshold value Th sys. In the automatic correction of this embodiment, only the application amount V sys is automatically set by the following equation , Apply radius R sys = 1 and threshold Th sys = 0.
If TE> 1 or the shooting mode is "Night view"
V sys = USM MAX Value -TE
Otherwise,
V sys = USM MAX Value (13)
[0070]
The USM MAX Value is the maximum USM application amount, which is 80 for automatic correction / strong and 50 for automatic correction / weak. If the value of V sys becomes negative, V sys = 0.
[0071]
In this way, appropriate image correction can be performed using the Exif information.
[0072]
Second Embodiment
The image processing apparatus according to the second embodiment of the present invention will be described below. Note that in the present embodiment, the same reference numerals are given to substantially the same configurations as those in the first embodiment, and the detailed description thereof is omitted.
[0073]
In the first embodiment, an example in which the entire image is simply color-corrected and presented to the user has been described. However, image processing of the entire image often takes time, and only the portion displayed on the screen is processed. Is more realistic. In the second embodiment, an example will be described in which only the portion displayed on the screen is subjected to image processing and presented to the user.
[0074]
FIG. 12 is a diagram for explaining the processing when displaying the entire image. When the size of the correction target image is larger than the display area 203, all corrections are applied after the correction target image is reduced to a size inscribed in the display area 203. Conversely, if the size of the correction target image is smaller than the display area 203, after all the correction processes are applied, the enlargement process is performed immediately before display. Various methods can be applied to the enlargement / reduction algorithm, but a detailed description thereof will be omitted.
[0075]
FIG. 13 is a diagram for explaining processing when a partial image is displayed. When the size of the correction target image is larger than the display area 203, a partial image having a size inscribed in the display area 203 is extracted from the correction target image, and all corrections are applied to the partial image and displayed on the display area 203. On the other hand, if the size of the correction target image is smaller than the display area 203, all the correction processes are applied and then displayed at a predetermined position in the display area 203, for example, at the center of the display area 203.
[0076]
Such processing makes it possible to present the correction result to the user more smoothly. Here, in the system in which the correction process is applied after the reduction process shown in FIG. 12, there are correction processes with different results depending on whether the correction process is applied to the correction target image itself or the reduced image. For example, USM used for sharpness is synonymous with the fact that when the radius used for processing is specified in units of pixels, the radius is virtually enlarged by the reduction processing. In such a case, it is conceivable to reduce the USM application radius in accordance with the reduction ratio. For example, the USM applicable radius R sys ′ is calculated by the following equation using the correction parameter R sys .
R sys ' = R sys × Dux (14)
Where Dux = Width view / Width orig
Width orig is the width of the image (in pixels)
Width view is the width of the image after scaling (in pixels)
[0077]
[Third Embodiment]
In the second embodiment, the speeding up of the process described in the first embodiment has been described. In the third embodiment, a method of processing at a higher speed will be described.
[0078]
For example, if the size of the correction target image is larger than the display area 203 during partial display, the partial image is always extracted in the second embodiment when the partial image displayed in the display area 203 is changed by operating a scroll bar or the like. Then, all image processing is applied and the result is displayed. When image correction is realized by hardware, there is a high possibility that a sufficient speed can be obtained even by the processing of the second embodiment. However, when image correction is realized by software, the scroll speed may be slow, or smooth scrolling may not be possible.
[0079]
Therefore, some image corrections such as noise removal and sharpness may be omitted during the size change process of the correction target image in the entire image display and the display area change process in the scroll operation when displaying the partial image. It is done.
[0080]
FIG. 14 is a block diagram showing a configuration example of image processing that can omit noise removal and sharpness. The switches SW 711 to 719 are turned on when any of the following skip conditions is satisfied, and skip noise removal and sharpness.
(1) During the resizing operation of the window including the display area 203 (2) During the scroll operation when displaying the partial image. That is, when the mouse is moved while the mouse button is pressed on the display area 203, or the scroll bar is being operated.
[0081]
In the event-driven system, when an event corresponding to the condition (2) is sent, the switches SW 711 to 719 are turned on to skip a part of the correction process. Otherwise, it is conceivable that the CPU 101 performs a skip process shown in FIG.
[0082]
First, it is checked whether any of the above step conditions is satisfied (S1501). If any of the skip conditions is satisfied, switches SW711 to 719 shown in FIG. 14 are turned on to skip the correction process (S1502). Then, the skip condition is checked again (S1504). If any skip condition is satisfied, the process returns to step S1502, and steps S1502 and S1504 are repeated.
[0083]
If neither skip condition is satisfied in step S1501 or S1504, all correction processes are applied (S1505), and the process is terminated.
[0084]
In this way, in consideration of the low necessity of presenting the correction result to the user during scrolling and resizing, a part of the correction process can be omitted to provide the user with a more comfortable GUI operation. .
[0085]
[Fourth Embodiment]
In the fourth embodiment, a process for printing an image corrected using the above-described GUI will be described.
[0086]
In the printing process, the image signal obtained by performing the image correction in the system shown in FIG. 7 is enlarged to an image size matched to the printing data determined by the printing resolution, regardless of the form of the image processing unit described above. Reduce the size to create a print image, and convert it to an image signal for printing such as CMYK. At this time, the same correction parameter may be applied regardless of the print size, but it is conceivable to correct the correction parameter according to the print output size. In general, when printing on a small recording paper such as an L size, for example, contrast tends to appear higher even when printing with the same data than when printing on a large recording paper such as an A4 size. Thus, for example, it is conceivable to correct the correction parameter according to the area of the recording paper.
[0087]
In the fourth embodiment, the contrast is corrected using the area ratio α when the area of the L size is 1. Specifically, among the histogram change parameters, the black level Bk sys is corrected to adjust the contrast. In addition, the USM application amount V sys is corrected among the correction parameters for the sharpness processing. The black level Bk prt at the time of printing and the application amount V prt at the time of printing are as follows.
B prt = α × Bk sys (15)
V prt = (100 + α) × V sys / 100 (16)
[0088]
By correcting the correction parameter in this way, the difference in impression due to the print output size can be reduced.
[0089]
As described above, according to each of the above-described embodiments, it is possible to perform image correction that appropriately reflects the camera settings at the time of shooting using the numerical values themselves of the shooting information stored as metadata. .
[0090]
In addition, it is possible to present the image correction result to the user in real time and perform appropriate image correction without being aware of the processing order. In addition, it is possible to adjust arbitrary parameters for the automatic correction result reflecting the user's preference.
[0091]
[Other Embodiments]
Note that the present invention can be applied to a system including a plurality of devices (for example, a host computer, an interface device, a reader, and a printer), and a device (for example, a copying machine and a facsimile device) including a single device. You may apply to.
[0092]
Also, an object of the present invention is to supply a storage medium (or recording medium) that records a program code of software that realizes the functions of the above-described embodiments to a system or apparatus, and to perform computer (or CPU or CPU) of the system or apparatus. Needless to say, this can also be achieved when the MPU) reads and executes the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
[0093]
Furthermore, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
[0094]
When the present invention is applied to the storage medium, the storage medium stores program codes corresponding to the flowcharts described above.
[0095]
【The invention's effect】
As described above, according to the present invention, it is possible to perform correction according to additional information added to image data.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an outline of a system according to an embodiment;
FIG. 2 is a diagram showing an example of a graphical user interface (GUI) for image correction displayed on a monitor;
FIG. 3 is a diagram showing a detailed button arrangement example of the toolbar 202;
FIG. 4 is a view showing an example of a display window for image information;
FIG. 5 is a diagram showing an example of an option window;
FIG. 6 is a diagram showing a detailed example of a status bar;
FIG. 7 is a block diagram showing a configuration example of image processing;
FIG. 8 is a diagram showing a detailed example of a noise removal designation window;
FIG. 9 is a diagram showing a detailed example of a color correction window;
FIG. 10 is a diagram showing a procedure for luminance correction;
FIG. 11 is a diagram showing details of a USM designation window;
FIG. 12 is a diagram for explaining processing when displaying the entire image;
FIG. 13 is a diagram for explaining processing when displaying a partial image;
FIG. 14 is a block diagram illustrating a configuration example of image processing that can omit noise removal and sharpness;
FIG. 15 is a flowchart showing skip processing.
