JP2010009420A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】より一層ユーザの意図を反映させた結果を取得することができる画像処理装置及び画像処理方法等を提供する。
【解決手段】画像を解析して画像特徴情報を作成する（ステップＳ２０１）。画像特徴情報に対する順位付けを行う（ステップＳ２０２）。順位付けにおいて最上位となった画像特徴情報に基づいて画像処理条件を決定する（ステップＳ２０３）。画像処理条件を用いて画像に対して画像処理を行う（ステップＳ２０４）。画像処理後の画像を表示する画像表示（ステップＳ２０５）。外部からの指示を受け取る（ステップＳ２１１）。外部からの指示が画像処理条件の変更に関するものであった場合に、画像処理条件を変更し（ステップＳ２１７、Ｓ２２２）、変更後の画像処理条件を用いて画像に対して画像処理を行い（ステップＳ２１８、Ｓ２２３）、変更後の画像処理条件に基づいて行われた画像処理後の画像を表示する（ステップＳ２１９、Ｓ２２４）。
【選択図】図２

Description

本発明は、デジタルカメラ等により取得された画像の補正に好適な画像処理装置及び画像処理方法等に関する。

従来、デジタル画像データに対して、彩度、色調、コントラスト及び階調の調整等の様々な画像処理が行われている。以前は、これらの画像処理は、一般的に、画像処理に関して専門的な知識を持ったオペレータが専門的なソフトウェアを用いて、経験的な知識を駆使し、コンピュータのモニタ上で確認する等して試行錯誤を繰り返しながら行われていた。

ところが、近年では、インターネットの普及に牽引されるようにデジタルカメラの普及が進んでいる。この理由の一つとして、デジタルカメラの撮影結果の形式が、多くのコンピュータが読み取ることができるデータファイルの形式となっていることが挙げられる。このような形式の採用により、例えばデジタルカメラによって撮影した画像のデータをＷＷＷ（World Wide Web）のサーバ上に保存して他者に対して公開することが可能になっており、その需要が増しているのである。

そして、このようなデジタルカメラの普及に伴って、アナログカメラを自在に使いこなすようなユーザの他に、初めてカメラに触れるユーザがデジタルカメラを使用する機会も増加してきている。このようなユーザは、カメラに関する知識を十分に備えていないことがある。従って、露出時間及び焦点合わせ等の撮影の条件が適切なものとなっていないこともある。このような場合、そのような条件下での撮影により得られた画像に対して適切な画像処理を行うことが好ましい。しかし、撮影者が、カメラに関する知識だけでなく、画像データの構造及び取り扱いに関する知識も十分に備えていないこともある。

このような状況に対し、特許文献１には、顔検出処理を応用して人物写真を自動的に補正する方法が記載されている。

特開２００４−２３６１１０号公報 特開２００５−３４６４７４号公報 特開２００４−１９９６７３号公報 特開２００４−３６２４４３号公報 特開２００１−０４３３７１号公報 特開２００５−２９５４９０号公報 特開平１１−３１７８７３号公報

しかしながら、特許文献１に記載の方法は所期の目的を達成することができるものの、常にユーザにとって好ましい補正が行われるとは限らない。例えば、顔検出処理等の検出処理に誤りが生じたり、検出漏れが生じたりする可能性がある。また、顔等の検出物が複数存在する場合に、補正の基準とした検出物が、ユーザが意図する検出物と異なることもある。更に、補正の内容が統計的に好まれるように設計されているため、個々のユーザの嗜好（明るめが好み、暗めが好み等）に合致しないこともある。また、その画像の撮影時の意図に合致しないこともある。

本発明は、より一層ユーザの意図を反映させた結果を取得することができる画像処理装置及び画像処理方法等を提供することを目的とする。

本願発明者は、前記課題を解決すべく鋭意検討を重ねた結果、以下に示す発明の諸態様に想到した。

本発明に係る画像処理装置は、画像を解析して前記画像中の所定の特徴を検出して画像特徴情報を作成する画像特徴情報検出手段と、前記画像特徴情報に対する順位付けを行う順位付け手段と、前記順位付けにおいて最上位となった画像特徴情報に基づいて画像処理条件を決定する画像処理条件決定手段と、前記画像処理条件を用いて前記画像に対して画像処理を行う画像処理手段と、前記画像処理手段による画像処理後の画像を表示する画像表示手段と、外部から前記画像処理条件の変更に関する指示を受け取る入力手段と、前記画像処理条件の変更に関する指示に基づいて前記画像処理条件を変更する画像処理条件変更手段と、を有し、前記画像処理条件が変更された場合、前記画像処理手段は、変更後の画像処理条件を用いて前記画像に対して画像処理を行い、前記画像表示手段は、変更後の画像処理条件に基づいて行われた画像処理後の画像を表示することを特徴とする。

本発明に係る画像処理方法は、画像を解析して前記画像中の所定の特徴を検出して画像特徴情報を作成する画像特徴情報検出ステップと、前記画像特徴情報に対する順位付けを行う順位付けステップと、前記順位付けにおいて最上位となった画像特徴情報に基づいて画像処理条件を決定する画像処理条件決定ステップと、前記画像処理条件を用いて前記画像に対して画像処理を行う画像処理ステップと、前記画像処理ステップにおける画像処理後の画像を表示する画像表示ステップと、外部から前記画像処理条件の変更に関する指示を受け取る入力ステップと、前記画像処理条件の変更に関する指示に基づいて前記画像処理条件を変更する画像処理条件変更ステップと、前記画像処理条件を変更した場合に、変更後の画像処理条件を用いて前記画像に対して画像処理を行い、変更後の画像処理条件に基づいて行われた画像処理後の画像を表示する補正ステップと、を有することを特徴とする。

本発明によれば、自動的に画像処理が行われた後での外部からの指示に応じた画像処理条件の変更が可能である。従って、ユーザによる煩雑な操作を回避しながら、より一層ユーザの意図を反映させた結果を取得することができる。

以下、本発明の実施形態について添付の図面を参照して具体的に説明する。

（第１の実施形態）
先ず、第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像処理装置の構成を示す図である。

この画像処理装置には、入力部１０１、データ保存部１０２、表示部１０３、ＣＰＵ１０４、ＲＯＭ１０５、ＲＡＭ１０６及び通信部１０７が設けられており、これらがバスを介して互いに接続されている。

入力部１０１としては、キーボード及び／又はポインティング装置等が用いられ、ユーザがこの入力部１０１から指示及びデータを入力する。ポインティング装置としては、マウス、トラックボール、トラックパッド、及びタブレット等が挙げられる。また、この画像処理装置がデジタルカメラ装置又は印刷装置等に組み込まれている場合には、ポインティング装置が、ボタン又はモードダイヤル等から構成されていてもよい。また、キーボードがソフトウェアで構成（ソフトウェアキーボード）されていてもよい。この場合、ポインティング装置の操作に応じて文字が入力される。

データ保存部１０２としては、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、及び／又はメモリーカード等が用いられ、データ保存部１０２は、画像データを保存する。データ保存部１０２に、画像データ以外のデータ及びプログラムが保存されることもある。メモリーカードとしては、ＣＦカード、スマートメディア、ＳＤカード、メモリスティック、ｘＤピクチャーカード、ＵＳＢメモリ等が挙げられる。なお、データ保存部１０２がＲＡＭ１０６の一部から構成されていてもよく、また、通信部１０７を介して接続された外部機器に設けられたデータ保存部が、この画像処理装置のデータ保存部１０２として用いられてもよい。

表示部１０３としては、ＣＲＴ又は液晶ディスプレイ等が用いられ、表示部１０３は、例えば、画像処理前の画像及び画像処理後の画像を表示する。また、表示部１０３は、画像処理に必要な入力をユーザに促すＧＵＩ等の画像を表示することもある。なお、通信部１０７を介して接続された外部機器に設けられた表示部が、この画像処理装置の表示部１０３として用いられてもよい。

ＣＰＵ１０４は、ＲＯＭ１０５等に格納されたプログラムに基づき、入力部１０１、データ保存部１０２、表示部１０３、ＲＯＭ１０５、ＲＡＭ１０６及び通信部１０７の制御を行う。また、ＲＯＭ１０５及びＲＡＭ１０６は、ＣＰＵ１０４が行う処理に必要なプログラム、データ、及び作業領域等をＣＰＵ１０４に提供する。このプログラムには、入力画像に対して画像特徴情報として人物の顔を検出し、それに応じて画像の明るさを補正する画像処理に関するプログラムが含まれている。プログラムがＲＯＭ１０５又はデータ保存部１０２に格納されている場合、ＣＰＵ１０４は、プログラムを一旦ＲＡＭ１０６に読み込んでから実行する。プログラムが通信部１０７を介して接続された外部機器に格納されている場合、ＣＰＵ１０４は、プログラムを一旦データ保存部１０２に記録した後にＲＡＭ１０６に読み込むか、通信部１０７からＲＡＭ１０６に直接読み込んでから実行する。但し、プログラムがどのように保存され、読み出されるかということは特に問わない。

通信部１０７は、通信インタフェースとして、外部機器との間で通信を行う。通信の形態は、有線であっても無線であってもよい。有線通信の場合、ＬＡＮコネクタ、ＵＳＢコネクタ、ＩＥＥＥ１２８４コネクタ、ＩＥＥＥ１３９４コネクタ、及び／又は電話回線コネクタ等を用いて接続される。また、無線通信の場合、赤外線（ＩｒＤＡ）、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、Ｂｌｕｅｔｏｏｔｈ、及び／又はＵＷＢ（Ultra Wide Band）等の規格に基づく通信が行われる。

次に、上述のように構成された画像処理装置における画像処理の内容について説明する。この画像処理では、上述のように、入力画像に対して画像特徴情報として人物の顔を検出し、それに応じて画像の明るさを補正する。つまり、画像処理として明るさの調整を行う。また、この画像処理は、主としてプログラムに基づくＣＰＵ１０４の動作により実行される。図２は、第１の実施形態における画像処理の内容を示すフローチャートである。また、図３Ａ、図３Ｂ及び図３Ｃは、第１の実施形態における画像処理の途中で表示されるＧＵＩの一例を示す図である。

ＣＰＵ１０４は、先ず、入力部１０１の操作に応じて、画像処理の対象となる画像データを読み込む。画像データは、例えばデータ保存部１０２等に所定のファイルフォーマットに従って格納されている。例えば、ＣＰＵ１０４は、図４に示すように、表示部１０３に画像データの一覧を表示させておき、この状態で、入力部１０１から１又は２以上の画像の選択を示す指示が入力されると、それをトリガとして選択された画像の画像データを読み込む。図４は、画像データの一覧表示の例を示す図である。図４では、表示ウィンドウ４００に１０個のサムネイル４０１〜４１０が表示されている。サムネイル４０１〜４１０は、例えばデータ保存部１０２の所定の領域に格納されている画像データのファイルに相当する。そして、例えばユーザにより、入力部１０１から画像を選択する指示が入力されると、ＣＰＵ１０４は、選択された画像に相当する画像データを読み込む。上述のように、画像データは、例えばデータ保存部１０２に所定のファイルフォーマットで格納されているので、この処理において、ＣＰＵ１０４は、当該フォーマットに従って画像データをＲＡＭ１０６に読み込む。この際に、画像データが例えばＪＰＥＧ等の形式に基づいて圧縮処理されているものである場合には、その圧縮形式に対応した伸張処理を行ってＲＡＭ１０６に伸張後のデータを格納する。また、画像データがＲＡＷデータ、即ちＣＣＤ等の撮像素子の信号値を格納したデータであるものである場合には、それに対応した前処理（所謂、現像処理）を行ってＲＡＭ１０６に格納する。

次いで、ＣＰＵ１０４は、ステップＳ２０１において、画像特徴情報検出手段として、読み込んだ画像データの解析を行い、この画像データから画像の特徴を検出し、画像特徴情報を作成する。本実施形態では、特に、画像データに含まれている１又は２以上の人物の顔の検出を行い、その結果を示す画像特徴情報（人物被写体に関する情報）をＲＡＭ１０６等に格納する。この際に、ＣＰＵ１０４は、検出した顔の概略の位置を表す四角形の顔領域の情報として、四角形の４つの頂点を特定する座標情報を、検出した顔毎に作成し、これらの座標情報も検出結果としてＲＡＭ１０６等に格納する。なお、顔の検出方法は特に問わず、種々の方法を採用することができる。例えば、特許文献２又は特許文献３に記載されている方法を採用してもよい。例えば、肌領域を検出してもよい。なお、画像データ中に顔がない場合、及び顔を検出できなかった場合には、そのことを顔検出の結果を示す情報としてＲＡＭ１０６等に格納する。この処理は、例えば座標情報による検出結果の他に、検出した顔の個数も格納することにしておき、その個数を０とすることで実現される。また、検出結果をリスト形式で格納することにしておき、空のリストを格納することでも実現される。

ステップＳ２０１の後、ＣＰＵ１０４は、ステップＳ２０２において、順位付け手段として、検出された顔領域に対して、予め定められている規則に従って順位付けを行う。なお、規則及び順位付けの方法は特に問わず、種々のものを採用することができる。例えば、顔検出の方法として、特許文献３に記載されている方法が採用されている場合には、検出の際に、検出物が顔である確率も得られるので、当該確率に従って順位付けを行えばよい。また、例えば顔領域の大きさ、及び／又は画像データ中での位置に応じて順位付けを行ってもよい。例えば、複数の顔領域に対して、顔領域が大きいほど、また、画像の中央に位置するものほど高い順位を付けるようにしてもよい。この順位付けの方法は、例えば特許文献４に記載されている。なお、顔領域の大きさ及び画像データ中での位置は、顔検出結果情報に含まれる座標情報から特定することが可能である。順位付けについては、顔である確率と、顔領域の大きさ及び位置に基づく重要度とを組み合わせてもよい。例えば、顔である確率と重要度を示す数値とを掛け合わせて、順位を決定してもよい。

なお、ステップＳ２０２において、ＣＰＵ１０４は、順位付けのみならず、顔検出結果の情報を順位付けに基づいて並び替えることが好ましい。

ステップＳ２０２の後、ＣＰＵ１０４は、ステップＳ２０３において、画像処理条件決定手段として、順位が最も高い顔領域を特定し、当該顔領域についての検出情報を用いて画像処理条件を決定する。本実施形態では、ＣＰＵ１０４は、当該顔領域の明るさの調整に適したγ処理の処理パラメータを画像処理条件として決定する。即ち、ＣＰＵ１０４は、画像全体の明るさを調整するために、特定した顔領域の明るさの分布から代表輝度を算出し、その代表輝度が予め定めておいた好ましい明るさに近づくようにγ処理の処理パラメータを画像処理条件として決定する。このとき、必要に応じて処理対象である原画像の該当領域の画素値を参照してもよい。なお、顔検出の結果に応じて画像の明るさを補正する方法、及び処理パラメータを決定する方法は、例えば特許文献１及び特許文献４に記載されている。

次いで、ＣＰＵ１０４は、ステップＳ２０４において、画像処理手段として、ステップＳ２０３で決定した画像処理条件（処理パラメータ）に従って、読み込んだ画像データに対する画像処理を行い、その結果を取得する。本実施形態では、上述のようにγ処理によって明るさの調整を行うので、処理対象の画像データの各画素のＲＧＢ値を次の式（数１）によりＹＣｂＣｒ値に変換する。

更に、ＣＰＵ１０４は、得られたＹＣｂＣｒ値のＹの値に対し、次の式（数２）の変換を行う。ここで、γ０はγ処理を制御する処理パラメータであり、この値がステップＳ２０３において決定されている。

ＣＰＵ１０４は、更に、次の式（数３）の変換を行うことにより、ＹＣｂＣｒ値をＲＧＢ値に逆変換して、補正後のＲＧＢ値を得る。

なお、これらの式は、ＲＧＢ値及びＹＣｂＣｒ値を８ｂｉｔ整数で表現すること、即ちＲＧＢ及びＹについては０〜２５５、ＣｂＣｒについては−１２８〜１２７で表現することを前提としているが、各信号値を１６ｂｉｔ整数で表現してもよい。また、０〜１．０の正規化された実数で表現してもよい。これらの場合、式（数２）の右辺の分母の２５５の部分を、Ｙの最大値に置き換える。即ち、１６ｂｉｔ整数表現の場合は６５５３５に、０〜１．０の正規化された実数で表現する場合は１．０に置き換える。

ステップＳ２０４の後、ＣＰＵ１０４は、ステップＳ２０５において、画像表示手段として、ステップＳ２０４における処理の結果を表示部１０３に表示する。例えば、図３Ａに示すように、表示領域３３１内に、ステップＳ２０４の処理後の画像を表示する。

なお、ステップＳ２０１において検出した画像特徴情報の数が０の場合、ＣＰＵ１０４は、ステップＳ２０２〜Ｓ２０４の処理を省略し、ステップＳ２０５において、ステップＳ２０１の前に読み込んだ画像データの画像を表示部２０３に表示する。また、公知のヒストグラム均等化等の画像特徴情報に依らない補正処理を行って、その処理結果をステップＳ２０５において表示部２０３に表示してもよい。

ステップＳ２０５の後、ＣＰＵ１０４は、ステップＳ２１３において、画像特徴情報表示手段として、ステップＳ２０１で検出した画像特徴情報として、図３Ｂに示すように、顔領域を示す枠線を表示部１０３に表示する。つまり、どこを顔領域として検出したかを、表示領域３３１内の画像と重畳するように四角形の枠線３０１及び３０２によって表現することより、ユーザに対して明らかにする。このとき、ＣＰＵ１０４は、表示領域３３１の表示結果でよい旨の意思表示を受け付けるＯＫボタン３２３、及び処理をキャンセルする旨の意思表示を受け付けるキャンセルボタン３２４も表示する。更に、画像処理条件表示手段として、γ処理の処理パラメータの調整内容を受け付けるスライダ３２２も表示する。なお、スライダ３２２は、表示領域３３１に表示されている画像に対して行われた画像処理の画像処理条件（処理パラメータ）を変更可能に表示する。

また、ＣＰＵ１０４は、枠線３０１及び３０２の内部又はその近傍の所定の範囲が指定されると、枠線３０１、３０２が示す顔領域が選択されたと判断する。また、表示領域３３１内の一部の領域が指定されると、図３Ｃに示すように、その領域を示す四角形の枠線３１１を表示領域３３１に内に追加し、後述のように当該枠線３１１が示す領域が選択されたと判断する。ＣＰＵ１０４は、追加された枠線３１１については、枠線３０１及び３０２と同様に取り扱う。例えば、枠線３１１を追加した後であれば、枠線３１１を選択することも可能である。枠線の選択に伴う処理については後述する。

仮に、ステップＳ２０２において、枠線３０１が示す顔領域の順位が第一位となり、枠線３０２が示す顔領域の順位が第二位となっていたとする。この場合には、ＣＰＵ１０４は、ステップＳ２０３において、枠線３０１の顔領域の検出情報に基づいてγ処理の処理パラメータを決定し、ステップＳ２０４において、当該処理パラメータを用いた画像処理を行っていることとなる。

なお、画像特徴情報の表示の方法は特に限定されず、四角形の枠線を表示せずに、リストボックス等を用いて顔領域を表す座標値を文字情報で表示してもよい。また、枠線の形状も四角形に限定されず、円又は楕円等であってもよい。また、画像内に描かれている物体と枠線とを区別しやすいように、枠線の太さ及び色等を画像内のものと異ならせることが好ましい。

また、ＣＰＵ１０４は、ステップＳ２１３において、ステップＳ２０１で検出した顔領域の必ずしも全部を表示しなくともよく、その一部のみを表示してもよい。但し、少なくとも、直近の画像処理に用いられた画像処理条件の決定に用いられた顔領域は含ませることが好ましい。例えば、画像データによっては１０個以上の顔が含まれる場合もあり、これらの全てについて枠線等を表示したのでは、ユーザにとって有益な情報が他の情報と混ざってしまい識別しにくくなりやすい。このような場合には、例えばステップＳ２０２の順位付けに従って、上位のｎ個（ｎは予め定められた自然数）を表示してもよい。また、順位づけの際に用いる値（例えば顔であることの確率、顔領域の位置及び大きさに基づく重要度）に対して閾値を予め設けておき、閾値を越えた顔のみを表示してもよい。

ステップＳ２１３の処理の結果、図３Ｂに示すような表示がなされると、ユーザは、自身の意思を画像処理装置に入力することが可能となる（ステップＳ２１１）。即ち、図３Ｂに示す結果が好ましいものとなっているか、修正が必要なものとなっているか、画像処理がなかったものとして終了するかという意思を入力することが可能となる。この意思表示に際して、ユーザは、好ましいものとなっていればＯＫボタン３２３を押せばよく、画像指定の誤り等によって画像処理をキャンセルするのであれば、キャンセルボタン３２４を押せばよい。また、修正が必要である場合には、枠線の選択、新たな枠線の追加、スライダ３２２の操作等、修正に必要な操作を行えばよい。この操作については後述する。

そして、ＣＰＵ１０４は、ステップＳ２１２において、ＯＫボタン３２３（正常終了）又はキャンセルボタン３２４（キャンセル終了）が押されたか判断する。つまり、終了の意思表示があったか否かの判断を行う。どのような意思表示があったかは、マウス等で指定された座標情報から判断することができる。

終了の意思表示がなく、修正に必要な操作が行われると、ＣＰＵ１０４は、ステップＳ２１５において、当該操作が、画像特徴情報の選択及び／又は編集（つまり、画像特徴情報の変更）に関するものであるか判断する。本実施形態において、画像特徴情報の選択及び／又は編集に関する操作は、顔領域を示す枠線の選択及び追加である。つまり、ＣＰＵ１０４は、表示領域３３１内のいずれかの枠線の選択又は追加の操作があったか否かの判断を行う。この時、直近の画像処理で基準とされていた顔領域の選択は無視してもよい。

当該操作が画像特徴情報の選択及び／又は編集に関する操作であった場合、ＣＰＵ１０４は、ステップＳ２１６において、選択された枠線に相当する顔領域の画像特徴情報をＲＡＭ１０６から取得する。但し、枠線の追加の場合には、その時点では画像特徴情報は取得されていないので、図３Ｃに示すように、枠線３１１が追加された後に、ステップＳ２０１と同様の処理により画像特徴情報を抽出し、取得する。

次いで、ＣＰＵ１０４は、ステップＳ２１７において、ステップＳ２１６で取得した画像特徴情報から、ステップＳ２０３と同様の処理により、画像処理条件を決定する。つまり、ＣＰＵ１０４は、画像処理条件変更手段として、ステップＳ２１６で取得した画像特徴情報に基づいて、画像処理条件であるγ処理の処理パラメータを変更する。

その後、ＣＰＵ１０４は、ステップＳ２１８において、ステップＳ２１７で決定した変更後の画像処理条件（処理パラメータ）に従って、ステップＳ２０４と同様の処理により、読み込んだ画像データに対する画像処理を行い、その結果を取得する。つまり、ＣＰＵ１０４はγ処理を実行する。

続いて、ＣＰＵ１０４は、ステップＳ２１９において、ステップＳ２０５と同様の処理により、ステップＳ２１８における処理の結果を表示部１０３に表示する。そして、ステップＳ２１１に戻って、再度、ユーザからの指示の入力を待つ。

次に、ＣＰＵ１０４が、当該操作が画像特徴情報の選択及び／又は編集に関するものであるか判断した結果（ステップＳ２１５）、当該画像特徴情報の選択及び／又は編集に関する操作ではなかった場合の処理について説明する。本実施形態において、ステップＳ２１５での画像特徴情報の選択及び／又は編集に関しない操作は、スライダ３２２の操作である。そこで、当該画像特徴情報の選択及び／又は編集に関する操作ではなかった場合、ＣＰＵ１０４は、ステップＳ２２１において、当該操作が画像処理条件（処理パラメータ）の入力のためのスライダ３２２の操作であるか判断する。

そして、当該操作がスライダ３２２の操作であった場合、ＣＰＵ１０４は、ステップＳ２２２において、スライダ３２２の状態に基づいて、スライダ３２２が示す画像処理条件を処理パラメータとして取得する。

次いで、ＣＰＵ１０４は、ステップＳ２２３において、ステップＳ２２２で取得した変更後の画像処理条件（処理パラメータ）に従って、ステップＳ２０４等と同様の処理により、読み込んだ画像データに対する画像処理を行い、その結果を取得する。つまり、ＣＰＵ１０４はγ処理を実行する。

続いて、ＣＰＵ１０４は、ステップＳ２２４において、ステップＳ２０５等と同様の処理により、ステップＳ２２３における処理の結果を表示部１０３に表示する。そして、ステップＳ２１１に戻って、再度、ユーザからの指示の入力を待つ。

なお、ＣＰＵ１０４は、ステップＳ２２１において、他の操作が行われていると判定した場合、ステップＳ２１１に戻って、再度、ユーザからの指示の入力を待つ。なお、他の操作が認めずに、ステップＳ２２１の判定を省略してもよい。

また、ステップＳ２１２において、ＯＫボタン３２３（正常終了）又はキャンセルボタン３２４（キャンセル終了）が押されていた場合、ＣＰＵ１０４は、画像処理を終了する。そして、ＯＫボタン３２３が押されていた場合、ＣＰＵ１０４は、その直近に行った画像処理の結果を、データ保存部１０２に所定のフォーマットで格納（画像データ保存処理）するか、又は通信部１０７を介して外部機器（例えばプリンタ等）に送信する。また、ＣＰＵ１０４がＧＵＩを変更して表示部１０３に表示し、その後のユーザの指示に応じてデータ保存部１０２に格納したり、通信部１０７を介した画像送信等を行ってもよい。一方、キャンセルボタン３２４が押されていた場合、ＣＰＵ１０４は、それまでの画像処理の結果を破棄する。

このようにして一連の処理が行われる。

ここで、ステップＳ２１１におけるユーザの意思表示と画像処理の具体的な内容との関係について説明する。先ず、その前提として、上述のように、ステップＳ２０２において、枠線３０１が示す顔領域の順位が第一位となり、枠線３０２が示す顔領域の順位が第二位となっていたとする。従って、ステップＳ２０３において、枠線３０１が示す顔領域の検出情報に基づいてγ処理の処理パラメータが決定され、ステップＳ２０４において、当該処理パラメータを用いた画像処理が行われているとする。更に、読み込まれた時点での画像データでは、図３Ａ乃至図３Ｃ中の左側の人物の顔（枠線３０１内）は明るく適正に撮影され、中央の人物の顔（枠線３１１内）は暗く写っていて、右側の人物の顔（枠線３０２内）は更に暗く写っていたとする。

このような条件下でステップＳ２０１〜Ｓ２０４の処理が行われても、左側の人物の顔が初めから適正な明るさで撮影されているため、画像全体の明るさは初期状態と比較してほとんど明るくはならない。従って、中央及び右側の人物の顔は暗いままの結果がステップＳ２０５及びＳ２１３で表示される。

ユーザが左側の人物をこの画像の主たる被写体として考えている場合は、このままＯＫボタン３２３を押せばよいが、中央及び右側の人物を主たる被写体として撮影したものであり、左側の人物は偶然に撮影したときに通りかかっただけのこともある。このような場合、中央又は右側の人物を基準にした画像処理を行うことが好ましいといえる。つまり、ユーザが中央及び右側の人物の明るさを明るくしたいと考えることが想定される。

この場合、ユーザは、例えば右側の人物の顔を示す枠線３０２の内部又はその近傍の所定の範囲を指定すればよい。この結果、ＣＰＵ１０４は、ステップＳ２１２及びステップＳ２１５の判断を経て、右側の人物の顔の明るさを基準にしてステップＳ２１６〜Ｓ２１９の処理を行う。従って、右側の人物の顔に露出を合わせたように明るく補正された画像が表示領域３３１に表示される。

また、ユーザは、例えば、中央の人物の顔を示す枠線３１１を追加してもよい。この結果、ＣＰＵ１０４は、ステップＳ２１２及びステップＳ２１５の判断を経て、中央の人物の顔の明るさを基準にしてステップＳ２１６〜Ｓ２１９の処理を行う。従って、中央の人物の顔に露出を合わせたように明るく補正された画像が表示領域３３１に表示される。

また、右側の人物の顔を示す枠線３０２の指定と、中央の人物の顔を示す枠線３１１の追加とを組み合わせてもよい。つまり、どちらか一方を先に行い、その結果が十分でない場合に、他方を行ってもよい。例えば、右側の人物の顔を示す枠線３０２の指定に伴う画像処理を先に行い、その結果、中央の人物の顔がやや明るすぎるように感じた場合には、その後に中央の人物の顔を示す枠線３１１の追加を行ってもよい。

また、ユーザは、基準とする顔領域を特定せずに、γ処理の処理パラメータを自身で指定してもよい。この場合、ユーザは、入力部１０１を介してスライダ３２２を操作すればよい。この結果、ＣＰＵ１０４は、ステップＳ２１２及びステップＳ２１５の判断を経て、ステップ２２２において、ユーザが指定した処理パラメータを取得し、これに基づいてステップＳ２２３〜Ｓ２２４の処理を行う。従って、指定された処理パラメータに基づく画像処理後の画像が表示領域３３１に表示される。このため、ユーザは、表示領域３３１に表示されている画像を見ながら、画像処理条件（γ処理のパラメータ）に対する調整作業を行うことにより、好ましい結果を得ることができる。

なお、枠線の追加に代えて、枠線３０１又は３０２を移動可能にして、新たな領域を指定することができるようにしてもよい。また、枠線の大きさを変更可能にしてもよい。つまり、種々の方法で枠線が示す領域を変更可能にしてもよい。

このように、第１の実施形態では、入力画像データから顔検出を行い、その検出結果に対して順位付けを行い、最上位の検出結果を用いて自動的に明るさを調整する処理を行う。また、ユーザからの顔検出結果に対する指示（外部からの指示）を受け取ってそれに応じて処理を行い、更に、明るさを調整するパラメータ指定を受け取ってそれに応じて処理を行う。このとき、これらの処理をシームレスに組み合わせている。従って、ユーザが目的とする明るさ調整結果を得るための作業量を削減することができる。即ち、最初の自動処理で満足する場合はほぼ作業量なしで済むし、そうでない場合には次に簡単な選択程度の処理で半自動的な補正処理を行うとともにユーザに提示して確認をすることで少ない作業量で補正結果を得ることができる。一方、自動、半自動による補正処理でも満足できなかった場合でも、処理パラメータの変更を受け付けるので、適切な補正結果を得ることができる。

なお、第１の実施形態では、ステップＳ２０５の後に、無条件に枠線を表示しているが、図３Ｄに示すように、表示部１０３に顔領域ボタン３２１をインタフェースとして表示し、この操作に応じて画像特徴情報の表示／非表示を切り替えてもよい。このような構成を採用する場合の処理を示すフローチャートを図５に示す。

図５に示すように、この処理では、ステップＳ２１３の処理を省略している。また、画像処理条件の入力ではないと判定した場合（ステップＳ２２１）、ＣＰＵ１０４は、操作が顔領域ボタン３２１の操作であるとして、ステップＳ５０１において、その操作に応じて枠線等の画像特徴情報の表示／非表示の切り替えを行う。つまり、枠線等の画像特徴情報が表示されていなければ、画像特徴情報を表示し、既に表示されていれば、画像特徴情報を非表示にする。他の処理は図２に示すものと同様である。

（第２の実施形態）
次に、第２の実施形態について説明する。第１の実施形態では、画像特徴情報として顔の検出を行い、顔領域の明るさに基づいてγ処理を行っているのに対し、第２の実施形態では、画像特徴情報として白い領域の検出を行い、その代表色に基づいてホワイトバランス処理を行う。つまり、本来白色であると推測される１以上の画素を含む画像領域の検出を行い、ホワイトバランス調整等のカラーバランス調整を行う。画像処理として色味の調整を行う。他の構成は第１の実施形態と同様である。図６は、第２の実施形態における画像処理の途中で表示されるＧＵＩの一例を示す図である。

本実施形態では、ＣＰＵ１０４は、ステップＳ２０１において、読み込んだ画像データ（入力画像データ）を複数の領域に分割する。この分割の方法は特に問わないが、例えば画像中の色が近い画素を集めて分割するという方法を採用する。この方法は、例えば特許文献５に記載されている。

ステップＳ２０２において、ＣＰＵ１０４は、分割された各領域の評価を行い、その上で各領域に対する順位付けを行う。本実施形態では、領域の白さに基づく順位付けを行う。領域の白さの評価に当たり、ＣＰＵ１０４は、先ず領域の代表色を決定する。代表色の決定では、例えば、当該領域に属する各画素の画素値の平均値、最頻度又は中央値を取得する。通常、色は複数のチャネルで規定され、例えば画像データを表す色空間がＲＧＢの場合は、Ｒ、Ｇ、Ｂの３つのチャネルで規定される。このような場合、チャネル毎に中央値を求めて、各チャネルの中央値からなるものを色の中央値とすればよい。代表色を決定した後、ＣＰＵ１０４は、代表色の白との近さを評価する。この評価では、この代表色を明るさ・色相・彩度を表す色空間に変換し、明るさ軸と代表色との間の距離を求め、距離が近いほど白に近いと評価すればよい。

明るさ・色相・彩度を表す色空間としては、ＣＩＥ Ｌ＊ａ＊ｂ＊空間、ＹＣｂＣｒ色空間、ＨＳＶ色空間、ＨＬＳ色空間等が挙げられる。本実施形態では、式（数１）によってＲＧＢの代表色をＹＣｂＣｒに変換し、白との近さを測る距離を彩度と定義し、次の式（数４）により彩度Ｄを求める。

そして、この彩度Ｄの値が小さい順に各領域の順位付けを行う。

ステップＳ２０３において、ＣＰＵ１０４は、順位が最も高い領域を特定し、当該領域についての検出情報（代表色）を用いて画像処理条件を決定する。本実施形態では、ＣＰＵ１０４は、当該領域のホワイトバランス処理のホワイトバランスパラメータを画像処理条件として決定する。ホワイトバランス処理のパラメータの決定に際して、ＣＰＵ１０４は、参照する領域の代表色のＲＧＢ値を入力とした場合に、出力として変換後のＲＧＢ値がＲ＝Ｇ＝Ｂとなるようなパラメータを求める。本実施形態では、後述するが、代表色で、Ｒ、ＢチャネルデータのＧチャネルデータに対する比率を求め、その逆数をＲ、Ｂチャネルデータに対するゲイン値とし、入力画像の画素全体に対してこのゲイン値を適用することでホワイトバランス処理を行う。従って、ステップＳ２０３において、ＣＰＵ１０４は、Ｒチャネルデータに対するゲイン値Ｒ_gain、Ｂチャネルデータに対するゲイン値Ｂ_gainを、次の式（数５）により求める。

但し、式（数５）において、Ｒ、Ｇ、Ｂは、夫々領域代表色のＲチャネル値、Ｇチャネル値、Ｂチャネル値である。本実施形態では、このゲイン値Ｒ_gain及びＢ_gainを画像処理条件（ホワイトバランスパラメータ）として以降の処理で用いる。

ステップＳ２０４において、ＣＰＵ１０４は、ステップＳ２０３で決定した画像処理条件（ホワイトバランスパラメータ）に従って、読み込んだ画像データに対する画像処理を行い、その結果を取得する。本実施形態では、上述のように、入力画像の各画素のＲデータ及びＢデータに対してゲイン値Ｒ_gain及びＢ_gainを乗じることにより、ホワイトバランス処理を行う。また、ＣＰＵ１０４は、ステップＳ２１８及びＳ２２３の画像処理も同様にして行う。

そして、ステップＳ２１３の後には、例えば、図６に示すような表示が行われる。本実施形態では、図６に示すように、表示領域３３１内に、顔領域を示す枠線の代わりに、検出された領域を示す枠線９０１及び９０２が表示される。なお、本実施形態では、２本のスライダからなるスライダ群９２２が表示される。これは、ホワイトバランス処理に、２種類のパラメータ（ゲイン値Ｒ_gain及びＢ_gain）が用いられるからである。また、第１の実施形態と同様に、ホワイトバランス処理の基準とすべき領域の追加のために、ユーザは枠線９１１を追加することも可能である。

このような第２の実施形態によっても、第１の実施形態と同様の効果を得ることができる。

なお、ステップＳ２０１の領域の分割に際して、図７に示すように、入力画像データを単純に矩形状に分割してもよい。例えば、予め定められた大きさの矩形状の複数の領域に分割してもよく、また、予め定められた数の領域に概略均等に分割してもよい。

また、図５に示すフローチャートの処理を第２の実施形態に適用してもよい。

（第３の実施形態）
次に、第３の実施形態について説明する。画像処理として、第１の実施形態ではγ処理を行い、第２の実施形態ではホワイトバランス処理を行っているのに対し、第３の実施形態では、画像特徴情報として直線成分（線分）の検出を行い、その向きに基づいて画像を回転させる処理を行う。他の構成は第１の実施形態と同様である。図１０Ａ及び図１０Ｂは、第３の実施形態における画像処理の途中で表示されるＧＵＩの一例を示す図である。

本実施形態では、ＣＰＵ１０４は、ステップＳ２０１において、読み込んだ画像データ（入力画像データ）から直線成分を検出する。この直線成分の検出の方法は特に問わないが、例えば、入力画像データの各画素値の輝度値を計算して輝度画像を得て、輝度画像からエッジ成分を抽出したエッジ画像を生成し、エッジ画像に対してＨｏｕｇｈ変換を行い、直線成分を検出するという方法を採用する。

ここで、Ｈｏｕｇｈ変換について説明する。図８は、Ｈｏｕｇｈ変換の概要を示す図である。図８はｘ−ｙ座標系を表している。図８において、直線ｙ＝ａｘ＋ｂが点Ｐで直線ＯＰと垂直に交るとし、直線ＯＰとｘ軸との角度をω、直線ＯＰの長さをρとすると、ω及びρの値が定まれば、直線ｙ＝ａｘ＋ｂは一意に定まる。このような関係に基づき、点（ρ，ω）が直線ｙ＝ａｘ＋ｂのＨｏｕｇｈ変換とよばれる。

また、ｘ−ｙ座標系の点（ｘ０，ｙ０）を通る傾きの異なる直線の集まりは、次の式（数６）で表される。

このとき、例えば図８の点Ｐ、Ｐ１及びＰ２の３点を通る直線群の軌跡をρ−ω平面にプロットすると、図９に示す結果が得られる。

図９において、曲線１３０１は図８中の点Ｐを通る直線群のρ−ω平面での軌跡であり、曲線１３０２は図８中の点Ｐ１を通る直線群のρ−ω平面での軌跡であり、曲線１３０３は図８中の点Ｐ２を通る直線群のρ−ω平面での軌跡である。そして、図９からも明らかなように、ｘ−ｙ平面上で同一直線上にある点を通る直線群の軌跡は、ρ−ω平面上で一点で交わる（図９中の点Ｑ）。従って、このρ−ω平面上の交点Ｑを逆変換すれば、もとの直線が求められる。そこで、先に求めておいたエッジ画像のエッジ画素について、式（数６）でωを変化させながらρ−ω平面上での軌跡を求め、点が集中する交点を求める。実際には、画像中の２点があれば直線が決定するので、ρ−ω平面において、少なくとも３つ以上の軌跡が交差する点を抽出することが望ましい。このようにして直線成分が検出される。

ステップＳ２０２において、ＣＰＵ１０４は、検出された各直線成分の評価を行い、その上で各直線成分に対する順位付けを行う。この順位付けに当たり、本実施形態では、決定した直線成分上のエッジ画素を調べて直線成分（線分）の長さを調べ、その長い順に順位付けする。なお、ρ−ω平面上の点で、交わった軌跡の数が多い順に順位付けしてもよく、また、角度が０度又は９０度に近い順に順位付けしてもよい。

ステップＳ２０３において、ＣＰＵ１０４は、順位が最も高い直線成分を特定し、当該直線成分についての検出情報（直線成分の傾き）を用いて画像処理条件を決定する。本実施形態では、ＣＰＵ１０４は、当該回転処理の角度を画像処理条件として決定する。

ステップＳ２０４において、ＣＰＵ１０４は、ステップＳ２０３で決定した画像処理条件（回転角度）に従って、読み込んだ画像データに対する画像処理を行い、その結果を取得する。つまり、画像処理の対象の基準として選択した直線部分が水平又は垂直になるように、入力画像データの回転処理を行う。ここで、水平にするか、垂直にするかの判断については、予め定めておいてもよいが、直線成分の傾きから水平又は垂直のどちらに近いかを判定し、その近い方に合わせるように回転させることが好ましい。また、画像が縦長か横長かに応じて、水平又は垂直を選択してもよい。また、ＣＰＵ１０４は、ステップＳ２１８及びＳ２２３の画像処理も同様にして行う。

そして、ステップＳ２０５、Ｓ２１９又はＳ２２４の後には、例えば、図１０Ａに示すような表示が行われ、ステップＳ２１３の後には、図１０Ｂに示すような表示が行われる。本実施形態では、図１０Ｂに示すように、表示領域３３１内に、顔領域を示す枠線等の代わりに、検出された直線成分を示す強調表示直線１１０１及び１１０２が表示される。なお、本実施形態では、直線成分の回転角度を調整可能とするスライダ３２２が表示される。また、第１の実施形態と同様に、回転処理の基準とすべき直線成分の追加のために、ユーザは直線成分１１１１を追加することも可能である。直線成分の追加は、例えば表示領域３３１中の二点を入力部１０１を用いて指定することにより行われる。

このような第３の実施形態によっても、第１の実施形態と同様の効果を得ることができる。

なお、図５に示すフローチャートの処理を第３の実施形態に適用してもよい。

（第４の実施形態）
次に、第４の実施形態について説明する。第４の実施形態では、撮影シーンの種別に応じた画像処理を行う。

本実施形態では、ＣＰＵ１０４は、ステップＳ２０１において、読み込んだ画像データ（入力画像データ）から主要被写体を判別し、撮影シーンの候補を検出する。この判別及び検出の方法は特に問わないが、例えば、入力画像データを矩形状のブロックに分割し、各ブロックの色及び位置に基づき、主要被写体として人物及び空等を判定し、撮影シーンの候補を検出する。従って、空が多く写っている場合は屋外の青空のシーンが候補として検出され、暗い場合は夜景のシーンが候補として検出され、肌色がある場合は人物が写っているシーンが候補として検出される。このような検出の方法は、例えば特許文献６に記載されている。

ステップＳ２０２において、ＣＰＵ１０４は、検出された各撮影シーンの評価を行い、その上で各撮影シーンに対する順位付けを行う。順位付けに際しては、例えば、被写体判別のためのブロックの色及び位置に関する規則に適合する領域の数又は面積（画素数）に基づき、領域数及び面積が大きい順に順位付けする。

ステップＳ２０３において、ＣＰＵ１０４は、順位が最も高い撮影シーンを特定し、当該撮影シーンに対して予め定められている条件を画像処理条件として決定する。撮影シーンに対して予め定められている条件としては、例えば、風景のシーンについてのコントラストを高めにする条件、人物を含むシーンについての補正量を小さくした条件等が挙げられる。このように、ＥｘｉｆＰｒｉｎｔのように検出するシーンに基づいて補正処理を調整できるように条件を設定しておく。

ステップＳ２０４において、ＣＰＵ１０４は、ステップＳ２０３で決定した画像処理条件に従って、読み込んだ画像データに対する画像処理を行い、その結果を取得する。また、ＣＰＵ１０４は、ステップＳ２１８及びＳ２２３の画像処理も同様にして行う。

また、表示部１０３には、枠線等に代えて、ＧＵＩとして撮影シーンを選択可能にするボタン等を表示する。このようなＧＵＩを表示しておけば、順位付けの結果がユーザにとって好ましいものとなっていない場合でも、ユーザが自身の望む撮影シーンを選択することができるようになる。また、第１〜第３の実施形態におけるスライダを表示して、ユーザにこのスライダの操作に基づく調整を行わせるようにしてもよい。

このような第４の実施形態によっても、第１の実施形態と同様の効果を得ることができる。

なお、撮影シーンの検出に際しては、検出した被写体毎にシーンを設定してもよく、また、検出した被写体の組み合わせ（人物と空との組み合わせ、空と海との組み合わせ等）に対してシーンを設定して画像特徴情報として用いてもよい。

また、図５に示すフローチャートの処理を第４の実施形態に適用してもよい。

また、これらの実施形態では、入力部１０１からの画像の選択を示す指示の入力をトリガとして、図２又は図５に示すフローチャートに沿った処理を実行することとしているが、他の条件をトリガとしてもよい。例えば、入力部１０１からの処理開始の指示の入力をトリガとして、データ保存部１０２の所定の領域に格納されている画像に対して、順次、図２又は図５に示すフローチャートに沿った処理を実行するようにしてもよい。つまり、図４に示す一覧に表示されている全ての画像に対して、処理開始の指示の入力をトリガとして、順次、画像処理を実行するようにしてもよい。また、通信部１０７を介して外部機器から画像データを受信（取得）した場合に、当該取得をトリガとして図２又は図５に示すフローチャートに沿った処理を実行するようにしてもよい。

（第５の実施形態）
次に、第５の実施形態について説明する。第５の実施形態では、データ保存部１０２の所定の領域に格納されている画像の全てに対して、ステップＳ２０１〜Ｓ２０４の処理を行い、その後に、選択的にユーザの意思表示を反映させた画像処理を行う。図１１は、第５の実施形態における画像処理の内容を示すフローチャートである。

本実施形態では、ステップＳ６０１において、ＣＰＵ１０４は、処理対象とする画像のリストを生成する。画像のリストには、各画像の識別子（例えば画像データファイルのファイル名）を含ませる。処理対象とする画像は、データ保存部１０２の所定の領域に格納されている画像であり、この所定の領域はデータ保存部１０２の全領域であってもよく、また、一部の領域であってもよい。例えば、データ保存部１０２にある画像データがディレクトリ分等によって複数のグループに分類されている場合には、特定のディレクトリ又はグループにある画像のみを処理対象として、その画像リストを作成してもよい。また、予めユーザに処理対象となる画像を選択させておき、入力部１０１からの実行指示をトリガとして、選択されている画像のリストを作成してもよい。

次いで、ステップＳ６０２において、ＣＰＵ１０４は、画像リストに処理対象の画像が残っているか判断する。そして、画像リストが空になっていれば、後述のステップＳ６０４の処理を行う。一方、画像リストに画像が残っていれば、ステップＳ６０３において、ＣＰＵ１０４は、画像リストから１つの画像を取り出すと共に、当該画像の識別子を画像リストから削除する。

その後、取り出した画像に対して、第１の実施形態と同様にして、ステップＳ２０１〜Ｓ２０４の処理を行う。そして、ステップＳ２０４の処理後に、再度、画像リストに処理対象の画像が残っているか判断する（ステップＳ６０２）。

画像リストが空になっている場合、ＣＰＵ１０４は、ステップＳ６０４において、ステップＳ２０４における画像処理後の画像そのものか、又はその変倍画像（サムネイル等）を、例えば、図４に示すような配列で一覧表示する。

次いで、ＣＰＵ１０４は、ステップＳ６０５において、一覧表示されている画像の選択又は終了の指示を受け付け、ステップＳ６０６において、入力部１０１からの指示が終了指示であるか判断する。

一覧表示されている画像の選択が指示されていた場合、ＣＰＵ１０４は、第１の実施形態と同様にして、ステップＳ２０５〜Ｓ２２４の処理を行う。但し、ステップＳ２１２において、ＯＫボタン３２３又はキャンセルボタン３２４が操作されていた場合は、そのまま処理を終了するのではなく、ステップＳ６０７の処理を行う。

ステップＳ６０７において、ＣＰＵ１０４は、画像出力をするか判断する。この判断では、ステップＳ２１１の指示がＯＫボタン３２３によるものなのか、キャンセルボタン３２４によるものなのかに応じて、前者であれば、画像出力すると判断し、後者であれば、画像出力しないと判断する。

画像出力する場合には、ステップＳ６０８において、ＣＰＵ１０４は、その直近に行った画像処理の結果を、データ保存部１０２に所定のフォーマットで格納（画像データ保存処理）するか、又は通信部１０７を介して外部機器（例えばプリンタ等）に送信する。また、ＣＰＵ１０４がＧＵＩを変更して表示部１０３に表示し、その後のユーザの指示に応じてデータ保存部１０２に格納したり、通信部１０７を介した画像送信等を行ってもよい。そして、ステップＳ６０４に戻り、他の画像の選択等の指示を待つ。このとき、ステップＳ６０４において、画像処理の結果を用いて一覧表示を行うことが好ましい。一方、画像出力しない場合には、ＣＰＵ１０４は、当該画像についてのそれまでの画像処理の結果を破棄する。そして、ステップＳ６０４に戻り、他の画像の選択等の指示を待つ。

また、ステップＳ６０６において、終了の指示が入力されていた場合、その時点で画像処理を終了する。

このようにして一連の処理が行われる。

このような第５の実施形態によっても、第１の実施形態と同様の効果を得ることができる。また、例えば一括処理の実行中にユーザは他の作業を行うことができ、一括処理の終了後に必要に応じてユーザが補正を行えば、操作性をより向上させることができる。

なお、図５に示すフローチャートの処理を第５の実施形態に適用してもよい。また、第２〜第４の実施形態における画像処理を行ってもよい。

なお、図１では入力部１０１、データ保存部１０２及び表示部１０３が画像処理装置内に含まれているが、全ての実施形態に関し、画像処理装置に内蔵されている必要はなく、種々の方式で、画像処理装置の外部に接続されていてもよい。

また、本発明の実施形態は、例えばコンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。

第１の実施形態に係る画像処理装置の構成を示す図である。 第１の実施形態における画像処理の内容を示すフローチャートである。 第１の実施形態における画像処理の途中で表示されるＧＵＩの一例を示す図である。 第１の実施形態における画像処理の途中で表示されるＧＵＩの他の一例を示す図である。 第１の実施形態における画像処理の途中で表示されるＧＵＩの更に他の一例を示す図である。 第１の実施形態の変形例における画像処理の途中で表示されるＧＵＩの一例を示す図である。 画像データの一覧表示の例を示す図である。 第１の実施形態の変形例における画像処理の内容を示すフローチャートである。 第２の実施形態における画像処理の途中で表示されるＧＵＩの一例を示す図である。 第２の実施形態の変形例における画像処理の途中で表示されるＧＵＩの一例を示す図である。 Ｈｏｕｇｈ変換の概要を示す図である。 図８の点Ｐ、Ｐ１及びＰ２の３点を通る直線群の軌跡をρ−ω平面にプロットした結果を示す図である。 第３の実施形態における画像処理の途中で表示されるＧＵＩの一例を示す図である。 第３の実施形態における画像処理の途中で表示されるＧＵＩの他の一例を示す図である。 第５の実施形態における画像処理の内容を示すフローチャートである。

符号の説明

１０１：入力部
１０２：データ保持部
１０３：表示部
１０４：ＣＰＵ
１０５：ＲＯＭ
１０６：ＲＡＭ
１０７：通信部

Claims (21)

1. 画像を解析して前記画像中の所定の特徴を検出して画像特徴情報を作成する画像特徴情報検出手段と、
   前記画像特徴情報に対する順位付けを行う順位付け手段と、
   前記順位付けにおいて最上位となった画像特徴情報に基づいて画像処理条件を決定する画像処理条件決定手段と、
   前記画像処理条件を用いて前記画像に対して画像処理を行う画像処理手段と、
   前記画像処理手段による画像処理後の画像を表示する画像表示手段と、
   外部から前記画像処理条件の変更に関する指示を受け取る入力手段と、
   前記画像処理条件の変更に関する指示に基づいて、前記画像処理条件を変更する画像処理条件変更手段と、
   を有し、
   前記画像処理条件が変更された場合、
   前記画像処理手段は、変更後の画像処理条件を用いて前記画像に対して画像処理を行い、
   前記画像表示手段は、変更後の画像処理条件に基づいて行われた画像処理後の画像を表示することを特徴とする画像処理装置。
2. 前記画像特徴情報の、前記画像表示手段が表示している画像に対して行われた画像処理に用いられたものを少なくとも含む全部又は一部を表示する画像特徴情報表示手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像特徴情報表示手段は、前記画像表示手段が表示している画像に重畳させて前記画像特徴情報を表示することを特徴とする請求項２に記載の画像処理装置。
4. 前記外部からの前記画像処理条件の変更に関する指示には、前記画像特徴情報の変更に関する指示が含まれることを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記画像特徴情報の変更に関する指示には、前記画像特徴情報表示手段により表示された画像特徴情報の選択が含まれることを特徴とする請求項４に記載の画像処理装置。
6. 前記画像特徴情報の変更に関する指示には、前記画像特徴情報表示手段により表示された画像特徴情報に対する追加が含まれることを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記画像特徴情報検出手段は、前記画像中に所定の特徴が存在しない場合、その旨を示す画像特徴情報を作成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記画像特徴情報検出手段は、前記画像特徴情報として、前記画像中の人物被写体に関する情報を作成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記画像特徴情報検出手段は、前記所定の特徴として、前記画像中の人物の顔を検出することを特徴とする請求項８に記載の画像処理装置。
10. 前記画像特徴情報検出手段は、前記所定の特徴として、前記画像中の肌領域を検出することを特徴とする請求項８に記載の画像処理装置。
11. 前記画像処理手段は、前記画像処理として、前記画像の明るさに関する調整を行うことを特徴とする請求項８乃至１０のいずれか１項に記載の画像処理装置。
12. 前記画像特徴情報検出手段は、前記画像特徴情報として、前記画像中の直線成分に関する情報を作成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
13. 前記画像処理手段は、前記画像処理として、前記画像の回転を行うことを特徴とする請求項１２に記載の画像処理装置。
14. 前記画像特徴情報検出手段は、前記画像特徴情報として、前記画像中の本来白色であったと推測される１以上の画素を含む画像領域に関する情報を作成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
15. 前記画像処理手段は、前記画像処理として、前記画像のカラーバランス調整を行うことを特徴とする請求項１４に記載の画像処理装置。
16. 前記画像特徴情報検出手段は、前記画像特徴情報として、前記画像の撮影シーンの種別に関する情報を作成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
17. 前記入力手段は、前記画像特徴情報検出手段、順位付け手段、画像処理条件決定手段、前記画像処理手段及び画像表示手段が複数の画像に対する処理を行った後に、前記外部からの指示を受け付けることを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
18. 前記入力手段は、前記外部からの指示として、前記画像処理条件を変更する画像の指定を受け付けることを特徴とする請求項１７に記載の画像処理装置。
19. 前記画像表示手段が表示している画像に対して行われた画像処理に用いられた画像処理条件を表示する画像処理条件表示手段を有することを特徴とする請求項１乃至１８のいずれか１項に記載の画像処理装置。
20. 画像を解析して前記画像中の所定の特徴を検出して画像特徴情報を作成する画像特徴情報検出ステップと、
    前記画像特徴情報に対する順位付けを行う順位付けステップと、
    前記順位付けにおいて最上位となった画像特徴情報に基づいて画像処理条件を決定する画像処理条件決定ステップと、
    前記画像処理条件を用いて前記画像に対して画像処理を行う画像処理ステップと、
    前記画像処理ステップにおける画像処理後の画像を表示する画像表示ステップと、
    外部から前記画像処理条件の変更に関する指示を受け取る入力ステップと、
    前記画像処理条件の変更に関する指示に基づいて前記画像処理条件を変更する画像処理条件変更ステップと、
    前記画像処理条件を変更した場合に、変更後の画像処理条件を用いて前記画像に対して画像処理を行い、変更後の画像処理条件に基づいて行われた画像処理後の画像を表示する補正ステップと、
    を有することを特徴とする画像処理方法。
21. コンピュータに、
    画像を解析して前記画像中の所定の特徴を検出して画像特徴情報を作成する画像特徴情報検出ステップと、
    前記画像特徴情報に対する順位付けを行う順位付けステップと、
    前記順位付けにおいて最上位となった画像特徴情報に基づいて画像処理条件を決定する画像処理条件決定ステップと、
    前記画像処理条件を用いて前記画像に対して画像処理を行う画像処理ステップと、
    前記画像処理ステップにおける画像処理後の画像を表示する画像表示ステップと、
    外部から前記画像処理条件の変更に関する指示を受け取る入力ステップと、
    前記画像処理条件の変更に関する指示に基づいて前記画像処理条件を変更する画像処理条件変更ステップと、
    前記画像処理条件を変更した場合に、変更後の画像処理条件を用いて前記画像に対して画像処理を行い、変更後の画像処理条件に基づいて行われた画像処理後の画像を表示する補正ステップと、
    を実行させることを特徴とするプログラム。

Images