JP2010010938A - 画像処理装置および画像処理方法、プログラム並びに、コンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】本発明の課題は、画像の主要被写体の検出位置に位置ずれが発生した場合に、適切に補正を行うことができる画像処理装置を提供することである。
【解決手段】上記課題を解決するために、本発明に係る画像処理装置は、画像の撮影情報を読み込む読み込み手段と、撮影情報に画像の主要被写体が格納されているか否かを判定する判定手段と、画像の主要被写体の検出を行う検出手段と、記判定手段により、撮影情報に画像の主要被写体の検出結果が格納されていると判定された場合に、検出手段により検出された主要被写体の領域と撮影情報に格納されている主要被写体の領域との比較を行う比較手段と、比較手段による比較の結果に応じて主要被写体の領域を決定し、主要被写体の領域に対して補正を行う補正手段とを備えたことを特徴とする。
【選択図】図１０

Description

本発明は、画像データを適切に補正する画像処理装置及び画像処理方法、プログラム、並びに、コンピュータ読み取り可能な記録媒体に関する。詳細には、主要被写体を検出して画像データを補正し、補正された画像から再度主要被写体を検出して異なる画像補正を行う画像処理装置、画像処理方法、および記録媒体に関する。

近年、画像の入力装置や画像処理装置で、画像の入力時や印刷時に画像を解析して補正を行うことが多くなってきた。ここで、入力装置とは、例えば、画像を撮影するデジタルカメラであり、画像処理装置とは、例えば、入力装置から画像を受取って、画像を印刷出力するプリンタである。

入力装置や画像処理装置で用いられる画像の解析機能として、画像中の主要被写体である人物の顔検出機能が注目されている。

画像中の顔を検出することで、入力装置では、検出された顔にＡＦや露出を合わせて制御され、画像処理装置では検出された顔の情報をもとに印刷用の補正の制御が行われている。

このような状況の中、入力装置と画像処理装置がそれぞれに顔検出機能を持っているといった環境が構築されるようになってきた。

しかし、一言で顔検出機能といってもその機能には様々な仕様や特徴がある。

例えば、入力装置では、画像の入力時に顔検出が行われるので動画像に対応した顔検出が顔検出機能により行われ、顔領域の追尾性やリアルタイム性が求められる顔検出アルゴリズム、パラメータが採用されている。特に、入力装置による画像の入力時に露出補正を組み合わせて検出することで、入力装置の顔検出機能により、暗い、逆光などのシーンでは露出を上げて顔を検出しやすくすることができる。また、入力装置の顔検出機能により、逆に明るい場合には露出を下げて検出するなどダイナミックに入力画像を変更しながら検出することも可能である。

また、入力装置の顔検出機能により、加速度センサや角度センサと組み合わせることで、顔の検出方向をカメラの撮影する天方向に限定して検出を行うことで検出時間の短縮を行うことも可能である。

さらに、入力装置の顔検出機能により、ユーザがファインダや液晶に表示された顔検出結果を見ながらフォーカス、画角、ピント調整が行うのであまり精度が高くない画像検出技術で十分な性能を維持することができる。

また、入力装置の顔検出機能では、誤検出もユーザがその場で判断できることもあり、最終的な誤検出が少なくできるといったメリットがある。

しかも、入力装置の顔検出機能では、被写体の測距情報、フォーカス点などが即座に観測できるために、これらの情報を顔検出にフィードバックすることでトータルの顔検出性能を上げることも可能である。

一方、画像処理装置の顔検出機能では、入力装置の顔検出機能と異なり、一般的に一枚の静止画像データからの検出となり、リアルタイム性が求められない。また、画像処理装置の顔検出機能では、入力装置でのフォーカス時の情報をすべて活用できないので、顔検出の処理時間がかかる傾向にある。

このため、画像の入力時の入力装置の各種制御情報が記載されたＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）ファイルのタグの情報を利用して、画像処理装置の顔検出機能のパラメータを制御することも行われている。

画像処理装置の顔検出機能の最大の特徴は、リアルタイム性が求められないため、顔検出の方向や顔のサイズを細かく変化させながら顔検出を行うことができる点になる。

入力装置の顔検出機能では、大まかな顔の位置が検出できればよいが、画像処理装置ではさらに詳細な顔の位置、サイズ、方向等を検出することが容易である。さらに、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などで処理をすれば、入力装置の顔検出機能により、画像処理装置の顔検出機能よりも高精度な検出が可能になる。

特許文献１には、入力装置による画像の撮影時に検出された顔座標がＥｘｉｆファイルの情報の一部として保持されている撮影画像データが、画像処理装置に受け取られ、顔座標を利用して画像補正を行って印刷される発明が開示されている。

また、入力装置では、リアルタイム性を重視し、動画像での顔検出、顔検出以外のセンサ情報をフィーバックしながら検出が行われる場合もある。

特開２００４−２０７９８７号公報 特開２００２−１８３７３１号公報 特開２００３−３０６６７号公報 特開平８−６３５９７号公報 特開２０００−１０５８２９号公報 特開平８−７７３３４号公報 特開２００１−２１６５１５号公報 特開平５−１９７７９３号公報 特開平１１−５３５２５号公報 特開２０００−１３２６８８号公報 特開２０００−２３５６４８号公報 特開平１１−２５０２６７号公報 特開平４−２４５０３号公報 特開平６−１２１３３２号公報 特開平１１−１４６４０５号公報 特開２００２−０４４４６９号公報 特開平２００４−３０３１９３号公報

しかしながら、顔検出の精度という点では、画像処理装置の顔検出機能の方が、一般に高い。特に、顔の大きさや傾きといった情報の検出精度が高い。

さらに、入力装置では、顔検出を行ってから実際の撮影までのタイムラグが発生するために、被写体である人物の移動、および撮影者の移動等によって、検出時の顔領域と、撮影画像データ上の顔検出結果が異なる場合が発生する。

図１６は、入力装置による撮影時の顔検出と画像処理装置が入力装置から受取った画像データで顔検出を行った場合に、顔領域がずれている例を示している。画像１６０１は、入力装置による撮影時、つまりユーザがシャッターを半押し状態にして入力装置により顔検出を行った時の顔位置を示している。このとき顔領域１６０２は、左上（ＬＴ）、左下（ＬＢ）、右上（ＲＴ）、右下（ＲＢ）の４点の座標として表わされている。

画像１６０３は、ユーザが、入力装置のシャッターを全押しにして撮影した時に、入力装置が回転するなどして撮影画像データが傾いてしまった例である。このとき顔領域１６０４は、左上（ＬＴ’）、左下（ＬＢ’）、右上（ＲＴ’）、右下（ＲＢ’）の４点となる。

画像１６０５は、ユーザが、入力装置のシャッターを全押しにして撮影した時に、被写体が向かって右に移動して撮影した例である。このとき、顔領域１６０６は、左上（ＬＴ’’）、左下（ＬＢ’’）、右上（ＲＴ’’）、右下（ＲＢ’’）の４点の座標となる。

以上のように、入力装置により検出された顔領域１６０２と、入力装置により撮影後に画像処理装置により検出された顔領域１６０４、１６０６の座標が異なる場合が発生する。

このように、入力装置により検出された顔領域と画像処理装置により検出された画像データ上の顔領域が異なって、位置ずれが発生している場合、画像処理装置では間違った顔領域の情報に基づいて後の処理が行われるといった問題があった。

特に、顔領域の検出結果を利用した局所的な補正を行う場合に、この検出誤差（位置ずれ）が問題となり、顔領域を含む画像の補正結果が適切にならない場合があった。

本発明は、上記問題点を解消するためになされたものであり、その目的とするところは、顔領域のような画像の主要被写体の検出位置に位置ずれが発生した場合に、適切に補正を行うことができる画像処理装置を提供することである。

上記課題を解決するために、本発明に係る画像処理装置は、画像の撮影情報を読み込む読み込み手段と、撮影情報に画像の主要被写体が格納されているか否かを判定する判定手段と、画像の主要被写体の検出を行う検出手段と、記判定手段により、撮影情報に画像の主要被写体の検出結果が格納されていると判定された場合に、検出手段により検出された主要被写体の領域と撮影情報に格納されている主要被写体の領域との比較を行う比較手段と、比較手段による比較の結果に応じて主要被写体の領域を決定し、主要被写体の領域に対して補正を行う補正手段とを備えたことを特徴とする。

以上説明したように、本発明によれば、画像の主要被写体の検出位置に位置ずれが発生した場合に、適切に補正を行うことができる。

＜第１の実施形態＞
図１は、本発明における第１の実施形態に係るシステムの概略ブロック図である。

図１に示されているシステムは、入力装置１００と画像処理装置２００を含む。

ここで、入力装置１００は、例えば、デジタルカメラでも良い。また画像処理装置２００は、例えば、プリンタでも良い。

まず、入力装置１００について、以下で説明する。

入力装置１００で撮影された画像データは、メモリカード３００によって、またはそれぞれのＩ／Ｏ Ｉ／Ｆ（インターフェース）１１０、２１３を、例えば、ケーブルや無線ＬＡＮで接続して転送される。

光量調整装置１０３は、絞りおよびシャッター装置を備えている。

撮像装置１０５は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサである。ここで、撮像装置１０５は、レンズ群１０１と光量調整装置１０３を通過した被写体像である光束を電気信号に変換する。
撮像装置１０５では、例えば、ＣＣＤやＣＭＯＳセンサのアナログ信号の出力にクランプ処理、ゲイン処理が行われる。そして、さらにデジタル信号に変換するアナログ/デジタル（Ａ／Ｄ）変換が行われた後に、画素補間処理や色変換処理が行われ、撮影データとして出力される。

焦点制御部１０２は、ＴＴＬ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ）方式のＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）処理に応じてレンズ群１０１を制御する。

露出制御部１０４は、ＴＴＬ方式のＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）処理を行って光量調整装置１０３を制御する。

Ｉ／Ｏ Ｉ／Ｆ１１０は、入力装置１００の入出力機能を提供するものであり、操作ボタンや、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの外部機器との接続機能を提供している。

操作ボタンには、電源、モード切替え、シャッターなどのボタンや、各種機能を設定できる入力手段が、ユーザからの入力を受け付けて、入力装置１００を任意に制御して動作させる。

表示Ｉ／Ｆ１１１は、撮影された画像のプレビューや、操作メニューなどを表示する表示装置１１２の制御を行う。

表示装置１１２には液晶ディスプレイなど表示デバイスが使用される。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０７は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０８に格納されているプログラムを実行しながら入力装置１００の制御を行う。このとき、ＣＰＵ１０７は、一時的に必要となるデータの格納のために、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０９を利用する。

メモリＩ／Ｆ１１３は、ＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）メモリカードや、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカードといった不揮発性のメモリ機能を搭載したメモリカード３００のコネクタを有する。また、メモリＩ／Ｆ１１３は、データの読み書きを制御する機能も有する。

特に、撮影した画像データはメモリカード３００に格納しておくことで、入力装置１００の電源をＯＦＦにした状態でも保存され、またメモリカード３００を他の装置から読み取ることで撮影データを使用できる。

画像処理部１０６は、撮像装置１０５でデジタルデータに変換された画像情報から主要被写体の検出を行う。

なお、本実施形態では、主要被写体検出手段が複数あってもよい。この場合、複数の主要被写体検出手段を「第１の主要被写体検出手段」、および「第２の主要被写体検出手段」と呼んでもよい。

本実施形態の説明では、一例として、入力画像の主要被写体とは人物の顔であるとして説明を行う。

人物の顔の検出には、特許文献２に示されているように、まず、入力画像から目領域を検出し、目領域周辺を顔候補領域としても良い。

また、該顔候補領域に対して、画素毎の輝度勾配、および輝度勾配の重みが算出され、これらの値が、あらかじめ設定されている理想的な顔基準画像の勾配、および勾配の重みと比較されても良い。

その結果、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定されても良い。

また、特許文献３に示されているように、まず画像中から肌色領域が検出され、同領域内において、人間の虹彩色画素が検出されることにより、目の位置が検出されても良い。

また、特許文献４に示されているように、複数の顔の形状をしたテンプレートと画像とのマッチング度が計算されても良い。

その結果、マッチング度が最も高いテンプレートが選択され、最も高かったマッチング度があらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域が顔候補領域とされても良い。

同テンプレートが用いられることで、目の位置が検出されても良い。

また、特許文献５に示されているように、まず、鼻画像パターンがテンプレートとされ、画像全体、あるいは画像中の指定された領域が走査され、最もマッチする位置が鼻の位置として出力されても良い。

次に、画像の鼻の位置よりも上の領域が、目が存在する領域とされ、目画像パターンがテンプレートとされて、目存在領域が走査されて、マッチングがとられ、ある閾値よりもマッチ度が大きい画素の集合である目存在候補位置集合が求められても良い。

さらに、目存在候補位置集合に含まれる連続した領域がクラスタとして分割され、各クラスタと鼻位置との距離が算出されても良い。その距離が最も短くなるクラスタが、目が存在するクラスタと決定されることで、器官位置の検出が行われても良い。

その他、顔および器官位置を検出する方法として、例えば、特許文献６〜１３に示されている手法を用いても良い。

また、本実施形態で用いられる顔および器官位置の検出法については、上記記載に限定されることはなく、その他のどのような手法を用いても良い。なお、顔および器官位置の検出に関しては、従来方法が様々な文献で開示されているため、詳細な説明を省略する。

次に、図１の画像処理装置２００について以下で説明する。

図１の画像処理装置２００でも同様に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１がＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２に格納されているプログラムを実行しながら後述の各機能を制御する。

このとき、一時的に必要となるデータは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３に格納される。

センサＩ／Ｆ２０５は、画像処理装置２００で使用されている各種センサ２０６のインターフェース機能を提供する。

各種センサ２０６は、例えば、印刷用紙の搬送量を測定する紙送りセンサ、印刷ヘッドの位置を測定するヘッド位置センサ、インク残量検出センサである。

モータＩ／Ｆ２０７は、画像処理装置２００で使用されている各種モータ２０８のインターフェース機能を提供する。

モータ２０８は、例えば、印刷用紙の搬送する搬送モータ、印刷ヘッドを移動させるヘッドモータである。

ヘッドＩ／Ｆ２０９は、画像処理装置２００で使用されている印刷ヘッド２１０のインターフェース機能を提供する。

印刷ヘッドには各色のインク毎にインクを吐出するノズルが多数配置されており、インクの吐出パターンを制御することで印刷紙面上に印刷画像を形成する。

ＩＯ Ｉ／Ｆ２１３は、画像処理装置２００の入出力機能を提供するものであり、操作ボタンや、ＵＳＢ、無線ＬＡＮなどの外部機器との接続機能を提供する。

操作ボタンには、電源、印刷、コピーなどの各種ボタンや、各種機能を設定できる入力手段があり、これらによってユーザは画像処理装置２００を任意に制御して動作させることができる。

メモリＩ／Ｆ２０４は、入力装置１００のメモリＩ／Ｆ１１３と同じ機能を提供するものであるが、主な使用方法としては、入力装置１００で撮影された画像データを読み込んで印刷するために使用される。

図２は、図１で説明したシステムの典型的な動作の流れを示している。

図２の動作の説明では、典型的な動作として、ユーザが、図１の入力装置１００で画像を撮影し、そのデータを画像処理装置２００が読み込んで印刷する操作を想定している。

まず、ステップＳ２０１で、入力装置１００が動作し、入力装置１００の撮影対象の被写体の焦点や露出などの撮影条件が調整される。

このとき、入力装置１００は、撮影前に画像処理部１０６で撮像装置１０５に結像している画像の解析の１機能として人物の顔検出を実行する。

その後、入力装置１００の人物優先モードにより、例えば、主要被写体である人物の顔に適したフォーカス調整、露出調整、シャッター速度の調整が自動的に行われる。

入力装置１００において、上記のステップＳ２０１で実行される撮影時画像解析が行われているときの状態遷移が図３に示されている。

まず、電源がＯＮ（オン）されたとき、または撮影モードになったときに、リセットされ、初期状態のステップＳ３０１に遷移する。

次に、シャッターボタンが半押し状態になったときに、撮影条件調整が実行されるステップＳ３０２に遷移する。

撮影条件調整が実行されるステップＳ３０２に遷移した状態で、シャッターボタンが全押し状態になると、撮影が実行されるステップＳ３０３へ、状態が遷移する。

撮影が実行されるステップＳ３０３は、図２の撮影が実行されるステップＳ２０２、画像の補正／符号化が実行されるステップＳ２０３、撮影データの格納が実行されるステップＳ２０４に相当する。

図３の撮影が実行されるステップＳ３０３の状態で、連写モードが選択されていた場合、またはシャッターボタンが所定時間以上全押し状態にある場合には、再度撮影条件調整が実行されるステップＳ３０２に戻って、撮影条件が調整される。

撮影条件調整が実行されるＳ３０２、撮影が実行されるＳ３０３において、シャッターボタンがＯＦＦ（オフ）になった場合には、初期状態のステップＳ３０１に状態が戻り、次の操作を待つ状態になる。

図４は、撮影条件調整が実行される図３のＳ３０２の詳細を示している。図４を利用して、一例として、人物優先モードでの撮影条件の決定プロセスを説明する。

入力装置１００が人物優先モードで撮影を行う場合、撮影条件調整が実行されるＳ３０２では、はじめに顔検出が実行されるステップＳ４０１に遷移して顔検出が実行される。

次に、ステップＳ４０１で顔が検出された場合、されなかった場合にかかわらずその結果を持って、フォーカス調整が実行されるステップＳ４０２に状態が遷移する。

フォーカス調整が実行されるステップＳ４０２では、顔検出結果として顔が検出されていた場合には、その位置にフォーカスを合わせるように図１の焦点制御部１０２が、レンズ群１０１を制御する。

ステップＳ４０２では、顔検出結果として、顔が検出されなかった場合にはＴＴＬ方式のＡＦ処理により、レンズ群１０１がフォーカス処理を実行する。フォーカス調整が実行されるステップＳ４０２が完了すると、次の露出調整が実行されるステップＳ４０３へ状態が遷移する。

露出調整が実行されるステップＳ４０３で、顔が検出されていた場合には、その顔を優先させたＡＷＢ調整が実行される。一方、露出調整が実行されるステップＳ４０３で、顔が検出されなかった場合には、通常のＴＴＬ方式のＡＷＢ処理で図１の露出制御部１０４が光量調整装置１０３を動作させる。

露出調整が実行されるステップＳ４０３が完了すると、シャッター速度調整が実行されるステップＳ４０４へ状態が遷移する。

シャッター速度調整が実行されるステップＳ４０４では、フォーカス調整が実行されるＳ４０２と露出調整が実行されるＳ４０３の調整結果を受けて、最適なシャッター速度が算出される。この算出されたシャッター速度で図１の撮像装置１０５の光束の受光時間が決定される。

シャッター速度調整が実行されるステップＳ４０４が完了すると、調整判定が実行されるステップＳ４０５へ状態が遷移する。

調整判定が実行されるステップＳ４０５では、全体の撮影条件の判定が行われ、調整判定がＯＫ（適切）であれば、待機処理が実行されるステップＳ４０６へ状態が遷移する。

ステップＳ４０５において、調整判定がＮＧ（不適切）であれば、フォーカス調整が実行されるＳ４０２へ状態が遷移して、再度撮影条件の調整がやり直される。

待機処理が実行されるステップＳ４０６では所定時間が経過するまでにシャッターボタンが全押し状態になった場合に、撮影が実行される図３のステップＳ３０３へ状態が遷移する。一方、ステップＳ４０６で、待機（所定時間の待ち状態）が経過すると再度、顔検出が実行されるステップＳ４０１へ状態が遷移して撮影条件の調整が再開される。

図４のすべての状態の途中でシャッターボタンがＯＦＦ（オフ）になった場合には初期状態の図３のステップＳ３０１へ状態が遷移する。

人物優先モードで撮影が行われると、図２のステップＳ２０２で、被写体像である光束が撮像装置１０５により電気信号に変換される。そして、電気信号に、クランプ処理、ゲイン処理等、デジタル変換処理、画素補間処理や色変換処理が行われて、撮影データとなってＲＡＭ１０９に格納される。

ＲＡＭ１０９に格納された撮影データの記録方式としては、市場で一般に使用されている代表的な画像ファイル形式である「Ｅｘｉｆ」ファイル形式（Ｖｅｒ．２．２）を使用するものとして説明する。

図５は、Ｅｘｉｆファイルのデータ構造を示す図である。

Ｅｘｉｆファイルの構造は、基本的には通常のＪＰＥＧファイルの形式そのものであり、その中にサムネイル画像や撮影関連データ等のデータをＪＰＥＧファイルの規約に準拠した形で埋め込んだものである。

ＪＰＥＧファイルの形式をサポートしているインターネットブラウザー、画像ビュアー、フォトレタッチソフト等を使えば、Ｅｘｉｆファイルは、通常のＪＰＥＧファイルと同様に閲覧することができる。

Ｅｘｉｆファイルには、図５の左側部分に示されているように、最初にＳＯＩ（Ｓｔａｒｔ ｏｆ ｉｍａｇｅ／０ｘＦＦＤ８）５０１ａがある。

さらに、Ｅｘｉｆファイルには、ＳＯＩ５０１ａの後に、ＡＰＰ１（５０１ｂ）、ＤＱＴ（Ｄｅｆｉｎｅ Ｑｕａｎｔｉｚａｔｉｏｎ Ｔａｂｌｅ）５０１ｃ、ＤＨＴ（Ｄｅｆｉｎｅ Ｈｕｆｆｍａｎ Ｔａｂｌｅ）５０１ｄがある。

さらに、Ｅｘｉｆファイルには、ＤＨＴ５０１ｄの後に、ＳＯＦ（Ｓｔａｒｔ ｏｆ Ｆｒａｍｅ）５０１ｅ、ＳＯＳ（Ｓｔａｒｔ ｏｆ Ｓｔｒｅａｍ）５０１ｆ、圧縮データ（ＤＡＴＡ）５０１ｇ、ＥＯＩ（Ｅｎｄ ｏｆ Ｉｍａｇｅ）５０１ｈがある。

Ｅｘｉｆファイルにおいて、ＤＱＴ５０１ｃは、量子化テーブルの実態を定義し、ＤＨＴ５０１ｄは、ハフマン・テーブルの実態を定義している。また、Ｅｘｉｆファイルにおいて、ＳＯＦ５０１ｅは、フレームのスタートを示し、ＳＯＳ５０１ｆは、画像データの開始を示し、ＥＯＩ５０１ｈは、画像ファイルの終了を示している。

Ｅｘｉｆファイルに使われるマーカー（Ｍａｋｅｒ）のうち、０ｘＦＦＥ０〜０ｘＦＦＥＦまでのマーカーは、アプリケーションマーカーと呼ばれるが、これらは、Ｅｘｉｆファイルをデコードするためには不要である。

しかし、アプリケーションマーカーは、Ｅｘｉｆファイルを、それぞれのアプリケーションプログラムで使用するためのデータ領域として定義されている。

Ｅｘｉｆファイルにおいては、例えば、撮影条件を格納するためにＡＰＰ１（０ｘＦＦＥ１）というマーカーが使用されている。

「ＡＰＰ１」の構造は、図５の右側部分に示されている。

即ち、「ＡＰＰ１」の構造は、まず、先頭にＡＰＰ１ Ｍａｋｅｒ（０ｘＦＦＥ１／２ｂｙｔｅ）５０２ａがあり、その次にＡＰＰ１ Ｌｅｎｇｈｔ（２ｂｙｔｅのＡＰＰ１領域の大きさ）５０２ｂがある。そして、その次にＡＰＰ１のデータ領域であるＥｘｉｆ識別ｃｏｄｅ５０２ｃがある。

このＥｘｉｆ識別ｃｏｄｅ５０２ｃに続くデータの最初の６バイトには、識別子としてＡＳＣＩＩ文字の「Ｅｘｉｆ」がある。そして、その次に、２バイトの０ｘ００が続く。そして、その次に、Ｔｉｆｆ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式でデータが格納されている。

Ｔｉｆｆ形式の最初の８バイトはＴｉｆｆヘッダー（Ｈｅａｄｅｒ）５０２ｄとなり、最初の２バイトはバイト並びの形式を定義している。

例えば、０ｘ４ｄ４ｄ：「ＭＭ」は、モトローラ形式を表し、０ｘ４８４８：「ＩＩ」は、インテル形式を表わしている。

Ｔｉｆｆ Ｈｅａｄｅｒ（ヘッダー）５０２ｄの次の０ｔｈ ＩＦＤ（ＩＦＤ ｏｆ ｍａｉｎ ｉｍａｇｅ）５０２ｅに、最初のＩＦＦＤ（Ｉｍａｇｅ ｆｉｌｅ ｄｉｒｅｃｔｏｒｙ）が格納される。

通常、メイン画像データ及び画像関連データは、ＩＦＦＤに格納されていて、記載項目毎にメイン情報項目、サブ情報項目（Ｅｘｉｆ ＳｕｂＩＦＤ／０ｘ８７６８）、メーカ独自情報項目（Ｍａｋｅｒ ｎｏｔｅ／０ｘ８２７ｃ）と、記載事項が分かれている。

図６は、Ｅｘｉｆファイルのメイン情報項目の一例を示している。

図６に示されているように、メイン情報項目として、例えば、タイトル、入力装置１００のメーカ名や機種、画像方向、幅の解像度、高さの解像度、解像度単位、ソフトウェア、変更日時のような一般情報が記載されている。図６には、一例として、それぞれの項目について、「ｔａｇ」アドレス（ｔａｇ Ｎｏ．）が記載されている。例えば、図６において、「タイトル」項目のｔａｇ Ｎｏ．は、「０ｘ０１０ｅ」である。

図７は、Ｅｘｉｆファイルのサブ情報項目の一例を示している。

図７に示されているように、サブ情報項目としては、例えば、光源、レンズ焦点距離等の入力装置１００の詳細情報や、露出時間Ｆ値、ＩＳＯ感度、自動露出測光モードのような各種撮影条件が記載されている。図７には、一例として、それぞれの項目について、「ｔａｇ」アドレス（ｔａｇ Ｎｏ．）が記載されている。例えば、図７において、「露出時間」項目のｔａｇ Ｎｏ．は、「０ｘ８２９ａ」である。

図８は、Ｅｘｉｆファイルのメーカ独自情報項目の一例を示している。

図８に示されているメーカ独自情報項目は、入力装置１００のメーカ毎に独自に設定される。したがって、図８のメーカ独自情報項目には、例えば、図７のサブ情報項目に定義されていない撮影関連データがｔａｇ Ｎｏ．とともに記載されても良い。

本実施形態では、一例として、図８のメーカ独自情報項目の中に、入力装置１００による顔検出結果が格納される。ここで、顔検出結果には、顔検出に用いられたパラメータも含まれる。

顔検出結果は、図９に示されているような位置関係として表現される。領域９０１は、図２の一般的な撮影データＤ２０１の画像部分を示しており、撮影されたときの画像データを含んでいる。

図９の領域９０１は、所定の幅（Ｗｉｄｔｈ）と高さ（Ｈｅｉｇｈｔ）の画素を含み、そこに人物が撮影されており、さらに顔検出機能により顔が検出されている状態を示している。

図９において、Ｘが横軸、Ｙが縦軸を表しており、画像の左上が原点（０，０）である。

図９において、人物の顔は、領域９０２にあると表現される。

本実施形態では、図９に示されているように、顔領域を左上（ＬＴ）、右上（ＲＴ）、左下（ＬＢ）、右下（ＲＢ）の４点の座標で囲まれる領域であるとしている。この４点はそれぞれ（ｘ，ｙ）の２次元座標で表すことができる。

顔領域の表現には、他に中心と大きさ、中心点と幅と高さといった表現方法をとることも可能である。

さらに、各顔領域にＩＤ番号を振って管理すれば、複数の顔検出にも対応することが可能である。

図２のステップＳ２０３で、Ｅｘｉｆファイル形式で格納された撮影データＤ２０１は、次に、ステップＳ２０４で、メモリＩ／Ｆ１１３を介して撮影データＤ２０１がメモリカード３００に格納される。

次に、ステップＳ２０５で、入力装置１００による撮影が終了した否かが判定される。ステップＳ２０５で、入力装置１００による撮影が終了したと判定された場合には、画像の入力が終了する。一方、ステップＳ２０５で、入力装置１００による撮影が終了していないと判定された場合には、ステップＳ２０１に処理が戻る。

撮影データＤ２０１が格納されたメモリカード３００が、画像処理装置２００のメモリカードＩ／Ｆ２０４に挿入されると、画像処理装置２００で撮影データＤ２０１が使用可能になる。

次に、ステップＳ２０６で、画像処理装置２００は、メモリカード３００に格納された撮影データＤ２０１を読み込む。

このとき、画像処理装置２００の表示装置２１２にユーザの操作を促すＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）が表示され、当該ＵＩは、例えば、ＩＯ Ｉ／Ｆ２１３に接続されているボタンによる画像の選択の操作を受け付ける。ここで、表示装置２１２は、表示Ｉ／Ｆ２１１に接続されている。

さらに、ステップＳ２０６では、印刷する用紙、印刷品位、画像補正機能の選択のような、印刷に必要な条件の設定も行われる。

ここで、画像補正機能とは、例えば、画像全体を自動的に最適な画像の補正する機能、赤目補正を行う機能、顔の部分のみを補正する機能である。

次に、ステップＳ２０７で、ステップＳ２０６で選択された画像が１枚ずつ解析される。以下で、ステップＳ２０７の動作を、図１０を用いて説明する。図１０は、画像処理装置２００で行われるフローチャートである。ＣＰＵ２０１が、ＲＯＭ２０２またはＲＡＭ２０３に格納された図１０の処理を行うプログラムを読み出して実行することで、図１０のフローチャートが実行される。

画像処理装置２００の表示装置２１２で選択された画像は、撮影データＤ２０１に含まれ、図５のＥｘｉｆファイルのデータ構造を有する。まず、図１０のＳ１００１で、撮影データＤ２０１に含まれるＥｘｉｆファイルの解析が行われる。

次に、ステップＳ１００１で、撮影データＤ２０１に含まれるＥｘｉｆファイルのメーカ独自情報項目を含む、入力装置１００による画像の撮影情報が読み込まれる。

次に、ステップＳ１００２で、撮影情報に含まれるＥｘｉｆファイルのメーカ独自情報項目の中に入力装置１００による顔検出結果が格納されているか否かが判定される。ステップＳ１００２で、撮影データＤ２０１に含まれるＥｘｉｆファイルのメーカ独自情報項目の中に入力装置１００による顔検出結果が格納されていたと判定された場合には、ステップＳ１００３に処理が進む。

一方、ステップＳ１００２で、撮影データＤ２０１に含まれるＥｘｉｆファイルのメーカ独自情報項目の中に入力装置１００による顔検出結果が格納されていないと判定された場合には、ステップＳ１００４に処理が進む。

ステップＳ１００３で、撮影データＤ２０１に格納されていた入力装置１００による顔検出結果が画像処理装置２００のＲＡＭ２０３の顔座標データＤ２０２の格納領域に格納される。

ステップＳ１００３で、撮影データＤ２０１のすべての入力装置１００による顔検出結果が画像処理装置２００のＲＡＭ２０３に格納された後、ステップＳ１００４に処理が進む。

ステップＳ１００４で、撮影データＤ２０１の画像データの圧縮データ（ＤＡＴＡ）５０１ｇと、ＤＱＴ５０１ｃ、ＤＨＴ５０１ｄが読み込まれて、ＪＰＥＧファイルの形式で圧縮されている入力装置１００によって撮影された画像データがデコードされる。そして、入力装置１００によって撮影された、解析可能な画像データが得られる。

ステップＳ１００４でデコードされた画像データは画像処理装置２００のＲＡＭ２０３のデコード画像の格納領域に格納される。

次に、ステップＳ１００５で、ステップＳ１００４において画像処理装置２００のＲＡＭ２０３に格納された画像データに対して画像処理装置２００による顔検出処理が実行される。

ステップＳ１００５では、ステップＳ１００３で格納された入力装置１００による顔検出結果が存在するならば、その顔検出結果に基づいて、画像処理装置２００による顔検出処理の制御が行われてもよい。

例えば、ステップＳ１００５では、画像処理装置２００により、入力装置１００で検出された顔の近傍が重点的に顔検出されてもよい。

また、ステップＳ１００５では、画像処理装置２００による顔検出処理において、入力装置１００で実行された顔検出処理で用いられた顔検出アルゴリズムと同じ顔検出アルゴリズムが採用されてもよい。

ただし、画像処理装置２００での顔検出処理では、リアルタイム性は求められない。したがって、画像処理装置２００での顔検出処理の処理時間は、入力装置１００の顔検出処理の処理時間より長くなってもよい。

しかし、画像処理装置２００での顔検出処理における検出対象は、撮影後の静止画像であるので、動画像で使用できるフレーム間の差分からの移動体検出などのアルゴリズムを、画像処理装置２００での顔検出処理で採用することはできない。

しかし、画像処理装置２００での顔検出処理では、用いられる顔検出器の精度を高めたり、顔検出器の検出移動のステップを小さくしたり、顔の向きおよび傾きを正確に検出するように、検出性能の異なるアルゴリズムが採用されてもよい。

以下では、図１１〜１３を用いて、一例として、入力装置１００による顔検出処理の結果と、画像処理装置２００による顔検出処理の結果がどのように異なるかを説明する。

図１１は、入力装置１００のシャッター半押し状態の画像１１０１を示している。

図１１に示されているように、入力装置１００による顔検出処理の結果得られた顔領域１１０２は、概略位置はあっているが、顔の向きに対して角度のずれを持っている。

図１２は、入力装置１００のシャッターが押されて撮影された後の画像１２０１を示している。

図１２に示されているように、入力装置１００による顔検出処理の結果得られた顔領域１２０２は、図１１の顔領域１１０２と同じ座標である。しかし、画像１２０１は、入力装置１００の撮影条件の調整、さらには画像補正等の処理によって最適な画像となっている。

すなわち、図１１に示されているように、入力装置１００による撮影前の状態では、全体的に画像が暗かった。一方、図１２に示されているように、入力装置１００による撮影後の状態では、入力装置１００の露出、シャッター速度の改善や、撮影後のゲイン調整等のために、画像が明るくなっている。

図１３は、画像処理装置２００で画像データ１３０１に対して実行された顔検出処理の結果得られた顔領域１３０２を示している。

図１３において、画像データ１３０１は、図１２の画像データ１２０１と同一である。

図１３に示されているように、画像処理装置２００による顔検出処理の結果得られた顔領域１３０２は、図１１の入力装置１００による撮影前の顔検出処理の結果得られた顔領域１１０２とは異なり、精度のよい顔検出が可能となっていることがわかる。

すなわち、図１３にも示されているように、画像処理装置２００により、顔検出処理が実行された結果、顔の傾きも正確に検出している顔領域１３０２が得られている。

特に、図１３の画像データ１３０１は、入力装置１００による撮影前と比較して、顔に適した撮影条件で撮影されている。そのために、画像処理装置２００で、画像データ１３０１に対して、顔領域の検出が行われると、顔領域の検出が容易になる。

図１０のステップＳ１００５の画像処理装置２００による顔検出の結果、ステップＳ１００６で、顔が検出されなかった場合には図２のステップＳ２０７の解析が終了してステップＳ２０８へ処理が進む。ステップＳ１００６で、画像処理装置２００により顔が検出された場合はステップＳ１００７へ処理が進む。

ステップＳ１００７では、入力装置１００と画像処理装置２００の顔検出処理の結果の比較が行われる。ステップＳ１００７では、ステップＳ１００２において、入力装置１００による顔検出結果が格納されてないと判定された場合には、画像処理装置２００の顔検出処理の結果のみの比較が行われる。

図１５は、顔検出処理の結果得られた顔領域の位置関係の比較の一例を示している。

図１５において、顔領域１５０１は、基準となる顔領域である。顔領域１５０１は、例えば、入力装置１００による顔検出処理の結果得られた顔領域でも良いし、画像処理装置２００の顔検出処理の結果得られた顔領域でも良い。

顔領域１５０１により、顔領域が、左上（ＬＴ）、右上（ＲＴ）、左下（ＬＢ）、右下（ＲＢ）の４点と、対角にある２点の中点となる中心点ＣＴＲの座標により算出される。

図１５の顔領域１５０１に対して、顔領域１５０２、１５０３のような関係で顔検出結果があった場合の判定が、図１０のステップＳ１００８、Ｓ１００９で、以下で説明するように行われる。

図１５において、例えば、顔領域１５０１は、入力装置１００による顔検出処理の結果得られたものであり、顔領域１５０２、１５０３は、画像処理装置２００による顔検出処理の結果得られたものである。

ステップＳ１００８で、近傍に存在する顔領域の組合せがあるか否かが判定される。ステップＳ１００８で、近傍に存在する顔領域の組合せがあると判定された場合には、ステップＳ１００９に処理が進む。ステップＳ１００８で、近傍に存在する顔領域の組合せがないと判定された場合には、ステップＳ１０１１に処理が進む。

ステップＳ１００８における、近傍であるかの判定は、例えば、顔領域の組み合わせの互いの中心ＣＴＲの座標がぞれぞれの顔領域の中に含まれているという条件を満たしているかで行われる。

さらに追加の条件として、ステップＳ１００８において、線分ＬＴ−ＲＴと線分ＬＴ’−ＲＴ’の成す角度が所定の範囲以内であるかという条件が使用されても良い。

ステップＳ１００８において、例えば、顔領域の組合せの互いの中心ＣＴＲの座標がぞれぞれの顔領域の中に含まれていて、線分ＬＴ−ＲＴと線分ＬＴ’−ＲＴ’の成す角度が、±１５度以内の場合に、近傍であると判定されてもよい。

このような判定により、例えば、ステップＳ１００８では、顔領域１５０１に対して顔領域１５０３は、近傍にあると判定されるが、顔領域１５０２は、近傍にはないと判定される。

次に、ステップＳ１００９で、顔領域が一致しているか否かの判定が行われる。

ステップＳ１００９で、顔領域が一致していると判定された場合には、ステップＳ１０１２に処理が進む。一方、ステップＳ１００９で、顔領域が一致していないと判定された場合には、ステップＳ１０１０に処理が進む。

ステップＳ１０１２で、顔領域の全部を比較するか否かが判定される。ステップＳ１０１２で、顔領域の全部を比較すると判定された場合には、ステップＳ１０１３に処理が進む。一方、ステップＳ１０１２で、顔領域の全部を比較しないと判定された場合には、ステップＳ１００７に処理が戻る。

ステップＳ１０１３で、顔領域が一致しているか又は近傍に存在する顔領域の組合せがあるか、否かが判定される。ステップＳ１０１３で、顔検出領域が一致している又は近傍に存在する顔領域の組合せがあると判定された場合には、処理が終了する。ステップＳ１０１３で、顔領域が一致しておらず、近傍に存在する顔領域の組合せがないと判定された場合には、ステップＳ１０１４に処理が進む。

ステップＳ１０１４で、顔座標データＤ２０２が削除される。

ステップＳ１００９では、判定条件が、ステップＳ１００８で用いられている判定条件をより狭められても良い。例えば、ステップＳ１００９において、判定条件として、顔領域の組合せのお互いの中心ＣＴＲ−ＣＴＲ’の距離が線分ＬＴ−ＲＴの長さの１／２以下にするといった条件を使ってもよい。

さらに、例えば、ステップＳ１００９において、判定条件に、線分ＬＴ−ＲＴと線分ＬＴ’−ＲＴ’'の長さが１／２から２倍の範囲内であるという条件を追加してもよい。このようにすることで、検出顔領域の大きさも考慮することができるようになる。

ステップＳ１００８、Ｓ１００９の判定条件として、上記で説明する以外の条件を用いてもかまわない。

ステップＳ１００８、Ｓ１００９の判定は、ステップＳ１００５で実行された顔検出処理の結果と、顔座標データＤ２０２に格納されている入力装置１００の顔検出処理の結果のすべてとで行われる。ただし、ステップＳ１００２において、入力装置１００による顔検出結果が格納されてないと判定された場合には、ステップＳ１００５で実行された顔検出処理の結果のみについて、ステップＳ１００８、Ｓ１００９の判定の比較が行われる。

ステップＳ１００８で、入力装置１００の顔検出結果の近傍にない顔領域は、ステップＳ１０１１で新規の顔領域として顔座標データＤ２０２に追加される。これにより、入力装置１００により検出することができなかった顔領域を顔座標データＤ２０２に追加することができる。

ステップＳ１００９で一致していると判定された顔領域がない場合には、ステップＳ１０１０で入力装置１００の顔検出処理の結果の値に、画像処理装置２００による顔検出処理の結果が上書きされて顔座標データＤ２０２に格納される。これにより、画像処理装置２００により検出された信頼性の高い顔領域を顔座標データＤ２０２に格納することができる。

すべての顔検出結果の処理が終了すると、解析処理Ｓ２０７は終了してステップＳ２０８へ処理が進む。

ステップＳ２０８で、ステップＳ２０６で読み込まれた画像データに対して、顔座標データＤ２０２を使用して補正が行われる。

ステップＳ２０８では、顔座標データＤ２０２が存在しない場合には、顔座標データＤ２０２を使用しない画像補正が行われても良い。

ステップＳ２０８の画像補正では、顔座標データＤ２０２を使用して、顔に特化した補正が行われる。

例えば、ステップＳ２０８において、顔領域の明るさ、色見、彩度といった色情報を顔に最適になる様に補正するという処理を行ってもよい。

人物に注目した画像補正に関しては、以下のような自動的に補正を行う方法が提案されている。

例えば、特許文献１４、１５では映像信号中から、肌色領域または人の顔の領域を検出し、その検出領域のみ、輝度補正，色補正，アパーチャ補正を行うことが公開されている。

特許文献１４、１５に係る発明では、顔検出および補正領域の決定方法として肌色検出により領域抽出を行っている。

また、特許文献１６には、 人間の顔や肌の領域を含んだ写真画像からなるデジタル画像データに対して、該人間の顔や肌の領域の色を自然な色に補正するとともに、画像全体としても良好なカラーバランスとなる色の補正が開示されている。

また、特許文献１７には、顔を検出して、顔領域のみに限定して補正を行うために、顔領域から肌の色成分を特定して、その色成分にだけ補正を行う方法が開示されている。

逆に顔領域にハイパスフィルタをかけることで、少しボケたような顔領域を鮮鋭化してくっきりと見せる処理であってもよい。

さらには、検出顔領域の中から赤目となって撮影されている瞳孔領域を検出して、赤目補正を行ってもよい。

上記のように、ステップＳ２０８において、顔領域を使って、様々な補正処理を行ってもよい。

ここでは、図１４に示されているように、画像データ１４０１の顔領域１４０２の内部(図１４中で白い領域)に限定して人肌をきれいに見せる美肌補正が行われたとする。

ステップＳ２０８で補正された画像データは、ステップＳ２０９で印刷される。

ステップＳ２０６で選択された画像の印刷処理が終了するまでステップＳ２０６からステップＳ２０９の処理が繰り返し実行される。

すなわち、ステップＳ２１０で、画像処理が終了した否かが判定される。そして、ステップＳ２１０で画像処理が終了したと判定された場合には、ステップＳ２１１に処理が進み、ステップＳ２１０で画像処理が終了しなかったと判定された場合には、ステップＳ２０６に処理が戻る。

ステップＳ２１１で、画像処理装置２００で検出された顔座標データを撮影データに書き戻して保存するか否かが判定される。

ステップＳ２１１で、画像処理装置２００で検出された顔座標データを撮影データに書き戻して保存しないと判定された場合には、出力処理が終了する。

ステップＳ２１１で、画像処理装置２００で検出された顔座標データを撮影データに書き戻して保存すると判定された場合には、ステップＳ２１２へ処理が進む。そして、顔座標データＤ２０２が、撮影データＤ２０１が格納されているメモリカード３００の、Ｅｘｉｆファイルの中のメーカ独自情報項目の中に書き込まれて終了する。

以上の通り、発明によれば、入力装置１００による顔検出処理の結果と画像処理装置２００による顔検出処理の結果にずれがある場合に、適切な顔領域を検出して、補正を行うことができる。

また、上記の実施形態では、補正として、主要被写体の領域に限定したローパス補正やハイパス補正が用いられてもよい。

なお、本実施形態では、画像補正手段が複数あってもよい。この場合、複数の画像補正手段を「第１の画像補正手段」、および「第２の画像補正手段」と呼んでもよい。

また、上記で示した本実施形態の処理が、入力装置１００のＣＰＵ１０７、又は画像処理装置２００のＣＰＵ２０１により実行されてもよい。

本実施形態を、複数の機器(例えば、ＰＣホストコンピュータ、インターフース機器、リーダ等)を含むシステムに適用してもよい。また、本実施形態において、入力装置１００の中で、撮影前と撮影後のデータでそれぞれ検出を行ってもよい。

また、本実施形態を、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給することによっても達成される。また、本発明の目的は、そのシステムあるいは装置のコンピュータが記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明に含まれる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。これに加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部が行われる。そして、その処理によって前述した実施形態の機能が実現される場合も、本発明に含まれることは言うまでもない。

記憶媒体から読み出されたプログラムコードは、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も、本発明に含まれることは言うまでもない。

第１の実施形態に係るシステムのブロック図である。 図１のシステムで実行される処理のフローチャートである。 入力装置の撮影画像解析時の状態遷移図である。 入力装置の撮影条件調整の状態遷移図である。 Ｅｘｉｆファイルのデータ構造を示す図である。 Ｅｘｉｆファイルのメイン情報項目の一例を示す図である。 Ｅｘｉｆファイルのサブ情報項目の一例を示す図である。 Ｅｘｉｆファイルのメーカ独自情報項目の一例を示す図である。 主要被写体(顔)の検出の一例を示す図である。 画像処理装置の撮影画像解析時のフローチャートである。 画像データと主要被写体検出結果の推移の一例を示す図である。 画像データと主要被写体検出結果の推移の一例を示す図である。 画像データと主要被写体検出結果の推移の一例を示す図である。 画像データと主要被写体検出結果の推移の一例を示す図である。 顔検出処理の結果得られた顔領域の位置関係の比較の一例を示す図である。 顔領域がずれている例を示した図である。

符号の説明

１００ 入力装置
２００ 画像処理装置
３００ メモリカード

Claims (24)

1. 画像の撮影情報を読み込む読み込み手段と、
   前記撮影情報に前記画像の主要被写体が格納されているか否かを判定する判定手段と、
   前記画像の主要被写体の検出を行う検出手段と、
   前記判定手段により、前記撮影情報に前記画像の主要被写体の検出結果が格納されていると判定された場合に、前記検出手段により検出された主要被写体の領域と前記撮影情報に格納されている主要被写体の領域との比較を行う比較手段と、
   前記比較手段による比較の結果に応じて主要被写体の領域を決定し、前記主要被写体の領域に対して補正を行う補正手段とを備えたことを特徴とする画像処理装置。
2. 前記比較手段による比較は、前記検出手段により検出された主要被写体の領域と前記撮影情報に格納されている主要被写体の領域とが近傍にあるか否かを比較することにより行われることを特徴とする請求項１の画像処理装置。
3. 主要被写体を、データに追加する追加手段をさらに備え、
   前記比較手段による比較において、前記検出手段により検出された主要被写体の領域と前記撮影情報に格納されている主要被写体の領域とが近傍にない場合には、前記検出手段により検出された主要被写体の領域を、前記追加手段によりデータに追加することを特徴とする請求項２に記載の画像処理装置。
4. 前記比較手段による比較は、前記検出手段により検出された主要被写体の領域と前記撮影情報に格納されている主要被写体の領域とが一致するか否かを比較することにより行われることを特徴とする請求項１の画像処理装置。
5. 主要被写体を、データに上書きする上書き手段をさらに備え、
   前記比較手段による比較において、前記検出手段により検出された主要被写体の領域と前記撮影情報に格納されている主要被写体の領域とが一致しない場合には、前記検出手段により検出された主要被写体の領域を、前記上書き手段によりデータに上書きすることを特徴とする請求項４に記載の画像処理装置。
6. 前記主要被写体は、人物の顔であることを特徴とする請求項１乃至５のいずれかに記載の画像処理装置。
7. 前記撮影情報は、Ｅｘｉｆファイルを含むことを特徴とする請求項６に記載の画像処理装置。
8. 前記補正手段は、前記主要被写体の領域の明るさを補正することを特徴とする請求項７に記載の画像処理装置。
9. 前記補正手段は、前記主要被写体の領域のカラーバランスを補正することを特徴とする請求項７に記載の画像処理装置。
10. 前記補正手段は、前記主要被写体の領域に限定したローパス補正を実行することを特徴とする請求項７に記載の画像処理装置。
11. 前記補正手段は、前記主要被写体の領域に限定したハイパス補正を実行することを特徴とする請求項７に記載の画像処理装置。
12. 画像の撮影情報を読み込む読み込みステップと、
    前記撮影情報に前記画像の主要被写体が格納されているか否かを判定する判定ステップと、
    前記画像の主要被写体の検出を行う検出ステップと、
    前記判定ステップにより、前記撮影情報に前記画像の主要被写体の検出結果が格納されていると判定された場合に、前記検出ステップにより検出された主要被写体の領域と前記撮影情報に格納されている主要被写体の領域との比較を行う比較ステップと、
    前記比較ステップによる比較の結果に応じて主要被写体の領域を決定し、前記主要被写体の領域に対して補正を行う補正ステップとを備えたことを特徴とする画像処理方法。
13. 前記比較ステップによる比較は、前記検出ステップにより検出された主要被写体の領域と前記撮影情報に格納されている主要被写体の領域とが近傍にあるか否かを比較することにより行われることを特徴とする請求項１２の画像処理方法。
14. 主要被写体を、データに追加する追加ステップをさらに備え、
    前記比較ステップによる比較において、前記検出ステップにより検出された主要被写体の領域と前記撮影情報に格納されている主要被写体の領域とが近傍にない場合には、前記検出ステップにより検出された主要被写体の領域を、前記追加ステップによりデータに追加することを特徴とする請求項１３に記載の画像処理方法。
15. 前記比較ステップによる比較は、前記検出ステップにより検出された主要被写体の領域と前記撮影情報に格納されている主要被写体の領域とが一致するか否かを比較することにより行われることを特徴とする請求項１２の画像処理方法。
16. 主要被写体を、データに上書きする上書きステップをさらに備え、
    前記比較ステップによる比較において、前記検出ステップにより検出された主要被写体の領域と前記撮影情報に格納されている主要被写体の領域とが一致しない場合には、前記検出ステップにより検出された主要被写体の領域を、前記上書きステップによりデータに上書きすることを特徴とする請求項１５に記載の画像処理方法。
17. 前記主要被写体は、人物の顔であることを特徴とする請求項１２乃至１６のいずれかに記載の画像処理方法。
18. 前記撮影情報は、Ｅｘｉｆファイルを含むことを特徴とする請求項１７に記載の画像処理方法。
19. 前記補正ステップは、前記主要被写体の領域の明るさを補正することを特徴とする請求項１８に記載の画像処理方法。
20. 前記補正ステップは、前記主要被写体の領域のカラーバランスを補正することを特徴とする請求項１８に記載の画像処理方法。
21. 前記補正ステップでは、前記主要被写体の領域に限定したローパス補正を実行することを特徴とする請求項１８に記載の画像処理方法。
22. 前記補正ステップでは、前記主要被写体の領域に限定したハイパス補正を実行することを特徴とする請求項１８に記載の画像処理方法。
23. 請求項１２乃至２２のいずれかに記載の画像処理方法をコンピュータに実行させるためのプログラム。
24. 請求項２３に記載のプログラムを記憶したコンピュータで読み取り可能な記録媒体。

Images