JP2010009228A

JP2010009228A - 画像処理装置および画像処理方法並びにコンピュータプログラムおよび記憶媒体

Info

Publication number: JP2010009228A
Application number: JP2008166255A
Authority: JP
Inventors: Yuji Akiyama; 勇治秋山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-06-25
Filing date: 2008-06-25
Publication date: 2010-01-14
Anticipated expiration: 2028-06-25
Also published as: US8630503B2; US20090324129A1; JP5132445B2

Abstract

【課題】異なる装置で取得された主要被写体の検出結果の各々を用いて、適切に補正処理を行うことが可能な画像処理装置および画像処理方法を提供する。
【解決手段】デジタルカメラの顔検出結果およびプリンタの顔検出結果を判別し、双方の判別結果に応じて信頼度を求め、所望の補正処理の強度、主要被写体の重みおよび主要被写体の領域を決定して、補正の仕方を決定する。そして、該決定された補正の仕方にもとづいて画像補正処理を実行する。
【選択図】図１０

Description

本発明は、画像データを適切に補正する画像処理装置および画像処理方法に関する。さらに詳しくは、画像取得時および取得した画像データから主要被写体を検出して画像データの補正を行う画像処理装置および画像処理方法並びにコンピュータプログラムおよび記憶媒体に関する。

近年、デジタルカメラや写真印刷品位が高いプリンタで、撮影時や印刷時に画像を解析して補正を行うことが多くなってきた。その中でも撮影シーンの中や画像中の主要被写体である人物を特定するための機能として、顔検出機能や目等の器官検出機能が注目されている。例えば、画像中の顔を検出することで、デジタルカメラでは、AFや露出を検出された顔に合わせて制御したり、プリンタでは検出された顔情報をもとに印刷用の補正の制御が行われている。

このような状況の中、デジタルカメラに代表される入力機器とプリンタに代表される出力機器、またはより複雑なアプリケーションの機能を提供するPCなどがそれぞれに顔検出機能を持っているといった環境が構築されるようになってきた。

しかし、一言で顔検出機能といってもその機能には様々な仕様や特徴がある。
例えば、画像取得時のデジタルカメラであれば、撮影時に顔検出を行うので動画像に対応した顔検出となり、顔領域の追尾性やリアルタイム性が求められる顔検出アルゴリズム、パラメータが採用されている。特に撮影時に露出補正を組み合わせて検出することで、暗い、逆光などのシーンでは検出処理時に露出を上げて顔を検出しやすくする。逆に明るい場合には露出を下げて検出するなどダイナミックに入力画像を変更しながら検出することも可能である。

また、加速度センサや角度センサと組み合わせることで、顔の検出方向をカメラの撮影する天方向に限定して検出を行うことで検出時間の短縮を行うことも可能である。さらに、ユーザがファインダや液晶ディスプレイに表示された顔検出結果を見ながらフォーカス、画角、ピント調整を行うことにより、あまり精度が高くない画像検出技術で十分な性能を維持することができる。誤検出もユーザがその場で判断できることもあり、最終的な誤検出が少なくできるといったメリットがある。しかも、被写体の測距情報、フォーカス点などが即座に観測できるために、これらの情報を顔検出にフィードバックすることでトータルの顔検出性能を上げることも可能である。

一方、画像出力時のプリンタではデジタルカメラと違い、一般的に一枚の静止画像データからの検出となり、リアルタイム性が求められない。また、デジタルカメラのようなフォーカス時の情報をすべて活用できないので、検出の処理時間がかかる傾向にある。このため、撮影時のデジタルカメラの各種制御情報が記載されたExif(Exchangeable image file format)タグの情報を利用して顔検出器のパラメータを制御することも行われている。

プリンタの顔検出の最大の特徴は、リアルタイム性が求められないため、顔検出の方向や顔のサイズを細かく変化させながら顔検出を行うことができる点になる。
また、デジタルカメラでは、大まかな顔の位置が検出できればよいが、プリンタではさらに詳細な顔の位置、サイズ、方向等を検出することが容易である。さらに処理能力が高いPC(Personal Computer)などで処理をすれば、プリンタよりも高精度な検出が可能になる。

特開平８−７７３３４号公報特開２００１−２１６５１５号公報特開平５−１９７７９３号公報特開平１１−５３５２５号公報特開２０００−１３２６８８号公報特開２０００−２３５６４８号公報特開平１１−２５０２６７号公報特許第２５４１６８８号明細書

複数の機器で、特に入力装置（デジタルカメラ等）、出力装置（プリンタ等）の双方に顔検出機能等の、画像データ中において人物を特定するための領域（人物の一部分）を検出する機能が搭載されているが、その検出性能が異なっている環境が整備されつつある。なお、本明細書において、「人物を特定するための領域（人物の一部分）」を、「主要被写体」とも呼ぶ。

最終的に出力装置からの出力結果として最適な補正処理を施して好ましい画像を得るためには、より正しく人物を特定するための領域（例えば、顔領域といった主要被写体）を検出することが重要である。このため、出力装置における顔検出性能といった人物を特定するための領域の検出性能を高めることは可能ではある。しかしながら、処理の複雑化を招き処理負荷の増大を招くことや、入力装置による画像取得時でしか顔検出といった主要被写体検出が困難な場合も生じている。そこで、入力装置と出力装置との双方共に搭載されている主要被写体検出（顔検出など）の機能の結果を用いる技術が提案されている。これにより、顔領域といった人物を特定するための領域（主要被写体）をより正確に把握することが可能となる。

しかしながら、入力装置と出力装置とにおいて、顔領域といった主要被写体の検出結果が異なる場合、その後の処理において課題があった。
例えば、正確な顔領域を把握することができない場合には、誤った補正処理を施すことにより極端に画像が暗くなったり、明るくなりすぎたり、カラーバランスが崩れるといった不具合が生じることがある。このため、大きな変化が生じる可能性がある強度で補正を実施することができない。そのため、この不具合の影響を少なくする目的から、従来は理想とする補正量よりも処理強度を弱めて処理を行うことが必要であった。

また、上記の通り入力装置と出力装置とではその検出の特性や検出結果の利用目的の違いから顔検出率および誤検出率の差、顔領域の検出性能の差が生じる場合が生じる。すなわち、装置毎に、人物を特定するための領域（主要被写体）の検出率、該領域を検出する際の検出性能、あるいは誤検出率に差がある場合がある。

従って、入力装置と出力装置の検出の結果が異なる場合、どちらの結果を優先させるか、双方の結果をどのように融合させればより補正に用いる適切な領域（顔領域等の主要被写体）を取得できるかといった課題が生じる。

本発明は、このような問題に鑑みてなされたもので、その目的とするところは、異なる装置で取得された主要被写体の検出結果の各々を用いて、適切に補正処理を行うことが可能な画像処理装置および画像処理方法を提供することにある。

このような課題を解決するために、本発明は、画像データに対して該画像データに含まれる主要被写体の検出結果を用いて補正処理を施す画像処理装置であって、前記画像データに対する第１の主要被写体検出処理により検出された第１の主要被写体の検出結果と、前記第１の主要被写体検出処理とは異なる装置または状況で行われる、前記画像データに対する第２の主要被写体検出処理により検出された第２の主要被写体の検出結果とが一致しているか否かを判定する手段と、前記判定する手段による判定結果に応じて、前記画像データを補正する補正の強度を決定する手段とを備えることを特徴とする。

また、本発明は、画像データに対して該画像データに含まれる主要被写体の検出結果を用いて補正処理を施す画像処理方法であって、前記画像データに対する第１の主要被写体検出処理により検出された第１の主要被写体の検出結果と、前記第１の主要被写体検出処理とは異なる装置または状況で行われる、前記画像データに対する第２の主要被写体検出処理により検出された第２の主要被写体の検出結果とが一致しているか否かを判定する工程と、前記判定する工程による判定結果に応じて、前記画像データを補正する補正の強度を決定する工程とを有することを特徴とする。

本発明では、第１の主要被写体の検出結果（例えば、撮影前）と第２の主要被写体の検出結果（例えば、プリント時）を用いて、より正確に主要被写体を把握するとともに、その把握した結果を適切な補正処理に反映させることができる。

以下、図面を参照して本発明の実施形態を詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図１は、本実施形態のダイレクトプリントシステムの概略ブロック図である。
このダイレクトプリントシステムは、デジタルカメラ100とプリンタ200とを備えている。デジタルカメラ100で撮影により取得された画像データは、メモリカード300によって、またはそれぞれのI/Oインターフェース110,213をケーブルや無線LAN等で接続して転送される。

符号101はレンズ群であり、符号103は絞りおよびシャッター装置を備えた光量調整装置である。
符号105はレンズ群101と光量調整装置103とを通過した被写体像である光束を電気信号に変換する撮像装置である。このような撮像装置としては、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサなどを用いることができる。撮像装置105はCCDやCMOSセンサのアナログ信号の出力にクランプ処理、ゲイン処理等を行い、さらにデジタル信号に変換するアナログ/デジタル(A/D)変換を行った後に画素補間処理や色変換処理を行って撮影データ（撮影画像データ）として出力する。

焦点制御102はTTL(Through The Lens)方式のAF(Auto Focus)処理に応じてレンズ群101を制御する。
露出制御104はTTL方式のAWB(Auto White Balance)処理を行って光量調整装置103を制御する。

I/O IF(Input/Output Inter Face)110はデジタルカメラ100の入出力機能を提供するものである。このI/O IF110は、操作ボタンや、USB(Universal Serial Bus)、無線LAN(Local Area Network)などの外部機器との接続機能を提供している。操作ボタンには、電源、モード切替え、シャッターなどのボタンや、各種機能を設定できる入力手段があり、これらによってユーザはデジタルカメラ100を任意に制御して動作させることができる。
表示I/F 111は、撮影された画像のプレビューや、操作メニューなどを表示する表示装置112の制御を行う。表示装置112には液晶ディスプレイなど表示デバイスが使用される。

CPU(Central Processing Unit)107は、ROM(Read Only Memory)108に格納されている各種プログラムを実行しながらデジタルカメラ100の制御を行う。このとき一時的に必要となるデータの格納機能はRAM(Random Access Memory)109を利用する。

メモリI/F 113は、メモリカード300のコネクタや、データの読み書きを制御する機能を持っている。メモリカード300としては、CF(Compact Flash)メモリカードや、SD(Secure Digital)メモリカードといった不揮発性のメモリ機能を搭載したものを用いると良い。特に撮影した画像データはメモリカード300に格納しておくことで、デジタルカメラ100の電源をoffにした状態でも保存され、またメモリカード300を他の装置から読み取ることで撮影データを使用できる。

画像処理106は、撮像装置105でデジタルデータに変換された画像情報から主要被写体の検出を行う。
ここで述べる主要被写体とは人物の顔であるとして以後の説明を行う。本明細書において、主要被写体とは、画像に含まれる人物を特定（抽出）するために用いられる人物の一部分を示す領域であり、上記顔領域の他に、目等の器官領域とすることもできる。

画像処理106が行う顔および器官位置を検出する方法としては、特許文献１〜特許文献８に記載された技術など、数多くの手法が提案されており、本実施形態においてはそれらのうちどのような手法を用いても良い。また、顔および器官位置の検出法については、上記記載に限定されることはなく、その他のどのような手法を用いても構わない。なお、顔および器官位置の検出に関しては、従来方法が様々な文献で開示されており、また本発明の本質部分ではないので、ここでの詳細な説明は省略する。

プリンタ200でも同様に、CPU(Central Processing Unit)201がROM(Read Only Memory)202に格納されているプログラムを実行しながら後述の各機能を制御する。このとき一時的に必要となるデータの格納機能はRAM(Random Access Memory)203を利用する。
センサI/F205は、プリンタ200内で使用されている各種センサ206のインターフェース機能を提供している。センサ206には、印刷用紙の搬送量を測定する紙送りセンサ、印刷ヘッドの位置を測定するヘッド位置センサ、インク残量検出センサなどがある。

モータI/F207は、プリンタ200内で使用されている各種モータ208のインターフェース機能を提供している。モータ208には、印刷用紙の搬送する搬送モータ、印刷ヘッドを移動させるヘッドモータなどがある。
Head I/F209は、プリンタ内200で使用されている印刷ヘッド210のインターフェース機能を提供している。印刷ヘッドには各色のインク毎にインクを吐出するノズルが多数配置されており、インクの吐出パターンを制御することで印刷紙面上に印刷画像を形成する。

表示I/F 211は、プリンタ200の入力・設定状態などをはじめとする種々の表示や、操作メニューなどを表示する表示装置212の制御を行う。表示装置212には液晶ディスプレイなど表示デバイスが使用される。
IO I/F213は、プリンタ200の入出力機能を提供するものであり、操作ボタンや、USB、無線LANなどの外部機器との接続機能を提供している。操作ボタンには、電源、印刷、コピーなどの各種ボタンや、各種機能を設定できる入力手段があり、これらによってユーザはプリンタ200を任意に制御して動作させることができる。
メモリI/F204は、デジタルカメラ100のメモリI/F113と同じ機能を提供するものである。主な使用方法としては、デジタルカメラ100で撮影された画像データといった第１の画像処理装置で取得された画像データを第２の画像処理装置としてのプリンタ200にて読み込んで印刷するために使用することができる。

図1で説明したダイレクトプリントシステムの典型的な動作の流れを図2に示す。
本実施形態では、典型的な動作として、ユーザがデジタルカメラ100で画像を撮影して画像データ（以下、本実施形態では“撮影画像データ”）を生成し、該画像データをプリンタ200で読み込んで印刷する操作を想定している。

S201では、CPU107は、ユーザの操作等に基づいて撮影時の画像解析を行う。
ユーザがデジタルカメラ100を動作させて、被写体をファインダ、または液晶ディスプレイに表示されている画像を見ながら、焦点や露出などの撮影条件が調整できているかを確認できる。デジタルカメラ100は、撮影前に画像処理106により、撮像装置105に結像している画像解析の1機能として人物の顔検出（主要被写体検出）を実行する。その後で主要被写体である人物の顔に適したフォーカス調整、露出調整、シャッター速度の調整などを自動的に行う人物優先モードを提供している。

このＳ201における撮影時画像解析を行っている時のデジタルカメラ100の状態遷移を図3に示す。
デジタルカメラ100の電源がonされた時、または撮影モードになった時にリセットされると、デジタルカメラ100は、初期状態S301に遷移する。シャッターボタンが半押し状態になった時に、デジタルカメラ100は、撮影条件調整S302に遷移する。撮影条件調整S302に遷移した状態で、シャッターボタンが全押し状態になったら、デジタルカメラ100は撮影S303へと遷移する。

撮影S303は図2の撮影工程（S202）、画像の補正/符号化工程（S203）、撮影データ（撮影画像データ）の格納工程（S204）に相当する。撮影S303の状態で、連写モードが選択されていた場合、またはシャッターボタンが所定時間以上全押し状態にある場合には、デジタルカメラ100は、再度撮影条件調整S302に戻って、撮影条件を調整する。撮影条件調整S302、撮影S303の時にシャッターボタンがオフになった場合には、デジタルカメラ100は、初期状態S301に戻り、次の操作を待つ状態になる。

撮影条件調整S302の詳細を図4に示す。図4を利用して、人物優先モードでの撮影条件の決定プロセスを説明する。
デジタルカメラ100が人物優先モードで撮影を行う場合、撮影条件調整S302では、デジタルカメラ100は、はじめに顔検出S401に遷移して顔検出を実行する。顔が検出された場合、されなかった場合にかかわらずその結果を持って次のフォーカス調整S402に遷移する。フォーカス調整S402では、CPU107は、顔検出S401における顔検出の結果として顔が検出されていた場合には、顔検出結果に基づいて顔の位置にフォーカスを合わせるように焦点制御102を制御してレンズ群101を動作させる。顔検出S401における顔検出の結果として、顔が検出されなかった場合にはTTL方式のAF処理でレンズ群101を動作させてフォーカス処理を実行する。フォーカス調整S402が完了したら、デジタルカメラ100は、次の露出調整S403へ遷移する。

露出調整S403では、CPU107は、顔が検出されていた場合にはその顔を優先させたAWB調整で、また顔が検出されなかった場合には通常のTTL方式のAWB処理で露出制御104を制御して光量調整装置103を動作させる。露出調整S403が完了したら、デジタルカメラ100は、次のシャッター調整S404へ遷移する。シャッター調整S404では、CPU107は，フォーカス調整S402と露出調整S403との調整結果を受けて最適なシャッター速度を算出する。この算出されたシャッター速度で撮像装置105の光束の受光時間が決定される。シャッター調整S404が完了したら、デジタルカメラ100は調整判定S405へ遷移する。

調整判定S405では、CPU107は、全体の撮影条件の判定を行い、調整判定がOKであればWait S406へ遷移する。調整判定がＮＧであればフォーカス調整S402へ遷移して、再度撮影条件の調整をやり直す。Wait S406では所定時間が経過するまでにシャッターボタンが全押し状態になった場合に撮影S303は遷移するが、所定時間の待ち状態が経過すると再度顔検出S401へ遷移して撮影条件の調整を再開する。すべての状態の途中でシャッターボタンがオフになった場合には初期状態S301へ遷移して、シャッターボタンが押されるのを待つ。

人物優先モードで撮影が行われると、S203で、撮像装置105は、被写体像である光束を電気信号に変換し、クランプ処理、ゲイン処理等、デジタル変換処理、画素補間処理や色変換処理を行って撮影データ（撮影画像データ）を生成する。この撮影データは、RAM109に格納される。次いで、画像処理106は、上記撮影データからの顔領域の検出処理を行い、該検出された顔領域に基づいて顔検出結果を取得する。

RAM109に格納された撮影データの記録方式としては、市場で一般に使用されている代表的な画像ファイル形式である“Exif”ファイル形式(Ver.2.2)を使用するものとして説明する。
図５は、本実施形態に係る撮影データの記録方式の一例であるExifファイルの構造を示す図である。
Exif画像の構造は、基本的には通常のJPEG画像形式そのものであり、その中にサムネイル画像や撮影関連データ等のデータをJPEGの規約に準拠した形で埋め込んだものである。JPEG形式をサポートしているインターネットブラウザー、画像ビュアー、フォトレタッチソフト等を使えば、Exif画像ファイルは、通常のJPEG画像として見ることができる。

JPEGファイルは、図５の左側部分に示すように、最初にSOI(Start of image/0xFFD8)501aがある。その後に、APP1 501b、DQT(Define Quantization Table)501c、DHT(Define Huffman Table)501dの順にある。さらにその後に、SOF(Start of Frame)501e、SOS(Start of Stream)マーカー501f、圧縮データ(data)501gの順にある。最後にEOI(End of Image)501hがある。

DQT501cは量子化テーブルの実態を、DHT501dはハフマン・テーブルの実態をそれぞれ定義する。また、SOF 501ｅはフレームのスタートを、SOSマーカー201fは画像データの開始を、EOI 501hは画像ファイルの終了をそれぞれ示す。
JPEGに使われるマーカー(Maker)のうち、0xFFE0〜0xFFEFまでのマーカーは、アプリケーションマーカーと呼ばれ、これらは、JPEGイメージをデコードするためには不要である。しかし、それぞれのアプリケーションプログラムで使用するためのデータ領域として定義されている。

Exifにおいては、撮影条件等をJPEG画像内に格納するためにAPP1(0xFFE1)というマーカーを使用している。“APP1”の構造は、図5の右側部分に示している。即ち、“APP1”の構造は、まず、先頭にAPP1 Maker(0xFFE1/2byte)領域502aがある。そしてその次にAPP1 Length (2byteのAPP1領域の大きさ)領域502bがあり、その次にAPP1のデータ領域502cがある。

このAPP1のデータ領域502cに続くデータの最初の6バイトは、識別子としてASCII文字の“Exif”が、その次に2バイトの0x00が続く。そこからTiff(Tagged Image File Format)形式でデータが格納されている。Tiff形式の最初の8バイトはTiffヘッダー(Header)領域502dとなり、最初の2バイトはバイト並びの形式を定義している。0x4d4d：“MM”の場合はモトローラ形式、0x4848：“II”の場合はインテル形式を表わす。

Tiffヘッダー領域502dの次の0th IFD(IFD of main image)領域502eに、最初のIFFD(Image file directry)が格納される。通常、メイン画像データ及び画像関連データは、この中に収まっていて、記載項目毎にメイン情報、サブ情報(Exif SubIFD/0x8768)、メーカ独自情報(Maker note/0x827c)と、記載事項が分かれている。

図６は、メイン情報の記載内容と記述を示す“tag”アドレスの一例を示す図である。
同図に示すように、メイン情報としては、タイトル、デジタルカメラ100のメーカ名や機種名、画像方向、幅の解像度、高さの解像度、解像度単位、ソフトウェア、変更日時等の一般情報が記載されている。

図７は、サブ情報の記載内容と記述を示す“tag”アドレスの一例を示す図である。
同図に示すように、サブ情報としては、光源、レンズ焦点距離等のデジタルカメラ100の詳細情報や、露出時間Ｆ値、ISO感度、自動露出測光モード等の各種撮影条件等が記載されている。

図８は、メーカ依存データの記載例を示す図である。
このメーカ独自データであるメーカ依存データの記載内容及び“tag”アドレス等は、メーカ毎に独自設定できるので、さまざまな形態をとる。サブ情報に定義されていない撮影関連データが記載されている傾向がある。現時点では、顔検出結果をExifタグに書き込む規格は何ら規定されていない。そこで、本実施形態では、メーカ依存データの中に顔検出結果を格納するものとする。

このように、本実施形態では、デジタルカメラ100による第１の主要被写体である顔の検出結果を示す情報（顔検出結果）が、撮影データに含められることになる。従って、プリンタ200は、デジタルカメラ100から取得した撮影データから、デジタルカメラ100にて検出された顔検出結果を取得することができる。

顔検出結果は、図9に示すような位置関係として表現される。すなわち、顔検出結果は、画像データの所定の領域において検出されたものが顔であるか否かを示すための情報である。よって、顔検出結果を用いれば、該顔検出結果を出力した装置ではある画像データの所定の領域にて顔を検出したということを、他の装置にて認識することができる。図９においては、顔検出結果は、検出された顔領域に対応する座標情報である。よって、顔検出結果として座標情報が含まれていれば、該座標情報から得られる座標に囲まれている領域は顔領域であることを示すことになる。

図９において、符号901は、一般的な撮影画像データD201の画像部分を示しており、そこには撮影された時の画像データがある。画像部分901は、所定の幅(Width)と高さ(Height)の画素で構成されており、そこに人物が撮影されており、さらに顔検出結果で顔が検出されている状態を示している。Xが横軸、Yが縦軸を表しており、左上が原点(0,0)である。

図９において、人物の顔は、符号902で示す領域にあると表現される。
本実施形態では、顔領域を左上(LT)、右上(RT)、左下(LB)、右下(RB)の4点の座標で囲まれる領域であるとしている。4点はそれぞれ(x, y)の2次元座標で表すことができる。よって、デジタルカメラ、プリンタ、ＰＣといった画像処理装置は、顔領域検出処理の際に顔領域であると抽出した領域のLT、RT、LB、RBの座標情報を取得することで、顔検出結果を取得することができる。

なお、本実施形態では、顔領域の表現には、他に中心と大きさ、中心点と幅と高さといった表現方法をとることも可能である。
さらに、各顔領域にID番号を振って管理する、すなわち、取得した顔検出結果毎にＩＤ番号を付与して管理すれば、複数の顔検出にも対応することが可能である。

S204では、CPU107は、S203でExifファイル形式で格納された撮影画像データD201を、メモリI/F 113を介してメモリカード300に格納する。ユーザは、撮影画像データD201が格納されたメモリカード300を、デジタルカメラ100から抜き取って、プリンタ200のメモリカードI/F 204に挿入することで、プリンタ200で撮影画像データD201が使用可能になる。
次いで、S205では、CPU107は、撮影が終了したか否かを判断し、撮影が終了していない場合は、S201に戻り、終了していると判断した場合は、デジタルカメラ100における画像データの取得処理（画像データのシステムへの入力）を終了する。

プリンタ200は、S206で、メモリカード300に格納された撮影画像データD201を読み込むことで、撮影画像データＤ201を取得する。このとき、プリンタ200の表示装置212にユーザの操作を促すUI(User Interface)が表示され、ユーザは表示されているUIを見ながらIO I/F 213に接続されているボタン等の入力装置で、撮影画像の選択などの操作を行う。上記UIには、S206にて入力された撮影画像データD201に基づいて、デジタルカメラ100にて撮影された撮影画像を読込み、表示される。すなわち、CPU201は、表示装置212にUIを表示させ、デジタルカメラ100にて撮影された撮影画像から補正等の所定の画像処理を行いたい画像をユーザに選択させる。さらにS206では、ユーザは印刷する用紙、印刷品位、画像補正機能の選択等の、印刷に必要な条件の設定を行っているものとする。

S207では、CPU201は、S206にて選択された画像の撮影情報を1枚ずつ解析する。
S208では、CPU201は、S206でJPEGデコードした画像データに対して撮影画像を解析するとともに、後述する顔座標データD202を使用して補正の仕方を決定し、該仕方に応じた補正を行う。実際の画像補正では、顔座標データD202を使用しない画像補正も行われるが、ここでは説明を省略する。

S208の画像補正では、顔座標データD202を使用して、顔に特化した補正を行う。例えば、顔領域の明るさ、色調、彩度といった色情報を顔に最適になる様に補正をかけると言った処理を行うことが可能である。

S207およびS208の動作を、図１０を用いて説明する。なお、図１０において、S1001〜S1003までの処理がS207にて行われる処理であり、S1004〜S1008までの処理がS208にて行われる処理である。
選択された画像は、撮影画像データD201から図5で示したExifファイルの構造になっているので、S1001で、CPU101は、撮影情報であるExifタグの解析を行う。S1001では、図8に示したメーカタグ（Exifタグ）の中の顔検出結果を探索する。S1002では、CPU201はメーカタグの中に顔検出結果が含まれているか否かを判断することで、S206にて選択された撮影画像データＤ201に顔検出結果が含まれているか否かを判定する。S1002で、メーカタグの中に顔検出結果が格納されていた場合にはS1003へ進む。

S1003では撮影画像データD201に格納されていた顔検出結果（第１の顔検出結果とも呼ぶ）をプリンタ200内のRAM 203の顔座標データD202の格納領域に格納する。S1003で撮影画像データD201のすべての顔検出結果を格納した後、さらにはS1002で顔検出結果がないと判定された場合にS1004に進む。

S1004では、CPU201は、撮影画像データD201の画像データ（圧縮データ）501gと、DQT 501c、DHT 501dを読み込んで、JPEG圧縮されている画像データをデコードして解析可能な画像データを得る。このデコードされた画像データはRAM 203のデコード画像の格納領域に格納される。

S1005では、CPU201は、RAM 203に格納されたS1004にて取得された画像データに対して、画像処理106での処理と同様にして顔検出処理を実行する。このようにして、プリンタ200は、該プリンタ200による第２の主要被写体の検出結果となる第２の顔検出結果を取得することができる。

S1005の顔検出の結果、S1006で、顔が検出されなかった場合には、CPU201は、上記画像データに対して所定の処理を行い、S208を終了する。S1006で、顔が検出された場合はS1007へ進む。

S1007では、CPU201は、デジタルカメラ100とプリンタ200との顔領域座標の比較を行う。S1007での比較は、顔検出S1005で検出されたプリンタ200での検出結果（第２の顔検出結果）と、顔座標データD202に格納されているデジタルカメラ100の顔検出結果（第１の顔検出結果）のすべてとで行われる。

S1008では、CPU201は、撮影画像データＤ201において全ての顔検出結果の比較が終了したか否かを判断し、終了していない場合は、S1007に進む。すべての顔検出結果の処理が終了したら、CPU201は、後述する図１１、１３、１５の処理を行って、第１および第２の顔検出結果に基づいて補正処理の仕方を決定し、該仕方に応じて画像の補正処理を行う。

また、S1007ではプリンタ200で検出した顔座標データを顔座標データD202に記述することも可能である。
S209では、CPU201は、S208で補正された画像データを印刷する処理を行う。

CPU201は、S206で選択された撮影画像の印刷処理が終了するまでS206からS209が繰り返し実行され、終了した時点でS211へ進む。S211では、CPU201は、表示装置212にＵＩを表示して、ユーザに対してプリンタ200で検出した顔座標データを撮影データに書き戻すかを選択させる。書き戻さないとした場合にはダイレクトプリントの動作を終了する。書き戻すと選択された場合には、CPU201は、S212へ進み、顔座標データD202を撮影画像データD201が格納されているメモリカード300へ、Exifタグの中のメーカタグの中に書き込んで終了する。

ここまでの説明では、入力装置（第１の画像処理装置）としてデジタルカメラ100、出力装置（第２の画像処理装置）としてプリンタ200を使用するダイレクトプリントする系で説明を行ってきたが、構成はこれに限定されるものではない。

複数の機器(例えばPCホストコンピュータ、インターフース機器、リーダ等)から構成されるシステムに適用してもよい。例えば、補正処理を行う画像データ（上述の説明で言う撮影画像データＤ201）を取得する第１の画像処理装置をネットワークを介してプリンタ200に接続されたＰＣとしても良い。この場合は、プリンタ200は、例えば、IO I/F213を介してＰＣ等の第1の画像処理装置から画像データを受信したり、メモリI/F 204を介してメモリカード300等の記憶媒体から画像データを取得することができる。この場合、該画像データに、第１の顔検出結果といった、第１の画像処理装置にて検出された主要被写体の検出結果を示す情報（画像データの所定の領域において検出されたものが主要被写体であるか否かを示すための情報）を含めれば良い。このようにすることで、プリンタ200といった第２の画像処理装置は、第１の画像処理装置における主要被写体の検出結果を取得することができる。
また、第２の画像処理装置についてもプリンタに限らず、例えばＰＣ等の他の機器とすることができる。また、第２の情報処理装置を、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。

また、本発明は、第１の画像処理装置にて取得された画像データを第２の画像処理装置にて補正する形態にも限定されない。上述では、第１の画像処理装置にて取得された所定の画像データについて、第１の画像処理装置にて取得された第１の主要被写体と、第２の画像処理装置にて取得された第２の主要被写体とが一致しているか否かを、第２の画像処理装置が判定している。次いで、第２の画像処理装置が、該判定結果に応じて、後述する第１〜第３の実施形態に示すようにして補正処理の仕方を決定し、画像データの補正処理を行っている。本発明の一実施形態では、画像データの取得から補正までを同一の装置で行っても良い。すなわち、例えば、デジタルカメラ100の中で、撮影前と撮影後のデータでそれぞれ主要被写体の検出を行う構成であってもよい。この場合は、デジタルカメラ100が、撮影前に検出した主要被写体と撮影後に検出した主要被写体とを比較し、該比較結果に応じて補正の方法を決定すれば良い。

このように、本発明では、補正対象の画像データを何処で取得し、何処で補正するのか、ということが本質ではない。本発明では、第１の検出結果と、該第１の検出結果とは異なる場所（画像処理装置）または状況で取得された第２の検出結果とを比較し、この比較結果に応じて補正の仕方（各種パラメータ）を決定し、該補正の仕方で補正することが重要なのである。なお、上記第１の検出結果とは、補正対象の画像データにおける第１の主要被写体検出処理により検出された検出結果であり、第１の画像処理装置の主要被写体の検出結果や、撮影前のタイミング（第１の状況）で取得された主要被写体の検出結果等である。また、第２の検出結果とは、上記第１の主要被写体検出処理とは異なる場所、または状況において上記画像データに対する第２の主要被写体検出処理により検出された検出結果である。例えば、第２の画像処理装置にて取得された主要被写体の検出結果や、撮影後のタイミング（第１の状況とは異なる第２の状況）で取得された主要被写体の検出結果等である。

また、上述では、第１の画像処理装置による主要被写体の検出結果（顔検出結果）を画像データに含ませている。従って、第２の画像処理装置が該画像データを取得し該画像データから第１の画像処理装置による主要被写体の検出結果を取得しているが、第２の画像処理装置の上記検出結果の取得方法はこれに限定されない。例えば、メモリカード等の記憶媒体やケーブル、ネットワークを介して、画像データとは別個の状態で第１の画像処理装置から第２の画像処理装置に移動させるようにしても良い。また、第１の画像処理装置と第２の画像処理装置とがネットワークを介して接続されている場合は、次のようにしても良い。すなわち、第２の画像処理装置が第１の画像処理装置にコマンドを送信し、該コマンドに応じて第１の画像処理装置が該装置による検出結果を第２の画像処理装置に送信するような形態であっても良い。

（第１の実施形態）
図１１は本発明の第１の実施形態におけるデジタルカメラ100とプリンタ200との顔検出結果を用いた処理のフローを示す図である。なお、図１１は、図２のS208の処理の詳細を示すものである。
S1101では、CPU201は、デジタルカメラ100とプリンタ200との顔検出結果の比較を行う。S1101の処理は、図１０のS1004〜S1008までの処理である。

S1102では、CPU201は、S1101に行われた、第１の顔検出結果（デジタルカメラ100に対応）と第２の顔検出結果（プリンタ200に対応）との比較の結果、双方の結果が一致しているか否かを判定する。すなわち、CPU201は、顔座標データＤ202（第１の顔検出結果）と第２の顔検出結果とに基づいて、デジタルカメラ100が顔として検出した座標と、プリンタ200が顔として検出した座標とが一致しているか否かを判定する。このようにして、CPU201は、第１の顔検出結果と第２の顔検出結果との比較を行い、デジタルカメラ100の顔領域検出とプリンタ200の顔領域検出とが一致しているか否かを判定することができる。

S1102にて一致していると判定される場合には、CPU201は、顔検出の結果の信頼度が高いものとしてS1103で検出した顔領域を用いた処理（補正処理）の強度を高める設定を行うことを決定する。このように、本実施形態では、第１の顔検出結果と第２の顔検出結果とが一致している場合は、第１の顔検出結果および第２の顔検出結果が示す領域に顔領域が存在するという信頼度が高いことになる。従って、検出した顔領域を用いた補正の強度を高める設定を行うことができる。
一方、デジタルカメラ100とプリンタ200の顔検出結果が一致しない場合には、CPU201は、上記信頼度は低いと判断し、顔領域を用いた処理の強度を高める設定は行なわず、後のS1104において補正強度は一致している場合よりも低く設定される。

S1104では、CPU201は、デジタルカメラ100とプリンタ200の顔検出結果の比較後に最終的な顔領域を用いた処理強度を決定する。すなわち、S1102にて一致していると判断されS1103にて処理の強度が高く設定するように決定された場合は、該高く設定された強度に設定する。一方、S1102にて一致していないと判断される場合は、一致している場合の処理強度よりも低く設定する。このように、CPU201は、第１の顔検出結果と第２の顔検出結果とが一致しているか否かに応じて、補正処理の仕方（ここでは、顔領域を用いた処理強度）を決定することができる。
S1105では、CPU201は、S1104にて決定された処理強度に応じて実際の補正処理を行う。

S1105の具体的な補正処理方法は、顔領域における明るさ、色調および彩度等の画像の特徴に応じて決定され、S1104で定まった補正処理強度で実行される。

さて、上記S1103、S1104では、検出結果の信頼度、すなわち第１の顔検出結果と第２の顔検出結果とが一致しているか否かに応じて、通常の処理強度に重みを付けることによって、補正に用いる処理強度を求めることができる。
図１２はデジタルカメラ100およびプリンタ200の顔検出結果と処理の重みを示す図である。
図１２において、矩形で囲われた領域部分が顔検出の領域1201である。よって、顔検出領域1201の座標情報が顔検出結果となる。顔検出領域1201が無い場合は、顔を検出できなかったことを意味している。

図１２から分かるように、デジタルカメラ100とプリンタ200の双方で顔が検出できた場合には、第１の顔検出結果と第２の顔検出結果とが一致することになり、顔領域を用いた補正処理の重みは“１”となる。すなわち、S1104において、CPU201は、信頼度が高いと判断して補正強度を高く設定する。一方、デジタルカメラ100およびプリンタ200のどちらか一方のみ顔を検出できた場合は、第1の顔検出結果と第２の検出結果とが一致していないことになり、重みは“０．５”となる。すなわち、S1104において、CPU201は、信頼度が低いと判断して顔領域を用いた補正強度を一致している場合よりも低く設定する。なお、第1の顔検出結果と第2の顔検出結果とが一致している場合および一致していない場合の双方共に、第１の顔検出結果および第２の顔検出結果の双方を検出できなかった場合の重み“０”よりも大きい。

顔の検出の信頼度が低い場合には、誤った補正処理を施すことにより極端に画像が暗くなったり、明るくなりすぎたり、カラーバランスが崩れるといった不具合が生じるため、大きな変化が生じる可能性がある強度で補正を実施することができない。そのため、この不具合の影響を少なくする目的から、従来は理想とする補正量よりも処理強度が弱い処理を行うことが必要であった。

これに対して、本実施形態では、第１の顔検出結果と第２の顔検出結果とが一致しているか否かを判定してデジタルカメラ100とプリンタ200との顔検出の信頼度を求め、該信頼度の高低に応じて補正処理の仕方を決定している。すなわち、信頼度が高い場合は、補正強度を高く設定して補正を行い、信頼度が低い場合は、補正強度を低く設定して補正を行っている。従って、第１の主要被写体検出処理による検出結果（ここでは、第1の顔検出結果）と第２の主要被写体検出処理による検出結果（ここでは、第２の顔検出結果）とが一致しているか否かに応じて、最適な処理強度を決定することができる。よって、出力したい画像に含まれる主要被写体をより高品質に出力することができる。
このように本実施形態によれば、デジタルカメラ100とプリンタ200の双方の顔検出結果から顔領域の信頼度が得られるので、より理想に近い処理強度で補正処理を行うことが可能となるのである。

（第２の実施形態）
図１３は本発明の第２の実施形態におけるデジタルカメラ100とプリンタ200の顔検出結果を用いた処理の別のフローを示す図である。なお、図１３は、図２のS208の処理の詳細を示すものである。
なお、図１３においては、補正対象の画像には、複数の顔（主要被写体）が含まれているとする。従って、デジタルカメラ100およびプリンタ200は、複数の顔検出結果にＩＤ番号を付けて各顔検出結果を管理するものとする。

S1301では、CPU201は、デジタルカメラ100とプリンタ200の顔検出結果の比較を行う。S1301の処理は、図１０のS1004〜S1008までの処理である。S1302では、CPU201は、検出された、第１の顔検出結果の各々と第２の顔検出結果の各々とが一致しているか否かを判定する。S1302において、第１および第２の顔検出結果が一致している領域については、S1303において、顔検出の結果の信頼度が高いものとして、補正に用いる顔領域の注目度を高める設定を行うことを決定する。よって、CPU201は、デジタルカメラ100およびプリンタ200にて顔領域として検出された領域について、デジタルカメラ100およびプリンタ200の双方で検出されたものについては、信頼度が高いと判断して、注目度を高める設定を行うことができる。

一方、デジタルカメラ100とプリンタ200の顔検出結果が一致しない場合には、CPU201は、補正に用いる顔領域の注目度を高める設定は行わない。すなわち、デジタルカメラ100およびプリンタ200の一方において検出されたものについては、CPU201は、信頼度が低いと判断して、信頼度が高い場合よりも低い値に注目度を設定することができる。

なお、本明細書において、「注目度」とは、補正処理に施す重みを決定するための基準であり、注目度が高いほど重みは大きくなる。本実施形態では、補正対象の画像中のある領域が、デジタルカメラ100とプリンタ200との双方にて顔領域として検出されている場合は顔検出の信頼度が高いので、この領域の重みを高く設定するために、注目度が高く設定される。一方、補正対象の画像中のある領域が、デジタルカメラ100とプリンタ200との一方にて顔領域として検出されている場合は顔検出の信頼度が低いので、この領域の重みを低く設定するために、注目度が低く設定される。

S1304では、CPU201は、デジタルカメラ100とプリンタ200の顔検出結果の比較後に顔としての注目領域とその領域の注目度を決定する。すなわち、CPU201は、第１および第２の顔検出結果の少なくとも一方が検出された領域を注目領域とする。よって、この注目領域は、デジタルカメラ100および／またはプリンタ200にて顔領域として検出された領域となる。そして、CPU201は、各注目領域に、第１の顔検出結果と第２の顔検出結果が一致しているか否か、すなわち信頼度に応じて注目度を設定する。本実施形態では、S1302にて第１の顔検出結果と第２の顔検出結果とが一致している領域についてはS1303にて注目度を高く設定するように指示されている。従って、S1304において、このように注目度が高く設定されている注目領域について、CPU201は注目度を高く設定する。一方、S1302にて第１の顔検出結果と第２の顔検出結果とが一致していない領域については、一致している場合よりも低く注目度を設定する。このようにして、CPU201は、補正の仕方を決定することができる。

S1305では、CPU201は、S1304にて設定された注目度（重み）を用いて、実際の補正処理を行う。この補正処理に用いる補正強度は、例えば、注目領域毎に設定された重みと所定の補正強度との積を計算して足し合わせ、該和を注目領域の数で割ることによって求めることができる。

また、S1305で実行する補正処理の仕方は、S1304で定めた注目度を加味した注目領域における明るさ、色調および彩度等の画像の特徴により決定される。

図１４（ａ）〜（ｃ）は、はデジタルカメラ100とプリンタ200の顔検出結果および顔領域の重みを示す図である。図１４（a）はデジタルカメラ100による第１の顔検出結果を示す図であり、（ｂ）はプリンタ200による第２の顔検出結果を示す図である。

図１４（a）、（ｂ）ともに矩形で囲われた領域部分が顔検出の領域1401である。顔検出領域1401が無い場合は、顔を検出できなかったことを意味している。また、図１４の例ではプリンタの検出結果を示す図１４（ｂ）において誤検出領域1402も存在している。図１４（ｃ）はデジタルカメラ100の第１の検出結果（図１４（a））とプリンタ200の第２の検出結果（図１４（ｂ））から求めた顔領域の重みを示す図である。

図１４（ｃ）から分かるように、デジタルカメラ100とプリンタ200の検出結果が一致している場合には、顔検出の信頼度が高いことになるので、その注目領域の注目度は高く設定される。従って、顔領域の重みは“１”となる。一方、デジタルカメラ100とプリンタ200の検出結果が一致していない場合には、例えば、プリンタ200が誤検出領域1402を検出していたりするので、顔検出の信頼度が低いことになる。よって、顔領域の重みは、一致している場合よりも小さく、例えば“０．５”となる。

例えば、図１４（ｃ）の画像の場合、画像中に注目領域が５つあり、注目領域毎に設定された重みの和は、０．５＋０．５＋１＋１＋１＝４である。和４を注目領域の数５で割ることによって、０．８の重みが算出され、検出した顔領域を用いた補正において、処理強度０．８の補正が行われる。

本実施形態によればデジタルカメラ100とプリンタ200の双方の顔検出結果から第１の実施形態と同様に顔領域の信頼度が得られるので、より理想に近い処理内容で補正処理を行うことが可能となる。
また、第１の実施形態では補正の強度を可変制御したが、本実施形態においては補正処理内容に影響する顔領域の信頼度を反映させることが可能となる。

（第３の実施形態）
図１５は本発明の第２の実施形態におけるデジタルカメラとプリンタの顔検出結果を用いた処理の別のフローを示す図である。なお、図１５は、図２のS208の処理の詳細を示すものである。
S1501では、CPU201は、デジタルカメラ100とプリンタ200の顔検出結果の比較を行う。S1501の処理は、図１０のS1004〜S1008までの処理である。

S1502では、CPU201は、第１の顔検出結果および第２の顔検出結果との比較の結果、双方の顔検出領域の結果が一致しているか否かを判定する。すなわち、CPU201は、第１の顔検出結果と第２の顔検出結果とを参照して、デジタルカメラ100にて検出された顔領域の位置と、プリンタ200にて検出された顔領域の位置とが一致しているか否かを判断する。一致している場合には、S1503にて、CPU201は、上記一致している領域を、補正処理に用いる主要被写体領域に設定するという決定を行う。
一方、デジタルカメラ100とプリンタ200の顔検出領域の結果が一致しない領域部分は、補正処理に用いる顔領域とはしない。

S1504では、CPU201は、デジタルカメラ100とプリンタ200との顔検出結果の比較後に、補正処理に用いる顔領域を決定する。すなわち、CPU201は、第１の顔検出結果と第２の顔検出結果とが完全に一致する場合は、補正に用いる顔領域を、第１の顔検出結果および第２の顔検出結果にて特定される顔領域とする。一方、第１の顔検出結果と第２の顔検出結果とが完全に一致しない場合、すなわち、第１の顔検出結果および第２の顔検出結果の一方が他方に含まれる場合は、第１の顔検出結果と第２の顔検出結果とが重複する領域を補正処理に用いる顔領域とする。このようにして、CPU201は、第１の顔検出結果と第２の顔検出結果とが一致しているか否かに応じて、補正処理の仕方（ここでは、補正処理に用いる顔領域の特定を基に定める）を決定することができる。
S1505では、CPU201は、S1504にて決定された、顔領域に基づき決定した補正処理の仕方によって実際の補正処理を行う。

また、S1505で実行する補正処理の仕方は、顔領域における明るさ、色調および彩度等の画像の特徴を重要視して決定されるが、信頼度が高い顔領域に基づいて補正処理内容を決定することで、より正確な補正結果を得ることが可能となる。

図１６（a）は、デジタルカメラ100による第１の顔検出結果を示す図であり、図１６（ｂ）は、プリンタ200による第２の顔検出結果を示す図である。図１６（a）、（ｂ）ともに矩形で囲われた領域部分が顔検出の領域1601、1602である。図１６（ｃ）はデジタルカメラ100の第１の検出結果（図１６（a））とプリンタ200の第２の検出結果（図１６（ｂ））から求めた顔領域を重ねて示した図である。

図１６（ｃ）から分かるように、デジタルカメラ100で検出した顔領域1601とプリンタ200で検出した顔領域1602とは、双方で検出した顔の領域に差異がある。この顔領域の差は、デジタルカメラ100とプリンタ200で利用目的の差から検出のためのアルゴリズムが異なることに起因して生じる。
本実施形態においては、デジタルカメラ100とプリンタ200が検出した領域において、双方が重なった領域1603を最終的に補正処理に用いる顔領域結果（補正を施す顔領域）として反映させる。

本実施形態の方法によればデジタルカメラ100とプリンタ200の双方の顔検出結果からより高い精度で顔領域の信頼度が得られるので、より理想に近い処理内容で補正処理を行うことが可能となる。

（その他の実施形態）
本発明は、複数の機器（例えばコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用することも、１つの機器からなる装置（複合機、プリンタ、ファクシミリ装置など）に適用することも可能である。

前述した実施形態の機能を実現するように前述した実施形態の構成を動作させるプログラムを記憶媒体に記憶させ、該記憶媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も上述の実施形態の範疇に含まれる。即ちコンピュータ読み取り可能な記憶媒体も実施例の範囲に含まれる。また、前述のコンピュータプログラムが記憶された記憶媒体はもちろんそのコンピュータプログラム自体も上述の実施形態に含まれる。

かかる記憶媒体としてはたとえばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ―ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。

また前述の記憶媒体に記憶されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作し前述の実施形態の動作を実行するものも前述した実施形態の範疇に含まれる。

本発明の一実施形態に係るダイレクトプリントシステムの概略構成を示すブロック図である。本発明の一実施形態に係るダイレクトプリントシステムの全体の処理を示すフロー図である。本発明の一実施形態に係るデジタルカメラの撮影画像解析時の状態遷移図である。本発明の一実施形態に係るデジタルカメラの撮影条件調整の状態遷移図である。本発明の一実施形態に係る画像データのファイル例であるExifファイルの構造図である。本発明の一実施形態に係る画像データのファイル例であるExifファイルのメイン情報項目例を示す図である。本発明の一実施形態に係る画像データのファイル例であるExifファイルのサブ情報項目例を示す図である。本発明の一実施形態に係る画像データのファイル例であるExifファイルのメーカ独自情報項目例を示す図である。本発明の一実施形態に係る主要被写体(顔)の検出例を示す図である。本発明の一実施形態に係るプリンタの撮影画像解析時の処理を示すフロー図である。本発明の一実施形態に係る、デジタルカメラとプリンタの顔検出結果を用いた処理における処理の重みを求める処理を示すフロー図である。本発明の一実施形態に係る、デジタルカメラとプリンタの顔検出結果と処理の重みの関係を示す図である。本発明の一実施形態に係る、デジタルカメラとプリンタの顔検出結果を用いた処理における顔領域の重みを求める処理を示すフロー図である。（ａ）〜（ｃ）は、デジタルカメラとプリンタの顔検出結果と顔領域の重みの関係を示す図である。本発明の一実施形態に係る、デジタルカメラとプリンタの顔検出結果を用いた処理における補正に用いる顔領域を抽出する処理を示すフロー図である。（ａ）〜（ｃ）は、本発明の一実施形態に係る、デジタルカメラとプリンタの顔検出結果と補正に用いる顔領域の関係を示す図である。

符号の説明

１００デジタルカメラ
２００プリンタ
２０１ＣＰＵ
２０２ＲＯＭ
２０３ＲＡＭ

Claims

画像データに対して該画像データに含まれる主要被写体の検出結果を用いて補正処理を施す画像処理装置であって、
前記画像データに対する第１の主要被写体検出処理により検出された第１の主要被写体の検出結果と、前記第１の主要被写体検出処理とは異なる装置または状況で行われる、前記画像データに対する第２の主要被写体検出処理により検出された第２の主要被写体の検出結果とが一致しているか否かを判定する手段と、
前記判定する手段による判定結果に応じて、前記画像データを補正する補正の強度を決定する手段と
を備えることを特徴とする画像処理装置。
前記決定された補正強度に基づいて前記画像データに対して前記補正処理を施すことを特徴とする請求項１に記載の画像処理装置。
前記決定する手段は、前記判定結果に基づいて前記補正処理に用いる主要被写体の重みを決定することにより、前記補正の強度を決定し、
前記決定された重みに基づいて前記画像データに対して前記補正処理を施すことを特徴とする請求項１に記載の画像処理装置。
前記決定する手段は、前記判定結果に基づいて前記補正処理に用いる主要被写体領域を決定し、
前記決定された主要被写体領域に基づいて前記補正処理を施すことを特徴とする請求項１に記載の画像処理装置。
前記第１の主要被写体検出処理は、前記画像処理装置とは異なる画像処理装置にて行われ、前記第２の主要被写体検出処理は、前記画像処理装置で行われることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
前記第１の主要被写体検出処理および第２の主要被写体検出処理は、前記画像処理装置で行われることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
画像データに対して該画像データに含まれる主要被写体の検出結果を用いて補正処理を施す画像処理方法であって、
前記画像データに対する第１の主要被写体検出処理により検出された第１の主要被写体の検出結果と、前記第１の主要被写体検出処理とは異なる装置または状況で行われる、前記画像データに対する第２の主要被写体検出処理により検出された第２の主要被写体の検出結果とが一致しているか否かを判定する工程と、
前記判定する工程による判定結果に応じて、前記画像データを補正する補正の強度を決定する工程と
を有することを特徴とする画像処理方法。
前記決定された補正強度に基づいて前記画像データに対して前記補正処理を施すことを特徴とする請求項７に記載の画像処理方法。
前記決定する工程は、前記判定結果に基づいて前記補正処理に用いる主要被写体の重みを決定することにより、前記補正の強度を決定し、
前記決定された重みに基づいて前記画像データに対して前記補正処理を施すことを特徴とする請求項７に記載の画像処理方法。
前記決定する工程は、前記判定結果に基づいて前記補正処理に用いる主要被写体領域を決定し、
前記決定された主要被写体領域に基づいて前記補正処理を施すことを特徴とする請求項７に記載の画像処理方法。
前記第１の主要被写体検出処理と前記第２の主要被写体検出処理とは、異なる装置で行われることを特徴とする請求項７乃至１０のいずれかに記載の画像処理方法。
前記第１の主要被写体検出処理および第２の主要被写体検出処理は、同一の装置で行われることを特徴とする請求項７乃至１０のいずれかに記載の画像処理方法。
コンピュータに請求項７乃至１２のいずれかに記載の画像処理方法を実行させるためのコンピュータプログラム。
コンピュータにより読み出し可能なプログラムを格納した記憶媒体であって、請求項１３記載のコンピュータプログラムを格納したことを特徴とする記憶媒体。