JP2010010946A - 画像処理装置及び画像処理方法、プログラム、並びに、コンピュータ読み取り可能な記憶媒体 - Google Patents

Abstract

【課題】デジタルカメラとプリンタの両方に顔領域の検出機能がある場合に画像処理のスピードと画像処理結果の最適化を図ること。
【解決手段】画像データを入力し複数の種類の画像処理から選択された画像処理の種類を判別する（Ｓ１４０１〜１４０２）。判別された画像処理の種類に応じて、画像処理に使用する顔領域を第１の顔領域または第２の顔領域のいずれかに決定する（Ｓ１４０３〜１４０４，１４０６）。使用する顔領域が第２の顔領域に決定されると新たに画像の第２の顔領域を検出する（Ｓ１４０５）。決定されたいずれかの顔領域を使用して画像処理を行う（Ｓ１４０７）。
【選択図】図１４

Description

本発明は画像処理装置及び画像処理方法、プログラム、並びに、コンピュータ読み取り可能な記憶媒体に関する。詳細には、デジタルカメラ等の画像作成装置とプリンタ等の画像出力装置に同じような検出処理を有する場合に、画像処理の種類によって使用する検出結果を切り替える画像処理装置及び方法、該方法のプログラム、該プログラムを記憶した記憶媒体に関する。

写真撮影において、すべての写真が適正に撮影されているとは限らず、撮影状況や撮影対象などにより露出不足、露出過剰、逆光、色かぶり、赤目等の失敗写真となることも多い。伝統的な銀塩フィルムカメラでの撮影では、現像やプリント時にプリントショップで補正を行い、ユーザが気にする必要は少なかった。しかし、近年普及しているデジタルカメラでの撮影では、撮影からプリントまでユーザ自身で行うことができる。そのため上記失敗に対する補正をユーザの環境で行うことが必要になる。そこでアプリケーションやプリンタの製造業者では、撮影された画像データのヒストグラム等を解析し自動的に補正する技術を開発し、アプリケーションやプリンタなどに搭載してきた。

ところで、写真撮影で最も重要なのは人物であり、人物や顔が最適になることが求められる。さらにより良い補正を行うために、画像データ中から顔領域を自動で検出し、検出した顔領域の情報を用いて補正等を行う技術も開発されて搭載されている。

一方、デジタルカメラにおいても撮影時により人物に対して最適な結果が得られるような技術の開発が行われている。例えば、撮影時に顔領域の検出を行い、検出した顔領域にピントを合わせたり、検出した顔領域の露出が最適になるように露出を決定したりしている。

そのためデジタルカメラで撮影時に検出した顔領域を利用した技術が開発され始めている。デジタルカメラ側で検出した顔領域を画像データに付加し、付加された顔領域をプリント時に自動トリミングする際に使用する方法（特許文献１）、デジタルカメラ側で検出した顔領域をプリンタ側での自動補正に使用する方法（特許文献２）が開発されている。

また、デジタルカメラとプリンタ両者に顔検出技術が搭載され、写真撮影からプリントへの一連のワークフローの中で複数の顔検出技術が存在し得る状況に成ってきている。

さらに、顔検出を応用した様々な画像補正、画像加工、画像処理も新たに考えられている。一例として、美肌補正、笑顔検出、人物認識による振り分けなどが挙げられる。

特開２００４−２０７９８７号公報 特開２００７−２１３４５５号公報

特許文献１，２では、プリンタ側では顔領域の検出機能を持たず、デジタルカメラで検出した顔領域をプリンタ側で使用することのみについて考えられている。しかし、顔領域の検出機能のないデジタルカメラでは上記従来技術は使用できないため、プリンタ側での顔領域検出機能は不可欠である。従来技術では、デジタルカメラとプリンタの両方に顔領域の検出機能がある場合について考慮されていない。そのため課題として、デジタルカメラとプリンタの両方に顔領域の検出機能があった場合についての処理フローを決定する必要がある。

検出される顔領域は検出アルゴリズムなどにより異なることがある。例えば、目／鼻／口を含む肌色の領域のみを顔領域としたり、上記顔領域に髪の毛や背景も含む領域を合わせて顔領域としたり、といった違いがある。つまりデジタルカメラの機種によって画像データに付加された顔領域が異なってくる。またプリンタ内で検出される顔領域とデジタルカメラで検出される顔領域も、検出アルゴリズムが異なれば相違する。

例えば検出された顔領域を用いた画像処理の一例として逆光補正処理と赤目補正処理を考える。顔領域を用いた赤目補正処理などは、検出された顔領域内で赤目の検出を行う。目／鼻／口を含む肌色の領域のみの顔領域と髪の毛や背景も含む顔領域のどちらでも、顔領域内に赤目が含まれていれば、両者とも赤目は検出され、検出された顔領域の違いは影響しない。

逆光補正処理では顔領域の明るさを最適にするために顔領域の色分布を解析する。その場合、機器により検出された顔領域の違いがある場合、算出される顔領域の色分布にも違いが出る。色分布が異なると補正量も異なる。目／鼻／口を含む肌色の領域のみの顔領域と髪の毛や背景も含む顔領域を比較すると、髪の毛も含む顔領域のほうが暗部の分布が増え、露出が不足と判定されることがある。特許文献１，２のようにデジタルカメラでの顔領域の検出結果をそのままプリンタでの画像補正に用いた場合、カメラの種類（検出された顔領域の相違）によっては最適な結果が得られないことがある。

このように、特許文献１，２のようにデジタルカメラの検出結果をそのまま利用し画像補正・加工を行った場合を考える。処理の種類によっては、得られる結果も遜色がなくプリンタ側で顔検出を行わないため画像処理のスピードアップが図れる場合と、スピードアップは図れるがカメラの種類によっては最適な結果が得られない場合の２つがある。従来技術は後者の場合が大きな問題となる。

本発明の目的は、カメラの種類によらずにプリンタ側で最適な処理結果が得られるようにすることである。

本発明の上述の課題は、以下に列記する態様の本発明により解決される。

本発明の第１の態様は、入力された画像データに対して対象領域の検出を行う検出手段、及び、該画像データの対象領域に対して選択的に第１または第２の画像処理を行う画像処理手段を備えた画像処理装置であって、前記第１及び第２の画像処理から選択された画像処理を判別する手段を備え、前記画像処理手段は、前記第１の画像処理を行うと判別された場合、前記画像データに予め付加されている撮影情報に基づき、該第１の画像処理を前記画像データの対象領域に対して行い、及び、前記第２の画像処理を行うと判別された場合、該第２の画像処理を前記検出手段により検出した対象領域に対して行うことを特徴とすることができる。

本発明の第２の態様は、画像データの対象領域に対して選択的に第１または第２の画像処理を行う画像処理方法において、前記第１及び第２の画像処理から選択された画像処理を判別する判別ステップ、入力された画像データに対して対象領域の検出を行う検出ステップ、並びに、該画像データの対象領域に対して選択的に前記第１または第２の画像処理を行う画像処理ステップであって、前記判別ステップにおいて前記第１の画像処理を行うと判別された場合、前記画像データに予め付加されている撮影情報に基づき、該第１の画像処理を前記画像データの対象領域に対して行い、及び、前記判別ステップにおいて前記第２の画像処理を行うと判別された場合、該第２の画像処理を前記検出ステップにおいて検出した対象領域に対して行う画像処理ステップを含むことを特徴とすることができる。

上記各態様の本発明により、以下に列記する効果が得られる。

入力された画像データに予め対象領域が付加されている場合と、入力された画像データに対して対象領域の検出を行う場合の両方について、画像処理フローが実現可能となる。

さらに、入力された画像データに異なる検出アルゴリズムによって検出された対象領域が付加されている場合にも、選択された画像処理に応じて使用する対象領域の検出結果を切り替えることができる。そうすることで、上記２つの場合の画像に対する画像処理のスピードアップと画像処理結果の最適化を図ることができる。

（実施形態１）
図１は、本発明を適用し得る画像処理装置であるプリンタ１０１のハードウェア構成の例を示したものである。プリンタ内部には、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、さらに、印刷処理を実行するためのプリンタエンジン１０５を保持している。また、近年では、プリンタにスキャナを搭載した複合機が台頭していることもあり、場合によっては、原稿を読み取るためのスキャナエンジン１０７を備えている場合もある。また、表示装置１０６は、プリントを行う際に用紙、印刷品位などの様々な設定を行うために使用される。１０８はボタン、タッチパネル等のユーザインターフェイス、１０９はパーソナルコンピュータ等との接続するためのインターフェイスを示している。上記デバイスが、システムバスを介して接続されている状態が、プリンタ内部の基本構造である。

なお、この他にもプリンタを構成する要素として様々なものが考えられる。例えば、電源部や、用紙をハンドリングするためのフィーダ部や、ネットワークと直接接続するためのインターフェイスなどである。しかし、それらについては本実施形態では直接言及することはないため、ここでは割愛する。

図２、図３は、本発明で考えられる印刷環境の一例である。図２は、デジタルカメラで撮影した画像データを印刷する形態を示したものである。デジタルカメラ２０１で撮影された画像データを、メモリカード２０２に保存する。メモリカード２０２はプリンタ２０３に接続され、撮影した画像データがプリンタ２０３から印刷される。

図３はパーソナルコンピュータを主とした印刷環境の一例を示した図である。パーソナルコンピュータ３０３はハードディスクを保持している。ハードディスクには、カードリーダ３０２を介してメモリカード３０１内の画像データを保存したり、ルータ３０５を介してインターネット３０６に接続してダウンロードした画像データを保存したり、と様々な経路から入手したデータを保存している。このハードディスクに保存されたデータは、パーソナルコンピュータ３０３で操作することにより、プリンタ３０４から印刷される。

上記のように、本実施形態は、デジタルカメラ等の画像作成装置で作成された画像データをプリンタ等の画像出力装置で印刷等、画像出力する形態とすることができる。

画像作成装置と画像出力装置の組み合わせをデジタルカメラとプリンタとして説明するが、次の組み合わせであっても構わない。スキャナとプリンタ、デジタルカメラとモニタ（画像処理アプリケーション）、モニタ（画像処理アプリケーション）とプリンタなどが考えられる。

以下、実施形態１の画像作成装置に関して説明する。

図４は、デジタルカメラ等の画像作成装置で画像データを作成する際の一連の構成に関して示した図である。撮影時に検出した顔情報を用いて露出等の制御を行い、画像データの作成を行う場合について一実施形態として説明する。画像作成装置において、何らかの顔検出が行われ、検出された顔領域が画像データに付加され保存されることが重要である。そのため、撮影後の画像データに対して顔検出のみを行い検出結果を画像データに付加して保存しても良いし、検出結果を用いて画像データを補正し補正した画像データに検索結果を付加して保存しても良い。

画像作成装置は、撮像部４０１、顔検出部４０２、撮影制御部４０３、画像保存部４０４から構成される。

撮像部４０１は、ＣＣＤなどの撮像素子により被写体を信号値に変換する。

顔検出部４０２は、撮像部４０１で取得したデータ内に顔領域が含まれているか判定及び検出を行う。顔検出方法は、既に提案されているパターンマッチングを利用した手法、ニューラルネットワークによる学習データを利用した手法など、どのような手法により検出してもよい。

図５は、顔検出結果を説明するための図である。画像領域５０１内で、任意のアルゴリズムにより顔検出が行われる。画像領域５０１内に顔領域５０２が検出された場合、顔領域の中心座標（顔中心座標５０３）、顔領域の幅（顔幅ｗ５０４）、顔領域の高さ（顔高ｈ５０５）を検出結果として出力する。この他に回転角度などを出力してもよい。

図４の顔検出部４０２は、撮像部４０１から得られた信号値より、顔領域の中心座標、幅、高さを検出結果として撮像制御部４０３および画像保存部４０４へ出力する。

撮像制御部４０３は、撮像部４０１で得られた信号値および顔検出部４０２で検出された顔領域の情報より最適な撮影条件を決定し撮影制御を行い、画像データを生成する。

制御に用いた露出時間、絞り等の撮影条件は画像データとともに画像保存部４０４へ送られる。

画像保存部４０４は、撮影条件及び顔領域の検出結果をタグ情報として画像データに付加して保存する。

タグ情報に関しては、図６を利用して説明する。

図６は、保存される画像データのデータ構造を示した図である。保存される画像データは、タグ情報部６０１と画像データ部６０２とに分かれる。

画像データ部６０２には、撮影された画像情報が格納されている。タグ情報（撮影情報）６０１は、メイン情報６０３、サブ情報６０４、メーカ独自情報６０５、サムネイル情報６０６に分かれる。

メイン情報６０３は、撮影時の日時や機種名などの撮影に関する情報が格納されている。サブ情報６０４は、画像の圧縮モード、色空間、画素数などの情報が格納されている。メーカ独自情報６０５は、入力装置開発メーカが独自に出力した情報が格納されている。サムネイル情報６０６は、撮影された画像データから作成された縮小画像がプレビュー用として格納されている。

顔検出結果は、メーカ独自情報６０５に格納する。詳細には、顔検出結果である、顔の中心座標６０７、顔の大きさ（顔領域の幅及び高さ）６０８が格納されている。

画像保存部４０４ではこれらタグ情報（撮影情報）を画像データに付加して保存する。

以上が、実施形態１の画像作成装置に関する説明である。

次に上述した画像作成装置の動作手順に関して説明する。図７は、画像作成装置の処理フロー図である。

まず、撮像部４０１により、被写体の信号値を取得する（Ｓ７０１）。顔検出部４０２は、取得した信号値に対して顔検出処理を行い、顔検出情報を取得する（Ｓ７０２）。撮影制御部４０３は、検出した顔領域と信号値を元に撮影条件を決定して撮影し画像データを作成する。また制御に用いた条件を撮影情報として出力する（Ｓ７０３）。画像保存部４０４は、検出した顔領域を含む撮影情報と撮影した画像データを組み合わせて、図６のデータ構造の画像データとして保存する（Ｓ７０４）。

これら一連のフローにより、検出した顔情報を含む撮影情報を付加した画像データが作成される。

図８は、画像作成装置で作成された画像データをプリンタ等の画像出力装置で印刷出力等する際の一連の構成に関して示した図である。

本実施形態の画像出力装置は、画像入力部８０１と、画像処理選択部８０２と、検出器判定部８０３と、顔検出部８０４と、タグ解析部８０５と、画像処理部８０６と、画像印刷部８０７とを含んで構成され、プログラムにしたがって各要素が処理をする。

画像入力部８０１では、予めデジタルカメラで検出された顔領域の情報を含む撮影情報が付加された画像データの読み込みを行う。

画像処理選択部８０２は、画像データに対して行う画像補正・加工処理の選択を行う。これはユーザが明示的に指定しても良いし、印刷設定などに応じてプリンタが自動で選択することも考えられる。

検出器判定部８０３は、選択された画像処理の種類により、デジタルカメラで検出した顔領域を使用するかプリンタ側で新たに検出した顔領域のどちらを使用するか（どちらの検出器を使用するか）判定を行う。

顔検出部８０４では、プリンタ側で画像データを解析し新たに顔領域の検出を行うことが可能である。顔検出方法は、画像作成装置で説明したように、既に提案されているパターンマッチングを利用した手法、ニューラルネットワークによる学習データを利用した手法など、どのような手法であってもよい。

タグ解析部８０５は、デジタルカメラで予め検出され、画像データにタグ情報（撮影情報）として付加された顔領域の検出結果の取得を行う。

画像処理部８０６は、検出器判定部８０３により決定した検出器により検出された顔領域の情報を選択的に用いて画像処理を行う。

画像印刷部８０７は、画像処理部８０６で画像処理された画像の印刷を行う。

検出された顔領域の情報を用いて画像処理部８０６が行う代表的な画像処理として、赤目補正技術と逆光補正技術について説明する。

まず、顔領域を用いた赤目補正技術について説明する。

検出された顔領域の位置情報より器官検出対象領域を決定する。次に、決定された器官検出対象領域に対して器官検出を行う。赤目補正の場合は目の検出を行う。検出された目が赤目であるかどうかを判定し、赤目が自然な色合いの虹彩色に戻すように赤目に対して補正を行う。

図９の目／鼻／口を含む肌色の領域のみを顔領域（第１の顔領域）とする場合、領域内に目を含むため、問題なく目を検出でき、検出された目が赤目ならば赤目補正できる。図１０の髪の毛や背景も含む領域を顔領域（第２の顔領域）とする場合も領域内に目を含むため、問題なく目を検出でき、検出された目が赤目ならば赤目補正できる。このように、赤目補正の処理結果が検出された顔領域の違いにより相違することはない。すなわち、画像処理部８０６が画像入力部８０１からの画像に対して顔検出部８０４による検出結果を用いても、画像入力部８０１からのタグ情報からタグ解析部８０５が取得した検出結果を用いても、赤目補正を最適に行うことができる。

さらに、検出された顔領域に対してマージンを加味して一回り広い領域を器官検出対象領域とすることも可能である。こうすることで、顔検出のアルゴリズムの違いや精度等による検出器による顔領域の違いをさらに吸収できる。

また、器官検出を行わず、検出対象領域内に赤い点が存在しないかを検出し、赤い点部分の特徴を詳細に解析することで、赤目がどうかを判定しても構わない。検出された顔領域の情報を用いて画像処理部８０６が画像処理を行うことが重要である。

次に、顔領域を用いた逆光補正技術について説明する。

検出された顔領域の位置情報より顔領域内のヒストグラムを算出する。ヒストグラムの平均値を算出し、顔領域の輝度とする。それとは別に画像データの全領域に対してもヒストグラムを算出し、画像データの輝度とする。算出した顔領域の輝度と画像データの輝度から顔領域の明るさが最適となるような補正パラメータを決定する。決定したパラメータにより逆光補正を行う。

ところで、図９の目／鼻／口を含む肌色の領域のみを顔領域とする場合、顔領域内のヒストグラムは図１１のようになる。一方、図１０の髪の毛や背景も含む領域を顔領域とする場合、顔領域内のヒストグラムは図１２のようになる。図１２のヒストグラムを見ると、髪の毛を含むため暗部の分布が増加する。２つのヒストグラムは大きく異なる。逆光補正は顔領域の肌色を最適にするためには顔領域の肌色のみのヒストグラムを取得するのが望ましいため、図９の顔領域についてのヒストグラム（図１１）を利用する方が望ましい。そのため、本実施形態においてプリンタで顔検出を行う際は、目／鼻／口を含む肌色領域のみを顔検出部８０４により検出して画像処理部８０６で利用することで、逆光補正の精度を上げる。

上記のように、画像処理によって、検出された顔領域の違いが画像処理結果に大きく関係する画像処理とそうでない画像処理があることがわかる。検出した顔領域の位置情報のみを使用する画像処理（上記赤目補正技術）は、検出結果の違いが画像処理結果に影響を受けにくい。一方検出した顔領域内のヒストグラムを使用する画像処理（上記逆光補正技術）は、検出結果の違いにより画像処理結果が変わってくる。

顔領域の検出結果の違いが画像処理結果に影響しないかまたは影響が小さい画像処理に関しては、処理速度を優先してプリンタ側では顔検出は行わず、タグ解析部８０５で取得したデジタルカメラで検出された顔領域を画像処理部８０６で用いる。このような画像処理は、検出領域の位置情報のみを使用するものが多い。このようなデジタルカメラで検出された顔領域を用いた方が好適な結果が得られる画像処理として上記赤目検出、赤目補正に加えて、口や鼻や目や眉などの器官検出処理、それら器官に対して何らかの補正を行う器官補正等がある。器官補正に関しては、目をつむっていた場合に目を開けたりする補正も考えられる。さらに、器官には含まれないしわ／ほくろ／しみ等の特徴検出、それら特徴を補正する特徴補正も、デジタルカメラで検出された顔領域を用いた方が好適である。さらに、器官などを解析し笑顔を判定する笑顔検出、器官などを解析しその顔が誰であるかを認識する人物認識も、デジタルカメラで検出された顔領域を用いた方が好適である。認識した顔領域を基準にトリミングする自動トリミング技術も、デジタルカメラで検出された顔領域を用いた方が好適である。これらの、顔領域の位置情報依存の画像処理を第１の画像処理と呼ぶ。

一方、検出結果の違いが画像処理結果に影響する画像処理に関しては、画像処理結果を優先して画像処理に最適な検出領域になるようにプリンタ側で顔検出を行いプリンタ側で顔検出部８０４により検出された顔領域を画像処理部８０６で用いる。このような画像処理は、検出領域の色または輝度の分布を解析し補正量を解析するようなものが多い。このように顔検出部８０４により検出された顔領域を用いた方が好適な結果が得られる画像処理として上記の逆光補正に加えて、一般的な露出補正も含まれる。また、被写体のみの露出を制御しそれ以外の露出はほぼ変えない覆い焼き補正なども、プリンタ側で検出した顔領域を用いた方が好適である。さらに、顔などの肌をより綺麗に見えるよう、色味補正や平滑化を行う美肌補正も、プリンタ側で検出した顔領域を用いた方が好適である。これらの、おける色または輝度の分布を解析し補正量を解析する画像処理を第２の画像処理と呼ぶ。

検出器判定部８０３は、上記に基づき、選択された画像処理の種類により、デジカメで検出した顔領域を使用するかプリンタ側で新たに検出した顔領域のどちらを使用するか（どちらの検出器を使用するか）判定を行う。予めプリンタで行う画像処理に関して検出結果の違いにより影響があるかないかを調べておき、画像処理の種類と使用する検出結果をデータベースに保持しておく。これにより、選択された画像処理をデータベースで参照してどちらの検出結果を使用するか判定することが可能である。

データベースの一例を図１３に示す。画像処理の種類と使用する検出器が対応して記載されている。画像処理部８０６では、「プリンタ」と記載された画像処理が選択された場合は顔検出部８０４により新たに検出された顔領域を用い、「デジタルカメラ」と記載された処理が選択された場合はタグ解析部８０５で取得した顔領域を用い、選択された処理を行う。

次に、上記の構成を備えた本実施形態に係る画像出力装置であるプリンタにおける処理手順について、図１４のフローチャートを参照して説明する。

まず、予めデジタルカメラで検出された顔領域を含む撮影情報が付加された画像データを、画像入力部８０１が、図２のメモリカード２０２、または、図３のパーソナルコンピュータ３０３に備えられたハードディスクから読み込む（Ｓ１４０１）。

次に、画像処理選択部８０２で画像データに対して行う画像処理をユーザが選択すると、その選択を受け取る（Ｓ１４０２）。ユーザ選択に替えて、印刷設定などに応じてプリンタが自動で画像処理を選択し、自動選択された処理を判別することもできる。

判定部８０３が、画像データに付加された撮影情報に記録されている顔領域とプリンタ側で新たに顔領域の検出を行い新たに検出した顔領域のどちらを使用するかを、選択された画像処理の種類に基づきデータベースを参照し判定する（Ｓ１４０３，Ｓ１４０４）。

選択された画像処理が顔領域内の色分布等に依存する画像処理であってプリンタで検出した顔領域を使用すると判定した場合、顔検出部８０４は、プリンタ側で画像データを解析し新たに顔領域の検出を行う（Ｓ１４０５）。

一方、選択された画像処理が顔領域の位置情報依存の画像処理であり画像データに付加された撮影情報に記録されている顔領域を利用すると判定した場合、ステップＳ１４０６の処理がされる。すなわち、タグ解析部８０５は、画像データにタグ情報として付加された、デジタルカメラ側検出の顔領域の検出結果を取得する。ここで、デジタルカメラで撮影し検出した顔領域に対してマージンを加えた顔領域を使用することもできる。

画像処理部８０６において、検出器判定部８０３により決定した検出器により検出された顔領域の情報を用いて、選択された画像処理を行う（Ｓ１４０７）。

最後に、画像印刷部８０７において、画像処理された画像の印刷を行う（Ｓ１４０８）。

これら一連のフローにより、検出した顔情報を付加した画像データを画像処理した結果が印刷される。

本実施形態によれば、おおよその顔領域が決まっていればよい器官検出等にはデジタルカメラでの顔検出結果を用いることで、処理時間を短縮できる。また、顔領域内の色の分布等は補正アルゴリズムに最適な顔領域検出を行う必要があるため、デジタルカメラでの未知の性能の検出結果を使用せずにプリンタ側で顔領域検出を行うことで処理精度を向上して最適な処理結果を得ることができる。

（実施形態２）
本実施形態では、メモリカード等に保存された画像データについてなされた顔領域検出と同じような検出処理をプリンタで行う場合、メモリカード等に保存された検出結果をプリンタにおける検出処理の前処理に使用することで、処理内容を削減できる。

プリンタ側で顔領域検出する場合、画像データの全領域に対して顔検出すると処理時間が増大するので、プリンタ側ではデジタルカメラで検出された顔領域を包含する近傍領域に対してのみ顔検出を行うことで全領域に対して顔検出するより処理時間を短縮できる。また、画像処理に応じた顔検出をプリンタ側で行っているので補正精度も維持できる。

本実施形態は実施形態１と同一のハードウェア構成で実施でき、画像作成装置、画像出力装置とも図４，図８に示した構成を備え、図８中の各要素が実施形態１とは別のプログラムにしたがって処理をする。本実施形態に係る画像出力装置の処理フローに関して図１５を用いて説明する。

まず、予めデジタルカメラで検出された顔領域が付加された画像データ、画像入力部８０１が、図２のメモリカード２０２から、または、図３のパーソナルコンピュータ３０３に備えられたハードディスクから読み込む（Ｓ１５０１）。

次に、画像処理選択部８０２で画像データに対して行う画像処理をユーザが選択すると、その選択を受け取る（Ｓ１５０２）。ユーザ選択に替えて、印刷設定などに応じてプリンタが自動で画像処理を選択し、自動選択された処理を判別することもできる。

検出器判定部８０３が、画像データに付加された顔領域を使用するか、またはプリンタ側で新たに顔領域の検出を行い新たに検出した顔領域を使用するかを、選択された画像処理の種類に基づき、データベースを参照して判定する（Ｓ１５０３）。

タグ解析部８０５は、画像データにタグ情報として付加された、デジタルカメラ側で検出された顔領域の検出結果を取得する（Ｓ１５０４）。ここで、デジタルカメラで撮影し検出した顔領域に対してマージンを加えた顔領域を使用することもできる。

ステップＳ１５０５ではステップＳ１５０３における判定結果に応じて処理を分岐する。デジタルカメラで検出した顔領域を使用すると判定した場合はステップＳ１５０４で取得した顔領域の検出結果を利用する。

プリンタで検出した顔領域を使用すると判定した場合、顔検出部８０４は、ステップＳ１５０４で取得した検出結果を前処理に用いて検出対象領域を決定し、デジタルカメラで検出された顔領域を包含する近傍領域について新たに顔領域を検出する（Ｓ１５０６）。

画像処理部８０６において検出器判定部８０３により決定した検出器により検出された顔領域の情報を用いて画像処理を行う（Ｓ１５０７）。

最後に、画像印刷部８０７において画像処理された画像の印刷を行う（Ｓ１５０８）。

＜他の実施形態＞
本発明は上述のように、複数の機器（たとえばホストコンピュータ、インターフェイス機器、リーダ、プリンタ等）から構成されるシステムに適用しても一つの機器（たとえば複写機、ファクシミリ装置）からなる装置に適用してもよい。

また、前述した実施形態の機能を実現するように各種のデバイスを動作させるように該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。

またこの場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。

かかるプログラムコードを格納する記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

さらに供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。

本発明を適用し得る印刷装置の内部のハードウェア構成例を示すブロック図である。 本発明が実施される、印刷装置の接続環境の一例を示す図である。 本発明が実施される、印刷装置の接続環境の別の例を示す図である。 本発明の実施形態における画像作成に係るシステムブロック図である。 タグ情報内に含まれる顔情報の説明図である。 画像タグ情報の説明図である。 本発明の実施形態における画像作成のフローチャートである。 本発明の実施形態における画像出力に係るシステムブロック図である。 本発明の実施形態における顔領域の一例（目／鼻／口を含む肌色の領域のみの顔領域）を説明する説明図である。 本発明の実施形態における顔領域の別の例（図９の顔領域に加え髪の毛／背景を含む顔領域）を説明する説明図である。 本発明の実施形態における、図９の顔領域のヒストグラムである。 本発明の実施形態における、図１０の顔領域のヒストグラムである。 本発明の実施形態における画像処理と使用する検出器の対応データベースを説明する説明図である。 本発明の実施形態１における画像出力の処理手順を示すフローチャートである。 本発明の実施形態２における画像出力の処理手順を示すフローチャートである。

符号の説明

１０１：プリンタ
１０２：ＣＰＵ
１０３：ＲＯＭ
１０４：ＲＡＭ
１０５：プリンタエンジン
１０６：表示部
１０７：スキャナエンジン
１０８：ユーザインターフェイス
１０９：シリアルＩＦ
１１０：外部機器
２０１：デジタルカメラ
２０２：メモリカード
２０３：プリンタ
３０１：デジタルカメラ
３０２：カードリーダ
３０３：パーソナルコンピュータ
３０４：プリンタ
３０５：ルータ
３０６：インターネット

Claims (14)

1. 入力された画像データに対して対象領域の検出を行う検出手段、及び、該画像データの対象領域に対して選択的に第１または第２の画像処理を行う画像処理手段を備えた画像処理装置であって、
   前記第１及び第２の画像処理から選択された画像処理を判別する手段を備え、
   前記画像処理手段は、前記第１の画像処理を行うと判別された場合、前記画像データに予め付加されている撮影情報に基づき、該第１の画像処理を前記画像データの対象領域に対して行い、及び、前記第２の画像処理を行うと判別された場合、該第２の画像処理を前記検出手段により検出した対象領域に対して行うことを特徴とする画像処理装置。
2. 前記第１の画像処理は前記対象領域における位置情報のみを使用する画像処理であり、前記第２の画像処理は前記対象領域における色または輝度の分布を解析し補正量を解析する画像処理であることを特徴とする請求項１に記載の画像処理装置。
3. 前記対象領域は顔領域であることを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の画像処理は、赤目検出、赤目補正、器官検出、器官補正、特徴検出、特徴補正、笑顔検出、人物認識、自動トリミングのいずれかであること特徴とする請求項３に記載の画像処理装置。
5. 前記第２の画像処理は、露出補正、逆光補正、美肌補正、覆い焼き補正のいずれかであること特徴とする請求項３に記載の画像処理装置。
6. 前記検出手段は、前記予め付加されている対象領域を利用して検出を行うことを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 画像データの対象領域に対して選択的に第１または第２の画像処理を行う画像処理方法において、
   前記第１及び第２の画像処理から選択された画像処理を判別する判別ステップ、
   入力された画像データに対して対象領域の検出を行う検出ステップ、並びに、
   該画像データの対象領域に対して選択的に前記第１または第２の画像処理を行う画像処理ステップであって、前記判別ステップにおいて前記第１の画像処理を行うと判別された場合、前記画像データに予め付加されている撮影情報に基づき、該第１の画像処理を前記画像データの対象領域に対して行い、及び、前記判別ステップにおいて前記第２の画像処理を行うと判別された場合、該第２の画像処理を前記検出ステップにおいて検出した対象領域に対して行う画像処理ステップ
   を含むことを特徴とする画像処理方法。
8. 前記第１の画像処理は前記対象領域における位置情報のみを使用する画像処理であり、前記第２の画像処理は前記対象領域における色または輝度の分布を解析し補正量を解析する画像処理であることを特徴とする請求項７に記載の画像処理方法。
9. 前記対象領域は顔領域であることを特徴とする請求項８に記載の画像処理方法。
10. 前記第１の画像処理は、赤目検出、赤目補正、器官検出、器官補正、特徴検出、特徴補正、笑顔検出、人物認識、自動トリミングのいずれかであること特徴とする請求項９に記載の画像処理方法。
11. 前記第１の画像処理は、露出補正、逆光補正、美肌補正、覆い焼き補正のいずれかであること特徴とする請求項９に記載の画像処理方法。
12. 前記検出ステップでは、前記予め付加されている対象領域を利用して検出を行うことを特徴とする請求項７乃至１１のいずれか一項に記載の画像処理方法。
13. コンピュータに、画像データの対象領域に対して選択的に第１または第２の画像処理を行う画像処理方法を実行させるためのプログラムであって、該画像処理方法が、
    前記第１及び第２の画像処理から選択された画像処理を判別する判別ステップ、
    入力された画像データに対して対象領域の検出を行う検出ステップ、並びに、
    該画像データの対象領域に対して選択的に前記第１または第２の画像処理を行う画像処理ステップであって、前記判別ステップにおいて前記第１の画像処理を行うと判別された場合、前記画像データに予め付加されている撮影情報に基づき、該第１の画像処理を前記画像データの対象領域に対して行い、及び、前記判別ステップにおいて前記第２の画像処理を行うと判別された場合、該第２の画像処理を前記検出ステップにおいて検出した対象領域に対して行う画像処理ステップ
    を含むことを特徴とするプログラム。
14. コンピュータに、画像データの対象領域に対して選択的に第１または第２の画像処理を行う画像処理方法を実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体であって、該画像処理方法が、
    前記第１及び第２の画像処理から選択された画像処理を判別する判別ステップ、
    入力された画像データに対して対象領域の検出を行う検出ステップ、並びに、
    該画像データの対象領域に対して選択的に前記第１または第２の画像処理を行う画像処理ステップであって、前記判別ステップにおいて前記第１の画像処理を行うと判別された場合、前記画像データに予め付加されている撮影情報に基づき、該第１の画像処理を前記画像データの対象領域に対して行い、及び、前記判別ステップにおいて前記第２の画像処理を行うと判別された場合、該第２の画像処理を前記検出ステップにおいて検出した対象領域に対して行う画像処理ステップ
    を含むことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images