JP2009027425A - 画像処理装置、画像処理方法及びそのプログラム - Google Patents

Abstract

【課題】複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。
【解決手段】プリンタは、画像データの顔領域を検出し（Ｓ１００）、顔領域の数を出力枚数として設定し（Ｓ１２０）、この顔領域の状態としてピント度合いＦＣと逆光度合いＡＬとを検出する（Ｓ１６０，Ｓ１９０）。そして、顔領域が複数あるときに、顔領域の状態に基づきこの顔領域を補正する方法としてピンぼけ補正と逆光補正とを選択し、選択した各々の補正のいずれかを画像全体に実行する処理を、印刷設定枚数Ｐの数の画像データに別々に実行し、この印刷設定枚数Ｐの補正後の画像を印刷出力する。このように、顔領域の数に基づいて出力枚数を設定するから、ユーザが印刷枚数を設定しなくてもよい。また、顔領域に基づき補正されるから、より適した印刷出力結果を得ることが可能である。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法及びそのプログラムに関する。

従来、画像処理装置としては、「ピンぼけ」「単一色」「手ぶれ」などにより印刷に適したものであるか否かを画像データを解析して判定し、その判定結果を画面上に表示させ、これを確認したユーザが印刷を実行するか否かを入力し、この入力に基づいて画像データの印刷処理又は印刷中止を行うことにより、印刷処理を実行すべきか否かを選別することができるものが提案されている（例えば、特許文献１参照）。
特開２００５−６５２６６号公報

しかしながら、この特許文献１に記載された画像処理装置では、画像全体での印刷に適したものであるかを判定するものであり、複数の人物が写っている画像データを印刷処理するような場合について、画像に含まれる複数の人物の各々の状態については考慮されていなかった。また、このような場合には、ユーザは、複数の被写体の人数に応じた複数の印刷物を必要とすることがあるが、印刷指示する際に印刷枚数を指定する必要があり、ユーザの手間がかかることがあった。

本発明は、このような課題に鑑みなされたものであり、複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データに含まれる顔領域に対してより適した出力結果を得ることができる画像処理装置、画像処理方法及びそのプログラムを提供することを目的とする。

本発明は、上述の目的を達成するために以下の手段を採った。

本発明の画像処理装置は、
画像を出力可能な画像出力手段と、
画像データに含まれている顔領域を検出する領域検出手段と、
前記検出した顔領域の状態を検出する状態検出手段と、
前記検出した顔領域が複数あるときに、前記状態検出手段が検出した顔領域の状態に基づいて少なくとも該顔領域を補正する補正実行手段と、
前記領域検出手段が検出した顔領域の数を出力数として設定し、該設定した出力数の前記補正後の画像を出力するよう前記画像出力手段を制御する制御手段と、
を備えたものである。

この画像処理装置では、画像データに含まれている顔領域を検出し、検出した顔領域の状態を検出する。そして、検出された顔領域が複数あるときに、顔領域の状態に基づいてこの顔領域を補正する補正方法を選択し、少なくともこの顔領域にこの選択した補正を実行し、検出した顔領域の数を出力数として設定し、この設定した出力数の補正後の画像を出力する。このように、検出した顔領域の数に基づいて出力数を設定するから、複数枚数の画像データを出力する際のユーザの手間をより低減することができる。また、顔領域の状態に応じた補正を少なくともこの顔領域に実行するから、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。このとき、前記補正実行手段は、前記検出した顔領域の状態に基づいて該顔領域を補正する補正方法を選択し少なくとも該顔領域に該選択した補正を実行するものとしてもよい。

本発明の画像処理装置において、前記状態検出手段は、前記前記画像データに含まれている顔領域のピントが合っている度合いを示すピント度合いを検出する手段であり、前記補正実行手段は、前記状態検出手段が検出した顔領域のピント度合いに基づいて少なくとも該顔領域にピントぼけ補正を実行する手段であるものとしてもよい。こうすれば、ピントが合っていない顔領域に対してピントぼけ補正を実行することにより、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。このとき、前記ピント度合いに基づいて前記ピントぼけ補正を実行するに際して、前記検出したピント度合いが経験的に定められた画像に適した所定値以下であるときに前記ピントぼけ補正を前記顔領域に対して実行するものとしてもよい。

本発明の画像処理装置において、前記状態検出手段は、前記前記画像データに含まれている顔領域が逆光状態であるか否かを検出する手段であり、前記補正実行手段は、前記状態検出手段が検出した顔領域の状態に基づいて少なくとも該顔領域に逆光補正を実行する手段であるものとしてもよい。こうすれば、逆光状態の顔領域に対して逆光補正を実行することにより、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。このとき、前記逆光状態に基づいて前記逆光補正を実行するに際して、前記検出した逆光度合いが経験的に定められた画像に適した所定値以上であるときに前記逆光補正を前記顔領域に対して実行するものとしてもよい。

本発明の画像処理装置において、前記補正実行手段は、前記画像データに含まれる複数の顔領域の各々に基づいた補正のいずれかを前記画像全体に実行する処理を前記検出された顔領域の数の画像データに別々に実行する手段であるものとしてもよい。こうすれば、各々の顔領域に対して一層適した出力結果を得ることができる。このとき、前記制御手段は、前記画像出力手段が出力するいずれの画像がいずれの顔領域に対して補正が実行されているのかの情報を出力するよう前記画像出力手段を制御する手段であるものとしてもよい。こうすれば、ユーザの手間をより低減し、より適した出力結果を得るに際して、ユーザは出力された情報を利用して出力結果と顔領域との対応関係を認識することができる。

あるいは、本発明の画像処理装置において、前記補正実行手段は、前記画像データに含まれる複数の顔領域の各々に基づいた補正のすべてを前記画像全体に実行する手段であり、前記制御手段は、前記設定した出力数の前記補正後の画像を出力するよう前記画像出力手段を制御する手段であるものとしてもよい。こうすれば、同じ補正を行った画像が設定された出力数、出力されるから、補正された顔領域と出力結果との対応関係を確認するユーザの手間を低減することができる。このとき、前記補正実行手段は、前記選択した補正のすべてを前記画像全体に実行するに際して、平均的な補正を前記画像全体に実行するものとしてもよい。

本発明の画像処理装置は、画像データに含まれている顔領域の状態に基づいて補正を実行する自動補正モードを設定可能なモード設定手段、を備え、前記補正実行手段は、前記モード設定手段によって前記自動補正モードが設定された場合、前記状態検出手段が検出した顔領域の状態に基づいて少なくとも該顔領域に補正を実行する手段であるものとしてもよい。こうすれば、ユーザの望むときに、複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。

本発明の画像処理装置において、前記制御手段は、前記設定された出力数に関する情報を出力するよう前記画像出力手段を制御する手段であるものとしてもよい。こうすれば、ユーザの手間をより低減し、より適した出力結果を得るに際して、出力数の情報をユーザが認識することができる。

本発明の画像処理装置において、前記画像出力手段は、印刷媒体に画像を印刷出力する印刷出力手段であるものとしてもよい。こうすれば、印刷媒体に印刷出力された画像をユーザが利用することができる。また、前記画像出力手段は、表示画面に画像を表示出力する表示出力手段であるものとしてもよい。こうすれば、表示画面に表示出力された画像をユーザは視認することができる。

本発明の画像処理装置は、前記設定された画像の出力数を修正可能な出力数修正手段、を備え、前記制御手段は、前記出力数修正手段によって修正された出力数の画像を出力するよう前記画像出力手段を制御する手段であるものとしてもよい。こうすれば、ユーザの意向に沿った出力数の画像の出力を実行することができる。

本発明の画像処理方法は、
コンピュータソフトウエアによる画像処理方法であって、
（ａ）画像データに含まれている顔領域を検出する領域検出手段と、
（ｂ）前記ステップ（ａ）で検出した顔領域の状態を検出するステップと、
（ｃ）前記ステップ（ａ）で検出された顔領域が複数あるときに、前記ステップ（ｂ）で検出した顔領域の状態に基づいて少なくとも該顔領域に補正を実行するステップと、
（ｄ）前記ステップ（ａ）で検出した顔領域の数を出力数として設定し、該設定した出力数の前記ステップ（ｃ）での補正後の画像を出力するステップと、
を含むものである。

この画像処理方法では、画像データに含まれている顔領域を検出し、検出した顔領域の状態を検出する。そして、検出された顔領域が複数あるときに、顔領域の状態に基づいてこの顔領域を補正する補正方法を選択し、少なくともこの顔領域にこの選択した補正を実行し、検出した顔領域の数を出力数として設定し、この設定した出力数の補正後の画像を出力する。このように、検出した顔領域の数に基づいて出力数を設定するから、複数枚数の画像データを出力する際のユーザの手間をより低減することができる。また、顔領域の状態に応じた補正を少なくともこの顔領域に実行するから、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。なお、この画像処理方法において、上述した画像処理装置の種々の態様を採用してもよいし、また、上述した画像処理装置の各機能を実現するようなステップを追加してもよい。

本発明のプログラムは、上述した画像処理方法の各ステップを１又は複数のコンピュータに実現させるためのものである。このプログラムは、コンピュータが読み取り可能な記録媒体（例えばハードディスク、ＲＯＭ、ＦＤ、ＣＤ、ＤＶＤなど）に記録されていてもよいし、伝送媒体（インターネットやＬＡＮなどの通信網）を介してあるコンピュータから別のコンピュータへ配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピュータに実行させるか又は複数のコンピュータに各ステップを分担して実行させれば、上述した画像処理方法の各ステップが実行されるため、この画像処理方法と同様の作用効果が得られる。

次に、本発明を実施するための最良の形態を図面を用いて説明する。図１は、本発明を具現化した一実施形態であるプリンタ２０の構成の概略を示す構成図である。プリンタ２０は、装置全体の制御を司るコントローラ２１と、携帯用の記憶媒体であるメモリカード１２をスロット２５ａに装着・取外し可能であるリーダライタ２５と、記録紙Ｓへ画像を印刷処理する印刷機構２６と、接続された外部機器との間で情報の入出力が可能なインタフェース（Ｉ／Ｆ）２８と、ユーザへ情報を表示可能でありユーザの指示を入力可能である操作パネル３０と、を備えている。コントローラ２１やリーダライタ２５、印刷機構２６、Ｉ／Ｆ２８、操作パネル３０は、バス２９によって電気的に接続されている。コントローラ２１は、ＣＰＵ２２を中心とするマイクロプロセッサとして構成されており、情報を記憶消去可能であり各種処理プログラムを記憶したフラッシュＲＯＭ２３と、一時的にデータを記憶するＲＡＭ２４とを備えている。印刷機構２６は、図示しないが、各色のインクに圧力をかけ、この加圧されたインクを記録紙Ｓに吐出して印刷処理を実行するインクジェット方式の機構である。なお、インクへ圧力をかける機構は、圧電素子の変形によるものとしてもよいしヒータの熱による気泡の発生によるものとしてもよい。操作パネル３０は、ユーザがプリンタ２０に対して各種の指示を入力するためのデバイスであり、各種の指示に応じた文字や画像が表示されるカラー液晶パネルにより構成された表示部３２や、各種操作を行う操作部３４が設けられている。操作部３４には、ユーザが処理や文字等を選択するカーソルなどを移動させるときに押下されるカーソルキー３４ａや処理選択などを決定するときに押下される決定キー３４ｂ、印刷枚数を変更する際に押下される枚数設定キー３４ｃなどが配置されている。メモリカード１２は、データの書き込み及び消去可能な不揮発性のメモリであり、デジタルカメラなどの撮影装置により撮影された複数の画像ファイルなどが保存されている。

次に、こうして構成された本実施形態のプリンタ２０の動作、まず、印刷モードなどを設定する動作について説明する。プリンタ２０では、集合写真など１枚の画像に複数の人物が写っているときに、その人物の写っている状態の各々に応じて画像の補正を自動で実行する自動補正モードが設けられている。自動補正モードを実行するには、ユーザが予めセットアップ処理の一つとして自動補正モードの設定をオンしておく必要がある。まず、ユーザは、カーソルキー３４ａを操作して設定画面８０を表示部３２に表示させる。図２は、表示部３２に表示される設定画面８０の一例を表す説明図である。設定画面８０には、自動補正モード入力欄８２のほか、印刷用紙の種類を入力する用紙種類入力欄、縁無し印刷の有無を入力するレイアウト入力欄、印刷の品質を入力する品質入力欄、赤目補正の有無を入力する赤目補正入力欄などが含まれている。自動補正モードの設定を行う場合には、カーソルキー３４ａを上下方向に操作してフォーカスフレーム８１を「複数人画像の自動補正」に合わせ、カーソルキー３４ａを左右方向に操作することにより「する」や「しない」を選択することにより行う。なお、設定画面８０で設定された各種設定値は、フラッシュＲＯＭ２３の所定領域に格納される。

次に、メモリカード１２に記憶された画像を印刷する際の動作について説明する。まずユーザは、カーソルキー３４ａを操作して印刷する画像を表示部３２へ表示させ、決定キー３４ｂを押下する。図３は、コントローラ２１のＣＰＵ２２により実行される画像補正印刷処理ルーチンの一例を表すフローチャートである。このルーチンは、フラッシュＲＯＭ２３に記憶され、自動補正モードを実行するに設定されると共に決定キー３４ｂの押下により印刷画像が選択されたあとＣＰＵ２２により実行される。図４は、表示部３２に表示される画像表示画面８４の一例を表す説明図である。ここでは、説明の便宜のため、自動補正モードを実行すると設定されており、画像表示画面８４の画像データを印刷対象の画像データとする場合について主に説明する。この画像表示画面８４の画像には、被写体のメンバーのうち人物８４ａが逆光状態で写っており、被写体のメンバーのうち人物８４ｂがピントが合っていない状態で写っているものとする。

このルーチンを開始すると、ＣＰＵ２２は、まず、印刷指示された画像データに含まれる人物の顔領域を検出する処理を実行する（ステップＳ１００）。ここでは、肌色に指定した色と近い色を持つ画像データに含まれる画素を肌色画素として抽出し、この抽出した肌色画素が、例えば顔に相当する形状で且つ所定の面積を占めている領域を求め、更に、求めた肌色画素の領域の中央やや上部に肌色画素の領域よりも輝度値の低い領域を目の領域として抽出し、抽出した両目の下側の範囲内で肌色画素の集合領域よりも輝度値の低い領域を口の領域として抽出し、目及び口の領域が抽出されたときにこの肌色領域を顔領域として検出するものとした。この肌色の抽出は、例えば、肌色を他の色と区別するための色空間上で、予め肌色の範囲を定めておき、各画素の色がこの定めた範囲に入っているか否かを判定することにより行ってもよい。また、予め肌色画素値に適切な範囲を設定しておき、画像データを色相、彩度及び輝度の色空間に変換し、カラー画像の所定の範囲毎に平均輝度を算出し、算出した平均輝度が上記肌色画素値の範囲に含まれるか否かに基づいて肌色画素の領域の抽出を行うものとしてもよい。このとき、ニューラルネットワークによる処理や、画像内の形状を利用した処理などの種々の処理によって抽出してもよい。なお、検出した顔領域の画像データにおける各々の位置は、ＲＡＭ２４の所定領域に記憶されるものとした。

顔領域を検出すると、ＣＰＵ２２は、検出した顔領域の各々に値１から順に番号を付与すると共に、検出した顔領域の総数ＦＮを取得する（ステップＳ１１０）。この顔領域への番号の付与は、左上の端部の画素をＸ＝０、Ｙ＝０の注目画素とし、左側から右側、上側から下側へ向かって順番にこの注目画素を移動させ、この注目画素を含むことになった顔領域から順番に番号を付与するものとした。次に、ＣＰＵ２２は、検出した顔領域総数ＦＮに基づいて印刷部数である印刷設定枚数Ｐを設定する（ステップＳ１２０）。

続いて、ＣＰＵ２２は、顔領域総数ＦＮが２以上あるか否かを判定する（ステップＳ１３０）。顔領域総数ＦＮが２以上ない、即ち、被写体の人物が１人以下であるときには、ＣＰＵ２２は、印刷処理を実行し（ステップＳ１４０）、このルーチンを終了する。ここでは、顔領域総数ＦＮが１以下のときには、印刷設定枚数Ｐに値１をセットし、顔領域総数ＦＮが２以上のときには、印刷設定枚数Ｐに顔領域総数ＦＮをセットする、即ち顔領域の数だけ印刷するものとした。印刷処理では、ＣＰＵ２２は、画像データをビットマップイメージへＲＡＭ２４の印刷バッファ内で展開し、展開した展開データを記録紙Ｓに印刷するよう印刷機構２６を制御する。例えば、ＣＰＵ２２は、駆動モータを駆動して供給ローラなどを回転させて記録紙Ｓをプラテン上の印刷可能領域へ搬送し、キャリッジモータを駆動しキャリッジをキャリッジ移動方向に移動させながら着色剤としてのインクを展開データに基づいて記録紙Ｓへ吐出する処理を行う。

一方、顔領域総数ＦＮが２以上ある、即ち、被写体の人物が２人以上であるときには、ＣＰＵ２２は、ターゲットとなる顔領域の番号である顔領域番号Ｎに値１をセットする（ステップＳ１５０）。次に、ＣＰＵ２２は、顔領域番号Ｎの顔領域のピント度合いＦＣを算出する処理を実行する（ステップＳ１６０）。ここで、ピント度合いＦＣの算出処理は、現在のターゲットの顔領域に高周波数成分を抽出するための画像処理であるハイパスフィルタ処理を行い、抽出された高周波成分の積算値をピント度合いＦＣとして求めることにより行う。一般に、ピントがより正確に合っているほど画像に含まれる高周波成分は増加することから、この高周波成分をピント度合いＦＣとして求めるのである。なお、ハイパスフィルタ処理は、周知の技術であるからこれ以上の説明を省略する。このように、ピント度合いＦＣを求めると、ＣＰＵ２２は、ピント度合いＦＣが所定の閾値ＦＣｒｅｆを超えるか否かを判定する（ステップＳ１７０）。この閾値ＦＣｒｅｆは、撮影された人物の顔のピントが合っている印刷結果が得られるような値に経験的に定められている。ピント度合いＦＣが所定の閾値ＦＣｒｅｆを超えていないときには、ＣＰＵ２２は、現在の顔領域に対しては補正が必要であるものとみなし、この顔領域番号Ｎの顔領域にピンぼけ補正を対応付けてＲＡＭ２４の所定領域に記憶させる（ステップＳ１８０）。なお、ここでは、人物８４ｂがピンぼけしているため、ピンぼけ補正が必要であると記憶されるものとした（図４参照）。

一方、ステップＳ１８０のあと、または、ステップＳ１７０でピント度合いＦＣが閾値ＦＣｒｅｆを超えていたときには、ＣＰＵ２２は、顔領域番号Ｎの顔領域の逆光度合いＡＬを算出する処理を実行する（ステップＳ１９０）。ここで、逆光度合いＡＬの算出処理は、顔領域の輝度分布特性と、顔領域以外の所定領域の輝度分布特性とを求め、顔領域の輝度分布特性を更に各輝度領域（例えば０〜２５５の輝度のうち、０〜５０の領域など）ごとに分け、逆光画像に基づいて予め経験的に求めた輝度分布特性に対する各輝度領域の類似度を逆光度合いＡＬとして計算するものとした。一般に、逆光画像では、明るい領域と暗い被写体の領域とがあり、その輝度分布は、輝度の低い部分と輝度の高い部分とで２つのピークを有するという特徴を示す。この特徴を用いて、逆光度合いＡＬを求めるものとした。なお、逆光画像の判定については、特開２００５−４９９５５に詳しく記載されているから、ここではその説明を省略する。逆光度合いＡＬを算出すると、ＣＰＵ２２は、逆光度合いＡＬが所定の閾値ＡＬｒｅｆを下回っているか否かを判定する（ステップＳ２００）。この閾値ＡＬｒｅｆは、撮影された人物を印刷したときに暗い画像にならないような値に経験的に定められて、フラッシュＲＯＭ２３に記憶されている。逆光度合いＡＬが所定の閾値ＡＬｒｅｆを下回っていないとき（即ち、逆光画像に対して類似度が高いとき）には、現在の顔領域に対しては補正が必要であるものとみなし、ＣＰＵ２２は、この顔領域番号Ｎの顔領域に逆光補正を対応付けてＲＡＭ２４の所定領域に記憶させる（ステップＳ２１０）。なお、ここでは、人物８４ａが逆光度合いＡＬが高く逆光補正が必要であると記憶されるものとした（図４参照）。

ステップＳ２１０のあと、または、ステップＳ２００で逆光度合いＡＬが所定の閾値ＡＬｒｅｆを下回っているときには、ＣＰＵ２２は、顔領域番号Ｎが顔領域総数ＦＮであるか否かを判定する（ステップＳ２２０）。顔領域番号Ｎが顔領域総数ＦＮでないときには、上記処理を実行していない顔領域がまだあるから、ＣＰＵ２２は、顔領域番号Ｎを値１インクリメントし（ステップＳ２３０）、ステップＳ１６０以降の処理を繰り返し実行する。即ち、ピント度合いＦＣが閾値ＦＣｒｅｆを超えていない顔領域に対してピンぼけ補正を実行し、逆光度合いＡＬが閾値ＡＬｒｅｆ以上である顔領域に対しては逆光補正を実行する旨の情報をＲＡＭ２４に記憶させる処理を繰り返すのである。

一方、ステップＳ２２０で顔領域番号Ｎが顔領域総数ＦＮであるときには、ＣＰＵ２２は、表示部３２へ、補正処理を実行しない顔領域と補正処理を実行する顔領域とを異なる態様で表示出力すると共に、印刷設定枚数Ｐを表示出力させ（ステップＳ２４０）、補正する印刷物の印刷順番を顔領域に対応づけて画像データと共に表示部３２へ表示出力する（ステップＳ２５０）。図５は、表示部３２へ表示する印刷確認画面８６の一例の説明図である。この印刷確認画面８６では、顔領域として検出された領域のうち、補正処理を実行しない顔領域を白色の楕円で囲む未補正表示部８７ａと共に、補正処理を実行する顔領域を未補正表示部８７ａと異なる色の楕円で囲む補正実行表示部８７ｂとを画像表示画面８４に重ね合わせて表示するものとした。また、この印刷確認画面８６には、検出した顔領域の総数ＦＮを表示する情報表示欄８８が中央下部に設けられている。更に、印刷確認画面８６では、いずれの顔領域に対して補正処理を行った印刷物が何番目の印刷物であるかを示すメッセージが印刷順番表示部８６ａ〜８６ｄに表示されている。このため、どの顔領域に補正が行われ、その補正された印刷物がどれであるのかをユーザが把握しやすい。なお、印刷順番表示部８６ａ〜８６ｄ、未補正表示部８７ａ及び補正実行表示部８７ｂは、ステップＳ１１０でＲＡＭ２４に記憶された顔領域の画像データにおける各々の位置を利用してＣＰＵ２２が作成するものとした。

続いて、ＣＰＵ２２は、顔領域番号Ｎの値１である顔領域から順に、ＲＡＭ２４に記憶されている顔領域の補正方法を実行して印刷データを作成する（ステップＳ２６０）。ここでは、顔領域に対応づけられてピンぼけ補正が記憶されているときには、画像データ全体に対してピンぼけ補正としてのシャープネス処理を実行するものとした。また、顔領域に対応づけられて逆光補正が記憶されているときには、画像データ全体に対して、入出力値のトーンカーブを用いて画像データの低輝度成分の明度（輝度）を増加させる補正と共に色調を鮮やかな傾向とする補正を行うものとした。そして、ＣＰＵ２２は、作成した印刷データをステップＳ１４０と同様の印刷処理を実行し（ステップＳ２７０）、印刷設定枚数Ｐの印刷が終了したか否かを判定し（ステップＳ２８０）、印刷設定枚数Ｐの印刷が終了していないときには、ステップＳ２６０以降の処理を実行する。ここでは、人物８４ｂに対してピンぼけ補正を実行した画像を１枚目に作成して印刷し、補正を行わない画像を２，３枚目に印刷し、人物８４ａに対して逆光補正を実行した画像を４枚目に作成して印刷するものとした。そして、ＣＰＵ２２は、ステップＳ２８０で印刷設定枚数Ｐの印刷が終了したときには、このルーチンを終了する。このように、逆光状態で写っている人物８４ａにはその人に適した補正を画像全体に施して印刷を実行し、ピンぼけ状態で写っている人物８４ｂには、その人に適した補正を画像全体に施して印刷を実行するのである。

ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態の印刷機構２６及び表示部３２が本発明の画像出力手段に相当し、このうち印刷機構２６が印刷出力手段に相当し、コントローラ２１が領域検出手段、状態検出手段、補正実行手段及び制御手段に相当し、操作パネル３０及びコントローラ２１がモード設定手段に相当する。なお、本実施形態では、プリンタ２０の動作を説明することにより本発明の画像処理方法の一例も明らかにしている。

以上詳述した本実施形態のプリンタ２０によれば、画像データに含まれている顔領域を検出し、検出した顔領域の状態としてピント度合いＦＣと逆光度合いＡＬとを検出する。そして、検出された顔領域が複数あるときに、顔領域の状態に基づいてこの顔領域を補正する補正方法としてピンぼけ補正と逆光補正とを選択し、検出した顔領域の数を印刷設定枚数Ｐとして設定し、選択した各々の補正のいずれかを画像全体に実行する処理を、印刷設定枚数Ｐの数の画像データに別々に実行し、この印刷設定枚数Ｐの補正後の画像を印刷出力する。このように、検出した顔領域の数に基づいて印刷設定枚数Ｐを設定するから、複数枚数の画像データを出力する際のユーザの印刷枚数設定の手間をより低減することができる。また、顔領域の状態に応じた補正、例えば、ピントが合っていない顔領域に対してピンぼけ補正を実行したり、逆光状態の顔領域に対して逆光補正を実行したりするため、画像データに含まれる顔領域に対してより適した印刷出力結果を得ることができる。また、記録紙Ｓに印刷出力された画像をユーザが利用することができる。更に、画像の補正を個別の印刷物に対して行うから、各々の顔領域に対して一層適した印刷出力結果を得ることができる。更に、いずれの印刷物がいずれの顔領域に対して補正が実行されているのかの情報として印刷順番表示部８６ａなどを表示出力するため、ユーザは表示出力された情報を利用して印刷出力結果と顔領域との対応関係を認識することができる。更にまた、自動補正モードが設定されたあと、顔領域の状態に基づいて顔領域を補正する補正方法を選択して実行するため、ユーザの望むときに、複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。そして、印刷設定枚数Ｐを情報表示欄８８により表示出力するため、出力数の情報をユーザが認識することができる。

なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

例えば、上述した実施形態では、逆光度合いＡＬが閾値ＡＬｒｅｆ以上であるものに対して、それぞれピンぼけ補正と逆光補正とを行うものとしたが、これらのうちいずれか一方を省略してもよい。こうしても、複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データの出力の無駄をより低減することはできる。また、これに加えて又はこれに代えて、その他の補正処理を実行するものとしてもよい。

上述した実施形態では、各顔領域に対して選択した各々の補正のいずれかを画像全体に実行する処理を、印刷設定枚数Ｐの数の画像データに別々に実行し、この印刷設定枚数Ｐの補正後の画像を印刷出力するものとしたが、各顔領域に対して選択した補正のすべてを画像全体に実行し、設定した印刷設定枚数Ｐの補正後の画像を印刷出力するものとしてもよい。こうすれば、同じ補正を行った画像が印刷設定枚数Ｐだけ印刷出力されるから、補正された顔領域と印刷出力結果との対応関係を確認するユーザの手間を低減することができる。このとき、選択した補正のすべてを画像全体に実行するに際して、画像全体に平均的な補正を実行するものとしてもよい。こうしても、複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。あるいは、各顔領域に対して選択した補正を各顔領域に対して実行した画像を生成し、この生成した画像を印刷設定枚数Ｐだけ印刷出力するものとしてもよい。このとき、顔領域の各々が他の領域と違和感を生じない程度に各補正を各顔領域に行うものとすることが好ましい。こうしても、複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データに含まれる顔領域に対してより適した出力結果を得ることができる。

上述した実施形態では、顔領域に含まれる高周波成分に基づいてピント度合いＦＣを計算するものとしたが、顔領域に含まれるエッジ量を所定のエッジフィルタをかけたり、注目画素とその周辺の画素との輝度の差分をとることなどにより検出し、検出したエッジ量をピント度合いＦＣとしてもよい。エッジ量が高ければ、顔領域の輪郭が明確であることから、このエッジ量をピント度合いとすることができる。こうしても、複数枚数の画像データを出力する際のユーザの手間をより低減すると共に、画像データに含まれる顔領域に対してより適した印刷出力結果を得ることができる。また、画像データがＪＰＥＧデータであるときには、顔領域に対応する部分のＪＰＥＧ圧縮データのＤＣＴ係数を利用してピント度合いＦＣを算出するものとしてもよい。

上述した実施形態では、表示部３２へ、補正処理を実行しない顔領域と補正処理を実行する顔領域とを異なる態様で表示出力し、補正する印刷物の印刷順番を顔領域に対応づけて画像データと共に表示出力し、更に印刷設定枚数Ｐを表示出力するものとしたが、これらを印刷出力するものとしてもよい。即ち、図５に示した印刷確認画面８６を印刷出力してもよい。こうしても、どの顔領域に補正が実行され、何枚目の印刷物がどの顔領域を補正したものであるかを認識することができる。また、補正処理を実行しない顔領域と補正を実行する顔領域とを異なる態様で表示出力するのを省略してもよいし、補正する印刷物の印刷順番を顔領域に対応づけて画像データと共に表示出力するのを省略してもよいし、印刷設定枚数Ｐを表示出力するのを省略してもよい。なお、補正処理を実行しない顔領域と補正処理を実行する顔領域とを異なる態様で表示出力するものであれば、未補正表示部８７ａや補正実行表示部８７ｂの態様以外の態様としても構わない。

上述した実施形態では、設定された印刷設定枚数Ｐの画像を印刷出力するものとしたが、設定された印刷設定枚数Ｐの画像を表示出力するものとしてもよいし、設定された印刷設定枚数Ｐの画像を送信出力するものとしてもよい。即ち、本発明の画像出力手段は、印刷機構２６でもよいし、表示部３２でもよいし、Ｉ／Ｆ２８でもよい。

上述した実施形態では、ステップＳ２５０で印刷確認画面８６を表示させたあとそのまま印刷処理を実行するものとしたが、印刷確認画面８６を表示させた状態で印刷を実行してよいかをユーザに問い合わせ、ユーザが枚数設定キー３４ｃを操作して印刷設定枚数Ｐを修正可能とし、修正した印刷設定枚数の画像を印刷出力するものとしてもよい。こうすれば、ユーザの意向に沿った枚数の画像の印刷出力を実行することができる。

上述した実施形態では、プリンタ２０を本発明の画像処理装置として説明したが、複数の顔領域を含む画像データを出力処理するものであれば特に限定されず、例えば、プリンタなどの外部機器へＩ／Ｆ（画像出力手段）を介して顔領域に基づいて補正された複数の画像データを出力する、ピクチャービューワ、デジタルビデオ、カメラ付き携帯電話及びモバイルＰＣなどとしてもよい。このとき、「画像を出力」とは、印刷出力であってもよいし、表示出力であってもよいし、送信出力であってもよい。また、プリンタ２０は、スキャナを備えたマルチファンクションプリンタやＦＡＸなどとしてもよい。また、上述した実施形態では、印刷機構２６は、加圧されたインクを記録紙Ｓに吐出して印刷処理を実行するインクジェット方式の機構であるとしたが、電子写真方式のカラーレーザプリンタや、熱転写方式のカラープリンタや、ドットインパクト方式のカラープリンタとしてもよいし、これらのモノクロプリンタとしてもよい。更に、プリンタ２０の態様で説明したが、画像処理方法の態様としてもよいし、この方法のプログラムの態様としてもよい。なお、上述した実施形態では、人物の顔領域を検出するものとしたが、動物の顔領域を検出するものとしてもよい。

プリンタ２０の構成の概略を示す構成図である。 表示部３２に表示される設定画面８０の一例を表す説明図である。 画像補正印刷処理ルーチンの一例を表すフローチャートである。 表示部３２に表示される画像表示画面８４の一例を表す説明図である。 表示部３２へ表示する印刷確認画面８６の一例の説明図である。

符号の説明

１２ メモリカード、２０ プリンタ、２１ コントローラ、２２ ＣＰＵ、２３ フラッシュＲＯＭ、２４ ＲＡＭ、２５ リーダライタ、２５ａ スロット、２６ 印刷機構、２８ インタフェース（Ｉ／Ｆ）、２９ バス、３０ 操作パネル、３２ 表示部、３４ 操作部、３４ａ カーソルキー、３４ｂ 決定キー、３４ｃ 枚数設定キー、８０ 設定画面、８１ フォーカスフレーム、８２ 自動補正モード入力欄、８４ 画像表示画面、８４ａ，８４ｂ 人物、８６ 印刷確認画面、８６ａ〜８６ｄ 印刷順番表示部、８７ａ 未補正表示部、８７ｂ 補正実行表示部、８８ 情報表示欄、Ｓ 記録紙。

Claims (12)

1. 画像を出力可能な画像出力手段と、
   画像データに含まれている顔領域を検出する領域検出手段と、
   前記検出した顔領域の状態を検出する状態検出手段と、
   前記検出した顔領域が複数あるときに、前記状態検出手段が検出した顔領域の状態に基づいて少なくとも該顔領域を補正する補正実行手段と、
   前記領域検出手段が検出した顔領域の数を出力数として設定し、該設定した出力数の前記補正後の画像を出力するよう前記画像出力手段を制御する制御手段と、
   を備えた画像処理装置。
2. 前記状態検出手段は、前記前記画像データに含まれている顔領域のピントが合っている度合いを示すピント度合いを検出する手段であり、
   前記補正実行手段は、前記状態検出手段が検出した顔領域のピント度合いに基づいて少なくとも該顔領域にピントぼけ補正を実行する手段である、請求項１に記載の画像処理装置。
3. 前記状態検出手段は、前記前記画像データに含まれている顔領域が逆光状態であるか否かを検出する手段であり、
   前記補正実行手段は、前記状態検出手段が検出した顔領域の状態に基づいて少なくとも該顔領域に逆光補正を実行する手段である、請求項１又は２に記載の画像処理装置。
4. 前記補正実行手段は、前記画像データに含まれる複数の顔領域の各々に基づいた補正のいずれかを前記画像全体に実行する処理を前記検出された顔領域の数の画像データに別々に実行する手段である、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、前記画像出力手段が出力するいずれの画像がいずれの顔領域に対して補正が実行されているのかの情報を出力するよう前記画像出力手段を制御する手段である、請求項４に記載の画像処理装置。
6. 前記補正実行手段は、前記画像データに含まれる複数の顔領域の各々に基づいた補正のすべてを前記画像全体に実行する手段であり、
   前記制御手段は、前記設定した出力数の前記補正後の画像を出力するよう前記画像出力手段を制御する手段である、請求項１〜３のいずれか１項に記載の画像処理装置。
7. 請求項１〜６のいずれか１項に記載の画像処理装置であって、
   画像データに含まれている顔領域の状態に基づいて補正を実行する自動補正モードを設定可能なモード設定手段、を備え、
   前記補正実行手段は、前記モード設定手段によって前記自動補正モードが設定された場合、前記状態検出手段が検出した顔領域の状態に基づいて少なくとも該顔領域に補正を実行する手段である、画像処理装置。
8. 前記制御手段は、前記設定された出力数に関する情報を出力するよう前記画像出力手段を制御する手段である、請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記画像出力手段は、印刷媒体に画像を印刷出力する印刷出力手段である、請求項１〜８のいずれか１項に記載の画像処理装置。
10. 請求項１〜９のいずれか１項に記載の画像処理装置であって、
    前記設定された画像の出力数を修正可能な出力数修正手段、を備え、
    前記制御手段は、前記出力数修正手段によって修正された出力数の画像を出力するよう前記画像出力手段を制御する手段である、画像処理装置。
11. コンピュータソフトウエアによる画像処理方法であって、
    （ａ）画像データに含まれている顔領域を検出する領域検出手段と、
    （ｂ）前記ステップ（ａ）で検出した顔領域の状態を検出するステップと、
    （ｃ）前記ステップ（ａ）で検出された顔領域が複数あるときに、前記ステップ（ｂ）で検出した顔領域の状態に基づいて少なくとも該顔領域に補正を実行するステップと、
    （ｄ）前記ステップ（ａ）で検出した顔領域の数を出力数として設定し、該設定した出力数の前記ステップ（ｃ）での補正後の画像を出力するステップと、
    を含む画像処理方法。
12. 請求項１１に記載の画像処理方法の各ステップを１又は複数のコンピュータに実現させるためのプログラム。

Images