JP2007148537A - 画像処理方法および画像処理プログラムならびに画像処理装置 - Google Patents

Abstract

【課題】静止画像あるいは動画中の１コマの画像に対して特殊処理を行う際に、各画像に応じたより効果のある処理を施すことのできる画像処理方法および画像処理プログラムならびに画像処理装置を提供する。
【解決手段】画像データに対して、顔検出から画像中の顔の有無、顔の位置、および顔の大きさを解析した顔領域情報を作成して、その結果に応じて、領域ごとに特殊処理の処理方法を自動で変えることにより、前記課題を解決する。
【選択図】図１

Description

本発明は、主に画像処理方法および画像処理プログラムならびに画像処理装置に関し、詳しくは、画像の顔検出結果により、画像ごとに異なる処理を施す画像処理方法および画像処理プログラムならびに画像処理装置に関する。

近年、写真プリントなどを作成する際に、画像の色／濃度の補正や調整などの標準的な画像処理とは別に、顧客の注文に基づき行う特殊処理がある。例えば、ソフトフォーカス処理、クロスフィルタ処理、または、キャラクター、フレーム、文字入れなどの画像合成処理などである。

従来、これらの特殊処理は、画像の内容に関わらず、指定された画像全体に対して、一様に同じ処理が実施されていた。
このため、例えば、人物が写っている画像に対してクロスフィルタ処理を行うと、人物の歯や目の部分にクロスフィルタが入ってしまったり、背景部分のクロスフィルタの尾引きの部分が、人物の顔にかぶさってしまうなどというケースがあった。
また、特殊処理の中には、画像の内容によっては、実施しても効果のないものが存在する。例えば、ソフトフォーカス処理は、人物が写っている画像に対して施すことにより、人物の顔を美しく見せるなどの効果を発揮する処理であり、人物が存在しない風景画像などに対して施しても、十分な効果が得られない。
このように、処理を実行したくない領域や、処理を行っても効果のない画像に対しても、一様に処理を行ってしまうため、処理を施すことにより、画像に違和感や不自然さを生じさせてしまうといった問題があった。

そこで、このような問題を解決する画像処理方法が種々提案されている。
例えば特許文献１では、画像の自然さを保つクロスフィルタ処理方法を開示している。この方法では、オペレータが指定した領域に対して、光芒画像の数、大きさ、長さなどを設定することにより、従来の、光芒画像が画一的な大きさであったり、光芒画像の数が多すぎたり、また、画像全体が白っぽくなるなどといった問題を解決して、一様な加工処理とならないような、違和感のない自然なクロスフィルタ処理を実現している。

また、特許文献２には、顧客の好みに応じた仕上げ処理を施す画像処理装置および画像再現システムが開示されている。特許文献２に示す例においては、画像の内容に応じて異なる画像処理の特徴を示す仕上げ情報を複数用意して、各画像の内容に応じて仕上げ情報を選択することにより、画像の内容に沿った細かい画像処理を行うことができる。

特開２００３−５８８８０号公報 特開１９９８−２００６７１号公報

しかし、特許文献１に開示される画像処理方法では、クロスフィルタ処理の方法は示されているが、他の特殊処理の方法については示されていない。また、処理を行う領域の指定や、光芒画像の大きさおよび長さなどは、オペレータの入力により決定するため、オペレータの負担が大きい。
また、特許文献２に開示される画像処理装置および画像再現システムでは、夜景シーンの画像のように、ストロボの有無やＢＶ値などの撮影情報から自動的に仕上げ情報を指定できる場合もあるが、ほとんどの画像は撮影後にカメラで、もしくは注文時に店頭で前もって仕上げ情報の指定を行い、それに基づき処理を施すため、顧客の手間がかかる。

本発明の目的は、前記従来技術の問題点を解決することにあり、静止画像あるいは動画中の１コマの画像に対して、画像データの画像中の顔検出から顔領域情報を作成して、その結果に応じて、領域ごとに特殊処理の処理方法を自動で変えることにより、各画像に応じたより効果のある処理を施す画像処理方法および画像処理プログラムならびに画像処理装置を提供することにある。

前記目的を達成するために、本発明は、取得した画像データに画像処理を施す画像処理装置であって、取得した画像データの画像中の顔を検出する顔検出手段と、指定に応じて実施する画像処理である特殊処理を前記画像データに施す特殊処理手段とを有し、前記顔検出手段は、顔検出結果を前記特殊処理手段に供給し、前記特殊処理手段は、前記顔検出手段による顔検出の結果に応じて、実施する特殊処理の処理条件を変更することを特徴とする画像処理装置を提供する。

このような本発明の画像処理装置において、前記顔検出手段は、顔検出の結果として顔の有無、顔の位置、および顔の大きさの情報の少なくとも１つを前記特殊処理手段に供給することが好ましい。

また、前記顔検出手段は、顔検出結果として少なくとも顔の有無および顔の大きさの情報を前記特殊処理手段に供給し、前記特殊処理手段は、特殊処理としてソフトフォーカス処理を行う際に、顔の有無および顔の大きさの情報に応じて、ソフトフォーカス処理の強度を変更することが好ましく、また、前記特殊処理手段は、特殊処理としてクロスフィルタ処理を行う際に、顔の有無および顔の位置の情報に応じて、クロスフィルタ処理による光が顔領域に掛からないようにクロスフィルタ処理の条件を設定することが好ましい。さらに、前記特殊処理手段は、特殊処理として画像合成処理を行う際に、顔の有無および顔の位置の情報に応じて、合成画像が顔領域に掛からないように画像合成処理の条件を設定することが好ましく、また、前記特殊処理手段は、特殊処理としてライティング処理を行う際に、顔の有無および顔の位置の情報に応じて、顔領域でのライティング処理の強度を変更することが好ましい。
また、画像のシーンを判別して、シーンの判別結果を前記特殊処理手段に供給するシーン判別手段を有し、前記特殊処理手段は、供給されたシーン判別結果に応じて、実施する特殊処理の処理条件を変更することが好ましい。

さらに本発明は、取得した画像データに画像処理を施す画像処理装置であって、取得した画像データの画像のシーンを判別するシーン判別手段と、指定に応じて実施する画像処理である特殊処理を前記画像データに施す特殊処理手段とを有し、前記シーン判別手段は、シーン判別結果を前記特殊処理手段に供給し、前記特殊処理手段は、前記シーン判別手段によるシーン判別結果に応じて、実施する特殊処理の処理条件を変更することを特徴とする画像処理装置を提供する。
このような本発明の画像処理装置において、前記特殊処理手段は、特殊処理としてクロスフィルタ処理を行う際に、シーン判別結果に応じて、クロスフィルタ処理の強度、形状、色の少なくとも１つを変更することが好ましく、また、前記特殊処理手段は、特殊処理としてライティング処理を行う際に、シーン判別結果に応じて、ライティング処理の強度を変更することが好ましい。
また、画像データの画像中の顔を検出して、顔検出結果を前記特殊処理手段に供給するする顔検出手段を有し、前記特殊処理手段は、供給された顔検出結果に応じて、実施する特殊処理の処理条件を変更することが好ましい。

さらに、前記目的を達成するために、本発明は、取得した画像データに、指定に応じて実施する画像処理である特殊処理を施すに際し、前記画像データの画像中から顔検出を行い、この顔検出の結果に応じて、実施する特殊処理の処理条件を変更することを特徴とする画像処理方法およびコンピュータに前記画像処理方法を実行させるための画像処理プログラムを提供する。
また、取得した画像データに、指定に応じて実施する画像処理である特殊処理を施すに際し、前記画像データの画像のシーン判別を行い、このシーン判別結果に応じて、実施する特殊処理の処理条件を変更することを特徴とする画像処理方法およびコンピュータに前記画像処理方法を実行させるための画像処理プログラムを提供する。

このような本発明によれば、静止画像あるいは動画中の１コマの画像に対して、顔検出により画像内における顔の有無を判断し、その結果に応じて、各種の特殊処理を行う領域やその強度などを自動的に決定して、領域ごとに異なる特殊処理を実施することが可能となる。これにより、従来は画像全体に一律で行っていた各種の特殊処理を、特定の領域ごとに特化して行うことができるため、処理を実行したくない領域に対して処理を行ってしまうことがなく、違和感のない自然な処理が可能となり、また、顧客やオペレータの負担もなくなる。
さらに、画像解析により、顔領域の判断だけでなく、夕景、夜景、海中などのシーン判別を行い、その結果に応じて、画像ごとに異なる処理を行うことも可能である。これにより、より効果のある特殊処理を施した画像を作成することができる。

以下、本発明の画像処理方法および画像処理プログラムならびに画像処理装置について、添付の図面に示される好適実施例を基に詳細に説明する。

図１は、本発明の画像処理方法および画像処理プログラムを実現する画像処理装置を有する画像形成装置の一実施例を示す模式的なブロック図である。
同図に示すように、画像形成装置１０は、画像データ取得手段１２、顔検出手段１４、画像処理手段１６、シーン判別手段１８、特殊処理手段２０および画像出力手段２２を有する。画像処理装置は、顔検出手段１４、画像処理手段１６、シーン判別手段１８、および特殊処理手段２０から構成される。なお、画像処理装置は、例えば、コンピュータやワークステーション等を利用して構成すればよい。

画像データ取得手段１２は、画像データを取得して、顔検出手段１４、および画像処理手段１６に供給するものである。
画像データの取得は、例えば、画像データ取得手段１２が有するドライブに装填された記憶媒体から画像を読み取ることにより行えばよい。ドライブが対応する記憶媒体には、特に限定はなく、スマートメディア^TM、コンパクトフラッシュ^TM、メモリースティック^TM、ＳＤメモリーカード^TM、ＰＣカード、ＣＤ−Ｒ、ＭＤ等の公知の記憶媒体が、全て利用可能である。画像データ取得手段１２が対応する記憶媒体は、１種に限定はされず、複数種の記憶媒体に対応してもよいのは、もちろんである。また、画像データ取得手段１２は、インターネットなどの公知のネットワークなどを通じて画像を取得してもよい。あるいは、画像データ取得手段１２は、ネガフィルム等の透過原稿や反射原稿の画像を光電的に読み取るスキャナであってもよいし、デジタルカメラやビデオカメラなどから画像データを取得するものであってもよい。さらに、画像データ取得手段１２は、これらの複数の手段によって画像データを取得してもよい。

顔検出手段１４は、画像データ取得手段１２から供給された画像データに対して、画像データの画像中の顔検出を行い、検出結果を基に顔領域情報を作成するものである。
ここで顔領域情報とは、画像上の顔検出結果に基づき作成する情報であり、例えば、顔の位置、顔の大きさ、および顔検出の信頼度などの情報を有している。顔領域情報は、後述する特殊処理手段２０において、画像データに特殊処理を施す際の処理条件の設定に使用するものである。顔検出手段１４は、画像データ取得手段１２から受け取った画像データに対して顔検出を行い、画像上の顔の有無を判断する。顔が検出された場合は、さらに、顔の位置（座標位置や領域など）、大きさ、および顔検出の信頼度などの顔検出結果をまとめ、これらの結果を顔領域情報とする。
なお、顔検出の方法には、特に限定はなく、テンプレートマッチングによる方法、肌色検出による方法、エッジ検出による方法、形状認識による方法、これらを組み合わせた方法等、公知の方法が各種利用可能であり、また、本件出願人による特開２０００−１３７７８８号、同２０００−１４９０１８号、特開平９−１３８４７１号、同８−１８４９２５号等の各公報に開示される方法も、好適に利用可能である。
顔検出手段１４は、作成した顔領域情報を、特殊処理手段２０へ送る。

画像処理手段１６は、画像データ取得手段１２から受け取った画像データの画像解析を行って、定常的に行う画像処理を行うものである。
なお、本発明において、画像処理とは、画像の色／濃度（調子再現、色再現）や像構造（鮮鋭度、粒状性）等が適正な画像を出力するために実施する、基本的な画像の補正処理である。この補正処理を行うことで、画像は写真画質的には完成し、後述する特殊処理を行わないプリント出力などの画像出力に対応する完成した画像となる。具体的には、画像の拡大もしくは縮小（電子変倍処理）、階調補正、色／濃度補正、彩度補正、シャープネス処理、および、覆い焼き処理（画像の中間階調を維持した、画像濃度ダイナミックレンジの圧縮もしくは伸長）等が例示される。
また、画像処理では、画像的な欠陥を補正するために欠陥を有する画像のみを補正する画像処理（欠陥補正）も行ってもよい。具体的には、欠陥補正としては、ストロボ撮影に起因する赤目の補正（赤目補正）、写真フィルムや撮影レンズに付着した異物および写真フィルムや撮影レンズの傷に起因する画像（画素）欠損部の補正（ゴミ傷消し処理）、撮影レンズの収差に起因する画像の歪みの補正（レンズ収差補正）、および、撮影レンズの周辺減光に起因する周辺濃度低下の補正（周辺減光補正）等が例示される。

一方、後述する特殊処理手段２０で行う特殊処理とは、上述した画像処理とは別に、顧客（プリントや画像データの注文者）の要望や依頼に応じて、依頼を受けた画像のみに実施する特殊な処理である。具体的には、ソフトフォーカス処理、画像上の輝点に十字状の光を入れる（輝点を十字状に輝かせるように画像を処理する）クロスフィルタ処理、各種のキャラクターやフレーム、文字等を画像に合成する画像合成処理、画像上に人工光源となるようなハイライト点を置き、その部分から放射状に光を合成して、光源／照明、光の属性、角度などを調整することで、スポットライトの効果や全体的な照明効果、逆光効果などを付与するライティング処理等が例示される。
これらの特殊処理はいずれも公知の方法で実施すればよい。
特殊処理は、特殊処理手段２０において実施する。これについては後に詳述する。
画像処理手段１６で画像処理を施された画像データは、補正済画像データとして、シーン判別手段１８および特殊処理手段２０へ送られる。

シーン判別手段１８は、画像処理手段１６から受け取った補正済画像データのうち、特殊処理を行うものに対して、画像解析を行い、その画像がどのシーンに該当するかを判別するものである。
図示例においては、一例として、画像を夕景シーン、夜景シーン、海中シーン、青空シーン、高彩度シーン、雪景色など画像中の白色の面積の割合が大きい画像（例えば白色が画像全体の５０％を占めるなど）であるハイキーシーン、およびその他のシーンのいずれに該当するかを判別し、シーンの判別結果をシーン情報として特殊処理手段２０に供給する。
シーン判別は、例えば、各シーンを判別するための固有特徴量を用いて行えばよい。つまり、予め、各シーンを判別するための複数の固有特徴量を定義しておき、画像上におけるそれぞれの固有特徴量の確信度を調べる。そして、所定の確信度以上の固有特徴量があった場合には、その中で一番確信度の高い固有特徴量のシーンであるとして、画像を判別する。なお、確信度は、面積比率が閾値以上存在する場合や、特定パターンが存在する場合などの条件により、決定すればよい。

特殊処理手段２０は、画像処理手段１６から供給された補正済画像データのうち、特殊処理を行うものに対して、特殊処理を施すものである。施す特殊処理の種類は、予め画像データが有している属性情報などから読み取ってもよいし、オペレータが手動で入力することにより決定してもよい。
特殊処理手段２０は、予め、異なる処理方法やパラメータを設定した、特殊処理の処理条件を複数パターン有しており、顔検出手段１４から供給された顔領域情報あるいはさらにシーン判別手段１８から供給されたシーン情報に基づき、各補正済画像データに特殊処理を実施する際の処理条件を選択して、選択した処理条件に基づき、必要な特殊処理を行う。
本実施例では、一例として、顔領域の面積が、画像形成装置１０で予め定められた閾値以上である場合、顔領域の面積が閾値未満である場合、および、顔がない場合について、特殊処理１〜３の３パターンの処理条件を有する。また、処理条件の判別の際は、顔領域の面積の他に、顔の位置および顔検出の信頼度を考慮してもよい。さらに、これらの各パターンに対して、シーン情報を加味してさらに処理条件を加えてもよい。これらについては、後に詳述する。
特殊処理手段２０で特殊処理を施された画像データは、出力画像データとされ、画像出力手段２２へ送られる。

画像出力手段２２は、供給された出力画像データを、所定の形式で出力するものである。出力は、例えば、インクジェットプリンタ、電子写真プリンタ等の各種のプリンタで行えばよい。また、ＣＤ−Ｒ等の記憶媒体にデータを書き込むメディア記憶手段に、出力画像データを出力し、出力画像データを記録した記憶媒体を顧客に提供してもよく、あるいは、プリントと出力画像データを記録した記憶媒体の両方を顧客に提供してもよい。

次に、本発明の画像形成装置１０の作用について、図２のフローチャートを用いて詳細に説明する。

画像データ取得手段１２は、画像データを取得すると（Ｓ１００）、顔検出手段１４、および画像処理手段１６へ送る。
なお、顔検出手段１４においては、顔検出に必要な画像データがあればよいため、顔検出手段１４に供給する画像データは、プレスキャンデータ（画像をフィルムスキャナなどから取得した場合）や画像データを間引いたデータであってもよい。

顔検出手段１４は、供給された画像データについて、顔検出を行い（Ｓ１１０）、その結果を基に、顔領域情報を作成する（Ｓ１２０）。そして、顔領域情報を特殊処理手段２０へ送る。
他方、画像処理手段１６は、供給された画像データについて、画像処理を行い、補正済画像データとする（Ｓ１３０）。画像処理の内容は、上述した通りである。さらに、全補正済画像データを特殊処理手段２０へ送ると共に、補正済画像データのうち、特殊処理が必要なものをシーン判別手段１８へ送る。
なお、シーン判別手段１８に供給する画像データについても、シーン判別に必要な画像データであればよいため、補正済画像データを間引いたデータであってもよい。

シーン判別手段１８は、供給された補正済画像データを画像解析して、その結果により、各データが上述のいずれのシーンに該当するか判別して、この結果をシーン情報とする（Ｓ１４０）。シーン判別手段１８は、シーン情報を特殊処理手段２０へ送る。

特殊処理手段２０では、補正済画像データ、顔領域情報、およびシーン情報（ない場合もある）が全て揃ったら、供給された補正済画像データを、特殊処理が必要なものとそうでないものとに分別して、特殊処理が必要なものについては、顔領域情報から補正済画像データ上の顔の有無を判断する（Ｓ１５０）。なお、特殊処理が不要な画像については、何も行わずそのまま画像出力手段２２に供給する。特殊処理が必要な画像については、画像中に顔がある場合は、特殊処理手段２０はさらに、予め有している顔領域の閾値と、顔領域情報が有する顔領域の面積とを比較して、補正済画像データを、顔領域の面積が閾値以上のものと、閾値未満のものとに分別する（Ｓ１６０）。こうして、補正済画像データを自動で３つに分別して、分別したデータごとに異なる処理条件の下で、必要な特殊処理を行う。
閾値による分別は、複数の顔領域が検出された場合には、例えば、それぞれの顔領域の面積と閾値とを比較して判断すればよい。つまり、面積が閾値以上である顔領域が少なくとも1つあれば、顔領域の面積が閾値以上のものと判断する。
なお、顔領域情報に基づく補正済画像データの分別において、顔領域の面積と閾値とを比較する際は、顔の位置および顔検出の信頼度を加味して、分別を行ってもよい。例えば、顔領域の面積が閾値以下であっても、顔の位置が画面の中央であったり、信頼度が高ければ、閾値以上であるとみなしてもよい。さらに、顔の個数や、顔領域の面積の総和なども考慮して、分別を行ってもよい。

Ｓ１５０において、顔があり、Ｓ１６０において顔領域が閾値よりも大きいと判断された場合は、特殊処理手段２０は、特殊処理１の条件に基づき、特殊処理を行う（Ｓ１７０）。
特殊処理１は、顔領域の面積が閾値以上のものであり、すなわち人物の顔がアップになっているものや、人物の顔が画像の中心にあるものなど、人物がメインになっている画像に対応する特殊処理である。
特殊処理１においてソフトフォーカス処理を行う場合は、通常の場合と同様に、画像全体に一様に行う。もしくは、顔領域あるいはさらにその周辺領域に、他の領域よりも強度の強い処理を施すなど、通常よりもやや強めに効果を出すような顔領域に特化した処理を行ってもよい。
クロスフィルタ処理を行う場合は、顔領域をクロスフィルタの対象領域から除外し、クロスの尾引きの長さを調整して、顔領域に尾引きが掛からないようにする。また、本発明の画像形成装置１０においては、画像における顔領域の面積の割合によって、クロスの数、大きさ、尾引きの長さなどを調整してもよい。調整は例えば、顔領域の面積の割合が大きい場合は、クロスの数を多くしたり、サイズを大きくしたり、尾引きを長くして、顔領域の面積の割合が小さい場合は、クロスの数を少なくしたり、サイズを小さくしたり、尾引きを短くするなどというように行えばよい。
画像合成処理を行う場合は、合成するキャラクターやフレーム、文字などが顔領域上に掛かる時に、キャラクターやフレーム、文字などの位置や大きさを自動で調整して、顔領域に掛からないようにする。
ライティング処理の場合は、顔領域を処理の対象領域から除外して、顔領域に効果が出ないようにするか、もしくは、顔領域では、他の領域よりも処理の強度を弱める。

Ｓ１５０において、顔領域があり、Ｓ１６０において顔領域の大きさが閾値以下であると判断された場合は、特殊処理手段２０は、特殊処理２の条件に基づき特殊処理を行う（Ｓ１８０）。
特殊処理２は、顔はあるが、その面積が閾値未満の画像であり、すなわち集合写真や、人物の全身像など、顔領域が比較的小さい画像に対応する特殊処理である。
特殊処理２においてソフトフォーカス処理を行う場合には、顔領域には処理を行わないか、もしくは、顔領域あるいはさらにその周辺領域に、他の領域よりも強度の弱い処理を施すなど、通常よりもやや弱めに効果を出すような、顔領域に特化した処理を行う。
クロスフィルタ処理を行う場合は、顔領域をクロスフィルタの対象領域から除外し、また、クロスの尾引きの長さを調整して、顔領域に尾引きが掛からないようにする。なお、特殊処理２では、特殊処理１の場合に比べて、クロスのサイズをやや大きめとしてもよい。
画像合成処理を行う場合は、合成するキャラクターやフレーム、文字などが顔領域上に掛かる時に、キャラクターやフレーム、文字などの位置や大きさを自動で調整して、顔領域に掛からないようにする。
ライティング処理の場合は、顔領域を処理の対象領域から除外して、顔領域に効果が出ないようにするか、もしくは、顔領域では、他の領域よりも処理の強度を弱める。

Ｓ１５０において、顔がないと判断された場合は、特殊処理手段２０は、特殊処理３の条件に基づき特殊処理を行う（Ｓ１９０）。
特殊処理３は、風景画像などの、顔が存在しない画像に対応する特殊処理である。
特殊処理１においては、ソフトフォーカス処理は、処理の強度を弱めるなど、風景シーンに特化した処理を行う。あるいは、ソフトフォーカス処理を行わなくてもよい。
クロスフィルタ処理を行う場合は、通常通りの処理を行う。もしくは、上述の２つの場合よりも、クロスの数を多くしたり、サイズを大きくしたり、尾引きを長くするなどして、効果をより強く出してもよい。
画像合成は、顧客の指示や指定に応じた通常通りの処理を行う。
ライティング処理については、通常通り行う。もしくは、効果を強く出すように、処理の強度を強くしてもよい。

特殊処理手段２０はさらに、シーン判別手段１８からのシーン情報に応じて、シーンによっては、上述の３つの特殊処理条件に、さらに処理条件を追加（変更）する。
シーン判別による処理条件は、例えば、ソフトフォーカス処理を行う場合には、シーン情報（シーン判別結果）に応じて、夕景シーンの画像であれば、夕景を中心に、ぼかし方を変化させる。夜景シーンであれば、遠景の領域では処理の強度を強めにして、近景の領域では弱めの処理を行う。また、海中や青空のシーンであれば、処理の強度を弱めて、ぼかし量を小さくする。さらに、高彩度やハイキーの画像については、処理の強度を強めてぼかし量を大きくする。ただし、高彩度の画像については、彩度を維持した状態で強度を調整する。このような条件が、特殊処理１〜３の処理条件に追加される。

さらに、例えば、クロスフィルタ処理を行う場合には、シーン情報（シーン判別結果）に応じて、夕景シーンの画像であれば、夕景領域のクロスのサイズを大きくして尾引きの長さを長くとる。また、クロスの形状を変更してもよい。夜景シーンであれば、クロスの数を多くしたり、尾引きの長さを大きくするなどして、効果を強める。また、海中のシーンでは、クロスの数を少なくして、さらにクロスの形状を変更してもよい。青空のシーンであれば、空の領域には処理は行わない。さらに、高彩度のシーンでは、クロスを視認しやすいように、尾引きの色を変更する。ハイキーの画像については、クロスの数を少なくして、尾引きの長さを短くする。また、クロスの形状を変更してもよい。このような条件が特殊処理１〜３の処理条件に追加される。また、シーン判別において、どのシーンにも該当しなかった場合は、顔領域情報から自動で判断した条件のみに従って、処理を行えばよい。
なお、これらのシーンごとの処理条件は、顔領域以外の領域において適用される。
これにより、風景領域などの、顔領域以外の領域においても、自然な特殊処理が施された画像を得ることができる。

上述の方法によれば、顔領域にかかると不都合な特殊処理に対して、顔領域内では処理を行わないか、または処理の強度を弱めることにより、自然な特殊処理を行うことができる。さらに、風景画像に対しても、領域ごとに自然な処理になるように条件を設定するため、特殊処理の効果を十分に得ることができる。

特殊処理手段２０は、こうして、補正済画像データに施す特殊処理条件を変更し、変更した条件に従って、補正済画像データに必要な特殊処理を施し、画像出力手段２２へ送る。画像出力手段２２は、供給された出力画像データを上述の方法により出力する。

以上の説明より明らかなように、本発明の画像処理装置によれば、画像内における顔の有無を自動で判断し、あるいはさらにシーン判別を行うことにより、その結果に応じて、各種の特殊処理を行う領域やその強度などを自動的に決定して、領域ごとに異なる特殊処理を実施することが可能となる。これにより、処理を実行したくない領域に対して処理を行ってしまうことがなく、違和感のない自然な処理が可能となり、また、処理を自動で行うため、顧客やオペレータの負担もなくなる。

また、本実施例においては、特殊処理手段２０での処理条件の設定は全て自動で行っているが、例えば、風景のみの画像に対して、ユーザが効果の強いソフトフォーカス処理を指示するといった場合も考えられる。このため、自動で処理をするモードと手動で行うモードとの２種類のモードを有して、手動で処理条件を設定できるようにするなど、場合に応じて処理モードを切り替えるようにしてもよい。

さらに、本発明の画像処理装置の別の態様について、図３のフローチャートを用いて詳細に説明する。
先の態様では、顔検出を行い、好ましくはさらにシーン判別を行って、顔検出結果あるいはさらにシーン判別結果に応じて、特殊処理の処理条件を変更したが、本態様では、シーン判別を行い、好ましくはさらに顔検出を行って、シーン判別結果あるいはさらに顔検出結果に応じて、特殊処理の処理条件を変更する。
なお、この態様の画像処理は、顔検出を行った場合に、その結果を特殊処理以外の通常の画像処理条件に反映してもよいのは、もちろんである。従って、本態様は、前記図１に示す画像形成装置１０でも実施可能であり、以下の説明は、図１の画像形成装置１０を引用して行う。ただし、本態様においては、顔検出手段１４は、必須の構成要件ではない。

画像データ取得手段１２は、図２のＳ１００と同様に、画像データを取得すると、画像処理手段１６、および顔検出手段１４へ送る（Ｓ２００）。なお、顔検出手段１４においては、顔検出に必要な画像データがあればよいため、顔検出手段１４に送る画像データは補正済画像データを間引いたものであってもよいのは、先の態様と同様である。
画像処理手段１６は、供給された画像データについて、図２のＳ１３０と同様に画像処理を行い、補正済画像データとする（Ｓ２１０）。さらに、全補正済画像データを特殊処理手段２０へ送ると共に、補正済画像データのうち、特殊処理が必要なものをシーン判別手段１８へ送る。なお、シーン判別手段１８に供給する画像データも、シーン判別に必要な画像データであればよいため、補正済画像データを間引いたデータであってもよい。

シーン判別手段１８は、図２のＳ１４０と同様に、供給された補正済画像データを画像解析して、その結果により、各データが、夕景シーン、夜景シーン、海中シーン、青空シーン、高彩度シーン、ハイキーシーン、およびその他のシーンのいずれに該当するか判別して、この結果をシーン情報とする（Ｓ２２０）。シーン判別手段１８は、シーン情報を特殊処理手段２０へ送る。

特殊処理手段２０では、先の態様と同様に、補正済画像データおよびシーン情報が全て揃ったら、供給された補正済画像データを、特殊処理が必要なものとそうでないものとに分別して、特殊処理が不要な画像については、何も行わずそのまま画像出力手段２２に供給する。他方、特殊処理が必要な画像については、特殊処理手段２０は、シーン判別手段１８からのシーン情報に応じて、特殊処理の処理条件を設定する。

シーン判別による処理条件は、先の態様と同様に、例えばクロスフィルタ処理を行う場合には、先の態様と同様に、夕景シーンの画像であれば、夕景領域のクロスのサイズを大きくして尾引きの長さを長くとり、夜景シーンであれば、クロスの数を多くしたり、尾引きの長さを大きくするなどというように、処理の強度などを調整する。このような条件が特殊処理の処理条件に追加される。また、シーン判別において、どのシーンにも該当しなかった場合は、予め設定された標準的な条件に従って、特殊処理条件を設定すればよい。
これにより、風景領域などのシーン情報に適した自然な特殊処理が施された画像を得ることができる。

他方、顔検出手段１４は、図２のＳ１１０と同様に、画像データ取得手段１２から供給された画像データについて、顔検出を行い（Ｓ２３０）、その結果を基に、図２のＳ１２０と同様に、顔領域情報を作成する（Ｓ２４０）。そして、顔領域情報を特殊処理手段２０へ送る。特殊処理手段２０は、受け取った顔領域情報に基づき、特殊処理条件を変更する。

顔検出結果による処理条件は、図２のＳ１５０と同様に、顔領域情報から補正済画像データ上の顔の有無を判断することにより行う（Ｓ２５０）。画像中に顔がある場合は、特殊処理手段２０はさらに、図２のＳ１６０と同様に、予め有している顔領域の閾値と、顔領域情報が有する顔領域の面積とを比較して、補正済画像データを、顔領域の面積が閾値以上のものと、閾値未満のものとに分別する（Ｓ２６０）。こうして、補正済画像データを自動で３つに分別して、分別したデータごとに異なる処理条件を追加する。閾値による分別は、先の態様と同様に、それぞれの顔領域の面積と閾値とを比較して判断すればよい。なお、この際も、先の態様と同様に、顔の位置および顔検出の信頼度を加味して、分別を行ってもよい。

Ｓ２５０において、顔があり、Ｓ２６０において顔領域が閾値よりも大きいと判断された場合は、特殊処理手段２０は、図２のＳ１７０と同様に、特殊処理１の条件に応じて特殊処理条件を変更する（Ｓ２７０）。特殊処理１の処理条件は、先の態様と同様の、顔領域の面積が閾値以上の画像に対応するものである。

Ｓ２５０において、顔領域があり、Ｓ２６０において顔領域の大きさが閾値以下であると判断された場合は、特殊処理手段２０は、図２のＳ１８０と同様に、特殊処理２の条件に応じて特殊処理条件を変更する（Ｓ２８０）。特殊処理２の処理条件は、先の態様と同様の、顔はあるが、その面積が閾値未満の画像に対応するものである。

Ｓ２５０において、顔がないと判断された場合は、特殊処理手段２０は、図２のＳ１９０と同様に、特殊処理３の条件に応じて特殊処理条件を変更する（Ｓ２９０）。特殊処理３の処理条件は、先の態様と同様の、風景画像などの、顔が存在しない画像に対応するものである。

特殊処理手段２０は、こうして、シーン判別結果、あるいはさらに顔検出結果に応じて補正済画像データに施す特殊処理条件を変更し、変更した条件に従って、補正済画像データに必要な特殊処理を施し、画像出力手段２２へ送る。画像出力手段２２は、供給された出力画像データを上述の方法により出力する。

以上の説明より明らかなように、本発明の画像処理装置によれば、シーン判別を行うことにより、その結果に応じて、各種の特殊処理の強度などを自動的に決定して、シーンに応じた特殊処理を実施することが可能となる。これにより、違和感のない自然な処理が可能となり、また、処理を自動で行うため、顧客やオペレータの負担もなくなる。

また、本実施例においても、上述のように、自動で処理をするモードと手動で行うモードとの２種類のモードを有して、手動でシーン情報を設定できるようにするなど、場合に応じて処理モードを切り替えるようにしてもよい。

以上、本発明の画像処理方法および画像処理プログラムならびに画像処理装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのは、もちろんである。
例えば、図２に示す例では、顔領域の面積に応じて、画像を３種に分類して、特殊処理の条件を変更したが、本発明はこれに限定はされず、顔の有無に応じた２種に画像を分類して特殊処理の条件を変更してもよく、あるいは、顔の面積に応じた４種以上に画像を分類して、それぞれで特殊処理の条件を変更してもよい。
また、本発明は、静止画に対応するのに限定はされず、動画の１コマ（１フレーム）の画像に対して同様の処理を行ってもよく、この１フレームに対する処理を連続的に行うことにより、動画に対して同様の処理を行うものであってもよい。
さらに、顔検出の信頼度に応じて、特殊処理の条件を変更してもよい。例えば、ソフトフォーカス処理を実施する際に、顔検出の信頼度が低い際にはボカシ量を小さくする等、信頼度の高さに応じて、画像処理条件の変更量を調整し、および／または、画像処理の強度を変更してもよい。

本発明の画像処理装置を有する画像形成装置の一実施例を模式的に示すブロック図である。 本発明の画像処理方法の一実施例を示すフローチャートである。 本発明の画像処理方法の他の一実施例を示すフローチャートである。

符号の説明

１０ 画像形成装置
１２ 画像データ取得手段
１４ 顔検出手段
１６ 画像処理手段
１８ シーン判別手段
２０ 特殊処理手段
２２ 画像出力手段

Claims (15)

1. 取得した画像データに画像処理を施す画像処理装置であって、
   取得した画像データの画像中の顔を検出する顔検出手段と、指定に応じて実施する画像処理である特殊処理を前記画像データに施す特殊処理手段とを有し、
   前記顔検出手段は、顔検出結果を前記特殊処理手段に供給し、前記特殊処理手段は、前記顔検出手段による顔検出の結果に応じて、実施する特殊処理の処理条件を変更することを特徴とする画像処理装置。
2. 前記顔検出手段は、顔検出の結果として顔の有無、顔の位置、および顔の大きさの情報の少なくとも１つを前記特殊処理手段に供給する請求項１に記載の画像処理装置。
3. 前記顔検出手段は、顔検出結果として少なくとも顔の有無および顔の大きさの情報を前記特殊処理手段に供給し、
   前記特殊処理手段は、特殊処理としてソフトフォーカス処理を行う際に、顔の有無および顔の大きさの情報に応じて、ソフトフォーカス処理の強度を変更する請求項２に記載の画像処理装置。
4. 前記顔検出手段は、顔検出結果として少なくとも顔の有無および顔の位置の情報を前記特殊処理手段に供給し、
   前記特殊処理手段は、特殊処理としてクロスフィルタ処理を行う際に、顔の有無および顔の位置の情報に応じて、クロスフィルタ処理による光が顔領域に掛からないようにクロスフィルタ処理の条件を設定する請求項２または３に記載の画像処理装置。
5. 前記顔検出手段は、顔検出結果として少なくとも顔の有無および顔の位置の情報を前記特殊処理手段に供給し、
   前記特殊処理手段は、特殊処理として画像合成処理を行う際に、顔の有無および顔の位置の情報に応じて、合成画像が顔領域に掛からないように画像合成処理の条件を設定する請求項２〜４のいずれかに記載の画像処理装置。
6. 前記顔検出手段は、顔検出結果として少なくとも顔の有無および顔の位置の情報を前記特殊処理手段に供給し、
   前記特殊処理手段は、特殊処理としてライティング処理を行う際に、顔の有無および顔の位置の情報に応じて、顔領域でのライティング処理の強度を変更する請求項２〜５のいずれかに記載の画像処理装置。
7. さらに、画像のシーンを判別して、シーンの判別結果を前記特殊処理手段に供給するシーン判別手段を有し、
   前記特殊処理手段は、供給されたシーン判別結果に応じて、実施する特殊処理の処理条件を変更する請求項１〜６のいずれかに記載の画像処理装置。
8. 取得した画像データに画像処理を施す画像処理装置であって、
   取得した画像データの画像のシーンを判別するシーン判別手段と、指定に応じて実施する画像処理である特殊処理を前記画像データに施す特殊処理手段とを有し、
   前記シーン判別手段は、シーン判別結果を前記特殊処理手段に供給し、前記特殊処理手段は、前記シーン判別手段によるシーン判別結果に応じて、実施する特殊処理の処理条件を変更することを特徴とする画像処理装置。
9. 前記特殊処理手段は、特殊処理としてクロスフィルタ処理を行う際に、シーン判別結果に応じて、クロスフィルタ処理の強度、形状、色の少なくとも１つを変更する請求項８に記載の画像処理装置。
10. 前記特殊処理手段は、特殊処理としてライティング処理を行う際に、シーン判別結果に応じて、ライティング処理の強度を変更する請求項８に記載の画像処理装置。
11. さらに、画像データの画像中の顔を検出して、顔検出結果を前記特殊処理手段に供給するする顔検出手段を有し、
    前記特殊処理手段は、供給された顔検出結果に応じて、実施する特殊処理の処理条件を変更する請求項８〜１０のいずれかに記載の画像処理装置。
12. 取得した画像データに、指定に応じて実施する画像処理である特殊処理を施すに際し、前記画像データの画像中から顔検出を行い、この顔検出の結果に応じて、実施する特殊処理の処理条件を変更することを特徴とする画像処理方法。
13. 取得した画像データに、指定に応じて実施する画像処理である特殊処理を施すに際し、前記画像データの画像のシーン判別を行い、このシーン判別結果に応じて、実施する特殊処理の処理条件を変更することを特徴とする画像処理方法。
14. コンピュータに請求項１２に記載の画像処理方法を実行させるための画像処理プログラム。
15. コンピュータに請求項１３に記載の画像処理方法を実行させるための画像処理プログラム。

Images