JP2006113658A - 画像処理装置及び方法、及びプログラムを記録した記憶媒体 - Google Patents

Abstract

【課題】 人物の顔領域内において、ユーザの手間がかからない簡単な方法によって、器官領域とそれ以外の領域を区別して画像処理を実行できなかった。
【解決手段】 入力画像から人物の顔領域および目や口などの器官領域を抽出し、抽出した器官領域毎に処理範囲と処理強度を設定し、設定した処理強度に基づいて鮮鋭化処理を行う。
【選択図】 図１

Description

本発明は、画像データ中から人物の顔および目や口などの器官位置を抽出し、それらの領域に対して鮮鋭化処理を行った後、印字媒体にプリントするための画像処理装置、および方法、および該方法を実行するためのプログラムを記憶した記憶媒体に関する。

近年のコンシューマ向け昇華型、あるいはインクジェット方式のプリンタの進歩は著しい。特にインクジェット方式においては、プリントヘッドの印字解像度は４８００ｄｐｉを超え、インクドロップの小滴化も向上したため、非常に高精彩な画像を、粒状感をほとんど感じないレベルでプリントすることが可能となっている。このような背景から、近年では、デジタルカメラで撮影した画像を自宅でプリントアウトするＨｏｍｅ ＤＰＥ（Ｄｅｖｅｌｏｐｍｅｎｔ Ｐｒｉｎｔ Ｅｎｌａｒｇｅｍｅｎｔ）が一般ユーザにも浸透している。

しかし、一般のユーザがデジタルカメラを用いて撮像した画像は、様々な要因により鮮鋭度が失われ、いわゆる「ボケて」いる状態となっていることが多い。画像がボケる原因としては、まず手ぶれなどの撮影テクニック上の問題がある。特に、デジタルカメラの撮影モードをＡｕｔｏにしたまま、光量の少ない環境下で撮影を行うと手ぶれを生じやすい。また、オートフォーカスで撮影を行うと、被写体にピントを合わせたつもりでも、背景にピントが合ってしまい、肝心の被写体がボケているという失敗写真も数多く存在する。また、普及価格帯の望遠レンズを用いて撮影を行うと、レンズの特性から鮮鋭度が失われることも多い。以上述べたような様々な要因により画像の鮮鋭度が低下すると、プリンタの性能を１００％発揮することができないという問題がある。この問題を解消するためには、なんらかのエッジ強調処理を行って鮮鋭度を向上させてプリントすることが望ましい。

ところで、一般のユーザが撮影する主な被写体は、人物の顔であることがよく知られている。従って、上記問題を解決するためには、画像中から顔領域を抽出し、同領域に対して鮮鋭化処理を行うことが望ましい。このような処理の例として、特許文献１がある。特許文献１では、顔領域を抽出し、同領域に対して鮮鋭化処理を行うが、その際に、顔のサイズが小さくなるほどエッジ強調の度合いを強くすることで、小さいサイズの画像は目鼻立ちをよりはっきりさせ、サイズの大きい顔に対しては、人肌上のノイズを増幅させない処理が可能であるとしている。
特開平９−２３３４２３号公報

ところで、一般的な撮影テクニックでは、人物のポートレート写真を撮影する場合には、人物の顔の中でも特に目にピントを合わせることが基本とされている。また、被写界深度を極力浅くして目の部分だけにピントを合わせ、その他の肌の領域は多少のボケを加えることにより、目はシャープにし、かつ人肌はより滑らかに表現するテクニックも知られている。

以上のようなことから、前述したような人物の顔領域のボケを取り除くためのフィルタ処理を行う際には、できるだけ肌領域には鮮鋭化処理を行わず、顔の中の目や口といった各器官位置に対してのみ鮮鋭化処理を行うことにより、上記撮影テクニックを適用したような画像を得ることができる。

しかし、上記従来例では、顔領域に対して均一の鮮鋭化処理を施すため、上記のように器官領域とそれ以外の領域とを区別することができなかった。その結果、肌領域に対しても同様に鮮鋭化処理が施されるため、ノイズが強調され、その結果、滑らかに表現すべきはずの肌がざらついたような画像になるという不具合がある。

また、近年では、パソコンを利用して画像を加工、補正するためのソフトウェアが数多く市販されている。このようなソフトウェアを用いれば、上記問題を解決することが可能である。すなわち、該ソフトウェア上で所望の画像を表示し、選択領域指定機能を用いて目の領域付近を選択し、同領域に対してアンシャープマスクなどの鮮鋭化処理を適用するというものである。しかし、このような方法は、ユーザが所望の領域を一つずつ指定する必要があり、非常に手間がかかる。また、一般的なソフトウェアでは、選択領域内は均一の強度でフィルタ処理が施されるため、選択領域の境界が不自然に目立つという問題も存在する。

以上述べたように、従来から提案されている方法には、人物の顔領域内において、ユーザの手間がかからない簡単な方法によって、器官領域とそれ以外の領域を区別して画像処理を実行するようなものは提案されていなかった。

本発明は、上述の問題点に着目してなされたものであって、画像中から人物の顔および目や口等の器官領域を自動で検出し、同器官領域とそれ以外の領域を区別して鮮鋭化処理を施すことにより、人物の顔の器官領域のみを強調した画像を、ユーザの簡単な操作で得ることができる画像処理装置及び方法、及びプログラムを記録した記憶媒体を提供することを目的とする。

上記問題を解決するために、本発明の画像処理装置は以下の手段を備える。

すなわち、画像中から人物の顔および器官領域を抽出し、該顔あるいは器官領域に対して処理を行う画像処理装置において、
画像を入力する手段と、
該入力画像から人物の顔領域および目や口などの器官領域を抽出する抽出手段と、
抽出した器官領域毎に処理範囲を設定する処理範囲設定手段と、
抽出した器官の種類毎に異なる処理強度を設定する処理強度設定手段と、
前記処理範囲に対して前記処理強度設定手段で設定した処理強度に基づいて鮮鋭化処理を行う鮮鋭化処理手段を備える。

また、上記問題を解決するために、本発明の画像処理方法は以下の工程を備える。

すなわち、
画像中から人物の顔および器官領域を抽出し、該顔あるいは器官領域に対して処理を行う画像処理方法において、
画像を入力する工程と、
該入力画像から人物の顔領域および目や口などの器官領域を抽出する抽出工程と、
抽出した器官領域毎に処理範囲を設定する処理範囲設定工程と、
抽出した器官の種類毎に異なる処理強度を設定する処理強度設定工程と、
前記処理範囲に対して前記処理強度設定工程で設定した処理強度に基づいて鮮鋭化処理を行う鮮鋭化処理工程を備える。

画像中から人物の顔および目や口等の器官領域を自動で検出し、同器官領域とそれ以外の領域を区別して鮮鋭化処理を施すことにより、人物の顔の器官領域のみを強調した画像を、ユーザの簡単な操作で得ることが可能となる。

さらに、画像中からの顔および器官領域の抽出に失敗した場合でも、わかりやすい警告を表示することにより、ユーザは必要最小限な操作を行うだけで、所望の領域のみを強調した画像を得ることが可能となる。

以下、出願人が提案した発明について説明する。

以降で説明する処理は、主として、プリンタエンジンへ出力すべき画像情報を作成するコンピュータ内のプリンタドライバソフト、もしくは、スキャナ等の光学読取り装置を動作させるためのドライバソフト、もしくはアプリケーションソフトとして内蔵することが効率的であるが、複写機、ファクシミリ、プリンタ本体等にハードウェア、及びソフトウェアとして内臓することにも効果がある。

図１は、本発明の方法を実行するためのハードウェア構成を示している。同図において、本発明が実行されるコンピュータ１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ディスプレイなどの表示装置１０４、キーボード１０７、マウス１０６などのユーザインターフェース、ハードディスクなどの２次記憶装置１０５、他のコンピュータやプリンタ１０９などと接続するためのインターフェース１０８とで構成されている。

（処理概要）
図２は、本実施例における処理のブロック図を示している。以下、同図を見ながら処理の概要を説明する。

同図に示すように、本発明は、顔・器官検出部２０１、処理範囲設定部２０２、器官毎最大処理強度決定部２０３、鮮鋭化処理部２０４によって構成されている。

まず、入力画像が端子２００から入力される。本実施例では、入力画像はデジタルカメラやデジタルビデオカメラで撮影された結果得られた静止画像や、スキャナなどで原稿を読み込んだ結果得られた画像や、デジタルビデオカメラで撮影された動画中の１フレームを抽出した結果得られた画像などを想定している。また、本実施例では入力画像はＲＧＢ各色８ｂｉｔで構成された画像データを想定して説明を行うが、本発明はこれに限定するものではなく、例えばモノクロ画像に対しても容易に適用できることは言うまでもない。

入力画像は、顔・器官位置検出部２０１に入力され、同部において画像中から人物の顔および目や鼻、口などの器官位置を検出する。検出された顔および器官領域の位置情報は、後段の処理範囲設定部２０２や器官毎最大処理強度決定部２０３に入力され利用されることになる。

次に、入力画像は処理範囲設定部２０２に入力され、同部において、前記器官・顔検出部で検出した目や口などの器官領域周辺に対して鮮鋭化強調処理の適用範囲を決定する。なお、本実施例で用いる鮮鋭化処理としてはアンシャープマスク処理を例に挙げて説明する。アンシャープマスク処理のアルゴリズムは、公知である以下の式により表現することができる。

Ｓ´＝Ｓ＋ｋ・（Ｕ−Ｓ） （式１）。

上式のうち、Ｓは原画像信号、Ｕは注目画素周辺に対して設定したエリア内の平滑化信号を示している。従って（Ｕ−Ｓ）は、平滑化信号と原画像信号との差分であり、この信号を強調信号と呼ぶ。アンシャープマスクアルゴリズムでは、ある強調係数ｋを乗じた強調信号を原画像に加算することで、鮮鋭化処理を実現している。

次に処理は器官毎最大処理強度決定部２０３に移り、同部において、後段に位置する鮮鋭化処理の最大処理強度を決定する。本実施例では、それぞれの器官領域周辺に対して設定した処理範囲内を、均一の処理強度で鮮鋭化処理を行うわけではなく、処理範囲の中心から外側に向かうに従って、除々に鮮鋭化強度を小さくするような処理を行う。ところで、本実施例で用いるアンシャープマスク処理の処理強度を決定するパラメータとして、以下の２つのパラメータが存在する。一つは平滑化信号を生成するために注目画素周辺に設定するエリアの大きさであり、他方は強調係数ｋである。前者である注目画素周辺エリアの大きさを大きくすると、一般的に注目画素の鮮鋭化強度は強くなる。また、後者である強調係数ｋの値を大きくすると、強調信号が増幅されるため、鮮鋭化強度は強くなる。本実施例ではこれらのうち、前者である注目画素周辺エリアのサイズを、処理範囲内部で画素位置に応じて変化させることで、鮮鋭化強度を変化させることにする。具体的には、鮮鋭化処理範囲の中心の注目画素周辺エリアのサイズが最大であり、中心から外側に向かうに従って、注目画素周辺エリアのサイズを小さくしてゆく。器官毎最大処理強度決定部２０３の目的は、処理領域中心の画素に対して適用する注目画素周辺エリアの最大値を、処理対象となっている器官領域の大きさと、ユーザが指定した鮮鋭化処理の強度に応じて決定する。

次に処理は鮮鋭化処理部２０４に移り、同部において、上記アンシャープマスクアルゴリズムに基づく鮮鋭化処理を行う。同部では、処理範囲決定部で設定された領域に対し、器官毎最大処理強度決定部で決定された最大エリア、あるいはそれより小さいエリアを適用して、アンシャープマスク処理を行う。同部における詳細な処理の説明は後述する。

上記処理が施された画像データは、端子２０５から出力され、ディスプレイ１０４に表示されたり、圧縮処理が施されて２次記憶装置１０５に保存されたり、インターフェース１０８を介して接続されたプリンタ１０９から出力されたりすることになる。

以上が、本実施例における処理の概要である。以下より、各部の詳細な処理について説明する。

（顔・器官検出部）
入力画像データは、顔・器官検出部２０１において、入力画像中から人物の顔および目や口などの器官領域の位置を検出する。顔および器官位置の検出に関しては、従来より様々な方法が提案されている。

例えば出願人が以前提案した特開２００２−１８３７３１号公報によれば、まず、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。該顔候補領域に対して、画素毎の輝度勾配、および輝度勾配の重みを算出し、これらの値が、あらかじめ設定されている理想的な顔基準画像の勾配、および勾配の重みと比較した時に、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する方法が記載されている。

また、特開２００３−３０６６７号公報によれば、まず画像中から肌色領域を検出し、同領域内において、人間の虹彩色画素を検出することにより、目の位置を検出することが可能であるとしている。

さらに、特開平８−６３５９７号公報によれば、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算し、マッチング度が最も高いテンプレートを選択し、最も高かったマッチング度があらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。同テンプレートを用いるこことで、目の位置を検出することが可能であるとしている。

さらに、特開２０００−１０５８２９号公報によれば、まず、鼻画像パターンをテンプレートとし、画像全体、あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する。次に、画像の鼻の位置よりも上の領域を目が存在する領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が度置きい画素の集合である目存在候補位置集合を求める。さらに、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。その距離が最も短くなるクラスタを目が存在するクラスタと決定することで、器官位置の検出が可能であるとしている。

その他、顔および器官位置を検出する方法としては、特開平８−７７３３４号公報、特開２００１−２１６５１５号公報、特開平５−１９７７９３号公報、特開平１１−５３５２５号公報、特開２０００−１３２６８８号公報、特開２０００−２３５６４８号公報、特開平１１−２５０２６７号公報、特許第２５４１６８８号公報など、数多くの手法が提案されており、本発明においてはそれらのうちどのような手法を用いても良い。また、顔および器官位置の検出法については、上記記載に限定されることはなく、その他のどのような手法を用いても構わない。なお、顔および器官位置の検出に関しては、従来方法が様々な文献および特許で開示されているため、ここでの詳細な説明は省略する。

本実施例では、上記従来法を一つ用いるか、あるいは複数の方法を組み合わせることにより、図３に示すような顔領域を示す矩形領域３０１と、図４に示す各器官位置を検出できるものとする。図３の矩形領域は、少なくとも、両目と口を含む領域であり、同矩形領域を顔領域と定義する。また、図４は本実施例で用いる器官位置の座標を示している。本実施例では、目の位置として、左右の目の目尻、目頭の座標を定義する。また、口の位置として、口の左右端部の座標を定義する。以下の処理では、上記座標位置を用いて鮮鋭化処理を行う。

（処理範囲設定部）
処理範囲設定部では、前記検出した器官領域周辺に対して、鮮鋭化処理の対象となる領域を設定する。図５および図６は、検出した目および口に対して設定した処理範囲の例を示している。

上式においてｚ^ｅはパラメータであり、０．１程度の値となることが望ましい。このように、目尻と目頭を結ぶ直線から、楕円の中心位置を上方にシフトさせることにより、人間の目に対してより適切な処理範囲を設定することができる。また、同様の処理範囲設定は他方の目に対しても適用することができる。

上式においてｚ^ｍはパラメータであり、０．１程度の値となることが望ましい。このように、口の左右端部を結ぶ直線から、楕円の中心位置を下方にシフトさせることにより、人間の口に対してより適切な処理範囲を設定することができる。

なお、本実施例においては簡単のため、目尻、目頭位置および口の左右端部位置は水平な状態で説明したが、これらの位置が傾いた状態であったとしても、同様の処理が実行できることは言うまでもない。

（器官毎最大処理強度決定部）
器官毎最大処理強度決定部では、検出した器官位置毎に、鮮鋭化処理の最大処理強度を決定する。本実施例においては、上述したように、後段である鮮鋭化処理部で適用するアンシャープマスクアルゴリズムの、平滑化対象となる注目画素周辺エリアの最大値を決定する。本実施例では、上記最大値は、処理対象となる器官領域の大きさ、およびユーザが指定した鮮鋭化処理の強度に応じて決定する。

図７は、ユーザが処理強度を指定するためのディスプレイ１０４上に表示されるユーザインターフェース（ＵＩ）の例を示している。同図のＵＩでは、ユーザが７０１に示される強度バーにより、所望の処理強度を指定することによって鮮鋭化強度を決定し、実行ボタン７０２を押すことにより、鮮鋭化処理を実行することが可能である。

以下では、図８を参照しながら、注目画素周辺エリアの最大値の決定方法を説明する。図８（ａ）および（ｂ）は、ある基準となる顔領域の大きさＷ_ｓｔｄ×Ｈ_ｓｔｄ（単位：画素）に対する指定強度と強調係数の最大値Ｋ_ｍａｘ、および注目画素周辺エリアの最大値Ｄ_ｍａｘとの関係を示している。なお、Ｗ_ｓｔｄ、Ｈ_ｓｔｄは図９に示すように、基準となる顔領域を表す矩形領域（顔矩形領域）のサイズとなっている。

同図（ａ）を見るとわかるように、本実施例においては、指定強度が変化しても強調係数の最大値Ｋ_ｍａｘは変化しないこととする。また、同図（ｂ）を見ればわかるように、指定強度が強くなるとＤ_ｍａｘも増加するように設定されている。また、Ｄ_ｍａｘは、指定された処理強度が同じであれば、口よりも目の方が大きな値をとるように構成されている。今、検出した領域のサイズを以下のように定義する。

顔領域のサイズ＝Ｗ×Ｈ （式８）

すなわち上式は、Ｄ´_ｍａｘが、基準となる顔サイズとの面積比の平方根に比例して決定できることを示している。すなわち、例えばユーザが図７に示したＵＩで処理強度を「中」と指定した場合、上式により、鮮鋭化処理を適用する顔のサイズが異なったとしても、同様に処理強度が「中」の鮮鋭化処理を適用することが可能となる。なお、Ｄ´_ｍａｘは目および口それぞれに対して求めることになる。

また、本実施例では、指定強度の大きさに応じてアンシャープマスク処理における注目画素周辺エリアのサイズを変化させる方法について述べたが、本発明はこれに限定するものではない。例えば、指定強度の大きさに応じて、アンシャープマスク処理における強調係数Ｋ_ｍａｘを小さくすることにより、アンシャープマスクの処理強度を弱める方法も、当然のことながら含まれる。

（鮮鋭化処理部）
次に、処理は鮮鋭化処理部２０４に移り、検出した全ての顔領域に対して、そこに含まれる各器官位置毎に、前記設定した処理範囲内に対して鮮鋭化処理を適用する。

図１０は、同部における鮮鋭化対象領域である楕円領域（同図（ａ）の外側楕円）と、アンシャープマスクの鮮鋭化強度を決定する注目画素周辺エリアのサイズＤ´の関係を示している。まずは同図について説明する。図１０は、アンシャープマスク処理の処理強度を決定するパラメータの一つである注目画素周辺エリアのサイズＤ´は、同図（ａ）に示す楕円領域内の位置に応じて変化することを示している。具体的には、同図（ａ）に示す内側楕円領域内では、同図（ｂ）に示すようにＤ´＝Ｄ´_ｍａｘで均一であり、内側楕円から外側楕円境界に向かうに従ってＤ´が減衰してゆく様子を示している。同図（ａ）において、内側楕円の短軸、および長軸は、外側楕円の短軸および長軸にある係数ｅを乗じたものとなっている。ｅの値についてはどのような値であっても本実施例の範疇に含まれることは言うまでもないが、ｅ＝０．６〜０．８程度が望ましい。また、同図（ｂ）に示すように、Ｄ´は外側楕円境界において０となるため、鮮鋭化処理領域と非処理領域との境界で不自然な境界等の発生を抑制することが可能となる。

次に、図１１のフローチャートを参照しながら、処理の説明を行う。

鮮鋭化処理部２０４では、検出した各顔位置に対して、前記設定した処理範囲に含まれる画素を対象としてアンシャープマスク処理による鮮鋭化を行う。従って、まずＳ１１０１では、顔領域中心から注目画素位置までの距離を算出し、Ｓ１１０２、およびＳ１１０３において注目画素位置が図１０に示した内側楕円領域内か、または内側楕円領域と外側楕円領域の間の領域かの判定を行う。Ｓ１１０２の判定を満たす場合、注目画素は内側楕円領域内部に存在するため、Ｓ１１０５において注目画素周辺エリアのサイズはＤ´＝Ｄ´_ｍａｘと決定され、Ｓ１１０７に処理は移る。一方、Ｓ１１０２の判定は否であり、Ｓ１１０３の判定を満たす場合には、注目画素は内側楕円領域と外側楕円領域の間の領域に存在することになるため、Ｓ１１０６においてＤ´の算出を行う。Ｄ´は、図１０（ｂ）に示すように、内側楕円境界から外側楕円境界に向かうに従って単調減少するような直線の関数で算出されることが望ましい。もし、Ｓ１１０２およびＳ１１０３の双方の判定が否である場合には、注目画素位置は処理対象範囲に含まれないことになり、Ｓ１１０４で画素位置を移動してＳ１１０１に戻る。

次に、処理はＳ１１０７に行き、同ステップにおいて、注目画素周辺の平坦性を算出する。本実施例では、人物の顔の器官領域に対して鮮鋭化処理を施すことになるが、その際に、目や口のエッジ部だけでなく、比較的平坦な肌領域に対しても同様の処理強度で鮮鋭化を行ってしまうと、ノイズ成分などを増幅し、滑らかな人肌がザラついた印象を与えてしまうという不具合がある。そこで本実施例では、注目画素とその周辺の画素値との差分の絶対和を算出し、同算出結果を平坦性評価量とし、該評価量に応じて鮮鋭化強度を制御する方法を用いる。

図１２は、該平坦性評価量算出に用いる対象画素位置を示している。同図において、中心に位置する画素が現在の注目画素であり、その周辺に１辺を２Ｄ´＋１とする正方領域を設定している。なお、同正方領域は、アンシャープマスクアルゴリズムにおいて平滑化信号を算出する際の領域と同一である。本実施例においては、注目画素値と同図に示す８点の平坦性算出対象画素との差の絶対値の総和を算出し、同算出結果を平坦性評価量Ｅとする。すなわち、Ｅが小さいほど注目画素周辺は平坦な領域である可能性が高く、Ｅが大きいほど注目画素周辺はエッジ部などの変動が大きい領域である可能性が高いことになる。

また図１３は、Ｓ１１０８で用いる平坦性評価量Ｅと強調係数Ｋ´との関係を示している。同図では、Ｅが大きい、すなわち注目画素周辺がエッジ部などの可能性が高い場合には、Ｋ´＝Ｋ_ｍａｘであり、Ｅがある閾値以下になるとＫ´は単調減少し、Ｅ＝０の時Ｋ´＝０．０となる。以上説明したように、平坦性評価量Ｅに応じて強調係数を変化させることで、人肌などの比較的平坦な部分において、鮮鋭化処理を抑制することが可能となる。なお、本発明は、以上説明した平坦性評価方法に限定されるものではなく、その他様々な方法を用いても構わない。例えば、注目画素周辺エリア内画素値の最大最小差を算出し、同値を平坦性評価量として、同様の処理を行うことも容易に考えられる。また、平坦性を検出する領域は、アンシャープマスク処理において平滑化信号を算出する領域と同一である必要はない。

図１１に戻り、処理はＳ１１０９に移る。同ステップでは、Ｓ１１０５およびＳ１１０６およびＳ１１０８で算出したパラメータを用いて、（式１）に示したアルゴリズムに従ってアンシャープマスク処理を行う。処理後、Ｓ１１１０で注目画素が最後の画素か否かを判定し、そうである場合には処理を終了する。

以上説明した鮮鋭化処理は、画像から複数個の顔が検出された場合には、それぞれの顔位置に対して実行される。

以上が、実施例１の説明である。

実施例１では、画像中から自動で顔領域および器官領域を検出し、鮮鋭化処理を行う方法について説明したが、当然のことながら、全ての画像において、正確に顔および器官領域の位置が検出できるわけではない。従って、本実施例では、検出処理が失敗した場合のＵＩの表示と処理の流れについて説明する。

図１４は、本実施例における処理のフローチャートである。以下、同図に沿って説明を行う。同図ではまず、Ｓ１４０１において、図１５に示すようなＵＩによって、ユーザが実行ボタン１５０１を押下したか否かの判定を行う。ユーザが実行ボタンを押下したと判断された場合には、Ｓ１４０２において、画像中からの人物の顔および器官領域の検出処理を実行する。その結果、第１の実施例で説明した顔領域を示す矩形領域は特定できたが、顔内の器官位置の全て、あるいは一部が検出不可能であったか否かの判定を行う（Ｓ１４０３）。同判定が否、すなわち、顔領域および器官領域が全て検出できたと判断された場合には、処理はＳ１４０４に進み、第１の実施例で説明したものと同様の処理範囲設定処理を行った後、Ｓ１４１２において各器官毎に最大処理量を決定し、Ｓ１４１３において鮮鋭化処理を実行する。

Ｓ１４０３による判定を満たす場合、すなわち、顔領域は特定できるが、顔内の器官位置の全て、あるいは一部が検出できなかった場合、処理はＳ１４０５に進み、図１５に示すような警告１５０２を表示する。同警告には顔領域が検出できなかった旨の文言が表示されており、ユーザに１点指定による鮮鋭化処理の実行を促している。１点指定による鮮鋭化処理とは、図１６に示すように、１６０１においてユーザが今から処理する領域の器官の種類を指定し、マウスポインタ１６０２などで画像中の所望の処理領域の中心を１点指定することにより、処理範囲を推定し、同範囲に対して鮮鋭化処理を行うというものである。

上式は、目領域の長軸は、顔矩形領域の横幅の１／６、口領域の長軸は、顔矩形領域の横幅の１／４となることを意味している。また、楕円領域の長軸と短軸の比は、目領域の場合２：１、口領域の場合３：１となることを意味している。また、楕円の方向は、検出した顔矩形領域の方向に依存して容易に決定することができる。

Ｓ１４０８において、上記方法により処理範囲が決定した後は、第１の実施例で示したものと同様の方法により、Ｓ１４１２において器官毎に最大処理量を決定し、Ｓ１４１３において鮮鋭化処理を実行する。

また、上記１点指定による処理領域指定を行う場合に、図１７に示すように、顔矩形領域に含まれない位置を１点指定した場合には、１７０１に示すような警告を表示してもよい。

一方、Ｓ１４０７の判定を満たす場合、すなわち、器官位置のみならず、顔矩形領域も特定できなかった場合には、処理はＳ１４０９に進み、図１８に示すような警告１８０１を表示する。この警告は、顔領域が特定できないため１点指定が不可能である旨が記載されており、ユーザに図１９のような矩形領域による指定を行うよう促している。

Ｓ１４１０の判定によって、ユーザが支持された通り矩形領域を指定した場合には、処理はＳ１４１１に移り、指定された矩形領域に内接する楕円領域を処理範囲として設定する。以降は、第１の実施例で示したように、Ｓ１４１２において器官毎に最大処理量を決定し、Ｓ１４１３において鮮鋭化処理を実行する。

また、上記矩形領域の縦横比は、図１９の器官選択において選択された器官領域の種類によって変化させてもよい。例えば、同図の器官選択において目が指定された場合には縦横比は１：２、口が指定された場合には縦横比は１：３にしてもよい。

以上が、実施例２の説明である。

［その他の実施例］
また、上記実施例では、鮮鋭化処理としてアンシャープマスク処理を例に挙げて説明したが、本発明はこれに限定するものではなく、その他の鮮鋭化フィルタ処理を行ってもよい。また、画像に対して直交変換を行い、その高周波成分を強調した後、逆変換を行って、画像を鮮鋭化しても構わない。また、鮮鋭化処理以外の平滑化処理などを行ってもよい。

また、上記実施例では、画像中から検出した器官領域のみに対して鮮鋭化処理を行ったが、本発明はこれに限定するものではない。例えば、検出した器官領域以外の顔領域に対して、非常に弱い強度で鮮鋭化処理を行ってもよいし、逆に平滑化フィルタ処理を施してもよい。

また、上記実施例では、器官として目と口領域を例に挙げて説明したが、本発明はこれに限定するものではない。例えば、鼻や耳などその他の器官領域を処理対象としても構わない。

また、本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明が動作するハードウェア構成を示した図 第１の実施例における処理のブロック図 顔矩形領域の定義を示す図 器官座標位置の定義を示す図 目領域に対して設定した処理範囲の例を示す図 口領域に対して設定した処理範囲の例を示す図 第１の実施例におけるＵＩの例を示す図 第１の実施例における指定強度と最大処理強度との関係を示す図 顔矩形領域のサイズの定義を示す図 処理範囲内の鮮鋭化処理強度の変化を示す図 鮮鋭化処理のフローチャート 平坦性評価量を算出する際の対象となる画素を示す図 平坦性評価量と強調係数の関係を示す図 第２の実施例における処理のフローチャート 警告を説明するための図 １点指定を説明するための図 警告を説明するための図 警告を説明するための図 矩形領域指定を説明するための図

Claims (17)

1. 画像中から人物の顔および器官領域を抽出し、該顔あるいは器官領域に対して処理を行う画像処理装置であって、
   画像を入力する手段と、
   該入力画像から人物の顔領域および目や口などの器官領域を抽出する抽出手段と、
   抽出した器官領域毎に処理範囲を設定する処理範囲設定手段と、
   抽出した器官の種類毎に異なる処理強度を設定する処理強度設定手段と、
   前記処理範囲に対して前記処理強度設定手段で設定した処理強度に基づいて鮮鋭化処理を行う鮮鋭化処理手段を備えることを特徴とする画像処理装置。
2. 画像中から人物の顔および器官領域を抽出し、該顔あるいは器官領域に対して処理を行う画像処理装置であって、
   画像を入力する手段と、
   該入力画像から人物の顔領域および目や口などの器官領域を抽出する抽出手段と、
   前記抽出手段において、顔領域は抽出可能であり、器官領域が抽出不可能であった場合、警告を表示する警告表示手段と、
   ユーザが画像中の任意個所を指定するための指定手段と、
   前記指定手段で指定された位置周辺に処理範囲を設定する処理範囲設定手段と、
   前記処理範囲に対する処理強度を設定する処理強度設定手段と、
   前記処理範囲に対して前記処理強度設定手段で設定した処理強度に基づいて鮮鋭化処理を行う鮮鋭化処理手段を備えることを特徴とする画像処理装置。
3. 画像中から人物の顔および器官領域を抽出し、該顔あるいは器官領域に対して処理を行う画像処理装置であって、
   画像を入力する手段と、
   該入力画像から人物の顔領域および目や口などの器官領域を抽出する抽出手段と、
   前記抽出手段において、顔領域と器官領域の抽出が不可能であった場合、警告を表示する警告表示手段と、
   ユーザが画像中の任意領域を指定するための領域指定手段と、
   前記領域指定手段で指定された領域に処理範囲を設定する処理範囲設定手段と、
   前記処理範囲に対する処理強度を設定する処理強度設定手段と、
   前記処理範囲に対して前記処理強度設定手段で設定した処理強度に基づいて鮮鋭化処理を行う鮮鋭化処理手段を備えることを特徴とする画像処理装置。
4. 前記抽出手段は、少なくとも人物の目領域を抽出することを特徴とする請求項１〜３いずれかに記載の画像処理装置。
5. 請求項１に記載の処理範囲設定手段は、処理範囲として楕円領域を設定し、その長軸と短軸の比は前記抽出手段で抽出した器官の種類に応じて決定することを特徴とする請求項１に記載の画像処理装置。
6. 前記処理強度設定手段は、
   器官領域のうち人物の目に対する処理強度が最も強くなるように、処理強度の設定を行うことを特徴とする請求項１〜３いずれかに記載の画像処理装置。
7. 前記鮮鋭化処理手段は、アンシャープマスク処理を適用することを特徴とする請求項１〜３いずれかに記載の画像処理装置。
8. 請求項２の記載の処理範囲設定手段は、ユーザが器官の種類を指定するための器官選択手段を備え、かつ処理範囲として楕円領域を設定し、その長軸と短軸の長さは前記抽出手段で抽出した顔領域の大きさと、前記器官選択手段によって指定された器官の種類に応じて設定することを特徴とする請求項２に記載の画像処理装置。
9. 画像中から人物の顔および器官領域を抽出し、該顔あるいは器官領域に対して処理を行う画像処理方法であって、
   画像を入力する工程と、
   該入力画像から人物の顔領域および目や口などの器官領域を抽出する抽出工程と、
   抽出した器官領域毎に処理範囲を設定する処理範囲設定工程と、
   抽出した器官の種類毎に異なる処理強度を設定する処理強度設定工程と、
   前記処理範囲に対して前記処理強度設定工程で設定した処理強度に基づいて鮮鋭化処理を行う鮮鋭化処理工程を備えることを特徴とする画像処理方法。
10. 画像中から人物の顔および器官領域を抽出し、該顔あるいは器官領域に対して処理を行う画像処理方法であって、
    画像を入力する工程と、
    該入力画像から人物の顔領域および目や口などの器官領域を抽出する抽出工程と、
    前記抽出工程において、顔領域は抽出可能であり、器官領域が抽出不可能であった場合、警告を表示する警告表示工程と、
    ユーザが画像中の任意個所を指定するための指定工程と、
    前記指定工程で指定された位置周辺に処理範囲を設定する処理範囲設定工程と、
    前記処理範囲に対する処理強度を設定する処理強度設定工程と、
    前記処理範囲に対して前記処理強度設定工程で設定した処理強度に基づいて鮮鋭化処理を行う鮮鋭化処理工程を備えることを特徴とする画像処理方法。
11. 画像中から人物の顔および器官領域を抽出し、該顔あるいは器官領域に対して処理を行う画像処理方法であって、
    画像を入力する工程と、
    該入力画像から人物の顔領域および目や口などの器官領域を抽出する抽出工程と、
    前記抽出工程において、顔領域と器官領域の抽出が不可能であった場合、警告を表示する警告表示工程と、
    ユーザが画像中の任意領域を指定するための領域指定工程と、
    前記領域指定工程で指定された領域に処理範囲を設定する処理範囲設定工程と、
    前記処理範囲に対する処理強度を設定する処理強度設定工程と、
    前記処理範囲に対して前記処理強度設定工程で設定した処理強度に基づいて鮮鋭化処理を行う鮮鋭化処理工程を備えることを特徴とする画像処理方法。
12. 前記抽出工程は、少なくとも人物の目領域を抽出することを特徴とする請求項９〜１１いずれかに記載の画像処理方法。
13. 請求項９に記載の処理範囲設定工程は、処理範囲として楕円領域を設定し、その長軸と短軸の比は前記抽出工程で抽出した器官の種類に応じて決定することを特徴とする請求項９に記載の画像処理方法。
14. 前記処理強度設定工程は、
    器官領域のうち人物の目に対する処理強度が最も強くなるように、処理強度の設定を行うことを特徴とする請求項９〜１１いずれかに記載の画像処理方法。
15. 前記鮮鋭化処理工程は、アンシャープマスク処理を適用することを特徴とする請求項９〜１１いずれかに記載の画像処理方法。
16. 請求項１０の記載の処理範囲設定工程は、ユーザが器官の種類を指定するための器官選択工程を備え、かつ処理範囲として楕円領域を設定し、その長軸と短軸の長さは前記抽出工程で抽出した顔領域の大きさと、前記器官選択工程によって指定された器官の種類に応じて設定することを特徴とする請求項１０に記載の画像処理方法。
17. 請求項９〜１６いずれかに記載の画像処理方法を構成する工程を実行するためのコンピュータ読み取り可能とすることを特徴とするプログラムを記憶した記憶媒体。