JP2006343863A - 画像処理装置及びその方法 - Google Patents

Abstract

【課題】 階調補正後の画像に対して鮮鋭化処理を施すと、通常の画像に対して鮮鋭化処理を施した場合に比べ、よりノイズを目立たせる結果となってしまう。
【解決手段】 ＵＩにより指示された階調補正の強度に応じて、画像データに対して階調補正を施す階調補正部２０１と、画像データに含まれる顔領域を含む処理範囲を設定する処理範囲設定部２０３と、処理範囲設定部２０３で設定された処理範囲の大きさと階調補正の強度とに応じて、その処理範囲に対する処理強度を決定する最大処理強度決定部２０４と、最大処理強度決定部２０４で決定された処理強度を用いて画像データに対して鮮鋭化処理を施す鮮鋭化処理部２０５とを有する。
【選択図】 図２

Description

本発明は、画像に含まれる顔領域に対して鮮鋭化処理を行う画像処理装置及びその方法に関する。

近年、コンシューマ向けの昇華型或はインクジェット方式のプリンタの進歩が著しく、特にインクジェット方式では、インクジェットヘッドの解像度が４８００ｄｐｉを超え、インクドロップの小滴化も向上したため、非常に高精彩なカラー画像を粒状感をほとんど感じない程度でプリントできるようになっている。これにより近年、このようなプリンタを使用して、デジタルカメラで撮影した画像を自宅で印刷するHome DPE（Development Print Enlargement）が一般ユーザにも浸透している。

一般のユーザがデジタルカメラを用いて撮像した画像は、様々な要因により鮮鋭度が失われ、いわゆる「ボケて」いる状態となっている場合が多い。画像がボケる原因としては、まず手ぶれなどの撮影テクニック上の問題がある。特に、デジタルカメラの撮影モードをオートにしたまま、光量の少ない環境下で撮影を行うと手ぶれを生じやすい。また、オートフォーカスで撮影を行うと、被写体にピントを合わせたつもりでも、撮影するタイミングで背景にピントが合ってしまい、肝心の被写体がボケるという失敗写真も数多く見られる。また、普及価格帯の望遠レンズを用いて撮影を行うと、その望遠レンズの特性により、撮影された画像の鮮鋭度が失われることも多い。以上述べたような様々な要因により画像の鮮鋭度が低下すると、せっかく高解像度のプリンタにより印刷を行っても、そのプリンタの性能が十分に生かされない。このような問題を解消するためには、何らかのエッジ強調処理を行って、画像の鮮鋭度を向上させてプリントすることが望ましい。

ところで、一般のユーザが撮影する主な被写体は、人物の顔であることがよく知られている。従って、上記問題を解決するためには、画像から顔領域を抽出し、その顔領域に対して鮮鋭化処理を行うことが考えられる。このような処理例に特許文献１がある。この文献では、顔領域を抽出し、その顔領域に対して鮮鋭化処理を行っている。その際、顔のサイズが小さくなるほどエッジ強調の度合いを強くすることで、小さいサイズの画像は目鼻立ちを、よりはっきりさせ、サイズの大きい顔に対しては、人肌上のノイズを増幅させない処理が可能であるとしている。
特開平９−２３３４２３号公報

しかし上記従来技術では、画像から主被写体領域を抽出し、その領域に対して鮮鋭化処理を行っている。一般的な鮮鋭化処理を行う場合、その前段で行われた画像処理によっては、同じ強度で鮮鋭化処理を施しても不具合が生じる場合がある。例えば、逆光補正と鮮鋭化処理とを組み合わせた場合を考える。一般ユーザが、デジタルカメラ等の撮像装置を用いて画像を撮影する際の高頻度の失敗画像として逆光画像がある。例えば、人物を逆光状態で撮影すると、人物の顔領域は周囲の背景に比べ暗く写ってしまう。このような画像は、ガンマ補正などの階調補正手段を用いることによって補正する処理が考えられる。この場合は、例えば図４に示すような階調曲線を用いて、暗い領域の輝度値を持ち上げるように補正する。尚、同図において、横軸は各画素のオリジナル画素値であり、縦軸は階調補正後の値を示している。同図には２種類の階調曲線が示されており、Curve１よりもCurve２の方が、画像全体をより明るく補正することが可能である。

一方、近年のデジタルカメラ等に使用されているＣＣＤやＣＭＯＳ等の撮像素子は、一般的に暗部における感度が低いため、撮影画像の暗い部分にはいわゆる「暗部ノイズ」が発生することが知られている。従って、暗く写った画像に対して上述した階調補正処理を施すと、暗部ノイズも増幅されることになる。更に、この階調補正後の画像に対して鮮鋭化処理を施すと、通常の画像に対して鮮鋭化処理を施した場合に比べ、よりノイズを目立たせる結果となってしまう。

本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
画像に含まれる人物の顔領域に対して鮮鋭化処理を施す画像処理装置であって、
階調補正の強度を指示する強度指示手段と、
前記強度指示手段により指示された階調補正の強度に応じて、画像データに対して階調補正を施す階調補正手段と、
前記画像データに含まれる顔領域を含む処理範囲を設定する処理範囲設定手段と、
前記処理範囲設定手段で設定された前記処理範囲の大きさと前記階調補正の強度とに応じて、前記処理範囲に対する処理強度を決定する処理強度決定手段と、
前記処理強度決定手段で決定された処理強度を用いて前記画像データに対して鮮鋭化処理を施す鮮鋭化処理手段とを有することを特徴とする。

本発明の一態様に係る画像処理装置の画像処理方法は以下のような工程を備える。即ち、
画像に含まれる人物の顔領域に対して鮮鋭化処理を施す画像処理装置における画像処理方法であって、
階調補正の強度を指示する強度指示工程と、
前記強度指示工程で指示された階調補正の強度に応じて、画像データに対して階調補正を施す階調補正工程と、
前記画像データに含まれる顔領域を含む処理範囲を設定する処理範囲設定工程と、
前記処理範囲設定工程で設定された前記処理範囲の大きさと前記階調補正の強度とに応じて、前記処理範囲に対する処理強度を決定する処理強度決定工程と、
前記処理強度決定工程で決定された処理強度を用いて前記画像データに対して鮮鋭化処理を施す鮮鋭化処理工程とを有することを特徴とする。

本発明によれば、鮮鋭化処理の前段で処理される処理の強度に応じて鮮鋭化処理における処理強度を決定して鮮鋭化処理を行うことにより、前段で生じたノイズ成分が鮮鋭化処理で強調されるのを抑制できる効果がある。

以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。尚、以下で説明する処理機能は、主として、プリンタエンジンへ出力すべき画像情報を作成するコンピュータ（ＰＣ）のプリンタドライバソフトで実現される場合で説明する。しかし本発明はこれに限定されるものでなく、スキャナ等の光学読取り装置を動作させるためのドライバソフト、又はアプリケーションソフトとして内蔵されても良く、また或は複写機、ファクシミリ、プリンタ本体等のハードウェア、或はソフトウェアの機能として内蔵されても良い。

図１は、本発明の実施の形態に係るホストコンピュータ（ＰＣ）とプリンタとを接続したシステムの構成を説明する図である。

図において、コンピュータ（ＰＣ）１００は、コンピュータ１００全体の動作を制御するＣＰＵ１０１、ＣＰＵ１０１により実行されるプログラムやデータを記憶しているＲＯＭ１０２、２次記憶装置１０５からロードした、ＣＰＵ１０１により実行されるアプリケーションプログラムやＯＳなどを記憶すると共に、ＣＰＵ１０１による制御処理時に各種データを一時的に格納するワークエリアを提供するＲＡＭ１０３、ディスプレイなどの表示装置１０４、キーボード１０７、マウス１０６などのユーザインターフェース（ＵＩ）を備えている。ハードディスクなどの２次記憶装置１０５には、ＯＳや各種アプリケーションがインストールされており、これらＯＳやプログラムは実行時にＲＡＭ１０３にロードされて実行される。またインターフェース１０８は、他のコンピュータやプリンタ１０９などと接続しており、このインターフェース１０８はネットワークなどとの接続も可能である。更に、このインターフェース１０８は有線だけでなく、無線によるデータのやり取りも可能である。

図２は、本実施の形態１に係るＰＣ１００における画像処理の機能を説明するブロック図である。

この画像処理は、階調補正部２０１、顔・器官位置検出部２０２、処理範囲設定部２０３、最大処理強度決定部２０４、鮮鋭化処理部２０５の機能を有している。

本実施の形態では、入力端子２００から画像データは、例えばデジタルカメラで撮影された画像や、スキャナなどの光学読取装置で原稿を読み込んで得られた画像や、デジタルビデオカメラで撮影された動画中の１フレームを抽出した画像などの画像データを想定している。また本実施の形態では、この画像データはＲＧＢ各８ビットで構成された画像データを想定して説明するが、本発明はこれに限定するものではなく、例えばモノクロ画像に対しても容易に適用できることは言うまでもない。

この画像データは階調補正部２０１に入力され、階調補正処理が行われる。本実施の形態では、最も簡単なガンマ補正を例にして説明する。例えばここではガンマ補正を行って、人物などの主被写体が暗くなっている場合にはその画像を明るくするような階調補正を行う。また、この際に用いた階調補正の処理強度は、後段の最大処理強度決定部２０４に入力される。

この階調補正部２０１で階調補正された後の画像データは、顔・器官位置検出部２０２に入力される。この顔・器官位置検出部２０２は、この画像データから人物の顔、目や鼻、口などの器官の位置を検出する。ここで検出された顔領域の位置情報は、後段の処理範囲設定部２０３や最大処理強度決定部２０４に入力されて利用される。

次に、画像データは処理範囲設定部２０３に入力される。この処理範囲設定部２０３は、顔・器官位置検出部２０２で検出した顔領域に対して、鮮鋭化強調処理を適用する範囲を決定する。尚、本実施の形態で用いる鮮鋭化処理を、アンシャープマスク処理を例に挙げて説明する。このアンシャープマスク処理のアルゴリズムは、公知である以下の式（１）により表される。

Ｓ'＝Ｓ＋ｋ・（Ｕ−Ｓ） ...式（１）
ここで、Ｓは原画像信号、Ｕは注目画素周辺に対して設定したエリア内の平滑化信号を示している。従って（Ｕ−Ｓ）は、原画像信号と平滑化信号との差分の絶対値であり、この信号を強調信号と呼ぶ。アンシャープマスクアルゴリズムでは、ある強調係数ｋを乗じた強調信号（Ｕ−Ｓ）を原画像Ｓに加算することで鮮鋭化処理を実現し、鮮鋭化処理済の画像をＳ'で表している。

次に最大処理強度決定部２０４において、後段に位置する鮮鋭化処理部２０５における鮮鋭化処理の最大処理強度を決定する。本実施の形態に係る鮮鋭化処理では、顔領域周辺に対して設定した処理範囲を均一の処理強度で鮮鋭化するのではなく、顔領域の中心から外側に向かうに従って、除々に鮮鋭化強度を小さくするような処理を行う。ところで、本実施の形態で用いるアンシャープマスク処理の処理強度を決定するパラメータとして、以下の２つのパラメータが存在する。一方は、平滑化信号を生成するために注目画素周辺に設定するエリアの大きさである。他方は強調係数である。前者である注目画素周辺エリアの大きさを大きくすると、一般的に注目画素の鮮鋭化強度は強くなる。また後者の強調係数の値を大きくすると、強調信号が増幅されるため鮮鋭化強度は強くなる。

本実施の形態ではこれらの内、前者である注目画素周辺エリアのサイズを、処理範囲内部で画素位置に応じて変化させることで鮮鋭化強度を変化させる。具体的には、鮮鋭化処理範囲の中心の注目画素周辺エリアのサイズが最大であり、中心から外側に向かうに従って、注目画素周辺エリアのサイズを小さくしてゆく。この最大処理強度決定部２０４の目的は、処理領域中心の画素に対して適用する注目画素周辺エリアの最大値を、処理対象となっている顔領域の大きさと、ユーザが指定した鮮鋭化処理の強度、及び階調補正部２０１から入力された階調補正強度に応じて決定することにある。

鮮鋭化処理部２０５は、上記アンシャープマスクアルゴリズムに基づく鮮鋭化処理を行う。ここでは処理範囲設定部２０３で設定された領域に対し、最大処理強度決定部２０４で決定された最大エリア、或はそれより小さいエリアを適用して、アンシャープマスク処理を行う。尚、この鮮鋭化処理部２０５における詳細な処理の説明は後述する。

このような処理が施された画像データは端子２０６から出力され、表示装置１０４に表示されたり、また圧縮処理が施されて２次記憶装置１０５に保存される。また或は、インターフェース１０８を介して接続されたプリンタ１０９に送られて印刷される。

以上が、本実施の形態に係る処理の概要説明である。以下より、各部の詳細な処理について説明する。

階調補正部２０１は、上述したように、階調補正として最も簡単なガンマ補正を例にして説明するが、本発明はこれに限定されるものではない。一般的なガンマ補正の式は、次式によって与えられることが知られている。

Ｖout／２５５＝（Ｖin／２５５）1/γ
上式において、Ｖin及びＶoutは、それぞれ８ビット階調の入力画素値と出力画素値を想定している。また、γは補正量を表すパラメータであり、γ＝１．０で入力画素値と出力画素値は一致し、γの値が「１．０」よりも大きくなるに従って、各画素値が明るい方向に補正されることになる。例えば、γ＝１．５，Ｖin＝１２８の場合、Ｖout＝１８０となる。

階調補正部２０１では、上記ガンマ補正を入力画像の各画素に対して施すことにより、特に暗部、中間調部分が明るくなるような補正を行う。尚、この階調補正は、入力された画像を構成するＲＧＢの各要素に対して施してもよいし、ＹＣbＣr等の輝度色差成分のうち、輝度成分Ｙのみに対して施してもよい。

また、この際の補正強度は、例えば、図３に示すようなユーザインタフェース（UI）によって、ユーザが指定することも可能である。

図３は、ユーザが処理強度を指定するための表示装置１０４に表示されるユーザインターフェース（ＵＩ）の一例を示している。

同図のＵＩでは、ガンマ補正の強度をボックス３０１に入力する数値により、１０段階で指定できる。ユーザはチェックボックス３０４をチェックして、ボックス３０１でガンマ補正の強度を指定した後、実行ボタン３０３を指示することにより所望の階調補正処理を実行させることができる。

またユーザは、ボックス３０２に入力する数値により１０段階で鮮鋭化強度を設定できる。ユーザはチェックボックス３０５をチェックして、ボックス３０２の所望の鮮鋭化処理の強度を入力して実行ボタン３０３を押すことにより、鮮鋭化処理を実行させることが可能である。

ここでユーザが指定した階調補正の強度をＬとする。実際に処理を行う際には、予め１０段階の指定強度との値を１対１に対応付けておき、入力された指定強度に相当するγ値を用いて階調補正を行えばよい。また、このときに設定された階調補正の強度は、後段の最大処理強度決定部２０４に入力される。これにより最大処理強度決定部２０４は、この指定された階調補正強度を鮮鋭化処理の最大処理強度を決定する際のパラメータの一つとして利用する。

階調補正後の画像データは、顔・器官位置検出部２０２において、入力画像中から人物の顔および目や口などの器官の位置情報を検出する。顔および器官位置の検出に関しては、従来より様々な方法が提案されている。例えば本願出願人が以前提案した特開２００２−１８３７３１号公報によれば、まず入力画像から目領域を検出し、目領域周辺を顔候補領域とする。該顔候補領域に対して、画素毎の輝度勾配、及び輝度勾配の重みを算出し、これらの値が予め設定されている理想的な顔基準画像の勾配、及び勾配の重みと比較した時に、各勾配間の平均角度が所定の閾値以下であった場合、入力画像が顔領域を有すると判定する方法が記載されている。また特開２００３−３０６６７号公報によれば、まず画像中から肌色領域を検出し、同領域内において、人間の虹彩色画素を検出することにより、目の位置を検出している。更に、特開平８−６３５９７号公報によれば、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算し、マッチング度が最も高いテンプレートを選択し、最も高かったマッチング度が予め定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。またこのテンプレートを用いることで、目の位置を検出することが可能であるとしている。更に、特開２０００−１０５８２９号公報によれば、まず、鼻画像パターンをテンプレートとし、画像全体、或は画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する。次に、画像の鼻の位置よりも上の領域を目が存在する領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が度置きい画素の集合である目存在候補位置集合を求める。更に、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。その距離が最も短くなるクラスタを目が存在するクラスタと決定することで、器官位置の検出が可能であるとしている。その他、顔および器官位置を検出する方法としては、特開平８−７７３３４号公報、特開２００１−２１６５１５号公報、特開平５−１９７７９３号公報、特開平１１−５３５２５号公報、特開２０００−１３２６８８号公報、特開２０００−２３５６４８号公報、特開平１１−２５０２６７号公報、特登録２５４１６８８など、数多くの手法が提案されており、本発明においては、それらのうちどのような手法を用いても良い。また、顔及び器官位置の検出法については、上記記載に限定されることはなく、その他のどのような手法を用いても構わない。尚、顔及び器官位置の検出に関しては、従来方法が様々な文献および特許で開示されているため、ここでの詳細な説明は省略する。

処理範囲設定部２０３は、顔・器官位置検出部２０２で検出した顔領域の周辺に対して鮮鋭化処理の対象となる領域を設定する。

図５は、本実施の形態において処理対象とする画像の一例を示す図である。この図では１個所の顔領域が検出される。

本実施の形態では、顔・器官位置検出部２０２から得られる顔領域として、図６に示すような矩形領域を想定する。

図６は、図５の画像に基づいて顔領域を検出した例を示す図である。

この顔領域を示す矩形領域６００は、少なくとも顔領域のうち、目、口、鼻を含む領域であると定義する。この場合、処理範囲設定部２０３では、図６に示すように、該矩形領域６００に外接する楕円領域６０１を、鮮鋭化対象となる処理範囲と設定する。この楕円領域６０１の短軸及び長軸の長さを、図７に示すように規定する。

図７は、鮮鋭化対象となる処理範囲として設定された領域を説明する図である。

ここで短軸と長軸の比は、処理対象となる楕円領域６０１が人物の顔領域に設定されていることを考慮し、ｒa：ｒb＝２：３、もしくは、ｒa：ｒb＝３：４程度となっていることが望ましい。尚、この楕円領域６０１の設定は、画像から検出された全ての顔位置に対して同様に行われる。

最大処理強度決定部２０４は、検出した顔位置毎に、鮮鋭化処理の最大処理強度を決定する。本実施の形態では、上述したように、後段である鮮鋭化処理部で適用するアンシャープマスクアルゴリズムの、平滑化対象となる注目画素周辺エリアの最大値を決定する。本実施の形態では、上記最大値は、処理対象となる顔領域の大きさ、及びユーザが指定した鮮鋭化処理の強度、及び階調補正部２０１から入力された階調補正強度に応じて決定する。

以下、図８（Ａ）（Ｂ）を参照して注目画素周辺エリアの最大値の決定方法を説明する。

図８（Ａ）（Ｂ）は、ある基準となる顔領域の大きさＷstd×Ｈstd（基準画像サイズ、単位：画素）に対する指定強度と強調係数の最大値Ｋmax、及び注目画素周辺エリアの最大値Ｄmaxとの関係を示している。図８（Ａ）から明らかなように、本実施の形態においては、指定強度Ｌが変化しても強調係数の最大値Ｋmaxが変化しないこととする。また図８（Ｂ）から明らかなように、指定強度Ｌが強くなると目画素周辺エリアの最大値Ｄmaxも増加するように設定されている。いま検出した顔領域のサイズを以下のように定義する。

顔領域のサイズ＝（２・ｒa＋１）×（２・ｒb＋１）
これにより上記顔領域のサイズに対する注目画素周辺エリアの最大値Ｄ'maxは以下のように算出することができる。

Ｄ'max＝Ｄmax×ｆ（Ｌ）×√｛（２・ｒa＋１）×（２・ｒb＋１）／Ｗstd×Ｈstd｝
即ち、この式は、Ｄ'maxが、その顔領域のサイズと基準画像サイズとの面積比の平方根に比例して決定されることを表している。また上式においてｆ（Ｌ）は、図９に示すような指定強度Ｌの関数となっている。

図９は、指定強度Ｌに対する関数ｆ（Ｌ）の変化を説明する図である。

ここではＬ＝０、即ち、階調補正を行わない場合には、ｆ（Ｌ）＝１．０となるが、Ｌの値が大きくなるに従ってｆ（Ｌ）の値は減少している。その結果、注目画素周辺エリアのサイズが小さくなる。このサイズが小さくなることにより、後段のアンシャープマスクの処理強度も弱くなるため、暗部ノイズの強調を抑制することができる。

こうして即ち、例えばユーザが図３に示したＵＩを用いて鮮鋭化処理の強度を「中」（例えば「５」）と指定した場合、上式により、鮮鋭化処理を適用する顔のサイズが異なったとしても、同様に処理強度が「中」の鮮鋭化処理を適用することが可能となる。

また本実施の形態では、指定強度の大きさに応じてアンシャープマスク処理における注目画素周辺エリアのサイズを変化させる方法について述べたが、本発明はこれに限定するものではない。例えば、指定強度の大きさに応じて、アンシャープマスク処理における強調係数Ｋmaxを小さくすることにより、アンシャープマスクの処理強度を弱める方法も、当然のことながら含まれる。

次に、処理は鮮鋭化処理部２０５において、検出した全ての顔領域に対して、前記設定した処理範囲内に対して鮮鋭化処理を適用する。

図１０は、鮮鋭化処理部２０５における鮮鋭化対象領域である楕円領域（同図（Ａ）の外側楕円６０１）と、アンシャープマスクの鮮鋭化強度を決定する注目画素周辺エリア６０２のサイズＤ'の関係を示す図である。

アンシャープマスク処理の処理強度を決定するパラメータの一つである注目画素周辺エリアのサイズＤ'は、同図（Ａ）に示す外側楕円６０１内の位置に応じて変化することを示している。具体的には、同図（Ａ）に示す内側楕円６０２内では、同図（Ｂ）に示すようにサイズＤ'＝Ｄ'maxで均一である。これに対して内側楕円６０２から外側楕円６０１の境界に向かうに従ってサイズＤ'が減衰している。同図（Ａ）において、内側楕円６０２の短軸及び長軸は、外側楕円６０１の短軸及び長軸の長さｒa，ｒbのそれぞれに係数ｅを乗じたものとなっている。ここで係数ｅの値はどのような値であっても本実施の形態の範疇に含まれることは言うまでもないが、楕円領域が人物の顔に適用されることから、係数ｅの値は、０．６〜０．８程度が望ましい。また、同図（Ｂ）に示すように、サイズＤ'は、外側楕円６０１の境界で「０」となるため、鮮鋭化処理領域と非処理領域との境界で不自然な境界等の発生を抑制することが可能となる。

図１１は、本実施の形態に係る鮮鋭化処理部２０５における処理を説明するフローチャートである。この鮮鋭化処理部２０５では、検出した各顔位置に対して、前述のように設定された処理範囲に含まれる画素を対象としてアンシャープマスク処理による鮮鋭化を行う。尚、本実施の形態では、この処理はＲＡＭ１０３に記憶されたプログラムに従ってＣＰＵ１０１が実行する処理により実現されている。

まずステップＳ１１０１は、顔領域の中心から、その鮮鋭化の対象となる注目画素位置までの距離を算出する。次にステップＳ１１０２、ステップＳ１１０３において、その注目画素位置が図１０に示す内側楕円６０２内か、或は内側楕円６０２と外側楕円６０１との間の領域かを判定する。内側楕円６０２内であればステップＳ１１０２からステップＳ１１０５に進み、注目画素周辺エリアのサイズＤ'はＤ'maxと決定してステップＳ１１０７に進む。

ここでステップＳ１１０２及びステップＳ１１０３の双方の判定が共に否の場合は、その注目画素位置は処理対象範囲に含まれないことを示しているためステップＳ１１０４に進み、その注目画素位置を移動してステップＳ１１０１に戻る。

一方、ステップＳ１１０２の判定が否でステップＳ１１０３の判定を満たす場合は、その注目画素は内側楕円６０２と外側楕円６０１の間に存在することになるためステップＳ１１０６に進み、サイズＤ'を算出する。この場合、サイズＤ'は、図１０（Ｂ）に示すように、内側楕円６０２の境界から外側楕円６０１の境界に向かうに従って単調減少するような直線の関数で算出される。次にステップＳ１１０７に進み、注目画素周辺の平坦度を算出する。本実施の形態に係る鮮鋭化処理では人物の顔領域に対して鮮鋭化処理を施すが、その際に、目や口のエッジ部だけでなく、比較的平坦な肌領域に対しても同様の処理強度で鮮鋭化を行ってしまうとノイズ成分などを増幅し、滑らかな人肌がザラついた印象を与えてしまうという不具合がある。そこで本実施の形態では、注目画素とその周辺の画素値との差分の絶対和を算出し、その算出結果を平坦度評価量とする。そして、この平坦度評価量に応じて鮮鋭化強度を制御している。

図１２は、上述の平坦度評価量の算出に用いる対象画素位置１２０２を説明する図である。

図において、中心に位置する画素１２００が現在の注目画素であり、その周辺に１辺の長さを（２Ｄ'＋１）とする正方領域１２０１を設定している。本実施の形態においては、注目画素１２００の画素値と、８点の平坦度算出の対象画素１２０２の画素値との差の絶対値の総和を算出し、その算出結果を平坦度評価量Ｅとする。即ち、平坦度評価量Ｅが小さいほど注目画素１２００の周辺は平坦な領域である可能性が高く、平坦度評価量Ｅが大きいほど注目画素１２００の周辺はエッジ部などの変動が大きい領域である可能性が高いことになる。

図１３は、ステップＳ１１０８で用いる平坦度評価量Ｅと強調係数Ｋ'との関係を説明する図である。

同図では、平坦度評価量Ｅが大きい、即ち、注目画素１２００の周辺がエッジ部などである可能性が高い場合には、強調係数Ｋ'＝Ｋmaxとする。また平坦度評価量Ｅがある閾値Ｔh以下になると強調係数Ｋ'は単調減少し、平坦度評価量Ｅ＝０の時Ｋ'＝０．０なっている。

このように平坦度評価量Ｅに応じて強調係数Ｋ'を変化させることにより、人肌などの比較的平坦な部分に対する鮮鋭化処理を抑制することが可能となる。尚、本発明は、以上説明した平坦度評価方法に限定されるものではなく、その他様々な方法を用いても構わない。例えば、注目画素周辺エリア内画素値の最大最小差を算出し、その最大最小差を平坦度評価量として、同様の処理を行うことも容易に考えられる。

図１１に戻り、ステップＳ１１０８で、平坦度評価量Ｅに応じて強調係数Ｋ'を変化させた後ステップＳ１１０９に進み、ステップＳ１１０５及びステップＳ１１０６及びステップＳ１１０８で算出したパラメータを用いて、前述の式（１）に示したアルゴリズムに従ってアンシャープマスク処理を行う。次にステップＳ１１１０に進み、その注目画素が最後の画素か否かを判定し、その場合は処理を終了するが、最後の画素でない場合はステップＳ１１０４に進み、注目画その位置を移動してステップＳ１１０１に進んで、前述した処理を実行する。

以上説明した鮮鋭化処理は、画像から複数個の顔領域が検出された場合には、それぞれの顔領域に対して実行される。

また、画像中に人物の顔が存在するにも拘わらず、なんらかの理由により、顔・器官位置検出部２０２において顔領域が検出できない場合も存在する。

図１４は、本実施の形態に係るコンピュータ１００で表示装置１０４及びキーボード１０７を使用して顔領域を指定する処理を説明する図である。

図１４では、処理対象の画像を表示装置１０４に表示し、その画像に含まれる顔領域に対してユーザがキーボードやマウスなどのインターフェースを用いて矩形領域１４０１を指定した状態を示している。この状態で実行ボタン１４０２を指示することにより、その矩形領域１４０１を顔検出部で検出された顔領域として設定できる。そして、その顔領域に対して前述した鮮鋭化処理を適用することも可能である。

以上説明したように本実施の形態１によれば、画像の階調を補正し、その階調補正した画像の顔領域に対して適切な鮮鋭化処理を実行できる。

また本実施の形態１によれば、鮮鋭化処理領域と非処理領域との境界で不自然な境界等の発生を抑制できる。

また本実施の形態１によれば、人肌などの比較的平坦な部分に対する鮮鋭化処理を抑制できるため鮮鋭化処理による画像の劣化を防止できる。

［実施の形態２］
前述の実施の形態１では、鮮鋭化処理の前段で行われた階調補正処理の処理強度に応じて、アンシャープマスク処理のパラメータ（注目画素周辺エリアのサイズ及び強調係数）を変化させることにより暗部ノイズの不必要な強調を抑制する方法について説明した。

これに対して実施の形態２では、同様の目的を達成するための別の方法として、前述の実施の形態１で説明した平坦度を検出する際の閾値を、階調補正処理の強度に応じて変化させる場合で説明する。

図１５は、本発明の実施の形態２に係るＰＣ１００における画像処理の機能を説明するブロック図で、図２と共通する部分は同じ記号で示し、それらの説明を省略する。前述の実施の形態１で示した図２と異なる点は、階調補正部２０１における階調補正強度が鮮鋭化処理部２０５に入力される点である。

図１６（Ａ）〜（Ｃ）は、本実施の形態２に係る鮮鋭化処理部２０５において、階調補正部２０１から入力される階調補正強度に応じて平坦度評価量の閾値を変化させる様子を説明する図である。

図１６（Ａ）は、階調補正強度Ｌが「０」の場合の平坦度評価量Ｅと強調係数Ｋ'との関係を示している。また図１６（Ｂ）及び（Ｃ）は、それぞれＬ＝５，Ｌ＝９の場合の平坦度評価量Ｅと強調係数Ｋ'との関係を示している。これら図を見ると明らかなように、階調補正強度Ｌが大きくなるに従って、強調係数Ｋ'が一定になる、平坦度評価量Ｅの閾値Ｔhx（xはＬの値に対応）の値も大きくなっている（Ｔh0＜Ｔh5＜Ｔh9）。これにより階調補正の強度Ｌが強くなると、平坦度評価量Ｅの小さい領域に対しては強調係数Ｋ'の値がより小さくなり、結果として鮮鋭化処理の強度が弱くなる。

以上説明したように実施の形態２によれば、平坦度評価量Ｅに対して強調係数Ｋ'をＫmaxとして適用する平坦度評価量Ｅの閾値Ｔhを、階調補正処理の強度に応じて変化させる、ここでは階調補正処理の強度Ｌが大きくなるほど閾値Ｔhを上げることにより、強度Ｌが大きい場合に平坦度評価量Ｅの低い領域での強調係数Ｋ'の増大を抑えて暗部ノイズの不必要な強調を抑制することが可能となる。

［実施の形態３］
前述の実施の形態１，２では、鮮鋭化処理の前段で行った階調補正処理の強度に応じて、鮮鋭化処理の様々なパラメータを変化させるて暗部ノイズの不必要な強調を抑制する方法について説明した。

これに対して本実施の形態３は上記実施の形態とは異なり、鮮鋭化処理の直前にノイズ除去フィルタを用いることにより、上記課題を解決している。

図１７は、本発明の実施の形態３に係るＰＣ１００における画像処理の機能を説明するブロック図で、前述の図２と共通する部分は同じ記号で示し、それらの説明を省略する。 図１７において，前述の実施の形態１，２と異なる点は、階調補正部１７０１の次段にノイズ除去部１７０２を設けた点にある。また階調補正部１７０１から出力された階調補正強度はノイズ除去部１７０２に入力される。ノイズ除去部１７０２は、この階調補正強度をノイズ除去の強度を制御するためのパラメータとして利用する。

本実施の形態３では、ノイズ除去部で用いるノイズ除去方法として、公知のメディアンフィルタを例に挙げて説明する。しかし本発明はこれに限定されるものではなく、その他の様々なノイズ除去方法、例えばローパスフィルタ（ＬＰＦ）等を用いても本発明の範疇に含まれる。

メディアンフィルタは中央値フィルタとも呼ばれるフィルタである。

図１８は、この実施の形態３に係るメディアンフィルタを説明する図である。

ここでは注目画素１８００の周辺に１辺がＳ（Ｌ）となる正方エリア１８０１を設定する。そして、このエリア１８０１に含まれる画素の値の中央値を求め、その中央値を注目画素１８００の画素値として置換する。このような処理を行うことにより、注目画素１８００の周辺で、特に突出しているノイズを除去することが可能となる。また、メディアンフィルタはローパスフィルタよりも原画像のエッジの保存性に優れているという特徴も持っている。

ここで、メディアンフィルタを施す対象となるエリアのサイズＳ（Ｌ）は、図１９に示すような階調補正強度Ｌの関数である。

図１９は、階調補正強度Ｌとノイズ除去フィルタの処理範囲を示すサイズＳ（Ｌ）との関係を説明する図である。

サイズＳ（Ｌ）は、階調補正強度Ｌが大きくなるに従って増加する関数となっている。一般的に、メディアンフィルタの強度は、処理対象となるエリアの大きさが大きくなるに従って強くなる傾向にある。従って、図１９に示すように、階調補正強度Ｌが強くなる（大きくなる）に従って、メディアンフィルタの強度（サイズＳ（Ｌ））を強くすることにより、強調された暗部ノイズをより適切に除去できる。これにより後段の鮮鋭化処理部２０５において、不必要なノイズが強調されるのを抑制することが可能となる。

［その他の実施の形態］
また本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。

また本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体（または記録媒体）を、システム或は装置に供給し、そのシステム或は装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

以上説明したように本発明の実施の形態１によれば、鮮鋭化処理の前段に施した階調補正処理の強度に応じて、鮮鋭化処理の処理強度を決定することが可能となる。例えば、階調補正処理の強度が強い場合には、鮮鋭化処理の強度を弱くすることができるため、強い階調補正によって強調されたノイズを、鮮鋭化処理で更に目立たせるといった不具合を抑制することが可能となる。

また本発明の実施の形態２によれば、鮮鋭化処理の前段に施した階調補正処理の強度に応じて、鮮鋭化処理を行う際に求めた平坦度評価量の閾値を決定することにより、上記したように、不必要なノイズの強調を抑制することが可能となる。

更に、本発明の実施の形態３によれば、階調補正を施した後、ノイズ除去処理を行うことにより、その後段で行う鮮鋭化処理によって、ノイズ成分が不必要に強調される不具合を抑制することが可能となる。更に、ノイズ除去強度は、階調補正処理の強度に応じて変化せることができるため、より適切なノイズ除去処理が可能となる。

本発明の実施の形態に係るホストコンピュータ（ＰＣ）とプリンタとを接続したシステムの構成を説明する図である。 本実施の形態１に係るＰＣにおける画像処理の機能を説明するブロック図である。 ユーザが処理強度を指定するための表示装置に表示されるユーザインターフェース（ＵＩ）の一例を示している。 階調補正部における階調補正処理の階調曲線の一例を示す図である。 本実施の形態において処理対象とする画像の一例を示す図である。 図５の画像に基づいて顔領域を検出した例を示す図である。 鮮鋭化対象となる処理範囲として設定された領域を説明する図である。 ある基準となる顔領域の大きさに対する指定強度と強調係数の最大値Ｋmax及び注目画素周辺エリアの最大値Ｄmaxとの関係を示している。 指定強度Ｌに対する関数ｆ（Ｌ）の変化を説明する図である。 鮮鋭化処理部における鮮鋭化対象領域である楕円領域（Ａ）と、アンシャープマスクの鮮鋭化強度を決定する注目画素周辺エリアのサイズＤ'の関係（Ｂ）を示す図である。 本実施の形態に係る鮮鋭化処理部における処理を説明するフローチャートである。 平坦度評価量の算出に用いる対象画素位置を説明する図である。 図１１のステップＳ１１０８で用いる平坦度評価量Ｅと強調係数Ｋ'との関係を説明する図である。 本実施の形態に係るコンピュータで表示装置及びキーボードを使用して顔領域を指定する処理を説明する図である。 本発明の実施の形態２に係るＰＣにおける画像処理の機能を説明するブロック図である。 本実施の形態２に係る鮮鋭化処理部において、階調補正部から入力される階調補正強度に応じて平坦度評価量の閾値を変化させる様子を説明する図である。 本発明の実施の形態３に係るＰＣにおける画像処理の機能を説明するブロック図である。 本発明の実施の形態３に係るメディアンフィルタを説明する図である。 階調補正強度Ｌとノイズ除去フィルタの処理範囲を示すサイズＳ（Ｌ）との関係を説明する図である。

Claims (22)

1. 画像に含まれる人物の顔領域に対して鮮鋭化処理を施す画像処理装置であって、
   階調補正の強度を指示する強度指示手段と、
   前記強度指示手段により指示された階調補正の強度に応じて、画像データに対して階調補正を施す階調補正手段と、
   前記画像データに含まれる顔領域を含む処理範囲を設定する処理範囲設定手段と、
   前記処理範囲設定手段で設定された前記処理範囲の大きさと前記階調補正の強度とに応じて、前記処理範囲に対する処理強度を決定する処理強度決定手段と、
   前記処理強度決定手段で決定された処理強度を用いて前記画像データに対して鮮鋭化処理を施す鮮鋭化処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記強度指示手段は更に鮮鋭化処理の強度を指示し、
   前記処理強度決定手段は、前記処理範囲設定手段で設定された前記処理範囲の大きさと前記階調補正の強度と前記鮮鋭化の強度とに応じて、前記処理範囲に対する処理強度を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記処理範囲の画素濃度の平坦度を算出する算出手段を更に有し、
   前記処理強度決定手段は、更に前記前記処理範囲の画素濃度の平坦度に応じて前記処理範囲に対する処理強度を決定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記処理強度決定手段は、前記処理範囲設定手段で設定された前記処理範囲の境界近傍で前記処理強度を小さくすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記階調補正手段により階調補正された後の画像データに対してノイズ除去を行うノイズ除去手段を更に有し、前記ノイズ除去手段は、前記階調補正の強度に応じてノイズ除去強度を変化させることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記画像データに含まれる顔領域を抽出する抽出手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記鮮鋭化処理手段は、アンシャープマスク処理による鮮鋭化を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記ノイズ除去手段は、前記階調補正の強度が大きくなるに従ってノイズ除去の強度を大きくしてノイズ除去処理を行うことを特徴とする請求項５に記載の画像処理装置。
9. 前記ノイズ除去手段は、メディアンフィルタを用いてノイズ除去処理を行うことを特徴とする請求項５又は８に記載の画像処理装置。
10. 階調補正の強度に応じて処理強度を決定する処理強度決定手段と、
    前記処理強度決定手段で決定された処理強度を用いて前記画像データに対して鮮鋭化処理を施す鮮鋭化処理手段と、
    を有することを特徴とする画像処理装置。
11. 画像に含まれる人物の顔領域に対して鮮鋭化処理を施す画像処理装置における画像処理方法であって、
    階調補正の強度を指示する強度指示工程と、
    前記強度指示工程で指示された階調補正の強度に応じて、画像データに対して階調補正を施す階調補正工程と、
    前記画像データに含まれる顔領域を含む処理範囲を設定する処理範囲設定工程と、
    前記処理範囲設定工程で設定された前記処理範囲の大きさと前記階調補正の強度とに応じて、前記処理範囲に対する処理強度を決定する処理強度決定工程と、
    前記処理強度決定工程で決定された処理強度を用いて前記画像データに対して鮮鋭化処理を施す鮮鋭化処理工程と、
    を有することを特徴とする画像処理方法。
12. 前記強度指示工程では更に鮮鋭化処理の強度を指示し、
    前記処理強度決定工程では、前記処理範囲設定工程で設定された前記処理範囲の大きさと前記階調補正の強度と前記鮮鋭化の強度とに応じて、前記処理範囲に対する処理強度を決定することを特徴とする請求項１１に記載の画像処理方法。
13. 前記処理範囲の画素濃度の平坦度を算出する算出工程を更に有し、
    前記処理強度決定工程では、更に前記前記処理範囲の画素濃度の平坦度に応じて前記処理範囲に対する処理強度を決定することを特徴とする請求項１１又は１２に記載の画像処理方法。
14. 前記処理強度決定工程では、前記処理範囲設定工程で設定された前記処理範囲の境界近傍で前記処理強度を小さくすることを特徴とする請求項１１乃至１３のいずれか１項に記載の画像処理方法。
15. 前記階調補正工程で階調補正された後の画像データに対してノイズ除去を行うノイズ除去工程を更に有し、前記ノイズ除去工程では、前記階調補正の強度に応じてノイズ除去強度を変化させることを特徴とする請求項１１乃至１４のいずれか１項に記載の画像処理方法。
16. 前記画像データに含まれる顔領域を抽出する抽出工程を更に有することを特徴とする請求項１１乃至１５のいずれか１項に記載の画像処理方法。
17. 前記鮮鋭化処理工程では、アンシャープマスク処理による鮮鋭化を行うことを特徴とする請求項１１乃至１６のいずれか１項に記載の画像処理方法。
18. 前記ノイズ除去工程では、前記階調補正の強度が大きくなるに従ってノイズ除去の強度を大きくしてノイズ除去処理を行うことを特徴とする請求項１５に記載の画像処理方法。
19. 前記ノイズ除去工程では、メディアンフィルタを用いてノイズ除去処理を行うことを特徴とする請求項１５又は１８に記載の画像処理方法。
20. 階調補正の強度に応じて処理強度を決定する処理強度決定工程と、
    前記処理強度決定工程で決定された処理強度を用いて前記画像データに対して鮮鋭化処理を施す鮮鋭化処理工程と、
    を有することを特徴とする画像処理方法。
21. 請求項１１乃至２０のいずれか１項に記載の画像処理方法を実行することを特徴とするプログラム。
22. 請求項２１に記載のプログラムを格納していることを特徴とする、コンピュータにより読取り可能な記憶媒体。

Images