JP2007241424A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】対象とする画像が、異なる特性の画質を求められる複数の領域を有する画像であっても、それら領域ごとに最適な画像補正を施し、もって最終的な画像全体の画質として、より好ましい画質を得ることのできる画像処理装置および画像処理方法を提供する。
【解決手段】補正対象とする画像の全域内に注目領域（例えば人物の顔領域）を設定し、この注目領域の外側の領域に対する画像補正と該注目領域内に対する画像補正とを互いに異なる画像補正として、このうちの、注目領域の外側の領域に対する画像補正についてはこれを、注目領域内に対する画像補正（ソフトフォーカス処理）とは別の種類のフィルタ（画像に粒子感を与えるようなノイズを付与するフィルタ）を用いて、上記注目領域との境界付近においてそのフィルタ適用量（ノイズの付与量）が該注目領域から遠ざかるほど大きくなるような画像補正とする。
【選択図】図４

Description

この発明は、所定のフィルタを用いて、画像の全域もしくは一部に相当する領域（補正領域）に対して所定の画像補正を施すことにより、画像の最適化を図る画像処理装置および画像処理方法に関する。

近年、デジタルカメラやフォトスキャナ等の普及に伴い、写真画像のデジタル化、さらには、そのデジタル化された画像の画像補正、を手軽に行うことのできる環境が整いつつある。例えば汎用コンピュータには、画像補正用のソフトウェア（アプリケーション）を搭載するものが多数あり、ユーザは、そのソフトウェアを通じて、所望とされる加工（画像補正）を所定の画像（デジタル画像）に対して行うことができるようになった（例えば特許文献１参照）。そして、インクジェットプリンタをはじめとするカラープリンタの高画質化も、低価格化とともに進み、今日に至っては、適宜の画像補正の施された上記デジタル画像を、アナログ画像（例えば銀塩写真）に匹敵するような画質で出力することも可能になってきている。このため、画像の最適化を図る上においては、上記画像補正に関する技術が、ますます重要視されるようになっている。
特開平９−１３５３１６号公報

しかしながら、上記特許文献１に記載の装置を含めた従来一般に採用されている画像処理装置は、この画像の最適化、すなわち画像補正の点で、まだ改良の余地を残すものとなっている。

詳しくは、前述のデジタル画像では、銀塩写真等のアナログ画像と比べて、被写体領域以外の領域（例えば空や雲や山などの背景領域）が、粒子感のない（粒状性に乏しい）、つるつるして平べったい印象の画像になってしまいがちである。そこで従来、これを改善するため、画像全域に各種のフィルタを適用することによって、画像全域に対して一様の画像補正が行われることもある。しかし、こうした画像補正を行うと、例えば図７に示されるように、本来滑らかな画質（若干ぼけた画質）であることが望まれる領域、例えば人物（通常は被写体）の肌色領域まで、粒状性（ざらつき度合）の大きいガサガサした画質になってしまう。このため、結局のところ、被写体領域（画像全体の被写体に相当する領域）の画質を優先させ、被写体領域以外の領域（背景領域）については、粒子感のない画質のままで出力（例えば印刷もしくは表示）せざるを得ない実情にある。

この発明は、こうした実情に鑑みてなされたものであり、対象とする画像が、異なる特性の画質を求められる複数の領域を有する画像であっても、それら領域ごとに最適な画像補正を施し、もって最終的な画像全体の画質として、より好ましい画質を得ることのできる画像処理装置および画像処理方法を提供することを目的とする。

こうした目的を達成するため、請求項１に記載の発明では、所定のフィルタを用いて、所定の画像の全域もしくは一部に相当する特定領域に対して所定の画像補正を施す画像処理装置として、前記特定領域内に１乃至複数の領域を設定し、この設定領域の内側と外側を含めた前記特定領域の全域に対して前記画像補正を施す場合には、前記設定領域の外側の領域に対する画像補正と前記設定領域内に対する画像補正とを互いに異なる画像補正として、このうちの、前記設定領域の外側の領域に対する画像補正についてはこれを、前記設定領域内に対する画像補正とは別の種類のフィルタを用いて、少なくとも前記設定領域との境界付近においてはそのフィルタ適用量が該設定領域から遠ざかるほど大きくなるような画像補正とするように構成する。

このような構成であれば、対象とする画像（より厳密には、その特定領域）が、異なる特性の画質（例えば、前述の粒状性の大きな画質と滑らかな画質）を求められる複数の領域（例えば、前述の背景領域と被写体領域）を有する画像であっても、それら領域ごとに最適な画像補正（各々異なる種類の最適なフィルタによる画質補正）が施されて、最終的な画像全体の画質として、より好ましい画質が得られるようになる。しかも、少なくとも上記特定領域における設定領域以外の領域（例えば背景領域）と設定領域（例えば被写体領域）との境界付近においては、上記画像補正のフィルタ適用量を、該設定領域から遠ざかるほど大きくなるようにしているため、同境界付近において懸念される上記フィルタの切替に伴う急峻な画質の変化は好適に抑制されるようになり、こうした補正バランスの悪さに起因して生じる違和感なども最小限に抑えられるようになる。

また、前記設定領域の設定を実現する構成としては、例えば請求項２に記載の発明によるように、
・前記特定領域内の所定単位領域（例えば画素）ごとの色彩値が特定の色彩範囲（例えば肌色など）にあるか否かに基づいて行う構成。
あるいは請求項５に記載の発明によるように、
・前記特定領域内の特定のオブジェクト（例えば人物の顔や建物などの特定の対象物）を適宜の認識手段により認識することに基づいて行う構成。
等々の構成を採用することができ、これらの構成であれば、所望とされる領域の設定も容易である。

また、特に上記請求項２に記載の画像処理装置に関しては、請求項３に記載の発明によるように、前記設定領域の設定においては、前記特定領域内の所定単位領域ごとの色彩値が所定の色彩範囲にあるか否かのほか、領域の大きさも加味され、色彩値が所定の色彩範囲にあって且つ、領域の大きさが所定の大きさを超えるときにのみ、該領域を前記設定領域として認定するように構成することが有効である。

こうすることで、前記色彩値が所定の色彩範囲にある単位領域（例えば画素）であっても、隣接単位領域（例えば隣接画素）と所定値（閾値）以上の大きな領域を形成しないものについては、前記設定領域として認定されなくなる。このため、上記領域の大きさに係る閾値（上記所定の大きさ）を適切に設定することにより、実質的に画質に影響を及ぼさないほど小さな領域については、背景領域（設定領域以外の領域）と同様に扱い、あえて領域の内外でフィルタの種類を変えて画像補正を行わない（すなわち、同領域内には上記背景領域と同様の画像補正を行う）ようにすることもできる。すなわち、こうした構成であれば、上述の画像補正が、より効率的且つ的確に行われるようになる。

また、請求項４に記載の発明では、上記請求項２または３に記載の画像処理装置において、前記設定領域を、前記特定領域内において色彩値が肌色の色彩範囲にある領域とするとともに、この設定領域内に対する画像補正を、ぼかし処理（より詳しくは、画像の少なくとも一部分を非合焦状態に処理してその部分を強制的にぼかす処理）であるソフトフォーカス処理として、さらに、前記設定領域の外側の領域に対する画像補正を、少なくとも前記設定領域との境界付近においては前記設定領域から遠ざかるほど適用量が大きくなるようなノイズ処理（ノイズを付与する処理）とする。

前述したように、一般に、デジタル画像の場合、人物の肌に相当する領域は、滑らかな画質（若干ぼけた画質）であることが好ましいとされている。一方、空・山・海等の背景領域は、ある程度、粒子感のある（粒状性の強い）画像が、アナログ画像によく近似して宜しいとされている。

そして、上記肌色領域に対する画像補正については、周知のソフトフォーカスフィルタにより、好ましい画質が得られることが、実験によって簡単に明らかになった。しかし他方、粒子感を付与する画像補正については、まだ技術が確立しておらず、多分に研究の余地が残されていた。そこで発明者は、上記アナログ画像と同程度の粒子感を的確に付与するような手法を見出すべく、数々の研究を行った。最初は、複雑な画像補正を組み合わせることなどもしてみたが、複雑な画像補正は、背景領域以外の部分（設定領域）の画質を害してしまう可能性が高く、また複雑なプログラムの処理が必要になるため、好ましくなかった。しかし、あれこれ思考錯誤するうちに、通常は除去しているノイズを、あえて背景領域（前記設定領域の外側の領域）に対して選択的に付与することによって、銀塩写真等のアナログ画像に匹敵するような粒子感が簡単に得られることが、数々の実験結果から明らかになった。

すなわち、上記請求項４に記載の構成によれば、上記人物の肌に相当する領域が「色彩値が肌色の色彩範囲にある領域（前記設定領域）」として特定、設定される。そして、この設定領域（人物の肌）は、上記ソフトフォーカス処理を施すことにより、滑らかな画質に的確に補正され、また、前記設定領域の外側の領域（背景）は、上記ノイズを付与することにより、粒状性の大きな画質に的確に補正されることになる。このように、画像処理装置としての上記構成によれば、対象とする画像が、人物を被写体とする画像（人物および背景からなる画像）であっても、アナログ画像（例えば銀塩写真）に匹敵するような画質が、デジタル画像として得られるようになる。

なお、ここで背景領域（前記設定領域の外側の領域）に付与されるノイズは、目標とするアナログ画像（例えば銀塩写真）と同一もしくは類似の粒子感を、原画像に持たせる（与える）ようなノイズであることが望ましい。

一方、上記請求項５に記載の画像処理装置に関しては、請求項６に記載の発明によるように、前記認識手段により認識される特定のオブジェクトを、人物の顔とするとともに、前記設定領域に相当するこのオブジェクト領域内に対する画像補正を、ぼかし処理（より詳しくは、画像の少なくとも一部分を非合焦状態に処理してその部分を強制的にぼかす処理）であるソフトフォーカス処理として、さらに、前記オブジェクト領域の外側の領域に対する画像補正を、少なくとも前記オブジェクト領域との境界付近においては同オブジェクト領域から遠ざかるほど適用量が大きくなるようなノイズ処理（ノイズを付与する処理）とすることが有効である。

一般に、人物を被写体とする画像（厳密にいえば、人物および背景からなる画像）においては、顔領域の色再現が最も重要視される。そのため、顔（顔パターン）を抽出する手段（顔認識手段）としても、多く、様々なものが開発されるに至っている。例えば、肌色領域を抽出し、この抽出した肌色領域から、所定の顔パターン（例えば顔に関する重心・軌跡長・面積などの形状情報）に基づいて、該当する領域を検出する、すなわち顔領域を抽出する方法が知られている。また他にも、目の位置を検出してから、周辺の肌色領域を顔と認識するものなど、様々な顔認識手段がある。

また、デジタル画像において、上記アナログ画像と同程度の粒子感をより的確且つ容易に付与する上では、対象の領域に対して適宜のノイズを付与する手法が有益であることは前述のとおりである。

すなわち、この請求項６に記載の構成によれば、人物の顔が、前記認識手段（例えば周知の顔認識手段）を通じてオブジェクトとして認識され、前記設定領域として特定、設定される。そして、この設定領域については、すなわち最も色再現の重要視される人物の顔（顔領域）についてはこれが、上記ソフトフォーカス処理を施すことにより、滑らかな画質に的確に補正され、また、前記設定領域の外側の領域（背景）についてはこれが、上記ノイズが付与されることにより、粒状性の大きな画質に的確に補正されることになる。このように、画像処理装置としての上記構成によれば、対象とする画像が、人物を被写体とする画像（人物および背景からなる画像）であっても、アナログ画像（例えば銀塩写真）に匹敵するような画質が、デジタル画像として得られるようになる。

なお、前記認識手段によりオブジェクトとして認識された顔（顔領域）周辺の肌色領域を検出するなどして、顔以外で露出した腕や首などの肌領域についてもこれを前記設定領域として併せ設定することも、より好ましい画質を得る上では有益である。

また一方、上記請求項５に記載の画像処理装置に関しては、請求項７に記載の発明によるように、前記特定領域を、人物の顔に相当する領域とするとともに、前記認識手段により認識される特定のオブジェクトを、人物の顔内部のパーツ（例えば目や口など）とし、そして、前記設定領域に相当するこのオブジェクト領域内に対する画像補正を、輪郭を強調するシャープネス処理（例えば周知のアンシャープマスクフィルタを使用）として、さらに、前記オブジェクト領域の外側の領域に対する画像補正を、少なくとも前記オブジェクト領域との境界付近においては同オブジェクト領域から遠ざかるほど適用量が大きくなるようなソフトフォーカス処理とする構成も有効である。

ここまでは、現状において特に問題となっている例として、対象とする画像が、人物を被写体とする画像（特に人物および背景からなる画像）である例について説明してきた。しかし、対象とする画像が、異なる特性の画質を求められる複数の領域を有する画像である場合は、何もこうした画像に限られない。

すなわち、例えば顔（顔領域）の内部においては、各パーツ（例えば目や口）がくっきり映っているほうが見栄えがよい。そこで、上記請求項７に記載の装置においては、人物の顔に相当する領域（特定領域）に画像補正を施す場合に、顔内部の所定のパーツ（例えば目や口）にシャープネス処理を施して、その輪郭（エッジ）を強調する（コントラストを高める）ようにする。そして、顔内部の所定のパーツ（設定領域）の外側の領域には、前述のソフトフォーカス処理をかけることとする。こうすることで、顔（顔領域）の細部（目や口）が鮮明になり、顔（顔領域）全体の画質として、より好ましい画質が得られるようになる。

他方、所定のフィルタを用いて、所定の画像の全域もしくは一部に相当する特定領域に対して所定の画像補正を施す画像処理方法としても、請求項８に記載の発明によるように、前記特定領域内に１乃至複数の領域を設定し、この設定領域の内側と外側を含めた前記特定領域の全域に対して前記画像補正を施す場合には、前記設定領域の外側の領域に対する画像補正と前記設定領域内に対する画像補正とを互いに異なる画像補正として、このうちの、前記設定領域の外側の領域に対する画像補正についてはこれを、前記設定領域内に対する画像補正とは別の種類のフィルタを用いて、少なくとも前記設定領域との境界付近においてはそのフィルタ適用量が該設定領域から遠ざかるほど大きくなるような画像補正とすることも有効である。こうすることで、対象とする画像が、異なる特性の画質を求められる複数の領域を有する画像であっても、それら領域ごとに最適な画像補正を施し、もって最終的な画像全体の画質として、より好ましい画質を得ることができるようになる。

（第１の実施の形態）
以下、図１〜図４を参照して、この発明に係る画像処理装置および画像処理方法を具体化した第１の実施の形態について説明する。

はじめに、図１を参照して、この方法および装置に係る画像処理システムの概要（概略構成）について説明する。なお、この図１は、該システムの概略構成を示すブロック図である。

同図１に示されるように、このシステムは、大きくは、例えばコンピュータ（ここではコンピュータ１０）の表示装置として用いられるモニタ１８と、例えばインクジェット式のカラープリンタ１７と、これら画像出力機器の各出力について所定の画像処理を行うコンピュータ１０（画像処理装置）とを有して構成されている。

また、デジタルカメラ１１は、適宜の記憶媒体を有して、所定の光電変換素子を通じて撮像された静止画（もしくは動画）をデジタルデータとして記録（保存）するものである。また、入力装置１６は、例えばマウスやキーボード等からなるものであり、ユーザがこの入力装置１６を操作することによって、上記コンピュータ１０の動作へユーザの意思を適宜に反映させることができるようになっている。

また詳しくは、上記コンピュータ１０（画像処理装置）は、例えばハードディスクおよびＲＯＭ（リードオンリーメモリ）等からなる記憶装置１２を内蔵している。そして、この記憶装置１２には、例えばＯＳ（オペレーティングシステム）やアプリケーションソフトウェアと共に、プリンタドライバやモニタドライバをはじめ、上記入力装置１６のドライバ等も含めた各種のドライバ（ソフトウェア）が格納されている。また、上記カメラ１１により取得（撮影）された画像も、適宜のインターフェースを介して、この記憶装置１２に取り込まれるようになっている。

さらに、同コンピュータ１０は、この記憶装置１２に加え、例えばＣＰＵ（基本処理装置）およびＲＡＭ（ランダムアクセスメモリ）等からなる演算装置１３と、そして適宜の回路からなるプリンタ駆動回路１４、およびモニタ駆動回路１５とを有し、これらの構成要素を通じて、上記プリンタ１７およびモニタ１８を制御することができるように構成されている。

図２は、上記プリンタドライバのプログラム構成を示すブロック図である。なお、このプリンタドライバは、例えば上記演算装置１３の演算処理に基づいて実行されるようになっている。

同図２に示されるように、このプリンタドライバ２０は、基本的には、上記プリンタ１７にて出力すべき画像（印刷用の画像）に対して、例えば各種のフィルタ等による画像補正を行う画像補正処理部２１と、この画像補正の施された画像データを、上記プリンタ１７にて出力（印刷）可能な画像データへ変換するプリンタ用画像作成部２２と、を有して構成されている。

すなわち、例えば上記カメラ１１により撮影された画像（記憶装置１２に記憶されている画像）を対象（印刷用の画像）にして、上記ＯＳの管理のもとに印刷用のアプリケーションソフトウェアが実行され、このソフトウェア上で、例えば上記入力装置１６を通じてユーザから印刷の指示が上記演算装置１３に与えられる（例えばユーザがモニタ１８の画面上の「印刷ボタン」をマウスでクリックする）と、上記プリンタドライバ２０により、上記印刷用の画像に対して、所望とされる画像補正や、上記プリンタ１７にて出力（印刷）可能な画像データへの変換などが実行されることになる。

次に、図３および図４を併せ参照して、上記演算装置１３や上記画像補正処理部２１等の協働のもとに実行される画像補正の一例について説明する。なお、図３は、この画像補正の主な処理手順を示すフローチャート、図４（ａ）および（ｂ）は、それぞれ当該画像補正の前後における画像、すなわち（ａ）は補正前の画像、（ｂ）は補正後の画像を示す図である。

同図３に示されるように、この一連の処理に際しては、まず、ステップＳ１において、補正対象とする領域（特定領域）を設定する。例えば、この実施の形態においては、対象とする画像（例えば図４（ａ）に示す印刷用の画像）の全域を、補正対象の領域（補正領域）として自動設定する。

次に、ステップＳ２において、この補正の対象とする補正領域（すなわち画像の全域）の中から、特に注目する領域（設定領域）として、所定の領域を設定する。例えば、この実施の形態においては、適宜の顔認識手段により、上記補正対象とする画像全域から、被写体である人物の顔（オブジェクト）が自動的に認識（抽出）され、この人物の顔に相当する領域が、注目領域（設定領域）として設定される。なお、ここで人物の顔の抽出に用いられる顔認識手段は、例えば、肌色領域を抽出し、この抽出した肌色領域から、所定の顔パターン（例えば顔に関する重心・軌跡長・面積などの形状情報）に基づいて、該当する領域（顔領域）を検出するものであり、例えば上記画像補正処理部２１（図２）の一部として用意される。

また、続くステップＳ３においては、上記ステップＳ２で設定された注目領域（設定領域）ごとに、当該画像補正に用いるフィルタ（使用フィルタ）を設定する。例えば、補正領域（画像全域）中の、上記注目領域（設定領域）に相当する人物の顔領域（オブジェクト領域）に対する画像補正フィルタとしては、ぼかし処理（より詳しくは、画像の少なくとも一部分を非合焦状態に処理してその部分を強制的にぼかす処理）であるソフトフォーカス処理に係るフィルタが自動的に設定される。そして、それ以外の領域に対する画像補正フィルタ、すなわち上記注目領域の外側の領域に対する画像補正フィルタとしては、同注目領域から遠ざかるほど適用量が段階的に大きくなるようなノイズ処理に係るフィルタが、また自動的に設定されることとなる。

なお、ここで想定しているフィルタは、対象画素の値（色彩値）を決定する際に周囲の画素の情報を使う、いわゆる空間系フィルタである。ただし、これに限定されることなく、上記画像補正を実現することができるものであれば、任意のフィルタを採用することができる。

また、この実施の形態においては、原画像（補正前の画像）の画質を銀塩写真の画質と比較しながら、上記人物の顔領域以外の領域に付与するためのノイズを作成し、このノイズの付与をもって、目標画像とする銀塩写真と同一の粒子感を、対象の画像に持たせる（与える）こととする。

そして、続くステップＳ４にて、上記設定された各フィルタを用いて、上記注目領域（設定領域）およびそれ以外の領域に対して、異なる種類の画像補正（ソフトフォーカス処理および上記注目領域からの距離に応じて適用量の変化するノイズ処理）をそれぞれ施すことによって、例えば図４（ｂ）に示されるように、対象とする上記画像（印刷用の画像）の最適化が図られることになる。なお、同図４（ｂ）においては、フィルタの種類の相違をハッチングの種類の相違で、またフィルタ適用量の大小をハッチングの密疎で示している。

また、こうして最適化の図られた画像は、印刷用の画像として、上記プリンタ用画像作成部２２（図２）を通じて、ビットマップ画像（ドット画像）への変換、量子化処理、ＣＭＹＫ変換（ＲＧＢデータからＣＭＹＫデータへの変換）などが施されることにより、上記プリンタ１７（図１）にて出力（印刷）可能な画像データとされ、その後、該プリンタ１７へ転送される。そして、このプリンタ１７を通じて、所定の印刷用紙に印刷されることになる。

以上説明したこの実施の形態に係る画像処理装置および画像処理方法によれば、以下のような優れた効果が得られるようになる。

（１）補正対象とする領域（特定領域、ここでは対象とする画像の全域）内に１つの領域（注目領域、ここでは人物の顔領域）を設定し、この注目領域（設定領域）の外側の領域に対する画像補正と該注目領域内に対する画像補正とを互いに異なる画像補正として、このうちの、注目領域の外側の領域に対する画像補正についてはこれを、注目領域内に対する画像補正（ソフトフォーカス処理）とは別の種類のフィルタ（画像に粒子感を与えるようなノイズを付与するフィルタ）を用いて、上記注目領域との境界付近においてそのフィルタ適用量（ノイズの付与量）が該注目領域から遠ざかるほど大きくなる（図４（ｂ）参照）ような画像補正とした。これにより、異なる特性の画質が求められる複数の領域を有する画像（より厳密には、補正対象とする領域）について、それら領域ごとに最適な画像補正（各々異なる種類の最適なフィルタによる画質補正）が施されて、最終的な画像全体の画質として、より好ましい画質が得られるようになる。

（２）しかも、注目領域（設定領域）以外の領域と注目領域との境界付近においては、上記画像補正のフィルタ適用量を、該注目領域から遠ざかるほど段階的に大きくなるようにしているため、同境界付近において懸念される上記フィルタの切替に伴う急峻な画質の変化は好適に抑制されるようになり、こうした補正バランスの悪さで生じる違和感も最小限に抑えられるようになる。

（３）上記注目領域（設定領域）の設定を、補正対象とする領域（特定領域）内の特定のオブジェクト、すなわち被写体である人物の顔を適宜の認識手段（オブジェクト認識手段）により認識することに基づいて行う構成とした。こうした構成としたことで、所望とされる領域の設定も容易となる。

（４）また、上記人物の顔領域内に対する画像補正を、ぼかし処理であるソフトフォーカス処理として、この顔領域の外側の領域に対する画像補正を、同顔領域との境界付近において同顔領域から遠ざかるほど適用量が大きくなるようなノイズ処理とした。これにより、上記人物の顔領域は、滑らかな画質に的確に補正され、また、上記顔領域の外側の領域（背景）は、上記ノイズが付与されることにより、粒状性の大きな画質に的確に補正されることになる。すなわち、このような構成によれば、上記人物を被写体とする画像（人物および背景からなる画像）について、アナログ画像（銀塩写真）に匹敵するような画質が、デジタル画像として得られるようになる。

（５）原画像（補正前の画像）の画質を銀塩写真の画質と比較しながら、上記人物の顔領域以外の領域に付与するための上記ノイズを作成するようにした。これにより、このノイズの付与をもって、銀塩写真と同一の粒子感を、対象の画像に持たせる（与える）ことができるようになる。

（第２の実施の形態）
次に、図５を併せ参照して、この発明に係る画像処理装置および画像処理方法を具体化した第２の実施の形態について説明する。ただしここでは、説明の便宜上、上記第１の実施の形態との相違点のみについて説明する。

以下、同図５を参照しつつ、この実施の形態の画像補正について説明する。なお、図５（ａ）および（ｂ）は、それぞれ当該画像補正の前後における画像、すなわち（ａ）は補正前の画像、（ｂ）は補正後の画像を示す図である。

すなわち、この実施の形態では、先のステップＳ１（図３）において、補正領域（特定領域）の設定を、対象とする画像（例えば図５（ａ）に示す印刷用の画像）全域内の、所定単位領域ごとの色彩値が、特定の色彩範囲にあるか否かに基づいて行うようにする。

具体的には、例えばＲＧＢ（赤・緑・青）色空間の色を「Ｈ（色相）」「Ｓ（飽和度）」「Ｂ（明るさ）」の３つの色値によって規定するＨＳＢカラーモデル（ＨＳＢ色空間）を使って、肌色領域の色彩範囲を、予め３次元的な範囲として設定しておき、画像全域内の各画素（単位領域）について、それぞれその色彩値（Ｈ・Ｓ・Ｂ）が、この色彩範囲（肌色領域）にあるか否かを順次判断していく。そして、この色彩範囲（肌色領域）内にあると判断される画素についてはこれを全て、上記補正領域（特定領域）として設定する。

次に、続くステップＳ２（図３）においては、この補正領域（すなわち肌色領域にて輪郭が設定される領域）の中から、特に注目する領域（設定領域）として、人物の目および口に相当する領域を設定する。

具体的には、例えば適宜の認識手段により、上記補正対象とする肌色領域から、被写体である人物の目および口（オブジェクト）が自動的に認識（抽出）され、この人物の目および口に相当する領域が、上記注目領域（設定領域）として設定される。なお、ここで人物の目（瞳）や口（唇）の抽出に用いられる認識手段は、先の顔認識手段に準ずるものである。すなわちこれは、例えば黒色や赤色の領域を抽出し、この抽出した領域から、所定の目・口パターンに基づいて、該当する領域を検出するものであり、例えば上記画像補正処理部２１（図２）の一部として用意される。

そして、続くステップＳ３（図３）において、先の第１の実施の形態と同様、上記ステップＳ２で設定された注目領域（設定領域）ごとに、当該画像補正に用いるフィルタ（使用フィルタ）を設定する。

ただし、この実施の形態においては、補正領域（すなわち肌色領域）中の、上記注目領域（設定領域）に相当する人物の目および口の領域（オブジェクト領域）に対する画像補正フィルタとして、輪郭を強調するシャープネス処理に係るフィルタ（例えば周知のアンシャープマスクフィルタ）が自動的に設定される。そして、それ以外の領域に対する画像補正フィルタ、すなわち上記注目領域の外側の補正領域（肌色領域）に対する画像補正フィルタとしては、同注目領域から遠ざかるほど適用量が段階的に大きくなるようなソフトフォーカス処理に係るフィルタが、また自動的に設定されることとなる。

そして、さらに続くステップＳ４（図３）にて、上記設定された各フィルタを通じて、上記注目領域（設定領域）およびそれ以外の領域に対して、異なる種類の画像補正（シャープネス処理およびソフトフォーカス処理）がそれぞれ施されることになる。

また、さらにこの実施の形態では、このステップＳ４の処理が終了した後、再度、図３の一連の処理を行うようにする。
すなわち、先のステップＳ１（図３）に戻り、前回肌色領域が設定された補正領域（特定領域）として、今度は、対象とする画像（例えば図５（ａ）に示す印刷用の画像）の全域を設定する。次いで、ステップＳ２にて、前回補正領域として設定した肌色領域（より厳密にいえば、肌色領域にて輪郭が設定される領域）を、今度は、同様の手法で、注目領域（設定領域）として設定する。そして、続くステップＳ３にて、この注目領域（肌色領域）に対する画像補正フィルタとして、ソフトフォーカス処理に係るフィルタを、また、該注目領域の外側の領域に対する画像補正フィルタとして、同注目領域から遠ざかるほど適用量が段階的に大きくなるようなノイズ処理に係るフィルタを、それぞれ自動的に設定する。

そうして、さらに続くステップＳ４にて、これらのフィルタを用いて、上記注目領域（設定領域）およびそれ以外の領域に対して、異なる種類の画像補正（ソフトフォーカス処理および上記注目領域からの距離に応じて適用量の変化するノイズ付与）をそれぞれ施すことによって、例えば図５（ｂ）に示されるように、対象とする上記画像（印刷用の画像）の最適化が図られることになる。なお、同図５（ｂ）においても、フィルタの種類の相違はハッチングの種類の相違で、またフィルタ適用量の大小はハッチングの密疎で示されている。

なお、この実施の形態においても、こうして最適化の図られた印刷用の画像が、上記プリンタ用画像作成部２２（図２）を通じて、上記プリンタ１７（図１）にて出力（印刷）可能な画像データとされ、該プリンタ１７にて、所定の印刷用紙に印刷されることは、第１の実施の形態と同様である。

以上説明したように、この実施の形態に係る画像処理装置および画像処理方法によれば、第１の実施の形態による前記（１）〜（５）の効果と同様の効果もしくはそれに準じた効果に加え、さらに次のような効果も得られるようになる。

（６）所定単位領域（１画素）ごとの色彩値が特定の色彩範囲（肌色領域）にあるか否かを判断し、この色彩範囲内にあるものについてはこれを全て、上記補正領域（特定領域）や注目領域（設定領域）として設定するようにした。このように、特定の色彩範囲にあるか否かだけに基づいて上記各領域を設定するようにしたことで、該設定に係る内部処理は簡単で済む。

（７）補正の対象とする上記補正領域（特定領域）を、人物の顔に相当する領域とする（ここでは肌色領域として検出）とともに（１回目のステップＳ１）、所定の設定領域である上記注目領域を、適宜の認識手段により認識された人物の目および口とし（１回目のステップＳ２）、そして、この注目領域内に対する画像補正を、輪郭を強調するシャープネス処理として、さらに、前記オブジェクト領域の外側の領域に対する画像補正を、注目領域（設定領域）との境界付近において同注目領域から遠ざかるほど適用量が段階的に大きくなるようなソフトフォーカス処理とした（１回目のステップＳ３）。こうすることで、顔（顔領域）の細部（目や口）が鮮明になり、顔（顔領域）全体の画質として、より好ましい画質が得られることになる。

なお、上記各実施の形態は、以下のように変更して実施してもよい。

・上記第２の実施の形態においては、人物の目および口にシャープネス処理を施すようにしたが、顔内部の他のパーツ（例えば眉毛など）にシャープネス処理を施した場合にも、前記（７）の効果に準じた効果は得られることになる。

・上記第２の実施の形態においては、所定単位領域（１画素）ごとの色彩値が特定の色彩範囲（肌色領域）にあるか否かを判断し、この色彩範囲内にあるものについてはこれを全て、上記補正領域（特定領域）や注目領域（設定領域）として設定するようにした。しかし、これに限られることなく、例えば領域の大きさも加味して、特定の色彩範囲にあると判定された各領域について、それぞれその領域の大きさが所定の大きさを超えるか否かを判断し、超えるときにのみ、その領域を、上記補正領域（特定領域）や注目領域（設定領域）として認定するようにしてもよい。

例えば図６に示すように、上記特定の色彩範囲にあると判定された領域（隣接単位領域）によって、領域Ａ〜Ｄが形成されている場合にあって、「１０」単位領域を超えないものについては、上記補正領域（特定領域）や注目領域（設定領域）として認定しないようにする。すなわちこの場合は、「１」単位領域である領域Ａ、「２」単位領域である領域Ｂ、「４」単位領域である領域Ｄは、上記補正領域（特定領域）や注目領域（設定領域）としては認定されず、「３５」単位領域である領域Ｃだけが、上記補正領域（特定領域）や注目領域（設定領域）として認定されることになる。そして、こうすることで、隣接単位領域（例えば隣接画素）と大きな領域を形成しないものについては、上記補正領域（特定領域）や注目領域（設定領域）として認定されなくなる。このため、上記領域の大きさに係る閾値（上記所定の大きさ）を適切に設定することにより、実質的に画質に影響を及ぼさないほど小さな領域については、画像補正自体を行わないようにしたり、あるいは注目領域（設定領域）以外の領域と同様に扱って、あえて領域の内外でフィルタの種類を変えて画像補正を行わないようにしたりすることができるようになる。すなわち、上述の画像補正が、より効率的且つ的確に行われるようになる。

・また、上記単位領域は１画素に限られず、任意の範囲に設定することができる。すなわち、例えば複数の画素等で規定される所定の領域を、上記単位領域として設定することもできる。

・対象とする画像の最適化を図る上において、上述の画像補正と他の画像補正とを組み合わせるようにしてもよい。例えば、色成分（例えばＲＧＢレイヤー）の別に異なるフィルタリング処理を施すような画像処理を、上述の画像処理に対して適宜に組み合わせて、画像の補正（もしくは加工）を行うようにしてよい。すなわち、例えばＲＧＢの赤成分（赤レイヤー）のみに対して、選択的にソフトフォーカス処理を施す（レイヤー全域に一様に施す）ようにして、赤成分の多い肌色の領域に対するソフトフォーカスの効果を選択的に高めるようにしてもよい（色成分の絶対量の相違により、レイヤー全域に同一の適用量で補正をかけても、この補正による視覚的な効果は、赤成分の絶対量が多いところによく現れる）。また一方、青・緑成分（青・緑レイヤー）に対しては、銀塩写真と同一・類似の粒子感を持たせるようなノイズ処理を施すようにして、青成分の多い空・海の領域、さらには緑成分の多い山の領域に対するノイズの効果を選択的に高めるようにしてもよい。

・また、上記第１の実施の形態のように、適宜の顔認識手段により注目領域（設定領域）を設定する場合において、顔の近くに腕の皮膚などによる肌色があるときには、これにノイズをかけると、ぼかした肌色領域との対比により目立ってしまい、見た目が宜しくない。このため、このような場合には、顔の近くの肌色領域にはノイズをかけないようにすることが望ましい。

・上記各実施の形態においては、適宜の認識手段（オブジェクト認識手段）や、色彩範囲に基づいて検出された領域を、上記注目領域（設定領域）として設定するようにした。しかし、これに限定されることはなく、逆に検出されなかった領域を、上記注目領域として設定することもできる。すなわち、例えば第１の実施の形態の場合であれば、顔領域以外の領域を注目領域として、該注目領域（設定領域）の外側の領域となる上記顔領域に対しては、この注目領域から遠ざかるほど（すなわち顔領域の内側へいくほど）適用量（フィルタ適用量）が大きくなるようなソフトフォーカス処理を施すようにしてもよい。

・上記各実施の形態においては、説明の便宜上、上記注目領域（設定領域）から遠ざかるにつれて大きくなるフィルタの適用量を、比較的大きなステップで段階的に大きくするようにした（図４（ｂ）および図５（ｂ）参照）。しかし、もっと細かいステップにして、徐々に変化（徐変）させるようにしてもよい。こうした変化の度合は、補正バランス（補正後の画質）を考えて適切に設定することが望ましい。

・上記各実施の形態では、プリンタ１７のドライバソフトウェア（プリンタドライバ２０）の一部として、上記画像補正処理部２１を用意するようにしたが、この画像補正処理部２１の具備態様および使用態様は任意である。例えば、この画像補正処理部２１を、上記モニタ１８のドライバソフトウェアの一部として設けるようにすれば、同モニタ１８の画面出力に画像補正を施すこともできるようになる。また、ドライバソフトウェアには関係なく、別途、任意の画像に対して画像補正を施すものとして、同画像補正処理部２１を、上記記憶装置１２に記憶させるようにしてもよい。さらに、これらのパターンを任意に組み合わせるようにしてもよい。

・また、上記オブジェクト認識手段としても、任意のものを採用することができる。例えば顔認識手段であれば、目の位置を検出してから、周辺の肌色領域を顔と認識するものなども採用することができる。また、所定単位領域ごとの色彩値が青色領域にあるか否かを判定することによって、空や海などを認識（検出）することもできる。そして、他のオブジェクトについても、これらに準ずる方法で認識することが可能である。

・また、上記画像補正に係るフィルタの種類としても、前述したノイズ、ソフトフォーカス、シャープネスのほかに、例えばエンボス加工、キャンバス地、デッサン風等々、様々なものがあり、上記画像補正に際しては、こうした様々なフィルタの中から任意のフィルタを組み合わせて用いることができる。

・また、上記補正の対象とする画像についても、デジタルカメラで撮影されたものに限られることなく、例えばグラフィックソフトウェアで作成されたものなど、任意の画像を上記補正の対象とすることができる。

・上記各実施の形態においては、各領域の選択（図３のステップＳ１およびＳ２）やフィルタの選択（図３のステップＳ３）が、自動的に設定されるようにした。しかし、これに限られることなく、例えばユーザにより、任意の領域や任意のフィルタが選択されるような構成であってもよい。

例えば、適宜のアプリケーションソフトウェア上で、予め用意しておいた複数種のオブジェクト認識手段（例えば顔、口、目、空、山、所定の建物など）や色彩範囲（例えば肌色、黒色、赤色、青色など）の中から、ユーザに任意のもの（１乃至複数）を選択させ、さらに、この選択に基づいて識別された１乃至複数のオブジェクトや色彩領域を候補として、その中から実際に上記各領域として用いるものをユーザに選択させるようにしてもよい。そしてさらに、この選択された各領域に係る使用フィルタについても、これをユーザが選ぶようにしてもよい。

・上記注目領域（設定領域）の設定は、上記補正領域（特定領域）内の所定単位領域（例えば画素）ごとの色彩値が特定の色彩範囲（例えば肌色領域）にあるか否かのみに基づいて行うようにしてもよい。

・要は、少なくとも注目領域（設定領域）の外側の領域に対する画像補正を、注目領域内に対する画像補正とは別の種類のフィルタを用いて、少なくとも注目領域との境界付近においてはそのフィルタ適用量が該注目領域から遠ざかるほど大きくなるような画像補正とすれば、少なくとも前記（１）および（２）の効果と同様もしくはそれに準じた効果は得られることになる。

この発明に係る画像処理装置および画像処理方法の第１の実施の形態について、同実施の形態の方法および装置に係る画像処理システムの概要（概略構成）を模式的に示すブロック図。 プリンタドライバのプログラム構成を示すブロック図。 同第１の実施の形態に係る画像処理方法、詳しくは同第１の実施の形態に係る画像補正処理について、その主な処理手順を示すフローチャート。 画像補正の前後における画像について、（ａ）は補正前の画像を示す図、（ｂ）は補正後の画像を示す図。 （ａ）および（ｂ）は、この発明に係る画像処理装置および画像処理方法の第２の実施の形態について、該画像処理装置による画像補正の一態様を示す図。 上記装置および方法の変形例を示す図。 従来の画像処理装置および方法の一例について、その概要を示す図。

符号の説明

１０…コンピュータ、１１…デジタルカメラ、１２…記憶装置、１３…演算装置、１４…プリンタ駆動回路、１５…モニタ駆動回路、１６…入力装置、１７…カラープリンタ、１８…モニタ、２０…プリンタドライバ、２１…画像補正処理部、２２…プリンタ用画像作成部。

Claims (8)

1. 所定のフィルタを用いて、所定の画像の全域もしくは一部に相当する特定領域に対して所定の画像補正を施す画像処理装置において、
   前記特定領域内に１乃至複数の領域を設定し、この設定領域の内側と外側を含めた前記特定領域の全域に対して前記画像補正を施す場合には、前記設定領域の外側の領域に対する画像補正と前記設定領域内に対する画像補正とを互いに異なる画像補正として、このうちの、前記設定領域の外側の領域に対する画像補正についてはこれを、前記設定領域内に対する画像補正とは別の種類のフィルタを用いて、少なくとも前記設定領域との境界付近においてはそのフィルタ適用量が該設定領域から遠ざかるほど大きくなるような画像補正とする
   ことを特徴とする画像処理装置。
2. 前記設定領域の設定は、前記特定領域内の所定単位領域ごとの色彩値が特定の色彩範囲にあるか否かに基づいて行われる
   請求項１に記載の画像処理装置。
3. 前記設定領域の設定においては、前記特定領域内の所定単位領域ごとの色彩値が所定の色彩範囲にあるか否かのほか、領域の大きさも加味され、色彩値が所定の色彩範囲にあって且つ、領域の大きさが所定の大きさを超えるときにのみ、該領域を前記設定領域として認定する
   請求項２に記載の画像処理装置。
4. 前記設定領域は、前記特定領域内において色彩値が肌色の色彩範囲にある領域であり、この設定領域内に対する画像補正を、ぼかし処理であるソフトフォーカス処理として、前記設定領域の外側の領域に対する画像補正を、少なくとも前記設定領域との境界付近においては前記設定領域から遠ざかるほど適用量が大きくなるようなノイズ処理とする
   請求項２または３に記載の画像処理装置。
5. 前記設定領域の設定は、前記特定領域内の特定のオブジェクトを適宜の認識手段により認識することに基づいて行われる
   請求項１に記載の画像処理装置。
6. 前記認識手段により認識される特定のオブジェクトは、人物の顔であり、前記設定領域に相当するこのオブジェクト領域内に対する画像補正を、ぼかし処理であるソフトフォーカス処理として、前記オブジェクト領域の外側の領域に対する画像補正を、少なくとも前記オブジェクト領域との境界付近においては同オブジェクト領域から遠ざかるほど適用量が大きくなるようなノイズ処理とする
   請求項５に記載の画像処理装置。
7. 前記特定領域は、人物の顔に相当する領域であるとともに、前記認識手段により認識される特定のオブジェクトは、人物の顔内部のパーツであり、前記設定領域に相当するこのオブジェクト領域内に対する画像補正を、輪郭を強調するシャープネス処理として、前記オブジェクト領域の外側の領域に対する画像補正を、少なくとも前記オブジェクト領域との境界付近においては同オブジェクト領域から遠ざかるほど適用量が大きくなるようなソフトフォーカス処理とする
   請求項５に記載の画像処理装置。
8. 所定のフィルタを用いて、所定の画像の全域もしくは一部に相当する特定領域に対して所定の画像補正を施す画像処理方法において、
   前記特定領域内に１乃至複数の領域を設定し、この設定領域の内側と外側を含めた前記特定領域の全域に対して前記画像補正を施す場合には、前記設定領域の外側の領域に対する画像補正と前記設定領域内に対する画像補正とを互いに異なる画像補正として、このうちの、前記設定領域の外側の領域に対する画像補正についてはこれを、前記設定領域内に対する画像補正とは別の種類のフィルタを用いて、少なくとも前記設定領域との境界付近においてはそのフィルタ適用量が該設定領域から遠ざかるほど大きくなるような画像補正とする
   ことを特徴とする画像処理方法。
   

Images