JP2007065784A - 画像処理装置及び画像処理方法及びプログラム及びコンピュータ読み取り可能な記憶媒体 - Google Patents

Abstract

【課題】 画像に含まれる顔領域に基づいて画像ごとに好適なソフトフォーカス効果を施すことができる画像処理装置及び画像処理方法及びプログラム及びコンピュータ読み取り可能な記憶媒体を提供する。
【解決手段】 画像処理装置１０１に入力された画像から顔領域を検出し、顔領域からの距離に応じて画像中の各画素の第１の透過率を算出する。また、入力画像から高輝度領域を抽出し、高輝度領域からの距離に応じて画像中の各画素の第２の透過率を算出する。そして、第１の透過率と第２の透過率を合成して合成透過率を算出し、入力画像と平滑化画像とを合成透過率を用いて合成する。
【選択図】 図１

Description

本発明は、撮影画像にソフトフォーカス効果を付加する画像処理装置及び画像処理方法及びプログラム及びコンピュータ読み取り可能な記憶媒体に関する。

近年、デジタルカメラの普及によって、ネガ・フィルム方式で写真を撮影するよりも、デジタルカメラを用いて写真を画像化することがより一般になってきている。また、印刷装置、特にインクジェット方式の高画質化が進み、ユーザがデジタルカメラで撮影したデジタル画像から写真調の印刷結果を得ることもできるようになった。さらに、パーソナルコンピュータ上で各種アプリケーションソフトウェアを使用して、デジタル画像に対してさまざまな編集・加工処理を施すことも容易になっている。

一方で、銀塩カメラでは、レンズの前面に特殊なフィルタを配置して撮影することで、撮影画像に様々な効果を出すことが行われている。その一つの効果として、光学的なソフトフォーカスがある。このソフトフォーカス効果は、レンズ前面にソフト効果が得られるフィルタを配置して撮影することによって得ることができる。このようなソフトフォーカスを使用すると、撮影画像に柔らかい光の拡散によって幻想的な印象を出すことが可能である。但し、ソフトフォーカスといっても、それに使用されるフィルタの種類は様々であり、使用するフィルタによって得られる効果は異なっている。

そして、このようなソフトフォーカス効果をデジタル画像処理によってデジタル画像に対して施す試みがなされている。例えば、撮影装置の入力信号からゲイン調整をした信号とＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）をかけた信号を生成して足し合わせることで、ソフトフォーカス画像を作ることが開示されている（特許文献１参照。）。また、画像から顔を検出して、顔の有無やサイズで補正の強度を変化させる方法も提案されている（特許文献２参照。）。
特開２００３−１９８９２２号公報 特開平９−２３３４２３号公報

しかしながら、前面に配置する光学フィルタを交換することでいろいろなソフトフォーカス効果を得ることができるが、デジタルカメラでは、通常、光学フィルタは固定されている。そのため、全体に一様であり、周辺ほどソフトになるといった固定的なフレーミングしかできないという問題がある。

また、ソフトフォーカス効果をかける場合、画像中のメインの被写体に対してはかかる効果を小さし、メインの被写体以外の領域にはその効果を大きくしたい場合が多い。そして、メインの被写体としては、人物が良くその対象になる。したがって、一般的な光学フィルタを用いた場合に人物（被写体）が中央付近にいない場合には、顔領域のソフト効果が強くなりすぎるという問題がある。

また、光学フィルタは高価であり、また特殊なレンズ径に合わせて設計されている。現在、多くの種類のデジタルカメラが販売されているが、そのレンズ径は統一されているわけではない。さらに、近年の小型化への要求に合わせて、特に廉価版のデジタルカメラでは、レンズ径は小さくなる傾向にある。そのために、ユーザは自分の所有するデジタルカメラに合わせた光学フィルタを購入等して簡易に使用することができないという問題がある。

さらに、上記特許文献１に記載の方法では、ソフトフォーカス効果を得るために光学フィルタは必要としないが、画像全体に一様にＬＰＦをかけることしかできず、画像中でソフトフォーカス効果の強弱を制御できない問題がある。さらにまた、撮影画像中に複数の人物（被写体）が存在する場合に、どちらか一方の人物に合わせてフレーミングを行うことしかできないという問題もある。

そこで、本発明は、画像に含まれる顔領域に基づいて画像ごとに好適なソフトフォーカス効果を施すことができる画像処理装置及び画像処理方法及びプログラム及びコンピュータ読み取り可能な記憶媒体を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、
画像を入力する入力手段と、
前記画像から顔領域を検出する検出手段と、
前記顔領域からの距離に応じて前記画像中の各画素の第１の透過率を算出する第１の算出手段と、
前記画像から高輝度領域を抽出する抽出手段と、
前記高輝度領域からの距離に応じて前記画像中の各画素の第２の透過率を算出する第２の算出手段と、
前記第１の透過率と前記第２の透過率を合成して合成透過率を算出する第３の算出手段と、
前記入力手段により入力された前記画像と平滑化手段により平滑化された前記画像とを前記合成透過率を用いて合成する合成手段と
を備えることを特徴とする。

また、本発明に係る上記画像処理装置は、前記第３の算出手段が、前記第１の透過率と前記第２の透過率とを比較して大きい値を前記合成透過率として算出することを特徴とする。

さらにまた、本発明に係る上記画像処理装置は、前記第３の算出手段が、前記第１の透過率と前記第２の透過率との平均値を前記合成透過率として算出することを特徴とする。

さらにまた、本発明に係る上記画像処理装置は、前記検出手段によって複数の顔領域が検出された場合、前記第１の算出手段は、それぞれの顔領域からの距離に応じて複数の透過率を算出し、該複数の透過率に基づいて前記第１の透過率を算出することを特徴とする。

さらにまた、本発明に係る上記画像処理装置は、前記第１の算出手段が、前記複数の透過率のうちの最小値を前記第１の透過率として算出することを特徴とする。

さらにまた、本発明に係る上記画像処理装置は、前記第１の算出手段が、前記複数の透過率のうち、前記画像中の複数の顔領域に含まれる部分の該第１の透過率を一定値として算出することを特徴とする。

さらにまた、本発明に係る上記画像処理装置は、前記第１の算出手段が、前記複数の透過率の中から指定された一の透過率から他の透過率を減算した値を前記第１の透過率として算出することを特徴とする。

さらにまた、本発明に係る上記画像処理装置は、前記第１の算出手段が、前記画像中の複数の顔領域のうち最大の顔領域からの距離に応じて算出された透過率を基準とすることを特徴とする。

さらにまた、本発明に係る上記画像処理装置は、前記第１の算出手段が、前記画像の合焦点に最も近い顔領域からの距離に応じて算出された透過率を基準とすることを特徴とする。

さらにまた、本発明に係る上記画像処理装置は、前記複数の顔領域のいずれかの顔領域の指定をユーザから受け付ける受付手段をさらに備え、
前記第１の算出手段は、前記受付手段によって受け付けられた前記ユーザによって指定された顔領域からの距離に応じて算出された透過率を基準とすることを特徴とする。

さらにまた、本発明に係る上記画像処理装置は、
前記合成手段によって合成された画像を表示する表示手段と、
前記第１の算出手段に対して前記第１の透過率の再設定を指示する指示手段とをさらに備え、
前記第１の算出手段が、前記指示手段による再設定指示に基づいて前記第１の透過率を算出し直すことを特徴とする。

さらにまた、本発明に係る上記画像処理装置は、
前記合成手段が、前記入力手段により入力された前記画像中の画素値をＳｒｃ（ｘ，ｙ）、前記平滑化手段により平滑化された前記画像中の画素値をＧｕｓ（ｘ，ｙ）、前記合成透過率をＳとした場合に合成画像の画素値Ｄｓｔ（ｘ，ｙ）を
Ｄｓｔ（ｘ，ｙ）＝（１−Ｓ）・Ｓｒｃ（ｘ，ｙ）＋Ｓ・Ｇｕｓ（ｘ，ｙ）
として合成して算出することを特徴とする。

本発明によれば、画像に含まれる顔領域に基づいて画像ごとに好適なソフトフォーカス効果を施すことができる。

以下、図面を参照して、撮影されたデジタル画像中から人物領域を検出して、撮影画像中の人物の場所や大きさ等の配置によって、画像ごとに最適なソフトフォーカス効果を得るようにした画像処理装置及びその方法について詳細に説明する。尚、以下では、画像符号化を行う画像処理装置をプリンティングシステムに適用した場合について説明するが、本発明に係る画像処理装置の適用はプリンティングシステムに限定されるものではない。

＜第１の実施形態＞
［プリンティングシステムの構成］
図１は、本発明の第１の実施形態に係る画像処理装置を含むプリンティングシステムのハードウェアの構成を示すブロック図である。図１において、画像処理装置１０１は、以下の構成要素を備える。すなわち、ＣＰＵ１０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４、２次記憶装置１０５、表示装置１０６、入力装置１０７及びＩ／Ｆ制御部１０８を備える。

ＣＰＵ１０２は、中央演算処理ユニットであり、ＲＯＭ１０３、ＲＡＭ１０４、及び２次記憶装置１０５に格納されているプログラムを適時動作させて、周辺機器を制御する。ＲＯＭ１０３には、ＢＩＯＳ（ｂａｓｉｃ ｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ）と呼ばれる周辺機器の入出力を制御するプログラムが格納されている。当該プログラムは、電源投入時に実行され、ＲＡＭ１０４やその他の入出力装置の初期化を行う。ＲＡＭ１０４は、作業用のメモリ空間を提供する。また、２次記憶装置１０５は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−ＲＯＭ）に代表される大容量磁気記憶装置等で構成されている。そして、２次記憶装置１０５は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、アプリケーションや各種データが格納されている。

表示装置１０６は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイや液晶ディスプレイ等の画像表示装置である。表示装置１０６には、アプリケーションの処理結果や、メッセージなどが表示される。入力装置１０７は、キーボード、マウス等のユーザの指示を入力する機器であり、ユーザの指示を画像処理装置１０１に入力する機能を提供している。

Ｉ／Ｆ制御部１０８は、外部周辺機器とのインタフェースを提供している。インタフェースとしては、パラレルポートとも呼ばれるＩＥＥＥ１２８４やＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）が使用できる。さらには、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ１３９４といったシリアルバス等も使用できる。尚、どのインタフェースを使用するかは、画像処理装置１０１の構成、外部周辺機器の対応によって決まる。

また、外部周辺機器としては、デジタルスチルカメラ１０９、メモリカードリーダ／ライタ１１０, プリンタ１１１がある。

デジタルスチルカメラ１０９は撮影装置であり、ユーザが撮影した撮影画像データが格納されている。尚、撮影画像データは、次のようにして格納することができる。すなわち、デジタルスチルカメラ１０９をＩ／Ｆ制御部１０８を介して画像処理装置１０１に接続する。或いは、デジタルスチルカメラ１０９に内蔵される記録メディアを取り出してメモリカードリーダ／ライタ１１０に挿入して撮影画像データを２次記憶装置１０５に転送して格納する。さらに、格納された撮影画像データは、プリンタ１１１で印刷することが可能である。

［画像処理アプリケーション］
図２は、本発明の第１の実施形態に係る画像処理装置１０１で使用する画像処理アプリケーションのユーザインタフェース（ＵＩ）の一例を示す図である。図２において、２０１はアプリケーション全体を示しており、２０２、２０３、２０４、２０５は、それぞれ画像選択タブ、補正選択タブ、用紙選択タブ、レイアウト／印刷タブである。このようなアプリケーション２０１は、画像処理装置１０１で実行可能なモジュールであり、ユーザの指示によって実行される。

例えば、ユーザが画像選択タブ２０２を選択すると、これから補正や印刷を行うための画像を選択することできる。尚、その場合の画像の選択には、入力装置１０７を使用する。また、ユーザが用紙選択タブ２０４を選択すると、これから印刷するときに使用する紙の種類や大きさ、印刷品位を選択することできる。さらに、ユーザがレイアウト／印刷タブ２０５を選択すると、印刷のレイアウト、例えば用紙全面に一枚の画像を印刷する、又は複数の画像が選択されている場合に用紙全面に４枚の画像を配置して印刷する等のレイアウトが選択できる。

さらにまた、ユーザが補正選択タブ２０３を選択すると、図２に示すようなＵＩが表示され、ソフトフォーカス処理を選択するボタン２０６や、他の補正を選択するボタンが当該ＵＩ上に選択できるようになっている。さらに、補正対象となる画像２０７が表示されている。そして、ユーザは、画像２０７を見ながら補正強度の修正や補正パターンの変更が可能になっている。

［画像解析処理手順］
図３は、本発明の第１の実施形態に係る画像処理装置における画像処理手順を説明するためのフローチャートである。また、図４は、本発明の第１の実施形態においてソフトフォーカス処理される一人の人物が撮影されている画像４０１の一例を示す図である。以下では、ユーザが画像処理アプリケーション２０１を実行して、補正対象画像２０７を選択し、当該補正対象画像２０７にソフトフォーカス処理を実行するボタン２０６を選択指定しているものとして画像処理フローについて説明する。

まず、ユーザがソフトフォーカス処理を自動で実行するか、手動で実行するかを自動タブ２０８、手動タブ２０９を選択し、画像処理装置はそれを判断する（ステップＳ３０１）。そして、手動タブ２０９が選択された場合は、補正対象画像２０７中にあるメインの被写体領域を入力装置１０７によって指定する（ステップＳ３０２）。一方、ステップＳ３０１で自動タブ２０８が選択された場合は、補正対象画像２０７に対して顔検出を行う（ステップＳ３０３）。

尚、ステップＳ３０３で使用されるような顔検出手法としては、すでに様々な手法が提案されている。例えば、特開２００２−１８３７３１号公報には、入力画像から人物の目領域を検出して、目領域周辺を顔候補領域とする。そして、当該顔候補領域に対して、画素毎の輝度勾配、及び輝度勾配の重みを算出する。そして、これらの値があらかじめ設定されている理想的な顔基準画像の勾配、及び勾配の重みと比較した時に、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する方法が記載されている。

また、特開２００３−３０６６７号公報には、画像中から肌色領域を検出し、同領域内において人間の虹彩色画素を検出することにより、目の位置を検出することが可能であることが記載されている。

さらに、特開平８−６３５９７号公報には、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算し、マッチング度が最も高いテンプレートを選択する。そして、最も高かったマッチング度があらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とすることが記載されている。そして、同テンプレートを用いることで、目の位置を検出することが可能であるとしている。

さらにまた、特開２０００−１０５８２９号公報によれば、まず、鼻画像パターンをテンプレートとし、画像全体或いは画像中の指定された領域を走査し、最もマッチする位置を鼻の位置として出力する。次に、画像の鼻の位置よりも上の領域を目が存在する領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が度置きい画素の集合である目存在候補位置集合を求める。さらに、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。その距離が最も短くなるクラスタを目が存在するクラスタと決定することで、器官位置の検出が可能であるとしている。

その他、顔及び器官位置を検出する方法として、特開平８−７７３３４号公報、特開２００１−２１６５１５号公報、特開平５−１９７７９３号公報、特開平１１−５３５２５号公報、特開２０００−１３２６８８号公報等の数多くの手法が提案されている。さらに、特開２０００−２３５６４８号公報、特開平１１−２５０２６７号公報、特許第２５４１６８８号公報等の手法も提案されている。そして、本実施形態では、どのような手法であってもよく、特に手法を限定しない。

そして、顔領域検出の結果、例えば図４に示すような画像４０１では、領域４０２に示すような矩形領域として顔検出結果が得られる。尚、領域４０２のＬＴ（Ｌｅｆｔ Ｔｏｐ）は顔の左上の座標を示し、ＲＢ（Ｒｉｇｈｔ Ｂｏｔｔｏｍ）は顔の右下の座標を示している。

そして、補正対象画像４０１に顔領域が検出されたか否かを判断する（ステップＳ３０４）。その結果、顔が検出された場合（Ｙｅｓ）は、その検出結果を元に距離を算出し（ステップＳ３０５）、高輝度領域判定処理（ステップＳ３０６）を順次実行する。

ここで、ソフトフォーカス処理は、原画像のボケ画像を作成し、所定の透過率Ｓで原画像と合成することで実現することができる。ここで透過率Ｓは、０≦Ｓ≦１とする。

また、距離判定処理（ステップＳ３０５）では、顔の中心位置からの距離に応じて透過率曲線４０４を算出する。図４では、説明を簡単にするために、顔の中心を通る水平線４０３上の透過率曲線４０４を示している。本実施形態では、透過率曲線４０４は、顔の中心からの距離に応じて式（１）に示す２次曲線として表される値をとる。

Ｙ＝ａ×Ｘ^２＋ｂ … （１）
ここで、Ｙは補正強度、Ｘは注目画素と顔の中心画素間の距離、ａは所定の値をとる定数、ｂは中心位置の透過率を示している。

図４に示した例では、ｂ＝０としているので、顔の中心は補正されない。また、定数ａの決定方法は、所定の固定値を採用しても良いし、顔の中心から画像の端までの最大距離の場所で透過率が最大値１となるように定めても良い。尚、定数ａの値によっては、透過率が最大値１を超えるような場合は、最大値１で値をクリップして超えないようにすればよい。また、本実施形態では、簡単な２次曲線で補正強度を算出しているが、これに限定されるものではない。例えば、階段状の非線形関数を用いることによって、通常の光学フィルタでは実現できないようなソフトフォーカス効果を得ることも可能である。

また、例えば、ライトや星等の高輝度の領域４０５が補正対象画像４０１の中にある場合、その領域のソフトフォーカス効果が大きいほど効果的な画像を得ることができる。そのため、高輝度領域判定処理（ステップＳ３０６）では高輝度領域を抽出し、その領域の透過率が大きくなるようにする。

尚、高輝度領域を抽出するためには、画像がＲＧＢで表現されている場合、注目画素の各値がすべて所定の最大値を超えている画素を選択すればよい。その条件を式に示すと式（２）に示すのようになる。

ｒ≧Ｒ_ｍａｘ，ｇ≧Ｇ_ｍａｘ，ｂ≧Ｂ_ｍａｘ … （２）
ここで、ｒ、ｇ、ｂは注目画素のＲＧＢの各成分、Ｒ_ｍａｘ、Ｇ_ｍａｘ、Ｂ_ｍａｘは各成分の最大値である。また、別の方法としては、ＲＧＢから輝度成分を計算し、その輝度成分が所定の値よりも大きな画素を選択するようにしても良い。輝度成分の定義は様々な式が提案されているが、これも特に限定するものではない。

このようにして抽出した高輝度領域の幅がＷであったとした場合に、中心で最大透過率、中心から２Ｗの距離で透過率が０になるように変化する透過率曲線を作成する。図４では、高輝度領域４０５の中心を通る直線４０６上での透過率の変化を透過率曲線４０７で示している。尚、本実施形態では、直線状に変化する例を示しているが、特にこれに限定されるものではない。

そして、透過率決定（評価量決定）処理（ステップＳ３０７）では、距離算出処理（ステップＳ３０５）、高輝度領域判定処理（ステップＳ３０６）で算出された透過率を合成する。尚、合成方法としては、画像中のすべての画素で算出された距離算出処理（ステップＳ３０５）、高輝度領域判定処理（ステップＳ３０６）のそれぞれの透過率を比較して、大きい方を採用すればよい。或いは、それぞれの透過率の平均値を求める等の方法が採用可能であり、特に限定するものではない。

ステップＳ３０７の透過率決定（評価量決定）処理ですべての画素の透過率が算出された後、画像の平滑化及び合成を行う（ステップＳ３０８）。尚、画像の平滑化は、例えばガウスフィルタによって実現できる。ガウスフィルタは、式（３）で表現される。

ｆ（ｘ）＝（１／Ｎ）ｅｘｐ（−ｘ^２／２σ^２） ・・・ （３）
尚、上記式（３）は、一次元でのガウスフィルタを示しており、実際には２次元への拡張が必要である。また、Ｎは正規化変数である。さらに、ガウスフィルタのパラメータである標準偏差σは、ガウスフィルタの処理半径をｄとして、σ＝２／ｄとする。

ガウスフィルタの処理半径ｄは、顔のサイズから決定する。顔のサイズは４０２で示しているＬＴ、ＲＢの座標から計算できる。ここでは、顔のサイズがＤとすると、ｄ＝Ｄ／２０とする。また、ｄは、原画像のサイズを所定の値で除算した値にしても良い。或いは、透過率に比例してｄの値を変化させることも可能である。

一方、合成処理は、入力画像をＳｒｃ（ｘ，ｙ）、ボケ画像をＧｕｓ（ｘ，ｙ）、出力結果をＤｓｔ（ｘ，ｙ）、合成処理の透過率をＳとすると、式（４）に示すように表すことができる。

Ｄｓｔ（ｘ，ｙ）＝（１．０−Ｓ）・Ｓｒｃ（ｘ，ｙ）＋Ｓ・Ｇｕｓ（ｘ，ｙ） ・・・ （４）
上記式（４）ですべての画素について計算を行い、ソフトフォーカス処理の施された画像を得ることができる。

一方、ステップＳ３０１で手動補正が選択されてステップＳ３０２に進んだ場合、ユーザによって顔の領域、又はユーザがメインの被写体であると判断する領域が指定される。この指定された領域の座標を顔検出の検出結果とみなして、前述したステップＳ３０５、Ｓ３０６の処理へ進み、これまで説明した処理を実行する。これによって、顔が検出できなかった場合のソフトフォーカス処理や、顔以外の領域を対象としたソフトフォーカス処理を好適に実行することができる。

このように、本実施形態に係る画像処理装置によれば、顔の検出結果や高輝度領域に対して適切なソフトフォーカス効果を得ることができる。

＜第２の実施形態＞
前述した第１の実施形態の場合は、画像中に顔が一つ存在する場合についてソフトフォーカス処理を実行していた。しかし、実際に撮影された画像には、複数の人物が一つの画像に入っていることも多い。そこで、本実施形態では、複数の人物が撮影されている場合のソフトフォーカス処理について説明する。尚、以下では、上述した第１の実施形態と共通する部分については省略し、異なる部分についてのみ説明する。

図５は、本発明の第２の実施形態においてソフトフォーカス処理される複数の人物が撮影されている画像５０１の一例を示す図である。５０２、５０３は、それぞれの人物の顔領域の検出結果である。尚、説明を簡単にするために、図５における直線５０４上での透過率Ｓの変化について説明する。

図３に示したフローチャートの処理において、ステップＳ３０５では、それぞれの顔検出結果に対して透過率の計算を行う。図５において、５０５は顔検出結果５０２に対する透過率曲線を示している。５０５では、顔の領域内では透過率が０であり、顔の境界から外に対しては一定の傾きで透過率が大きくなるような例を示している。同様に、５０６は、顔検出結果５０３に対する透過率の計算結果である。

この２つの透過率の計算結果から、一つの透過率曲線を生成する。透過率曲線５０７は、透過率曲線５０５と５０６の小さい方をその画素での透過率として採用している。これにより、透過率曲線５０７は、複数の顔に対して同じようなソフトフォーカス効果が得ることができる。

図５に示すように、複数の人物が撮影されている場合、ある一人の人物を中心としたソフトフォーカス効果を得たいという要求もある。そこで、このような処理を行う場合の透過率曲線５０７は、透過率曲線５０５から５０６を減算したものである。これにより、顔領域５０２を中心としたソフトフォーカス効果を得ることができる。尚、どの顔領域を基準にするかは、例えば顔のサイズが一番大きなものとする。また、画像に合焦点情報が付加されている場合には、合焦点に一番近い画像を基準にすることもできる。或いは、ユーザの選択によって基準となる顔を決めるといった方法を用いることができる。

しかし、上述した方法では、顔領域５０３は領域内でソフトフォーカス効果が変化していることになる。そこで、これに対して透過率曲線５０８は、顔領域内のソフトフォーカス効果を一定になるように補正したものである。この場合も、基準となる顔の決定は透過率曲線５０７で示した方法を用いることができる。

上述したように、本実施形態によれば、複数の顔領域が存在する場合であっても、それぞれの顔検出結果から透過率を算出して透過率を合成することで適切なソフトフォーカス効果を得ることができる。

＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、以下のようなものがある。フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。すなわち、ホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他にも、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後にも前述した実施形態の機能が実現される。すなわち、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現される。

本発明の第１の実施形態に係る画像処理装置を含むプリンティングシステムのハードウェアの構成を示すブロック図である。 本発明の第１の実施形態に係る画像処理装置１０１で使用する画像処理アプリケーションのユーザインタフェース（ＵＩ）の一例を示す図である。 本発明の第１の実施形態に係る画像処理装置における画像処理手順を説明するためのフローチャートである。 本発明の第１の実施形態においてソフトフォーカス処理される一人の人物が撮影されている画像４０１の一例を示す図である。 本発明の第２の実施形態においてソフトフォーカス処理される複数の人物が撮影されている画像５０１の一例を示す図である。

符号の説明

１０１ 画像処理装置
１０２ ＣＰＵ
１０３ ＲＯＭ
１０４ ＲＡＭ
１０５ ２次記憶装置
１０６ 表示装置
１０７ 入力装置
１０８ Ｉ／Ｆ制御部
１０９ デジタルスチルカメラ
１１０ メモリカードリーダ／ライタ
１１１ プリンタ

Claims (15)

1. 画像を入力する入力手段と、
   前記画像から顔領域を検出する検出手段と、
   前記顔領域からの距離に応じて前記画像中の各画素の第１の透過率を算出する第１の算出手段と、
   前記画像から高輝度領域を抽出する抽出手段と、
   前記高輝度領域からの距離に応じて前記画像中の各画素の第２の透過率を算出する第２の算出手段と、
   前記第１の透過率と前記第２の透過率を合成して合成透過率を算出する第３の算出手段と、
   前記入力手段により入力された前記画像と平滑化手段により平滑化された前記画像とを前記合成透過率を用いて合成する合成手段と
   を備えることを特徴とする画像処理装置。
2. 前記第３の算出手段が、前記第１の透過率と前記第２の透過率とを比較して大きい値を前記合成透過率として算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第３の算出手段が、前記第１の透過率と前記第２の透過率との平均値を前記合成透過率として算出することを特徴とする請求項１に記載の画像処理装置。
4. 前記検出手段によって複数の顔領域が検出された場合、前記第１の算出手段は、それぞれの顔領域からの距離に応じて複数の透過率を算出し、該複数の透過率に基づいて前記第１の透過率を算出することを特徴とする請求項１に記載の画像処理装置。
5. 前記第１の算出手段が、前記複数の透過率のうちの最小値を前記第１の透過率として算出することを特徴とする請求項４に記載の画像処理装置。
6. 前記第１の算出手段が、前記複数の透過率のうち、前記画像中の複数の顔領域に含まれる部分の該第１の透過率を一定値として算出することを特徴とする請求項４に記載の画像処理装置。
7. 前記第１の算出手段が、前記複数の透過率の中から指定された一の透過率から他の透過率を減算した値を前記第１の透過率として算出することを特徴とする請求項４に記載の画像処理装置。
8. 前記第１の算出手段が、前記画像中の複数の顔領域のうち最大の顔領域からの距離に応じて算出された透過率を基準とすることを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記第１の算出手段が、前記画像の合焦点に最も近い顔領域からの距離に応じて算出された透過率を基準とすることを特徴とする請求項６又は７に記載の画像処理装置。
10. 前記複数の顔領域のいずれかの顔領域の指定をユーザから受け付ける受付手段をさらに備え、
    前記第１の算出手段は、前記受付手段によって受け付けられた前記ユーザによって指定された顔領域からの距離に応じて算出された透過率を基準とすることを特徴とする請求項６又は７に記載の画像処理装置。
11. 前記合成手段によって合成された画像を表示する表示手段と、
    前記第１の算出手段に対して前記第１の透過率の再設定を指示する指示手段とをさらに備え、
    前記第１の算出手段が、前記指示手段による再設定指示に基づいて前記第１の透過率を算出し直すことを特徴とする請求項１から１０までのいずれか１項に記載の画像処理装置。
12. 前記合成手段が、前記入力手段により入力された前記画像中の画素値をＳｒｃ（ｘ，ｙ）、前記平滑化手段により平滑化された前記画像中の画素値をＧｕｓ（ｘ，ｙ）、前記合成透過率をＳとした場合に合成画像の画素値Ｄｓｔ（ｘ，ｙ）を
    Ｄｓｔ（ｘ，ｙ）＝（１−Ｓ）・Ｓｒｃ（ｘ，ｙ）＋Ｓ・Ｇｕｓ（ｘ，ｙ）
    として合成して算出することを特徴とする請求項１から１１までのいずれか１項に記載の画像処理装置。
13. 画像を画像処理装置に入力する入力工程と、
    前記画像から顔領域を検出する検出工程と、
    前記顔領域からの距離に応じて前記画像中の各画素の第１の透過率を算出する第１の算出工程と、
    前記画像から高輝度領域を抽出する抽出工程と、
    前記高輝度領域からの距離に応じて前記画像中の各画素の第２の透過率を算出する第２の算出工程と、
    前記第１の透過率と前記第２の透過率を合成して合成透過率を算出する第３の算出工程と、
    前記入力工程により入力された前記画像と平滑化工程により平滑化された前記画像とを前記合成透過率を用いて合成する合成工程と
    を有することを特徴とする画像処理方法。
14. コンピュータに、
    画像を入力する入力手順と、
    前記画像から顔領域を検出する検出手順と、
    前記顔領域からの距離に応じて前記画像中の各画素の第１の透過率を算出する第１の算出手順と、
    前記画像から高輝度領域を抽出する抽出手順と、
    前記高輝度領域からの距離に応じて前記画像中の各画素の第２の透過率を算出する第２の算出手順と、
    前記第１の透過率と前記第２の透過率を合成して合成透過率を算出する第３の算出手順と、
    前記入力手順により入力された前記画像と平滑化手順により平滑化された前記画像とを前記合成透過率を用いて合成する合成手順と
    を実行させるためのプログラム。
15. 請求項１４に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images