JP2004246673A

JP2004246673A - 顔画像処理装置及びシステム

Info

Publication number: JP2004246673A
Application number: JP2003036636A
Authority: JP
Inventors: Shunichiro Nonaka; 俊一郎野中
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2003-02-14
Filing date: 2003-02-14
Publication date: 2004-09-02

Abstract

【課題】簡単な構成でより自由度の高い顔表情変化を実現できる顔画像処理装置を提供するとともに、顔画像を美しく加工する画像加工サービスの実現に好適な顔画像処理システムを提供する。
【解決手段】デジタルカメラやカメラ付き携帯電話機などによって取得された画像データ２０は、画像データ入力部１２に入力され、顔パーツ抽出部１４に送られる。顔パーツ処理部１４では、入力された画像データから目、鼻、唇、眉などの少なくとも１つの顔パーツを抽出する。顔パーツ抽出部１４で抽出された情報も基に、顔パーツに対してフィルタ処理をかけて顔の表情を変化させる。例えば、目の座標を中心にワープフィルタをかける。また、唇領域に赤みを増す色変換フィルタ処理をかける。さらに、顔パーツ抽出の推定成功率を表す確信度を算出し、確信度が低い場合には処理結果の画像を表示させないようにする。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は顔画像処理装置及びシステムに係り、特にデジタルスチルカメラ（ＤＳＣ）やカメラ付き携帯電話機などにより撮影された人物の顔画像を加工する画像処理技術に関する。
【０００２】
【従来の技術】
特許文献１に開示されている顔画像作成装置は、「目」、「鼻」、「口」など顔の各部位のパーツ画像データをＲＯＭに登録しておき、これら基本的なパーツ画像データを組み合わせて作成される顔画像に対して喜怒哀楽など微妙な表示変化を与えるように、指定された表情に応じてパーツ画像を変形したり、表示位置を移動させたりなどの処理を施すように構成されている。
【０００３】
また、近年インターネットを利用した画像加工サービスが行われている。例えば、オムロン株式会社が提供している「おかおネット」というサービスサイトでは、顔画像を入力するとその顔に応じたコメントが出る「かおチェキ」、二つの顔画像を入力するとそれらの顔同士の相性が出力される「おかおで相性」、顔画像を入力すると占い結果を出力する「人相占い」、顔画像を入力すると目、鼻など顔パーツの概略の位置を抽出して目の部分を「イラストの目」に置き換えたり、耳付近に「おさげイラスト」を合成したりするなどの加工を施した顔画像を提供する「おかおマーク工房」などのサービスが行われている（非特許文献１参照）。
【０００４】
【特許文献１】
特開平８−３０５８７８号公報
【０００５】
【非特許文献１】
おかおネット、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｅｔ−ｍｏｂｉｌｅ．ｃｏｍ／＞
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に示された技術によれば、顔画像に表情変化を付けるために、事前に基本的な顔パーツ画像データを用意しておく必要がある。また、これら用意された顔パーツデータからは生成できなような表情もあるなどシステムに対して大きな制約がついてしまうという問題もある。
【０００７】
さらに、上述した「おかおネット」を含め、従来実現されている画像加工サービスでは「顔画像にイラストを合成する」或いは「顔画像を面白おかしく崩す」といった趣旨のものであり、「顔画像をより美しく見えるように加工する」という要求に応えることはできない。
【０００８】
本発明はこのような事情に鑑みてなされたもので、簡単な構成でより自由度の高い顔表情変化を実現できる顔画像処理装置を提供することを目的とする。また、本発明は上記の顔画像処理装置を活用して「かっこよく」、「美しく」或いは「かわいく」といった見栄えをよくする加工（美形化加工）を施した画像を提供するサービスの実現に好適な顔画像処理システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
前記目的を達成するために本発明に係る顔画像処理装置は、顔画像を含む画像データを入力する画像データ入力手段と、前記画像データ入力手段により入力された画像から顔のパーツを抽出する顔パーツ抽出手段と、前記顔パーツ抽出手段により抽出された顔パーツにフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理手段のフィルタ処理を経て生成された顔画像を含む画像データを出力する画像出力手段と、を備えたことを特徴とする。
【００１０】
本発明によれば、画像データ入力手段から入力された画像データから自動的に顔パーツを抽出し、抽出した顔パーツに対してフィルタ処理を施すことにより顔の表情を変更した画像（顔表情変化画像）を作成する。これにより、事前に顔パーツ画像データを用意する必要がなく、また表情の自由度が高い顔画像データの作成が可能となる。
【００１１】
前記フィルタ処理手段において少なくともワープフィルタが用いられる態様や前記フィルタ処理手段において少なくとも色変換フィルタが用いられる態様がある。これらフィルタは、顔を美形化するのに有効である。
【００１２】
本発明の一態様によれば、上記構成に加えて、前記顔パーツ抽出手段における顔パーツ抽出の推定成功率を表す確信度を算出する確信度算出手段を備えたことを特徴としている。
【００１３】
また、前記確信度算出手段により求められた確信度の情報を出力する確信度出力手段を備えることを特徴とする。なお、確信度算出手段及び確信度出力手段は、前記顔パーツ抽出手段に包含されていてもよい。
【００１４】
画像解析による顔パーツの抽出処理は、必ずしも１００％正確に成功するとは限らず、元画像の内容等によっては顔パーツの抽出に失敗する場合もあり得る。顔パーツ抽出に失敗した場合は、表情変化の加工もうまく実現できず、不自然な画像を生成する可能性がある。
【００１５】
そのため、顔パーツ抽出の推定成功率を表す確信度を算出し、この情報を利用して、推定成功率（確信度）が低い場合には、何らかの対策を行うように処理を切り替えることが好ましい。
【００１６】
例えば、「目と鼻の距離が不自然ではないか」などの指標から「確信度」を導出し、確信度が一定のしきい値（判定基準値）よりも低い場合に、顔表情変化画像の作成を行わない態様、或いは、作成した顔表情変化画像の出力を制限する態様、もしくは、作成した顔表情変化画像とともに確信度が低いことを示す警告等の情報を出力する態様などがある。
【００１７】
また、確信度出力手段から出力される情報は、確信度を数値で表したものに限らず、顔パーツの抽出に成功したか或いは失敗したかの何れかを表す情報であってもよく、さらに、確信度の数値とその評価（抽出成功か失敗か）の情報を両方出力する態様も含まれる。
【００１８】
上述した顔画像処理装置の活用形態を提供すべく、本発明に係る顔画像処理システムは、顔画像を含む画像データをネットワーク経由で送出する通信手段を備えた通信端末と、前記ネットワーク経由で前記通信端末から送られてきた画像データを処理する顔画像処理サーバと、から構成される顔画像処理システムであって、前記顔画像処理サーバは、前記通信端末から前記ネットワーク経由で画像データを受け入れる画像データ入力手段と、前記画像データ入力手段により入力された画像から顔のパーツを抽出する顔パーツ抽出手段と、前記顔パーツ抽出手段により抽出された顔パーツにフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理手段のフィルタ処理を経て生成される顔表情変化画像を含む画像データを前記ネットワーク経由で提供する画像提供手段と、を備えたことを特徴とする。
【００１９】
この場合、画像データ入力手段と画像提供手段とは、ネットワーク接続によりデータの送受信を行う通信手段で兼用できる。通信手段には受信手段および送信手段が含まれる。なお、顔画像処理サーバは、単一のコンピュータで構成されていてもよいし、複数のコンピュータで構築されたシステムであってもよい。
【００２０】
本発明によれば、顔画像を含む画像データを通信端末から顔画像処理サーバに送信し、画像加工を依頼する。顔画像処理サーバは受信した画像を基に顔パーツの抽出と顔表情を変化させるフィルタ処理とを行い処理結果画像（顔表情変化画像）を提供する。顔画像処理サーバで作成された顔表情変化画像は、ネットワーク経由で加工依頼元（画像データ発信元）の通信端末に提供されてもよいし、他の通信端末やサーバなどに提供されてもよい。
【００２１】
本発明に係る顔画像処理システムにより、様々な顔画像を見栄え良く美化修正して返す画像加工サービスを実現することができる。本発明の顔画像処理システムを利用することによって、見栄えのよい顔画像をだれでも簡単に入手することが可能になる。
【００２２】
本発明の一態様によれば、前記顔画像処理サーバは、前記顔パーツ抽出手段における顔パーツ抽出の推定成功率を表す確信度を算出する確信度算出手段と、前記確信度算出手段により算出された確信度の情報を出力する確信度出力手段を備えたことを特徴とする。
【００２３】
確信度の情報は、顔画像処理サーバ内において制御部などの回路ブロックに出力されてもよいし、前記顔表情変化画像とともに通信端末など外部に提供されてもよい。
【００２４】
また、前記顔画像処理サーバは、前記確信度算出手段で算出された確信度が予め定められたしきい値よりも低い場合には前記顔表情変化画像の出力を禁止する制御を行う出力制御手段を備える態様がある。
【００２５】
顔パーツ抽出の確信度が低い場合、すなわち、顔表情を変化させる処理の精度が低いと推定される場合には、精度の低い処理結果画像を出力しないことにより、全体のサービス品質を向上させることができる。
【００２６】
本発明の他の態様によれば、前記通信端末は、前記顔画像処理サーバで生成された画像を受信し、該受信した画像データに基づいて画像内容を表示する表示手段を備えたことを特徴とする。
【００２７】
前記通信端末は、被写体の光学像を電気信号に変換する撮像手段を有し、該撮像手段で撮影した顔画像を含む画像データを前記通信手段から送出し得ることを特徴とする態様がある。例えば、カメラ付き携帯電話機などが該当する。
【００２８】
本発明のさらに他の態様によれば、前記通信端末は、前記確信度算出手段で算出された確信度が予め定められたしきい値よりも低い場合に、前記顔表情変化画像を前記表示手段に表示させない制御を行う表示制御手段を有していることを特徴とする。
【００２９】
顔表情変化画像とともに確信度の情報が提供されるとき、これら情報を受け取った端末において、確信度が低い場合には、不自然な画像等の品質の低い画像をユーザに提供しないことで、サービス品質の低下を抑えることができる。
【００３０】
また、前記通信端末は、前記確信度算出手段で算出された確信度が予め定められたしきい値よりも低い場合に、前記表示手段に警告を表示する制御を行う警告制御手段を有していることを特徴とする態様がある。
【００３１】
確信度が低い場合に、不出来な画像を提示するよりはむしろ、画像データの送信元であるユーザに対して警告を行い、別の画像の送信を促すことによりサービス品質を向上させる。
【００３２】
【発明の実施の形態】
以下添付図面に従って本発明の好ましい実施の形態について詳説する。
【００３３】
〔第１の実施形態〕
図１は本発明の第１の実施形態に係る顔画像処理装置の構成を示すブロック図である。同図に示すように、顔画像処理装置１０は、主として画像データ入力部１２、顔パーツ抽出部１４、顔パーツフィルタ処理部１６及び画像データ出力部１８から構成されている。
【００３４】
デジタルカメラやカメラ付き携帯電話機などの撮像装置によって取得された画像データ２０は、画像データ入力部１２を介して顔画像処理装置１０に入力される。画像データ入力部１２は、ＵＳＢ、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈ、イーサネットなどに代表されるデータ通信用のインターフェイス部、又は記録メディア読み取り用のインターフェイス部、或いはこれらの組み合わせなどで構成される。何れのインターフェイスを適用するかは、画像データ２０が記録されている媒体や画像データ２０の記録形式などにより適宜選択される。
【００３５】
顔画像を含む画像データ２０は画像データ入力部１２を介して顔画像処理装置１０に入力され、顔パーツ抽出部１４に送られる。顔パーツ抽出部１４は、入力された画像データを解析して、目、鼻、唇、眉などの少なくとも１つの顔パーツを抽出する。抽出結果は、各顔パーツの座標でもよいし、各顔パーツを切り出した部分画像であってもよい。
【００３６】
顔パーツ抽出部１４で抽出された情報は顔パーツフィルタ処理部１６に送られる。顔パーツフィルタ処理部１６では、顔パーツ抽出部１４にて抽出された結果を基に顔パーツに対してフィルタ処理を行い、顔画像データの表情を変化させる。顔パーツの抽出方法及び顔パーツに対するフィルタ処理の例については後述する。
【００３７】
顔パーツフィルタ処理部１６で作成された画像は、画像データ出力部１８に送られ、画像データ出力部１８において所定の出力形式に変換されて外部に出力される。画像データ出力部１８は、ＵＳＢ、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈ、イーサネットなどに代表されるデータ通信用のインターフェイス部、記録メディアへのデータ書き込み用のインターフェイス部、プリント出力用のインターフェイス部、液晶ディスプレイやＣＲＴその他の表示装置への表示出力用のインターフェイス部、或いはこれらの組み合わせがある。こうして、最終的な画像データ（顔の表情を魅力的に変化させた画像データ）２２を得ることができる。
【００３８】
図１の顔パーツ抽出部１４の構成例を図２に示す。顔パーツ抽出部１４は、特徴抽出処理部２６、マッチング処理部２８、辞書データ格納部３０、辞書データとの一致度算出する一致度算出部３１、一致度を判定する一致度判定部３２及び顔パーツ座標確定部３４を含む。
【００３９】
特徴抽出処理部２６は、入力された画像データに対して、例えば、ウエーブレット変換を行い、適切な位置と周波数のウエーブレット係数を取り出して量子化するなど、顔パーツ抽出のための特徴抽出処理を行う。
【００４０】
辞書データ格納部３０には、事前に非常に多数のサンプル画像から上記同様の特徴抽出処理を行い作成しておいた顔パーツ辞書データが格納されている。マッチング処理部２８は、特徴抽出処理部２６で抽出されたデータと顔パーツ辞書データとの間でマッチング処理を行う。一致度算出部３１では、特徴抽出処理を施された画像データと顔パーツ辞書データとの一致度が算出される。最も一致度の高かった画像中の位置に対象の顔パーツが存在するものとされる。
【００４１】
一致度判定部３２は、マッチング処理の結果から算出された一致度がある一定のしきい値を超えているか否かを判断する。一致度がしきい値を超えていない場合には、対象の顔パーツが存在しないと判定される。この場合、最も一致度の高かった位置を顔パーツの座標として返すとともに、確信度を示す情報（例えば、低い確信度であることを示す値「０」）を返す。
【００４２】
その一方、一致度判定部３２において一致度がしきい値を超えた場合は、対象の顔パーツが存在すると判定される。この場合、顔パーツ座標確定部３４は、最も一致度の高かった位置を顔パーツの座標として確定し、その座標情報を返すとともに、その一致度を確信度の情報として出力する。
【００４３】
一致度は、マッチング結果が良好なほど高い数値となる。そのため、一致度を用いて確信度を算出することにより、確信度を良好なパーツ抽出ができたかどうかの指標として用いることが可能となる。
【００４４】
こうして、入力される顔画像から各顔パーツの特徴点（座標や大きさなど）の情報が得られる。例えば、図３に示すように、目Ｐ１，Ｐ２、鼻Ｐ３、唇Ｐ４、あごの最下点Ｐ５、顔輪郭の端点Ｐ６，Ｐ７、眉Ｐ８，Ｐ９などの各座標、さらには、目頭Ｐ１０，Ｐ１１、目尻Ｐ１２，Ｐ１３、目の上端Ｐ１４，Ｐ１５、下端Ｐ１６，Ｐ１７、口の左右端Ｐ１８，Ｐ１９などの各座標のうち少なくとも１つの座標が検出される。
【００４５】
次に、顔パーツに対するフィルタ処理の例について説明する。
【００４６】
図１で説明した顔パーツフィルタ処理部１６の一例を挙げると、顔画像から目の座標を抽出し、目の座標を中心にワープフィルタをかけることにより、目をパッチリと開けた表情にすることができる。
【００４７】
ワープフィルタとは、図４のように画像データの一部分を空間的に拡縮する効果を持つ画像処理手法である。このような拡縮効果を持つフィルタで目の形に近い楕円形にかけることが可能なフィルタ（図５参照）を用い、目の中心座標から適切な拡大率でフィルタ処理を行うことにより、違和感なく元画像の目をパッチリとさせた画像を作成することが可能である。図４に示したフィルタよりも境目が自然となるような、図５に示すフィルタを用いることにより、さらに自然な処理が可能となる。
【００４８】
また、図６のように目の開き方（例えば、目の中心座標Ｐ１から上端点Ｐ１４までの距離Ｖ）や目の広がり幅（例えば、目の中心座標Ｐ１から目頭Ｐ１０までの距離Ｈ）を検出し、これら検出値に基づき目の大きさに応じたサイズのフィルタが自動選択される。
【００４９】
さらに、図７に示すように、左右の目の中心座標Ｐ１，Ｐ２を結ぶ線Ｌ１と画面の水平基準線Ｌ２との角度を算出するなどして目の傾き角度θを検出し、目の傾き角度θに応じてフィルタのかけかたが自動的に決定される。
【００５０】
もちろん、ワープフィルタによる形状修正は、目に限らず、鼻、眉、唇など他の部位についても同様に適用することができる。
【００５１】
上記ワープフィルタによる形状変形の他に、対象とする顔パーツ部分の色を補正する色変換フィルタもある。
【００５２】
例えば、唇領域を抽出し、その唇領域に対して色の彩度を上げる効果を持つフィルタ、ないし、色の色相を赤に近づける効果（赤みを増す効果）を持つフィルタを施すことにより、唇の印象を良くし、女性らしさを増した表情の顔画像（「かわいい女性」或いは「大人っぽい女性」）に加工することができる。
【００５３】
また、顔の輪郭情報などから顔の肌色領域を抽出し、その部分に白さを増したり（美白化）、黒さを増したり（日焼け肌化）する色変換フィルタをかけることにより、色白の表情や色黒の表情に加工することができる。
【００５４】
どのような表情の画像に仕上げるかという加工目標は、被写体となっている人物の性別、年齢、或いは画像の利用目的などによって異なる。したがって、図８のように、被写体である人物の情報（性別、年齢など）や希望品質（「かわいらしく」／「美しく」／「男っぽく」など）を示す条件データを入力するための条件データ入力部４２と、入力された条件に適したフィルタを自動的に選択する制御を行うフィルタ選択制御部４４とを付加し、顔パーツフィルタ処理部１６で使用するフィルタの種類や掛け具合を条件データに応じて切り替えるように構成される態様が好ましい。
【００５５】
条件データ入力部４２は、通信インターフェイス部やメディアインターフェイス部、或いはキーボードや操作パネルなどユーザが直接的に指示を入力できる入力装置などの手段により構成される。また、フィルタ選択制御部４４は中央演算処理装置（ＣＰＵ）などの制御手段により構成される。
【００５６】
図１乃至図８で説明した顔画像処理装置１０は画像情報を取り扱う機器や装置、或いはシステムに広く適用することができ、その適用例としては、パソコン（ＰＣ）、画像加工サービス提供用のサーバ、店頭などに設置されるセルフ操作式プリント装置、証明写真や写真シールプリントなどを提供するセルフ撮影型写真プリント装置、画像閲覧装置などがある。また、デジタルカメラ、カメラ付き携帯電話、ＰＤＡ等のモバイル電子機器に顔画像処理装置１０の機能を組み込むことも可能である。
【００５７】
図９は上記の顔画像処理装置１０をパソコンによって実現した場合のハードウエア構成を示すブロック図である。
【００５８】
顔画像処理装置１０は、制御部及び演算処理部として機能するＣＰＵ１２０を有し、ＣＰＵ１２０にはバス１２２を介してＲＯＭ１２４及びＲＡＭ１２６が接続されている。ＲＯＭ１２４には、ＣＰＵ１２０の動作に必要なプログラムや各種設定値、ネットワーク接続情報などが記録されている。ＲＡＭ１２６はデータの一時記憶やＣＰＵ１２０によるプログラム実行時の作業用領域として利用される。
【００５９】
また、顔画像処理装置１０には、外部および内蔵機器との入出力インターフェイスであるＵＳＢＩ／Ｆ１２８、メディアＩ／Ｆ１３０、パラレルＩ／Ｆ１３２、赤外線通信（ＩｒＤＡ）Ｉ／Ｆ１３４、ネットワーク接続用の通信Ｉ／Ｆ１３５が備えられている。
【００６０】
ＵＳＢＩ／Ｆ１２８は、ＵＳＢ接続可能な周辺機器を接続するインターフェイスである。ＵＳＢ接続では、顔画像処理装置１０の電源を切らずに接続した周辺機器を認識できるホットプラグ機能を備えている。また、プリンタやスキャナー、ＣＤ−ＲＯＭドライブ等の周辺機器だけでなくＤＳＣやＭＤプレーヤー等を接続することができるので、ＵＳＢＩ／Ｆ１２８は複数備えると便利である。ＵＳＢＩ／Ｆの他に、ＲＳ２３２Ｃ、ＩＥＥＥ１３９４等、他の規格のシリアルインターフェイスを備えてもよい。
【００６１】
メディアＩ／Ｆ１３０を介してメディアスロット１３６が設けられており、記録媒体に記録されているデータを顔画像処理装置１０に取り込むことができる。
【００６２】
記録媒体には、ｘＤ‐ピクチャーカード（商標）、スマートメディア（商標）、コンパクトフラッシュ（商標）等に代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど種々の媒体を用いることができる。メディアＩ／Ｆ１３０は異なる規格に対応したものを複数備えると便利である。また、同じ規格のメディアＩ／Ｆを複数備えてもよい。
【００６３】
パラレルＩ／Ｆ１３２はパラレル通信によりデータの送受信が行われる周辺機器を接続するインターフェイスである。パラレルＩ／Ｆにはセントロニクスインターフェイス、ＳＣＳＩインターフェイス、ＩＤＥインターフェイス等がある。セントロニクスインターフェイスには主にプリンタが接続され、ＳＣＳＩインターフェイスおよびＩＤＥインターフェイスにはハードディスク、ＭＯ、ＣＤ−ＲＯＭドライブなどが接続される。本例の顔画像処理装置１０は、ＩＤＥインターフェイスを介して内蔵型ハードディスク１３８を備えている。
【００６４】
内蔵型ハードディスク１３８にはオペレーティングシステム（ＯＳ）や本発明の実施形態に係る顔画像処理機能を実現する画像処理プログラムがインストールされており、その他各種のアプリケーションソフト、ユーザが記録した画像ファイル等が格納され得る。
【００６５】
赤外線通信Ｉ／Ｆ１３４は赤外線通信によりデータの送受信が行われる外部装置用インターフェイスである。赤外線通信機能を持つ外部装置には、ノート型パソコン（モバイルパソコン）、ＰＤＡ、携帯電話機等がある。
【００６６】
通信Ｉ／Ｆ１３５は、既存のＬＡＮやインターネットへ接続するためのインターフェイスである。通信Ｉ／Ｆ１３５には無線通信インターフェイスやイーサネットインターフェイス等があり、また、モデムを使用して公衆電話回線に接続する手段であってもよい。通信Ｉ／Ｆ１３５を介してネットワークに接続することにより、ＬＡＮやインターネットなど経由して画像データ等の送受信が可能である。
【００６７】
また、図９に示した顔画像処理装置１０は、モニタＩ／Ｆ１４０を介してＣＲＴモニタやＬＣＤモニタ等の表示装置１４２を備えている。表示装置１４２はパソコン１００本体に内蔵された一体型であってもよいし、本体と別体の構成であってもよい。表示装置１４２にはＣＲＴモニタ、ＬＣＤモニタに代えて、有機ＥＬ、プラズマディスプレイなどの他の方式の表示装置を用いてもよい。
【００６８】
ユーザは、操作部（ユーザＩ／Ｆ）１４４を介して顔画像処理装置１０に文字や記号を入力することができる。さらに操作部１４４を介して画像処理プログラムの実行指示やプロクラム変更、中止等の指示を顔画像処理装置１０に与えることができる。操作部１４４は、キーボード、マウス、ジョイスティック等の操作手段の他に、音声認識型入力手段や表示装置１４２と一体化したタッチパネル式表示装置などの態様がある。
【００６９】
図９に示した構成において、ＵＳＢＩ／Ｆ１２８、メディアＩ／Ｆ１３０、パラレルＩ／Ｆ１３２、ＩｒＤＡＩ／Ｆ１３４および通信Ｉ／Ｆ１３５は、図１で説明した画像データ入力部１２に相当する。
【００７０】
これらインターフェイス（１２８〜１３５）の何れかを介して顔画像処理装置１０に入力された画像データは、ノイズ除去等の所定の入力処理を施されて、一旦、ＲＡＭ１２６に記憶される（図９参照）。
【００７１】
ＲＡＭ１２６に記憶された画像データは、操作部１４４を介してユーザにより選択されたプログラムに従い、画像処理部１４６によって画像処理を施される。画像処理部１４６は画像処理機能を強化したマイクロコンピュータ、メモリ、画像処理専用ＬＳＩ等を含んだ構成になっており、ＣＰＵ１２０の指令に従い画像信号を処理する。この画像処理部１４６およびＣＰＵ１２０は、図１で説明した顔パーツ抽出部１４と顔パーツフィルタ処理部１６の役割を果たす。
【００７２】
画像処理が完了した画像データは再度ＲＡＭ１２６に記録され、プリント、データ転送、データ表示など、操作部１４４を介して行われるユーザの指示に従って、ＲＡＭ１２６から読み出される。
【００７３】
例えば、モニタＩ／Ｆ１４０に接続された表示装置１４２、ＵＳＢＩ／Ｆ１２８に接続されたＵＳＢ対応プリンタやＵＳＢ対応記録装置、およびパラレルＩ／Ｆ１３２に接続されたセントロニクス対応プリンタやハードディスク１３８などが図１に示した画像データ出力部１８に相当する。
【００７４】
上記の如く構成された顔画像処理装置１０では、入力された原画像のデータから顔パーツを抽出し、抽出した顔パーツにワープフィルタや色変換フィルタなどのフィルタをかけて顔表情を変更した顔画像データを作成するようにしたので、原画像に含まれる顔画像自体の目の大きさを大きくしたり、唇を赤くしたりすることが可能であり、顔画像の見栄えをよくすることができる。
【００７５】
〔第２の実施形態〕
次に、本発明の第２の実施形態について説明する。図１０は本発明の第２の実施形態に係る画像処理システムの構成図である。この画像処理システム２００は、デジタルカメラ２０２やカメラ付き携帯電話機２０８などを用いて撮影された人物の画像（顔写真）をネットワーク２２４経由で顔表情変化サーバ２１６に送り、顔表情変化サーバ２１６において画像中の顔の表情を変化（美化）させる処理を行って見栄えのよい顔画像を作成して利用者（ユーザ）２０６、２１０に提供する画像加工サービスを実現するシステムである。
【００７６】
図１０では、パソコン２０４を利用してネットワーク２２４に接続するユーザ２０６と、携帯電話機２０８を利用してネットワーク２２４に接続するユーザ２１０の例が示されているが、実際には図示せぬ多数のユーザがそれぞれ通信端末（ユーザ端末）を用いてネットワーク２２４に接続することが可能であり、複数のユーザが本サービスを利用することが可能である。また、ユーザ端末の形態はパソコン２０４や携帯電話機２０８に限定されず、カメラ付きモバイルパソコン、ＰＤＡなどネットワーク接続機能を有する他の機器であってもよい。
【００７７】
デジタルカメラ２０２の詳細な構成は図示しないが、デジタルカメラ２０２は、撮影レンズ及び絞りなどを含む光学系と、前記光学系を通して入射した被写体の光学像を電気信号に変換する撮像素子（例えば、ＣＣＤ）と、該撮像素子から取り込まれた画像信号に所定の信号処理を施す画像処理手段と、画像データを記憶するメモリと、レリーズボタン等の操作手段と、画像表示を行うＬＣＤモニタと、ストロボ装置と、これらの制御を行う制御手段とを含む構成となっている。
【００７８】
また、デジタルカメラ２０２は、シリアルインターフェイス（例えば、ＵＳＢ）や赤外線通信（ＩｒＤＡ）インターフェイスに代表される通信インターフェイスを有し、該通信インターフェイスを介して外部の機器（パソコン２０４など）と接続され、相互にデータ（情報）の受け渡しを行うことができる。
【００７９】
デジタルカメラ２０２とパソコン２０４とはＵＳＢその他の通信インターフェイスを介して接続され、デジタルカメラ２０２からパソコン２０４へ画像データの転送を行うことができる。もちろん、メモリカードなどのリムーバブルメディアを用いて画像データをパソコン２０４に取り込む態様も可能である。
【００８０】
パソコン２０４には、デジタルカメラ２０２内およびパソコン２０４内に記録されている画像データを表示する画像ビューアソフトがインストールされており、このビューアソフトは、選択した画像の画像サイズを変換する画像サイズ変換機能、適宜のアスペクト比で切り取るトリミング機能、画像ファイルのフォーマット変換機能等の画像操作に関する各種機能を有している。また、パソコン２０４は、イーサネット又は通信モデムなどのネットワーク通信用のインターフェイスを有し、該通信インターフェイスを介してネットワーク２２４に接続される。
【００８１】
ネットワーク２２４とは、コンピュータシステム、端末、データ通信設備を相互に接続したものをいう。接続は、専用回線、公衆回線などのような有線で接続されていても良いし、通信衛星などを通じて無線で接続されていてもよいし、それらの複合形態で接続されていても良い。いわゆるインターネットに代表されるＷＡＮ（ワイドエリアネットワーク）やＬＡＮ（ローカルエリアネットワーク）などもネットワーク２２４に含まれる。
【００８２】
カメラ付き携帯電話機２０８について詳細な構成は図示しないが、該携帯電話機２０８は、通常の通話機能を実現するための構成に加えて、撮影レンズ及び絞りを含む光学系と、該光学系を通して入射した被写体の光学像を電気信号に変換する撮像素子（例えば、ＣＣＤ）と、撮像素子から取り込まれた画像信号に対して所定の処理を施す信号処理手段と、画像データを記録するメモリと、シャッターボタン等の操作手段と、画像表示を行うディスプレイ２０９と、これらを統括制御する制御手段（例えば、ＣＰＵ）と、を含む構成になっている。
【００８３】
携帯電話機２０８は携帯電話網２２６を介してネットワーク２２４に接続される。携帯電話機２０８のカメラ機能を用いて撮影した画像データは、携帯電話網２２６およびネットワーク２２４を介して顔表情変化サーバ２１６に転送可能である。なお、携帯電話網２２６にはインターネット網が含まれている。
【００８４】
また、携帯電話機２０８には少なくとも画像データを表示する機能がインストールされている。
【００８５】
顔表情変化サーバ２１６は、本画像加工サービスを運営する事業者等によってネットワーク２２４上に設置される。顔表情変化サーバ２１６は、大容量記録装置（ストレージ）２１２とサーバコンピュータ２１４とを備えており、ネットワーク２２４経由でユーザ２０６、２１０から画像加工の依頼を受け付ける。
【００８６】
利用者たるユーザ２０６、２１０は、各自の端末（２０８，２４０）から顔表情変化サーバ２１６にアクセスして画像の加工を依頼するとともに、被加工画像（加工してもらう加工元の画像）を顔表情変化サーバ２１６に送る。
【００８７】
画像データの送信方法としては、電子メールに添付して送信する態様、画像加工サービスを受け付けるホームページ（サイト）を経由してアップロードする態様などがある。
【００８８】
顔表情変化サーバ２１６は、図１乃至図８で説明した顔画像処理装置１０として機能し、ユーザ２０６、２１０から得た画像データを基に顔の表情を見栄えよく変化させる処理を施す。顔表情変化サーバ２１６で生成された画像は、ネットワーク２２４経由でユーザ２０６、２１０に提供される。
【００８９】
画像の提供方法としては、依頼元のユーザ端末（この場合、携帯電話機２０８）に画像データを送り返す態様、或いは、電子メールに添付して送信する態様がある。また、顔表情変化処理の結果画像を所定の格納場所（例えば、ユーザ別に設定した専用の閲覧サイト）に格納し、そのアドレス情報（例えば、ＵＲＬ）を電子メール等により通知する態様もある。この場合、ユーザは指定されたサイトにアクセスして、そこから顔表情変化画像を閲覧又はダウンロードすることができる。
【００９０】
こうして、ユーザ２０６、２１０は、顔表情変化サーバ２１６で生成された画像をパソコン２０４のディスプレイ２０５や携帯電話機２０８のディスプレイ２０９によって閲覧することができる。
【００９１】
また、顔表情変化サーバ２１６で生成された画像をプリントステーション２２２に送り、プリント出力することも可能である。プリントステーション２２２は、例えば、プリント業務を行うラボ、プリントショップ、或いは、セルフ操作式のプリント端末装置（ＫＩＯＳＫ端末）などの各種態様がある。
【００９２】
図１０のプリントステーション２２２は、デジタル写真プリント装置などのプリンタ２１８とネットワーク端末２２０とを備えている。ネットワーク端末２２０はパソコン或いはサーバコンピュータなどで構成され、ネットワーク２２４に接続されるとともに、プリンタ２１８と接続される。
【００９３】
ネットワーク端末２２０を介して受信した画像データはプリンタ２１８に送られ、必要な信号処理を経てプリント用紙などの印刷媒体に画像が印画される。なお、プリンタ２１８は顔表情変化サーバ２１６と直接又は他のネットワークを介して接続されてもよい。
【００９４】
ユーザ２０６、２１０は、画像加工の依頼時、或いは別途プリント注文を行う時に、各自の端末（２０４，２０８）からネットワーク２２４経由でプリント注文情報を入力する。プリント注文情報には、プリントサイズや枚数、プリント物の受取方法（自宅配送、店舗での受取り、受取り店舗名）、決済方法（クレジットカード、銀行振込み、プリペイドカード、代引、通信料と合算した支払い）などが含まれる。
【００９５】
ユーザ２０６、２１０から指定されたプリント注文情報は、プリントステーション２２２に送られ、該情報に基づいてプリント処理が実行される。プリンタ２１８で生成されたプリント物は、指定された方法に従ってユーザ２０６に提供される。なお、プリント出力に代えて、又はこれと併せて、画像データをＣＤ−ＲやＤＶＤ−Ｒその他のリムーバブルメディアに記録して、該メディアをユーザ２０６、２１０に提供するサービスも可能である。
【００９６】
図１１は、顔表情変化サーバ２１６の機能を説明するブロック図である。図１１中図１と同一又は類似する部分には同一の符号を付し、その説明は省略する。
【００９７】
ネットワーク２２４を介してユーザから転送された画像データは顔表情変化サーバ２１６の画像データ入力部１２に入力され、顔パーツ抽出部１４に送られる。顔パーツ抽出部１４では、図２で説明したように、入力された画像データから顔パーツを抽出する。また、顔パーツ抽出部１４では、顔パーツ抽出処理の推定成功率を表す確信度を算出し、この確信度情報を出力する。
【００９８】
確信度が低い場合には、顔表情変化画像の作成を中止したり、或いは、情報を受け取ったユーザの端末（２０８、２１０）側で顔表情変化画像を表示させないように制御したりするなどの別処理を行う。これにより、処理精度の低い画像を提供することがなくなるため、サービス品質が向上する。
【００９９】
なお、確信度が低く顔表情変化画像の提供を行わない場合には、ユーザ端末において顔画像の表示に代えて、画像処理ができない旨を知らせるメッセージが表示される。図１２にメッセージの表示例を示す。携帯電話機２０８のディスプレイ２０９には、「処理できません。別の画像をお送り下さい。」というメッセージ２３０が表示される。メッセージ２３０の内容はこの例に限定されず、画像処理ができないため、再撮影などによって画像を変えて再送することを促すような内容であればよい。
【０１００】
図１３は画像処理システム２００の制御の一例を示したフローチャートである。同図では顔表情変化画像をオンラインで提供する例を示し、ユーザは通信端末として携帯電話機２０８を用いているものとする。
【０１０１】
ユーザは携帯電話機２０８を用いてネットワーク２２４に接続し、原画像データを顔表情変化サーバ２１６に送信する（ステップＳ１０）。
【０１０２】
顔表情変化サーバ２１６ではこれを受信し（ステップＳ１２）、図で説明したように、顔パーツ抽出処理を行うとともに（図のステップＳ１４）、確信度の算出を行う（ステップＳ１６）。また、算出された確信度は、所定のしきい値と比較され、確信度がしきい値よりも大きいか否かが判定される（ステップＳ１８）。
【０１０３】
確信度がしきい値よりも大きい場合には（ＹＥＳ判定）、抽出された顔パーツに対してフィルタ処理が行われ、顔表情変化画像が作成される（ステップＳ２０）。こうして生成された顔表情変化画像は原画像データ発信元のユーザ端末へ返される（ステップＳ２２）。
【０１０４】
また、ステップＳ１８において、確信度がしきい値より小さい場合には（ＮＯ判定）、ユーザから送られてきた画像について顔パーツ抽出の精度が悪いために顔表情変化画像の完成度が低くなるものと判断され、処理画像を提供できない旨のエラー情報がユーザ端末に送られる（ステップＳ２４）。
【０１０５】
ステップＳ２２又はステップＳ２４によって処理画像のデータ又はエラー情報が顔表情変化サーバ２１６から送信されると、顔表情変化サーバ２１６の処理は終了する（ステップＳ２６）。
【０１０６】
一方、ユーザ端末側では、原画像データの送信後、顔表情変化サーバ２１６から返信される情報の受信を待機する（ステップＳ２８）。すなわち、顔表情変化サーバ２１６から情報を受信したか否かを監視し、情報を受信しない場合には（ＮＯ判定）、情報の受信待ちを継続する。
【０１０７】
ステップＳ２８において、顔表情変化サーバ２１６から情報を受信した場合には（ＹＥＳ判定）、受信情報がエラー情報であるか否かを判定する（ステップＳ３０）。受信情報がエラー情報でない場合（ＮＯ判定）には、顔表情変化サーバ２１６から受信した処理結果の画像（顔表情変化画像）がディスプレイ２０９に表示される（ステップＳ３２）。
【０１０８】
また、ステップＳ３０において、受信情報がエラー情報である場合（ＹＥＳ判定）、ディスプレイ２０９には、図１２で説明したようなメッセージが表示される（ステップＳ３４）。ステップＳ３２又はステップＳ３４の後、ユーザ端末の処理は終了する（ステップＳ３６）。
【０１０９】
図１３では、確信度がしきい値よりも低い場合に、顔表情変化サーバ２１６側から顔表情変化画像の出力を行わない例を述べたが、本発明の実施に際してはこの制御例に限定されない。
【０１１０】
例えば、確信度が低い場合であっても顔表情変化サーバ２１６側から顔表情変化画像を出力することとし、このとき顔表情変化画像とともにその確信度の情報をユーザ側に提供する。
【０１１１】
そして、ユーザ端末側で確信度の情報を確認して表示出力の可否を判断し、確信度の低い顔表情変化画像の表示を禁止する制御を行う態様も可能である。
【０１１２】
また、図１３で説明した制御例の変形例として、ユーザ端末から画像データを送信したら、一端ネットワーク接続を切断する態様も可能である。顔表情変化サーバ２１６において画像加工の処理が終了したら、その旨を電子メール等によって依頼元のユーザに通知し、この通知を受け取ってからユーザが指定サイトにアクセスして、そこから顔表情変化画像をダウンロードする態様もある。
【０１１３】
ユーザが顔表情変化画像を確認した後、プリント用紙やシール等にプリントを希望する場合には、画像を確認したサイトからプリント形状や数量などを指定することができる。当該サイトからユーザからプリント注文を入力すると、その情報がプリントステーション２２２に送られ、プリント出力される。
【０１１４】
プリント画像の宅配を指定したときには、プリントステーション２２２から配送サービスを介して、プリント画像がユーザに配送される。
【０１１５】
なお、プリント代金の課金方法は、サイト上で電子決済を行う形態、プリント画像と引き換えに代金を支払う形態、サイト使用料と合わせてサイト運営者が代金を徴収する形態が考えられる。サイト上での電子決済にはクレジットカードによる決済を含んでいる。セルフ操作式プリントマシンでは、代金を挿入するとプリント画像が提供される形態もある。
【０１１６】
上述の実施形態では、主に静止画を記録するデジタルカメラ、或いはカメラ付き携帯電話機を例示したが、本発明の適用範囲はこれに限定されず、動画記録可能なデジタルカメラ、ビデオカメラ、ＤＶＤカメラなどの電子カメラ、或いは、カメラ付きＰＤＡ、カメラ付きモバイルパソコンなど、電子撮像機能を備えた他の撮像装置についても本発明を適用できる。また、顔画像を含む画像データを生成する手段は、人物を直接的に撮影するカメラ等の撮像装置に限らず、スキャナーやファクシミリ、コピー機などのように、人物が写っている写真や原稿などから画像データを生成する読取装置なども含まれる。
【０１１７】
また、上述した実施形態においては、１つの画像内に複数人の顔画像が含まれている場合、該入力画像から複数の人物をそれぞれ抽出し、人物ごとにパーツの抽出と、フィルタ処理を行うことにより、人物ごとに異なる表情の作成が可能である。この場合、画像内に存在する複数の人物についてそれぞれ独立にフィルタ処理を施してもよいし、他の人物との調和を考慮してフィルタ処理のパラメータを調整してもよい。
【０１１８】
複数人の顔画像についてそれぞれ適切な美形化処理を行うことにより、表現力が増し、一層魅力的なコンテンツのサービスが実現できる。
【０１１９】
【発明の効果】
以上説明したように本発明に係る顔画像処理装置によれば、入力された画像データから自動的に顔パーツを抽出し、抽出した顔パーツに対してワープフィルタや色変換フィルタなどのフィルタ処理を施すことにより顔の表情を変更した画像を作成する構成にしたので、事前に顔パーツ画像データを用意する必要がなく、また表情の自由度が高い顔画像データの作成が可能となる。
【０１２０】
また、本発明に係る顔画像処理システムによれば、顔画像を含む画像データを通信端末から顔画像処理サーバに送信し、顔画像処理サーバにおいて顔パーツの抽出と顔表情を変化させるフィルタ処理とを行い処理結果画像（顔表情変化画像）を提供するようにしたので、様々な顔画像を見栄え良く美化修正して返す画像加工サービスを実現することができる。
【０１２１】
さらに、顔パーツ抽出の推定成功率を表す確信度を算出し、確信度が低い場合には、精度の低い処理結果画像を提供しないなどの処理態様を採用することでユーザに不快感を与えないサービスを提供することができ、全体のサービス品質を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る顔画像処理装置の構成を示すブロック図
【図２】図１に示した顔パーツ抽出部の構成例を示す図
【図３】顔パーツ座標の抽出例を示す図
【図４】ワープフィルタの説明図
【図５】目の部位にかけるのに好適なワープフィルタの説明図
【図６】目の開き方に応じてフィルタを選択する態様の説明図
【図７】顔の傾きに応じてフィルタのかけかたを制御する態様の説明図
【図８】条件に応じてフィルタを選択する場合の構成図
【図９】顔画像処理装置のハードウエア構成例を示すブロック図
【図１０】本発明の第２の実施形態に係る画像処理システムの構成図
【図１１】図１０に示した顔表情変化サーバの構成を示すブロック図
【図１２】確信度が低い場合の警告表示例を示した図
【図１３】本実施形態に係る画像処理システムの制御例を示したフローチャート
【符号の説明】
１０…顔画像処理装置、１２…画像データ入力部、１４…顔パーツ抽出部、１６…顔パーツフィルタ処理部、１８…画像データ出力部、２６…特徴抽出処理部、２８…マッチング処理部、３０…辞書データ格納部、３１…一致度算出部、３２…一致度判定部、２０２…デジタルカメラ、２０４…パソコン、２０５…ディスプレイ、２０８…携帯電話機、２０９…ディスプレイ、２１６…顔表情変化サーバ、２２４…ネットワーク

Claims

顔画像を含む画像データを入力する画像データ入力手段と、前記画像データ入力手段により入力された画像から顔のパーツを抽出する顔パーツ抽出手段と、
前記顔パーツ抽出手段により抽出された顔パーツにフィルタ処理を行うフィルタ処理手段と、
前記フィルタ処理手段のフィルタ処理を経て生成された顔画像を含む画像データを出力する画像出力手段と、
を備えたことを特徴とする顔画像処理装置。
前記フィルタ処理手段において少なくともワープフィルタが用いられることを特徴とする請求項１記載の顔画像処理装置。
前記フィルタ処理手段において少なくとも色変換フィルタが用いられることを特徴とする請求項１又は２記載の顔画像処理装置。
前記顔パーツ抽出手段における顔パーツ抽出の推定成功率を表す確信度を算出する確信度算出手段を備えたことを特徴とする請求項１、２又は３記載の顔画像処理装置。
前記確信度算出手段により求められた確信度の情報を出力する確信度出力手段を備えたことを特徴とする請求項４記載の顔画像処理装置。
顔画像を含む画像データをネットワーク経由で送出する通信手段を備えた通信端末と、前記ネットワーク経由で前記通信端末から送られてきた画像データを処理する顔画像処理サーバと、から構成される顔画像処理システムであって、
前記顔画像処理サーバは、前記通信端末から前記ネットワーク経由で画像データを受け入れる画像データ入力手段と、
前記画像データ入力手段により入力された画像から顔のパーツを抽出する顔パーツ抽出手段と、
前記顔パーツ抽出手段により抽出された顔パーツにフィルタ処理を行うフィルタ処理手段と、
前記フィルタ処理手段のフィルタ処理を経て生成される顔表情変化画像を含む画像データを前記ネットワーク経由で提供する画像提供手段と、
を備えたことを特徴とする顔画像処理システム。
前記顔画像処理サーバは、前記顔パーツ抽出手段における顔パーツ抽出の推定成功率を表す確信度を算出する確信度算出手段と、
前記確信度算出手段により算出された確信度の情報を出力する確信度出力手段を備えたことを特徴とする請求項６記載の顔画像処理システム。
前記顔画像処理サーバは、前記確信度算出手段で算出された確信度が予め定められたしきい値よりも低い場合には前記顔表情変化画像の出力を禁止する制御を行う出力制御手段を備えたことを特徴とする請求項７記載の顔画像処理システム。
前記通信端末は、前記顔画像処理サーバで生成された画像を受信し、該受信した画像データに基づいて画像内容を表示する表示手段を備えたことを特徴とする請求項７又は８記載の顔画像処理システム。
前記通信端末は、被写体の光学像を電気信号に変換する撮像手段を有し、該撮像手段で撮影した顔画像を含む画像データを前記通信手段から送出し得ることを特徴とする請求項９記載の顔画像処理システム。
前記通信端末は、前記確信度算出手段で算出された確信度が予め定められたしきい値よりも低い場合に、前記顔表情変化画像を前記表示手段に表示させない制御を行う表示制御手段を有していることを特徴とする請求項９又は１０記載の顔画像処理システム。
前記通信端末は、前記確信度算出手段で算出された確信度が予め定められたしきい値よりも低い場合に、前記表示手段に警告を表示する制御を行う警告制御手段を有していることを特徴とする請求項９、１０又は１１記載の顔画像処理システム。