JP2001229400A - 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ２次元顔画像の３次元変換やアニメ化変換等
において、顔特徴点抽出処理に伴う利用者の入力指定を
簡便なものとし、かつ、高速な顔特徴点抽出処理を実現
する。 【解決手段】 画像を入力する画像入力手段であるＣＣ
Ｄカメラ２０と、このＣＣＤカメラ２０により入力され
た画像データおよびこの画像データ内に存在する顔画像
の１つの顔部品の表示位置の指定を利用者に促すメッセ
ージを表示する出力装置４０と、表示上の任意の１点を
入力する入力装置３０と、顔部品の表示位置の指定を促
すメッセージに従い、入力装置３０により入力された１
点の座標（鼻の座標）を基点として、他の顔部品を抽出
する鼻点指示部１２および特徴点抽出部１３と、抽出さ
れた顔部品および入力された基点の座標情報に基づいて
３次元画像を生成する３Ｄ画像符号化部１４とを備えて
いる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力画像から３次
元画像を生成する画像処理装置および画像処理方法なら
びに画像処理プログラムを記録したコンピュータ読み取
り可能な記録媒体に関し、特に、ＣＣＤカメラ等で得ら
れた顔画像データ（２次元顔画像データ）を３次元画像
とする等、数点の顔特徴点（顔特徴部分）の抽出制御を
必要とする画像変換処理に関する。

【０００２】

【従来の技術】近年、パソコンに代表される情報機器に
おいて、カメラデバイスの小型化技術の進歩や、カメラ
デバイス部品の低価格化などに起因し、ＣＣＤカメラを
内蔵するタイプの機種が増加している。そのため、この
ような機能を利用して、ＣＣＤカメラで取り込んだ自分
や隣人、知り合い等の２次元顔画像を元に３Ｄ人物モデ
ルを生成する機能や、２次元顔画像を似顔絵化／アニメ
ーション化形成する等の機能を持つＰＣアプリケーショ
ンソフトウエア等が増加しつつある。

【０００３】これら２次元顔画像の成形技術は、従来よ
り表情生成等をテーマとして、さまざまな研究開発がさ
れており、３Ｄモデル生成（符号）化に関しては、例え
ば、目や口部分の形状変化の抽出、合成、符号化方法に
ついての論文「形状変化の検出と３次元形状モデルに基
づく顔動画像の符号化」（信学技報 IE87-101）が開示
されており、また、似顔絵化／アニメーション化に関し
ては、例えば、人手で描いた正面顔と側面顔の似顔絵を
材料として任意の方角から見た似顔絵を各個人の特徴を
とらえて自動生成することを目的とした「３次元似顔絵
生成方法および装置」（特開平10-74271号公報) が開示
されており、また、入力された単一の画像データに基づ
いて画風や表情等の種別が異なる複数種の画像から単一
または複数の画像を選択して生成することを目的とした
「画像作成装置、画像作成方法および画像作成プログラ
ム記録媒体」（特開平10-232950 号公報) が開示されて
いる。

【０００４】ところで、上記したようにＣＣＤカメラ等
で得られた顔画像データ（２次元顔画像データ）を元に
３Ｄ人物モデルを生成する方法や、２次元顔画像を似顔
絵化／アニメーション化成形する方法においては、必
ず、２次元顔画像データ内の顔特徴点の抽出が必須の構
成要件となる。この顔特徴点を抽出するための概略ブロ
ック図を図６に示す。すなわち、ＣＣＤカメラ等の源画
像入力手段１０１より入力された顔画像データを特徴点
抽出手段１０２に出力する。特徴点抽出手段１０２で
は、顔の各部（目、鼻、口等）の位置を抽出し、その抽
出した各部の座標位置と原画像とを原画像成形手段１０
３に出力する。ここで、特徴点抽出手段１０２による顔
の各部の位置の抽出は、どのような成形をするのかによ
って異なる。すなわち、抽出されるデータ内容は、原画
像成形手段１０３の成形内容に依存し、点ではなく領域
であったり、各部の中心位置と形状とであったりする。

【０００５】ただし、ここでは説明を容易とするため
に、以降の説明では「点」として説明する。また、以降
の制御内容については、個々に相違するため、詳細につ
いては省略するが、例えば、３Ｄ人物モデルの場合に
は、以下の制御手順となる。

【０００６】すなわち、（１）特徴点情報ならびに原画
像データを元にテクスチャを生成する。（２）特徴点情
報を用いてテクスチャマッピングするための３次元人物
モデル（顔の部分がのっぺら棒の３Ｄ人物オブジェク
ト）を生成する（標準モデルを変形して生成する）。
（３）テクスチャマッピングを行う。すなわち、原画像
入力手段１０１より得られた顔画像が埋め込まれた３Ｄ
人物オブジェクトを符号化する。（４）３Ｄ人物オブジ
ェクトを表示する。このような（１）〜（４）の制御手
順で行われる。ここで、（１）と（２）とは一般に並列
処理される。すなわち、制御に後先の順番はない。

【０００７】

【発明が解決しようとする課題】上記した特徴点抽出手
段１０２を具現化する方法として、抽出すべき特徴点を
全て抽出する（これを方法１という）、抽出すべき特徴
点を全てユーザに指定させる（これを方法２という）、
の２種類が考えられる。

【０００８】方法１では、一般に、（ａ）与えられた原
画像データより、顔の輪郭を抽出する。（ｂ）得られた
顔の輪郭領域の範囲で、各部を抽出する。の２ステップ
より実現することになる。ところが、（ａ）の処理にお
いて、図７に示すように、顔の輪郭領域の大きさ（左が
大、右が小）や位置（左が中央、右が左端）が、極端に
異なる原画像も等価に扱う必要があり、これは、抽出精
度の低下や、速度パフォーマンスの低下等を引き起こす
要因となる。また、顔の輪郭領域の抽出方法は、肌色部
分の抽出により実現されるのが一般的（現時点では、自
動抽出するためには、基本的に、肌色部分の抽出に頼る
しか方法がない）であり、特に、次のステップ（ｂ）で
の各部の抽出処理における鼻の抽出は、基本色が肌と同
一のため、非常に困難である。また、これ以外にも、方
法１による実現において、致命的な問題がある。それ
は、図８に示すように、複数の人物が撮影されている画
像が原画像として入力されたときに発生し、成形対象が
判別できなという問題である。

【０００９】次に、方法２の問題点について説明する
が、その前に、３Ｄ人物モデルを生成する場合を例とし
て、特徴点抽出手段１０２で抽出すべき特徴点について
説明する。

【００１０】−特徴点抽出手段１０２で抽出すべき特徴
点− 特徴点を多く抽出すればするほど、より実体にあったテ
クスがチャマッピングされる３次元人物モデル（顔の部
分がのっぺら棒の３Ｄ人物オブジェクト）の生成が可能
であるため、最終的に生成される３Ｄ人物モデルもより
高度な表情生成が可能となり、高品質なものとなること
は当然のことである。この場合、以下に示すさまざまな
要因［１）〜４）として記載］から考えると、方法２に
おける抽出特徴点は、鼻部、目部（左右）、口部、耳部
（左右）、顎部の７点と考えるのが妥当である。

【００１１】１）顔の凹凸の認識 最終目的が立体画像（３次元画像）の生成と表示にある
ことから、多少なりとも顔の凹凸検出処理が必要であ
り、その意味から、最低限、鼻部（顔の頂点部分に相
当）と目部の抽出が必要である。なお、目部について
は、口部でも代替可能であるが、顔の表情を表現する意
味では、目部が優先されると考えられる。

【００１２】２）原画像の顔の向き 原画像は、必ずしも完全な正面画像となっている保障は
ない。従って、立体画像を生成するために、原画像の顔
の向きを算出する必要がある。顔の向きを算出するため
には、少なくとも顔の各部のうち、３点（そのうち２点
は、目部などの対を成すものである必要がある）の指定
が必要となるが、この場合、目部（左右）と、ほぼ顔の
中央に存在する鼻部とがベストであると考えられる。す
なわち、左右の向きに限定すれば、鼻部を口部で代替す
ることも可能であるが、上下の顔の向きの算出まで考え
ると、目部（左右）と口部だけでは算出不可能である。
また、目部（左右）の代替として耳部（左右）も可能で
あるが、より高度な表情生成等を行うときの視線検出を
考慮すると、ややふさわしくないと考えられるため、目
部（左右）と鼻部とがベストであると考えられる。

【００１３】３）原画像に対する顔の輪郭領域の抽出 上述の通り、顔の特徴点を自動検出する場合、一般的
に、原画像より顔の輪郭領域の抽出処理を実施する。こ
の処理は、すべての顔の特徴点をユーザ指定する方法で
実現した場合においても、詳細な処理内容は異なるが、
３次元人物モデル（顔の部分がのっぺら棒の３Ｄ人物オ
ブジェクト）を生成（場合によっては、あらかじめ準備
された標準モデルを変形して生成）するときの、３次元
人物モデルの顔の輪郭生成時に処理される。この処理
（顔の輪郭生成／変形）を容易とするためには、顔の輪
郭を成す特徴点を、少なくとも３点指定することになる
が、この３点は、耳部（左右）と顎部とするのが一般的
である。

【００１４】４）特徴点としての指定 似顔絵生成の場合においても３Ｄモデル生成において
も、原画像内の人物に似た成形画像を出力することを目
的とするので、少なくとも目部と口部とは、特に重要な
顔の特徴点となる。なお、髪型や眼鏡の有無、形状等
も、人物を特定するのに重要な特徴点となるが、これら
は部品化しやすい部分、および部品化すべき部分である
ため、本発明では主たるテーマとしていない。すなわ
ち、眼鏡については、眼鏡部の抽出も可能ではあるが、
それよりも眼鏡をかけていない原画像に限定し、眼鏡部
品をいくつか準備する方が好ましいアプリケーションソ
フトとなる場合がある。また、髪型についても眼鏡と同
様である。だだし、髪型の場合は、原画像を坊主頭にす
るわけにいかないので、何らかの抽出処理は必要とな
る。ここでは、説明を容易とするために、眼鏡について
は、原画像には眼鏡をかけた人物画像はないという原則
で記載している。また、髪型については、顔の輪郭領域
の抽出処理に髪型抽出が含まれているという原則で記載
している。

【００１５】以上、１）〜４）で説明したように、方法
２（すなわち、「抽出すべき特徴点を全てユーザに指定
させる。」）であっても、その特徴点として顔のどの部
品を指定させるかは、最終目的（成形画像）にもよる
が、鼻部、目部（左右）、口、耳部（左右）、顎部の７
点、もしくはそれ以上とするのが一般的である。

【００１６】そして、この「抽出すべき特徴点を全てユ
ーザに指定させる。」という方法２においても、次の２
つの問題が発生する。すなわち、ユーザの指定付加の問
題と、対を成す部品（目部、耳部）の指定誘導メッセー
ジの問題である。

【００１７】ユーザの指定付加の問題について説明する
と、ＣＣＤカメラ等が比較的高価なデバイスで、本デバ
イスが標準装備された情報機器が特殊な用途用に商品化
されていた時代では、上述した２次元の人物画像を３次
元画像としたりといった利用シーンは、それなりに高価
なシステム（例えば、ＴＶ会議システム）の１機能（ア
プリケーションソフト）として商品化されていた。その
ため、利用者の３次元画像の生成にかかる負荷よりも、
３次元画像の品質（リアルな表情を如何にして生成する
か等）の方が重視される傾向にあった。

【００１８】しかしながら、最近では、ＣＣＤカメラの
低価格化や、ＣＰＵや画像処理用演算処理の速度面での
高パフォーマンス化に伴い、例えば、送信者をイメージ
する３次元画像をメールに付加して送信する等といった
具合に、３次元画像もエンターテイメント的な用途に使
われるようになりつつある。そのため、３次元画像生成
のためのユーザ負荷（ユーザインタフェース）を少な
く、かつ安易としたいといった要望が増大する傾向にあ
る。

【００１９】次に、対を成す部品（目部、耳部）の指定
誘導メッセージの問題について説明すると、一般に、各
特徴点指定のユーザインタフェースは、図９に示すよう
に、「×××を指定してください。」というメッセージ
を表示する対話型のユーザインタフェースとなる。ここ
で、図９に示すように、「右目を指定してください。」
というメッセージが表示されたとき、ユーザ（以下、利
用者ともいう）は、どちらの目がポインティングするか
といった問題である。すなわち、人物画像の本来の右目
と、利用者から見て右側にある右目のどららの眼を利用
者がポインティングするかといった問題である。

【００２０】人物の原画像は、利用者（ポインティング
する人）からは、向かい合ったものになり、右眼は左
側、左眼は右側に存在するが、それを利用者が意識して
指定するか否か、右目といわれて左側の目の部分をポイ
ンティングするか否かは、おそらく利用者に依存するこ
とになる。

【００２１】ただし、処理ロジック上は、次に続くであ
ろう「左目を指定して下さい。」のメッセージで、「右
目を指定してください。」のメッセージ時に指定した逆
側の目の部分を指定さえすれば、何ら問題もないが、途
中で利用者が迷ったとき、例えば「右目を指定して下さ
い。」のメッセージで誤って（勘違いして）、左側の眼
を指定し、次の「左目を指定して下さい。」のメッセー
ジで、先程の入力の誤りに気づいて、利用者がどうすれ
ば良いか悩んだり、再度、右側の眼、すなわち正しい左
側を指定したりする、といったシーンが発生し得るとい
う問題である。

【００２２】なお、補足すると、現状では、上記の問題
を擬似的に解決する方法として、図１０に示すように、
各指定部位を名前ではなく番号で指定させることによっ
て、利用者に誤りや迷いを起こさせないように考慮した
ユーザインターフェイスをとる方法もある。しかしなが
ら、例えば、口部（番号４の部分）といった場合に、口
の中心か、それとも口のどこでも良いのかという疑問が
生じる問題までは解決できない。すなわち、利用者は、
内部ロジックまでは分からない。この場合、口周辺であ
ればどこでも良いロジックとする（すなわち、指定され
た点を基点に抽出処理する）のが一般であるが、利用者
はそのこと自体を知らないので、どうすればよいのかと
いった疑問を持つことになるが、その疑問を持つこと自
体が問題となる。

【００２３】本発明はかかる問題点を解決すべく創案さ
れたもので、その目的は、２次元顔画像の３次元変換や
アニメ化変換等において、顔特徴点抽出処理に伴う利用
者の入力指定を簡便なものとし、かつ、高速な顔特徴点
抽出処理を実現し得る画像処理装置および画像処理方法
ならびに画像処理プログラムを記録した記録媒体を提供
することにある。

【００２４】

【課題を解決するための手段】上記課題を解決するた
め、本発明の画像処理装置は、画像を入力する画像入力
手段と、この画像入力手段により入力された画像データ
およびこの画像データ内に存在する顔画像の１つの顔部
品の表示位置の指定を利用者に促すメッセージを表示す
る表示手段と、表示上の任意の１点を入力する入力手段
と、顔部品の表示位置の指定を促す前記メッセージに従
い、前記入力手段により入力された１点の座標を基点と
して、他の顔部品を抽出する顔部品抽出手段と、この顔
部品抽出手段にて抽出された顔部品および入力された基
点の座標情報に基づいて３次元画像を生成する画像生成
手段と、を備えたことを特徴とする。

【００２５】ここで、画像入力手段には、ＣＣＤカメラ
等のカメラデバイスだけでなく、ファイル化された画像
データ群より対象とするファイルを選択することも、画
像入力手段の範疇に含まれる。また、入力手段には、マ
ウスなどの表示上の任意の１点を入力するポインティン
グデバイスが含まれる。

【００２６】このような特徴を有する本発明によれば、
従来の方法１「顔部品を全て自動抽出する」の場合と比
較して、処理速度の向上、生成もしくは成形する画像デ
ータの品質の向上を図ることができる。また、複数の人
物が含まれる原画像データであっても、１つの特徴点
（顔部品）を指定するのみで、対応することが可能とな
る。また、従来の方法２「２以上の顔部品をユーザ指定
させる」の場合と比較しても、生成もしくは成形される
画像データの品質をさほど劣化させることなく、利用者
の操作負担の軽減や誤操作の防止を図ることができる。

【００２７】また、本発明の画像処理装置は、入力手段
により入力される１点を鼻の位置座標としている。すな
わち、「１つの顔部品の表示位置の指定を促すメッセー
ジ」は、鼻の入力を促すメッセージである。顔の特徴点
の抽出制御を考えると、入力する原画像として、横を向
いた画像や、後ろ向きの写真が入力されることはまずな
く、通常はほぼ正面を向いた写真が入力される。この場
合、鼻は顔のほぼ中心に位置することになる。また、
「鼻を指定してください。」というメッセージを表示し
たときに、鼻の付け根部分等を指定する人はほとんどい
ないと考えられる。さらに、鼻は１人１つしかない。さ
らにまた、顔輪郭や顔部品の抽出ロジックの基本は、肌
色の部分または肌色でない部分を検出することであり、
この場合、鼻の抽出は、口や目などの他の部品と比較し
て、自動抽出が難しい。さらにまた、人の顔部品のレイ
アウトは万人共通である。このようなさまざまな理由か
ら、特に、鼻点をユーザ指定させることで、複数点指定
させる場合と比較して、最終出力データの品質を劣化さ
せることなく、利用者の操作負担の軽減や誤操作の防止
を図ることができる。

【００２８】また、本発明の画像処理装置は、顔部品の
抽出を補助するパラメータ指定手段をさらに備え、この
パラメータ指定手段は、表示された補助パラメータをド
ラッグし鼻の位置まで移動させた後ドロップする操作を
行うことで指定することを特徴とする。

【００２９】このような特徴を有する本発明によれば、
特徴点を補助するパラメータ値は、表示オブジェクト化
された各パラメータ（値）の表示位置を押下し続ける操
作（ドラッグ操作：マウスではマウスボタンを押し続け
てポインティング移動させる操作、ペンではタブレット
にペンを押し付けてポインティング移動させる操作）に
より、その押下したときの座標にて決定し、顔部品の表
示位置は、その押下し続ける操作（ドラッグ操作）の継
続をストップする操作（ドロップ操作：マウスボタンア
ップやペンアップ）時の座標にて決定する。

【００３０】この補助パラメータの指定は、特徴点の指
定数を減らしても高品質な出力データを得るための代替
手段であるが、１点も指定しない場合と、１点指定する
場合とでは、補助パラメータ指定量は激減する。つま
り、細かな指定をさせなくても品質はそれなりに確保で
きる。また、利用シーン、商品コンセプト、抽出ロジッ
ク等にも関係するが、１つの補助パラメータの指定で目
的が達成する場合もあり、この場合のマンマシンインタ
ーフェイスとしては、ドラッグ・アンド・ドロップ操作
が最適である。

【００３１】また、２次元顔画像の３次元変換やアニメ
化変換等において、顔特徴点抽出処理に伴う利用者の入
力指定を簡便なものとする顔特徴点抽出処理の手法は、
必ずしも装置という形態には限られず、方法としても実
現し得る。そこで、本発明の画像処理方法は、入力画像
から３次元画像を生成する画像処理方法であって、画像
を入力するステップと、入力された画像データおよびこ
の画像データ内に存在する顔画像の１つの顔部品の表示
位置の指定を利用者に促すメッセージを表示するステッ
プと、表示上の任意の１点を入力するステップと、顔部
品の表示位置の指定を促す前記メッセージに従い、前記
ステップにて入力された１点の座標を基点として、他の
顔部品を抽出するステップと、抽出された顔部品および
入力された基点の座標情報に基づいて３次元画像を生成
するステップと、を備えたことを特徴とする。

【００３２】さらに、本発明にかかる技術的思想は、コ
ンピュータを画像処理装置として機能させるプログラム
を記録した媒体として提供することも可能である。そこ
で、本発明の画像処理プログラムを記録したコンピュー
タ読み取り可能な記録媒体は、画像を入力するステップ
と、入力された画像データおよびこの画像データ内に存
在する顔画像の１つの顔部品の表示位置の指定を利用者
に促すメッセージを表示するステップと、表示上の任意
の１点を入力するステップと、顔部品の表示位置の指定
を促す前記メッセージに従い、前記ステップにて入力さ
れた１点の座標を基点として、他の顔部品を抽出するス
テップと、抽出された顔部品および入力された基点の座
標情報に基づいて３次元画像を生成するステップと、を
含むことを特徴とする。すなわち、装置や方法という形
態に限らず、媒体としても有効である。

【００３３】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。

【００３４】図１は、人物の２次元顔画像データを３次
元顔画像に変換する本発明の画像処理装置のブロック構
成図である。

【００３５】この画像処理装置は、２次元画像入力制御
部１０、原画像指定部１１、鼻点指定部１２、特徴点抽
出部１３、３Ｄ画像符号化部１４、３Ｄ画像表示部１
５、ＣＣＤカメラ２０、入力装置３０、出力装置４０、
原画像記憶装置５０、各種変数・定数記憶装置５１、標
準人物モデル等（符号化用定数）記憶装置５２、および
成形画像記憶装置５３によって構成されている。

【００３６】２次元画像入力制御部１０は、接続された
ＣＣＤカメラ２０に対し、原画像データを送るようにシ
ャッターを制御し、ＣＣＤカメラ２０より送られてきた
原画像データを原画像記憶装置５０に記憶（ファイル
化）するまでの制御を行う。本実施形態では、ＣＣＤカ
メラ２０はカラー画像が入力可能な画像取り込みデバイ
スとしている。

【００３７】原画像指定部１１は、原画像記憶装置５０
に記憶されている複数の原画像ファイルの中から、入力
装置３０により指定された原画像ファイルを読み込み、
鼻点指示部１２へ原画像ファイルを引き渡すまでの制御
を行う。

【００３８】鼻点指示部１２は、原画像指定部１１から
引き渡された原画像データを、出力装置４０に出力する
とともに、入力装置３０を介して利用者より入力された
鼻点と抽出補助パラメータ（ここでは、後述する顔色
値）を特徴点抽出部１３に引き渡すまでの制御を行う。

【００３９】特徴点抽出部１３は、鼻点指示部１２より
引き渡された鼻点座標と顔色値（抽出補助パラメータ）
を参考に、各種変数・定数記憶装置５１より抽出用の各
種変数・定数値等を読み出し、これらの値を利用して各
顔の特徴点を抽出する。抽出方法は、鼻点座標を拠点座
標とし、顔色値等を元に読み出された各種変数・定数値
（抽出補助パラメータ）を使って、原画像をいくつかの
領域に分割し、目部、口部等の抽出する各部品の抽出処
理を、それに対応する領域内のみ処理する。また、ここ
で抽出された特徴点は３Ｄ画像符号化部１４へ特徴点情
報として引き渡される。ここまでの一連の制御を特徴点
抽出部１３で行う。

【００４０】３Ｄ画像符号化部１４は、引き渡された特
徴点情報と原画像データを基にテクスチャを生成した
後、標準人物モデル等記憶装置５２より特徴点情報を基
に適切な３次元人物モデルを読み込み、テクスチャマッ
ピングを行って、成形画像記憶装置５３に記憶させる一
連の制御を行う。

【００４１】３Ｄ画像表示部１５では、成形画像記憶装
置５３より３Ｄ画像を読み込み、出力装置４０に３Ｄ画
像を表示する制御を行う。

【００４２】以上が本発明の画像処理装置の各部の制御
であるが、以下に、本発明の特徴部分である鼻点指示部
１２の制御内容について、さらに詳しく説明する。

【００４３】図２は、抽出補助パラメータとして原画像
の人物顔色のおおよそ値（カラーパレット値）をユーザ
指定させるときの、鼻点指示部１２の画面レイアウト例
を示している。ここで、出力画面右側の顔色カラーパレ
ット指定域［（cX min,cY min)〜(cX man,cY man）］
に、人物の顔色となり得る色（Cmin〜Cman）をグラデー
ション表示し、また、出力画面左側の原画像表示域
［（uX min,uY min)〜(uX man,uY man）］には、原
画像指定部１１より入力した画像データを表示する。さ
らに、原画像の人物の顔色に近い個所より原画像の鼻位
置までをドラッグ・アンド・ドロップすることを利用者
に誘導するメッセージ（この例では、「人物顔色にあっ
たカラーパレットをドラッグし、鼻位置にドロップくだ
さい」という文字列）を、出力画面下部のメッセージ表
示部に表示する。

【００４４】これにより、顔色カラーパレット指定域内
の原画像の人物の顔色に近い個所をドラッグし、原画像
の鼻位置にドロップするという一連の入力操作を誘導
し、その利用者の入力操作により得られた入力情報を基
に、原画像表示域内の鼻点座標と顔色カラーパレット値
を算出することになる。

【００４５】図３は、鼻点指示部１２の制御内容、すな
わち上記の算術ロジック（すなわち、鼻点座標ならびに
顔色カラーパレット値の算術ロジック）を示すフローチ
ャートである。

【００４６】すなわち、まず最初に、図２に示される顔
色カラーパレット指定域内の原画像の人物の顔色に近い
個所をドラッグし、原画像の鼻位置にドロップするとい
う一連の入力操作を誘導する入力画面（図２）を生成し
て表示する（ステップＳ１）。次に、入力装置３０であ
る例えばマウスより「左ボタンダウン」メッセージが入
力されると（ステップＳ２）、マウスがダウンされた座
標が顔色カラーパレット指定域内であることを条件に
（ステップＳ３でＹＥＳと判断されることを条件に）、
ボタンダウンされた座標より、顔色カラーパレット値を
変数FaceC に代入する（ステップＳ４）。この処理に引
き続き、マウスダウン中に、マウスより「左ボタンアッ
プ」メッセージが入力されると（ステップＳ５でＹＥＳ
と判断されると）、マウスがアップされた座標が原画像
表示域内であることを条件に（ステップＳ６でＹＥＳと
判断されることを条件に）、ボタンアップされた座標を
（NosePx,NosePy ）に代入する（ステップＳ７）。そし
て最後に、変数FaceC 、NosePx、NosePyをパラメータと
し、制御を特徴点抽出部１３へ遷移する（ステップＳ
８）。

【００４７】なお、特徴点抽出部１３では、鼻点指定部
１２より入力された変数FaceC 、NosePx、 NosePy を利
用して、鼻以外の顔特徴点（座標となるか、領域となる
か、オブジェクトとなるかは、この特徴点抽出部１３の
仕様に依存する）を抽出することになる。この抽出処理
の基本ロジックは、従来の顔特徴点の抽出ロジックと同
様であるので、ここでは詳細な説明を省略するが、抽出
ロジックの基本的な考え方は、肌色もしくは肌色以外の
個所を抽出することで実現される。

【００４８】図４は、特徴点抽出部１３で鼻点座標（顔
色カラーパレット）値（FaceC 、NosePx、 NosePy の３
変数）をどのように利用するかの概要（この３変数を利
用しての抽出ロジックの概要）を、表形式にまとめて列
記している。

【００４９】図４に沿って説明すると、まず、輪郭の抽
出は、鼻点（NosePx、 NosePy ）を中心に顔色カラーパ
レット値FaceC ±ｄ（ｄは許容範囲）でなくなった閉空
間を抽出することで実現できる。あらかじめ指定された
鼻点を中心に処理できるため（すなわち、顔色でない領
域を抽出するための基点を鼻点とできるため）、抽出す
べき特徴点を自動検出する方法（発明が解決しようとす
る課題の欄で説明した方法１）と比較した場合、抽出ロ
ジックは極めて容易に、また、極めて精度の高い抽出が
可能となる。

【００５０】次に、右目部の抽出は、鼻点との相対的位
置関係より、検索領域はｕ１とし、抽出基本ロジック
は、顔色カラーパレット値FaceC ±ｄ（ｄは許容範囲）
でなくなった閉図形で白目と黒目が存在することから抽
出することで実現できる。これを上記と同様方法１と比
較すると、ロジックの簡便化、精度の正確さの向上以外
に、検索領域を絞ることによる検索時間の高速化を可能
とする。なお、検索領域が異なるだけで、左目部、口部
の抽出も同様である。

【００５１】次に、耳部や顎部の抽出は、方法１では特
に抽出されないのが一般である。また、抽出すべき特徴
点を全てユーザ指定させる方法（発明が解決しようとす
る課題の欄で説明した方法２）によって耳部や顎部をユ
ーザ指定させるのは、輪郭抽出や顔の向きを求める等の
処理において精度の向上やロジックの簡易化を図ること
が目的であり、特にそれほど精度が要求されないアプリ
ケーションソフトを考えると、代替にするのが望まし
い。つまり、「顔の向き」は、鼻点と左右の目点より、
ほぼ顔の向きに近い向きが算出できるので、これで代替
しても、精度面でもさほど問題はない。また、顔の輪郭
抽出等は、抽出の基点が明確にさえなっていれば、速度
面、精度面とも特に大きな問題は発生せず、また、顔の
特徴点を指定させる方法以外にも、後述するような抽出
補助パラメータを複数指定させるという方法で代替可能
である。

【００５２】なお、上記実施形態は、鼻点指示部１２の
制御内容において、利用者に指定させる抽出補助パラメ
ータを、顔色の１パラメータとしたときの実施形態であ
るが、上述した通り、利用者に複数の抽出補助パラメー
タを指定させることで、顔の特徴点の抽出精度や処理速
度の短縮化を図ってもよい。

【００５３】その入力画面の一例を図５に示す。この例
では、顔色と髪色をスライダーによる指定とし、あらか
じめ数パターン準備された顔形状をラジオボタンの指定
としていることが模式化されている。なお、ここで新た
に指定可能（図２の顔色カラーパレットの指定に加えて
新たに指定可能）となった髪色や顔形状のパラメータ
は、顔色のパラメータと同様、そのまま特徴点抽出部１
３に引き渡される。特徴点抽出部１３では、このパラメ
ータを、主に顔の輪郭抽出に利用することになる。

【００５４】抽出補助パラメータの数を増やすことは、
抽出ロジックの簡便化、抽出の高速化、正確さの向上の
みならず、ユーザ操作の多い「抽出すべき特徴点を全て
指定させる」場合（方法２）と比較しても、「右目をク
リックしてください」がどちらの目をクリックするの
か、また、「口をクリックしてください」が口のどこを
クリックするのかといった迷いがない。つまり、顔色や
髪型の色のスライダーバーでの変更や、輪郭の選択を、
直観的にかつ容易に行うことができる。

【００５５】以上、上記実施形態の画像処理装置は、そ
の装置の３次元顔画像の生成処理を、図示していない記
憶部に格納されている３次元顔画像処理プログラムによ
って実現されている。このプログラムは、コンピュータ
読み取り可能な記録媒体に格納されている。本発明で
は、この記録媒体は、図示していないが、画像処理装置
の内部にプログラム読み取り装置を備え、そこに記録媒
体を挿入することで読み取り可能なプログラムメディア
であってもよいし、あるいは装置内部のプログラムメモ
リ等の記憶手段に格納されているものであってもよい。
いずれの場合においても、格納されているプログラムは
直接アクセスして実行させる構成であってもよいし、あ
るいはいずれの場合もプログラムを読み出し、読み出さ
れたプログラムは、図示していない主記憶メモリにダウ
ンロードされて、そのプログラムが実行される方式であ
ってもよい。このダウンロード用のプログラムは、あら
かじめ装置本体に格納されているものとする。

【００５６】ここで、上記プログラムメディアは、本体
と分離可能に構成される記録媒体であり、磁気テープや
カセットテープ等のテープ系、フロッピディスクやハー
ドディスク等の磁気ディスクや、ＣＤ−ＲＯＭ、ＭＯ、
ＭＤ、ＤＶＤ等の光ディスクのディスク系、ＩＣカード
や光カード等のカード系、あるいはマスクＲＯＭ、ＥＰ
ＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導
体メモリを含めた固定的にプログラムを担持する媒体で
あってもよい。

【００５７】また、本発明においては外部との通信が可
能な手段（無線通信機能、あるいはインターネット等の
公衆回線を介する有線通信機能）を備えている場合に
は、これを用いて外部と接続し、そこからプログラムを
ダウンロードするように流動的にプログラムを担持する
媒体であってもよい。なお、このように通信ネットワー
クからプログラムをダウンロードする場合には、そのダ
ウンロード用プログラムはあらかじめ装置本体に格納し
ておくか、あるいは別の記録媒体からインストールされ
るものであってもよい。

【００５８】

【発明の効果】本発明の画像処理装置によれば、従来の
顔部品を全て自動抽出する場合と比較して、処理速度の
向上、生成もしくは成形する画像データの品質の向上を
図ることができる。また、複数の人物が含まれる原画像
データであっても、１つの特徴点を指定するのみで、対
応することができる。また、従来の２以上の顔部品を指
定させる場合と比較しても、生成もしくは成形される画
像データの品質をさほど劣化させることなく、利用者の
操作負担の軽減や誤操作の防止を図ることができる。

【００５９】また、本発明の画像処理装置によれば、入
力手段により入力される１点を鼻の位置座標としている
ので、鼻点をユーザ指定させることで、複数点指定させ
る場合と比較して、最終出力データの品質を劣化させる
ことなく、利用者の操作負担の軽減や誤操作の防止を図
ることができる。

【００６０】また、本発明の画像処理装置によれば、顔
部品の抽出を補助するパラメータ指定手段をさらに備
え、このパラメータ指定手段は、表示された補助パラメ
ータをドラッグ操作で鼻の位置まで移動させた後ドロッ
プ操作を行うことで指定するように構成したので、特徴
点の指定数を減らしても高品質な出力データを得ること
ができる。

【００６１】さらに、本発明のによれば、従来の顔部品
を全て自動抽出する方法と比較して、処理速度の向上、
生成もしくは成形する画像データの品質の向上を図るこ
とができる画像処理方法を提供することができる。

【図面の簡単な説明】

【図１】本発明の画像処理装置のブロック構成図であ
る。

【図２】抽出補助パラメータとして原画像の人物顔色の
おおよそ値をユーザ指定させるときの画面レイアウト例
を示す説明図である。

【図３】鼻点座標ならびに顔色カラーパレット値の算術
ロジックを示すフローチャートである。

【図４】特徴点抽出部での鼻点座標値の利用概要を示す
説明図である。

【図５】抽出補助パラメータ指定の入力画面例を示す説
明図である。

【図６】顔特徴点を抽出するための概略ブロック図であ
る。

【図７】顔の輪郭領域の大きさや位置が極端に異なる原
画像の例を示す説明図である。

【図８】複数の人物が撮影されている画像を原画像とし
て入力されたときに発生する問題点を説明するための図
である。

【図９】特徴点を指定させるユーザインタフェースの例
を示す説明図である。

【図１０】各指定部位を名前ではなく番号で指定させる
ユーザインタフェースの例を示す説明図である。

【符号の説明】

１０ ２次元画像入力制御部 １１ 原画像指定部 １２ 鼻点指定部 １３ 特徴点抽出部 １４ ３Ｄ画像符号化部 １５ ３Ｄ画像表示部 ２０ ＣＣＤカメラ ３０ 入力装置 ４０ 出力装置 ５０ 原画像記憶装置 ５１ 各種変数・定数記憶装置 ５２ 標準人物モデル等（符号化用定数）記憶装置 ５３ 成形画像記憶装置

Claims (6)

【特許請求の範囲】
1. 【請求項１】 画像を入力する画像入力手段と、 この画像入力手段により入力された画像データおよびこ
   の画像データ内に存在する顔画像の１つの顔部品の表示
   位置の指定を利用者に促すメッセージを表示する表示手
   段と、 表示上の任意の１点を入力する入力手段と、 顔部品の表示位置の指定を促す前記メッセージに従い、
   前記入力手段により入力された１点の座標を基点とし
   て、他の顔部品を抽出する顔部品抽出手段と、 この顔部品抽出手段にて抽出された顔部品および入力さ
   れた基点の座標情報に基づいて３次元画像を生成する画
   像生成手段と、を備えたことを特徴とする画像処理装
   置。
2. 【請求項２】 前記入力手段により入力される１点が鼻
   の位置座標である請求項１に記載の画像処理装置。
3. 【請求項３】 顔部品の抽出を補助するパラメータ指定
   手段をさらに備えたことを特徴とする請求項１または２
   に記載の画像処理装置。
4. 【請求項４】 前記パラメータ指定手段は、表示された
   補助パラメータをドラッグし前記鼻の位置まで移動させ
   た後ドロップする操作を行うことで指定することを特徴
   とする請求項３に記載の画像処理装置。
5. 【請求項５】 入力画像から３次元画像を生成する画像
   生成方法であって、 画像を入力するステップと、 入力された画像データおよびこの画像データ内に存在す
   る顔画像の１つの顔部品の表示位置の指定を利用者に促
   すメッセージを表示するステップと、 表示上の任意の１点を入力するステップと、 顔部品の表示位置の指定を促す前記メッセージに従い、
   前記ステップにて入力された１点の座標を基点として、
   他の顔部品を抽出するステップと、 抽出された顔部品および入力された基点の座標情報に基
   づいて３次元画像を生成するステップと、を備えたこと
   を特徴とする画像処理方法。
6. 【請求項６】 入力画像から３次元画像を生成する画像
   処理プログラムを記録したコンピュータ読み取り可能な
   記録媒体であって、 画像を入力するステップと、 入力された画像データおよびこの画像データ内に存在す
   る顔画像の１つの顔部品の表示位置の指定を利用者に促
   すメッセージを表示するステップと、 表示上の任意の１点を入力するステップと、 顔部品の表示位置の指定を促す前記メッセージに従い、
   前記ステップにて入力された１点の座標を基点として、
   他の顔部品を抽出するステップと、 抽出された顔部品および入力された基点の座標情報に基
   づいて３次元画像を生成するステップと、を含む画像処
   理プログラムを記録した記録媒体。