JP2003216978A

JP2003216978A - 顔特徴を表す三角パッチの生成装置および生成方法ならびに顔特徴を表す三角パッチの生成処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP2003216978A
Application number: JP2002014806A
Authority: JP
Inventors: Naoya Ishikawa; 猶也石川; Yamato Koshimizu; 大和輿水; Takayuki Fujiwara; 孝幸藤原
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2002-01-23
Filing date: 2002-01-23
Publication date: 2003-07-31
Also published as: US20030137505A1

Abstract

(57)【要約】【課題】この発明は、似顔絵を生成する場合に、目の
傾き、口の湾曲等に関して誇張することができるように
なる顔特徴を表す三角パッチの生成装置を提供すること
を目的とする。【解決手段】顔特徴を表す三角パッチの生成装置にお
いて、顔の三次元形状データに基づいて、顔の特徴点を
抽出し、抽出した特徴点を用いて、複数の三角パッチを
生成する三角パッチ生成手段、および顔の画像データに
基づいて、顔内の所用箇所の特徴点を抽出し、抽出した
特徴点に基づいて三角パッチを補正する補正手段を備え
ている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、顔特徴を表す三
角パッチの生成装置、顔特徴を表す三角パッチの生成方
法および顔特徴を表す三角パッチの生成処理プログラム
を記録したコンピュータ読み取り可能な記録媒体に関す
る。

【０００２】

【従来の技術】

【０００３】本願の発明者は、デジタルカメラで撮像し
た顔画像から三次元の顔形状データを生成し、三次元の
顔形状データから特徴点を抽出し、特徴点をデフォルメ
して三次元の似顔絵を生成する方法を開発している。

【０００４】まず、３６０度の円周状に配置された複数
のデジタルカメラを有する三次元形状測定装置を用い
て、被験者の頭部（顔）を全周にわたって撮像する。つ
まり、３６０度の円周状に配置した複数のデジタルカメ
ラの中心に被験者を位置させる。三次元形状測定装置
は、通常撮影と光照射撮影とから、頭部全周囲の色彩と
凹凸情報とを取り込み、シルエット（輪郭）法とアクテ
ィブ多眼ステレオ法（パターン光照射）のハイブリッド
法により、三次元形状データを生成する。

【０００５】顔の三次元データ（ＸＹＺ座標値）から、
目、鼻、口といった特徴点を自動的に抽出し、それらの
特徴点を用いた三角パッチを生成する。そして、この三
角パッチをもとに三次元の似顔絵を生成する。

【０００６】つまり、予め複数の被験者のデータから平
均顔の三角パッチを生成しておく。これをＳとする。個
別の顔の三角パッチＰから平均顔の三角パッチＳを引算
すると、その人の個性的に部位が抽出される。その個性
的な部位に誇張率ｂを掛けて、個性を際立たせ、もとの
顔のデータＰに重ね合わせると、デフォルメされた似顔
絵Ｑができる（式（１））。

【０００７】Ｑ＝Ｐ＋ｂ（Ｐ−Ｓ） …（１）

【０００８】ところで、顔の特徴点は、顔の三次元形状
データのみに基づいて抽出していた。このため、特徴点
を用いて目（この例では左目）の領域において生成され
た三角パッチは、図７（ａ）に示すように、目を覆うよ
うに三角パッチが生成されている。また、特徴点を用い
て口領域において生成された三角パッチは、図８（ａ）
に示すように、口の上側部分および下側部分を覆うよう
に三角パッチが生成されている。

【０００９】このため、似顔絵を生成する場合に、目の
傾き、口の湾曲等に関して誇張することはできなかっ
た。

【００１０】

【発明が解決しようとする課題】この発明は、似顔絵を
生成する場合に、目の傾きや口の湾曲等に関して誇張す
ることができるようになる顔特徴を表す三角パッチの生
成装置および生成方法ならびに顔特徴を表す三角パッチ
の生成処理プログラムを記録したコンピュータ読み取り
可能な記録媒体を提供することを目的とする。

【００１１】

【課題を解決するための手段】請求項１に記載の発明
は、顔特徴を表す三角パッチの生成装置において、顔の
三次元形状データに基づいて、顔の特徴点を抽出し、抽
出した特徴点を用いて、複数の三角パッチを生成する三
角パッチ生成手段、および顔の画像データに基づいて、
顔内の所用箇所の特徴点を抽出し、抽出した特徴点に基
づいて三角パッチを補正する補正手段を備えていること
を特徴とする。

【００１２】請求項２に記載の発明は、請求項１に記載
の顔特徴を表す三角パッチの生成装置において、補正手
段は、顔部分の画像データに基づいて、目の左右端部を
それぞれ特徴点として抽出し、抽出した特徴点に基づい
て、目領域の三角パッチを補正するものであることを特
徴とする。

【００１３】請求項３に記載の発明は、請求項１に記載
の顔特徴を表す三角パッチの生成装置において、補正手
段は、顔部分の画像データに基づいて、上唇の上側の輪
郭の左右中央および下唇の下側の輪郭の左右中央をそれ
ぞれ特徴点として抽出し、抽出した特徴点に基づいて、
口領域の三角パッチを補正するものであることを特徴と
する。

【００１４】請求項４に記載の発明は、請求項１に記載
の顔特徴を表す三角パッチの生成装置において、補正手
段は、顔部分の画像データに基づいて、目の左右端部を
それぞれ特徴点として抽出し、抽出した特徴点に基づい
て、目領域の三角パッチを補正する手段および顔部分の
画像データに基づいて、上唇の上側の輪郭の左右中央お
よび下唇の下側の輪郭の左右中央をそれぞれ特徴点とし
て抽出し、抽出した特徴点に基づいて、口領域の三角パ
ッチを補正する手段を備えていることを特徴とする。

【００１５】請求項５に記載の発明は、顔特徴を表す三
角パッチの生成方法において、顔の三次元形状データに
基づいて、顔の特徴点を抽出し、抽出した特徴点を用い
て、複数の三角パッチを生成する三角パッチ生成ステッ
プ、および顔の画像データに基づいて、顔内の所用箇所
の特徴点を抽出し、抽出した特徴点に基づいて三角パッ
チを補正する補正ステップを備えていることを特徴とす
る。

【００１６】請求項６に記載の発明は、請求項５に記載
の顔特徴を表す三角パッチの生成方法において、補正ス
テップは、顔部分の画像データに基づいて、目の左右端
部をそれぞれ特徴点として抽出し、抽出した特徴点に基
づいて、目領域の三角パッチを補正するものであること
を特徴とする。

【００１７】請求項７に記載の発明は、請求項５に記載
の顔特徴を表す三角パッチの生成方法において、補正ス
テップは、顔部分の画像データに基づいて、上唇の上側
の輪郭の左右中央および下唇の下側の輪郭の左右中央を
それぞれ特徴点として抽出し、抽出した特徴点に基づい
て、口領域の三角パッチを補正するものであることを特
徴とする。

【００１８】請求項８に記載の発明は、請求項５に記載
の顔特徴を表す三角パッチの生成方法において、補正ス
テップは、顔部分の画像データに基づいて、目の左右端
部をそれぞれ特徴点として抽出し、抽出した特徴点に基
づいて、目領域の三角パッチを補正するステップおよび
顔部分の画像データに基づいて、上唇の上側の輪郭の左
右中央および下唇の下側の輪郭の左右中央をそれぞれ特
徴点として抽出し、抽出した特徴点に基づいて、口領域
の三角パッチを補正するステップを備えていることを特
徴とする。

【００１９】請求項９に記載の発明は、顔特徴を表す三
角パッチの生成処理プログラムを記録したコンピュータ
読み取り可能な記録媒体であって、顔の三次元形状デー
タに基づいて、顔の特徴点を抽出し、抽出した特徴点を
用いて、複数の三角パッチを生成する三角パッチ生成ス
テップ、および顔の画像データに基づいて、顔内の所用
箇所の特徴点を抽出し、抽出した特徴点に基づいて三角
パッチを補正する補正ステップを実行するための顔特徴
を表す三角パッチの生成処理プログラムを記録している
ことを特徴とする。

【００２０】請求項１０に記載の発明は、請求項９に記
載の顔特徴を表す三角パッチの生成処理プログラムを記
録したコンピュータ読み取り可能な記録媒体において、
補正ステップは、顔部分の画像データに基づいて、目の
左右端部をそれぞれ特徴点として抽出し、抽出した特徴
点に基づいて、目領域の三角パッチを補正するものであ
ることを特徴とする。

【００２１】請求項１１に記載の発明は、請求項９に記
載の顔特徴を表す三角パッチの生成処理プログラムを記
録したコンピュータ読み取り可能な記録媒体において、
補正ステップは、顔部分の画像データに基づいて、上唇
の上側の輪郭の左右中央および下唇の下側の輪郭の左右
中央をそれぞれ特徴点として抽出し、抽出した特徴点に
基づいて、口領域の三角パッチを補正するものであるこ
とを特徴とする。

【００２２】請求項１２に記載の発明は、請求項９に記
載の顔特徴を表す三角パッチの生成処理プログラムを記
録したコンピュータ読み取り可能な記録媒体において、
補正ステップは、顔部分の画像データに基づいて、目の
左右端部をそれぞれ特徴点として抽出し、抽出した特徴
点に基づいて、目領域の三角パッチを補正するステップ
および顔部分の画像データに基づいて、上唇の上側の輪
郭の左右中央および下唇の下側の輪郭の左右中央をそれ
ぞれ特徴点として抽出し、抽出した特徴点に基づいて、
口領域の三角パッチを補正するステップを備えているこ
とを特徴とする。

【００２３】

【発明の実施の形態】以下、この発明の実施の形態につ
いて説明する。

【００２４】〔１〕三次元似顔絵生成装置の全体構成の
説明

【００２５】図１は、三次元似顔絵生成装置の構成を示
している。

【００２６】三次元似顔絵生成装置は、パーソナルコン
ピュータによって実現される。パーソナルコンピュータ
１０には、ディスプレイ（モニタ）２１、マウス２２お
よびキーボード２３が接続されている。パーソナルコン
ピュータ１０は、ＣＰＵ１１、メモリ１２、ハードディ
スク１３、ＣＤ−ＲＯＭのようなリムーバブルディスク
のドライブ（ディスクドライブ）１４を備えている。

【００２７】ハードディスク１３には、ＯＳ（オペレー
ティングシステム）等の他、三次元似顔絵生成処理プロ
グラムが格納されている。三次元似顔絵生成処理プログ
ラムは、それが格納されたＣＤ−ＲＯＭ２０を用いて、
ハードディスク１３にインストールされる。また、ハー
ドディスク１３には、平均顔を生成するための複数の人
物の頭部全周囲のポリゴンデータ（以下、平均顔作成用
のポリゴンデータという）およびそれらのポリゴンデー
タの各ポリゴン毎のカラー画像データと、作成しようと
する似顔絵の元となる人物の頭部全周囲のポリゴンデー
タ（以下、入力顔のポリゴンデータという）およびその
ポリゴンデータの各ポリゴン毎のカラー画像データとが
予め格納されているものとする。この実施の形態では、
ポリゴンデータしとては、３頂点のポリゴンデータが用
いられている。

【００２８】人物の頭部全周囲のポリゴンデータ（ＮＦ
Ｆデータ）およびポリゴン毎のカラー画像データは、３
６０度の円周状に配置された複数のデジタルカメラを備
えた三次元形状測定装置によって生成される。つまり、
３６０度の円周状に配置した複数のデジタルカメラの中
心に被験者を位置させる。三次元形状計測装置は、通常
撮影と光照射撮影とから頭部全周囲の撮像データを取り
込み、取り込んだ撮像データに基づいて、ポリゴンデー
タおよびポリゴン毎のカラー画像データを生成する。

【００２９】〔２〕三次元似顔絵生成処理プログラムに
基づく三次元似顔絵生成処理手順の説明。

【００３０】三次元似顔絵生成処理には、事前処理とし
て行われる平均顔生成処理と、似顔絵生成処理とがあ
る。

【００３１】〔２−１〕平均顔生成処理についての説明

【００３２】図２は、平均顔生成処理手順を示してい
る。

【００３３】（i ）ハードディスク１３に格納されてい
る複数の人物に対する平均顔作成用のポリゴンデータの
うちから、１人の人物に対する平均顔作成用のポリゴン
データを読み出す（ステップ１）。

【００３４】（ii）読み出した平均顔作成用のポリゴン
データをシステムの座標系に変換する（ステップ２）。

【００３５】システムの座標系は、図３に示すように、
両耳を通るほぼ鉛直な平面をＸＹ平面とし、鼻頂点から
ＸＹ平面への垂線をＺ軸とし、Ｚ軸とＸＹ平面との交点
を原点とし、ＸＹ平面内において原点を通りかつ顔の左
右方向にのびた軸をＸ軸、ＸＹ平面内において原点を通
りかつ顔の上下方向にのびた軸をＹ軸として定義されて
いる。

【００３６】三次元形状測定装置から得られるポリゴン
データの座標系（三次元形状測定装置の座標系）につい
て説明する。３６０度の円周状に配置された複数のデジ
タルカメラの中心を通る鉛直線がＹ軸に設定されてい
る。また、Ｙ軸に直角な方向に、Ｘ軸およびＺ軸が設定
されている。三次元形状測定装置で人を撮像する際に
は、３６０度の円周状に配置した複数のデジタルカメラ
の中心に人を位置させるとともに、その人の顔がＺ軸の
＋方向を向くようにその人の顔の向きを調整する。な
お、原点の高さ位置は、撮像時において、ほぼ人の顔の
高さ中央がくるような位置に、設定されている。

【００３７】ポリゴンデータをシステムの座標系に変換
する手順について説明する。

【００３８】まず、図４に示すように、頭部軸に相当
する直線Ｌｏを求める。この直線Ｌｏは、三次元形状測
定装置の座標系での任意の複数のＸＺ平面で分割した三
次元形状データの重心を点列とし、これらの重心の点列
との距離の総和が最も小さくなる直線として求められ
る。

【００３９】そして、求めた直線ＬｏをＹ軸とするため
の変換を、ポリコンデータに対して行う。この変換は、
直線ＬｏをＹ軸とするための回転移動および平行移動と
により行われる。なお、システム座標系の原点等の未知
のパラメータは、三次元形状測定装置の座標系に合わせ
る。

【００４０】次に、上記で変換されたポリゴンデー
タを、三次元形状測定装置の座標系でのＸ軸を中心にし
た回転移動およびＺ軸を中心にした回転移動を組み合わ
せて回転移動させ、全ての頂点データからで定義した
Ｙ軸への最小距離の合計が最も小さくなるような位置を
求める。

【００４１】この位置でのＹ軸がシステム座標系のＹ軸
となる。ここで行われる変換は、Ｘ軸を中心にした回転
移動およびＺ軸を中心にした回転移動となる。

【００４２】三次元形状計測装置の座標系のＺ軸方向
がシステム座標系のＺ軸と同じであると仮定して、Ｚ軸
方向への値が最大となる点を鼻頂点とする。そして、
で定義したシステム座標系のＹ軸と鼻頂点からこのＹ軸
への垂線との交点が、システム座標系の原点Ｏとなるよ
うに、で変換されたポリゴンデータを変換する。この
変換は、Ｙの値（ｙ座標）の平行移動により行われる。

【００４３】上記、およびの変換により、三次元
形状測定装置の座標系のポリゴンデータがシステムの座
標系のポリゴンデータに変換される。なお、Ｙ軸を法線
ベクトルにもち、かつ原点Ｏを通るＸＹ平面が求まる。

【００４４】以下のステップにおいて、ポリゴンデータ
とは、システムの座標系に変換された後のデータを指
す。

【００４５】（iii) 次に、平均顔作成用のポリゴンデ
ータに基づいて、顔の正面側の距離画像（デプスマッ
プ）と顔の背面側の距離画像（デプスマップ）とを生成
する（ステップ３）。

【００４６】顔の正面側の距離画像は、平均顔作成用の
ポリゴンデータの頂点データ（ｘ，ｙ，ｚ）のうちのｚ
＞０のデータから生成されるｚを距離値とした画像であ
る。顔の背面側の距離画像は、平均顔作成用のポリゴン
データの頂点データのうちのｚ＜０のデータから生成さ
れるｚを距離値とした画像である。

【００４７】（iv）次に、顔の正面側の距離画像と顔の
背面側の距離画像とに基づいて、複数の特徴点を抽出
し、特徴点を頂点とする複数の三角パッチを生成する
（ステップ４）。

【００４８】この実施の形態では、顔の正面側からは、
図５に示すように３４個の特徴点が抽出され、顔の背面
側からは、図６に示すように、１０個の特徴点が抽出さ
れる。特徴点が図５および図６に示すような点である場
合には、三角パッチは図５および図６に示すようにな
る。この例では、８２面の三角パッチが生成される。

【００４９】以下、特徴点の抽出方法について説明す
る。

【００５０】まず、顔の正面側の距離画像で最も距離値
が高い箇所を鼻頂点Ｐ３０として抽出する。

【００５１】鼻頂点Ｐ３０から上下方向に走査して、局
所的な極点を抽出する。鼻頂点Ｐ３０より上側において
は、鼻の落ちた箇所ｙ_u1と、額ｙ_u2（Ｐ２６）の２点を
抽出する。鼻頂点Ｐ３０より下側においては、鼻の落ち
た箇所ｙ_b1（Ｐ３２）と、口の凹凸の４点ｙ_b2、ｙ_b3、
ｙ_b4、ｙ_b5の計５点を抽出する。これらのＹ軸に沿った
特徴点を用いて、鼻領域、目領域および口領域を抽出す
る。

【００５２】鼻領域は次のようにして求められる。鼻頂
点Ｐ３０から左右方向に距離値勾配を走査して、閾値処
理により鼻領域の左端および右端の位置を決める。極点
ｙ_u1と鼻頂点Ｐ３０との中点ｙ_u0.5（Ｐ２８）を鼻領域
の上端位置とし、極点ｙ_b1（Ｐ３２）を鼻領域の下端位
置とする。つまり、点Ｐ３１、点Ｐ２７、点Ｐ２９およ
び点Ｐ３３を頂点とする四角形領域が鼻領域と定義さ
れ、鼻領域にＰ２７〜Ｐ３３の特徴点が配置される。

【００５３】目領域は次のようにして求められる。極点
ｙ_u2を目領域の上端位置とし、上記中点ｙ_u0.5を目領域
の下端位置とする。そして、これらの２点それぞれから
顔の左右方向に距離値勾配を走査して、閾値処理により
目領域の上端および下端それぞれに対する左端および右
端の位置を決める。つまり、点Ｐ２２、点Ｐ２４、点Ｐ
１０および点Ｐ１２を頂点とする四角形領域が目領域と
定義される。さらに、特徴点Ｐ２２とＰ２４との中点を
特徴点Ｐ２３として設定するとともに、特徴点Ｐ１０と
Ｐ１２との中点を特徴点Ｐ１１として設定する。これに
より、目領域にＰ１０、Ｐ１１、Ｐ１２、Ｐ２２、Ｐ２
３、Ｐ２４、Ｐ２６の特徴点が配置される。

【００５４】口領域は次のようにして求められる。極点
ｙ_b2を口領域の上端位置とし、極点ｙ_b5を口領域の下端
位置とする。そして、これらの２点それぞれから顔の左
右方向に距離値勾配を走査して、閾値処理により目領域
の上端および下端それぞれに対する左端および右端の位
置を決める。つまり、点Ｐ３６、点Ｐ３４、点Ｐ３５お
よび点Ｐ３８を頂点とする四角形領域が目領域と定義さ
れ、口領域にＰ３４〜Ｐ３８の特徴点が配置される。

【００５５】次に、鼻頂点から放射状に距離値勾配を走
査して閾値処理を行うことにより、顎の特徴点を抽出す
る。この例では、鼻頂点を原点としてＸ軸（原点からの
走査方向：±ｘ）、Ｙ軸（−ｙ）、ｙ＝ｘ（−ｘ）、ｙ
＝−ｘ（＋ｘ）、ｙ＝２ｘ（−ｘ）、ｙ＝−２ｘ（＋
ｘ）、ｙ＝ｘ／２（−ｘ）、ｙ＝−ｘ／２（＋ｘ）を走
査（括弧内の走査方向）することにより、顎の特徴点Ｐ
１３〜Ｐ２１を抽出する。

【００５６】また、鼻頂点を原点としてＹ軸（−ｙ）の
方向に距離値勾配を走査して閾値処理を行うことによ
り、喉の特徴点Ｐ５を抽出する。

【００５７】また、鼻頂点を原点としてＹ軸（＋ｙ）、
ｙ＝２ｘ（＋ｘ）、ｙ＝−２ｘ（−ｘ）の方向に距離値
勾配を走査して閾値処理を行うことにより、頭部の特徴
点Ｐ８、Ｐ９、Ｐ２５を抽出する。

【００５８】また、鼻頂点を原点としてｙ＝ｘ（＋
ｘ）、ｙ＝−ｘ（−ｘ）の方向に距離値勾配を走査して
閾値処理を行うことにより、前髪の左の特徴点Ｐ２およ
び前髪の右の特徴点Ｐ０を抽出する。

【００５９】顔の背面側の特徴点について説明する。点
Ｐ３９は、額の特徴点Ｐ２６と、ｘｙ座標が同じ点とな
る。また、点Ｐ４０は、鼻の頂点Ｐ３０と、ｘｙ座標が
同じ点となる。点Ｐ３、Ｐ７は、点Ｐ４０を原点とし
て、背面側の距離画像の距離値勾配を左右方向に走査し
て、閾値処理を行うことにより、抽出する。

【００６０】点Ｐ４１は、点Ｐ２０と点Ｐ１４の中点を
ｙの値として配置される。点Ｐ４、Ｐ６は、点Ｐ１５と
点Ｐ１９の中点となるｙの値から、左右方向に距離値勾
配を走査して、閾値処理を行うことにより、抽出する。

【００６１】点Ｐ１、点Ｐ４２、点Ｐ４３は、点Ｐ４０
からそれぞれ、Ｙ軸（−ｙ）、ｙ＝−２ｘ（−ｘ）、ｙ
＝２ｘ（＋ｘ）へ距離値勾配を走査して閾値処理するこ
とにより抽出される。

【００６２】正面側の三角パッチと背面側の三角パッチ
とは、所定の特徴点どうしを結ぶことによって結合せし
められる。

【００６３】（v ）次に、三角パッチの修正処理を行う
（ステップ５）。

【００６４】上記ステップ４によって生成された三角パ
ッチでは、図７（ａ）に示すように、目を覆うように三
角パッチが生成されている。また、図８（ａ）に示すよ
うに、口の上側部分および下側部分を覆うように三角パ
ッチが生成されている。

【００６５】このため、似顔絵において、目の傾き、口
の湾曲等に関して誇張することはできなかった。そこ
で、ステップ５では、目の傾き、口の湾曲等に関して誇
張できるように、図７（ｂ）、図８（ｂ）に示すよう
に、目および口の領域に対する三角パッチを修正する。
以下、この修正処理について説明する。

【００６６】まず、ハードディスク１３から現在処理し
ている人物に対応するカラー画像データ（ポリゴン内の
三次元カラー画像データ）を読み出す。そして、読み出
した三次元カラー画像データのうち、顔の正面側のデー
タを展開して、２次元カラー画像データを生成する。こ
の２次元カラー画像データを元に、目および口の領域に
対応する三角パッチをより細かく設定する。

【００６７】まず、目領域に対応する三角パッチの修正
処理について説明する。２次元カラー画像データに基づ
いて、左目の輪郭を抽出する。抽出した左目の輪郭のう
ち、最も左右の端にある点を特徴点ＰＬａ、ＰＬｂとし
て設定する。そして、図７（ｂ）に示すように、特徴点
Ｐ２９、Ｐ２６、Ｐ１０、Ｐ１２、ＰＬａ、ＰＬｂを用
いて、左目領域に６個の三角パッチを生成する。したが
って、左目領域の三角パッチは３から６に増加する。こ
れにより、システムにつり目、たれ目などを認識させる
ことが可能となる。

【００６８】なお、特徴点Ｐ１１は削除される。したが
って、左目領域において特徴点の数は、１個増加する。
特徴点Ｐ１１が削除されるため、この特徴点Ｐ１１とＰ
１０とＰ２とを頂点とする三角パッチは、Ｐ１２とＰ１
０とＰ２とを頂点とする三角パッチに変更せしめられ
る。右目についても同様な処理を行って、三角パッチを
変更する。

【００６９】口領域に対応する三角パッチの変更処理に
ついて説明する。２次元カラー画像データに基づいて、
口の輪郭を抽出する。この際、肌色領域と口の赤成分の
差を利用して口の輪郭を抽出する。上唇と下唇の輪郭の
それぞれ中央を、特徴点ＰＭａ、ＰＭｂとして設定す
る。そして、図８（ｂ）に示すように、特徴点Ｐ３６、
Ｐ３４、Ｐ３１、Ｐ３３、Ｐ３５、Ｐ３８、ＰＭａ、Ｐ
Ｍｂを用いて、口領域に８個の三角パッチを生成する。
したがって、口領域の三角パッチは６から８に増加す
る。これにより、口の左右の大きさだけでなく、口の縦
の大きさ（唇の厚さ）、口の湾曲を含めた口の形状をシ
テスムに認識させることが可能となる。

【００７０】なお、特徴点Ｐ３２およびＰ３７は削除さ
れる。このため、口領域において特徴点の数は変化しな
い。特徴点Ｐ３２およびＰ３７は削除されるため、図５
において、Ｐ３２とＰ３０を結ぶ線およびＰ３７とＰ１
７を結ぶ線は無くなる。したがって、口領域内において
三角パッチは２個増加するが、口領域の外側において、
三角パッチの数が２個減少することになる。

【００７１】ステップ５の修正処理によって、顔の正面
側の特徴点数は２個増えて３６となり、顔の背面側の特
徴点数は変化なしで１０のままとなり、三角パッチの個
数は６個増えて８８となる。

【００７２】（vi）ハードディスク１３に格納されてい
る全て平均顔作成用のポリゴンデータに対して上記ステ
ップ１〜５の処理が行われるまで、上記ステップ１〜５
の処理を繰り返すことにより、複数の平均顔作成用のポ
リゴンデータに対して三角パッチを生成する（ステップ
６）。

【００７３】（vii ）このようにして、複数の顔に対す
る三角パッチが生成されると、生成された複数の顔に対
する三角パッチに基づいて、平均顔の三角パッチを生成
する（ステップ７）。

【００７４】つまり、各三角パッチの頂点（特徴点）の
座標（ｘ，ｙ，ｚ）の平均値を次式（２）に基づいて算
出する。そして、得られた各三角パッチの頂点の座標
（ｘ，ｙ，ｚ）の平均値から得られる点を平均顔の特徴
点として、平均顔の三角パッチ（平均距離画像）を生成
する。

【００７５】

【数１】

【００７６】上記式（２）において、ｍ（ｍ＝１，２
…８８）は三角パッチを示し、ｊ（ｊ＝１，２，３）は
三角パッチの頂点を表す。

【００７７】ｘ_(m,j) ^(k)、ｙ_(m,j) ^(k)およびｚ
_(m,j) ^(k)は、それぞれ平均顔作成用の複数の顔の各三
角パッチの頂点のｘ座標、ｙ座標およびｚ座標を示して
いる。なお、ｋ＝１，２，…Ｎである。

【００７８】ｘ_(m,j) ^(S)、ｙ_(m,j) ^(S)およびｚ
_(m,j) ^(S)は、それぞれ平均顔の各三角パッチの頂点の
ｘ座標、ｙ座標およびｚ座標を示している。

【００７９】このようにして得られた平均顔の三角パッ
チは、平均顔の三角パッチとしてハードディスク１３に
格納される。

【００８０】〔２−２〕似顔絵生成処理についての説明

【００８１】図９は、似顔絵生成処理手順を示してい
る。

【００８２】（i ）ハードディスク１３に格納されてい
る入力顔のポリゴンデータを読み出す（ステップ１
１）。

【００８３】（ii）読み出した入力顔のポリゴンデータ
をシステムの座標系に変換する（ステップ１２）。この
処理は、図２のステップ２の処理と同様であるのでその
説明を省略する。

【００８４】（iii) 次に、入力顔のポリゴンデータに
基づいて、顔の正面側の距離画像と顔の背面側の距離画
像とを生成する（ステップ１３）。この処理は、図２の
ステップ３の処理と同様であるのでその説明を省略す
る。

【００８５】（iv）次に、顔の正面側の距離画像と顔の
背面側の距離画像とに基づいて、複数の特徴点を抽出
し、特徴点を頂点とする複数の三角パッチを生成する
（ステップ１４）。この処理は、図２のステップ４の処
理と同様であるのでその説明を省略する。

【００８６】（v ）次に、三角パッチの修正処理を行う
（ステップ１５）。この処理は、図２のステップ５の処
理と同様であるのでその説明を省略する。

【００８７】（vi) 次に、入力顔の三角パッチと平均顔
の三角パッチと誇張率ｂに基づいて似顔絵の三角パッチ
を生成する（ステップ１６）。

【００８８】似顔絵の三角パッチは、次式（３）に基づ
いて算出する。

【００８９】

【数２】

【００９０】上記式（３）において、ｍ（ｍ＝１，２…
８８）は三角パッチを示し、ｊ（ｊ＝１，２，３）は三
角パッチの頂点を表す。また、ｂは誇張率を示す。

【００９１】ｘ_(m,j) ^(Q)、ｙ_(m,j) ^(Q)およびｚ
_(m,j) ^(Q)は、それぞれ似顔絵の各三角パッチの頂点の
ｘ座標、ｙ座標およびｚ座標を示している。

【００９２】ｘ_(m,j) ^(P)、ｙ_(m,j) ^(P)およびｚ
_(m,j) ^(P)は、それぞれ入力顔の各三角パッチの頂点の
ｘ座標、ｙ座標およびｚ座標を示している。

【００９３】ｘ_(m,j) ^(S)、ｙ_(m,j) ^(S)およびｚ
_(m,j) ^(S)は、それぞれ平均顔の各三角パッチの頂点の
ｘ座標、ｙ座標およびｚ座標を示している。

【００９４】（vii)次に、似顔絵の三角パッチに基づい
て、入力顔の各ポリゴンデータの頂点データを変形する
ことにより、似顔絵に対するポリゴンデータを生成する
（ステップ１７）。

【００９５】図１０（ａ）は、入力顔の三角パッチとポ
リゴンデータの頂点とを示し、図１０（ｂ）は、似顔絵
の三角パッチと変形後のポリゴンデータの頂点とを示し
ている。

【００９６】図１０において、Ｆ、Ｆ’はポリゴンデー
タの頂点を示し、Ｔ₁、Ｔ₂、Ｔ₃とＴ₁’、Ｔ₂’、
Ｔ₃’とは三角パッチＴ、Ｔ’の頂点を示している。

【００９７】Ｉは、原点０とＦとを通る直線と三角パッ
チＴ（Ｔ₁、Ｔ₂、Ｔ₃）との交点を示している。Ｉ’
は、原点０とＦ’とを通る直線と三角パッチＴ’
（Ｔ₁’、Ｔ₂’、Ｔ₃’）との交点を示している。

【００９８】入力顔の三角パッチ内において、次式
（４）が成立する。

【００９９】

【数３】

【０１００】また、直線ＯＦと直線ＯＩとは、次式
（５）で表される。

【０１０１】

【数４】

【０１０２】Ｔ₁、Ｔ₂、Ｔ₃、Ｆは既知なので、パラ
メータα、β、γが求まる。したがって、任意のポリゴ
ンデータの頂点Ｆと対応する三角パッチＴがα、β、γ
という３つのパラメータによって関係付けされる。

【０１０３】似顔絵の三角パッチ内においては次式
（６）が成立するので、次式（６）からＯとＦ’とを通
る直線と三角パッチＴ’（Ｔ₁’、Ｔ₂’、Ｔ₃’）と
の交点Ｉ’が求められる。

【０１０４】

【数５】

【０１０５】また、次式（７）に基づいて、変形後の
Ｆ’が求まる。

【０１０６】

【数６】

【０１０７】これをポリゴンの各頂点に対して計算し
て、似顔絵を生成する。

【０１０８】

【発明の効果】この発明によれば、似顔絵を生成する場
合に、目の傾き、口の湾曲等に関して誇張することがで
きるようになる。

【図面の簡単な説明】

【図１】図１は、似顔絵生成装置の構成を示すブロック
図である。

【図２】図２は、平均顔生成処理手順を示すフローチャ
ートである。

【図３】図３は、システムの座標系を示す模式図であ
る。

【図４】図４は、システムの座標系のＹ軸の推定方法を
説明するための模式図である。

【図５】図５は、顔の正面側に設定される特徴点と三角
パッチを示す模式図である。

【図６】図６は、顔の背面側に設定される特徴点と三角
パッチを示す模式図である。

【図７】図７は、目領域の三角パッチの修正方法を説明
するための模式図である。

【図８】図８は、口領域の三角パッチの修正方法を説明
するための模式図である。

【図９】図９は、似顔絵生成処理手順を示すフローチャ
ートである。

【図１０】図１０は、似顔絵の三角パッチに基づいて、
入力顔の各ポリゴンデータの頂点データを変形する方法
を説明するための模式図である。

【符号の説明】

１０パーソナルコンピュータ１１ＣＰＵ１２メモリ１３ハードディスク１４ディスクドライブ

───────────────────────────────────────────────────── フロントページの続き (72)発明者藤原孝幸愛知県名古屋市守山区瀬古２−305−５− 805 Ｆターム(参考） 5B050 AA10 BA07 BA09 BA12 CA07 DA04 DA10 EA06 EA19 EA27 EA28 FA02 FA09 5B057 AA20 CA01 CA08 CA12 CA16 CB13 CB17 CC03 CD14 CE15 DA08 DA17 DB02 DB06 DB09 DC05 DC16 DC25

Claims

【特許請求の範囲】

【請求項１】顔の三次元形状データに基づいて、顔の
特徴点を抽出し、抽出した特徴点を用いて、複数の三角
パッチを生成する三角パッチ生成手段、および顔の画像
データに基づいて、顔内の所用箇所の特徴点を抽出し、
抽出した特徴点に基づいて三角パッチを補正する補正手
段、を備えている顔特徴を表す三角パッチの生成装置。
【請求項２】補正手段は、顔部分の画像データに基づ
いて、目の左右端部をそれぞれ特徴点として抽出し、抽
出した特徴点に基づいて、目領域の三角パッチを補正す
るものである請求項１に記載の顔特徴を表す三角パッチ
の生成装置。
【請求項３】補正手段は、顔部分の画像データに基づ
いて、上唇の上側の輪郭の左右中央および下唇の下側の
輪郭の左右中央をそれぞれ特徴点として抽出し、抽出し
た特徴点に基づいて、口領域の三角パッチを補正するも
のである請求項１に記載の顔特徴を表す三角パッチの生
成装置。
【請求項４】補正手段は、顔部分の画像データに基づ
いて、目の左右端部をそれぞれ特徴点として抽出し、抽
出した特徴点に基づいて、目領域の三角パッチを補正す
る手段および顔部分の画像データに基づいて、上唇の上
側の輪郭の左右中央および下唇の下側の輪郭の左右中央
をそれぞれ特徴点として抽出し、抽出した特徴点に基づ
いて、口領域の三角パッチを補正する手段を備えている
請求項１に記載の顔特徴を表す三角パッチの生成装置。
【請求項５】顔の三次元形状データに基づいて、顔の
特徴点を抽出し、抽出した特徴点を用いて、複数の三角
パッチを生成する三角パッチ生成ステップ、および顔の
画像データに基づいて、顔内の所用箇所の特徴点を抽出
し、抽出した特徴点に基づいて三角パッチを補正する補
正ステップ、を備えている顔特徴を表す三角パッチの生成方法。
【請求項６】補正ステップは、顔部分の画像データに
基づいて、目の左右端部をそれぞれ特徴点として抽出
し、抽出した特徴点に基づいて、目領域の三角パッチを
補正するものである請求項５に記載の顔特徴を表す三角
パッチの生成方法。
【請求項７】補正ステップは、顔部分の画像データに
基づいて、上唇の上側の輪郭の左右中央および下唇の下
側の輪郭の左右中央をそれぞれ特徴点として抽出し、抽
出した特徴点に基づいて、口領域の三角パッチを補正す
るものである請求項５に記載の顔特徴を表す三角パッチ
の生成装置。
【請求項８】補正ステップは、顔部分の画像データに
基づいて、目の左右端部をそれぞれ特徴点として抽出
し、抽出した特徴点に基づいて、目領域の三角パッチを
補正するステップおよび顔部分の画像データに基づい
て、上唇の上側の輪郭の左右中央および下唇の下側の輪
郭の左右中央をそれぞれ特徴点として抽出し、抽出した
特徴点に基づいて、口領域の三角パッチを補正するステ
ップを備えている請求項５に記載の顔特徴を表す三角パ
ッチの生成装置。
【請求項９】顔特徴を表す三角パッチの生成処理プロ
グラムを記録したコンピュータ読み取り可能な記録媒体
であって、顔の三次元形状データに基づいて、顔の特徴点を抽出
し、抽出した特徴点を用いて、複数の三角パッチを生成
する三角パッチ生成ステップ、および顔の画像データに
基づいて、顔内の所用箇所の特徴点を抽出し、抽出した
特徴点に基づいて三角パッチを補正する補正ステップ、を実行するための顔特徴を表す三角パッチの生成処理プ
ログラムを記録したコンピュータ読み取り可能な記録媒
体。
【請求項１０】補正ステップは、顔部分の画像データ
に基づいて、目の左右端部をそれぞれ特徴点として抽出
し、抽出した特徴点に基づいて、目領域の三角パッチを
補正するものである、請求項９に記載の顔特徴を表す三
角パッチの生成処理プログラムを記録したコンピュータ
読み取り可能な記録媒体。
【請求項１１】補正ステップは、顔部分の画像データ
に基づいて、上唇の上側の輪郭の左右中央および下唇の
下側の輪郭の左右中央をそれぞれ特徴点として抽出し、
抽出した特徴点に基づいて、口領域の三角パッチを補正
するものである、請求項９に記載の顔特徴を表す三角パ
ッチの生成処理プログラムを記録したコンピュータ読み
取り可能な記録媒体。
【請求項１２】補正ステップは、顔部分の画像データ
に基づいて、目の左右端部をそれぞれ特徴点として抽出
し、抽出した特徴点に基づいて、目領域の三角パッチを
補正するステップおよび顔部分の画像データに基づい
て、上唇の上側の輪郭の左右中央および下唇の下側の輪
郭の左右中央をそれぞれ特徴点として抽出し、抽出した
特徴点に基づいて、口領域の三角パッチを補正するステ
ップを備えている、請求項９に記載の顔特徴を表す三角
パッチの生成処理プログラムを記録したコンピュータ読
み取り可能な記録媒体。