JP2007257324A - 顔モデル作成システム - Google Patents
顔モデル作成システム Download PDFInfo
- Publication number
- JP2007257324A JP2007257324A JP2006081156A JP2006081156A JP2007257324A JP 2007257324 A JP2007257324 A JP 2007257324A JP 2006081156 A JP2006081156 A JP 2006081156A JP 2006081156 A JP2006081156 A JP 2006081156A JP 2007257324 A JP2007257324 A JP 2007257324A
- Authority
- JP
- Japan
- Prior art keywords
- distance image
- dimensional
- face
- pixel
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
【課題】顔形状の特徴点からなるモデルを自動生成する。
【解決手段】正準化処理部112は、レンジファインダ100が取得したモデル化対象の顔(対象顔)の距離画像を、姿勢及び位置を正しく合わせる。2次元DPマッチング部114は、この距離画像と、標準顔パッチモデル距離画像122との画素同士の対応関係を、2次元DPマッチングにより求める。この対応関係に基づき、モデル変形部116が、標準顔パッチモデル126の各特徴点を対象顔の形状に合わせて移動させることで、標準顔パッチモデル126を変形して対象顔のパッチモデルを生成する。
【選択図】図1
【解決手段】正準化処理部112は、レンジファインダ100が取得したモデル化対象の顔(対象顔)の距離画像を、姿勢及び位置を正しく合わせる。2次元DPマッチング部114は、この距離画像と、標準顔パッチモデル距離画像122との画素同士の対応関係を、2次元DPマッチングにより求める。この対応関係に基づき、モデル変形部116が、標準顔パッチモデル126の各特徴点を対象顔の形状に合わせて移動させることで、標準顔パッチモデル126を変形して対象顔のパッチモデルを生成する。
【選択図】図1
Description
本発明は、顔の3次元形状を表すモデルを作成するための技術に関する。
顔を用いた本人認証や顔のCG(コンピュータグラフィクス)の作成などの様々な分野で、実際の顔の3次元形状計測結果の利用が図られている。
非特許文献1には、レンジファインダを用いて顔の3次元形状とテクスチャ(輝度画像)を得るシステムが開示されている。
ここで、レンジファインダにより得られる顔の3次元形状データは顔の表面の各点を示す3次元の点の集合である。高い精度を得るべく十分に高解像度のレンジファインダを用いた場合、顔表面を示す点の数は数万点規模に上る。このような規模の大きいデータは利用が難しい。
そこで、顔の3次元形状を示す点群のうち、顔の構造上の特徴を示す特徴点の組合せにより顔をモデル化することが行われている。このような顔の三次元形状のモデル化の手法として、非特許文献2に示される方式が知られている。この方式では、顔に数百点の特徴点を設定している。特徴点は、目頭や目尻、唇の両端など、顔の特徴となる構造部分に対して配される。目や鼻、口元などといった顔の特徴を強く示す部分ほど特徴点は密に配置される。非特許文献1に示される手法では、レンジファインダにより顔の3次元形状を示す生の点群と、2次元の顔画像とを取得し、2次元のテクスチャ画像上で特徴点の中でも重要度の高い代表点(例えば目頭や目尻など)をオペレータに指定させ、代表点以外の特徴点をそれら代表点同士の補間により推定している。このように求められた特徴点の3次元座標の組が、顔形状の3次元モデルとなる。このモデルを非特許文献2ではパッチモデルと呼んでいる。
特許文献2の手法では、レンジファインダにより得られた生の3次元形状データからパッチモデルを作成するのに、オペレータが代表点の位置を指定する必要があり、自動処理ができなかった。
長谷川一英、服部数幸、佐藤幸男,"顔の3次元形状とテクスチャ計測システム",映像情報メディア学会誌,Vol.53, No. 3, pp. 423-428, 1999
中村公謙、子安武彦、市川知弥、天野敏之、佐藤幸男,"NCFを用いた標準顔パッチモデルの顔形状データへの当てはめ",「画像の認識・理解シンポジウム(MIRU 2002)」,2002年7月
本発明は、多数の点からなる3次元形状データをもとに、顔形状の特徴点からなるモデルを自動生成するための技術を提供する。
本発明は、モデル化対象の顔を示す第1の距離画像と標準顔モデルを示す第2の距離画像との間で2次元DPマッチングを実行することで、第1の距離画像と第2の距離画像との間での画素の対応関係を求める2次元DPマッチング部と、標準顔モデルの各特徴点に対応する第2の距離画像の画素に対応する第1の距離画像上の対応画素を前記対応関係から求め、標準顔モデルの各特徴点が第1の距離画像上の対応画素が示す2次元位置とその対応画素の画素値が示す距離との組合せからなる3次元座標に移動するよう標準顔モデルを変形することにより、モデル化対象の顔の顔モデルを生成する顔モデル変形部と、を備える顔モデル作成システムを提供する。
本発明の1つの態様では、顔モデル作成システムは、モデル化対象の顔の距離画像の姿勢及び向きを、標準顔モデルの姿勢及び向きに合わせる正準化処理部を更に備え、前記2次元DPマッチングは、正準化処理部の処理結果の距離画像を前記第1の距離画像として処理を行う。
本発明の別の態様では、前記2次元DPマッチング部は、距離画像の行方向についての1次元DPマッチングの結果に基づき、前記第1の距離画像と前記第2の距離画像との間での画素列同士の対応関係を求め、距離画像の列方向についての1次元DPマッチングの結果に基づき、前記第1の距離画像と前記第2の距離画像との間での画素行同士の対応関係を求める。
本発明の別の態様では、前記2次元DPマッチング部は、距離画像の行方向についての1次元DPマッチングにおいて、前記第1の距離画像の画素列と前記第2の距離画像の画素列との間でのそれら画素列における画素値の並びの類似度を求め、その類似度が全体として最良となる前記第1の距離画像の画素列と前記第2の距離画像の画素列の対応関係を1次元DPマッチングにより求め、距離画像の列方向についての1次元DPマッチングにおいて、前記第1の距離画像の画素行と前記第2の距離画像の画素行との間でのそれら画素行における画素値の並びの類似度を求め、その類似度が全体として最良となる前記第1の距離画像の画素行と前記第2の距離画像の画素行の対応関係を1次元DPマッチングにより求める。
本発明の別の態様では、前記2次元DPマッチング部は、前記2次元DPマッチングにおいて、前記第1の距離画像と前記第2の距離画像の画素同士の差に対し、前記第1の距離画像に対応する前記モデル化対象の顔の第1のテクスチャ画像と、前記第2の距離画像に対応する標準顔の第2のテクスチャ画像と、の間の画素同士の差を加味したコスト計算を行う。
本発明の別の態様では、前記2次元DPマッチング部は、前記コスト計算において、前記第1のテクスチャ画像と前記第2のテクスチャ画像との間の画素同士の差を加味するときの重みとして、顔の部位ごとに設定された重みを用いる。
以下、図面を参照して、本発明の実施の形態(以下「実施形態」と呼ぶ)について説明する。
図1を参照して、本発明の実施形態のシステム構成を説明する。図1に示すように、このシステムは、レンジファインダ100と顔モデル作成装置110とを備える。
レンジファインダ100は、ステレオ法等により三次元距離計測を行う装置である。レンジファインダ100は、例えばレーザビームのスリットやスポットで対象物表面を走査し、それらスリット又はスポットを異なる位置に配置された2つのカメラで同時に撮影し、各カメラの配置位置と各カメラの撮影した画像内でのスリット又はスポットの位置との関係に基づき、三角測量の原理によりそれらスリット上の各点、或いはスポットの3次元位置を求める。対象物表面上の各点の3次元位置は、距離画像の形で表現される。距離画像では、マトリクス状に配列された各画素の画素位置がその画素に対応する対象物表面上の点の2次元座標(X,Y座標)に対応し、各画素の画素値がその画素に対応する対象物表面上の点の基準点又は基準面からの距離(Z座標)に対応する。XYZはこのシステムの世界座標系である。このようなレンジファインダは周知であるので、これ以上の説明は省略する。
また、よく知られるように、レンジファインダの中には、三次元形状計測の際のレーザ光の反射光から、対象物の可視画像(輝度画像又はRGB等のカラー画像)を生成できるものもある。このように生成される可視画像の画素は、三次元計測の結果である距離画像の画素と対応づけることができる。本実施形態のレンジファインダ100も、このように距離画像とそれに対応する可視画像を出力するようなものであってよい。この可視画像は、後述する顔の3次元形状モデルである顔パッチモデルのテクスチャ情報として用いることができる。
本実施形態では、モデル化対象の顔(以下「対象顔」と呼ぶ)をこのレンジファインダ100で計測し、その顔の距離画像を求める。レンジファインダ100が求めた距離画像のデータは、顔モデル作成装置110に入力される。
顔モデル作成装置110は、入力された距離画像から、対象顔のモデルを生成する。本実施形態では、顔を顔パッチモデルと呼ぶモデルで表現する。顔パッチモデルは、顔の表面形状を、その形状の構造上の特徴点の組合せで表現したモデルである。特徴点は、例えば目頭や目尻を含む目の輪郭、唇の輪郭、鼻の稜線、眉の生える額の稜線など、顔の構造上の特徴部位の3次元位置を示す頂点である。顔パッチモデルは、例えば、図2に示すように隣接する特徴点同士を線分で結んでできる三角形のパッチ群から構成されるワイヤーフレームモデルである。各特徴点は、その点の3次元位置座標、その点の法線情報を有する。また、顔パッチモデルにテクスチャも組み込む場合は、特徴点に、テクスチャ画像におけるその点の画素値(例えば輝度値又はRGB値)を持たせればよい。顔パッチモデルを構成する特徴点の数は予め取り決めておく。発明者らは、例えば顔形状に対して465点の特徴点を設定した。各特徴点には、目頭や目尻、唇の右端などのように、顔の表面形状構造上での「意味」が割り当てられている。このように各特徴点には意味があるので、各特徴点に通し番号を割り当てることができる。この番号の順に各特徴点の3次元座標を並べることで、顔パッチモデルの3次元形状Fを次式のように多次元ベクトルで表現することができる(この例は465点の特徴点×3次元のベクトル)。
このように顔形状を多次元のベクトルで表現すれば、単純なベクトルの平均で標準顔を作ることができるなど、非常に加工や解析が容易に行えるという利点がある。
対象顔の距離画像からこのような顔パッチモデルを作成するために、顔モデル作成装置110は、予め用意した標準顔パッチモデル(標準顔パッチモデル126)を、対象顔に合わせて変形するというアプローチをとる。このような処理のための機能モジュールとして、顔モデル作成装置110は、正準化処理部112、2次元DPマッチング部114、モデル変形部116及び記憶装置120を備える。
正準化処理部112は、レンジファインダ100から受け取った距離画像における対象顔の位置と向き(姿勢)と大きさを正準化(正規化)する。
対象顔の距離画像は、レンジファインダ100に対する対象顔の向きや距離によって、その向きや大きさが変化してくる。レンジファインダ100による形状計測では、対象顔を正面かつ所定の距離から撮影するようにはするが、被写体が人間である以上、顔を固定する機構などを設けない限りは、揺動や多少の位置の変化は避けられず、厳密に正面方向から正しい距離で形状計測することは困難である。したがって、顔を固定する機構などを設けないシステムでは、同じ対象顔でも、形状計測の都度その距離画像の向きや大きさが変化してくる。このような変化は、作成されるパッチモデルの精度に悪影響を与えるので、本実施形態では正準化処理部112により対象顔の距離画像の向きや大きさを正準化するのである。
標準顔パッチモデル126は、レンジファインダ100に対して所定の距離にある所定の向きの顔を想定して作成されたものである。標準顔パッチモデル126は、十分な数の人の顔から作成した顔パッチモデルの平均(例えば、特徴点ごとにその座標をそれらサンプル間で平均したもの)である。
正準化処理部112が行う正準化は、対象顔の距離画像を、レンジファインダ100から見て対象顔がその距離の位置でその向きを向いた状態を示すものとなるように変換する処理である。以下、正準化処理の詳細を説明する。
人間の顔は完全な左右対称ではないが、ある程度の対称性が仮定できる。そこで顔を最も左右対称に分割する平面を正中面と定義し、正中面による姿勢補正を行う。
三次元空間中の平面は次式(1)のように、
と与えられるので、非線形最小二乗法の一つである滑降シンプレックス法を使用し、誤差評価関数E1 を最小化する方向へ平面の係数(a,b,c,d)を変動させることで、正中面として最適な平面を推定する。計測で得られた顔の三次元情報である点群Pと、その点群Pを平面基準(すなわち評価対象である正中面の候補)について鏡映して得られる点群
との間で、互いに対応する点同士の間のユークリッド距離を求め、点群全体でのその距離の平均を評価関数E1 とする。すなわち、評価関数E1 は、
となる。式中のNp は点群Pの総点数、pi は点群P中の点、qiは点群
中でのpi の対応点を示している。算出された正中面を、顔パッチモデルを表現する世界座標の原点を含むYZ平面に合わせることで、正中面による姿勢補正を図る。図3に、システムの世界座標系XYZと顔の距離画像300の関係を図示する。
との間で、互いに対応する点同士の間のユークリッド距離を求め、点群全体でのその距離の平均を評価関数E1 とする。すなわち、評価関数E1 は、
中でのpi の対応点を示している。算出された正中面を、顔パッチモデルを表現する世界座標の原点を含むYZ平面に合わせることで、正中面による姿勢補正を図る。図3に、システムの世界座標系XYZと顔の距離画像300の関係を図示する。
ここで、顔の撮影はレンジファインダ100にほぼ正対した状態で行われているので、このことを前提条件として利用する。顔がほぼ正面を向いているため、算出される正中面はXY平面やXZ平面になることは無く、YZ平面(x=0)に近い形で求められる。そこで、(1)式におけるxの係数aを定数とし、変動させるパラメータから除外する。変動するパラメータを減らすことで、正中面算出の計算コストが削減でき、また解を安定化させることができる。
また、点群Pと点群
には、点の粗密・ばらつきが生じているため、点群間での対応が取りにくい。そこで、予め点群Pを世界座標のx,y値についてリサンプリングした点群PR を作成しておき、点群Pと点群
の対応を、点群
と点群PR で代行することで計算コストの削減を図る。カメラ(レンジファインダ100)にほぼ正対して撮影が行われたことより、x,y値についてリサンプリングして得られる点群PR 点群Pを十分に代表できる点群と考えられる。また点群
と点群PR の対応は、図4のように線形補間を利用して、世界座標のx,y 値が同じになる点同士で取る。そのため、誤差評価関数E1'は次の(3)式のように改められる。
には、点の粗密・ばらつきが生じているため、点群間での対応が取りにくい。そこで、予め点群Pを世界座標のx,y値についてリサンプリングした点群PR を作成しておき、点群Pと点群
の対応を、点群
と点群PR で代行することで計算コストの削減を図る。カメラ(レンジファインダ100)にほぼ正対して撮影が行われたことより、x,y値についてリサンプリングして得られる点群PR 点群Pを十分に代表できる点群と考えられる。また点群
と点群PR の対応は、図4のように線形補間を利用して、世界座標のx,y 値が同じになる点同士で取る。そのため、誤差評価関数E1'は次の(3)式のように改められる。
ここで、式中のNq は点群
の総点数、qj は点群
中の点、rj は点群PR を線形補間して得たqj の対応点を示す。
の総点数、qj は点群
中の点、rj は点群PR を線形補間して得たqj の対応点を示す。
(1)式のaを定数とし、b,c,dを様々に変えながら、点群Pの鏡像である点群
を求め、誤差評価関数E1'の値を計算する。滑降シンプレックス法を用いてその誤差評価関数E1'の値が最小となる時のa,b,c,dを求める。これらa,b,c,dを(1)式に代入して得られる式が、対象顔の正中面を表す。この正中面が世界座標系のYZ面に一致するように対象顔の距離画像の座標系を回転及び平行移動させることで、対象顔の距離画像の姿勢が補正できる。
を求め、誤差評価関数E1'の値を計算する。滑降シンプレックス法を用いてその誤差評価関数E1'の値が最小となる時のa,b,c,dを求める。これらa,b,c,dを(1)式に代入して得られる式が、対象顔の正中面を表す。この正中面が世界座標系のYZ面に一致するように対象顔の距離画像の座標系を回転及び平行移動させることで、対象顔の距離画像の姿勢が補正できる。
次に、正中面による姿勢補正が完了したデータに対し、平均鼻断面を用いることで更に姿勢と位置の補正を行う。平均鼻断面は、十分な数の人の正中面断面データより鼻領域のみを取りだし、それら鼻断面の平均をとることで作成できる。
鼻は表情が変化しても形状の変化が少なく、顔のほぼ中央に位置しているため計測で情報を取得しやすいという長所がある。また鼻自体の形状は個人差が大きいが、断面の形状に関してはそれほど差異がないという特徴もある。そのため、対象顔の正中面による断面データを、平均鼻断面に最も合うように位置合わせすることで、正中面だけでは補正できなかったX軸回りの回転とY,Z方向に関する並進の補正が可能となる。
位置合わせには正中面算出時でも用いた滑降シンプレックス法を使用する。具体的には、平均鼻断面の点群Sと、対象顔の距離画像の正中面断面の点群Tとの間の対応する点同士の平均ユークリッド距離を誤差評価関数E2 として、E2 が最小となるまで顔(すなわち正中面による姿勢補正後の距離画像)全体の並進・回転を繰り返す。点群Sと点群Tとの間の対応点の取り方は、例えばユークリッド距離が最も近い点同士を対応点とするやり方でよい。誤差評価関数E2 を次式に示す。
ここで式中のNs は点群Sの総点数、si は点群S中の点、ti は点群T中における点si の対応点を示す。
次に、図5に示すように、平均鼻断面を用いた姿勢及び位置補正が完了した対象顔の点群500に対し、新たに画像平面502(世界座標系のXY平面に平行な面)を設け、その点群500を画像平面502に正射影することで、画像中の顔のサイズ・位置を補正した正準化距離画像504を得る。正射影は、線形補間と世界座標のx,y値についてのリサンプリング処理を用いて行われる。すなわち、この正射影処理では、その点群502の中からX,Yの各軸方向についてそれぞれ所定間隔ごとに点をリサンプリングする。このとき、その位置に点がない場合は、周囲の点から補間する。そしてこのリサンプリングした点群を画像平面502に平行投影する。こうすることで、距離画像の画像座標(u,v)と世界座標(x,y,z)が対応付けられた距離画像を取得できる。例えばVGA規格の画像を用いる場合、顔は縦長であるため、正準化距離画像の画像サイズは横480×縦640ピクセルとする。
以上、対象顔の距離画像の正準化について説明した。なお、図6に示すように、対象顔の距離画像602の各画素とテクスチャ(距離画像と同時に取得した可視画像)604の各画素は1対1で対応しているため、距離画像の正準化結果を参照することでテクスチャに関しても正準化ができる。この正準化においてテクスチャを正射影する際に、距離画像が行った線形補間の面積比をテクスチャにも適応することで、正準化されたテクスチャ(正準化テクスチャと呼ぶ)を生成する。正準化テクスチャの画像サイズも480×640 ピクセルであり、図6に示すように正準化距離画像606と正準化テクスチャ608の各画素も1対1で対応している。
以上、正準化処理部112について説明した。レンジファインダ100に対する対象顔の向きや位置を正しい状態とする機構を設ければ、以上のような正準化処理部112は必ずしも必要ない。
正準化処理部112が作成した正準化距離画像606は(正準化テクスチャ608も作成した場合はそれも)、2次元DPマッチング部114に渡される。
2次元DPマッチング部114は、その正準化距離画像と、標準顔パッチモデルの距離画像との間で2次元DPマッチングを行うことで、両距離画像の間での画素間の対応関係を求める。
標準顔パッチモデルの距離画像は、標準顔パッチモデル126から作成しておく。基本的な作成方法は、姿勢及び位置補正が完了した対象顔の点群500から正準化距離画像を作成する方法と同様であり、標準顔パッチモデル126の示す3次元表面形状の各点のZ座標を、それら各点を世界座標系のXY平面に平行投影した位置の画素の画素値(距離値)とすればよい。標準顔パッチモデル126は正準化された多数の顔パッチモデルからの平均として求められたものなので、既に正準化済みである。
ここで、標準顔パッチモデルの場合3次元の点の数が465点しかないため、リサンプリングをする際に距離画像の各画素に対応するモデルの3次元頂点が存在しない場合がほとんどである。そのため、距離画像の各画素に対応するモデルの3次元位置を推定する必要がある。
この推定では、まず、標準顔パッチモデルを構成する各パッチについて、そのパッチを構成する3つの特徴点からパッチの面を求める。パッチは微小であり平面とみなすことができるため、図7に示すように、距離画像の画素に対応するパッチ内の点v4 の3次元座標(x4,y4,z4 )のうちのz座標は、次式に示すように、パッチを構成する3頂点v1〜v3からの距離の比から求めることができる。なお点v4 のx,y座標は距離画像の画素の位置に対応しており、容易に求められる。
このようにして距離画像の各画素に対応するz座標を求めることで、標準顔パッチモデル126の距離画像(図1の標準顔パッチモデル距離画像122)が求められる。このようにして作成した標準顔パッチモデル126の距離画像122は、顔モデル作成装置110の記憶装置120内に保存されており、必要に応じ、2次元DPマッチング部114から参照される。また、記憶装置120には、この他に標準顔パッチモデル126も保存されている。また、標準顔パッチモデル126を構成する各特徴点がその距離画像122のどの画素に対応するかは、その作成の際に分かるので、その対応関係を示す特徴点対応付け情報124を作成しておき、記憶装置120に保存しておく。
次に、2次元DPマッチング部114による、このような標準顔パッチモデル距離画像122と、正準化処理部112が出力した正準化距離画像との画素同士の対応付け処理について説明する。
DP(動的計画法)マッチングは単語認識の分野において、話者による発音のくせの違いから生じる時間軸上の非線形の伸縮を吸収する手法として提案された。DPマッチングは時間軸という1次元の軸上でのマッチング処理であり、これを2次元に拡張したのが2次元DPマッチングである。2次元DPマッチングは、従来公知の技術であり、画像同士のマッチングなどに利用されている。
2次元DPマッチング部114は、基本的には、このような従来公知の2次元DPマッチング処理を行うものでよい。ただし、通常の2次元DPマッチングでは、計算量が画素数の指数乗のオーダーとなるので、画素数が多いと計算コストが非常に大きくなってしまう。
そこで、本実施形態では、距離画像の水平方向と垂直方向のそれぞれについて独立に1次元DPマッチングを行い、その結果を組み合わせることで、2次元DPマッチングを近似する。この処理の基礎情報として、1次元DPマッチング処理について説明する。
2つの時系列(特徴ベクトルの系列)A,Bを、
A=a1,a2,・・・,aI
B=b1,b2,・・・,bJ
とし、AとBの対応を考える。一般にAとBは時間軸が異なっているため、同じインデックス番号同士が対応しているとは限らない。
A=a1,a2,・・・,aI
B=b1,b2,・・・,bJ
とし、AとBの対応を考える。一般にAとBは時間軸が異なっているため、同じインデックス番号同士が対応しているとは限らない。
そこで図8に示すようなA,Bからなる平面を考える。この図において、コスト関数(warping function)、すなわちA,B両パターンの対応付けは、この平面上の格子点f = (i,j) の系列
F=f1,f2,・・・,fk
fk =(ik,jk)
で表現することができる。2つの特徴ベクトルaiとbjの距離を
d(f) = d(i,j)
で表すと、Fに沿った距離の総和は、
で表すことができ、この値が小さいほどAとBの対応付けがよいことを示す。
F=f1,f2,・・・,fk
fk =(ik,jk)
で表現することができる。2つの特徴ベクトルaiとbjの距離を
d(f) = d(i,j)
で表すと、Fに沿った距離の総和は、
ここで、(5)式を次のような制約条件のもとで、Fに関して最小化することを考える。
1. 単調連続性条件
2. 境界条件
3. 整合窓の条件
1. 単調連続性条件
このとき、最小化する目的関数D(F)は加法的になるので、この最小化は、Fのすべての可能性について総当り的に調べることなく、効率的に解くことができる。
部分点列f1,f2,・・・,fk(fk = (i,j)) に対する部分和g(fk) を上で述べた制約条件を用いて考えると、
となる。したがって、g(1,1)=d(1,1),j=1として、整合窓の範囲内でiを変えながら(6)式を計算し、次にjを増加させて、j=Jとなるまで同様の計算を繰り返せば、最後にg(I,J)としてA,B2つの時系列間の時間正規化後の距離が求まる。この距離が最小となる時のiとjの対応付けが、最終的なマッチング結果となる。
次に、2次元DPマッチングを水平方向及び垂直方向についての独立な1次元DPマッチングで近似する本実施形態の計算方式について説明する。
まず、画像サイズM×Nの2枚の距離画像に対して水平方向に1次元DPマッチング処理を行うことにより、水平方向の変形を吸収する。まず図9に示すように、両距離画像A,B(例えば画像Aが対象顔の正準化距離画像、画像Bが標準顔パッチモデル距離画像122)をそれぞれ垂直方向にスライスしていくことで列ごとの断面形状、
を抽出する。図9では、上段に距離画像A及びBが示され、各列のスライスの線が示される。下段には、あるスライス線における断面形状が示される。
ここでzAij,zBij は、距離画像A、Bにおけるj行i列目の画素の画素値すなわちz値である。iAi、iBiは、それぞれ距離画像A,Bのi列目の各画素のz値を順に並べたベクトルであり、i列目における断面形状を示す。なお、ここでは水平方向が行方向、垂直方向が列方向としている。IA、IBは、各列の断面形状ベクトルを順に並べた配列である。
このような断面形状の列について、1次元DPマッチングを行う。この計算では、断面形状iAiとiBiとの間の距離s(iAi,iBi) を、マッチングにおけるコストとする。この場合、(6)式を次の(7)〜(9)式のように変えればよい。
ここで断面形状の類似度(距離)s(iAi,iBi)は、距離画像の画素値すなわちz値の差の絶対値をコストとした1次元DPを用いて計算する。計算式を以下に示す。
この1次元DPでは、制約条件として上述の単調連続性条件、境界条件、及び整合窓の条件を用いる。発明者の実験によれば、整合窓サイズrは15が好適である。
以上の計算でコスト最小となる時のiAiとiBiの対応関係が、距離画像AとBとをマッチさせる時の水平(X軸)方向の画素番号(インデックス)の対応関係となる。この対応関係により、距離画像AとBの間の水平方向の伸縮が吸収できる。
以上、水平方向についての1次元DPマッチング処理について説明した。2次元DPマッチング部114は、この処理と並行して、垂直方向についての1次元DPマッチングも行う。垂直方向についての処理では、距離画像A,Bを水平方向にスライスして断面パターンを得る。これ以外は、水平方向の場合と同様でよい。この処理により、距離画像AとBとをマッチさせる時の水平(X軸)方向の画素番号(インデックス)の対応関係が求められる。この対応関係により距離画像間の垂直方向の伸縮が吸収できる。
以上のようにして、距離画像A(正準化距離画像)と距離画像B(標準顔パッチモデル距離画像122)との間で、画素インデックスの行成分と列成分の対応関係が得られる。この対応関係を図式化して示すと、図10に示すようなものとなる。すなわち、水平方向のマッチングで距離画像Aの列番号iAと距離画像Bの列番号iBとが対応することが分かり、垂直方向のマッチングで距離画像Aの行番号jAと距離画像Bの列番号jBとが対応することが分かったとすると、距離画像A上の画素p(iA,jA)が距離画像B上の画素q(iB,jB)に対応することになる。同様にして、距離画像Aの全ての画素について、距離画像Bにおけるその対応画素が分かる。
マッチング対象となる対象顔の距離画像も標準顔パッチモデル距離画像122も、共に正準化されているので、このように水平、垂直方向に独立にDPマッチングを行う方式でも、両距離画像間の画素同士の対応付けを、高い精度で行うことができる。
2次元DPマッチング部114は、このような対応関係の情報をモデル変形部116に渡す。
モデル変形部116は、この対応関係に従い、標準顔パッチモデル126を変形することで、対象顔のパッチモデル130を作成する。
すなわち、その対応関係によれば、標準顔パッチモデル距離画像122の各画素が対象顔の正準化距離画像のどの画素に対応するかが分かる。また、標準顔パッチモデル126の各特徴点が、標準顔パッチモデル距離画像122のどの画素に対応しているかは、特徴点対応付け情報124から分かる。これらの情報を合わせれば、標準顔パッチモデル126の各特徴点が、正準化距離画像のどの画素に対応しているかが分かる。ここで、正準化距離画像の画素の画素位置(x,y)と画素値(z)から、その画素が示す3次元位置が分かる。モデル変形部116は、各特徴点が、正準化距離画像における各対応画素の示す3次元位置に移動するように、標準顔パッチモデル126を変形する。これにより対象顔のパッチモデル130ができる。
図11に、このように生成した対象顔の顔パッチモデルの例を示す。上段は正面から見たモデルを、下段は斜め前方から見た場合のモデルを示す。また、左の列は顔パッチモデルのワイヤーフレーム表示を、中央の列はそのワイヤーフレームに対して表面生成を行って作成したサーフェイス表示を、右の列はそのサーフェイスにテクスチャ画像を貼り込んだテクスチャマッピング結果を、それぞれ示す。
以上に説明した実施形態のシステムによれば、2次元DPマッチングを用いることで、対象顔を計測して得た距離画像と標準顔パッチモデル距離画像122との間の画素の対応付けを自動処理で行うことができるので、対象顔のパッチモデルを自動生成することができる。また、本実施形態では、対象顔の距離画像を正準化する正準化処理部112を設けたので、対象顔の向きや位置が正しい状態からずれていても、それを標準顔パッチモデル距離画像122に合わせることができる。その結果、2次元DPマッチングを2つの異なる方向(例えば水平方向と垂直方向)についての1次元DPマッチングの組合せで近似することができ、通常の2次元DPマッチングを行う場合よりも計算コストを大幅に低減することができる。逆に言えば、通常の2次元DPマッチングを行う場合には、正準化処理部は必ずしも必要ない。
次に、顔のテクスチャ情報を利用して、より精度の高い顔パッチモデルを生成する変形例を説明する。
上記実施形態では、標準顔の特徴点に対応する対象顔上の点を距離画像の情報のみから求めた。この方法は3次元形状の類似性から特徴点の対応点を求めるものである。ところが、顔の特徴点は、必ずしも3次元形状として特徴的な部分に位置するとは限らない。例えば、鼻の稜線は3次元形状として非常に特徴的なので、その稜線上の特徴点については、距離画像の情報だけでも、対象顔上の対応点を高精度で見出すことができる。ところが、例えば目は、個人により大きな差があるのにもかかわらずその差が3次元形状にはあまり顕著に現れないため、距離画像の情報だけから対応点を求めたのでは、高い精度が得られない場合がある。そこで、この変形例では、距離画像に加え、レンジファインダ100でその距離画像と同時に得られるテクスチャ情報を利用することで、特徴点の対応点を精度よく求められるようにする。以下、この変形例の処理について詳しく説明する。
この変形例のシステム構成は、図1に示すものと同様でよい。ただし、2次元DPマッチング部114が実行する計算処理が、上記実施形態とは異なる。すなわちこの変形例では、上記実施形態における(10)〜(12)式の代わりに、次の(13)〜(15)式で表される計算を行う。
この例では、テクスチャ画像はグレースケール画像である。lAij,lBijは、それぞれ、対象顔のテクスチャ画像A(正準化済み)、標準顔のテクスチャ画像Bのj行i列目の画素の輝度値である。ここで、標準顔のテクスチャ画像は、標準顔パッチモデルを作成する際に用いた多数のサンプル顔のテクスチャ画像の平均から求めればよい。この式において、距離画像の画素値は距離(z値)であり、テクスチャ画像の画素値は輝度なので、両者の値をそのまま足し引きするのは適切ではない。そこで重み係数αを用いて3次元形状とテクスチャの関係を制御する。最適なαの値は、実験等により求めることができる。発明者の実験では距離(Z値)の単位をmm、輝度の階調を256としたが、α = 0.22 のときに、もっとも精度のよいモデルが生成できた。
スライス(断面)内の点の対応付けを上記(13)〜(15)式の1次元DPマッチングにより求め、更にそれらスライスの列についての対応付けを(7)〜(9)式の1次元DPマッチングにより行うことで、対象顔と標準顔との間での画素同士の対応関係がより高精度に求められる。そして、この対応関係の情報を用いて標準顔パッチモデルを変形することで、対象顔のパッチモデルを求めることができる。
このような計算によれば、テクスチャの近さがDPマッチングのコスト計算に反映されるので、3次元形状だけでは高精度の対応付けが困難な特徴点について、より精度のよい対応付けが可能となる。
以上の変形例では、テクスチャの重みαを画像全域で同一としていた。しかしながら、例えば眉はテクスチャ的には特徴的な部分ではあるが、化粧で眉を描くことで容易に変更できる部分でもある。このほかにも、ひげのように、テクスチャ的には特徴を持つにもかかわらず、変更が容易な部分がある。これに対し、目や唇などは、そのような変化は少ない。マッチングにテクスチャ情報を反映させる場合、容易に変化し得る部分の影響が大きいと、同じ人の顔からパッチモデルを作成しても、その部分の違いにより生成されるパッチモデルの差が大きくなってしまう。
そこで、このような問題を解消又は軽減するための第2変形例として、顔の部分部分で重みαを可変とする例を以下に説明する。
この第2変形例では、例えば眉の隆線近傍や、ひげの生える鼻の下やあごなどのように同一人内での変化が大きい部分は、相対的にαの値を小さくする。逆に目や唇のように同一人内での変化の小さい部分は、相対的にαの値を大きくする。このような顔の各部位のα値の情報を作成し、顔モデル作成装置110に持たせておく。ここで標準顔パッチモデルは、各頂点(特徴点)がそれぞれ顔のどの部位に該当するかという情報(特徴点の意味)を保持しているので、この特徴点の情報を元に、標準顔パッチモデル距離画像122の各画像座標(各画素)がそれぞれどの部位に該当するかを決めることができる。このようにして距離画像122の各画像座標がどの部位に属するかを決めれば、それに応じてそれら各画像座標にその部位に応じた適切なα値を割り当てればよい。例えば、描き眉が存在しうる範囲の各画像座標には、目が存在しうる範囲の画像座標よりも小さいα値を割り当てる。部位ごとの適切なα値は、実験により求めればよい。目や口など形状よりもテクスチャに特徴がより強く表れる部位にはαの値を大きくし、眉の部分を含む額や鼻などテクスチャよりも形状に特徴が表れる部位にはαの値を小さくするなど、動的にα値を設定することが可能となる。
この第2変形例では(13)〜(15)式の代わりに、次式を用いる。
ここでu,vは、標準顔パッチモデル122の距離画像における画像座標であり、α(u,v)はその画像座標におけるα値である。この計算式において用いる重みα(u,v)としては、その式に代入する標準顔パッチモデル距離画像の画素の画像座標に対応する値を採用すればよい。
このような計算によれば、顔の部位の特性に応じ、より適切なマッチングを行うことができ、対象顔と標準顔との対応付けの精度向上ができ、より高精度の顔パッチモデルの作成が見込める。
以上に説明した変形例及び第2変形例では、顔のテクスチャ情報としてグレースケール画像を用いたが、この代わりにRGBなどのカラー画像を用いてももちろんよい。この場合、コスト評価式に現れるテクスチャの差としては、対象顔と標準顔の間の画素値同士(RGB値)の距離を用いればよい。
また、以上の変形例及び第2変形例では、テクスチャ画像のグレースケール値やカラー値などの画素値をそのままマッチング時の評価に用いたが、その代わりに、そのような画素値の微分を画素ごとに求め、画素値の代わりに微分値を用いて同様の評価を行ってもよい。微分値は、テクスチャ画像に微分フィルタを適用することで求めることができる。例えば、日焼けや化粧により顔の肌の色が変わると、生のテクスチャ画像ではその色の差が評価にそのまま反映されてしまう。ところが、日焼けや化粧により肌の色が全体的に変わったとしても、場所ごとの色の変化を示す微分値はそれほど顕著に変わらないと考えられるので、微分値を用いることでそのような色の変化がある場合にマッチングの精度を向上させることができる。
また、テクスチャ画像の画素値とその微分値の両方をマッチングの評価に反映させてもよい。
以上に説明した顔モデル作成装置110は、例えば、汎用のコンピュータにて上述の各部の昨日又は処理内容を記述したプログラムを実行することにより実現される。コンピュータは、ハードウエアとして、例えばCPU(中央演算装置)、一次記憶、各種I/O(入出力)インタフェースなどがバスを介して相互に接続された構成を有する。そのバスに対し、I/Oインタフェースを介して、ハードディスク装置などの固定二次記憶や、CD又はDVD、フラッシュメモリなどの可搬型の不揮発性記録媒体を取り扱うドライブが接続される。上述の顔モデル作成装置の各部の処理内容が記述されたプログラムが、可搬型の記録媒体又はネットワークを経由して固定二次記憶に保存され、コンピュータにインストールされる。そして、インストールされたプログラムが一次記憶に読み出され、CPUで実行されることにより、上述の顔モデル作成装置110が実現される。
なお、このように顔モデル作成装置110の全てをソフトウエアで実現する代わりに、正準化処理部112、2次元DPマッチング部114、モデル変形部116のうちのいずれか1つ又は複数を、ASIC(Application Specific Integrated Circuit)等のハードウエア回路や、デジタル・シグナル・プロセッサなどを用いて構成することも可能である。
以上に説明した実施形態及び各変形例のシステムで作成された顔パッチモデルは、例えば、顔認証システムにおいて顔を表現するモデルとして利用できる。また、この他にも、美容整形などのシミュレーション、仮想空間内におけるアバター、表情解析など、幅広い分野での応用が期待できる。
100 レンジファインダ、110 顔モデル作成装置、112 正準化処理部、114 2次元DPマッチング部、116 モデル変形部、120 記憶装置、122 標準顔パッチモデル距離画像、124 特徴点対応付け情報、126 標準顔パッチモデル、130 対象顔のパッチモデル。
Claims (7)
- モデル化対象の顔を示す第1の距離画像と標準顔モデルを示す第2の距離画像との間で2次元DPマッチングを実行することで、第1の距離画像と第2の距離画像との間での画素の対応関係を求める2次元DPマッチング部と、
標準顔モデルの各特徴点に対応する第2の距離画像の画素に対応する第1の距離画像上の対応画素を前記対応関係から求め、標準顔モデルの各特徴点が第1の距離画像上の対応画素が示す2次元位置とその対応画素の画素値が示す距離との組合せからなる3次元座標に移動するよう標準顔モデルを変形することにより、モデル化対象の顔の顔モデルを生成する顔モデル変形部と、
を備える顔モデル作成システム。 - 請求項1記載の顔モデル作成システムであって、
モデル化対象の顔の距離画像の姿勢及び向きを、標準顔モデルの姿勢及び向きに合わせる正準化処理部を更に備え、
前記2次元DPマッチングは、正準化処理部の処理結果の距離画像を前記第1の距離画像として処理を行う、
ことを特徴とする顔モデル作成システム。 - 請求項1記載の顔モデル作成システムであって、
前記2次元DPマッチング部は、距離画像の行方向についての1次元DPマッチングの結果に基づき、前記第1の距離画像と前記第2の距離画像との間での画素列同士の対応関係を求め、距離画像の列方向についての1次元DPマッチングの結果に基づき、前記第1の距離画像と前記第2の距離画像との間での画素行同士の対応関係を求める、
ことを特徴とする顔モデル作成システム。 - 請求項3記載の顔モデル作成システムであって、
前記2次元DPマッチング部は、距離画像の行方向についての1次元DPマッチングにおいて、前記第1の距離画像の画素列と前記第2の距離画像の画素列との間でのそれら画素列における画素値の並びの類似度を求め、その類似度が全体として最良となる前記第1の距離画像の画素列と前記第2の距離画像の画素列の対応関係を1次元DPマッチングにより求め、距離画像の列方向についての1次元DPマッチングにおいて、前記第1の距離画像の画素行と前記第2の距離画像の画素行との間でのそれら画素行における画素値の並びの類似度を求め、その類似度が全体として最良となる前記第1の距離画像の画素行と前記第2の距離画像の画素行の対応関係を1次元DPマッチングにより求める、
ことを特徴とする顔モデル作成システム。 - 請求項1記載の顔モデル作成システムであって、
前記2次元DPマッチング部は、前記2次元DPマッチングにおいて、前記第1の距離画像と前記第2の距離画像の画素同士の差に対し、前記第1の距離画像に対応する前記モデル化対象の顔の第1のテクスチャ画像と、前記第2の距離画像に対応する標準顔の第2のテクスチャ画像と、の間の画素同士の差を加味したコスト計算を行う、
ことを特徴とする顔モデル作成システム。 - 請求項5記載の顔モデル作成システムであって、
前記2次元DPマッチング部は、前記コスト計算において、前記第1のテクスチャ画像と前記第2のテクスチャ画像との間の画素同士の差を加味するときの重みとして、顔の部位ごとに設定された重みを用いる、
ことを特徴とする顔モデル作成システム。 - コンピュータを、
モデル化対象の顔を示す第1の距離画像と標準顔モデルを示す第2の距離画像との間で2次元DPマッチングを実行することで、第1の距離画像と第2の距離画像との間での画素の対応関係を求める2次元DPマッチング部、
標準顔モデルの各特徴点に対応する第2の距離画像の画素に対応する第1の距離画像上の対応画素を前記対応関係から求め、標準顔モデルの各特徴点が第1の距離画像上の対応画素が示す2次元位置とその対応画素の画素値が示す距離との組合せからなる3次元座標に移動するよう標準顔モデルを変形することにより、モデル化対象の顔の顔モデルを生成する顔モデル変形部、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006081156A JP2007257324A (ja) | 2006-03-23 | 2006-03-23 | 顔モデル作成システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006081156A JP2007257324A (ja) | 2006-03-23 | 2006-03-23 | 顔モデル作成システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007257324A true JP2007257324A (ja) | 2007-10-04 |
Family
ID=38631502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006081156A Pending JP2007257324A (ja) | 2006-03-23 | 2006-03-23 | 顔モデル作成システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007257324A (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012181142A (ja) * | 2011-03-02 | 2012-09-20 | National Institute Of Advanced Industrial & Technology | ステレオ画像処理装置及びステレオ画像処理方法 |
US8537155B2 (en) | 2009-06-25 | 2013-09-17 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
JP2013242835A (ja) * | 2012-05-21 | 2013-12-05 | Ntt Docomo Inc | 画像コミュニケーションシステム、画像生成装置及びプログラム |
JP2015064755A (ja) * | 2013-09-25 | 2015-04-09 | 株式会社 日立産業制御ソリューションズ | 3次元形状計測システム、及び色情報貼付方法 |
JP2018170005A (ja) * | 2017-03-01 | 2018-11-01 | ソニー株式会社 | 画像及び深度データを用いて3次元(3d)人物顔面モデルを発生させるための仮想現実ベースの装置及び方法 |
JP6431591B1 (ja) * | 2017-12-15 | 2018-11-28 | 株式会社シャルマン | 三次元顔画像の基準正面の設定方法、それを用いた眼鏡の選定方法及びそれを用いたカルテの作成方法 |
CN109376698A (zh) * | 2018-11-29 | 2019-02-22 | 北京市商汤科技开发有限公司 | 人脸建模方法和装置、电子设备、存储介质、产品 |
JP2019032292A (ja) * | 2017-08-09 | 2019-02-28 | 株式会社ノア | 対称性可視化装置、対称性可視化方法及びプログラム |
JP6490861B1 (ja) * | 2018-08-17 | 2019-03-27 | 株式会社シャルマン | 三次元顔画像の基準正面の設定方法、それを用いた眼鏡の選定方法及びそれを用いたカルテの作成方法 |
WO2019065458A1 (ja) * | 2017-09-27 | 2019-04-04 | シャープ株式会社 | 映像生成装置、映像撮影装置、映像撮影システム、映像生成方法、制御プログラム及び記録媒体 |
WO2019117146A1 (ja) * | 2017-12-15 | 2019-06-20 | 株式会社シャルマン | 基準正面設定装置、計測装置、眼鏡選定装置、カルテ作成装置、計測方法、眼鏡選定方法、及びカルテ作成方法 |
JP2020160792A (ja) * | 2019-03-26 | 2020-10-01 | 日本電信電話株式会社 | 重みマスク生成装置、重みマスク生成方法及びプログラム |
CN112396692A (zh) * | 2020-11-25 | 2021-02-23 | 北京市商汤科技开发有限公司 | 一种人脸重建方法、装置、计算机设备及存储介质 |
US11179096B2 (en) | 2016-04-05 | 2021-11-23 | National University Corporation Hokkaido University | Scoliosis diagnosis assistance device, scoliosis diagnosis assistance method, and program |
-
2006
- 2006-03-23 JP JP2006081156A patent/JP2007257324A/ja active Pending
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8537155B2 (en) | 2009-06-25 | 2013-09-17 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
JP2012181142A (ja) * | 2011-03-02 | 2012-09-20 | National Institute Of Advanced Industrial & Technology | ステレオ画像処理装置及びステレオ画像処理方法 |
JP2013242835A (ja) * | 2012-05-21 | 2013-12-05 | Ntt Docomo Inc | 画像コミュニケーションシステム、画像生成装置及びプログラム |
JP2015064755A (ja) * | 2013-09-25 | 2015-04-09 | 株式会社 日立産業制御ソリューションズ | 3次元形状計測システム、及び色情報貼付方法 |
US11179096B2 (en) | 2016-04-05 | 2021-11-23 | National University Corporation Hokkaido University | Scoliosis diagnosis assistance device, scoliosis diagnosis assistance method, and program |
JP2018170005A (ja) * | 2017-03-01 | 2018-11-01 | ソニー株式会社 | 画像及び深度データを用いて3次元(3d)人物顔面モデルを発生させるための仮想現実ベースの装置及び方法 |
US10572720B2 (en) | 2017-03-01 | 2020-02-25 | Sony Corporation | Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data |
JP2019032292A (ja) * | 2017-08-09 | 2019-02-28 | 株式会社ノア | 対称性可視化装置、対称性可視化方法及びプログラム |
WO2019065458A1 (ja) * | 2017-09-27 | 2019-04-04 | シャープ株式会社 | 映像生成装置、映像撮影装置、映像撮影システム、映像生成方法、制御プログラム及び記録媒体 |
WO2019117146A1 (ja) * | 2017-12-15 | 2019-06-20 | 株式会社シャルマン | 基準正面設定装置、計測装置、眼鏡選定装置、カルテ作成装置、計測方法、眼鏡選定方法、及びカルテ作成方法 |
JP2019109313A (ja) * | 2017-12-15 | 2019-07-04 | 株式会社シャルマン | 三次元顔画像の基準正面の設定方法、それを用いた眼鏡の選定方法及びそれを用いたカルテの作成方法 |
JP6431591B1 (ja) * | 2017-12-15 | 2018-11-28 | 株式会社シャルマン | 三次元顔画像の基準正面の設定方法、それを用いた眼鏡の選定方法及びそれを用いたカルテの作成方法 |
JP6490861B1 (ja) * | 2018-08-17 | 2019-03-27 | 株式会社シャルマン | 三次元顔画像の基準正面の設定方法、それを用いた眼鏡の選定方法及びそれを用いたカルテの作成方法 |
JP2019109491A (ja) * | 2018-08-17 | 2019-07-04 | 株式会社シャルマン | 三次元顔画像の基準正面の設定方法、それを用いた眼鏡の選定方法及びそれを用いたカルテの作成方法 |
CN109376698A (zh) * | 2018-11-29 | 2019-02-22 | 北京市商汤科技开发有限公司 | 人脸建模方法和装置、电子设备、存储介质、产品 |
JP2020160792A (ja) * | 2019-03-26 | 2020-10-01 | 日本電信電話株式会社 | 重みマスク生成装置、重みマスク生成方法及びプログラム |
WO2020195810A1 (ja) * | 2019-03-26 | 2020-10-01 | 日本電信電話株式会社 | 重みマスク生成装置、重みマスク生成方法及びプログラム |
JP7161111B2 (ja) | 2019-03-26 | 2022-10-26 | 日本電信電話株式会社 | 重みマスク生成装置、重みマスク生成方法及びプログラム |
CN112396692A (zh) * | 2020-11-25 | 2021-02-23 | 北京市商汤科技开发有限公司 | 一种人脸重建方法、装置、计算机设备及存储介质 |
CN112396692B (zh) * | 2020-11-25 | 2023-11-28 | 北京市商汤科技开发有限公司 | 一种人脸重建方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007257324A (ja) | 顔モデル作成システム | |
JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
KR101007276B1 (ko) | 3차원 안면 인식 | |
US10762704B2 (en) | Method for establishing a deformable 3D model of an element, and associated system | |
US7512255B2 (en) | Multi-modal face recognition | |
Samaras et al. | Incorporating illumination constraints in deformable models for shape from shading and light direction estimation | |
CN111414798A (zh) | 基于rgb-d图像的头部姿态检测方法及系统 | |
JP4752433B2 (ja) | モデリングシステム、モデリング方法およびプログラム | |
EP0907144A2 (en) | Method for extracting a three-dimensional model from a sequence of images | |
US20020041285A1 (en) | Non-linear morphing of faces and their dynamics | |
JP2006520055A (ja) | 2次元画像からの3次元オブジェクトの不変視点検出および識別 | |
JP4780198B2 (ja) | 認証システム及び認証方法 | |
JP4466951B2 (ja) | 立体結合顔形状の位置合わせ | |
CN111862299A (zh) | 人体三维模型构建方法、装置、机器人和存储介质 | |
US20200160613A1 (en) | Apparatus and method for generating 3d avatar | |
JP4814666B2 (ja) | 顔解析システム | |
JP4850768B2 (ja) | 3次元の人の顔の表面データを再構築するための装置及びプログラム | |
CN113538682B (zh) | 模型训练、头部重建方法、电子设备及存储介质 | |
KR100828412B1 (ko) | 멀티 포인트 신호를 이용한 3차원 얼굴 인식 방법 | |
JP2017122993A (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR100596559B1 (ko) | 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법 | |
JP2008261756A (ja) | ステレオ画像対から3次元の頭部姿勢をリアルタイムで推定するための装置及びプログラム | |
CN112381952B (zh) | 一种基于多相机的面部轮廓点云模型重构方法及装置 | |
JP4623320B2 (ja) | 三次元形状推定システム及び画像生成システム | |
US9916685B1 (en) | System and method for depth-recovery of a face in an image |