JP2000113217A - 顔イメ―ジから開始して３ｄ顔モデルを作る方法 - Google Patents

顔イメ―ジから開始して３ｄ顔モデルを作る方法

Info

Publication number
JP2000113217A
JP2000113217A JP11279369A JP27936999A JP2000113217A JP 2000113217 A JP2000113217 A JP 2000113217A JP 11279369 A JP11279369 A JP 11279369A JP 27936999 A JP27936999 A JP 27936999A JP 2000113217 A JP2000113217 A JP 2000113217A
Authority
JP
Japan
Prior art keywords
model
face
face image
image
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11279369A
Other languages
English (en)
Other versions
JP3288353B2 (ja
Inventor
Gianluca Francini
ジヤンルーカ・フランシーニ
Mauro Quaglia
マウロ・クアグリア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telecom Italia SpA
Original Assignee
CSELT Centro Studi e Laboratori Telecomunicazioni SpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CSELT Centro Studi e Laboratori Telecomunicazioni SpA filed Critical CSELT Centro Studi e Laboratori Telecomunicazioni SpA
Publication of JP2000113217A publication Critical patent/JP2000113217A/ja
Application granted granted Critical
Publication of JP3288353B2 publication Critical patent/JP3288353B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

(57)【要約】 【課題】 静止状態とアニメーション状態の両方におい
てリアリティのある顔モデルを作ることができる方法を
提供すること。 【解決手段】 本発明により、３Ｄ顔モデルを作ること
ができ、これは例えば権現(avatar)の実現、ビデオ通信
用途、ビデオゲーム、ビデオ製造、及び先進のマンマシ
ン・インターフェースを作るために使用できる。少なく
とも１つの人間の顔イメージが、頂点構造を有する３Ｄ
顔モデル（Ｍ）と共に与えられる。該３Ｄ顔モデル
（Ｍ）は、顔表面（Ｖ）、右目表面（ＯＤ）、左目表面
（ＯＳ）、上歯表面（ＤＳ）及び下歯表面（ＤＩ）から
成る集合から選ばれた幾つかの表面を含む。モデル
（Ｍ）表面の頂点のうちの相応点の集合と、上記少なく
とも１つの顔イメージ上の相応点の集合がそれぞれ選ば
れる。次に、モデル構造（Ｍ）は、上記それぞれの相応
点集合が一致するように修正される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、３Ｄ顔モデルの製
作技術に関し、これは、例えばバーチャル環境で使用さ
れる所謂権現(avatar)（擬人化モデル）の実現、ビデオ
通信用途、ビデオゲーム、ＴＶ製作、及び先進マンマシ
ン・インターフェースの製作に使用できる。
【０００２】
【従来の技術】人間の顔の写真を用いて３Ｄモデルを作
るための技術的解決策は、既に幾つか知られている。こ
の主題に関しては、例えばSven Technologies 社の製品
Avatar Maker（インターネット・サイトhttp://www.sve
n-tec.com 参照）のみならず、Darwin 3D 社の製品Char
acter Creator （インターネット・サイトhttp://www.d
arwin3d.com参照）も参照できる。製品「Character Cre
ator 」は、写真に撮られた人に似ている基本モデルを
選択することに基づいている。写真の顔は、楕円により
形作られ、プログラムは、楕円内に存在するものをモデ
ルのテクスチャー(texture) として使用する。製品「Av
atar Maker」では、１２個の点が顔上に付され、写真テ
クスチャーと関連する基本モデルが選択される。これら
公知の実施例の主な欠点は、発生されたモデル構造で
は、次に行うアニメーションが実現できないことであ
る。このことは、モデル（後に説明するように、「ワイ
ヤー・フレーム」モデルとして発生される。すなわち、
メッシュ構造を用いて発生される。）が、口領域のプロ
ファイルに正確に合わすことができず、それにより唇の
動きの再生が妨げられることによる。これは、例えば目
や鼻のように顔における他の重要な部分にも当てはま
る。
【０００３】
【発明が解決しようとする課題】本発明の目的は、特に
例えばまぶたの開閉や目の回転を模擬する可能性に関す
る限りでは、静止状態とアニメーション状態の両方にお
いてリアリティのある顔モデルを作ることができる方法
を提供することである。
【０００４】
【課題を解決するための手段】この目的は、特許請求の
範囲に記載の特徴を有する本発明の方法により達成され
る。実質的には、本発明による方法は、写真に撮られた
人の人相学的特徴を有した顔（一般には人の顔）の基本
モデルの適応化に基づく。基本モデル（又は「テンプレ
ート」）は、５つの表面から成る集合から選択された複
数の表面から形成された構造、好ましくは、「ワイヤー
フレーム」と称される種類の構造により表される。こら
ら５つの表面とは、 （ア）顔 （イ）右目と左目、及び （ウ）上歯と下歯 である。目の表面は、顔の表面とは分離され、とりわけ
まぶたの開閉の動きや実際の目の回転を模擬する僅かな
平行移動を可能にする。同様に、音声に関する限り、上
歯と下歯を表す表面のアニメーションにより、モデルの
アニメーションを行うことが可能である。
【０００５】
【実施例】以下、添付図面を参照して非制限的な例とし
て本発明を説明する。図１と図２は、人間の顔の基本モ
デルＭを示す。これは、本発明の可能な実施態様におい
て使用できる。ここで、モデルＭは、ワイヤーフレーム
モデル及びソリッドモデルの両方にて表されている。ソ
リッドモデルは、ワイヤーフレームの三角形の背景描画
においてワイヤーフレームとは本質的に異なる。ここに
表されたモデルＭは、５つの表面、すなわち（ア）ここ
に示された実施態様では、３６０個の頂点と６６０個の
三角形により形成される表面Ｖ、（イ）各々が２６個の
頂点と３７個の三角形から成る右目ＯＤと左目ＯＳ、
（ウ）各々が７０個の頂点と４２個の三角形から成る上
歯ＤＳと下歯ＤＩ、により形成される。特に、モデルＭ
は中空構造であり、実際には一種のマスクに似たものと
でき、その形状は、モデル化された顔の特徴を再現する
よう設計されることが分かる。もちろん、本発明による
実施態様に対応するのが現時点では好ましいのである
が、上記参照した頂点や三角形の数は、単なる例であ
り、決して本発明の範囲を制限するものと見なすべきで
ない。
【０００６】これらの考察は、基本モデルを実現するの
に使用する５つの異なる表面の選択にも当てはまる。実
際問題として、これらの表面の数は、用途による要求に
依存して、（簡単なモデルの実現の場合）より少なく、
（より詳細で洗練されたモデルを実現する場合）より多
くなり得る。重要な特徴は、基本モデルとして使用する
モデルの選択である。該モデルは、複数の表面を含み、
特に、モデル化される顔（例えば人間の顔）のタイプに
依存して、一般用語にて実質的に知られている形状に対
応する表面を含む。これらの形状は、相対的な配置を為
し、該配置も全体として既に公知のものである。実際問
題として、人間の顔の類型学は、実際には無限である
が、顔の表面は、一般的なボウル(bowl)に似た外見を有
し、まぶたは、一般に「まぶた」表面のみを有し、この
まぶた表面は、少なくとも周辺が隆起しており、歯列弓
は、弧状形状を有することなどは知られている。まぶた
は、顔表面の中間上部領域に位置し、歯表面は、下部領
域に位置することも知られている。さらに、モデルを作
るのに顕著な表面を使用することにより、例えば歯の表
面の干渉を避けることができる条件として分離条件をモ
デルに適用でき、それにより、歯列弓の適合効果を正確
にモデル化する。この特徴は、図２の背面図においてよ
り良く分かる。
【０００７】本発明による方法は、実質的に、（１）モ
デル化される顔のイメージ（一般には前面写真）を撮る
こと、及び（２）一連のジオメトリ変換によりモデル又
はテンプレートを修正し、その投影を、開始イメージと
仮定される写真上で識別される点集合に一致させること
から成る解決策に基づく。この適応化のため、「特徴
点」と称される多くのものに対応して選択された夫々の
点集合が利用される。すなわち、これらの点は、ISO/IE
C 規格14496-2(MPEG-4) の「顔と体のアニメーション」
セクションで定められており、図３Ａ〜３Ｈに表されて
いる。特に、現時点では好適である本発明の実施態様で
は、本発明による方法は、以下のインデックスによるＭ
ＰＥＧ−４規格（この発明の出願日にて定義されている
もの）にて識別される特徴点を用いることで実現され
る。インデックスとしては、１１．４，２．１，１０．
９，１０．１０，８．４，８．１，８．３，８．２，
２．２，２．３，９．３，９．２，９．１，４．１，
３．１２，３．８，３．１０，３．１４，３．１１，
３．１３，３．７及び３．９である。これらのインデッ
クスの各々が、モデル構造の頂点に対応する。
【０００８】図４は、本発明による方法を総合し、該方
法が図８に示されるシステムにより実行され得るように
する。全体が１で示されたこのようなシステムは、例え
ばデジタルカメラのようなピックアップ装置２や、現像
及びプリントの後に走査処理され得る写真を作ることが
できる従来カメラのような機能的に等価な装置を含む。
従って、装置２は、対象Ｌから開始してモデル化される
顔の平面イメージＩを発生する。このイメージは、実際
には図７Ａに示されるタイプのイメージである。そのよ
うにして得られるイメージＩは、デジタルイメージであ
る。すなわち、同イメージに関する情報（輝度、色特性
など）をピクセル毎に表すデータシーケンスである。
【０００９】このようなデータシーケンスが、処理シス
テム３（本質的にはコンピューター）に与えられ、該処
理システム３は、以下において詳細に説明する本発明の
実施態様の基準が与えられれば専門家には周知となる原
理に従って、次に挙げる操作を実行する。 （１）モデルＭを処理するのに使用するイメージＩの特
徴点の識別と抽出。 （２）開始モデルに対応するデータを、プロセッサーに
接続されたメモリ又は同様のサポート４から読み出すこ
と。このデータは、以前に記憶されていたものであり、
この場合には周知の固有属性に従って読み出される。 （３）後にさらに説明するように、本発明による方法の
典型的な処理操作の実行。 （４）この場合にも３Ｄモデルを表すデジタルデータの
形式をなした処理出力モデルの発生。このようなデータ
は、別の処理システム（例えばアニメーションシステ
ム）に転送されロードされ、及び／又は後続の使用のた
めに記憶サポート５（フロッピーディスク、ＣＤ−ＲＯ
Ｍなど）へダウンロードされ得る。
【００１０】上述した開始モデルＭをイメージＩに適応
化する操作は、システム内でそれぞれ実行されるモデル
ＭとイメージＩの仮想光学投影に基づく。該システムの
焦点は、３次元デカルト空間ｘ，ｙ，ｚの原点Ｏに存在
する。デカルト空間内で、モデルＭは、Ｚ軸に沿って正
の半空間内に位置し、イメージＩは、負の半空間内に位
置する（図４参照）。モデルＭのイメージＩへの精密な
適応化は、一般にモデルＭが上記システムの面ＸＹに対
してイメージＩの鏡像位置に概略配置されるという仮定
に基づく。よって、前面イメージＩへの適応化が要求さ
れるならば、モデルＭは前方配置される。逆に、イメー
ジＩ内に表される人の頭の側面イメージへの適応化が要
求されるならば、モデルＭは、例えば横方向に配置され
る。このことは、原点ＯとモデルＭの中心の間の距離
α、及び原点ＯとイメージＩの面の間の距離λにも当て
はまる。校正プロセスを簡単にし且つユーザーによる未
知の値の導入を避けるために、少なくとも距離αは、起
こりうるケースの平均を事前に計算することにより決め
られる任意の値（例えば１７０ｃｍ）に設定される。値
αは、イメージが撮られた時のカメラ２から対象までの
距離にのみ依存するのではなく、同カメラのパラメータ
にも依存することを考慮すべきである。
【００１１】実質的には、本発明による方法は、特定モ
デルＭの特徴点から成る集合の投影を、イメージＩ上に
て識別される相応点の相応集合に一致させることを目的
とした一連のジオメトリ変換から成る。次に、特徴点ｉ
ｊ（例えば顔の左端）に関連するモデルＭの頂点の空間
座標を（ｘij，ｙij，ｚij）と置き、イメージＩ内の同
じ特徴点の座標を（Ｘij，Ｙij）と置く（イメージＩの
平面上のローカルシステム参照。その原点は、可能な実
施態様におけるイメージの上部角に一致する。）。処理
の開始（図９のフローチャートにおけるステップ１０
０）後、最初の操作ステップ（図９の１０１）は、値λ
の計算である。Ｘ0 ，Ｙ0 をイメージＩにおいて撮られ
た顔の中心座標と置く。これらの座標は、顔の端に位置
する４点を用いることにより得られる（例えば、現時点
でのＭＰＥＧ−４規格を参照して、点１０．９と１０．
１０すなわち、顔の右端と左端、及び点１１．４と２．
１すなわち、頭の頂部と顎の先）。すなわち、下記関係
式を適用する。
【００１２】
【数１】 距離λは、モデルの投影の幅が写真の顔の幅に一致する
ように、下記関係式により計算される。
【数２】
【００１３】続いて（ステップ１０２）、Ｙ軸に沿った
モデルＭの位置を、その投影がイメージＩの内容と垂直
方向にて整合するように修正する。次式により計算され
る値Δｙが、各頂点に加えられる。
【数３】 このようにして、モデルは垂直方向にスケーリングされ
る。この操作の後、その投影サイズは、イメージＩ内に
て再生された頭領域と一致する。
【００１４】次のステップ１０３では、モデルＭの頂点
の各座標Ｙは、次式により計算される係数ｃで乗算され
る。
【数４】 この時点にて、全体の変換が、モデル上の垂直方向にて
行われ（ステップ１０４）、顔の幾つかの特徴（例えば
眉毛）の位置を、人の特徴位置と一致させる。モデル
は、図５に示されるように、実質的にＹ軸に沿って変え
られる。好ましくは、全体変換は、非線形変換であり、
好ましくは２次変換であり、さらに好ましくは、放物線
則に基づき、特に、平面ＹＺの下記３点を通る一般放物
線（ｙ＝ａｚ2 ＋ｂｚ＋ｃ）に対応するタイプである。
【００１５】
【数５】 特に図５では、横臥位置つまり水平方向にて示されたモ
デルは、上記説明した放物線関数による変換前のモデル
に対応し、一方、垂直位置にて示されたモデルは、該変
換の結果である。
【００１６】その後（シーケンスが完了したと考えられ
るか否かを見出す選択ステップ１０６により定められる
本質的に循環構造のステップ１０５にて）、顔の個々の
特徴を正しく配置する一連の変換（平行移動、スケーリ
ング、及びアフィン変換）が実行される。好ましくは、
以下の関連操作を行う。 （１）まぶたと目の輪郭が、２つの平行移動と４つのア
フィン変換により適応化される。 （２）鼻が、最初にスケーリングにより適応化され、次
に２つのアフィン変換により変形される。 （３）口が、４つのアフィン変換を適用することにより
修正される。 （４）鼻の基部と口の上端の間の領域が、平行移動され
スケーリングされる。 （５）口の下方端と顎の先の間の領域が、平行移動され
スケーリングされる。
【００１７】好ましくは、採用されるアフィン変換は、
下記タイプの関係式に従って設定され得る。 ｘ’＝ｃ1 ｘ＋ｃ2 ｙ＋ｃ3 ｙ’＝ｃ4 ｘ＋ｃ5 ｙ＋ｃ6 ここで、
【数６】
【００１８】記載された表式は、３点の変位により示さ
れる平面変換を表す。すなわち、 （ア）（ｘ1 ，ｙ1 ），（ｘ2 ，ｙ2 ），（ｘ3 ，
ｙ3 ）は、変換前のこれらの点の座標である。 （イ）（ｘ1 ’，ｙ1 ’），（ｘ2 ’，ｙ2 ’），（ｘ
3 ’，ｙ3 ’）は、変換後の対応する座標である。 少なくともモデルのジオメトリに関する操作では、目
（鞏膜及び虹彩）を表す２つのワイヤーフレームは、ま
ぶたの背後に位置し、まぶたが閉じるのを可能にし、目
の動きを模擬する変位のための十分な空間を与える（ス
テップ１０７）。次に、口の動きと干渉しない標準的な
歯がモデルに加えられる（ステップ１０８）。
【００１９】図６Ａ〜図６Ｃに示されたシーケンスは、
モデルＭの進展を表し（ここでは、変化をより強調する
ためにワイヤーフレームモデルにより表されている）、
基本モデルの前面（図６Ａ）と、アフィン変換後（図６
Ｂ）と、目と歯を有する完了後（図６Ｃ）の外観を示
す。この時点で、各頂点を２次元座標に関連付けること
により、モデルへのテクスチャーの付加が行われる（ス
テップ１０９）。この２次元座標は、「テクスチャー結
合」として公知のプロセスによりイメージＩの特定点に
頂点を結合する。テクスチャー結合に関するデータは、
本明細書の初めに記載した校正の開始時に定められた投
影パラメータα及びλを単に使用することにより計算さ
れる。歯は、上記定めた標準のテクスチャーを有する。
【００２０】幾つかのイメージを用いてモデルが作られ
る場合には、テクスチャーの発生に関する更なるステッ
プが実行される。しかしながら、このようなステップ
は、図９のフローチャートには特に示されていない。実
際問題として、モデルテクスチャーを含んだイメージ
は、種々の視点に関連した情報を結合することにより作
られる。好ましくは、テクスチャーを含むよう設計され
たイメージの分解能をより良く利用するために、モデル
の全ての三角形のテクスチャーの形状は、一定サイズの
正三角形に変換される。そのようにして得られた三角形
は、マトリックス構成に従ってイメージ内に配置され
て、その表面を覆う。矩形サイズは、モデルの三角形の
数、及びモデルのテクスチャーを記憶するイメージサイ
ズの関数である。
【００２１】図１０は、種々の三角形のテクスチャーを
含むイメージの例を示す。各矩形（示された多角形は、
正方形ではなく、ＮｘＮ＋１ピクセルにより形成され
る）は、２つの三角形のテクスチャーを含む。開始時に
は、個々の三角形のテクスチャーは、一般の三角形形状
を有し、これは、アフィン変換と双一次(bi-linear) フ
ィルタリングにより正三角形に変換される。図１１は、
前の図１０を詳細に示したものであり、矩形内部（線３
００により定められた領域）の２つの三角形により使用
されるテクスチャーの実際の領域を示す。サイズＮｘＮ
＋１の各矩形に対する有効領域は、ＮｘＮピクセルであ
る。テクスチャー生成のためのこのプロセスは、人間の
顔モデルに特定されるのではなく、幾つかのイメージを
用いた３Ｄモデルの製造の全ての場合に適用し得る。
【００２２】この様にして得られたモデルは、異なる共
通グラフィックフォーマット（上記記載のMPEG-4規格に
加えて、規格VRML2.0 やOpenInventorのうちの１つ）を
用いて表し得る。全てのモデルは、唇の動きや顔の表情
を再現するようにアニメーション化され得る。異なる視
点から撮った人の幾つかのイメージが利用できる場合に
は、上記方法を異なるイメージに適用してモデルの外見
を強調することができる。結果として得られるモデル
は、明らかにイメージの配置方向に従った方向に配置さ
れる。
【００２３】これまで記載してきたことに関し、ここに
記載の発明の原理を変えずに維持しつつ、特許請求の範
囲に記載の本発明の範囲を逸脱することなく実施及び実
施態様の詳細を相当変更できることは明らかである。
【図面の簡単な説明】
【図１】図１Ａと図１Ｂは、本発明の実施態様で使用さ
れるモデルの典型的な外見を表し、それぞれワイヤーフ
レームモデル（図１Ａ）及びソリッドモデル（図１Ｂ）
にて表す。
【図２】図１に示したのと同じモデルを背面図にて表
す。この場合も、ワイヤーフレームモデル（図２Ａ）及
びソリッドモデル（図２Ｂ）である。
【図３】図３Ａ〜図３Ｉは、現時点でのＭＰＥＧ−４規
格による顔の特徴点を識別する１組の表を表し、この顔
は、本発明の実施態様で使用できる。
【図４】本発明による方法における段階の１つを概略的
に示す。
【図５】本発明による方法における別の段階を概略的に
示す。
【図６】図６Ａ、図６Ｂ及び図６Ｃは、本発明による方
法におけるモデルの進展を示す。
【図７】図７Ａは、本発明による方法の可能な実施態様
において校正に使用される特徴点を強調した写真を示
し、図７Ｂと図７Ｃは、テクスチャーの付されたの完成
モデルの図である。
【図８】本発明を実行するのに使用され得るシステム構
造をブロック図にて示す。
【図９】本発明による方法の実施態様に関するフローチ
ャートである。
【図１０】本発明における所謂テクスチャーの付加を例
示する。
【図１１】本発明における所謂テクスチャーの付加を例
示する。
【符号の説明】
Ｍ ３Ｄ顔モデル Ｖ 顔表面 Ｉ 顔イメージ Ｏ 原点 ＯＤ 右目表面 ＯＳ 左目表面 ＤＳ 上歯表面 ＤＩ 下歯表面 １ システム ２ ピックアップ装置 ３ 処理システム ４ メモリ ５ 記憶サポート
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジヤンルーカ・フランシーニ イタリー国 10152 トリノ、ヴイア・ア オスタ ４ (72)発明者 マウロ・クアグリア イタリー国 10900 モンタレンジエ（ト リノ）（番地なし)

Claims (11)

    【特許請求の範囲】
  1. 【請求項１】 顔イメージ（Ｉ）から開始して３Ｄ顔モ
    デル（Ｍ）を作る方法であって、（１）少なくとも１つ
    の顔イメージ（Ｉ）を与える操作、（２）頂点構造を有
    する３Ｄ顔モデル（Ｍ）を与える操作であって、該３Ｄ
    顔モデル（Ｍ）は、顔表面（Ｖ）、右目表面（ＯＤ）と
    左目表面（ＯＳ）、上歯表面（ＤＳ）と下歯表面（Ｄ
    Ｉ）から形成されるグループ内で選択された幾つかの表
    面を含む前記操作、（３）前記モデル（Ｍ）の構造の頂
    点のうちの相応点の集合、及び前記少なくとも１つの顔
    イメージ（Ｉ）上の相応点の集合をそれぞれ選択する操
    作、及び（４）夫々の相応点の集合が一致するように、
    前記モデル（Ｍ）の構造を修正する操作、を含む上記方
    法。
  2. 【請求項２】 前記目表面（ＯＤ，ＯＳ）と歯表面（Ｄ
    Ｓ，ＤＩ）が、前記顔表面と干渉しないように選択され
    ることを特徴とする請求項１記載の方法。
  3. 【請求項３】 前記モデル（Ｍ）の構造における頂点の
    前記夫々の集合が、ＭＰＥＧ−４規格に従って選択され
    ることを特徴とする請求項１又は２に記載の方法。
  4. 【請求項４】 前記モデル（Ｍ）の構造の修正が、以下
    の操作、すなわち（１）モデル（Ｍ）の投影幅を前記顔
    イメージ（Ｉ）の幅に一致させる操作、（２）モデル
    （Ｍ）の投影を前記顔イメージ（Ｉ）に垂直方向にて整
    合させる操作、（３）モデル（Ｍ）の少なくとも１つの
    特徴位置を該顔イメージ（Ｉ）の相応特徴に一致させる
    べく、垂直方向にてモデル（Ｍ）の非線形全体変換を行
    う操作、から形成されるグループ内で選択された操作の
    うちの少なくとも１つを含むことを特徴とする請求項１
    〜３のいずれか一項に記載の方法。
  5. 【請求項５】 前記全体変換が、２次関数、好ましくは
    放物線関数により行われることを特徴とする請求項４記
    載の方法。
  6. 【請求項６】 前記モデル（Ｍ）の構造の修正が、以下
    の操作、すなわち（１）平行移動とアフィン変換から選
    択された少なくとも１つの操作により、モデル（Ｍ）に
    おけるまぶたの投影及び目の輪郭を顔イメージ（Ｉ）に
    おける相応領域に適応化する操作、（２）スケーリング
    及びアフィン変換による変形から選択された少なくとも
    １つの操作により、鼻を垂直方向において適応化する操
    作、（３）少なくとも１つのアフィン変換により、口を
    修正する操作、（４）鼻の基部と口の上端の間の領域を
    平行移動しスケーリングする操作、及び（５）口の下端
    と顎の先の間の領域を平行移動とスケーリングにより適
    応化する操作、のうちの少なくとも１つを含むことを特
    徴とする請求項１〜５のいずれか一項に記載の方法。
  7. 【請求項７】 前記モデル（Ｍ）の修正の最終操作とし
    て、前記目の表面（ＯＤ，ＯＳ）及び／又は歯の表面
    （ＤＳ，ＤＩ）を前記顔表面（Ｖ）に近接して付加する
    操作を含むことを特徴とする請求項１〜６のいずれか一
    項に記載の方法。
  8. 【請求項８】 モデル（Ｍ）の構造の前記修正が、ジオ
    メトリ操作にて実行され、該ジオメトリ操作は、前記顔
    イメージ（Ｉ）と前記モデル（Ｍ）を３次元デカルト系
    （Ｘ，Ｙ，Ｚ）の原点（Ｏ）に対して対向した鏡像位置
    に配置させることにより行われることを特徴とする請求
    項１〜７のいずれか一項に記載の方法。
  9. 【請求項９】 夫々のテクスチャーを前記修正されたモ
    デルに付加する操作をさらに含むことを特徴とする請求
    項１〜８のいずれか一項に記載の方法。
  10. 【請求項１０】 （ア）前記原点（Ｏ）と前記モデル
    （Ｍ）の中心点間の距離α、及び（イ）前記原点（Ｏ）
    と前記顔イメージ（Ｉ）の平面間の距離λを含むグルー
    プ内で選択されたパラメータのうち少なくとも１つを計
    算する操作と、前記距離パラメータのうちの少なくとも
    １つに基づいて実行されるテクスチャー結合プロセスに
    より、前記テクスチャーを前記修正されたモデル（Ｍ）
    に付加する操作とを含むことを特徴とする請求項８及び
    ９に記載の方法。
  11. 【請求項１１】 （１）前記顔の異なる視点からの複数
    の前記顔イメージ（Ｉ）を与える操作、（２）前記顔イ
    メージの各々に対して夫々のテクスチャー情報を一定サ
    イズの正三角形の形式にて発生することにより、前記モ
    デル（Ｍ）に付加するテクスチャーを作る操作、（３）
    複数のイメージから導かれるテクスチャー情報に係る三
    角形を２つずつ結合し、結合の結果としてそれぞれの矩
    形を得る操作、及び（４）前記矩形のマトリックスの形
    態をなした前記修正されたモデルに前記テクスチャーを
    付加する操作、を含むことを特徴とする請求項９又は１
    ０に記載の方法。
JP27936999A 1998-10-02 1999-09-30 顔イメージから開始して３ｄ顔モデルを作る方法 Expired - Lifetime JP3288353B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IT1998TO000828A IT1315446B1 (it) 1998-10-02 1998-10-02 Procedimento per la creazione di modelli facciali tridimensionali apartire da immagini di volti.
IT98A000828 1998-10-02

Publications (2)

Publication Number Publication Date
JP2000113217A true JP2000113217A (ja) 2000-04-21
JP3288353B2 JP3288353B2 (ja) 2002-06-04

Family

ID=11417076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27936999A Expired - Lifetime JP3288353B2 (ja) 1998-10-02 1999-09-30 顔イメージから開始して３ｄ顔モデルを作る方法

Country Status (8)

Country Link
US (1) US6532011B1 (ja)
EP (2) EP0991023B1 (ja)
JP (1) JP3288353B2 (ja)
AT (2) ATE504896T1 (ja)
CA (1) CA2284348C (ja)
DE (2) DE69922898T2 (ja)
ES (2) ES2366243T3 (ja)
IT (1) IT1315446B1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100422471B1 (ko) * 2001-02-08 2004-03-11 비쥬텍쓰리디(주) 정면 및 측면 사진 정보를 이용한 개인 포토 아바타 생성장치 및 방법
JP2007156945A (ja) * 2005-12-07 2007-06-21 Sony Corp 画像処理装置および画像処理方法、プログラム、並びにデータ構造
JP2014146340A (ja) * 2013-01-29 2014-08-14 Toshiba Corp コンピュータ生成ヘッド
KR101783453B1 (ko) * 2015-10-05 2017-09-29 (주)감성과학연구센터 Au 기반의 안면 움직임 정보 추출 방법 및 장치

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
DE10018143C5 (de) * 2000-04-12 2012-09-06 Oerlikon Trading Ag, Trübbach DLC-Schichtsystem sowie Verfahren und Vorrichtung zur Herstellung eines derartigen Schichtsystems
TW517210B (en) * 2000-08-31 2003-01-11 Bextech Inc A method for generating speaking expression variation without distortion in 2D picture using polygon computation
US7203648B1 (en) 2000-11-03 2007-04-10 At&T Corp. Method for sending multi-media messages with customized audio
US7035803B1 (en) 2000-11-03 2006-04-25 At&T Corp. Method for sending multi-media messages using customizable background images
US6976082B1 (en) 2000-11-03 2005-12-13 At&T Corp. System and method for receiving multi-media messages
US6963839B1 (en) * 2000-11-03 2005-11-08 At&T Corp. System and method of controlling sound in a multi-media communication application
US6990452B1 (en) 2000-11-03 2006-01-24 At&T Corp. Method for sending multi-media messages using emoticons
US7091976B1 (en) 2000-11-03 2006-08-15 At&T Corp. System and method of customizing animated entities for use in a multi-media communication application
US20080040227A1 (en) 2000-11-03 2008-02-14 At&T Corp. System and method of marketing using a multi-media communication system
US7020305B2 (en) * 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation
JP4419320B2 (ja) * 2000-12-25 2010-02-24 コニカミノルタホールディングス株式会社 ３次元形状データの生成装置
US20020154174A1 (en) * 2001-04-23 2002-10-24 Redlich Arthur Norman Method and system for providing a service in a photorealistic, 3-D environment
US9400921B2 (en) * 2001-05-09 2016-07-26 Intel Corporation Method and system using a data-driven model for monocular face tracking
SE519929C2 (sv) * 2001-07-26 2003-04-29 Ericsson Telefon Ab L M Förfarande, system och terminal för att under pågående samtal ändra eller uppdatera tex. avatarer på andra användares terminaler i ett mobiltelekommunikationssystem
GB2382289B (en) 2001-09-28 2005-07-06 Canon Kk Method and apparatus for generating models of individuals
US20030069732A1 (en) * 2001-10-09 2003-04-10 Eastman Kodak Company Method for creating a personalized animated storyteller for audibilizing content
US7671861B1 (en) * 2001-11-02 2010-03-02 At&T Intellectual Property Ii, L.P. Apparatus and method of customizing animated entities for use in a multi-media communication application
GB2389289B (en) * 2002-04-30 2005-09-14 Canon Kk Method and apparatus for generating models of individuals
CN1313979C (zh) * 2002-05-03 2007-05-02 三星电子株式会社 产生三维漫画的装置和方法
US7174033B2 (en) 2002-05-22 2007-02-06 A4Vision Methods and systems for detecting and recognizing an object based on 3D image data
US7257236B2 (en) 2002-05-22 2007-08-14 A4Vision Methods and systems for detecting and recognizing objects in a controlled wide area
JP4357155B2 (ja) * 2002-05-28 2009-11-04 株式会社セガ アニメーション画像の生成プログラム
ITTO20020724A1 (it) * 2002-08-14 2004-02-15 Telecom Italia Lab Spa Procedimento e sistema per la trasmissione di messaggi su
EP1431810A1 (de) * 2002-12-16 2004-06-23 Agfa-Gevaert AG Verfahren zur automatischen Bestimmung von Farbdichte-Korrekturwerten für die Wiedergabe von digitalen Bilddaten
US20040152512A1 (en) * 2003-02-05 2004-08-05 Collodi David J. Video game with customizable character appearance
US20040157527A1 (en) * 2003-02-10 2004-08-12 Omar Ruupak Nanyamka Novelty articles for famous persons and method for making same
JP2006522411A (ja) * 2003-03-06 2006-09-28 アニメトリックス，インク． 複数の特徴を含むオブジェクトの画像データベースの生成
US7643671B2 (en) * 2003-03-24 2010-01-05 Animetrics Inc. Facial recognition system and method
US7711155B1 (en) * 2003-04-14 2010-05-04 Videomining Corporation Method and system for enhancing three dimensional face modeling using demographic classification
US7421097B2 (en) * 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling
US7388580B2 (en) * 2004-05-07 2008-06-17 Valve Corporation Generating eyes for a character in a virtual environment
US8139068B2 (en) * 2005-07-29 2012-03-20 Autodesk, Inc. Three-dimensional animation of soft tissue of characters using controls associated with a surface mesh
US20070080967A1 (en) * 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
US7567251B2 (en) * 2006-01-10 2009-07-28 Sony Corporation Techniques for creating facial animation using a face mesh
US8047915B2 (en) 2006-01-11 2011-11-01 Lyle Corporate Development, Inc. Character for computer game and method
US8059917B2 (en) * 2007-04-30 2011-11-15 Texas Instruments Incorporated 3-D modeling
US20080298643A1 (en) * 2007-05-30 2008-12-04 Lawther Joel S Composite person model from image collection
KR100940862B1 (ko) * 2007-12-17 2010-02-09 한국전자통신연구원 3차원 얼굴 애니메이션을 위한 헤드 모션 추적 방법
US8131063B2 (en) 2008-07-16 2012-03-06 Seiko Epson Corporation Model-based object image processing
US8029140B2 (en) 2008-09-18 2011-10-04 Disney Enterprises, Inc. Device to produce a floating image
US8042948B2 (en) * 2008-09-18 2011-10-25 Disney Enterprises, Inc. Apparatus that produces a three-dimensional image
US8208717B2 (en) 2009-02-25 2012-06-26 Seiko Epson Corporation Combining subcomponent models for object image modeling
US8260038B2 (en) 2009-02-25 2012-09-04 Seiko Epson Corporation Subdivision weighting for robust object model fitting
US8204301B2 (en) 2009-02-25 2012-06-19 Seiko Epson Corporation Iterative data reweighting for balanced model learning
US8260039B2 (en) 2009-02-25 2012-09-04 Seiko Epson Corporation Object model fitting using manifold constraints
KR101640458B1 (ko) * 2009-06-25 2016-07-18 삼성전자주식회사 영상 장치 및 컴퓨터 판독 기록매체
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
PL2337327T3 (pl) 2009-12-15 2014-04-30 Deutsche Telekom Ag Sposób i urządzenie do identyfikowania rozmówcy w informacjach obrazowych lub wideo
US8884982B2 (en) 2009-12-15 2014-11-11 Deutsche Telekom Ag Method and apparatus for identifying speakers and emphasizing selected objects in picture and video messages
ES2464341T3 (es) 2009-12-15 2014-06-02 Deutsche Telekom Ag Procedimiento y dispositivo para resaltar objetos seleccionados en mensajes de imagen y video
WO2012007795A1 (en) * 2010-07-16 2012-01-19 Sony Ericsson Mobile Communications Ab Three dimensional face modeling and sharing based on two dimensional images
CN102129706A (zh) * 2011-03-10 2011-07-20 西北工业大学 一种虚拟人眼部情感表现模拟方法
CN102902355B (zh) * 2012-08-31 2015-12-02 中国科学院自动化研究所 移动设备的空间交互方法
US10708545B2 (en) 2018-01-17 2020-07-07 Duelight Llc System, method, and computer program for transmitting face models based on face data points
KR20170081544A (ko) * 2016-01-04 2017-07-12 한국전자통신연구원 체험 아이템 3d 복원 장치 및 방법
WO2019177870A1 (en) * 2018-03-15 2019-09-19 Magic Leap, Inc. Animating virtual avatar facial movements
US10607065B2 (en) * 2018-05-03 2020-03-31 Adobe Inc. Generation of parameterized avatars
CN108961369B (zh) * 2018-07-11 2023-03-17 厦门黑镜科技有限公司 生成3d动画的方法和装置
US10817365B2 (en) 2018-11-09 2020-10-27 Adobe Inc. Anomaly detection for incremental application deployments

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994023390A1 (en) * 1993-03-29 1994-10-13 Matsushita Electric Industrial Co., Ltd. Apparatus for identifying person
US6031539A (en) * 1997-03-10 2000-02-29 Digital Equipment Corporation Facial image method and apparatus for semi-automatically mapping a face on to a wireframe topology
US6154222A (en) * 1997-03-27 2000-11-28 At&T Corp Method for defining animation parameters for an animation definition interface

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100422471B1 (ko) * 2001-02-08 2004-03-11 비쥬텍쓰리디(주) 정면 및 측면 사진 정보를 이용한 개인 포토 아바타 생성장치 및 방법
JP2007156945A (ja) * 2005-12-07 2007-06-21 Sony Corp 画像処理装置および画像処理方法、プログラム、並びにデータ構造
JP4760349B2 (ja) * 2005-12-07 2011-08-31 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
US8150205B2 (en) 2005-12-07 2012-04-03 Sony Corporation Image processing apparatus, image processing method, program, and data configuration
JP2014146340A (ja) * 2013-01-29 2014-08-14 Toshiba Corp コンピュータ生成ヘッド
KR101783453B1 (ko) * 2015-10-05 2017-09-29 (주)감성과학연구센터 Au 기반의 안면 움직임 정보 추출 방법 및 장치

Also Published As

Publication number Publication date
DE69943344D1 (de) 2011-05-19
ITTO980828A1 (it) 2000-04-02
JP3288353B2 (ja) 2002-06-04
EP0991023A3 (en) 2001-02-21
ATE286286T1 (de) 2005-01-15
EP0991023B1 (en) 2004-12-29
ATE504896T1 (de) 2011-04-15
IT1315446B1 (it) 2003-02-11
CA2284348A1 (en) 2000-04-02
EP1424655A3 (en) 2006-08-30
EP1424655B1 (en) 2011-04-06
CA2284348C (en) 2006-06-06
ES2237010T3 (es) 2005-07-16
ES2366243T3 (es) 2011-10-18
DE69922898T2 (de) 2005-12-15
EP0991023A2 (en) 2000-04-05
US6532011B1 (en) 2003-03-11
EP1424655A2 (en) 2004-06-02
DE69922898D1 (de) 2005-02-03

Similar Documents

Publication Publication Date Title
JP3288353B2 (ja) 顔イメージから開始して３ｄ顔モデルを作る方法
US10540817B2 (en) System and method for creating a full head 3D morphable model
CN107274493B (zh) 一种基于移动平台的三维虚拟试发型人脸重建方法
Pighin et al. Synthesizing realistic facial expressions from photographs
US7804997B2 (en) Method and system for a three dimensional facial recognition system
CN101055646B (zh) 用于处理图像的方法和装置
KR100327541B1 (ko) 3차원 얼굴 모델링 시스템 및 모델링 방법
CN113628327B (zh) 一种头部三维重建方法及设备
Alexander et al. Creating a photoreal digital actor: The digital emily project
JPH1011609A (ja) 動画キャラクタの生成装置及び方法
CN112669447A (zh) 一种模型头像创建方法、装置、电子设备和存储介质
JP2009104570A (ja) 画像の形成用のデータ構造及び画像の形成方法
JP2023517121A (ja) 画像処理及び画像合成方法、装置及びコンピュータプログラム
Tarini et al. Texturing faces
JP2002008057A (ja) アニメーション映像合成装置及びその方法
Jeong et al. Automatic generation of subdivision surface head models from point cloud data
JP2012120080A (ja) 立体写真撮影装置
CN112868052A (zh) 用于提供具有六个自由度的至少部分内容的方法和系统
Mattos et al. 3D linear facial animation based on real data
KR101780496B1 (ko) 컴퓨터그래픽 툴에 의한 캐릭터 모델링 기반 3d 디지털액터 영상 구현방법
CN112561784B (zh) 图像合成方法、装置、电子设备及存储介质
CN115082640A (zh) 基于单张图像的3d人脸模型纹理重建方法及设备
JP7076861B1 (ja) ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム
奥屋武志 Real-Time Rendering Method for Reproducing the Features of Cel Animations
Karunaratne et al. A new efficient expression generation and automatic cloning method for multimedia actors

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3288353

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090315

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090315

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100315

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100315

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110315

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120315

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120315

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130315

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130315

Year of fee payment: 11

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130315

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140315

Year of fee payment: 12

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term