JP2020177620A - アバター用の３ｄ顔モデルを生成する方法及び関連デバイス - Google Patents
アバター用の３ｄ顔モデルを生成する方法及び関連デバイス Download PDFInfo
- Publication number
- JP2020177620A JP2020177620A JP2019096502A JP2019096502A JP2020177620A JP 2020177620 A JP2020177620 A JP 2020177620A JP 2019096502 A JP2019096502 A JP 2019096502A JP 2019096502 A JP2019096502 A JP 2019096502A JP 2020177620 A JP2020177620 A JP 2020177620A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- computing device
- classifications
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 17
- 210000004709 eyebrow Anatomy 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 9
- 210000001508 eye Anatomy 0.000 claims description 8
- 230000037308 hair color Effects 0.000 claims description 7
- 238000007665 sagging Methods 0.000 claims description 3
- 210000005069 ears Anatomy 0.000 claims description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 2
- 239000010931 gold Substances 0.000 claims description 2
- 229910052737 gold Inorganic materials 0.000 claims description 2
- 210000001331 nose Anatomy 0.000 description 8
- 210000000887 face Anatomy 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241000283707 Capra Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 1
- 235000016622 Filipendula ulmaria Nutrition 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 235000004478 Tragopogon dubius Nutrition 0.000 description 1
- 235000005699 Tragopogon pratensis Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
【課題】コンピューティングデバイスにおいて、３Ｄ顔形状を生成する方法を提供すること。【解決手段】本方法は、２Ｄ画像を得るステップと、２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、２Ｄ画像の複数の顔特徴の各々を分類し、顔特徴がテクスチャ成分に属する確率を得るステップであって、テクスチャ成分は、３Ｄ顔メッシュにより表され、コンピューティングデバイスにおいて予め規定されている、ステップと、最も高い確率を有するテクスチャ成分とコンピューティングデバイスにおいて予め規定されている３Ｄ顔テンプレートとに基づいて、３Ｄ顔モデルを生成するステップと、を含む。【選択図】図２
Description
本開示は、３Ｄ顔復元に関し、より詳細には、ゲーム及びシミュレーションのために、単一２Ｄ画像から３Ｄ顔モデルを生成する方法に関する。
２Ｄ画像を用いた３Ｄ顔モデルの復元は、ゲームへの没入感及びシミュレーション設計のための継続中の課題である。例えば、ユーザは、スクリーン上で見ているアバターがあたかも自分自身であり、アバターの体験が自分自身の体験であるかのように感じることを望む。そのため、人の自身の外観をゲーム又はシミュレーションに挿入する目的で、３Ｄ顔復元の領域において、多くの研究がなされている。しかしながら、ほとんどの既存の方法は、３Ｄ顔モデルを生成するために、少なくとも２つの画像及び複雑な計算を必要とする。
過去において、単一画像を用いた顔復元のために、いくつかの方法が提案されている。それらの方法のうちで、例に基づく方法は、まず、例の集合から、３Ｄ顔モデルの低次元パラメトリック表現を構築し、次いで、パラメトリックモデルを入力２Ｄ画像に当てはめる。周知の例のうちの１つは、畳み込みニューラルネットワーク（ＣＮＮ）とともに適用される３Ｄモーフィングモデル（３ＤＭＭ）である。３ＤＭＭは、その単純さに起因して、普及しているパラメトリック顔モデルであり、他のより高度な顔復元方法の基礎となっている。しかしながら、そのような方法は、個々の特徴を含む顔を生成することができず、特定の条件下で顔認識のために使用され得るだけである。加えて、十分なトレーニングデータの欠如は、ＣＮＮにおける大きな問題であり、したがって、浅い残差ネットワークになる。
単一画像復元に対する別の手法は、これを、陰影の変化からの典型的なコンピュータビジョン問題の３Ｄ形状復元であるＳＦＳ（shape from shading）として解決することである。例えば、Kemelmacher-Shlizerman及びBasriは、基準顔形状を用いて、照明パラメータ及び反射率パラメータを推定することにより、顔入力画像から、奥行き情報を復元している。これらの既存の手法は、単一画像から、高い質の復元をもたらし得るが、制限も付随する。
３ＤＭＭ方法は、単純で効率的であるが、対象とする顔が、例の集合における顔と大きく異なる場合には、満足のいかない結果をもたらし得る。さらに、低次元モデルの制限された自由度に起因して、この方法は、対象とする顔に固有の微細な形状詳細（しわ等）を再生成することができないことが多い。一方、ＳＦＳに基づく方法は、入力画像の外観から、微細スケールの顔詳細を捕捉することができる。しかしながら、これは、復元問題の曖昧さを解決するために、形状又は照明に関する前もっての知識を必要とし、入力画像が仮定を満たさない場合には不正確になり得る。
したがって、上記の問題を解決するための、３Ｄ顔モデルを生成する方法を提供することが目的である。
本開示は、コンピューティングデバイスにおいて、３Ｄ顔形状を生成する方法を開示する。当該方法は、２Ｄ画像を得るステップと、前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイスにおいて予め規定されている、ステップと、前記２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、前記２Ｄ画像の複数の顔特徴の各々を分類し、前記顔特徴が前記テクスチャ成分に属する確率を得るステップであって、前記テクスチャ成分は、３Ｄ顔メッシュにより表され、前記コンピューティングデバイスにおいて予め規定されている、ステップと、前記顔特徴の前記複数の分類に対応する３Ｄパラメータ、対応する前記重み、及び、最も高い確率を有するテクスチャ成分とともに、前記コンピューティングデバイスにおいて予め規定されている３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、を含む。
本開示は、アバターシミュレーションシステムを開示する。当該アバターシミュレーションシステムは、２Ｄ画像を得るカメラと、３Ｄ顔モデルを生成するコンピューティングデバイス又はクラウドと、を有し、前記コンピューティングデバイス又は前記クラウドは、プログラムを実行する処理ユニットと、前記プログラムを記憶する、前記処理ユニットに接続されている記憶ユニットであって、前記プログラムは、２Ｄ画像を得るステップと、前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイス又は前記クラウドにおいて予め規定されている、ステップと、前記２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、前記２Ｄ画像の複数の顔特徴の各々を分類し、前記顔特徴が前記テクスチャ成分に属する確率を得るステップであって、前記テクスチャ成分は、３Ｄ顔メッシュにより表され、前記コンピューティングデバイス又は前記クラウドにおいて予め規定されている、ステップと、前記顔特徴の前記複数の分類に対応する３Ｄパラメータ、対応する前記重み、及び、最も高い確率を有するテクスチャ成分とともに、前記コンピューティングデバイス又は前記クラウドにおいて予め規定されている３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、を実行するように、前記処理ユニットに命令する、記憶ユニットと、を含む。
本開示は、アバター用の３Ｄ顔形状を生成するコンピューティングデバイスを開示する。当該コンピューティングデバイスは、プログラムを実行する処理ユニットと、前記プログラムを記憶する、前記処理ユニットに接続されている記憶ユニットであって、前記プログラムは、２Ｄ画像を得るステップと、前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイスにおいて予め規定されている、ステップと、前記２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、前記２Ｄ画像の複数の顔特徴の各々を分類し、前記顔特徴が前記テクスチャ成分に属する確率を得るステップであって、前記テクスチャ成分は、３Ｄ顔メッシュにより表され、前記コンピューティングデバイスにおいて予め規定されている、ステップと、前記顔特徴の前記複数の分類に対応する３Ｄパラメータ、対応する前記重み、及び、最も高い確率を有するテクスチャ成分とともに、前記コンピューティングデバイスにおいて予め規定されている３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、を実行するように、前記処理ユニットに命令する、記憶ユニットと、を有する。
本発明のこのような目的及び他の目的は、様々な図に例示されている好ましい実施形態の以下の詳細な説明を読んだ後、当業者に疑いなく明らかになるであろう。
図１は、本開示の一実施形態に従った３Ｄ顔形状生成デバイス１０の概略図である。３Ｄ顔形状生成デバイス１０は、ローカルコンピューティングデバイス又はクラウドであってよく、マイクロプロセッサ又は特定用途向け集積回路（ＡＳＩＣ）等の処理ユニット１００と、記憶ユニット１１０と、通信インタフェースユニット１２０と、を含む。記憶ユニット１１０は、処理ユニット１００によりアクセスされる、プログラムコード１１４を記憶することができる任意のデータ記憶デバイスであってよい。記憶ユニット１１０の例は、加入者識別モジュール（ＳＩＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、及び光データ記憶デバイスを含むが、これらに限定されるものではない。通信インタフェースユニット１２０は、処理ユニット１００の処理結果に従って、カメラ及び／又はディスプレイデバイス（図１には示されていない）と信号を交換するための有線通信又は無線通信に対して適用される。すなわち、３Ｄ顔形状生成デバイス１０の通信インタフェースユニット１２０は、カメラから２Ｄ画像を受信するために使用され、生成された３Ｄ顔モデルをディスプレイデバイスに送信するために使用されてよい。したがって、ディスプレイデバイスは、ＶＲへの没入感を増大させるために、生成された３Ｄ顔モデルを用いてアバターを表示することができる。一実施形態において、カメラ、ディスプレイデバイス、及び、ローカルコンピューティングデバイス又はクラウドである３Ｄ顔形状生成デバイス１０は、アバターシミュレーションシステムを形成する。
図２を参照すると、本開示の一実施形態に従ったプロセス２０のフローチャートが示されている。プロセス２０は、ゲーム（例えばＶＲゲーム）及びシミュレーション（例えばアバター）のために単一２Ｄ画像に基づいて３Ｄ顔モデルを生成するために、図１の３Ｄ顔形状生成デバイス１０において使用されてよい。プロセス２０は、記憶ユニット１１０に記憶されるプログラムコード１１４にコンパイルされてよく、以下のステップを含んでよい。
ステップ２００：２Ｄ画像を得る。
ステップ２１０：２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得る。
ステップ２２０：ランドマークの相対距離に基づいて、顔特徴の複数の分類についての重みを決定し、ここで、複数の分類は、３Ｄ顔形状生成デバイス１０において予め規定されている。
ステップ２３０：２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、２Ｄ画像の顔特徴の各々を分類し、顔特徴がテクスチャ成分に属する確率を得、ここで、テクスチャ成分は、３Ｄ顔メッシュにより表され、３Ｄ顔形状生成デバイス１０において予め規定されている。
ステップ２４０：顔特徴の複数の分類に対応する３Ｄパラメータ、対応する重み、及び、最も高い確率を有するテクスチャ成分とともに、３Ｄ顔形状生成デバイス１０において予め規定されている３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成する。
プロセス２０に従って、３Ｄ顔形状生成デバイス１０は、通信インタフェースユニットにより、カメラから；複数の２Ｄ画像を予め記憶している記憶ユニット１１０から；又は、インターネット／ウェブサイト上のデータベースから；１つの２Ｄ画像を受信し、次いで、ランドマーク検出動作及びＤＮＮ動作により、１つの２Ｄ画像に基づいて、アバター用の３Ｄ顔モデルを生成する。
詳細には、３Ｄ顔形状生成デバイス１０は、各顔面形状（例えば、顔形状、目形状、鼻形状、及び口形状）の分類を認識するために、２Ｄ画像上のランドマークによって、顔、目、鼻、及び口等の顔特徴を抽出する。一実施形態において、顔面形状の分類は、アプリケーション／ソフトウェアにおいて予め規定されている又は設計されている。例えば、顔形状は、丸い顔、角ばった顔、長い顔、ハート形の顔、菱形の顔、又は楕円形の顔に分類され得るが、このように限定されるものではない。各顔形状タイプ／分類について、設計者は、顔形状のジオメトリに関連付けられる３Ｄパラメータを設定することに留意されたい。すなわち、各顔形状タイプ／分類は、３Ｄパラメータにより表される。この項目における３Ｄパラメータは、あごの幅及び長さの湾曲に対応するパラメータの集合であり得るが、このように限定されるものではないことに留意されたい。同様に、目、鼻、及び口も、複数のタイプに分類される。
顔特徴の分類に基づいて、３Ｄ顔形状生成デバイス１０は、人工知能（ＡＩ）／機械学習技術を用いて、顔特徴の各分類についての重みを決定する。例えば、丸い顔、角ばった顔、長い顔、ハート形の顔、菱形の顔、及び楕円形の顔等の６つのタイプの顔形状が存在し、これらの顔形状は、以下の式における３ＤパラメータT1〜T6として表される。ＡＩ／機械学習技術を適用することにより、３Ｄ顔形状生成デバイス１０は、ランドマーク顔形状が、６つの顔タイプに属する確率を計算し、確率に基づいて、６つの顔タイプについての、以下の式におけるW1〜W6として表される重みを決定することができる。３Ｄ顔形状は、３Ｄ顔モデル=S0+T1W1+T2W2...+T6W6（S0は、３Ｄ顔形状テンプレートである）により表される。
上述したコンセプトは、顔面形状に基づいてアバター用の３Ｄ顔モデルを生成するために、目、鼻、及び口についても適用され得る。
一方で、３Ｄ顔形状生成デバイス１０は、ＤＮＮ動作により、顔特徴を抽出し、したがって、２Ｄ画像の顔特徴は、形状によって表されるだけでなく、眉テクスチャ、顔ひげテクスチャ、髪型、及びモーフターゲット（morph target）、目の下のたるみ（eye bag）、唇色、髪色等といったテクスチャ成分によっても表される。さらに、ＤＮＮ動作は、顔特徴がテクスチャ成分に属する確率を計算することができる。すなわち、ＤＮＮ動作は、テクスチャ成分が現れているかどうかを判定するために用いられる。
一実施形態において、テクスチャ成分は、アプリケーション／ソフトウェアにおいて予め規定されており又は設計されており、３Ｄ顔メッシュにより表される。要するに、各テクスチャ成分について、設計者は、テクスチャ成分に基づいてアバター用の３Ｄ顔モデルを生成するために、３Ｄ顔テンプレートの表面上に顔面テクスチャを提示するための３Ｄ顔メッシュを設定する。図３〜図４を参照すると、これらは、本開示の一実施形態に従ったテクスチャ成分の概略図である。図３に示されているように、眉テクスチャは、高いアーチ、濃い、細い、真っ直ぐ、及び、なめらかなアーチを含み、これらは、３Ｄ顔メッシュとして見ることができる。図４において、顔ひげテクスチャは、やぎひげ、耳前からのあごひげ、無精ひげ、カーテンのようなあごひげ、スペードのようなひげ、もみあげとつながり上端が細く下端が広がったほおひげ、古いオランダ人のようなひげ、及び流行のひげを含み、各顔ひげテクスチャは、３Ｄ顔メッシュに対応する。
加えて、髪色は、黒、茶、金、及びグレーを含む。モーフターゲットは、尖った鼻、だんご鼻、上向きの鼻、及びわし鼻を含み、髪型は、ショート、ミディアム、ロング、及び毛無を含む。
さらに、顔特徴がテクスチャ成分に属する確率に基づいて、３Ｄ顔形状生成デバイス１０は、３Ｄ顔モデルを生成するために、最も高い確率を有するテクスチャ成分を選択する。例えば、眉については、高いアーチ、濃い、細い、真っ直ぐ、なめらかなアーチ等、５つのテクスチャ成分が存在する。ＤＮＮ動作により、３Ｄ顔形状生成デバイス１０は、２Ｄ画像上の顔の眉が高いアーチテクスチャに属する確率が０．１であり、２Ｄ画像上の顔の眉が濃いテクスチャに属する確率が０．９であり、２Ｄ画像上の顔の眉が他のテクスチャに属する確率が０であるという確率を得る。したがって、３Ｄ顔形状生成デバイス１０は、３Ｄ顔テンプレートとともに、濃いテクスチャに対応する３Ｄ顔メッシュを使用して、３Ｄ顔モデルを生成する。
そのようなやり方で、３Ｄ顔形状生成デバイス１０は、完全な顔特徴（すなわち顔面形状及び顔面テクスチャ）を有する３Ｄ顔モデルを生成するために、ＤＮＮ動作により計算された確率に基づいて、モーフターゲット、唇色、髪色、髪型、及び顔ひげについてのテクスチャ成分を選択する。
一実施形態において、ＤＮＮ動作は、顔帰属予測を実現するために、図５に示されているような２Ｄ画像において適用され、ここで、ＤＮＮ動作は、テクスチャ成分が現れているかどうかを確率で示すラベルを出力する。例えば、label_1は、やぎひげについての確率が０．８であることを示し、label_2は、耳前からのあごひげについての確率が０．１であることを示す。したがって、３Ｄ顔形状生成デバイス１０は、やぎひげが３Ｄ顔モデルにおいて提示される、ということを決定する。要するに、５つの髪色が存在する場合、５つのラベルが、５つの髪色についての確率を示すために使用される。同じコンセプトが、３Ｄ顔モデルにおいて提示されるテクスチャ成分を決定するために、モーフターゲット、髪型、唇色、眉、目の下のたるみ等についても適用され得る。最後に、最も高い確率を有するテクスチャ成分についての上述したラベルを用いて、３Ｄ顔形状生成デバイス１０は、図６に示されているような３Ｄ顔モデルを生成する。
ＤＮＮ動作についての詳細な動作は、以下の通りである。
１．トレーニングデータ（ラベル付けされた顔特徴を含む画像）を準備する。
２．損失関数（すなわちバイナリ交差エントロピー）を定める。
３．トレーニングデータをネットワークに与え、オプティマイザを使用して、出力損失関数を最小化するようにネットワークのパラメータを調整する。
４．顔帰属予測のためにネットワークをデプロイする。
１．トレーニングデータ（ラベル付けされた顔特徴を含む画像）を準備する。
２．損失関数（すなわちバイナリ交差エントロピー）を定める。
３．トレーニングデータをネットワークに与え、オプティマイザを使用して、出力損失関数を最小化するようにネットワークのパラメータを調整する。
４．顔帰属予測のためにネットワークをデプロイする。
提案されているステップを含む、プロセスの上述したステップは、ハードウェア；ハードウェアデバイスと、ハードウェアデバイス上に読み取り専用ソフトウェアとして存在するコンピュータ命令及びデータと、の組み合わせとして知られているファームウェア；又は、電子システム；であり得る手段により実現され得る。ハードウェアの例は、マイクロ回路、マイクロチップ、又はシリコンチップとして知られている、アナログ回路、デジタル回路、及び混合回路を含み得る。電子システムの例は、システムオンチップ（ＳＯＣ）、システムインパッケージ（ＳｉＰ）、コンピュータオンモジュール（ＣＯＭ）、及び３Ｄ顔形状生成デバイス１０を含み得る。
まとめると、本開示は、ランドマーク検出動作及びＤＮＮ動作により、３Ｄ顔復元に対処する。詳細には、最も高い質の最も写実的な３Ｄ顔モデルを生成するために、ＤＮＮ動作の顔帰属予測に基づいて、顔特徴に対応するテクスチャ成分についての確率が、正確に決定され得る。この方法は、従来の方法に比して、優れた正確さを示している。
当業者は、本発明の教示を保持している間に、デバイス及び方法の多数の変更及び変形が可能であることを観察するであろう。したがって、上記の開示は、請求項の範囲及び境界によってのみ限定されるとして解釈されるべきである。
１０ ３Ｄ顔形状生成デバイス
１００ 処理ユニット
１１０ 記憶ユニット
１１４ プログラムコード
１００ 処理ユニット
１１０ 記憶ユニット
１１４ プログラムコード
Claims (9)
- コンピューティングデバイスにおいて、アバター用の３Ｄ顔形状を生成する方法であって、
２Ｄ画像を得るステップと、
前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、
前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイスにおいて予め規定されている、ステップと、
前記２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、前記２Ｄ画像の複数の顔特徴の各々を分類し、前記顔特徴が前記テクスチャ成分に属する確率を得るステップであって、前記テクスチャ成分は、３Ｄ顔メッシュにより表され、前記コンピューティングデバイスにおいて予め規定されている、ステップと、
前記顔特徴の前記複数の分類に対応する３Ｄパラメータ、対応する前記重み、及び、最も高い確率を有するテクスチャ成分とともに、前記コンピューティングデバイスにおいて予め規定されている３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、
を含む、方法。 - 前記テクスチャ成分は、唇色、目の下のたるみ、眉テクスチャ、顔ひげテクスチャ、髪色、髪型、及びモーフターゲットを含む、請求項１に記載の方法。
- 前記眉テクスチャは、高いアーチ、濃い、細い、真っ直ぐ、及び、なめらかなアーチを含み、前記顔ひげテクスチャは、やぎひげ、耳前からのあごひげ、無精ひげ、カーテンのようなあごひげ、スペードのようなひげ、もみあげとつながり上端が細く下端が広がったほおひげ、古いオランダ人のようなひげ、及び流行のひげを含み、前記髪色は、黒、茶、金、及びグレーを含み、前記モーフターゲットは、尖った鼻、だんご鼻、上向きの鼻、及びわし鼻を含み、前記髪型は、ショート、ミディアム、ロング、及び毛無を含む、請求項２に記載の方法。
- 前記複数の顔特徴は、顔形状、目、眉、鼻、及び口を含む、請求項１に記載の方法。
- 前記ランドマークの前記相対距離に基づいて、前記顔特徴の前記複数の分類のうちの少なくとも１つの分類を決定するステップ
をさらに含む、請求項４に記載の方法。 - 前記ランドマークの前記相対距離に基づいて、前記顔特徴の前記複数の分類のうちの少なくとも１つの分類を決定することは、
前記ランドマークの前記相対距離に基づいて、前記顔特徴の幅及び長さを決定して、前記顔特徴の比を得ることと、
前記比に基づいて、前記顔特徴の前記少なくとも１つの分類を決定することと、
を含む、請求項５に記載の方法。 - 前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定することは、
前記ランドマークの前記相対距離に基づいて、前記顔特徴の幅及び長さを決定して、前記顔特徴の比を得ることと、
前記比に基づいて、前記顔特徴の前記複数の分類についての重みを決定することと、
を含む、請求項１に記載の方法。 - アバターシミュレーションシステムであって、
２Ｄ画像を得るカメラと、
３Ｄ顔モデルを生成するコンピューティングデバイス又はクラウドと、
を有し、
前記コンピューティングデバイス又は前記クラウドは、
プログラムを実行する処理ユニットと、
前記プログラムを記憶する、前記処理ユニットに接続されている記憶ユニットであって、前記プログラムは、
２Ｄ画像を得るステップと、
前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、
前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイス又は前記クラウドにおいて予め規定されている、ステップと、
前記２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、前記２Ｄ画像の複数の顔特徴の各々を分類し、前記顔特徴が前記テクスチャ成分に属する確率を得るステップであって、前記テクスチャ成分は、３Ｄ顔メッシュにより表され、前記コンピューティングデバイス又は前記クラウドにおいて予め規定されている、ステップと、
前記顔特徴の前記複数の分類に対応する３Ｄパラメータ、対応する前記重み、及び、最も高い確率を有するテクスチャ成分とともに、前記コンピューティングデバイス又は前記クラウドにおいて予め規定されている３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、
を実行するように、前記処理ユニットに命令する、記憶ユニットと、
を含む、アバターシミュレーションシステム。 - アバター用の３Ｄ顔形状を生成するコンピューティングデバイスであって、
プログラムを実行する処理ユニットと、
前記プログラムを記憶する、前記処理ユニットに接続されている記憶ユニットであって、前記プログラムは、
２Ｄ画像を得るステップと、
前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、
前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイスにおいて予め規定されている、ステップと、
前記２Ｄ画像に対して深層ニューラルネットワーク（ＤＮＮ）動作を実行して、テクスチャ成分として、前記２Ｄ画像の複数の顔特徴の各々を分類し、前記顔特徴が前記テクスチャ成分に属する確率を得るステップであって、前記テクスチャ成分は、３Ｄ顔メッシュにより表され、前記コンピューティングデバイスにおいて予め規定されている、ステップと、
前記顔特徴の前記複数の分類に対応する３Ｄパラメータ、対応する前記重み、及び、最も高い確率を有するテクスチャ成分とともに、前記コンピューティングデバイスにおいて予め規定されている３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、
を実行するように、前記処理ユニットに命令する、記憶ユニットと、
を有する、コンピューティングデバイス。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/389,984 US10650564B1 (en) | 2019-04-21 | 2019-04-21 | Method of generating 3D facial model for an avatar and related device |
| US16/389,984 | 2019-04-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020177620A true JP2020177620A (ja) | 2020-10-29 |
Family
ID=70612957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019096502A Pending JP2020177620A (ja) | 2019-04-21 | 2019-05-23 | アバター用の３ｄ顔モデルを生成する方法及び関連デバイス |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10650564B1 (ja) |
| JP (1) | JP2020177620A (ja) |
| CN (1) | CN111833236B (ja) |
| TW (1) | TW202040517A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022020054A (ja) * | 2020-11-09 | 2022-01-31 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | ３次元アバタ生成方法、装置、電子機器及び記憶媒体 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111385598A (zh) * | 2018-12-29 | 2020-07-07 | 富泰华工业（深圳）有限公司 | 云端装置、终端装置及影像分类方法 |
| CN110111246B (zh) * | 2019-05-15 | 2022-02-25 | 北京市商汤科技开发有限公司 | 一种虚拟头像生成方法及装置、存储介质 |
| US20240029345A1 (en) * | 2019-11-18 | 2024-01-25 | Wolfprint 3D Oü | Methods and system for generating 3d virtual objects |
| US20210358144A1 (en) * | 2020-05-15 | 2021-11-18 | Koninklijke Philips N.V. | Determining 3-d facial information of a patient from a 2-d frontal image of the patient |
| CN111968207B (zh) * | 2020-09-25 | 2021-10-29 | 魔珐(上海)信息科技有限公司 | 动画生成方法、装置、系统及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100608840B1 (ko) * | 2005-03-11 | 2006-08-08 | 엘지전자 주식회사 | 휴대단말기의 3차원 아바타 합성방법 |
| JP2009223419A (ja) * | 2008-03-13 | 2009-10-01 | Sannetto:Kk | ネットワークチャットサービスにおけるアバターの作成編集方法、チャットサービスシステム、および画像データの作成編集方法 |
| JP2016136324A (ja) * | 2015-01-23 | 2016-07-28 | 任天堂株式会社 | プログラム、情報処理装置、情報処理システム及びアバター画像の生成方法 |
| WO2018057272A1 (en) * | 2016-09-23 | 2018-03-29 | Apple Inc. | Avatar creation and editing |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7424164B2 (en) * | 2003-04-21 | 2008-09-09 | Hewlett-Packard Development Company, L.P. | Processing a detected eye of an image to provide visual enhancement |
| US20040208388A1 (en) * | 2003-04-21 | 2004-10-21 | Morgan Schramm | Processing a facial region of an image differently than the remaining portion of the image |
| JP4121026B2 (ja) * | 2004-01-21 | 2008-07-16 | 富士フイルム株式会社 | 撮像装置および方法並びにプログラム |
| US7415140B2 (en) * | 2004-01-27 | 2008-08-19 | Seiko Epson Corporation | Method of correcting deviation of detection position for human face, correction system, and correction program |
| TW200530943A (en) * | 2004-03-08 | 2005-09-16 | Avermedia Tech Inc | Digital security system |
| US7436988B2 (en) * | 2004-06-03 | 2008-10-14 | Arizona Board Of Regents | 3D face authentication and recognition based on bilateral symmetry analysis |
| US7869630B2 (en) * | 2005-03-29 | 2011-01-11 | Seiko Epson Corporation | Apparatus and method for processing image |
| CN1959736A (zh) * | 2005-11-02 | 2007-05-09 | 绘展科技股份有限公司 | 撷取三维脸部影像的系统及方法 |
| TWI382354B (zh) * | 2008-12-02 | 2013-01-11 | Nat Univ Tsing Hua | 臉部辨識方法 |
| CN101763636B (zh) * | 2009-09-23 | 2012-07-04 | 中国科学院自动化研究所 | 视频序列中的三维人脸位置和姿态跟踪的方法 |
| CN101751689B (zh) * | 2009-09-28 | 2012-02-22 | 中国科学院自动化研究所 | 一种三维人脸重建方法 |
| US11232290B2 (en) * | 2010-06-07 | 2022-01-25 | Affectiva, Inc. | Image analysis using sub-sectional component evaluation to augment classifier usage |
| US9600711B2 (en) * | 2012-08-29 | 2017-03-21 | Conduent Business Services, Llc | Method and system for automatically recognizing facial expressions via algorithmic periocular localization |
| CN104715505A (zh) * | 2015-03-19 | 2015-06-17 | 启云科技股份有限公司 | 三维头像产生系统及其装置、产生方法 |
| US10284816B2 (en) * | 2015-03-23 | 2019-05-07 | Intel Corporation | Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes |
| WO2017000300A1 (en) * | 2015-07-02 | 2017-01-05 | Xiaoou Tang | Methods and systems for social relation identification |
| CN105095881B (zh) * | 2015-08-21 | 2023-04-07 | 小米科技有限责任公司 | 人脸识别方法、装置及终端 |
| US10339365B2 (en) * | 2016-03-31 | 2019-07-02 | Snap Inc. | Automated avatar generation |
| CN105930497B (zh) * | 2016-05-06 | 2019-05-24 | 浙江工业大学 | 基于图像边缘和线条特征的三维模型检索方法 |
| TWI637353B (zh) * | 2016-05-26 | 2018-10-01 | 華碩電腦股份有限公司 | 測量裝置及測量方法 |
| US9886640B1 (en) * | 2016-08-08 | 2018-02-06 | International Business Machines Corporation | Method and apparatus to identify a live face image using a thermal radiation sensor and a visual radiation sensor |
| US10497172B2 (en) * | 2016-12-01 | 2019-12-03 | Pinscreen, Inc. | Photorealistic facial texture inference using deep neural networks |
| US10535163B2 (en) * | 2016-12-01 | 2020-01-14 | Pinscreen, Inc. | Avatar digitization from a single image for real-time rendering |
| CN106652025B (zh) * | 2016-12-20 | 2019-10-01 | 五邑大学 | 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置 |
| US20180190377A1 (en) * | 2016-12-30 | 2018-07-05 | Dirk Schneemann, LLC | Modeling and learning character traits and medical condition based on 3d facial features |
| CN107274493B (zh) * | 2017-06-28 | 2020-06-19 | 河海大学常州校区 | 一种基于移动平台的三维虚拟试发型人脸重建方法 |
| CN109325437B (zh) * | 2018-09-17 | 2021-06-22 | 北京旷视科技有限公司 | 图像处理方法、装置和系统 |
-
2019
- 2019-04-21 US US16/389,984 patent/US10650564B1/en active Active
- 2019-05-22 TW TW108117644A patent/TW202040517A/zh unknown
- 2019-05-23 JP JP2019096502A patent/JP2020177620A/ja active Pending
- 2019-05-31 CN CN201910466467.8A patent/CN111833236B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100608840B1 (ko) * | 2005-03-11 | 2006-08-08 | 엘지전자 주식회사 | 휴대단말기의 3차원 아바타 합성방법 |
| JP2009223419A (ja) * | 2008-03-13 | 2009-10-01 | Sannetto:Kk | ネットワークチャットサービスにおけるアバターの作成編集方法、チャットサービスシステム、および画像データの作成編集方法 |
| JP2016136324A (ja) * | 2015-01-23 | 2016-07-28 | 任天堂株式会社 | プログラム、情報処理装置、情報処理システム及びアバター画像の生成方法 |
| WO2018057272A1 (en) * | 2016-09-23 | 2018-03-29 | Apple Inc. | Avatar creation and editing |
Non-Patent Citations (2)
| Title |
|---|
| @RANWENSHENG: "顔ランドマーク検出論文サーベイ", [ONLINE], JPN7020002147, 25 February 2019 (2019-02-25), ISSN: 0004311157 * |
| 竹内充: "修士論文「顔画像からのパーツ選択によるアバター自動生成」", [ONLINE], JPN7020002146, 23 March 2009 (2009-03-23), ISSN: 0004311156 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022020054A (ja) * | 2020-11-09 | 2022-01-31 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | ３次元アバタ生成方法、装置、電子機器及び記憶媒体 |
| JP7212741B2 (ja) | 2020-11-09 | 2023-01-25 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | ３次元アバタ生成方法、装置、電子機器及び記憶媒体 |
| US11587300B2 (en) | 2020-11-09 | 2023-02-21 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for generating three-dimensional virtual image, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111833236B (zh) | 2023-07-07 |
| US10650564B1 (en) | 2020-05-12 |
| CN111833236A (zh) | 2020-10-27 |
| TW202040517A (zh) | 2020-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7191213B2 (ja) | 顔モデルの生成方法、装置、電子機器及びコンピュータ可読記憶媒体 | |
| JP2020177620A (ja) | アバター用の３ｄ顔モデルを生成する方法及び関連デバイス | |
| US10559111B2 (en) | Systems and methods for generating computer ready animation models of a human head from captured data images | |
| US10169905B2 (en) | Systems and methods for animating models from audio data | |
| Liao et al. | Automatic caricature generation by analyzing facial features | |
| JP3984191B2 (ja) | 仮想化粧装置及びその方法 | |
| JP2020177615A (ja) | アバター用の３ｄ顔モデルを生成する方法及び関連デバイス | |
| CN105405157B (zh) | 肖像画生成装置、肖像画生成方法 | |
| CN108629339A (zh) | 图像处理方法及相关产品 | |
| US11282257B2 (en) | Pose selection and animation of characters using video data and training techniques | |
| JP2024500896A (ja) | ３ｄ頭部変形モデルを生成するための方法、システム及び方法 | |
| CN113628327A (zh) | 一种头部三维重建方法及设备 | |
| JP7462120B2 (ja) | ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
| CN115689869A (zh) | 一种视频美妆迁移方法及系统 | |
| CN114283052A (zh) | 妆容迁移及妆容迁移网络的训练方法和装置 | |
| JP2024506170A (ja) | 個人化された３ｄ頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム | |
| US11361467B2 (en) | Pose selection and animation of characters using video data and training techniques | |
| EP3731189A1 (en) | Method of generating 3d facial model for an avatar and related device | |
| CN116542846B (zh) | 用户账号图标生成方法、装置、计算机设备及存储介质 | |
| EP3731132A1 (en) | Method of generating 3d facial model for an avatar and related device | |
| Kumari et al. | Age progression for elderly people using image morphing | |
| CN117726725A (zh) | 一种3d宠物角色生成控制方法及相关设备 | |
| Lee et al. | 3d face deformation using control points and vector muscles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200728 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210323 |