JP2020177615A - アバター用の３ｄ顔モデルを生成する方法及び関連デバイス - Google Patents

Abstract

【課題】コンピューティングデバイスにおいて使用される、アバター用の３Ｄ顔形状を生成する方法を提供すること。【解決手段】本方法は、２Ｄ画像を得るステップと、２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、ランドマークの相対距離に基づいて、顔特徴の複数の分類についての重みを決定するステップであって、複数の分類は、コンピューティングデバイスにおいて予め規定されている、ステップと、顔特徴の複数の分類に対応する３Ｄパラメータ及び重みとともに３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、を含む。【選択図】図２

Description

本開示は、３Ｄ顔復元に関し、より詳細には、ゲーム及びシミュレーションのために、単一２Ｄ画像から３Ｄ顔モデルを生成する方法に関する。

２Ｄ画像を用いた３Ｄ顔モデルの復元は、ゲームへの没入感及びシミュレーション設計のための継続中の課題である。例えば、ユーザは、スクリーン上で見ているアバターがあたかも自分自身であり、アバターの体験が自分自身の体験であるかのように感じることを望む。そのため、人の自身の外観をゲーム又はシミュレーションに挿入する目的で、３Ｄ顔復元の領域において、多くの研究がなされている。しかしながら、ほとんどの既存の方法は、３Ｄ顔モデルを生成するために、少なくとも２つの画像及び複雑な計算を必要とする。

過去において、単一画像を用いた顔復元のために、いくつかの方法が提案されている。それらの方法のうちで、例に基づく方法は、まず、例の集合から、３Ｄ顔モデルの低次元パラメトリック表現を構築し、次いで、パラメトリックモデルを入力２Ｄ画像に当てはめる。周知の例のうちの１つは、畳み込みニューラルネットワーク（ＣＮＮ）とともに適用される３Ｄモーフィングモデル（３ＤＭＭ）である。３ＤＭＭは、その単純さに起因して、普及しているパラメトリック顔モデルであり、他のより高度な顔復元方法の基礎となっている。しかしながら、そのような方法は、個々の特徴を含む顔を生成することができず、特定の条件下で顔認識のために使用され得るだけである。加えて、十分なトレーニングデータの欠如は、ＣＮＮにおける大きな問題であり、したがって、浅い残差ネットワークになる。

単一画像復元に対する別の手法は、これを、陰影の変化からの典型的なコンピュータビジョン問題の３Ｄ形状復元であるＳＦＳ（shape from shading）として解決することである。例えば、Kemelmacher-Shlizerman及びBasriは、基準顔形状を用いて、照明パラメータ及び反射率パラメータを推定することにより、顔入力画像から、奥行き情報を復元している。これらの既存の手法は、単一画像から、高い質の復元をもたらし得るが、制限も付随する。

３ＤＭＭ方法は、単純で効率的であるが、対象とする顔が、例の集合における顔と大きく異なる場合には、満足のいかない結果をもたらし得る。さらに、低次元モデルの制限された自由度に起因して、この方法は、対象とする顔に固有の微細な形状詳細（しわ等）を再生成することができないことが多い。一方、ＳＦＳに基づく方法は、入力画像の外観から、微細スケールの顔詳細を捕捉することができる。しかしながら、これは、復元問題の曖昧さを解決するために、形状又は照明に関する前もっての知識を必要とし、入力画像が仮定を満たさない場合には不正確になり得る。

したがって、上記の問題を解決するための、３Ｄ顔モデルを生成する方法を提供することが目的である。

本開示は、コンピューティングデバイスにおいて使用される、アバター用の３Ｄ顔形状を生成する方法を開示する。当該方法は、２Ｄ画像を得るステップと、前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイスにおいて予め規定されている、ステップと、前記顔特徴の前記複数の分類に対応する３Ｄパラメータ及び前記重みとともに３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、を含む。

本開示は、アバターシミュレーションシステムを開示する。当該アバターシミュレーションシステムは、２Ｄ画像を得るカメラと、アバター用の３Ｄ顔モデルを生成するコンピューティングデバイス又はクラウドと、を有し、前記コンピューティングデバイス又は前記クラウドは、プログラムを実行する処理ユニットと、前記プログラムを記憶する、前記処理ユニットに接続されている記憶ユニットであって、前記プログラムは、２Ｄ画像を得るステップと、前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイス又は前記クラウドにおいて予め規定されている、ステップと、前記顔特徴の前記複数の分類に対応する３Ｄパラメータ及び前記重みとともに３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、を実行するように、前記処理ユニットに命令する、記憶ユニットと、を含む。

本開示は、アバター用の３Ｄ顔形状を生成するコンピューティングデバイスを開示する。当該コンピューティングデバイスは、プログラムを実行する処理ユニットと、前記プログラムを記憶する、前記処理ユニットに接続されている記憶ユニットであって、前記プログラムは、２Ｄ画像を得るステップと、前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイスにおいて予め規定されている、ステップと、前記顔特徴の前記複数の分類に対応する３Ｄパラメータ及び前記重みとともに３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、を実行するように、前記処理ユニットに命令する、記憶ユニットと、を有する。

本発明のこのような目的及び他の目的は、様々な図に例示されている好ましい実施形態の以下の詳細な説明を読んだ後、当業者に疑いなく明らかになるであろう。

本開示の一実施形態に従った３Ｄ顔形状生成デバイスの概略図。 本開示の一実施形態に従ったフローチャート。 本開示の一実施形態に従った顔形状タイプの概略図。 本開示の一実施形態に従った２Ｄ画像の概略図。 本開示の一実施形態に従ったランドマーク検出動作の概略図。 本開示の一実施形態に従った３Ｄ顔モデルの概略図。

図１は、本開示の一実施形態に従った３Ｄ顔形状生成デバイス１０の概略図である。３Ｄ顔形状生成デバイス１０は、ローカルコンピューティングデバイス又はクラウドであってよく、マイクロプロセッサ又は特定用途向け集積回路（ＡＳＩＣ）等の処理ユニット１００と、記憶ユニット１１０と、通信インタフェースユニット１２０と、を含む。記憶ユニット１１０は、処理ユニット１００によりアクセスされる、プログラムコード１１４を記憶することができる任意のデータ記憶デバイスであってよい。記憶ユニット１１０の例は、加入者識別モジュール（ＳＩＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、及び光データ記憶デバイスを含むが、これらに限定されるものではない。通信インタフェースユニット１２０は、処理ユニット１００の処理結果に従って、カメラ及び／又はディスプレイデバイス（図１には示されていない）と信号を交換するための有線通信又は無線通信に対して適用される。すなわち、３Ｄ顔形状生成デバイス１０の通信インタフェースユニット１２０は、カメラから２Ｄ画像を受信するために使用され、生成された３Ｄ顔モデルをディスプレイデバイスに送信するために使用されてよい。したがって、ディスプレイデバイスは、ＶＲへの没入感を増大させるために、生成された３Ｄ顔モデルを用いてアバターを表示することができる。一実施形態において、カメラ、ディスプレイデバイス、及び、ローカルコンピューティングデバイス又はクラウドである３Ｄ顔形状生成デバイス１０は、アバターシミュレーションシステムを形成する。

図２を参照すると、本開示の一実施形態に従ったプロセス２０のフローチャートが示されている。プロセス２０は、ゲーム（例えばＶＲゲーム）及びシミュレーション（例えばアバター）のために単一２Ｄ画像に基づいて３Ｄ顔モデルを生成するために、図１の３Ｄ顔形状生成デバイス１０において使用されてよい。プロセス２０は、記憶ユニット１１０に記憶されるプログラムコード１１４にコンパイルされてよく、以下のステップを含んでよい。

ステップ２００：２Ｄ画像を得る。

ステップ２１０：２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得る。

ステップ２２０：ランドマークの相対距離に基づいて、顔特徴の複数の分類についての重みを決定し、ここで、顔特徴の複数の分類は、３Ｄ顔形状生成デバイス１０において予め規定されている。

ステップ２３０：顔特徴の複数の分類に対応する３Ｄパラメータ及び重みとともに３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成する。

プロセス２０に従って、３Ｄ顔形状生成デバイス１０は、通信インタフェースユニットにより、カメラから；複数の２Ｄ画像を予め記憶している記憶ユニット１１０から；又は、インターネット／ウェブサイト上のデータベースから；１つの２Ｄ画像を受信し、次いで、ランドマーク検出動作により、１つの２Ｄ画像に基づいて、３Ｄ顔モデルを生成する。

詳細には、３Ｄ顔形状生成デバイス１０は、各顔特徴の分類を認識するために、２Ｄ画像上のランドマークに基づいて、顔形状、目、眉、鼻、及び口等の顔特徴を抽出する。

一実施形態において、顔特徴の分類は、アプリケーション／ソフトウェアにおいて予め規定されている又は設計されている。図３を参照すると、図３は、本開示の一実施形態に従った顔形状タイプの概略図である。図３に示されているように、顔形状は、丸い顔、角ばった顔、長い顔、ハート形の顔、菱形の顔、又は楕円形の顔に分類され得るが、このように限定されるものではない。各形状タイプ／分類について、設計者は、顔形状のジオメトリに関連付けられる３Ｄパラメータを設定することに留意されたい。すなわち、各顔形状タイプ／分類は、３Ｄパラメータにより表される。この項目における３Ｄパラメータは、あごの幅及び長さの湾曲に対応するパラメータの集合であり得るが、このように限定されるものではない。

同様に、目、眉、鼻、及び口も、複数のタイプに分類される。例えば、目形状は、目じりが上がっている目、目じりが下がっている目、丸い目、間隔の狭い目、間隔の広い目、切れ長の目、一重まぶたの目、出目、及び奥二重の目を含む。口形状は、薄い唇、大きなふっくらした唇、楕円形の唇、への字型の唇、とがった唇、及び小さい唇を含む。鼻形状は、高い鼻、低い鼻、とがった鼻、丸い鼻、及びわし鼻を含む。

顔特徴の分類に基づいて、３Ｄ顔形状生成デバイス１０は、人工知能（ＡＩ）／機械学習技術を用いて、顔特徴の各分類についての重みを決定する。例えば、丸い顔、角ばった顔、長い顔、ハート形の顔、菱形の顔、及び楕円形の顔等の６つのタイプの顔形状が存在し、６つのタイプの顔形状は、以下の式における３ＤパラメータT1〜T6として表される。ＡＩ／機械学習技術を適用することにより、３Ｄ顔形状生成デバイス１０は、ランドマーク顔形状が、６つの顔タイプに属する確率を計算し、確率に基づいて、６つの顔タイプについての、以下の式におけるW1〜W6として表される重みを決定することができる。３Ｄ顔形状が、生成され得、３Ｄ顔モデル=S₀+T1W1+T2W2...+T6W6（S₀は、３Ｄ顔形状テンプレートである）により表される。

一実施形態において、重みの決定は、２Ｄ画像上のランドマークの相対距離に依拠し得る。例えば、６つのタイプの顔形状の、ランドマークの相対距離に基づいて計算され得る予め規定されているアスペクト比に基づいて、３Ｄ顔形状生成デバイス１０は、２Ｄ画像上のマークされた顔形状が、顔形状の６つのタイプに属する確率を認識する。

そのようなやり方で、３Ｄ顔形状生成デバイス１０は、目、鼻、口、及び眉という各タイプ／分類についての重みを決定し、したがって、アバター用の完全で正確な３Ｄ顔モデルを生成する。例えば、９つのタイプの目形状が存在し、したがって、３Ｄ顔モデルは、３Ｄ顔モデル=S₀+T1W1+T2W2...+T9W9（S₀は、３Ｄ目形状テンプレートであり、T1〜T9は、目形状に関連付けられる３Ｄパラメータであり、W1〜W9は、９つのタイプの目形状に対応する重みである）により表される。

一実施形態において、顔形状タイプ／分類は決定されず、３Ｄ顔形状生成デバイス１０は、確率に基づいて、各顔形状タイプについての重みを決定する。しかしながら、他の実施形態においては、１つ以上の顔形状タイプが決定され（すなわち、予め規定されているアスペクト比を、２Ｄ画像上のマークされた顔形状と比較することにより）、次いで、決定された１つ以上の顔形状タイプについての１つ以上の重みが計算される。

一実施形態において、ランドマーク検出動作は、顔特徴分類（すなわち顔形状予測）を実現するために、２Ｄ画像上での顔検出のためのDlib顔ランドマーク検出器を用いて適用される。詳細には、Dlib顔ランドマーク検出器は、図４に示されているように、所与の画像内で顔を検出し、次いで、図５に示されているように、顔ランドマーク点（画像座標における６８点）を出力する。最後に、重みの決定のための上述したＡＩ／機械学習技術を用いて、３Ｄ顔形状生成デバイス１０は、図６に示されているように、３Ｄ顔モデルを生成する。

ランドマーク検出動作についての詳細な動作は、以下の通りである。
１．トレーニングデータ（ラベル付けされた顔ランドマークを含む画像）を準備する。
２．以下の２．１．〜２．３．を伴う「カスケード型回帰（cascaded regression）」に基づく、dlibの回帰木を用いることにより、顔ランドマークモデルをトレーニングする。
２．１．各カスケードにおいて５００の木がある１０のカスケード
２．２．二乗誤差損失等の損失関数
２．３．学習率：０．１
３．顔ランドマークモデルをデプロイする。

提案されているステップを含む、プロセスの上述したステップは、ハードウェア；ハードウェアデバイスと、ハードウェアデバイス上に読み取り専用ソフトウェアとして存在するコンピュータ命令及びデータと、の組み合わせとして知られているファームウェア；又は、電子システム；であり得る手段により実現され得る。ハードウェアの例は、マイクロ回路、マイクロチップ、又はシリコンチップとして知られている、アナログ回路、デジタル回路、及び混合回路を含み得る。電子システムの例は、システムオンチップ（ＳＯＣ）、システムインパッケージ（ＳｉＰ）、コンピュータオンモジュール（ＣＯＭ）、及び３Ｄ顔形状生成デバイス１０を含み得る。

まとめると、本開示は、ランドマーク検出動作により、３Ｄ顔復元に対処する。詳細には、最も高い質の最も写実的な３Ｄ顔モデルを生成するために、ランドマーク検出動作の形状予測に基づいて、顔特徴の分類／タイプについての重みが、正確に決定され得る。この方法は、従来の方法に比して、優れた正確さを示している。

当業者は、本発明の教示を保持している間に、デバイス及び方法の多数の変更及び変形が可能であることを観察するであろう。したがって、上記の開示は、請求項の範囲及び境界によってのみ限定されるとして解釈されるべきである。

１０ ３Ｄ顔形状生成デバイス
１００ 処理ユニット
１１０ 記憶ユニット
１１４ プログラムコード

Claims (7)

1. コンピューティングデバイスにおいて使用される、アバター用の３Ｄ顔形状を生成する方法であって、
   ２Ｄ画像を得るステップと、
   前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、
   前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイスにおいて予め規定されている、ステップと、
   前記顔特徴の前記複数の分類に対応する３Ｄパラメータ及び前記重みとともに３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、
   を含む、方法。
2. 前記顔特徴は、顔形状、目、眉、鼻、及び口を含む、請求項１に記載の方法。
3. 前記ランドマークの前記相対距離に基づいて、前記顔特徴の前記複数の分類のうちの少なくとも１つの分類を決定するステップ
   をさらに含む、請求項２に記載の方法。
4. 前記ランドマークの前記相対距離に基づいて、前記顔特徴の前記複数の分類のうちの少なくとも１つの分類を決定することは、
   前記ランドマークの前記相対距離に基づいて、前記顔特徴の幅及び長さを決定して、前記顔特徴の比を得ることと、
   前記比に基づいて、前記顔特徴の前記少なくとも１つの分類を決定することと、
   を含む、請求項３に記載の方法。
5. 前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定することは、
   前記ランドマークの前記相対距離に基づいて、前記顔特徴の幅及び長さを決定して、前記顔特徴の比を得ることと、
   前記比に基づいて、前記顔特徴の前記複数の分類についての重みを決定することと、
   を含む、請求項１に記載の方法。
6. アバターシミュレーションシステムであって、
   ２Ｄ画像を得るカメラと、
   アバター用の３Ｄ顔モデルを生成するコンピューティングデバイス又はクラウドと、
   を有し、
   前記コンピューティングデバイス又は前記クラウドは、
   プログラムを実行する処理ユニットと、
   前記プログラムを記憶する、前記処理ユニットに接続されている記憶ユニットであって、前記プログラムは、
   ２Ｄ画像を得るステップと、
   前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、
   前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイス又は前記クラウドにおいて予め規定されている、ステップと、
   前記顔特徴の前記複数の分類に対応する３Ｄパラメータ及び前記重みとともに３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、
   を実行するように、前記処理ユニットに命令する、記憶ユニットと、
   を含む、アバターシミュレーションシステム。
7. アバター用の３Ｄ顔形状を生成するコンピューティングデバイスであって、
   プログラムを実行する処理ユニットと、
   前記プログラムを記憶する、前記処理ユニットに接続されている記憶ユニットであって、前記プログラムは、
   ２Ｄ画像を得るステップと、
   前記２Ｄ画像に対してランドマーク検出動作を実行して、ランドマークを用いて少なくとも１つの顔特徴を得るステップと、
   前記ランドマークの相対距離に基づいて、前記顔特徴の複数の分類についての重みを決定するステップであって、前記複数の分類は、前記コンピューティングデバイスにおいて予め規定されている、ステップと、
   前記顔特徴の前記複数の分類に対応する３Ｄパラメータ及び前記重みとともに３Ｄ顔テンプレートに基づいて、３Ｄ顔モデルを生成するステップと、
   を実行するように、前記処理ユニットに命令する、記憶ユニットと、
   を有する、コンピューティングデバイス。

Images