JP2021507394A - 多特徴検索と変形に基づく人体髪型の生成方法 - Google Patents

Abstract

髪型マスクを取得することと、顔の特徴点を識別し、髪型データベースにおける顔とマッチングすることと、画像と標準顔を位置合わせし、対応する頭髪領域を得ることと、頭髪領域及び髪型データベースにおける全ての正面顔の頭髪マスクのミンコフスキー距離を計算し、小さい方から大きい方へと並べ替え、対応する重みを与えることと、深層学習ネットワークを訓練し、異なるスケールでの頭髪基本ブロックの髪型を検出することと、最も類似した頭髪写真を取り出すこととを含む多特徴検索と変形に基づく人体髪型の生成方法。本発明では、１枚の正面顔照片を用いて、検索データベースにより大規模三次元髪型データベースから写真に最も類似した三次元頭髪モデルを検索することにより、手でモデルを構築することが回避され、効率が向上し、より高い忠実度が保証される。【選択図】図２

Description

本発明は、三次元画像分野に関し、具体的には、多特徴検索と変形に基づく人体髪型の生成方法に関する。

頭髪モデルの生成は、三次元頭部再構築技術に属し、仮想キャラクターの重要な部分であり、仮想人間の最も重要な特徴の一つである。通常、頭部画像は、面部及び頭髪の２つの部分に分けられている。

頭髪の再構築技術は、現在広く使用されている方式は、１枚の正面写真及び１枚の側面写真を情報源とし、人物の正面と側面の面部及び頭髪の特徴点を抽出し、三次元頭部モデルを生成し、頭髪の特徴点に基づいて二次元頭部テクスチャを生成し、三次元頭部モデルにマッピングし、頭髪領域の特徴点に基づいて、クーンズ曲面により頭髪領域のフィッティングを行い、クーンズ曲面を変形させ、テクスチャマッピングを行うことである。

１枚の写真に基づいてモデルを構築し、一般には、三次元顔データベースから有用な事前知識を抽出し、写真における顔に対応する三次元モデルを推測する。

ＷＯ２０１６／ＣＮ１０７１２１には、再構築されたユーザの顔正面画像を取得することと、その頭髪領域の画像を確定することと、頭髪領域と髪型データベースにおける三次元３Ｄ頭髪モデルをマッチングし、上記頭髪領域画像に最も類似した３Ｄ頭髪モデルを取得することと、上記頭髪領域に最も類似した３Ｄ頭髪モデルを再構築されたユーザの３Ｄ頭髪モデルとして確定することとを含むユーザ頭髪モデルの再構築方法、装置及び端末が開示されている。

ＣＮ２０１６８００２５６０９．１には、三次元頭髪のモデル構築方法及び装置が開示されている。当該方法は、構築すべき頭髪の３Ｄ頭部モデルと所定の参考頭部モデルの間の第一座標変換関係を確定することと、３Ｄ頭部モデルと所定の３Ｄ頭髪テンプレートとの間の第二座標変換関係を確定し、第一座標変換関係及び第二座標変換関係に基づいて３Ｄ頭部モデルと３Ｄ頭髪テンプレートとをレジストレーションすることと、３Ｄ頭髪テンプレートと参考頭部モデルとをマッチングすることと、レジストレーション後の３Ｄ頭髪テンプレートにエラー領域が存在することが検出された場合、動径基底関数ＲＢＦにより３Ｄ頭髪テンプレートのエラー領域における頭髪を変形させ、エラー領域を校正することとを含み、エラー領域は、３Ｄ頭髪テンプレートにおける３Ｄ頭部モデルを完全に遮らない頭皮層領域又は３Ｄ頭髪テンプレートにおける毛根領域における３Ｄ頭部モデルを遮る非頭皮層領域を含む。

ＣＮ２０１３１０３１２５００．４には、三次元頭部画像の自動生成方法が開示されている。当該方法は、三次元顔ライブラリーを収集することと、三次元髪型ライブラリーを収集することと、入力された正面顔写真に対して顔検出アルゴリズムにより顔を検出し、アクティブ形状モデルにより顔正面の特徴点を位置決めすることと、三次元顔ライブラリー、入力された顔照片及び顔特徴点座標に基づいて変形モデル方法により三次元顔モデルを生成することと、入力された正面顔写真に対して、マルコフ確率場に基づく頭髪方法により頭髪を分割することと、頭髪分割結果に基づいて頭髪テクスチャを抽出することと、最終的なマッチングの頭髪モデルを得ることと、顔モデルと頭髪モデルを合成することとを含む。この方法によれば、手で髪型を添加することが回避され、効率が向上し、より高い忠実度が保証される。

ＣＮ２０１４１０１６１５７６．６には、顔正面写真を取得する取得ユニットと、得られた上記顔正面写真に基づいて三次元頭部モデルを確定し、頭髪テンプレートの適合値を確定する第一確定ユニットと、上記第一確定ユニットにより確定された上記頭髪テンプレートの適合値に基づいて所定の頭髪テンプレート標準適合値と標準頭髪テンプレートの説明情報の対応関係中で、上記頭髪テンプレートの適合値に対応する標準頭髪テンプレートの説明情報を確定する第二確定ユニットと、上記第二確定ユニットにより確定された上記標準頭髪テンプレートの説明情報及び上記第一確定ユニットにより確定された上記三次元頭部モデルに基づいて上記三次元頭部モデルに適用できる専用頭髪テンプレートを得る生成ユニットとを含む仮想人間頭髪生成装置が開示されている。写真における人物頭髪を再構築する際に、１枚の人物正面写真だけで足り、頭髪特徴点を採取する必要がない。

本発明は、従来技術の問題を解決するために、多特徴検索と変形に基づく人体髪型の生成方法を提供することを目的とする。

上記目的を達成するために、本発明の技術的手段は以下のステップを含む。
１）１枚の写真の髪型に基づいて自動的に分割して対応する髪型マスクを得る。
２）顔特徴点識別アルゴリズムにより入力写真の顔特徴点を識別し、これらの特徴点と髪型データベースの標準顔の特徴点とをマッチングし、対応するワーピング関数を求める。
３）得られたワーピング関数を用い、入力写真の顔と標準顔を位置合わせし、対応する位置合わせした頭髪領域を得る。
４）形状領域の類似性を得るために、位置合わせした後の検索すべき頭髪のマスクと髪型ライブラリーにおける全ての髪型の正面のマスクに対して対応するミンコフスキー距離を計算し、得られた距離を小さい方から大きい方へと並べ替えた後、対応する重みを与える。
５）頭髪の細部特徴を保留するために、ハウスドルフ距離に基づいて頭髪細部の類似度を計算し、４）を繰り返して重みを与える。ステップ４の重みと組み合わせてマッチング髪型を並べ替え、トップ１０の最も類似した髪型を取り出す。
６）１０個の最も類似した頭髪の流れ方向場を計算し、検出すべき髪型とマッチング計算を行い、５つのより類似した髪型を得る。
７）深層学習ネットワークを訓練し、異なるスケールでの頭髪基本ブロックの髪型を検出し、ここで、真っ直ぐな髪、巻き髪、小巻き髪及び編み髪の４種類の基本的な髪型に分けられる。次いで、検出すべき頭髪写真と５つの候補頭髪とを複数のスケールでヒストグラムマッチングを行い、異なるマッチングスコアを得る。

複数の距離の重み付和により、髪型データベースにおける各髪型の非類似スコアが得られ、これらのスコアを並べ替え、最小のスコアを必要な頭髪モデルとして取り出す。

ステップ３において、入力顔の特徴点と標準顔の特徴点をマッチングして位置合わせし、二次元アフィン変換を解き、
上式中、ｓはスケーリング比であり、θは回転角度であり、ｔは並進変位であり、Ｒは直交行列である。

ステップ４において、まず、ミンコフスキー距離に基づいて髪型マスクを検索し、次に、顕著特徴を加重オーバーレイし、さらに、ハウスドルフ距離に基づいて髪型を再検索し、最後に、頭髪流れの方向情報に基づいて髪型を検索する。

ステップ４において、検索すべき髪型のマスクをＨ、髪型データベースにおける１つの髪型のマスクをＢ_ｉとして定義する場合、対応するミンコフスキー距離は、
であり、
ｋは、マスクを１ビットベクトルにプルダウンした後の下付きである。Ｐは、ミンコフスキー距離のパラメータであり、ここでｐは２であってもよく、前記一般式により、現在の入力髪型とデータベースにおける全ての髪型を用いてミンコフスキー距離の比較を行うことができ、小さい方から大きい方へと並べ替えることにより、髪型ライブラリーにおける対応する髪型のスコアランキングベクトルＭが得られる。

ステップ４において、の非常に顕著な特徴に対してより高い重みを与え、検索された全ての候補髪型に対して、額部分の２５％で重みを加え、
標準的な頭部の前髪領域がＬである場合、顔を位置合わせした後、入力写真のＬ領域と標準頭部のＬ領域を比較し、一致しない部分について１．２５倍で重みを加え、これらの顕著性領域と前記ミンコフスキー距離とを加算して並び替えることにより、改良されたミ
ンコフスキー距離ベクトルＭ_２が得られる。

ステップ４において、検索すべき髪型マスクをＨ、髪型ライブラリーにおける標準髪型をＢとして定義する場合、対応するハウスドルフ距離は、
であり、
Ｓｕｐは最小上界、ｉｎｆは最大下界であり、
前記一般式により、現在の入力髪型とデータベースにおける全ての髪型を用いてハウスドルフ距離の比較を行い、最後に小さい方から大きい方へと並べ替えることにより対応するスコアランキングベクトルＨが得られる。

ステップ４において、勾配法により頭髪の流れ方向場を求め、入力された髪型の写真Ｉに対して、まず頭髪の横方向勾配を求め、
ｄ_ｘ（ｉ，ｊ）＝［Ｉ（ｉ＋１，ｊ）−Ｉ（ｉ−１，ｊ）］／２
さらに、頭髪の縦方向勾配を求め、
ｄ_ｙ（ｉ，ｊ）＝［Ｉ（ｉ，ｊ＋１）−Ｉ（ｉ，ｊ−１）］／２
頭髪の流れ方向場Ｃは、
［Ｃ_ｘ，Ｃ_ｙ］・［ｄ_ｘ，ｄ_ｙ］^Ｔ＝０
を満たし、取り込んで流れ方向場Ｃを求めることができ、Ｃの類似度を判断標準として並べ替えに追加し、並べ替えベクトルＬを得る。

ステップ５において、頭髪カール基本ブロックに基づいて髪型識別とマッチングを行い、
標識された異なるタイプの頭髪データに基づいて、深層学習ネットワーク構築モデルにより訓練して頭髪ネットを得、
入力された頭髪からガウシアンピラミッドにより異なるスケールの入力画像及び髪型ライブラリーにおける標準画像をサンプリングし、
頭髪部分に対してスーパーピクセル分割を行い、これらの頭髪ブロックに対して一致性プルアップを行い、サイズが同じであるパッチを得、
パッチを頭髪ネットに導入する。

ステップ６において、多特徴融合に基づいて検索し、即ち、Ｍ_２、Ｈ及びＬにそれぞれ重みａ：ｂ：ｃを与え、３つのベクトルを融合して総合並べ替えベクトルＦを得、
Ｆ＝ａＭ_２＋ｂＨ＋ｃＬ
Ｆを小さい方から大きい方に並べ替え、トップＮを候補髪型として選択し、
このＮ個の候補髪型に対しては頭髪の巻き類似度を並べ替え、一番前の頭髪を最後に検索する候補結果として選択する。

従来技術と比較して、本発明では、１枚の正面顔照片を用いて、検索データベースにより大規模三次元髪型データベースから写真に最も類似した三次元頭髪モデルを検索することにより、手でモデルを構築することが回避され、効率が向上するとともに、生成する三次元髪型と入力写真とができるだけ類似するように検索されたモデルをある程度に変形することにより、より高い忠実度が保証される。

マスク取得の操作説明図である。 顔に特徴点を付ける模式図である。 顔の重要点を取得するフローチャートである。 異なるタイプの頭髪データの参考図である。 頭髪カール基本ブロックの髪型識別とマッチングの操作フローチャートである。同図において、ＣはＣＯＮＶ層（Ｃｏｎｖ ｌａｙｅｒ）、Ｐはプーリング層（Ｐｏｏｌｉｎｇ ｌａｙｅｒ）、Ｄは２ｄ密なブロック（２ｄ Ｄｅｎｓｅ Ｂｌｏｃｋ），Ｔは２ｄ遷移層（２ｄ Ｔｒａｎｓｉｔｉｏｎ ｌａｙｅｒ）である。 図６ａから６ｄは、頭髪カール基本ブロックの髪型識別とマッチングの模式図である。

図面を参照しながら本発明をさらに詳しく説明する。

本実施例によれば、高精度の人物三次元ポートレートの生成に対して多特徴検索と変形に基づく人体髪型の生成方法が提供される。この方法では、１枚の人物正面写真を入力し、入力写真に基づいて大規模三次元髪型データベースから上記写真に最も類似した三次元頭髪モデルを検索し、生成する三次元髪型が入力写真とできるだけ類似するように検索されたモデルをある程度に変形することにより、入力された人物ポートレートの三次元髪型が得られる。

まず、データ前処理段階において、三次元髪型ライブラリーにおける全ての髪型の正面写真及び頭髪に対応するマスク画像をレンダリングし、次いで二次元画像の比較により検索結果を確定する必要がある。

（ステップ１）髪型の分割
１枚の正面顔画像における頭髪の具体的な位置を確定するために、画像を分割して形状があるマスク（ｍａｓｋ）を取得し、さらに髪型データベースにおけるマスクと比較する。図１は、マスクを得るための操作説明図である。髪型の分割は、手動又は自動で実現することができる。

手動で実現する場合、ＰＳ又はＡＥなどの切り出しが可能なソフトウェアにより、手動で頭髪領域を選択して頭髪のマスクを得る。

自動的に実現する場合、１枚の頭髪を含む正面写真及び対応する髪型マスクを含む大量のデータセットを手作りし、ディープニューラルネットワークを訓練することにより、頭髪の自動分割を行うことができる。

（ステップ２）顔特徴点の識別及び位置合わせ

頭髪の位置を大体同じにするために、検索の前に、入力された人物ポートレートを顔の特徴点により位置合わせする。

まず、図２に示すように、本実施例では、標準な人の顔に６８個の特徴点を付ける。

次に、ＥＲＴカスケード回帰アルゴリズムにより顔特徴点を検出する。このアルゴリズムでは、カスケード回帰係数を用い、一連の標識後の顔画像を訓練セットとして使用する必要がある。本実施例では、ｌａｎｄｍａｒｋが標識された訓練データを約２０００個含むオープンソースのデータセットを採用してＤＣＮＮ初級に基づく顔特徴点予測器を訓練する。ネットワークは畳み込みニューラルネットワーク構造を訓練の基礎として採用する。１枚の画像を取得した後、初期形状（ｉｎｉｔｉａｌ ｓｈａｐｅ）を生成し、即ちまず大体の特徴点位置を推定し、次いで勾配ブースティングアルゴリズム（ｇｒａｄｉｅｎｔ ｂｏｏｓｔｉｎｇ）により初期形状と承認された実際データ（ｇｒｏｕｎｄ ｔｒｕｔｈ）の二乗誤差の和を減少させる。最小二乗法により誤差を最小化し、各レベルのカスケード回帰係数を得る。主な一般式は下図に示される。Ｓ^（ｔ）は現在のＳ状態の推定を示す。各リグレッサーｒ_ｔ（・，・）は、各カスケードにおいて現在状態Ｓ^（ｔ）及び入力写真Ｉに基づいて分析により得られる。
Ｓ^{（ｔ＋１）}＝Ｓ^（ｔ）＋ｒ_ｔ（Ｉ，Ｓ^（ｔ））

カスケード分類器の最も重要な部分は、その予測が特徴に基づくことであり、例えば、画素のグレイ値はＩから計算され、現在の状態に関連する。

本実施例では、勾配ブースティングで学習した回帰木を用いて各ｒｔを訓練し、最小二乗法により誤差を最小化する。Ｔはカスケード番号を示し、ｒ_ｔ（・，・）は現在のレベルのリグレッサーを示す。リグレッサーの入力パラメータは画像Ｉ及び前のレベルのリグレッサーの更新後の特徴点であり、用いる特徴はグレイ値などであってもよい。各リグレッサーは多くの木から構成され、各木のパラメータは現在形状（ｃｕｒｒｅｎｔ ｓｈａｐｅ）と承認された実際データ（ｇｒｏｕｎｄ ｔｒｕｔｈ）の座標差及びランダムに選ばれた画素対に基づいて訓練することにより得られる。図３に示すように、ＥＲＴはＴｒｅｅ学習の過程において形状の更新値を葉ノード（ｌｅａｆ ｎｏｄｅ）に直接記憶する。初期位置Ｓが全ての学習したＴｒｅｅを通過した後、平均形状（ｍｅａｎ ｓｈａｐｅ）及び全ての通過した葉ノードに基づいて最終的な顔の重要点の位置が得られる。

（ステップ３）画像と標準顔を位置合わせし、対応する頭髪領域を得る。
顔を位置合わせする際に、入力された顔の６８個の検出された特徴点と標準顔の６８個の特徴点をマッチングして位置合わせする必要がある。即ち、二次元アフィン変換を解く。

上式中、ｓはスケーリング比であり、θは回転角度であり、ｔは並進変位であり、Ｒは直交行列である。
Ｒ^ＴＲ＝Ｉ

以下、第１のベクトルができるだけ第２のベクトルの点と揃うように、最小二乗法により回転、並進、スケーリング行列を解く。両形状の行列はそれぞれｐ、ｑである。行列の各行は１つの特徴点のｘ，ｙ座標を表す。６８個の特徴点座標がある場合、ｐ∈Ｒ^６８×２である。最小二乗法の目的関数は、
である。
式中、ｐ_ｉは行列の第ｉ行である。行列形式は、
ａｒｇｍｉｎ_{ｓ，Ｒ，Ｔ}｜｜ｓＲｐ^Ｔ＋Ｔ−ｑ^Ｔ｜｜_Ｆ
Ｒ^ＴＲ＝Ｉ
である。
式中、｜｜・｜｜_Ｆは、Ｆノルム（Ｆｒｏｂｅｎｉｕｓ）を表す。

この方程式には分析解がある。並進の影響は解消することができる。まず、各点から６８点の平均値を引く。
そして、各点から対応するデータの平均値を引く。
さらに、スケーリングの影響を低減することができる。処理した点を二乗平均平方根距離ｓで割る。
上記処理により、この問題の分析解を求めることができる。
Ｍ＝ＢＡ^Ｔ
ｓｖｄ（Ｍ）＝ＵΣＶ^Ｔ
Ｒ＝ＵＶ^Ｔ

このようにして、Ｒを解くことができる。上記により、顔の位置合わせに対応するワーピング関数、即ち対応するｓ，Ｒ，Ｔが得られる。得られたワーピング関数を切り抜かれた髪型マスクに適用することにより位置合わせした髪型が得られる。

（ステップ４）上記頭髪領域及び髪型データベースにおける全ての正面顔の頭髪マスクのミンコフスキー距離を算出する。

まず、ミンコフスキー距離に基づいて髪型マスクを検索する。
対応する位置合わせした２枚の髪型マスクを取り出し、ミンコフスキー距離により２つの髪型マスクの形状類似度を比較することができる。ミンコフスキー距離により重なり合っていない領域の面積を判断する場合が多い。重なり合っていない領域が多ければ多いほど、ミンコフスキー距離の値は大きくなる。検索すべき髪型のマスクをＨ、髪型データベ
ースにおける１つの髪型のマスクをＢ_ｉとして定義する場合、対応するミンコフスキー距離は、
である。

ｋは、マスクを１ビットベクトルにプルダウンした後の下付きである。Ｐは、ミンコフスキー距離のパラメータであり、ここでｐは２であってもよい。上記一般式により、現在の入力髪型とデータベースにおける全ての髪型を用いてミンコフスキー距離の比較を行うことができ、小さい方から大きい方へと並べ替えることにより、髪型ライブラリーにおける対応する髪型のスコアランキングベクトルＭが得られる。

次に、顕著特徴を加重オーバーレイする。
検索される髪型が前髪でできるだけ類似するように前髪などの非常に顕著な特徴に対してより高い重みを与える。検索された全ての候補髪型に対して、額部分の２５％で重みを加える。例えば、標準的な頭部の前髪領域がＬである場合、顔を位置合わせした後、入力写真のＬ領域と標準頭部のＬ領域を比較し、一致しない部分について１．２５倍で重みを加え、互いに類似度を低くする。これらの顕著性領域と上記ミンコフスキー距離とを加算
して並び替えることにより、改良されたミンコフスキー距離ベクトルＭ_２が得られる。

さらに、ハウスドルフ距離に基づいて髪型を検索する。
頭髪のマッチング度合を検索する際に、髪型の細部は非常に重要な指標である。
例えば、両側に非常に細くて長い三つ編みがある髪形である場合、三つ編みとの特徴はマスクの重なり合い面積には大きな影響を与えない可能性があるが、人間の知覚に対しては非常に十分である。
ハウスドルフ距離をここに適用することは、頭髪の細部を適宜に保留するためである。ハウスドルフ距離は、実質的には、２つの髪型の最も違うところの差の大きさを判断するために用いられる。ここで、検索すべき髪型マスクをＨ、髪型ライブラリーの標準髪型をＢとして定義する場合、対応するハウスドルフ距離は、
である。
式中、ｓｕｐは最小上界であり、ｉｎｆは最大下界である。同様に、上記一般式により、現在の入力髪型とデータベースにおける全ての髪型を用いてハウスドルフ距離の比較を行うことができ、小さい方から大きい方へと並べ替えることにより、髪型ライブラリーにおける対応する髪型のスコアランキングベクトルＨが得られる。

最後に、頭髪流れの方向情報に基づいて髪型を検索する。
検索される髪型が流れ方向、巻き程度でできるだけ類似するように、勾配法により頭髪の流れ方向場を求める。通常、頭髪の流れ方向が頭髪の勾配場に直交するため、入力された髪型の写真Ｉに対して、まず頭髪の横方向勾配を求める。
ｄ_ｘ（ｉ，ｊ）＝［Ｉ（ｉ＋１，ｊ）−Ｉ（ｉ−１，ｊ）］／２
さらに、頭髪の縦方向勾配を求める。
ｄ_ｙ（ｉ，ｊ）＝［Ｉ（ｉ，ｊ＋１）−Ｉ（ｉ，ｊ−１）］／２
頭髪の流れ方向場Ｃは、
［Ｃ_ｘ，Ｃ_ｙ］・［ｄ_ｘ，ｄ_ｙ］^Ｔ＝０
を満たす。
取り込んで流れ方向場Ｃを求めることができる。

異なる頭髪には異なる流れ方向場がある。流れ方向情報を得た後、各頭髪の画素点の流れ方向と候補頭髪の対応点の流れ方向とを比較することにより、最終的に類似度情報Ｃを得ることができる。Ｃの類似度も判断標準として並べ替えに追加し、並べ替えベクトルＬを得る。

（ステップ５）頭髪カール基本ブロックに基づく髪型識別及びマッチング（図４）
大量の標識された４つの異なるタイプの頭髪データ（真っ直ぐな髪、巻き髪、編み髪及び小さな巻き髪）に基づいて、深層学習ネットワーク構築モデルにより訓練して頭髪ネット（Ｈａｉｒ Ｎｅｔ）を得る。

図５及び図６ａ−ｄに示すように、まず、入力された頭髪からガウシアンピラミッドにより異なるスケールの入力画像及び髪型ライブラリーにおける標準画像をサンプリングする。次に、頭髪部分に対してスーパーピクセル（ｓｕｐｅｒ ｐｉｘｅｌ）分割を行い、サイズが異なる頭髪ブロックを得る。これらの頭髪ブロックに対して一致性プルアップを行い、サイズが同じであるパッチ（ｐａｔｃｈ）を得る。これらのパッチを頭髪ネットに導入し、最終的には、各パッチが最大確率で属するタイプを得る。

候補頭髪及び入力頭髪の異なる基本ブロックの頭髪タイプが得られた後、入力頭髪と髪型ライブラリーにおける候補頭髪とをマッチングする。具体的には、頭髪をブロックに分け、異なる点に対して一対一で対応してマルチスケール計算を行い、異なる候補頭髪の偏差値を得る。

（ステップ６）多特徴融合に基づく検索
入力された人物の正面写真に対して髪型分割及び位置合わせを行った後、上記ミンコフ
スキー距離及び頭髪の顕著特徴の融合に基づいて並べ替えＭ_２が得られ、次に、ハウスド
ルフ距離により計算することにより並べ替えＨが得られ、さらに、頭髪の流れ方向を組み合わせることにより並べ替えＬが得られ、それぞれ重みａ：ｂ：ｃを与え、３つのベクトルを融合することにより総合並べ替えベクトルＦが得られる。
Ｆ＝ａＭ_２＋ｂＨ＋ｃＬ

Ｆを小さい方から大きい方に並べ替え、トップＮを候補髪型として選択する。このＮ個の候補髪型に対しては、訓練されたＨａｉｒ Ｎｅｔを用いて頭髪の巻き類似度を並べ替え、一番前の頭髪を最後に検索する候補結果Ｒとして選択する。

以上、図面及び実施例により本発明の実施形態を説明したが、これらの実施例は本発明を制限するものではない。当業者が必要に応じて調整することができ、添付する特許請求の範囲内で行われた様々な変更又は修正は保護の範囲内に含まられる。

Claims (10)

1. １枚の正面顔画像における髪型マスクを取得するステップ１と、
   顔の特徴点を識別し、髪型データベースにおける顔とマッチングするステップ２と、
   画像と標準顔を位置合わせし、対応する頭髪領域を得るステップ３と、
   前記頭髪領域及び髪型データベースにおける全ての正面顔の頭髪マスクのミンコフスキー距離を計算し、小さい方から大きい方へと並べ替え、対応する重みを与えるステップ４と、
   複数の最も類似した頭髪の流れ方向場を計算し、検出すべき髪型とマッチング計算を行うステップ５と、
   深層学習ネットワークを訓練し、異なるスケールでの頭髪基本ブロックの髪型を検出し、検出すべき頭髪写真と複数の候補頭髪とを複数のスケールでヒストグラムマッチングを行い、異なるマッチングスコアを得るステップ６と、
   最後に、最も類似した頭髪写真を取り出すステップと、
   を含むことを特徴とする、多特徴検索と変形に基づく人体髪型の生成方法。
2. ハウスドルフ距離により頭髪の細部の類似度を計算し、ステップ４を繰り返して重みを与え、ステップ４の重みと組み合わせてマッチング髪型を並べ替え、トップ１０の最も類似した髪型を取り出すことを特徴とする、請求項１に記載の多特徴検索と変形に基づく人体髪型の生成方法。
3. ステップ３において、入力顔の特徴点と標準顔の特徴点をマッチングして位置合わせし、二次元アフィン変換を解き、
   上式中、ｓはスケーリング比であり、θは回転角度であり、ｔは並進変位であり、Ｒは直交行列であることを特徴とする、請求項１又は２に記載の多特徴検索と変形に基づく人体髪型の生成方法。
4. ステップ４において、まず、ミンコフスキー距離に基づいて髪型マスクを検索し、次に、顕著特徴を加重オーバーレイし、さらに、ハウスドルフ距離に基づいて髪型を再検索し、最後に、頭髪流れの方向情報に基づいて髪型を検索することを特徴とする、請求項２に記載の多特徴検索と変形に基づく人体髪型の生成方法。
5. ステップ４において、検索すべき髪型のマスクをＨ、髪型データベースにおける１つの髪型のマスクをＢ_ｉとして定義する場合、対応するミンコフスキー距離は、
   であり、
   ｋは、マスクを１ビットベクトルにプルダウンした後の下付きである。Ｐは、ミンコフスキー距離のパラメータであり、ここでｐは２であってもよく、前記一般式により、現在の入力髪型とデータベースにおける全ての髪型を用いてミンコフスキー距離の比較を行うことができ、小さい方から大きい方へと並べ替えることにより、髪型ライブラリーにおける対応する髪型のスコアランキングベクトルＭが得られることを特徴とする、請求項４に記載の多特徴検索と変形に基づく人体髪型の生成方法。
6. ステップ４において、の非常に顕著な特徴に対してより高い重みを与え、検索された全ての候補髪型に対して、額部分の２５％で重みを加え、
   標準的な頭部の前髪領域がＬである場合、顔を位置合わせした後、入力写真のＬ領域と標準頭部のＬ領域を比較し、一致しない部分について１．２５倍で重みを加え、これらの顕著性領域と前記ミンコフスキー距離とを加算して並び替えることにより、改良されたミ
   ンコフスキー距離ベクトルＭ_２が得られることを特徴とする、請求項５に記載の多特徴検
   索と変形に基づく人体髪型の生成方法。
7. ステップ４において、検索すべき髪型マスクをＨ、髪型ライブラリーにおける標準髪型をＢとして定義する場合、対応するハウスドルフ距離は、
   であり、
   Ｓｕｐは最小上界、ｉｎｆは最大下界であり、
   前記一般式により、現在の入力髪型とデータベースにおける全ての髪型を用いてハウスドルフ距離の比較を行い、最後に小さい方から大きい方へと並べ替えることにより対応するスコアランキングベクトルＨが得られることを特徴とする、請求項６に記載の多特徴検索と変形に基づく人体髪型の生成方法。
8. ステップ４において、勾配法により頭髪の流れ方向場を求め、入力された髪型の写真Ｉに対して、まず頭髪の横方向勾配を求め、
   ｄ_ｘ（ｉ，ｊ）＝［Ｉ（ｉ＋１，ｊ）−Ｉ（ｉ−１，ｊ）］／２
   さらに、頭髪の縦方向勾配を求め、
   ｄ_ｙ（ｉ，ｊ）＝［Ｉ（ｉ，ｊ＋１）−Ｉ（ｉ，ｊ−１）］／２
   頭髪の流れ方向場Ｃは、
   ［Ｃ_ｘ，Ｃ_ｙ］・［ｄ_ｘ，ｄ_ｙ］^Ｔ＝０
   を満たし、取り込んで流れ方向場Ｃを求めることができ、Ｃの類似度を判断標準として並べ替えに追加し、並べ替えベクトルＬを得ることを特徴とする、請求項７に記載の多特徴検索と変形に基づく人体髪型の生成方法。
9. ステップ５において、頭髪カール基本ブロックに基づいて髪型識別とマッチングを行い、
   標識された異なるタイプの頭髪データに基づいて、深層学習ネットワーク構築モデルにより訓練して頭髪ネットを得、
   入力された頭髪からガウシアンピラミッドにより異なるスケールの入力画像及び髪型ライブラリーにおける標準画像をサンプリングし、
   頭髪部分に対してスーパーピクセル分割を行い、これらの頭髪ブロックに対して一致性プルアップを行い、サイズが同じであるパッチを得、
   パッチを頭髪ネットに導入することを特徴とする、請求項８に記載の多特徴検索と変形に基づく人体髪型の生成方法。
10. ステップ６において、多特徴融合に基づいて検索し、即ち、Ｍ_２、Ｈ及びＬにそれぞれ重みａ：ｂ：ｃを与え、３つのベクトルを融合して総合並べ替えベクトルＦを得、
    Ｆ＝ａＭ_２＋ｂＨ＋ｃＬ
    Ｆを小さい方から大きい方に並べ替え、トップＮを候補髪型として選択し、
    このＮ個の候補髪型に対しては頭髪の巻き類似度を並べ替え、一番前の頭髪を最後に検索する候補結果として選択することを特徴とする、請求項９に記載の多特徴検索と変形に基づく人体髪型の生成方法。