JP2023125703A - スキンモデルから骨格に基づく体長を統計的に分析するプログラム、装置及び方法 - Google Patents

スキンモデルから骨格に基づく体長を統計的に分析するプログラム、装置及び方法 Download PDF

Info

Publication number
JP2023125703A
JP2023125703A JP2022029948A JP2022029948A JP2023125703A JP 2023125703 A JP2023125703 A JP 2023125703A JP 2022029948 A JP2022029948 A JP 2022029948A JP 2022029948 A JP2022029948 A JP 2022029948A JP 2023125703 A JP2023125703 A JP 2023125703A
Authority
JP
Japan
Prior art keywords
bone length
bone
skeleton
statistical learning
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022029948A
Other languages
English (en)
Other versions
JP7067709B1 (ja
Inventor
裕樹 有光
Hiroki Arimitsu
茂和 大黒
Shigekazu Oguro
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbis Brain Co Ltd
Orbisbrain
Wacoal Corp
Original Assignee
Orbis Brain Co Ltd
Orbisbrain
Wacoal Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbis Brain Co Ltd, Orbisbrain, Wacoal Corp filed Critical Orbis Brain Co Ltd
Priority to JP2022029948A priority Critical patent/JP7067709B1/ja
Application granted granted Critical
Publication of JP7067709B1 publication Critical patent/JP7067709B1/ja
Publication of JP2023125703A publication Critical patent/JP2023125703A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

【課題】複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析するプログラム等を提供する。【解決手段】プログラムは、関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、全てのボーン長をボーン長ベクトルとして抽出するボーン長ベクトル抽出手段と、訓練段階として、教師データ群となる複数体のスキンモデルにおけるボーン長ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンとしてコンピュータを機能させる。ボーン長ベクトル抽出手段は、子関節点の位置と親関節点の位置との絶対差｜ｂ｜をボーン長とし、全てのボーンからなるボーン長ベクトルとして抽出する。【選択図】図２

Description

本発明は、スキンモデルを統計的に分析する技術に関する。特にスキンモデルとして、３次元の人体モデルに適する。
人体の形状データを取得するために、３次元ボディスキャナの技術がある（例えば非特許文献１参照）。この技術によれば、非接触の光学測量によって３次元の人体モデルを計測する。この人体モデルは、複数の頂点からなるポリゴンをメッシュ状に構成した「スキン」として表現される。頂点数は、例えば約150万点と超高密度で計測することもできる。
従来、採寸値のみから３次元モデルを簡易に生成すると共に、次元圧縮によってデータ容量を小さくする技術がある（例えば特許文献１参照）。この技術によれば、３次元モデル毎に、複数の採寸箇所に対応する次元数ｎの採寸値が対応付けられている教師データ群を用いて、１体の次元数ｎの採寸値から、３次元モデルを生成することができる。具体的には、教師データ群の複数体の３次元モデルから、次元圧縮された次元数ｍの成分変数を出力すると共に、統計学習モデルを構築する統計学習エンジンと、次元数ｎの採寸値と、次元数ｍの成分変数との相関学習モデルを構築する相関学習エンジンとを有する。また、相関学習エンジンを用いて、対象データとしての１体の次元数ｎの採寸値から次元数ｍの成分変数を生成するエンコード部と、統計学習エンジンを用いて、当該次元数ｍの成分変数から３次元モデルを生成するデコード部とを有する。
特許６４２４３０９号公報
「smart&try」、株式会社ワコール、[online]、［令和３年１１月２０日検索］、インターネット＜URL:https://www.wacoal.jp/smart_try/＞ 向井智彦、川地克明、三宅陽一郎、「キャラクタアニメーションの数理とシステム、－３次元ゲームにおける身体運動生成と人工知能－」、[online]、［令和３年１１月２０日検索］、インターネット＜URL:https://www.coronasha.co.jp/np/isbn/9784339029093/＞
特許文献１に記載の技術によれば、３次元モデルは、各頂点を、世界座標系(World coordinate system, Global coordinate system)の３次元(x,y,z)で表現する。例えば１体毎に頂点数がN=150万である場合、１体の３次元モデルは、3N（＝450万）次元のベクトルで表現される。そして、例えば6000体ほどの３次元モデルを、統計学習エンジンに入力し、成分変数を得ることができる。統計学習エンジンは、具体的には、主成分分析(Principal Component Analysis)に基づくものである。
３次元の人体モデルを取得するためには、人物が実際に３次元ボディスキャナ内に入って撮影しなければならないが、このとき、人物毎に姿勢のばらつきが生じる。世界座標系である場合、同一人物であっても、その人物の姿勢の影響を受けて、異なる３次元モデルが取得されることとなる。
姿勢は、関節点の位置に応じて異なる。例えば全く同一の人物であっても、両足を開いた場合と、両足を閉じた場合とでは、特に足の部分で大きく異なる人体モデルとして取得されることとなる。また、３次元スキャナによって計測する場合、生身の人物である全員に、同一姿勢を強要することは非常に難しい。
これに対し、本願の発明者らは、３次元スキャナによって人体を計測した場合、人体の肉付きに基づく「体形」と、人体の長さに基づく「体長」と、人体の関節の位置に基づく「姿勢」とが混在したデータとなっている、ことに注目した。ここで、３次元スキャナによって計測された人体の３次元モデルから、「肉付き」及び「姿勢」を分離した「体長」のみを抽出することができないか、と考えた。
ここで、「体長」とは、人体の骨格長に基づくものであるとする。本来、このような人体の骨格長は、「姿勢」や「肉付き」の影響を受けないものである。
一方で、「姿勢」は、人物における骨格の関節点の位置によって変化する。同じ体形の人物同士であっても、例えば前傾、後傾、猫背、巻き肩などのような姿勢の変化によって、その外観的印象は大きく異なる。また、「肉付き」も、同一人物であっても日々変化するものでもある。
これに対し、本願の発明者らは、複数体の３次元モデルについて、「肉付き」「姿勢」を分離した「骨格に基づく体長」のみのデータから統計的に分析するはできないか、と考えた。特に、人の本質的な外観的特徴を分析するための要素となる、と考えた。
そこで、本発明によれば、スキンモデルから骨格に基づく体長を分析可能な統計形状空間を生成するプログラム、装置及び方法を提供することを目的とする。
本発明によれば、複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する装置に搭載されたコンピュータを機能させるプログラムであって、
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、全てのボーン長をボーン長ベクトルとして抽出するボーン長ベクトル抽出手段と、
訓練段階として、教師データ群となる複数体のスキンモデルにおけるボーン長ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
してコンピュータを機能させることを特徴とする。
本発明のプログラムにおける他の実施形態によれば、
ボーン長ベクトル抽出手段は、子関節点の位置と親関節点の位置との絶対差｜ｂ｜をボーン長とし、全てのボーンからなるボーン長ベクトルとして抽出する
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
１体のポリゴンメッシュから、関節点の位置を推定する関節点推定手段と
して更にコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
関節点推定手段は、関節点学習エンジンであり、
訓練段階として、教師データ群の複数体のポリゴンメッシュをそれぞれ入力し、関節点の位置を出力するように関節点学習モデルを構築し、
推定段階として、推定対象となるポリゴンメッシュを入力し、関節点の位置を出力する
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
第１の推定段階として、
統計学習エンジンは、推定対象となる１体のポリゴンメッシュにおけるボーン長ベクトルを入力し、成分変数を出力する
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
第２の推定段階として、
統計学習エンジンは、推定対象となる成分変数を入力し、１体のスキンモデルにおける関節点同士毎のボーン長ベクトルを出力する
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
スキンモデルは、人体モデルであり、
スケルトンは、人体の骨格であり、
ボーンは、関節点間の骨である
ようにコンピュータを機能させることも好ましい。
本発明のプログラムにおける他の実施形態によれば、
統計学習エンジンは、主成分分析(Principal Component Analysis)又はオートエンコーダ(AutoEncoder)に基づくものである
ようにコンピュータを機能させることも好ましい。
本発明によれば、複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する分析装置であって、
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、全てのボーン長をボーン長ベクトルとして抽出するボーン長ベクトル抽出手段と、
訓練段階として、教師データ群となる複数体のスキンモデルにおけるボーン長ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
を有することを特徴とする。
本発明によれば、複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する装置の分析方法であって、
装置は、
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、全てのボーン長をボーン長ベクトルとして抽出する第１のステップと、
訓練段階として、教師データ群となる複数体のスキンモデルにおけるボーン長ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する第２のステップと
を実行することを特徴とする。
本発明のプログラム、装置及び方法によれば、スキンモデルから骨格に基づく体長を分析可能な統計形状空間を生成することができる。
関節点と頂点との関係を表す説明図である。 本発明における分析装置の基本的な機能構成図である。 本発明における関節点同士を結ぶボーンを表す説明図である。 統計学習エンジンにおける３次元モデルのベクトル空間を表す説明図である。 統計学習エンジンにおける統計形状空間を表す説明図である。 統計学習エンジンにおける主成分分析を表す簡易なコードである。 関節点推定部及びスケルトン変形部を更に有する分析装置の機能構成図である。
以下では、本発明の実施の形態について、図面を用いて詳細に説明する。
図１は、関節点と頂点との関係を表す説明図である。
本発明の実施形態によれば、用語を、以下のように定義する。
「スキン」 ：複数の頂点からなるポリゴンメッシュ
（例えば人体を３次元スキャナで撮影した人体のポリゴンメッシュ）
「スキンモデル」 ：スキンに複数の関節点を内在するモデル
「関節点」 ：スキンを変形させるジョイント（例えば人体の関節）
「ボーン」 ：関節点を結ぶ線分（例えば人体の骨）
「スケルトン」 ：関節点同士を親子関係によってボーンで結んだ構成
（例えば人体の骨格）
「スキンウェイト」：関節点がスキンの各頂点に及ぼす影響度
図１によれば、人体は、例えば頂点数150万頂点のポリゴンメッシュで表現されている。また、関節点は、例えば以下の１５箇所とする。
「頚椎」
「中央胸」
「左肩」「左肘」「左手首」
「右肩」「右肘」「右手首」
「中央腰」
「左腰」「左膝」「左足首」
「右腰」「右膝」「右足首」
図２は、本発明における分析装置の基本的な機能構成図である。
分析装置１は、複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する。スキンモデルから「骨格に基づく体長」を分析可能とする統計形状空間を生成する。
図２によれば、分析装置１は、ボーン長ベクトル抽出部１１と、統計学習エンジン１２とを有する。これら機能構成部は、分析装置に搭載されたコンピュータを機能させるプログラムを実行させることによって実現される。また、これら機能構成部の処理の流れは、分析方法としても理解できる。
分析装置１は、統計学習のための教師データとして、多数のスキンモデルを準備する。前述したように、スキンモデルは、スキンに複数の関節点を内在したものである。関節点は、ボーンによって親子関係で結ばれている。スキンモデルが人体である場合、人体のポリゴンメッシュに、関節点を結んだ骨格を内在したものである。即ち、不特定多数の人物から取得した人体のスキンモデルを準備する。
尚、本発明が想定する関節点や骨格とは、人体の解剖学的なものではなく、あくまで動き（モーション）の際の基軸となるものに過ぎない。
［ボーン長ベクトル抽出部１１］
ボーン長ベクトル抽出部１１は、関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、全てのボーン長をボーン長ベクトルとして抽出する。
図３は、本発明における関節点同士を結ぶボーンを表す説明図である。
＜関節点毎の位置ベクトル＞
関節点は、３次元の世界座標系を基準として表現される。世界座標系では基本的に、ｙ軸正方向を鉛直上向き方向、ｘ－ｚ平面を水平面とした座標系とする。その上で、関節点毎の位置ベクトルを、以下のように表す。
関節点の位置ベクトル ：ｔ＝（ｔx ｔy ｔz）
＜関節点毎のボーン長ベクトル＞
人体の骨格は、関節点を結ぶツリー構造として表現される。
ボーン長ベクトル抽出部１１は、子関節点の位置と親関節点の位置との絶対差｜ｂ｜をボーン長とし、全てのボーンからなるボーン長ベクトルｒとして抽出する。
ボーン長ベクトルｒは、例えば前述した図１によれば、以下の１４次元のベクトルで表現される。
｛
「頚椎－中央胸」のボーン長
「中央胸－左肩」のボーン長
「左肩－左肘」のボーン長
「左肘－左手首」のボーン長
「中央胸－右肩」のボーン長
「右肩－右肘」のボーン長
「右肘－右手首」のボーン長
「中央胸－中央腰」のボーン長
「中央腰－左腰」のボーン長
「左腰－左膝」のボーン長
「左膝－左足首」のボーン長
「中央腰－右腰」のボーン長
「右腰－右膝」のボーン長
「右膝－右足首」のボーン長
｝
ボーン長ベクトルｒは、その人を特定する本質的な外観的特徴であって、不変的な要素である。即ち、人の「肉付き」「姿勢」が変化しても、「骨格に基づく体長」は変化しない。
［統計学習エンジン１２］
統計学習エンジン１２は、訓練段階として、以下のように機能する。
＜訓練段階＞
統計学習エンジン１２は、訓練段階として、教師データ群となる複数体のスキンモデルにおけるボーン長ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する。
図４は、統計学習エンジンにおける３次元モデルのベクトル空間を表す説明図である。
図４によれば、教師データとしては、様々な体形を持つ例えば6000体の人体を想定している。
図４（ａ）によれば、１体の３次元モデルは、ボーン長ベクトルとなるD(＝14)次元のベクトルで表現される。
図４（ｂ）によれば、３次元モデルの人体毎に、D次元空間における１点で表される。
図５は、統計学習エンジンにおける統計形状空間を表す説明図である。
図６は、統計学習エンジンにおける主成分分析を表す簡易なコードである。
統計学習エンジン１２は、具体的には、主成分分析(Principal Component Analysis)に基づくものであってもよい。
「主成分分析」によって、相関のあるD次元空間の6000点から、互いに無相関で全体のばらつきをよく表す次元（例えば14次元）の主成分（成分変数）を導出する。第１主成分の分散を最大化し、続く主成分はそれまでに決定した主成分と無相関という拘束条件の下で、分散を最大化するようにして選択される。主成分の分散を最大化することによって、観測値の変化に対する説明能力を可能な限り主成分に持たせる。主成分を与える主軸はD次空間における6000点の群の直交基底となっている。主軸の直交性は、主軸が共分散行列の固有ベクトルになっており、共分散行列が実対称行列であることから導かれる。
統計学習エンジン１２は、D次元空間に対して、主成分分析に基づく成分変数を次元数とする統計形状空間（例えば14次元）に射影させる統計学習モデルを構築する。
本発明によれば、D(＝14)次元空間における各３次元モデルを、例えば14次元（成分変数）空間に射影する。主成分を与える変換は、観測値の集合からなる行列の特異値分解で表され、D次元空間の6000点の群からなる矩形行列Ｘの特異値分解は、以下の式で表される。
Ｘ＝Ｕ*Σ*ＶT
Ｘ：D次元空間の6000点からなる行列（6000行×D列）
Ｕ：n(6000)×n(6000)の正方行列（n次元単位ベクトルの直交行列）
Σ：n(6000)×p(D)の矩形対角行列（対角成分は、Ｘの特異値）
Ｖ：p(D)×p(D)の正方行列（p次元単位ベクトルの直交行列）
ここで、行列Ｖによる線形変換はＸの主成分を与える。
Ｖ：D次元空間->統計形状(14次元)空間への変換を表す行列
Ｖ-1：統計形状(14次元)空間->D次元空間への変換を表す行列
尚、行列の上付き添え字-1は逆行列を示す記号ではなく、行列が定めるベクトルの変換に対して、その逆変換を意味する抽象的な記号として用いている。ここでは、Ｖ-1は、Ｖの転置ＶTと等しい。
図６からも明らかなとおり、行列Ｖ又はＶ-1による線形変換によって、D次元空間と統計形状空間との間で、３次元モデルの人体毎に対応付けることができる。
ｓ＝ｘ*Ｖ
ｘ＝ｓ*Ｖ-1
ｓ：統計形状空間のベクトル
ｘ：D次元空間のベクトル
Ｖ：統計学習モデル
統計形状空間における原点は、教師データとして訓練した全ての人体モデルのボーン長の平均となる。即ち、平均となる原点から離れるほど、その点におけるボーン長は、特徴的であることを意味する。
また、統計学習エンジン１２は、オートエンコーダ(AutoEncoder)に基づくものであってもよい。
オートエンコーダは、ニューラルネットワークの一種で、入力データの情報量から抽象的概念（特徴量）を出力する。具体的には、入力データを、隠れ層で次元圧縮し、出力時に元のサイズに戻す。
オートエンコーダも、主成分分析と同様に、相関のあるD次元空間の6000点から、互いに無相関で全体のばらつきを最もよく表す14次元の成分変数を導出する。
前述した図２によれば、統計学習エンジン１２は、２つの推定段階として、以下のように機能する。
＜エンコーダとしての推定段階＞
統計学習エンジン１２は、推定対象となる１体のポリゴンメッシュにおける全ての関節点のボーン長ベクトルを入力し、成分変数を出力する。
成分変数は、例えば14次元ベクトルであって、推定対象となるスキンモデル（ポリゴンメッシュ＋スケルトン）の「姿勢（全ての関節点の回転）」の主成分となる。
＜デコーダとしての推定段階＞
統計学習エンジン１２は、推定対象となる成分変数を入力し、１体のスキンモデルにおける「全てのボーン長（＝ボーン長ベクトル）」を出力する。
例えば推定対象となる14次元ベクトルの成分変数を入力することによって、１体の全てのボーン長ベクトルを出力することができる。全てのボーン長ベクトルは、その人体の不変的な外観的特徴を表す。
ここで、本発明の特徴を改めて詳述する。
従来技術によれば、スキニングでは一般に、関節点を中心とした人体部位の回転として姿勢や動きを表現する。スキニング処理は、「Skeleton Subspace Deformation」とも称され、骨格における関節点毎の座標系によって変形を記述するものである。その骨格を変位させることによって、ポリゴンメッシュを変形させる。また、一般的なアニメーションの用途によれば、骨格の作成の設定は、作業者が手動で操作するものである。
これに対し、本発明は、骨格における関節点毎のボーン長ベクトルのみを抽出し、３Ｄポリゴンメッシュの変形とは別に、統計的に分析するものである。このような技術は、既存技術として存在しない。本発明によれば、関節点のボーン長ベクトルの分解は、スキニングアルゴリズムを最後まで計算せずに、中間データとなるボーン長ベクトルを抽出し、統計学習エンジンで訓練させたことにある。
＜姿勢判定アプリケーション＞
例えば衣服の場合、人のサイズ（骨格の長さ）や周径に基づいて設計されているが、その衣服が似合うような人の姿勢（関節点の回転）までも考慮されたものではない。一方で、衣服を購入するユーザも、自らのサイズや体形は考慮するが、姿勢までも考慮することは全くない。ユーザ自らの姿勢が、平均的な姿勢又は理想的な姿勢からどの程度離れたものであるか、も考慮することはない。
姿勢判定アプリケーションとして、様々な用途が想定されるが、異なる人体における姿勢の相違を数値的に取得することができる。姿勢の相違は、例えば主成分分析に基づく統計形状空間では、点間の距離として認識することができる。
図７は、関節点推定部及びスケルトン変形部を更に有する分析装置の機能構成図である。
図７によれば、図２と比較して、関節点推定部１３と、スケルトン変形部１４とを更に有する。これら機能構成部も、分析装置に搭載されたコンピュータを機能させるプログラムを実行させることによって実現される。また、これら機能構成部の処理の流れは、分析方法としても理解できる。
人体を光学スキャナによって撮影した場合、３次元の人体モデルは、スキン（ポリゴンメッシュ）となる。即ち、スキンは、スキンモデルのようにスケルトン（骨格）を含むものではない。そのために、図７によれば、ボーン長ベクトル抽出部１１の前段で、スキンから関節点を抽出し、関節点同士を親子関係によってボーンで結んだスケルトンを推定する。
［関節点推定部１３］
関節点推定部１３は、１体のポリゴンメッシュから、関節点の位置を推定する。
関節点推定部１３は、関節点学習エンジンであってもよく、以下のように機能させる。
（訓練段階）教師データ群の複数体のポリゴンメッシュ（説明変数）をそれぞれ入力し、関節点の位置（目的変数）を出力するように関節点学習モデルを構築する。
（推定段階）推定対象となるポリゴンメッシュ（説明変数）を入力し、関節点の位置（目的変数）を出力する。
関節点学習エンジンとしては、関節点の推定に、ポリゴンメッシュの頂点位置から、モーションキャプチャの関節点を予測する回帰モデルを用いることもできる。回帰モデルの訓練としては、「人体形状は関節の周囲でほぼ凸形状」と仮定する。凸形状とは、任意の２点間を結ぶ線分が、その多角形の外に出ることがないものをいう（内角は180°以下）。
勿論、回帰モデルのような機械学習ではなく、モーションキャプチャに基づくフレーム画像に映るマーク点に対応するメッシュ頂点を指定して、メッシュから直接に関節位置を計算したものであってもよい。
また、関節位置を、モーションキャプチャデータから推定するものであってもよい。例えばＶＩＣＯＮ（登録商標）のように、モーションキャプチャの各フレームから、関節位置を推定するものであってもよい。例えば多数の人の歩行動作を撮影したモーションキャプチャの各フレームから、歩行動作に基づく関節位置の変位を推定することができる。
尚、本願発明の特徴として、スケルトンを含まないスキン（ポリゴンメッシュ）のみから、姿勢を分析することができる。これは、市販されている様々な３次元スキャナの機種や撮影環境を問わないこと可能にする。即ち、様々な３次元スキャナによって撮影されたポリゴンメッシュであっても、相同モデル化されている限り、関節位置を推定し、統計形状空間に対応付けることができる。このように、人体のスキンから姿勢のみを分離することによって、３次元スキャナの異なる機種や撮影環境を統一的に扱うことが可能となる。
［スケルトン変形部１４］
スケルトン変形部１４は、１体の全ての関節点のボーン長ベクトルから、１体のスケルトンを再生する。
統計学習エンジン１２から出力されるものは、ボーン長ベクトルのみであるので、スケルトンのテンプレートを予め用意しておく。そのテンプレートを、統計学習エンジン１２から出力されたボーン長ベクトル（回転軸、回転角）に対応させて、テンプレートのスケルトンモデルを変形（関節点の回転）させる。
このように、スケルトン変形部１４によって、スケルトンに基づく姿勢を視覚的に認識することができる。
以上、詳細に説明したように、本発明のプログラム、装置及び方法によれば、スキンモデルから骨格に基づく体長を分析可能な統計形状空間を生成することができる。
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 分析装置
１１ ボーン長ベクトル抽出部
１２ 統計学習エンジン
１３ 関節点推定部
１４ スケルトン変形部

Claims (10)

  1. 複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する装置に搭載されたコンピュータを機能させるプログラムであって、
    関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、全てのボーン長をボーン長ベクトルとして抽出するボーン長ベクトル抽出手段と、
    訓練段階として、教師データ群となる複数体のスキンモデルにおけるボーン長ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
    してコンピュータを機能させることを特徴とするプログラム。
  2. ボーン長ベクトル抽出手段は、子関節点の位置と親関節点の位置との絶対差｜ｂ｜をボーン長とし、全てのボーンからなるボーン長ベクトルとして抽出する
    ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
  3. １体のポリゴンメッシュから、関節点の位置を推定する関節点推定手段と
    して更にコンピュータを機能させることを特徴とする請求項１又は２に記載のプログラム。
  4. 関節点推定手段は、関節点学習エンジンであり、
    訓練段階として、教師データ群の複数体のポリゴンメッシュをそれぞれ入力し、関節点の位置を出力するように関節点学習モデルを構築し、
    推定段階として、推定対象となるポリゴンメッシュを入力し、関節点の位置を出力する
    ようにコンピュータを機能させることを特徴とする請求項３に記載のプログラム。
  5. 第１の推定段階として、
    統計学習エンジンは、推定対象となる１体のポリゴンメッシュにおけるボーン長ベクトルを入力し、成分変数を出力する
    ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
  6. 第２の推定段階として、
    統計学習エンジンは、推定対象となる成分変数を入力し、１体のスキンモデルにおける関節点同士毎のボーン長ベクトルを出力する
    ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
  7. スキンモデルは、人体モデルであり、
    スケルトンは、人体の骨格であり、
    ボーンは、関節点間の骨である
    ようにコンピュータを機能させることを特徴とする請求項１から６のいずれか１項に記載のプログラム。
  8. 統計学習エンジンは、主成分分析(Principal Component Analysis)又はオートエンコーダ(AutoEncoder)に基づくものである
    ようにコンピュータを機能させることを特徴とする請求項１から７のいずれか１項に記載のプログラム。
  9. 複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する分析装置であって、
    関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、全てのボーン長をボーン長ベクトルとして抽出するボーン長ベクトル抽出手段と、
    訓練段階として、教師データ群となる複数体のスキンモデルにおけるボーン長ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
    を有することを特徴とする分析装置。
  10. 複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する装置の分析方法であって、
    装置は、
    関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、全てのボーン長をボーン長ベクトルとして抽出する第１のステップと、
    訓練段階として、教師データ群となる複数体のスキンモデルにおけるボーン長ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する第２のステップと
    を実行することを特徴とする分析方法。
JP2022029948A 2022-02-28 2022-02-28 スキンモデルから骨格に基づく体長を統計的に分析するプログラム、装置及び方法 Active JP7067709B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022029948A JP7067709B1 (ja) 2022-02-28 2022-02-28 スキンモデルから骨格に基づく体長を統計的に分析するプログラム、装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022029948A JP7067709B1 (ja) 2022-02-28 2022-02-28 スキンモデルから骨格に基づく体長を統計的に分析するプログラム、装置及び方法

Publications (2)

Publication Number Publication Date
JP7067709B1 JP7067709B1 (ja) 2022-05-16
JP2023125703A true JP2023125703A (ja) 2023-09-07

Family

ID=81606824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022029948A Active JP7067709B1 (ja) 2022-02-28 2022-02-28 スキンモデルから骨格に基づく体長を統計的に分析するプログラム、装置及び方法

Country Status (1)

Country Link
JP (1) JP7067709B1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11915362B2 (en) * 2020-08-24 2024-02-27 Autodesk, Inc. UV mapping on 3D objects with the use of artificial intelligence

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008282110A (ja) * 2007-05-09 2008-11-20 Univ Of Tokyo 対象物の関節構造の取得方法及び装置
JP2011180790A (ja) * 2010-02-26 2011-09-15 Nippon Yunishisu Kk 三次元形状モデル生成装置、三次元形状モデル生成方法、三次元形状モデル生成プログラム、及び三次元形状モデル生成システム
US20130250050A1 (en) * 2012-03-23 2013-09-26 Objectvideo, Inc. Video surveillance systems, devices and methods with improved 3d human pose and shape modeling
WO2016021152A1 (ja) * 2014-08-06 2016-02-11 パナソニック株式会社 姿勢推定方法および姿勢推定装置
WO2017029488A2 (en) * 2015-08-14 2017-02-23 Metail Limited Methods of generating personalized 3d head models or 3d body models
JP2020027526A (ja) * 2018-08-15 2020-02-20 裕樹 有光 採寸値に基づく３次元モデルを生成するプログラム及び装置
CN112419419A (zh) * 2019-11-27 2021-02-26 上海联影智能医疗科技有限公司 用于人体姿势和形状估计的系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008282110A (ja) * 2007-05-09 2008-11-20 Univ Of Tokyo 対象物の関節構造の取得方法及び装置
JP2011180790A (ja) * 2010-02-26 2011-09-15 Nippon Yunishisu Kk 三次元形状モデル生成装置、三次元形状モデル生成方法、三次元形状モデル生成プログラム、及び三次元形状モデル生成システム
US20130250050A1 (en) * 2012-03-23 2013-09-26 Objectvideo, Inc. Video surveillance systems, devices and methods with improved 3d human pose and shape modeling
WO2016021152A1 (ja) * 2014-08-06 2016-02-11 パナソニック株式会社 姿勢推定方法および姿勢推定装置
WO2017029488A2 (en) * 2015-08-14 2017-02-23 Metail Limited Methods of generating personalized 3d head models or 3d body models
JP2020027526A (ja) * 2018-08-15 2020-02-20 裕樹 有光 採寸値に基づく３次元モデルを生成するプログラム及び装置
CN112419419A (zh) * 2019-11-27 2021-02-26 上海联影智能医疗科技有限公司 用于人体姿势和形状估计的系统和方法

Also Published As

Publication number Publication date
JP7067709B1 (ja) 2022-05-16

Similar Documents

Publication Publication Date Title
CN114663199B (zh) 一种动态展示的实时三维虚拟试衣系统及方法
Dibra et al. Human shape from silhouettes using generative hks descriptors and cross-modal neural networks
Balan et al. Detailed human shape and pose from images
Corazza et al. Markerless motion capture through visual hull, articulated icp and subject specific model generation
Hasler et al. Multilinear pose and body shape estimation of dressed subjects from image sets
Dekker et al. Building symbolic information for 3D human body modeling from range data
Jiang et al. Disentangled human body embedding based on deep hierarchical neural network
Ballester et al. Data-driven three-dimensional reconstruction of human bodies using a mobile phone app
WO2007010893A1 (ja) 関節物体位置姿勢推定装置及びその方法ならびにプログラム
CN109655011B (zh) 一种人体建模维度测量的方法及系统
Deng et al. Plausible 3d face wrinkle generation using variational autoencoders
JP7067709B1 (ja) スキンモデルから骨格に基づく体長を統計的に分析するプログラム、装置及び方法
JP7141610B1 (ja) スキンモデルから骨格に基づく姿勢を統計的に分析するプログラム、装置及び方法
Lifkooee et al. Real-time avatar pose transfer and motion generation using locally encoded laplacian offsets
JP2010211732A (ja) 物体認識装置および方法
Laga et al. 4d atlas: Statistical analysis of the spatiotemporal variability in longitudinal 3D shape data
JP7120532B1 (ja) スキンモデルから肉付きに基づく体形を統計的に分析するプログラム、装置及び方法
Endo et al. Hand modeling and motion reconstruction for individuals
KR102270949B1 (ko) 3차원 인간 모델 복원 장치 및 방법
Lu et al. Parametric shape estimation of human body under wide clothing
Cha et al. Mobile. Egocentric human body motion reconstruction using only eyeglasses-mounted cameras and a few body-worn inertial sensors
JP2020112900A (ja) 人体に基づくデプス画像と組成値とを対応付ける装置
Tejeda et al. A neural anthropometer learning from body dimensions computed on human 3D meshes
Ichim et al. Semantic parametric body shape estimation from noisy depth sequences
CN114863013A (zh) 一种目标物体三维模型重建方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220318

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220415

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220415

R150 Certificate of patent or registration of utility model

Ref document number: 7067709

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150