JP2015534637A - ２次元画像シーケンスから正確な身体サイズ測定値を得るためのシステム及び方法 - Google Patents

Abstract

本発明は、２Ｄ画像シーケンスからユーザの正確な身体サイズ測定値を得る方法であって、ａ）カメラにより取り込まれたユーザの生２Ｄ画像シーケンスを得ることによりユーザの身体をスキャンするステップと、ｂ）ユーザ挙動解析装置ＵＢＡを用いることにより、スキャンの前及び最中にユーザのポジション、ポーズ／回転、及び姿勢を追跡することでユーザの挙動を解析するステップと、ｃ）２Ｄ形状解析装置２ＤＳＡを用いることにより、画像シーケンスから２Ｄ形状データ記述子を抽出しエンコードするステップと、ｄ）２Ｄ形状記述子、並びにユーザのポジション、ポーズ、及び回転のデータを受信し、それらを３Ｄ形状モデルに統合するステップであって、前記統合は、画像シーケンスに回転値を割り当てることを含み、前記値は、真正面のポジションに対しての絶対値であるか、又はシーケンス中の基準画像に対して相対的である、統合するステップとを含む方法に関する。

Description

本発明は、身体スキャン／衣類システムの分野に関する。より詳細には、本発明は、サイズ推薦の自動化及び拡張現実の視覚化を通じて衣類ショッピングの経験を向上させるために身体スキャンするシステム及び方法に関する。

フル・ボディ・スキャナ、すなわち、レーザ・スキャナ／（Ｍｉｃｒｏｓｏｆｔ社のＫｉｎｅｃｔ（登録商標）などの）深度カメラのアレイは、身体の表面上の３次元（３Ｄ：ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ）の点を取り込むのに使用することができ、この３Ｄの点を使用して、点の形態（例えば、多数の点）、面の形態（三角形のメッシュ）、又は他のモデルにおけるように身体形状を表すことができる。そのようなモデルは、必要な測定値を抽出するように解析することができる。例えば、ウエストの位置は、身体のプロポーションから算出することができ、ウエストの高さでの断面を使用して点のリスト又はこの点のおける周囲を表す輪郭を抽出することができる。この外周は、次いで前記３Ｄの点リスト／輪郭から算出される。

フル・ボディ・スキャナを造るコスト及び複雑さが、店内で大量展開及び／又は消費者の家庭内での使用を妨げている。したがって、いくつかの従来技術の技法は、単一の２次元（２Ｄ：ｔｗｏ ｄｉｍｅｎｓｉｏｎａｌ）の画像（通常は正面図）、及び、適宜、統制されたポーズのいくつかの他の追加の図（例えば、側面図）から特定の身体測定値を抽出する方法を説明する。例えば、ウエストの周囲を考えると、例えば、ウエストのエリアにおける身体の楕円の断面といった更なる仮定又は近似なしで、１つ又は２つの図が、正確な周囲を算出するのに十分な情報を与えることはできないことは明らかである。明らかに、そのような近似は、現実の被験者が関係する場合には、正確な測定値を与えることはできない。

更に、これらの方法は、正確なポーズをとるユーザの能力次第であり、更にフル３Ｄモデルを生成することができない。コントロールされた回転板や身体上のマーカなどの手段によりユーザの正確なポーズをコントロール／測定することは複雑さのレベルを増し、これによりそのような方法が、家庭内又は多数の店舗の場所で使用されることを妨げる。

Ｃａｒｌｏ Ｔｏｍａｓｉ及びＴａｋｅｏ Ｋａｎａｄｅ，"Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｏｆ Ｐｏｉｎｔ Ｆｅａｔｕｒｅｓ"，Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＭＵ−ＣＳ−９１−１３２，Ａｐｒｉｌ １９９１年 Ｊｏｈｎ Ｌ．Ｂａｒｒｏｎ，Ｄａｖｉｄ Ｊ．Ｆｌｅｅｔ，及びＳｔｅｖｅｎ Ｂｅａｕｃｈｅｍｉｎ（１９９４），"Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｏｐｔｉｃａｌ ｆｌｏｗ ｔｅｃｈｎｉｑｕｅｓ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （Ｓｐｒｉｎｇｅｒ）

本発明の目的は、単一の静止した２Ｄカメラを用いて動いている被験者の２Ｄ画像シーケンスを取り込み、そのような複数の２Ｄ画像から２Ｄ形状又はサイズに関連した記述子を抽出し、記述子を３Ｄサイズ測定値及び／又は３Ｄ形状の要素に統合することができるシステムを提供することである。

本発明の他の目的及び利点は、説明が進むにつれて明らかになろう。

本発明は、２Ｄ画像シーケンスからユーザの正確な身体サイズ測定値を得る方法であって、ａ）カメラにより取り込まれたユーザの生の２Ｄ画像シーケンスを得ることによりユーザの身体をスキャンするステップと、ｂ）ユーザ挙動解析装置（ＵＢＡ：ｕｓｅｒ ｂｅｈａｖｉｏｒ ａｎａｌｙｚｅｒ）を用いることにより、スキャンの前及び最中にユーザのポジション、ポーズ／回転、及び姿勢を追跡することでユーザの挙動を解析するステップと、ｃ）２Ｄ形状解析装置（２ＤＳＡ：２Ｄ ｓｈａｐｅ ａｎａｌｙｚｅｒ）を用いることにより、画像シーケンスから２Ｄ形状データ記述子を抽出しエンコードするステップと、ｄ）２Ｄ形状記述子、並びにユーザのポジション、ポーズ、及び回転のデータを受信し、それらを３Ｄ形状モデルに統合するステップであって、前記統合は、画像シーケンスに回転値を割り当てることを含み、前記値は、真正面のポジションに対しての絶対値であるか、又はシーケンスの中の基準画像に対して相対的である、統合するステップとを含む方法に関する。

本発明の実施例によれば、方法は、スキャン中に初期のユーザ案内／支援及び更なるユーザ案内／支援を行うことを含む、スキャン中にユーザとやり取りするユーザ・フィードバック／ガイダンス・モジュール（ＵＦＧＭ：ｕｓｅｒ ｆｅｅｄｂａｃｋ ａｎｄ ｇｕｉｄａｎｃｅ ｍｏｄｕｌｅ）を用意するステップを更に含む。

本発明の実施例によれば、ユーザ挙動解析装置は、ユーザがユーザ・フィードバック／ガイダンス・モジュールにより与えられた指令に従っていることを確認するために更に使用される。

本発明の実施例によれば、方法は、ユーザ外見解析装置（ＵＡＡ：ｕｓｅｒ ａｐｐｅａｒａｎｃｅ ａｎａｌｙｚｅｒ）によりユーザの視覚的な非形状の記述子を抽出しエンコードするステップを更に含み、非形状の記述子は、ユーザの外見に関連した属性を表すと共に、肌の色合い、髪の色、及びスタイルを含むことができる。

本発明の実施例によれば、方法は、ＵＡＡによりユーザの顔の外観の記述子を抽出しエンコードするステップを更に含む。

本発明の実施例によれば、方法は、３Ｄサイズ測定値を抽出してユーザ外見データと共にユーザ形状／外見データベース内に記憶するステップを更に含み、それにより先にスキャンされたユーザが、バーチャル試着室アプリケーションのインタフェースを介してシステムにログインするときに、衣類データベースをフィルタ処理／検索し、衣類と、ユーザによくフィットするそれらの特定のサイズを推薦するために、ユーザの記憶された身体サイズ特徴が使用される。

本発明の実施例によれば、ユーザの挙動を解析するステップは、前景検出プロセス及び画像シーケンスから得られる２値身体シルエット画像に基づいており、ユーザ挙動解析の重要な属性の１つは、前記ユーザの基準床上位置である。

本発明の実施例によれば、ユーザは、スキャン・プロセス全体を通じて指定範囲内で指示に従って動き回るように要求される。例えば、床上のマークは、スキャン・プロセスを通じてユーザを案内するために使用することができる。

本発明の実施例によれば、方法は、入力装置を介してシステムに手動で与えることができる単一のサイズ値として、ユーザの像の高さからの距離及びユーザの物理的高さを推定するステップを更に含み、又は距離／位置は、画像シーケンスから自動的に抽出することができる。

本発明の実施例によれば、ＵＢＡによりユーザ挙動を解析するプロセスは、ａ）２値シルエット画像中の最下列を検索して、ユーザの足ポジションを検出し、前記検出した足からユーザの距離を抽出することでユーザ・ポジションを検出するステップであって、ユーザ・ポジションが最下座標ｙ及び重心ｘにより決定されるユーザ・ポジションを検出するステップと、ｂ）足サイズの平均値、及び（適宜）身体回転角を用いて足裏の距離を体心距離へ変換し、それにより正確な距離値を回転中心へ割り当てるステップと、ｃ）最下列が検出されると、ユーザの足の周りに算出ウィンドウを構成し、重心ｘを床上水平ポジションに変換するステップとを含む。

本発明の実施例によれば、最下座標ｙと重心ｘの両方が、ポジション精度に悪影響を及ぼす足エリアでのオブジェクト・セグメンテーションの不安定性を避けるために、一時的にフィルタ処理される。

本発明の実施例によれば、方法は、人間検出追跡技法を適用することにより水平（ｘ）重心の近くで２値形状の上部にてユーザ頭部の頭を検出するステップを更に含む。

本発明の実施例によれば、方法は、両手検出アルゴリズムを適用することによりユーザの両手を検出するステップを更に含む。本発明の実施例によれば、両手検出アルゴリズムは、推定した肩の位置から腕を探し始め、次いで両手を腕形状の端点として検出するまで移動する。

本発明の実施例によれば、両手検出アルゴリズムは、２値身体シルエット画像が、中心身体位置から追跡されたスケルトン画像の腕部の端で１つ接続された画素として手の先端が検出される１画素幅のスケルトン画像まで薄くされるように、２値身体シルエット画像を処理することにより得られる。

本発明の実施例によれば、方法は、両手が正面のポジションで検出されると、１フレームごとに画像の変化の正確な２Ｄ及び３Ｄ測定、並びに両手が頭のシルエットと同化するときの予測についての追跡及び画像登録の技法を用いるデジタル画像相関追跡（ＤＩＣ／ＤＤＩＴ：Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｃｏｒｒｅｌａｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ）方法を適用することにより両手が追跡されるように、前記ユーザの検出した両手を追跡することによりユーザを完全な円で回転させるように案内するステップを更に含む。

本発明の実施例によれば、方法は、二値画像の漸進的変化幅のシーケンスを追跡し、補間法を用いて中間の回転角を推定することによって身体回転の鍵を握るものとしてユーザの身体のシルエット幅の漸進的変化を検出するステップを更に含む。

本発明の実施例によれば、２ＤＳＡにより２Ｄ形状を解析するプロセスは、ａ）回転シーケンスの複数の画像でユーザの特定の身体部分の位置を検出するステップと、ｂ）前記画像ごとに前記身体部分の縁部又は輪郭点を測定するステップとを含む。

本発明の実施例によれば、方法は、２Ｄ形状データから３Ｄサイズの計量及び形状のデータを構成するステップを更に含む。

本発明の実施例によれば、ユーザの挙動を解析するステップは、ユーザの像がカメラの視界から外れないことを確認することを更に含む。

本発明の実施例によれば、方法は、ＵＦＧＭ１２０は、シーン及びカメラの設定並びにユーザ挙動におけるよくある問題を検出するための複数のシーン内容／ユーザ挙動解析アルゴリズムを含むことを更に含む。

本発明の実施例によれば、方法は、身体のシルエットの内側の視覚的内容、詳細には衣類の模様や肌のきめを追跡するステップを更に含む。

本発明の実施例によれば、方法は、推薦エンジンを用いることによりユーザに衣類の推薦を行うステップを更に含む。

本発明の実施例によれば、推薦は、非形状のユーザの特徴（肌の色合い、目の色、髪の色など）を用いることを含む。

本発明の実施例によれば、方法は、スキャンしたユーザの２Ｄ形状データ及び／又は算出した３Ｄ形状データからアバタを構築するステップを更に含む。

本発明の実施例によれば、方法は、アバタが非形状のユーザの特徴（肌の色合い、目の色、髪の色など）を含むことを更に含む。

本発明の実施例によれば、アバタは、スキャン・プロセス中にユーザを視覚化するために使用される。

本発明の実施例によれば、アバタは、ユーザに対して選択した衣類を視覚化するために使用され、前記視覚化は、静止的であるか、又は予め定められた動き／ランダムに生成される動きの１つでアバタをアニメ化することにより動的であってもよい。

本発明の実施例によれば、アバタ視覚化は、スキャン中のユーザの経験を強化するように変更される。

本発明の実施例によれば、アバタ視覚化は、購入段階中に衣類表示を強化するように変更される。

本発明の実施例によれば、方法は、ユーザをスキャンし３Ｄ形状データを解析して、医学的応用のために肥満症、脂肪の分布などのある種の健康に関連したパラメータ／計量を生成するステップを更に含む。

発明の実施例によれば、スキャニングは繰り返し行われ、ユーザ３Ｄ形状データは、参照スキャン又は１つ若しくは複数の先行スキャンと比較され、比較プロセスが、ある種の形状パラメータの大きな変更の指示を生成するようになっている。

別の態様では、本発明は、２Ｄ画像シーケンスからユーザの正確な身体サイズ測定値を得るシステムであって、ａ）前記ユーザの生の２Ｄ画像シーケンスを取り込むことにより前記ユーザの身体をスキャンするカメラと、ｂ）身体スキャンニングの前及び最中にユーザのポジション、ポーズ／回転、及び姿勢を追跡することで前記ユーザの挙動を解析するユーザ挙動解析装置（ＵＢＡ）と、ｃ）前記画像シーケンスから２Ｄ形状データ記述子を抽出しエンコードする２Ｄ形状解析装置（２ＤＳＡ）と、ｄ）２Ｄ形状記述子、並びにユーザのポジション、ポーズ、及び回転のデータを受信し、それらを３Ｄ形状モデルに統合するようにプログラムされた処理装置であって、前記統合は、前記画像シーケンスに回転値を割り当てることを含み、前記値は、真正面のポジションに対しての絶対値であるか、又は前記シーケンスの中の基準画像に対して相対的である、処理装置とを備えたシステムに関する。

本発明の実施例によれば、システムは、スキャン中に初期のユーザ案内／支援及び更なるユーザ案内／支援を行うことを含む、スキャン中にユーザとやり取りするユーザ・フィードバック／ガイダンス・モジュールを更に備える。

本発明の実施例によれば、システムは、ユーザの視覚的な非形状の記述子を抽出しエンコードするユーザ外見解析装置（ＵＡＡ）を更に備える。

本発明の実施例によれば、システムは、ユーザ外見データと共にユーザ身体の３Ｄサイズ測定値を記憶するためのユーザ形状／外見データベースを更に備える。

本発明の実施例によれば、システムは、衣類関連データを記憶するための衣類データベースを更に備える。

本発明の実施例によれば、システムは、ユーザに衣類の推薦を行う衣類推薦エンジン（ＧＲＥ：ｇａｒｍｅｎｔ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ｅｎｇｉｎｅ）を更に備える。

本発明の実施例によるバーチャル試着室アプリケーションによる身体スキャンニング及び衣類選択のシステムの概略図である。 従来技術において知られているような前景検出の方法を全体的に示す流れ図である。 スキャン・プロセスに必要とされるようなユーザ挙動を解析する方法の説明図である。 足画像ポジション検出によるユーザ距離の抽出を示す図である。 本発明の実施例による身体回転検出キューとして両手の検出及び追跡を示す図である。 本発明の実施例による身体回転検出キューとして両手の検出及び追跡を示す図である。 身体回転の鍵を握るものとして身体のシルエットの幅の漸進的変化の概略的に示す図である。 身体回転の鍵を握るものとして身体のシルエットの幅の漸進的変化の概略的に示す図である。 本発明の実施例による２Ｄ形状解析装置の説明図である。 画像解析法により実行できる垂直ウエスト位置についてのいくつかのキューを概略的に示す図である。 画像解析法により実行できる垂直ウエスト位置についてのいくつかのキューを概略的に示す図である。 画像解析法により実行できる垂直ウエスト位置についてのいくつかのキューを概略的に示す図である。 シルエット端点を境界扇形に変換する原理を示す図である。 シルエット端点を境界扇形に変換する原理を示す図である。 シルエット端点を境界扇形に変換する原理を示す図である。 シルエット端点を境界扇形に変換する原理を示す図である。 本発明の実施例による画像シーケンスから正確な断面形状をどのように得るのかを示す図である。 本発明の実施例による画像シーケンスから正確な断面形状をどのように得るのかを示す図である。 ２Ｄ形状データから３Ｄサイズの計量及び形状のデータを構成することを説明する図である。 衣類産業により通常必要とされるような身体の胴のサイズ測定値を示す図である。 生成した３Ｄデータからの３Ｄモデル表示の構成を概略的に示す図である。 生成した３Ｄデータからの３Ｄモデル表示の構成を概略的に示す図である。 生成した３Ｄデータからの３Ｄモデル表示の構成を概略的に示す図である。 本発明の実施例による衣類推薦エンジン（ＧＲＥ）を概略的に示す図である。 本発明の実施例による例示的なサイズ計算の流れを概略的に示す図である。 本発明の実施例によるサイズ推薦を発するプロセスを概略的に示す図である。 衣類がユーザの身体にフィットする様子を示す概略的ヒート・マップの一例を概略的に示す図である。

本発明は、自然な身体の動きを通じて取り込んだ２Ｄ画像シーケンスを用いて、より効率よい店内ショッピング又は自宅ショッピング経験のための自動化されたサイズ推薦の基礎を成し得る複数の長さ及び周囲の身体サイズ測定値を算出する方法（すなわち、ボディ・スキャナ）に関する。これらのサイズ測定値は、選択した衣類がユーザの身体にどのようにフィットするか又は似合うかについての拡張現実の視覚化のためにユーザの身体形状を最も良く表すアバタを選択及び／又は修正するために更に使用することができる。加えて、このスキャン法は、詳細な身体形状モデルとして働く多数の点又は他の高密度の３Ｄ表示を得るために使用することができる。必要な測定値は、このモデルから得られる。この３Ｄ表示は、上記の拡張現実のアプリケーションのレンダリング・エンジンにより使用される（三角形のような）表面モデルへ変換することができる。

概念では、ボディ・スキャナは、例えば、小売店若しくはショッピング・モール内、又はユーザの自宅内のどこでも使用することができる。ユーザは、ポーズ角度及び肩角を含む正確且つ完全な身体測定値を得る目的で、服を脱いだ状態で、通常はぴったりフィットしたボディ・スーツを着て床に立つ。典型的には、試着の衣類は、フィット不釣り合いを見つけるため、又は個々のフィードバックを得るための基礎として使用されない。ユーザの身体のスキャン測定値は、解析用のコンピュータ・プログラムに引き渡される。このプログラムは、ユーザの測定値と（ある鍵となる位置で測定したときの衣類の寸法、布の弾性、衣類のフィット及び寸法公差などの）選択した衣類の特性とを比較する。システムの解析により、ユーザに完全にフィットする衣類となる。

以下の詳細な説明では、その一部を形成すると共に例示により特定の実施例又は実例が示されている添付図面の参照がなされる。これらの実施例は組み合わせることができ、他の実施例が利用されてもよく、構造の変更が本発明の趣旨又は範囲から逸脱することなくなされ得る。したがって、以下の詳細な説明は、限定の意味でとらえられるべきではなく、本発明の範囲は、添付の特許請求の範囲及びその均等物により定められる。当業者は、以下の詳細な説明から、本明細書に記載の本発明の原理から逸脱することなく本明細書に示された構造及び方法の代替実施例が用いられてもよいことを容易に理解されよう。

次に、本発明及び例示的なコンピューティング動作環境の各態様が記載されている図面を参照する。図１及び以下の説明は、本発明を実施できる適切なコンピューティング環境の簡単な概要を示すものである。本発明は、パーソナル・コンピュータのオペレーティング・システム上で実行するバーチャル試着室アプリケーション・プログラムと共に実行するプログラム・モジュールの一般的文脈で説明されるが、当業者は、他のプログラム・モジュールと組み合わせて本発明を実施することもできると理解されよう。

一般に、プログラム・モジュールは、ルーチン、プログラム、コンポーネント、データ構造、及び特定の画像処理作業を行う他のタイプの構造を含む。また、当業者は、本発明は、ハンドヘルド装置、マルチプロセッサ・システム、マイクロプロセッサ・ベースの又はプログラム可能な家庭用電化製品、ミニコンピュータ、及びメインフレーム・コンピュータなどを含む他のコンピュータ・システム構成と共に実施することができると理解されよう。本発明は、通信ネットワーク（例えば、ユーザ側及びサーバ側）を通じてリンクされている遠隔処理装置によりタスクが実行される分散コンピューティング環境内で実施することもできる。分散コンピューティング環境では、プログラム・モジュールは、ローカルと遠隔の両方のメモリ記憶装置内に設置することができる。

図１は、本発明の実施例による２Ｄ画像シーケンスから正確な身体サイズ測定値を得るためのシステム１００を説明する。概して、システム１００は、バーチャル試着室アプリケーションにより身体スキャンニング及び衣類選択のために使用される。システム１００は、ユーザ・フィードバック／ガイダンス・モジュール（ＵＦＧＭ）１２０と、カメラ１２１と、ユーザ挙動解析装置（ＵＢＡ）１３０と、２Ｄ形状解析装置（２ＤＳＡ）１４０と、ユーザ外見解析装置（ＵＡＡ）１５０と、３Ｄ形状解析装置（３ＤＳＡ：３Ｄ Ｓｈａｐｅ Ａｎａｌｙｚｅｒ）１６０と、バーチャル試着室アプリケーション１９０と、衣類データベース１８０とを備える。

ユーザ１１０は、カメラ１２１の正面に位置し、ＵＦＧＭ１２０によりディスプレイ１２２及びスピーカ１２３を駆動して、ユーザの身体のスキャン・プロセス中に初期のユーザ案内／支援及び更なるユーザ案内／支援を提供する。キーボード１２４、タッチ・スクリーン、又は音声命令モジュールなどの入力装置は、スキャン・プロセスを開始し、ユーザＩＤを入力し、測定に対するユーザの同意を受け付けるなどの機能を実行し得る。

カメラ１２１はＵＢＡ１３０に接続されており、ＵＢＡ１３０は、スキャンニングの前及び最中にユーザ１１０のポジション、ポーズ／回転、及び姿勢を追跡し、ユーザの像がカメラの視界から外れないこと、及びユーザがＵＦＧＭ１２０により与えられた単純な指令に従っていることを確認する。そのような単純な指令には、「スキャン範囲に入りなさい」、「両手を挙げなさい」、「回りなさい」などが含まれ得る。

カメラ１２１は、２ＤＳＡ１４０に更に接続されており、２ＤＳＡ１４０は、カメラ１２１により取り込まれた画像シーケンスの各々から２Ｄ形状データを抽出しエンコードする。

カメラ１２１は、ＵＡＡ１５０に更に接続されており、ＵＡＡ１５０はユーザに特有の視覚的な非形状の記述子を抽出しエンコードする。そのような記述子は、肌の色合い、髪の色、及びスタイルを含み得ると共に、適宜、顔の外観の記述子を含み得る。これらの記述子は、例えば、ユーザと同様の肌の色合いを有する、ユーザと同様の顔を有するなどユーザに似ているように、アバタの視覚的外見を強調するためにバーチャル試着室アプリケーション１９０により使用することができる。

視覚的な非形状の記述子は、これらの記述子の１つ又は複数に基づいて衣服の推薦を作り出すために更に使用することができる。例えば、推薦された衣類の色及び／又は生地／模様は、肌の色合い、髪の色、及び目を強調することができる。

システム１００の各要素は、ＵＳＢウェブカメラ、ＬＣＤディスプレイ、接続したスピーカ、キーボード、パーソナル・コンピュータ等などの別個のモジュールにより実施することができる。しかし、高度に能力のある家庭用電子機器を導入した場合、本発明のいくらかの実施例は、そのような機器に基づき得る。特定の例では、システム１００の全要素は、ユーザのコンピュータ・ベースの装置により、例えば、ラップトップ・コンピュータ、Ａｐｐｌｅ ＩｎｃによるｉＰａｄなどのタブレット・コンピュータ、又は更にはＳａｍｓｕｎｇによるＧａｌａｘｙなどのスマートフォンによって実施することができる。

本発明の実施例によれば、システム１００のいくつかのモジュールは、３ＤＳＡ １６０及び衣類データベース１８０などの遠隔サーバ内に実装することができる。３ＤＳＡ １６０は、２Ｄ形状記述子、並びにユーザのポジション、ポーズ、及び回転のデータを受信し、それらを３Ｄ形状モデルに統合し、及び／又は３Ｄサイズ測定値を抽出してユーザ外見データと共にユーザ形状／外見データベース１７０内に記憶する。事前にスキャンされた使用者が（例えば、バーチャル試着室アプリケーション１９０のインタフェースを介して）システム１００にログインするときに、その記憶された身体サイズ特徴は、衣類データベース１８０をフィルタ処理／検索し、衣類及びユーザによくフィットするそれらの特定のサイズを推薦するために使用される。現在のショッピング経験とより良く整合している別の使用ケースでは、ユーザは、ウェブ・ショップ上で衣類を選択し、サイズ推薦、並びに衣類が身体にフィットする様子を示す概略的なヒート・マップ（そのような概略的なヒート・マップの一例は、図１７に示されている）を受信する。

衣類データベース１８０は、シャツ、ズボン、ドレス等などの衣類、及び被服産業のより一般に定められているような、サイズ、長さ、幅、色等などそれらの属性をデジタルで表すデータを含む。例えば、衣類をデータベース１８０に加えるために、システム１００は、衣類検出モジュール（図示せず）を更に備えることができる。検出した衣類の正しいスケール及び斜視図を与えると共に、適宜、カメラの視野角及び衣類が位置する平面により生じ得る歪みをなくす又は減少させるために、基準物体（例えば、コンパクト・ディスク）又はチェスボード模様などの較正模様として知られた寸法を有する物体を用いるなど、当技術分野で知られた歪み補正技法が使用されるべきである。

本発明の実施例によれば、３Ｄ形状情報は、選択した衣類がどのようにユーザの身体にフィットする又は似合うかの拡張現実の視覚化のためにユーザの身体形状を最も良く説明するアバタを構築するために更に使用される。より強力な表示のために、ユーザがスキャン・プロセス中に取り込まれる自らの顔を選択するならば、ＵＡＡ１５０から得られるようなユーザ外見情報が、肌／髪の色の形態で及びまた同様の顔でアバタに埋め込まれる。そのようなユーザのコンピュータ・ベースの装置の演算能力が成長するにつれて、３ＤＳＡ １６０は、そのような装置に備えることができ、サーバ側の演算リソース及び帯域幅の要求を更に減少させる。

図２は、従来技術で知られている画像シーケンスの変化を検出するのによく用いられている前景検出の方法を示す。スキャン・プロセスが屋内で行われると共に、カメラ１２１（図１）がこのプロセス中に静止しているとき、背景減算技法が適切である。背景モデリング（ステップ２２０）は、ユーザがシーンに入る前の、又はフレームとフレームの差が大きい、つまり、ユーザの存在又は動きを表す、エリア内での平均化を禁止することによる、前景対象を含まないビデオ画像の移動平均として背景モデルを構成する。背景モデルの例示的な画像は、数字２１１で示されている。

（数字２１１により示されるような）背景モデルが安定すると、新たに取り込まれたビデオ・フレームごとに、背景減算（ステップ２３０）は、（数字２１０により示されるような）ビデオ・フレームと背景モデル画像２１１との間のピクセルごとの絶対差を算出する。（数字２１２により示されたような）差分画像は、次いで、ノイズ及び照明の変化レベルのすぐ上で全体的に又は局所的に（画像位置ごとに）その閾値を設定する適応できる閾値により処理され（ステップ２４０）、（例示的な二値画像は数字２１３により示されている）二値画像を得る。二値フィルタリング・ステップ２５０は、小さいノイズ領域及び対象内の小さい穴をなくす接続コンポーネント・フィルタリング又はモルフォロジカル・フィルタリングなどの既知の技法を使用することができる。

図３は、本発明の実施例によるスキャン・プロセスの一部として、ＵＢＡ１３０によるユーザ挙動を解析するプロセスを流れ図で概略的に示す。ユーザ３Ｄ形状データを得るために、ユーザ挙動情報は、以下のものを含むことができる。すなわち、
− グランド・プレーン上のユーザ・ポジション
− ユーザのポーズ、又はグランド・プレーンに対しての回転
− ＵＦＧＭ１２０により指令されるような必要な姿勢の確認

以下の説明中、ウエスト、ヒップ、及び胸のような周囲を測定するために、並びに／又は胴エリアを説明する３Ｄの多数の点を得るために、スキャン・プロセスは、ユーザの胴に向けられると仮定する。特定の実施例では、胴のスキャニングは、ユーザが「サボテン」姿勢を呈する状態で行われ、図２及び図３中の画像２１０により概説されるように、胴エリアは、スキャン・プロセス全体を通じて閉鎖していないようになっている。

ユーザ挙動は、前景検出プロセス（図２中の画像２１３に示されるような）及びカメラ１２１からの生ビデオ画像（図１）から得られるような２値身体シルエット画像に基づいて解析される。

本発明の実施例によれば、ユーザ挙動解析の重要な属性の１つは、被験者の基準床上位置である。一実施例では、被験者は、スキャン・プロセス全体を通じて指定範囲内で指示に従って動き回るように要求され、床上マーキングは、適宜、スキャン・プロセスを通じてユーザを案内するために使用できる。代替として、このシステムは、（例えば、図１に示したキーボード１２４を介して）システムに手動で入力できる単一のサイズ値として、被験者の画像の高さ及び被験者の物理的高さからの距離を推定することができる。しかし、より良い精度、完全な自動動作、及びあまり協力的でない被験者の場合、この位置は、２Ｄ画像シーケンスから距離／位置を抽出する。

ＵＢＡ１３０によるユーザ挙動の解析は、以下のステップを伴うことができる。

足検出（ステップ３１０）は、２値シルエットの最下列を探す。スキャン・プロセスの初めに行われるカメラ較正に基づいて、床面を示す各画像列（ｙ）座標は、カメラからの距離に変換することができる。例えば、図４は、足画像ポジション検出からのユーザ距離の抽出を更に詳細に示す。較正した距離線２８０、２９０、３００、及び３１０は、距離値を有する水平線として示される。各線間の垂直な足ポジションは、補間することができる。正確な距離値を回転中心に割る当てるために、このシステムは、足サイズの平均値及び（適宜）身体回転角を用いて足裏の距離を体心距離に変換する。

最下列が検出されると、（破線４００により示されるような）算出ウィンドウが、足の周りに構成され、重心ｘは、（カメラ較正から）床上水平ポジションへ変換される。これにより、ユーザ・ポジション検出を完了する（ステップ３２０）。

ポジション精度に悪影響を及ぼす足エリアでのオブジェクト・セグメンテーションの不安定性を避けるために、例えば、５フレーム平均化フィルタ又は他の適切な平均化フィルタを用いることにより、最下座標ｙと重心ｘの両方が時間的にフィルタ処理される。

ユーザ距離は、本発明に記載されるように頭を検出しこの頭を追跡することにより頭の位置の上部から同様のやり方で推定することはできる。足検出だけから又は手検出だけから距離を追跡する両方のこれらの方法は、床からのカメラの高さ及びそれの傾斜を知ることを必要とする。これは、フィッティング・ルーム内などの固定カメラの設置に容易に利用できるが、カメラの高さの測定及びその傾斜の制御／測定が一度だけのユーザを悩まし得るとき、我々は、家庭内の応用を支援することを望み得る。そのような場合には、頭の位置と足の位置の両方を追跡するために本発明による実施例を組み合わせることができ、これにより、このカメラの高さ／傾斜の値なしで測定フレームごとにユーザの距離を得る。

ユーザがカメラに近すぎる場合、これによりユーザ・シルエットのクリッピング、及び／又は射影ひずみの増大となり得、ユーザ・フィードバックＵＦＧＭ１２０は、ユーザに警告を行う。同様に、ユーザが壁背後にあまりに近く旋回が困難になり得る場合、別の警告が届けられる。ＵＦＧＭ１２０（図１）は、照明があまりにも低い若しくはあまりにも明るい、背景があまりににぎやか、カメラの視界内にＴＶモニタ又はコンピュータ画面などの動的背景、動く陰、動くキャスト光、カメラが傾斜している等などのシーン及びカメラの設定、並びにユーザ挙動におけるよくある問題を検出するための従来技術において知られているような複数のシーン内容／ユーザ挙動解析アルゴリズムを含む。

２値シルエットに基づいて、頭検出モジュール（ステップ３３０）は、水平（ｘ）重心の近くで２値形状の上部にてユーザの頭を見つけることができる。頭のポジションの更なる確認／微細な位置は、人々の頭−肩の部分のオメガ形の特徴に基づいて、オメガ形検出器又は他の既知の人間検出追跡技法に基づき得る。

頭及び足が検出されると、一般的スケールが、形状全体に使用可能であり、いくつかの身体部分の位置についての最初の推測として役立ち得る。両手検出モジュール（ステップ３４０）は、推定した肩の位置から腕を探し始め、次いで両手を腕形状の端点として検出するまで移動する。代替として、２値形状（例えば、例示的な画像２１３を参照）は、中心身体位置から追跡された腕骨の端で１つ接続された画素として手の先端が検出できる１画素幅のスケルトン画像まで薄くすることができる。

足シルエットからユーザ・ポジションを確認すると、このシステムは、続いて（ステップ３７０）、両手ポジションから身体姿勢を確認し、次いでユーザを完全な円で回転するように案内する（このガイダンスは、ＵＦＧＭ１２０により行われ得る）。画像シーケンスの連続性は、手動追跡で利用することができる。両手が正面のポジションで検出されると、それらは、（例えば、画像の変化の正確な２Ｄ及び３Ｄ測定の追跡及び画像登録の技法を用いる相関調査又は他のよくあるデジタル画像相関追跡（ＤＩＣ／ＤＤＩＴ）方法を用いて）１フレームごとに追跡されると共に、両手が頭のシルエットと同化するときの予測となる。

２Ｄ画像形状データを３Ｄサイズ／形状に統合するために、（絶対的、すなわち、真正面のポジションに対して、又は相対的、シーケンス中の一基準画像に対して）画像シーケンスに回転値を割り当てることが必要とされる。

図５Ａ及び図５Ｂは、身体回転検出キューとして両手の検出及び追跡を示しており、図５Ａは、第１のポジションにおけるユーザ１１０の身体を示し、一方、図５Ｂは、図５Ａの第１のポジションに対して回転されている別のポジションにおけるユーザ１１０の身体を示す。数字５１０はユーザの頭を示し、一方、数字５１１及び５１２はユーザの両手を示す。短い回転の間、手５１１と手５１２の間の３Ｄ距離が一定のままであると仮定すると、身体回転検出モジュールは、回転角の推定を行うために、像距離の漸進的変化を追跡する（ステップ３８０）。他の身体回転キューは、精度を高めるために独立して又は組み合わせて使用することができる。

例えば、あるものは、身体のシルエットの内側の視覚的内容、例えば、衣類の模様や肌のきめを追跡することができる。適用可能な技法は、特徴点の検出及び追跡を含む［Ｃａｒｌｏ Ｔｏｍａｓｉ及びＴａｋｅｏ Ｋａｎａｄｅ，“Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｏｆ Ｐｏｉｎｔ Ｆｅａｔｕｒｅｓ”，Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＭＵ−ＣＳ−９１−１３２，Ａｐｒｉｌ １９９１年］。身体回転は、目に見える運動の「オプティカル・フロー」場を算出し、動きのモデルをそのベクトル場にフィットさせることにより推定することができる。［Ｊｏｈｎ Ｌ．Ｂａｒｒｏｎ，Ｄａｖｉｄ Ｊ．Ｆｌｅｅｔ，及びＳｔｅｖｅｎ Ｂｅａｕｃｈｅｍｉｎ（１９９４），“Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｏｐｔｉｃａｌ ｆｌｏｗ ｔｅｃｈｎｉｑｕｅｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （Ｓｐｒｉｎｇｅｒ）］。そのような技法は、以下に説明する顔回転追跡により拡大され得る。

顔検出モジュール（ステップ３５０）は、手検出モジュール（ステップ３３０）により検出される頭に顔の検索を集中する。Ｖｉｏｌａ−Ｊｏｎｅｓ顔検出器などの顔検出器は、様々な正面のポーズで顔を検出するために画像に適用することができると共に、輪郭の面を検出するように拡張もされている。最も良いスコアを与える特定の分類器は、顔のポーズの感覚を与える。精度は、複数の顔の標識構造を検出し相対的ポジション及び距離の比からポーズを推定することにより更に向上される。

図６Ａ及び図６Ｂは、身体回転の鍵を握るものとして身体のシルエットの幅の漸進的変化を概略的に示し、ここで、図６Ａは、第１のポジションにおける身体のシルエットを示し、一方、図６Ｂは、図６Ａの第１のポジションに対して回転している別のポジションでの身体のシルエットを示す。例えば、最も狭いウエスト寸法（最小の最小）を有する画像は、９０°で割り当てることができ、最も広いヒップ寸法（最大の最大））を有する画像は、０°で割り当てることができる。次いで、このシステムは、幅シーケンスの漸進的変化を追跡し、以下のような補間を用いて中間の回転角を推定する。
− 線形補間（一定の角速度を仮定する）
− 幅ベースの補間（ウエスト／ヒップの楕円断面を仮定する）
− 身体のシルエット内の視覚的細部の動きを追跡する、上記のような既知のオプティカル・フロー技法又は特徴点の検出及び追跡を使用する、楕円断面積モデルを用いて回転を求める

ＵＢＡ１３０によりユーザ挙動を解析する前述のプロセスは、フレーム単位でユーザ挙動解析を記述する。セグメント化及び解析の誤差は、隔てられたフレームで、ノイズの入った測定値及び／又は偽りの値になり得る。全てのユーザ挙動パラメータは、時間的な領域（経時）ついて平滑化され得て、前記パラメータについてロバストな推定を与える。ある特定の例として、ランダムな角度誤差を減少させると共に外れ値を取り除くために、統計学で知られているようなメジアン・フィルタ又は他のロバストな推定法が適用されて、身体回転角シーケンスとなり得る。

図７は、本発明の実施例による２ＤＳＡ１４０による２Ｄ形状を解析するプロセスを流れ図で説明する。より良く明確にするために、ある特定のサイズ測定値、すなわち、ウエストの周囲の文脈で２Ｄ形状解析を説明する。

本発明の実施例によれば、２Ｄ形状解析は、回転シーケンスの複数の画像でウエスト画像位置を検出し、次いでそのような画像ごとのウエストの縁部又は輪郭点を測定することを必要とする。

図７によれば、サブシーケンス選択モジュール（ステップ７１０）は、（図３に関連して上述したような）ＵＢＡ１３０からユーザ挙動データ（ステップ７０２）を用いて、ビデオ画像シーケンス（ステップ７００）からサブシークエンスの画像、及び（図２に関連して上述したような）前景検出モジュールから得られるようなその前景画像の対応するもの（ステップ７０１）を選択する。これにより、（例えば、ユーザ位置データが利用できないとき、又はユーザが正しい姿勢にないときの）無関係の画像をとばすことが可能になると共に、（ユーザが動かない又はとてもゆっくり回転するときの）重複している画像をとばすことが可能になる。

次いで、垂直ウエスト位置モジュール（ステップ７２０）は、図８Ａ〜図８Ｃに示された画像に関連して後述するように、サブシーケンス中の選択した画像についてウエストの垂直画像位置を検出する。

次いで、シルエット端点検出モジュール（ステップ７４０）は、前記ウエスト垂直画像位置に関連した画像列で左右を探し、左シルエット端点及び右シルエット端点を二値画像の白黒交差部として検出する。端点のサブピクセルの精度は、当業界で良く知られているサブピクセルの縁部／ゼロ・クロス検出を用いてグレーレベル画像から得る。

好ましい実施例では、時間的な垂直位置フィルタ（ステップ７３０）及び時間的な端点位置フィルタ（ステップ７５０）は、ノイズを低減すると共に外れ値を無視するために、前述のステップからの値のシーケンスに適用される。

時間的な垂直位置フィルタ（ステップ７３０）は、例えば、｛ｙＷａｉｓｔ＿０，ｙＷａｉｓｔ＿１，．．．｝により示されるような垂直ウエスト位置の時間的なシーケンスに適用され、ただし、＿０、＿１などは画像インデックスである。

時間的な端点位置フィルタ（ステップ７５０）は、左ウエスト位置の時間的なシーケンスに適用され、例えば、｛ｘＬｆｔ＿０，ｘＬｆｔ＿１，．．．｝であり、ただし、＿０、＿１などは画像インデックスであり、右ウエスト位置の時間的なシーケンスについても同様である。

このプロセスは、ヒップ、胸等などの所望の周囲値ごとに繰り返す。効率を高めるために、これらの身体の位置が前もって知られているとき、図７のプロセスは、画像シーケンスの単一の処理パス中に複数の時間的なシーケンスを得るように容易に変更することができる。

多数の点が必要とされる形態の完全な３Ｄモデルの場合には、シルエットの輪郭全体が横断され、上記のようにサブピクセルの精度で位置が算出される縁点のリストに変換される。

図８Ａ〜図８Ｃは、画像解析法により実行できる垂直ウエスト位置についてのいくつかのキューを概略的に示す図である。いくつかの身体形状（例えば、図８Ａ参照）については、ウエストは、胴の最も狭い箇所として定められる。［ｙｍｉｎ，ｙｍａｘ］の画像列座標の範囲は、全身のシルエットのサイズに基づいて定められ、最小の［ｘ＿ｌｅｆｔ，ｘ＿ｒｉｇｈｔ］間隔の探索が行われる。より良い結果のために、測定の干渉を避けるために、被験者の手は、身体から離され、持ち上げられる（例えば、図８Ｃに示されるユーザのポジションのように）、又は４５度で持ち上げられるべきである。より多くの肥満者にとって、ウエストの位置は、身体幅機能から明確でない可能性がある。したがって、垂直ウエスト検出の別の方法が、（図８Ｂに概略的に示されるような）ユーザのへそなどのユーザ・シルエットの内側の視覚的特徴点を検出するために使用することができる。ウエストの位置の視覚的キューが十分に安定していないとき、このシステムは、例えば、ユーザの身長の割合として平均ウエスト高さを与える人体計測データからウエストの位置を計算する。

検出に加えて、ユーザの寸法を特定の衣類の寸法に合わせることが求められるとき、ユーザの寸法に対する「自然の」解剖学的位置（例えば、ウエスト、胸など）が名目上の身体の位置で抽出される。例えば、ある衣類については、ウエスト・ラインは肩から４５ｃｍと定義され、我々は、身体に沿ってまさに同じ点を探し出し、まさにこの点で周囲を測定する。

人間の身体部分の外見の幅広いばらつきにより、一実施例によれば、この身体部分の画像のコレクションが集められ、（Ｈａａｒ−ｌｉｋｅ特徴又は物体認識に使用される類似するデジタル画像の特徴などの）適切な画像の特徴が選択され、単純な分類器のカスケードが、既知のＡｄａＢｏｏｓｔアルゴリズム、又は同様の機械学習アルゴリズムの実施により訓練される。これらのステップは、オフラインで行うことができる。システムの動作中、へそ領域は全体の画像サイズから推定され、分類器のカスケードは適用され、特徴検出のために異なるスケールで領域をスキャンする。

図８Ｃは、垂直ウエスト位置についての別の実施例を示しており、これによれば、シルエット解析に基づいて肩の高さと股の高さが検出され、垂直ウエスト位置はこれらの２つの値の間で比例的に定められる。肩の高さ及び股の高さは、破線８０１及び８０２でそれぞれ示され、線８０３により示されるウエストの位置で定められている。

ウエスト・ライン、ヒップ・ライン、及び胸のラインのような特定の各胴高さ線についての画像検索は、身体計測情報を用いて更に制限される。例えば、女性全体の９９％の女性のウエスト点は、女性の身長の０．５７８から０．６５２の間にある。したがって、カメラ・パラメータと共に、（例えば、ユーザをシステムに登録しているプロセスの間に）入力される被験者の性別及び身長を知ることは、ウエスト・エリアの垂直画像スパンを我々が算出することを可能にし、この垂直画像スパンにおいてのみ上記のウエスト検出プロセスの１つ又は複数を行う。同様の人体計測データは、肩、首、手首など他の身体のキー・ポイントを探すのを容易にする。

図９Ａ〜図９Ｄは、身体のシルエット９００の端点を境界扇形へ変換する原理を概略的に示す。カメラの高さの身体部分又は（身体の寸法に対して）遠位のカメラに対して正当化され得るカメラについての直角（又は平行な）投影モデルを仮定するものとする。他のケースについては、カメラの光軸に対して特定の身体部分の仰角ごとに補正ファクタが経験的に得られ、得られたサイズ測定値／得られた３Ｄ輪郭点を補正するために使用され得る。

他の補正ファクタは、ある身体サイズ測定値の定義に関する。例えば、首周囲は、身体の３Ｄ形状斜めのスライスに沿って定義され、特定の補正ファクタがこの測定に適用される。

較正済みカメラを仮定すると、（図９Ｂ中の数字９０６により示されるように）各像点は、カメラ焦点から背面投影され得、空間中の光線を説明している。（図９Ｂ〜図９Ｄにそれぞれ数字９０１及び９０２により示されるように）左右の端点は扇形を定め、この扇形は、直角の仮定／近似の下で、床に平行な面内にある。（ウエスト、ヒップ、などの）特定の高さでのシルエット９００の身体断面は、数字９０３に示されるように、前記扇形により境界付けられる。他の特定の高さの例は、数字９０４及び９０５により示される。

カメラ較正は、既知の従来技術である。カメラ視野及びレンズ歪みのデータは、製造業者から入手することができる。例えば、Ａｐｐｌｅ Ｉｎｃ．によるｉＰｈｏｎｅ ４Ｓなどのスマートフォンを使用するとき、本発明によるインストールされた身体測定値アプリケーションは、カメラ・パラメータ用の既知のアプリケーション・プログラミング・インターフェース（ＡＰＩ：Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を用いて、デバイスに問い合わせることができる。

代替として、固有のカメラ・パラメータ（視野、歪み、光学中心）及び固有でないカメラ・パラメータ（位置及び向き）は、較正の模様／対象を用いて得ることができる。較正ソフトウェア・パッケージは。オープンソースとしても利用できる。

理想的には、カメラの光軸は、床面と平行であるべきである。そうでない場合は、傾斜が検出され、床と壁の交叉の位置のような視覚的情報から推定することができ、又は装置上のセンサから測定される。傾斜情報が利用可能であると、それは、そのような傾斜を補償する測定の式に組み込まれる。

もちろん、（身体の単一の２Ｄ画像から得られるとき）たった１つの制約は、例えばウエスト・レベルの実際の身体の断面は形状９０２、９０３、９０４又は別の形状などの図９Ｂに示された形状の１つであり得るので、実際の身体のサイズについてほとんど教えてくれない。（側面図のような）別の図は、不確かさを減少させ、楕円形を仮定する身体周囲を解決することを可能にすることを留意されたい。しかし、実際の人体の場合、そのような近似は、適切なサイズ推薦又は視覚化を与えるのには十分正確ではない。

図１０Ａ及び図１０Ｂは、自由に回転するユーザの画像シーケンスから正確な断面形状（及び周囲）の得る方法を示す。この図は数字９１１、９１２、及び９１３により示される楕円の輪郭によって指定される３つのポーズを示す。楕円の輪郭９１１は、第１の基準ポーズから得られる境界エリアを示す。ユーザが（反時計回りに）回転するとき、そのシルエット端点の変化、及び楕円の輪郭９１２及び９１３（破線）などの追加の扇形が、回転した断面について生成される。

断面形状を明らかに生成するために、システムは、全ての扇形を、第１のポジション又は他のポジションとして任意の選ばれる同じ基準系に変換しなければならない。ユークリッド変換は、基準ポジションに対しての人体の平行移動及び回転により定められる。これらの移動パラメータは、図３に関連して上述したユーザ挙動解析モジュールのために得られる。

図１０Ａに戻ると、ユークリッド変換後、身体の断面形状に関する３つの制約が、（実線で示されるように）扇形９２１、９２２、及び９２３により示される。次に、この形は、全部３つの扇形の共通範囲内にあるときに、前記形状についてより多くのことが分かる。

複数の画像（例えば、システムが１００枚を超える画像を得ることができる５秒間の回転に対する）を使って、システムは、基準座標系での境界扇形を算出するプロセスを繰り返し、それぞれのユークリッド変換を各扇形に適用し、蓄積された境界形状と交差する。身体の図が加えられれば加えられるほど、扇形のブール論理積は、凸断面が得られるまで、形状をますますきつく取り囲む。このブール論理積は、ポリゴンの交点の既知の技法を用いて計算することができる。コンピュータ・グラフィックスで知られているようなこの「対象空間」の手法は、任意の精度で形状を算出する利点を有する。

代替として、本発明による「画像ベースの」手法は、扇形を１つずつ高解像度ビットマップに描画し、これがまず、（矩形９３０により示されるように）測定エリア全体を取り囲み、ブール論理積を図１０Ｂの例示的な白黒の画像で一連に示されるような前述のビットマップに帰納的に適用する。

図１１は、２Ｄ形状モデル・データ・ストア（ステップ１１００）からの３Ｄサイズの計量及び形状のデータの構成を流れ図で示す。２ＤＳＡ１４０（図１）により解析された２Ｄ画像ごとに、シルエット端点の座標が、ユーザ・ポジション及び回転角（ステップ１１１５）を用いて取り戻される（ステップ１１０５）。後者は、２Ｄユークリッド変換行列（ステップ１１２０）を算出するために使用される。ステップ１１１０はカメラ座標内の境界扇形を構築し、これが基準座標系の上記行列を用いて（ステップ１１３０により）シフト及び回転させられる。ステップ１１４０は、従来技術において知られているような凸多角形充填法を用いて扇形の内部を描画する。描画分解能（例えば、５画素／ｃｍ）は、デジタル化誤差を防ぐのに十分細かくなければならない。ステップ１１５０は、これまでに蓄積された形状カバー・ビットマップとの、新たに描画した扇形のブール論理積を行う。

フル回転シーケンスが上記のように処理されたとき、断面の形状が利用でき、その輪郭がステップ１１６０により横断できる。輪郭は、輪郭点のアレイにより表すことができ（ステップ１１７０）、これは、図の断面が複数の高さで蓄積されるときに、３Ｄの多数の点に変換することができる。代替として、輪郭長さが、ステップ１１８０により算出され、ウエストの周囲値として役立つ。得られた３Ｄ形状モデルは、データベースに記憶することができる（ステップ１１９０）。

図１２は、衣類産業により通常必要とされるような身体サイズ測定値を示す。いくつかの鍵となる測定値（バスト／胸、ウエスト、及びヒップ）は、持ち上げた腕（いわゆる「サボテン」）ポジションでの単一のユーザの回転から算出することができる。

他の身体サイズ測定値は、ユーザが異なる姿勢を仮定することを必要とする。例えば、ユーザの両手がユーザの身体の両側にある場合、上腕及び首の周囲の測定値を得ることが可能である。

更なる身体サイズは、本質的に線形である。これらは、股下、腕、及び身長を含む。較正を用いて、そのような測定値は、ユーザ挙動解析装置１３０（図１）に頼って単一フレームから抽出され、この測定のための完全な正面／後方の画像を選択する。脚の測定は、ジーンズ及び他のきつくフィットする衣類にとって重要である。完全な身体回転中、脚が閉じてしまうという問題があるので、本発明の方法の変形形態では、脚が閉じていないフレームから膝又は足首の形状を構築することになる。膝／足首での脚の断面は、ほぼ円形なので、１２０°又は回転移動についての個々の脚の輪郭の見え方は、脚の周囲の正確な推定に十分である。

図１３Ａ〜図１３Ｃは、本発明の実施例による生成した３Ｄデータからの３Ｄモデル表示の構成を概略的に示す。高さの値のシーケンスで画像フレームのシーケンスからシルエットの輪郭を横切ることで得られた一連の連続した点について図１１に関連して説明したプロセスを繰り返すことにより、多数の点（図１３Ａ）を生成する。そのような多数の点は、フル３Ｄボディ・スキャナの形式に変換することができる。更に、従来技術並びにいくつかの市販のソフトウェア製品は、多数の点を、表面モデル（図１３Ｃ参照）として働く一連の多角形（図１３Ｂの例示の三角形メッシュ参照）への変換の仕方を示しており。それは、バーチャル試着室アプリケーション及びバーチャル被服シミュレーションにより良く適し得る。

図１４は、本発明の実施例による衣類推薦エンジン（ＧＲＥ）１７５を示す。ＧＲＥ１７５は、ユーザの身体の測定値（例えば、周囲及び長さ）を選択した衣類の測定値と比較し、最良サイズのフィットに関する推薦を与える。

ＧＲＥ１７５は、ユーザの身体のサイズ測定値データベース（例えば、ユーザ形状／外見データベース１７０などの）からユーザの測定値を受信すると共に、衣類データベース１８０から衣類測定値を受信する。データベース１８０への衣類データ挿入は、衣類検出モジュールにより手動又は自動的に行うことができる。ＧＲＥ１７５は、数字１７４により示されるようにユーザの購入履歴を更に受信することができる。各衣類タイプ（例えば、シャツ、ズボン、ドレスなど）は、周囲及び長さの異なるセットとの比較を必要とし、測定値の個数は、小売店ごとにやはり異なり得る。顧客の寸法に対して比較される各衣類の実際のサイズは、弾性、着心地の良さ、及び寸法公差などのパラメータにやはり依存する。例示的なサイズ計算の流れが、本発明の実施例による図１５に示されている。

衣類の測定値が計算され顧客の身体測定値と比較された後、例えば、図１７中の数字６２０に示されたようなヒート・マップにより表された身体のフィットの例示を伴って図１６に記載されたようなサイズ推薦が発せられる。

次に、図１６を参照すると、例示だけのために、サイズ推薦を発するプロセスは、以下のステップを伴うことができる：
最初に、ＧＲＥ１７５は、（例えば、数字６０１〜６０６により示されるように、ユーザのヒップ、ウエスト、及び胸の周囲及び長さのセットをチェックすることにより）身体測定値をチェックする。この例では、見つけられた各周囲のサイズは、胸のサイズ＝３８、ウエストのサイズ＝３８、及びヒップのサイズ＝４０である。

次のステップ（６０７）では、ＧＲＥ１７５は、全ての身体測定値が衣類のサイズ範囲内であるか（より大きくもなく、又はより小さくもないことを）チェックする。はいの場合、次のステップ（６０８）で、ＧＲＥ１７５は、身体測定値のサイズ間の差が２サイズより大きくないかチェックする。はいの場合、次のステップ（６０９）で、ＧＲＥ１７５は、身体の胸の点が模様の胸の点の垂直軸上で＋／−３ｃｍの範囲内にあるかチェックする。この点まで、ステップ６０７〜６０９のチェックのいずれか１つの返答がいいえの場合、推薦は得られない（ステップ６１１）。ステップ６０９で返答がはいの場合、次のステップ（６１０）で、ＧＲＥ１７５は、身体測定値のサイズ間の差が１サイズより大きくないかチェックする。はいの場合（ステップ６１３）、完全なフィットの推薦が与えられ（例えば、サイズ４０（最も大きいサイズ））、このシステムは、ユーザの身体図（例えば、ユーザの外見にそっくりであるアバタ）上で衣類を視覚化する。いいえの場合（ステップ６１２）、最大のフィット（例えば、サイズ４０）の推薦が与えられるが、ステップ６１３におけるように、必ずしも完全なフィットの推薦が与えられるのではない。ステップ６１２について、システムは、ユーザの身体図（例えば、ユーザの外見にそっくりであるアバタ）上で衣類をやはり視覚化する。

サイズ推薦を発する上記のステップが、更なるルール又は他のルールを含むことができるずっと大がかりな論理の一部分だけを参照し得ることを言及することも重要である。例えば、上記の部分に記載された２サイズ・ギャップの違い（ステップ６０８参照）は、サイズ推薦プロセスの効率を高めるために利用できる大きなルール・セットからの１つの例示的なルールに過ぎない。

本発明の実施例によれば、このシステムは、スキャンしたユーザの２Ｄ形状データ及び／又は算出した３Ｄ形状データ、並びに適宜、非形状のユーザの特徴（肌の色合い、目の色、髪の色など）からアバタを構築するように構成することができる。上述の通り、アバタは、スキャン・プロセス中にユーザの視覚化のために使用される（このアイデアは、カメラにより取り込まれた実際の画像を示さないことにより経験を高めると共に適宜プライバシの感覚を作り出すために、ユーザ挙動に従う図を示すためのものである）。

アバタは、ユーザのために選択した衣類を視覚化するために更に使用することができる。この視覚化は、静止的であってもよく、又は予め定められた動き／ランダムに生成される動きの１つでアバタをアニメ化することにより動的であってもよい。アバタ表示は、スキャン中のユーザの経験を強化するように又は衣類購入段階中に衣類表示を強化するように（実際にはより傾いたもののように）変更することができる。

本発明による身体測定値プロセスは、ファッション・リテール業界の外側の様々な領域内で使用することができる。そのような領域の１つは健康である。肥満症は、重大な健康上のリスクになっており、したがって、肥満症を監視する手段を提供することは必須である。体型指数（ＢＭＩ：Ｂｏｄｙ Ｍａｓｓ Ｉｎｄｅｘ）は、肥満症を評価するために広く使用さている単純な測定基準である。しかし、ＢＭＩは、脂肪の分布を反映しない。

本発明のいくつかの実施例によれば、身体測定値プロセスは、医学的応用に適用することができるものであり、ユーザをスキャンし３Ｄ形状データを解析して、肥満症、脂肪の分布などのある種の健康に関連したパラメータ／計量を生成する。一実施例では、スキャニングは、（毎月のように）繰り返し行われ、ユーザ３Ｄ形状データは、参照スキャン又は１つ又は複数の先行スキャンと比較される。この比較プロセスは、ある種の形状パラメータの大きな変更の指示を生成する。

当業者により理解されるように、図に記載の構成は、単一の静的な２Ｄカメラを用いて動いている被験者の２Ｄ画像シーケンスを取り込み、そのような複数の２Ｄ画像から２Ｄ形状又は大きさに関連した記述子を抽出し、記述子を３Ｄサイズ測定値及び／又は３Ｄ形状の要素に統合することができるシステムになる。

本発明の実施例によれば、いくつかの領域（例えば、首領域、腹部領域、袖領域など）で衣類の長さ及び幅などの衣類の正確な特性を得るために、衣類が位置する基準面に対してのカメラの角度が考慮されるべきである。これは、カメラ・レンズと衣類が位置する平面の間の非平行ポジション（又は非最適な取り込み角度）により生じ得る何らかの歪みをなくすために必要とされる。

上記のような本発明の各実施例は、コンピュータ・プロセス（方法）、コンピュータ・システム、又はコンピュータ・プログラム製品若しくはコンピュータ可読媒体などの製造品として実施することができる。コンピュータ・プログラム製品は、コンピュータ・システムにより読めるコンピュータ記憶媒体であり、コンピュータ・プロセスを実行する指令のコンピュータ・プログラムをエンコードすることができる。

更に、記載したような例によるプロセスに関しては、全てのプロセス状態／ステップに到達する必要もなく、又は状態／ステップが例示の順序で行われる必要もない。更に、順次行われるように示されているいくつかのプロセス状態は、並行に行うこともできる。

同様に、いくつかの例は、パーソナル・コンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）システム又はデータ装置を参照し得るが、限定するものではない、タブレット、ネットワーク使用可能な携帯情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、スマートフォン等などの他のコンピュータ又は電子システムが、同様に使用されてもよい。

各用語「例えば」、「例えば」、「適宜」は、本明細書中で使用されるとき、非限定の例を導入するために使用されることを目的としている。ある例のシステム・コンポーネント又はサービスについていくつかの参照がなされているが、他のコンポーネント及びサービスが、同様に使用されてもよく、並びに／或いは例のコンポーネントは、組み合わされてより少ないコンポーネントになってもよく、及び／又は更なるコンポーネントに分割されてもよい。また、本明細書に図示され説明された例の専門用語は、例示的及び典型的なものであり、クレームされた本発明の範囲を限定しないようになっていることが意図される。

上記の説明及び例の全部は、例示のために与えられており、いずれの形でも本発明を限定するものではない。本発明の範囲を超えることなく、全て、多くの異なる機構、解析方法、電子回路要素、及び論理要素を用いることができる。

Claims (39)

1. ２Ｄ画像シーケンスからユーザの正確な身体サイズ測定値を得る方法であって、
   ａ．カメラにより取り込まれた前記ユーザの生の２Ｄ画像シーケンスを得ることにより前記ユーザの身体をスキャンするステップと、
   ｂ．ユーザ挙動解析装置（ＵＢＡ）を用いることにより、スキャンの前及び最中に前記ユーザのポジション、ポーズ／回転、及び姿勢を追跡することで前記ユーザの挙動を解析するステップと、
   ｃ．２Ｄ形状解析装置（２ＤＳＡ）を用いることにより、前記画像シーケンスから２Ｄ形状データ記述子を抽出しエンコードするステップと、
   ｄ．前記２Ｄ形状記述子、並びに前記ユーザのポジション、ポーズ、及び回転のデータを受信し、それらを３Ｄ形状モデルに統合するステップであって、前記統合は、前記画像シーケンスに回転値を割り当てることを含み、前記値は、真正面のポジションに対しての絶対値であるか、又は前記シーケンス中の基準画像に対して相対的である、統合するステップとを含む方法。
2. 前記スキャン中に初期のユーザ案内／支援及び更なるユーザ案内／支援を行うことを含む、前記スキャン中にユーザとやり取りするユーザ・フィードバック／ガイダンス・モジュール（ＵＦＧＭ）を用意するステップを更に含む、請求項１に記載の方法。
3. 前記ユーザ挙動解析装置は、前記ユーザが前記ユーザ・フィードバック／ガイダンス・モジュールにより与えられた指令に従っていることを確認するために更に使用される、請求項２に記載の方法。
4. ユーザ外見解析装置（ＵＡＡ）により前記ユーザの視覚的な非形状の記述子を抽出しエンコードするステップを更に含み、前記非形状の記述子は、前記ユーザの外見に関連した属性を表すと共に、肌の色合い、髪の色、及びスタイルを含むことができる、請求項１に記載の方法。
5. 前記ＵＡＡにより前記ユーザの顔の外観の記述子を抽出しエンコードするステップを更に含む、請求項４に記載の方法。
6. ３Ｄサイズ測定値を抽出してユーザ外見データと共にユーザ形状／外見データベース内に記憶するステップを更に含み、それにより先にスキャンしたユーザが、バーチャル試着室アプリケーションのインタフェースを介してシステムにログインするときに、前記ユーザの記憶された身体サイズ特徴を使用して衣類データベースをフィルタ処理／検索し、衣類と、前記ユーザによくフィットするそれらの特定のサイズを推薦するために、ユーザの記憶された身体サイズ特徴が使用される、請求項１に記載の方法。
7. 前記ユーザの挙動を解析するステップは、前景検出プロセス及び前記画像シーケンスから得られる２値身体シルエット画像に基づいており、ユーザ挙動解析の重要な属性の１つは、前記ユーザの基準床上位置である、請求項１に記載の方法。
8. 前記ユーザは、前記スキャン・プロセス全体を通じて指定範囲内で指示に従って動き回るように要求される、請求項７に記載の方法。
9. 床上のマークが、前記スキャン・プロセスを通じて前記ユーザを案内するために使用される、請求項８に記載の方法。
10. 入力装置を介してシステムに手動で与えることができる単一のサイズ値として、前記ユーザの像の高さからの距離及び前記ユーザの物理的高さを推定するステップを更に含み、又は前記距離／位置は、前記画像シーケンスから自動的に抽出することができる。請求項７に記載の方法。
11. 前記ＵＢＡによりユーザ挙動を解析する前記プロセスが、
    ａ．前記２値シルエット画像中の最下列を検索して、前記ユーザの足ポジションを検出し、前記検出した足から前記ユーザの距離を抽出することで前記ユーザ・ポジションを検出するステップであって、前記ユーザ・ポジションが最下座標ｙ及び重心ｘにより決定される前記ユーザ・ポジションを検出するステップと、
    ｂ．足サイズの平均値、及び（適宜）身体回転角を用いて足裏の距離を体心距離へ変換し、それにより正確な距離値を回転中心へ割り当てるステップと、
    ｃ．前記最下列が検出されると、前記ユーザの前記足の周りに算出ウィンドウを構成し、重心ｘを床上水平ポジションに変換するステップと
    を含む、請求項７に記載の方法。
12. 最下座標ｙと重心ｘの両方が、ポジション精度に悪影響を及ぼす足エリアでのオブジェクト・セグメンテーションの不安定性を避けるために、一時的にフィルタ処理される、請求項１１に記載の方法。
13. 人間検出追跡技法を適用することにより前記水平（ｘ）重心の近くで２値形状の上部にてユーザ頭部の頭を検出するステップを更に含む、請求項１１に記載の方法。
14. 両手検出アルゴリズムを適用することにより前記ユーザの両手を検出するステップを更に含む、請求項１１に記載の方法。
15. 両手検出アルゴリズムは、前記推定した肩の位置から腕を探し始め、次いで前記両手を前記腕の形状の端点として検出するまで移動する、請求項１１に記載の方法。
16. 両手検出アルゴリズムは、前記２値身体シルエット画像が、中心身体位置から追跡されたスケルトン画像の前記腕部の端で１つ接続された画素として前記手の先端が検出される１画素幅のスケルトン画像まで薄くされるように、前記２値身体シルエット画像を処理することにより得られる、請求項１１に記載の方法。
17. 両手が正面のポジションで検出されると、１フレームごとに画像の変化の正確な２Ｄ及び３Ｄ測定、並びに前記両手が前記頭のシルエットと同化するときの予測についての追跡及び画像登録の技法を用いるデジタル画像相関追跡（ＤＩＣ／ＤＤＩＴ）方法を適用することにより両手が追跡されるように、前記ユーザの前記検出した両手を追跡することにより前記ユーザを完全な円で回転させるように案内するステップを更に含む、請求項１４に記載の方法。
18. 前記二値画像の漸進的変化幅のシーケンスを追跡し、補間法を用いて中間の回転角を推定することによって身体回転の鍵を握るものとして前記ユーザの身体のシルエット幅の漸進的変化を検出するステップを更に含む、請求項１７に記載の方法。
19. 前記２ＤＳＡにより２Ｄ形状を解析する前記プロセスは、
    ａ．回転シーケンスの複数の画像で前記ユーザの特定の身体部分の位置を検出するステップと、
    ｂ．前記画像ごとに前記身体部分の前記縁部又は輪郭点を測定するステップと
    を含む、請求項１７に記載の方法。
20. 前記２Ｄ形状データから３Ｄサイズの計量及び形状のデータを構成するステップを更に含む、請求項１に記載の方法。
21. 前記ユーザの挙動を解析するステップは、前記ユーザの像が前記カメラの視界から外れないことを確認することを更に含む、請求項１に記載の方法。
22. 前記ＵＦＧＭ１２０は、シーン及びカメラ設定、並びにユーザ挙動におけるよくある問題を検出するための複数のシーン内容／ユーザ挙動解析アルゴリズムを含む、請求項２に記載の方法。
23. 前記身体のシルエットの内側の視覚的内容、詳細には衣類の模様や肌のきめを追跡するステップを更に含む、請求項１に記載の方法。
24. 推薦エンジンを用いることにより前記ユーザに衣類の推薦を行うステップを更に含む、請求項１に記載の方法。
25. 前記推薦は、非形状のユーザの特徴（肌の色合い、目の色、髪の色など）を用いることを含む、請求項２４に記載の方法。
26. スキャンしたユーザの２Ｄ形状データ及び／又は算出した３Ｄ形状データからアバタを構築するステップを更に含む、請求項１に記載の方法。
27. 前記アバタは、非形状のユーザの特徴（肌の色合い、目の色、髪の色など）を含む、請求項２６に記載の方法。
28. 前記アバタは、前記スキャン・プロセス中に前記ユーザを視覚化するために使用される、請求項２７に記載の方法。
29. 前記アバタは、前記ユーザに対して選択した衣類を視覚化するために使用され、前記視覚化は、静止的であるか、又は予め定められた動き／ランダムに生成される動きの１つで前記アバタをアニメ化することにより動的である、請求項２７に記載の方法。
30. 前記アバタ視覚化は、スキャン中の前記ユーザの経験を強化するように変更される、請求項２８に記載の方法。
31. 前記アバタ視覚化は、購入段階中に前記衣類表示を強化するように変更される、請求項２９に記載の方法。
32. 前記ユーザをスキャンし前記３Ｄ形状データを解析して、医学的応用のために肥満症、脂肪の分布などのある種の健康に関連したパラメータ／計量を生成するステップを更に含む、請求項１に記載の方法。
33. 前記スキャニングは繰り返し行われ、前記ユーザ３Ｄ形状データは、参照スキャン又は１つ若しくは複数の先行スキャンと比較され、前記比較プロセスが、ある種の形状パラメータの大きな変更の指示を生成するようになっている、請求項３２に記載の方法。
34. ２Ｄ画像シーケンスからユーザの正確な身体サイズ測定値を得るシステムであって、
    ａ．前記ユーザの生の２Ｄ画像シーケンスを取り込むことにより前記ユーザの前記身体をスキャンするカメラと、
    ｂ．前記身体スキャンニングの前及び最中に前記ユーザのポジション、ポーズ／回転、及び姿勢を追跡することで前記ユーザの挙動を解析するユーザ挙動解析装置（ＵＢＡ）と、
    ｃ．前記画像シーケンスから２Ｄ形状データ記述子を抽出しエンコードする２Ｄ形状解析装置（２ＤＳＡ）と、
    ｄ．前記２Ｄ形状記述子、並びに前記ユーザのポジション、ポーズ、及び回転のデータを受信し、それらを３Ｄ形状モデルに統合するようにプログラムされた処理部であって、前記統合は、前記画像シーケンスに回転値を割り当てることを含み、前記値は、真正面のポジションに対しての絶対値であるか、又は前記シーケンス中の基準画像に対して相対的である、処理部と
    を備えたシステム。
35. 前記スキャン中に初期のユーザ案内／支援及び更なるユーザ案内／支援を行うことを含む、前記スキャン中に前記ユーザとやり取りするユーザ・フィードバック／ガイダンス・モジュールを更に備える、請求項３４に記載のシステム。
36. 前記ユーザの視覚的な非形状の記述子を抽出しエンコードするユーザ外見解析装置（ＵＡＡ）を更に備える、請求項３４に記載のシステム。
37. 前記ユーザ外見データと共に前記ユーザ身体の３Ｄサイズ測定値を記憶するためのユーザ形状／外見データベースを更に備える、請求項３４に記載のシステム。
38. 衣類関連データを記憶するための衣類データベースを更に備える、請求項３４に記載のシステム。
39. 前記ユーザに衣類の推薦を行う衣類推薦エンジン（ＧＲＥ）を更に備える、請求項３４に記載のシステム。