JP2021122736A - 関節の回転中心を見つける方法 - Google Patents

Abstract

【課題】関節の回転中心を見つける。
【解決手段】本発明は、ユーザ（ＵＳＲ）の上肢または下肢の２つの骨または骨のセットをつなげる関節の回転中心（Ｐｃ’）を見つけるための方法であって、ａ）ユーザによって、関節の周りの骨または骨のセットの１つをスイープする一連の繰り返し動作を実行し、同時に、当該一連の繰り返し動作の間に骨または骨のセットの３Ｄ位置を取得し、そうすることによって３Ｄ点群（Ｐ）を取得するステップと、ｂ）他の骨または骨のセットの末端の３Ｄ位置を含む３Ｄ探索空間において、中心点（Ｐｃ）と称される点を算出するステップであって、中心点は、標準偏差が、探索点と３Ｄ点群の各点との間の距離のセットを考慮して、標準偏差が最も低い探索点である、ステップと、ｃ）３Ｄ点群を平面に変換するステップと、ｄ）中心点を平面に投影し、そうすることによって関節の回転中心（Ｐｃ’）を取得するステップとを含む方法に関する。
【選択図】図２

Description

本発明は、コンピュータプログラム及びシステムの分野に関し、特に没入型環境におけるデジタルヒューマンモデリング、製品レビュー、人間工学分析及び検証の分野に関する。

没入型環境では、ユーザは、一般にアバターと称されるグラフィック表現を介して３Ｄシーンと対話する。一人称の映像化（ユーザは、自身のアバターの腕は見るが、アバター全体は見えない）であっても、第三者の映像化（ユーザは自身のアバターを見る）であっても、アバターの腕の長さの推定はできるだけ正確でなければならない。特に、人間工学の検証では、手足の長さについて数ミリメートルの精度が必要である。例えば、緊急停止ボタンを備えたワークステーションのシミュレーションでは、没入型環境においてユーザがそれに到達できるかどうかは、ワークステーションを検証するために非常に重要である。

したがって、仮想没入型環境での体験は、現実世界から仮想世界へのマッピングが正確である場合にのみ意味があり、現実的である。この態様は、仮想現実デバイスを使用してモデル化されたオブジェクトのプロトタイプを評価するためにアバターが使用されるシナリオにも関係する。このシナリオの基本的な要件の１つは、アバターと現実世界でのその対応部分（人間）との寸法の均一性である。これは、アバターの寸法（dimension）を、アバターを誘導している人間の寸法で修正することによって実現することができる。

ただし、人間の骨格構造のモデリングは複雑である。人間の骨格は骨のグループとして見ることができる。関節（articulated joints）は、これらの骨のいくつかの間の相対的な相互作用として定義することができ、これらの相互作用は、骨の回転、並進、及びスライド運動を含む。これらの解剖学的関節の動作は、単純な固定回転軸から非常に複雑な多軸結合運動まで様々である。例えば、肩甲骨−上腕骨のリズムを考えると、肩甲骨と上腕骨は１／２の比率で動く。腕が１８０度外転すると、肩甲骨の回転によって６０度が生じ、肩端での上腕骨の回転によって１２０度が生じる。本出願では、関節が回転軸のように振る舞うと考える。実際、本発明の目標は、ユーザの実際の骨格を決定することではなく、手足の長さ及び関節をモデル化することである。その単純化にもかかわらず、これらの動きを限られた数のトラッカーを使用して正確にキャプチャし、デジタル人間にマッピングすることは困難な作業である。

一方、人体構造のモデリングは、人体の適切な位置に磁気及び／または光学マーカーを配置することによって実行することができる。非特許文献１は、磁気モーションキャプチャデータを使用して関節階層（articulated hierarchy）の関節パラメータ（joint parameter）を決定する手法を開示している。この手法は、外部測定を行わなくても、対象者の手足の長さ、関節の位置、及びセンサーの配置を決定することを可能にする。上記非特許文献１の表１によると、開示された手法は非常に正確である。上腕の場合、測定値（定規を使用）と算出値との差は平均で２／３ミリメートルに等しい。ただし、この手法では、センサーを備えたモーションキャプチャハーネスを着用する必要があり、これは、モデリングが完了すると没入型体験には無用になる。さらに、この種のソリューションの精度は通常、マーカーの位置決めの精度に関連しており、そのため、セットアップを単独で行うことはできず（通常は専門家によって行われる）、コストと時間がかかる。

一方、マーカーなしのトラッキングシステムを使用する骨の長さの推定は、マーカーベースのシステムと比較した場合、精度が低くなる。マーカーなしのシステムは、例えばビデオゲームアプリケーション用の消費者向け仮想現実システムに見られる。その場合、ユーザは自分のサイズを入力し、上肢の長さは統計的考察に基づいて導出される。ただし、サイズと手足の長さとの間に実際の比例関係はなく、背の高い人が短い腕を持つこともあるし、その逆もある。よって、この手法は正確ではない。

したがって、没入型環境アプリケーションのために、特に上肢または下肢の骨をつなげる関節の回転中心を見つける（locating）ために、そして、上肢または下肢の寸法を推定するためにも、ユーザの上肢または下肢をモデル化するための迅速かつ正確なマーカーレスの方法を提供する必要がある。

James F. O’Brien et al., "Automatic Joint Parameter Estimation from Magnetic Motion Capture Data", Proceedings of the Graphics Interface 2000 Conference, May 15-17, 2000

本発明の対象は、ユーザの上肢または下肢の２つの骨または骨のセットをつなげる関節の回転中心を見つけるための方法であって、当該方法は、
ａ）ユーザによって、関節の周りの骨または骨のセットの１つをスイープする一連の繰り返し動作を実行し、同時に、当該一連の繰り返し動作の間に骨または骨のセットの３Ｄ位置を取得し、そうすることによって３Ｄ点群（cloud of points）を取得するステップと、
ｂ）他の骨または骨のセットの末端の３Ｄ位置を含む３Ｄ探索空間において、中心点と称される点を算出するステップであって、当該中心点は、３Ｄ探索空間の探索点と３Ｄ点群の各点との間の距離のセットを考慮して、標準偏差が最も低い探索点である、ステップと、
ｃ）３Ｄ点群を平面に変換するステップと、
ｄ）中心点を上記平面に投影し、そうすることによって関節の回転中心を取得するステップと
を含む。

好ましい実施形態では、
−方法は、２つのハンドヘルドトラッカーを提供する予備ステップを含み、
−ステップａ）では、他の骨または骨のセットの末端に対して維持されている、モバイルトラッカーと称されるハンドヘルドトラッカー、及び、リファレンストラッカーと称されるもう一方のハンドヘルドトラッカーのうちの１つを保持している間に、一連の繰り返し動作が実行される。

好ましい実施形態では、ステップｂ）は、
ｂ１）３Ｄ探索空間を、事前定義されたエッジ長の立方体として定義するステップであって、前記立方体は、参照点と称される、リファレンストラッカーの３Ｄ位置を中心とする、ステップと、
ｂ２）ユーザから、上記参照点と共に探索点のセットを構成する立方体の点のセットを識別する入力を受け取るステップと、
ｂ３）各探索点について、探索点と３Ｄ点群の各点との間の距離を算出し、各探索点の標準偏差を導出するステップと、
ｂ４）探索点のセットの中から、標準偏差が最も低い少なくとも１つの探索点を識別するステップと、
ｂ５）立方体のエッジ長が事前定義された閾値以下になるまで、立方体のエッジ長を半分にし、識別された探索点を中心に立方体を配置することによって、ステップｂ１）、ｂ２）、ｂ３）、及びｂ４）を繰り返すステップであって、そのとき、中心点は識別された探索点に対応する、ステップと
によって、３Ｄ探索空間を再帰的に細分割するサブステップを含む。

好ましい実施形態では、ステップｂ２）において、立方体は８つのより小さい立方体に細分割され、探索点のセットは、参照点または識別された探索点、小さい立方体の中心、隣接する２つのより小さい立方体の正方形の中心、隣接する２つのより小さい立方体のエッジの中間点を含む。

好ましい実施形態では、ステップｃ）は、
ｃ１）３Ｄ点群の点の共分散行列（covariance matrix）を算出するサブステップと、
ｃ２）共分散行列の固有値と固有ベクトルを算出するサブステップと、
ｃ３）３Ｄ点群を取り囲む矩形の境界ボックス（bounding box）、固有ベクトルに対応する境界ボックスの方向、固有値に対応する境界ボックスの寸法（dimension）を作成するサブステップと、
ｃ４）境界ボックスのジオメトリ中心（geometry center）を算出するサブステップと、
ｃ５）最大の固有値を有する２つの固有ベクトルによって定義され、境界ボックスのジオメトリ中心を通過する平面を作成するサブステップと
を含む。

好ましい実施形態では、ステップａ）において、取得された３Ｄ位置はフレームに格納され、各フレームは、事前定義された数の３Ｄ位置を含み、ステップｂ）、ｃ）、及びｄ）は、新しいフレームが取得されていると常に、すべてのフレームに対して実施される。

好ましい実施形態では、方法は、
−ステップａ）、ｂ）、ｃ）、及びｄ）の実行ごとに、リファレンストラッカーの３Ｄ位置を保存するステップと、
−リファレンストラッカーの３Ｄ位置の平均を算出するステップと、
−リファレンストラッカーの３Ｄ位置が、リファレンストラッカーの保存された３Ｄ位置の平均から、事前定義された値を超えて異なる場合、対応するフレームを破棄するステップと
を含む。

好ましい実施形態では、方法は、ステップｃ２）において、他のものよりも小さい単一の固有値がないと判定された場合に、フレームを破棄するステップを含む。

好ましい実施形態では、方法は、最小標準偏差の指示をユーザにリアルタイムで送信するステップを含む。

本発明はまた、ユーザの上肢の寸法を推定するための方法に関し、当該方法は、
Ｓ１：上記請求のいずれかによる方法で算出された手首の回転中心の位置と、モバイルトラッカーの原点の位置との間の距離に基づいて手の長さを算出するステップと、
Ｓ２：上記請求のいずれかによる方法で算出された手首の回転中心の位置と、上記請求のいずれかによる方法で算出された肘の回転中心の位置との間の距離に基づいて前腕の長さを算出するステップと、
Ｓ３：上記請求のいずれかによる方法で算出された手首の回転中心の位置と、上記請求のいずれかによる方法で算出された肩の回転中心の位置との間の距離に基づいて、上腕及び前腕の長さを算出するステップと、
Ｓ４：上腕及び前腕の長さ、手の長さ、並びにリファレンストラッカーとモバイルトラッカーとがそれぞれユーザの異なる手で保持されていて、腕を伸ばした状態でユーザの前額面で振った場合のリファレンストラッカーとモバイルトラッカーとの間の最大距離に基づいて、左右の肩の間の長さを算出するステップと
を含む。

本発明はまた、コンピュータシステムに上記請求のいずれかによる方法を実行させるためのコンピュータ実行可能命令を含む、非一時的なコンピュータ読み取り可能データ記憶媒体に記憶されたコンピュータプログラム製品に関する。

本発明はまた、コンピュータシステムに前述の方法を実行させるためのコンピュータ実行可能命令を含む非一時的なコンピュータ読み取り可能データ記憶媒体に関する。

本発明はまた、２つのハンドヘルドトラッカー、非一時的なメモリに結合されたプロセッサ、スクリーン、コンピュータシステムに前述の方法を実行させるためのコンピュータ実行可能命令を記憶するメモリを備えるコンピュータシステムに関する。

本発明の追加の特徴及び利点は、添付の図面と併せて以下の説明から明らかになるであろう。

手をスイープする一連の繰り返し動作を実行しているユーザの上面図である。 取得された３Ｄ点群、算出された中心点、及び算出された回転中心を示す図である。 ３Ｄ点群、中心点、及び回転中心を示す別の図である。 探索点を含む立方体を示す図である。 前腕をスイープする一連の繰り返し動作を実行しているユーザの側面図である。 腕をスイープする一連の繰り返し動作を実行しているユーザの側面図である。 両腕をスイープする一連の繰り返し動作を実行しているユーザの正面図である。 ユーザの上肢の寸法を推定するための方法のフローチャートである。 本発明による方法を実行するように適合されたコンピュータ環境を示す図である。

図１は、手首の回転の中心を決定するために手をスイープする一連の繰り返し動作を実行しているユーザの上面図を示す。

本発明の方法の第１のステップにおいて、ａ）ユーザＵＳＲは、関節の周りの骨の１つまたは骨のセットをスイープする一連の繰り返し動作を実施し、同時に当該一連の繰り返し動作の間に骨または骨のセットの３Ｄ位置を取得し、そうすることによって３Ｄ点群Ｐを取得する。取得された３Ｄ点群を、図２に示す。

ユーザの手首の回転中心を見つけるのに特に適している好ましい実施形態では、ユーザＵＳＲは、両手にトラッカー（ＭＴ、ＲＴ）を保持する。

トラッカー（ＭＴ、ＲＴ）は、例えば「ＨＴＣ Ｖｉｖｅ」（商標）仮想現実システムなどの仮想現実システムの一部とすることができる。このようなシステムは、少なくとも１つのハンドヘルドトラッカー（無線ハンドヘルドコントローラー）、没入型コンテキストにおいてユーザに３Ｄシーンを表示するための仮想現実ヘッドセットを備える。請求項に記載された方法は没入型体験自体を対象にしておらず、ユーザのアバターの事前較正を対象にしているので、発明された方法の実装は、仮想現実ヘッドセットの使用を必要としない。さらに、本発明は、２つのハンドヘルドトラッカー、すなわち、１つは左上肢／下肢用であり、１つは右上肢／下肢用である、を使用する必要がある。したがって、高価なモーションキャプチャシステムを必要としない。

トラッカーは、基地局との連携を通じて、表面検出、マーカー、環境認識、ジャイロスコープ制御ユニット、コンピュータービジョンによってなど、さまざまな方法で仮想環境の座標系に配置することができる。発明された方法では、各トラッカーの原点の位置は、これらの手法の１つによって分かる。

３Ｄ位置を決定できるのであれば、トラッカーは仮想現実専用でなくともよい。トラッカーは、較正処理のためだけに使用できる。

この実施形態では、ハンドヘルドトラッカー（ＭＴ、ＲＴ）は同一である。手首の周りで手の骨のセットをスイープする繰り返し動作を行う手によって保持されるトラッカーは、モバイルトラッカーＭＴと称され、もう一方のトラッカーはリファレンストラッカーＲＴと称される。

回転中心の位置の推定値は、骨または骨のセットのすべての３Ｄ位置が取得された後に算出することができる。あるいは、推定値は、事前定義された数の点が取得されていると常に算出してもよく、以下では、事前定義された数の点はフレームと称される。したがって、トラッカーのハードウェアに応じて、また仮想現実ソフトウェアにも応じて、回転中心の位置のリアルタイム推定を実行することができる。例えば、「ＨＴＣ Ｖｉｖｅ」（商標）仮想現実システムのハンドヘルドトラッカーは、最大９０Ｈｚのリフレッシュレートを有する。リアルタイムのビジュアルレンダリングを強化するために、リフレッシュレートを９０Ｈｚよりもはるかに低い値に設定することもできる。請求項に記載された方法では、モバイルトラッカーＭＴの３Ｄ位置は、事前定義された長さのフレーム（例えば、２５個の点）に格納され、回転中心の位置は、最初に第１フレームについて、次に２つの第１フレームについて（例えば、５０個の点）、次に３つの第１フレーム（例えば、７５個の点）について、というように算出される。したがって、ユーザはほぼリアルタイムの測定を感じ、測定値の精度は時間とともに向上する。

手首の回転の中心を見つけるために、ユーザＵＳＲはモバイルトラッカーＭＴとリファレンストラッカーＲＴを手に持つ。図１に示すように、リファレンストラッカーＲＴを安定させて手首に近づけたまま、ユーザはモバイルトラッカーＭＴを左から右にそしてその逆方向に複数回振る。

リファレンストラッカーＲＴは、３つの機能を有する。第一に、以下で説明するように、ユーザは手首の近くの前腕上にリファレンストラッカーＲＴを保持するように求められるので（ただし、手首ではなく、そうでなければ測定処理はノイズが多くなるだろう）、それは、手首の回転中心の位置の最初の推定値を提供する。第二に、リファレンストラッカーＲＴを前腕上に保持することにより、前腕がより安定し、したがって、測定の精度が向上する。第三に、較正処理の間にリファレンストラッカーＲＴの位置を知ることにより、リファレンストラッカーＲＴに対するモバイルトラッカーＭＴの相対的な動きのみを考慮することができ、前腕の全体的な動きを補償することができる。これにより、較正処理の安定性が向上するだろう。

手は、手首の回転中心の周りで広い角変位（約１３０〜１４０°）を持つことができるが、関節の停止などの極端な姿勢になるまで手を振らない方がよい。手首にとって重要なのは、動きの終わりに、ユーザが手首を「壊す」傾向がある、つまり、点Ｐの平面を根本的に変更する傾向があるからである。肩の動きにとっても重要なのは、肩の動きが広すぎると、肩甲骨も動くため、いくつかの関節を示す動きが非常に複雑になる傾向があるからである。ユーザは、広すぎる角変位を行わないように求められる。例えば、ユーザ向けのガイドとして意図されたビデオチュートリアルのスナップショットの例を示す図１、５Ａ、５Ｂ、及び５Ｃでは、極端な姿勢に対応する角度範囲は、所望の姿勢に対応する範囲とは異なる方法（例えば、異なる色）で表示される。

ユーザＵＳＲは、スクリーン上の視覚的指示を通じて、図１に示すように腕を配置するように求められ得る。このような動きは、専門家ではないユーザでも簡単に行える。

請求項に記載された方法の第２のステップｂ）において、中心点Ｐｃと称される点が、他の骨または骨のセットの末端の３Ｄ位置を含む３Ｄ探索空間において算出される。中心点Ｐｃは、探索点と３Ｄ点群の各点との間の距離のセットを考慮して、標準偏差を最小化する探索空間の点である。

３Ｄ探索空間は、最初に、他の骨または骨のセットの末端の３Ｄ位置（図１の例によれば、手首に近い前腕の末端）を含む。したがって、リファレンストラッカーＲＴを関節の近くに置くようにユーザを誘導することにより、安定性が向上し（骨または骨のセットを振ることを除いて手足の動きが少ないため）、中心点Ｐｃの算出が実際の回転中心に近い点から始まり、それによって方法の速度が向上する。

次いで、円弧状の点の束のように見える３Ｄ点群Ｐのおおよその中心を見つけるために、方法は参照点Ｐｏｒｇから開始し、最後に、探索点と３Ｄ点群の各点との間の距離のセットを考慮して標準偏差を最小化する点をその近傍で見つける。

好ましい実施形態では、中心点Ｐｃは、八分木探索アルゴリズムに基づいて算出され、このアルゴリズムでは、３Ｄ探索空間が再帰的に細分割され、ステップｂ）の以下のサブステップを含む。

最初のサブステップｂ１）では、３Ｄ探索空間は、事前定義されたエッジ長の立方体ＣＵＢとして定義され、当該立方体ＣＵＢはリファレンストラッカーＲＴの３Ｄ位置に対応する参照点Ｐｏｒｇを中心とする。図４は、立方体ＣＵＢを概略的に示す。例えば、最初の事前定義されたエッジ長は、上肢のすべての種類の関節に適合されるように、数デシメートルに等しくてもよい。実際、関節の回転中心とモバイルトラッカーとの間の最大距離は、もちろんユーザに応じて、約５０センチメートルの長さである腕全体の長さの測定を対象とする。下肢（足首、膝、または腰）の回転中心の位置を測定するために、同じ理由で、最初の事前定義されたエッジ長が１メートルに等しくてもよい。最初の事前定義されたエッジ長は、例えば２⁹＝５１２ｍｍに等しくてよく、これは、パフォーマンスと精度の理由を考慮すると、適切なトレードオフである。

次いで、第２のサブステップｂ２）において、立方体ＣＵＢの点のセットが識別される。この識別された点のセットは、参照点Ｐｏｒｇとともに、探索点Ｐｓのセットを構成する。識別された点は、例えば、周期的な配置で、参照点Ｐｏｒｇの周囲に配置された点のネットワークを形成する。

好ましい実施形態では、ステップｂ）の最初の反復のために、立方体ＣＵＢは、８つのより小さい立方体ＳＣＵＢ（ボクセル）に細分割され、探索点Ｐｓのセットは、以下の点、すなわち、
−立方体ＣＵＢの中心に位置する参照点Ｐｏｒｇ、
−８つの小さい立方体の中心、
−隣接する２つのより小さい立方体ＳＣＵＢの正方形の１２の中心、及び、
−隣接する２つのより小さい立方体ＳＣＵＢのエッジの６つの中間点
を含む。

探索点の別の選択を行うこともできる。ただし、これらの点を使用すると、算出速度の点で優れた結果が得られることが分かった。

次いで、第３のサブステップｂ３）において、立方体ＣＵＢの各探索点Ｐｓについて、探索点Ｐｓと３Ｄ点群Ｐの各点との間の距離が算出される。３Ｄ点のフレームが取得されるように方法が実施される場合、探索点Ｐｓと３Ｄ点群Ｐの点との間の距離は、取得された３Ｄ点についてのみ算出されることが理解される。

時間ｔにおいて、Ｎ個の点が取得され、Ｎｐｓ個の探索点があると仮定する。立方体ＣＵＢの各探索点Ｐｓについて、Ｎ個の距離が算出される。このＮ個の距離のセットに対して、標準偏差が算出される。Ｎｐｓ個の探索点Ｐｓについて、Ｎｐｓ個の標準偏差が算出される。

次いで、第４のサブステップｂ４）において、標準偏差が最も低い少なくとも１つの探索点Ｐｓが識別される。最も低い標準偏差を有する探索点（複数可）は、定義により、探索点と３Ｄ点群Ｐの各点との間の距離が、距離の平均に近い傾向があることを示す。

次いで、ステップｂ１）、ｂ２）、ｂ３）、及びｂ４）が繰り返される。立方体ＣＵＢを（リファレンストラッカーＲＴの位置に対応する）参照点Ｐｏｒｇを中心に配置する代わりに、立方体ＣＵＢを、標準偏差が最も低い探索点Ｐｓ（識別された探索点と称される）を中心に配置する。新しい反復ごとに、立方体ＣＵＢのエッジ長が半分になる。

好ましい実施形態では、サブステップｂ４）において、最も低い標準偏差を有する２つの探索点が識別され、両方の点に対して並行して反復が行われる。したがって、各反復の後、識別された探索点の数は２倍になる。各反復の後に１つの探索点のみが識別される場合、２７個以上の探索点Ｐｓを定義することにより、方法の精度が向上する。

いずれにせよ、各反復で１つの識別された探索点がある場合でも、各反復で複数の識別された探索点がある場合でも（例えば、２つの識別された探索点）、立方体のエッジ長が事前定義された閾値以下になると、反復が続行され、各反復の後に単一の探索点が識別される。例えば、閾値は１６ｍｍに等しくてもよい。

次いで、立方体のエッジ長が別の事前定義された閾値、例えば２ｍｍ以下になると、反復は停止する。中心点Ｐｃは、エッジ長が２ｍｍ以下の立方体ＣＵＢ内にある。したがって、その場合の解像度は１ｍｍに等しく（最後の反復の探索点は、２ｍｍのエッジ長を有する立方体の中心にある）、前述の方法に比べて高い解像度である。

ステップｂ）の結果、及び好ましい実施形態では八分木探索の結果は、中心点Ｐｃである。

あるいは、（対数の複雑さの）八分木探索アルゴリズムに基づいて中心点Ｐｃを算出する代わりに、（線形の複雑さの）ブルートフォース線形探索に基づいて中心点Ｐｃを算出してもよい。

次いで、第３のステップｃ）で、３Ｄ点群Ｐが平面に変換される。ステップｃ）の目標は、非常に多くの情報を失う一方で、３Ｄ点群Ｐを２次元でマッピングすることである。

好ましい実施形態では、３Ｄから２Ｄへの変換は、以下に説明する「主成分分析（principal component analysis）」と呼ばれる統計的手順を使用することによって実行され得る。

ｃ１）３Ｄ点群（Ｐ）の点の共分散行列を算出する。

ｃ２）共分散行列の固有値と固有ベクトルを算出する。

ｃ３）３Ｄ点群Ｐを取り囲む矩形の境界ボックス、固有ベクトルに対応する境界ボックスの方向、固有値に対応する境界ボックスの寸法を作成する。

ｃ４）境界ボックスのジオメトリ中心を算出する。

ｃ５）最大の固有値を有する２つの固有ベクトルによって定義され、境界ボックスのジオメトリ中心を通過する平面を作成する。ユーザが、スクリーンに表示される手順に従い、スイープ動作を適切に実施することを前提とする。３Ｄ点群Ｐはほぼ同じ平面上にあり、円弧形状（arc shape）のように見える。したがって、通常、この点群の厚さを表す固有値の１つは、他の２つの固有値よりもはるかに小さい。

一連の繰り返し動作が完了すると、平面が作成され得る。好ましい実施形態では、平面は、事前定義された長さのフレームの取得後に、既に取得されたすべてのフレームとともに作成される。したがって、ステップｃ）もほぼリアルタイムで実施され、平面の作成の安定性が不十分な場合、ユーザは自分の動きを修正することができる。特に、ステップｃ３）の間に、例えば許容マージンに基づいて、３つの固有値が非常に類似していると判定された場合、フレームは破棄され得る。したがって、３Ｄから２Ｄへの変換は、情報の損失を最小限に抑えて行われる。

あるいは、「主成分分析」法を使用する代わりに、最初に、３Ｄ点群を囲む矩形の境界ボックスを算出することによって平面は作成され得る。次いで、境界ボックスの最も大きい面の両方に平行で、境界ボックスを２つの等しい体積に分割する平面が算出される。

請求項に記載された方法の最後のステップｄ）において、ステップｂ）で算出された中心点Ｐｃは、ステップｃ）で算出された平面上に投影される。中心点Ｐｃの投影は、関節の回転中心Ｐｃ’の位置に対応する。ユーザがモバイルトラッカーＭＴを保持する本発明の特定の実施形態では、回転中心Ｐｃ’の位置は、モバイルトラッカーＭＴの原点の３Ｄ位置に対する３Ｄ位置を参照する。

図２および図３は、３Ｄ点群Ｐ、中心点Ｐｃ、及び回転中心Ｐｃ’を示す。

好ましい実施形態では、ステップａ）、ｂ）、ｃ）、及びｄ）は、新しいフレーム（例えば、２５個の点を含む）が取得されていると常に繰り返される。言い換えると、新しいフレームが取得されていると、回転中心Ｐｃ’の位置がすべての３Ｄ位置で再算出される。リファレンストラッカーＲＴの３Ｄ位置はリアルタイムで保存され、リファレンストラッカーＲＴのすべての保存位置の平均位置が算出される。リファレンストラッカーの３Ｄ位置が、リファレンストラッカーの保存された３Ｄ位置の平均から、事前定義された値を超えて異なる場合、新しい入フレーム（incoming frame）は破棄される。したがって、一連の動きの間にユーザが動き過ぎると、リファレンストラッカーＲＴの３Ｄ位置は不安定になり、対応するフレームを破棄することで、ユーザの不安定な位置に対する回転中心Ｐｃ’の算出を回避する。

回転中心Ｐｃ’と３Ｄ点群Ｐの各点との間の距離ｄ_kを算出することができる。Ｄｃ＝｛ｄ₀、・・・ｄ_n-1｝をｎ個の距離のセットと仮定する（ｎ＝Ｃａｒｄ（ｐ））。Ｄｃの平均は、回転中心Ｐｃ’とモバイルトラッカーＭＴの原点との間のおおよその距離である。骨または骨のセットの長さは、おおよその距離から簡単に導出することができる。一連の動きを実施しながら、特定の指でモバイルトラッカーＭＴのボタンを押すようにユーザに求めることにより、指の末端の位置は分かるため（それは、押されたボタンの位置に対応する）、指の末端と回転中心Ｐｃ’との間の距離を算出することができる。

結果の品質を推定するために、Ｄｃの標準偏差を算出してもよい。標準偏差が高すぎると、推定は信頼できない。例えば、結果の品質は、標準偏差が１０ｍｍ未満の場合は許容可能、１０ｍｍから１５ｍｍの場合は疑わしい、１５ｍｍを超える場合は悪い結果として示される。Ｄｃの標準偏差、または品質レベル（許容可能／疑わしい／悪い）をリアルタイムでユーザに送信（表示）できるため、ユーザは現在の一連の動きを修正して品質レベルを向上させることができる。したがって、ユーザは、標準偏差を示す視覚的なフィードバックを通じて、測定の品質を確認することができる。より一般的には、請求項に記載された方法は、ユーザ自身によって行うことができ、専門家によって、または非専門家によってさえ支援される必要はない。

本発明者らは、安定性基準が満たされている場合、約１０００点の３Ｄ点群について、測定の良好な精度が達成されることを経験的に試験した。リフレッシュレートが９０Ｈｚのトラッカー（「ＨＴＣ Ｖｉｖｅ」（商標）という仮想現実システムの場合）を使用すると、取得は約１１秒で行われる。例えば、１０００点など、超えると処理が停止する点の閾値の数を設定することができる。結果が非常に安定している場合、閾値の数の点を取得する前に処理が停止してもよい。

ユーザの上肢の寸法（dimension）を推定するために、最初に手（hand）の長さＬ１を上述した方法で測定する。これは、図６のフローチャートに示されたステップＳ１を表す。前述のステップａ）〜ｄ）が実施され、測定値が安定していてノイズが多くない（not noisy）場合は、肘の回転中心を算出するために、同じ処理が前腕に対して実施される（ステップＳ２）。ここでは、ユーザＵＳＲは図５Ａに示されるように、一方のコントローラー（リファレンストラッカーＲＴ）を安定させ、肘の近くに維持し、もう一方のコントローラー（モバイルトラッカーＭＴ）を、屈曲／伸展運動及びその逆を複数回行うことによって振る。

手首の回転中心の（モバイルトラッカーＭＴの原点に対する）位置は以前に算出されているため、肘の回転中心に基づき、かつ、手首の回転中心に基づいて、前腕の長さＬ２を算出することができる。

前述のステップａ）〜ｄ）が実施され、測定値が安定していてノイズが多くない場合（推奨に反して、リファレンストラッカーＲＴが広範囲に移動する場合、またはモバイルトラッカーＭＴが平面内で移動しない場合、ノイズの多い測定値が発生する可能性がある）、肩の回転中心を算出するために、同じ処理が前腕に対して実施される（ステップＳ３）。肩の回転の中心を算出するために、同じ処理が腕に対して実施される。ユーザＵＳＲは、図５Ｂに示されるように、一方のコントローラー（リファレンストラッカーＲＴ）を安定させて肩に近づけ、腕をまっすぐに保ち、もう一方のコントローラー（モバイルトラッカーＭＴ）を腕によって上下及びその逆に複数回振る。

手首の回転中心の（モバイルトラッカーＭＴの原点に対する）位置は以前に算出されているため、肩の回転中心に基づき、かつ、手首の回転中心に基づいて、腕（前腕及び上腕）の長さＬ３を算出することができる。

最後に、図５Ｃに示すように、両腕を伸ばして上下にスイープする一連の繰り返し動作を実施しながら、左右の肩の間の長さＬ４を算出する。ユーザＵＳＲは、一方の手にリファレンストラッカーＲＴを持ち、もう一方の手にモバイルトラッカーＲＴを持つ。このステップでは、両方のトラッカーが動かされる。

手（hand）の長さＬ１及び腕（arm）の長さＬ３は同じであると想定されており、したがって、一方の側で以前に算出された手の長さＬ１及び腕の長さＬ３は、もう一方の側で同一であるとみなされる。

一連の繰り返し動作中に、リファレンストラッカーＲＴとモバイルトラッカーＲＴとの間の長さＬｔが算出される。長さＬｔの最大値が得られるように、トラッカーをユーザの前額面（frontal plane）で可能な限り動かす。次いで、左右の肩の間の長さＬ４を次の式で算出する。

Ｌ４＝ｍａｘ（Ｌｔ）−２×（Ｌ３＋Ｌ１）
あるいは、手の長さＬ１はユーザの両側で以前に算出されている可能性があり（Ｌ１ｌ＝左手の長さ、及びＬ１ｒ＝右手の長さ）、腕の長さＬ３はユーザの両側で以前に算出されている可能性がある（Ｌ３ｌ＝左腕の長さ、及びＬ３ｒ＝右腕の長さ）。

その場合、左右の肩の間の長さＬ４は、次の式で算出される。

Ｌ４＝ｍａｘ（Ｌｔ）−（Ｌ１ｌ＋Ｌ１ｒ＋Ｌ３ｌ＋Ｌ３ｒ）
ステップＳ１〜Ｓ４の各ステップが約１０００点で実行され、リフレッシュレートが９０Ｈｚであることを考慮すると、上肢（upper limb）の寸法の完全な推定は１分未満で完了し、これは、磁気及び／または光学マーカーを使用する手法と比較して非常に高速である。

オプションの予備ステップでは、Ｓ１のステップａ）の前に、ユーザＵＳＲは自身のサイズを入力するよう求められてもよい。したがって、各要素の長さの非常に大まかな推定値は、推定された回転中心に基づいて骨または骨のセットの寸法を算出する前に、ステップＳ１〜Ｓ４の開始時に表示され得る。

前述の方法はまた、足によって支えることができるトラッカーによって、ユーザの下肢（lower limb）の寸法を測定するために実施され得る。関節は、足首、膝、股関節（hip）である。

本発明の方法は、場合によりコンピュータネットワークを含み、ハードディスク、ソリッドステートディスクまたはＣＤ−ＲＯＭなどのコンピュータ読み取り可能媒体上に不揮発性の形態で適切なプログラムを記憶し、そのマイクロプロセッサ（複数可）とメモリを使用して上記のプログラムを実行する、適切にプログラムされた汎用コンピュータまたは仮想現実システムによって実施することができる。

本発明の例示的な実施形態による方法を実行するのに適したコンピュータＣＰＴを、図７を参照して説明する。図７では、コンピュータＣＰＴは、ＲＡＭ Ｍ１またはＲＯＭ Ｍ２、またはハードディスクドライブ（ＨＤＤ）Ｍ３、ＤＶＤ／ＣＤドライブＭ４などのメモリデバイスに記憶された、あるいはリモートに記憶された実行可能プログラム、すなわち、コンピュータ読み取り可能命令のセットを実行しながら、上記の方法のステップを実施する中央処理ユニットＣＰＵを含む。

請求項に記載された発明は、コンピュータ読み取り可能命令及び／または本発明の処理のデータ構造が記憶されたコンピュータ読み取り可能媒体の形態によって制限されない。例えば、命令とファイルは、ＣＤ、ＤＶＤ、フラッシュメモリ、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ハードディスク、またはサーバーやコンピュータなど、コンピュータが通信するその他の情報処理デバイスに保存することができる。プログラムとファイルは、同じメモリデバイスまたは異なるメモリデバイスに保存することができる。

さらに、本発明の方法を実行するのに適したコンピュータプログラムは、中央処理ユニットＣＰＵ、及びMicrosoft VISTA、Microsoft Windows 10、UNIX、Solaris、LINUX、Apple MAC-OS、及び当業者に知られているその他のシステムなどのオペレーティングシステムと連携して実行されるユーティリティアプリケーション、バックグラウンドデーモン、またはオペレーティングシステムのコンポーネント、あるいはそれらの組み合わせとして提供され得る。

中央処理ユニットＣＰＵは、米国のIntel社のXenonプロセッサまたは米国のAMD社のOpteronプロセッサとすることができ、あるいは米国のFreescale CorporationのFreescale ColdFire、IMX、またはARMプロセッサなどの他のプロセッサタイプとすることができる。あるいは、ＣＰＵは、米国のIntel CorporationのCore2Duoなどのプロセッサとすることができ、または当業者が認識するように、FPGA、ASIC、PLD上に、または個別論理回路を使用して実装することができる。さらに、中央処理ユニットは、前述した本発明の処理のコンピュータ読み取り可能命令を実行するために協調して動作する複数のプロセッサとして実装することができる。

図７の仮想現実システムは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネットなどのネットワークとインターフェイスするための米国のIntel CorporationのIntel Ethernet PROネットワークインターフェイスカードなどのネットワークインターフェイスＮＩも含む。仮想現実システムは、ヘッドトラッキングデバイスＨＥＤを有するヘッドマウントディスプレイデバイスＨＭＤをさらに含む。汎用Ｉ／ＯインターフェイスＩＦは、トラッカー（ＲＴ、ＭＴ）とインターフェイスする。トラッカー（ＭＴ、ＲＴ）は、例えば「ＨＴＣ Ｖｉｖｅ」（商標）仮想現実システムなどの仮想現実システムの一部とすることができる。仮想現実システムの各ワイヤレスハンドヘルドコントローラーは、トラッカー（リファレンストラッカーまたはモバイルトラッカー）を備える。ハンドヘルドコントローラーのトラッキングは、基地局との連携を通じて、表面検出、マーカー、環境認識、ジャイロスコープ制御ユニット、コンピュータービジョンによってなど、さまざまな方法で実行できる。

ディスプレイ、キーボード、及びポインティングデバイスは、ディスプレイコントローラー及びＩ／Ｏインターフェイスとともに、グラフィカルユーザインターフェイスを形成し、ユーザが入力コマンドを提供するために、そしてコンピュータが３Ｄオブジェクトを表示するために使用される。

ディスクコントローラーＤＫＣは、ＨＤＤ Ｍ３及びＤＶＤ／ＣＤ Ｍ４を、コンピュータのすべてのコンポーネントを相互接続するための、ＩＳＡ、ＥＩＳＡ、ＶＥＳＡ、ＰＣＩ、または類似のものとすることができる通信バスＣＢＳに接続する。

本明細書で説明された任意の方法のステップは、処理における特定の論理機能またはステップを実装するための１つまたは複数の実行可能命令を含むモジュール、セグメント、またはコードの一部を表すものとして理解されるべきであり、代替の実装は、本発明の例示的な実施形態の範囲内に含まれる。

Claims (13)

1. ユーザ（ＵＳＲ）の上肢または下肢の２つの骨または骨のセットをつなげる関節の回転中心（Ｐｃ’）を見つけるための方法であって、
   ａ）前記ユーザ（ＵＳＲ）によって、前記関節の周りの前記骨または骨のセットの１つをスイープする一連の繰り返し動作を実行し、同時に、当該一連の繰り返し動作の間に前記骨または骨のセットの３Ｄ位置を取得し、そうすることによって３Ｄ点群（Ｐ）を取得するステップと、
   ｂ）他の骨または骨のセットの末端の３Ｄ位置を含む３Ｄ探索空間において、中心点（Ｐｃ）と称される点を算出するステップであって、前記中心点は、前記３Ｄ探索空間の探索点と前記３Ｄ点群の各点との間の距離のセットを考慮して、標準偏差が最も低い探索点である、ステップと、
   ｃ）前記３Ｄ点群（Ｐ）を平面に変換するステップと、
   ｄ）前記中心点を前記平面に投影し、そうすることによって前記関節の前記回転中心（Ｐｃ’）を取得するステップと
   を含むことを特徴とする方法。
2. 前記方法は、２つのハンドヘルドトラッカー（ＲＴ、ＭＴ）を提供する予備ステップを含み、
   ステップａ）では、前記他の骨または骨のセットの前記末端に対して維持されている、モバイルトラッカー（ＭＴ）と称されるハンドヘルドトラッカー、及び、リファレンストラッカー（ＲＴ）と称されるもう一方のハンドヘルドトラッカーのうちの１つを保持している間に、前記一連の繰り返し動作が実行されることを特徴とする請求項１に記載の方法。
3. ステップｂ）は、
   ｂ１）前記３Ｄ探索空間を、事前定義されたエッジ長の立方体（ＣＵＢ）として定義するステップであって、前記立方体（ＣＵＢ）は、参照点（Ｐｏｒｇ）と称される、前記リファレンストラッカー（ＲＴ）の前記３Ｄ位置を中心とする、ステップと、
   ｂ２）前記ユーザから、前記参照点（Ｐｏｒｇ）と共に探索点（Ｐｓ）のセットを構成する前記立方体（ＣＵＢ）の点のセットを識別する入力を受け取るステップと、
   ｂ３）各探索点（Ｐｓ）について、前記探索点（Ｐｓ）と前記３Ｄ点群（Ｐ）の各点との間の前記距離を算出し、各探索点（Ｐｓ）の標準偏差を導出するステップと、
   ｂ４）前記探索点（Ｐｓ）のセットの中から、標準偏差が最も低い少なくとも１つの探索点（Ｐｓ）を識別するステップと、
   ｂ５）前記立方体の前記エッジ長が事前定義された閾値以下になるまで、前記立方体（ＣＵＢ）の前記エッジ長を半分にし、前記識別された探索点を中心に前記立方体を配置することによって、ステップｂ１）、ｂ２）、ｂ３）、及びｂ４）を繰り返すステップであって、そのとき、前記中心点（Ｐｃ）は前記識別された探索点に対応する、ステップと
   によって、前記３Ｄ探索空間を再帰的に細分割するサブステップを含むことを特徴とする請求項２に記載の方法。
4. ステップｂ２）において、前記立方体（ＣＵＢ）は８つのより小さい立方体（ＳＣＵＢ）に細分割され、前記探索点（Ｐｓ）のセットは、前記参照点（Ｐｏｒｇ）または前記識別された探索点、小さい立方体の中心、隣接する２つのより小さい立方体（ＳＣＵＢ）の正方形の中心、隣接する２つのより小さい立方体（ＳＣＵＢ）のエッジの中間点を含むことを特徴とする請求項３に記載の方法。
5. ステップｃ）は、
   ｃ１）前記３Ｄ点群（Ｐ）の点の共分散行列を算出するサブステップと、
   ｃ２）前記共分散行列の固有値と固有ベクトルを算出するサブステップと、
   ｃ３）前記３Ｄ点群（Ｐ）を取り囲む矩形の境界ボックス、前記固有ベクトルに対応する前記境界ボックスの方向、前記固有値に対応する前記境界ボックスの寸法を作成するステップと、
   ｃ４）前記境界ボックスのジオメトリ中心を算出するサブステップと、
   ｃ５）最大の固有値を有する２つの前記固有ベクトルによって定義され、前記境界ボックスの前記ジオメトリ中心を通過する前記平面を作成するサブステップと
   を含むことを特徴とする請求項１乃至４のいずれかに記載の方法。
6. ステップａ）において、前記取得された３Ｄ位置はフレームに格納され、各フレームは、事前定義された数の３Ｄ位置を含み、ステップｂ）、ｃ）、及びｄ）は、新しいフレームが取得されていると常に、すべての前記フレームに対して実施されることを特徴とする請求項１乃至５のいずれかに記載の方法。
7. ステップａ）、ｂ）、ｃ）、及びｄ）の実行ごとに、前記リファレンストラッカーの前記３Ｄ位置を保存するステップと、
   前記リファレンストラッカーの前記３Ｄ位置の平均を算出するステップと、
   前記リファレンストラッカーの前記３Ｄ位置が、前記リファレンストラッカーの前記保存された３Ｄ位置の前記平均から、事前定義された値を超えて異なる場合、対応するフレームを破棄するステップと
   を含むことを特徴とする、請求項２に従属する場合の請求項６に記載の方法。
8. ステップｃ２）において、他のものよりも小さい単一の固有値がないと判定された場合に、フレームを破棄するステップを含むことを特徴とする請求項６または７に記載の方法。
9. 最小標準偏差の指示を前記ユーザにリアルタイムで送信するステップを含むことを特徴とする請求項１乃至８のいずれかに記載の方法。
10. ユーザの上肢の寸法を推定するための方法であって、
    Ｓ１：請求項１乃至９のいずれかによる方法で算出された手首の回転中心の位置と、モバイルトラッカー（ＭＴ）の原点の位置との間の距離に基づいて手の長さ（Ｌ１）を算出するステップと、
    Ｓ２：請求項１乃至９のいずれかによる方法で算出された前記手首の前記回転中心の位置と、請求項１乃至９のいずれかによる方法で算出された肘の回転中心の位置との間の距離に基づいて前腕の長さ（Ｌ２）を算出するステップと、
    Ｓ３：請求項１乃至９のいずれかによる方法で算出された前記手首の前記回転中心の位置と、請求項１乃至９のいずれかによる方法で算出された肩の回転中心の位置との間の距離に基づいて、上腕及び前腕の長さ（Ｌ３）を算出するステップと、
    Ｓ４：前記上腕及び前腕の長さ（Ｌ３）、前記手の長さ（Ｌ１）、並びにリファレンストラッカー（ＲＴ）と前記モバイルトラッカー（ＭＴ）とがそれぞれ前記ユーザ（ＵＳＲ）の異なる手で保持されていて、腕を伸ばした状態で前記ユーザの前額面で振った場合の前記リファレンストラッカー（ＲＴ）と前記モバイルトラッカー（ＭＴ）との間の最大距離に基づいて、左右の肩の間の長さを算出するステップと
    を含むことを特徴とする方法。
11. コンピュータシステムに請求項１乃至１０のいずれかによる方法を実行させるためのコンピュータ実行可能命令を含む、非一時的なコンピュータ読み取り可能データ記憶媒体（Ｍ１、Ｍ２、Ｍ３、Ｍ４）に記憶されたコンピュータプログラム製品。
12. コンピュータシステムに請求項１乃至１０のいずれかによる方法を実行させるためのコンピュータ実行可能命令を含む非一時的なコンピュータ読み取り可能データ記憶媒体（Ｍ１、Ｍ２、Ｍ３、Ｍ４）。
13. ２つのハンドヘルドトラッカー（ＲＴ、ＭＴ）と、非一時的なメモリ（Ｍ１、Ｍ２、Ｍ３、Ｍ４）に結合されたプロセッサ（ＣＰＵ）と、スクリーン（ＤＹ）とを備え、前記メモリは、コンピュータシステムに請求項１乃至１０のいずれかによる方法を実行させるためのコンピュータ実行可能命令を記憶するコンピュータシステム。

Images