JP2003524219A

JP2003524219A - 人間の機能的行動をダイナミックに登録・評価・修正するためのシステム

Info

Publication number: JP2003524219A
Application number: JP2000571357A
Authority: JP
Inventors: イーブン−ゾハー・オーシュリー
Original assignee: モーテック・モーション・テクノロジー・インコーポレーテッド
Priority date: 1998-09-22
Filing date: 1999-09-22
Publication date: 2003-08-12
Anticipated expiration: 2019-09-22
Also published as: EP1131734A1; AU6249899A; CA2345013C; JP4351808B2; EP1131734A4; CA2345013A1; WO2000017767A1; EP1131734B1

Abstract

(57)【要約】本発明は、モーションキャプチャテクノロジおよびモーションプラットホーム４２０を組み合わせたシステムで、リアルタイムフィードバックループでのランタイムインタラクションがあり、数多くの用途、特にリハビリテーション分野での物理および仮想環境を提供するものである。オペレータ１２０およびユーザー１０は、システムをランタイム制御でき、プラットホーム４２０およびキャプチャシステムからのデータは、リアルタイムよりも高速に処理され、新しいデータセットが生成され、これがシステムに再入力される。仮想現実環境が導入されており、モーションキャプチャプロセスおよびモーションプラットホームの動作とシームレスな相互作用がなされ、ユーザーがダイナミックな物理および仮想環境に浸れるようにしている。

Description

【発明の詳細な説明】

【０００１】

【関連した用途についての相互参照】

本出願はベネルクス特許出願第1010150号（出願日１９９８年９月２２日)、欧
州特許出願第98204334.1号（出願日１９９８年１２月２１日）、米国仮特許出願
第60/116,506号（出願日１９９９年１月２０日）からの優先権を主張するもので
、あらゆる目的のためにこれらの出願明細書を参考資料として本願に添付した。

【０００２】

【発明の背景】【発明の技術分野】

本発明は、最も一般的には、モーションキャプチャ、モーションプラットホー
ム、シミュレーションテクノロジを組み合わせて完全に反応性のある仮想環境お
よび物理環境を創り出すシステムに関連するものである。より特定すれば、本発
明により、ユーザーの環境を制御するためのリアルタイムフィードバックのある
模擬環境が創り出される。さらに特定すれば、本発明はオペレータおよびユーザ
ーのランタイム制御にリアルタイムフィードバックループを組み込むもので、こ
れにより光学センサーおよび磁気センサーあるいはそのいずれかからのデータや
、モーションプラットホームからのデータが処理され、ダイナミックなシステム
に取り込まれる新しいデータセットが生成される。

【０００３】

【発明の背景】

人間の動作機能および運動技能についての様々な研究が、動作技能を改善し、
運動技能学習の効率を向上させるための方法やシステムに貢献してきた。動作技
能の学習曲線が向上すれば大きな利益が期待できる数多くの用途があり、特にリ
ハビリテーションを目的としたものがある。

【０００４】人間が動作技能を学習する方法は、誕生時から始まる連続的なバイオフィード
バックによる複雑なプロセスである。乳児はその体格や強さに適した物理的な限
界や境界を学習し、手を使う作業に必要な制御を開拓する。絶え間のない試行錯
誤プロセスにより、乳児は、体格や強さの発達だけでなく、精神面での能力やバ
イオフィードバック制御の発育に伴い技能セットを次々に学習する。動作技能は
認識パターンとして植え付けられ、希望の動作が必要となったときに再現される
。歩行という単純な行為でも、実際にはバイオフィードバックメカニズムと組み
合わされた一連の複雑な動作である。

【０００５】乳児の学習の速さは、新しい技能セットを適応させたり事故や医学的な事情に
より失われた技能セットを再学習する成人に比較すると極度に速い。たとえば、
事故に遭って義足を装着することになった人は、歩行に関連のある運動技能を再
学習する必要がある。バランス、調整、フィードバック制御ループは、補綴に適
応するために変化するが、これは本人が歩行能力を再獲得するための長くて根気
のいる学習プロセスのみによるものである。また、足取りは、一見して自然であ
ったり不自然であったりする。

【０００６】新しく登場したテクノロジを利用してモーションキャプチャを含めたリハビリ
テーションプロセスを支援する様々な試みがなされた。「モーションキャプチャ
」は、各種技法に関する用語であるが、このテクノロジは各種用途に何年も前か
らある。モーションキャプチャの目的は、性能を重視した方法で、三次元（３
Ｄ）アニメーションおよび自然なシミュレーションを作成することである。

【０００７】娯楽産業では、モーションキャプチャによって、オペレータはコンピュータに
より生成されたキャラクタを使用できるようになる。そのキャラクタは実行不可
能なシーンあるいは危険なシーンで使用される。モーションキャプチャは広範囲
におよぶ人間の動きを使用した複雑で自然な動作を創り出すために使用されるほ
か、動かないオブジェクトを現実的に動かすことができる。

【０００８】一部のモーションキャプチャシステムでは、製作物のリアルタイムフィード
バックが提供されるので、オペレータはその動作が十分であるかを即座に判断で
きる。モーションキャプチャは、体全体の動作だけでなく、手の動き、顔の動き
、リアルタイムでの唇の同調などに適用することができる。モーションキャプチ
ャは、医療、シミュレーション、エンジニアリング、エルゴノミクス (人間工学
) などの用途のほか、映画、広告、テレビ、３Ｄ、コンピュータゲームなどでも
使用される。

【０００９】また、モーションプラットホームも、多様な用途に使用されてきた。モーショ
ンプラットホームとは、コントローラに応じてプラットホームを操作するサーボ
機構、ジャイロスコープ、およびアクチュエータ、あるいはそのいずれかによっ
て制御される表面領域のことである。商用および軍用のどちらでも、モーション
プラットホームの用途の大半は、シミュレーションに使用されるものである。娯
楽産業では、モーションプラットホームをライドのシミュレーションに採り入れ
ているが、ここでプラットホームはライド乗車客が列車に乗るなどの体験ができ
るように操作される。その他の商用の用途には、パイロットを訓練し試験するフ
ライトシミュレーションなどがあり、機器や担当員にかかる費用が削減されリ
スクも低減される。コンピュータにより生成された一連のシーンは、体感を向上
させるために、プラットホームと共に使用されてきた。

【００１０】仮想環境（ＶＥ）テクノロジにより、第一に患者が学習タスクに専念すること
ができるようになった。手術シミュレータが早期に開発されたことで、訓練の目
的でのＶＥテクノロジに高い潜在性があることが示されてきた。理論的に言えば
、ＶＥを使用すれば、運動応答を記録し、それを使用して同一環境との相互作用
やその操作ができ、運動タスクの実行に関連のある変数の決定アプローチとして
の理想的なツールとなる。ＶＥを使用して感覚や運動応答性の検査、分析、再検
査、訓練を同時進行的に行うこともできる。

【００１１】臨床リハビリテーションの分野では、ＶＥコンピュータテクノロジには数多く
の潜在性があるとともに、いくらかの限界もある。現時点では、知覚または運動
の再訓練プログラムに導入した仮想現実システムの利点に関する論文等の文書化
されたものはほとんどない。ただし、適切なコンピュータテクニックを用いて
、リハビリテーションプログラムにおいて患者の進展状況に応じた治療の様相
を正確に計測することが提案される。予期されないような変化のある目標や外部
からの力を生成する機能は、運動性リハビリテーションの分野では有用であり、
ここで仮想現実テクニックによって既存の診断ループへの補足的な支援が提供さ
れるが、これには療法や回復のあらゆる段階でのモニタリングや調節が必要とな
る。

【００１２】リハビリテーションプロセスの主要なゴールの一つに、身体障害者の日常的
な活動を量的および質的に改善して、他に依存しない生活を可能にするというゴ
ールがある。適切な訓練プログラムを完成するには、動作パターンの分析が必要
である。最も優れた訓練はいわゆる機能的訓練であることが実証されている。つ
まり、機能を改善するためには、特にその機能を身体障害者が毎日の生活の中で
使用する方法を用いて訓練する必要がある。直立や歩行などの基本的な能力は、
分析するのに十分に複雑といえる動作であるが、着替え、料理、家事などの通常
の日常生活活動（ＡＤＬ）は、さらに複雑なものであるが、これらもリハビリテ
ーションプログラムのゴールである。

【００１３】これまで、分析と訓練のフィードバックは、ＥＭＧ（筋電図）フィードバック
や基本平衡反応などの活動の要素にのみ可能であった。普通、これらのフィード
バックセンターは、身体障害者を取り巻いている通常の環境とは似つかない人
工的な環境である研究室内にある。現時点では、より正確で現実的な訓練システ
ムを提供する目的で、身体障害者の実際の環境をシミュレートするのに適切とい
える人工的な環境は存在しない。

【００１４】上記の問題に取り組むための様々な試みがなされてきた。従来の技術システム
は、適応性や動作の制御を訓練するもので、ユーザーは記録された動作を見てそ
れを真似ることで運動技能を獲得したり改善したりすることができる。一般にモ
ーションキャプチャは、ビデオカメラで記録され、ビデオテープに保存され、そ
の一方、その他のシステムによりビデオ画像や動作シーケンスがデジタル化され
る。ユーザーは自分の動作と記録された動作とを比較し、記録された動作を自分
のものにしようとする。これら従来の技術の用途では、ユーザーは記録されたあ
るいは参照用のデータセットを模倣しようとするのである。また、従来のシス
テムは、望ましい動作シーケンスをユーザーに実際に行わせるものではない。

【００１５】米国特許4,337,049では、一つのシステムが開示されているが、そこにおいて
、カメラからの動作データが参照用のデータセットと比較される。ユーザーが
視覚的な基準を模倣しようとするとき、誤り補正公式が使用され、しきい値レベ
ルを越えたらユーザーに信号が送られる。

【００１６】米国特許5,822,813('813)に記載されている申請書では、動作補正された装置
が船舶用の寝具一式に組み込まれている。この'813の発明では、感知手段が使用
されており、ある瞬間での基準面に対するデッキの位置が検出される。制御シス
テムによって一連のサーボのコマンドが出され、船舶の縦揺れや横揺れにもかか
わらず寝台プラットホームの安定が保たれる。

【００１７】米国特許5,768,122の発明には、オブジェクト指向型の方法により制御される
モーションプラットホームが説明されている。このシステムでは、高レベルの動
作がより単純なタスクに分析され、編集や変換の手段が組み込まれプラットホー
ムにコマンドが送られる。

【００１８】米国特許5,846,086には、一つの運動技能システムが説明されており、そこに
おいて、訓練内容 (つまりモデル動作) を記録したものが仮想環境で再生される
。学び手の動作がモデルの動作と比較され、学び手は基準の動作を模倣しようと
する。リアルタイムでの視覚によるフィードバックによりユーザーの動作と基準
の動作が表示され、動作の違いがどこにあるかが表示される。

【００１９】従来の技術によるシミュレーションテクノロジでは、シミュレートされた所定
の状況に対する人の応答時間が計測される。シミュレーションにおける人の空間
的な挙動に関するデータは全くない。

【００２０】さらに、シミュレーションの繰り返し可能性を確保できる方法がなかったため
、医療分野での療法の基準は全くなかった。

【００２１】システムは非常に高価であるため、モーションキャプチャスタジオは本分野へ
の参入に対する大きな障壁になっている。またそれに伴い、スタジオは非常に高
い料金を請求する。

【００２２】ランタイム制御機能がないために、記録の製作には長い時間がかかる。従来の
技術によるシミュレーション方法では、希望の体験が得られるようにアーチスト
が演出する必要がある。次にエンジニアがプログラミングにより、通常はアセン
ブリ言語によりこの体験を実現し、アーチストの希望する体験に従って演じさせ
る。たとえば、時間ｘ秒で６インチ上昇し、時間ｘ＋５秒では１０インチ上昇す
るようにライドをプログラムするという具合である。エンジニアとアーチストは
、このような繰り返しを何回か通過することになり、希望の体験が記録されるま
でには数ヶ月がかかる。

【００２３】モーションキャプチャによって製作された大半のアニメーションでも、人間の
動作を処理に取り入れていないため、自然な人間の挙動らしい反応が不足してい
る。

【００２４】従来の技術によるシステムでは、モーションキャプチャプラットホームとシ
ミュレーションテクノロジを導入して連動性の高いシステムが提供しているもの
はない。現時点ではリアルタイムフィードバックとユーザーの仮想環境および
物理環境の制御を提供してくれる手段はない。

【００２５】必要となるのは、物理環境および仮想環境をシームレスに統合し、希望の効果
をプログラマーがすぐに操作・記録できるようなシステムである。記録された効
果によって、システムの各ユーザーがオリジナルのプログラマーと同一の物理環
境および仮想環境を体験できるようになる。そのようなシステムは、運用経費が
手頃であるとともに、利用のコスト効果は高くあるべきである。

【００２６】

【発明の概要】

本発明は、リアルタイムプロセッシングよりも高速に動作するモーションプ
ラットホームを組み合わせたモーションキャプチャシステムで、ユーザーまたは
オペレータによるランタイムインタラクションが可能となる。本発明は、モー
ションキャプチャテクノロジとシミュレーションテクノロジを組み合わせたシ
ステムで、ハードウェアおよびソフトウェアの各要素の組み合わせと、オーサリ
ングソフトウェアおよび制御ソフトウェア環境の組み合わせでユーザー環境を
変化させることができる。

【００２７】本発明により、新しい計測および修正ツールが実現され、各種産業での用途に
活用できる。本発明により、人間の機能的動作を所定の状況範囲内で判断・登録
・評価するために、ユーザーへの反応性が非常に高い仮想環境および物理環境に
一人以上のユーザーを集中させることができる可能性が生まれる。

【００２８】医療用の用途が意図されているが、本発明は他の市場セグメント向けにも適用
可能である。

【００２９】レジャー産業および娯楽産業 ― 本申請書により、娯楽産業を含めた数多くの
用途で有用なツールが提供される。本システムにより、シミュレーションライド
の記録がリアルタイムで可能になる。コスト効果が高いだけでなくより現実味の
あるシミュレーションが提供されることにより、本システムを娯楽用シミュレー
ションの強化や向上に使用できる。本システムにより、アーチストやシミュレー
ション製作者は、システムを制御して希望のシミュレーション効果を記録するこ
とで希望の効果を創り出すことができる。本モーションキャプチャシステムでは
、デザイナーのシミュレーションが即座に記録され、直ちに再生できる。これに
よって、シミュレーションを生成するためにかかる時間が人・月単位から人・分
単位に短縮される。

【００３０】シミュレーションのコスト効果が高いだけでなく、システムではランタイム編
集が採用されており、リアルタイムフィードバックよりも高速で、シミュレーシ
ョンをさらに現実感のあるものにしてくれる。オペレータまたはユーザーはパラ
メータをその場で変更でき体験を向上させることができる。また、ユーザーの動
きや動作をシミュレーションの数式に取り込むことができ、シミュレーションを
現実感のあるものに仕立てることができる。

【００３１】シミュレーションライドは、本発明のもう一つの応用例である。現時点では、
プログラムシミュレーションライドはアーチストやデザイナの指図によってエン
ジニアがアセンブリ言語で記述している。アーチストが希望のライドまたはシミ
ュレーションを描写し、アーチストの記述の模写を試みながらエンジニアがコー
ドを記述する。時間ｘでライドがある一つの位置にあり、時間ｘ＋１でライドが
別の位置にあるという具合にコードは記述される。次に、アーチストは自分の希
望の結果が得られるまで何回にもわたりエンジニアとやり取りを行う。このプロ
セスは通常数ヶ月かかる。

【００３２】本発明では、アーチストが自分の体にセンサーを取り付け、ライドの制御を行
い、アーチストのまったく希望どおりにシミュレーションを記録する。アーチス
トの作業が終了するとすぐに、プログラムは再生可能である。アーチストは、長
い時間がかかり高価な工学的インターフェイスなしに希望どおりの効果を得るよ
うになる。アーチスト自身の体のモーションを記録することにより、どのユーザ
ーにもそれとわかる身体の動作が即座に再生される。アーチストがプラットホー
ムを制御するので、シミュレーションを生成するために必要な作業および時間が
９９％削減される。

【００３３】軍事用―軍隊の訓練は、非常に高価で危険性が潜んでいるため、シミュレーシ
ョンが好ましい訓練方法となりつつある。仮想現実環境とモーションプラットホ
ームを使用することで、訓練の効率を高め、軍隊の準備状態が向上される。

【００３４】航空宇宙研究―本発明により、パイロットや宇宙飛行士の空間的調整の応答時
間および遅れ時間をリアルタイムで登録・試験したり、シミュレートした所定の
一連の状況への応答が可能になる。たとえば、現実的な宇宙ミッションをシミュ
レートして、そこで宇宙飛行士、ツール、周囲の環境のモーションがプログラム
された環境に影響を及ぼすようにすることができる。宇宙での歩行やミッション
のための訓練で、無重力の環境をシミュレートすることもできる。

【００３５】自動車―本システムにより、ドライバの動きの空間的な軌道がリアルタイムで
記録および表示され、これらの動きの３Ｄデータベースが作成される。アプリケ
ーションにより、人間工学的により優れた試作品や運転環境のデザインに関連す
るデータが生成される。

【００３６】ロボティクスおよびテレメトリ(遠隔測定法)―リモコンでの運転が完全な対話
式の方法で可能な、遠隔測定をもとに反応する環境が本発明により達成される。
オペレータは、遠隔地から動作フィードバックを受信する。

【００３７】建築―本発明により、地震に対して不安定な建物における力に対する地面の反
応をモニタすることができる。本システムは大規模な導入が可能で、建物の重要
な部分をサポートし、地震により発生した移動に関係なく平坦なプラットホーム
を維持できる。

【００３８】本発明は、患者のリハビリテーションの時間を短縮することで医療コミュニテ
ィで非常に大きな影響をもつ。高い医療費と規制のある医療ケアに対する大きな
懸念のある中で、本発明により、コストを低減し治療期間を短縮する方法が提供
される。また、多くの患者にとっての生活の質を支援し向上させ、他の方法では
そのような動作が不可能であるような物理的な動きの知覚が可能となる。安全性
と信頼性のために、転倒する恐れのある人向けにシステムを補助にして、バラン
スや平衡感覚を向上させることができる。

【００３９】本システムは、脳への外傷、脳の損傷、脊髄の損傷などの患者にとって有用で
ある。動作認識の研究により、一定の動きを身体が覚えるだけでなく、シナプス
経路が再生されうるという考え方が指示されている。希望の動きをシミュレート
することにより、身体はその動きをするための再訓練ができる。また、システム
により、モーションプラットホームにフィードバックされた自分の動作の規模を
加減することで、人が自分の平衡感覚のずれに対して反応することができるよう
になる。

【００４０】整形外科学および補綴学の分野では、本発明により、現在の状況を調整するに
あたり患者の補助が可能である。整形外科、補綴、および手足を失った人にとっ
て、システムでは進展状況をモニタ・追跡できる一方、動きの訓練および向上が
図れる。たとえば、手足のどれか１つがない場合、運動量を移動させて不釣合い
を修正でき、バランスをとるための訓練ができる。

【００４１】状態を複製して患者が動作を調節できるようにすることで、乗り物酔いやその
他の動作障害の治療ができる。

【００４２】本発明により、正確に繰り返し可能な計測が得られるだけでなく、異なった時
間間隔で記録された動作を比較することにより、患者の進展状態をモニタするこ
ともできる。問題のエリアを強調表示するために使用できる標準または基準の動
作のライブラリを提供することもできる。

【００４３】パーキンソン病などの安定化に問題のある疾患をもつ人は、直立不動の姿勢を
とることができないが、本システムを使用することで、静止位置に留まらせるこ
とが可能となる。人体は様々な大観的なバランスについての入力を受け取り処理
しているが、これは複雑かつ連続的なやり取りであり、ここでバイオフィードバ
ックシステムの一環として脳では生存のために最適化された入力が選択される。
ユーザーは直立不動の姿勢をとるという知覚を獲得するが、医学報告書には、状
態の認識がきわめて重要であることが述べられている。恐怖感は回復において主
要な要素であり、事故に遭ったり病気にかかったことのある人は、回復を妨げた
り遅らせる恐怖感を表現することがある。

【００４４】システムがすべきことをすべて行っているとしても、本発明は人間の能力を示
している。こうして、一定の恐怖感に打ち勝つための支援がシステムによってで
きる。たとえば、家の中にある階段で躓いたことがあるとしたら、将来における
階段の昇り降りに影響を与えるかもしれない、その転倒に対する認識記憶が生ま
れるだろう。本発明では、階段とその転倒にいたった状況をシミュレートするこ
とにより、本人が恐怖感に打ち勝てるように紛らすことができる。

【００４５】補綴のある人は、補綴には圧力をかけたがらないが、その理由に恐怖感とおそ
らく痛みがある。本システムでは、プラットホームを持ち上げて穂鉄に合わせる
ように補綴に故意に圧力をかける。圧力センサーにより補綴にかかる圧力をモニ
タし、プラットホームレベルを変化させることでどんなレベルにでも圧力を上昇
させることができる。仮想の床はまっすぐなままで、物理的な床が、この場合ト
レッドミルを置くが、これが足に合わせて上昇する。

【００４６】医療向けの用途に関連した本発明の実施例のひとつを例として挙げることがで
きる。コンピュータ支援リハビリテーション環境(CAREN)という開発プロジェク
トは、リアルタイムドメインで運転される本システムの実施例である。CARENプ
ロジェクトは、人間のバランス動作を再生可能な様々な条件でテストするような
仮想現実システムの開発に適している。

【００４７】 CARENプロジェクトでは、仮想現実環境がシミュレートされ、その環境内で健
康な被験者と患者の敏捷性を再生可能な様々な条件でテストすることができる。
CARENによって、コンピュータ駆動のモーションプラットホームからの動揺に対
する応答としての被験者の動作の詳細な計測が可能になる。人体モデルのシミュ
レーションにデータを供給した後、関節部の力のモーメントおよび筋肉の活動性
を計算することができる。これらの応答の時間的パターンをもとに、被験者が開
始する運動性プログラムについて推測することができる。運動性プログラムに、
機能上の不良や不十分性を招くような根本的な問題があれば、それがどの関節お
よび筋肉群であるかを突き止めることができる。筋肉の力不足などの二次的な問
題は、根本的な問題とは区別される。運動障害をもつ子供における完全な運動性
プログラムの不十分性は、分類された上でトラックプログラムに記録できる。

【００４８】患者における補償戦略をよく理解することがより良い療法につながる。CAREN
では、患者用の予備的な動作がほぼ無限に備わったテスト環境だけでなく、運動
性制御研究のための強力なツールが提供されている。

【００４９】 CARENプロジェクトの主な目的の一つに、広範囲な医療分野で、リハビリテー
ションプログラムを成功させるのに必要な時間を短縮することにより診断および
治療活動を向上させることがある。この向上は、医療専門家チームがバランスお
よび調整の動作パターンをその動作がなされたと同時に制御されたリアルタイム
環境で目で見て分析する機会を与えられることで定義される。こうして、専門家
構成員が直ちに患者の挙動に介入したりそれを修正することが可能となる。

【００５０】本システムは、コンピュータ制御で可動式のプラットホームと、三次元ビデオ
投影、被験者のモーションキャプチャ、および被験者の運動のフォワードおよび
インバースダイナミクスコンピュータシミュレーションの組み合わせで構成され
ている。バランス障害の診断および修正のための処置には、標準となるリハビリ
テーションや体操の方法はない。欧州にある大概のリハビリテーション診療所で
は、運動障害の原因別に分類された特殊化療法プログラムを使用しているが、使
用されている装置や手続きに関する医療上の体験を交換するために、ネットワー
クでコミュニケーションできるプロトコルは使用できない。さらに、汎用ツール
では、患者の挙動を高い精度で計測することに欠けているので、進展の査定は主
に目視により実施される。本発明は、インタラクティブで仮想的なリアルタイム
コンピュータ駆動の応用ツール−プラットホームの開発を目標としており、これ
により患者はほとんど制限のない予備的な挙動の手段を得ることができ、また同
時に医療専門家はリハビリテーションプロセスの進展状態のモニタ用の精度の高
い計測ツールを得ることができる。

【００５１】本発明により、医療セクター向けにターンキー型のカスタマイズされたビジュ
アリゼーションシステムが可能となる。シミュレーション業界では、リアルタイ
ムの速度を保ちつつ三次元の物体の位置および向きを追跡し表示できるような表
示環境が実現する。アニメーション産業では、仮想キャラクタおよび環境を創り
出して操作するための三次元ツールキットが実現する。マルチスレッド型の並列
アルゴリズムの適用においての発展により、モーションキャプチャデータとハイ
レベルの詳細ビジュアリゼーションとのリアルタイムでの統合が可能となる。本
システムを用いれば、人体モデルを組み込むことにより、被験者の動作をコンピ
ュータ駆動のプラットホームからの動揺に対する応答として詳細に計測すること
が可能となる。

【００５２】 CARENプロジェクトの全般的な目的は、最善の効率と効果が得られるリハビリ
テーションおよび訓練の状況を創り出すために、リアルタイムバイオフィードバ
ックによって患者が没頭できる仮想のインタラクティブシステムを開発すること
である、この向上は、医療専門家が制御された環境において発生と同時にバラン
ス方法を分析する機会を得られることで定義される。

【００５３】 CARENは、コンピュータ駆動のプラットホームから出される動揺への応答とし
て被験者の動作を詳細に計測できるように、ハードウェアをカスタマイズしソフ
トウェアを開発することにより成り立っている。プラットホームの動きは、投影
されたイメージと非常に接近した同時性をもって実施され、被験者の動きとは独
立したものにすることもでき（大きな船の上に立っているときのように）、ある
いは、被験者の動きにも依存するようにすることもできる（小さな船の上に立っ
ているときのように）。

【００５４】特に複雑なバランスのタスクでは、筋肉の活動性のパターンにより、被験者が
転倒するか否かが決定される。これらのシミュレーションは、ある一定のバラン
スのタスクでの正常および病的な応答パターンを把握することが目標とされてい
る。

【００５５】 CARENプロジェクトで創り出される実質的に正常で反応しやすい環境でのリア
ルタイムフィードバックによって、日常生活での活動のために身体障害者を分析
し訓練することが可能となる。CARENにより、患者の環境をテストしたり学習す
ることが提供されているだけでなく、運動制御のための貴重な研究環境が提供さ
れている。科学雑誌に発表される実験は一般に自然な状況からかけ離れたもので
ある。感覚の統合は、運動制御の把握にあたりキーとなるため、CARENによって
、さまざまなチャンネルの感覚入力が提供できるような新しいタイプの実験への
門が開かれる。

【００５６】たとえば、パーキンソン病患者でみられる動きの制御は、多くの臨床医や人間
の動きを研究する科学者らは不可解なものであると考えている。これらの患者で
は、むしろ正常にみえる運動性パターン（たとえば歩行に使用されているような
）を引き出すには、いくらかの視覚的な合図で十分である一方、そのような刺激
がない場合には、パターンは開始されることもできない。健康な被験者では、学
習済みの運動性パターンの莫大なライブラリへの複数チャンネルの感覚入力があ
れば、歩行中のバランスが連続的に制御されうる。この入力は、筋紡錘、ゴルジ
腱器官、足裏の皮膚の受容器などの機械的受容体のほか、視覚系から来るもので
ある。人間の歩行の直接の環境の本質を確立するにあたっては、聴覚の入力でさ
えも有用である。

【００５７】ただし、ここで視野の流れがさらに強い影響力をもつ。実験によれば、視野の
流れを人工的に変化させると、被験者のバランス感覚を狂わせうることが分かっ
ている。その一例が移動する部屋のパラダイムであり、被験者は部屋の中に立ち
、その部屋の床は動かさずに壁を動かすことができるというものである。被験者
は、バランスを相殺することで即座に反応する。時には転倒することもある。パ
ーキンソン病患者では、感覚の入力は視野の流れの方向に影響を受ける一方、他
の入力はそれほど重要ではなくなっている。

【００５８】 CARENにより提供されている環境により、異なったタイプの入力を調節できる
ような実験をデザインすることが可能となる。可動式のプラットホームにより、
脚を通した感覚の入力を視覚的な刺激とは独立して変化させたり、その逆が可能
である。その速度が視野の流れの速度には対応していない踏み車の上をこれらの
患者に歩いてもらうことができるが、これは統合されている入力の多様性、また
どの測定数値においてであるかを調べるためである。CARENにより、人間の動作
に関連した自然なプロセスの複雑さをさらによく見ることができる。

【００５９】その他の例は、部分的な麻痺や四肢の一つの麻痺などの末梢障害のある患者に
見ることができる。これらの状況では、足取りおよびバランスは、感覚の入力の
部分的な欠乏と筋肉の調節の欠乏の両方により弱まる。その通常の結果としては
、機能的な足取りおよびバランスを獲得するために、患者はその埋め合わせを見
つけ、体の健康な部分に異常な動きのパターンが生じることになる。さまざまな
状態下でモーションキャプチャにより供給されるインバースダイナミクスシミュ
レーションを使用できるようにすることで、埋め合わせと原発性の障害との間の
区別を解決できるようになる。それが歩行や直立のモードとして最善とは言えな
いことを意味していたとしても、人は苦痛の感覚を避けることを好む。最適化は
、機能性と快適さの間の妥協として求めることができる。

【００６０】本発明は、シミュレーションにおける新しい原理であり、人間の挙動が基準の
挙動または前の挙動のどちらかに対して評価または比較されるものである。この
原理は、シミュレーション状態を実現するためのメカニズムを確立している。こ
うしてこれに関与する人がその挙動により、またその人を取り巻く物理的および
視覚的な環境により影響をうける。

【００６１】リアルタイムの全身キャプチャの構造および制御された「地面」により、キャ
ラクタと環境の間のインタラクションが含まれる複雑なアニメーション作成用の
モーションキャプチャを使用する能力が得られる。

【００６２】また、モーションキャプチャソリューションにより、パフォーマンスアニメー
ション装置が可能となる。ターンキー型のキャプチャソリューションがキャプチ
ャおよび制御ユーティリティ６ＤＯＦモーションプラットホーム出力チャンネル
ドライバーに追加されており、これにより動作ライドやシミュレーションシナリ
オの制御やプログラミングをシステムから直接できるようになる。

【００６３】本発明のその他の機能として、顔面のキャプチャがある。口の主な形状と比較
用のライブラリ群の組み合わせを使用することで、現実感を作成したり、または
キャプチャとアニメーションとの組み合わせを作成することができる。FACE-MIX
ERはSOFTIMAGE用のチャンネルドライバで、LIVEキャプチャの状況で顔の表情の
アニメーションを記録中にミキシングが可能である。これには放射形状作用が使
用されているが、これはすべての主要形状は常時アクティブであることを意味す
る。アニメータは各種の表情、変化の速度、一つの表情から次の表情への軌道な
どを制御する。

【００６４】本発明の対象の一つは、処理手段、その処理手段に接続されたモーションキャ
プチャシステムから構成されるモーション処理システムである。モーションキャ
プチャデータは、多数のモーションセンサーから取られ、リアルタイムよりも高
速に処理される。処理手段に接続されたモーションプラットホームシステムがあ
り、そこでもモーションプラットホームデータはリアルタイムよりも高速に処理
され、また制御コマンドがモーションプラットホームに出力される。また、ラン
タイム制御入力ができるモーション処理システムへのインターフェイス手段があ
る。

【００６５】また対象をさらに付け加えると、多数のモーションセンサーが光学式なモーシ
ョン処理システムである。さらに、モーション処理システムには、多数の磁気式
モーションセンサーを持たせることもできる。光学式および磁気式センサーの組
み合わせも本発明の範囲である。

【００６６】また対象をさらに付け加えれば、さらに仮想環境をユーザーに表示するための
ディスプレイ手段により構成されているモーション処理システムで、ここでディ
スプレイ手段は処理手段に接続されているものである。ディスプレイ手段は、ス
テレオプロジェクションまたはヘッドマウントディスプレイが使用でき、操作さ
れた物理環境と並べて仮想環境が創り出される。

【００６７】対象をさらに付け加えると、さらにモーションキャプチャデータおよびモーシ
ョンプラットホームデータを記録するための記憶手段から構成されるモーション
処理システムがある。記録データは再生して、記録された全くそのままの環境を
リアルタイムでシミュレートすることができる。また、仮想環境を動作データと
共に記録して、トータルに没頭できる環境を完成することができる。

【００６８】本発明の対象の一つは、多数のマーカーをユーザーに配置するステップ、モー
ションプラットホーム上でユーザーの位置を決めるステップ、多数のマーカーか
らのモーションキャプチャデータセットを受信するステップ、モーションプラッ
トホームからのモーションプラットホームデータセットを受信するステップ、制
御信号をランタイムで入力するステップ、制御信号およびモーションキャプチャ
データセットおよびモーションプラットホームデータセットをホストコンピュー
タシステム上でのリアルタイムフォーマットよりも高速に処理するステップ、新
しいデータセットをモーションキャプチャシステムおよびモーションプラットホ
ームシステムに出力するステップなどから構成される仮想環境および物理環境プ
ロセスである。対象にさらに付け加えれば、仮想現実環境をユーザー向けに表示
するステップをさらに追加した仮想環境および物理環境プロセスである。

【００６９】別の対象は、制御信号のランタイムでの入力ステップがユーザーにより実施さ
れる仮想環境および物理環境プロセス。オペレータまたはユーザー、あるいはそ
の両者はダイナミックシステムへの変更を入力できる。

【００７０】本発明の対象の一つは、多数のモーションセンサーを装着しモーションプラッ
トホーム上に配置されたユーザーから構成されるシミュレーション記録システム
である。処理手段、および処理手段に接続されているモーションキャプチャシス
テムがあり、ここでモーションセンサーからのモーションキャプチャデータは、
リアルタイムよりも高速に処理される。モーションプラットホームシステムが処
理手段に接続されており、ここでモーションプラットホームデータはリアルタイ
ムよりも高速に処理され、またここで制御コマンドがモーションプラットホーム
に出力される。また、システムには、ランタイム制御入力により処理手段とのイ
ンターフェイスをとる手段があり、またモーションプラットホームデータおよび
モーションキャプチャデータの記録用の記憶手段がある。このシステムにより、
オペレータ／アーチストはエンジニアやプログラミングに頼ることなく希望のシ
ミュレーションをリアルタイムでデザインすることができる。さらに、別の対象
は、さらに記憶手段からの記録されたモーションプラットホームデータおよびモ
ーションキャプチャデータを再生する手段により構成されるシミュレーション記
録システムである。

【００７１】さらに付け加えられる対象があり、これはさらに仮想現実環境を記録されたモ
ーションプラットホームデータおよびモーションキャプチャデータに連続して記
録するための手段から構成されるシミュレーション記録システムである。

【００７２】機能面での人間の行動をダイナミックに登録・評価・修正するためのシステム
で、記憶手段、およびモーションプラットホームシステムから構成され、ここで
、ユーザーはプラットホーム上に配置される。モーションキャプチャシステムが
あり、ここでユーザーにはモーションを検出するための多数のマーカーが装着さ
れ、またモーションプラットホームシステムおよび前述のモーションキャプチャ
システムに接続された処理手段があり、ここでモーションプラットホームデータ
およびモーションキャプチャデータは前述の処理手段によりリアルタイムよりも
高速に処理され、またここで新しい制御データがモーションプラットホームシス
テムに出力される。最後に、記憶手段上にあるモーションキャプチャデータおよ
びモーションプラットホームデータを記録する手段、およびランタイム制御入力
によりシステムとのインターフェイスをとるための手段がある。

【００７３】その他の対象には、記憶手段からの記録されたモーションキャプチャおよびモ
ーションプラットホームデータを再生し、ユーザーに対して外的な力を生成する
ことが含まれる。モーションプラットホームでは、逆方向の力が生成され、ユー
ザーが記録されたモーションを再現できるようにしている。

【００７４】最後に挙げる対象は、機能面での人間の行動をダイナミックに登録・評価・修
正するためのシステムで、ここで記憶手段に以前に記録データのライブラリが含
まれるものである。データは、基準となるモーションおよび環境のライブラリ、
または進展状況がモニタできるように個人ユーザー用に記録データのライブラリ
のどちらでもよい。

【００７５】なお、本発明のその他の対象や利点については、下記の詳細な説明によって、
この技術分野に精通している者にとって、容易に明らかとなるが、ここには、単
に本発明の遂行が意図される最適なモードを図示することによって本発明の望ま
しい実施例についてのみ記述している。

【００７６】

【好ましい発明の実施の形態】

本発明分野に精通している者にとってみれば、本発明には数多くの変形の余地
がある。下記は、望ましい実施例の説明であり、発明の実例を提供しているが、
発明の範囲を限定するものではない。理解されるとおり、本発明は他の異なった
実施例に適用可能で、そのいくつかの詳細は様々な面での明らかな変更が可能で
あり、それらすべては本発明から逸脱するものではない。

【００７７】図１に、本発明の概要を図示するが、ここでユーザー１０には多数の光学セン
サー２０および磁力センサー３０が身体の様々な位置装着されている。光学セン
サー２０からのデータは光学式モーションキャプチャシステム４０により受信さ
れる。磁力センサー３０からのデータは磁力的モーションキャプチャシステム５
０により受信される。

【００７８】望ましい実施例では、光学式データセットには、全身についてのユーザー１
０のＸ軸、Ｙ軸、Ｚ軸の位置が含まれ、１００ＦＰＳでコンピュータ７０に送信
される。ユーザー１０のＸ軸、Ｙ軸、Ｚ軸の位置および回転が含まれる磁力的キ
ャプチャデータセットは、６０ＦＰＳでコンピュータ７０に送信される。

【００７９】コンピュータ７０は、オペレータインターフェイス８０とインタラクティブに
動作し、Ｘ軸、Ｙ軸、Ｚ軸の位置および回転が６０ＦＰＳで６ＤＯＦプラットホ
ーム６０に送信される。

【００８０】磁力システムには、中央に位置した送信器と人物１０の様々な部位に紐で取り
付けた一式の受信器３０の使用が関連している。これらの受信器３０は、送信器
との空間的な関係を計測する能力がある。各受信器３０は、ケーブルを経由して
インターフェイスに接続されており、データの食い違いが防止されるように同期
をとることができる。結果としてのデータストリームは、各受信器３０につい
ての３Ｄ位置および向きから構成される。

【００８１】一般にこのデータがインバースキネマティクスプラットホームに適用され、ア
ニメーション化されたスケルトンが駆動される。磁力システムは、キャプチャ領
域付近にある程度の大きさの金属領域があればそれに影響を受けるので、適切な
遮蔽を施すことが重要である。

【００８２】磁気式キャプチャプラットホームは、磁力センサー３０とともに運転され、空
間での物体の位置および向きが登録される。光学式キャプチャ４０および磁気式
キャプチャ５０は、同時進行的に使用できるが、光学式キャプチャ４０が困難な
場合や複数のアクターを撮影するような状況では、磁気式キャプチャ５０が最適
である。

【００８３】図２では、人物１０にマーカー２０、３０が装着され、また初期の位置または
バランス位置についてのテンプレートが処理されている。光学マーカー２０およ
び磁気マーカー３０のどちらも、一般にモーションの記録に使用される。磁気式
モーションキャプチャ（ＭＭＣ）データセット１００および光学式モーションキ
ャプチャ（ＯＭＣ）データセット１１０は、瞬間的にキャプチャされ、完全な
テンプレートを処理するために使用される。テンプレートでは、テンプレートマ
ッチングアルゴリズムが利用され不足したあるいは不良のマーカーデータの補間
がなされる。モーションプラットホーム６０は、どんなＤＯＦにもプログラム可
能で、Δ＝０である初期の点またはバランス点からの偏りの蓄積が補正されるよ
うにできる。

【００８４】たとえば、人物１０が前に身を乗り出した場合、システムはリアルタイムより
も高速に応答し、ＯＭＣデータセット１１０およびＭＭＣデータセット１００が
同じ位置に留まるようにプラットホーム６０が調節されるようになる。

【００８５】人間の視覚による認知速度は１８〜３０Ｈｚの範囲である。バランスまたは平
衡の速度はこれよりずっと遅く、約７〜８Ｈｚである。この業界では、リアルタ
イムは、２５Ｈｚまたは２５ｆｐｓ程として定義されている。本発明は、リアル
タイムよりもずっと速い速度で運転され、望ましい実施例では１００Ｈｚである
。さらに速い速度が可能であり、テクノロジやコンピュータ用のハードウェアの
発達に伴い、現実的に期待できるであろう。

【００８６】この望ましい実施例では、プラットホーム６０は、６自由度（ＤＯＦ）である
。それぞれのＤＯＦは、プラットホーム６０の各種サーボおよびコントローラに
よって独立して制御可能である。

【００８７】図３に、本発明の別のアプリケーションを示すが、ここで、オペレータ１２０
により記録されたＭＭＣデータセット１００により、オペレータ１２０の身体
のモーションが含まれる仮想のカメラ軌道（シミュレーションライドなど）を
リアルタイムで記録することが可能となる。これらの感知された体のモーション
が記録されたものは、次にオペレータ１２０により記録されたものと同一の身体
のモーションを将来のすべてのユーザーが体験できるようにプログラムできる。
オペレータ１２０は、コンピュータインターフェイス８０を採用して、ランタイ
ムコマンドをシステムへ入力する。これにより、アーチスト／オペレータは、長
ったらしく高価なエンジニアリングが介在することなしに、シミュレーションの
希望の体験を即座に記録することができるようになる。

【００８８】図４では、テンプレートが使用してプラットホームの逆方向の力を作り出し、
プラットホーム６０の人物１０に外部からの力がかかるようになっている。人物
は、実際にはタスクを実行することなしに、希望の動作を感知することになる。

【００８９】麻痺のある患者に対する訓練ツールとしての記憶認識を用いての多くの実験が
実施されている。その一例は、脊髄または脳に損傷があり両脚が麻痺している患
者用のものである。この患者はプラットホーム６０上につり革でぶら下げられて
おり、システムにより逆方向の力がかかり、両脚が動くようにされている。感知
された歩行動作がその患者の記憶認識に植え付けられ、回復が促進される可能性
がある。

【００９０】仮想のクローンを図５に例示しており、ここで人物１０のデータセット１００
、１１０およびテンプレートを健康な人物のデータセット１００、１１０および
テンプレート、あるいは同一人物の異なった時点での別のデータセット１００、
１１０およびテンプレートと比較することができる。この比較は進展状況を追跡
し潜在的な問題を識別するのに有用である。比較された動作の値がリアルタイム
で生成されるので、リアルタイムのＸ値、Ｙ値、Ｚ値のデータストリームとして
グラフ化することができる。

【００９１】被験者のモーションと比較したライブラリデータを表示するために、仮想キャ
ラクタデータセットを投影することも可能である。モーションキャプチャ基準ラ
イブラリを設定して、様々なタスクを実行する個人のデータセットが含まれるよ
うにすることができる。次に、被験者のモーションのデータを取り出して、ライ
ブラリの基準と比較しながらユーザーデータに重ねることが可能となる。また、
ユーザーを保存されたデータセットと一致するようにすることも可能である。

【００９２】一例として、マーク・マクガイヤ選手がバットを振るときのモーションキャプ
チャデータセットをこのシステムで記録できる。すると、どんなユーザーでも自
分のデータセットをこの基準と比較できる。さらに、システムの助けを借りてそ
の人が基準となるデータセットと一致するようにさせることができる。言い換え
れば、その人は、マーク・マクガイヤ選手であるかのようにバットを振らせられ
るのである。

【００９３】図６は、ソフトウェアアーキテクチャの基本的な線図であり、様々な相互接続
が描かれている。データフローモジュール（Ｄ−ＦＬＯＷ）２００は、システム
に不可欠なコンポーネントの一つで、様々な代替方法がサポートされ、システム
の新しい機能を短期間に開発し実現することができる。Ｄ−ＦＬＯＷ２００は、
そのモジュールにより特徴付けられ、よく定義された機能性を実現し、０個以上
の入出力ポートおよび各種モジュール間の接続を通してデータを受信および／ま
たは送信し、方向性をもった非周期性グラフを形成する。Ｄ−ＦＬＯＷ２００の
主なタスクは様々な入力デバイスから入ってくる入力データを処理し、収集され
たデータを人体モデルにマップし、様々な入力データおよび計算されたデータ（
あるいはそのどちらか）をそれぞれ異なったケースに応じて処理することである
。その他のタスクには、人間のモデルおよび環境のリアルタイムグラフィックア
ニメーションの表示や、モーションプラットホーム自体の駆動がある。

【００９４】Ｄ−ＦＬＯＷモジュール２００の機能性は、ランタイム評価装置２１０および
データフローエディタ２２０で代表される構造ブロックによって定義される。デ
ータフローエディタ２２０により、ランタイムで実行中にＤ−ＦＬＯＷ２００モ
ジュールの編集、接続、接続の解除が可能となる。この編集は、システムプログ
ラマーによって、あるいは記録モード時ならユーザーによっても行うことができ
る。たとえば、仮にシミュレーションが平均的な海の状態での中規模の船舶用で
あるとすれば、データフローエディタ２２０により、プログラマーまたはユーザ
ーは、船の規模や海の状態を変更することができる。

【００９５】ランタイム評価装置２１０は、高速のフィードバックループの一部で、プラッ
トホームでのユーザーの動作を連続的にモニタし、システムに取り込まれるユー
ザーのモーションとのやり取りをして現実味のあるダイナミックな環境を創り出
すものである。船の例で、ユーザーが船の片方の側にもたれかかった場合、シス
テムはその動きに対してリアルタイムよりも高速に応答し、プラットホーム出力
コマンド２４０によって、実際の船で起こるのと同様に船がその方向に傾く。ま
た、データフローエディタ２２０をランタイムで使用することで、ユーザーは船
の規模を変更することができ、こうして船の不安定度合いを高めることができる
。より小型の船では、同じもたれかかる動作でも船に対してより大きな影響があ
り、傾きがさらに上がることになる。

【００９６】モーションキャプチャシステムの一部として、別の記録の比較用ライブラリ２
３０を開発して、ある一定のモーションや動きの再現、様々なモデルの比較、患
者の進展状況の追跡などに使用される。

【００９７】Ｄ−ＦＬＯＷ２２０の各種出力には、ステレオ３Ｄ投影２５０のほか、それに
対応する音声出力２６０があればそれも含まれている。リアルタイムよりも速い
フィードバックにより、ユーザーの動きが仮想環境と相互に作用し、シミュレー
ション体験が向上される。仮想現実環境には、ヘッドマウントディスプレイ
ユニットが含まれることもある。

【００９８】各種入出力（Ｉ／Ｏ）が表示されており、矢印はデータの流れを示している。
光学式モーションキャプチャシステムからの光学式データストリーム２９０、お
よび磁気式キャプチャシステムからの磁気式データストリーム３００は、Ｄ−Ｆ
ＬＯＷ２００への入力である。また、プラットホームデータ３１０は、プラット
ホームの向きを追跡するためのＤ−ＦＬＯＷ２００への入力である。

【００９９】仮想キャラクタデータベース２８０および仮想環境データベース２７０には、
前のモーションキャプチャタスクで記録されたデータセットが含まれている。こ
れらのライブラリは、将来の用途（アプリケーション）に使用して、プロジェク
ト開発のスピードアップを図ることができる。また、３Ｄデータベースローダー
３３０もＤ−ＦＬＯＷモジュール２００に相互接続されている。

【０１００】テンプレートマッチングアルゴリズム３２０により、フォワードダイナミクス
を使用して特定の標本で不足しているマーカーの位置が予測される。シミュレー
ションにより、被験者の関節の周りで生じた力のモーメントが再現され、これは
次に筋肉の活性化に依存することになる。マーカーが不足している場合、モデル
階層の高いレベルからトルクが計算され、不足のマーカー位置に適用される。

【０１０１】確固としたキャプチャデータは、システムの性能にとって非常に重要であるた
め、ダイナミックなキャプチャテンプレートマッチングアルゴリズム３２０には
、特別な配慮がなされる。このアルゴリズム３２０により、特定の標本で不足し
ているマーカーの位置が、１５セグメントの３次元人体モデルで実施されるフォ
ワードダイナミクスシミュレーションを使用して予測される。シミュレーション
により、被験者の関節の周りで生じた力のモーメントが再現され、これは次に筋
肉の活性化に依存することになる。マーカーが不足している場合、モデル階層の
高いレベルからトルクが計算され、不足のマーカー位置に適用される。

【０１０２】図７のフローチャートは図１と共にＤ−ＦＬＯＷの一実施例のプロセスを描写
したものである。ユーザー設定４００時に、ユーザー１０はプラットホーム６０
に上がり、光学マーカー２０または磁気マーカー３０、あるいはそれら二つの組
み合わせからなるカスタムのマーカーが装着される。マーカー２０、３０は、特
定のアプリケーションにカスタマイズされる。

【０１０３】光学式モーションキャプチャシステム４０および磁気式モーションキャプチャ
デバイス５０は、４１０がデータセットをキャプチャするよう連動する。３Ｄ位
置（Ｘ、Ｙ、Ｚ軸）および回転の情報をリアルタイムで登録したものがコンピュ
ータ７０に送信され処理される。

【０１０４】データセットは、テンプレート４２０に対して動的にマッチングが行われ、力
およびトルクのストリーミングデータ４３０は連続的に計測される。ストリーミ
ングデータ４３０は、Ｄ−ＦＬＯＷインターフェイスおよびランタイムミックス
４４０で分析され、ここで仮想環境アップデート４５０および物理環境アップデ
ート４６０が、計測されたデータのほか、オペレータまたはユーザーコマンドが
あればそれらによって、インタラクティブに制御される。

【０１０５】Ｄ−ＦＬＯＷインターフェイスにより作成された新しいデータセット４７０が
、ステレオディスプレイ４８０およびヘッドマウントディスプレイなどのその他
の仮想の表示手段のアップデートに使用される。プラットホームの位置および回
転の情報がアップデートされ、モーションプラットホーム４２０に送信される。
フィードバックループは、リアルタイムよりも速速度である１００Ｈｚで連続的
につながっており、ユーザーの動きにだけでなく、ユーザー／オペレータのラン
タイムコマンドにも応答し反応する。

【０１０６】図８には、全体的なシステムの相互接続を示している。ユーザー５００には、
マーカーおよびモーションキャプチャシステムが採用されており、光学式動作制
御データ４６０および磁気式動作制御データ４６５の対応するデータセットが生
成される。一般にユーザー５００は、医療上の用途またはシミュレーションに関
連した人間であるが、システムは、耐震構造の建物などの物体にも使用すること
ができる。データセット５１０、５２０は、Ｘ軸、Ｙ軸、Ｚ軸の位置および回転
のデータに関連した座標から構成され、リアルタイムよりも速い速度でデータ直
列化および最適化セクション５３０に転送される。

【０１０７】希望のシステム状態が発され、仮想環境５４０および反応する物理環境５５０
を可能になる。仮想環境５４０としては、ヘッドマウントディスプレイまたはス
テレオ投影があり、一方、物理環境５５０としては、Ｎ度のモーションプラット
ホームがある。これらすべての情報は、Ｄ−ＦＬＯＷカーネル６００を通して供
給され、ここで、ヒューマンサブミックス（human submix）５６０を使用してデ
ータが処理され、現実感のあるモーションのダイナミックなリアルタイムシステ
ムが生成される。Ｄ−ＦＬＯＷカーネル６００は、ユーザーデータおよびランタ
イムでの修正５７０があればそれとも相互に作用し、地面の位置または向き５８
０に物理的な変更を加えるとともに、仮想環境５９０に視覚的な変更を加える。
物理的なおよび仮想的な変更は、リアルタイムよりも高速なループを経由してユ
ーザーにフィードバックされる。

【０１０８】図９は、本発明の一実施例のハードウェア接続を描写したブロック線図である
。ハードウェアプラットホームは、Silicon Graphicsワークステーションおよび
Intergraphマルチプロセッサワークステーションをベースとしている。データキ
ャプチャは、８ＣＰＵOnyxおよびOCTANE dual ＣＰＵにより処理される。

【０１０９】マルチＣＰＵハードウェアプラットホーム（SGI Dual CPU OCTANE MXE）７０
０が処理、記憶、インターフェイス用のコンピュータ手段として使用されている
。専用ホストへのＥｔｈｅｒｎｅｔ、シリアル、ＳＣＳＩによる接続が使用され
ている標準的高速接続によって、様々な周辺機器および通信が達成されている。
専用ホストとしては、別個のパーソナルコンピュータ（ＰＣ）または周辺機器と
のインターフェイスとなる統合型のオンボードコンピュータが利用できる。

【０１１０】光学式モーションキャプチャシステム７１０には、６台のカメラ７２０があり
、光学式モーションキャプチャシステムのデータ取得ユニットにより、カメラ入
力が希望のデータセットに変換される。データセットは、光学マーカーセットか
ら獲得されたＯＭＣデータで、専用ホスト７５０にアクセス可能なもので、これ
により、ＣＰＵ７００との高速なデータ交換ができるようになる。データは必要
とされるどんなファイルフォーマットでも得られる。

【０１１１】主要な光学式キャプチャシステムはＰＲＩＭＡＳで、数多くのセットアップ用
にすぐに構成できる状態になっている。ＰＲＩＭＡＳでは、最高８０の光学マー
カーの３Ｄデータ座標の変換および表示が１００Ｈｚで可能で、これは、複数の
キャラクタの対話シーンの撮影には非常に有用である。ＰＲＩＭＡＳは、極端な
状態（スタジオやロケでの直接の照明、煙、日光など）でも正常に動作する。Ｐ
ＲＩＭＡＳカメラにはレンズ一式が備わっているためキャプチャ容量が広く、ま
た複数のシステムを並行して使用して複雑な構造に適用させることもできる。シ
ステムは、外部から始動させることができ、撮影カメラやその他のデバイスとの
同調が簡単になる。校正にかかる時間は短く、後処理はＫＡＹＤＡＲＡのＦｉ
ＬＭＢＯＸ光学式モジュールの横にあるカスタムのＳＯＦＴＩＭＡＧＥを使用し
て行われる。

【０１１２】磁気式キャプチャユニット７３０には、様々な磁力センサー７４０から収集さ
れたデータを変換する磁気式キャプチャデータ取得ユニットが収容されている。
データセットは、ＣＰＵ７００に相互接続されている専用ホスト７６０にアクセ
ス可能である。本実施例の磁気式キャプチャプラットホームは、ＰＯＬＨＥＭＵ
ＳのＵＬＴＲＡ−ＴＲＡＫである。

【０１１３】モーションプラットホーム７７０は、データおよび制御情報の転送用に、ＣＰ
Ｕ７００に接続されている専用ホスト７８０に相互接続されている。望ましい実
施例のプラットホームの自由度は６（６ＤＯＦ）であり、そのすべての自由度は
システムにより制御可能である。

【０１１４】ステレオ投影７９０は、独立して、またはプラットホームと共に使用でき、ユ
ーザー向けの仮想環境を創り出すことができる。ＣＰＵ７００およびステレオ投
影７９０間の連続したビデオ接続により、システムで仮想シナリオを実行できる
ようになっている。ユーザーは、ヘッドマウントディスプレイおよびワイドスク
リーンステレオ投影などの様々な仮想環境ツールの中から選択できる。ヘッドマ
ウントディスプレイでは、より広い周辺の仮想環境が提供されているため、ユー
ザーをさらに集中させる。

【０１１５】望ましい環境でオペレータ用モニター８００およびユーザー用モニター８１０
により提供されているインターフェイスおよび制御手段がある。ＣＰＵ７００は
、モニタに直接接続されており、実行可能なコードにランタイムによる変更が可
能で、プラットホームまたは仮想環境内の状態を変化させることができる。

【０１１６】音声スピーカー８２０は、ＣＰＵ７００に接続されており、ユーザーとの各種
音声インターフェイスをとることができる。音声を使用して性能やシミュレーシ
ョンを表示することができる。正弦波生成器を使用して校正のピッチが得らるよ
うにしたり、システムで仮想の壁の境界を示すノイズを発生させたり、環境的な
刺激を導入することができる。

【０１１７】ＣＰＵ７００に実現・接続することのできる数多くのオプション周辺装置８４
０があり、それらを用いればデータの操作や実演が可能となる。また、オプショ
ンのアプリケーション８３０があり、相互接続してアイトラッキングや心電図（
ＥＣＧ）などの機能を実行することができる。

【０１１８】運転時には、人物はＮ度の動作ベース上に配置される。動作ベースとしては、
電気式、油圧式、あるいはその組み合わせのシステムが使用できる。動作ベース
の唯一の必要条件は、高いレートでコマンドに応答することである。人物には光
学式、磁気式、あるいはその二つの組み合わせのマーカーが装着され、動きの追
跡やモニタに使用される。人物の全身の位置および回転のデータが高速コンピュ
ータに２５フレーム／秒（ＦＰＳ）を超える速度で転送される。人物の動作によ
り生成されたデータは高速な処理ユニットに送信された後、混合され、一部が動
作ベースに再送信される。これらのプロセスは２５ＦＰＳを超える速度で実行さ
れる。システムは平衡感覚の相殺が蓄積された人物に対して、修正または増幅（
正または負のベクトルの修正）のどちらかにより応答する。Ｎ−自由度（Ｎ−Ｄ
ＯＦ）の動作ベースの応答は、アプリケーションに依存しランタイムのカーネル
ユーザーインターフェイスの使用により、ユーザーによる完全な構成が可能であ
る。

【０１１９】本発明の中核には、人物の動作により生成されたデータがシミュレーションに
影響を与えるときに創り出されるフィードバックループがある。人物のモーショ
ンの空間的な挙動の完全なデータセットがリアルタイムで登録され、感知された
最適な挙動と比較される。シミュレーション条件は人物の活動に依存する。イン
ストラクタは所定のシミュレーションシナリオに対する応答時間についての情報
だけでなく、その応答にそれだけの時間がかかる理由についての情報も得られる
。これにより、人間工学的空間デザインについての直接的なアプリケーションが
生み出される。

【０１２０】Ｄ−ＦＬＯＷという名称の高速なフィードバックアルゴリズムにより、入って
くるデータがリアルタイムの標準である２５Ｈｚよりも速い速度で処理される。
入ってくるデータは、人物の全身または一部からのモーションキャプチャデータ
の形式である。動作データは、光学式および磁気式の主に２種類のマーカーを使
用することにより得られる。標準的なアプリケーションでは、２５個の光学マー
カーおよび１１個の磁気マーカーがあり、希望の目的に応じて異なるが冗長性を
もたせるために６０個のマーカーを使用することができる。例によっては、一部
の身体データのみが関心のある領域となる場合もある。

【０１２１】たとえば、パーキンソン病では、その目的は、患者の手を特に評価することで
あることもある。その場合には、手に関連した様々な位置にマーカーが配置され
、モーションキャプチャデータが記録されることになる。パーキンソン病は、電
子回路内のフィードバックループになぞらえられてきた。通常、脳と身体の調整
は人がコップに手を伸ばすときに脳が様々な入力を処理し、手がコップを確実に
つかめるように連携してなされる。パーキンソン病では、入力のフィードバック
は正常には処理されず、脳と手が同調していないので手が震える。手は補正の過
度および不足状態が引き続き繰り返され、その結果震えることになる。

【０１２２】運転時には、人物には、マーカーが装着される。モーションキャプチャデータ
がシステムにより記録される。モーションキャプチャプラットホームの製造業者
はいくつかあり、本発明は、どれか個別の製造会社やモデルに特に適用されると
いうものではない。システムにより、使用されているモーションキャプチャシス
テムに関係なくデータがキャプチャされ処理される。データはデータであり、ま
たデータはコンピュータシステムに入り、入ってくる時点―ストリームタイム―
でデータは操作される。オペレータの選択、目的、制御などにも依るが、データ
の各部分は、モーションプラットホームを制御する制御ループセクションに直接
接続される。プラットホームを制御する様々な方法は、キャプチャされたデータ
の働きである。誰かが前方に移動すれば、プラットホームをリアルタイムよりも
高速に移動させ、その動きに対する補正をすることができる。インターフェイス
は汎用で、ソフトウェアモジュールは互いに接続され、各種入力は各種出力に対
応している。

【０１２３】データの一部はヒューマンサブミックスを通して送信される。このサブミック
スには制限がなく、人体からの約４０の自由度のデータが受信される。システム
ではこれらの４０の自由度は、プラットホーム、ステレオ投影、または患者を集
中させる仮想環境の６ＤＯＦの任意の組み合わせのどのような出力に対しても、
割り当て／リンク可能である。

【０１２４】Ｄ−ＦＬＯＷにより、ミキシング、操作、機能の割り当てなどの時、あるいは
データの周波数や時間を変更するなどの表出や変調の際に、ストリームタイムで
のデータの出入りが可能となる。処理の出力または最終結果としては、プラット
ホーム、ステレオ投影、患者を集中させる仮想環境、あるいは同様なテクノロジ
デバイスが使用できる。出力テクノロジは柔軟であり、データは新しい任意のテ
クノロジによって使用することができる。プログラマーの視点で見れば、Ｄ−Ｆ
ＬＯＷにより、ユーザーが実行可能ファイルをランタイムで修正することができ
る。通常はこれができないもので、たとえば、実行可能なワードプロセッシング
プログラムであるMicrosoft Wordは、ソフトウェアの実行可能部分へのランタイ
ムでの変更が許可されない。Ｄ−ＦＬＯＷはモジュールを次々に接続したもので
あるため、どのモジュールでも接続や接続の解除が可能で、どのモジュールの機
能でも、実行中に編集や変更が可能である。

【０１２５】Ｄ−ＦＬＯＷでは、様々な入力および出力がリアルタイムよりも速い速度で処
理され、ヒューマンサブミックス―プログラムの実行中にパラメータを変更する
ことが可能となるＤ−ＦＬＯＷコードは、ラグランジュの方程式が元になってお
り、システムはダイナミックであり、リアルタイムで実行されているものを評価
するために、リアルタイムよりも数倍速く運転される必要がある。

【０１２６】ヒューマンサブミックスは例を用いてさらに説明することができる。船の環境
では、ユーザーは、環境とのインタラクションができ、船を表すプラットホーム
を修正することができる。ある状況では、６度のうちの５度で波を船をプログラ
ムすることができ、６番目の自由度は横揺れである。オペレータは、波の規模を
加減することができ、または船の規模を加減することができる。人物が移動する
と、実際の船とちょうど同じように船は人物の動作と相互作用し、それに応答す
る。横揺れの量は、船の規模と人によって発生した力のほか、適用されるその他
のパラメータなどにも依存する。これは、単に応答してプログラムを設定し、い
くらかのプログラム制御が可能ではあるが、リアルタイムでのフィードバックの
ないような普通の動作シミュレータとは異なる。人物に与えることのできる自由
のチャンネル数は異なり、人物はその自由度の一部またはすべてを制御すること
ができる。

【０１２７】釣り合いに関連した別の例として、人をプラットホーム上に完全に静止して立
たせるものがある。現実には、静止直立している平均的な人は、実際のところ１
〜２ｍｍ移動しており、身体が内部のフィードバックループを使用して相対的に
静止した位置を維持する際に連続的に移動する。パーキンソン病の患者は、４〜
５ｍｍの揺れがある場合がある。Ｄ−ＦＬＯＷソフトウェアにより、ユーザーの
モーションを４〜５倍に増幅することができ、曲線を記録することができる。こ
れによって、モーションの分析および比較が簡単に実施できるようになる。この
動作は、指で棒のバランスをとろうとすることで類推することができる。このと
き、連続的に行動/反応して変更し補正して、棒がまっすぐに立つようにする。
フィードバックメカニズムの一環として、記録可能な連続パターンがある。棒の
バランスをとるときの動作の曲率は、人が静止直立をしようとするときの曲率と
全く同じである。

【０１２８】２〜３個のセンサーを人物の肩に配置することで、プラットホームを使用して
、身体のフィードバックメカニズムよりも速い速度で応答し、センサーを０，０
，０位置に保つように移動を続けるようにすることができる。モーションキャプ
チャシステムに人物が前方向にわずかに傾いたというデータが入力された場合に
は、プラットホームは、人物よりも速く応答し、前方向の自由度を上げてその人
物を同じ０，０，０位置に保つようにする。

【０１２９】フォワードダイナミクスシミュレーションは、インバースダイナミクスシミュ
レーション中にいつでも実施できる。その過程では、インバースダイナミクスシ
ミュレーションへの入力としての動きの流れは停止し、計算された関節の動きが
新たに入力として使用され、一方、動きが出力となる。こうしてフォワードシミ
ュレーションでは、被験者の関節の周りで創りだされた力のモーメントから、動
きおよび反応力が計算される。

【０１３０】ダイナミックなシミュレーションの中核は、多数からなるラグランジュの数式
の集合から構成されている。これらはモーションの数式と呼ばれ、これには身体
にかかる一般化された力と一般化された動きの関係が含まれている。ここでの「
一般化された」というのは、外界の力という見地からというよりはむしろ、人体
の動きの可能性（つまり自由度）に従って公式化されたという意味である。これ
は、一般化された力のほとんどは、実際には力のモーメント（またはトルク）で
あることを暗示している。床との接触など環境とのインタラクションの種類を記
述した方程式を追加することができる。数式は、フォワードシミュレーションで
同時進行的に解いたり、インバースシミュレーションで代数学的に解いたり、ま
たは再整理してインバースおよびフォワードシミュレーションの組み合わせで解
くことができる。

【０１３１】ここから、重心の位置が計算され、脚の位置とともに使用して、仮想環境で必
要とされる場合に、プラットホームの動作を駆動することができる。人体モデル
により、被験者の関節の力のモーメントが生成され、これを保存されたライブラ
リの関節のモーメントの共通パターンに対して評価することができる。必要に応
じて、この情報を投影画像で得て、被験者によって使用できるようにすることが
できる。動きやバランスの機能性に問題が発生した時には、フォワードダイナミ
クスシミュレーションを始動させて、運動性パターンのどこに弱い部分があるか
を示すことができる。これらのモデルにより、システムの拡張が簡単となり高性
能が得られる。

【０１３２】 CARENシステムは、電磁気式トラッキングデバイス付きの光学式モーションキ
ャプチャシステム、マルチＣＰＵハードウェアプラットホーム（SGI Dual CPU O
CTANE MXE)、６ＤＯＦのモーションプラットホーム、およびデュアルヘッドのオ
プションやビデオＩ／Ｏなどのハードウェア要素を組み合わせたものである。様
々なシナリオをサポートし、システムの新しい機能を短期間に開発し実現できる
ようにするために、データフローモデルがシステムの中核に選ばれる。データフ
ローシステムは、そのモジュールにより特徴付けられ、よく定義された機能性を
実現し、０個以上の入出力ポートおよび各種モジュール間の接続を通してデータ
を受信および/または送信し、方向性をもった非周期性グラフを形成する。

【０１３３】Ｄ−ＦＬＯＷの主なタスクは様々な入力デバイスから入ってくる入力データを
処理し、収集されたデータを上記の人体モデルにマップし、様々な入力データお
よび計算されたデータ（あるいはそのどちらか）をそれぞれ異なったケースに応
じて処理することである。その他のタスクには、人間のモデルおよび環境のリア
ルタイムグラフィックアニメーションの表示や、モーションプラットホーム自体
の駆動がある。

【０１３４】ソフトウェアは、リアルタイムな用途で性能が実証済みで、システムの並列オ
ペレーションに対して低レベルの制御のあるソフトウェアプラットホームである SGI Performer 2.2を用いてＣおよびＣ＋＋で記述される。Ｄ−ＦＬＯＷには、
数個のモジュールがあり、様々なモジュール構造および相互接続されたモジュー
ルにより、ソフトウェアプロセスを実行でき、ランタイムの接続、システムへの
編集、接続の解除の実行ができる。

【０１３５】 SoftLoadモジュールにより、キャラクタおよび環境のジオメトリ、Ｉ／Ｏチャ
ンネル接続、キャラクタのＩＫスケルトン、照明のセットアップやテクスチャー
などが収録されているSoftimage3Dからシーンがインポートされる。Camoモジュ
ールにより、データフローがオンラインヒューマンサブミックスを通して各種出
力に調整される。SGIベースのパフォーマディスプレー表示環境であるPerflyに
より、ランタイムでの拡張デバックおよび最適化ができるようになる。システム
は、一台のコンピュータに制約されることはなく、異種のコンピューティング環
境を接続するための標準的なアーキテクチャであるCORBAを使用することで、COR
BAに対応するものであればどんなコンピュータ言語またはシステムにでもモジュ
ールを実現することができる。

【０１３６】オペレータ向けのユーザーインターフェイスは、CORBAインターフェイスを通
じてＤ−ＦＬＯＷとの通信をする手段として、JavaでJava-Beansを使用して実現
されている。オペレーションの例として、シミュレートする仮想環境のタイプを
決定した後で、環境の視覚的な部分を、３Ｄシャッターガラスを装着した被験者
の前のスクリーンに３Ｄで投影するものがある。ユーザーは、仮想環境の一部と
して、または被験者の動きに対する反応として制御できるプラットホームまたは
トレッドミルの上に立つ。ユーザーは、光学式および磁気式なマーカー（あるい
はそのどちらか）を装着し、それにより位置および向きが記録される。それらが
人体モデルの自由度に変換されるアルゴリズムに供給されるが、この人体モデル
は被験者の細分された質量および慣性で満たされている。

【０１３７】ここから、重心の位置が計算され、脚の位置とともに使用して、仮想環境で必
要とされる場合に、プラットホームの動作を駆動することができる。人体モデル
により、被験者の関節の力のモーメントが生成され、これを保存されたライブラ
リの関節のモーメントの共通パターンに対して評価することができる。必要に応
じて、この情報を投影画像で得て、被験者によって使用できるようにすることが
できる。動きやバランスの機能性に問題が発生した時には、フォワードダイナミ
クスシミュレーションを始動させて、運動性パターンのどこに弱い部分があるか
を示すことができる。これらのモデルにより、システムの拡張が簡単となり高性
能が得られる。

【０１３８】本発明の上述の望ましい実施例についての説明は、描写および記述の目的で提
示したものである。全て網羅したり、本発明を開示したそのとおりの形に制限す
ることは意図していない。上記の説明内容の見方をすれば、数多くの改造や変形
が可能である。本発明の範囲は、この詳細な説明でななく、本発明に添付の請求
の範囲によって制限されるものとする。

【図面の簡単な説明】

【図１】モーションプラットホーム、モーションキャプチャシステム、コンピュータ間
の基本的な相互関係を示している。

【図２】釣り合いへの適用を図示したものである。

【図３】瞬間的なシミュレーション記録への適用を図示している。

【図４】逆方向の力への適用を図示している。

【図５】仮想のクローンへの適用を図示している。

【図６】Ｄ−ＦＬＯＷアーキテクチャのブロック線図である。

【図７】相互関係のある要素を示した適用のフローチャートである。

【図８】相互関係のある要素を示したフローチャートである。

【図９】一実施例のハードウェアコンポーネントを描写したものである。

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号６０／１１６，５０６ (32)優先日平成11年１月20日(1999．1．20) (33)優先権主張国米国（ＵＳ） (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ )，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷＦターム(参考） 5B050 AA02 AA06 BA07 BA08 BA09 BA12 EA07 FA02 5B069 AA01 BA03 BB16 DD15 DD16 DD17 JA10

Claims

【特許請求の範囲】

【請求項１】処理手段、多数のモーションセンサーからのモーションキャプチャデータをリアルタイム
よりも高速に処理される前記処理手段に接続されたモーションキャプチャシステ
ム、モーションプラットホームデータがリアルタイムよりも高速に処理される前記
処理手段に接続されたモーションプラットホームシステム、モーション処理システムへのランタイム制御入力のあるインターフェイス手段
とを備えるモーション処理システム。
【請求項２】請求項１に記載のモーション処理システムにおいて、前記の
多数のモーションセンサーが光学式であるモーション処理システム。
【請求項３】請求項１に記載のモーション処理システムにおいて、前記の
多数のモーションセンサーが磁気式であるモーション処理システム。
【請求項４】請求項１に記載のモーション処理システムにおいて、前記の
多数のモーションセンサーが光学式および磁気式であるモーション処理システム
。
【請求項５】請求項１に記載のモーション処理システムはさらに、前記処
理手段に接続されていると共に、仮想環境をユーザー向けに表示するディスプレ
イ手段を備えるモーション処理システム。
【請求項６】請求項１に記載のモーション処理システムはさらに、前記モ
ーションキャプチャデータおよび前記モーションプラットホームデータの記録用
の記憶手段を備えるモーション処理システム。
【請求項７】多数のマーカーをユーザーに装着するステップ、そのユーザーをモーションプラットホーム上に配置するステップ、前記多数のマーカーからのモーションキャプチャデータセットを受信するス
テップ、前記モーションプラットホームからのモーションプラットホームデータセット
を受信するステップ、制御信号をランタイムで入力するステップ、前記制御信号、前記モーションキャプチャデータセット、前記モーションプラットホームデータセットをリアルタイムより速い形式で、
ホストコンピュータシステムにて処理するステップ、新しいデータセットを前記モーションキャプチャシステムおよび前記モーシ
ョンプラットホームシステムに出力するステップとを備える仮想環境および物理
環境プロセス。
【請求項８】請求項７に記載の仮想環境および物理環境プロセスはさらに
、前記ユーザー向けに仮想現実環境を表示するステップを備える仮想環境および
物理環境プロセス。
【請求項９】請求項７に記載の仮想環境および物理環境プロセスにおいて
、前記の制御信号をランタイムで入力するステップが前記ユーザーにより実施さ
れる仮想環境および物理環境プロセス。
【請求項１０】請求項７に記載の仮想環境および物理環境プロセスにおい
て、前記の制御信号をランタイムで入力するステップがオペレータにより実施さ
れる仮想環境および物理環境プロセス。
【請求項１１】多数のモーションセンサーを装着し、モーションプラット
ホーム上に配置されたユーザー、処理手段、前記モーションセンサーからのモーションキャプチャデータがリアルタイムよ
りも高速に処理される前記処理手段に接続されたモーションキャプチャシステム
、モーションプラットホームデータがリアルタイムよりも高速に処理され、制御
コマンドが前記モーションプラットホームに出力される前記処理手段に接続され
たモーションプラットホームシステム、ランタイム制御入力のある前記処理手段へのインターフェイス手段、前記モーションプラットホームデータおよび前記モーションキャプチャデータ
の記録用の記憶手段とを備えるシミュレーション記録システム。
【請求項１２】請求項１１に記載のシミュレーション記録システムにおい
て、前記ユーザーがランタイム制御入力を操作するシミュレーション記録システ
ム。
【請求項１３】請求項１１に記載のシミュレーション記録システムはさら
に、前記記憶手段からの前記記録されたモーションプラットホームデータおよび
前記モーションキャプチャデータを再生するための手段を備えるシミュレーショ
ン記録システム。
【請求項１４】請求項１１に記載のシミュレーション記録システムはさら
に、仮想現実環境を前記記録されたモーションプラットホームデータおよび前記
モーションキャプチャデータと連続して記録するための手段を備えるシミュレー
ション記録システム。
【請求項１５】記憶手段、ユーザーが前記プラットホーム上に配置されるモーションプラットホームシス
テム、モーションを検出するために前記ユーザーに多数のマーカーが装着されるモー
ションキャプチャシステム、前記モーションプラットホームシステムおよび前記モーションキャプチャシス
テムに接続された処理手段でモーションプラットホームデータおよびモーション
キャプチャデータが前記処理手段によりリアルタイムよりも高速に処理され、新
しい制御データが前記モーションプラットホームシステムに出力されるもの、前
記モーションキャプチャデータおよび前記モーションプラットホームデータを前
記記憶手段に記録する手段、ランタイム制御入力のある前記システムへのインターフェイス手段を備える機
能面での人間の行動をダイナミックに登録・評価・修正するためのシステム。
【請求項１６】請求項１５に記載の機能面での人間の行動をダイナミック
に登録・評価・修正するためのシステムはさらに、前記モーションプラットホー
ムデータおよび前記モーションキャプチャデータを記録する手段を備える機能面
での人間の行動をダイナミックに登録・評価・修正するためのシステム。
【請求項１７】請求項１５に記載の機能面での人間の行動をダイナミック
に登録・評価・修正するためのシステムはさらに、前記記憶手段からの前記モー
ションキャプチャデータおよび前記モーションプラットホームデータを再生する
手段を備える機能面での人間の行動をダイナミックに登録・評価・修正するため
のシステム。
【請求項１８】請求項１７に記載の機能面での人間の行動をダイナミック
に登録・評価・修正するためのシステムにおいて、前記記憶手段には、以前に記
録されたデータのライブラリが含まれている機能面での人間の行動をダイナミッ
クに登録・評価・修正するためのシステム。
【請求項１９】請求項１７に記載の機能面での人間の行動をダイナミック
に登録・評価・修正するためのシステムにおいて、前記記憶手段からの前記モー
ションプラットホームデータの前記再生により、外的な力が前記ユーザーにかか
る機能面での人間の行動をダイナミックに登録・評価・修正するためのシステム
。
【請求項２０】請求項１５に記載の機能面での人間の行動をダイナミック
に登録・評価・修正するためのシステムはさらに、ユーザー向けに仮想現実環境
を表示する手段を備える機能面での人間の行動をダイナミックに登録・評価・修
正するためのシステム。