JP2016505928A - オブジェクトの運動を再現するための装置、方法及びコンピュータプログラム - Google Patents

Abstract

本発明の実施形態は、オブジェクト（３０２）の運動を当該オブジェクトのコンピュータモデルの一連の運動パターンセグメントから再現するコンセプトであって、それぞれの運動パターンセグメントは当該運動の異なった時間間隔に対応し、オブジェクト（３０２）はポジションマーカー（３０４）と接続された少なくとも一つの測定点を有するものに関する。ポジションマーカー（３０４）から受信した少なくとも一つの測定点のポジションデータに基づいて、運動の一つの時間間隔におけるオブジェクト（３０２）の初期運動状態と終期運動状態との間の運動遷移が把握される。さらに、運動遷移に対応する少なくとも一つの運動パターンセグメントが、データバンク（２０５）に格納されたコンピュータモデルの複数の運動パターンのうちから、セレクトされた当該運動パターンセグメントが、十分な確率で、初期運動状態から出発して時間間隔の終期運動状態に至るようにしてセレクトされる。さらに、初期運動状態とセレクトされた運動パターンセグメントとを使用して、時間間隔に関するオブジェクトの当該運動のイメージが再現される。

Description

本発明の実施形態は、オブジェクトの運動を、当該オブジェクトのコンピュータモデルのあらかじめ作製ないし記憶された運動シーケンスを用いて再現するための装置、方法及びコンピュータプログラムに関する。

数多くのアプリケーションに際して、例えばスポーツ中継時の状況分析及び／又は運動分析のために、高信頼度の運動再現の可能性を供し得ることが望ましいと思われる。例えばほんの僅かの種目を挙げただけでも、サッカー、ハンドボール、アメリカンフットボール、バスケットボール、野球、ボクシングなど数多くのスポーツ種目において、プレーヤー及び／又は競技用具（例えばボール）の特定の運動状況をリアルタイム又はその後（ポストプロダクション）分析する必要性が存在する。

上記のために、目下のところ主として光学的な、つまり、問題となる運動状況を、例えば反復及びスローモーション停止によって新たに再現し分析することのできるカメラシステムに基づいたシステムが使用されている。ただし、この種のシステムは、実際には、決まってその限界に直面することとなる。というのも、それはたとえスローモーション撮影といえども疑義ある競技状況及び／又は疑義ある運動シーケンスに関して十分な訴求力をもたらし得ないことがたびたびあるからである。少なからぬ状況において、オブジェクトの運動及び／ポジションを特定の視角、例えば当該プレー状況を捕らえたカメラの視角、から明確に認識することは、例えば決定的な身体部位及び／又は競技用具へ向けられた視野がその他のオブジェクトによって隠蔽されてしまうことがあるために、困難である。

プロスポーツの競技会とその結果は、ほとんどの場合に、高い金銭的価値及び／又は経済的価値と結び付いているために、とりわけ、競技会の結果にドラスティックな影響をもたらす可能性のあるような判定ミスは回避されなければならないであろう。この点に関する重大な例は、サッカーの場合のペナルティーキックの判定、オフサイドの判定又はゴールの判定である。その他のスポーツ種目にあっても、光学システムをベースとしては十分正確な判定を下すことのできない同じように重大なケースが存在する。

本発明の目的は、場合により競技上決定的な判定を従来よりも確実に行い及び／又は運動シーケンスに関する従来よりも的確ないし従来よりも多面的な証言を行うことができるようにすべく、従来の技術に比較して、いっそう改善された運動状況評価ないし運動状況分析の可能性を提供することである。

上記課題は、独立請求項の特徴を有する装置、方法及びコンピュータプログラムによって達成される。

さらにその他の有利な実施態様及び発展形態は従属請求項の対象である。

本発明の実施形態は、基本思想に基づき、その後に把握されたリアルなオブジェクト例えば生物のリアルな運動シーケンスないし運動パターンセグメントとコンピュータ処理されて比較される、あらかじめ記憶されたコンピュータモデルの運動シーケンスないし運動パターンセグメントを格納した少なくとも一データバンクを利用する。記憶されたこれらの運動シーケンスのうちに、適切なアルゴリズムによって、リアルな運動に適合したオブジェクトのコンピュータモデルの運動パターンが見いだされると、オブジェクトのリアルな運動は、見いだされたコンピュータモデルの運動パターンを基礎としてバーチャルに再現可能である。したがって、オブジェクト例えば人又は動物によって実際に行われた運動のこの種のバーチャルな運動再現によって、従来のシステムによって可能であるよりも遥かにフレキシブルな観察若しくは分析可能性を供する一種のバーチャルリアリティーをつくり出すことができる。

本発明の第一の態様により、オブジェクトのリアルな運動をオブジェクトのコンピュータモデルの一連の運動パターンセグメントから再現する方法が提案される。その際、それぞれの運動パターンセグメントは当該運動の異なった時間間隔ないし時間区間に対応している。さらに、オブジェクト例えば生物、特に、人間は、運動把握のためにセンサないしポジションマーカーと接続されたあるいはそれらを備えた少なくとも一つの測定点を有している。本方法は、一連の実施形態において、以下のステップ、つまり、
ａ）上記のセンサ／ポジションマーカーから受信した上記の少なくとも一つの測定点のポジションデータに基づいて、リアルな運動の一つの時間間隔における上記オブジェクトの初期運動状態と終期運動状態との間のリアルな運動遷移を把握するステップと、
ｂ）上記のリアルな運動遷移に対応する少なくとも一つのデジタル運動パターンセグメントを、データバンクに格納されたコンピュータモデルの複数の運動パターンのうちから、セレクトされた上記の運動パターンセグメントが、十分な（特に最も高い）確率で、上記時間間隔に関する上記の初期運動状態から出発して上記の終期運動状態に至るようにしてセレクトするステップと、
ｃ）上記の初期運動状態と上記のセレクトされた運動パターンセグメントとを使用して、上記時間間隔に関する上記オブジェクトの上記のリアルな運動のバーチャルイメージを再現するステップと、
を含んでいる。

十分な確率とは、以下において、場合により周囲条件又は伝送条件に合わせることのできる所定の確率閾値を超える確率として理解されることとする。少なからぬ実施形態において、上記のリアルな運動遷移に対応する上記の少なくとも一つの運動パターンセグメントのセレクトに際し、異なった確率を有する一つ又は複数のポテンシャルな運動パターンセグメントが生ずる。このようにして、少なからぬ実施形態において、これらのポテンシャルな運動パターンセグメントのうち、上記の最も高い確率で、観察された上記の時間間隔に関する上記の初期運動状態から出発して上記の終期運動状態に至るそれをセレクトすることができる。上記コンピュータモデルの終期的な数の可能な運動状態と運動遷移において、常に、他のそれと比較して、上記の最も高い確率で、観察された上記の時間間隔に関する上記の初期運動状態から出発して上記の終期運動状態に至る少なくとも一つの運動パターンセグメントが存在するであろう。

本方法は、いくつかの実施形態において、相応したプログラムド・ハードウェアコンポーネント例えばプロセッサ又は集積回路により、本方法を実現するコンピュータプログラムが同所で実行されるかないし同所を走行させられる場合に実行可能な、反復的な、好ましくはコンピュータ実装された方法であってよい。したがって、上に挙げた方法ステップａ）からｃ）は、上記の運動を再現する反復的な方法のアクチャルな反復を形成してよい。その際、このアクチャルな反復のために、上記の初期運動状態はこの反復的な方法の先行する反復中に再現ないし算定されていてよいために、上記の運動の上記の再現されたイメージは、総じて、セレクトされた連続する時間間隔／反復に対応する複数の運動パターンセグメントから合成可能である。その際、上記のセレクトに際し、上記のオブジェクトの把握ないし検知されたリアルな運動遷移を上記のコンピュータモデルの上記の格納された運動パターンと反復的に比較することができるため、上記オブジェクトの少なくとも一つの過去の運動状態と、上記オブジェクトの時間的に連続した少なくとも二つの不連続な運動状態間の一つの可能な運動遷移に対応するアクチャルな遷移確率とに基づいて、上記オブジェクトのアクチャルな運動状態に関する仮定が求められる。その際、上記オブジェクトの一つのアクチャルな運動状態と上記の少なくとも一つの過去の運動状態とはマルコフモデルのシーケンスを形成することができ、つまり、上記のさまざまな運動状態及び運動状態遷移は、少なからぬ実施形態において、不連続なマルコフモデルによってモデル化することができる。この種の実施形態において、上記の少なくとも一つの運動パターンセグメントのセレクトにより、所定のマルコフモデルと把握された（場合によりノイズの混じった）運動遷移シーケンスとにおいて、最もありそうな運動状態シーケンスを求めて、上記オブジェクトの上記のリアルな運動を再現することが可能である。

本方法を実行するために相応してプログラム化ないしアレンジされたハードウェアは、本発明のさらに別の態様において、オブジェクトのリアルな運動を上記オブジェクトのコンピュータモデルの一連の運動パターンセグメントから再現する装置と見なすことができ、その際、それぞれの運動パターンセグメントは当該運動の異なった時間間隔に対応し、上記オブジェクトはセンサ／ポジションマーカーと接続されたあるいはそれらを備えた少なくとも一つの測定点を有している。その際、この装置は、上記のポジションマーカーから受信した上記の少なくとも一つの測定点のポジションデータに基づいて、当該運動の一つの時間間隔における上記オブジェクトの初期運動状態と終期運動状態との間の（リアルな）運動遷移を把握ないし検知するユニットを含んでいる。さらに、この装置は、データバンクに格納された上記のコンピュータモデルの複数の運動パターンのうちから、上記の運動遷移に対応する少なくとも一つの運動パターンセグメントをセレクトするユニットを含み、その際、こうしてセレクトされた当該運動パターンセグメントは、十分な確率で、当該初期運動状態から出発して当該時間間隔の当該終期運動状態に至る。加えてさらに、上記の初期運動状態とセレクトされた上記の運動パターンセグメントとを使用して、当該時間間隔に関する上記オブジェクトの上記の運動のイメージを再現するユニットが設けられている。これらの個々のユニットは、一連の実施形態において、上記の装置のそれぞれエレクトロニクス回路部品として理解されてよい。

その運動が再現されるべきオブジェクトとは、特に、個々の分節が関節状部分によって分離されて互いに可動する多分節オブジェクトであってよい。したがって、この種のオブジェクトのうちには、例えば人間、動物さらにまた機械構造物も包摂されることができる。また、スポーツ用具例えばボール又はラケット、バット等も考えられる。個々のオブジェクト部分のポジションデータを求めることができるようにすべく、当該オブジェクトないし個々のオブジェクト部分、したがって、例えば関節及び／又は四肢の測定点にはそれぞれセンサが備えられる。その際、当該センサは、少なからぬ実施形態において、センサないし無線マーカーの地理的位置ないし座標（例えばｘ、ｙ、ｚ座標）をリアルタイムで求めることのできる、無線ベースの、リアルタイム位置特定システム（ＲＴＬＳ＝Ｒｅａｌ−Ｔｉｍｅ Ｌｏｃａｔｉｎｇ Ｓｙｓｔｅｍ）のセンサないしポジションマーカーであってよい。したがって、少なからぬ実施形態において、上記のリアルな運動遷移を把握するためのユニットは、上記オブジェクトの上記のリアルな運動ないしリアルな運動遷移をリアルタイムで把握するのに適合化されていてよい。この場合、“リアルタイム”なる表現により、一つの結果例えば供給ないし計算される座標が所定の定まった時間間隔内に算定されることが保証されていること、したがって、所定のタイムリミット前に得られていることという要件が意味されている。したがって、リアルタイムシステムは、正しい値による測定結果又は計算結果をもたらすだけでなく、それを適時に、例えば一秒の何分の一かの時間内にもたらす必要があろう。

したがって、一連の実施形態において、センサないしポジションマーカーは、上記のオブジェクトの位置特定されるべき測定点に取り付けられて、上記の運動遷移を把握するためのユニットの受信機に不断に又は定期的に位置特定用無線信号を送信するアクティブな送信機を有していてよい。このポジションマーカーは、任意の数のその他のセンサ機構例えば加速度センサ、コンパス、方向センサ、ジャイロスコープ、気圧計等を含んでいてよい。受信機は、例えば角度・走時測定をベースとして、送信機の位置計算に必要な遠隔測定データ、例えば座標、速度データ、加速度データ等を把握することができる。その際、基本的にほぼ任意の無線周波数例えばＩＳＭバンド（ＩＳＭ＝Ｉｎｄｕｓｔｒｉａｌ，Ｓｃｉｅｎｔｉｆｉｃ ａｎｄ Ｍｅｄｉｃａｌ）の使用が可能である。一実施形態において、搬送周波数は、例えば２．４ＧＨｚであってよい。連続する遠隔測定データサンプル間の時間間隔は、把握されるべき上記の運動の速度及び／又は精度に合わせることが可能である。したがって、例えば送信遠隔測定データの更新レートは若干Ｈｚから数ｋＨｚまで思量可能である。

視覚システムに比較した無線ベースの位置特定システムの利点は、特に、運動状況又は競技状況に視覚的シャドーイングがいっさい生じないという点にある。無線で送信ないし確定されたポジションデータにより、上記オブジェクトの運動のいかなる視点からの再現も可能であるが、これは、冒頭に述べたように、光学信号の場合には必ずしも常にそうであるわけではない。運動再現後に、再現された当該運動をあらゆる視点からバーチャルに観察することも可能である。

上記のデータバンクないし電子記憶装置には、上記オブジェクトの可能なリアルな運動ないし運動セクションに対応し、上記コンピュータモデルの測定点の連続したポジションないし座標によって定義される、上記コンピュータモデルのあらかじめ作製された運動パターンないし運動パターンセグメントが格納されている。上記コンピュータモデルの上記の測定点は、基本的に、上記のリアルなオブジェクトの測定点に対応していてよい。その際、一つの運動パターンセグメントは、上記コンピュータモデルの一つの運動の少なくとも一つの単一画像（フレーム）を、ただし好ましくは、複数の単一画像（フレーム）を含んでいる。あらかじめ定義された上記の運動パターンないし運動パターンセグメントは、あらかじめないし最初に、例えば既知の運動把握方法（モーションキャプチャー）によって作製されてよく、その際、例えば人間の運動はコンピュータ内部に生成される３Ｄモデルに変換される。したがって、上記のデータバンクに格納されている上記の運動パターンは、上記オブジェクトの可能なリアルな運動に対応する、三次元コンピュータモデルのあらかじめ定義された三次元運動パターンであってよい。

上記の記録ないしモデル化された運動は、特に、後から上記の運動再現時に特に問題となる運動、例えばボクサーの特定の打撃コンビネーション又はサッカープレーヤーの特定の運動シーケンスであってよい。プリプロダクションの範囲内の最初の運動パターン作製に際し、センサないしマーカーは、爾後の運動再現のためと同一の測定点例えば関節又は一定の身体部位に取り付けられてよい。最初の運動パターン作製のため、非無線ベースの位置特定方法例えば光学的方法も使用可能である。光学的トラッキングに際しては、把握されるべき人物又は対象に付されたアクティブ（したがって、信号を発する）又はパッシブ・ポジションマーカーを追跡するカメラを使用することができる。個々のカメラ画像（フレーム）中のマーカー運動により、三角法によって、マーカーのポジションを３Ｄで計算することが可能である。さらに、画像処理中のパターン認識によって、マーカーレスの運動把握方法も可能である。デジタル化の後、プリプロダクション時に把握された運動生データを３Ｄコンピュータモデルにインポートし、同所でさらに加工することができる。当該データは、その際、バーチャルなスケルトン（一種の三次元スティックフィギュア）に変換される。このスケルトンは、また、記録された運動をデジタル運動パターンないし運動パターンセグメントとしてリセットするワイヤフレームと結合されていてよい。画像合成ないしレンダリングの後、観察者には、あたかも上記のバーチャルフィギュアないしコンピュータモデルが本来の人物又は本来の対象の運動を行っているように映じる。

こうしてあらかじめ記録されたデジタル運動パターンないし運動パターンセグメントは、このようにして、上記のデータバンクに、必要に応じ、フリーサイズに正規化されて格納されていてよい。その際、格納された一つの運動パターンセグメントは二つ以上の運動パターンに属することも可能である。つまり、一つのデジタル運動パターンは、上記のデジタル運動パターンの異なった時間間隔に対応する複数のデジタル運動パターンセグメントから合成可能であり、ただしその際、上記のマーカーの絶対位置及び／又は相対位置に基づき、特定の時間的シーケンスの運動パターンセグメントは解剖学的にありそうもないか又は不可能なことさえもある。したがって、時間的に連続した運動パターンセグメントのマーカーポジションは一定の相互相関限度を下回ってはならないであろう。異なった、複雑なデジタル運動パターンは、部分的に、異なったデジタル運動パターンに対応するリアルな運動の同じ若しくは非常に類似した運動セクションに対応する同じデジタル運動パターンセグメントを有することができる。

いくつかの実施形態において、上記の運動再現は、上記のデジタル運動データバンクをベースとして行うことができるだけでなく、上記のオブジェクトに関する、少なからぬ運動を禁止ないし許容する物理モデルを顧慮して行うことも可能である。この場合、一つの利点は、さまざまな運動パターン間のオブジェクト運動の補間を物理的に正しくモデル化し得ることである。したがって、例えば“走る”から“跳躍する”への遷移を物理的に正しく“クロスフェード”することが可能である。

上記のオブジェクトの二つの運動状態間の再現されるべきリアルな運動遷移は、異なった不連続なポジションデータに基づいて把握ないし算定することが可能である。その際、三次元空間における上記の位置特定システムから得られる上記のポジションデータは、上記の運動再現のための入力データを表している。これらのデータは、送信機（タグ）がどこに取り付けられていたかないし取り付けられているかに応じ、オブジェクトのさまざまなポジションに由来している。その際、少なくとも一つのポジションマーカーから導出された第一の不連続なポジションデータサンプルは第一の運動状態（例えば初期運動状態）を表し、第二の、それに続くポジションデータサンプルは、これら二つの不連続なポジションデータサンプル間の一つの時間間隔内の第二の運動状態（例えば終期運動状態）を表している。したがって、一連の実施形態において、上記のデータバンクに格納されているあらかじめ記録された一つの運動パターンないし運動パターンセグメントの一つの単一画像ないし一つのフレームの時間の時間間隔は、例えば１／４８から１／１２秒、特に、１／２４又は１／２５秒の時限に等しい。したがって、上記の把握された運動遷移は、オブジェクトに配された少なくとも一つのポジションマーカーの、上記の時間間隔における少なくとも一つの軌跡に対応している。より複雑なオブジェクト例えば人間の場合には、把握されるべきリアルな運動にとって十分な測定点を得るには、複数の（無線ベースの）ポジションマーカーが重要となろう。したがって、上記の把握された運動遷移は、当該時間間隔における測定点の初期ポジション及び終期ポジションに相当している。その際、解剖学的観点から、オブジェクト及び運動に応じ、特に、過去の時間間隔を基準として、測定点（例えば関節及び骨格セクション）の任意の初期ポジション及び終期ポジションが可能であるわけではないであろう。

上記オブジェクトの再現されるべき少なくとも一つのリアルな運動遷移が把握若しくは検知されている場合には、それに基づいて、上記のリアルな運動遷移に対応する少なくとも一つのデジタル運動パターンセグメントを、上記のデータバンクに格納された上記コンピュータモデルの複数のデジタル運動パターンのうちからセレクトすることができる。これは、例えば把握されたリアルな運動と記憶されたデジタル運動パターンとの間の相対的及び絶対的なマーカーポジションの比較によって行うことができる。この比較をオブジェクトサイズとはできるだけ無関係に行うために、上記の把握されたポジションデータないし運動データ及び／又は上記のデータバンクに格納されたデジタル運動モデルは、少なからぬ実施形態において、正規化することができる。その際、正規化によってオブジェクトフリーサイズが生ずる。したがって、少なからぬ実施形態において、上記のデータバンクに格納されたデジタル運動パターンは正規化されていてよく、その際、上記のデジタル運動パターンセグメントをセレクトするために、上記オブジェクトに配されたポジションマーカーから受信されたポジションデータにオブジェクトサイズに対応する倍率が乗じられて、上記オブジェクトの正規化された運動が得られる。

一連の実施形態において、十分な、好ましくは最高の確率で、上記の初期運動状態から出発して上記時間間隔の上記の終期運動状態に至るデジタル運動パターンセグメントがセレクトされる。その際、少なからぬ実施形態において、上記のさまざまな、可能な運動状態をマルコフモデルないし不連続なマルコフ連鎖によってモデル化し、未来の事象ないし運動状態の発生する確率を示すことが可能である。マルコフ連鎖は、限定された前史を知ることにより、未来の推移に関して、当該プロセスの前史全体を知っている場合と同程度に良好な予測が可能であるという性質を有している。特に、上記の運動シーケンスは、いわゆる隠れマルコフモデル（ＨＭＭ）としてもモデル化することが可能である。ＨＭＭは、システムが無観察の状態を有するマルコフ連鎖によってモデル化される確率モデルである。ＨＭＭは、動的ベイジアンネットワークの最も単純な特殊ケースと見なすことができる。マルコフ連鎖としてのモデル化とは、システムは偶然的に一つの運動状態から他の運動状態へ遷移し、その際、運動状態間の遷移確率はそれぞれアクチャルな運動状態のみに依存し、その前に占められた運動状態には依存しないとのことを意味している。さらに、遷移確率は当該時間にわたってコンスタントであると仮定される。ただし、ＨＭＭの場合、これらの状態自体は外部から観察されない。つまり、それらは隠されていてよい。その代わり、これらの内部状態のそれぞれには、観察可能な出力シンボル、いわゆる、状態に応じて一定の確率で現れる、エミッションが対応させられている。その目的は、多くの場合にあって、観察されたエミッションシーケンスから、隠された状態に関する確率論的言明に達することである。把握された一つ若しくは複数の運動遷移に適合した一つ又は複数の運動パターンセグメントのセレクトは、このようにして、例えば動的プログラミングのアルゴリズム例えばフォワードアルゴリズム、バックワードアルゴリズム又はビタビアルゴリズムによって解決することができる。

上記のようにして、上記の把握されたリアルな運動に適合した一つ又は複数のデジタル・コンピュータモデル運動パターンセグメントがセレクトされた後、それに基づき、上記の把握された運動のバーチャルイメージを、上記のセレクトされたコンピュータモデル運動パターンセグメントによって再現ないし再生することができる。この再現は、さまざまな実施形態において、リアルタイムで及び／又はポストプロダクションプロセスで行うことが可能である。上記のデータバンクからセレクトされた上記のコンピュータモデル運動パターンセグメント、つまり、上記のコンピュータモデル運動パターンセグメントフレームは電子表示装置例えばディスプレイで再現することができる。理想的な場合には、上記のコンピュータモデルの上記の再現された運動は上記のリアルなオブジェクトの上記のリアルな運動に等しい。正規化されて格納された運動パターンセグメントの場合には、上記のイメージを再現するためにセレクトされた運動パターンセグメントにリアルなオブジェクトサイズに対応する倍率を乗じ、こうして、少なくとも一つの運動測定点を備えた上記のオブジェクトの正規化されていない運動シーケンスを再現することができる。

したがって、一連の実施形態は、例えば無線マーカーデータに基づいて、可動多分節オブジェクト（例えば人、動物、機械構造物）ないし複合オブジェクトの運動再現を可能にするコンセプトに関する。その際、複合オブジェクトとは、相互作用する複数のオブジェクト例えばボールをドリブルしているプレーヤーあるいはフォークリフトとパレット等である。上記のオブジェクトの任意の測定点には、無線マーカーないしセンサが取り付けられていてよい。上記の無線マーカーの（例えばｘ、ｙ、ｚ座標による）ポジションをリアルタイムで求める十分に精密な解像能を有するＲＴＬＳシステムが設けられていてよい。上記の無線マーカーポジションは、例えば精密なＲＴＬＳ（Ｒｅａｌ Ｔｉｍｅ Ｌｏｃａｔｉｏｎ Ｓｙｓｔｅｍ）データにより、空間中のｘ、ｙ、ｚポジションの形で及び／又は加速度データの形で与えられてよい。これにより、上記のポジションの十分な精度及び更新レートによって、リアルなオブジェクトのバーチャル再現を可能にすることができる。オブジェクトに配された無線マーカーの数は多数方向に向かって任意に変化させることができる。上記の運動再現はリアルタイム及び／又はポストプロダクションプロセスで行うことが可能である。

デジタル運動データバンクには、任意の数のデジタル運動サンプルが収納されていてよい。把握されるべき上記オブジェクトに関して、任意の及び任意の多数のデジタル運動シーケンスが記憶されていてよい。これらは、人間の場合にあって、代表的な運動例えば走る、歩く、跳躍する等を含むことができる。これらの記憶された運動シーケンスは、上記の無線マーカーの測定点及び上記オブジェクトの全体による一定数の単一画像ないしフレームを有していてよい。

本発明の一連の実施形態は、把握された上記の無線マーカーデータがたとえ不完全であるかノイズが混じっていようとも、上記のオブジェクトの有意ないし妥当な運動再現を可能にし、例えばバーチャル３Ｄ運動再現、バーチャルリアリティーアプリケーション、増補リアリティーアプリケーション、トレーニング分析、プレー分析又は視聴覚媒体に使用することができる。同じく、（モバイル）端末機への運動データの転送と端末機での運動再現も思量可能である。少なからぬ実施形態により、僅かなハードウェア資源にてリアルタイムによる運動データの再現も可能である。

以下、添付図面を参照して、本発明のいくつかの実施形態を詳細に説明する。各図は以下を示している。

一実施形態による、オブジェクトの運動を再現する方法の概略的なフローチャートである。 一実施形態による、オブジェクトの運動を再現する装置の概略的なブロック図である。 リアルな運動遷移の把握を説明するための概略図である。 運動状態をモデル化するためのマルコフ連鎖の例解図である。 把握された当該運動遷移に対応するデジタル運動パターンセグメントの、トレリスによる、運動データバンクからのセレクトを説明するための概略図である。 セレクトされた当該デジタル運動パターンセグメントを使用した当該オブジェクトの運動のバーチャルイメージの再現を説明するための概略図である。 一実施形態による、オブジェクトの運動を再現するシステムの概略的なブロック図である。

本発明のいくつかの実施形態に関する以下の例解的説明において、同一の符号は、同一の、類似の、又は機能的に同一の部品ないし要素に付されている。

図１は、本発明の一実施形態による、オブジェクト例えばプレーヤーのリアルな運動を、あらかじめ作製された当該オブジェクト（例えば当該プレーヤー）のコンピュータモデルの一連のデジタル運動パターンセグメントからバーチャル再現する方法１００のフローチャートを概略図によって示したものである。

運動再現方法１００において、それぞれの運動パターンセグメントないしそれぞれの運動パターンセクションは一つの運動の異なった時間間隔ないし時間区間に対応している。そのリアルな運動が再現されるべきリアルな当該オブジェクトは、ポジションマーカーを備えた少なくとも一つの運動測定点を有している。いくつかの実施形態において、当該ポジションマーカーは無線ベースのポジションマーカーであってよい。当該オブジェクトは一つ又は複数の運動測定点を有していてよい。これらの運動測定点は上記ポジションマーカーが固定される場所と同一である。

上記運動再現方法１００は開始ステップ１０１の後に、上記ポジションマーカーから受信した少なくとも一つの上記運動測定点のポジションデータを基礎として、上記のリアルな運動の一つの時間間隔における上記オブジェクトの初期運動状態と終期運動状態との間の（リアルな）運動遷移を把握するステップ１０２を含んでいる。無線ベースのポジションマーカーにあっては、受信された当該ポジションデータには多かれ少なかれ雑音が加わっていることがある。上記方法１００は、さらに、把握ないし検知された上記のリアルな運動遷移に対応する少なくとも一つのデジタル運動パターンセグメントを、データバンクないし記憶装置に格納された上記コンピュータモデルの複数のデジタル運動パターンのうちから、セレクトされた当該デジタル運動パターンセグメントが、十分に高い確率で、上記の初期運動状態から出発して上記時間間隔の上記の終期運動状態に至るようにセレクトするセレクトステップ１０４を含んでいる。さらに別の方法ステップ１０６において、上記の初期運動状態とセレクトされた上記デジタル運動パターンセグメントとを使用して、上記時間間隔に関する上記オブジェクトの上記のリアルな運動のバーチャルイメージが再現される。

少なからぬ実施形態において、上記の方法ステップ１０２から１０６は、上記オブジェクト（例えばプレーヤー）の上記のリアルな運動を再現するための反復的な方法ないし再帰法のアクチャルな反復ないし再帰である。これが意味することは、上記の初期運動状態は、アクチャルな反復／再帰のために、上記反復的な方法／再帰法の先行する反復／再帰において再現ないし評価されていてよいことから、再現された上記のリアルな運動のバーチャルイメージは、セレクトされた連続する時間間隔又は反復／再帰に対応する複数のデジタル運動パターンセグメントから合成可能であるということである。これから、連続する複数の時間間隔につき、これらの複数の時間間隔にそれぞれ対応する当該運動パターンセグメントを基礎として、上記オブジェクトの上記のリアルな運動の全体の再現が生ずる。問題となるリアルな運動シーケンスが上記方法１００によって再現された場合には、それは終期ステップ１０８で終了させることができる。

上記に図１を参照して概略的に説明した方法１００は、オブジェクトのリアルな運動を当該オブジェクトのコンピュータモデルの一連のデジタル運動パターンセグメントから再現するための装置２００によって実行可能であり、以下に、図２を参照して、この装置について詳細に説明する。

例えば一つ又は複数のプロセッサとして実現されていてよい装置２００は、上記の少なくとも一つのポジションマーカーから受信した（場合により雑音の加わった）、上記オブジェクトの上記の少なくとも一つの測定点のポジションデータ（例えばｘ、ｙ、ｚ座標）を基礎として、上記の（リアルな）運動の一つの時間間隔ｉにおける上記オブジェクトの初期運動状態（ｘ［ｉ−１］、ｙ［ｉ−１］、ｚ［ｉ−１］）と終期運動状態（ｘ［ｉ］、ｙ［ｉ］、ｚ［ｉ］）との間の（リアルな）運動遷移（Δｘ［ｉ］、Δｙ［ｉ］、Δｚ［ｉ］）を把握ないし検知するために形成されている運動把握ユニット２０２を含んでいる。換言すれば、この運動把握ユニット２０２は、上記に説明した方法ステップ１０２を実行するために使用される。装置２００は、さらに、上記の検知された運動遷移（Δｘ［ｉ］、Δｙ［ｉ］、Δｚ［ｉ］）に対応する少なくとも一つのデジタル運動パターンセグメントをデータバンク２０５に格納された複数のデジタル・コンピュータモデル運動パターンセグメントのうちからセレクトするのに適合した、上記運動把握ユニット２０２に接続されたセレクトユニット２０４を有しており、その際、セレクトされた当該コンピュータモデル運動パターンセグメントは、十分に高い確率で、上記の初期運動状態（ｘ［ｉ−１］、ｙ［ｉ−１］、ｚ［ｉ−１］）から出発してまさに観察された当該時間間隔ｉの上記終期運動状態（ｘ［ｉ］、ｙ［ｉ］、ｚ［ｉ］）に至る。換言すれば、当該セレクトユニット２０４は、上記に説明した方法ステップ１０４を実行するために使用される。加えて、上記装置２００の範囲には、さらに、上記セレクトユニット２０４に接続された、上記初期運動状態（ｘ［ｉ−１］、ｙ［ｉ−１］、ｚ［ｉ−１］）とセレクトされた当該デジタル運動パターンセグメントとを使用して、観察された当該時間間隔ｉに関する上記オブジェクトの運動のイメージを再現するために形成されている再現ユニット２０６が設けられている。換言すれば、この再現ユニット２０６は上記に説明した方法ステップ１０６を実行するために使用される。その際、上記のリアルな運動の上記イメージは、データバンク２０５から得られた一つ又は複数の連続したデジタル運動パターンセグメントから再現され、例えば適切な表示装置を経て再現することができる。

次に、図３を参照して、上記オブジェクトに設けられている上記ポジションマーカーを使用して上記のリアルな運動遷移ないしリアルな運動の把握が以下にして行われるかを説明する。

図３は、図式化された人の形のオブジェクト３０２を示している。当該オブジェクト３０２のさまざまな運動測定点には、さまざまな運動測定点の空間位置を求めるために使用されるポジションマーカー３０４が配されている。これらのポジションマーカー３０４は、一実施形態において、少なくとも一本又は複数本の受信アンテナ３０８によって受信可能な位置特定無線信号３０６を送信する、特に、無線ベースのポジションマーカーであってよい。その際、少なからぬ実施形態において、この位置特定無線信号３０６は、直接、上記の個々の無線マーカー３０４の地理座標を有していてよい。その他の実施形態において、上記無線マーカー３０４の個々の地理的位置は、その他の方法例えば走時測定等による三角法によっても求めることが可能である。その際、これらのポジションデータは、フレームベースで、つまり、上記の把握された運動の単一画像（約１／２４秒）ごとに求めることが可能である。そのため、例えば受信機３１０は、角度測定及び／又は走時測定を基礎として、上記無線マーカー３０４のポジション計算に必要な遠隔測定データ、例えばｘ、ｙ、ｚ座標、速度データ、加速度データ等を把握し、それをフレームごとに上記把握ユニット２０２に供することができる。したがって、一連の実施形態において、オブジェクト３０２に配された上記の少なくとも一つのポジションマーカー３０４は、当該無線マーカー３０４のポジションデータをそれから導出することのできる信号３０６を、無線インタフェースを経て、上記の再現方法１００を実施すべく再現装置２００に接続されていてよい評価装置３１０に送信する無線送信機と接続されていてよい。その際、ポジションマーカー３０４はリアルタイム位置特定システムの一部であってよいために、上記のマーカーポジション及び／又は上記オブジェクトのリアルな運動をリアルタイムで求めて、再現することが可能である。

再び図２に立ち戻っていえば、エレクトロニクス記憶装置あるいはデータバンク２０５には、個々のフレームによって表すことのできる、あらかじめ作製されたデジタル・コンピュータモデル運動パターンないしそれらの運動パターンセグメントが格納されていてよい。その際、一つのフレームは、あらかじめ作製されたコンピュータモデル運動パターンの一つの単一画像に対応している。問題となるあらかじめ記録された運動シーケンスをバーチャルに表す一つのコンピュータモデル運動パターンは、いくつかの実施形態において、二つ以上のフレームからなっている。したがって、また、一つのコンピュータモデル運動パターンの部分集合を表すことのできる一つのコンピュータモデル運動パターンセグメントは少なくとも一つのフレームを含んでいる。これから、一つのコンピュータモデル運動パターンセグメントはまさに、二つの異なった総運動シーケンスないしデジタル・コンピュータモデル運動パターンの一部であってもよいこととなる。このことは、より複雑な運動は多くの場合に、複数の運動セグメントから構成され、その際、異なった複雑な運動の個々の運動セグメントは互いに等しいかないし類似しているという事実に帰せられる。

データバンク２０５に格納されている、上記のコンピュータモデル運動パターンセグメントないしフレームから合成された上記コンピュータモデル運動パターンは、いくつかの実施形態において、正規化されたデジタル運動パターンとして格納されていてよい。これにより、オブジェクトないしそれらのコンピュータモデルは、例えばフリーサイズに正規化されることができ、把握ないし検知されたリアルな運動とのよりよい比較が可能になる。当該コンピュータモデル運動パターンの作製時にポジションマーカーが配された場所ないしポジションは既知であると共に、その後、再現されるべきリアルな運動を把握するために当該ポジションマーカーが配されるオブジェクト上のポジションに基本的に一致させることができる。したがって、ユニット２０４によるコンピュータモデル運動パターンセグメントのセレクト１０４のために、オブジェクトに配された当該ポジションマーカーから受信したポジションデータにオブジェクトサイズに対応する倍率を乗じ、正規化されたオブジェクトの運動を得て、これをデータバンク２０５に記憶されている正規化された運動パターンと比較することが可能である。したがって、運動データバンク２０５に記憶されている運動パターンは正規化されるかないし正規化されていてよい。ステップ１０２に入り込む無線マーカーデータないしポジションデータは、比較及びセレクト１０４前に、同じく正規化されてよい。ただし、その際、倍率はその後に続く再現１０６用に顧慮することができる。結果が定まった後、当該コンピュータモデル運動パターンに倍率を乗じてリアルなオブジェクトに同化させることが可能である。こうして、異なったサイズのオブジェクトを有意かつ省スペース的に格納することができる。

データバンク２０５は、当該運動測定点によって同定ないし画像化することのできる、人／オブジェクト／オブジェクト群の代表的な運動パターンを含んでいてよい。その際、データバンク２０５から読み出された運動は、好ましくは、同次の運動形態を表しているために、アーティファクトフィルタ等は不要である。個々の運動パターンセグメントないしフレームは運動状態と称され、データバンク２０５において、仮想的なエッジないし状態遷移を付することができる。互いに非常に類似した個々の運動パターンセグメントないしフレームは、必要に応じて、一括されることができるため、一つのデジタルフレームないしデジタル運動パターンセグメントは、同時に、異なった二つの運動ないしコンピュータモデル運動パターンの一部であってよい。

マッチングユニットとも称することのできるセレクトユニット２０４は、可能な運動状態と、それが一つの一定の運動内ないし一つのフレーム内にある確率とをもたらすように形成されていてよい。本発明のいくつかの実施形態において、異なった運動状態はマルコフ連鎖の趣旨で互いに結び付けられていてよい。したがって、当該オブジェクトの一つのアクチャルな運動状態と少なくとも一つの過去の運動状態とはマルコフモデル・シーケンスを形成することができる。

そのため、図４ａは、もっぱら例解として、四つの（運動）状態“００”、“０１”、“１０”、“１１”と、これらの状態間の完全な連結ないしエッジによるマルコフ連鎖４００を示している。ここで、エッジは状態遷移を表し、その際、一つの状態遷移は一つの遷移確率ｐと結び付いている。図４ａに例示的に示したマルコフモデルにおいて、状態“００”から状態“０１”への状態遷移の遷移確率は“ｐ_０１”で表されている。反対に、“ｐ_１０”は、状態“０１”から状態“００”への遷移確率を表している。同じことは図中に示したその他の状態にも当てはまる。図４ａに示したマルコフ連鎖４００において、任意の第一の状態は他の任意の第二の状態へ遷移可能であり、これは図示した状態遷移（矢印）によって明瞭に見て取れる。また、一定の状態遷移が排除されていてよいその他のマルコフ連鎖も可能であることは言うまでもない。これは、特に、可能なリアルな運動状態とそれらの遷移を表すマルコフ連鎖の場合に当てはまるであろう。すでに上記に説明したように、解剖学的ないし物理的制限があることにより、一つの運動初期状態から出発して任意の後続状態が可能であるわけではない。したがって、図４ａに示した単純化された状態モデルは単に理解しやすくするためのものであり、特に、複雑な運動に関する実際の運動状態モデルに対応しているわけではない旨強調しておくこととする。実際のインプリメンテーションにおいて、可能な運動状態の数は１．０００以上、１０．０００以上、１００．０００以上であり、少なからぬアプリケーションケースにおいて１００万を超えることさえあるであろう。

少なからぬ実施形態において、すべての可能な運動状態はマルコフ連鎖の意味で互いに結び付けられていてよいことから、不連続な時点ｉにおける運動状態の確率密度は、時点ｉ−１における確率密度とアクチャルなセンサ測定値とを基礎として反復的な方法によって計算することができる。したがって、上述した方法ステップ１０２から１０６は、上記のリアルな運動を再現するための反復的な方法のアクチャルな反復を形成してよく、その際、アクチャルな反復ｉに関する初期運動状態は反復的な方法の先行する反復ｉ−１において再現ないし算定されたため、再現された運動イメージはセレクトされた連続する時間間隔又は反復に対応する複数の運動パターンセグメントから合成される。したがって、再現された複雑な運動はデータバンク２０５に記憶された二つ以上の部分運動パターンから、例えば互いに交差するフレームと適合したセンサ測定値とに基づいて、合成されることができる。したがって、新たな合成運動は“下位運動”ないしフレームシーケンスから生成可能であることから、任意の複雑な運動ないし合成運動の必ずしもすべてがあらかじめ記録され、データバンク２０５に格納される必要はない。

もう一つのファクターは、最初の運動記録（プリプロダクション）時に存在する送信機ないしポジションマーカーの数と、アクチャルに再現されるべき運動シーンにおける当該ポジションマーカーの数である。最初の運動記録時のポジションマーカーの数ならびに位置のいずれもがアクチャルに再現されるべきシーンのそれと同じであるのが有利であるとしても、これは必ずしも不可欠ではない。例えばアクチャルには不十分な送信機ないしポジションマーカーをパラレルに追跡ないし追尾し得る場合がそうである。したがって、少なからぬ実施形態において、単に順列を追跡すること、つまり、オリジナルな、記憶されたデジタル運動記録に含まれていた送信機の下位集合とそれらのポジションを追跡すること、が可能である。ステップ１０４において可能な運動状態に関して求められる確率は、このようにして、すべての可能な順列を考慮に入れることができ、通常通り、できるだけ、最も可能性の高い分布と運動状態をセレクトすることができる。これは、場合により、再現結果の歪みを結果することがある。ここで、“歪み”とは、再現結果が正しくないかあるいはそれが当該オブジェクトの実際の運動に一致していないことを意味している。ただし、可能なエッジ運動は、状態図において、不可能な又は現実的ではない運動をなんら許容しないことから、本発明によるコンセプトによれば、実際の歪みはあり得ない。したがって、常に、最もありそうなデジタルフレームシーケンスのみが表されるため、再現された運動画像は“ゾンビ”再現のように映じることは決してない。

したがって、セレクトユニットないしマッチングユニット２０４は、可能な運動状態（フレーム）をそれぞれの時点ｉにおけるその確率と共に保持することができる。これらの運動状態は、またも確率を有するエッジによって結び付けられていてよい（遷移確率）。ただし、これらの遷移確率は、データ（コンピュータモデル運動パターン）の記録後、運動再現前に例えば遷移頻度等の算定によって決定することができる。さらに、実際に算定され、実施された運動遷移に基づいて、遷移確率を不断に更新することが可能である。状態図（ネット）例えばマルコフ連鎖４００から、完全な状態図（例えば１０００フレームごとに１００運動＝約１００．０００運動状態）につき、マーカーポジション間の変化ないしずれの少ない連続したフレームないし運動状態を一括することにより、異なった複数の解像を得ることができる。これによって状態空間を減少させることができると共に、それによって確率密度を計算するための手間（これは運動状態の数の二乗である）も減少させることができる。

運動状態確率を計算するには、まず、最小の状態モデル（つまり、少数の状態）から始めて、その中で、比較的速やかに、最もありそうな運動状態を得ることができる。その後になお計算時間が残っていれば、例えば次の深度の状態解像（つまり、より多くの状態）に移り、そこでさらなる運動状態確率を決定し、運動再現のためのさらに高い詳細度を得ることができる。したがって、いくつかの実施形態において、一つの時間間隔ｉに関する一つのデジタル運動パターンセグメントは、まず、可能な運動状態の集合の部分集合に基づいてセレクト可能であり、その際、当該部分集合は運動のイメージを少なくとも大まかに再現し得るように適合化されており、大まかな再現の後、部分集合外の集合からのさらにその他の状態に基づいて、運動のイメージをより精細に再現することができる。

把握された時間間隔ｉにおけるリアルな運動遷移に最もよく対応するデジタル運動パターンセグメントをセレクトするには、（これまでに）把握された運動遷移を、データバンク２０５に格納されたコンピュータモデルのデジタル運動パターンと反復的に比較することが可能であり、こうして、オブジェクトの少なくとも一つの過去の運動状態と、オブジェクトの時間的に連続した少なくとも二つの不連続な運動状態間の一つの可能な運動遷移に一致するアクチャルな遷移確率とに基づいて、オブジェクトのアクチャルな運動状態に関する仮定が求められる。以下にこれを、図４ｂを参照して、詳細に説明する。

図４ｂは、例解した状態図４００に対応するトレリス図４５０を示したものである。この場合、トレリス図４５０は状態遷移図４００の表現に一致している。状態“００”、“０１”、“１０”、“１１”及び、時点ｉ−２、ｉ−１、ｉ及びｉ＋１における可能な状態遷移は例示的に示されているにすぎない。一つの状態から次の状態への遷移にはさまざまな確率値（遷移確率）ｐが対応しており、これにより、トレリス中に、把握された運動遷移データに基づき、他のすべての経路に比較して最も高い累積確率を有する、複数の状態に及ぶ最も明白な単一の経路４５２が形成される。こうして、この状態経路４５２に対応する運動遷移は、運動デコーダにより、最もありそうな運動遷移と見なされる。つまり、公知のビタビアルゴリズムの場合と同様に、連続的にさまざまな運動状態を貫いて移動して、アクチャルに最もありそうな運動シーケンスを求めることができる。これは“適応マッチング”と称することができる。

少なからぬ実施形態において、適合した運動パターンセグメントないし運動状態遷移の探索１０４に際し、まず、マルコフモデルにより最も高い（遷移）確率で現れる、つまり、その確率が例えば所定の閾値を超えるようなコンピュータモデル運動パターンセグメントのみを顧慮することが可能である。例えばまず、最もありそうな百のコンピュータモデル運動パターンセグメントのうちから一つの適合したコンピュータモデル運動パターンセグメントを求め、次いで、次に最もありそうな百から千のコンピュータモデル運動パターンセグメントのうちから一つの適合したコンピュータモデル運動パターンセグメントを求める等々が可能である。こうした実施形態により、適合した運動パターンセグメントの発見を大幅に加速することができる。

少なからぬ実施形態において、状態遷移に際して見いだされた遷移確率を記憶させておき、運動シーケンス再現の改善に使用することが可能である。これはオンラインで行うこともでき、状態遷移確率をライブで適応させることができる。換言すれば、リアルな運動遷移に対応する運動パターンセグメントのセレクトに際し、実際に見いだされた運動状態遷移に依拠して、走時中に遷移確率の動的適合化を行うことが可能である。これが意味することは、例えば可能な運動状態と運動遷移を表す最初の未熟なマルコフモデルを実際に観察された運動に不断に適合させ、こうして改善することができるということである。発生頻度の少ないオブジェクトの運動状態ないし運動遷移には、相応して、発生頻度の高い運動状態ないし運動遷移よりも低い確率を対応させることができる。こうして、走時中に、運動モデル（例えばマルコフモデル）を、連続的に、ある一定のオブジェクトに適合させることが可能である。こうして、このシステムは、いわば、適応性のあるものとなる。

上記のセレクトユニット２０４ないしマッチングユニットは時間依存要素と見なすことができる。本来の運動の再現１０６はコンスタントな時間［０（１）］で行うことが可能であり、したがって、方法１００のリアルタイム性に不適な影響を及ぼすことはほとんどない。いわゆる最悪実行時間（ＷＥＣＴ）を遵守し得るようにすべく、方法１００は、少なからぬ実施形態において、考えられるいかなる時間にも、これまでで可能な最良の結果を返すことができる。もしもまださらなる計算時間が残っている場合には、結果を反復的な方法によって改善することができる。したがって、デジタル運動パターンセグメントのセレクト１０４に際し、リアルな運動遷移の把握１０２の後の所定の時間後に、この時間後に最も高い確率で初期運動状態から出発して当該時間間隔の終期運動状態に至るデジタル運動パターンセグメントをセレクトすることができる。例えばポジションデータ受信後の第一の時点までに、格納された複数のデジタル運動パターンのうちから、この第一の時点に、最も高い確率で、把握されたオブジェクトのリアルな運動に一致するデジタル運動パターンセグメントをセレクトすることが可能であり、しかもその際、第一の時点後から第二の時点までに、さらに、より良く適合した、当該時間間隔に関する運動パターンセグメントが探索される。こうしてタイムリミットが遵守され、再現された画像は（例えば一フレーム遅れで）描かれる。こうした方法は“プログレッシブマッチング”と称することができ、その際、画像は、速やかに、質の“劣った”画像で表示されて、徐々に精細に描出されるようになる。ここで、質の劣ったなる表現で意味されていることは、１００％適合してはいないフレームないしコンピュータモデル運動パターンセグメントの発見ということである。

一連の実施形態において、記録された上記測定点の無線マーカーデータないしポジションデータを利用して、運動データバンク２０５からのさまざまな動画を順次並べることができる。この場合、無線マーカーデータは連続的ないし周期的な入力パラメータとして使用され、所定の時間（例えば１／２４秒）内に、最もずれの少ない、適合したコンピュータモデルモデル運動パターンをセレクトするために、格納されたデジタル運動データとのマッチングが行われる。そのための一つの可能性は、質のレベルの異なったコンピュータモデル運動パターンを記憶しておき、その後に、最も質の低いレベルから開始して、プログレッシブな探索を行うことである。その利点は、運動をよどみなく再現し得るようにすべく、所定の時間内に応答が得られることである。質の低いコンピュータモデル運動パターンサンプルに含まれるフレームの数は少ないため、探索されるべきデータ量を制限することができる。運動パターンをセレクトした後、所定の時間内になお時間があれば、次の質のレベルの探索を行うことができる。

さらに別の有利な態様として、運動モデル間の状態遷移をアプリオリに存在させるか又は再現中にリアルタイムで生じさせることができる。この場合、運動パターンを接点、遷移をエッジ重み（例えば認識された遷移の数又は遷移の確率）を有するエッジとして表す相関図が生ずる。これによって、まず、最もありそうな遷移を探索し、その後に、それよりありそうにない遷移を探索することができる。こうして、非常に限局された時間内でさえ、第一の解を見出し、それを、さらに時間があれば、精細化することが可能である。

少なからぬ実施形態において、さらに加えて又は別法として、例えば計算機内での処理の時間的順序に関して、より基本的な運動情報を最初に処理することができる。詳細度が高まると共に情報内容が減少する運動解像は、例えば後に計算するか又は場合により、計算時間がもはや残されていなければ、省くことが可能である。さらに別の可能な“ソート順序”は、スクリーン上でのオブジェクトのサイズである。小さなオブジェクトについては、正しい運動状態は１００％まで求められる必要はなく、運動がおおよそ一致していれば十分である。というのも、それは観察者によってほとんど感知されないからである。したがって、より大きなオブジェクトに対しては、適合した運動パターンセグメントのセレクトに際し、より小さなオブジェクトよりも高い優先度を指定することができる。その際、より高い優先度が指定されたオブジェクトはそれより優先度の低いオブジェクトよりも時間的に先に再現可能である。さらに加えて又は別法として、リアルなオブジェクトの異なった測定点に異なった優先度を指定することも可能である。その際、優先度の高い測定点のポジションデータは優先度の低い測定点のポジションデータよりも時間的に先に評価可能である。さらにもう一つの可能性は、格納された運動パターンの走査速度（サンプリングレート）の時間的相違にある。あらゆる運動パターンはデータバンク中に異なった走査速度（例えば１Ｈｚ、１０Ｈｚ、２０Ｈｚ．．．）で存在していてよい。リアルな運動遷移に対応する運動パターンセグメントの探索にあたり、まず、サンプリングレートの最も低い運動パターンのバージョンが探索され、次いで、順次サンプリングレートの高いものが探索に付される（例えばサンプリングレート１Ｈｚのもの、次いでサンプリングレート１０Ｈｚのもの等々である）。その後、より精細な解像の中間ステップ（運動遷移）のマッチング、つまり、より高い時間的走査速度の運動パターンのマッチングを行うことができる。

上記のセレクトユニット２０４ないしマッチングユニットがデータバンク２０５の中から一つの運動ないし適合した運動パターンセグメントないし適合したフレームを同定した場合には、当該フレームないし運動パターンセグメントがデータバンクから取り出されて、表示装置にて画像化される。図５はこれを概略的に示したものである。

図５は、単なる例示として、連続した時間間隔［ｉ−２］、［ｉ−１］、［ｉ］及び［ｉ＋１］に対応した、オブジェクト（この場合、ボクサーの腕）の時間的に連続した四つの運動遷移５０２−１、５０２−２、５０２−３及び５０２−４を示している。図示したこれらの運動遷移５０２につき、上記に述べた方法を経て、データバンク２０５からできるかぎり適合したコンピュータモデル運動パターンセグメントがセレクトされ、検知された運動遷移５０２から生ずる上記オブジェクトの運動全体がデータバンク２０５に記憶されたコンピュータモデル運動パターンによって再現ないし合成され、続いて、出力装置ないし表示装置５０４に再現される。

正規化された運動遷移の場合、特に、データバンク２０５から、適合した正規化されたコンピュータモデル運動パターンセグメントを取り出し、あらかじめ引き出された倍率と重心によって目標サイズと目標ポジションに画像化することができる。したがって、少なからぬ実施形態において、データバンク２０５に格納された運動パターンセグメントは（フリーサイズに）正規化されていてよく、イメージを再現するために、オブジェクトサイズに対応する倍率を乗じて、少なくとも一つの測定点を備えたオブジェクトの正規化されていない運動シーケンスを再現することが可能である。その際、当該オブジェクトの整列ないし視野方向は、当該フレームないし当該運動パターンセグメントが取り出された運動パターンから既知である。

要約すれば、一連の実施形態は、ポジションマーカーデータに基づいて可動多分節オブジェクト（例えば人、動物、機械構造物）ないし複合オブジェクトの（好ましくはリアルタイムによる）運動再現を行うための方法、装置及びコンピュータプログラムを含んだコンセプトに関する。

そのため、図６に示したように、オブジェクト３０２の任意の運動測定点に無線ベースのポジションマーカー３０４が取り付けられてよい。無線マーカー３０４のポジションを、好ましくはリアルタイムで、例えばｘ、ｙ、ｚ座標にて算定する十分正確な解像能を有するＲＴＬＳシステムが設けられていてよい。無線マーカー３０４は、例えば精密なＲＴＬＳ（Ｒｅａｌ Ｔｉｍｅ Ｌｏｃａｔｉｏｎ Ｓｙｓｔｅｍ）データにより、空間内のｘ、ｙ、ｚポジション及び／又は加速度データ等の形で与えられる。いわゆる運動データバンク２０５には、任意の数のコンピュータモデル運動サンプルが格納されている。同所には、オブジェクト３０２につき、任意の及び任意の多数のコンピュータモデル運動セクションが記憶されている。これらは、人の場合、代表的な運動、例えば走る、歩く、跳躍する等を含んでいてよい。これらのコンピュータモデル運動セクションは、無線マーカーの測定点及びオブジェクト全体による一定の数のフレームを含んでいてよい。これによって、オブジェクトの一連の記憶されたコンピュータモデル運動サンプルからオブジェクト３０２の運動を再現する装置２００により、たとえ無線マーカーデータが不完全若しくはノイズが混じったものであろうとも、オブジェクトの有意ないし妥当な運動再現が可能である。こうして再現された運動は、出力装置ないし表示装置５０４を介して表示可能である。一連の実施形態により、無線マーカーデータの十分な精度及び更新レートによって、バーチャルなオブジェクトによるリアルな運動の再現を可能にすることができる。無線マーカー３０４の数は多数方向に向かって任意に変化させることができる（理想的なケースにおいて、重心に、少なくとも一つ）。再現はリアルタイム及び／又はポストプロダクションプロセスで行うことができる。

上記の説明、以下の請求項及び図面中に開示された特徴は、単独であれ、任意の組み合わせであれ、さまざまな実施態様による本発明の実現にとって意義を有する。

本発明の少なからぬ実施態様は運動再現装置に関連して上記に説明されたが、これらの態様はまた当該運動再現方法の説明をも表しているために、運動再現装置の一ブロック又は一要素はまた当該方法ステップの一つとしてもあるいは当該方法ステップの一特徴としても理解されなければならないことは自明である。同様に、一方法ステップに関連して説明されたか又は一方法ステップとして説明された態様は当該装置の当該ブロック又はその詳細ないし特徴の説明としても理解されなければならない。

指定された実装要件に応じ、本発明の実施形態はハードウェア若しくはソフトウェアで実装されていてよい。実装は、それぞれの方法が実施されるようにしてプログラマブル・ハードウェアコンポーネントと連携可能若しくは連携する電子式読み取り可能な制御信号が記憶されているデジタル記憶媒体例えばフレキシブルディスク、ＤＶＤ、ブルーレイディスク、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ又はＦＬＡＳＨメモリ、ハードディスク又はその他の磁気メモリ又は光学メモリを使用して実施することができる。

プログラマブル・ハードウェアコンポーネントは、制御器、プロセッサ、コンピュータプロセッサ（ＣＰＵ＝中央処理装置）、コンピュータ、コンピュータシステム、特定用途向け集積回路（ＡＳＩＣ＝Ａｐｐｌｉｃａｔｉｏｎ―ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇａｔｅｄ Ｃｉｒｃｕｉｔ）、集積回路（ＩＣ＝Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムオンチップ（ＳＯＣ＝Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）、プログラマブル論理素子又は、マイクロプロセッサ付き書き替え可能ゲートアレイ（ＦＰＧＡ＝Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によって形成されていてよい。

したがって、デジタル記憶媒体は機械可読又はコンピュータ可読であってよい。したがって、少なからぬ実施形態は、本願明細書に述べられた方法のいずれか一つが実行されるようにしてプログラマブル・コンピュータシステム又はプログラマブル・ハードウェアコンポーネントと連携することのできる電子式読み取り可能な制御信号を有するデータ担体を含んでいる。したがって、一実施形態は、本願明細書に述べられた方法のいずれか一つを実施するプログラムが記録されているデータ担体（又はデジタル記憶媒体又はコンピュータ可読媒体）である。

一般に、本発明の実施形態は、プログラム、ファームウェア、コンピュータプログラム又は、プログラムコードによるコンピュータプログラム製品として又はデータとして実装されていてよく、その際、プログラムコード又はデータは、プログラムがプロセッサ又はプログラマブル・ハードウェアコンポーネントを走行すると、いずれか一つの方法を実行するようになされている。プログラムコード又はデータは、例えば機械可読キャリア又はデータ担体に記憶されていてもよい。プログラムコード又はデータは、例えばソースコード、機械語コード又はバイトコードならびにその他の中間コードとして存在していてもよい。

一実施形態によるプログラムは、その実行中に、例えば記憶位置を読み出すか又は同所に一つ又は複数のデータを書き込み、これにより、必要に応じ、トランジスタ構造、増幅器構造又はその他の電気式、光学式、磁気式又はその他の機能原理で動作する部品に開閉操作又はその他の操作が招来されることにより、いずれか一つの方法を処理することが可能である。相応して、記憶位置の読み出しによって、データ、値、センサ値又はその他の情報をプログラムによって把握し、決定し又は測定することが可能である。したがって、プログラムは、一つ又は複数の記憶位置の読み出しによって、量、値、測定量及びその他の情報を把握し、決定し又は測定すると共に、一つ又は複数の記憶位置への書き込みによってアクションを生じ、指示又は実行し、かつ、その他の機器、機械及びコンポーネントを制御することが可能である。

上記に述べた一連の実施形態は、単に、本発明の原理の具体的形態を表しているにすぎない。本願明細書に述べた装置ならびに詳細を修正、改造及び変更することは他の当業者にとって容易に思量し得ることは言うまでもない。それゆえ、本発明は以下に挙げる特許請求項の保護範囲によってのみ制限されるものであり、実施形態の記述及び説明に基づいて開示された個々の詳細事項によって制限されるものではない。

Claims (18)

1. オブジェクト（３０２）の運動を、当該オブジェクトの３Ｄコンピュータモデルの一連の運動パターンセグメントから再現する方法であって、
   それぞれの運動パターンセグメントは前記運動の異なった時間間隔に対応し、オブジェクト（３０２）は一つのポジションマーカー（３０４）と接続された少なくとも一つの測定点を有し、以下のステップ、すなわち、
   ａ）ポジションマーカー（３０４）から受信した前記の少なくとも一つの測定点のポジションデータに基づいて、前記運動の一つの時間間隔におけるオブジェクト（３０２）の初期運動状態と終期運動状態との間の運動遷移を把握するステップ（１０２）と、
   ｂ）前記の運動遷移に対応する少なくとも一つのデジタル運動パターンセグメントを、データバンク（２０５）に格納された前記３Ｄコンピュータモデルの複数のデジタル運動パターンのうちから、セレクトされた前記３Ｄコンピュータモデルの当該デジタル運動パターンセグメントが、十分な確率で、前記時間間隔に関する前記初期運動状態から出発して前記終期運動状態に至るようにしてセレクトするステップ（１０４）と、
   ｃ）前記初期運動状態と前記３Ｄコンピュータモデルの前記のセレクトされた運動パターンセグメントとを使用して、前記３Ｄコンピュータモデルにより前記時間間隔に関する前記オブジェクトの前記運動のイメージを再現するステップ（１０６）と
   を含んでなる方法（１００）。
2. 前記ステップａ）からｃ）は前記運動を再現する反復的な方法のアクチャルな反復を形成し、前記初期運動状態は、アクチャルな反復のため、反復的な方法（１００）の先行する反復において再現されたため、前記運動の前記の再現されたイメージは、セレクトされた連続する時間間隔又は反復に対応する複数のデジタル運動パターンセグメントから合成される、請求項１に記載の方法（１００）。
3. セレクト（１０４）に際し、オブジェクト（３０２）の前記の把握された運動遷移は前記３Ｄコンピュータモデルの前記の格納された運動パターンと反復的に比較され、こうして、オブジェクト（３０２）の少なくとも一つの過去の運動状態と、オブジェクト（３０２）の時間的に連続した少なくとも二つの不連続な運動状態間の一つの可能な運動遷移に一致するアクチャルな遷移確率とに基づいて、オブジェクト（３０２）のアクチャルな運動状態に関する仮定が求められる、請求項１又は２に記載の方法（１００）。
4. オブジェクト（３０２）の前記のアクチャルな運動状態と前記の少なくとも一つの過去の運動状態とはマルコフモデル（４００）シーケンスを形成する、請求項３に記載の方法（１００）。
5. 前記の少なくとも一つの運動パターンセグメントのセレクト（１０４）により、所定のマルコフモデル（４００）と把握された運動遷移シーケンスとにおいて、最もありそうな運動状態シーケンスが求められて、オブジェクト（３０２）の前記運動が再現される、請求項１から４のいずれか一項に記載の方法（１００）。
6. 前記のデジタル運動パターンセグメントは、まず、可能な運動状態の集合の部分集合に基づいてセレクトされ、その際、前記部分集合は前記運動の前記イメージを少なくとも大まかに再現し得るように適合化されており、大まかな再現の後、前記部分集合外の前記集合からのさらにその他の状態に基づいて、前記運動の前記イメージはより精細に再現される、請求項１から５のいずれか一項に記載の方法（１００）。
7. 前記のデジタル運動パターンセグメントのセレクト（１０４）に際し、前記運動遷移の把握（１０２）後の所定の時間後に、この時間後に最も高い確率で前記時間間隔に関する前記初期運動状態から出発して前記終期運動状態に至るデジタル運動パターンセグメントがセレクトされる、請求項１から６のいずれか一項に記載の方法（１００）。
8. データバンク（２０５）に格納された前記デジタル運動パターンは正規化されており、前記デジタル運動パターンセグメントのセレクトのために、ポジションマーカー（３０４）から受信した前記ポジションデータはオブジェクトサイズに対応する倍率が乗じられて、オブジェクト（３０２）の正規化された運動が得られる、請求項１から７のいずれか一項に記載の方法（１００）。
9. 前記デジタル運動パターンセグメントは、前記３Ｄコンピュータモデルのデジタル運動パターンの前記時間間隔に対応する少なくとも一つの単一画像を有している、請求項１から８のいずれか一項に記載の方法（１００）。
10. 前記運動パターンセグメントは正規化されており、前記イメージの再現（１０６）のために、オブジェクトサイズに対応する倍率が乗じられて、前記の少なくとも一つの測定点を有するオブジェクト（３０２）の正規化されていない運動シーケンスが再現される、請求項１から９のいずれか一項に記載の方法（１００）。
11. 前記ポジションデータ受信後の第一の時点までに、前記の格納された複数のデジタル運動パターンのうちから、この第一の時点に、最も高い確率で、オブジェクト（３０２）の前記の把握された運動に一致する前記のデジタル運動パターンセグメントがセレクトされ、しかもその際、前記の第一の時点後から第二の時点までに、さらに、よりよく適合した、前記時間間隔に関する運動パターンセグメントが探索される、請求項１から１０のいずれか一項に記載の方法（１００）。
12. オブジェクト（３０２）の異なった測定点に異なった優先度が指定されて、優先度の高い測定箇所のポジションデータは優先度の低い測定点のポジションデータよりも時間的に先に評価される、請求項１から１１のいずれか一項に記載の方法（１００）。
13. より大きなオブジェクト（３０２）には、それに比較して小さいオブジェクト（３０２）よりも高い優先度が指定されて、優先度の高いオブジェクトのポジションデータは優先度の低いオブジェクトのポジションデータよりも時間的に先に評価される、請求項１から１２のいずれか一項に記載の方法（１００）。
14. データバンク（２０５）に格納された前記のデジタル運動パターンは、前記オブジェクトの可能なリアルの運動に対応する前記３Ｄコンピュータモデルの定義済みの三次元運動パターンである、請求項１から１３のいずれか一項に記載の方法（１００）。
15. 前記の少なくとも一つのポジションマーカー（３０４）は、前記ポジションデータを無線インタフェースを経て、請求項１から１４のいずれか一項記載の前記方法（１００）を実行するのに適した評価装置（２００；３１０）に送信する無線送信機と接続されている、請求項１から１４のいずれか一項に記載の方法（１００）。
16. 前記ポジションデータはリアルタイム位置特定システムのポジションマーカー（３０４）に由来し、前記方法（１００）の前記ステップはリアルタイム条件下で実施される、請求項１から１５のいずれか一項に記載の方法。
17. 当該コンピュータプログラムがプログラマブル・ハードウェアコンポーネントを走行する際に請求項１から１６のいずれか一項に記載の方法（１００）を実行するプログラムコードによるコンピュータプログラム。
18. オブジェクト（３０２）の運動を、当該オブジェクトの３Ｄコンピュータモデルの一連の運動パターンセグメントから再現する装置であって、
    それぞれの運動パターンセグメントは前記運動の異なった時間間隔に対応し、前記オブジェクトは一つのポジションマーカー（３０４）と接続された少なくとも一つの測定点を有し、以下のユニット、すなわち、
    ポジションマーカー（３０４）から受信した前記の少なくとも一つの測定点のポジションデータに基づいて、前記運動の一つの時間間隔におけるオブジェクト（３０２）の初期運動状態と終期運動状態との間の運動遷移を把握するユニット（２０２）と、
    前記の運動遷移に対応する少なくとも一つのデジタル運動パターンセグメントを、データバンク（２０５）に格納された前記３Ｄコンピュータモデルの複数のデジタル運動パターンのうちから、セレクトされた前記３Ｄコンピュータモデルの当該デジタル運動パターンセグメントが、十分な確率で、前記時間間隔に関する前記初期運動状態から出発して前記終期運動状態に至るようにセレクトするユニット（２０４）と、
    前記初期運動状態と前記３Ｄコンピュータモデルの前記のセレクトされた運動パターンセグメントとを使用して、前記３Ｄコンピュータモデルにより前記時間間隔に関するオブジェクト（３０２）の前記運動のイメージを再現するユニット（２０６）と
    を有することを特徴とする装置（２００）。

Images