JP2015513143A - 追跡システムを最適化するためのシステムおよび方法 - Google Patents

Abstract

システムを最適化し、カメラと基準の位置と、ポーズの見積もりアルゴリズムのパラメータをシミュレートする方法は、追跡目標上で可能な能動的マーカの位置と向きのデータと、追跡目標の可能なポーズのポーズデータと、少なくとも一つのカメラの位置と向きを取得し、全カメラから各ノードの可視性をコンピュータ計算し、可視性値リストを生成し、最高可視性カウントのノードを、マーカの配置ノードとして選択し、しきい値より選択ノードに近いノードを除去し、所定数の選択ノードのポーズを除去し、全ポーズのパーセンテージが所定数の選択ノードを有するか問い、選択ノードの位置を各カメラのビューポートの画像平面に射影して、最適化の追跡アルゴリズムでメッシュのポーズを計算し、初期データとアルゴリズム結果の比較により、ポーズエラーとポーズ範囲を計算し、記録して出力し、結果間でパラメータのセットを、少なくとも一つの制約を満たして選択する。

Description

本発明は、コンピュータ計算及びシミュレーションの技術分野に関し、可視性のシミュレーションによって、光学的な目標の追跡システムにおける基準のマーカを最適化する方法を含む。

或る環境において３次元の目標を追跡するとともに、所定の座標系に関してその位置及び向き（ポーズ）をコンピュータ計算する方法及びモデルが在ることが知られている。このような種類の追跡システムは、例えば航空機において、パイロットの頭部の方向を決定するために用いられる。例えば表示装置の座標系に関して一旦、方向が獲得されると、これに応じてグラフィクスを生成することができる。磁気的、機械的あるいは光学的な手段を用いる場面において、目標を追跡するための様々な方法が存する。近年、目標の空間的な関係も、磁気センサまたはレーザビームを用いて決定され得るが、本発明は特に、カメラに基づく（デイティヴィ（ｄａｙ−ｔｖ）、温度、赤外線、飛行時間などの）追跡物を用いるシステムに関する。

光学的なカメラに基づくシステムの一つにおいて、パイロットは（基準のマーカである）パターンを備えるヘルメットを着用し、少なくとも一つの追跡カメラがこのパターンに基づき幾何学的な計算を用いて、ヘルメットの位置及び向きを決定する。よって、追跡パターンを有する目標とカメラの間の空間的な関係をコンピュータ計算することは、従来技術において周知である。本明細書において、空間的な関係に言及するときはいつでも、一方の実体に対する他方の所定の基準系間の関係を意味すると理解されるべきである。基準を用いて実体の位置及び向きを決定することは、ポーズの見積もり問題と呼ばれるが、以下のように述べられる。すなわち、目標の３次元（３Ｄ）点とその目標の画像平面上への二次元（２Ｄ）射影との間に、Ｎ個の特徴の対応物の組が与えられたとき、カメラの基準系に関して目標の回転及び並進を見つけ出せるか、ということである。この目的は、目標の３Ｄ位置及び向きがわかるように、カメラと３Ｄ目標間の回転及び並進を探すことである。このような基準系は、一般的に対象の目標の各パターンに基づく。他の座標系に関する追跡カメラの位置及び向きは、追跡システムにおいて既知である（或いは計算または計測され得る）ので、追跡カメラのセンサとともに、更には他の座標系とともに、ヘルメットの空間的な関係をコンピュータ計算することもできる。この文脈において、「追跡目標」は、追跡パターン（基準のマーカ）を有し、追跡システムによって追跡されている目標を意味する。追跡目標は、ヘルメットに搭載された追跡システムなどにおけるヘルメットと、他のどのような目標のいずれであってもよい。

カメラに基づく追跡システムにおいて用いられるパターンは、可視光のカメラによって追跡される（一般的には白黒の）グラフのパターン（受動的パターン）、または（例えば光放出ダイオード、すなわちＬＥＤなどの）光源のアレイ（能動的パターン）のいずれか一方である。このような光源は、カメラセンサとフィルタセットの適切な選択によって、電磁波スペクトラムの赤外領域に在るように選ばれ得る。他の設定も可能であるが、とりわけ最も簡便なのは赤外線ＬＥＤを備えるものである。これらのシステムは不適切な発光の条件下で稼働できるからである。追跡目標上でのＬＥＤの位置（場所）は、小さいポーズのエラーが達成されつつ、ポーズの範囲が高いことを確実にするように、注意深く決定されるべきである。基準のマーカの位置を決定して最適化するために、近年使用される方法が幾つか在る。そのような使用方法の一つにおいて、可視の基準の数と、光学センサに対するこれらの相対的な角度は、最適な基準の位置を決定するための制約として用いられる。この方法は、基準のマーカを備える大きい領域において用いられることが意図され、固定のカメラによってキャプチャされている移動中の追跡目標上で、基準の場所を最適化することには適用できない。加えて、追跡システムを搭載するヘルメットを考察するとき、パイロットの動きの傾向も、基準の可視性を計算するときに考慮されるべきである。更には、ポーズの見積もりアルゴリズムに用いられるポーズの見積もりパラメータは、システムの出力精度に直接影響するが、現行の方法においては考慮されていない。

現行の方法は、システムのポーズの見積もり精度を全てともに最適化するように、追跡システムのカメラ及び基準の位置をシミュレートする効果的な方法を提示していない。この問題に対する解決策を提供すべく、固定のカメラの正面において移動している追跡目標上で基準の位置を決定するための更なるステップを用いて、新しい方法が導入されるべきである。

従来技術の特許文献１は、最適な基準の位置を決定してエラーの限られたポーズをコンピュータ計算するための制約として、可視の基準の数とキャプチャ装置に対するこれらの相対的な角度を用いる方法を開示する。

米国特許出願第２００４／２３９７５６号明細書

Ｄａｖｉｓ ｅｔ ａｌ． ２００４

本発明の目的は、システムを最適化するように、追跡システムのカメラ及び基準の位置並びにポーズの見積もりアルゴリズムのパラメータをシミュレートすることである。

本発明の目的を達成するように実現されるシステム及び方法は、添付の図面において図示される。

図において示される要素は、番号及び文字が符号の説明欄に参照するように、個別に参照される。

追跡システムを最適化するための方法（１００）であって、
追跡目標上で可能な能動的マーカの位置及び向きを表すメッシュのデータと、動作条件下で追跡目標の可能なポーズを表すポーズのデータと、少なくとも一つのカメラの位置及び向きを取得するステップ（１０１）と、
あらゆるポーズに対して全てのカメラからメッシュ上の各ノードの可視性をコンピュータ計算して、ポーズ毎にあらゆるカメラからの可視性が一回カウントされて、何回ノードが可視であるかをカウントする、可視性の値のリストを生成するステップ（１０２）と、
能動的マーカの配置ノードとして、最高の可視性のカウントに伴って従前に選択されなかったノードを選択するステップ（１０３）と、
非最大の抑制しきい値よりも上記選択されたノードに近接したノードを除去するステップ（１０４）と、
所定数の選択されたノードを有するポーズを除去するステップ（１０５）と、
全てのポーズの内の所定のポーズが所定数の選択されたノードを有するかのステップ（１０６）と、
最後の選択されたノードの位置を、ポーズ毎に各カメラのビューポートの画像平面上に射影して、上記システムが最適化される追跡アルゴリズムを用いて、カメラのビューポートに関するメッシュのポーズを計算するステップ（１０７）と、
グラウンドトルースデータとアルゴリズムの結果を比較することにより、ポーズのエラー及びポーズの範囲を計算するステップ（１０８）と、
配置された能動的マーカのそれぞれの数及び位置とともに、ポーズの精度及び範囲の結果を記録して出力するステップ（１０９）と、
新規の最適化パラメータのセット、ポーズの見積もりパラメータのセット、カメラの場所のセットまたは３Ｄ目標のメッシュが存在するのかのステップ（１１０）と、
上記結果の間で、カメラの場所のセット、３Ｄメッシュのデータ、マーカツリー、最適化パラメータのセット、及びポーズの見積もりアルゴリズムのパラメータのセットを、少なくとも一つの制約を満たして選択するステップ（１１１）と
を含む。

好ましい実施形態のシステムの概略図である。 目標上で可能な基準の位置のメッシュのグラフを示す。 最適化ルーティンの結果のグラフを示す。 本発明の好ましい方法のフローチャートである。

まず、（例えば赤外線ＬＥＤを備える頭部の追跡システムのためのヘルメットなどの）追跡目標上での、能動的基準の可能な位置は、上記問題を離散的な最適化問題に変換するように数学的にモデル化される。モデルを数学的に表すためには様々な方法が現在知られており、非常に基礎的な例は、３次元座標による目標上で各位置を表すことができる。なお、メッシュ（モデル）上のこのような座標が、共通の座標系に対して規定され、可能なカメラの場所に関連し得るべきだということは重要である。同時に、動作条件下で追跡目標の可能なポーズを表すポーズのデータも、導入されるべきである。本発明の好ましい構成において、このようなデータは、現実の動作条件下の現実の目標上に配置される慣性計測装置（ＩＭＵ）を用いて取得され、目標の運動はポーズのデータとして用いられるように記録される。別の選択肢は、精密で完全なポーズのデータを生成できる多くの高分解能カメラと、追跡目標に搭載される能動的マーカを備えた、光学に基づくポーズの見積もり設定を用いることである。このデータ取得システムは実際とは異なり、そのため現実の動作条件下で目標のポーズをより精密で完全に取得することが期待される。これらのデータは、再度離散的であり、様々な動きのシナリオ下で目標の多くの可能なポーズを表す。提示したとおり、このデータは現実の動作条件を効果的にシミュレートする計算において考慮されるべきである。一例として、このデータは、頭部の追跡システムを用いる航空機においてパイロットの頭部の動きを表す。

航空機の場合、頭部の追跡物が稼働するコックピット（又は部屋）は一般的に知られ、カメラは、仮想的に対象人物（すなわちパイロット）の名目上の頭部に関するコックピットの３Ｄモデル内部に配置され得る。このことは、最適化が利用するポーズのデータベースを生成するように用いられ得る。カメラの場所に機械的でかつシステムに関連した限界が在ったとしても、カメラが配置でき、最適な場所が提案の最適化アルゴリズムの出力を用いて探索されるマージンが在る。

追跡目標とカメラの相対的な空間位置を知ることで、入力のポーズのデータを用いてメッシュを数学的に並進および回転させることができ、基準の可視性が計算できる。次のステップ（１０２）において、あらゆるポーズに対する全てのカメラのビューポートからの、メッシュ上の各ノードの可視性は計算され、可視性の値のリストが全てのノードを表して生成される。可視性の値は、全ポーズのデータを考慮して、或るノードが少なくとも一つのカメラのビューポートから何回可視であったかを表す。ポーズ毎のあらゆるカメラからの可視性は、一回のみカウントされる。実際のポーズの見積もりシステムにおいて一つ以上のカメラが存するとき、メッシュ上の位置は、可視としてカウントされるためには、少なくとも一つのカメラから可視であるべきであり、異なるビューポートからの多重の可視性は排除される。

好ましい構成において、閉塞モデルは、ポーズを与えられる３Ｄモデルの点（能動的マーカ）の可視性を見積もるために用いられる（非特許文献１）。このモデルはコンピュータグラフィクスにおいて発展した光線追跡技術に基づく。ＬＥＤの基準の場合、可視性のコンピュータ計算は、目標の座標系に対するＬＥＤの法線と、ＬＥＤの発光の円錐角と、既知の頭部のポーズに基づく。ＬＥＤの法線とカメラの座標系におけるカメラ平面の法線との間の角度は、ＬＥＤがどれだけ切り立ってカメラの方向に向けられるのか（ＬＥＤの方向角）を規定する。ＬＥＤの発光の円錐角は、ＬＥＤがカメラに対して可視である、最小のＬＥＤの方向角のしきい値を規定する。任意のポーズに対して、ＬＥＤの方向角は、各ＬＥＤに対してその可視性を決定するようにコンピュータ計算され得る。目標の座標系に対するマーカの法線と、マーカの発光の円錐角と、既知の目標のポーズは、どんな能動的マーカの追跡システムにも同等に適用できる。

次にステップ（１０３）において、最高の可視性のカウントを備えるノードは、能動的マーカの配置ノードとして選択される。最高の可視性のカウントを備えるノードは、従前にはマーカのノードとして決定されなかったが、決定されたカメラ位置とポーズのデータの大半に対して可視であるので、選択される。上記ノードは、マーカの配置位置を表す。マーカの配置に続いて、非最大の抑制しきい値よりも選択されたノードに近接したノードは、ステップ（１０４）において、以下の繰り返しにて非常に近接したノードの選択を防止するために、除去される。

マーカの配置処理を完了するために、アルゴリズムは、少なくとも所定数（例えばＫ）の配置されたマーカを有するポーズの内の所定のパーセント（例えばＸ）が可視であることを要求する。このステージにおいて、各ポーズに対して可視の（既に選択され且つ配置された）マーカの総数は、どのポーズが数Ｋのマーカの限界を越えるのか調査するようにコンピュータ計算される。マーカの配置が進むにつれて、或る数のマーカにおいて、パーセントＸのポーズが少なくとも数Ｋの可視のマーカを有することが期待される。しかしながら、本処理の間に、ポーズがこの条件を満たすならば、上記ポーズはポーズのデータベースから除外されるべきである。これにより、メッシュのマーカの可視性解析において、マーカ場所の分類は、未だ十分な数の可視のマーカを有しないポーズに対して実行されることが保証される。この除外は、既に十分な数の可視のマーカを有するポーズに対して、マーカの不必要な配置を防止する。従って、所定数の選択されたノードを有するポーズはステップ（１０５）において除外され、マーカの配置は、全ノードの内の十分なパーセンテージが選択されたノード（１０６）を十分に有する場合、停止される。

マーカの配置手順が、全ポーズの内の所定のパーセンテージが少なくとも数Ｋのマーカを有する後に終了するとき、（マーカツリーと呼ばれる）選択されたノードの３Ｄ座標は、光学的頭部追跡アルゴリズムに通される。マーカは、ステップ（１０７）において、マーカが各カメラから観られているように、ポーズ毎に画像平面上へ射影される。このような２Ｄのマーカ画像は、シミュレートされるシステムにて用いられるポーズの見積もりアルゴリズムに通される。ＬＥＤのマーカの場合、２Ｄのマーカ画像は２Ｄ平面上の点として表され、好ましい構成において、一定量のノイズが、合成のＬＥＤの中心画像を生成するように加えられる。ポーズの見積もりアルゴリズムは、ポーズ毎に独立して、与えられたマーカ画像（又はＬＥＤの座標と中心画像）に対するポーズを見積もる。

ステップ（１０８）において、カメラの場所のマーカツリーのポーズの見積もりアルゴリズムの構成のためのアルゴリズムの精度および範囲（ポーズの見積もりアルゴリズムによって見積もられ得るポーズのパーセント）がテストされる。ポーズのエラーはコンピュータ計算され、アルゴリズムがコンピュータ計算できないポーズは、隠れたポーズとして受け入れられる。マーカの現実の位置は、入力メッシュとカメラの場所のデータが初めにシミュレーションに入力されるとき、既知である。そのため、マーカの現実の位置は、それらをポーズの見積もりアルゴリズムの結果（グラウンドトルースデータ）と比較することによってポーズのエラーを決定するように用いられ得る。

良好なマーカツリーの構成は、最小数のマーカを伴い、小さいポーズのエラーと小さい隠れたポーズのパーセント（ポーズの範囲の逆）を有することを期待される。マーカ場所の最適化およびポーズの見積もりにおいて、多数のパラメータが存し、カメラの場所、カメラの視界、（能動的なＬＥＤのマーカの場合には）ＬＥＤの発光の角度、数Ｋ（各ポーズに対して可視のマーカがない最小数）、非最大の抑制距離のしきい値、中心上での画像のノイズ、及びポーズの見積もりアルゴリズムにおける多数のパラメータなどが在る。

このような最適化およびシミュレーション環境は、以下の事項を見つけ出すために用いられ得る。
１．カメラの場所
２．メッシュのデータを介した目標の３Ｄモデル
３．マーカツリーと最適化パラメータのセット
４．ポーズの見積もりパラメータ

よって、上記環境はシステムおよびアルゴリズム設計のために完全な環境である。パラメータは、好ましい構成において系統的に変えられて、３つの出力が記録される。３つの出力は、ポーズのエラーと、隠れたポーズのパーセントと、ステップ（１０８）において配置されたマーカの数である。上記方法の全体は、様々な入力データとポーズの見積もり結果をコンピュータ計算するためのポーズの見積もりアルゴリズムによって実施され得る。ポーズの精度と範囲の結果は、本ステップにおいても記録される。追跡目標モデルとして、ポーズの空間と可能なカメラの場所は（例えば航空機における）システム、コックピット又は機械的な設計における変更に応じて変更するとともに、最適化ルーティンはカメラの場所を微調整し、マーカツリーを見つけ出し、更にポーズの見積もりアルゴリズムを調整するように、再度実行され得る。比較される新規のデータセットが在るならば、上記方法は、チェック１１０に従ってステップ１０１から新規のデータを用いてやり直す。このようなデータは、最適化パラメータのセット、ポーズの見積もりパラメータのセット、カメラの場所のセット、または処理される３Ｄ目標のメッシュを含む。

パラメータ構成のサンプル出力は、プロットされる。Ｘ軸とＹ軸は、ポーズのエラーと隠れたポーズのパーセントであり、一方、マーカの数はドットのサイズにて符号化されるとともに、プロット上にテキストで書き込まれる。シミュレーションの出力は、システムエンジニアに、受け入れ可能な能動的マーカの数及びポーズの見積もり精度上の制約に応じて構成を選ぶための選択を提供する（図３）。

結果を生成するために用いられるパラメータの最後のセットと、カメラの場所のセットと、３Ｄメッシュのデータのマーカツリーと、最適化パラメータのセットと、ポーズの見積もりアルゴリズムのパラメータのセットの間で、少なくとも一つの制約を満たすことは、ステップ（１１１）において最適化されたポーズの見積もりシステムのパラメータとして選択される。最適化パラメータは、基本的には、非最大の抑制距離のしきい値と、所定数の選択と、所定数の選択されたノードを有する全ポーズの内の所定のパーセンテージである。好ましい構成において、言及される制約は以下の一つであり得る。すなわち、言及される制約は、最小のポーズのエラーに伴うパラメータのセット、最小の隠れたポーズに伴うシステム、又は最小のマーカの数に伴うシステムを選択することである。他の好ましい構成において制約は、以上の制約の組み合わせである。例えば、可能なマーカの位置上に如何なる制約もない場合、最小のポーズのエラー及び隠れたポーズのパーセントを備えるシステムが選択され得、或いは隠れたポーズ上に如何なる制約もない場合、マーカの最小数を備えるシステム及び最小のマーカの数が選択される。

本方法の好ましい構成において、「十分に選択されたノードを備えるポーズを除去する」ステップ（１０５）は、初期のメッシュに所定数のマーカを配置する前に実行されない。このことにより、ステップ（１０５）において少なくとも一つのポーズの排除が保証される。さらに他の構成において、ステップ（１０３）において能動的マーカの配置ノードとして選択するのに、空で利用可能なノードが全くない場合、処理はステップ（１１０）に送られる。この状況は、現在のメッシュが与えられたパラメータ及び構成のために十分なマーカを配置するのに適していないことを意味する。方法は、もし可能であれば新規のデータセットを受信することによって継続される。

追跡システムを最適化するためのシステム（１）であって、
ポーズ、メッシュ、及びカメラの位置データを受信するとともに、上記データを用いて追跡システムを最適化するための方法（１００）を実行して、
上記システムが最適化されるための追跡アルゴリズムを実行するとともに、方法（１００）によって見つけ出される結果を出力するように構成される少なくとも一つの処理部（２）と、
ユーザのような外部ソースからポーズ、メッシュ、及びカメラの位置データを受信するように構成される処理部（２）に接続されるとともに、処理部（２）によって見つけ出される結果を出力する少なくとも一つの入力／出力装置（３）と、
処理部（２）に接続されて、必要なときに、処理部（２）によって見つけ出される最適化の結果、並びにどんなポーズ、メッシュ、及びカメラの位置データをも格納するように構成されるメモリ部（４）と
を基本的に含む。

本発明の好ましい実施形態において、処理部（２）は、入力／出力装置（３）からポーズ、メッシュ、及びカメラの位置データを受信するように構成される。方法（１００）は、追跡目標の可能な向き及び場所を表す）ポーズのデータのシーケンスと、各データセットに対する（追跡目標上の可能なＬＥＤの位置を表す）単一のメッシュのデータ上に適用される。本発明に係るシステム（１）の他の実施形態において、処理部（２）は、メモリ部（４）からポーズ、メッシュ、及びカメラの位置データを受信するように構成される。これにより、新規のデータセット取得を必要性とすることなく、従前に記録されたデータを解析してシミュレートすることができる。

入力／出力装置（３）は、好ましくは、例えば光学的／磁気的、或いはレーザの追跡などの既知の手段によって、対象の追跡目標の少なくとも一つのポーズのデータを受信するように構成される。上記ポーズのデータは、好ましくは、対象の実際の追跡システムにおける少なくとも一つのカメラ位置に対する所定の基準系に関する。好ましい実施形態において、入力／出力装置（３）は、好ましくは、目標に搭載される慣性計測装置（ＩＭＵ）、または精密で完全なポーズのデータを生成できる、光学に基づく高分解能の多重のカメラのポーズの見積もりデータ取得システムを用いて、対象の追跡目標の少なくとも一つのポーズのデータを受信するように構成される。このようにすることで、現実の動作条件下の追跡目標のどんな位置および向きも、相当現実的なアプローチによって処理部（２）上でシミュレートされ得る。カメラの位置データおよびメッシュのデータは、現在知られるコンピュータ支援のモデリングツールにより、入力／出力装置を通してユーザによって生成される。よって、入力／出力装置（３）は、例えばモニタ、キーボード、マウス、カメラまたは組み合わせなどの、従来技術において知られるどんなインタフェース装置でもある。

メモリ部（４）は、例えばＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読み出し専用メモリ）、フラッシュメモリまたはハードディスクなどの、従来技術において知られるどんな揮発性または不揮発性メモリ装置でもある。これらメモリ装置は、一時的または永続的に上記方法（１００）に関した入力、出力または中間のデータを格納するように用いられる。

システム（１）とともに方法（１００）は、システムを最適化するように、追跡システムのカメラ、及び基準の位置、並びにポーズの見積もりアルゴリズムのパラメータを効果的にシミュレートできる。

このような基礎的な概念の範囲内で、本発明に係る「追跡システムの精度を計測するためのシステム及び方法」（１），（１００）の幅広い実施形態を展開することができる。本発明は、本明細書に記載される例に限定され得ないものであり、本質的に特許請求の範囲に応じるものである。

１…追跡システムを最適化するためのシステム
２…処理部
３…入力／出力装置
４…メモリ部
１００…追跡システムを最適化するための方法

Ｄａｖｉｓ ｅｔ ａｌ． ２００４，"Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｄｅｓｉｇｎｉｎｇ Ｍａｒｋｅｒ−Ｂａｓｅｄ Ｔｒａｃｋｉｎｇ Ｐｒｏｂｅｓ"

追跡システムを最適化するための方法（１００）であって、
追跡目標上で有り得る能動的マーカの位置及び向きを表すデータと、動作条件下で上記追跡目標の有り得るポーズを表すポーズのデータと、少なくとも一つのカメラの位置及び向きを取得するステップ（１０１）と、
上記ポーズのデータのあらゆるポーズに対して少なくとも一つのカメラから有り得る能動的マーカの位置を表すメッシュ上の各ノードの可視性をコンピュータ計算して、ポーズ毎にあらゆるカメラからの可視性が一回カウントされるにおいて、何回ノードが可視であるかをカウントする可視性の値を含む、全てのノードを表す可視性の値のリストを生成するステップ（１０２）と、
最高の可視性のカウントを伴い、従前に選択されなかったノードを、能動的マーカの配置ノードとして選択するステップ（１０３）と、
非最大の抑制しきい値よりも上記選択されたノードに近接したノードを除去するステップ（１０４）と、
少なくとも一つの所定数の選択されたノードを有するポーズを除去するステップ（１０５）と、
全てのポーズの内の所定のパーセンテージが所定数の選択されたノードを有するか否かテストするステップ（１０６）と、
上記テストが否定的ならば、上記コンピュータ計算するステップと、選択するステップと、ノードを除去するステップと、除去するステップと、テストするステップを繰り返すステップ（１０６ａ）と、
最後の選択されたノードの位置をポーズ毎に各カメラのビューポートの画像平面上に射影して、上記システムが最適化される追跡アルゴリズムを用いてカメラのビューポートに関するメッシュのポーズを計算するステップ（１０７）と、
グラウンドトルースデータと追跡アルゴリズムの結果を比較することにより、ポーズのエラー、及び追跡アルゴリズムに見積もられ得るポーズのパーセンテージであるポーズの範囲を計算するステップ（１０８）と、
能動的マーカの配置ノードの数及び位置とともに、ポーズのエラー及び範囲の結果を記録して出力するステップ（１０９）と、
新規の最適化パラメータのセット、ポーズの見積もりパラメータのセット、カメラの場所のセットまたは３Ｄ目標のメッシュが存在するのか否かテストするステップ（１１０）と、
上記テストが肯定的ならば、上記新規のデータを用いてメッシュのデータを取得するステップからやり直すステップ（１１０ａ）と、
上記結果の間で、カメラの場所のセット、３Ｄメッシュのデータ、選択されたノードの３Ｄ座標であるマーカツリー、最適化パラメータのセット、及びポーズの見積もりアルゴリズムのパラメータのセットを、最小のポーズのエラーに伴うパラメータのセット、最小の隠れたポーズに伴うシステム、又は最小のマーカの数に伴うシステムを選択することの一つである、少なくとも一つの制約を満たして選択するステップであって、隠れたポーズはポーズの見積もりアルゴリズムがコンピュータ計算できないポーズである、ステップ（１１１）と
を含む。

Claims (18)

1. 追跡目標上で可能な能動的マーカの位置及び向きを表すデータと、動作条件下で追跡目標の可能なポーズを表すポーズのデータと、少なくとも一つのカメラの位置及び向きを取得するステップ（１０１）と、
   あらゆるポーズに対して全てのカメラからメッシュ上の各ノードの可視性をコンピュータ計算して、ポーズ毎にあらゆるカメラからの可視性が一回カウントされるにおいて、何回ノードが可視であるかをカウントする、可視性の値のリストを生成するステップ（１０２）と、
   最高の可視性のカウントを伴い、従前に選択されなかったノードを、能動的マーカの配置ノードとして選択するステップ（１０３）と、
   非最大の抑制しきい値よりも上記選択されたノードに近接したノードを除去するステップ（１０４）と、
   所定数の選択されたノードを有するポーズを除去するステップ（１０５）と、
   全てのポーズの内の所定のパーセンテージが所定数の選択されたノードを有するかのステップ（１０６）と、
   最後の選択されたノードの位置をポーズ毎に各カメラのビューポートの画像平面上に射影して、上記システムが最適化される追跡アルゴリズムを用いてカメラのビューポートに関するメッシュのポーズを計算するステップ（１０７）と、
   グラウンドトルースデータとアルゴリズムの結果を比較することにより、ポーズのエラー及びポーズの範囲を計算するステップ（１０８）と、
   配置された能動的マーカのそれぞれの数及び位置とともに、ポーズの精度及び範囲の結果を記録して出力するステップ（１０９）と、
   新規の最適化パラメータのセット、ポーズの見積もりパラメータのセット、カメラの場所のセットまたは３Ｄ目標のメッシュが存在するのかのステップ（１１０）と、
   上記結果の間で、カメラの場所のセット、３Ｄメッシュのデータ、マーカツリー、最適化パラメータのセット、及びポーズの見積もりアルゴリズムのパラメータのセットを、少なくとも一つの制約を満たして選択するステップ（１１１）と
   を含むことを特徴とする追跡システムを最適化するための方法（１００）。
2. ポーズのデータは、現実の動作条件下の現実の目標上に配置される慣性計測装置（ＩＭＵ）を用いて取得されるとともに、
   目標の運動はステップ（１０１）において記録される
   ことを特徴とする請求項１に記載の追跡システムを最適化するための方法（１００）。
3. ポーズのデータは、追跡目標に搭載される能動的マーカと、ステップ（１０１）において精密で完全なポーズのデータを生成できる多重の高分解能カメラとを備える光学に基づくポーズのデータ取得システムを用いて取得される
   ことを特徴とする請求項１に記載の追跡システムを最適化するための方法（１００）。
4. 目標の座標系に対するマーカの法線に基づく閉塞モデルと、能動的マーカの発光の円錐角と、既知の目標のポーズは、ステップ（１０２）において３Ｄモデルの点の可視性を見積もるために用いられる
   ことを特徴とする請求項１乃至３のいずれか一つに記載の追跡システムを最適化するための方法（１００）。
5. ステップ（１０７）において、合成画像は、ノードの位置を射影した後に一定量のノイズを画像上に加えることによって生成される
   ことを特徴とする請求項１乃至４のいずれか一つに記載の追跡システムを最適化するための方法（１００）。
6. 上記制約は、ステップ（１１１）において最小のポーズのエラーを伴うシステムを選択することである
   ことを特徴とする請求項１乃至５のいずれか一つに記載の追跡システムを最適化するための方法（１００）。
7. 上記制約は、ステップ（１１１）において最小の隠れたポーズを伴うシステムを選択することである
   ことを特徴とする請求項１乃至６のいずれか一つに記載の追跡システムを最適化するための方法（１００）。
8. 上記制約は、ステップ（１１１）において最小のマーカの数を伴うシステムを選択することである
   ことを特徴とする請求項１乃至７のいずれか一つに記載の追跡システムを最適化するための方法（１００）。
9. ステップ（１０５）は、所定数のマーカを初期のメッシュに配置する前に実行されないことを特徴とする請求項１乃至８のいずれか一つに記載の追跡システムを最適化するための方法（１００）。
10. ステップ（１０３）において、能動的マーカの配置ノードとして選択するのに空で利用可能なノードが全くない場合、処理はステップ（１１０）に送られる
    ことを特徴とする請求項１乃至９のいずれか一つに記載の追跡システムを最適化するための方法（１００）。
11. ポーズ、メッシュ、及びカメラの位置データを受信するとともに、上記データを用いて追跡システムを最適化するための方法（１００）を実行して、
    上記システムが最適化されるための追跡アルゴリズムを実行するとともに、方法（１００）によって見つけ出される結果を出力するように構成される少なくとも一つの処理部（２）と、
    ユーザのような外部ソースからポーズ、メッシュ、及びカメラの位置データを受信するように構成される処理部（２）に接続されるとともに、処理部（２）によって見つけ出される結果を出力する少なくとも一つの入力／出力装置（３）と、
    処理部（２）に接続されて、必要なときに、処理部（２）によって見つけ出される最適化の結果、並びにどんなポーズ、メッシュ、及びカメラの位置データをも格納するように構成されるメモリ部（４）と
    を含むことを特徴とする追跡システムを最適化するためのシステム（１）。
12. 処理部（２）は、入力／出力装置（３）からポーズ、メッシュ、及びカメラの位置データを受信するように構成される
    ことを特徴とする請求項１１に記載の追跡システムを最適化するためのシステム（１）。
13. 処理部（２）は、メモリ部（４）からポーズ、メッシュ、及びカメラの位置データを受信するように構成される
    ことを特徴とする請求項１１又は１２に記載の追跡システムを最適化するためのシステム（１）。
14. 入力／出力装置（３）は、慣性計測装置（ＩＭＵ）を用いて、対象の追跡目標の少なくとも一つのポーズのデータを受信するように構成される
    ことを特徴とする請求項１１乃至１３のいずれか一つに記載の追跡システムを最適化するためのシステム（１）。
15. 入力／出力装置（３）は、精密で完全なポーズのデータを生成できる、多重の高分解能のカメラを備えた光学に基づくポーズのデータ取得システムを用いて、対象の追跡目標の少なくとも一つのポーズのデータを受信するように構成される
    ことを特徴とする請求項１１乃至１３のいずれか一つに記載の追跡システムを最適化するためのシステム（１）。
16. 入力／出力装置（３）は、ユーザの生成されたカメラの位置データ及びメッシュのデータを受信するように構成される
    ことを特徴とする請求項１１乃至１５のいずれか一つに記載の追跡システムを最適化するためのシステム（１）。
17. メモリ部（４）は、揮発性メモリ装置である
    ことを特徴とする請求項１１乃至１６のいずれか一つに記載の追跡システムを最適化するためのシステム（１）。
18. メモリ部（４）は、不揮発性メモリ装置である
    ことを特徴とする請求項１１乃至１７のいずれか一つに記載の追跡システムを最適化するためのシステム（１）。

Images