JP2015524560A - ３ｄ走査および位置決めのインターフェース - Google Patents

Abstract

【課題】位置決め信頼性の欠如についての指標を提供するシステムおよび方法が記述される。【解決手段】本システムは、物体の表面形状を走査することおよび形状ベースの位置決めを用いて各フレームについて３Ｄ点を推定することを行うスキャナと、スキャナのために推定された姿勢を３Ｄ点を用いて推定する姿勢推定器と、推定された姿勢が拘束されない位置決めを有するかを決定する非信頼性姿勢検出器と、信頼性の欠如した姿勢推定が検出された旨の指標を生成する指標生成器とを含む。一実施形態において、自由度識別子は、推定された姿勢において問題のある自由度を特定する。一実施形態において、特徴点検出器は、再観察可能な特徴点を検出し、姿勢推定器は、特徴点を３Ｄ点と共に用いて、推定された姿勢を推定し、信頼性の欠如した姿勢の検出器は、特徴点を用いて、推定された姿勢を信頼性の欠如した姿勢推定として特定する。【選択図】図３

Description

本発明は、物体の表面形状の３次元走査の分野に主に関し、より詳細には、立体照明立体視法に関する。

物体の表面形状の３次元走査およびデジタル化は、多くの業界およびサービスにおいて一般的に用いられており、その用途は極めて多い。物体の形状は、センサとその物体の表面上の1組の点との間の距離を測定する測距センサを用いて、走査されデジタル化される。センサは、物体の表面の断面を所与の視点から取得する。走査断面の伸張または表面全体の走査を行うために、センサまたは物体をいくつかの視点のうちの１つへ移動させ、センサと物体との間の全ての相対的姿勢間の空間関係を取得する。

これらの空間関係の測定および計算については、いくつかのアプローチが存在する。これらのアプローチのうち１つにおいては、観測物体の形状を利用して、空間における、相対的なセンサの位置および向き、すなわち、その姿勢を計算する。これらの形状ベースのアプローチの場合、その場面で、標的または追加の基準を添付する必要が無いため、その取得の設定のための時間が短くてすむ。姿勢推定を信頼性良く確実に行うには、観測された形状断面の形状の複雑度が不十分である場合がある。平面状、球状、円筒状表面などの状態においては、センサー姿勢の６つの自由度を一義的に決定することが不可能であることが周知である。ノイズが存在する場合、非理想的な状態に起因して、信頼性の欠如した姿勢推定が発生し得る。

本発明の１つの広い側面によれば、位置決めの非信頼性についての指標を提供するシステムが提供される。このシステムは、物体の表面形状を走査し、当該スキャナのための形状ベースの位置決めを用いて複数のフレームの各フレームについて１組の３Ｄ点を累積するスキャナと、上記スキャナのために、上記３Ｄ点を用いて推定姿勢を推定する姿勢推定器と、上記推定姿勢が拘束されない位置決めを有するかを決定することを行う姿勢推定器と、上記推定姿勢が拘束されない位置決めを有するかどうかを決定し、上記推定された姿勢が拘束されない位置決めを有する場合には、上記推定姿勢を信頼性の欠如した姿勢推定として特定する非信頼性姿勢検出器と、上記信頼性の欠如した姿勢推定が検出された旨の指標を生成する指標生成器とを有する。

一実施形態において、システムは、上記推定された姿勢において少なくとも１つ問題のある自由度を特定する自由度識別子をさらに有し、上記自由度識別子は、上記非信頼性姿勢検出器によってトリガされ、上記指標生成器によって生成された指標は、上記指標に少なくとも１つの問題のある自由度についての情報を含む。

一実施形態において、指標生成器によって生成された指標は、問題のある自由度全てについての情報を含む。

一実施形態において、システムは、上記複数のフレームのうち少なくとも２つにおいて上記スキャナにより再観察可能な特徴点の存在を検出する特徴点検出器をさらに有し、上記姿勢推定器は、上記３Ｄ点と共に上記特徴点を用いて上記推定姿勢を推定し、上記非信頼性姿勢検出器は、上記特徴点を用いて上記推定姿勢を信頼性の欠如した姿勢推定として特定する。

一実施形態において、システムは、スピーカをさらに有し、上記指標生成器は、上記スピーカに可聴指標を出させる。

一実施形態において、システムは、視覚インターフェースをさらに有し、上記指標生成器は、上記視覚インターフェースに視覚指標を表示させ、上記視覚指標は、テキストメッセージおよびグラフィカルメッセージのうち少なくとも１つである。

一実施形態において、システムは、モデルビルダをさらに有し、上記モデルビルダは、上記１組の３Ｄ点を用いて上記表面の形状の累積モデルを構築し、上記視覚インターフェースは、上記累積モデルのグラフィカル表示を表示し、上記視覚指標は、上記累積モデルの上記グラフィカル表示上に重ねられる。

一実施形態において、システムは、上記１組の３Ｄ点によって変更された上記累積モデルの全ボクセルにおけるボクセル感度レベルの平均を累積するボクセル感度レベル計算器をさらに有し、上記視覚インターフェースは、上記ボクセル感度レベルに対応する色を用いて上記累積モデルの上記グラフィカル表示を表示する。

一実施形態において、システムは、上記信頼性の欠如した姿勢の推定の信頼性欠如のレベルを決定し、上記信頼性欠如のレベルを所定の信頼性欠如の閾値と比較し、上記信頼性欠如のレベルが上記所定の信頼性欠如の閾値よりも低い場合にのみ、上記フレームのそれぞれの１組の３Ｄ点を上記モデルビルダーへ転送するフレーム選択器をさらに有する。

一実施形態において、上記視覚インターフェースは、上記走査の現在のフレームのグラフィカル表示を表示し、上記視覚指標は、上記現在のフレームの上記グラフィカル表示上に重ねられる。

一実施形態において、システムは、上記非信頼性姿勢検出器によってトリガされ、上記推定姿勢を用いて姿勢感度レベルを上記推定姿勢へ属性の付加をする姿勢感度レベル属性付加器をさらに含み、上記指標生成器によって生成された指標は、上記指標と共に、上記視覚指標の色である上記姿勢感度レベルについての情報を含む。

一実施形態において、システムは、上記推定姿勢に少なくとも１つの問題のある自由度を特定する自由度識別子をさらに有し、上記信頼性の欠如した自由度の識別子は、上記非信頼性姿勢検出器によってトリガされ、上記指標生成器によって生成された指標は、上記指標と共に、少なくとも１つの問題のある自由度についての情報を含み、上記グラフィカルメッセージは、上記問題のある自由度に対応する向きと共に表示される少なくとも１つの矢印を含む。

一実施形態において、システムは、 ユーザからコマンドを受信し位置決め信頼性の検証を行うユーザコマンドインターフェースをさらに有し、上記非信頼性姿勢検出器と指標生成器は、上記コマンドによってトリガされて、上記信頼性の欠如した姿勢推定が検出された旨の指標を生成する。

本発明の別の広い側面によれば、位置決め信頼性の欠如についての指標を提供する方法が提供される。この方法は、物体の表面形状を走査し、当該スキャナのための形状ベースの位置決めを用いて複数のフレームの各フレームについて１組の３Ｄ点を累積することと、上記スキャナのために、上記３Ｄ点を用いて推定姿勢を推定することと、上記推定姿勢が拘束されない位置決めを有するかを決定することを行うことと、上記推定姿勢が拘束されない位置決めを有するかどうかを決定し、上記推定された姿勢が拘束されない位置決めを有する場合には、上記推定姿勢を信頼性の欠如した姿勢推定として特定することと、上記信頼性の欠如した姿勢推定が検出された旨の指標を生成することとを含む。

一実施形態において、上記推定姿勢が拘束されない位置決めを有するかどうかを決定することは、上記推定姿勢の変化の関数としてフレームの当てはめの質記述する共分散行列を用い、上記共分散行列の固有ベクトルを抽出し、上記固有ベクトルの対応する固有値の比率を計算し、所定の閾値を用いて、上記比率のうち少なくとも１つの高い比率を特定し、上記高い比率から、少なくとも１つの問題のある固有ベクトルを抽出し、ただ一つの高い比率がある場合には、上記表面形状の種類を決定して、直線状突起、回転表面およびらせんのうち１つに対応させ、高い比率が２つある場合には、上記表面形状の種類を確認し円筒に対応させ、高い比率が３つある場合には、上記表面形状の種類を決定し平面および球のうち１つに対応させることによって表面の形状の種類を決定することを含む。

一実施形態において、システムは、上記複数のフレームのうちのｎ個の最新のフレームにおいて信頼性の欠如した姿勢推定を有するｕ個のフレームの数が所定の閾値に達したとき、上記指標を生成するために上記指標生成器をトリガする時間的フィルタをさらに有する。

本発明の別の広範な局面によれば、システムおよび位置決め信頼性の欠如についての指標を提供する方法が提供される。このシステムは、物体の表面形状を走査することおよび各フレームについて形状ベースの位置決めを用いて１組の３Ｄ点を累積することを行うスキャナと、スキャナのために推定された姿勢を３Ｄ点を用いて推定する姿勢推定器と、推定された姿勢が拘束されない位置決めを有するかを決定する、信頼性の欠如した姿勢の検出器と、信頼性の欠如した姿勢推定が検出された旨の指標を生成する指標生成器とを含む。一実施形態において、自由度識別子は、推定された姿勢において問題のある自由度を特定する。一実施形態において、特徴点検出器は、再観察可能な特徴点を検出し、姿勢推定器は、特徴点を３Ｄ点と共に用いて、推定された姿勢を推定する。信頼性の欠如した姿勢の検出器は、特徴点を用いて、推定された姿勢を信頼性の欠如した姿勢推定として推定する。

添付の図面は、本発明の主要な側面のより良い理解を提供するものとして記載され、本明細書中において用いられかつ本明細書の一部を構成する。これらの図面は、本発明の例示的な実施形態を例示し、本記載と共に本発明の原理を説明する役割を担う。添付の図面は、縮尺通りに記述されることを意図していない。

図１（従来技術）は、物体の走査プロセスを示す。 図２は、形状ベースの位置決めにおける姿勢の不確実性の原因となり得る理想的な表面の例を示す。 図３は、円筒物体断面上の拘束されない自由度の視覚フィードバックを示す。 図４は、平面物体断面上の拘束されない自由度の視覚フィードバックを示す。 図５は、直線状に突出した物体断面上の拘束されない自由度の視覚フィードバックを示す。 図６は、球状物体断面上の拘束されない自由度の視覚フィードバックを示す。 図７は、回転対称な物体断面についての拘束されない自由度の視覚フィードバックを示す。 図８は、走査物体についてのグローバル視覚フィードバックを示す。 図９Ａは、表面形状の種類を決定する方法の例示的ステップのフローチャートを示す。 図９Ｂは、表面滑りの場合を特定する方法の例示的ステップのフローチャートを示す。 図１０は、平面表面についての視覚フィードバックの別の実施形態を示す。 図１１は、標的の付加を提案する視覚フィードバックの別の実施形態を示す。 図１２は、テキストメッセージを用いた視覚フィードバックの別の実施形態を示す。 図１３は、直線状に突出した物体断面のフレーム上の拘束されない自由度の診断モードにおける視覚フィードバックを示す。 図１４は、不適切なセンサー位置決めの可能性のある結果を示す。 図１５は、位置決めの非信頼性についての指示を提供するシステムの例示的な構成要素のブロック図である。

以下の実施形態の記載において、添付図面の参照は、本発明が実施可能な例を示すために、行われる。本発明の範囲から逸脱することなく他の実施形態も可能であることが理解される。

図１（従来技術）は、物体１０２を示す。物体１０２の表面は、測距センサ１０１を用いて測定１００がされる。センサーは、視野１０３内のその固有の座標系内の１組の３Ｄ点を取得する。その後、センサの物体に対する相対的位置および向きが少し変更される。センサは、既に取得された表面断面との重なりを確保しつつ、物体の新たな断面を観測する。そのため、累積された観測断面が各新規フレームにおいて拡張される。物体の表面形状が剛性を保持していると仮定した場合、現在の３Ｄフレームを既に観測された断面と適合させて、前回のフレームの座標系についてまたは累積された表面モデルの座標系についてセンサの剛体変換を得る。この目的のための周知の方法が存在する。例えば、ＰおよびＱが２組の網または法線が関連付けられた点の組であるとする。各点ｐ_ｉからｑ_ｉにおけるＱの接線までの平方距離の合計を最小化させる、３ｘ３の回転行列Ｒおよび３ｘ１の並進ベクトルｔによって構成される剛体変換が、以下のように求められる。

アライメント誤差Ｅを最小化する回転が小さい場合、行列Ｒおよびベクトルｔは、Ｒの線形化後に解くことができる。

図２は、上記した形状ベースの位置決めアプローチが信頼できなくなる状態２００を示す。表１は、図２に示す各表面種類についての拘束されないパラメータを示す。

球状断面２０１の近隣の表面断面を観測しつつ、センサーの相対的な向きを決定することは不可能である。独自の解法は無い。３つの向きの自由度は、拘束されない。ほぼ平面の表面断面２０２が観測される場合、その平面内の２つの平行移動を一意に決定することはできない。さらに、その平面の法線ベクトルの回りの回転角度も決定することができない。回転表面２０３、２０４からの断面の観測は、拘束されない向きの角度に結びつく。標的が付された平面断面も、このカテゴリーに入る。円筒断面２０５の場合、円筒軸の回りの回転角度だけでなく軸に沿った１つの平行移動が、拘束されない。直線状突起２０６の場合、１つの平行移動方向が、拘束されない。らせん運動２０７の場合、回転角度および軸に沿った平行移動が制約が不十分となる。これらの場合は、通例である。

これらの場合のうちいくつかは、さらに一般化することができる。例えば、同一の法線ベクトルを備える平面の組の観測は、平面表面の種類２０２に対応する。同心球または円筒断面を観測することは、球２０１または円筒表面の種類２０５が観測される状態に対応する。これは、回転または平行な直線状突起の同心表面の断面にもあてはまる。

これらの状態２００のうちの１つが発生した場合、位置決めシステムは、位置決め信頼性を確保するために他の特性を利用する必要がある。位置決め信頼性は、完全な表面モデル内で物体の大きな表面断面を統合するための必要な条件である。テクスチャ情報を利用することまたは物体上に標的を付することが可能である。テクスチャの役割は、標的の役割と同様である。テクスチャ中の特徴点を検出し、フレーム間または現在のフレームとこれらの特徴点を含む基準モデルとの間で整合させることができる。標的により、良い精度での抽出が可能となるという利点が得られ、これにより、信頼性のあるセンサー位置決めが可能となる。

フレームを累積しながら、拘束されない位置決めのこれらの状態の検出と誤差の防止を可能にすることは困難である。このような状態が検出された場合、本発明のシステムは、信頼性の欠如した自由度についてユーザに通知することができる。これは、リアルタイムで行うことが可能である。そして、必要なときに標的を表面へ付加することが可能になる。また、モデル化された表面全体についての診断を提供し、どこで位置決めが信頼性があるのかどこで信頼性が低いかもしくは信頼性が欠如ししているのかを示すことができる。

Ｇｅｌｆａｎｄら（「Ｇｅｏｍｅｔｒｉｃａｌｌｙ Ｓｔａｂｌｅ Ｓａｍｐｌｉｎｇ ｆｏｒ ｔｈｅ ＩＣＰ Ａｌｇｏｒｉｔｈｍ」、Ｐｒｏｃ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３Ｄ Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｍｏｄｅｌｉｎｇ、２００３、ｐｐ．２６０−２６７）および「Ｓｈａｐｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｕｓｉｎｇ Ｌｏｃａｌ Ｓｌｉｐｐａｇｅ Ａｎａｌｙｓｉｓ」、ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｇｅｏｍｅｔｏｒｙ Ｐｒｏｃｅｓｓｉｎｇ、２００４、ｐｐ．２１９−２２８において）は、３Ｄ表面の点の組からより弱い自由度を特定するための数学的ツールについての提案をしている。彼らは、方程式１を変換ベクトル（ｒ、ｔ）の関数として書き直している。ここで、ｒは、３本の正準軸ｘ、ｙおよびｚの回りの回転ベクトルであり、ｔは、３Ｄ空間中の並進ベクトルである。これは、以下の共分散行列Ｃの表現を得ることを可能にする。この表現は、ベクトル［Δｒ^Ｔ Δｔ^Ｔ］によってＱに対する最適アライメントからのＰの小さな変位の後に、方程式１中のエネルギーＥ（アライメント誤差）がどれくらい変化するかを特徴付ける。

この式中、ｐ_ｉは、Ｑ中の点であり、ｎ_ｉは、Ｑ中の対応する整合点における表面法線である。［Δｒ^Ｔ Δｔ^Ｔ］による変位後の予測されるエネルギー変化は、以下のように表される。

この増加が相対的に小さな変換は、入力組が相互にスライドし得る方向に対応するため、変換の制約が不十分である。これらの方向を特定するために、行列Ｃの固有ベクトルを抽出し、対応する固有値の比率を計算する。固有値がλ_１からλ_６へ増加していると仮定すると、以下の比率が計算される。

共分散行列から良好な推定を得るために、点の正規化の後に方程式２を計算する。すなわち、これらの点をそれらの平均に対して事前に集中させ、原点への平均距離が１となるように、その変換された座標をスケーリングする。

本発明のシステムにおいて、特徴点（例えば、標的）も観測される場合、共分散行列は、以下のように計算される。

最も信頼性の低い自由度を特定するために、最大固有値とその他の固有値それぞれとの間の比率を考慮する。興味深いことに、図２および表１から、実際の表面の観測は、６個の自由度のうち少なくとも３個を拘束することが明らかである。これらの固有値を降順にソートしたなら、信頼性のより低い自由度の部分集合を特定するための１つの簡単な方法は、第３の固有値から、これらの順番に並べられた比率においてどこに重要なステップが存在するかを特定することにある。因数１０は、これら２つの部分集合を区別し得る。また、条件数が閾値よりも高いことも確認される。例えば、この閾値は１００を超え得る。固有値についての他の値または基準も利用できることは明らかである。そして、信頼性のより低い運動を表す対応する固有ベクトルが得られる。正準軸［ｒ_ｘｒ_ｙｒ_ｚｔ_ｘｔ_ｙｔ_ｚ］（ここで、ｒ_ｘ、ｒ_ｙおよびｒ_ｚは回転成分であり、ｔｘ、ｔｙおよびｔｚは平行移動成分である）と完全にアライメントしていない固有ベクトルは、均一な平行移動と重畳された均一な回転によって構成される生成されていないらせん運動をあらわすことは、注意に値する。１つの標的が検出された場合、表面断面上の３Ｄ点および固定特徴点の組み合は、１つの回転自由度へ拘束するため、１つを超えない固有ベクトルが、高位の条件数にタグ付けすることができる。１つを超える標的が表面点と共に観測された場合、固有ベクトルをタグ付けすることはできない。この観測は、方程式３中の局所的エネルギー基準に従って姿勢を良好に拘束する。

それにも関わらず、小さな動き、細かい位置合わせをビュー間に想定できない場合において、対称性が可能であり対象性を特定することおよび／または分析することが可能である。例えば、ＰＣＴ特許出願公開第ＷＯ ２０１２／１６８，９０４号には、可能な対称性を検出するための方法およびシステムが記載されている。

信頼性最も低い自由度に対応する固有ベクトルを特定されたなら、これらの固有ベクトルの成分が分析される。各固有ベクトルは、［ｒ_ｘ、ｒ_ｙ、ｒ_ｚ、ｔ_ｘ、ｔ_ｙ、ｔ_ｚ］を成分とする６成分ベクトルである。これを［ｒｔ］と簡単に表す。各ベクトルはらせんを示すため、らせんのピッチにより、動きの種類の特定が支援される。ピッチの式は、以下のように表される。

０のピッチは均一な回転と関連付けられる一方、極めて大きな（無限の）ピッチは平行移動に近づく。信頼性のより低い自由度のサーチ時において固有ベクトルが１つだけ特定された場合、ピッチが計算され、回転、平行移動またはらせん運動を割り当てることが可能かが決定される。これが回転である場合、観測された表面は、回転表面２０３および２０４の場合に対応する。これが平行移動である場合、観測された表面断面は、直線状突起２０６として挙動する。そうではない場合、これはらせん２０７である。

２つの固有ベクトルが特定された場合、対応する場合は円筒２０５であることを確認する必要がある。１つの固有ベクトルが低ピッチでの回転を記述するのに対し、第２の固有ベクトルは、平行移動、高ピッチ値を円筒軸に沿って表現する。これらは、ピッチを用いて特定することも可能である。最後に、３つの固有ベクトルが特定される場合がある。この場合は、球２０１または平面２０２に対応する。ピッチの小さな値が計算された場合、球２０１の場合の３つの回転を示し、各固有ベクトルについて１つを示す。各固有ベクトルと関連付けられた回転ベクトルｒ_１、ｒ_２およびｒ_３は、ほぼ直交しているはずである。平面断面２０２の存在下において、１つの回転および２つの平行移動が特定され、それぞれ異なる固有ベクトルに属する。同一法線を用いて平面の存在を検出する方法において、点乗積ｒ_ｉ・ｒ_ｊ（ｉ≠ｊ）が計算される。これらの回転成分は全て、平面に対してほぼ平行である。絶対値は、一般的に０．９よりも高い。

平面２０２と球２０１とを区別するための別のアプローチは、現在のフレームの観測された３Ｄ点に面を当てはめることである。これは、３Ｄ点の平均を減算した後、３Ｄ点の共分散行列の固有値を抽出することにより、達成される。最小の固有値は、平面に対する法線である固有ベクトルに対応する。そして、最小の固有値に対する２番目に大きい固有値の比率に閾値を適用して、平面２０２と球２０１との間の決定をすることが可能である。それにもかかわらず、第１のアプローチの場合、平行な平面を検出するであろうから、より良好な結果が得られる。上記したように、平行な平面が観測される場合、同じく信頼性の欠如した自由度につながる。その位置を平行移動でスライドさせ、平面の共通の法線ベクトルの回りに回転させることができる。この点において、観測された表面の種類が決定されたことになる。

手順９００の全体が、図９Ａと図９Ｂにまとめられている。図９Ａにおいて、表面形状種類を決定するための方法の例示的なステップは、フレームの当てはめの質を推定された姿勢の変化の関数として記述する共分散行列を用いるステップ（９０１）と、共分散行列の固有ベクトルを抽出するステップ（９０３）と、固有ベクトルの対応する固有値の比率を計算するステップ（９０５）と、比率のうち少なくとも１つの高比率を所定の閾値を用いて特定するステップ（９０７）と、少なくとも１つの問題のある固有ベクトルを高比率から抽出すること（９０９）と、高い比率の数を決定するステップ（９１１）と、高比率の数を用いて表面形状の種類を決定するステップ（９１３）とを含む。単一の高比率がある場合、直線状突起、回転表面およびらせんのうち１つに対応する表面形状種類が決定される。高比率が２つある場合、円筒に対応する表面形状種類と確認される。高比率が３つある場合、平面および球面のうち１つに対応する表面形状の種類が決定される。

図９Ｂは、高い比率の数を用いて表面形状種類を決定するステップ（９１３）の例示的なサブステップの詳細を示す。

可能性のある滑りを表す固有ベクトルが１つだけであるか否かが試験される（９２１）。試験が肯定的である場合、特定された固有ベクトルのピッチが計算され、その値について試験される（９２２）。ピッチが高レベル（例えば＞１）である場合、表面種類が直線状突起に対応することを確認される（９２３）。試験が失敗した場合（９２２）、ピッチ値が０に近いか否か（例えば＜０．１）が試験される（９２４）。ピッチが０に近い場合、表面種類は回転表面であり（９２５）、そうでは無い場合、らせんであることが確認される（９２６）。

共分散行列の最高固有値と比較して高比率を示す固有値が１つよりも多い場合、このような固有値が２つ有るかが試験される（９２７）。試験が肯定的である場合、円筒表面であることを確認される（９２８）。

そうでは無い場合、３つの固有値が高比率を示すことが確認される（９２９）。試験が肯定的である場合、３つの点乗積ｒ_ｉ・ｒ_ｊ（ｉ≠ｊ）が試験される（９３０）。これら全てが高い（例えば＞０．９）場合、平面表面種類であることが確認される（９３１）。そうではない場合、球状表面種類が存在することを確認する（９３２）。

最高固有値に対して高比率を有する固有値が３つを超えることは無いため、表面においてずれが無いと決定される（９３３）。

ユーザを支援するため、視覚指標を提供することができる。この視覚指標は、特定された場合に特有のものであり得る。この視覚指標は、既にユーザが利用することが可能な現在のフレームの表示上に重畳され得る。あるいは、可聴指標を用いてもよい。

ユーザインターフェースにおける視覚重畳の例を図３〜図７に示す。図３において、円筒型の表示３００が図示される。現在のフレーム３０２が物体３０１上に重畳される。典型的には、物体の完全取得およびモデル化の後のみに、物体全体が表示される。そのため、部分的にモデル化された物体上に現在のフレームが重畳されたようにみえる。矢印３０３が現在のフレームの上方に表示される。この記号３０３の表示により、円筒軸に沿った平行移動の動きおよび同一軸の回りの回転の信頼性がより低い可能性が示される。回転を示す矢印を、円筒３０１の曲率に従って曲線状にすることができる。

この指標３０３は、センサー変位時の誤差累積の回避のため、ユーザが動きをより制約すべきである旨を示す。動きを制約するための１つの方法として、標的を物体３０１上またはその側方に付加する方法がある。

図４は、平面断面４０１の表示４００を示す。現在のフレーム４０２が平面４０１上に重畳されている様子が図示されている。ここでも、平面の部分的に累積されたモデルのみが走査プロセス時において視認可能である場合が多い。精度損失の可能性についてユーザに通知するために平行移動および法線軸双方を表示することが可能であるが、この表示を簡略化し、平行移動自由度４０３のみを表示してもよい。その場合、ユーザは、簡潔なグラフィカルメッセージ４０３から、位置決め支援のためのいくつかの特徴が無いことを理解する。絵文字４０３が現在のフレーム表示４０２上に重畳される。

図５は、直線状突起表面種類５０１を含む表示５００を示す。モデル化物体５０１が現在のフレーム５０２と共に図示されている。この場合、システムは、図示の矢印５０３に沿った位置決めにおいて、表面種類および信頼性の欠如を検出する。

図６は、球６０１の表示６００を示す。物体６０１および現在のフレーム６０２が図示されている。最も信頼性のある自由度の簡潔な表示６０３が図示されている。この場合、ロール（球に対する法線の回りの角度回転）は表示されず、有用と思われるときに表示され得る。

図７は、回転表面７０１の表示７００を示す。物体７０１が、重畳された現在のフレーム７０２と共に図示されている。矢印７０３は回転および暗示的にその軸を示す。この軸が暗示的に示されているのは、位置決めにおける信頼性がより低いためである。

らせん２０７の表示は図示されていない。簡潔なバージョンにおいて、ユーザは、円筒の１つ（図３を参照）と同様の視覚フィードバックを見る。なぜならば、この場合、軸の回りの回転およびこの同一軸に沿った平行移動はどちらとも、信頼性が最も低い自由度であるからである。

他の変化および種類の視覚フィードバックが表示可能であることは明らかである。例えば、平面表面１０００のための別の視覚フィードバックが図１０に示されている。矢印１００３は簡単な線として表示され、平面の法線ベクトルに沿って方向付けられた回転軸１００４が表示される。モデル化表面１００１および現在のフレーム１００２が図示されている。

図１１において、視覚フィードバック１１００の別の例が図示されている。アイコン１１０３が表示されて、現在のフレーム１１０２が取得される表面上の少なくとも１つの標的の付加が提案される。ここで、表面モデル１１０１も表示されている。平面表面の特定の場合において、自由度を完全に拘束するために、１つ以上の標的を付加すべきである。

図１２は、さらに別の例示的な視覚フィードバック１２００を示す。視覚フィードバック１２００はテキストメッセージ１２０１であり、ユーザへの警告メッセージ１２０２を含む。本例において、テキストメッセージ１２０１は以下のような内容である：「注意！スキャナ位置決めの信頼性が欠如しています」。本例において、ずれの性質についてのユーザへの通知は無い。スキャナ位置決めの信頼性が現在欠如している旨のみが、ユーザへ警告される。その場合、ユーザは、別の種類のフィードバックをユーザインターフェース上において起動することおよび／または単に標的をその場面に付加することを決定し得る。
視覚フィードバック
現在のフレーム上に重畳された視覚フィードバックと、任意選択的に部分的にモデル化された物体とを表示するステップについて、本明細書中において以下詳述する。

先ず、図５に示す平行移動の場合について考える。その目的は、現在のフレームの表示上に長手方向矢印を重畳することである。矢印は、位置決めの信頼性がより低い方向に沿って方向付けられる。現在のフレームの３Ｄ点の平均（重心）が計算される。重心に最も近い３Ｄ点を特定した後、一定の任意のオフセットが、表示されているビューの光軸方向において付加される。その結果、見ている人と表面との間にある矢印の幻影を生成する。そのため、この矢印は、この位置において描写され、特定された固有ベクトルの並進ベクトル成分の方向に向けられる。矢印が図５のような幅で描写された場合、現在のフレーム中の３Ｄ点の平均法線ベクトルを計算した後、矢印の計算された方向に外積を付加する前に、そのロールを計算することができる。

図７に示す単一の回転の場合、固有ベクトルから回転軸の方向を特定した後、軸位置を計算する。この目的のため、軸方向を考える。なぜならば、任意の平面の法線ベクトルおよび３Ｄ点がこの平面内において突出するからである。各３Ｄ点と関連付けられた法線も、同一平面内において突出し、２Ｄベクトルを得る。各突出点およびその突出法線により、突起平面内の線が規定される。この探索軸は、線の組全体に対する平方距離の合計を最小化するこの点においてこの平面と公差する。これらの距離それぞれに対し、重みも付加される。この重みは、各点と関連付けられた突出法線ベクトルの長さに比例するように設定される。より詳細には、以下のようにしてＸをサーチする。

式中、Ｘは、平面ａ_ｉにおいて求められる２Ｄ点であり、ｃ_ｉは、直線のパラメータであり、ｗ_ｉは、各点と関連付けられた重みである。発見された点Ｘおよび回転軸の方向から、軸が３Ｄに設定される。曲線矢印の中心が計算された回転軸となるように、曲線矢印が位置決めされる。本例において、曲率半径は固定されるが、３Ｄ点の関数（例えば、回転軸の回りの慣性）に基づいて調節することが可能であることは明らかである。この軸に沿って、矢印は、軸上の点の重心の突起に配置される。最後に、例えばノイズに起因するあるフレームから他のフレームへの軸の回りにおける振動を回避するため、センサーのｙ軸に対応するベクトルを、矢印が描写されている平面内において突出させる。同じことを曲線矢印の固有のｙ軸について行った後、後者の突出したｙ軸をセンサーの突出したｙ軸とアライメントをとる。このようにして、曲線矢印のクロッキングは、観測表面に対するセンサー視点に依存する。

図３に示す円筒の場合、回転表面に適用される手順を適用して、回転軸を決定する。その後、円筒曲率が推定される。その結果、表示されたクロス矢印を曲げることが可能になる。そのために、曲率半径を３Ｄ点の組全体から推定する。この半径は、それらの点と円筒軸との間の平均距離に等しくされる。最後に、円筒の視認可能な表面がセンサー視点に対して凸状または凹状にみえるかを決定する。そのために、３Ｄ点の重心を計算し、最も近い３Ｄ点を特定する。特定された最も近い３Ｄ点が計算された重心よりもセンサーに近い場合、円筒は凸状にみえる。そうではない場合、凹状にみえる。この窪みは、単に指標である。同じ軸を共有する円筒の同軸の断面を観測することができ、これらの円筒は、センサー視点に対して全て凹状でなくてもよい。それにもかかわらず、曲率の計算された半径は、それぞれ凸状または凹状であるかによってわずかに増減する。この半径は、２０％程度増減させられる。その結果、重畳されたクロス矢印を表示後に完全に視認可能とすることができる。

図４に示す平面断面の場合、クロス矢印も用いられる。直線状突起について述べた手順と同じ手順に従って、クロス位置を計算する。２つの方向は直交している。平面に対して法線である軸の回りの、例えばノイズに起因する可能性のある振動を回避するために、回転表面のための単一の回転の場合における向きを安定化させる同じ手順が用いられる。クロスの法線ベクトルを、３Ｄ点と関連付けられた平均法線として計算することができる。これは、関連付けられた回転成分の並数が最大である固有ベクトルの回転成分（ｒ_ｉ）として得ることも可能である。

球状断面の場合が特定された後、標準的な最小二乗方法に基づいて、１組の３Ｄ点に球を当てはめる。この手順から、中心および半径が得られる。同様に、円筒の場合について行われ、曲率がセンサー視点に対して凹状または凸状に分類され、表示目的のために半径を増減させる。曲線状のクロス矢印は、重心に対して最も近い３Ｄ点に配置される。それは、先ず、法線ベクトルが３Ｄ点と関連付けられた平均法線に基づいて決定される平面に向けられる。その後、この平面内において、単一の回転の場合に用いた手順と同じ手順を用いてクロスの向きを安定させる。同じ理由によって、これは、フレーム間のノイズに起因する振動が防止する。

物体を走査しながら、上記した視覚指標を作動させることができる。信頼性のより低い自由度が特定された場合、位置決めアラームを作動させるために矢印を表示することができる。これらの矢印は、例えば赤色に着色することができる。ユーザは、標的を物体またはその環境に付加し、走査物体の走査を継続し得る。信頼性のより低い自由度が無くなった場合、視覚指標の表示が停止される。そうではない場合、同様のまたは異なる視覚指標が表示され得る。

一実施形態において、システムは、位置決め信頼性が確保されるまでは、３Ｄ点の新たに観測されたフレームを物体表面の累積モデルへ付加しない。これは、誤って配置されたフレームを用いたモデルの汚染を防止する。

一実施形態において、信頼性のより低い自由度を特定するためのより厳格な閾値を用いて、ユーザへ警告を表示することができる。この警告は、同じ矢印だが色が異なる（例えば、黄色の）矢印を用いて表示することができる。その結果、ユーザの注意を、（累積されたモデルへの影響が壊滅的になる前に解消することが可能な）可能性のある位置決め信頼性の問題に向けることが可能になる。

ノイズおよび視点問題に起因して、共分散行列値における変化が可能になり、その結果、固有値比率が閾値に近い場合に視覚フィードバックがちらつく場合がある。このようなちらつきを防止するため、時間的なフィルタリングを用いることができる。それを行うための一つの方法は、ｎ個の最新のフレームに対するアラーム数をカウントし、視覚フィードバックアラームを作動させる前に、現在のフレームを含んで、所定の閾値を超えるフレームがいつ問題となるかを決定することである。例えば、閾値は、ｎ個の最新のフレーム中のｎ／２フレームであり得る。フレームレートが１５Ｈｚに近い場合、ｎの典型的な値は２０である。検討されたフレーム数は、１秒内に取得されたフレーム数を少し上回る。
診断モード
信頼性のより低い自由度を分析することにより、ユーザによる物体走査を支援できる、極めて興味深い可能性が得られる。例えば、体積表面を再構築する枠組みにおいて、次のように、３Ｄ取得点によって変更された全ボクセル中の条件数の平均を累積および更新することができる。

式中、Ｗ_ｔは、時間ステップｔにおける共分散行列の条件数であり、信頼性の欠如した姿勢推定の非信頼性のレベルを提供する。パラメータβは、メモリを制御する定数であり、現在の値および前回の値を重み付けする。βの典型的な値は０．５である。条件数の平均は、ボクセル感度レベルである。リアルタイムまたは走査後の走査の間、平均条件数またはボクセル感度レベルに対応する色でモデルを表示することが可能である。色付きモデル８００の一例を図８に示す。物体８０２が表示され、位置決め信頼性に問題があると特定された断面が、１つの色８０１で表示される（図８では、パターンが示されている）。一方、問題のあることに近い断面は、別の色８０３で表示される（図８中の別のパターン）。上記したような診断モードにおいて、システムは、モデル中のフレームを（問題があると判断される場合であっても）統合する。その結果、モデル化物体をグローバルに視覚化した後、ユーザは、標的を付加する決定や物体またはそのいくつかの断面を再走査する決定を下すことができる。

図１４Ａおよび図１４Ｂは、センサーの計算された位置および向きが領域内に逸脱している場合の、形状ベースの位置決めの可能性のある結果１４００を示す。１４Ａには、基準モデル１４０４が図示されている。図１４Ｂでは、１４０３の近くの領域１４０１での表面のずれに起因して、ゆがんだモデル１４０２が取得されている。

別の診断モードにおいて、モデルは累積されていない。システムは、姿勢信頼性を分析する。この分析は、現在のフレームまたはいくつかのフレーム（典型的には２０個未満のフレーム）のみに基づいて行われ、いかなるモデルも累積しない。診断モードのための例示的な視覚フィードバック１３００が図１３に図示される。視覚フィードバック１３００は、図５に示すものと同様である。矢印１３０２および現在のフレーム１３０１が図示されているが、ここではモデルは図示されていない。
例示的なシステム実施形態
図１５は、位置決めの非信頼性についての指標を提供するためのシステム１５００の例示的な構成要素のブロック図である。本システムは、スキャナ１５０１を含む。スキャナ１５０１は、物体の表面形状を走査することと、複数のフレームの各フレームについて、スキャナのための形状ベースの位置決めを用いて１組の３Ｄ点を累積することとを行う。スキャナは、姿勢推定器１５０３を含む。姿勢推定器１５０３は、スキャナのために推定された姿勢を３Ｄ点を用いて推定する。非信頼性姿勢検出器１５０５は、推定された姿勢が拘束されない位置決めを有するかどうかを決定し、推定された姿勢が拘束されない位置決めを有する場合は、この推定された姿勢を信頼性の欠如した姿勢推定として特定する。指標生成器１５０７は、信頼性の欠如した姿勢推定が検出された旨の指標を生成する。

一実施形態において、システム１５００は、自由度識別子１５０９をさらに含む。自由度識別子１５０９は、推定された姿勢において、問題のある自由度を少なくとも１つ特定する。自由度識別子は、非信頼性姿勢検出器１５０５によってトリガされ、指標生成器１５０７によって生成された指標は、少なくとも１つの問題のある自由度についての情報を指標と共に含む。

一実施形態において、指標生成器１５０７によって生成された指標は、問題のある自由度全てについての情報を含む。

一実施形態において、システム１５００は、特徴点検出器１５１１をさらに含む。特徴点検出器１５１１は、スキャナ１５０１により再観察可能な特徴点の存在を複数のフレームのうち少なくとも２つにおいて検出する。姿勢推定器１５０３は、特徴点を３Ｄ点と共に用いて、推定された姿勢を推定する。非信頼性姿勢検出器１５０５は、特徴点を用いて、推定された姿勢を信頼性の欠如した姿勢推定として特定する。特徴点検出器１５１１は、特徴点のモデルを累積して、再観察可能な特徴点の検出をフレーム内において行う。

一実施形態において、システム１５００は、スピーカ１５１３をさらに含む。指標生成器１５０７は、スピーカ１５１３に可聴指標を出させる。

一実施形態において、システム１５００は、視覚インターフェース１５１５をさらに含む。指標生成器１５０７は、視覚インターフェース１５１５に視覚指標を表示させる。視覚指標は、テキストメッセージおよびグラフィカルメッセージのうちの少なくとも１つである。

一実施形態において、システム１５００は、モデルビルダ１５１７をさらに含む。モデルビルダ１５１７は、表面の形状の累積モデルを１組の３Ｄ点を用いて構築する。視覚インターフェース１５１５は、累積モデルのグラフィカル表示を表示し、視覚指標は、累積モデルのグラフィカル表示上に重畳される。

一実施形態において、システム１５００は、ボクセル感度レベル計算器１５１９をさらに含む。ボクセル感度レベル計算器１５１９は、１組の３Ｄ点によって変更された累積モデルの全ボクセルにおけるボクセル感度レベルの平均を累積する。視覚インターフェース１５１５は、累積モデルのグラフィカル表示をボクセル感度レベルに対応する色と共に表示する。

一実施形態において、システム１５００は、フレーム選択器１５２１をさらに含む。フレーム選択器１５２１は、信頼性の欠如した姿勢の推定の信頼性の欠如のレベルを決定することと、信頼性の欠如レベルと所定の信頼性の欠如閾値と比較することと、信頼性の欠如レベルが所定の信頼性の欠如閾値よりも低い場合にのみ、各フレームの１組の３Ｄ点をモデルビルダ１５１７へ転送することとを行う。別の実施形態において、フレーム選択器１５２１は、全フレームの全ての組の３Ｄ点を信頼性の欠如レベルの指標と共にモデルビルダー１５１７へ転送する。フレーム選択器１５２１は、信頼性の欠如レベルを認定するために１つまたは多数の信頼性の欠如閾値を用いた比較を行って、信頼性の欠如レベルの指標を準備する。さらに別の実施形態において、スキャナ１５０１は、モデルビルダ１５１７と通信して、全フレームの１組の３Ｄ点を転送する。フレーム選択器１５２１は、信頼性の欠如した姿勢推定の信頼性の欠如レベルを決定し、この情報をモデルビルダ１５１７へ通信する。

一実施形態において、視覚インターフェース１５１５は、走査の現在のフレームのグラフィカル表示を表示し、視覚指標は、現在のフレームのグラフィカル表示上に重畳される。

一実施形態において、システム１５００は、姿勢感度レベル属性付加器１５２３をさらに含む。姿勢感度レベル属性付加器１５２３は、推定された姿勢を用いて姿勢感度レベルを推定された姿勢へ属性付加する。姿勢感度レベル属性付加器１５２３は、非信頼性姿勢検出器１５０５によってトリガされる。指標生成器１５０７によって生成された指標は、姿勢感度レベルについての情報を指標と共に含み、姿勢感度レベルについての情報は、視覚指標の色である。

一実施形態において、システム１５００は、自由度識別子１５２５をさらに含む。自由度識別子１５２５は、推定された姿勢において問題のある自由度を少なくとも１つを特定する。信頼性の欠如した自由度識別子１５２５は、非信頼性姿勢検出器１５０５によってトリガされる。指標生成器１５０７によって生成された指標は、少なくとも１つの問題のある自由度についての情報を指標と共に含み、グラフィカルメッセージは、少なくとも１つの矢印を含み、矢印は、問題のある自由度に対応する向きと共に表示される。

一実施形態において、システム１５００は、ユーザコマンドインターフェース１５２７をさらに含む。ユーザコマンドインターフェース１５２７は、位置決め信頼性の検証を行うためのコマンドをユーザから受信し、非信頼性姿勢検出器１５０５および指標生成器１５０７は、信頼性の欠如した姿勢推定が検出された旨の指標を生成せよとのコマンドによってトリガされる。

一実施形態において、システム１５００は、時間的フィルタ１５２９をさらに含む。時間的フィルタ１５２９は、複数のフレームのｎ個の最新のフレーム中の信頼性の欠如した姿勢推定を有するフレーム数が所定の閾値に到達した場合、指標生成器１５０７による指標の生成をトリガする。

上記の記載は、本発明者らが現在企図している例示的な実施形態に関連するが、本発明の広範な側面において、本明細書中に記載の要素の均等物が含まれることが理解される。

上記した実施形態は、ひとえに例示的なものである。よって、本発明の範囲は、添付の特許請求の範囲によって限定されることが意図される。

Claims (16)

1. 位置決め信頼性の欠如についての指標を提供するシステムであって、
   物体の表面形状を走査し、当該スキャナのための形状ベースの位置決めを用いて複数のフレームの各フレームについて１組の３Ｄ点を累積するスキャナと、
   前記スキャナのために、前記３Ｄ点を用いて推定姿勢を推定する姿勢推定器と、
   前記推定姿勢が拘束されない位置決めを有するかどうかを決定し、前記推定姿勢が拘束されない位置決めを有する場合には、前記推定姿勢を信頼性の欠如した姿勢推定として特定する非信頼性姿勢検出器と、
   前記信頼性の欠如した姿勢推定が検出された旨の指標を生成する指標生成器とを有するシステム。
2. 前記推定姿勢において少なくとも１つ問題のある自由度を特定する自由度識別子をさらに有し、前記自由度識別子は、前記非信頼性姿勢検出器によってトリガされ、前記指標生成器によって生成された前記指標は、前記指標に少なくとも１つの問題のある自由度についての情報を含む請求項１に記載のシステム。
3. 前記指標生成器によって生成された前記指標は、前記少なくとも一つの問題のある自由度全てについての情報を含む請求項２に記載のシステム。
4. 前記複数のフレームのうち少なくとも２つにおいて前記スキャナにより再観察可能な特徴点の存在を検出する特徴点検出器をさらに有し、前記姿勢推定器は、前記３Ｄ点と共に前記特徴点を用いて前記推定姿勢を推定し、前記非信頼性姿勢検出器は、前記特徴点を用いて前記推定姿勢を信頼性の欠如した姿勢推定として特定する請求項１から３のいずれか１項に記載のシステム。
5. スピーカをさらに有し、前記指標生成器は、前記スピーカに可聴指標を出させる請求項１から４のいずれか１項に記載のシステム。
6. 視覚インターフェースをさらに有し、前記指標生成器は、前記視覚インターフェースに視覚指標を表示させ、前記視覚指標は、テキストメッセージおよびグラフィカルメッセージのうち少なくとも１つである請求項１から５のいずれか１項に記載のシステム。
7. モデルビルダをさらに有し、前記モデルビルダは、前記１組の３Ｄ点を用いて前記表面の形状の累積モデルを構築し、前記視覚インターフェースは、前記累積モデルのグラフィカル表示を表示し、前記視覚指標は、前記累積モデルの前記グラフィカル表示上に重ねられる請求項６に記載のシステム。
8. 前記１組の３Ｄ点によって変更された前記累積モデルの全ボクセルにおけるボクセル感度レベルの平均を累積するボクセル感度レベル計算器をさらに有し、前記視覚インターフェースは、前記ボクセル感度レベルに対応する色を用いて前記累積モデルの前記グラフィカル表示を表示する請求項６又は７のいずれか１項に記載のシステム。
9. 前記信頼性の欠如した姿勢の推定の信頼性欠如のレベルを決定し、前記信頼性欠如のレベルを所定の信頼性欠如の閾値と比較し、前記信頼性欠如のレベルが前記所定の信頼性欠如の閾値よりも低い場合にのみ、前記フレームのそれぞれの１組の３Ｄ点を前記モデルビルダへ転送するフレーム選択器をさらに有する請求項６から８のうちのいずれか１項に記載のシステム。
10. 前記視覚インターフェースは、前記走査の現在のフレームのグラフィカル表示を表示し、前記視覚指標は、前記現在のフレームの前記グラフィカル表示上に重ねられる請求項６から９のうちいずれか１項に記載のシステム。
11. 前記非信頼性姿勢検出器によってトリガされ、前記推定姿勢を用いて姿勢感度レベルを前記推定姿勢へ属性の付加をする姿勢感度レベル属性付加器をさらに含み、前記指標生成器によって生成された前記指標は、前記指標と共に、前記視覚指標の色である前記姿勢感度レベルについての情報を含む請求項６から１０のうちいずれか１項に記載のシステム。
12. 前記推定姿勢に少なくとも１つの問題のある自由度を特定する自由度識別子をさらに有し、前記信頼性の欠如した自由度の識別子は、前記非信頼性姿勢検出器によってトリガされ、前記指標生成器によって生成された前記指標は、前記指標と共に、少なくとも１つの問題のある自由度についての情報を含み、
    前記グラフィカルメッセージは、前記問題のある自由度に対応する向きと共に表示される少なくとも１つの矢印を含む請求項６から１１のうちいずれか１項に記載のシステム。
13. ユーザからコマンドを受信し位置決め信頼性の検証を行うユーザコマンドインターフェースをさらに有し、前記非信頼性姿勢検出器と指標生成器は、前記コマンドによってトリガされて、前記信頼性の欠如した姿勢推定が検出された旨の指標を生成する請求項１から１２のうちいずれか１項に記載のシステム。
14. 前記複数のフレームのうちのｎ個の最新のフレームにおいて信頼性の欠如した姿勢推定を有するｕ個のフレームの数が所定の閾値に達したとき、前記指標を生成するために前記指標生成器をトリガする時間的フィルタをさらに有する請求項１から１３のうちいずれか１項に記載のシステム。
15. 位置決め信頼性の欠如についての指標を提供する方法であって、
    物体の表面形状を走査し、当該スキャナのための形状ベースの位置決めを用いて複数のフレームの各フレームについて１組の３Ｄ点を累積することと、
    前記スキャナのために、前記３Ｄ点を用いて推定姿勢を推定することと、
    前記推定姿勢が拘束されない位置決めを有するかどうかを決定し、前記推定姿勢が拘束されない位置決めを有する場合には、前記推定姿勢を信頼性の欠如した姿勢推定として特定することと、
    前記信頼性の欠如した姿勢推定が検出された旨の指標を生成することと
    を含む方法。
16. 前記推定姿勢が拘束されない位置決めを有するかどうかを決定することは、
    前記推定姿勢の変化の関数としてフレームの当てはめの質を記述する共分散行列を用い、
    前記共分散行列の固有ベクトルを抽出し、
    前記固有ベクトルの対応する固有値の比率を計算し、
    所定の閾値を用いて、前記比率のうち少なくとも１つの高い比率を特定し、
    前記高い比率から、少なくとも１つの問題のある固有ベクトルを抽出し、
    ただ一つの高い比率がある場合には、前記表面形状の種類を決定して、直線状突起、回転表面およびらせんのうち１つに対応させ、
    高い比率が２つある場合には、前記表面形状の種類を確認し円筒に対応させ、
    高い比率が３つある場合には、前記表面形状の種類を決定し平面および球のうち１つに対応させることによって表面の形状の種類を決定することを含む請求項１５に記載の方法。

Images