JP2010534013A - リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム - Google Patents

Abstract

本発明は、カメラ（１１）のリアルオブジェクト（１２）に対する位置および方向を把握する方法に関し、この方法は、バーチャルデータモデル（１３）と、カメラ（１１）が生成するリアルオブジェクト（１２）の少なくとも一部を含む画像と、の合成に用いられる。この方法は、上記リアルオブジェクト（１２）の少なくとも一部と接触するのに適した少なくとも一つのプローブ（２３）が接続可能なセンサシステム（２０）の可動部（２２）に、上記カメラ（１１）を配置するステップと、上記カメラ（１１）を備えてなる上記センサシステムの可動部（２２）を、上記画像がこのカメラ（１１）によって生成されるように位置決めするとともに、上記リアルオブジェクト（１２）に対する上記センサシステム（２０）の位置データ（３１）を生成するステップと、上記センサシステム（２０）の上記位置データ（３１，３２）に基づいて、上記カメラ（１１）の位置および方向を決定するステップと、を備える。

Description

この発明は、バーチャルデータモデルと、カメラないしディスプレー装置が生成するリアルオブジェクトの少なくとも一部を含む画像と、の合成に用いられ、カメラないしディスプレー装置のリアルオブジェクトに対する位置および方向を把握する方法およびシステムに関する。

上記のような方法およびシステムは、特に、いわゆる拡張リアリティシステムに関連して、従来技術において公知である。これは、コンピュータで生成したバーチャル情報を、現実環境のビジュアルな印象と重ね合わせることができるものである。このような現実世界のビジュアルな印象とバーチャル情報との合成は、好ましくは、頭部に装着する半透明データ眼鏡の手段によってなされる。バーチャル情報もしくはバーチャルオブジェクトの挿入は、脈絡的に正しいもの、つまり、視認されている現実の環境から導き出され、これに適合したものとすることができる。バーチャル情報は、基本的に、テキストや画像等のいかなる形式のデータであってもよい。現実環境は、例えばユーザの頭部に装着されるカメラによって検出できる。現実環境にバーチャル環境を重ね合わせることで、ユーザは、公称値と実際との対比を容易に行うことができる。拡張リアリティシステムにおいてユーザが頭を動かすときに、全ての人工的なオブジェクトが、変化した視界に対して登録されなければならない。

例えば、初期化プロセスにおいて、現実環境のオブジェクトがカメラに関連付けられる。これにより、カメラ画像が現実環境に割り当てられるようになる。例えば、現実環境が複雑な装置であり、検出されるオブジェクトが該装置の目立つ要素である、とすることができる。いわゆるトラッキングプロセス（これは実際の作動プロセスを表す）の間、例えばシステムのユーザは、ディスプレー装置の中で、現実環境に関連した所望の位置に挿入された脈絡に沿った情報を受け取り、この挿入されたバーチャルデータモデルが、ユーザの動きならびにこれに伴う現実世界のユーザの視界の変化に対して登録される。

さらに、拡張リアリティの技術は、従来から、バーチャルモデルを現実のものと重ね合わせることで、このモデルもしくは仕様に沿って製造された現実のものの正確性をチェックする目的と関連して知られている。その用途の範囲としては、例えばＤＥ１０１２８０１５Ａ１やＤＥ１０２００４０４６Ａ１に記載されているような工場でのプランニングや、ＤＥ２０２０３３６７Ａに記載されているような自動車の設計がある。従来技術では、視点がバーチャル世界に入るように手を動かすようにした装置も知られている（例えば、ＵＳ５４３６６３８Ａ）。

このような拡張リアリティシステムないし方法は、基本的に、現実のものに対するカメラのポーズの認識を伴う。このカメラのポーズとは、空間上でのカメラの位置および方向である。現実物は、しばしば、ある形態のモデルとして、例えば、現実物あるいはその一部の幾何学的特性でもって周囲を囲んでなる３Ｄモデルとして表される。この３Ｄモデルは、例えば、設計図例えばＣＡＤ文書、から得ることができる。上記のリアルオブジェクトは、通常、オブジェクト座標系に関連付けられるが、カメラはカメラ座標系に関連付けられる。ここで、カメラのポーズを判定するために、特にオブジェクト座標系とカメラ座標系との間の変換を正しく確定することは、一般に難しい問題である。

本発明の目的は、バーチャルオブジェクトを現実物のに対してより正しく表すことができるようにした上述したような形式のシステムおよび方法を提供することである。

この目的は、請求項１の特徴を有する方法および請求項８の特徴を有するシステムによって達成される。さらに、この目的は、請求項１４の特徴および請求項２１の特徴を有するシステムによって達成される。さらに本発明は、請求項２４によるコンピュータプログラム製品に関する。

本発明の用途の例としては、特に、工場でのプランニング、製品開発におけるプロトタイプの製造や試作の製造（さらには自動車開発のためのクラッシュテスト）、工場製造物の品質管理、を含む。従って、特に、リアルオブジェクトに対するバーチャルモデルの品質、あるいはバーチャルモデルに対するリアルオブジェクトの品質を比較することが可能である。

本発明のシステムおよび方法の可能性のある用途としては、特に、サービスや保守管理の分野における拡張リアリティ技術の応用、製造への応用、一般的なモバイル機器への応用、を含む。本発明の方法およびシステムの適用により得られる利点は、特に、リアルオブジェクトに対するカメラポーズを正確に決定するために、センサシステムの補助により、オブジェクト座標系とカメラ座標系との間の変換を高精度に把握することであり、バーチャルデータモデルを現実のものと非常に正しく重ね合わせることができ、かつデータモデルと現実のものとの間の相対的な偏差を正しく検知することができる。

特に、最初に述べた形式のリアルオブジェクトに対するカメラの位置および方向を把握する方法についての本発明は、上記リアルオブジェクトの少なくとも一部と接触するのに適した少なくとも一つのプローブが接続可能なセンサシステムの可動部に、上記カメラを配置するステップと、上記カメラを備えてなる上記センサシステムの可動部を、上記画像がこのカメラによって生成されるように位置決めするステップと、上記リアルオブジェクトに対する上記センサシステムの位置データを生成するステップと、上記センサシステムの上記位置データに基づいて、上記カメラの位置および方向を決定するステップと、を備える。

カメラポーズをリアルタイムベースで理想的に把握するために、種々異なるセンサあるいはセンサの組み合わせを用いることができる。有利には、プローブを備えた高精度な機械的測定アームを用いることができ、これによって相対的なセンサ位置の校正を行う。従って、カメラポーズを決定するための開始点としてオブジェクト座標系とカメラ座標系との間の変換を非常に精度よく確定するために、高精度なセンサシステムを用いることができる。

特に、上記センサシステムの固定部はリアルオブジェクトに対し固定的な関係で配置され、センサ座標系がセンサシステムの基準のフレームとしてセットアップされる。さらに、リアルオブジェクトに対するセンサ座標系の位置が決定される。有利には、リアルオブジェクトに対するセンサ座標系の位置の決定は、少なくとも一つの校正プロセスにおいてリアルオブジェクトの少なくとも一部にプローブを接触させることによって行われる。

本発明の一実施例では、少なくとも一つの校正プロセスは、記憶された複数の校正アルゴリズムの一つに従って実行される。例えば、リアルオブジェクトのＣＡＤモデルの少なくとも一部がユーザによって選択され、この選択に基づいて、少なくとも一つの校正プロセスのための校正アルゴリズムおよび少なくとも一つの測定プログラムが選択される。

本発明の他の態様においては、最初に述べた形式のリアルオブジェクトに対するカメラないしディスプレー装置の位置および方向を把握する方法に関し、上記リアルオブジェクトの少なくとも一部と接触するのに適した少なくとも一つのプローブが接続可能なセンサシステムの第１可動部に、トラッキングシステムを配置するステップと、上記のカメラないしディスプレー装置を上記センサシステムの第２可動部に固定的な関係で配置するステップと、を含む。

上記センサシステムの上記第１可動部は、センサシステムの上記第２可動部が上記トラッキングシステムによって検知可能なように位置決めされる。上記カメラないしディスプレー装置を備えてなる上記センサシステムの第２可動部は、上記画像がこのカメラないしディスプレー装置によって生成されるように位置決めされる。そして、リアルオブジェクトに対するセンサシステムの第１位置データと、センサシステムの第２可動部に対するトラッキングシステムの第２位置データと、が生成される。この第１，第２位置データに基づいて、上記カメラないしディスプレー装置の位置および方向が決定される。

このような態様では、本発明の着想を、いわゆる頭部装着型ディスプレー（ＨＭＤ）の利用にも適用できる、という利点が得られる。例えば、センサシステムの第２可動部は第１可動部から独立して移動可能であり、かつ第１可動部のトラッキングシステムによって検知される。従って、携行型のカメラないしディスプレー装置（例えば頭部装着型ディスプレー）とセンサシステムとの間の結合がもたらされ、センサシステムと機械的に結合することなく、リアルオブジェクトに対するセンサシステムの正しい校正パラメータを用いてカメラないしディスプレー装置のポーズを演算することができる。機械的なセンサ測定システムをトラッキングシステム（例えば光学的トラッキングシステムからなり、機械的センサシステムのセンサヘッドと結びつけられて、カメラないしディスプレー装置を追尾する）と組み合わせることで、ポーズの非常に高精度な把握を行えると同時に、システム全体が高いレンジを有するものとなり、かつセンサヘッドを軽量化できる。

特に、プローブ手段による入力の後、トラッキングシステムとオブジェクト座標系との間の変換、トラッキングシステムとセンサシステムの第２可動部との間の変換、センサシステムの第２可動部とカメラないしディスプレー装置との間の変換、を介して、カメラないしディスプレー装置（これはセンサシステムの第２可動部に接続されている）のポーズを動的に演算することが可能である。

一実施例においては、トラッキングシステムは、機械的トラッキングシステムあるいは光学的トラッキングシステムとして実施される。光学的な測定ないしトラッキングのシステムの場合は、人間工学的に使いやすくかつ独立して移動可能な軽量なセンサヘッドとすることができ、例えば頭部に装着することが可能である。しかしながら、センサヘッドがトラッキングシステムの光学センサによって視認されている場合にのみ、センサヘッドから有効な値が得られる。機械的測定システムのセンサヘッドは重く、かつ低いレンジを有する。しかしながら、よりアクセスが困難な場所（例えば自動車の内部）に持ち込むことが可能である。

本発明の一実施例においては、リアルオブジェクトに対するバーチャルデータモデルの合致品質が判定される。特に、リアルオブジェクトの少なくとも一部とバーチャルデータモデルの少なくとも一部との間の少なくとも一つの距離が測定される。例えば、上記のリアルオブジェクトに対するバーチャルデータモデルの合致品質の判定は、端縁に基づくトラッキング法もしくは領域に基づくトラッキング法によって実行される。

上記のリアルオブジェクトの少なくとも一部とバーチャルデータモデルの少なくとも一部との間の少なくとも一つの距離の測定は、ユーザによる画像中のバーチャルモデルの一部の選択もしくはプローブ手段を介したリアルオブジェクトの一部の選択によって第１の点を定め、次に、プローブ手段を介したユーザによるリアルオブジェクトの対応する部分の選択もしくは画像中のバーチャルモデルの対応する部分の選択によって第２の点を定め、これによって、第１の点および第２の点の間の距離を測定すべき距離とすることにより実行することができる。

上記のリアルオブジェクトに対するバーチャルデータモデルの合致品質の判定は、ユーザあるいは実装されたアルゴリズムが、リアルオブジェクトとバーチャルデータモデルとの合成の比較を、データモデルの少なくとも一部がリアルオブジェクトの対応する部分と高精度に重なり合うまで実行し、この比較の測定値が、合成品質に関する明細の基礎として用いられるようにするステップを含むことができる。

特に、本発明は、ＤＥ１０２００５０６１に詳しく説明されているように、データモデルをリアルオブジェクトに対し位置決めする際に、さらに、不正確さの情報、特にあいまいさの情報、を生成することができる。

本発明の有利な実施例では、上記カメラあるいはトラッキングシステムが、アダプタ装置に取り付けられており、該アダプタ装置がカメラ／トラッキングシステムとプローブとの間の機械的接続を提供している。プローブとカメラ／トラッキングシステムとを接続するアダプタを用いることで、高精度な重ね合わせを非常に容易に実現することができるようになる。特に、上記アダプタ装置は、種々異なるプローブを反復的にあるいは交換可能に使用でき、かつ再度取り外せるように設計されている。有利には、上記アダプタ装置は、プローブを接続したときに、該プローブがセンサシステムによって自動的に認識されるように設計されている。

他の実施例では、カメラの画像を表示するために、ディスプレー装置、特にスクリーン、が上記アダプタ装置に取り付けられている。同様に、必要なポーズの演算を行う処理装置を上記アダプタ装置に取り付けることが可能である。ここで、例えば、上記カメラと上記処理装置とディスプレー装置とは、統合した一つの装置として構成されてアダプタ装置に取り付けられており、このアダプタ装置が、プローブとこの統合した装置との機械的接続を提供している。

本発明の他の有利な実施例および改良が、従属請求項に記載されている。

以下では、図面を参照して本発明の有利な実施例を詳細に説明する。

リアルオブジェクトに対するカメラの位置および方向を把握する本発明のシステムの一実施例を概略的に示す説明図。 図１のシステムの個々の構成要素間での変換を視覚化して示した説明図。 リアルオブジェクトに対するカメラないしディスプレー装置の位置および方向を把握する本発明のシステムの別の実施例を概略的に示し、かつ個々の構成要素間での変換を視覚化して示した説明図。 リアルオブジェクトに対するカメラないしディスプレー装置の位置および方向を把握する本発明のシステムの別の実施例を概略的に示し、かつ個々の構成要素間での変換を視覚化して示した説明図。 本発明のシステムのさらに他の実施例を示す説明図。 本発明の着想が実現される拡張リアリティシステムにおける方法の流れを示すフローチャート。

図１は、リアルオブジェクトに対するカメラの位置および方向を把握するための本発明のシステムの一実施例を示す説明図である。このシステム１０は、センサシステム２０を備え、このセンサシステム２０は、可動ジョイントを介して固定部２１に取り付けられた少なくとも一つの可動部２２を有する。センサシステムは、ジョイント等で各々連結された可動部をさらに備えることもでき、あるいは、センサシステムの個々の部分に接続された一つあるいは複数の光学的トラッキングシステムを備えることもできる。本実施例では、測定アームの形態として構成された可動部２２が、アダプタ装置２４を介して少なくとも一つのプローブ２３に接続されており、上記プローブ２３は、リアルオブジェクト１２の少なくとも一部に接触するのに適したものとなっている。センサシステムは、種々の形態に構成することができ、特に、光学的センサシステムとして実現することもできる。センサシステム２０の測定アーム２２上に配置されたカメラ１１は画像を生成するように機能する。カメラ１１は、リアルオブジェクトを照明する光源を備えることもできる。

さらに、後述するようなリアルオブジェクト１２に対するカメラ１１の位置および方向（ポーズ）の決定のために、リアルオブジェクト１２に対するセンサシステム２０の位置データを出力すべく、インタフェース装置２６が設けられている。この位置データは、関連する構成要素の位置および方向のインタフェースを可能とする一般的なデータである。例えば、センサシステムは、構成要素の寸法ならびに個々のセンサ構成要素からの生の位置データのみを供給し、これが外部のコンピュータにおいて、その用途に有用な適当な位置データに処理される。

上記のカメラポーズの計算は、この例では、インタフェース装置２６に接続し得るコンピュータの形態をなす外部処理装置１４によってなされる。このように算出されたカメラポーズは、バーチャルデータモデル１３をカメラで生成された画像と脈絡的に正しく合成するために使用され、その画像がスクリーンの形態をなす外部ディスプレイ装置１５上に表示される。この目的のために、コンピュータ１４は、一方では、カメラポーズを把握するために必要なパラメータを得るように、他方では、カメラ１１の画像を得るように、センサシステム２０およびカメラ１１の双方に接続されている。バーチャルデータモデル１３はコンピュータ１４内に記憶され、その計算に基づいて、脈絡的に正しい形にスクリーン１５上のカメラ画像のリアルオブジェクト１２に重ね合わされる。

最終的なゴールは、カメラ１１のポーズつまり試験リアルオブジェクト１２のオブジェクト座標系４０に対するカメラ１１の位置および方向を決定し、データモデル１３の形態をなすバーチャル幾何形状をリアルオブジェクト１２上に重ね合わせることができるようにすることである。例えば、バーチャル幾何形状１３を構造的構成要素のＣＡＤデザインとし、リアルオブジェクト１２をＣＡＤデザインから得た実際のプロトタイプとすることができる。さらに、センサ座標系３０（センサ世界座標系と呼ばれる）は、センサシステムの基準のフレームとしてセットアップされる。

図２は、図１のシステムの個々の構成要素間での変換を視覚化して示した説明図である。カメラ１１のポーズをリアルタイムベースで理想的に把握するために、センサシステム２０において種々のセンサもしくはセンサの組み合わせを使用することができる。有利には、測定アーム２２，２３として模式的に示した高精度機械的測定アームを用いることができる。しかしながら、センサ測定結果から直接にポーズを得ることができるのではなく、さらに、センサ世界座標系３０からリアルオブジェクト１２のオブジェクト座標系４０への変換３２、ならびに、カメラ座標系６０とセンサヘッド座標系７０との間の変換６２を付加して得られるものである。なお、上記センサヘッドは、プローブ２３によって構成される。これらの変換３２，６２は、好ましくはコンピュータ１４あるいはセンサシステム２０内に永久的に記憶されているものである。従って、これらはいつも新たに生成する必要はなく、ポーズの演算に応じて呼び出される。

センサヘッド座標系７０とカメラ座標系６０との間の変換６２を把握するために、従来技術から公知の校正方法（例えば”hand-eye calibration”）を使用することができる。例えば、Y. Zhuang およびY.C. Shiuによる「A noise-tolerant algorithm for robotic hand-eye calibration with or without sensor orientation measurement」IEEE Transactions on Systems, Man and Cybernetics, vol. 23，1168-1175頁、１９９３年７月／８月、米国、ニューヨーク に記載の方法（robotic visual-motor calibration）を使用する。

オブジェクト座標系４０とセンサ世界座標系３０との間の変換３２の把握は、拡張リアリティの分野において、これまで一般に不確定なものであった。この問題を解決するために、本発明では、図示したセンサシステム２０およびカメラ１１のように、カメラと組み合わされたセンサシステムを用いる。特に、プローブ２３と呼ばれる手段がリアルオブジェクト１２に接触するようなセンサシステム２０を用いる。つまり、開始点（いわゆる校正プロセス）において、センサシステム２０のオペレータによって表面や孔のような幾何学的特性に接近かつ接触し、センサ世界座標系３０におけるこれらの位置が確認される。このようにして、次に、いわゆる校正の際に、オブジェクト座標系４０とセンサ世界座標系３０との間の変換３２が把握される。後者は、センサシステム２０の固定部２１に対して、およびリアルオブジェクト１２に対して、固定的な関係に設定されている。同様に、固定部２１は、リアルオブジェクト１２に対して固定的な関係にある。センサヘッド座標系７０とセンサ世界座標系３０との間の変換３１は、センサシステム２０によって供給される。

校正の後、カメラ１１を備えたセンサシステムの測定アーム２２は、カメラによって画像を生成し得るように位置決めされる。この間に、変換３１を形成するようにリアルオブジェクト１２に対するセンサシステム２０の位置データが生成され、カメラ１１の位置および方向は、この位置データに基づいて決定される。この例においては、センサヘッド２３に対するカメラポーズを把握するために、変換６２がさらに必要である。

特に、カメラポーズの演算のための初期パラメータを把握するために、以下のステップが実行される。これは、例えば拡張リアリティビジュアライゼーション（ＡＲビジュアライゼーション）のために必要である。

センサシステム２０にはカメラ１１が設けられ、該カメラ１１がオブジェクト１２を検出して画像を生成するようになっているが、このセンサシステム２０の位置決めの際には、センサ世界座標系３０に対するプローブ２３の位置が求められ、このセンサ世界座標系３０に対するプローブ２３の位置データが、変換３１の形で出力される。そして、この変換３１、リアルオブジェクト１２に対するセンサ世界座標系３０の位置（変換３２）、およびプローブ２３に対するカメラ１１の位置（変換６２）、に基づいて、リアルオブジェクト１２に対するカメラ１１の位置および方向が決定される。ＡＲビジュアライゼーションのために必要なカメラ１１とリアルオブジェクト１２との間の変換Ｔは、基本的に、
Ｔ^-1＝３２^-1・３１・６２^-1
となる。

カメラポーズを決定するための初期パラメータが把握されると、ポーズは、それ自体は公知の演算方法によって確定することができる。この演算は、カメラ１１を含む対応するセンサに接続されたコンピュータ１４において実行されるが、これにより、カメラパラメータやポーズおよびディスプレー面を考慮して３Ｄデータからバーチャルイメージを生成し、これを、カメラ画像（これは望ましくはカメラデータに基づいて修正されたものである）と混合して、ディスプレー装置１５ないし頭部装着型スクリーンシステム１８，１９（図３ａ、３ｂ）に表示することができる。カメラパラメータを把握すること自体は、従来技術によって公知である。同様に、カメラパラメータに基づいてカメラ画像を修正することも、それ自体は公知である。カメラデータの移行は、有利には、IEEE1394規格のようなデジタル移行規格の手段によって行うことができる。

このようにして、カメラ座標系６０とデータモデル１３（開始位置１３−１において）の座標系５１との間の変換６１、ならびに、初期位置１３−１における座標系５１とシフト後位置１３−２におけるデータモデル１３の座標系５２との間のシフト変換５３、を確定することができる。

コンピュータ１４には対応するコンピュータプログラムが記憶されており、これによって、上述した方法による特定の位置データに基づくカメラ１１の位置および方向の決定がなされる。

交換可能なプローブ２３とカメラ１１とを接続する好ましくは剛的なアダプタ装置２４を用いることによって、高精度な重ね合わせ（スーパーインポーズ）を非常に簡単に実現することができる。本発明におけるアダプタ装置２４は、種々異なるプローブ２３が使用可能であるとともに高い繰り返し精度が保証されるように、従来からの機械的方法の手段によって設計される。有利には、プローブ２３は、アダプタ装置２４（これは対応するセンサ手段を具備することができる）がプローブを自動的に識別して、コンピュータ１４がこれに従って修正されたプローブ情報を自動的に呼び出すことができるように、構成されている。アダプタ装置２４は、有利には、スタンドや類似した機械的手段（ケーブル吊り下げ等）によって支持され、あるいはオペレータの解放が可能である。

図３は、リアルオブジェクトに対するカメラないしディスプレー装置の位置および方向を把握するための本発明のシステム１０の他の実施例を示す説明図であり、個々の構成要素の間の各変換を視覚化して示している。システム１０は、同様にセンサシステム２０を備え、該センサシステム２０は、測定アーム２２の形態をなす少なくとも一つの第１可動部を有し、これに少なくとも一つのプローブ２３が接続可能となっている。さらに、センサシステム２０は第２可動部２５を備えているが、本実施例では、この第２可動部２５は測定アーム２２とは機械的に連結されておらず、いわば独立して動くセンサヘッド２５となっている。最も単純化した例では、センサヘッド２５は、単に何らかの種類のマーキングとすることができる。

センサヘッド２５を追尾するために、トラッキングシステム１６、例えばセンサシステムの測定アーム２２上に配置された光学的トラッキングシステム、が用いられている。上記の目的のために、トラッキングシステムは、カメラならびにコンピュータシステムを有し、例えばセンサヘッド２５のマーカーを検出かつ追尾する。この目的のために、トラッキングシステム座標系８０とセンサヘッド座標系９０（例えばマーカーによって画定される）との間の変換８１が把握される。プローブ座標系７０とトラッキングシステム座標系８０との間の変換を把握するには、同様に”ハンド・アイ校正（hand-eye calibration）”を用いることができる。さらに、センサヘッド座標系９０とカメラ座標系１００との間の変換９１は既知である。変換１０１は、カメラ座標系１００とデータモデル１３の座標系５１との間の変換を示している。

図３ａの実施例においては、カメラ１７がセンサシステムのセンサヘッド２５上に配置されており、リアルオブジェクト１２の少なくとも一部を含む画像を生成するように適当に構成されかつ位置決めされている。このカメラによって生成された画像は、ユーザ９が頭部に装着する頭部装着型ディスプレー（ＨＭＤ）１８上にビジュアル化され、ここには、バーチャル情報もまた表示される。トラッキングシステム１６（これはアウトサイド・イン・センサシステムとも呼ばれる）ないし測定アーム２２は、カメラ１７がトラッキングシステム１６によって検出されるように配置される。カメラ１７およびディスプレー１８は、いわゆるビデオ・シースルー・システムを構成しており、ユーザの目の前にビデオスクリーン（ディスプレー１８）が位置し、その上に、現実のビジュアルな印象とバーチャルのビジュアルな印象とが合成される。

インタフェース装置２６（図１参照）は、リアルオブジェクト１２に対するセンサシステム２０の第１位置データ（特に変換３１の計算用）およびトラッキングシステム１６の第２位置データ（特に変換８１の計算用）を出力するために用いられており、インタフェース装置２６に接続可能な処理装置１４が、リアルオブジェクト１２に対するカメラ１７の位置および方向を決定する。上記のデータは、バーチャルデータモデル１３とカメラ１７で生成された画像との合成の際に使用される。インタフェース装置２６は、ワイヤレスもしくは有線とすることができ、センサシステムのそれぞれ異なる場所にある複数の個別のインタフェースから構成されていてもよい。例えば、トラッキングシステム１６は、インタフェース装置の対応するインタフェースを介してコンピュータ１４に直接的に接続することもできる。

換言すれば、アウトサイド・イン・センサシステム１６は、いわゆるアウトサイド・イン・センサヘッド２５を見ており、センサヘッド座標系９０に対するポーズを動的に把握する。適当なアウトサイド・イン・センサシステム１６としては、例えば一つあるいは複数のカメラを備えた光学的トラッキングシステムとすることができ、これに対する光学的マーカーがセンサヘッド２５を構成する。しかしながら、時間あるいは角度の測定値を介してポーズを把握する方法を用いることも可能である。センサヘッド２５とカメラ１７（これは有利には頭部装着型スクリーンシステム１８に取り付けられている）との間の変換９１の手段によって、観察者９に対して、バーチャルオブジェクト１３がリアルオブジェクト１２に対しできるだけ正しいポーズでもって配置されたものとして重ね合わせることができる。カメラ１７をステレオカメラシステムとして、ＨＭＤが立体画像を表示するようにすることが可能である。ＨＭＤを、カメラおよびアウトサイド・イン・センサヘッドを備えてなるポータブル型モニタに置き換えることも有利な設定である。

図３ｂに示す実施例は、カメラ１７およびディスプレー１８に代えて、半透明型ディスプレー（光学的シースルー・ディスプレー装置）の形態をなすディスプレー装置１９をセンサシステムのセンサヘッド２５に直接的に配置したものである。光学的シースルーの構成では、いわゆる光学的ミキサーつまりユーザの目の前にある半透明型ディスプレー装置によって合成がなされるのであり、現実世界は装置の透明性を通して見ることになり、バーチャル情報の重ね合わせは、ディスプレー装置への投影を介してなされる。従って、カメラ１７を省略することが可能である。ディスプレー装置１９の位置の決定は、図３ａのシステムと同様（カメラ１７について説明したように）になされる。この目的のために、センサヘッド座標系９０とディスプレー座標系１１０との間の変換９１は既知である。変換１１１は、ディスプレー座標系１１０とデータモデル１３の座標系５１との間の変換を示している。ここでは、やはり、例えばＵＳ２００２／０１０５４８４Ａ１公報に記載のように、いわゆるシースルー校正が一般に必要である。

図１，図２でのカメラ１１のポーズの決定に関する説明は、図３の構成（ここではカメラ１１の代わりにトラッキングシステム１６が測定アーム２２上に配置されている）におけるトラッキングシステム１６のポーズの決定に同様に適用できる。

図４は、さらに有利なセットアップとして、カメラ１１の画像を表示するディスプレー装置１５がアダプタ装置２４に取り付けられているものを示す。さらに、コンピュータ１４もアダプタ装置２４に取り付けられている。好ましくは、これらのカメラ１１、コンピュータ１４およびディスプレー装置１５は、アダプタ装置２４に取り付けられる一つの統合型装置として実施される。この例は、統合型の解決策（例えば、従来技術で基本的に公知の、スクリーンおよび一体のカメラを備えた小型コンピュータ）を伴う。

図５は、本発明の着想が実現される拡張リアリティシステムにおける方法の流れを示すフローチャートである。特に、図５は、図１〜図３のシステムセットアップの手段により構造的構成要素の重ね合わせを行う有利な方法を示している。

最初のステップにおいて、オブジェクト１２とセンサ世界座標系３０とが、確実に、互いに固定的な関係を有するものとする（ステップ１．０）。次に、校正プロセスがプローブ２３の手段によって実行され（ステップ２．０）、その結果がコンピュータ１４にストアされる。校正プロセスは、有利には、オブジェクト１２上の適宜な校正幾何形状（例えば孔や表面）を認識することからなる。異なる校正幾何形状に対しては、異なる形態のプローブ（例えば鋭端あるいはボール状）が有利となり得る。プローブの交換を避けるために、校正幾何形状は、プローブの形態に応じて配列されるように適宜に入力される。校正プロセスの実施が可能であるように、そのアルゴリズムとしては、センサ世界座標系３０に対する実際の特性を知る必要があるとともに、オブジェクト座標系４０における対応する公称特性を知る必要がある。有利には、ユーザは、例えばマウスのクリックによってＣＡＤモデルの部分（例えば、鋭端、端縁、あるいは領域）を選択し、相関関係を伴うシステムに知らせることができる。特に、アルゴリズムは、選択した校正アルゴリズムおよび選択したＣＡＤ部分の環境のＣＡＤトポロジーからルールセットに応じて測定プログラムの次数を決定し、これにより、ルールセットに応じた適当な測定プログラムがセレクションの上部に配置される。このほか、ユーザが開始時に校正アルゴリズムを選択することを要さずに、単にＣＡＤ部分およびルールセットの選択を行い、次いで、校正アルゴリズム、個々の測定プログラム、プローブの選択、測定プログラムの次数および入力すべきＣＡＤ部分を全体的に確定するようにすることもできる。もしＣＡＤモデルが存在しない場合は、制限した自由度でもって公称特性を直接に指定することも可能である。

測定プログラムにどのＣＡＤ部分あるいはどの入力公称特性を入力すべきかをプログラムが判り、ユーザに例えば視覚的に知らせることにより、ユーザは必要なプローブを（これが未だ挿入されていない場合は）挿入することができ、測定プログラム（例えば丸い形のボールあるいは平面による方法）を実行することができる。このプロセスは、選択したＣＡＤ部分の各々について実行される。最終的に、校正アルゴリズムは、変換３２を決定することができる。（ステップ２．１．１およびステップ２．１．２）
検査は引き続き行うことができる。例えば、リアルオブジェクト１２としてのプロトタイプの自動車に、追加の設計的構成要素をバーチャルに付けることができ、あるいは、構造的構成要素の実際と公称との比較を実行することができる（ステップ３．０）。この目的のために、例えばバーチャル・リアリティ・モデリング言語（Virtual Reality Modeling Language）（ＶＲＭＬ）によって記述された一つあるいは複数のバーチャルオブジェクトを読み込むことが可能である（ステップ３．１）。しかし、任意選択的に、校正に用いたバーチャル幾何形状を直接的に表示することも可能である。有利には、デジタルモデルのマテリアル特性は変更可能である（ステップ３．２）。

ビジュアルなチェックが不十分である場合は、任意選択的に、偏差を明確に記録するようにしてもよい（ステップ４．０）。リアルオブジェクトの関心を引く部分とバーチャルデータモデルのこれに対応する部分との間の距離の測定を実行することができ、例えばユーザがバーチャルモデルの部分（例えば画像中の関心を引く点）を選択することで第１の点を決定し、次にユーザはプローブ手段によってリアルオブジェクトの対応する部分を選択することで第２の点を決定すれば、第１の点と第２の点との間の距離が、測定すべき距離となる。この選択の順序は逆にすることもでき、つまり、最初にプローブ手段によって現実のリアルオブジェクト中の関心を引く点を選択し、その後にバーチャルモデルにおける対応する点を選択することができる。

実際のスクリーンの状態をストア（例えばＪＰＥＧとして）するために、関係するものと通信するようにしてもよい（ステップ４．１）。定量的な明細を作成すべきであれば、ユーザは、一方では、例えばマウスのホイールのような要素の操作によって、重ね合わせたバーチャル幾何形状１３への修正変換５３（図２）の個々の自由度を、該幾何形状１３ができるだけ正しくリアルオブジェクト１２の部分と重なり合うように、変更することができる（ステップ４．２ａ）。これにより、修正変換５３は、偏差についての明細を生成する。代替として、偏差のコンピュータ支援による確定も可能である（ステップ４．２ｂ）。この例では、最適化法が修正変換５３を変化させ、最適化法のコスト関数に入る残存偏差が測定される。コスト関数の測定は二次元的あるいは三次元的に行うことが可能である。一方、三次元データは、レーザスキャナのような追加の３Ｄセンサによって把握することができ、あるいは、別のカメラの視点および関連するトラッキングデータを利用する従来技術で公知の３Ｄ再構築アルゴリズムの手段によって得ることができる。

本発明に係るシステムおよび方法の利点ならびに用途について再度要約すると、下記の通りである。

現行のシステムは、センサ座標系とオブジェクト座標系との間の関係を確立することが一般に不十分な解となっている、という欠点がある。例えば、トラッキングシステムが現実のマーキング（例えば自動車上のマーキング）を視認する。しかしながら、このマーキングは、世界座標系（自動車の座標系）に関して測定システム手段により先に別に校正する必要がある。従って、校正と視認システムとを直接に組み合わせた上述のシステムならびに方法は明らかに有利である。その結果、下記のような利点がある。

校正用のツールと視認用のツールとを交換する必要がないので、重ね合わせ作業の時間を短縮できる。これは、物理的な交換および操作ソフトウェアの切り換えに関係する。

高価なマーキングを個々のヘッドではなく組み合わせたヘッドに対してのみ入手かつ維持すればよいので、光学的システム等におけるハードウェアのコストが削減される。

例えばソフトウェアが種々の光学的マーカーを管理する必要がないので、ソフトウェアの複雑性を低減できる。

Claims (24)

1. バーチャルデータモデル（１３）と、カメラ（１１）が生成するリアルオブジェクト（１２）の少なくとも一部を含む画像と、の合成に用いられ、カメラ（１１）の上記リアルオブジェクト（１２）に対する位置および方向を把握する方法において、
   上記リアルオブジェクト（１２）の少なくとも一部と接触するのに適した少なくとも一つのプローブ（２３）が接続可能なセンサシステム（２０）の可動部（２２）に、上記カメラ（１１）を配置するステップと、
   上記カメラ（１１）を備えてなる上記センサシステムの可動部（２２）を、上記画像がこのカメラ（１１）によって生成されるように位置決めするとともに、上記リアルオブジェクト（１２）に対する上記センサシステム（２０）の位置データ（３１）を生成するステップと、
   上記センサシステム（２０）の上記位置データ（３１，３２）に基づいて、上記リアルオブジェクト（１２）に対する上記カメラ（１１）の位置および方向を決定するステップと、
   を備えることを特徴とする方法。
2. 上記センサシステム（２０）の固定部（２１）を上記リアルオブジェクト（１２）に対し固定的な関係で配置するとともに、上記センサシステムの基準のフレームとしてセンサ座標系（３０）をセットアップするステップと、
   上記リアルオブジェクト（１２）に対する上記センサ座標系（３０）の位置（３２）を決定するステップと、
   を備えることを特徴とする請求項１に記載の方法。
3. 上記のリアルオブジェクト（１２）に対するセンサ座標系（３０）の位置（３２）の決定は、少なくとも一つの校正プロセス（２．０）においてリアルオブジェクト（１２）の少なくとも一部に接触させられるプローブ（２３）によってなされることを特徴とする請求項２に記載の方法。
4. 上記の少なくとも一つの校正プロセス（２．０）は、記憶された複数の校正アルゴリズムの一つに従って実行されることを特徴とする請求項３に記載の方法。
5. 上記リアルオブジェクト（１２）のＣＡＤモデル（１３）の少なくとも一部がユーザによって選択され、この選択に基づいて、少なくとも一つの測定プログラム（２．１）および少なくとも一つの校正プロセス（２．０）のための校正アルゴリズムが選択されることを特徴とする請求項３または４に記載の方法。
6. カメラ（１１）を備えたセンサシステム（２０）の位置決めの際に、センサ座標系（３０）に対するプローブ（２３）の位置が判定され、かつ、このセンサ座標系（３０）に対するプローブ（２３）の位置データ（３１）が出力され、
   上記カメラ（１１）の位置および方向は、センサ座標系に対するプローブの位置データ（３１）と、リアルオブジェクト（１２）に対するセンサ座標系（３０）の位置（３２）と、プローブ（２３）に対するカメラ（１１）の位置（６２）と、に基づいて決定されることを特徴とする請求項２〜５のいずれかに記載の方法。
7. カメラ（１１）の位置および方向の決定のために、プローブ（２３）に対するカメラ（１１）の位置（６２）の決定が、ハンド・アイ校正によってなされることを特徴とする請求項１〜６のいずれかに記載の方法。
8. バーチャルデータモデル（１３）と、カメラ（１７）ないしディスプレー装置（１９）が生成するリアルオブジェクト（１２）の少なくとも一部を含む画像と、の合成に用いられ、カメラ（１７）ないしディスプレー装置（１９）の上記リアルオブジェクト（１２）に対する位置および方向を把握する方法において、
   上記リアルオブジェクト（１２）の少なくとも一部と接触するのに適した少なくとも一つのプローブ（２３）が接続可能なセンサシステム（２０）の第１可動部（２２）に、トラッキングシステム（１６）を配置するステップと、
   上記のカメラ（１７）ないしディスプレー装置（１９）を上記センサシステム（２０）の第２可動部（２５）に固定的な関係で配置するステップと、
   上記センサシステムの上記第１可動部（２２）を、センサシステムの上記第２可動部（２５）が上記トラッキングシステム（１６）によって検知可能なように位置決めするステップと、
   上記カメラ（１７）ないしディスプレー装置（１９）を備えてなる上記センサシステムの第２可動部（２５）を、上記画像がこのカメラ（１７）ないしディスプレー装置（１９）によって生成されるように位置決めするとともに、リアルオブジェクト（１２）に対するセンサシステム（２０）の第１位置データ（３１）およびセンサシステムの第２可動部（２５）に対するトラッキングシステム（１６）の第２位置データ（８１）を生成するステップと、
   上記第１，第２位置データ（３１，３２，８２）に基づいて、上記カメラ（１７）ないしディスプレー装置（１９）の位置および方向を決定するステップと、
   を備えることを特徴とする方法。
9. バーチャルデータモデル（１３）とリアルオブジェクト（１２）との合致品質を判定し、特に、リアルオブジェクト（１２）の少なくとも一部とバーチャルデータモデル（１３）の少なくとも一部との間の少なくとも一つの距離の測定を行うことを特徴とする請求項１〜８のいずれかに記載の方法。
10. 上記のリアルオブジェクト（１２）の少なくとも一部とバーチャルデータモデル（１３）の少なくとも一部との間の少なくとも一つの距離の測定は、ユーザによる画像中のバーチャルモデルもしくはプローブ（２３）手段を介したリアルオブジェクトの一部の選択によって第１の点を定め、次に、プローブ（２３）手段を介したユーザによるリアルオブジェクト（１２）もしくは画像中のバーチャルモデル（１３）の対応する部分の選択によって第２の点を定め、第１の点および第２の点の間の距離を測定すべき距離とすることを特徴とする請求項９に記載の方法。
11. 上記のバーチャルデータモデル（１３）とリアルオブジェクト（１２）との合致品質の判定は、端縁に基づくトラッキング法もしくは領域に基づくトラッキング法によって実行されることを特徴とする請求項９または１０に記載の方法。
12. 上記のバーチャルデータモデル（１３）とリアルオブジェクト（１２）との合致品質の判定は、ユーザあるいは実装されたアルゴリズムが、リアルオブジェクト（１２）とバーチャルデータモデル（１３）との合成の比較を、データモデルの少なくとも一部がリアルオブジェクトの対応する部分と高精度に重なり合うまで実行し、これにより、この比較の測定値が、合成品質に関する明細の基礎として用いられることを特徴とする請求項９〜１１のいずれかに記載の方法。
13. データモデル（１３）をリアルオブジェクト（１２）に対し位置決めする際に、不正確さの情報が生成されることを特徴とする請求項１〜１２のいずれかに記載の方法。
14. リアルオブジェクト（１２）に対するカメラ（１１）の位置および方向を把握するシステム（１０）であって、
    上記リアルオブジェクト（１２）の少なくとも一部と接触するのに適した少なくとも一つのプローブ（２３）が接続可能な少なくとも一つの可動部（２２）を有するセンサシステム（２０）と、
    上記センサシステムの上記可動部（２２）上に配置され、かつリアルオブジェクト（１２）の少なくとも一部を含む画像を生成するカメラ（１１）と、
    リアルオブジェクト（１２）に対するセンサシステム（２０）の位置データ（３１）を出力するためのインタフェース装置（２６）と接続され、バーチャルデータモデル（１３）とカメラ（１１）が生成した画像との合成に用いるために、リアルオブジェクト（１２）に対するカメラ（１１）の位置および方向を決定する処理装置（１４）と、
    を備えてなるシステム。
15. 上記カメラ（１１）はアダプタ装置（２４）に取り付けられており、該アダプタ装置がカメラ（１１）とプローブ（２３）との間の機械的接続を提供することを特徴とする請求項１４に記載のシステム。
16. 上記アダプタ装置（２４）は、異なるプローブ（２３）を繰り返し使用できるように設計されていることを特徴とする請求項１５に記載のシステム。
17. 上記アダプタ装置（２４）は、プローブ（２３）を接続したときに該プローブがセンサシステム（２０）によって自動的に認識されるように設計されていることを特徴とする請求項１５または１６に記載のシステム。
18. 上記カメラ（１１）の画像を表示するディスプレー装置（１５）が上記アダプタ装置（２４）に取り付けられていることを特徴とする請求項１５〜１７のいずれかに記載のシステム。
19. 上記処理装置（１４）が上記アダプタ装置（２４）に取り付けられていることを特徴とする請求項１５〜１８のいずれかに記載のシステム。
20. 上記カメラ（１１）と上記処理装置（１４）とカメラの画像を表示するディスプレー装置（１５）とが、統合した一つの装置として構成されてアダプタ装置（２４）に取り付けられており、このアダプタ装置が、上記プローブ（２３）と上記の統合した装置（１１，１４，１５）との機械的接続を提供することを特徴とする請求項１５〜１９のいずれかに記載のシステム。
21. リアルオブジェクト（１２）に対するカメラ（１７）ないしディスプレー装置（１９）の位置および方向を把握するシステム（１０）であって、
    上記リアルオブジェクト（１２）の少なくとも一部と接触するのに適した少なくとも一つのプローブ（２３）が接続可能な少なくとも一つの第１可動部（２２）と、第２可動部（２５）と、を有するセンサシステム（２０）と、
    上記センサシステムの上記第１可動部（２２）上に配置され、センサシステムの上記第２可動部（２５）を検知可能なトラッキングシステム（１６）と、
    上記センサシステムの上記第２可動部（２５）上に配置され、かつリアルオブジェクト（１２）の少なくとも一部を含む画像を生成するカメラ（１７）ないしディスプレー装置（１９）と、
    リアルオブジェクト（１２）に対するセンサシステム（２０）の第１位置データ（３１）およびセンサシステムの第２可動部（２５）に対するトラッキングシステム（１６）の第２位置データ（８１）を出力するためのインタフェース装置（２６）と接続され、バーチャルデータモデル（１３）とカメラ（１７）ないしディスプレー装置（１９）が生成した画像との合成に用いるために、リアルオブジェクト（１２）に対するカメラ（１７）ないしディスプレー装置（１９）の位置および方向を決定する処理装置（１４）と、
    を備えてなるシステム。
22. 上記トラッキングシステム（１６）は光学的トラッキングシステムとして実施されることを特徴とする請求項２１に記載のシステム。
23. 上記カメラ（１１）はリアルオブジェクトを照明する光源を備えていることを特徴とする請求項１４〜２２のいずれかに記載のシステム。
24. リアルオブジェクト（１２）に対するカメラ（１１）の位置および方向を把握するシステムに読み込まれたときに、センサシステムの位置データ（３１，３２）に基づいてカメラ（１１）の位置および方向を決定する、請求項１〜１３のいずれかに記載の方法に対応したソフトウェアコード部分を有するコンピュータプログラム製品。

Images