JP2017528727A - ２ｄカメラ画像からの３ｄ画像の生成に当たり３ｄ計量器と併用される拡張現実カメラ - Google Patents

Abstract

本方法では、二次元（２Ｄ）カメラを二通りの位置で用いることで、３個の共通な基点を有する第１及び第２の２Ｄ画像を生成する。更に、三次元（３Ｄ）計測装置を用い２個の３Ｄ座標を計測する。第１及び第２の２Ｄ画像並びに当該２個の３Ｄ座標を組み合わせることで、既スケーリング３Ｄ画像を取得する。

Description

（関連出願の相互参照）
本願では、この参照を以て本願にその全容が繰り入れられる２０１４年９月２５日付米国仮特許出願第６２／０５５０３０号に基づく利益を主張する。

（発明の背景）
本件開示は拡張現実に関し、より具体的には、３Ｄ計量器により実行されるスケール計測を通じ三次元（３Ｄ）画像へと形態変形される二次元（２Ｄ）画像の生成に利用される、スタンドアロンな拡張現実カメラに関する。

拡張現実（ＡＲ）は仮想現実から芽生えてきた比較的新しい種類の技術である。拡張現実では、実際の実世界情報又はデータが、仮想情報又はデータに対し又はその中若しくは上に統合、重畳又は超越投射（トランスプロジェクト）される。即ち、実世界物体又は光景の拡張的な眺望又は認知をユーザに提供すべく、何らかの物体又は光景に係る実際の感知、計測、捕捉又はイメージング済実世界情報又はデータが、仮想情報又はデータによって“拡張”、補充又は補強される。拡張現実の適用範囲には、部品、部材又は装置の製造組立及び／又は保守修理、並びに施設、建屋又は構造物のレイアウト及び構築といった、技術的又は産業的分野が包含される。非特許文献１では複数通りの現代的ＡＲアプリケーションが開示されている。

部品、部材又は装置や場所又は光景に関する実情報又はデータは、種々の装置を用い種々の手法で得ることができる。実情報又はデータを提供しうる装置の一種としては３Ｄ計量装置、例えばポータブル有関節腕座標計測機（ＡＡＣＭＭ）やレーザトラッカの態を採る座標計測装置がある。この種の計測装置によれば、部品、部材、装置、場所又は光景の実際の３Ｄ座標を、三通りの並進座標（例．ｘ，ｙ及びｚ即ちデカルト座標）及び三通りの回転座標（例．ピッチ、ロール及びヨー）の態で計測及び提供することができる。そのためこの計測装置は６自由度（即ち６ＤＯＦ）を提供するものと認めうる。

また、カメラを使用することで、実際の部品、部材又は装置の静止画又は動画を撮影すること、望ましい場所又は光景自体の静止画又は動画を撮影すること、及び／又は、部品、部材若しくは装置を囲み又はそれに関連する望ましい場所又は光景の静止画又は動画を撮影することができる。

仮想情報又はデータの例は部品、部材、装置、場所又は光景に関する人工的な被格納情報である。その被格納仮想情報又はデータの例は部品、部材、装置、場所又は光景の設計に関するもの、例えば単純な文字列又は記号群から比較的複雑なグラフィカル３Ｄ−ＣＡＤ設計データに亘るそれである。被格納仮想情報又はデータに可視情報のみならず可聴又は音響情報又はデータが含まれていてもよい。また、被格納仮想情報又はデータに、テキスト命令又は部品、部材若しくは装置の修理若しくは保守命令等の情報や、事務所若しくは製造及び／又は修理設備の設計（例．建屋又は設備のレイアウト）等で使用されうる部品、部材又は装置を表す可視情報が関わっていてもよい。

ＡＲシステムにおける実・仮想間組合せ情報又はデータは、通常はディジタル的な性質を有しており、ユーザに対し表示画面上でリアルタイムに（即ち実情報が計測又は感知されつつあるときに）提供することができる；表示画面は多様な種類又は形態たり得、その例としてはデスクトップ又はラップトップコンピュータモニタ、タブレット、スマートフォンに係るそれ、更には例えば眼鏡、帽子又はヘルメットに係るヘッドマウントディスプレイがある。スピーカを通じ音声情報をもたらすこともできる。

言及した通り、３Ｄ計量又は座標計測装置の一種としてはポータブルＡＡＣＭＭがある。そうしたＡＡＣＭＭは部品の製造又は生産、特にその製造又は生産の諸段階（例．機械加工）でその部品の寸法を迅速且つ正確に確認する必要があるそれで広く用いられている。ポータブルＡＡＣＭＭは、特にやや複雑な部品の寸法計測を実行するのにかかる時間の点で、既知の静止又は固定型、コスト集約的且つやや使用困難な計測機器に対する改良に相当する。通常、ポータブルＡＡＣＭＭのユーザは、計測対象部品又は物体の表面に沿いプローブを導くだけでよい。そうすると計測データが記録されユーザに提供される。ある場合には、このデータがユーザに対し可視形態で、例えばコンピュータ画面上に３Ｄ形態で提供される。別の場合には、このデータがユーザに対し数値形態で、例えば孔直径計測時なら文字列“Ｄｉａｍｅｔｅｒ＝１．００３４”をコンピュータ画面上に表示させることで提供される。

この参照を以てその内容が本願に繰り入れられる特許文献１（発明者：Ｒａａｂ）では従来型ポータブルＡＡＣＭＭの一例が開示されている。特許文献１で開示されている３Ｄ計測システムは、その一端に支持ベース、他端に計測プローブが備わる手動操作型ＡＡＣＭＭを備えている。また、この参照を以てその内容が本願に繰り入れられる特許文献２（発明者：Ｒａａｂ）でも類似するＡＡＣＭＭが開示されている。特許文献２のＡＡＣＭＭはプローブエンドに位置する付加的な回動軸を含め複数個の特徴を有しており、それにより２−２−２又は２−２−３軸構成を有するアーム（後者は７軸アームとなる）が提供されている。

他種の３Ｄ計量又は座標計測装置としては、レーザトラッカとして知られる計器分類に属し、レーザビームをその点に送ることで点の３Ｄ座標を計測するものがある。レーザビームはその点上に直に射突させてもよいし、その点に接触している再帰反射ターゲット上に射突させてもよい。いずれの場合でも、ターゲットまでの距離及びそのターゲットに対する二通りの角度を計測することにより、レーザトラッカ計器にてその点の座標が導出される。距離は距離計測装置、例えば絶対距離計又は干渉計により計測される。角度は角度計測装置例えば角度エンコーダにより計測される。レーザビームは、その計器内にあるジンバル式ビームステアリング機構によって注目点に差し向けられる。

レーザトラッカは、自分で輻射した１本又は複数本のレーザビームで再帰反射ターゲットを追尾（トラッキング）する独特な種類の座標計測装置である。その意味でレーザトラッカは“飛行時間”（ＴＯＦ）型計測装置である。レーザトラッカに対し緊密な関係を有する座標計測装置としてはレーザスキャナ及びトータルステーションがある。レーザスキャナは、物体表面上の諸点に１本又は複数本のレーザビームを送りつける。レーザスキャナは、その面で散乱された光をピックアップし、その光に基づき各点までの距離及び二通りの角度を導出する。トータルステーションは監視用途で暫し用いられるものであり、拡散散乱ターゲットや再帰反射ターゲットの座標を計測するのに使用することができる。

通常、レーザトラッカはレーザビームを再帰反射ターゲットに送る。再帰反射ターゲットの中でも一般的な種類は、金属球内に埋め込まれたキューブコーナ型再帰反射器を備える球面実装型再帰反射器（ＳＭＲ）である。キューブコーナ型再帰反射器は相直交する３個のミラーを備える。その頂点即ち当該３個のミラーにより共有される交点はその球の中心に位置する。キューブコーナのこのような球内配置が原因で、頂点から任意のＳＭＲ着座面までの鉛直距離は、ＳＭＲが回っても一定に保たれる。従って、表面に沿ってＳＭＲを動かしつつそのＳＭＲの位置を追跡することにより、レーザトラッカで物体表面の３Ｄ座標を計測することができる。このことを別の言い方でいえば、レーザトラッカでは、三通りの自由度のみ（一通りのラジアル距離及び二通りの角度）を計測するだけで表面の３Ｄ座標を全面的に特定することができる。

レーザトラッカの一種に、干渉計（ＩＦＭ）入りで絶対距離計（ＡＤＭ）抜きのものがある。この種のトラッカのうちいずれかに発するレーザビームの経路が何らかの物体によって遮蔽された場合、そのＩＦＭが自身の距離基準を失うことになる。その場合、オペレータは、再帰反射器を既知部位まで運び基準距離をリセットしないと、計測を継続することができない。この制約を迂回する途の一つはトラッカ内にＡＤＭを持ち込むことである。ＡＤＭによれば、後に詳説する通り距離をポイントアンドシュート形態で計測することができる。レーザトラッカにはＡＤＭ入りで干渉計抜きの種類がある。この参照を以てその内容が本願に繰り入れられる特許文献３（発明者：Ｂｒｉｄｇｅｓ ｅｔ ａｌ．）には、ＡＤＭのみを有していて（ＩＦＭを有しておらず）移動ターゲットを正確に走査可能なレーザトラッカが記載されている。特許文献３以前の絶対距離計は低速すぎて移動ターゲットの位置を正確に見いだすことができなかった。

レーザビームは、レーザトラッカ内のジンバル機構を使用しトラッカからＳＭＲへと差し向けることができる。ＳＭＲでは光が再帰反射され、その光の一部がレーザトラッカに入射して位置検出器上に到達する。その位置検出器上での光の位置を利用することで、レーザトラッカ内の制御システムにより、自レーザトラッカに備わる機械軸の回動角を調節してレーザビームをＳＭＲ上に集中させ続けることができる。このような要領で、注目物体の表面上で移動するＳＭＲをトラッカで追跡（追尾）することができる。

角度計測装置例えば角度エンコーダはトラッカの機械軸に取り付けられる。一通りの距離計測及び二通りの角度計測をレーザトラッカで実行することで、十分に、計測対象物体の表面上の任意点にあるＳＭＲの三次元位置を全特定することができる。

従来のような３自由度ではなく６自由度に亘り計測するレーザトラッカが幾通りか開示されている。それら６自由度は、本願中で後に詳説する通り、三通りの並進自由度及び三通りの方向自由度を含むものである。いずれもこの参照を以てその内容が本願に繰り入れられる特許文献４（発明者：Ｂｒｉｄｇｅｓ ｅｔ ａｌ．）、特許文献５（発明者：Ｂｒｉｄｇｅｓ ｅｔ ａｌ．）及び特許文献６（発明者：Ｃｒａｍｅｒ ｅｔ ａｌ．）には６自由度（６ＤＯＦ又は６−ＤＯＦ）レーザトラッカシステムの例が記載されている。

これら６ＤＯＦレーザトラッカは、自レーザトラッカによって６自由度計測される再帰反射器を有する別体型プローブを備える構成とすることができる。レーザトラッカによって計測されるプローブの６自由度には三通りの並進自由度及び三通りの方向自由度が含まれると考え得る。そのうち三通りの並進自由度はレーザトラッカ・再帰反射器間のラジアル距離計測、第１角度計測及び第２角度計測を含んでいる。ラジアル距離計測はレーザトラッカ内のＡＤＭ又はＩＦＭで実行することができる。第１角度計測はアジマス角計測装置例えばアジマス角エンコーダで実行することができ、第２角度計測はゼニス角計測装置例えばゼニス角エンコーダで実行することができる。或いは、第１角度計測装置をゼニス角計測装置とし第２角度計測装置をアジマス角計測装置としてもよい。これらラジアル距離、第１角度計測及び第２角度計測により、デカルト座標系その他の座標系に準拠した三通りの座標へと変換可能な三通りの球面座標系準拠座標が定まる。

プローブの三通りの方向自由度は、上掲の特許文献４に記載の如くパターン付キューブコーナを用い導出することができる。或いは、他の方法を用いプローブの三通りの方向自由度を導出してもよい。これら三通りの並進自由度及び三通りの方向自由度によって６ＤＯＦプローブの（ひいてはプローブ端の）空間内位置及び方向が全面的に画定される。注記すべきことに、６自由度が互いに独立でないため６自由度だけでは装置の空間内位置及び方向を全面的に画定できないシステムにすることも可能であるので、ここで述べたことが成り立つのはここで想定したシステムにおいてである。用語“並進セット”は、レーザトラッカ基準座標系における６ＤＯＦアクセサリ（例えば６ＤＯＦプローブ）の三通りの並進自由度の略記である。用語“方向セット”は、レーザトラッカ基準座標系における６ＤＯＦアクセサリ（例．プローブ）の三通りの方向自由度の略記である。用語“表面セット”は、レーザトラッカ基準座標系における物体表面上の点の三次元座標をプローブ端によって計測したものの略記である。

他の既知種３Ｄ計量装置としては上掲のＴＯＦ型レーザスキャナ、更には三角測量スキャナがある。

米国特許第５４０２５８２号明細書 米国特許第５６１１１４７号明細書 米国特許第７３５２４４６号明細書 米国特許第７８００７５８号明細書 米国特許第８５２５９８３号明細書 米国特許第８４６７０７２号明細書 米国特許第８５３３９６７号明細書 米国特許出願公開第２０１４／００７８５１９号明細書 米国特許第６７１１２９３号明細書

http://en.wikipedia.org/wiki/Augmented_reality "DLP-Based Structured Light 3D Imaging Technologies and Applications" by Jason Geng, published in the Proceedings of SPIE, Vol. 7932

拡張現実の分野では各種３Ｄ計量装置との併用に備え幾つかの技術革新が既になされているが、ＡＡＣＭＭ、レーザトラッカ、ＴＯＦ型レーザスキャナ及び三角測量スキャナといった３Ｄ計量装置との併用に適した新規な拡張現実アプリケーションへの需要が存在している。

本発明の一実施形態に係る方法は、少なくとも２個の二次元（２Ｄ）画像を組み合わせて三次元（３Ｄ）画像にする方法であり、拡張現実（ＡＲ）カメラを準備するステップと、基準座標系を有し、そのＡＲカメラから分離されていて、且つレーザトラッカ、飛行時間（ＴＯＦ）型レーザスキャナ及び有関節腕座標計測機を含む集合から選ばれたものである３Ｄ計量器を準備するステップと、第１時点にて、第１個所にあるＡＲカメラで第１の２Ｄ画像を生成するステップと、第２時点にて、第１個所とは異なる第２個所へとＡＲカメラを動かしそのＡＲカメラで第２の２Ｄ画像を生成するステップと、第１及び第２の２Ｄ画像の双方に共通な少なくとも３個の基点を発見するステップと、上記少なくとも３個の既発見基点に少なくとも部分的に依拠し、第１及び第２の２Ｄ画像の位置を合わせることで未スケーリングコンポジット３Ｄ画像を取得するステップと、上記少なくとも３個の既発見基点の中から第１被選択基点及び第２被選択基点を特定するステップと、第１の２Ｄ画像及び第２の２Ｄ画像の双方でカバーされる領域内にある第１参照点及び第２参照点の３Ｄ座標を上記３Ｄ計量器で計測するステップと、第１参照点及び第２参照点の３Ｄ座標計測結果に少なくとも部分的に依拠し第１及び第２被選択基点それぞれの３Ｄ座標を導出するステップと、第１及び第２被選択基点それぞれの３Ｄ座標導出結果並びに未スケーリングコンポジット３Ｄ画像から、既スケーリングコンポジット３Ｄ画像たる上記３Ｄ画像を生成するステップと、を有する。

上記の及びその他の長所及び特徴は、図面を参照しての後掲の説明により更に明瞭になろう。

本発明と認められる主題については、本明細書の末尾に付された特許請求の範囲内で具体的に指定され且つ画定的に宣誓されている。本発明の上記の及びその他の特徴及び長所については、以下の如き添付図面と併せ後掲の詳細な説明から明らかである。

本発明の一実施形態に係るポータブル有関節腕座標計測機（ＡＡＣＭＭ）の斜視図である。 本発明の一実施形態に係るレーザトラッカの斜視図である。 本発明の一実施形態に係る飛行時間（ＴＯＦ）型レーザスキャナの斜視図である。 本発明の一実施形態に係る三角測量スキャナの斜視図である。 物体表面の２Ｄ画像を捉えそれら２Ｄ画像から３Ｄ画像を生成するのに使用される拡張現実カメラ及び３Ｄ計量装置の配列を示す図である。 本発明の諸実施形態に係り、物体表面の２Ｄ画像を捉えそれら２Ｄ画像から３Ｄ画像を生成するのに使用される方法の諸ステップのフローチャートである。

詳細な説明では、本発明の諸実施形態並びにその長所及び特徴に関し図面を参照して例示説明する。

図１〜図４に、本発明の諸実施形態に係る三次元（３Ｄ）計量装置又は計量器の例を示す。こうした装置、例えば有関節腕座標計測機（ＡＡＣＭＭ）１００、レーザトラッカ２００、飛行時間（ＴＯＦ）型レーザスキャナ３００及び三角測量スキャナ４００のことを、本願では３Ｄ計器と総称している。ご承知頂くべきことに、本願記載の諸実施形態に関し特定の３Ｄ計器が参照されることがあるが、特許請求の範囲に記載の発明をそのように限定解釈すべきではない。また、諸実施形態を別の３Ｄ計器又は計量装置、例えばレーザラインプローブ、トータルステーション、経緯儀その他で使用することも可能である。

図１に、本発明の諸実施形態に係るＡＡＣＭＭ１００を示す。有関節腕は座標計測機の一種である。ＡＡＣＭＭ１００はポータブルなものにすることができ、またこの参照を以てその全容が本願に繰り入れられる特許文献７（発明者：Ｂａｉｌｅｙ ｅｔ ａｌ．）に記載のＡＡＣＭＭと同一又は類似のそれにすることができる。本例のＡＡＣＭＭ１００を以て、６又は７軸有関節座標計測装置、特に同ＡＡＣＭＭ１００のアーム部１０４の一端に連結された計測プローブハウジング１０２が備わるプローブエンド４０１を有するそれを、構成することができる。

アーム部１０４に備わる第１アームセグメント１０６は、第１群のベアリングカートリッジ１１０（例．２個のベアリングカートリッジ）を有する回動連結部によって第２アームセグメント１０８に連結されている。その第２アームセグメント１０８は第２群のベアリングカートリッジ１１２（例．２個のベアリングカートリッジ）によって計測プローブハウジング１０２に連結されている。第１アームセグメント１０６は、第３群のベアリングカートリッジ１１４（例．３個のベアリングカートリッジ）によって、ＡＡＣＭＭ１００のアーム部１０４の他端に位置するベース１１６に連結されている。各群のベアリングカートリッジ１１０，１１２，１１４により多軸有関節運動が可能とされている。また、プローブエンド４０１は、ＡＡＣＭＭ１００の第７軸部分のシャフトを構成する計測プローブハウジング１０２（例．ＡＡＣＭＭ１００の第７軸に沿った計測装置例えばコンタクトプローブ１１８の運動を判別するエンコーダシステムが組み込まれたカートリッジ）が備わる構成とすることができる。本実施形態では、計測プローブハウジング１０２の中心を通り延びる軸周りで、プローブエンド４０１を回動させることができる。使用時には、通常、ベース１１６が作業面に固定される。

各ベアリングカートリッジ群１１０，１１２，１１４に属する個々のベアリングカートリッジには、通常、エンコーダシステム（例．光学式角度エンコーダシステム）が組み込まれる。このエンコーダシステム（即ちトランスデューサ）によって、各アームセグメント１０６，１０８及び対応するベアリングカートリッジ群１１０，１１２，１１４の位置の指示（指摘）が得られる；それらが合わせ、ベース１１６に対するプローブ１１８の位置（ひいてはある種の基準座標系（リファレンスフレーム）例えば局所（ローカル）又は大域（グローバル）基準座標系に従いＡＡＣＭＭ１００によって計測される物体の位置）の指示子が得られる。

プローブ１１８は計測プローブハウジング１０２に可脱実装されており、その計測プローブハウジング１０２がベアリングカートリッジ群１１２に連結されている。この計測プローブハウジング１０２には、例えばクイックコネクトインタフェース等の手段で、ハンドルアクセサリ１２６を着脱することができる。ある種の実施形態ではこのプローブハウジング１０２内にリムーバブルプローブ１１８が収容される；これは計測対象物体に物理的に接触する接触式計測装置であり、そのチップ１１８は様々な構成とすることができる；例えば、これに限定されるものではないが、ボール型、タッチ感応型、湾曲型及び延伸型のプローブである。他種実施形態では、例えばレーザラインプローブ（ＬＬＰ）といった非接触式装置により計測が実行される。ある実施形態では、クイックコネクトインタフェースを用いハンドル１２６がＬＬＰに交換される。リムーバブルハンドル１２６を他種アクセサリ装置に交換して更なる機能性を提供することもできる。そうしたアクセサリ装置の例としては、これに限定されるものではないが、１個又は複数個の照明ライト、温度センサ、サーマルスキャナ、バーコードスキャナ、プロジェクタ、ペイントスプレイヤ、カメラ、ビデオカメラ、オーディオ記録システム、これらに類するもの等がある。

一実施形態に係るポータブルＡＡＣＭＭ１００のベース１１６内には電子データ処理システム１２８が組み込まれ又は収容されており、その電子データ処理システム１３０には、ＡＡＣＭＭ１００内の各種エンコーダシステムから来るデータ及び他種アームパラメタを表すデータを処理して３Ｄ位置計算をサポートするベース処理システムと、ＡＡＣＭＭ１００内でほぼ完全な計量機能を実現可能にする常駐アプリケーションソフトウェアとが組み込まれている。

後に詳論する通り、ベース１１６内電子データ処理システム１３０は、ベース１１６から離れた場所にあるエンコーダシステム、センサその他の周辺ハードウェア（例．ＡＡＣＭＭ１００上のリムーバブルハンドル１２６又はその内部に実装可能なＬＬＰ）と通信することができる。これら周辺ハードウェア装置又は機能をサポートする電子回路は、ポータブルＡＡＣＭＭ１００内に位置する各ベアリングカートリッジ群１１０，１１２，１１４内に配置することができる。

図２に例示するレーザトラッカシステム２００は、レーザトラッカ２０２、再帰反射ターゲット２０４、電子データ処理システム２０６及びオプションの補助コンピュータ２０８を備えている。レーザトラッカ２００は、本願出願人に係りこの参照を以て本願にその全容が繰り入れられる２０１３年７月３日付米国仮特許出願第６１／８４２５７２号に記載のそれと類似のものとすることができる。ご承知頂くべきことに、電子データ処理システム２０６がレーザトラッカ２００外に描かれているけれども、これは例示のためであるので、電子データ処理システム２０６をレーザトラッカ２００のハウジング内に配置してもかまわない。レーザトラッカ２００のジンバル式ビームステアリング機構２１０は、例えば、アジマスベース２１４上に実装されていてアジマス軸２１６周りで回動するゼニスキャリッジ２１２を備える。ペイロード２１８はゼニスキャリッジ２１２上に実装されていてゼニス軸２２０周りで回動する。ゼニス軸２２０及びアジマス軸２１６はトラッカ２００内のジンバル点２２２で直交しており、通常はこのジンバル点２２２が距離計測用局所基準座標系の原点とされる。

レーザビーム２２４はそのジンバル点２２２を仮想的に通過しており、またゼニス軸２２０に対し直交する方向に向けられている。言い換えれば、レーザビーム２２４は、ゼニス軸２２０に対しほぼ垂直でアジマス軸２１６を通っている面内に存している。出射レーザビーム２２４は、ペイロード２１８のゼニス軸２２０周り回動及びゼニスキャリッジ２１２のアジマス軸２１６周り回動によって所要方向に向けられる。トラッカ２２０内にはゼニス角エンコーダ２２６があり、ゼニス軸２２０に対し整列しているゼニス機械軸に取り付けられている。同トラッカ内にはアジマス角エンコーダ２２８があり、アジマス軸２１６に対し整列しているアジマス機械軸に取り付けられている。これらゼニス角、アジマス角エンコーダ２２６，２２８により、ゼニス回動角、アジマス回動角が比較的高精度で計測される。出射レーザビーム２２４は再帰反射ターゲット２０４、例えば球面実装型再帰反射器（ＳＭＲ）に向かい伝搬する。

再帰反射ターゲット２０４までの距離は、絶対距離計（ＡＤＭ）、干渉計等の計測装置からの信号に応じ電子データ処理システム２０６によって導出される。ジンバル点２２２・再帰反射器２０４間ラジアル距離、ゼニス軸２２０周り回動角及びアジマス軸２１６周り回動角を計測することで、トラッカの局所球面座標系における再帰反射器２０４の位置ひいては検査対象物体の３Ｄ座標が、電子データ処理システム２０６により求まる。

図３に、本発明の諸実施形態に係るレーザスキャナ３００の例を示す。このレーザスキャナ３００は計測ヘッド３０２及びベース３０４を有している。レーザスキャナ３００は、この参照を以て本願にその内容が繰り入れられる特許文献８（発明者：Ｓｔｅｆｆｅｙ ｅｔ ａｌ．）に記載のそれと類似のものとすることができる。計測ヘッド３０２は、レーザスキャナ３００が鉛直軸３０６周りで回動しうるようベース３０４上に実装されている。一実施形態に係る計測ヘッド３０２は、鉛直軸３０６及び水平軸３１０周り回動の中心たるジンバル点３０８を有している。一実施形態に係る計測ヘッド３０２は、水平軸３１０周りで回動させうるロータリミラー３１２を有している。鉛直軸３０６周り回動は例えばベース３０４の中央を中心とした回動である。一実施形態に係る鉛直（アジマス）軸３０６及び水平（ゼニス）軸３１０はジンバル点３０８で交差しており、そのジンバル点３０８を以て座標系の原点とすることができる。

計測ヘッド３０２には、更に、電磁波輻射器例えば輻射光ビーム３１６を輻射する発光器３１４が併設されている。一実施形態に係る輻射光ビーム３１６はコヒーレント光例えばレーザビームである。このレーザビームはその波長域が約３００〜１６００ｎｍのもの、例えば７９０ｎｍ、９０５ｎｍ、１５５０ｎｍ又は４００ｎｍ未満のものがよい。ご承知頂くべきことに、より長波長又は短波長の他種電磁波ビームも使用することができる。輻射光ビーム３１６が例えば正弦波又は方形波で振幅又は強度変調されていてもよい。輻射光ビーム３１６は発光器３１４によってロータリミラー３１２上に向け輻射され、そこで周囲環境へと方向転換される。反射光ビーム３１８は周囲環境にて物体３２０により反射されたものである。この反射又は散乱光はロータリミラー３１２で中途捕捉され受光器３２２に差し向けられる。輻射光ビーム３１６及び反射光ビーム３１８の方向は、ロータリミラー３１２、計測ヘッド３０２のそれぞれ軸３０６、軸３１０周りでの角度位置に由来する。翻って、それら角度位置は、ロータリミラー３１２、計測ヘッド３０２を対応する軸３１０、軸３０６周りで回動させるロータリドライブに依存している。各軸３１０，３０６は、角度計測用に少なくとも１個の角度トランスデューサ３２４，３２６を有している。その角度トランスデューサは角度エンコーダとすることができる。

発光器３１４及び受光器３２２には電子データ処理システム３２８が接続されている。電子データ処理システム３２８は、複数個の表面ポイントＸに関し、レーザスキャナ３００と物体３２０上の表面ポイントＸとの間の距離“ｄ”を相応個数導出する。個別の表面ポイントＸまでの距離は、本装置からその表面ポイントＸまで電磁波が伝搬する空気中での光速に少なくとも部分的に依拠して導出される。ある実施形態では、レーザスキャナ３００・表面ポイントＸ間位相シフトの導出及び評価によって距離計測結果“ｄ”が得られる。他の実施形態では、レーザパルス間経過時間（“飛行時間”即ちＴＯＦ）を直接計測することで距離計測結果“ｄ”が導出される。

空気中での光速はその空気の特性、例えば気温、気圧、湿度及び二酸化炭素濃度に依存する。そうした空気特性はその空気の屈折率ｎに影響を及ぼす。空気中での光速は真空中での光速“ｃ”を屈折率で除したものに等しい。言い換えればｃ_ａｉｒ＝ｃ／ｎである。ここで論じている種類のレーザスキャナ３００は、空気中での光の飛行時間（光が装置から物体まで伝搬しそこから同装置に戻ってくるまでの往復時間）に基づいている。光（或いは各種の電磁波）の飛行時間に基づく距離計測手法は空気中での光速に依存する。

ある実施形態では、レーザスキャナ３００を取り巻く空間の走査が、計測ヘッド３０２を軸３０６周りで比較的ゆっくりと回動させつつロータリミラー３１２を軸３１０周りで比較的素早く回動させ、それにより同アセンブリを螺旋状に動かすことで実行される。そうしたスキャニングシステムにあっては、ジンバル点３０８によって局所静止基準座標系の原点が規定される。局所静止基準座標系はベース３０４が静止している座標系である。

図４に、一実施形態に係る三角測量スキャナ４００として、光源４０２及び少なくとも１個のカメラ４０４と、物体４０８の表面４１０上にある諸点の３Ｄ座標を導出する電子データ処理システム４２０と、を備えるものを示す。この三角測量スキャナは、本願出願人に係りこの参照を以て本願にその内容が繰り入れられる２０１３年１２月２３日付米国特許仮出願第１４／１３９０２１号に記載のそれと類似のものとすることができる。三角測量スキャナ４００がレーザトラッカ２００やＴＯＦ型レーザスキャナ３００と相違する点は、空気中での光速ではなく、光源４０２・カメラ４０４間の固定的な幾何学的関係に関わる三角測量原理に基づき、物体表面の３Ｄ座標が導出される点である。

大略、三角測量スキャナ４００にはよく知られている二つの種類がある。第１の種類はしばしばレーザラインプローブ又はレーザラインスキャナと呼ばれるものであり、光のライン又は被掃引点を物体４０８の表面４１０上に投射する。反射されたレーザ光がカメラ４０４によって捉えられるので、幾つかの時点で、表面４１０上の諸点の３Ｄ座標を導出することができる。第２の種類はしばしば構造化光スキャナと呼ばれるものであり、光の二次元パターン又は複数個の光パターンを物体４０８の表面４１０上に投射する。その面４１０の３Ｄプロファイルによって、カメラ４０４内の感光アレイで捉えたパターンの画像が左右される。そうしたパターン又はパターン群の画像又は画像群から収集した情報を用い、電子データ処理システム４２０にて、カメラ４０４内感光アレイを構成している諸画素と、光源４０２によって輻射された光のパターンと、の間の１対１対応関係を幾つかの時点で導出することができる。この１対１対応関係をカメラ・プロジェクタ間基線距離と併用し、電子データ処理システム４２０によって三角測量を適用することで、表面４１０上の諸点の３Ｄ座標を導出することができる。表面４１０に対し三角測量スキャナ４００を動かすことで、物体４０８全体に亘る点クラウドを生成することができる。

更に、構造化光パターンには、大略、符号化光パターン及び非符号化光パターンの二種類がある。本願中の用語、符号化光パターンは、物体の被照明面の３Ｄ座標が単一の投射パターン及び単一の相応画像に依拠するパターンをさしている。符号化光パターン使用時には、パターンそれ自体に基づき投射パターン上の諸点と受光画像上の諸点との間の１対１対応関係を画定する途がある。こうした特性があるため、投射装置をその物体に対し動かしながら点クラウドデータを取得し位置合わせすることができる。符号化光パターンの一種としては、線状に配置された一組の要素（例．幾何学的図形）を有し、それら要素のうち少なくとも３個が非共線的なものがある。そうしたパターン構成要素はそれらの配置故に認識することができる。対するに、本願中の用語、非符号化構造化光は、単一パターンに基づき３Ｄ座標を決め得ないパターンをさしている。一連の非符号化光パターンを順次投射及びイメージングし、得られた一連の画像間の関係を利用することで、被投射点及び被イメージング点間の１対１対応関係を画定することができる。この実施形態では、１対１対応関係が画定されるまで、三角測量スキャナ４００が物体４０８に対しある固定位置に配置される。

ご承知頂くべきことに、三角測量スキャナ４００では符号化構造化光パターンも非符号化構造化光パターンも使用することができる。その構造化光パターンには、この参照を以てその内容が本願に繰り入れられる非特許文献２で開示されているパターンが含まれうる。

本願では、ＡＡＣＭＭ１００、レーザトラッカ２００、ＴＯＦ型レーザスキャナ３００及び三角測量スキャナ４００等の３Ｄ計量器を３Ｄ計器と総称している。ご承知頂くべきことに、これらの３Ｄ計量器は一例であり、ある種の物体又は光景の３Ｄ座標を計測しうるよう構成されたどのような３Ｄ計量器をも本願記載のシステム及び方法と併用可能であるので、特許請求の範囲に記載の発明がそのような限定を受けるべきではない。

図５に拡張現実（ＡＲ）カメラ５００を示す。更に３Ｄ計量器５１０、例えば上述した図１のＡＡＣＭＭ１００、図２のレーザトラッカ２００、図３のＴＯＦ型レーザスキャナ３００又は図４の三角測量スキャナ４００も示す。図示していないが、本発明の諸実施形態では他の３Ｄ計量器も利用可能であり、そうした計量器の例としては、６ＤＯＦプローブや６ＤＯＦスキャナと併用される６自由度（６ＤＯＦ）レーザトラッカや、ロボットに取り付けられていてそのポジションがカメラバーによってモニタされる三角測量スキャナがある。本発明の諸実施形態の最広義な技術的範囲に鑑みれば、３Ｄ計量又は計測装置を用い少なくとも２個の基点の３Ｄ座標を計測することが可能であるので、当該少なくとも２個の基点の３Ｄ座標の計測について、本発明の諸実施形態との関連で後により詳細に説明する。

図５には表面５２４を有する物体５２０も示されている；本発明の諸実施形態で望まれるのは、物体５２０の表面５２４のうちある部分又は全体の２Ｄ画像をＡＲカメラ５００で捉え、そしてそれら２Ｄ画像を処理して表面５２４の正確な即ち“真”の３Ｄ画像をもたらすことである。

ＡＲカメラ５００は、“全視野”画像を捕捉可能と見なせる２Ｄカメラである。即ち、ＡＲカメラ５００によって、通常は、割合と広い範囲に亘り画像を得ることができ、またその物体５２０から割合に大きな距離のところで諸物体の画像を得ることができる。また、その画像内にある物体表面５２４についての十分な情報がＡＲカメラ５００によりもたらされるので、カメラ画像データをその物体のＣＡＤモデルにマッピングすることができる。更に、ＡＲカメラ５００によって、物体表面５２４についての色情報を得ることができる。但し、ご理解頂くべきことに、本発明の諸実施形態では、物体表面５２４の２Ｄ画像を取得する際に、２Ｄ−ＡＲカメラ５００の位置及び／又は向き（即ち“姿勢”）が既知である必要はない。

ＡＲカメラ５００はカメラレンズ５３２及び感光アレイ５３４を有している。感光アレイ５３４は例えばＣＣＤ又はＣＭＯＳアレイとすることができる。即ち、ＡＲカメラ５００はその性質上ディジタル的なものとすることができ、且つそのカメラ５００で静止画又は動画を捉えることができる。また、ＡＲカメラ５００は信号処理用電子回路５４０及びメモリ５４４を有する構成とすることができる。ＡＲカメラ５００の諸アプリケーションで必要とされるところに応じ、この信号処理用電子回路５４０にて、３Ｄ計量器５１０及び／又はその他の装置（図示せず）との無線又は有線通信を実行することができる。ＡＲカメラ５００は、更に、特定の基準座標系におけるＡＲカメラ５００の位置特定を支援しうる１個又は複数個の慣性センサ（図示せず）を有する構成とすることができる。

レンズ５３２（複数個のレンズ素子を有するレンズ系でもよい）内には同レンズの投射中心がある。レンズ５３２内を通る光線はその投射中心を通ってから感光アレイ５３４に到達するものと見なせる。細心な分析によれば、レンズ５３２の特性を調べることで、感光アレイ５３４上で僅かな光線交差位置ずれをもたらすレンズ収差を算入、勘案することができる。とはいえ、一般性を損ねることなく述べうる通り、光線は投射中心を通り、画像には画像処理の別ステップで収差補正が施される。

調査対象物体５２０の表面５２４はレンズ５３２により感光アレイ５３４上へと二次元的にイメージングされ、それにより感光アレイ５３４の一部分たる一群の画素上に２Ｄ画像全体が形成される。各画素に到来した光は、そのカメラの積分期間にて電荷からディジタル信号へと変換される。感光アレイ５３４内（ＣＭＯＳアレイの場合）又はアレイ５３４外（ＣＣＤアレイの場合）にあるアナログディジタル変換器、例えば信号処理用電子回路５４０の一部分たるそれは、アナログからディジタル信号への変換を実行する。各画素に係る信号は、通常、８〜１２ビットの二値表現で与えられる。それらのビットで表現される二進数１及び０は並列チャネル経由で送給されていく；これらは、バスライン経由での伝送に際し、シリアライザ／デシリアライザ機能を用いてシリアル形態に変換することができる。

本発明の諸実施形態では、ＡＲカメラ５００を“スタンドアロン”装置と見なせるよう、ＡＲカメラ５００が３Ｄ計量器５１０（又は他の計測装置）から物理的に分離される（即ち取付が行われない）。ＡＲカメラは、固定マウント、スタンド又は据付具、例えば三脚上にそのＡＲカメラを配置することで、静止状態に保つことができる。ＡＲカメラ５００をそのようなかたちで非計測装置上に実装しても、ＡＲカメラ５００の状態又は性質が本発明の諸実施形態における“スタンドアロン”装置のそれから変わりはしない。

本発明の諸実施形態では、ＡＲカメラ５００によって撮影された複数枚の二次元（２Ｄ）カメラ画像を本願中で後述する方法に従い互いに組み合わせること又は“その位置を合わせること”で、様々な実世界形状例えば物体表面の、或いはある種の実世界光景（例．建屋内、車両事故現場又は犯罪場面）の、“真”三次元（３Ｄ）画像表現を得るようにしている。本発明の諸実施形態によれば、ＡＲカメラ５００によって得られた２Ｄ画像内で基点を特定し、それら基点を照らし合わせるステップによって未スケーリング３Ｄ画像を取得する一方、複数個の２Ｄ画像内の都合少なくとも２個の点（例．一致する基点）間の距離計測を３Ｄ計量器５１０により実行し、その距離計測により生成したスケールを未スケーリング３Ｄ画像に対し導入することにより、３Ｄ物体表面５２４の比較的正確な即ち“真”の３Ｄ画像が結果として得られる。

そこで、本発明の諸実施形態に係る方法例について、フローチャートたる図６に示す方法６００を参照して説明する。ステップ６０５では３Ｄ計量器５１０が準備される。ステップ６０５では２ＤスタンドアロンＡＲカメラ５００も準備される。言及した通り、本発明の諸実施形態における３Ｄ計量器５１０は、例えば上述した図１のＡＡＣＭＭ１００、図２のレーザトラッカ２００、図３のＴＯＦ型レーザスキャナ３００又は図４の三角測量スキャナ４００のうちいずれかであり、これらについてはそれぞれ本願中で既に詳説してある。また、本願中で上述した通り、３Ｄ計量器又は計量装置５１０は、本発明の諸実施形態の最広義解釈から逸脱せず他の類種装置を以て構成することができる。

ステップ６１０では、第１時点にて、第１個所に配置されたスタンドアロンＡＲカメラ５００により（即ち第１の観測者視角から）３Ｄ物体表面５２４の第１の２Ｄ画像が生成される。ＡＲカメラ５００内の信号処理用電子回路５４０が第１ディジタル信号、即ちカメラレンズ５３２を介し感光アレイ５３４上に送られた物体表面５２４の第１の２Ｄ画像を示す信号を受け取り、当該第１の２Ｄ画像を生成するようにするとよい。或いは、信号処理用電子回路５４０が感光アレイ５３４からのデータを第１ディジタル信号の形態で３Ｄ計量器５１０に送り、その計量器５１０に第１の２Ｄ画像を生成させるようにしてもよい。更に或いは、信号処理用電子回路５４０が感光アレイ５３４からのデータを第１ディジタル信号の形態で他の何らかの信号処理装置（図示せず）に送り、そこで第１の２Ｄ画像を生成させるようにしてもよい。

ステップ６１５では、第２時点にて、スタンドアロンＡＲカメラ５００が別の第２個所（即ち第１の観測者視角と異なる第２の観測者視角）へと動かされ、そのＡＲカメラ５００により物体表面５２４の第２の２Ｄ画像が生成される。信号処理用電子回路５４０が第２ディジタル信号、即ちカメラレンズ５３２を介し感光アレイ５３４上に送られた物体表面５２４の第２の２Ｄ画像を示す信号を受け取り、第２の２Ｄ画像を生成するようにするとよい。或いは、信号処理用電子回路５４０が感光アレイ５３４からのデータを第２ディジタル信号の形態で３Ｄ計量器５１０に送り、その計量器５１０に第２の２Ｄ画像を生成させるようにしてもよい。更に或いは、信号処理用電子回路５４０が感光アレイ５３４からのデータを第２ディジタル信号の形態で他種信号処理装置（図示せず）に送り、そこで第２の２Ｄ画像を生成させるようにしてもよい。

本発明の諸実施形態によれば、第１及び第２の２Ｄ画像双方に共通な画像構成部分が幾ばくか存することとなるよう、第１及び第２の２Ｄ画像に幾ばくかの重なり合いが求められる。ＡＲカメラ５００がカラーカメラなら第１及び第２の２Ｄ画像はカラー画像となる。

ステップ６２０では、第１の２Ｄ画像及び第２の２Ｄ画像に共通な少なくとも３個の基点が探される。用語“基点”（カーディナルポイント）は、通常、２枚以上の２Ｄ画像内にあり同一点（即ち“一致する”点）と認められる点のことを指すのに使用される。次いで、それら基点を使用することで、画像同士を連結し又は位置合わせすることができる。また、基点は、通常、誰かがどこかにわざと置いたものではない。更に、上記共通な基点は、いずれも物体上又は光景内に位置することとなろう。

こうした基点を発見するのに使用しうる周知技術は複数あり、それらの技術では画像処理又は特徴検出と呼ばれる方法が一般に使用されている。常用に留まらず一般的でもある基点発見範疇には注目点検出と呼ばれるものがあり、それにより検知される点は注目点と呼ばれている。通常の定義によれば、注目点は、数学的に明定された境界線、明定された空間位置、局所情報コンテンツに富む注目点周り画像構造、並びに経時的に比較的安定な輝度レベル変動を呈する。注目点の具体例は隅点であり、これは例えば３個の平面の交差点に相当する点であることが多い。使用可能な信号処理の別例としては、本件技術分野で周知であり且つ特許文献９（発明者：Ｌｏｗｅ）に記載されている手法たるスケール不変特徴変換（ＳＩＦＴ）がある。基点を発見しうる他の一般的な特徴検出方法としては、例えばエッジ検出、ブロッブ検出及びリッジ検出がある。

ステップ６２５では、第１及び第２の２Ｄ画像の位置を合わせることで未スケーリングコンポジット３Ｄ画像が取得される。この未スケーリング３Ｄ画像は“擬似３Ｄ”像とも呼ぶことができる。この２Ｄ画像２枚位置合わせステップは、ステップ６２０で発見された少なくとも３個の基点、即ち第１及び第２の２Ｄ画像双方に共通な少なくとも３個の基点に、少なくとも部分的に依拠するものとすることができる。

次に、ステップ６３０では、ステップ６２０にて発見された少なくとも３個の基点の中から第１基点及び第２基点が特定（又は選定）される。

ステップ６３５では、特定された第１及び第２基点それぞれの３Ｄ座標が直接計測される。本発明の諸実施形態では、このステップ６３５が３Ｄ計量器５１０を用いて実行され、またある基準座標系（例．３Ｄ計量器５１０のそれ）内で実行される。

別の実施形態によれば、このステップ６３５において、代わりに、３Ｄ計測計量器５１０により得られた幾通りかの３Ｄ座標に基づき、少なくとも２個の基点の３Ｄ座標を得るのに必要な情報を生成することができるので、基点の３Ｄ座標を直接計測する必要がない。例えば、ある物体５２０が有している２個の孔を、ＡＲカメラ５００により少なくとも二通りの２Ｄ画像内で特定することができる。次いで、二通りある２Ｄ画像それぞれについて、第１、第２円それぞれの中心を以てそれぞれ第１、第２基点を画定することができる。その上で、孔上に配置されているＳＭＲ２０４（図２）の中心の３Ｄ座標をレーザトラッカ２００で計測することにより、それら孔の中心間の距離を、基点を直接計測すること無しに導出することができる。第１円の中心、第２円の中心（即ち孔の中心）はそれぞれ第１参照点、第２参照点と呼ぶことができ、その第１参照点は第１基点に関連又は一致し、第２参照点は第２基点に関連又は一致する。第１及び第２参照点は、第１の２Ｄ画像及び第２の２Ｄ画像双方によってカバーされる領域を伴っている。従って、第１及び第２参照点の３Ｄ座標を３Ｄ計量器５１０で計測することができる。

３Ｄ座標が３Ｄ計器５１０により直接計測されるのかそれとも他の何らかの要領で導出されるのかによらず、このステップ６３５の結果として、本願中で上述したステップ６２５にて第１及び第２の２Ｄ画像から生成された未スケーリング３Ｄ画像に対し、必要なスケーリングがそれら３Ｄ座標を用いもたらされることとなる。

そして、ステップ６４０では、第１基点（又は第１参照点）の３Ｄ座標、第２基点（又は第２参照点）の３Ｄ座標及び未スケーリングコンポジット即ち“擬似”３Ｄ画像に少なくとも部分的に依拠し、既スケーリングコンポジット３Ｄ画像が導出される。コンポジット３Ｄ画像は、３Ｄ座標情報を提供するのみならず、基点から得られたテキスチャ及び色情報や例えば既知の補間方法の使用を通じ基点間可視領域から得られたテキスチャ及び色情報をも搬送しうる。

ＡＲカメラ５００がカラーカメラである場合、導出される既スケーリングコンポジット３Ｄ画像が物体表面５２４の色を表すものとなりうるし、及び／又は、他の表面テキスチャ属性がそのコンポジット３Ｄ画像に内在することとなりうる。

本発明の諸実施形態に係る方法６００によってコンポジット３Ｄ画像を生成した後、それらの画像上にデータをオーバレイ即ち重畳させてもよい。例えば、それら３Ｄ画像が建築予定又は建築済物体のそれである場合、それら３Ｄ画像上に重畳させるデータに、その物体のＣＡＤ設計データを含むデータを含めるとよい。このＣＡＤデータはレーザトラッカ２００（図２）に係るメモリ内に格納可能である。他種データ、例えば諸組立動作（穿孔、取付等々）の実行対象個所を示すマークを、それら３Ｄ画像上に重畳させてもよい。

ソフトウェアを利用し、様々な視角及び様々な距離から物体及びその周囲を観測し、物体・周囲間の視差ずれを適正に表現させることが可能である。場合によっては背景情報が重要になろう。例えば、ＡＲカメラ５００によりその３Ｄ画像が得られている３Ｄ周囲空間内に十分な余地があることを確認しながらある構造物を計測対象物体に取り付ける、といった工程を含むプロジェクトがあろう。そうした構造物は、ＣＡＤモデルとして、部品又はアセンブリの走査結果画像として、或いは複数個のカメラ画像の使用を通じ得られた既スケーリング３Ｄ表現として利用することができる。

場合によっては、ＡＲカメラ５００を用い、通常は視認が阻害されている領域の表現を取得することができる。例えば、ＡＲカメラ５００を用い物体の全側面を眺望し、さもなくば容易に計測できない諸領域の３Ｄ画像を得ることができる。物体の全方向からのこうした“全貌”捕捉は、諸画像を表示する際、例えばプレゼンテーション中、ウェブサイト上又は小冊子中でそうする際にひときわ役立つ。この例ではＡＲカメラ５００によってもたらされる色（テキスチャ）の追加にも価値がある。ＡＲカメラ５００から得られる３Ｄ表現を他の３Ｄ表現で補足することができる。場合によっては、部品、アセンブリ、調度等のモデルをファイル又はウェブサイトからダウンロードし、コンポジット３Ｄ表現に組み込むことができる。

ＡＲカメラ５００及び３Ｄ計量器５１０のもう一つの重要な用途は、周囲空間の適正なスケーリングを得ることである。例えば、壁には左側面、右側面、上側面及び下側面があろう。本願中で上述した基点照合方法によって既スケーリング３Ｄ画像がもたらされるとはいえ、一般には、カメラ画像単独ではなく３Ｄ計量器５１０で３Ｄ座標を計測した方が、寸法精度がかなり良好になろう。２Ｄ−ＡＲカメラ画像をもとに得られるコンポジット３Ｄ画像を３Ｄ計量器５１０による数回の計測と組み合わせることで、多くの場合、そのコンポジット３Ｄ画像のスケーリング精度を大きく改善することができる。例えば、左、右、上及び下の各側面上にある一通り又は複数通りの位置を３Ｄ計量器５１０で計測することにより、より良好な建屋向けスケールを得ることができる。

ＡＲカメラ５００は、周囲のみの計測にも、物体のみの計測にも、或いは周囲及び物体双方の計測にも使用することができる。本願での用語法によれば、用語“物体”は、正確な寸法情報が望まれている器物を意味している。ＡＲカメラ５００での計測によって、描画（例えばＣＡＤ）その他の３Ｄグラフィカルモデル上に全貌３Ｄ画像を重畳させる能力が実現される。加えて、複数方向から物体の２Ｄ画像を得ることにより、その物体の全側面又は全方向から物体に対するオーバレイを提供することができる。

物体が配置される周囲空間の３Ｄ座標はＡＲカメラ５００の使用を通じ得ることができる。ＡＲカメラ及び３Ｄ計量器５１０によりもたらされる情報があれば、その周囲に対し様々な視角からそれら物体を眺望すること、更には全方向から物体又はその周囲を眺望することができる。

ある実施形態では、純粋なグラフィカル要素（例えば写真的な要素、描画された要素又はレンダリングされた要素でありうる）がコンポジット画像内に配置又は重畳される。そうしたグラフィカル要素の第１の例は、建屋内空間内の工場床上にある工作機械への付加要素である。こうした付加要素は、コンポジットカラー画像がオーバレイされるＣＡＤモデル上に重畳させることができる。付加要素たりうるものとしては新規な機械加工部品がある。そうした一群の付加要素は、全要素が確かに適正フィットするよう工場環境のコンテキストに従い配置することができる。同グラフィカル要素の第２の例は、同様の工場環境中に配置された機械又は備品の新規品である。主題となるのはそうした要素が新規プランにフィットするかどうかであろう。場合によっては、ウェブサイトを利用することで、通常はサービスプロバイダを介しインターネット上に見いだされるネットワークであるクラウドから、それら３Ｄ画像をダウンロード可能にすることができる。ある種のユーザインタフェースでは、そうした３Ｄコンポーネントをコンピュータのマウスで適正な位置に動かし、次いで様々な位置及び方向からそのコンポーネントを眺望することができる。

本願では、本発明の諸態様について、本発明の諸実施形態に係る方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照し説明している。ご理解頂ける通り、そのフローチャート及び／又はブロック図中の個々のブロック、並びに同フローチャート及び／又はブロック図中のブロック同士の組合せを、コンピュータ可読プログラム命令によって実現することができる。

それらコンピュータ可読プログラム命令を汎用コンピュータ、専用コンピュータその他のプログラマブルデータ処理装置のプロセッサに供給すると、当該コンピュータその他のプログラマブルデータ処理装置のプロセッサによりそれら命令が実行され、フローチャート及び／又はブロック図中のブロック又はブロック群にて特定される機能／動作の実現手段が生成されるよう、マシンを構成することができる。また、それらコンピュータ可読プログラム命令を、コンピュータ、プログラマブルデータ処理装置及び／又はその他の装置に指令して特定の要領で機能させることが可能なコンピュータ可読格納媒体内に格納することで、その中に命令群が格納されているコンピュータ可読格納媒体を以て、フローチャート及び／又はブロック図中のブロック又はブロック群にて特定される機能／動作の諸態様を実現する命令群が組み込まれた産品を構成することができる。

また、それらコンピュータ可読プログラム命令をコンピュータその他のプログラマブルデータ処理装置又は他の装置上にロードし、ひいてはそのコンピュータその他のプログラマブル装置又は他の装置上で一連の動作ステップを実行させることで、同コンピュータその他のプログラマブル装置又は他の装置により実行される命令群を以てフローチャート及び／又はブロック図中のブロック又はブロック群にて特定される機能／動作が実現されるよう、コンピュータ実現プロセスを提供することができる。

図面に含まれるフローチャート及びブロック図には、本発明の諸実施形態に係るシステム、方法及びコンピュータプログラム製品の潜在的実現形態に備わるアーキテクチャ、機能及び動作を描出してある。然るに、そのフローチャート又はブロック図中の個々のブロックによって、指定された論理機能（群）を実現するための１個又は複数個の可実行命令で構成される命令群のモジュール、セグメント又は一部分を表現することができる。他の実現形態にあっては、ブロック内に記されている諸機能が図面に記されている順番とは異なる順番で生起することとされうる。例えば、相次ぐように図示されている２個のブロックが実のところは実質同時に実行されることがありうるし、或いはそれらブロックが逆の順序で実行されることもありうるのであり、この点は関係している機能に依存している。これもまた注記すべきことに、ブロック図及び／又はフローチャート中の個々のブロック、並びにブロック図及び／又はフローチャート中のブロック同士の組合せは、指定された機能若しくは動作を実行する専用ハードウェア利用システムで実現することができ、また専用ハードウェア及びコンピュータ命令の組合せを稼働させることができる。

本発明について専ら有限個数の実施形態を参照し詳説してきたが、容易にご理解頂ける通り、本発明はそれら開示されている実施形態に限定されるものではない。寧ろ、本発明を変形し、上述されてはいないが本発明の神髄及び技術的範囲に相応している多様な変形、改変、置換又は等価配置を包含させることが可能である。加えて、本発明の諸実施形態について記述してきたが、ご理解頂けるように、本発明の諸態様がそれら記述済の実施形態のうち一部のみを含んでいてもよい。従って、本発明は上掲の説明により限定されるものとして理解されるべきではなく、添付されている特許請求の範囲の技術的範囲のみによって限定されるものである。更に、第１、第２等々の用語の使用は何らかの順序又は重要度を示すものではなく、寧ろ個々の要素を他の要素から区別する目的で第１、第２等々の用語が使用されている。更に、ある、その等々の用語の使用は量の限定を示すものではなく、寧ろ、参照されている器物が少なくとも１個存在していることを示すものである。

Claims (16)

1. 少なくとも２個の二次元（２Ｄ）画像を組み合わせて三次元（３Ｄ）画像にする方法であって、
   拡張現実（ＡＲ）カメラを準備するステップと、
   基準座標系を有し、上記ＡＲカメラから分離されていて、且つレーザトラッカ、飛行時間（ＴＯＦ）型レーザスキャナ及び有関節腕座標計測機を含む集合から選ばれたものである３Ｄ計量器を準備するステップと、
   第１時点にて、第１個所にあるＡＲカメラで第１の２Ｄ画像を生成(form)するステップと、
   第２時点にて、第１個所とは異なる第２個所へとＡＲカメラを動かしそのＡＲカメラで第２の２Ｄ画像を生成(form)するステップと、
   第１及び第２の２Ｄ画像の双方に共通な少なくとも３個の基点(cardinal point)を発見するステップと、
   上記少なくとも３個の既発見基点に少なくとも部分的に依拠し、第１及び第２の２Ｄ画像の位置を合わせることで未スケーリングコンポジット３Ｄ画像を取得するステップと、
   上記少なくとも３個の既発見基点の中から第１被選択基点及び第２被選択基点を特定するステップと、
   第１の２Ｄ画像及び第２の２Ｄ画像の双方でカバーされる領域内にある第１参照点(reference point)及び第２参照点の３Ｄ座標を上記３Ｄ計量器で計測するステップと、
   第１参照点及び第２参照点の３Ｄ座標計測結果に少なくとも部分的に依拠し第１及び第２被選択基点それぞれの３Ｄ座標を導出するステップと、
   第１及び第２被選択基点それぞれの３Ｄ座標導出結果並びに未スケーリングコンポジット３Ｄ画像から、既スケーリングコンポジット３Ｄ画像たる上記３Ｄ画像を生成(create)するステップと、
   を有する方法。
2. 請求項１の方法であって、第１参照点及び第２参照点の３Ｄ座標を上記３Ｄ計量器で計測するステップでの第１参照点が第１被選択基点と関連し且つ第２参照点が第２被選択基点と関連する方法。
3. 請求項２の方法であって、第１参照点及び第２参照点の３Ｄ座標を上記３Ｄ計量器で計測するステップでの第１参照点が第１被選択基点と一致し且つ第２参照点が第２被選択基点と一致する方法。
4. 請求項２の方法であって、第１参照点及び第２参照点の３Ｄ座標を上記３Ｄ計量器で計測するステップでの第１参照点が孔の中心である方法。
5. 請求項１の方法であって、更に、上記３Ｄ画像上にデータを重畳させるステップを有する方法。
6. 請求項５の方法であって、上記３Ｄ画像上にデータを重畳させるステップにて重畳されるデータがコンピュータ支援設計（ＣＡＤ）データを含む方法。
7. 請求項５の方法であって、上記３Ｄ画像上にデータを重畳させるステップにて重畳されるデータが組立動作を示すマークを含む方法。
8. 請求項５の方法であって、上記３Ｄ画像上にデータを重畳させるステップにて重畳されるデータが、写真的な要素、描画された要素及びレンダリングされた要素からなる集合から選ばれたグラフィカル要素である方法。
9. 請求項１の方法であって、更に、上記３Ｄ画像の第１の２Ｄ表現であり第１の観測者視角から取得されているそれを提供するステップを有する方法。
10. 請求項９の方法であって、更に、上記３Ｄ画像の第２の２Ｄ表現であり第１の観測者視角とは別の第２の観測者視角から取得されているそれを提供するステップを有する方法。
11. 請求項１の方法であって、第１及び第２の２Ｄ画像の双方に共通な少なくとも３個の基点を発見するステップでの当該共通な基点が物体上に存する方法。
12. 請求項１１の方法であって、更に、全ての側から物体の画像を取得し、それらに応じ、その物体の全側面からなる３Ｄ画像たる全貌３Ｄ画像を導出するステップを有する方法。
13. 請求項１２の方法であって、更に、３Ｄグラフィカルモデル上に上記全貌３Ｄ画像を重畳させるステップを有する方法。
14. 請求項１３の方法であって、上記３Ｄグラフィカルモデルがコンピュータ支援設計（ＣＡＤ）モデルである方法。
15. 請求項１３の方法であって、上記３Ｄグラフィカルモデルが建屋内空間の３Ｄモデルである方法。
16. 請求項１の方法であって、
    拡張現実（ＡＲ）カメラを準備するステップで準備されるＡＲカメラがカラーカメラであり、
    第１個所にあるＡＲカメラで第１の２Ｄ画像を生成するステップで生成される第１の２Ｄ画像がカラー画像であり、
    第１個所とは異なる第２個所へとＡＲカメラを動かしそのＡＲカメラで第２の２Ｄ画像を生成するステップで生成される第２の２Ｄ画像がカラー画像であり、
    ３Ｄ画像を生成するステップで生成される３Ｄ画像が第１の２Ｄ画像及び第２の２Ｄ画像に少なくとも部分的に依拠するカラー画像である方法。
    

Images