JP2020523713A - 建設現場において適応的な投影される現実を生成するための方法及びシステム - Google Patents

Abstract

動的に変化する建設現場の上に適応拡張現実コンテンツを投影するための方法及びシステムが、本明細書で提供される。システムは、シーンの３Ｄ画像を捕捉するように構成された少なくとも１つのセンサを含む捕捉装置と、前記捕捉された３Ｄ画像に基づいて、前記シーン内の表面の３Ｄモデルを生成するように、前記シーンに建築される建造物に関連する建設計画を取得するように、且つ建設計画に基づいた建設の所望の状態及び前記シーン内の表面の前記３Ｄモデルに基づいた建設の現在状態に基づいて、投影可能なビジュアルコンテンツを生成するように構成されたコンピュータプロセッサと、前記シーン内の前記表面上に前記投影可能なビジュアルコンテンツを投影するように構成されたプロジェクタと、を含んでもよく、前記捕捉装置、前記コンピュータプロセッサ、及び前記プロジェクタは、それらの動作を繰り返し、且つ前記投影可能なビジュアルコンテンツを更新するように構成される。

Description

発明の分野
本発明は、一般に、適応的な投影される現実、より具体的には、動的に変化するシーンにおいて使用するための適応的な投影される現実の分野に関する。

発明の背景
典型的な建設プロセスは、２つの主要な段階、即ち設計段階及び建築段階を含む。設計段階において、建築家は、典型的には構造のレイアウト及び組み立てを計画し、且つ恐らく建設の時間枠又はスケジュールを提案する。建築段階において、恐らく建築業者のチームによって支援される請負業者は、建築計画を実施し、それによって、提供された仕様及びスケジュールに従って構造を建築する。

結果としての構造が、建築計画とできるだけぴったり一致することを保証するために、建築段階は、多くの場合に非常にゆっくりであり、且つ計画の逸脱の発生又は継続を未然に防ぐために、規則的に構造を評価し測定する複数の監視者を伴ってもよい。これは、一般に重要である。何故なら、万一重要な意図しない計画の逸脱が発生した場合に、建築サイクル中に構造を後で修正する機会が限られ得るからである。特に、或るレベルの計画の逸脱は、構造的完全性を妨げ、更には相当な修正、全面的な見直し、又は再建さえ必要とする可能性がある。幾つかの状況において、特に時間枠又は予算の余裕が厳しい場合に、計画の逸脱は、修正するのに法外に高価になるか又はタイムリーになり得、更に建設プロジェクトが、遅延して完成され、予算超過となり、且つ／又は未完成にとどまることに帰着する可能性がある。

建築の精度及び効率を改善するために、レーザ距離計及び３次元（３Ｄ）再構成ツールなどの多数の周知の電子装置が、建築プロジェクト中にしばしば用いられる。しかしながら、これらの電子装置は、使用するには厄介で、時には扱いにくく、更に、建設の巨視的ではなく局所的な態様に取り組むことが多い。建築の最適化又は再編成が、全体としての建設と分離して実行された状況において、不整合問題は、建築サイクル中に後で現れる可能性が増加する。従って、建設プロジェクトにおいて、建築精度及び効率を改善するための手段を提案することが、本発明の目的である。動的な建築環境において、建築の逸脱を巨視的に評価し、且つ建築の品質を適応的に改善するための手段を提案することが、本発明の更なる目的である。

本発明の概要
本発明の幾つかの実施形態は、動的に変化する建設現場の上に適応拡張現実コンテンツを投影するためのシステムを提供する。システムは、シーンの３Ｄ画像を捕捉するように構成された少なくとも１つのセンサを含む捕捉装置と、前記捕捉された３Ｄ画像に基づいて、前記シーン内の表面の３Ｄモデルを生成するように、前記シーンに建築される建造物に関連する建設計画を取得するように、且つ建設計画に基づいた建設の所望の状態及び前記シーン内の表面の前記３Ｄモデルに基づいた建設の現在状態に基づいて、投影可能なビジュアルコンテンツを生成するように構成されたコンピュータプロセッサと、前記シーン内の前記表面上に前記投影可能なビジュアルコンテンツを投影するように構成されたプロジェクタと、を含んでもよく、前記捕捉装置、前記コンピュータプロセッサ、及び前記プロジェクタは、それらの動作を繰り返し、且つ前記投影可能なビジュアルコンテンツを更新するように構成される。

本発明の代替実施形態は、動的に変化する建設現場の上に適応拡張現実コンテンツを投影する方法を提供する。方法は、捕捉装置を用いて、シーンの３Ｄ画像を捕捉することと、前記シーンの前記３Ｄ画像に基づいて、前記シーン内の表面の３Ｄモデルを生成することと、前記シーンに建築される建造物に関連する建設計画を取得することと、建設計画に基づいた建設の所望の状態及び前記シーン内の表面の前記３Ｄモデルに基づいた建設の現在状態に基づいて、投影可能なビジュアルコンテンツを生成することと、前記シーン内の前記表面上に前記投影可能なビジュアルコンテンツを投影することと、を含んでもよく、前記捕捉、前記取得、前記生成、及び前記投影は、前記投影可能なビジュアルコンテンツを更新するために繰り返される。

本発明のこれらや他の特徴は、以下の説明において詳細に明らかにされる。

図面の簡単な説明
本発明のよりよい理解のために、且つ本発明がどのように実施され得るか示すために、添付の図面が、純粋に例として参照され、それらの図面において、同様の数字は、対応する要素又はセクションを示す。

本発明の実施形態による非限定的システム配置を示す高レベルダイアグラムである。 本発明の実施形態による例示的な実装形態サイクルを示す高レベルダイアグラムである。 本発明の実施形態による非限定的で例示的な感知モジュール動作を示す高レベルブロックダイアグラムである。 本発明の実施形態による非限定的で例示的な適合モジュール動作を示す高レベルブロックダイアグラムである。 本発明の実施形態による非限定的で例示的な投影モジュール動作を示す高レベルブロックダイアグラムである。 本発明の実施形態による詳細な非限定的システム配置を示す高レベルダイアグラムである。 本発明の実施形態による非限定的で例示的な３次元走査方法を示す高レベル流れ図である。 本発明の実施形態による非限定的で例示的な方法を示す高レベルブロックダイアグラムである。

発明の詳細な説明
ここで詳細に特に図面に関連して、示されている詳細が、実例のためであり、もっぱら本発明の好ましい実施形態を論じるためであり、且つ本発明の原理及び概念的態様の、最も有用で容易に理解される説明であると考えられるものを提供するために提示されることが強調される。この点で、本発明の基本的理解に必要であるよりも詳細に本発明の構造詳細を示す試みは行われない。図面に関して行われる説明は、本発明の幾つかの形態が、実際にどのように具体化され得るかを当業者に明らかにする。

本発明の実施形態を詳細に説明する前に、本発明が、その適用において、以下の説明で明らかにされるか又は図面に示されている建設の詳細及びコンポーネントの配置に制限されないことを理解されたい。本発明は、他の実施形態に適用可能であり、且つ様々な方法で実施又は実行されてもよい。また、本明細書で用いられる表現法及び専門用語が、説明のためにあり、限定と見なされるべきではないことを理解されたい。

本発明の詳細な説明を明らかにする前に、以下の用語定義が提供される。

用語「適応的」は、適合性又は適性を改善するために、ぴったり合った変化を受け取る能力又は感受性を一般に示す。より具体的には、この文脈において、「適応的」は、動的なシーン又は環境上の変化に従って、自らの出力、例えば自らの投影される出力を変更するシステム又はツールの能力を指す。

用語「拡張現実」は、重ねられたコンピュータ生成知覚情報によって要素が拡張された物理的な現実世界環境の直接又は間接ビューを一般に指す。この知覚情報は、特にビジュアルモードを用いて提示されてもよい。しかしながら、聴覚、触覚、体性感覚、及び嗅覚モードなどの他のモダリティもまた、用いられてもよい。重ねられた感覚情報は、建設的又は破壊的になり得、それによって、環境に存在する特徴を追加的に補うか又はそうでなければ環境に存在する特徴を不明瞭にするか若しくは隠すように働き得る。

用語「動的に変化する」は、連続的、規則的、不規則的、又は一定の変化、活動又は進行の性質を一般に指す。より具体的には、この文脈において、「動的に変化する」は、時間の経過に対応して、又は時間の経過の結果として生じる環境の変化、例えば建設の前進を指す。幾つかの状況において、動的変化は、予想され得、且つ計画又はスケジュールに従って発生し得る。他の状況において、動的変化は、意図されず、且つ誤差の結果又は例えば予期しない天気事象の結果として発生し得る。

用語「３次元（３Ｄ）点群」は、空間又は環境の全体にわたって規則的又は均一に配置されたデータ点セットを一般に指す。点群は、典型的には、現場における対象物の外形面を測定し特徴付ける３Ｄスキャナを用いて生成される。点群は、最も注目すべきはＣＡＤモデル、計測、品質検査、又はこの文脈におけるような視覚化、アニメーション、及びレンダリングを含む多数の目的に使用され得る。点群は、多数の周知の技術、例えばドローネ三角分割法、α形状、ボールピボットを用いて、３Ｄ表面に変換されレンダリングされてもよい。これらの変換アプローチの幾つかは、点群において既存の頂点の上に三角形のネットワークを構築することを伴い、一方で他のアプローチは、例えばマーチングキューブアルゴリズムの使用を通して、点群を容積距離場に変換し、且つ陰面を再構成する。

用語「点集合位置合わせ」（ＰＳＲ）又は「点マッチング」は、２つの点集合を整列させる空間変換を見つけるパターン認識プロセスを一般に指す。より具体的には、この文脈において、空間変換は、特徴を識別するためか又は姿勢（即ち位置及び向き）を推定するために、多数のデータセットを全体的に一貫したモデルにマージすること及び新しい測定値を周知のデータセットにマッピングすることによって、導き出されてもよい。幾つかの状況において、点集合の少なくとも１つは、生の３Ｄ走査データ表現、例えば現実世界のシーン及び／又は建設現場から導き出されてもよい。

用語「反復最接近点」（ＩＣＰ）は、２つの点群間の差又は相違を最小化するために用いられるアルゴリズムを一般に指す。この文脈において、建設計画は、固定して保持される第１のターゲット又は基準点群として表現されてもよい。実際のシーン又は建設現場における２Ｄ又は３Ｄ表面を走査することを通して恐らく導き出される第２の点群は、ターゲット又は基準点群と最もよく一致するように変換されてもよい。特に、アルゴリズムは、例えば、２つの点群間の点距離などのエラーメトリックを最小化するために、平行移動及び回転の観点から変換を反復して修正してもよい。

ここで詳細な説明を見ると、本発明の幾つかの実施形態は、例えば建築業者、鑑定人、建築家、エンジニア、監視者、検査員などによる使用のための適応的な投影される現実（ＡＰＲ）の装置を提供する。ＡＰＲ装置は、例えば建築業者が建設を進行させ得る精度及び効率を改善するために、所望の建設計画をターゲット表面上に投影するために用いられてもよい。

ＡＰＲ装置は、局所的な又は近くの環境を監視し、且つそこに位置する表面に指示又は画像を投影してもよい。ＡＰＲ装置は、環境変動、建設の前進、及び／又は再配置に対応して、投影画像又は指示を適応的に変更し整合させることができ得る。特に、ＡＰＲ装置は、更新又は修正された計画、環境の変化、及び環境に対する装置位置の変化の何れかに基づいて、投影画像又は指示を変えてもよい。幾つかの実施形態において、ＡＰＲ装置はまた、建設の進捗に関する、例えば所定のスケジュールに対する、又は進行している建築の品質及び精度に関する、例えば所定の建築若しくは設計計画からの逸脱に対するフィードバックを提供してもよい。

幾つかの実施形態において、ＡＰＲ装置は、例えば建築スケジュールに対する建築の進捗を継続的又は不規則に記録し、且つ状態更新を作成してもよい。幾つかの実施形態において、状態更新は、警告又は警報情報を含んでもよく、且つ例えば無線手段を介して、関係する所定の内部又は外部エンティティに送信されてもよい。幾つかの実施形態において、関係する内部エンティティは、１人又は複数の建設従業員、例えば現場の労働者、現場監督者、プロジェクトマネージャなどを含んでもよい。代替実施形態において、関係する外部エンティティは、１人又は複数の利害関係者、例えば開発者、銀行などの金融機関、弁護士などの法的エンティティ、地方又は政府当局、建設マネージャ、内部及び外部監督者、及びプロジェクトマネージャを含んでもよい。幾つかの実施形態において、警告又は警告情報は、次の全て又は幾つかを含んでもよい。
ａ． 施工品質に関する情報
ｂ． 実際の建設とその関連する計画／設計との間の逸脱に関する情報
ｃ． 統計又はスケジューリングの逸脱／異常に関する情報
ｄ． オリジナルの設計又は実際の建設内の潜在的な安全上の問題に関する情報
ｅ． 例えば固定資産税目的用の、実際の建設内における特定の部屋又は建物の寸法測定に関する情報

ＡＰＲ装置が、建設に関連する使用に制限されず、幾つかの実施形態において、以下の目的などの他の目的に使用され得ることが、当業者によって認識されよう。
ａ． 自動車、飛行機、又は他の大規模構造製造
ｂ． 現場内部のマッピング用などの屋内ナビゲーション
ｃ． ゲームをする人のまわりの表面にアニメキャラクタを投影するためなどのゲーミング
ｄ． 絵描きがトレース又はプロットするための表面に案内を投影するためなどのテンプレート
ｅ． 壁に戸棚又は他の家具を取り付けるためなどの大工仕事

代替実施形態において、ＡＰＲ装置は、施工後のメンテナンス、改修、及び修理用に使用されてもよい。特に、万一建物が、例えば老朽化又は火災発生ゆえに、破損状態になるか又は拡張を必要とする場合に、ＡＰＲ装置は、当業者によって認識されるであろうように、管路（例えば配管）、電気ケーブル配線、及び／又は他の肝要な建築要素の位置を識別し投影するために利用されてもよい。これは、建築要素／ケーブル配線／管路が、壁、隔壁などの不透明な表面の背後に位置する場合に、特に価値があり得る。

更に、本明細書で用いられるときに「建設現場」への言及は、商用又は個人不動産の何れかの形態を交換可能に指し得ることが、当業者によって認識されよう。商用又は個人不動産の非限定的な例には、新しい建物、修復された建物、家、アパート、又はインフラストラクチャの任意の他の適切な形態が含まれる。更に、「建築されたような」又は「作られたような」への言及は、建設された構造／建物又はその一部の結果としての形態を指してもよい。「建築されたような」構造は、建設計画への貧弱な、適切な、又は最適な忠実さを有し得ることが認識されよう。

図１は、本発明の実施形態による、感知、適合、及び投影を実行するように構成された非限定的システム配置１００を示す高レベルダイアグラムである。システム１００は、１つ又は複数のセンサ、例えば１つ又は複数の２Ｄ及び／又は３Ｄカメラ、全地球測位システム（ＧＰＳ）、慣性測定ユニット（ＩＭＵ）などを含む感知モジュール１１０を含んでもよい。代替実施形態において、１つ又は複数のセンサは、受動及び／又は能動センサ、例えば光検出及び測距センサ（ＬｉＤＡＲ）、無線周波数センサ（ＲＦ）、超音波レーダセンサであってもよい。感知モジュール１１０はまた、１つ又は複数の信号プロセッサ、例えば１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、高度ＲＩＳＣマシン（ＡＲＭ）、当業者によって認識されるであろうような任意の他のプロセッサを含んでもよい。感知モジュール１１０は、ＡＰＲ装置と、そのまわりの特徴及び対象物の表面との間の距離を測定し、且つそこから感知モジュール１１０の視野（ＦＯＶ）に存在する特徴及び対象物の３Ｄ座標を表す３Ｄ点群を生成してもよい。幾つかの実施形態において、３Ｄ点群は、実際のシーンの環境１４０をマッピングし、実際のシーンの環境１４０内のＡＰＲ装置の位置を突き止め、且つ／又は実際のシーンの環境１４０に対してＡＰＲ装置を配向するために用いられてもよい。

幾つかの実施形態において、１つ又は複数の２Ｄ及び／又は３Ｄカメラによって捕捉された画像は、例えば安全上の問題を識別するために、且つ／又はプロジェクト監視及び追跡のために、後続の処理用にＡＰＲ装置及び／又は外部クラウドサーバ上に格納されてもよい。

幾つかの実施形態において、実際のシーン１４０は、任意の現実世界環境、又はＡＰＲ装置を囲むか包含する任意の場所の形態を取ってもよい。実際のシーン１４０の非限定的な例は、部屋、廊下、駐車場、庭などを含んでもよい。

幾つかの実施形態において、システム１００は、適合モジュール１２０を更に含んでもよい。適合モジュール１２０は、感知モジュール１１０によって記録されたデータを受信するように動作可能であってもよく、且つ計画データ１５０を更に受信してもよい。幾つかの実施形態において、計画データ１５０は、当業者によって認識されるであろうように、有線又は無線手段を通して適合モジュール１２０に送信されてもよい。適合モジュール１２０は、感知モジュール１１０から受信された３Ｄ点群及び／又は他の情報（例えば追加のマッピング、位置測定、及び／又は方位データ）を計画データ１５０と相関させてもよい。これには、３Ｄ点群によって表現された実際のシーン１４０と、計画データ１５０を整合させ、適合させ、且つ／又は一致させるように働く適合モジュール１２０を伴ってもよい。この適合に基づいて、適合モジュール１２０は、投影モジュール１３０による出力用に相関された可視画像を計算してもよい。

適合プロセスが、３Ｄ点群によって表現された実際のシーン１４０上／中に計画データ１５０を適合、整列又は一致させることと、３Ｄ点群によって表現された実際のシーン１４０を計画データ１５０上／中に適合、整列又は一致させることとの何れかによって、又は任意の他の適切な方法若しくはそれらの組み合わせによって完了されてもよいことが、当業者によって認識されよう。更に、適合プロセス又はＰＳＲが、ＩＣＰ又は視覚測位システム（ＶＰＳ）技術などの任意の周知の方法を用いて行われてもよいことが、当業者によって認識されよう。

幾つかの実施形態において、適合プロセスは、実際のシーン１４０内の又はそれに対する数量化された位置と共に周知の又は所定の対象物／点の使用を通して促進又は支援されてもよい。幾つかの実施形態において、周知の又は所定の対象物／点は、別々に又は前もって測定されてもよく、且つ基準点、即ちそれをめぐってＡＰＲ装置が、実際のシーン１４０内の又はそれに対する自らの方位及び／又は位置を確認し得る基準点として用いられてもよい。特に、壁、動かない対象物、及び／又は他のシーン特徴は、アンカーとしてマーク又は表示されてもよく、且つ基準点として用いられてもよい。

幾つかの実施形態において、システム１００は、投影モジュール１３０を更に含んでもよい。投影モジュール１３０は、光投影、例えばレーザ投影、発光ダイオード（ＬＥＤ）投影などのための１つ又は複数の手段を含んでもよい。幾つかの実施形態において、投影光は、可視又は非可視光であってもよく、且つ赤外線（ＩＲ）又は赤外線（ＮＩＲ）光を恐らく含む相異なる波長を含んでもよい。代替実施形態において、投影光は、可視及び非可視光の組み合わせであってもよい。投影モジュール１３０は、適合モジュール１２０から所望の画像データ及び／又は相関された可視画像を受信するように動作可能であってもよく、且つ前記データ／画像をターゲットシーン１６０上に投影してもよい。更なる実施形態において、相関された可視画像は、適合モジュール１２０によって計算されてもよく、且つ計画データ１５０の一部を恐らく含む情報、又は当業者に明白であろう任意の他の適切な情報の様々な形態を含んでもよい。

幾つかの実施形態において、計画データ１５０は、コンピュータ支援設計（ＣＡＤ）スケッチ、地理情報システム（ＧＩＳ）、グラフィック画像、テキスト、矢印、ユーザ定義情報などを含んでもよい。計画データ１５０又はその一部はまた、建物情報モデリング（ＢＩＭ）を含んでもよく、且つ建設された資産の態様、例えば３Ｄ構造、タイムスケジュール、コストなどの態様のデジタル記述を含んでもよい。幾つかの実施形態において、感知モジュール１１０及び投影モジュール１３０は、同時に又はほぼ同時に動作してもよい。代替実施形態において、感知モジュール１１０及び投影モジュール１３０は、独立して且つ又は別個の時刻に若しくは間隔で操作されてもよい。

幾つかの実施形態において、ターゲットシーン１６０は、実際のシーン１４０のサブセット又は一部であってもよい。特に、ターゲットシーン１６０は、例えば実際のシーン１４０内の任意の場所、表面又は対象物を含んでもよく、壁、天井、床、スクリーンなどに制限されない。代替実施形態において、ターゲットシーン１６０は、実際のシーン１４０の全て又はほぼ全てを含んでもよい。

幾つかの実施形態において、感知モジュール１１０、適合モジュール１２０、及び投影モジュール１３０は、同じ単一又は複合装置に実現されてもよい。代替実施形態において、感知モジュール１１０、適合モジュール１２０、及び投影モジュール１３０は、別個の又は分離した装置上に実現されてもよい。例えば、感知モジュール１１０及び投影モジュール１３０は、１つの位置に配置されてもよく、一方で適合モジュール１２０は、外部ラップトップ上に又はクラウドに配置されてもよい。

幾つかの実施形態において、感知モジュール１１０、適合モジュール１２０、及び投影モジュール１３０は、同じコンポーネントを共有してもよい。例えば、感知モジュール１１０は、実際のシーン１４０を走査するために活性光ビーム投影を用いてもよく、且つステアリングミラーなどを用いて実現されてもよい。投影モジュール１３０は、視覚画像を投影するために可視光ビーム投影を同様に用いてもよい。かかる実例において、感知モジュール１１０及び投影モジュール１３０は、同じステアリングミラーを共有してもよい。

図２は、本発明の実施形態による例示的な実装形態サイクル２０１を示す高レベルダイアグラムである。セクション２０２は、立方体の部屋の建設プロット２０２ａの実装形態用の例示的な計画データ１５０を表現する。具体的には、この例において、図示の計画データ１５０は、立方体の部屋の建設プロット２０２ａにおける遠位壁に窓２０２ｂを追加することを含む。

セクション２０３は、窓２０２ｂの追加の前の実際のシーン１４０を表現する。この例において、建設環境、即ち立方体の部屋２０３ａは、既に部分的に建築されており、且つ多数の完全に建設された壁を含む。労働者２０３ｂは、穴を開け且つ遠位壁に窓２０２ａを取り付ける責任を負うが、建設環境内に（即ち立方体の部屋２０３ａ内に）ＡＰＲ装置２０３ｃを配置することによって始める。

セクション２０４は、ＡＰＲ装置２０３ｃの例示的な感知モジュール１１０の出力を表現する。出力は、立方体の部屋２０３ａに対するマッピングされた装置及び／又は局所化された座標軸２０４ｂによる３Ｄ点群２０４ａを含んでもよい。

セクション２０５は、ＡＰＲ装置２０３ｃの例示的な適合モジュール１２０の出力を表現する。適合モジュール１２０は、感知モジュール１１０から計画データ１５０及び出力データ（即ち３Ｄ点群２０４ａ）を受信し、且つこれらの２つを相関させる。特に、感知モジュール１１０からの出力データは、相関データ２０５ａを生成するために、計画データ１５０の座標系と整合される。

セクション２０６は、ＡＰＲ装置２０６ａの例示的な投影モジュール１３０の出力を表現する。ＡＰＲ装置２０６ａの投影ユニットは、建設環境の中に、特に立方体の部屋２０３ａの遠位壁上に光ビーム２０６ｂを投影し、それによって、切り取り及び取り付けの案内として用いるために、相関データ２０５ａ（即ち窓２０６ｃ）を労働者２０３ｂ用にプロットする。幾つかの実施形態において、投影は、労働者２０３ｂを更に支援するために、窓２０６ｃのサイズ及び高さを恐らく含む他の情報を含んでもよい。

図３は、本発明の実施形態による非限定的で例示的な感知モジュール動作３１１を示す高レベルブロックダイアグラムである。幾つかの実施形態において、ステップ３１２は、実際のシーン１４０からデータを収集するためにセンサを用いることを含む。ステップ３１３は、センサからのデータを融合及び処理することを含む。ステップ３１４は、融合及び処理されたデータから、前記実際のシーン１４０を表す３Ｄ点群を生成することを含む。幾つかの実施形態において、３Ｄ点群は、実際のシーン１４０の全体の３Ｄ座標を表現してもよい。代替実施形態において、３Ｄ点群は、実際のシーン１４０のサブセット又は一部における３Ｄ座標を表現してもよい。幾つかの実施形態において、融合及び処理されたデータ並びに／又は３Ｄ点群は、適合モジュール１２０に送信される。

図４は、本発明の実施形態による非限定的で例示的な適合モジュール動作を示す高レベルブロックダイアグラムである。幾つかの実施形態において、ステップ４２２は、感知モジュール１１０からの出力データを計画データ１５０と相関させることを含む。幾つかの実施形態において、感知モジュール１１０からの出力データは、実際のシーン１４０を表してもよく、計画データ１５０は、所望の設計計画を表してもよい。感知モジュール１１０の出力データと計画データ１５０との間の相関は、計画データを実際のシーン１４０の環境と整合させるために用いられてもよい。

幾つかの実施形態において、ステップ４２３は、実際のシーン１４０の表面を推定することを含む。ステップ４２４は、実際のシーン１４０の表面上への投影用に画像を計算することを含む。幾つかの実施形態において、ステップ４２３で行われる表面推定は、ステップ４２２で行われる適合の前に完了されてもよい。これは、感知モジュール１１０からの出力データの代わりに又はそれに加えて、表面推定を説明することが相関にとって望ましい場合に、有利になり得る。幾つかの実施形態において、実際のシーン１４０の表面上への投影用の計算された画像の全て又は一部は、投影モジュール１３０に送信される。

図５は、本発明の実施形態による非限定的で例示的な投影モジュール動作を示す高レベルブロックダイアグラムである。幾つかの実施形態において、ステップ５３２は、適合モジュール１２０からの画像データをコントローラで受信することを含む。ステップ５３３は、実際のシーン１４０内の特定の位置に光ビームを導くために、コントローラを用いて光学及び／又は他の素子を構成することを含む。幾つかの実施形態において、導かれた光ビームは、実際のシーン１４０内の表面上に画像又は情報を投影しレンダリングする。

図６は、本発明の実施形態による詳細で非限定的なＡＰＲシステム配置６００を示す高レベルダイアグラムである。幾つかの実施形態において、ＡＰＲシステム配置６００は、システムの近くの実際のシーン１４０を走査するように動作可能な３Ｄ深度カメラ６２０を含む。３Ｄ深度カメラ６２０は、例えば、光ビームステアリング光学系（例えば、マイクロ電気機械センサ（ＭＥＭＳ）ミラー、デジタル光処理技術（ＤＬＰ）など）を用いて特定の位置に投影されるレーザであってもよい。実際のシーン１４０内の表面から反射された光は、３Ｄ深度カメラ６２０に含まれる受信センサを用いて捕捉されてもよい。３Ｄ深度カメラ６２０の作動、構成及び方位は、中央処理装置（ＣＰＵ）６１０によって選択的に又は連続的に制御されてもよい。幾つかの実施形態において、３Ｄ深度カメラ６２０によって取得され且つ／又は受信された情報は、ＣＰＵ６１０に送信され、且つ／又はそれによって処理されてもよい。代替実施形態において、３Ｄ深度カメラは、例えば、ステレオカメラ、構造化光カメラ、アクティブステレオカメラ、飛行時間（ＴＯＦ）カメラ、ＬｉＤＡＲベースのカメラ、ＣＭＯＳ画像センサベースのカメラ、又は当業者に明らかであろう任意の他の適切なカメラであってもよい。

幾つかの実施形態において、ＡＰＲシステム配置６００は、近くの且つ／又は周辺のエリアを監視及び走査するように動作可能なカメラユニット６３０を更に含んでもよい。カメラユニット６３０は、１つ又は複数のカメラ、例えば１つ若しくは複数の高精細（ＨＤ）及び／又はＩＲカメラを含んでもよい。カメラユニット６３０は、ＣＰＵ６１０によって制御されてもよく、且つ／又は記録／測定されたデータを処理用にＣＰＵ６１０に送信してもよい。

幾つかの実施形態において、ＡＰＲシステム配置６００は、１つ若しくは複数の相異なるセンサ、例えば、ＡＰＲシステム配置６００の加速度を測定するように動作可能な１つ若しくは複数の加速度計６４１と、ＡＰＲシステム配置６００の方位を測定するように動作可能な１つ若しくは複数のジャイロスコープ６４２と、ＡＰＲシステム配置６００のまわりの磁気を測定するように動作可能な１つ若しくは複数の磁力計６４３と、ＡＰＲシステム配置のまわりの大気圧を測定するように動作可能な１つ若しくは複数の気圧計６４４と、ＡＰＲシステム配置６００の位置を測定するように動作可能な１つ若しくは複数の全地球測位システム（ＧＰＳ）と、１つ若しくは複数の他のセンサ６４６、例えば１つ若しくは複数のＩＲ検出器と、及び／又はそれらの任意の組み合わせから情報を取得するように動作可能なセンサハブ６４０を更に含んでもよい。幾つかの実施形態において、１つ又は複数の相異なるセンサから受信された測定データは、センサハブ６４０によって処理されてもよく、関係する且つ／又は処理された情報は、更なる処理／解析用にＣＰＵ６１０に送信されてもよい。代替実施形態において、ＣＰＵ６１０は、センサハブ６４０を制御するように動作可能であってもよい。

幾つかの実施形態において、ＡＰＲシステム配置６００は、ＡＰＲシステム配置６００の機能を制御するように動作可能な制御／インターフェースユニット６５０を更に含んでもよい。幾つかの実施形態において、制御／インターフェースユニット６５０は、ＡＰＲシステム配置６００内に又はその一部として（即ち単一若しくは複合システム構造の一部として）含まれてもよい。代替実施形態において、制御／インターフェースユニット６５０は、ＡＰＲシステム配置６００から外部的に配置されても、例えば、コンピュータ、ラップトップ、モバイル装置、iPadなどとして具体化されてもよく、且つ有線又は無線手段を介して、例えばBluetooth、Wi-Fiなどを介してＡＰＲシステム配置６００と相互接続されてもよい。更なる実施形態において、制御／インターフェースユニット６５０は、例えば複数の制御／インターフェースユニット６５０が存在する場合に、且つ／又は選択可能な／可変の挿入／相互接続手段が存在する場合に、ＡＰＲシステム配置６００の外部にあっても且つその内部に含まれてもよい。幾つかの実施形態において、制御／インターフェースユニット６５０は、他の装置、モノのインターネット（ＩｏＴ）装置、クラウドコンピューティング／接続サービスなどと通信してもよい。幾つかの実施形態において、制御／インターフェースユニット６５０は、１つ又は複数の無線周波数識別（ＲＦＩＤ）リーダ、１つ又は複数のバーコードリーダ、又は当業者によって認識されるであろうような任意の他の情報読み取り装置を更に含んでもよい。制御／インターフェースユニット６５０はまた、ユーザ対話可能インターフェースを含んでもよく、それを介して構成コマンド／制御が、ＡＰＲシステム配置６５０の機能性を定義するために入力／発行されてもよい。

幾つかの実施形態において、制御／インターフェースユニット６５０は、計画データ１５０を受信してもよく、且つデータの関係部分及び／又は全てをＣＰＵ６１０に送信してもよい。代替実施形態において、ＣＰＵ６１０は、例えば中間接続及び／又は処理なしに、計画データ１５０を直接受信してもよい。幾つかの実施形態において、制御／インターフェースユニット６５０は、入力装置、例えばスクリーン、タッチスクリーン、マウス、キーボードなどを含んでもよく、入力装置は、ＡＰＲシステム配置６００を構成するためにユーザによって用いられてもよい。幾つかの実施形態において、制御／インターフェースユニット６５０は、実際のシーン１４０への投影用に、３Ｄ感知並びに投影方法／パラメータ及び／又は情報／画像を決定／計算してもよい。代替実施形態において、ＣＰＵ６１０は、例えば走査された情報、投影情報、センサ測定値などを含む、ＡＰＲシステム配置６００に関する情報／データを制御／インターフェースユニット６５０に提供／送信してもよい。更なる実施形態において、計画データ１５０は、有線又は無線手段を介して、例えばＵＳＢスティックを介してか又はクラウドコンピューティングサーバからのダウンロードによって、ＡＰＲシステム配置６００にアップロードされてもよい。

幾つかの実施形態において、制御／インターフェースユニット６５０は、オリジナルの計画データ１５０に基づいて、修正計画データ６７０を作成するように動作可能であってもよい。修正計画データ６７０は、測定された実際のシーン１４０とオリジナルの計画データ１５０との間の逸脱／不整合／不適合に従って決定又は生成されてもよい。幾つかの実施形態において、ユーザは、実際のシーン１４０の測定を受け入れるべきかどうかを、例えば警報又はプロンプトを介して決定してもよい。この測定が受け入れられない場合に、ユーザは、実際のシーン１４０の補足測定を行なうように制御／インターフェースユニット６５０に指示してもよい。測定が受け入れられる場合に、ユーザは、例えばオリジナルの計画データ６５０と実際のシーン１４０との間に著しい不適合があるので、修正計画データ６７０を自動的に決定又は生成すべきかどうかを、例えば補足警報又はプロンプトを介して追加的に決定してもよい。代替実施形態において、ユーザは、修正計画データ６７０を生成するために、制御／インターフェースユニット６５０を用いて、オリジナルの計画データ１５０を手動で変更してもよい。代替実施形態において、修正計画データ６７０は、有線又は無線手段を介して、例えばＵＳＢスティックを介してか又はクラウドコンピューティングサーバへのアップロードによって、ＡＰＲシステム配置６００からダウンロードされるか又は検索されてもよい。更なる実施形態において、修正計画データ６７０は、制御／インターフェースユニット６５０上にグラフィカルに提示又は表示されてもよく、且つユーザ対話可能インターフェースを用いて選択的に修正されてもよい。

幾つかの実施形態において、ＡＰＲシステム配置６００は、例えば、ＡＲＭ、ＤＳＰなどの専用プロセッサとして具体化された中央処理装置（ＣＰＵ）６１０更に含んでもよい。幾つかの実施形態において、ＣＰＵ６１０は、３Ｄ深度カメラ６２０、カメラユニット６３０、センサハブ６４０、及び制御／インターフェースユニット６５０の少なくとも１つからデータ／情報を受信してもよい。幾つかの実施形態において、ＣＰＵ６１０は、１つ又は複数の投影画像／情報を作成／生成するために、１つ又は複数のアルゴリズム、例えば相関、レジストレーション、同時位置決め地図作成（ＳＬＡＭ）、画像検出などと共に受信データ／情報を用いてもよい。幾つかの実施形態において、作成又は生成された投影画像／情報は、実際のシーン１４０への投影用に投影ユニット６６０に送信されてもよい。投影画像／情報は、例えば、国際レーザディスプレイ協会（ＩＬＤＡ）準拠画像データ転送フォーマットで、ＣＰＵ６１０から投影ユニット６６０に送信されてもよい。

幾つかの実施形態において、ＣＰＵ６１０は、ＡＰＲシステム配置６００の近くにおける人間及び／又は他の特定の対象物を検出するように、カメラユニット６３０及び／又は任意の他のセンサ、例えばＩＲセンサを制御し、それに指示してもよい。例えばＡＰＲシステム配置６００に近くで人間が検出されるという確実な決定がなされる場合に、ＣＰＵ６１０は、安全上の理由で、投影ユニット６６０を不作動／ディスエーブルにしてもよい。幾つかの実施形態において、ＣＰＵ６１０は、例えば人間及び／又は特定の対象物が検出された方向／エリアにおいてのみ、投影ユニット６６０を部分的にのみ不作動／ディスエーブルにしてもよい。

幾つかの実施形態において、ＣＰＵ６１０は、人間及び／又は特定の対象物、並びにＡＰＲシステム配置６００に対するそれらのそれぞれの位置／場所を検出するように、カメラユニット６３０及び／又は任意の他のセンサ、例えばＩＲセンサを制御し、それに指示してもよい。ＡＰＲシステム配置６００の近くで人間及び／又は特定の対象物が検出される場合に、ＣＰＵ６１０は、人間及び／又は特定の対象物が、特定範囲内に存在する場合に、警告／警報を放出／提示してもよい。警告／警報は、当業者によって認識されるであろう任意の方式で、例えば可聴ビープ、ハウル、スピーチ、表示、音声などの形で放出／提示されてもよい。代替実施形態において、警告は、投影ユニット６６０を用いて視覚的に、例えば実際のシーン１４０に投影される視覚的な警告標示の形で提示されてもよい。更なる実施形態において、警告は、１つ又は複数の通信プロトコルを用いて、例えばWiFi、Bluetooth（ＢＴ）、セルラーなどを用い、制御／インターフェースユニット６５０を介して、シーンの外側の関係する個人、例えばマネージャ、検査員などに追加／代替として送信されてもよい。

幾つかの実施形態において、ＣＰＵ６１０は、ＡＰＲシステム配置６００、並びに／又は３Ｄ深度カメラ６２０、カメラユニット６３０及び投影ユニット６６０の何れかの移動／振動を補償するために、安定化アルゴリズムと組み合わせて／対応して、加速度計６４１、ジャイロスコープ６４２、又は任意の他のセンサの１つ又は複数からのデータを用いてもよい。特に、ＡＰＲシステム配置６００、並びに／又は３Ｄ深度カメラ６２０、カメラユニット６３０、及び投影ユニット６６０の何れかが、例えば手によって保持される場合に、安定化アルゴリズムは、振動／移動を補償するために、且つそれによって投影、及び／又は実際のシーン１４０に関連する感知データを補正するために用いられてもよい。代替実施形態において、例えば加速度計６４１及び／又はジャイロスコープ６４２からセンサハブ６４０によって受信された情報又はデータは、実際のシーン１４０内のＡＰＲシステム配置６００の３Ｄ方位及び／又は移動を推定するために、ＣＰＵ６１０によって用いられてもよい。これは、ＣＰＵ６１０によって行われる他のアルゴリズム／プロセス、例えばＳＬＡＭ、レジストレーションなどの有効性及び／又は効率を改善し得る。

幾つかの実施形態において、ＡＰＲシステム配置６００は、内蔵のレベルセンサ、例えば重力レベルを更に含んでもよい。幾つかの実施形態において、ＣＰＵ６１０は、３Ｄ深度カメラ６２０、カメラユニット６３０、及び投影ユニット６６０の１つ又は複数を整列させるために、レベルセンサからの情報／データを用いてもよい。

幾つかの実施形態において、投影ユニット６６０によって投影される画像／情報はまた、例えば液晶ディスプレイ（ＬＣＤ）を介して、１つ又は複数のモバイル装置上に送信及び表示されてもよい。代替実施形態において、１つ又は複数のモバイル装置に送信された画像／情報は、例えば拡張現実を介して、モバイル装置を用いて取得されたカメラビュー／画像を用いて拡張されてもよい。更なる実施形態において、モバイル装置上に表示される情報／画像は、投影ユニット６６０によって実際のシーン１４０に投影される情報／画像と異なってもよい。

幾つかの実施形態において、制御／インターフェースユニット６５０によって生成／決定され、且つ投影ユニット６６０によって投影される画像／情報は、建設の進捗に従って動的且つ適応的に変更されてもよい。特に、画像／情報は、例えば大きなマルチパート建設プロジェクトの多数の相異なる段階を通して建築業者を案内するために、進行中の建設に対応して順次的に又は連続的に更新されてもよい。代替実施形態において、制御／インターフェースユニット６５０によって生成／決定され、且つ投影ユニット６６０によって投影される画像／情報は、例えば実際のシーン１４０と計画データ１５０との間に相違がある場合に、恐らくユーザ入力に関連して、ＣＰＵ６１０によって自動的に又は選択的に修正されてもよい。画像／情報は、実際のシーン１４０と計画データ１５０との間の相違、建築基準、作業プロトコルなどの１つ又は複数を評価する最適化アルゴリズムを用いて修正されてもよい。

幾つかの実施形態において、ＡＰＲ装置は、感知モジュール１１０及び適合モジュール１２０を用いて、実際のシーン１４０、例えば部屋／アパート用に自らの位置を追跡してもよい。代替実施形態において、ＡＰＲ装置は、一意の参照指定にそれぞれが関連する複数の計画で、予め構成されるか又はユーザ構成されてもよい。各参照指定は、一意の床／アパート／部屋番号に関係してもよく、且つ例えば各部屋が、ほぼ同様の組み立て／レイアウトを有する非常に大きな建設プロジェクトにおいて、正確な計画が、正確な実際のシーン１４０と関連付けられることを保証するために、ＡＰＲ装置によって用いられてもよい。代替実施形態において、各床／アパート／部屋は、ＡＰＲ装置が、自らの位置を識別するために使用し得るロケータ装置を含んでもよい。幾つかの実施形態において、ロケータ装置は、
ａ． 制御／インターフェースユニット６５０に位置情報を送信するように動作可能なBluetoothビーコンと、
ｂ． 制御／インターフェースユニット６５０においてＲＦＩＤリーダによって読み取られ得るＲＦＩＤステッカと、
ｃ． 制御／インターフェースユニット６５０と相互接続されてカメラ、例えばカメラユニット６３０によって読み取られ得るバーコード情報と、
の１つ又は複数を含んでもよい。

更なる実施形態において、ＡＰＲ装置は、大規模な実際のシーン１４０に対する、又はその内部のＡＰＲ装置の位置を決定するために、気圧計６４４、ＧＰＳ６４５、及び／又は屋内ナビゲーションセンサ６４６を用い、それによって、正確な計画データ１５０をアップロードし、それにアクセスしてもよい。

幾つかの実施形態において、ＡＰＲ装置は、ユーザによって手動で、又はモータによって自動的に移動されてもよく、且つ移動中に建物／部屋／構造に対する、又はそれらの内部の正確な位置を決定してもよい。幾つかの実施形態において、ＡＰＲ装置は、基準点として周知の又は所定の対象物／点位置を用いてもよい。これらの基準点は、実際のシーン１４０内の方位及び／又は位置を決定するために、適切なアルゴリズムと共にＡＰＲ装置によって用いられてもよい。幾つかの実施形態において、基準点は、計画案、例えば計画データ１５０においてマークされた壁及び／又は他の対象物をアンカー対象物として含んでもよい。

幾つかの実施形態において、ＡＰＲ装置は、ＡＰＲ装置が移動されたかどうかを、加速度計６４１、ジャイロスコープ６４２などの任意の適切なセンサを介して検出するように動作可能であってもよい。ＡＰＲ装置は、装置移動が検出された場合に、移動警告を生成するように、且つそれによって、装置が移動されたこと、及び感知する位置及び／又は投影がもはや正確ではないことをユーザに警告するように更に動作可能であってもよい。代替実施形態において、本明細書で説明されるように、ＡＰＲ装置の移動によって引き起こされた不整合／不適合は、例えば、感知／撮像及び／又は適合プロセスを自動的に反復及び／又は再実行することによる、投影画像／情報の自動修正により改善されてもよい。代替実施形態において、ＡＰＲ装置は、安定性を改善し移動を制限するために、専用又は「既製」の三脚台に固定的に接続されてもよい。代替実施形態において、ＡＰＲ装置は、専用可動車両及び／又はロボットに固定的に又は取り外し可能に接続されてもよい。可動車両及び／又はロボットは、ユーザによって手動で、又は例えばセンサデータに対応して自動的に制御されてもよい。可動車両及び／又はロボットは、建設の進捗に従って、且つ／又は投影視野（ＦＯＶ）における妨害する若しくは介在する対象物の結果として、投影画像／情報の位置合わせを変更するように動作可能であってもよい。

幾つかの実施形態において、ＡＰＲ装置は、ＡＰＲ装置自体の本体上に混合／拡張現実画像／情報を提示するためのスクリーン、例えばＬＣＤディスプレイを更に含んでもよい。代替実施形態において、スクリーンは、透明スクリーンであってもよい。

幾つかの実施形態において、ＡＰＲ装置は、１つ又は複数のマイクロホンを更に含んでもよい。これらのマイクロホンは、処理装置、例えばＣＰＵ６１０に動作可能に接続されてもよく、且つユーザからの音声コマンドを検出及び確認／理解するために、自動音声認識（ＡＳＲ）アルゴリズム及び／又は自然言語処理（ＮＬＰ）アルゴリズムなどの音声認識アルゴリズムを用いてもよい。これは、ユーザが、遠くからＡＰＲ装置に制御コマンドを発行し、それによって、例えば、ハシゴに立っている間などにＡＰＲ装置を操作できるようにし得る。代替実施形態において、ＡＰＲ装置は、１つ又は複数の遠隔コントローラを含んでもよい。これらの遠隔コントローラはまた、例えば労働者がハシゴに立っている間などに、ユーザが、遠くからＡＰＲ装置に制御コマンドを発行できるようにし得る。

幾つかの実施形態において、ＡＰＲ装置は、強調フィルタを含む眼鏡、例えば標準眼鏡などと共に用いられてもよい。幾つかの実施形態において、これらの強調フィルタは、投影ユニット６６０によって投影された画像／情報の、例えば太陽の眩しさによる視認性を適合させ改善するように調整された光フィルタであってもよい。

幾つかの実施形態において、ＡＰＲ装置は、構造の各床／部屋を走査し、且つそのマップを作るために、移動車両／ロボット／ドローンに搭載されて用いられてもよい。幾つかの実施形態において、ＡＰＲ装置は、投影ユニット６６０を用いて、特定の仕事、例えば壁にペンキを塗ること、床を掃除することなどを実行するようにロボットを案内してもよい。特に、投影ユニット６６０によって投影された光は、トレース又は案内として用いられてもよく、そのまわりをロボットが移動し、その仕事を完了してもよい。仕事の進捗及び／又はロボットの移動は、３Ｄ深度カメラ６２０及び／又はカメラユニット６３０を用いて追跡されてもよい。

幾つかの実施形態において、ＡＰＲ装置は、制御／インターフェースユニット６５０と相互接続された内部／外部オーディオスピーカを更に含んでもよい。幾つかの実施形態において、オーディオスピーカは、例えば、
ａ． 装置の近くのユーザ又は他の人／労働者に警告／警報するために、
ｂ． 仕事又は投影画像／情報を説明するガイダンス及び指示を提供するために、相異なる音声を出してもよい。

幾つかの実施形態において、多数のＡＰＲ装置が、例えばクラウドコンピューティングサーバを介してＩｏＴ装置として無線で相互接続され、且つそれらの間でデータ／情報を共有してもよい。各ＡＰＲ装置における制御／インターフェースユニット６５０は、クラウドに対してデータ／情報を送信及び受信するために用いられてもよい。代替実施形態において、多数のＡＰＲ装置が、制御／インターフェースユニット６５０を用い、例えば有線又は無線手段を介して、互いに直接接続されてもよい。特に、ＡＰＲ装置間の相互接続性は、例えば情報／データ交換という損失なしに、例えば大きな建設現場の全体にわたってＡＰＲ装置を広げることができ、それによって、建設が進行する精度及び／又は効率を改善する。

幾つかの実施形態において、ＡＰＲ装置は、他の外部ＡＰＲ装置、例えばスタンドアロンＡＰＲ装置と通信してもよく、且つ投影される情報／画像を送信してもよい。外部ＡＰＲ装置は、例えば、開始ＡＰＲ装置から遠く離れすぎる表面まで投影距離を広げるために用いられてもよい。

幾つかの実施形態において、ＡＰＲ装置は、コンパクトで且つ／又は携帯用であってもよい。代替実施形態において、ＡＰＲ装置は、携帯性を促進するために、折り畳み式、連結式、又は分解可能なシャーシを含んでもよい。

幾つかの実施形態において、ＡＰＲシステム配置６００は、投影ユニット６６０を更に含んでもよい。投影ユニット６６０によって投影された画像及び／又は情報は、ＣＡＤスケッチ、ユーザ定義テンプレート、現場労働者／監督者に周知の所定の意味を備えた標示などの実際の３Ｄ画像を含んでもよい。幾つかの実施形態において、標示は、説明文、記号、言語、数、相異なる指定された色などを含んでもよい。幾つかの実施形態において、これらの標示の１つ又は複数は、実際のシーン１４０内の表面／壁／天井／床／地面上に投影され、それによって、ユーザ／労働者／建築業者へのコメント／警告／通知／メッセージとして働いてもよい。幾つかの実施形態において、投影画像／情報は、相異なる図面タイプ、例えば水用の青、電気用の赤、及び／又は位置用の緑を表示するために相異なる色を用いてもよい。代替実施形態において、色は、計画データ１５０に現れる色と一致するように指定され且つ／又は選択されてもよい。

幾つかの実施形態において、投影画像／情報は、
○ 電力配線及びコンセントと、
○ 溝と、
○ 空調ダクト／管と、
○ 通風路と、
○ 窓と、
○ 部屋及び／又は建物の梁と、
○ 管水路（例えば水、下水）と、
○ エレベータシャフトと、
○ 指示（例えば安全警告）と、
○ 隠蔽物に関する情報（例えば大きさ）と、
○ レベル及び／又はタイルのグリッド線／ガイダンスと、
の１つ又は複数を含んでもよい。

幾つかの実施形態において、投影情報は、１つ又は複数の言語、例えば中国語、英語、及び／又はスペイン語における文／文字を含んでもよい。

幾つかの実施形態において、投影ユニット６６０によって投影される情報／画像は、例えば距離、投影角度による相異なる程度／レベルの精度を含み得る。幾つかの実施形態において、投影精度は、実際のシーン１４０におけるＡＰＲ装置の位置及び周囲の対象物／表面の位置に従って変化し得る。投影精度は、例えばＡＰＲ装置が、表面のより近くに配置されるように、例えばユーザによってか、実際のシーン１４０に対する又は実際のシーン１４０内のＡＰＲ装置の位置を自動的に又は手動で調整することによって、改善されてもよい。投影精度のレベル／程度は、相異なる色、ハッシング、及び／又は密度によって表示されてもよい。

幾つかの実施形態において、ユーザは、例えば或る望ましくない対象物／線を選択しないことによって、どの画像／情報が、実際のシーン１４０に投影されるべきかを手動で選択してもよい。代替実施形態において、投影画像／情報は、ユーザの建設に関してユーザを支援し得る、レベルツール、コンパス、定規などのツールを含んでもよい。更なる実施形態において、ユーザは、実際のシーン１４０内の１つの場所から、ＡＰＲ装置を移動させずに別の場所に画像／情報を移動させてもよい。これは、制御／インターフェースユニット６５０に結合された入力装置、例えばタッチスクリーン、タッチパッド、トラックポイントなどの１つ又は複数を用いて、手振りによって、ユーザ音声コマンドによって、又は当業者に明白であろうような任意の他の適切な手段によって達成されてもよい。

幾つかの実施形態において、ユーザは、追加の線及び／又は他の画像形状を実際のシーン１４０に投影するようにＡＰＲ装置に指示するために、例えば制御／インターフェースユニット６５０を用いてコマンドを入力してもよい。代替実施形態において、これらの追加の線及び／又は他の画像形状は、オリジナルの計画データ１５０に存在しなくてもよく、且つ更新された計画データを生成するために、計画データ１５０に選択的に追加されてもよい。

幾つかの実施形態において、例えば、３Ｄ深度カメラ６２０及び／又はカメラユニット６３０によって収集されたデータが、オリジナルの計画データ１５０と異なる場合の修正を用いて、ＡＰＲ装置は、オリジナルの計画データ１５０を自動的に更新してもよい。代替実施形態において、ＡＰＲ装置は、ユーザ決定に従って、オリジナルの計画データ１５０を更新してもよい。

幾つかの実施形態において、ＡＰＲ装置は、建築サイクル中の特定の瞬間／段階において、投影メッセージ／メモを投影ユニット６６０を介して送出するために、ユーザによって、例えば監督者、マネージャ、請負業者、プロジェクトマネージャなどによってプリプログラムされてもよい。幾つかの実施形態において、これらのメモ／メッセージは、補足的なテキスト指示及び／又は矢印、例えば「Tuomas、この壁を赤で塗っておくれ」を含んでもよい。代替実施形態において、これらのメモ／メッセージは、補足的なアニメの指示を含んでもよく、これらの指示は、例えば経時的に変化し、且つ例えばユーザの安全性を改善するために、危険及び／又は作業メモ／レイアウトを恐らく強調する。例えば重要な設計要素／基準にユーザの注意を素早く引き付ける必要がある場合に、アニメの指示が好ましいことが、当業者によって認識されよう。

幾つかの実施形態において、ＡＰＲ装置は、例えば、舗装工がタイルを貼り付け、且つ左官が壁を平らにするのを支援するために、地形データ及び／又は表示を投影するように動作可能であってもよい。地形データ及び／又は表示は、恐らく異なる色で１つ又は複数の画像／点／テキストを含んでもよく、且つ表面の起伏／隆起／膨らみ、及び／又は曲率／傾斜を表示してもよい。代替実施形態において、ＡＰＲ装置は、例えば、ＡＰＲ装置の水平及び／又は垂直軸を中心とする固定されたレベル線の形式で、レベリング情報及び／又は案内を投影するように動作可能であってもよい。

図７は、本発明の実施形態による非限定的で例示的な３次元走査方法７００を示す高レベル流れ図である。方法７００は、水平及び垂直軸座標によって表される実際のシーン１４０を走査するためにレーザ光を含む３Ｄ深度カメラ６２０を用いるステップ７０１と、第１のＬａｓｅｒ＿Ｈｏｒｉｚｏｎｔａｌ＝ｘ０及びＬａｓｅｒ＿Ｖｅｒｔｉｃａｌ＝ｙ０方向点に光ビームを向けるステップ７０２と、光ビーム反射又はその一部が、実際のシーン１４０から反射されるときに、それらを３Ｄ深度カメラで捕捉するステップ７０３と、Ｌａｓｅｒ＿Ｈｏｒｉｚｏｎｔａｌ及びＬａｓｅｒ＿Ｖｅｒｔｉｃａｌの観点から、表面とＡＰＲ装置との間の距離を計算するステップ７０４と、を含んでもよい。反射信号が、３Ｄ深度カメラによって受信されない場合に、距離は、無限大又は或る他の最大固定数であると仮定され、レーザの水平／垂直位置が進められる。

方法７００は、走査領域の終わり（即ち実際のシーン１４０の境界又はそのサブセクション）に到達したかどうかを決定するステップ７０５を更に含んでもよい。終わりに到達しなかった場合に、方法７００は、光ビームのＬａｓｅｒ＿Ｈｏｒｉｚｏｎｔａｌ及びＬａｓｅｒ＿Ｖｅｒｔｉｃａｌ方向点を進めるステップ７０６を更に含んでもよい。終わりに到達した場合に、方法７００は、実際のシーン１４０内の近辺の／周囲の面の３Ｄ場所／位置を表す３Ｄ点群を作成するステップを含んでもよい。

図８は、本発明の実施形態による非限定的で例示的な方法を示す高レベルブロックダイアグラムである。方法８００は、ＡＰＲ装置を囲む／近くの実際のシーン１４０を３Ｄ走査し、且つ３Ｄ点群を生成するステップ８０１と、装置のまわりの実際のシーン１４０をマッピングし、且つ実際のシーン１４０内のＡＰＲ装置の位置を突き止めるステップ８０２と、ＡＰＲ装置の正確な位置及び方位を生成するために、オリジナルの計画データ１５０及び／又はアンカー対象物と３Ｄ点群を比較するステップ８０３と、実際のシーン１４０に投影表面と整合される２Ｄ画像に、３Ｄ投影モデル（即ち投影される対象物／図表）を変形するステップ８０４と、投影ユニット６６０を用いて、投影表面上に２Ｄ画像を投影するステップ８０５と、を含んでもよい。

幾つかの実施形態において、表面の３Ｄモデルは、前記シーンの全体にわたって配置されたデータ点セットを含む３Ｄ点群であり、建設計画は、３Ｄ点群に従って、投影可能なビジュアルコンテンツに変換されレンダリングされる。

幾つかの実施形態において、建設の現在状態が、建設精度のレベルを決定するために、建設計画と比較されてもよい。これは、本明細書で説明されているように、例えば、所望の及び実際の建設点間の隔たりを評価し採点することを伴ってもよい。

幾つかの実施形態において、建設精度のレベルは、不整合閾値に従って評価されてもよい。ＡＰＲ装置は、建設精度の前記レベルが、前記不整合閾値に違反する場合に、警報表示と、修正された建設計画と、の１つ又は複数を更に生成してもよい。不整合閾値は、例えば逸脱の許容可能なレベルに関する境界又は限界を表す、例えば所望の及び実際の建設点間の隔たりに関する所定の又はユーザ選択値であってもよい。例えば逸脱用の著しい許容が存在する幾つかの状況において、不整合閾値は、著しい逸脱を許す値であってもよい。例えば精度の必要性が存在する他の状況において、不整合閾値は、限られた逸脱を許す値であってもよい。

幾つかの実施形態において、建設計画は、建設スケジュールを含んでもよく、ＡＰＲ装置は、建設の適時性のレベルを決定するために、建設の現在状態を建設スケジュールと比較するように更に構成されてもよい。特に、建設スケジュールは、建設の或る態様、仕事、又は一部が完了されるべき時間枠を定義してもよい。建設サイクル中の様々な点において、建設の現在状態及び経過時間は、適時性（即ち、仕事が、時間内に完了されたか、又はそれらが、遅延したか）を決定するために、建設スケジュールと比較されてもよい。

幾つかの実施形態において、建設適時性のレベルは、建設タイムラインに従って評価されてもよい。ＡＰＲ装置は、建設適時性の前記レベルが、前記タイムラインに違反する場合に、警報表示及び修正された建設計画の１つ又は複数を更に生成してもよい。建設タイムラインは、例えば建設の或る態様、仕事、又は一部が完了されるべき順序及び時間枠に関する所定の又はユーザ選択された値を含んでもよい。例えば、１つ又は複数のプロジェクトが遅延し、且つ／又は時間内に完了されなかったことを建設適時性が示す幾つかの状況において、建設タイムラインは、修正又は全面的な見直しを要求してもよい。例えば建設適時性が、建設スケジュールへの最適な固守を示す代替状況において、建設タイムラインは、目的に適合するままであり得、修正をほとんど又はまったく要求しなくてもよい。

幾つかの実施形態において、ＡＰＲ装置は、手動ユーザ入力、建設タイムライン、及び修正される建設計画の１つ又は複数に従って、前記投影可能なビジュアルコンテンツを自動的に又は選択的に更新するように更に構成されてもよい。

幾つかの実施形態において、ＡＰＲ装置は、通信モジュールを含んでもよく、且つ建設精度の前記レベル及び建設適時性の前記レベルの少なくとも１つに関する１つ若しくは複数のフィードバック又はステータス更新を外部又は内部エンティティへと、前記通信モジュールを用いて送信するように更に構成されてもよい。

幾つかの実施形態において、ＡＰＲ装置は、捕捉装置が、実際のシーンに対して移動されたかどうかを検出するように構成されてもよい。捕捉装置、コンピュータプロセッサ、及びプロジェクタはまた、捕捉装置が、実際のシーンに対して移動されたと判定された場合に、自らの動作を直ちに繰り返すように構成されてもよい。

幾つかの実施形態において、捕捉装置、コンピュータプロセッサ、及びプロジェクタは、それらの動作を周期的に繰り返し、且つ前記投影可能なビジュアルコンテンツを更新するように構成されてもよい。

幾つかの実施形態において、捕捉装置は、２Ｄ画像を捕捉するように動作可能な２Ｄカメラであってもよい。前記シーンの３Ｄ画像はまた、他のデータ、例えば他のセンサデータと前記２Ｄ画像を組み合わせることによって構成されてもよい。

幾つかの実施形態において、ＡＰＲ装置は、ユーザの存在及び／又はその位置を検出するように動作可能なセンサを更に含み、前記プロジェクタは、前記シーン内でプロジェクタと表面との間にユーザが位置する場合に、動作を終了するように構成される。

幾つかの実施形態において、投影可能なビジュアルコンテンツは、メンテナンス概要を含んでもよく、プロジェクタは、完全に建設された建物内の表面に投影可能なビジュアルコンテンツを投影するように動作可能である。

幾つかの実施形態において、ＡＰＲ装置は、外部ユーザインターフェースモジュール及び内部ユーザインターフェースモジュールの少なくとも１つを更に含んでもよく、前記外部ユーザインターフェースモジュール及び内部ユーザインターフェースモジュールのそれぞれは、制御コマンドを前記ＡＰＲ装置に発行すること及び情報をユーザに表示することの少なくとも１つを行うように構成される。

幾つかの実施形態において、建設スケジュールは、建設順序を含んでもよく、ＡＰＲ装置は、前記建設順序が違反された場合に、警報表示を生成すること及び前記建設順序に従って投影を生成することの少なくとも１つを行うように構成されてもよい。

前述の流れ図及びダイアグラムは、本発明の様々な実施形態に従って、アーキテクチャ、機能性、並びにシステム、方法及びコンピュータプログラムプロダクトの可能な実装形態の動作を示す。この点において、流れ図の各部分又は部分ダイアグラムは、コードのモジュール、セグメント、又は部分を表してもよく、それらは、指定された論理機能を実行するための１つ又は複数の実行可能な指示を含む。幾つかの代替実装形態において、部分に書き留められた機能が、図に書き留められた順序外で行われ得ることにもまた留意されたい。例えば、連続して示された２つの部分は、実際にはほぼ同時に実行されてもよく、又は部分は、関係する機能性に依存して、時には逆順で実行されてもよい。部分ダイアグラム及び／又は流れ図の各部分、並びに部分ダイアグラム及び／又は流れ図における部分の組み合わせが、専用ハードウェア及びコンピュータ命令の特定の機能か、動きか、又は組み合わせを実行する専用ハードウェアベースのシステムによって実行できることがまた注目される。

当業者によって認識されるように、本発明の態様は、システム又は機器として具体化されてもよい。従って、本発明の態様は、完全なハードウェア実施形態、又は本明細書で「回路」、「モジュール」若しくは「システム」と一般に全て呼ばれ得るソフトウェア及びハードウェア態様を組み合わせる実施形態の形式を取ってもよい。

前述の図は、本発明の様々な実施形態によるシステム及び機器の可能な実装形態におけるアーキテクチャ、機能性、及び動作を示す。上記の説明で言及される場合に、実施形態は、本発明の例又は実装形態である。「一実施形態」、「実施形態」、又は「幾つかの実施形態」の様々な出現は、必ずしも全て同じ実施形態を指すわけではない。

本発明の様々な特徴は、単一の実施形態の文脈で説明され得るが、特徴はまた、別々に又は任意の適切な組み合わせで提供されてもよい。反対に、本発明は、明確にするために別個の実施形態の文脈で本明細書で説明され得るが、本発明はまた、単一の実施形態において実施されてもよい。

本明細書において、「幾つかの実施形態」、「実施形態」、「一実施形態」、又は「他の実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造、又は特性が、本発明の少なくとも幾つかの実施形態に含まれるが、必ずしも全ての実施形態に含まれるわけではないことを意味する。上記で説明された本発明の態様が、本発明の実施形態において組み合わされるか、そうでなければ共存してもよいことが更に認識されよう。

本明細書で用いられた表現法及び専門用語が、限定として解釈されるべきではなく、説明目的だけのためであることを理解されたい。

本発明の原理及び教示の利用法は、付随の説明、図、及び例に関連して一層よく理解され得る。

本明細書で明らかにされる詳細が、本発明の適用への制限を意味しないことを理解されたい。

更に、本発明が、様々な方法で実行又は実施され得ること、及び本発明が、上記の説明で概説された実施形態以外の実施形態で実施され得ることを理解されたい。

用語「含む（including）」、「含む（comprising）」、「からなる（consisting）」、及びそれらの文法的変異が、１つ又は複数のコンポーネント、特徴、ステップ、若しくは整数、又はそれらのグループの追加を排除しないこと、及び用語が、コンポーネント、特徴、ステップ、又は整数を指定するものとして解釈されるべきであることを理解されたい。

本明細書又は請求項が、「追加」要素を指す場合に、それは、１つを超える追加要素が存在することを排除しない。

請求項又は本明細書が、「a」又は「an」の要素に言及する場合に、かかる言及が、その要素の１つだけが存在するように解釈されるべきではないことを理解されたい。

コンポーネント、特徴、構造、又は特性が、含まれて「もよい」、含まれる「かもしれない」、含まれる「ことができる」、又は含まれる「可能性がある」ことを本明細書が述べる場合に、その特定のコンポーネント、特徴、構造、又は特性は、含まれるように要求されないことを理解されたい。

適用可能な場合に、状態図、流れ図、又は両方が、実施形態を説明するために用いられてもよいが、本発明は、それらの図にも対応する説明にも限定されない。例えば、フローは、各図示のボックス若しくは状態を通して進む必要も、図示及び説明される順序と正確に同じに進む必要もない。

本発明の方法は、選択されたステップ又は仕事を手動で、自動で、又はそれらの組み合わせで実行することによって実施されてもよい。

用語「方法」は、限定するわけではないが、本発明が属する技術の当業者に周知の、又は周知の方式、手段、技術及び手順から容易に開発される方式、手段、技術及び手順を含む、所与の仕事を達成するための方式、手段、技術及び手順を指してもよい。

特許請求の範囲及び本明細書で提示される説明、例及び材料は、限定ではなく、むしろ単に実例として解釈されるべきである。

本明細書で用いられる技術用語及び科学用語の意味は、別段の定義がない限り、本発明が属する技術の当業者によって普通に理解されるものである。

本発明は、本明細書で説明される材料と等価又は類似の材料で試験又は実践において実施されてもよい。

本発明は、限られた数の実施形態に関連して説明されたが、これらは、本発明の範囲に対する制限としてではなく、むしろ好ましい実施形態の幾つかにおける適例として解釈されるべきである。他の又は等価な変形、修正、及び適用もまた、本発明の範囲内である。従って、本発明の範囲は、ここまで説明されたものによってではなく、添付の請求項及びそれらの法的な均等物によって制限されるべきである。

Claims (40)

1. 動的に変化する建設現場の上に適応拡張現実コンテンツを投影するためのシステムであって、前記システムが、
   シーンの３Ｄ画像を捕捉するように構成された少なくとも１つのセンサを含む捕捉装置と、
   コンピュータプロセッサであって、
   前記捕捉された３Ｄ画像に基づいて、前記シーン内の表面の３Ｄモデルを生成するように、
   前記シーンに建築される建造物に関連する建設計画を取得するように、且つ
   ｉ） 前記建設計画に基づいた建設の所望の状態と、
   ｉｉ） 前記シーン内の表面の前記３Ｄモデルに基づいた前記建設の現在状態と、
   に基づいて、投影可能なビジュアルコンテンツを生成するように構成されたコンピュータプロセッサと、
   前記シーン内の前記表面上に前記投影可能なビジュアルコンテンツを投影するように構成されたプロジェクタと、
   を含み、
   前記捕捉装置、前記コンピュータプロセッサ、及び前記プロジェクタが、それらの動作を繰り返し、且つ前記投影可能なビジュアルコンテンツを更新するように構成されたシステム。
2. 表面の前記３Ｄモデルが、前記シーンの全体にわたって配置されたデータ点セットを含む３Ｄ点群であり、前記建設計画が、前記３Ｄ点群に従って、投影可能なビジュアルコンテンツに変換されレンダリングされる、請求項１に記載のシステム。
3. 前記システムが、前記建設の前記現在状態を前記建設計画と比較するように、且つそこから建設精度のレベルを決定するように更に構成される、請求項１に記載のシステム。
4. 前記プロセッサが、不整合閾値に従って、建設精度の前記レベルを評価するように、且つ
   建設精度の前記レベルが、前記不整合閾値に違反する場合に、
   ｉ） 警報表示と、
   ｉｉ） 修正された建設計画と、
   の１つ又は複数を生成するように更に構成される、請求項３に記載のシステム。
5. 前記建設計画が、建設スケジュールを含み、前記システムが、前記建設の前記現在状態を前記建設スケジュールと比較するように、且つそこから建設適時性のレベルを決定するように更に構成される、請求項１に記載のシステム。
6. 前記プロセッサが、建設タイムラインに従って、建設適時性の前記レベルを評価するように、且つ
   建設適時性の前記レベルが、前記建設タイムラインに違反する場合に、
   ｉ） 警報表示と、
   ｉｉ） 修正された建設計画と、
   の１つ又は複数を生成するように更に構成される、請求項５に記載のシステム。
7. 前記プロセッサが、
   ｉ） 手動ユーザ入力と、
   ｉｉ） 前記建設タイムラインと、
   ｉｉｉ） 前記修正された建設計画と、
   の１つ又は複数に従って、前記投影可能なビジュアルコンテンツを自動的に又は選択的に更新するように更に構成される、請求項４又は６に記載のシステム。
8. 前記システムが、通信モジュールを更に含み、前記プロセッサが、前記通信モジュールを用いて、建設精度の前記レベル及び建設適時性の前記レベルの少なくとも１つに関する１つ若しくは複数のフィードバック又は状態更新を外部又は内部エンティティに送信するように更に構成される、請求項３又は５に記載のシステム。
9. 前記フィードバック又は状態更新が、警告又は警報情報を含み、前記警告又は警告情報が、
   ｉ） 施工品質に関する情報と、
   ｉｉ） 前記建設の前記現在状態と前記建設計画との間の逸脱に関する情報と、
   ｉｉｉ） 統計的又はスケジューリング逸脱に関する情報と、
   ｉｖ） 潜在的な安全上の危険に関する情報と、
   ｖ） 部屋又は建物の寸法測定に関する情報と、
   ｖｉ） 資源の使用に関する情報と、
   の１つ又は複数を含む、請求項８に記載のシステム。
10. 前記投影可能なビジュアルコンテンツが、
    ｉ） 電力配線及びコンセントと、
    ｉｉ） 溝と、
    ｉｉｉ） 空調ダクト又は管と、
    ｉｖ） 換気通路と、
    ｖ） 窓と、
    ｖｉ） 部屋又は建物の梁と、
    ｖｉｉ） 管水路と、
    ｖｉｉｉ） エレベータシャフトと、
    ｉｘ） 指示又はガイダンスと、
    ｘ） 隠蔽物と、
    ｘｉ） レベル又はグリッド線と、
    ｘｉｉ） 壁又は他の表面と、
    ｘｉｉｉ） テンプレートと、
    の１つ又は複数を含む、請求項１に記載のシステム。
11. 前記システムが、ディスプレイ装置を更に含み、前記プロセッサが、前記修正された建設計画が生成された場合に、前記ディスプレイ装置上に警報又はプロンプトを生成するように更に構成される、請求項４又は６に記載のシステム。
12. 前記システムが、入力装置を更に含み、前記修正された建設計画が、前記入力装置を用いて許容又は拒否され得る、請求項１１に記載のシステム。
13. 前記システムが、前記捕捉装置が前記シーンに対して移動されたかどうかを検出するように構成されたセンサを更に含み、前記捕捉装置、前記コンピュータプロセッサ、及び前記プロジェクタが、前記捕捉装置が前記シーンに対して移動されたと判定された場合に、自らの動作を直ちに繰り返す、ように構成された、請求項１に記載のシステム。
14. 前記捕捉装置、前記コンピュータプロセッサ、及び前記プロジェクタが、それらの動作を周期的に繰り返し、且つ前記投影可能なビジュアルコンテンツを更新するように構成される、請求項１に記載のシステム。
15. 前記捕捉装置が、２Ｄ画像を捕捉するように動作可能な２Ｄカメラであり、前記シーンの前記３Ｄ画像が、前記２Ｄ画像及び他のデータの組み合わせから構成される、請求項１に記載のシステム。
16. 前記プロジェクタ及び前記捕捉装置が、１つ又は複数の共通コンポーネントを共有する、請求項１に記載のシステム。
17. 前記システムが、ユーザの存在及び距離の１つ又は複数を検出するように動作可能なセンサを更に含み、前記ユーザが前記シーン内の前記プロジェクタと前記表面との間に位置する場合に、前記プロジェクタが、動作を終了するように構成される、請求項１に記載のシステム。
18. 前記投影可能なビジュアルコンテンツが、メンテナンス概要を含み、前記プロジェクタが、完全に建設された建物内の表面上に前記投影可能なビジュアルコンテンツを投影するように動作可能である、請求項１に記載のシステム。
19. 前記システムが、外部ユーザインターフェースモジュール及び内部ユーザインターフェースモジュールの少なくとも１つを更に含み、前記外部ユーザインターフェースモジュール及び内部ユーザインターフェースモジュールのそれぞれが、制御コマンドを前記システムに発行すること及び情報をユーザに表示することの少なくとも１つを行うように構成される、請求項１に記載のシステム。
20. 前記建設スケジュールが、建設順序を含み、前記プロセッサが、前記建設順序が違反された場合に、警報表示を生成すること及び前記建設順序に従って投影を生成することの少なくとも１つを行うように構成される、請求項５に記載のシステム。
21. 動的に変化する建設現場の上に適応拡張現実コンテンツを投影するための方法であって、前記方法が、
    捕捉装置を用いて、シーンの３Ｄ画像を捕捉することと、
    前記シーンの前記３Ｄ画像に基づいて、前記シーン内の表面の３Ｄモデルを生成することと、
    前記シーンに建築される建造物に関連する建設計画を取得することと、
    投影可能なビジュアルコンテンツを生成することであって、
    ｉ） 前記建設計画に基づいた建設の所望の状態と、
    ｉｉ） 前記シーン内の表面の前記３Ｄモデルに基づいた前記建設の現在状態と、に基づいて生成することと、
    前記シーン内の前記表面上に前記投影可能なビジュアルコンテンツを投影することと、
    を含み、
    前記捕捉、前記取得、前記生成、及び前記投影が、前記投影可能なビジュアルコンテンツを更新するために繰り返される方法。
22. 表面の前記３Ｄモデルが、前記シーンの全体にわたって配置されたデータ点セットを含む３Ｄ点群であり、前記建設計画が、前記３Ｄ点群に従って、投影可能なビジュアルコンテンツに変換されレンダリングされる、請求項２１に記載の方法。
23. 前記方法が、前記建設の前記現在状態を前記建設計画と比較することと、そこから建設精度のレベルを決定することと、を更に含む、請求項２１に記載の方法。
24. 前記方法が、不整合閾値に従って建設精度の前記レベルを評価することと、建設精度の前記レベルが前記不整合閾値に違反する場合に、
    ｉｉｉ） 警報表示と、
    ｉｖ） 修正された建設計画と、
    の１つ又は複数を生成することと、を更に含む、請求項２３に記載の方法。
25. 前記建設計画が、建設スケジュールを含み、前記方法が、前記建設の前記現在状態を前記建設スケジュールと比較することと、そこから建設適時性のレベルを決定することと、を更に含む、請求項２１に記載の方法。
26. 前記方法が、建設適時性に従って、建設適時性の前記レベルを評価することと、建設適時性の前記レベルが前記建設適時性に違反する場合に、
    ｉ） 警報表示と、
    ｉｉ） 修正された建設計画と、
    の１つ又は複数を生成することと、を更に含む、請求項２５に記載の方法。
27. 前記方法が、
    ｉ） 手動ユーザ入力と、
    ｉｉ） 前記建設タイムラインと、
    ｉｉｉ） 前記修正された建設計画と、
    の１つ又は複数に従って、前記投影可能なビジュアルコンテンツを自動的に又は選択的に更新することを更に含む、請求項２４又は２６に記載の方法。
28. 前記方法が、建設精度の前記レベル及び建設適時性の前記レベルの少なくとも１つに関する１つ又は複数のフィードバック又は状態更新を外部エンティティ又は内部エンティティに送信することを更に含む、請求項２３又は２５に記載の方法。
29. 前記フィードバック又は状態更新が、警告又は警報情報を含み、前記警告又は警告情報が、
    ｉ） 施工品質に関する情報と、
    ｉｉ） 前記建設の前記現在状態と前記建設計画との間の逸脱に関する情報と、
    ｉｉｉ） 統計的又はスケジューリング逸脱に関する情報と、
    ｉｖ） 潜在的な安全上の危険に関する情報と、
    ｖ） 部屋又は建物の寸法測定に関する情報と、
    ｖｉ） 資源の使用に関する情報と、
    の１つ又は複数を含む、請求項２８に記載の方法。
30. 前記投影可能なビジュアルコンテンツが、
    ｉ） 電力配線及びコンセントと、
    ｉｉ） 溝と、
    ｉｉｉ） 空調ダクト又は管と、
    ｉｖ） 換気通路と、
    ｖ） 窓と、
    ｖｉ） 部屋又は建物の梁と、
    ｖｉｉ） 管水路と、
    ｖｉｉｉ） エレベータシャフトと、
    ｉｘ） 指示又はガイダンスと、
    ｘ） 隠蔽物と、
    ｘｉ） レベル又はグリッド線と、
    ｘｉｉ） 壁又は他の表面と、
    ｘｉｉｉ） テンプレートと、
    の１つ又は複数を含む、請求項２１に記載の方法。
31. 前記修正された建設計画が生成される場合に、前記方法が、警報又はプロンプトを表示することを更に含む、請求項２４又は２６に記載の方法。
32. 前記方法が、前記修正された建設計画を許容又は拒否することを更に含む、請求項３１に記載の方法。
33. 前記方法が、前記捕捉装置が前記シーンに対して移動されたかどうかを感知することと、前記捕捉装置が前記シーンに対して移動されたと判定された場合に、前記捕捉、前記取得、前記生成、及び前記投影を直ちに繰り返すことと、を更に含む、請求項２１に記載の方法。
34. 前記捕捉、前記生成、前記取得、及び前記投影が、前記投影可能なビジュアルコンテンツを更新するために周期的に繰り返される、請求項２１に記載の方法。
35. 前記捕捉装置が、２Ｄ画像を捕捉するように動作可能であり、前記シーンの前記３Ｄ画像が、前記２Ｄ画像及び他のデータの組み合わせから構成される、請求項２１に記載の方法。
36. 前記投影及び前記捕捉が、１つ又は複数の共通コンポーネントを用いて働く、請求項２１に記載の方法。
37. 前記方法が、ユーザの存在及び距離の１つ又は複数を感知することを更に含み、前記ユーザが前記投影可能なビジュアルコンテンツの経路にいる場合に、前記投影が動作を終了する、請求項２１に記載の方法。
38. 前記投影可能なビジュアルコンテンツが、メンテナンス概要を含み、前記投影可能なビジュアルコンテンツが、完全に建設された建物内の表面上に投影される、請求項２１に記載の方法。
39. 前記方法が、外部ユーザインターフェースモジュール及び内部ユーザインターフェースモジュールの少なくとも１つを用いることを更に含み、前記外部ユーザインターフェースモジュール及び内部ユーザインターフェースモジュールのそれぞれが、制御コマンドを発行すること及び情報をユーザに表示することの少なくとも１つを行うように構成される、請求項２１に記載の方法。
40. 前記建設スケジュールが、建設順序を含み、前記方法が、前記建設順序が違反された場合に警報表示を生成すること、及び前記建設順序に従って投影を生成することの少なくとも１つを更に含む、請求項２５に記載の方法。