JP2020510903A - 環境のデジタルキャプチャのための画像収集の追跡、並びに関連のシステム及び方法 - Google Patents

Abstract

現実世界の環境のデジタルキャプチャのための画像収集、並びに関連するシステム及び方法が開示される。環境をデジタル的にキャプチャするための典型的な方法は、レーザースキャナで少なくとも１つの固定ポイントから環境をスキャンして、スキャンデータを取得する段階と、スキャンデータに少なくとも部分的に基づいて、環境内の経路に対応するビューキャプチャルートを生成する段階と、を含む。本方法は、人間のオペレータがビューキャプチャルートに沿って移動するのに伴って、光学センサを携行する人間のオペレータから光学データを受信する段階を更に含むことができる。本方法は、更に、光学データに少なくとも部分的に基づいて、環境の仮想（又は他の）表現を生成する段階を含むことができる。【選択図】図８

Description

本技術は、一般に、環境のデジタルキャプチャ（一例として仮想現実）のための画像収集の改善、並びに関連するシステム及び方法に向けられている。

［関連出願への相互参照］
本出願は、引用により本細書に組み込まれた、２０１７年２月２日出願の係属中の米国仮出願第６２／４５３，９６５号に対する優先権を主張する。

「仮想現実」とは、一般に、ソフトウェアを用いて、現実環境を描写する画像及び／又は他の感知入力を生成し、或いは仮想環境をシミュレートするコンピュータ技術を指す。現実環境に対応する仮想現実環境を作成するために、クリエータは、現実環境の十分な画像データを取得しなければならない。この処理は、複数の課題を提示する可能性がある。例えば、正確な表現のために必要な大量の画像データを取得することは困難なことがある。特に、三次元環境の何れの部分がキャプチャされたか、及び何れがキャプチャされていないかを正確に追跡することは困難とすることができる。更に、特定の環境は、標準的なデータ収集技術に適用できないことがあり、従って、このような環境で十分なデータを収集するのは困難な場合がある。従って、リアルな仮想現実シミュレーションを提供するために必要な情報を収集する改善された技術に対する必要性が依然としてある。

米国仮出願第６２／４５３，９６５号 米国特許出願公開第２０１６／０２９２８７２号

本技術の実施形態に従って構成された環境及び環境に対応するデータをキャプチャするためのシステムの部分概略図である。 本技術の実施形態による、データを収集するための処理を示すフロー図である。 本技術の実施形態による、データを収集するための処理を示すフロー図である。 本技術の実施形態に従って選択された複数の物体及び典型的なスキャナ位置を含む環境の部分概要平面図である。 本技術の実施形態に従って構成された典型的なスキャナの部分概略図である。 本技術の典型的な実施形態による、スキャナモードで動作中の典型的なスキャナの構成要素を示すブロック図である。 本技術の実施形態による、トラッキングモードで動作中の典型的なスキャナの構成要素を示すブロック図である。 本技術の実施形態による、１又はそれ以上の画像キャプチャルートに沿って移動するオペレータの部分概略図である。 本技術の実施形態による、オペレータに提示される物体表示の部分概略図である。 本技術の実施形態による、オペレータによって携行されるように構成されたデータコレクタの部分概略図である。 本技術の実施形態に従って作成された仮想現実環境を表示するのに適した典型的なヘッドマウント型の仮想現実ディスプレイの等角図である。

本技術は、一般に、画像収集技術に関し、より具体的には、例えば、仮想現実において表示するために、現実世界の環境をデジタル的にキャプチャするのに用いられる画像収集データを追跡するためのシステム及び方法に向けられている。開示する技術の幾つかの実施形態の特定の詳細について、特定の典型的な構成を参照しながら以下で説明する。他の実施形態では、開示する技術は、他の構成を有する技術及び関連システムに従って実施することができる。明確にするために以下の記載においては、公知であり且つ画像データ収集及び仮想現実技術に関連することがあるが、現在開示している技術の幾つかの重要な態様を不必要に曖昧にする可能性がある構造又は処理を説明する具体的詳細については記載されない。更に、以下の開示では、開示する技術の様々な態様の幾つかの実施形態を示しているが、技術の幾つかの他の実施形態は、本セクションで説明するものとは異なる構成及び／又は構成要素を有することができる。従って、本技術は、付加的な構成要素を含む、及び／又は図１から１１を参照しながら以下で説明する要素の幾つかを含まない他の実施形態を有することができる。

開示する技術の幾つかの実施形態は、プログラム可能なコンピュータ又はコントローラによって実行されるルーチンを含む、コンピュータ実行可能命令の形態を取ることができる。当業者であれば、本技術は、以下に示して説明するもの以外のコンピュータ又はコントローラシステム上で実施可能である点は理解されるであろう。本技術は、以下で説明するコンピュータ実行可能命令の１又はそれ以上を実行するように特別にプログラム、構成、又は構築された専用コンピュータ、コントローラ、又はデータプロセッサで具現化することができる。従って、本明細書で一般的に使用するような「コンピュータ」及び「コントローラ」という語は、適切なデータプロセッサを含み、パームトップコンピュータ、ウェアラブルコンピュータ、セル式携帯又は携帯電話、マルチプロセッサシステム、プロセッサベースの又はプログラム可能家庭用電化製品、ネットワークコンピュータ、ラップトップコンピュータ、ミニコンピュータ、及び同様のものを含む、インターネット家電及びハンドヘルドデバイスを含むことができる。これらのコンピュータによって処理される情報は、液晶ディスプレイ（ＬＣＤ）を含む何れかの適切な表示媒体で提示することができる。当該技術では知られているように、これらのコンピュータ及びコントローラは、一般に、様々なプロセッサ、メモリ（例えば、非一時コンピュータ可読媒体等）、入出力デバイス等を有する。

本技術はまた、分散環境で実施することもでき、この場合は、タスク又はモジュールが、通信ネットワークを通じてリンクされたリモート処理デバイスによって実行される。分散コンピュータ環境では、プログラムモジュール又はサブルーチンは、ローカル及びリモートのメモリストレージデバイス内に配置することができる。以下で説明する技術の態様は、磁気又は光学的に可読又は取り外し可能なコンピュータディスクを含むコンピュータ可読媒体上に格納又は分散させることができ、並びにネットワークにわたって電子的に分散させることができる。本技術の態様にとって特別なデータ構造及びデータの送信もまた、本技術の範囲内に含まれる。

１．概要
図１は、デジタル的にキャプチャされることになっている現実環境１４０の部分概略図である。ここに示す実施形態では、環境１４０が、壁１４１、床１４２、及び物体１４３（例えば、中心環１４６、台座１４４、及び対応する彫像１４５であるが、これらは概略的に、円柱として示している）を有する美術館のギャラリーを含む。環境１４０で画像データを収集する主な目的は、ユーザが仮想現実グーグル、ヘッドギア、及び／又は他の適切なデバイスを介して現実環境１４０を体験できるようにする、リアルな仮想現実環境を生成することである。

典型的なシステム１００は、現実環境１４０に基づいて仮想現実環境を作成するために用いられる画像データを生成するように構成される。システム１００は、データ（例えば、画像データ）を収集するデータコレクタ１７０、及びデータ収集処理を誘導するために用いられるスキャナ１１０を含むことができる。特定の実施形態では、スキャナ１１０は、単独で又は１又はそれ以上の他のシステム要素と共に使用されて、環境１４０から初期データを収集し、環境１４０内で三次元データを収集するために用いられる一連のデータ収集ルートを計画し、次にデータ収集処理を追跡して、正確なデータが確実に収集されるようにする。

図１に示すように、データコレクタ１７０は、人間のオペレータ１８０によって携行することができ、オペレータは、環境１４０の至る所を歩いて、その後の仮想現実シミュレーションで使用するために、環境全体をデジタル的にキャプチャするために必要なデータを収集する。人間のオペレータ１８０を用いてデータコレクタ１７０を携行することによって、システム１００を、敏感な又は傷付きやすい物体（例えば、彫像１４５、絵画、及び／又は他の物体）を含む環境において使用することができ、このような環境では、無人機及び／又は無人車両のようなロボット装置は許容不能であり又は適切ではない場合がある。同時に、システム１００によって提供される自動ガイダンス機能が、人間のオペレータ１８０を用いた、完全なデータ収集処理の可能性を高めることができる。

特定の実施形態において、データコレクタ１７０は、オペレータ１８０によって装着、携行、及び／又は他の方法で支持可能で、且つ１又はそれ以上のセンサ１７２を支持するセンサ支持体１７１を含む。図１に示す例証的な実施形態では、センサ１７２は、環境１４０の立体画像を提供するために（例えば、コントローラを介して）動作可能に結合することができる２台のカメラを含む。各カメラは、対応する視野１７３を有する。センサ支持体１７１はまた、「マーカ」機能をもたらす１又はそれ以上のフィデューシャル(fiducial)１７４又は他の要素も含むことができる。フィデューシャルにより、スキャナ１１０は、センサ支持体１７１の位置及び向き、従って、支持体が保持する(carries)センサ１７２を識別することができる。センサ支持体１７１はまた、オペレータがそれに沿って移動する画像収集ルートに対応する情報、及び／又はオペレータが環境１４０内で画像データを収集するために用いる他の情報をオペレータ１８０に提示するガイダンスディスプレイ１５０も保持することができる。

センサ支持体１７１は、システムが導出した自己の位置及び向きの推定値を改善することができる、慣性計測装置又は何れかの適切な数の付加的なセンサを含むことができる。

スキャナ１１０は、レーザービーム１２８を照射して反射ビームを受信するレーザースキャナを含むことができる。例えば、スキャナ１１０は、ビーム１２８をセンサ支持体１７１に向けて、フィデューシャル１７４から反射を受信することができる。反射ビームデータに基づいて、スキャナ１１０を用いて、センサ支持体１７１の位置及び向きを識別することができる。

スキャナ１１０は、センサ支持体１７１に向けられてフィデューシャル１７４から光を受信するカメラを含むことができる。フィデューシャルの表示位置に基づいて、スキャナ１１０を用いて、センサ支持体１７１の位置及び向きを識別することができる。

スキャナ１１０は、コントローラ１３０に結合することができ、コントローラは、例証的な実施形態ではラップトップコンピュータを含み、他の実施形態では、ラップトップコンピュータに加えて又はその代わりに他のデジタル処理デバイスを含むことができる。これらの実施形態の何れでも、コントローラ１３０は、プロセッサ１３１と、メモリ１３２と、入出力デバイス１３３とを含むことができる。入出力デバイス１３３は、入力デバイス１３４（例えばキーボード）及び出力デバイス１３５（例えばディスプレイ）を含むことができる。コントローラ１３０は、スキャナ１１０からデータを受信し、オペレータ１８０が辿る１又はそれ以上の画像キャプチャルートを生成し、オペレータをルート上に維持するために及び／又は必要に応じてオペレータの方向を変えるためにオペレータ１８０と通信することができる。これを行うために、コントローラ１３０は、センサ支持体１７１によって保持されるガイダンスディスプレイ１５０にガイダンス情報を提示することができる。更なる詳細、典型的な処理、及び関連システムについて以下で説明する。

２．典型的な処理フロー
図２は、本技術の実施形態に従って構成された典型的な処理２９０を示している。ブロック２９１は、対応する仮想現実環境のベースを形成することになる現実世界の環境をスキャンする段階を含む。この初期スキャンを用いて、環境内の主要な特徴を識別し、次にこれらの特徴を用いて、仮想現実環境のベースを形成するデータを生成する、より完璧なデータ収集処理を誘導する。例えば、ブロック２９１で実行される処理は、レーザースキャナを用いて、環境内の１又はそれ以上の地点から環境の主要な特徴をスキャンする段階を含むことができる。任意で、この処理は、スキャンしたデータを以前に取得した写真又は固定参照ポイントから取得された他の画像データと相関付ける段階を更に含むことができる。他の実施形態では、相関処理は省略することができる。

ブロック２９２は、ビューキャプチャ経路又はルートを計画する段階を含む。これは、オペレータ１８０（図１）が画像キャプチャ動作中に辿るルートである。この経路は、特定のスキャン位置にあるスキャナによってサポートすることができる必要な及び／又は所望の全てのビューをキャプチャするよう計画される。特に、経路は、最終的な仮想現実視聴者にとってリアルな体験を形成するのに十分な視覚情報を提供するよう計画される。環境は三次元環境なので、処理は、１又はそれ以上のスキャン位置に基づくことができる複数のビューキャプチャ経路又はルートを含むことができ、これについては、以下で更に詳細に説明する。

ブロック２９３は、センサ（例えば画像センサ）を追跡して、ブロック２９２で作成したビューキャプチャ経路に沿ってオペレータを誘導する段階を含む。特に、ブロック２９１で環境のスキャンに用いられた同じ（又は異なる）スキャナを用いて、データ収集処理の間、環境の至る所でオペレータの動きを追跡することができる。システムがオペレータの動きを追跡するとき、システムは、（例えば、図１を参照しながら上述したガイダンスディスプレイ１５０を介して）フィードバックを提示して、オペレータが環境全体をキャプチャするのを手助けすることができる。

ブロック２９４は、姿勢が刻印された(pose-stamped)ビューを経路に沿ってキャプチャする段階を含む。例えば、オペレータが経路に沿って歩いて写真を撮る（又は他のセンサ情報を取得する）とき、システムは、各画像に位置及び向きを自動的に刻印することができる。従って、画像データの個々の断片又は要素は、環境内の特定の位置及びセンサの向きと自己を関連付けることができる。次に、この情報を用いて、仮想現実環境のために完全な三次元レンダリングを作成する。

ブロック２９５において、処理は、環境が完全にカバーされたかどうかを判断する段階を含む。カバーされていない場合、スキャナは新しい（例えば、第２の又はそれ以降）位置に移動される可能性が高く、処理は、ブロック２９１に戻る。カバーされている場合は、ブロック２９６において、前述の段階中に収集されたビューに基づいて、環境が再現される。この環境を再現するために、バンドル調整又は写真測量処理のような種々の公知のアルゴリズムを使用することができる。ブロック２９７において、再現された環境が、ユーザに対して表示される。例えば、再現された環境は、光照射野、ポイントクラウド、及び／又はメッシュデータに基づくことができ、仮想現実デバイス（又は他のデバイス）又は他の三次元ビューアを用いて表示することができる。適切な仮想現実デバイスは、Ｏｃｕｌｕｓ ＶＲ，ＬＬＣ（ｗｗｗ．ｏｃｕｌｕｓ．ｃｏｍ）及びＨＴＣ Ｃｏｒｐｏｒａｔｉｏｎ（ｗｗｗ．ｈｔｃ．ｃｏｍ）から市販されている。他の適切な三次元ビューア媒体は、ＣＡＤ（コンピュータ支援設計）ソフトウェア、ウェブベースのソフトウェア、又は同様のものを含む。

図３は、本技術の他の実施形態により構成された処理３８５を示すフロー図であり、典型的な処理段階の更なる詳細を含む。ブロック３８６は、画像データの取得に向けて、現実世界の環境をセットアップする段階を含む。この処理は、環境内の物体を含む、環境のＣＡＤ画像又はマップを読み込む段階を含むことができる（ブロック３８７）。ブロック３８８は、スキャナ位置（例えば、スキャナを配置する１又はそれ以上の固定の及び／又は最適な場所）を計画する段階を含むことができる。特に、及び図４を参照しながら以下で更に説明するように、環境の形状及び／又は環境内の物体の存在によって、単一場所からではスキャナが環境を適切にスキャンできないことがある。従って、ブロック３８８は、環境を適切に（例えば十分に）スキャンするために必要な複数のスキャナ位置、及び特定の実施形態では、これを行うために必要な最小数のスキャナ位置を識別する段階を含むことができる。

ブロック３８６で収集された情報に基づいて、ブロック３８９は、スキャナ位置を推奨する段階を含む。例えば、ブロック３８９は、環境内のどこにスキャナを配置すべきかをオペレータに示す段階を含むことができる。ブロック３９０において、スキャナはスキャンを完了して、例えば、固定位置から環境の三次元ポイントクラウドを、対応するパノラマ写真データと共にキャプチャする。特定の実施形態では、スキャナはレーザースキャナであり、別の実施形態では、他のタイプのスキャン技術を含むことができる。ブロック３９１は、スキャンで取得したデータを、ブロック３８７で取得されたマップ又はモデルに、及び／又は以前のスキャンに登録する段階を含む。この処理は、環境のスキャンが完全であることを保証するために使用することができる。次にブロック３９２において、ビューキャプチャ経路又はルートが計画される。上述のように、経路は、各スキャナ位置からできるだけ多くのデータを取得するよう慎重に構築される。経路は、「巡回セールスマン」又は種々の最小化関数のような一般的なアルゴリズムに基づいて計算することができる。

ブロック３９３は、画像センサを追跡して、必要な画像データを収集するよう、オペレータを誘導する段階を含む。この処理は、次に、３９２で確立されたビューキャプチャ経路（ブロック３９４）に沿ってオペレータを誘導する段階を含む。例えば、ブロック３９４は、図１に図示して、以下で図９を参照しながら更に詳細に説明するガイダンスディスプレイ１５０を用いて、オペレータが１つの画像収集位置から別の位置に移動するとき、オペレータを誘導する段階を含むことができる。

オペレータが環境内を移動するとき、ブロック３９５及び３９６は、画像センサを検索（例えば、図１に示した、カメラ又は他の画像センサ１７２を保持するデータコレクタ１７０を検索）する段階を含む。特定の実施形態では、この処理は、センサが識別されるまで、スキャナを系統的なパターンでパンする段階及びチルトする段階を含むことができる。

センサの位置が特定されると、ブロック３９７は、センサの位置及び向き（又は姿勢(pose)）を推定する段階を含む。仮想三次元環境を正確に作成するために、どこにセンサがあるか、及びセンサが特定の画像をキャプチャするときにセンサがどの方向に向いているかの両方を通常は知っておく必要がある。例えば、完全な画像定義は、各位置の画像に関連するデータの６つの自由度集合を含むことができる。自由度は、三次元空間内のセンサの座標、並びにセンサが示す（三次元空間内の）方向を含む。

ブロック３９８において、処理は、センサがスキャナの視野内の中心になるように、スキャナにセンサ又はデータコレクタ１７０の中心を向くように命令する段階を含むことができる。これにより、オペレータが動くとき、センサを見失う可能性が低減される。ブロック３９９において、処理は、センサが正しい位置及び向きにあるかどうかを判断する。例えば、この処理は、センサが正しい方向に向けられていて、オペレータが意図されたビューキャプチャ位置に達したかどうかを判断する段階を含むことができる。達していない場合、処理は、ブロック３９４に戻って、オペレータに追加のガイダンスを提供する。達していた場合は、次にブロック３８４で、処理は、センサによって取得された画像データ、並びにセンサの位置及び向きの両方をキャプチャして格納する段階を含む。

ブロック３８３において、処理は、所与のビューキャプチャ経路が完了したかどうかを判断する段階を含む。完了していない場合、次に処理は、付加的なガイダンスのためにブロック３９４に戻る。完了した場合、次にブロック３８２において、処理は、環境全体がカバーされたかどうかを判断する。カバーされていない場合、処理は、ブロック３８９に戻って、新規のスキャナ位置から環境内のデータの収集を継続する。環境全体がキャプチャされたら、処理は終了する。

３．典型的なシステム
図４は、図１に示した環境１４０の部分概要平面図である。図４はまた、第１の位置Ｐ１に配置されたスキャナ１１０、及び環境１４０の一部分を含む、位置Ｐ１に関連するスキャナの視野４２９も示している。図４に示すように、環境１４０内の物体１４３の各々は、スキャナ１１０がデータを取得又はオペレータを追跡できない「シャドー」又は閉塞エリア４４７をキャストすることがある。シャドー４４７の範囲は、各物体１４３の三次元形状及び位置によって変わる。例えば、環境１４０の中央にある環１４６は、比較的低くて、従ってほとんど又は全くシャドーをキャストしない。逆に、周辺にある台座１４４及び彫像１４５は、より多くのシャドー４４７をキャストしうる。環境全体をデジタル的にキャプチャするためには、スキャナ１１０が位置Ｐ１にあるときにシャドー内にある表面を画像化しなければならない。従って、及び上述のように、本明細書に開示する処理の一部分は、環境１４０内の全ての関連画像データのキャプチャをサポートするために、スキャナ１１０の付加的な位置を識別する段階を含む。典型的な実施形態では、環境１４０の対応する壁１４１に沿って、付加的な位置（３箇所をＰ２、Ｐ３、及びＰ４として図示）が配置される。他の実施形態では、これらの位置は異なることも及び／又はこれよりも少ないことも可能である。位置が少ないほど、スキャナ１１０をセットアップして、移動して、解体するのに必要な時間及び尽力が少なくなる。従って、典型的な処理は、環境１４０の適正なカバレッジを提供するためにスキャナ１１０を配置しなければならない場所の数を最適化（例えば最小限にする）段階を含む。例えば、グラフ検索アルゴリズムを用いて、エリア上の機能を最小限にすることができる。

図５は、本技術の実施形態に従って構成された機能を有する典型的なスキャナ１１０の部分概略図である。スキャナ１１０は、カメラ５１７及び距離計５１８を保持する支持体５１１を含むことができる。カメラ５１７は、可視スペクトル、赤外領域、及び／又は他の適切な周波数レンジにおいて環境から放射線を受け取ることによって、スキャナ１１０の周囲の環境の２次元光学画像を生成するように構成することができる。距離計５１８は、エミッタ５１９及びレシーバ５２０を含むことができる。エミッタ５１９は、環境内の物体から反射して、レシーバ５２０によって受信される信号を照射する。次に、信号がエミッタ５１９から物体まで送信されて、レシーバ５２０まで戻ってくるのに必要な時間量（「飛行時間」）の推定を含む、様々な適切な技術の何れかを用いることによって、スキャナ１１０から物体までの距離が判断又は推定される。従って、カメラ５１７は、環境についての二次元情報を識別して送信することができ、距離計５１８は、第三次元を付加することができる。スキャナ１１０は、車輪５０９（例えば、解除可能なロック又はブレーキを備える）及び／又は他の移動機能を含み、環境内で１つの場所から別の場所へのスキャナ１１０の移動を容易にすることができる。

カメラ５１７及び距離計５１８は、チルトステージ５１４によって保持可能であり、スキャナ１１０の周囲の環境をスキャンするために１つのユニットとして共に移動させることができる。チルトステージ５１４は、第１の軸（例えば、水平軸Ｈ）の周りで、カメラ５１７及び距離計５１８を１つのユニットとして回転させるチルトモータ５１５を保持する。対応するチルトエンコーダ５１６が、水平軸Ｈに対して相対的なカメラ５１７及び距離計５１８の動きを追跡する。支持体５１１によって保持されるパンモータ５１２が、第２の軸（例えば、垂直軸Ｖ）の周りで、（カメラ５１７及び距離計５１８を含む）チルトステージ５１４を１つのユニットとして回転させる。パンエンコーダ５１３が、垂直軸Ｖの周囲のカメラ５１７及び距離計５１８の回転位置を追跡する。従って、パンモータ５１２及びチルトモータ５１５は、スキャナ１１０の周囲の半球ボリュームを大まかにカバーするのに十分な弧にわたって、カメラ５１７及び距離計５１８を回転させることができる。

特定の実施形態において、距離計５１８は、ＬＩＤＡＲ検出器を含むことができ、これは、レーザー光（例えば、ＩＲレーザー光）を照射して受光する。適切なＬＩＤＡＲ検出器は、エミッタ５１９及びレシーバ又は検出器５２０のサイズを含む要因及び使用される測距技術に応じて、数百メートルの測距能力を有する。もっと限られた屋内環境では、もっと限られたレンジを有するスキャナが適切とすることができる。上述のように、測距技術は、一部の実施形態では、飛行時間技術を含むことができる。他の実施形態では、ＳＥＴＳ技術のような他の技術が、直接飛行時間（ｄｉｒｅｃｔ ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）計算を行う必要なく、より低いコスト及びより低い（ただし依然として適切な）解像度で適切な結果を生むことができる。スキャンは、系統的スイープスキャン、又は粗スキャンの後に詳細スキャン、又は適応スキャン（例えば、引用により本明細書に組み込まれた係属中の米国特許出願公開第２０１６／０２９２８７２号で説明するような）で、又は他の適切な技術を通じて実行することができる。別の実施形態では、距離計５１８は、スキャナ１１０とその周囲にある物体との間の距離を検出するのに適した、レーザー信号以外の信号を放射することができる。例えば、トラッキングにはレーダー信号を使用することができるが、スキャンに関しては、レーダー信号よりもレーザー信号のほうが性能が優れていると。別の実施形態では、スキャン処理を実行するために、レーザースキャナの代わりに、複数の高解像度カメラ又は構造的光配列で置き換えることができる。

図６は、本技術の実施形態による、スキャンモードで動作中の典型的なシステムを示す概略ブロック図である。図６に示すように、カメラ５１７は、周辺環境１４０の画像を記録するのに対し、距離計５１８は、環境１４０内の物体までの距離を記録する。従って、カメラ５１７は、ＲＧＢデータ（又は他の光学データ）５２３を生成し、距離計５１８は、深度又は距離データ５２４を生成する。ＲＧＢデータ５２３が、プロセッサ１３１に送信される。任意で、深度データ５２４が、球座標からデカルト座標に変換されるが、この場合、チルトエンコーダ５１６及びパンエンコーダ５１３からの情報に対して作用する従来型の変換ロジックを用いて行う。この変換された座標情報を用いて、カメラ５１７及び距離計５１８によってキャプチャされたデータから、ポイントクラウドビルダロジック５２７を用いてポイントクラウドを生成する。

システムはまた、モータ制御ユニット５２１も含み、これは、チルトモータ５１５及びパンモータ５１２に指示を与え、モータ制御ユニット自体はスキャンコントローラ５３０の制御下にある。スキャンコントローラ５３０は、スキャン領域ロジック５２２を含むことができ、スタンドアロンコントローラとすることができ、或いは、１又はそれ以上の他のコントローラ、例えば、図１を参照しながら上述したコントローラ１３０と一体化することができる。

電源５２６は、システムの様々な構成要素に電力を供給する。入出力デバイス５３３は、オペレータから情報を受信して、出力情報をオペレータに提供する。図６に示したスキャンモード中に実行される処理の結果は、環境１４０のコンピュータベースのモデル（例えば、ポイントクラウド）を含むことができる。

特定の実施形態において、スキャン動作中に取得されて三次元モデルを構築するために用いられるデータは、付加的データで補完することができる。例えば、モデルは、スキャナカメラ５１７又は他のデバイスによって取られる写真又は他のセンサ読取値で増補又は強化することができる。この動作は、一部の実施形態ではリアルタイムに、他の実施形態ではオフラインで行うことができる。強化は、カメラ画像内に含まれる色情報をポイントクラウド内のポイントに追加して、各ポイントでスペクトル表現を表す、よりリアルな色付きのモデルを作成する段階を含むことができる。

特定のスキャンから取得されたデータは、格納されて、後で同じスキャナによって（例えば、トラックモードで）又は異なるスキャナによって、トラックモードでも使用することができる。特定の実施形態において、トラッカーが特定のエリア内に配置されると、その環境から成る事前スキャンに自動的にアクセスすることができ、これらのスキャンは、トラッカーがトラックモードで動作するときにスキャナにダウンロードすることができる。

図７は、トラッキングモードで動作中の典型的なシステムを示している。このモードにおいて、カメラ５１７は、例えば、１又はそれ以上のフィデューシャルを追跡することによって、オペレータ１８０（及び／又はオペレータによって携行されるデータコレクタ１７０）を識別する。フィデューシャルは、データコレクタ１７０によって保持されるＬＥＤ又はリフレクタを含むことができる。結果は、２次元トラッキングデータ５３６を含むことができる。同時に、距離計５１８は、オペレータ１８０があちこち移動するとき、スキャナ１１０とデータコレクタ１７０との間の距離に対応するレンジデータ５６１を生成する。この情報は、プロセッサ１３１に与えられて、プロセッサが、位置推定ロジック５６２を用いて、データコレクタ１７０の位置の推定値を生成する。位置情報は、Ｉ／Ｏデバイス１３３に送信することができ、このデバイスが、情報信号５６３を介してデータコレクタ１７０に情報を送信することができる。この情報により、オペレータ１８０は、自身が辿るキャプチャルート内の変動を修正、調整、及び／又は補正することができる。位置情報はまた、モータ制御ユニット５２１にも送信されて、このユニットが、パンモータ５１２及びチルトモータ５１５を作動させて、ＵＡＶオペレータ１８０が移動するとき、データコレクタ１７０をカメラ５１７の視野内且つ距離計５１８の正面に継続的に保つ。

図８は、オペレータ１８０が複数の物体１４３の周囲でデータコレクタ１７０を移動させて、スキャナ１１０からの情報によって提供されるガイダンスによりデータを収集する典型的な環境１４０の部分概要等角図である。スキャナ１１０は、第１の位置Ｐ１及び第２の位置Ｐ２の両方に示されている。以下で説明するように、システムは、スキャナ１１０が第１の位置Ｐ１にあるときは、特定のビューキャプチャルート８８１に沿って、及びスキャナ１１０が第２の位置Ｐ２にあるときには別のルートに沿って、オペレータ１８０を誘導することができる。

スキャナ１１０が第１の位置Ｐ１にあるとき、オペレータ１８０は、環１４６に面する物体１４３表面の前を通る第１のビューキャプチャルート８８１ａに沿って移動することができる。オペレータ１８０は、中位レベルの高さＨ１（例えば、５フィート以上）にあるデータを感知するためにセンサ１７２を向けることができる。第１のビューキャプチャルート８８１ａに沿って、複数のデータ収集ポイント８８２があり、オペレータ１８０は、そこにデータコレクタ１７０を向けてデータを収集する。例えば、実施形態に応じて、オペレータ１８０は、データコレクタ１７０をスイープすることができ（例えば、ひねる、回転させる、曲げる、又は他の方法で向きを変えることによって）、或いは、センサ１７２は、センサ支持体１７１に対して移動させることによって、自動的に、又はオペレータ１８０によるコマンドに応答して、回転させ、傾けて、及び／又はスイープすることができる。

オペレータ１８０がデータコレクタ１７０を移動させるとき、スキャナ１１０は、データコレクタ１７０の位置及び向きに対応する情報を、例えば、フィデューシャルによって反射される放射ビームを介して受信して、オペレータの動きを誘導する。環境１４０は、第１のビューキャプチャルート８８１ａに沿って容易には取得されない情報を含むことがある。例えば、環１４６のような床１４２に近い物体は、データコレクタが地上５フィートに保持されるときには、キャプチャすることができない。従って、オペレータを、より低いレベルＨ２に向けられたセンサ１７２で、第２のルート８８１ｂに沿って誘導することができ、このルートは、これらの下位レベルに特徴を有するオブジェクトに及びその周囲に向けられる。

第１の及び第２のルート８８１ａ、８８１ｂは、スキャナ１１０が、データコレクタ１７０の位置及び姿勢を検出することができる位置にデータ収集ポイントを含む。上述のシャドー効果の結果として、スキャナが第１の位置Ｐ１にあるときに、特定の物体又は物体表面がスキャナ１１０には見えないことがある、従って、スキャナ１１０を第２の位置Ｐ２に移動させて、第３ルート８８１ｃに沿うようオペレータ１８０を方向付けるのを容易にして、第１の位置Ｐ１のスキャナアクセスからは隠れていた物体又は物体表面に対応するデータを収集することができる。上述のように、次にスキャナ１１０は、環境１４０を完全にキャプチャするために必要なあらゆる数の位置（例えば、最小数の位置）に移動させることができる。

図９は、２つの物体１４３及び第１のビューキャプチャルート８８１ａの部分を含む環境１４０の一部分を示している。図９はまた、データコレクタ（ディスプレイアーム９７５を介してガイダンスディスプレイ１５０が取り付けられた）を移動させて方向付ける際にオペレータを手助けするために、ガイダンスディスプレイ１５０に提示される典型的な画像も示している。特定の実施形態において、ガイダンスディスプレイ１５０は、物体表示９４３（データコレクタの正面にある物体１４３に対応する）、画像化領域９５１（既に画像化された環境の領域に対応する）、及び未画像化領域９５２（まだ画像化されていない環境の領域に対応する）を含む、環境１４０の特定の部分を表示する。画像化及び未画像化領域は、例えば、陰影、色対グレースケール、又は他の適切な手法を介して異なるように表現することができる。ディスプレイ１５０はまた、第１のビューキャプチャルート８８１ａの関連部分に対応するルート表示９８１ａも提示することができる。ルートの一部分は、未画像化領域９５２をキャプチャするために矢印によって示される方向にオペレータが移動すべきであることをオペレータに示す矢印を（例えば、未画像化領域９５２内に）含む。画像化領域９５１内のルート表示９８１ａの一部分は、例えば、矢印を含まず、異なるように表示することができ、既にここがカバーされたことを示す。従って、ガイダンスディスプレイ１５０を閲覧することによって、オペレータは、画像化領域９５１と未画像化領域９５２との間を容易に認識して区別することができ、まだ画像化されていないこれらの領域を画像化するよう誘導することができる。オペレータが環境１４０内の特定の場所又は領域を「見落としている」場合、システムが、ガイダンスディスプレイ１５０を介してオペレータを誘導して、欠落している画像及び／又は他のデータをキャプチャすることができる。加えて、概要ウィンドウ９５３が、オペレータを方向付けるために、環境１４０全体の概要を提示し、環境のうち何れの領域が画像化されて、何れが画像化されていないかを、より広範なレベルで示す。

図１０は、本技術の実施形態に従って構成された典型的なデータコレクタ１７０の部分概要等角図である。データコレクタ１７０は、センサ支持体１７１をオペレータに一時的に取り付けるために、ユーザによって（この場合は、ユーザの肩にまたがって）装着するように構成されたセンサ支持体１７１及びストラップ１０７６又は他の支持要素を含むことができる。データコレクタ１７０は、第１のカメラ１７２ａ及び第２カメラ１７２ｂとして示された１又はそれ以上のセンサを含むことができる。カメラは、データが提示されるであろう所望の出力に対応する何れかの適切な波長で動作させることができる。特定の実施形態では、データコレクタ１７０は、立体画像を提供するために２台のセンサ１７２を含み、別の実施形態では、データコレクタ１７０は、他の数のセンサ１７２、及び／又はカメラ以外の構成を有するセンサを含むことができる。例えば、センサ１７２は、ＬＩＤＡＲセンサ、及び／又は信号の放射及び信号（例えば、反射信号）の受信の両方を行う他のタイプのセンサを含むことができる。ガイダンスディスプレイ１５０が、オペレータに見えるように、ディスプレイアーム９７５によって適所に支持される。スキャナ１１０（図１）によって問い合わせられたときに、データコレクタ１７０（及び従ってセンサ１７２）の位置及び向きを、様々な角度から容易に取得できるように、データコレクタ１７０上の複数の箇所にフィデューシャル１７４を配置することができる。

データコレクタ１７０は、上述のフィデューシャル１７４に加えて他の位置決め要素を含むことができる。例えば、データコレクタ１７０は、フィデューシャル１７４から受信する情報によって提供される位置及び／又は向き情報を補完するために用いることができる位置センサ１０７７（例えば、慣性計測装置又はＩＭＵ）を含むことができる。

上述の画像データを取得した後、データは（例えばデータベース内に）格納されて、環境のデジタル表現を形成するために処理される。デジタル環境は、図１１に示すような、ヘッドマウントディスプレイ１１０１を介して仮想現実内でユーザに提示することができる。別の実施形態では、デジタル環境は、他のデバイス又はモダリティ、例えば、１台のモニタ、又はヘッドトラッキングセットアップと結合された複数の大型モニタを介して表示及び／又は提示することができる。

本技術の態様は、現実世界の環境をキャプチャしてこれらをデジタル的に表示するために用いられる他の技術と比較して、幾つかの利点の１又はそれ以上をもたらすことが期待される。例えば、上述のように、特定の環境は、完全自動化システムでレンダリングされると、不注意に傷付けることがあるデリケートな物体を含むことがある。人間のオペレータをループ内に保つことによって、このような損害を回避することができる。

加えて、仮想現実設定で環境をリアルにシミュレートするために必要なデータ量は、非常に膨大である。このようなデータを取得するための１つの可能な手法は、光照射野技術を使用することである。このような技術によれば、表面をレンダリングする代わりに、複数の光線を用いて、何が視聴者の網膜に達するかをシミュレートする。ユーザが仮想現実環境中を移動して、ユーザが実際の環境内にいるかのように、様々な視点から物体を感知することができる十分な数のポイントで光線野が生成される。しかしながら、市販の光照射野カメラは、特定の環境では適切ではない。特に、光照射野カメラが固定位置に限定される場合、リアルな仮想現実環境をレンダリングする（例えば、部屋全体をキャプチャする）ために十分な情報をキャプチャする可能性は低い。このようなカメラが、ガントリー又はロボットアーム上に取り付けられる場合、環境への損害の費用及び／又は可能性は、よりリアルなレンダリングに伴う利点を上回ることがある。対応する複数のレンズが伴う光照射野アレイも、同じ不利益を被ることがある。

対照的に、人間のオペレータ／携行されるデータコレクタは、これらの環境に損害を与える可能性がなく（又はかなり低減されて）、幅広い環境で動作することができる。データコレクタは、携帯可能で軽量（例えば、５ポンド以下）なので、オペレータは、様々な幅広い視点及び／又は高さから、容易に画像をキャプチャすることができる。このようなシステムは、ガントリー又はロボットシステムよりもかなり安価であると予想される。このようなシステムはまた、プロペラで環境の要素にぶつかる又はプロップウォッシュで環境を乱すことによって環境にダメージを与えるリスクがあるドローンベースのシステムよりも、ローカル環境には互換性が高いことも予想される。

上記から、本明細書では、例証目的のために、本技術の特定の実施形態について説明してきたが、本技術から逸脱することなく、様々な修正を加えることができることは理解されるであろう。例えば、上述のスキャナは、レーザービームではなくビームを使用することができる。上述のカメラは、視覚スペクトルで又は他の波長で動作することができる。フィデューシャルは、データコレクタの何れかの適切な要素、例えば、センサ支持体及び／又はセンサに取り付けることができる。

特定の実施形態に関連して説明した本技術の特定の態様は、他の実施形態では、組み合わせることも又は削除することもできる。例えば、データプロセッサは、上述のもの以外のタイプのスキャナと共に動作することができ、上述の典型的なスキャナは、上述のもの以外のタイプのデータプロセッサと共に動作することができる。更に、本技術の特定の実施形態に関連する利点を、これらの実施形態に照らして説明したが、他の実施形態もこのような利点を示すことができ、本技術の範囲内に収まるために、全ての実施形態がこのような利点を示す必要があるわけではない。従って、本開示及び関連の技術は、本明細書に明示的に示していない又は説明していない他の実施形態を包含することができる。

引用により本明細書に組み込まれた何れかの資料が本開示と矛盾する場合は、本開示が制御する。本明細書で使用するように、「Ａ及び／又はＢ」のような「及び／又は」という語句は、Ａのみ、Ｂのみ、並びにＡ及びＢの両方を指す。

Claims (25)

1. 現実世界の環境をデジタル的にキャプチャするための方法であって、
   少なくとも１つの固定ポイントから、レーザースキャナで前記環境をスキャンして、スキャンデータを取得する段階と、
   前記スキャンデータに少なくとも部分的に基づいて、ビューキャプチャルートを作成する段階と、
   人間のオペレータが前記ビューキャプチャルートに沿って移動するとき、該人間のオペレータによって携行される光学センサから光学データを受け取る段階と、
   前記光学データに少なくとも部分的に基づいて、前記環境の仮想表現を生成する段階と、
   を含む方法。
2. 前記ビューキャプチャルートは、第１のビューキャプチャルートであり、前記方法は、第２のビューキャプチャルートを作成する段階を更に含み、該第２のビューキャプチャルートは、該第１のビューキャプチャルートとは異なる、請求項１に記載の方法。
3. 前記環境をスキャンする段階は、第１の固定ポイントから前記環境をスキャンして、第１のスキャンデータを取得する段階を含み、前記方法は、該第１の固定ポイントとは異なる第２の固定ポイントから前記環境をスキャンして、該第１の固定ポイントからは前記レーザースキャナにとってアクセス可能ではない第２のスキャンデータを取得する段階を更に含む、請求項１に記載の方法。
4. 前記第２のスキャンデータは、前記レーザースキャナが前記第１の固定ポイントにあるときの、前記レーザースキャナにとってのシャドー領域に対応する、請求項３に記載の方法。
5. 前記光学データは、立体光学データを含む、請求項１に記載の方法。
6. 前記人間のオペレータが前記ビューキャプチャルートに沿って移動するとき、前記光学センサの動きを追跡する段階を更に含む、請求項１に記載の方法。
7. 前記光学センサは、センサ支持体によって保持され、動きを追跡する段階は、該センサ支持体によって同様に保持されるフィデューシャルの動きを追跡する段階を含む、請求項６に記載の方法。
8. 光学データを受け取る段階は、前記環境内の特定の位置及び前記光学センサの特定の姿勢に相関する光学データを受け取る段階を含む、請求項１に記載の方法。
9. 前記ビューキャプチャルートを辿るように前記人間のオペレータを誘導する段階を更に含む、請求項１に記載の方法。
10. 誘導する段階は、前記オペレータがそれに沿って移動した前記ビューキャプチャルートの部分のインジケーションを、前記オペレータがそれに沿って移動していない前記ビューキャプチャルートの部分とは異なる方法でユーザに提示する段階を含む、請求項９に記載の方法。
11. 現実世界の環境をデジタル的にキャプチャするための方法であって、
    前記環境のマップを受け取る段階と、
    前記環境内で複数のスキャン位置を識別する段階と、
    前記環境をレーザースキャナでスキャンして、個々のスキャン位置からスキャンデータを取得する段階と、
    前記スキャンデータを前記環境のマップと比較する段階と、
    前記スキャンデータに少なくとも部分的に基づいて、前記環境内の経路に対応するビューキャプチャルートを作成する段階と、
    人間のオペレータが前記ビューキャプチャルートに沿って移動するとき、該人間のオペレータによって携行される光学センサから光学データを受け取る段階と、
    前記ビューキャプチャルートに沿った複数のポイントで、前記光学センサに対応する位置及び向きデータを受け取る段階と、
    前記ビューキャプチャルートに沿った前記人間のオペレータの進行を追跡する段階と、
    前記ビューキャプチャルートに沿った前記人間のオペレータの進行の追跡に少なくとも部分的に基づいて、前記人間のオペレータを前記ビューキャプチャルートに沿うよう方向付けるためのガイダンスキューを提供する段階と、
    前記光学データに少なくとも部分的に基づいて、前記環境の仮想表現を生成する段階と、
    を含む方法。
12. 前記レーザースキャナが第１のスキャン位置にあるときに前記レーザースキャナから取得されるスキャンデータに少なくとも部分的に基づいて、前記ビューキャプチャルートは、第１のビューキャプチャルートであり、
    光学データを受け取る段階は、第１の立体光学データを受け取る段階を含み、
    前記方法は、
    第２のビューキャプチャルートを作成する段階であって、該第２のビューキャプチャルートは、前記第１のビューキャプチャルートとは異なり、該第２のビューキャプチャルートは、前記レーザースキャナが前記第１のスキャン位置とは異なる第２のスキャン位置にあるときに前記レーザースキャナから取得されるスキャンデータに少なくとも部分的に基づく、第２のビューキャプチャルートを作成する段階と、
    前記人間のオペレータが前記第２のビューキャプチャルートに沿って移動するとき、前記光学センサから第２の立体光学データを受け取る段階と、
    （ａ）前記人間のオペレータがカバーした前記第１の及び第２のビューキャプチャルートの部分を、前記人間のオペレータがカバーしていない前記第１の及び第２のビューキャプチャルートの部分と区別し、（ｂ）光学データが取得された前記環境の領域を、光学データが取得されていない前記環境の領域と区別する視覚表示を前記人間のオペレータに提示する段階と、
    を更に含む、請求項１１に記載の方法。
13. 環境内で光学データを取得するためのシステムであって、
    エミッタ及びレシーバを有するレーザースキャナと、
    少なくとも１台のカメラと、
    前記レーザースキャナ及び前記少なくとも１台のカメラに結合されたコントローラと、
    を備え、前記コントローラは、実行されると、
    光学センサを携行する人間のオペレータの位置に対応する情報を、前記レーザースキャナ及び前記少なくとも１台のカメラから受け取り、
    前記位置をビューキャプチャルートと比較して、
    前記ビューキャプチャルートに沿って前記オペレータを誘導するためのガイダンス情報を前記人間のオペレータに送信する、
    命令でプログラムされる、システム。
14. 前記レーザースキャナから受け取る前記情報は、画像を収集するときの前記光学センサの前記位置及び向きを含む、請求項１３に記載のシステム。
15. 前記ガイダンス情報は、前記ビューキャプチャルートの視覚表現を含み、前記人間のオペレータが既に移動した前記ルートの部分は、前記人間のオペレータがまだ移動していない前記ルートの部分とは異なる方法で表示される、請求項１３に記載のシステム。
16. 前記命令は、実行されると、（ａ）前記光学センサによって感知された前記環境の部分の第１のインジケーション、及び（ｂ）前記光学センサによって感知されていない前記環境の部分の第２のインジケーションを、前記人間のオペレータに送信し、前記第２のインジケーションは、前記第１のインジケーションとは異なる、請求項１３に記載のシステム。
17. 前記命令は、実行されると、前記光学センサの向きに対応する情報を受け取る、請求項１３に記載のシステム。
18. 前記光学センサと、
    前記光学センサを保持し、オペレータの肩の上に置くように配置された支持要素を有する光学センサ支持体と、
    前記光学センサ又は前記光学センサ支持体のうちの少なくとも１つによって保持される少なくとも１つのフィデューシャルと、
    を更に備え、前記少なくとも１つのフィデューシャルは、前記レーザースキャナによって追跡されるように配置される、請求項１３に記載のシステム。
19. 環境内で光学データを取得するためのシステムであって、
    オペレータの肩の上に置くように配置された支持要素を有する光学センサ支持体と、
    前記光学センサ支持体によって保持される光学センサと、
    前記光学センサ又は前記光学センサ支持体のうちの少なくとも１つによって保持される少なくとも１つのフィデューシャルと、
    を備え、前記少なくとも１つのフィデューシャルは、レーザースキャナによって追跡されるように配置される、システム。
20. 前記光学センサは、カメラを含む、請求項１９に記載のシステム。
21. 前記光学センサは、第１のカメラを含み、前記システムは、前記光学センサ支持体によって保持される第２のカメラを更に備え、前記第１の及び第２のカメラは、動作可能に結合されて立体画像を生成する、請求項１９に記載のシステム。
22. 前記フィデューシャルは、前記光学センサ支持体によって保持される複数のフィデューシャルのうちの１つである、請求項１９に記載のシステム。
23. 前記光学センサ支持体によって保持され、かつ前記オペレータによって見られるように配置されるガイダンスディスプレイを更に備える、請求項１９に記載のシステム。
24. 前記ガイダンスディスプレイに動作可能に結合されたコントローラを更に備え、該コントローラは、実行されると、
    前記オペレータによって辿るルートの視覚表現を前記ガイダンスディスプレイにおいて提示し、前記オペレータが既に移動した前記ルートの部分は、前記オペレータがまだ移動していない前記ルートの部分とは異なる方法で提示される命令でプログラムされる、
    請求項２３に記載のシステム。
25. 前記ガイダンスディスプレイに動作可能に結合されたコントローラを更に備え、該コントローラは、実行されると、
    （ａ）前記光学センサによって感知された前記環境の部分の第１のインジケーション、及び（ｂ）前記光学センサによって感知されていない前記環境の部分の第２のインジケーションを、前記ガイダンスディスプレイにおいて提示する命令でプログラムされ、該第２のインジケーションは、該第１のインジケーションとは異なる、
    請求項２３に記載のシステム。

Images