JP2020507862A - 3次元点群から仮想現実データを生成するシステムおよび方法 - Google Patents

3次元点群から仮想現実データを生成するシステムおよび方法 Download PDF

Info

Publication number
JP2020507862A
JP2020507862A JP2019544061A JP2019544061A JP2020507862A JP 2020507862 A JP2020507862 A JP 2020507862A JP 2019544061 A JP2019544061 A JP 2019544061A JP 2019544061 A JP2019544061 A JP 2019544061A JP 2020507862 A JP2020507862 A JP 2020507862A
Authority
JP
Japan
Prior art keywords
user
virtual reality
point cloud
data
defined content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019544061A
Other languages
English (en)
Inventor
フランク、アレクセイ
ツヴァイクレ、オリヴァー
Original Assignee
ファロ テクノロジーズ インコーポレーテッド
ファロ テクノロジーズ インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファロ テクノロジーズ インコーポレーテッド, ファロ テクノロジーズ インコーポレーテッド filed Critical ファロ テクノロジーズ インコーポレーテッド
Publication of JP2020507862A publication Critical patent/JP2020507862A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01CPLANTING; SOWING; FERTILISING
    • A01C3/00Treating manure; Manuring
    • A01C3/02Storage places for manure, e.g. cisterns for liquid manure; Installations for fermenting manure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/14Payment architectures specially adapted for billing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/56Particle system, point based geometry or rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/61Scene description
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Accounting & Taxation (AREA)
  • Geometry (AREA)
  • General Business, Economics & Management (AREA)
  • Remote Sensing (AREA)
  • Strategic Management (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【解決手段】ユーザ定義コンテンツを有するスキャンされた点群データから仮想現実シーンを生成するためのシステムおよび方法が提供される。システムは、3次元座標を測定するように動作可能な座標測定デバイスを備える。プロセッサを有するコンピューティングデバイスが、座標測定デバイスに動作可能に接続され、プロセッサが、点群データを生成し、ユーザからの入力に応じて点群データにユーザ定義コンテンツを挿入するように動作可能であり、プロセッサが、ユーザ定義コンテンツを有する点群データに少なくとも部分的に基づいて、仮想現実データファイルを生成するようにさらに動作可能である。仮想現実デバイスが、コンピューティングデバイスに動作可能に接続され、仮想現実デバイスが、仮想現実データファイルをユーザに表示するように動作可能である。【選択図】図9

Description

[関連出願の相互参照]
本出願は、2017年2月15日に出願された米国仮特許出願第62/459,247号の利益を主張するものであり、同仮特許出願の全開示が参照により本明細書に組み込まれる。
本開示は、仮想現実システムで使用するためのデータファイルを点群から生成するシステムおよび方法に関し、詳細には、点群に対してユーザ定義コンテンツを注釈として付与するシステムおよび方法に関する。
3次元点群データを生成するのに、3次元(3D)座標測定機が使用され得る。3D座標測定機は、レーザスキャナ飛行時間型(TOF)デバイス、三角測量スキャナデバイス、レーザトラッカ、および多関節アーム座標測定機を含むが、これらに限定されない。
3DレーザスキャナのTOFデバイスは、物体の拡散性散乱表面などの非協調ターゲットに光ビームを向ける。デバイスの距離計が物体までの距離を測定し、角度エンコーダがデバイスにおける2つの軸の回転角を測定する。測定された距離および2つの角度により、デバイスのプロセッサがターゲットの3D座標を決定することができる。レーザスキャナは、通常、建物、工業施設、トンネルの内部などの閉じた空間または開いた空間をスキャンするために使用される。レーザスキャナは、例えば、工業用途や事故再現用途に使用され得る。レーザスキャナは、スキャナの周囲の空間内の物体を、その空間内の物体表面を表すデータ点を取得することによって光学的にスキャンし、測定する。そのようなデータ点は、物体上に光ビームを送り、反射光または散乱光を集めて、距離、2角(すなわち、方位角および天頂角)、また場合によりグレースケール値を測定することによって得られる。この生のスキャンデータは、スキャンされた領域または物体を表す3D画像を生成するために集められ、格納され、1つまたは複数のプロセッサに送信される。
画像を生成するには、データ点ごとに少なくとも3つの値が必要である。これらの3つの値は、距離および2つの角度を含んでもよいし、x、y、z座標などの変換された値であってもよい。一実施形態では、画像はまた、スキャナに戻る散乱光の放射照度に関連する値である第4のグレースケール値にも基づく。シーンの3D画像では、異なる位置合わせ位置からの複数のスキャンが必要になる場合がある。重複するスキャンは、統合関節座標系において位置合わせされる。このような位置合わせは、複数のスキャンの重複領域でターゲットを一致させることによって行われる。ターゲットは、球体や市松模様などの人工的なターゲットであってもよいし、壁の角や縁などの自然な特徴であってもよい。
集められた3D座標データは、通常、点群と呼ばれる。これは、座標がコンピュータモニタなどの2次元(2D)ディスプレイに表示されるときに、座標が、図としては表面上の個々の点として表現されるためである。点群に基づいて2Dディスプレイ上にシーンの3D画像を視覚化することは難しい場合があることを理解されたい。これを補うために、より現実的に視覚化するように点群に基づいて表面を表現するための方法が開発されている。しかしながら、シーンは、依然として2Dディスプレイに表示されているため、スキャンされたシーンの表現にユーザが没入可能となることの妨げとなっている。
従って、点群表示システムは意図された目的に適しているが、本発明の実施形態の特定の特徴による、ユーザが点群データおよびユーザ定義データを仮想環境において視覚化できる装置および方法が求められている。
本発明の一態様によれば、ユーザに対して仮想現実シーンを生成するためのシステム。ネットワークに接続するサービスプロバイダコンピュータを備えるシステム。サービスプロバイダストレージは、サービスプロバイダコンピュータからアクセス可能である。ソフトウェアは、サービスプロバイダコンピュータで実行されて、サブスクライバが上記サービスプロバイダコンピュータにログインできるようにするインターフェースを提供する。ソフトウェアは、サブスクライバに対して、サブスクライバによって点群データに挿入されたユーザ定義コンテンツを含む仮想現実データファイルを生成する。仮想現実データファイルの生成は、サブスクライバから点群データを受信するステップと、点群データを仮想現実デバイス互換形式に変換することにより、仮想現実データを生成するステップであって、仮想現実データが、ユーザ定義コンテンツを含む、ステップと、仮想現実データから実行可能な仮想現実データファイルを生成するステップと、を含み、ソフトウェアにより、サブスクライバがインターフェースを介してユーザによる仮想現実データファイルへのアクセスを設定でき、ソフトウェアは、サービスプロバイダコンピュータ上で実行されて、ユーザがサービスプロバイダコンピュータにログインすることを可能にするインターフェースを提供し、ソフトウェアが、ユーザを識別し、ユーザに仮想現実データファイルを提示する。
本発明の別の態様によれば、仮想現実デバイスにおいて、ユーザ定義コンテンツを有する点群データを表示する方法が提供される。本方法は、座標測定デバイスを使用して環境をスキャンすることにより、3次元座標データを測定するステップを含む。点群データが、3次元座標データに少なくとも部分的に基づいて生成される。ユーザ定義コンテンツが選択される。点群データにおいてユーザ定義コンテンツのための領域が選択される。点群データの領域にユーザ定義コンテンツが挿入される。仮想現実データファイルが、ユーザ定義コンテンツを有する点群データから生成される。仮想現実データファイルが、仮想現実デバイスに送信される。
本発明の別の態様によれば、ユーザ定義コンテンツを有する点群データを表示するためのシステムが提供される。システムは、3次元座標を測定するように動作可能な座標測定デバイスを備える。プロセッサを有するコンピューティングデバイスが、座標測定デバイスに動作可能に接続され、プロセッサが、点群データを生成し、ユーザからの入力に応じて点群データにユーザ定義コンテンツを挿入するように動作可能であり、プロセッサが、ユーザ定義コンテンツを有する点群データに少なくとも部分的に基づいて、仮想現実データファイルを生成するようにさらに動作可能である。仮想現実デバイスが、コンピューティングデバイスに動作可能に接続され、仮想現実デバイスが、仮想現実データファイルをユーザに表示するように動作可能である。
これらおよび他の利点および特徴は、以下の説明を図面と併せて読めば、より明らかになるはずである。
本発明とみなされる主題は、本明細書の結びで特許請求の範囲において詳細に指摘され、明確に特許請求されている。本発明の上記および他の特徴、ならびに利点は、以下の詳細な説明を添付の図面と併せて読めば明らかになる。
本発明の一実施形態によるレーザスキャナの斜視図である。
測定方法を示すレーザスキャナの側面図である。
レーザスキャナの光学的、機械的、および電気的コンポーネントの概略図である。
3Dスキャン画像の2D平面図である。
3Dスキャン画像の3Dビューの実施形態を示す図である。 3Dスキャン画像の3Dビューの実施形態を示す図である。 3Dスキャン画像の3Dビューの実施形態を示す図である。
一実施形態による、座標測定デバイスでスキャンされている環境を示す図である。
一実施形態による、点群から仮想現実データファイルを生成する方法の流れ図である。
ユーザ定義または選択コンテンツを点群に組み込むための流れ図である。
一実施形態による、仮想現実環境におけるシーンを示す図である。
点群データに基づいて仮想現実データファイルを提供するためのシステムのブロック図である。
一実施形態による、クラウドコンピューティング環境を示す図である。
一実施形態による、抽象化モデル層を示す図である。
「発明を実施するための形態」において、例として、図面を参照しながら、本発明の各実施形態を、利点および特徴とともに説明する。
各実施形態は、仮想現実デバイスにおいてユーザ定義データを含む点群データを表示する際の利点を提供する。
本明細書の実施形態は、飛行時間型レーザスキャナデバイスなどのレーザスキャナに関連して座標測定デバイスを論じているが、特許請求される発明はそのように限定されるべきではないことを理解されたい。他の実施形態では、座標測定デバイスは、スキャンされた環境の表面上の点の3次元座標を表す点群を生成することができる任意のデバイスであり得る。座標測定デバイスは、飛行時間型レーザスキャナ、レーザトラッカ、三角測量スキャナ、多関節アーム座標測定機、トータルステーション、およびセオドライトを含み得るが、これらに限定されない。いくつかの実施形態では、本明細書で説明される点群データを生成するのに、複数の座標測定デバイスからの3次元座標データが使用され得る。
レーザトラッカ座標測定デバイスの例は、「Self−Compensating Laser Tracker」と題する同一出願人が所有する米国特許第7,327,446号および「Six−Degree−of−Freedom Laser Tracker That Cooperates With A Remote Sensor」と題する米国特許第9,482,746号を含み、これらの内容が参照により本明細書に組み込まれる。三角測量スキャナの例は、「Triangulation Scanner And Camera For Augmented Reality」と題する同一出願人が所有する米国特許第9,506,744号を含み、この内容が参照により本明細書に組み込まれる。多関節アーム座標測定機の例は、「Portable Articulated Arm Coordinate Measuring Machine with Multi−Bus Arm Technology」と題する同一出願人が所有する米国特許第8,683,709号を含み、この内容が参照により本明細書に組み込まれる。
ここで図1〜図3を参照すると、環境を光学的にスキャンおよび測定するための、例えばレーザスキャナ20などの例示的な座標測定デバイスが示されている。レーザスキャナ20は、測定ヘッド22と基部24とを備える。測定ヘッド22は、レーザスキャナ20が垂直軸23を中心に回転できるように、基部24に取り付けられる。一実施形態では、測定ヘッド22は、垂直軸23および水平軸25を中心とする回転の中心であるジンバル点27を含む。測定ヘッド22は、回転ミラー26を有し、回転ミラー26は、水平軸25を中心に回転され得る。垂直軸を中心とする回転は、基部24の中央を中心とし得る。垂直軸および水平軸という用語は、通常の直立位置にあるスキャナを参照している。3D座標測定デバイスを横向きまたは上下逆さまにして動作させることも可能であるため、混乱を避けるために、垂直軸および水平軸という用語の代わりにそれぞれ方位軸および天頂軸という用語が用いられる場合もある。垂直軸の代わりにパン軸(pan axis)または立位軸(standing axis)という用語が用いられる場合もある。
測定ヘッド22には、例えば放射光ビーム30を放射する発光体28などの電磁放射エミッタがさらに設けられている。一実施形態では、放射光ビーム30は、レーザビームなどのコヒーレントな光ビームである。レーザビームは、約300〜1600ナノメートルの波長範囲を有することができ、例えば790ナノメートル、905ナノメートル、1550ナノメートル、または400ナノメートル未満の波長であり得る。より大きい波長またはより小さい波長を有する他の電磁放射ビームも使用されてよいことを理解されたい。放射光ビーム30は、例えば正弦波形または矩形波形で、振幅変調または強度変調される。放射光ビーム30は、発光体28によって回転ミラー26上に放射され、回転ミラー26で環境に偏向される。反射光ビーム32は、物体34により環境から反射される。反射光または散乱光は、回転ミラー26によって遮られ、受光器36へ導かれる。放射光ビーム30および反射光ビーム32の方向は、それぞれ軸25および23を中心とする回転ミラー26および測定ヘッド22の角度位置に起因する。これらの角度位置は、対応する回転駆動装置またはモータに依存する。
発光体28および受光器36には、コントローラ38が結合されている。コントローラ38は、多数の測定点Xについて、対応する数の、レーザスキャナ20と物体34上の点Xとの間の距離dを測定する。特定の点Xまでの距離は、電磁放射がデバイスから物点Xまで伝播する際に通過する空気中の光の速さに少なくとも一部に基づいて測定される。一実施形態では、測定距離dを得るために、レーザスキャナ20によって放射された光の変調の位相偏移および点Xが測定され、評価される。
空気中の光の速さは、気温、気圧、相対湿度、二酸化炭素濃度などの空気の特性に依存する。このような空気の特性は、空気の屈折率nに影響を及ぼす。空気中の光の速さは、真空中の光の速さcを屈折率で割ったものに等しい。つまり、cair=c/nである。本明細書で論じられるタイプのレーザスキャナは、空気中の光の飛行時間(TOF)(光がデバイスから物体まで進みデバイスに戻る往復時間)に基づくものである。TOFスキャナの例は、放射パルスと戻りパルスとの間の時間間隔を使用して往復時間を測定するスキャナ(パルスTOFスキャナ)、光を正弦変調し、戻り光の位相偏移を測定するスキャナ(位相ベースのスキャナ)、ならびに他の多くのタイプを含む。光の飛行時間に基づいて距離を測定する方法は、空気中の光の速さに依存し、従って、三角測量に基づいて距離を測定する方法と容易に区別される。三角測量に基づく方法は、光源からの光を特定の方向に沿って投射し、次いで特定の方向に沿ってカメラ画素上で光を遮ることを伴う。三角測量の方法は、カメラとプロジェクタとの間の距離を知り、投射角度を受光角度と一致させることによって、物体までの距離を、三角形の1つの既知の長さと2つの既知の角度とに基づいて測定できる。従って、三角測量の方法は、空気中の光の速さに直接依存しない。
1つの動作モードでは、レーザスキャナ20の周囲の空間のスキャンは、軸23を中心に測定ヘッド22を比較的ゆっくり回転させながら軸25を中心に回転ミラー26を比較的速く回転させて、アセンブリを螺旋状に動かすことによって行われる。1つの例示的な実施形態では、回転ミラーは、5820回転/分の最大速度で回転する。このようなスキャンでは、ジンバル点27は、局所静止参照系の原点を規定する。基部24は、この局所静止参照系内にある。
ジンバル点27から物点Xまでの距離dを測定することに加えて、レーザスキャナ20はまた、受け取った光パワー(「明るさ」という用語に相当する)に関連したグレースケール情報も収集し得る。グレースケール値は、例えば、物点Xに起因する測定期間にわたって、受光器36においてバンドパスフィルタでフィルタリングされ、増幅された信号を積分することによって、少なくとも部分的に測定され得る。
一実施形態では、基部24は、搬送構造42内に収容されたスイベルアセンブリ(図示せず)に結合される。スイベルアセンブリは、軸23を中心として測定ヘッド22を回転させるように構成されたモータを備える。
補助画像取得デバイス60は、画像を取り込む、またはスキャンされた空間もしくはスキャンされた物体と関連付けられたパラメータを測定し、画像取得領域にわたる測定量を表す信号を提供するデバイスであり得る。補助画像取得デバイス60は、2次元カメラ、高温計、熱画像装置、電離放射線検出器、またはミリ波検出器であってもよいが、これらに限定されない。
一実施形態では、カメラ(第1の画像取得デバイス)74は、スキャナの内部に位置し、3Dスキャナデバイスと同じ光軸を有し得る。この実施形態では、第1の画像取得デバイス74は、測定ヘッド22に組み込まれており、放射光ビーム30および反射光ビーム32と同じ光路に沿って画像を取得するように配置されている。この実施形態では、発光体28からの光は、固定ミラー76で反射し、ダイクロイックビームスプリッタ70まで進み、ダイクロイックビームスプリッタ70が、発光体28からの光72を回転ミラー26上へ反射させる。ダイクロイックビームスプリッタ70は、光72の波長とは異なる波長で光を通過させる。例えば、発光体28は、近赤外レーザ光(例えば、波長780nmまたは1150nmの光)であり、ダイクロイックビームスプリッタ70は、可視光(例えば、400〜700nmの波長)を透過させながら赤外レーザ光を反射するように構成され得る。他の実施形態では、光がビームスプリッタ70を透過するか反射されるかは、光の偏光に応じて決まる。デジタルカメラ74は、スキャンされた領域の2D写真画像を取得して、スキャン画像に付加する色データを取り込む。3Dスキャンデバイスの光軸と一致した光軸を有する内蔵式カラーカメラの場合、カメラビューの方向は、スキャナのステアリング機構を調整するだけで、例えば、軸23を中心に方位角を調整し、軸25を中心にミラー26を向けることによって容易に得られる。
ここで図4を参照すると、3Dスキャン画像80の2次元(2D)平面図の一例が示されている。図4に示す平面図は、スキャナによって収集されたデータの直接マッピングに基づいて画像をマッピングしている。スキャナは、球面パターンでデータを収集するが、極近くで収集されたデータ点は、水平線近くで収集されたデータ点よりも強く圧縮されている。換言すれば、極の近くで収集された各点は、水平線近くで収集された各点よりも小さい立体角を表す。スキャナからのデータは行および列で直接表され得るため、平面画像のデータは、好都合に図4に示すように直線形式で提示される。上述の平面マッピングでは、例えば3D画像の平面図で湾曲して見える直線状の柵82のように、直線が湾曲して見える。平面図は、距離センサから受信した、記録された行および列に配置されたグレースケール値のみを表示する未処理の3Dスキャン画像であり得る。加えて、平面図の未処理の3Dスキャン画像は、システムの特性(例えば、ディスプレイデバイス、ストレージ、プロセッサ)に応じて、最大解像度または低解像度になる。2D平面図は、グレースケール値(各ピクセルについて距離センサによって測定された光放射照度の結果)またはカラー値(スキャン上にマッピングされたカメラ画像の結果)のいずれかを示す処理された3Dスキャン画像であり得る。3Dスキャナから得られた平面図は、通常、グレースケールまたはカラー画像であるが、図4は、文書の複製の際に明瞭であるように線画で示されている。レーザスキャナに一体化され得るディスプレイユニットに関連付けられたユーザインターフェースは、図4ではカーソル84である点選択機構を提供し得る。点選択機構を使用して、レーザスキャナによって測定されている空間の体積に関する寸法情報を明らかにすることができる。図4では、カーソルの位置にある行および列がディスプレイに86で示されている。カーソル位置における2つの測定角度および1つの測定距離(球座標系の3D座標)は、ディスプレイに88で表示される。カーソル位置のデカルトXYZ座標表現は、ディスプレイに90で示される。
他の実施形態では、3Dスキャン画像は、平面図を球体上、または場合により円筒上にマッピングすることにより生成され得る。パノラマビューは、3D情報(例えば、3D座標)が利用可能な処理された3Dスキャン画像である。パノラマビューは、システムの特性に応じて、最大解像度または低解像度で表示され得る。パノラマビューでも、画像は、依然として、特定の視点から見たときの3Dシーンを表す2D画像であることを理解されたい。この意味で、パノラマビューは、2Dカメラまたは人間の目でキャプチャされる画像によく似ている。
パノラマビューという用語は、通常、空間内の点を中心とした角運動が可能であるが、並進運動は不可能である(単一のパノラマ画像の場合)表示を指す。対照的に、本明細書で用いられる3Dビューという用語は、一般に、固定点を中心とした回転だけでなく、空間内の点から点への並進移動を可能にするための対策が(ユーザコントロールを介して)なされる表示を指す。
ここで図5A、図5B、および図5Cを参照すると、3Dスキャン画像の3Dビュー92の例が示されている。3Dビューでは、ユーザはスキャンの原点(例えば、スキャンが行われたときにレーザスキャナがあった場所)を離れ、様々な視点および角度からスキャンデータ点を表示できる。3Dビューは、処理された3Dスキャン画像の例である。3Dビューは、システムの特性に応じて、最大解像度または低解像度で表示され得る。加えて、3Dビューでは、複数の位置合わせされたスキャンを1つのビューに表示できる。図5Aは、選択マスク96がユーザによって上に配置されている、3Dビュー94である。図5Bは、選択マスク96によって覆われた3Dビュー94の部分のみが保持されている、3Dビュー98である。図5Cは、異なるビューを得るために回転されることを除いて、図5Bと同じ3D測定データを示している。3Dスキャナから得られた3Dビューは、通常、グレースケールまたはカラー画像であるが、図5A〜図5Cは、文書の複製の際に明瞭であるように線画で示されている。
ここで図6を参照すると、レーザスキャナ20によってスキャンされた環境100の実施形態が示されている。環境100は建物の内部であるとして示されているが、これは例示的な目的のためであり、特許請求される発明はそのように限定されるべきではないことを理解されたい。他の実施形態では、環境は、例えば、建物の外部であってもよい。環境100は、壁102、床104、およびテーブル106などの複数の表面を含む。スキャンプロセス中、レーザスキャナ20は、光を放射し、複数の表面から反射光を受け取る。状況によっては、反射光を使用して、レーザスキャナ20のジンバル点または原点27(図2)から、光が反射した表面上のスポットまでの距離を測定することができる。このようにして、表面上の点の3D座標を測定できる。図6の図では、測定が行われた点が「+」記号で表されている。これは説明をわかりやすくするためであり、測定が行われた場所は見ることができないことを理解されたい。さらに、実際のスキャン中に、いくつかの点
いくつかの実施形態では、図6に示す位置でレーザスキャナ20の視点から見えない表面上の点を測定できるようにするために、スキャナ20を環境内で移動できることを理解されたい。複数のスキャンから測定された点は、当技術分野で知られているように、位置合わせプロセスを通じて組み合わせることができる。これにより、組み合わされたスキャンデータは、環境100の点群を形成する。いくつかの実施形態では、点群は、テクスチャと呼ばれることもある色情報をさらに含み、これは、例えばカメラ74などのカラーカメラを介して取得される。
点群データを取得してある場合に、ユーザがデータの表示を望む場合がある。図5A〜図5Cに関連して説明したように、3D点群は、ディスプレイ、座標測定デバイス上のディスプレイ、または別個のコンピュータ上のコンピュータモニタなどの2次元表示画面上で表示され得る。これにより、ユーザはデータを表示できるが、コンピュータ画面の2次元の性質による制限がある。代わりに仮想現実デバイスを使用してデータを表示することが望ましい場合がある。本明細書で使用される場合、仮想現実デバイスは、ディスプレイを操作してユーザの位置/動きに基づくビューをユーザに表示することにより、オペレータが電子的に3次元空間内を移動できるディスプレイデバイスである。Oculus VR,LLC製のRIFT、HTC Corporation製のVIVE、Samsung Electronics Co.,Ltd製のGEAR VRなどの仮想現実デバイスが市販されている。
いくつかの実施形態では、オペレータは、仮想現実デバイスのユーザに追加情報を提供するために、点群データに他の要素を組み込むことを望む場合がある。例えば、オペレータは、これらに限定されないが、テキスト、ハイパーリンク、メッシュもしくはコンピュータ支援設計(CAD)データ、2次元ビデオ、360度ビデオ、またはオーディオサウンドなどの要素を含めるように望む場合がある。本明細書でより詳細に説明するように、いくつかの実施形態では、これらの要素は、オペレータによって所定の場所の点群に統合され、仮想現実データファイルは、インストール可能なバイナリ実行形式としてユーザに送信される。実行可能ファイルには、仮想現実デバイスが点群に要素を付加して表示できるようにするビューアプログラムおよびデータセットが含まれている。
ここで図7を参照すると、ユーザがコンテンツを点群内に配置することを可能にし、仮想現実デバイスで使用可能な仮想現実データファイルを準備する方法110が示されている。本方法は、ブロック112で開始し、例えば環境100などの環境が座標測定デバイスでスキャンされる。座標測定デバイスは、例えばレーザスキャナ20であってもよい。座標測定デバイスはまた、飛行時間型レーザスキャナ、レーザトラッカ、三角測量スキャナ、多関節アーム座標測定機、トータルステーション、セオドライト、またはこれらの組み合わせを含むことができるが、これらに限定されないことを理解されたい。環境をスキャンすることにより、環境の表面上の点の3次元座標データ。一実施形態では、座標測定機はまた、測定点に関連付けられた色またはテクスチャ情報を提供する色またはグレースケール情報も取得する。一実施形態では、スキャンするステップ112は、座標測定デバイスを異なる領域(初回のスキャン位置の視点からは見えない領域など)の座標データを取得できるように移動して、複数回実行することができる。
環境がスキャンされると、方法110は、ブロック114に進み、点群が生成される。3次元座標データが複数のデバイスによって取得される、または複数のスキャンが実行される実施形態では、このステップは、当技術分野で知られているように、別々に取得された座標データを同じ基準フレーム内の3次元空間において方向付けし配置する位置合わせするステップを含み得る。
点群が生成されると、方法110は、ブロック116に進み、ユーザ定義コンテンツが点群内に配置される。このユーザ定義コンテンツは、テキストおよびハイパーリンク(すなわち、テキスト形式)、メッシュもしくはCADデータ(すなわち、stl、obj、dae、またはSTEP形式)、2次元ビデオ(すなわち、mp4形式)、360度ビデオ(すなわち、mp4形式)、オーディオサウンド(すなわち、wav、mp3、またはogg形式)、またはこれらの組み合わせを含むことができるが、これらに限定されない。
図8および図9を参照すると、一実施形態では、ユーザ定義コンテンツを配置または選択するステップ116は、ブロック124において複数のコンテンツタイプ126からコンテンツを選択するステップを含む。コンテンツタイプには、テキストコンテンツ128、ハイパーリンク130、2次元画像132、3次元モデル134、ビデオまたはアニメーションメディア136、およびサウンドメディア137が含まれる。本明細書で使用する場合、ハイパーリンクは、ユーザが選択可能なコンピュータアドレスを提供するテキストコンテンツである。
所望のコンテンツタイプごとに、オペレータは、ブロック138において、コンテンツが配置される点群内の領域を選択する。テキストおよびハイパーリンクのコンテンツは、点群内の点に関連付けられるか、アタッチされる。一実施形態では、テキストおよびハイパーリンクコンテンツ128、130は、仮想現実デバイスを使用するときにユーザにより読み取り可能であるように、常にユーザの視点146に向けられている。例えば、オペレータは、点群環境100内に著作権表示142の配置を望む場合がある。一実施形態では、テキストおよびハイパーリンクコンテンツ128、130は、テクスチャデータとして点群に組み込まれてもよい。
一実施形態では、2次元画像は、例えばロゴ144などのグラフィック画像であってもよい。2次元画像は、画像がユーザの視点146から見えるように、点群内の表面上の1つまたは複数の点にアタッチまたは関連付けられる。例えば、オペレータは、点群内の表面150上の点148を選択し、その場所に2次元画像152を関連付けることができる。一実施形態では、表面の法線ベクトルが決定され、画像152は、法線ベクトルに向かい合う視点から画像が見えるように位置合わせおよび方向付けされる。
一実施形態では、3次元モデル(すなわち、メッシュまたはCADデータ)コンテンツ134は、3次元属性を有する。従って、そのサイズは3次元空間内で既知である。一実施形態では、3次元モデルは、点群データと同じ座標系の基準フレームに位置合わせされる。これにより、3次元モデルを点群データ内の目的の場所に配置できる。例えば、オペレータは、点群内のテーブル158の表面156にモデル154を配置することを望む場合がある。そうするために、オペレータは、表面156上の点群内の1つまたは複数の点160およびモデル上の対応する点(頂点または角など)を選択し、選択された点160を選択したモデルの特徴に合わせて、点群にモデルを配置することができる。
一実施形態では、ビデオコンテンツ136は、2次元ビデオコンテンツおよび360度ビデオコンテンツを含み得る。一実施形態では、2次元ビデオコンテンツは、1つまたは複数の点にアタッチでき、ユーザの視点146に向けられているという点で、テキストコンテンツに類似している。別の実施形態では、2次元ビデオは固定された向きを有する。固定された向きが有利であるのは、オペレータが、例えばテレビ画面などの物体に2次元ビデオを配置したい場合であり得る。没入型または球状のビデオと呼ばれることもある360度ビデオは、すべての方向のビューを同時に取得するビデオ録画である。360度ビデオをユーザが視聴するとき、視聴者はパノラマのように視聴方向を制御できる。360度ビデオのビューはビデオ撮影者の視点に固定されるが、仮想現実では、ビューは定義された空間内で自由に移動できる点で360度ビデオは仮想現実とは異なることを理解されたい。
一実施形態では、オペレータは、点群内の平面(すなわち、表面)およびアタッチ点を選択する。360度ビデオコンテンツのプレビュー画像(単一の画像、2次元ビデオ、またはアイコンなどであるが、これらに限定されない)が平面に投影され、ユーザの視点に向けられ得る。別の実施形態では、プレビュー画像の向きは固定される。一実施形態では、360度ビデオコンテンツは、プレビュー画像が選択されると、仮想現実デバイス上の外部プレーヤで再生される。一実施形態では、オーディオまたはサウンドコンテンツは、アイコンなどのグラフィック要素によって示され、ユーザがグラフィック要素を選択すると再生される。
サウンドメディア137は、点群内に配置され、グラフィック画像またはアイコン162として表されてもよい。サウンドメディア137の表現は、サウンドファイルへのコンピュータアドレス指定可能なリンクを含む2次元画像と類似している。サウンドメディア137を配置するために、オペレータは、表面150などの表面上の点を選択し、選択された点にグラフィック画像162を関連付けまたはアタッチする。一実施形態では、サウンドメディアは、選択時に再生されるか、選択なしで自動的に再生され得る。オーディオを再生しているとき、ユーザに提供されるサウンドは、仮想現実環境におけるユーザの位置および向きに基づく場合がある。音源から遠く離れているユーザは静かに音声を知覚するが、近くにいるユーザは音声をより大きく知覚する。これにより、位置および方向に基づいたサウンドメディアがユーザにより没入感のあるエクスペリエンスを提供できるという利点がある。
ユーザ定義コンテンツが点データ内に配置され、点データと統合されると、方法110は、ブロック118に進み、点群が、情報が表示される仮想現実デバイスと互換性のある仮想現実フォーマットに変換される。一実施形態では、すべてのユーザ定義コンテンツ要素(例えば、画像、ビデオ、およびテキスト)は、点群データ内の特定の位置および向きへの割り当てとともに格納される。いくつかの実施形態では、仮想現実データファイルは、仮想現実デバイス上に表示するためにビューアアプリケーションと協力する仮想現実モデリング言語またはVRML(ISO/IEC14772−1:1997)またはX3D(ISO/IEC19775−1)などのファイル形式であってもよい。
いくつかの実施形態では、オペレータ(例えば、点群データの作成者)が、ブロック120において、単一の統合されたインストール可能なバイナリ実行可能ファイルを提供することが望ましい場合があることを理解されたい。この実施形態では、仮想現実データファイルは、所望の仮想現実デバイスと互換性のあるビューアプログラムおよび点群データに基づくデータセットを含む実行可能ファイルである。
仮想現実データファイルが作成されると、方法110は、ブロック122に進み、ファイルが仮想現実デバイスで使用するためにユーザに送信される。仮想現実デバイスで表示されると、ユーザは、ディスプレイに図9に示す環境100の表現を見ることになる。ユーザはディスプレイ内に規定された縁部を見ることがないが、環境100は1つの連続した空間として見えることを理解されたい。環境100を座標測定デバイス20でスキャンすることにより生成された点群により規定される、例えば表面150などの環境100の表面に加えて、ユーザはまた、テキスト142、ロゴ144、画像152、およびサウンドアイコン162などのユーザ定義コンテンツも見ることになる。ユーザが環境100を表す仮想空間を「移動」すると、アタッチされているユーザ定義コンテンツを見ることができる場所にユーザの視点146が配置された場合に、追加のユーザ定義コンテンツが仮想現実デバイスに表示される。
ここで図10を参照すると、座標測定デバイスによって生成された点群データに基づく仮想現実データファイルを作成および配信するためのシステム150の実施形態が示されている。いくつかの実施形態では、点群データの作成者(本明細書ではオペレータと呼ぶ)は、仮想現実デバイスでスキャンされた環境を見るユーザとは異なっていてもよいし、異なる場所に位置していてもよい。例えば、ユーザは、環境をスキャンするためにオペレータを雇った建築家や建築業者などのオペレータの顧客である場合がある。さらに、座標測定デバイスによって取得された点群データを処理し、ユーザのための仮想現実データファイルを生成するサービス、例えばサービスプロバイダシステム152などを使用することが望ましい場合がある。
システム150では、オペレータシステム154は、オペレータサービス156またはオペレータストレージデバイス158と通信するように結合された座標測定デバイス20を備える。いくつかの実施形態では、座標測定デバイス20またはオペレータサーバ156のうちの1つまたは複数は、例えば通信ネットワーク160またはインターネットなどを介して、サービスプロバイダ152と通信するように結合される。オペレータストレージデバイス158は、オペレータコンテンツストレージデバイス162を備えてもよいし、オペレータコンテンツストレージデバイス162と通信するように結合されてもよい。コンテンツストレージデバイス162は、ユーザの仮想現実デバイス164に表示される仮想現実環境のコンテンツを定義するために点群データと連携して使用され得るユーザ定義コンテンツを格納する。
一実施形態では、オペレータサーバ156は、スキャンデータおよびユーザ定義コンテンツを収集するように編成されたデータベースサーバとして機能する。オペレータサーバ156はまた、クライアントサーバモデルフレームワークにおいて、座標測定デバイス20または他のコンピュータなどの他のデバイスにデータサービスを提供することもできる。例えば、一実施形態では、オペレータサーバ156は、本明細書で説明されるような3次元座標に基づいて点群データを生成することができる。一実施形態では、オペレータサーバは、ウェブベースのコンテンツを配信および送信するウェブサーバであり得る。
一実施形態では、サービスプロバイダシステム152は、ネットワーク160を介してオペレータシステム154と通信するように接続されたサービスプロバイダサーバ166を備えることができる。システム152は、コンピュータを管理および構成するためにサービスプロバイダサーバ166へのオンロケーションアクセスを提供するように適合されたサービスプロバイダコンピュータ168をさらに備えることができる。このアクセスから、管理者は、サーバ166のセキュリティなどの設定を構成し、サーバ166へのアクセスを許可できる。サービスプロバイダコンピュータ168から、管理者はまた、サブスクリプションベースでサーバ166へのアクセスを構成することができ、これは、オペレータまたはユーザのうちの1人または複数がサブスクライブし、サービスプロバイダシステム152と通信するための関連料金を支払ったことを意味する。
サービスプロバイダシステムは、これらに限定されないが、点群データ、ユーザ定義コンテンツ、および仮想現実データファイルなどのコンテンツを格納するために、サーバ166およびサービスプロバイダコンピュータ168の両方に結合されるサービスプロバイダストレージ170をさらに備えることができる。
サービスプロバイダサーバ166およびオペレータサーバ156は、所望のサービスを提供するのに十分な連続的、周期的、または非周期的ベースで、様々な遠隔地に位置する1つまたは複数の電子通信デバイスに対してデータを送受信する能力を有する任意の種類のプロセッサ、処理ユニット、またはコントローラを含むことができる。一実施形態では、サーバ156、166はまた、信頼できるデータの通信を保証するために、エラー検出および訂正および冗長ディスクを備えたメモリを備えることもできる。
サービスプロバイダサーバ166は、含んでいる方法を実行するソフトウェアを含み、ソフトウェアは、サブスクライバがサービスプロバイダサーバにログインできるようにするウェブページを提供する。ソフトウェアは、複数のサービスをサブスクライバに提供する。サブスクライバは、オペレータ、ユーザ、またはこれらの組み合わせであってもよいことを理解されたい。サブスクライバは、サービスの中から選択して仮想現実データファイルを生成し、生成された仮想現実データファイルをサービスプロバイダストレージ170に保存し、仮想現実データファイルを仮想現実デバイス164に送信することができる。一実施形態では、ソフトウェアによって実行される方法は、サーバ166によってサービスが提供される前に、サブスクライバアカウントが有効またはアクティブである(例えば、加入料を支払った)ことを確認するチェックを含む。
いくつかの実施形態において、ソフトウェアは、特定の仮想現実データファイルがユーザに提示される連続的な順序を確立するためにオペレータに提供する方法を実行する。オペレータは、各仮想現実データファイルへのアクセスの時間制限をさらに構成できる。
一実施形態では、図5および図6の方法は、システム150を使用して実行される。
本開示では、クラウドコンピューティングに関連してネットワーク160を説明しているが、本明細書に記載される教示の実装は、クラウドコンピューティング環境に限定されないことをあらかじめ理解されたい。むしろ、本発明の実施形態は、現在公知であるかまたは後で開発される任意の他のタイプのコンピューティング環境と併せて実装することが可能である。
クラウドコンピューティングは、最小限の管理労力またはサービスのプロバイダとの対話で迅速にプロビジョニングし、リリースすることができる構成可能なコンピューティングリソース(例えば、ネットワーク、ネットワーク帯域、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想機械、サービスなど)の共有プールへの好都合なオンデマンドのネットワークアクセスを可能にするためのサービス配信のモデルである。このクラウドモデルは、少なくとも5つの特徴、少なくとも3つのサービスモデル、および少なくとも4つの配備モデルを含み得る。
特徴は以下のとおりである。
オンデマンドセルフサービス:クラウド消費者は、サービスのプロバイダとの人間の対話を必要とせずに、必要に応じて自動的に、サーバ時間やネットワークストレージなどのコンピューティング能力を一方的にプロビジョニングすることができる。
幅広いネットワークアクセス:能力は、ネットワーク上で利用可能であり、異種のシンクライアントプラットフォームまたはシッククライアントプラットフォーム(例えば、携帯電話、ラップトップ、およびPDA)の使用を助ける標準的な機構によってアクセスできる。
リソースのプール:プロバイダのコンピューティングリソースは、マルチテナントモデルを使用して複数の消費者にサービスを提供するためにプールされ、様々な物理リソースおよび仮想リソースが必要に応じて動的に割り当ておよび再割り当てされる。消費者は一般に、提供されたリソースの正確な場所を制御することも知ることもできないが、より高い抽象化レベル(例えば、国、州、データセンタ)で場所を指定することができるという点で場所に依存しない感がある。
迅速な順応性:能力は、即座にスケールアウトするために迅速かつ弾性的に、場合によっては自動的にプロビジョニングすることができ、即座にスケールインするために迅速にリリースすることができる。消費者にとって、プロビジョニングに利用可能な能力は多くの場合無制限であるように見え、いつでも任意の数量で購入することができる。
測定されているサービス:クラウドシステムは、サービスのタイプ(例えば、ストレージ、処理、帯域、およびアクティブユーザアカウント)に適したある抽象化レベルの計測能力を活用して、リソース使用を自動的に制御および最適化する。リソースの使用状況を監視、制御、報告して、利用されるサービスのプロバイダと消費者の両方に透明性を提供することができる。
サービスモデルは以下のとおりである。
サービスとしてのソフトウェア(SaaS):消費者に提供される能力は、クラウドインフラストラクチャ上で動作しているプロバイダのアプリケーションを使用することである。アプリケーションは、ウェブブラウザ(例えば、ウェブベースの電子メール)などのシンクライアントインターフェースを介して様々なクライアントデバイスからアクセス可能である。消費者は、可能な例外として限られたユーザ固有のアプリケーション構成設定を行うが、ネットワーク、サーバ、オペレーティングシステム、ストレージ、または個々のアプリケーション能力さえも含む基盤となるクラウドインフラストラクチャを管理も制御もしない。
サービスとしてのプラットフォーム(PaaS):消費者に提供される能力は、プロバイダがサポートするプログラミング言語およびツールを使用して作成された、消費者が作成または取得したアプリケーションをクラウドインフラストラクチャ上に配備することである。消費者は、ネットワーク、サーバ、オペレーティングシステム、またはストレージを含む基盤となるクラウドインフラストラクチャを管理も制御もしないが、配備されたアプリケーション、また場合によりアプリケーションホスト環境の構成を制御することができる。
サービスとしてのインフラストラクチャ(IaaS):消費者に提供される能力は、処理、ストレージ、ネットワーク、および消費者が、オペレーティングシステムおよびアプリケーションを含み得る任意のソフトウェアを配備し、走らせることができる他の基本的なコンピューティングリソースをプロビジョニングすることである。消費者は、基盤となるクラウドインフラストラクチャを管理も制御もしないが、オペレーティングシステム、ストレージ、配備されたアプリケーション、また場合によりネットワーキング構成要素(例えば、ホストファイアウォール)の選択の限られた制御を制御することができる。
配備モデルは以下のとおりである。
プライベートクラウド:クラウドインフラストラクチャはもっぱら組織のために運用される。クラウドインフラストラクチャは、組織または第三者によって管理され、組織の施設内または施設外に存在し得る。
コミュニティクラウド:クラウドインフラストラクチャは複数の組織によって共有され、共通の関心事(例えば、任務、セキュリティ要件、ポリシー、法令順守に関わる考慮事項など)を有する特定のコミュニティをサポートする。クラウドインフラストラクチャは、組織または第三者によって管理され、組織の施設内または施設外に存在し得る。
パブリッククラウド:クラウドインフラストラクチャは、一般大衆または大企業グループに利用可能にされ、クラウドサービスを販売する組織によって所有される。
ハイブリッドクラウド:クラウドインフラストラクチャは、独自のエンティティのままであるが、データおよびアプリケーションの移植性を可能にする標準化された、または固有の技術(例えば、クラウド間の負荷分散のためのクラウドバースト)によって結合された、2つ以上のクラウド(プライベート、コミュニティ、またはパブリック)の組み合わせである。
クラウドコンピューティング環境は、ステートレス性、低結合、モジュール性、および意味的相互運用性に重点をおいたサービス指向である。本質的に、クラウドコンピューティングは、相互接続されたノードのネットワークを備えるインフラストラクチャである。
ここで図11を参照すると、例示的なクラウドコンピューティング環境200が示されている。図示のように、クラウドコンピューティング環境200は、例えば、座標測定デバイス204、コンピュータ206、および仮想現実デバイス210に接続されたコンピュータ208などの、クラウド消費者によって使用されるローカルコンピューティングデバイスが通信相手とし得る1つまたは複数のクラウドコンピューティングノード202を含む。ノード202は互いに通信することができる。ノード202は、上述したプライベートクラウド、コミュニティクラウド、パブリッククラウド、ハイブリッドクラウドなどの1つもしくは複数のネットワーク、またはそれらの組み合わせにおいて、物理的または仮想的にグループ化され得る(図示せず)。これにより、クラウドコンピューティング環境200が、クラウド消費者がローカルコンピューティングデバイス上でそのためのリソースを維持する必要がないサービスとして、インフラストラクチャ、プラットフォームおよび/またはソフトウェアを提供することが可能になる。図11に示されたコンピューティングデバイス204〜210のタイプは例示を意図したものにすぎず、コンピューティングノード202およびクラウドコンピューティング環境200は、(例えば、ウェブブラウザを使用して)任意のタイプのネットワークおよび/またはネットワークアドレス指定可能な接続上で任意のタイプのコンピュータ化されたデバイスと通信することができることを理解されたい。
ここで図12を参照すると、クラウドコンピューティング環境200(図11)によって提供される機能抽象化層のセットが示されている。図12に示されている構成要素、層、および機能は、例示を意図したものにすぎず、本発明の実施形態はこれに限定されないことを、あらかじめ理解されたい。図示のように、以下の層および対応する機能が提供される。ハードウェアおよびソフトウェア層212は、ハードウェア構成要素およびソフトウェア構成要素を含む。ハードウェア構成要素の例には、メインフレーム214、RISC(Reduced Instruction Set Computer、縮小命令セットコンピュータ)アーキテクチャベースのサーバ216、サーバ218、ブレードサーバ220、ならびにストレージデバイス222、ネットワークおよびネットワーキングコンポーネント224が含まれる。いくつかの実施形態では、ソフトウェア構成要素には、ネットワークアプリケーションサーバソフトウェア226およびデータベースソフトウェア228が含まれ、仮想化層230は、抽象化層を提供し、抽象化層から、仮想エンティティの以下の例、すなわち、仮想サーバ232、仮想ストレージ234、仮想プライベートネットワークを含む仮想ネットワーク236、仮想アプリケーションおよびオペレーティングシステム238、ならびに仮想クライアント240が提供され得る。
一例では、管理層242は、以下に記載する機能を提供し得る。リソースプロビジョニング244は、クラウドコンピューティング環境内でタスクを実行するために利用されるコンピューティングリソースおよび他のリソースの動的な調達を提供する。測定および価格決定246は、クラウドコンピューティング環境内でリソースが利用される際のコスト記録、およびこれらのリソースの消費についての課金または伝票作成を提供する。一例では、これらのリソースは、アプリケーションソフトウェアライセンスを含み得る。別の例は、サービスプロバイダシステム152へのサブスクリプションの管理を含む。セキュリティは、クラウド消費者やタスクの識別情報検証、およびデータその他のリソースの保護を提供する。ユーザポータル248は、消費者およびシステム管理者のためのクラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理250は、必要なサービスレベルが満たされるように、クラウドコンピューティングリソースの割り振りおよび管理を提供する。サービス水準合意(SLA)の計画および実現252は、その将来の要件がSLAに従って予想されるクラウドコンピューティングリソースの事前配置および調達を提供する。
作業負荷層254は、クラウドコンピューティング環境が利用され得る機能の例を提供する。この層から提供され得る作業負荷および機能の例には、マッピングおよびナビゲーション256、ソフトウェア開発およびライフサイクル管理258、トランザクション処理260、点群から仮想現実データへの処理264、ユーザ定義コンテンツから点群への処理266、ならびに仮想現実データファイル生成および配信処理268が含まれる。
プロセッサ、コントローラ、コンピュータ、DSP、FPGAなどの用語は、本明細書では、計測器内に位置し、計測器全体の複数の要素に分散され、または計測器の外部に配置され得るコンピューティングデバイスを意味するものと理解されたい。
本発明をごく限られた数の実施形態との関連で詳細に説明したが、本発明はそのような開示の実施形態に限定されないことが容易に理解されるはずである。むしろ、本発明は、これまで記載されていないが、本発明の趣旨および範囲に相応する任意の数の変形、変更、置換または均等の構成を組み込むように改変することができる。加えて、本発明の様々な実施形態を説明したが、本発明の態様は記載された実施形態の一部のみを含み得ることも理解されたい。従って、本発明は、上記の説明によって限定されるものとみなされるべきではなく、添付の特許請求の範囲によってのみ限定される。

Claims (16)

  1. ユーザに対して仮想現実シーンを生成するためのシステムであって、
    ネットワークに接続するサービスプロバイダコンピュータと、
    前記サービスプロバイダコンピュータからアクセス可能なサービスプロバイダストレージと、
    サブスクライバが前記サービスプロバイダコンピュータにログインできるようにするインターフェースを提供する、前記サービスプロバイダコンピュータ上で実行されるソフトウェアと、
    を備え、
    前記ソフトウェアが、前記サブスクライバに対して、前記サブスクライバによって点群データに挿入されたユーザ定義コンテンツを含む仮想現実データファイルを生成し、
    前記仮想現実データファイルの前記生成は、
    前記サブスクライバから点群データを受信するステップと、
    前記点群データを仮想現実デバイス互換形式に変換することにより、前記ユーザ定義コンテンツを含む仮想現実データを生成するステップと、
    前記仮想現実データから実行可能な仮想現実データファイルを生成するステップと、
    を含み、
    前記ソフトウェアが、前記サブスクライバが前記インターフェースを介してユーザによる前記仮想現実データファイルへのアクセスを設定することを可能にし、
    前記ソフトウェアが、前記サービスプロバイダコンピュータ上で実行され、前記ユーザが前記サービスプロバイダコンピュータにログインすることを可能にする前記インターフェースを提供し、前記ソフトウェアが、前記ユーザを識別し、前記ユーザに前記仮想現実データファイルを提示する、
    システム。
  2. 前記ユーザ定義コンテンツが、2次元画像、ネットワークアドレス、テキスト、3次元モデル、コンピュータ支援設計モデル、ビデオ画像、アニメーション、ウェブページ、ストリーミングメディアデータ、およびこれらの組み合わせからなる群から選択される、請求項1に記載のシステム。
  3. 前記仮想現実データファイルを生成するステップが、
    前記ユーザ定義コンテンツを受信するステップと、
    前記ユーザ定義コンテンツを挿入するための前記点群データの領域を前記サブスクライバから受信するステップと、
    前記ユーザ定義コンテンツを前記点群データの前記領域に統合するステップと、
    をさらに含む、請求項1に記載のシステム。
  4. 前記点群データが、座標測定デバイスによって生成される、請求項3に記載のシステム。
  5. 前記ユーザが、仮想現実デバイスを用いて前記インターフェースにログインする、請求項1に記載のシステム。
  6. 前記ソフトウェアが、前記サブスクライバからの電子支払いを受信するようにさらに動作可能である、請求項1に記載のシステム。
  7. 前記ソフトウェアが、前記仮想現実データファイルを前記ユーザに提示する前に、前記電子支払いが受信されたと判定する、請求項6に記載のシステム。
  8. 仮想現実デバイスにおいて、ユーザ定義コンテンツを有する点群データを表示する方法であって、
    座標測定デバイスを使用して環境をスキャンすることにより、3次元座標データを測定するステップと、
    前記3次元座標データに少なくとも部分的に基づいて点群データを生成するステップと、
    ユーザ定義コンテンツを選択するステップと、
    前記点群データにおいて、前記ユーザ定義コンテンツための領域を選択するステップと、
    前記点群データの前記領域に前記ユーザ定義コンテンツを挿入するステップと、
    前記ユーザ定義コンテンツを有する前記点群データから仮想現実データファイルを生成するステップと、
    前記仮想現実データファイルを前記仮想現実デバイスに送信するステップと、
    を含む、方法。
  9. 前記ユーザ定義コンテンツが、2次元画像、ネットワークアドレス、テキスト、3次元モデル、コンピュータ支援設計モデル、ビデオ画像、アニメーション、ウェブページ、ストリーミングメディアデータ、およびこれらの組み合わせからなる群から選択される、請求項8に記載の方法。
  10. 前記ユーザ定義コンテンツを選択する、前記ステップの前に、前記ユーザ定義コンテンツを受信するステップをさらに含む、請求項8に記載の方法。
  11. ユーザのためのアクセスを設定するステップをさらに含み、
    前記仮想現実デバイスが前記ユーザによって使用される、請求項8に記載の方法。
  12. 前記ユーザからの電子支払いを受信するステップをさらに含む、請求項11に記載の方法。
  13. 前記仮想現実データファイルを前記ユーザに送信する前に、前記電子支払いが受信されたことを判定するステップをさらに含む、請求項12に記載の方法。
  14. ユーザ定義コンテンツを有する点群データを表示するためのシステムであって、
    3次元座標を測定するように動作可能な座標測定デバイスと、
    前記座標測定デバイスに動作可能に接続された、プロセッサを有するコンピューティングデバイスであって、前記プロセッサが、点群データを生成し、ユーザからの入力に応じて前記点群データにユーザ定義コンテンツを挿入するように動作可能であり、前記プロセッサが、前記ユーザ定義コンテンツを有する前記点群データに少なくとも部分的に基づいて、仮想現実データファイルを生成するようにさらに動作可能である、コンピューティングデバイスと、
    前記コンピューティングデバイスに動作可能に接続された仮想現実デバイスであって、前記仮想現実デバイスが、前記仮想現実データファイルを前記ユーザに表示するように動作可能である、仮想現実デバイスと、
    を備える、システム。
  15. 前記ユーザ定義コンテンツが、2次元画像、ネットワークアドレス、テキスト、3次元モデル、コンピュータ支援設計モデル、ビデオ画像、アニメーション、ウェブページ、ストリーミングメディアデータ、およびこれらの組み合わせからなる群から選択される、請求項14に記載のシステム。
  16. 前記プロセッサが、前記ユーザからの第2の入力に基づいて、前記点群の領域に前記ユーザ定義コンテンツを挿入することにさらに応答する、請求項14に記載のシステム。
JP2019544061A 2017-02-15 2018-02-08 3次元点群から仮想現実データを生成するシステムおよび方法 Pending JP2020507862A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762459247P 2017-02-15 2017-02-15
US62/459,247 2017-02-15
US15/886,969 US10546427B2 (en) 2017-02-15 2018-02-02 System and method of generating virtual reality data from a three-dimensional point cloud
US15/886,969 2018-02-02
PCT/US2018/017327 WO2018151994A1 (en) 2017-02-15 2018-02-08 System and method of generating virtual reality data from a three-dimensional point cloud

Publications (1)

Publication Number Publication Date
JP2020507862A true JP2020507862A (ja) 2020-03-12

Family

ID=63104763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019544061A Pending JP2020507862A (ja) 2017-02-15 2018-02-08 3次元点群から仮想現実データを生成するシステムおよび方法

Country Status (4)

Country Link
US (3) US10546427B2 (ja)
EP (1) EP3583580A1 (ja)
JP (1) JP2020507862A (ja)
WO (1) WO2018151994A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019212225A (ja) * 2018-06-08 2019-12-12 朝日航洋株式会社 端末装置および端末装置の制御方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546427B2 (en) 2017-02-15 2020-01-28 Faro Technologies, Inc System and method of generating virtual reality data from a three-dimensional point cloud
US10839551B2 (en) * 2018-04-20 2020-11-17 Streem, Inc. Augmentation of 3-D point clouds with subsequently captured data
CN110322553B (zh) * 2019-07-10 2024-04-02 广州建通测绘地理信息技术股份有限公司 激光雷达点云混合现实场景实施放样的方法和系统
CN110659440B (zh) * 2019-09-25 2023-04-18 云南电网有限责任公司曲靖供电局 一种点云数据大场景的不同细节层次快速动态显示方法
US11423244B2 (en) 2020-01-09 2022-08-23 Faro Technologies, Inc. Click fit mount adapter
CN111553938A (zh) * 2020-04-29 2020-08-18 南京航空航天大学 一种基于图优化的多站位扫描点云全局配准方法
CN111524240A (zh) * 2020-05-11 2020-08-11 维沃移动通信有限公司 场景切换方法、装置及增强现实设备
US11508078B2 (en) * 2020-08-05 2022-11-22 Lineage Logistics, LLC Point cloud annotation for a warehouse environment
US11417004B2 (en) * 2020-08-24 2022-08-16 Vmware, Inc. Variable transforms for three-dimensional engines
CN112415490A (zh) * 2021-01-25 2021-02-26 天津卡雷尔机器人技术有限公司 一种基于2d激光雷达3d点云扫描装置及配准算法
US11373381B1 (en) * 2021-05-05 2022-06-28 Trimble Inc. High-density 3D environment capture to guide mixed reality
CN113223176B (zh) * 2021-05-12 2022-09-20 武汉中仪物联技术股份有限公司 多维度管道特征参数的获取方法和装置
CN113643397A (zh) * 2021-08-05 2021-11-12 广州帕克西软件开发有限公司 一种基于人脸识别的虚拟试妆方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007504459A (ja) 2003-09-05 2007-03-01 ファロ テクノロジーズ インコーポレーテッド 自己補償レーザトラッカ
US8941641B2 (en) 2009-03-31 2015-01-27 Microsoft Corporation Annotating or editing three dimensional space
WO2011090892A2 (en) 2010-01-20 2011-07-28 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
JP2014516409A (ja) 2011-04-15 2014-07-10 ファロ テクノロジーズ インコーポレーテッド レーザトラッカの改良位置検出器
US9088787B1 (en) * 2012-08-13 2015-07-21 Lockheed Martin Corporation System, method and computer software product for providing visual remote assistance through computing systems
US20140294257A1 (en) * 2013-03-28 2014-10-02 Kevin Alan Tussy Methods and Systems for Obtaining Information Based on Facial Identification
US9506744B2 (en) 2014-12-16 2016-11-29 Faro Technologies, Inc. Triangulation scanner and camera for augmented reality
US10335677B2 (en) * 2014-12-23 2019-07-02 Matthew Daniel Fuchs Augmented reality system with agent device for viewing persistent content and method of operation thereof
FR3032282B1 (fr) * 2015-02-03 2018-09-14 Francois Duret Dispositif de visualisation de l'interieur d'une bouche
US10546427B2 (en) 2017-02-15 2020-01-28 Faro Technologies, Inc System and method of generating virtual reality data from a three-dimensional point cloud

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019212225A (ja) * 2018-06-08 2019-12-12 朝日航洋株式会社 端末装置および端末装置の制御方法

Also Published As

Publication number Publication date
WO2018151994A1 (en) 2018-08-23
US20200349773A1 (en) 2020-11-05
EP3583580A1 (en) 2019-12-25
US10546427B2 (en) 2020-01-28
US10740980B2 (en) 2020-08-11
US20180232954A1 (en) 2018-08-16
US20200005546A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
US10740980B2 (en) System and method of generating virtual reality data from a three-dimensional point cloud
EP3460734B1 (en) Collaborative virtual reality online meeting platform
US11979547B2 (en) Multi-dimensional data capture of an environment using plural devices
US10891512B2 (en) Apparatus and method for spatially referencing images
CN114625304B (zh) 虚拟现实和跨设备体验
CN111194548B (zh) 向远程接收方传输实时视觉数据的方法
US11270046B2 (en) Conversion of point cloud data points into computer-aided design (CAD) objects
EP3534260B1 (en) Individual bug fixed messages for software users
US11934355B2 (en) Distributed measurement system for scanning projects
KR20170122688A (ko) Vr 시공체험 서비스 제공 방법, 이를 실현하기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록 매체 및 이를 실행하기 위하여 매체에 저장된 애플리케이션
JP2019194924A5 (ja)
JP2022519456A (ja) リアルタイムLiDARモデル生成の忠実度を増加させるための3D表面推定及び予測
JP2023503247A (ja) 回転ジェスチャ入力を用いて画像を検索する方法、システム
US10599097B2 (en) Image and/or video capture from different viewing angles of projected mirror like reflective holographic image surface
EP4116740A1 (en) Detection of computer-aided design (cad) objects in point clouds
JP7417827B2 (ja) 画像編集方法、画像表示方法、画像編集システム、及び画像編集プログラム
US20240161393A1 (en) Remote operating a building information modeling system using captured point clouds