JP2020514876A - ３ｄデータセットのアライメントのための装置、方法、及びシステム - Google Patents

３ｄデータセットのアライメントのための装置、方法、及びシステム Download PDF

Info

Publication number
JP2020514876A
JP2020514876A JP2019540645A JP2019540645A JP2020514876A JP 2020514876 A JP2020514876 A JP 2020514876A JP 2019540645 A JP2019540645 A JP 2019540645A JP 2019540645 A JP2019540645 A JP 2019540645A JP 2020514876 A JP2020514876 A JP 2020514876A
Authority
JP
Japan
Prior art keywords
point cloud
point
vectors
vector
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019540645A
Other languages
English (en)
Inventor
アール． セルビア，デイビッド
アール． セルビア，デイビッド
ウィルマン，エーロ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UCL Business Ltd
Original Assignee
UCL Business Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UCL Business Ltd filed Critical UCL Business Ltd
Publication of JP2020514876A publication Critical patent/JP2020514876A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本発明は、３Ｄ測量、マッピング、及び撮像の分野にある。特に、本発明は３Ｄデータセットの回転アライメントに関する。実施形態は、３Ｄデータセットの回転アライメント及び任意選択で並進アライメントのための装置方法、及びプログラムを含む。ポイントクラウドとして記憶され、ベクトル集合に変換される３Ｄデータセット、及び単位球面又はガウス球として表現され、最善のアライメントのために比較されるベクトル集合。発見された最善のアライメントは、２つの３Ｄデータセットを回転させて互いと回転アライメント及び並進アライメントするために使用される。

Description

本発明は、３Ｄ測量、マッピング、及び撮像の分野にある。特に、本発明は３Ｄデータセットの回転アライメントに関する。
３Ｄ測量データセットは、測量された空間の分析、計算、測定、及びモニタのためにコンピュータ化された３Ｄデータセット、モデル、及びメッシュの作成を可能にする。測量される空間のすべての部分を単一場所の撮像装置の視界に含めることができないことが多い。複数の画像、スキャン、又は測量は、異なるときに、並びに異なる場所及び向きの撮像装置を用いて、若しくは複数のさまざまに位置決めされ、配向されたスキャナを用いて同時に採取され、その後に複数の画像がマージされる。
現在、複数の３Ｄデータセットの回転アライメント及び並進アライメントを決定するための技術は労働集約的である。撮像時、関心のある被写体にアクセスできる場合、人工的なターゲット又はフィーチャは、マージされる２つの画像に共通の撮像場所に配置されなければならない。
関心のあるアクセスできない被写体（例えば、地下の地質調査又は人体）の場合、仮想ターゲット又は自然のターゲットとして指定され得るフィーチャを識別するために準備が必要とされる。自然のターゲットは、画像を処理する際に識別され、アンカーポイント又は２つの画像からのデータを結合するためのポイントを形成する。ターゲットは自然であり、アライメントの前に画像内で識別される、又は人工的であり、視界の中に導入される場合がある。
重複する３Ｄデータセットの回転アライメントのための信頼できる自動化された技術を提供することが望ましい。
説明１
第１の態様の実施形態は、第１のときの第１の空間の第１の３Ｄデータセットであって、３次元での第１のポイントクラウドであり、各ポイントが撮像装置による第１の空間の中の測定値を表す第１のポイントクラウド内にある第１の３Ｄデータセットを、第１の位置及び向きの撮像装置から入手し、第２のときの第２の空間の第２の３Ｄデータセットであって、第２の空間及び第１の空間が、３次元で第２のポイントクラウドである第３のデータセットと重複し、第２のポイントクラウドの各ポイントが、撮像装置による第２の空間の中の測定値を表す第２のポイントクラウド内にある第２の３Ｄデータセットを、第２の位置及び向きの撮像装置から入手するように構成された３Ｄデータセット取得部と、第１の３Ｄデータセット及び第２の３Ｄデータセットをそれぞれのポイントのクラウドとして共通座標系に記憶するように構成された記憶部と、ベクトルの第１の集合の各要素又はベクトルの第２の集合の各要素が、それぞれのポイント及び近傍ポイントを表す、記憶されている第１のポイントクラウドをベクトルの第１の集合に変換し、記憶されている第２のポイントクラウドをベクトルの第２の集合に変換し、共通座標系で画定された３つの回転軸の１つ以上でベクトルの第２の集合の第１の集合に対するどの回転角度で、ベクトルの第１の集合の角度分布とベクトルの第２の集合の角度分布との最大一致度が得られるのかを発見するように構成された回転アライメントプロセッサとを含む。回転アライメントプロセッサは、計算された一致度が最大となる１つの回転軸若しくは複数の回転軸のそれぞれの回りでの回転角度を記憶若しくは出力する、又は共通座標系でのそれぞれの１つ以上の回転軸の回りでの記憶された回転角度分、第２のポイントクラウドを回転させ、共通座標系で回転した第２のポイントクラウドを出力するようにさらに構成される。
有利なことに、実施形態は、入手されたある３Ｄデータセットを別の３Ｄデータセットと回転位置合わせされるように回転させる回転ベクトルを決定し、３Ｄデータセットを重複することによって３Ｄ撮像装置及び撮像プロセスを改善するための機構を提供する。重要なことに、機構は解析的であり、人工のターゲットが手作業で位置決めされ、高い確度が必要とされる場合に、撮像される空間の中で別々に測量されるという現在の要件を未然に防ぎ、自然のターゲットの場所及び向きを識別し、発見する必要性を未然に防ぐ。空間は、データセット間で撮像装置の一貫した向き及び／又は位置を維持することを必要とせずに、別々のデータセットを生成するスキャナ（撮像装置）によってスキャンすることができ、該スキャンを表す別個のデータセットを生成し、それによって撮像手順のセットアップを加速し、例えば撮像装置用の固定されたフレーム又は三脚に対する要件を未然に防ぐ。
３Ｄデータセットの回転アライメントは、現場に戻って測定を行う必要なく、位置合わせされたデータセット、スキャン、ポイントクラウド、モデル、又はメッシュ上での距離のその後のきわめて正確な測定を可能にする。
重複するスキャンの個々の対を次々と位置合わせすることによち空間の２つ以上のスキャン（つまり、＞２つの３Ｄデータセット）を扱うために実施形態を拡張できることは言うまでもない。
データセットごとの撮像装置の相対向きの知識も、関心のある被写体への撮像装置の相対向きの知識も、人工的なターゲットの配置も、その位置の測量も、自然のターゲットの場所及び向きの識別も必要とされない高品質な３Ｄデータセット及びモデルが、関心のある被写体の２つの重複するデータセットから容易に作成される。重複は、両方のデータセットが、それらが表す物理的な空間に関して互いと重複することを含む、及び／又は重複する１つ若しくはいくつかの共通の自然のフィーチャである場合があり、その共通の自然のフィーチャは、例えば床若しくは壁等の平面である場合もあれば、例えばロッド、パイプ、鉄道線路、又は吊りワイヤ等である場合もあるであろう。データセットは、例えば、スキャンデータセット又は画像データセット、すなわち物理的な空間をスキャンする又は撮像することによって生成されるデータである。
３Ｄデータセットは、３Ｄポイントクラウドによって表され、３Ｄ画像として見られる場合がある。
追加の優位点は、下流データセット処理を、出力された回転で位置合わせされたデータセットに適用できる容易さにあり、それがなければ、それ以外には良好な並進アライメント方法及びパターン認識方法は使用できない。
スキャン
３Ｄデータセット取得部によって入手されるデータセットのそれぞれは、撮像プロセスにおいて連続ポイントで記録されるデータを含み、各ポイントは、撮像の分解能及び方向により決定される程度までその近傍から分離され、各ポイントは、撮像装置に対する又は（同じスキャンで）すでにスキャンされたポイントに対するポイントの位置についてのデータを記録し、各ポイントは、測定値に応えて撮像装置によって生成され、言い換えると、データセットの各ポイントは、撮像装置による測定値を表す。同様に、測定値は、スキャナがアクティブであるときに調査のポイントで伝達又は反射されたビームとの相互作用から撮像装置によって受け取られる応答の記録である。あるいは、何かが目標物により発せられている場合、撮像装置はそれを受け取っている。抵抗を測定する場合、電流がある。
データセットは３Ｄデータセットである。撮像装置は、例えば３Ｄスキャナである。各データセットは、関心のある被写体の３Ｄ画像を表すデータを含む。
入力、つまり第１のデータセット及び第２のデータセットは、 物理的な空間のスキャンであることに制限される場合がある。代わりに、実施形態は、第１の３Ｄデータセット及び第２の３Ｄデータセットの一方又は両方として仮想空間の３Ｄデータセットを入手する場合がある。多くの場合、３Ｄポイントクラウドは、メモリ、ストレージ、回転及び平行移動進の計算速度、並びに伝送帯域幅要件を削減するために、仮想空間においてメッシュモデルとして表される。同様の理由から、３Ｄデータセットは多くの場合、仮想空間での使用のためにメッシュモデルとして生成される。メッシュモデルをポイントクラウドと又は他のメッシュモデルと位置合わせするために、メッシュモデルは、例えばメッシュノードをポイントに変更することによって、又は補間及びサンプリングによってポイントクラウドに変換されてよく、その後、本書に説明される方法が使用できる。代わりに、本書に説明されるベクトル表示は、本書に説明される回転方法が使用されるために、メッシュモデルから直接的に抽出できる。
第１の３Ｄデータセット及び第２の３Ｄデータセットは、同じ撮像装置から入手される場合もあれば、異なる撮像装置から入手される場合もある。撮像装置は、空間の中で測定値を採取するよう作動する。測定値は、例えば、撮像装置によって検出される波動又は粒子の放出又は反射又は吸収の場所である。撮像装置は、３Ｄ空間の中で物理的なフィーチャとして測定値を解釈し、測定値に対応するポイントクラウド内でのデータポイントを生成するよう作動する。物理的なフィーチャは、例えば２つの材料間の表面又は接触面である場合がある。第１の３Ｄデータセット及び第２の３Ｄデータセットを生成するために使用される撮像装置は、異なる撮像技術を使用し、撮像してよい。例えば、第１の撮像装置がＸ線スキャナである場合があり、第２の撮像装置がＭＲＩスキャナである場合がある。代わりに、それぞれのデータセットの１次元アレイへの削減の任意選択の追加のステップでは、尺度又は倍率の余分な変数が、最善の一致が発見されるまで平行移動とともに変えられる場合がある。他方のスキャンに対する一方のスキャンのサイズは、増加又は減少し、すべての他のステップは同じである。
測定値は、撮像装置からポイントまでの距離を記録できる。測定値は、ｘ、ｙ、ｚデカルト座標での、又は円筒座標若しくは球面座標若しくは地理座標又は例えば空間−時間等の他の座標での位置等の値を記録できる。測定値は、使用されるレーザーの分解能セット及び倍率だけではなく、日付及び時刻及び記録を行う人物又は計器を含む場合もある。測定値は、レーザー又は音波から反射又は伝達又は吸収された信号の強度を記録できる。測定値は、ポイントから発せられ、装置によって検出された任意の光又は放射又は音の強度及び色を記録してよい。また、測定値は、例えば表面の曲率並びに面法線ベクトルとして表すことができるポイント及びその近傍ポイントに適合された小さい平面パッチの位置及び向き等のポイント及びその近傍ポイントの特性を含む場合もある。また、測定値は、例えば面法線ベクトルの発散、及び曲率が正であるのか、それとも負であるのか、及び面法線ベクトルの方向等の引き出された特性を含んでもよい。測定値は、空間の抵抗性若しくは伝導性若しくはキャパシタンス若しくはインダクタンス若しくは複素誘電率若しくは複素透磁率、又はそのポイントでの電磁波若しくは音波の移動速度を記録できる。測定値は、ｒ座標、ｇ座標、ｂ座標での又は以下の色座標、ＣＩＥＬＡＢ、ＣＩＥＬＵＶ、ＣＩＥｘｙＹ、ＣＩＥＸＹＺ、ＣＭＹ、ＣＭＹＫ、ＨＬＳ、ＨＳＩ、ＨＳＶ、ＨＶＣ、ＬＣＣ、ＮＣＳ、ＰｈｏｔｏＹＣＣ、ＲＧＢ、Ｙ’ＣｂＣｒ、Ｙ’ＩＱ、Ｙ’ＰｂＰｒ、及びＹ’ＵＶ（ｈｔｔｐｓ：／／ｐｅｏｐｌｅ．ｓｃ．ｆｓｕ．ｅｄｕ／〜ｊｂｕｒｋａｒｄｔ／ｆ＿ｓｒｃ／ｃｏｌｏｒｓ．ｈｔｍｌを参照）のいずれかでのボリュームの表面の色を記録してよい。測定値は、表面の組織又は粗度又は表面が作られる材料又はボリュームが作られる材料を記録してよい。測定値は、例えばドップラー等の方法を使用することによって、短期間の尺度で読み取られるポイントの任意の局所的な移動速度及び加速及び期間及びベクトル方向を記録してよい。撮像装置が一方向で見るとき、撮像装置は２つ以上の測定値を取り戻し得ることに留意されたい。固体の不透明な表面がある場合、概して１つの測定値がある。しかし、表面がわずかに透明である場合、又は表面がなく、それが単に撮像されているボリュームにすぎない場合、距離を互いに区別する撮像装置から離れる異なる距離からの数千の測定値がある場合がある。したがって、例えば、測定値は、ｘ、ｙ、ｚ、ｒ、ｇ、ｂであってよい。
第１の位置及び向き並びに第２の位置及び向きは、それぞれ撮像されている空間に対する撮像装置のものである。
重複
第１の空間及び第２の空間は重複する。重複の程度は実施態様に依存し、データセットの各対に従って変わる。重複の程度は、重複領域内のアライメントフィーチャの数に依存する。高い確度のアライメントには、十分な共通フィーチャが必要とされる。重複は、共通フィーチャの重複である。例えば、重複は、少なくとも部分的な重複であってよく、例えばスキャンが異なるときに又は異なる技術を使用するスキャナを用いて採取される場合、全体であってよい。例えば、重複は、第１のデータセットと第２のデータセットの両方で表される共通の物理的な空間であってよい。実施形態は、入力されたデータベースから一部の重複していないデータを削除するために３Ｄ取得部によって該入手することの部分として前処理するステップを含んでよい。
第１の空間及び第２の空間は重複する。任意選択の拡張においては、第１の空間及び第２の空間の両方とも、両方にとって共通である拡張されたフィーチャと重複するが、２つの空間は空間内で直接的に重複しない。係る拡張されたフィーチャは、例えば、それらが潜在的に重複するフィーチャを有するというなんらかの知識に基づいて、第１の空間から第２の空間に拡張できるであろう、線、平面、円筒等の潜在的に重複するフィーチャを有する。したがって、第１のスキャンは、まっすぐな鉄道線路又は壁の部分をスキャンしてよく、第２のスキャンは、異なる物理的な空間をスキャンしてよいが、それは鉄道線路又は壁の別の部分を含む。鉄道線路又は壁がまっすぐであることが既知である場合、次いで装置は両方のスキャンを鉄道線路又は壁に回転で位置合わせできる。各スキャンから、パターン認識を使用して、レール又は壁を認識することが可能である。並進アライメントステップでは、２Ｄでのスキャンは、レールに垂直に位置合わせされる、又は１Ｄでのスキャンは壁に垂直に位置合わせされる。２つの直接的ではなく重複するスキャン（データセットに類似するスキャン）にとって共通である互いに対する角度の範囲に、いくつかの、例えばロッド又は端縁のフィーチャがある場合、次いで装置はロッド方向に沿って他方に対して一方のスキャンを正確に配置することができ、第２のスキャンのロッドが第１のスキャンの拡張されたロッドに正確に一致するのは１つの場所しかない。これは、互いに対して異なる角度をなすいくつかの平面の場合、又は平面、ロッド、端縁、円筒、環状体、円錐、又は他の形状の場合にも同様である。これはすべて、フィーチャになんらかの共通性がある、つまりフィーチャが両方に出現する限り、すべてのスキャンを空間内で物理的に重複させることは必要ではないことを意味するので重要である。例は、縁石、又は道路上の白線若しくは黄色線、及び舗装板の端縁及び壁平面及び端縁をスキャンすることができ、したがって狭い非重複スキャンを位置合わせできる自動運転車である。
共通座標系
記憶部で、第１の３Ｄデータセット及び第２の３Ｄデータセットは、共通座標系でそれぞれのポイントクラウドとして記憶される。共通座標系は作業領域である。第１の３Ｄデータセット及び第２の３Ｄデータセットのそれぞれは、ポイントのそれぞれのクラウドが画定されるネイティブ座標系を有する。実施形態の前提条件は、第１のデータセット及び第２のデータセットが、記憶部の共通座標系と互換性があることである。例えば、ネイティブ座標系は、起点としてのそのデータセットのための撮像装置の位置、及び撮像装置の向きに対する場合がある。第１のポイントクラウドは、作業領域に入れられるとき、回転され、並進される場合があり、第２のポイントクラウドは、作業領域に入れられるとき、異なって回転され、並進される場合がある。
ポイントをベクトルに変換する
変換プロセスで実行される精密な方法は実施態様に特有である。例えば、実施形態は、記憶されている第１のポイントクラウドを面法線単位ベクトルの第１の集合に変換し、記憶されている第２のポイントクラウドを面法線単位ベクトルの第２の集合に変換してよい。回転アライメントプロセッサは、ベクトルの２つの集合の間で最善の一致検索を実行し、したがって２つの集合は類似点がある。例えば、同じ技術、方法、又はアルゴリズムが、第２のポイントクラウドをベクトルの第２の集合に変換するために使用されるのと同様に、第１のポイントクラウドをベクトルの第１の集合に変換するために使用される。
例えば、ベクトルは、それぞれのポイント及び近傍ポイントにより形成される概念的表面を表してよい。代わりに、ベクトルは、ポイントのなんらかの他の幾何学的な特性又は他の特性を表してよい。例えば、データセットは、例えば体内の器官等の目標物を表す場合、単に測定値の３Ｄの空間的に変化する集合以外に任意の表面はない場合がある。ベクトルは、ポイントごとに、測定値に記録された変数のそれぞれに最大勾配を発見することによって計算されてよい。
第１のポイントクラウドはベクトルの第１の集合に変換され、第２のポイントクラウドはベクトルの第２の集合に変換される。ポイントとベクトルとの間には１：１の対応がある場合もあれば、ポイントの数に対してベクトルの数を削減するための抽出比がある場合もある。ポイントのクラウド内のポイントは、撮像装置による測定値を表す。データセットの中の近傍ポイントは、概念的表面を形成する。すなわち、概念的表面は、ポイントクラウドの中のポイントのグループに適合される場合がある。該変換することは、問合せポイントごとに、問合せポイント及び近傍ポイントに適合された概念的表面を表すためのベクトルを生成することを含む。概念的表面は、このようにしてそれぞれのポイント及び近傍ポイントにより情報に基づくと見なされる。近傍ポイントが、実施態様の要件に係る異なった方法で選択され得ることが理解される。さらに、概念的表面のポイントのグループへの該適合のために、及び該概念的表面を表すためのベクトルを生成するために、多様なアルゴリズムを選択できることが理解される。
ポイント自体又は関連付けられた測定値又はそれぞれの１つ若しくは複数のポイントと関連付けられた属性がベクトルに変換されてよい。
最善の一致を検索
回転アライメントプロセッサは、関心のある各回転軸の回りのどの角度でベクトルの２つの集合が最大の一致度を示すのかを発見することによって、ベクトルの第１の集合とベクトルの第２の集合との間の最良適合の向きを発見する。事実上、ベクトルの一方の集合は、最善の一致が発見されるまで関心のある各回転軸での他方の集合の回りで回転される。一致度は、例えば、ベクトルの２つの集合の角度分布を比較するために、数学的な相関関数／演算子を使用することによって測定されてよい。例えば、数学的な相関関数／演算子は、実施態様に適切な既存の数学的相関関数／演算子であってよい。
３つの回転軸は直交である場合もあれば、２つの同一平面上の軸（ただし、２つの軸が同一平面上である場合、２つの軸は平行になることはできない）及び１つの同一平面上ではない軸である場合がある。
出力
出力は、回転アライメントプロセッサによって回転される第２のポイントクラウドを含む場合がある。出力された第２のポイントクラウドは、記憶されている第１のポイントクラウドと回転で位置合わせされる。また、出力は、記憶されている第１のポイントクラウドのコピーを含む場合もある。例えば、共通座標系が第１の３Ｄデータセットのネイティブ座標系とは異なる場合、次いで、２つの回転で位置合わせされたデータセットを達成するために、装置は、回転された第２の３Ｄデータセットと第１の３Ｄデータセットの両方を、共通座標系のそれぞれのポイントのクラウドとして出力してよい。回転で位置合わせされたデータセットはマージされ、単一の画像データセットファイルとして出力されてよい。回転で位置合わせされたデータセットにより、両方のデータセットで表される物理的なエンティティが、２つのデータセットの共通座標系で相互に位置合わせされる（ｃｏ−ａｌｉｇｎｅｄ）ことを意味すると解釈される。
いくつかのアプリケーションの場合、これは、撮像装置がどれほど多く回転したのか、及び撮像装置が撮像手順の間でどのようにして回転したのかを示すので、出力は、各軸の回りでも実行される回転の量のベクトル又は他の表現も含む。したがって、撮像装置が車両上にある場合、この回転データは、車両がどれほど多く回転したのかを示すために使用できる。これは、時間がＩＭＵセンサのドリフトによりデータセット間で大きいときにスキャンが異なるときに採取されるとき、慣性計測装置、ＩＭＵにおける光ファイバジャイロスコープの使用よりもより正確である。
該出力することは、第２のポイントクラウドを第１のポイントクラウドとマージすること、及びマージされたポイントクラウドを出力することを含んでよい。また、第１のポイントクラウドは、出力されてもよい。また、第１のポイントクラウドが、記憶されているとき、回転され、並進される場合、第１のポイントクラウドは、第２のポイントクラウドと同じ空間内で出力されてもよい。
共通座標系での第１のポイントクラウドの位置も出力されてよい。これが以前に既知ではなかった、又は出力されていなかった場合、それはここで共通座標系で出力されてよい。
説明２
任意選択で、記憶部は、第１のポイントクラウド及び出力された回転された第２のポイントクラウドを記憶するように構成される。装置は、３本の線の中からの線の各対が平行ではなく、３本の線の中からの少なくとも１つの線の対が同一平面上ではない、共通座標系の３本以上の線のそれぞれに対して、第１のポイントクラウドの中の各ポイントの線の上への投影の位置を任意の起点に対して記録する、記録された位置を第１の１次元アレイとして記憶する、及び／又は第１の１次元アレイとしてそれぞれの記録された位置での各ポイントの１つ以上の特性又は測定値を記録する、回転した第２のポイントクラウドの中の各ポイントの線上への投影の位置を、任意の起点に対して記録する、記録された位置を第２の１次元アレイとして記憶する、及び／又は第２の１次元アレイとして記録されたそれぞれの位置での各ポイントの１つ以上の特性又は測定値を記憶する、第１の１次元アレイと第２の１次元アレイとの最大一致度が計算される、第１の１次元アレイに対する第２の１次元アレイの線に沿った平行移動を発見する、及び最大の一致度が計算される平行移動を記録する、及び第１のポイントクラウド及び回転された第２のポイントクラウドのどちらかを共通座標系のマージされたポイントクラウドとして出力するように構成された並進アライメントプロセッサをさらに含み、回転した第２のポイントクラウドは、それぞれの記録された平行移動、並びに／又は３本の線のベクトル表示及び３本の線のそれぞれに沿った記録された平行移動、及び３つの回転軸のベクトル表示及びそれぞれの記憶されている回転角度、並びに／又はそれぞれの記録された平行移動により共通座標系の３本の線のそれぞれに沿って並進された回転した第２のポイントクラウドによって共通座標系の３本の線のそれぞれに沿って並進される。
有利なことに、並進アライメントプロセッサを含んだ実施形態は、スキャンされた空間内の同じフィーチャを表すポイントが共通座標系で同一場所に配置されるように２つのポイントのクラウドを位置決めするために必要とされる位置シフト（平行移動）を計算するための機構を提供する。したがって、２つの別々の入力データセットを単一のデータセットとしてマージし、処理できる。実施形態は、計算上効率的な方法で、且つターゲットが撮像空間の重複する領域内に手作業で配置される必要なく、又はその位置が測量される必要なく、又は自然のターゲットが手作業で識別され、その位置及び向きが注記される必要なく、並びに人が２つのスキャンの対応するフィーチャを手作業で認識し、スキャンを手作業で回転及び並進させて対応するフィーチャを位置合わせする必要なく、マージを達成する。
１次元アレイは、各ポイントクラウドデータポイントを１つの空間次元におけるポイントとして記録する。任意選択で、各データポイントのコントリビューション（ｃｏｎｔｒｉｂｕｔｉｏｎ）は、記述子をポイント間の距離により依存しないようにし、スキャン距離により敏感ではないようにするために、局所的なポイント密度の逆数でスケーリングされてよい。各ポイントは、１つの空間次元内の位置に加えて１つ以上の特性を有する場合があり、係る特性は、例えば各ポイントのポイント密度、ポイントカラー、反射強度を含むことに留意されたい。また、これらの追加の特性は、数学的な相関を計算する際にも使用できる。各ポイントの特性又は測定値は、ポイント及び近傍ポイントを表すすでに計算されたベクトルである場合がある。アレイの各ポイントでは、例えばポイントの総数又は色又は測定値若しくはベクトルの組合せ等の少なくとも１つの数があるため、１次元アレイはヒストグラムと呼ばれる場合がある。
その上にポイントが投影される３本の線は、両方のポイントクラウドにとって共通である。３本の線は、デカルト座標軸又は地理座標系又は球面座標系又は円筒座標系であるであろう。３本の線は最小値であり、＞３本の線が使用されてもよいことに留意されたい。
特性又は測定値は、異なるタイプのベクトルのそれぞれの方向である場合もある。ベクトルの場合、相関は、２つのアレイ内のベクトルのドット積又は内積を発見し、次いで通常の足し算又は積分を行って相関を算出することによって実行される。
線上への投影は、実質的には、ＩＤロッド又は線への３次元ポイントクラウドの折り畳みである。線上への投影は、線の法線ベクトルに沿う、線に対してある角度をなす、又は線を交差する曲線に沿う場合がある。投影の線は、デカルト座標軸又は地理座標系又は球面座標若しくは円筒座標であってよい。
並進アライメントプロセッサは、２つの１次元アレイ間の最善の一致が示される１次元アレイの一方の他方に対する３本以上の線のそれぞれについて、線に沿った並進を発見する。測定量は、例えばポイントの空間分布であってよい。また、測定量は、カラー測定値又は反射率測定値又はポイントと関連付けられたベクトルであってもよい（そのベクトルは、ポイントでの法線ベクトル若しくは和ベクトルのどちらか又は両方、又は本書に説明されるデータセットポイントを表す別のタイプのポイントである場合がある）。一致する属性が多いほど、任意の単一のスキャンから引き出されるデータの値を増加させるためにアライメントはより正確になるが、各属性は独立して相互に関連付けられるため、それはより計算コストが高くなる。最初に、空間ポイント密度は、近似アライメントのいくつかの位置を得るために、例えば低域通過フィルタ又は平滑化とともに使用されてよく、次いで分解能が近似アライメントのそれらの位置の回りで高められてよい。発見することは、最善の一致位置を発見するために、例えば最急降下、焼き鈍し法、又はレーベンバーグマルカートの方法等の最善の一致検索及び最適化アルゴリズムを実行することによって実行されてよい。発見することは、２つの極値の間で互いに対して２つのアレイを繰り返しシフトし、各反復で一致度を計算することを含んでよい。２つの極値は、例えば位置の第１の１次元アレイの中の最大値が、位置の第２の１次元アレイの中の最小値と一致する平行移動、及び位置の第１の１次元アレイの中の最小値が、位置の第２の１次元アレイの中の最大値と一致する平行移動であってよい。代わりに、実施形態は、スキャンのそれぞれの測定値及び属性の１次元アレイのそれぞれを第１のフーリエ変換することによって重畳定理を利用してよい。次いで、同じ測定値及び属性のフーリエ変換は、同じスケール及び起点でオーバレイされ、ともに乗算される。最後に、測定値及び属性の結果として生じる１次元アレイは、逆フーリエ変換される。結果は、相関が実行された場合と同じであるが、それは多くの場合、計算上及びプログラム的に有益である。代わりに、実施形態は、任意選択のセグメントかプロセス後、３Ｄオブジェクト及びフィーチャを認識し、３Ｄオブジェクト及びフィーチャを線に折り畳む前にそれらと関連付けられたポイントにラベルを付ける。３Ｄパターン認識は、例えば、３Ｄテンプレートマッチング、幾何学的マッチングによって、又は例えばディープラーニング畳み込みニューラルネットワーク等の人工知能技術によって実行されてよい。相関は、２つの折り畳まれたスキャンが線に沿って互いの上をスライドするにつれ実行されるとき、特定のタイプのオブジェクト又はフィーチャと関連付けられたポイントは、類似するタイプのオブジェクト又はフィーチャからのポイントとのみ相互に関連付けられる。多くの独立した相関が、各タイプのオブジェクト若しくはフィーチャと関連付けられたポイントについて、及び各測定値若しくは属性について実行される。これらの相関の規模は、これらのスキャンのために全相関又は一致を与えるために重み付け方法で結合される。これは、ポイントはその個々のアイデンティティを保持するので、あるタイプのオブジェクト又はフィーチャからのポイントが異なるタイプのオブジェクト又はフィーチャからのポイントと不注意に相互に関連付けられず、より正確なアライメントを生じさせるという優位点を有する。代わりに、相関計算を加速するために、認識された３Ｄオブジェクト及びフィーチャは、それぞれ単一のラベルが付けられたポイントで置換される場合があり、重みは、全相関を計算するために相関を結合するときに補償するために調整される場合がある。
線のうちの任意の２本が共通平面にあることに留意されたい。また、ポイントクラウドは、この平面及び他の共通平面上に投影されてもよい。共通平面上への投影は、共通平面の法線ベクトルに沿っている、共通平面に対してある角度をなす、又は共通平面上への曲線に沿っている場合がある。投影の線はデカルト座標軸又は地理座標系又は球面座標若しくは円筒座標であってよい。各ポイントクラウドは、共通平面上に折り畳まれた画像を形成する。２つの重複するスキャンからの画像は、最大一致度又は相関の各線に沿った位置が達成されるまで、２本の線に沿った平面内で側面方向に移動してよい。この方法は、折り畳まれた画像のフィーチャの相対的な位置が、２本の線に沿ったその距離座標に関して保たれるという点で、線上への投影の方法とは異なる。したがって、折り畳まれた画像のフィーチャは２次元座標でラベルを付けられる。ところが、ポイントクラウドが単独で線の上に折り畳まれるとき、ポイントクラウドは各線に沿って１次元距離座標を保つにすぎない。折り畳まれた平面上では、共通平面上の２つのパターンを２つのスキャンから２Ｄフーリエ変換し、それらを同じ起点を有する同じ尺度でオーバレイし、該パターンを乗算し、それらを逆フーリエ変換することによって、重畳積分定理を利用して相関を実行するのが有利である。しかしながら、２本の別々の線に沿った２つの１次元一致又は相関の計算は、共通平面上の折り畳まれた画像の１つの２次元一致又は相関の計算に比べてはるかに計算コストが安価である。フィーチャの２次元座標の損失は、３本以上の線の上にポイントクラウドを折り畳むことによって補償される。代わりに、これは、ポイントとともに移動する各ポイントに割り当てられるラベル又は測定値又は属性として折り畳まれた平面画像からのｘ座標、ｙ座標を使用することによって線上で克服することができ、これによりこの知識は失われず、相関実行時の線への折り畳み後に考慮に入れられる。代わりに、これらの２つの方法は、ポイントクラウドを、１つの共通平面に及びその平面に垂直な又はその平面にある角度をなす１本の線にも折り畳むことの両方によって組み合わせることができる。共通平面は、それが既知であるとき、任意選択で水平であると解釈され、線は垂直軸であるであろう。
いくつかの応用例では、出力は各軸に沿った平行移動の量のベクトル又は他の表現を含み、これが、撮像装置がどれほど多く、及び撮像手順間でどの方向で移動したのかを示す。したがって、撮像装置が車両上にある場合、この平行移動データは、車両がどれほど多く移動したのかを示すために使用できる。これは、データセットが、時間がデータセット間で大きいさまざまなときに採取されるとき、慣性計測装置、ＩＭＵにおける加速度計の使用よりもより正確である。有利なことに、車両の３Ｄ追跡は、このようにして非常に厳格に実現できる。言い換えると、アライメントのポイントは、車両の追跡及び配向を実現することである。
代替策として、出力は、正しく回転され、並進された第２のクラウドを含んでよい、又は共通座標系若しくは２つのクラウドで正しく配向され、並進された第１のクラウド及び第２のクラウドだけがマージできる。
説明３〜７
実施形態の回転アライメント及び並進アライメントのための機構は、撮像技術によって限定されない。機構は、撮像装置に依存せず、波長に依存せず、撮像技術に依存しない（独立を意味するこれらの文脈において不可知論的（ａｇｎｏｓｔｉｃ））。さらに、実施形態は、異なる撮像装置、つまり異なる場所での又は異なるときにおける同じ撮像装置からのデータセットを位置合わせするためであるが、異なる撮像機構によって入手されるデータセットも位置合わせするための機構を提供する。例えば、ＭＲＩスキャンは、重複する空間（被写体）のＸ線スキャンと位置合わせされる場合がある。
例示的な撮像機構及び撮像被写体は、以下に提示される。
任意選択で、第１の３Ｄデータセット及び第２の３Ｄデータセットの一方又は両方がそれから入手される撮像装置は、ライダスキャナである。
撮像されている空間は、例えば建物の内部、建物の外部、景色、露点採掘（ｏｐｅｎ ｃａｓｔ ｍｉｎｅ）、海岸線、パイプ若しくはパイプのネットワークの内側若しくは外側、洞窟、採掘トンネル等のトンネル、道路、人若しくは動物の部分、又は骨格であってよい。
また、ライダ（ＬＩＤＡＲ）はＬｉｄａｒ、ＬｉＤＡＲ、又はＬＡＤＡＲと書かれてよく、光の検出及び測距を意味する。スキャナにより使用される波長は、紫外線波長、可視波長、又は近赤外線波長であってよい。
第１の３Ｄデータセットと第２の３Ｄデータセットとの間の空間的な重複は、実質的に完全な重複である場合があるが、第１のときは第２のときとは異なる場合があり、これにより空間は、ライダを両方のデータセットのための空間に対して同一に位置決めし、配向するという要件なしに、異なるときに（例えば、経時的に変化を観察するために）撮像できる。
ライダスキャナは、スキャナに対するスキャナの移動又はスキャナに対する被写体の移動によって３Ｄスキャンを撮る２Ｄスキャナである。代わりに、ＬＩＤＡＲスキャナは、３Ｄでスキャンしてもよい。代替の任意選択の３Ｄスキャン装置は、干渉計、写真測量法、プロジェクションイメージング、スキャン焦点面、陰影からの形状、オプティカルフローを含む。スキャン装置の追加の代替策は、図３の説明で以下に示される。
追加の例として、第１の３Ｄデータセット及び第２の３Ｄデータセットの一方又は両方がそこから入手される撮像装置は、偏光電磁波又は非偏光電磁波を使用する、地中レーダ又は壁貫通レーダであり、撮像空間は、地下にある、又は壁若しくは他の構造により可視光を介して遮断される。地中レーダの応用例は、地下の物質、パイプ、考古学的異物、不発弾、及びトンネルの軟班からの反射を検出することである。
例えば、偏光電磁波又は非偏光電磁波は、地中レーダで周波数範囲１００ＭＨｚ〜２．６ＧＨｚ及び壁貫通レーダの場合１．６ＧＨｚ〜１０ＧＨｚ、及びｗｉｆｉ支援壁貫通レーダの場合２．４ＧＨｚのマイクロ波バンドにあってよい。地中レーダ又は壁貫通レーダは、表面又は被写体の移動を検出するドップラーレーダであってよい。
任意選択で、第１の３Ｄデータセット及び第２の３Ｄデータセットの一方又は両方がそこから入手される撮像装置は、地面に挿入される電気抵抗トモグラフィスキャナであり、撮像空間は地面の下方である。
地下スキャンのための代替の撮像技術として、第１の３Ｄデータセット及び第２の３Ｄデータセットの一方又は両方がそこから入手される撮像装置は、地震波を検出する地震トモグラフィスキャナである。
任意選択で、第１の３Ｄデータセット及び第２の３Ｄデータセットの一方又は両方がそこから入手される撮像装置は、被験動物の皮膚上での配置のための電極を含んだ電気インピーダンストモグラフィスキャナであり、撮像空間は、被験動物の内部である。
被験動物の内部をスキャンするための代替技術として：
任意選択で、第１の３Ｄデータセット及び第２の３Ｄデータセットの一方又は両方がそこから入手される撮像装置は、ＭＲＩスキャナ又は核四重極共鳴を検出するスキャナであり、撮像空間は、被験動物の内部である。
有利なことに、実施形態は、それぞれのスキャナの相対的な位置又は向きについての情報を必要することなく、電気インピーダンストモグラフィスキャナからのスキャンを、ＭＲＩ又は核四重極スキャナからのスキャンと位置合わせし得る。
核四重極スキャナは、核四重極共鳴を検出するためのスキャナである。
被験動物（例えば、ヒト）の内部をスキャンするための代替技術として：
第１の３Ｄデータセット及び第２の３Ｄデータセットの一方又は両方がそこから入手される撮像装置は超音波スキャナであり、撮像空間は被験動物の内部である。
任意選択で、第１の３Ｄデータセット及び第２の３Ｄデータセットの一方又は両方がそこから入手される撮像装置は、ソナースキャナである。
ソナーは、音波の検出に基づくスキャン技術であり、実施形態は、パッシブ（音を傾聴する）又はアクティブ（音を発し、その反射を傾聴する）ソナースキャナを実装されてよい。ソナーは、音のナビゲーション及び測距を意味すると解釈されてよく、移動する表面又は被写体のドップラー検出を含む場合がある。
例えば、スキャンされた空間は、例えば海底等、浸水している場合がある。特に、スキャン空間は、海底を含む場合がある。
説明８
任意選択で、３Ｄデータセット取得部は、雑音除去プロセッサを含み、第１の３Ｄデータセットを入手すること、及び第２の３Ｄデータセットを入手することは、第１のポイントクラウドに対して雑音除去アルゴリズムを実行し、第２のポイントクラウドに対して雑音除去アルゴリズムを実行する雑音除去プロセッサを含む。
有利なことに、雑音除去アルゴリズムを実行することは、撮像空間における関心のある被写体の物理的フィーチャにより生じる測定値を強調する。したがって、データセット（つまり、ベクトルの集合又はアレイ）が適切に位置合わせされるときに並進アライメントプロセッサ及び回転アライメントプロセッサにより発見される一致の強度は、強化される。
本文脈における雑音除去は、雑音フィルタリング、つまり雑音を除去し得る雑音を除去するための信号処理を意味する。雑音除去プロセッサは、それぞれのデータセットの信号対雑音比を高めるための信号処理を実行するプロセッサである。
雑音除去アルゴリズムは、例えばバイラテラルアルゴリズム、デコンボリューション機能、又はウィーナーフィルタであってよい。スキャナの移動追跡が求められる応用例では、雑音除去アルゴリズムは、いくつかの補間に加えて、カルマンフィルタ又は平均フィルタ若しくはメジアンフィルタ又は粒子フィルタ又はヒューリスティクスベースの異常値検出であってよい。
説明９
任意選択で、ベクトルの第１の集合のベクトルは面法線ベクトルであり、第２の集合のベクトルは面法線単位ベクトルであり、第１のポイントクラウドを面法線ベクトルの第１の集合に変換すること、及び第２のポイントクラウドを面法線ベクトルの第２の集合に変換することは、個別にポイントクラウドごとに、問合せポイントとしてのそれぞれのポイントクラウドの各ポイントに対して、近傍ポイントの集合を選択し、近傍ポイント及び問合せポイントの集合の共分散行列を計算し、共分散行列を解いて、共分散行列に３つの固有値及び３つの固有ベクトルを発見し、最小固有値を有する固有ベクトルを決定し、固有ベクトルを所定の単位長さに正規化し、正規化された単位ベクトルを法線ベクトルのそれぞれの第１の集合又は第２の集合に追加することによって面法線ベクトルの第１の集合を生成すること、及び面法線ベクトルの第２の集合を生成することを含む。
代わりに、平面からのポイントの距離を最小限に抑えるために、小さい平面パッチが、問合せポイントの近傍ポイントに位置合わせされる場合がある。次いで、この小さい平面パッチの面法線は、そのポイントでの面法線であると解釈できる。面法線の方向は、面法線ベクトルとポイントからスキャナまでのベクトルとの間の角度がつねに１８０度未満であることを確実にすることによって、面法線がスキャナに向かって指すように選ばれる。
変換技術は、ポイントクラウドを正確に表す面法線単位ベクトルの集合を生じさせ、これにより、両方のデータセットで表される物理的フィーチャは、面法線単位ベクトルの２つの集合全体で一貫して表される。したがって、ベクトルの２つの集合の角度（及び空間）分布の間で最善の一致を発見することは、計算上効率的に助長される。
任意選択で、近傍ポイントの集合を選択する前に、プロセスは（ポイントクラウドのタイプ及びその密度分布に応じて）第１のポイントクラウド及び第２のポイントクラウド全体で単位面積あたり又は単位体積あたりのポイント密度を相互に標準化するように構成されたサンプリングアルゴリズムを実行することを含む。
具体例
サンプリングアルゴリズムは、非構造化３Ｄデータに対する高速空間検索を可能にする、非構造化３Ｄデータを記憶するための八分木又はｋｄ木データ構造を利用してよい。サンプリングアルゴリズムは、ランダムサンプリング、つまりポイント間の実質的に均一なユークリッド距離を実行してよい。八分木又はｋｄ木がサンプリングするためのデータ構造として使用される場合、近傍ポイントの集合を選択することは、既存のツリー構造により簡略化される。別のデータ構造が使用される場合、処理は、近傍ポイントの集合を選択する前にそれぞれのポイントのクラウドのためにツリー構造をセットアップし、ポピュレートすることを含んでよい。
近傍ポイントの集合を選択することは、問合せ点を中心とする所定の半径球体の中で全ポイントを発見する固定距離近傍ポイント方法、又はユークリッド距離に基づいて問合せ点に最も近いＮ個のポイントを発見するＫ最近傍方法を含んでよい。
サンプリングアルゴリズムに関して、以下に留意されたい。
単位体積あたりのポイント密度のこの標準化は、ポイント密度勾配ベクトルの計算には実施してはならない。そうでない場合、標準化は、そのベクトルが発見していることであるポイント密度の変動を削除する。
このサンプリングは任意選択であるが、（ポイント密度勾配ベクトル以外の）ベクトルを発見するには有利である。サンプリングされていない又はサンプリングされたデータは、並進アライメント処理で使用され得る。
サンプリングされていない又はサンプリングされたデータは３Ｄ形状を認識するために使用されてよい。方法が、（ポイント密度勾配ベクトル以外の）あらゆるベクトルを発見することを伴う場合、次いで、特定のタイプのベクトルにとっては、ベクトル計算前に一様なポイント密度を得るためにサンプリングすることが必要である場合がある。面法線を計算するための方法は、一様なポイント密度を必要としない。サンプリングされた一様な密度ポイントから、形状並びにその位置及び向きが可能な限り最善であると判明した後に、次いで削除されたポイントを戻し、次いですべてのポイントを使用して形状からのエラーを最小限に抑えて、最高の確度ｗ得るために最終的な細かいアライメントを実行できる。
説明１０
実施形態は、近傍ポイントの集合を選択するための以下のプロセスを含んでもよい。つまり、問合せポイントを選び、その回りに小さい検索半径の球体を形成する。球体の内側の全ポイントに対して主成分分析ＰＣＡを使用する。平面がある場合、ＰＣＡから出力された構成要素は、平面内に２つ、及びそれに垂直に１つある。最小の規模のものは、平面に対する法線である。この方向に沿った単位ベクトルを法線方向として描く。あらゆるポイントについて繰り返す。
任意選択で、問合せポイントに対して近傍ポイントの集合を選択することは、起点が問合せポイントと一致した所定の半径の球体の中でポイントのそれぞれ、又はユークリッド距離に基づいて問合せポイントに最近傍のＮ個のポイントを発見するＫ最近傍方法を選択すること、及び第１のポイントクラウドを面法線単位ベクトルの第１の集合に変換することを含む、及び／又は第２のポイントクラウドを面法線単位ベクトルの第２の集合に変換することは、面法線単位ベクトルのそれぞれの集合を法線単位ベクトルの基準集合として記憶することと、最小半径に達するまで、球体の半径が漸次的に小さくなる状態で面法線単位ベクトルのそれぞれの集合を生成することを繰り返し、その最小半径に達したポイントで繰り返しが終了され、面法線単位ベクトルの基準集合が面法線単位ベクトルのそれぞれの集合として設定されることと、各繰り返し時、繰り返しで生成された面法線単位ベクトルのそれぞれの集合が面法線単位ベクトルの基準集合と一致する信頼度を決定することと、決定された信頼度が所定の基準を満たす場合、面法線単位ベクトルの基準集合を、面法線単位ベクトルのそれぞれの集合として設定することと、変換することを終了することと、決定された信頼度が所定の基準を満たさない場合、面法線単位ベクトルの記憶された基準集合を繰り返しで生成された面法線単位ベクトルのそれぞれの集合で置換することと、繰り返すことを続行することとをさらに含む。
有利なことに、上記に提示された半径を設定するための繰り返し技術は、固定距離近傍ポイント方法に最善の半径を発見するための経験による技術を提供する。さらに、領域（領域はセグメント化アルゴリズムで決定されてよい）毎に上記技術を実施することは、計算上効率的である。追加の代替策として、いったん１つのデータセットが変換されると、半径値は、第２のデータセットに使用される初期半径である場合がある。次のデータセットが所定の基準を満たさない場合、次いで半径は、最善の半径を発見するためにより大きい範囲でスキャンされる場合がある。
所定の基準は、例えば閾値信頼度であってよい（つまり、決定された信頼度は、閾値信頼度を超える）。代わりに、所定の基準は、繰り返しに関してターニングポイントである場合がある。すなわち、信頼度が増加するのを停止し、減少を開始するときには、信頼度が最大であったときの半径の値を使用する。
それぞれのは、どちらのポイントクラウドが処理においてベクトルに変換されていても、第１の又は第２のを意味すると解釈される。
説明１１
面法線単位ベクトルに設定された代替の又は追加のベクトルとして：ベクトルの第１の集合のベクトルは和ベクトルであり、第２の集合のベクトルは和ベクトルであり、第１のポイントクラウドを和ベクトルの第１の集合に変換すること、及び第２のポイントクラウドを和ベクトルの第２の集合に変換することは、第１のポイントクラウド及び第２のポイントクラウド全体で単位面積あたり又は単位体積あたりでポイント密度を相互に標準化する（この動作は、ポイントクラウドのタイプ及び密度分布に応じて任意選択である）、個別にポイントクラウドごとに、問合せポイントとしてそれぞれのポイントクラウドの各ポイントに対して、問合せポイントの回りに所定の半径の検索半径球体を形成する、又は最近傍ポイントの最近傍指定数を発見する、問合せポイントから検索半径球体の中の近傍ポイントのすべてのそれぞれまでのベクトル、又は最近傍ポイントの指定数を計算する、ベクトル足し算を実行して（ここでは「和ベクトル」と呼ばれる）ベクトル和を発見するように構成されたサンプリングアルゴリズムを任意選択で実行することを含む。
説明１２〜１６
任意選択で、共通座標系に画定された３つの直交する回転軸のうちの１つ以上でベクトルの第２の集合の第１の集合に対する回転のどの角度で、ベクトルの第１の集合の角度分布と、ベクトルの第２の集合の角度分布との最大一致度が得られるのかを発見することは、ベクトルの第１の集合及び第２の集合のベクトルに共通起点を帰することと、共通起点を中心とし、ベクトル長に等しい半径の概念的な球面を表面領域に分割することと、共通座標系に画定された３つの直交する回転軸のうちの１つ以上のそれぞれでベクトルの第２の集合の第１の集合に対する回転のどの角度で、ベクトルの第１の集合からのベクトルのベクトルポイント分布と、表面領域の中のベクトルの第２の集合からのベクトルのベクトルポイント分布との最善の一致が得られるのかを発見することを含む。
面法線ベクトルの特定の場合では、プロセスは、ベクトルの第１の集合及び第２の集合でのベクトルの長さを相互に正規化することも含む。
表面領域は、例えば等しい面積の領域であってよい。領域のサイズは実施態様に依存する。考慮事項は、スキャンされたフィーチャのサイズ及び計算コストに依存する場合がある回転アライメントの必須確度を含む。ベクトルポイント分布は、表面積領域あたりのベクトルポイントの度数分布である。フィルタリングは、所定の閾値以下の表面積領域あたりのポイントをゼロに削減するために実行されてよい。代わりに、高い局所ベクトルポイント密度のピーク又は幾何中心又はモード（モードは、最も頻繁に発生する値である）は、ベクトルの集合ごとに選択されてよい（つまり、高度数分布のピーク又は幾何中心を一致させる）。正規化ステップは、すでに正規化されているベクトルの場合、省略されてよい。３つの直交する回転軸のうちの１つ以上が、３つの直交する回転軸である場合がある。代わりに、２つの入手されたデータセットが、１つの軸又は２つの軸の回りですでに回転で位置合わせされており、これにより３つの直交する軸のうちの１つ以上が１つ又は２つである場合がある。
１つの軸の回りで位置合わせするために、ベクトルは、既知の水平面に平行な赤道面上に経度線に沿って回転されてよい。これは、メモリ及び計算のコストを節約する。したがって、球面上のポイント密度よりもむしろ、円の線上のポイント密度が、ベクトルポイント密度として使用され、線は部分に分割される。１軸回転は、その中心に位置する円の平面に対する法線の回りで実行される。
例えば、最善の一致は、数学的な相関関数によって発見されてよい。
有利なことに、表面積領域あたりのベクトルポイントの度数分布にベクトルの２つの集合の比較を基づかせることは、計算上効率的であり、２つのベクトルセット、したがって２つの入手されたデータセットを回転で位置合わせするために必要とされる回転の１つ又は複数の角度を決定するための信頼できる仕組みを提供する。
代替策として、共通起点を帰されたベクトルは、平面に対する法線に沿って赤道面の上に投影され、ポイント密度パターンは赤道面に現れる場合がある。一方のデータセットの赤道面投影は、最善の一致の相対回転が発見されるまで他方の赤道面投影に対して回転され、１つの回転角度だけしかこのようにして発見することができないことに留意する。有利なことに、この技術は、天井が傾斜している又は屋根の内側にあるときに他の技術で発生する場合があるアライメントの問題を克服する。
追加の代替策として、共通起点を帰されたベクトルは、円の上に投影され、円は領域に分割される場合がある。ベクトルポイント分布は、球面の例に対してと同じように比較され、１つの回転角度だけしかこのようにして発見することができないことに留意する。
ベクトルの第１の集合のベクトル、及びベクトルの第２の集合のベクトルは、それぞれ以下のベクトルタイプの集合であってよい。
- オートエンコーダ（３Ｄ空間の中でフィーチャを抽出するための教師なしディープラーニングアルゴリズム）によって生成され、一次フィーチャを表すベクトル、
- オートエンコーダによって生成され、二次フィーチャを表すベクトル、
- オートエンコーダによって生成され、三次フィーチャを表すベクトル、
- オートエンコーダによって生成され、一次フィーチャ、二次フィーチャ、及び／又は三次フィーチャを表すベクトル、
- 面法線単位ベクトル、
- 和ベクトル、
- 発散ベクトル、
- 辺ベクトル、
- 円筒ベクトル、
- 複合オブジェクトベクトル、
- 平面ベクトル、
- ポイント密度勾配ベクトル、
- ポイント密度勾配発散ベクトル、及び
- 勾配ベクトル
最大一致度を発見する際に、ベクトルの第１の集合の角度分布とベクトル第２の集合の角度分布との間で、及び／又は第１の１次元アレイと第２の１次元アレイとの間で、及び／又は第１の２次元アレイと第２の２次元アレイとの間で、同じ特定のタイプのベクトルの部分集合間の一致度がタイプ毎に計算され、任意の平行移動又は回転角度での一致度は、それぞれの特定のタイプの一致度の組合せであり、組合せは加重平均の平均である。
上記のそれぞれは、適切なフィルタリング、平滑化、閾値化、平均、幾何中心選択とともに又はなしで使用されてよい。
実施形態で使用される各タイプのベクトルは、異なるタイプのフィーチャ、特性、又はオブジェクトを表す。
さらに、ベクトルの第１の集合のベクトル及びベクトルの第２の集合のベクトルは、それぞれ複数のベクトルの部分集合を含み、該複数の中のそれぞれの部分集合は、特定のタイプのベクトルとしてそれぞれのポイントクラウドを表し、特定のタイプは他の部分集合のタイプとは異なり、特定のタイプは上記のリストから１つ以上を含む。
任意選択で、回転アライメントプロセッサは、ベクトルの第１の集合と第２の集合の角度分布間で最善の一致を発見する前に、両方の集合で、テンプレート形状の１つを表す面法線単位ベクトルを認識し、それぞれの集合から、テンプレート形状の１つを表すとして認識されていない面法線単位ベクトルを削除することによってベクトルの第１の集合及び第２の集合をフィルタにかけるようにさらに構成される。
追加のオプションとして、該認識することは、面法線単位ベクトルの第１の集合上で、及び面法線単位ベクトルの第２の集合上でセグメント化アルゴリズムを実行することによって実施される。
テンプレート形状は、端縁、閾値最小値よりも大きい平面、円筒、トーラス、円錐、球体のうちの１つ以上であってよい。さらに、テンプレート形状は、プリミティブ形状（端縁、閾値最小値よりも大きい平面、円筒、トーラス、円錐、球体）の組合せであってよい。さらに、テンプレート形状は、互いに対して所定の角度関係にあるプリミティブ形状の組合せであってよい。
セグメント化は、１つ又はいくつかの属性に基づく場合がある。これらは、表面組織、表面組織の周期性、表面曲率、表面色、表面粗度であるであろう。
テンプレート形状が端縁である場合、和ベクトルが面法線単位ベクトルの代わりに使用できるであろう。端縁は、なんらかの閾値若しくは局所最大長よりも大きい長さを有する和ベクトルを選択する、又は局所的な面法線ベクトルに対して特定の角度を有することによって抽出される。次いで、係る和ベクトルを有するポイントクラウドのポイントは、どこに端縁があっても、球体内又は球体上に線又は区別可能なパターンを形成する。和ベクトル方法は、本書の他の箇所でより詳細に説明される。
テンプレート形状を発見する別の方法は、閾値を適用して、ガウス球上で高いポイント密度領域を選択し、他のポイントを無視することである。あるいは、最高の局所密度領域を発見し、残りを捨て去ることである。これを行う１つの方法は、球上の各ポイントでポイント密度を計算し、次いでポイント密度の指数又は対数を計算して、なんらかの加重関数を与えて、それぞれ高ポイント密度又は低ポイント密度を強調することである。あるいは、高ポイント密度の領域内のポイントの幾何中心を発見することである。あるいは、球の表面上の特定の領域内でポイントのベクトルのすべてをともにベクトル的に加算することである。これには、結果として生じるベクトル長に基づいた閾値化が後に続いてよい。残りのベクトルは、単位長に正規化されてよい。別の方法は、正しくないアライメントにつながる場合がある任意の周期的なフィーチャを識別し、削除することである。これは、２Ｄ又は３Ｄフーリエ変換により行うことができ、その後で、逆フーリエ変換の前に高密度ポイントが抑制又は削除される。
有利なことに、テンプレート形状の使用は、それぞれのデータセットで表される強力な（つまり、高ポイント密度の）物理的フィーチャを強調する。したがって、ベクトルの代表的な集合の角度分布間で最善の一致を発見することは容易になり、小さい計算コストで正確な結果を生じさせる。
説明１７〜２２
実施形態は、特許請求の範囲に明示されるシステムを含む。
また、実施形態は、特許請求の範囲に明示される１つ又は複数の方法も含む。
実施形態は、特許請求の範囲に明示されるポイントのデータ構造を含む。
説明２３〜３０
第２の態様の実施形態は、第１のときに関心のある被写体の第１の部分を表す第１のデータセットであって、ｎ次元のスキャンデータセットである第１のデータセットを入手する、第２のときに関心のある被写体の第２の部分を表す第２のデータセットであって、ｍ次元のスキャンデータセットである、第２のデータセットを入手する、３次元座標系の１つ以上の軸の表示を入手するように構成されたデータセット取得部を含んだ装置を含み、示された１つ以上の軸の回りで、入手されたデータセットの回転アライメントが要求され、第１の部分及び第２の部分は、重複するフィーチャを含み、ｍ及びｎのそれぞれは２又は３に等しい。装置は、第１のデータセットを表す第１のポイントクラウド及び第２のデータセットを表す第２のポイントクラウドを生成し、記憶するように構成されたポイントクラウド生成プロセッサをさらに含み、第１のポイントクラウド及び第２のポイントクラウドは、３次元座標系に画定される。また、装置は、軸の回りで又は各軸の角度の組合せの回りでポイントクラウドの一方を他方に対して繰り返し回転させ、３次元座標系の１本以上の特定の線のそれぞれに対して、各反復時に、第１のポイントクラウド及び第２のポイントクラウドを線上に投影し、２つの投影の間の最大相関を発見するために線に沿って互いに対して投影を移動させ、最大相関を記録し、上限の最大相関が記録されるポイントクラウドの一方の回転角度若しくは回転角度の組合せを識別し、識別された回転角度を第１の記憶されたポイントクラウド及び第２の記憶されたポイントクラウドのそれぞれの示された軸の回りの回転アライメントの角度として出力する、又は第１の記憶されたポイントクラウド及び第２の記憶されたポイントクラウドのそれぞれの示された軸の回りの回転角度の組合せを出力するように構成されたアライメントプロセッサも含む。
有利なことに、装置は、関心のある同じ被写体の異なるデータセット間の回転角度を、自動で、且つスキャナの視野の中で物理的なターゲットの配置も、特定の自然のターゲットの手動識別も必要とせずに決定し、したがってデータセットで表すことを可能にする。
データセットは、画像として見なすことができる２Ｄ又は３Ｄのデータセットである。撮像装置は、例えば３Ｄスキャナであってよい。各データセットは、２Ｄ又は３Ｄの空間次元における２Ｄ又は３Ｄの関心のある被写体を表すデータを含む。例えば色等の追加の次元は、データセットに含まれてよい。
入力、つまり第１の及び第２の２Ｄ又は３Ｄのデータセットは、物理的な空間のスキャンであることに制限される場合がある。代わりに、実施形態は、第１の３Ｄデータセット及び第２の３Ｄデータセットの一方又は両方として仮想空間の２Ｄデータセット又は３Ｄデータセットを入手してよい。
スキャンデータセットは、ｎ次元及びｍ次元として説明され、ｍ及びｎは、空間次元の数を定める。例えば時間、３つ以上の回転角度、ｒ、ｇ、ｂでの又は以下の色座標、つまりＣＩＥＬＡＢ、ＣＩＥＬＵＶ、ＣＩＥｘｙＹ、ＣＩＥＸＹＺ、ＣＭＹ、ＣＭＹＫ、ＨＬＳ、ＨＳＩ、ＨＳＶ、ＨＶＣ、ＬＣＣ、ＮＣＳ、ＰｈｏｔｏＹＣＣ、ＲＧＢ、Ｙ’ＣｂＣｒ、Ｙ’ＩＱ，Ｙ’ＰｂＰｒ、及びＹ’ＵＶ基準（ｈｔｔｐｓ：／／ｐｅｏｐｌｅ．ｓｃ．ｆｓｕ．ｅｄｕ／〜ｊｂｕｒｋａｒｄｔ／ｆ＿ｓｒｃ／ｃｏｌｏｒｓ／ｃｏｌｏｒｓ．ｈｔｍｌ）での色、及び例えば面法線ベクトルの発散及びテクスチャ等のデータから引き出される他の量等の追加情報は、データセットの各空間ポイントで記録されてよい。空間次元は、デカルト座標系、ｘ座標系、ｙ座標系、ｚ座標系、又は円筒座標系、又は極座標系、又は緯度座標系及び経度座標系、又は任意の他の空間座標系で表されるであろう。
１つ以上の軸の表示は、ユーザ入力である場合もあれば、装置のデフォルト値である場合もある。
第１の部分及び第２の部分は、重複するフィーチャを含む。係るフィーチャは、空間内で直接的に重複しているか、又は例えばそれらが潜在的に重複するフィーチャを有するというなんらかの知識に基づいて、第１の部分から第２の部分に拡張できるであろう、線、平面、円筒等の潜在的に重複するフィーチャを有するかのどちらかである。したがって、第１のスキャンは、まっすぐな鉄道線路又は壁の部分をスキャンしてよく、第２のスキャンは異なるが、鉄道又は壁の別の部分を含む物理的な空間をスキャンしてよい。鉄道線路又は壁がまっすぐであることが既知である場合、次いで装置は、両方のスキャンを鉄道線路又は壁に回転で位置合わせできる。各スキャンから、パターン認識を使用してレール又は壁を認識することが可能である。並進アライメントステップでは、２Ｄ法線でのスキャンはレールに位置合わせされる、又は１Ｄ法線でのスキャンは壁に位置合わせされる。次に２つの直接的に重複しないスキャンに共通である、互いに対する角度の範囲にいくつかの、例えばロッドフィーチャ又は端縁フィーチャがある場合、装置は、ロッド方向に沿って一方のスキャンを他方に対して正確に配置することができ、第２のスキャンのロッドが第１のスキャンの拡張されたロッドに正確に一致する場所は１か所しかない。これは、互いに対して異なる角度をなすいくつかの平面に対して、又は平面、ロッド、端縁、円筒、環状体、円錐、及び他の形状の混合物に対しても同様である。これはすべて、それが、フィーチャになんらかの共通性がある、つまりフィーチャが両方に出現する限りすべてのスキャンを物理的に重複させる必要はないことを意味するので重要である。これはすべて、フィーチャになんらかの共通性がある、つまりフィーチャが両方に出現する限り、すべてのスキャンを空間内で物理的に重複させることは必要ではないことを意味するので重要である。例は、縁石、又は道路上の白線若しくは黄色線、及び舗装板の端縁及び壁平面及び端縁をスキャンすることができ、したがって狭い非重複スキャンを位置合わせできる自動運転車である。
代わりに、それぞれのデータセットの１次元アレイへの削減のステップでは、尺度又は倍率の余分な変数は、最善の一致が発見されるまで並進とともに変えることができる。一方のスキャンの他方に対するサイズは、増加又は減少され、他のすべてのステップは同じである。各スキャンが異なる技術のスキャナからである、又は一方が２Ｄであり、一方が３Ｄである場合、それらが同じ尺度ではなくなることが考えられる。それに対処するには２つの手法がある。第１の手法では、例えばレチクル又は正確に較正されたルーラー等の同じアーチファクトが、較正のための手段としてスキャンされ、次いで尺度はスキャンごとに同じになるように調整できる。他の方法では、２軸の回りで次第に回転するだけではなく、倍率が次第に変更され、すべての線に沿った最大相関が発見される。言い換えると、追加の次元（尺度）は、最大相関を発見する過程で変えられる。いったん発見されると、拡大係数が１つのデータセットに適用されて、それらを位置合わせさせる。
任意選択で、アライメントプロセッサは、示された１つ以上の軸のそれぞれに対して、ポイントクラウドの一方を他方に対してそれぞれの識別された回転角度分、回転させることによって記憶された第１のポイントクラウド及び第２のポイントクラウドを修正し、修正された第１のポイントクラウド及び第２のポイントクラウドを回転で位置合わせされたポイントクラウドとして記憶するようにさらに構成される。
任意選択で、アライメントプロセッサは、各反復時に、最大相関が２つの投影の間で発見される線に沿って投影の（相対移動と見なされてよい）平行移動を記録し、示された１つ以上の軸のそれぞれに対して、上限の最大相関が記録される識別された回転角度に対して記録された平行移動を識別し、ポイントクラウドを互いに対して、識別された平行移動の量及び方向によりそれぞれの特定の線に沿って移動させることによって記憶された第１のポイントクラウド及び記憶された第２のポイントクラウドを修正し、修正された第１のポイントクラウド及び第２のポイントクラウドを単一のマージされたポイントクラウドとして記憶するようにさらに構成される。
任意選択で、アライメントプロセッサは、各反復時に、２つの投影の間で最大相関が発見される線に沿って投影の平行移動を記録し、示された１つ以上の軸のそれぞれに対して、上限の最大相関が記録される識別された回転角度について記録された平行移動を識別し、示された１つ以上の軸のそれぞれについて平行移動を出力するようにさらに構成される。
特に、平行移動は、移動の量及び方向として出力される。方向は、投影の線によって決定され、線に沿った平行移動の方向及び平行移動の量は、投影の平行移動によって決定される。
任意選択で、２つの投影の間で最大相関を発見することは、各投影を１次元のポイント密度分散として表すことと、２つの１次元ポイント密度分布の間の相関を繰り返し計算することであって、１次元ポイント密度分布のうちの一方が、各反復時、他方に対して線に沿って移動する、計算することと、線に沿った一連の移動の中の最大相関を識別することとを含む。
任意選択で、２つの投影の間で最大相関を発見することは、線を定められた長さの隣接する一連の別個のビンに分割することと、各投影に対して一連の別個のビンのそれぞれの中の投影のポイント数を計算することであって、各ビンのポイント数が１次元ポイント密度分布である、計算することとを含み、ビン間の分割が一致するまで、１次元の一方が、他方に対して線に沿って各反復時に移動し、相関は、ビン内の一方の投影からのポイント数及び一致するビン内の他方の投影からのポイント数の積の、一連の別個のビン全体での和である。
任意選択で、より細かい精度を得るために、定められた長さが削減される。しかし、アレイ要素のピッチが細かすぎるとき、それはビンごとに相互に関連付けるためのデータの欠如のため機能しない。より細かいピッチを得るための方法は、ピッチがそれを有意にするほど大きいときに曲線をヒストグラム（１次元ポイント分布）に適合させ、次いでアレイを必要とされるほど細かく補間することである。重大なピッチは、平均ポイント間隔の数倍（例えば、１０倍）にほぼ等しい。
任意選択で、ポイントクラウドは、それぞれのデータポイントの位置、データポイントの位置に加えて１つ以上の特性のそれぞれの値を含む、データポイントの線上への投影に加えて、データポイントあたりの１つ以上の特性のそれぞれの値を表し、最大相関を発見することは、２つの１次元ポイント密度分布の間の相関を計算することに加えて、１つ以上の特性のそれぞれについて、２つの投影のための特性の値の線に沿ってそれぞれの分布間で相関を計算すること、及び２つの１次元ポイント密度分布間の相関を、１つ又は複数の特性の値の分布間の該相関又は各相関と統合することを含み、最大相関は最大の統合された相関である。
有利なことに、統合された方法は、より多くのロバスト性及び精度を生じさせる。スキャナは、単にデータポイントのｘ、ｙ、ｚ、位置以外にデータポイントについての他の情報を記録する能力を有する場合がある。ライダの場合、それは、赤外レーザー光線の反射強度を記録する場合があり、一部のライダは、それらが色又はｒｇｂ又はｓｌ、ｈｓｂ、又はｈｉｓのデータを記録するように高解像度カラーカメラも有する。さらに、追加のデータは、例えば面法線の発散、表面組織等、各場所でｘ、ｙ、ｚ、ポイントから引き出される場合がある。したがって、これらの追加の特性及び他の異なる変数の分布の相関は、線への投影後に計算される。これらのすべては、正しい回転時の同じ角度でその最大相関規模に達するべきである。変数のうちの１つが何らかの理由から一方のデータセットで正しくない場合に、他方が正しい回転を与えるため、例えば、変数の大部分がその最大関連値に達するが、変数のうちの１つが達しない場合も、回転は正しい回転として識別される。特定の例では、色変数ｒｇｂのそれぞれは、赤の分布が赤の光と相後に関連付けられるように別々に相互に関連付けられる。
統合することは、足し算である場合もあれば、所定の割合又は変数の数が相関最大値を示す回転角度を発見することである場合もある。
実施形態は、特許請求の範囲に明示されるコンピュータプログラムを含む。
説明３１〜３８
別の態様の実施形態は、部分集合のポイントクラウド表現を得ることを含む画像処理方法を含み、ポイントクラウド表現は複数の個々のスキャンから成り、各スキャンが被写体の一部分のポイントクラウド表現であり、各スキャンは１つ以上の他のスキャンに重複し、該１つ以上の他のスキャンに対する定められた回転関係及び並進関係を有し、スキャンの少なくとも１つで、複数の他のスキャンと重複している。方法は、被写体ポイントクラウドとしての複数の個々のスキャンのそれぞれに対して、被写体スキャンと重複する１つ以上の他のスキャンを基準ポイントクラウドとして設定することと、基準ポイントクラウドのそれぞれの個々のスキャンに対して、プロセスエラー基準が満たされるまで、被写体ポイントクラウドを基準ポイントクラブの個々のスキャンに対して回転させ、並進させ、被写体ポイントクラウドと基準ポイントクラウドの個々のスキャンとの間の改訂された定められた回転及び並進関係を得るために、被写体ポイントクラウドと、被写体のポイントクラウド表現の中の基準ポイントクラウドの個々のスキャンとの間の定められた回転及び並進関係を初期推定値として、被写体ポイントクラウド及び基準ポイントクラウドの個々のスキャンに対して回転アライメントアルゴリズム及び並進アライメントアルゴリズムを実行することと、被写体ポイントクラウドと基準ポイントクラウドの個々のスキャンのそれぞれとの間の改訂された定められた回転及び並進関係を結合することと、被写体ポイントクラウドと被写体のポイントクラウドの基準ポイントクラウドとの間の結合された、改訂された定められた回転及び並進関係を実施することを含む、グローバルアライメントプロセスを実行することによって特徴付けられる。
有利なことに、実施形態は、単純な一対アライメントを使用する代わりに、（その近傍の単一の１つだけではなく）スキャンの近傍の他のすべてのスキャンが、スキャンの位置（つまり、ポイントクラウド表現の残りに対する回転及び並進位置）を調整するために使用される技術を活用する。これは、次々にすべてのスキャンについて繰り返される。アライメントに対するこの「グローバル」な手法は、単純な一対アライメントよりもより正確なアライメントを、より少ない反復で達成する。
グローバルアライメントプロセスは、プロセスに含まれるステップによって定められたプロセスである。用語グローバルの使用は、複数のスキャンのそれぞれが、順番に又は平行してのどちらかで（又はスキャンの順次処理及び並行処理のなんらかの組合せで）個々にアドレス指定されることを示す。回転アライメントアルゴリズム及び並進アライメントアルゴリズムは、並進アライメント及び回転アライメントの両方を実行する同じアルゴリズムである場合もあれば、互いにフィードする場合がある２つの別個のアルゴリズムである場合もある。回転アライメントアルゴリズム及び並進アライメントアルゴリズムのそれぞれは、本書の他の箇所で説明されるプロセスの１つであってよい。アルゴリズムは、反復最接近点（ＩＣＰ）アルゴリズムであってよい。用語反復最接近点は、被写体ポイントクラウドと基準ポイントクラウドとの間の回転及び並進関係を改訂するために使用されたアルゴリズムの性質を示す。ここで及びＩＣＰが言及される本書の他の箇所で使用される反復最接近点アルゴリズムは、点間ベースである場合もあれば、点対平面ベースである場合もある。
被写体ポイントクラウドと、基準ポイントクラウドの個々のスキャンのそれぞれとの間の改訂された、定められた回転及び並進関係を結合することは、構成要素単位で、関係の平均改訂を発見することによって達成されてよい（例えば、３つの回転構成要素及び３つの並進構成要素がある場合がある）。
任意選択で、実施形態は、各反復に対する漸次的により厳しくなるプロセスエラー基準により、１回以上、グローバルアライメントプロセスを繰り返すことを含んでよい。
例えば、プロセスエラー基準は、エラーに対する、及びユーザによって所望される回転アライメント及び並進アライメントで全体的なターゲット公差まで進行する場合がある。
実施形態は、回転アライメント及び並進アライメントのエラーの初期値と、全体的なターゲット公差との差異を、有限数のステップに分割するように構成されてよく、各ステップは、グローバルアライメントプロセスの反復である。
実施形態は、ここで、添付図面を参照し、純粋に例としてのみ説明される。
図１は、実施形態の概略図である。 図２は、別の実施形態の概略図である。 図３は、実施形態のシステムの概略図である。 図４は、実施形態での処理のフローチャートである。 図５は、実施形態のハードウェア構成を示す図である。 図６は、端縁検出アルゴリズムを示す図である。 図７は、端縁検出アルゴリズムを示す図である。 図８は、端縁検出アルゴリズムを示す図である。 図９は、端縁検出アルゴリズムを示す図である。 図１０は、端縁検出アルゴリズムを示す図である。 図１１は、端縁検出アルゴリズムを示す図である。 図１２は、端縁検出アルゴリズムを示す図である。 図１３は、追加の態様の実施形態の概略図である。 図１４は、画像処理方法における処理を示すフローチャートである。
第１の態様の詳細な説明
図１の説明
構成要素及び相互接続の概要
図１に示される本実施形態は、本発明を実施する３Ｄデータセットアライメント装置１０である。装置１０は、３Ｄデータセット取得部１２、記憶部１４、及び回転アライメントプロセッサ１６を含む。特定の相互接続及び入出力が示される。これらは、構成要素間のすべての相互接続及び相互作用を示すことを目的とするのではなく、装置１０を詳細に説明するために重要な一部の相互作用を単に示すにすぎない。
３Ｄスキャン取得部
３Ｄ取得部１２は、第１の位置及び向きの撮像装置から、第１のときの第１の空間の第１の３Ｄデータセットを入手するように構成された機能構成要素であり、第１の３Ｄデータセットは、三次元での第１のポイントクラウドであり、第１のポイントクラウドの各ポイントは、撮像装置による第１の空間の中の測定値を表す。３Ｄデータセット取得部１２は、第２の位置及び向きの撮像装置から、第２のときの第２の空間の第２の３Ｄデータセットを入手するようにさらに構成され、第２の空間及び第１の空間は重複し、第２の３Ｄデータセットは三次元での第２のポイントクラウドであり、第２のポイントクラウドの各ポイントは、撮像装置による第２の空間の中の測定値を表す。
ハードウェアに関しては、３Ｄデータセット取得部１２は、並列処理のためのコンピュータクラウド内でのようなメモリのアレイとともに、リアルタイム処理のための、プログラムされたＣＰＵ及び／又はＧＰＵ及び／又はＰＧＡ又はそれらのアレイ、並びに第１の３Ｄデータセット及び第２の３Ｄデータセットを受け取る又は読み取るように構成されたＩ／Ｏ（入出力）ハードウェアを含む。３Ｄデータセット取得部１２は、処理命令及び処理中の画像データの記憶のための揮発性メモリ又は不揮発性メモリを含んでもよい。
撮像装置は、３Ｄシーンを見るために２つ以上の隣接する又は並んだ又はわずかに離間したカメラを使用する写真測量スキャンを生成するための装置であってよい。次いで、一方の写真内のフィーチャの、他方のフィーチャとはわずかに異なった間隔は、各フィーチャの深度を計算するために使用される。出力フォーマットは、ライダに関してはポイントクラウドである。
撮像装置は、プロジェクションマッピングのための装置であってよい。これは、３Ｄシーンに投影される、投影された構造化された光パターンを利用する。例は、Ｋｉｎｅｃｔ及びＨｏｌｏｌｅｎｓを含む。投影されるパターンは、線又はグリッド又は無作為な点であってよい。シーンは、次いで多くの場合広角レンズを有するカメラを使用し、見られる。投射される光は、それが人間の眼には見えないように、通常赤外線である。
例えば、ビデオストリームから生成される符号なしショート（ｓｈｏｒｔ）、つまりメッシュ等の他のフォーマットは、前処理ステップとしてポイントクラウドに変換され、次いで実施形態に入力されてよい。
入力３Ｄデータセットに可能であるデータフォーマットは、通常は測量用途に使用される．ｆｌｓ、．ｐｔｘ、．ｌｅｉｃａフォーマット、．ｐｔｌ、．ｅ５７、．ｘｙｚ、．ｐｏｄ、．ｗｒｌ、．ｏｂｊ、．ｌａｓ、．ｌａｚ、及び通常は医療用途に使用されるＤＩＣＯＭ．ｄｃｍ、ＰＡＲ／ＲＥＣ、．ｉｍａ、ＮＩＦＴＩ、及び他の用途の他のフォーマットの中から１つ以上を含む。データフォーマットは、デカルト座標又は球面角座標及び動径座標又は３Ｄスキャンされたボリュームの対称性又はスキャン方法に適するように有利に選ばれた他の座標であってよい。．ｐｏｄは、後処理クリーニング及びフィルタリングでの使用に好まれる。
ほぼすべてのＭＲＩスキャナは、ＤＩＣＯＭ．ｄｃｍフォーマット、つまり標準化された医療画像フォーマットで神経画像データを出力する。ベンダ固有のフォーマットは、多くの場合、例えばＰｈｉｌｉｐｓスキャナ上のＰＡＲ／ＲＥＣ等のデフォルトのデータエキスポートタイプである。ＤＩＣＯＭフォーマットの製造メーカ固有の画像の一例は、「．ｉｍａ」フォーマットである。大部分の分析パッケージは、元のデータと直接的に連動できないので、神経画像データの分析は、多くの場合、ベンダ特有のデータをＮＩＦＴＩと呼ばれるデータフォーマットに変換することから開始する。これらのフォーマットのいずれも実施形態への入力としての機能を果たしてよい。
機能性に関する詳細
３Ｄデータセット取得部は、装置１０のための入力機構である。入力は、２つの３Ｄデータセットである。データセットの前提条件は、データセットが共通座標系内のポイントクラウドとして記憶されていることと互換性があること（本文脈での共通は、両方のデータセットにとって共通を意味する）、及びデータセットが、少なくとも部分的に重複している空間の３Ｄデータセットであることである。第１の３Ｄデータセット及び第２の３Ｄデータセットは、同じ撮像装置から入手されてよい。しかしながら、それに対する要求はなく、装置１０は、異なる撮像装置から、異なる撮像技術を使用する撮像装置からも３Ｄデータセットを回転で位置合わせするように構成される。
第１の３Ｄデータセット及び第２の３Ｄデータセットは、例えば、撮像装置又はプリプロセッサから送信され、３Ｄデータセット取得部１２によって受け取られてよい。代わりに、第１の及び第２の３Ｄデータセットは、アドレスによる検索のために３Ｄデータセット取得部１２にアクセス可能なアドレスで物理ストレージに記憶されてよい。
３Ｄデータセット取得部１２は、３Ｄデータセットを入手するための記憶場所の指定を可能にするために、装置ユーザによって構成可能であってよく、係る構成は、例えばインタフェースを介する。代わりに、３Ｄデータセット取得部は、３Ｄデータセットが撮像装置のユーザによって提出又は送信される先の記憶場所又はインタフェースを含んでよい（ここでは、ユーザは、撮像装置演算子又は撮像装置によって生成される３Ｄデータセットを分析又は処理する任意の関係者を意味する）。
３Ｄデータセット取得部１２と記憶部１４との間の示される相互接続は、入手された第１の３Ｄデータセット及び第２の３Ｄデータセットの、３Ｄデータセット取得部１２による記憶部１４への提出を表す。第１の３Ｄデータセット及び第２の３Ｄデータセットは、記憶部１４により共通座方形のポイントのクラウドとして記憶される。
入手された３Ｄデータセットは、三次元のポイントのクラウドである。３Ｄデータセット取得部１２は、共通座標系でのそれぞれのポイントのクラウドを画定するために入手された３Ｄデータセットに対する処理を実行してよい（ここで、共通は、２つの３Ｄデータセットに共通を示す）。３つの直交する回転軸の回りの回転関係（つまり、相対向き）は、それによって記憶部１４での又は記憶部１４による記憶のために提出されたとして３Ｄデータセットに設定される。
記憶部
記憶部１４は、第１の３Ｄデータセット及び第２の３Ｄデータセットを、共通座標系にそれぞれのポイントのクラウドとして記憶するように構成される。記憶部１４は、３Ｄデータセット取得部１２及び回転アライメントプロセッサ１６にアクセス可能である揮発性又は不揮発性のストレージハードウェアである。記憶部１４は、記憶されたデータに対する読取りアクセス及び書込みアクセスを制御するためにコントローラ又は管理部を含んでよい。
記憶部−共通座標系
共通座標系は、両方のポイントのクラウドと同じように表される必要はない。しかしながら、２つのポイントのクラウドが記憶される座標系間の画定された空間及び角度の関係性があり、これによりストレージ内のポイントのクラウドの表現がどうであれ、それらは共通座標系に画定される。
回転アライメントプロセッサ
回転アライメントプロセッサ１６は、ベクトルの第１の集合の各要素及びベクトルの第２の集合の各要素がそれぞれのポイント及び近傍ポイントを表す、記憶されている第１のポイントクラウドをベクトルの第１の集合に変換する、記憶されている第２のポイントクラウドをベクトルの第２の集合に変換する、共通座標系で画定された３つの直交する回転軸の１つ以上でベクトルの第２の集合の第１の集合に対するどの回転角度で、ベクトルの第１の集合の角度分布と、ベクトルの第２の集合の角度分布との間の最大一致度が得られるのかを発見する、計算された一致度が最大である１つ以上の直交する回転軸のそれぞれの回りでの回転角度を記憶する、共通座標系の３つの直交する回転軸の中のそれぞれの１つ以上の回転軸の回りの記憶されている回転角度分、第２のポイントクラウドを回転させる、及び回転した第２のポイントクラウドを出力するように構成される。
ハードウェアに関して、回転アライメントプロセッサ１６は、変換すること、発見すること、回転させること、及び出力することの機能性を実現するために、記憶されている処理命令を実行するためのプログラムされたプロセッサである。さらに、回転アライメントプロセッサ１６は、処理中にデータを記憶するため、及び処理命令を記憶するために揮発性若しくは不揮発性のメモリを含んでよい、又は揮発性若しくは不揮発性のメモリにアクセスを有してよい。そして、回転アライメントプロセッサ１６は、並列処理用のコンピュータクラウド内でのようにメモリのアレイとともに、リアルタイム処理のためのＣＰＵ及び／又はＣＰＵ及び／又はＰＧＡ又はそれらのアレイを有してよい。任意選択で、各ノードはプロセッサ及びメモリを有し、ノードのアレイがある。
回転アライメントプロセッサ−（ネスト化された球体を含む）詳細
回転アライメントプロセッサは、どの回転角度でベクトルの第２の集合がベクトルの第１の集合との最善の一致を示すのかを発見するように構成される。求められている３つの回転軸の回りの回転アライメントの場合、例示的な処理は、ベクトルの第１の集合及びベクトルの第２の集合の各ベクトルに共通の基点を帰することと、共通の基点を中心とし、綿法線単位ベクトルに大きさが等しい半径を有する概念的な球面を球面領域に分割することと、ベクトルの各集合について球面領域あたりのベクトルポイントの度数分布間の数学的な相関を計算することと、ベクトルの第２の集合を回転させることと、該計算することを繰り返すことである。ベクトルの第１の集合及びベクトルの第２の集合の各要素の長さを正規化するステップは、綿法線ベクトルについて実行される。該回転させることは、角度のすべての組合せが、所定の粒度レベルでの各回転軸の回りの所定の角度範囲についてカバーされるまで３つの回転角度のそれぞれで増分的に行われてよい。例えば焼き鈍し法等の最善の一致検出アルゴリズムは、最善の一致が存在する角度の組合せを発見するために実施されてよい。
一致を数値化する方法
ベクトルの２つの集合の角度分布の間の数学的な相関は、角度空間を等しいサイズの領域に分割し、各領域内の各集合からのベクトル数を比較することによって発見されてよい。積分値は、領域のすべて全体で合計することによって計算され、特定の領域からの積分値に対するコントリビューションは、領域内の２つの集合からのベクトルの数の類似性に比例する（例えば、単一の領域内の１つの集合からのベクトルの総数又はベクトルの最高数に従って緩和される）。特定の例として、比較することは、１つの領域の一方の集合からのベクトルポイント数を、同じ領域の他方の集合からのベクトルポイント数で乗算すること、及びすべての球面領域上で積を積分することを含んでよい。
第１の３Ｄデータセットと第２の３Ｄデータセットとの間の回転アライメントは、１つ又は２つの回転軸の回りだけで必要とされ、該発見することは、回転アライメントが求められる回転軸の回りでベクトルの第２の集合を回転させることだけに制限される場合がある。
回転アライメントプロセッサ出力
出力は、データセットが３Ｄデータセット取得部１２によってそこから入手されたデバイス、装置、又は場所に対してであってよい。例えば、データセットは、撮像装置から入手され、撮像装置に又はコンピュータ又は撮像装置と併せて使用されている他のデバイスに出力されてよく、これにより撮像装置及びデータセットアライメント装置１０の組合せは、改善された撮像装置を形成する。出力は、例えば第１の３Ｄデータセットのネイティブ座標系が、入手された第１の３Ｄデータセットが出力された回転した第２の３Ｄデータセットと位置合わせされるように、共通座標系と同じである場合、回転された第２の３Ｄデータセットだけを含んでよい。代わりに、第１の３Ｄデータセット及び回転された第２の３Ｄデータセットの両方が出力され、出力は、２つのデータセットが回転で位置合わせされる座標系で画定された２つのデータセットである。追加の代替策として、出力は、下流処理でのアクセスのために記憶部１４に対してであってよい。
（図１の第２の出力矢印で示される）代替出力又は追加出力として、スキャンを位置合わせする回転角度が出力され、その角度は、撮像装置の回転移動を追跡するために役立つ。
ポイントクラウド、又は回転で及び任意選択で並進で位置合わせされた３Ｄデータセットの他の表現が出力される場合、データは、以下のデータフォーマット、つまり、通常は測量用途に使用される．ｆｌｓ、．ｐｔｘ、．ｌｅｉｃａフォーマット、．ｐｔｌ、．ｅ５７、．ｘｙｚ、．ｐｏｄ、．ｗｒｌ、．ｏｂｊ、．ｌａｓ、．ｌａｚ、及び通常は医療用途に使用されるＤＩＣＯＭ．ｄｃｍ、ＰＡＲ／ＲＥＣ、．ｉｍａ、ＮＩＦＴＩ、及び他の用途の他のフォーマットのうちの１つ以上である場合がある。データフォーマットは、デカルト座標又は球面角座標及び動径座標又は３Ｄスキャンされたボリュームの対称性又はスキャン方法に適するように有利に選ばれた他の座標であってよい。
複数のベクトルタイプ
特にロバスト且つ正確なアライメント結果は、アライメント処理のために各ポイントクラウドの１つ以上のベクトル表示を活用することにより入手できる。本書は、図４の説明でベクトルタイプの考えられる異なるタイプの選択肢を提示する。より多くの情報は、英国特許出願第ＧＢ１７０１３８３．０号の公開版の付録Ｂで見つけることができる。
各タイプのベクトルは、関心のある３Ｄ被写体の異なる態様若しくは量を表す、又は異なる方法でそれらを表す。したがって、面法線ベクトルは、表面又は表面の一部を表し、和ベクトルは、端縁、角、平面の開口部及び閉塞部を表し、発散ベクトルは端縁及び角、球体及び円筒、及び粗い組織の表面を表し、辺ベクトルは端縁を表し、円筒ベクトルは円筒、パイプ、及び柱を表し、複合オブジェクトベクトルは、椅子等の複合オブジェクトを表し、平面ベクトルは平面領域の全体を表し、ポイント密度勾配ベクトルは、実際の密度又は反射率でもあってよいポイント密度の増加の方向を表し、ポイント密度勾配発散は、局所的な高いポイント密度の近いポイント等のポイント密度勾配ベクトルがどこで発散するのかを表し、勾配ベクトルは、例えば、色、輝度、曲率、粗度等の測定値パラメータの増加の方向を表す。したがって、関心のある３Ｄ被写体の中に存在するフィーチャ、構造、及び密度を表すためにともにいくつかのタイプのベクトルを使用することが有利である。これは、ベクトルのそれぞれのために並列で面法線ベクトルについて記述された同じ球面表現構造を構築し、球体をともに回転させ、異なるベクトル球のそれぞれに対して順番に各ベクトルごとに各相関又は一致を実行することによって行うことができる。あるいは、すべての異なるタイプのベクトルは同じ球面表現に描くことができるが、独自のタイプでラベルを付けることができる。次いで、球体が回転され、相互に関連付けられるとき、相関は、各タイプのベクトルと同じタイプのベクトルとの間で別々に計算される。例えば位置合わせされるセグメントを合計し、次いですべての和を合計する等の他の形式の一致も使用できるが、非正規化ベクトルの場合、最小ベクトル長と最大ベクトル長の間の球体の内側及び外側の空間は、半径方向のボリュームセグメント及び円周方向のボリュームセグメントに分割され、各セグメントの中のベクトルポイント又は先端の数は、他のスキャンのための数で乗算され、合計されて、数学的な相関を実行する。
例えば椅子等の複合オブジェクトは、複数のベクトルによって表される必要があり、例えば、１つのベクトルは、椅子が直立しているのか、それともどの方向で倒れているのかを確かめるために椅子の底部から上部を指し、別のベクトルは、椅子がどちらの方向に向いているのかを言うために椅子の後部から前部を指す。これらの２つのタイプのベクトルは、それらが重複スキャンの同じタイプのベクトルとだけ相互に関連付けられ、比較されなければならないという意味で別々に保たれなければならない。
実施形態は、異なるベクトル表示で回転アライメント（及び任意選択で並進アライメント）処理を繰り返す場合があり、結果は組み合わされる場合がある。例えば、面法線ベクトルは第１の実行で使用することができ、和ベクトルは第２の実行で使用できる。本書に開示されるベクトル表示の中からの２つ以上のベクトル表示の任意の組合せは、同様に組み合わせることができる。
異なるベクトル表示を用いた実行の結果は、以下の通り組み合わせることができる。
方法は、各タイプのベクトルが、別々に局所的な最大相関を有するすべての回転を発見すること、及び他のタイプのベクトルのすべてについてその回転での相関を書き留めることを含む。検索方法は、いくつかの高い相関値を発見するために粗い角度ステップを使用してよく、次いで細かい角度ステップを使用し、それらの回転のそれぞれから収束してよい。方法は、これらの回転値を第１の欄に、各タイプのベクトルの相関規模をそれぞれの隣接する欄に記入する表（以下の表１を参照）を作成することを含む。各行の相関のすべてを互いに加算し、和を右側欄に入れること。右側欄に最大値を有する行を発見し、必須回転である左側欄の回転を読み取ること。行全体で相関の和を実施する前に、それぞれの異なるベクトルタイプの相関の各欄を異なる重み付け係数で乗算することが有利である。これらの重み付け係数は、実験的に、又はプロセスの開始時に指定できる関心のある異なる被写体のための異なるタイプのベクトルの相対的な重要性を知ることによって決定される。
Figure 2020514876
 表１：アライメント処理のために異なるベクトル表示を組み合わせること
図２の説明
構成要素及び相互接続の概要
図２に示される装置は、本発明を実施する３Ｄデータセットアライメント装置１０である。装置１０は、その詳細な説明が図１に関して上記に示され、ここでは繰り返されない、図１に示される構成要素、及び並進アライメントプロセッサ１８を含む。並進アライメントプロセッサ１８は、回転アライメントプロセッサ１６に対する相互接続とともに示され、第１の３Ｄデータセット及び第２の３Ｄデータセットが、回転アライメントプロセッサ１６よって並進アライメントプロセッサ１８に出力される場合があることを示す。代わりに、並進アライメントプロセッサ１８と記憶部１４との間の相互接続によって示されるように、並進アライメントプロセッサは、記憶部１４から回転で位置合わせされた３Ｄデータセットを取り出してよい。
追加の代替策として、並進アライメントプロセッサ１８は回転アライメントプロセッサ１６以外のソースから回転で位置合わせされた３Ｄデータセットを受け取る。
並進アライメントプロセッサ
並進アライメントプロセッサ１８は、３本の線の中からの線の各対が平行ではなく、３本の線の中からの線の少なくとも１つの対が同一平面上にない、共通座標系の３本の線のそれぞれについて、第１のポイントクラウドのそれぞれの線の上への投影の位置を、任意の基点に対して記録する、記録された位置を位置の第１の１次元アレイとして記憶する、回転した第２のポイントクラウドの線の上への投影の位置を、任意の基点に対して記録する、記録された位置を位置の第２の１次元アレイとして記憶する、第１の１Ｄアレイと第２の１Ｄアレイとの最大一致度が計算される位置の第１の１次元アレイに対する、位置の第２の１次元アレイの線に沿った平行移動を発見する、及び最大一致度が計算される平行移動を記録するように構成される。並進アライメントプロセッサ１８は、第１のポイントクラウド及び回転した第２のポイントクラウドを、共通座標系のマージされたポイントクラウドとして出力するように構成され、回転した第２のポイントクラウドは、それぞれの記録された平行移動によって共通座標系の３本の線のそれぞれに沿って並進される。並進アライメントプロセッサ１８は、ポイントクラウドをマージすることに備えて、受け取られた回転で位置合わせされたデータセットを記憶部１４に記憶する。したがって、情報は、線に沿った平行移動を発見する過程で失われるので、受け取られた通りの回転で位置合わせされたデータセットのコピーが保持される。マージされたポイントクラウドを出力する代わりに、又はマージされたポイントクラウドを出力することに加えて、並進アライメントプロセッサ１８は、例えば（２つのデータセットのための）撮像手順の間の撮像装置の移動を追跡する際に使用するための並進量（つまり、３本の線に沿った距離）を出力してよい。
追加のオプションとして、手順は、異なる３本の線について繰り返され、それぞれの記録された平行移動は、出力ステップの前に比較されるであろう。例えば、３つの記録された平行移動の各集合は、共通座標系の単一のポイントで表される場合がある（単一のポイントに到達するために次々に共通の基点から３本の線に沿って記録された距離を進む）。ポイントが互いの閾値距離の範囲内にある場合、次いでそれぞれの線に沿った平行移動のいずれかの集合が出力を生成するために使用できる。ポイントが閾値距離の範囲内にない場合、記録された平行移動の集合の閾値割合が互いの閾値距離の範囲内に一致することが判明するまで、手順が繰り返されてよい。
並進アライメントプロセッサ１８は、投影が周期的に表れる線を使用することを回避するように構成されてよい。
ポイントクラウドを折り畳むことなくポイントクラウドを位置合わせするために平行移動を発見するための代替方法として、方法は、両方のスキャンで対応する一致する３Ｄオブジェクト及びフィーチャを発見することを含む場合がある。これらの３Ｄオブジェクト及びフィーチャを位置合わせする並進ベクトルが発見される。次いで、これらの並進ベクトルの中からの最も一般的な並進ベクトルが発見される。これは、ベクトルの長さ及び直交軸に対するベクトルの角度のヒストグラムグラフを描くことによって行われる。次いで、最も一般的な長さ及び角度が選ばれ、最も一般的なベクトルの小さい範囲内のそれらのベクトルが選択され、残りは、両方のスキャンの３Ｄオブジェクトとフィーチャとの正しくない対応により引き起こされる外れ値を削除する方法として廃棄される。
並進アライメントプロセッサ−投影に関する詳細
例えば、３本（以上）の線は相互に直交する直線であってよい。２本の線の平面は水平面であってよい。あるいは、２本の線の平面は、シーンの中の床又は壁又は平面であってよい。線の上への投影は、線に対してある角度をなすベクトルに沿った、又は曲線に沿ったクラウドのあらゆるポイントのものである。投影のベクトルの線に対する角度は、クラウド内のすべてのポイントについて同じベクトルであってよい。代わりに、ベクトルは、ポイントの位置の関数であってよく、該関数は、両方のポイントのクラウドにとって一貫性がある。投影は、線の上への曲線に沿ってよい。この例は、円筒が、線上にあるためにその外周の回りのすべての点を移動させる、又は代わりに半径方向に円筒軸の上に投影することである。また、惑星規模では、又は別の撮像された球状の被写体の場合、緯度及び経度の線上に、及び球体の半径の上に投影することが意味を成すであろう。したがって、それは、緯度線及び経度線がまっすぐでもなく、実際に円形状の線であることを意味する。
図３の説明
構成要素及び相互接続の概要
図３に示されるシステムは、本発明を実施する３Ｄデータセットアライメントシステム１０である。装置１０は、その詳細な説明が図２に関して上記に示され、ここでは繰り返されない、図２に示される構成要素、及び撮像装置２０を含む。撮像装置２０は、測定値を採取し、測定値を三次元内の位置に帰することによって空間を撮像又は測量するように構成される。複数の係る測定値は、データセットで表される空間（又は被写体）の画像を形成する。
スキャン
撮像装置２０は、各ポイントが測定値に対応するポイントクラウドを生成する場合もあれば、撮像装置２０は、ポイントクラウドへの変換を実行する３Ｄデータセット取得部１２を用いてなんらかの他のフォーマットでデータセットを生成する場合もある。撮像装置２０によって作られるデータセットのそれぞれは、（例えば、視界を掃引する場合がある）撮像プロセスの連続ポイントで記録されるデータを含み、各ポイントは、撮像プロセスの分解能及び方向により決定される程度までその近傍から分離され、各ポイントは、撮像装置２０に対するポイントの位置についてのデータを記録し、各ポイントは測定値に応えて撮像装置によって生成され、言い換えれば、データセットの各ポイントは、撮像装置２０による測定値を表す。図３は、単一の撮像装置２０をしめすが、異なる撮像装置２０が各データセットの原因になる場合がある。
スキャナ対出力の関係
撮像装置２０のユーザ、又はデータセットがそれのために生成される関係者は、装置１０の出力の目的地である場合もある。データセットがそれのために生成される関係者の視点から、及び撮像関係者のために、撮像装置２０及び装置１０を含んだシステムは、改善された撮像装置２０である。
本発明では、モデル構築のためのタスクとシミュレーションのためのタスクは分かれている。これらのタスクはモデル構築ソフトウェアによって構築されたモデルを受信するシミュレーションシステムによって扱われるので、ユーザーは数値計算アルゴリズムの実装に煩わされることなくモデルを構築するための構造及び論理に重点的に取り組むことができる。
スキャナの例
撮像装置２０は、例えば以下であってよい。
・ハンドヘルドライダスキャナ
・固定された三脚ベースのライダスキャナ
・地中レーダ
・３Ｄモバイルライダ、又は３Ｄデータセットがそれから生成される２Ｄライダ
・電気抵抗トモグラフィ（ＥＲＴ）スキャナ又は電気抵抗イメージング（ＥＲＩ）スキャナ
・ＣＴ（コンピュータ断層撮影）スキャナ又はＣＡＴ（コンピュータＸ線体軸断層撮影）スキャナ
・ポジトロン断層法（ＰＥＴ）スキャナ
・ＭＲＩ（磁気共鳴イメージング）スキャナ
・核四重極スキャナ
・３Ｄテラヘルツ波スキャナ
・立体照明に基づいたプロジェクションマッピングスキャナ
・離間した２Ｄカメラを使用する写真測量スキャナ
・３Ｄ超音波スキャナ
・３Ｄ地震スキャナ、又は
・３Ｄソナースキャナ
・光学干渉計
・写真測量法
・プロジェクションイメージング
・Ａｌｐｈａｓｔｅｐ、Ｔａｌｙｓｔｅｐ、Ａｔｏｍｉｃ Ｆｏｒｃｅ Ｍｉｃｒｏｓｃｏｐｅ、ＳＮＯＭ等の表面３Ｄプロファイリング
・スキャン焦点面、Ｚスタック
スキャンは以下を含んでよい。
・焦点からの形状
・陰影からの形状
・テクスチャからの形状
・シルエットからの形状
・シェーディングからの形状
・テンプレートからの形状
・対称からの形状
・変化する照明及び視点からの形状
・移動又はオプティカルフローからの形状
・相互作用からの形状
・位置コントラストからの形状
・ピンボケからの形状
・コンピュータ支援設計、コンピュータ生成モデル又は計画における仮想３Ｄコンピュータ生成画像
例示的なスキャナに関する詳細は、英国特許出願第ＧＢ１７０１３８３．０号の公開版の付録Ａに提供される。
図４の説明
概要及び他の図に対する関係
図４は、実施形態の、又は実施形態により実施される方法を示すフローチャートである。撮像ステップＳ１０１は、撮像装置２０の機能性の例示である。前処理ステップＳ１０２は、撮像装置２０又は３Ｄ画像取得部１２の機能性の例示である。記憶されているポイントクラウドステップＳ１０３は、記憶部１４と協調して動作する３Ｄ画像取得プロセッサ１２の機能性の例示である。ポイントクラウドをベクトルへ変換及びフィルタにかけるステップＳ１０４は、ベクトル角度分布ステップＳ１０５の最善の一致を発見し、ポイントのクラウドを回転で位置合わせのステップＳ１０６は、回転アライメントプロセッサ１６の機能性の例示である。線上へポイントを投影のステップＳ１０７は、投影ステップＳ１０８の最善の一致を発見し、並進アライメントステップＳ１０９は、並進アライメントプロセッサ１８の機能性の例示である。ステップが「ａ」及び「ｂ」に分けられている場合、それは、ステップが２つの画像について別々に処理される旨の表示である。
スキャン
ステップ１０１で、３Ｄシーン又は被写体の一部は、第１のポイントクラウドを入手するために撮像装置２０によって撮像される。ステップＳ１０１ｂで、３Ｄシーン又は被写体の別の部分は、３Ｄスキャン又は被写体が経時的に変化し、第２のポイントクラウドを入手するように、例えば完全に重複しているが、異なる時点で撮影されたステップＳ１０１ａで撮像された３Ｄシーン又は被写体の共通部分と重複する又は共通部分を有する。ステップＳ１０１ａ及びステップＳ１０１ｂは、互いと同時に又は異なるタイミングで実行されてよい。それぞれの画像を担当する撮像装置（複数可）での向きに差異がある場合があり、アルファ、ベータ、及びガンマと呼ばれる３つの回転軸の回りでの回転アライメントの差異は少なくとも部分的に未知である。それぞれの画像を担当する撮像装置（複数可）の位置に差異がある場合があり、デルタｘ、デルタｙ、及びデルタｚの並進位置の差異は少なくとも部分的に未知である。
任意選択で、各スキャンの中でのスキャナの位置は、ポイントクラウドのポイントに対して、又は外部基準座標に対して（例えば、ｘ、ｙ、ｚ座標で）直接的に記録されてよい。この情報は、メタデータとしての各データセットから生じる３Ｄデータセットとともに記憶される場合もあれば、情報が３Ｄデータセット自体から引き出すことができる情報である場合もある（例えば、位置座標がスキャナ場所に相当する起点に対する場合）。スキャナの場所は、さらに、そうでなければ３Ｄデータセットの．ｘｙｚファイル表示であるであろうものに記憶されてよい。
フィルタリング
ステップＳ１０２ａ及びＳ１０２ｂで、それぞれの画像が３Ｄ画像取得部１２によって入手される前、又はそれぞれの画像が３Ｄ画像取得部１２によって（つまり、３Ｄ画像取得部１２によって）入手された後のどちらかに任意選択の前処理がそれぞれの画像に対して実行される。
前処理を実行するかどうか、及びどの前処理を実行するのかは、例えば２つの３Ｄデータセットとともに提出される引数として、装置のユーザによって選択されてよい。代わりに、装置１０は、例えば同等な目的のための複数のアルゴリズムを実行のために記憶する実施形態でのアルゴリズム、又はその実行が任意選択であるアルゴリズムの選択等の、実行命令を受け取るための（例えば、ＧＵＩ又はテキストインタフェース等の）インタフェースを提供してよい。
フィルタリング詳細
前処理は以下の１つ以上を含んでよい。
− 撮像装置が遠い目標物と同じ視線内の近傍の目標物の端縁を調べるとき、又はビームが輝いている表面から反射する若しくは煙あるいはかすみから散乱するときに一般的に発生する、３Ｄ空間で浮遊する、アーチファクト、つまりそうでなければ分離されたポイントのクラスタを削除することによって画像をフィルタにかけ、クリーニングするためのクリーニングアルゴリズムを実行すること、
− レンジフィルタリングを適用することによって画像をフィルタにかけ、クリーニングするための測距アルゴリズムを実行すること、
− ポイント密度を一様にするための空間サンプリング、
− スキャンが行われている間に目標物又は人がシーンの中で動くことによる漂遊ポイントを検出し、削除すること、
− 後に登録プロセスをより困難にする場合がある物理的な目標物又はシーン内の幾何学形状に対応するポイントを検出し、削除すること（例えば、その不均一な空間分布のためにスキャン登録をより困難にする木及び藪の枝葉又は他の不規則な形状を検出すること）又はユーザがこれらに関心がないため（例えば、ユーザが壁の場所だけに関心があるときに、部屋から家具及び人を取り除くこと）
− 平面を平らな表面に、又は下位多項式曲面を曲面に適合することによる平滑化
雑音除去
前処理は、それぞれのポイントのクラウドに対して雑音除去アルゴリズムを実行することも含んでよい。この目的のために利用できる多くのタイプの雑音除去アルゴリズムがある。例えば、バイラテラル雑音除去アルゴリズムが使用できるであろう。また、実施形態は、３Ｄ画像取得部による取得時に以前に測定されていなければならなかったであろう距離及び角度の関数として雑音を記述する関数を使用し、デコンボリューションを実行することもできる。代わりに、前処理は、雑音を自動的に測定し、それを除外するウィーナーフィルタを使用することを含んでよい。別の可能性は、自動運転車の実施態様においてのようなリアルタイム雑音除去にとって最善であるであろうカルマンフィルタである。
記憶すること
ステップＳ１０３ａ及びＳ１０３ｂで、画像は、画像が共通座標系によって定義されるフォーマットで記憶部１４に記憶される。共通座標系は、概念的な３Ｄ作業領域として実施されてよい。共通座標系の２つの画像の相対的な位置及び向きは任意である場合もあれば、画像のネイティブ座標系間の関係によって決定される場合もある。撮像装置が高さ、コンパス方位、高度について何らかの情報を記録した場合、次いでこの情報は、後の網羅的な一致計算を最小限に抑えるために、作業領域への配置で使用できる。
ベクトルを生成すること
ステップＳ１０４ａ及び１０４ｂで、ポイントのクラウドは、それぞれのベクトル集合に変換される。任意選択で、ポイントのクラウドは、ポイント密度が２つの画像全体でほぼ均一になるように、変換前に縮小されてよい。縮小は、それぞれがポイントを近傍ポイントと結合して一様な粒度又はサンプリングを得る八分木アルゴリズム又はＫｄ木アルゴリズムを使用し、実行されてよい。
八分木アルゴリズムは、その中心に問合せ点を有する１つの立方体を取り囲む空間を８つの同一の立方体に切断する。各立方体内のすべてのポイントは、各立方体の中心における単一のポイントによって置換される。ｋｄ木アルゴリズムを使用することは、３次元でＫ個の最近傍ポイントを発見する。３Ｄ空間は、ｘ、ｙｚ軸に沿って小さい立方体に切断される。各立方体内のすべてのポイントは、各立方体の中心にある単一のポイントによって置換される。
面法線
同じベクトル生成技術／アルゴリズムが、両方のポイントのクラウドに対して実行される。
ベクトルの集合は、面法線単位ベクトルであってよい。係る場合に変換することは、例えばＫ個の近傍の固定距離近傍ポイントを使用し、近傍ポイントの集合を選択すること、問合せポイント及び近傍ポイントの集合の位置が記録される共分散行列を計算すること、及び共分散行列を解いて、それらのポイントに３つの固有値及び３つの固有ベクトルを発見することを含む。最小固有値を有する固有ベクトルが、問合せポイントの法線ベクトルであり、それは正規化される。代わりに、小さい平面パッチは、平面からのポイントの距離を最小限に抑えるために、問合せポイントの近傍のポイントに位置合わせできる。次いで、この小さい平面パッチの面法線は、そのポイントでの面法線であると解釈できる。面法線の方向は、それが、面法線ベクトルとポイントからスキャナへのベクトルとの間の角度がつねに１８０度未満となることを確実にすることによって、スキャナに向かって指すように選ばれる。これは、例えば床のすべての面法線ベクトルが、概して上方を指し、天井のすべての法線ベクトルが概して下方を指すべきであることを確実にする。
スキャナの場所が、メタデータとしての３Ｄデータセットとともに記憶される、又はスキャンデータから引き出すことができる実施形態では、面法線単位ベクトルは、それらがすべてスキャナを指すように構成されてよい。代替策として、面法線単位ベクトルは、それらがすべてスキャナから離れて指すように構成されてよい。どちらの方向が選ばれても、それは位置合わせされている両方の３Ｄデータセット全体で一貫している。これは、面法線ベクトルと、ポイントから既知のスキャナ基準場所へのベクトルとの間の角度がつねに１８０度未満である（または、代替の場合は、１８０度を超える）ことを必要とすることによって行われる。１８０度未満ではない場合、面法線の方向は、逆転される。これは、例えば、床のすべての面法線ベクトルが概して上方を指すべきであり、天井のすべての法線ベクトルが概して下方を指すべきであることを確実にする。
代替ベクトル表示
面法線単位ベクトルの代替策として、又は複数のベクトルタイプがスキャンの間に（互い及び結合されたそれぞれの回転アライメントとは無関係に）比較され得るように１つ以上の追加のタイプのベクトルを生成するために、ベクトルフィールド（すなわち、ベクトルの集合）が以下の技術の１つ以上を使用し、生成される場合がある。
任意選択で、第１のポイントクラウド及び第２のポイントクラウド全体で単位面積あたり又は単位体積あたりでポイント密度を相互に標準化する（この動作は、ポイントクラウドのタイプ及び密度分布に応じて任意選択である）、個別にポイントクラウドごとに、問合せ点としてのそれぞれのポイントクラウドでの各ポイントに対して、問合せポイントの回りに所定の半径の検索半径球体を形成する、又は最近傍ポイントの最近傍指定数を発見するように構成されたサンプリングアルゴリズムを実行すること。問合せポイントから検索半径球体の中の最近傍ポイントのすべてのそれぞれまでの、又は指定数の最近傍ポイントまでのベクトルを計算する。次いで、ベクトル足し算を実行して、ここで「和ベクトル」と呼ばれるベクトル和を発見する。
角度雑音を削減するために、各ポイントの回りで適切な半径を有する計算球体ボリュームを作成することによって平滑化を実行すること、及びその内側で和ベクトルのすべてをベクトル的にともに加算することが役立つ。代わりに、計算球体ボリュームは、端縁を中心とする適切な半径を有する計算円筒ボリュームで置換されてよい。ポイントクラウドのポイントは、フィルタにかけられ、削減される、又は例えば、次いで並進アライメントを計算するときに端縁だけに位置合わせできる端縁を抽出するために、和ベクトルの長さ若しくは角度方向に基づいて選択される若しくはラベルを付けられてよい。
和ベクトルがガウス球に転送されるとき、そのヘッドの軌跡は、多くの場合、ガウス球の中心から外向きにであるが、必ずしも半径に沿わずに放射する、ほぼ連続的な「ストリーマー」フィーチャとして出現し、起点から最も遠いストリーマーの端部は、半径方向から最も離れて曲げられている。したがって、有利なフィルタリングは、和ベクトル長の範囲を選択して、２つの重複するスキャンのそれぞれに明確に出現する同じストリーマーの部分を選択するために使用されるべきである。次いで、ストリーマーのこの部分はアライメントに使用できる。有利なことに、空間フィルタリングは、最初にストリーマーに適用されて、線分又は曲線状の下位多項式をストリーマーに適合することによってそれらを平滑化してよい。有利なことに、フィルタリング後、和ベクトルは、ストリーマーのパターンをガウス球の表面上に投影するために正規化されてよく、その場合２Ｄ相関は、３Ｄ相関を必要とするその３Ｄボリュームの内側よりむしろガウス球の表面上で便宜上実行できる。
問合せポイントが、平面の中央にある場合、和ベクトルの大きさはほぼゼロであり、ベクトルの方向はほぼ無作為である。問合せ点が平面の端縁に近い場合、和ベクトルの大きさははるかに大きく、問合せポイントが平面の端縁に向かって移動してもより大きくなる。和ベクトルは、平面に平行にあり、ポイントは任意の近傍の平面端縁から離れ、及び任意の近傍の平面端縁に垂直にある。端縁が２つの平面の角である場合、次いで問合せ点がその角に近づくにつれ、和ベクトルは平面から外を指し始め、角でその最も長い長さを有し、両方の平面にほぼ等しい角度をなして指す。３つ以上の平面間の角の場合は同様に行う。適切なフィルタリング及び領域拡張によって、端縁上又は角にあるポイントは識別できる。端縁は、和ベクトルの角度、又は近傍の平面への又は局所的な面法線への正規化された和ベクトルによって角から区別できる。
和ベクトルの長さは、それが発する元のポイントクラウドのポイントが端縁上又は角に位置する尤度を示す。近傍の面法線ベクトルに対するその角度は、ベクトルドット積を実行し、２つのベクトルの大きさの積で除算し、余弦がこの数である角度を発見することによって発見できる。この角度は、端縁があるのか、それとも角があるのかを示し、そうである場合、それが、例えば２つの平面が会う端縁、又は例えば出入り口若しくは窓等の平面内の閉塞部若しくは穴等、どのような種類の端縁であるのかを示す。係るベクトルの相関又は一致は、ベクトルが異なる長さを有するので、ガウス球の中でのボリューム相関又は一致を必要とする。この複雑さを回避するために、ベクトル長は、それらのベクトルの正規化されたバージョンと関連付けられた測定値又はパラメータであると見なされる場合がある。これらの測定値又はパラメータは、それらのパターンの輝度又は色であると見なされてよいガウス球の表面上のパターンに組み込まれる。つまり、これらの測定値又はパラメータは、別個に保たれ、それ自体のタイプの測定値又はパラメータと相互に関連付けられなければならない、又は一致させられなければならない。
和ベクトルは、その長さを計算球体の中の又は近傍のポイント数で除算することによって正規化されてよい。代わりに、和ベクトルは単位長さに正規化されてよく、その場合、それは「メジアンベクトル」（問合せポイントがフィーチャの端縁の部分であるのか、それとも図８に示されるフィーチャの内部の一部であるのかを判断するためにメジアンベクトルを使用するためのアルゴリズム）と呼ばれる場合がある。非正規化和ベクトルは、最も長いもの若しくは閾値よりも長い長さを有するものを選ぶためにフィルタにかけられる場合がある、又はこれは端縁と関連付けられたポイントを発見するために、分布を最初に平滑化した後に行われてよい。非正規化和ベクトル又は正規化和ベクトルは、端縁又は角と関連付けられたポイントを発見するために、及びそれがどの種類の端縁又は角であるのかを判断するために、局所的な面法線ベクトルに対するその角度に応じてフィルタにかけられる場合がある。
メジアンベクトルを発見するための代替方法は、問合せポイントを選び、その回りに小さい検索半径の球体を形成する、又は最近傍ポイントの最近傍指定数を発見することである。問合せポイントを含んだこれらの近い近傍ポイントのすべての幾何中心を計算する。次いで、問合せ点から幾何中心へのベクトルを計算する。このベクトルの長さは、問合せ点と幾何中心との間のユークリッド距離であってよい、又はより一般的には、長さは単位元に正規化される。
ポイントのクラウドをベクトルのそれぞれの集合に変換するための追加の技術／アルゴリズムは以下を含む。
任意選択で、第１のポイントクラウド及び第２のポイントクラウド全体で単位面積あたり又は単位体積あたりでポイント密度を相互に標準化する（この動作は、ポイントクラウドのタイプ及び密度分布に応じて任意選択である）、個別にポイントクラウドごとに、問合せポイントとしてのそれぞれのポイントクラウドの各ポイントに対して、面法線を計算するように構成されたサンプリングアルゴリズムを実行すること。次いで、小さい検索半径の球体の中の近い近傍ポイントのすべての法線と比較された問合せポイントでの法線との間の、又は指定数の最近傍ポイントについて角度偏差を計算する。これは、隣接するポイント又は特定の検索半径の中のポイントの面法線ベクトルの間のドット積を発見し、次いで角度を発見するために結果の逆余弦を発見することによって行うことができる。平均角度偏差を発見する。局所的な「発散ベクトル」は、次いでこのポイントでの面法線ベクトルと同じ方向でのベクトルであるが、平均発散角度に等しい又は比例する大きさ又は長さを有する。実際には、それらはその発散でスケーリングされた面法線ベクトルである。図１０から図１２は、発散ベクトルを発見するためのアルゴリズムを示す。代替方法では、面法線ベクトル及び和ベクトルは、各ポイントで計算され、ドット積又は内積は、それらの間で発見される。ドット積の大きさは、ベクトルの長さをスケーリングするために使用できる。選ばれた発散ベクトルは、ポイントでの面法線ベクトル又は和ベクトルのどちらかであってよい。これの優位点は、ドット積が正又は負のどちらかであり、したがって発散ベクトルの方向、及び端縁が凸状であるのか、それとも凹状であるのかを決定するという点である。アライメントのために使用されるとき、それは、凸状端縁が凸状端縁に位置合わせされ、同様に凹状の端縁が凹状端縁と位置合わせされ、したがって凹状の端縁がそうでなければ凸状の端縁に位置合わせしてよいとき、正しくないアライメントの可能性を削減する。角度雑音を削減するために、各ポイントの回りに適切な半径を有する計算球体ボリュームを作成することによって平滑化を実行し、その内側の発散ベクトルのすべてをともにベクトル的に加算することが役立つ。代わりに、計算球体ボリュームは、端縁を中心とする適切な半径を有する計算円筒ボリュームで置換されてよい。ポイントクラウドのポイントはフィルタにかけられ、削除される、又は例えば、次いで並進アライメントを計算するときに端縁だけに位置合わせできる端縁を抽出するために、発散ベクトルの長さ若しくは角度方向に基づいて選択される若しくはラベルを付けられてよい。
フィルタリングは、特定の小さい計算局所領域への最長の局所発散ベクトル、又は特定の指定閾値よりも長いベクトルを選択するために適用されてよい。これは、角度雑音及び長さ雑音及び変動を削減するために発散ベクトル分布の事前の平滑化の後に行われてよい。言及された、 小さい計算局所領域は、通常、計算球体又は面法線を発見するために使用された近傍のサイズよりも大きく、賢明に選ばれる必要がある。
発散は、平面が会う端縁で最大であり、平坦な滑らかな平面の中央で最小であるので、フィルタにかけられた発散ベクトルと関連付けられたポイントは、それらの端縁と関連付けられる。さらに、発散の空間分布は、端縁が鋭いか、それとも丸みを帯びているのか、及びそれが３つ以上の平面間の端縁であるのか、それとも角であるのかを区別するために使用される場合があり、これらは適切なフィルタリングによって分離されてよい。また、発散ベクトルの長さは、表面の局所的な曲率半径も示す。したがって、適切なフィルタリング及びその長さに基づいた領域拡張によって、例えば球体及び円筒は、３Ｄスキャンされたデータセットからセグメント化されてよい。係るベクトルの相関又は一致は、ベクトルが異なる長さを有するので、ガウス球の中のボリューム相関又は一致を必要とする。この複雑さを回避するために、ベクトル長は、それらのベクトルの正規化されたバージョンと関連付けられた測定値又はパラメータであると見なされる場合がある。これらの測定値又はパラメータは、それらのパターンの輝度又は色であると見なされてよいガウス球の表面上のパターンに組み込まれる。つまり、これらの測定値又はパラメータは、別個に保たれ、それ自体のタイプの測定値又はパラメータと相互に関連付けられなければならない、又は一致させられなければならない。発散ベクトルの方向は、発散又は局所的な曲率半径が、凹状又は凸状である、正であるのか、それとも負であるのかに応じて正又は負に設定される場合がある。
平面の表面が粗い又は表面組織を有するとき、平面の中央の発散ベクトルはなんらかの大きさを有する。係る場合、フィルタリングは、係る平面の中央と関連付けられた長さを有する発散ベクトルを除外しなければならないが、端縁又は角のはるかに大きい発散と関連付けられたより長い長さを有する発散ベクトルを含まなければならない。また、平面表面上の発散ベクトルの長さは、多くの場合、表面が作られる材料に対する関係性を有する表面組織又は粗度の表示も示す。したがって、類似する長さの発散ベクトルを有する領域は、識別され、多くの場合同じ材料から作られ、オブジェクトのセグメント化を支援できる１つのオブジェクトの中にともにリンクされる場合がある。
ポイントのクラウドをベクトルのそれぞれの集合に変換するための追加の技術／アルゴリズムは、以下を含む。
端縁と関連付けられたポイントクラウドのポイントを発見すること。これは、和ベクトルを発見し、それらをフィルタにかけることによって、又は発散ベクトルを発見し、それらをフィルタにかけることによって、又は例えば角度基準若しくはＢＡＯアルゴリズム等の他の既知の技術を使用することによって、又は例えばＲＡＮＳＡＣ平面検出若しくはハフ変換面検出等の既知の方法を使用し、最初に平面を検出することによって行われてよい。次いで、各平面の境界を発見するためにＲＡＮＳＡＣ線検出アルゴリズムを適用すること。ＲＡＮＳＡＣ線検出は、単独で直接的に使用される場合があるが、最初に平面を発見し、次いで端縁を発見する方がより信頼性が高い。角度基準技術の例は、図６に示される。図７は、ＢＡＯアルゴリズムの例を示す。「辺ベクトル」は、例えば線の特定の近傍の中のすべてのポイントの線に垂直な距離の最小化等の既知の方法を使用し、直線又は直線分を端縁ポイントに適合することによって構築される。これらの線分の方向は、辺ベクトルの方向を形成し、その大きさはポイントを特定の確度の範囲内に適合する最長の線の長さである場合もあれば、大きさは単位元に正規化される場合もある。ベクトルが線に沿って一方を指すのか、それとも他方を指すのかは、ベクトルすべてをスキャナに対して向ける、若しくはすべてスキャナから離して向けることによって、又は凸状端縁のためにそれらを上方に向け、凹状端縁のためにそれらを下方に向ける、又は逆も同様にすることによって判断できる。係る辺ベクトルは平面又は端縁にあり、概して それらのポイントにある和ベクトル又は発散ベクトルに対してある角度、通常は直角をなす。それらは、端縁に沿っていくつかのポイント上である程度の平均化を実行し、したがって雑音を削減する。係るベクトルの相関又は一致は、ベクトルが異なる長さを有するので、ガウス球の中でのボリューム相関又は一致を必要とする。この複雑さを回避するために、ベクトル長は、それらのベクトルの正規化されたバージョンと関連付けられた測定値又はパラメータであると見なされる場合がある。これらの測定値又はパラメータは、それらのパターンの輝度又は色であると見なされてよいガウス球の表面上のパターンに組み込まれる。つまり、これらの測定値又はパラメータは、別個に保たれ、それ自体のタイプの測定値又はパラメータと相互に関連付けられなければならない、又は一致させられなければならない。代わりに、セグメント化アルゴリズムは、端縁を発見し、区別するために使用できる。これは、例えば曲率、反射率、サイズ、面積、形状、テクスチャ、表面粗度、色、スキャナからの方向及び距離、並びに隣接する平面又は隣接する平面の面法線の間の角度の組合せに基づいて行われてよい。次いで、それぞれの異なるセグメント化された端縁ための辺ベクトルは、異なるタイプの辺ベクトルとしてラベルを付けられる場合がある。これは、長さ若しくは端縁上のポイント数に基づいてその長さを設定する、又は単にそれにラベルを付けることによって行われてよい。これは、同じタイプの区別可能な端縁だけが、重複するスキャンで同じタイプの他と相互に関連付けられることを確実にする。
面法線単位ベクトルに設定された代わりのベクトル又は追加のベクトルとして：ベクトルの第１の集合のベクトルは円筒ベクトルを含み、第２の集合のベクトルは円筒ベクトルを含み、第１のポイントクラウドを円筒ベクトルの第１の集合に変換すること、及び第２のポイントクラウドを円筒ベクトルの第２の集合に変換することは、以下を含む。３Ｄデータセット内の円筒の認識のための方法を使用し、その半径、位置、及び向きを発見する。次いで、「円筒ベクトル」は、発見された円筒の軸に沿って、軸で、及び軸の向きに平行であり、発見された円筒のそれぞれの半径に関係する大きさ又は長さを有する。円筒ベクトルが円筒軸に沿って一方を指すのか、それとも他方を指すのかは、円筒ベクトルをすべてスキャナの方へ向ける又はすべてスキャナから離して向けることによって判断できる。また、円筒ベクトルは、単位元大きさに正規化されてもよい。ベクトルフィールドを生成するための例示的な曲率アルゴリズムは、図９に示される。例えば効率ハフ変換（Ｅｆｆｉｃｉｅｎｔ Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍ）及びＲＡＮＳＡＣを用いる効率ハフ変換等の、又はガウス球上に投影されるとき大きい円を発見することによって、円筒を発見するためのいくつかの既知の方法がある。しかしながら、ガウス球に雑音を引き起こす多くの円筒及び他のフィーチャがある場合、円筒を検出するためにこの方法を使用することは困難である場合があり、その場合、以下の方法の方がよい。
最初に、綿法線単位ベクトルを発見する。同じ曲率を有する又は特定の曲率の範囲内のすべての領域を識別するためにセグメント化アルゴリズムを使用し、これらの領域と関連付けられたポイントは追加処理のために保存される。曲率は、例えば最小固有値λ０の計算又は（λ０／（λ０＋λ１＋λ２））の計算、又は（λ０／（λ０＋λ１）の計算、又はλ０／λ１の計算、若しくはこれらのなんらかの組合せ等の既知の技術を使用し、面法線を発見するときにＰＣＡによって発見された固有値を使用する、又は特定の範囲内にある大きさを有するために上述された発散ベクトルをフィルタにかけることによって、発見されてよい。セグメント化アルゴリズムは、円筒を発見し、円筒を区別するために使用できる。セグメント化は、例えば曲率、反射率、サイズ、面積、形状、テクスチャ、表面粗度、色、スキャナからの方向及び距離、面法線の方向の組合せに基づいてアルゴリズムの次の部分で検索されることを必要とするポイントの数を削減するために使用されてよい。次いでそれぞれの異なるセグメント化された円筒の円筒ベクトルは、異なるタイプの円筒ベクトルとしてラベルを付けられる場合がある。これは、面積又は円筒上のポイント数に基づいてその長さを設定する、又は単にそれにラベルを付けることによって行われてよい。これは、同じタイプの区別可能な円筒だけが、重複するスキャンの同じタイプの他と相互に関連付けられることを確実にする。
その法線ベクトルを有する２つのポイントを無作為に選び、それらがともに同じ円筒上にあると仮定し、円筒の幾何学的特性に従ってポイントを適合するモデル円筒の向き、半径及び位置を計算する。互いから一定の距離の範囲内にあるように２つの無作為なポイントを選ぶことは有益である。すべてのポイントクラウドのポイントの円筒の表面からの法線距離を計算する。閾値を適用し、その円筒モデルの特定の距離の範囲内のポイントだけを保つ。やはり実装されてよい追加のフィルタリング技術では、各ポイントの面法線が、検討中の円筒モデルの軸に対してほぼ直角であるかどうかがチェックされる。その円筒モデルと関連付けられたポイントの数を記録する。次いで、それらと関連付けられた最大数のポイントを有する円筒を発見するためにプロセス全体を繰り返す。多くの場合、全体的なプロセスを再び繰り返す前に、その円筒モデルと関連付けられた選択されたポイントのすべてを使用して、円筒モデルの向き、半径、及び位置のパラメータを再計算することが役立つ。いったん良好な円筒モデルが発見され、その表面曲率、表面角度偏差、又は粗度、次いでその表面に近いポイントは、それらが領域拡張のためのこれらのパラメータの小さい範囲内にあるかどうかを見るために調べることができる。
係るベクトルの相関又は一致は、ベクトルが異なる長さを有するので、ガウス球の中でボリューム相関又は一致を必要とする。この複雑さを回避するために、ベクトル長は、それらのベクトルの正規化されたバージョンと関連付けられた測定値又はパラメータであると見なされる場合がある。これらの測定値又はパラメータは、それらのパターンの輝度又は色であると見なされてよいガウス球の表面上のパターンに組み込まれる。つまり、これらの測定値又はパラメータは、別個に保たれ、それ自体のタイプの測定値又はパラメータと相互に関連付けられなければならない、又は一致させられなければならない。
同様に、他のベクトルは、環状体、円錐、錐台、放物体、双曲面、楕円体等を表すために定められてよい。
ポイントのクラウドをベクトルのそれぞれの集合に変換するための追加の技術／アルゴリズムは、以下を含む。
３Ｄデータセットでの３Ｄ複合オブジェクトの認識のための方法を使用し、その位置及び向きを発見する。明確にするためにここで言及される複合オブジェクトの例 は、椅子である。ただし、それは任意のタイプの複合オブジェクトを意味すると解釈される。認識は、３Ｄオブジェクトの例が利用できる場合、例えば３Ｄオブジェクトテンプレート一致等の既知の方法を使用してよい、又は認識は、より一般的に、通常、それらを区別するために用いられる椅子とともに室内で発見される場合がある他のタイプのオブジェクトの多数の例とともに、異なる向き及び尺度の多数の異なるタイプの椅子の非常に大きいデータベースに対して訓練されたディープラーニングを使用してよい。次いで、１つ以上の複合オブジェクトベクトルは、複合オブジェクトの場所、向き、及びおそらく尺度と関連付けられてよい。したがって、椅子の例の場合、第１のベクトルは、椅子の背部に沿って椅子のシートに垂直に上方に向いてよい。一方、第２のベクトルは、このベクトルに直角をなし、椅子のシートの平面内にあり、椅子の背部から離れて向いてよい。これらのタイプのベクトルのそれぞれは、区別可能に保たれる必要があり、同じタイプのベクトルと、ガウス球でのみ相互に関連付けられる又は一致させられなければならない。したがって、椅子のシートに垂直なベクトルは、椅子のシートの平面にあるベクトルと相互に関連付けられてはならない、又は一致させられてはならない。代わりに、セグメント化アルゴリズムは、複合オブジェクトを発見し、区別するために最初に使用できる。これは、例えば、曲率、反射率、サイズ、面積、形状、テクスチャ、表面粗度、色、スキャナからの方向及び距離の組合せに基づいて行われてよい。次いで、異なるセグメント化された複合オブジェクトごとの複合オブジェクトベクトルは、異なるタイプの複合オブジェクトベクトルとしてラベルを付けられる場合がある。これは、複合オブジェクト上のポイントの面積若しくは数、若しくはそのテクスチャ若しくは反射率に基づいてその長さを設定する、又は単にそれにレベルを付けることによって行われてよい。これは、同じタイプの区別可能な複合オブジェクトだけが、重複するスキャンで同じタイプの他と相互に関連付けられることを確実にする。
ポイントのクラウドをベクトルのそれぞれの集合に変換するための追加の技術／アルゴリズムは、以下を含む。
面法線ベクトルを発見すること。例えば、表面曲率、面法線角度偏差、色、反射率若しくは粗度、及び平面からの距離に基づいてＲＡＮＳＡＣ平面検出、若しくはハフ変換平面検出、若しくは領域拡張等の既知の方法によって、又はこれらの方法の組合せによって実行されてよい、平面を発見すること。また、平面は、ガウス球でベクトルを表し、面法線ベクトルの集中又は高密度を探すことによって発見されてもよい。面法線ベクトルの密度の幾何中心は、平面のベクトルである。
平面が発見されると、各平面の面積が発見される、又は代わりにその平面と関連付けられたポイントの数が発見される。次いで、それぞれの発見された平面は、面法線ベクトルであるが、長さが平面の面積、又はその平面と関連付けられたポイント数に等しく、平面の幾何中心又は質量中心に位置する「平面ベクトル」によって表される。代わりに、セグメント化アルゴリズムは、平面を発見し、区別するために使用できる。これは、例えば、曲率、反射率、サイズ、面積、形状、テクスチャ、表面粗度、色、スキャナからの方向及び距離の組合せに基づいて行われてよい。次いで異なるセグメント化された平面ごとの平面ベクトルは、異なるタイプの平面ベクトルとしてラベルを付けられる場合がある。これは、平面上のポイントの面積又は数に基づいてその長さを設定する、又は単にそれにラベルを付けることによって行われてよい。これは、同じタイプの区別可能な平面が、重複するスキャンで同じタイプの他とだけ相互に関連付けられることを確実にする。代わりに、小さいテンプレート平面は、平面からのポイントのエラーを最小限に抑えるためにポイントクラウドに適合される場合がある。次いで、小さいテンプレート平面は、その法線及び他の属性が、領域を拡張し、平面を拡大するために向きで類似する場合、互いに結合される場合がある。代わりに、平面を発見するためのセグメント化の後、該平面と類似する面積の大きいテンプレート平面は、平面からのポイントのエラーを最小限に抑えることによって適合される場合がある。これは、実質的には、平面のポイントのすべてにわたって平均化し、したがって局所的な雑音及びエラーは最小限に抑えることができる。代わりに、平面を発見するためのセグメント化の後、セグメント化されたオブジェクト上の面法線のすべてはともに加算できる。これは、次いで、ポイントの数又は平面の面積を使用し、スケーリングし直されてよい。代わりに、平面を発見する代わりに、互いの小さい角度範囲の中で指し、類似した向きの他の面法線ベクトルの相対的に近くに位置決めされる面法線ベクトルのすべては、ベクトル和としてともに加算できる。これは、ガウス球上の面法線ベクトルの高密度の場所を識別し、幾何中心を発見し、次いで幾何中心の小さい角度範囲の中で面法線ベクトルのすべてのベクトル足し算を実行することによって、面法線ベクトルのガウス球表現で最も便利に実行できる。係るベクトルの相関又は一致は、ベクトルは異なる長さを有するので、ガウス球の中でのボリュームの相関又は一致を必要とする。この複雑さを回避するために、ベクトル長は、それらのベクトルの正規化されたバージョンと関連付けられた測定値又はパラメータであると見なされる場合がある。これらの測定値又はパラメータは、それらのパターンの輝度又は色であると見なされてよいガウス球の表面上のパターンに組み込まれる。つまり、これらの測定値又はパラメータは、別個に保たれ、それ自体のタイプの測定値又はパラメータと相互に関連付けられなければならない、又は一致させられなければならない。
これは、ガウス球で回転されなければならないベクトルの数を劇的に削減し、したがって計算時間を加速するという優位点を有し、個々のポイントの雑音及び面法線ベクトルの角度雑音は、それらからの単一の平面の抽出により平均してならされる。また、それは、概して平面は異なる領域を有し、したがって実質的に領域は各平面を区別するラベルの機能を果たすので、一方の平面が他のスキャンでの異なる平面に不正確に位置合わせするという問題も回避する。
ポイントのクラウドをベクトルのそれぞれの集合に変換するための追加の技術／アルゴリズムは、以下を含む。
各ポイントでポイント密度を計算し、そのポイントの回りのポイントでポイント密度を計算する。次いで、ポイント密度勾配ベクトルの方向を示すポイント密度の最大増加の方向を発見し、その長さは、単位距離あたりのポイント密度変化の量に比例する。それは、ポイント密度があらゆるポイントで計算された後に勾配又は勾配ベクトル演算子を使用することによって計算できる。しかしながら、このベクトルは、それを計算するためには、他の方法で任意選択で行うようにサンプリングによってポイント密度を均一にする第１のステップを行ってはならないので、他のすべてに対して異なる。それを行った場合、いずれもないであろうため、ポイント密度勾配を見つけることはないであろう。最高のポイント密度勾配を有する領域を選択するために閾値を適用し、これらの領域が隣接しており、したがって曲面のような何かを形成するかどうかを確かめることができる。残りのポイント密度勾配ベクトルは、次いで正規化され、必要とされる場合、面法線ベクトルとして扱われる場合がある。係るベクトルの相関又は一致は、ベクトルが異なる長さを有するので、ガウス球の中でのボリューム相関又は一致を必要とする。この複雑さを回避するために、ベクトル長は、それらのベクトルの正規化されたバージョンと関連付けられた測定値又はパラメータであると見なされる場合がある。これらの測定値又はパラメータは、それらのパターンの輝度又は色であると見なされてよいガウス球の表面上のパターンに組み込まれる。つまり、これらの測定値又はパラメータは、別個に保たれ、それ自体のタイプの測定値又はパラメータと相互に関連付けられなければならない、又は一致させられなければならない。
このベクトルは、空間のボリュームが、平面、端縁、又は円筒形のフィーチャ、円環状の形状、若しくは円錐状の形状を有さないとき非常に有用である。したがって、被写体は、ある部分で他よりもより濃い霧のボリュームである場合もあれば、被写体は密度が変化するヒトの器官の内部である場合もある。
ポイントのクラウドをベクトルのそれぞれの集合に変換するための追加の技術／アルゴリズムは、以下を含む。
上記のようにポイント密度勾配ベクトルを発見する。上記のようにであるが、面法線ベクトルを使用してそれらを計算する代わりにポイント密度勾配ベクトルを使用して発散ベクトルを計算する。結果として生じるベクトルは、ポイント密度勾配発散ベクトルである。
ポイントのクラウドをベクトルのそれぞれの集合に変換するための追加の技術／アルゴリズムは、以下を含む。
ポイント密度勾配ベクトルの計算のために上述された方法を使用するが、ポイント密度の勾配を計算する代わりに、各測定値の他のパラメータ及び変数の傾きを計算する。これらは、例として色、色相、飽和、輝度、反射率、そのオブジェクトの毎秒の運動量、表面粗度、表面曲率を含んでよい。
ポイントクラウドのベクトルクラウドへの変換の一部として使用され得る、つまりポイントクラウドのベクトル表示を入手するための技術の１つは、ディープラーニングでのラーニングアルゴリズムを使用し訓練されたオートエンコーダ人工ニューラルネットワークである。オートエンコーダは、ポイントクラウドから３Ｄ空間のフィーチャを、及び／又はぽいとクラウドによって表される測定値及び／又はそれぞれのポイント及び近傍ポイントを表すベクトルを抽出する。フィーチャは、いくつかの複雑度レベル、つまり一次、二次、三次、及び任意選択でより上位で抽出されてよい。一次フィーチャは、例えば、すべて３Ｄボクセルの中の、面法線ベクトル及び／又は和ベクトル及び／又は発散ベクトルの分布からのポイント密度内若しくはポイント測定値の大きい勾配又は端縁等、非常に簡略である。それらは単にポイント密度を使用するに過ぎない場合もあれば、反射強度又は輝度、色、及び他の測定値を含む場合もあり、それぞれのポイント及び近傍ポイントを表すベクトルの位置、向き、及び大きさを含んでもよい。二次フィーチャは、一次フィーチャを結合して、より複雑なフィーチャを与える。したがって、例えば、一次フィーチャが端縁の部分である場合、次いで二次フィーチャは角の端縁を与えるために、それらをあるパターンで結合してよい。三次フィーチャは、二次フィーチャを結合し、したがって結合されたいくつかの端縁及び角が部屋の外形を与えてよい。この例は、端縁を使用したが、平面及び曲面もフィーチャである。これらの一次フィーチャ、二次フィーチャ、及び三次フィーチャは、それぞれベクトルによって表され、したがって３Ｄデータセットの回転アライメントの基礎として使用できる。これの優位点は、どのようなフィーチャが存在するのかは、自動的に識別され、アライメントを実行するために使用されるので、例えば未知の３Ｄ環境において位置合わせされる３Ｄデータセットの事前の知識が必要とされない点である。
ガウス球
ベクトルを生成するためにどのような技術が使用されても、（複数のベクトルタイプの場合のベクトルのタイプごとの）角度分布は、ステップＳ１０５で比較され、その比較のために、処理は、同じ中心を有する２つのネスト化されたガウス球又は単位球面をベクトルのそれぞれの集合から形成することを含んでよい。１つのガウス球又は単位球面は、ベクトルの第１の集合から（つまり、第１の画像から）形成され、１つはベクトルの第２の集合（つまり、第２の画像）から形成される。ベクトルが面法線である場合、ベクトルポイントはすべて球面上にある。それ以外の場合、これは、ガウス球以外の球体表示である。
フィルタ
任意選択の処理ステップとして、非線形フィルタは、ベクトルの集合に又はポイントのクラウドに適用される場合があり、端縁、平面、円筒、環状体、円錐、球体、及び他の形状が認識され、それらと関連付けられたベクトルのポイントは追加の処理のために保存される。一方、残りは削除される。係る複雑なフィーチャの選択は３Ｄシーンに依存し、したがって建物の場合、端縁及び平面が役に立つ場合がある。撮像装置に雑音が多く、シーンが特定の複雑なフィーチャを含むことが既知である場合、雑音に起因するポイントの散乱を削減するために既知の形状を適合させることによって、それらの複雑なフィーチャを発見することが有益である場合がある。次いで、ポイントは、最近傍の面法線に沿って複雑なフィーチャの上に投影される場合がある。端縁だけが認識され、抽出される場合、これは多くのメモリ及び計算コストを節減する。これは、鮮明な端縁を有するいくつかのシーンには可能である場合がある。これは、実質的に、３Ｄシーンのワイヤフレームバージョンのアライメントになる。どちらがパターン認識アルゴリズムにとって最も便利であるとしても、この非線形フィルタは、ポイントクラウドに又はベクトルの集合に適用される場合がある。追加の代替策としては、ステップＳ１０５の最善の一致処理が、ベクトルの集合に共通の基点を割り当てることによってベクトルの集合の球体を形成することを含む実施形態では、非線形フィルタは、（ガウス球であってよい）球体に適用されてよい。例えば、ガウス球表現では、ガウス球上の高ポイント密度のポイントが、シーン内の平面に起因し、大円及び近傍のポイントがシーン内の円筒形のオブジェクトに起因し、非大円（Ｎｏｎ−ｇｒｅａｔ ｃｉｒｃｌｅｓ）及び近傍のポイントが円錐形のオブジェクト又は部分的に円錐形のオブジェクトに起因することが既知である。したがって、この方法は、他のオブジェクトだけではなく回転アライメントを確立するためのすべての係るオブジェクトを利用する。したがって、回転アライメントの前に平面又は円筒又は円錐を選択的に強化することが可能である。
椅子のような複雑な形状を認識するために、ディープラーニング等の人工知能アルゴリズムは、例の椅子の十分に大きいデータセットを使用し、訓練され、椅子を認識するために使用される場合がある。この方法は、通常、ディープラーニング認識の前にまずセグメント化が実施されることを必要とする。
端縁検出アルゴリズム
非線形フィルタは、端縁検出アルゴリズムを実行すること、及び追加の処理から（ポイントクラウドの）任意のデータポイント又は端縁を表していない（ベクトルの集合の）ベクトルを除外することを含んでよい。端縁検出アルゴリズムの例は、ＢＡＯアルゴリズム、（例えば、ＲＡＮＳＡＣ平面検出アルゴリズム又はハフ変換平面検出アルゴリズムによる平面発見に続く）ＲＡＮＳＡＣ線検出アルゴリズム、又はトリリニア補間（ｔｒｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を含む。
図６〜図１２は、例示的な端縁検出技術を示す。追加の詳細は、英国特許出願第ＧＢ１７０１３８３．０号の公開版の付録Ｃに記載されている。
セグメント化アルゴリズム
非線形フィルタは、以下の中からセグメント化アルゴリズムを含んでよい。
− 曲率セグメント化アルゴリズム又は「平滑条件セグメント化」アルゴリズムであってよいセグメント化アルゴリズムを実行することと、
− 領域拡張とともに曲率セグメント化アルゴリズムを実行することと、
− 幾何学特性に基づいて領域拡張とともに曲率セグメント化を実行すること。
セグメント化アルゴリズムに関する詳細は、上記に（図４の説明に）提供され、さらに追加の詳細は英国特許出願第ＧＢ１７０１３８３．０号の公開版の付録Ｄに記載されている。
認識アルゴリズム
テンプレート形状を発見することは、セグメント化アルゴリズムの出力に対して、ポイントのクラウドに対して、ベクトルの集合に対して、又はガウス球に対して実行されてよい。テンプレート形状を発見することは、円筒認識アルゴリズム（例えば、ハフ変換アルゴリズム）及び／又は平面認識アルゴリズム（例えば、ＲＡＮＳＡＣアルゴリズム）を実行することを含んでよい。また、椅子等のより複雑な形状は、大きいデータセットを使用する事前の訓練を必要とするディープラーニング等の人工知能アルゴリズムを使用し、認識される場合がある。
円筒認識アルゴリズム及び平面認識アルゴリズムに関する詳細は、代替のベクトルタイプに関して図４（上記）の説明で提供される。さらに、英国特許出願第ＧＢ１７０１３８３．０号の公開版の付録Ｅは、追加の詳細を提供する。
以下の公報は、ガウス球から円筒を識別するための技術を詳説する。Ｔｏｏｎｙ．Ｚ、Ｌａｕｒｅｎｄｅａｕ，Ｄ．及びＧａｇｎｅ、Ｃ．３Ｄガウス球及びガウスアキュムレータを使用し、３Ｄ幾何プリミティブを説明する、３Ｄ Ｒｅｓ（２０１５）６：４２．ｄｏｉ：１０．１００７／ｓ１３３１９−０１５−００７４−３
いったんテンプレート形状が一致させられると、残りのデータポイント又はベクトルは、追加の（最善の一致）処理から除外されてよい。
最善の一致を発見すること
ステップＳ１０５で、アルゴリズムは、回転の１軸、２軸、又は３軸のそれぞれの回りのどの回転角度で、ベクトルの集合の角度分布が最善の又は最も近い一致（つまり、集合が一致する最大信頼度）を示すのかを判断するためにベクトルの２つの集合に対して実行される。
例えば、ステップＳ１０５は、以下を含んでよい。
− ベクトルはそのまま残される場合があるか、又はガウス球の表面上のベクトルポイントの密度が計算される場合があるかのどちらかである。ポイント密度表現は、データストレージ及び計算要件を削減する。このステップは、ベクトルの分布と関連付けられた測定値及び属性のそれぞれに対して独立して繰り返すことができる。
− アルファ直交角度、ベータ直交角度、及びガンマ直交角度に沿ってベクトルポンと密度の数学的な相関を実行することによって、一方の画像のベクトルと他の画像のベクトルとの一致を計算しながら、アルファ直交角度、ベータ直交角度、及びガンマ直交角度に沿ってガウス球起点の回りで一方の画像のベクトルを回転させる。最高の一致又は相関のためのアルファ、ベータ、及びガンマの値は、登録回転ベクトルである。代わりに、例えば焼き鈍し法及び遺伝的アルゴリズム等の周知の購買検索アルゴリズム、並びに一方の画像のベクトルポイント密度の球体上で統合された他方の画像との積が最大値となる位置を発見するための最大降下（ｇｒｅａｔｅｓｔ ｄｅｓｃｅｎｔ）がある。代わりに、ガウス球の表面上のパターンは、画像及びパターンが相関を実行するためにこの平面上で互いの上をスライドできるように、平面上のパターンに展開又はマッピングされてよい。これは、例えば経度及び緯度を平面上のｘ軸及びｙ軸にマッピングすることによって、又は球体の表面からメルカルト図法においてと同じ軸を有する円筒の上に画像を投影することによって行われる場合がある。あるいは、これは、方位角及び仰角、並びに半径距離を３Ｄデカルト座標にマッピングすることによって行われる場合もある。あるいは、相対的な面積を保存するゴールピーターズ（Ｇａｌｌ−Ｐｅｔｅｒｓ）正射図法を使用することによって。あるいは、ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｌｉｓｔ＿ｏｆ＿ｍａｐ＿ｐｒｏｊｅｃｔｉｏｎｓに示される多くの他の投影を使用することによって。代わりに、球の表面上での２つのパターンを２つのスキャンから２Ｄフーリエ変換し、それらを同じ起点を有する同じ尺度でオーバレイし、該パターンを乗算し、それらを逆フーリエ変換することによって、重畳積分定理を利用して相関を実行することが有利である。
− 最高の一致度又は相関度が計算されるときのポイントでの３つの角度、つまりアルファ、ベータ、及びガンマ（つまり、１つ又は２つの角度しかこのようにして計算され得ないことに留意して−それぞれの回転軸の回りの角度）に留意されたい。これらの角度は、２つの画像を位置合わせするための登録ベクトルの回転部分を形成する。
計算されると、１つの角度、２つの角度、又は３つの角度が出力されてよい。これらの角度は、撮像装置の撮像被写体に対する相対的な向きの変化を示し、したがって撮像装置の回転移動を追跡するために使用され得る。
例えば和ベクトル、発散ベクトル、又は平面ベクトル等の面法線ベクトル以外の他のタイプのベクトルの場合。これらは異なる長さを有し、１つに正規化されない。したがって、それらは単位球面のすべて又は部分を充填する。したがって、相関を行うためには、その３Ｄ空間を、最長のベクトルの距離に伸びる半径方向のセグメントに分割し、それを方位角及び仰角の角度で分割して３Ｄセグメントを与える必要がある。各（ボリューム）セグメントのベクトル先端ポイントの密度が計算され、結果がそのアレイ要素に入力される。アレイは３Ｄである。次いで、２つの球体が多様な軸の回りで回転されるとき、それらは最近傍のセグメントに位置合わせされる。次いで、相関が実行される。この場合、第１のスキャンの１つのアレイセグメントのポイント密度を、あらゆるセグメントの第２のスキャンの位置合わせされたアレイセグメントのポイント密度で乗算することが必要である。次いで、積の和のすべては、相関を得るために実行される。相関は、位置合わせされたセグメントのポイント密度を加算し、次いで合計することによって発見されてよい。つまり、方位角及び仰角で結果として生じる回転を与えるためには、一方の球体を他方に対して回転させることが必要である。したがって、３Ｄデータセットを使用する２Ｄ相関が実行されおり、これは、３Ｄデータセットの３Ｄ相関を行うよりもはるかに計算コストが安い。
任意選択で、ベクトルの第１の集合及びベクトルの第２の集合は、それぞれ複数のベクトルの部分集合を含み、該複数の中の各部分集合は、それぞれのポイントクラウドを特定のタイプのベクトルとして表し、特定のタイプは、他の部分集合のタイプとは異なる。係る場合、最大一致度の角度がベクトルの各タイプに計算され、次いで角度が（例えば、平均、つまり外れ値を削除するためのフィルタリングの後の平均を発見することによって）それぞれの回転軸のための計算された最大一致度を発見するために結合される。ベクトルタイプは、以下の中から１つ以上を含んでよい。
− オートエンコーダ（ディープラーニングでラーニングアルゴリズムを使用し、訓練されたオートエンコーダ人工ニューラルネットワーク）によって生成され、一次フィーチャを表すベクトル、
− オートエンコーダによって生成され、二次フィーチャ（つまり、一次フィーチャの組合せ）を表すベクトル、
− オートエンコーダによって生成され、三次フィーチャ（つまり、三次フィーチャの組合せ）を表すベクトル、
− オートエンコーダによって生成され、四次フィーチャ、五次フィーチャ、又はより上位のフィーチャ（それぞれの場合、ｎ次フィーチャは、（ｎ−１）次フィーチャの組合せである）を表すベクトル、
− オートエンコーダによって生成され、一次フィーチャ、二次フィーチャ、及び／又は三次フィーチャを表すベクトル、
− 面法線単位ベクトル、
− 和ベクトル、
− 発散ベクトル、
− 辺ベクトル、
− 円筒ベクトル、
− 複合オブジェクトベクトル、
− 平面ベクトル、
− ポイント密度勾配ベクトル、
− ポイント密度勾配発散ベクトル、及び
− 勾配ベクトル
Ｓ１０５の代替策（ヒストグラム）
Ｓ１０５での上述されたガウス球プロセスの代替策として、ポイントクラウドのそれぞれが、１つ以上の軸又は方向に沿って、例えば面法線単位ベクトル分布等のポイント密度又はベクトル分布の１Ｄヒストグラムによって表されてよい。ポイントクラウドのすべてのポイントは、線若しくは軸（１Ｄヒストグラム）の上に、又は平面（２Ｄヒストグラム）の上に投影される場合がある。いくつかの実施形態では、なんらかの選択性がポイントの部分集合を表すヒストグラムを入手するために適用されてよい。例えば、その面法線ベクトルがスキャンの垂直方向の表示にほぼ平行であるすべてのポイントのポイント密度分布の１Ｄヒストグラムは、例えば、室内の床及び天井等の、スキャンで水平面の場所を示すために使用できる。
追加の代替策として、１つ以上の平面での面法線ベクトル分布のポイント密度の２Ｄヒストグラムは、ポイントクラウドを表してよい。ポイントクラウドのすべてのポイントは、平面上に投影される場合がある、又は何らかの選択性が、ポイントの部分集合を表すヒストグラムを入手するために適用されてよい。例えば、その面法線がほぼ平面内にあるポイントのポイント密度を示すヒストグラムを有する、スキャンの水平面の表示と一致する平面は、例えば室内の壁等の垂直表面の場所及び向きを示す。別の例として、ベクトルフィールド向きの２Ｄヒストグラムの場合、ヒストグラムの２つの軸は、ベクトルの極角及び方位角を示す場合もあれば、それらはデカルト座標若しくは３Ｄ環境にとって適切な他の座標にある場合もある。データとして使用されるベクトル分布は、例えば面法線ベクトル又は和ベクトルを含むが、これに限定されるものではない。
さらに、１Ｄ及びいくつかの２Ｄヒストグラムの場合、個々のポイントのコントリビューションは、基準方向（例えば、１Ｄヒストグラムの軸又は２Ｄヒストグラムの、若しくは異なるタイプのベクトルの間の平面法線）とヒストグラムのための問題のベクトル量との間のドット積の符号によってスケーリングされてよい。これらの効果は、ヒストグラムが、ここで正の符号と負の符号両方のピークを含み、正のピークだけと比較して情報の量を実質的に二倍にする点である。水平スキャンのポイント密度を示すスキャンの垂直方向に沿った１Ｄヒストグラムの場合、ヒストグラムの正の規模のピークと負の規模のピークとして示される床と天井との間で区別することが可能である。
ヒストグラム代替策では、２つのポイントクラウドを位置合わせするために、１Ｄヒストグラム及び２Ｄヒストグラムが相互相関されていると仮定して、１Ｄヒストグラム及び２Ｄヒストグラムに対して１Ｄ相互相関及び２Ｄ相互相関を実行することによって相互相関が計算される。
回転すること
ステップＳ１０６では、第２のポイントクラウドは、２つのポイントクラウドを回転アライメントするために注記された角度（複数可）分、回転される。ステップＳ１０６は任意選択である−２つのポイントクラウドを回転アライメントにするために必要とされる回転変換は、データセットの一方若しくは他方又は両方の特性として記憶、及び／又は出力される。
並進アライメント
フローは、並進アライメント処理であるステップＳ１０７からＳ１０９に進む。並進アライメント処理に対する入力は、重複する空間を表す２つのポイントのクラウドである。
線上への投影
ステップＳ１０７ａ及びＳ１０７ｂで、画像はそれぞれ３本の線上に投影され、これにより各画像は３つの１次元アレイとして記録される。両方の画像とも同じ線上に投影され、これは、共通座標系を使用することによって達成されてよい。
互いに対してある角度をなす３本の線を選択する。３本以上の線が選択される場合もある。例えば、以下の要件を満たす３本を含んだ１０本の線が選択される場合がある。第３の線は、他の２本の線と同じ平面内にあってはならず、第３の線と最初の２本の線との間には最小角度が事前に定義されてよい。便宜上、３本の線は、直交であり、３つの軸、ｘ、ｙ、及びｚを形成する場合がある。また、便宜上、建物の画像では、それらは、床及び壁の端縁と合致する場合がある。任意選択で、２つの画像のうちの一方を線上に折り畳む（つまり、ポイントクラウドを投影する）線選択アルゴリズムが実行されてよく、折り畳まれたポイントは自己相関され、相関の一致するピークが分析され、一致する相関のピークが、他の相関ピークよりも高い閾値を超える単一のピークを示すまで、各分析で投影の線を回転させる。
２つのポイントのクラウドはそれぞれ３本の線のそれぞれの上に投影され（折り畳まれ）、ポイントクラウドごとに３つの位置（各ポイントが線上の位置である）の１次元アレイを生じさせる。線が直交であり、座標軸である場合、これは、第３の座標線への投影のために、及び他の３つの軸に対して同様に、座標の２つをゼロに設定することによって行われる。このタイプの折り畳みは、軸の法線ベクトルに沿った軸の上への投影を表す。曲線又は軸に対してある角度をなす又は非線形様式の線に沿った他のタイプの投影又は折り畳みが実施されてもよい。
任意選択で、非線形又は線形の規模スケーリング（ｍａｇｎｉｔｕｄｅ ｓｃａｌｉｎｇ）が、例えば指数若しくはべき法則関数を使用し、より強力な規模を強調するために、又は例えば対数関数を使用し、より強力な規模を抑制するために、各軸でデータ表示分布に適用される。係るスケーリングは、装置のために事前に定義される場合もあれば、撮像された領域に依存して構成される場合もある。
投影の最善の一致を発見する
ステップＳ１０８で、投影（投影は、この文脈では位置又はポイントの１次元アレイを意味する）の共線形対ごとに、投影間で最善の数学的な相関が示される相対位置（つまり、線に沿ったシフト量）を発見するために処理が実行される。
投影の最適の一致を発見する
各線の投影間の最適の一致の相対位置を発見するための処理は、以下のように実施されてよい。
− 投影が他方の画像の投影の上を及び通り越してスライドし始めるように、一方の画像の投影を（上に画像が投影される）線に沿って徐々にスライドする。
− ３本の線又は軸の１つについて、スライドステップごとに、そのうちの１つが数学的な相関関数である、以下に示されるいくつかの方法で行われる場合がある一致を計算することによって２つの投影がどれほどよく一致するのかを計算する。これが１次元相関であり、したがって計算コストを最小限に抑えることに留意されたい。
− ３本の線又は軸の１つについて、投影間の一致の最大値を発見し、最大一致値を達成するために、（例えば）第２の画像投影が線に沿って移動しなければならなかった方向及び距離を注記する。
− 登録ベクトルの平行移動部分を形成する３つの平行移動距離（及び線に沿った方向−正又は負）を入手するために３つの軸のそれぞれについて繰り返す。
− 投影を互いの上でスライドするときに使用されるステップのサイズに応じて、追加のアライメントが必要とされる場合がある。平行移動処理は、反復最接近点、ＩＣＰ、又は最小二乗アライメントアルゴリズムを使用する細かいアライメントステップを含む場合がある。収束は、レーベンバーグマルカート（ＬＭ）アルゴリズム等の誤差最小化技術を使用し、達成できる。
（それに沿って距離が計算される線を定義する情報とともに）３つの入手された平行移動距離は、マージされたポイントクラウドの代替策として又はそれに加えて出力されてよい。２つの１次元アレイの最善の一致位置を発見することは、いくつかの方法で行うことができる。例えば、
− 数学的な相関：一方の関数を他方の上で考えられるすべての相対位置に実質的にスライドし、重複がないときに、ゼロを示す平面全体で積を積分する既知の数学演算子。また、計算された積分値は、次いで別の関数として平面上で描かれる場合があり、最高のポイントが最善のアライメントを示す。
− 局所的な利得：一方の関数が他方の関数上で考えられるすべての位置にスライドされる。次いで、領域が選ばれ、２つの関数が合計され、領域内で積分され、停留関数の積分で除算されて関数の局所的な利得又は増幅を示す。２つのスキャンが同時に同じ位置から採取され、完全に位置合わせされるならば、次いで局所的な利得は一様になり、２の値をとるであろう。部分的に重複する完全に位置合わせされた関数の場合、利得は、２に近づく重複領域でより高くなり、それ以外の場所では１になる。したがって、重複領域は、閾値を１をわずかに超えて設定することによって抽出できる。目的は、重複領域全体で最も一様な局所的な利得を発見することである。局所的な利得のこの一様性は、重複領域全体での標準偏差又は局所的な利得の分散の計算によって発見できる。２つの関数のすべての相対位置の全数検索は別として、一様性の分散等の関数を最小限に抑えるためには、焼き鈍し法、遺伝アルゴリズム、直接勾配探索等の多くの周知の検索方法がある。
− ポテンシャルエネルギー：２つの関数が表面上に３Ｄで描かれ、それぞれ硬質固体表面シートによって表される。ついで、一方の関数が他方の上で考えられるすべての相対位置にスライドされる。一方の関数を他方の上で動かすために、一方の関数の最低のポイントは、他方の関数の最高のポイントの上でスライドしなければならない。一方の関数が停留関数であること、及びポテンシャルエネルギーを発見するために停留関数上に置かれるときに他の関数の平均高さを計算すると仮定しよう。目的は、ポテンシャルエネルギーを最小限に抑えることである。２つの関数のすべての相対位置の全数検索は別として、例えばポテンシャルエネルギー等の関数を最小限に抑えるためには、焼き鈍し法、遺伝アルゴリズム、直接勾配検索等の多くの周知の検索方法がある。この演算を繰り返すのをいったん完了するが、２つの関数をスワップすることは有利である。この理由は、誰かが一方のスキャンで室内に入ったが、他方のスキャンでは入らなかった場合、人は、それらが、上方のスキャンにある場合十分に近づくのを遮るであろうため、２つのスキャンは、位置合わせされたとき低いポテンシャルエネルギーを有さないであろう。しかしながら、いったんスワップされると、人はポテンシャルエネルギーに影響を与えない。したがって、２つのスワップ間の最低のポテンシャルエネルギーが、代替位置として選ばれる。
− 最小二乗又はＩＣＰ：これらの既知の方法のいずれも、任意選択で数学的な相関、局所的な利得、又はポテンシャルエネルギーによる粗いアライメントの後に、使用できる。
並進アライメント
ステップＳ１０９で、ポイントの２つのクラウドは、第２の画像を選択された３本の線に沿ってシフトすることによって並進アライメントされる。ポイントのクラウドはいま回転アライメント及び並進アライメントにあるため、単一のマージされたポイントクラウドであると考えられる場合がある。マージされたポイントのクラウドは、例えば関係者若しくはそこから画像が入手された装置に、又は記憶部に出力される場合がある。ポイントのクラウドは、同じ座標系に画定された別々のクラウドとして、又は（単一の座標系における）単一のポイントクラウドとして出力される場合がある。元の第１の画像及び第２の画像のどちらか又は両方について撮像された空間と重複する空間の新しい画像は入手され、ステップ１０２〜Ｓ１０６又はＳ１０９の回転アライメント及び／又は並進アライメント処理を受ける場合があり、元の２つの画像からのマージされたポイントクラウドは、新しい画像がマージされる画像であるか、又はアライメント処理に続く画像の座標系に画定された画像空間という点で新しい画像と重複する元の２つの画像のうちの個別の１つであるかのどちらかである。このようにして付加できる新しい画像の数に制限はない。
位置合わせされたスキャンをチェックする
任意選択のチェックステップは、実施形態の装置又はプロセスと位置合わせされたスキャンの任意の対に対して実行されてよい。スキャナ場所が各３Ｄデータセットとともにメタデータとして記憶される場合、又はスキャナ場所が３Ｄデータセットから引き出せる場合、スキャナ場所は、個々の３Ｄデータセットの互いとのアライメントにおいて疑陽性（アルゴリズムの第１の部分が、チェック前に、これを正しく位置合わせされているとして記録する場合があるが、実際には正しくないアライメント）を識別するために使用される場合がある。例えば、マージに続いて、マージされた３Ｄポイントクラウドが、第２の３Ｄデータセットの測定値と第２の３Ｄデータセットのスキャナ場所との間の視線内にある第１の３Ｄデータセットからの測定値（つまり、ポイント）を表す場合、次いで、それは第１の３Ｄデータセット及び第２の３Ｄデータセットの対形成が正しくない旨の表示として解釈される場合がある。このプロセスは、「レイトレーシング」と呼ばれる場合がある。これは、アライメントが訂正されるかどうかをチェックするために、９０度、１８０度、及び２７０度、例えば垂直軸等の軸の回りで、ならびに任意選択で１８０度、水平軸の回りでもスキャンの１つを回転させることによって訂正されてよい。係る修正の回転は、スキャンが、対称的なフィーチャを示す建物又は他の被写体を表す実施態様で特に役立つ場合がある。
実施形態は、ネットワーク内の各スキャンと少なくとも１つの他のスキャンとの間に重複がある限り、任意の構成でスキャンの対又はスキャンのネットワークに対して作用する。スキャンのネットワークの場合、本書に開示される技術を使用する回転アライメント及び並進アライメントは、ネットワーク内のすべての重複するスキャンの地に対して実行できる。スキャンのネットワークには、スキャンごとに、スキャンが重複する少なくとも１つの他のスキャンを識別するスキャン対ファイルが付随してよい。この基本的な情報を使用し、単一のマージされたポイントクラウドは、各スキャンとその１つ以上の重複する近傍との間で正しい回転アライメント及び並進アライメント（つまり、正しい位置関係）を発見し、スキャン及びその１つ以上の重複する近傍を、正しい回転アライメント及び並進アライメントを使用し、新しい共通のポイントクラウドにマージし、次いで新しい入力スキャンとして共通ポイントクラウドを処理し、他の重複するスキャンを１つずつ付加する、又は共通ポイントクラウドのすべてを共通座標系に入れ、２つ以上の共通ポイントクラウド内に出現する同じ個々のスキャンのインスタンスを（例えば、端縁でスキャンを使用することによって）同一場所に配置することのどちらかによって構築できる。個々のスキャンに最善の相関だけを識別する場合、共通ポイントクラウドは、対ポイントクラウドと呼ばれる場合もある。
入力されているスキャン対ファイルの代替策として、実施形態は、スキャン対の各組合せ間で相関つまり一致の程度を発見し、それぞれのスキャン（スキャンは３Ｄデータセットである）ごとに、それが最善の一致の程度を示す他のスキャンと重複し、残りの各スキャンが、最善の相関（又は最善の一致度）の定められた範囲内のそれぞれのスキャンとの相関（又は一致の程度）を有すると仮定することによって、重複するスキャンを発見してよい。範囲は、固定数の重複するスキャンを与えるために適応される場合もあれば、範囲が固定される場合もある。それぞれのスキャン及び「それが最善の一致度を示す他のスキャン」は、スキャン対として扱われる。
特に、スキャン対の組合せごとに、以下のステップ、つまり、第１の３Ｄデータセット及び第２の３Ｄデータセットを共通座標系にそれぞれのポイントのクラウドとして記憶するステップと、ベクトルの第１の集合の各要素及びベクトルの第２の集合の各要素が、それぞれのポイント及び近傍ポイントを表す、記憶された第１のポイントクラウドをベクトルの第１の集合に変換するステップと、記憶された第２のポイントクラウドをベクトルの第２の集合に変換するステップと、共通座標系に画定された３つの回転軸の１つ以上でベクトルの第２の集合の第１の集合に対するどの回転角度で、ベクトルの第１の集合の角度分布とベクトルの第２の集合の角度分布との間の最大一致度が得られるのかを発見するステップと、１つ以上の軸又は計算された一致度が最大となる回転軸のそれぞれの回りの回転角度を記憶するステップと、該最大の計算一致度を記憶するステップとが実行される。任意選択で、ベクトルの第１の集合及びベクトルの第２の集合は、それぞれ複数のベクトルの部分集合を含み、各部分集合は、それぞれのポイントクラウドを特定のタイプのベクトルとして表す複数の間にあり、特定のタイプは他の部分集合のタイプとは異なる。係る場合、最大一致度の角度は、ベクトルのタイプごとに計算され、次いで角度は（例えば、平均、つまり外れ値を削除するためのフィルタリング後の平均を発見することによって）結合されて、それぞれの回転軸に最大の計算一致度を発見する。
次いで、特定のスキャンを含む対のすべてに対する記憶された計算一致度は、計算一致度に基づいて、特定のスキャンとの最大の相関を有するスキャンを発見するために比較される。特に、本実施形態は、記憶された最大一致度が最大となる対を識別する。他の対は、特定のスキャンも、上限の最大一致度の定められた範囲内で最大の一致度を有する（これが、任意のスキャンの対の間の回転ミスアラインメントの最もありそうな角度を表すことに留意して）他のスキャンと重複すると仮定することによって識別されてよい。範囲が固定数の重複するスキャンを示すために適応される場合もあれば、範囲が固定される場合もある。
より複雑な例では、ネットワーク内のスキャンのリンクを奨励するために追加の処理が実行される。処理は、スキャン（例えば、スキャンＡ）の上限の最大一致度に基づく。また、スキャンＡを含み、上限の最大一致度の（比例している場合もあれば、絶対的である場合もある）所定の閾値の範囲内にある最大の一致度を示す他方のスキャン対は、ネットワーク内の重複する対として決定され、したがってスキャンＡでの回転アライメント処理及び並進アライメント処理を受けてもよい。スキャンＡとの最大一致度が、追加の所定の閾値を超えて最大一致度に満たない他の対の場合、重複はないと仮定されてよい。追加の所定の閾値は、所定の閾値と同じである場合もあれば、所定の閾値未満である場合もあり、これはいくつかの対が重複としても、非重複としても決定されない場合があるギャップを残す。ギャップに陥る対は、例えば、手作業で見直されてよい。ネットワークが対デイジーチェーン構造又は（ユーザによって実施形態に対する指示として通知されるであろう）分岐ツリー構造である場合、次いでデイジーチェーンの端部にいくつかのスキャンがあり、チェーンにいくつかのスキャンがあり、分岐点にいくつかのスキャンがあると仮定される。端部でのスキャンは、１つのパートナーしか有さない。デイジーチェーン又は分岐内のスキャンは２つのパートナーを有する。分岐点でのスキャンは、３つ又は４つ以上のパートナーを有してよい。例では、スキャンＡ及びスキャンＢの重複は、スキャンＡとスキャンＣとの間よりも多い（言い換えると、上限最大一致度はＡ−Ｂであり、Ａ−Ｃで、最大一致度は該最大値に満たない）。次いでＡ−Ｂ及びＡ−Ｃの最大一致度を比較し、それらの差異が追加の所定の閾値よりも大きい場合、Ａが分岐の端部にあることが分かる。差異が所定の閾値未満である場合、次いでＡがＢとＣの両方と重複する対であり、デイジーチェーン又は分岐の中央にある可能性があることが分かる。同様に、Ａ−Ｂ、Ａ−Ｃ、及びＡ−Ｄのすべてのスキャン対の最大一致度の差異が所定の閾値未満である場合、次いでそれらはすべて、分岐点にあるスキャンＡと重複する対で互いにリンクされる。
デイジーチェーン構造又は分岐木構造の場合、スキャンＡと重複する対にあると判断されるすべての隣接するスキャンは、スキャンＡのアライメントを計算するために使用されるスキャンである。Ａが分岐の最後にある場合、次いで、スキャンＢとのそのアライメントだけを使用してその位置を決定する。
実施形態は、重複の量（又は、最大一致度に対する一致度の閉鎖性：より密接なほど、重み付けはより高くなる）の逆数に基づいて、スキャンの回転及び位置の計算においてあらゆる重複するスキャンの影響に重みを加える場合がある。つまり、スキャンから回転ベクトル及び並進ベクトルの補正を計算することは、スキャンの各対を使用し、向き及び位置を提示することである。そして、次いで、各修正ベクトルに対して、この重み付け係数を使用し、ベクトル平均化を実行することによってこれらの修正ベクトルを結合すること。この重み付けは、線形又は非線形である場合があり、絶対閾値未満の重複を有する、又はスキャンのための上限の最大一致度未満の閾値量を超えるスキャンに対する最大一致度を有するスキャンを無視するために閾値とともに使用できる。所定の閾値は、アライメント計算で使用される最大の、例えば６つのスキャンを示すために自動的に適応されてよい。
対は回転で位置合わせされているので、並進アライメント手順は、決定される２つのスキャンの 間の完全かつ正確な位置関係を可能にするために実行されてよい。２つのスキャンが共通座標系で表されると仮定すると、並進アライメントプロセスは、３本以上の線の中の線の各対が平行ではなく、３本の線の中からの少なくとも１つの線の対が同一平面上ではない、共通座標系の３本以上の線のそれぞれに対して、第１のポイントクラウドの中の各ポイントの線の上への投影の位置を、任意の起点に対して記録すること、記録された位置を第１の１次元アレイとして記憶すること、及び／又は第１の１次元アレイとしてそれぞれの記録された位置での各ポイントの１つ以上の特性又は測定値を記憶すること、回転した第２のポイントクラウドの中の各ポイントの線上への投影の位置を、任意の起点に対して記録すること、記録された位置を第２の１次元アレイとして記憶すること、及び／又は第２の１次元アレイとして記録されたそれぞれの位置での各ポイントの１つ以上の特性又は測定値を記憶すること、第１の１次元アレイと第２の１次元アレイとの最大一致度が計算される、第１の１次元アレイに対する第２の１次元アレイの線に沿った平行移動を発見すること、及び最大の一致度が計算される平行移動を記録することを含む。
対の２つのスキャンが次いで入手され、（これが既に実行されていない場合）回転アライメントに回転され、並進アライメント手順で計算された線に沿った記録された平行移動を使用し、位置に並進され、それによって対の間の固定された回転及び並進関係を有する個々の３Ｄデータセットの対の対ポイントクラウド表現を入手する。最後に、実施形態は、対ポイントクラウド表現のうちの１つ以上に現れる同じ個々の３Ｄデータセットのインスタンスを（例えば、端縁でスキャンを使用することによって）同一場所に配置することによって、対の対ポイントクラウド表現を単一のポイントクラウドにマージする。
スキャナ場所が各３Ｄデータセットとともにメタデータとして記憶される、又はスキャナ場所が３Ｄデータセットから引き出せる実施形態では、スキャナ場所は、個々の３Ｄデータセットの互いとの対形成で偽陽性を識別するために使用される場合がある。例えば、マージに続き、マージされた３Ｄポイントクラウドは、第２の３Ｄデータセットの測定値と第２の３Ｄデータセットのスキャナ場所との間の視線における第１の３Ｄデータセットからの測定値（つまり、ポイント）を表現する場合、次いで、それは第１の３Ｄデータセット及び第２の３Ｄデータセットの対形成が正しくない旨の表示として解釈される場合がある。このプロセスは「レイトレーシング」と呼ばれる場合がある。これは、マージされたポイントクラウドから第１の３Ｄデータセット又は第２の３Ｄデータセットを削除し、一致度が最大である対を識別するステップを繰り返し、第１の３Ｄデータセット及び第２の３Ｄデータセットを含んだ対を候補から除外し、このようにして３Ｄデータセットに新しい対を発見することによって訂正されてよい。回転アライメント及び並進アライメントの手順は、新しい対に対して実行される場合があり、３Ｄデータセットは、結果として生じる新しい位置のマージされたポイントクラウドにマージされる場合がある。代わりに、スキャンがアライメントが訂正されるかどうかをチェックするために、９０度、１８０度、及び２７０度、例えば垂直軸等の軸の回りで、並びに任意選択で１８０度、水平軸の回りでも回転される場合がある。係る修正の回転は、スキャンが、対称的なフィーチャを示す建物又は他の被写体を表す実施態様で特に役に立つ場合がある。
個々のデータセットの対形成における疑陽性を識別するための追加の代替技術として、マージされたポイントクラウドが、例えば２Ｄ画像又は３画像としてグラフィックユーザインタフェースを介してユーザに提示される手作業の手順が使用されてよく、個々の３Ｄデータセットは、マージされた３Ｄポイントクラウドの中で（例えば、カラーコーディングによって）識別可能であり、グラフィックユーザインタフェースは、ユーザがマージされた３Ｄポイントクラウドの残りに対して個々の３Ｄデータセットを位置決めし直すことを可能にする。係る実施形態では、手作業の再位置決めは、位置決めし直された個々の３Ｄデータセット（データセットＡ）とマージされた３Ｄポイントクラウドの少なくとも１つの他の個々の３Ｄデータセット（データセットＢ）との間に少なくとも１つの重複の部分がなければならない限りにおいて抑制される。データセットＡ及びデータセットＢは、次いで対として扱われる。回転アライメント計算は、データセット対の各組合せに対してすでに実行されており、取り出される場合がある（１つ以上の軸又は計算された一致度が対にとって最大になる回転の軸のそれぞれの回りでの回転角度）。対は、次いで並進アライメント処理を受ける。データセットＡとデータセットＢとの間の完全な位置関係は、それによって得られ、データセットＡ（又はＢ）をデータセットＢ（又はＡ）との正しい並進アライメント及び回転アライメントにするために必要とされる回転変換及び並進変換を要求する１つのベクトル（又は複数のベクトル、回転に１つ、並進に１つ）として記憶される場合がある。該１つのベクトル（又は複数のベクトル）は、代わりにデータセット単位で記憶され、共通座標系での他のデータセットに関してそれらを正しい位置にするためにデータセットのポイントの座標に対して必要とされる変換であってよい。代わりに、データセットＡ及びＢは、該入手された完全な位置関係性に従ってマージされた３Ｄポイントクラウドに記憶される場合がある。
図１４は、実施形態でのプロセスを示す。
Ｓ１４０１で、スキャン（３Ｄデータセット）の複数の対の対変換は、グローバル変換に変換される。このステップは、前処理と見なされる場合があり、入力スキャンの構成に応じて必要とされない場合がある。各スキャンの変換行列は、対の相対的な変換からグローバル変換に変換される。このステップは、それが、入力スキャンが対で相対的な変換を与えられる場合にだけ必要とされるので任意選択である。ステップＳ１４０１の後、各スキャンの位置及び向きは、共有される共通の基準点に関して表される。言い換えると、複数のスキャンは共通の作業領域又は共通座標系で表される。
ステップＳ１４０２で、スキャン接続性グラフ（マップ）が作成される。このステップは、前処理と見なされる場合がある。ステップＳ１４０２で、処理されているときに「被写体」スキャンであると見なされる場合がある各スキャンについて、被写体スキャンとなんらかの重複する領域を共有する近傍の「基準」スキャンの集合が識別される。被写体スキャンとしてのスキャンごとに識別された基準スキャン又は基準スキャンの集合は、基準スキャン（複数可）への被写体スキャンのマッピングとして記憶される。基準スキャンのための選択基準は、以下を含んでよい。
距離：基準スキャンは、被写体スキャンからなんらかの定められた最大距離の範囲内になければならない。例えば、１５メートルの半径の範囲内。
重複：各基準は、例えば少なくとも１０％の、被写体スキャンとの十分な重複を有さなければならない。重複は、互いからのなんらかの閾値距離の範囲内にある、ポイント総数に対するポイント対の数として計算される。追加の制約は、面法線方向、読取り値、表面曲率、表面粗度、又は面法線の発散等を一致させることを含む。
作成されたスキャン接続性グラフ（又はマップ）は、以下の基準により抑制される場合がある。
各スキャンは、少なくとも１つの基準スキャンを有さなければならない。しかしながら、接続されたネットワーク又はループ内の複数のスキャンは、アライメントエラーを削減する（又はより均等に広げる）可能性がある。つまり、接続性グラフ内ではループが許され（好まれ）る。
少なくとも１つのスキャンが、固定された基準スキャンとして選択されなければならない。これは、例えば、最大数の接続された基準スキャンを有するスキャンである場合があるであろう。また、その位置が、例えばトータルステーション、ＧＰＳ、又は他の方法を使用する正確な測定に基づくことがあるであろう、複数の固定されたスキャンを有することも可能である。
すべてのスキャンは、単一のグループ（スキャンのグループ）に接続されなければならない。
ステップ１４０３は、グローバルアライメントステップである。「グローバルアライメントステップ」の中では、改善された変換が、すべての基準スキャンに基づいて各スキャンごとに計算される。図１４に示されるように、プロセスは、Ｎ個のスキャンの最後のものがＳ１４０３Ｎで実行されるまで、最初にＳ１４０３ＡでスキャンＡのために実行され、次いでＳ１４０３ＢでスキャンＢのために実行される等々である。これらの改善は、すべて他のスキャンとは関係なく計算され、これにより計算は、単一のコンピュータ又は多くのコンピュータのクラスタで順次に又は並行して実行され得る。被写体（又はソース）ポイントクラウドとしてのスキャン接続性グラフの各スキャンについて（つまり複数のスキャンのそれぞれについて）、被写体ポイントクラウドと重複する１つ以上のスキャンのそれぞれが基準ポイントクラウドとして設定される。（他の箇所で言及された回転アライメント又は並進アライメントである場合もあれば、反復最接近点アルゴリズムである場合もある）アライメントアルゴリズムは、次いで、プロセスエラー基準が満たされるまで、被写体ポイントクラウドをターゲットポイントクラブに対して回転及び並進させて、被写体ポイントクラウドと基準ポイントクラウドとの間の改訂された定められた回転及び並進関係を得るために、被写体ポイントクラウドと被写体のポイントクラウド表現内の基準ポイントクラウドとの間の定められた回転及び並進関係を初期推定値として、被写体ポイントクラウド及び基準ポイントクラウドに対して実行される。
Ｓ１４０４で、定められた回転及び並進関係の改訂は次いで、例えば平均又は加重平均として結合され（重み付けは、重複の程度に従ってよい）、結合された改訂は、被写体ポイントクラウドの位置情報に適用される。適用されている結合された改訂は、被写体ポイントクラウドが実際に位置を動かすマージされたポイントクラウドがあることを意味する場合もあれば、それは、共通座標系の被写体ポイントクラウドのために位置情報を記憶する情報が修正されることを意味する場合もある。
プロセスは、複数のスキャンとして、及びある程度の一致範囲内までの高い重複度を有する複数のスキャンを発見する。これらの複数のスキャンは通常、被写体スキャンの近傍の範囲内にある。次いで、これらの複数のスキャンのそれぞれに対する被写体スキャンのためのアライメントベクトルは、別々に計算される。重複するスキャンの各対は、被写体スキャンの現在の位置及び向きを動かすために回転ベクトル及び並進ベクトルの補正を与える。次いで、スキャンの各対から生じるこれらの修正ベクトルは、重複度（重複度に比例する重み付け）に基づいて、任意選択で加重平均として平均化される。
プロセスはＳ１４０４で終わってよい。任意選択で、Ｓ１４０５で、追加の改訂を得るためにＳ１４０３を繰り返すかどうかを判断するために基準が実施される場合がある。例えば、すべての変換更新が十分に小さかった（ユーザによって設定されるなんらかの閾値又は所定以下）場合、アルゴリズムは解に収束し、終わらせることができる。しかしながら、１つ以上の変換が収束基準を満たさなかった場合、「グローバルアライメントステップ」Ｓ１４０３が繰り返される。代わりに又はさらに、ユーザは、実行する「グローバルアライメントステップ」Ｓ１４０３の最大数を設定してよく、その後それは、所望される解の公差がまだ達成されていなくても終了する。
Ｓ１４０６で、改訂された回転及び並進関係は、保存され、任意選択で、保存された回転及び並進関係に従って単一のポイントクラウドにマージされた複数のスキャンの改訂されたポイントクラウド表現で実施されてよい。
図５の説明
図５は、例えば、本発明を実施し、実施形態のいずれかの方法を実施するために使用され得る、サーバ等のコンピューティングデバイスのブロック図である。特に、図５のコンピューティングデバイスは、３Ｄ画像取得部１２、記憶部１４、回転アライメントプロセッサ１６、及び並進アライメントプロセッサ１８の中からの１つ以上のハードウェア構成であってよい。図５のコンピューティングデバイスは、図４及び図６〜図１４のいずれかの方法を実施するために使用されてよい。
コンピューティングデバイスは、コンピュータ処理部（ＣＰＵ）９９３、ランダムアクセスメモリ（ＲＡＭ）９９５等のメモリ、及びハードディスク９９６等のストレージを含む。任意選択で、コンピューティングデバイスは、実施形態の他の係るコンピューティングデバイスとの通信のためのネットワークインタフェース９９９も含む。例えば、実施形態は、クラウドコンピューティングクラスタとして動作する係るコンピューティングデバイスのネットワークから構成されてよい。任意選択で、コンピューティングデバイスは、読み取り専用メモリ９９４、キーボード及びマウス９９８等の１つ以上の入力機構、及び１つ以上のモニタ９９７等のディスプレイユニットも含む。構成要素は、バス９９２を介して互いに接続可能である。
ＣＰＵ９９３は、コンピューティングデバイスを制御し、処理動作を実行するように構成される。ＲＡＭ９９５は、ＣＰＵ９９３によって読み書きされているデータを記憶する。さらに、ＧＰＵがあってよい。記憶部９９６は、例えば不揮発性記憶部であってよく、データを記憶するように構成される。
任意選択のディスプレイユニット９９７は、コンピューティングデバイスによって記憶されたデータの表現を表示し、ユーザとコンピューティングデバイスに記憶されたプログラム及びデータとの間の対話を可能にするカーソル及びダイアログボックス及び画面を表示する。入力された機構９９８は、ユーザがデータ及び命令をコンピューティングデバイスに入力できるようにする。ディスプレイは、ステレオガラスを使用する３Ｄディスプレイ、又はＨｏｌｏｌｅｎｓのようにすべてがヘルメットの中にある、又はどちらも特別な眼鏡を必要としないホログラフィックディスプレイ又はオートステレオスコピックディスプレイであるであろう。
ネットワークインタフェース（ネットワークＩ／Ｆ）９９９は、例えばインターネット等のネットワークに接続され、ネットワークを介して他の係るデバイスに接続可能である。ネットワークＩ／Ｆ９９９は、ネットワークを介して他の装置からの／へのデータの入力／出力を制御する。ネットワークＩ／Ｆは、３Ｄデータセットがそこから入手されたコンピューティングデバイスへの接続を提供してよく、処理（例えば、アルゴリズムを選択すること）の要素を定義する引数又は命令を受け取ってよい。
マイク、スピーカ、プリンタ、電源装置、ファン、ケース、スキャナ、トラックボール等の他の周辺装置は、コンピューティングデバイス内に含まれてよい。
３Ｄ画像アライメント装置１０は、図５に示されるコンピューティングデバイス等のコンピューティングデバイスによって機能上、実現されるとして実施されてよい。３Ｄ画像アライメント装置１０の機能性は、単一のコンピューティングデバイスによって、又はネットワーク接続を介して協力して機能する複数のコンピューティングデバイスによって実現されてよい。本発明を実施する方法は、例えば図５に示されるコンピューティングデバイス等のコンピューティングデバイス上で実施されてよい、又はそれによって実装されてよい。１つ又は複数の係るコンピューティングデバイスは、実施形態のコンピュータプログラムを実行するために使用されてよい。実施形態を実施する又は実施形態を実装するために使用されるコンピューティングデバイスは、図５に示されるあらゆる構成要素を有する必要はなく、それらの構成要素の部分集合から構成されてよい。本発明を実施する方法は、ネットワークを介して１つ以上のデータストレージサービスと通信する単一のコンピューティングデバイスによって実施されてよい。
３Ｄ画像取得部１２は、取得部９９６に記憶される処理命令、処理命令を実行するためのプロセッサ９９３、及び処理命令の実行中に情報オブジェクトを記憶するためのＲＡＭ９９５を含んでよい。
回転アライメントプロセッサ１６及び並進アライメントプロセッサ１８は、記憶部９９６に記憶された処理命令、処理命令を実行するためのプロセッサ９９３、及び処理命令の実行中に情報オブジェクトを記憶するためのＲＡＭ９９５を含んだ、プログラムされたプロセッサハードウェアであってよい。
どちらの場合も、プロセッサは、ＣＰＵ又はＧＰＵ又はＦＰＧＡ又はそれらのアレイであるであろう。
追加の態様の詳細な説明
ポイントクラウド生成プロセッサ
第１のデータセット及び第２のデータセットのそれぞれがポイントクラウドである場合もあれば、なんらかの他の形のスキャンデータである場合もある。データ取得部は、第１のデータセット及び第２のデータセットをデータファイルとして入手し、物理的な測定値をスキャンデータのデータセットに変換するためのハードウェアを含んでもよい。すなわち、データセット取得部は、物理的な測定値をデータセットに変換するための撮像装置を含んでよい。代わりに、データセット取得部は、例えばネットワーク又は他のなんらかの形のデータ接続上で、それぞれの撮像装置から第１のデータセット及び第２のデータセットを受け取るよう作動する。撮像装置は、他の実施形態に関して本書の他の箇所で詳説される撮像装置の例のいずれかであってよい。
さらに、スキャンにより入手されるデータセットは、ＣＡＤモデル又はメッシュモデル又はポイントクラウドを生成するために特定の場所でサンプリングされる他の３Ｄ表現であってよい、又はそれらとマージされてよい、又はそれらと位置合わせされてよい、又はそれらから入手されてよい。これは、建築家が、例えば提案されている延長部等のＣＡＤモデルからの要素を、提案されている延長部が位置合わせされる物理的な建物のスキャンと結合させることを希望する建物設計において応用される場合がある。また、これは、建設技師が「設計時の（ａｓ−ｄｅｓｉｇｎｅｄ）」ＣＡＤモデルを物理的に建設された「施工完了時」の建物のスキャンと比較することを希望する建物建設においても応用される場合もある。また、これは、コンピュータ生成画像、ＣＧＩメッシュモデルが、実際の３Ｄスキャン環境と正確に位置合わせされる必要がある映画製作及び拡張現実で応用される場合もある。
第１のデータセット及び第２のデータセットは、すでに図１の装置を介して予備的なアライメント処理を受けた可能性がある。データセット取得部は、第１のデータセット及び第２のデータセットを、回転で及び任意選択で並進で図１の装置によって指定された精度レベルに位置合わせされたポイントクラウドとして取得する。回転軸の回りでのポイントクラウドのうちの１つの反復回転は、ポイントクラウドの現在の回転アライメントの近傍での角度の範囲を通る。範囲は、例えば、粗いアライメントの精度により決定され、どちらかの方向での指定された精度レベルを加えた／差し引いた現在の回転アライメント間の角度の範囲に実質的に等しい。
関心のある被写体は、例えば空間の領域、又は１つ以上のオブジェクトのすべて若しくは部分であってよい、データセットで表される物理的なエンティティである。
（第１のデータセット及び第２のデータセットを集合的に参照する）入力データセットは、ポイントクラウドである場合もあれば、例えば線及び形状等のなんらかの他の手段によって関心のある被写体を表すデータセットである場合もある。
入力データセットがすでにポイントクラウドであるとき、ポイントクラウド生成プロセッサは、ポイントクラウドを共通座標系に変換し、ポイントクラウドを記憶してよい。さらに、ポイントクラウド生成プロセッサは、例えば両方のポイントのクラウドのための所定の共通のポイント密度との適合のために、ポイント密度を増加又は減少させるためにサンプリングを実行してよい。また、元のフォーマットはデカルト座標にはない場合があるので、プロセッサは、１つのポイントクラウドフォーマットから別のポイントクラウドフォーマットへ、例えば．ｆｌｓフォーマットから．ｘｙｚフォーマットへ変換してもよい。
入力データセットがすでにポイントクラウドの形をとっていないとき、次いでポイントクラウド生成プロセッサは、データセットをポイントクラウドに変換するための変換プロセスを実行する。例えば、データセットが変換プロセスでサンプリングされる両方のデータセットに共通の所定のポイント密度があってよい。
生成されたポイントクラウドでは、第１のポイントクラウド及び第２のポイントクラウドは、共通座標系に画定される。共通座標系は、どちらかの又は両方のデータセットのネイティブ座標系であってよい。どちらかの座標系が二次元である場合、次いでそのポイントクラウドは、三次元の共通座標系で平面を画定する。両方のデータセットは少なくとも２次元であり、どちらか又は両方とも３次元であってよい。２Ｄデータセットからポイントクラウドを得るための１つの方法は、画像の部分の暗さ又は明るさに比例してポイント密度を変えることである。暗さがなんらかのフィーチャの密度又は強度を示す２Ｄデータセットでは、ポイント密度は、暗さに比例してこの近傍で高くされるであろう。これを行う１つの方法は、ポイントの非常に密集したランダムアレイを作成し、２Ｄデータセットの上に重ね合わせることである。次いで、１つの部分が最も暗い部分よりもどれほど明るいのかに応じて、ポイントを無作為に間引く。別の方法は、入力として必要とされるポイントの密度を有するランダムポイント生成装置を有することである。次いで、２Ｄ画像全体でこの生成器を動かし、それに各ポイントでの画像の暗さを入力する。別の方法は、２Ｄデータセット上に細かい規則正しいグリッドを置くことである。次いで、各セルの中に、ポイントの数がセル上で平均化された２Ｄデータセットの暗さ及び明るさに依存する、ポイントの無作為の分布を置く。図面又はモデルからポイントクラウドを得るための他の方法もある。
三次元共通座標系における２つのポイントクルドの相対的な回転アライメントは、任意であってよい。代わりに、２つのデータセットは、両方のデータセットに共通の１つ又は複数の軸（例えば、水平軸又は垂直軸）が画定され、１つ又は複数の共通軸が（言うまでもなく、該１つ又は複数の共通軸に対するそれぞれのデータセットの、既知である場合、回転アライメントとともに）共通座標系の中で位置合わせされる形で提供されてよい。
同様に、三次元共通座標系での２つのポイントクラウドの相対的な並進位置は任意である場合もあれば、それらを近似的に配置するために以前の類似の知識が使用される場合もある。
アライメントプロセッサは、１つ以上の回転軸の回りの２つのデータセット間のスキャンされた被写体の回転の相対角度を決定するように構成される。回転軸は、例えばそれに応じてそれぞれのポイントクラウドのポイントが画定される３つの軸であってよい。１つ以上の軸の回りの回転角度は、例えば２つの入手されたデータセット内の水平等の共通の線又は平面の指定のためにすでに既知である場合がある。装置のユーザは、その回りでの回転角度がアライメントプロセッサにより決定される１つ以上の軸の表示を可能にするユーザインタフェースを提示される場合がある。
関心のある各回転軸について、２つのポイントクラウドは共通座標系で互いに対して回転される。回転は反復（段階的）であり、相対的な回転角度の最善／最大の相関値を決定するために、反復のたびに、２つのポイントクラウドを１本の線又は複数の線の上に投影し、線ごとに（再び反復して又は段階的に）線に沿って互いに対して２つの投影をスライドして、各段階／反復で２つの投影間の相関値を発見するプロセスが実施される。このプロセスが所望される（例えば、完全な回転であってよい）角度範囲内で各ステップに対して繰り返されると、最善／最大の相関値の中の最大値が決定され、該最大値を生じさせる相対角度が回転軸の回りの２つのデータセットの回転アライメントの角度であると決定される。さらに、該最大値を生じさせる平行移動が記録され、それぞれの線に沿った平行移動は、線に沿った２つのデータセットの空間的な分離、したがってデータセットを並進アライメントにするために必要とされる平行移動の方向及び大きさを表す。
ポイントが上に投影される線は、両方のポイントのクラウドにとって共通である。該少なくとも３本の線は、デカルト座標軸又は地理座標系又は球面座標系又は円筒座標系であるであろう。任意選択で、複数の線が関心のある軸ごとに分析される。
線上への投影は、実質的にはロッド又は線への三次元ポイントクラウドの折り畳みである。線上への投影は、線の法線ベクトルに沿う、線に対してある角度をなす、又は線を交差する曲線に沿う場合がある。投影の線は、デカルト座標軸又は地理座標系又は球面座標若しくは円筒座標であってよい。
細かいアライメント手順が実行されてよい。つまり、連続角度間のステップは削減され、相対回転角度と、初期ステップでの各方向でのその隣接する近傍との間の一連の角度は、以前に決定された最大値を超える最善／最大の相関値を生じさせる相対回転角度を決定できるかどうかを判断し、できる場合には、該相対回転角度を回転アライメントの新しい角度として記録するために再び処理される。係る細かいアライメント手順は反復して実行されてよく、毎回ステップを削減する。反復毎のステップの削減は、例えば１／１０である。
図１３は、追加の態様に係る例示的な回転アライメントプロセスを詳説するフローチャートである。
ステップＳ２０１ａ及びＳ２０１ｂで、第１のデータセット及び第２のデータセットが入手される。例えば、第１のデータセットは、３Ｄシーンの部分をスキャンして３Ｄポイントクラウドデータを第１のデータセットとして入手することによって入手される。第２のデータセットは、３Ｄポイントクラウドを第２のデータセットとして入手するために、第１のデータセットでスキャンされた領域の部分と重複する、又は該部分を共通して有する３Ｄシーンの部分をスキャンすることによって入手される。このスキャンは、同時に、第１のデータセットを入手する前又は後に行われる場合がある。同じ撮像装置が両方のスキャンに使用される例では、撮像装置のｄｅｌｔａｘ、ｄｅｌｔｒａｙ、ｄｅｌｔａｚでの並進位置、及び同じ３Ｄシーンに対するアルファ角ド、ベータ角度、ガンマ角度での回転は、完全に未知の方法で又は部分的に未知の方法でスキャン間で変化する。
ステップ２０２ａ及び２０２ｂで、入手されたデータセットの前処理が実行される。前処理の最後に、データセットは共通３次元座標系のポイントクラウド、すなわち単一の座標系を有する概念的な３Ｄ作業領域として表される。前処理は、以下の１つ以上を含んでよい。
− 第１のデータセット及び第２のデータセットを．ｘｙｚフォーマットに変換すること、
− ポイント密度を一様にするための空間サンプリング
−
− 撮像装置が高さ、コンパス方位、高度についての情報を記録した場合、次いで共通３次元座標系の中にそれぞれのデータセットを配置するためにこの情報を使用すること、
− データセットに適切な表現を選択し、実施する、
− 撮像装置が遠い目標物と同じ視線内の近傍の目標物の端縁を調べるときに一般的に発生する、３Ｄ空間内で浮遊する、アーチファクト、つまりそうでなければ分離されたポイントのクラスタを削除することによってデータセットをフィルタにかけ、クリーニングする、
− 例えば人及び家具等の不必要なオブジェクトを削除することによってスキャンをフィルタにかけ、クリーニングする、
− レンジフィルタリングを適用することによってスキャンをフィルタにかけ、クリーニングする、
− 端縁、平面、円筒、球体、及び他の形状が認識され、それらと関連付けられたポイントが追加の処理のために保存されるが、残りは削除される非線形フィルタが適用される場合がある。この機能を達成するための既知のアルゴリズム及び新規のアルゴリズムのリストは、付録Ａに示される。係る複雑なフィーチャの選択は３Ｄシーンに依存するため、建物の場合、端縁及び平面が役に立つ場合がある。撮像装置に雑音が多く、シーンが特定の複雑なフィーチャを含むことが既知である場合、雑音に起因するポイントの散乱を削減するために既知の形状を適合させることによって、それらの複雑なフィーチャを発見することが有益である場合がある。次いで、ポイントは、最近傍の面法線に沿って複雑なフィーチャの上に投影される場合がある。

− ステップＳ２０３で、回転軸が投影線に沿って決定され、回転アライメント処理が始まる。ステップＳ２０３〜Ｓ２１０の回転アライメント処理は、その回りでアライメント角度が求められる回転軸ごとに繰り返される。ステップＳ２０３〜Ｓ２１０の回転アライメント処理は、並列処理として２つ又は３つの軸のそれぞれに実行されてよい。処理手順の観点からは、３つすべての角度は、すべての投影線に沿って相関を同時に最大にするためのなんらかの最適化技術を使用し、ともに変更される場合がある。１つの方法は、粗角度を用い、次いですべての線に沿って最高の相関を示す角度に注目し、次いで細かい検索を行うことによってパラメータ空間を検索することである。最適化技術は、傾斜降下、焼き鈍し法、遺伝アルゴリズム、又はレーベンバーグマルカートを含む。
投影線（つまり、その上にスキャンが折り畳まれる線）は、例えば互いに対してある角度をなす３本の線として選択されてよい。３本の線の場合、第３の線は、他の２本の線と同じ平面内にあってはならず、理想的には、その平面に対して大きい角度をなすべきである。任意選択で、３本の線は直交し、３つの軸ｘ、ｙ、ｚを形成する。また、任意選択で、建物のスキャンでは、線は、床及び壁の端縁と一致するように選択されてよい。任意選択で、軸は、第１のポイントクラウドが、軸上に折り畳まれ、それ自体と相互に関連付けられるときに、類似する大きさの周期的な一致するピークを生じさせないように選ばれる。第１のポイントクラウドが周期的な一致するピークを生じさせる場合、１つの明確なピークが各軸に沿ったその自己相関で見られるまで第１のポイントクラウドを回転させる。
任意選択で、＞１本のラインが使用されてよい。２Ｄ画像の平面内の複数のラインは、異なる角度であり、理想的には画像内の線フィーチャ又は部分的な線フィーチャに対して垂直である。３Ｄポイントクラウドの線は、理想的には、表面若しくは表面セグメンチに対して垂直、又はポイント密度の最高変化の方向に平行であるべきである。計算を省くために、数千本の線を有する代わりに、最大の平面表面積と関連付けられた線だけが選択される。これを行う１つの方法は、本書に開示されるように、面法線ベクトルを発見し、ガウス空間にそれらを描くことである。次いで、球面上の等しい面積のパッチを使用し、ガウス球の表面上のポイント密度を計算する。次いで、最高のポイント密度の領域を選択するためだけに閾値化する。代替の方法は、非線形処理を使用して、最高のポイント密度値を強調し、ポイント密度をある数乗する、又は１０若しくはｅをポイント密度乗することによって対比することである。次いで、各ピークポイント密度クラスタの幾何中心を発見する。最大面積は最も多い面法線ベクトルを有し、したがって最高のピークポイント密度を示すので、これらの幾何中心へのガウス球上のベクトルは、各投影線の方向である。したがって、室内では、それは壁、床、及び天井であるであろう。屋根の室内では、床、及び２つの傾斜する屋根壁、及び２つの端壁があるであろう。円筒形の室内では、装置は、床の上に、壁の基部である円形の線を投影する。また、ガウス球上でのポイント密度パターンは、円筒の軸に垂直な平面を発見するためにも使用できる。装置は、大円を探す、又は大円をガウス球の回りのピークポイント密度に適合させる。この大円平面は、円筒の軸に垂直な平面である。また、室内にはいくつかの非対称のフィーチャがあったと仮定し、装置は、回転を発見しようとするために床上の２本の直交する直線上に投影してもよい。非常に高いポイント密度を示し、理想的には、線上の他のポイントと比較されて、線に沿った特定の点で又は線に沿ったすべての点で対照をなす線が選ばれる。投影後及び相関前に、高いポイント密度値及びコントラストが、ポイント密度をある数乗する、又は１０若しくはｅをポイント密度乗することによって強調されてよい。
特定の回転軸の場合、２つの極値の間の範囲内の回転角度が段階的に考慮される。ステップは、所望される精度レベルであってよく、範囲は完全な回転であってよい。任意選択で、ステップは、所望される精度レベルよりも粗い場合があり、Ｓ２０３〜Ｓ２０８の手順は、所望される精度レベルに達するまで高まり続ける精度レベルで反復して実行される。ある手法は、最高の相関を示す粗角度を探し、次いですべての角度でではなく粗角度の回りだけで細かい検索を行うことである。所望される精度レベルは、装置ユーザによって指定される場合がある。ポイントクラウドの１つは固定されたままである。一方、他方は回転される。回転するポイントクラウドは範囲の開始まで回転される。
ステップＳ２０４で、２つのポイントクラウドは、それぞれの回転軸のために線上に折り畳まれ、２つの投影（つまり、線に沿った一次元アレイ）として記憶される。例えば、Ｓ２０４は、第１のポイントクラウド及び第２のポイントクラウドを線上に折り畳む、又は投影することを含む。線が座標軸である場合、これは、第３の座法線上への投影のために座標のうちの２つをゼロに設定することによって行われる。このタイプの折り畳みは、軸の法線ベクトルに沿った軸の上への投影を表す。曲線又は軸に対してある角度をなす又は非線形様式の線に沿った他のタイプの投影又は折り畳みも可能である。
任意選択で、非線形又は線形の規模スケーリングが、例えば指数若しくはべき法則関数を使用し、より強力な規模を強調するために、又は例えば対数関数を使用し、より強力な規模を抑制するためにそれぞれの投影に適用される場合がある。
ステップＳ２０４〜Ｓ２０８によって定められたループが、複数の線に対して並行して実行されることに留意されたい。Ｓ２０８での回転は、２つのポイントクラウドの相対角度関係の変化であり、１つの、２つの、又は３つの回転角度の回りの変化である場合がある。ループＳ２０４〜Ｓ２０８を介して、１つ、２つ、又は３つの回転角度の回りの角度の範囲は、最大の相関値を発見するために反復される。複数の線が使用される場合、最大の相関値を生じさせる各軸の回りの角度に関して、複数の線のすべて又は所定の割合の間で一致が必要とされることに留意されたい。
ステップＳ２０５で、投影は、２つの極値の間の一連の平行移動のために段階的に互いに対して線に沿って並進される。各ステップで、２つの投影間の一致度（例えば、数学的な相関値）が計算され、これにより段階的な平行移動の最後に、（最大相関値によって表される）最大一致度が発見される（つまり、現在の回転での数学的な相関値の中の最大値）。Ｓ２０６で、（重要な角度は、Ｓ２０３の開始前のポイントクラウドのバージョンに対する角度であることに留意し）現在の回転の角度が、段階的なスライド中に計算される最大相関値、及びＳ２０２の最後でのポイントクラウドの位置に対する線に沿ったポイントクラウドの平行移動とともに、記録される。
Ｓ２０７で、角度の範囲の最後に達したかどうかがチェックされる。達していない場合、フローは、ポイントクラウドが別のステップ分、範囲を通して回転され、ステップＳ２０４からＳ２０７が繰り返されるＳ２０８に進む。はいである場合、フローはＳ２０９に進み、ポイントクラウドが回転されたステップサイズが所望される精度レベルに一致するかどうかが判断される。一致しない場合、フローは、どちらか側で（（以前のステップサイズの）１ステップ加えられた記録された角度であってよい新しい範囲が設定され、（所望される精度レベルを満たすために必要とされるステップサイズであってよい））新しいステップサイズが設定されるステップＳ２１０に進む。第１の回転が非常に粗い角度ステップを使用している場合、同じ大きさの相関が達成されるいくつかの角度がある場合がある可能性がある。したがって、それぞれの角度の回りで細かい検索が実行される。代わりに、新しいステップサイズは、例えば１００又は１０００等の所定の範囲分割数であってよく、これによりステップサイズは範囲に依存し、プロセスは、所望される精度レベルが満たされるまで反復して続行する。
ステップ２１１で、すべての角度、平行移動、及び回転軸について記録された最大相関値のうち、上限の最大相関が（投影線のすべてについて同時に）発見され、対応する回転角度及び平行移動（つまり−１つのポイントクラウドだけが動く必要があるため、平行移動は移動したポイントクラウドだけの値として表されてよいことに留意し−各ポイントクラウドが、最大相関値を入手するためにＳ２２０の最後でその記憶された位置に対して線に沿ってシフトされた量）が発見される。（ポイントクラウドがＳ２０２の最後で記憶される形での同じ回転軸の回りでのその回転角度に対するそれぞれの回転軸の回りでのポイントクラウドの回転の角度として表される）回転角度は、回転したポイントクラウドが、他のポイントクラウドとの回転アライメントのためにそれぞれの回転軸の回りでどれほど回転される必要があるのかを示す。平行移動は、線の識別とともに、Ｓ２０５の間のシフトされたポイントクラウドが、他のポイントクラウドとの並進アライメントを得るためにどれほど（及びどの線に沿って、及びどの方向で）シフトされるべきかを示す。ステップＳ２０３〜Ｓ２１０が関心のある各回転軸について完了されると、回転アライメントを得るための回転角度のベクトル、及び並進アライメントを得るための並進ベクトルが入手される。ベクトル自体はＳ２１１で出力される場合もあれば、回転で及び並進で、Ｓ２１１でマージされたポイントクラウドとして出力されるポイントクラウドを位置合わせするために使用される場合もある。
複数の投影線があるとき、複数の線のそれぞれの上へのその投影が記録されている平行移動値に最も近いベクトルに沿って移動することが必要である。これは、トライアルベクトルを作成し、各線でのエラーを計算し、次いでそれらのエラーを最小限に抑えるためにベクトルの角度及び長さを調整することによって行われる。例えば、トライアルベクトルは、各線に沿ったすべてのベクトルのベクトル和によって示される方向にある。例えば、トライアルベクトルの大きさは、各線に沿ったベクトルの最大の大きさである。代わりに、それは、各線に沿ったエラーの和を最小限に抑える、又は各線に沿ったエラーを改善するために、統計検索及び例えば遺伝アルゴリズム又は傾斜降下又は焼き鈍し法又はレーベンバーグマルカート等の最適化された収束によって行われる場合がある。
図１３に提示された方法は、３Ｄを２Ｄに、及び３Ｄ空間でのある回転及び平行移動での２Ｄを３Ｄ空間の別の回転及び並進での別の２Ｄに位置合わせする。３Ｄ空間におけるこの２Ｄから２Ｄへのアライメントは、スキャナが車速に比較して非常に速く回転する場合、自動運転車での線スキャンライダにとって適切である。車がよりゆっくりである場合、線スキャンライダはらせんをスキャンし、あるスキャンから次のスキャンへの回転、したがってらせんでの曲げ及び捻りは該方法によって発見できる。前方に移動する車の場合、連続する隣接する線スキャンのすべてに重複がないことに留意されたい。この場合、（投影の）１本の「線」はらせんの中心に中心を置いた円であるであろう。装置は、これをリアルタイム行うことを可能にする。したがって、以前のほとんどのスキャンは３Ｄボリュームに位置合わせされず、最も最近の新しいスキャンがこの３Ｄボリュームに位置合わせされる。有利なことに、移動するオブジェクト又は雑音に起因する記録でのあるスキャンから別のスキャンへの以前のスキャンのアライメントのあらゆるエラーは平均してならされる。周囲の環境は、あるスキャンから別のスキャンで車両に対して同じ平面に固執し続ける特定のフィーチャしか有さない場合があるので、いくつかの以前のスキャンだけがこのようにして結合できる。車両がトンネルに入る又は出るとき、平均化は使用できない。これは、突然の変化を検出することにより容易に検出でき、そのスキャンが前方方向に対してある角度をなすライダを使用し、そのスキャンが互いに対して、例えば前方方向に対してある角度を加え、差し引いたある角度をなす複数のライダを使用することによって補償できる。２つのライダスキャナがあるとき、一方のスキャナからのそれぞれの新しいスキャンの、そのスキャナからの以前のスキャンとのアライメントは、他方のスキャナのための同等なアライメントと同時に実施されるべきであり、両方のスキャナと、及び車両の速度測定システム、及び任意の車載加速度計及びジャイロスコープ及び圧力計及び磁力計及び傾斜計の測定値と一貫性がある平均的な又は最適化された回転及び平行移動ベクトルが計算される。
追加の態様、及び事実上任意の他の態様は、図５に示され、上述されたコンピューティング装置等のコンピューティング装置によって実施されてよい。

Claims (38)

  1. 装置であって、
    第１のときの第１の空間の第１の３Ｄデータセットであって、三次元での第１のポイントクラウドであり、前記第１のポイントクラウドの各ポイントが撮像装置による前記第１の空間の中の測定値を表す前記第１の３Ｄデータセットを、第１の位置及び向きの前記撮像装置から入手し、
    第２のときの第２の空間の第２の３Ｄデータセットであって、前記第２の空間が前記第１の空間と重複し、前記第２の３Ｄデータセットが三次元での第２のポイントクラウドであり、前記第２のポイントクラウドの各ポイントが、前記撮像装置による前記第２の空間の中の測定値を表す前記第２の３Ｄデータセットを、第２の位置及び向きの前記撮像装置から入手する
    ように構成された３Ｄデータセット取得部と、
    前記第１の３Ｄデータセット及び前記第２の３Ｄデータセットを、それぞれのポイントのクラウドとして共通座標系に記憶するように構成された記憶部と、
    ベクトルの第１の集合の各要素又はベクトルの第２の集合の各要素が、前記それぞれのポイント及び近傍ポイントを表す、前記記憶されている第１のポイントクラウドをベクトルの前記第１の集合に変換し、前記記憶されている第２のポイントクラウドをベクトルの前記第２の集合に変換し、
    前記共通座標系で画定された３つの回転軸の１つ以上でベクトルの前記第２の集合の前記第１の集合に対するどの回転角度で、ベクトルの前記第１の集合の前記角度分布とベクトルの前記第２の集合の角度分布との最大一致度が得られるのかを発見し、
    前記計算された一致度が最大となる前記１つの回転軸若しくは複数の回転軸のそれぞれの回りでの前記回転角度を出力する、又は
    前記共通座標系での前記それぞれの１つ以上の回転軸の回りで前記記憶された回転角度分、前記第２のポイントクラウドを回転させ、前記共通座標系で前記回転した第２のポイントクラウドを出力する
    ように構成される回転アライメントプロセッサと、
    を備える、装置。
  2. 前記装置が、
    ３本以上の線の中からの線の各対が平行ではなく、前記３本以上の線の中からの線の少なくとも１つの対が同一平面上ではない、前記共通座標系の前記３本以上の線のそれぞれに対して、
    前記第１のポイントクラウドの中の各ポイントの前記線の上への投影の、任意の起点に対する前記位置を記録し、
    前記記録された位置を第１の１次元アレイとして記憶する、及び／又は前記第１の１次元アレイとして前記それぞれの記録された位置での各ポイントの１つ以上の特性又は測定値を記憶し、
    前記第２のポイントクラウドの中の各ポイントの前記線上への前記投影の、前記任意の起点に対する前記位置を記録し、
    前記記録された位置を第２の１次元アレイとして記憶する、及び／又は前記第２の１次元アレイとして前記それぞれの記録された位置での各ポイントの１つ以上の特性又は測定値を記憶し、
    前記第１の１次元アレイと前記第２の１次元アレイとの最大一致度が計算される、前記第１の１次元アレイに対する前記第２の１次元アレイの前記線に沿った平行移動を発見し、前記最大の一致度が計算される前記平行移動を記録し、
    前記回転された第２のポイントクラウドが、前記それぞれの記録された平行移動により、前記共通座標系の前記３本以上の線のそれぞれに沿って並進される、前記共通座標系のマージされたポイントクラウドとしての前記第１のポイントクラウド及び前記回転された第２のポイントクラウド、並びに／又は
    前記３本の線、及び前記３本以上の線のそれぞれに沿った記録された平行移動のベクトル表示、並びに前記３つの回転軸及び前記及びそれぞれの記憶されている回転角度のベクトル表示、並びに／又は
    前記それぞれの記録された平行移動により前記共通座標系の前記３本以上の線のそれぞれに沿って並進された前記回転された第２のポイントクラウドのどちらかを出力する
    ように構成された並進アライメントプロセッサ
    をさらに備える、請求項１に記載の装置。
  3. 前記装置が、
    線が平面に対してある角度をなす、又は垂直である、前記共通座標系の前記線及び前記平面に対して、
    前記第１のポイントクラウドの中の各ポイントの前記線の上への投影の、任意の起点に対する前記位置を記録し、前記記録された位置を第１の１次元アレイとして記憶する、及び／又は前記それぞれの記録された位置での各ポイントの１つ以上の特性又は測定値を前記第１の１次元アレイとして記憶し、
    前記第１のポイントクラウドの中の各ポイントの前記平面の上への投影の、任意の基点に対する前記位置を記録し、前記記録された位置を第１の２次元アレイとして記憶する、及び／又は前記それぞれの記録された位置での各ポイントの１つ以上の特性又は測定値を前記第１の２次元アレイとして記憶し、
    前記回転された第２のポイントクラウドの中の各ポイントの前記線の上への前記投影の、前記任意の基点に対する前記位置を記録し、前記記録された位置を第２の１次元アレイとして記憶する、及び／又は前記それぞれの記録された位置での各ポイントの１つ以上の特性又は測定値を前記第２の１次元アレイとして記憶し、
    前記回転された第２のポイントクラウドの中の各ポイントの前記平面の上への投影の、任意の基点に対する前記位置を記録し、前記記録された位置を第２の２次元アレイとして記憶する、及び／又前記それぞれの記録された位置での各ポイントの１つ以上の特性又は測定値をは前記第２の２次元アレイとして記憶し、
    前記第１の１次元アレイと前記第２の１次元アレイとの最大一致度が計算される、前記第１の１次元アレイに対する前記第２の１次元アレイの前記線に沿った平行移動を発見し、前記最大の一致度が計算される前記平行移動を記録し、
    前記第１の２次元アレイと前記第２の２次元アレイとの最大一致度が計算される、前記第１の２次元アレイに対する前記第２の２次元アレイの、前記平面内での平行移動を発見し、前記前記平行移動を記録し、
    前記回転された第２のポイントクラウドが、前記それぞれの記録された平行移動により、前記共通座標系の前記線に沿って及び前記平面内で並進される、前記共通座標系のマージされたポイントクラウドとしての前記第１のポイントクラウド及び前記回転された第２のポイントクラウド、並びに／又は
    前記線に沿った及び前記平面内の前記記録された平行移動のベクトル表示、並びに前記３つの回転軸及び前記及び前記それぞれの記憶されている回転角度のベクトル表示、並びに／又は
    前記それぞれの記録された平行移動により前記共通座標系の前記線に沿って及び前記平面内で並進された前記回転された第２のポイントクラウド
    のいずれかを出力する
    ように構成された並進アライメントプロセッサ
    をさらに含む、請求項１に記載の装置。
  4. ３Ｄパターンマッチングアルゴリズムが、前記アルゴリズムによって識別可能なフィーチャのインスタンスを記述するポイントの集合を認識して、ポイントの前記集合の前記要素に前記それぞれの識別されたフィーチャのインスタンスの要素としてラベルを付けるために前記第１のポイントクラウド及び前記第２のポイントクラウドで実行され、前記ラベルが前記ラベルが付けられたポイントの特性であり、
    前記第１の１次元アレイと第２の１次元アレイの間の、及び／又は前記第１の２次元アレイと前記第２の２次元アレイの間の最大一致度を発見する際に、前記同じフィーチャのインスタンスの一致度がフィーチャ単位で計算され、前記一致度が、前記それぞれのフィーチャのインスタンスの要素としてラベルを付けられた、ラベル付けポイントの前記数に従って重みを付けられた前記フィーチャ単位の一致度の重み付けされた組合せである、
    請求項２又は３に記載の装置。
  5. 前記第１の３Ｄデータセット及び前記第２の３Ｄデータセットの一方又は両方がそこから入手される前記撮像装置が、ライダスキャナ又はソナースキャナのどちらかである、
    請求項１から４のいずれかに記載の装置。
  6. 前記第１の３Ｄデータセット及び前記第２の３Ｄデータセットの一方又は両方がそこから入手される前記撮像装置が、地面の中に挿入された電気抵抗トモグラフィスキャナであり、前記撮像空間が前記地面の下方である、又は
    前記第１の３Ｄデータセット及び前記第２の３Ｄデータセットの一方又は両方がそこから入手される前記撮像装置が、被験動物の皮膚上での配置のための電極を備えた電気インピーダンストモグラフィスキャナであり、前記撮像空間が前記被験動物の内部である、
    前記請求項のいずれかに記載の装置。
  7. 前記第１の３Ｄデータセット及び前記第２の３Ｄデータセットの一方又は両方がそこから入手される前記撮像装置が、ＭＲＩスキャナ又は核四重極共鳴を検出するスキャナであり、撮像空間が被験動物の内部である、
    前記請求項のいずれかに記載の装置。
  8. 前記３Ｄデータセット取得部が、雑音除去プロセッサを備え、前記第１の３Ｄデータセットを入手すること、及び前記第２の３Ｄデータセットを入手することが、前記雑音除去プロセッサが、前記第１のポイントクラウドに対して雑音除去アルゴリズムを実行し、前記第２のポイントクラウドに対して前記雑音除去アルゴリズムを実行することを含む、
    前記請求項のいずれかに記載の装置。
  9. ベクトルの前記第１の集合の前記ベクトルが面法線ベクトルであり、前記第２の集合の前記ベクトルが面法線単位ベクトルであり、
    前記第１のポイントクラウドを面法線ベクトルの第１の集合に変換すること、及び前記第２のポイントクラウドを面法線ベクトルの第２の集合に変換することが、個別にポイントクラウドごとに、問合せポイントとしての前記それぞれのポイントクラウドの各ポイントに対して、近傍ポイントの集合を選択し、前記近傍ポイントの集合及び前記問合せポイントの共分散行列を計算し、前記共分散行列を解いて、前記共分散行列に前記３つの固有値及び３つの固有ベクトルを発見し、最小固有値を有する前記固有ベクトルを決定し、前記固有ベクトルを所定の単位長さに正規化し、前記正規化された単位ベクトルを法線ベクトルの前記それぞれの第１の集合又は第２の集合に追加することによって面法線ベクトルの前記第１の集合を生成すること、及び面法線ベクトルの前記第２の集合を生成することを含む、
    前記請求項のいずれかに記載の装置。
  10. 前記問合せポイントに対して近傍ポイントの前記集合を選択することが、起点が前記問合せポイントと一致した所定の半径の球体の中の前記ポイントのそれぞれを選択すること、又は前記問合せポイントにＮ個の最近傍のポイントを選択することのどちらかを含み、
    前記第１のポイントクラウドを面法線単位ベクトルの第１の集合に変換すること、及び／又は前記第２のポイントクラウドを面法線ベクトルの第２の集合に変換することが、
    面法線単位ベクトルの前記それぞれの集合を法線単位ベクトルの基準集合として記憶することと、
    最小半径に達するまで、前記球体の半径が漸次的に小さくなる状態で面法線単位ベクトルの前記それぞれの集合を前記生成することを繰り返し、その最小半径に達したポイントで前記繰り返すことが終了され、面法線単位ベクトルの前記基準集合が面法線単位ベクトルの前記それぞれの集合として設定されることと、各繰り返し時、
    前記繰り返しで生成された面法線単位ベクトルの前記それぞれの集合が面法線単位ベクトルの前記基準集合と一致する信頼度を決定することと、
    前記決定された信頼度が所定の基準を満たす場合、面法線単位ベクトルの前記基準集合を、面法線単位ベクトルの前記それぞれの集合として設定し、前記変換することを終了することと、
    前記決定された信頼度が前記所定の基準を満たさない場合、面法線単位ベクトルの前記記憶された基準集合を前記繰り返しで生成された面法線単位ベクトルの前記それぞれの集合で置換し、前記繰り返すことを続行することと
    を含む、請求項９に記載の装置。
  11. ベクトルの前記第１の集合の前記ベクトルが和ベクトルであり、前記第２の集合の前記ベクトルが和ベクトルであり、
    前記第１のポイントクラウドを和ベクトルの第１の集合に変換すること、及び前記第２のポイントクラウドを和ベクトルの第２の集合に変換することが、
    個別にポイントクラウドごとに、問合せポイントとして前記それぞれのポイントクラウドの各ポイントに対して、前記問合せポイントの回りに所定の半径の検索半径球体を形成すること、又は最近傍ポイントの指定数を発見すること、前記検索半径球体の中の、若しくは前記近傍の中の前記問合せポイントから他のすべてのポイントへのベクトルを計算すること、前記計算されたベクトルを合計して、前記和ベクトルを入手することを含む、
    請求項１から８のいずれかに記載の装置。
  12. ベクトルの前記第１の集合の各要素及びベクトルの前記第２の集合の各要素が前記それぞれのポイント及び近傍ポイントを表す、前記記憶されている第１のポイントクラウドをベクトルの第１の集合に変換すること、及び前記記憶されている第２のポイントクラウドをベクトルの第２の集合に変換することが、前記記憶されている第１のポイントクラウド及び第２のポイントクラウドで、又は前記ポイントクラウドを表すベクトルの集合でオートエンコーダを実行することを含み、
    前記オートエンコーダが、前記それぞれのポイントクラウドの前記ポイント密度の、又は前記それぞれのポイントクラウドの前記ポイント及び近傍ポイントでの前記測定値での端縁及び勾配を含む前記３Ｄ空間の中の一次フィーチャ、一次フィーチャの組合せである二次フィーチャ、及び任意選択で、二次フィーチャの組合せである三次フィーチャも抽出するための教師なしディープラーニングアルゴリズムであり、
    前記抽出されたフィーチャが、前記ベクトルの位置、向き、及び大きさが、前記抽出されたフィーチャの位置、向き、及び１つ又は複数の寸法によって決定される対応するベクトルによって表される、
    請求項１から１１のいずれかに記載の装置。
  13. ベクトルの前記第１の集合の前記ベクトル及びベクトルの前記第２の集合の前記ベクトルが、それぞれベクトルの複数の部分集合を備え、前記複数の部分集合の中の各部分集合が、前記それぞれのポイントクラウドを特定のタイプのベクトルとして表し、前記特定のタイプが、前記他の部分集合のタイプとは異なり、
    前記特定のタイプが、
    − 請求項１２に記載の前記オートエンコーダによって生成され、一次フィーチャを表すベクトルと、
    − 請求項１２に記載の前記オートエンコーダによって生成され、二次フィーチャを表すベクトルと、
    − 請求項１２に記載の前記オートエンコーダによって生成され、三次フィーチャを表すベクトルと、
    − 請求項１２に記載の前記オートエンコーダによって生成され、一次フィーチャ、二次フィーチャ、及び／又は三次フィーチャを表すベクトルと、
    − 面法線単位ベクトル、
    − 和ベクトル、
    − 発散ベクトル、
    − 辺ベクトル、
    − 円筒ベクトル、
    − 複合オブジェクトベクトル、
    − 平面ベクトル、
    − ポイント密度勾配ベクトル、
    − ポイント密度勾配発散ベクトル、及び
    − 勾配ベクトル
    の中から１つ以上を含み、
    前記最大一致度を発見する際に、
    ベクトルの前記第１の集合の前記角度分布とベクトル前記第２の集合の前記角度分布との間で、及び／又は
    前記第１の１次元アレイと前記第２の１次元アレイとの間で、及び／又は
    前記第１の２次元アレイと前記第２の２次元アレイとの間で、
    前記同じ特定のタイプのベクトルの部分集合間の一致度がタイプ毎に計算され、任意の平行移動又は回転角度での前記一致度が、前記それぞれの特定のタイプの前記一致度の組合せであり、前記組合せが平均又は加重平均である、
    請求項１から１２のいずれかに記載の装置。
  14. 前記共通座標系で画定された３つの回転軸のうちの１つ以上でベクトルの前記第２の集合の前記第１の集合に対するどの回転角度で、ベクトルの前記第１の集合の前記角度分布とベクトルの前記第２の集合の角度分布との最大一致度が得られるのかを発見することが、
    ベクトルの前記第１の集合及び第２の集合の前記ベクトルに共通基点を帰することと、
    前記共通基点を中心とした概念的な球体を表面領域又はボリューム領域に分割することと、
    前記共通座標系に画定された前記３つの回転軸のうちの前記１つ以上のそれぞれでベクトルの前記第２の集合の前記第１の集合に対する回転のどの角度で、ベクトルの前記第１の集合からのベクトルの前記ベクトルポイント分布と、前記表面領域又はボリューム領域の中のベクトルの前記第２の集合からのベクトルの前記ベクトルポイント分布との最善の一致が得られるのかを発見することと、
    を含む、前記請求項のいずれかに記載の装置。
  15. 前記回転アライメントプロセッサが、ベクトルの前記第１の集合と前記第２の集合の前記角度分布間で前記最善の一致を発見する前に、
    両方の集合で、テンプレート形状の１つを表す面法線単位ベクトルを認識し、前記それぞれの集合から、前記テンプレート形状の１つを表すとして認識されていない面法線単位ベクトルを削除することによってベクトルの前記第１の集合及び第２の集合をフィルタにかけるようにさらに構成される、
    請求項１から１４のいずれかに記載の装置。
  16. 前記認識することが、それぞれ面法線単位ベクトルの前記第１の集合上で、及び面法線単位ベクトルの前記第２の集合上でセグメント化アルゴリズムを実行することによって実施される、
    請求項８又は１５に記載の装置。
  17. システムであって、
    第１の３Ｄデータセットであって、第１のときの第１の空間の前記第１の３Ｄデータセットを、第１の位置及び向きで生成するように構成された第１の撮像装置と、
    第２の３Ｄデータセットであって、第２のときの第２の空間の前記第２の３Ｄデータセットを、第２の位置及び向きで生成するように構成された第２の撮像装置であって、前記第２の空間及び前記第１の空間が重複し、前記第２の撮像装置が前記第１の撮像装置であり、前記第２のときが前記第１のときとは異なる、又は前記第２の撮像装置が前記第１の撮像装置とは異なるのどちらかである、第２の撮像装置と、
    前記第１の３Ｄデータセットであって、三次元での第１のポイントクラウドであり、前記第１のポイントクラウドの各ポイントが前記撮像装置による前記第１の空間の中の測定値を表す前記第１の３Ｄデータセットを前記第１の撮像装置から入手し、
    前記第２の３Ｄデータセットであって、三次元での第２のポイントクラウドであり、前記第２のポイントクラウドの各ポイントが、前記撮像装置による前記第２の空間の中の測定値を表す前記第２の３Ｄデータセットを前記第２の撮像装置から入手する
    ように構成された３Ｄデータ取得部と、
    前記第１の３Ｄデータセット及び前記第２の３Ｄデータセットを、それぞれのポイントのクラウドとして共通座標系に記憶するように構成された記憶部と、
    ベクトルの第１の集合の各要素又はベクトルの第２の集合の各要素が、前記それぞれのポイント及び近傍ポイントを表す、前記記憶されている第１のポイントクラウドをベクトルの前記第１の集合に変換し、前記記憶されている第２のポイントクラウドをベクトルの前記第２の集合に変換し、
    前記共通座標系で画定された３つの回転軸の１つ以上でベクトルの前記第２の集合の前記第１の集合に対するどの回転角度で、ベクトルの前記第１の集合の前記角度分布とベクトルの前記第２の集合の角度分布との最大一致度が得られるのかを発見し、
    前記計算された一致度が最大となる前記１つの回転軸若しくは複数の回転軸のそれぞれの回りでの前記回転角度を出力する、又は
    前記共通座標系での前記それぞれの１つ以上の回転軸の回りでの前記記憶された回転角度分、前記第２のポイントクラウドを回転させ、前記共通座標系で前記回転した第２のポイントクラウドを出力する
    ように構成される回転アライメントプロセッサと、
    を備える、システム。
  18. 方法であって、
    第１のときの第１の空間の第１の３Ｄデータセットであって、三次元での第１のポイントクラウドであり、前記第１のポイントクラウドの各ポイントが撮像装置による前記第１の空間の中の測定値を表す前記第１の３Ｄデータセットを入手することと、
    第２のときの第２の空間の第２の３Ｄデータセットであって、前記第２の空間及び前記第１の空間が重複し、三次元での第２のポイントクラウドであり、前記第２のポイントクラウドの各ポイントが、撮像装置による前記第２の空間の中の測定値を表す前記第２の３Ｄデータセットを入手することと、
    前記第１の３Ｄデータセット及び前記第２の３Ｄデータセットを、それぞれのポイントのクラウドとして共通座標系に記憶することと、
    ベクトルの第１の集合の各要素又はベクトルの第２の集合の各要素が、前記それぞれのポイント及び近傍ポイントを表す、前記記憶されている第１のポイントクラウドをベクトルの前記第１の集合に変換し、前記記憶されている第２のポイントクラウドをベクトルの前記第２の集合に変換することと、
    前記共通座標系で画定された３つの回転軸の１つ以上でベクトルの前記第２の集合の前記第１の集合に対するどの回転角度で、ベクトルの前記第１の集合の前記角度分布とベクトルの前記第２の集合の角度分布との最大一致度が得られるのかを発見することと、
    前記計算された一致度が最大となる前記１つの回転軸若しくは複数の回転軸のそれぞれの回りでの前記回転角度を記憶することと、又は
    前記共通座標系での前記それぞれの１つ以上の回転軸の回りでの前記記憶された回転角度分、前記第２のポイントクラウドを回転させ、前記共通座標系で前記回転した第２のポイントクラウドを出力することと、
    を含む方法。
  19. 前記出力することが、前記回転された第２のポイントクラウド及び共通座標系に画定された前記記憶されている第１のポイントクラウド及び／又は１つ以上の記憶された回転角度を有するそのそれぞれの座標系での前記第１の及び第２のポイントクラウドを出力することを含む、
    請求項１８に記載の方法。
  20. ３本以上の線の中からの線の各対が平行ではなく、前記３本以上の線の中からの線の少なくとも１つの対が同一平面上ではない、前記共通座標系の前記３本以上の線のそれぞれに対して、
    前記第１のポイントクラウドの中の各ポイントの前記線の上への投影の、任意の起点に対する前記位置を記録することと、
    前記記録された位置を第１の１次元アレイとして記憶する、及び／又は前記それぞれの記録された位置での各ポイントの１つ以上の特性又は測定値を前記第１の１次元アレイとして記憶することと、
    前記回転された第２のポイントクラウドの中の各ポイントの前記線上への前記投影の、前記任意の起点に対する前記位置を記録することと、
    前記記録された位置を第２の１次元アレイとして記憶する、及び／又は前記それぞれの記録された位置での各ポイントの１つ以上の特性又は測定値を前記第２の１次元アレイとして記憶することと、
    前記第１の１Ｄアレイと前記第２の１Ｄアレイとの最大一致度が計算される、前記第１の１次元アレイに対する前記第２の１次元アレイの前記線に沿った平行移動を発見し、前記最大の一致度が計算される前記平行移動を記録することと、
    前記回転された第２のポイントクラウドが、前記それぞれの記録された平行移動により、前記共通座標系の前記３本以上の線のそれぞれに沿って並進される、前記共通座標系のマージされたポイントクラウドとしての前記第１のポイントクラウド及び前記回転された第２のポイントクラウド、並びに／又は
    前記３本以上の線、及び前記３本以上の線のそれぞれに沿った記録された平行移動のベクトル表示、並びに前記３つの回転軸及び前記及びそれぞれの記憶されている回転角度のベクトル表示、並びに／又は
    前記それぞれの記録された平行移動により前記共通座標系の前記３本以上の線のそれぞれに沿って並進された前記回転された第２のポイントクラウド
    のどちらかを出力することと
    を含む、並進アライメントプロセス
    をさらに含む、請求項１８又は１９に記載の方法。
  21. 方法であって、
    被写体のそれぞれの部分を表す複数の個々の３Ｄデータセットを入手することであって、前記複数の個々の３Ｄデータセットの間での前記並進及び回転の関係が未知である、入手することと、
    前記複数の個々の３Ｄデータセットの間の１対の個々の３Ｄデータセットの組合せごとに、
    請求項１８に記載の前記方法の前記記憶するステップ、変換するステップ、発見するステップ、及び記憶するステップ、並びに前記それぞれの１つ以上の回転軸の回りの前記回転角度に加えて、ベクトルの前記第１の集合の前記角度分散とベクトルの前記第２の集合の前記角度分散との間の前記対応する最大一致度の前記大きさを記憶することを実行することと、
    前記複数の個々の３Ｄデータセットの間の個々の３Ｄデータセットごとに、
    前記個々の３Ｄデータセットを前記対の要素として含むすべての対のうち、前記記憶されている最大一致度が最大である前記対、及び任意選択で前記記憶されている最大一致度が前記最大の定められた範囲内にある任意の対を識別し、前記識別された対又は各識別された対に対して請求項２０に記載の前記並進アライメントプロセスを実行することと、
    前記第１の及び第２の３Ｄデータセットとして前記識別された対又は各識別された対で請求項１８に記載の前記入手するステップを実行し、前記対について記憶された前記それぞれの１つ以上の回転軸の回りの前記回転角度で前記識別された対に対して請求項１８に記載の前記回転させるステップを実行し、前記回転された第２のポイントクラウドが、請求項２０に記載の前記並進アライメントプロセスから前記それぞれの記録された平行移動によって前記共通座標系の前記３本以上の線のそれぞれに沿って並進され、それによって前記対の間の固定された回転及び並進関係を有する個々の３Ｄデータセットの前記対の対ポイントクラウド表現を入手することと、
    を含む、請求項１８に記載の前記方法を実行することと
    前記対ポイントクラウド表現のうちの２つ以上に出現する前記同じ個々の３Ｄデータセットのインスタンスを同一場所に配置することによって、前記対の前記対ポイントクラウド表現を単一のポイントクラウドにマージすることを含む、方法。
  22. 請求項１８から２１のいずれかに記載の前記方法により入手される共通座標系に画定された１対のポイントクラウド。
  23. 装置であって、
    第１のときの関心のある被写体の第１の部分を表す第１のデータセットであって、ｎ次元スキャンデータである前記第１のデータセットを入手し、
    第２のときの関心のある前記被験者の第２の部分を表す第２のデータセットであって、ｍ次元スキャンデータセットである前記第２のデータセットを入手し、
    前記入手されたデータセットの示された１つ以上の軸回転アライメントがその回りで要求される、三次元座標系の１つ以上の軸の表示を入手する
    ように構成されたデータ取得部であって、
    前記第１の部分及び前記第２の部分が重複するフィーチャを備え、ｍ及びｎのそれぞれが２又は３に等しい、データ取得部と、
    前記第１のデータセットを表す第１のポイントクラウド及び前記第２のデータセットを表す第２のポイントクラウドを生成し、記憶するように構成されたポイントクラウド生成プロセッサであって、前記第１のポイントクラウド及び第２のポイントクラウドが前記三次元座標系で画定される、ポイントクラウド生成プロセッサと、
    前記軸の回りで、又は各軸の角度の組合せの回りで前記ポイントクラウドの一方を他方に対して反復して回転させ、前記三次元座標系の１本以上の特定の線のそれぞれに対して、各反復時、
    前記第１のポイントクラウド及び第２のポイントクラウドを前記線上に投影し、
    前記２つの投影の間の最大相関を発見するために前記線に沿って互いに対して前記投影を移動させ、
    前記最大相関を記録し
    上限の最大相関が記録される前記ポイントクラウドの前記一方の回転角度若しくは回転角度の組合せを識別し、
    前記識別された回転角度を前記第１の記憶されたポイントクラウド及び第２の記憶されたポイントクラウドの前記それぞれの示された軸の回りの回転アライメントの前記角度として出力する、又は前記第１の記憶されたポイントクラウド及び第２の記憶されたポイントクラウドの前記それぞれの示された軸の回りの回転角度の前記組合せを出力する
    ように構成されるアライメントプロセッサと、
    を備える、装置。
  24. 前記アライメントプロセッサが、前記示された１つ以上の前記軸又は各軸について、前記それぞれの識別された回転角度分、前記ポイントクラウドの前記一方を他方に対して回転させることによって前記記憶されている第１のポイントクラウド及び第２のポイントクラウドを修正し、前記修正された第１のポイントクラウド及び第２のポイントクラウドを回転で位置合わせされたポイントクラウドとして記憶するようにさらに構成される、
    請求項２３に記載の装置。
  25. 前記アライメントプロセッサが、
    各反復時、前記２つの投影の間で前記最大相関が発見される前記１本又は複数の線に沿って前記投影の平行移動を記録し、
    前記示された１つ以上の前記軸又は各軸について、上限の最大相関が記録される前記識別された回転角度について記録された前記平行移動を識別し、前記識別された平行移動の量及び方向分、前記それぞれの特定の１本又は複数の線に沿って、前記ポンとクラウドを互いに対して移動させることによって前記記憶されている第１の及び第２のポイントクラウドを修正し、
    前記修正された第１のポイントクラウド及び第２のポイントクラウドを単一のマージされたポイントクラウドとして記憶する
    ようにさらに構成される、
    請求項２４に記載の装置。
  26. 前記アライメントプロセッサが、
    各反復時、前記２つの投影の間で前記最大相関が発見される前記１本又は複数の線に沿って前記投影の平行移動を記録し、
    前記示された１つ以上の前記軸又は各軸について、上限の最大相関が記録される前記識別された回転角度について記録された前記平行移動を識別し、
    前記示された１つ以上の軸のそれぞれについて前記平行移動を出力する
    ようにさらに構成される、
    請求項２５に記載の装置。
  27. 前記２つの投影の間で最大相関を発見することが、各投影を１次元ポイント密度分布として表し、前記２つの１次元ポイント密度分布の間の相関を反復して計算することであって、前記１次元ポイント密度分布の一方が各反復時に他方に対して前記１本又は複数の線に沿って移動する、計算することと、前記１本又は複数の線に沿った一連の移動の間の最大相関を識別することとを含む、
    請求項２３から２６のいずれかに記載の装置。
  28. 前記２つの投影の間で最大相関を発見することが、
    前記線を定められた長さの隣接する一連の別個のビンに分割することと、各投影に対して前記一連の別個のビンのそれぞれの中の前記投影のポイント数を計算することであって、各ビンの前記ポイント数が前記１次元ポイント密度分布である、計算すること
    を含み、
    ビン間の前記分割が一致するまで、前記１次元の一方が、他方に対して前記線に沿って各反復時に移動し、前記相関が、ビン内の一方の投影からの前記ポイント数及び前記一致するビン内の前記他方の投影からの前記ポイント数の前記積の、一連の別個のビン全体での和である、
    請求項２７に記載の装置。
  29. 方法であって、
    第１のときの関心のある被写体の第１の部分を表す第１のデータセットであって、ｎ次元スキャンデータセットである前記第１のデータセットを入手することと、
    第２のときの関心のある前記被験者の第２の部分を表す第２のデータセットであって、ｍ次元スキャンデータセットである前記第２のデータセットを入手することと、
    示された１つ以上の軸の回りで前記入手されたデータセットの回転アライメントが要求される、三次元座標系の１つ以上の軸の表示を入手することであって、
    前記第１の部分及び前記第２の部分が重複するフィーチャを備え、ｍ及びｎのそれぞれが２又は３に等しい、入手することと、
    前記第１のデータセットを表す第１のポイントクラウド及び前記第２のデータセットを表す第２のポイントクラウドを生成し、記憶することであって、前記第１のポイントクラウド及び第２のポイントクラウドが前記三次元座標で画定される、生成し、記憶することと、
    前記軸の回りで、又は各軸の角度の組合せの回りで前記ポイントクラウドの一方を他方に対して反復して回転させ、前記三次元座標系の１本以上の特定の線のそれぞれに対して、各反復時、
    前記第１のポイントクラウド及び第２のポイントクラウドを前記線上に投影することと、
    前記２つの投影の間の最大相関を発見するために前記線に沿って互いに対して前記投影を移動させることと、
    前記最大相関を記録することと、
    上限の最大相関が記録される前記ポイントクラウドの前記一方の前記回転角度若しくは回転角度の組合せを識別することと、
    前記識別された回転角度を前記第１の記憶されたポイントクラウド及び第２の記憶されたポイントクラウドの前記それぞれの示された軸の回りの回転アライメントの前記角度として出力する、又は前記第１の記憶されたポイントクラウド及び第２の記憶されたポイントクラウドの前記それぞれの示された軸の回りの回転角度の前記組合せを出力することと、
    を含む、方法。
  30. コンピューティング装置による実行時、前記コンピューティング装置に、請求項２９に記載の前記方法を実行させるコンピュータプログラム。
  31. 画像処理方法であって、
    被写体のポイントクラウド表現であって、複数の個々のスキャンから構成され、各スキャンが前記被験者の一部分のポイントクラウド表現であり、各スキャンが１つ以上の他のスキャンに重複し、前記１つ以上の他のスキャンに対する定められた回転及び並進関係を有し、前記スキャンの少なくとも１つで、２つ以上の他のスキャンが重複する、前記ポイントクラウド表現を入手することを含み、
    被験者ポイントクラウドとしての前記複数の個々のスキャンのそれぞれに対して、前記被験者スキャンと重複する前記１つ以上の他のスキャンを基準ポイントクラウドとして設定することと、
    前記基準ポイントクラウドのそれぞれの個別スキャンに対して、プロセスエラー基準が満たされるまで、前記被写体ポイントクラウドを前記基準ポイントクラウドの前記個々のスキャンに対して回転させ、並進させ、前記被写体ポイントクラウドと前記基準ポイントクラウドの前記個々のスキャンとの間の改訂された定められた回転及び並進関係を得るために、前記被写体ポイントクラウドと、前記被写体の前記ポイントクラウド表現の中の前記基準ポイントクラウドの前記個々のスキャンとの間の前記定められた回転及び並進関係を初期推定値として、前記被写体ポイントクラウド及び基準ポイントクラウドの前記個々のスキャンに対して回転アライメントアルゴリズム及び並進アライメントアルゴリズムを実行することと、
    前記被写体ポイントクラウドと前記基準ポイントクラウドの前記個々のスキャンのそれぞれとの間の前記改訂された定められた回転及び並進関係を結合することと、
    前記被写体ポイントクラウドと前記被写体の前記ポイントクラウドの前記基準ポイントクラウドとの間の前記結合された、改訂された定められた回転及び並進関係を実施することと、
    を含むグローバルアライメントプロセスを実行することによって特徴付けられる、
    画像処理方法。
  32. 各反復に対する漸次的により厳しくなるプロセスエラー基準により、１回以上、前記グローバルアライメントプロセスを繰り返すこと
    をさらに含む、請求項３１に記載の画像処理方法。
  33. 前記プロセスエラー基準が最大許容エラーである、請求項３１又は３２に記載の画像処理方法。.
  34. 前記回転アライメントアルゴリズム及び前記並進アライメントアルゴリズムが、ポイントの対、又はポイント及び平面を備える対のどちらかに対して実行される反復最接近点アルゴリズムであり、どちらの場合も、各対の１つの要素が、前記基準ポイントクラウド及び前記被験者ポイントクラウドからの前記個々のスキャンのそれぞれから、前記基準ポイントクラウド及び被験者ポイントクラウドからの前記個々のスキャンの前記重複するセクションからである、請求項３１から３３のいずれかに記載の画像処理方法。
  35. 前記グローバルアライメントプロセスによる改訂の前に、前記被験者の前記入手されたポイントクラウド表現のスキャンのそれぞれの重複する対の間の前記定められた回転関係が、請求項１８から２０若しくは２９のいずれかの前記方法によって、又は請求項３０に記載の前記コンピュータプログラムによって、請求項１から１６又は２３から２８のいずれかに記載の装置で、請求項１７に記載の前記システムで、第１の３Ｄデータセット及び第２の３Ｄデータセットとして、スキャンの前記対を回転で位置合わせすることによって入手され、
    前記グローバルアライメントプロセスによる改訂の前に、前記被験者の前記入手されたポイントクラウド表現のそれぞれの重複する対の間の前記定められた並進関係が、スキャンの前記対を第１の３Ｄデータセット及び第２の３Ｄデータセットとして位置合わせすることによって入手され、請求項２に記載の前記装置若しくは請求項２０に記載の前記方法で、前記記録された平行移動は前記定められた並進関係である、又は請求項２５若しくは２６に記載の前記装置で、前記平行移動は前記定められた並進関係である、
    請求項３１から３４のいずれかに記載の画像処理方法。
  36. 前記回転アライメントアルゴリズムを実行することが、請求項１から１６若しくは２３から２８のいずれかに記載の前記装置で、請求項１７に記載の前記システムで、請求項１８から２０若しくは２９のいずれかに記載の前記方法によって、又は請求項３０に記載の前記コンピュータプログラムによって、第１の３Ｄデータセット及び第２の３Ｄデータセットとしてスキャンの前記対を回転で位置合わせすることを含み、
    前記並進アライメントアルゴリズムを実行することが、第１の３Ｄデータセット及び第２の３Ｄデータセットとしてスキャンの前記対を位置合わせすることを含み、請求項２に記載の前記装置又は請求項２０に記載の前記方法で、前記記録された平行移動が、前記定められた並進関係である、又は請求項２５若しくは２６に記載の前記装置で、前記平行移動が、前記定められた並進関係である、
    請求項３１から３５のいずれかに記載の画像処理方法。
  37. コンピューティング装置による実行時、前記コンピューティング装置に請求項３１から３６のいずれかに記載の方法を実行させる、コンピュータプログラム。
  38. メモリハードウェア及びプロセッサハードウェアを備える画像処理装置であって、前記メモリハードウェアが、前記プロセッサハードウェアによる実行時、前記プロセッサに、
    被写体のポイントクラウド表現であって、複数の個々のスキャンから構成され、各スキャンが前記被験者の一部分のポイントクラウド表現であり、各スキャンが１つ以上の他のスキャンに重複し、前記１つ以上の他のスキャンに対する定められた回転及び並進関係を有し、前記スキャンの少なくとも１つで、２つ以上の他のスキャンが重複する、前記ポイントクラウド表現を入手させ、
    被験者ポイントクラウドとして次々に前記複数の個々のスキャンのそれぞれに対して、前記被験者スキャンと重複する前記１つ以上の他のスキャンを基準ポイントクラウドとして設定することと、
    前記基準ポイントクラウドのそれぞれの個別スキャンに対して、プロセスエラー基準が満たされるまで、前記被写体ポイントクラウドを前記基準ポイントクラウドの前記個々のスキャンに対して回転させ、並進させ、前記被写体ポイントクラウドと前記基準ポイントクラウドの前記個々のスキャンとの間の改訂された定められた回転及び並進関係を得るために、前記被写体ポイントクラウドと、前記被写体の前記ポイントクラウド表現の中の前記基準ポイントクラウドの前記個々のスキャンとの間の前記定められた回転及び並進関係を初期推定値として、前記被写体ポイントクラウド及び基準ポイントクラウドの前記個々のスキャンに対して回転アライメントアルゴリズム及び並進アライメントアルゴリズムを実行することと、
    前記被写体ポイントクラウドと前記基準ポイントクラウドの前記個々のスキャンのそれぞれとの間の前記改訂された定められた回転及び並進関係を結合することと、
    前記被写体ポイントクラウドと前記被写体の前記ポイントクラウドの前記基準ポイントクラウドとの間の前記改訂された定められた回転及び並進関係を実施することと、
    を含むグローバルアライメントプロセスを実行させる、
    処理命令を記憶する、画像処理装置。
JP2019540645A 2017-01-27 2018-01-26 ３ｄデータセットのアライメントのための装置、方法、及びシステム Pending JP2020514876A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1701383.0 2017-01-27
GB1701383.0A GB2559157A (en) 2017-01-27 2017-01-27 Apparatus, method and system for alignment of 3D datasets
PCT/GB2018/050233 WO2018138516A1 (en) 2017-01-27 2018-01-26 Apparatus, method, and system for alignment of 3d datasets

Publications (1)

Publication Number Publication Date
JP2020514876A true JP2020514876A (ja) 2020-05-21

Family

ID=58462764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019540645A Pending JP2020514876A (ja) 2017-01-27 2018-01-26 ３ｄデータセットのアライメントのための装置、方法、及びシステム

Country Status (11)

Country Link
US (1) US11049267B2 (ja)
EP (2) EP3809370A1 (ja)
JP (1) JP2020514876A (ja)
CN (1) CN110574071B (ja)
AU (1) AU2018212700B2 (ja)
CA (1) CA3051795A1 (ja)
GB (1) GB2559157A (ja)
IL (2) IL268301B (ja)
SG (1) SG11201906824QA (ja)
WO (1) WO2018138516A1 (ja)
ZA (1) ZA201904933B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102451797B1 (ko) * 2021-06-01 2022-10-12 씨드로닉스(주) 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2240115B1 (en) * 2007-12-21 2019-05-29 3M Innovative Properties Company Orthodontic treatment monitoring based on reduced images
US10265138B2 (en) * 2017-09-18 2019-04-23 MediVis, Inc. Methods and systems for generating and using 3D images in surgical settings
GB2567636B (en) * 2017-10-17 2021-11-10 Perspectum Diagnostics Ltd Method and apparatus for imaging an organ
US11682131B2 (en) * 2017-10-27 2023-06-20 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling image capturing apparatus
CN108198145B (zh) * 2017-12-29 2020-08-28 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置
CN110313020A (zh) * 2018-01-22 2019-10-08 深圳市大疆创新科技有限公司 图像处理方法、设备及计算机可读存储介质
DE102018206751A1 (de) * 2018-05-02 2019-11-07 Continental Automotive Gmbh Konturerkennung eines fahrzeugs anhand von messdaten einer umfeldsensorik
US10935378B2 (en) * 2018-05-21 2021-03-02 Tusimple, Inc. System and method for angle measurement
WO2019229913A1 (ja) * 2018-05-30 2019-12-05 株式会社ニコン 情報処理装置、情報処理方法、情報処理プログラム、及び顕微鏡
AU2019319766A1 (en) * 2018-08-07 2021-02-25 Groundprobe Pty Ltd Wall visualisation from virtual point of view
CN109146976B (zh) * 2018-08-23 2020-06-02 百度在线网络技术（北京）有限公司 用于定位无人车的方法和装置
US11823461B1 (en) 2018-09-28 2023-11-21 Direct Current Capital LLC Systems and methods for perceiving a scene around a mobile device
SG11202102914PA (en) * 2018-10-02 2021-04-29 Panasonic Ip Corp America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US11257199B2 (en) * 2018-10-18 2022-02-22 Wisconsin Alumni Research Foundation Systems, methods, and media for detecting manipulations of point cloud data
US11295532B2 (en) * 2018-11-15 2022-04-05 Samsung Electronics Co., Ltd. Method and apparatus for aligning 3D model
US11341409B2 (en) * 2018-11-28 2022-05-24 Servicenow Canada Inc. Systems and methods for error reduction in materials casting
WO2020138463A1 (ja) * 2018-12-28 2020-07-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11956478B2 (en) * 2019-01-09 2024-04-09 Tencent America LLC Method and apparatus for point cloud chunking for improved patch packing and coding efficiency
US11567497B1 (en) * 2019-02-04 2023-01-31 Direct Current Capital LLC Systems and methods for perceiving a field around a device
US11610337B2 (en) * 2019-02-17 2023-03-21 Purdue Research Foundation Calibration of cameras and scanners on UAV and mobile platforms
CN111582293B (zh) * 2019-02-19 2023-03-24 曜科智能科技（上海）有限公司 平面几何一致性检测方法、计算机设备、及存储介质
US10891744B1 (en) 2019-03-13 2021-01-12 Argo AI, LLC Determining the kinetic state of a body using LiDAR point cloud registration with importance sampling
JP7239362B2 (ja) * 2019-03-20 2023-03-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
US11430206B1 (en) * 2019-04-16 2022-08-30 Apple Inc. Branch-and-bound search algorithm for 4D camera localization
EP3742398A1 (en) 2019-05-22 2020-11-25 Bentley Systems, Inc. Determining one or more scanner positions in a point cloud
US11080870B2 (en) 2019-06-19 2021-08-03 Faro Technologies, Inc. Method and apparatus for registering three-dimensional point clouds
US11270046B2 (en) * 2019-06-25 2022-03-08 Faro Technologies, Inc. Conversion of point cloud data points into computer-aided design (CAD) objects
EP3758351B1 (en) * 2019-06-26 2023-10-11 Faro Technologies, Inc. A system and method of scanning an environment using multiple scanners concurrently
EP3757826A1 (de) * 2019-06-28 2020-12-30 Aachener Grundvermögen Kapitalverwaltungsgesellschaft mbH Analyseverfahren für die gebäudebewirtschaftung
CN110728623B (zh) * 2019-08-27 2024-04-19 深圳市重投华讯太赫兹科技有限公司 云点拼接方法、终端设备、计算机存储介质
CN111144211B (zh) * 2019-08-28 2023-09-12 华为技术有限公司 点云显示方法和装置
SE543108C2 (en) * 2019-10-23 2020-10-06 Winteria Ab Method and device for inspection of a geometry, the device comprising image capturing and shape scanning means
US11182612B2 (en) * 2019-10-28 2021-11-23 The Chinese University Of Hong Kong Systems and methods for place recognition based on 3D point cloud
EP3825730A1 (en) 2019-11-21 2021-05-26 Bentley Systems, Incorporated Assigning each point of a point cloud to a scanner position of a plurality of different scanner positions in a point cloud
CN111047631B (zh) * 2019-12-04 2023-04-07 广西大学 一种基于单Kinect加圆盒的多视角三维点云配准方法
US11380078B2 (en) * 2019-12-13 2022-07-05 Hover, Inc. 3-D reconstruction using augmented reality frameworks
CN110928312B (zh) * 2019-12-16 2021-06-29 深圳市银星智能科技股份有限公司 机器人位置确定方法、非易失性计算机可读存储介质及机器人
TWI726569B (zh) * 2020-01-06 2021-05-01 財團法人工業技術研究院 建立組合件之交界軌跡的系統及方法
US11574485B2 (en) * 2020-01-17 2023-02-07 Apple Inc. Automatic measurements based on object classification
US11860315B2 (en) * 2020-01-20 2024-01-02 Direct Cursus Technology L.L.C Methods and systems for processing LIDAR sensor data
RU2764708C1 (ru) 2020-01-20 2022-01-19 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для обработки данных лидарных датчиков
US11457200B2 (en) * 2020-01-23 2022-09-27 At&T Intellectual Property I, L.P. Method of determining occlusion based visibility for volumetric video streaming
CN111325779B (zh) * 2020-02-07 2020-12-11 贝壳找房(北京)科技有限公司 点云配准方法和装置、电子设备和存储介质
GB2592440A (en) 2020-02-28 2021-09-01 Correvate Ltd Object recognition via object data database and augmentation of 3D image data
CN111462198B (zh) * 2020-03-10 2023-03-24 西南交通大学 一种尺度、旋转和辐射不变性的多模态影像配准方法
US20230110609A1 (en) * 2020-03-13 2023-04-13 Chiba Institute Of Technology Self-localization device
US11164330B2 (en) * 2020-03-13 2021-11-02 Applied Research Associates, Inc. Landmark configuration matcher
US11668799B2 (en) * 2020-03-20 2023-06-06 Aptiv Technologies Limited Histogram based L-shape detection of target objects
CN111540001B (zh) * 2020-04-09 2022-08-05 上海交通大学 航空发动机涡轮叶片气膜孔轴线方向检测方法
CN111611996B (zh) * 2020-04-22 2023-06-20 青岛联合创智科技有限公司 一种点云特征点描述子的计算方法
CN111599016B (zh) * 2020-05-14 2023-02-28 易思维（杭州）科技有限公司 点云误差计算方法
WO2021231828A1 (en) * 2020-05-14 2021-11-18 Taurex Drill Bits, LLC Wear data quantification for well tools
CN111462141B (zh) * 2020-05-19 2024-01-12 北京爱笔科技有限公司 点云平面的获取方法及装置、设备、计算机可读存储介质
US11676406B2 (en) * 2020-05-20 2023-06-13 Applications Mobiles Overview Inc. System and method of augmenting a three-dimensional objects training dataset
DE102020206815A1 (de) * 2020-05-29 2021-12-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Klassifizieren von Messpunkten einer Punktwolke
CN111666674B (zh) * 2020-06-01 2022-05-10 西北工业大学 一种型腔通道最小尺寸计算方法
CN111681309B (zh) * 2020-06-08 2023-07-25 北京师范大学 一种生成体素数据和边缘图像特征id矩阵的边缘计算平台
CN115968344A (zh) * 2020-06-18 2023-04-14 联邦科学和工业研究组织 地下采矿机器的导航
KR20230052874A (ko) * 2020-06-19 2023-04-20 커먼웰쓰 사이언티픽 앤 인더스트리알 리서치 오거니제이션 채굴용 데이터 모델
CN111754636B (zh) * 2020-06-26 2023-07-25 北京百度网讯科技有限公司 三维点云处理方法、三维点云处理模型训练方法及装置
CN112102178A (zh) * 2020-07-29 2020-12-18 深圳市菲森科技有限公司 一种点云保特征去噪方法、装置、电子设备及存储介质
CN111965726B (zh) * 2020-08-12 2023-09-08 浙江科技学院 一种用于核电安全的进出场器物检查系统及方法
CN112132857B (zh) * 2020-09-18 2023-04-07 福州大学 动态环境混合视觉系统的动态物检测和静态地图重建方法
CN112164101B (zh) * 2020-09-29 2023-01-20 北京环境特性研究所 三维点云匹配方法和装置
US11557046B2 (en) * 2020-09-30 2023-01-17 Argyle Inc. Single-moment alignment of imprecise overlapping digital spatial datasets, maximizing local precision
CN112184736B (zh) * 2020-10-10 2022-11-11 南开大学 一种基于欧式聚类的多平面提取方法
CN116406461B (zh) * 2020-10-13 2023-10-20 弗莱瑞尔公司 通过自动分析传感器数据生成物理结构和环境的测量结果
CN112233233B (zh) * 2020-10-15 2022-12-09 首都师范大学 一种隧道相对点云数据的三维线形恢复方法
US11170476B1 (en) 2020-10-15 2021-11-09 Aeva, Inc. Techniques for fast point cloud filtering using a series cascaded filter
CN114469046A (zh) * 2020-10-23 2022-05-13 北京华睿博视医学影像技术有限公司 电阻抗成像方法、系统、存储介质以及电子设备
CN112258646B (zh) * 2020-10-26 2024-03-12 上海汽车集团股份有限公司 一种三维线地标构建方法及装置
CN112233039B (zh) * 2020-10-29 2022-09-13 中电建路桥集团有限公司 基于领域点空间特征的三维激光点云去噪方法
US11354286B1 (en) * 2020-11-02 2022-06-07 Workday, Inc. Outlier identification and removal
CN112363215B (zh) * 2020-11-11 2022-10-28 西安石油大学 基于波原子分解自适应滤波的地震勘探信号增强方法
CN112365602B (zh) * 2020-11-23 2022-09-27 哈尔滨工业大学 一种基于激光点云的路面三维重构误差计算方法
CN113298820B (zh) * 2020-12-01 2022-08-26 湖南长天自控工程有限公司 一种料堆盘库的方法及系统
CN112289416B (zh) * 2020-12-18 2021-03-23 南京佗道医疗科技有限公司 一种引导针置入精度评价方法
US20220229946A1 (en) * 2021-01-20 2022-07-21 Insurance Services Office, Inc. Systems and Methods for Roof Area and Slope Estimation Using a Point Set
CN112967308B (zh) * 2021-02-26 2023-09-19 湖南南方水利水电勘测设计院有限公司 一种双极化sar影像的水陆边界提取方法及系统
CN112598668B (zh) * 2021-03-02 2021-06-29 北京大成国测科技有限公司 基于三维图像的缺陷识别方法、装置及电子设备
US11798183B2 (en) * 2021-03-08 2023-10-24 Nvidia Corporation Machine learning techniques for predicting depth information in image data
CN113205547A (zh) * 2021-03-18 2021-08-03 北京长木谷医疗科技有限公司 点云配准方法、骨头配准方法、装置、设备及存储介质
JP2022157660A (ja) * 2021-03-31 2022-10-14 株式会社トプコン 点群情報処理装置、点群情報処理方法、点群情報処理プログラム
CN113052883B (zh) * 2021-04-02 2024-02-02 北方工业大学 大尺度动态环境下融合现实手术导航配准系统及方法
KR102284196B1 (ko) * 2021-04-05 2021-08-02 정승혁 라이다 데이터를 이용한 실내 맵 생성 방법 및 장치
KR102284197B1 (ko) * 2021-04-05 2021-08-02 정승혁 라이다 데이터를 이용한 실내 맵 생성 방법 및 장치
ES2969640T3 (es) * 2021-04-09 2024-05-21 Beijing Xiaomi Mobile Software Co Ltd Método y aparato para codificar/decodificar datos geométricos de nubes de puntos capturados por un cabezal desensor giratorio
US11796565B2 (en) * 2021-04-09 2023-10-24 Bruker Nano, Inc. AFM imaging with metrology-preserving real time denoising
US11734883B2 (en) * 2021-04-14 2023-08-22 Lineage Logistics, LLC Generating mappings of physical spaces from point cloud data
US11403817B1 (en) 2021-04-14 2022-08-02 Lineage Logistics, LLC Point cloud filtering
CN113344990B (zh) * 2021-04-27 2022-09-20 成都飞机工业（集团）有限责任公司 孔位表征投影系统及自适应拟合的孔位对齐方法
CN113251919B (zh) * 2021-04-28 2023-04-07 中铁第四勘察设计院集团有限公司 一种基于坐标变换的圆柱体点云数据拟合方法及装置
CN113269242B (zh) * 2021-05-18 2022-03-08 电子科技大学 一种基于峰值聚类的目标检测点迹凝聚方法
CN113177974B (zh) * 2021-05-19 2024-07-12 上海商汤临港智能科技有限公司 一种点云配准方法、装置、电子设备及存储介质
EP4092559A1 (en) * 2021-05-21 2022-11-23 Dassault Systèmes Material extrusion detection method
US20220375162A1 (en) * 2021-05-21 2022-11-24 Illuscio, Inc. Systems and Methods for Generating and Applying Depth Keys at Individual Point Cloud Data Points
WO2022255912A1 (en) * 2021-06-01 2022-12-08 Telefonaktiebolaget Lm Ericsson (Publ) Alignment of dense point clouds of a physical object
JP2022184415A (ja) * 2021-06-01 2022-12-13 株式会社エビデント ３次元画像表示方法、３次元画像表示装置、およびプログラム
JP2022186156A (ja) * 2021-06-04 2022-12-15 富士通株式会社 特徴量算出プログラム、特徴量算出方法および情報処理装置
GB2607598A (en) 2021-06-07 2022-12-14 Correvate Ltd Aligning 3D datasets
CN113592922A (zh) * 2021-06-09 2021-11-02 维沃移动通信（杭州）有限公司 图像的配准处理方法及装置
CN113112535B (zh) * 2021-06-15 2021-11-02 四川大学 一种基于有向包围盒的尺度点云配准方法及装置
US11287529B1 (en) * 2021-06-16 2022-03-29 Aeva, Inc. Techniques for doppler point set registration
US11294059B1 (en) * 2021-06-16 2022-04-05 Aeva, Inc. Techniques for doppler point set registration
CN113378251B (zh) * 2021-06-18 2023-12-08 上海东峻信息科技有限公司 适用多种连续曲面类型的单元结构曲面阵列铺设建模方法
CN113408916B (zh) * 2021-06-28 2023-12-29 河南唐都科技有限公司 基于智能ai和移动app的消防设施检测及现场验收评定系统
US20230012905A1 (en) * 2021-07-02 2023-01-19 Canoo Technologies Inc. Proximity detection for automotive vehicles and other systems based on probabilistic computing techniques
CN113450461B (zh) * 2021-07-23 2022-07-08 中国有色金属长沙勘察设计研究院有限公司 一种排泥库土工布点云提取方法
CN113593017A (zh) * 2021-08-02 2021-11-02 中南大学 露天矿地表三维模型构建方法、装置、设备及存储介质
US11887271B2 (en) * 2021-08-18 2024-01-30 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system for global registration between 3D scans
US11915436B1 (en) * 2021-08-30 2024-02-27 Zoox, Inc. System for aligning sensor data with maps comprising covariances
CN113470091B (zh) * 2021-09-02 2021-11-30 深圳市信润富联数字科技有限公司 轮毂点云配准方法、装置、电子设备和存储介质
CN113837124B (zh) * 2021-09-28 2023-12-05 中国有色金属长沙勘察设计研究院有限公司 一种排泥库土工布巡检航线的自动提取方法
CN113987631B (zh) * 2021-10-18 2022-12-13 中山大学 一种基于对称性分析的建筑物受灾形变检测方法及系统
CN113724332B (zh) * 2021-11-04 2022-01-18 贝壳技术有限公司 相机相对位姿的确定方法、电子设备和存储介质
CN114131293B (zh) * 2021-11-25 2022-11-01 南京航空航天大学 一种飞机结构加强件自动化加工方法
CN114299079B (zh) * 2021-12-07 2024-05-28 北京航空航天大学 一种面向稠密点云数据的发动机叶片截面线数据获取方法
US11367204B1 (en) * 2021-12-16 2022-06-21 Ecotron LLC Multi-sensor spatial data auto-synchronization system and method
EP4202837A1 (en) * 2021-12-22 2023-06-28 Aptiv Technologies Limited A feature describing the shape of spatially distributed data set
CN114271856B (zh) * 2021-12-27 2022-10-11 开普云信息科技股份有限公司 三维超声影像生成方法、装置、存储介质及设备
EP4202749A1 (en) * 2021-12-27 2023-06-28 Visionx Inc. Systems and methods for alignment and comparison of a reference drawing with images of a part
CN114777668B (zh) * 2022-04-12 2024-01-16 新拓三维技术(深圳)有限公司 一种桌面式弯管测量方法及装置
US11899114B1 (en) * 2022-05-31 2024-02-13 Zoox, Inc. Secondary sensor data-based soft constraint optimization for pose graph and mapping refinement
CN114998155B (zh) * 2022-06-30 2024-06-11 浙江华展研究设计院股份有限公司 一种基于椭圆环状过滤器的隧道扫描点云噪点迭代过滤算法
US20240112396A1 (en) * 2022-10-03 2024-04-04 d3Labs Inc. Display of Three-Dimensional Scenes with Changing Perspectives
WO2024086123A1 (en) * 2022-10-17 2024-04-25 Innopeak Technology, Inc. Decoding method, encoding method, decoder and encoder
CN115423835B (zh) * 2022-11-02 2023-03-24 中汽创智科技有限公司 杆状物点云数据处理方法、装置、电子设备及存储介质
CN115797423A (zh) * 2022-12-07 2023-03-14 中国矿业大学(北京) 基于描述子特征优化矿山点云临近迭代的配准方法、系统
CN115661552B (zh) * 2022-12-12 2023-07-04 高德软件有限公司 一种点云处理、点云异常检测方法、介质及计算设备
CN116596755B (zh) * 2023-03-13 2024-05-28 深圳优立全息科技有限公司 一种点云数据的拼接方法、装置、设备及存储介质
CN116330667B (zh) * 2023-03-28 2023-10-24 云阳县优多科技有限公司 一种玩具的3d打印模型设计方法及系统
CN116524123B (zh) * 2023-04-20 2024-02-13 深圳市元甪科技有限公司 一种三维电阻抗断层扫描图像重建方法及相关设备
CN116612132A (zh) * 2023-05-25 2023-08-18 重庆茂侨科技有限公司 基于集料特征的3d点云目标分割方法
CN117086500B (zh) * 2023-08-17 2024-06-25 深圳市大德激光技术有限公司 一种激光蚀刻设备电气控制系统
CN117315428B (zh) * 2023-10-30 2024-04-05 燕山大学 一种跨模态特征对齐融合的人群计数系统及方法
CN117853666A (zh) * 2024-03-07 2024-04-09 法奥意威(苏州)机器人系统有限公司 基于细分八叉树的点云圆柱体检测方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139713A (ja) * 2004-11-15 2006-06-01 Fuji Electric Systems Co Ltd ３次元物体位置検出装置、プログラム
WO2012141235A1 (ja) * 2011-04-13 2012-10-18 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
US20130127851A1 (en) * 2011-11-22 2013-05-23 Raytheon Company Structure discovery in a point cloud
JP2015153405A (ja) * 2014-02-19 2015-08-24 株式会社リコー 情報処理装置、情報処理プログラム、および情報処理システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7027642B2 (en) * 2000-04-28 2006-04-11 Orametrix, Inc. Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects
US8885897B2 (en) 2007-10-26 2014-11-11 Koninklijke Philips N.V. Closed loop registration control for multi-modality soft tissue imaging
US20090232355A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data using eigenanalysis
US20090232388A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data by creation of filtered density images
WO2010127023A1 (en) * 2009-05-01 2010-11-04 Spicola Tool, Llc Remote contactless stereoscopic mass estimation system
US9410421B2 (en) * 2009-12-21 2016-08-09 Schlumberger Technology Corporation System and method for microseismic analysis
US9111444B2 (en) * 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
CN104978549B (zh) * 2014-04-03 2019-04-02 北京邮电大学 三维人脸图像特征提取方法和系统
CN104463894B (zh) * 2014-12-26 2020-03-24 山东理工大学 一种多视角三维激光点云全局优化整体配准方法
US9818043B2 (en) * 2015-06-24 2017-11-14 Microsoft Technology Licensing, Llc Real-time, model-based object detection and pose estimation
CN105261061B (zh) * 2015-09-07 2018-10-26 深圳市易尚展示股份有限公司 一种识别冗余数据的方法及装置
US20200183009A1 (en) * 2016-05-17 2020-06-11 Pioneer Corporation Information output device, terminal device, control method, program and storage medium
CN106204557A (zh) * 2016-06-30 2016-12-07 扬州大学 一种基于扩展高斯球与m估计的非完备数据对称特征的提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139713A (ja) * 2004-11-15 2006-06-01 Fuji Electric Systems Co Ltd ３次元物体位置検出装置、プログラム
WO2012141235A1 (ja) * 2011-04-13 2012-10-18 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
US20130127851A1 (en) * 2011-11-22 2013-05-23 Raytheon Company Structure discovery in a point cloud
JP2015153405A (ja) * 2014-02-19 2015-08-24 株式会社リコー 情報処理装置、情報処理プログラム、および情報処理システム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HANGBIN WU ET AL.: ""Registration of Airborne LiDAR Point Clouds by Matching the Linear Plane Features of Building Roof", REMOTE SENSING, vol. 8, no. 6, JPN7022000060, 25 May 2016 (2016-05-25), CH, pages 1 - 17, XP055462689, ISSN: 0004679750, DOI: 10.3390/rs8060447 *
LIANG ZHANG ET AL.: ""An improved RGB-D SLAM algorithm based on Kinect sensor"", 2015 IEEE INTERNATIONAL CONFERENCE ON ADVANCED INTELLIGENT MECHATRONICS (AIM), JPN6022000504, 7 July 2015 (2015-07-07), US, pages 555 - 562, XP033210561, ISSN: 0004679747, DOI: 10.1109/AIM.2015.7222594 *
MAJA TEMERINAC-OTT ET AL.: ""Evaluation of a New Point Clouds Registration Method Based on Group Averaging Features"", 2010 20TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION, JPN6022000499, 23 August 2010 (2010-08-23), US, pages 2452 - 2455, XP031770875, ISSN: 0004679751 *
上田 優子、外３名: ""拡張自由視点画像生成を用いた遠隔移動ロボット操縦インタフェース"", 情報処理学会研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ）, JPN6022000501, 15 February 2013 (2013-02-15), JP, pages 1 - 6, ISSN: 0004679748 *
石田 将吾、外２名: ""姿勢推定を用いた点群の位置合わせ"", 情報処理学会研究報告, vol. Vol.2014-CVIM-191, No.2, JPN6022000500, 24 February 2014 (2014-02-24), JP, pages 1 - 5, ISSN: 0004679749 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102451797B1 (ko) * 2021-06-01 2022-10-12 씨드로닉스(주) 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템
KR20220163306A (ko) * 2021-06-01 2022-12-09 씨드로닉스(주) 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템
KR102613257B1 (ko) 2021-06-01 2023-12-14 씨드로닉스(주) 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템

Also Published As

Publication number Publication date
AU2018212700A1 (en) 2019-08-29
IL268301A (en) 2019-09-26
US11049267B2 (en) 2021-06-29
AU2018212700B2 (en) 2022-09-29
GB201701383D0 (en) 2017-03-15
IL268301B (en) 2021-08-31
SG11201906824QA (en) 2019-08-27
CN110574071B (zh) 2023-08-01
EP3574473B1 (en) 2020-11-25
WO2018138516A1 (en) 2018-08-02
CN110574071A (zh) 2019-12-13
ZA201904933B (en) 2020-03-25
CA3051795A1 (en) 2018-08-02
EP3574473A1 (en) 2019-12-04
EP3809370A1 (en) 2021-04-21
US20200043186A1 (en) 2020-02-06
GB2559157A (en) 2018-08-01
IL285100A (en) 2021-08-31

Similar Documents

Publication Publication Date Title
US11049267B2 (en) Apparatus, method, and system for alignment of 3D datasets
US20230146134A1 (en) Object recognition via object data database and augmentation of 3d image data
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
CN104574406B (zh) 一种360度全景激光与多个视觉系统间的联合标定方法
US10762349B2 (en) System for generating 3D images for image recognition based positioning
Eo et al. Coregistration of terrestrial lidar points by adaptive scale-invariant feature transformation with constrained geometry
Hu et al. An automatic 3D registration method for rock mass point clouds based on plane detection and polygon matching
JP2006214893A (ja) 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム
Lui et al. Eye-full tower: A gpu-based variable multibaseline omnidirectional stereovision system with automatic baseline selection for outdoor mobile robot navigation
Özdemir et al. A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment
Weinmann et al. Geometric point quality assessment for the automated, markerless and robust registration of unordered TLS point clouds
Lalonde et al. Automatic three-dimensional point cloud processing for forest inventory
Parmehr et al. Automatic registration of optical imagery with 3d lidar data using local combined mutual information
Panday Fitting of parametric building models to oblique aerial images
WO2022258947A1 (en) Aligning 3d datasets
Guldur et al. Laser-based automatic cross-sectional change detection for steel frames
Preuksakarn Reconstructing plant architecture from 3D laser scanner data
Daghigh Efficient automatic extraction of discontinuities from rock mass 3D point cloud data using unsupervised machine learning and RANSAC
Ahmed Real-Time Interactive 3D Reconstruction of Indoor Environments With High Accuracy
Kissi Automatic Fracture Orientation Extraction from SfM Point Clouds
Belton et al. Automated Matching of Segmented Point Clouds to As-built Plans
Zhang et al. OCM: an intelligent recognition method of rock discontinuity based on optimal color mapping of 3D Point cloud via deep learning
Zhang Towards 3D matching of point clouds derived from oblique and nadir airborne imagery
Roy et al. Workbench for 3D target detection and recognition from airborne motion stereo and ladar imagery
Price et al. Point-cloud registration using 3D shape contexts

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190930

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20190926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220621