JP2019518222A - リアルタイムオンラインエゴモーション推定を有するレーザスキャナ - Google Patents
リアルタイムオンラインエゴモーション推定を有するレーザスキャナ Download PDFInfo
- Publication number
- JP2019518222A JP2019518222A JP2018567003A JP2018567003A JP2019518222A JP 2019518222 A JP2019518222 A JP 2019518222A JP 2018567003 A JP2018567003 A JP 2018567003A JP 2018567003 A JP2018567003 A JP 2018567003A JP 2019518222 A JP2019518222 A JP 2019518222A
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- processor
- prediction
- data
- scan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
この出願は、引用により本明細書にその開示が全体的に全ての目的に対して組み込まれている2016年3月11日出願の「リアルタイムオンラインエゴモーション推定を有するレーザスキャナ」という名称の米国仮特許出願第62/307,061号の利益を主張するものである。
・計算モジュールを動的に再構成する機能、
・計算モジュールの故障モードを完全に又は部分的にバイパスし、かつセンサ及び/又はセンサデータの劣化を扱う方式で残りのモジュールからのデータを組合せ、それによって環境的に誘導されたデータ劣化及びモバイルマッピングシステムの積極的なモーションに対処する機能、及び
・リアルタイムの性能を提供するために計算モジュールを協働的に統合する機能。
仮定及び座標系
図1に示すように、モバイルマッピングシステムのセンサシステムは、レーザ106、カメラ104、及びIMU102を含むことができる。カメラは、固有のパラメータが公知であるピンホールカメラモデルとしてモデル化することができる。3つのセンサの全ての間の外因性パラメータは較正することができる。カメラとレーザ間の相対的姿勢及びレーザとIMU間の相対的姿勢は、当業技術で公知の方法に従って決定することができる。単一座標系をカメラ及びレーザに使用することができる。一非限定例では、カメラ座標系を使用することができ、全てのレーザポイントを前処理でカメラ座標系に投影することができる。一非限定例では、IMU座標系は、カメラ座標系に平行にすることができ、従って、IMU測定は、収集に応答して回転させながら補正することができる。座標系は、以下のように定義することができる。
・カメラ座標系{C}は、x軸が左を指し、y軸が上を指し、z軸がカメラ主軸に一致する前方を指すカメラ光学中心から派生することができる。
・IMU座標系{I}は、x−、y−、及びz−軸が{c}に平行であり、同じ方向を指すIM測定中心から派生することができる。
・世界座標系{W}は、開始姿勢の{C}に一致する座標系とすることができる。
状態推定問題は、機能的最大確率(MAP)推定問題として定式化することができる。本発明者は、システム状態のセットU={ui}としてx={xi}、i∈{1;2;...,m}、制御入力のセットとしてi∈{1;2;...,m}、及びランドマーク測定のセットとしてZ={zk}、k∈{1;2;...,n}を定義することができる。提案するシステムが与えられる場合と、Zは、視覚特徴とレーザランドマークの両方を含むことができる。システムの複合確率は以下のように定義される。
式1
は、モーションモデルを表し、
は、ランドマーク測定モデルを表している。(1)として定式化された各問題に対して、問題の対応するベイズ簡略ネットワーク表現がある。MAP推定は式1を最大にすることである。ゼロ平均ガウスノイズの仮定の下で、問題は最小二乗問題と同等である。
式2
は、モーションモデル及びランドマーク測定モデルにそれぞれ関連付けられた残差である。
問題:レーザ、カメラ、及びIMUから与えられたデータは、(2)として問題を定式化及び解いて、{W}に対して{C}の姿勢を決定し、次に、推定された姿勢を使用してレーザポイントを記録して{W}の横断された環境のマップを構築する。
IMU機械化
この小節ではIMU予測サブシステムを説明する。システムは基本的なセンサ座標系として{C}を考えているので、IMUは、{C}に対して特徴付けることができる。「仮定及び座標系」という名称の小節で上記に開示したように、{I}及び{C}は平行座標系であり、ω(t)及びα(t)は、時間tの{C}の角速度及び加速度それぞれを示す2つの3x1ベクトルとすることができる。対応するバイアスは、bω(t)及びbα(t)として示すことができ、nω(t)及びnα(t)は対応するノイズである。ベクトル、バイアス、及びノイズの項は{C}で定義される。更に、gは、{W}の一定重力ベクトルとして示すことができる。IMU測定項は次式の通りである。
式3
式4
ここで、
は、{W}から{C}への回転行列であり、
は、{C}及び{I}の間の変換ベクトルである。
は、回転中心({C}の始点)が{I}の始点とは異なるという事実による遠心力を表している。視覚−慣性ナビゲーション方法の一部の例は、この遠心力項を推定するために{I}のモーションをモデル化する。本明細書に開示する計算方法では、深度情報あり及びなしの視覚特徴が使用され、{C}から{I}の深度なしの変換特徴は直接的ではない(以下を参照)。その結果、本明細書に開示するシステムは、代わりに、{C}のモーションの全てをモデル化する。実際的にカメラ及びIMUは、項の影響を最大限低減するために互いに近づけて装着される。
IMUバイアス補正は、カメラ又はレーザのいずれかからのフィードバックによって行うことができる(図1及び2の128、138をそれぞれ参照)。各フィードバック項は、短時間にわたる推定区分的モーションを含有する。バイアスは、区分的モーション中に一定になるようにモデル化することができる。式3から開始して、推定された向きをIMU積分と比較することによってbω(t)を計算することができる。更新されたbω(t)は、推定された変換と比較された変換を再度計算してbα(t)を計算するために更に一巡の積分に使用される。
視覚−慣性走行距離計測サブシステムのブロックシステム図を図5に示している。最適化モジュール510は、モーション推定550の深度情報を有するか又は持たない光学特徴データに基づいてカメラ制約515と共にIMU予測モジュール520からの姿勢制約512を使用する。深度マップ記録モジュール545は、レーザポイント540から得られた深度情報を有する追跡カメラ特徴530の深度マップ記録及び深度アソシエーションを含むことができる。深度マップ記録モジュール545は、前の計算から得られたモーション推定550を組み込むことができる。本方法は、視覚とIMUを密接に結合する。各々は、区分的モーション550を推定する最適化モジュール510に制約512、515をそれぞれ提供する。同時に、本方法は、深度情報を深度マップ記録モジュール545の一部として視覚特徴に関連付ける。特徴が、レーザ範囲測定が利用可能な区域に位置付けられる場合に、深度がレーザポイントから得られる。そうでなければ、深度は、前に推定されたモーションシーケンスを使用して三角測量から計算される。最後のオプションとして、本方法は、異なる方法で制約を定式化することによっていずれの深度もない特徴を使用することができる。これは、レーザ範囲カバレージを持たないか又はカメラモーションの方向に十分長く追跡又は位置付けられないので三角測量できない特徴に対して真である。
視覚−慣性走行距離計測方法は、キー−フレームベースの方法である。新しいキー−フレームは、ある一定の数の特徴よりも多くが追跡を失うか又は画像オーバラップがある比率よりも下である場合に決定される535。従って、右の上付き文字l、l∈Z+は最後のキー−フレームを示すことができ、c、c∈Z+、及びc>kは、現在のフレームを示すことができる。上記に開示したように、本方法は、深度あり及び深度なしで特徴を組み合わせる。キー−フレームlの深度に関連付けられた特徴は、X1={C1}の[x1、y1、x1]Tとして示すことができる。相応に、深度なしの特徴は、代わりに、標準化座標を使用して、
として示される。
及び
は、システム状態を表す式1の
とは異なる。キー−フレームの特徴は、2つの理由で深度に関連付けることができる:1)深度アソシエーションが処理の何らかの量を取り、キー−フレームのコンピュータ深度アソシエーションだけが計算強度を低減することができ、2)深度マップがフレームcで利用できず、従って、記録が設定された深度マップに依存するのでレーザポイントを記録することができない。{Cc}の標準化特徴は、
として示すことができる。
変換を形成する。フレームlとcの間のモーション関数を次式のように書くことができる。
式5
である。Xcを
で置換して式5の第1及び第2の行と第3の行とを組み合わせてdcを除き、次式をもたらす。
式6
式7
の第h行である。深度を特徴に利用できない場合に、d1をキー−フレームlの未知の深度とする。Xl及びXcを
それぞれで置換し、dk及びdcを除くために式5の全ての3つの行を組み合わせて別の制約をもたらす。
式8
モーション推定処理510は、1)式6−7の公知の深度を有する特徴から、2)式8の未知の深度を有する特徴から、及び3)IMU予測520からの制約の3つのセットを組み合わせる最適化問題を解くのに必要である。
は、フレームaとbの間の4x4変換行列として定義することができる。
式9
は、対応する回転行列及び変換ベクトルである。更に、
に対応する3x1ベクトルとすると、
は、回転角度である。各
のセットに対応する。
を使用して、IMU姿勢制約を定式化することができる。
として示される最後の2つのフレームc−1とcの間の予測される変換は、IMU機械化から取得することができる。フレームcの予測変換は以下として計算される。
式10
に対応する6−DOFモーションである。IMU予測変換
は、向きに依存することは理解することができる。一例として、向きは、式4の回転行列を通じて重力ベクトルの予測
、従って、積分される加速度を決定することができる。
の関数として定式化することができ、
として書き直すことができる。IMU予測モジュール122(図1及び2)によって提供される200Hz姿勢、並びに視覚−慣性走行距離計測モジュール126(図1及び2)によって提供される50Hz姿勢は、両方とも姿勢関数であることは理解することができる。
の計算は、フレームcで開始することができ、加速度は、時間に関して逆積分することができる。
は解かれるモーションである。制約を次式として表すことができる。
式11
ここで、
は、カメラ制約に対して姿勢制約を適切にスケーリングする相対的共分散行列である。
を含有する。従って、フルスケールMAP推定は実行されないが、マージン化問題を解くためだけに使用される。ランドマーク位置は最適化されず、従って、状態空間の6つの未知数だけが使用され、それによって計算強度を低く維持する。従って、本発明の方法は、レーザ範囲測定を伴い、特徴に正確な深度情報を提供し、モーション推定の精度を保証する。その結果、バンドル精緻化を通じた特徴の深度の更に別の最適化は必要ない。
深度マップ記録モジュール545は、以前に推定されたモーションを使用して深度マップ上にレーザポイントを記録する。カメラの視野内のレーザポイント540は、ある一定の時間量に対して維持される。深度マップは一定密度を維持するためにダウンサンプリングされ、高速インデキシングのための2DのKDツリーに格納される。KDツリーでは、全てのレーザポイントが、カメラ中心の周りの単位球面に投影される。ポイントはポイントの2つの角座標によって表される。深度を特徴に関連付ける時に、特徴を球面に投影することができる。3つの最も近いレーザポイントが各特徴に対して球面上に見出される。次に、それらの有効性は、直交空間の3つのポイント間の距離を計算することによって得られる。距離が閾値よりも大きい場合に、ポイントが、物体、例えば、壁及び壁の前面の物体とは異なる機会が高く、有効性検査が失敗する。最終的に、深度は、直交空間内にローカル平面パッチを有する3つのポイントから補間される。
このサブシステムは、レーザ走査適合による前のモジュールからのモーション推定値を精緻化する。図6は、走査適合サブシステムのブロック図を示している。サブシステムは、提供された走行距離計測推定550を使用してローカルポイントクラウドでレーザポイント540を受信してこれらを記録する620。次に、図形特徴がポイントクラウドから検出され640、かつマップに適合される。走査適合は、当業技術で公知の多くの方法と同様に特徴対マップの距離を最小にする。しかし、走行距離計測推定550は、最適化610で姿勢制約612を提供する。最適化は、レーザ制約617によって発見及び更に処理される特徴対応性615を有する姿勢制約を処理する段階を含み、デバイス姿勢650を発生させる。この姿勢650は、特徴対応性615の発見を容易にするマップ記録処理655を通じて処理される。この実施はマップのボクセル表現を使用する。更に、それは、1から複数のCPUスレッドに並行して実行されるように動的に構成することができる。
レーザ走査を受信する時に、本方法は、最初に走査620からのポイントを共通座標系に記録する。
は、走査数を示すのに使用することができる。カメラ座標系をカメラとレーザの両方に使用することができることは理解される。走査mは、
として示される走査の最初のカメラ座標系に関連付けることができる。視覚−慣性走行距離計測からレーザポイント540、走行距離計測推定550をローカルに記録620することは、キー−ポイントとして取ることができ、IMU測定を使用してキー−ポイントの間を補間することができる。
として示され、他方はローカル平面表面で、すなわち、平面ポイントで
として示されている。これは、ローカル走査での曲率の計算を通じたものである。塞いだ領域の境界上のポイント及びローカル表面がレーザビームに平行になるように近いポイントのような近傍ポイントが既に選択されているポイントは避けられる。これらのポイントは、大きいノイズを含有するか又はセンサが移動する時に経時的に位置を変える場合がある。
は{W}で定義される。
のポイントは、エッジポイント及び平面ポイントをそれぞれ含有する2つのセットに分離される。ボクセルを使用して、センサの周りのある一定の距離で切り捨てられたマップを格納することができる。各ボクセルに対して、2つの3DのKDツリーを構築することができ、一方はエッジポイントに対して、片方は平面ポイントに対してのものである。個々のボクセルのKDツリーの使用は、クエリポイントが与えられているのでポイント検索を加速し、単一ボクセルに関連付けられた特定のKDツリーを検索する必要がある(以下を参照)。
が、最初に、利用可能なモーションの最良推測を使用して投影され、次に、
の各ポイントに対して、最も近いポイントのクラスターが、マップ上の対応するセットから見出される。ポイントクラスターの図形分布を検証するために、関連付けられた固有値及び固有ベクトルを調べることができる。特に、1つの大きい及び2つの小さい固有値がエッジラインセグメントを示し、2つの大きい及び1つの小さい固有値がローカル平面パッチを示している。適合が有効である場合に、式は、ポイントから対応するポイントクラスターまでの距離に関して定式化される。
式12
ここで、
のポイントであり、
は、{W}での{Cm}の6−DOF姿勢を示している。
走査適合は、式12によって説明した全体的な距離を最小にする最適化問題610に定式化される。最適化は、前のモーションからの姿勢制約612を含有する。
を{W}での
の姿勢に関する4×4変換行列とすると、
は、最後の走査を処理することによって発生される。
は、走行距離計測推定によって提供される{Cm-1}から{Cm}への姿勢変換とする。式10と同様に、{W}での{Cm}の予測される姿勢変換は次式である。
式13
は、相対的共分散行列とする。制約は次式になる。
式14
を使用して、IMU機械化による同じ項を示すことができる。加速度の積分が向き(式11の
の関数である。IMU姿勢制約は次式になる。
式15
ここで、
は、対応する相対的共有結合行列である。最適化問題では、式14及び15は、制約の1つのセットに直線的に組み合わされる。線形組合せは、視覚−慣性走行距離計測の作動モードによって決定される。最適化問題は、ロバストな当て嵌めフレームワークに適用されるニュートン勾配−下降方法によって解かれる
マップ上のポイントはボクセルで維持される。A2−レベルボクセル実施を図7A及び7Bに示している。
は、最後の走査を処理した後の第1のレベルマップ700上のボクセルのセット702、704を示している。センサ706の周りのボクセル704は、
を形成する。6−DOFセンサ姿勢、
が与えられた状態で、マップ上のセンサと共に移動する対応する
がある。センサがマップの境界に近づいた時は、境界の反対側725上のボクセルが、マップ境界730を拡張するために移動される。移動したボクセルのポイントは消え、マップの切り捨てをもたらす。
は、第1のレベルマップ700よりも大きさが小さい
として示されるボクセルのセットによって形成される。走査を適合させる前に、
のポイントは、モーションの最良推測を使用してマップに投影され、これを
に充填する。
からのポイントによって占められるボクセル708は、
を形成するために抽出され、走査適合のために3DのKDツリーに格納される。ボクセル710は、
からのポイントによって占められないものである。走査適合の完了に応答して、走査は、マップを備えたボクセル708に融合される。この後で、マップポイントは、ある一定の密度を維持するためにダウンサイジングされる。第1のレベルマップ700の各ボクセルが第2のレベルマップ750のサブボクセルよりも大きい空間の容積に対応することは理解することができる。従って、第1のレベルマップ700の各ボクセルは、第2のレベルマップ750の複数のサブボクセルを含み、第2のレベルマップ750の複数のサブボクセルにマップすることができる。
に対応するボクセルが第1のレベルマップ700を維持するのに使用され、第2のレベルマップ750の
に対応するボクセルは、走査適合のためのセンサの周りのマップを取り出すのに使用される。マップは、センサがマップ境界に近づく時だけ切り捨てられる。従って、センサがマップの内側をナビゲートする場合に、切り捨ては必要ない。別の考慮は、2つのKDツリーが
における各個々のボクセルに使用され、一方がエッジポイントに、他方が平面ポイントに使用される。上述のように、そのようなデータ構造は、ポイント検索を加速することができる。この方式では、複数のKDツリーの検索は、
で各個々のボクセルに対する2つのKDツリーの使用とは対照的に避けられる。後者は、KDツリー構築及び保守に多くのリソースを必要とする。
の使用が、KDツリー構築及びクエリに約2倍の処理時間をもたらすことを見ることができる。これは、ボクセルの第2のレベル、
が、マップの正確な検索を補助するためである。これらのボクセルなしでは、より多くのポイントが
に含有され、KDツリーに蓄積される。更に、各ボクセルに対してKDツリーを使用することにより、
で全てのボクセルに対してKDツリーを使用することに比べて僅かに処理時間が低減される。
走査適合は、KDツリーを構築する段階及び特徴対応性を繰返し見出す段階を伴う。この処理は、時間を消費し、システムの主要な計算を費やす。1つのCPUスレッドが望ましい更新周波数を保証できない場合に、マルチスレッド実施が複雑な処理の問題に対処することができる。図8Aは、2つの適合化器プログラム812、815が並行して実行される場合を示している。走査の受信に応答して、マネージャプログラム810は、これを利用可能な最新のマップに適合させるように並べる。複数の構造物及び複数の視覚特徴を有するクラスター化環境から構成される一例では、適合が遅く、次の走査の到着前に完了できない場合がある。2つの適合化器812及び815が代わりに呼び出される。1つの適合化器812では、
813nそれぞれに適合される。同様に、第2の適合化器815では、
(k=奇数の整数)816nそれぞれに適合される。このインターリーブ処理の使用は、処理のために2倍の時間量をもたらす場合がある。いくつかの構造物又は視覚特徴を備えた清浄な環境から構成される代替の例では、計算が軽い。そのような例(図8B)では、単一適合化器820だけを呼び出すことができる。インターリーブが必要ないので、
にそれぞれ適合される(827a、827b、827nを参照)。実施は4つのスレッドの最大値を使用するように構成することができるが、一般的に2つのスレッドだけが必要になる。
最終モーション推定は、図2に示す3つのモジュールからの出力の積分である。5Hz走査適合出力は最も正確なマップを発生し、50Hz視覚−慣性走行距離計測出力及び200HzIMU予測は、高周波数モーション推定のために積分される。
システムのロバスト性は、センサ劣化を扱う機能によって決定される。IMUは、システムのバックボーンとしての信頼できる機能であると常に仮定される。カメラは、劇的照明変化の影響を受け易く、暗闇/テクスチャの少ない環境又は重大なモーションのぼけが存在する(それによって視覚特徴追跡の損失を引き起こす)時に失敗する場合がある。レーザは、構造物の少ない環境、例えば、単一平面によって支配されるシーンに対処することができない。これに代えて、レーザデータ劣化は、積極的なモーションによるデータの疎らさによって発生する場合がある。
として示される固有ベクトルを計算することができる。センサの状態空間が6−DOF(6の自由度)を含有するので6つの固有値/固有ベクトルが存在する。一般性を排除することなく、
は、減少する順序で並べ替えることができる。各固有値は、解がその対応する固有ベクトルの方向にどのように確実に条件付けられるかを説明する。固有値と閾値を比較することにより、確実に条件付けられた方向は、状態空間の劣化した方向から分離することができる。
を確実に条件付けされた方向の数とする。2つの行列を次式として定義することができる。
式16
式17
は、視覚−慣性走行距離計測モジュールからの固有ベクトルを含有する行列を示し、
以下の通りである。
式18
及び式18は、式14の視覚−慣性走行距離計測からの姿勢制約から構成される。しかし、カメラデータが完全に劣化した場合に、
姿勢制約から構成される。
図9Aに示すように、視覚特徴が視覚−慣性走行距離計測に不十分にしか利用できない場合に、IMU予測122は、視覚−慣性走行距離計測問題で確実に条件付けられた方向の数に応答して、視覚−慣性走行距離計測モジュール126を点線に示すように完全に又は部分的にバイパスする924。走査適合モジュール132は、走査適合のためのレーザポイントをローカルに記録することができる。IMU予測のバイパスはドリフトの影響を受ける。レーザフィードバック138は、カメラフィードバック128が利用できない方向にのみIMUの速度ドリフト及びバイアスを補正するカメラフィードバック128を補償する。従って、カメラフィードバックは、カメラデータが劣化しなかった時にこれを適合させる高周波数に起因してより高い優先度を有する。十分な視覚特徴が見出された時に、レーザフィードバックは使用されない。
図9Bに示すように、環境構造がモーション推定を精緻化するための走査適合132に対して不十分である場合に、視覚−慣性走行距離計測モジュール126出力は、点線に示すようにマップ930上のレーザポイントを記録するために走査適合モジュールを十分に又は部分的にバイパスする。確実に条件付けられた方向が走査適合問題に存在する場合に、レーザフィードバックは、これらの方向の精緻化されたモーション推定値を含有する。そうでなければ、レーザフィードバックが空白になる138。
更に複雑な例では、カメラとレーザの両方が少なくともある程度は劣化する。図10はそのような例を示している。6つの行を有する垂直バーは6−DOF姿勢を表し、各行は、式16の固有ベクトルに対応するDOF(自由度)である。この例では、視覚−慣性走行距離計測及び走査適合の各々がモーションの3DOFを更新し、他の3−DOFのモーションは変化させない。IMU予測1022a−fは初期IMU予測値1002を含むことができる。視覚−慣性走行距離計測は一部の3−DOF(1026c、1026e、1026f)を更新し1004、精緻化済み予測1026a−1026fをもたらす。走査適合は、一部の3−DOF(1032b、1032d、1032f)を更新し1006、更に別の精緻化済み予測1032a−1032fをもたらす。カメラフィードバック128はカメラ更新1028a−1028fを含有し、レーザフィードバック138はレーザ更新1038a−1038fをそれぞれ含有する。図10を参照すると、陰影付けされていないセル(1028a、1028b、1028d、1038a、1038c、1038e)は、それぞれのモジュールからのいずれの更新情報も含有しない。IMU予測モジュールへの合計更新1080a−1080fは、カメラフィードバック128からの更新1028a−1028f及びレーザフィードバック138からの更新1038a−1038fの組合せである。フィードバックがカメラ(例えば、1028f)及びレーザ(例えば、1038f)の両方から利用可能な1又は2以上の自由度では、カメラ更新(例えば、1028f)は、レーザ更新(例えば、1038f)よりも優先度を有することができる。
をフレームc−1とcの間の視覚−慣性走行距離計測によって推定される6−DOFモーションとし、ここで
である。
を時間補間後の走査適合によって推定される対応する項とする。
は、視覚−慣性走行距離計測モジュールからの固有ベクトルを含有する式16で定義された行列とすることができ、
劣化した方向を表している。
は、走査適合モジュールからの同じ行列とする。以下の式は組み合わされたフィードバック、
式19
従って、
は、カメラ及びレーザフィードバックを表している。
式20
式21
式22
の関数として定式化されたIMU予測モーションを示すことができる。向き
の両方に依存する。バイアスは、以下の式を解くことによって計算することができる。
式23
は、ゼロ行列である。それに応じて、
から計算される。劣化した場合では、IMU予測モーション、
は、モーションが解かれない方向に使用される(例えば、図10の組み合わされたフィードバックの白い行1080a)。結果は、前に計算されたバイアスがこれらの方向で維持される。
スキャナによる試験
走行距離計測及びマッピングソフトウエアシステムは2つのセンサ組で検証される。第1のセンサ組では、VelodyneLIDAR(記録商標)HDL−32EレーザスキャナがUI−1220SE白黒カメラ及びXsens(記録商標)MTi−30IMUに取り付けられる。レーザスキャナは、360°水平FOV、40°垂直FOVを有し、5Hzスピン速度で70万ポイント/秒を受信する。カメラは、752x480ピクセルの解像度、76°水平FOV、及び50Hzフレーム速度から構成される。IMU周波数は200Hzで設定される。第2のセンサ組では、VelodyneLIDAR(記録商標)VLP−16レーザスキャナが同じカメラ及びIMUに取り付けられる。このレーザスキャナは、360°水平FOV、30°垂直FOVを有し、5Hzスピン速度で30万ポイント/秒を受信する。両方のセンサ組が、データ収集のために路上で及びオフロードの地形で運転される車両にそれぞれ取り付けられる。
提案するシステムの精度を認めるために試験が行われた。これらの試験では、第1のセンサ組が使用された。センサは、大学のキャンパスの周りで運転するオフロード車両に設けられた。16分以内で2.7km運転した後で、キャンパスマップが構築される。試験中の平均速度は2.8m/sであった。
(図15aの点で充填されたボクセル)が、大きさが小さいボクセルのセット
走査適合の前に、レーザ走査は、モーションの最良推測を使用してマップ上に投影される。
は、クロスハッチでラベル付けされる。次に、クロスハッチボクセル内のマップポイントが抽出され、走査適合のための3DのKDツリーに格納される。
に適合される。比較すると、図16bは1スレッドの場合を示し、従って、
に適合される。実施は、最大4つのスレッドを使用して動的に構成可能である。
Claims (16)
- マッピングシステムであって、
慣性測定ユニットと、
カメラユニットと、
レーザ走査ユニットと、
前記慣性測定ユニットと、前記カメラユニットと、前記レーザ走査ユニットとに通信し、少なくとも1つのプロセッサと、少なくとも1つの1次メモリユニットと、少なくとも1つの2次メモリユニットとを含むコンピュータシステムと、
を含み、
前記1次メモリユニットは、前記少なくとも1つのプロセッサによって実行されるソフトウエアを格納し、該ソフトウエアは、
前記少なくとも1つのプロセッサによって実行された時に該少なくとも1つのプロセッサに第1の周波数での前記慣性測定ユニットからの慣性測定データに少なくとも部分的に基づいて少なくとも1つの第1の測定予測を計算させる第1の計算モジュールと、
前記少なくとも1つのプロセッサによって実行された時に該少なくとも1つのプロセッサに前記少なくとも1つの第1の測定予測と第2の周波数での前記カメラユニットからの視覚測定データとに少なくとも部分的に基づいて少なくとも1つの第2の測定予測を計算させる第2の計算モジュールと、
前記少なくとも1つのプロセッサによって実行された時に該少なくとも1つのプロセッサに前記少なくとも1つの第2の測定予測及と第3の周波数での前記レーザ走査ユニットからのレーザ測距データとに基づいて少なくとも1つの第3の測定予測を計算させる第3の計算モジュールと、
を含む、
ことを特徴とするマッピングシステム。 - 前記第1の計算モジュールは、前記少なくとも1つのプロセッサによって実行された時に該少なくとも1つのプロセッサに前記少なくとも1つの第2の測定予測と前記少なくとも1つの第3の測定予測とに少なくとも部分的に基づいて前記少なくとも1つの第1の測定予測内のバイアス誤差を補正させるソフトウエアを更に含むことを特徴とする請求項1に記載のマッピングシステム。
- 前記第1の周波数は、前記第2の周波数よりも高く、該第2の周波数は、前記第3の周波数よりも高いことを特徴とする請求項1に記載のマッピングシステム。
- 前記第2の計算モジュールは、前記少なくとも1つのプロセッサによって実行された時に該少なくとも1つのプロセッサに
前記視覚測定データが第1の測定期間中に劣化したか否かを決定させ、かつ
前記視覚測定データが前記第1の測定期間中に劣化したという決定時に、該第1の測定期間中の前記少なくとも1つの第1の測定予測に等しい該第1の測定期間中の前記少なくとも1つの第2の測定予測を計算させる、
更に別のソフトウエアを更に含むことを特徴とする請求項1に記載のマッピングシステム。 - 前記第3の計算モジュールは、前記少なくとも1つのプロセッサによって実行された時に該少なくとも1つのプロセッサに
前記レーザ測距データが第2の測定期間中に劣化したか否かを決定させ、かつ
前記レーザ測距データが前記第2の測定期間中に劣化したという決定時に、該第2の測定期間中の前記少なくとも1つの第2の測定予測に等しい該第2の測定期間中の前記少なくとも1つの第3の測定予測を計算させる、
更に別のソフトウエアを含むことを特徴とする請求項4に記載のマッピングシステム。 - 前記1次メモリデバイスは、第1のセットのボクセル及び第2のセットのボクセルを格納し、
前記第1のセットのボクセル及び前記第2のセットのボクセルは、前記少なくとも1つの第3の予測測定に基づいており、
前記第1のセットのボクセルの各ボクセルが、空間の第1の容積に対応し、
前記第2のセットのボクセルの各ボクセルが、空間の第2の容積に対応し、
空間の前記第2の容積は、空間の前記第1の容積よりも小さく、
前記第1のセットのボクセルの各ボクセルが、前記第2のセットのボクセルの複数のボクセルにマップ可能である、
ことを特徴とする請求項1に記載のマッピングシステム。 - 前記2次メモリユニットは、前記少なくとも1つの第3の予測測定から発生したポイントクラウドデータを格納することを特徴とする請求項1に記載のマッピングシステム。
- モバイルユニットを更に含み、
前記慣性測定ユニットは、前記モバイルユニットの一部を形成し、
前記カメラユニットは、前記モバイルユニットの一部を形成し、
前記レーザ走査ユニットは、前記モバイルユニットの一部を形成し、
前記コンピュータシステムは、前記モバイルユニットの一部を形成する、
ことを特徴とする請求項1に記載のマッピングシステム。 - 前記モバイルユニットは、該モバイルユニットを案内するためのナビゲーションシステムを含み、
前記ナビゲーションシステムは、前記自律モバイルユニットを案内するために前記少なくとも1つの第3の測定予測を使用する、
ことを特徴とする請求項8に記載のマッピングシステム。 - 前記第3の計算モジュールは、走査適合アルゴリズムを使用して前記少なくとも1つの第3の測定予測を計算し、
前記少なくとも1つのプロセッサは、複数の処理スレッドを含み、
前記1次メモリデバイスは、前記少なくとも1つのプロセッサによって実行された時に、
第1のスレッドが、前記レーザ測距データの第1の走査を走査適合させるように割り当てられ、
前記第1のスレッドが、前記第1の走査後の時点から前記レーザ測距データの第2の走査を走査適合させるように割り当てられ、それによって該第1のスレッドが、該第2の走査の到着の前に該第1の走査を処理し、かつ
第2のスレッドが、前記第1のスレッドが前記第2の走査の前記到着の前に前記第1の走査を処理できない時に、前記レーザ測距データの前記第2の走査を走査適合させるように割り当てられる、
ように、前記複数のスレッドによる前記レーザ測距データの走査の処理を管理するソフトウエアを格納する、
ことを特徴とする請求項1に記載のマッピングシステム。 - 前記少なくとも1つの第1の測定予測は、複数の自由度を含む姿勢の少なくとも1つの自由度の予測を含み、
前記少なくとも1つの第2の測定予測は、複数の自由度を含む前記姿勢の少なくとも1つの自由度の予測を含み、かつ
前記少なくとも1つの第3の測定予測は、複数の自由度を含む前記姿勢の少なくとも1つの自由度の予測を含む、
ことを特徴とする請求項1に記載のマッピングシステム。 - 前記第2の計算モジュールは、前記少なくとも1つのプロセッサによって実行された時に該少なくとも1つのプロセッサに
前記視覚測定データのいずれかが第1の測定期間中に劣化したか否かを決定させ、かつ
前記視覚測定データのいずれかが前記第1の測定期間中に劣化したという決定時に、非劣化視覚測定データに対する前記少なくとも1つの第2の測定予測の複数の自由度を計算させる、
更に別のソフトウエアを含むことを特徴とする請求項11に記載のマッピングシステム。 - 前記第3の計算モジュールは、前記少なくとも1つのプロセッサによって実行された時に該少なくとも1つのプロセッサに
前記レーザ測距データのいずれかが第2の測定期間中に劣化したか否かを決定させ、かつ
前記レーザ測距データのいずれかが前記第2の測定期間中に劣化したという決定時に、非劣化レーザ測距データに対する前記少なくとも1つの第3の測定予測の複数の自由度を計算させる、
更に別のソフトウエアを含むことを特徴とする請求項11に記載のマッピングシステム。 - 前記第1の計算モジュールは、前記少なくとも1つのプロセッサによって実行された時に該少なくとも1つのプロセッサに前記少なくとも1つの第1の測定予測の前記少なくとも1つの自由度と、前記少なくとも1つの第2の測定予測の前記少なくとも1つの自由度と、前記少なくとも1つの第3の測定予測の前記少なくとも1つの自由度とに少なくとも部分的に基づいて前記姿勢のバイアス誤差を補正させる更に別のソフトウエアを含むことを特徴とする請求項11に記載のマッピングシステム。
- 前記第2の計算モジュールは、前記少なくとも1つのプロセッサによって実行された時に該少なくとも1つのプロセッサに
前記視覚測定データのいずれかが第1の測定期間中に劣化したか否かを決定させ、かつ
前記視覚測定データのいずれかが前記第1の測定期間中に劣化したという決定時に、非劣化視覚測定データに対する前記少なくとも1つの第2の測定予測の複数の自由度を計算させる、
更に別のソフトウエアを含み、かつ
前記第3の計算モジュールは、前記少なくとも1つのプロセッサによって実行された時に該少なくとも1つのプロセッサに
前記レーザ測距データのいずれかが第2の測定期間中に劣化したか否かを決定させ、かつ
前記レーザ測距データのいずれかが前記第2の測定期間中に劣化したという決定時に、非劣化レーザ測距データに対する前記少なくとも1つの第3の測定予測の複数の自由度を計算させる、
更に別のソフトウエアを含む、
ことを特徴とする請求項11に記載のマッピングシステム。 - 前記第1の計算モジュールは、前記少なくとも1つのプロセッサによって実行された時に該少なくとも1つのプロセッサに前記第1の測定予測の前記少なくとも1つの自由度と、前記少なくとも1つの第2の測定予測の前記少なくとも1つの自由度と、該少なくとも1つの第2の測定予測の自由度ではない前記第3の測定予測の少なくとも1つの自由度とに基づいて前記姿勢のバイアス誤差を補正させる更に別のソフトウエアを含むことを特徴とする請求項15に記載のマッピングシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662307061P | 2016-03-11 | 2016-03-11 | |
US62/307,061 | 2016-03-11 | ||
PCT/US2017/021120 WO2017155970A1 (en) | 2016-03-11 | 2017-03-07 | Laser scanner with real-time, online ego-motion estimation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019518222A true JP2019518222A (ja) | 2019-06-27 |
JP6987797B2 JP6987797B2 (ja) | 2022-01-05 |
Family
ID=59789779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018567003A Active JP6987797B2 (ja) | 2016-03-11 | 2017-03-07 | リアルタイムオンラインエゴモーション推定を有するレーザスキャナ |
Country Status (5)
Country | Link |
---|---|
US (2) | US10962370B2 (ja) |
EP (1) | EP3427008B1 (ja) |
JP (1) | JP6987797B2 (ja) |
CN (1) | CN109313024B (ja) |
WO (1) | WO2017155970A1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10962370B2 (en) | 2016-03-11 | 2021-03-30 | Kaarta, Inc. | Laser scanner with real-time, online ego-motion estimation |
US10989542B2 (en) | 2016-03-11 | 2021-04-27 | Kaarta, Inc. | Aligning measured signal data with slam localization data and uses thereof |
US11398075B2 (en) | 2018-02-23 | 2022-07-26 | Kaarta, Inc. | Methods and systems for processing and colorizing point clouds and meshes |
US11567201B2 (en) | 2016-03-11 | 2023-01-31 | Kaarta, Inc. | Laser scanner with real-time, online ego-motion estimation |
US11573325B2 (en) | 2016-03-11 | 2023-02-07 | Kaarta, Inc. | Systems and methods for improvements in scanning and mapping |
US11815601B2 (en) | 2017-11-17 | 2023-11-14 | Carnegie Mellon University | Methods and systems for geo-referencing mapping systems |
US11830136B2 (en) | 2018-07-05 | 2023-11-28 | Carnegie Mellon University | Methods and systems for auto-leveling of point clouds and 3D models |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD823920S1 (en) | 2016-11-23 | 2018-07-24 | Kaarta, Inc. | Simultaneous localization and mapping (SLAM) device |
CN106705965A (zh) * | 2017-01-12 | 2017-05-24 | 苏州中德睿博智能科技有限公司 | 场景三维数据配准方法及导航系统误差校正方法 |
EP3574285A4 (en) * | 2017-01-27 | 2020-12-02 | Kaarta, Inc. | LASER SCAN DEVICE WITH REAL-TIME ESTIMATE OF CLEAN MOTION ONLINE |
US10684372B2 (en) | 2017-10-03 | 2020-06-16 | Uatc, Llc | Systems, devices, and methods for autonomous vehicle localization |
CN108489482B (zh) * | 2018-02-13 | 2019-02-26 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及系统 |
US11761767B2 (en) * | 2018-02-26 | 2023-09-19 | Cloudminds Robotics Co., Ltd. | Method, device, apparatus, and application for cloud-based trajectory map generation |
US20210223397A1 (en) | 2018-05-30 | 2021-07-22 | Vi3D Labs Inc. | Three-dimensional surface scanning |
CN109059927A (zh) * | 2018-08-21 | 2018-12-21 | 南京邮电大学 | 复杂环境下多传感器的移动机器人slam建图方法和系统 |
CN110909088B (zh) * | 2018-09-14 | 2023-01-13 | 阿里巴巴(中国)有限公司 | 激光坐标系和惯导坐标系的标定方法和装置以及存储介质 |
EP3803273A4 (en) | 2018-10-29 | 2021-11-17 | DJI Technology, Inc. | REAL-TIME MAPPING TECHNIQUES IN A MOBILE OBJECT ENVIRONMENT |
EP3669141A4 (en) | 2018-11-09 | 2020-12-02 | Beijing Didi Infinity Technology and Development Co., Ltd. | VEHICLE POSITIONING SYSTEM USING A LIDAR |
CN110032962B (zh) * | 2019-04-03 | 2022-07-08 | 腾讯科技(深圳)有限公司 | 一种物体检测方法、装置、网络设备和存储介质 |
WO2020215198A1 (zh) * | 2019-04-23 | 2020-10-29 | 深圳市大疆创新科技有限公司 | 一种数据处理方法、装置、设备及可移动平台 |
WO2020217377A1 (ja) | 2019-04-25 | 2020-10-29 | 三菱電機株式会社 | 移動量推定装置、移動量推定方法、および移動量推定プログラム |
US10955245B2 (en) | 2019-04-30 | 2021-03-23 | Samsung Electronics Co., Ltd. | System and method for low latency, high performance pose fusion |
CN110243375A (zh) * | 2019-06-26 | 2019-09-17 | 汕头大学 | 一种同时构建二维地图和三维地图的方法 |
US11208117B2 (en) * | 2019-07-09 | 2021-12-28 | Refraction Ai, Inc. | Method and system for autonomous vehicle control |
CN112444820B (zh) * | 2019-08-28 | 2023-06-09 | 深圳市优必选科技股份有限公司 | 一种机器人位姿确定方法、装置、可读存储介质及机器人 |
CN110686687B (zh) * | 2019-10-31 | 2021-11-09 | 珠海市一微半导体有限公司 | 视觉机器人构建地图的方法、机器人和芯片 |
CN110989619B (zh) * | 2019-12-23 | 2024-01-16 | 阿波罗智能技术(北京)有限公司 | 用于定位对象的方法、装置、设备和存储介质 |
CN111275764B (zh) * | 2020-02-12 | 2023-05-16 | 南开大学 | 基于线段阴影的深度相机视觉里程测量方法 |
CN111337021B (zh) * | 2020-03-19 | 2022-08-16 | 深圳国信泰富科技有限公司 | 一种基于复杂现场的机器人的定位系统及定位方法 |
CN111913185B (zh) * | 2020-07-09 | 2024-04-02 | 生态环境部南京环境科学研究所 | 针对高寒脆弱区低矮灌丛样地调查的tls测度方法 |
KR20220061769A (ko) * | 2020-11-06 | 2022-05-13 | 삼성전자주식회사 | Slam을 가속화하는 방법 및 이를 이용한 장치 |
CN112946660A (zh) * | 2021-01-28 | 2021-06-11 | 西北工业大学 | 一种基于多波束前视声呐的同时定位与建图方法 |
CN113012191B (zh) * | 2021-03-11 | 2022-09-02 | 中国科学技术大学 | 一种基于点云多视角投影图的激光里程计算法 |
CN113076988B (zh) * | 2021-03-25 | 2022-06-03 | 重庆邮电大学 | 基于神经网络的移动机器人视觉slam关键帧自适应筛选方法 |
CN112985416B (zh) * | 2021-04-19 | 2021-07-30 | 湖南大学 | 激光与视觉信息融合的鲁棒定位和建图方法及系统 |
CN113465605B (zh) * | 2021-06-09 | 2022-10-25 | 西安交通大学 | 一种基于光电传感测量网络的移动机器人定位系统及方法 |
CN113495281B (zh) * | 2021-06-21 | 2023-08-22 | 杭州飞步科技有限公司 | 可移动平台的实时定位方法及装置 |
CN114612348B (zh) * | 2022-05-11 | 2022-07-15 | 季华实验室 | 激光点云运动畸变校正方法、装置、电子设备及存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09142236A (ja) * | 1995-11-17 | 1997-06-03 | Mitsubishi Electric Corp | 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置 |
JP2004348575A (ja) * | 2003-05-23 | 2004-12-09 | Foundation For The Promotion Of Industrial Science | 3次元モデル構築システム及び3次元モデル構築プログラム |
JP2006276012A (ja) * | 2005-03-29 | 2006-10-12 | Leica Geosystems Ag | 物体の六つの自由度を求めるための測定システム |
JP2007298332A (ja) * | 2006-04-28 | 2007-11-15 | Mitsubishi Electric Corp | 地形データ補正装置及び地形データ補正方法 |
US20080033645A1 (en) * | 2006-08-03 | 2008-02-07 | Jesse Sol Levinson | Pobabilistic methods for mapping and localization in arbitrary outdoor environments |
JP2010175423A (ja) * | 2009-01-30 | 2010-08-12 | Mitsubishi Electric Corp | 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム |
JP2011529569A (ja) * | 2008-07-31 | 2011-12-08 | テレ アトラス ベスローテン フエンノートシャップ | ナビゲーションデータを三次元で表示するコンピュータ装置および方法 |
JP3173419U (ja) * | 2011-06-21 | 2012-02-09 | 光男 植村 | 測量装置 |
JP2012507011A (ja) * | 2008-10-28 | 2012-03-22 | ザ・ボーイング・カンパニー | 空間照会のための手持ち型位置決めインタフェース |
JP2012063173A (ja) * | 2010-09-14 | 2012-03-29 | Konica Minolta Opto Inc | レーザ測距装置 |
JP2013093738A (ja) * | 2011-10-26 | 2013-05-16 | Nippon Hoso Kyokai <Nhk> | 移動距離計測装置及び撮影カメラ |
JP2015200615A (ja) * | 2014-04-10 | 2015-11-12 | 国際航業株式会社 | レーザー計測結果解析システム |
Family Cites Families (128)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6009188A (en) | 1996-02-16 | 1999-12-28 | Microsoft Corporation | Method and system for digital plenoptic imaging |
US5988862A (en) | 1996-04-24 | 1999-11-23 | Cyra Technologies, Inc. | Integrated system for quickly and accurately imaging and modeling three dimensional objects |
US6111582A (en) | 1996-12-20 | 2000-08-29 | Jenkins; Barry L. | System and method of image generation and encoding using primitive reprojection |
US6208347B1 (en) | 1997-06-23 | 2001-03-27 | Real-Time Geometry Corporation | System and method for computer modeling of 3D objects and 2D images by mesh constructions that incorporate non-spatial data such as color or texture |
DE19829986C1 (de) * | 1998-07-04 | 2000-03-30 | Lis Laser Imaging Systems Gmbh | Verfahren zur Direktbelichtung von Leiterplattensubstraten |
USD432930S (en) | 1999-10-05 | 2000-10-31 | Solar Wide Industrial Ltd. | Distance measuring device |
US6771840B1 (en) | 2000-05-18 | 2004-08-03 | Leica Geosystems Hds, Inc. | Apparatus and method for identifying the points that lie on a surface of interest |
EP1347418A3 (en) | 2002-02-28 | 2005-11-23 | Canon Europa N.V. | Texture map editing |
JP2005537535A (ja) | 2002-07-10 | 2005-12-08 | ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー | オブジェクトの3次元電子モデルを生成するシステム |
US7177737B2 (en) | 2002-12-17 | 2007-02-13 | Evolution Robotics, Inc. | Systems and methods for correction of drift via global localization with a visual landmark |
US8542219B2 (en) | 2004-01-30 | 2013-09-24 | Electronic Scripting Products, Inc. | Processing pose data derived from the pose of an elongate object |
US7373473B2 (en) | 2004-03-10 | 2008-05-13 | Leica Geosystems Hds Llc | System and method for efficient storage and manipulation of extremely large amounts of scan data |
US7324687B2 (en) | 2004-06-28 | 2008-01-29 | Microsoft Corporation | Color segmentation-based stereo 3D reconstruction system and process |
US7567731B2 (en) | 2004-07-15 | 2009-07-28 | Harris Corporation | Method and system for simultaneously registering multi-dimensional topographical points |
EP2450763B1 (en) * | 2005-07-26 | 2017-03-01 | MacDonald, Dettwiler and Associates Inc. | Global position and orientation estimation system for a vehicle in a passageway environment |
US7737973B2 (en) | 2005-10-31 | 2010-06-15 | Leica Geosystems Ag | Determining appearance of points in point cloud based on normal vectors of points |
US9070101B2 (en) | 2007-01-12 | 2015-06-30 | Fatdoor, Inc. | Peer-to-peer neighborhood delivery multi-copter and method |
US20070262988A1 (en) * | 2006-05-09 | 2007-11-15 | Pixar Animation Studios | Method and apparatus for using voxel mip maps and brick maps as geometric primitives in image rendering process |
US7854518B2 (en) | 2006-06-16 | 2010-12-21 | Hewlett-Packard Development Company, L.P. | Mesh for rendering an image frame |
US20080112610A1 (en) | 2006-11-14 | 2008-05-15 | S2, Inc. | System and method for 3d model generation |
US7752483B1 (en) | 2006-12-13 | 2010-07-06 | Science Applications International Corporation | Process and system for three-dimensional urban modeling |
US7733505B2 (en) | 2007-03-26 | 2010-06-08 | The Boeing Company | Attitude detection system and method |
US7878657B2 (en) | 2007-06-27 | 2011-02-01 | Prysm, Inc. | Servo feedback control based on invisible scanning servo beam in scanning beam display systems with light-emitting screens |
CA2652639C (en) | 2008-02-06 | 2013-01-08 | Halliburton Energy Services, Inc. | Geodesy via gps and insar integration |
US20090262974A1 (en) * | 2008-04-18 | 2009-10-22 | Erik Lithopoulos | System and method for obtaining georeferenced mapping data |
EP2133662B1 (en) | 2008-06-09 | 2012-02-01 | Honeywell International Inc. | Methods and system of navigation using terrain features |
EP2535883B1 (en) | 2008-07-10 | 2014-03-19 | Mitsubishi Electric Corporation | Train-of-vehicle travel support device |
CN102112845B (zh) * | 2008-08-06 | 2013-09-11 | 形创有限公司 | 用于表面特征自适应性三维扫描的系统 |
BRPI0917864A2 (pt) | 2008-08-15 | 2015-11-24 | Univ Brown | aparelho e método para estimativa da forma corporal |
CN101718859A (zh) | 2008-10-09 | 2010-06-02 | 日电(中国)有限公司 | 以自适应分辨率定位目标的方法和系统 |
US8406994B1 (en) | 2008-11-07 | 2013-03-26 | Infogation Corporation | Electronically generated realistic-like map |
US8180107B2 (en) | 2009-02-13 | 2012-05-15 | Sri International | Active coordinated tracking for multi-camera systems |
WO2010102119A1 (en) | 2009-03-04 | 2010-09-10 | Imricor Medical Systems, Inc. | Combined field location and mri tracking |
FR2945624B1 (fr) | 2009-05-15 | 2011-06-10 | Mbda France | Procede et systeme d'estimation d'une trajectoire d'un mobile |
US8855929B2 (en) | 2010-01-18 | 2014-10-07 | Qualcomm Incorporated | Using object to align and calibrate inertial navigation system |
WO2011097018A1 (en) * | 2010-02-05 | 2011-08-11 | Trimble Navigation Limited | Systems and methods for processing mapping and modeling data |
WO2012021192A2 (en) | 2010-05-12 | 2012-02-16 | Irobot Corporation | Remote vehicle control system and method |
US8602887B2 (en) | 2010-06-03 | 2013-12-10 | Microsoft Corporation | Synthesis of information from multiple audiovisual sources |
US9189862B2 (en) | 2010-06-10 | 2015-11-17 | Autodesk, Inc. | Outline approximation for point cloud of building |
JP5343042B2 (ja) | 2010-06-25 | 2013-11-13 | 株式会社トプコン | 点群データ処理装置および点群データ処理プログラム |
US9031809B1 (en) * | 2010-07-14 | 2015-05-12 | Sri International | Method and apparatus for generating three-dimensional pose using multi-modal sensor fusion |
DE212011100130U1 (de) | 2010-08-05 | 2013-06-24 | Philips Intellectual Property & Standards Gmbh | Auf gleicher Ebene und interaktiv stattfindende Oberflächennetz-Anpassung |
JP5465128B2 (ja) | 2010-08-11 | 2014-04-09 | 株式会社トプコン | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム |
US8676498B2 (en) | 2010-09-24 | 2014-03-18 | Honeywell International Inc. | Camera and inertial measurement unit integration with navigation data feedback for feature tracking |
US9323250B2 (en) | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
JP5592855B2 (ja) | 2011-09-06 | 2014-09-17 | アジア航測株式会社 | 植生図作成装置及び植生図作成プログラム |
CN102508258A (zh) * | 2011-11-29 | 2012-06-20 | 中国电子科技集团公司第二十七研究所 | 一种测绘信息获取激光三维成像雷达 |
US10481265B2 (en) | 2011-12-21 | 2019-11-19 | Robotic paradigm Systems LLC | Apparatus, systems and methods for point cloud generation and constantly tracking position |
CN102607526B (zh) | 2012-01-03 | 2014-01-15 | 西安电子科技大学 | 双介质下基于双目视觉的目标姿态测量方法 |
US9324190B2 (en) | 2012-02-24 | 2016-04-26 | Matterport, Inc. | Capturing and aligning three-dimensional scenes |
GB2501466A (en) | 2012-04-02 | 2013-10-30 | Univ Oxford | Localising transportable apparatus |
US9846960B2 (en) | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
JP6267700B2 (ja) | 2012-07-18 | 2018-01-24 | クレアフォーム・インコーポレイテッドCreaform Inc. | 3d走査および位置決めのインターフェース |
CN102819863B (zh) * | 2012-07-31 | 2015-01-21 | 中国科学院计算技术研究所 | 一种三维人体运动的实时在线获取方法及其系统 |
US8996228B1 (en) * | 2012-09-05 | 2015-03-31 | Google Inc. | Construction zone object detection using light detection and ranging |
CN104904200B (zh) | 2012-09-10 | 2018-05-15 | 广稹阿马斯公司 | 捕捉运动场景的设备、装置和系统 |
EP2711670B1 (en) | 2012-09-21 | 2019-01-30 | NavVis GmbH | Visual localisation |
US9383753B1 (en) | 2012-09-26 | 2016-07-05 | Google Inc. | Wide-view LIDAR with areas of special attention |
JP2015532077A (ja) | 2012-09-27 | 2015-11-05 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH | 少なくとも1つの画像を撮影する撮影装置に関連する装置の位置及び方向の決定方法 |
US9043069B1 (en) * | 2012-11-07 | 2015-05-26 | Google Inc. | Methods and systems for scan matching approaches for vehicle heading estimation |
US9234758B2 (en) | 2012-12-20 | 2016-01-12 | Caterpillar Inc. | Machine positioning system utilizing position error checking |
US9292936B2 (en) | 2013-01-09 | 2016-03-22 | Omiimii Ltd. | Method and apparatus for determining location |
US9367065B2 (en) | 2013-01-25 | 2016-06-14 | Google Inc. | Modifying behavior of autonomous vehicles based on sensor blind spots and limitations |
US9083960B2 (en) | 2013-01-30 | 2015-07-14 | Qualcomm Incorporated | Real-time 3D reconstruction with power efficient depth sensor usage |
US10254118B2 (en) | 2013-02-21 | 2019-04-09 | Regents Of The University Of Minnesota | Extrinsic parameter calibration of a vision-aided inertial navigation system |
ITTO20130202A1 (it) * | 2013-03-15 | 2014-09-16 | Torino Politecnico | Dispositivo e sistema di scansione tridimensionale, e relativo metodo. |
US8874454B2 (en) | 2013-03-15 | 2014-10-28 | State Farm Mutual Automobile Insurance Company | Systems and methods for assessing a roof |
US9453730B2 (en) * | 2013-03-20 | 2016-09-27 | Cognex Corporation | Machine vision 3D line scan image acquisition and processing |
US9037403B2 (en) | 2013-03-26 | 2015-05-19 | Toyota Motor Engineering & Manufacturing North America, Inc. | Intensity map-based localization with adaptive thresholding |
EP2787322B1 (de) | 2013-04-05 | 2017-10-04 | Leica Geosystems AG | Geodätisches Referenzieren von Punktwolken |
EP2981843A1 (en) | 2013-04-05 | 2016-02-10 | Lockheed Martin Corporation | Underwater platform with lidar and related methods |
US9025861B2 (en) | 2013-04-09 | 2015-05-05 | Google Inc. | System and method for floorplan reconstruction and three-dimensional modeling |
US9377310B2 (en) | 2013-05-02 | 2016-06-28 | The Johns Hopkins University | Mapping and positioning system |
US9607401B2 (en) * | 2013-05-08 | 2017-03-28 | Regents Of The University Of Minnesota | Constrained key frame localization and mapping for vision-aided inertial navigation |
US9069080B2 (en) | 2013-05-24 | 2015-06-30 | Advanced Scientific Concepts, Inc. | Automotive auxiliary ladar sensor |
US9443297B2 (en) | 2013-07-10 | 2016-09-13 | Cognex Corporation | System and method for selective determination of point clouds |
US9811714B2 (en) | 2013-08-28 | 2017-11-07 | Autodesk, Inc. | Building datum extraction from laser scanning data |
CN103489218B (zh) | 2013-09-17 | 2016-06-29 | 中国科学院深圳先进技术研究院 | 点云数据质量自动优化方法及系统 |
US9315192B1 (en) | 2013-09-30 | 2016-04-19 | Google Inc. | Methods and systems for pedestrian avoidance using LIDAR |
DE102013016974A1 (de) * | 2013-10-14 | 2014-03-20 | Daimler Ag | Verfahren zur Erfassung eines einem Fahrzeug vorausliegenden Straßenhöhenprofils |
EP3074832A4 (en) * | 2013-11-27 | 2017-08-30 | The Trustees Of The University Of Pennsylvania | Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (mav) |
EP3550513B1 (en) | 2014-02-26 | 2021-10-13 | NavVis GmbH | Method of generating panorama views on a mobile mapping system |
EP2918972B1 (de) * | 2014-03-14 | 2019-10-09 | Leica Geosystems AG | Verfahren und handhaltbares Entfernungsmessgerät zum Erzeugen eines Raummodells |
JP6359868B2 (ja) | 2014-04-25 | 2018-07-18 | 東芝プラントシステム株式会社 | 3次元データ表示装置、3次元データ表示方法、及び3次元データ表示プログラム |
US9430038B2 (en) | 2014-05-01 | 2016-08-30 | Microsoft Technology Licensing, Llc | World-locked display quality feedback |
US9723109B2 (en) | 2014-05-28 | 2017-08-01 | Alexander Hertel | Platform for constructing and consuming realm and object feature clouds |
IL233684B (en) * | 2014-07-17 | 2018-01-31 | Shamir Hanan | Stabilizing and displaying remote images |
US9903950B2 (en) * | 2014-08-27 | 2018-02-27 | Leica Geosystems Ag | Multi-camera laser scanner |
CN105492985B (zh) | 2014-09-05 | 2019-06-04 | 深圳市大疆创新科技有限公司 | 一种用于在环境内控制可移动物体的系统及方法 |
DE102014019671B4 (de) | 2014-12-30 | 2017-09-14 | Faro Technologies, Inc. | Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einer 3D-Messvorrichtung und Autokalibrierung mittels 2D-Kamera |
US9607388B2 (en) | 2014-09-19 | 2017-03-28 | Qualcomm Incorporated | System and method of pose estimation |
JP2016080572A (ja) | 2014-10-20 | 2016-05-16 | 朝日航洋株式会社 | レーザ計測システム |
US9143413B1 (en) | 2014-10-22 | 2015-09-22 | Cognitive Systems Corp. | Presenting wireless-spectrum usage information |
EP3180775B1 (en) | 2014-11-18 | 2019-02-13 | St. Jude Medical, Cardiology Division, Inc. | Method and system for generating a patch surface model of a geometric structure |
GB2532494A (en) | 2014-11-21 | 2016-05-25 | The Chancellor Masters And Scholars Of The Univ Of Oxford | Localising portable apparatus |
US20160260250A1 (en) * | 2015-03-05 | 2016-09-08 | Dejan Jovanovic | Method and system for 3d capture based on structure from motion with pose detection tool |
EP3265845A4 (en) | 2015-03-05 | 2019-01-09 | Commonwealth Scientific and Industrial Research Organisation | STRUCTURE MODELING |
US9715016B2 (en) | 2015-03-11 | 2017-07-25 | The Boeing Company | Real time multi dimensional image fusing |
US20160349746A1 (en) | 2015-05-29 | 2016-12-01 | Faro Technologies, Inc. | Unmanned aerial vehicle having a projector and being tracked by a laser tracker |
EP3109589B1 (en) | 2015-06-23 | 2019-01-30 | Volvo Car Corporation | A unit and method for improving positioning accuracy |
US20160379366A1 (en) | 2015-06-25 | 2016-12-29 | Microsoft Technology Licensing, Llc | Aligning 3d point clouds using loop closures |
WO2017009923A1 (ja) | 2015-07-13 | 2017-01-19 | 日産自動車株式会社 | 自己位置推定装置及び自己位置推定方法 |
GB2543749A (en) | 2015-10-21 | 2017-05-03 | Nokia Technologies Oy | 3D scene rendering |
EP3165945B1 (de) | 2015-11-03 | 2024-01-03 | Leica Geosystems AG | Oberflächenvermessungsgerät zur bestimmung von 3d-koordinaten einer oberfläche |
US9754406B2 (en) | 2015-12-28 | 2017-09-05 | Volkswagon Ag | Multiple light source simulation in computer graphics |
US10156441B2 (en) | 2016-01-05 | 2018-12-18 | Texas Instruments Incorporated | Ground plane estimation in a computer vision system |
US20190346271A1 (en) | 2016-03-11 | 2019-11-14 | Kaarta, Inc. | Laser scanner with real-time, online ego-motion estimation |
JP6987797B2 (ja) | 2016-03-11 | 2022-01-05 | カールタ インコーポレイテッド | リアルタイムオンラインエゴモーション推定を有するレーザスキャナ |
US10989542B2 (en) | 2016-03-11 | 2021-04-27 | Kaarta, Inc. | Aligning measured signal data with slam localization data and uses thereof |
US11573325B2 (en) | 2016-03-11 | 2023-02-07 | Kaarta, Inc. | Systems and methods for improvements in scanning and mapping |
WO2018071416A1 (en) | 2016-10-11 | 2018-04-19 | Kaarta, Inc. | Laser scanner with real-time, online ego-motion estimation |
US11567201B2 (en) | 2016-03-11 | 2023-01-31 | Kaarta, Inc. | Laser scanner with real-time, online ego-motion estimation |
USD823920S1 (en) | 2016-11-23 | 2018-07-24 | Kaarta, Inc. | Simultaneous localization and mapping (SLAM) device |
EP3574285A4 (en) | 2017-01-27 | 2020-12-02 | Kaarta, Inc. | LASER SCAN DEVICE WITH REAL-TIME ESTIMATE OF CLEAN MOTION ONLINE |
US10442431B2 (en) | 2017-02-17 | 2019-10-15 | Fca Us Llc | Automatic speed limiter set speed adjustment |
US11194938B2 (en) | 2020-01-28 | 2021-12-07 | Middle Chart, LLC | Methods and apparatus for persistent location based digital content |
US10296828B2 (en) | 2017-04-05 | 2019-05-21 | Here Global B.V. | Learning a similarity measure for vision-based localization on a high definition (HD) map |
EP3646058A4 (en) | 2017-06-30 | 2020-12-02 | Kaarta, Inc. | SYSTEMS AND METHODS FOR IMPROVING SCAN AND IMAGING |
EP3656138A4 (en) | 2017-07-17 | 2021-05-12 | Kaarta, Inc. | ALIGNMENT OF MEASURED SIGNAL DATA WITH SLAM LOCATION DATA AND ASSOCIATED USES |
US10447973B2 (en) | 2017-08-08 | 2019-10-15 | Waymo Llc | Rotating LIDAR with co-aligned imager |
US11009884B2 (en) | 2017-09-29 | 2021-05-18 | Direct Current Capital LLC | Method for calculating nominal vehicle paths for lanes within a geographic region |
WO2019099605A1 (en) | 2017-11-17 | 2019-05-23 | Kaarta, Inc. | Methods and systems for geo-referencing mapping systems |
US10551850B2 (en) | 2018-01-03 | 2020-02-04 | Uatc, Llc | Low quality pose |
WO2019165194A1 (en) | 2018-02-23 | 2019-08-29 | Kaarta, Inc. | Methods and systems for processing and colorizing point clouds and meshes |
WO2019178429A1 (en) | 2018-03-15 | 2019-09-19 | Kaarta, Inc. | Methods and systems for filtering point cloud map data for use with acquired scan frame data |
WO2019195270A1 (en) | 2018-04-03 | 2019-10-10 | Kaarta, Inc. | Methods and systems for real or near real-time point cloud map data confidence evaluation |
WO2020009826A1 (en) | 2018-07-05 | 2020-01-09 | Kaarta, Inc. | Methods and systems for auto-leveling of point clouds and 3d models |
EP4061112A4 (en) | 2019-11-20 | 2023-12-13 | Farmwise Labs, Inc. | METHOD FOR ANALYZING INDIVIDUAL PLANTS IN AN AGRICULTURAL FIELD |
-
2017
- 2017-03-07 JP JP2018567003A patent/JP6987797B2/ja active Active
- 2017-03-07 CN CN201780029292.3A patent/CN109313024B/zh active Active
- 2017-03-07 WO PCT/US2017/021120 patent/WO2017155970A1/en active Application Filing
- 2017-03-07 EP EP17763885.5A patent/EP3427008B1/en active Active
-
2018
- 2018-09-07 US US16/125,054 patent/US10962370B2/en active Active
-
2021
- 2021-03-01 US US17/188,567 patent/US11585662B2/en active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09142236A (ja) * | 1995-11-17 | 1997-06-03 | Mitsubishi Electric Corp | 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置 |
JP2004348575A (ja) * | 2003-05-23 | 2004-12-09 | Foundation For The Promotion Of Industrial Science | 3次元モデル構築システム及び3次元モデル構築プログラム |
JP2006276012A (ja) * | 2005-03-29 | 2006-10-12 | Leica Geosystems Ag | 物体の六つの自由度を求めるための測定システム |
JP2007298332A (ja) * | 2006-04-28 | 2007-11-15 | Mitsubishi Electric Corp | 地形データ補正装置及び地形データ補正方法 |
US20080033645A1 (en) * | 2006-08-03 | 2008-02-07 | Jesse Sol Levinson | Pobabilistic methods for mapping and localization in arbitrary outdoor environments |
JP2011529569A (ja) * | 2008-07-31 | 2011-12-08 | テレ アトラス ベスローテン フエンノートシャップ | ナビゲーションデータを三次元で表示するコンピュータ装置および方法 |
JP2012507011A (ja) * | 2008-10-28 | 2012-03-22 | ザ・ボーイング・カンパニー | 空間照会のための手持ち型位置決めインタフェース |
JP2010175423A (ja) * | 2009-01-30 | 2010-08-12 | Mitsubishi Electric Corp | 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム |
JP2012063173A (ja) * | 2010-09-14 | 2012-03-29 | Konica Minolta Opto Inc | レーザ測距装置 |
JP3173419U (ja) * | 2011-06-21 | 2012-02-09 | 光男 植村 | 測量装置 |
JP2013093738A (ja) * | 2011-10-26 | 2013-05-16 | Nippon Hoso Kyokai <Nhk> | 移動距離計測装置及び撮影カメラ |
JP2015200615A (ja) * | 2014-04-10 | 2015-11-12 | 国際航業株式会社 | レーザー計測結果解析システム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10962370B2 (en) | 2016-03-11 | 2021-03-30 | Kaarta, Inc. | Laser scanner with real-time, online ego-motion estimation |
US10989542B2 (en) | 2016-03-11 | 2021-04-27 | Kaarta, Inc. | Aligning measured signal data with slam localization data and uses thereof |
US11506500B2 (en) | 2016-03-11 | 2022-11-22 | Kaarta, Inc. | Aligning measured signal data with SLAM localization data and uses thereof |
US11567201B2 (en) | 2016-03-11 | 2023-01-31 | Kaarta, Inc. | Laser scanner with real-time, online ego-motion estimation |
US11573325B2 (en) | 2016-03-11 | 2023-02-07 | Kaarta, Inc. | Systems and methods for improvements in scanning and mapping |
US11585662B2 (en) | 2016-03-11 | 2023-02-21 | Kaarta, Inc. | Laser scanner with real-time, online ego-motion estimation |
US11815601B2 (en) | 2017-11-17 | 2023-11-14 | Carnegie Mellon University | Methods and systems for geo-referencing mapping systems |
US11398075B2 (en) | 2018-02-23 | 2022-07-26 | Kaarta, Inc. | Methods and systems for processing and colorizing point clouds and meshes |
US11830136B2 (en) | 2018-07-05 | 2023-11-28 | Carnegie Mellon University | Methods and systems for auto-leveling of point clouds and 3D models |
Also Published As
Publication number | Publication date |
---|---|
US11585662B2 (en) | 2023-02-21 |
CN109313024A (zh) | 2019-02-05 |
US20190003836A1 (en) | 2019-01-03 |
US10962370B2 (en) | 2021-03-30 |
JP6987797B2 (ja) | 2022-01-05 |
WO2017155970A1 (en) | 2017-09-14 |
EP3427008A4 (en) | 2019-10-16 |
EP3427008B1 (en) | 2022-09-07 |
CN109313024B (zh) | 2022-06-17 |
EP3427008A1 (en) | 2019-01-16 |
US20210293544A1 (en) | 2021-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6987797B2 (ja) | リアルタイムオンラインエゴモーション推定を有するレーザスキャナ | |
US20230130320A1 (en) | Laser scanner with real-time, online ego-motion estimation | |
JP7141403B2 (ja) | 実時間オンライン自己運動推定を備えたレーザスキャナ | |
US10096129B2 (en) | Three-dimensional mapping of an environment | |
CN109084746B (zh) | 用于具有辅助传感器的自主平台引导系统的单目模式 | |
US10437252B1 (en) | High-precision multi-layer visual and semantic map for autonomous driving | |
JP2019532433A (ja) | リアルタイムオンラインエゴモーション推定を有するレーザスキャナ | |
Li et al. | Multi-sensor fusion for navigation and mapping in autonomous vehicles: Accurate localization in urban environments | |
US10794710B1 (en) | High-precision multi-layer visual and semantic map by autonomous units | |
US20190346271A1 (en) | Laser scanner with real-time, online ego-motion estimation | |
Ros et al. | Visual slam for driverless cars: A brief survey | |
Li et al. | Tightly coupled integration of GNSS, INS, and LiDAR for vehicle navigation in urban environments | |
Gao et al. | Towards autonomous wheelchair systems in urban environments | |
Srinara et al. | Performance analysis of 3D NDT scan matching for autonomous vehicles using INS/GNSS/3D LiDAR-SLAM integration scheme | |
Lin et al. | GLO-SLAM: A slam system optimally combining GPS and LiDAR odometry | |
US11561553B1 (en) | System and method of providing a multi-modal localization for an object | |
Andersson et al. | Simultaneous localization and mapping for vehicles using ORB-SLAM2 | |
Liu et al. | FR-LIO: Fast and robust lidar-inertial odometry by tightly-coupled iterated Kalman smoother and robocentric voxels | |
Tong et al. | 3D SLAM for planetary worksite mapping | |
Liu et al. | Fast and Robust LiDAR-Inertial Odometry by Tightly-Coupled Iterated Kalman Smoother and Robocentric Voxels | |
Salleh | Study of vehicle localization optimization with visual odometry trajectory tracking | |
Nejad | Design and implementation of a localization system for surveying robot based on visual odometry | |
Bai | Outlier-aware GNSS/INS/visual integrated navigation system in urban canyons | |
Ahmadi | Visual-LiDAR Simultaneous Localization and Mapping | |
Yu | Localization for Autonomous Navigation Systems in Large-Scale Outdoor Environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210104 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210323 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210603 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210702 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6987797 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |