JP2022106924A - 自律的な自己位置推定のためのデバイス及び方法 - Google Patents
自律的な自己位置推定のためのデバイス及び方法 Download PDFInfo
- Publication number
- JP2022106924A JP2022106924A JP2022076834A JP2022076834A JP2022106924A JP 2022106924 A JP2022106924 A JP 2022106924A JP 2022076834 A JP2022076834 A JP 2022076834A JP 2022076834 A JP2022076834 A JP 2022076834A JP 2022106924 A JP2022106924 A JP 2022106924A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- self
- cameras
- camera
- map data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 238000000034 method Methods 0.000 title abstract description 101
- 230000000007 visual effect Effects 0.000 claims abstract description 98
- 238000012545 processing Methods 0.000 claims abstract description 73
- 239000000284 extract Substances 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 7
- 239000002245 particle Substances 0.000 description 78
- 230000036544 posture Effects 0.000 description 31
- 238000004891 communication Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 13
- 238000013507 mapping Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000012952 Resampling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
- G06Q10/0833—Tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
【課題】本発明は、移動するロボットにより実行される自己位置推定に関する。【解決手段】少なくとも地図データを含む少なくとも1つのメモリコンポーネントと、視覚画像を撮影するように適合された少なくとも2つのカメラと、少なくとも2つのカメラにより撮影された視覚画像から直線を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合された少なくとも1つの処理コンポーネントとを含むモバイルロボットが開示されている。少なくとも2つのカメラで視覚画像を撮影する段階と、少なくとも1つの処理コンポーネントで個別の視覚画像から直線を抽出する段階と、抽出された特徴を既存の地図データと比較する段階と、上記比較に基づいて位置仮説を出力する段階とを含む自己位置推定方法が更に開示されている。【選択図】図4
Description
本発明は、移動するロボットにより実行される自己位置推定に関する。より具体的には、本発明は、視覚画像を撮影する複数のカメラを使用した自己位置推定に関する。
[導入部]
ロボット工学における進歩が、半自律的な及び自律的なロボットを可能にしたので、モバイルロボットの自己位置推定が、研究の活発な領域になってきた。移動するロボットが、目的をもって移動を継続するために、空間におけるその位置を少なくとも推定する方法を有しなければならない。ロボットの位置を推定するため、ロボットは、それ自体でその上に配置できる何らかの地図を使用しなければならない。そのような地図が、ロボット上に予めロードされ得、又は、ロボットそれ自体により取得され得る。後者の場合、地図は、ロボット自己位置推定と同時に取得され得、又は、自己位置推定の一部として後で使用されるために最初に開発され得る。自己位置推定の近年の枠組みは、それに対して自己位置推定がなされる座標系及び姿勢を含み、それは、位置及び方向の組み合わせである。自己位置推定が、絶対座標系(GPS座標等)又は相対座標系(何らかの知られた位置及び/又は目的物に対する自己位置推定等)に対して行われ得る。一貫性があり、必要に応じて(WGS84等の)何らかの標準座標系に変換され得る限り、座標系は、任意に選択され得る。
ロボット工学における進歩が、半自律的な及び自律的なロボットを可能にしたので、モバイルロボットの自己位置推定が、研究の活発な領域になってきた。移動するロボットが、目的をもって移動を継続するために、空間におけるその位置を少なくとも推定する方法を有しなければならない。ロボットの位置を推定するため、ロボットは、それ自体でその上に配置できる何らかの地図を使用しなければならない。そのような地図が、ロボット上に予めロードされ得、又は、ロボットそれ自体により取得され得る。後者の場合、地図は、ロボット自己位置推定と同時に取得され得、又は、自己位置推定の一部として後で使用されるために最初に開発され得る。自己位置推定の近年の枠組みは、それに対して自己位置推定がなされる座標系及び姿勢を含み、それは、位置及び方向の組み合わせである。自己位置推定が、絶対座標系(GPS座標等)又は相対座標系(何らかの知られた位置及び/又は目的物に対する自己位置推定等)に対して行われ得る。一貫性があり、必要に応じて(WGS84等の)何らかの標準座標系に変換され得る限り、座標系は、任意に選択され得る。
複数のセンサ読み取りは、姿勢計算に寄与し得、姿勢計算は、GPS受信機、Lidar(光レーダ)センサ、カメラ、オドメータ、ジャイロスコープ、加速度計、磁力計、飛行時間カメラ、及びレーダセンサを使用して決定され得る。自己位置推定のコンテキスト中になされる重要な相違がある。それは、既存の地図に基づいてなされ得る、又は、マッピングと同時になされ得る。後者は、SLAM(自己位置推定と地図作成を同時に行う技術)と称され、これまで未知である周囲を調査しながら自己位置推定が実行される場合に好ましいアプローチである。地図が既に利用可能である場合、タスクは、より容易になる。例えば、詳細な地図が容易に利用可能であり、短期間で顕著に変化する可能性が低いので、(集合住宅又は病院等の)屋内環境又は(工業団地等の)構造化された屋外環境における自己位置推定は、より容易である。(都市、郊外及び/又は村等の)構造化されていない環境における、屋外での自己位置推定が、より大きな課題である。第1に、公に利用可能である地図は、ロボットによる自律的な移動には十分正確ではない。第2に、地図が存在する場合であっても、新しい障害物が現れ、古い経路が消滅するので、地図は、非常に速く時代遅れになる可能性が高い。屋外での自己位置推定は、GPS(グローバルポジショニングシステム)、GLONASS(グローバルナビゲーションサテライトシステム)、又はGalileo等の測位システムを用いてなされ得る。しかしながら、(公共用途のために利用可能である)これらのシステムの精度は、1~10メートル程度である。これは、自律的なロボットのナビゲーションのために使用される自己位置推定に十分ではない。
自己位置推定問題への既存の解決策は、自己位置推定される目的物の意図された用途に強く依存する。
米国特許第8717545号明細書は、ライダーシステムからの範囲及びドップラ速度測定と、ビデオシステムからの画像とを使用して、ターゲットの6つの自由度の軌跡を評価するシステムを開示している。ターゲットの運動特徴が評価されると、ターゲットの3次元画像が生成され得る。
米国特許第7015831号明細書は、視覚センサ及びデッドレコニングセンサを使用して、自己位置推定と地図作成を同時に行う技術(SLAM)を処理する方法及び装置を開示している。有利には、そのような視覚技術が、地図を自律的に生成し、更新するために使用され得る。レーザ距離測定器とは異なり、視覚技術は、広い範囲の用途において経済的に実用的であり、人々が移動する環境等の、比較的動的な環境において使用され得る。
開示されている方法は、屋内環境で動作する自動電気掃除機において実施され得る。
米国特許第8305430号明細書は、単眼構成の任意の数のカメラの固定された、又は知られた較正のための視覚オドメトリシステム及び方法を開示している。この分散されたアパーチャシステムにおけるカメラの各々から収集された画像は、無視できる重複を有する、又は重複を全く有しない。
システムは、複数のカメラを使用するが、それらを比較し、精緻化する前に別々に各カメラにおいて姿勢仮説を生成する。
Schindlerその他は、(3D Data Processing, Visualization, and Transmission, Third International Symposium on,pp. 846-853. IEEE,2006において)複数の広く離れた視界からシーンの3D‐線構造を回復するための新規の方法を議論している。このアプローチにおいて、相互に直交する消失方向に沿ったエッジの存在を仮定するEMベースの消失点推定方法を用いて、2D‐線が画像において自動的に検出される。画像にわたる手動で確立された特徴対応に基づく都市シーンに関する3D再構成結果が提示される。
Murillo, A. C.その他(Robotics and Autonomous Systems 55, no. 5 (2007):372‐382)は、全天球カメラを使用したグローバルなロボット自己位置推定のための新たな視覚ベースの方法を提案している。トポロジカル及びメトリックの自己位置推定情報は、効率的で階層的な処理において組み合わされ、各段階は、以前のものよりも複雑で正確であり、しかし、より少ない画像を評価する。
本発明は、特許請求の範囲、並びに以下の説明において特定される。好ましい実施形態が、従属請求項及び様々な実施形態の説明において具体的に特定される。
第1態様では、本発明は、
(i)少なくとも地図データを含む少なくとも1つのメモリコンポーネントと、
(ii)環境の視覚画像を撮影するように適合された少なくとも2つのカメラと、
(iii)少なくとも2つのカメラにより撮影された視覚画像から直線を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合された少なくとも1つの処理コンポーネントと
を備える
モバイルロボットを提供する。
(i)少なくとも地図データを含む少なくとも1つのメモリコンポーネントと、
(ii)環境の視覚画像を撮影するように適合された少なくとも2つのカメラと、
(iii)少なくとも2つのカメラにより撮影された視覚画像から直線を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合された少なくとも1つの処理コンポーネントと
を備える
モバイルロボットを提供する。
第2態様では、本発明を利用する自己位置推定方法が提供される。自己位置推定方法は、本明細書に記載のシステムの任意の特徴を利用し得る。自己位置推定方法は、少なくとも2つのカメラで視覚画像を撮影する段階を備え得る。自己位置推定方法はまた、少なくとも1つの処理コンポーネントで個別の視覚画像から直線を抽出する段階を備え得る。方法は、抽出された特徴を既存の地図データと比較する段階を更に備え得る。方法はまた、抽出された特徴と地図データとの間の比較に基づいて位置仮説を出力する段階を備え得る。
いくつかの実施形態において、自己位置推定方法は、出力された位置仮説を使用してモバイルロボットの姿勢を出力する段階を更に備え得る。方法はまた、取得された姿勢を使用してモバイルロボットをナビゲートする段階を備え得る。いくつかの実施形態において、ロボットは、それ自体をナビゲートする、即ち、自律的及び/又は半自律的であるように適合され得る。
いくつかの実施形態において、抽出された特徴及び/又は直線を既存の地図データと比較し、位置仮説を出力する段階は、格納された地図データが与えられる場合に、最良の位置仮説を決定する反復確率的アルゴリズムを使用する段階を備え得る。いくつかの好ましい実施形態において、粒子フィルタベースのアルゴリズムが使用され得る。地図データ及びカメラ画像から抽出された線の両方が、ロボットのセンサ(カメラ等)と関連付けられた、及び/又は地図データを生成する処理と関連付けられた誤差を含み得るので、反復確率的アルゴリズムを使用することが、特に有利である。その関連付けられた誤差を有するデータを処理するため、異なる可能な結果又は出力に確率を割り当て、それらを反復して処理することが実用的である。これは、より堅牢な及び信頼性のある出力につながり得、自己位置推定方法の成功を高める。別の実施形態において、本発明は、
少なくとも2つのモバイルロボットを備えるモバイルロボットのアセンブリであって、ロボットの各々は、
(i)少なくとも地図データを含む少なくとも1つのメモリコンポーネントと、
(ii)環境の視覚画像を撮影するように適合された少なくとも2つのカメラと、
(iii)少なくとも1つのカメラにより撮影された視覚画像から特徴を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合され少なくとも1つの処理コンポーネントと、
(iv)ロボット間のデータ、特に画像及び/又は地図データを送信及び受信するように適合された少なくとも1つの通信コンポーネントと
を備える
アセンブリを提供する。
少なくとも2つのモバイルロボットを備えるモバイルロボットのアセンブリであって、ロボットの各々は、
(i)少なくとも地図データを含む少なくとも1つのメモリコンポーネントと、
(ii)環境の視覚画像を撮影するように適合された少なくとも2つのカメラと、
(iii)少なくとも1つのカメラにより撮影された視覚画像から特徴を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合され少なくとも1つの処理コンポーネントと、
(iv)ロボット間のデータ、特に画像及び/又は地図データを送信及び受信するように適合された少なくとも1つの通信コンポーネントと
を備える
アセンブリを提供する。
別の実施形態において、本発明を利用するマッピング方法が提供される。マッピング方法は、上で及び以下で列挙されているシステムの任意の特徴を利用し得る。マッピング方法は、
(i)少なくとも2つのカメラ及び少なくとも1つの処理コンポーネントを備える少なくとも1つのモバイルロボットを動作することと、
(ii)少なくとも1つのロボットの少なくとも2つのカメラで視覚画像を撮影することと、
(iii)少なくとも2つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
(iv)少なくとも1つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
(v)視覚画像から抽出された特徴を使用して地図データを構築することと
を備える。
(i)少なくとも2つのカメラ及び少なくとも1つの処理コンポーネントを備える少なくとも1つのモバイルロボットを動作することと、
(ii)少なくとも1つのロボットの少なくとも2つのカメラで視覚画像を撮影することと、
(iii)少なくとも2つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
(iv)少なくとも1つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
(v)視覚画像から抽出された特徴を使用して地図データを構築することと
を備える。
別の実施形態において、本発明を利用する自己位置推定方法が提供される。自己位置推定方法は、本明細書に記載のシステムの任意の特徴を利用し得る。自己位置推定方法は、
(i)少なくとも2つのカメラ、少なくとも1つのメモリコンポーネント、及び少なくとも1つの処理コンポーネントを備える少なくとも1つのモバイルロボットを動作することと、
(ii)少なくとも1つのロボットの少なくとも2つのカメラコンポーネントで視覚画像を撮影することと、
(iii)少なくとも2つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
(iv)少なくとも1つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
(v)抽出された特徴を少なくとも1つのロボットの少なくとも1つのメモリコンポーネント上に格納された既存の地図データと比較することと、
(vi)(v)における比較を使用して少なくとも1つのロボットを自己位置推定することと
を備える。
(i)少なくとも2つのカメラ、少なくとも1つのメモリコンポーネント、及び少なくとも1つの処理コンポーネントを備える少なくとも1つのモバイルロボットを動作することと、
(ii)少なくとも1つのロボットの少なくとも2つのカメラコンポーネントで視覚画像を撮影することと、
(iii)少なくとも2つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
(iv)少なくとも1つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
(v)抽出された特徴を少なくとも1つのロボットの少なくとも1つのメモリコンポーネント上に格納された既存の地図データと比較することと、
(vi)(v)における比較を使用して少なくとも1つのロボットを自己位置推定することと
を備える。
別の実施形態において、本発明を利用する自己位置推定方法が提供される。自己位置推定方法は、本明細書に記載のシステムの任意の特徴を利用し得る。方法は、
(i)少なくとも1つのデッドレコニングコンポーネント、少なくとも2つのカメラ、少なくとも1つのメモリコンポーネント、及び少なくとも1つの処理コンポーネントを備える少なくとも1つのモバイルロボットを提供することと、
(ii)少なくとも1つのロボットの少なくとも2つのカメラコンポーネントで視覚画像を撮影することと、
(iii)少なくとも1つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
(iv)(iii)における抽出された特徴から位置関連データを取得することと、
(v)少なくとも1つのデッドレコニングコンポーネントから位置関連データを受信することと、
(vi)(iv)における視覚画像から抽出された特徴から取得された位置関連データ、及び位置関連データの各々と関連付けられる誤差に基づいて重み付けされた、(v)における少なくとも1つのデッドレコニングコンポーネントから受信された位置関連データを組み合わせることと、
(vii)(vi)における組み合わされたデータに基づいてロボットの姿勢に対する仮説を形成することと
を備える。
(i)少なくとも1つのデッドレコニングコンポーネント、少なくとも2つのカメラ、少なくとも1つのメモリコンポーネント、及び少なくとも1つの処理コンポーネントを備える少なくとも1つのモバイルロボットを提供することと、
(ii)少なくとも1つのロボットの少なくとも2つのカメラコンポーネントで視覚画像を撮影することと、
(iii)少なくとも1つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
(iv)(iii)における抽出された特徴から位置関連データを取得することと、
(v)少なくとも1つのデッドレコニングコンポーネントから位置関連データを受信することと、
(vi)(iv)における視覚画像から抽出された特徴から取得された位置関連データ、及び位置関連データの各々と関連付けられる誤差に基づいて重み付けされた、(v)における少なくとも1つのデッドレコニングコンポーネントから受信された位置関連データを組み合わせることと、
(vii)(vi)における組み合わされたデータに基づいてロボットの姿勢に対する仮説を形成することと
を備える。
モバイルロボットは、自律的な及び/又は半自律的なロボットであり得る。ロボットは、陸上型であり得る。ロボットは、地上を移動するように適合され得る。特に、ロボットは、車輪付きであり得、動いている障害物及び動いていない障害物を含む構造化されていない都市部を移動するように適合され得る。一実施形態において、ロボットは、フレーム上に取り付けられた少なくとも4(四)つの車輪のセットを備える。ロボットは、フレーム上に取り付けられた本体を更に備え得る。ロボットは、本体上に及び/又はフレーム上に取り付けられたライトを更に備え得る。ライトは、LEDライトであり得る。ライトは、自己位置推定及び/又は短いスケールのナビゲーションで、及び/又は障害物検出でロボットを支援し得る。ライトは、ロボットがその中で暗闇及び/又は夕やみで動作する環境を照らし得る。更に又は代替的に、ロボットは、例えば、都市部の、歩道にいる等の、その周囲の歩行者と通信するために、少なくとも1つのマイク及び/又は少なくとも1つのスピーカを備え得る。
本明細書に記載のカメラ及び他のコンポーネントは、ロボットのフレーム上に及び/又は本体上に取り付けられ得る。特定の一実施形態において、ロボットの寸法は、幅40cmから70cm、例えば約55cm、高さ40cmから70cm、例えば約60cm、長さ50cmから80cm例えば、約65cmである。本発明は、1つよりも多くのロボットを含み得る。一実施形態において、ロボットは、その動作のほとんどの間、例えば、その時間の約95%、その時間の約97%、その時間の約98%、又はその時間の約99%、自律的に動作し得る。ロボットは、10km/h以下、又は8km/h以下、又は6km/h以下の速度で移動するように適合され得る。好ましい実施形態において、ロボットは、3km/hと6km/hとの間及び/又は4km/hと5km/hとの間の速度で駆動する。好ましい実施形態において、ロボットは、配送目的のために使用され得る。ロボットは、その本体内に、輸送の間少なくとも1つの配送が格納され得る密閉空間を備え得る。ロボットは、空間へのアクセスを提供するための安全なアクセスデバイスを更に備え得る。このデバイスは、安全なインタフェースにより制御されるロック機構及び/又は閉鎖機構であり得る。ロボット及び配送は、40kg以下、例えば、35kg以下、例えば、30kg以下、例えば、25kg以下の総合重量を有し得る。好ましい実施形態において、ロボット及び配送は、10kg~25kg、より好ましくは10kg~20kgの総合重量を有する。
モバイルロボットのメモリコンポーネントは、ランダムアクセスメモリ(RAM)デバイスを備え得る。それは、スタンドアロンコンポーネントであり得、又は、好ましい実施形態において、システムオンチップ(SoC)の統合部分であり得る。メモリコンポーネントは、好ましくは、ロボットの現在の及び/又は予定の運転領域に関し得る少なくとも地図データを格納する。運転領域とも称される運転領域は、ロボットの動作の経過中に固定され得、又は変更され得る。好ましい実施形態において、運転領域は、都市、村、近所及び/又は都市の任意に定義された部分から成ることができる居住者のいる領域を含む。運転領域はまた、孤立した人間の居住地及び/又は人間が多い領域を有する領域を含み得る。
メモリコンポーネント内に格納され得る地図データは、何らかの座標系に関して定義された複数のベクトル、直線、点特徴及び/又はグリッド特徴を含み得る。地図データは、2つの点及び/又は任意のしかし固定された座標系に関して定義された点及び方向を含み得る。この座標系は、ロボットと結び付けられ得、例えば、カメラのうちの1つが、原点の役割を果たし、移動の方向が、X軸の役割を果たす。座標系はまた、例えばGPSシステムのように、ロボットから独立していてもよい。座標系は、湾曲が顕著な誤差を導入しないように、地球のそのような部分を近似するデカルト座標系であり得る。座標系は、GPS座標系(例えば、WGS84)及び/又は他の標準系に変換され得る。従って、地図データはまた、GPS座標等の標準座標系に変換され得る。グリッド特徴は、例えば、幾何学形状のような、線ではない拡張オブジェクトを含み得る。例えば、いくつかの実施形態において、街灯は、半径が高さと共に変化する幾何学的オブジェクトとしてモデル化され得る。その結果、これらは、グリッド特徴とみなされ得る。更に、矩形の又は実質的に矩形のオブジェクトが、グリッド特徴とみなされ得る。これらは、例えば、ドア、窓及び/又は他のオブジェクトを含み得る。更に又は代替的に、実質的に円形の、楕円形の、三角形の及び異なる形状のオブジェクトが、グリッド特徴を含み得る。地図データは、直線の及び/又は物理的な対象物(ランドマーク)の及び/又は何らかの座標系に対するロボット姿勢の位置に対応する数の集合を単純に含み得る。また、地図データに関して定義される複数の座標系が存在してもよい。地図データは、カメラ画像線に基づいて取得された線を更に含み得る。即ち、カメラ画像から抽出された線は、それらが実際のランドマーク(即ち、物理的な対象物)に属するかどうか、及びそれらのうち一部が組み合わされ得るかどうかを検証するアルゴリズムを通して実行され得る。この段階では、異なるカメラにより撮影された画像から抽出された及び/又は異なる時点で撮影された線が、それらが同じランドマークに属すると決定される場合、組み合わされ得るので、互いに対する及び/又はロボットに対する線の位置は、調整され得る。いくつかの線がまた、それらが、一時的な目的物(トラック又は自動車等)、ライトの影響、及び/又はカメラの影響に属する可能性が高いと決定される場合、破棄され得る。地図データが、次に、画像から抽出されたが、特定のアルゴリズムにより処理された線に基づく線のこの集合を含み得、ランドマーク、組み合わされた線、及び/又は調整された位置を有する線に属している線を主に又は唯一含む。地図データが、ベクトル、点特徴と関連付けられた誤差推定値、及び/又はランドマークと関連付けられた線を更に含み得る。地図データが、可視性情報を更に含み得る。それは、所与のランドマークがどの位置から見られ得るかについての情報である。換言すると、例えば、壁がランドマーク又は物理的な対象物を遮り、これによりそれが壁の後ろの位置から見られ得ない場合、この情報はまた、地図データ中に含まれ得る。これは、例えば、ロボットが地図を使用して、ナビゲートする場合に、それが、近くにあるが遮られている物理的な対象物のランドマークを検出しないので、実用的である。可視性情報はまた、ロボットのカメラの高さを考慮し得、どの目的物がどの位置で可視であり得るかを決定する。
ロボット上のカメラは、典型的には、その運転領域内のロボットの周囲環境の視覚画像を撮影するように適合される。典型的には、周囲環境は、近くに位置する視覚目的物、例えば、ロボットから、約1km以下、500m以下、300m以下、200m以下、又は100m以下の半径内に位置する目的物を含む。従って、ロボットは、約1km以下、500m以下、300m以下、200m以下、又は100m以下の半径内にあるロボットの周囲の画像を撮影し、処理するように適合され得る。環境は、典型的には、ロボットがその経路に沿って移動する際に、時間、及びロボットの地理的周囲とともに変化する構造化されていない屋外環境である。環境はまた、例えば、ロボットが、モール、ガレージ、団地、オフィスビル等を通って移動している場合、少なくとも部分的に屋内であってもよく、又は屋根の下であってもよい。
モバイルロボットのカメラは、例えば、スマートフォンカメラと同様であり得る。それらは、毎秒1~10枚の画像、より好ましくは毎秒3~5枚の画像、又はより好ましくは毎秒4枚の画像を撮像するように適合され得る。カメラ視野角は、10°~120°、より好ましくは40°~100°、より好ましくは60°から80°までであり得る。ロボットは、複数のカメラを備え得る。好ましい実施形態において、ロボットは、少なくとも4(四)つのカメラを備える。より好ましい実施形態において、ロボットは、9(九)つのカメラを備える。カメラは、ロボットの本体の周りに、好ましくは異なるカメラの視野角を最適化する位置のどこにでも配置され得る。いくつかのカメラが、ステレオカメラであり得る。好ましい実施形態において、一対の前部のカメラが、ステレオカメラである。より好ましい実施形態において、ロボットは、4(四)対のステレオカメラを備える。この好ましい実施形態において、ステレオカメラは、ロボットの前面、ロボットの両側、及びロボットの背面に位置決めされる。もう1つのカメラが、ロボットの前面に位置決めされる。ステレオカメラは、視覚画像内に撮像された目的物を三角測量するために使用され得る。視覚画像の奥行き知覚は、ステレオカメラで改善され得る。ステレオカメラ間の間隔は、5cm~20cmであり得る。好ましい実施形態において、前部及び後部ステレオカメラ間の間隔は、5cm~10cmであり、サイドステレオカメラ間の間隔は、15cm~20cmである。カメラは、横方向の視覚画像及び/又は縦方向の視覚画像を撮影するようにロボット上に配置され得る。横方向の視覚画像は、より広いカメラ撮像アングルが、地面におおよそ並行であり、より狭いカメラ撮像アングルが、地面におおよそ垂直である視覚画像を意味すると理解され得る。好ましい実施形態において、サイドカメラは、縦向きに配置され、前部及び後部カメラは、横向きに配置される。一実施形態において、カメラは、構造化されていない屋外環境の視覚画像を撮影し得る。この環境は、動いていない障害物及び動いている障害物(例えば、歩行者、動物、乳母車、車椅子、郵便箱、ごみ入れ、街灯等)を含む歩道、車両、自転車、信号機等を含む車両の道路、及び/又は駐車場、芝生及び/又は畑等の他の横切ることのできる環境のうち少なくとも1つ又は任意の組み合わせを含むことができる。
ロボットを自己位置推定するための複数のカメラの使用は、特に有利であり得る。複数のカメラが、複数の方向に向けられ得、従って、ロボットの周囲のより大部分をカバーする。更に、1つのカメラが、欠陥を含む、及び/又は妨げられた場合、他のカメラが、ロボットが自己位置推定を依然として実行することを可能にし得る。太陽光、雨、雪、霧、雹又は同様のもの等の天候条件が、カメラの視界を遮ぎることがあるので、これは、屋外で動作するロボットに特に適し得る。いくつかのランドマーク及び/又は物理的な対象物を、異なるカメラにより撮影された画像上で見ることができるので、複数のカメラがまた、本発明に関して特に有利である。これは、それらの線が、ランドマークに及び/又は物理的な対象物にたしかに属することを確認するためにアルゴリズムにより使用され得る。逆に、1つのカメラ上のみで1つの線又はいくつかの線が見られる場合、線は、ライトの人工産物及び/又は1つのカメラによってのみ撮像された一時的な目的物であり得る。これは、線がランドマークに関連付けられている、及び/又は既存の地図と比較されている場合に非常に有利である。
処理コンポーネントは、システムオンチップ(SoC)の一部であり得、及び/又はシステムオンチップ(SoC)を含み得、例えば、スマートフォンプロセッサと同様であり得る。メモリコンポーネントは、同じSoCの一部であり得る。処理コンポーネントは、カメラによって撮像された視覚画像を使用してロボットを自己位置推定するように適合され得る。処理コンポーネントは、好ましくはまた、カメラによって撮像された視覚画像から特徴を抽出するように適合され得る。1つの好ましい実施形態において、特徴は、直線であり得る。直線は、前処理された視覚画像に、エッジ検出アルゴリズム(例えば、Cannyアルゴリズム等)を、続いてライン抽出アルゴリズム(例えば、ハフ変換等)を適用することにより抽出され得る。前処理は、画像を組み合わせること、画像を鮮鋭化すること、画像を平滑化すること、及び/又は画像にコントラストを加えることを含み得る。それはまた、画像の色彩設計への任意の調整を含み得る。
抽出された特徴は、ロボットの運転領域の地図を構築するため、及び/又は既存の地図を使用してロボットを自己位置推定するために使用され得る。地図が、何らかの座標系に関して定義されたベクトル及び/又は線及び/又は線分及び/又は点特徴及び/又はグリッド特徴の集合を含み得る。地図は、ロボットのメモリコンポーネント上に予めロードされ得る。代替的に、地図は、動作中にメモリコンポーネント上にダウンロードされる。ロボットが、地理的領域間を移動しているので、地図は、断片的にダウンロードされ得る。
ロボット上のカメラは、運転領域におけるそのロービング中にロボットの周囲の視覚画像を撮影し得る。カメラは、毎秒1枚から10枚の画像、例えば、毎秒2枚から8枚の画像、又は毎秒3枚から7枚の画像、又は毎秒3枚から5枚の画像、又は毎秒4枚から6枚の画像の頻度で画像を撮影するように適合され得る。一実施形態において、カメラは、毎秒4枚の画像の頻度で画像を撮影するように適合される。好ましくは、画像撮像は、説明された頻度でロボットの動作中に継続的に実行される、即ち、ロボットは、好ましくは、その動作中にカメラのうちの少なくとも1つ、好ましくは全てを継続的に使用して画像を撮影するように適合される。次に、視覚画像は、1つのファイルに組み合わされ、前処理され得る。好ましくは、異なるカメラからの画像は、同時に撮影される。これは、処理される異なる画像の時間差が、処理される連続的な画像間の時間よりもかなり短いことを意味し得る。前処理した後、前処理された画像データを含むファイルは、異なるカメラを表す個別の画像ファイルに分離され、直線は、個別の画像から抽出される。直線は、次に組み合わされ、ロボットの運転領域の地図データを構築するために使用される。
更に別の実施形態において、ロボットは、既に、そのメモリコンポーネント上に地図データを格納している。抽出された直線は、次に、格納された地図データと比較され、粒子フィルタを通して実行され、ロボット姿勢の確率分布をモデル化する。最適な姿勢が、次に、比較に基づいて選択される。以下、本発明の文脈内の粒子フィルタ方法の詳細な説明が続く。
粒子フィルタは、複数の用途において使用される反復アルゴリズムであり、システムの複数の確率的状態に尤度を割り当てる。最も可能性が高い状態に対する推定値と共に、粒子フィルタは、各可能性に対する誤差推定値を与える。基本的な考え方は、一定数の「粒子」又は系の潜在的な状態を考慮することである。使用される粒子の数は、用途及び利用可能な計算能力に基づいて変化する。本明細書に記載の本発明は、粒子フィルタにおいて10個~1000個の間のどこか、より好ましくは100個~1000個、より一層好ましくは約500個の粒子を使用し得る。ロボットの位置は、ガウシアンとしてモデル化され得、次に、誤差は、
のように書かれ得る共分散行列により与えられ、ここで、Rは、回転行列であり、Dは、分散の対角行列(標準偏差の二乗)である。 確率pに対する信頼域は、次に導出され得る。2次元の場合、(M=2)、この領域は、半径
及び
の楕円形を含み得る。なお、
は、逆累積分布関数の平方根、即ち、分位点関数の平方根を指す。例えば、Rにより、半径2σ1及び2σ2で(
として)回転される楕円形内に含まれる正規分布値の確率は、約87%である。
各粒子は、ロボットの状態の仮説、即ち、ロボットの位置及び方向xi(t)及びまた仮説の強さを示す重み((数字wi(t))を運び得る。重みは、他の粒子とのコンテキスト中にのみ意味をなし、これにより、その絶対値ではなく、むしろ他の粒子の重みに対するその相対値が重要である。ある時間tにおけるロボットの位置は、次に、
として(模式的な形態で)計算され得、Nは、粒子の総数であり、wiは、粒子iの重みであり、xiは、粒子iの位置である。ロボットの位置の誤差(標準偏差)は、次に、
として標準的な方法で推定され得、ここで、
であると仮定される。ここで、粒子クラウドが単峰性である、即ち粒子が探索空間内の1つのはっきりと異なる位置の周りに集中しているとも仮定される。好ましい実施形態において、本発明は、多峰性分布、即ち、粒子が、2つまたはそれより多くのはっきりと異なる位置の周りに集中している場合を検出するように更に適合される。なお、上記は、方法の模式的な例であり、誤差は、より複雑な方法を使用して計算され得る。これは、ロボットの方向における誤差(3D回転を含む)が、ロボットのx-y位置におけるその誤差をさらに含み、より注意深く処理される必要があるという事実に起因する。実際、自由度の回転における誤差は、このアプローチを使用して適切に推定され得ない。例えば、回転(方位方向)-179°及び+179°を有する2つの粒子の算術平均は、0°である。これは、明らかに現実を表さない、なぜなら、真の平均は、-180°又は+180°のいずれかでなければならないからである。従来、回転自由度は、多くの場合、オイラー角で表される。それらの変数に対する共分散行列を計算することが複雑になり得、他の方法が使用され得る。
粒子フィルタにおいて使用される入力は、2つのタイプのセンサ入力、制御入力及びセンシング入力から得られ得る。制御入力は、オドメータ読み取り値、及び/又はジャイロスコープ読み取り値を含み得る。センサ入力は、GPS読み取り値、磁力計読み取り値、加速度計読み取り値、及び/又は視覚カメラ読み取り値を含み得る。全ての読み取り値は、最初にロボットの処理コンポーネント内で処理され得、又は適切であれば受信時に使用され得る。制御入力は、粒子の位置を直接前進させるために使用され得る。これは、粒子が、誤差に起因して離れ離れになるので、ロボット姿勢誤差推定値の増加をもたらし得る。センサ入力は、粒子の重みを変更するために使用され得、その位置がセンサ読み取り値に一致しない粒子の重みを減少させる。これは、姿勢誤差推定値の減少に寄与し得る。
制御入力は、それらのランダムな誤差の推定値を含み得る。それらは、各粒子に対する増分移動及び回転値の別々のセットを生成するために使用され得る。模式的に、我々は次に、
を有し、
最初の行で、ciは、誤差を含む粒子iのための制御入力であり、RND(σc)は、(通常は正規分布の)ランダムな誤差生成器であり、c(t)は、所与の共分散行列Σc(t)(制御入力誤差推定値)を有する制御入力である。2番目の行は、時間t-1、xi(t-1)における粒子の位置及びサンプリングされた制御入力を使用して、関数fを介してi番目の粒子位置xi(t)が計算され得ることを示す。ランダムな値を追加する目的は、ロボット姿勢の誤差分布をモデル化することである。段階の後の全ての可能性が高いロボット姿勢が、従ってカバーされ得る。サンプリングは、移動後のロボット位置の確率分布から行われ得る。多くの段階を行った後、あらゆる粒子が、最終的には別々の方向に漂って離れていき、位置誤差の推定値は、際限なく増大する。
最初の行で、ciは、誤差を含む粒子iのための制御入力であり、RND(σc)は、(通常は正規分布の)ランダムな誤差生成器であり、c(t)は、所与の共分散行列Σc(t)(制御入力誤差推定値)を有する制御入力である。2番目の行は、時間t-1、xi(t-1)における粒子の位置及びサンプリングされた制御入力を使用して、関数fを介してi番目の粒子位置xi(t)が計算され得ることを示す。ランダムな値を追加する目的は、ロボット姿勢の誤差分布をモデル化することである。段階の後の全ての可能性が高いロボット姿勢が、従ってカバーされ得る。サンプリングは、移動後のロボット位置の確率分布から行われ得る。多くの段階を行った後、あらゆる粒子が、最終的には別々の方向に漂って離れていき、位置誤差の推定値は、際限なく増大する。
これに対処するため、センシング入力が使用され得る。以下において、GPSセンサは、センシング入力の例示的な実施形態として使用される。GPSソフトウェアが、GPSアンテナの位置及びこの位置の誤差推定値の共分散行列を提供する。従って、GPS位置は、ガウシアンとしてモデル化され得る。このことから、ロボットがある領域Aiにある正確な確率は、以下のように計算され得る。
ここで、g(t)は、時間tにおけるGPS位置であり、ΣGPSは、所与のGPS位置の誤差推定値の共分散行列である。これは、
に単純化され得、ここで、kは、定数であり、cGPSは、GPSセンサのための重み係数である。時間デルタ、Δt、は、測定値間の時間であり、粒子の「崩壊速度」を組み込むために使用される。それは、測定が、可変間隔で行われる場合、特に重要である。GPSセンサに対する時間ステップtにおける各粒子の重みは、次に、
として取得され得る。量
は、正確に粒子の確率ではない。むしろ、それを、GPSセンサ測定に関連して粒子の適合度として見ることが理にかなっている。GPS位置により近い粒子は、より大きな
を取得し、それらの重みは、低い適合度の粒子ほど多くは低減されない。この全ては、相対的な観点から見られ得る、それは、別の粒子と比較されるある粒子である。
なお、GPSセンサは、ロボットのフレーム上に中央に配置されてもよく、又はそうでなければロボットのフレーム上に配置されてもよく、このオフセットは、比較をする場合にロボット位置に加えられ得る。また、なお、GPS読み取り値は、大きな系統的誤差を含み得るので、ここでのこの処理は、単純化される。GPSの他に、ロボットは、磁力計、加速度計、及び/又はカメラ等の更なるセンサを備え得る。それらのセンサの各々に関して、適合度値が計算され得、得られた粒子重みは、
で与えられ得、ここで、
は、所与のセンサに対する粒子重みを指し、
として与えられ得る。 各センサの重み係数
は、各センサがどれほど強く他のセンサと比較されるかを決定する。それは、どれ程強く、及びどれ程速く所与のセンサが他の粒子に影響を与えるかである。係数は、試験及びセンサ品質に基づいて調整され得る。更に、重み係数を使用する代わりに、共分散行列
は、直接変更され得、中で誤差をより良くモデル化する。例えば、GPSセンサに関して、定数値が、共分散行列の全ての対角成分に加えられ得る。
最終的には、複数の時間ステップの後、多くの粒子が、より大きい重みを有する少数の粒子と比較して無視できる重みを有する。この影響は、任意の再サンプリング段階が無い場合、ますます悪くなる。この処理が継続される場合、粒子フィルタは、比較的高い重みを有するほんのわずかの粒子を出力し、残りは、限界的な重みを有する。―これは、1つのみの粒子は、それほどよくロボット姿勢確率分布を表さないので、粒子フィルタが失敗し得る1つの方法である。これを防止するため、以前のように誤差推定値の分散を維持しながらずっと、ロボット姿勢の限界的な確率の領域において粒子を破棄し、ロボット姿勢の確率が大きい領域において新たな粒子を作成する方法が必要とされる。これは、再サンプリング段階として知られている。使用され得る1つの方法が、Sequential Importance Resampling(SIR)である。段階毎にSIRを実行することは、コンピューティングリソースの観点から無駄であり、実際にいくつかの「良好な」粒子がドロップされることにつながり得る。従って、SIRは、「有効な」粒子の数に関して特定の条件に達する場合にのみ実行される。この条件は、例えば、粒子数の半分を下回る粒子の有効数(ここでは、非限界的な粒子を効果的に指す)に関し得る。
処理コンポーネントは、最大で10cmの誤差でロボットを自己位置推定するように適合される。好ましい実施形態において、処理コンポーネントは、最大で5cmの誤差でロボットを自己位置推定するように適合される。より好ましい実施形態において、処理コンポーネントは、最大で3cmの誤差でロボットを自己位置推定するように適合される。自己位置推定の精度は、カメラの数に及び/又はカメラの相対位置の知識に及び/又はシステムの較正に依存し得る。自己位置推定が、更に遠くに位置する目的物に関してより、より近くに位置する目的物に対しての方が正確であり得る。
処理コンポーネントは、異なるカメラにより撮影された視覚画像から抽出された特徴を、コヒーレントマップに組み合わせ得、及び/又は組み合わされた抽出された特徴を使用して自己位置推定し得る。処理コンポーネントは、抽出された特徴に基づく視覚的自己位置推定、並びに地図情報及びロボットの意図した目的地についての情報を使用することにより、ロボットのナビゲーションについての命令を提供するように適合される。ナビゲーションが、何らかの方向に移動すること及び/又は回転することにより、ロボットの姿勢(6自由度の位置及び方向データ)を変更することを含み得る。ナビゲーションが、最良の移動コースについての決定を行い、自己位置推定情報に基づいてそれらの決定を適合することを更に含み得る。
ロボットは、環境に及び/又はロボットの自己位置推定に関する異なるパラメータを測定するように適合される複数のセンサを更に備え得る。センサは、少なくとも1つのGPSコンポーネント、少なくとも1つの加速度計、少なくとも1つのジャイロスコープ(好ましい実施形態において4(四)つのジャイロスコープ)、少なくとも1つのオドメータ、少なくとも1つの磁力計、少なくとも1つの飛行時間カメラ、及び/又は少なくとも1つのLidarセンサのうちの少なくとも1つ又は任意の組み合わせを含み得る。好ましい実施形態が、それらのセンサの全てのうちの少なくとも1つを含む。好ましい実施形態において、センサは、ロボットの姿勢に関するデータを測定する。処理コンポーネントは、最初に近似姿勢推定値のためにセンサデータを処理し、次に視覚的自己位置推定を使用することによりこの推定値を改善することによりロボットを自己位置推定する。姿勢改善は、例えば、粒子フィルタを使用することにより行われ得る。視覚画像から抽出された特徴は、異なる姿勢の特定のセットに対応する特徴を含む地図と比較され得る。粒子フィルタは、次に、各姿勢の尤度に基づいて、そのセットから最も可能性が高い姿勢推定値を選択し得る。処理コンポーネントは、設定された時間間隔でロボット姿勢を推定する反復アルゴリズムに基づいてロボットを自己位置推定するように適合され得る。この反復アルゴリズムは、粒子フィルタ方法の用途に依存し得る。ロボットの姿勢に対する仮説が、少なくとも1つのカメラ、GPSコンポーネント、オドメータ、加速度計、飛行時間カメラ及び/又は磁力計等の少なくとも1つのセンサからのデータを含み得る。センサのデータが、更に、(GPSコンポーネントからのデータ及び/又は例えば視覚カメラ画像から取得されたデータのように)絶対的であってもよく、又は、(例えば、オドメータ及び/又はジャイロスコープからのデータのように)以前のロボット姿勢と相対的であってもよい。
ロボットは、圧力センサを更に備え得る。圧力センサは、正確な高度ベースの自己位置推定に関して使用され得る。一実施形態において、別の圧力センサが、ロボットの運転領域内の知られた位置に、例えば、ハブに位置し得る。ハブは、物理的な場所(例えば、駐車場)、物理的な構造体(例えば、家屋、倉庫、輸送コンテナ、納屋、デポ及び/又はガレージ)、及び/又はモバイル構造体(例えば、トラック、トレーラー、及び/又は貨車)であり得る。ハブは、ロボットのための倉庫、保守、修理、再充電、及び再補給ステーションとして機能し得る。1つのハブが、1又は複数のロボットを含み得る。好ましい実施形態において、1つのハブが、複数のロボット、例えば、20~200個のロボットにサービスを提供し得る。ハブの位置に配置された圧力センサで、正確な高度基準が確立され、ロボットの自己位置推定は、ロボットの圧力センサからのデータを、ハブの圧力センサからのデータと比較することにより改善され得る。
上述したように、ロボットの処理コンポーネントは、ロボット姿勢を推定する反復アルゴリズムを実行することによりロボットを自己位置推定するように更に適合され得、好ましくは、上記アルゴリズムは、粒子フィルタアルゴリズムに少なくとも部分的に基づく。しかしながら、自己位置推定はまた、異なるアルゴリズム、例えば、反復最適化アルゴリズムを使用して行われ得、ここで、未知の変数は、ロボットの姿勢を含む。
いくつかの実施形態において、反復アルゴリズムは、少なくとも1つのカメラ、少なくとも1つのGPSコンポーネント、少なくとも1つのオドメータ、少なくとも1つのジャイロスコープ、少なくとも1つの加速度計、少なくとも1つのLidarセンサ、少なくとも1つの飛行時間カメラ、少なくとも1つの超音波センサ、少なくとも1つの圧力センサ、少なくとも1つのデッドレコニングセンサ、及び/又は少なくとも1つの磁力計等の少なくとも1つのセンサからのデータを処理することにより、ロボットの姿勢に対する仮説を生成するように適合され得る。
いくつかの実施形態において、少なくとも1つのカメラからの入力データ及び/又は画像データ、及び少なくとも1つの更なるセンサからの地図関連入力データが、ロボットの姿勢の推定値を生成するために使用され得る。そのような実施形態において、推定又は最適化への各寄与は、カメラの及び/又は所与のセンサのデータと関連付けられる誤差に基づいて重み付けされ得る。即ち、反復アルゴリズムは、ロボットの姿勢のその最適化の一部としていくつかの入力を考慮し得る。反復アルゴリズムは、それらのそれぞれの誤差を有するそれらの入力を更に考慮し得る。例えば、GPSセンサ推定値は、一般的に、平面上の楕円誤差推定値を含む。
ロボットは、1又は複数のサーバと、データ、特に画像及び/又は地図データを交換するように適合された通信コンポーネントを更に備え得る。サーバは、複数のサーバ及び/又はサーバのクラスタ及び/又は1又は複数のクラウドサーバを備え得る。1つの好ましい実施形態において、サーバは、クラウドサーバである。別の実施形態において、サーバは、サーバのクラスタを含み、それらのうち一部は、クラウドサーバであり得る。サーバは、例えば、地図及び自己位置推定関連データ等のデータを格納、分析、及び/又は送出し得る。サーバはまた、計算、例えば、地理的地図の生成、自己位置推定計算、及び/又はロボットのためのルート計算に関する計算を実行し得る。通信コンポーネントは、Subscriber Identity Module(SIMカード)及び/又はモデム及び/又はネットワークデバイスのための少なくとも1つのスロット、好ましくは2枚のSIMカード及び/又は2つのモデム及び/又は2つのネットワークデバイスのための2つのスロットを含み得る。ネットワークデバイスは、eSIM及び/又は同様のチップ/システムを備え得る。信頼性を向上し、より大きい及び/又はより速いデータ伝送のためにSIMカード及び/又はモデムの両方を介した同時通信を可能にするので、2枚のSIMカード及び/又はモデムの使用は、利点である。好ましい実施形態において、2つの異なる携帯電話事業者が、2枚のSIMカード及び/又はモデムを使用した動作のために使用される。この場合、ある携帯電話事業者がロボットの運転領域の一部においてカバレッジを提供しない場合、ロボットは、他のSIMカード及び/又はモデムを介して依然として通信し得る。
ロボットは、特定の間隔で、及び/又はサーバからの入力を要求した後、サーバからナビゲーション命令を受信するように更に適合され得る。一実施形態において、ロボットは、50~150メートル毎にナビゲーション命令を受信する。ロボットは、不慣れな状況に直面した場合に、サーバへ入力要求を更に送信し得る。ロボットはまた、例えば、通りを横断する等の危険な状況に直面する場合に、そのナビゲーションについての手動の入力を要求し得る。そのような手動の動作の間、遠隔オペレータは、ロボットにナビゲーション命令を提供し、路上等の危険を介して指示し得る。ひとたびロボットが安全な環境に到達すると、オペレータは、ロボットに自律的なナビゲーションを再開するように命令し得る。オペレータは、ロボット上に取り付けられ得るマイク及びスピーカを通じて、ロボットのすぐ近くの周囲にいる人々と更に通信し得る。しかしながら、ロボットは、手動の制御の間にその自己位置推定を更新し続け得る。
別の実施形態において、本発明は、少なくとも2つのモバイルロボットを備えるモバイルロボットのアセンブリを開示する。ロボットは、上述の様であり得る。ロボットは、通信モジュールを介して互いに通信するように適合され得る。通信は、サーバを介してルーティングされ得る。ロボット間で及び/又はロボット及びサーバ間で送信されたデータは、運転領域の及び/又は複数の運転領域の地図に組み合わされ得る。各地図データに関して使用される座標は、異なっていてもよいが、それらは、各々標準座標系に変換されてもよく、及び/又は1つの統合された任意の座標系に組み合わされてもよい。複数の運転領域が、例えば、都市の異なる部分に対応し得る。運転領域が、1つのハブ及び/又は複数のハブを含み得る。ロボットは、地図データ交換を介して他のロボットにより集められた地図データから恩恵を受ける。サーバは、地図データの交換を調整し得る。サーバは、更に、地図データを格納し、それを地球地図に統合し得る。サーバは、ロボットの運転領域に基づいてロボットに地図データを送出し得る。地図データは、カメラにより撮影された視覚画像が、抽出された特徴における一貫した変化を示す場合、ロボットにより更に更新され得る。例えば、新たな建設工事が運転領域内で行われている場合、この運転領域の地図は、対応して更新され得る。
いくつかの好ましい実施形態において、方法は、自律的な及び/又は半自律的なモバイルロボットによりSLAM方法として使用され得る。SLAMは、自己位置推定と地図作成を同時に行う技術を指す。即ち、いくつかの実施形態において、方法は、ロボットが自律的に及び/又は半自律的にナビゲートする際にロボットに対して実行され得る。アルゴリズムはまた、ロボットが取った経路を与えることができるので、ロボットは、それ自体を自己位置推定し、同時にその周囲の地図データを構築し得る。その結果、ロボットが、不慣れな領域をただナビゲートし、その領域がどのように見えるかを予め知ることなくその地図データを構築し得るので、これは特に有利であり得る。
いくつかの実施形態において、現在説明されている方法及び/又はデバイス及び/又はアセンブリは、車両、自動車、及び/又は自動運転車を対象とし得る。即ち、マッピング方法は、地図データを構築するため、及び/又はナビゲートするため、及び/又はSLAMを実行するために自動運転車により使用され得る。
しかしながら、他の実施形態において、本明細書に記載のデバイス及び/又はアセンブリ、即ち、モバイルロボット及び/又はモバイルロボットのアセンブリは、自動車及び/又は自動運転車とは実質的に異なる。即ち、そのような実施形態において、モバイルロボットは、自動車より顕著に小さい。そのような実施形態において、ロボットの典型的な寸法は、以下の通りであり得る。幅:20から100cm、好ましくは40から70cm、約55cm等。高さ:20から100cm、好ましくは40から70cm、約60cm等。長さ:30から120cm、好ましくは50から80cm、約65cm等。そのような実施形態において、モバイルロボットはまた、自動車及び/又は自動運転車より十分に軽い。そのような実施形態において、ロボットの重量は、2kgから50kgの範囲、好ましくは5kgから40kg、より好ましくは7kgから25kg、10kgから20kg等であり得る。そのような実施形態において、ロボットはまた、自動車及び/又は自動運転車とは異なり、歩道上で動作するように適合され得る。それは、20km/h以下、10km/h以下等、好ましくは4km/hと6km/hとの間の速度を更に有し得る。
即ち、本発明が自動車及び/又は自動運転車に適用され得る実施形態は、それが、より小型の及び/又はより軽い、及び/又はより低速のモバイルロボットに適用され得る実施形態とは実質的に異なる。
自動運転車が、複数のセンサを使用し得、公道上を自律的にナビゲートすることは当技術分野において知られている。多くの場合、自動運転車は、自己位置推定の主要な手段又は主要な手段のうちの1つとしてLidarセンサを使用する。本発明は、数センチメートルの精度でモバイルロボットを自己位置推定する、コスト、空間、及び装置の上で効率的な方法を提示し得る。本発明は、自動運転車に適用され得る、しかしながら、自動運転車のために現在使用されている技術は、歩道上で動作するモバイル配送ロボットに対して使用するには煩雑で非実用的なことがある。
以下で、本発明の更なる番号が付けられた実施形態が議論される。
1.
(a)少なくとも地図データを含む少なくとも1つのメモリコンポーネントと、
(b)環境の視覚画像を撮影するように適合された少なくとも2つのカメラと、
(c)少なくとも2つのカメラにより撮影された視覚画像から特徴を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合された少なくとも1つの処理コンポーネントと
を備える
モバイルロボット。
(a)少なくとも地図データを含む少なくとも1つのメモリコンポーネントと、
(b)環境の視覚画像を撮影するように適合された少なくとも2つのカメラと、
(c)少なくとも2つのカメラにより撮影された視覚画像から特徴を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合された少なくとも1つの処理コンポーネントと
を備える
モバイルロボット。
2.メモリコンポーネントは、少なくとも1つのランダムアクセスメモリ(RAM)デバイスを備える、上述の実施形態に係るロボット。
3.メモリコンポーネント内に含まれる地図データは、ロボットの現在の及び/又は予定の運転領域に関する、上述の実施形態の何れかに係るロボット。
4.地図データが、座標系に関して定義された複数のベクトル、点特徴、及び/又はグリッド特徴を含む、上述の実施形態の何れかに係るロボット。
5.地図データは、GPS座標に変換され得る、上述の実施形態の何れかに係るロボット。
6.各カメラが、毎秒3枚~5枚の画像、好ましくは毎秒4枚の画像を撮像するように適合される、上述の実施形態の何れかに係るロボット。
7.カメラ撮像アングルは、10°~120°である、上述の実施形態の何れかに係るロボット。
8.少なくとも4つのカメラ、好ましくは9つのカメラを備える上述の実施形態の何れかに係るロボット。
9.少なくとも一対のカメラが、ステレオカメラである、上述の実施形態に係るロボット。
10.ステレオカメラ間の距離は、5cm~20cmである、上述の実施形態に係るロボット。
11.少なくとも1つのカメラが、横方向の視覚画像を撮影するように適合され、少なくとも1つのカメラが、縦方向の視覚画像を撮影するように適合される、上述の実施形態の何れかに係るロボット。
12.カメラ及び/又は処理コンポーネントは、歩道、動いていない障害物及び/又は動いている障害物、及び駐車場、芝生及び/又は畑等の他の横切ることのできる環境のうち少なくとも1つ又は任意の組み合わせを含む環境において視覚画像を撮影し、処理するように適合される、上述の実施形態の何れかに係るロボット。
13.処理コンポーネントは、少なくとも1つのシステムオンチップ(SoC)を含む、上述の実施形態の何れかに係るロボット。
14.処理コンポーネントは、最大で10cm、好ましくは最大で5cm、より好ましくは最大で3cmの誤差でロボットを自己位置推定するように適合される、上述の実施形態の何れかに係るロボット。
15.処理コンポーネントは、視覚画像から直線を抽出するように適合される、上述の実施形態の何れかに係るロボット。
16.処理コンポーネントは、ロボットの運転領域の地図データを構築するように適合される、上述の実施形態の何れかに係るロボット。
17.処理コンポーネントからの自己位置推定データを使用してナビゲートするように適合される上述の実施形態の何れかに係るロボット。
18.処理コンポーネントは、複数のカメラからの視覚画像を組み合わせ、地図データを構築する及び/又はロボットを自己位置推定する、上述の実施形態の何れかに係るロボット。
19.ロボットの自己位置推定のための更なるパラメータを測定するように適合されたセンサを更に備える上述の実施形態の何れかに係るロボット。
20.センサは、少なくとも1つのGPSコンポーネント、少なくとも1つの加速度計、少なくとも1つのジャイロスコープ、少なくとも1つのオドメータ、少なくとも1つの磁力計、及び/又は少なくとも1つのLidarセンサのうちの少なくとも1つ又は任意の組み合わせを含む、上述の実施形態に係るロボット。
21.処理コンポーネントは、最初におおよその位置を取得するためにセンサからのデータを処理し、次に視覚画像から抽出された特徴の処理に基づいて自己位置推定を精緻化することによりロボットの自己位置推定を決定するように適合される、上述の2つの実施形態に係るロボット。
22.正確な高度ベースの自己位置推定のための圧力センサを更に備える上述の実施形態の何れかに係るロボット。
23.1又は複数のサーバと、データ、特に画像及び/又は地図データを交換するように適合された通信コンポーネントを更に備える上述の実施形態の何れかに係るロボット。
24.通信コンポーネントは、向上した信頼性及び/又は同時に両方のSIMカードを使用した同時通信のために、少なくとも1枚の加入者識別モジュール(SIMカード)のための少なくとも1つのスロット、好ましくは2枚のSIMカードのための2つのスロットを含む、上述の実施形態に係るロボット。
25.ロボットは、特定の間隔で、及び/又は入力を要求した後、サーバからナビゲーション命令を受信するように更に適合される、上述の2つの実施形態に係るロボット。
26.ロボットは、自律的及び/又は半自律的である、上述の実施形態の何れかに係るロボット。
27.ロボットは、陸上型である、上述の実施形態の何れかに係るロボット。
28.ロボットは、10km/h以下、又は8km/h以下、又は6km/h以下、好ましくは3km/hと6km/hとの間、又はより好ましくは、4km/hと5km/hとの間の速度で移動するように適合される、上述の実施形態の何れかに係るロボット。
29.ロボットは、配送目的のために使用される、上述の実施形態の何れかに係るロボット。
30.ロボット及びその配送は、40kg以下、例えば、35kg以下、例えば、30kg以下、例えば、25kg以下、好ましくは、15kgと25kgの間、より好ましくは、20kgと25kgとの間の重さを有する、上述の実施形態の何れかに係るロボット。
31.ロボットは、陸上型の移動に適合された少なくとも4つの車輪を備える車輪機構を更に備える、上述の実施形態の何れかに係るロボット。
32.少なくとも1つの配送を保持するための空間を更に備える上述の実施形態の何れか1つに係るロボット。
33.少なくとも1つの配送を保持するための密閉空間を更に備える上述の実施形態の何れか1つに係るロボット。
34.空間へのアクセスを提供するための安全なアクセスデバイスを更に備える上述の実施形態に係るロボット。
35.安全なアクセスデバイスは、安全なインタフェースにより制御される閉鎖機構を備える、上述の実施形態に係るロボット。
36.処理コンポーネントは、設定された時間間隔でロボット姿勢を推定する反復アルゴリズムを実行することによりロボットを自己位置推定するように適合される、上述の実施形態の何れかに係るロボット。
37.反復アルゴリズムは、ロボット姿勢を推定するために粒子フィルタ方法を適用する、上述の実施形態に係るロボット。
38.粒子フィルタは、少なくとも1つのカメラ、GPSコンポーネント、オドメータ、少なくとも1つのジャイロスコープ、加速度計、及び/又は磁力計等の少なくとも1つのセンサからのデータを処理することにより、ロボットの姿勢に対する仮説を生成するように適合される、上述の2つの実施形態に係るロボット。
39.少なくとも2つのセンサのデータからの入力データが、ロボットの姿勢の推定を生成するために使用され、各寄与は、所与のセンサのデータと関連付けられる誤差に基づいて重み付けされる、上述の実施形態に係るロボット。
40.
(a)少なくとも地図データを含む少なくとも1つのメモリコンポーネントと、
(b)環境の視覚画像を撮影するように適合された少なくとも2つのカメラと、
(c)少なくとも2つのカメラにより撮影された視覚画像から直線を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合された少なくとも1つの処理コンポーネントと
を備える
モバイルロボット。
(a)少なくとも地図データを含む少なくとも1つのメモリコンポーネントと、
(b)環境の視覚画像を撮影するように適合された少なくとも2つのカメラと、
(c)少なくとも2つのカメラにより撮影された視覚画像から直線を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合された少なくとも1つの処理コンポーネントと
を備える
モバイルロボット。
41.メモリコンポーネントは、少なくとも1つのランダムアクセスメモリ(RAM)デバイスを備える、上述の実施形態に係るロボット。
42.メモリコンポーネント内に含まれる地図データは、ロボットの現在の及び/又は予定の運転領域に関する、上述の実施形態40から41の何れかに係るロボット。
43.地図データが、座標系に関して定義された複数のベクトル、点特徴、及び/又はグリッド特徴を含む、上述の実施形態40から42の何れかに係るロボット。
44.地図データは、GPS座標に変換され得る、上述の実施形態40から43の何れかに係るロボット。
45.各カメラが、毎秒3枚~5枚の画像、好ましくは毎秒4枚の画像を撮像するように適合される、上述の実施形態40から44の何れかに係るロボット。
46.カメラ撮像アングルは、10°~120°である、上述の実施形態40から45の何れかに係るロボット。
47.少なくとも4つのカメラ、好ましくは9つのカメラを備える上述の実施形態40から46の何れかに係るロボット。
48.少なくとも一対のカメラが、ステレオカメラである、上述の実施形態に係るロボット。
49.ステレオカメラ間の距離は、5cm~20cmである、上述の実施形態に係るロボット。
50.少なくとも1つのカメラが、横方向の視覚画像を撮影するように適合され、少なくとも1つのカメラが、縦方向の視覚画像を撮影するように適合される、上述の実施形態40から49の何れかに係るロボット。
51.カメラ及び/又は処理コンポーネントは、歩道、動いていない障害物及び動いている障害物、及び駐車場、芝生及び/又は畑等の他の横切ることのできる環境のうち少なくとも1つ又は任意の組み合わせを含む環境において視覚画像を撮影し、処理するように適合される、上述の実施形態40から50の何れかに係るロボット。
52.処理コンポーネントは、少なくとも1つのシステムオンチップ(SoC)を含む、上述の実施形態40から51の何れかに係るロボット。
53.処理コンポーネントは、最大で10cm、好ましくは最大で5cm、より好ましくは最大で3cmの誤差でロボットを自己位置推定するように適合される、上述の実施形態40から52の何れかに係るロボット。
54.処理コンポーネントは、ロボットの運転領域の地図データを構築するように適合される、上述の実施形態40から53の何れかに係るロボット。
55.処理コンポーネントからの自己位置推定データを使用してナビゲートするように適合される上述の実施形態40から54の何れかに係るロボット。
56.処理コンポーネントは、複数のカメラからの視覚画像を組み合わせ、地図データを構築する及び/又はロボットを自己位置推定する、上述の実施形態40から55の何れかに係るロボット。
57.ロボットの自己位置推定のための更なるパラメータを測定するように適合されたセンサを更に備える上述の実施形態40から56の何れかに係るロボット。
58.センサは、少なくとも1つのGPSコンポーネント、少なくとも1つの加速度計、少なくとも1つのジャイロスコープ、少なくとも1つのオドメータ、少なくとも1つの磁力計、及び/又は少なくとも1つのLidarセンサのうちの少なくとも1つ又は任意の組み合わせを含む、上述の実施形態に係るロボット。
59.処理コンポーネントは、最初におおよその位置を取得するためにセンサからのデータを処理し、次に視覚画像から抽出された特徴の処理に基づいて自己位置推定を精緻化することによりロボットの自己位置推定を決定するように適合される、上述の2つの実施形態に係るロボット。
60.正確な高度ベースの自己位置推定のための圧力センサを更に備える上述の実施形態40から59の何れかに係るロボット。
61.1又は複数のサーバと、データ、特に画像及び/又は地図データを交換するように適合された通信コンポーネントを更に備える上述の実施形態40から60の何れかに係るロボット。
62.通信コンポーネントは、向上した信頼性及び/又は同時に両方のSIMカードを使用した同時通信のために、少なくとも1枚の加入者識別モジュール(SIMカード)のための少なくとも1つのスロット、好ましくは2枚のSIMカードのための2つのスロットを含む、上述の実施形態に係るロボット。
63.ロボットは、特定の間隔で、及び/又は入力を要求した後、サーバからナビゲーション命令を受信するように更に適合される、上述の2つの実施形態に係るロボット。
64.ロボットは、自律的及び/又は半自律的である、上述の実施形態40から63の何れかに係るロボット。
65.ロボットは、陸上型である、上述の実施形態40から64の何れかに係るロボット。
66.ロボットは、10km/h以下、又は8km/h以下、又は6km/h以下、好ましくは3km/hと6km/hとの間、又はより好ましくは、4km/hと5km/hとの間の速度で移動するように適合される、上述の実施形態40から65の何れかに係るロボット。
67.ロボットは、配送目的のために使用される、上述の実施形態40から66の何れかに係るロボット。
68.ロボット及びその配送は、40kg以下、例えば、35kg以下、例えば、30kg以下、例えば、25kg以下、好ましくは、15kgと25kgの間、より好ましくは、20kgと25kgとの間の重さを有する、上述の実施形態40から67の何れかに係るロボット。
69.ロボットは、陸上型の移動に適合された少なくとも4つの車輪を備える車輪機構を更に備える、上述の実施形態40から68の何れかに係るロボット。
70.少なくとも1つの配送を保持するための空間を更に備える上述の実施形態40から69の何れか1つに係るロボット。
71.少なくとも1つの配送を保持するための密閉空間を更に備える上述の実施形態40から70の何れか1つに係るロボット。
72.空間へのアクセスを提供するための安全なアクセスデバイスを更に備える上述の実施形態に係るロボット。
73.安全なアクセスデバイスは、安全なインタフェースにより制御される閉鎖機構を備える、上述の実施形態に係るロボット。
74.処理コンポーネントは、設定された時間間隔でロボット姿勢を推定する反復アルゴリズムを実行することによりロボットを自己位置推定するように適合される、上述の実施形態40から73の何れかに係るロボット。
75.反復アルゴリズムは、ロボット姿勢を推定するために粒子フィルタ方法を適用する、上述の実施形態に係るロボット。
76.粒子フィルタは、少なくとも1つのカメラ、GPSコンポーネント、オドメータ、少なくとも1つのジャイロスコープ、加速度計、及び/又は磁力計等の少なくとも1つのセンサからのデータを処理することにより、ロボットの姿勢に対する仮説を生成するように適合される、上述の2つの実施形態に係るロボット。
77.少なくとも2つのセンサのデータからの入力データが、ロボットの姿勢の推定を生成するために使用され、各寄与は、所与のセンサのデータと関連付けられる誤差に基づいて重み付けされる、上述の実施形態に係るロボット。
78.少なくとも2つのモバイルロボットを備えるモバイルロボットのアセンブリであって、ロボットの各々は、
(a)少なくとも地図データを含む少なくとも1つのメモリコンポーネントと、
(b)環境の視覚画像を撮影するように適合された少なくとも2つのカメラと、
(c)少なくとも1つのカメラにより撮影された視覚画像から特徴を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合され少なくとも1つの処理コンポーネントと、
(d)ロボット間でデータ、特に画像及び/又は地図データを送信及び受信するように適合された少なくとも1つの通信コンポーネントと
を備える、
アセンブリ。
(a)少なくとも地図データを含む少なくとも1つのメモリコンポーネントと、
(b)環境の視覚画像を撮影するように適合された少なくとも2つのカメラと、
(c)少なくとも1つのカメラにより撮影された視覚画像から特徴を少なくとも抽出し、それらを地図データと比較し、ロボットを少なくとも自己位置推定するように適合され少なくとも1つの処理コンポーネントと、
(d)ロボット間でデータ、特に画像及び/又は地図データを送信及び受信するように適合された少なくとも1つの通信コンポーネントと
を備える、
アセンブリ。
79.メモリコンポーネントは、少なくとも1つのランダムアクセスメモリ(RAM)デバイスを備える、上述の実施形態に係るアセンブリ。
80.メモリコンポーネント内に含まれる地図データは、ロボットの現在の及び/又は予定の運転領域に関する、上述の2つの実施形態の何れかに係るアセンブリ。
81.地図データが、座標系に関して定義された複数のベクトル、点特徴、及び/又はグリッド特徴を含む、上述の実施形態78から80の何れかに係るアセンブリ。
82.地図データは、GPS座標に変換され得る、上述の実施形態78から81の何れかに係るアセンブリ。
83.各カメラが、毎秒3枚~5枚の画像、好ましくは毎秒4枚の画像を撮像するように適合される、上述の実施形態78から82の何れかに係るアセンブリ。
84.カメラ撮像アングルは、10°~120°である、上述の実施形態78から83の何れかに係るアセンブリ。
85.ロボットは、少なくとも4つのカメラ、好ましくは9つのカメラを備える上述の実施形態78から84の何れかに係るアセンブリ。
86.少なくとも一対のカメラが、ステレオカメラである、上述の実施形態に係るアセンブリ。
87.ステレオカメラ間の距離は、5cm~20cmである、上述の実施形態に係るアセンブリ。
88.少なくとも1つのカメラが、横方向の視覚画像を撮影するように適合され、少なくとも1つのカメラが、縦方向の視覚画像を撮影するように適合される、上述の実施形態78から87の何れかに係るアセンブリ。
89.カメラ及び/又は処理コンポーネントは、歩道、動いていない障害物及び/又は動いている障害物、及び駐車場、芝生及び/又は畑等の他の横切ることのできる環境のうち少なくとも1つ又は任意の組み合わせを含む環境において視覚画像を撮影し、処理するように適合される、上述の実施形態78から88の何れかに係るアセンブリ。
90.処理コンポーネントは、少なくとも1つのシステムオンチップ(SoC)を含む、上述の実施形態78から89の何れかに係るアセンブリ。
91.処理コンポーネントは、最大で10cm、好ましくは最大で5cm、より好ましくは最大で3cmの誤差でロボットを自己位置推定するように適合される、上述の実施形態78から90の何れかに係るアセンブリ。
92.処理コンポーネントは、視覚画像から直線を抽出するように適合される、上述の実施形態78から91の何れかに係るアセンブリ。
93.処理コンポーネントは、ロボットの運転領域の地図データを構築するように適合される、上述の実施形態78から92の何れかに係るアセンブリ。
94.ロボットは、処理コンポーネントからの自己位置推定データを使用してナビゲートするように適合される上述の実施形態78から93の何れかに係るアセンブリ。
95.処理コンポーネントは、複数のカメラからの視覚画像を組み合わせ、地図データを構築する及び/又はロボットを自己位置推定する、上述の実施形態78から94の何れかに係るアセンブリ。
96.ロボットは、ロボットの自己位置推定のための更なるパラメータを測定するように適合されたセンサを更に備える、上述の実施形態78から95の何れかに係るアセンブリ。
97.センサは、少なくとも1つのGPSコンポーネント、少なくとも1つの加速度計、少なくとも1つのジャイロスコープ、少なくとも1つのオドメータ、少なくとも1つの磁力計、及び/又は少なくとも1つのLidarセンサのうちの少なくとも1つ又は任意の組み合わせを含む、上述の実施形態に係るアセンブリ。
98.処理コンポーネントは、最初におおよその位置を取得するためにセンサからのデータを処理し、次に視覚画像から抽出された特徴の処理に基づいて自己位置推定を精緻化することによりロボットの自己位置推定を決定するように適合される、上述の2つの実施形態に係るアセンブリ。
99.ロボットは、正確な高度ベースの自己位置推定のための圧力センサを更に備える、上述の実施形態78から98の何れかに係るアセンブリ。
100.ロボット間で送信されたデータは、複数の運転領域の地図に組み合わされ得る、上述の実施形態78から99の何れかに係るアセンブリ。
101.ロボットは、地図データを交換するように適合される、上述の実施形態78から100の何れかに係るアセンブリ。
102.それらの通信コンポーネントを介してロボットと少なくとも通信するように適合された少なくとも1つサーバを更に備える、上述の実施形態78から101の何れかに係るアセンブリ。
103.ロボットは、サーバを介して互いに通信するように適合される、上述の実施形態に係るアセンブリ。
104.通信コンポーネントは、サーバと、データ、特に画像及び/又は地図データを交換するように適合される、上述の2つの実施形態の何れかに係るアセンブリ。
105.サーバは、地図データを格納し得る、上述の3つの実施形態に係るアセンブリ。
106.サーバは、ロボットから地図データを受信し、それを処理し、要求される場合ににロボットに処理されたデータを送り返すように適合され、ロボットが、他のロボットにより収集された地図データから恩恵を受けることを可能にする、上述の4つの実施形態に係るアセンブリ。
107.各ロボットが、特定の間隔で、及び/又は入力を要求した後、サーバからナビゲーション命令を受信する、上述の5つの実施形態に係るアセンブリ。
108.通信コンポーネントは、向上した信頼性及び/又は同時に両方のSIMカードを使用した同時通信のため、少なくとも1枚の加入者識別モジュール(SIMカード)のための少なくとも1つのスロット、好ましくは2枚のSIMカードのための2つのスロットを含む、上述の実施形態に係るアセンブリ。
109.ロボットは、特定の間隔で、及び/又は入力を要求した後、サーバからナビゲーション命令を受信するように更に適合される、上述の2つの実施形態に係るアセンブリ。
110.ロボットは、自律的及び/又は半自律的である、上述の実施形態78から109の何れかに係るアセンブリ。
111.ロボットは、陸上型である、上述の実施形態78から110の何れかに係るアセンブリ。
112.ロボットは、10km/h以下、又は8km/h以下、又は6km/h以下、好ましくは3km/hと6km/hとの間、又はより好ましくは、4km/hと5km/hとの間の速度で移動するように適合される、上述の実施形態78から111の何れかに係るアセンブリ。
113.ロボットは、配送目的のために使用される、上述の実施形態78から112の何れかに係るアセンブリ。
114.ロボット及びその配送は、40kg以下、例えば、35kg以下、例えば、30kg以下、例えば、25kg以下、好ましくは、15kgと25kgの間、より好ましくは、20kgと25kgとの間の重さを有する、上述の実施形態78から113の何れかに係るアセンブリ。
115.ロボットは、陸上型の移動に適合された少なくとも4つの車輪を備える車輪機構を更に備える、上述の実施形態78から114の何れかに係るアセンブリ。
116.少なくとも1つの配送を保持するための空間を更に備える上述の実施形態78から115の何れか1つに係るアセンブリ。
117.少なくとも1つの配送を保持するための密閉空間を更に備える上述の実施形態78から116の何れか1つに係るアセンブリ。
118.空間へのアクセスを提供するための安全なアクセスデバイスを更に備える上述の実施形態に係るアセンブリ。
119.安全なアクセスデバイスは、安全なインタフェースにより制御される閉鎖機構を備える、上述の実施形態に係るアセンブリ。
120.各ロボットの処理コンポーネントが、設定された時間間隔でロボット姿勢を推定する反復アルゴリズムを実行することによりロボットを自己位置推定するように適合される、上述の実施形態78から119の何れかに係るアセンブリ。
121.反復アルゴリズムは、ロボット姿勢を推定するために粒子フィルタ方法を適用する、上述の実施形態に係るアセンブリ。
122.粒子フィルタは、少なくとも1つのカメラ、GPSコンポーネント、オドメータ、少なくとも1つのジャイロスコープ、加速度計、及び/又は磁力計等の少なくとも1つのセンサからのデータを処理することにより、ロボットの姿勢に対する仮説を生成するように適合される、上述の2つの実施形態に係るアセンブリ。
123.少なくとも2つのセンサのデータからの入力データが、ロボットの姿勢の推定を生成するために使用され、各寄与は、所与のセンサのデータと関連付けられる誤差に基づいて重み付けされる、上述の実施形態に係るアセンブリ。
124.
(a)少なくとも2つのカメラ及び少なくとも1つの処理コンポーネントを備える少なくとも1つのモバイルロボットを動作することと、
(b)少なくとも1つのロボットの少なくとも2つのカメラで視覚画像を撮影することと、
(c)少なくとも2つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
(d)少なくとも1つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
(e)視覚画像から抽出された特徴を使用して地図データを構築することと
を備える
マッピング方法。
(a)少なくとも2つのカメラ及び少なくとも1つの処理コンポーネントを備える少なくとも1つのモバイルロボットを動作することと、
(b)少なくとも1つのロボットの少なくとも2つのカメラで視覚画像を撮影することと、
(c)少なくとも2つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
(d)少なくとも1つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
(e)視覚画像から抽出された特徴を使用して地図データを構築することと
を備える
マッピング方法。
125.ロボット及び/又はカメラ及び/又は処理コンポーネントは、上述の実施形態の何れかにおいて説明された様である、上述の実施形態に係る方法。
126.マッピングに関して使用される特徴は、直線である、上述の2つの実施形態に係る方法。
127.特徴を抽出することは、組み合わされた視覚画像を個別の画像に分離することにより生成された個別の画像に対して行われる、上述の3つの実施形態に係る方法。
128.地図データは、座標系に関して定義された複数のベクトル、点特徴、及び/又はグリッド特徴を含む、上述の4つの実施形態に係る方法。
129.地図データは、ロボットを自己位置推定するために更に使用され得る、上述の5つの実施形態に係る方法。
130.モバイルロボットは、実施形態1から111の何れか1つにおいて説明されたようなロボット又はアセンブリである、上述の6つの実施形態に係る方法。
131.
(a)少なくとも2つのカメラ、少なくとも1つのメモリコンポーネント、及び少なくとも1つの処理コンポーネントを備える少なくとも1つのモバイルロボットを動作することと、
(b)少なくとも1つのロボットの少なくとも2つのカメラコンポーネントで視覚画像を撮影することと、
(c)少なくとも2つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
(d)少なくとも1つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
(e)抽出された特徴を少なくとも1つのロボットの少なくとも1つのメモリコンポーネント上に格納された既存の地図データと比較することと、
(f)(e)における比較を使用して少なくとも1つのロボットを自己位置推定することと
を備える
自己位置推定方法。
(a)少なくとも2つのカメラ、少なくとも1つのメモリコンポーネント、及び少なくとも1つの処理コンポーネントを備える少なくとも1つのモバイルロボットを動作することと、
(b)少なくとも1つのロボットの少なくとも2つのカメラコンポーネントで視覚画像を撮影することと、
(c)少なくとも2つのカメラからの視覚画像を組み合わせることにより生成されたファイルに対して前処理を実行することと、
(d)少なくとも1つの処理コンポーネントで個別の視覚画像から特徴を抽出することと、
(e)抽出された特徴を少なくとも1つのロボットの少なくとも1つのメモリコンポーネント上に格納された既存の地図データと比較することと、
(f)(e)における比較を使用して少なくとも1つのロボットを自己位置推定することと
を備える
自己位置推定方法。
132.ロボット及び/又はカメラ及び/又はメモリコンポーネント及び/又は処理コンポーネントは、上述の実施形態の何れかにおいて説明された様である、上述の実施形態に係る方法。
133.自己位置推定に関して使用される特徴は、直線である、上述の2つの実施形態の何れかに係る方法。
134.特徴を抽出することは、組み合わされた視覚画像を個別の画像に分離することにより生成された個別の画像に対して行われる、上述の3つの実施形態の何れかに係る方法。
135.地図データは、座標系に関して定義された複数のベクトル、点特徴、及び/又はグリッド特徴を含む、上述の4つの実施形態に係る方法。
136.(e)における比較は、粒子フィルタを使用して行われる、上述の5つの実施形態の何れかに係る方法。
137.モバイルロボットは、実施形態1から111の何れか1つにおいて説明されたようなロボット又は組み合わせである、上述の6つの実施形態の何れかに係る方法。
138.
(a)少なくとも1つのデッドレコニングコンポーネント、少なくとも2つのカメラ、少なくとも1つのメモリコンポーネント、及び少なくとも1つの処理コンポーネントを備える少なくとも1つのモバイルロボットを提供することと、
(b)少なくとも1つのロボットの少なくとも2つのカメラコンポーネントで視覚画像を撮影することと、
(c)少なくとも1つの処理コンポーネントで視覚画像から特徴を抽出することと、
(d)(c)における抽出された特徴から位置関連データを取得することと、
(e)少なくとも1つのデッドレコニングコンポーネントから位置関連データを受信することと、
(f)(d)における視覚画像から抽出された特徴から取得された位置関連データ、及び(e)における少なくとも1つのデッドレコニングコンポーネントから受信された位置関連データを組み合わせることと、
(g)(f)における組み合わされたデータに基づいてロボットの姿勢に対する仮説を形成することと
を備える
自己位置推定方法。
(a)少なくとも1つのデッドレコニングコンポーネント、少なくとも2つのカメラ、少なくとも1つのメモリコンポーネント、及び少なくとも1つの処理コンポーネントを備える少なくとも1つのモバイルロボットを提供することと、
(b)少なくとも1つのロボットの少なくとも2つのカメラコンポーネントで視覚画像を撮影することと、
(c)少なくとも1つの処理コンポーネントで視覚画像から特徴を抽出することと、
(d)(c)における抽出された特徴から位置関連データを取得することと、
(e)少なくとも1つのデッドレコニングコンポーネントから位置関連データを受信することと、
(f)(d)における視覚画像から抽出された特徴から取得された位置関連データ、及び(e)における少なくとも1つのデッドレコニングコンポーネントから受信された位置関連データを組み合わせることと、
(g)(f)における組み合わされたデータに基づいてロボットの姿勢に対する仮説を形成することと
を備える
自己位置推定方法。
139.ロボット、及び/又はカメラ、及び/又はメモリコンポーネント、及び/又は処理コンポーネントは、上述の実施形態の何れかにおいて説明された様である、実施形態138に係る方法。
140.デッドレコニングコンポーネントは、少なくとも1つのオドメータ及び/又は少なくとも1つのジャイロスコープ及び/又は少なくとも1つの加速度計のうちの少なくとも1つを備え得る、上述の実施形態138又は139の何れかに係る方法。
141.(f)における組み合わされた、視覚画像特徴からの及びデッドレコニングコンポーネントからの位置関連データは、その測定値と関連付けられた誤差に基づいて重み付けされる、上述の実施形態138から140の何れかに係る方法。
142.段階(f)は、GPSコンポーネント等の他のセンサ、及び/又は磁力計から取得された重み付けされた位置関連データを組み合わせることを更に含み得る、実施形態138から141の何れかに係る方法。
143.段階(f)及び(g)は、粒子フィルタ方法を使用して実施され得る、実施形態138から142の何れかに係る方法。
144.段階(e)は、視覚画像から抽出された特徴を少なくとも1つのロボットの少なくとも1つのメモリコンポーネント上に格納された既存の地図データと比較することを更に含む、実施形態138から143の何れかに係る方法。
本発明の追加の詳細に伴う上記の特徴は、以下の例において更に説明され、それらは、本発明を更に説明することを意図されているが、決してその範囲を限定することを意図されない。
以下において、図を参照して本発明の例示的な実施形態を説明する。これらの例は、本発明の範囲を限定することなく、本発明の更なる理解を提供するために提供される。
以下の説明において、一連の特徴及び/又は段階が説明される。当業者であれば、文脈によって必要とされない限り、特徴及び段階の順序は、得られた構成及びその効果にとって重要ではないことを理解するであろう。更に、特徴及び段階の順序に関わらず、説明されている段階のいくつか又は全ての間に、段階間の時間遅延の有無が存在し得ることが、当業者には明らかであろう。
図1は、本発明によるロボットの実施形態を示す。ロボットは、陸上型の移動に適合された車輪1を備える。フレーム2が、車輪1に取り付けられ得る。本体3が、フレーム2に取り付けられ得る。本体3が、配送を輸送するように適合された密閉空間(図示せず)を備え得る。ライト4が、本体3及び/又はフレーム2の周りに配置され得る。ライト4は、例えば、LEDライトであり得、ロボットがその中でそれ自体を見つける環境を照らし得る。これは、暗闇でロボットの存在を示すために、及び/又はより良い照明を通して視覚的な自己位置推定を支援するために有用であり得る。複数のカメラが、本体3の周りに配置され得る。この実施形態において、9(九)つのカメラが存在する。
第1のカメラ10が、本体3上にロボットの前面の近くに位置決めされ得る。第1のカメラは、ロボットから離れておおよそ水平な視界を提供し得る。第2のカメラ20及び第3のカメラ30が、ロボットの前面近くに同様に第1のカメラ10の両側に位置決めされる。
第2のカメラ20及び第3のカメラ30は、第1のカメラ10の方向に対して下方に10°~50°、好ましくは下方に20°~40°の角度であり得、即ち、それらは、水平な視界に対して下方に角度をつけられ得る。第2のカメラ20及び第3のカメラ30は、ステレオカメラであり得る。それらは、5cm~10cmの距離で分離され得る。ステレオカメラは、ステレオカメラからの視覚画像に存在する特徴を比較することにより目的物の三角測量を容易にする。
第4のカメラ40及び第5のカメラ50が、移動の前進方向に対してロボットの本体3の左側に配置される。第4のカメラ40及び第5のカメラ50はまた、ステレオカメラであり得る。それらは、15cm~20cmの距離で分離され得る。
移動の方向に対してロボットの本体の右側に、第6のカメラ60(図示せず)及び第7のカメラ70(図示せず)が、カメラ40及び50の位置に相補的である位置に配置される。第6のカメラ60及び第7のカメラ70はまた、好ましくは15cm~20cmの距離で分離されるステレオカメラであり得る。
ロボットの背面に、第8のカメラ80(図示せず)及び第9のカメラ90が配置され得る。第8のカメラ80及び第9のカメラ90はまた、好ましくは5cm~10cmの距離で分離されるステレオカメラであり得る。1又は複数のカメラが、縦向きに配置され得る。これは、垂直視野角が、水平視野角より大きくなり得ることを意味する。示されている実施形態において、サイドカメラ40、50、60及び70は、縦向きに配置され得る。他のカメラ10、20、30、80及び90は、横向きに配置され得る。これは、水平視野角が、垂直視野角より大きくなり得ることを意味する。
図2は、本発明によるロボットの実施形態を示す。図2は、図1に示されるカメラ設定の視野角を示す。カメラの視野角の全てが示される。視野角は、60°~100°付近の40°~80°(40-80° by 60-100°)、好ましくは80°付近の約60°(about 60° by 80°)の範囲であり得る。視野角11は、第1のカメラ10に対応する。視野角21及び31は、それぞれカメラ20及び30に対応する。それらの2つのカメラは、ステレオ方式で配置され得、それが図2が、交差する視野角を示す理由である。同様の配置が、カメラ80及び90で達成され得る。これらはまた、ロボットの本体3上でロボットの背面に向かって配置されるステレオカメラであり得る。従って、それぞれカメラ80及び90に対応する視野角81及び91がまた、交差するように示される。2対のサイドカメラ40及び50、60及び70のは、縦向きにステレオ位置に配置され得る。それらの視野角41及び51、61及び71は、それぞれ、同様に交差する。
図3は、ロボットの動作中に抽出され得る直線100の実施形態を示す。直線100は、永続オブジェクト(家屋、フェンス、歩道等)及び/又は一時的なオブジェクト(自動車、影等)に属し得る。本発明は、画像の複数のテストケースを使用して較正されるように適合される。線を検出すること、及び永続オブジェクトに属する線を識別することにおけるその精度を改善する。
図3b、図3c及び図3dは、抽出された線が重ねられた例示的なカメラ画像を示す。これらの図は、2つのタイプの線、点線110及び実線120を図示する。点線110は、ランドマークに属し得、地図内に格納される3D線である。それらの線は、例えば、カメラ画像から2D線として以前のロボット走行中に取得され得、例えば、反復アルゴリズムにより、3Dランドマークに変換される。実線120は、現在のロボット走行中にカメラ画像から抽出される2D線である。これらの図は、それ自体を自己位置推定しているロボットの模式図のスナップショットを示す。基礎となる最適化アルゴリズムは、3Dランドマーク110に属する正確な2D線120を識別するべく反復して実行される。このように、ロボットの姿勢は、カメラ画像から抽出された線を地図データ内に格納された線と比較することから取得され得る。
図3eは、それ自体に対する自己位置推定を実行するモバイルロボット1000の模式上面図を図示する。ロボット1000は、黒い矩形として中央に示される。ロボットの1000つのカメラのカメラアングルがまた模式的に示される。前部のカメラアングル11を、ロボット1000の左下に見ることができる。後部カメラアングルのうちの1つ、81を、ロボット1000の右上に見ることができる。この実施形態において、1つの後部カメラアングル81のみが示される。模式的なGPSセンサ出力が、円200として示される。円200は、ロボットのおおよその位置を表し、例えば、自己位置推定手順のための始点として機能し得る。そのような実施形態において、自己位置推定アルゴリズムは、例えば、GPS読み取りから開始し、次に、カメラ画像ベースの自己位置推定を使用してそれを精緻化し得る。既に述べたように、点線110は、ロボットの地図上の様々なランドマークを識別する3D線を示す。ここでは、それらは、ロボット1000に対してグラウンドプレーン上の投影として図示される。
図4は、本発明によるマッピング方法の実施形態を示す。第1段階S1は、ロボットに配置されるカメラで視覚画像を撮影する段階を備える。視覚画像は、同時に撮影され得る。好ましい実施形態において、ロボットは、同時の画像を撮影する9(九)つのカメラを備える。第2段階S2は、前処理のために視覚画像を1つのファイルに組み合わせる段階を備える。この段階は、処理を高速化するためになされ得る。前処理の後、組み合わされたファイルは、再び個別の画像に分離され得る。第3段階S3は、個別の画像から線を抽出する段階を備える。この段階は、最初に例えばCannyアルゴリズム等のエッジ検出アルゴリズムを使用して、次に、エッジ検出アルゴリズムの結果に対してライン抽出アルゴリズムを使用してなされ得る。ライン抽出アルゴリズムは、例えば、ハフ変換であり得る。第4段階S4は、抽出された線を組み合わせ、視覚画像が撮像された領域の地図データを構築する段階を備える。
ロボット上のカメラの、及び互いに対する正確な位置が知られ得、このことは、抽出された線を1つの座標系でコヒーレントな方式で組み合わせることを可能にする。一貫性があり、GPS座標等の標準系に変換され得る限り、この座標系は、任意であり得る。段階S1、S2、S3、及びS4を含む方法は、新たな視覚画像のセットがカメラにより撮影される度に繰り返され得る。好ましい実施形態において、これは、毎秒1回から10回繰り返される。ロボットは、従って、その運転領域の一貫した地図データを構築し得る。複数のロボットが1つの運転領域内で動作している場合、それらは、変化が検出される場合に地図データを交換及びそれを更新し得る。ロボットは、従って、他のロボットにより撮影された地図データから恩恵を受けることができる。異なる運転領域の地図データは、ロボットの運転領域の全てを含む地球地図データに組み合わされ得る。
図5は、本発明による自己位置推定方法の実施形態を示す。段階S1、S2、及びS3は、図4のマッピング方法においてと同じであり得る。自己位置推定方法は、ロボットがそのメモリコンポーネント内に格納された地図データを含む場合に使用され得る。第5段階S5は、視覚画像から抽出された直線をロボットのメモリコンポーネント内に格納された地図データと比較する段階を備える。メモリコンポーネント内に格納された地図データは、ロボットの異なる姿勢の可能性に対応する。ロボットは、次に、粒子フィルタアルゴリズムを使用し得、各姿勢が真の姿勢である尤度を評価する。第6段階S6では、最も可能性が高い姿勢は、知られた姿勢可能性の確率解析に基づいて選ばれる。この最も可能性が高い姿勢は、画像が撮影された時点でロボットの自己位置推定を提供する。自己位置推定は、迅速であり、典型的には、非常に短い時間枠内で、又は次の画像のセットが処理される少なくとも前に完了する(0.1秒から1秒毎に発生し得る)。
何らかの理由で、ロボットが、一時的に画像ベースの自己位置推定を実行できない場合、例えば、ロボットが、輸送中に自己位置推定を実行するために、メモリにアクセスできない、又はメモリに地図をダウンロードできない場合、ロボットは、ロボット上にまた実装されている他の自己位置推定手段(例えば、GPS座標、加速度計データ、ジャイロスコープデータ、オドメータデータ、磁力計データ、飛行時間カメラデータ及び/又はLidarデータのうち1又は複数)を使用してナビゲートし得る。ロボットが、画像ベースの自己位置推定を再開できるようになると、そのコースは、ナビゲーションのその意図されたルートを考慮して、より正確な自己位置推定データに基づいて、必要に応じて再調整され得る。
図6は、本発明による自己位置推定方法の実施形態を示す。段階S1、S2、及びS3は、図4のマッピング方法において及び図5の自己位置推定方法においてと同じであり得る。自己位置推定方法は、ロボットがそのメモリコンポーネント内に格納された地図データを含む場合に使用され得る。
第7段階S7は、1又は複数のデッドレコニングコンポーネントから位置関連データを受信する段階を備え得る。それらは、少なくとも1つのオドメータ、少なくとも1つの加速度計、及び/又は少なくとも1つのジャイロスコープを含み得る。第8段階S8は、視覚画像から抽出された線から取得された位置関連データと、位置関連データの各々と関連付けられる誤差に基づいて重み付けされた1又は複数のデッドレコニングコンポーネントから受信された位置関連データとを組み合わせる段階を備え得る。第9段階S9は、組み合わされたデータに基づいてロボットの姿勢に対する仮説を形成する段階を備え得る。最後の2つの段階は、例えば、上で及び以下で説明されている様な粒子フィルタアルゴリズムを使用して実行され得る。
一実施形態において、ロボットは、デッドレコニングコンポーネントから時間ステップ毎に位置データを受信し得る。この位置データは、それと関連付けられる誤差推定値を含み得る。最適な時間ステップの持続時間は、較正により決定され得る。好ましい実施形態において、時間ステップは、0.01秒~0.1秒、より好ましくは0.01秒~0.05秒を含み得る。位置データは、各時間ステップでのロボット姿勢推定の始点とされ得る。デッドレコニングコンポーネントは、少なくとも1つのオドメータ及び/又は少なくとも1つのジャイロスコープを含み得る。デッドレコニングコンポーネントは、次に、粒子フィルタ説明において説明されている様な制御センサであり得る。
ロボットは、少なくとも2つのカメラを使用して視覚画像を更に撮影し得る。ロボットの処理コンポーネントは、次に、視覚画像から特徴を抽出し得る。好ましい実施形態において、直線が、視覚画像から抽出され、位置関連データを含む。所与の画像及び/又は画像の所与の組み合わせ上で見られる線は、所与の粒子の姿勢に基づいて(地図に基づいて)見られるべき線と比較され得る。定量的に、これは、粒子姿勢が与えられたときに特定の線を見る確率として表され得る。この確率は、おおよそ適合度関数により計算され得る。それは、前に説明したように粒子重みに適用され得る。正規化が、カメラフレーム内の相関関係を低減するために行われ得る―(例えば杭柵から等)多くの線を受信する1つのカメラが、ほんのわずかの線を受信した別のカメラ入力(例えば2つの建物の角を見たのみ)より優位にたつべきではない。これは更に、誤差推定値を妥当な範囲内に保つために(数値的安定性のために)なされる。一実施形態において、適合度関数は、おおよそ以下を行う。カメラ画像からの線を地図上の線と関連付ける。その2つの間の誤差を計算する。全ての誤差を合計する(例えば、二乗和法(square summed method)を使用する)。ある時点で撮影された画像の全てにわたって合計を正規化し、それらを合計する。最後に、負の和の指数関数を取る。
処理コンポーネントは、次に、デッドレコニングコンポーネントからの及び線ベースの自己位置推定からのデータをそれらのそれぞれの誤差と組み合わせ得、可能なロボット姿勢の推定を取得する。これは、粒子フィルタ方法を使用してなされ得る。この段階の間、更なるセンサ及び/又はコンポーネントからの入力が考慮され得る。例えば、ロボットは、GPSコンポーネント、磁力計、飛行時間カメラ、及び/又は加速度計により得られる位置又は姿勢関連データを考慮し得る。
各時間ステップで、ロボットは、粒子フィルタ内の全ての粒子の重みを更新し得、可能性が高いロボット姿勢の分布で終わる。一定の基準に達する場合に、再サンプリング段階がなされ得、粒子フィルタが失敗しないことを確認する。
特許請求の範囲を含む本明細書において用いられるように、単数形の用語は、文脈がそうでないことを示さない限り、複数形も含むと解釈されるべきであり、逆もまた同様である。従って、本明細書において用いられるように、単数形「1つの(a)」、「1つの(an)」及び「その(the)」は、文脈がそうでないと明確に示さない限り、複数の参照を含むことに留意されるべきである。
説明及び特許請求の範囲を通じて、「備える(comprise)」、「含む(including)」、「有する(having)」、及び「含む(contain)」という用語及びそれらの変形は、「含むがこれに限定されない」を意味すると理解されるべきであり、他の構成要素を排除することを意図されない。
「少なくとも1つの」という用語は、「1又は複数の」を意味すると理解されるべきであり、従って、1又は複数の構成要素を含む両方の実施形態を含む。更に、「少なくとも1つの」を有する特徴を説明する独立請求項を参照する従属請求項は、その特徴が「その」及び「その少なくとも1つの」と称される両方の場合に同じ意味を有する。
本発明の前述の実施形態への変形が、依然として本発明の範囲内に含まれる限り行われ得ることが理解されよう。本明細書に開示されている特徴は、別段の定めがない限り、同じ、同等又は同様の目的を果たす代替的な特徴により置き換えられ得る。従って、別段の定めがない限り、開示されている各特徴は、一連の一般的な同等又は同様の特徴の一例を表す。
「例えば(for instance)」、「等(such as)」、「例えば(for example)」等の、例示的な言語の使用は、単に本発明をより良く説明することを意図されており、そのように特許請求されていない限り、本発明の範囲に対する限定を示さない。文脈がそうでないことを明確に示していない限り、明細書において説明されている任意の段階は、任意の順序で、又は同時に実行されてもよい。
本明細書で開示されている特徴及び/又は段階の全ては、特徴及び/又は段階の少なくとも一部が相互に排他的である組み合わせを除いて、任意の組み合わせで組み合わされ得る。特に、本発明の好ましい特徴が、本発明の全ての態様に適用可能であり、任意の組み合わせで用いられ得る。
Claims (1)
- モバイルロボットであって、
(a)少なくとも地図データを含む少なくとも1つのメモリコンポーネントと、
(b)視覚画像を撮影する少なくとも2つのカメラと、
(c)前記少なくとも2つのカメラにより撮影された前記視覚画像から直線を少なくとも抽出し、それらを前記地図データと比較し、前記モバイルロボットを少なくとも自己位置推定する少なくとも1つの処理コンポーネントと
を備える
ロボット。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15192649.0 | 2015-11-02 | ||
EP15192649 | 2015-11-02 | ||
JP2018519923A JP7147119B2 (ja) | 2015-11-02 | 2016-11-02 | 自律的な自己位置推定のためのデバイス及び方法 |
PCT/EP2016/076467 WO2017076929A1 (en) | 2015-11-02 | 2016-11-02 | Device and method for autonomous localisation |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018519923A Division JP7147119B2 (ja) | 2015-11-02 | 2016-11-02 | 自律的な自己位置推定のためのデバイス及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022106924A true JP2022106924A (ja) | 2022-07-20 |
Family
ID=54365169
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018519923A Active JP7147119B2 (ja) | 2015-11-02 | 2016-11-02 | 自律的な自己位置推定のためのデバイス及び方法 |
JP2022076834A Abandoned JP2022106924A (ja) | 2015-11-02 | 2022-05-09 | 自律的な自己位置推定のためのデバイス及び方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018519923A Active JP7147119B2 (ja) | 2015-11-02 | 2016-11-02 | 自律的な自己位置推定のためのデバイス及び方法 |
Country Status (8)
Country | Link |
---|---|
US (7) | US10732641B2 (ja) |
EP (3) | EP3825807A1 (ja) |
JP (2) | JP7147119B2 (ja) |
KR (1) | KR20180079428A (ja) |
CN (1) | CN108369420B (ja) |
AU (1) | AU2016348568A1 (ja) |
CA (1) | CA3002308A1 (ja) |
WO (2) | WO2017076929A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7369890B1 (ja) | 2022-08-03 | 2023-10-26 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | ロボットを制御する装置及び方法 |
Families Citing this family (85)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10430744B2 (en) * | 2015-08-21 | 2019-10-01 | Autodesk, Inc. | Robot service platform |
WO2017129804A1 (en) * | 2016-01-29 | 2017-08-03 | Kiwisecurity Software Gmbh | Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras |
US10216188B2 (en) | 2016-07-25 | 2019-02-26 | Amazon Technologies, Inc. | Autonomous ground vehicles based at delivery locations |
US20180079591A1 (en) * | 2016-09-19 | 2018-03-22 | Jackson State University | Automated trash cart |
US10514690B1 (en) | 2016-11-15 | 2019-12-24 | Amazon Technologies, Inc. | Cooperative autonomous aerial and ground vehicles for item delivery |
US11263579B1 (en) | 2016-12-05 | 2022-03-01 | Amazon Technologies, Inc. | Autonomous vehicle networks |
US10310500B1 (en) | 2016-12-23 | 2019-06-04 | Amazon Technologies, Inc. | Automated access to secure facilities using autonomous vehicles |
US10308430B1 (en) | 2016-12-23 | 2019-06-04 | Amazon Technologies, Inc. | Distribution and retrieval of inventory and materials using autonomous vehicles |
US10310499B1 (en) | 2016-12-23 | 2019-06-04 | Amazon Technologies, Inc. | Distributed production of items from locally sourced materials using autonomous vehicles |
US10664502B2 (en) * | 2017-05-05 | 2020-05-26 | Irobot Corporation | Methods, systems, and devices for mapping wireless communication signals for mobile robot guidance |
US10331124B2 (en) | 2017-07-20 | 2019-06-25 | Nuro, Inc. | Autonomous vehicle repositioning |
US11009868B2 (en) | 2017-07-20 | 2021-05-18 | Nuro, Inc. | Fleet of autonomous vehicles with lane positioning and platooning behaviors |
US11348269B1 (en) * | 2017-07-27 | 2022-05-31 | AI Incorporated | Method and apparatus for combining data to construct a floor plan |
JP7319958B2 (ja) | 2017-07-28 | 2023-08-02 | ニューロ・インコーポレーテッド | 自律車両および半自律車両の順応型コンパートメントの設計 |
WO2019019157A1 (en) * | 2017-07-28 | 2019-01-31 | Qualcomm Incorporated | INITIALIZING IMAGE SENSOR IN A ROBOTIC VEHICLE |
CN109388093B (zh) * | 2017-08-02 | 2020-09-15 | 苏州珊口智能科技有限公司 | 基于线特征识别的机器人姿态控制方法、系统及机器人 |
DE102017213577A1 (de) | 2017-08-04 | 2019-02-07 | Robert Bosch Gmbh | Verfahren zur Lagebestimmung eines Roboters, Lagebestimmungsvorrichtung eines Roboters und Roboter |
EP3679441B1 (en) | 2017-09-05 | 2023-06-28 | Starship Technologies OÜ | Mobile robot having collision avoidance system for crossing a road from a pedestrian pathway |
DE102017008917A1 (de) * | 2017-09-22 | 2019-03-28 | Kuka Deutschland Gmbh | Verfahren zum Lokalisieren eines mobilen Roboters |
WO2019057179A1 (zh) * | 2017-09-22 | 2019-03-28 | 华为技术有限公司 | 一种基于点线特征的视觉slam方法和装置 |
US11703334B2 (en) | 2017-10-31 | 2023-07-18 | Hewlett-Packard Development Company. L.P. | Mobile robots to generate reference maps for localization |
EP3704555B1 (en) | 2017-11-02 | 2023-07-19 | Starship Technologies OÜ | Visual localization and mapping in low light conditions |
IL255671B (en) * | 2017-11-14 | 2021-09-30 | Everysight Ltd | System and method for determining an image position using one or more anchors |
US10824862B2 (en) | 2017-11-14 | 2020-11-03 | Nuro, Inc. | Three-dimensional object detection for autonomous robotic systems using image proposals |
CN109840448A (zh) * | 2017-11-24 | 2019-06-04 | 百度在线网络技术(北京)有限公司 | 用于无人驾驶车辆的信息输出方法和装置 |
JP1612118S (ja) * | 2017-12-21 | 2018-08-27 | ||
KR102024094B1 (ko) * | 2017-12-21 | 2019-09-23 | 엘지전자 주식회사 | 인공지능을 이용한 이동 로봇 및 그 제어방법 |
US11815894B1 (en) * | 2017-12-22 | 2023-11-14 | AI Incorporated | Autonomous versatile vehicle system |
US11772717B1 (en) * | 2018-01-03 | 2023-10-03 | AI Incorporated | Autonomous versatile vehicle system |
DE102018104779A1 (de) * | 2018-03-02 | 2019-09-05 | Sick Ag | Verfahren zur Positionsermittlung eines beweglichen Objekts, Verfahren zur Wegplanung für ein bewegliches Objekt, Vorrichtung hierfür, Datenträger |
US11741709B2 (en) | 2018-05-22 | 2023-08-29 | Starship Technologies Oü | Method and system for analyzing surroundings of an autonomous or semi-autonomous vehicle |
WO2019224161A1 (en) | 2018-05-22 | 2019-11-28 | Starship Technologies Oü | Method and system for automatic autonomous road crossing |
KR102420476B1 (ko) * | 2018-05-25 | 2022-07-13 | 에스케이텔레콤 주식회사 | 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 |
KR102047303B1 (ko) * | 2018-06-01 | 2019-11-21 | 엘지전자 주식회사 | 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법 |
JP2021142572A (ja) * | 2018-06-12 | 2021-09-24 | ソニーグループ株式会社 | 制御装置、制御方法及びプログラム |
CN111094895B (zh) * | 2018-06-29 | 2023-08-22 | 百度时代网络技术(北京)有限公司 | 用于在预构建的视觉地图中进行鲁棒自重新定位的系统和方法 |
WO2020038699A1 (en) | 2018-08-22 | 2020-02-27 | Starship Technologies Oü | Method and system for traffic light signal detection and usage |
WO2020048623A1 (en) * | 2018-09-07 | 2020-03-12 | Huawei Technologies Co., Ltd. | Estimation of a pose of a robot |
KR102075844B1 (ko) * | 2018-10-10 | 2020-02-10 | 한국로봇융합연구원 | 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법 |
KR102627453B1 (ko) * | 2018-10-17 | 2024-01-19 | 삼성전자주식회사 | 위치 추정 장치 및 방법 |
CN209224071U (zh) * | 2018-11-19 | 2019-08-09 | 炬星科技(深圳)有限公司 | 机器人的传感器布局系统 |
US11287824B2 (en) * | 2018-11-19 | 2022-03-29 | Mobile Industrial Robots A/S | Detecting a location of an autonomous device |
US11331801B2 (en) * | 2018-11-28 | 2022-05-17 | Mitsubishi Electric Research Laboratories, Inc. | System and method for probabilistic multi-robot positioning |
US11164326B2 (en) | 2018-12-18 | 2021-11-02 | Samsung Electronics Co., Ltd. | Method and apparatus for calculating depth map |
CN111358364B (zh) * | 2018-12-26 | 2021-09-07 | 珠海市一微半导体有限公司 | 基于视觉机器人的死角清扫方法、装置、芯片及机器人 |
KR102198187B1 (ko) * | 2018-12-28 | 2021-01-04 | 엘지전자 주식회사 | 이동 로봇 |
WO2020146352A1 (en) * | 2019-01-08 | 2020-07-16 | R-Go Robotics Ltd. | System and method for monitoring movements |
CN109739239B (zh) * | 2019-01-21 | 2021-09-21 | 天津迦自机器人科技有限公司 | 一种用于巡检机器人的不间断仪表识别的规划方法 |
CN109798897B (zh) * | 2019-01-22 | 2022-07-01 | 广东工业大学 | 一种通过环境模型完整度评估以提高单目视觉定位可靠性的方法 |
CN111486842B (zh) * | 2019-01-29 | 2022-04-15 | 深圳市优必选科技有限公司 | 重定位方法及装置、机器人 |
WO2020159238A1 (ko) * | 2019-02-01 | 2020-08-06 | (주)에바 | 전동 카트 |
CN210119230U (zh) * | 2019-03-08 | 2020-02-28 | 深圳市有光图像科技有限公司 | 一种室内视觉定位系统及移动机器人 |
DE102019203202A1 (de) * | 2019-03-08 | 2020-09-10 | Zf Friedrichshafen Ag | Lokalisierungssystem für ein fahrerloses Fahrzeug |
US20210216079A1 (en) * | 2019-03-12 | 2021-07-15 | Lg Electronics Inc. | Cart moving in parallel with installed object and method of moving same |
KR102143349B1 (ko) * | 2019-03-27 | 2020-08-11 | 엘지전자 주식회사 | 이동 로봇의 제어 방법 |
USD932368S1 (en) * | 2019-05-17 | 2021-10-05 | DoorDash, Inc. | Automated delivery vehicle |
USD931756S1 (en) * | 2019-05-17 | 2021-09-28 | DoorDash, Inc. | Automated delivery vehicle |
EP3973327A1 (en) | 2019-05-21 | 2022-03-30 | Starship Technologies OÜ | System and method for robot localisation in reduced light conditions |
EP4004669B1 (en) * | 2019-07-25 | 2024-01-03 | Lingdong Technology (Beijing) Co., Ltd. | Self-driving system with tag reader |
KR20210015211A (ko) * | 2019-08-01 | 2021-02-10 | 엘지전자 주식회사 | 실시간으로 클라우드 슬램을 수행하는 방법 및 이를 구현하는 로봇과 클라우드 서버 |
JP7226240B2 (ja) * | 2019-10-16 | 2023-02-21 | トヨタ自動車株式会社 | 物品搬送ロボット |
JP7255458B2 (ja) * | 2019-11-14 | 2023-04-11 | トヨタ自動車株式会社 | 提供システム |
CN111192235B (zh) * | 2019-12-05 | 2023-05-26 | 中国地质大学(武汉) | 一种基于单目视觉模型和透视变换的图像测量方法 |
CN111076733B (zh) * | 2019-12-10 | 2022-06-14 | 亿嘉和科技股份有限公司 | 一种基于视觉与激光slam的机器人室内建图方法及系统 |
CN110900610B (zh) * | 2019-12-11 | 2022-04-22 | 哈尔滨工业大学 | 一种基于lm算法和粒子滤波算法优化的工业机器人标定方法 |
US20210200237A1 (en) * | 2019-12-31 | 2021-07-01 | Lyft, Inc. | Feature coverage analysis |
EP4118632A4 (en) * | 2020-03-13 | 2024-02-21 | Brain Corp | SYSTEMS AND METHODS FOR ROUTE SYNCHRONIZATION FOR ROBOTIC DEVICES |
DE102020107108A1 (de) * | 2020-03-16 | 2021-09-16 | Kopernikus Automotive GmbH | Verfahren und System zum autonomen Fahren eines Fahrzeugs |
WO2021194747A1 (en) | 2020-03-23 | 2021-09-30 | Nuro, Inc. | Methods and apparatus for automated deliveries |
JP1683884S (ja) * | 2020-03-23 | 2021-04-19 | ||
US11685049B2 (en) | 2020-04-22 | 2023-06-27 | Boston Dynamics, Inc. | Robot localization using variance sampling |
US11600017B2 (en) * | 2020-04-29 | 2023-03-07 | Naver Corporation | Adversarial scene adaptation for camera pose regression |
DE102020206355A1 (de) * | 2020-05-20 | 2021-11-25 | BSH Hausgeräte GmbH | Erstellen einer Umgebungskarte |
US20210394021A1 (en) * | 2020-06-23 | 2021-12-23 | Electronics And Telecommunications Research Institute | Apparatus and method for evaluating human motion using mobile robot |
US11687086B2 (en) * | 2020-07-09 | 2023-06-27 | Brookhurst Garage, Inc. | Autonomous robotic navigation in storage site |
DE102020211507A1 (de) * | 2020-09-14 | 2022-03-17 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Bewerten einer Kamerakalibrierung |
CN112258571B (zh) * | 2020-09-25 | 2023-05-30 | 上海数川数据科技有限公司 | 一种基于单目视觉的室内行人定位方法 |
US11609583B2 (en) | 2020-10-09 | 2023-03-21 | Ford Global Technologies, Llc | Systems and methods for nighttime delivery mobile robot with hybrid infrared and flash lighting |
US11835949B2 (en) | 2020-11-24 | 2023-12-05 | Mobile Industrial Robots A/S | Autonomous device safety system |
US11769409B2 (en) * | 2020-12-15 | 2023-09-26 | Charter Communications Operating, Llc | Automated parking lot digital map generation and use thereof |
KR102469164B1 (ko) * | 2020-12-21 | 2022-11-21 | 한국해양과학기술원 | 무인 수상선의 지구물리적 내비게이션 장치 및 방법 |
US11810050B2 (en) | 2021-08-20 | 2023-11-07 | Ford Global Technologies, Llc | Robotic package delivery with ad-hoc network fusion localization |
US11527085B1 (en) * | 2021-12-16 | 2022-12-13 | Motional Ad Llc | Multi-modal segmentation network for enhanced semantic labeling in mapping |
WO2024043772A1 (en) * | 2022-08-23 | 2024-02-29 | Samsung Electronics Co., Ltd. | Method and electronic device for determining relative position of one or more objects in image |
CN116817903B (zh) * | 2023-08-24 | 2023-11-21 | 湖南大学 | 一种基于先验视觉引导的智能机器人全局定位方法及系统 |
Family Cites Families (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6094508A (en) * | 1997-12-08 | 2000-07-25 | Intel Corporation | Perceptual thresholding for gradient-based local edge detection |
US20030081564A1 (en) | 2001-10-29 | 2003-05-01 | Chan James C. K. | Wireless transmission and recording of images from a video surveillance camera |
WO2004052597A1 (ja) | 2002-12-10 | 2004-06-24 | Honda Motor Co.,Ltd. | ロボット制御装置、ロボット制御方法、及びロボット制御プログラム |
US7177737B2 (en) * | 2002-12-17 | 2007-02-13 | Evolution Robotics, Inc. | Systems and methods for correction of drift via global localization with a visual landmark |
JP4377665B2 (ja) * | 2003-12-01 | 2009-12-02 | 本田技研工業株式会社 | 位置検出用マーク、並びに、マーク検出装置、その方法及びそのプログラム |
US7689321B2 (en) * | 2004-02-13 | 2010-03-30 | Evolution Robotics, Inc. | Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system |
JP4300199B2 (ja) | 2005-06-13 | 2009-07-22 | 株式会社東芝 | 移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システム |
US7765029B2 (en) | 2005-09-13 | 2010-07-27 | Neurosciences Research Foundation, Inc. | Hybrid control device |
US8305430B2 (en) | 2005-09-16 | 2012-11-06 | Sri International | System and method for multi-camera visual odometry |
US7539557B2 (en) | 2005-12-30 | 2009-05-26 | Irobot Corporation | Autonomous mobile robot |
US20140277900A1 (en) * | 2006-03-17 | 2014-09-18 | Raj V. Abhyanker | Mapping search engine offering sidewalk maps |
US9373149B2 (en) * | 2006-03-17 | 2016-06-21 | Fatdoor, Inc. | Autonomous neighborhood vehicle commerce network and community |
US20080011996A1 (en) * | 2006-07-11 | 2008-01-17 | Johannes Georg Bednorz | Multi-layer device with switchable resistance |
KR100809352B1 (ko) * | 2006-11-16 | 2008-03-05 | 삼성전자주식회사 | 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치 |
CN101669144B (zh) * | 2007-03-13 | 2013-09-18 | 浦项产业科学研究院 | 用于移动式机器人的位置确定的路标和使用该路标的设备与方法 |
KR100877071B1 (ko) | 2007-07-18 | 2009-01-07 | 삼성전자주식회사 | 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치 |
KR100926760B1 (ko) | 2007-12-17 | 2009-11-16 | 삼성전자주식회사 | 이동 로봇의 위치 인식 및 지도 작성 방법 |
JP5249577B2 (ja) * | 2007-12-20 | 2013-07-31 | 三菱重工業株式会社 | 追尾システム及びその方法並びに車両 |
NZ567986A (en) | 2008-05-02 | 2010-08-27 | Auckland Uniservices Ltd | Real-time stereo image matching system |
KR101503904B1 (ko) | 2008-07-07 | 2015-03-19 | 삼성전자 주식회사 | 이동 로봇의 지도 구성 장치 및 방법 |
JP6054035B2 (ja) | 2009-02-20 | 2016-12-27 | デジタル・シグナル・コーポレーション | ライダーとビデオ測定を使用する3次元画像の生成システム及び方法 |
KR101072876B1 (ko) | 2009-03-18 | 2011-10-17 | 연세대학교 산학협력단 | 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치 |
US8473187B2 (en) * | 2009-06-01 | 2013-06-25 | Robert Bosch Gmbh | Method and apparatus for combining three-dimensional position and two-dimensional intensity mapping for localization |
JP5618569B2 (ja) | 2010-02-25 | 2014-11-05 | キヤノン株式会社 | 位置姿勢推定装置及びその方法 |
JP2011209203A (ja) * | 2010-03-30 | 2011-10-20 | Sony Corp | 自己位置推定装置および自己位置推定方法 |
US8532367B2 (en) | 2010-08-17 | 2013-09-10 | Raytheon Company | System and method for 3D wireframe reconstruction from video |
KR101207535B1 (ko) | 2010-12-31 | 2012-12-03 | 한양대학교 산학협력단 | 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법 |
CN102435188B (zh) * | 2011-09-15 | 2013-10-02 | 南京航空航天大学 | 一种用于室内环境的单目视觉/惯性全自主导航方法 |
US9317037B2 (en) * | 2011-10-03 | 2016-04-19 | Vocollect, Inc. | Warehouse vehicle navigation system and method |
US9245194B2 (en) * | 2012-02-06 | 2016-01-26 | Apple Inc. | Efficient line detection method |
US9080886B1 (en) | 2012-08-03 | 2015-07-14 | Robotic Research, Llc | System and method for urban mapping and positioning |
US9953618B2 (en) | 2012-11-02 | 2018-04-24 | Qualcomm Incorporated | Using a plurality of sensors for mapping and localization |
US9037396B2 (en) | 2013-05-23 | 2015-05-19 | Irobot Corporation | Simultaneous localization and mapping for a mobile robot |
US9746330B2 (en) | 2013-08-03 | 2017-08-29 | Robotic Research, Llc | System and method for localizing two or more moving nodes |
JP6241172B2 (ja) * | 2013-09-25 | 2017-12-06 | 日産自動車株式会社 | 自車位置推定装置及び自車位置推定方法 |
US20150202770A1 (en) * | 2014-01-17 | 2015-07-23 | Anthony Patron | Sidewalk messaging of an autonomous robot |
US9563205B2 (en) | 2014-02-10 | 2017-02-07 | Savioke, Inc. | Sensor configurations and methods for mobile robot |
CN103984037B (zh) | 2014-04-30 | 2017-07-28 | 深圳市墨克瑞光电子研究院 | 基于视觉的移动机器人障碍物检测方法和装置 |
CN104166400B (zh) * | 2014-07-11 | 2017-02-22 | 杭州精久科技有限公司 | 基于多传感器融合的视觉导引agv系统 |
US9731713B2 (en) * | 2014-09-10 | 2017-08-15 | Volkswagen Ag | Modifying autonomous vehicle driving by recognizing vehicle characteristics |
US9519289B2 (en) | 2014-11-26 | 2016-12-13 | Irobot Corporation | Systems and methods for performing simultaneous localization and mapping using machine vision systems |
CN104851094A (zh) * | 2015-05-14 | 2015-08-19 | 西安电子科技大学 | 一种基于rgb-d的slam算法的改进方法 |
EP3156873B2 (en) | 2015-10-15 | 2023-04-05 | Honda Research Institute Europe GmbH | Autonomous vehicle with improved simultaneous localization and mapping function |
-
2016
- 2016-11-02 AU AU2016348568A patent/AU2016348568A1/en not_active Abandoned
- 2016-11-02 EP EP20202617.5A patent/EP3825807A1/en active Pending
- 2016-11-02 KR KR1020187015842A patent/KR20180079428A/ko not_active Application Discontinuation
- 2016-11-02 EP EP16798423.6A patent/EP3371671B1/en active Active
- 2016-11-02 JP JP2018519923A patent/JP7147119B2/ja active Active
- 2016-11-02 EP EP16798097.8A patent/EP3371670A1/en active Pending
- 2016-11-02 WO PCT/EP2016/076467 patent/WO2017076929A1/en active Application Filing
- 2016-11-02 WO PCT/EP2016/076466 patent/WO2017076928A1/en active Application Filing
- 2016-11-02 CA CA3002308A patent/CA3002308A1/en not_active Abandoned
- 2016-11-02 CN CN201680062503.9A patent/CN108369420B/zh active Active
-
2018
- 2018-05-02 US US15/968,802 patent/US10732641B2/en active Active
- 2018-05-02 US US15/968,838 patent/US10386850B2/en active Active
-
2019
- 2019-07-30 US US16/525,730 patent/US11042165B2/en active Active
-
2020
- 2020-06-22 US US16/908,376 patent/US11048267B2/en active Active
-
2021
- 2021-06-10 US US17/344,042 patent/US11579623B2/en active Active
- 2021-06-10 US US17/344,048 patent/US11747822B2/en active Active
-
2022
- 2022-05-09 JP JP2022076834A patent/JP2022106924A/ja not_active Abandoned
-
2023
- 2023-02-13 US US18/168,090 patent/US20230195131A1/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7369890B1 (ja) | 2022-08-03 | 2023-10-26 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | ロボットを制御する装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
US20190354110A1 (en) | 2019-11-21 |
US20210302990A1 (en) | 2021-09-30 |
AU2016348568A1 (en) | 2018-06-14 |
US10732641B2 (en) | 2020-08-04 |
US10386850B2 (en) | 2019-08-20 |
EP3371670A1 (en) | 2018-09-12 |
US11747822B2 (en) | 2023-09-05 |
WO2017076929A1 (en) | 2017-05-11 |
US20180253108A1 (en) | 2018-09-06 |
US11048267B2 (en) | 2021-06-29 |
US20200319654A1 (en) | 2020-10-08 |
US20230195131A1 (en) | 2023-06-22 |
WO2017076928A1 (en) | 2017-05-11 |
EP3371671B1 (en) | 2020-10-21 |
JP2018532204A (ja) | 2018-11-01 |
US11579623B2 (en) | 2023-02-14 |
US11042165B2 (en) | 2021-06-22 |
EP3825807A1 (en) | 2021-05-26 |
EP3371671A1 (en) | 2018-09-12 |
US20210302989A1 (en) | 2021-09-30 |
CN108369420A (zh) | 2018-08-03 |
CN108369420B (zh) | 2021-11-05 |
CA3002308A1 (en) | 2017-05-11 |
KR20180079428A (ko) | 2018-07-10 |
US20180253107A1 (en) | 2018-09-06 |
JP7147119B2 (ja) | 2022-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11747822B2 (en) | Mobile robot system and method for autonomous localization using straight lines extracted from visual images | |
EP3673407B1 (en) | Automatic occlusion detection in road network data | |
US11852729B2 (en) | Ground intensity LIDAR localizer | |
US20200349362A1 (en) | Method of Computer Vision Based Localisation and Navigation and System for Performing the Same | |
Wang et al. | Intelligent vehicle self-localization based on double-layer features and multilayer LIDAR | |
Aldibaja et al. | LIDAR-data accumulation strategy to generate high definition maps for autonomous vehicles | |
WO2018002932A1 (en) | Lane level accuracy using vision of roadway lights and particle filter | |
Fang et al. | Self-localization of intelligent vehicles based on environmental contours | |
Elkholy et al. | Radar/IMU Integration Using Visual Feature Matching | |
Grinstead et al. | Developing detailed a priori 3D models of large environments to aid in robotic navigation tasks | |
Rehman et al. | Slum Terrain Mapping Using Low-Cost 2D Laser Scanners | |
Gustafsson | Wall and curb detection and mapping for mobile robots in urban environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220607 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20230711 |