JP2020087415A - Map construction and positioning of robot - Google Patents
Map construction and positioning of robot Download PDFInfo
- Publication number
- JP2020087415A JP2020087415A JP2019085128A JP2019085128A JP2020087415A JP 2020087415 A JP2020087415 A JP 2020087415A JP 2019085128 A JP2019085128 A JP 2019085128A JP 2019085128 A JP2019085128 A JP 2019085128A JP 2020087415 A JP2020087415 A JP 2020087415A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- scene
- map
- orientation
- collected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000002269 spontaneous effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Abstract
Description
本発明は、ロボットの分野に関し、特にロボット、地図構築方法、位置推定方法、電子機器及び記憶媒体に関する。 The present invention relates to the field of robots, and more particularly to robots, map building methods, position estimation methods, electronic devices, and storage media.
現在、例えば掃除ロボット等の移動可能なロボットは、既に多くの家庭により受け入れられ、実際に使用されている。通常のロボットの位置推定及び地図構築は、例えばレーザ、赤外線等の自発的に発射された信号を用いて、外部環境を探測して地図を構築する。例えば、知能ロボットの位置推定と地図構築の技術の１つはＦａｓｔＳＬＡＭである。ＦａｓｔＳＬＡＭは、一般的にレーザ距離計又はソナーを用いて実現される。ＦａｓｔＳＬＡＭは、レーザやソナー等のセンサを用いているため、特殊な環境においてロボットを認識することができず、予測により環境状況全体を推定することしかできない。 Currently, mobile robots, such as cleaning robots, are already accepted and in actual use by many households. In normal robot position estimation and map construction, a map is constructed by probing the external environment using a spontaneously emitted signal such as a laser or infrared ray. For example, one of the technologies for position estimation and map construction of intelligent robots is FastSLAM. FastSLAM is typically implemented using a laser rangefinder or sonar. Since FastSLAM uses a sensor such as a laser or sonar, it cannot recognize the robot in a special environment and can only estimate the entire environmental situation by prediction.
本開示は、ロボット、地図構築方法、位置推定方法、電子機器及び記憶媒体を提供することを目的とする。 The present disclosure aims to provide a robot, a map construction method, a position estimation method, an electronic device, and a storage medium.
本開示の１つの態様では、ロボットを所定のルールに従って作業領域を走査させ、前記ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するステップ、を含み、前記初期地図は第１地図及び第２地図を含み、前記第１地図は前記作業領域と地図座標系とのマッピングを含み、前記第２地図は、前記ロボットの該シーン画像を収集する時の位置姿勢に対応付けて記憶された、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含み、前記位置姿勢は前記ロボットの第１地図における座標及び向きを含み、前記シーン特徴はシーンにおける特徴物体の特徴及び／又は前記シーン画像の特徴を含む、ロボットの地図構築方法を提供する。 One aspect of the present disclosure includes causing a robot to scan a work area according to a predetermined rule, and constructing an initial map based on scene images collected by the robot in real time during scanning. A first map and a second map are included, the first map includes a mapping between the work area and a map coordinate system, and the second map is associated with the position and orientation of the robot when the scene images are collected. Stored in a stored scene image, the scene feature extracted based on the collected scene image, the geometric amount of the scene feature, and the scene image from which the scene feature is extracted, the position and orientation being the first map of the robot. A method of constructing a map of a robot is provided, wherein the scene features include the coordinates and orientations at, and the scene features include features of feature objects in the scene and/or features of the scene image.
本開示のもう１つの態様では、上記のロボットの地図構築方法により構築された地図、及び前記ロボットによりリアルタイムで収集された画像に基づいて、前記ロボットの現在位置姿勢を決定するステップ、を含む、ロボットの位置推定方法をさらに提供する。 In another aspect of the present disclosure, a step of determining a current position and orientation of the robot based on a map constructed by the method for constructing a map of the robot described above and an image collected in real time by the robot, A robot position estimation method is further provided.
本開示のもう１つの態様では、少なくともロボットの周囲の画像をリアルタイムで収集するセンサと、前記ロボットを移動させるように駆動するモータと、処理装置と、を含み、前記処理装置は、ロボットを所定のルールに従って作業領域を走査させ、前記ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するように構成され、前記初期地図は第１地図及び第２地図を含み、前記第１地図は前記作業領域と地図座標系とのマッピングを含み、前記第２地図は、前記ロボットの該シーン画像を収集する時の位置姿勢に対応付けて記憶された、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含み、前記位置姿勢は前記ロボットの第１地図における座標及び向きを含み、前記シーン特徴はシーンにおける特徴物体の特徴及び／又は前記シーン画像の特徴を含む、ロボットをさらに提供する。 According to another aspect of the present disclosure, the processing apparatus includes at least a sensor that collects images around the robot in real time, a motor that drives the robot to move, and a processing device. Is configured to scan the work area according to the rules of, and construct an initial map based on scene images collected in real time by the robot during scanning, the initial map including a first map and a second map, The first map includes a mapping between the work area and a map coordinate system, and the second map corresponds to the collected scene images stored in association with the position and orientation of the robot when the scene images are collected. A scene feature extracted based on the scene feature, a geometric amount of the scene feature, and a scene image from which the scene feature is extracted, the position and orientation include coordinates and a direction on the first map of the robot, and the scene feature is There is further provided a robot that includes features of feature objects in the scene and/or features of the scene image.
本開示のもう１つの態様では、処理装置と、コンピュータプログラムが記憶されている記憶媒体と、を含み、前記コンピュータプログラムは、前記処理装置により実行される際に、上記の方法のステップを実行する、電子機器をさらに提供する。 In another aspect of the present disclosure, a processing device and a storage medium having a computer program stored therein, the computer program executing the steps of the above method when executed by the processing device. , Further providing electronic equipment.
本開示のもう１つの態様では、コンピュータプログラムが記憶されている記憶媒体であって、前記コンピュータプログラムは、処理装置により実行される際に、上記の方法のステップを実行する、記憶媒体をさらに提供する。 In another aspect of the present disclosure, there is further provided a storage medium having a computer program stored thereon, the computer program performing the steps of the above method when executed by a processing device. To do.
図面を参照しながら例示的な実施形態を詳細に説明することにより、本開示の上記及び他の特徴及び利点は明らかになる。
以下は図面を参照しながら例示的な実施形態をより詳細に説明する。なお、例示的な実施形態は様々な形態で実施されてもよく、ここで説明される例に限定されると解釈されてはならない。むしろ、本開示をより完全にするようにこれらの実施形態を提供し、当業者に例示的な実施形態の思想を伝える。ここの説明される特徴、構成又は特性は、任意の適切な方式で１つ又は複数の実施形態に組み合わせられてもよい。 Hereinafter, exemplary embodiments will be described in more detail with reference to the drawings. It should be noted that the exemplary embodiments may be implemented in various forms and should not be construed as limited to the examples described herein. Rather, these embodiments are provided so that this disclosure will be thorough, and will convey the idea of example embodiments to those skilled in the art. The features, configurations or characteristics described herein may be combined in one or more embodiments in any suitable manner.
また、図面は、単なる本開示の例示的な図示であり、必ずしも一定の縮尺で描かれているものではない。図面における同一の符号は同一又は類似の部分を示すため、その重複の説明を省略する。図面に示されるブロック図は機能的なエンティティであり、必ずしも物理的又は論理的に独立したエンティティに対応するものではない。これらの機能的なエンティティは、ソフトウェアにより実現されてもよいし、１つ又は複数のハードウェアモジュール又は集積回路により実現されてもよいし、異なるネットワーク、及び／又はプロセッサ装置、及び／又はマイクロ制御装置により実現されてもよい。 Also, the drawings are merely illustrative of the present disclosure and are not necessarily drawn to scale. The same reference numerals in the drawings indicate the same or similar parts, and thus the duplicated description thereof will be omitted. The block diagrams shown in the drawings are functional entities and do not necessarily correspond to physically or logically independent entities. These functional entities may be implemented in software, one or more hardware modules or integrated circuits, different networks and/or processor units, and/or micro-controls. It may be realized by the device.
従来技術におけるロボットの位置推定と地図構築の方法は、全ての環境に適用することができず、消費電力が大きく、コストが高く、取得された情報量が少なく、人工知能のロボットへの適用が制限されている。 The method of estimating the position of a robot and constructing a map in the conventional technology cannot be applied to all environments, consumes a large amount of power, has a high cost, has a small amount of acquired information, and is not applicable to an artificial intelligence robot. It is restricted.
従来技術の欠点を解消するために、本開示は、自発的な信号を必要とすることなく、受動的な視覚センサを用いて地図の構築を実現することで、消費電力の小さい視覚センサを使用し、コストを削減させ、取得される信号量を増大させ、知能ロボットの地図構築を最適化することができるロボット、地図構築方法、位置推定方法、電子機器及び記憶媒体を提供する。 In order to overcome the shortcomings of the prior art, the present disclosure uses a visual sensor with low power consumption by implementing map construction using a passive visual sensor without the need for spontaneous signals. The present invention provides a robot, a map construction method, a position estimation method, an electronic device, and a storage medium that can reduce the cost, increase the amount of acquired signals, and optimize the map construction of an intelligent robot.
まず、図１を参照しながら本開示を説明し、本開示の実施例に係るロボットの地図構築方法のフローチャートである。 First, the present disclosure will be described with reference to FIG. 1 and is a flowchart of a robot map construction method according to an embodiment of the present disclosure.
図１に示すように、該方法は１つのステップを含む。 As shown in FIG. 1, the method includes one step.
ステップＳ１１０：ロボットを所定のルールに従って作業領域を走査させ、該ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築する。ここで、該初期地図は第１地図及び第２地図を含み、該第１地図は該作業領域と地図座標系とのマッピングを含み、該第２地図は、該ロボットの該シーン画像を収集する時の位置姿勢に対応付けて記憶された、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含み、該位置姿勢は該ロボットの第１地図における座標及び向きを含み、該シーン特徴はシーンにおける特徴物体の特徴及び／又は該シーン画像の特徴を含む。 Step S110: The robot scans the work area according to a predetermined rule, and an initial map is constructed based on a scene image collected by the robot in real time during scanning. Here, the initial map includes a first map and a second map, the first map includes a mapping between the work area and a map coordinate system, and the second map collects the scene image of the robot. The position and orientation including scene features extracted based on the collected scene images stored in association with the time position and orientation, the geometrical amount of the scene features, and the scene image from which the scene features are extracted. Includes the coordinates and orientation of the robot on the first map, and the scene features include features of feature objects in the scene and/or features of the scene image.
従来技術に比べて、本開示により提供されるロボットの地図構築方法は以下の利点を有する。 Compared with the prior art, the robot map construction method provided by the present disclosure has the following advantages.
（１）自発的な信号を必要とすることなく、受動的な視覚センサを用いて地図の構築を実現することで、消費電力の小さい視覚センサを使用し、コストを削減させ、取得される信号量を増大させ、知能ロボットの地図構築を最適化することができる。 (1) Signals acquired by using a visual sensor with low power consumption by realizing a map construction using a passive visual sensor without requiring a spontaneous signal, thereby reducing the cost The amount can be increased and the map construction of intelligent robots can be optimized.
（２）本開示の地図構築方法は、第１地図及び第２地図を含む初期地図を構築することで、第２地図、即ちシーン地図を用いて、ロボットにより多くの情報を提供することができる。 (2) According to the map construction method of the present disclosure, more information can be provided to the robot by using the second map, that is, the scene map, by constructing the initial map including the first map and the second map. ..
本開示の各実施例では、第１地図は、構造及び物体間の相互関係のデータ構造を示すために用いられる。第１地図は、ロボットの経路計画のために用いられてもよい。第１地図は地図座標系（ＭＣ）を用いて作業領域内の具体的な位置を表し、地図座標系（ＭＣ）は２次元又は３次元の座標系であってもよい。ロボットの第１地図内の特定の点における位置姿勢は、ロボットの地図座標系における該点の座標Ｐ及びその向きｒにより構成されている。 In each embodiment of the present disclosure, the first map is used to show the data structure of the structure and the interrelationship between the objects. The first map may be used for robot path planning. The first map uses a map coordinate system (MC) to represent a specific position in the work area, and the map coordinate system (MC) may be a two-dimensional or three-dimensional coordinate system. The position and orientation of a specific point on the first map of the robot is configured by the coordinates P of the point in the map coordinate system of the robot and its direction r.
ここで、Ｐは次元が地図座標系の次元に依存するベクトルであり、ｒは次元がＰから１を減算したベクトルである。例えば、地図座標系が３次元座標系である場合、Ｐは３次元ベクトルであり、ｒは２次元ベクトルである。地図座標系が２次元座標系である場合、Ｐは２次元ベクトルであり、ｒは１次元ベクトルである。
Here, P is a vector whose dimension depends on the dimension of the map coordinate system, and r is a vector whose dimension is P minus 1. For example, when the map coordinate system is a three-dimensional coordinate system, P is a three-dimensional vector and r is a two-dimensional vector. When the map coordinate system is a two-dimensional coordinate system, P is a two-dimensional vector and r is a one-dimensional vector.
第２地図は、第１地図をベースにして、特定の位置においてシーン及び幾何学的記述のデータ構造を有する。ロボットは、第２地図を用いることで、シーン地図における自分の位置を知ることができ、地図の内容を更新することができる。第２地図は、以下のマッピングで表されてもよい。 The second map has a data structure of scenes and geometric descriptions at specific positions based on the first map. By using the second map, the robot can know its own position on the scene map and can update the contents of the map. The second map may be represented by the following mapping.
１つの実施例では、シーン特徴は、画像における特徴物体に基づいて抽出されてもよい。シーン特徴の幾何学的量は、例えばシーン特徴により表される特徴物体の点、線、面の幾何学的特徴であってもよい。幾何学的量の定義及びその精度は、異なる応用の要求に応じて変化してもよい。該実施例では、ロボットが所定のルールに従って作業領域を走査する際に、取集された画像に基づいて該作業領域内の特徴物体が認識している場合、該第１地図の地図座標系に基づいて、該ロボットと該特徴物体との間の距離を決定する。該距離が所定距離を満たしているとき、該ロボットにより現在リアルタイムで収集された画像をシーン画像とし、シーン画像に基づいて該シーン特徴を抽出する。１つの態様では、抽出されたシーン特徴が固定、不変のものであるシーンの場合は、認識すべき特徴物体は通常作業領域において固定位置を有する特徴物体である。特徴物体は、予め設定された特徴物体集合に基づいて指定されてもよい。１つの変形例では、特徴物体は、複数のロボットにより作業中に収集された画像に基づいて、機械学習により決定されてもよいが、本開示はこれに限定されない。さらに、上記の所定距離を用いることで、特徴抽出の効率及び特徴抽出の精度を向上させることができる。所定距離は、予め設定されてもよし、ロボットの作業状態に応じて変化してもよい。もう１つの実施例では、シーン特徴は、特徴物体の特徴に限定されず、シーン画像の特徴であってもよい。当業者が様々な変形例を実施してもよく、ここでその説明を省略する。 In one example, scene features may be extracted based on feature objects in the image. The geometric quantity of a scene feature may be, for example, the geometric feature of a point, line, or surface of the feature object represented by the scene feature. The definition of geometric quantities and their precision may vary according to the requirements of different applications. In the embodiment, when the robot scans the work area according to a predetermined rule and the characteristic object in the work area is recognized based on the collected image, the map coordinate system of the first map is used. Based on this, the distance between the robot and the characteristic object is determined. When the distance satisfies a predetermined distance, the image currently collected by the robot in real time is used as a scene image, and the scene feature is extracted based on the scene image. In one aspect, in the case of a scene in which the extracted scene features are fixed and invariant, the feature object to be recognized is usually the feature object having a fixed position in the work area. The characteristic object may be designated based on a preset characteristic object set. In one variation, the feature object may be determined by machine learning based on images collected during work by multiple robots, but the present disclosure is not so limited. Furthermore, by using the above-mentioned predetermined distance, the efficiency of feature extraction and the accuracy of feature extraction can be improved. The predetermined distance may be set in advance or may change depending on the work state of the robot. In another embodiment, the scene features are not limited to features of the feature object and may be features of a scene image. Those skilled in the art may implement various modifications, and the description thereof will be omitted here.
また、上述したように、該ロボットの第１地図における座標及び向きを該ロボットの位置姿勢とする。上記のステップＳ１１０における該ロボットを所定のルールに従って作業領域を走査させ、該ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するステップは、以下のステップを含んでもよい。第２地図におけるシーン特徴、該シーン特徴に対応する幾何学的量及び該シーン特徴を抽出するシーン画像を、該ロボットが該シーン画像を収集する時の位置姿勢に対応付けてシーン・データベースに記憶する。該シーン特徴はシーンにおける特徴物体の特徴及び／又は該シーン画像の特徴を含んでもよいため、該シーン特徴がシーンにおける特徴物体の特徴を含む場合、該ステップは、位置姿勢の照会のために、収集された画像に基づいて認識された該作業領域内の特徴物体を該ロボットが該画像を収集する時の位置姿勢に対応付けてシーン・データベースに記憶することに相当する。該実施例では、シーン・データベースには、該ロボットがシーン画像（例えば特徴物体を含む）を収集する時の位置姿勢と、第２地図におけるシーン特徴（例えば特徴物体の特徴を含む）、該シーン特徴に対応する幾何学的量、及び該シーン特徴を抽出するシーン画像とのマッピング関係が記憶されている。言い換えれば、本実施例では、シーン・データベースはステップＳ１１０における第２地図である。 Further, as described above, the coordinates and orientation of the robot on the first map are the position and orientation of the robot. The step of causing the robot to scan the work area according to a predetermined rule in step S110 described above and constructing an initial map based on a scene image collected in real time during scanning by the robot may include the following steps. The scene feature on the second map, the geometrical quantity corresponding to the scene feature, and the scene image for extracting the scene feature are stored in the scene database in association with the position and orientation when the robot collects the scene image. To do. Since the scene features may include features of feature objects in the scene and/or features of the scene image, if the scene features include features of feature objects in the scene, the step comprises: This is equivalent to storing the characteristic object in the work area recognized based on the collected images in the scene database in association with the position and orientation when the robot collects the images. In the embodiment, in the scene database, the position and orientation when the robot collects a scene image (for example, including a characteristic object), the scene feature (for example, including a characteristic of the characteristic object) in the second map, the scene The geometrical quantity corresponding to the feature and the mapping relationship with the scene image from which the scene feature is extracted are stored. In other words, in this example, the scene database is the second map in step S110.
上記実施例の１つの態様では、該位置姿勢の照会は、該ロボットによりリアルタイムで収集された画像からの画像特徴（即ちシーン特徴の１つ）と該シーン・データベースに記憶されたシーン特徴とをマッチングし、マッチしたシーン特徴と該ロボットによりリアルタイムで収集された画像の画像特徴（即ちシーン特徴の１つ）とを比較することで該ロボットのリアルタイム位置姿勢と該ロボットの該シーン画像を収集する時の位置姿勢との差を決定し、該ロボットの該シーン画像を収集する時の位置姿勢に基づいて該ロボットのリアルタイム位置姿勢を決定すること、を含む。 In one aspect of the above embodiment, the pose query includes image features (ie, one of the scene features) from images collected in real time by the robot and scene features stored in the scene database. The real-time position and orientation of the robot and the scene image of the robot are collected by matching and comparing the matched scene feature with the image feature (that is, one of the scene features) of the images collected in real time by the robot. Determining a difference with respect to the position and orientation of the robot, and determining a real-time position and orientation of the robot based on the position and orientation of the robot when the scene images are collected.
言い換えれば、シーン特徴と該ロボットによりリアルタイムで収集された画像の画像特徴（即ちシーン特徴の１つ）とを比較することで、シーン画像を収集する該ロボットの、リアルタイム画像を収集するロボットに対する相対位置を決定し、これによって、記憶された該ロボットの該シーン画像を収集する時の位置姿勢及び決定された相対位置に基づいて、ロボットのリアルタイム位置姿勢を決定することができる。さらに、１つの例示的な態様では、上記の位置姿勢の照会ステップは、以下の地図更新において正確位置姿勢を決定するアルゴリズムを採用してもよい。本開示はこれに限定されない。 In other words, by comparing the scene features with the image features of the images collected by the robot in real time (ie one of the scene features), the robot that collects the scene images will be relative to the robot that collects the real-time images. The position can be determined, and thereby, the real-time position and orientation of the robot can be determined based on the stored position and orientation of the robot when the scene images are collected and the determined relative position. Further, in one exemplary aspect, the position/orientation inquiring step may employ an algorithm for determining an accurate position/orientation in the following map update. The present disclosure is not limited to this.
上記のシーン特徴が特徴物体の特徴を含む場合、該位置姿勢の照会は、該ロボットによりリアルタイムで収集された画像からの特徴物体と該シーン・データベースに記憶された特徴物体とをマッチングし、マッチした特徴物体と該ロボットによりリアルタイムで収集された画像における特徴物体とを比較することで、該ロボットのリアルタイム位置姿勢と該ロボットの該特徴物体を収集する時の位置姿勢との差を決定し、該シーン・データベースに記憶された該ロボットの該特徴物体を収集する時の位置姿勢に基づいて該ロボットのリアルタイム位置姿勢を決定すること、を含む。 If the scene features include the features of a feature object, the query of the position and orientation matches and matches the feature object from the images collected in real time by the robot with the feature object stored in the scene database. By comparing the characteristic object and the characteristic object in the image collected in real time by the robot, the difference between the real-time position and orientation of the robot and the position and orientation of the robot when the characteristic object is collected is determined, Determining a real-time position/orientation of the robot based on the position/orientation of the robot at the time of collecting the characteristic object stored in the scene database.
言い換えれば、特徴物体と該ロボットによりリアルタイムで収集された画像における特徴物体とを比較することで、特徴物体を収集する該ロボットの、リアルタイム特徴物体を収集するロボットに対する相対位置を決定し、これによって、記憶された該ロボットの該特徴物体を収集する時の位置姿勢及び決定された相対位置に基づいて、ロボットのリアルタイム位置姿勢を決定することができる。例えば、特徴物体、即ちロボットの充電ポールを世界座標系の原点とし、ロボットによりリアルタイムで収集された画像における充電ポールを確認することで、ロボットの初期地図における位置姿勢を照会する。 In other words, by comparing the feature object and the feature object in the image collected in real time by the robot, the relative position of the robot collecting the feature object with respect to the robot collecting the real-time feature object is determined, and The real-time position and orientation of the robot can be determined based on the stored position and orientation of the robot when collecting the characteristic object and the determined relative position. For example, a characteristic object, that is, the charging pole of the robot is set as the origin of the world coordinate system, and the position and orientation of the robot on the initial map are inquired by checking the charging pole in the image collected by the robot in real time.
以上は単なる本開示の位置姿勢の照会の複数の態様を例示的に説明し、本開示はこれらの態様に限定されない。 The above merely illustrates a plurality of aspects of the position and orientation inquiry of the present disclosure, and the present disclosure is not limited to these aspects.
以下は図２、図３乃至図６を参照しながら本開示に係るロボットの地図構築方法をさらに説明する。図２は本開示の例示的な実施例に係るロボットの地図構築方法を示すフローチャートである。図３乃至図６は本開示の例示的な実施例に係るロボットによる作業領域の走査を示す図である。 Hereinafter, the method for constructing the map of the robot according to the present disclosure will be further described with reference to FIGS. 2 and 3 to 6. FIG. 2 is a flowchart illustrating a method for constructing a map of a robot according to an exemplary embodiment of the present disclosure. 3 to 6 are diagrams illustrating scanning of a work area by a robot according to an exemplary embodiment of the present disclosure.
図２に示すように、ステップＳ１１０における該ロボットを所定のルールに従って作業領域を走査させ、該ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するステップは、以下のステップを含んでもよい。 As shown in FIG. 2, the step of scanning the work area of the robot according to a predetermined rule in step S110, and the step of constructing an initial map based on a scene image collected in real time during the scanning by the robot includes the following steps. May be included.
ステップＳ１１１：該ロボット２０１を該作業領域２１０の境界２１１に沿って走行させ、輪郭地図２２１を構築する。
Step S111: The
ステップＳ１１２：該ロボット２０１を該輪郭地図２２１に基づいて該輪郭地図内の走査経路を計画させ、該輪郭地図内の走査経路に沿って走行させ、内部地図２２２を構築する。
Step S112: The
ステップＳ１１３：該輪郭地図２２１及び該内部地図２２２を用いて該初期地図を構成する。
Step S113: The initial map is constructed using the
上記ステップＳ１１１乃至ステップＳ１１３は図３及び図６を参照してもよい。なお、輪郭地図２２１及び内部地図２２２は何れも上記第１地図及び第２地図を含む。輪郭地図２２１及び内部地図２２２は、初期地図の領域情報及び経路情報をそれぞれ表す。第１地図及び第２地図は、初期地図の座標位置パラメータ及び対応するシーン特徴情報をそれぞれ表す。
3 and 6 may be referred to for the above steps S111 to S113. The
１つの例示的な実施例では、上記ステップＳ１１１における該ロボット２０１を該作業領域２１０の境界２１１に沿って走行させ、輪郭地図２２１を構築するステップは、該ロボット２０１が画像を収集する方向を順方向とし、該ロボット２０１を順方向に沿って走行させるステップと、該ロボット２０１が障害対象を認識した場合、該ロボットを該障害対象の境界に沿って走行させるように該ロボット２０１の該順方向に沿う走行方向を転換するステップと、をさらに含んでもよい。該ロボット２０１により認識された障害対象は、例えば画像認識又は他のセンサのデータ認識により認識されてもよいが、本開示はこれに限定されない。図４に示すように、ロボット２０１が作業領域内の任意位置に位置し、まず、ロボット２０１を順方向（画像を収集する方向）に沿って走行させ、ロボット２０１が壁２４１（障害対象）に衝突した場合、ロボット２０１が壁２４１（障害対象）の境界に沿って走行するようにロボット２０１の該順方向に沿う走行方向を転換し、輪郭地図２２１を構築する。本実施例では、ロボットが障害対象の境界に沿って走行するようにロボットの該順方向に沿う走行方向を転換する際に、好ましくはロボットを左折させる（１つの変形例では、ロボットを右折させてもよい）。
In one exemplary embodiment, the step of moving the
１つの例示的な実施例では、作業領域内に障害物が存在する場合を考慮すると、上記ステップにおいてロボットが障害対象を認識した場合、ロボット２０１の現在位置を第１位置２３０、２３１として決定する。ロボット２０１を障害対象の境界に沿って走行させるステップは、ロボットが第１位置２３０、２３１に再び走行した場合、障害対象が作業領域内の障害物２４２又は作業領域の境界（例えば壁２４１）であるかを判断する。障害対象が作業領域内の障害物２４２である場合、ロボット２０１を順方向に沿って走行させるようにロボット２０１の障害対象の境界に沿う走行方向を転換する。障害対象が作業領域の境界（例えば壁２４１）である場合、ロボット２０１が作業領域の境界に沿う走行が完了したと決定する。
In one exemplary embodiment, considering the case where an obstacle exists in the work area, the current position of the
上記ステップは図５を参照してもよく、ロボット２０１が最初に作業領域内の任意の位置に位置し、ロボット２０１が順方向（画像を収集する方向）に沿って走行し、ロボット２０１が障害物２４２に衝突した場合、ロボット２０１の現在位置を第１位置２３１として決定し、ロボット２０１を障害物２４２の境界に沿って走行させるようにロボット２０１の該順方向に沿う走行方向を転換する（即ち障害物２４２を回って一周走行する）。ロボット２０１が障害物２４２を回って一周走行した後に第１位置２３１に再び走行した場合、障害対象が作業領域内の障害物２４２であるとロボットにより判断されたとき、ロボット２０１を該順方向に沿って走行させるようにロボット２０１の該障害対象の境界に沿う走行方向を転換する。一方、ロボット２０１が順方向に沿って走行し、ロボット２０１が作業領域の境界（例えば壁２４１）に衝突した場合、ロボット２０１の現在位置を第１位置２３０として決定し、ロボット２０１を作業領域の境界（例えば壁２４１）に沿って走行させるようにロボット２０１の該順方向に沿う走行方向を転換する（即ち壁２４１に沿って一周走行する）。ロボット２０１が壁２４１に沿って一周走行した後に第１位置２３０に再び走行した場合、障害対象が作業領域の境界（例えば壁２４１）であるとロボットにより判断されたとき、ロボット２０１が作業領域の境界に沿う走行が完了したと決定する。作業領域内に複数の障害物が存在する場合、上記ステップに従って動作させ、ロボット２０１を作業領域２１０の境界２１１に沿って走行させてもよい。
The above steps may be referred to FIG. 5, in which the
上記の判断によれば、ロボットが作業領域の境界を走査することを確保することができ、作業領域内の障害物を作業領域の境界とすることを回避することができる。 According to the above judgment, it is possible to ensure that the robot scans the boundary of the work area, and it is possible to avoid making an obstacle in the work area the boundary of the work area.
１つの実施例では、上記ステップにおけるロボット２０１の走行経路を作業領域２１０の境界２１１としてもよい。他の実施例では、上記ステップにおけるロボット２０１の走行経路から一部の経路を作業領域２１０の境界２１１として切り取ってもよい。例えば、ロボット２０１が該障害対象の境界に沿って走行しているモードのみにおけるロボット２０１の走行経路を作業領域２１０の境界２１１として保留してもよい。或いは、ロボット２０１が壁２４１に沿って走行しているモードのみにおけるロボット２０１の走行経路を作業領域２１０の境界２１１として保留してもよい。本開示は様々な変形例で実現されてもよく、ここでその説明を省略する。
In one embodiment, the travel route of the
また、上記ステップＳ１１０におけるロボットを所定のルールに従って作業領域を走査させ、該ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するステップの後に、該ロボットが該作業領域において作業している間にリアルタイムで収集された画像に基づいて、該初期地図を反復的に更新するステップ、をさらに含む。該ロボットが該作業領域において作業している間にリアルタイムで収集された画像に基づいて該初期地図を反復的に更新するステップは図７を参照してもよい。図７は本開示の実施例に係る地図の反復的な更新を示すフローチャートである。図７は、合計４つのステップを示している。 Further, after the step of scanning the work area by the robot in step S110 according to a predetermined rule and constructing an initial map based on a scene image collected in real time by the robot during the scanning, the robot moves in the work area. Iteratively updating the initial map based on the images collected in real time while working. The step of iteratively updating the initial map based on images collected in real time while the robot is working in the work area may refer to FIG. FIG. 7 is a flowchart illustrating iterative map updating according to an embodiment of the present disclosure. FIG. 7 shows a total of four steps.
ステップＳ１２１：該ロボットによりリアルタイムで収集された画像に基づいて、該シーン・データベースとのマッチングにより、推定位置姿勢を取得する。 Step S121: The estimated position and orientation are acquired by matching with the scene database based on the images collected in real time by the robot.
１つの実施例では、上記ステップは以下の式で表されてもよい。 In one embodiment, the above steps may be represented by the formula:
ここで、この式は、時刻ｔに撮影された画像（該ロボットによりリアルタイムで収集された画像）が既知であると、時刻ｔにおけるシーン特徴に対応する幾何学的量により構成された幾何学的情報ベースＧｔ（特徴点、線、面などの幾何学的記述、例えば座標、方程式など）及びシーン特徴により構成されたシーン・データベースＳｔからロボットの該時刻における推定位置姿勢
（外１）
を取得することを表す。このプロセスは以下のステップを含んでもよい。
Here, if the image captured at time t (the image collected in real time by the robot) is known, this equation is a geometrical value that is configured by geometrical quantities corresponding to scene features at time t. An estimated position and orientation of the robot at the time (outer 1) from the information database G t (geometrical description of feature points, lines, surfaces, etc., such as coordinates, equations, etc.) and the scene database S t composed of scene features.
Represents getting. This process may include the following steps.
ステップ１：画像Ｉから幾何学的特徴集合｛Ｆ｝を取得する。 Step 1: Acquire the geometric feature set {F} from the image I.
ステップ２：該集合を用いてＳｔからＩに最もマッチした画像インデックス｛ｋ｝を検索する。 Step 2: Search for best matched image index {k} to I from S t by using the set.
ステップ３：Ｇｔにおける各ｋに対応する幾何学的特徴サブ集合｛ｇ｝ｋに基づいて、以下の式の期待値を求める。 Step 3: Based on the geometric feature subset {g} k corresponding to each k in G t , find the expected value of the following equation.
ステップＳ１２２：該ロボットによりリアルタイムで収集された画像及び該推定位置姿勢に基づいて、該ロボットの正確位置姿勢を決定する。 Step S122: Determine an accurate position/orientation of the robot based on the image and the estimated position/orientation collected by the robot in real time.
１つの実施例では、上記ステップは以下の式で表されてもよい。 In one embodiment, the above steps may be represented by the formula:
（外２）
（外３）
(Outside 2)
(Outside 3)
（外４）
（外５）
(Outside 4)
「誤った」特徴が除去されると、他の高品質の幾何学的特徴によれば、簡単なＳＬＡＭアルゴリズムを用いてより正確なロボットの位置姿勢Ｌを算出することができる。 Once the "wrong" features are removed, other high quality geometric features allow a more accurate robot pose L to be calculated using a simple SLAM algorithm.
ステップＳ１２３：該正確位置姿勢、該推定位置姿勢にマッチしたシーン特徴、該シーン特徴に対応する幾何学的量、及び該ロボットによりリアルタイムで収集された画像に基づいて、更新されたシーン画像、更新されたシーン特徴、及び更新されたシーン特徴に対応する幾何学的量を決定する。 Step S123: updated scene image based on the accurate position and orientation, the scene feature matching the estimated position and orientation, the geometric amount corresponding to the scene feature, and the image collected in real time by the robot, And a geometric quantity corresponding to the updated scene feature.
１つの実施例では、上記ステップは以下の式で表されてもよい。 In one embodiment, the above steps may be represented by the formula:
ステップＳ１２４：該正確位置姿勢、更新されたシーン画像、更新されたシーン特徴、及び更新されたシーン特徴に対応する幾何学的量に基づいて、該シーン・データベースを更新する。 Step S124: Update the scene database based on the accurate position and orientation, the updated scene image, the updated scene feature, and the geometric quantity corresponding to the updated scene feature.
図７を参照しながら説明したプロセスにより、ロボットにより作業中にリアルタイムで収集された画像を用いることで、第１地図及び第２地図を含む初期地図を反復的に更新し続けることができる。第２地図に含まれる収集された画像に基づいて抽出されたシーン特徴及び該シーン特徴の幾何学的量、並びにロボットにより作業中にリアルタイムで収集された画像は、何れも作業中のロボットにより多くの情報を提供することができるため、地図構築プロセスにおける雑音を低減させ、受動的な視覚センサによる地図構築の雑音の問題を解決し、本開示の地図構築の精度は自発的な信号の地図構築の精度よりも低くない。また、ロボットにより作業中にリアルタイムで収集された画像を用いて初期地図を反復的に更新することができるため、ロボットが作業中に環境を熟知することができ、位置推定のための地図を最適化し、環境の変化を継続的に検出し、ロボットをよりインテリジェントにすることができる。 The process described with reference to FIG. 7 allows the iterative updating of the initial map, including the first map and the second map, to be used by using images collected in real time by the robot during work. The scene feature extracted based on the collected images included in the second map, the geometrical amount of the scene feature, and the image collected in real time by the robot during the work are more common to the working robot. Since it can provide the information of the above, it reduces the noise in the map building process, solves the noise problem of the map building by the passive visual sensor, and the accuracy of the map building of the present disclosure is the map building of the spontaneous signal. Not less than the accuracy of. Also, since the robot can update the initial map iteratively using images collected in real time during work, the robot can be familiar with the environment during work, and the map for position estimation can be optimized. The robot can be made more intelligent by continuously detecting changes in the environment.
以上は単なる本開示に係る複数の実施形態を例示的に説明しており、本開示はこれらの実施形態に限定されない。 The above merely describes a plurality of embodiments according to the present disclosure, and the present disclosure is not limited to these embodiments.
図８に示すように、本開示はロボットの位置推定方法をさらに提供する。図８は本開示の実施例に係るロボットの位置推定方法を示すフローチャートである。 As shown in FIG. 8, the present disclosure further provides a method for estimating the position of a robot. FIG. 8 is a flowchart illustrating a robot position estimation method according to an embodiment of the present disclosure.
図８は合計１つのステップを示している。 FIG. 8 shows one step in total.
ステップＳ３１０：上記のロボットの地図構築方法により構築された地図、及び該ロボットによりリアルタイムで収集された画像に基づいて、該ロボットの現在位置姿勢を決定する。 Step S310: Determine the current position and orientation of the robot based on the map constructed by the above-described method for constructing the map of the robot and the images collected by the robot in real time.
ステップＳ３１０の位置姿勢の決定方法は、例えば上記の位置姿勢の照会方法と同様であってもよい。 The position/orientation determining method in step S310 may be the same as the above-described position/orientation inquiring method.
本開示はロボットをさらに提供する。図９は本開示の実施例に係るロボットのブロック図である。図９に示すように、ロボット４００は、センサ４１０、モータ４２０及び処理装置４３０を含む。
The present disclosure further provides a robot. FIG. 9 is a block diagram of a robot according to an embodiment of the present disclosure. As shown in FIG. 9, the
センサ４１０は、少なくともロボットの周囲の画像をリアルタイムで収集する。 The sensor 410 collects at least an image around the robot in real time.
モータ４２０は、該ロボットを移動させるように駆動する。
The
処理装置４３０は、ロボットを所定のルールに従って作業領域を走査させ、ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するように構成されている。ここで、初期地図は第１地図及び第２地図を含み、第１地図は作業領域と地図座標系とのマッピングを含み、第２地図は、ロボットの該シーン画像を収集する時の位置姿勢に対応付けて記憶された、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含み、位置姿勢はロボットの第１地図における座標及び向きを含み、シーン特徴はシーンにおける特徴物体の特徴及び／又はシーン画像の特徴を含む。
The
１つの例示的な実施例では、処理装置４３０は、ロボットが作業領域において作業している間にリアルタイムで収集された画像に基づいて、初期地図を反復的に更新するように構成されている。
In one exemplary embodiment, the
１つの例示的な実施例では、処理装置４３０は、初期地図又は更新された地図、及びロボットによりリアルタイムで収集された画像に基づいて、ロボットの現在位置姿勢を決定するように構成されている。
In one exemplary embodiment, the
１つの例示的な実施例では、ロボット４００は、掃除ロボット若しくは床拭きロボット、又は限られた空間内を走行する必要がある他の任意のロボットであってもよい。
In one exemplary embodiment,
本開示の上記の説明では、初期地図は第１地図及び第２地図を含み、第１地図は作業領域と地図座標系とのマッピングを含み、第２地図は、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含むことを説明しているが、第１地図及び第２地図は単独した２つの地図として作成、記憶されず、同一の地図において作成、記憶されてもよい。初期地図に作業領域と地図座標系とのマッピングが含まれ、且つ収集された画像に基づいて抽出されたシーン特徴及び該シーン特徴の幾何学的量が含まれば、初期地図に第１地図及び第２地図が含まれると見なされてもよい。 In the above description of the present disclosure, the initial map includes a first map and a second map, the first map includes a mapping between the work area and the map coordinate system, and the second map is based on the collected scene images. Although it is described that the extracted scene feature, the geometric amount of the scene feature, and the scene image from which the scene feature is extracted are included, the first map and the second map are created as two independent maps, Instead of being stored, it may be created and stored in the same map. If the initial map includes the mapping between the work area and the map coordinate system, and the scene feature extracted based on the collected images and the geometric amount of the scene feature are included, the initial map includes the first map and The second map may be considered to be included.
本開示の例示的な実施例では、コンピュータプログラムが記憶されている記憶媒体をさらに提供し、該コンピュータプログラムは、例えば処理装置により実行される際に、上記の何れかの実施例に係るロボットの地図構築方法のステップを実行してもよい。１つの態様では、本開示の各態様は、プログラムコードを含むプログラムプロダクトの形で実現されてもよく、該プログラムプロダクトが端末装置において実行される際に、該プログラムコードは、該端末装置に、本明細書のロボットの地図構築方法の部分に説明された本開示に係る各例示的な態様のステップを実行させる。 According to an exemplary embodiment of the present disclosure, a storage medium having a computer program stored therein is further provided, and the computer program is stored in a robot according to any one of the above embodiments when the computer program is executed by a processing device, for example. The steps of the map building method may be performed. In one aspect, each aspect of the present disclosure may be implemented in the form of a program product including a program code, and when the program product is executed in a terminal device, the program code is transmitted to the terminal device. The steps of each exemplary aspect according to the present disclosure described in the part of the method for constructing a map of the robot herein are executed.
図１０は本開示の例示的な実施例に係る上記方法を実現するためのプログラムプロダクト９００を示しており、該プログラムプロダクト９００は、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）を使用し、プログラムコードを含み、例えばパーソナルコンピュータ等の端末装置で実行されてもよい。なお、本開示のプログラムプロダクトはこれに限定されず、本明細書では、読み取り可能な記憶媒体は、プログラムを含み、或いは記憶している任意の有形媒体であってもよく、該プログラムは、命令実行システム、装置又はデバイスにより使用され、或いはその組み合わせにより使用されてもよい。
FIG. 10 shows a
プログラムプロダクトは、１つ又は複数の読み取り可能な媒体の任意の組み合わせを採用してもよい。読み取り可能な媒体は、読み取り可能な信号媒体又は読み取り可能な記憶媒体であってもよい。読み取り可能な記憶媒体は、例えば電気、磁気、光、電磁気、赤外線又は半導体のシステム、装置、デバイス又はそれらの任意の組み合わせであってもよいが、これらに限定されない。読み取り可能な記憶媒体の具体的な例（非網羅的リスト）は、１本又は複数本の導線を含む電気的接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、書き込み・消去可能な読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又はそれらの任意の適切な組み合わせを含む。 The program product may employ any combination of one or more readable media. The readable medium may be a readable signal medium or a readable storage medium. A readable storage medium may be, for example, without limitation, an electrical, magnetic, optical, electromagnetic, infrared or semiconductor system, device, device or any combination thereof. Specific examples of readable storage media (non-exhaustive list) include electrical connections containing one or more conductors, portable disks, hard disks, random access memory (RAM), read only memory (ROM), Includes writable and erasable read-only memory (EPROM or flash memory), optical fiber, portable compact disc read-only memory (CD-ROM), optical storage, magnetic storage, or any suitable combination thereof.
コンピュータ読み取り可能な記憶媒体は、ベースバンド内で、又はキャリアの一部として伝搬されるデータ信号を含んでもよく、読み取り可能なプログラムコードをキャリーしている。このような伝搬されるデータ信号は、様々な形態を採用してもよく、電磁信号、光信号又はそれらの任意の適切な組み合わせを含んでもよいが、これらに限定されない。読み取り可能な記憶媒体は、読み取り可能な記憶媒体以外の任意の読み取り可能な媒体であってもよく、該読み取り可能な媒体は、命令実行システム、装置又はデバイスにより使用され、或いはその組み合わせにより使用されるプログラムを送信、伝搬、伝送してもよい。読み取り可能な記憶媒体に含まれるプログラムコードは、無線、有線、光ケーブル、ＲＦ又はそれらの任意の適切な組み合わせを含む任意の適切な媒体により伝送されてもよいが、それらの媒体に限定されない。 A computer-readable storage medium may include a data signal propagated in baseband or as part of a carrier, carrying a readable program code. Such propagated data signals may take various forms, including but not limited to electromagnetic signals, optical signals or any suitable combination thereof. The readable storage medium may be any readable medium other than the readable storage medium, and the readable medium is used by an instruction execution system, an apparatus or a device, or a combination thereof. The program may be transmitted, propagated, or transmitted. The program code contained in a readable storage medium may be transmitted by any suitable medium including, but not limited to, wireless, wireline, optical cable, RF or any suitable combination thereof.
本開示の処理を実行するためのプログラムコードは１つ又は複数のプログラミング言語の任意の組み合わせにより作成されてもよく、該プログラミング言語は、Ｊａｖａ（登録商標）、Ｃ＋＋等のオブジェクト指向のプログラム設計言語を含み、「Ｃ」言語又はそれと類似するプログラミング言語等の通常の手続き型プログラミング言語をさらに含む。プログラムコードは、テナントコンピューティングデバイスで完全又は部分的に実行されてもよいし、独立したソフトウェアパッケージとして実行あされてもよいし、部分的にテナントコンピューティングデバイスで実行され、且つ部分的にリモートコンピューティングデバイスで実行されてもよいし、完全にリモートコンピューティングデバイス又はサーバで実行されてもよい。リモートコンピューティングデバイスの場合には、リモートコンピューティングデバイスは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のネットワークを介してテナントコンピューティングデバイスに接続されてもよいし、外部コンピュータデバイスに接続されてもよい（例えばインターネットサービスプロバイダによりインターネットを介して接続される）。 The program code for executing the processing of the present disclosure may be created by any combination of one or more programming languages, and the programming language is an object-oriented program design language such as Java (registered trademark) or C++. And further includes conventional procedural programming languages such as the "C" language or similar programming languages. The program code may be fully or partially executed on the tenant computing device, may be executed as an independent software package, partially executed on the tenant computing device, and partially remote. It may be run on a computing device or entirely on a remote computing device or server. In the case of a remote computing device, the remote computing device may be connected to the tenant computing device via any network, including a local area network (LAN) or wide area network (WAN), or an external computer. It may be connected to the device (eg connected by the Internet service provider via the Internet).
本開示の例示的な実施例では、電子機器をさらに提供し、該電子機器は、処理装置（例えば上記の処理装置４３０）、及び該処理装置により実行可能な命令が記憶されている記憶媒体を含んでもよい。ここで、該処理装置は、該実行可能な命令を実行することで、上記の何れかの実施例に係るロボットの地図構築方法のステップを実行するように構成されている。
The exemplary embodiments of the present disclosure further provide an electronic device, the electronic device comprising a processing device (eg, the
当業者が分かるように、本開示の各態様はシステム、方法又はプログラムプロダクトとして実現されてもよい。従って、本開示の様々な態様は、以下の形で具体的に実現されてもよく、即ち完全なハードウェア実装形態、完全なソフトウェア実装形態（ファームウェア、マイクロコード等を含む）、又はハードウェアとソフトウェアの態様の組合せの形で実現されもよく、ここで「回路」、「モジュール」又は「システム」とまとめて称される。 As will be appreciated by one of skill in the art, each aspect of the present disclosure may be implemented as a system, method or program product. Accordingly, various aspects of the disclosure may be specifically embodied in the following forms: complete hardware implementation, complete software implementation (including firmware, microcode, etc.), or hardware. It may also be implemented in the form of a combination of software aspects and is collectively referred to herein as a “circuit”, a “module” or a “system”.
以下は、図１１を参照しながら本開示のこのような実施形態に係る電子機器１０００を説明する。図１１に示す電子機器１０００は単なる一例であり、本開示の実施例の機能及び使用範囲を限定するものではない。
Hereinafter, an
図１１に示すように、電子機器１０００は、汎用計算装置の形で表されている。電子機器１０００の構成要件は、少なくとも１つの処理部１０１０、少なくとも１つの記憶部１０２０、及び異なるシステム構成要件（記憶部１０２０及び処理部１０１０（例えば上記の処理装置４３０）を含む）を接続させるバス１０３０を含んでもよいが、これに限定されない。
As shown in FIG. 11, the
ここで、記憶部はプログラムコードを記憶し、プログラムコードは処理部１０１０により実行されることで、処理部１０１０に本明細書の上記のロボットの地図構築方法における本開示の各実施例の態様のステップを実行させてもよい。例えば、処理部１０１０は図１に示すステップを実行してもよい。
Here, the storage unit stores the program code, and the program code is executed by the
記憶部１０２０は、例えば、ランダムアクセス記憶部（ＲＡＭ）１０２０１及び／又はキャッシュ記憶部１０２０２等の揮発性記憶部の形の読み取り可能な媒体を含んでもよくし、読み取り専用記憶部（ＲＯＭ）１０２０３をさらに含んでもよい。
記憶部１０２０は、１組（少なくとも１つ）のプログラムモジュール１０２０５を有するプログラム／ユーティリティ・ツール１０２０４をさらに含んでもよく、このようなプログラムモジュール１０２０５は、オペレーティングシステム、１つ又は複数のアプリケーションプログラム、他のプログラムモジュール、及びプログラムデータを含むが、これらに限定されず、これらの例の何れか及びその組み合わせはネットワーク環境により実現されてもよい。
The
バス１０３０は、バス構造の何れか又は複数で表されてもよく、記憶部バス又は記憶部制御装置、周辺バス、グラフィックスアクセラレーションポート、処理部、又はそれらの複数のバス構造のうち任意のバス構造を用いるローカルエリアバスを含む。
The
電子機器１０００は、また、１つ又は複数の外部装置１１００（例えば、キーボード、ポインティングデバイス、ブルートゥース（登録商標）装置など）と通信してもよいし、テナントに電子機器１０００とインタラクションを行わせるための１つ又は複数の装置と通信してもよいし、電子機器１０００に他の１つ又は複数の計算装置と通信させるための任意の装置（例えばルータ、モデム等）と通信してもよい。このような通信は、入力／出力（Ｉ／Ｏ）インタフェース１０５０を介して行われてもよい。また、電子機器１０００は、ネットワークアダプタ１０６０を介して１つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び／又はインターネット等の公衆ネットワーク）と通信してもよい。ネットワークアダプタ１０６０は、バス１０３０を介して電子機器１０００の他のモジュールと通信してもよい。なお、図面には示されていないが、電子機器１０００と共に他のハードウェア及び／又はソフトウェアのモジュールを用いてもよく、該モジュールは、マイクロコード、デバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ及びデータバックアップ記憶システム等を含むが、これらに限定されない。
The
以上の実施形態の説明を通して、当業者が分かるように、ここで説明されている例示的な実施形態は、ソフトウェアにより実現されてもよいし、ソフトウェアとハードウェアとの組み合わせにより実現されてもよい。従って、本開示の実施形態に係る構成はソフトウェアプロダクトの形で実現されてもよく、該ソフトウェアプロダクトは、不揮発性記憶媒体（ＣＤ−ＲＯＭ、ＵＳＢフラッシュドライブ、モバイルハードディスク等であってもよい）又はネットワークに記憶されてもよく、コンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワークデバイス等であってもよい）に本開示の実施形態に係る上記のロボットの地図構築方法を実行させるための複数の命令を含む。 As will be appreciated by those skilled in the art through the above description of the embodiments, the exemplary embodiments described herein may be realized by software or a combination of software and hardware. .. Therefore, the configuration according to the embodiment of the present disclosure may be realized in the form of a software product, which may be a non-volatile storage medium (which may be a CD-ROM, a USB flash drive, a mobile hard disk, etc.) or A plurality of instructions may be stored in a network and cause a computer device (which may be a personal computer, a server, a network device, or the like) to execute the above robot map building method according to the embodiment of the present disclosure. Including.
以上は具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び変更を行ってもよく、これらの変形及び変更も本発明の範囲に属する。 Although the present invention has been described above with reference to specific embodiments, the above description is merely illustrative and does not limit the scope of protection of the present invention. Various modifications and changes may be made to the present invention without departing from the spirit and principle of the present invention, and these modifications and changes also belong to the scope of the present invention.
Claims (16)
前記初期地図は第１地図及び第２地図を含み、前記第１地図は前記作業領域と地図座標系とのマッピングを含み、前記第２地図は、前記ロボットの該シーン画像を収集する時の位置姿勢に対応付けて記憶された、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含み、前記位置姿勢は前記ロボットの第１地図における座標及び向きを含み、前記シーン特徴はシーンにおける特徴物体の特徴及び／又は前記シーン画像の特徴を含む、コンピュータにより実現される方法。 Causing the robot to scan the work area according to a predetermined rule and constructing an initial map based on scene images collected in real time during the scanning by the robot,
The initial map includes a first map and a second map, the first map includes a mapping between the work area and a map coordinate system, and the second map is a position of the robot when the scene images are collected. The position and orientation include the scene feature extracted based on the collected scene images stored in association with the posture, the geometric amount of the scene feature, and the scene image from which the scene feature is extracted, and the position and orientation are the robots. A computer-implemented method comprising coordinates and orientations on a first map of the scene features, the scene features including features of feature objects in a scene and/or features of the scene image.
前記ロボットを前記作業領域の境界に沿って走行させ、輪郭地図を構築するステップと、
前記ロボットを前記輪郭地図に基づいて前記輪郭地図内の走査経路を計画させ、前記走査経路に沿って走行させ、内部地図を構築するステップと、
前記輪郭地図及び前記内部地図を用いて前記初期地図を構成するステップと、を含む、請求項１に記載の方法。 The step of causing the robot to scan a work area according to a predetermined rule and constructing an initial map based on a scene image collected in real time during scanning by the robot,
Running the robot along the boundary of the work area to construct a contour map;
A step of causing the robot to plan a scanning route in the contour map based on the contour map, traveling along the scanning route, and constructing an internal map;
Constructing the initial map using the contour map and the internal map.
前記ロボットがシーン画像を収集する方向を順方向とし、前記ロボットを順方向に沿って走行させるステップと、
前記ロボットが障害対象を認識した場合、前記ロボットを前記障害対象の境界に沿って走行させるように前記ロボットの前記順方向に沿う走行方向を転換するステップと、をさらに含む、請求項２に記載の方法。 The step of running the robot along the boundary of the work area comprises:
A direction in which the robot collects scene images is a forward direction, and the robot runs along the forward direction;
When the robot recognizes an obstacle target, changing the traveling direction of the robot along the forward direction so as to cause the robot to travel along a boundary of the obstacle subject, further comprising: the method of.
前記ロボットを前記障害対象の境界に沿って走行させるステップは、
前記ロボットが前記第１位置に再び走行した場合、前記障害対象が前記作業領域内の障害物又は前記作業領域の境界であるかを判断するステップと、
前記障害対象が前記作業領域内の障害物である場合、前記ロボットを前記順方向に沿って走行させるように前記ロボットの前記障害対象の境界に沿う走行方向を転換するステップと、
前記障害対象が前記作業領域の境界である場合、前記作業領域の境界に沿う走行が完了したと決定するステップと、をさらに含む、請求項３に記載の方法。 When the robot recognizes the obstacle target, the current position of the robot is determined as the first position,
The step of running the robot along the boundary of the obstacle is
Determining whether the obstacle target is an obstacle in the work area or a boundary of the work area when the robot travels to the first position again;
When the obstacle target is an obstacle in the work area, a step of changing the traveling direction along the boundary of the obstacle target of the robot so as to cause the robot to travel along the forward direction,
The method according to claim 3, further comprising: if the obstacle target is a boundary of the work area, determining that traveling along the boundary of the work area is completed.
前記位置姿勢の照会は、
前記ロボットによりリアルタイムで収集された画像からのシーン特徴と前記シーン・データベースに記憶されたシーン特徴とをマッチングし、マッチしたシーン特徴と前記ロボットによりリアルタイムで収集された画像のシーン特徴とを比較することで前記ロボットのリアルタイム位置姿勢と前記ロボットの該シーン画像を収集する時の位置姿勢との差を決定し、前記ロボットの該シーン画像を収集する時の位置姿勢に基づいて前記ロボットのリアルタイム位置姿勢を決定すること、を含む、請求項１に記載の方法。 The initial map is used for inquiry of position and orientation,
The inquiry of the position and orientation is
Matching scene features from images collected in real time by the robot with scene features stored in the scene database and comparing the matched scene features to scene features in images collected in real time by the robot. By determining the difference between the real-time position and orientation of the robot and the position and orientation of the robot when collecting the scene image, and the real-time position of the robot based on the position and orientation of the robot when collecting the scene image. The method of claim 1, comprising determining a pose.
前記ロボットによりリアルタイムで収集された画像に基づいて、前記シーン・データベースとのマッチングにより、推定位置姿勢を取得するステップと、
前記ロボットによりリアルタイムで収集された画像及び前記推定位置姿勢に基づいて、前記ロボットの正確位置姿勢を決定するステップと、
前記正確位置姿勢、前記推定位置姿勢にマッチしたシーン特徴、該シーン特徴に対応する幾何学的量、及び前記ロボットによりリアルタイムで収集された画像に基づいて、更新されたシーン画像、更新されたシーン特徴、及び更新されたシーン特徴に対応する幾何学的量を決定するステップと、
前記正確位置姿勢、更新されたシーン画像、更新されたシーン特徴、及び更新されたシーン特徴に対応する幾何学的量に基づいて、前記シーン・データベースを更新するステップと、を含む、請求項７に記載の方法。 Iteratively updating the initial map based on images collected in real time while the robot is working in the work area,
Acquiring an estimated position and orientation by matching with the scene database based on the image collected in real time by the robot,
Determining an accurate position and orientation of the robot based on the image and the estimated position and orientation collected in real time by the robot;
An updated scene image and an updated scene based on the accurate position and orientation, a scene feature that matches the estimated position and orientation, a geometric amount corresponding to the scene feature, and an image collected by the robot in real time. Determining a feature and a geometric quantity corresponding to the updated scene feature;
Updating the scene database based on the exact pose, the updated scene image, the updated scene features, and the geometric quantities corresponding to the updated scene features. The method described in.
前記ロボットによりリアルタイムで収集された画像からのシーン特徴と前記シーン・データベースに記憶されたシーン特徴とをマッチングし、マッチしたシーン特徴と前記ロボットによりリアルタイムで収集された画像のシーン特徴とを比較することで前記ロボットのリアルタイム位置姿勢と前記ロボットの該シーン画像を収集する時の位置姿勢との差を決定し、前記ロボットの該シーン画像を収集する時の位置姿勢に基づいて前記ロボットの現在位置姿勢を決定すること、を含む、請求項９に記載の方法。 The step of determining the current position and orientation of the robot includes
Matching scene features from images collected in real time by the robot with scene features stored in the scene database and comparing the matched scene features to scene features in images collected in real time by the robot. The difference between the real-time position and orientation of the robot and the position and orientation of the robot when collecting the scene images is determined, and the current position of the robot is determined based on the position and orientation of the robot when collecting the scene images. The method of claim 9, comprising determining a pose.
前記ロボットを移動させるように駆動するモータと、
処理装置と、を含み、
前記処理装置は、ロボットを所定のルールに従って作業領域を走査させ、前記ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するように構成され、
前記初期地図は第１地図及び第２地図を含み、前記第１地図は前記作業領域と地図座標系とのマッピングを含み、前記第２地図は、前記ロボットの該シーン画像を収集する時の位置姿勢に対応付けて記憶された、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含み、前記位置姿勢は前記ロボットの第１地図における座標及び向きを含み、前記シーン特徴はシーンにおける特徴物体の特徴及び／又は前記シーン画像の特徴を含む、ロボット。 At least a sensor that collects images around the robot in real time,
A motor for driving the robot to move,
And a processing device,
The processing device is configured to cause a robot to scan a work area according to a predetermined rule, and to construct an initial map based on a scene image collected by the robot in real time during scanning,
The initial map includes a first map and a second map, the first map includes a mapping between the work area and a map coordinate system, and the second map is a position of the robot when the scene images are collected. The position and orientation include the scene feature extracted based on the collected scene images stored in association with the posture, the geometric amount of the scene feature, and the scene image from which the scene feature is extracted, and the position and orientation are the robots. A robot including coordinates and orientation on a first map of the scene, and wherein the scene features include features of a feature object in a scene and/or features of the scene image.
コンピュータプログラムが記憶されている記憶媒体と、を含み、
前記コンピュータプログラムは、前記処理装置により実行される際に、請求項１乃至８の何れかに記載の方法のステップを実行する、電子機器。 A processing device,
A storage medium in which a computer program is stored,
An electronic device that executes the steps of the method according to any one of claims 1 to 8, when the computer program is executed by the processing device.
前記コンピュータプログラムは、処理装置により実行される際に、請求項１乃至８の何れかに記載の方法のステップを実行する、記憶媒体。 A storage medium in which a computer program is stored,
A storage medium that, when executed by a processing device, executes the steps of the method according to any of claims 1-8.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811463300.8A CN109682368B (en) | 2018-11-30 | 2018-11-30 | Robot, map construction method, positioning method, electronic device and storage medium |
| CN201811463300.8 | 2018-11-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6632173B1 JP6632173B1 (en) | 2020-01-22 |
| JP2020087415A true JP2020087415A (en) | 2020-06-04 |
Family
ID=66186017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019085128A Active JP6632173B1 (en) | 2018-11-30 | 2019-04-26 | Robot map construction and position estimation |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP3660618B1 (en) |
| JP (1) | JP6632173B1 (en) |
| KR (1) | KR102433743B1 (en) |
| CN (1) | CN109682368B (en) |
| WO (1) | WO2020107772A1 (en) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110202570B (en) * | 2019-05-13 | 2022-07-05 | 深圳创动科技有限公司 | Robot, method of controlling movement of robot, and storage medium |
| CN112711249B (en) * | 2019-10-24 | 2023-01-03 | 科沃斯商用机器人有限公司 | Robot positioning method and device, intelligent robot and storage medium |
| CN111028658A (en) * | 2019-11-18 | 2020-04-17 | 杭州晶一智能科技有限公司 | Mowing robot electronic map construction method based on GPS and online map |
| CN111199677B (en) * | 2019-12-25 | 2022-02-18 | 邦鼓思电子科技（上海）有限公司 | Automatic work map establishing method and device for outdoor area, storage medium and working equipment |
| CN113138593A (en) * | 2020-01-02 | 2021-07-20 | 苏州宝时得电动工具有限公司 | Autonomous robot map creation method, device, equipment and storage medium |
| WO2021208416A1 (en) * | 2020-04-17 | 2021-10-21 | 宝时得科技（中国）有限公司 | Methods for self-moving device, terminal and server to automatically update data model |
| CN113822094B (en) * | 2020-06-02 | 2024-01-16 | 苏州科瓴精密机械科技有限公司 | Method, system, robot and storage medium for identifying working position based on image |
| CN113806377B (en) * | 2020-06-12 | 2023-08-18 | 未岚大陆(北京)科技有限公司 | Map updating method, device and storage medium |
| CN114111779A (en) * | 2020-08-26 | 2022-03-01 | 深圳市杉川机器人有限公司 | Method for establishing work area map and self-moving equipment |
| CN112223281A (en) * | 2020-09-27 | 2021-01-15 | 深圳市优必选科技股份有限公司 | Robot and positioning method and device thereof |
| CN112215863B (en) * | 2020-10-13 | 2023-08-29 | 北京易控智驾科技有限公司 | Method and system for detecting multi-step operation scene of strip mine loading area |
| CN112833890A (en) * | 2020-12-30 | 2021-05-25 | 深圳市海柔创新科技有限公司 | Map construction method, map construction device, map construction equipment, robot and storage medium |
| CN112869639B (en) * | 2021-01-29 | 2022-06-14 | 深圳拓邦股份有限公司 | Robot recharging exploration method and device and sweeping robot |
| CN113419249A (en) * | 2021-06-18 | 2021-09-21 | 珠海市一微半导体有限公司 | Repositioning method, chip and mobile robot |
| CN113688678B (en) * | 2021-07-20 | 2024-04-12 | 深圳市普渡科技有限公司 | Road sign multi-ambiguity processing method, robot and storage medium |
| CN113670292B (en) * | 2021-08-10 | 2023-10-20 | 追觅创新科技(苏州)有限公司 | Map drawing method and device, sweeper, storage medium and electronic device |
| CN114494848B (en) * | 2021-12-21 | 2024-04-16 | 重庆特斯联智慧科技股份有限公司 | Method and device for determining vision path of robot |
| CN116466693A (en) * | 2022-01-11 | 2023-07-21 | 未岚大陆(北京)科技有限公司 | Map processing method, self-moving gardening equipment and automatic mower |
| CN114578727A (en) * | 2022-01-29 | 2022-06-03 | 深圳市云鼠科技开发有限公司 | Service logic control method for cleaning robot |
| CN114543808A (en) * | 2022-02-11 | 2022-05-27 | 杭州萤石软件有限公司 | Indoor relocation method, device, equipment and storage medium |
| CN116965745A (en) * | 2022-04-22 | 2023-10-31 | 追觅创新科技(苏州)有限公司 | Coordinate repositioning method and system and cleaning robot |
| CN115657674B (en) * | 2022-10-26 | 2023-05-05 | 宝开(上海)智能物流科技有限公司 | Distributed path planning method and device based on graph neural network |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017097538A (en) * | 2015-11-20 | 2017-06-01 | 日本精工株式会社 | Mobile robot system |
| JP2017093626A (en) * | 2015-11-19 | 2017-06-01 | シャープ株式会社 | Self-travelling electronic apparatus |
| JP2017198517A (en) * | 2016-04-27 | 2017-11-02 | 株式会社国際電気通信基礎技術研究所 | Three dimensional map generation system |
| JP2018017900A (en) * | 2016-07-28 | 2018-02-01 | シャープ株式会社 | Map preparation method and map preparation device |
| CN108089585A (en) * | 2018-01-06 | 2018-05-29 | 深圳慎始科技有限公司 | A kind of sweeping robot with map structuring and navigation |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005339408A (en) * | 2004-05-28 | 2005-12-08 | Toshiba Corp | Self-traveling robot and its control method |
| KR100843085B1 (en) * | 2006-06-20 | 2008-07-02 | 삼성전자주식회사 | Method of building gridmap in mobile robot and method of cell decomposition using it |
| KR101503903B1 (en) * | 2008-09-16 | 2015-03-19 | 삼성전자 주식회사 | Apparatus and method for building map used in mobile robot |
| CN101727756B (en) * | 2008-10-16 | 2012-07-25 | 财团法人工业技术研究院 | Mobile image-aided guidance method and mobile image-aided guidance system for vehicles |
| US8185239B2 (en) * | 2008-11-13 | 2012-05-22 | MSI Computer (Shenzhen) Co, Ltd. | Moving route planning method and navigation method for avoiding dynamic hindrances for mobile robot device |
| CN103278170B (en) * | 2013-05-16 | 2016-01-06 | 东南大学 | Based on mobile robot's cascade map creating method that remarkable scene point detects |
| WO2016208067A1 (en) * | 2015-06-26 | 2016-12-29 | 日産自動車株式会社 | Vehicle position determination device and vehicle position determination method |
| CN105928505B (en) * | 2016-04-19 | 2019-01-29 | 深圳市神州云海智能科技有限公司 | The pose of mobile robot determines method and apparatus |
| CN105973246A (en) * | 2016-04-29 | 2016-09-28 | 海尔优家智能科技（北京）有限公司 | Drawing method and apparatus of geomagnetic map, and robot |
| US9964955B2 (en) * | 2016-08-04 | 2018-05-08 | Canvas Technology, Inc. | System and methods of determining a geometric pose of a camera based on spatial and visual mapping |
| JP6976050B2 (en) * | 2016-11-07 | 2021-12-01 | 日産自動車株式会社 | Posture estimation method of parking control device and posture estimation device |
| CN106863305B (en) * | 2017-03-29 | 2019-12-17 | 赵博皓 | Floor sweeping robot room map creating method and device |
| CN107167148A (en) * | 2017-05-24 | 2017-09-15 | 安科机器人有限公司 | Synchronous superposition method and apparatus |
| CN108106616B (en) * | 2017-12-13 | 2020-07-28 | 深圳市艾特智能科技有限公司 | Method and system for self-building navigation map and intelligent equipment |
| CN107943058A (en) * | 2017-12-26 | 2018-04-20 | 北京面面俱到软件有限公司 | Sweeping robot and its cleaning paths planning method |
| CN108225348B (en) * | 2017-12-29 | 2021-08-24 | 百度在线网络技术（北京）有限公司 | Map creation and moving entity positioning method and device |
| CN108717710B (en) * | 2018-05-18 | 2022-04-22 | 京东方科技集团股份有限公司 | Positioning method, device and system in indoor environment |
| CN108759844B (en) * | 2018-06-07 | 2021-11-16 | 科沃斯商用机器人有限公司 | Robot repositioning and environment map constructing method, robot and storage medium |
-
2018
- 2018-11-30 CN CN201811463300.8A patent/CN109682368B/en active Active
-
2019
- 2019-04-11 KR KR1020207034113A patent/KR102433743B1/en active IP Right Grant
- 2019-04-11 WO PCT/CN2019/082290 patent/WO2020107772A1/en active Application Filing
- 2019-04-26 JP JP2019085128A patent/JP6632173B1/en active Active
- 2019-04-29 EP EP19171604.2A patent/EP3660618B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017093626A (en) * | 2015-11-19 | 2017-06-01 | シャープ株式会社 | Self-travelling electronic apparatus |
| JP2017097538A (en) * | 2015-11-20 | 2017-06-01 | 日本精工株式会社 | Mobile robot system |
| JP2017198517A (en) * | 2016-04-27 | 2017-11-02 | 株式会社国際電気通信基礎技術研究所 | Three dimensional map generation system |
| JP2018017900A (en) * | 2016-07-28 | 2018-02-01 | シャープ株式会社 | Map preparation method and map preparation device |
| CN108089585A (en) * | 2018-01-06 | 2018-05-29 | 深圳慎始科技有限公司 | A kind of sweeping robot with map structuring and navigation |
Non-Patent Citations (1)
| Title |
|---|
| 友納 正裕: "ユークリッド変換に不変な特徴量を用いた二次元大域スキャンマッチング方式", 日本ロボット学会誌, vol. 第２５巻 第３号, JPN6019026648, 15 April 2007 (2007-04-15), JP, pages 66 - 77, ISSN: 0004079275 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020107772A1 (en) | 2020-06-04 |
| CN109682368B (en) | 2021-07-06 |
| KR20210005925A (en) | 2021-01-15 |
| CN109682368A (en) | 2019-04-26 |
| EP3660618B1 (en) | 2020-12-23 |
| EP3660618A1 (en) | 2020-06-03 |
| KR102433743B1 (en) | 2022-08-18 |
| JP6632173B1 (en) | 2020-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6632173B1 (en) | Robot map construction and position estimation | |
| US10611028B1 (en) | Map building and positioning of robot | |
| US20210109537A1 (en) | Autonomous exploration framework for indoor mobile robotics using reduced approximated generalized voronoi graph | |
| CN110858076B (en) | Equipment positioning and grid map construction method and mobile robot | |
| CN113110457B (en) | Autonomous coverage inspection method for intelligent robot in indoor complex dynamic environment | |
| Holz et al. | Sancta simplicitas-on the efficiency and achievable results of SLAM using ICP-based incremental registration | |
| Lázaro et al. | Efficient long-term mapping in dynamic environments | |
| CN112880694B (en) | Method for determining the position of a vehicle | |
| Chen et al. | An enhanced dynamic Delaunay triangulation-based path planning algorithm for autonomous mobile robot navigation | |
| Berrio et al. | Identifying robust landmarks in feature-based maps | |
| Garrote et al. | Mobile robot localization with reinforcement learning map update decision aided by an absolute indoor positioning system | |
| Tsuru et al. | Online object searching by a humanoid robot in an unknown environment | |
| Meng et al. | Intelligent robotic system for autonomous exploration and active SLAM in unknown environments | |
| Sui et al. | Design of household cleaning robot based on low-cost 2D LiDAR SLAM | |
| CN109389677B (en) | Real-time building method, system, device and storage medium of house three-dimensional live-action map | |
| CN116520302A (en) | Positioning method applied to automatic driving system and method for constructing three-dimensional map | |
| AU2021273605B2 (en) | Multi-agent map generation | |
| CN112987720A (en) | Multi-scale map construction method and construction device for mobile robot | |
| Ali et al. | Robot Operating System-Based SLAM for a Gazebo-Simulated Turtlebot2 in 2d Indoor Environment with Cartographer Algorithm | |
| Zou et al. | Static map reconstruction and dynamic object tracking for a camera and laser scanner system | |
| Almanza-Ojeda et al. | Occupancy map construction for indoor robot navigation | |
| CN117537803B (en) | Robot inspection semantic-topological map construction method, system, equipment and medium | |
| Priyasad et al. | Point cloud based autonomous area exploration algorithm | |
| Khnissi et al. | Implementation of a new-optimized ROS-based SLAM for mobile robot | |
| US20240027224A1 (en) | Method for recognizing an erroneous map of an environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190510 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190510 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190716 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191209 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6632173 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |