CN117232493A - 针对slam的用于确定周围环境中的对象的方法 - Google Patents

针对slam的用于确定周围环境中的对象的方法 Download PDF

Info

Publication number
CN117232493A
CN117232493A CN202310713685.3A CN202310713685A CN117232493A CN 117232493 A CN117232493 A CN 117232493A CN 202310713685 A CN202310713685 A CN 202310713685A CN 117232493 A CN117232493 A CN 117232493A
Authority
CN
China
Prior art keywords
slam
objects
data set
mobile device
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310713685.3A
Other languages
English (en)
Inventor
C·朱埃特
N·瓦斯克维丘斯
P·比伯
R·萨布泽瓦里
S·本兹
T·林德尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN117232493A publication Critical patent/CN117232493A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622—Obstacle avoidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种使用SLAM和周围环境中的移动设备确定在所述周围环境中的对象的方法，所述移动设备具有至少一个用于检测对象和/或周围环境信息的传感器，所述方法包括：提供传感器数据(202)，执行对象识别(210)以获取关于所识别的对象的第一对象数据集(212)；对新的SLAM数据集(214)执行对象跟踪(222)，其中包括将通过所述对象识别所识别的对象分配(218)给真实对象，以便获取关于在所述SLAM图中要考虑的真实对象的第二对象数据集(220)。

Description

针对SLAM的用于确定周围环境中的对象的方法
技术领域
本发明涉及一种使用SLAM和周围环境中的移动设备确定该周围环境中的对象的方法以及用于数据处理的系统、用于执行该方法的计算机程序以及移动设备。
背景技术
至少部分自动移动的诸如车辆或机器人之类的移动设备通常在周围环境中移动，特别是在要处理的周围环境或工作区域，例如住宅、花园中、工厂车间中或街道上，在空中或水中移动。这种或任何其他移动设备的基本问题之一在于判定方位，即知道周围环境看起来怎样，即特别是障碍物或其他对象在哪里以及自身(绝对)在哪里。为此，移动设备装备有各种传感器，例如相机、激光雷达传感器或还有惯性传感器，借助这些传感器例如二维或三维地检测周围环境和移动设备的移动。这使得移动设备能够在本地移动，及时识别到障碍物并绕过它们。
如果移动设备的绝对位置也是已知的，例如从附加的GPS传感器已知，则可以构建地图。在此，移动设备测量可能的障碍物相对于该移动设备的位置，然后可以使用其已知位置来确定障碍物的绝对位置，然后将其输入到地图中。但是，这仅在外部提供的位置信息的情况下起作用。
作为SLAM(“Simultaneous Localization and Mapping：同步定位与地图构建”)而说明机器人技术中的一种方法，在该方法中，例如机器人这样的移动设备可以或必须同时创建其周围环境的地图并估计其在该地图内的空间方位。其因此用于识别障碍物，从而支持自主导航。
发明内容
根据本发明，提出了具有独立专利权利要求的特征的用于确定周围环境中的对象的方法和用于数据处理的系统、用于执行该方法的计算机程序和移动设备。有利的设计方案是从属权利要求和以下描述的主题。
本发明涉及SLAM的主题及其在移动设备中的应用。这种移动设备(或者也称为移动工作设备)的示例例如是机器人和/或无人机和/或也可以是半自动或(完全)自动地(在陆地、水上或空中)移动的车辆。作为机器人例如可考虑家用机器人，例如吸尘和/或扫地机器人、地面或道路清洁设备或割草机器人，但也可以考虑其他所谓的服务机器人，作为至少部分自动移动的车辆，例如客运车辆或货运车辆(也即，所谓的陆地运输车，例如在仓库中)，还可以是飞机，例如所谓的无人机，或者是船舶。
这种移动设备尤其具有控制或调节单元和用于移动该移动设备的驱动单元，使得移动设备可以在该周围环境中并且例如沿着轨迹移动。此外，移动设备具有一个或多个传感器，借助这些传感器可以检测周围环境中和/或来自对象(例如在周围环境中的对象，尤其是障碍物)和/或来自移动设备本身的信息。此类传感器的示例是激光雷达传感器或用于确定距离的其他传感器、相机和惯性传感器。例如，也可以考虑(移动设备的)所谓里程计。
在SLAM中，有不同的方法来表示地图和位置。传统的SLAM方法通常完全基于几何信息，例如节点和边或面。点和线例如是或包括可以在周围环境中识别的特征的特定表现形式。另一方面，节点和边是或包括SLAM图的组成部分。SLAM图中的节点和边可以用不同的方式设计；传统上，节点例如对应于移动设备的位姿或特定时间点的特定周围环境特征，而边表示移动设备与周围环境特征之间的相对测量。在当前情况下，节点和边例如也可以用其他方式表示；例如，节点不仅可以包含对象的位姿，还可以包含其尺寸或颜色，稍后将对此进行更详细的解释。
几何SLAM本身是已知的，并且例如表示为位姿图优化(位姿在此代表位置和定向)，其中使用同时重建的密集地图跟踪移动设备(或那里的传感器)。在此上下文中，下面还论及SLAM图，其中包含现有的信息。这例如在“Giorgio Grisetti等人的A Tutorial onGraph-Based SLAM，载于：IEEE Intelligent Transportation Systems Magazine 2.4(2010)，第31-43页”中被描述。
特别地，随着所谓的深度学习技术的可用性，SLAM中的重点已经转移到所谓的语义SLAM。除了几何方面，这旨在受益于对场景或周围环境的语义理解，同时给来自深度神经网络的有噪声的语义信息提供时空一致性。
这里的一个方面是处理语义SLAM中的不确定性，即处理有噪声的对象识别(verrauschte Objekterkennung)和由此产生的数据分配歧义。在此背景下，提出了使用SLAM和周围环境中的移动设备来确定、尤其是追踪或跟踪周围环境中的对象的可能性。
为此，提供传感器数据，其包括关于周围环境和/或关于周围环境中的对象和/或关于移动设备的信息，并且通过移动设备的至少一个传感器被检测到或已经检测到。相应地，其因此例如是激光雷达数据(即，例如点云)和/或相机数据(即，例如图像，也是彩色的)，和/或惯性数据(例如，加速度)。典型地，当移动设备在该周围环境中移动或也可能不动而是静止时，此类传感器数据被定期或重复地检测。
然后在传感器数据的基础上进行对象识别，以获取关于所识别的对象的第一对象数据集；这尤其分别针对记录时间窗口(Aufnahmezeitfenster)而进行。记录时间窗口在此应理解为时间窗口或帧，传感器在所述时间窗口或帧中检测数据集，即例如执行激光雷达扫描或记录图像。也可以在执行对象识别之前首先同步和/或预处理传感器数据。这在传感器数据包括通过多个传感器、尤其是不同类型的传感器检测的信息或数据时尤其有利。因此能同时处理不同类型的传感器数据或信息。然后基于经同步的和/或预处理的传感器数据(并且因此仍然总是间接地基于传感器数据本身)进行对象识别。
在对象识别中，然后在传感器数据中识别对象，特别是对于每个记录时间窗口来识别对象。例如，可以在图像和/或激光雷达扫描(点云)中识别对象。相关可识别对象的示例例如是塑料盒、叉车、移动机器人(移动设备本身除外)、椅子、桌子或地上的线条标记。
在这一点上应该提到的是，在这里和下面一般以复数形式谈及对象和其他事物。不言而喻，理论上只有一个对象或根本没有对象存在或被识别。在对象识别的情况下，例如，于是只有一个对象被识别或没有对象被识别，那么被识别的对象的数量是一个或零个。
例如，(执行对象识别的)底层对象探测器可以实现为深度神经网络，该深度神经网络利用彩色图像、深度图像/点云或其组合来工作，如在“Timm Linder等人的Accuratedetection and 3D localization of humans using a novel YOLO-based RGB-D fusionapproach and synthetic training data。载于：2020IEEE International Conferenceon Robotics and Automation(ICRA)。2020年，第1000-1006页”、“Xingyi Zhou，DequanWang，和Philipp的Objects as Points.2019.arXiv：1904.07850”或“Charles R.Qi等人的Frustum PointNets for 3D Object Detection from RGB-D Data，载于：2018IEEE/CVF Conference on Computer Vision and Pattern Recognition，2018年，第918-927页”中所描述。
例如利用监督学习技术(supervised learning(监督式学习))而基于预先标记的数据集训练探测器，尽管也可以应用半监督学习(semi-supervised learning)或自监督方法用于对象识别。对于特定对象，例如那些具有对称形状的对象，关于它们的规范取向的惯例(例如，“前侧”在哪里)也可以由人类注释者(Annotator)先验地规定。
关于所识别的对象的第一对象数据集(即，对于每个所识别的对象都有一个第一对象数据集)优选地分别包括关于空间参数的值，其中，所述空间参数包括位置和/或定向和/或尺寸，尤其是分别也包括所述空间参数的空间不确定性。同样地，关于所识别的对象的第一对象数据集可以例如分别包括关于识别准确度(或识别概率)和/或类别分配(即，例如，它是什么类型的对象)的信息。例如，所识别的对象可以由传感器坐标系中的有向3D边界框(orientierte 3D-Bounding-Box)表示(尽管其他表示也是可能的，例如作为3D质心或实例掩模(3D-Zentroide oder Instanzmasken))。
在这种情况下，3D空间中的每个对象都可以特别由一个9D向量来表示，该向量包括：其位置向量(x，y，z)及其例如以欧拉角(滚动角、俯仰角、偏航角)的方式的定向，它们结合在一起被称为对象的6D位姿；以及空间上的规模(长度、宽度、高度)。
在对象识别的情况下，因此通常识别多个对象，并且确切地说也针对每个记录时间窗口进行识别。所识别的对象或相应的第一对象数据集然后可以例如中间存储在缓冲存储器中。应该提出的是，可以特别是针对每个新的记录时间窗口或在那里获取的传感器数据进行所述对象识别，从而总是添加新的第一对象数据集。此外，第一对象数据集可以包括时间戳以便之后能够实现标识或分配。
然后是针对要添加到SLAM图的新的SLAM数据集而进行对象跟踪。这特别意味着要用新数据来更新SLAM图，其中将自上次更新(即自上次添加SLAM数据集)以来识别的对象分配给已经存在于SLAM图中的对象。这也称为所谓的追踪(Tracken)。如果识别到尚未存在的对象，则可以在SLAM图中创建新对象。
在此特别是考虑自上次添加SLAM数据集(在此也称为所谓的关键帧(keyframe))以来所确定或生成的所有第一对象数据集并存储在例如所提到的缓冲存储器中。为此，优选地首先对第一对象数据集进行变换。如前所述，这些第一对象数据集包括例如对象的6-D位姿；这通常适用于在时间点t的传感器坐标系(CS)S。这个位姿通过对象探测器被确定或已确定。此外，通常有所谓的参考坐标系(CS)R，它描述了传感器坐标系在最后一个关键帧或最后一个SLAM数据集中的位姿。例如，移动设备的里程计来源(Odometriequelle)然后提供变换：
其中针对(CS)R和(CS)S之间的时间步t进行旋转和平移/>为了能够在后续步骤中以有意义的方式对所述识别进行聚合，因此可以将所有所识别的对象的位姿PS及其相应的时间戳t如下所示地变换到公共参考坐标系中：
然后，基于第一对象数据集将自先前的SLAM数据集以来通过对象识别所识别的对象分配给真实对象，以便获取关于在SLAM图中要考虑的真实对象的第二对象数据集。例如，然后可以提供这些第二对象数据集。这里的背景是，在每个记录时间窗口中——自上次SLAM数据集以来通常存在有多个时间窗口——分别识别代表相同真实对象的对象。此外，也可以由多个传感器中的每一个识别代表相同真实对象的对象。换句话说，有多个(通常不同的)第一对象数据集212属于应该最终由用于SLAM图的第二对象数据集来表示的真实对象。
为了所述分配(也称为聚类)而可以例如定义在所识别对象对k和l之间的一维的、单调的(单一的(einfach)或严格单调的)距离度量。例如，所述距离度量dk，l可以特定于对象类别并如此适配，使得其最佳匹配于要识别的对象类型。
在最简单的情况下，dk，l可以是在度量空间中所识别的对象的中心之间的点到点距离。还可以考虑其他对象属性，例如维度范围(Ausdehnung)、定向、颜色等。对于属于不同类别的识别，可以将dk，l设置为(大的)常数，例如无穷大。
因此，所述分配(聚类)的目的是：从先前的关键帧或SLAM数据集(即来自短时间窗口)以来所识别到的都对应于相同的真实对象的对象(或对象识别)的汇总(Zusammenfassung)。例如，如果传感器已经在围绕椅子的圆形轨迹(Bahn)移动，则已经从不同视角观察了该椅子，从而导致对同一把椅子(即同一真实对象)进行多个单独的对象识别。
对每个SLAM数据集执行分配使得对象能够整合到SLAM图中，所述整合在每个SLAM数据集之后或随着每个SLAM数据集进行。这种分配限制了全局优化的计算耗费(与每个记录时间窗口中的优化相比)，使得该系统也能够有效地处理更大的周围环境或场景。此外，随着时间的推移这有助于对在一个记录时间窗口内只能部分观察到的扩展的对象(例如，长线或大架子)进行汇总。最后，所述分配或聚类有助于更鲁棒地处理有噪声的识别(即存在缺失的观察或错误的识别)。
可以使用各种算法用于分配或聚类。由于SLAM数据集通常覆盖相对较短的时间窗口，因此传感器位置不太可能在两个SLAM数据集之间发生显著变化。也可以例如规定，(于是例如根据系统设定)只有在移动设备已经经过了特定的可设定的距离的情况下才触发新的关键帧。因此而实现：传感器位置不会发生显著变化。因此，在静态的场景或周围环境中，例如可以假定：所识别的对象的位姿保持得相对稳定，使得用于关联(Verknüpfung)对同一真实对象的多个识别的简单但计算效率高的策略已经可以提供良好的结果。
优选的算法(所谓的贪心聚类方法)包括：根据分配标准而对所识别的对象进行归类(sortieren)；分别确定两个所识别的对象之间的距离度量；并且将距离度量低于预给定的距离阈值的两个所识别的对象分别分配给相同的真实对象。这将在下面更详细地描述。
可以假定：自上次SLAM数据集(或关键帧)以来，N个对象已被识别，这些对象应被分配给M个不同的真实对象(其中M可能是先验未知的)并且所有识别都在公共参考坐标系(CS)R中被示出。这些所识别的对象首先可以被分类到一个列表L中，并且确切地说基于质量度量Q而被分类，所述质量度量例如是对象探测器的识别概率或识别准确度(例如，所述对象探测器基于神经网络)，或针对线探测器所识别到的线的长度。
对于任意两个所识别的对象i和j，距离指标(Abstandsmetrik)或距离度量di，j(如上所述)和质量度量Q应该满足以下属性：
如果Q(i)＞Q(j)，则di，j≥dj，t。
下一步，使用预先定义的距离度量预先计算列表L中所有经归类的所识别的对象之间的成对距离。可以计算出每个所识别的对象i∈(1..N)相对于所有其他所识别的对象j∈(i..N)的距离di，j，并存储或保存在距离矩阵中。
可以在最大距离度量的意义上定义距离阈值θ，在所述最大距离度量之下，两个所识别的对象被确定为属于同一真实对象。所识别的对象可以以行优先的方式(Reihe-zuerst-Weise)被迭代处理，其方式为，从第一行中的所识别的对象、即具有最高质量度量的对象开始，迭代地经过矩阵D的行。对于矩阵D的每一行i，具有间距di，j＜θ的所有列j都代表一个允许的分配，从而得到真实的对象。这些分配可以例如在二进制分配矩阵A∈{0，1}NxN中被标记，其方式为，将相应的项ai，j设置为1。在接下来的迭代中，每个至少有一个1的列都被遮蔽掉(ausmaskieren)，不再考虑用于分配给真实对象。
分配的结果是所识别的对象、即(潜在的)真实对象的M≤N个聚类的集合。矩阵的A每一行i连同它的非零元素和关联的所识别的对象j一起形成一个识别聚类，其在理想情况下描述了单个真实对象。
如前所述，应仅针对要在SLAM数据集中考虑的真实对象来确定或使用第二数据集。原则上，也可以考虑通过所提到的分配例如使用上面解释的算法所确定的每个真实对象。
然而，有利的是：使得所述系统或方法对假正的对象识别具有鲁棒性，其中，当对象例如在单个记录时间窗口中被对象探测器错误分类时会出现所述假正的对象识别。错误识别的特征例如在于，它们在SLAM数据集或可用于它的时间窗口内并非是持久的，因此在聚类步骤期间没有或只有几个近邻。这通过引入针对聚类的最小尺寸的参数而得以利用。例如，也可以相对于自上一个关键帧以来的帧数来确定所述最小尺寸。于是，所有聚类必须至少具有该数量的个体识别，即，必须将多于该预定数量的所识别的对象分配给真实对象，以便视为是对真实对象的真正(echte positive)描述并因此考虑在内。然而，一般而言，除了该预定数量之外，还可以使用其他考虑标准来确定是否考虑了真实对象(或最初确定为真实对象的对象)。
优选地基于分配给该真实对象的所识别的对象的第一对象数据集来确定针对每个要考虑的真实对象的第二对象数据集。因此，各个聚类中的识别可以被汇总成相应真实对象的单个描述或表示。该步骤也可以称为融合(Verschmelzung)或合并(Merging)。例如，在基于质心的对象表示的最简单情况下，这可能是聚类中所有识别的平均位置。对于更复杂的对象表示，可以使用更复杂的方法，在该方法中考虑了维度范围、颜色、取向等对象属性。对各个识别的加权、例如根据识别质量或置信度而进行的加权是可能的。因此，例如相关的第一对象数据集的值的平均值可以用于第二对象数据集。
优选地，也确定第二对象数据集中的值的不确定性，并且确切地说基于被分配给与相应的第二对象数据集220有关的真实对象的所识别到的对象的第一对象数据集212来确定。与所述对象表示无关地，分配和可能的合并针对每个真实对象提供k个观察值O＝{o1，...，ok}(第一对象数据集)和一个(可能经合并的)要考虑的真实对象om(第二对象数据集)。这些对象由一系列参数来描述(例如，面向3D的边界框可以由九个参数描述，即：六个参数用于位姿，三个参数用于维度范围)。观察值可用于估计经融合的(zusammengeführt(经合并的))对象的参数中的不确定性。可以考虑关于如何进行方面的各种方法，下面通过示例解释其中的一些方法。
在统计估计器的情况下，例如，可以对np个参数中的每一个使用经验方差估计器来计算出这每个参数中的近似不确定性/>于是得到以下协方差矩阵：/>可以针对位姿图优化而提供所述协方差矩阵。
在局部位姿图中，在当前的SLAM数据集或关键帧内，使用经聚类的观察值，以形成具有与全局位姿图中的边相似的边的局部位姿图。在优化之后，可以根据经优化后的参数而确定协方差矩阵∑。
用于聚类形成的距离度量可以在基于距离的评估的范畴内评估两个对象观察值之间的一致性。因此，它们可用于对聚类中存在的不确定性的近似。用于实现这点的一种可能性在于：计算出在观察值oi和经合并的对象om之间的平方距离于是，其可以被定义为/>和计算协方差/>这里的优点是这种不确定性计算不依赖于对象表示(例如不管它是一条线还是一个有向3D边界框)。虽然这种方法仅提供实际潜在不确定性的粗略近似值，但该方法应是高效计算的并且反映出经合并的对象跨多个关键帧的相对可靠性。无论使用何种方法，所估计的协方差矩阵都可以被引入到全局位姿图的优化中，以实现更准确的位姿估计。
优选地，基于第二对象数据集，将要在SLAM图中考虑的真实对象分配到已经包含在SLAM图中和/或先前的SLAM数据集中的真实对象，并且然后用所述第二对象数据集而更新关于所包含的真实对象的对象数据。如果要考虑的真实对象不能分配给已经包含在SLAM图中和/或先前的SLAM数据集中的任何真实对象，则在新的SLAM数据集中创建关于真实对象的新对象数据。应理解：这两种变体都可以并且将会在实践中发生，尽管并非总是适用于每个新的SLAM数据集。然后提供新的SLAM数据集，特别是将其添加到SLAM图。
对象的这种分配或创建也可以称为对象跟踪(或追踪(Tracking))。因此，跨SLAM数据集或关键帧地跟踪(可能经合并的)识别(第二对象数据集)，以便随着时间的推移而获取唯一的对象标识这可以在线进行，并且使得能够在实时SLAM系统(Live-SLAM-System)中使用对象制图(Objektkartierung)，在该系统中，在地图仍在构建期间，例如机器人或其他移动设备可以已经在物理上与特定的、已预先制图的对象进行交互。
例如，这里可以遵循经典的检测跟踪范例(Tracking-by-Detection-Paradigma)。当前关键帧的经汇总的识别被用于要么更新现有对象(在SLAM图中)要么启动新对象。这可以通过解决数据关联问题来完成，例如使用所谓的匈牙利算法(Hungarian Algorithm，例如在“H.W.Kuhn和Bryn Yaw的The Hungarian method for the assignment problem。载于：Naval Res.Logist.Quart(1955)，第83-97页”或在“James Munkres的Algorithms forthe Assignment and Transportation Problems。载于：Journal of the Society forIndustrial and Applied Mathematics 5.1(1957)，第32-38页”中所描述)，所述算法使总分配成本最小化。在传入的观察值和现有对象(踪迹(Tracks))之间的可能配对的成本例如从距离度量中推导出，所述距离度量例如可以考虑在作为对象表示的一部分的位置、定向、大小、所预测的类别名称(Klassenbezeichnung)或其他属性方面的相对误差。例如，对象的启动由指定最大允许的分配成本的阈值控制。如果识别无法以低于预定义阈值的成本而被分配给任何现有的踪迹，则该识别会启动一个新对象(踪迹)。
例如，针对静态对象映射不需要特殊的用于状态预测的步骤；替代地，例如，可以假定具有零速度的运动模型。在此，纳入其他运动模型和预测方法，例如基于卡尔曼/粒子滤波器的运动模型和预测方法。这尤其适用于如下情况：关键帧足够短(就时间而言)以使得对象不会在关键帧内明显改变其位置，从而使聚类形成仍然可以成功。特别是，这种追踪的结果是一组被跟踪对象，以及它们遍及已被输入SLAM系统中的整个数据序列的唯一标识和相关属性(类别、颜色、维度范围......)。
如前所述，可以将新的SLAM数据集添加到SLAM图中。被跟踪的对象的整合可以在位姿图优化中进行或通过位姿图优化进行。如前所述，位姿图(或SLAM图)的优化针对或通过每个SLAM数据集(关键帧)而进行，并且包含了向位姿图添加新的关键帧节点。所述关键帧节点表示传感器相对于前一个关键帧位置的相对位置。这个过程在前述的跟踪阶段之后进行。
在语义扩展的SLAM系统中，现在可以特别是针对每个新的被跟踪对象而将相应的地标或描述228(“Landmark(地标)”)添加到位姿图，其中通过对象跟踪算法而启动(initiieren)所述新的被跟踪对象。所述地标代表在真实世界中相应的唯一对象。不仅针对现有的对象而且也针对新的对象或踪迹，对于每个关键帧都添加一条到位姿图的新边，该边将相应的地标节点与当前关键帧节点连接。在此，该边表示对于当前关键帧的对象位姿和相应传感器位姿之间的相对偏移量(Versatz)。该边特别是包含有关在关键帧中所探测到(汇总)的对象的所有信息，即除了相对位姿之外，还包含所识别到的尺寸或所识别到的颜色
例如，如果SLAM图本身仅基于2D或仅包括2D位姿(例如，可以单独确定第三方向)，则存在为位姿图确定此类新边的不同方法。
一种类型是2D-3D位姿边。这样的边将2D位姿节点与3D位姿节点连接。另一种类型是2D-3D线边。为了优化3D线段，可以优化无限的3D线，并在单独的步骤中再次建立线段的长度。为了优化无限的3D线，可以创建一条边，该边将2D位姿节点与3D线节点连接。它的度量也是第一节点框架内的3D线。
此外，在处理每个关键帧之后或在SLAM运行结束时(离线运行时)，可以通过位姿图的地标而调用所制图的对象及其经优化的位姿。通过基于ID的匹配，可以从追踪阶段调用颜色等附加属性并将其与每个地标相关联。于是，这与几何地图一起代表了语义SLAM系统的最终输出。
基于SLAM图，然后特别是还为移动设备提供导航信息，并且确切地说包括关于周围环境中真实对象的对象数据，特别是周围环境的几何地图234和/或移动设备在所述周围环境中的轨迹。然后，这允许移动设备在该周围环境中导航或在那里移动。
通过所提出的方法可以实现各种优点。这样，例如，可以更好地处理不确定性。改进了对象分配中的鲁棒性。所提出的方法允许考虑有噪声的对象识别(在第一对象数据集中)，这在实践中经常发生，因为第二对象数据集的确定基于多个相应的第一对象数据集。所提出的方法较不复杂且易于实施。
所提出的方法也没有与特定的探测器、特定的对象类型或对象表示相关联。此外，不仅可以处理3D对象(例如家具)，还可以处理现实世界中的2D对象(例如地上的线条标记)。此外，优化的9D对象表示是可能的，即不仅对3D位置而且对大小可变的对象(例如书桌)的3D维度范围进行鲁棒的估计，同时能够准确估计3D定向(例如区分椅子的正面或背面)。
通过所提出的方法，而实现对静态周围环境的连贯的语义上和几何上的表示，并且确切地说借助通过移动设备或其传感器所检测的信息而实现。然后，这实现了进一步的下游任务。
例如，人与移动设备、尤其是机器人之间更简单的交互成为可能(例如示教(Teach-in)、任务提出)。可以改善所记录的周围环境地图的可理解性、可解释性和可追溯性。移动设备中的语义上有根据的(semantisch fundiert)决策和规划成为可能。此外，可以处理来自多个不同的、有噪声的或不完美的对象探测器和/或通用语义识别模块的输入。
根据本发明的用于数据处理的系统，例如机器人、无人机、车辆等的控制单元，特别是在编程技术上，被设立用于执行根据本发明的方法。
虽然在移动设备中的计算单元中执行所提到的方法步骤特别有利，但是部分或所有方法步骤也可以在另一个计算单元或诸如服务器(关键词：云)这样的计算机上执行；这相应地需要计算单元之间的优选无线的数据或通信连接。因此存在用于执行这些方法步骤的计算系统。
本发明还涉及一种如上所述地获取导航信息并基于导航信息进行导航的移动设备。例如，它可以是客运车辆或货运车辆，机器人、特别是家用机器人、例如吸尘和/或扫地机器人，地面或道路清洁设备或割草机器人、无人机或其组合。此外，移动设备可以具有一个或多个传感器用于检测对象和/或周围环境信息。此外，移动设备尤其可以具有控制或调节单元和用于移动该移动设备的驱动单元。
以具有用于执行所有方法步骤的程序代码的计算机程序或计算机程序产品的形式实现根据本发明的方法也是有利的，因为这导致特别低的成本，特别是在进行执行的控制设备还用于其他任务并且因此无论如何都存在的情况下。最后，设置一种机器可读存储介质，其上存储有如上所述的计算机程序。适合于提供所述计算机程序的存储介质或数据载体特别是磁的、光的和电的存储器，例如硬盘、闪存、EEPROM、DVD等。还可以通过计算机网络(互联网、内联网等)下载程序。这种下载在此可以有线地或者说有缆线地或无线地(例如通过WLAN网络、3G、4G、5G或6G连接等)进行。
附图说明
本发明的进一步优点和设计方案从说明书和附图中得出。
在附图中使用实施例而示意性地示出本发明并且在下面参考附图进行描述。
图1在优选实施方式中示意性地示出了周围环境中的移动设备，以用于解释本发明。
图2在优选实施方式中示意性地示出了用于解释本发明的流程图。
具体实施方式
图1中示意性地并且纯粹以示例的方式示出了周围环境120中的移动设备100以解释本发明。移动设备100可以是例如具有控制或调节单元102和(带轮子的)驱动单元104的机器人，例如吸尘机器人或割草机器人，其中所述驱动单元用于例如沿着轨迹130移动机器人100。然而，如上所述，它也可以是不同类型的移动设备，例如货运车辆。
此外，机器人100例如具有构造为激光雷达传感器的传感器106，其具有检测场(Erfassungsfeld)(由虚线指示)。为了更好地说明，检测场在此选择得相对较小；然而在实际应用中，检测场也可以为最大360°(但例如至少180°或至少270°)。可以通过激光雷达传感器106检测对象和/或周围环境信息，例如与对象的距离。两个对象122和124被示例性地示出。此外，除了激光雷达传感器之外附加地或代替激光雷达传感器，机器人可以具有相机。
此外，机器人100具有用于数据处理的系统108，例如控制设备，借助于该系统可以例如通过所标出的无线电连接与用于数据处理的更高级别的系统110交换数据。在系统110(例如服务器，它也可以代表所谓的云)中，可以例如由SLAM图而确定包括轨迹130的导航信息，然后将其传送到割草机器人100中的系统108上，该割草机器人然后应该基于此而进行导航。然而，也可以规定：导航信息在系统108本身中被确定或以其他方式在那里被获取。然而，系统108也可以替代于导航信息而获取例如已经使用所述导航信息所确定的控制信息，并且控制或调节单元102可以根据所述控制信息经由驱动单元104移动机器人100以便例如跟随轨迹130。
图2示意性地示出了在优选实施方式中的用于解释本发明的流程图。这里，一般而言用200表示SLAM系统或SLAM架构，其在优选实施方式中示出根据本发明的方法。
为此，提供传感器数据202，其包括关于周围环境和/或关于周围环境中的对象和/或关于移动设备的信息。例如，使用移动设备的激光雷达传感器或其他传感器来检测所述传感器数据202。典型地，当移动设备在该周围环境中移动时，此类传感器数据被定期或重复地检测。
然后，应该在传感器数据202的基础上进行对象识别；这分别针对记录时间窗口或帧204而进行。记录时间窗口在此例如为如下时间窗口，在所述时间窗口中借助激光雷达传感器执行激光雷达扫描。可以首先(参见框206)同步和/或预处理传感器数据202。这在传感器数据包括通过多个传感器、尤其是不同类型的传感器检测的信息或数据时尤其有利。
然后，为了实际的对象识别210(也可以论及对象探测器)，而传送经同步和/或预处理的传感器数据208。通过对象识别，获取关于所识别的对象的第一对象数据集212。在对象识别中，然后对于每个记录时间窗口而识别出传感器数据中的对象。例如，因此可以在激光雷达扫描(点云)中识别对象。相关可识别对象的示例例如是塑料盒、叉车、移动机器人(移动设备本身除外)、椅子、桌子或地上的线条标记。
在对象识别210中，通常识别多个对象，并且确切地说特别是还针对每个记录时间窗口而进行识别。所识别的对象或相应的第一对象数据集212然后可以例如中间存储在缓冲存储器中。应该提出的是，可以针对每个新的记录时间窗口或在那里获取的传感器数据进行所述对象识别，从而总是添加新的第一对象数据集212。此外，第一对象数据集212可以包括时间戳以便之后能够实现标识或分配。
然后是针对要添加到SLAM图230的新的SLAM数据集214而进行对象跟踪。这特别意味着要用新数据来更新SLAM图230，其中将自上次更新(即自上次添加SLAM数据集)以来识别的对象分配给已经存在于SLAM图中的对象。这也称为所谓的追踪。如果识别到尚未存在的对象，则可以在SLAM图中创建新对象。
在此考虑自上次添加SLAM数据集以来所确定或生成的所有第一对象数据集212并存储在例如所提到的缓冲存储器中。
为此，首先进行：将第一对象数据集212例如变换216到所谓的参考坐标系，该参考坐标系描述在最后关键帧或最后SLAM数据集中的传感器坐标系位姿。
然后，基于第一对象数据集212将自先前的SLAM数据集以来通过对象识别所识别的对象分配给真实对象，以便获取关于在SLAM图中要考虑的真实对象的第二对象数据集220。这里的背景是，在每个记录时间窗口中——自上次SLAM数据集以来通常存在有多个时间窗口——分别识别代表相同真实对象的对象。此外，也可以由多个传感器中的每一个识别代表相同真实对象的对象。换句话说，有多个(通常不同的)第一对象数据集212属于应该最终由用于SLAM图的第二对象数据集220来表示的真实对象。
分配(聚类)的目的是：从先前的关键帧或SLAM数据集(即来自短时间窗口)以来所识别到的都对应于相同的真实对象的对象(或对象识别)的汇总。如上所述，可以使用各种算法用于分配或聚类，并使用示例进行了详细说明。
如已经所述的，第二数据集应仅针对要在SLAM数据集中考虑的真实对象来确定或使用。因此，例如，当对象例如在单个记录时间窗口中被对象探测器错误分类时出现的假正的(falsch positiv)对象识别可以保持不予考虑。
各个聚类(Cluster)的识别可以被汇总成相应真实对象的单个描述或表示。该步骤也可以称为融合或合并。
还可以确定第二对象数据集中的值的不确定性(参见框222)，并且确切地说基于被分配给与相应的第二对象数据集220有关的真实对象的所识别到的对象的第一对象数据集212来确定，正如在上面详细描述的那样。
此外，基于第二对象数据集220，将要在SLAM图230中考虑的真实对象分配到已经包含在SLAM图中和/或先前的SLAM数据集中的真实对象，框224；这就是所谓的追踪。为此，可以使用到关于这些真实对象的已经存在的对象数据226。
然后，用第二对象数据集220更新关于所包含的真实对象的这些对象数据226。如果要考虑的真实对象不能被分配给任何已经包含在SLAM图中和/或之前的SLAM数据集中的真实对象，则在新的SLAM数据集中创建关于真实对象的新对象数据。
这个新的SLAM数据集214然后被添加到SLAM图230。被跟踪对象的整合(Integration)通过位姿图优化232进行。也可以在这里使用到来自框222的不确定性。
在语义扩展的SLAM系统中，可以特别是针对每个新的被跟踪对象而将相应的地标或描述228(“Landmark(地标)”)添加到SLAM图230，其中通过对象跟踪算法而启动所述新的被跟踪对象。所述地标代表在真实世界中相应的唯一对象。
此外，在处理每个关键帧之后或在SLAM运行(SLAM-Lauf)结束时(在离线操作中)，通过位姿图的地标而调用所制图的或识别到的对象及其经优化的位姿。通过基于ID的匹配，可以从追踪阶段调用颜色等附加属性并将其与每个地标相关联。地标本身也已经可以具有附加属性，例如颜色和尺寸。特别是，这些属性甚至可以在图形优化中被一并优化。这与移动设备的几何地图一起于是表示了语义SLAM系统的例如最终有效输出。
基于SLAM图230，然后还为移动设备提供导航信息240，并且确切地说包括关于周围环境中真实对象的对象数据238，特别是周围环境的几何地图234和/或移动设备在所述周围环境中的轨迹236。然后，这允许移动设备在该周围环境中导航或在那里移动。

Claims (15)

1.一种使用SLAM和周围环境(120)中的移动设备(100)而分配所述周围环境中的对象(122、124)的方法，该移动设备具有至少一个传感器(106)用于检测关于周围环境和/或所述周围环境中的对象和/或关于所述移动设备的信息，所述方法包括：
提供传感器数据(202)，所述传感器数据包括通过所述至少一个传感器(106)被检测到或已经检测到的关于周围环境和/或关于所述周围环境中的对象和/或关于所述移动设备的信息；
在所述传感器数据(202)的基础上执行对象识别(210)，特别是分别针对记录时间窗口(204)而执行对象识别，以获取关于所识别的对象的第一对象数据集(212)；和
针对要添加到SLAM图(230)的新的SLAM数据集(214)而执行对象跟踪(222)，包括：
基于所述第一对象数据集(212)将自先前的SLAM数据集以来通过所述对象识别所识别的对象分配(218)给真实对象，以便获取关于在所述SLAM图中要考虑的真实对象的第二对象数据集(220)。
2.根据权利要求1所述的方法，其中执行对象跟踪(222)还包括：基于所述第二对象数据集(220)，将要在所述SLAM图中考虑的真实对象分配(224)到已经包含在所述SLAM图中和/或先前的SLAM数据集中的真实对象，并且用所述第二对象数据集而更新关于所包含的真实对象的对象数据(226)和/或如果要考虑的真实对象不能分配给已经包含在所述SLAM图(230)中和/或先前的SLAM数据集中的任何真实对象，则在新的SLAM数据集中创建关于真实对象的新对象数据；
其中提供所述新的SLAM数据集(214)，特别是将所述新的SLAM数据集添加到SLAM图，
其中，优选地进一步基于所述SLAM图，为所述移动设备提供导航信息，包括关于所述周围环境中真实对象的对象数据，特别是也包括所述周围环境的几何地图和/或所述移动设备在所述周围环境中的轨迹。
3.根据权利要求1或2所述的方法，所述方法还包括：
基于被分配给所述真实对象的所识别的对象的所述第一对象数据集(212)，特别是通过有关的第一对象数据集的值的平均值，确定针对每个要考虑的真实对象的第二对象数据集(220)。
4.根据前述权利要求中任一项所述的方法，所述方法还包括：
基于被分配给与相应的第二对象数据集(220)有关的真实对象的所识别到的对象的第一对象数据集(212)来确定所述第二对象数据集(220)中的值的不确定性(222)。
5.根据前述权利要求中任一项所述的方法，所述方法还包括：
根据考虑标准，从所述真实对象中确定在所述SLAM图中要考虑的真实对象，
其中，将多于所述预定数量的所识别的对象分配给真实对象。
6.根据前述权利要求中任一项所述的方法，其中，使用一种算法将自先前的SLAM数据集以来通过所述对象识别所识别的对象分配(218)给真实对象，在所述算法中根据分配标准而对所识别的对象进行归类，并且分别确定两个所识别的对象之间的距离度量；并且将距离度量低于预给定的距离阈值的两个所识别的对象分别分配给相同的真实对象。
7.根据前述权利要求中任一项所述的方法，所述方法还包括：
同步和/或预处理(206)对象和/或周围环境信息，
其中所述传感器数据(202)包括通过多个传感器、特别是不同类型的传感器所检测的信息，并且
其中基于经同步的和/或预处理的传感器数据执行所述对象识别，特别是分别针对记录时间窗口而执行所述对象识别。
8.根据前述权利要求中任一项所述的方法，其中关于所识别的对象的第一对象数据集(212)分别包括关于空间参数的值，其中，所述空间参数包括位置和/或定向和/或尺寸，尤其是分别也包括所述空间参数的空间不确定性。
9.根据前述权利要求中任一项所述的方法，其中，关于所识别的对象的第一对象数据集(212)分别包括关于识别准确度和/或类别分配的信息。
10.根据前述权利要求中任一项所述的方法，其中，所述至少一个传感器(106)包括以下各项中的一项或多项：激光雷达传感器、相机、惯性传感器。
11.一种用于数据处理的系统，所述系统包括用于执行根据前述权利要求中任一项所述的方法的装置。
12.一种移动设备，所述移动设备具有根据权利要求11所述的系统的和/或被设立为获取已经按照根据权利要求10所述的方法所确定的导航信息，并且所述移动设备被设立为基于所述导航信息进行导航，
所述移动设备优选地具有至少一个用于检测对象和/或周围环境信息的传感器，更优选地具有用于根据所述导航信息移动所述移动设备的控制或调节单元和驱动单元。
13.根据权利要求12所述的移动设备(100)，所述移动设备被构造为至少半自动地移动的车辆，特别是客运车辆或货运车辆，和/或被构造为机器人，特别是家用机器人，例如吸尘和/或扫地机器人、地面或道路清洁设备或割草机器人和/或被构造为无人机。
14.一种计算机程序，所述计算机程序包括指令，如果在计算机上执行所述程序，当所述程序由计算机执行时，所述指令使所述计算机执行根据权利要求1至10中任一项所述的方法的方法步骤。
15.一种计算机可读存储介质，在其上存储有根据权利要求14所述的计算机程序。
CN202310713685.3A 2022-06-15 2023-06-15 针对slam的用于确定周围环境中的对象的方法 Pending CN117232493A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022206041.5 2022-06-15
DE102022206041.5A DE102022206041A1 (de) 2022-06-15 2022-06-15 Verfahren zum Bestimmen von Objekten in einer Umgebung für SLAM

Publications (1)

Publication Number Publication Date
CN117232493A true CN117232493A (zh) 2023-12-15

Family

ID=88974872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310713685.3A Pending CN117232493A (zh) 2022-06-15 2023-06-15 针对slam的用于确定周围环境中的对象的方法

Country Status (3)

Country Link
US (1) US20240027226A1 (zh)
CN (1) CN117232493A (zh)
DE (1) DE102022206041A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10659768B2 (en) 2017-02-28 2020-05-19 Mitsubishi Electric Research Laboratories, Inc. System and method for virtually-augmented visual simultaneous localization and mapping
CN107727104B (zh) 2017-08-16 2019-04-30 北京极智嘉科技有限公司 结合标识的同时定位和地图创建导航方法、装置及系统
DE102019220616B4 (de) 2019-12-30 2022-03-24 Automotive Research & Testing Center Verfahren zur simultanen lokalisierung und abbildung
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
CN111928857B (zh) 2020-10-14 2021-01-05 蘑菇车联信息科技有限公司 一种动态环境中实现slam定位的方法及相关装置

Also Published As

Publication number Publication date
US20240027226A1 (en) 2024-01-25
DE102022206041A1 (de) 2023-12-21

Similar Documents

Publication Publication Date Title
US11629965B2 (en) Methods, apparatus, and systems for localization and mapping
Stachniss et al. Simultaneous localization and mapping
Bowman et al. Probabilistic data association for semantic slam
US10102429B2 (en) Systems and methods for capturing images and annotating the captured images with information
Burgard et al. World modeling
DeSouza et al. Vision for mobile robot navigation: A survey
US11703334B2 (en) Mobile robots to generate reference maps for localization
Teuliere et al. 3-D model-based tracking for UAV indoor localization
Premebida et al. Intelligent robotic perception systems
Chatterjee et al. Vision based autonomous robot navigation: algorithms and implementations
González-Trejo et al. On the visual-based safe landing of UAVs in populated areas: a crucial aspect for urban deployment
CN114998276A (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
Ćesić et al. Detection and tracking of dynamic objects using 3D laser range sensor on a mobile platform
Qian et al. Pocd: Probabilistic object-level change detection and volumetric mapping in semi-static scenes
Zhou et al. Robust global localization by using global visual features and range finders data
Chikhalikar et al. An object-oriented navigation strategy for service robots leveraging semantic information
Song et al. Real-time localization measure and perception detection using multi-sensor fusion for Automated Guided Vehicles
Christie et al. Semantics for UGV Registration in GPS-denied Environments
Dudarenko et al. Robot navigation system in stochastic environment based on reinforcement learning on lidar data
Noaman et al. Landmarks exploration algorithm for mobile robot indoor localization using VISION sensor
JP2016224680A (ja) 自己位置推定装置及び自己位置推定装置を備えた移動体
CN117232493A (zh) 针对slam的用于确定周围环境中的对象的方法
Sun et al. Detection and state estimation of moving objects on a moving base for indoor navigation
Morioka et al. Simplified map representation and map learning system for autonomous navigation of mobile robots
Malviya et al. Socialistic 3D tracking of humans from a mobile robot for a ‘human following robot’behaviour

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication