CN110770540B - 用于构建环境模型的方法和装置 - Google Patents

用于构建环境模型的方法和装置 Download PDF

Info

Publication number
CN110770540B
CN110770540B CN201780088887.6A CN201780088887A CN110770540B CN 110770540 B CN110770540 B CN 110770540B CN 201780088887 A CN201780088887 A CN 201780088887A CN 110770540 B CN110770540 B CN 110770540B
Authority
CN
China
Prior art keywords
model
sgm
sgm model
environment
movable object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780088887.6A
Other languages
English (en)
Other versions
CN110770540A (zh
Inventor
M·都姆灵
江万里
S·格兰措
李建朋
许涛
徐红山
吕书涵
李千山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN110770540A publication Critical patent/CN110770540A/zh
Application granted granted Critical
Publication of CN110770540B publication Critical patent/CN110770540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Mathematical Optimization (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供用于构建环境模型的计算机实现的方法和数据处理设备。该方法包括：基于第一传感器数据来生成与环境的第一部分对应的第一有签名的高斯混合SGM模型；接收与环境的第二部分对应的第二SGM模型；并且构建包括第一SGM模型和第二SGM模型的第三SGM模型。

Description

用于构建环境模型的方法和装置
技术领域
本发明通常涉及车辆或机器人领域，并且更具体而言涉及用于构建车辆或机器人的环境模型的方法和装置。
背景技术
自动驾驶技术已经研究了多年，并且已经在各种应用中证实了许多提出的好处。许多类别的地图已经被开发并且被使用在车辆/机器人中，诸如由激光点组成的点地图，将环境分成栅格(每个栅格单元记录其是否被某物占用以及占用概率)的栅格地图，使用一个或多个类型的几何图元(primitive)来表示环境中的实体的几何图元地图，主要由特征点和从其它类型的数据(例如，点云、相机图像等)中提取的其对应的描述符组成的特征地图，使用单一加权的高斯混合模型来表示环境的正态分布变换(NDT)地图，其中每个高斯分布模拟环境的唯一栅格单元，以及将环境分成栅格的正态分布变换占用(NDT-OM)地图，在其每个栅格单元内在单元中的数据点之间计算高斯分布并且保持高斯分布的表示这个单元的占用概率的权重。
然而，根据现有技术，车辆/机器人可以仅使用其自己的传感器数据(从安装在车辆/机器人上的传感器接收)来构建环境模型，该环境模型仅限于车辆/机器人的周围区域。
本发明的任务是提供一种能够扩大环境模型的范围的方法和设备。
发明内容
本发明的实施例提供用于构建环境模型的方法、设备、系统和车辆，其实现了根据传感器数据构建的宽范围的环境模型。
因此，提供了用于构建环境模型的计算机实现的方法。该方法包括：基于第一传感器数据来生成与环境的第一部分对应的第一有签名的高斯混合(Signatured GaussianMixture)SGM模型；接收与环境的第二部分对应的第二SGM模型；并且构建包括第一SGM模型和第二SGM模型的第三SGM模型。
在可能的实现方式中，步骤“基于第一传感器数据来生成与环境的第一部分对应的第一有签名的高斯混合SGM模型”包括：获得表示环境的第一部分的第一传感器数据；基于接收的传感器数据来生成环境的第一部分的高斯混合模型；生成用于标识环境中的元素的至少一个签名，其中，签名包括元素的属性；并且生成用于表示环境的第一SGM模型，其中，该SGM模型包括环境的第一部分的高斯混合模型和签名。
在另一可能的实现方式中，从以下项接收传感器数据：图像记录设备，尤其是视频相机和立体相机；和/或激光扫描仪；和/或雷达传感器。
在又一可能的实现方式中，该方法还包括：获得第一SGM模型的定位信息。
在又一可能的实现方式中，其中，步骤“接收与环境的第二部分对应的第二SGM模型”包括：从第二可移动物体获得第二SGM模型的定位信息；并且从第二可移动物体接收第二SGM模型。
在又一可能的实现方式中，其中，步骤“接收与环境的第二部分对应的第二SGM模型”还包括：根据第一SGM模型的定位信息和第二SGM模型的定位信息来选择第二可移动物体。
在又一可能的实现方式中，环境的第二部分与第二可移动物体的环境对应。
在又一可能的实现方式中，基于来自以下项的第二传感器数据来生成第二SGM模型：其他图像记录装置，尤其是视频相机和立体相机；和/或其他激光扫描仪；和/或其他雷达传感器。
在又一可能的实现方式中，该方法还包括：从第二可移动物体接收第二SGM模型的定位信息。
在又一可能的实现方式中，步骤“构建包括第一SGM模型和第二SGM模型的第三SGM模型”包括：通过根据第一SGM模型的定位信息和第二SGM模型的定位信息映射第一SGM模型和第二SGM模型，来对第一SGM模型和第二SGM模型进行组合。
根据另一方面，提供了用于构建环境模型的数据处理设备。数据处理设备包括：生成模块，被配置成基于第一传感器数据来生成与环境的第一部分对应的第一有签名的高斯混合SGM模型；接收模块，被配置成接收与环境的第二部分对应的第二SGM模型；以及构建模块，被配置成构建包括第一SGM模型和第二SGM模型的第三SGM模型。
在可能的实现方式中，生成模块被配置成：获得表示环境的第一部分的第一传感器数据；基于接收的传感器数据来生成环境的第一部分的高斯混合模型；生成用于标识环境中的元素的至少一个签名，其中，签名包括元素的属性；并且生成用于表示环境的第一SGM模型，其中，该SGM模型包括环境的第一部分的高斯混合模型和签名。
在另一可能的实现方式中，数据处理设备被配置成从以下项接收传感器数据：图像记录设备，尤其是视频相机和立体相机；和/或激光扫描仪；和/或雷达传感器。
在又一可能的实现方式中，数据处理设备还包括：被配置成获得第一SGM模型的定位信息的第一定位模块。
在又一可能的实现方式中，接收模块被配置成：从第二可移动物体获得第二SGM模型的定位信息；并且从第二可移动物体接收第二SGM模型。
在又一可能的实现方式中，接收模块被配置成根据第一SGM模型的定位信息和第二SGM模型的定位信息来选择第二可移动物体。
在又一可能的实现方式中，数据处理设备还包括：被配置成从第二可移动物体接收第二SGM模型的定位信息的第二定位模块。
在又一可能的实现方式中，构建模块被配置成通过根据第一SGM模型的定位信息和第二SGM模型的定位信息映射第一SGM模型和第二SGM模型，来对第一SGM模型和第二SGM模型进行组合。
根据又一方面，提供了用于构建环境模型的系统。系统包括上述的数据处理设备和以下项中的至少一个：图像记录设备，尤其是视频相机和立体相机；激光扫描仪；以及雷达传感器。
根据又一方面，提供了包括上述系统的车辆或机器人。
在本发明的实施例中，用于构建环境模型的方法和数据处理设备基于其自己的传感器数据来生成第一有签名的高斯混合SGM模型，并且可以从其它物体(例如，车辆或机器人)获得由其它物体基于其传感器数据而生成的与环境的另一部分对应的另一SGM模型，并且将自己的SGM模型与另一SGM模型组合以便可以获得具有扩大的环境范围的新SGM模型。因此，可以经由例如因特网或任何直接连接(比如WLAN和Wi-Fi)在车辆和机器人之间共享由不同物体检测的环境信息。因此，根据本发明的方法和设备使得能够利用来自其它车辆的SGM模型来建立自己的环境模型。此外，由于SGM模型的数据大小非常小并且远小于原始传感器数据的数据大小，因此可以减小车辆之间的数据传输的持续时间和工作负荷。
附图说明
为了更清楚地描述本发明的实施例中的技术方案，以下简要地介绍用于描述实施例所需的附图。清楚地，以下描述中的附图仅示出本发明的一些实施例，并且本领域的普通技术人员仍可以不需要创造性的努力而从这些附图中得出其它图。
图1示出本发明的用例的示例。
图2、图3和图4示出由车辆/机器人的传感器获得的一部分地面实况和若干元素，具有点集群的点云，以及通过使用表示地图元素的方法来表示点集群而获得的在点云中的点集群的有签名的高斯混合SGM模型的直观图。
图5是根据本发明的方法的实施例的示意图。
图6是根据本发明的方法的另一实施例的示意图。
图7示出根据本发明的数据处理设备的实施例的示意图；以及
图8示出了根据本发明的示例性实施例的其中可应用本发明的一般硬件环境。
具体实施方式
参考本发明的实施例中的附图，下面清晰地并且完整地描述本发明的实施例中的技术方案。清楚地，描述的实施例是本发明的一些实施例而不是所有实施例。在没有创造性劳动的情况下由本领域的普通技术人员基于本发明的实施例而获得的所有其它实施例应该落入本发明的保护范围内。
图1示出在示意性环境中行驶的第一车辆10、第二车辆20和第三车辆30。第一车辆10构建与周围区域11以及第一车辆10已经经过的道路环境对应的第一环境模型(例如，SGM模型)。第二车辆20在第一车辆10旁边的街道上行驶并且构建与第二车辆20已经经过的周围区域21、22和23对应的第二环境模型。类似地，第三车辆30构建与周围区域31对应的第三环境模型。
根据本发明，第一车辆10可以从其它物体(例如车辆20和30)接收更多的环境模型，并且将基于来自安装在车辆10上的传感器的传感器数据而生成的环境模型与从车辆20和/或车辆30接收的环境模型组合，以便构建呈现出更大的环境区域的新环境模型，在这种情况下，扩大的环境模型与区域11、21、22、23和31对应。此外，车辆10可以仅选择来自另一辆车的一个另外区域。例如，车辆10可以仅选择和接收来自车辆20的与区域22对应的环境模型。
比如测距仪、GPS、激光扫描仪、相机(例如视频相机和立体相机)等的传感器被广泛用于检测车辆的环境并且用于基于将由车辆/机器人取得的激光点与例如点云地图和/或栅格地图匹配来进行定位。
下面说明用于生成地图元素的高斯混合模型的方法。如这里所使用的，地图元素可以是数字地图中的几何形状或点集群或者图像中的图像片段。数字地图可以包括数字交通地图或点云地图。可替代地，地图元素可以是由车辆/机器人取得的图像(诸如相机图像之类的)中的图像片段或实时点云中的点集群。数字地图可以包括地图元素的几何信息或可以被用于确定地图元素的几何信息的其它信息(比如其类别信息)。地图元素可以与物理世界中的物理物体对应。
此外，几何形状、点集群或图像片段可以是能够由几何图元单独或组合起来而近似的形状。例如，数字交通地图中的地图元素可以是能够与物理世界中的限速牌对应的地图中的几何形状。几何形状的形状可以近似于作为牌子的主体的圆形图元和作为其杆的线段图元的形状。作为另一示例，点云地图或实时点云中的地图元素可以是能够与物理世界中的沿道路的树对应的点集群。点集群的形状可以近似于作为树的树干的矩形图元和作为树的树冠的三角形图元的形状。作为另一示例，图像中的地图元素的形状可以是能够与物理世界中的沿道路的树对应的图像片段。图像片段的形状可以近似于作为树的树干的矩形图元和作为树的树冠的三角形图元的形状。
图2、图3和图4分别示出由车辆/机器人的传感器获得的一部分地面实况和若干元素，具有点集群的点云，以及通过使用表示地图元素的方法来表示点集群而获得的在点云中的点集群的有签名的高斯混合SGM模型的直观图。
图2示出具有若干物体的地面实况的一部分，所述物体比如是具有树干和树冠的树、具有杆的限速牌、具有杆的方向牌、具有杆和支架的路灯等。
图3示出具有若干点集群的点云。点云可以由车辆/机器人使用诸如激光扫描仪之类的传感器来获得。
图4示出表示点云中的点集群的直观图。如图4所示，点云中的点集群分别由高斯混合模型表示。
可以通过使用点集群或图像片段的边界来生成集群或片段的四叉树分区并且然后将高斯分布放入位于点集群或图像片段内的每个空白单元中，计算点集群或图像片段的高斯混合模型。作为替代，可以通过使用点集群内的点来计算其高斯混合模型，例如通过使用EM方法，生成点集群的高斯混合模型。
然后，可以生成用于标识地图元素的签名，其中，签名包括地图元素的属性。例如，地图元素的属性可以包括地图元素的类型、反射率或平坦度。在一示例中，签名可以被构建成包括地图元素的属性的向量。还预见到可以使用除了上述那些属性之外的属性来构建签名。随后，可以生成用于表示地图元素的SGM模型。
预见到生成地图元素的高斯混合模型、签名和/或存在概率所需要的数据(例如，用于计算高斯混合模型的每个高斯分布的特定均值、协方差和组成权重的数据，用于确定地图元素的形状的数据，等等)可以从数据源获得，比如从数字交通地图或点云地图供应商获得，或由安装在车辆/机器人上的传感器实时获得。数字交通地图可以是商业上可获得的地图，比如谷歌地图、HERE地图、街景地图等。此外，点云可以是例如由LiDAR激光系统取得的密集的点云，或例如由一个或多个激光扫描仪等获得的稀疏的点云。
图5示出用于构建环境模型(尤其是车辆或机器人的环境模型)的方法的实施例的示意图。该方法可以由数据处理设备(例如具有对应的计算机程序的处理器)实现。
首先，根据步骤120，可以根据用于生成SGM模型的上述方法生成基于第一传感器数据的、与环境的第一部分11对应的第一有签名的高斯混合SGM模型。
为了基于传感器数据实时生成SGM，获得与环境(例如区域11)对应的传感器数据。环境与车辆的周围区域对应。然后，可以基于传感器数据来生成基于接收的传感器数据的环境的高斯混合模型。随后，生成用于标识环境中的元素的至少一个签名，其中，签名包括元素的属性。因此，可以生成用于表示环境的SGM模型，其中，该SGM模型包括环境的高斯混合模型和具有环境中的元素的属性的签名。
可以由以下项中的一个或多个检测传感器数据：图像记录设备，尤其是视频相机和立体相机，和/或激光扫描仪，和/或雷达传感器。
在步骤140中，从车辆20和/或30接收与更多区域(例如21、22、23和/或31)对应的更多SGM模型。为了从其它车辆接收与更多区域对应的更多SGM模型，从其他车辆20和/或30获得环境区域21、22、23和/或31的更多SGM模型的定位信息。在车辆10发现多于一辆的其它车辆的情况下，车辆10可以根据第一SGM模型的定位信息和第二SGM模型的定位信息来选择其它车辆中的一辆或多辆。例如，车辆10可以选择车辆20和30两者，或仅选择最接近自身的车辆20，或选择具有更有用的区域31的环境数据的车辆30。随后，可以从车辆20和/或30接收来自第二可移动物体的第二SGM模型。
来自其它车辆的传感器数据也可以由图像记录设备、尤其是视频相机和立体相机、和/或激光扫描仪、和/或雷达传感器来检测。
根据步骤160，可以构建包括两个SGM模型的新的SGM模型。
为了构建包括两个SGM模型的新的SGM模型，通过根据由车辆10生成的SGM模型的定位信息和由车辆20和/或30生成的SGM模型的定位信息来映射由车辆10生成的SGM模型和由车辆20和/或30生成的SGM模型，对这两个SGM模型进行组合。
根据本发明，用于构建环境模型的方法基于其自己的传感器数据生成第一SGM模型，从其它车辆(或机器人)获得与更多环境区域对应的更多的SGM模型，并且将自己的SGM模型与更多的SGM模型组合起来，以便可以获得具有扩大的环境范围的新SGM模型。
因此，根据本发明的方法使得能够利用来自其它车辆的SGM模型来建立与区域11、21、22、23和31对应的环境模型，而不是仅仅与车辆10已经经过的区域11对应的环境模型。区域21、22、23和31的环境模型可以既被用于车辆10的定位又被用作车辆10的实时交通信息。因此，可以在车辆之间共享由不同物体检测的实时环境信息。
此外，由于SGM模型的数据大小非常小并且远小于原始传感器数据的数据大小，因此可以减小车辆之间的数据传输的持续时间和工作负荷。
图6示出用于构建环境模型(尤其是为车辆或机器人构建环境模型)的方法的实施例的示意图。该方法可以由图7所示的数据处理设备(例如具有对应的计算机程序的处理器)实现。
首先，根据步骤120，可以根据用于生成SGM模型的上述方法生成基于第一传感器数据的、与环境的第一部分11对应的第一有签名的高斯混合SGM模型。
为了基于传感器数据实时生成SGM，获得与环境(例如区域11)对应的传感器数据。环境与车辆的周围区域对应。然后，可以基于传感器数据生成基于接收的传感器数据的环境的高斯混合模型。随后，生成用于标识环境中的元素的至少一个签名，其中，签名包括元素的属性。因此，可以生成用于表示环境的SGM模型，其中，该SGM模型包括环境的高斯混合模型和具有环境中的元素的属性的签名。
然后，在步骤130中，获得由车辆10生成的SGM模型的定位信息。
如前所述，在步骤140中，可以从车辆20和/或30接收与更多区域(例如21、22、23和/或31)对应的更多的SGM模型。
为了从其它车辆接收与更多区域对应的更多SGM模型，从其他车辆20和/或30获得环境区域21、22、23和/或31的更多SGM模型的定位信息。在车辆10发现多于一辆的其它车辆的情况下，车辆10可以根据第一SGM模型的定位信息和第二SGM模型的定位信息来选择其它车辆中的一辆或多辆。例如，车辆10可以选择车辆20和30两者，或仅选择最接近自身的车辆20，或选择具有更有用的区域31的环境数据的车辆30。随后，可以从车辆20和/或30接收来自第二可移动物体的第二SGM模型。
根据步骤150，可以从车辆20和/或30接收更多的SGM模型的定位信息。
在步骤160中，可以构建包括两个SGM模型的新的SGM模型。为了构建包括两个SGM模型的新的SGM模型，通过根据由车辆10生成的SGM模型的定位信息和由车辆20和/或30生成的SGM模型的定位信息来映射由车辆10生成的SGM模型和由车辆20和/或30生成的SGM模型，对这两个SGM模型进行组合。
图7示出根据本发明的数据处理设备200的示意图。可以在车辆或机器人中实现数据处理设备200。
数据处理设备200可以实现用于构建环境模型的上述方法。数据处理设备包括：生成模块220，被配置成基于第一传感器数据来生成与环境的第一部分对应的第一SGM模型；第一定位模块230，被配置成获得第一SGM模型的定位信息；接收模块240，被配置成接收与环境的第二部分对应的第二SGM模型；第二定位模块250，被配置成从第二可移动物体接收第二SGM模型的定位信息；以及构建模块260，被配置成构建包括第一SGM模型和第二SGM模型的第三SGM模型。
生成模块220被配置成获得表示环境的第一部分的第一传感器数据；基于接收的传感器数据来生成环境的第一部分的高斯混合模型；生成用于标识环境中的元素的至少一个签名，其中，签名包括元素的属性；并且生成用于表示环境的第一SGM模型，其中，该SGM模型包括环境的第一部分的高斯混合模型和签名。
接收模块240被配置成从第二可移动物体获得第二SGM模型的定位信息；根据第一SGM模型的定位信息和第二SGM模型的定位信息选择第二可移动物体；并且从第二可移动物体接收第二SGM模型。
此外，构建模块260被配置成：通过根据第一SGM模型的定位信息和第二SGM模型的定位信息来映射第一SGM模型和第二SGM模型，对第一SGM模型和第二SGM模型进行组合。
本发明中使用的传感器可以是以下项中的一个或多个：图像记录设备，尤其是视频相机和立体相机，和激光扫描仪，和雷达传感器。
图8示出了根据本发明的示例性实施例的其中可应用本发明的一般硬件环境300。
参考图8，现在将描述作为可应用于本发明的各方面的硬件设备的示例的计算设备300。计算设备300可以是被配置成执行处理和/或计算的任何机器，可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数字助理、智能电话、车载计算机或其任意组合。上述数据处理设备200可以整体或至少部分地由计算设备300或类似的设备或系统来实现。
计算设备300可以包括能够经由一个或多个接口与总线302连接或者与总线302通信的元件。例如，计算设备300可以包括总线302、一个或多个处理器304、一个或多个输入设备306以及一个或多个输出设备308。一个或多个处理器304可以是任何类型的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(诸如专用处理芯片)。输入设备306可以是能够向计算设备输入信息的任何类型的设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备308可以是能够呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备300还可以包括非瞬态存储设备310或与非瞬态存储设备310连接，非瞬态存储设备310可以是非瞬态的并且可以实现数据存储库的任何存储设备，并且可以包括但不限于盘驱动器、光学存储设备、固态存储装置、软盘、柔性盘、硬盘、磁带或任何其它磁性介质、紧凑型盘或任何其它光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓存存储器和/或任何其它存储器芯片或盒带、和/或计算机可以从其读取数据、指令和/或代码的任何其它介质。非瞬态存储设备310可以是可从接口拆卸的。非暂态存储设备310可以具有用于实现上述方法和步骤的数据/指令/代码。计算设备300还可以包括通信设备312。通信设备312可以是能够与外部装置和/或与网络通信的任何类型的设备或系统，并且可以包括但不限于调制解调器、网络卡、红外通信设备、无线通信装备和/或诸如蓝牙TM设备、302.11设备、WiFi设备、WiMax设备、蜂窝通信设施等的芯片组。如前所述的第一定位模块230、接收模块240、及第二定位模块250例如可以由通信设备312来实现。
当计算设备300被用作车载设备时，它还可以连接到外部设备，例如，GPS接收机、用于感测不同环境数据的传感器(比如以下项中的一个或多个：图像记录设备，尤其是视频相机和立体相机，和激光扫描仪，和雷达传感器)。以这种方式，计算设备300可以例如接收指示车辆的行驶情况的位置数据和传感器数据。当计算设备300被用作车载设备时，它还可以连接到用于控制车辆的行驶和操作的其他设施(比如引擎系统、刮雨器、防抱死制动系统等)。
此外，非暂时性存储设备310可以具有地图信息和软件要素以使得处理器304可以执行路线导航处理。此外，输出设备308可以包括用于显示地图、车辆的位置标记、及指示车辆的行驶情况的图像的显示器。输出设备308还可以包括用于音频导航的扬声器或耳机接口。
总线302可以包括但不限于工业标准体系架构(ISA)总线、微通道体系架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线和外围组件互连(PCI)总线。特别地，对于车载设备，总线302还可以包括控制器区域网络(CAN)总线或被设计用于在汽车上应用的其它体系架构。
计算设备300还可以包括工作存储器314，工作存储器314可以是能够存储对处理器304的工作有用的指令和/或数据的任何类型的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储器设备。
软件要素可以位于工作存储器314中，包括但不限于操作系统316、一个或多个应用程序318、驱动程序和/或其它数据和代码。用于执行上述方法和步骤的指令可以被包括在一个或多个应用程序318中，并且上述数据处理设备200的模块可以通过处理器304读取并执行一个或多个应用程序318的指令来实现。更具体地，上述设备200的生成模块220可以例如由处理器304在执行具有执行步骤S120的指令的应用程序318时实现。此外，上述设备200的构建模块260可以例如由处理器304在执行具有执行步骤S160的指令的应用程序318时实现。上述设备200的其他模块也可以例如由处理器304在执行具有执行一个或多个前述相应步骤的指令的应用程序318时实现。软件要素的指令的可执行代码或源代码可以存储在非瞬态计算机可读存储介质(诸如上述(一个或多个)存储设备310)中，并且可以在可能编译和/或安装的情况下被读入到工作存储器314中。软件要素的指令的可执行代码或源代码也可以从远程位置下载。
从上述实施例中，本领域技术人员可以清楚地知晓，可以通过软件及必要的硬件来实现本发明，或者可以通过硬件、固件等来实现本发明。基于这种理解，可以部分地以软件形式来实现本发明的实施例。计算机软件可以存储在计算机的可读存储介质中，比如软盘、硬盘、光盘或闪存中。计算机软件包括使得计算机(例如个人计算机、服务站或网络终端)运行根据本发明的各个实施例的方法或其一部分的一系列指令。
在本发明的一示例实施例中，提供了一种系统，该系统包括：被配置成存储一系列计算机可执行指令的存储器以及被配置成执行这一系列计算机可执行指令的处理器，其中，这一系列计算机可执行指令在被处理器执行时使得处理器执行上述方法中的各方法的步骤。该系统还可以包括：一个或多个传感器，被配置成获得可以从其生成SGM模型的传感器数据和/或可以从其获得定位信息的传感器数据。系统还可以包括：被配置成显示一个或多个SGM模型的显示器。这里的显示器可以是任何现有的显示器，比如LCD显示器、LED显示器等等。
在本发明的另一示例实施例中，提供了一种非暂时性计算机可读存储介质，其具有存储在其上的指令，该指令在被处理器执行时使得处理器执行上述方法中的任一种方法的步骤。
如此描述了本发明，明显地可以以许多方式改变本发明。不应将这些变化看作是偏离本发明的精神和范围，并且对于本领域技术人员而言会是清楚的所有这样的修改旨在被包括在以下权利要求的范围内。

Claims (24)

1.一种用于构建环境模型的计算机实现的方法，包括：
基于第一可移动物体的第一传感器数据来生成与环境的第一部分对应的第一有签名的高斯混合SGM模型；
从第二可移动物体接收与环境的第二部分对应的第二SGM模型；并且
构建包括第一SGM模型和第二SGM模型的第三SGM模型，
其中，步骤“基于第一可移动物体的第一传感器数据来生成与环境的第一部分对应的第一有签名的高斯混合SGM模型”包括：
获得表示环境的第一部分的第一传感器数据；
基于获得的第一传感器数据来生成环境的第一部分的高斯混合模型；
生成用于标识环境中的元素的至少一个签名，其中，签名包括元素的属性；并且
生成用于表示环境的第一SGM模型，其中，该第一SGM模型包括环境的第一部分的高斯混合模型和签名。
2.根据权利要求1所述的方法，其中，从以下项接收第一传感器数据：
图像记录设备；和/或
激光扫描仪；和/或
雷达传感器。
3.根据权利要求2所述的方法，其中，图像记录设备包括视频相机和立体相机。
4.根据权利要求1所述的方法，其中，该方法还包括：
获得第一SGM模型的定位信息。
5.根据权利要求4所述的方法，其中，步骤“从第二可移动物体接收与环境的第二部分对应的第二SGM模型”包括：
从第二可移动物体获得第二SGM模型的定位信息；并且
从第二可移动物体接收第二SGM模型。
6.根据权利要求5所述的方法，其中，步骤“从第二可移动物体接收与环境的第二部分对应的第二SGM模型”还包括：
根据第一SGM模型的定位信息和第二SGM模型的定位信息来选择第二可移动物体。
7.根据权利要求1所述的方法，其中，环境的第二部分与第二可移动物体的环境对应。
8.根据权利要求2所述的方法，其中，基于来自以下项的第二传感器数据来生成第二SGM模型：
其他图像记录设备；和/或
其他激光扫描仪；和/或
其他雷达传感器。
9.根据权利要求8所述的方法，其中，其他图像记录设备包括视频相机和立体相机。
10.根据权利要求1所述的方法，其中，该方法还包括：
从第二可移动物体接收第二SGM模型的定位信息。
11.根据权利要求10所述的方法，其中，步骤“构建包括第一SGM模型和第二SGM模型的第三SGM模型”包括：
通过根据第一SGM模型的定位信息和第二SGM模型的定位信息映射第一SGM模型和第二SGM模型，来对第一SGM模型和第二SGM模型进行组合。
12.一种用于构建环境模型的数据处理设备，包括：
生成模块，被配置成基于第一可移动物体的第一传感器数据来生成与环境的第一部分对应的第一有签名的高斯混合SGM模型；
接收模块，被配置成从第二可移动物体接收与环境的第二部分对应的第二SGM模型；以及
构建模块，被配置成构建包括第一SGM模型和第二SGM模型的第三SGM模型，
其中，生成模块被配置成：
获得表示环境的第一部分的第一传感器数据；
基于获得的第一传感器数据来生成环境的第一部分的高斯混合模型；
生成用于标识环境中的元素的至少一个签名，其中，签名包括元素的属性；并且
生成用于表示环境的第一SGM模型，其中，该第一SGM模型包括环境的第一部分的高斯混合模型和签名。
13.根据权利要求12所述的数据处理设备，其中，该数据处理设备被配置成从以下项接收第一传感器数据：
图像记录设备；和/或
激光扫描仪；和/或
雷达传感器。
14.根据权利要求13所述的数据处理设备，其中，图像记录设备包括视频相机和立体相机。
15.根据权利要求12所述的数据处理设备，其中，该数据处理设备还包括：被配置成获得第一SGM模型的定位信息的第一定位模块。
16.根据权利要求15所述的数据处理设备，其中，接收模块被配置成：
从第二可移动物体获得第二SGM模型的定位信息；并且
从第二可移动物体接收第二SGM模型。
17.根据权利要求16所述的数据处理设备，其中，接收模块还被配置成根据第一SGM模型的定位信息和第二SGM模型的定位信息来选择第二可移动物体。
18.根据权利要求12所述的数据处理设备，其中，该数据处理设备还包括：被配置成从第二可移动物体接收第二SGM模型的定位信息的第二定位模块。
19.根据权利要求12所述的数据处理设备，其中，构建模块被配置成：通过根据第一SGM模型的定位信息和第二SGM模型的定位信息映射第一SGM模型和第二SGM模型，来对第一SGM模型和第二SGM模型进行组合。
20.一种用于构建环境模型的系统，包括根据权利要求12至19中任一项所述的数据处理设备和以下项中的至少一个：
图像记录设备；
激光扫描仪；以及
雷达传感器。
21.根据权利要求20所述的系统，其中，图像记录设备包括视频相机和立体相机。
22.一种车辆或者机器人，包括根据权利要求20所述的系统。
23.一种用于构建环境模型的系统，其特征在于，包括：
存储器，被配置成存储一系列计算机可执行指令；以及
处理器，被配置成执行所述一系列计算机可执行指令，
其中，所述一系列计算机可执行指令在被处理器执行时使得处理器执行根据权利要求1至11中任一项所述的方法。
24.一种存储有指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时使得处理器执行根据权利要求1至11中任一项所述的方法。
CN201780088887.6A 2017-05-31 2017-05-31 用于构建环境模型的方法和装置 Active CN110770540B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/086603 WO2018218506A1 (en) 2017-05-31 2017-05-31 Method and apparatus for constructing an environment model

Publications (2)

Publication Number Publication Date
CN110770540A CN110770540A (zh) 2020-02-07
CN110770540B true CN110770540B (zh) 2024-04-09

Family

ID=64454284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780088887.6A Active CN110770540B (zh) 2017-05-31 2017-05-31 用于构建环境模型的方法和装置

Country Status (4)

Country Link
US (1) US20200166346A1 (zh)
EP (1) EP3631362A4 (zh)
CN (1) CN110770540B (zh)
WO (1) WO2018218506A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019201484A1 (de) * 2019-02-06 2020-08-06 Robert Bosch Gmbh Wiederverwertung von Umfeldmodellen automatisierter Fahrzeuge
CN113963319A (zh) * 2020-07-20 2022-01-21 宝马股份公司 定位方法和定位装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105009175A (zh) * 2013-01-25 2015-10-28 谷歌公司 基于传感器盲点和局限性来修改自主车辆的行为
CN106066173A (zh) * 2015-04-21 2016-11-02 赫克斯冈技术中心 用测量仪器和像机装置提供点云
WO2016201670A1 (en) * 2015-06-18 2016-12-22 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for representing map element and method and apparatus for locating vehicle/robot
CN106355948A (zh) * 2015-07-17 2017-01-25 本田技研工业株式会社 转弯预测
CN106456271A (zh) * 2014-03-28 2017-02-22 直观外科手术操作公司 手术植入物的定量三维成像和打印

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015090420A1 (en) * 2013-12-19 2015-06-25 Metaio Gmbh Slam on a mobile device
US10228685B2 (en) * 2015-10-22 2019-03-12 Globalfoundries Inc. Use of multivariate models to control manufacturing operations
US10482196B2 (en) * 2016-02-26 2019-11-19 Nvidia Corporation Modeling point cloud data using hierarchies of Gaussian mixture models
US10239529B2 (en) * 2016-03-01 2019-03-26 Ford Global Technologies, Llc Autonomous vehicle operation based on interactive model predictive control
US11450064B2 (en) * 2016-09-06 2022-09-20 Carnegie Mellon University Gaussian mixture model based approximation of continuous belief distributions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105009175A (zh) * 2013-01-25 2015-10-28 谷歌公司 基于传感器盲点和局限性来修改自主车辆的行为
CN106456271A (zh) * 2014-03-28 2017-02-22 直观外科手术操作公司 手术植入物的定量三维成像和打印
CN106066173A (zh) * 2015-04-21 2016-11-02 赫克斯冈技术中心 用测量仪器和像机装置提供点云
WO2016201670A1 (en) * 2015-06-18 2016-12-22 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for representing map element and method and apparatus for locating vehicle/robot
CN106355948A (zh) * 2015-07-17 2017-01-25 本田技研工业株式会社 转弯预测

Also Published As

Publication number Publication date
WO2018218506A1 (en) 2018-12-06
EP3631362A1 (en) 2020-04-08
CN110770540A (zh) 2020-02-07
EP3631362A4 (en) 2021-01-13
US20200166346A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
US10643103B2 (en) Method and apparatus for representing a map element and method and apparatus for locating a vehicle/robot
CN109215433B (zh) 用于自动驾驶仿真的基于视觉的驾驶场景生成器
CN110226186B (zh) 表示地图元素的方法和装置以及定位的方法和装置
KR102384875B1 (ko) 거리 센서의 칼리브레이션 방법, 장치 및 시스템
CN112313703B (zh) 点云的增量分割
KR102255432B1 (ko) 전자 장치 및 그의 제어 방법
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
US11585923B2 (en) Point cloud registration for LiDAR labeling
CN110770540B (zh) 用于构建环境模型的方法和装置
CN110720025B (zh) 移动物体的地图的选择方法、装置、系统和车辆/机器人
CN112639822A (zh) 一种数据处理方法及装置
CN115309773A (zh) 定位方法、装置、设备、介质和车辆
US20220254140A1 (en) Method and System for Identifying Object
CN111060114A (zh) 用于生成高精度地图的特征图的方法和装置
CN111383337A (zh) 用于识别对象的方法和装置
CN111542828A (zh) 线状物识别方法及装置、系统和计算机存储介质
CN114252081B (zh) 定位方法、装置、设备及存储介质
CN112116698A (zh) 用于点云融合的方法和装置
CN112198523A (zh) 用于点云分割的方法和装置
EP3944137A1 (en) Positioning method and positioning apparatus
CN115661313A (zh) 点云地图生成方法、设备及存储介质
CN111061820A (zh) 用于存储高精度地图的方法和装置
CN116466685A (zh) 针对自动驾驶感知算法的评测方法及装置、设备和介质
CN116299534A (zh) 车辆位姿的确定方法、装置、设备及存储介质
CN115238013A (zh) 用于对地图数据进行更新的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant