CN103890606B - 用于使用雷达-光学成像融合来创建地图的方法和系统 - Google Patents

Abstract

一种使用雷达扫描和光学成像的组合来对空间进行绘图的方法。该方法包括下列步骤：提供测量车辆，其具有连接到其的雷达系统和图像获取系统；使雷达系统的视场与图像获取系统的视场对准；使用雷达扫描系统获得空间的至少一个雷达扫描；使用图像获取系统获得空间的至少一个图像；以及组合至少一个雷达扫描与至少一个图像以构造空间的地图。

Description

用于使用雷达-光学成像融合来创建地图的方法和系统

技术领域

本公开涉及使用雷达数据和光学图像数据的组合来创建地图（map）。

背景技术

虽然基于车辆的绘图（mapping）是已知的，当前的方法遭受很多缺点之苦，该缺点包括差的角分辨率或不精确的空间测量。

发明内容

在一个实施例中，本发明提供了一种使用雷达扫描和光学成像的组合来对空间进行绘图的方法。该方法包括下列步骤：提供测量车辆，该车辆具有附接到其的雷达系统和图像获取系统；使雷达系统的视场与图像获取系统的视场对准；使用雷达扫描系统获得空间的至少一个雷达扫描；使用图像获取系统获得空间的至少一个图像；以及将至少一个雷达扫描与至少一个图像进行组合以构造空间的地图。

在另一实施例中，本发明提供了一种用于使用雷达扫描和光学成像的组合来对空间进行绘图的系统。该系统包括测量车辆，该测量车辆具有附接到其的雷达系统和图像获取系统，雷达系统的视场与图像获取系统的视场对准。该系统还包括与雷达系统和图像获取系统通信的控制器。控制器配置成使用雷达扫描系统获得空间的至少一个雷达扫描；使用图像获取系统获得空间的至少一个图像；以及将至少一个雷达扫描与至少一个图像进行组合以构造空间的地图。

通过考虑详细描述和附图，本发明的其它方面将变得清楚。

附图说明

图1示出使用雷达系统和图像扫描系统来扫描空间的测量车辆以及从所扫描的数据创建的空间的地图。

图2示出使用用于识别建筑物的周界的雷达数据产生的图。

图3示出如在如将被图像获取系统观看的典型图像中看到的建筑物，其中建筑物中的平行特征由于三维建筑物到二维图像的变换看起来是会聚的或发散的。

图4示出使用描绘建筑物的周界的数据产生的图，其中基于从相关的图像数据提取的信息来识别门口的位置。

具体实施方式

在详细解释本发明的任何实施例之前，应理解，本发明在其应用中不限于在下面的描述中阐述或在附图中示出的部件的构造和布置的细节。本发明能够有其它实施例并且能够以各种方式被实践或执行。

本发明包括用于通过组合来自雷达扫描和光学图像获取的信息来创建地图的方法和系统。测量车辆100被操纵穿过空间，收集该空间的一个或多个雷达扫描和光学图像。该空间是其中区域（例如在城市环境中的建筑物）的详细三维视图是所期望的任何地点。

在各种实施例中，测量车辆100是常规车辆，例如轿车、卡车、厢式货车或摩托车。在其它实施例中，测量车辆100是自主的或远程操作的车辆（例如机器人）。在各种实施例中，测量车辆100是自主的、远程操作的或有人驾驶的陆基的、空中的或水上的车辆。

在本发明的实施例中，测量车辆100具有附接到其的雷达系统200和图像获取系统300（图1）。雷达系统200和图像获取系统300中的每个具有与各自获得信息的空间区对应的相应的视场210、310。为了简单起见，图1示出单个雷达系统200和图像获取系统300，然而在各种实施例中，多个单元可附接到测量车辆。两个或多个图像获取系统300的使用提供捕获立体图像的能力，从而允许从图像得到额外的数据。

在一个实施例中，两个系统的视场210、310对准，使得这两个系统同时从同一空间区收集数据。雷达系统200和图像获取系统300可在测量车辆100上被指向向前、向侧面或向后。在各种实施例中，测量车辆100还可包括GPS单元400。

在各种实施例中，测量车辆100包括计算机系统110。在一些实施例中，使用计算机系统110收集并存储来自雷达系统200、图像获取系统300和GPS单元400（当存在时）的数据，为了说明目的，计算机系统110被示为容纳于测量车辆100上。然而，可使用在一个或多个远程位置中操作的一个或多个这样的计算机系统110来实施本文描述的方法和系统。通常，计算机系统110包括微处理器、存储器和数据存储、输入和输出及有线或无线联网能力，并与本文公开的测量和感测系统进行有效的通信（有线或无线）。计算机系统110用作控制器，该控制器配置成执行本文公开的方法和系统，包括控制雷达系统200、图像获取系统300和GPS单元400中的一个或多个以及如本文所述地那样处理数据以如本文公开那样对空间进行绘图。

在一些实施例中，在收集数据的同时例如使用基于无线电的通信将数据传输到不同的地点以用于通过可远程地定位的可匹配的计算机系统110来存储和分析。可与数据的收集同时（或接近同时，当传输信号被减慢或中断时使用缓冲器来存储数据）地分析数据，或可在收集期间在计算机系统110上存储数据并在稍后的时间离线地分析数据。

固定波束雷达系统200可通过包括被定位于相对于彼此不同的角度处的多个天线以从多个方向收集所反射的雷达能量并使用关于天线的相对角度的信息从反射的能量得到空间信息，来从较宽的视场得到信息。可替代地，扫描雷达系统200可通过扫描和收集来自一般是较窄的视场的东西的能量并通过扫描空间（例如光栅扫描）建立较大的视场来得到关于反射的能量的空间关系的信息。

来自雷达系统200的数据提供关于到视场210中的物体的距离的准确信息。然而，与光学成像比较，雷达在提供角度信息（例如关于正交于雷达波束的尺寸的信息）时不是那样准确。对于固定波束雷达系统200尤为如此，在固定波束雷达系统200中，角度信息从收集自接收反射能量的多个天线收集的不同信号得到。

因此，为了提供跨越雷达系统200的视场210的更好的空间信息（即，更好的角分辨率），将雷达扫描信息与使用图像获取系统300得到的同一空间的一个或多个图像组合。如上所述，雷达系统200和图像获取系统300在开始时被对准，以便使视场尽可能准确地重叠。然而，数据的进一步对准可能是必要的，并可手动地或以自动方式执行数据的进一步对准。

雷达传感器200通常收集原始频率信息。一般，对原始频率信息执行傅立叶变换。因为来自运动物体（例如轿车、行人）的反射实质上小于来自静止物体（例如建筑物、柱子）的反射，所以通常安全的是假设所有反射数据都来自静止的物体。因此，原始频率信息的傅立叶变换的结果将对应于离静止物体的雷达传感器的距离。然而，为了更好地改善数据且特别是针对其中运动物体对反射数据做出显著贡献的情况，当地图被构造时，可确定并移除来自运动物体的数据的分量。此外，可在稍后的时间分析来自雷达传感器200的速度信息，且可移除对应于运动物体的数据。

对于每个频率，可计算角度，其中用于计算角度的机构取决于是固定波束还是扫描雷达传感器200被使用。对于固定波束传感器，对于每个频率，比较来自不同天线的相位和振幅信息以确定角度，而扫描传感器给出关于角度的更直接的结果。一旦计算出所有这个信息，就产生地图，其中针对每个距离的所计算的角度被标记。从雷达传感器200接收的功率信息也可用于区分开好的测量与差的测量。虽然在一些情况下雷达地图包含噪声，通常雷达地图提供对应于建筑物或其它大的静止物体的外形或轮廓。

图2示出使用用于识别建筑物（例如图3所示的建筑物）的周界或覆盖区（footprint）的雷达数据产生的图。图2示出从上面看到的示出雷达数据（图2中的散斑）的建筑物的覆盖区的视图，即，由雷达系统200收集的雷达反射的最强总和的抽象的或精简的视图。从这个信息中，识别出建筑物的轮廓（图2中的线）。

使用从同一位置的图像获取系统300得到的数据，可识别出被探测到的大物体（例如图2中的建筑物）。图像处理和物体识别可用于识别这些大物体，且对于感兴趣的物体，可执行雷达和视频数据的匹配。可特别使用雷达数据来确定到这些物体的精确距离，并将到这些物体的精确距离输入到地图中（例如作为GPS坐标）。

对于不感兴趣的物体，使用来自图像获取系统300的图像数据对物体的分类可用于排除一个或多个这样的物体。例如，其它车辆（例如停下的汽车）可被识别出并被排除用于绘图步骤，因为这些一般是可移动的且当地图被使用时这些可能不再在它们的原始位置处。

因为雷达系统200还可确定在大物体（例如建筑物）之间是否有大自由空间，所以诸如小巷之类的位置也可被输入到地图中，而不必使测量车辆100移动穿过它们；如果车辆不被允许在小巷中或如果测量车辆100不适合在小巷中，则这是特别有用的。例如小巷的空间具有下列特征：它被长的笔直墙（即，建筑物的正面）和紧靠它们的无阻挡视野（即，对应于小巷的开口）约束。

作为来自雷达系统200和图像获取系统300的数据的处理的结果，使用精确的建筑物位置（图1）来产生空间的地图500。除了物体的底部的位置和尺寸以外，地图500还可包括每个物体的正面和侧面（以及背面，如果测量车辆100可接近的话）的海拔以提供三维视图。从雷达系统200和图像获取系统300得到的准确的结构尺寸（例如宽度、高度、离街道和其它物体的距离）可用于完善该结构（例如建筑物）的轮廓。这个信息转而可用于从可放置在结构上分明的骨架之上的图像“切割”数据以产生空间的现实三维视图。可针对从三维物体（例如建筑物）到二维图像（图3）的变换产生的失真来校正图像数据。对于大部分建筑物，假设总体形状是矩形棱柱，然而，来自雷达系统200和图像获取系统300的数据可用于确定建筑物或其它物体的形状，并在校正相应的失真时进行适当的调节。

可分析图像数据以识别物体上的特征（例如建筑物上的门口或窗户），以提供用于绘图的更详细的信息。图4示出使用描绘建筑物的周界的雷达数据产生的图，其中基于从相关的图像数据提取的信息识别出门口的位置。结合从GPS单元400得到的地理参考数据，门口可用作导航点，例如用于计算步行距离或最近的停车场，或以确定从用户的当前位置到建筑物入口的距离。可通过使用在图片中可见的尺寸、使用从数据被获取的视点到建筑物底部的雷达距离并使用视点比例缩放计算来计算建筑物的尺寸（例如高度）。

采用几个步骤来识别物体（例如建筑物）的轮廓，例如在图3中的建筑物周围显示的轮廓。建筑物的基线（例如图2）被识别为在俯仰（pitch）方向上的旋转点（考虑视角和与距离的相关比例缩放）。垂直拐角被识别为在偏航方向上的旋转角。雷达数据（例如图2所示的散斑数据）用于识别建筑物边界（图2中的线），建筑物边界转而用于计算旋转点（例如俯仰和偏航）。这些点可接着用于分割图像。在其它用途当中，当没有来自该视点的原始图像是可用的时，这个分割信息可用于拉长图像以产生新视点，例如获取建筑物的侧面的倾斜图像并拉长它以产生直接看建筑物的侧面的视点。

除了来自原始建筑物的图像以外，例如广告600的图像也可能被放置在建筑物（图3）的一些或全部上。此外，可从建筑物的多个图像中选择被“切割”并放置到建筑物上的图像，即，建设物的外部的图像，例如具有比当得到同时扫描数据时可用的图像更好的照明的图像。也可例如通过“拉伸”来自侧视图的图像数据以给出从建筑物的正面看的外观来创建具有新视点的图像。因为建筑物或其它物体的骨架的尺寸在三维中是已知的，即使从各种角度被观看，也可正确地显示放置到物体的外表面上的图像。在不是矩形棱柱的建设物（例如具有弯曲面的建筑物）的情况下，图像数据在弯曲面上被“拉伸”。

地图500和来自空间的相关三维数据可用于多个目的。在一个实施例中，地图500用于提供基于被扫描的空间的虚拟世界或几个空间的复合物来产生虚构的虚拟世界。在另一实施例中，地图用作例如在车辆、计算机或智能电话中的导航工具的部分。

除了所扫描的物体以外，可将其它三维物体添加到在地图中提供的视图。如上所述，可以用无缝方式将广告放置在物体上。此外，虚拟字符可被显示输入所描绘的建筑物，例如用于游戏、广告或互联网零售的目的。

与只使用成像系统来产生数据的系统比较，雷达具有提供准确的距离信息以及较长的有用范围（与成像系统的20-50米比较，雷达是250米）的优点。因此，到建筑物的距离可被计算以提供绘图和方向信息，而不需要测量车辆100更近地接近建筑物。因此，减小了测量车辆100需要行驶以对用于绘图的特定空间进行绘图的距离。此外，更远离公共街道的建筑物可被更精确地绘图。此外，可给出到建筑物的门的距离，包括例如从停车场走到门花费多长时间的计算之类的特征。

因此，本发明提供了使用雷达-光学成像融合来创建地图的方法和系统等等。在下面的权利要求中阐述了本发明的各种特征和优点。

Claims (20)

1.一种使用雷达扫描和光学成像的组合来对空间中的物体进行绘图的方法，包括：

提供测量车辆，所述测量车辆具有附接到所述测量车辆的雷达系统和光学图像获取系统；

使所述雷达系统的视场与所述光学图像获取系统的视场对准；

使用所述雷达系统来获得所述空间的至少一个雷达扫描；

在使用所述雷达系统来获得所述空间的所述至少一个雷达扫描的同时，使用所述光学图像获取系统来获得所述空间的至少一个图像；

至少部分基于所述至少一个雷达扫描和所述至少一个图像来产生包括位于所述空间中的物体的所述空间的三维数字呈现；以及

将所述空间的三维数字呈现存储到存储器中，

其中，组合所述空间的所述至少一个雷达扫描和所述空间的所述至少一个图像，使得以精确的建筑物位置来产生所述空间的地图。

2.如权利要求1所述的方法，还包括：

从所述空间的所述图像和所述空间的所述雷达扫描的至少其中之一识别数据，所述数据与当获得所述空间的所述雷达扫描和所述空间的所述图像时正在运动的所述空间中的运动物体相关联，并且

其中产生所述空间的三维数字呈现包括去除与所述运动物体相关联的数据，以使得所述运动物体的数字呈现不包括在所述空间的三维数字呈现中。

3.如权利要求1所述的方法，还包括识别所述空间中的物体以及识别所述物体的特征。

4.如权利要求3所述的方法，其中，所述物体是建筑物，并且所述方法还包括使用所述至少一个雷达扫描来识别所述建筑物的轮廓。

5.如权利要求4所述的方法，其中，所述轮廓包括所述建筑物的覆盖区。

6.如权利要求4所述的方法，还包括估计所述建筑物的高度。

7.如权利要求3所述的方法，其中，所述物体是建筑物，并且所述方法还包括：

显示所述空间的三维数字呈现的至少一部分，所述三维数字呈现的所显示的部分包括所述建筑物；以及

在所述建筑物的数字呈现的外部上叠加广告，其中所叠加的广告不出现在所述至少一个图像中的所述建筑物的外部上。

8.如权利要求1所述的方法，还包括在导航系统上显示所述空间的三维数字呈现的至少一部分。

9.如权利要求1所述的方法，其中，提供具有附接到测量车辆的雷达系统和图像获取系统的测量车辆还包括提供具有附接到测量车辆的雷达系统、图像获取系统和GPS单元的测量车辆。

10.如权利要求1所述的方法，还包括：

显示所储存的所述空间的三维数字呈现的至少一部分，其中所显示的部分包括建筑物；以及

在所述建筑物的数字呈现的外部上叠加特征，其中所叠加的特征不出现在所述至少一个图像中的所述建筑物的外部上。

11.一种使用雷达扫描和光学成像的组合来对空间中的物体进行绘图的系统，包括：

测量车辆，其具有附接到所述测量车辆的雷达系统和光学图像获取系统，所述雷达系统的视场与所述光学图像获取系统的视场对准；

控制器，其与所述雷达系统和所述光学图像获取系统通信，所述控制器被配置成：

使用所述雷达系统来获得所述空间的至少一个雷达扫描；

在使用所述雷达系统来获得所述空间的所述至少一个雷达扫描的同时，使用所述光学图像获取系统来获得所述空间的至少一个图像；

至少部分基于所述至少一个雷达扫描和所述至少一个图像来产生所述空间的三维数字呈现；以及

将所述空间的三维数字呈现存储到存储器中，

其中，组合所述空间的所述至少一个雷达扫描和所述空间的所述至少一个图像，使得以精确的建筑物位置来产生所述空间的地图。

12.如权利要求11所述的系统，其中，所述控制器还被配置成：

从所述空间的所述图像和所述空间的所述雷达扫描的至少其中之一识别数据，所述数据与当获得所述空间的所述雷达扫描和所述空间的图像时正在运动的所述空间中的运动物体相关联，并且

其中所述控制器被配置成通过如下方式来产生所述空间的三维数字呈现：去除与所述运动物体相关联的数据，以使得所述运动物体的数字呈现不包括在所述空间的三维数字呈现中。

13.如权利要求11所述的系统，其中，所述控制器还被配置成识别所述空间中的物体，并且所述控制器还被配置成识别所述物体的特征。

14.如权利要求13所述的系统，其中，所述物体是建筑物，并且其中所述控制器还被配置成使用所述至少一个雷达扫描来识别所述建筑物的轮廓。

15.如权利要求14所述的系统，其中，所述轮廓包括所述建筑物的覆盖区。

16.如权利要求14所述的系统，其中，所述控制器还被配置成估计所述建筑物的高度。

17.如权利要求13所述的系统，其中，所述物体是建筑物，并且其中，所述控制器还被配置成：

显示所述空间的三维数字呈现的至少一部分，所述三维数字呈现的所显示的部分包括所述建筑物；以及

在所述建筑物的数字呈现的外部上叠加广告，其中所叠加的广告不出现在所述至少一个图像中的建筑物的外部上。

18.如权利要求11所述的系统，还包括导航系统，所述导航系统被配置成显示所述空间的三维数字呈现的至少一部分。

19.如权利要求11所述的系统，其中，所述测量车辆还包括附接到所述测量车辆的GPS单元。

20.如权利要求11所述的系统，其中，所述控制器还被配置成：

显示所储存的所述空间的三维数字呈现的至少一部分，其中所显示的部分包括建筑物；以及

在所述建筑物的数字呈现的外部上叠加特征，其中所叠加的特征不出现在所述至少一个图像中的所述建筑物的外部上。