CN108072373A - 使用激光扫描图像构造地图数据 - Google Patents

使用激光扫描图像构造地图数据 Download PDF

Info

Publication number
CN108072373A
CN108072373A CN201711084292.1A CN201711084292A CN108072373A CN 108072373 A CN108072373 A CN 108072373A CN 201711084292 A CN201711084292 A CN 201711084292A CN 108072373 A CN108072373 A CN 108072373A
Authority
CN
China
Prior art keywords
map
patch
patch images
transform
patch image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711084292.1A
Other languages
English (en)
Other versions
CN108072373B (zh
Inventor
朱瓦·恩里克·卡斯托雷纳·马丁内斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN108072373A publication Critical patent/CN108072373A/zh
Application granted granted Critical
Publication of CN108072373B publication Critical patent/CN108072373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Stored Programmes (AREA)
  • Laser Beam Processing (AREA)

Abstract

一种包括处理器和存储处理器可执行指令的存储器的计算机。处理器可以编程为：通过对从至少一个车辆激光扫描仪接收到的多个地图视角补丁图像(PMPPI)应用数学变换算子来生成多个变换补丁图像(PTPI)；将至少一些PTPI结合为单个补丁图像；以及使用单个补丁图像构造地图补丁图像。

Description

使用激光扫描图像构造地图数据
技术领域
本发明涉及机动车辆，以及更具体地涉及使用激光扫描图像构造地图数据。
背景技术
一些车辆可以配置为利用被称为定位的技术以自动操作。根据这种技术，可以至少部分地使用存储的车载数字地图驾驶车辆。这些数字地图的质量可以影响自主操作车辆的成功操作。因此，需要提供高质量的数字地图。
发明内容
根据本发明，提供一种包含处理器和存储处理器可执行指令的存储器的计算机，其中处理器编程为：
接收在车辆附近的并且通过车辆上的至少一个扫描仪成像的物理区域的多个地图视角补丁图像(map perspective patch image)；
通过对多个地图视角补丁图像中的至少一些应用数学变换算子来生成多个变换补丁图像；
将多个变换补丁图像中的至少一些结合成单个补丁图像；以及
使用单个补丁图像和多个地图视角补丁图像中的至少一个来构造地图补丁图像。
根据本发明的一个实施例，其中多个扫描仪中的每一个是光探测和测距(LiDAR)装置。
根据本发明的一个实施例，其中变换算子包括离散微分梯度算子、离散傅立叶算子、离散小波算子、径向基算子、噪声波算子、曲波算子或拉普拉斯算子中的一个。
根据本发明的一个实施例，其中处理器编程为，在结合多个变换补丁图像中的至少一些时，确定多个变换补丁图像的子集，其中仅子集结合为单个补丁图像。
根据本发明的一个实施例，其中处理器编程为，在结合多个变换补丁图像中的至少一些时，执行算法，该算法包括：
输入：Dyφ对于φ∈Φ，步长
γ＞0，和阈值常数τ＞0.
设置：t←1，q0←1
重复
Wt←st+((qt-1-1)/qt)(st-st-1).
t←t+1
直到：停止准则
返回：
根据本发明的一个实施例，其中处理器编程为，在结合多个变换补丁图像中的至少一些时，在执行算法之前根据公式选择变换补丁图像的子集，其中仅子集被结合成单个补丁图像，其中该公式包括：
其中对保真项和由正则化参数λ＞0
控制的正则项执行最小化，
其中保真项是：
其代表加权平均值和多个变换补丁图像中的至少一些的平均值之间的保真项，其中正则项是：
根据本发明的一个实施例，其中处理器编程为，在结合多个变换补丁图像中的至少一些时，通过忽略多个变换补丁图像中的至少一些来提高地图补丁图像中的信噪比。
根据本发明的一个实施例，其中处理器编程为，在构造地图补丁图像时执行算法，该算法包括：
输入：单个融合补丁图像Dy、多个地图视角补丁
图像中的至少一个和步长γ＞0。
设置：t←1
重复
t←t+1
直到：停止准则
设置：
返回：地图补丁图像
根据本发明的一个实施例，其中处理器编程为通过结合构造的地图补丁图像和使用多个不同的地图视角补丁图像通过重复接收、生成、结合和构造步骤而生成的至少一个附加构造的地图补丁图像来生成数字地图文件。
根据本发明的一个实施例，其中处理器编程为，在结合多个变换补丁图像中的至少一些之前，对多个变换补丁图像中的至少一些应用去噪函数。
根据本发明的一个实施例，其中处理器编程为，在结合多个变换补丁图像中的至少一些时，在融合期间对多个变换补丁图像中的至少一些应用去噪函数。
根据本发明的一个实施例，其中处理器进一步地编程为使用地图补丁图像而以至少部分自主的模式操作车辆。
根据本发明的一个实施例，其中计算机是从车辆接收有线或无线数据上传的远程服务器或计算机位于车辆内并且连接至至少一个扫描仪。
根据本发明的一个实施例，其中多个地图视角补丁图像在没有至少一个扫描仪的校准序列的情况下被捕获。
根据本发明，提供一种方法，该方法包含：
在车辆中的计算机处：
接收在车辆附近的物理区域的多个未校准的地图视角补丁图像；
通过对多个地图视角补丁图像中的至少一些应用数学变换算子来生成多个变换补丁图像；
将多个变换补丁图像中的至少一些结合成单个融合补丁图像；以及
使用融合补丁图像和多个地图视角补丁图像中的至少一个来构造地图补丁图像。
根据本发明的一个实施例，其中变换算子包括离散微分梯度算子、离散傅立叶算子、离散小波算子、径向基算子、噪声波算子、曲波算子或拉普拉斯算子中的一个。
根据本发明的一个实施例，其中结合步骤进一步地包含执行算法，该算法包括：
输入：Dyφ对于φ∈Φ，步长
γ＞0，和阈值常数τ＞0.
设置：t←1，q0←1
重复
Wt←st+((qt-1-1)/qt)(st-st-1).
t←t+1
直到：停止准则
返回：
根据本发明的一个实施例，其中构造步骤进一步地包含执行算法，该算法包括：
输入：单个融合补丁图像Dy、多个未校准的地图视角
补丁图像中的至少一个和步长γ＞0。
设置：t←1
重复
t←t+1
直到：停止准则
设置：
返回：地图补丁图像
根据本发明，提供一种包含处理器和存储处理器可执行指令的存储器的计算机，其中处理器编程为：
通过对从至少一个车辆激光扫描仪接收到的多个地图视角补丁图像(PMPPI)应用数学变换算子来生成多个变换补丁图像(PTPI)；
将至少一些PTPI结合成单个补丁图像；以及
使用单个补丁图像来构造地图补丁图像。
根据本发明的一个实施例，其中构造包括合并单个补丁图像和一个PMPPI两者。
附图说明
图1说明根据一个说明性实施例的地图生成系统，该系统包括配置为接收激光扫描图像并且由此生成地图补丁图像的计算机；
图2是地图补丁图像和与激光扫描仪相关的地图单元的示意图；
图3是生成地图补丁图像的方法的流程图；
图4是说明性地图视角补丁图像，其中使用对比技术选择图像的元素；
图5-8说明由激光扫描仪的不同的发射器/探测器对提供的地面的共同区域的若干地图视角补丁图像；
图9说明在图3中显示的方法的一部分的示意图；
图10说明在测试和试验期间获取的对比度增强图像；
图11说明在测试和试验期间获取的伪像图像；
图12说明试验校准图像与根据在图3中提出的方法生成的试验图像的比较。
具体实施方式
图1说明包括远程服务器或计算机12的地图生成系统10，该远程服务器或计算机12通过使用从多个车辆(比如图示且示例性的车辆14)收集到的数据来生成数字地图或地图文件。地图文件可以编程至与远程服务器12相关的由车辆制造商销售的新的车辆中，或可以经由所谓的空中下载(over the air，OTA)更新而被多个车辆中的一个或多个下载和使用。根据一个实施例，使用本领域中被称为定位的技术的自主操作车辆使用数字地图文件，其中车辆至少部分地使用存储在车辆存储器中的一个或多个地图文件来导航道路。如将在下面进一步地解释，具有激光扫描仪或其他合适的传感装置的车辆可以提供可以用于导航道路的定位数据，以及创建新的数字地图文件和/或改进现有的地图文件。因此，应该领会的是，在图1中示出的车辆14仅仅是可以为远程服务器12提供定位数据的车辆的一个示例；在优选的地图生成系统实施例中，许多车辆提供这样的数据。
车辆14可以是乘用车或任何其他合适的车辆，包括摩托车、卡车、运动型多用途车辆(SUV)、休闲车辆、船舶、飞机、自主机器人等，车辆14包括适于在地图生成系统10内收集定位数据的传感器系统18。例如，传感器系统18包括比如多个激光扫描仪20-26、连接至扫描仪20-26的约束控制模块(RCM)28、映射模块(MM)或计算机30、以及通信模块32这样的若干车辆硬件模块。例如在自主或部分自主车辆操作期间等，传感器系统18也可以被其他车辆系统使用。
激光扫描仪20-26可以是完全相同的；因此，在此将仅描述一个。根据一个非限制性实施例，扫描仪20可以是LiDAR(光探测和测距)装置。LiDAR是主动扫描技术，该主动扫描技术包括(从未示出的发射器)发射光信号和(在未示出的探测器处)测量所谓的‘返回’——该返回包含发射信号的反射。在下面的讨论中，发射器/探测器对有时被称为‘观测器’；并且单个LiDAR装置可以具有多个‘观测器’。在至少一个实施例中，扫描仪20包括32个发射器/探测器对，其中每个发射器每1.5微妙(μs)发射一个信号，并且每个探测器测量从其相应的发射器发射的光束的反射返回(例如，反射率大小)。当然，其他实施例也是可行的——例如，每个扫描仪20反而可以具有16对、64对等，并且扫描速率也可以变化。由于LiDAR技术和LiDAR装置在本领域中通常是已知的，所以它们的实施在此将不再进一步地讨论。
单独地或共同地，扫描仪20-26可以设置为从车辆的四周或环境(例如，车辆14周围360°视野)获取定位数据。在至少一个实施例中，扫描仪20-22可以设置在车辆14的一侧40，然而扫描仪24-26可以设置在相对侧42。在图示的实施例(图1)中，扫描仪20-22邻近在B柱46附近的车辆14的车顶区域44定位，并且扫描仪24-26邻近在B柱48附近的车辆14的车顶区域44定位。当然，这仅是非限制性示例。在至少一种实施方式中，相应的扫描仪20-26中的每一个的方位适应于扫描周围的道路50。扫描仪20-26可以成像道路和在车辆14周围或附近的任何其他合适的物理区域；在至少一种非限制性实施方式中，由扫描仪20-26确定的图像包括车辆14径向向外的0-120米的范围。
扫描仪可以以未校准的或原始光反射图像数据的形式输出定位数据。例如，扫描仪20-26本身可能不需要偶然校准序列。如在此所使用的，激光扫描仪的校准序列是与扫描仪的测量仪表或在激光扫描仪已经在其制造商处装配之后和/或在激光扫描仪已经安装在车辆14中之后发生的获取的测量值本身相关的校准修正、调整和/或校正。校准序列的非限制性示例包括基于目标的和无目标的校准，该基于目标的和无目标的校准的性质将被技术人员领会。也应该领会的是使用未校准的反射率数据节省了处理时间；此外，技术人员将领会到在自主或半自主车辆中，即使执行偶然校准序列也可能是不切实际的，因为基于目标的方法太昂贵并且基于无目标的方法是劳动密集型的(例如，技术人员花费大约一天来完成校准过程)。
通常，RCM 28可以控制车辆安全气囊或其他车辆安全系统并且与车辆安全气囊或其他车辆安全系统通信。然而，在至少一个实施例中，在约束控制模块28内的基于微处理器的控制器经由离散的有线或无线通信链路52-58而从扫描仪20-26收集定位数据。当然，其他通信链路是可行的(例如，总线或类似的连接)。
虽然收集的定位数据也可以被车辆14内的导航系统使用，但定位数据——经由车载通信网络60——可以提供至映射模块30以用于车载存储或车载车辆地图生成、提供至通信模块32以传输至远程服务器12以用于基于服务器的地图生成、或两者。通信网络60的非限制性示例包括控制器局域网(CAN)总线、以太网、局部互联网(LIN)、以及任何其他合适的有线或无线通信网络。
映射模块30可以是适应于存储定位数据和/或使用从激光扫描仪20-26以及任何其他合适的导航或位置感测传感器——包括但不限于车轮转速传感器、车轮取向传感器、发动机状态传感器、发动机转速传感器、全球定位系统(GPS)传感器、加速度计、陀螺仪、惯性测量传感器等——接收到的定位数据来生成数字地图数据的任何合适的车辆硬件系统模块或装置。根据至少一种实施方式，映射模块30至少在数据可以被传输至远程服务器12以前存储来自激光扫描仪的定位数据。例如，这可以经由无线数据上传(在下面描述)或经由以太网、所谓的OBD(车载诊断系统)-II连接(例如，通过授权的维修技术员)等进行。
在至少一个实施例中，映射模块30使用定位数据来生成地图补丁图像或数字地图文件。如在此所使用的，数字地图或数字地图文件是地图补丁图像的集合，其中至少一些地图补丁图像是相邻地设置(例如，边到边、部分地覆盖等)。如在此所使用的，地图补丁图像是地图单元的集合，其中至少一些地图单元是相邻地设置(例如，边到边、部分地覆盖等)。图2说明几个地图补丁图像P1、P2、P3…(共同地，相应于道路50的数字地平面的一部分)；每一个补丁图像(例如，P1)可以包括多个地图单元C1、C2、C3…(如图所示)。此外，当通过激光扫描仪20-26中的一个成像时，地图补丁图像P1可以相应于道路50的区域R(参见图1)。同样，地图单元C1、C2…可以相应于道路50上的子区域SR1、SR2…(例如，具有预定的大小或面积)。如将在下面更详细地解释，映射模块30可以通过从激光扫描仪20-26中的每一个接收定位数据来生成地图补丁图像，该激光扫描仪20-26成像(或试图成像)道路的同一区域R。当然，激光扫描仪20-26中的每一个最后成像与区域R类似的道路50的许多区域并且也把这些提供至模块30。
为了执行在上面描述的程序，映射模块30包括一个或多个处理器70和存储器72。处理器70可以是能够处理电子指令的任何类型的装置，非限制性示例包括微处理器、微控制器或控制器、专用集成电路(ASIC)等——仅列举一些。处理器70可以专用于映射模块30，或可以与其他车辆系统和/或子系统共享。如根据接下来的描述将显而易见的是，模块30可以编程为至少执行在此描述的方法的一部分——例如，配置为执行数字存储指令，该数字存储指令可以存储在存储器72中。
存储器72可以包括任何非暂时性计算机可用或可读介质，该存储器72可以包括一个或多个存储装置或物品。示例性非暂时性计算机可用存储装置包括传统的计算机系统RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦可编程只读存储器)、EEPROM(电可擦可编程只读存储器)、以及任何其他易失性或非易失性介质。非易失性介质包括，例如，光盘或磁盘以及其他永久存储器。易失性介质包括动态随机存取存储器(DRAM)，其典型地构成主存储器。计算机可读介质的一般形式包括，例如，软盘(floppy disk)、柔性盘(flexibledisk)、硬盘、磁带、任何其他磁介质、CD-ROM(紧凑型光盘只读储存器)、DVD(数字化视频光盘)、任何其他光学介质、穿孔卡片、纸带、任何其他具有孔式样的物理介质、RAM、PROM(可编程只读存储器)、EPROM、FLASH-EEPROM(闪速电可擦可编程只读存储器)、任何其他存储器芯片或内存盒、或任何其他计算机可读的介质。如上面所讨论的，存储器72可以存储一个或多个计算机程序产品，该计算机程序产品可以具体为软件、固件等。
如下面所讨论的，除在映射模块30上执行那些程序之外或代替在映射模块30上执行那些程序，在远程服务器12上执行地图生成程序可能是可取的。通信模块32可以促进这种通信。例如，模块32可以是包括任何合适的硬件、软件等以启用蜂窝通信(例如，LTE(长期演进)、CDMA(码分多址)、GSM(全球移动通信系统)等)、短程无线通信技术(例如，Bluetooth(蓝牙)、BLE(低功耗蓝牙)、Wi-Fi(无线保真)等)或其组合的配备远程信息处理的装置。根据一个实施例，通信模块32配置为使用蜂窝和/或短程无线通信将定位数据无线地传输至远程服务器12，以便服务器12可以使用这个数据来生成数字地图。
通过车辆通信模块32传输的定位数据可以经由任何合适的远程通信技术而被远程服务器12接收。仅为了说明性目的，显示从通信模块32接收无线通信的无线载波系统76(显示说明性的手机信号塔和基站)。此外，无线载波系统76可以连接至最后连接至远程服务器12的地面通信网络78。无线载波系统76可以是可以包括利用任何合适的蜂窝技术(例如，LTE、CDMA、GSM等)的所谓的eNodeBs、服务网关、基站收发器等的蜂窝电话系统。
地面通信网络78可以包括启用至公用电话交换网(PSTN)的连接的连接至无线载波系统76的任何有线网络，比如用于提供硬连线电话、分组交换数据通信、互联网基础设施等这样的有线网络。系统76和网络78两者在本领域中通常是已知的并且在此将不再进一步地描述。当然，在所有实施例中不都需要地面通信网络78；例如，远程服务器12可以经由无线载波系统76、经由卫星网络(未示出)等从车辆14接收无线通信。
远程服务器12可以是专门配置为从比如车辆14这样的车辆接收定位数据并且响应于其而生成地图补丁图像和/或数字地图文件的任何合适的计算机或计算系统。在至少一个实施例中，服务器12包括一个或多个处理器80、存储器82、以及一个或多个数据库84。处理器80可以具有与处理器70类似或完全相同的特征和/或功能。例如，处理器80可以是能够处理电子指令的任何类型的装置，非限制性示例包括微处理器、微控制器或控制器、专用集成电路(ASIC)等——仅列举一些。处理器80可以专用于服务器12，或可以与其他服务器系统和/或子系统共享。如根据接下来的描述将显而易见的是，服务器12可以编程为至少执行在此描述的方法的一部分。例如，处理器80可以配置为执行数字存储指令，该数字存储指令可以存储在存储器82中。
存储器82具有与存储器72类似或完全相同的特征和/或功能。例如，存储器82可以包括任何非暂时性计算机可用或可读介质，该存储器82可以包括一个或多个存储装置或物品。示例性非暂时性计算机可用存储装置包括传统的计算机系统RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦可编程只读存储器)、EEPROM(电可擦可编程只读存储器)、以及任何其他易失性或非易失性介质。非易失性介质包括，例如，光盘或磁盘以及其他永久存储器。易失性介质包括动态随机存取存储器(DRAM)，其典型地构成主存储器。计算机可读介质的一般形式包括，例如，软盘、柔性盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD、任何其他光学介质、穿孔卡片、纸带、任何其他具有孔式样的物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或内存盒、或任何其他计算机可读的介质。如上面所讨论的，存储器82可以存储一个或多个计算机程序产品，该计算机程序产品可以具体为软件、固件等。在一种实施方式中，存储在存储器82上的可执行指令中的至少一些与存储在存储器72上的那些可执行指令类似或完全相同；然而，这不是必需的。
此外，远程服务器12可以包括一个或多个数据库84以在文件归档系统中存储——除其他事情之外——数字地图文件的集合。例如，一个或多个数据库84可以专用于存储与被分类为所谓的4级自主驾驶区域的都市或城市宏观区域相关的定位数据。数据库84中的存储的地图文件可以使用处理器80而被查阅或下载、更新(如下面所描述的)，然后被上传并且再次存储在其中。此外，地图文件或地图补丁图像可以从比如车辆14这样的车辆接收并且存储在数据库84中——例如，并且用于补充、扩充、或修改现有的地图文件。
在下面描述系统的一个或多个实施例。将要领会的是接下来的讨论仅是系统的一种实施方式；其他实施方式对本领域的技术人员来说将是显而易见的。
方法
图3说明使用在上面描述的地图生成系统10来生成或构造数字地图补丁图像的方法或过程300。可以使用任何合适的计算机——例如，使用车辆映射模块30、使用远程服务器12、或任何其他合适的计算机来执行方法。为了清晰的目的(而不是限制)，关于远程服务器12执行方法300来描述方法。在下面提出方法的概述；之后，更详细地描述步骤。
通常，在服务器12处的处理器80执行存储在存储器82上的指令以执行方法。例如，处理器80从车辆14接收多个扫描测量值集(或所谓的地图视角补丁图像)(步骤310)。在这个实施例中，地图视角补丁图像可以从激光扫描仪20-26发送至RCM28、从RCM28发送至通信模块32、并且经由无线数据上传从模块32发送至远程服务器12(例如，通过无线载波系统76和地面系统78的分组数据传输)。如在此所使用的，地图视角补丁图像是从特定观测器(即，激光扫描仪20-26中的一个的特定探测器/发射器对)的角度的地面或道路50的区域R的激光扫描图像；此外，每个地图视角补丁图像可以包括各自激光器的特性范围和入射角。应该领会的是为了每个观测器观察区域R，车辆14可能需要在运转中。因此，在四个激光扫描仪20-26位于车辆14上并且每个激光扫描仪20-26具有32个发射器/探测器对的实施方式中，那么服务器12可以接收特定区域R的128个地图视角补丁图像。处理器80可以对每个地图视角补丁图像集执行完全相同或类似的步骤；因此，将仅详细地描述一个进程。
在步骤320中，在处理器80上生成一组二次或变换补丁图像。例如，数学变换算子可以应用于集合中的地图视角补丁图像中的一些或全部。变换算子的非限制性示例包括离散微分梯度算子、离散傅立叶算子、离散小波算子、径向基算子、噪声波(Noiselet)算子、曲波(Curvelet)算子、拉普拉斯算子、或任何其他合适的变换方法或算子；在至少一种实施方式中，应用梯度算子。因此，如在此所使用的，变换补丁图像是通过对地图视角补丁图像应用数学变换算子而获取的数据或图像。在至少一个实施例中，通过处理器80为与区域R相关的地图视角补丁图像中的每一个生成变换补丁图像；然而，这不是必需的。
步骤330是可选的并且最后可以用于提高地图补丁图像构造的质量(例如，分辨率、对比度等)。在步骤330中，处理器80可以从在步骤320中生成的集合选择变换补丁图像的子集。以这种方式，一些变换补丁图像——具有相对低的信噪比或任何其他不良的质量——在接下来的步骤中可以被忽略。
在步骤340中，处理器80可以将所有的变换补丁图像或仅变换补丁图像的选择的子集结合(或融合)成单个融合的补丁图像。在一个实施例中，这是单个融合的梯度图像。根据至少一个实施例，将图像数据融合成单个图像包括结合多个单独的图像——每一个图像首先经历数学变换(例如，梯度、傅立叶、小波、拉普拉斯等)——以便产生的组合(或融合的图像)代表在对比度、准确性、不确定性的减少等方面的改进，例如，当与在组合中使用的任何单独的图像相比时。
接着在步骤350中，处理器80可以通过将融合的补丁图像与一个或多个选择的地图视角补丁图像结合或以其他方式合并来构造与道路50上的区域R相应的地图补丁图像。例如，处理器80可以选择一个地图视角补丁图像，该地图视角补丁图像当与集合中的其他地图视角补丁图像相比较时具有相对强的梯度幅值。根据一个实施例，一旦选择，处理器80就可以分类或以其他方式确定那个地图视角补丁图像的最一致的和/或可靠的测量单元值(即，相对于剩余单元是较少噪声的那些)(例如，使用分类技术)；图4是说明性的。图4中的地图视角补丁图像是区域R的并且包括具有一致的和/或可靠的测量值(例如，以白色或灰色阴影指示)的单元、不可靠的或不一致的单元(例如，以黑色指示)。例如，区域A1显示图像的多个单元，其中值显著地一致和/或可靠。同样，另一区域A2显示图像的多个单元，其中可靠性或测量值的一致性显著地低。这些单元可以是相连；然而，这不是必需的。
为了提高选择的地图视角补丁图像的质量——其可能已经具有比集合中的剩余的地图视角补丁图像中的至少大部分相对较强的梯度幅值——可以使用通过来自融合补丁图像的相应单元提供的信息来取代那个补丁图像的不可靠和/或不一致的单元。这可以包括对至少那些相应的(例如，融合补丁图像的)单元执行反向变换操作。一旦结合，地图补丁图像就是步骤350中的结果。
接着在步骤360中，处理器80可以在数据库84中存储新生成的地图补丁图像。此外，这个地图补丁图像可以取代相应于地面的那个区域R的先前存储的地图补丁图像。或者可以进一步地用相应于区域R的其他存储的地图补丁图像来处理这个新生成的图像。
在步骤370中，处理器80可以确定是否处理另一地图视角补丁图像集——例如与地面50的另一区域相应。例如，如果从车辆14接收到的地图视角补丁图像集保持未处理，那么处理器80可以循环返回并且重复步骤320-370(对每个附加的地图视角补丁图像集)。如果不是，则方法300结束。
当然，应该领会的是处理器80和/或其他计算机可以将任何或所有的新生成的地图补丁图像分类和/或合并至一个或多个数字地图文件中。此外，当其他车辆将定位数据上传至远程服务器12时，这个过程可以重复地发生。在下面，更详细地解释方法300的某些方面。
A.提出的方法
步骤310
如上面所讨论的，扫描仪20-26测量地面反射率；为了在此解释的目的，地面反射率将近似为均匀量化的反射率的空间平面(即反射率的图像)。因此，每个单元可以代表尺寸的地面区域的估计反射率(例如，其中近似为10cm；当然，这仅是一个示例；可以使用其他尺寸)。
可以使用反射率的扩充值伸延集来简洁地代表地面反射率的地图，其中Nx和Ny分别是水平和垂直网格单元的数量。这里，x中的有限值代表在由总数为N＝Nx Ny个单元组成的坐标格网地图内的反射率测量值的占用。在此，比如n∈{1，...，N}这样的符号用于为x和其他类似大小的矩阵的元素单元编索引——例如，向量化它们。根据一个实施例，使用的激光反射率测量模型可以是加性高斯白噪声(AWGN)模型
方程(1)
其中是激光器b在φ处对反射率的表面的线性反射率响应，是从φ的角度的表面反射率，并且是独立于fb的独立且恒等分布的(i.i.d.)随机变量。至少在本实施例中，集合φ指示测量值或视角参数；例如，φ＝(b，θ，r)指示用全局索引b以入射角θ和范围r从激光扫描仪(20-26)中的一个获取测量值。
当车辆14扫描或测量道路50时，每个地面反射率测量值可以与三维地图中的单元相关，这取决于其相应范围在全局参考坐标系中的投影。这些投影测量值可以不均匀地分布在地面上，这取决于激光扫描仪配置、扫描图形、以及车辆14的导航路径。为了说明性目的，从φ的角度在单元n处用获得反射率测量值集，其中是记录的反射的数量。当固定φ时，这些测量值随着项的真扩张而遵循AWGN模型，例如，噪声项遵循根据这些测量值，用扩充值元素生成地图视角补丁图像集，该扩充值元素代表从φ的角度的地面反射率的地图。对包括作为所有可能的视角参数的元素的所有φ∈Φ而Φ＝{φ1，φ2，...φB}，这些扩充值元素可以如
方程(2)
按元素定义，从该视角参数收集测量值，并且B＝|Φ|代表来自所有观测器(例如，各自发射器/探测器对)的不同视角的总数量。通过生成这些地图视角补丁图像，执行对来自观测器的非均匀数量的测量值和单元中其视角的无偏性的归一化。同样，注意元素[yφ]n的不确定性现在分布为基本上在每个单元处降低倍的噪声。在方程(2)中，集合Ωφ代表来自φ的测量值的单元地图占用。为了定义地图的完整单元占用或地图域，在该地图上记录测量值，地图域S可以是的闭子集并且Ω′可以是S的子集，其中有可用的激光反射率测量值。因此，地图域Ω′可以描述为地图视角占用或域Ωφ的
方程(3)
在图5-8中显示来自四个不同的观测器的地图视角补丁图像的示例(例如，四个不同的检测器图像，其中四个检测器在扫描仪20的32个检测器之中)。例如，图5说明激光扫描仪20的一个探测器(探测器1)的透视图；图6说明激光扫描仪20的另一探测器(探测器16)的透视图；图7说明激光扫描仪20的另一探测器(探测器19)的透视图；并且图8说明激光扫描仪20的另一探测器(探测器21)的透视图。通常，图5-8说明从给定激光扫描仪(20)的角度的地面红外反射率的单个区域R的正交视图。在这种实施方式中，在用安装在车辆14的左B柱上方的车顶44上的360度扫描Velodyne(威力登)HDL-32E LIDAR成像环境时获取(与区域R相关的)补丁数据，车辆14正导航通过其环境——其中图5相应于当从探测器1的角度观看时的第一地图视角补丁图像，图6相应于探测器16、其具有降低的对比度但具有补丁域的全视图，图7相应于探测器19、其显示高的范围和入射角的差的对比度特性，并且图8相应于探测器21，其呈现反射材料之间没有对比度。
步骤320
在步骤320中(其在步骤310之后)，使用在步骤310中获取的地图视角补丁图像来生成二次或数学变换补丁图像集。将要领会的是——虽然这些具有相同区域的重叠观察结果(即，重叠占用)——地图视角补丁图像的相对视角影响其各自的特性反射率响应。通过对这些地图视角补丁图像中的每一个应用数学变换算子(例如，梯度算子、傅立叶算子、小波算子等)，将这些地图视角补丁图像从视角参数分离是可取的。这里，使用离散梯度其由分别代表沿着水平和垂直轴线的一阶有限前向差分算子的矩阵和组成。在这种表示下，地图视角补丁图像的梯度的分量[Dyφ]n成为统计上稳定的，这允许远程服务器12不变地对集合中的每一个图像进行操作。
步骤330-360
在步骤330中，可以选择或确定变换补丁图像的子集——例如，从而消除具有不良的低信噪比的变换补丁图像。在这里提出的算法算子是这些变换补丁图像(或在此情况下，梯度补丁图像)的那些选择、去噪、和组合(或融合)。选择和去噪算子中的任何一个与融合步骤的组合经由函数
方程(4)
简洁地代表。其中表示y的融合的地图视角补丁图像的梯度的估计。重构的目的可能是恢复与地图视角补丁图像的融合梯度补丁图像和参考测量数据x*一致的地面反射率x的数字地图补丁图像估计。这里，这个重构过程可以通过以下代表
方程(5)
其中表示地面反射率的地图重构。
在图9中也总结了方法的至少一部分(步骤310-360)——当从特定的发射器/探测器对的角度观看时地图视角补丁图像905-915例证激光扫描仪输出(步骤310)；图像950例证重构地图输出或地图补丁图像(步骤350)；图像940例证多个地图视角补丁图像中的选择的一个(步骤350)；并且图像945例证在图像940内的元素的选择(例如，白色区域是高对比度区域，黑色区域是低对比度区域)(参看图4和步骤350)。因此，非黑色区域(白色和灰色区域)可以定义集合Ωφ。图像905-915可以代表通过使用方程(2)而获取的透视图。然后这些地图视角补丁图像中的每一个的梯度场(920-930)可以被计算(步骤320)，接着是选择、去噪和隐式地包括在融合框960内并且使用在下面讨论的方程(9)或者(14)获取的融合。最后，如图9所示，使用估计的融合梯度场955和参考反射率值集作为输入来重构地表面的反射率地图补丁图像950(945)。
除这个一般公式之外，这里包括一些基本的定义。首先，采样矩阵可以是通过提取由Ω编索引的行获取的恒等式的子矩阵。这个采样算子矩阵通过
方程(6)
按元素定义。
因此，通过定义的Ω采样矢量可以是应用采样矩阵算子IΩ as xΩ＝IΩx(即，这个算子仅选择集合Ω中的x的元素)的结果。其次，投影算子可以用于把输入投影到域Ω中。这个投影算子除不在域Ω中的对角元素(在此情况下，这些设置为零)之外等于恒等式。也就是说，投射算子如
方程(7)
按元素应用。
为了便于符号表示，将要领会的是可以通过从计算忽略或省略∞值而确定包含∞值的每个元素级操作。例如，下面的总和通过使用等式
方程(8)
而忽略∞值。
B.地图视角选择、去噪和融合(步骤330、340)
在此提出梯度域中的地图视角补丁图像的融合模型。这个模型主要包括从每一个可用的yφ获取的地图视角梯度Dyφ的加权平均值(其中作为方程(8)中的示例而忽略∞值)。也就是说，根据一个实施例，可以通过
方程(9)
在梯度域中执行融合。
权重矢量在这里被选择为稀疏矢量，该稀疏矢量经由其非零项选择地图视角补丁图像yφ。也就是说，可以发现地图视角补丁图像的总体平均各向同性梯度的最佳稀疏表示。原因之一是所谓的‘处罚’或甚至从重构过程移除一些地图视角补丁图像(例如，选择子集，步骤330)，可能是可取的。为了实现这些，根据以下方程可以发现最小化各向同性稀疏促进最小二乘优化问题的权重：
方程(10)
其中通过保真项和由正则化参数λ>0控制的正则项执行最小化。在此情况下，保真项可以通过
方程(11)
定义。
其促进地图视角梯度(或变换补丁图像)的加权平均值和平均值之间的一致性。第二正则项
方程(12)
可以促进通过参数λ>0控制的稀疏解，该参数λ>0确定稀疏强度。也就是说，这个参数可以控制将进入融合(步骤330)和地图重构(步骤350)的地图视角补丁图像yφ的数量。
可以使用近端梯度算法迭代地求解包含方程(12)中的非凸函数的方程(10)中的问题。这包含梯度下降步长对方程(11)中的保真项的交替应用，接着是通过
方程(13)
[ητ(x)]n＝sgn([x]n)(|[x]n|-τ)+
按元素定义的非线性软阈值算子的应用以促进在每一次迭代上的解的稀疏性。这种算法的加速实施被称为快速迭代收缩阈值算法(FISTA)，该FISTA以O(1/k2)的速率收敛。在下面提出的算法1中给出基于FISTA的地图视角选择算法的总结。
可以通过对每个梯度分量使用去噪算法来进一步地提高地图视角梯度的融合。在这种情况下，可以修改方程(9)并且去噪函数可以如
方程(14)
应用于梯度场项。
其中，又是独立于水平和垂直梯度分量中的每一个(即，独立于各自变换补丁图像中的每一个)应用的非线性软阈值去噪函数。在下面提出的算法3中总结这种去噪函数的一种应用。在成像的一致性中，这个去噪构思被称为总变差。
C.地图重构|步骤350
步骤350包括基于融合过程(步骤340)的输出重构地面反射率的地图补丁图像。步骤350的应用重构与梯度地图(即，代替变换补丁图像的地图)不同的反射率地图补丁图像。根据一个实施例，用于简洁地表示地图视角补丁图像的融合梯度的估计。然后基于泊松公式通过对x最小化成本函数来执行重构。这里，当促进与地图视角补丁图像的融合梯度的一致性的l2项和确保等式的项约束在x的元素的子集 上的参考测量数据时，造成这个问题。的这个定义用于与泊松图像编辑的一致性(如将要被本领域技术人员所领会的)，虽然这个集合不一定代表边界。
基于这个描述，可以通过求解下面的最优化
方程(15)
来恢复地面反射率的数字地图补丁图像。
所谓的方程(15)的极小化变量可以是等价泊松方程的唯一解，其中以矩阵形式造成狄利克雷边界条件问题如：
方程(16)
其中是在以下方程中定义的离散拉普拉斯算子
[Lx]n＝-4[x]n+[x]n+1+[x]n-1+[x]n+Ny+[x]n-Ny
为了简化，方程(16)可以以一种形式计算，使得仅对代表单元位置的的域中的项执行最优化，在此情况下执行重构，因为已经知道为了实现这些，我们可以使用分别在方程(7)和(6)中定义的投影和采样算子，并且作为最小化问题重写方程(16)：
方程(17)
并且
其中代表在整个域Ω满足方程(16)的保真项。也就是说，
方程(18)
其中Φ代表方程(16)中的第一等式的左边的Ω投影和采样的拉普拉斯版本并且b代表方程(16)中的第一等式的右边，具有第二等式约束的拉普拉斯投影的合并。数学上，这两个项是经由
方程(19)
并且
定义的。
其中上标T指示矢量/矩阵转置。由于方程(18)中的代价泛函(cost functional)是凸函数，所以可以依赖涅斯捷罗夫(Nesterov)的加速梯度投影方法(技术人员已知的)，其在每个迭代处包含先前两次迭代以达到O(1/k2)的收敛速率。这种迭代方法在这里在下面提出的算法2中总结。
为了定义和集合有可以使用的几种替代。接下来的实施方式仅是示例；也可以使用其他实施方式。方法仅主要包括选择用与某些区域(例如，如果其存在，对于一些 )内的其他地图视角补丁图像相比强的梯度幅值表征的至少一个地图视角补丁图像根据地图视角补丁图像可以提取子集(并且来自中的项的反射率值可以用于构造参考)。也就是说，一旦定义 和就可以设置为任何值，因为后来的元素没有在最优化中使用，例如，方程(18)。可以从提取的元素作为具有最可能的反射率值的项，也就是说可以用原始反射率的一个点统计来调整分布中存在的最大峰值，该原始反射率遵循拉普拉斯分布。
一旦完成地图补丁图像的构造，其在一些实施例中就可以存储在数据库84中(步骤360)和/或其他地图补丁图像可以类似地被构造(步骤370)，如上面所讨论的。应该领会的是，可以通过车辆14中的计算机或映射模块30执行类似的过程。此外，具有构造的地图补丁图像的车辆14可以使用地图补丁图像来促进自主或至少部分自主的驾驶模式。此外，定位数据可以以任何合适的形式——例如地图视角补丁图像集、变换补丁图像集、变换补丁图像子集、用于给定集合的单个融合的补丁图像、具有比集合内的其他地图视角补丁图像更强的梯度的识别的地图视角补丁图像、构造的地图补丁图像等——提供至服务器12。
此外，根据一个实施例，预期到比如车辆14这样的许多其他车辆为服务器12提供类似的定位数据。因此，可以根据所谓的‘大数据’方法执行在此描述的方法，其中潜在的成千上万的车辆可以为服务器12(或和服务器12一样的一套服务器)提供定位数据。
去噪变换补丁图像实施例
在至少一些实施例中，附加噪声可以被消除以提高在方法300中构造的地图补丁图像的对比度和质量。这里，呈现使用提出去噪梯度场的l1正则化最小二乘算法的一个实施例。这种算法使用所谓的软阈值技术。
离散梯度场算子可以由分别代表沿着水平和垂直轴线的一阶有限前向差分算子的矩阵Dx和Dy组成。假定尺寸Ny×Nx的二维信号的列式矢量化，然后离散前向梯度场算子可以逐点地如
方程(20)
所定义。
以类似的方式，离散拉普拉斯算子逐点地如
方程(21)
[Lx]n＝-4[x]n+[x]n+1+[x]n-1+[x]n+Ny+[x]n-Ny
所定义。
为了去噪观测器的地图视角，我们在这里提出对地图视角梯度应用软阈值去噪方法。这种方法主要包括根据以下方程分别对每个水平和垂直k＝{x，y}方向求解稀疏促进最小二乘优化：
方程(22)
这里，参数λ＞0控制正则化的量(即，稀疏性)。方程(22)中的第一项测量在最小二乘意义上如
方程(23)
定义的梯度保真度。
同时第二项是通过以下定义的非光滑l1稀疏促进正则项：
方程式(24)
可以使用(本领域技术人员已知的)加速梯度下降方法连同(本领域技术人员也已知的)非凸近距离投影方法一起迭代地求解方程(22)中的最优化。完成算法具有O(1/k2)的收敛速率。
测试/试验
已经指导测试和试验以验证提出的方法和在上面描述的方法300。例如，使用福特校园视觉和LIDAR数据集，以及从自主车辆车队测试推断出的数据集。这些车队车辆配备有四个Velodyne HDL-32E 3D-LIDAR扫描仪和一个Applanix POS-LV 420(IMU)。四个HDL-32E安装在车辆的B柱上方的车顶上；其中两个以垂直于地面的轴线旋转并且两个以倾斜方向旋转。数据集全部在都市区域中并且在迪尔伯恩、密歇根中的福特校园里面收集。存储时间注册的Velodyne数据集，该Velodyne数据集包含LIDAR脉冲反射根据其记录的笛卡尔坐标的点、这些点中的每一个的反射率测量值、激光束信息和其他附加场。为了正确地将来自在沿着汽车的不同位置中的多个LIDAR传感器引入的范围扫描投射到常见的局部参考坐标系，广义迭代最邻近点(GICP)算法用于外在地校准它们。这种算法迭代地优化使重叠范围扫描对准的6个DOF(自由度)参数。当成像时，使用通过GPS、IMU(惯性测量单元)和里程计的集成获取的汽车的姿势估计而将所有的范围扫描投射至整体参考系。用全即时定位与地图构建(SLAM)后方地校正这些范围扫描的姿势，该全即时定位与地图构建最大化给定位置和3D LIDAR测量值的地图和车辆位置的可能性。
用于测试这种方法的数据仅使用从两个LIDAR导入的测量值，该两个LIDAR通过沿着垂直于地面的轴线的360度旋转来扫描环境。在这种配置下，从地面记录的每个激光的入射角和范围在360度激光扫描行程的整个过程中保持近似恒定。因此，每个激光束指数隐式地说明入射角和范围(即，每个激光观测器在其整个360度扫描中的单一视角)。同样，将有总数为B＝64个地图视角，每个观测器有一个。注意当运行算法时，地图固定至2-D地平面的任何正交视图并且用这个固定的视图执行所有的处理。为了确定与现有技术相比的方法的性能，针对Levinson(莱文森)和Thrun(特龙)的‘在城市环境中使用概率地图的稳健车辆定位’的实际实施指导测试。用于比较的数据与用于测试在上面讨论的新颖方法的数据相同，除在测试在上面提出的新颖方法中之外，来自全部四个LIDAR的测量值包括两种倾斜方向。Levinson和Thrun的实施方式与在上面提出的新颖方法之间的主要差别是使用近似值，该近似值启用在一次通过数据中查找表的生成和包含倾斜LIDAR的入射角依赖性。为了比较Levinson和Thrun的实施方式/方法，使用在这个测试/试验部分的开始提到的范围扫描投影和对准。随后，当应用于测量值时，估计生成最可能的反射率估计的校准变换。这个校准在融合之前应用于所有的反射率测量值以生成地平面的地图。显著地，用于生成校准的地图数据与用于生成方法与其比较的地图的地图数据相同。
假定地表面的地图可以是非常广阔的，方法的实施独立地应用于尺寸400×400单元(即，补丁是400单元×400单元)的地图的不相交的补丁或部分。方法也足以灵活地使用其他尺寸，仅有尺寸足够大的约束，使得梯度场在空间上信息丰富。在下文中，指示实际上用于获取结果的算法参数。首先，搜索空间定义为分别在方程(15)、(17)、(22)、(10)(注意：方程(20)-(24)遵循测试/试验讨论)中使用的
其次，为了使用算法1经由权重w选择视角稀疏集，发现算法在小于K＝100的迭代中收敛。在算法中使用的参数是λ＝1.2e-3的正则化强度连同在γ＝1e-3的梯度方向上的步长。为了应用软阈值算子，使用τ＝2.3e-3的阈值常数。在这些设置下，选择近似5/64个视角以稀疏地代表整体融合梯度场。以类似的方式，使用算法3——通过下标d表示，在视角选择中使用的相同参数设置应用于去噪梯度场。对于2中的重构算法，在试验中发现两个连续迭代中的相对能级对于δr＝1e-3或最大迭代次数K＝256足以产生高质量的重构。在下面的讨论中，包括显示方法胜过基于使用这些参数的方法的现有技术校准的质量的几个示例情况。
A.对比度增强
这里，显示方法如何导致具有更高质量的地面反射率的地图。为此，图10包括当测量停车场时现有技术校准和在上面提出的方法之间的比较。在本部分和在随后部分中的所有显示在在【0...255】的相同反射率范围中。图10包括：在天气不利状况下(即，地面上的冰块)的地面反射率地图的对比度增强。(a,c)根据校准测量生成的补丁示例【根据校准测量生成的地图补丁】，(b,d)用公开的方法重构的补丁示例。注意：灰度值代表反射率。继续，图10(a)和10(c)显示结果的两个示例地图补丁，其将用基于Levinson和Thrun的‘在城市环境中使用概率地图的稳健车辆定位’确定性方法的校准而得到，同时图10(b)和图10(d)显示使用方法300将得到的相应结果。注意方法300接近产生沥青和标志之间的显著更好的对比度，甚至在Levinson和Thrun的方法产生接近与背景难以区分的标志时的情况下。然而，应该具有均匀反射率的沥青区域与图10(a)和10(c)的结果相比现在似乎更均匀，同时也增强对比度。
B.消除伪像
在频繁出现的某种情况下，已经发现条件通过地图中出现的伪像而影响地图生成，在该条件下测量车辆导航。在其他研究工作中也已经观察到这些伪像，例如甚至在Levinson和Thrun的‘摄像机和激光器的自动在线校准’方法和Levinson和Thrun的‘多光束激光器的无监督校准’方法中应用激光反射校准之后。这里包括示例，该示例显示在测量期间在三种常见的导航条件下生成的三种类型的伪像。为了显示这些伪像，使用仅使用所有激光反射率测量值的平均值生成的地图，而不考虑它们的起源也不依赖于变化的来源。这里用词语原始朴素的融合来表示这些。
图11包括通过在特定单元处的主要激光束生成的伪像校正的比较。(a,d,g)通过关于与单元相关的所有原始反射率测量值的期望值而给出在每个单元处的反射率【原始朴素融合】，(b,e,h)与(a)相同但具有校准反射率【Levinson&Thrun】，(c,f,i)公开的方法。更具体地，图11(a)显示例如接近道路的中间生成的圆形伪像。在经历完整的360度扫描射程时，这个伪像图形与激光遵循的图形一致并且被生成，因为有一些区域，该区域包含仅来自反射率占优势的激光的小子集的测量值。当测量汽车以＞6米/秒的速度驾驶时，这个伪像始终显示。图11(b)显示当我们使用现有技术校准方法时(Bostan(博斯坦)、Nilchian和Unser的‘线性逆问题的稀疏随机过程和离散化’)生成的结果。这种方法消除生成的伪像，而且也平滑车道标志，因此降低对比度。图11(c)的这种情况显示用方法300获取的结果。注意大量伪像被消除，同时也保持和提高(相对于图11(a)和11(b))车道标志和沥青之间的对比度。
相比之下，图11(d)显示当车辆在测量期间车辆停止一会时生成的伪像示例。在这种情况下，当在十字路口在停车标志处等待＞5秒的时间流逝时，生成伪像。以与先前情况相似的方式，当这些激光器在车辆周围进行360度扫描轨迹时，生成的伪像遵循激光的图形。用更高响应率表征的激光器控制反射它们的区域，因此生成不连续的反射率。图11(e)显示对地图(Levinson和Thrun的‘多光束激光器的无监督校准’)的一部分应用现有技术的预校准步骤。这种方法消除大量伪像，虽然不是其全部。在车辆周围的激光的扫描遵循的图形仍然可以被察觉，同时相比之下也有损失。最后在图11(f)中显示应用重构方法300的结果。注意伪像完全消失并且对比度提高。
最后的情况呈现了当车辆正测量并且经历U形转弯时在地图的补丁中生成的伪像。在图11(g)中说明的这种伪像呈现与在先前情况中呈现的图形相似的图形。图11(h)显示通过应用现有技术的校准技术：Levinson和Thrun的‘多光束激光器的无监督校准’而获取的结果。在U形转弯中生成的伪像被消除，但是又以降低对比度为代价。相比之下，在图11(i)中说明的我们的方法提高重构的质量，也用提高的对比度消除了伪像。
C.去噪
这里包括结果以显示方法300如何允许一定程度的自由度以以计算复杂性权衡为代价产生具有一定质量特性的地面地图。例如，包括可能性，该可能性包括或者消除地图视角选择算子以产生更高质量的地图。可以进一步地包括或消除的是在方程(14)中描述的去噪步骤以去噪或平滑区域，在该区域中在保持重要边缘时具有更均匀的反射是可取的。通过调整算法1和算法3的参数可以获取不同的性能。这里，包括说明可以通过上述调整的组合重构的地平面的地图质量之间的差别的代表性示例。在这里显示四种情况，这些是：(1)均匀融合权重(即，方程(9)中的wφ＝1)并且没有去噪；(2)具有应用方程(14)的去噪的均匀融合权重；(3)对没有去噪的基数|supp(w)|＝5的稀疏地图视角选择矢量最优化的方程(10)中的λ＝1.2e-3的正则化强度设置；以及(4)使用与情况(3)中相同的正则化强度调整但具有如应用的方程(14)中的去噪。
图12包括地面反射率的地图补丁。(a)相应于原始朴素融合【朴素融合】，(b)相应于校准地图【校准融合】，(c)相应于使用梯度场的均匀加权平均融合的用公开的方法的重构【没有去噪的平均融合(公开的方法)】，(d)与(c)相同但具有应用于梯度场的去噪【具有去噪的平均融合(公开的方法)】，(e)相应于通过仅融合在特定补丁部分中的前五个地图视角而用公开的方法的地图重构【没有去噪的前5个融合(公开的方法)】，(f)与(e)相同但具有应用于梯度场的去噪【具有去噪λd＝1.2e-3的前5个融合(公开的方法)】。图12显示具有在图12(a)中显示的朴素融合(即，没有预校准)以及具有图12(b)中的校准融合(即，Levinson和Thrun的‘在城市环境中使用概率地图的稳健车辆定位’确定性方法)的上述情况之间的比较。在4种上述调整情况(1)、(2)、(3)和(4)的情况下的获取结果分别包括在图12(c)-(f)中。注意甚至在当不应用当地图视角选择(即方程(9)中的均匀权重)也不应用去噪步骤时的情况下，图12(c)中显示的地图部分的重构与朴素且校准的融合方法相比导致更好的对比度和反射率均匀性。这种性能在其他地图区域中是一致的并且甚至也实现可能出现的伪像的消除，如上所述。图12(d)也是具有如图12(c)中的均匀权重但没有去噪的地图补丁重构的结果。注意产生的地图部分似乎比图12(c)更平滑，同时也例如在车道标志中保持边缘锐度。最后，显示图12(e)和图12(f)；这些说明通过方程(10)中的λ通过调整正则化强度而获取的结果，该结果通常导致5个视角的地图视角选择，在两种情况下：分别是没有去噪和具有去噪。已经发现了一致性，因为使用最佳视角的地图视角稀疏选择的方法导致具有更好的对比度但具有更高的噪声级的地图。原因是在当使用所有地图视角时的情况下，更多的视角被平均，因此自然地降低噪声级并且在不失去锐利细节的情况下平滑地图。由于这个原因，已经发现通常在当使用地图视角选择时的情况下包括去噪步骤是合适的。在这种情况下的地图重构结果的补丁在图12(f)中显示。注意地图与没有去噪的结果相比更平滑。
D.天气不利的条件
这里，比较在道路上有冰块的情况下地图部分中的重构的性能。这里，显示用朴素平均方法和方法300的重构性能的代表情况，分别参看图10(a)-(b)。注意在这些情况下，用朴素融合看不到在冰下的车道标志。然而，用方法300，甚至一些完全看不到的车道标志现在可以被辨别，同时消除由非均匀激光响应和车辆导航引起的反射率变化。
通常，描述的计算系统和/或装置可以使用多种计算机操作系统中的任何一种，该计算机操作系统包括但不限于：Ford 应用程序、AppLink/智能设备链接中间件、自动操作系统、Microsoft 操作系统、Unix操作系统(例如，加利福尼亚州红木岸的甲骨文公司发售的操作系统)、纽约州阿蒙克市的国际商业机器公司发售的AIX UNIX操作系统、Linux操作系统、加利福尼亚州库比蒂诺市的苹果公司发售的Mac OSX和iOS操作系统、加拿大滑铁卢市的黑莓公司发售的BlackBerry OS以及由谷歌公司和开放手机联盟开发的Android操作系统、或QNX软件系统提供的用于信息娱乐的 CAR平台的版本和/或变体。计算装置的示例包括但不限于车载车辆计算机、计算机工作站、服务器、台式电脑、笔记本电脑、膝上型电脑、或手持式计算机、或一些其他计算系统和/或装置。
计算装置通常包括计算机可执行指令，其中该指令可由比如上面列出的那些计算装置中一个或多个可执行。计算机可执行指令可以由利用各种程序语言和/或技术创建的计算机程序编译或解释，该程序语言和/或技术包括但不限于JavaTM、C、C++、Visual Basic、Java Script、Perl等单独或组合。这些应用程序中的一些可以在比如Java虚拟机、Dalvik虚拟机等这样的虚拟机上编译和执行。通常，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令并执行这些指令，从而执行一个或多个程序，包括在此描述的一个或多个程序。使用各种计算机可读介质可以存储并传输这样的指令和其他数据。
计算机可读介质(也称为处理器可读介质)包括任何非暂时性的(例如，有形的)介质，其参与提供计算机(例如，通过计算机的处理器)可读的数据(例如，指令)。这种介质可采取多种形式，包括，但不限于，非易失性介质和易失性介质。非易失性介质可包括，例如，光盘或磁盘以及其他永久存储器。易失性介质可包括，例如，动态随机存取存储器(DRAM)，其典型地构成主存储器。这样的指令可被一个或多个传输介质传输，包括同轴电缆、铜线和光纤，包括含有连接至计算机的处理器的系统总线的线路。计算机可读介质的一般形式包括，例如，软盘、柔性盘、硬盘、磁带、任何其他磁介质，CD-ROM、DVD、任何其他光学介质，穿孔卡片、纸带、任何其他具有孔式样的物理介质，RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或内存盒，或任何其他计算机可读的介质。
数据库、数据存储库或在此描述的其他数据存储74可包括各种类型的机制，其用于存储、访问和检索各种类型的数据，包括层次数据库、在文件系统中的一组文件、以专用格式的应用数据库、关系数据库管理系统(RDBMS)等。这种数据存储中的每个大体上包括在使用比如上述中的一个这样的计算机操作系统的计算装置中，并通过各种方式中的任何一个或多个网络可访问。文件系统可从计算机操作系统访问，并且可包括以各种格式存储的文件。RDBMS除了使用用于创建、存储、编辑和执行存储的程序的语言之外，通常使用结构化查询语言(SQL)，例如，上述的PL/SQL(过程化/SQL)语言。
已经以说明性方式描述本公开，并且要理解的是已经使用的术语旨在以词语的性质描述而不是限制。根据上述教导，本公开的许多修改和变化是可能的，并且本公开可以以与具体描述的方式不同的方式实施。

Claims (17)

1.一种方法，所述方法包含：
接收在车辆附近的并且通过所述车辆上的至少一个扫描仪成像的物理区域的多个地图视角补丁图像；
通过对所述多个地图视角补丁图像中的至少一些应用数学变换算子来生成多个变换补丁图像；
将所述多个变换补丁图像中的至少一些结合成单个补丁图像；以及
使用所述单个补丁图像和所述多个地图视角补丁图像中的至少一个来构造地图补丁图像。
2.根据权利要求1所述的方法，其中所述至少一个扫描仪是光探测和测距(LiDAR)装置。
3.根据权利要求1所述的方法，其中所述变换算子包括离散微分梯度算子、离散傅立叶算子、离散小波算子、径向基算子、噪声波算子、曲波算子或拉普拉斯算子中的一个。
4.根据权利要求1所述的方法，进一步地包含关于结合所述多个变换补丁图像中的所述至少一些，确定所述多个变换补丁图像的子集，其中仅所述子集被结合成所述单个补丁图像。
5.根据权利要求1所述的方法，进一步地包含关于结合所述多个变换补丁图像中的所述至少一些，执行算法，所述算法包括：
输入：Dyφ对于φ∈Φ，步长
γ＞0，和阈值常数τ＞0.
设置：t←1，q0←1
重复
<mrow> <msub> <mi>q</mi> <mi>t</mi> </msub> <mo>&amp;LeftArrow;</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <msqrt> <mrow> <mn>1</mn> <mo>+</mo> <mn>4</mn> <msubsup> <mi>q</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mn>2</mn> </msubsup> </mrow> </msqrt> <mo>)</mo> </mrow> </mrow>
Wt←8t+((qt-1-1)/qt)(st-st-1).
t←t+1
直到：停止准则
返回：
6.根据权利要求5所述的方法，进一步地包含关于结合所述多个变换补丁图像中的所述至少一些，在执行所述算法之前，根据公式选择所述变换补丁图像的子集，其中仅所述子集被结合成所述单个补丁图像，其中所述公式包括：
其中对保真项和由正则化参数λ＞0
控制的正则项执行最小化，
其中所述保真项是：
其代表加权平均值和所述多个变换补丁图像中的所述至少一些的平均值之
间的所述保真项，其中所述正则项是：
7.根据权利要求1所述的方法，进一步地包含关于结合所述多个变换补丁图像中的所述至少一些，通过忽略所述多个变换补丁图像中的所述至少一些来提高所述地图补丁图像中的信噪比。
8.根据权利要求1所述的方法，其中构造所述地图补丁图像进一步地包含执行算法，所述算法包括：
输入：所述单个融合补丁图像Dy、所述多个地图
视角补丁图像中的至少一个和步长
γ＞0。
设置：t←1
重复
<mrow> <msub> <mi>q</mi> <mi>t</mi> </msub> <mo>&amp;LeftArrow;</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <msqrt> <mrow> <mn>1</mn> <mo>+</mo> <mn>4</mn> <msubsup> <mi>q</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mn>2</mn> </msubsup> </mrow> </msqrt> <mo>)</mo> </mrow> </mrow>
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>x</mi> <mi>&amp;Omega;</mi> <mi>t</mi> </msubsup> <mo>&amp;LeftArrow;</mo> <msup> <mi>s</mi> <mi>t</mi> </msup> <mo>+</mo> <mrow> <mo>(</mo> <mo>(</mo> <mrow> <msub> <mi>q</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>/</mo> <msup> <mi>q</mi> <mi>t</mi> </msup> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msup> <mi>s</mi> <mi>t</mi> </msup> <mo>-</mo> <msup> <mi>s</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>)</mo> </mrow> <mo>.</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>t</mi> <mo>&amp;LeftArrow;</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> </mfenced>
直到：停止准则
设置：
返回：所述地图补丁图像
9.根据权利要求1所述的方法，进一步地包含通过结合所述构造的地图补丁图像和使用多个不同的地图视角补丁图像通过重复接收、生成、结合和构造步骤而生成的至少一个附加构造的地图补丁图像来生成数字地图文件。
10.根据权利要求1所述的方法，进一步地包含，在结合所述多个变换补丁图像中的所述至少一些之前，对所述多个变换补丁图像中的所述至少一些应用去噪函数。
11.根据权利要求1所述的方法，进一步地包含关于结合所述多个变换补丁图像中的所述至少一些，在融合期间对所述多个变换补丁图像中的所述至少一些应用去噪函数。
12.根据权利要求1所述的方法，其中在从所述车辆接收有线或无线数据上传的远程服务器上或在连接至所述至少一个扫描仪并且在所述车辆内的计算机上执行接收、生成、结合和构造步骤，所述车辆以至少部分自主的模式操作。
13.根据权利要求1所述的方法，其中所述多个地图视角补丁图像在没有所述至少一个扫描仪的校准次序的情况下被捕获。
14.一种编程为执行权利要求1-13中任一项所述的方法的计算机。
15.一种计算机程序产品，所述计算机程序产品包含存储由计算机处理器可执行以执行权利要求1-13中任一项所述的方法的指令的计算机可读介质。
16.一种计算机，所述计算机包含处理器和存储所述处理器可执行指令的存储器，其中所述处理器编程为：
接收在车辆附近的并且通过所述车辆上的至少一个扫描仪成像的物理区域的多个地图视角补丁图像；
通过对所述多个地图视角补丁图像中的至少一些应用数学变换算子来生成多个变换补丁图像；
将所述多个变换补丁图像中的至少一些结合成单个补丁图像；以及
使用所述单个补丁图像和所述多个地图视角补丁图像中的至少一个来构造地图补丁图像。
17.一种计算机，所述计算机包含处理器和存储所述处理器可执行指令的存储器，其中所述处理器编程为：
通过对从至少一个车辆激光扫描仪接收到的多个地图视角补丁图像(PMPPI)应用数学变换算子来生成多个变换补丁图像(PTPI)；
将至少一些所述PTPI结合成单个补丁图像；以及
使用所述单个补丁图像来构造地图补丁图像。
CN201711084292.1A 2016-11-07 2017-11-07 使用激光扫描图像构造地图数据 Active CN108072373B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/345,448 2016-11-07
US15/345,448 US10565682B2 (en) 2016-11-07 2016-11-07 Constructing map data using laser scanned images

Publications (2)

Publication Number Publication Date
CN108072373A true CN108072373A (zh) 2018-05-25
CN108072373B CN108072373B (zh) 2023-05-23

Family

ID=60664953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711084292.1A Active CN108072373B (zh) 2016-11-07 2017-11-07 使用激光扫描图像构造地图数据

Country Status (6)

Country Link
US (1) US10565682B2 (zh)
CN (1) CN108072373B (zh)
DE (1) DE102017125844A1 (zh)
GB (1) GB2558388A (zh)
MX (1) MX2017014177A (zh)
RU (1) RU2017134812A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109253731A (zh) * 2018-08-06 2019-01-22 百度在线网络技术（北京）有限公司 停车场地图生成方法、装置、设备及可读存储介质
CN110859043A (zh) * 2018-06-22 2020-03-03 北京嘀嘀无限科技发展有限公司 一种更新高度自动化驾驶地图的系统和方法
CN111798536A (zh) * 2020-06-15 2020-10-20 北京三快在线科技有限公司 一种定位地图的构建方法及装置
CN114266704A (zh) * 2021-09-18 2022-04-01 长春理工大学 自适应光斑消除算法
US20230216704A1 (en) * 2020-06-12 2023-07-06 AutoNetworksTechnologies, Ltd. Onboard apparatus, onboard communication system, and communication control method

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10775501B2 (en) * 2017-06-01 2020-09-15 Intel Corporation Range reconstruction using shape prior
CN108415439A (zh) * 2018-05-14 2018-08-17 五邑大学 一种用于探测及三维空间图像重构的智能车控制系统
DE102018214971A1 (de) 2018-09-04 2020-03-05 Robert Bosch Gmbh Verfahren zur Erstellung einer Karte eines Umfelds eines Fahrzeugs
US11016175B2 (en) 2018-10-10 2021-05-25 Ford Global Technologies, Llc Transportation infrastructure communication and control
CN113838360B (zh) * 2019-01-16 2023-06-13 北京百度网讯科技有限公司 地图数据的采集方法、装置、设备和存储介质
US11940523B2 (en) * 2019-04-24 2024-03-26 Kyocera Corporation Electronic device, information processing apparatus, method, program, and data structure
US11673533B2 (en) 2019-06-19 2023-06-13 Ford Global Technologies, Llc Vehicle sensor enhancements
CN110610527B (zh) * 2019-08-15 2023-09-22 苏州瑞派宁科技有限公司 计算suv的方法、装置、设备、系统及计算机存储介质
US11164369B2 (en) 2019-12-20 2021-11-02 Argo AI, LLC Methods and systems for constructing map data using poisson surface reconstruction
WO2021157760A1 (ko) * 2020-02-05 2021-08-12 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040047518A1 (en) * 2002-08-28 2004-03-11 Carlo Tiana Image fusion system and method
US20040061777A1 (en) * 2002-05-20 2004-04-01 Mokhtar Sadok Detecting fire using cameras
US20070219720A1 (en) * 2006-03-16 2007-09-20 The Gray Insurance Company Navigation and control system for autonomous vehicles
US20100097455A1 (en) * 2008-04-24 2010-04-22 Gm Global Technology Operations, Inc Clear path detection using a vanishing point
US20120007982A1 (en) * 2010-07-07 2012-01-12 Giuffrida Frank D Real-Time moving platform management system
US20120020527A1 (en) * 2010-07-21 2012-01-26 Ron Abileah Methods for mapping depth and surface current
US20160104289A1 (en) * 2014-10-09 2016-04-14 Caterpillar Inc. Real-time range map generation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3897150A (en) 1972-04-03 1975-07-29 Hughes Aircraft Co Scanned laser imaging and ranging system
US6526352B1 (en) 2001-07-19 2003-02-25 Intelligent Technologies International, Inc. Method and arrangement for mapping a road
AU2002230703A1 (en) * 2000-12-11 2002-06-24 Essex Corporation 3d fourier transforms for irregularly sampled data
US7145478B2 (en) 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system
WO2005001500A1 (en) * 2003-06-27 2005-01-06 976076 Alberta Inc. Synthetic aperture mri
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
US20080033645A1 (en) 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
US9103671B1 (en) 2007-11-29 2015-08-11 American Vehicular Sciences, LLC Mapping techniques using probe vehicles
US8364334B2 (en) 2008-10-30 2013-01-29 Honeywell International Inc. System and method for navigating an autonomous vehicle using laser detection and ranging
US8825391B1 (en) 2011-08-04 2014-09-02 Google Inc. Building elevation maps from laser data
US9097800B1 (en) 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040061777A1 (en) * 2002-05-20 2004-04-01 Mokhtar Sadok Detecting fire using cameras
US20040047518A1 (en) * 2002-08-28 2004-03-11 Carlo Tiana Image fusion system and method
US20070219720A1 (en) * 2006-03-16 2007-09-20 The Gray Insurance Company Navigation and control system for autonomous vehicles
US20100097455A1 (en) * 2008-04-24 2010-04-22 Gm Global Technology Operations, Inc Clear path detection using a vanishing point
US20120007982A1 (en) * 2010-07-07 2012-01-12 Giuffrida Frank D Real-Time moving platform management system
US20120020527A1 (en) * 2010-07-21 2012-01-26 Ron Abileah Methods for mapping depth and surface current
US20160104289A1 (en) * 2014-10-09 2016-04-14 Caterpillar Inc. Real-time range map generation

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110859043A (zh) * 2018-06-22 2020-03-03 北京嘀嘀无限科技发展有限公司 一种更新高度自动化驾驶地图的系统和方法
CN109253731A (zh) * 2018-08-06 2019-01-22 百度在线网络技术（北京）有限公司 停车场地图生成方法、装置、设备及可读存储介质
US20230216704A1 (en) * 2020-06-12 2023-07-06 AutoNetworksTechnologies, Ltd. Onboard apparatus, onboard communication system, and communication control method
US11936493B2 (en) * 2020-06-12 2024-03-19 Autonetworks Technologies, Ltd. Onboard apparatus, onboard communication system, and communication control method
CN111798536A (zh) * 2020-06-15 2020-10-20 北京三快在线科技有限公司 一种定位地图的构建方法及装置
CN111798536B (zh) * 2020-06-15 2024-03-22 北京三快在线科技有限公司 一种定位地图的构建方法及装置
CN114266704A (zh) * 2021-09-18 2022-04-01 长春理工大学 自适应光斑消除算法
CN114266704B (zh) * 2021-09-18 2024-01-30 长春理工大学 自适应光斑消除方法

Also Published As

Publication number Publication date
US10565682B2 (en) 2020-02-18
GB2558388A (en) 2018-07-11
DE102017125844A1 (de) 2018-05-09
GB201718161D0 (en) 2017-12-20
RU2017134812A (ru) 2019-04-05
MX2017014177A (es) 2018-10-01
US20180130176A1 (en) 2018-05-10
CN108072373B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN108072373B (zh) 使用激光扫描图像构造地图数据
US11073601B2 (en) Vehicle positioning system using LiDAR
CN109212543B (zh) 用于自主车辆操作的校准验证方法
EP3435029B1 (en) Resolution adaptive mesh for performing 3-d metrology of an object
CN111442776B (zh) 顺序地面场景图像投影合成与复杂场景重构的方法及设备
EP3631494B1 (en) Integrated sensor calibration in natural scenes
DE112017001322T5 (de) Signalverarbeitungsvorrichtung und Signalverarbeitungsverfahren
US20220051475A1 (en) Data compression algorithm for processing of point cloud data for digital terrain models (dtm)
EP2333481A1 (fr) Système optronique et procédé d&#39;élaboration d&#39;images en trois dimensions dédiés à l&#39;identification
CN113077552A (zh) 基于无人机影像的dsm生成方法和装置
CN115436920A (zh) 一种激光雷达标定方法及相关设备
US11710254B2 (en) Neural network object detection
CN116433865A (zh) 一种基于场景可重建性分析的空地协同采集路径规划方法
CN116402693A (zh) 一种基于遥感技术的市政工程图像处理方法及装置
US10628920B2 (en) Generating a super-resolution depth-map
CN110148205B (zh) 一种基于众包影像的三维重建的方法和装置
US11138448B2 (en) Identifying a curb based on 3-D sensor data
CN115235526A (zh) 用于传感器的自动校准的方法和系统
US11166003B1 (en) Dynamic vibration sensor optics distortion prediction
Machida et al. Free-viewpoint image reconstruction for adas virtual assessment
CN117935206A (zh) 数据预处理方法、装置、设备及存储介质
CN113625271B (zh) 基于毫米波雷达和双目相机的同时定位与建图方法
EP4139632B1 (fr) Procédé de calage géométrique d&#39;images optiques
US20230145701A1 (en) Neural network object pose determination
EP4345750A1 (en) Position estimation system, position estimation method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant