CN111198560A - 用于使用变分自编码器网络来预测特征空间衰减的方法和装置 - Google Patents

用于使用变分自编码器网络来预测特征空间衰减的方法和装置 Download PDF

Info

Publication number
CN111198560A
CN111198560A CN201911044648.8A CN201911044648A CN111198560A CN 111198560 A CN111198560 A CN 111198560A CN 201911044648 A CN201911044648 A CN 201911044648A CN 111198560 A CN111198560 A CN 111198560A
Authority
CN
China
Prior art keywords
image
road segment
feature
features
disposed along
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911044648.8A
Other languages
English (en)
Other versions
CN111198560B (zh
Inventor
A·维斯瓦纳坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Here Global BV
Original Assignee
Here Global BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Here Global BV filed Critical Here Global BV
Publication of CN111198560A publication Critical patent/CN111198560A/zh
Application granted granted Critical
Publication of CN111198560B publication Critical patent/CN111198560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3476—Special cost functions, i.e. other than distance or default speed limit of road segments using point of interest [POI] information, e.g. a route passing visible POIs
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

提供了用于使用变分自编码器网络来预测特征空间衰减的装置、方法和计算机程序产品。方法可包括：接收路段的第一图像，该第一图像包括沿路段设置的特征；对第一图像的特征应用损失函数；生成修改图像，其中，修改图像包括特征的风化迭代；使用该图像和修改图像之间的插值生成具有特征的部分风化迭代的预测图像；接收用户图像，其中，用户图像从沿路段行驶的车辆接收；将用户图像中的特征与预测图像中的特征的部分风化迭代相关联；以及将用户图像中的特征建立为沿路段设置的特征。

Description

用于使用变分自编码器网络来预测特征空间衰减的方法和 装置
技术领域
本发明的示例实施例通常涉及诸如自主车辆的车辆的感知系统，尤其涉及一种检测环境中与车辆的自主控制有关的特征的感知系统，并且更具体地涉及一种重新训练自主车辆或部分自主车辆的感知模块以在不同条件下检测相同特征空间的自动化方法。
背景技术
道路几何建模对于环境中的三维(3D)地图创建和3D地形识别以及特征和障碍物检测非常有用，它们中的每一种都可以促进沿指定路径的自主车辆导航。用于道路几何形状和对象或特征检测的3D建模的传统方法需要大量资源，通常需要大量的人工测量和计算。因此，这种方法既费时又费钱。使这个问题恶化的事实是，许多现代应用程序(例如3D地图，地形识别等)需要分析大量数据，因此，在没有更快或更便宜的技术的情况下是不实用的。
当前的一些方法依赖于来自图像数据的特征检测来执行道路地形检测，但是这些方法存在缺陷。例如，存在设计用于车辆周围的地形和特征检测的一些系统，但是它们可能不可靠。此外，特征检测的可靠性可能是未知的，使得错误的特征检测或缺乏特征检测可能不利地影响自主或半自主驾驶。高估特征检测的准确性可能会导致准确性问题，因为当对象位置实际上不准确时，它们可能错误地被解释为准确，而低估准确性可能会由于过分谨慎的行为而导致效率低下。此外，特征可能随时间改变，并且自主车辆需要能够在衰减状态变化的情况下正确地检测和解释特征。
发明内容
因此，提供了一种方法，装置和计算机程序产品，用于训练系统使用变分自编码器网络来投影特征衰减，以发现特征衰减所跨越的潜在空间。网络的参数学习隐式变换，从而允许从单个新图像对特征空间衰减插值。
本文描述的实施例可以提供一种用于促进车辆的自主或半自主控制的装置，该装置包括至少一个非暂时性存储器，该非暂时性存储器包括存储在其上的计算机程序代码指令。程序代码指令可以被配置为在被执行时使装置至少：接收路段的第一图像，该第一图像包括沿路段设置的特征；对第一图像的特征应用损失函数；生成修改图像，其中，修改图像包括特征的风化迭代；使用图像和修改图像之间的插值生成具有特征的部分风化迭代的预测图像；接收用户图像，其中，可以从沿路段行驶的车辆接收用户图像；将用户图像中的特征与预测图像中的特征的部分风化迭代相关联；将用户图像中的特征建立为沿路段设置的特征；以及响应于用户图像中的特征被建立为沿路段设置的特征，至少部分地基于用户图像中的特征来促进车辆的自主控制。
损失函数可以包括负对数似然函数。可以使示例实施例的装置：接收包括样本路段的多个训练图像和在其上的至少一个样本特征的训练数据，其中，所述多个训练图像在时间上间隔开预定量的时间；以及其中，生成包括特征的风化迭代的修改图像包括：至少部分地基于从训练数据学习的信息来生成修改图像。可以可选地使该装置：接收路段的新图像，该新图像包括沿路段设置的特征，其中，新图像在第一图像之后的至少预定时间段接收；将新图像的特征与预测图像中的特征的部分风化迭代相关联；并基于新图像的特征与预测图像中的特征的部分风化迭代之间的差异来修改损失函数。
第一特征可以是车道线，其中，使装置响应于用户图像中的特征被建立为沿路段设置的特征而至少部分地基于用户图像中的特征来促进车辆的自主控制包括：使装置在路段的由车道线所界定的车道内提供车辆的自主控制。使该装置接收路段的第一图像可包括：使该装置接收路段的第一图像，并使用感知模块来处理该第一图像以识别沿该路段设置的特征。第一图像可以从沿路段行驶的自主车辆的传感器接收。
本文描述的实施例可以提供一种计算机程序产品，该计算机程序产品包括：具有存储在其中的计算机可执行程序代码指令的至少一个非暂时性计算机可读存储介质。该计算机可执行程序代码指令可包括程序代码指令以：接收路段的第一图像，该第一图像包括沿路段设置的特征；对第一图像的特征应用损失函数；生成修改图像，其中，修改图像包括特征的风化迭代；使用图像和修改图像之间的插值生成具有特征的部分风化迭代的预测图像；接收用户图像，其中，该用户图像从沿路段行驶的车辆接收；以及响应于用户图像中的特征被建立为沿路段设置的特征，至少部分地基于用户图像中的特征来促进车辆的自主控制。
损失函数可以包括负对数似然函数。一些实施例的计算机程序产品可包括程序代码指令以：接收训练数据，该训练数据包括样本路段的多个训练图像和在其上的至少一个样本特征，其中，所述多个训练图像可以在时间上隔开预定的时间量；以及其中生成包括特征的风化迭代的修改图像包括：至少部分地基于从训练数据中学习的信息来生成修改图像。该计算机程序产品的实施例可包括程序代码指令以：接收路段的新图像，该新图像包括沿路段设置的特征，其中，新图像可以在第一图像之后的至少预定时间段接收；将新图像的特征与预测图像中的特征的部分风化迭代相关联；以及基于新图像的特征与预测图像中的特征的部分风化迭代之间的差异来修改损失函数。
根据一些实施例，第一特征可以是车道线，其中，用于响应于用户图像中的特征被建立为沿路段设置的特征而至少部分地基于用户图像中的特征来促进车辆的自主控制的程序代码指令包括：在路段的由车道线界定的车道内提供车辆的自主控制的程序代码指令。用于接收包括沿路段设置的特征的路段的第一图像的程序代码指令可包括用于接收路段的第一图像并使用感知模块来处理第一图像以识别沿该路段设置的特征的程序代码指令。第一图像从沿着路段行驶的自主车辆的传感器接收。
本文描述的实施例可以提供一种方法，包括：接收包括沿路段设置的特征的路段的第一图像；以及对第一图像的特征应用损失函数；生成修改图像，其中，修改图像包括特征的风化迭代；使用该图像和修改图像之间的插值生成具有特征的部分风化迭代的预测图像；接收用户图像，其中，该用户图像从沿路段行驶的车辆接收；将用户图像中的特征与预测图像中的特征的部分风化迭代相关联；将用户图像中的特征建立为沿路段设置的特征；响应于用户图像中的特征被建立为沿路段设置的特征，至少部分地基于用户图像中的特征来促进车辆的自主控制。
损失函数可以包括负对数似然函数。方法可包括：接收训练数据，该训练数据包括样本路段的多个训练图像和在其中的至少一个样本特征，其中，多个训练图像在时间上间隔开至少预定的时间量；以及其中，生成包括特征的风化迭代的修改图像包括至少部分地基于从训练数据中学习的信息来生成修改图像。方法可包括：接收包括沿路段设置的特征的路段的新图像，其中，新图像在第一图像之后的至少预定时间段接收；以及将新图像的特征与预测图像中的特征的部分风化迭代相关联；并基于新图像的特征与预测图像中的特征的部分风化迭代之间的差异来修改损失函数。第一特征可以是车道线，其中，响应于用户图像中的特征被建立为沿路段设置的特征而至少部分地基于用户图像中的特征来促进车辆的自主控制包括：在路段的由车道线界定的车道内提供对车辆的自主控制。接收包括沿着路段设置的特征的路段的第一图像可包括：接收路段的第一图像，并使用感知模块来处理第一图像，以识别沿路段设置的特征。
这里描述的实施例可以提供一种装置，该装置包括：用于接收包括沿路段设置的特征的路段的第一图像的装置；对第一图像的特征应用损失函数；用于产生修改图像的装置，其中，修改图像包括特征的风化迭代；用于使用该图像和修改图像之间的插值来生成具有特征的部分风化迭代的预测图像的装置；用于接收用户图像的装置，其中，用户图像从沿路段行驶的车辆接收；用于将用户图像中的特征与预测图像中的特征的部分风化迭代相关联的装置；用于将用户图像中的特征建立为沿路段设置的特征的装置；以及用于响应于用户图像中的特征被建立为沿路段设置的特征而至少部分地基于用户图像中的特征来提供对车辆的自主控制的装置。
损失函数可包括负对数似然函数。该装置可以包括：用于接收训练数据的装置，该训练数据包括样本路段的多个训练图像和在其中的至少一个样本特征，其中，所述多个训练图像在时间上间隔开至少预定时间；并且其中，用于生成包括特征的风化迭代的修改图像的装置包括用于至少部分地基于从训练数据中学习的信息来生成修改图像的装置。示例实施例的装置可以包括：用于接收包括沿路段设置的特征的路段的新图像的装置，其中，新图像在第一图像之后的至少预定时间段接收；用于将新图像的特征与预测图像中的特征的部分风化迭代相关联的装置；以及用于基于新图像的特征和预测图像中的特征的部分风化迭代之间的差异来修改损失函数的装置。第一特征可以是车道线，其中，用于响应于用户图像中的特征被建立为沿路段设置的特征而至少部分地基于用户图像中的特征来提供对车辆的自主控制的装置可以包括用于在路段的由车道线界定的车道内提供对车辆的自主控制的装置。用于接收包括沿路段设置的特征的路段的第一图像的装置可以包括用于接收路段的第一图像并且使用感知模块来处理第一图像以识别沿路段设置的特征的装置。
提供以上概述仅出于总结一些示例实施例的目的，以提供对本发明的某些方面的基本理解。因此，将认识到，上述实施例仅是示例，并且不应被解释为以任何方式缩小本发明的范围或精神。应当理解，本发明的范围除了这里总结的那些实施例之外还包括许多潜在的实施例，其中一些将在下面进一步描述。
附图说明
这样，已经概括地描述了本发明的某些示例实施例，以下将参考附图，这些附图不一定按比例绘制，并且在附图中：
图1是根据本公开的示例实施例的装置的框图；
图2是根据本公开的示例实施例的用于从单个新图像估计特征空间衰减的插值的系统的框图；
图3描绘了根据本公开的示例实施例的样本特征的特征空间衰减；
图4是根据本公开的示例实施例的用于通过变分自编码器对风化特征进行编码并且插值以预测部分风化特征的过程的框图；
图5是根据本公开的示例实施例的用于实现本文描述的用于预测特征的特征空间衰减的方法的系统的框图；以及
图6是根据本公开的示例实施例的使用变分自编码器网络来预测特征空间衰减的操作的流程图。
具体实施方式
现在将在下文中参考附图更全面地描述本发明的一些实施例，在附图中示出了本发明的一些但不是全部实施例。实际上，本发明的各种实施例可以以许多不同的形式来体现，并且不应该被解释为限于在此阐述的实施例。相反，提供这些实施例以使本公开满足适用的法律要求。贯穿全文，相似的参考标号指代相似的元件。如本文所使用的，根据本发明的实施例，术语“数据”，“内容”，“信息”和类似术语可以互换使用，以指代能够被发送，接收和/或存储的数据。因此，不应使用任何这样的术语来限制本发明的实施例的精神和范围。
根据本发明的示例实施例，提供了一种方法，装置和计算机程序产品，用于通过插值从单个新图像估计特征空间衰减。如下面进一步描述的，自主车辆可以依赖于对沿着车辆正在行驶的路段的特征的特征检测。特征检测对于自主驾驶以了解车辆的环境并在车辆沿着路段行驶时安全地控制车辆而言至关重要。高清晰度(HD)地图可通过提供路段的副本来以此方式提供帮助，该副本如先前已沿路段行驶的传感器所检测。然而，自主车辆还必须了解其相对于HD地图的特征的位置，并检测本质上可能是动态或可变的特征，而这些特征可能不会由HD地图表示。检测沿路段的特征的问题可能包括特征衰减，其中特征在新的时候可能是突出的，但会随着时间而退化。例如，路段的线在新近粉刷时很容易区分，而已有数年历史的路线可能由于车辆交通，天气，道路处理(例如，盐犁，盐水犁，雪犁等)而风化，可能几乎没有新的时候那样可分辨。同样，路标可能会随着时间的流逝而退化，或者可能被诸如藤蔓或树枝的侵略性生长所遮盖，而这些生长会遮盖路标的某些或全部信息。
本文描述的实施例提供了一种用于检测环境中与导航或自主驾驶用例有关的特征的机制。与驾驶相关的特征(例如车道线，路面标记和标志)由沿路段行驶的车辆的感知系统检测，以帮助车辆了解车辆当前所处环境的情景。实施例描述了一种自动方法和系统，该方法和系统探索与重新训练车载自主车辆的感知模块有关的特征衰减的潜在空间，以在不同条件下可重复且可靠地检测相同特征空间。
HD地图具有高精度，其分辨率可以低至几厘米，以识别接近路段的物体，路段的特征，包括车道宽度，车道标记，交通方向，速度限制，车道限制等。自主车辆和半自主车辆使用这些高清地图来促进自主控制特征，例如在路段的车道内以规定的速度限制来行驶。自主车辆还可以配备有多个传感器，以促进自主车辆控制。传感器可以包括图像传感器/照相机，光距离和测距(LiDAR)，全球定位系统(GPS)，惯性测量单元(IMU)等，其可以测量车辆的周围环境并将有关周围环境的信息传达给车辆控制模块以处理并相应地调整车辆控制。传感器可以将感测到的数据提供给如下文进一步描述的感知模块或检测模块，以确定车辆正在其中行驶的环境的特征。
可以基于来自沿着道路网络的路段行驶的车辆的传感器数据来生成和更新HD地图。这些车辆可以具有各种自主程度，并且可以配备有各种不同级别的传感器。例如，来自全自主车辆的传感器可用于从沿路段行驶的车辆更新地图数据或生成具有众包(crowd-sourced)数据形式的新的地图数据。可以将接收到的传感器数据与关于由传感器采集的图像的其它传感器数据进行比较，以建立传感器数据的准确性并确认沿路段的特征和物体的位置，大小，形状等。如上所述，特征可能随时间退化，使得可能难以识别特征并难以使检测到的特征与HD地图的现有特征准确地相关联。
在此描述的实施例可以有益于诸如HD地图的地图的构建以及自主车辆控制的促进。HD地图的构建可以包括使用检测到的特征来识别路段的新特征，确认路段的现有特征以及识别随着时间的推移而风化或劣化的特征。所构建和更新的HD地图可以用于向用户(例如，车辆的驾驶员)提供导航辅助，并有助于自主车辆控制。此外，当车辆沿着路段行驶时，准确地检测被风化或削弱的特征的能力可能对实时的自主车辆控制是有益的。
包括车辆和/或地图服务提供商的感知或检测模块的感知系统可以使用机器学习来训练感知系统以识别环境中的特征和对象。为了训练用于自主车辆的感知系统，可能需要在不同的环境条件下收集大量数据。聚集此类数据可能具有挑战性，尤其是收集可能代表观察到的特征或对象的整个生命周期的数据。通常，针对诸如车道线的特征的此类数据集需要包括在各个衰减阶段从相同区域收集的数据。阶段包括何时车道线涂料是新鲜的，车道线的轻微风化，和完全风化的车道线，使车道线几乎不可见。实际限制可能会阻止此类数据收集工作，并且通常收集的数据可能是不同风化车道线的合并，以覆盖典型的特征衰减模式。本文描述的实施例包括一种方法，该方法使用生成式对抗网络以编程方式推断衰减模式跨越的潜在空间，以预测特征衰减。
图1是被配置用于执行本文所述的任何操作的示例装置的示意图。装置20是示例实施例，其可以由多种计算设备中的任何一种体现或与之相关联，所述多种计算设备包括被配置为提供高级驾驶员辅助特征的设备或以其它方式与该设备相关联，该设备可以包括导航系统用户界面。例如，计算设备可以是高级驾驶员辅助系统模块(ADAS)，其可以至少部分地控制车辆的自主或半自主特征。然而，由于本文描述的实施例可以可选地用于地图生成，地图更新和地图准确性确认，因此该装置的实施例可以被实现或部分地实现为移动终端，例如个人数字助理(PDA)，移动电话，智能电话，个人导航设备，智能手表，平板电脑，相机或上述和其它类型的语音和文本通信系统的任意组合。可选地，计算设备可以是固定计算设备，例如内置的车辆导航设备，辅助驾驶设备等。
可选地，该装置可以由彼此通信或以其它方式联网的多个计算设备体现或与之相关联，从而可以在彼此合作操作的多个计算设备之间划分由该装置执行的各种功能。
装置20可以配备有任意数量的传感器21，例如全球定位系统(GPS)，加速计，LiDAR，雷达和/或陀螺仪。如本文根据示例实施例所述，任何传感器可用于感测与用于导航辅助的设备的运动，位置或方向有关的信息。在一些示例实施例中，这样的传感器可以在车辆或其它远程装置中实现，并且所检测到的信息可以例如通过近场通信(NFC)被发送到装置20，NFC包括但不限于蓝牙通信等。
装置20可以包括通信接口22，处理器24，存储器设备26和用户接口28，可与它们相关联，或以其它方式与它们通信。在一些实施例中，处理器(和/或协同处理器或辅助处理器或与处理器相关联的任何其它处理电路)可以经由总线与存储器设备通信，以在装置的组件之间传递信息。该存储器设备可以是非暂时性的，并且可以包括例如一个或多个易失性和/或非易失性存储器。换句话说，例如，存储器设备可以是包括门的电子存储设备(例如，计算机可读存储介质)，该门被配置为存储可由机器(例如，如处理器的计算设备)检索的数据(例如，位)。存储器设备可以被配置为存储信息、数据、内容、应用、指令等，以使得装置能够根据本发明的示例实施例执行各种功能。例如，存储器设备可以被配置为缓冲输入数据以供处理器处理。附加地或可替代地，存储器设备可以被配置为存储指令以供处理器执行。
处理器24可以多种不同方式体现。例如，处理器可以被实现为各种硬件处理装置中的一个或多个，例如协处理器，微处理器，控制器，数字信号处理器(DSP)，具有或不具有伴随DSP的处理元件或包括集成电路的各种其它处理电路，该集成电路例如是ASIC(专用集成电路)，FPGA(现场可编程门阵列)，微控制器单元(MCU)，硬件加速器，专用计算机芯片等。这样，在一些实施例中，处理器可以包括一个或多个被配置为独立执行的处理核心。多核处理器可以在单个物理封装内实现多处理。附加地或可替代地，处理器可以包括经由总线串联配置的一个或多个处理器，以使得能够独立执行指令，流水线和/或多线程。
在示例实施例中，处理器24可以被配置为执行存储在存储器设备26中或以其它方式可被处理器访问的指令。替代地或附加地，处理器可以被配置为执行硬编码功能。这样，无论是通过硬件或软件方法来配置，还是通过其组合来配置，处理器都可以表示在相应地配置的情况下，能够执行根据本发明实施例的操作的实体(例如，物理地体现在电路中)。因此，例如，当处理器被体现为ASIC，FPGA等时，处理器可以是被具体配置的用于进行本文所述操作的硬件。替代地，作为另一示例，当处理器被体现为软件指令的执行器时，指令可以具体地配置处理器以在执行指令时执行本文所述的算法和/或操作。然而，在某些情况下，处理器可以是特定设备(例如，计算设备)的处理器，该特定设备被配置为通过用于执行本文所述的算法和/或操作的指令对处理器进行进一步的配置来采用本发明的实施例。此外，处理器可包括时钟，算术逻辑单元(ALU)和被配置为支持处理器的操作的逻辑门。
处理器24可以用作感知模块或检测模块，以解释来自传感器21的传感器数据。感知/检测模块可以是与处理器24分离的模块，但是可以执行解释来自传感器24的数据以识别传感器的环境中的特征的功能。可选地，如下文进一步所述，感知模块或检测模块可以位于远离装置20的位置，其中可以向感知/检测模块提供传感器数据，该感知/检测模块可以是被配置为解释传感器数据以识别传感器感应到的特征和对象的地图服务提供商系统的一部分。
示例实施例的装置20还可以包括用户界面28或与用户界面28通信。用户界面可以包括触摸屏显示器，扬声器，物理按钮和/或其它输入/输出机制。在示例实施例中，处理器24可以包括被配置为控制一个或多个输入/输出机制的至少一些功能的用户接口电路。处理器和/或包括处理器的用户接口电路可被配置为通过存储在处理器(例如，存储器设备24等)可访问的存储器上的计算机程序指令(例如，软件和/或固件)来控制一个或多个输入/输出机制的一个或多个功能。
示例实施例的装置20还可以可选地包括通信接口22，该通信接口可以是例如以硬件或硬件和软件的组合体现的设备或电路的任何装置，其被配置为例如通过如上所述的NFC接收来自和/或发送去往与该装置通信的其它电子设备的数据。附加地或替代地，通信接口22可以被配置为通过各种无线通信协议进行通信，包括全球移动通信系统(GSM)，例如但不限于长期演进(LTE)。就这一点而言，通信接口22可以包括例如天线(或多个天线)以及用于使得能够与无线通信网络进行通信的支持硬件和/或软件。附加地或可替代地，通信接口22可以包括用于与天线交互以使得经由天线传输信号或处理经由天线接收的信号的接收的电路。在一些环境中，通信接口22可以替代地或者也支持有线通信，或者可以替代地支持车辆到车辆或者车辆到基础设施无线链路。
装置20可以支持地图或导航应用，以便呈现地图或以其它方式提供由本文所述的高级特征识别方法所促进的导航或驾驶员辅助。例如，装置20可以经由用户界面28提供地图的显示和/或用于跟随道路网络内的路线的指令的显示。为了支持地图应用程序，该装置可以包括地理数据库或与地理数据库通信，例如可以存储在存储器26中。例如，地理数据库包括节点数据记录，路段或链路数据记录，兴趣点(POI)数据记录和其它数据记录。可以提供更多，更少或不同的数据记录。在一个实施例中，其它数据记录包括地图制图数据记录，路线数据和操纵(maneuver)数据。可以将POI或事件数据的一个或多个部分，组件，区域，层，特征，文本和/或符号存储在，链接到和/或与这些数据记录中的一个或多个相关联。例如，POI，事件数据或记录的路线信息的一个或多个部分可以例如通过位置或GPS数据关联(例如使用已知的或将来的地图匹配或地理编码技术)与相应的地图或地理记录进行匹配。此外，可以使用其它定位技术，例如电子水平传感器，雷达，LiDAR，超声和/或红外传感器。
在示例实施例中，可以提供导航系统用户界面，以使用根据在此描述的示例实施例生成和更新的HD地图向沿着道路网络行驶的用户提供驾驶员辅助。可选地，本文描述的实施例可以为自主或半自主车辆控制提供帮助。自主车辆控制可以包括无人驾驶车辆能力，其中所有车辆功能由软件和硬件提供，以沿着由车辆识别的路径安全地驾驶车辆。半自主车辆控制可以是从自适应巡航控制到车道保持辅助等的任何级别的驾驶员辅助。通过建立定义道路宽度的障碍，识别道路曲率，或车辆可能经过的道路链路的任何边界相关细节，识别沿车辆可能经过的路段或道路链路的对象可提供对导航和自主或半自主车辆控制有用的信息。
地图服务提供商数据库可以用于通过导航系统和/或通过具有自主或半自主车辆控制特征的ADAS来提供驾驶员辅助。图2示出了用于实现本文描述的示例实施例的系统的示例实施例的通信图。图2所示的实施例包括移动设备104以及地图数据服务提供商或云服务108，移动设备104可以是例如图2中的装置20，诸如车载导航系统，ADAS等。移动设备104和地图数据服务提供商108可以经由网络112与图2所示的其它元件中的至少一个通信，该网络可以是如将在下面进一步描述的任何形式的无线或部分无线网络。可以提供附加的，不同的或更少的组件。例如，许多移动设备104可以与网络112连接。地图数据服务提供商108可以是基于云的服务和/或可以经由托管服务器进行操作，该托管服务器接收数据，处理数据并将数据提供给系统的其它元件。
地图数据服务提供商可以包括地图数据库110，其可以包括节点数据，路段数据或链路数据，兴趣点(POI)数据，交通数据等。地图数据库110还可包括地图制图数据，路线数据和/或操纵数据。根据一些示例实施例，路段数据记录可以是代表道路，街道或路径的链接或段，如可用于计算路线或记录的路线信息以用于确定一条或多条个性化路线。节点数据可以是对应于路段数据的各个链接或段的端点。道路链接数据和节点数据可以代表例如由车辆，轿车，卡车，公共汽车，摩托车和/或其它实体使用的道路网络。可选地，例如，除了或代替车辆道路记录数据，地图数据库110还可包含路径段和节点数据记录或可表示行人路径或区域的其它数据。道路/链接路段和节点可以与属性关联，例如地理坐标，街道名称，地址范围，速度限制，十字路口的转弯限制及其它与导航相关的属性，以及POI，例如加油站，旅馆，餐馆，博物馆，体育馆，办公室，车辆维修店，建筑物，商店，公园等。地图数据库110可以包括关于POI及其在POI记录中的相应位置的数据。地图数据库110可以包括关于诸如城市，城镇或其它社区的地方的数据，以及关于诸如水体，山脉等的其它地理特征的数据。这样的地方或特征数据可以是POI数据的一部分或者可以与POI或POI数据记录(例如用于显示或表示城市位置的数据点)相关联。另外，地图数据库110可以包括与POI数据记录或地图数据库110的其它记录相关联的事件数据(例如，交通事故，建设活动，预定事件，未预定事件等)。
地图数据库110可以由内容提供商(例如，地图数据服务提供商)维护，并且可例如由内容或服务提供商处理服务器102进行访问。举例来说，地图数据服务提供商可以收集地理数据和动态数据以生成和增强地图数据库110以及其中包含的动态数据(例如与交通相关的数据)。地图开发人员可以使用不同的方式来收集数据。这些方式可以包括例如通过全球信息系统数据库，从其它来源(例如，市政当局或相应的地理主管部门)获取数据。此外，地图开发人员可以例如聘请现场人员乘车辆沿着整个地理区域的道路行驶，以观察特征和/或记录有关其的信息。同样，诸如航空或卫星摄影和/或LiDAR的遥感技术可用于直接生成地图几何图形或通过如本文所述的机器学习生成地图几何图形。然而，最普遍形式的可用数据是由诸如移动设备104的车辆在它们遍及整个区域的道路上行驶时所提供的车辆数据。
地图数据库110可以是以促进更新，维护和开发的格式存储的主地图数据库，例如HD地图数据库。例如，主地图数据库或在主地图数据库中的数据可以是Oracle空间格式或其它空间格式，例如用于开发或生产目的。可以将Oracle空间格式或开发/生产数据库编译为交付格式，例如地理数据文件(GDF)格式。生产和/或交付格式的数据可以被编译或进一步编译以形成地理数据库产品或数据库，其可以在最终用户导航设备或系统中使用。
例如，地理数据可以被编译(诸如被转换成平台规范格式(PSF)格式)以组织和/或配置数据以由导航设备(例如由移动设备104代表的车辆)执行与导航相关的功能和/或服务，诸如路线计算，路线引导，地图显示，速度计算，距离和行驶时间功能，以及其它功能。与导航有关的功能可以对应于车辆导航，行人导航，或其它类型的导航。产生最终用户数据库的编译可以由与地图开发者分开的一方或实体执行。例如，地图开发人员的客户，例如导航设备开发人员或其它最终用户设备开发人员，可以以传递格式对接收到的地图数据库执行编译，以产生一个或多个编译的导航数据库。
如上所述，地图数据服务提供商108地图数据库110可以是主地理数据库，但是在替代实施例中，客户端地图数据库可以表示用于提供导航和/或地图相关功能的可以在最终用户设备中使用或与最终用户设备一起使用的已编译的导航数据库(例如移动设备104)。例如，地图数据库110可以与移动设备104一起使用，以向最终用户提供导航特征。在这种情况下，例如，地图数据库110可以被下载或存储在可以通过无线或有线连接(例如，经由处理服务器102和/或网络112)访问地图数据库110的最终用户设备上。
在一个实施例中，如上所述，最终用户设备或移动设备104可以由图1中的装置20体现，并且可以包括高级驾驶员辅助系统(ADAS)，该高级驾驶员辅助系统可以包括信息娱乐车载系统或车载导航系统，和/或诸如个人导航设备(PND)，便携式导航设备，蜂窝电话，智能电话，个人数字助理(PDA)，手表，照相机，计算机的设备，和/或可执行导航相关功能的其它设备，例如数字路由和地图显示。根据一些示例实施例，最终用户可以例如将移动设备104用于导航和地图功能，诸如引导和地图显示，以及用于确定有用的驾驶员辅助信息。
示例实施例的地图数据库110可以从多个不同的数据源中生成。例如，市政当局或交通运输部门可以提供与道路相关的地图数据，而地理信息调查系统可以提供有关地理区域内的物业和物业所有权的信息。此外，可以接收数据以识别物业位置处的企业以及与该企业有关的信息，例如营业时间，提供的服务或产品，该企业的联系信息等。附加数据可以存储在地图数据库中，例如交通信息，路线信息等。该数据可以补充高清地图数据，从而以高详细程度提供地理区域内道路网络的准确描述，包括道路几何形状，沿道路的特征(例如路标)等。存储在地图数据库中的数据可以从多个不同来源收集，并且可以帮助使地图数据库中的数据保持新鲜的一个数据源是沿着道路网络的路段行驶的车辆提供的地图数据。
尽管市政当局和企业可以将地图数据提供给地图数据库，但是车辆沿路段行驶的普遍性使得那些车辆成为收集与路段相关的数据的机会，只要车辆配备了某种程度的传感器技术。仅使用诸如全球定位系统的位置感测技术沿路段行驶的车辆可提供与路段的路径有关的数据，而具有更先进技术的传感器的车辆可能能够提供附加信息。来自图像传感器或深度传感器(例如LiDAR)的传感器数据可提供有关路段特征的详细信息，包括路标沿路段的位置以及路标上包含的信息。该数据可以由地图数据服务提供商108众包，以构建具有比以前可用的更高水平的细节的更健壮且可靠的地图。此外，除了在地图数据库110中建立地图之外，传感器数据还可用于更新地图数据或确认现有地图数据，以确保地图数据库110得到维护并尽可能地是最新的。随着车辆变得更先进，地图数据的准确性和新鲜度可能至关重要，因为地图数据库110可提供有助于沿路段控制车辆的信息，因此车辆的自主控制变得更加普遍。
尽管众包数据可能有助于地图构建和维护新的地图数据，但众包数据仍可能无法在观察到的特征的整个使用期限内提供特征衰减的精确描绘。这样，本文描述的实施例可以从单个新图像对特征空间衰减插值。这可以使HD地图能够更容易地将众包数据与HD地图中的数据相关联，例如当车辆在衰减状态下检测到的特征与HD地图中的相同特征实质上不同时，本发明的实施例可以有助于将特征识别为已经衰减，从而提供检测到的特征与HD地图的更精确的地图匹配。
自主驾驶已经成为最近技术的焦点，其在机器学习，计算机视觉和计算能力方面的最新进展使得能够进行车辆环境的实时映射和感测。对环境的这种了解可以两种不同的方式实现自主驾驶。首先，对环境的实时感测可以提供有关潜在障碍物，其它人在道路上的行为，道路信息/警告标志以及车辆可通行区域的信息。对其它车辆在哪里以及它们可能做什么的理解对于车辆(或设备20)安全地规划路线至关重要。此外，车辆必须能够避免静态和动态障碍物，这可能会实时更改存在和位置。自主车辆还必须对周围的哪些区域可以通行且安全驾驶具有语义上的了解。区域的地图(例如上述高清地图)可能具有非常高的粒度级别，以帮助促进自主车辆的导航；但是，会发生一些异常情况，其中车辆可能需要偏离道路以避免碰撞，或者道路的几何形状或其它地图属性(例如方向)发生了变化。
自主驾驶的另一个关键是用于相对于参考地标的地图进行定位的视觉技术。这使得能够理解相对于道路的位置和前进方向。粗略地讲，导航地图允许车辆知道要使用哪个道路到达特定目的地。在更精细的比例上，地图允许车辆知道要进入哪个车道以及何时进行车道变更。该信息对于规划有效且安全的路线至关重要，因为驾驶涉及复杂的情况和操纵，其需要及时执行，并且通常在视觉上明显之前(例如，拐角处的车辆停下来)执行。相对于地图的本地化可以将其它实时信息合并到路线规划中。这样的信息可以包括交通，具有不安全的驾驶条件的区域(例如，冰，向风测，坑洞等)以及临时道路变化(例如由建设引起的变化)。
此外，为了实现车辆的完全自主，车辆必须在情景上察觉，因为车辆必须在动态条件(例如天气，交通，建设)和静态条件(例如道路几何形状，车道线，道路标志)两方面来察觉周围环境。车辆情景可以基于通过感知模块以理解所观察环境的内容的传感器观察来解释。感知模块的检测器集合可以对应于理解环境中的特征并识别特征在环境中的位置的基于深度神经网络的方法。本文描述的实施例包括一种用于改善检测环境中的特征和对象并将其适当地放置在环境中的性能的方法。尽管特征的衰减处于各个阶段，但本文所述的实施例仍可以基于来自原始图像的特征空间衰减的插值来检测环境中的特征。
如上所述，诸如HD地图的地图可以在促进自主车辆控制中起作用。构建HD地图可依赖于从众包的检测器接收到的传感器数据，众包的检测器包括来自沿已绘入地图的道路网络行驶的车辆的图像传感器和深度检测器(例如LiDAR)。接收到的传感器数据经过处理以识别传感器数据中的对象和特征，以正确构建和更新HD地图，并有助于对生成感测数据的车辆进行自主控制。这样，无论各个特征的衰减状态如何，正确检测特征都是至关重要的。
本公开的实施例使用变分自编码器网络来发现特征衰减所跨越的潜在空间。网络的参数学习隐式变换，从而允许从单个新图像对特征空间衰减插值。这有助于增强针对感知或检测系统的训练数据，因为来自单个图像的整个特征衰减空间可用于训练感知/检测系统。
变分自编码器网络的标准架构可以用于模拟特征衰减。可以在网络中使用的损失函数可包括负对数似然函数。为了训练网络，可以将包括从相同位置间隔预定时间(例如，几个月)收集的训练数据的数据集馈送到网络以创建神经网络或促进机器学习。这样的神经网络或机器学习导致系统能够接收具有“新”特征的图像的输入并输出呈现“风化”的特征，这可以最小化来自具有风化特征的实际图像的损失。可以对新输入图像的潜变量进行插值，以跨越整个特征衰减空间并生成新数据以重新训练感知系统。
图3示出了针对样本特征的特征空间衰减的示例实施例。根据图示的实施例，图像310由传感器的环境的图像传感器采集。传感器的环境是道路，检测到的特征是车道线315，该车道线是或看起来是新的或新刷的。随着时间的流逝，特征会被风化并磨损。图像320示出了由于风化引起的特征325的部分衰减，而图像330示出了特征335的全部衰减。所有三个图像对应于不同时间的相同位置。
因为变分自编码器通过特征335的总衰减从新特征315插值以便检测贯穿其整个生命周期的特征，用作特征检测器的处理器，例如在本文所述的感知模块中的处理器，可以分别检测图像310、320和330的特征315、325和335。图4提供了本文描述的示例实施例的可视化。如图所示，从图像410接收包括特征415的输入特征，特征415是新的或新刷的车道线。示例实施例的变分自编码器440可以模拟特征的衰减以在图像430中产生特征435。在新特征415和衰减的特征435之间的潜变量插值450使示例实施例能够预测特征衰减的各个阶段，诸如处于衰减状态但尚未像图像430那样完全衰减的特征425。
在此描述的装置的实施例可以进一步提供机器学习预测的特征衰减的准确性，以及提供响应于在衰减的各个阶段中对特征的观察而修改特征衰减预测。例如，一个最初被观察为新，使用损失函数通过变分自编码器进行处理，以生成风化特征的编码表示的特征，其中特征的外观可以在衰减的各个阶段基于潜变量插值预测，可当车辆在最初观察之后至少某个预定时间的时间点在路段上行驶时，实际上可以由车辆的传感器观察。可以将传感器对部分风化的特征的采集观察与预测的特征衰减进行比较，以建立预测特征变化的潜变量插值的精度。如果观察到的特征由插值准确地表示，则插值可以保持不变。但是，如果在观察到的特征与部分风化的插值特征之间存在实质性差异(例如，超出预定义阈值的差异)，则可以修改插值，并且可以更新损失函数以反映特征的实际衰减。
自主车辆或具有某种程度的自主控制的车辆提供某种程度的车辆控制，该程度的车辆控制先前由驾驶车辆的人执行。从人身上取消驾驶的部分或全部责任并使这些责任自动化，需要对以至少与人类驾驶员一样好的方式履行这些责任有高度信心。例如，由人类保持车辆位置在车道内涉及：在观察到的车道标记之间掌舵车辆，并在车道标记模糊、缺失、或由于天气(例如大雨，雪，阳光直射等)而不可见时确定车道。具有自主能力以在其沿路段行驶时将其保持在车道内的车辆还必须能够基于车道标记或其它可观察到的特征来识别车道。因此，自主车辆必须配备足以观察道路特征的传感器，以及能够处理来自观察道路特征的传感器的信号，解释这些信号并提供车辆控制以基于传感器数据来维持车辆的车道位置的控制器。保持车道位置仅仅是自主或半自主车辆功能的一个说明性示例，其演示了自主驾驶的传感器级别和复杂性。然而，自主车辆能力，特别是在全自主车辆中，必须能够执行所有驾驶功能。因此，车辆必须配备以可靠方式实现功能的传感器封装件。
除了车辆上的传感器之外，自主和半自主车辆还可以使用高清地图来帮助沿着车辆的路径导航和控制车辆。这些高清地图可以提供道路几何形状，车道几何形状，路段限制(例如，速度限制)，车道限制(例如，仅转弯车道)以及可能与路网的路段有关的任何其它信息。此外，HD地图可以是动态的，并且可以周期性地从地图服务提供商接收更新，该更新可以由沿着路段行驶的车辆通过能够识别和更新HD地图的传感器封装件来通知。此外，路段的属性可以在一天的不同时间或一周的不同天发生变化，例如快速车道，其可能在一天的第一时间处于第一行驶方向，而在一天的第二时间处于第二行驶方向。HD地图可以包括此信息，以提供准确的导航并促进沿这些路段的自主，以补充与车辆关联的传感器封装件。
根据本文描述的示例实施例，HD地图在促进自主或半自主车辆控制中的作用可以包括基于先前的观察来解释由车辆的传感器感测的对象。当沿着路段行驶的车辆观察到的特征与特征的原始观察不同时，理解该特征如何随时间变化(例如上述的风化和衰减)可能是有利的。通过如本文所述的可靠且可重复的方法来预测这种风化和衰减，可使自主车辆更容易且有效地将沿着路段的观察到的特征与存储在HD地图中的特征相关联。因此，沿着路段的车辆的更精确的自主控制是可能的。
沿着路段行驶的车辆可以配备有传感器，例如图1的装置20的传感器21，其中传感器可以包括图像传感器和距离传感器(例如，LiDAR传感器或其它三维传感器)。这些传感器可以用于检测环境的特征以促进自主和半自主驾驶。传感器可以是检测模块或感知模块的一部分，该检测模块或感知模块可以具有多个传感器，以获得对模块和与其相关联的车辆的环境的完整解释。
图5示出了专门配置用于实现本文描述的实施例的架构的示例实施例。
图5所示的实施例可以是基于车辆的，其中传感器数据从沿着路段行驶的车辆的传感器获得。收集的传感器数据沿着路段的位置可以通过使用GPS或其它定位装置的位置确定来确定，并且与地图数据服务提供商108的地图数据相关联。如图所示，该架构包括向高级驾驶员辅助系统(ADAS)205提供地图数据(例如，HD地图和与地图内道路链路相关的策略)的地图数据服务提供商108，取决于应用程序，它可以是基于车辆或基于服务器的。地图数据服务提供商可以是基于云210的服务。ADAS接收导航信息和车辆位置，并且可以使用该信息来将位置与地图缓存器220中存储的已绘入地图的道路网络的地图上的道路链路进行地图匹配215。该链路或路段，以及行驶方向，可用于建立哪些HD地图政策适用于与ADAS关联的车辆，包括传感器能力信息，自主功能信息等。因此，基于当前位置和环境条件(例如交通，一天中的时间，天气)来建立车辆政策。特定于车辆的与路段相关联的HD地图策略被提供给车辆控件，例如通过CAN(计算机局域网)总线(或以太网或Flexray)240提供给车辆的电子控制单元(ECU)245以实施高清地图政策，例如各种形式的自主驾驶或辅助驾驶，或导航辅助。
图6示出了描绘根据本发明的示例实施例的方法的流程图。将理解，流程图中的每个框和流程图中的框的组合可以通过各种方式来实现，诸如硬件，固件，处理器，电路和/或与包括一个或多个计算机程序指令的软件的执行相关联的其它通信设备。例如，上述过程中的一个或多个可以由计算机程序指令来体现。在这方面，体现上述过程的计算机程序指令可以由采用本发明实施例的装置的存储器设备26存储，并由装置20的处理器24执行。将理解，可以将计算机程序指令加载到计算机或其它可编程装置(例如，硬件)以产生机器，从而使得所得的计算机或其它可编程装置实现流程图框中指定的功能。这些计算机程序指令还可以存储在计算机可读存储器中，该计算机可读存储器可以指导计算机或其它可编程装置以特定方式起作用，从而使得存储在计算机可读存储器中的指令产生制品，该制品的执行实现流程图块中指定的功能。也可以将计算机程序指令加载到计算机或其它可编程装置上，以使一系列操作在计算机或其它可编程装置上执行以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令设备提供用于实现流程图框中指定的功能的操作。
因此，流程图中的框支持用于执行指定功能的装置的组合以及用于执行指定功能的操作的组合，以用于执行指定功能。还将理解，流程图中的一个或多个框以及流程图中的框的组合可以通过执行指定功能的基于专用硬件的计算机系统来实现，或通过专用硬件和计算机指令的组合来实现。
图6是用于在三维空间内迭代建立特征位置的方法的流程图。如图所示，在510处，接收包括沿路段设置的特征的路段的第一图像。在520处，将损失函数应用于图像或图像内的特征。在530处，生成包括特征的风化迭代的修改图像。在540处，使用图像和修改图像之间的插值，生成具有特征的部分风化迭代的预测图像。在550处，从沿着路段行驶的车辆接收用户图像。在560处，将用户图像中的特征与在预测图像中的该特征的部分风化的迭代相关联。在570处，将用户图像中的特征建立为沿路段设置的特征。在580处，至少部分地基于用户图像中的特征被建立为沿着路段设置的特征来提供车辆的自主控制。
在示例实施例中，用于执行以上图6的方法的设备可以包括处理器(例如，处理器24)和/或自编码器，其被配置为执行所述操作中的一些或每个操作(510-580)。处理器可以例如被配置为通过执行硬件实现的逻辑功能，执行存储的指令，或执行用于执行每个操作的算法来执行操作(510-580)。可替代地，该装置可以包括用于执行上述每个操作的装置。就这一点而言，根据示例实施例，用于执行操作510-580的装置的示例可以包括例如处理器24和/或如上所述的用于执行指令或执行用于处理信息的算法的设备或电路。
受益于前述描述和相关附图中呈现的教导，这些发明所属领域的技术人员将想到本文中阐述的本发明的许多修改和其它实施例。因此，应当理解，本发明不限于所公开的特定实施例，并且修改和其它实施例旨在被包括在所附权利要求的范围内。此外，尽管前述描述和相关附图在元件和/或功能的某些示例组合的上下文中描述了示例实施例，但是应当理解，可以由替代实施例提供元件和/或功能的不同组合，而不脱离所附权利要求的范围。在这点上，例如，如在所附权利要求中的一些所阐述的，与上文明确描述的元件和/或功能的组合不同的组合也被设想。尽管本文采用了特定术语，但是它们仅在一般性和描述性意义上使用，而不是出于限制的目的。

Claims (20)

1.一种促进车辆的自主或半自主控制的装置，所述装置包括至少一个处理器和至少一个非暂时性存储器，所述至少一个非暂时性存储器包括存储在其上的计算机程序代码指令，所述计算机程序代码指令被配置为在执行时使所述装置至少：
接收路段的第一图像，所述第一图像包括沿所述路段设置的特征；
对所述第一图像的所述特征应用损失函数；
生成修改图像，其中，所述修改图像包括所述特征的风化迭代；
使用所述图像和所述修改图像之间的插值，生成具有所述特征的部分风化迭代的预测图像；
接收用户图像，其中，所述用户图像从沿所述路段行驶的车辆接收；
将所述用户图像中的特征与所述预测图像中的所述特征的所述部分风化迭代相关联；
将所述用户图像中的特征建立为沿所述路段设置的特征；以及
响应于所述用户图像中的特征被建立为沿所述路段设置的特征，至少部分地基于所述用户图像中的特征来促进所述车辆的自主控制。
2.根据权利要求1所述的装置，其中，所述损失函数包括负对数似然函数。
3.根据权利要求1所述的装置，其中，还使所述装置：
接收训练数据，所述训练数据包括样本路段的多个训练图像和在其上的至少一个样本特征，其中，所述多个训练图像在时间上间隔开至少预定的时间量；以及
其中，生成包括所述特征的风化迭代的修改图像包括：至少部分地基于从所述训练数据学习的信息来生成修改图像。
4.根据权利要求1所述的装置，其中，还使所述装置：
接收所述路段的新图像，所述新图像包括沿所述路段设置的特征，其中，所述新图像在所述第一图像之后的至少预定时间段接收；
将所述新图像的特征与所述预测图像中的所述特征的所述部分风化迭代相关联；以及
基于所述新图像的特征与所述预测图像中的所述特征的所述部分风化迭代之间的差异，修改所述损失函数。
5.根据权利要求1所述的装置，其中，第一特征是车道线，其中，使所述装置响应于所述用户图像中的特征被建立为沿所述路段设置的特征而至少部分地基于所述用户图像中的特征来促进所述车辆的自主控制包括：使所述装置在所述路段的由所述车道线界定的车道内提供所述车辆的自主控制。
6.根据权利要求1所述的装置，其中，使所述装置接收包括沿所述路段设置的特征的路段的第一图像包括：使所述装置接收所述路段的所述第一图像，并使用感知模块来处理所述第一图像，以识别沿所述路段设置的特征。
7.根据权利要求1所述的装置，其中，所述第一图像从沿所述路段行驶的自主车辆的传感器接收。
8.一种计算机程序产品，包括具有存储在其中的计算机可执行程序代码指令的至少一个非暂时性计算机可读存储介质，所述计算机可执行程序代码指令包括程序代码指令以：
接收路段的第一图像，所述第一图像包括沿所述路段设置的特征；
对所述第一图像的所述特征应用损失函数；
生成修改图像，其中，所述修改图像包括所述特征的风化迭代；
使用所述图像和所述修改图像之间的插值，生成具有所述特征的部分风化迭代的预测图像；
接收用户图像，其中，所述用户图像从沿所述路段行驶的车辆接收；
将所述用户图像中的特征与所述预测图像中的所述特征的所述部分风化迭代相关联；
将所述用户图像中的特征建立为沿所述路段设置的特征；以及
响应于所述用户图像中的特征被建立为沿所述路段设置的特征，至少部分地基于所述用户图像中的特征来促进所述车辆的自主控制。
9.根据权利要求8所述的计算机程序产品，其中，所述损失函数包括负对数似然函数。
10.根据权利要求8所述的计算机程序产品，还包括程序代码指令以：
接收训练数据，所述训练数据包括样本路段的多个训练图像和在其上的至少一个样本特征，其中，所述多个训练图像在时间上间隔开至少预定的时间量；以及
其中，生成包括所述特征的风化迭代的修改图像包括：至少部分地基于从所述训练数据学习的信息来生成修改图像。
11.根据权利要求8所述的计算机程序产品，还包括程序代码指令以：
接收所述路段的新图像，所述新图像包括沿所述路段设置的特征，其中，所述新图像在所述第一图像之后的至少预定时间段接收；
将所述新图像的特征与所述预测图像中的所述特征的所述部分风化迭代相关联；以及
基于所述新图像的特征与所述预测图像中的所述特征的所述部分风化迭代之间的差异，修改所述损失函数。
12.根据权利要求8所述的计算机程序产品，其中，第一特征是车道线，其中，用于响应于所述用户图像中的特征被建立为沿所述路段设置的特征而至少部分地基于所述用户图像中的特征来促进所述车辆的自主控制的程序代码指令包括：用于在所述路段的由所述车道线界定的车道内提供对所述车辆的自主控制的程序代码指令。
13.根据权利要求8所述的计算机程序产品，其中，用于接收包括沿所述路段设置的特征的路段的第一图像的程序代码指令包括：用于接收所述路段的所述第一图像并使用感知模块来处理所述第一图像以识别沿所述路段设置的特征的程序代码指令。
14.根据权利要求8所述的计算机程序产品，其中，所述第一图像从沿所述路段行驶的自主车辆的传感器接收。
15.一种方法，包括：
接收路段的第一图像，所述第一图像包括沿所述路段设置的特征；
对所述第一图像的所述特征应用损失函数；
生成修改图像，其中，所述修改图像包括所述特征的风化迭代；
使用所述图像和所述修改图像之间的插值，生成具有所述特征的部分风化迭代的预测图像；
接收用户图像，其中，所述用户图像从沿所述路段行驶的车辆接收；
将所述用户图像中的特征与所述预测图像中的所述特征的所述部分风化迭代相关联；
将所述用户图像中的特征建立为沿所述路段设置的特征；以及
响应于所述用户图像中的特征被建立为沿所述路段设置的特征，至少部分地基于所述用户图像中的特征来促进所述车辆的自主控制。
16.根据权利要求15所述的方法，其中，所述损失函数包括负对数似然函数。
17.根据权利要求15所述的方法，还包括：
接收训练数据，所述训练数据包括样本路段的多个训练图像和在其上的至少一个样本特征，其中，所述多个训练图像在时间上间隔开至少预定的时间量；以及
其中，生成包括所述特征的风化迭代的修改图像包括：至少部分地基于从所述训练数据学习的信息来生成修改图像。
18.根据权利要求15所述的方法，还包括：
接收所述路段的新图像，所述新图像包括沿所述路段设置的特征，其中，所述新图像在所述第一图像之后的至少预定时间段接收；
将所述新图像的特征与所述预测图像中的所述特征的所述部分风化迭代相关联；以及
基于所述新图像的特征与所述预测图像中的所述特征的所述部分风化迭代之间的差异，修改所述损失函数。
19.根据权利要求15所述的方法，其中，第一特征是车道线，其中，响应于所述用户图像中的特征被建立为沿所述路段设置的特征而至少部分地基于所述用户图像中的特征来促进所述车辆的自主控制包括：在所述路段的由所述车道线界定的车道内提供所述车辆的自主控制。
20.根据权利要求15所述的方法，其中，接收包括沿所述路段设置的特征的路段的第一图像包括：接收所述路段的所述第一图像，并使用感知模块来处理所述第一图像，以识别沿所述路段设置的特征。
CN201911044648.8A 2018-10-30 2019-10-30 用于使用变分自编码器网络来预测特征空间衰减的方法和装置 Active CN111198560B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/174892 2018-10-30
US16/174,892 US10685252B2 (en) 2018-10-30 2018-10-30 Method and apparatus for predicting feature space decay using variational auto-encoder networks

Publications (2)

Publication Number Publication Date
CN111198560A true CN111198560A (zh) 2020-05-26
CN111198560B CN111198560B (zh) 2023-06-02

Family

ID=68392819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911044648.8A Active CN111198560B (zh) 2018-10-30 2019-10-30 用于使用变分自编码器网络来预测特征空间衰减的方法和装置

Country Status (3)

Country Link
US (2) US10685252B2 (zh)
EP (1) EP3648003B1 (zh)
CN (1) CN111198560B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138418B2 (en) * 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
CN110135302B (zh) * 2019-04-30 2021-08-31 百度在线网络技术（北京）有限公司 训练车道线识别模型的方法、装置、设备和存储介质
US11250279B2 (en) * 2020-03-31 2022-02-15 Robert Bosch Gmbh Generative adversarial network models for small roadway object detection
FR3111450A1 (fr) * 2020-06-16 2021-12-17 Psa Automobiles Sa Procédé de mise à jour d’une signalisation routière par un véhicule autonome
JP7380532B2 (ja) * 2020-11-16 2023-11-15 トヨタ自動車株式会社 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム
CN113327248B (zh) * 2021-08-03 2021-11-26 四川九通智路科技有限公司 一种基于视频的隧道车流量统计方法
WO2023042238A1 (ja) * 2021-09-14 2023-03-23 日本電気株式会社 画像生成システム、画像生成方法、及び、記録媒体
US11625444B2 (en) 2022-01-18 2023-04-11 Jeffrey David Minter Curated result finder
CN115187266B (zh) * 2022-06-29 2023-08-25 山东大学 基于记忆力变分自编码模型的信用卡欺诈检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0001288A1 (de) * 1977-09-23 1979-04-04 Mannesmann Kienzle GmbH Registrieranordnung für Fahrtschreiber
US4299880A (en) * 1979-11-15 1981-11-10 Minnesota Mining And Manufacturing Company Demand and timed renewing imaging media
DE4235236A1 (de) * 1992-10-15 1994-08-18 Refit E V Verein Zur Regionalf Verfahren zur Ermittlung der durch Kraftfahrzeuge verursachten Umweltbelastungen
US5821633A (en) * 1997-01-08 1998-10-13 Trustees Of Boston University Center of weight sensor
CN103777631A (zh) * 2013-12-16 2014-05-07 北京交控科技有限公司 一种自动驾驶的控制系统及方法
CN103935361A (zh) * 2013-01-21 2014-07-23 通用汽车环球科技运作有限责任公司 用于自主的车道变换、经过和超越行为的有效数据流算法
CN106950950A (zh) * 2017-03-02 2017-07-14 广东工业大学 一种基于摄像头的汽车并线辅助系统和控制方法
US20180283892A1 (en) * 2017-04-03 2018-10-04 Robert Bosch Gmbh Automated image labeling for vehicles based on maps

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015119875A1 (en) * 2014-02-07 2015-08-13 Halliburton Energy Services, Inc. Model for estimating drilling tool wear
US10179487B1 (en) * 2016-01-15 2019-01-15 Hunter Engineering Company Method for generating images of predicted tire tread wear
CN109643125B (zh) 2016-06-28 2022-11-15 柯尼亚塔有限公司 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟
US11474519B2 (en) * 2018-02-26 2022-10-18 Nvidia Corporation Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness
US11361599B2 (en) * 2018-08-23 2022-06-14 Ford Global Technologies, Llc Vehicle damage detection
JP7032280B2 (ja) * 2018-10-11 2022-03-08 トヨタ自動車株式会社 横断歩道標示推定装置
US10987977B2 (en) * 2018-10-26 2021-04-27 Toyota Motor North America, Inc. Systems and methods for measuring tire wear using embedded image sensors
US10885625B2 (en) * 2019-05-10 2021-01-05 Advanced New Technologies Co., Ltd. Recognizing damage through image analysis

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0001288A1 (de) * 1977-09-23 1979-04-04 Mannesmann Kienzle GmbH Registrieranordnung für Fahrtschreiber
US4299880A (en) * 1979-11-15 1981-11-10 Minnesota Mining And Manufacturing Company Demand and timed renewing imaging media
DE4235236A1 (de) * 1992-10-15 1994-08-18 Refit E V Verein Zur Regionalf Verfahren zur Ermittlung der durch Kraftfahrzeuge verursachten Umweltbelastungen
US5821633A (en) * 1997-01-08 1998-10-13 Trustees Of Boston University Center of weight sensor
CN103935361A (zh) * 2013-01-21 2014-07-23 通用汽车环球科技运作有限责任公司 用于自主的车道变换、经过和超越行为的有效数据流算法
CN103777631A (zh) * 2013-12-16 2014-05-07 北京交控科技有限公司 一种自动驾驶的控制系统及方法
CN106950950A (zh) * 2017-03-02 2017-07-14 广东工业大学 一种基于摄像头的汽车并线辅助系统和控制方法
US20180283892A1 (en) * 2017-04-03 2018-10-04 Robert Bosch Gmbh Automated image labeling for vehicles based on maps

Also Published As

Publication number Publication date
EP3648003B1 (en) 2024-01-17
CN111198560B (zh) 2023-06-02
EP3648003A1 (en) 2020-05-06
US20200134354A1 (en) 2020-04-30
US10685252B2 (en) 2020-06-16
US20200257921A1 (en) 2020-08-13
US11170251B2 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
CN111198560B (zh) 用于使用变分自编码器网络来预测特征空间衰减的方法和装置
US10482761B2 (en) Lane-level geometry and traffic information
US10928819B2 (en) Method and apparatus for comparing relevant information between sensor measurements
US10872435B2 (en) Method and apparatus for iteratively establishing object position
US10580292B2 (en) Lane-level geometry and traffic information
US11151391B2 (en) Method and apparatus for creating a visual map without dynamic content
CN111351502B (zh) 用于从透视图生成环境的俯视图的方法，装置和计算机程序产品
US11193789B2 (en) Method, apparatus, and computer program product for identifying at-risk road infrastructure
US10976747B2 (en) Method and apparatus for generating a representation of an environment
US11409292B2 (en) Method, apparatus, and computer program product for generating a map of road links of a parking lot
US20210080265A1 (en) Method and system to generate updated map data for parallel roads
US20230003545A1 (en) Method, apparatus and computer program product for tunnel detection from a point cloud
US10922558B2 (en) Method and apparatus for localization using search space pruning
US10928831B2 (en) Method and apparatus for de-biasing the detection and labeling of objects of interest in an environment
US20200134378A1 (en) Method and apparatus for detecting objects of interest in an environment
US11790667B2 (en) Method and apparatus for localization using search space pruning
US10878287B2 (en) Method and apparatus for culling training data
US20220397420A1 (en) Method and apparatus for providing an updated map model
US20240116505A1 (en) Method and apparatus for enhanced lane line attribution
US20220196409A1 (en) Method, apparatus, and computer program product for establishing three-dimensional correspondences between images
US11713979B2 (en) Method, apparatus, and computer program product for generating a transition variability index related to autonomous driving
US20220198700A1 (en) Method, apparatus, and computer program product for point-to-point translation between images
EP4148389A2 (en) Method and apparatus for generating maps from geospatial observations
US11080311B2 (en) Method and apparatus for identifying critical parameters of a localization framework based on an input data source

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant