CN114078335A - 通过融合航空图像和遥测数据检测道路边缘的系统和方法 - Google Patents

通过融合航空图像和遥测数据检测道路边缘的系统和方法 Download PDF

Info

Publication number
CN114078335A
CN114078335A CN202110346973.0A CN202110346973A CN114078335A CN 114078335 A CN114078335 A CN 114078335A CN 202110346973 A CN202110346973 A CN 202110346973A CN 114078335 A CN114078335 A CN 114078335A
Authority
CN
China
Prior art keywords
road
likelihood
edge
edges
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110346973.0A
Other languages
English (en)
Other versions
CN114078335B (zh
Inventor
O·布兰
Y·G·门吉斯图
S·马赫什
D·H·克利福德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN114078335A publication Critical patent/CN114078335A/zh
Application granted granted Critical
Publication of CN114078335B publication Critical patent/CN114078335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Atmospheric Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Abstract

一种检测道路边缘的方法，包括：通过垂直于道路中心线移动道路中心线并用图像梯度重叠中心线，根据道路的航空图像计算道路边缘的第一似然性；使用车辆遥测来确定道路边缘的第二似然性，该车辆遥测拟合沿道路的遥测点的概率分布；将道路边缘的第一似然性和道路边缘的第二似然性融合，以识别道路边缘的最终似然性。

Description

通过融合航空图像和遥测数据检测道路边缘的系统和方法
技术领域
本公开涉及通过道路数据检测和收集的自动驾驶车辆(AV)导航。
背景技术
自动驾驶车辆(AV)的运行需要数据库地图中道路边缘的准确地理位置，以便自动驾驶车辆进行定位和导航。许多道路缺乏使用已知传感器融合技术的亚米级精度的精确测量数据。
居住区道路在北美所有道路中占重要部分，约为30％。居住区道路最小，且通常在路面上没有任何标记，因此自动驾驶车辆可能无法在居住区道路上准确导航。识别道路边缘和导航标记的已知方法可以利用地理定位数据或成本高昂的激光制导系统，或者可以利用车载相机系统来帮助识别道路边缘。因此，拥有激光制导设备或车载相机系统的车辆数量仍然是实现大范围自动驾驶车辆运行的一个限制条件。
其他已知系统基于穿越道路路段的一定数量车辆的遥测数据的集合来估计道路中心线。使用在道路路段上沿相反方向行驶的车辆的集合数据来估计近似道路中心线，其可与道路卫星数据一起用于模拟道路行驶车道。
因此，虽然当前道路边缘和导航标记的自动驾驶车辆识别达到了预期目的，但是仍需要一种新型和改进的用于在自动驾驶车辆中检测道路边缘的系统和方法。
发明内容
根据若干方面，一种检测道路边缘的系统，包括根据道路的航空图像计算的道路边缘的第一似然性(likelihood)。使用车辆遥测和沿道路的遥测点所拟合的概率分布来确定道路边缘的第二似然性。道路边缘的第一似然性和道路边缘的第二似然性的融合，以识别道路边缘的最终似然性。
在本公开的另一方面，随时间从道路上行驶的多个车辆收集代表遥测点的多个数据点。
在本公开的另一方面，将多个数据点分组为多个组，包括代表车辆在第一行驶方向上行驶的第一组。
在本公开的另一方面，多个组包括代表车辆在与第一行驶方向相反的第二行驶方向上行驶的第二组。
在本公开的另一方面，道路包括中心线，道路边缘的第一似然性通过垂直于中心线移动中心线并且用图像梯度重叠(overlapping)航空图像来计算；并且道路边缘的第一似然性进一步使用以下方式中的至少一种来确定：相对于第一组数据点的中心线确定的第一行驶方向上的数据点的第95百分位；基于道路的类型；以及报告的车道数量。
在本公开的另一方面，道路边缘的第二似然性进一步使用以下方式中的至少一种来确定：相对于第二组数据点的中心线确定的第二行驶方向上的第95百分位的数据点；基于道路的类型；以及报告的车道数量。
在本公开的另一方面，使用道路的航空图像数据生成航空图像数据地图。
在本公开的另一方面，包括至少一个对象的多个数据点用于限定道路边缘。
在本公开的另一方面，曲线图使用识别道路边缘的地理位置来呈现第一似然性。
在本公开的另一方面，该曲线图呈现以下至少一个：至少一个对象的地理位置的似然性的第95百分位概率、道路的类型；以及报告的车道数量。
根据若干方面，一种检测道路边缘的方法，包括：通过垂直于道路中心线移动道路中心线并用图像梯度重叠中心线，根据道路的航空图像计算道路边缘的第一似然性；使用拟合沿道路的遥测点的概率分布的车辆遥测来确定道路边缘的第二似然性；以及将道路边缘的第一似然性和道路边缘的第二似然性融合，以识别道路边缘的最终似然性。
在本公开的另一方面，该方法还包括识别多个数据点，这些数据点代表从道路上行驶的多个车辆随时间收集的遥测点。
在本公开的另一方面，该方法还包括将数据点分组为多个组，包括表示车辆在第一行驶方向上行驶的第一组，以及表示车辆在与第一行驶方向相反的第二行驶方向上行驶的第二组。
在本公开的另一方面，该方法还包括通过计算相对于第一组数据点的道路中心线的第一数据方向上数据点的第95百分位来确定道路边缘的第二似然性。
在本公开的另一方面，该方法还包括通过计算相对于第二组数据点的道路中心线的第二数据方向上的数据点的第95百分位来确定道路边缘的第二似然性。
在本公开的另一方面，该方法还包括：使用道路区域的航空图像数据生成航空图像数据地图；以及从航空图像数据地图中去除无关数据。
在本公开的另一方面，该方法还包括：识别包括限定道路边缘的至少一个对象的数据点；以及通过呈现至少一个对象的地理位置的似然性的第95百分位概率，使用识别道路边缘的地理位置来生成呈现第一似然性的曲线图。
根据若干方面，一种检测道路边缘的方法包括：识别道路的中心线；通过垂直于道路中心线移动道路中心线，根据道路的航空图像计算道路边缘的第一似然性；使用车辆遥测来确定道路边缘的第二似然性，该车辆遥测拟合车辆遥测的遥测点的概率分布，该遥测点具有表示车辆沿第一行驶方向行驶的第一组和表示车辆沿与第一行驶方向相反的第二行驶方向行驶的第二组；以及将道路边缘的第一似然性的第95百分位和道路边缘的第二似然性的第95百分位融合，以识别道路边缘的最终似然性。
在本公开的另一方面，该方法包括以距离中心线的预定增量移动中心线。
在本公开的另一方面，该方法包括在计算道路边缘的第一似然性期间用图像梯度重叠中心线。
从本文提供的描述中，在其他领域的进一步应用将变得显而易见。应当理解，本文的描述和具体实例仅用于说明的目的，并且不旨在限制本公开的范围。
附图说明
本文的附图仅用于说明的目的，并不旨在以任何方式限制本公开的范围。
图1是使用根据示例性方面的用于检测道路边缘的系统和方法的示例性道路部分的俯视图；
图2是去除了无关数据的图1的航空图像的俯视图；
图3是呈现使用地理位置识别道路边缘的第一似然性的曲线图；
图4是呈现分别代表车辆遥测数据的多个数据点的曲线图；
图5是示出了制备图2的航空图像的步骤的流程图；
图6是类似于图2的航空图像，呈现道路中心线位移；
图7是呈现在图6所示的第一数据方向上的图像数据的曲线图；
图8是呈现在图6所示的第二数据方向上的图像数据的曲线图；
图9是从图4修改而来的曲线图，呈现了分别代表车辆遥测数据的多个数据点；以及
图10是示出将图2的航空图像的数据与图9的曲线图的数据融合的步骤的流程图。
具体实施方式
以下描述本质上仅仅是示例性的，并不旨在限制本公开、应用或使用。
参考图1，用于检测道路边缘10的系统和方法识别道路16的第一道路边缘12的位置的概率和第二道路边缘14的概率。根据若干方面，道路16可以穿过在道路16的至少一侧上具有人行道18的区域、连接到道路16中的一个或多个车道20、以及沿着道路16具有例如草或树的一个或多个厂房区域或生活区域22。
参考图2并再次参考图1，在第一方法步骤中，使用道路16的区域的航空图像数据生成航空图像24的数据地图。在去除无关数据之后，生成数据点，这些数据点包括例如代表第一道路边缘12的第一似然性的第一对象26、代表第二道路边缘14的第二对象28以及代表人行道18的边缘的第三对象30。
参考图3并再次参考图2，在第一次计算之后，生成曲线图32，该曲线图32使用识别可能道路边缘的地理位置来表示第一似然性，并表示参考图2定义的各种对象的地理位置的似然性的第95百分位概率。道路边缘的第一似然性是根据道路的航空图像来计算的，道路的中心线垂直于中心线移动(详见图6)，并且用图像梯度重叠。
在曲线图32中，第一峰值34呈现代表道路16的真实边缘的第二对象30的第95百分位概率。第二峰值36呈现代表道路16的真实边缘的第三对象30的第95百分位概率。注意，在该实例中，限定人行道18的边缘的第二峰值36为道路16的真实边缘的概率更大。
参考图4并再次参考图2和图3，为了增强参考图2和图3生成的数据并增加识别道路16的真实边缘的概率，使用车辆遥测数据执行第二计算以识别道路边缘的第二似然性。第二计算生成曲线图38，该曲线图38呈现多个数据点，这些数据点分别表示被识别为数据点40的车辆遥测数据，数据点40是随时间从道路16上行驶的多个车辆收集的。遥测数据点40表示在离散的相继时间段的点，这些点识别车辆“姿态”，每个点对应于车辆航向、车辆纬度、车辆经度和车辆速度。数据点40被分为若干组，包括代表车辆在第一行驶方向44上行驶的第一组42，以及代表车辆在与第一行驶方向44相反的第二行驶方向48上行驶的第二组46。这些组还可以包括显示在人行道18外侧的第三组50和代表道路16外侧的车辆位置的第四组52，例如车道20之一中的车辆位置。
参照图5并再次参照图1至图4，使用诸如第一组42和第二组46的组数据，在沿第一行驶方向44和相反的第二行驶方向48行驶的车辆之间的中点处估计道路中心线54。道路中心线54例如在步骤56中用于识别沿着道路方向的相对边缘，这有助于消除相对边缘之外的数据点，从而允许减少航空图像数据地图24中的数据点。
参照图6并再次参照图1至图5，根据若干方面，道路中心线54可用于按如下方式识别相对的道路边缘。分别分析垂直于道路中心线54的第一数据方向58上的数据和垂直于道路中心线54并与第一数据方向58相反的第二数据方向60上的数据。
参照图7并再次参照图6，曲线图62将图6所示的第一数据方向58上呈现的示例性图像数据识别为距离道路中心线54以0.2m增量的距离64的函数。具有最高幅值的第一数据峰值66表示对应于第一道路边缘12的道路边缘的第95百分位似然性。幅值低于第一数据峰值66的第二数据峰值68表示人行道的外边缘，幅值类似于第二数据峰值68的第三数据峰值70表示人行道的内边缘。
参照图8并再次参照图6和图7，曲线图72将图6所示的第二数据方向60上呈现的示例性图像数据识别为距道路中心线54以0.2m增量的距离74的函数。第三数据峰值76表示对应于第二道路边缘14的道路边缘的第95百分位似然性。幅值大于第三数据峰值76的第四数据峰值78表示人行道18的外边缘，幅值低于第四数据峰值78的第五数据峰值80表示人行道18的内边缘。
参照图9并再次参照图4至图6，基于相对于代表车辆在第一行驶方向44上行驶的第一组42数据点40和第三组50数据点40的道路中心线54在第一数据方向58上计算的第95百分位82来部分地确定限定第一道路边缘12的道路边缘的似然性。类似地，基于相对于表示第二行驶方向48上的车辆行驶的第二组46数据点40和第四组52数据点40的道路中心线54在第二数据方向60上计算的第95百分位峰值84来部分地确定限定第二道路边缘14的道路边缘的似然性。根据若干方面，道路边缘的第一似然性可以进一步使用以下方式中的至少一种来确定：相对于第一组数据点的中心线确定的第一行驶方向上的数据点的第95百分位；基于道路的类型；以及基于报告的车道数量。根据若干方面，道路边缘的第二似然性可以进一步使用以下方式中的至少一种来确定：相对于第二组数据点的中心线确定的第二行驶方向上的数据点的第95百分位；基于道路的类型；以及基于报告的车道数量。
参考图10并再次参考图1至图9，为了确定道路边缘12和14的位置的最终似然性，在最后的方法步骤中，将参考图1至图3和图5至图8确定和识别的图像数据和参考图4和图9确定和识别的遥测数据进行融合。例如，表示第三数据峰值76处的边缘的曲线图72表示人行道边缘30处的道路边缘的第95百分位似然性，以及相对于第二组46数据点40的道路中心线54在第二数据方向60上计算的第95百分位峰值84表示道路边缘86的似然性；在融合步骤88中，使用第三数据峰值76的数据和计算的第95百分位峰值84的组合峰值融合来确定第二道路边缘14的位置的第95百分位似然性。
本公开的用于检测道路边缘的系统和方法具有几个优点。本公开包括基于航空图像分析计算道路边缘地理位置的似然性的方法。本公开还包括基于车辆遥测分析计算道路边缘地理位置的似然性的方法。本公开还包括一种融合航空图像分析数据和车辆遥测数据的方法。本公开的系统和方法最大程度地降低了训练用于检测例如居住区道路的道路边缘的神经网络而进行人工标记的需要。
本公开的描述本质上仅仅是示例性的，并且不脱离本公开精髓的变化均落入本公开的范围。这种变化不应视为脱离本公开的精神和范围。

Claims (10)

1.一种检测道路边缘的系统，包括：
道路边缘的第一似然性，所述道路边缘的第一似然性根据道路的航空图像来计算；
道路边缘的第二似然性，所述道路边缘的第二似然性使用车辆遥测和沿所述道路的遥测点所拟合的概率分布来确定；以及
所述道路边缘的第一似然性和所述道路边缘的第二似然性的融合，用于识别所述道路边缘的最终似然性。
2.根据权利要求1所述的检测道路边缘的系统，包括多个数据点，所述多个数据点表示从所述道路上行驶的多个车辆随时间收集的遥测点。
3.根据权利要求2所述的检测道路边缘的系统，包括配置成多个组的所述多个数据点，所述多个组包括表示车辆在第一行驶方向上行驶的第一组。
4.根据权利要求3所述的用于检测道路边缘的系统，包括配置成多个组的所述多个数据点，所述多个组包括表示车辆在与所述第一行驶方向相反的第二行驶方向上行驶的第二组。
5.根据权利要求4所述的检测道路边缘的系统，其中：
所述道路包括中心线，所述道路边缘的第一似然性通过垂直于所述中心线移动所述中心线并且用图像梯度重叠所述航空图像来计算；并且
所述道路边缘的第一似然性进一步使用以下方式中的至少一种来确定：相对于所述第一组数据点的所述中心线确定的所述第一行驶方向上的数据点的第95百分位；基于所述道路的类型；以及报告的车道数量。
6.根据权利要求5所述的检测道路边缘的系统，其中，所述道路边缘的第二似然性进一步使用以下方式中的至少一种来确定：相对于所述第二组数据点的所述中心线确定的所述第二行驶方向上的数据点的第95百分位；基于所述道路的类型；以及所述报告的车道数量。
7.根据权利要求1所述的检测道路边缘的系统，还包括使用所述道路的航空图像数据生成的航空图像数据地图。
8.根据权利要求7所述的检测道路边缘的系统，还包括多个数据点，所述多个数据点包括限定所述道路边缘的至少一个对象。
9.根据权利要求8所述的检测道路边缘的系统，还包括使用识别所述道路边缘的地理位置呈现所述第一似然性的曲线图。
10.根据权利要求9所述的检测道路边缘的系统，其中，所述曲线图呈现以下至少一项：所述至少一个对象的地理位置的似然性的第95百分位概率；所述道路的类型；以及报告的车道数量。
CN202110346973.0A 2020-07-30 2021-03-31 通过融合航空图像和遥测数据检测道路边缘的系统和方法 Active CN114078335B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/943,673 2020-07-30
US16/943,673 US11380093B2 (en) 2020-07-30 2020-07-30 Detecting road edges by fusing aerial image and telemetry evidences

Publications (2)

Publication Number Publication Date
CN114078335A true CN114078335A (zh) 2022-02-22
CN114078335B CN114078335B (zh) 2024-04-12

Family

ID=79300547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110346973.0A Active CN114078335B (zh) 2020-07-30 2021-03-31 通过融合航空图像和遥测数据检测道路边缘的系统和方法

Country Status (3)

Country Link
US (1) US11380093B2 (zh)
CN (1) CN114078335B (zh)
DE (1) DE102021106557A1 (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101128337A (zh) * 2005-02-21 2008-02-20 罗伯特·博世有限公司 在驾驶员辅助系统中确定对象的似然性的方法
US8155391B1 (en) * 2006-05-02 2012-04-10 Geoeye Solutions, Inc. Semi-automatic extraction of linear features from image data
US20130265424A1 (en) * 2012-04-09 2013-10-10 GM Global Technology Operations LLC Reconfigurable clear path detection system
CN103353989A (zh) * 2013-06-18 2013-10-16 西安电子科技大学 基于先验和融合灰度与纹理特征的sar图像变化检测方法
CN104021536A (zh) * 2014-06-16 2014-09-03 西北工业大学 一种自适应的sar图像和多光谱图像融合方法
CN105184262A (zh) * 2014-06-12 2015-12-23 通用汽车环球科技运作有限责任公司 使用递归自适应学习和验证的道路表面状况检测
CN106778605A (zh) * 2016-12-14 2017-05-31 武汉大学 导航数据辅助下的遥感影像道路网自动提取方法
CN106909903A (zh) * 2017-03-01 2017-06-30 河海大学常州校区 一种基于图像的路径识别方法及系统
CN109271928A (zh) * 2018-09-14 2019-01-25 武汉大学 一种基于矢量路网融合与高分遥感影像验证的道路网自动更新方法
CN110073410A (zh) * 2016-12-15 2019-07-30 Trw有限公司 跟踪场景中的对象的方法
CN110196056A (zh) * 2018-03-29 2019-09-03 文远知行有限公司 用于生成用于自动驾驶车辆导航和决策的道路地图的方法和导航装置
CN110781756A (zh) * 2019-09-29 2020-02-11 北京化工大学 基于遥感图像的城市道路提取方法及装置
CN111062958A (zh) * 2019-11-21 2020-04-24 滁州学院 一种城市道路要素提取方法
CN112084835A (zh) * 2019-06-14 2020-12-15 通用汽车环球科技运作有限责任公司 基于航拍数据和遥测数据生成地图特征
CN115244421A (zh) * 2020-01-06 2022-10-25 高通股份有限公司 使用相机地图和/或雷达信息的对象尺寸估计
CN116266400A (zh) * 2021-12-15 2023-06-20 通用汽车环球科技运作有限责任公司 用于检测交叉口处的道路和车道连接的系统和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3106836B1 (en) * 2015-06-16 2018-06-06 Volvo Car Corporation A unit and method for adjusting a road boundary
US10013610B2 (en) * 2015-10-23 2018-07-03 Nokia Technologies Oy Integration of positional data and overhead images for lane identification
DE102016220308A1 (de) * 2016-10-18 2018-04-19 Continental Automotive Gmbh System und Verfahren zur Erzeugung von digitalen Straßenmodellen aus Luft- oder Satellitenbildern und von Fahrzeugen erfassten Daten
WO2018225446A1 (ja) * 2017-06-09 2018-12-13 株式会社デンソー 地図変化点検出装置
JP7136043B2 (ja) * 2018-08-31 2022-09-13 株式会社デンソー 交差点内の走行軌道データ生成装置及び走行軌道データ生成プログラム
US11030457B2 (en) * 2018-12-17 2021-06-08 Here Global B.V. Lane feature detection in aerial images based on road geometry
US11194847B2 (en) * 2018-12-21 2021-12-07 Here Global B.V. Method, apparatus, and computer program product for building a high definition map from crowd sourced data
US11531348B2 (en) * 2018-12-21 2022-12-20 Here Global B.V. Method and apparatus for the detection and labeling of features of an environment through contextual clues
US10929692B2 (en) * 2019-02-06 2021-02-23 Veoneer Us Inc. Lane level position determination
US11654918B2 (en) * 2019-08-06 2023-05-23 GM Global Technology Operations LLC Estimation of road centerline based on vehicle telemetry
US11499833B2 (en) * 2019-09-25 2022-11-15 GM Global Technology Operations LLC Inferring lane boundaries via high speed vehicle telemetry

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101128337A (zh) * 2005-02-21 2008-02-20 罗伯特·博世有限公司 在驾驶员辅助系统中确定对象的似然性的方法
US8155391B1 (en) * 2006-05-02 2012-04-10 Geoeye Solutions, Inc. Semi-automatic extraction of linear features from image data
US20130265424A1 (en) * 2012-04-09 2013-10-10 GM Global Technology Operations LLC Reconfigurable clear path detection system
CN103353989A (zh) * 2013-06-18 2013-10-16 西安电子科技大学 基于先验和融合灰度与纹理特征的sar图像变化检测方法
CN105184262A (zh) * 2014-06-12 2015-12-23 通用汽车环球科技运作有限责任公司 使用递归自适应学习和验证的道路表面状况检测
CN104021536A (zh) * 2014-06-16 2014-09-03 西北工业大学 一种自适应的sar图像和多光谱图像融合方法
CN106778605A (zh) * 2016-12-14 2017-05-31 武汉大学 导航数据辅助下的遥感影像道路网自动提取方法
CN110073410A (zh) * 2016-12-15 2019-07-30 Trw有限公司 跟踪场景中的对象的方法
CN106909903A (zh) * 2017-03-01 2017-06-30 河海大学常州校区 一种基于图像的路径识别方法及系统
CN110196056A (zh) * 2018-03-29 2019-09-03 文远知行有限公司 用于生成用于自动驾驶车辆导航和决策的道路地图的方法和导航装置
CN109271928A (zh) * 2018-09-14 2019-01-25 武汉大学 一种基于矢量路网融合与高分遥感影像验证的道路网自动更新方法
CN112084835A (zh) * 2019-06-14 2020-12-15 通用汽车环球科技运作有限责任公司 基于航拍数据和遥测数据生成地图特征
CN110781756A (zh) * 2019-09-29 2020-02-11 北京化工大学 基于遥感图像的城市道路提取方法及装置
CN111062958A (zh) * 2019-11-21 2020-04-24 滁州学院 一种城市道路要素提取方法
CN115244421A (zh) * 2020-01-06 2022-10-25 高通股份有限公司 使用相机地图和/或雷达信息的对象尺寸估计
CN116266400A (zh) * 2021-12-15 2023-06-20 通用汽车环球科技运作有限责任公司 用于检测交叉口处的道路和车道连接的系统和方法

Also Published As

Publication number Publication date
CN114078335B (zh) 2024-04-12
US11380093B2 (en) 2022-07-05
US20220036069A1 (en) 2022-02-03
DE102021106557A1 (de) 2022-02-03

Similar Documents

Publication Publication Date Title
CN106352867B (zh) 用于确定车辆自身位置的方法和设备
US20210199437A1 (en) Vehicular component control using maps
US10013508B2 (en) Joint probabilistic modeling and inference of intersection structure
CN102208035B (zh) 图像处理系统及位置测量系统
EP3674662A1 (en) Automatic detection and positioning of pole-like objects in 3d
CN112074885A (zh) 车道标志定位
EP3673407A1 (en) Automatic occlusion detection in road network data
US10553117B1 (en) System and method for determining lane occupancy of surrounding vehicles
US20080243378A1 (en) System and method for vehicle navigation and piloting including absolute and relative coordinates
KR101921429B1 (ko) 정밀지도 제작 방법 및 정밀지도 제작 시스템
EP3671278B1 (en) Road surface detection
CN102208013A (zh) 风景匹配参考数据生成系统和位置测量系统
EP3475976B1 (en) Automated vehicle sensor selection based on map data density and navigation feature density
CN112437869A (zh) 行驶车道的走向的确定
CN109632333A (zh) 自动驾驶车辆性能测试方法、装置、设备及可读存储介质
JP6543983B2 (ja) 道路情報生成装置及びプログラム
CN110018503B (zh) 车辆的定位方法及定位系统
CN114078335B (zh) 通过融合航空图像和遥测数据检测道路边缘的系统和方法
CN114631040A (zh) 用于在铁路轨道上自主定位移动车辆的设备和方法
CN117859041A (zh) 用于在泊车空间中支持车辆功能的方法和辅助装置和机动车
Kim et al. Probabilistic smoothing based generation of a reliable lane geometry map with uncertainty of a lane detector
KR102444222B1 (ko) 고정밀 도로지도의 갱신 시스템 및 방법
Kreibich et al. Lane-level matching algorithm based on GNSS, IMU and map data
Ulbrich et al. Extracting path graphs from vehicle trajectories
Kojima et al. High accuracy local map generation method based on precise trajectory from GPS Doppler

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant