CN113343746B - 用于车辆行驶表面上的车道检测的方法和设备 - Google Patents

用于车辆行驶表面上的车道检测的方法和设备 Download PDF

Info

Publication number
CN113343746B
CN113343746B CN202110234178.2A CN202110234178A CN113343746B CN 113343746 B CN113343746 B CN 113343746B CN 202110234178 A CN202110234178 A CN 202110234178A CN 113343746 B CN113343746 B CN 113343746B
Authority
CN
China
Prior art keywords
lane
grid
vehicle
predicted
travel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110234178.2A
Other languages
English (en)
Other versions
CN113343746A (zh
Inventor
N·埃弗拉特塞拉
M·布卢夫施泰因
D·列维
N·加内特
B·E·什洛莫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN113343746A publication Critical patent/CN113343746A/zh
Application granted granted Critical
Publication of CN113343746B publication Critical patent/CN113343746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

描述了一种具有成像传感器的车辆，该成像传感器被布置成监测包括接近车辆的行驶表面的视场(FOV)。检测行驶车道包括：捕获行驶表面的可视区域的FOV图像。经由人工神经网络将FOV图像转换成多个特征图。通过逆透视映射算法将特征图投影到BEV正交网格上。特征图包括行驶车道段和特征嵌入，并且行驶车道段被表示为线段。基于特征嵌入针对多个网格区段来级联线段以形成预测车道。通过特征嵌入来完成级联或聚类。

Description

用于车辆行驶表面上的车道检测的方法和设备
背景技术
车辆，包括采用高级驾驶员辅助系统(ADAS)和自主系统的那些车辆，可以利用与行驶车道的位置有关的信息来通知操作者和/或指导车辆的一个或多个系统的操作控制。车辆控制系统可以受益于与动态定位行驶车道有关的信息，并且可以采用这样的信息作为用于控制诸如制动、转弯和加速的一个或多个系统的输入。
行驶车道的准确检测在自主驾驶中出于多个原因起关键作用，包括提供关于车辆的可用操纵的提示、相对于数字化地图准确地定位车辆以及使得能够自动构建与车辆的准确定位相关联的地图。因此，需要对行驶车道进行精确的三维车道检测和定位。此外，期望能够使用来自成像传感器的信息来快速、准确和精确地检测、监测和响应处于车辆的轨迹中的行驶表面的行驶车道。
发明内容
方法、设备和系统能够提供包括各种车道拓扑的三维数字车道表示，包括但不限于城市情形、分叉口、合并口等，其可被推广到看不见的摄像机和场景。这包括具有成像传感器和控制器的车辆，其中，作为非限制性示例，成像传感器包括摄像机或LiDAR传感器。成像传感器被布置成监测包括接近车辆的行驶表面的视场(FOV)。用于检测接近车辆的行驶车道的方法和相关联的系统被描述，并且包括经由成像传感器来捕获行驶表面的可视区域的FOV图像。经由人工神经网络将FOV图像转换成多个特征图。经由逆透视映射算法将特征图投影到BEV正交网格上，其中BEV正交网格包括表示行驶表面的地面实况的多个网格区段。所述特征图包括在所述BEV正交网格的所述多个网格区段中表示的行驶车道段和特征嵌入，并且所述行驶车道段在所述多个网格区段中表示为线段。基于所述特征嵌入针对所述多个网格区段级联所述线段以在所述BEV正交网格中形成预测车道。通过特征嵌入来完成级联或聚类。每个网格区段的特征嵌入与向量相关联，所述向量被学习为使得属于同一车道的向量被嵌入在嵌入空间中的附近，并且属于不同车道的向量被嵌入在嵌入空间中的远处。可以对这些向量应用聚类以实现不同车道的分离。
基于BEV正交网格中的预测车道来控制车辆的操作。这可以包括，例如，控制车辆的操作、控制车辆的导航和路线规划、将预测车道传送到邻近车辆、以及基于其更新车载地图数据和/或车辆外地图数据。基于预测车道控制车辆的操作包括：经由高级驾驶员辅助系统控制推进系统、转向系统或制动系统中的一个。
本公开的一个方面包括将线段中的每个参数化为相对于网格区段的中心点限定的法向向量，法向向量由相对于网格区段的中心点的幅度、方向和高度限定。
本公开的另一方面包括将行驶车道段表示为多个网格区段中的直线段，并且其中每个预测车道包括多个网格区段中的相邻网格区段中的直线段的级联集合。
本公开的另一方面包括在多个网格区段中将行驶车道段表示为非线性线段，并且其中每个预测车道包括多个网格区段中的相邻网格区段中的非线性线段的级联集合。
本公开的另一方面包括通过聚类特征嵌入来级联多个网格区段的行驶车道段以实现各个行驶车道的分离。
本公开的另一方面包括捕获可视区域的视场(FOV)图像，该可视区域包括车辆前方的行驶表面。
本申请还可包括下列技术方案。
1. 一种用于检测车辆附近的行驶车道的方法，所述方法包括：
经由成像传感器捕获包括行驶表面的可视区域的视场(FOV)图像；
经由人工神经网络将所述FOV图像转换成多个特征图；
经由逆透视映射例程将所述多个特征图投影到鸟瞰图(BEV)正交网格，其中，所述BEV正交网格包括表示所述行驶表面的地面实况的多个网格区段，其中，所述特征图包括所述BEV正交网格的所述多个网格区段中的行驶车道段和特征嵌入；
基于所述特征嵌入来级联所述多个网格区段的所述行驶车道段以在所述BEV正交网格中形成预测车道，其中所述预测车道与接近所述车辆的所述行驶车道相关联；以及
基于预测车道来控制车辆的操作。
2. 根据方案1所述的方法，其中，级联所述行驶车道段包括：将包含在所述网格区段的相邻区段中的行驶车道段连接在一起。
3. 根据方案1所述的方法，其中，所述行驶车道段被表示为所述多个网格区段中的直线段，并且其中所述预测车道中的每个预测车道包括所述多个网格区段中的相邻网格区段中的直线段的级联集合。
4. 根据方案1所述的方法，其中，所述行驶车道段被表示为所述多个网格区段中的非线性线段，并且其中所述预测车道中的每个预测车道包括所述多个网格区段中的相邻网格区段中的非线性线段的级联集合。
5. 根据方案1所述的方法，其中，级联所述多个网格区段的所述行驶车道段包括：聚类所述特征嵌入以实现单独行驶车道的分离。
6. 根据方案1所述的方法，其中，所述行驶车道段中的每个被参数化为相对于所述网格区段的中心点限定的法向向量，所述法向向量由相对于所述网格区段的中心点的幅度、方向和高度限定。
7. 根据方案1所述的方法，其中，基于所述预测车道来控制所述车辆的操作包括：经由高级驾驶员辅助系统来控制推进系统、转向系统或制动系统中的一个。
8. 根据方案1所述的方法，其中，基于所述预测车道来控制所述车辆的操作包括：基于所述预测车道来更新车载地图。
9. 根据方案1所述的方法，其中，基于所述预测车道来控制所述车辆的操作包括：基于所述预测车道来控制车载导航系统。
10. 根据方案1所述的方法，其中，捕获包括所述行驶表面的可视区域的视场(FOV)图像包括：捕获包括在所述车辆前方的行驶表面的可视区域的视场(FOV)图像。
11. 一种用于检测车辆前方的行驶车道的方法，所述方法包括：
经由成像传感器捕获所述车辆前方的可视区域的视场(FOV)图像；
经由人工神经网络将所述FOV图像转换成多个特征图；
经由逆透视映射算法将所述FOV图像投影到鸟瞰图(BEV)正交网格，其中，所述BEV正交网格包括表示地面实况的多个网格区段；其中所述特征图包括在所述BEV正交网格的所述多个网格区段中的行驶车道段和特征嵌入，并且其中所述行驶车道段被表示为所述多个网格区段中的线段；
基于所述特征嵌入来级联所述多个网格区段的所述行驶车道段，以在所述BEV正交网格中形成多个三维预测车道，其中，所述三维预测车道与接近所述车辆的所述行驶车道相关联；以及
采用所预测的车道来控制所述车辆的操作。
12. 根据方案11所述的方法，其中，采用所述三维预测车道来控制所述车辆的操作包括：采用所述三维预测车道来构建局部地图。
13. 根据方案11所述的方法，其中，采用所述三维预测车道来控制所述车辆的操作包括：采用所述三维预测车道来控制所述车辆的操作。
14. 根据方案13所述的方法，其中，所述车辆包括操作性地连接到推进系统、转向系统或制动系统的高级驾驶员辅助系统；并且其中采用所述三维预测车道来控制所述车辆的操作包括：采用所述三维预测车道来控制所述车辆的所述高级驾驶员辅助系统的操作。
15. 根据方案11所述的方法，其中，采用所述三维预测车道来控制所述车辆的操作包括：基于所述三维预测车道来更新车载地图。
16. 根据方案11所述的方法，其中，采用所述三维预测车道来控制所述车辆的操作包括：基于所述三维预测车道来控制车载导航系统。
17. 根据方案11所述的方法，其中，所述行驶车道段被表示为所述多个网格区段中的非线性线段，并且其中所述三维预测车道中的每个三维预测车道包括所述多个网格区段中的相邻网格区段中的所述非线性线段的级联集合。
18. 根据方案11所述的方法，其中，基于所述特征嵌入级联所述多个网格区段的所述行驶车道段包括：聚类所述特征嵌入以实现单独行驶车道的分离。
19. 根据方案11所述的方法，其中，将所述直线段中的每个参数化为相对于所述网格区段的中心点限定的法向向量，所述法向向量由相对于所述网格区段的所述中心点的幅度、方向和高度来限定。
本教导的上述特征和优点以及其他特征和优点从对如所附权利要求中限定的用于实现本教导的一些最佳模式和其他实施例的以下详细描述结合附图将是显而易见的。
附图说明
现在将参考附图通过示例的方式描述一个或多个实施例，其中：
图1示意性地示出了根据本公开的包括空间监测系统的车辆的侧视图，其中车辆被布置在行驶表面上。
图2-1以图形方式示出了根据本公开的包括平面多车道路面的行驶表面的视场(FOV)图像。
图2-2以图形方式示出了根据本公开的包括参考图2-1示出的平面多车道路面的行驶表面的鸟瞰图(BEV)图像。
图2-3以图形方式示出了根据本公开的参考图2-1示出的平面多车道路面的BEV正交网格，包括多个车道边缘的正交映射。
图3以图形方式示出了根据本公开的包括非平面的、弯曲的多车道路面的行驶表面的FOV图像。
图4示意性地示出了根据本公开的用于处理来自车载成像传感器的图像以形成数字地表示车辆行驶表面的一个或多个预测车道的方法。
图5示意性地示出了根据本公开的与示例FOV图像相关联的BEV正交网格的示例，包括正交布置的网格区段的分解图，该正交布置的网格区段包括行驶车道段，该行驶车道段包括车道边缘的部分。
图6示意性地示出了根据本公开的用于处理来自车载成像传感器的图像以形成数字地表示车辆行驶表面的一个或多个预测车道的方法的部分，包括人工神经网络(ANN)层，该人工神经网络(ANN)层包括具有多个卷积层和连接层的ANN分类步骤。
图7示意性地示出了根据本公开的包括多个预测车道的BEV特征图的示例。
图8以图形方式示出了根据本公开的BEV正交网格、表示嵌入特征的对应三维聚类以及示例FOV图像的对应车道。
应当理解，附图不一定是按比例的，并且呈现了如本文所公开的本公开的各种优选特征的稍微简化的表示，包括例如特定尺寸、取向、位置和形状。与这些特征相关的细节将部分地由特定的预期应用和使用环境来确定。
具体实施方式
如本文所描述和示出的，所公开的实施例的部件可以以各种不同的配置被布置和设计。因此，以下详细描述不旨在限制所要求保护的本公开的范围，而仅仅是其可能的实施例的代表。另外，虽然在以下描述中阐述了许多具体细节以便提供对本文所公开的实施例的透彻理解，但是可以在没有这些细节中的一些的情况下实践一些实施例。此外，为了清楚起见，没有详细描述在相关技术中理解的某些技术材料，以避免不必要地模糊本公开。此外，附图是简化形式的，并且没有精确地按比例绘制。为了方便和清楚起见，方向术语，例如顶部、底部、左、右、上、上方、下方、后面和前面，可以相对于附图使用。这些和类似的方向术语不应被解释为限制本公开的范围。此外，如本文所说明和描述的本公开内容可以在不存在本文未具体公开的元素的情况下实践。如本文所使用的，术语“系统”可以指机械和电气硬件、传感器、控制器、专用集成电路(ASIC)、组合逻辑电路、软件、固件和/或被布置为提供所描述的功能的其他部件中的一个或组合。
本文描述的概念提供了允许从BEV视角学习一般三维(3D)车道段的车道表示。这给出了车道预测的可解释的中间表示，使用低分辨率BEV网格高效且准确地预测高分辨率车道曲线，即使在新的、未见的场景上也实现了鲁棒的车道预测，并且允许通过特征嵌入以可学习的方式对整个车道曲线进行端到端预测。这还允许与诸如LiDAR和可以被表示为占用网格的自由空间的其他模态和任务的更好融合。除了上述段的顶视图表示之外，每个网格区段还输出相对于地平面的段高度。这得到以3D表示的车道点，即(x，y，z)车道点位置，以及通过该点的车道段的取向。
参考附图，其中在所有的几幅图中相同的附图标记对应于相同或相似的部件，根据本文公开的实施例的图1示意性地示出了设置在行驶表面10上的车辆100，其中车辆100包括推进系统15、转向系统16、车轮制动系统17、高级驾驶员辅助系统(ADAS) 20、空间监测系统30和导航系统40。示出了车辆100的侧视图。车辆100设置在行驶表面10（例如铺砌路面）上并能够横穿该行驶表面。
行驶表面10可以被配置为单行驶车道、双车道高速公路、多车道分开的高速公路，并且可以包括入口坡道、出口坡道、分叉口、合并口、交叉口、环形路等，而没有限制。车辆100和行驶表面10限定了三维坐标系，该三维坐标系包括纵轴或y轴11、横轴或x轴12以及方位轴或z轴13。纵轴11被限定为等同于车辆100在行驶表面10上的行驶方向。横轴12被限定为与车辆10在行驶表面10上的行驶方向正交。方位轴13被限定为与由纵轴11和横轴12限定的平面正交，即，在车辆100的当前位置处垂直于行驶表面10突出。作为非限制性示例，其它车载系统可以包括具有数字化道路地图的计算机可读存储装置或介质(存储器)、远程信息处理系统60、全球导航卫星系统(GNSS)传感器52和人机接口(HMI)装置55。本文描述的概念可以在可以受益于以本文描述的方式从空间监测系统30的实施例确定的信息的各种系统上被采用。车辆10可以包括但不限于以商用车辆、工业车辆、农用车辆、客车、飞机、船只、火车、全地形车、个人移动设备、机器人等形式的移动平台，以实现本公开的目的。
在一个实施例中并且如本文所述，空间监测系统30包括成像传感器32，其具有包括接近车辆100并在其前方的行驶表面的可视区域34的视场(FOV)，并且与空间监测控制器35通信。替代地或另外，成像传感器32具有包括在车辆100旁边和/或后方的行驶表面10的可视区域34的视场(FOV)。成像传感器32可以是2D数字摄像机、3D数字摄像机或光检测和雷达(LiDAR)装置。成像传感器32具有可以被表征的车载位置和取向，包括相对于方位轴13限定的高度36和角度/>37。可以使用一个或多个成像传感器32。本文描述的概念可以在可以受益于从空间监测系统30的实施例确定的信息的各种系统上被使用。当与来自GNSS传感器52的信息结合使用时，空间监测控制器30确定在车辆100的可视区域34中的对象的地理空间位置。空间监测系统30可以包括被布置成监测车辆100前方的可视区域34的其他空间传感器和系统，包括例如环绕视图摄像机或雷达传感器，其可以被用来替代、补充或增补由成像传感器32生成的空间信息。每个空间传感器被布置在车辆上以监测可视区域34，从而检测邻近的远程对象，例如道路特征、车道标记、建筑物、行人、道路标志、交通控制灯和标志、其他车辆以及车辆100附近的地理特征。空间监测控制器35可以评估来自空间传感器的输入，以确定鉴于每个邻近远程对象的车辆100的线性范围、相对速度和轨迹。空间传感器可以位于车辆100上的各种位置，包括前角、后角、后侧和中侧。在一个实施例中，空间传感器可以包括前雷达传感器和摄像机，但是本公开不限于此。空间传感器的放置允许空间监测控制器35监测交通流量，包括附近的车辆、十字路口、车道标志和车辆100周围的其他对象。如本文所使用的，术语“接近”、“邻近”和相关术语是指在车辆100附近的静止和移动的对象，使得它们可由连接到包括空间监测系统30的空间监测控制器35的空间传感器中的一个或多个辨别。
远程信息处理系统60提供车辆外通信，包括与可包括无线和有线通信能力的通信网络系统通信。远程信息处理系统60包括远程信息处理控制器，其能够进行包括车辆到所有物(V2X)通信的车辆外通信。V2X通信包括短距离车辆到车辆(V2V)通信，以及与一个或多个路边单元的通信，因此促进了多个类似位置的车辆之间的本地化通信。替代地或附加地，远程信息处理系统60能够与手持装置(例如，蜂窝电话、卫星电话或另一电话装置)进行短距离无线通信。在一个实施例中，手持装置装载有包括无线协议的软件应用程序，以与远程信息处理控制器通信，并且手持装置执行车辆外通信，包括经由通信网络与车辆外控制器通信。替代地或附加地，远程信息处理系统60通过经由通信网络与车辆外控制器通信来直接执行车辆外通信。
ADAS 20被设置为通过控制推进系统15、转向系统16、制动系统17中的一个或多个来提供操作者辅助特征，而几乎没有或没有车辆操作者的直接交互。ADAS 20包括控制器和提供操作者辅助特征的一个或多个子系统，包括自适应巡航控制(ACC)系统、车道保持控制(LKY)系统、车道变换控制(LCC)系统、自主制动/防撞系统和/或被配置为独立于或结合操作者请求来命令和控制自主车辆操作的其他系统中的一个或多个。ADAS 20可以与车载地图数据库交互并访问来自车载地图数据库的信息，以用于路线规划并经由车道保持系统、车道对中系统和/或被配置为命令和控制自主车辆操作的其他系统来控制车辆100的操作。可产生自主操作命令以控制ACC系统、LKY系统、LCC系统、自主制动/防撞系统和/或其它系统。车辆操作包括响应于期望命令以推进模式操作，期望命令可以包括操作者请求和/或自主车辆请求。包括自主车辆操作的车辆操作包括加速、制动、转向、稳态行驶、滑行和空转。操作者请求可基于操作者对加速器踏板、制动器踏板、方向盘、变速器挡位选择器、ACC系统等的输入而产生。
术语“控制器”和相关术语，例如微控制器、控制单元、处理器和类似术语，是指专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、中央处理单元(例如微处理器)和存储器和存储装置(只读、可编程只读、随机存取、硬盘驱动器等)形式的相关非临时性存储器部件中的一个或各种组合。非暂时性存储器部件能够以一个或多个软件或固件程序或例程、组合逻辑电路、输入/输出电路和装置、信号调节、缓冲和其他部件的形式存储机器可读指令，其可以由一个或多个处理器访问和执行以提供所描述的功能。输入/输出电路和装置包括模拟/数字转换器和监测来自传感器的输入的相关装置，其中这样的输入以预设的采样频率或响应于触发事件而被监测。软件、固件、程序、指令、控制例程、代码、算法和类似术语是指包括校准和查找表的控制器可执行的指令集。每个控制器执行控制例程以提供期望的功能。可以以规则的间隔执行例程，例如在正在进行的操作期间每100微秒执行一次例程。可替代地，可以响应于触发事件的发生来执行例程。控制器、致动器和/或传感器之间的通信可以使用直接有线点对点链路、联网通信总线链路、无线链路或另一合适的通信链路来实现。通信包括以适当形式交换数据信号，包括例如经由导电介质的电信号、经由空气的电磁信号、经由光波导的光信号等。数据信号可以包括离散的、模拟的或数字化的模拟信号，其表示来自传感器的输入、致动器命令以及控制器之间的通信。术语“信号”是指传达信息的物理上可辨别的指示器，并且可以是能够通过介质行进的合适波形(例如，电、光、磁、机械或电磁)，诸如DC、AC、正弦波、三角波、方波、振动等。参数被限定为表示使用一个或多个传感器和/或物理模型可辨别的装置或其他元件的物理属性的可测量量。参数可以具有离散值，例如“1”或“0”，或者可以是值无限可变的。
图2-1以图形方式示出了可视区域34的FOV图像200，其已经从在x和y维度上为平面的多车道路面210上行进的图1的车辆100的实施例的成像传感器32的实施例捕获。指示实际车道边缘212、214、216、218及220以及检测到的车道边缘222、224、226、228及230。
图2-2以图形方式示出了通过对图2-1的可视区域34的FOV图像200执行逆透视映射而生成的鸟瞰图(BEV)图像240。
图2-3以图形方式示出实际车道边缘的正交映射250，其中线252、254、256、258和260分别表示图2-1中所示的并且从图2-2中所示的BEV图像240导出的检测到的车道边缘222、224、226、228和230。因为多车道路面210在x和y维度上是平坦的，所以检测到的车道边缘222、224、226、228和230相对于实际车道边缘212、214、216、218和220的正交映射没有变形。
图3以图形方式示出了可视区域34的FOV图像300，其已经从在多车道路面310上行驶的图1的车辆100的实施例的成像传感器32的实施例捕获，其中多车道路面310包括高度变化和/或是弯曲的，即在x维度和y维度中的任一个或两个上变化。分别指示实际车道边缘322、324、326和328以及检测到的车道边缘312、314、316和318。该结果指示检测到的车道边缘312、314、316、318的至少一部分分别相对于实际车道边缘322、324、326、328失真。实际车道边缘322、324、326和328表示地面实况。假定平面的透视映射使车道在其出现在图像上时变形。当车道不在平面上时，变形感知投影可用于推断3D透视图并预测3D中的车道位置。
现在参考图4等并且继续参考图1，描述了车道检测方法400，其用于处理来自车辆100的车载成像传感器32的FOV图像33，以形成数字地表示接近车辆100的行驶表面10的一个或多个预测车道。预测车道可用于车辆控制、地图绘制和其它目的。车道检测方法400包括用于处理由车载成像传感器32捕获的FOV图像33的概念、框架、方法和算法。成像传感器32被布置成监测包括接近车辆100的行驶表面10的可视区域34并且周期性地捕获FOV图像33。检测接近车辆100的行进车道包括：经由成像传感器32捕获车辆100前方的行驶表面10的FOV图像33，并且经由人工神经网络将FOV图像33转换成与行驶表面10相关联的多个特征图。特征图经由逆透视映射算法被投影到BEV正交网格，其中BEV正交网格包括表示地面实况的多个网格区段。参考图5示出了BEV正交网格的示例。在一个实施例中，特征图包括在BEV正交网格的多个网格区段中表示的行驶车道段，并且行驶车道段在多个网格区段中被表示为直线段。可替代地，所述行驶车道段可表示为所述多个网格区段中的另一参数函数，例如通过二次多项式方程实现。每个直线段可以被参数化为相对于正交网格区段的中心点限定的法向向量，其中法向向量由相对于正交网格区段的中心点的幅度、方向和高度限定。针对所述多个正交网格区段，将所述直线段级联以形成所述BEV正交网格中的一个或多个预测车道，其中级联是经由学习特征嵌入来完成的。级联线段包括将在正交网格区段中的相邻区段中识别的车道段边缘连接在一起。基于BEV正交网格中的预测车道来控制车辆100的操作。这可以包括，例如控制车辆100的操作、控制车辆100的导航和路线规划、将预测车道传送到邻近车辆、基于其更新车载地图数据和/或车辆外地图数据、以及基于其生成新地图。
再次参考图4，在一个实施例中，车道检测方法400被布置为骨干架构，其包括人工神经网络(ANN)训练阶段410和利用ANN 460从图像提取BEV特征图的ANN推断阶段450。ANN推断阶段450包括识别BEV特征图的正交网格区段中的直线段。这些直线段被级联以形成BEV正交网格中的车道边缘。
ANN训练阶段410包括经由训练人工神经网络420将多个训练图像415中的每个转换成多个特征图430，并且经由逆透视映射算法将多个特征图430投影到在地面实况的上下文中限定的对应BEV正交网格上。逆透视映射算法的实现和执行是可以理解的，在此不作详细描述。
特征图430包括第一特征图431，其包含BEV正交网格的每个网格区段的段分数。
特征图430包括第二特征图432，其对于BEV正交网格的每个网格区段包含正交线的幅度(长度)，例如图5中所示的正交线515相对于中心点512的偏移幅度517。
特征图430包括第三特征图433，其对于BEV正交网格的每个网格区段包含正交线的取向(角度)，例如图5中所示的正交线515相对于x轴11的角度516。
特征图430包括第四特征图434，其对于BEV正交网格的每个网格区段包含行驶车道段的高度(z轴高度)，例如图5中所示的行驶车道段520的高度。
特征图430包括第五特征图435，其对于BEV正交网格的每个网格区段包含指示行驶车道段的边缘通过相应正交网格区段的可能性的概率值。训练特征嵌入，使得来自相同车道段的网格区段具有紧密地定位在嵌入空间中的特征，并且远离属于嵌入空间中的另一车道的网格区段的特征。这将参考图8进行描述。
训练图像415和特征图430可以用于训练人工神经网络420，其生成被传送到ANN推断阶段450的多个系数425。在一个实施例中，图像分析过程可以基于包括手工特征分析方法的图像处理，该手工特征分析方法可以包括：手动提取特征，然后基于机器学习单独地训练分类器。可替代地或附加地，可以采用深度学习方法来通过人工神经网络(例如，训练人工神经网络420)的多个层来统一特征提取过程和分类步骤。在人工神经网络训练过程的执行期间，可以学习人工神经网络的系数425，然后将FOV图像33实时地馈送到以ANN推断阶段450的形式的经训练的人工神经网络中。离线训练和在线分析基于常见的方法，该方法包括训练以学习未知参数，其中执行在线分析以将图像馈送到参数学习方法中以用于分类。
图5示意性地示出了与示例FOV图像33相关联的BEV正交网格500的示例，并且示出了针对每个网格区段510学习的特征。BEV正交网格500表示车辆100前方的视场，并且分别包括由第一车道边缘501、第二车道边缘503和第三车道边缘505描绘的第一预测车道502和第二预测车道504。BEV正交网格500包括表示地面实况的多个正交布置的网格区段510，其可相对于x轴12及y轴11而界定。每个FOV图像33被评估以提取包括由车道标志、油漆线等指示的行驶车道区段的信息，其可指示车道边缘中的一个，例如，用于形成第一和第二预测车道502、504的第一、第二和第三车道边缘501、503和505中的一个。第一、第二和第三巷道边缘501、503和505的区段被捕获在网格区段510中的对应网格区段中。
以分解图示出了由附图标记510’表示的正交布置的网格区段510中的一个，并且该网格区段包括行驶车道段520，该行驶车道段是如图所示的第三车道边缘505的一部分。正交网格区段510’包括中心点512，并且行驶车道段520被表示为直线段。从中心点512到行驶车道段520指示了正交线515。正交线515是与行驶车道段520正交且包括中心点512的线段。正交线515可以包括这样的特征，其包括相对于x轴12的角度516和相对于中心点512的偏移了幅度517。行驶车道段520可包括包含相对于车辆100的z轴高度的z轴高度518的特征。行驶车道段520还可包括包含参数519的特征，该参数指示行驶车道中的一者通过相应的网格部分510’的概率。可以在多个特征图中捕获前述特征。
针对车道检测和定位任务部署一般曲线表示，采用双车道架构来将输入图像处理为鸟瞰视图(BEV)表示，其中BEV网格被划分成粗网格区段，并且穿过这些网格区段的每个车道段的参数被回归。
这种表示既紧凑又允许实时计算，还通过回归每个网格区段中的精确车道位置来产生精确的车道定位。此外，从不同车道拓扑和几何结构看不到摄像机和场景是鲁棒的。通过使用BEV实现摄像机鲁棒性，BEV使摄像机固有和外在数据标准化，并且当在不同网格区段上彼此独立地学习车道段时实现对不同拓扑和几何结构的鲁棒性。这增加了训练集的大小，因为批次大小是基于车道段的数量确定的。在极端情况下，将车道检测任务作为语义分段在该意义上更鲁棒，然而，在更大的网格区段上工作实现了更快的计算和对车道线的高水平理解。这样，BEV正交网格500的正交布置的网格区段510中的每个可以由以下来表征：中心点；线性行驶车道段；在所述线性行驶车道段与所述中心点之间的正交线，其中所述正交线具有角度和偏移幅度的特征；z轴高度；以及行驶车道段从其通过的概率。
再次参考图4，ANN推断阶段450包括经由ANN 460将每个FOV图像33转换为多个BEV特征图470，其经由逆透视映射例程被投影到BEV正交网格500上，参考图5示出了其示例。
ANN推断阶段450采用ANN 460和多个系数425，以通过经由逆透视映射例程将多个特征图投影到BEV正交网格上来从FOV图像33中提取BEV特征图470。解释BEV特征图的BEV正交网格的网格区段以配置直线段(471)，对直线段进行聚类和级联(472)以经由学习特征在BEV正交网格中形成预测车道475。参考图5示意性地示出了包括多个预测车道502、504的BEV特征图500的示例。
图8以图形方式示出了BEV正交网格800，其类似于参考图5所示的BEV正交网格500。BEV正交网格800包括表示地面实况的多个正交布置的网格区段。每个网格区段包括特征向量，其在第三维中表示。参考图4的ANN训练阶段410图示和描述了学习过程的一个元素。与BEV正交网格800相关联的特征向量分别表示为聚类811、812、813和814，并且聚类811、812、813和814分别平移到示例FOV图像820的车道821、822、823和824。
级联多个正交网格区段的行驶车道段包括聚类特征嵌入以实现各个行驶车道的分离。学习过程将属于同一车道的网格区段的向量引导为在嵌入空间中是近端/接近的，并且将属于不同车道的网格区段的向量引导为在嵌入空间中是远端的。这正是由三维元素810的聚类811、812、813和814所图示的，其图示了三个主成分，其经历诸如图块特征向量的主成分分析(PCA)的线性分解。主成分分析(PCA)是一种统计过程，其使用正交变换来将一组可能相关的变量的观察值转换成一组被称为主成分的线性不相关变量的值。在一个实施例中，特征向量维度是16，并且是设计选择。示出了三个主成分。
FOV图像820还示出分别投影到车道821、822、823和824上的聚类811、812、813和814。聚类算法可以应用于嵌入，其中聚类是涉及数据点分组的机器学习技术。给定一组数据点，聚类算法将每个数据点分类到特定组中。聚类，即，级联要求网格区段是邻近的，但不一定彼此相邻。因此，可以通过分别从车道821、822、823和824开发对应的聚类811、812、813和814来导出特征向量。
在一个实施例中，图像分析过程可以基于包括手工特征分析方法的图像处理，该手工特征分析方法可以包括：手动提取特征，然后基于机器学习单独地训练分类器。可替代地或附加地，可以采用深度学习方法来通过人工神经网络的多个层来统一特征提取过程和分类步骤。在执行人工神经网络训练过程期间，将学习人工神经网络的参数，然后将实时图像实时馈送到训练的人工神经网络中。离线训练和在线分析基于常见的方法，该方法包括训练以学习未知参数，其中执行在线分析以将图像馈送到参数学习方法中以用于分类。
参考图4描述的从ANN推断阶段450输出的预测车道475可被传送到车辆控制器50，其可采用预测车道475来产生警告或建议信息，或用于与加速、制动和转弯相关的车辆动态控制。预测车道475还可以经由人机接口(HMI)装置55被传送到车辆操作者。
预测车道475也可被传送到远程信息处理系统60，用于短距离车辆到车辆(V2V)通信、到智能高速公路系统的通信或到另一车辆外系统的通信。
当在具有自主功能的车辆100的实施例上实施时，来自预测车道475的结果可以由ADAS 20用来自主地致动车辆制动。此外，ADAS 20可以采用来自ANN推断阶段450的预测车道475来自主地致动牵引控制系统，以减轻车辆制动器上形成的凝结。此外，预测车道475可以经由远程信息处理系统60被传送到其他车辆。此外，预测车道475可以由ADAS 20和HMI装置55采用以警告驾驶员。
图6示意性地示出了车道检测方法650的实施例，类似于参考图4描述的车道检测方法400。车道检测方法650被描述为用于处理BEV图像633，该BEV图像源自于来自车辆100的车载成像传感器32的FOV图像。车道检测方法650设计用于三维的一般车道检测和定位，以及预测每个车道点位置不确定性。系统的输入是来自前置成像装置的单个FOV图像，其采用图4中所示的ANN架构。每个图像通过编码器，其中使用逆透视映射将特征图投影到鸟瞰视图(BEV)透视图以形成BEV图像633 (由632指示)。车道检测方法650的输出是粗分辨率的俯视图特征图，其是全分辨率BEV图像的缩小版本。粗略特征图中的每个像素被称为网格区段，并且具有以米为单位的真实世界尺寸。
双车道架构使用编码器和逆透视映射来将特征图投影到真实世界维度中的BEV。该网络包括两个主处理流水线，一个在FOV图像视图中，另一个在BEV中。图像视图编码器由残差网络(resnet)块C1-C5 660组成，其中每个resnet块乘以其前一块的信道数量。BEV骨干包括投影图像视图特征图，并且将每个投影图像特征图与来自前一块的卷积特征图级联。最终BEV特征图是车道预测头部的输入(670)。车道检测方法650将通过BEV网格区段中的一者的车道段近似为具有可回归参数的直线。回归的参数是相对于网格中心点的段的偏移(在xy平面中)、角度和高度(z偏移)，并且是级联的。参考图7示意性地示出了包括多个预测车道712、714、716和718的BEV特征图700的示例。
段偏移预测包括如下。对于每个网格区段，找到落入相应网格区段内的车道点。将通过这些点的直线参数化，并且提取其与网格区段中心的距离。该距离是所述段的与网格区段中心的法线的幅度||Nxy||，并且其将被表示为r。相对于与特征图相关联的BEV平面计算高度偏移Δz，其是图像传感器的俯仰角和高度的函数。当相对于摄像机安装高度h cam 和取向θ cam 输出车道高度时，该特征使得系统能够对不同的摄像机具有鲁棒性。偏移预测的损失如下：
其中ˆ表示估计的属性。
段取向预测包括如下。由于连续角度的循环特性，简单地回归角度值并非微不足道。角度预测的另一个挑战性特性是角度分布通常是多峰的事实。角度估计方法的范围从回归角度的sin和cos到将问题转化为分类问题[3]。由于角度的多峰特性，采用了分类框架，其中角度θ seg 被分类到以为中心的四个仓中的一者中，并且相对于所选择的仓中心回归以偏移。使用软多标签目标来优化角度仓估计，并且将地面实况计算为段与α仓中心的角度接近度，例如，对于/>，地面实况类概率向量将是/>，并且对于，概率向量将是/>。计算地面实况角和仓中心之间的偏移/>。角度偏移不仅在地面实况角度仓上而且在与其相邻的仓上被监督。这确保了即使错误地预测了仓类，偏移差也将能够固定它。角度损失是分类和偏移回归损失的总和，其如下确定：
其中是S形函数，并且mα是指示函数，其仅掩蔽相关的仓以学习为其设置的偏移。
图块分数预测：
除了偏移和取向之外，每个网格区段还输出车道通过该网格区段的概率。该属性的损失是二元交叉熵损失，如下：
其中表示该网格区段是否是背景网格区段，而/>是/>的网络估算值。
最终网格区段损失是BEV网格中所有网格区段的总和，并且可以如下确定：
其中分别是抽取的BEV网格高度和网格宽度，以及
其中车道网格区段指示符将角度和偏移相乘，因为它们仅在车道网格区段上被监督。
从网格区段到点
为了从每个网格区段中的段分数、偏移和取向的预测到车道点，网格区段分数经受阈值以仅识别车道网格区段。如下所述，将极坐标项和/>转化为笛卡尔坐标，并且通过减去/>并旋转/>来将BEV平面上的点转换到摄像机坐标系。
迄今为止，网格区段表示假定在不同网格区段之间不存在关系，但是空间关系存在于数据中并且通过接收场被并入，并且每个网格区段被独立地学习。然而，仍然需要聚类各个车道网格区段以形成整个车道实体。聚类机制可直接用在车道段上，或者相反地可改为采用另一试探聚类。另一种可能性是使用在属于不同车道的网格区段之间进行区别的学习特征。在一个实施例中，使用区别损失函数，该函数在嵌入空间中将属于同一车道的网格区段的特征拉得更靠近在一起，同时在该空间中将属于不同车道的网格区段的特征彼此推得更远。抽取网格区段上的区别损失需要比在像素级操作时少得多的计算。给定学习的特征，采用简单的均值偏移算法来提取属于各个车道的网格区段。损失可以设置成如下。
其中是拉力，/>是推力。
这些术语被如下确定：
其中：
C是车道的数量，其可以变化；
Nc是属于车道c的网格区段的数量，以及
指示属于车道C的网格区段，使得以下关系是有效的：
损失将距离限制为高达，并且交叉簇距离大于/>。因此，提供了导致准确和鲁棒的车道检测和定位的新车道表示。
本文描述的概念提供了一种用于确定包括弯曲车道的准确的一般3D车道检测的表示的方法。该表示使用位于鸟瞰视图(BEV)网格上的网格区段，在一个实施例中，该鸟瞰视图网格包括在每个网格区段中局部地确定车道在BEV中是线性的。可替代地，车道可以被确定为在BEV中是非线性的，例如，由诸如二次多项式的参数方程表示。这导致导出每个网格区段的紧凑且有效的车道表示。这允许总体上有效的低分辨率表示，其保留了车道表示的精细分辨率。
流程图中的框图示出了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这点上，框图中的每个框可以表示代码的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。还将注意，框图和/或流程图图示的每个块以及框图和/或流程图图示中的块的组合可以由执行指定功能或动作的基于专用功能硬件的系统或者专用功能硬件和计算机指令的组合来实现。这些计算机程序指令也可以存储在计算机可读介质中，其可以引导计算机或其他可编程数据处理设备以特定方式运行，使得存储在计算机可读介质中的指令产生实现流程图和/或框图的一个或多个框中指定的功能/动作的制品。
详细描述和附图或图片支持和描述本教导，但是本教导的范围仅由权利要求限定。虽然已经详细描述了用于执行本教导的一些最佳模式和其它实施例，但是存在用于实践在所附权利要求中限定的本教导的各种替代设计和实施例。

Claims (19)

1.一种用于检测车辆附近的行驶车道的方法，所述方法包括：
经由成像传感器捕获包括行驶表面的可视区域的视场图像；
经由人工神经网络将所述视场图像转换成多个特征图；
经由逆透视映射例程将所述多个特征图投影到鸟瞰图正交网格，其中，所述鸟瞰图正交网格包括表示所述行驶表面的地面实况的多个网格区段，其中，所述特征图包括所述鸟瞰图正交网格的所述多个网格区段中的行驶车道段和特征嵌入，其中，所述多个网格区段中的每个网格区段包括布置在相应的网格区段的中心点和设置在所述相应的网格区段内的相应的行驶车道段的车道边缘之间的正交线的高度、偏移幅度和角度；
基于所述特征嵌入来级联所述多个网格区段的所述行驶车道段以在所述鸟瞰图正交网格中形成预测车道，其中所述预测车道与接近所述车辆的所述行驶车道相关联；以及
基于预测车道来控制车辆的操作。
2.根据权利要求1所述的方法，其中，级联所述行驶车道段包括：将包含在所述网格区段的相邻区段中的行驶车道段连接在一起。
3.根据权利要求1所述的方法，其中，所述行驶车道段被表示为所述多个网格区段中的直线段，并且其中所述预测车道中的每个预测车道包括所述多个网格区段中的相邻网格区段中的直线段的级联集合。
4.根据权利要求1所述的方法，其中，所述行驶车道段被表示为所述多个网格区段中的非线性车道，并且其中所述预测车道中的每个预测车道包括所述多个网格区段中的相邻网格区段中的非线性车道的级联集合。
5.根据权利要求1所述的方法，其中，级联所述多个网格区段的所述行驶车道段包括：聚类所述特征嵌入以实现单独行驶车道的分离。
6.根据权利要求1所述的方法，其中，所述行驶车道段中的每个被参数化为相对于所述网格区段的中心点限定的法向向量，所述法向向量由相对于所述网格区段的中心点的幅度、方向和高度限定。
7.根据权利要求1所述的方法，其中，基于所述预测车道来控制所述车辆的操作包括：经由高级驾驶员辅助系统来控制推进系统、转向系统或制动系统中的一个。
8.根据权利要求1所述的方法，其中，基于所述预测车道来控制所述车辆的操作包括：基于所述预测车道来更新车载地图。
9.根据权利要求1所述的方法，其中，基于所述预测车道来控制所述车辆的操作包括：基于所述预测车道来控制车载导航系统。
10.根据权利要求1所述的方法，其中，捕获包括所述行驶表面的可视区域的视场图像包括：捕获包括在所述车辆前方的行驶表面的可视区域的视场图像。
11.一种用于检测车辆前方的行驶车道的方法，所述方法包括：
经由成像传感器捕获所述车辆前方的可视区域的视场图像；
经由人工神经网络将所述视场图像转换成多个特征图；
经由逆透视映射算法将所述视场图像投影到鸟瞰图正交网格，其中，所述鸟瞰图正交网格包括表示地面实况的多个网格区段；其中所述特征图包括在所述鸟瞰图正交网格的所述多个网格区段中的行驶车道段和特征嵌入，其中，所述多个网格区段中的每个网格区段包括布置在相应的网格区段的中心点和设置在所述相应的网格区段内的相应的行驶车道段的车道边缘之间的正交线的高度、偏移幅度和角度，并且其中所述行驶车道段被表示为所述多个网格区段中的直线段；
基于所述特征嵌入来级联所述多个网格区段的所述行驶车道段，以在所述鸟瞰图正交网格中形成多个三维预测车道，其中，所述三维预测车道与接近所述车辆的所述行驶车道相关联；以及
采用所预测的车道来控制所述车辆的操作。
12.根据权利要求11所述的方法，其中，采用所述三维预测车道来控制所述车辆的操作包括：采用所述三维预测车道来构建局部地图。
13.根据权利要求11所述的方法，其中，采用所述三维预测车道来控制所述车辆的操作包括：采用所述三维预测车道来控制所述车辆的操作。
14.根据权利要求13所述的方法，其中，所述车辆包括操作性地连接到推进系统、转向系统或制动系统的高级驾驶员辅助系统；并且其中采用所述三维预测车道来控制所述车辆的操作包括：采用所述三维预测车道来控制所述车辆的所述高级驾驶员辅助系统的操作。
15.根据权利要求11所述的方法，其中，采用所述三维预测车道来控制所述车辆的操作包括：基于所述三维预测车道来更新车载地图。
16.根据权利要求11所述的方法，其中，采用所述三维预测车道来控制所述车辆的操作包括：基于所述三维预测车道来控制车载导航系统。
17.根据权利要求11所述的方法，其中，所述行驶车道段被表示为所述多个网格区段中的非线性车道，并且其中所述三维预测车道中的每个三维预测车道包括所述多个网格区段中的相邻网格区段中的所述非线性车道的级联集合。
18.根据权利要求11所述的方法，其中，基于所述特征嵌入级联所述多个网格区段的所述行驶车道段包括：聚类所述特征嵌入以实现单独行驶车道的分离。
19.根据权利要求11所述的方法，其中，将所述直线段中的每个参数化为相对于所述网格区段的中心点限定的法向向量，所述法向向量由相对于所述网格区段的所述中心点的幅度、方向和高度来限定。
CN202110234178.2A 2020-03-03 2021-03-03 用于车辆行驶表面上的车道检测的方法和设备 Active CN113343746B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/807735 2020-03-03
US16/807,735 US11731639B2 (en) 2020-03-03 2020-03-03 Method and apparatus for lane detection on a vehicle travel surface

Publications (2)

Publication Number Publication Date
CN113343746A CN113343746A (zh) 2021-09-03
CN113343746B true CN113343746B (zh) 2024-04-16

Family

ID=77388770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110234178.2A Active CN113343746B (zh) 2020-03-03 2021-03-03 用于车辆行驶表面上的车道检测的方法和设备

Country Status (3)

Country Link
US (1) US11731639B2 (zh)
CN (1) CN113343746B (zh)
DE (1) DE102021102785A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3106659B1 (fr) * 2020-01-23 2023-07-28 Second Bridge Inc Carte numérique pour la navigation
US11390286B2 (en) * 2020-03-04 2022-07-19 GM Global Technology Operations LLC System and process for end to end prediction of lane detection uncertainty
TWI812888B (zh) * 2020-10-14 2023-08-21 財團法人工業技術研究院 影像辨識方法及影像辨識系統
US11657625B2 (en) * 2020-12-18 2023-05-23 Toyota Research Institue, Inc. System and method for determining implicit lane boundaries
JP2022103693A (ja) * 2020-12-28 2022-07-08 京セラドキュメントソリューションズ株式会社 画像認識方法、画像認識装置、および画像認識プログラム
CN113837064B (zh) * 2021-09-22 2023-11-03 广州小鹏自动驾驶科技有限公司 道路识别方法、系统和可读存储介质
CN113715816B (zh) * 2021-09-30 2023-06-30 岚图汽车科技有限公司 车道居中功能控制方法、装置、设备及可读存储介质
CN113936255B (zh) * 2021-10-15 2024-09-03 齐鲁工业大学 一种路口多转向车辆计数方法及系统
CN115937825B (zh) * 2023-01-06 2023-06-20 之江实验室 在线俯仰角估计的bev下鲁棒车道线生成方法及装置
DE102023200571A1 (de) 2023-01-25 2024-07-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erkennung von Linienstrukturen in Bilddaten
CN116343159B (zh) * 2023-05-24 2023-08-01 之江实验室 一种非结构化场景可通行区域检测方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273788A (zh) * 2016-04-06 2017-10-20 半导体元件工业有限责任公司 在车辆中执行车道检测的成像系统与车辆成像系统
CN107767696A (zh) * 2016-08-19 2018-03-06 德韧营运有限责任公司 同时生成多车道地图并在所生成的地图上定位车辆的系统和方法
WO2018225446A1 (ja) * 2017-06-09 2018-12-13 株式会社デンソー 地図変化点検出装置
CN109941286A (zh) * 2017-12-18 2019-06-28 通用汽车环球科技运作有限责任公司 用于评估车辆行驶表面的方法和设备
CN110062871A (zh) * 2016-12-09 2019-07-26 通腾全球信息公司 用于基于视频的定位及映射的方法及系统
KR20190103508A (ko) * 2018-02-12 2019-09-05 경북대학교 산학협력단 차선 검출 방법, 이를 수행하기 위한 장치 및 기록매체

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI600558B (zh) * 2014-04-01 2017-10-01 Dynamic lane detection system and method
EP3306429B1 (en) * 2015-05-28 2019-09-25 Nissan Motor Co., Ltd. Position estimation device and position estimation method
KR102628654B1 (ko) * 2016-11-07 2024-01-24 삼성전자주식회사 차선을 표시하는 방법 및 장치
US10528824B2 (en) * 2017-12-11 2020-01-07 GM Global Technology Operations LLC Artificial neural network for lane feature classification and localization
EP3576010A1 (en) * 2018-05-31 2019-12-04 KPIT Technologies Ltd. System and method for detection of free parking space for a vehicle
CN113785302A (zh) * 2019-04-26 2021-12-10 辉达公司 自主机器应用中的路口姿态检测
US11189007B2 (en) * 2019-12-03 2021-11-30 Imagry (Israel) Ltd Real-time generation of functional road maps

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273788A (zh) * 2016-04-06 2017-10-20 半导体元件工业有限责任公司 在车辆中执行车道检测的成像系统与车辆成像系统
CN107767696A (zh) * 2016-08-19 2018-03-06 德韧营运有限责任公司 同时生成多车道地图并在所生成的地图上定位车辆的系统和方法
CN110062871A (zh) * 2016-12-09 2019-07-26 通腾全球信息公司 用于基于视频的定位及映射的方法及系统
WO2018225446A1 (ja) * 2017-06-09 2018-12-13 株式会社デンソー 地図変化点検出装置
CN109941286A (zh) * 2017-12-18 2019-06-28 通用汽车环球科技运作有限责任公司 用于评估车辆行驶表面的方法和设备
KR20190103508A (ko) * 2018-02-12 2019-09-05 경북대학교 산학협력단 차선 검출 방법, 이를 수행하기 위한 장치 및 기록매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Common bird-view Transformation for Robust Lane Detection;Chunlei Yu1, Tuopu Wen1, Long Chen1,2, Kun Jiang1;《2019 IEEE 9th Annual International Conference on CYBER Technology in Automation, Control, and Intelligent Systems》;摘要、正文第2、3部分，图1-4 *

Also Published As

Publication number Publication date
CN113343746A (zh) 2021-09-03
US20210276574A1 (en) 2021-09-09
US11731639B2 (en) 2023-08-22
DE102021102785A1 (de) 2021-09-09

Similar Documents

Publication Publication Date Title
CN113343746B (zh) 用于车辆行驶表面上的车道检测的方法和设备
US10937178B1 (en) Image-based depth data and bounding boxes
US11748909B2 (en) Image-based depth data and localization
US11351991B2 (en) Prediction based on attributes
US11021148B2 (en) Pedestrian prediction based on attributes
CN112752950B (zh) 修改与地图数据相关联的地图元素
JP7527277B2 (ja) レーダ空間推定
CN113128326B (zh) 具有语义地图和lstm的车辆轨迹预测模型
CN112789481B (zh) 对自上而下场景的轨迹预测
CN112204634B (zh) 驱动包络确定
US10984543B1 (en) Image-based depth data and relative depth data
CN114845913A (zh) 基于物体运动的自顶向下场景预测
EP3948656A1 (en) Pedestrian prediction based on attributes
US11513519B1 (en) Sharing occlusion data
CN113348462A (zh) 具有轨迹验证的碰撞避免系统
JP6800575B2 (ja) 自己の乗り物のドライバを支援する方法およびシステム
CN113015664A (zh) 感知防撞
US9360332B2 (en) Method for determining a course of a traffic lane for a vehicle
CN114072841A (zh) 根据图像使深度精准化
CN112149487A (zh) 一种用于自动驾驶的用于训练神经网络对象检测模型的用于确定锚框的方法
US11577732B2 (en) Methods and systems for tracking a mover's lane over time
CN112540593B (zh) 用于自动驾驶车辆的用于配准点云的方法和装置
US11087147B2 (en) Vehicle lane mapping
US20230150549A1 (en) Hybrid log simulated driving
CN118354950A (zh) 将相对的对象信息编码到节点边缘特征中

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant