CN107767696A - 同时生成多车道地图并在所生成的地图上定位车辆的系统和方法 - Google Patents

同时生成多车道地图并在所生成的地图上定位车辆的系统和方法 Download PDF

Info

Publication number
CN107767696A
CN107767696A CN201710591201.7A CN201710591201A CN107767696A CN 107767696 A CN107767696 A CN 107767696A CN 201710591201 A CN201710591201 A CN 201710591201A CN 107767696 A CN107767696 A CN 107767696A
Authority
CN
China
Prior art keywords
view field
vehicle
main vehicle
field image
lane markings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710591201.7A
Other languages
English (en)
Inventor
黄硕
D·U·西迪奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dura Operating LLC
Original Assignee
Dura Operating LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dura Operating LLC filed Critical Dura Operating LLC
Publication of CN107767696A publication Critical patent/CN107767696A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • G01C21/3822Road feature data, e.g. slope data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)

Abstract

提供了一种同时生成全局车道地图并在所生成的全局车道地图上定位车辆的方法和系统。该系统包括多个图像传感器,该多个图像传感器适用于可操作地从主车辆捕获360度视场图像以检测多个车道标记线。图像传感器包括前置远距摄像头、前置中距摄像头、右侧中距摄像头、左侧中距摄像头和后置中距摄像头。控制器通信耦合至所述多个图像传感器,并且包括包含参考车道标记线的数据库以及处理器。处理器配置成通过将从360度视场图像检测到的车道标记线与数据库的参考车道标记线进行比较来识别所述多个车道标记线,并且配置成将所识别的车道标记线融合到全局车道地图。

Description

同时生成多车道地图并在所生成的地图上定位车辆的系统和 方法
技术领域
本公开大体上涉及一种生成车道地图的系统和方法,更具体地涉及一种同时生成车道地图并定位车辆的系统和方法。
背景技术
本部分的陈述仅提供与本公开相关的背景信息,并可构成或可不构成现有技术。
车载全球定位系统(GPS)导航系统被驾驶员广泛用来确定车辆的位置并且用来提供到选定目的地的视觉方向。GPS导航系统利用接收器接收来自GPS卫星的多个信号,以确定车辆的当前位置。GPS导航系统可基于单位时间内车辆位置的变化计算车辆的方向和速度。GPS导航系统在预先加载的地图上定位车辆并且直观地显示在道路上行驶的车辆的表示、车辆的行进方向以及车辆的速度。GPS导航系统还可包括惯性传感器,惯性传感器可以在从GPS卫星接收足够信号时可能会出现中断的短暂时间段内估计车辆的速度和方向,以确定车辆的位置。当车辆通过隧道、停车场和某些不利的大气条件时,可能会遇到这样的中断。
虽然GPS导航系统能够提供给定道路上的车辆的大概位置,但是GPS导航系统不会提供定位给定道路上的车道内的车辆的足够的保真度。典型的商业GPS导航系统平均精确到15米以内,具有广域增强系统(WAAS)的更现代的GPS导航系统精确到约三(3)米。
虽然大约三(3)米的准确度可足以定位给定道路上的车辆以提供行驶方向,但是仍然需要准确且精确地定位处于一条道路的不同车道内的车辆。利用定位处于特定行驶车道内的车辆的能力,GPS导航系统可提前提供将要改变的车道方向,为即将到来的方向变化做准备,例如从高速公路匝道下道。而且,车辆的先进驾驶员辅助系统(ADAS)可配置成发生以下情况时通知驾驶员:车辆正驶离行驶车道或主车道而驾驶员并未打算如此,例如在变换车道前转向灯未打开时。如果来自GPS卫星的信号长时间中断或缺失,则也需要准确且精确地定位车道内的车辆。
发明内容
提供了一种生成车道地图并定位沿道路行驶的主车辆的方法。该方法包括以下步骤:同时捕获远距前视场图像、中距前视场图像、右视场图像、左视场图像和后视场图像;检测远距前视场图像、中距前视场图像、右视场图像、左视场图像和后视场图像的每一个中的多个车道标记线;用存储在数据库中的参考车道标记线识别多个车道标记线中的每一个;融合所识别的车道标记线以生成具有多个相邻车道的全局车道地图;并且在全局车道地图上定位主车道内的主车辆。右视场图像与中距前视场图像和后视场图像重叠,并且左视场图像与中距前视场图像和后视场图像重叠。
在一个方面,远距前视场图像与中距前视场图像重叠。
在另一个方面,该方法还包括以下步骤:检测左视场图像和右视场图像中足够远离主车辆的多个车道标记线,使得一旦将车道标记线融合以生成全局车道地图,在主车辆的左侧和右侧分别生成至少两条相邻车道。
在另一个方面,该方法还包括以下步骤:捕获主车辆的中距前视场图像、右视场图像、左视场图像和后视场图像中的至少一个的鱼眼视图。
在另一个方面,该方法还包括以下步骤:投影主车辆的行驶路线;推断主车道的向前延伸段;以及如果投影的主车辆行驶路线偏离推断的主车道向前延伸段,则激活驾驶员辅助警告系统。
在另一个方面,数据库中存储的参考车道标记线包括单实线、双实线、虚线、双虚线以及具有平行单实线的虚线。
在另一个方面,该方法还包括以下步骤:如果投影的主车辆行驶路线与黄车道标记线或白实线相交,则激活驾驶员辅助警告系统。
在另一个方面,该方法还包括以下步骤:识别与主车道相邻的车道内的至少一辆远程车辆,并且在全局车道地图上定位至少一辆远程车辆相对于主车辆的位置。
在另一个方面,该方法还包括以下步骤:投影至少一辆远程车辆的行驶路线;将投影的至少一辆远程车辆的行驶路线与投影的主车辆行驶路线进行比较;以及如果投影的至少一辆远程车辆的行驶路线与投影的主车辆行驶路线相交,则激活驾驶员辅助警告系统。
提供另一种生成全局地图并定位行驶中的主车辆的方法。方法包括:从主车辆捕获多个重叠的360度视场图像;检测多个重叠图像中的多个车道标记线;用参考车道标记线识别多个车道标记线中的每一个;根据GPS信号确定主车辆的位置;检测远程车辆相对于主车辆的方向和距离;以及融合所识别的车道标记线、主车辆和远程车辆的位置,以生成具有多条相邻车道的全局车道地图,以及在全局车道地图上将主车道内的主车辆和远程车辆定位在各自车道内。
在另一个方面,该方法还包括以下步骤:获取关于主车辆的状态的信息,包括主车辆的速度、转向角和偏航率;处理关于主车辆的状态的信息以便投影主车辆的行驶路线;推断主车道的前向延伸段;以及如果在主车辆操作者没有进行预定输入的情况下,投影的主车辆行驶路线在预定时间段内偏离了推断的主车道向前延伸段,则激活驾驶员辅助警告系统。
在另一个方面,该方法还包括以下步骤:投影远程车辆的行驶路线;将投影的远程车辆行驶路线与投影的主车辆行驶路线进行比较;以及如果投影的远程车辆行驶路线与投影的主车辆行驶路线相交,则激活驾驶员辅助警告系统。
在另一个方面,从主车辆捕获多个重叠的360度视场图像的步骤包括:从主车辆同时捕获远距前视场图像、中距前视场图像、右视场图像、左视场图像和后视场图像。
在另一个方面,右视场图像与中距前视场图像和后视场图像重叠,并且左视场图像与中距前视场图像和后视场图像重叠。
提供了一种同时生成全局车道地图并在所生成的全局车道地图上定位主车辆的系统。该系统包括多个图像传感器,该多个图像传感器适用于可操作地从主车辆捕获360度视场图像以检测多个车道标记线;和通信耦合至该多个图像传感器的控制器。控制器包括包含参考车道标记线的数据库和处理器。处理器配置成通过将从360度视场图像检测到的车道标记线与数据库中的参考车道标记线进行比较来识别所述多个车道标记线,并将识别的车道标记线融合到具有多个相邻车道的全局车道地图。
在一个方面,该系统进一步包括用于确定主车辆位置的车辆定位器和配置成检测相邻远程车辆相对于主车辆的位置和距离的测距传感器。控制器通信耦合至车辆定位器和测距传感器。控制器还配置成在全局车道地图上定位主车辆和远程车辆。
在另一个方面,该系统还包括选自声纳装置、激光扫描仪、LiDAR和接收器的至少一个设备。
在另一个方面,适用于可操作地捕获360度视场图像的多个图像传感器包括前置远距摄像头、前置中距摄像头、右侧中距摄像头、左侧中距摄像头和后置中距摄像头。
在另一个方面,控制器配置成投影主车辆的行驶路线,推断主车道的向前延伸段,以及如果投影的主车辆行驶路线偏离了推断的主车道向前延伸段,则激活驾驶员辅助警告系统。
在另一个方面,控制器还配置成投影远程车辆的行驶路线,将投影的远程车辆行驶路线与投影的主车辆行驶路线进行比较,以及如果投影的远程车辆行驶路线与投影的主车辆行驶路线相交,则激活驾驶员辅助警告系统。
参照下面的说明和附图,其它方面、实例和优点将变得显而易见。
附图说明
根据以下结合附图对示例性实施例进行的描述,上述和其他方面将变得更显而易见并更容易理解,其中:
图1是同时生成全局车道地图并在所生成的地图上定位主车辆的系统的框图;
图2是具有图1中的系统的示例性车辆的俯视图;
图3是由图1中的系统生成的具有多个车道的全局车道地图的示例性图示;
图4是表示同时生成全局车道地图并且在所生成的地图上定位车辆的方法的流程图。
具体实施方式
以下描述在本质上仅仅是示例性的,并非旨在限制本公开、应用或用途。
图1示出了同时生成全局车道地图11并在所生成的全局车道地图11上定位主车辆的系统10的框图。系统10包括与摄像头14通信耦合的控制器12、测距传感器16、车辆状态传感器18、GPS接收器20和/或V2X(即V2V、V2I等)接收器22。V2X接收器22可为收发器的一个部件。控制器12接收摄像头14、测距传感器16、车辆状态传感器18、GPS接收器20和/或V2X接收器22收集的信息,以生成具有多个车道的全局车道地图11并且在所生成的地图11上将主车辆30和一辆或多辆远程车辆31定位在各自车道内。所生成的全局车道地图11可在人机界面(HMI)24,例如内置显示监视器25上显示。控制器12可编程为投影主车辆30、主车道44和/或远程车辆31的路线,并且如果控制器12确定主车辆30可能存在安全风险,则激活先进驾驶员辅助系统(ADAS)26。ADAS26可包括:激活驾驶员辅助视觉和/或音频警告系统35以提醒驾驶员注意危险、和/或激活车辆系统,例如紧急制动系统33。控制器12还可将关于主车辆30的状态的信息传输至路侧单元(RSU)28或传输至类似配备的车辆。系统10可利用现代车辆中常见的传感器,例如GPS导航系统、声纳测距/停车传感器、和后置/盲点摄像头。
图2示出了配备有图1中的系统10的示例性主车辆30。出于说明性的目的,示出了客运型车辆;然而,在不偏离本公开的范围的情况下,该车辆可为卡车、运动型多用途车、厢式货车、房车或任何其它类型的车辆。主车辆30包括前置远距摄像头32、前置中距摄像头34、右侧中距摄像头36、左侧中距摄像头38和后置中距摄像头40。每个上述摄像头32、34、36、38、40都配置成捕获各自摄像头的视场或可见覆盖区域内的可见光光谱中和/或光谱的非视觉(例如红外)部分中的视觉信息。更具体地说,每个上述摄像头32、34、36、38、40都配置成捕获从印在或涂在公路路面上的标记线反射的光波,例如限定主车辆30目前占用的即时车道或主车道44的车道标记线42a、42b或车道标记线段、或将一个或多个车道47、49、54、56限定至图3中示出的主车道44的右侧和左侧的车道标记线42a、42b、42c、42d、42e、42f。上述摄像头32、34、36、38、40还配置成在各自摄像头32、34、36、38、40的视场46、48、50、52、54范围内捕获对象,例如远程车辆31,和路上对象,例如交通桶或锥(未示出)的图像。
图3示出了五个摄像头32、34、36、38、40所观察到的主车辆30周围的视场46、48、50、52、54的实例。前置远距摄像头32捕获主车辆30的圆弧前部的扩展范围的第一视场46。第一视场46捕获限定主车辆30正行驶的主车道44的车道标记线42a、42b。扩展范围应在主车辆30前方足够远的最小距离处,这样当ADAS26警告操作者/驾驶员有静止对象时,主车辆30的操作者/驾驶员便有足够的时间反应并且进行制动,以便停驶主车辆30。作为非限定性实例,美国国家公路交通安全管理局(NHTSA)出版的2015年8月版“Safety in Numbers”估算出使以70英里/小时的速度在干燥路面上行驶的车辆停车需要长达387英尺。应该认识到,其它因素,如道路条件、天气、制动和轮胎可能会显著影响停车距离。因此,优选将合理的安全系数加至前置远距摄像头32的扩展范围。
相对于位于主车辆30的圆弧前部的远距摄像头32,前置中距摄像头34在中距捕获第二视场48。第二视场48捕获限定主车辆30前方的主车道44的车道标记线42a、42b以及限定紧临主车道44左侧和右侧的车道47、49的成对车道标记线42c、42a和42b、42d。与前置中距摄像头34类似,相对于处于主车辆的圆弧后部的远距摄像头32,后置中距摄像头40在中距捕获第三视场50。第三视场50捕获限定主车辆30后方的主车道44的车道标记线42a、42b以及限定紧邻主车道44左侧和右侧的车道47、49的成对车道标记线42c、42a和42b、42d。右侧中距摄像头36和左侧中距摄像头38分别捕获车辆30的左侧和右侧的圆弧中的第四视场52和第五视场54。第四视场52捕获限定紧邻主车道44左侧的至少两个(2)车道54、47的车道标记线42e、42c、42a。第五视场54捕获限定紧邻主车道44右侧的至少两个(2)车道49、56的车道标记线42b、42d、42f。
第一视场46与第二视场48部分重叠。第二视场48与第四视场52和第五视场54部分重叠。第四视场52和第五视场54与第三视场50部分重叠。为了确保视场46、48、50、52、54重叠,一个或多个中距摄像头34、36、38、40可包括鱼眼镜头,以捕获大约180至190度的宽视场。图像的重叠提高了检测到的车道标记线的确定性。优选右侧中距摄像头36和左侧中距摄像头38捕获具有大约190度的角γ的宽视场,以便捕获车辆30可能具有的任何盲点。
参考图1,摄像头32、34、36、38、40与位于主车辆30上的控制器12通信耦合。控制器12包括处理器58、非暂时性计算机可读存储器60以及数据库62。应该认识到,控制器12可采用包括专用集成电路(ASIC)的模拟和/或数字控制电路,以处理摄像头32、34、36、38、40的输入数据。还应该认识到,ASIC处理器可内置在每个所述摄像头32、34、36、38、40的电路中以处理图像。
存储器60可存储数据库62和处理器58所实现的多个例行程序。存储在数据库62中的信息包括由美国运输部定义的用于向道路使用者传送信息的参考道路标记线。示例性参考道路标记线包括分隔对向交通流的黄线,其中实心黄线表示禁止通行,而黄色虚线表示允许通行。其它示例性标记线包括分隔同向行驶的车道的白线,其中双白线表示禁止变道,单白线表示不鼓励变道,而白虚线表示允许变道。虚线和实线的组合包括单实线、双实线、虚线、双虚线和具有平行单实线的虚线。数据库62还可以包含在道路上可以找到的对象的参考图像,例如机动车辆、基础设施对象和行人。
如果可以,主车辆30上的GPS接收器20从GPS卫星21接收多个GPS信号,以确定主车辆30的经度和纬度以及主车辆30的速度和行驶方向。主车辆30的位置、速度和行驶方向在电子地图上显示,电子地图可预先加载在GPS接收器20上或存储在控制器12的存储器60中。示例性车辆可包括与控制器12通信耦合以确定车辆状态的多个车辆状态传感器18,包括速度传感器18a、转向角传感器18b和惯性测量单元(IMU)18c。存储器60可包含一个或多个例行程序,该例行程序由所述处理器58执行以便基于主车辆30的速度传感器18a、转向角传感器18b和惯性测量单元(IMU)18c收集的信息投影主车辆30的路线。在GPS信号可能暂时受阻的短时间内,这可能是有用的。
主车辆30还包括多个通信耦合至控制器12的测距传感器16。传感器的目的是检测与主车辆30相邻的车道上的对象。每个测距传感器16可包括能够检测对象(例如邻近的远程车辆31)与主车辆30之间的距离和方向的任何测距技术,包括雷达16a、LiDAR 16b、声纳16c等。仅举例来说,主车辆30的四个角的每一个角上均安装有所示的声纳测距传感器16c。参考图3,示为安装在主车辆30的右前角的传感器16c检测包括车辆的前侧和右侧的检测区域内的圆弧中的对象。同样,安装到主车辆30的左前角的传感器16c检测包括车辆的前侧和左侧的覆盖区域内的圆弧中的对象。优选的是,测距传感器16的检测范围足以检测超出一定距离的远程车辆31,该距离至少是主车辆30的右侧和左侧的两条车道的距离。优选的是,前测距传感器的有效检测范围应在主车辆30前方足够远的最小距离处,这样当感知到和/或被告知有静止对象时,主车辆30的操作者/驾驶员便有足够的时间反应并且进行制动,以便停驶主车辆30。
主车辆30可包括通信耦合至控制器12的接收器22。接收器22可包括电路,该电路配置成使用Wi-Fi和/或用于与路侧单元通信的专用短程通信(DSRC)协议来接收信息,例如车道关闭、与施工有关的车道偏移、巷道泥石流、熄火车辆,和/或与类似装备的远程车辆进行通信以便确定这种远程车辆的位置和状态。
图4示出了同时生成具有多条车道的全局车道地图11并在所生成的全局车道地图11上定位主车辆和远程车辆的方法100的流程图。此方法100可以是控制器12的存储器60中包含的例行程序64,并且可由处理器58执行。
方法100从步骤102开始,此时主车辆30正沿着道路行驶。步骤104、110、114、118和120同时开始。当主车辆30正行驶时,方法100可以连续地重复以实时生成全局地图并定位主车辆。
在步骤104,正在行驶的主车辆30上的摄像头14同时捕获主车辆30的远距前视场图像46、中距前视场图像48、后中距视场图像50、左中距视场图像52和右中距视场图像54。左中距视场52捕获足够远离主车辆30的车道标记线以限定紧邻主车辆30左侧的至少两个(2)车道。右中距视场54捕获足够远离主车辆30的车道标记线以限定紧邻主车辆30右侧的至少两个(2)车道。
在步骤106,处理器58分析来自步骤104的视场图像46、48、50、52、54。处理器58首先检测任意车道标记线42以及每个视场图像46、48、50、52、54中的对象。然后处理器58将每个检测到的车道标记线42和对象与存储在数据库62中的参考车道标记线和对象进行比较,以识别车道标记线的类型(例如实线或虚线)、以及对象(例如远程车辆31)。
在步骤110,测距传感器16检测紧邻主车辆30的对象,例如正在与主车辆30的右侧和左侧相邻的车道上行驶的远程车辆31。处理器58基于安装在主车辆30上的测距传感器16的位置来确定被检测对象相对于主车辆30的相对位置和距离。
在步骤112,处理器58将在步骤110中检测到的相邻对象与步骤106中的对应的所识别的对象进行融合。处理器58可以运行存储在存储器60中的例行程序以连续监视对象的位置和对象与主车辆30的距离。
在步骤114,GPS接收器20接收来自GPS卫星21的多个GPS信号。基于该卫星信号,GPS接收器20或处理器58确定主车辆30的位置并且将主车辆30定位在数据库62中存储的预先加载地图的道路上。
在步骤118,确定主车辆30的状态。车辆状态传感器18收集关于车辆状态的信息,如车速、转向角、方向、偏航等。
在步骤120,接收器22从RSU和/或具有V2V通信能力的远程车辆接收信息。接收的信息可包括车道关闭、事故、施工和远程车辆的位置。
在步骤122,处理器58采用基于递归贝叶斯的方法(例如扩展卡尔曼滤波算法)融合步骤106中识别的车道标记线42;步骤112中识别的对象、对象位置、主车辆到对象的距离;步骤114中路上的主车辆30的位置;步骤118中主车辆的状态信息;以及步骤120中的道路信息,以便生成具有多条相邻车道的全局车道地图11。主车辆30和相邻车辆31定位在全局车道地图11上的各自车道范围内。
在步骤124,执行存储器60中存储的例行程序的处理器58投影主车辆30的路线。步骤118中连续收集的关于车辆的状态的信息可用于计算主车辆30的最可能的行驶路线。
在步骤126,处理器58推断主车道44的路线或延伸段。步骤106中连续收集的关于车道标记线的信息、步骤114中主车辆30在预先加载的地图上的位置信息、以及步骤120中的道路信息可用于计算主车道的最可能的延伸段。
在步骤128,处理器58投影相邻车辆的路线。步骤112中被检测对象相对于主车辆30的相对位置和距离可用于计算远程车辆31相对于主车辆的距离与方向的变化率。
在步骤130,处理器58将主车辆30的投影路线与推断的主车道44路线和投影的相邻远程车辆31的路线进行比较。
在步骤132,如果主车辆30的投影路线投影为偏离推断的主车道44路线,而无主车辆30操作者意图的指示,例如激活转向信号,和/或如果主车辆30的投影路线投影为与相邻远程车辆31的投影路线相交,则处理器58激活ADAS的一个或多个部件,例如主车辆33的驾驶员视觉/音频警告系统、紧急制动系统等。
本文公开的系统10和方法100提供的优点是提高了将主车辆30定位在行驶道路上的主车道44范围内的保真度。该系统10和方法100还提供了以下优点,即提高了将与主车辆30相邻的远程车辆31定位在各自行驶车道范围内的保真度。在保真度提高的情况下,主车辆30可推断主车道44的路线并投影主车辆30和远程车辆31的行驶路线,且如果控制器12确定主车辆30马上会有危险,则激活ADAS。
然后,可重复方法100以连续实时地生成全局地图并对主车辆进行定位,以及监测道路条件和相邻车辆,以激活ADAS。
本发明的描述在本质上仅仅是示例性的,因此未偏离本发明的主旨的变型应包括在本发明的范围内,而不应将这种变型视为背离了发明的精神和范围。虽然已经详细描述了实施所请求保护的本发明的一些实例和实施例,但存在用于实践所附权利要求中限定的本发明的各种替代设计和实施例。

Claims (20)

1.一种生成车道地图并定位沿道路行驶的主车辆的方法,所述方法包括以下步骤:
同时捕获远距前视场图像、中距前视场图像、右视场图像、左视场图像和后视场图像;
检测远距前视场图像、中距前视场图像、右视场图像、左视场图像和后视场图像的每一个中的多个车道标记线;
用存储在数据库中的参考车道标记线识别所述多个车道标记线的每一个;
将所识别的车道标记线进行融合以便生成具有多个相邻车道的全局车道地图;以及
在所述全局车道地图上定位主车道内的主车辆;
其中所述右视场图像与所述中距前视场图像和所述后视场图像重叠,且所述左视场图像和所述中距前视场图像和所述后视场图像重叠。
2.根据权利要求1所述的方法,其中所述远距前视场图像与所述中距前视场图像重叠。
3.根据权利要求2所述的方法,进一步包括以下步骤:检测左视场图像和右视场图像中足够远离主车辆的多个车道标记线,使得一旦将车道标记线融合以生成全局车道地图,在主车辆的左侧和右侧分别生成至少两条相邻车道。
4.根据权利要求1所述的方法,进一步包括以下步骤:捕获主车辆的中距前视场图像、右视场图像、左视场图像和后视场图像中的至少一个的鱼眼视图。
5.根据权利要求3所述的方法,进一步包括以下步骤:
投影主车辆的行驶路线;
推断主车道的向前延伸段;以及
如果主车辆的投影行驶路线偏离了推断的主车道向前延伸段,则激活驾驶员辅助警告系统。
6.根据权利要求5所述的方法,其中存储在数据库中的参考车道标记线包括单实线、双实线、虚线、双虚线以及具有平行单实线的虚线。
7.根据权利要求6所述的方法,进一步包括以下步骤:如果主车辆的投影行驶路线与黄车道标记线或白实线相交,则激活驾驶员辅助警告系统。
8.根据权利要求5所述的方法,进一步包括以下步骤:
识别与主车道相邻的车道范围内的至少一辆远程车辆;以及
在所述全局车道地图上定位所述至少一辆远程车辆相对主车辆的位置。
9.根据权利要求8所述的方法,进一步包括以下步骤:
投影至少一辆远程车辆的行驶路线;
将所述至少一辆远程车辆的投影行驶路线与所述主车辆的投影行驶路线进行比较;以及
如果所述至少一辆车辆的投影行驶路线与主车辆的投影行驶路线相交,则激活驾驶员辅助警告系统。
10.一种生成全局地图并定位行驶的主车辆的方法,所述方法包括以下步骤:
从主车辆捕获多个重叠的360度视场图像;
检测所述多个重叠的图像内的多个车道标记线;
用参考车道标记线识别所述多个车道标记线的每一个;
根据GPS信号确定主车辆的位置;
检测远程车辆相对于主车辆的方向和距离;以及
融合所识别的车道标记线、主车辆和远程车辆的位置,以生成具有多个相邻车道的全局车道地图以及在所述全局车道地图上将主车道内的主车辆和远程车辆定位的各自车道内。
11.根据权利要求10所述的方法,进一步包括以下步骤:
获取关于主车辆的状态的信息,包括主车辆速度、转向角和偏航率;
处理关于主车辆的状态的信息以便投影主车辆的行驶路线;
推断主车道的向前延伸段;
如果在主车辆操作者没有进行预定输入的情况下,主车辆的投影行驶路线在预定时间段内偏离了推断的主车道向前延伸段,则激活驾驶员辅助警告系统。
12.根据权利要求11所述的方法,进一步包括以下步骤:
投影远程车辆的行驶路线;
将所述远程车辆的投影行驶路线与所述主车辆的投影行驶路线进行比较;以及
如果所述远程车辆的投影行驶路线与所述主车辆的投影行驶路线相交,则激活驾驶员辅助警告系统。
13.根据权利要求12所述的方法,其中从主车辆捕获多个重叠的360度视场图像的步骤包括:从主车辆同时捕获远距前视场图像、中距前视场图像、右视场图像、左视场图像和后视场图像。
14.根据权利要求13所述的方法,其中右视场图像与中距前视场图像和后视场图像重叠,且左视场图像与中距前视场图像和后视场图像重叠。
15.一种同时生成全局车道地图并在所生成的全局车道地图上定位主车辆的系统,所述系统包括:
多个图像传感器,其适用于可操作地从主车辆捕获360度视场图像以检测多个车道标记线;以及
控制器,其通信耦合至所述多个图像传感器,并且包括包含参考车道标记线的数据库以及处理器;
其中所述处理器配置成通过将从360度视场图像检测到的车道标记线与数据库中的参考车道标记线进行比较来识别所述多个车道标记线,并且配置成将所识别的车道标记线融合到具有多个相邻车道的全局车道地图。
16.根据权利要求15所述的系统,还包括:
车辆定位器,其用于确定主车辆位置;和
测距传感器,其配置成检测相邻远程车辆相对于主车辆的位置和距离;
其中所述控制器通信耦合至所述车辆定位器和测距传感器,并且所述控制器还配置成在全局车道地图上定位主车辆和远程车辆。
17.根据权利要求16所述的系统,还包括选自声纳装置、激光扫描仪、LiDAR和接收器的至少一个设备。
18.根据权利要求17所述的系统,其中适用于可操作地捕获360度视场图像的多个图像传感器包括前置远距摄像头、前置中距摄像头、右侧中距摄像头、左侧中距摄像头和后置中距摄像头。
19.根据权利要求18所述的系统,其中所述控制器配置成投影主车辆的行驶路线,推断主车道的向前延伸段,以及如果主车辆的投影行驶路线偏离了推断的主车道向前延伸段,则激活驾驶员辅助警告系统。
20.根据权利要求19所述的系统,其中所述控制器还配置成投影远程车辆的行驶路线,将远程车辆的投影行驶路线与主车辆的投影行驶路线进行比较,以及如果远程车辆的投影行驶路线与主车辆的投影行驶路线相交,则激活驾驶员辅助警告系统。
CN201710591201.7A 2016-08-19 2017-07-19 同时生成多车道地图并在所生成的地图上定位车辆的系统和方法 Pending CN107767696A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/242,151 US10210406B2 (en) 2016-08-19 2016-08-19 System and method of simultaneously generating a multiple lane map and localizing a vehicle in the generated map
US15/242,151 2016-08-19

Publications (1)

Publication Number Publication Date
CN107767696A true CN107767696A (zh) 2018-03-06

Family

ID=59558254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710591201.7A Pending CN107767696A (zh) 2016-08-19 2017-07-19 同时生成多车道地图并在所生成的地图上定位车辆的系统和方法

Country Status (3)

Country Link
US (1) US10210406B2 (zh)
EP (1) EP3293488A3 (zh)
CN (1) CN107767696A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415541A (zh) * 2019-07-19 2019-11-05 重庆长安汽车股份有限公司 一种路口通行状态提示方法及系统
CN110455729A (zh) * 2019-08-23 2019-11-15 杭州春来科技有限公司 汽车尾气遥测方法
CN110763244A (zh) * 2019-10-17 2020-02-07 浙江吉利汽车研究院有限公司 一种电子地图生成系统和方法
CN111238503A (zh) * 2018-11-29 2020-06-05 沈阳美行科技有限公司 一种道路线段的地图生成方法、装置及相关系统
WO2020125686A1 (zh) * 2018-12-19 2020-06-25 长沙智能驾驶研究院有限公司 实时相对地图的生成方法,智能驾驶设备以及计算机存储介质
CN112673232A (zh) * 2018-08-30 2021-04-16 大陆汽车有限责任公司 车道地图制作装置
CN112825196A (zh) * 2019-11-20 2021-05-21 阿里巴巴集团控股有限公司 一种道路标记的确定方法、装置、存储介质及编辑平台
CN112833887A (zh) * 2019-11-22 2021-05-25 泰为股份有限公司 具有车道估计机制的导航系统及其操作方法
CN112888604A (zh) * 2018-10-03 2021-06-01 金泰克斯公司 后向车道检测覆盖
CN113343746A (zh) * 2020-03-03 2021-09-03 通用汽车环球科技运作有限责任公司 用于车辆行驶表面上的车道检测的方法和设备
CN113661700A (zh) * 2019-05-10 2021-11-16 索尼半导体解决方案公司 成像装置与成像方法
CN113887321A (zh) * 2021-09-09 2022-01-04 鹏城实验室 一种生成车道级仿真路网的方法、设备及存储介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10210406B2 (en) * 2016-08-19 2019-02-19 Dura Operating, Llc System and method of simultaneously generating a multiple lane map and localizing a vehicle in the generated map
DE102017204342A1 (de) * 2017-03-15 2018-09-20 Continental Teves Ag & Co. Ohg Verfahren zum Erstellen einer fusionierten Freiraumkarte, elektronische Steuerungsvorrichtung und Speichermedium
JP6693496B2 (ja) * 2017-03-16 2020-05-13 株式会社デンソー 自己位置推定装置
US10234858B2 (en) * 2017-04-18 2019-03-19 Aptiv Technologies Limited Automated vehicle control system
US10818177B2 (en) * 2017-07-12 2020-10-27 Mitsubishi Electric Corporation Driving assistance device and driving assistance method
US10403135B2 (en) 2017-12-29 2019-09-03 Intel IP Corporation Network infrastructure for collaborative automated driving
US11070988B2 (en) * 2017-12-29 2021-07-20 Intel Corporation Reconfigurable network infrastructure for collaborative automated driving
JP2019191653A (ja) * 2018-04-18 2019-10-31 アイシン・エィ・ダブリュ株式会社 地図情報更新システムおよび地図情報更新プログラム
US10753750B2 (en) * 2018-07-12 2020-08-25 Toyota Research Institute, Inc. System and method for mapping through inferences of observed objects
KR102483649B1 (ko) 2018-10-16 2023-01-02 삼성전자주식회사 차량 위치 결정 방법 및 차량 위치 결정 장치
CN109635701B (zh) * 2018-12-05 2023-04-18 宽凳(北京)科技有限公司 车道通行属性获取方法、装置和计算机可读存储介质
DE102018221945A1 (de) * 2018-12-17 2020-06-18 Continental Automotive Gmbh Sensordatensystem für ein Fahrzeug
US11093761B2 (en) * 2019-03-06 2021-08-17 GM Global Technology Operations LLC Lane position sensing and tracking in a vehicle
GB2583698B (en) * 2019-04-08 2021-10-06 Jaguar Land Rover Ltd Vehicle localisation
US20210109205A1 (en) * 2019-10-15 2021-04-15 Cepton Technologies, Inc. Dynamic calibration of lidar sensors
JP7363621B2 (ja) * 2020-03-17 2023-10-18 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び、プログラム
US11722705B2 (en) * 2020-03-26 2023-08-08 Toyota Motor Engineering & Manufacturing North America, Inc. Camera support by a vehicular micro cloud for remote driving
US11636689B2 (en) * 2020-09-08 2023-04-25 Nvidia Corporation Adaptive object tracking algorithm for autonomous machine applications
GB2605365B (en) * 2021-03-22 2024-04-10 Fusion Proc Limited System for monitoring a position of a vehicle
US11661109B2 (en) * 2021-04-22 2023-05-30 GM Global Technology Operations LLC Motor vehicle with turn signal-based lane localization
WO2023059222A1 (ru) 2021-10-04 2023-04-13 Общество с ограниченной ответственностью "ЭвоКарго" Способ картографирования местности для автономных транспортных средств

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1775601A (zh) * 2005-11-18 2006-05-24 吉林大学 车辆行驶轨迹预估及车道偏离评价方法
US20100228419A1 (en) * 2009-03-09 2010-09-09 Gm Global Technology Operations, Inc. method to assess risk associated with operating an autonomic vehicle control system
CN102308304A (zh) * 2009-02-04 2012-01-04 海拉胡克双合有限公司 确定有效车道标记的方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080033645A1 (en) 2006-08-03 2008-02-07 Jesse Sol Levinson Pobabilistic methods for mapping and localization in arbitrary outdoor environments
US20130131980A1 (en) 2007-09-07 2013-05-23 On Time Systems, Inc. Resolving gps ambiguity in electronic maps
KR100956858B1 (ko) 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
TWI401175B (zh) 2010-06-08 2013-07-11 Automotive Res & Testing Ct Dual vision front vehicle safety warning device and method thereof
DE102013103953B4 (de) 2012-05-02 2020-07-09 GM Global Technology Operations LLC Spurerkennung bei voller Fahrt unter Verwendung mehrerer Kameras
DE102012215322A1 (de) 2012-08-29 2014-03-06 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur
US20140257686A1 (en) 2013-03-05 2014-09-11 GM Global Technology Operations LLC Vehicle lane determination
DE102013211696A1 (de) 2013-06-20 2014-12-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Vervollständigen und/oder Aktualisieren einer digitalen Straßenkarte, Vorrichtung für ein Kraftfahrzeug und Kraftfahrzeug
KR102016551B1 (ko) 2014-01-24 2019-09-02 한화디펜스 주식회사 위치 추정 장치 및 방법
EP2918974B1 (en) 2014-03-11 2019-01-16 Volvo Car Corporation Method and system for determining a position of a vehicle
US9151626B1 (en) 2014-04-11 2015-10-06 Nissan North America, Inc. Vehicle position estimation system
US10210406B2 (en) * 2016-08-19 2019-02-19 Dura Operating, Llc System and method of simultaneously generating a multiple lane map and localizing a vehicle in the generated map

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1775601A (zh) * 2005-11-18 2006-05-24 吉林大学 车辆行驶轨迹预估及车道偏离评价方法
CN102308304A (zh) * 2009-02-04 2012-01-04 海拉胡克双合有限公司 确定有效车道标记的方法和装置
US20100228419A1 (en) * 2009-03-09 2010-09-09 Gm Global Technology Operations, Inc. method to assess risk associated with operating an autonomic vehicle control system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MING YANG ET.AL: ""Panorama-Based Multilane Recognition for Advanced Navigation Map Generation"", 《MATHEMATICAL PROBLEMS IN ENGINEERING》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112673232A (zh) * 2018-08-30 2021-04-16 大陆汽车有限责任公司 车道地图制作装置
CN112888604B (zh) * 2018-10-03 2024-02-02 金泰克斯公司 后向车道检测覆盖
CN112888604A (zh) * 2018-10-03 2021-06-01 金泰克斯公司 后向车道检测覆盖
CN111238503B (zh) * 2018-11-29 2022-12-02 沈阳美行科技股份有限公司 一种道路线段的地图生成方法、装置及相关系统
CN111238503A (zh) * 2018-11-29 2020-06-05 沈阳美行科技有限公司 一种道路线段的地图生成方法、装置及相关系统
WO2020125686A1 (zh) * 2018-12-19 2020-06-25 长沙智能驾驶研究院有限公司 实时相对地图的生成方法,智能驾驶设备以及计算机存储介质
CN113661700A (zh) * 2019-05-10 2021-11-16 索尼半导体解决方案公司 成像装置与成像方法
CN110415541A (zh) * 2019-07-19 2019-11-05 重庆长安汽车股份有限公司 一种路口通行状态提示方法及系统
CN110455729A (zh) * 2019-08-23 2019-11-15 杭州春来科技有限公司 汽车尾气遥测方法
CN110763244B (zh) * 2019-10-17 2022-06-14 浙江吉利汽车研究院有限公司 一种电子地图生成系统和方法
CN110763244A (zh) * 2019-10-17 2020-02-07 浙江吉利汽车研究院有限公司 一种电子地图生成系统和方法
CN112825196A (zh) * 2019-11-20 2021-05-21 阿里巴巴集团控股有限公司 一种道路标记的确定方法、装置、存储介质及编辑平台
CN112825196B (zh) * 2019-11-20 2023-04-25 阿里巴巴集团控股有限公司 一种道路标记的确定方法、装置、存储介质及编辑平台
CN112833887A (zh) * 2019-11-22 2021-05-25 泰为股份有限公司 具有车道估计机制的导航系统及其操作方法
CN113343746A (zh) * 2020-03-03 2021-09-03 通用汽车环球科技运作有限责任公司 用于车辆行驶表面上的车道检测的方法和设备
CN113343746B (zh) * 2020-03-03 2024-04-16 通用汽车环球科技运作有限责任公司 用于车辆行驶表面上的车道检测的方法和设备
CN113887321A (zh) * 2021-09-09 2022-01-04 鹏城实验室 一种生成车道级仿真路网的方法、设备及存储介质

Also Published As

Publication number Publication date
US20180053060A1 (en) 2018-02-22
EP3293488A3 (en) 2018-06-13
US10210406B2 (en) 2019-02-19
EP3293488A2 (en) 2018-03-14

Similar Documents

Publication Publication Date Title
CN107767696A (zh) 同时生成多车道地图并在所生成的地图上定位车辆的系统和方法
JP6788634B2 (ja) 自動運転支援システム
US9815461B2 (en) Vehicle collision avoidance supporting apparatus and vehicle collision avoidance supporting method
JP6443545B2 (ja) 駐車場マッピングシステム
US10697790B2 (en) Lane selecting device, vehicle control system and lane selecting method
CN108122432B (zh) 用于求取交通状况的数据的方法
CN104572065B (zh) 远程车辆监控系统和方法
CN112074885A (zh) 车道标志定位
US20130147955A1 (en) Warning system, vehicular apparatus, and server
CN108027422A (zh) 借助于汽车传感器自动检测危险偏离车辆
CN107672584A (zh) 超车车道控制的系统和方法
CN104812645A (zh) 基于车辆行为确定驾驶环境的改变
JP7232100B2 (ja) 車両の走行制御装置
US20170313253A1 (en) Method for operating a driver assistance system of a motor vehicle, driver assistance system and motor vehicle
JP2012185076A (ja) 速度規制値通知装置及び速度規制値通知システム
CN109841088A (zh) 车辆驾驶辅助系统及方法
JP5898539B2 (ja) 車両走行支援システム
JP6462493B2 (ja) 進入判定装置、進入判定方法
JP2008254487A (ja) 横風警告装置、横風警告装置を搭載した自動車、および横風警告方法
JP2008097279A (ja) 車両外部情報表示装置
CN107111741B (zh) 用于具有摄像机的机动车的方法,设备和系统
CN114103954B (zh) 行驶车道计划装置、存储介质以及行驶车道计划方法
WO2021261228A1 (ja) 障害物情報管理装置、障害物情報管理方法、車両用装置
KR102354832B1 (ko) 속도 차단기에 접근할 때 자동차의 주행을 보조하는 기법
CN108701416A (zh) 检测道路交通中危险情况的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180306

WD01 Invention patent application deemed withdrawn after publication