CN111661047B - 车辆中的车道位置感测和跟踪 - Google Patents

车辆中的车道位置感测和跟踪 Download PDF

Info

Publication number
CN111661047B
CN111661047B CN202010142220.3A CN202010142220A CN111661047B CN 111661047 B CN111661047 B CN 111661047B CN 202010142220 A CN202010142220 A CN 202010142220A CN 111661047 B CN111661047 B CN 111661047B
Authority
CN
China
Prior art keywords
lane
vehicle
lane line
trajectories
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010142220.3A
Other languages
English (en)
Other versions
CN111661047A (zh
Inventor
H.萨得贾迪
S.A.拉扎
M.G.亚当斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN111661047A publication Critical patent/CN111661047A/zh
Application granted granted Critical
Publication of CN111661047B publication Critical patent/CN111661047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/90—Single sensor for two or more measurements
    • B60W2420/905—Single sensor for two or more measurements the sensor being an xyz axis sensor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

一种用于在车辆中执行车道位置感测和跟踪的系统和方法，包括使用具有车辆的第一侧的第一视场的第一相机和具有车辆的第二侧的第二视场的第二相机以捕获图像。该方法包括确定在车辆的第一侧上的第一车道线和在车辆的第二侧上的第二车道线是否均可见，并且基于第一车道线和第二车道线是可见的，确定车辆在第一车道线和第二车道线之间的车道中的位置，并确定第一车道线和第二车道线的轨迹以及车辆的轨迹。

Description

车辆中的车道位置感测和跟踪
技术领域
本主题公开涉及车辆中的车道位置感测和跟踪。
背景技术
车辆(例如，汽车、卡车、建筑设备、农场设备、自动化工厂设备)越来越多地包括增强或自动化操作的系统。车道偏离感测通过在车辆未能停留在车道线内时向驾驶员提供指示来增强车辆操作。车道定位可以是自主或半自主车辆操作的一部分，并且是指主动将车辆保持在车道线内。车道偏离感测和车道定位都需要监视车辆相对于车道线的位置。因此，期望提供车辆中的车道位置感测和跟踪。
发明内容
在一个示例性实施例中，一种在车辆中执行车道位置感测和跟踪的方法包括使用具有在车辆的第一侧的第一视场的第一相机和具有在车辆的第二侧上的第二视场的第二相机以捕获图像。该方法还包括确定车辆的第一侧上的第一车道线和车辆的第二侧上的第二车道线是否均可见，并且基于第一车道线和第二车道线是可见的，确定车辆在第一车道线和第二车道线之间的车道中的位置，并确定第一车道线和第二车道线的轨迹以及车辆的轨迹。
除了本文所述的一个或多个特征之外，该方法还包括将第一车道线与第二车道线之间的距离确定为车道的宽度。
除了本文所述的一个或多个特征之外，该方法还包括基于第一车道线和第二车道线不可见，确定是否仅第一车道线和第二车道线之一是可见的车道线。
除了本文描述的一个或多个特征之外，该方法还包括使用可见车道线和该车道的宽度来确定车辆是否在该车道中。
除了本文描述的一个或多个特征之外，基于第一车道线和第二车道线都不可见，确定已经发生中断并跟踪该中断的持续时间。
除了本文描述的一个或多个特征之外，该方法还包括基于该中断的持续时间小于阈值持续时间，使用第一车道线和第二车道线的轨迹以及车辆的轨迹，并且基于该中断的持续时间大于阈值持续时间，声明无法确定车辆相对于车道的位置。
除了本文描述的一个或多个特征之外，确定第一车道线和第二车道线的轨迹以及车辆的轨迹包括使用附加信息，并且该附加信息包括高清晰度地图、关于车辆的位置的信息、车轮速度传感器、车辆的惯性测量单元(IMU)、转向角或车辆的速度。
除了本文所述的一个或多个特征之外，基于第一车道线和第二车道线都不可见，使用第一车道线和第二车道线的轨迹以及车辆的轨迹来确定车辆相对于车道的位置，并使用附加信息更新第一车道线和第二车道线的轨迹以及车辆的轨迹。
除了本文描述的一个或多个特征之外，该方法还包括报告车辆相对于车道的位置，以操作车辆的系统。
除了本文所述的一个或多个特征之外，将车辆相对于车道的位置报告给车道偏离警报系统，或者将车辆相对于车道的位置报告给车道定位系统。
在另一示例性实施例中，一种用于在车辆中执行车道位置感测和跟踪的系统包括第一相机，其具有车辆的第一侧的第一视场；以及第二相机，其具有车辆的第二侧上的第二视场。第一相机和第二相机被配置为捕获图像。该系统还包括处理器，以确定车辆的第一侧上的第一车道线和车辆的第二侧上的第二车道线是否均可见，并基于该第一车道线和第二车道线均可见，确定车辆在第一车道线和第二车道线之间的车道中的位置，并确定第一车道线和第二车道线的轨迹以及车辆的轨迹。
除了本文所述的一个或多个特征之外，所述处理器还被配置为将第一车道线和第二车道线之间的距离确定为车道的宽度。
除了本文描述的一个或多个特征之外，基于第一车道线和第二车道线不可见，所述处理器还被配置为确定是否仅第一车道线和第二车道线中的一个是可见的车道线。
除了本文所述的一个或多个特征之外，所述处理器还被配置为使用可见车道线和该车道的宽度来确定车辆是否在该车道中。
除了本文所述的一个或多个特征之外，基于所述第一车道线和所述第二车道线都不可见，所述处理器还被配置为确定已经发生中断并跟踪该中断的持续时间。
除了本文所述的一个或多个特征之外，基于该中断的持续时间小于阈值持续时间，所述处理器还被配置为使用第一车道线和第二车道线的轨迹以及车辆的轨迹确定车辆相对于车道的位置，并且基于该中断的持续时间大于阈值持续时间，所述处理器还被配置为声明不能确定车辆相对于车道的位置。
除了本文描述的一个或多个特征之外，所述处理器还被配置为使用附加信息来确定第一车道线和第二车道线的轨迹以及车辆的轨迹，并且该附加信息包括高清晰度地图、有关车辆位置的信息、车轮速度传感器、车辆的惯性测量单位(IMU)、转向角或车辆的速度。
除了本文所述的一个或多个特征之外，基于第一车道线和第二车道线都不可见，所述处理器被配置为使用第一车道线和第二车道线的轨迹以及车辆的轨迹来确定车辆相对于车道的位置，并使用附加信息来更新第一车道线和第二车道线的轨迹以及车辆的轨迹。
除了本文描述的一个或多个特征之外，所述处理器还被配置为报告车辆相对于车道的位置，以操作车辆的系统。
除了本文描述的一个或多个特征之外，该系统是车道偏离警报系统或车道定位系统。
当结合附图考虑时，根据以下详细描述，本公开的以上特征和优点以及其他特征和优点将显而易见。
附图说明
在下面的详细描述中，仅以示例的方式出现其他特征、优点和细节，该详细描述参考附图，在附图中：
图1是根据一个或多个实施例的具有车道位置感测和跟踪的车辆的框图；
图2是根据一个或多个实施例的在车辆中执行车道位置感测和跟踪的方法的过程流程；和
图3示出了根据一个或多个实施例的车道位置跟踪。
具体实施方式
以下描述本质上仅是示例性的，并且不意图限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。
如前所述，包括自主或半自主驾驶系统的车辆系统可能需要确定车辆在车道内的位置。例如，如果车辆正在离开车道而没有该运动是有目的的指示(例如，转向信号)，则车道偏离感测系统向驾驶员提供警报。在自主或半自主车辆中，车道定位系统可以控制车辆以保持其在车道中的位置。在现有车辆中，车道检测通常基于前相机模块，例如放置在后视镜后面的相机。由于前相机模块是前视传感器，因此用前相机模块获取的车道信息容易出错。即，基于道路曲率或车辆在车道内的位置，车辆前方的视线可能无法准确地反映车辆在车道内的位置。另外，由于前相机模块仅包含一个相机，因此任何堵塞或故障都可能阻止任何车道检测。
本文详细描述的系统和方法的实施例涉及车辆中的车道位置感测和跟踪。可以使用已添加到许多车辆中以进行停车辅助的相机。对于停车期间的360度视角，可以使用四个相机和一个处理器，称为视频处理模块。这些相机中的两个通常是后视镜下方的向下看相机。根据一个或多个实施例，通过附加地使用这些向下看的相机用于车道位置感测，可以检测车辆相对于车道线的当前位置，而不是如先前的方法那样仅检测车辆前方的视场。另外，例如，如进一步详细所述的，通过使用这些相机确定的车道尺寸和轨迹可以用于例如由于车辆在车道内的位置而导致车道线本身不可见时进行跟踪。
根据示例性实施例，图1是具有车道位置感测和跟踪的车辆的框图。图1所示的车辆100是车道105中的汽车101。两个下视相机110a，110b(通常称为110)位于后视镜下方。这些相机110的对应的视场115a，115b(通常称为115)也被示出。在图1所示的示例性场景中，车辆100与靠近右车道线RL相比更靠近左车道线LL。通过将车辆中心线VC与车道中心线LC进行比较并且注意到车辆中心线VC在车道中心线LC的左侧，这是清楚地看出的。即，从车辆中心线VC到右车道线RL的距离R大于从车辆中心线VC到左车道线LL的距离L。
车辆100包括一个或多个控制器120，该控制器根据一个或多个实施例确定车辆100在车道105内的位置，并且实现实现诸如车道偏离警报或车道定位之类的系统的其他部件或与之通信。当两条车道线(LL和RL)都在视场115内时，控制器120确定左车道线LL和右车道线RL相对于车辆100的位置(例如，距离)。然后，控制器120从该信息确定车道105的宽度W。通过另外知道车辆100的尺寸(例如，宽度)，控制器120还确定相对于车道中心线LC的车辆中心线VC以及两者之间的偏移量C。控制器120包括处理电路，该处理电路可以包括专用集成电路(ASIC)、电子电路、处理器(共享、专用或组)和执行一个或多个软件或固件程序的存储器、组合逻辑电路以及提供描述的功能的其他合适的部件。
车辆100还可以包括附加信息源130。附加信息源130可以是其他传感器(例如，无线电检测和测距(雷达)系统、光检测和测距(激光雷达系统))。附加信息源130可以是车辆传感器(例如，车轮速度传感器、惯性测量单元(IMU)、转向角传感器、车辆速度传感器)或与地图和定位系统相关的信息，例如高清晰度地图或关于以前走过的道路的记录信息。尽管在图1中的特定位置示出了相机110、控制器120和附加信息源130，但是根据替代实施例，它们可以位于车辆100内或上的其他位置。例如，车轮速度传感器和其他附加信息源130需要在车辆100的特定区域中，而其他附加信息源130可以布置在车辆100内的任何地方。所有附加信息源130都是众所周知的，在此不详述。相机110例如可以位于其在后视镜下方的位置更远的前方(例如，前轮胎附近)或后方的位置(例如，后轮胎附近)。根据一个或多个实施例，它们在车辆110下方和侧面的视场115与车道检测有关。
图2是根据一个或多个实施例的在车辆中执行车道位置感测和跟踪的方法的过程流程200。图2所示的过程可以被连续执行，或者可以由事件(例如，车辆超过阈值速度、接合车道定位系统、接合自动驾驶)或其他提示(例如，车辆位置)触发。在框210处，检查车道线RL、LL是否均可见。如果是，则在框220处确定车辆100在车道105中。可以将该信息提供给车道偏离系统或任何其他需要了解车辆100相对于车道105的位置的功能。因此，不需要车道偏离警报并且不需要车道定位。据推测，在某些点上，两条车道线RL、LL都是可见的。在这种情况下，除了确定车辆100在车道105中(在框220处)之外，在框230处确定车道尺寸，并在框240处执行跟踪车道的轨迹310(图3)和车辆100在车道105内的轨迹320(图3)。
在框230处，确定车道尺寸是指确定参考图1讨论的值。清楚地说，已知车辆100的尺寸、相机110在车辆上的位置以及与每个相机110的视场115内的区域相关联的距车辆的距离。使用该信息，所确定的值分别包括距右车道线RL和左车道线LL的距离R和L，以及车道105的宽度W(即，车道线RL和LL之间的距离)。这些值不仅指示车辆100在车道线RL和LL内，而且指示车辆100在车道线RL和LL内的位置。即，知道车辆中心线VC并基于宽度W)确定车道中心线LC，也可以根据图1所示的几何形状来确定车辆中心线VC与车道中心线LC之间的偏移量C。用于获得此处讨论的尺寸的代数公式(例如，C＝车辆中心线VC的位置–车道中心线LC的位置)是简单明了的，此处不再赘述。在框240处，跟踪车道105的轨迹310和车辆100在车道105内的轨迹320是指监视车道105的曲率和车辆100在车道105内的运动。这将在下面进一步讨论。
基于框210的检查，如果两条车道线RL、LL都不可见，则在框250处检查一条车道线RL或LL是否可见。如果是，则过程流程200包括在框260处使用车道尺寸(在两条车道线RL和LL均可见时在框230处确定)以确定车道105中的车辆位置。车道线RL或LL之一，由于多种原因，可能不在相机110的视场115中。例如，车辆可能与车道线RL或LL太近(例如，在几十厘米内)。相机110之一可能被阻挡或不能正常操作。在仅一条车道线RL或LL可见的任何情况下，控制器120都基于到可见车道线RL或LL的距离以及对车道105的宽度W和车辆100的宽度的了解来确定车辆100相对于车道105的位置。控制器120可根据需要将信息报告给车辆的其他控制器或系统。如图2所示，可以基于可见车道线RL或LL继续车道轨迹310和车辆100在车道105内的轨迹320的跟踪。
如图2所示，当两条车道线RL和LL均可见时(在框210处)或当一条车道线RL或LL可见时(框250处)，到达框240。在那些情况下，车道线RL、LL中的一个或两个都用于跟踪车道轨迹310。车道轨迹310可以基于附加信息源130(例如高清晰度地图或在相同位置处的信息的先前记录)进行附加确定或细化。可以基于诸如车轮速度传感器、车辆100的惯性测量单元(IMU)、转向角、车辆速度等之类的附加信息源130来确定车辆轨迹320。当此附加信息可用时，即使当车道线RL、LL都不可见时，也可以跟踪车道轨迹310和车辆轨迹320。
基于框250处的检查，如果甚至一条车道线RL或LL不可见，则过程流200包括基于框270处的检查，在框280处使用轨迹(在框240处保持)来确定车道105中的车辆位置。框280处的过程假定关于车道线RL、LL的信息的中断都是短暂的(即，以秒的量级)，或者由于附加信息(例如，高清晰度地图、IMU)而在没有可见的车道线RL、LL的情况下甚至跟踪了车道轨迹310和车辆轨迹320。当继续跟踪车道轨迹310和车辆轨迹320所需的附加信息不可用时，假设车道105的曲率(即，其轨迹310)和车辆100在车道105内的轨迹320两者都在车辆100在该时间段内可能行驶的距离内(从当车道线RL、LL可见时确定的信息)将保持不变。
在框270处，在当车道线中断期间无法更新车道轨迹310和车辆轨迹320时的情况下，检查两个相机110的中断的持续时间是否超过阈值持续时间。如果中断的持续时间超过阈值持续时间，则控制器120在框290处宣布中断。这可以是内部决策，即车道位置信息不能被提供，或者可以包括对依靠车道位置信息的系统(例如，车道定位系统)的通知。如果两个相机110的中断持续时间都还没有被超过(如在框270处确定的)，则轨迹310、320被用来继续确定车辆100相对于车道105的位置。
值得注意的是，车道105不是特定的车道，而是车辆100行驶的任何车道105。因此，在车道改变的情况下，车道线RL或LL将暂时不在相机110的视场115之外。例如，如果车道改变在左侧，则右侧相机110将不在车道改变期间的某个点检测右车道线RL。在车道改变成左车道105之后，新的右车道线RL将是先前的左车道线LL(即，在车道改变之前)，而新的左车道线LL将是在车道改变前不可见的车道线。
图3示出了根据一个或多个实施例的车道位置跟踪(在图2的框240处)。在车道105中示出了车辆100。基于车辆100的运动并假设右车道线RL和左车道线LL直到所示位置是可见的，车道105的轨迹310和车辆100的轨迹320在框240处确定。基于框240处的过程，车道轨迹310和车辆轨迹320以及车辆100在车道105中的位置是已知的，直到两者车道线RL和LL不再可见的时间。通过假设车道轨迹310和车辆轨迹320在短持续时间内没有变化(取决于车辆速度为秒量级的)，通过沿车辆轨迹320前进车辆100，可以确定在该持续时间内车辆100在车道105中的位置(在图2的框280处)。然后，车辆100相对于车道105的相对位置将基于相同持续时间内的车道轨迹310。如前所述，如果可获得附加信息(例如，高清晰度地图、转向角)，则即使车道线RL和LL都不可见以及根据框280处的过程执行车道位置的持续时间不需要被限制时，也可以更新车道轨迹310和车辆轨迹320。
因此，在图3所示的示例性场景中，如果车道线RL和LL都不再可见并且在该图所示的位置之后没有附加信息可用，则使用指示的车辆轨迹320和车道轨迹310(即，保持给定的持续时间)来确定在该持续时间期间和结束时车辆100在车道105中的位置。可以基于车辆100的速度设定阈值持续时间，此后，控制器120宣布车道位置确定是不可能的(在框270处)，直到再次看到车道线RL或LL。也就是说，例如，以相对慢的速度并且基于可选地可用的高清地图信息，与以没有关于车道轨迹310的附加信息的相对高的速度相比，可以容忍两个相机110的更长的中断持续时间。
尽管已经参考示例性实施例描述了以上公开，但是本领域技术人员将理解，在不脱离本发明范围的情况下，可以进行各种改变并且可以用等同物代替其要素。另外，在不脱离本公开的实质范围的情况下，可以做出许多修改以使特定情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种在车辆中执行车道位置感测和跟踪的方法，该方法包括：
使用具有车辆的第一侧的第一视场的第一相机和具有车辆的第二侧上的第二视场的第二相机以捕获图像；
使用处理器确定在车辆的第一侧上的第一车道线和在车辆的第二侧上的第二车道线是否都是可见的；
基于第一车道线和第二车道线是可见的，使用处理器确定车辆在第一车道线和第二车道线之间的车道中的位置，并确定第一车道线和第二车道线的轨迹以及车辆的轨迹；和
基于确定第一车道线和第二车道线都是不可见的，使用不包括第一车道线和第二车道线的附加信息来确定第一车道线和第二车道线的轨迹以及车辆的轨迹，并且使用第一车道线和第二车道线的轨迹以及车辆的轨迹来确定车辆相对于车道的位置。
2.根据权利要求1所述的方法，还包括将所述第一车道线和第二车道线之间的距离确定为车道的宽度，基于所述第一车道线和第二车道线是不可见的，确定是否仅第一车道线和第二车道线之一是可见的车道线，并使用该可见的车道线和该车道的宽度确定车辆是否在该车道中。
3.根据权利要求1所述的方法，其中，基于所述第一车道线和第二车道线都是不可见的，确定已经发生中断并跟踪该中断的持续时间，并且基于该中断的持续时间小于阈值持续时间，所述方法包括使用第一车道线和第二车道线的轨迹以及车辆的轨迹来确定车辆相对于车道的位置，以及基于该中断的持续时间大于阈值持续时间来声明无法确定车辆相对于车道的位置。
4.根据权利要求1所述的方法，其中，确定所述第一车道线和第二车道线的轨迹以及车辆的轨迹包括使用附加信息，并且该附加信息包括高清晰度地图、关于所述车辆的位置的信息、车轮速度传感器、车辆的惯性测量单元(IMU)、转向角或车辆的速度，其中，基于第一车道线和第二车道线都是不可见的，使用第一车道线和第二车道线的轨迹以及车辆的轨迹来确定车辆相对于车道的位置，并使用所述附加信息来更新第一车道线和第二车道线的轨迹以及车辆的轨迹。
5.根据权利要求1所述的方法，还包括报告所述车辆相对于所述车道的位置以用于所述车辆的系统的操作，其中，将所述车辆相对于所述车道的位置报告给车道偏离警报系统，或将车辆相对于车道的位置报告给车道定位系统。
6.一种在车辆中执行车道位置感测和跟踪的系统，该系统包括：
第一相机，具有在车辆的第一侧的第一视场；
第二相机，具有在车辆的第二侧上的第二视场，其中，第一相机和第二相机被配置为捕获图像；和
处理器，被配置为确定车辆的第一侧上的第一车道线和车辆的第二侧上的第二车道线是否均可见，并且基于第一车道线和第二车道线是可见的，确定车辆在第一车道线和第二车道线之间的车道中的位置，并确定第一车道线和第二车道线的轨迹以及车辆的轨迹，基于确定第一车道线和第二车道线都是不可见的，使用不包括第一车道线和第二车道线的附加信息来确定第一车道线和第二车道线的轨迹以及车辆的轨迹，并且使用第一车道线和第二车道线的轨迹以及车辆的轨迹来确定车辆相对于车道的位置。
7.根据权利要求6所述的系统，其中，所述处理器还被配置为将所述第一车道线和第二车道线之间的距离确定为车道的宽度，基于所述第一车道线和所述第二车道线是不可见的，所述处理器还被配置为确定是否仅第一车道线和第二车道线之一是可见的车道线，并且所述处理器还被配置为使用该可见的车道线和该车道的宽度来确定车辆是否在该车道中。
8.根据权利要求6所述的系统，其中，基于所述第一车道线和第二车道线都是不可见的，所述处理器还被配置为确定已经发生中断并跟踪该中断的持续时间，并且，其中，基于该中断的持续时间小于阈值持续时间，所述处理器还被配置为使用第一车道线和第二车道线的轨迹以及车辆的轨迹来确定车辆相对于车道的位置，以及基于该中断的持续时间大于阈值持续时间，所述处理器进一步被配置为声明不能确定车辆相对于车道的位置。
9.根据权利要求6所述的系统，其中，所述处理器还被配置为使用附加信息来确定所述第一车道线和第二车道线的轨迹以及车辆的轨迹，并且所述附加信息包括高清晰度地图、关于车辆的位置的信息、车轮速度传感器、车辆的惯性测量单元(IMU)、转向角或车辆的速度，并且，其中，基于第一车道线和第二车道线都是不可见的，所述处理器配置为使用第一车道线和第二车道线的轨迹以及车辆的轨迹来确定车辆相对于车道的位置以及使用所述附加信息来更新第一车道线和第二车道线的轨迹以及车辆的轨迹。
10.根据权利要求6所述的系统，其中，所述处理器还被配置为报告所述车辆相对于所述车道的位置以用于所述车辆的系统的操作，并且所述系统是车道偏离警报系统或车道定位系统。
CN202010142220.3A 2019-03-06 2020-03-04 车辆中的车道位置感测和跟踪 Active CN111661047B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/293,837 2019-03-06
US16/293,837 US11093761B2 (en) 2019-03-06 2019-03-06 Lane position sensing and tracking in a vehicle

Publications (2)

Publication Number Publication Date
CN111661047A CN111661047A (zh) 2020-09-15
CN111661047B true CN111661047B (zh) 2023-10-20

Family

ID=72146723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010142220.3A Active CN111661047B (zh) 2019-03-06 2020-03-04 车辆中的车道位置感测和跟踪

Country Status (3)

Country Link
US (1) US11093761B2 (zh)
CN (1) CN111661047B (zh)
DE (1) DE102020102958A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210005439A (ko) * 2019-07-05 2021-01-14 현대자동차주식회사 운전자 보조 장치, 그를 가지는 차량 및 그 제어 방법
JP7132271B2 (ja) * 2020-03-31 2022-09-06 本田技研工業株式会社 挙動制御システム
CN112668460A (zh) * 2020-12-25 2021-04-16 北京百度网讯科技有限公司 目标检测方法、电子设备、路侧设备和云控平台
US20220205788A1 (en) * 2020-12-28 2022-06-30 Continental Automotive Systems, Inc. Ground vehicle monocular visual-inertial odometry via locally flat constraints
US11436843B2 (en) 2021-01-21 2022-09-06 Qualcomm Incorporated Lane mapping and localization using periodically-updated anchor frames
CN113701781B (zh) * 2021-09-30 2023-07-18 重庆长安汽车股份有限公司 一种基于高精地图和视觉车道线的匹配车道搜索方法
US20230286500A1 (en) * 2022-03-11 2023-09-14 Fusion Processing Limited System for monitoring a position of a vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016011244A1 (de) * 2016-09-17 2017-04-06 Daimler Ag Verfahren zum Betrieb eines Fahrzeugs
CN107499309A (zh) * 2016-06-14 2017-12-22 德尔福技术有限公司 用于自主车辆在相机漏失期间的车道保持系统
CN108528456A (zh) * 2017-03-03 2018-09-14 通用汽车环球科技运作有限责任公司 车道检测系统和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4374211B2 (ja) * 2002-08-27 2009-12-02 クラリオン株式会社 レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置
FR3001190B1 (fr) * 2013-01-22 2016-05-13 Fonds Espci Georges Charpark Systeme d'aide a la conduite
JP6458384B2 (ja) * 2014-07-24 2019-01-30 株式会社デンソー 車線検出装置および車線検出方法
JP6336888B2 (ja) * 2014-10-24 2018-06-06 株式会社デンソー 隣接車線監視装置
JP6332170B2 (ja) * 2015-07-01 2018-05-30 トヨタ自動車株式会社 自動運転制御装置
RU2682137C1 (ru) * 2015-07-31 2019-03-14 Ниссан Мотор Ко., Лтд. Способ управления движением и устройство управления движением
US10124730B2 (en) * 2016-03-17 2018-11-13 Ford Global Technologies, Llc Vehicle lane boundary position
BR112018069501B1 (pt) * 2016-03-24 2024-01-02 Nissan Motor Co., Ltd Método de detecção de pista de deslocamento e dispositivo de detecção de pista de deslocamento
US10210406B2 (en) * 2016-08-19 2019-02-19 Dura Operating, Llc System and method of simultaneously generating a multiple lane map and localizing a vehicle in the generated map
JP6817804B2 (ja) * 2016-12-16 2021-01-20 クラリオン株式会社 区画線認識装置
US10703363B2 (en) * 2017-10-13 2020-07-07 Ford Global Technologies, Llc In-vehicle traffic assist

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107499309A (zh) * 2016-06-14 2017-12-22 德尔福技术有限公司 用于自主车辆在相机漏失期间的车道保持系统
DE102016011244A1 (de) * 2016-09-17 2017-04-06 Daimler Ag Verfahren zum Betrieb eines Fahrzeugs
CN108528456A (zh) * 2017-03-03 2018-09-14 通用汽车环球科技运作有限责任公司 车道检测系统和方法

Also Published As

Publication number Publication date
DE102020102958A1 (de) 2020-09-10
US20200285863A1 (en) 2020-09-10
US11093761B2 (en) 2021-08-17
CN111661047A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111661047B (zh) 车辆中的车道位置感测和跟踪
US11312353B2 (en) Vehicular control system with vehicle trajectory tracking
US10710580B2 (en) Tailgating situation handling by an automated driving vehicle
US10259453B2 (en) Collision avoidance based on front wheel off tracking during reverse operation
US20200241531A1 (en) Automated driving apparatus
US8930063B2 (en) Method for determining object sensor misalignment
CN108137054B (zh) 传感器测量数据的替换
CN110865374A (zh) 定位系统
US8718899B2 (en) Driver assistance systems using radar and video
US7532981B2 (en) Vehicle departure detecting device
KR20190006180A (ko) 보행자 보호시 자율적인 제동 실패 관리
US20050278112A1 (en) Process for predicting the course of a lane of a vehicle
US11046321B2 (en) Adaptive control of automated lane change in vehicle
CN109017776B (zh) 安装在车辆中的驾驶辅助系统
KR20150083545A (ko) 차량용 전방관측시스템 및 방법
US10885774B2 (en) Travel control system for vehicle
CN110712646A (zh) 从自主模式转换到手动模式之前对车辆操作员意识的验证
KR102022539B1 (ko) 차선 이탈 경보 시스템
SE540272C2 (sv) Förfarande och system för att riskbedöma körfältsbyte vid framförande av ett ledande fordon på en vägbana med åtminstonetvå angränsande körfält
US20140071282A1 (en) Alert systems and methods using real-time lane information
JPWO2019065564A1 (ja) 自動運転制御装置及び方法
CN111824149A (zh) 列队行驶控制器、包括其的系统及列队行驶控制方法
JP4976998B2 (ja) 車両の走行安全装置
US11702072B2 (en) Motor vehicle driving assistance using minimum lateral shift of fluctuating relevant object
CN114555420A (zh) 车辆用周边监视装置以及车辆用周边监视方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant