CN107203738B - 车辆车道边界定位 - Google Patents

车辆车道边界定位 Download PDF

Info

Publication number
CN107203738B
CN107203738B CN201710149799.4A CN201710149799A CN107203738B CN 107203738 B CN107203738 B CN 107203738B CN 201710149799 A CN201710149799 A CN 201710149799A CN 107203738 B CN107203738 B CN 107203738B
Authority
CN
China
Prior art keywords
vehicle
lane
distance
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710149799.4A
Other languages
English (en)
Other versions
CN107203738A (zh
Inventor
维迪亚·那利亚姆布特·穆拉里
特贾斯维·孔杜理
斯米塔·维纳亚克·鲍卢尔
凯尔·J·凯里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107203738A publication Critical patent/CN107203738A/zh
Application granted granted Critical
Publication of CN107203738B publication Critical patent/CN107203738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

一种用于确定车道中车辆的位置的方法，其包括接收来自位于车辆第一侧上的第一摄像机和位于车辆第二侧上的第二摄像机的感知信息。该方法包括使用一个或多个神经网络确定车辆相对于车辆的第一侧和第二侧上的车道标记的位置。该方法还包括将车辆的位置通知给驾驶员或控制系统。

Description

车辆车道边界定位
技术领域
本公开总体涉及用于检测车辆车道边界位置的方法、系统和装置，并且更具体地涉及利用车辆侧方摄像机估算车道边界的相对位置。
背景技术
机动车辆为商业、政府和私人实体提供了大量的运输。由于机动车辆的高价值以及对乘客和驾驶员的潜在危害，驾驶员安全以及避免碰撞、事故或对车辆的其它损坏是非常重要的。自主车辆和驾驶辅助系统当前正在被开发和部署以提供安全性，减少所需的用户输入量，或者甚至完全消除用户参与。用于自主导航的视觉感知带来许多不同的挑战，但由于图像提供关于车辆驾驶环境的丰富信息，因此自主导航的视觉感知具有许多益处。
发明内容
根据本发明，提供一种方法，该方法包含：
接收来自位于车辆第一侧上的第一摄像机和位于车辆第二侧上的第二摄像机的感知信息；
使用一个或多个神经网络确定车辆相对于车辆的第一侧和第二侧上的车道标记的位置；以及
将车辆的位置通知给驾驶员或控制系统。
根据本发明的一个实施例，其中一个或多个神经网络包含深度卷积神经网络。
根据本发明的一个实施例，其中深度卷积神经网络包含基于车道标记的厚度设置尺寸的卷积滤波器窗口。
根据本发明的一个实施例，其中一个或多个神经网络中的至少一个包含欧几里得损失层。
根据本发明的一个实施例，其中一个或多个神经网络配置用于接收包含宽度和高度的图像并且输出车辆与一个或多个车道标记中的车道标记之间的距离。
根据本发明的一个实施例，其中距离包含以像素为单位的从0到图像的高度的范围内的数字。
根据本发明的一个实施例，其中距离表明下列中的一个或多个：
车辆的中心到车道标记的距离；以及
车辆的侧面到车道标记的距离。
根据本发明的一个实施例，其中摄像机面向大体垂直于车辆的驾驶轴线的方向。
根据本发明的一个实施例，该方法进一步包含确定将车辆居中地设置或保持在车道标记之间的驾驶操纵，其中通知驾驶员或控制系统包含将驾驶操纵提供给驾驶员或控制系统。
根据本发明，提供一种系统，该系统包含：
感知部件，感知部件配置用于接收来自位于车辆第一侧上的第一摄像机和位于车辆第二侧上的第二摄像机的数据；
车道标记部件，车道标记部件配置用于：
确定车辆与位于车辆第一侧的车道标记之间的距离，以及
确定车辆与位于车辆第二侧的车道标记之间的距离；以及
通知部件，通知部件配置用于将车辆的位置通知给驾驶员或控制系统。
根据本发明的一个实施例，其中车道标记部件配置为使用一个或多个神经网络来确定车辆与位于车辆第一侧的车道标记之间的距离并且确定车辆与位于车辆第二侧的车道标记之间的距离。
根据本发明的一个实施例，其中一个或多个神经网络包含深度卷积神经网络，其中深度卷积神经网络包含基于车道标记的厚度设置尺寸的卷积滤波器窗口。
根据本发明的一个实施例，其中一个或多个神经网络配置用于接收包含宽度M和高度N的图像并且输出车辆与一个或多个车道标记中的车道标记之间的距离，并且其中输出包含在0到N的范围内的数字。
根据本发明的一个实施例，该系统进一步包含操纵部件，操纵部件配置用于确定将车辆居中地设置或保持在车道标记之间的驾驶操纵，其中通知部件配置用于向驾驶员或控制系统提供驾驶操纵。
根据本发明的一个实施例，该系统进一步包含第一摄像机和第二摄像机。
根据本发明的一个实施例，该系统进一步包含车辆。
根据本发明，提供一种存储指令的计算机可读存储介质，当由一个或多个处理器执行时，指令使处理器：
接收来自第一摄像机和第二摄像机两者的数据，其中第一摄像机定位在车辆的第一侧上并且第二摄像机定位在与第一侧相对的车辆第二侧上；
使用神经网络确定车辆相对于位于车辆的第一侧和第二侧的车道标记的位置；以及
将车辆的位置通知给驾驶员或控制系统。
根据本发明的一个实施例，其中控制系统包含自动控制系统和驾驶员辅助系统中的一个或多个。
根据本发明的一个实施例，其中神经网络包含深度卷积神经网络，深度卷积神经网络包含基于车道标记的厚度来设置尺寸的卷积滤波器窗口。
根据本发明的一个实施例，其中确定车辆的位置包含确定下列中的一个或多个：
车辆的中心距车道标记中的车道标记的距离，以及
车辆的侧面距车道标记中的车道标记的距离。
附图说明
参考下列附图描述了本公开的非限制性和非穷尽的实施方式，其中除非另有说明，相同的附图标记在全部几幅视图中指代相同的部件。参考下列描述和附图能更好地理解本公开的有利之处，其中：
图1是示出车辆控制系统的实施方式的示意性框图，该车辆控制系统包括自主驾驶/辅助系统；
图2示出了根据一种实施方式在道路上利用车辆的摄像机观察到的区域；
图3示出了根据一种实施方式的车道标记的图像；
图4是示出根据一种实施方式的用于确定车辆在车道中的位置的方法的示意图；
图5是示出根据一种实施方式的车道部件的示例部件的示意框图；以及
图6是示出根据一种实施方式的用于确定车辆在车道中的位置的方法的示例性流程图。
具体实施方式
自主或辅助导航的视觉感知造成许多不同的挑战，但由于图像可以提供关于驾驶环境的丰富信息，因此也呈现许多益处。事实上，基于计算机视觉的解决方案可以用于许多先进驾驶员辅助系统(ADAS)和自动车辆(AV)中。例如，摄像机或视频图像可以用于辅助在车道中居中、车道跟随以及可以在市场上开发和使用的其它自主或半自主特征。由于车辆的安全要求，验证车道跟随特征的可靠性和稳固性是重要的。
传统上，摄像机被设置在后视镜附近面向前方。然而，这样并非总能呈现车道和车道标记的最佳视图。进一步地，使用传统的计算机视觉技术对数据进行注释以用于后期的验证是非常大的任务。基于道路条件的变化、阴影、杂散反射、照明差异、基于视角的透视失真、摄像机在地面上方的高度变化以及许多其它因素，对数据进行注释以正确地识别车道标记等通常是有挑战的。手动制作的特征或图像像素的阈值化对于以高精度连续地跟踪车道边界而言通常是不足的。例如，根据它们是否位于高速内部道路或其它道路上，车道边界可以是不同类型。进一步地，即使在相同的环境中，车道边界也可以变化。例如，车道边界可以包括双线、单线、虚线、实线、黄色和/或白色画线。另外，车道边界可以包括反射器或其它标记，其不包括画线。车道标记的外观和/或类型的变化在开发或验证基于车道的ADAS/AV特征中呈现重大挑战。
申请人开发了用于检测车道标记和/或确定车辆相对于车道标记的位置的系统、方法和装置。在一个实施例中，摄像机被定位用于提供车道的近视图。一些实施例提供了用于对车道进行注解的稳健方法，其包括确定是否存在车道(或车道标记)以及与检测到的任何车道标记的距离。根据一个实施例，一种用于确定车辆与车道的相对位置的方法，该方法包括接收感知信息，该感知信息来自位于车辆第一侧上的第一摄像机和位于车辆第二侧上的第二摄像机。该方法还包括使用一个或多个神经网络确定车辆相对于车辆第一侧和第二侧上的车道标记的位置。该方法还包括将车辆的位置通知给驾驶员或控制系统。
在一个实施例中，摄像机可以横向地定位在车辆的任何一侧以给出车道的有利视图。在一个实施例中，通过将摄像机定位在车辆的侧面上，摄像机可以被放置在较低的高度，以容许更好地观察附近的车道标记。例如，如果摄像机定位在车辆顶部或车辆的挡风玻璃上，则摄像机会位于更远离车道标记和/或它们的视野可以被车辆的其它部分遮蔽。此外，车辆高度变化相当大，因此不同的车辆会需要明显不同的校准或训练。在一个实施例中，摄像机可以被定位为面向大体上垂直于车辆的纵向轴线的方向。例如，摄像机可以具有横向于车辆行驶方向(例如平行于车辆的一个或多个车轮的车轴)的视角。
在一个实施例中，摄像机被校准(修改以改变摄像机的焦点、位置或光学特性)以呈现从车辆到车道边界或标记的距离，该距离为捕获图像的基准线到图像中的车道标记的距离。例如，系统可以通过确定对应于车道边界或标记的图像的底部的最低行位置来确定到车道标记的距离。在一个实施例中，神经网络可以用于确定对应于最近的车道标记的行。可以使用示例图像来训练神经网络。例如，可以使用以30千米/小时(kph)至120千米/小时的速度收集的100小时的数据来训练神经网络。训练数据可以是人类注释的，以提供车道与车辆的距离。例如，注释可以将距离表示为图像中的像素数目。在一个实施例中，可以将训练数据组织为使每个图像具有表示图像中的车道标记的像素行位置(例如在0与图像的高度之间，以像素为单位)的对应标签。
在一个实施例中，神经网络可以基于训练数据来学习图像中的车道标记的位置。神经网络可以包括深度卷积神经网络。例如，神经网络可以具有7、8或更多层。作为另一示例，神经网络可以具有对应于车道标记(例如画出的车道线)的厚度的卷积滤波器窗口(convolution filter window)。在一个实施例中，神经网络包括表示回归的欧几里得损失层(Euclidian loss layer)，其可以不同于某些分类网络。在一个实施例中，神经网络可以被配置为接收宽度为M个像素和高度为N个像素的有色图像，并且输出在0到N的范围内的单个整数。输出整数可以对应于从图像底部到对应于车道标记的第一像素的距离，以像素为单位。当适当地缩放和/或偏移时，输出的整数可以表示母车辆的中心和车道标记之间的距离。在一个实施例中，可以使用来自车辆两侧的图像来执行确定与车道标记的距离。根据一个实施例，系统可以滤波来自神经网络的输出(如基于顺序图像)。该系统可以使用状态空间估算技术进行滤波并且跟踪变化以提供对于平衡车道中的车辆和/或用于各种主动安全应用有用的信息。
本文呈现的实施例可提供优于当前可用技术的一个或多个益处。例如，摄像机定位在车辆侧方可以提供车道或车道标记的更好的视图。在一个实施例中，摄像机的横向放置和定向提供了车道标记的最佳可能视图。例如，由于摄像机的设置，车道标记可以是足够突显和清楚的。车道边界或标记的清楚的视野可以简化问题，使其更好地限定，并且改善用于定位车道边界或标记的准确性和效率。例如，先前的方法和技术需要提取车道边界或车道标记以提取位于图像中的车道段。然而，这些系统仍然需要用于“搜索”图像中车道的算法，其具有不明确限定问题。本文所呈现的解决方案使用具有手动注释数据的深度学习技术，这可以产生更高的准确性。
另一示例益处可以包括计算效率。例如，车辆侧面上的摄像机机设置会使车道标记充分突显，使得可以使用低分辨率图像。较低的分辨率可以降低所需的计算能力。此外，传统的基于计算机视觉的解决方案通常必须搜索车道或车道标记，这是耗时且处理密集的。本文提供的基于深度学习的解决方案可以减少所需的时间和/或计算资源以降低成本并提高安全性。
现在参考附图，图1示出了可用于检测车道(包括车道标记或边界)的示例车辆控制系统100。车辆控制系统100可以包括自动驾驶/辅助系统102。自动驾驶/辅助系统102可以用于自动化或控制车辆的操作或向人类驾驶员提供辅助。例如，自动驾驶/辅助系统102可以控制制动、转向、加速、照明、警报、驾驶员通知、无线电或车辆的任何其它辅助系统中的一个或多个。在另一示例中，自动驾驶/辅助系统102不能提供任何驾驶控制(例如转向、加速或制动)，但是可以提供通知和警报以辅助人类驾驶员安全驾驶。自动驾驶/辅助系统102可以包括车道部件104，其使用神经网络或其它模型或算法来检测车道标记或边界和/或确定车辆相对于车道的位置。在一个实施例中，自动驾驶/辅助系统102可以确定驾驶操纵或驾驶路径以将车辆保持或定位在车道中间或其附近。
车辆控制系统100还包括一个或多个传感器系统/装置，其用于检测附近对象、车道标记的存在，和/或确定母车辆(例如包括车辆控制系统100的车辆)。例如，车辆控制系统100可以包括雷达系统106、一个或多个激光雷达系统108、一个或多个摄像机系统110、全球定位系统(GPS)112和/或超声系统114。车辆控制系统100可以包括数据存储器116，数据存储器116用于存储与导航和安全相关或有用的数据(例如地图数据、驾驶历史或其它数据)。车辆控制系统100还可以包括用于与移动或无线网络、其它车辆、基础设施或任何其它通信系统进行无线通信的收发器118。
车辆控制系统100可以包括用于控制车辆驾驶的各个方面的车辆控制致动器120，车辆控制致动器120是例如电动马达、开关或其它致动器，其用于控制制动、加速、转向等。车辆控制系统100可以包括一个或多个显示器122、扬声器124或其它装置，以向人类驾驶员或乘客提供通知。显示器122可以包括抬头显示器、仪表板显示器或指示器、显示屏或者可以由车辆的驾驶员或乘客看到的任何其它视觉指示器。扬声器124可以包括车辆的音响系统的一个或多个扬声器，或者可以包括专用于驾驶员通知的扬声器。
应当理解的是，图1的实施例仅作为示例给出。在不脱离本公开的范围的情况下，其它实施例可以包括更少或附加的部件。此外，示出的部件可以组合或包括在其它部件内而没有限制。
在一个实施例中，自动驾驶/辅助系统102被配置用于控制母车辆的驾驶或导航。例如，自动驾驶/辅助系统102可以控制车辆控制致动器120以在道路的车道、停车场、行车道或其它位置内的路径上行驶。例如，自动驾驶/辅助系统102可以基于由部件106-118中的任一个提供的信息或感知数据来确定路径。传感器系统/装置106-110和114可以用于获得实时传感器数据，以使自动驾驶/辅助系统102可以实时辅助驾驶员或驾驶车辆。自动驾驶/辅助系统102可以实施算法或使用如深度神经网络的模型来处理传感器数据以及识别车道标记的存在、位置和/或车道标记相对于车辆的相对距离。
在一个实施例中，摄像机系统110可以包括多个摄像机。例如，摄像机系统110可以包括面向不同方向的摄像机，以提供车辆附近或周围区域的不同的视野和不同的视场。例如，一些摄像机可以面向前方、侧方、后方、成角度的或任何其它方向。在一个实施例中，摄像机系统110可以包括定位在车辆侧方的摄像机。例如，摄像机系统110可以包括位于车辆右侧的摄像机和位于车辆左侧的摄像机。位于车辆侧方的摄像机可以面向任何方向，例如向前、向后、向侧方、成角度地向前或成角度地向后。在一个实施例中，摄像机定位成低于车辆的顶部。在一个实施例中，摄像机定位在车辆的侧面板上。侧方摄像机可以被定位为将地面和摄像机之间的距离限制为使任何车道边界、标记或线的改进的视场是可行的。
摄像机系统110可以包括位于车辆的相对侧上的摄像机，以检测车辆的每一侧上的车道标记。在一个实施例中，侧方摄像机可以成角度地向下以提供关于紧邻车辆的地面上的区域的信息。例如，摄像机可以被定向成面向垂直于或大体上垂直于车辆的轴线的方向，并且成角度地向下以提供水平地邻近车辆的车轮或侧面板的地面的视图。因此，如果车道标记正挨着车辆的侧方，则标记可以示出在由侧方摄像机捕获的图像内。
图2是示出在道路200上行驶的车辆202的示意性平面图。道路200标记有包括实线204和虚线206的车道标记。例如，实线204可以表明道路200和路肩之间的边界，而虚线206可以表明道路200上的车道之间的边界。车道标记可以是白色、黄色、任何其它颜色，或者可以是除了有色标记之外的根据道路本地惯例的一些物理标记。
车辆202可以包括多个侧方定位的摄像机，该摄像机被定向用于获得车辆202附近的地面区域的图像。例如，位于车辆202左侧的摄像机(未示出)可以获得在左侧区域208(由虚线表示)中的地面的图像并且定位在车辆202右侧上的摄像机(未示出)可以获得右侧区域210(由虚线表示)中的地面的图像。当车辆202沿着道路移动时，车道标记(实线204和虚线206)可以在左侧和右侧摄像机的视野内。例如，虚线206的一部分在左侧区域208内，并且实线204的一部分在右侧区域内。侧方摄像机可以周期地获得车辆附近的地面区域208和210的图像，并且车辆202(例如车辆202的车道部件104)可以使用该信息来确定车辆202在道路200的车道内的位置。由车道部件104确定的位置或距离可以包括车道标记204和206与车辆202的侧板之间的距离，或车道标记204和206与车辆202的轴线212(例如长轴线)之间的距离。
在一个实施例中，侧方摄像机提供车道标记的近距离视图，以增加车辆202在车道内定位的精度和/或降低处理功率。例如，面向前方的摄像机不能提供车道线的足够近的视图，并且需要更困难的处理问题来确定车辆202相对于车道标记的位置。此外，道路曲率等会使问题进一步复杂化。因此，可以实现极其精确的车道定位和驾驶，这可以明显地增加驾驶安全性，尤其是当大量车辆在道路上行驶并且需要停留在其相应车道中时。事实上，本文所述的由侧方摄像机、相关算法和神经网络提供的精度可以容许极高的精度，该精度容许其它系统的验证、精确地图的构建、准确的驾驶历史的建立或记录或者需要高度的车道精度的其它任务。
基于准确的定位，可以计算驾驶路径214以将车辆202设置在车道中间，或者将车辆202保持在车道中间或其附近。为了将车辆保持在车道内，可以计算驾驶路径214，并且因此使与其它车道中的其它车辆的事故的风险或者驾驶离开车行道200的风险最小化。可以基于车道中的当前位置以及任何其它可用信息来确定驾驶操纵，其它可用信息是如来自向前和/或向后的摄像机、激光雷达系统108、雷达系统106、地图数据、驾驶历史或任何其它数据的感知信息。例如，车辆202在车道内的当前位置以及车道或道路200的曲率可以用于确定车辆202的未来驾驶路径。
图3描述了由侧方摄像机捕获的示例图像300。图像300示出了具有车道标记304的道路表面302。图像300具有N的像素高度和M的像素宽度。在一个实施例中，车道部件104可以接收图像300并确定从图像300的底部到车道标记304的距离306。距离306可以被确定为像素值(例如像素高度)或者可以基于如英尺或米的距离测量单位来确定。在一个实施例中，可以使用预配置的函数或计算将以像素为单位的距离306转换为距离。例如，可以使用基于摄像机的位置和取向的线性或抛物线函数将像素长度或高度转换成英尺或米。在一个实施例中，车道部件104可以使用神经网络来确定距离306。在一个实施例中，如果不存在车道标记304，则车道部件104可以返回空值，以表明图像中没有车道标记。
在确定从车辆到车道标记的距离时图像300呈现出简化的问题。由于接近在照片中捕获的车道标记以及车道标记距离图像300的底部的距离的可预测的确定(使用神经网络或算法)，可以使用明显更低成本的硬件并且可以实现增加的效率。例如，与向前的摄像机图像相比，由于降低了检测图像300中的屏障的复杂性，因此图像300可以是关于由车辆捕获的其它图像或感知数据的低分辨率图像。
图4是示出根据一个实施例的用于定位车道中的车辆的方法400的示意图。方法400可以由车道部件104和/或自动驾驶/辅助系统102执行。
方法400开始，并且从一个或多个摄像机接收摄像机数据402。摄像机数据402可以包括来自一个或多个侧方摄像机的数据，例如收集针对车辆的左侧和/或右侧的地面区域的图像的摄像机(例如参见图2)。基于摄像机数据402，车道部件104在404处确定摄像机数据402中检测到的母车辆和任何车道标记之间的距离。在一个实施例中，可以在404处使用神经网络确定车辆和车道标记之间的距离。在一个实施例中，车道部件104可以基于与车辆任一侧上的标记的距离来确定车道中的位置。
根据一个实施例，神经网络包括具有7、8或更多层的深度卷积神经网络。该神经网络可以包括对应于车道标记(例如画出的车道线)的厚度(以像素为单位)的卷积滤波器窗口。例如，卷积神经网络可以包括图像的每个像素的输入，并且连续层可以组合来自多个先前层的输出。来自前一层的输出的数量可以对应于卷积窗口大小。在一个实施例中，车道部件104使用一个或多个神经网络在404处确定距离，该神经网络包括用于表示回归的欧几里得损失层。该神经网络可以被配置为接收宽度为M个像素和高度为N个像素的有色图像，并且输出在0到N的范围内的单个整数。输出整数可以对应于图像底部到第一像素的距离(以像素为单位)，该第一像素对应于车道标记。当适当地缩放时，输出整数可以表示母车辆的中心和车道标记之间的距离。在一个实施例中，可以使用来自车辆两侧的图像来执行确定与车道标记的距离。
在406处车道部件104随时间滤波并跟踪所确定(在404处)的距离。例如，车道部件104在406处可以滤波来自神经网络的输出(例如基于顺序图像)。在一个实施例中，车道部件104在406处使用状态空间估算技术滤波输出，并跟踪变化以提供对于平衡车道中的车辆和/或各种主动安全应用有用的信息。车道部件104(或自动驾驶/辅助系统100)在408处基于在406处的滤波和跟踪的距离来确定驾驶操纵或警告。例如，如果该距离倾向于远离车道的中间或朝向车道标记，则车道部件104可以确定驾驶路径的变化以使车辆朝向车道中间移动。作为另一示例，如果该距离趋向于远离车道的中间，则可以向人类驾驶员提供警告以推荐移动回到车道的中间。
图5是说明根据一个实施方式的车道部件104的示例部件的框图。在所示的实施例中，车道部件104包括感知部件502、车道标记部件504、滤波器部件506、驾驶操纵部件508和通知部件510。部件502-510仅作为说明而给出并且可以并非全部包括在所有实施例中。事实上，一些实施例可以包括部件502-510中的仅一个或两个或更多个的任何组合。进一步地，部件502-510中的一些可以位于车道部件104外部，例如在自动驾驶/辅助系统102内。
感知部件502被配置为从车辆的一个或多个感知传感器接收感知数据。例如，感知部件502可以从雷达系统106、激光雷达系统108、摄像机系统110和/或超声系统114接收传感器数据。感知数据可以包括来自车辆的任何方向上的区域的数据。例如，当车辆沿着道路驾驶或者驾驶通过任何其它驾驶环境时，传感器系统可以周期地提供关于驾驶环境的数据。
在一个实施例中，感知数据包括来自位于车辆第一侧的第一摄像机和位于车辆第二侧的第二摄像机的图像。第一和第二摄像机可以包括被定位和定向用于捕获车辆附近的地面区域的图像的摄像机。例如，摄像机可以面向大体上垂直于车辆的驾驶轴线的方向(例如面向侧方)。该术语大体上意思是图像不需要精确地垂直，而是总体面向垂直于驾驶轴线(例如行驶方向)的方向。摄像机可以定位在车辆的相对侧上，例如在左侧和右侧。进一步地，摄像机图像可以包括低分辨率摄像机图像。例如，车辆可以包括一个或多个其它摄像机，例如面向前的摄像机，其提供比侧方摄像机明显更高分辨率的图像。
车道标记部件504被配置用于确定车辆与车辆附近的一个或多个车道标记之间的距离。例如，车道标记部件504可以确定车辆和左侧的车道标记之间的距离，并且还确定车辆和右侧车道标记之间的距离。基于与左侧和/或右侧上的车道标记的距离，车道标记部件504能够确定车辆是否在当前车道内居中或者车辆是否正朝向或远离车道中间移动。该距离可以是车辆的中心或侧面板与车道标记之间的距离。
在一个实施例中，车道标记部件504使用一个或多个神经网络来确定车辆和车道标记之间的距离。神经网络可以包括先前已经被训练用于确定车辆和车道标记之间的距离的网络。在一个实施例中，神经网络可以包括深度卷积神经网络。神经网络可以具有基于车道标记的厚度而确定尺寸的卷积滤波器窗口。例如，网络的层可以使用先前层的多个输出作为该层的输入。用作输入的输出的数量可以对应于高度(以像素为单位)，该高度是在图像内车道标记预期具有的高度。在一个实施例中，神经网络可以包括欧几里得损失层。
在一个实施例中，神经网络被配置为将M(宽度)乘N(高度)图像的每个像素作为输入，并且输出具有从0到N的值的整数(图像以像素为单位的高度)。输出可以对应于从图像的底部到对应于车道标记的最低像素的距离(以像素为单位)。在一个实施例中，可以使用偏移值和缩放(线性地、双曲线地或以其它方式)输出整数的函数来计算与车辆的侧面板或中心的距离(以英尺或米为单位)。
在一个实施例中，可以通过提供由侧方摄像机捕获并由人类注解的图片来训练该神经网络。由于侧方摄像机和/或找到图像底部和车道标记之间的距离的整数值明显简化了车道定位，因此可以需要更少的图像来训练神经网络。此外，由于由侧方摄像机捕获的图像之间的差异不会像顶置或安装在挡风玻璃的摄像机那样随车辆的不同而明显变化，因此针对不同的车辆可以重新使用或重新训练被训练过的神经网络。事实上，本文所述的侧方摄像机和相关的距离算法的精度可以足够高，以使侧方摄像机可用于地图构建、其它算法的验证等。
滤波器部件506被配置用于接收距离值(包括原始像素值或缩放/偏移距离单位值)。滤波器部件506可以随时间跟踪距离值，以检测移动的车辆的趋势。例如，滤波器部件506可以确定母车辆(例如装载有摄像机和/或车道部件104的车辆)正在远离或朝向当前车道的中间移动。滤波器部件506可以滤波距离值以移除检测的距离中的随机误差和/或计算反映车道内车辆车道位置的平滑曲线。跟踪和/或滤波的值可以用于计算驾驶操作或执行其它自动驾驶或辅助功能。
驾驶操纵部件508可以确定要由车辆执行和/或被建议给车辆控制器或人类驾驶员的一个或多个驾驶操纵。在一个实施例中，驾驶操纵部件508确定将车辆居中地设置或保持在车道标记之间的驾驶操纵。驾驶操纵可以包括速度、转弯或使车辆沿着道路进行操纵的其它驾驶方面。在一个实施例中，驾驶操纵可以引起车轮的逐渐或轻微的转向，以使车辆移动到或停留在车道内的中间位置或任何其它期望的位置。例如，在一个实施例中，驾驶操纵部件508可以确定为了避开碎片而将车辆设置在车道的左侧或右侧附近的驾驶路径，增加母车辆和相邻车辆之间的距离和/或执行在车道内的其它定位操纵。因此，车道部件104可以容许车辆在车道内的不同位置，同时考虑当前驾驶情况。明显地，在即将发生碰撞、车道变化等的情况下，驾驶操纵部件508可以容许车辆离开当前车道。
通知部件510被配置为向人类驾驶员或驾驶控制系统提供车辆相对于车道或一个或多个车道标记的定位或位置的通知。例如，通知部件510可以向人类驾驶员或控制系统提供一个或多个距离值。在一个实施例中，通知部件510可以向人类驾驶员提供车辆没有居中或正在从车道中间偏移的通知。例如，可以在如抬头显示器的显示器、仪表板指示器或者使用提供语音或音频通知的扬声器来提供通知。该通知可以表明车辆相对于车道的位置，以将人驾驶员的注意力引导到车辆在车道中的位置。在一个实施例中，通知部件510可以建议要执行的操纵，例如由驾驶操纵部件508确定的操纵。例如，通知部件510可以建议驾驶员或车辆控制系统使车辆朝向车道中间移动。
在一个实施例中，通知部件510配置用于通知自动驾驶/辅助系统102的决策制定系统或部件。例如，通知部件可以向驾驶操纵部件508提供表明车辆相对于一个或多个车道标记或当前车道的位置的通知。决策制定系统或部件之后在确定要由车辆执行的驾驶路径或驾驶操纵时能够使用该位置或考虑建议的操纵。
现在参考图6，示出了用于确定车辆在车道中的位置的方法600的示意性流程图。该方法600可以由车道部件或自动驾驶/辅助系统执行，例如图1或图5的车道部件104或图1的自动驾驶/辅助系统102。
方法600开始，并且感知部件502在602处接收来自位于车辆第一侧上的第一摄像机和位于车辆第二侧上的第二摄像机的感知信息。车道标记部件504在604处使用一个或多个神经网络确定车辆相对于车辆第一侧和第二侧上的车道标记的位置。通知部件510在606处将车辆的位置通知给驾驶员或控制系统。
示例
下列示例属于进一步的实施例。
示例1是一种方法，其包括接收来自位于车辆第一侧的第一摄像机以及位于车辆第二侧的第二摄像机的感知信息。该方法包括使用一个或多个神经网络确定车辆相对于车辆的第一侧和第二侧上的车道标记的位置。该方法还包括将车辆的位置通知给驾驶员或控制系统。
在示例2中，示例1中的一个或多个神经网络包括深度卷积神经网络。
在示例3中，示例2中的深度卷积神经网络包括基于车道标记的厚度而设置尺寸的卷积滤波器窗口。
在示例4中，示例1-3的任何一个中的一个或多个神经网络中的至少一个包含欧几里得损失层。
在示例5中，示例1-4的任何一个中一个或多个神经网络配置用于接收具有宽度和高度的图像并且用于输出车辆与一个或多个车道标记中的车道标记之间的距离。
在示例6中，示例5中的距离包括从0到图像的高度(以像素为单位)的范围的数字。
在示例7中，示例5-6中的任何一个中的距离表明下列中的一个或多个：从车辆中心到车道标记的距离、以及从车辆的一侧到车道标记的距离。
在示例8中，示例1-7中任何一个中的摄像机面向大体上垂直于车辆的驾驶轴线的方向。
在示例9中，示例1-8中任何一个中的方法包括确定将车辆居中地设置或保持在车道标记之间的行驶操纵，其中通知驾驶员或控制系统包括向驾驶员或控制系统提供该驾驶操纵。
示例10是一种包括感知部件、车道标记部件和通知部件的系统。感知部件被配置用于接收来自位于车辆第一侧上的第一摄像机和位于车辆第二侧上的第二摄像机的数据。车道标记部件被配置用于确定车辆与位于车辆第一侧的车道标记之间的距离，并且确定车辆与位于车辆第二侧的车道标记之间的距离。通知部件被配置用于将车辆的位置通知给驾驶员或控制系统。
在示例11中，示例10中的车道标记部件被配置用于使用一个或多个神经网络来确定车辆与位于车辆第一侧的车道标记之间的距离，并且用于确定车辆与位于车辆第二侧的车道标记之间的距离。
在示例12中，示例11的一个或多个神经网络包括深度卷积神经网络，其中深度卷积神经网络包括基于车道标记的厚度设置尺寸的卷积滤波器窗口。
在示例13中，示例11-12中任何一个中的一个或多个神经网络被配置用于接收具有宽度为M和高度为N的图像，并且输出车辆与一个或多个车道标记中的车道标记之间的距离，并且其中该输出包括从0到N的范围内的数字。
在示例14中，示例10-13中任一项中的系统还包括操纵部件，该操纵部件配置用于确定驾驶操纵以将车辆居中地设置或保持在车道标记之间，其中通知部件被配置为向驾驶员或控制系统提供驾驶操纵。
在示例15中，示例10-14中任一个中的系统还包括第一摄像机和第二摄像机。
在示例16中，示例10-15中任一个中的系统还包括车辆。
示例17是一种存储指令的计算机可读存储介质，当由一个或多个处理器执行时，该指令使处理器接收来自第一摄像机和第二摄像机两者的数据，其中第一摄像机定位在车辆的第一侧上并且第二摄像机定位在与第一侧相对的车辆第二侧上。该指令还使一个或多个处理器使用神经网络来确定车辆相对于位于车辆第一侧和第二侧的车道标记的位置。该指令还使一个或多个处理器将车辆的位置通知给驾驶员或控制系统。
在示例18中，示例17中的控制系统包括自动控制系统和驾驶员辅助系统中的一个或多个。
在示例19中，示例17-18中任何一个中的神经网络包括深度卷积神经网络，该深度卷积神经网络包括基于车道标记的厚度而设置尺寸的卷积滤波器窗口。
在示例20中，示例17-19中任何一个中的确定车辆的位置包括确定下列中的一个或多个：从车辆的中心到多个车道标记中的一个车道标记的距离和从车辆的侧面到多个车道标记中的一个车道标记的距离。
示例21是包括用于实施示例1-20中的任一个的方法、系统或装置的手段的系统或装置。
在上述公开中，已经参考形成其一部分的附图，并且其中举例示出了可以实施本公开的具体实施方式。应当理解的是，在不脱离本公开的范围的情况下，可以利用其它实施方式并且可以作出结构变化。说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表明所描述的实施例可包括特定特征、结构或特性，但并非每个实施例一定包括该特定特征、结构或特性。此外，这样的短语不一定指代相同的实施例。进一步地，当结合实施例描述具体特征、结构或特性时，可以认为在本领域技术人员的认知范围内的是，关于无论是否明确描述的其它实施例可改变这样的特征、结构或特性。
如本文所使用的，“自主车辆”可以是完全独立于人类驾驶员动作或操作的车辆；或者可以是在一些情况下独立于人类驾驶员而动作或操作但在其它情况下人类驾驶员能够操作该车辆的车辆；或者可以是主要由人类驾驶员在自动驾驶/辅助系统的辅助下操作的车辆。
本文公开的系统、装置和方法的实施方式可以包括或利用包括计算机硬件的专用或通用计算机，如本文所述的一个或多个处理器和系统存储器。在本公开的范围内的实施方式还可以包括用于传送或存储计算机可执行指令和/或数据结构的物理和其它计算机可读介质。这样的计算机可读介质可以是由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。传送计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实施方式可以包括至少两种明显不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(可擦除可编程只读存储器)、CD-ROM(只读光盘存储器)、固态驱动器(“SSD”)(例如基于RAM)、闪存、相变存储器(“PCM”)、其它类型的存储器、其它光盘存储器、磁盘存储器或其它磁性存储装置或可用于以计算机可执行指令或数据结构的形式存储所需的程序代码并且可以由通用或专用计算机访问的任何其它介质。
本文所公开的装置、系统和方法的实施方式可以通过计算机网络进行通信。“网络”被限定为能够在计算机系统和/或模块和/或其它电子装置之间实现电子数据传输的一个或多个数据链路。当通过网络或另一通信连接(硬连线、无线、或硬连线或无线的组合)向计算机传输或提供信息时，计算机适当地将该连接视为传输介质。传输介质可以包括网络和/或数据链路，其可以用于以计算机可执行指令或数据结构的形式传送所需的程序代码，并且可以由通用或专用计算机访问。上述的组合也应包括在计算机可读介质的范围内。
计算机可执行指令包括例如指令和数据，当在处理器处执行时，该指令或数据使通用计算机、专用计算机或专用处理装置执行某一功能或一组功能。计算机可执行指令可以是例如二进制、如汇编语言的中间格式指令或甚至是源代码。虽然已经用具体化为结构特征和/或方法动作的语言描述了该主题，但应当理解的是，所附权利要求所限定的主题不一定限制于上文所描述的特征或动作。相反地，所描述的特征和动作作为实施权利要求的示例形式而被公开。
本领域技术人员将理解的是，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实施，该计算机系统配置包括仪表板车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持装置、多处理器系统、基于微处理器或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA(个人数字助理)、平板电脑、寻呼机、路由器、交换机、各种存储设备等。本公开还可以在分布式系统环境中实施，其中通过网络链接(通过硬连线数据链路、无线数据链路或通过硬连线和无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器存储装置中。
进一步地，在适当的情况下，可以在下列中的一个或多个中实施本发明所描述的功能：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(ASIC)可以被编程用于执行本文描述的系统和程序中的一个或多个。在整个说明书和权利要求书中使用的某些术语指代特定的系统部件。如本领域技术人员将理解的，部件可以通过不同的名称来指代。本文并非意在区分名称不同而功能相同的部件。
应当注意的是，上述传感器实施例可以包括用于执行其功能的至少一部分的计算机硬件、软件、固件或它们的任何组合。例如，传感器可以包括配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例装置在本文中为了说明的目的而提供，并且并非意在限制。如相关领域的技术人员所知道的，本公开的实施例可以在其它类型的装置中实施。
本公开的至少一些实施例涉及计算机程序产品，该计算机程序产品包括存储在任何计算机可用介质上的这种逻辑(例如以软件的形式)。当在一个或多个数据处理装置中执行时，这样的软件使得装置如本文所描述的那样操作。
虽然上文已经描述了本公开的各种实施例，但应当理解的是，它们仅仅是作为示例而呈现，而不是限制。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的宽度和范围不应由任何上述示例性实施例限制，而是仅根据下列权利要求及其等同的范围来限定。前文的描述是为了说明和描述的目的而呈现。其并不旨在穷举或将本公开限制为所公开的精确形式。根据上述教导，许多修改和变化是可行的。进一步地，应当注意的是，任何或所有上述可选实施方式可以以期望的任何组合使用以形成本公开的另外的混合实施方式。
此外，尽管已经描述和示出了本公开的具体实施方式，但本公开不限于如此描述和示出的部件的具体形式或设置。本公开的范围由所附权利要求、这里提交的任何进一步的权利要求和不同的应用及其等同范围来限定。

Claims (15)

1.一种用于车辆的方法，所述方法包含：
接收来自位于车辆的第一侧上的第一摄像机和位于所述车辆的第二侧上的第二摄像机的感知信息；
使用一个或多个神经网络确定所述车辆相对于所述车辆的所述第一侧和所述第二侧上的车道标记的位置，其中所述一个或多个神经网络包含深度卷积神经网络，所述深度卷积神经网络包含基于所述车道标记的厚度设置尺寸的卷积滤波器窗口，其中所述一个或多个神经网络配置用于接收包含宽度M和高度N的图像并且输出所述车辆与所述一个或多个车道标记中的车道标记之间的距离，并且其中所述输出包含在0到N的范围内的单个整数，所述整数对应于从所述图像底部到对应于车道标记的第一像素的距离；以及
将所述车辆的所述位置通知给驾驶员或控制系统。
2.根据权利要求1所述的方法，其中所述一个或多个神经网络中的至少一个包含欧几里得损失层。
3.根据权利要求1所述的方法，其中所述卷积神经网络包括图像的每个像素的输入，并且连续层组合来自多个先前层的输出，来自前一层的输出的数量对应于卷积窗口大小。
4.根据权利要求1所述的方法，其中所述距离包含以像素为单位的从0到所述图像的高度范围内的数字。
5.根据权利要求3所述的方法，其中所述距离表明下列中的一个或多个：
所述车辆的中心到所述车道标记的距离；以及
所述车辆的侧面到所述车道标记的距离。
6.根据权利要求3所述的方法，其中所述摄像机面向大体垂直于所述车辆的驾驶轴线的方向。
7.根据权利要求1所述的方法，进一步包含确定将所述车辆居中地设置或保持在所述车道标记之间的驾驶操纵，其中通知所述驾驶员或所述控制系统包含将所述驾驶操纵提供给所述驾驶员或所述控制系统。
8.一种用于车辆的系统，包含：
感知部件，所述感知部件配置用于接收来自位于车辆的第一侧上的第一摄像机和位于所述车辆的第二侧上的第二摄像机的数据；
车道标记部件，所述车道标记部件配置为使用一个或多个神经网络：
确定所述车辆与位于所述车辆的所述第一侧的车道标记之间的距离，以及
确定所述车辆与位于所述车辆的所述第二侧的车道标记之间的距离，其中所述一个或多个神经网络包含深度卷积神经网络，其中所述深度卷积神经网络包含基于所述车道标记的厚度设置尺寸的卷积滤波器窗口，其中所述一个或多个神经网络配置用于接收包含宽度M和高度N的图像并且输出所述车辆与所述一个或多个车道标记中的车道标记之间的距离，并且其中所述输出包含在0到N的范围内的单个整数，所述整数对应于从所述图像底部到对应于车道标记的第一像素的距离；以及
通知部件，所述通知部件配置用于将所述车辆的位置通知给驾驶员或控制系统。
9.根据权利要求8所述的系统，其中所述卷积神经网络包括图像的每个像素的输入，并且连续层组合来自多个先前层的输出，来自前一层的输出的数量对应于卷积窗口大小。
10.根据权利要求8所述的系统，进一步包含操纵部件，所述操纵部件配置用于确定将所述车辆居中地设置或保持在所述车道标记之间的驾驶操纵，其中所述通知部件配置用于向所述驾驶员或所述控制系统提供所述驾驶操纵。
11.根据权利要求8所述的系统，进一步包含第一摄像机和第二摄像机。
12.根据权利要求8所述的系统，进一步包含所述车辆。
13.一种存储指令的计算机可读存储介质，当由一个或多个处理器执行时，所述指令使所述处理器：
接收来自第一摄像机和第二摄像机两者的数据，其中所述第一摄像机定位在车辆的第一侧上并且所述第二摄像机定位在与所述第一侧相对的所述车辆的第二侧上；
使用神经网络确定所述车辆相对于位于所述车辆的所述第一侧和所述第二侧的车道标记的位置，其中所述神经网络包含深度卷积神经网络，所述深度卷积神经网络包含基于所述车道标记的厚度来设置尺寸的卷积滤波器窗口，其中所述一个或多个神经网络配置用于接收包含宽度M和高度N的图像并且输出所述车辆与所述一个或多个车道标记中的车道标记之间的距离，并且其中所述输出包含在0到N的范围内的单个整数，所述整数对应于从所述图像底部到对应于车道标记的第一像素的距离；以及
将所述车辆的所述位置通知给驾驶员或控制系统。
14.根据权利要求13所述的计算机可读存储介质，其中所述控制系统包含自动控制系统和驾驶员辅助系统中的一个或多个。
15.根据权利要求13所述的计算机可读存储介质，其中确定所述车辆的所述位置包含确定下列中的一个或多个：
所述车辆的中心距所述车道标记中的车道标记的距离，以及
所述车辆的侧面距所述车道标记中的车道标记的距离。
CN201710149799.4A 2016-03-17 2017-03-14 车辆车道边界定位 Active CN107203738B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/073,180 2016-03-17
US15/073,180 US10124730B2 (en) 2016-03-17 2016-03-17 Vehicle lane boundary position

Publications (2)

Publication Number Publication Date
CN107203738A CN107203738A (zh) 2017-09-26
CN107203738B true CN107203738B (zh) 2022-04-12

Family

ID=58605460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710149799.4A Active CN107203738B (zh) 2016-03-17 2017-03-14 车辆车道边界定位

Country Status (6)

Country Link
US (1) US10124730B2 (zh)
CN (1) CN107203738B (zh)
DE (1) DE102017105661A1 (zh)
GB (1) GB2550256A (zh)
MX (1) MX2017003499A (zh)
RU (1) RU2017107947A (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180188736A1 (en) * 2016-08-16 2018-07-05 Faraday&Future Inc. System and method for vehicle localization assistance using sensor data
JP2018060268A (ja) * 2016-10-03 2018-04-12 株式会社日立製作所 認識装置および学習システム
JP6686871B2 (ja) * 2016-12-26 2020-04-22 トヨタ自動車株式会社 自動運転システム
KR101878490B1 (ko) * 2017-03-10 2018-07-13 만도헬라일렉트로닉스(주) 차선 인식 시스템 및 방법
DE102017216802A1 (de) 2017-09-22 2019-03-28 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
EP3477616A1 (en) * 2017-10-27 2019-05-01 Sigra Technologies GmbH Method for controlling a vehicle using a machine learning system
JP6918425B2 (ja) * 2017-11-09 2021-08-11 株式会社Ｍｏｂｉｌｉｔｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ 撮影画像に含まれる境界線を検出するための装置、方法、及びプログラム
EP3495220B1 (en) * 2017-12-11 2024-04-03 Volvo Car Corporation Path prediction for a vehicle
EP3495219B1 (en) * 2017-12-11 2023-07-05 Volvo Car Corporation Path prediction for a vehicle
US20190185012A1 (en) 2017-12-18 2019-06-20 PlusAI Corp Method and system for personalized motion planning in autonomous driving vehicles
US11130497B2 (en) 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US11273836B2 (en) 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
CN111527013B (zh) * 2017-12-27 2024-02-23 宝马股份公司 车辆变道预测
JP7204326B2 (ja) * 2018-01-15 2023-01-16 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム
US10997433B2 (en) * 2018-02-27 2021-05-04 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
DE102018116036A1 (de) * 2018-07-03 2020-01-09 Connaught Electronics Ltd. Training eines tiefen konvolutionellen neuronalen Netzwerks für individuelle Routen
DE102018215055A1 (de) 2018-09-05 2020-03-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bestimmen einer Spurwechselangabe eines Fahrzeugs, ein computerlesbares Speichermedium und ein Fahrzeug
KR102115915B1 (ko) * 2018-10-08 2020-05-27 주식회사 만도 차선 인식의 왜곡을 판단하여 차량을 제어하는 장치 및 방법
KR102483649B1 (ko) * 2018-10-16 2023-01-02 삼성전자주식회사 차량 위치 결정 방법 및 차량 위치 결정 장치
DE102018220803A1 (de) * 2018-12-03 2020-06-04 Robert Bosch Gmbh Spurgenaue Lokalisierung von Fahrzeugen
CN109740469B (zh) * 2018-12-24 2021-01-22 百度在线网络技术（北京）有限公司 车道线检测方法、装置、计算机设备和存储介质
US11304156B2 (en) 2019-01-04 2022-04-12 Qualcomm Incorporated Physical layer aspects for hierarchical mobility
US11544940B2 (en) * 2019-01-04 2023-01-03 Qualcomm Incorporated Hybrid lane estimation using both deep learning and computer vision
US11475678B2 (en) * 2019-01-04 2022-10-18 Qualcomm Incorporated Lane marker detection and lane instance recognition
CN110088766B (zh) * 2019-01-14 2023-10-03 京东方科技集团股份有限公司 车道线识别方法、车道线识别装置以及非易失性存储介质
US11093761B2 (en) * 2019-03-06 2021-08-17 GM Global Technology Operations LLC Lane position sensing and tracking in a vehicle
KR20210149037A (ko) * 2019-03-08 2021-12-08 올라코 프로덕츠 비.브이. 신경망을 훈련 및 이용해 에고 부분 위치를 검출하기 위한 방법
CN109979204A (zh) * 2019-04-02 2019-07-05 浙江多普勒环保科技有限公司 光切割多车道速度及加速度检测装置及其方法
KR102548345B1 (ko) 2019-06-07 2023-06-28 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미 티드 비디오 코딩을 위한 서브-블록 시간적 움직임 벡터 예측
CN111323756B (zh) * 2019-12-30 2022-05-13 北京海兰信数据科技股份有限公司 一种基于深度学习的航海雷达目标检测方法及装置
CN111353466B (zh) * 2020-03-12 2023-09-22 北京百度网讯科技有限公司 车道线识别处理方法、设备、存储介质
US20220026234A1 (en) * 2021-02-25 2022-01-27 Kabushiki Kaisha Toshiba Drive control device, drive control method, and computer program product
GB2605365B (en) * 2021-03-22 2024-04-10 Fusion Proc Limited System for monitoring a position of a vehicle
US12017661B2 (en) 2021-07-13 2024-06-25 Canoo Technologies Inc. System and method in vehicle path prediction based on full nonlinear kinematics
US11908200B2 (en) 2021-07-13 2024-02-20 Canoo Technologies Inc. System and method in the prediction of target vehicle behavior based on image frame and normalization
US11845428B2 (en) * 2021-07-13 2023-12-19 Canoo Technologies Inc. System and method for lane departure warning with ego motion and vision
US11840147B2 (en) 2021-07-13 2023-12-12 Canoo Technologies Inc. System and method in data-driven vehicle dynamic modeling for path-planning and control
US11891059B2 (en) 2021-07-13 2024-02-06 Canoo Technologies Inc. System and methods of integrating vehicle kinematics and dynamics for lateral control feature at autonomous driving
US11891060B2 (en) 2021-07-13 2024-02-06 Canoo Technologies Inc. System and method in lane departure warning with full nonlinear kinematics and curvature
US20230286500A1 (en) * 2022-03-11 2023-09-14 Fusion Processing Limited System for monitoring a position of a vehicle

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945207A (zh) * 2006-09-15 2007-04-11 江苏大学 驾驶员车道保持辅助方法及装置
CN102201167A (zh) * 2010-04-07 2011-09-28 宫宁生 基于视频的汽车车道自动识别方法
CN102765422A (zh) * 2011-05-05 2012-11-07 通用汽车环球科技运作有限责任公司 用于调节车道居中转向控制的平滑度的系统和方法
CN203332108U (zh) * 2013-06-09 2013-12-11 兰州工业学院 一种危险驾驶行为识别装置
CN204701532U (zh) * 2015-05-25 2015-10-14 长安大学 一种基于车辆碰撞预警系统的防误报警装置
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
CN105487070A (zh) * 2014-10-06 2016-04-13 日本电产艾莱希斯株式会社 雷达系统、雷达信号处理装置、车辆行驶控制装置以及方法及电脑程序
CN106023596A (zh) * 2016-07-21 2016-10-12 北京奇虎科技有限公司 基于行车视频的车辆违章检测方法、装置及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090043506A1 (en) * 1997-10-22 2009-02-12 Intelligent Technologies International, Inc. Method and System for Controlling Timing of Vehicle Transmissions
US7979172B2 (en) * 1997-10-22 2011-07-12 Intelligent Technologies International, Inc. Autonomous vehicle travel control systems and methods
JP3941252B2 (ja) 1998-08-07 2007-07-04 マツダ株式会社 車両の位置検出装置
CN101016052A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防车道偏离预警方法和系统
DE102008038731A1 (de) 2008-08-12 2010-02-18 Continental Automotive Gmbh Verfahren zur Erkennung ausgedehnter statischer Objekte
JP2012226392A (ja) * 2011-04-14 2012-11-15 Honda Elesys Co Ltd 運転支援システム
CN102806913B (zh) * 2011-05-31 2015-04-15 德尔福电子(苏州)有限公司 一种车道线偏离检测方法及装置
JP6047891B2 (ja) * 2012-03-01 2016-12-21 日産自動車株式会社 車両用走行制御装置
CN102819263B (zh) 2012-07-30 2014-11-05 中国航天科工集团第三研究院第八三五七研究所 多摄像头无人车视觉感知系统
DE102012215322A1 (de) * 2012-08-29 2014-03-06 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur
CN103057470B (zh) * 2012-12-06 2015-09-16 重庆交通大学 一种车辆违章压线预先提示装置及其提示方法
KR101715014B1 (ko) 2013-01-23 2017-03-10 주식회사 만도 주차 보조 장치 및 그 주차 보조 방법
CN104700657A (zh) 2013-12-06 2015-06-10 大连东浦机电有限公司 一种基于人工神经网络的周边车辆行为预判系统
KR101565006B1 (ko) 2014-05-30 2015-11-13 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
CN104036253A (zh) * 2014-06-20 2014-09-10 智慧城市系统服务（中国）有限公司 一种车道线追踪方法及系统
CN104318258B (zh) * 2014-09-29 2017-05-24 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
KR102534792B1 (ko) * 2015-02-10 2023-05-19 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
US10449899B2 (en) * 2015-05-08 2019-10-22 Magna Electronics Inc. Vehicle vision system with road line sensing algorithm and lane departure warning
US20160371983A1 (en) * 2015-06-22 2016-12-22 Garmin Switzerland Gmbh Parking assist system and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945207A (zh) * 2006-09-15 2007-04-11 江苏大学 驾驶员车道保持辅助方法及装置
CN102201167A (zh) * 2010-04-07 2011-09-28 宫宁生 基于视频的汽车车道自动识别方法
CN102765422A (zh) * 2011-05-05 2012-11-07 通用汽车环球科技运作有限责任公司 用于调节车道居中转向控制的平滑度的系统和方法
CN203332108U (zh) * 2013-06-09 2013-12-11 兰州工业学院 一种危险驾驶行为识别装置
CN105487070A (zh) * 2014-10-06 2016-04-13 日本电产艾莱希斯株式会社 雷达系统、雷达信号处理装置、车辆行驶控制装置以及方法及电脑程序
US9286524B1 (en) * 2015-04-15 2016-03-15 Toyota Motor Engineering & Manufacturing North America, Inc. Multi-task deep convolutional neural networks for efficient and robust traffic lane detection
CN204701532U (zh) * 2015-05-25 2015-10-14 长安大学 一种基于车辆碰撞预警系统的防误报警装置
CN106023596A (zh) * 2016-07-21 2016-10-12 北京奇虎科技有限公司 基于行车视频的车辆违章检测方法、装置及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Applying a Functional Neurofuzzy Network to Real-Time Lane Detection and Front-Vehicle Distance Measurement;Chi-Feng Wu 等;《IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS—PART C: APPLICATIONS AND REVIEWS》;20120731;第42卷(第04期);第577-589页 *
基于神经网络的车道偏移自动检测的研究;马兆敏 等;《科学技术与工程》;20121031;第12卷(第30期);第8097-8099页 *
复杂路况的车道线检测与识别算法研究;马一萌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160815(第（2016）08期);I138-1253 *

Also Published As

Publication number Publication date
US10124730B2 (en) 2018-11-13
CN107203738A (zh) 2017-09-26
GB2550256A (en) 2017-11-15
MX2017003499A (es) 2018-08-15
RU2017107947A (ru) 2018-09-13
DE102017105661A1 (de) 2017-09-21
US20170267177A1 (en) 2017-09-21
GB201704139D0 (en) 2017-04-26

Similar Documents

Publication Publication Date Title
CN107203738B (zh) 车辆车道边界定位
EP3640599B1 (en) Vehicle localization method and apparatus
CN107031650B (zh) 基于驾驶员肢体语言来预测车辆运动
CN107644197B (zh) 后部摄像机车道检测
CN106873580B (zh) 基于感知数据在交叉口处自主驾驶
US10529083B2 (en) Methods and systems for estimating distance of an object from a moving vehicle
US10336326B2 (en) Lane detection systems and methods
US20230005374A1 (en) Systems and methods for predicting blind spot incursions
US10055652B2 (en) Pedestrian detection and motion prediction with rear-facing camera
CN106891888B (zh) 车辆转向信号检测
CN108230731B (zh) 停车场导航系统和方法
CN107339997B (zh) 自主车辆的路径规划装置及方法
EP3493108A1 (en) Lane maintaining method and apparatus
US20170206426A1 (en) Pedestrian Detection With Saliency Maps
JP7518893B2 (ja) 緊急車両の検出
US20140365109A1 (en) Apparatus and method for recognizing driving lane
US11267463B2 (en) Information processing device, information processing method, and computer program product
EP3467799A1 (en) Vehicle movement prediction method and apparatus
EP3784541A1 (en) System and method for determining car to lane distance
US20120259546A1 (en) Apparatus and method for displaying road guide information on windshield
CN115552200A (zh) 用于生成重要性占据栅格地图的方法和系统
CN112046481B (zh) 自动驾驶装置和方法
CN112740224A (zh) 道路环境信息的自动化众包
EP4019351A1 (en) Vehicle control method and device, vehicle and storage medium
JP6824809B2 (ja) 走行支援装置、撮像システム、車両、及び走行支援システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant