CN107644197A - 后部摄像机车道检测 - Google Patents

后部摄像机车道检测 Download PDF

Info

Publication number
CN107644197A
CN107644197A CN201710569530.1A CN201710569530A CN107644197A CN 107644197 A CN107644197 A CN 107644197A CN 201710569530 A CN201710569530 A CN 201710569530A CN 107644197 A CN107644197 A CN 107644197A
Authority
CN
China
Prior art keywords
track
vehicle
data
component
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710569530.1A
Other languages
English (en)
Other versions
CN107644197B (zh
Inventor
斯科特·文森特·迈尔斯
亚历山德鲁·米哈伊·古尔吉安
艾希莉·伊丽莎白·米克斯
亚历山德罗·乔治·沃尔什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107644197A publication Critical patent/CN107644197A/zh
Application granted granted Critical
Publication of CN107644197B publication Critical patent/CN107644197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

一种用于确定车道信息的方法包括从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机。该方法包括基于感知数据使用神经网络确定由感知数据捕获的视野内的道路上的车道数量。该方法包括向自动驾驶系统或驾驶辅助系统提供车道数量的指示。

Description

后部摄像机车道检测
技术领域
本公开涉及辅助或自动驾驶系统、方法和装置，并且更具体地，涉及使用后部摄像机的车道检测。
背景技术
机动车为商业、政府和私人实体提供了大部分的运输。目前正在开发和部署自主车辆和驾驶辅助系统以提供安全特征、减少所需的用户输入量、甚至完全消除用户参与。例如，诸如防撞系统的一些驾驶辅助系统可以在人驾驶时监视车辆的驾驶、位置和速度以及其他物体。当系统检测到碰撞或撞击即将来临时，防撞系统可以干预并实施制动、转向车辆或执行其他规避或安全操纵。作为另一示例，自主车辆可以在很少或没有用户输入的情况下驾驶和导航车辆。然而，由于驾驶的危险和车辆成本，自主车辆和驾驶辅助系统安全运行，并且能够准确地在各种不同类型的道路和驾驶环境中导航路线是非常重要的。
发明内容
根据本发明，提供一种方法，包括：
从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机；
基于所述感知数据使用神经网络确定所述感知数据捕获的视野内的道路上的车道数量；和
向自动驾驶系统或驾驶辅助系统提供所述车道数量的指示。
根据本发明的一个实施例，所述方法还包括使用神经网络确定所述车辆所在的当前车道，其中所述当前车道对应于在获得所述感知数据时车辆的车道位置。
根据本发明的一个实施例，其中所述至少两个传感器包括所述后视摄像机以及以下中的一个或多个：光检测和测距(LIDAR)系统、雷达系统、超声波感测系统或红外摄像机系统。
根据本发明的一个实施例，还包括基于所述感知数据确定垂直方向或水平方向中的一个或多个上的道路斜坡。
根据本发明的一个实施例，还包括基于所述车道数确定驾驶轨迹或规避碰撞选项中的一个或多个。
根据本发明的一个实施例，还包括将所述车道数量的指示存储在驾驶历史中供以后访问。
根据本发明的一个实施例，还包括将所述车道数量的指示上传到远程存储位置。
根据本发明的一个实施例，还包括：
确定车辆的当前位置；
从所述远程存储位置检索驾驶历史数据，其中所述驾驶历史指示所述当前位置的车道数量；和
将所述当前位置的所述车道数量广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
根据本发明，提供一种系统，包括：
感知数据组件，所述感知数据组件被配置为从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机；
车道数量组件，所述车道数量组件被配置为使用神经网络确定由所述感知数据捕获的视野内的道路上的车道数量；和
报告组件，所述报告组件被配置为向自动驾驶系统或驾驶辅助系统提供所述车道数量的指示。
根据本发明的一个实施例，还包括当前车道组件，所述当前车道组件被配置为使用神经网络确定所述车辆所在的当前车道，其中所述当前车道对应于获得所述感知数据时所述车辆的车道位置。
根据本发明的一个实施例，还包括融合组件，所述融合组件被配置为基于来自所述至少两个传感器的所述感知数据生成融合的传感器数据，其中所述确定车道数量包括基于所述融合的传感器数据进行确定。
根据本发明的一个实施例，其中所述至少两个传感器包括所述后视摄像机以及以下中的一个或多个：光检测和测距(LIDAR)系统、雷达系统、超声波感测系统或红外摄像机系统。
根据本发明的一个实施例，还包括斜坡组件，所述斜坡组件被配置为基于所述感知数据确定垂直方向或水平方向中的一个或多个上的道路斜坡。
根据本发明的一个实施例，还包括操纵组件，所述操纵组件被配置为基于所述车道数量确定驾驶轨迹或规避碰撞选项中的一个或多个。
根据本发明的一个实施例，其中所述报告组件还被配置为将所述车道数量的指示上传到远程存储位置。
根据本发明的一个实施例，还包括：
被配置为确定所述车辆的当前位置的位置组件；和
驾驶历史组件，所述驾驶历史组件被配置为：
从所述远程存储位置检索驾驶历史数据，其中所述驾驶历史指示所述当前位置的车道数量或斜坡中的一个或多个；和
将所述当前位置的所述车道数量或所述斜坡广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
根据本发明，提供一种存储指令的计算机可读存储介质，所述指令当由一个或多个处理器执行时使所述处理器进行：
从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机；
基于所述感知数据使用神经网络确定所述感知数据的视野内的道路上的车道数量；和
向自动驾驶系统或驾驶辅助系统提供所述车道数量的指示。
根据本发明的一个实施例，还存储使得所述处理器使用神经网络确定所述车辆所在的当前车道的指令，其中所述当前车道对应于获得所述感知数据时所述车辆的车道位置。
根据本发明的一个实施例，还存储使得所述处理器基于所述车道数量确定驾驶轨迹或规避碰撞选项中的一个或多个的指令。
根据本发明的一个实施例，还存储使所述处理器执行以下操作的指令：
确定所述车辆的当前位置；
从远程存储位置检索驾驶历史数据，其中所述驾驶历史表示所述当前位置的车道数量；和
将所述当前位置的所述车道数量广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
附图说明
参考以下附图描述本公开的非限制性和非穷尽性实施例，其中除非另有说明，相同的附图标记表示各种视图中的相似部分。参考以下描述和附图将更好地理解本公开的优点，其中：
图1示出了包括自动驾驶/辅助系统的车辆控制系统的实施例的示意性框图；
图2示出了示例性道路环境的透视图；
图3示出了另一个示例性的道路环境的透视图；
图4示出了另一个示例性的道路环境的透视图；
图5是根据一个实施方式示出了用于确定车道信息的数据流的示意性框图；
图6是根据一个实施例示出了深层神经网络的示例结构的示意图；
图7是根据一个实施例示出了车道组件的示例性组件的示意性框图；
图8是根据一个实施例示出了用于确定车道信息的方法的示意性框图；和
图9是根据一个实施例示出了计算系统的示意性框图。
具体实施方式
在做决定、导航或驾驶期间，自动驾驶系统或驾驶辅助系统可以使用来自多个源的数据来确定最佳路线或操作。例如，自动驾驶/辅助系统可以包括实时感测驾驶环境的传感器和/或可以访问地图或本地或远程数据存储以获得关于沿着计划的驾驶路线的位置或当前位置的具体细节。在一个实施例中，关于母车辆已经行驶的位置的细节可以存储在驾驶历史数据库中以供以后访问。例如，当车辆返回到具有驾驶历史数据的位置时，自动驾驶/辅助系统可以从驾驶历史中调取数据以获得关于可能对驾驶员或者车辆传感器不是显而易见的位置的细节。
由于驾驶历史数据对于自动驾驶/辅助系统可能是非常有帮助的，所以申请人已经认识到在车辆上使用可用的传感器和计算能力以获取驾驶历史数据的益处。在本申请中，申请人公开了用于使用车辆的后部摄像机或倒车摄像机获取车道线信息的系统、方法和装置，其可以存储在驾驶历史记录中供以后使用。根据一示例实施例，系统包括感知数据组件、车道组件和报告组件。感知数据组件被配置为从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机。车道组件被配置为使用神经网络确定感知数据捕获的视野内的道路上的车道数量。报告组件被配置为向自动驾驶系统或驾驶辅助系统提供车道数量的指示。
车辆上的后视摄像机通常用于倒车，并且在车辆向前移动时空闲或未使用。本文公开的实施例使用后部摄像机来检查道路用于确定车道数量。例如，一些实施例可以使得后部摄像机在车辆上电或移动(向前或向后)的任何时间捕获视频/图像。有关车道数量的信息可用于通知或更新驾驶历史数据库。在一个实施例中，来自后部摄像机的数据也可以用于检测车辆当前所在的车道(即，在收集图像或感知数据的时间)。在一个实施例中，可以使用诸如深层神经网络(DNN,deep neural network)的机器学习算法来检测车道数量或当前车道。
在一个实施例中，驾驶系统可以在倒车时或车辆向前移动时摄像机空闲期间检测道路是几车道宽度。该系统还可以使用后部摄像机来检测车辆当前处于哪个车道。附加的传感器可以与后部摄像机一起使用以产生融合的传感器数据。例如，可以使用光检测和测距(LIDAR，light detection and ranging)系统来收集数据，例如测量表面的反射率，这可以提高车道标记的鲁棒性和定位精度。雷达可用于检测路缘或道路边缘。LIDAR、雷达和/或后部摄像机数据的融合可以允许在各种不同条件下鲁棒地检测车道标记。
在一个实施例中，当没有车道标记存在时，系统可以切换到仅LIDAR模式或仅雷达模式(或仅LIDAR和雷达模式)，因为LIDAR系统或雷达系统可能能够检测到车道的路肩。为了确定车道的数量，可以测量路肩之间的距离并将其除以标准车道宽度。任何小数余项部分可以在车道或路肩之间分割和分配。在一个实施例中，LIDAR和/或雷达可用于执行道路平面分割，从而在水平和垂直方向上确定道路的坡度。申请人认为使用和/或融合其他类型的传感器数据用于确定车道数量是在本公开的范围内。
车道数量和/或当前车道可以被提供给自动驾驶系统或驾驶辅助系统。例如，系统可以使用车道信息来确定如何驾驶车辆、规避障碍物等。车道数量和当前车道可以广播到自动驾驶系统或驾驶辅助系统的所有控制器用于做决定、导航等。在一个实施例中，使用车道当前数量以及当前占据的车道以为安全性和自主轨迹计算规避选项。作为另一示例，可以向用户提供关于车道数量和/或车辆的当前车道的通知(例如平视显示器或导航屏幕)。
在一个实施例中，在特定位置或沿着特定道路的车道数量被存储在驾驶历史数据库中以供以后检索。在一个实施例中，车道数量可以上传到远程服务器或云位置。远程位置可以包括可经由移动通信网络和/或因特网访问的存储。远程存储位置还可以接收和存储来自大量其他车辆的数据，以创建不同车辆之间共享的基于云的驾驶历史。数据可以被聚合或编译，以允许车辆在访问通信网络时访问共享数据。在随后的行程中，可以从本地驾驶历史数据库或云驾驶历史数据库检索车道的当前数量。在一个实施例中，将车道数量广播到车辆的车辆控制总线上的所有控制器，以便确定驾驶路径等。
将关于下面的附图讨论其它实施例和示例。
现在参考附图，图1示出了示例性车辆控制系统100。车辆控制系统100包括自动驾驶/辅助系统102。自动驾驶/辅助系统102可以用于自动化或控制车辆的操作或者向人类驾驶员提供帮助。例如，自动驾驶/辅助系统102可以控制车辆的制动、转向、加速、灯、警报、驾驶员通知、无线电或任何其他驾驶或辅助系统中的一个或多个。在另一示例中，自动驾驶/辅助系统102可能不能提供对驾驶(例如转向、加速或制动)的任何控制，但是可以提供通知和警报以辅助驾驶者安全行驶。例如，自动驾驶/辅助系统102可以包括通过控制器总线提供或接收数据的一个或多个控制器(例如本文所讨论的那些)，并使用数据来确定要执行的动作和/或提供指令或信号启动这些动作。自动驾驶/辅助系统102可以包括车道组件104，车道组件104被配置为基于来自后视摄像机的图像或视频来确定车道数量和/或当前车道。
车辆控制系统100还包括一个或多个传感器系统/装置，其用于检测附近物体、车道标记的存在和/或确定母车辆(例如包括车辆控制系统100的车辆)的位置。例如，车辆控制系统100可以包括雷达系统106、一个或多个LIDAR系统108、一个或多个摄像机系统110、全球定位系统(GPS，global positioning system)112和/或超声系统114。车辆控制系统100可以包括用于存储关于或有助于导航和安全的数据的数据存储器116，例如地图数据、驾驶历史(即驾驶的历史)或其他数据。车辆控制系统100还可以包括用于与移动或无线网络、其他车辆、基础设施、云或远程计算或存储资源或任何其他通信系统进行无线通信的收发机118。
车辆控制系统100可以包括车辆控制致动器120，以控制车辆驾驶的诸如电动机、开关或其他致动器的各个方面，以控制制动、加速、转向等。车辆控制系统100可以包括一个或多个显示器122、扬声器124或其他设备，使得可以提供对人类驾驶员或乘客的通知。显示器122可以包括抬头显示器、仪表板显示器或指示器、显示屏幕或车辆的驾驶员或乘客可以看到的任何其他视觉指示器。扬声器124可以包括车辆的声音系统的一个或多个扬声器，或者可以包括专用于驾驶员通知的扬声器。车辆控制致动器120、显示器122、扬声器124或车辆控制系统100的其他部分可以由自动驾驶/辅助系统102的一个或多个控制器来控制。
在一个实施例中，自动驾驶/辅助系统102被配置为控制母车辆的驾驶或导航。例如，自动驾驶/辅助系统102可以控制车辆控制致动器120以行驶在道路、停车场、行车道或其他位置的车道内。例如，自动驾驶/辅助系统102可以基于由组件106-118中的任一个提供的信息或感知数据来确定路线。传感器系统/设备106-110和114可用于获得实时传感器数据，使得自动驾驶/辅助系统102可以辅助驾驶员或实时驾驶车辆。在一个实施例中，自动驾驶/辅助系统102还使用(本地或远程地)存储在驾驶历史中的信息来确定当前环境中的状况。自动驾驶/辅助系统102可以实现驾驶或辅助驾驶车辆的一个或多个算法、应用、程序或功能。
在一个实施例中，摄像机系统110包括后视摄像机，例如倒车摄像机。摄像机系统110可以包括朝向不同方向的摄像机，以提供车辆附近或周围区域的不同视线和不同视野。例如，一些摄像机可能以一定角度或任何其他方向朝前、朝侧面、朝后。在一个实施例中，来自后部摄像机的图像可以用于确定道路上的车道数量和/或车辆的当前车道。
应当理解，图1的实施例1仅作为示例给出。在不脱离本公开的范围的情况下，其它实施例可以包括更少的或附加的组件。另外，所示的组件可以组合或包括在其他组件中而不限于此。
图2示出了道路200的透视图。该视图示出了车辆的后视摄像机(例如倒车摄像机)在图像中捕获的内容。道路200包括多个标记，包括车道分隔线标记204、道路边界标记202和齿纹标志带206。道路200可以包括用于高速公路或高速大道的道路，其中道路200的所有车道以相同方向前进。标记可以包括机械或非机械标记。机械标记可以包括反射器、齿纹标志带(例如206)等。非机械标记可以包括用油漆、塑料、胶带、环氧树脂等形成的彩色线或标记(白色、黄色等)。
在一个实施例中，车道组件104被配置为检测并确定车道200上的车道数量。例如，车道组件104可以识别道路边界标记202，并且基于两组车道分隔线标记204，确定存在三条车道。重要的是要注意，使用后视摄像机捕获的图像获得可能与朝前的摄像机或从人类驾驶员的角度来看相反的信息。例如，如果中心线通常在特定驾驶位置的车辆的左侧，则后视摄像机可能捕获显示中心线在图像右侧的图像。因此，使用来自后视摄像机的数据的所有车道号、车道位置和车道检测算法可能需要反转顺序或检测规则，以反映其他传感器的公共格式或驾驶员的角度。
车道组件104可以使用齿纹标志带206的存在以及标记颜色(白色、黄色等)或图案(虚线或实线)来确定道路的边界(或道路的最外车道边界)。例如，道路边界标记202包括实线图案，而车道分隔线标记204包括虚线图案。车道组件104可以将实线识别为边界标记以及将虚线识别为车道分隔线标记。其他类型的车道标记(例如反射器)可以基于颜色、频率等被识别为道路边界标记、中心线、车道分隔线等。鉴于本公开内容，本领域技术人员将理解，相对于边界的标记类型的检测可以应用于任何类型的车道标记，无论是机械标记还是非机械标记。
如图1所示。如图1所示，自动驾驶/辅助系统102还可以包括位置组件126和驾驶历史组件128。位置组件126可以确定系统100所在的车辆的当前位置。例如，位置组件126可以从指示车辆位置的GPS 112和/或收发器118接收位置信息。驾驶历史组件128被配置为从驾驶历史(即驾驶的历史)中检索数据并将其提供给系统100的其他控制器或部分。例如，驾驶历史中的数据(本地存储在数据存储器116中或使用收发器118通过网络远程存储在可访问的位置)可被检索用于当前或未来的位置以通知自动驾驶/辅助系统102道路或驾驶状况。在一个实施例中，驾驶历史组件128被配置为从远程存储位置检索驾驶历史数据。驾驶历史可以指示车辆当前位置的车道数量或斜坡。在一个实施例中，驾驶历史组件128被配置为将当前位置的车道数量或斜坡广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。例如，控制器可以使用来自驾驶历史的数据来确定如何控制车辆行驶一段道路。例如，控制器可以确定转向角度或转向角度的变化、速度或速度变化、加速、制动或任何其他控制输入/输出值以控制车辆。
图3根据一个实施例示出了住宅区中的道路300的透视图。该视图示出了驾驶通过住宅区域的车辆的后视摄像机(例如倒车摄像机)在图像中捕获的内容。因为道路300不包括传统的机械或非机械车道标记，例如线或反射器，所以必须基于其他因素(例如道路300的宽度302)来确定车道数量。车道组件104可以基于道路边缘确定道路宽度302。例如，可以使用来自后部摄像机的图像和/或来自另一感测系统的数据(例如LIDAR数据或雷达数据)检测道路300的任一侧上的路缘304。LIDAR数据和雷达数据可以特别有助于检测路缘或其他三维道路或环境特征。
在一个实施例中，可以基于图像和其他传感器数据产生融合数据，以确定道路附近的路缘、路肩等的位置。例如，可以基于诸如边缘检测或边界检测的图像处理技术或基于LIDAR数据来确定道路的边缘的位置。基于图像数据确定的位置或道路宽度可以被基于LIDAR数据确定的位置或道路进行平均(例如使用加权平均)。计算的/确定的宽度可以除以存储的车道宽度，以确定道路300上存在多少车道。例如，所存储的车道宽度可以包括对于地理位置已知的平均或合法的车道宽度。在一个实施例中，也可以基于道路环境来确定车道数量。例如，如果车辆处于高速公路环境(如图2所示)，则车道宽度可能大于住宅或工业环境中的车道宽度。可以基于路缘304、停车带306、车道308或连接路径、人行道310、房屋、建筑物、树木等的存在来确定环境。例如，在道路的指定距离内的房屋和/或人行道的存在可以触发使用较小的平均车道宽度。在一个实施例中，不存在车道或其他道路标记可能表示要使用较小的车道宽度。
图4根据一个实施例示出了商业环境中的道路400的透视图。该视图示出了由车辆的后视摄像机(例如倒车摄像机)捕获的图像中的内容。类似地，LIDAR或雷达系统可以捕获关于道路400的一个或多个特征或道路400的环境的信息。道路400是具有多个标记的双向道路，包括中心线标记402、车道分隔线标记404和道路边界标记406。路缘408位于道路400附近，并且交叉路口410与道路400相交。在一个实施例中，车道组件104被配置为检测并确定道路400上的车道数量。例如，车道组件104可以识别道路边界标记406，并且基于两组车道分隔线标记404和中心线标记402，确定道路上有四条车道。
车道组件104还可以基于中心线标记402的存在来确定每个车道的行进方向。车道组件104可以基于线的图案(例如双实线或双虚线)或颜色(例如黄色与白色)识别中心线标记402。车道组件104可以确定道路400的中心线标记402的一侧上的车道沿第一方向行驶，以及道路400的中心线标记402的另一侧上的车道沿相反的第二个方行驶。
车道数量，行驶方向或其他细节可以存储在本地或远程驾驶历史中以供以后访问。在一个实施例中，可以向控制系统或自动驾驶/辅助系统提供车道数量、其对应的方向或其他车道信息，以确定驾驶路线或防撞操纵。例如，自动驾驶/辅助系统可以确定是否存在可用的操纵，以规避与留在道路400上的物体、行人或其他车辆碰撞，但是避免进入反向车道。在某些情况下，进入反向车道或离开道路400可能优于可能导致即将碰撞的替代路线。
图5是示出了用于确定车辆的车道数量和/或当前车道的方法500的数据流程的示意性框图。可以接收并组合包括摄像机数据、雷达数据、LIDAR数据和/或超声数据的多种类型的感知数据用于传感器融合502。摄像机数据可以包括来自诸如倒车摄像机的后视摄像机的数据。传感器融合502可以基于组合的感知数据生成关于车道标记位置、路缘位置、路肩或任何其他环境物体或特征的位置的信息。例如，如果仅接收到摄像机数据和LIDAR数据，则可以基于摄像机和激光雷达数据的平均值或其他组合来确定车道标记的位置。传感器融合502可以使用不同数据类型的平均值或加权平均值来确定融合或组合的数据。如果仅接收到一种类型的数据，则传感器融合可以处理原始数据或者修改原始数据以匹配神经网络504期望的格式。神经网络504可以接收原始数据或融合的数据并处理它以产生道路的车道数量和/或道路中车辆的当前车道。
神经网络504可以包括计算包括车道数量和当前车道的一个或多个输出的一个或多个网络。由于可以使用后视摄像机数据，车道数量可以基于车辆已经通过的部分道路。然而，这些数据对于自动驾驶或辅助驾驶可能仍然有用，因为它可能有助于通知关于车辆前面的车道数量的假设。此外，后来当用户接近或重新接近道路时，检索驾驶历史中存储的车道数量，并且先前存储的车道数据可以协助车辆确定车辆就要行驶的道路的特征。在一个实施例中，神经网络504包括已被训练用于检测车道数量和/或在检测到的车道范围内的车辆的当前车道的一个或多个深层神经网络。
图6是示出了深层神经网络600的结构的示意图。近年来，深层神经网络受到关注，因为它们在诸如图像分类和语音识别等挑战性任务中胜过传统的机器学习方法。深层神经网络是具有输入节点(例如输入节点602)、一个或多个隐藏层(例如隐藏层604、606和608)以及输出节点(诸如输出节点610)的前馈计算图。对于关于图像的内容或信息的分类，输入图像的像素值被分配给输入节点，然后经过多个非线性变换通过网络的隐藏层604、606、608进行馈送。在计算结束时，输出节点610产生由神经网络推导的类别对应的值。输入节点602、隐藏层604-608和输出节点610的数量仅是说明性的。例如，较大的图像可以包括每个像素的输入节点602，并且因此可以具有数百、数千或其它数量的输入节点。
根据一个实施例，图6的深层神经网络600可以用于将图像的内容分成四个不同的类别：第一类别、第二类别、第三类别和第四类别。根据本公开，类似或不同尺寸的神经网络可能能够输出表示图像中的车道数量的值。例如，第一类别可以对应于一个车道，第二类别可以对应于两个车道，第三类别可以对应于三个车道，以及第四类别可以对应于四个车道。这仅仅示出了基于可以包括数百或数千像素的图像对车道数量进行分类的神经网络，并且可能需要检测更多数量的车道(例如，在一些实施例中为十个或更多个)。因此，用于对车道数量进行分类的神经网络可能在输入层需要数百或数千个节点和/或多于四个的输出节点。
例如，馈送图2的道路200的原始图像进入网络最可能产生第三类别或三条车道。因此，神经网络可以使得计算系统能够自动推断图像内的车道数量。可以使用相似的技术或原理来推断关于或检测行人、交通标志、当前车道等的信息。
为了使深层神经网络能够区分任何期望的类别，需要基于示例来训练神经网络。例如，如果要创建能够对图片中的车道数量进行分类的深层神经网络，则可能需要大量的示例图像(数百到数千个具有不同车道数量的道路)，图像具有分配给每个图像的标签，标签与每个具体图像中的车道数量相对应。标签数据对于训练深层神经网络可能是一个很大的挑战，因为需要人们为训练图像(通常为数百万)分配标签。因此，获取图像的时间和设备以及手工标记它们可能是昂贵的。一旦获取了具有标签(训练数据)的图像，则可以训练网络。用于训练的示例算法包括使用图像的反向传播算法，包括具有标签的大量图像。反向传播算法可能需要几个小时、几天或几周的时间。
转到图7，根据一个实施例示出了车道组件104的组件的示意框图。车道组件104包括感知数据组件702、融合组件704、车道数量组件706、当前车道组件708、斜坡组件710、操纵组件712和报告组件714。组件702-714仅通过说明的方式给出，并且可以不全部包括在所有实施例中。事实上，一些实施例可以仅包括组件702-714中的两个或更多个的一个或任何组合。组件702-714中的一些可以位于车道组件104之外，例如在自动驾驶/辅助系统102内或其他地方。
感知数据组件702被配置为从车辆或车辆控制系统的一个或多个传感器或感测系统获得或接收感知数据。在一个实施例中，感知数据组件702接收包括关于车辆或车辆控制系统的环境的信息的感知数据。示例感知数据包括来自LIDAR、雷达、摄像机、超声波、红外线或其他系统的数据。在一个实施例中，感知数据组件702被配置为从至少两个传感器或感测系统接收感知数据。在一个实施例中，传感器或感测系统中的至少一个包括车辆的后视摄像机。还可以接收来自其他传感器的数据，例如来自LIDAR、雷达、超声波、红外线或其他系统的数据。
融合组件704被配置为执行与感知数据组件702获得的感知数据的数据融合。例如，融合组件704可以使用来自感知数据的数据填充一个或多个其他组件702、706-714预期的字段或条目。例如，如果是车道数量组件706期望的(但可能不需要)图像，则融合组件704可以将图像提供到要提供给车道组件的表或矩阵中。类似地，如果组件可以使用LIDAR数据，则融合组件704可以将LIDAR数据提供到表或矩阵的不同字段或区域中。融合组件704可以组合来自不同数据源的感知数据，以供车道数量组件706、当前车道组件708和/或斜坡组件710使用，以使用神经网络或其他机器学习算法或模型进行处理。
在一个实施例中，融合组件704被配置为基于来自至少两个传感器的感知数据生成融合的传感器数据。例如，融合的传感器数据可以包括车道标记的位置、车道数量等。例如，融合组件704可以基于来自多个传感器的数据来确定一条或多条车道线的存在或位置。例如，来自一个传感器的数据可能以高置信度表示存在车道标记，而来自另一传感器的数据可能以低或中等置信度表示存在车道标记。基于组合数据，融合组件704可以确定存在车道标记。类似地，来自一个传感器的数据可以表示车道标记的第一位置，而来自另一传感器的数据可以表示车道标记具有略微不同的位置。融合组件704可以确定已经基于组合的数据计算的新的或修改的位置。
车道数量组件706被配置为基于感知数据确定道路上的车道数量。在一个实施例中，车道数量组件706使用已经被融合组件704融合或处理的感知数据。在另一个实施例中，车道数量组件706使用原始数据或未由融合组件704融合或处理的数据。在一个实施例中，车道数量组件706包括已被训练来检测图像、LIDAR帧、雷达帧或其他传感器数据的帧或单位内的车道数量的一个或多个神经网络。其他实施例可以包括用于确定车道数量的其他类型的机器学习算法或模型。车道数量组件706可以接收感知数据作为输入，并提供表示推断的车道数量的输出。当捕获/获取感知数据时，神经网络或其他机器学习算法的输出可以向其他组件或系统表示感知传感器的视野内存在多少车道。
当前车道组件708被配置为确定车辆的当前车道。例如，当前车道组件708可以基于感知数据来确定在车道数量组件检测到的车道数量内的车辆的当前车道。例如，当前车道组件708可以基于车道线或连续车道标记形成的角度、图像或LIDAR帧内的位置等来确定车辆的当前车道。当前车道可以包括表示车辆位于检测的车道的哪一个(例如相对于车辆的行驶方向从左到右或从右到左)。例如，如果车道数量组件706检测到6个车道，则当前车道组件708可以输出“1”来表示车辆在最右侧车道中、“2”表示车辆在中间车道、或“3”表示车辆处于最左侧车道。该配置仅作为示例给出，并且在本公开的范围内的其他实施例中可以提供其他类型的输出。
据一个实施例，当前车道组件708使用已被训练来确定当前车道的深层神经网络。例如，当前车道组件708的神经网络可以接收图像、LIDAR帧和/或其他感知数据以及由车道数量组件706输出的车道数量。基于该输入，神经网络可以输出号码或车辆可能位于哪个车道的其他指示。当前车道指示可以表示获得感知数据时车辆的车道位置。
斜坡组件710被配置为确定道路的斜坡。在一个实施例中，斜坡组件710可以基于来自LIDAR或雷达系统的数据来执行道路平面分割。基于道路平面分割，斜坡组件710可以在行进方向(即垂直方向)上或在垂直于行进方向的方向(即水平方向)上确定道路的斜坡。例如，沿着行进方向的道路的斜坡可能有助于确定执行某个操纵或达到特定速度可能需要的制动或加速度的量。由LIDAR或雷达系统获得的三维数据可以准确计算道路的斜坡。
操纵组件712被配置为确定要由车辆或驾驶系统执行的驾驶路线或操纵。例如，操纵组件712可以确定驾驶操纵以遵循路线或规避碰撞。操纵组件712可以基于车道数量、当前车道和/或道路斜坡来确定操纵或路线。例如，操纵可以包括停留在道路上、停留在道路的车道内、或者停留在与车辆的当前车道相同行驶方向的车道内的操纵。操纵组件712可以基于车道数量确定包括驾驶轨迹或碰撞规避选项的操纵。
报告组件714被配置为将车道或道路信息报告给自动驾驶系统或驾驶辅助系统。例如，报告组件714可以提供车道数量、当前车道和/或道路斜坡的指示。报告组件714可以提供由感知数据组件702、融合组件704、车道数量组件706、当前车道组件708、斜坡组件710和/或操纵组件712获得或确定的任何数据。在一个实施例中，报告组件714向图1的自动驾驶/辅助系统102实时提供关于当前车道、车道数量、斜坡、和/或确定的操纵的信息，以便可以执行实时驾驶决定和操纵。例如，报告组件714可以向自动驾驶系统或驾驶辅助系统提供车道数量的指示。此外，报告组件714可以提供报告或数据到驾驶历史组件128，或者用于存储在本地或远程驾驶历史中。例如，报告组件714或驾驶历史组件128可以将特定位置的车道数量的指示上传到远程存储位置。
图8是示出了用于确定车道信息的方法800的示意性流程图。方法800可以由车道组件、自动驾驶/辅助系统或车辆控制系统执行，例如图1的车道组件104、自动驾驶/辅助系统102或车辆控制系统100。
方法800开始，并且感知数据组件702在802处接收来自至少两个传感器的感知数据。所述至少两个传感器包括车辆的后视摄像机。例如，感知数据可以包括来自后视摄像机以及来自雷达系统、LIDAR系统、超声波感测系统、红外感测系统等中的一个或多个的数据的信息。车道数量组件706基于感知数据在804处确定由感知数据捕获的视野内的道路上的车道数量。车道数量组件706可以包括接收感知数据并提供在感知数据中可见的/所示的车道数量的指示的深层神经网络。在一个实施例中，车道数量组件706可以基于来自多个传感器或传感器系统的融合数据来确定车道数量。报告组件714在806处向自动驾驶系统或驾驶辅助系统提供车道数量的指示。例如，可以收集车道的数量以确定驾驶路线或操纵或者用于存储在远程或本地驾驶历史中。
现在参考图9，示出了示例性计算设备900的框图。计算设备900可用于执行各种过程，例如本文所讨论的过程。计算设备900可用作车道组件104，自动驾驶/辅助系统102，服务器或任何其他计算实体。计算设备900可以执行如本文所讨论的各种监视功能，并且可以执行一个或多个应用程序，例如本文描述的应用程序或功能。计算设备900可以是诸如台式计算机，笔记本计算机，服务器计算机，手持式计算机，平板计算机等各种计算设备中的任何一种。
计算设备900包括一个或多个处理器902、一个或多个存储器设备904、一个或多个接口906、一个或多个大容量存储设备908、一个或多个输入/输出(I/O)设备910和显示设备930，所有这些设备都连接到总线912。处理器902包括执行存储在存储器设备904和/或大容量存储设备908中的指令的一个或多个处理器或控制器。处理器902还可以包括各种类型的计算机可读介质，诸如高速缓冲存储器。
存储器904包括各种计算机可读介质，诸如易失性存储器(例如随机存取存储器(RAM，random access memory)914)和/或非易失性存储器(例如只读存储器(ROM，read-only memory)916))。存储设备904还可以包括诸如闪存之类的可重写ROM。
大容量存储设备908包括各种计算机可读介质，诸如磁带、磁盘、光盘、固态存储器(例如闪存)等等。如图9所示，特定的大容量存储设备是硬盘驱动器924。各种驱动器也可以被包括在大容量存储设备908中，以使得能够从各种计算机可读介质读取和/或写入各种计算机可读介质。大容量存储设备908包括可移动介质926和/或不可移动介质。
I/O设备910包括允许将数据和/或其他信息输入到计算设备900或从计算设备900检索的各种设备。示例性I/O设备910包括光标控制设备、键盘、小键盘、麦克风、监视器或其他显示设备、扬声器、打印机、网络接口卡、调制解调器等。
显示设备930包括能够向计算设备900的一个或多个用户显示信息的任何类型的设备。显示设备930的示例包括监视器、显示终端、视频投影设备等。
接口906包括允许计算设备900与其他系统、设备或计算环境交互的各种接口。示例性接口906可以包括任何数量的不同的网络接口920，诸如到局域网(LAN)、广域网(WAN)、无线网络和因特网的接口。其他接口包括用户接口918和外围设备接口922。接口906还可以包括一个或多个用户接口元件918。接口906还可以包括一个或多个外围接口，例如用于打印机、指示设备(鼠标、跟踪板或本领域为普通技术人员已知的、或以后存在的任何合适的用户界面)、键盘等。
总线912允许处理器902、存储设备904、接口906、大容量存储设备908和I/O设备910彼此通信，以及与连接到总线912的其他设备或组件通信。总线912表示几种类型的总线结构中的一种或多种，例如系统总线、PCI总线、IEEE总线、USB总线等。
为了说明的目的，程序和其他可执行程序组件在本文中示出为离散的块，但是应当理解，这样的程序和组件可以在不同时间驻留在计算设备900的不同存储组件中，并且由处理器执行。或者，本文描述的系统和过程可以以硬件或硬件、软件和/或固件的组合来实现。例如，可以编程一个或多个专用集成电路(ASIC，application specific integratedcircuit)来执行本文所述的一个或多个系统和过程。
示例
以下示例涉及另外的实施方案。
示例1是包括从至少两个传感器接收感知数据的方法，所述至少两个传感器包括车辆的后视摄像机。该方法包括基于感知数据使用神经网络确定由感知数据捕获的视野内的道路上的车道数量。该方法还包括向自动驾驶系统或驾驶辅助系统提供车道数量的指示。
在示例2中，示例1的方法还包括使用神经网络确定车辆所在的当前车道，其中当前车道对应于获得感知数据时车辆的车道位置。
在示例3中，示例1-2中任一项的至少两个传感器包括后视摄像机和LIDAR系统、雷达系统、超声波感测系统或红外摄像机系统中的一个或多个。
在示例4中，示例1-3中任一项的方法还包括，基于感知数据确定垂直方向或水平方向的一个或多个中的道路斜坡。
在示例5中，示例1-4中任一项所述的方法还包括，基于车道数量确定驾驶轨迹或碰撞规避选项中的一个或多个。
在示例6中，示例1-5中任一项的方法还包括，将车道数量的指示存储在驾驶历史中供以后访问。
在示例7中，示例1-6中任一项所述的方法还包括，将车道数量的指示上传到远程存储位置。
在示例8中，示例7中的方法还包括：确定车辆的当前位置；从所述远程存储位置检索驾驶历史数据，其中所述驾驶历史指示所述当前位置的车道数量；并且将当前位置的车道数量广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
示例9是包括感知数据组件、车道数量组件和报告组件的系统。感知数据组件被配置为从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机。车道数量组件被配置为使用神经网络来确定感知数据捕获的视野内的道路上的车道数量。报告组件被配置为向自动驾驶系统或驾驶辅助系统提供车道数量的指示。
在示例10中，示例9的系统还包括被配置为使用神经网络确定车辆所在的当前车道的当前车道组件，其中当前车道对应于获得感知数据时车辆的车道位置。
在示例11中，示例9-10中任一项的系统还包括融合组件，其被配置为基于来自至少两个传感器的感知数据生成融合传感器数据，其中确定车道数量包括基于融合传感器数据进行确定。
在示例12中，示例9-11中任一项的至少两个传感器包括后视摄像机以及LIDAR系统、雷达系统、超声波感测系统或红外摄像机系统中的一个或多个。
在示例13中，示例9-12中任一项所述的系统进一步包括斜坡组件，其被配置为基于感知数据确定垂直方向或水平方向中的一个或多个上的道路斜坡。
在示例14中，示例9-13中任一项的系统进一步包括操纵组件，其被配置为基于车道数量来确定驾驶轨迹或规避碰撞选项中的一个或多个。
在示例15中，示例9-14中任一项的报告组件进一步被配置为将车道数量的指示上传到远程存储位置。
在示例16中，示例15的系统还包括位置组件和驾驶历史组件。位置组件被配置为确定车辆的当前位置。驾驶历史组件被配置为：从远程存储位置检索驾驶历史数据，其中驾驶历史指示当前位置的车道数量或斜坡中的一个或多个；并且将当前位置的车道数量或斜坡广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
示例17是存储指令的计算机可读存储介质，该指令当由一个或多个处理器执行指令时，使得处理器从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机。指令使得处理器基于感知数据，使用神经网络来确定感知数据的视野内的道路上的车道数量。指令使处理器向自动驾驶系统或驾驶辅助系统提供车道数量的指示。
在示例18中，示例17的计算机可读存储介质还存储使处理器使用神经网络确定车辆所在的当前车道的指令，其中当前车道对应于获得感知数据时车辆的车道位置。
在示例19中，示例17-18中任一项的计算机可读存储介质还存储使得处理器基于车道数量确定驾驶轨迹或规避碰撞选项中的一个或多个的指令。
在示例20中，示例17-19中任一项的计算机可读存储介质还存储使处理器执行以下操作的指令：确定车辆的当前位置；从远程存储位置检索驾驶历史数据，其中驾驶历史指示当前位置的车道数量；并将当前位置的车道数量广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
示例21是包括实施如示例1-20任一项所述的方法、系统或装置的手段的系统或装置。
在上述公开内容中，已经参考了构成其一部分的附图，并且通过说明可以实践本公开的具体实施方式示出了附图。应当理解，在不脱离本公开的范围的情况下，可以利用其他实施例并且可以进行结构改变。说明书中对“一个实施例”，“实施例”，“示例性实施例”等的引用表示所描述的实施例可以包括特定特征、结构或特征，但是每个实施例可以不一定包括特定特征、结构或特征。此外，这样的短语不一定指代相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，认为结合其他实施例改变这样的特征是在本领域技术人员的知识范围内，不论是否明确描述。
本文公开的系统、设备和方法的实现可以包括或利用包括计算机硬件的专用或通用计算机，例如一个或多个处理器和系统存储器，如本文所讨论的。在本公开的范围内的实施方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(设备)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实现可以包括至少两种截然不同的计算机可读介质：计算机存储介质(设备)和传输介质。
计算机存储介质(设备)包括RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦可编程只读存储器)、CD-ROM(光盘驱动器)、固态驱动器(“SSD”)(例如，基于RAM)、闪存、相变存储器(“PCM”)、其他存储器类型、其他光盘存储器、磁盘存储器或其他磁存储设备，或可用于以计算机可执行指令或数据结构的形式存储所需程序代码的任何其他介质，并且可以由通用或专用计算机访问该介质。
本文公开的设备、系统和方法的实施方式可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子设备之间传送电子数据的一个或多个数据链路。当信息通过网络或其他通信连接(硬连线，无线或硬连线或无线的组合)传输或提供给计算机时，计算机正确地将连接视为传输介质。传输媒体可以包括网络和/或数据链路，其可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码手段，并且可由通用或专用计算机访问。以上的组合也应包括在计算机可读介质的范围内。
计算机可执行指令包括例如当在处理器处执行时使通用计算机、专用计算机或专用处理设备执行某些功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件，诸如汇编语言的中间格式指令、甚至是源代码。尽管主题已经以结构特征和/或方法动作特有的语言描述，但是应当理解，所附权利要求中限定的主题不一定限于上述描述的特征或动作。相反，所描述的特征和动作被公开为实现权利要求的示例形式。
本领域技术人员将理解，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，包括仪表板内置的或其他车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器手持设备、多处理器系统、基于微处理器或可编程消费电子产品、网络PC(个人电脑)、小型计算机、大型计算机、移动电话、PDA(个人数字助理)、平板电脑、寻呼机、路由器、交换机、各种存储设备等。本公开还可以在分布式系统环境中实施，其中通过网络链接(通过硬连线数据链路，无线数据链路或通过硬连线和无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可能位于本地和远程存储设备中。
此外，在适当的情况下，本文所描述的功能可以在硬件、软件、固件、数字组件或模拟组件中的一个或多个中执行。例如，可以编程一个或多个专用集成电路(ASIC)来执行本文所述的一个或多个系统和过程。在整个描述和权利要求中使用某些术语来指代特定的系统组件。如本领域技术人员将理解的，组件可以由不同的名称引用。本文档不打算区分名称不同但功能相同的组件。
应当注意，上述传感器实施例可以包括计算机硬件、软件、固件或其任何组合，以执行其功能的至少一部分。例如，传感器可以包括配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例性装置在本文中是为了说明的目的而提供的，而不是限制性的。本公开的实施例可以在相关领域的技术人员已知的更多类型的设备中实现。
本公开的至少一些实施例已经涉及包含存储在任何计算机可用介质上的逻辑(例如以软件的形式)的计算机程序产品。当在一个或多个数据处理设备中执行时，这样的软件使得设备如本文所述地操作。
虽然上面已经描述了本公开的各种实施例，但是应当理解，它们仅以示例的方式呈现，而不是限制。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的宽度和范围不应该由上述示例性实施例中的任何一个限制，而应仅根据所附权利要求及其等同物来限定。为了说明和描述的目的，呈现了前述描述。它不是穷举的，也不是将披露限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应当注意，可以以期望的任意组合方式使用上述替代实施例中的任何或全部，以形成本公开的另外的混合实施例。
此外，尽管已经描述和示出了本公开的具体实施方式，但是本公开不限于如此描述和示出的组件的具体形式或布置。本公开的范围由所附权利要求、本文和不同申请中提交的任何将来的权利要求及其等同物来限定。

Claims (15)

1.一种方法，包括：
从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机；
基于所述感知数据使用神经网络确定所述感知数据捕获的视野内的道路上的车道数量；和
向自动驾驶系统或驾驶辅助系统提供所述车道数量的指示。
2.根据权利要求1所述的方法，所述方法还包括以下中的一项或多项：
使用神经网络确定所述车辆所在的当前车道，其中所述当前车道对应于在获得所述感知数据时车辆的车道位置；
基于所述感知数据确定垂直方向或水平方向中的一个或多个上的道路斜坡；
基于所述车道数量确定驾驶轨迹或规避碰撞选项中的一个或多个；或
将所述车道数量的指示存储在驾驶历史中供以后访问。
3.根据权利要求1所述的方法，其中所述至少两个传感器包括所述后视摄像机以及以下中的一个或多个：光检测和测距(LIDAR)系统、雷达系统、超声波感测系统或红外摄像机系统。
4.根据权利要求1所述的方法，还包括将所述车道数量的指示上传到远程存储位置。
5.根据权利要求4所述的方法，还包括：
确定车辆的当前位置；
从所述远程存储位置检索驾驶历史数据，其中所述驾驶历史指示所述当前位置的车道数量；和
将所述当前位置的所述车道数量广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
6.一种系统，包括：
感知数据组件，所述感知数据组件被配置为从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机；
车道数量组件，所述车道数量组件被配置为使用神经网络确定由所述感知数据捕获的视野内的道路上的车道数量；和
报告组件，所述报告组件被配置为向自动驾驶系统或驾驶辅助系统提供所述车道数量的指示。
7.根据权利要求6所述的系统，还包括以下的一项或多项：
当前车道组件，所述当前车道组件被配置为使用神经网络确定所述车辆所在的当前车道，其中所述当前车道对应于获得所述感知数据时所述车辆的车道位置；
融合组件，所述融合组件被配置为基于来自所述至少两个传感器的所述感知数据生成融合的传感器数据，其中所述确定车道数量包括基于所述融合的传感器数据进行确定；或
斜坡组件，所述斜坡组件被配置为基于所述感知数据确定垂直方向或水平方向中的一个或多个上的道路斜坡。
8.根据权利要求6所述的系统，其中所述至少两个传感器包括所述后视摄像机以及以下中的一个或多个：光检测和测距(LIDAR)系统、雷达系统、超声波感测系统或红外摄像机系统。
9.根据权利要求6所述的系统，还包括操纵组件，所述操纵组件被配置为基于所述车道数量确定驾驶轨迹或规避碰撞选项中的一个或多个。
10.根据权利要求6所述的系统，其中所述报告组件还被配置为将所述车道数量的指示上传到远程存储位置。
11.根据权利要求10所述的系统，还包括：
被配置为确定所述车辆的当前位置的位置组件；和
驾驶历史组件，所述驾驶历史组件被配置为：
从所述远程存储位置检索驾驶历史数据，其中所述驾驶历史指示所述当前位置的车道数量或斜坡中的一个或多个；和
将所述当前位置的所述车道数量或所述斜坡广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
12.一种存储指令的计算机可读存储介质，所述指令当由一个或多个处理器执行时使所述处理器进行：
从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机；
基于所述感知数据使用神经网络确定所述感知数据的视野内的道路上的车道数量；和
向自动驾驶系统或驾驶辅助系统提供所述车道数量的指示。
13.根据权利要求12所述的计算机可读存储介质，还存储使得所述处理器使用神经网络确定所述车辆所在的当前车道的指令，其中所述当前车道对应于获得所述感知数据时所述车辆的车道位置。
14.根据权利要求12所述的计算机可读存储介质，还存储使得所述处理器基于所述车道数量确定驾驶轨迹或规避碰撞选项中的一个或多个的指令。
15.根据权利要求12所述的计算机可读存储介质，还存储使所述处理器执行以下操作的指令：
确定所述车辆的当前位置；
从远程存储位置检索驾驶历史数据，其中所述驾驶历史表示所述当前位置的车道数量；和
将所述当前位置的所述车道数量广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
CN201710569530.1A 2016-07-20 2017-07-13 后部摄像机车道检测 Active CN107644197B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/215,282 2016-07-20
US15/215,282 US10762358B2 (en) 2016-07-20 2016-07-20 Rear camera lane detection

Publications (2)

Publication Number Publication Date
CN107644197A true CN107644197A (zh) 2018-01-30
CN107644197B CN107644197B (zh) 2023-05-23

Family

ID=59713639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710569530.1A Active CN107644197B (zh) 2016-07-20 2017-07-13 后部摄像机车道检测

Country Status (6)

Country Link
US (1) US10762358B2 (zh)
CN (1) CN107644197B (zh)
DE (1) DE102017116213A1 (zh)
GB (1) GB2555162A (zh)
MX (1) MX2017009437A (zh)
RU (1) RU2017125352A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739230A (zh) * 2018-12-29 2019-05-10 百度在线网络技术（北京）有限公司 驾驶轨迹生成方法、装置及存储介质
CN110611649A (zh) * 2018-06-15 2019-12-24 本田技研工业株式会社 通信终端以及计算机可读存储介质
CN111212260A (zh) * 2018-11-21 2020-05-29 杭州海康威视数字技术股份有限公司 一种基于监控视频绘制车道线的方法及装置
CN111460861A (zh) * 2019-01-21 2020-07-28 阿里巴巴集团控股有限公司 一种道路交通标志识别方法、装置和识别设备
CN111815981A (zh) * 2019-04-10 2020-10-23 黑芝麻智能科技(重庆)有限公司 用于检测远距离道路上的物体的系统和方法
CN112204418A (zh) * 2018-06-14 2021-01-08 罗伯特·博世有限公司 用于自动地确定道路状态的方法
CN112639808A (zh) * 2018-07-31 2021-04-09 法雷奥开关和传感器有限责任公司 用于机动车辆的纵向和/或横向控制的驾驶辅助

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6914065B2 (ja) * 2017-03-17 2021-08-04 シャープ株式会社 障害物検出装置、走行装置、障害物検出システムおよび障害物検出方法
JP6862257B6 (ja) * 2017-04-14 2021-06-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 自動運転車両、自動運転車両の停車方法及びプログラム
US10438074B2 (en) * 2017-06-14 2019-10-08 Baidu Usa Llc Method and system for controlling door locks of autonomous driving vehicles based on lane information
US10599931B2 (en) * 2017-08-21 2020-03-24 2236008 Ontario Inc. Automated driving system that merges heterogenous sensor data
DE102017122711A1 (de) * 2017-09-29 2019-04-04 Claas E-Systems Kgaa Mbh & Co. Kg Verfahren für den Betrieb einer selbstfahrenden landwirtschaftlichen Arbeitsmaschine
US10583779B2 (en) 2017-10-02 2020-03-10 Magna Electronics Inc. Parking assist system using backup camera
WO2019156915A1 (en) * 2018-02-07 2019-08-15 3M Innovative Properties Company Validating vehicle operation using acoustic pathway articles
US11500099B2 (en) 2018-03-14 2022-11-15 Uatc, Llc Three-dimensional object detection
US11768292B2 (en) * 2018-03-14 2023-09-26 Uatc, Llc Three-dimensional object detection
JP6698117B2 (ja) * 2018-04-02 2020-05-27 本田技研工業株式会社 車両制御装置
DE102018213257A1 (de) * 2018-05-09 2019-11-14 Conti Temic Microelectronic Gmbh Verfahren zur Detektion von Fahrspuren
US20210390847A1 (en) * 2018-07-31 2021-12-16 Nippon Telegraph And Telephone Corporation Driving assistance device and method, and storage medium in which program is stored
DE102018218043A1 (de) * 2018-10-22 2020-04-23 Robert Bosch Gmbh Ermittlung einer Anzahl von Fahrspuren sowie von Spurmarkierungen auf Straßenabschnitten
GB2579192B (en) * 2018-11-22 2021-06-23 Jaguar Land Rover Ltd Steering assist method and apparatus
US11927668B2 (en) 2018-11-30 2024-03-12 Qualcomm Incorporated Radar deep learning
DE102018220803A1 (de) * 2018-12-03 2020-06-04 Robert Bosch Gmbh Spurgenaue Lokalisierung von Fahrzeugen
CN111413957B (zh) * 2018-12-18 2021-11-02 北京航迹科技有限公司 用于确定自动驾驶中的驾驶动作的系统和方法
DE102019114947A1 (de) * 2019-06-04 2020-12-10 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Prüfen der Ausrichtung eines Fahrzeuges mit einer bugseitigen und einer heckseitigen Kamera
DE102019213850A1 (de) 2019-09-11 2020-05-28 Zf Friedrichshafen Ag Verfahren zur Spurführung eines autonomen Fahrzeugs
US11544899B2 (en) * 2019-10-15 2023-01-03 Toyota Research Institute, Inc. System and method for generating terrain maps
US20210155158A1 (en) * 2019-11-22 2021-05-27 Telenav, Inc. Navigation system with lane estimation mechanism and method of operation thereof
US11823458B2 (en) 2020-06-18 2023-11-21 Embedtek, LLC Object detection and tracking system
CN112184949A (zh) * 2020-09-29 2021-01-05 广州星凯跃实业有限公司 一种汽车图像监控方法、装置、设备和存储介质
US11721113B2 (en) 2020-10-09 2023-08-08 Magna Electronics Inc. Vehicular driving assist system with lane detection using rear camera
EP4047515B1 (en) * 2021-02-19 2023-10-11 Zenseact AB Platform for perception system development for automated driving systems
US11794774B2 (en) 2021-03-16 2023-10-24 Ford Global Technologies, Llc Real-time dynamic traffic speed control
US11701996B2 (en) * 2021-11-17 2023-07-18 Motional Ad Llc Deep learning based beam control for autonomous vehicles
CN115131968B (zh) * 2022-06-28 2023-07-11 重庆长安汽车股份有限公司 一种基于车道线点集与注意力机制的匹配融合方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2373117A (en) * 2000-10-04 2002-09-11 Intelligent Tech Int Inc Mapping road edges; collision avoidance
US20030025597A1 (en) * 2001-07-31 2003-02-06 Kenneth Schofield Automotive lane change aid
DE102006008703A1 (de) * 2005-03-02 2006-09-07 Denso Corp., Kariya Fahrunterstützungssystem und Navigationssystem für ein Fahrzeug
US20120062747A1 (en) * 2010-07-20 2012-03-15 Gm Global Technology Operations, Inc. Lane fusion system using forward-view and rear-view cameras
KR20120119704A (ko) * 2011-04-22 2012-10-31 현대자동차주식회사 후방 카메라를 이용한 차선변경시스템 및 차선변경방법
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
KR101354057B1 (ko) * 2012-11-26 2014-01-22 주식회사 토페스 다중 카메라를 이용한 차선 위반 검출 장치 및 이를 이용한 차선 위반 검출 방법, 다중 카메라에 의한 차선 위반 검출 장치를 이용하는 차선 위반 차량 단속시스템
US8660734B2 (en) * 2010-10-05 2014-02-25 Google Inc. System and method for predicting behaviors of detected objects
CN203651611U (zh) * 2013-11-19 2014-06-18 浙江吉利汽车研究院有限公司 一种车辆安全变道辅助装置
US8825260B1 (en) * 2013-07-23 2014-09-02 Google Inc. Object and ground segmentation from a sparse one-dimensional range data
US20150025789A1 (en) * 2013-07-16 2015-01-22 Honda Research Institute Europe Gmbh Technique for lane assignment in a vehicle
WO2015138930A1 (en) * 2014-03-13 2015-09-17 Velvac Inc. Device, system and method for aggregating networks and serving data from those networks to computers
US20160027176A1 (en) * 2014-07-22 2016-01-28 GM Global Technology Operations LLC Misalignment correction and state of health estimation for lane management fusion function
CN105358399A (zh) * 2013-06-24 2016-02-24 谷歌公司 使用环境信息辅助用于自主车辆的图像处理
US20160065903A1 (en) * 2014-08-27 2016-03-03 Metaio Gmbh Method and system for providing at least one image captured by a scene camera of a vehicle
US20160167582A1 (en) * 2014-12-16 2016-06-16 Here Global B.V. Learning Lanes From Vehicle Probes

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873911B2 (en) * 2002-02-01 2005-03-29 Nissan Motor Co., Ltd. Method and system for vehicle operator assistance improvement
JP2006177862A (ja) 2004-12-24 2006-07-06 Aisin Aw Co Ltd ナビゲーション装置
DE602005017144D1 (de) * 2005-08-18 2009-11-26 Honda Res Inst Europe Gmbh Fahrerassistenzsystem
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
JP2008276642A (ja) 2007-05-02 2008-11-13 Xanavi Informatics Corp 走行車線認識装置および走行車線認識方法
US8194927B2 (en) 2008-07-18 2012-06-05 GM Global Technology Operations LLC Road-lane marker detection using light-based sensing technology
JP2012505115A (ja) * 2008-10-08 2012-03-01 デルファイ・テクノロジーズ・インコーポレーテッド 一体型レーダー−カメラセンサ
US20100209885A1 (en) * 2009-02-18 2010-08-19 Gm Global Technology Operations, Inc. Vehicle stability enhancement control adaptation to driving skill based on lane change maneuver
US20110190972A1 (en) * 2010-02-02 2011-08-04 Gm Global Technology Operations, Inc. Grid unlock
DE102010052128A1 (de) 2010-11-22 2012-05-24 GM Global Technology Operations LLC Verfahren zum Betreiben eines Kraftfahrzeugs und Kraftfahrzeug
US9542846B2 (en) * 2011-02-28 2017-01-10 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
US20140257686A1 (en) * 2013-03-05 2014-09-11 GM Global Technology Operations LLC Vehicle lane determination
DE102013104256A1 (de) 2013-04-26 2014-10-30 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Schätzung der Anzahl von Fahrspuren
EP2899669A1 (en) * 2014-01-22 2015-07-29 Honda Research Institute Europe GmbH Lane relative position estimation method and system for driver assistance systems
US9170116B1 (en) * 2014-07-11 2015-10-27 Toyota Motor Engineering & Manufacturing North America, Inc. Method for generating accurate lane level maps
EP3251023A4 (en) * 2015-01-26 2018-09-26 TRW Automotive U.S. LLC Vehicle driver assist system
JP6465730B2 (ja) 2015-04-21 2019-02-06 アルパイン株式会社 電子装置、走行車線識別システムおよび走行車線識別方法
DE102015209467A1 (de) * 2015-05-22 2016-11-24 Continental Teves Ag & Co. Ohg Verfahren zur Schätzung von Fahrstreifen
US9747506B2 (en) * 2015-10-21 2017-08-29 Ford Global Technologies, Llc Perception-based speed limit estimation and learning
KR101786237B1 (ko) * 2015-12-09 2017-10-17 현대자동차주식회사 운전자보조시스템용 센서의 고장진단 및 보정을 위한 장치 및 방법
US10331141B2 (en) * 2016-06-30 2019-06-25 GM Global Technology Operations LLC Systems for autonomous vehicle route selection and execution

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2373117A (en) * 2000-10-04 2002-09-11 Intelligent Tech Int Inc Mapping road edges; collision avoidance
US20030025597A1 (en) * 2001-07-31 2003-02-06 Kenneth Schofield Automotive lane change aid
DE102006008703A1 (de) * 2005-03-02 2006-09-07 Denso Corp., Kariya Fahrunterstützungssystem und Navigationssystem für ein Fahrzeug
US20120062747A1 (en) * 2010-07-20 2012-03-15 Gm Global Technology Operations, Inc. Lane fusion system using forward-view and rear-view cameras
US8660734B2 (en) * 2010-10-05 2014-02-25 Google Inc. System and method for predicting behaviors of detected objects
KR20120119704A (ko) * 2011-04-22 2012-10-31 현대자동차주식회사 후방 카메라를 이용한 차선변경시스템 및 차선변경방법
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
KR101354057B1 (ko) * 2012-11-26 2014-01-22 주식회사 토페스 다중 카메라를 이용한 차선 위반 검출 장치 및 이를 이용한 차선 위반 검출 방법, 다중 카메라에 의한 차선 위반 검출 장치를 이용하는 차선 위반 차량 단속시스템
CN105358399A (zh) * 2013-06-24 2016-02-24 谷歌公司 使用环境信息辅助用于自主车辆的图像处理
US20150025789A1 (en) * 2013-07-16 2015-01-22 Honda Research Institute Europe Gmbh Technique for lane assignment in a vehicle
US8825260B1 (en) * 2013-07-23 2014-09-02 Google Inc. Object and ground segmentation from a sparse one-dimensional range data
CN203651611U (zh) * 2013-11-19 2014-06-18 浙江吉利汽车研究院有限公司 一种车辆安全变道辅助装置
WO2015138930A1 (en) * 2014-03-13 2015-09-17 Velvac Inc. Device, system and method for aggregating networks and serving data from those networks to computers
US20160027176A1 (en) * 2014-07-22 2016-01-28 GM Global Technology Operations LLC Misalignment correction and state of health estimation for lane management fusion function
US20160065903A1 (en) * 2014-08-27 2016-03-03 Metaio Gmbh Method and system for providing at least one image captured by a scene camera of a vehicle
US20160167582A1 (en) * 2014-12-16 2016-06-16 Here Global B.V. Learning Lanes From Vehicle Probes

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALOIS SEEWALD;: "认知型安全技术达到新水平" *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112204418A (zh) * 2018-06-14 2021-01-08 罗伯特·博世有限公司 用于自动地确定道路状态的方法
CN110611649A (zh) * 2018-06-15 2019-12-24 本田技研工业株式会社 通信终端以及计算机可读存储介质
CN112639808A (zh) * 2018-07-31 2021-04-09 法雷奥开关和传感器有限责任公司 用于机动车辆的纵向和/或横向控制的驾驶辅助
CN112639808B (zh) * 2018-07-31 2023-12-22 法雷奥开关和传感器有限责任公司 用于机动车辆的纵向和/或横向控制的驾驶辅助
CN111212260A (zh) * 2018-11-21 2020-05-29 杭州海康威视数字技术股份有限公司 一种基于监控视频绘制车道线的方法及装置
CN111212260B (zh) * 2018-11-21 2021-08-20 杭州海康威视数字技术股份有限公司 一种基于监控视频绘制车道线的方法及装置
CN109739230A (zh) * 2018-12-29 2019-05-10 百度在线网络技术（北京）有限公司 驾驶轨迹生成方法、装置及存储介质
CN109739230B (zh) * 2018-12-29 2022-02-01 百度在线网络技术（北京）有限公司 驾驶轨迹生成方法、装置及存储介质
CN111460861A (zh) * 2019-01-21 2020-07-28 阿里巴巴集团控股有限公司 一种道路交通标志识别方法、装置和识别设备
CN111460861B (zh) * 2019-01-21 2023-05-19 阿里巴巴集团控股有限公司 一种道路交通标志识别方法、装置和识别设备
CN111815981A (zh) * 2019-04-10 2020-10-23 黑芝麻智能科技(重庆)有限公司 用于检测远距离道路上的物体的系统和方法
CN111815981B (zh) * 2019-04-10 2021-12-21 黑芝麻智能科技(重庆)有限公司 用于检测远距离道路上的物体的系统和方法

Also Published As

Publication number Publication date
DE102017116213A1 (de) 2018-03-01
CN107644197B (zh) 2023-05-23
GB2555162A (en) 2018-04-25
GB201711464D0 (en) 2017-08-30
MX2017009437A (es) 2018-09-10
RU2017125352A3 (zh) 2020-09-14
RU2017125352A (ru) 2019-01-17
US20180025234A1 (en) 2018-01-25
US10762358B2 (en) 2020-09-01

Similar Documents

Publication Publication Date Title
CN107644197A (zh) 后部摄像机车道检测
CN107643073A (zh) 后部摄像机路口检测
US11741696B2 (en) Advanced path prediction
US10657391B2 (en) Systems and methods for image-based free space detection
US10803328B1 (en) Semantic and instance segmentation
US10496099B2 (en) Systems and methods for speed limit context awareness
US11840239B2 (en) Multiple exposure event determination
US11682296B2 (en) Planning accommodations for reversing vehicles
US11768493B2 (en) Remote vehicle guidance
US20180349746A1 (en) Top-View Lidar-Based Object Detection
US11467573B2 (en) Vehicle control and guidance
US20190079515A1 (en) Planning autonomous motion
CN107450529A (zh) 用于自动驾驶车辆的改进的物体检测
US11513519B1 (en) Sharing occlusion data
CN114929543A (zh) 预测周围因素的加塞概率
CN116142233A (zh) 载具灯分类系统
US20220146277A1 (en) Architecture for map change detection in autonomous vehicles
WO2023158706A1 (en) End-to-end processing in automated driving systems
US11966230B1 (en) Disengagement prediction for vehicles
EP4145420A1 (en) Hierarchical processing of traffic signal face states
US20240149895A1 (en) Map Based Annotation for Autonomous Movement Models Training
Wei International Conference on Transportation and Development 2022: Application of Emerging Technologies
Wu et al. Development of a Roadside LiDAR-Based Situational Awareness System for Work Zone Safety: Proof-of-Concept Study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant