CN107643073A - 后部摄像机路口检测 - Google Patents

后部摄像机路口检测 Download PDF

Info

Publication number
CN107643073A
CN107643073A CN201710569423.9A CN201710569423A CN107643073A CN 107643073 A CN107643073 A CN 107643073A CN 201710569423 A CN201710569423 A CN 201710569423A CN 107643073 A CN107643073 A CN 107643073A
Authority
CN
China
Prior art keywords
vehicle
road
intersecting roads
component
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710569423.9A
Other languages
English (en)
Other versions
CN107643073B (zh
Inventor
斯科特·文森特·迈尔斯
亚历山德鲁·米哈伊·古尔吉安
艾希莉·伊丽莎白·米克斯
亚历山德罗·乔治·沃尔什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107643073A publication Critical patent/CN107643073A/zh
Application granted granted Critical
Publication of CN107643073B publication Critical patent/CN107643073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0014—Adaptive controllers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/20—Road profile

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种检测路口或交叉道路的方法包括从至少两个传感器接收感知数据。所述至少两个传感器包括车辆的后视摄像机和另一传感器。感知数据包括车辆所在的当前道路的信息。该方法包括基于感知数据检测与当前道路连接的交叉道路。该方法还包括存储交叉道路的相对于当前道路的位置和方向的指示。

Description

后部摄像机路口检测
技术领域
本公开涉及辅助或自动驾驶系统\方法和装置，并且更具体地，涉及使用后部摄像机的路口(stub)检测。
背景技术
机动车为商业、政府和私人实体提供了大部分的运输。目前正在开发和部署自主车辆和驾驶辅助系统以提供安全特征、减少所需的用户输入量、甚至完全消除用户参与。例如，一些驾驶辅助系统可以在没有用户输入的情况下将车辆从一个位置驾驶到另一个位置，或者可以向作为人类驾驶员的用户提供帮助。这些系统通常需要知道环境(例如可用道路)的知识，以了解哪些路线可用和/或以快速提取信息或做出决定以协助人类驾驶员。
发明内容
根据本发明，提供一种方法，包括：
从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机，其中所述感知数据包括所述车辆所在的当前道路的信息；
基于所述感知数据检测与所述当前道路连接的交叉道路；和
存储所述交叉道路的相对于当前道路的位置和方向的指示。
根据本发明的一个实施例，其中，检测所述交叉道路包括检测道路标记中的间隙、当前道路的路肩的中断、或路沿或护栏高度的变化或中断中的一个或多个。
根据本发明的一个实施例，其中，检测交叉道路包括使用深层神经网络进行检测。
根据本发明的一个实施例，其中，所述至少两个传感器包括所述后视摄像机以及以下中的一个或多个：光检测和测距(LIDAR，light detection and ranging)系统、雷达系统、超声波感测系统或红外摄像机系统。
根据本发明的一个实施例，其中，所述方向表示所述交叉道路位于所述当前道路的哪一侧。
根据本发明的一个实施例，其中，所述存储位置和方向的指示包括，上传到通过网络可访问的远程存储位置。
根据本发明的一个实施例，还包括：
确定车辆的当前位置；
从所述远程存储位置检索所述当前位置的驾驶历史数据，其中所述驾驶历史数据表示所述当前位置附近的交叉道路的位置或方向；和
将所述当前位置附近的所述交叉道路的所述位置或方向广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
根据本发明的一个实施例，还包括处理所述交叉道路的位置或方向以确定所述车辆的路线或检测所述车辆或乘客的关注点。
根据本发明，提供一种系统，包括：
感知数据组件，所述感知数据组件被配置为从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机，其中所述感知数据包括所述车辆所在的当前道路上的所述车辆后方的区域的信息；
路口检测组件，所述路口检测组件被配置为基于感知数据检测与当前道路连接的交叉道路；和
通知组件，所述通知组件被配置为存储所述交叉道路相对于所述当前道路的位置和方向的指示。
根据本发明的一个实施例，其中，所述路口检测组件被配置为通过检测以下中的一个或多个来检测交叉道路：道路标记中的间隙、当前道路的路肩的中断，或路沿或屏障高度的变化或中断。
根据本发明的一个实施例，其中，所述路口检测组件被配置为通过使用深层神经网络检测来处理所述感知数据的至少一部分来检测交叉道路。
根据本发明的一个实施例，其中，所述至少两个传感器包括所述后视摄像机以及以下中的一个或多个：光检测和测距(LIDAR)系统、雷达系统、超声波感测系统或红外摄像机系统，其中所述系统包括所述至少两个传感器。
根据本发明的一个实施例，其中，所述路口检测组件被配置为检测所述方向，其中所述方向表示所述交叉道路位于所述当前道路的哪一侧。
根据本发明的一个实施例，其中所述路口检测组件被配置为通过检测将所述当前道路连接到车道、停车场或十字路口中的一个或多个的驾驶路面来检测交叉道路。
根据本发明的一个实施例，其中所述通知组件被配置为通过上传到经由网络可访问的远程存储位置来存储所述位置和方向的指示。
根据本发明的一个实施例，还包括：
被配置为确定车辆的当前位置的位置组件；和
驾驶历史组件，所述驾驶历史组件被配置为：
从远程存储位置检索所述当前位置的驾驶历史数据，其中所述驾驶历史数据表示所述当前位置附近的交叉道路的位置或方向；和
将所述当前位置附近的所述交叉道路的所述位置或方向广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
根据本发明的一个实施例，还包括路线组件，所述路线组件被配置为处理所述交叉道路的所述位置或方向以确定所述车辆的路线或检测所述车辆或乘客的关注点。
根据本发明，提供一种存储指令的计算机可读存储介质，所述指令当由一个或多个处理器执行时，使所述处理器：
从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机，其中所述感知数据包括所述车辆所在的当前道路上的所述车辆后面的区域的信息；
根据所述感知数据检测与所述当前道路连接的交叉道路；和
存储所述交叉道路的相对于所述当前道路的位置和方向的指示。
根据本发明的一个实施例，其中所述检测交叉道路包括，检测以下中的一个或多个：道路标记中的间隙、所述当前道路的路肩中断、或者路沿或护栏高度的变化或中断。
根据本发明的一个实施例，其中所述存储位置和方向的指示包括，上传到通过网络可访问的远程存储位置，其中所述指令还使所述一个或多个处理器进行：
确定所述车辆的当前位置；
从所述远程存储位置检索所述当前位置的驾驶历史数据，其中所述驾驶历史数据表示所述当前位置附近的交叉道路的位置或方向；和
将所述当前位置附近的所述交叉道路的所述位置或方向广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
附图说明
参考以下附图描述本公开的非限制性和非穷尽性实施例，其中除非另有说明，相同的附图标记表示各种视图中的相似部分。参考以下描述和附图将更好地理解本公开的优点，其中：
图1是示出了包括自动驾驶/辅助系统的车辆控制系统的实施例的示意性框图；
图2示出了示例性道路环境的俯视图；
图3示出了示例性道路环境的透视图；
图4示出了另一个示例性的道路环境的透视图；
图5是根据一个实施例示出了的用于检测路口或交叉道路的数据流的示意性框图；
图6是根据一个实施例示出了的深层神经网络的示例配置的示意图；
图7是根据一个实施例示出了的路口组件的示例性组件的示意性框图；
图8是根据一个实施方例示出了用于检测路口或交叉道路的方法的示意性框图；和
图9是根据一个实施例示出了计算系统的示意性框图。
具体实施方式
在做决定、导航或驾驶期间，自动驾驶系统或驾驶辅助系统可以使用来自多个源的数据来确定最佳路线或操作。例如，自动驾驶/辅助系统可以包括实时感测驾驶环境的传感器和/或可以访问地图或本地或远程数据存储以获得关于当前位置或沿着计划的驾驶路线的位置的具体细节。在一个实施例中，关于母车辆已经行驶的位置的细节可以存储在驾驶历史数据库中以供以后访问。例如，当车辆返回到具有驾驶历史数据的位置时，自动驾驶/辅助系统可以从驾驶历史中拉取数据以获得关于可能对驾驶员或者车辆传感器不是显而易见的位置的细节。
由于驾驶历史数据对于自动驾驶/辅助系统可能是非常有帮助的，所以申请人已经认识到使用在车辆上的可用的传感器和计算能力以获取驾驶历史数据的益处。在本申请中，申请人公开了通过使用车辆的后部摄像机或倒车摄像机获取关于车辆进入或离开道路的交叉道路、车道或其他可能的位置的信息的系统、方法和装置。该数据可以存储在驾驶历史记录中供以后使用。根据一示例实施例，系统包括感知数据组件、路口检测组件和存储组件。感知数据组件被配置为从至少两个传感器接收感知数据。所述至少两个传感器包括车辆的后视摄像机，并且所述感知数据包括所述车辆所在的当前道路上的车辆后方的区域的信息。路口检测组件被配置为基于感知数据检测与当前道路连接的交叉道路。存储组件被配置为存储交叉道路相对于当前道路的位置和方向的指示。
车辆上的后视摄像机通常用于倒车，并且在车辆向前移动时空闲或未使用。本文公开的实施例使用后部摄像机来检查车辆后方的道路以检测路口。术语“路口”是指已知的驾驶路面分叉或连接到特别的道路的位置，即使不知道除连接存在之外的更多信息。路口可以包括与车辆当前所在或行驶的道路连接的道路、车道或其他驾驶路面的一部分。例如，路口可以包括可以驾驶车辆进入或离开当前道路的位置。例如，一些实施例可以使得后部摄像机在车辆上电或移动(向前或向后)的任何时间捕获视频/图像。关于入口或出口的信息可用于通知自动驾驶/辅助系统或更新驾驶历史数据库。
在一个实施例中，后部摄像机检测驾驶历史记录目前不知道的可能的入口通道、出口和十字路口，不知道是因为它们尚未被行驶过。可以使用深层神经网络(DNN，deepneural network)的车道检测算法来发现车辆后方的车道(例如使用后视摄像机图像)。为了检测路口，可以检查车道标记中的间隙。例如，道路边界标记可以沿着道路的一侧继续，并在交叉路口或十字路口所在的地方停下来一段短的距离。在一个实施例中，LIDAR和后部摄像机数据可以在传感器融合设置中组合，以便改善鲁棒性。例如，LIDAR数据可以提供附加信息，或者可以在摄像机图像中没有可见车道标记、但是可以使用LIDAR来检测路肩的情况下使用。例如，路肩的间隙或变化提示存在路口。类似地，道路附近的护栏或路沿的存在、不存在或变化也可用于识别出现在道路上的入口或出口的位置。
当已经检测到交叉口、入口或出口时，系统可以确定交叉口、入口或出口的位置和/或方向。例如，位置可以包括GPS位置、地图上的位置、与道路的特征(例如另一个交叉点)的距离等。方向可以表示路口(交叉口、入口或出口)位于当前道路的哪一侧。例如，方向可以表示路口位于当前道路的具体哪一侧。位置和方向可以存储在驾驶历史数据库中以便随后检索。在以后行驶到该位置附近时，可以从驾驶历史记录中检索到这些路口、交叉道路和出口的存在，并用于车辆中的其他控制器精确地规划可能的路径。在一个实施例中，路口或交叉道路的存在可以存储在远程位置，使得车辆可以利用自身以及其他车辆收集的数据。
交叉道路或路口的存在可以用于行车路线安排。例如，它们可以用于确定车辆可能经过的可能的路线。交叉道路或路口的存在可以用于关注点检测，以及其他需要的功能。例如，基于路口、入口或出口的存在，系统可以检查地图上或数据库中是否存在该路口、入口或出口附近的关注点。可以向人或自动驾驶/辅助系统通知关注点，以便人或自动驾驶/辅助系统可以确定他们是否要行驶到该位置、或者加载另外的驾驶历史、地图数据或用于该位置的路径规划数据。
将关于下面的附图讨论其它实施例和示例。
现在参考附图，图1示出了示例性车辆控制系统100。车辆控制系统100包括自动驾驶/辅助系统102。自动驾驶/辅助系统102可以用于自动化或控制车辆的操作或者向人类驾驶员提供帮助。例如，自动驾驶/辅助系统102可以控制车辆的制动、转向、加速、灯、警报、驾驶员通知、无线电或车辆的任何其他驾驶或辅助系统。在另一示例中，自动驾驶/辅助系统102可能不能提供对驾驶(例如转向、加速或制动)的任何控制，但是可以提供通知和警报以辅助驾驶者安全行驶。例如，自动驾驶/辅助系统102可以包括通过控制器总线提供或接收数据并且使用数据来确定要执行的动作和/或提供用于启动这些动作的指令或信号的一个或多个控制器。自动驾驶/辅助系统102可以包括路口组件104，其被配置为基于来自车辆的后视摄像机的图像或视频来检测连接到当前道路的道路、车道、停车场或任何其他驾驶路面的入口或出口。
车辆控制系统100还包括一个或多个传感器系统/装置，其用于检测附近物体的存在、车道标记和/或确定母车辆的位置(例如，包括车辆控制系统100的车辆)。例如，车辆控制系统100可以包括雷达系统106、一个或多个光检测和测距(LIDAR)系统108、一个或多个摄像机系统110、全球定位系统(GPS)112和/或超声系统114。车辆控制系统100可以包括用于存储与导航和安全性相关或有用的数据的数据存储器116，例如地图数据、驾驶历史(即驾驶的历史)或其他数据。车辆控制系统100还可以包括用于与移动或无线网络、其他车辆、基础设施、云或远程计算或存储资源或任何其他通信系统无线通信的收发机118。
车辆控制系统100可以包括车辆控制致动器120，以控制车辆驾驶的诸如电动马达、开关或其他致动器的各个方面，以控制制动、加速、转向等。车辆控制系统100可以包括一个或多个显示器122、扬声器124或其他设备，使得可以提供对人类驾驶员或乘客的通知。显示器122可以包括抬头显示器、仪表板显示器或指示器、显示屏幕或车辆的驾驶员或乘客可以看到的任何其他视觉指示器。扬声器124可以包括车辆的声音系统的一个或多个扬声器，或者可以包括专用于驾驶员通知的扬声器。车辆控制致动器120、显示器122、扬声器124或车辆控制系统100的其他部分可以由自动驾驶/辅助系统102的一个或多个控制器来控制。
在一个实施例中，自动驾驶/辅助系统102被配置为控制母车辆的驾驶或导航。例如，自动驾驶/辅助系统102可以控制车辆控制致动器120以行驶在道路、停车场、行车道或其他位置的车道内。例如，自动驾驶/辅助系统102可以基于由组件106-118中的任一个提供的信息或感知数据来确定路线。传感器系统/设备106-110和114可用于获得实时传感器数据，使得自动驾驶/辅助系统102可以辅助驾驶员或实时驾驶车辆。在一个实施例中，自动驾驶/辅助系统102还使用(本地或远程地)存储在驾驶历史中的信息来确定当前环境中的状况。自动驾驶/辅助系统102可以实现驾驶或辅助驾驶车辆的一个或多个算法、应用、程序或功能。
在一个实施例中，摄像机系统110包括后视摄像机，例如倒车摄像机。摄像机系统110可以包括朝向不同方向的摄像机，以提供车辆附近或周围区域的不同视线和不同视野。例如，一些摄像机可能朝前、朝侧面、朝后、成一定角度或朝任何其他方向。在一个实施例中，来自后部摄像机的图像可以用于确定沿着车辆的当前道路的车辆后方的车道数量、连接道路等。
自动驾驶/辅助系统102还可以包括位置组件126和驾驶历史组件128。位置组件126可以确定系统100所位于的车辆的当前位置。例如，位置组件126可以从GPS 112和/或收发器118接收表示车辆位置的位置信息。驾驶历史组件128被配置为从驾驶历史(即驾驶的历史)中检索数据并将其提供给系统100的其他控制器或部分。例如，对于当前或将来的位置，驾驶历史中的数据(本地存储在数据存储器116中或远程存储在使用收发器118通过网络可访问的位置)可被检索，以用于通知自动驾驶/辅助系统102道路或驾驶状况。在一个实施例中，驾驶历史组件128被配置为从远程存储位置检索驾驶历史数据。驾驶历史可以表示连接道路或驾驶路面的存在。在一个实施例中，驾驶历史组件128被配置为发送在当前位置附近或沿着车辆路线的路口或连接的驾驶路面到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。例如，控制器可以使用来自驾驶历史的数据确定如何控制车辆行驶一段道路或为人类司机转弯或将要转弯的可能性做好准备。
应当理解，图1的实施例仅作为示例给出。在不脱离本公开的范围的情况下，其它实施例可以包括更少的或附加的组件。另外，所示的组件可以组合或包括在其他组件中而不限于此。
图2示出了道路200上的车辆202的俯视图。车辆202包括后视摄像机和/或其它传感器，其捕获车辆202后面视野204内的数据。视野204可对应于倒车摄像机、LIDAR系统、雷达系统和/或任何其他传感器或感知系统。基于视野204内捕获的图像或其他类型的数据，路口组件104可以检测/定位道路200和任何岔道、行车道、入口、出口等之间的连接。例如，可以基于图像和/或其他感知数据检测岔道212。
在一个实施例中，后视摄相机可以产生车辆202后面的道路200的区域的图像。其他传感器可以获得其他类型的感知数据。基于图像或其他感知数据，路口组件104可以检测道路标记、路肩、路沿、护栏、驾驶路面和/或类似物体。例如，路口组件104可以检测标记，例如中心线标记206、道路边界标记208、车道分隔线标记、齿纹标志带等。作为另一示例，路口组件104可以检测路肩边缘210。路肩边缘可以包括铺过的路面(例如混凝土，沥青等)的边缘或与路面相邻的垃圾或维护区域的边缘。路肩边缘210在图像中可以是可见的，但也可以呈现材料的不同纹理或反射率之间的边界，或者具有由LIDAR、雷达或其他感知数据可检测的不同的高度或三维形状。
基于道路标记、路肩、路沿、护栏、驾驶路面和/或类似物的存在、不存在或变化，路口组件104可以识别路口或连接的驾驶路面的位置。例如，如图2所示，岔路212连接到道路200中。在连接位置处，不存在道路边界标记208，因此路口组件104可以确定在该位置处存在入口、出口或连接的道路。类似地，路肩边缘210也在岔路212的位置处变化。例如，路肩边缘离开道路以跟随岔路212。路口组件104可以检测拐角214或者路肩210的中断并且确定在该位置处存在岔道、行车道等。路口组件104可以生成并存储表示在该位置处存在路口并且位于道路200的哪一侧的指示。在一个实施例中，位于道路附近的路沿或护栏也可以用于确定路口或其他入口或出口是否存在于特定位置。
路标可以包括任何类型的车道或道路标线。标记可以包括机械或非机械标记。机械标记可以包括反射器、齿纹标志带等。非机械标记可以包括用油漆、塑料、胶带、环氧树脂等形成的彩色线或标记(白色、黄色等)。
在一个实施例中，路口组件104被配置为检测并确定道路200上的车道数量。重要的是要注意，使用后视摄相机拍摄的图像获取的信息可能与前视摄像机中的信息或与人类驾驶员的角度获取的信息相反。例如，在特定驾驶位置，如果中心线大体在车辆的左侧，则后视摄像机可能捕获显示中心线在图像右侧的图像。因此，使用来自后视摄像机的数据的所有车道号、车道位置和车道检测算法可能需要反转顺序或检测规则，以反映其他传感器的公共格式或驾驶员的角度。
路口组件104可以使用齿纹标志带的存在以及标记颜色(白色、黄色等)或图案(虚线或实线)，以确定道路的边界(或道路的最外车道边界)。例如，道路边界标记208包括实线图案，而中心线标记206包括虚线图案。可以基于颜色，频率等将其他类型的车道标记(例如反射器)识别为道路边界标记、中心线、车道分隔线等。鉴于本公开内容，本领域技术人员将理解，关于边界的标记类型的检测可以应用于任何类型的车道标记，无论是机械标记还是非机械标记。
图3示出了根据一个实施例的住宅区中的道路300的透视图。该视图示出了驾驶通过住宅区域的车辆的后视摄相机(例如倒车摄像机)的图像中捕获的内容。因为道路300不包括传统的机械或非机械车道标记(例如线或反射器)，所以必须基于其他因素(例如路沿302的存在或高度、停车带306或非驾驶路面)来确定道路300上的入口或出口的存在。路口组件104可以确定路沿302的高度和高度的任何变化。例如，当车道304通向道路300时，路沿高度收缩或较小。类似地，可以基于缺少路沿和/或延续的驾驶路面在一个方向至少部分垂直于道路300检测到交叉道路。在一个实施例中，路口组件104还可以检测具有与道路300的驾驶路面不同质地或高度的停车带306或道路300附近的其它区域。例如，可以使用来自后部摄像机的图像和/或来自另一感测系统的数据(例如LIDAR数据或雷达数据)来检测道路300的任一侧上的路沿302、停车带306、道路或其不存在。LIDAR数据和雷达数据可以特别有助于检测路沿或其他三维道路或环境特征。
在一个实施例中，可以生成基于图像和其他传感器数据的融合数据，以确定道路附近的路沿、路肩等位置。例如，可以基于诸如边缘检测或边界检测的图像处理技术或者基于LIDAR数据来确定道路边缘的位置。
图4示出了根据一个实施例的商业环境中的道路400的透视图。该视图示出了由车辆的后视摄像机(例如倒车摄像机)在图像中捕获的内容。类似地，LIDAR或雷达系统可以捕获关于道路400的一个或多个特征或道路400的环境的信息。道路400是具有多个标记的双向道路，包括中心线标记402、车道分隔线标记404和道路边界标记406。路沿408位于道路400附近，并且交叉路口410与道路400相交。在一个实施例中，路口组件104配置成检测并确定道路400上的多条车道。例如，路口组件104可以识别道路边界标记406，并且基于两组车道分隔线标记404和中心线标记402，确定道路上有四条车道。
基于道路边界标记406中的中断、路沿408的存在或高度的变化、或驾驶路面的延续，路口组件104可以确定连接到道路400的街道、行车道等。例如，路沿408和道路边界标记406在交叉路口410处结束。根据路沿408和道路边界标记406的结束，路口组件104可以确定在该位置存在交叉路口410。在一个实施例中，即使可用的地图不包括关于交叉路口410的任何信息，路口组件104也可以确定在路沿408和道路边界标记406的中断或结束的位置处存在道路或街道。交叉路口410的存在可以存储在驾驶历史中以供以后访问。
图5是示出了用于检测连接街道或驾驶路面的存在和方向的方法500的数据流程的示意性框图。可以接收包括摄像机数据、雷达数据、LIDAR数据和/或超声数据的多种类型的感知数据，以组合用于传感器融合502。摄像机数据可以包括来自诸如倒车摄像机的后视摄像机的数据。传感器融合502可以基于组合的感知数据生成关于车道标记位置、路沿位置、路肩或任何其他环境物体或特征的位置的信息。例如，如果仅接收到摄像机数据和LIDAR数据，则可以基于摄像机和LIDAR数据的平均值或其他组合来确定车道标记的位置。传感器融合502可以使用不同数据类型的平均值或加权平均值来确定融合的或组合的数据。如果仅接收到一种类型的数据，则传感器融合可以通过该原始数据或修改原始数据以匹配神经网络504期望的格式。神经网络504可以接收原始或融合数据并处理它以产生存在路口(例如，连接道路或驾驶路面)的指示以及相对于当前道路的路口的方向。例如，路口的方向可以表示相对于车辆正在朝向的当前方向，它是否在道路的左侧或右侧。
神经网络504可以包括计算一个或多个输出的一个或多个网络，输出包括路口的存在和/或路口的方向的指示。由于可以使用后视摄像机数据，路口的存在可以基于车辆已驶过的道路的一部分。然而，在当车辆正在接近或重新接近检测到路口的位置的后续时间，可以检索存储的路口的存在和方向的指示。在一个实施例中，神经网络504包括已被训练用于检测路口和/或路口方向的一个或多个深层神经网络。在一个实施例中，路口的存在可以与车辆的当前位置相关联。因为路口可能是车辆后的一些位置，所以路口位置可以与当前位置偏移预定距离相关联。在一个实施例中，神经网络可以提供表示路口距离车辆的距离的输出。
图6是示出了深层神经网络600的配置的示意图。近年来，深层神经网络受到关注，因为它们在诸如图像分类和语音识别等挑战性任务中胜过传统的机器学习方法。深层神经网络是具有输入节点(例如输入节点602)、一个或多个隐藏层(例如隐藏层604、606和608)以及输出节点(例如输出节点610)的前馈计算图。对于关于图像的内容或信息的分类，输入图像的像素值被分配给输入节点，然后经过多个非线性变换通过网络的隐藏层604、606、608进行馈送。在计算结束时，输出节点610产生对应于神经网络推导的类别的值。输入节点602、隐藏层604-608和输出节点610的数量仅是说明性的。例如，较大的图像可以包括每个像素的输入节点602，并且因此可以具有数百、数千或其它数量的输入节点。
根据一个实施例，图6的深层神经网络600可以用于将图像的内容分成四个不同的类别：第一类别、第二类别、第三类别和第四类别。根据本公开，类似或不同尺寸的神经网络可以能够输出表示图像中的车道数量的值。例如，第一类别可以对应于连接的道路或路口的存在/不存在，第二类别可以对应于道路或路口的方向(例如，对于左边近乎零，对于左边近乎一)，第三类别和第四类别可以表示从车辆的后部到任何检测到的道路或路口的距离。例如，第三别和第四类别可被处理为二进制输出，以表示路口落入四个距离范围中的一个。这仅仅示出了基于可能包括数百或数千个像素的图像将路口的存在、方向和/或距离进行分类的神经网络，并且可能需要包括更多数量的输出以提供更准确的距离指示。因此，将路口的存在、方向和/或与距离进行分类的神经网络可能需要在输入层的数百或数千个节点和/或多于四个输出节点。
例如，在图2所示的时间点将道路200的原始图像馈送到网络中，可以产生存在路口的高可能性、方向在车辆202的左侧、表示岔路212和车辆202之间距离的距离。可以使用类似的技术或原理来推理关于道路标记、车道等的存在和位置的信息。
为了使深层神经网络能够区分任何期望的类别，需要基于示例来训练神经网络。例如，为了创建能够检测和将图片中的路口、方向和/或距离进行分类的深层神经网络，可能需要大量的示例图像(数百到数千个具有不同类型的路口和距离的道路)，每个图像具有对应于路口的存在、方向和/或距离的指定的标签。标签数据对于训练深层神经网络来说可能是一个很大的挑战，因为通常需要人们为训练图像(通常为数百万)分配标签。因此，获取图像的时间和设备以及手工标记它们可能是昂贵的。一旦获取了具有标签(训练数据)的图像，则可以训练网络。用于训练的示例算法包括使用图像的反向传播算法，包括带有标签的大量图像。反向传播算法可能需要几个小时、几天或几周的时间。
转到图7，示出了根据一个实施例的路口组件104的组件的示意性框图。路口组件104包括感知数据组件702、融合组件704、车道数量组件706、当前车道组件708、路口检测组件710、路线组件712和通知组件714。组件702-714仅通过说明的方式给出，并且可以不包括在所有实施例中。事实上，一些实施例可以仅包括组件702-714中的两个或更多个的一个或任何组合。组件702-714中的一些可以位于路口组件104之外，例如在自动驾驶/辅助系统102内或其他地方。
感知数据组件702被配置为从车辆或车辆控制系统的一个或多个传感器或感测系统获得或接收感知数据。在一个实施例中，感知数据组件702接收包括关于车辆或车辆控制系统的环境的信息的感知数据。示例感知数据包括来自LIDAR、雷达、摄像机、超声波、红外线或其他系统的数据。在一个实施例中，感知数据组件702被配置为从至少两个传感器或感测系统接收感知数据。在一个实施例中，传感器或感测系统中的至少一个包括车辆的后视摄像机。还可以接收来自其他传感器的数据，例如来自LIDAR、雷达、超声波、红外线或其他系统的数据。感知数据可以包括车辆所在的当前道路的车辆后方的区域的信息。
融合组件704被配置为执行与感知数据组件702获得的感知数据的数据融合。例如，融合组件704可以使用来自感知数据的数据填充一个或多个其他组件702、706-714期望的字段或条目。例如，如果是车道数量组件706或路口检测组件710期望的(但可能不需要)图像，则融合组件704可将图像提供到要提供给车道数量组件706或路口检测组件710的表或矩阵中。类似地，如果组件可以使用LIDAR数据，则融合组件704可将LIDAR数据提供到表或矩阵的不同字段或区域中。融合组件704可以组合来自不同数据源的感知数据，以供车道数量组件706、当前车道组件708和/或路口检测组件710使用，以使用神经网络或其他机器学习算法或模型进行处理。
在一个实施例中，融合组件704被配置为基于来自至少两个传感器的感知数据生成融合的传感器数据。例如，融合的传感器数据可以包括车道标记的位置、路沿或屏障的位置、路肩的位置或路肩的边缘、车道数量等。例如，融合组件704可以基于来自多个传感器的数据来确定一条或多条车道线的存在或位置。例如，来自一个传感器的数据可能以高置信度表示存在车道标记，而来自另一传感器的数据可能以低或中等置信度表示存在车道标记。基于组合数据，融合组件704可以确定存在车道标记。类似地，来自一个传感器的数据可以表示车道标记或路沿的第一位置，而来自另一个传感器的数据可以表示车道标记或路沿具有略微不同的位置。融合组件704可以确定已经根据组合的数据计算的新的或修改的位置。
车道数量组件706被配置为基于感知数据确定道路上的车道数量。在一个实施例中，车道数量组件706使用已经被融合组件704融合或处理的感知数据。在另一个实施例中，车道数量组件706使用原始数据或未由融合组件704融合或处理的数据。在一个实施例中，车道数量组件706包括已被训练来检测图像、LIDAR帧、雷达帧或其他传感器数据的帧或单元内的车道数量的一个或多个神经网络。其他实施例可以包括用于确定车道数量的其他类型的机器学习算法或模型。车道数量组件706可以接收感知数据作为输入，并提供表示推断的车道数量的输出。当捕获/获取感知数据时，神经网络或其他机器学习算法的输出可以向其他组件或系统表示感知传感器的视野内存在多少车道。
当前车道组件708被配置为确定车辆的当前车道。例如，当前车道组件708可以基于感知数据来确定车道数量组件检测到的车道数量内的车辆的当前车道。例如，当前车道组件708可以基于车道线或连续车道标记形成的角度、图像或LIDAR帧内的位置等来确定车辆的当前车道。当前车道可以包括表示车辆位于检测的车道的哪一个(例如相对于车辆的行驶方向从左到右或从右到左)。例如，如果车道数量组件706检测到6个车道，则当前车道组件708可以输出“1”来表示车辆在最右侧车道中、“2”表示车辆在中间车道、或“3”表示车辆处于最左侧车道。该配置仅作为示例给出，并且在本公开的范围内的其他实施例中可以提供其他类型的输出。
根据一个实施例，当前车道组件708使用已被训练来确定当前车道的深层神经网络。例如，当前车道组件708的神经网络可以接收图像、LIDAR帧和/或其他感知数据以及由车道数量组件706输出的车道数量。基于该输入，神经网络可以输出号码或车辆可能位于哪个车道的其他指示。当前车道指示可以表示获得感知数据时车辆的车道位置。
路口检测组件710被配置为基于感知数据来确定是否存在岔路或其他驾驶路面连接当前道路的出口或入口(即路口)。在一个实施例中，路口检测组件710使用已经由融合组件704进行融合或处理的感知数据。在另一个实施例中，路口检测组件710使用原始数据或未被融合组件704融合或处理的数据。在一个实施例中，路口检测组件710包括一个或多个神经网络，该神经网络已被训练以检测图像、LIDAR帧、雷达帧或其他传感器数据的帧或单元内的路口的存在、方向和/或距离。其他实施例可以包括用于确定存在、方向或距离的其他类型的机器学习算法或模型。路口检测组件710可以接收感知数据作为输入，并且提供表示路口存在或不存在、方向(例如相对于车辆的当前方向的道路的左侧或右侧)和/或车辆后方与路口的距离的输出。当捕获或获得感知数据时，神经网络或其他机器学习算法的输出可以向其他组件或系统表示关于感知传感器视野内的路口的信息。
在一个实施例中，路口检测组件710被配置为基于感知数据来检测与当前道路连接的交叉道路。路口检测组件710可以通过检测道路标记中的间隙、当前道路的路肩中断、或路沿或护栏高度的变化或中断中的一个或多个来检测交叉道路是否存在。例如，道路标记(例如车道边界标记、车道分隔线标记、道路边界标记、振动带或其他标记)的间隙或中断可能发生在交叉口处或存在当前道路的入口或出口处。在一个实施例中，路肩的中断可能发生在另一个驾驶路面与当前道路连接的地方。例如，如果垃圾或砾石路肩位于道路路面旁边，则在铺设的道路、入口或出口连接到当前道路的地方，垃圾或砾石路肩可能会发生中断。在其他车辆能够离开或进入当前道路的位置，路沿或护栏也可能会发生中断。路口检测组件710可以确定路的方向以表示交叉道路位于当前道路哪一侧。例如，方向可以表示车辆将需要从当前道路转向行驶到交叉道路上的方向。在一个实施例中，路口检测组件710被配置为通过检测将当前道路连接到车道、停车场或十字路口中的一个或多个的驾驶路面来检测交叉道路。
在一个实施例中，可以使用训练数据来训练机器学习(例如深层神经网络)，以自动创建检测这些方面或与路口相关联或表示路口的存在的其他方面的模型。在一个实施例中，一旦训练神经网络，神经网络可以用于通过使用深层神经网络以处理由感知数据组件702收集的感知数据的至少一部分来检测交叉道路。
路线组件712被配置为确定驾驶路线或要由车辆或驾驶系统执行的可能的驾驶路线。例如，路线组件712可以确定到达目的地的行驶路线。路线组件712可以确定一个或多个可能的目的地，然后确定一个或多个可能的驾驶路线以到达一个或多个目的地。在一个实施例中，路线组件712可以基于本地或远程驾驶历史中的信息来确定路线。例如，路线组件712可以从驾驶历史组件128接收路口信息，并且基于该信息来确定路线。路口信息可以包括路口的位置和方向的指示。例如，路线组件712可以处理至少部分地由驾驶历史组件128提供的交叉道路的位置或方向，以确定车辆的路线或检测车辆或乘客的关注点。例如，路线组件712可以基于路口信息来确定可能的目的地和/或可以基于路口信息来确定路线。
通知组件714被配置为将路口信息报告给自动驾驶系统或驾驶辅助系统。例如，通知组件714可以提供连接的驾驶路面、道路或路口的存在、位置和/或方向的指示。通知组件714可以提供由感知数据组件702、融合组件704、车道数量组件706、当前车道组件708、路口检测组件710和/或路线组件712获得或确定的任何数据。通知组件714可以提供报告或数据至驾驶历史组件128，或者用于存储在本地或远程驾驶历史中。例如，通知组件714或驾驶历史组件128可以将交叉道路的位置和方向的指示上传到远程存储位置。
图8是示出了用于检测路口的方法800的示意性流程图。方法800可以由路口组件、自动驾驶/辅助系统或车辆控制系统(例如图1的路口组件104、自动驾驶/辅助系统102或车辆控制系统100)执行。
方法800开始，并且感知数据组件702在802处接收来自至少两个传感器的感知数据，至少两个传感器包括车辆的后视摄像机。感知数据可以包括关于车辆所在的当前道路的信息，例如车辆后方的区域的信息。例如，感知数据可以包括来自后视摄像机的信息以及来自雷达系统、LIDAR系统、超声波感测系统、红外感测系统等中的一个或多个的数据。路口检测组件710基于感知数据在804处检测与当前道路连接的交叉道路。路口检测组件710可以包括接收感知数据并提供感知数据中可见的/所示的路口的存在、方向、和/或位置的指示的深层神经网络。在一个实施例中，路口检测组件710可以基于来自多个传感器或传感器系统的融合数据来确定路口的存在、位置和/或方向。在806处，通知组件714存储交叉道路相对于当前道路的位置和方向的指示。在一个实施例中，通知组件714通过将数据提供给图1的驾驶历史组件128或自动驾驶/辅助系统102，来在806处存储交叉道路的位置和方向的指示。
现在参考图9，示出了示例性计算设备900的框图。计算设备900可用于执行各种过程，例如本文所讨论的过程。计算设备900可用作路口组件104、自动驾驶/辅助系统102、服务器或任何其他计算实体。计算设备900可以执行如本文所讨论的各种监视功能，并且可以执行一个或多个应用程序，例如本文描述的应用程序或功能。计算设备900可以是诸如台式计算机、笔记本计算机、服务器计算机、手持式计算机、平板计算机等各种计算设备中的任何一种。
计算设备900包括一个或多个处理器902、一个或多个存储器设备904、一个或多个接口906、一个或多个大容量存储设备908、一个或多个输入/输出(I/O)设备910和显示设备930，所有这些设备都连接到总线912。处理器902包括执行存储在存储器设备904和/或大容量存储设备908中的指令的一个或多个处理器或控制器。处理器902还可以包括各种类型的计算机可读介质，诸如高速缓冲存储器。
存储器904包括各种计算机可读介质，诸如易失性存储器(例如随机存取存储器(RAM，random access memory)914)和/或非易失性存储器(例如只读存储器(ROM，read-only memory)916))。存储设备904还可以包括诸如闪存之类的可重写ROM。
大容量存储设备908包括各种计算机可读介质，诸如磁带、磁盘、光盘、固态存储器(例如闪存)等等。如图9所示，特定的大容量存储设备是硬盘驱动器924。各种驱动器也可以被包括在大容量存储设备908中，以使得能够从各种计算机可读介质读取和/或写入各种计算机可读介质。大容量存储设备908包括可移动介质926和/或不可移动介质。
I/O设备910包括允许将数据和/或其他信息输入到计算设备900或从计算设备900检索的各种设备。示例性I/O设备910包括光标控制设备、键盘、小键盘、麦克风、监视器或其他显示设备、扬声器、打印机、网络接口卡、调制解调器等。
显示设备930包括能够向计算设备900的一个或多个用户显示信息的任何类型的设备。显示设备930的示例包括监视器、显示终端、视频投影设备等。
接口906包括允许计算设备900与其他系统、设备或计算环境交互的各种接口。示例性接口906可以包括任何数量的不同的网络接口920，诸如到局域网(LAN)、广域网(WAN)、无线网络和因特网的接口。其他接口包括用户接口918和外围设备接口922。接口906还可以包括一个或多个用户接口元件918。接口906还可以包括一个或多个外围接口，例如用于打印机、指示设备(鼠标、跟踪板或本领域为普通技术人员已知的、或以后存在的任何合适的用户界面)、键盘等。
总线912允许处理器902、存储设备904、接口906、大容量存储设备908和I/O设备910彼此通信，以及与连接到总线912的其他设备或组件通信。总线912表示几种类型的总线结构中的一种或多种，例如系统总线、PCI总线、IEEE总线、USB总线等。
为了说明的目的，程序和其他可执行程序组件在本文中示出为离散的块，但是应当理解，这样的程序和组件可以在不同时间驻留在计算设备900的不同存储组件中，并且由处理器执行。或者，本文描述的系统和过程可以以硬件或硬件、软件和/或固件的组合来实现。例如，可以编程一个或多个专用集成电路(ASIC，application specific integratedcircuit)来执行本文所述的一个或多个系统和过程。
示例
以下示例涉及另外的实施例。
示例1是包括从至少两个传感器接收感知数据的方法。所述至少两个传感器包括车辆的后视摄像机和另一传感器。感知数据包括车辆所在的当前道路的信息。该方法包括基于感知数据检测与当前道路连接的交叉道路。该方法还包括存储交叉道路相对于当前道路的位置和方向的指示。
在示例2中，检测示例1的交叉道路包括检测道路标记间隙、当前道路的路肩中断、或路沿或护栏高度的变化或中断中的一个或多个。
在示例3中，示例1-2中任一项的检测交叉道路包括使用深层神经网络进行检测。
在示例4中，示例1-3中任一项的至少两个传感器包括后视摄像机以及LIDAR系统、雷达系统、超声波感测系统或红外摄像机系统中的一个或多个。
在示例5中，示例1-4中任一项的方向表示交叉道路位于当前道路的哪一侧。
在示例6中，示例1-5中任一项的存储位置和方向的指示包括，上传到通过网络可访问的远程存储位置。
在示例7中，示例7的方法进一步包括：确定车辆的当前位置；从远程存储位置检索当前位置的驾驶历史数据，其中驾驶历史数据表示当前位置附近的交叉道路的位置或方向；并且将当前位置附近的交叉道路的位置或方向广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
在示例8中，示例7的方法还包括处理交叉道路的位置或方向以确定车辆的路线或检测车辆或乘客的关注点。
示例9是包括感知数据组件、路口检测组件和通知组件的系统。感知数据组件被配置为从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机。感知数据包括在车辆所在的当前道路上的车辆后方的区域的信息。路口检测组件被配置为基于感知数据来检测与当前道路连接的交叉道路。通知组件被配置为存储交叉道路相对于当前道路的位置和方向的指示。
在示例10中，其中示例9中的路口检测组件被配置为通过检测以下中的一个或多个来检测交叉道路：道路标记中的间隙、当前道路的路肩中断或变化、或路沿或障碍高度的变化或中断。
在示例11中，示例9-10中任一项的路口检测组件被配置为通过使用深层神经网络检测处理至少一部分感知数据来检测交叉道路。
在示例12中，示例9-11中任一项的至少两个传感器包括后视摄像机以及LIDAR系统、雷达系统、超声波感测系统或红外摄像机系统中的一个或多个，其中系统包括至少两个传感器。
在示例13中，实施例9-12中任一项的路口检测组件被配置为检测交叉道路的方向，其中该方向表示交叉道路位于或连接当前道路的哪一侧。
在示例14中，实施例9-13中任一项的路口检测组件被配置为通过检测将当前道路连接到车道、停车场或十字路口中的一个或多个的驾驶路面来检测交叉道路。
在示例15中，示例9-14中任一项的通知组件被配置为通过上传到经由网络可访问的远程存储位置来存储位置和方向的指示。
在示例16中，示例9-15中任一项的系统还包括位置组件和驾驶历史组件。位置组件被配置为确定车辆的当前位置。驾驶历史组件被配置为：从远程存储位置检索当前位置的驾驶历史数据，其中驾驶历史数据表示当前位置附近的交叉道路的位置或方向；并且将当前位置附近的交叉道路的位置或方向广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
在示例17中，示例16的系统还包括路线组件，其被配置为处理交叉道路的位置或方向以确定车辆的路线或检测车辆或乘客的关注点。
示例18是存储指令的计算机可读存储介质，该指令当由一个或多个处理器执行时，使得一个或多个处理器从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机。感知数据包括在车辆所在当前道路上的车辆后方的区域的信息。该指令使得一个或多个处理器基于感知数据检测与当前道路连接的交叉道路。所述指令使所述一个或多个处理器存储交叉道路的相对于当前道路的位置和方向的指示。
在示例19中，示例18中的检测交叉道路包括，检测道路标记中的间隙、当前道路的路肩的中断、或路沿或护栏高度的变化或中断中的一个或多个。
在示例20中，示例18-19中任一项的存储位置和方向的指示包括，上传到通过网络可访问的远程存储位置。所述指令还使得所述一个或多个处理器进行：确定所述车辆的当前位置；从远程存储位置检索当前位置的驾驶历史数据，其中驾驶历史数据表示当前位置附近的交叉道路的位置或方向；并且将当前位置附近的交叉道路的位置或方向广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
示例21是包括用于实施如示例1-20中任一项的方法、系统或装置的手段的系统或装置。
在上述公开内容中，已经参考了构成其一部分的附图，并且通过说明可以实践本公开的具体实施方式示出了附图。应当理解，在不脱离本公开的范围的情况下，可以利用其他实施例并且可以进行结构改变。说明书中对“一个实施例”，“实施例”，“示例性实施例”等的引用表示所描述的实施例可以包括特定特征、结构或特征，但是每个实施例可以不一定包括特定特征、结构或特征。此外，这样的短语不一定指代相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，认为结合其他实施例改变这样的特征是在本领域技术人员的知识范围内，不论是否明确描述。
本文公开的系统、设备和方法的实现可以包括或利用包括计算机硬件的专用或通用计算机，例如一个或多个处理器和系统存储器，如本文所讨论的。在本公开的范围内的实施方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(设备)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实现可以包括至少两种截然不同的计算机可读介质：计算机存储介质(设备)和传输介质。
计算机存储介质(设备)包括RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦可编程只读存储器)、CD-ROM(光盘驱动器)、固态驱动器(“SSD”)(例如，基于RAM)、闪存、相变存储器(“PCM”)、其他存储器类型、其他光盘存储器、磁盘存储器或其他磁存储设备，或可用于以计算机可执行指令或数据结构的形式存储所需程序代码的任何其他介质，并且可以由通用或专用计算机访问该介质。
本文公开的设备、系统和方法的实施方式可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子设备之间传送电子数据的一个或多个数据链路。当信息通过网络或其他通信连接(硬连线，无线或硬连线或无线的组合)传输或提供给计算机时，计算机正确地将连接视为传输介质。传输媒体可以包括网络和/或数据链路，其可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码手段，并且可由通用或专用计算机访问。以上的组合也应包括在计算机可读介质的范围内。
计算机可执行指令包括例如当在处理器处执行时使通用计算机，专用计算机或专用处理设备执行某些功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件，诸如汇编语言的中间格式指令、甚至是源代码。尽管主题已经以结构特征和/或方法动作特有的语言描述，但是应当理解，所附权利要求中限定的主题不一定限于上述描述的特征或动作。相反，所描述的特征和动作被公开为实现权利要求的示例形式。
本领域技术人员将理解，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，包括仪表板内置的车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器手持设备、多处理器系统、基于微处理器或可编程消费电子产品、网络PC(个人电脑)、小型计算机、大型计算机、移动电话、PDA(个人数字助理)、平板电脑、寻呼机、路由器、交换机、各种存储设备等。本公开还可以在分布式系统环境中实施，其中通过网络链接(通过硬连线数据链路，无线数据链路或通过硬连线和无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可能位于本地和远程存储设备中。
此外，在适当的情况下，本文所描述的功能可以在硬件、软件、固件、数字组件或模拟组件中的一个或多个中执行。例如，可以编程一个或多个专用集成电路(ASIC)来执行本文所述的一个或多个系统和过程。在整个描述和权利要求中使用某些术语来指代特定的系统组件。如本领域技术人员将理解的，组件可以由不同的名称引用。本文档不打算区分名称不同但功能相同的组件。
应当注意，上述传感器实施例可以包括计算机硬件、软件、固件或其任何组合，以执行其功能的至少一部分。例如，传感器可以包括配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例性装置在本文中是为了说明的目的而提供的，而不是限制性的。本公开的实施例可以在相关领域的技术人员已知的更多类型的设备中实现。
本公开的至少一些实施例已经涉及包含存储在任何计算机可用介质上的逻辑(例如以软件的形式)的计算机程序产品。当在一个或多个数据处理设备中执行时，这样的软件使得设备如本文所述地操作。
虽然上面已经描述了本公开的各种实施例，但是应当理解，它们仅以示例的方式呈现，而不是限制。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的宽度和范围不应该由上述示例性实施例中的任何一个限制，而应仅根据所附权利要求及其等同物来限定。为了说明和描述的目的，呈现了前述描述。它不是穷举的，也不是将披露限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应当注意，可以以期望的任意组合方式使用上述替代实施例中的任何或全部，以形成本公开的另外的混合实施例。
此外，尽管已经描述和示出了本公开的具体实施方式，但是本公开不限于如此描述和示出的组件的具体形式或布置。本公开的范围由所附权利要求、本文和不同申请中提交的任何将来的权利要求及其等同物来限定。

Claims (15)

1.一种方法，包括：
从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机，其中所述感知数据包括所述车辆所在的当前道路的信息；
基于所述感知数据检测与所述当前道路连接的交叉道路；和
存储所述交叉道路的相对于当前道路的位置和方向的指示。
2.根据权利要求1所述的方法，其中包括以下一项或多项：
检测所述交叉道路包括检测以下中的一个或多个：道路标记中的间隙、当前道路的路肩的中断、或路沿或护栏高度的变化或中断；
检测交叉道路包括使用深层神经网络进行检测；和
所述方向表示所述交叉道路位于所述当前道路的哪一侧。
3.根据权利要求1所述的方法，其中，所述至少两个传感器包括所述后视摄像机以及以下中的一个或多个：光检测和测距(LIDAR)系统、雷达系统、超声波感测系统或红外摄像机系统。
4.根据权利要求1所述的方法，其中，所述存储位置和方向的指示包括，上传到通过网络可访问的远程存储位置。
5.根据权利要求4所述的方法，还包括：
确定车辆的当前位置；
从所述远程存储位置检索所述当前位置的驾驶历史数据，其中所述驾驶历史数据表示所述当前位置附近的交叉道路的位置或方向；和
将所述当前位置附近的所述交叉道路的所述位置或方向广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
6.根据权利要求5所述的方法，还包括处理所述交叉道路的位置或方向以确定所述车辆的路线或检测所述车辆或乘客的关注点。
7.一种系统，包括：
感知数据组件，所述感知数据组件被配置为从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机，其中所述感知数据包括所述车辆所在的当前道路上的所述车辆后方的区域的信息；
路口检测组件，所述路口检测组件被配置为基于感知数据检测与当前道路连接的交叉道路；和
通知组件，所述通知组件被配置为存储所述交叉道路相对于所述当前道路的位置和方向的指示。
8.根据权利要求7所述的系统，其中包括以下一项或多项：
所述路口检测组件被配置为通过检测以下中的一个或多个来检测交叉道路：道路标记中的间隙、当前道路的路肩的中断，或路沿或屏障高度的变化或中断；
所述路口检测组件被配置为通过使用深层神经网络检测来处理所述感知数据的至少一部分来检测交叉道路；
所述路口检测组件被配置为检测所述方向，其中所述方向表示所述交叉道路位于所述当前道路的哪一侧；或
其中所述路口检测组件被配置为通过检测将所述当前道路连接到车道、停车场或十字路口中的一个或多个的驾驶路面来检测交叉道路。
9.根据权利要求7所述的系统，其中，所述至少两个传感器包括所述后视摄像机以及以下中的一个或多个：光检测和测距(LIDAR)系统、雷达系统、超声波感测系统或红外摄像机系统，其中所述系统包括所述至少两个传感器。
10.根据权利要求7所述的系统，其中所述通知组件被配置为通过上传到经由网络可访问的远程存储位置来存储所述位置和方向的指示。
11.根据权利要求10所述的系统，还包括：
被配置为确定车辆的当前位置的位置组件；和
驾驶历史组件，所述驾驶历史组件被配置为：
从远程存储位置检索所述当前位置的驾驶历史数据，其中所述驾驶历史数据表示所述当前位置附近的交叉道路的位置或方向；和
将所述当前位置附近的所述交叉道路的所述位置或方向广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
12.根据权利要求11所述的系统，还包括路线组件，所述路线组件被配置为处理所述交叉道路的所述位置或方向以确定所述车辆的路线或检测所述车辆或乘客的关注点。
13.一种存储指令的计算机可读存储介质，所述指令当由一个或多个处理器执行时，使所述处理器进行：
从至少两个传感器接收感知数据，所述至少两个传感器包括车辆的后视摄像机，其中所述感知数据包括所述车辆所在的当前道路上的所述车辆后面的区域的信息；
根据所述感知数据检测与所述当前道路连接的交叉道路；和
存储所述交叉道路的相对于所述当前道路的位置和方向的指示。
14.根据权利要求13所述的计算机可读介质，其中所述检测交叉道路包括检测以下中的一个或多个：道路标记中的间隙、所述当前道路的路肩中断、或者路沿或护栏高度的变化或中断。
15.根据权利要求13所述的计算机可读介质，其中所述存储位置和方向的指示包括，上传到通过网络可访问的远程存储位置，其中所述指令还使所述一个或多个处理器进行：
确定所述车辆的当前位置；
从所述远程存储位置检索所述当前位置的驾驶历史数据，其中所述驾驶历史数据表示所述当前位置附近的交叉道路的位置或方向；和
将所述当前位置附近的所述交叉道路的所述位置或方向广播到自动驾驶系统或驾驶辅助系统的一个或多个车辆控制器。
CN201710569423.9A 2016-07-20 2017-07-13 后部摄像机路口检测 Active CN107643073B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/215,368 US10369994B2 (en) 2016-07-20 2016-07-20 Rear camera stub detection
US15/215,368 2016-07-20

Publications (2)

Publication Number Publication Date
CN107643073A true CN107643073A (zh) 2018-01-30
CN107643073B CN107643073B (zh) 2022-02-11

Family

ID=59713494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710569423.9A Active CN107643073B (zh) 2016-07-20 2017-07-13 后部摄像机路口检测

Country Status (6)

Country Link
US (1) US10369994B2 (zh)
CN (1) CN107643073B (zh)
DE (1) DE102017116212A1 (zh)
GB (1) GB2555161A (zh)
MX (1) MX2017009394A (zh)
RU (1) RU2017125454A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109080633A (zh) * 2018-07-27 2018-12-25 吉利汽车研究院（宁波）有限公司 一种路口场景下的巡航车速控制装置及方法
CN110595499A (zh) * 2019-09-26 2019-12-20 北京四维图新科技股份有限公司 变道提醒方法、装置和系统
CN112180353A (zh) * 2020-09-17 2021-01-05 北京中兵智航软件技术有限公司 目标对象的确认方法及系统、存储介质
CN112446338A (zh) * 2019-12-06 2021-03-05 黑芝麻智能科技(上海)有限公司 部分帧感知方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11043124B2 (en) 2018-01-31 2021-06-22 Peter Yeung Roadway information detection system consists of sensors on the autonomous vehicles and devices for the road
CA2945564A1 (en) 2016-10-18 2018-03-01 Peter Yeung Roadway information detection sensor device/system for autonomous vehicles
US10583779B2 (en) * 2017-10-02 2020-03-10 Magna Electronics Inc. Parking assist system using backup camera
US11091162B2 (en) * 2018-01-30 2021-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. Fusion of front vehicle sensor data for detection and ranging of preceding objects
DE102018202970A1 (de) * 2018-02-28 2019-08-29 Robert Bosch Gmbh Verfahren zum Ermitteln einer topologischen Information einer Straßenkreuzung
DE102018218043A1 (de) * 2018-10-22 2020-04-23 Robert Bosch Gmbh Ermittlung einer Anzahl von Fahrspuren sowie von Spurmarkierungen auf Straßenabschnitten
JP7136663B2 (ja) * 2018-11-07 2022-09-13 日立Astemo株式会社 車載制御装置
GB2579192B (en) * 2018-11-22 2021-06-23 Jaguar Land Rover Ltd Steering assist method and apparatus
JP7183729B2 (ja) * 2018-11-26 2022-12-06 トヨタ自動車株式会社 撮影異常診断装置
US11853812B2 (en) * 2018-12-20 2023-12-26 Here Global B.V. Single component data processing system and method utilizing a trained neural network
CN111538322B (zh) * 2019-01-18 2023-09-15 驭势科技（北京）有限公司 自动驾驶车辆的传感器数据选择方法、装置及车载设备
CN114008685A (zh) * 2019-06-25 2022-02-01 辉达公司 用于自主机器应用的路口区域检测和分类
US11755028B2 (en) 2019-09-11 2023-09-12 Deere & Company Mobile work machine with object detection using vision recognition
US11814816B2 (en) 2019-09-11 2023-11-14 Deere & Company Mobile work machine with object detection and machine path visualization
WO2021155558A1 (zh) * 2020-02-07 2021-08-12 深圳市商汤科技有限公司 道路标线的识别方法、地图生成方法及相关产品
US11472416B2 (en) * 2020-04-30 2022-10-18 Deere & Company Multi-dimensional mobile machine path visualization and control system
US11608067B2 (en) * 2020-08-12 2023-03-21 Honda Motor Co., Ltd. Probabilistic-based lane-change decision making and motion planning system and method thereof
US11721113B2 (en) 2020-10-09 2023-08-08 Magna Electronics Inc. Vehicular driving assist system with lane detection using rear camera

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102667888A (zh) * 2009-11-27 2012-09-12 丰田自动车株式会社 驾驶辅助装置以及驾驶辅助方法
CN102809379A (zh) * 2011-06-01 2012-12-05 通用汽车环球科技运作有限责任公司 用于基于传感器的环境模型构造的系统和方法
CN104537834A (zh) * 2014-12-21 2015-04-22 北京工业大学 一种智能车在城市道路行驶中的路口识别与路口轨迹规划的方法
CN104680815A (zh) * 2013-12-03 2015-06-03 现代自动车株式会社 车道变换确定设备、交叉口进入确定设备及其方法
US20160054140A1 (en) * 1997-10-22 2016-02-25 American Vehicular Sciences Llc Method and system for guiding a person to a location
CN105667518A (zh) * 2016-02-25 2016-06-15 福州华鹰重工机械有限公司 车道检测的方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5960214A (ja) 1982-09-29 1984-04-06 Nippon Denso Co Ltd 車両用道路案内装置
JPH01284708A (ja) 1988-05-11 1989-11-16 Hitachi Ltd 自動車用復路誘導装置
US7706978B2 (en) 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
JP4850252B2 (ja) 2006-09-21 2012-01-11 三菱電機株式会社 地図情報処理装置
JP4752836B2 (ja) 2007-12-25 2011-08-17 日本電気株式会社 道路環境情報通知装置及び道路環境情報通知プログラム
JP4780213B2 (ja) 2009-03-24 2011-09-28 株式会社デンソー 道路地図データ学習装置
JP5066123B2 (ja) 2009-03-24 2012-11-07 日立オートモティブシステムズ株式会社 車両運転支援装置
JP2011145159A (ja) 2010-01-14 2011-07-28 Denso Corp 道路学習装置
JP5353988B2 (ja) 2011-10-26 2013-11-27 株式会社デンソー ナビゲーション装置
JP5601316B2 (ja) 2011-12-28 2014-10-08 株式会社デンソー ナビゲーション装置
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9747506B2 (en) * 2015-10-21 2017-08-29 Ford Global Technologies, Llc Perception-based speed limit estimation and learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160054140A1 (en) * 1997-10-22 2016-02-25 American Vehicular Sciences Llc Method and system for guiding a person to a location
CN102667888A (zh) * 2009-11-27 2012-09-12 丰田自动车株式会社 驾驶辅助装置以及驾驶辅助方法
CN102809379A (zh) * 2011-06-01 2012-12-05 通用汽车环球科技运作有限责任公司 用于基于传感器的环境模型构造的系统和方法
CN104680815A (zh) * 2013-12-03 2015-06-03 现代自动车株式会社 车道变换确定设备、交叉口进入确定设备及其方法
CN104537834A (zh) * 2014-12-21 2015-04-22 北京工业大学 一种智能车在城市道路行驶中的路口识别与路口轨迹规划的方法
CN105667518A (zh) * 2016-02-25 2016-06-15 福州华鹰重工机械有限公司 车道检测的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109080633A (zh) * 2018-07-27 2018-12-25 吉利汽车研究院（宁波）有限公司 一种路口场景下的巡航车速控制装置及方法
CN110595499A (zh) * 2019-09-26 2019-12-20 北京四维图新科技股份有限公司 变道提醒方法、装置和系统
CN112446338A (zh) * 2019-12-06 2021-03-05 黑芝麻智能科技(上海)有限公司 部分帧感知方法
CN112180353A (zh) * 2020-09-17 2021-01-05 北京中兵智航软件技术有限公司 目标对象的确认方法及系统、存储介质

Also Published As

Publication number Publication date
US10369994B2 (en) 2019-08-06
GB201711461D0 (en) 2017-08-30
RU2017125454A3 (zh) 2020-11-25
MX2017009394A (es) 2018-09-10
GB2555161A (en) 2018-04-25
CN107643073B (zh) 2022-02-11
RU2017125454A (ru) 2019-01-17
US20180022347A1 (en) 2018-01-25
DE102017116212A1 (de) 2018-03-01

Similar Documents

Publication Publication Date Title
CN107643073A (zh) 后部摄像机路口检测
CN107644197A (zh) 后部摄像机车道检测
US11741696B2 (en) Advanced path prediction
US20220383744A1 (en) Traffic light relevancy
GB2620695A (en) Systems and methods for vehicle navigation
US11727799B2 (en) Automatically perceiving travel signals
CN107450529A (zh) 用于自动驾驶车辆的改进的物体检测
CN107010063A (zh) 基于感知的速度限制估算和学习
CN106462727A (zh) 用于车道尽头识别的系统和方法
CN106503653A (zh) 区域标注方法、装置和电子设备
US11887380B1 (en) Sidewalk detection for pedestrian behavior modeling
US11280630B2 (en) Updating map data
CN114008591A (zh) 车辆控制和指导
US20180299893A1 (en) Automatically perceiving travel signals
US20180300567A1 (en) Automatically perceiving travel signals
US11545036B2 (en) Real-time driving behavior and safety monitoring
JP2022532695A (ja) 画像分析に基づく車両ナビゲーションのためのシステム及び方法
WO2021227586A1 (zh) 交通事故分析方法、装置及设备
CN108073893A (zh) 使用距离数据检测植物
US20180300566A1 (en) Automatically perceiving travel signals
US20220146277A1 (en) Architecture for map change detection in autonomous vehicles
BV et al. Computer vision based advanced driver assistance system algorithms with optimization techniques-a review
Manikandan et al. Ad hoc-obstacle avoidance-based navigation system using Deep Reinforcement Learning for self-driving vehicles
Wei International Conference on Transportation and Development 2022: Application of Emerging Technologies
Rahman et al. Recognition of The Rearview Image Pattern of a Motorcycle for a System to Detect Current Violations on a One-Way Street

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant