CN107757616A - 使用环境信息辅助用于自主车辆的图像处理 - Google Patents

使用环境信息辅助用于自主车辆的图像处理 Download PDF

Info

Publication number
CN107757616A
CN107757616A CN201710953108.6A CN201710953108A CN107757616A CN 107757616 A CN107757616 A CN 107757616A CN 201710953108 A CN201710953108 A CN 201710953108A CN 107757616 A CN107757616 A CN 107757616A
Authority
CN
China
Prior art keywords
runway
view data
vehicle
environment
predetermined image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710953108.6A
Other languages
English (en)
Other versions
CN107757616B (zh
Inventor
D.I.弗格森
W-Y.卢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107757616A publication Critical patent/CN107757616A/zh
Application granted granted Critical
Publication of CN107757616B publication Critical patent/CN107757616B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

自主车辆可以被配置为使用环境信息来用于图像处理。车辆可以被配置为在环境中在自主模式中进行操作，并且可以基本上在环境的行车道中进行操作。车辆可以包括被配置为接收指示环境的图像数据的传感器。车辆还可以包括计算机系统，该计算机系统被配置为将指示行车道的环境信息与图像数据进行比较，以便确定图像数据的与环境的行车道相对应的部分。基于图像数据的与环境的行车道相对应的部分并且通过忽略图像数据的剩余部分，车辆可以确定在车道中是否存在物体，并且基于确定，提供指令以控制在环境中在自主模式中的车辆。

Description

使用环境信息辅助用于自主车辆的图像处理
本申请是申请日为2014年4月22日、申请号为201480036319.8、发明名称为“使用环境信息辅助用于自主车辆的图像处理”的发明专利申请的分案申请。
对相关申请的交叉引用
本申请要求2013年6月24日提交的第13/925,795号美国专利申请的优先权，该美国专利申请通过整体引用被合并于此。
技术领域
除非本文另外指出，否则本部分中描述的材料并不是本申请中的权利要求的现有技术，并且并不因为被包括在本部分中就被承认为是现有技术。
车辆可以被配置为在自主模式中进行操作，在自主模式中，车辆在只有很少或者没有来自驾驶员的输入的情况下导航经过一环境。这种自主车辆可以包括被配置为检测关于车辆在其中进行操作的环境的信息的一个或多个传感器。车辆及其相关联的计算机实施的控制器使用所检测的信息来导航经过该环境。例如，如果传感器(或多个)检测到车辆正在接近障碍物，如由计算机实施的控制器所确定地，则控制器调整车辆的方向控制以使得车辆导航绕过该障碍物。
发明内容
在示例内，提供了用于基于自主车辆的环境的已知环境信息进行物体检测的方法和系统。
在第一方面中，提供了一种方法。该方法包括使用处理器从车辆的至少一个传感器接收指示环境的图像数据。车辆可以被配置为在环境中在自主模式中进行操作，并且车辆可以基本上处于环境的行车道(lane of travel)中。该方法还包括：将指示行车道的环境信息与图像数据进行比较，以便确定图像数据的与环境的行车道相对应的部分。该方法额外地包括：基于图像数据的与环境的行车道相对应的部分并且通过忽略图像数据的剩余部分，确定在行车道中是否存在物体。图像数据的剩余部分可以包括除了图像数据的与行车道相对应的部分以外的图像数据。该方法还包括：基于确定提供指令以控制在环境中在自主模式中的车辆。
在第二方面中，提供了一种车辆。该车辆包括被配置为接收指示环境的图像数据的传感器。车辆可以被配置为在环境中在自主模式中进行操作，并且车辆可以基本上处于环境的行车道中。该车辆还包括计算机系统。计算机系统可以被配置为：将指示行车道的环境信息与图像数据进行比较，以便确定图像数据的与环境的行车道相对应的部分。计算机系统还可以被配置为：基于图像数据的与环境的行车道相对应的部分并且通过忽略图像数据的剩余部分，确定在行车道中是否存在物体。图像数据的剩余部分可以包括除了图像数据的与行车道相对应的部分以外的图像数据。计算机系统可以额外地被配置为：基于确定提供指令以控制在环境中在自主模式中的车辆。
在第三方面中，公开了一种其中存储有指令的非暂态计算机可读介质，当由车辆中的计算机系统运行该指令时，使得计算机系统执行功能。功能包括：从车辆的至少一个传感器接收指示环境的图像数据。车辆可以被配置为在环境中在自主模式中进行操作，并且车辆可以基本上处于环境的行车道中。功能还包括：将指示行车道的环境信息与图像数据进行比较，以便确定图像数据的与环境的行车道相对应的部分。功能额外地包括：仅基于图像数据的与环境的行车道相对应的部分并且通过忽略图像的剩余部分，确定在行车道中是否存在物体。图像数据的剩余部分可以包括除了图像数据的与行车道相对应的部分以外的图像数据。功能还包括：基于确定提供指令以控制在环境中在自主模式中的车辆。
在第四方面中，公开了一种系统。该系统包括用于从车辆的至少一个传感器接收指示环境的图像数据的装置。车辆可以被配置为在环境中在自主模式中进行操作，并且车辆可以基本上处于环境的行车道中。系统还包括用于将指示行车道的环境信息与图像数据进行比较以便确定图像数据的与环境的行车道相对应的部分的装置。系统额外地包括用于基于图像数据的与环境的行车道相对应的部分并且通过忽略图像的剩余部分来确定在行车道中是否存在物体的装置。图像数据的剩余部分可以包括除了图像数据的与行车道相对应的部分以外的图像数据。系统还包括用于基于确定提供指令以控制在环境中在自主模式中的车辆的装置。
在第五方面中，公开了一种使用环境信息用于自主车辆的图像处理的方法。该方法包括：使用处理器，从车辆的至少一个传感器接收指示环境的图像数据，其中，车辆被配置为在环境中在自主模式中进行操作，并且其中，车辆处于环境的行车道中；将图像数据与指示所述行车道的、环境中的道路的预定图像地图进行比较；基于比较，确定图像数据的与所述行车道相对应的第一部分，并且忽略图像数据的剩余部分；仅基于图像数据的所确定的第一部分来执行物体检测；以及基于所执行的物体检测，提供指令以控制在环境中在自主模式中的车辆。
在第六方面中，公开了一种车辆。该车辆包括：传感器，被配置为接收指示环境的图像数据，其中车辆被配置为在环境中在自主模式中进行操作，并且其中，车辆处于环境的行车道中；计算机系统，其中计算机系统被配置为：将图像数据与指示所述行车道的、环境中的道路的预定图像地图进行比较；基于比较，确定图像数据的与所述行车道相对应的第一部分，并且忽略图像数据的剩余部分；仅基于图像数据的所确定的第一部分来执行物体检测；以及基于所执行的物体检测，提供指令以控制在环境中在自主模式中的车辆。
在第七方面中，公开了一种其中存储有指令的非暂态计算机可读介质，该指令当由车辆中的计算机系统运行时，使得计算机系统执行功能。功能包括：从车辆的至少一个传感器接收指示环境的图像数据，其中，车辆被配置为在环境中在自主模式中进行操作，并且其中，车辆处于环境的行车道中；将图像数据与指示所述行车道的、环境中的道路的预定图像地图进行比较；基于比较，确定图像数据的与所述行车道相对应的第一部分，并且忽略图像数据的剩余部分；仅基于图像数据的所确定的第一部分来执行物体检测；以及基于所执行的物体检测，提供指令以控制在环境中在自主模式中的车辆。
前述发明内容只是说明性的并且不旨在以任何方式进行限制。除了以上描述的说明性方面、实施例和特征以外，通过参考附图和以下详细描述，另外的发明、实施例和特征将变得清楚。
附图说明
图1是根据示例实施例示出车辆的功能框图。
图2是根据示例实施例的车辆。
图3A根据示例实施例示出了方法的框图。
图3B根据示例实施例示出了方法的另一个框图。
图4A是根据示例实施例在环境中进行操作的自主车辆的顶视图。
图4B是根据示例实施例的由图4A的自主车辆所获得的示例图像数据的示意图示。
图4C是根据示例实施例的由图4A的自主车辆所获得的示例环境信息的示意图示。
图4D是根据示例实施例的图4C的示例环境信息与图4B的图像数据进行比较的示意图示。
图4E是根据示例实施例的示例三维(3D)环境信息与示例3D图像数据进行比较的示意图示。
图5是根据示例实施例的计算机程序产品的示意图。
具体实施方式
本文描述了示例方法和系统。本文描述的任何示例实施例或特征不一定要被解释为比其他实施例或特征更优选或有利。本文描述的示例实施例不意于进行限制。将容易理解，公开的系统和方法的某些方面可以按照许多不同的配置来布置和组合，所有这些在这里都已设想到。
另外，附图中示出的特定的布置不应当被示为限制性的。应当理解，其他实施例可以包括更多或更少的给定附图中示出的每种元素。另外，一些示出的元素可以被组合或省略。此外，示例实施例可以包括附图中未示出的元素。
对于在自主模式中进行操作的车辆，知道或识别在当前车道中存在物体会是有帮助的。通常，为了检测物体的存在，自主车辆可以利用包括LIDAR和RADAR的各种传感器来周期性地扫描车辆在其中进行操作的环境。有时，当相机被配置为观察远距离处的物体并且可以被配置为不对金属物体和非金属物体进行区分时，可能期望使用相机来检测物体的存在。类似于LIDAR和RADAR，相机可以周期性地扫描车辆在其中进行操作的环境，获得图像数据以及对所成像的数据进行处理以确定外来物体的存在。然而，对图像数据进行处理可能是计算上昂贵的并且可能倾向于图像噪声。
在示例内，提供了自主车辆，该自主车辆被配置为接收并且利用环境的数据(例如，图像地图(map))以有助于图像处理。本文所公开的是下述方法和系统：该方法和系统涉及对表示车辆的环境的图像数据和图像地图进行处理以更有效地并且更精确地检测物体的存在的自主车辆。所公开的实施例涉及可以被配置为捕获车辆在其中进行操作的环境中的特定车道的图像数据的自主车辆。图像数据可以包括关于车辆在其中进行操作的环境的信息，该信息包括关于车辆进行操作的特定车道的信息。使用该信息，车辆可以通过例如忽略不相关的区域并且关注图像数据的表示特定车道的部分来检测在相关区域内的物体。
在示例情形中，使用耦接到车辆的相机，自主车辆可以在该车辆正在公路的特定车道中行驶的同时获得图像。在这样的情形中，可能干扰车辆的行驶的任何障碍物(例如，路灯(road flare)、锥形路标(cone)、其他车辆等)对于车辆可能是重要的，并且理想地车辆将希望有效地并且精确地检测在特定的行车道内的任何这样的物体。为了检测物体，车辆可以确定限定或指示车辆在其中行驶的环境的图像地图，在本情形中，为限定并且提供公路的详情的图像地图。使用公路的地图，车辆可以确定图像数据的表示车辆在其中进行操作的公路的特定车道的部分(例如，通过将图像地图与图像数据进行比较、确定车道范围以及将车道范围投影到所捕获的图像数据上)。图像数据的所确定的部分可以由车辆进行处理以检测物体或其他事物的存在。图像数据的剩余部分可以被车辆忽略。
利用本文所描述的方法和系统可以有助于自主车辆中的图像处理的任务，可能避免在更典型的相机处理方式中可能存在的一些难点。
现在将更详细地描述示例系统。通常，示例系统可以被实施为计算装置的形式或可以采取计算装置的形式。然而，示例系统还可以被实施为其他装置的形式或可以采取其他装置的形式，或者示例系统可以被包括在车辆中，诸如汽车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、游艺车、游乐园车辆、农场设备、建筑设备、矿车、高尔夫球火车以及有轨电车。其他车辆也是可以的。
图1是根据示例实施例描绘车辆100的功能框图。车辆100被配置为完全地或部分地在自主模式中进行操作，并且因此，可以被称为“自主车辆”。例如，当在自主模式中时，计算机系统112可以经由至车辆100的控制系统106的控制指令来控制车辆100。计算机系统112可以从传感器系统104接收信息，并且以自主的方式将一个或多个控制处理(诸如设置前进方向(heading)以便避开所检测的障碍物)基于所接收的信息。
车辆100可以为完全自主或部分自主。在部分自主车辆中，一些功能可以可选地有时或者总是(例如，由驾驶员)手动地控制。此外，部分自主车辆可以被配置为在全部手动操作模式与部分自主和/或完全自主操作模式之间进行切换。
车辆100可以包括各种子系统，诸如推进系统102、传感器系统104、控制系统106、一个或多个外围设备108以及电源110、计算机系统112和用户接口116。车辆100可以包括更多或更少的子系统，并且每个子系统可以包括多个元件。此外，车辆的每个子系统和元件可以互联。因此，车辆100的所描述的功能中的一个或多个可以被分割为额外的功能或物理组件，或者可以被组合为更少的功能或物理组件。在一些其他示例中，额外的功能和/或物理组件可以被添加到图1所示的示例中。
推进系统102可以包括可操作为向车辆100提供动力运动的组件。取决于实施例，推进系统102可以包括引擎/发动机118、能量源119、传动装置120以及车轮/车胎121。引擎/发动机118可以是内燃机、电动机、蒸汽机、斯特林(Stirling)引擎或者其他类型的引擎和/或发动机的任何组合。在一些实施例中，推进系统102可包括多种类型的引擎和/或发动机。例如，气电混合动力车辆可以包括汽油引擎和电动机。其他示例也是可以的。
能量源119可以表示可以完全地或部分地为引擎/发动机118提供动力的能量来源。即，引擎/发动机118可以被配置为将能量源119转换为机械能以对操作传动装置120。能量源119的示例可以包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池、电容器、飞轮、再生制动系统和/或其他电力来源等。能量源119还可以向汽车100的其他系统提供能量。
传动装置120可以包括可操作为将机械动力从引擎/发动机118传送到车轮/车胎121的元件。这样的元件可以包括变速箱、离合器、差动器、驱动轴和/或轮轴(或多个)等。传动装置120也可以包括其他元件。驱动轴可以包括可以耦接到一个或多个车轮/车胎121的一个或多个轮轴。
车轮/车胎121可以被布置为在提供与车辆100在其上移动的诸如道路的表面的摩擦牵引力的同时稳定地支撑车辆100。因此，车辆100的车轮/车胎121可以被配置为各种形式，包括独轮车、自行车/摩托车、三轮车或四轮形式的汽车/卡车。其他车轮/车胎几何结构是可以的，诸如包括六个或更多个车轮的车轮/车胎几何结构。车辆100的车轮/车胎121的任何组合可以操作为相对于其他车轮/车胎121差速地旋转。车轮/车胎121可以表示固定地附接至传动装置120的至少一个车轮以及耦接至车轮的边缘、可以与驾驶表面发生接触的至少一个车胎。车轮/车胎121可以包括金属和橡胶的任何组合或者另外的材料组合。
传感器系统104通常包括被配置为检测关于车辆100周围的环境的信息的一个或多个传感器。例如，传感器系统104可以包括全球定位系统(GPS)122、惯性测量单元(IMU)124、RADAR单元126、激光测距仪/LIDAR单元128、相机130和/或麦克风131。传感器系统104还可以包括被配置为监视车辆100的内部系统的传感器(例如，O2监视器、燃料计、机油温度、车轮速度传感器等)。在传感器系统104中所包括的一个或多个传感器可以被配置为单独地和/或整体地被致动(actuate)，以便对一个或多个传感器的位置和/或定向进行修正。
GPS 122可以是被配置为估计车辆100的地理位置的任何传感器。为此，GPS 122可以包括可操作为提供车辆100相对于地球的位置的信息的收发器。
IMU 124可以包括被配置为基于惯性加速度来感测车辆100的位置和定向改变的传感器(例如，加速度计和陀螺仪)的任何组合。
RADAR单元126可以表示利用无线电信号来感测在车辆100的本地环境内的物体的系统。在一些实施例中，除了感测物体以外，RADAR单元126还可以额外地被配置为感测物体的速度和/或前进方向。
类似地，激光测距仪或LIDAR单元128可以是被配置为使用激光来感测在车辆100所位于的环境中的物体的任何传感器。取决于实施例，激光测距仪/LIDAR单元128可以包括一个或多个激光源、激光扫描仪和一个或多个检测器，以及其他系统组件。激光测距仪/LIDAR单元128可以被配置为在相干检测模式(例如，使用外差检测)或非相干检测模式中进行操作。
相机130可以包括被配置为捕获车辆100周围的环境的多个图像的一个或多个装置。相机130可以是静态相机或视频相机。在一些实施例中，相机130可以机械地可移动，诸如通过旋转和/或倾斜相机所安装至的平台。这样，车辆100的控制过程可以被实施为控制相机130的移动。
传感器系统104还可以包括麦克风131。麦克风131可以被配置为捕获来自车辆100的周围的环境的声音。在一些情况下，多个麦克风可以被布置为麦克风阵列，或可以被布置为多个麦克风阵列。
控制系统106可以被配置为控制车辆100及其组件的操作(或多个)。因此，控制系统106可以包括各种元件，包括转向单元132、油门134、制动单元136、传感器融合算法138、计算机视觉系统140、导航/路线系统142以及障碍物避免系统144等。
转向系统132可以表示可以操作为调整车辆100的前进方向的机制的任何组合。例如，转向系统132可以调整一个或多个车轮/车胎121的轴(或多个轴)，以便实现(effect)车辆100的转弯(turning)。油门134可以被配置为例如控制引擎/发动机118的操作速度，并且进而控制车辆100的速度。制动单元136可以包括被配置为对车辆100进行减速的机制的任何组合。制动单元136例如可以使用摩擦力来使车轮/车胎121变慢。在其他实施例中，制动单元136通过再生制动处理对车轮/车胎121感应地(inductively)进行减速，以将车轮/车胎121的动能转变为电流。制动单元136也可以采取其他形式。
传感器融合算法138可以是被配置为接受来自传感器系统104的数据作为输入的算法(或者存储算法的计算机程序产品)。数据可以包括例如表示在传感器系统140的传感器处所感测的信息的数据。传感器融合算法138可以包括例如卡尔曼(Kalman)滤波器、贝叶斯(Bayesian)网络或其他算法。传感器融合算法138可以基于来自传感器系统104的数据提供各种评价。取决于实施例，评价可以包括对车辆100的环境中的各个物体和/或特征的评估、对特定情形的评估和/或基于特定情形对可能影响的评估。其他评价也是可能的。
计算机视觉系统140可以是下述任何系统：该系统可操作为对由相机130所捕获的图像进行处理和分析以便识别车辆100的环境中的物体和/或特征，该物体和/或特征可以包括交通信号、道路边界、其他车辆、行人和/或障碍物等。计算机视觉系统140可以使用物体识别算法、运动中恢复结构(Structure from Motion，SFM)算法、视频跟踪以及其他计算机视觉技术。在一些实施例中，计算机视觉系统140可以额外地被配置为对环境绘制地图、跟踪物体、估计物体的速度等。
导航和路线系统142可以是被配置为确定车辆100的驾驶路线的任何系统。例如，导航/路线系统142可以确定一系列速度和定向(directional)前进方向，来实现车辆100沿着基本上避开所察觉的障碍物的路线移动而同时通常使车辆100沿着通向最终目的地的、基于道路(roadway)的路线前进，该最终目的地例如可以根据经由用户接口166的用户输入而设置。导航和路线系统142可以额外地被配置为在车辆100处于操作中的同时动态地更新驾驶路线。在一些实施例中，导航和路线系统142可以被配置为将来自传感器融合算法138、GPS 122以及一个或多个预定地图的数据合并以便为车辆100确定驾驶路线。
障碍物避免系统144可以表示被配置为识别、评估以及避开或者以其他方式越过车辆100的环境中的潜在障碍物的控制系统。例如，障碍物避免系统144可以通过对控制系统106中的一个或多个子系统进行操作以采取(undertake)突然转向操纵(swervingmaneuver)、转弯操纵、制动操纵等，来实现车辆100的导航的改变。在一些实施例中，障碍物避免系统144被配置为基于周围交通模式、道路状况等自动地确定可行的(“可用的”)障碍物避免操纵。例如，障碍物避免系统144可以被配置为使得当其他传感器系统在邻近车辆100要突然转向进入的区域中检测到车辆、建筑壁垒、其他障碍物等时，不采取突然转向操纵。在一些实施例中，障碍物避免系统133可以自动地选择既可用又使得车辆的乘员的安全性最大化的操纵。例如，障碍物避免系统144可以选择被预测为导致车辆100的客舱中的最小加速度量的避免操纵。
控制系统106可以额外地或可替换地包括除了所示出和所描述的组件之外的组件。
车辆100还包括外围设备108，外围设备108被配置为允许车辆100与外部传感器、其他车辆、其他计算机系统和/或诸如车辆100的乘员的用户之间的交互。例如，用于从乘员、外部系统等接收信息的外围设备108可以包括无线通信系统146、触摸屏148、麦克风150和/或扬声器152。
在一些实施例中，外围设备108用作接收用于车辆100的用户与用户接口116进行交互的输入。为此，触摸屏148可以向车辆100的用户提供信息且将来自用户的经由触摸屏148所指示的信息传达到用户接口116。触摸屏148可以被配置为经由电容性感测、电阻性感测、光学感测、表面声波处理等感测来自用户的手指(或笔等)的触摸位置和触摸手势两者。触摸屏148可以能够感测与触摸屏表面平行或共面的方向上的手指移动、与触摸屏表面正交的方向上的手指移动、或者上述两者；并且触摸屏148还可能能够感测施加到触摸屏表面的压力水平。车辆100的乘员还可以利用语音命令接口。例如，麦克风150可以被配置为从车辆100的乘员接收音频(例如，语音命令或者其他音频输入)。类似地，扬声器152可以被配置为向车辆100的乘员输出音频。
在一些实施例中，外围设备108用作允许车辆100与外部系统之间的通信，外部系统诸如在车辆100周围环境内的装置、传感器、其他车辆等和/或提供诸如交通信息、天气信息等的关于车辆周边的有用信息的、物理上位置远离车辆100的控制器、服务器等。例如，无线通信系统146可以直接地或经由通信网络与一个或多个装置无线地通信。无线通信系统146可以可选地使用3G蜂窝通信，诸如CDMA、EVDO、GSM/GPRS，和/或4G蜂窝通信，诸如WiMAX或LTE。额外地或可替换地，无线通信系统146可以例如使用WiFi与无线局域网(WLAN)通信。在一些实施例中，无线通信系统146可以例如使用红外链路、蓝牙和/或ZigBee与装置直接地通信。无线通信系统146可以包括一个或多个专用短程通信(DSRC)装置，该装置可以包括车辆和/或路边台站之间的公共和/或私有数据通信。在本公开的上下文内，无线通信系统146也可以采用用于发送和接收嵌入在信号中的信息的其他无线协议，诸如各种车载通信系统。
电源110可以向诸如外围设备108、计算机系统112、传感器系统104等中的电子设备的车辆100的组件提供电力。电源110例如可以包括用于存储电能并且向各种被供电组件释放电能的可再充电锂离子或铅酸电池。在一些实施例中，一个或多个电池组可以被配置为提供电力。在一些实施例中，电源110和能量源119可以一起实施，如在一些全电动汽车中那样。
车辆100的很多或所有功能可以经由计算机系统112被控制，计算机系统112接收来自传感器系统104、外围设备108等的输入并且向推进系统102、控制系统106、外围设备108等传达适当的控制信号，以基于车辆100的周边来实现车辆100的自主操作。计算机系统112可以包括至少一个处理器113(其可以包括至少一个微处理器)，该至少一个处理器运行在诸如数据存储装置114的非暂态计算机可读介质中所存储的指令115。计算机系统112还可以表示多个计算装置，该多个计算装置可以用于以分布式的方式控制车辆100的各个组件或子系统。
在一些实施例中，数据存储装置114可以包含可由处理器113运行以执行包括以上结合图1所描述的功能的各种自主功能的指令115(例如，程序逻辑)。数据存储装置114也可以包含额外的指令，包括向推进系统102、传感器系统104、控制系统106以及外围设备108中的一个或多个传送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令115以外，数据存储装置114还可以存储数据，诸如道路地图、路线信息以及其他信息。这样的信息可以由车辆100和计算机系统112在自主模式、半自主模式和/或手动模式中的车辆100的操作期间使用。
车辆100和相关联的计算机系统112向诸如车辆100的客舱中的乘员的、车辆100的用户提供信息和/或从其接收输入。因此，车辆100可以包括用于向车辆100的用户提供信息或从车辆100的用户接收输入的用户接口116。用户接口116可以控制在触摸屏148上可以显示的交互图像的内容和/或布局或使能对其的控制。此外，用户接口116可以包括在外围设备108的集合内的一个或多个输入/输出装置，诸如无线通信系统146、触摸屏148、麦克风150以及扬声器152。
计算机系统112基于从各种子系统(例如，推进系统102、传感器系统104和/或控制系统106)所接收的、指示车辆和/或环境状况的输入以及来自用户接口116的、指示用户偏好的输入来控制车辆100的操作。例如，计算机系统112可以利用来自控制系统106的输入来控制转向单元132以避开由传感器系统104和障碍物避免系统144所检测到的障碍物。计算机系统112可以被配置为控制车辆100及其子系统的许多方面。然而，通常针对手动地取代(override)自主控制器驱动的操作做出了规定，诸如在紧急情况下或仅响应于用户激活的取代等。
本文所描述的车辆100的组件可以被配置为以与在其相应的系统内部或外部的其他组件互联的方式进行工作。例如，相机130可以在车辆100于自主模式中进行操作的同时捕获表示关于车辆100的环境的信息的多个图像。环境可以包括其他车辆、交通灯、交通信号、道路标记、行人等。计算机视觉系统140可以基于在数据存储装置114中预先存储的物体识别模型和/或其他技术、与传感器融合算法138、计算机系统112等合作来分类和/或识别环境中的各个方面。
尽管图1将车辆100的各种组件，即，无线通信系统146、计算机系统112、数据存储装置114以及用户接口116示出为整合到车辆100中，但是这些组件中的一个或多个可以与车辆100相分离地安装或关联。例如，数据存储装置114可以部分地或全部地与车辆100分离地存在。因此，车辆100可以以能够单独地或一起地定位(locate)的装置元件的形式而被提供。构成车辆100的装置元件通常以有线和/或无线方式通信地耦接在一起。
图2描绘了可以包括参考图1结合车辆100所描述的功能的所有或大部分的示例车辆200。尽管出于例示的目的在图2中示例车辆200被示出为四轮轿车类型汽车，但是本公开不限于此。例如，示例车辆200可以表示在本文中所提及的任何类型的车辆。
示例车辆200包括传感器单元202、无线通信系统204、LIDAR单元206、激光测距仪单元208以及相机210。此外，示例车辆200可以包括结合图1的车辆100所描述的任何组件。
传感器单元202安装在示例车辆220顶上，并且包括被配置为检测关于示例车辆200周围的环境的信息并且输出信息的指示的一个或多个传感器。例如，传感器单元202可以包括相机、RADAR、LIDAR、测距仪以及声学传感器的任何组合。传感器单元202可以包括可以操作为调整传感器单元202中的一个或多个传感器的定向的一个或多个可移动底座。在一个实施例中，可移动底座可以包括旋转平台，该旋转平台可以扫描传感器以便获得来自示例车辆200周围的每个方向的信息。在另一个实施例中，传感器单元202的可移动底座可以在特定的角度和/或方位范围内以扫描方式可移动。传感器单元202可以例如被安装在汽车的顶盖顶上，然而其他安装位置是可以的。另外，传感器单元202的传感器可以分布在不同的位置中并且不需要共同位于单个位置中。一些可能的传感器类型和安装位置包括LIDAR单元206和激光测距仪单元208。此外，传感器单元202中的每个传感器可以被配置为独立于传感器单元202的其他传感器而被移动或扫描。
无线通信系统204可以如图2所描绘地位于示例车辆200的顶盖上。可替换地，无线通信系统204可以完全地或部分地位于别处。无线通信系统204可以包括可以被配置为与在示例车辆200外部或内部的装置进行通信的无线发送器和接收器。具体地，无线通信系统204可以包括被配置为与其他车辆和/或例如在车辆通信系统或道路台站中的计算装置进行通信的收发器。这样的车载通信系统的示例包括专用短程通信(DSRC)、射频识别(RFID)以及针对智能传送系统的其他提出的通信标准。
相机210可以是光敏仪器，诸如静态相机、视频相机等，其被配置为捕获示例车辆200的环境的多个图像。为此，相机210可以被配置为检测可见光，并且可以额外地或可替换地被配置为检测来自光谱的其他部分的光，诸如红外光或紫外光。相机210可以是二维检测器，并且可以可选地具有三维空间范围敏感度。在一些实施例中，相机210例如可以包括被配置为生成指示从相机210到环境中的多个点的距离的二维图像的测距仪检测器。为此，相机210可以使用一个或多个测距检测技术。
例如，相机210可以通过使用结构化光技术提供测距信息，在结构化光技术中，示例车辆200采用诸如栅格或棋盘格图案的预定光图案对环境中的物体进行照射，并且使用相机210检测预定光图案从环境周围的反射。基于反射光图案中的失真，示例车辆200可以确定到物体上的点的距离。预定光图案可以包括红外光或者用于这样的测量的其他适合波长处的辐照。
相机210可以被安装在示例车辆200的前挡风玻璃内侧。具体地，相机210可以被定位(situate)成捕捉相对于示例车辆200的定向的来自前视视图的图像。也可以使用相机210的其他安装位置和视角，其在示例车辆200的内部或者外部。
相机210可以具有可操作为调整视野的相关联的光学器件。此外，相机210可以通过可移动底座安装至示例车辆200，以诸如经由平移/倾斜机制改变相机210的指向角度。
在图3A中，方法300被提供以用于使用已知的环境信息来有助于通过图像处理进行的物体检测。在此方法中所描述的车辆可以是分别地参考图1和图2所示出并且描述的车辆100和/或车辆200。例如，本文所描述的处理可以由安装至自主车辆(例如，车辆200)、与计算机系统112、传感器融合算法138和/或计算机视觉系统140通信的相机130来实行。
此外，注意到结合本文所描述的流程图所描述的功能可以被实施为特定的功能和/或配置的通用功能硬件模块、由处理器(例如，计算机系统112中的处理器113)所运行以用于实现特定的逻辑功能的程序代码部分、确定和/或结合图3所示的流程图所描述的步骤。在被使用的情况下，例如，程序代码可以被存储在任何类型的计算机可读介质(例如，计算机可读存储介质或非暂态媒介，诸如以上关于计算机系统112所描述的数据存储装置114和/或以下描述的计算机程序产品500)上，诸如包括盘或硬驱的存储装置。
另外，图3A(或图3B)中所示的流程图的每个块可以表示被布线以执行处理中的特定逻辑功能的电路系统。除非特别指出，否则取决于所涉及的功能，在图3A至图3B中所示的流程图中的功能可以不按照所示的或所讨论的顺序运行，包括分离地讨论的功能的基本上并发的运行，或甚至按照一些示例中的相反的顺序运行，只要维持所描述的方法的整体的功能即可。此外，硬件和/或软件元件的类似的组合可以被采用以实施结合在本公开中所提供的其他流程图(诸如图3B所示的另外的流程图)所描述的方法。
开始于块302，图3A的方法300包括从被配置为基本上在环境的行车道中进行操作的车辆的传感器接收指示环境的图像数据。车辆可以是参考图1和图2所描述的车辆，并且可以被配置为在环境中在自主模式中进行操作。环境可以是在其中车辆可以在行车道中自主地进行操作的任何环境。这样的环境可以包括例如(name a few)公路、道路或州际公路。在一个示例中，参考图4A，车辆404可以在包括道路402、漏油408、卡车410以及锥形路标412的环境400中进行操作。在环境400中，车辆可以基本上在行车道402b中进行操作，而漏油408、卡车410以及锥形路标412可以基本上位于车道402a中。
环境400的特征可以是永久的和非永久的两者。例如，漏油408、卡车410以及锥形路标412可以是非永久的并且可以表示在特定时间(例如，特定天和年)处的环境400的当前状态。相反，道路402和车道402a、车道402b可以是永久的特征。换言之，道路402连同车道402a、车道402b可以是环境400的固定部分，并且可以存在于环境400中除非环境永久地改变(例如，道路402的重建)。其他永久的和非永久的特征也可以被包括在环境400中。
当在环境中进行操作时，车辆可以接收指示其在其中进行操作的环境的当前表示的图像数据。例如，车辆404可以对诸如与相机130类似或相同的相机的传感器单元406的至少一个传感器进行操作，以接收指示环境400的图像数据。图4B所示的图像数据420表示指示环境400的一部分的示例图像数据。
注意，在图4B中，例如由车辆404的传感器单元406的相机所捕获的图像数据420是在虚线箭头以上所示的图像并且不包括车辆404。仅出于说明的目的示出车辆404，并且在此示例中车辆不旨在成为图像数据420的一部分。实际上，可以从车辆420、在车辆420的前面、后面或之间的任何角度获得图像数据420，并且因此图像数据420可以不包括表示车辆自身的图像数据。在一些实施例中，车辆404的一部分可以被包括在图像数据420中。
图像数据420可以包括指示环境400的数字照片或数字图形。图像数据420可以包括能够将摄影图像和/或图形图像组织和存储为数字文件的任何数据格式，可以包含各种类型的数据，可以具有各种文件形式以及可以被存储到各种介质，无论这些数据类型、文件格式和介质是已知还是尚待开发。在图4B所示的示例中，图像数据420可以包括道路402和车道402a、车道402b、漏油408、卡车410以及锥形路标412。图像数据420还可以包括详述环境的每个组件的图像数据。例如，图像数据420可以包括指示道路402的街线的数据和限定道路402的任何其他详情(例如，纹理、色彩、照明等)。在其他示例中，图像数据420可以包括与环境400的每个组件相关联的位置信息。例如，图像数据420可以包括指示卡车410和锥形路标412的位置的位置信息。
块304包括将指示行车道的环境信息与图像数据进行比较，以确定图像数据的与行车道相对应的部分。环境信息可以是在获得图像数据之前已知的或由车辆接收的、精确地限定环境的行车道的任何信息。例如，参考图4A，环境信息可以包括限定了行车道402a、行车道402b的边界的图像地图等等。环境信息也可以包括任何其他信息。通常，环境信息可以包括指示在获得图像数据之前存在于环境400中的任何已知结构、标记或其他特征(永久的和非永久的两者)的信息。
在一些实施例中，环境信息可以由车辆404周期性地获得以确保环境信息保持精确。在其他示例中，环境信息可以由车辆404从服务器周期性地接收。例如，第三方实体可以连续地监视环境400并且可以当例如可能发生结构改变(例如，以上所注意的永久特征的改变)时提供更新。更新可以例如以更新后的图像地图的形式提供。也可以提供其他更新。
图4C示出了指示环境400的示例图像地图440。在图4C中，图像地图440可以包括道路402的位置(例如，经度和纬度或者基本方向)、车道402a、车道402b的位置、道路402的边界444a以及每个车道402a、402b的边界444a、444b。图像地图440还可以包括分割车道402a和车道402b的道路402的中心分界线446。其他信息也可以被包括在图像地图中。在图4C所示的示例图像地图440中，从图像地图被创建时起，在道路402上不存在永久的结构或非永久的结构。
使用来自图像地图440的信息，图像数据的一部分可以被确定为对应于车辆404基本上在其中行进的行车道，或者在这种情况下图像数据的一部分可以被确定为对应于车道402b。图像数据的与行车道相对应的部分可以通过下述确定：将所获得的图像地图映射(或投影)到环境的图像数据上并且使用与图像地图中的车道相对应的位置信息来确定图像数据中其相对应的位置。映射可以使用车辆404的已知位置和获得图像数据420的相机130的已知相机变换来执行。换言之，使用诸如道路402的位置、车道420a、车道402b的位置、道路402的边界444a以及每个车道402a、402b的边界444a、444b的信息，车道范围和车道线可以被投影到图像数据420上。在其他示例中，可以基于车辆的前进方向确定图像数据的一部分。许多技术可以被用于将来自图像地图的车道范围投影到图像数据上，并且这些技术通常是已知的。
图4D示出了图像地图440覆盖于其上并且车道范围被投影到其上的图像数据420。如图4D所示，来自图像地图440的虚线被投影到图像数据420上。
注意，出于示意的目的，在二维x-y平面中描述了图4A、图4B、图4D以及图4F中示出的环境400(无论被捕获为图像数据420还是图像地图440)。然而，注意到，通过调整车辆404的传感器单元406的相机从x-y平面向上或向下可以获得更完整的三维图像数据。此外，描绘环境400的图像数据可以是三维的并且可以例如以诸如图4E所示的三维方式被投影到图像数据420上。类似于图4D，在图4E中，车道范围462可以被投影到图像数据460上。
基于投影，车辆可以确定图像数据的哪个部分表示行车道。例如，车辆404可以确定图像数据420的什么部分表示车辆404当前在其中进行操作的车道402b。以此方式对图像数据进行处理可以允许车辆404通过不处理所有图像数据而是替代地关注在车道402b内的漏油408的部分来降低处理量。否则，车辆404可能不管卡车410和锥形路标412与车辆404的定向不相关或者不在车辆404的行车道中的事实而对卡车410和锥形路标412进行处理。
一旦确定了图像数据的表示行车道的部分，则在块306处，方法300包括：基于图像数据的与环境的行车道相对应的部分并且通过忽略图像数据的剩余部分来确定在行车道中是否存在物体。图像数据的剩余部分可以是不对应于行车道的任何图像数据。换言之，车辆404可以仅对图像数据的与行车道相对应的部分进行处理并且忽略图像数据的任何其他部分。以这种方式对图像数据进行处理可以显著地减少处理时间和/或降低处理的复杂度。物体可以是在车辆的行车道中的任何物体，但是可能对车辆是未知的。示例物体可以是例如障碍物(例如，锥形路标、残片等)、其他车辆或行人。为了执行检测，车辆(或车辆的计算装置)可以在图像数据的表示行车道的部分内确定指示已知物体或结构的图像数据的部分，并且可以将其与图像数据的包括未知结构的部分进行比较。
例如，图4D所示，在知道行车道402b的位置情况下，车辆404可以对车道的初始部分460进行处理以确定车道的已知结构。例如，车辆404可以对车道的初始部分460进行处理以确定阴影、色彩、色彩强度等，并且之后可以对车道的剩余部分进行处理以将所确定的属性进行比较(例如，确定阴影的相似度)以进行确定。
比较可以包括例如将包括已知结构的色彩覆盖范围、色彩强度、阴影存在、色彩强度的变化或色彩的变化的一个或多个变量与未知物体的色彩覆盖范围、色彩强度、阴影存在、色彩强度的变化或色彩的变化的一个或多个进行比较。在其他示例中，任何其他已知的或标准的图像处理特征描述可以被用于描述已知区域。这样的示例可以包括弯角检测器、边缘检测器、污物检测器、路脊检测器、梯度检测器等。实际上，可以计算限定已知结构和未知结构的分布，并且根据分布可以确定和比较这样的变量。例如，可以计算表示限定已知结构的色彩强度的像素的高斯分布，并且可以将其与表示限定未知物体的色彩强度的图像数据中的像素的高斯分布进行比较，以确定像素的相似度。以上提及的变量中的任一个可以被限定为分布并且可以在比较中被使用。
在一些示例中，一旦确定了指示已知结构和未知物体的外观的信息，则可以自动地进行比较，例如，使用诸如计算机系统112的计算机系统。在其他示例中，比较可以在车辆外部进行处理并且当完成时被提供给车辆。
一旦进行了确定，则在块308处，方法400包括基于确定提供指令以控制自主模式中的车辆。例如，车辆可以被控制为避开可能停止在车辆的当前车道中的障碍物或车辆。在图4A至图4C所描绘的示例中，车辆404可以被可控制为安全地避开在当前行车道402b内的漏油408部分。
图3B示出了被提供以用于使用已知的环境信息来有助于通过图像处理进行的物体检测的另一个方法320。最初，在块322处，方法320包括将环境信息与图像数据进行比较以确定图像数据的与第二行车道相对应的第二部分。第二行车道可以类似于参照方法300所讨论的行车道，但是也可以不同。例如，参考图4A，第二行车道可以被包括在环境400中，但是可以不同于行车道402a。例如，第二行车道可以是邻近行车道402a的行车道，诸如402b。在其他示例中，第二行车道可以是道路402上的行车道，但是也可以是远离原始车道402的一个或两个车道。
在块324处，方法320包括基于比较来确定图像数据的与第二行车道相对应的第二部分。可以以与在步骤304处参照方法300所讨论的相同方式确定图像数据的与第二行车道相对应的第二部分。
在块326处，方法320包括基于图像数据的与环境的第二行车道相对应的第二部分并且通过忽略图像数据的第二剩余部分来确定在第二行车道中是否存在物体。图像数据的第二剩余部分可以包括除了图像数据的与第二行车道相对应的第二部分以外的图像数据。这样的确定可以以与参照方法300在步骤306处所讨论的相同方式进行。
在块328处，方法320包括基于确定提供指令以在环境中在自主模式中控制车辆。指令可以被提供，并且车辆可以以与参考方法300在步骤308处所讨论的相同方式被控制。
注意，虽然以上描述的方法300和方法320关注在“行车道”中进行操作的车辆的活动，但是这仅意为示例。以上所描述的方法还可以被用于关注在与车辆可能执行的任务相关的环境的其他区域。例如，在其他应用中，车辆可以仅感兴趣于寻找在人行道、路肩或人行横道上的物体，或者仅感兴趣于车辆期望看见标志的地点等。因此，车辆可以以相似的方式使用方法300和方法320来检测环境中感兴趣的其他区域或部分中的物体。
诸如图3A的方法300或图3B的方法320的示例方法可以由车辆及其子系统整体地或部分地实行。因此，示例方法可以通过示例的方式在本文中被描述为由车辆实施。然而，应当理解，示例方法可以完全地或部分地由其他计算装置实施。例如，示例方法可以完全地或部分地由从诸如与车辆相关联的装置之类的装置接收数据的服务器系统实施。可以实施示例方法的计算装置的其他示例或计算装置的组合是可能的。
在一些实施例中，本文所公开的技术可以被实施为以机器可读格式编码在非暂态计算机可读存储介质或者在其他非暂态介质或制品上的计算机程序指令(例如，在车辆100的计算机系统112的数据存储装置114上所存储的指令115)。图5是示出根据本文所呈现的至少一些实施例布置的示例计算机程序产品的概念部分视图的示意图，该示例计算机程序产品包括用于在计算装置上运行计算机处理的计算机程序。
在一个实施例中，使用信号承载介质502提供示例计算机程序产品500。信号承载介质502可以包括一个或多个编程指令504，编程指令504当由一个或多个处理器运行时可以提供本文所描述的功能或功能的一部分。在一些示例中，信号承载介质502可以是非暂态计算机可读介质506，诸如但是不限于：硬盘驱动、压缩盘(CD)、数字视频盘(DVD)、数字磁带、存储器等。在一些实施方式中，信号承载介质502可以包含计算机可记录介质508，诸如但是不限于：存储器、读/写(R/W)CD、R/W DVD等。在一些实施方式中，信号承载介质502可以包含通信介质510，诸如但是不限于：数字和/或模拟通信介质(例如，光纤线缆、波导、有线通信链路、无线通信链路等)。因此，例如，信号承载介质502可以通过通信介质510的无线形式来传达。
一个或多个编程指令504可以是例如计算机可运行和/或逻辑实施的指令。在一些示例中，诸如图1的计算机系统112的计算装置可以被配置为响应于通过计算机可读介质506、计算机可记录介质508和/或通信介质510中的一个或多个被传达到计算机系统112的编程指令504来提供各种操作、功能或动作。
非暂态计算机可读介质也可分布在多个数据存储元件之间，这些数据存储元件的位置可以彼此远离。运行所存储的指令中的一些或所有的计算装置可以是诸如图2所示的示例车辆200的车辆。可替换地，运行所存储的指令中的一些或所有的计算装置可以是诸如服务器的另一个计算装置。
以上详述的说明参考附图描述了所公开的系统、装置和方法的各种特征和功能。虽然本文公开了各个方面和实施例，但是其他方面和实施例也是可能的。本文所公开的各个方面和实施例是出于例示的目的而不旨在为限制性的，而真实的范围由下面的权利要求书所指示。

Claims (20)

1.一种使用环境信息用于自主车辆的图像处理的方法，包括：
使用处理器，从车辆的至少一个传感器接收指示环境的图像数据，其中，车辆被配置为在环境中在自主模式中进行操作，并且其中，车辆处于环境的行车道中；
将图像数据与指示所述行车道的、环境中的道路的预定图像地图进行比较；
基于比较，确定图像数据的与所述行车道相对应的第一部分，并且忽略图像数据的剩余部分；
仅基于图像数据的所确定的第一部分来执行物体检测；以及
基于所执行的物体检测，提供指令以控制在环境中在自主模式中的车辆。
2.根据权利要求1所述的方法，其中，比较包括将预定图像地图投影在图像数据上。
3.根据权利要求1所述的方法，其中，预定图像地图指示行车道的位置或者行车道的边界中的至少一个，以及
其中，将预定图像地图与图像数据进行比较还包括：
将图像数据与(i)由预定图像地图所指示的行车道的位置或者(ii)由预定图像地图所指示的行车道的边界中的至少一个进行比较。
4.根据权利要求1所述的方法，其中行车道是第一行车道，其中环境中的道路的预定图像地图还指示环境的第二行车道，并且所述方法还包括：
基于比较，确定图像数据的与第二行车道相对应的第二部分，其中，图像数据的第二部分与图像数据的所确定的第一部分不同，其中，环境的第二行车道与所述第一行车道不同，并且其中，图像数据的所忽略的剩余部分包括除了所确定的第一部分和第二部分之外的图像数据；
仅基于图像数据的所确定的第一部分和第二部分，执行额外的物体检测；以及
基于所执行的额外的物体检测，提供指令以控制在环境中在自主模式中的车辆。
5.根据权利要求4所述的方法，其中，预定图像地图指示第二行车道的位置或者第二行车道的边界中的至少一个，以及
其中，将预定图像地图与图像数据进行比较包括：
将图像数据与(i)由预定图像地图所指示的第二行车道的位置或者(ii)由预定图像地图所指示的第二行车道的边界中的至少一个进行比较。
6.根据权利要求4所述的方法，其中，第二行车道邻近所述第一行车道。
7.根据权利要求1所述的方法，其中，预定图像地图包括在环境中的车辆的前进方向。
8.根据权利要求1所述的方法，其中，确定图像数据的与所述行车道相对应的第一部分包括：确定图像数据的第一部分为图像数据的包括与在预定图像地图中指示的预定特征相对应的特征的部分，所述预定特征与行车道的已知车道边界相关联。
9.一种车辆，包括：
传感器，被配置为接收指示环境的图像数据，其中，车辆被配置为在环境中在自主模式中进行操作，并且其中，车辆处于环境的行车道中；
计算机系统，其中，计算机系统被配置为：
将图像数据与指示所述行车道的、环境中的道路的预定图像地图进行比较；
基于比较，确定图像数据的与所述行车道相对应的第一部分，并且忽略图像数据的剩余部分；
仅基于图像数据的所确定的第一部分来执行物体检测；以及
基于所执行的物体检测，提供指令以控制在环境中在自主模式中的车辆。
10.根据权利要求9所述的车辆，其中，比较包括将预定图像地图投影在图像数据上。
11.根据权利要求9所述的车辆，其中，预定图像地图指示行车道的位置或者行车道的边界中的至少一个，以及
其中，将预定图像地图与图像数据进行比较还包括：
将图像数据与(i)由预定图像地图所指示的行车道的位置或者(ii)由预定图像地图所指示的行车道的边界中的至少一个进行比较。
12.根据权利要求9所述的车辆，其中行车道是第一行车道，其中环境中的道路的预定图像地图还指示环境的第二行车道，并且所述计算机系统还被配置为：
基于比较，确定图像数据的与第二行车道相对应的第二部分，其中，图像数据的第二部分与图像数据的所确定的第一部分不同，其中，环境的第二行车道与所述第一行车道不同，并且其中，图像数据的所忽略的剩余部分包括除了所确定的第一部分和第二部分之外的图像数据；
仅基于图像数据的所确定的第一部分和第二部分，执行额外的物体检测；以及
基于所执行的额外的物体检测，提供指令以控制在环境中在自主模式中的车辆。
13.根据权利要求12所述的车辆，其中，预定图像地图指示第二行车道的位置或者第二行车道的边界中的至少一个，以及
其中，将预定图像地图与图像数据进行比较包括：
将图像数据与(i)由预定图像地图所指示的第二行车道的位置或者(ii)由预定图像地图所指示的第二行车道的边界中的至少一个进行比较。
14.根据权利要求12所述的车辆，其中，第二行车道邻近所述第一行车道。
15.一种其中存储有指令的非暂态计算机可读介质，该指令当由车辆中的计算机系统运行时，使得计算机系统执行功能，包括：
从车辆的至少一个传感器接收指示环境的图像数据，其中，车辆被配置为在环境中在自主模式中进行操作，并且其中，车辆处于环境的行车道中；
将图像数据与指示所述行车道的、环境中的道路的预定图像地图进行比较；
基于比较，确定图像数据的与所述行车道相对应的第一部分，并且忽略图像数据的剩余部分；
仅基于图像数据的所确定的第一部分来执行物体检测；以及
基于所执行的物体检测，提供指令以控制在环境中在自主模式中的车辆。
16.根据权利要求15所述的非暂态计算机可读介质，其中，比较包括将预定图像地图投影在图像数据上。
17.根据权利要求15所述的非暂态计算机可读介质，其中，预定图像地图指示行车道的位置或者行车道的边界中的至少一个，以及
其中，将预定图像地图与图像数据进行比较还包括：
将图像数据与(i)由预定图像地图所指示的行车道的位置或者(ii)由预定图像地图所指示的行车道的边界中的至少一个进行比较。
18.根据权利要求15所述的非暂态计算机可读介质，其中，预定图像地图包括在环境中的车辆的前进方向。
19.根据权利要求15所述的非暂态计算机可读介质，其中行车道是第一行车道，其中环境中的道路的预定图像地图还指示与第一行车道邻近的环境的第二行车道，并且所述指令还可被车辆中的计算机系统执行以使得计算机系统执行包括以下的功能：
基于比较，确定图像数据的与第二行车道相对应的第二部分，其中，图像数据的第二部分与图像数据的所确定的第一部分不同，其中，环境的第二行车道与所述第一行车道不同，并且其中，图像数据的所忽略的剩余部分包括除了所确定的第一部分和第二部分之外的图像数据；
仅基于图像数据的所确定的第一部分和第二部分，执行额外的物体检测；以及
基于所执行的额外的物体检测，提供指令以控制在环境中在自主模式中的车辆。
20.根据权利要求19所述的非暂态计算机可读介质，其中，预定图像地图指示第二行车道的位置或者第二行车道的边界中的至少一个，以及
其中，将预定图像地图与图像数据进行比较还包括：
将图像数据与(i)由预定图像地图所指示的第二行车道的位置或者(ii)由预定图像地图所指示的第二行车道的边界中的至少一个进行比较。
CN201710953108.6A 2013-06-24 2014-04-22 使用环境信息辅助用于自主车辆的图像处理 Active CN107757616B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/925,795 2013-06-24
US13/925,795 US9145139B2 (en) 2013-06-24 2013-06-24 Use of environmental information to aid image processing for autonomous vehicles
CN201480036319.8A CN105358399B (zh) 2013-06-24 2014-04-22 使用环境信息辅助用于自主车辆的图像处理

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480036319.8A Division CN105358399B (zh) 2013-06-24 2014-04-22 使用环境信息辅助用于自主车辆的图像处理

Publications (2)

Publication Number Publication Date
CN107757616A true CN107757616A (zh) 2018-03-06
CN107757616B CN107757616B (zh) 2020-09-08

Family

ID=52111572

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480036319.8A Active CN105358399B (zh) 2013-06-24 2014-04-22 使用环境信息辅助用于自主车辆的图像处理
CN201710953108.6A Active CN107757616B (zh) 2013-06-24 2014-04-22 使用环境信息辅助用于自主车辆的图像处理

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480036319.8A Active CN105358399B (zh) 2013-06-24 2014-04-22 使用环境信息辅助用于自主车辆的图像处理

Country Status (6)

Country Link
US (2) US9145139B2 (zh)
EP (2) EP3196804B1 (zh)
JP (1) JP6055562B2 (zh)
KR (2) KR101727439B1 (zh)
CN (2) CN105358399B (zh)
WO (1) WO2014209477A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110567465A (zh) * 2018-06-06 2019-12-13 丰田研究所股份有限公司 使用精度规范定位车辆的系统和方法
CN110750769A (zh) * 2018-07-05 2020-02-04 安波福技术有限公司 标识和认证自主运载工具以及乘员
CN111598061A (zh) * 2020-07-21 2020-08-28 成都中轨轨道设备有限公司 一种自主识别定位轨道标识牌内容的系统和方法
CN113039580A (zh) * 2018-11-05 2021-06-25 图森有限公司 用于检测拖车角度的系统和方法
US11772603B2 (en) 2021-05-18 2023-10-03 Motional Ad Llc Passenger authentication and entry for autonomous vehicles

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9090260B2 (en) * 2013-12-04 2015-07-28 Mobileye Vision Technologies Ltd. Image-based velocity control for a turning vehicle
US10422649B2 (en) * 2014-02-24 2019-09-24 Ford Global Technologies, Llc Autonomous driving sensing system and method
DE102014204309A1 (de) * 2014-03-10 2015-09-10 Robert Bosch Gmbh Vorrichtung und Verfahren zum Betreiben eines Fahrzeugs
ES2724353T3 (es) * 2014-04-04 2019-09-10 Signify Holding Bv Sistema y métodos para el soporte de vehículos autónomos por medio de la percepción ambiental y calibración y verificación de sensores
JP6348357B2 (ja) * 2014-07-09 2018-06-27 株式会社デンソーテン 情報提供装置、通信システム及び情報提供方法
US9321461B1 (en) * 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
DE102015201247A1 (de) * 2015-01-26 2016-07-28 Robert Bosch Gmbh Vorrichtung und Verfahren zum Betreiben eines Fahrzeugs
KR102624434B1 (ko) * 2015-02-10 2024-01-15 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
JP6376059B2 (ja) * 2015-07-06 2018-08-22 トヨタ自動車株式会社 自動運転車両の制御装置
US11935256B1 (en) 2015-08-23 2024-03-19 AI Incorporated Remote distance estimation system and method
US11069082B1 (en) * 2015-08-23 2021-07-20 AI Incorporated Remote distance estimation system and method
US9881219B2 (en) * 2015-10-07 2018-01-30 Ford Global Technologies, Llc Self-recognition of autonomous vehicles in mirrored or reflective surfaces
US9727793B2 (en) * 2015-12-15 2017-08-08 Honda Motor Co., Ltd. System and method for image based vehicle localization
EP3190022B1 (en) * 2016-01-11 2018-08-29 Delphi Technologies, Inc. Lane extension for vision steered automated vehicle
US9802599B2 (en) * 2016-03-08 2017-10-31 Ford Global Technologies, Llc Vehicle lane placement
EP3223188A1 (en) * 2016-03-22 2017-09-27 Autoliv Development AB A vehicle environment mapping system
DE102016005884A1 (de) * 2016-05-12 2017-11-16 Adam Opel Ag Fahrerassistenzsystem
US10448555B2 (en) 2016-05-27 2019-10-22 Cnh Industrial America Llc System and method for scouting vehicle mapping
DE102016210632A1 (de) * 2016-06-15 2017-12-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Überprüfen eines Medienverlustes eines Kraftfahrzeuges sowie Kraftfahrzeug und System zum Ausführen eines solchen Verfahrens
US10336326B2 (en) * 2016-06-24 2019-07-02 Ford Global Technologies, Llc Lane detection systems and methods
US11210436B2 (en) * 2016-07-07 2021-12-28 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of algorithms facilitating navigation of railway crossings in varying weather conditions
US10521677B2 (en) * 2016-07-14 2019-12-31 Ford Global Technologies, Llc Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms
CN109415065B (zh) * 2016-07-15 2022-11-01 哈曼国际工业有限公司 用于虚拟化驾驶环境的装置和方法以及车辆
US10762358B2 (en) * 2016-07-20 2020-09-01 Ford Global Technologies, Llc Rear camera lane detection
EP3843002A1 (en) * 2016-07-21 2021-06-30 Mobileye Vision Technologies Ltd. Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
US10152058B2 (en) * 2016-10-24 2018-12-11 Ford Global Technologies, Llc Vehicle virtual map
US10410074B2 (en) * 2016-10-25 2019-09-10 Ford Global Technologies, Llc Systems and methods for locating target vehicles
KR102647407B1 (ko) * 2016-11-04 2024-03-14 현대모비스 주식회사 차량 사고 예방 시스템 및 그 방법
US20180129219A1 (en) * 2016-11-09 2018-05-10 Aatonomy, Inc. Autonomous vehicle moving system, device and method
US10423156B2 (en) 2016-12-11 2019-09-24 Aatonomy, Inc. Remotely-controlled device control system, device and method
DE102016015514A1 (de) * 2016-12-23 2018-06-28 Lucas Automotive Gmbh Fahrassistenz für ein Kraftfahrzeug
EP3574287B1 (en) * 2017-01-27 2020-11-11 CPAC Systems AB A method for forming a local navigation path for an autonomous vehicle
GB2559196B (en) * 2017-01-31 2021-11-17 Sony Europe Bv Determining a position of a vehicle on a track
US10053088B1 (en) * 2017-02-21 2018-08-21 Zoox, Inc. Occupant aware braking system
DE102017203838B4 (de) * 2017-03-08 2022-03-17 Audi Ag Verfahren und System zur Umfelderfassung
US10209718B2 (en) * 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
CN110914641B (zh) 2017-06-14 2024-01-30 御眼视觉技术有限公司 自主导航的导航信息的融合构架和分批对齐
CN109429518B (zh) * 2017-06-22 2022-10-28 百度时代网络技术（北京）有限公司 基于地图图像的自动驾驶交通预测
US10386856B2 (en) 2017-06-29 2019-08-20 Uber Technologies, Inc. Autonomous vehicle collision mitigation systems and methods
US10065638B1 (en) 2017-08-03 2018-09-04 Uber Technologies, Inc. Multi-model switching on a collision mitigation system
US10629080B2 (en) 2017-08-31 2020-04-21 Uatc Llc Autonomous vehicles featuring vehicle intention system
US20190072978A1 (en) * 2017-09-01 2019-03-07 GM Global Technology Operations LLC Methods and systems for generating realtime map information
US10957201B2 (en) 2017-09-15 2021-03-23 Qualcomm Incorporated System and method for relative positioning based safe autonomous driving
US10551849B2 (en) * 2017-09-25 2020-02-04 Aptiv Technologies Limited Automated vehicle simulated lane-marking guidance system
CN113335299A (zh) * 2017-10-03 2021-09-03 谷歌有限责任公司 使用基于传感器的验证的车辆功能控制
US11080537B2 (en) * 2017-11-15 2021-08-03 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
JP6930394B2 (ja) * 2017-11-24 2021-09-01 トヨタ自動車株式会社 物体認識装置
KR102333033B1 (ko) * 2017-12-07 2021-12-01 삼성전자주식회사 차량 및 그 제어 방법
US10921142B2 (en) * 2017-12-14 2021-02-16 Waymo Llc Methods and systems for sun-aware vehicle routing
US10533860B2 (en) * 2017-12-19 2020-01-14 Intel Corporation Light pattern based vehicle location determination method and apparatus
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US10712168B2 (en) * 2017-12-28 2020-07-14 Uatc, Llc Submap geographic projections
US20190208136A1 (en) * 2017-12-29 2019-07-04 Waymo Llc High-speed image readout and processing
KR102323394B1 (ko) * 2018-01-22 2021-11-08 삼성전자주식회사 차량의 주행을 보조하는 장치 및 방법
KR102055156B1 (ko) * 2018-02-05 2019-12-12 주식회사 만도 적응형 순항 제어 시스템의 제어 장치 및 제어 방법
CN108284838A (zh) * 2018-03-27 2018-07-17 杭州欧镭激光技术有限公司 一种用于检测车辆外部环境信息的检测系统及检测方法
WO2019195191A1 (en) * 2018-04-02 2019-10-10 Phantom Al, Inc. Dynamic image region selection for visual inference
US10843702B2 (en) * 2018-06-06 2020-11-24 Ford Global Technologies, Llc Methods and systems for oil leak determination
US10656647B2 (en) * 2018-06-27 2020-05-19 Aptiv Technologies Limited Verification of vehicle operator awareness before transition from autonomous-mode to manual-mode
KR102146451B1 (ko) * 2018-08-17 2020-08-20 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법
EP3617650A1 (en) 2018-08-31 2020-03-04 Volkswagen Aktiengesellschaft Methods, apparatuses and computer program for vehicles and a backend entity
US10310197B1 (en) * 2018-09-17 2019-06-04 Waymo Llc Transmitter devices having bridge structures
US11495028B2 (en) * 2018-09-28 2022-11-08 Intel Corporation Obstacle analyzer, vehicle control system, and methods thereof
DE102018217840A1 (de) * 2018-10-18 2020-04-23 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen eines Umfeldmodells für ein Fahrzeug
KR102555916B1 (ko) * 2018-12-12 2023-07-17 현대자동차주식회사 Odm 정보 신뢰성 판단 장치 및 그의 판단 방법과 그를 이용하는 차량
KR102247168B1 (ko) * 2018-12-26 2021-05-03 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량 내 비 회피 계획 시스템의 장애물 필터링 방법
CN111247525A (zh) * 2019-01-14 2020-06-05 深圳市大疆创新科技有限公司 一种车道检测方法、装置及车道检测设备、移动平台
US11679722B2 (en) 2019-01-30 2023-06-20 Volvo Truck Corporation Method for adjusting a display view of a vision aid system
US20220227372A1 (en) 2019-05-17 2022-07-21 Volvo Truck Corporation Method for operating an autonomous vehicle
EP4004668B1 (en) 2019-07-31 2023-07-26 Volvo Truck Corporation A method for forming a travelling path for a vehicle
US11310451B1 (en) 2019-09-05 2022-04-19 Waymo Llc Smart sensor with region of interest capabilities
US11233840B2 (en) 2019-09-13 2022-01-25 Roku, Inc. Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action
US11591012B2 (en) * 2019-10-01 2023-02-28 Robert Bosch Gmbh Vehicle trajectory prediction using road topology and traffic participant object states
US11428550B2 (en) 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
CN111611709B (zh) * 2020-05-20 2023-09-15 阿波罗智能技术(北京)有限公司 用于控制仿真车辆的方法、装置、电子设备和存储介质
US20220075378A1 (en) * 2020-06-23 2022-03-10 California Institute Of Technology Aircraft-based visual-inertial odometry with range measurement for drift reduction
US20220111859A1 (en) * 2020-10-12 2022-04-14 Ford Global Technologies, Llc Adaptive perception by vehicle sensors
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
US20230077909A1 (en) * 2021-09-15 2023-03-16 Zoox, Inc. Road network validation

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160995A (ja) * 1993-12-08 1995-06-23 Mitsubishi Motors Corp 車両用自動操舵装置
JP2007315861A (ja) * 2006-05-24 2007-12-06 Nissan Motor Co Ltd 車両用画像処理装置
JP2011149835A (ja) * 2010-01-22 2011-08-04 Clarion Co Ltd カーナビゲーション装置
US8027029B2 (en) * 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
CN102308304A (zh) * 2009-02-04 2012-01-04 海拉胡克双合有限公司 确定有效车道标记的方法和装置
CN102609953A (zh) * 2010-12-02 2012-07-25 通用汽车环球科技运作有限责任公司 摄影机和距离传感器数据的多物体外观增强融合
CN102910168A (zh) * 2011-08-01 2013-02-06 株式会社日立制作所 图像处理装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3284845B2 (ja) * 1995-09-20 2002-05-20 三菱自動車工業株式会社 障害物認識装置
JP3849505B2 (ja) 2001-11-26 2006-11-22 株式会社デンソー 障害物監視装置及びプログラム
JP2004098827A (ja) 2002-09-09 2004-04-02 Denso Corp 障害物検知装置及びプログラム
KR20040091788A (ko) * 2003-04-22 2004-11-02 현대자동차주식회사 고속도로 자율주행 시스템 및 그의 제어방법
JP3936683B2 (ja) * 2003-08-04 2007-06-27 株式会社デンソー 道路位置検出装置及びプログラム
JP3890594B2 (ja) * 2003-09-26 2007-03-07 マツダ株式会社 車両用情報提供装置
JP2005202678A (ja) * 2004-01-15 2005-07-28 Nissan Motor Co Ltd 走行支援装置
DE102004003850A1 (de) 2004-01-26 2005-08-18 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung von Markierungen auf einer Fahrbahn
JP4377284B2 (ja) * 2004-06-02 2009-12-02 株式会社ザナヴィ・インフォマティクス 車載ナビゲーション装置
JP2006199273A (ja) * 2004-12-24 2006-08-03 Fujitsu Ten Ltd 車両情報提供装置
JP2006284414A (ja) 2005-04-01 2006-10-19 Xanavi Informatics Corp 車載情報端末、自動車の走行制御システム、自動車の走行制御装置及び方法
JP4392389B2 (ja) * 2005-06-27 2009-12-24 本田技研工業株式会社 車両及び車線認識装置
GB0516403D0 (en) 2005-08-10 2005-09-14 Trw Ltd Method and apparatus for determining motion of a vehicle
JP4862036B2 (ja) * 2006-03-06 2012-01-25 日立オートモティブシステムズ株式会社 自動車の制御装置及び制御方法
JP2008128827A (ja) * 2006-11-21 2008-06-05 Matsushita Electric Ind Co Ltd ナビゲーション装置およびナビゲーション方法ならびにそのプログラム
JP4731627B2 (ja) 2007-12-28 2011-07-27 三菱電機株式会社 ナビゲーション装置
JP5094658B2 (ja) * 2008-09-19 2012-12-12 日立オートモティブシステムズ株式会社 走行環境認識装置
US8259998B2 (en) 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
CN102421572B (zh) 2009-04-15 2015-10-14 比克-维尔莱克 剃须刀刀架和包括该刀架的机械剃须刀
DE102009060377B4 (de) 2009-12-24 2016-10-20 Richard Wolf Gmbh Trokarhülse
DE102010011093A1 (de) * 2010-03-11 2011-09-15 Daimler Ag Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung
JP5035643B2 (ja) * 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
JP5531733B2 (ja) * 2010-04-01 2014-06-25 トヨタ自動車株式会社 道路情報取得装置
WO2011160672A1 (en) * 2010-06-21 2011-12-29 Centre De Visió Per Computador Method for obtaining drivable road area
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US20120310465A1 (en) 2011-06-02 2012-12-06 Harman International Industries, Incorporated Vehicle nagivation system
DE102011084993A1 (de) * 2011-10-21 2013-04-25 Robert Bosch Gmbh Übernahme von Daten aus bilddatenbasierenden Kartendiensten in ein Assistenzsystem
JP2012208111A (ja) * 2011-12-05 2012-10-25 Pioneer Electronic Corp 画像表示装置及び制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160995A (ja) * 1993-12-08 1995-06-23 Mitsubishi Motors Corp 車両用自動操舵装置
JP2007315861A (ja) * 2006-05-24 2007-12-06 Nissan Motor Co Ltd 車両用画像処理装置
US8027029B2 (en) * 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
CN102308304A (zh) * 2009-02-04 2012-01-04 海拉胡克双合有限公司 确定有效车道标记的方法和装置
JP2011149835A (ja) * 2010-01-22 2011-08-04 Clarion Co Ltd カーナビゲーション装置
CN102609953A (zh) * 2010-12-02 2012-07-25 通用汽车环球科技运作有限责任公司 摄影机和距离传感器数据的多物体外观增强融合
CN102910168A (zh) * 2011-08-01 2013-02-06 株式会社日立制作所 图像处理装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110567465A (zh) * 2018-06-06 2019-12-13 丰田研究所股份有限公司 使用精度规范定位车辆的系统和方法
CN110567465B (zh) * 2018-06-06 2023-08-18 丰田研究所股份有限公司 使用精度规范定位车辆的系统和方法
CN110750769A (zh) * 2018-07-05 2020-02-04 安波福技术有限公司 标识和认证自主运载工具以及乘员
CN110750769B (zh) * 2018-07-05 2024-04-12 动态Ad有限责任公司 标识和认证自主运载工具以及乘员
CN113039580A (zh) * 2018-11-05 2021-06-25 图森有限公司 用于检测拖车角度的系统和方法
CN113039580B (zh) * 2018-11-05 2023-12-15 图森有限公司 用于牵引车和拖车的车载控制系统和确定牵引车和拖车间的角度的方法
CN111598061A (zh) * 2020-07-21 2020-08-28 成都中轨轨道设备有限公司 一种自主识别定位轨道标识牌内容的系统和方法
US11772603B2 (en) 2021-05-18 2023-10-03 Motional Ad Llc Passenger authentication and entry for autonomous vehicles

Also Published As

Publication number Publication date
US9387854B1 (en) 2016-07-12
CN105358399A (zh) 2016-02-24
KR101606337B1 (ko) 2016-03-24
WO2014209477A1 (en) 2014-12-31
US20160214605A1 (en) 2016-07-28
KR20160035099A (ko) 2016-03-30
KR20150123946A (ko) 2015-11-04
EP2976243A1 (en) 2016-01-27
US9145139B2 (en) 2015-09-29
EP2976243A4 (en) 2016-05-18
EP3196804B1 (en) 2018-09-05
JP2016532914A (ja) 2016-10-20
EP2976243B1 (en) 2017-03-29
CN107757616B (zh) 2020-09-08
CN105358399B (zh) 2017-10-31
KR101727439B1 (ko) 2017-04-14
EP3196804A1 (en) 2017-07-26
JP6055562B2 (ja) 2016-12-27
US20140379247A1 (en) 2014-12-25

Similar Documents

Publication Publication Date Title
CN105358399B (zh) 使用环境信息辅助用于自主车辆的图像处理
US11281918B1 (en) 3D position estimation of objects from a monocular camera using a set of known 3D points on an underlying surface
US11762386B1 (en) Modifying the behavior of an autonomous vehicle using context based parameter switching
US11068726B1 (en) Static obstacle detection
US20240144698A1 (en) Use of Relationship Between Activities of Different Traffic Signals in a Network to Improve Traffic Signal State Estimation
US9494942B1 (en) Enhancing basic roadway-intersection models using high intensity image data
US10724865B1 (en) Methods and systems for calibrating sensors using road map data
US9026303B1 (en) Object detection based on known structures of an environment of an autonomous vehicle
US9417631B2 (en) Use of prior maps for estimation of lane boundaries
US20160292519A1 (en) Verifying A Target Object With Reverse-Parallax Analysis
CN104411559A (zh) 用于检测交通信号及其关联状态的鲁棒方法
CN107628027A (zh) 基于替代数据推断交通信号状态和车辆环境的其他方面
CN107097787A (zh) 对控制车辆的速度的预测性推理
US9373045B1 (en) Bus detection for an autonomous vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant