CN109952491A - 使用地图信息平滑从传感器数据生成的对象 - Google Patents

使用地图信息平滑从传感器数据生成的对象 Download PDF

Info

Publication number
CN109952491A
CN109952491A CN201780070410.5A CN201780070410A CN109952491A CN 109952491 A CN109952491 A CN 109952491A CN 201780070410 A CN201780070410 A CN 201780070410A CN 109952491 A CN109952491 A CN 109952491A
Authority
CN
China
Prior art keywords
width
expression
point
distance
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780070410.5A
Other languages
English (en)
Other versions
CN109952491B (zh
Inventor
N.帕特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wai On LLC
Original Assignee
Wai On LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wai On LLC filed Critical Wai On LLC
Publication of CN109952491A publication Critical patent/CN109952491A/zh
Application granted granted Critical
Publication of CN109952491B publication Critical patent/CN109952491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/28—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B60K2360/16—
    • B60K2360/333—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本技术涉及生成由车辆100的感知172系统检测到的对象的表示。例如，从感知系统接收对应于对象690的一组数据点790。检索识别车道的形状和位置以及车道的中心点的位置的地图信息。基于该组数据点选择中心点的代表点。基于代表点的位置确定第一位置。基于该组数据点确定第二位置。使用第一和第二位置以基于第一位置和第二位置的距离确定用于对象的表示的第三位置。使用第三位置生成对象的表示。在车辆100的显示器152上显示对象的表示。

Description

使用地图信息平滑从传感器数据生成的对象
相关申请的交叉引用
本申请是于2016年11月14日提交的美国专利申请第15/350,473号的继续申请，其公开通过引用结合于此。
背景技术
诸如不需要人类驾驶员的车辆的自动驾驶车辆可用于帮助将乘客或物品从一个位置运输到另一个位置。这种车辆可以在完全自动模式下操作，其中乘客可以提供某一初始输入，例如上车(pickup)或目的地位置，并且车辆自己操纵到该位置。
这些车辆可以依赖于其环境的高度详细的地图。这些地图对于导航(例如确定如何在两个位置之间到达)以及定位(确定车辆在世界中的位置)两者都是至关重要的。
除了地图之外，这些车辆通常配备有各种类型的传感器，以便检测周围环境中的对象(object)。例如，自动驾驶车辆可包括激光、声纳、雷达、相机、以及扫描和记录来自车辆的周围环境的数据的其他设备。来自这些设备中的一个或多个的传感器数据可用于检测对象及其各自的特征(位置、形状、走向、速度等)。这些特征可用于预测对象在将来的某一短暂时段内可能做的事情，其可用于控制车辆以规避这些对象。因此，检测、识别和预测是自动驾驶车辆的安全操作的关键功能。
发明内容
本公开的各方面提供了用于生成由车辆的感知系统检测到的对象的表示(representation)的方法。该方法包括由一个或多个处理器从感知系统接收一组数据点。该组数据点中的数据点对应于在激光传感器的激光的扫描期间检测到的对象。该方法还包括：由一个或多个处理器检索识别车道的形状和位置以及车道的中心点的位置的地图信息；由一个或多个处理器基于该组数据点选择中心点的代表点(representative point)；由一个或多个处理器基于代表点的位置确定第一位置；由一个或多个处理器基于该组数据点确定第二位置；由一个或多个处理器使用第一位置和第二位置，以便基于第一位置和第二位置的距离确定用于对象的表示的第三位置；由一个或多个处理器使用第三位置生成对象的表示；以及由一个或多个处理器在车辆的显示器上显示对象的表示。
在一个示例中，使用第一位置和第二位置，使得当该距离是第一距离时，第一位置具有对第三位置的第一贡献，并且当该距离是大于第一距离的第二距离时，第二位置具有对第三位置的第二贡献，第二贡献大于第一贡献。在另一示例中，地图信息还包括识别车道的走向(heading)的走向信息，并且该方法还包括：基于与代表点相关联的车道的走向确定第一朝向(orientation)；基于该组数据点确定第二朝向；以及组合第一朝向和第二朝向，以便基于该距离确定用于对象的表示的第三朝向，并且其中使用第三位置生成对象的表示。在该示例中，使用第一朝向和第二朝向，使得当该距离是第一距离时，第一朝向具有对第三朝向的第一贡献，并且当该距离是大于第一距离的第二距离时，第二朝向具有对第三位置的第二贡献，第二贡献大于第一贡献。
在另一示例中，该方法还包括：基于与代表点相关联的车道的宽度确定第一宽度；基于该组数据点确定第二宽度；以及组合第一宽度和第二宽度，以便基于该距离确定用于对象的表示的第三宽度，并且其中，使用第三宽度生成对象的表示。在该示例中，组合第一宽度和第二宽度，使得当该距离是第一距离时，第一宽度具有对第三宽度的第一贡献，并且当该距离是大于第一距离的第二距离时，第二宽度具有对第三宽度的第二贡献，第二贡献大于第一贡献。
在另一个示例中，该方法还包括在接收该组数据点之前，接收与在所述激光的扫描之前的第一激光扫描(first sweep of the laser)期间检测到的对象相对应的更早的一组数据点，基于更早的一组数据点确定长度，并且进一步基于长度生成对象的表示。在该示例中，进一步基于与从激光的角度看的长度相对应的对象的侧面的角宽度(angularwidth)确定长度。另外地或可替代地，进一步基于角宽度是否小于最小阈值角宽度值来确定长度。
本公开的另一方面提供了用于生成由车辆的感知系统检测到的对象的表示的系统。该系统包括一个或多个处理器，其被配置为从感知系统接收一组数据点。该组数据点中的数据点对应于在激光传感器的激光的扫描期间检测到的对象。一个或多个处理器还被配置为：检索识别车道的形状和位置以及车道的中心点的位置的地图信息；基于该组数据点选择中心点的代表点；基于代表点的位置确定第一位置；基于该组数据点确定第二位置；使用第一位置和第二位置，以便基于第一位置和第二位置的距离确定用于对象的表示的第三位置；使用第三位置生成对象的表示；以及在车辆的显示器上显示对象的表示。
在一个示例中，该系统还包括车辆。在另一示例中，使用第一位置和第二位置，使得当该距离是第一距离时，第一位置具有对第三位置的第一贡献，并且当该距离是大于第一距离的第二距离时，第二位置具有对第三位置的第二贡献，第二贡献大于第一贡献。在另一示例中，地图信息还包括识别车道的走向的走向信息，并且一个或多个处理器还被配置为：基于与代表点相关联的车道的走向来确定第一朝向；基于该组数据点确定第二朝向；以及组合第一朝向和第二朝向，以便基于该距离确定用于对象的表示的第三朝向，并且其中，使用第三位置生成对象的表示。在该示例中，使用第一朝向和第二朝向，使得当该距离是第一距离时，第一朝向具有对第三朝向的第一贡献，并且当该距离是大于第一距离的第二距离时，第二朝向具有对第三朝向的第二贡献，第二贡献大于第一贡献。
在另一示例中，一个或多个处理器还被配置为：基于与代表点相关联的车道的宽度来确定第一宽度；基于该组数据点确定第二宽度；以及组合第一宽度和第二宽度，以便基于该距离确定用于对象的表示的第三宽度，并且其中，使用第三宽度生成对象的表示。在该示例中，组合第一宽度和第二宽度，使得当该距离是第一距离时，第一宽度具有对第三宽度的第一贡献，并且当该距离是大于第一距离的第二距离时，第二宽度具有对第三宽度的第二贡献，第二贡献大于第一贡献。
本公开的另一方面提供了用于生成由车辆的感知系统检测到的对象的表示的方法。该方法包括：由一个或多个处理器从感知系统接收一组数据点，该组数据点中的数据点对应于在激光传感器的激光的扫描期间检测到的对象；从该组数据点确定对象的位置；访问识别交通车道的中心点的地图信息，以识别最接近该位置的交通车道的中心点；基于所识别的中心点与对象的位置之间的距离确定用于对象的表示的位置；以及由一个或多个处理器基于用于对象的表示的位置在车辆的显示器上显示对象的表示。
在一个示例中，地图信息还包括识别车道的走向的走向信息，并且该方法还包括基于该组数据点确定对象的朝向，并且基于对象的朝向以及所识别的中心点与对象的位置之间的距离确定用于对象的表示的朝向。在该示例中，显示表示进一步基于用于表示的朝向。
在另一示例中，该方法还包括基于该组数据点确定对象的宽度，并且基于对象的宽度以及所识别的中心点与对象的位置之间的距离确定用于对象的表示的宽度。在该示例中，显示表示进一步基于用于表示的宽度。
附图说明
图1是根据本公开的各方面的示例车辆的功能图。
图2A至图2B是根据本公开的各方面的地图信息的示图。
图3A至图3D是根据本公开的各方面的车辆的示例外部视图。
图4是根据本公开的各方面的系统的示意图(pictorial diagram)。
图5是根据本公开的各方面的图4的系统的功能图。
图6是根据本公开的各方面的路段(section of roadway)的视图。
图7是根据本公开的各方面的路段和数据的视图。
图8是根据本公开的各方面的路段和数据的视图。
图9是根据本公开的各方面的路段和数据的视图。
图10是根据本公开的各方面的路段和数据的视图。
图11是根据本公开的各方面的路段和数据的视图。
图12是根据本公开的各方面的路段的视图。
图13是根据本公开的各方面的路段的视图。
图14是根据本公开的各方面的路段的视图。
图15是根据本公开的各方面的流程图。
具体实施方式
概述
本技术涉及生成使用实时收集的传感器数据在车辆的环境中检测到的对象的视觉表示(visual representation)。如上所述，除了检测、识别和预测之外，向乘客提供关于车辆的传感器已检测到什么对象的信息也是使乘客知悉车辆的传感器的功能以及保持乘客的安全感的重要方式。例如，当使用由LIDAR系统的激光生成的数据点云(data pointclouds)以随着时间生成对象的表示时，表示可能看起来是“跳跃的(jumpy)”。作为示例，单个组的数据点可以对应于激光扫过(across)对象的单次扫描。该组数据点可用于生成对象的表示以用于显示，例如具有与从该组数据点确定的值对应的大小、形状和朝向的矩形。随着时间的推移，表示通过从新的激光扫描生成的数据点的新组生成新的表示而被更新。然而，当传感器数据用于实时生成对象的表示时，传感器数据越“真(true)”，表示会越不真实(unrealistic)。换句话说，由于数据点云中的点不会随着时间而连续地位于相同位置的方式，表示看起来稍微旋转和移位(shift)，而不是描绘了静态或平滑移动的对象。这可能是因为在激光扫过对象所位于的区域时，对象、LIDAR系统的激光、和/或车辆正在移动。因此，即使当对象本身完全静止或在特定方向(direction)上以稳定速度移动时，这种移位和旋转也可能影响对象的位置、走向和形状/大小。由于如车辆、行人和骑行者的对象实际上并没有以这种方式移动，因此观看这样的表示可能会令乘客感到不安。
如低通滤波器的典型平滑技术能够减少移位和旋转，也可能使对象以不真实的方式移动。例如，这样的过滤器可能导致对象以不正确的走向、以过大的大小或形状、或者甚至以不正确的位置移动。另外，由于数据变得较不准确，所以对数据点执行这样的平滑技术并且然后使用平滑的数据来控制车辆实际上可能对车辆、乘客和其他对象是危险的。
为了使用激光数据创建对象的更真实的表示，可以使用预先存储的地图信息平滑对象的表示以减少前述移位和旋转。通过在生成对象的表示之前使用地图信息来平滑数据点，而不使用该平滑的数据来控制车辆，可以减少表示的移位和旋转而不会危害车辆、乘客或者其他对象的安全。
例如，车辆的计算设备可以从感知系统接收与对象对应的一组数据点。地图信息可以用于识别一组数据点的参考点或线。在生成对象的表示之前，可以使用对象的数据点与参考点的接近度(proximity)来平滑数据点。
在一个示例中，计算设备可以识别最接近给定对象的该组数据点的地图信息的中心点(或线)。如果对象在车道中或附近，则最近的中心点可以是车道内的中心点。如果对象在停车位(parking spot)中或附近，则最近的中心点可以是停车位内的中心点。
然后，该最近的中心点可以成为用于平滑该组数据点的参考点。在地图信息中识别的参考点和相关联的车道(或停车位)信息可用于调整由该组数据点生成的表示的特征。另外，平均位置越接近参考点，则调整可能越大。这可以使得针对同一对象随着时间生成的不同表示看起来更加平滑地移动。
在参考点处的车道或停车位的宽度可以用于确定表示的宽度。作为示例，第一宽度可以被设置为在中心点的位置处的车道(或停车位)的实际宽度、车道(或停车位)的平均宽度、或者车道(或停车位)的平均宽度或默认宽度值。
第一宽度可以与从该组数据点确定的对象的第二宽度组合。例如，从激光的角度来看，第二宽度可以是对象的最宽宽度。基于平均位置与代表点的接近度，第一宽度和第二宽度可以组合在一起。在这方面，当平均位置等于代表点时，第一宽度可以设置为表示的宽度。当平均位置更加远离代表点时，第二宽度对所述宽度可以具有更大的影响，直到平均位置远离代表点以致于第二宽度被设置为表示的宽度。这可以减少或防止为同一对象生成的表示之间的大小变化。
可以使用地图信息来确定表示的朝向。可以从与参考点相关联的车道的走向确定第一朝向。可以从该组数据点确定第二朝向。与宽度示例一样，基于第一朝向和第二朝向之间的角度差，第一朝向和第二朝向可以组合在一起。在这方面，当第一朝向等于第二朝向时，第一朝向可以设置为表示的朝向。当平均位置更加远离代表点时，第二朝向对所述朝向可以具有更大的影响，直到平均位置远离代表点以致于第二朝向被设置为表示的朝向。这可以减少或防止为同一对象生成的表示之间的大的旋转。
可以使用地图信息确定表示的位置。第一位置可以是参考点的位置。第二位置可以是平均位置。与宽度和朝向示例一样，基于平均位置与代表点的接近度，第一位置和第二位置可以组合在一起以确定表示的位置。在这方面，当平均位置等于代表点时，第一位置可以被设置为表示的位置。当平均位置更加远离代表点时，第二位置对所述位置可以具有更大的影响，直到平均位置远离代表点以致于第二位置被设置为表示的位置。这可以减少或防止为同一对象的生成的表示之间的大的横向(lateral)移位。
本文描述的特征允许车辆的计算系统实时生成对象的真实表示。通过基于检测到的对象与车道或停车位的中心的接近度生成表示的宽度、朝向和位置，上述技术从不同组的数据点创建随着时间生成的表示的平滑移动连续体(smooth continuum of movement)，并且防止计算设备使数据点或地图信息对表示具有太大的影响。此外，通过限制对表示生成的平滑，这允许计算设备以尽可能最准确的信息控制车辆。
示例系统
如图1所示，根据本公开的一个方面的车辆100包括各种组件。虽然本公开的某些方面对于特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于小汽车、卡车、摩托车、公共汽车、休闲车等。车辆可以具有一个或多个计算设备，例如包含一个或多个处理器120、存储器130和通常出现在通用计算设备中的其他组件的计算设备110。
存储器130存储由一个或多个处理器120可访问的信息，包括可由处理器120执行或以其他方式使用的指令132和数据134。存储器130可以是能够存储由处理器可访问的信息的任何类型，包括计算设备可读介质，或存储可借助于电子设备读取的数据的其他介质，例如硬盘驱动器、存储卡、ROM、RAM、DVD或其他光盘，以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的媒体上。
指令132可以是由处理器直接(例如机器代码)或间接(例如脚本)执行的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在本文中可以互换使用。指令可以以目标代码格式存储，以便由处理器直接处理，或者以任何其他计算设备语言存储，包括按需解释或预先编译的独立源代码模块的脚本或集合(collection)。下面更详细地解释指令的例程、方法和功能。
处理器120可以根据指令132来检索、存储或修改数据134。例如，尽管所要求保护的主题不受任何特定数据结构的限制，但是数据可以存储在计算设备寄存器中，作为具有多个不同字段和记录的表格、XML文档或平面文件存储在关系数据库中。数据还可以以任何计算设备可读的格式被格式化。
一个或多个处理器120可以是任何传统处理器，例如商用CPU。替选地，一个或多个处理器可以是专用设备，例如ASIC或其他基于硬件的处理器。尽管图1在功能上将处理器、存储器和计算设备110的其他元件示出为在同一块内，但是本领域普通技术人员将理解，处理器、计算设备或存储器可以实际上包括存放在同一物理外壳内或没有存放在同一物理外壳内的多个处理器、计算设备或存储器。例如，存储器可以是位于与计算设备110的外壳不同的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以并行操作或可以不并行操作的处理器或计算设备或存储器的集合的引用。
计算设备110可以包括通常结合计算设备使用的所有组件，例如上述处理器和存储器，以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕的监视器或可操作以显示信息的任何其他电学设备)。在该示例中，车辆包括内部电子显示器152以及一个或多个扬声器154，以提供信息或视听体验。在这方面，内部电子显示器152可以位于车辆100的座舱内，并且可以由计算设备110使用以向车辆100内的乘客提供信息。
计算设备110还可以包括一个或多个无线网络连接156，以促进与其他计算设备的通信，例如下面详细描述的客户端计算设备和服务器计算设备。无线网络连接可以包括短程通信协议，例如蓝牙、低功耗蓝牙(LE)、蜂窝连接，以及各种配置和协议，包括因特网、万维网、内联网、虚拟专用网、广域网、本地网络、使用一个或多个公司专有的通信协议的专用网络、以太网、WiFi和HTTP，以及前述的各种组合。
在一个示例中，计算设备110可以是并入车辆100中的自动驾驶计算系统。自动驾驶计算系统可能能够与车辆的各种组件通信。例如，返回图1，计算设备110可以与车辆100的各种系统(例如，减速系统160、加速系统162、转向系统164、信号系统166、路由系统168、定位系统170、感知系统172、以及动力系统174(例如，燃气或电动引擎))通信，以便根据存储器130的指令132控制车辆100的移动、速度等。再者，尽管这些系统被示为在计算设备110的外部，但实际上，这些系统也可以并入计算设备110中，又作为用于控制车辆100的自动驾驶计算系统。
作为示例，计算设备110可以与减速系统160和加速系统162交互，以便控制车辆的速度。类似地，转向系统164可以由计算设备110使用，以便控制车辆100的方向。例如，如果车辆100被配置用于在道路上使用，诸如小汽车或卡车，则转向系统可以包括控制车轮角度以使车辆转向的组件。信号系统166可以由计算设备110使用，以便例如通过在需要时点亮转向信号或刹车灯，来将车辆的意图用信号通知给其他驾驶员或车辆。
路由系统168可以由计算设备110使用，以便确定并跟随到位置的路线。在这方面，路由系统168和/或数据134可以存储详细的地图信息，例如，识别道路的形状和高度(elevation)、车道线、车道和走向信息(识别车道的走向或朝向)、交叉路口、人行横道、限速、交通信号、建筑物、标志、实时交通信息、植被、或其他此类物体和信息的高度详细的地图。换句话说，这个详细的地图信息可以定义车辆的预期环境的几何形状，包括道路以及这些道路的速度限制(法定限速)。另外，该地图信息可以包括关于交通控制的信息，例如交通信号灯、停车标志、让行标志等，该信息结合从感知系统172接收的实时信息可以由计算设备110使用，以确定在给定位置哪个方向的交通拥有通行权。
图2A和图2B是包括车道210、212、214、216以及停车场(parking lot)230的入口/出口区域220的路段的地图信息的示例。参考图2A，地图信息包括识别以下各项的形状、位置以及其他特征的信息：车道标记或车道线240、242；中间区域250(划分车道210、212和车道214、216之间的不同交通方向)；以及路缘260、262、264。在某些情况下，地图信息甚至可以包括识别停车位的形状和大小的信息，例如停车位280、282、284、286、288。除了图2A所示的特征之外，如图2B所示，地图信息还可以包括分别用于每个车道210、212、214、216的中心点或中心线270、272、274、276(由许多点组成)的信息。与车道一样，每个停车位280、282、284、286、288可以与识别中心点或线290、292、294、296、298的信息相关联。
尽管这里将地图信息描绘为基于图像的地图，但是地图信息不需要完全基于图像(例如，光栅)。例如，地图信息可以包括例如道路、车道、交叉路口以及这些特征之间的连接的信息的一个或多个道路图(roadgraph)或图形网络。每个特征可以存储为图形数据，并且可以与诸如地理位置以及其是否与其他相关特征链接的信息(例如，停车标志可以链接到道路和交叉路口等)相关联。在一些示例中，相关联的数据可以包括道路图的基于网格的索引，以允许有效地查找某些道路图特征。
定位系统170可以由计算设备110使用，以便确定车辆在地图上或地球上的相对或绝对位置。例如，定位系统170可以包括GPS接收器以确定设备的纬度、经度和/或高度位置。诸如基于激光的定位系统、惯性辅助GPS或基于相机的定位的其他定位系统也可用于识别车辆的位置。车辆的位置可以包括例如纬度、经度和高度的绝对地理位置，以及相对位置信息，例如相对于紧邻其周围的其他小汽车的位置，其通常可以以比绝对地理位置更小的噪声来确定。
定位系统170还可以包括与计算设备110通信的其他设备，例如加速计、陀螺仪或其他方向/速度检测设备，以确定车辆的方向和速度或者它们的改变。仅作为示例，加速设备可以确定其相对于重力方向或与其垂直的平面的俯仰、偏转或滚动(或其改变)。该设备还可以跟踪速度的增加或减少以及这种变化的方向。如本文所述的设备提供的位置和朝向数据可以被自动提供给计算设备110、其他计算设备以及前述的组合。
感知系统172还包括用于检测车辆外部的对象的一个或多个组件，车辆外部的对象例如为其他车辆、道路中的障碍物、交通信号、标志、树木等。例如，感知系统172可包括诸如LIDAR(激光器)、声纳、雷达、相机和/或记录可由计算设备110处理的数据的任何其他检测设备的传感器。在车辆是诸如小汽车的小型乘用车的情况下，小汽车可以包括安装在车顶或其他方便的位置的激光器或其他传感器。例如，车辆的感知系统可以使用各种传感器，以检测对象及其特征，例如位置、朝向、尺寸、形状、类型、移动的方向和速度等。来自传感器的原始数据和/或前述特征可以被量化或布置成描述性函数或矢量以供计算设备110处理。如下面进一步详细讨论的，计算设备110可以使用定位系统170以确定车辆的位置，以及使用感知系统172来在需要时检测对象并对对象做出响应以安全到达该位置。
图3A至图3D是车辆100的外部视图的示例。可以看出，车辆100包括典型车辆的许多特征，例如前灯302、挡风玻璃303、尾灯/转向信号灯304、后挡风玻璃305、车门306、侧视镜308、轮胎和车轮310、以及转向信号灯/停车灯312。前灯302、尾灯/转向信号灯304和转向信号灯/停车灯312可以与信号系统166相关联。灯条307也可以与信号系统166相关联。
车辆100还包括感知系统172的传感器。例如，外壳314可包括具有360度或更窄视场的一个或多个激光设备以及一个或多个相机设备。外壳316和318可包括例如一个或多个雷达和/或声纳设备。感知系统172的设备也可以结合到典型的车辆组件中，例如尾灯/转向信号灯304和/或侧视镜308。这些雷达、相机和激光设备中的每一个可以与处理组件相关联，这些处理组件作为感知系统172的一部分处理来自这些设备的数据，并将传感器数据提供给计算设备110。
数据134可以存储各种行为时间模型(behavior-time model)，用于预测对象在预定时间段内(例如接下来的10秒或更长或更短)的未来行为。在一个示例中，行为时间模型可以被配置为使用从感知系统172接收的对象的数据，特别是另一个道路使用者，包括道路使用者的特征以及下面进一步详细讨论的附加上下文信息。作为示例，给定来自感知系统172的数据中包括的位置、走向、速度和其他特征，行为时间模型可以提供一组关于对象在预定时间段内可以如何表现的一个或多个预测以及每个预测的相应似然值(likelihoodvalue)。预测可以包括轨迹，例如，定义一组预期对象在未来的对应于预定时间段的不同时间的未来位置。似然值可以指示哪些预测更可能发生(相对于彼此)。在这方面，具有最大似然值的预测最可能发生，而具有较低似然值的预测则较少可能发生。
因此，行为时间模型可以被配置为针对特定道路使用者将在特定地平线或预定时间段(例如10秒)内做什么生成一组可能的假设以及每个假设的相对可能性。这些模型可以使用关于在该位置处观察到的对象在过去如何表现、直觉等数据来训练，并且还可以针对特定类型的对象(例如车辆、行人、摩托车、骑行者等)专门指定这些模型。然后，计算设备110可以推断出(reason)与车辆轨迹相互作用并且具有值得考虑的足够可能性的假设。
计算设备110可以通过控制各种组件来控制车辆的方向和速度。作为示例，计算设备110可以使用来自详细地图信息、感知系统172和路由系统168的数据，完全自动地将车辆导航到目的地位置。为了操纵车辆，计算设备110可以使车辆加速(例如，通过由加速系统162增加提供给动力系统174或引擎的燃料或其他能量)、减速(例如，通过由减速系统160减少供应到引擎的燃料、改变档位、和/或通过施加制动)、改变方向(例如，通过由转向系统164转动车辆100的前轮或后轮)、以及用信号通知这种变化(例如，通过点亮信号系统166的转向信号)。因此，加速系统162和减速系统160可以是动力传动系统(drivetrain)的一部分，其包括在车辆的引擎和车辆的车轮之间的各种组件。再者，通过控制这些系统，计算设备110还可以控制车辆的动力传动系统，以便自动地操纵车辆。
车辆100的一个或多个计算设备110还可以从其他计算设备接收信息或向其他计算设备传送信息。图4和图5分别是示例系统400的示意图和功能图，示例系统400包括经由网络460连接的多个计算设备410、420、430、440和存储系统450。系统400还包括车辆100、以及可以与车辆100类似地配置的车辆100A。尽管为了简单起见，仅描绘了几辆车辆和计算设备，但是典型的系统可以包括明显更多车辆和计算设备。
如图4所示，每个计算设备410、420、430、440可以包括一个或多个处理器、存储器、数据和指令。这样的处理器、存储器、数据和指令可以与计算设备110的一个或多个处理器120、存储器130、数据134和指令132类似地配置。
网络460和中间节点可以包括各种配置和协议，包括短程通信协议，例如蓝牙、蓝牙LE、因特网、万维网、内联网、虚拟专用网络、广域网、本地网络、使用一个或多个公司专有的通信协议的专用网、以太网、WiFi和HTTP，以及前述的各种组合。任何能够向其他计算设备发送数据和从其他计算设备数据的设备(例如调制解调器和无线接口)可以促进这种通信。
在一个示例中，一个或多个计算设备410可以包括具有多个计算设备的服务器，例如，负载平衡服务器群，其与网络的不同节点交换信息，以用于从其他计算设备接收数据、处理数据、以及向其他计算设备发送数据。例如，一个或多个计算设备410可以包括一个或多个服务器计算设备，它们能够经由网络460与车辆100的一个或多个计算设备110或车辆100A的类似计算设备以及客户端计算设备420、430、440通信。例如，车辆100和100A可以是车辆车队的一部分，它们可以由服务器计算设备派遣(dispatch)到各个位置。在这方面，车队的车辆可以周期性地向服务器计算设备发送由车辆的相应定位系统提供的位置信息，并且一个或多个服务器计算设备可以跟踪车辆的位置。
另外，服务器计算设备410可以使用网络460在显示器(如计算设备420、430、440的显示器424、434、444)上向用户(例如用户422、432、442)发送和呈现信息。在这方面，计算设备420、430、440可以被认为是客户端计算设备。
如图5所示，每个客户端计算设备420、430、440可以是旨在由用户422、432、442使用的个人计算设备，并且具有通常与个人计算设备结合使用的所有组件，所述个人计算设备包括一个或多个处理器(例如，中央处理单元(CPU))、存储数据和指令的存储器(例如，RAM和内部硬盘驱动器)、诸如显示器424、434、444的显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视机或可操作以显示信息的其他设备)、以及用户输入设备(例如，鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可以包括用于记录视频流的相机、扬声器、网络接口设备、以及用于将这些元件彼此连接的所有组件。
虽然客户端计算设备420、430和440中的每一个可以包括全尺寸的个人计算设备，但是它们可以替代地包括能够通过诸如因特网的网络与服务器无线地交换数据的移动计算设备。仅作为示例，客户端计算设备420可以是移动电话或诸如支持无线的PDA、平板PC、可穿戴计算设备或系统、膝上型计算机、或能够经由因特网或其他网络获得信息的上网本的设备。在另一示例中，客户端计算设备430可以是可穿戴计算设备，诸如图4中所示的“智能手表”。作为示例，用户可以使用键盘、小键盘、多功能输入按钮、麦克风、利用相机或其他传感器的视觉信号(例如，手或其他手势)、触摸屏等来输入信息。
在一些示例中，客户端计算设备440可以是由管理员用来向诸如用户422和432的用户提供礼宾服务(concierge service)的礼宾工作站。例如，用户442可以是使用礼宾工作站440通过它们各自的客户端计算设备或车辆100或100A、经由与用户的电话呼叫或音频连接进行通信以确保车辆100和100A的安全操作以及用户的安全的礼宾员(concierge)，如下面进一步详细描述的。尽管在图4和图5中仅示出了单个礼宾工作站440，但是在典型系统中可以包括任何数量的这种工作站。
存储系统450可以存储各种类型的信息。该信息可以由服务器计算设备(例如一个或多个服务器计算设备410)检索或访问，以便执行本文描述的一些或所有特征。例如，该信息可以包括诸如能够用于向一个或多个服务器计算设备识别用户的凭证(credential)的用户账户信息(例如，在传统的单因素认证的情况下的用户名和口令，以及典型地在多因素认证中使用的其他类型的凭证，诸如随机识别符、生物测定等)。用户账户信息还可以包括个人信息，诸如用户的姓名、联系信息、用户的客户端计算设备的识别信息(或者如果多个设备与同一个用户账户一起使用，则为多个客户端计算设备)、以及用户的一个或多个唯一信号。
与存储器130一样，存储系统450可以是能够存储服务器计算设备410可访问的信息的任何类型的计算机化存储装置，例如硬盘驱动器、存储卡、ROM、RAM、DVD、CD-ROM、可写和只读存储器。另外，存储系统450可以包括分布式存储系统，其中数据存储在多个不同的存储设备上，这些存储设备可以物理地位于相同或不同的地理位置。存储系统450可以经由网络460连接到计算设备，如图4所示，和/或可以直接连接到或者并入任何计算设备110、410、420、430、440等。
示例方法
除了上面描述的以及在附图中示出的操作之外，现在将描述各种操作。应理解，不必以下面描述的精确顺序执行以下操作。反而，可以以不同的顺序或同时处理各个步骤，并且还可以添加或省略步骤。
在一个方面，用户可以将用于请求车辆的应用下载到客户端计算设备。例如，用户422和432可以经由电子邮件中的链接、直接从网站或应用商店将应用下载到客户端计算设备420和430。例如，客户端计算设备可以通过网络例如向一个或多个服务器计算设备410发送对应用的请求，并且作为响应，接收应用。应用可以本地安装在客户端计算设备上。
然后，用户可以使用他或她的客户端计算设备来访问应用并请求车辆。作为示例，诸如用户432的用户可以使用客户端计算设备430向一个或多个服务器计算设备410发送对车辆的请求。该请求可以包括识别上车位置或区域和/或目的地位置或区域的信息。作为响应，一个或多个服务器计算设备410可以例如基于可用性和位置来识别并派遣车辆到上车位置。该派遣可以涉及向识别用户(和/或用户的客户端设备)的车辆发送信息以便将车辆分配给用户(和/或用户的客户端计算设备)、上车位置、以及目的地位置或区域。
一旦车辆100接收到派遣车辆的信息，车辆的一个或多个计算设备110可以使用上述各种特征将车辆操纵到上车位置。一旦用户(现在是乘客)安全地处于车辆中，计算设备110可以启动必要的系统以沿着到目的地位置的路线自动地控制车辆。例如，路由系统168可以使用数据134的地图信息来确定到目的地位置的、跟随地图信息的一组车道路段的路径或路线。然后，计算设备110可以如上所述沿着朝向目的地的路线，自动地(或在自动驾驶模式下)操纵车辆。
图6是与图2A和图2B的地图信息中定义的路段对应的路段的示例视图。例如，图6包括对应于车道210、212、214、216的车道610、612、614、616，以及对应于停车场230的入口/出口区域220的停车场630的入口/出口区域620。图6还包括对应于车道线240、242的车道线640、642，对应于中间区域250的中间区域650，以及对应于路缘260、262、264的路缘660、662、664。在该示例中，车辆100正行驶在车道610中，接近停车场630的入口/出口区域620。
当如上所述驾驶车辆时，感知系统向车辆的计算设备提供关于在车辆的环境中检测到的对象的信息。在这方面，车辆的计算设备可以从感知系统接收对应于对象的一组数据点。例如，当车辆100接近车辆690时，感知系统172可以通过其传感器生成关于包括车辆690的车辆100周围区域的信息。关于车辆690，该信息可以包括例如车辆690的位置、朝向、速度、形状等。该信息可以作为离散值和/或原始传感器数据被接收，其识别由感知系统172检测到的对象的形状和位置。转到图7，作为示例，感知系统172可以向计算设备110提供激光数据790(这里，覆盖在图6的示例上)，包括对应于在感知系统的激光的单次扫描(scan)或扫描(sweep)期间与由感知系统172检测到的车辆690的部分对应的位置和强度(intensity)信息。作为示例，单次扫描可以对应于一次扫过(one pass)通过激光视场。
使用所接收的数据，计算设备可以识别最接近给定对象的该组数据点的地图信息的车道的中心点(或线)。作为示例，计算设备110可以检索识别车道的形状和位置以及在车辆周围区域中的车道的中心点的位置的地图信息。可以将该组数据点的位置一起平均，并且该平均位置用于识别车道(或停车位)的最近的中心点。如果对象在车道中或附近，则最近的中心点可以是车道内的中心点。例如，图8是包括数据790的地图信息的一部分以及车道210和车道212的部分(对应于图6的车道610和612)的详细视图。另外，图8包括(车道210的)中心线270和(车道212的)中心线272的叠加。这里，圆圈890表示对应于数据790的对象(这里是车辆690)的平均或估计位置。可以看出，与地图信息的任何其他中心线相比，圆圈890最接近中心线270。参考图8，其是图8的一部分的细节图(没有数据790)，参考线910表示圆圈890和中心线272之间的最短距离，因此点920表示中心线270上最接近圆圈890的位置的中心点。当然，如果对象在停车位中或附近，则最近的中心点可以是停车位内的中心线上的中心点。
然后，该最近的中心点可以成为将用于生成表示的该组数据点的参考点。在这方面，点920表示用于平滑数据790的参考点的位置。
如上所述，通过调整该组数据点的特征，可以使用在地图信息中识别的参考点和相关联的车道(或停车位)信息来生成表示的特征，例如宽度、朝向和位置。另外，平均位置越接近参考点，参考点可能对表示的特征的调整或影响越大。因此，可以基于由圆圈890和点920表示的位置之间的距离或参考线910的长度来进行调整。这可以使得对于同一个对象随着时间生成的不同表示看起来更平滑地移动。
参考点处的车道或停车位的宽度可用于确定表示的宽度。在这方面，计算设备可以假设对象在横跨车道的宽度上窄于车道的宽度。作为示例，第一宽度可以被设置为中心点的位置处的车道(或停车位)的实际宽度、车道(或停车位)的平均宽度、或者车道(或停车位)的平均宽度或默认宽度值少1米(或更多或更少)。参考图10，可以通过获取路缘262和车道线280之间的距离来确定车道210的宽度，对应于参考线1010的长度。因此，参考线1010的长度可以是第一宽度。该距离可以实时确定或从详细地图信息(如果可用)中检索。
可以从该组数据点确定对象的第二宽度。例如，该第二宽度可以是从生成该组数据点的车辆感知系统的传感器(例如LIDAR或激光)的角度看的对象的最宽宽度。参考图8，数据790的宽度可以对应于数据点810和数据点820之间的距离、或者参考线830的长度，因为这将是从车辆100的激光的角度看的数据点之间的最大距离(参见图7)。因此，该距离将是第二宽度。
可以“调整”第二宽度以通过基于平均位置与代表点的接近度将第一和第二宽度组合在一起来确定表示的宽度。作为示例，可以使用基于平均位置与代表点之间的距离和最大距离值的混合量(mix amount)将第一宽度和第二宽度组合在一起。以下是用于确定混合量的示例等式：mix_amount＝distance_to_representative_point/最大距离值，其中distance_to_representative_point是平均位置和代表点之间的距离。maximum_distance_value或最大距离值可以对应于表示在中心点的位置处的车道(或停车位)的实际宽度的一半、车道(或停车位)的平均宽度的一半、或车道(或停车位)的平均宽度或默认宽度值少1米(或更多或更少)的一半。
如上所述，混合量、第一宽度和第二宽度可用于确定表示的宽度。以下是用于确定表示的宽度(width of the representation)的示例等式：width_of_the_representation＝first_width*(1-mix_amount)+second_width*mix_amount，其中first_width是第一宽度，并且second_width是第二宽度。在这方面，当平均位置等于代表点(参考线910的长度为零)时，表示的宽度将是第一宽度。随着平均位置和代表点之间的距离增加，混合值增加，从而增加第二宽度对表示的宽度的影响，直到到代表点的距离等于最大距离值，并且代表宽度被设置为第二宽度。在这方面，当到代表点的距离是最大距离值的一半时，来自第一宽度和第二宽度中的每一个的50％贡献将被设置为表示的宽度。如果到代表点的距离大于最大距离值，如下所述，则可以使用不同车道的不同的、更接近的代表点来确定表示的宽度，或者可以简单地将表示的宽度设置为第二宽度。
参考图10的示例，表示的宽度将被设置为参考线830的长度。当平均位置更加远离代表点时(参考线910的长度大于零)，第二宽度对表示的宽度可以具有更大的影响。当平均位置这样远离代表点(参考线910的长度是或接近最大距离值)时，第二宽度被设置为表示的宽度。在这方面，在圆圈890的位置移动离开中心线270时，参考线1010的长度将对宽度的组合以及由此对表示的宽度具有更大的影响。当圆圈890的位置是距离代表点的最大距离值时，第一宽度和第二宽度的组合将导致第二宽度、或参考线1010的长度。因此，参考线1010的长度将被设置为表示的宽度。以这种方式设置表示的宽度可以减少或防止为同一对象生成的表示之间的大小变化。
可以使用地图信息，具体地，参考点的车道的走向来确定表示的朝向。作为示例，可以从与参考点相关联的车道的走向确定第一朝向。参考图10，箭头1020表示包括在详细地图信息中的车道210的朝向，因此，对应于车道610的朝向。可以通过为同一对象在短暂的时间段内观察多组点或者通过分析对象的相机图像来确定第二朝向。
与宽度示例一样，可以“调整”第二朝向以通过基于平均位置与代表点的接近度将第一朝向和第二朝向组合在一起来确定表示的朝向，或者更确切地说，在上面的示例中，参考线910的长度。作为示例，可以使用基于平均位置和代表点之间的距离和最大距离值的混合量将第一和第二朝向组合在一起。同样，以下是用于确定混合量的示例等式：mix_amount＝distance_to_representative_point/最大距离值。
如上所述，混合量、第一朝向和第二朝向可用于确定表示的朝向。以下是用于确定表示的朝向(orientation of the representation)的示例等式：orientation_of_the_reprentation＝first_orientation*(1-mix_amount)+second_orientation*mix_amount，其中first_orientation是第一朝向，并且second_orientation是第二朝向。在这方面，当平均位置等于代表点时，表示的朝向将是第一朝向。随着平均位置和代表点之间的距离增加，混合值增加，从而增加第二朝向对表示的朝向的影响，直到到代表点的距离等于最大距离值，并且代表朝向被设置为第二朝向。在这方面，当到代表点的距离是最大距离值的一半时，来自第一朝向和第二朝向中的每一个的50％贡献将被设置为表示的朝向。如果到代表点的距离大于最大距离值，如下所述，则可以使用不同车道的不同的、更接近的代表点来确定表示的朝向，或者可以简单地将表示的朝向设置为第二朝向。这可以减少或防止为同一对象生成的表示之间的大的旋转。
另外，可以使用包括参考点的地图信息来确定表示的位置。作为示例，第一位置可以是参考点的位置。第二位置可以是平均位置。与宽度和朝向示例一样，基于平均位置与代表点的接近度，第一位置和第二位置可以组合在一起以确定表示的位置。作为示例，可以使用基于平均位置和代表点之间的距离和最大距离值的混合量来将第一和第二位置组合在一起。同样，以下是用于确定混合量的示例等式：mix_amount＝distance_to_representative_point/最大距离值。
如上所述，混合量、第一位置和第二位置可用于确定表示的位置。以下是用于确定表示的位置(position of the representation)的示例等式：position_of_the_reprentation＝first_position*(1-mix_amount)+second_position*mix_amount，其中first_position是第一位置，并且second_position是第二位置。在这方面，当平均位置等于代表点时，表示的位置将是第一位置。随着平均位置和代表点之间的距离增加，混合值增加，从而增加第二位置对表示的位置的影响，直到到代表点的距离等于最大距离值，并且代表位置被设置为第二位置。在这方面，当到代表点的距离是最大距离值的一半时，来自第一位置和第二位置中的每一个的50％贡献将被设置为表示的位置。如果到代表点的距离大于最大距离值，如下所述，则可以使用不同车道的不同的、更接近的代表点来确定表示的位置，或者可以简单地将表示的位置设置为第二位置。这可以减少或防止为同一对象生成的表示之间的大的横向移位。
一旦如上所述确定了表示的特征，则可以向车辆的一个或多个乘客显示表示。例如，该表示可以显示在内部电子显示器152或另一显示器上。同样，虽然这些特征被调整以向乘客显示，但为了车辆及其乘客的安全，不应为了操纵车辆的目的而调整特征。
在许多情况下，对象实际上可以移出车道或停车位。当是这种情况时，如上所述，车道或停车位的代表点对对象的形状(长度、宽度等)、朝向和位置的影响越来越小。当然，随着对象的该组数据点的平均位置移动得更接近另一个中心点，该新的中心点可以成为用于生成如上所述的表示的参考点。另外，当平均位置与一个车道的中心点之间的距离变得大于最大距离值时，该中心点可能不再用作代表点。例如，图11是车道210和212的视图，描绘了对应于沿着车道210和212随着时间移动的对象的多组数据点的平均位置的圆圈1110、1120、1130、1140、1150(按照从1110到1150的顺序)。可以看出，圆圈1110对应于靠近中心线270的对象。在圆圈1110和圆圈1120之间，对象越过中心线270，然后向车道线240移动，如圆圈1130所示。随着平均位置移动离开中心线270(从圆圈1120到圆圈1130并且最终到圆圈1140)，中心线270上的对应参考点将对对象的表示的特征具有更小的影响。在圆圈1140处，在中心线270和中心线272之间的中间(midway)，相应的参考点可能对特征没有影响。换句话说，第二宽度、第二朝向、以及第二位置可以被设置为表示的宽度、朝向和位置，或者更确切地说，那些特征可以简单地对应于对于每个圆圈从该组数据点确定的特征(如上所述)。在这方面，表示在不同车道之间的变换将看上去更加平滑。再次如上所述，随着对象移动靠近中心线272，如在圆圈1140和1150中，中心线272上的对应参考点将对参考点的特征具有更大的影响。
在地图信息不包括上面讨论的中心点或车道信息的情况下，可以如上所述从该组数据点确定表示的宽度、朝向和位置值。
在一些情况下，可以基于先前观察到的信息生成表示。例如，可以从先前组的数据点的先前确定的长度或宽度确定表示的长度或宽度。作为示例，诸如公共汽车或牵引拖车的较大对象的长度可能看起来随着对象的朝向(实际上，第二朝向或从该组数据点确定的朝向)与对象之间的相对位置变化而移位。换句话说，当车辆在对象正后方，仅看到对象的后端时，如果有来自对象的相邻侧面的任何数据点的话，该组数据点将包括很少。因此，即使对象是非常长的对象，例如公共汽车或牵引拖车，对象也可能看起来是非常短的对象。在车辆的朝向改变或对象转向时，车辆的朝向与对象的后端之间的角度将增加，并且该组数据点可以包括来自对象的相邻侧面的更多点，从而提供更多关于对象的长度的信息。类似地，随着车辆和对象之间的角度减小，该组数据点将包括来自对象的相邻侧面的更少的点。这可能导致对象的表示在短时间段内看起来改变大小，并且因此给乘客留下车辆的计算设备没有完全检测到或识别对象作为公共汽车或牵引拖车的印象。
通过使用来自先前组的数据点的先前长度或宽度尺寸(dimension)作为表示的长度或宽度，这可以降低如上所述表示的长度或宽度的急剧变化的可能性。
是否使用来自先前组的数据点的先前长度或宽度尺寸可以基于当前组的数据点的长度或宽度是否是“可信的”。对象的侧面的长度或宽度尺寸可能不是“可信”的，其中该侧面的数据点的数量相对低(即，不满足阈值)或侧面的角宽度(激光或车辆的走向与侧面之间的角度)不满足最小阈值。在这方面，计算设备100可以从该组数据点确定对象的长度或宽度的角宽度。如果来自该组数据点的对象的长度的角宽度不满足最小阈值，例如小于1度或更大或更小，或者为零，则宽度可能不是“可信”值。在这方面，先前的“可信”宽度可以用作表示的宽度。类似地，如果来自该组数据点的对象的长度的角宽度大于最小阈值，例如等于或大于1度或更大或更小，则该长度可以是“可信”值。在这方面，“可信”长度可以用作表示的宽度。当然，对于对象的宽度，同样也可以成立。
此外，当对象的当前宽度(来自当前组的数据点)不是“可信的”时，可以将先前的“可信”宽度设置为第一宽度。在这方面，可以基于该先前宽度(作为第一宽度)和第二宽度的组合来确定表示的宽度，如上所述。
例如，转到图12，公共汽车1200从停车场630的入口/出口区域620开出并进入车道610。在该示例中，由感知系统的激光生成的公共汽车的该组数据点包括长侧面1210和短侧面1212两者。因此，此时，长侧面1210和短侧面1212两者的角宽度相对大(即大于1度)。因此，表示的长度和宽度可以设置为该组数据点的长度和宽度，因为该组数据点的长度和宽度将是“可信的”。
在图13中，公共汽车1200进一步移动到车道610中并且短侧面1212和激光之间的角度减小，但是长侧面1210和短侧面1212两者对于车辆的激光仍然是可见的。因此，此时，长侧面1210和短侧面1212两者的角宽度相对大(即大于1度)。因此，表示的长度和宽度可以被设置为该组数据点的长度和宽度，因为该组数据点的长度和宽度将是“可信的”。
在图14中，公共汽车1200已完全进入车道610。此时，长侧面1210的角宽度接近零。因此，该组数据点中的任何数据点很少对应于长侧面1210。因此，图14中的长侧面1210的长度将不是“可信的”。在这方面，基于从图14的示例生成的该组数据点生成的表示将看起来是明显短于公共汽车的对象。在该示例中，在图13的示例时或者图12的示例时(两者都是“可信的”)生成的该组数据点确定的公共汽车1210的长度可以用于生成基于图14的示例的表示。因此，对象的表示的长度将看起来随着时间而与车辆的乘客更加一致。
图15是根据示例流程图1500，其可以由车辆的一个或多个计算设备的一个或多个处理器(诸如车辆100的计算设备110)执行，以便生成由车辆的感知系统检测到的对象的表示。在该示例中，在块1510处，从感知系统接收一组数据点。数据点对应于在激光传感器的激光的扫描期间检测到的对象。在块1520，检索识别车道的形状和位置以及车道的中心点的位置的地图信息。在块1530，基于该组数据点选择中心点的代表点。在块1540，基于代表点的位置确定第一位置。在块1550，基于该组数据点确定第二位置。在块1560，使用第一位置和第二位置，以便基于第一位置和第二位置的距离确定用于对象的表示的第三位置。在块1570，使用第三位置生成对象的表示。在块1580，在车辆的显示器上显示对象的表示。
除非另有说明，否则前述替代示例不是相互排斥的，而是可以以各种组合实现以实现独特的优点。由于可以在不脱离由权利要求限定的主题的情况下利用上述特征的这些和其他变型和组合，因此前述实施例的描述应当作为说明而不是作为由权利要求限定的主题的限制来进行。另外，这里描述的示例的提供以及表述为“诸如”、“包括”等的从句不应被解释为将权利要求的主题限制于特定示例；反而，这些示例仅旨在说明许多可能的实施例中的一个。此外，不同附图中的相同附图标记可以识别相同或相似的元件。
工业适用性
本文描述的技术享有广泛的工业实用性，包括例如在自动驾驶车辆领域中并且使用实时收集的传感器数据生成在车辆的环境中检测到的对象的视觉表示。

Claims (20)

1.一种用于生成由车辆的感知系统检测到的对象的表示的方法，该方法包括：
由一个或多个处理器从感知系统接收一组数据点，该组数据点中的数据点对应于在激光传感器的激光的扫描期间检测到的对象；
由一个或多个处理器检索识别车道的形状和位置以及车道的中心点的位置的地图信息；
由一个或多个处理器基于该组数据点选择中心点的代表点；
由一个或多个处理器基于代表点的位置确定第一位置；
由一个或多个处理器基于该组数据点确定第二位置；
由一个或多个处理器使用第一位置和第二位置，以便基于第一位置和第二位置的距离确定用于对象的表示的第三位置；
由一个或多个处理器使用第三位置生成对象的表示；以及
由一个或多个处理器在车辆的显示器上显示对象的表示。
2.如权利要求1所述的方法，其中，使用第一位置和第二位置，使得当所述距离是第一距离时，第一位置具有对第三位置的第一贡献，并且当所述距离是大于第一距离的第二距离时，第二位置具有对第三位置的第二贡献，第二贡献大于第一贡献。
3.如权利要求1所述的方法，其中，所述地图信息还包括识别车道的走向的走向信息，并且该方法还包括：
基于与代表点相关联的车道的走向确定第一朝向；
基于该组数据点确定第二朝向；以及
组合第一朝向和第二朝向，以便基于所述距离确定用于对象的表示的第三朝向，并且其中，使用第三位置生成对象的表示。
4.如权利要求3所述的方法，其中，使用第一朝向和第二朝向，使得当所述距离是第一距离时，第一朝向具有对第三朝向的第一贡献，并且当所述距离是大于第一距离的第二距离时，第二朝向具有对第三位置的第二贡献，第二贡献大于第一贡献。
5.如权利要求1所述的方法，还包括：
基于与代表点相关联的车道的宽度确定第一宽度；
基于该组数据点确定第二宽度；以及
组合第一宽度和第二宽度，以便基于所述距离确定用于对象的表示的第三宽度，并且其中，使用第三宽度生成对象的表示。
6.如权利要求5所述的方法，其中，组合第一宽度和第二宽度，使得当所述距离是第一距离时，第一宽度具有对第三宽度的第一贡献，并且当所述距离是大于第一距离的第二距离时，第二宽度具有对第三宽度的第二贡献，第二贡献大于第一贡献。
7.如权利要求1所述的方法，还包括：
在接收该组数据点之前，接收与在所述激光的扫描之前的第一激光扫描期间检测到的对象相对应的更早的一组数据点；以及
基于所述更早的一组数据点确定长度，并且
其中，进一步基于所述长度生成对象的表示。
8.如权利要求7所述的方法，其中，进一步基于与从所述激光的角度看的所述长度相对应的所述对象的侧面的角宽度确定所述长度。
9.如权利要求8所述的方法，其中，进一步基于所述角宽度是否小于最小阈值角宽度值来确定所述长度。
10.一种用于生成由车辆的感知系统检测到的对象的表示的系统，该系统包括：
一个或多个处理器，被配置为：
从感知系统接收一组数据点，该组数据点中的数据点对应于在激光传感器的激光的扫描期间检测到的对象；
检索识别车道的形状和位置以及车道的中心点的位置的地图信息；
基于该组数据点选择中心点的代表点；
基于代表点的位置确定第一位置；
基于该组数据点确定第二位置；
使用第一位置和第二位置，以便基于第一位置和第二位置的距离确定用于对象的表示的第三位置；
使用第三位置生成对象的表示；以及
在车辆的显示器上显示对象的表示。
11.如权利要求10所述的系统，还包括车辆。
12.如权利要求10所述的系统，其中，使用第一位置和第二位置，使得当所述距离是第一距离时，第一位置具有对第三位置的第一贡献，并且当所述距离是大于第一距离的第二距离时，第二位置具有对第三位置的第二贡献，第二贡献大于第一贡献。
13.如权利要求10所述的系统，其中，所述地图信息还包括识别车道的走向的走向信息，并且所述一个或多个处理器还被配置为：
基于与代表点相关联的车道的走向确定第一朝向；
基于该组数据点确定第二朝向；以及
组合第一朝向和第二朝向，以便基于所述距离确定用于对象的表示的第三朝向，并且其中，使用第三位置生成对象的表示。
14.如权利要求13所述的系统，其中，使用第一朝向和第二朝向，使得当所述距离是第一距离时，第一朝向具有对第三朝向的第一贡献，并且当所述距离是大于第一距离的第二距离时，第二朝向具有对第三朝向的第二贡献，第二贡献大于第一贡献。
15.如权利要求10所述的系统，其中，所述一个或多个处理器还被配置为：
基于与代表点相关联的车道的宽度确定第一宽度；
基于该组数据点确定第二宽度；以及
组合第一宽度和第二宽度，以便基于所述距离确定用于对象的表示的第三宽度，并且其中，使用第三宽度生成对象的表示。
16.如权利要求15所述的系统，其中，组合第一宽度和第二宽度，使得当所述距离是第一距离时，第一宽度具有对第三宽度的第一贡献，并且当所述距离是大于第一距离的第二距离时，第二宽度具有对第三宽度的第二贡献，第二贡献大于第一贡献。
17.如权利要求10所述的系统，其中，所述一个或多个处理器还被配置为：
在接收该组数据点之前，接收与在所述激光的扫描之前的第一激光扫描期间检测到的对象相对应的更早的一组数据点；
基于所述更早的一组数据点确定长度，并且
其中，进一步基于所述长度生成对象的表示。
18.一种用于生成由车辆的感知系统检测到的对象的表示的方法，该方法包括：
由一个或多个处理器从感知系统接收一组数据点，该组数据点中的数据点对应于在激光传感器的激光的扫描期间检测到的对象；
从该组数据点确定对象的位置；
访问识别交通车道的中心点的地图信息，以识别最接近该位置的交通车道的中心点；
基于所识别的中心点与对象的位置之间的距离确定用于对象的表示的位置；以及
由一个或多个处理器基于用于对象的表示的位置在车辆的显示器上显示对象的表示。
19.如权利要求18所述的方法，其中，所述地图信息还包括识别车道的走向的走向信息，并且所述方法还包括：
基于该组数据点确定对象的朝向；以及
基于对象的朝向以及所识别的中心点与对象的位置之间的距离来确定用于对象的表示的朝向，并且
其中，显示所述表示进一步基于用于所述表示的朝向。
20.如权利要求18所述的方法，还包括：
基于该组数据点确定对象的宽度；以及
基于对象的宽度以及所识别的中心点与对象的位置之间的距离确定用于对象的表示的宽度，并且
其中，显示所述表示进一步基于用于所述表示的宽度。
CN201780070410.5A 2016-11-14 2017-11-08 生成由车辆的感知系统检测的对象的表示的方法和系统 Active CN109952491B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/350,473 US11112237B2 (en) 2016-11-14 2016-11-14 Using map information to smooth objects generated from sensor data
US15/350,473 2016-11-14
PCT/US2017/060554 WO2018089435A2 (en) 2016-11-14 2017-11-08 Using map information to smooth objects generated from sensor data

Publications (2)

Publication Number Publication Date
CN109952491A true CN109952491A (zh) 2019-06-28
CN109952491B CN109952491B (zh) 2023-05-12

Family

ID=60473643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780070410.5A Active CN109952491B (zh) 2016-11-14 2017-11-08 生成由车辆的感知系统检测的对象的表示的方法和系统

Country Status (6)

Country Link
US (2) US11112237B2 (zh)
EP (2) EP3839438A3 (zh)
JP (1) JP6839269B2 (zh)
KR (1) KR102210140B1 (zh)
CN (1) CN109952491B (zh)
WO (1) WO2018089435A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113126612A (zh) * 2019-12-27 2021-07-16 动态Ad有限责任公司 支持自主运载工具导航的对象跟踪

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10262234B2 (en) * 2017-04-24 2019-04-16 Baidu Usa Llc Automatically collecting training data for object recognition with 3D lidar and localization
JP6845117B2 (ja) * 2017-10-18 2021-03-17 株式会社Ｓｏｋｅｎ 移動物体認識装置
DE102018209607A1 (de) * 2018-06-14 2019-12-19 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bestimmen einer Position eines Kraftfahrzeugs
EP3692339B1 (en) * 2018-12-26 2022-02-09 Baidu.com Times Technology (Beijing) Co., Ltd. Polynomial-fit based reference line smoothing method for high speed planning of autonomous driving vehicles
US10769948B2 (en) * 2018-12-27 2020-09-08 Industrial Technology Research Institute Parking spot detection system and method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101641610A (zh) * 2007-02-21 2010-02-03 电子地图北美公司 用于包含绝对及相对坐标的车辆导航及领航的系统及方法
DE102009020300A1 (de) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung von zumindest teilweise automatisch erkannter Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung
JP2011186727A (ja) * 2010-03-08 2011-09-22 Toa Corp 監視装置、及びプログラム
US20140375816A1 (en) * 2012-02-02 2014-12-25 Daimler Ag Vehicle Display Device with Movement Compensation
CN105324287A (zh) * 2013-04-11 2016-02-10 谷歌公司 使用车载传感器检测天气条件的方法和系统

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU641315B2 (en) * 1991-04-11 1993-09-16 Honda Giken Kogyo Kabushiki Kaisha System for detecting the position of moving body
CA2140164A1 (en) * 1994-01-27 1995-07-28 Kenneth R. Robertson System and method for computer cursor control
US5793310A (en) * 1994-02-04 1998-08-11 Nissan Motor Co., Ltd. Portable or vehicular navigating apparatus and method capable of displaying bird's eye view
JP3545839B2 (ja) * 1995-06-09 2004-07-21 株式会社ザナヴィ・インフォマティクス 現在位置算出装置
US5964822A (en) * 1997-08-27 1999-10-12 Delco Electronics Corp. Automatic sensor azimuth alignment
EP1126245B1 (en) * 2000-02-14 2006-05-10 Matsushita Electric Industrial Co., Ltd. Device and method for changing map information
JP3877127B2 (ja) 2000-06-15 2007-02-07 マツダ株式会社 車両用表示装置
US20050149251A1 (en) * 2000-07-18 2005-07-07 University Of Minnesota Real time high accuracy geospatial database for onboard intelligent vehicle applications
US6549846B1 (en) 2000-11-21 2003-04-15 Trimble Navigation Limited Accurate vehicle navigation
JP2003281699A (ja) 2002-03-25 2003-10-03 Nissan Motor Co Ltd 走路上反射物の物体種類判定方法
US6888622B2 (en) * 2002-03-12 2005-05-03 Nissan Motor Co., Ltd. Method for determining object type of reflective object on track
JP3738762B2 (ja) 2003-02-06 2006-01-25 日産自動車株式会社 車両用走行制御装置
JP2005145187A (ja) 2003-11-13 2005-06-09 Nissan Motor Co Ltd 車両用走行制御装置
US8890951B2 (en) * 2008-04-24 2014-11-18 GM Global Technology Operations LLC Clear path detection with patch smoothing approach
US8055445B2 (en) 2008-09-24 2011-11-08 Delphi Technologies, Inc. Probabilistic lane assignment method
JP5152677B2 (ja) * 2009-02-26 2013-02-27 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及びナビゲーション用プログラム
DE102009020328A1 (de) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung von unterschiedlich gut sichtbaren Objekten aus der Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung
US9013634B2 (en) * 2010-09-14 2015-04-21 Adobe Systems Incorporated Methods and apparatus for video completion
EP2450865B1 (de) * 2010-11-04 2013-01-23 Kapsch TrafficCom AG Mobile Kontrollvorrichtungen und -verfahren für Fahrzeuge
US20130141520A1 (en) * 2011-12-02 2013-06-06 GM Global Technology Operations LLC Lane tracking system
US20130197736A1 (en) 2012-01-30 2013-08-01 Google Inc. Vehicle control based on perception uncertainty
US9495806B2 (en) * 2012-03-29 2016-11-15 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
JP6096626B2 (ja) * 2013-09-20 2017-03-15 株式会社東芝 計測支援装置、方法及びプログラム
TWI503560B (zh) 2013-12-25 2015-10-11 財團法人工業技術研究院 移動車輛定位校正方法與裝置
US9098754B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
JP5991340B2 (ja) 2014-04-28 2016-09-14 トヨタ自動車株式会社 運転支援装置
US9959624B2 (en) * 2014-12-22 2018-05-01 Volkswagen Ag Early detection of turning condition identification using perception technology
KR101750876B1 (ko) * 2015-05-28 2017-06-26 엘지전자 주식회사 차량용 디스플레이 장치 및 차량
US9734455B2 (en) * 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9987983B2 (en) * 2016-02-11 2018-06-05 GM Global Technology Operations LLC Parking assist system for a vehicle and method of using the same
JP6606472B2 (ja) * 2016-07-04 2019-11-13 株式会社Ｓｏｋｅｎ 走路形状認識装置、走路形状認識方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101641610A (zh) * 2007-02-21 2010-02-03 电子地图北美公司 用于包含绝对及相对坐标的车辆导航及领航的系统及方法
DE102009020300A1 (de) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung von zumindest teilweise automatisch erkannter Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung
JP2011186727A (ja) * 2010-03-08 2011-09-22 Toa Corp 監視装置、及びプログラム
US20140375816A1 (en) * 2012-02-02 2014-12-25 Daimler Ag Vehicle Display Device with Movement Compensation
CN105324287A (zh) * 2013-04-11 2016-02-10 谷歌公司 使用车载传感器检测天气条件的方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113126612A (zh) * 2019-12-27 2021-07-16 动态Ad有限责任公司 支持自主运载工具导航的对象跟踪

Also Published As

Publication number Publication date
CN109952491B (zh) 2023-05-12
EP3839438A2 (en) 2021-06-23
KR102210140B1 (ko) 2021-02-02
US11112237B2 (en) 2021-09-07
KR20190067851A (ko) 2019-06-17
US20210356257A1 (en) 2021-11-18
JP2020502609A (ja) 2020-01-23
JP6839269B2 (ja) 2021-03-03
EP3538846A2 (en) 2019-09-18
US20180135972A1 (en) 2018-05-17
WO2018089435A3 (en) 2018-06-28
WO2018089435A2 (en) 2018-05-17
EP3839438A3 (en) 2021-10-20
EP3538846B1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
US20220332215A1 (en) Apparatuses, systems, and methods for increasing safety in personal mobility vehicle operation
US10551207B2 (en) Autonomous vehicle sensor data and map integration
CN109952491A (zh) 使用地图信息平滑从传感器数据生成的对象
CN110036425A (zh) 用于自动驾驶车辆的动态路由
CN109890677A (zh) 规划自动驾驶车辆的停止位置
CN106537271B (zh) 自主车辆的交通信号响应
CN110782657A (zh) 使用自动驾驶车辆的子系统进行警车巡逻
CN109562760A (zh) 对于自主车辆测试预测
US11657318B2 (en) Assessing ride quality for autonomous vehicles
US10633003B1 (en) Method, apparatus, and computer readable medium for verifying a safe vehicle operation via a portable device
US11893524B2 (en) Service area maps for autonomous vehicles
US11820255B2 (en) Predictive regenerative braking
CN110023141A (zh) 用于在车辆转弯时调整虚拟相机的朝向的方法和系统
KR20210048575A (ko) 정지된 자율주행 차량들에 의해 야기되는 주변 도로 사용자들에 대한 불편을 감소시키는 것
US11391587B1 (en) Assessing the impact of blockages on autonomous vehicle services
US11080975B2 (en) Theft proof techniques for autonomous driving vehicles used for transporting goods
US11537128B2 (en) Detecting and responding to processions for autonomous vehicles
US20230031130A1 (en) Open door reconstruction for sensor simulation
US20230017550A1 (en) Real time event triggered feedback for autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant