CN111661046B - 确定对象的未来行为和航向的方法 - Google Patents

确定对象的未来行为和航向的方法 Download PDF

Info

Publication number
CN111661046B
CN111661046B CN202010429065.3A CN202010429065A CN111661046B CN 111661046 B CN111661046 B CN 111661046B CN 202010429065 A CN202010429065 A CN 202010429065A CN 111661046 B CN111661046 B CN 111661046B
Authority
CN
China
Prior art keywords
sensor data
vehicle
wheel
heading
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010429065.3A
Other languages
English (en)
Other versions
CN111661046A (zh
Inventor
J-S.R.古特曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Priority to CN202010429065.3A priority Critical patent/CN111661046B/zh
Publication of CN111661046A publication Critical patent/CN111661046A/zh
Application granted granted Critical
Publication of CN111661046B publication Critical patent/CN111661046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Navigation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

该技术涉及确定对象的未来航向。为了这样做，可以接收传感器数据，该传感器数据包括识别表示车辆的环境中的对象的边界框(420)的信息和与该对象相对应的传感器数据点的位置。基于边界框(420)的维度，可以识别与对象的车轮相对应的区域(610)。然后，可以通过将该区域(610)内的传感器数据点拟合到平面(710)，基于具有该区域(610)内的位置的传感器数据点来估计车轮的定向。然后，该估计可以用于确定对象的未来航向。

Description

确定对象的未来行为和航向的方法
本申请是申请日为2018年01月31日、申请号为“201880011176.3”、发明名称为“使用车轮定向确定未来航向”的发明专利申请的分案申请。
相关申请的交叉引用
本申请是2017年2月10日提交的美国专利申请第15/429，275号的延续，其公开内容通过引用结合于此。
技术领域
本公开涉及一种确定对象的未来航向的方法、用于预测对象将进入车辆的轨迹的系统和非暂时性计算机可读记录介质。
背景技术
自动车辆(诸如不需要人类驾驶员的车辆)可以用来帮助将乘客或物品从一个位置运送到另一个位置。这种车辆可以在完全自动的模式下操作，在该模式中乘客可以提供一些初始输入(诸如接车点(pickup)或目的地位置)，并且车辆操纵自身到那个位置。
这种车辆通常配备有各种类型的传感器，以便检测周围的对象。例如，自动车辆可以包括激光、声纳、雷达、相机和扫描和记录来自车辆周围的数据的其他设备。来自这些设备中的一个或多个的传感器数据可用于检测对象及其各个特性(位置、形状、航向(heading)、速度等)。在许多情况下，这样的系统现在能够例如使用线索(诸如对象尺寸、形状、速度、位置等)来识别对象的类型。这些特性可用于预测对象在未来的一段短暂时间内可能会做什么，这可用于控制车辆以避开这些对象。因此，检测、识别和预测是自动车辆安全操作的关键功能。
发明内容
本公开的各方面提供了一种确定对象的未来航向的方法。该方法包括：由一个或多个处理器接收传感器数据，该传感器数据包括识别车辆的环境中的对象的信息和与该对象相对应的传感器数据点；由该一个或多个处理器基于传感器数据识别与该对象的车轮的预期的位置相对应的区域；由该一个或多个处理器基于具有该区域内的位置的传感器数据点来估计车轮的定向(orientation)；和由该一个或多个处理器基于该估计来确定该对象的未来航向。
在一个示例中，估计定向包括：将具有该区域内的位置的传感器数据点中的任一个拟合到第一平面。在该示例中，传感器数据还包括界定与该对象相对应的数据点的边界框，并且估计定向包括：确定该边界框的一侧的第二平面和该第一平面之间的角度差。此外，估计车轮的定向进一步基于具有在该边界框外和该区域内的位置的传感器数据点。在另一个示例中，识别该区域进一步基于在一段时间内确定的对象的先前估计轨迹。在该示例中，识别该区域进一步基于该对象的类型。在另一个示例中，该方法还包括：基于未来航向生成通知；和向车辆的乘客提供指示对象正朝着车辆移动的通知。在该示例中，通知请求乘客控制车辆的转向、加速和减速中的一个或多个。在另一个示例中，该方法还包括：使用未来航向来以自动驾驶模式控制车辆。在另一个示例中，识别该区域进一步基于车轮位置的模型。在该示例中，传感器数据还包括：界定与该对象相对应的数据点的边界框，并且识别该区域还包括：将该边界框的维度输入到该模型中。此外或者可替换地，该模型基于固定的车轮半径。在另一个示例中，该方法还包括：接收对象的图像和分析该图像以识别可能的车轮位置，并且其中识别该区域进一步基于可能的车轮位置。
本公开的另一方面提供了一种用于预测对象将进入车辆的轨迹的系统。该系统包括一个或多个处理器，该一个或多个处理器被配置为：接收传感器数据，该传感器数据包括识别车辆的环境中的对象的信息和与该对象相对应的传感器数据点；基于传感器数据识别与该对象的车轮的预期的位置相对应的区域；基于具有该区域内的位置的传感器数据点来估计车轮的定向；和基于该估计来确定该对象的未来航向。
在一个示例中，该一个或多个处理器还被配置为通过将具有该区域内的位置的传感器数据点中的任一个拟合到第一平面来估计定向。在另一示例中，该传感器数据还包括界定与该对象相对应的数据点的边界框，并且该一个或多个处理器进一步被配置为通过确定该边界框的一侧的第二平面和该第一平面之间的角度差来估计定向。在另一示例中，该一个或多个处理器还被配置为：基于未来航向生成通知，和向车辆的乘客提供指示对象正朝着车辆移动的通知。在另一个示例中，该一个或多个处理器进一步被配置成使用未来航向来以自动驾驶模式控制车辆。在另一个示例中，该系统还包括车辆。
本公开的另一方面提供了一种其上存储指令的非暂时性计算机可读记录介质。该指令当由一个或多个处理器运行时，使得一个或多个处理器执行用于预测对象将进入车辆的轨迹的方法。该方法包括：接收传感器数据，该传感器数据包括识别车辆的环境中的对象的信息和与该对象相对应的传感器数据点；基于传感器数据识别与该对象的车轮的预期的位置相对应的区域；基于具有该区域内的位置的传感器数据点来估计车轮的定向；和基于该估计来确定该对象的未来航向。
附图说明
图1是根据本公开各方面的示例车辆的功能图。
图2A-2D是根据本公开各方面的车辆的示例外部视图。
图3是根据本公开各方面的道路和车辆的视图。
图4是根据本公开各方面的数据和车辆的视图。
图5A和5B是根据本公开的边界框的示例视图。
图6A和6B是根据本公开的边界框和与车轮的估计的位置相对应的区域的示例视图。
图7是根据本公开的边界框、与车轮的估计的位置相对应的区域、和估计平面的示例。
图8是根据本公开各方面的数据和车辆的另一视图。
图9是根据本公开各方面的流程图。
具体实施方式
概述
该技术涉及预测对象的未来轨迹，并使用这个信息为自动车辆做出驾驶决策。对于具有车轮的某些类型的对象(诸如车辆或自行车)，原始传感器信息可用于识别对象的前轮(包括对象的轮胎、轮辋(或轮毂盖)或两者)的相对定向。例如，在客车中，轮胎可能大到足以被检测到，但是对于自行车来说，轮胎可能相当薄并且更难以检测到。然后，这可以用于确定对象的未来轨迹，例如，通过将关于对象的过去轨迹或速度的信息与车轮的定向相结合。
感知系统和/或车辆的计算设备可以使用对象的先前观察来预测对象的未来轨迹。例如，对象的速度、定向/航向、位置、状态(即转向信号等)、先前估计的轨迹可用于预测对象未来可能会在的一系列的位置和时间。总的来说，这些位置和时间可以形成对象在未来的一段短暂时间内的轨迹。
车辆的感知系统还可以识别与对象相对应的传感器数据点的位置。这个信息可以通过传感器数据的分段来提供。分段是标记传感器数据的过程，使得计算设备知道哪些传感器数据点(或视觉像素)对应于对象。在一些情况下，传感器数据可以被分段成表示对象的估计维度的边界框。此外，感知系统可以提供识别对象周围的传感器数据点的信息，但是不通过分段与对象具体相关联。感知系统还可以识别和提供对象的特性，诸如对象的位置、定向、尺寸、形状、类型、方向和移动速度等。
使用边界框的尺寸和/或对象的维度，车辆的计算设备可以估计与对象的车轮的位置相对应的区域。为了估计对象的车轮(前轮或后轮)的位置，车辆的计算系统可以访问识别对于不同车辆尺寸或者在某些情况下甚至不同车辆类型的预期的车轮位置的信息。使用前轮的示例，通常，除非对象正朝车辆的传感器行进，否则将仅有一个前轮对传感器是可见的，因此该前轮相对于边界框的位置可以基于对象的航向(例如，根据对象的过去轨迹)和预期的车轮位置(使用边界框的尺寸和/或对象的维度来识别)的组合来估计。
然后可以分析该区域内的数据点，以识别该区域内的点的平均定向。例如，可以使用简单的平面拟合算法将数据点拟合到平面。该平面和边界框的一侧的平面之间的差异可以被估计为车辆的车轮的定向。
当然，该区域内数据点的数量将取决于对象的前轮和车辆的传感器之间的相对位置、距离和角度。在这点上，对象离车辆越近并且车轮与车辆的传感器越垂直，可能从车轮表面接收的传感器数据点就越多并且估计可能越准确。
该估计可以用作对象的未来路径的曲率或对象的偏航率的指示。例如，结合未来车轮定向和对象的速度，可以确定对象的轨迹。预测的航向或轨迹然后可用于为车辆做出驾驶决策。
这里描述的特征允许车辆的计算设备估计对象的车轮的定向。这可以允许车辆的计算设备甚至在对象开始改变航向之前预测对象航向的改变。通过这样做，车辆的计算设备可以更好地预测对象的未来路径或轨迹，并且从而做出关于如何控制车辆的更好的决策。
示例系统
如图1所示，根据本公开的一个方面的车辆100包括各种组件。虽然本公开的某些方面对于具体类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于汽车、卡车、摩托车、公共汽车、休旅车等。车辆可以具有一个或多个计算设备，诸如包含一个或多个处理器120、存储器130和通常存在于通用计算设备中的其他组件的计算设备110。
存储器130存储可由一个或多个处理器120访问的信息，包括可由处理器120运行或以其他方式使用的指令132和数据134。存储器130可以是能够存储处理器可访问的信息的任何类型，包括计算设备可读介质，或存储可以借助于电子设备读取的数据的其他介质，诸如硬盘驱动器、存储器卡、ROM(read only memory，只读存储器)、RAM(random accessmemory，随机存取存储器)、DVD(digital video disk，数字化视频光盘)或其他光盘，以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。
指令132可以是由处理器直接地(诸如机器代码)或间接地(例如脚本)运行的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这点上，术语“指令”和“程序”在这里可以互换使用。指令可以以目标代码格式存储，以供处理器直接处理，或者以任何其他计算设备语言存储，包括按需解释或预先编译的独立源代码模块的脚本或集合。指令的功能、方法和例行程序将在下面更详细地解释。
处理器120可以根据指令132检索、存储或修改数据134。例如，尽管所要求保护的主题不受任何特定数据结构的限制，但是数据可以作为具有多个不同字段和记录、XML文档或平面文件的表存储在计算设备寄存器、关系数据库中。数据也可以以任何计算设备可读格式格式化。
一个或多个处理器120可以是任何常规处理器，诸如商业上可获得的CPU。可替换地，一个或多个处理器可以是专用设备，例如ASIC(application specific integratedcircuit，专用集成电路)或其他基于硬件的处理器。尽管图1功能性地示出了处理器、存储器和计算设备110的其他元件在同一块内，但是本领域普通技术人员将理解，处理器、计算设备或存储器实际上可以包括多个处理器、计算设备或存储器，这些处理器、计算设备或存储器可以存储在相同的物理外壳内，也可以不存储在相同的物理外壳内。例如，存储器可以是位于不同于计算设备110的外壳的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以并行操作或不并行操作的处理器或计算设备或存储器的集合的引用。
计算设备110可以包括通常与计算设备结合使用的所有组件，诸如上述处理器和存储器，以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕的监视器或可操作来显示信息的任何其他电子设备)。在该示例中，车辆包括内部电子显示器152以及一个或多个扬声器154，以提供信息或视听体验。在这点上，内部电子显示器152可以位于车辆100的车厢内，并且可以被计算设备110用来向车辆100内的乘客提供信息。
计算设备110还可以包括一个或多个无线网络连接156，以促进与其他计算设备的通信，诸如下面详细描述的客户端计算设备和服务器计算设备。无线网络连接可以包括短程通信协议，诸如蓝牙、蓝牙低能量(low energy，LE)、蜂窝连接，以及各种配置和协议，包括互联网、万维网、内部网、虚拟专用网、广域网、局域网、使用一个或多个公司专有的通信协议的专用网、以太网、WiFi和HTTP(hyper text transfer protocol，超文本传输协议)，以及上述的各种组合。
在一个示例中，计算设备110可以是并入车辆100中的自动驾驶计算系统。自动驾驶计算系统能够与车辆的各种组件通信。例如，回到图1，计算设备110可以与车辆100的各种系统通信，诸如减速系统160、加速系统162、转向系统164、信号系统166、路线系统168、定位系统170和感知系统172，以及动力系统174(例如燃气或柴油发动机或电动机)，以便根据存储器130的指令132控制车辆100的运动、速度等。同样，尽管这些系统被示为在计算设备110的外部，但是实际上，这些系统也可以被并入到计算设备110中，同样作为用于控制车辆100的自动驾驶计算系统。
作为示例，计算设备110可以与减速系统160和加速系统162交互，以便控制车辆的速度。类似地，计算设备110可以使用转向系统164来控制车辆100的方向。例如，如果车辆100被配置用于道路上，诸如汽车或卡车，转向系统可以包括控制车轮的角度以转动车辆的组件。计算设备110可以使用信号系统166以向其他驾驶员或车辆发出车辆的意图的信号，例如，在需要时通过点亮转向信号灯或刹车灯。
计算设备110可以使用路线系统168来确定并遵循到某个位置的路线。在这点上，路线系统168和/或数据134可以存储详细的地图信息，例如，识别道路、车道线、交叉口、人行横道、速度限制、交通信号、建筑物、标志、实时交通信息、植被或其他这样的对象和信息的高度详细的地图。换句话说，该详细地图信息可以定义车辆预期的环境的几何结构，包括道路以及这些道路的速度限制(法定速度限制)。此外，该地图信息可以包括关于交通控制的信息(诸如交通信号灯、停车标志、让行标志等)，该关于交通控制的信息与从感知系统172接收的实时信息相结合，可被计算设备110用来确定在给定位置哪个交通方向具有通行权。
地图信息不需要完全基于图像(例如光栅)。例如，地图信息可以包括一个或多个道路图或信息(诸如道路、车道、交叉口以及这些特征之间的连接)的图形网络。每个特征可以存储为图形数据，并且可以与诸如地理位置以及它是否链接到其他相关特征(例如，停车标志可以链接到道路和交叉口等)的信息相关联。在一些示例中，相关联的数据可以包括道路图的基于网格的索引，以允许某些道路图特征的有效查找。
计算设备110可以使用定位系统170来确定车辆在地图或地球上的相对或绝对位置。例如，定位系统170可以包括GPS(Global Position System，全球定位系统)接收器，以确定设备的纬度、经度和/或高度位置。诸如基于激光的定位系统、惯性辅助GPS或基于相机的定位的其他位置系统也可以用于识别车辆的位置。车辆的位置可以包括绝对地理位置(诸如纬度、经度和高度)，以及相对位置信息，诸如相对于紧邻其周围的其他汽车的位置，这通常可以比绝对地理位置更精确地确定。
定位系统170还可以包括与计算设备110通信的其他设备，诸如加速度计、陀螺仪或其他方向/速度检测设备，以确定车辆的方向和速度或其变化。仅作为示例，加速设备可以确定其相对于重力方向或与其垂直的平面的俯仰、偏航或滚动(或其变化)。该设备还可以跟踪速度的增加或减少以及这种变化的方向。如本文所述，设备提供的位置和定向数据可以自动提供给计算设备110、其他计算设备以及前述设备的组合。
感知系统172还包括用于检测车辆外部的对象(诸如其他车辆、道路中的障碍物、交通信号、标志、树木等)的一个或多个组件。例如，感知系统172可以包括激光器、声纳、雷达、相机和/或记录可以由计算设备110处理的数据的任何其他检测设备。在车辆是小型客车(诸如汽车)的情况下，汽车可以包括安装在车顶或其他方便位置的激光器或其他传感器。例如，车辆的感知系统可以使用各种传感器(诸如LIDAR(激光雷达)、声纳、雷达、相机等)来检测对象及其特性，诸如位置、定向、尺寸、形状、类型、移动的方向和速度等。来自传感器的原始数据和/或前述特性可以被量化或排列成描述性函数或向量，以供计算设备110处理。如下文进一步详细讨论的，计算设备110可以使用定位系统170来确定车辆的位置以及使用感知系统172以在需要安全到达该位置时检测和响应对象。
图2A-2D是车辆100的外部视图的示例，车辆100具有宽度维度W1(如图2C所示)、长度维度L1(如图2A和2D所示)和高度维度H1(如图2A和2D所示)。可以看出，车辆100包括典型车辆的许多特征，诸如前灯202、挡风玻璃203、尾灯/转向信号灯204、后挡风玻璃205、门206、侧视镜208、车轮210和转向信号灯/停车灯212。前灯202、尾灯/转向信号灯204和转向信号灯/停车灯212可以与信号系统166相关联。灯条207也可以与信号系统166相关联。
车辆100还包括感知系统172的传感器。例如，外壳214可以包括用于具有260度或更窄视场的一个或多个激光设备和一个或多个相机设备。外壳216和218可以包括例如一个或多个雷达和/或声纳设备。感知系统172的设备也可以并入到典型的车辆组件中，诸如尾灯/转向信号灯204和/或侧视镜208。这些雷达、相机和激光设备中的每一个都可以与处理组件相关联，该处理组件处理来自作为感知系统172的一部分的这些设备的数据，并且向计算设备110提供传感器数据。
计算设备110可以通过控制各种组件来控制车辆的方向和速度。举例来说，计算设备110可以使用来自详细地图信息、感知系统172和路线系统168的数据完全自动地将车辆导航到目的地位置。为了操纵车辆，计算设备110可以使车辆加速(例如，通过由加速系统162增加提供给动力系统174的燃料或其他能量)、减速(例如，通过由减速系统160减少供应给动力系统174的燃料、换档和/或通过施加制动)、改变方向(例如，通过由转向系统164转动车辆100的前轮或后轮)，并发出这种改变的信号(例如，通过点亮信号系统166的转向信号)。因此，加速系统162和减速系统160可以是动力传动系统的一部分，该动力传动系统包括车辆的动力系统174和车辆的车轮之间的各种组件。同样，通过控制这些系统，计算设备110也可以控制车辆的传动系统，以便自动操纵车辆。
感知系统172和/或计算设备110可以使用对象的先前观察来预测对象的未来轨迹。例如，对象的速度、定向/航向、位置、状态(即转向信号等)可以用于预测对象未来可能在的一系列位置和时间。总的来说，这些位置和时间可以在未来的一段短暂时间内形成对象的轨迹。
如下文进一步讨论的，感知系统172还可以提供表示与对象相对应的传感器数据点的位置的边界框。此外，感知系统可以提供识别该边界框内的所有点的信息，并且在一些情况下，还可以提供识别该边界框周围区域内的任何点的信息。
数据134可以包括数据库、表格或其他组织系统，其将边界框尺寸或维度与预期的车轮位置相关联。例如，不同的边界框可以容纳不同尺寸的对象，这些对象可以具有位于不同相对位置的车轮。例如，对于一侧的给定边界框的尺寸(例如8英尺乘5英尺)，预期的车轮位置可以从与对象的前端相对应的边界框的角测量并且具有预定的尺寸，例如从该角向后2英尺4英寸。在一些情况下，预期的车轮位置可以通过具体的对象类型进一步描绘，诸如，例如，对象是否是公共汽车、卡车、客车、摩托车、自行车等。这些实际维度可以基于在不同尺寸和/或类型的对象上实际观察到的车轮位置。
示例方法
除了上述和附图中所示的操作之外，现在将描述各种操作。应当理解，以下操作不必按照下面描述的精确次序执行。相反，可以以不同的次序或同时处理各种步骤，并且也可以添加或省略步骤。
计算设备110可以启动必要的系统来控制车辆自动地沿着路线到达目的地位置。例如，路线系统168可以使用数据134的地图信息来确定到达目的地位置的路径或路线，该路径或路线遵循地图信息的一组车道段。计算设备110然后可以如上所述沿着朝向目的地的路线自动地(或以自动驾驶模式)操纵车辆。
为了遵循路线，计算设备110可以周期性地确定车辆的轨迹。例如，使用路线作为基线，计算设备可以生成车辆的一组未来位置，以便既遵循使用详细地图信息的路线，又避免与诸如行人、骑自行车者和行人的其他道路用户的密切交互。计算设备可以使用这些未来位置来引导车辆的转向、加速和/或减速，以便遵循该路线。
例如，图3是由计算设备110沿着道路300操纵的车辆100的示例视图。在该示例中，道路包括北行车道310、312和南行车道314、316。车辆100正在北行车道310上行驶，并且正在接近另一车辆320。车辆320正在北行车道312上行驶。
当车辆100正在行驶时，感知系统172的传感器可以检测车辆环境中的各种对象。图4是由感知系统172检测到的对象和与图3中道路300的视图相对应的车辆100的位置的表示。在该示例中，感知系统172可以检测定义车道410、412、414和416的车道线401、402、403、404、405和406。在该示例中，车道410、412、414和416可以分别对应于北行车道310和312以及南行车道314和316中的每一个。此外，感知系统172还检测到车辆320。
对于每个对象，车辆的感知系统可以使用分段来识别与对象相对应的具体的传感器数据点。这还可以包括确定表示该对象的维度的边界框。这可以使用任何已知的分段和/或边界框技术来实现。例如，如图4所示，车辆320的位置由边界框420表示，边界框420包括感知系统172已经确定为与对象相对应的数据点。图5A描绘了如图4所示的车辆100和边界框420的相对位置的俯视图。箭头510代表车辆320的当前或观察到的航向，并且因此代表边界框420的航向。图5B描绘了边界框420的侧视图。箭头520和522标识图5A和5B的边界框420的对应侧。距离X、Y和Z代表边界框420的宽度、长度和高度。
感知系统172可以向计算设备110提供所识别对象的特性以及识别这些对象的传感器数据点(以及在一些情况下，边界框)的分段信息。例如，这些特性可以包括位置(GPS坐标和/或相对于车辆)、尺寸、形状、维度、速度、定向、海拔(elevation)、类型(客车、牵引车、自行车、行人)、路面特征(车道线等)，以及其他。此外，感知系统可以提供识别对象周围的传感器数据点的信息，但是不根据分段与对象具体相关联。
感知系统和/或车辆的计算设备可以使用对象的先前观察来预测对象的未来轨迹。例如，对象的速度、定向/航向、位置、状态(即转向信号等)、或者先前估计的轨迹可以用于预测对象未来可能会在的一系列位置和时间。总的来说，这些位置和时间可以在未来的一段短暂时间内形成对象的轨迹。关于图3和4的示例，感知系统172可以基于对象在北行车道312或车道412中的先前行驶历史，预测车辆320或边界框420的对象可以继续沿着北行车道312或车道412向北行驶。
当对象的特性被确定为对应于具有车轮的对象时，例如因为它位于车道上并且具有至少特定的尺寸、具有特定的形状、以特定的速度移动、具有特定的类型等，计算设备可以尝试估计对象的车轮的位置。同样，该确定可以由计算设备110基于从感知系统172接收的特性来做出。
使用边界框的维度和/或对象的尺寸，车辆的计算设备可以估计与对象的车轮的位置相对应的区域。为了估计对象的车轮(前轮或后轮)的位置，车辆的计算系统可以访问数据134的预期的车轮位置，并且识别与边界框420的维度(X、Y和Z)相对应的预期的车轮位置。预期的车轮位置可以对应于2D区域(诸如圆盘)或3D体积(诸如，具有与位于相对于边界框的特定角一定距离处的车轮的宽度相对应的高度的圆柱体)。因此，给定边界框的维度，计算设备110可以识别对象(车辆320)的车轮可能位于其中的边界框的区域(2D或3D)。
除了边界框的维度之外，来自感知系统172的其他特性可以用于从数据134中识别预期的车轮位置。例如，如果边界框420被识别为对应于客车，则从数据134识别的预期的车轮位置可以不同于边界框420被识别为对应于公共汽车或自行车的情况。
如图6A和6B所示，表示边界框420的前轮的预期的车轮位置的区域610是圆柱体。圆柱体的一个圆形端面612位于边界框的表面S(车轮的位置对应的边界框的一侧，如图6B所示)之外或离边界框的表面S很短的距离，诸如2或3英寸或更多或更少。在这点上，表示可能已经有意或无意地被排除在边界框420之外但是仍然在边界框的短距离(诸如2或3英寸或更多或更少)内的对象或表面的其他数据点也可以被包括在分析中，以避免丢失仍然可能对应于车轮的点。
同样，在该示例中，箭头620表示边界框420的航向，并且因此对应于图5的箭头510。在该示例中，该区域可以被识别为半径为R且高度为H的圆柱体，其位于距与对感知系统172可见的边界框的角相对应的角C的距离D处，并且根据车辆的航向最靠近车辆的前方。仅作为示例，对于小型客车，R可以是12.25英寸，H可以是7.3英寸，并且D可以是32.413英寸。
使用前轮的示例，通常，除非对象正朝向车辆的传感器行进，否则只有一个前轮对传感器可见，因此该前轮相对于边界框的位置可以基于对象的航向(例如从对象的过去轨迹)和预期的车轮位置(使用边界框的尺寸和/或对象的维度来识别)的组合来估计。换句话说，假设车辆通常向前行驶，表示边界框420的航向(根据对象的过去轨迹确定)的箭头620(对应于箭头510)可以用于识别车辆的前方。
然后可以分析该区域内的数据点，以识别该区域内的点的平均定向。例如，可以使用简单的平面拟合算法将数据点拟合到平面。图7是描绘区域610的边界框420的俯视图。在这个示例中，区域610内的点被拟合到平面710。平面710和边界框的表面S的平面之间的角度差，或角度θ，可以被估计为边界框420的对象(这里是车辆320)的前轮的定向。
对象过去的轨迹也可以用来了解或估计前轮的定向。例如，当将数据点拟合到平面时，对象的过去航向可以用作种子(起始角度)。可替换地，可以单独使用过去的轨迹来确定车轮的定向。
当然，该区域内数据点的数量将取决于对象前轮和车辆传感器之间的相对位置、距离和角度。在这点上，对象离车辆越近，并且车轮与车辆传感器越垂直，可能从车轮表面接收到的传感器数据点就越多，并且估计也就越准确。
该估计可用作车辆的未来路径的曲率(定向随距离的变化)或偏航率(定向随时间的变化)的指示。例如，结合未来车轮定向和对象的速度，可以确定对象的轨迹。在这点上，该估计可用于确定对象的未来航向、对象的未来轨迹，或者可替换地，增加或减少对象的不同未来轨迹的可能性或置信度。
预测的航向或轨迹然后可用于为车辆做出驾驶决策。例如，当对象位于相邻车道时，预测的航向可以是对象将朝向车辆的车道移动的非常提前的指示。作为示例，转向图8，其中角度θ相对较大，诸如15度或更大或更小，这可以指示边界框420的未来航向或未来轨迹810，该边界框420将对象(车辆320)带向北行车道410。在该示例中，边界框的未来轨迹(未来时间段内的航向和速度)可以指示对象将在预定时间段内进入车道410，例如1秒或更多或更少。作为响应，车辆的计算设备可以控制车辆适当地加速、减速或者甚至改变车道，以避免碰撞或者甚至离车辆320太近。在极端情况下，诸如对象看起来不稳定地改变航向，车辆的计算设备甚至可以通知车辆的乘客控制转向、制动或加速，如果可能的话。可替换地，如果车辆正被控制在半自动或手动模式，则可以提供通知以帮助车辆的驾驶员。
可替换地，可以通过使用车轮位置的模型来确定区域。在这点上，边界框的尺寸、位置和形状以及数据点的位置可以用于拟合模型，该模型使用车轮的简单固定车轮半径或者取决于边界框的尺寸的更复杂的车轮半径来提供车轮的定向。在这个示例中，可以使用机器学习来训练模型，其中操作者标记和识别与车轮相对应的数据点作为模型的训练数据的正面示例。
上述特征可以涉及提供距离、方向和强度信息的激光数据点。在这点上，强度信息可以被用作指示车轮的外轮辋的提示(即，黑色车轮将具有低反射率并因此具有低强度)。在这点上，可以使用对象的一个或多个图像来估计区域，并且此后，可以使用激光数据来识别车轮的定向。
类似地，如果感知系统提供相机数据，则道路表面上方和边界框的位置附近的黑色对象的位置可以用作指示车轮的位置的提示。在一些情况下，仅图像就足以标识可能的车轮位置，并且甚至估计车辆车轮的定向，例如，使用来自车轮的两个或多个图像的3D模型估计和/或针对图像使用激光数据生成的3D模型数据。根据图像计算车轮定向的另一种方法可以包括确定图像中车轮宽度和高度的纵横比。该纵横比可以对应于车轮定向。将此与从其他传感器数据、图像的图像处理或车轮的多个图像中确定的对象的定向相结合，可以计算相对车轮定向。
估计车轮定向甚至可以对于非常缓慢移动甚至停止的车辆很有用。例如，准备移出停车位的对象可能已经使对象的车轮倾斜以移出停车位，但是实际上可能还没有开始移动。因此，使用车轮的角度来估计对象的未来轨迹更有可能准确地预测对象的轨迹，否则，计算设备可能预测对象将保持静止。在另一个示例中，给定的车辆停在相邻的车道上可能试图改变到车辆100的车道上，例如，因为该汽车的驾驶员已经改变了主意并且想要改变他的路线并使用该车道。在这种情况下，车轮相对于给定车辆的一侧的广角可以提供比给定车辆的先前轨迹更多的关于给定车辆将要去哪里的信息。这种静态车道变换或低速车道变换是前轮明显倾斜的常见情况。
图9是示例流程图900，该流程可以由车辆的一个或多个计算设备的一个或多个处理器执行，诸如车辆100的计算设备110，以便确定对象的未来航向。在该示例中，在框910，接收传感器数据，该传感器数据包括识别表示车辆的环境中的对象的边界框的信息和与该对象相对应的传感器数据点的位置。在框920，基于边界框的尺寸识别与对象的前轮相对应的区域。在框930，基于在具有该区域内的位置的传感器数据点来确定车轮的定向。在框940，基于估计来确定对象的未来航向。
除非另有说明，否则前述替代示例不是相互排斥的，而是可以以各种组合来实施，以实现独特的优势。由于可以在不脱离权利要求限定的主题的情况下利用上述特征的这些和其他变化和组合，实施例的前述描述应该通过说明的方式而不是通过由权利要求限定的主题的限制的方式来进行。此外，本文描述的示例的提供以及措辞为“诸如”、“包括”等的条款不应被解释为将权利要求的主题限制于具体示例；相反，这些示例旨在仅示出许多可能实施例中的一个。此外，不同附图中相同的附图标记可以标识相同或相似的元件。

Claims (39)

1.一种确定对象的未来行为的方法，该方法包括：
由一个或多个处理器接收传感器数据，该传感器数据包括识别车辆环境中的对象的信息以及与该对象相对应的传感器数据；
由所述一个或多个处理器使用基于车轮位置的模型来识别传感器数据中与对象的车轮的预期位置相对应的区域内的一部分，其中，识别所述区域还基于所述对象的类型；以及
由所述一个或多个处理器基于传感器数据的所述一部分确定对象的未来行为。
2.根据权利要求1所述的方法，其中，所述传感器数据包括激光传感器数据点。
3.根据权利要求1所述的方法，其中，所述传感器数据包括照相机图像。
4.根据权利要求1所述的方法，其中，识别所述传感器数据的所述部分包括使用来自两个或更多个图像的三维模型估计。
5.根据权利要求1所述的方法，其中，识别所述传感器数据的所述部分包括使用三维模型估计，所述三维模型估计使用激光数据。
6.根据权利要求5所述的方法，其中，所述对象的类型包括乘用车、牵引拖车、公共汽车或自行车中的一种。
7.根据权利要求1所述的方法，其中，所述未来行为包括所述对象改变车道。
8.如权利要求1所述的方法，其中，所述未来行为包括所述对象从静止位置移动。
9.根据权利要求1所述的方法，其中，所述车轮的预期位置对应于二维区域。
10.根据权利要求1所述的方法，其中，所述传感器数据的所述部分包括所述对象的边界框之外的传感器数据。
11.根据权利要求1所述的方法，其中，确定所述未来行为包括确定所述车轮的宽度和高度的纵横比。
12.根据权利要求11所述的方法，其中确定所述未来行为包括使用所述纵横比来确定所述车轮的方向。
13.根据权利要求1所述的方法，其中，确定所述未来行为包括：确定所述车轮相对于所述车辆的侧面的角度。
14.根据权利要求1所述的方法，其中，识别所述传感器数据的所述部分包括使用所述传感器数据的强度信息来识别所述车轮的外轮缘。
15.如权利要求1所述的方法，其中，识别所述传感器数据的所述部分包括使用照相机图像来确定所述车轮预期被定位的区域，并且确定所述未来行为包括基于该区域使用激光数据点来确定所述车轮的方向。
16.根据权利要求1所述的方法，还包括基于所述未来行为以自动驾驶模式控制车辆。
17.根据权利要求16所述的方法，其中，控制所述车辆包括改变车道。
18.根据权利要求16所述的方法，其中，控制车辆包括增加车辆的速度。
19.根据权利要求1所述的方法，还包括：基于所述未来行为，向所述车辆的乘坐者发送通知，以控制所述车辆的转向、加速或减速中的一个或多个。
20.一种确定对象的未来航向的方法，该方法包括：
由一个或多个处理器接收传感器数据，该传感器数据包括识别车辆环境中的对象的信息以及与该对象相对应的传感器数据点；
由所述一个或多个处理器使用基于车轮位置的模型来识别传感器数据中与对象的车轮的预期位置相对应的区域，其中，识别所述区域还基于所述对象的类型；以及
由所述一个或多个处理器基于该区域内的传感器数据的传感器数据点确定对象的航向。
21.根据权利要求20所述的方法，其中，确定航向包括将所述区域内具有位置的任何传感器数据点拟合到第一平面。
22.如权利要求21所述的方法，其中，确定航向包括确定代表对象的边界框侧面的第二平面与所述第一平面之间的角度差。
23.根据权利要求22所述的方法，其中，所述边界框表示所述对象的估计尺寸。
24.根据权利要求20所述的方法，其中，所述车轮的预期位置对应于二维区域。
25.根据权利要求20所述的方法，其中，所述车轮的预期位置对应于三维体积，所述车轮的宽度位于相对于代表所述对象的边界框的角部的距离处。
26.根据权利要求20所述的方法，其中，所述模型对应于所述对象的类型。
27.根据权利要求26所述的方法，其中，所述对象的类型包括乘用车、牵引拖车、公共汽车或自行车。
28.根据权利要求20所述的方法，其中，在所述区域内的传感器数据的传感器数据点包括在表示所述对象的边界框之外的传感器数据点。
29.根据权利要求20所述的方法，其中，所述航向是所述对象的预测的未来航向。
30.如权利要求20所述的方法，其中，还包括基于所确定的航向来预测所述对象将要改变车道。
31.一种确定对象的未来航向的方法，该方法包括：
由一个或多个处理器接收传感器数据，该传感器数据包括识别车辆环境中的对象的信息以及与该对象相对应的传感器数据点；
由所述一个或多个处理器使用基于车轮位置的模型来识别传感器数据中与对象的车轮的预期位置相对应的区域，其中，识别所述区域还基于所述对象的类型；以及
由所述一个或多个处理器预测对象将基于所述区域内传感器数据的传感器数据点改变车道。
32.根据权利要求31所述的方法，还包括：基于所述区域内的所述传感器数据的所述传感器数据点来确定所述对象的航向，并且其中，进一步基于所述航向来预测所述对象将要改变车道。
33.根据权利要求32所述的方法，其中，确定航向包括将所述区域内具有位置的任何传感器数据点拟合到第一平面。
34.根据权利要求33所述的方法，其中确定航向包括确定代表所述对象的边界框的侧面的第二平面与所述第一平面之间的角度差。
35.根据权利要求34所述的方法，其中，所述边界框表示所述对象的估计尺寸。
36.根据权利要求32所述的方法，其中，所述航向是所述对象的预测的未来航向。
37.根据权利要求31所述的方法，其中，所述模型对应于所述对象的类型。
38.根据权利要求37所述的方法，其中，所述对象的类型包括乘用车、牵引拖车、公共汽车或自行车。
39.根据权利要求31所述的方法，其中，在所述区域内的传感器数据的传感器数据点包括在表示所述对象的边界框之外的传感器数据点。
CN202010429065.3A 2017-02-10 2018-01-31 确定对象的未来行为和航向的方法 Active CN111661046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010429065.3A CN111661046B (zh) 2017-02-10 2018-01-31 确定对象的未来行为和航向的方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/429,275 2017-02-10
US15/429,275 US10077047B2 (en) 2017-02-10 2017-02-10 Using wheel orientation to determine future heading
CN202010429065.3A CN111661046B (zh) 2017-02-10 2018-01-31 确定对象的未来行为和航向的方法
PCT/US2018/016133 WO2018148075A1 (en) 2017-02-10 2018-01-31 Using wheel orientation to determine future heading
CN201880011176.3A CN110291415B (zh) 2017-02-10 2018-01-31 使用车轮定向确定未来航向

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880011176.3A Division CN110291415B (zh) 2017-02-10 2018-01-31 使用车轮定向确定未来航向

Publications (2)

Publication Number Publication Date
CN111661046A CN111661046A (zh) 2020-09-15
CN111661046B true CN111661046B (zh) 2024-03-26

Family

ID=61193152

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880011176.3A Active CN110291415B (zh) 2017-02-10 2018-01-31 使用车轮定向确定未来航向
CN202010429065.3A Active CN111661046B (zh) 2017-02-10 2018-01-31 确定对象的未来行为和航向的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880011176.3A Active CN110291415B (zh) 2017-02-10 2018-01-31 使用车轮定向确定未来航向

Country Status (9)

Country Link
US (6) US10077047B2 (zh)
EP (1) EP3580581B1 (zh)
JP (2) JP6671554B1 (zh)
KR (2) KR102252895B1 (zh)
CN (2) CN110291415B (zh)
AU (2) AU2018219084B2 (zh)
CA (1) CA3052438A1 (zh)
SG (1) SG11201906693UA (zh)
WO (1) WO2018148075A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10077047B2 (en) 2017-02-10 2018-09-18 Waymo Llc Using wheel orientation to determine future heading
KR102288893B1 (ko) * 2017-06-19 2021-08-13 현대자동차주식회사 자율주행차량의 수동주행모드 제어방법
US20180374341A1 (en) * 2017-06-27 2018-12-27 GM Global Technology Operations LLC Systems and methods for predicting traffic patterns in an autonomous vehicle
US11077845B2 (en) * 2018-03-20 2021-08-03 Mobileye Vision Technologies Ltd. Systems and methods for navigating a vehicle
US10816992B2 (en) * 2018-04-17 2020-10-27 Baidu Usa Llc Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs)
US10788834B2 (en) * 2018-07-06 2020-09-29 Toyota Research Institute, Inc. System, method, and computer-readable medium for autonomous vehicle response to bicycles at intersections
US10793150B2 (en) * 2018-09-14 2020-10-06 Wipro Limited Method and device for controlling vehicle based on neighboring vehicles
US11693423B2 (en) 2018-12-19 2023-07-04 Waymo Llc Model for excluding vehicle from sensor field of view
CN109808492B (zh) * 2019-02-15 2020-06-02 辽宁工业大学 一种车载雷达预警装置及预警方法
US20200284912A1 (en) * 2019-03-08 2020-09-10 GM Global Technology Operations LLC Adaptive sensor sytem for vehicle and method of operating the same
CN110210363B (zh) * 2019-05-27 2022-09-06 中国科学技术大学 一种基于车载图像的目标车辆压线检测方法
CN110299028B (zh) * 2019-07-31 2022-06-14 深圳市捷顺科技实业股份有限公司 一种停车越线检测的方法、装置、设备以及可读存储介质
US11077850B2 (en) * 2019-09-06 2021-08-03 Lyft, Inc. Systems and methods for determining individualized driving behaviors of vehicles
KR20210057312A (ko) * 2019-11-12 2021-05-21 현대자동차주식회사 근거리 컷인 타겟 판단 장치 및 그의 판단 방법
CN111381249B (zh) * 2020-03-30 2021-11-23 北京经纬恒润科技股份有限公司 一种障碍物航向角计算方法及装置
CN111873991B (zh) * 2020-07-22 2022-04-08 中国第一汽车股份有限公司 一种车辆转向的控制方法、装置、终端及存储介质
US11210533B1 (en) 2020-08-09 2021-12-28 Phantom AI, Inc. Method of predicting trajectory of vehicle
CN111951552B (zh) * 2020-08-11 2021-10-15 腾讯科技（深圳）有限公司 一种自动驾驶中风险管理的方法以及相关装置
KR20220064457A (ko) 2020-11-11 2022-05-19 현대자동차주식회사 자율주행 차량의 조종 제어권 전환 제어방법
CN112622934B (zh) * 2020-12-25 2022-06-24 上海商汤临港智能科技有限公司 一种参考轨迹点和参考轨迹生成方法、驾驶方法以及车辆
KR20220095819A (ko) * 2020-12-30 2022-07-07 현대자동차주식회사 라이다 센서를 이용한 객체 추적 방법 및 장치, 및 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
FR3118746A1 (fr) * 2021-01-14 2022-07-15 Psa Automobiles Sa Procédé et dispositif d’aide à la conduite d’un véhicule circulant sur une chaussée comprenant plusieurs voies de circulation
US20220388546A1 (en) * 2021-06-04 2022-12-08 Waymo Llc Predicting a Parking or Pullover Spot Vacancy for an Autonomous Vehicle Pickup
CN113978457B (zh) * 2021-12-24 2022-05-03 深圳佑驾创新科技有限公司 一种碰撞风险预测方法及装置
US20240246574A1 (en) * 2023-01-23 2024-07-25 Gm Cruise Holdings Llc Multimodal trajectory predictions based on geometric anchoring

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009096361A (ja) * 2007-10-17 2009-05-07 Toyota Motor Corp 車両走行支援装置
CN101443752A (zh) * 2005-01-13 2009-05-27 通用汽车公司 汽车后视镜的自动控制
CN104094177A (zh) * 2012-01-30 2014-10-08 谷歌公司 基于感知不确定性的车辆控制
WO2015197237A1 (en) * 2014-06-27 2015-12-30 Connaught Electronics Ltd. Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
CN106054191A (zh) * 2015-04-06 2016-10-26 通用汽车环球科技运作有限责任公司 车轮检测和其在物体跟踪以及传感器配准中的应用
US9495602B2 (en) * 2013-10-23 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Image and map-based detection of vehicles at intersections

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099686A (ja) * 1998-09-17 2000-04-07 Nippon Telegr & Teleph Corp <Ntt> パターン認識及び車両認識方法及びそのプログラムを記録した記録媒体
JP2004227293A (ja) * 2003-01-23 2004-08-12 Nissan Motor Co Ltd 側方車両検出装置
US8289321B2 (en) 2004-03-17 2012-10-16 Sony Corporation Method and apparatus for detecting plane, and robot apparatus having apparatus for detecting plane
JP2006160194A (ja) * 2004-12-10 2006-06-22 Alpine Electronics Inc 駐車支援装置
JP4678247B2 (ja) * 2005-06-23 2011-04-27 マツダ株式会社 車両の制御装置
JP2007140938A (ja) * 2005-11-18 2007-06-07 Nissan Motor Co Ltd 駐停車判定装置及び駐停車判定方法
JP5272448B2 (ja) 2008-03-04 2013-08-28 日産自動車株式会社 車両用運転支援装置及び車両用運転支援方法
WO2012046297A1 (ja) 2010-10-05 2012-04-12 トヨタ自動車株式会社 衝突判定装置
US8736463B1 (en) 2012-01-30 2014-05-27 Google Inc. Object bounding box estimation
JP5897920B2 (ja) * 2012-02-14 2016-04-06 スタンレー電気株式会社 接近車両検出装置、車両用前照灯の点灯制御装置、車両用前照灯システム
DE102012022150A1 (de) 2012-11-10 2014-05-15 Audi Ag Kraftfahrzeug und Verfahren zum Betrieb eines Kraftfahrzeugs
US10037689B2 (en) * 2015-03-24 2018-07-31 Donald Warren Taylor Apparatus and system to manage monitored vehicular flow rate
CA2905690C (en) * 2013-04-01 2017-10-24 Su-Min Park Automatic driving system for vehicle
US9244462B2 (en) 2014-05-30 2016-01-26 Nissan North America, Inc. Vehicle trajectory planning for autonomous vehicles
EP2990290B1 (en) 2014-09-01 2019-11-06 Honda Research Institute Europe GmbH Method and system for post-collision manoeuvre planning and vehicle equipped with such system
US10013508B2 (en) * 2014-10-07 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Joint probabilistic modeling and inference of intersection structure
US9483059B2 (en) * 2014-11-26 2016-11-01 Toyota Motor Engineering & Manufacturing North America, Inc. Method to gain driver's attention for autonomous vehicle
JP6392152B2 (ja) * 2015-03-24 2018-09-19 パナソニック株式会社 レーダ装置および走行車両検知方法
US9802568B1 (en) * 2015-09-04 2017-10-31 Waymo Llc Interlocking vehicle airbags
US9849852B1 (en) * 2015-09-04 2017-12-26 Waymo Llc Intelligent deployment of safety mechanisms for autonomous vehicles
US9817397B1 (en) * 2015-09-04 2017-11-14 Waymo Llc Active safety mechanisms for an autonomous vehicle
US9862364B2 (en) * 2015-12-04 2018-01-09 Waymo Llc Collision mitigated braking for autonomous vehicles
US10077047B2 (en) 2017-02-10 2018-09-18 Waymo Llc Using wheel orientation to determine future heading

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101443752A (zh) * 2005-01-13 2009-05-27 通用汽车公司 汽车后视镜的自动控制
JP2009096361A (ja) * 2007-10-17 2009-05-07 Toyota Motor Corp 車両走行支援装置
CN104094177A (zh) * 2012-01-30 2014-10-08 谷歌公司 基于感知不确定性的车辆控制
US9495602B2 (en) * 2013-10-23 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Image and map-based detection of vehicles at intersections
WO2015197237A1 (en) * 2014-06-27 2015-12-30 Connaught Electronics Ltd. Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
CN106054191A (zh) * 2015-04-06 2016-10-26 通用汽车环球科技运作有限责任公司 车轮检测和其在物体跟踪以及传感器配准中的应用

Also Published As

Publication number Publication date
AU2020202527A1 (en) 2020-05-07
KR20190100407A (ko) 2019-08-28
US20190023269A1 (en) 2019-01-24
AU2018219084B2 (en) 2020-02-06
US11851055B2 (en) 2023-12-26
CN110291415A (zh) 2019-09-27
WO2018148075A1 (en) 2018-08-16
US20220212662A1 (en) 2022-07-07
KR102252895B1 (ko) 2021-05-18
EP3580581B1 (en) 2022-04-27
JP6934544B2 (ja) 2021-09-15
US11299150B2 (en) 2022-04-12
AU2020202527B2 (en) 2021-07-15
US20180229724A1 (en) 2018-08-16
US20190315352A1 (en) 2019-10-17
AU2018219084A1 (en) 2019-09-19
US10611373B2 (en) 2020-04-07
JP2020109681A (ja) 2020-07-16
CN110291415B (zh) 2020-06-16
JP6671554B1 (ja) 2020-03-25
EP3580581A1 (en) 2019-12-18
CA3052438A1 (en) 2018-08-16
CN111661046A (zh) 2020-09-15
US20240083425A1 (en) 2024-03-14
KR20200097815A (ko) 2020-08-19
US20200247405A1 (en) 2020-08-06
JP2020514874A (ja) 2020-05-21
US10077047B2 (en) 2018-09-18
US10336325B2 (en) 2019-07-02
SG11201906693UA (en) 2019-08-27
KR102144416B1 (ko) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111661046B (zh) 确定对象的未来行为和航向的方法
US11989666B1 (en) Predicting trajectory intersection by another road user
US11938967B2 (en) Preparing autonomous vehicles for turns
JP2015506310A (ja) 認知の不確実性に基づく車両コントロール
US20220366175A1 (en) Long-range object detection, localization, tracking and classification for autonomous vehicles
US10685566B1 (en) Differentiating roadways by elevation
US11590978B1 (en) Assessing perception of sensor using known mapped objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant