CN112124318A - 自主驾驶车辆的障碍物感知校准系统 - Google Patents

自主驾驶车辆的障碍物感知校准系统 Download PDF

Info

Publication number
CN112124318A
CN112124318A CN202011024418.8A CN202011024418A CN112124318A CN 112124318 A CN112124318 A CN 112124318A CN 202011024418 A CN202011024418 A CN 202011024418A CN 112124318 A CN112124318 A CN 112124318A
Authority
CN
China
Prior art keywords
obstacle
vehicle
image
perceived
vertical acceleration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011024418.8A
Other languages
English (en)
Other versions
CN112124318B (zh
Inventor
姜舒
罗琦
缪景皓
胡江滔
王京傲
许嘉轩
王禹
周金运
何润欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Original Assignee
Baidu com Times Technology Beijing Co Ltd
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu com Times Technology Beijing Co Ltd, Baidu USA LLC filed Critical Baidu com Times Technology Beijing Co Ltd
Publication of CN112124318A publication Critical patent/CN112124318A/zh
Application granted granted Critical
Publication of CN112124318B publication Critical patent/CN112124318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/06—Combustion engines, Gas turbines
    • B60W2710/0605—Throttle position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)

Abstract

在一个实施例中，自主驾驶车辆的自主驾驶系统感知沿着路径行驶的自主驾驶车辆周围的驾驶环境，包括感知驾驶环境中的障碍物。系统基于从自主驾驶车辆上的传感器获得的传感器数据检测自主驾驶车辆的垂直加速度。系统还基于自主驾驶车辆的垂直加速度校准感知的障碍物。系统然后根据经校准的感知的障碍物，控制自主驾驶车辆导航通过驾驶环境。

Description

自主驾驶车辆的障碍物感知校准系统
技术领域
本公开的实施例一般涉及操作自主车辆。更特别地，本公开的实施例涉及校准用于自主驾驶车辆的障碍物感知系统。
背景技术
以自主模式(例如，无人驾驶)操作的车辆可以减轻乘员(特别是驾驶员)免于一些与驾驶有关的责任。当在自主模式下操作时，车辆可以使用车载传感器导航到各种位置，从而允许车辆以最小的人机交互或者在没有任何乘客的一些情况下行驶。
运动规划和控制是自主驾驶中的关键操作，并且作为运动规划和控制的部分，当车辆沿着路径行驶时，车辆需要自主驾驶车辆周围的环境以安全地导航路径。然而，由于包括障碍物的周围环境的复杂性以及诸如LIDAR和相机的感知传感器的限制，难以获得对周围环境的准确感知。这种环境的感知取决于车辆上附加的传感器，诸如LIDAR和相机。由于附加的传感器的不准确性和周围环境的复杂性，诸如障碍物的环境可能具有变化的尺寸、形状和类型。感知的障碍物尺寸、形状甚至类型在时间帧之间变化。这种不确定性在随后的模块(诸如预测、规划和控制模块)中造成潜在的问题。
发明内容
本公开的一个方面提供了一种用于校准自主驾驶车辆的感知系统的计算机实现方法，方法包括：感知沿着路径行驶的自主驾驶车辆周围的驾驶环境，包括感知驾驶环境中的障碍物；基于从自主驾驶车辆上的传感器获得的传感器数据检测自主驾驶车辆的垂直加速度基于自主驾驶车辆的垂直加速度校准感知的障碍物；以及根据经校准的感知的障碍物，控制自主驾驶车辆导航通过驾驶环境。
本公开的另一个方面提供了一种非暂时性机器可读介质，具有存储在其中的指令，指令在由处理器执行时使所述处理器执行用于校准自主驾驶车辆的感知系统的方法，方法包括：感知沿着路径行驶的自主驾驶车辆周围的驾驶环境，包括感知驾驶环境中的障碍物；基于从自主驾驶车辆上的传感器获得的传感器数据检测自主驾驶车辆的垂直加速度基于自主驾驶车辆的垂直加速度校准感知的障碍物；以及根据经校准的感知的障碍物，控制自主驾驶车辆导航通过驾驶环境。
本公开的另一个方面提供了一种数据处理系统，包括：处理器；以及耦合到所述处理器以存储指令的存储器，所述指令在由所述处理器执行时使所述处理器执行用于校准自主驾驶车辆的感知系统的方法，方法包括：感知沿着路径行驶的自主驾驶车辆周围的驾驶环境，包括感知驾驶环境中的障碍物；基于从自主驾驶车辆上的传感器获得的传感器数据检测自主驾驶车辆的垂直加速度基于自主驾驶车辆的垂直加速度校准感知的障碍物；以及根据经校准的感知的障碍物，控制自主驾驶车辆导航通过驾驶环境。
本公开提供的自主驾驶车辆的障碍物感知校准系统能够基于自主驾驶车辆的垂直加速度校准感知的障碍物，进而控制自主驾驶车辆导航通过驾驶环境，克服了因附加的传感器的不准确性和周围环境的复杂性所造成的潜在问题。
附图说明
本公开的实施例通过示例的方式示出并且不限于附图中的图，在附图中相同的附图标记表示相似的元件。
图1是示出根据一个实施例的网络化系统的框图。
图2是示出根据一个实施例的自主车辆的示例的框图。
图3A-图3B是示出根据一个实施例的与自主车辆一起使用的感知和规划系统的示例的框图。
图4是根据一个实施例的校准用于自主驾驶车辆的障碍物感知系统的方法的流程图。
图5是示出根据一个实施例的接收车辆的垂直加速度作为输入的障碍物感知系统的框图。
图6A和图6B是根据一个实施例的由障碍物感知系统感知的障碍物的各种表示的图示。
图7A和图7B是根据一个实施例的由障碍物感知系统感知的障碍物的各种表示的图示。
图8是示出根据一个实施例的校准自主驾驶系统的感知的过程的示例的流程图。
具体实施方式
将参考以下讨论的细节描述本公开的各种实施例和方面，并且附图将示出各种实施例。以下描述和附图是本公开的说明并且不应被解释为限制本公开。描述了许多具体细节以提供对本公开的各种实施例的全面理解。然而，在某些情况下，为了提供对本公开的实施例的简要讨论，没有描述公知或常规的细节。
说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性可以包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语“在一个实施例中”不一定都指同一实施例。
根据一些实施例，代替向车辆添加更多的精密且昂贵的感知传感器，使用来自车辆本身的其他传感器(诸如IMU、GPS、轮胎压力传感器和动态悬挂系统传感器)以改进障碍物感知系统。根据一个方面，垂直方向(z方向)上的加速度可以由IMU或GPS测量，或者由轮胎压力传感器和悬挂传感器计算。该垂直加速度用作障碍物感知系统用于自动校正的额外输入。当选择特定的静态障碍物作为参考时，其它周围的障碍物的融合提供更准确的结果。例如，如果由障碍物感知系统将诸如汽车的障碍物感知为三角形形状，则垂直加速度将识别或验证缺失的顶点的相对移动，这又校正了感知结果。
根据一个实施例，自主驾驶车辆的自主驾驶系统感知沿着路径行驶的自主驾驶车辆周围的驾驶环境，包括感知驾驶环境中的障碍物。系统基于从自主驾驶车辆上的传感器获得的传感器数据检测自主驾驶车辆的垂直加速度。系统还基于自主驾驶车辆的垂直加速度校准感知的障碍物。系统然后根据经校准的感知的障碍物，控制自主驾驶车辆导航通过驾驶环境。
在一个实施例中，校准感知的障碍物包括基于经校准的感知的障碍物确定感知的障碍物的形状。自主驾驶车辆上的传感器包括惯性测量单元(IMU)、全球定位系统(GPS)、轮胎压力传感器或车辆悬挂传感器。感知障碍物包括使用光检测和测距(LIDAR)设备和相机检测障碍物。
在一个实施例中，校准感知的障碍物包括获得由自主驾驶车辆的第一传感器在第一时间点处捕获的第一图像，第一图像捕获障碍物的至少一部分，响应于检测垂直加速度确定第二时间点，以及基于第一图像和在第二时间点处捕获的第二图像校准障碍物，第二图像捕获障碍物的至少一部分。第一图像和所述第二图像由LIDAR设备或相机中的至少一个捕获，以及其中垂直加速度由IMU或GPS设备中的至少一个检测。第二图像包含第一图像缺少的障碍物的至少一个特征，并且其中第二图像的至少一个特征被用来补偿第一图像以确定障碍物的形状。第一图像表示障碍物的二维(2D)视图，以及第二图像包括表示第一图像缺少的障碍物深度的障碍物的额外边缘。
图1是示出根据本公开的一个实施例的自主车辆网络配置的框图。参考图1，网络配置100包括自主车辆101，自主车辆101可以通过网络102通信地连接到一个或多个服务器103-104。尽管示出一个自主车辆，但是多个自主车辆可以通过网络102彼此耦合和/或耦合到服务器103-104。网络102可以是任何类型有线或无线的网络，诸如局域网(LAN)、诸如因特网的广域网(WAN)、蜂窝网络、卫星网络、或其组合。服务器103-104可以是任何类型的服务器或服务器群集，诸如Web或云服务器、应用服务器、后端服务器或其组合。服务器103-104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器或位置服务器等。
自主车辆指的是可以被配置为处于自主模式的车辆，在自主模式中，车辆在驾驶员很少或没有输入的情况下导航通过环境。这种自主车辆可以包括具有一个或多个传感器的传感器系统，一个或多个传感器被配置为检测关于车辆在其中操作的环境的信息。车辆及其相关联的(一个或多个)控制器使用检测的信息导航通过环境。自主车辆101可以以手动模式、全自主模式或部分自主模式操作。
在一个实施例中，自主车辆101包括但不限于感知和规划系统110、车辆控制系统111、无线通信系统112、用户接口系统113、信息娱乐系统和传感器系统115。自主车辆101还可以包括在普通车辆中包括的某些常见组件，诸如引擎、车轮、转向盘、变速器等，这些组件可以被车辆控制系统111和/或感知和规划系统110使用各种通信信号和/或命令(诸如，例如加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等)控制。
组件110-115可以经由互连、总线、网络或其组合彼此通信地连接。例如，组件110-115可以经由控制器局域网(CAN)总线彼此通信地耦合。CAN总线是一种车辆总线标准，其被设计为允许微控制器和设备在没有主机的应用中彼此通信。它是基于消息的协议，最初被设计用于汽车内的多路电气布线，但是也用于许多其它情况中。
现在参考图2，在一个实施例中，传感器系统115包括但不限于一个或多个相机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光检测和测距(LIDAR)单元215。GPS系统212可以包括可操作以提供关于自主车辆的位置的信息的收发器。IMU单元213可以基于惯性加速度感测自主车辆的位置和朝向变化。雷达单元214可以表示使用无线电信号感测自主车辆的局部环境内的对象的系统。在一些实施例中，除了感测对象之外，雷达单元214可以额外地感测对象的速度和/或前进方向。LIDAR单元215可以使用激光感测自主车辆所处的环境中的对象。LIDAR单元215可以包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。相机211可以包括一个或多个设备以捕获自主车辆周围的环境的图像。相机211可以是静态相机和/或摄影机。相机可以是机械可移动的，例如通过将相机安装在旋转和/或倾斜的平台上。
传感器系统115还可以包括其它传感器，诸如声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器和音频传感器(例如麦克风)。音频传感器可以被配置为捕获来自自主车辆周围的环境的声音。转向传感器可以被配置为感测转向盘、车辆的车轮或其组合的转向角。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情况下，油门传感器和制动传感器可以集成为集成的油门/制动传感器。
在一个实施例中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称为加速单元)和制动单元203。转向单元201调节车辆的方向或前进方向。油门单元202控制电动机或引擎的速度，电动机或引擎的速度又控制车辆的速度和加速度。制动单元203通过提供摩擦力以使车辆的车轮或轮胎变慢来使车辆减速。注意，图2所示的组件可以以硬件、软件或其组合实现。
再次参考图1，无线通信系统112允许在自主车辆101和外部系统(诸如设备、传感器、其他车辆等)之间的通信。例如，无线通信系统112可以直接或经由通信网络与一个或多个设备(诸如通过网络102的服务器103-104)进行无线通信。无线通信系统112可以使用任何蜂窝通信网络或无线局域网(WLAN)，例如使用WiFi与另一组件或系统通信。无线通信系统112可以例如使用红外链路、蓝牙等直接与设备(例如，乘客的移动设备、显示设备、车辆101内的扬声器)通信。用户接口系统113可以是在车辆101内实现的外围设备的部分，包括例如键盘、触摸屏显示设备、麦克风和扬声器等。
自主车辆101的一些或所有功能可以由感知和规划系统110控制或管理，尤其是当在自主驾驶模式下操作时。感知和规划系统110包括必要的硬件(例如，(一个或多个)处理器、存储器、存储设备)和软件(例如，操作系统、规划和路由程序)，以从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理接收的信息，规划从起点到目的地点的路线或路径，然后基于规划和控制信息驾驶车辆101。可替换地，感知和规划系统110可以与车辆控制系统111集成。
例如，作为乘客的用户可以例如经由用户接口指定行程的起始位置和目的地。感知和规划系统110获得与行程有关的数据。例如，感知和规划系统110可以从MPOI服务器获得位置和路线信息，MPOI服务器可以是服务器103-104的一部分。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI。可替换地，这种位置和MPOI信息可本地缓存在感知和规划系统110的永久存储设备中。
当自主车辆101沿着路线移动时，感知和规划系统110还可以从交通信息系统或服务器(TIS)获得实时交通信息。注意，服务器103-104可以由第三方实体操作。可替换地，服务器103-104的功能可以与感知和规划系统110集成。基于实时交通信息、MPOI信息和位置信息，以及由传感器系统115检测或感测的实时局部环境数据(例如，障碍物、对象、附近车辆)，感知和规划系统110可以规划最佳路线，并且例如经由控制系统111根据规划路线驾驶车辆101，以安全且高效地到达指定目的地。
服务器103可以是数据分析系统，以执行用于各种客户端的数据分析服务。在一个实施例中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从各种车辆(自主车辆或者是由人类驾驶员驾驶的常规车辆)收集驾驶统计123。驾驶统计123包括指示发出的驾驶命令(例如，油门、制动、转向命令)和由车辆的传感器在不同时间点处捕获的车辆的响应(例如，速度、加速度、减速度、方向)的信息。驾驶统计123还可以包括描述在不同时间点处的驾驶环境的信息，诸如，例如路线(包括起始位置和目的地位置)、MPOI、道路状况、天气状况等。
基于驾驶统计123，机器学习引擎122出于各种目的生成或训练一组规则、算法和/或预测模型124。算法124可以包括用于基于诸如IMU和GPS传感器的特定传感器的传感器数据确定垂直加速度或尺寸的算法。然后，算法124可以被上载到ADV上，以便在自主驾驶期间被实时使用。
图3A和图3B是示出根据一个实施例的与自主车辆一起使用的感知和规划系统的示例的框图。系统300可以被实现为图1的自主车辆101的部分，包括但不限于感知和规划系统110、控制系统111和传感器系统115。参考图3A-图3B，感知和规划系统110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306和路由模块307。
模块301-307中的一些或全部可以以软件、硬件或其组合实现。例如，这些模块可以安装在永久存储设备352中，加载到存储器351中，以及由一个或多个处理器(未示出)执行。注意，这些模块中的一些或全部可以通信地连接到图2的车辆控制系统111的一些或全部模块或与图2的车辆控制系统111的一些或全部模块集成。模块301-307中的一些可以被集成在一起作为集成模块。
定位模块301确定自主车辆300的当前位置(例如，使用GPS单元212)并且管理与用户的行程或路线有关的任何数据。定位模块301(也称为地图和路线模块)管理与用户的行程或路线有关的任何数据。用户可以例如经由用户接口登录并指定行程的起始位置和目的地。定位模块301与自主车辆300的其他组件(诸如地图和路线信息311)通信，以获得与行程有关的数据。例如，定位模块301可以从位置服务器和地图与POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI，它们可作为地图和路线信息311的一部分被缓存。当自主车辆300沿着路线移动时，定位模块301还可以从交通信息系统或服务器获得实时交通信息。
基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息，由感知模块302确定对周围环境的感知。感知信息可以表示普通驾驶员将感知到的驾驶员正在驾驶的车辆周围的情况。感知可以包括车道配置、交通灯信号、例如以对象形式的另一车辆、行人、建筑物、人行横道或其它与交通有关的标志(例如，停止标志、让步标志)等的相对位置。车道配置包括描述一个或多个车道的信息，诸如，例如车道的形状(例如，直的或弯曲的)、车道的宽度、道路中的车道数量、单向或双向车道、合并或分离车道、驶出车道等。
感知模块302可以包括计算机视觉系统或计算机视觉系统的功能，以处理和分析由一个或多个相机捕获的图像，以便识别自主车辆的环境中的对象和/或特征。对象可以包括交通信号、车行道边界、其他车辆、行人和/或障碍物等。计算机视觉系统可使用对象识别算法、视频跟踪和其它计算机视觉技术。在一些实施例中，计算机视觉系统可以映射环境、跟踪对象、以及估计对象的速度等。感知模块302还可以基于由诸如雷达和/或LIDAR的其他传感器提供的其他传感器数据检测对象。
对于每个对象，预测模块303预测对象将在该环境下表现什么。鉴于一组地图/路线信息311和交通规则312，基于感知在该时间点处的驾驶环境的感知数据执行预测。例如，如果对象是在相反方向上的车辆并且当前驾驶环境包括十字路口，则预测模块303将预测车辆将可能直线向前移动还是转弯。如果感知数据指示交叉路口没有交通灯，则预测模块303可以预测车辆在进入交叉路口之前可能必须完全停止。如果感知数据指示车辆当前处于仅向左转弯的车道或仅向右转弯的车道，则预测模块303可预测车辆将更可能分别进行左转弯或右转弯。
对于每个对象，决策模块304作出关于如何处理该对象的决策。例如，对于特定对象(例如，在交叉路线中的另一车辆)以及描述该对象的元数据(例如，速度、方向、转向角)，决策模块304决定如何遇到该对象(例如，超车、让行、停止、通过)。决策模块304可以根据一组规则(诸如交通规则或驾驶规则312)作出这些决策，这组规则可以存储于永久存储设备352中。
路由模块307被配置为提供从起点到目的地点的一条或多条路线或路径。对于例如从用户接收到的从起始位置到目的地位置的给定行程，路由模块307获得路线和地图信息311并且确定从起始位置用以到达目的地位置的所有可能的路线或路径。路由模块307可以为其确定的从起始位置用以到达目的地位置的每条路线生成以地形图形式的参考线。参考线是指没有来自诸如其它车辆、障碍物或交通状况的其它的任何干扰的理想路线或路径。
也就是说，如果在道路上没有其它车辆、行人或障碍物，则ADV应该精确地或紧密地跟随参考线。然后，地形图被提供给决策模块304和/或规划模块305。决策模块304和/或规划模块305检查所有可能的路线，以鉴于由其它模块提供的其它数据(诸如来自定位模块301的交通状况、由感知模块302感知的驾驶环境和由预测模块303预测的交通状况)选择和修改最佳路线中的一条。取决于在时间点处的特定驾驶环境，用于控制ADV的实际路径或路线可以接近或不同于由路由模块307提供的参考线。
基于对于每个感知的对象的决策，规划模块305使用由路线模块307提供的参考线作为基础规划用于自主车辆的路径或路线以及驾驶参数(例如，距离、速度和/或转向角)。也就是说，对于给定对象，决策模块304决策对该对象做什么，而规划模块305确定如何做。例如，对于给定对象，决策模块304可以决策经过对象，而规划模块305可以确定是在对象的左侧还是右侧经过。规划和控制数据由规划模块305生成，包括描述车辆300在下一个移动周期(例如，下一个路线/路径段)中将如何移动的信息。例如，规划和控制数据可以指示车辆300以30英里每小时(mph)的速度移动10米，然后以25mph的速度改变到右车道。
基于规划和控制数据，控制模块306通过根据由规划和控制数据限定的路线或路径向车辆控制系统111发送适当的命令或信号控制和驾驶自主车辆。规划和控制数据包括足够的信息以沿着路径或路线在不同时间点处使用适当的车辆设置或驾驶参数(例如，油门、制动、转向命令)将车辆从路线或路径的第一点驾驶到第二点。
在一个实施例中，规划阶段在多个规划周期(也称为驾驶周期，诸如，例如在100毫秒(ms)的每个时间间隔内)内执行。对于每个规划周期或驾驶周期，将基于规划和控制数据发出一个或多个控制命令。也就是说，对于每100ms，规划模块305规划下一个路线段或路径段，例如包括目标位置和ADV到达目标位置所需的时间。可替换地，规划模块305还可以指定具体速度、方向和/或转向角等。在一个实施例中，规划模块305为下一预定的时间段(诸如5秒)规划路线段或路径段。对于每个规划周期，规划模块305基于在先前周期中规划的目标位置规划用于当前周期(例如，下一个5秒)的目标位置。然后控制模块306基于当前周期的规划和控制数据生成一个或多个控制命令(例如，油门、制动、转向控制命令)。
注意，决策模块304和规划模块305可以集成为集成模块。决策模块304/规划模块305可以包括导航系统或导航系统的功能，以确定用于自主车辆的驾驶路径。例如，导航系统可以确定一系列速度和定向的前进方向，以影响自主车辆沿着基本上避开感知的障碍物的路径的移动，同时大体上使自主车辆沿着通向最终目的地的基于车行道的路径前进。目的地可以根据经由用户接口系统113的用户输入设置。当自主车辆在操作时，导航系统可以动态地更新驾驶路径。导航系统可以并入来自GPS系统的数据和一个或多个地图，以便确定用于自主车辆的驾驶路径。
根据一个实施例，垂直加速度检测器308被配置为检测车辆的垂直加速度或垂直移动。垂直加速度检测器308可以被实现为感知模块302的一部分。垂直加速度检测器308可以耦合到能够检测车辆的垂直加速度或垂直移动的传感器，诸如，例如IMU、GPS、轮胎压力传感器和/或车辆悬挂传感器等。一旦检测到车辆的垂直加速度或垂直移动，感知模块302将基于车辆的垂直加速度或垂直移动感知障碍物，诸如障碍物的物理形状。
例如，感知模块302可以识别在对应于垂直加速度的时间点处捕获的图像(例如，当在不平坦的、向上弯曲的表面上驾驶时或在具有凸起的表面上驾驶时捕获的)，并且使用该图像来校准由在不同的时间点处捕获的另一图像捕获的障碍物(例如，当在平坦表面上驾驶时捕获的)。
图4是根据一个实施例的校准用于自主驾驶车辆的障碍物感知系统的方法400的流程图。方法400可以由处理逻辑执行，处理逻辑可以包括软件、硬件或其组合。例如，方法400可以由图3A中的一个或多个模块(例如，感知模块302)或图6中所示的数据处理系统执行。在一个实施例中，方法400可以作为离线仿真模式的部分被执行。
继续图4，方法400包括，在操作402处，感知沿着路径行驶的自主驾驶车辆周围的环境，包括感知环境中的障碍物，在操作404处，从自主驾驶车辆上的传感器获得自主驾驶车辆的垂直加速度，以及在操作406处，基于获得的自主驾驶车辆的垂直加速度校准障碍物感知系统。在一个实施例中，可以获得车辆的垂直位移，以基于获得的垂直位移校准障碍物感知。
图5是示出根据一个实施例的接收车辆的垂直加速度作为输入的障碍物感知系统的框图。障碍物感知系统504包括感知传感器，诸如可以分别对应于图2所示的相机211和LIDAR单元215的相机506和LIDAR 508。障碍物感知系统504还包括感知模块510，感知模块510可以对应于图3A中所示的感知模块302。障碍物感知系统540在车辆沿着路径行驶时感知自主驾驶车辆周围的环境，以及环境包括一个或多个障碍物502。
障碍物502可以包括诸如汽车、建筑物、自行车、摩托车、动物和行人的车辆。在图5中，示出一个障碍物502以简化对本发明的方面的解释。诸如汽车的障碍物可以被相机506和/或LIDAR 508感知，以及感知的障碍物可以被感知模块510获得。在一个实施例中，自主驾驶车辆的垂直加速度(z方向)被用作感知模块510的输入以自动校正感知的障碍物。车辆传感器512可以用于获得自主驾驶车辆在z方向上的垂直加速度。
例如，车辆上的惯性测量单元(IMU)可以用于测量和输出垂直加速度。可以使用诸如全球定位系统(GPS)、轮胎压力传感器或车辆悬挂传感器的其它非感知传感器获得垂直加速度。在轮胎压力传感器或车辆悬挂传感器的示例中，计算垂直加速度，而不是如IMU和GPS的情况下那样测量。垂直加速度(测量或计算的)作为额外输入被提供给障碍物感知系统504用于自动校正。在一个实施例中，自动校正包括使用z方向信息以验证、确认、或移除或校正由感知模块感知障碍物的误差。当选择特定的静态障碍物516作为参考时，其它周围的障碍物的融合提供感知的障碍物的更准确结果。例如，如果在z＝3m处静态障碍物的感知结果是三角形，而在z＝2m处静态障碍物的感知结果是立方形，则在z＝3m处感知结果可能是错误的。在另一示例中，如果由障碍物感知系统504将诸如汽车的障碍物感知为三角形形状，则垂直加速度将识别缺失的顶点的相对移动，这又校正感知结果。
图6A和图6B是根据一个实施例的由障碍物感知系统感知的障碍物的各种表示的图示。在图6A中，矩形框600表示诸如汽车的障碍物，并且在障碍物感知系统被模拟或测试时，由障碍物感知系统504向用户提供或显示这种矩形框600。矩形框600或其它合适的形状可以准确地表示感知的障碍物。然而，由于周围障碍物的复杂性，感知的障碍物(例如，汽车)可以不被感知为矩形框，而是被感知为图6B中所示的三角形框640。这种三角形框640缺少图6A的矩形框600中所示的顶点602和604，因此被感知为三角形框640，这不是诸如汽车的相同障碍物的准确感知结果。
例如，如果由障碍物感知系统504感知到诸如汽车的障碍物为三角形框640，则作为障碍物感知系统的额外输入提供的垂直加速度将识别缺失的一个或多个顶点的相对移动，这又校正感知结果。在一个实施例中，基于获得的自主驾驶车辆的垂直加速度校准障碍物感知系统包括，基于表示障碍物的预定义形状拒绝表示感知的障碍物的形状。被拒绝的形状可以是三角形框640，并且表示障碍物的预定义形状可以是矩形框600。
在另一示例中，如果感知模块感知到如图7A所示的二维(2D)形状的障碍物。车辆的垂直加速度可以帮助识别或确定如图7B所示的障碍物深度，其又确定三维(3D)形状中的实际形状。因此，垂直尺寸信息被使用以辅助障碍物的感知。
例如，当ADV正在道路的平坦表面上驾驶并感知到障碍物(例如，诸如停放的车辆或移动的车辆的障碍物)时，ADV的诸如相机或LIDAR的传感器捕获第一图像。但是由于ADV的传感器的安装位置，第一图像(例如，图7A)可以仅以2D视图捕获障碍物的侧视图。因此，ADV的自主驾驶系统可能无法准确地捕获障碍物的形状。随后，当ADV在不平坦的路面上驾驶时(诸如与平坦的表面相比跳起时)，由系统检测到垂直加速度(例如，车辆的跳跃运动)。同时，传感器(例如，相机、LIDAR)保持捕获驾驶环境的图像，包括当车辆向上跳跃时的第二图像(例如，图7B)。第二图像可以捕获关于障碍物的额外信息，诸如对象的上表面的至少一部分。这样的额外信息可以在确定障碍物的形状(例如，障碍物的深度)时补偿第一图像以完成障碍物的3D感知。
图8是示出根据一个实施例的校准自主驾驶系统的感知的过程的示例的流程图。过程800可以由可以包括软件、硬件或其组合的处理逻辑执行。参考图8，在框801处，处理逻辑感知沿着路径行驶的自主驾驶车辆周围的驾驶环境，包括感知驾驶环境中的障碍物。在框802处，基于从自主驾驶车辆上的传感器获得的传感器数据检测自主驾驶车辆的垂直加速度。在框803处，处理逻辑基于自主驾驶车辆的垂直加速度校准感知的障碍物。在框804处，处理逻辑根据经校准的感知的障碍物，控制自主驾驶车辆导航通过驾驶环境。
注意，如上所示和所述的一些或所有组件可以用软件、硬件或其组合实现。例如，这些组件可以被实现为安装并存储在永久存储设备中的软件，软件可以由处理器(未示出)加载并执行在存储器中以执行贯穿本申请所述的过程或操作。可替换地，这些组件可以被实现为编程或嵌入到专用硬件中的可执行代码，专用硬件诸如集成电路(例如，专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)，可执行代码可以经由对应的驱动器和/或来自应用的操作系统访问。此外，这些组件可以被实现为处理器或处理器内核中的特定硬件逻辑，作为软件组件经由一个或多个特定指令可访问的指令集的一部分。
已经在对计算机存储器内的数据位的操作的算法和符号表示方面呈现了前述详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们的工作实质传达给本领域的其他技术人员的方式。算法在这里并且通常被认为是导致期望结果的自相容操作序列。这些操作是需要对物理量进行物理操纵的那些操作。
然而，应当记住的是，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便的标记。除非特别声明，否则从以上讨论中显而易见的是，应当理解的是，在整个说明书中，使用诸如所附权利要求书中所阐述的术语的讨论指的是计算机系统或类似电子计算设备的动作和处理，所述计算机系统或类似电子计算设备将计算机系统的寄存器和存储器内表示为物理(电子)量的数据操纵和变换成计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。
本公开的实施例还涉及用于执行本文的操作的装置。这种计算机程序存储在非暂时性计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存设备)。
在前述附图中描述的过程或方法可以由包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合的处理逻辑来执行。尽管以上在一些顺序操作方面描述了过程或方法，但是应当理解的是，可以以不同的顺序执行所述的一些操作。此外，一些操作可以并行地而不是顺序地执行。
本公开的实施例不是参考任何特别编程语言描述的。将了解，可以使用各种编程语言实施如本文所述的本公开的实施例的教导。
在前述说明书中，已经参考本公开的具体示例性实施例描述了本公开的实施例。显然，在不背离如所附权利要求书中所阐述的本公开的更宽的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims (10)

1.一种用于校准自主驾驶车辆的感知系统的计算机实现方法，所述方法包括：
感知沿着路径行驶的自主驾驶车辆周围的驾驶环境，包括感知所述驾驶环境中的障碍物；
基于从所述自主驾驶车辆上的传感器获得的传感器数据检测所述自主驾驶车辆的垂直加速度；
基于所述自主驾驶车辆的所述垂直加速度校准感知的障碍物；以及
根据经校准的感知的障碍物，控制所述自主驾驶车辆导航通过所述驾驶环境。
2.根据权利要求1所述的方法，其中校准所述感知的障碍物包括基于所述经校准的感知的障碍物确定所述感知的障碍物的形状。
3.根据权利要求1所述的方法，其中所述自主驾驶车辆上的所述传感器包括惯性测量单元(IMU)、全球定位系统(GPS)、轮胎压力传感器或车辆悬挂传感器。
4.根据权利要求3所述的方法，其中感知所述障碍物包括使用光检测和测距(LIDAR)设备和相机检测所述障碍物。
5.根据权利要求1所述的方法，其中基于所述垂直加速度校准所述感知的障碍物包括：
获得由所述自主驾驶车辆的第一传感器在第一时间点处捕获的第一图像，所述第一图像捕获所述障碍物的至少一部分；
响应于检测所述垂直加速度，确定第二时间点；以及
基于所述第一图像和在所述第二时间点处捕获的第二图像校准所述障碍物，所述第二图像捕获所述障碍物的至少一部分。
6.根据权利要求5所述的方法，其中所述第一图像和所述第二图像由LIDAR设备或相机中的至少一个捕获，以及其中所述垂直加速度由IMU或GPS设备中的至少一个检测。
7.根据权利要求5所述的方法，其中所述第二图像包含所述第一图像缺少的所述障碍物的至少一个特征，并且其中所述第二图像的所述至少一个特征被用来补偿所述第一图像以确定所述障碍物的形状。
8.根据权利要求7所述的方法，其中所述第一图像表示所述障碍物的二维(2D)视图，以及所述第二图像包括所述障碍物的额外边缘，所述额外边缘表示所述第一图像缺少的所述障碍物的深度。
9.一种非暂时性机器可读介质，具有存储在其中的指令，所述指令在由处理器执行时使所述处理器执行根据权利要求1-8中任一项所述的方法。
10.一种数据处理系统，包括：
处理器；以及
耦合到所述处理器以存储指令的存储器，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-8中任一项所述的方法。
CN202011024418.8A 2019-09-30 2020-09-25 自主驾驶车辆的障碍物感知校准系统 Active CN112124318B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/588,693 2019-09-30
US16/588,693 US11352010B2 (en) 2019-09-30 2019-09-30 Obstacle perception calibration system for autonomous driving vehicles

Publications (2)

Publication Number Publication Date
CN112124318A true CN112124318A (zh) 2020-12-25
CN112124318B CN112124318B (zh) 2024-06-18

Family

ID=73840632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011024418.8A Active CN112124318B (zh) 2019-09-30 2020-09-25 自主驾驶车辆的障碍物感知校准系统

Country Status (2)

Country Link
US (1) US11352010B2 (zh)
CN (1) CN112124318B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7439434B2 (ja) * 2019-09-30 2024-02-28 株式会社デンソー 車両に搭載されているライダーの傾きの検出装置、および車両に搭載されているライダーの傾きの検出方法
CN113514806B (zh) * 2021-04-02 2023-12-19 苏州挚途科技有限公司 自动驾驶过程中障碍物确定方法、装置及电子设备
CN114013449B (zh) * 2021-11-02 2023-11-03 阿波罗智能技术(北京)有限公司 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆
CN114326710B (zh) * 2021-12-04 2024-05-24 深圳市普渡科技有限公司 机器人、机器人行驶策略确定方法、装置和存储介质
CN114291114B (zh) * 2022-01-05 2024-06-18 天地科技股份有限公司 车辆控制系统及方法
CN114701519B (zh) * 2022-04-12 2024-05-17 东莞理工学院 一种自动驾驶控制系统

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074594A (ja) * 2000-08-25 2002-03-15 Alpine Electronics Inc 障害物検知システム
CN101510069A (zh) * 2008-02-15 2009-08-19 夏普株式会社 定影装置和图像形成装置
US20110026771A1 (en) * 2009-07-31 2011-02-03 Tzu-Chien Hsu Obstacle determination system and method implemented through utilizing bird's-eye-view images
CN103578252A (zh) * 2012-07-23 2014-02-12 阿迪达斯股份公司 用于体育活动监测系统的通信网络
CN104380039A (zh) * 2012-07-31 2015-02-25 哈曼国际工业有限公司 使用单个相机检测障碍物的系统和方法
CN104424477A (zh) * 2013-09-05 2015-03-18 现代自动车株式会社 用于检测障碍物的装置和方法
US20160244065A1 (en) * 2015-02-20 2016-08-25 Robert Bosch Gmbh Method and device for detecting the road condition for a vehicle
CN105989749A (zh) * 2015-03-20 2016-10-05 哈曼国际工业有限公司 用于优先化驾驶员警报的系统和方法
CN106338988A (zh) * 2015-07-06 2017-01-18 丰田自动车株式会社 自动驾驶车辆的控制装置
CN107346136A (zh) * 2016-05-04 2017-11-14 福特全球技术公司 越野自主驾驶
WO2017195228A1 (en) * 2016-05-09 2017-11-16 Uesse S.R.L. Process and system to analyze deformations in motor vehicles
CN107850902A (zh) * 2015-07-08 2018-03-27 深圳市大疆创新科技有限公司 可移动物体上的相机配置
CN108255171A (zh) * 2016-12-29 2018-07-06 百度（美国）有限责任公司 用于提高自主驾驶车辆的稳定性的方法和系统
US20180210451A1 (en) * 2017-01-24 2018-07-26 Wipro Limited System and method for controlling navigation of a vehicle
CN108349532A (zh) * 2015-09-30 2018-07-31 雷诺股份公司 用于在即将与障碍物发生碰撞的情况下控制机动车辆的转向装置的系统
CN109215433A (zh) * 2017-07-03 2019-01-15 百度（美国）有限责任公司 用于自动驾驶仿真的基于视觉的驾驶场景生成器
CN109219785A (zh) * 2016-06-03 2019-01-15 深圳市大疆创新科技有限公司 简单的多传感器校准
CN109343061A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 传感器标定方法、装置、计算机设备、介质和车辆
US20190188523A1 (en) * 2016-05-09 2019-06-20 Uesse S.R.L. Process and System for Computing the Cost of Usable and Consumable Materials for Painting of Motor Vehicles, From Analysis of Deformations in Motor Vehicles
CN109922266A (zh) * 2019-03-29 2019-06-21 睿魔智能科技（深圳）有限公司 应用于视频拍摄的抓拍方法及系统、摄像机及存储介质
CN109987082A (zh) * 2017-12-26 2019-07-09 本田技研工业株式会社 车辆控制装置、车辆控制方法和存储介质
US20190220011A1 (en) * 2018-01-16 2019-07-18 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
CN110084133A (zh) * 2019-04-03 2019-08-02 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、车辆、计算机设备和存储介质
CN110234552A (zh) * 2017-02-03 2019-09-13 本田技研工业株式会社 车辆控制系统、车辆控制方法及车辆控制程序

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10144380B2 (en) * 2016-03-28 2018-12-04 Dana Heavy Vehicle Systems Group, Llc Method and apparatus for providing road and vehicle condition diagnostics
US10107635B2 (en) * 2016-08-19 2018-10-23 Waymo Llc Method and system for determining and dynamically updating a route and driving style for passenger comfort

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074594A (ja) * 2000-08-25 2002-03-15 Alpine Electronics Inc 障害物検知システム
CN101510069A (zh) * 2008-02-15 2009-08-19 夏普株式会社 定影装置和图像形成装置
US20110026771A1 (en) * 2009-07-31 2011-02-03 Tzu-Chien Hsu Obstacle determination system and method implemented through utilizing bird's-eye-view images
CN103578252A (zh) * 2012-07-23 2014-02-12 阿迪达斯股份公司 用于体育活动监测系统的通信网络
CN104380039A (zh) * 2012-07-31 2015-02-25 哈曼国际工业有限公司 使用单个相机检测障碍物的系统和方法
CN104424477A (zh) * 2013-09-05 2015-03-18 现代自动车株式会社 用于检测障碍物的装置和方法
US20160244065A1 (en) * 2015-02-20 2016-08-25 Robert Bosch Gmbh Method and device for detecting the road condition for a vehicle
CN105989749A (zh) * 2015-03-20 2016-10-05 哈曼国际工业有限公司 用于优先化驾驶员警报的系统和方法
CN106338988A (zh) * 2015-07-06 2017-01-18 丰田自动车株式会社 自动驾驶车辆的控制装置
CN107850902A (zh) * 2015-07-08 2018-03-27 深圳市大疆创新科技有限公司 可移动物体上的相机配置
CN108349532A (zh) * 2015-09-30 2018-07-31 雷诺股份公司 用于在即将与障碍物发生碰撞的情况下控制机动车辆的转向装置的系统
CN107346136A (zh) * 2016-05-04 2017-11-14 福特全球技术公司 越野自主驾驶
US20190188523A1 (en) * 2016-05-09 2019-06-20 Uesse S.R.L. Process and System for Computing the Cost of Usable and Consumable Materials for Painting of Motor Vehicles, From Analysis of Deformations in Motor Vehicles
WO2017195228A1 (en) * 2016-05-09 2017-11-16 Uesse S.R.L. Process and system to analyze deformations in motor vehicles
CN109219785A (zh) * 2016-06-03 2019-01-15 深圳市大疆创新科技有限公司 简单的多传感器校准
CN108255171A (zh) * 2016-12-29 2018-07-06 百度（美国）有限责任公司 用于提高自主驾驶车辆的稳定性的方法和系统
US20180210451A1 (en) * 2017-01-24 2018-07-26 Wipro Limited System and method for controlling navigation of a vehicle
CN110234552A (zh) * 2017-02-03 2019-09-13 本田技研工业株式会社 车辆控制系统、车辆控制方法及车辆控制程序
CN109215433A (zh) * 2017-07-03 2019-01-15 百度（美国）有限责任公司 用于自动驾驶仿真的基于视觉的驾驶场景生成器
CN109987082A (zh) * 2017-12-26 2019-07-09 本田技研工业株式会社 车辆控制装置、车辆控制方法和存储介质
US20190220011A1 (en) * 2018-01-16 2019-07-18 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
CN109343061A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 传感器标定方法、装置、计算机设备、介质和车辆
CN109922266A (zh) * 2019-03-29 2019-06-21 睿魔智能科技（深圳）有限公司 应用于视频拍摄的抓拍方法及系统、摄像机及存储介质
CN110084133A (zh) * 2019-04-03 2019-08-02 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、车辆、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
托马斯・S.库恩;纪树立;: "科学知识作为历史产品", 自然辩证法通讯, no. 05, 31 December 1988 (1988-12-31), pages 18 - 27 *

Also Published As

Publication number Publication date
US20210094550A1 (en) 2021-04-01
US11352010B2 (en) 2022-06-07
CN112124318B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
CN111775945B (zh) 用于自动驾驶的用于检测最接近的路径内对象的方法和装置
CN111775933B (zh) 用于基于车辆周围障碍物的移动轨迹自主驾驶车辆的方法
CN112124318B (zh) 自主驾驶车辆的障碍物感知校准系统
CN111775957B (zh) 用于自主驾驶车辆的传感器校准系统
CN113950703B (zh) 确定外参矩阵是否准确的方法、装置及数据处理系统
US11702087B2 (en) Autonomous driving monitoring system
CN113064143B (zh) 用于具有多LiDAR传感器的自动驾驶车辆的再校准确定系统
CN114026463B (zh) 基于部分点云的行人速度估计方法
US20210302582A1 (en) A point cloud feature-based obstacle filter system
US20220003855A1 (en) Point clouds based lidar recalibration system for autonomous vehicles
US11713057B2 (en) Feedback based real time steering calibration system
US11518404B2 (en) Static-state curvature error compensation control logic for autonomous driving vehicles
US20220299648A1 (en) Neighbor-based point cloud filter system
US11527076B2 (en) Point cloud-based low-height obstacle detection system
CN212391730U (zh) 用于自动驾驶车辆的光探测和测距装置
CN212515471U (zh) 用于自动驾驶车辆的光探测和测距装置
US11242057B2 (en) Method for optimizing three-point turn of autonomous driving vehicles
US20230065284A1 (en) Control and planning with localization uncertainty

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant