CN114845915A - 实时调整载具传感器视场体 - Google Patents

实时调整载具传感器视场体 Download PDF

Info

Publication number
CN114845915A
CN114845915A CN202080089748.7A CN202080089748A CN114845915A CN 114845915 A CN114845915 A CN 114845915A CN 202080089748 A CN202080089748 A CN 202080089748A CN 114845915 A CN114845915 A CN 114845915A
Authority
CN
China
Prior art keywords
vehicle
sensor
field
view
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080089748.7A
Other languages
English (en)
Inventor
S.韦尔盖塞
A.麦考利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN114845915A publication Critical patent/CN114845915A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W1/02Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
    • G01W1/06Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed giving a combined indication of weather conditions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G06V10/89Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/048Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Environmental & Geological Engineering (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Physics (AREA)
  • Atmospheric Sciences (AREA)
  • Environmental Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Measuring Fluid Pressure (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)
  • Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)

Abstract

公开了可以用于调整自主载具的一个或多个传感器的视场的系统和方法。在该系统和方法中,一个或多个传感器中的每个传感器被配置为根据达最大视场体的视场体进行操作。该系统和方法包括确定自主载具的操作环境。该系统和方法还包括基于所确定的自主载具的操作环境,将一个或多个传感器中的至少一个传感器的视场体从第一视场体调整为不同于第一视场体的调整视场体。可附加地,该系统和方法包括控制自主载具使用具有调整视场体的至少一个传感器进行操作。

Description

实时调整载具传感器视场体
相关申请的交叉引用
本公开要求于2020年8月25日提交的美国非临时申请No.17/002092的优先权,该申请要求于2019年12月23日提交的美国临时申请No.62/952,879的优先权,其全部内容通过引用并入本文。
背景技术
载具可以被配置为在自主模式下操作,在该模式下,载具在几乎没有或没有驾驶员输入的环境中导航。这种自主载具可以包括一个或多个系统(例如,传感器和相关联的计算设备),这些系统被配置为检测关于载具操作环境的信息。载具及其相关联的计算机实现控制器使用检测的信息在环境中导航。例如,如果(多个)系统检测到载具正在接近障碍物,由计算机实现的控制器确定,则控制器调整载具的方向控制以使载具绕过障碍物导航。
例如,自主载具可以包括激光、声纳、雷达、相机、热成像仪和其他传感器,这些扫描和/或记录有关载具周围环境的数据。来自这些设备中的一个或多个的传感器数据可用于检测对象及其相应的特征(位置、形状、朝向、速度等)。这种检测和识别对于自主载具的操作很有用。
发明内容
在一个示例中,本发明提供了一种系统。该系统包括:一个或多个传感器,一个或多个传感器中的每个传感器被配置为根据视场体进行操作,该视场体表示自主载具周围的空间,其中传感器预期在该空间内以高于预定义置信度阈值的置信度水平检测对象。该系统还包括一个或多个处理器,耦合到一个或多个传感器。该系统还包括存储器,耦合到一个或多个处理器并且其上存储有指令,该指令在由一个或多个处理器执行时使一个或多个处理器执行操作。该操作包括:识别自主载具的多个操作设计域(ODD),其中每个ODD包括环境状况、地理状况、当日时间状况、交通状况或道路状况中的至少一个,并且其中每个ODD与一个或多个传感器中的至少一个的预定视场体相关联。该操作还包括将自主载具与多个ODD中的第一ODD相关联。该操作还包括检测自主载具的操作环境的改变。该操作还包括响应于检测,将自主载具与多个ODD中的第二ODD相关联。该操作还包括响应于自主载具与第二ODD相关联,使用与第二ODD相关联的预定视场体来操作至少一个传感器。
本发明的一些示例提供了一种由被配置为控制自主载具的操作的计算设备执行的方法。该方法包括:识别自主载具的多个操作设计域(ODD),其中每个ODD包括环境状况、地理状况、当日时间状况、交通状况或道路状况中的至少一个,并且其中每个ODD与一个或多个传感器中的至少一个的预定视场体相关联,其中一个或多个传感器中的每个传感器被配置为根据视场体进行操作,该视场体表示自主载具周围的空间,其中传感器预期在该空间内以高于预定义置信度阈值的置信度水平检测对象。该方法还包括将自主载具与多个ODD中的第一ODD相关联。该方法还包括检测自主载具的操作环境的改变。该方法还包括响应于检测,将自主载具与多个ODD中的第二ODD相关联。该方法还包括响应于自主载具与第二ODD相关联,使用与第二ODD相关联的预定视场体来操作至少一个传感器。
本公开的一些示例提供了一种非暂时性计算机可读存储介质,其上存储有程序指令,该程序指令在由一个或多个处理器执行时使一个或多个处理器执行操作。该操作包括识别自主载具的多个操作设计域(ODD),其中每个ODD包括环境状况、地理状况、当日时间状况、交通状况或道路状况中的至少一个,并且其中每个ODD与一个或多个传感器中的至少一个的预定视场体相关联,其中一个或多个传感器中的每个传感器被配置为根据视场体进行操作,该视场体表示自主载具周围的空间,其中传感器预期在该空间内以高于预定义置信度阈值的置信度水平检测对象。该操作还包括将自主载具与多个ODD中的第一ODD相关联。该操作还包括检测自主载具的操作环境的改变。该操作还包括响应于检测,将自主载具与多个ODD中的第二ODD相关联。该操作还包括响应于自主载具与第二ODD相关联,使用与第二ODD相关联的预定视场体来操作至少一个传感器。
本公开的一些示例提供了一种系统。该系统包括一个或多个传感器,一个或多个传感器中的每个传感器被配置为根据视场体进行操作。该系统还包括一个或多个处理器,耦合到一个或多个传感器。该系统还包括存储器,耦合到一个或多个处理器并且其上存储有指令,该指令在由一个或多个处理器执行时使一个或多个处理器执行操作。该操作包括确定自主载具的操作环境。该操作还包括基于所确定的自主载具的操作环境,将一个或多个传感器中的至少一个传感器的视场体从第一视场体调整为不同于第一视场体的调整视场体。
本公开的一些示例提供了一种由被配置为控制自主载具的操作的计算设备执行的方法。该方法包括确定自主载具的操作环境,其中自主载具包括一个或多个传感器,一个或多个传感器中的每个传感器被配置为根据视场体进行操作。该方法还包括基于所确定的自主载具的操作环境,将一个或多个传感器中的至少一个传感器的视场体从第一视场体调整为不同于第一视场体的调整视场体。该方法还包括控制自主载具使用具有调整视场体的至少一个传感器进行操作。
本公开的一些示例提供了一种非暂时性计算机可读存储介质,其上存储有程序指令,该程序指令在由一个或多个处理器执行时使一个或多个处理器执行操作。该操作包括确定自主载具的操作环境,其中自主载具包括一个或多个传感器,一个或多个传感器中的每个传感器被配置为根据视场体进行操作。该操作还包括基于所确定的自主载具的操作环境,将一个或多个传感器中的至少一个传感器的视场体从第一视场体调整为不同于第一视场体的调整视场体。该操作还包括控制自主载具使用具有调整视场体的至少一个传感器进行操作。
本公开的一些示例提供了一种用于操作安装在自主载具上的传感器的方法。该方法包括根据第一视场体来操作自主载具的传感器,其中第一视场体与自主载具的第一操作环境相关联。该方法还包括接收指示自主载具的第二操作环境的数据,其中第二操作环境与自主载具的环境中的环境状况相关联。该方法还包括自动调整传感器的操作以根据第二视场体进行操作,其中第二视场体与第二操作环境相关联。
本公开的一些示例提供了一种用于操作安装在自主载具上的传感器的系统。该系统包括传感器和耦合到传感器的一个或多个处理器。该系统还包括存储器,耦合到一个或多个处理器并且其上存储有指令,该指令在由一个或多个处理器执行时使一个或多个处理器执行操作。该操作包括根据第一视场体来操作自主载具的传感器,其中第一视场体与自主载具的第一操作环境相关联。该操作还包括接收指示自主载具的第二操作环境的数据,其中第二操作环境与自主载具的环境中的环境状况相关联。该操作还包括自动调整传感器的操作以根据第二视场体进行操作,其中第二视场体与第二操作环境相关联。
本公开的一些示例提供了一种非暂时性计算机可读存储介质,其上存储有程序指令,该程序指令在由一个或多个处理器执行时使一个或多个处理器执行操作。该操作包括根据第一视场体来操作安装在自主载具上的传感器,其中第一视场体与自主载具的第一操作环境相关联。该操作还包括接收指示自主载具的第二操作环境的数据,其中第二操作环境与自主载具的环境中的环境状况相关联。该操作还包括自动调整传感器的操作以根据第二视场体进行操作,其中第二视场体与第二操作环境相关联。
通过阅读在适当的地方参考附图的以下详细描述,这些以及其他方面、优点和替代方案对于本领域普通技术人员将变得显而易见。
附图说明
图1是描绘示例自主载具的各方面的功能框图。
图2描绘了示例自主载具的外视图。
图3是与自主载具有关的各种计算系统之间的无线通信的概念图。
图4示出了一个示例传感器视场集合。
图5示出了示例方法。
图6描绘了传感器视场参数(范围)到操作环境的一个示例映射。
图7示出了载具与本地天气站服务器和全球天气站服务器通信的示例通信系统。
图8示出了另一示例方法。
图9示出了另一示例方法。
具体实施方式
本文描述了示例方法、设备和系统。应当理解,此处使用的词语“示例”和“示例性”是指“用作示例、实例或说明”。在此描述为“示例”或“示例性”的任何实施例或特征不一定被解释为比其他实施例或特征更优选或有利。在不脱离本文提出的主题的范围的情况下,可以使用其他实施例,并且可以做出其他改变。
因此,本文描述的示例实施例不意味着限制。如本文大体描述并在图中示出的本公开的各方面可以被布置、替换、组合、分离和设计成多种不同的配置,所有这些都在本文中被设想。
此外,除非上下文另有说明,否则每幅图中所示的特征可以相互结合使用。因此,附图通常应被视为一个或多个整体实施例的组成方面,但应理解并非所有图示的特征对于每个实施例都是必需的。
I.概述
许多载具包括各种感测系统,以帮助载具导航和控制。一些载具可能在不使用人工交互进行操作的完全自主模式、很少使用人工交互进行操作的半自主模式或人工操作载具并且传感器可以帮助人的人工操作模式下操作。传感器可用于提供关于载具周围区域的信息。该信息可用于识别道路和载具附近的其他对象(诸如其他载具、行人等)的特征。
载具的传感器系统可以包括例如光探测和测距(LIDAR)系统和雷达系统。LIDAR使用激光脉冲来测量反射激光的对象的距离和速度。雷达使用无线电波来测量反射无线电波的对象的距离和速度。来自LIDAR和雷达系统的数据可能与来自载具传感器系统的其他传感器(诸如相机)的数据一起用于确定对象在载具周围环境中的位置。特定的LIDAR传感器、雷达传感器和/或相机可以各自具有视场。传感器的视场可以包括传感器可以检测对象的一个或多个角(或其他形状)区域,以及与传感器可以可靠地检测该视场中的对象的距离传感器的最大距离相对应的相关范围。在某些情况下,相关范围可能会因视场内的各种方位角/仰角而变化。定义此视场的参数值(例如距离、方位角和仰角的值)一起形成可称为视场体的容体(volume)。
特定传感器的视场体可以被认为是空间的准确表示,在该空间内可以认为特定传感器以高置信度水平检测对象。换言之,载具系统的一个或多个处理器(例如,控制传感器操作的芯片或载具控制系统的处理器)可以被配置为可靠地依赖于在由传感器视场体定义的空间内获取的传感器数据。例如,与特定传感器相关联的处理器可以被配置为将较高置信度(例如,高于预定义的置信度阈值水平)与在该传感器视场体内的距离、方位角和/或仰角处检测的对象或其他信息相关联,并且可以被配置为将较低置信度(例如,等于或低于预定义阈值置信度)与在该视场体之外的范围、方位角和/或仰角处检测的对象或其他信息相关联。
载具在操作时可能会暴露在不同的状况下,诸如天气变化(例如雾、雨、雪)、当日时间的改变、速度限制的改变、地形或其他地理状况的改变、定居点的改变(例如,市区、郊区、农村)、其他载具或载具附近对象数量的改变、载具外部的其他变化和/或载具系统的内部变化(例如,传感器错误、传感器表面清洁度、载具子系统故障等)。在任何给定的时间点,载具的操作环境中都可能存在这些或其他状况中的一个或多个。在本公开的上下文中,载具的“操作环境”可以是或包括载具内部和/或外部的一个或多个状况,该状况可以随时间改变,包括但不限于上述状况和其他状况在本公开的其他地方描述。因此,当一种或多种这样的状况改变时,载具的操作环境会改变。
在一些情况下,操作环境可以与特定地理位置相关联和/或受某些地理限制的约束。例如,第一操作环境可以与两个位置之间的第一路线相关联,并且不同的第二操作环境可以与相同的两个位置之间的第二路线相关联。因此,当在第一路线上行驶时,载具可以根据第一操作环境操作,当在第二路线上行驶时,载具可以根据第二操作环境操作。作为另一示例,第一操作环境可以与上车地点和下车地点之间的路线的第一部分相关联,并且第二操作环境可以与上车地点和下车地点之间的路线的第二部分相关联。作为另一示例,操作环境可以限于地理定义的区域,诸如机场、大学或私人住宅社区的财产线。其他示例也是可能的。
本公开针对用于基于载具的操作环境(例如,基于载具系统检测操作环境或检测一个操作环境到另一个的改变)调整视场的系统和方法。这可以在载具系统检测操作环境到或检测到操作环境的改变时实时或接近实时地发生。
如本文所述,可以以各种方式执行为特定传感器调整视场体的行为。作为示例,可以响应于检测到载具的操作环境从第一操作环境到第二操作环境的改变来执行为特定传感器调整视场体的行为,并且因此可以涉及载具系统将传感器的视场体从对应于第一操作环境的第一视场体调整为对应于第二操作环境的第二调整视场体。作为另一示例,载具系统可以主动决定将其自身从与一个操作环境相关联的操作模式切换到与另一操作环境相关联的操作模式,并且该切换可能涉及或导致一个或多个载具传感器之间的切换,每个传感器根据相应的视场体进行操作,而不是每个传感器使用不同的相应视场体进行操作。作为另一示例,调整特定传感器的视场体的行为可以涉及载具系统最初为该传感器建立视场体,诸如通过基于检测的载具的操作环境选择预定的视场体或通过使用其他技术确定视场体。在一些示例中,可能存在有限/预定数量的操作环境,载具可以被设计为在其中操作或者载具可以以其他方式与这些操作环境相关联,并且这样的操作环境在被检测时可以用于确定一个或多个载具传感器的视场体。
根据本公开,传感器可以被配置为根据达最大视场体的视场体进行操作。例如,LIDAR传感器可以被配置为在达200米的最大视场范围、210度的方位角以及水平线以上20度和水平线以下75度的仰角范围内操作,从而与LIDAR传感器的最大距离(在该距离处,LIDAR传感器数据被视为可靠检测对象)为该方位角和仰角内的200米。在示例中,载具可能正在沿着道路行驶,同时使用载具的LIDAR传感器之一的最大视场范围(诸如200米)进行操作。然而,载具可能会遇到(或预计很快会遇到)浓雾,这可能会降低LIDAR的传感器能力。因此,载具系统(例如,一个或多个处理器、计算设备等)可以确定载具正在浓雾天气状态下操作(或者将很快切换为在该状态下操作),并在相同方位角和仰角内或者在不同方位角和仰角内,相应地将至少一个LIDAR传感器(例如所有LIDAR传感器)的视场体调整为较低视场范围,诸如70米。因此,载具随后操作使得与(多个)LIDAR传感器的最大距离为70米,在该距离处(多个)LIDAR传感器的数据被视为可靠地检测对象。随着雾散去或载具离开有雾区域,载具系统可能会重新调整(例如,增加)LIDAR传感器的视场体。其他示例也是可能的。
在一些实施例中,为了对特定传感器确定哪个视场体可能最适合适应载具的当前操作环境,载具系统可能已经在存储器中存储(例如,以查找表的形式)载具的不同操作环境与载具的一个或多个传感器、传感器类型等的对应视场体(或特定容体参数,例如范围)之间的映射。这些对应视场体可以使用各种技术(例如,基于传感器数据的机器学习、(多个)基于物理的计算等)来预先确定。可附加地或可替代地,可以响应于确定载具的操作环境实时确定视场体和/或可以将预定视场体与新获取的传感器数据进行比较以确定预定视场体是否仍然准确地表示在确定的操作环境中应该依赖传感器的程度。
在一些实施例中,可以基于载具的操作设计域(ODD)来调整载具传感器中的至少一个的视场体。ODD由给定载具或其他驾驶自动化系统或其功能专门设计用于操作的条件定义或包括给定载具或其他驾驶自动化系统或其功能专门设计用于操作的条件,包括但不限于环境、地理和当日时间限制和/或某些交通或道路特性的必要存在或不存在。载具可以具有多个ODD,每个ODD可以包括地理状况、当日时间状况、交通状况或道路状况中的至少一个,并且每个ODD可以与至少一个载具传感器的相应预定视场体相关联。因此,载具系统可以将载具与第一ODD(例如,晴朗天气状况)相关联,但响应于检测到载具的操作环境的改变,可以将载具与第二不同的ODD(例如,有雾、下雨或下雪的天气状况)相关联,从而使载具系统使用与第二ODD相关联的(多个)传感器的预定视场体来操作载具传感器中的至少一个。
本公开还提供帮助确定载具的操作环境,特别是基于天气的操作环境的系统和方法。在一些示例中,载具系统可以从一个或多个服务器或与一个或多个天气站相关联的其他计算设备接收天气数据。天气数据可以识别与特定地理区域相关联(例如,存在于特定地理区域)的天气状况,诸如雾、雨或雪,以及其他可能性。基于这些天气数据,载具系统可以确定载具的操作环境,从而确定如何对与天气数据相关联的地理区域相应地调整传感器视场体。在示例中,全球计算系统或本地计算系统可以收集天气数据并将天气数据发布到各种载具系统,可能还与其他信息一起发布,诸如根据特定地理区域的天气状况建议对特定地理区域进行哪些传感器调整。其他示例也是可能的。
所公开的系统和方法的实现有利地使载具系统能够实时调整接受的传感器数据,以便动态地适应行驶期间的改变状况并使载具能够准确且可靠地连续检测其环境中的对象。沿着类似的思路,所公开的系统和方法有利地使载具系统能够优先考虑可能比其他系统更可能可靠地操作的传感器系统和/或可能比其他系统更可能被依赖的传感器数据,从而使载具系统能够使用最可靠的传感器数据控制载具。例如,与其他相比,载具系统可以优先考虑或启用更多功率给某些传感器系统或传感器能力,或者与其他相比,可以优先考虑或启用计算资源来处理特定传感器数据。
II.示例系统和设备
现在将更详细地描述示例系统和设备。通常,本文公开的实施例可以与包括一个或多个扫描系统环境的传感器的任何系统一起使用。本文描述的说明性实施例包括采用传感器的载具,诸如LIDAR、RADAR、SONAR、相机等。然而,示例系统也可以以其他设备实现或采用其他设备的形式,诸如机器人设备、工业系统(例如,装配线等),或移动通信系统或设备,以及其他可能性。
术语“载具”在本文中广义地解释为涵盖任何移动对象,包括例如飞行器、船只、航天器、汽车、卡车、厢式货车、半挂式卡车、摩托车、高尔夫球车、越野车、仓库运输车、拖拉机或农用车,以及在轨道上通行的载体,诸如过山车、手推车、电车或火车车厢等。一些载具可能在不使用人工交互进行操作的完全自主模式、很少使用人工交互进行操作的半自主模式或人工操作载具并且传感器可以帮助人的人工操作模式下操作。
在示例实施例中,示例载具系统可以包括一个或多个处理器、一种或多种形式的存储器、一个或多个输入设备/接口、一个或多个输出设备/接口以及机器可读指令,当由一个或多个处理器执行时,使系统执行上述的各种功能、任务、能力等。下面将更详细地描述本公开范围内的示例系统。
图1是示出根据示例实施例的载具100的功能框图。载具100可以被配置为完全或部分地以自主模式操作,因此可以被称为“自主载具”。载具也可以被配置为由人操作,但通过载具的感测系统向人提供信息。例如,计算系统111可以在自主模式下经由对载具100的控制系统106的控制指令来控制载具100。计算系统111可以从一个或多个传感器系统104接收信息,并以自动方式根据接收的信息建立一个或多个控制处理(例如设置朝向以避开检测的障碍物)。
自主载具100可以是完全自主的或部分自主的。在部分自主载具中,一些功能可以选择性地部分或全部时间手动控制(例如,由驾驶员)。此外,部分自主载具可以被配置为在全手动操作模式与部分自主和/或全自动操作模式之间切换。
载具100包括推进系统102、传感器系统104、控制系统106、一个或多个外围设备108、电源110、计算系统111和用户界面112。载具100可以包括更多或更少的子系统,并且每个子系统可以可选地包括多个组件。此外,载具100的每个子系统和组件可以互连和/或通信。因此,本文所述的载具100的一种或多种功能可以可选地在附加功能或物理组件之间划分,或组合成更少的功能或物理组件。在一些进一步的示例中,可以将附加功能和/或物理组件添加到图1所示的示例中。
推进系统102可以包括可操作以向载具100提供动力运动的组件。在一些实施例中,推进系统102包括引擎/马达118、能源120、变速器122和车轮/轮胎124。马达118将能源120转换成机械能。在一些实施例中,推进系统102可以可选地包括引擎和/或马达之一或两者。例如,气电混合动力载具可以包括汽油/柴油引擎和电动机。
能量源120代表能量源,诸如电能和/或化学能,其可以全部或部分地为引擎/马达118提供动力。也就是说,引擎/马达118可以被配置为将能量源120转换为机械能来操作变速器。在一些实施例中,能源120可以包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池、电容器、飞轮、再生制动系统和/或其他电源。能量源120还可以为载具100的其他系统提供能量。
变速器122包括适合将机械动力从引擎/马达118传递到车轮/轮胎124的适当齿轮和/或机械元件。在一些实施例中,变速器122包括齿轮箱、离合器、差速器、驱动轴和/或(多个)车轴等。
车轮/轮胎124被布置成稳定地支撑载具100,同时提供与载具100在其上移动的诸如道路的表面的摩擦牵引力。因此,车轮/轮胎124根据载具100的性质来配置和布置。例如,车轮/轮胎可以布置为独轮车、自行车、摩托车、三轮车或汽车/卡车四轮形式。其他车轮/轮胎几何形状也是可能的,诸如包括六个或更多车轮的那些。载具100的车轮/轮胎124的任何组合都可操作以相对于其他车轮/轮胎124有差别地旋转。车轮/轮胎124可以可选地包括至少一个刚性地附接到变速器122的车轮和耦合到与驱动表面接触的相应车轮的轮辋的至少一个轮胎。车轮/轮胎124可以包括金属和橡胶的任何组合,和/或其他材料或材料的组合。
传感器系统104通常包括一个或多个传感器,其被配置为检测关于载具100周围环境的信息。例如,传感器系统104可以包括全球定位系统(GPS)126、惯性测量单元(IMU)128、雷达单元130、激光测距仪/LIDAR单元132、相机134和/或麦克风136。传感器系统104还可以包括被配置为监测载具100的内部系统的传感器(例如,O2监测器、燃料计、引擎油温、轮速传感器等)。包括在传感器系统104中的一个或多个传感器可以被配置为单独和/或共同致动,以便修改一个或多个传感器的位置和/或方位。
GPS 126是被配置为估计载具100的地理位置的传感器。为此,GPS 126可以包括收发器,可操作以提供关于载具100相对于地球的位置的信息。
IMU 128可以包括传感器(例如,加速度计和陀螺仪)的任何组合,被配置为基于惯性加速度感测载具100的位置和方位改变。
雷达单元130可以表示利用无线电信号来感测载具100的本地环境内的对象的系统。在一些实施例中,除了感测对象之外,还可以可附加地配置雷达单元130和/或计算系统111感知对象的速度和/或朝向。雷达单元130可以包括任何(多个)天线、波导网络、(多个)通信芯片和/或可以促进雷达操作的其他组件。
类似地,激光测距仪或LIDAR单元132可以是被配置为使用激光感测载具100所在环境中的对象的任何传感器。激光测距仪/LIDAR单元132可以包括一个或多个激光源、激光扫描仪和一个或多个检测器,以及其他系统组件。激光测距仪/LIDAR单元132可以被配置为以相干(例如,使用外差检测)或非相干检测模式操作。
相机134可以包括一个或多个设备,被配置为捕获载具100周围环境的多个图像。相机134可以是静态相机或摄像机。在一些实施例中,相机134可以机械地移动,诸如通过旋转和/或倾斜安装相机的平台。因此,可以实现载具100的控制处理以控制相机134的移动。
传感器系统104还可以包括麦克风136。麦克风136可以被配置为从载具100周围的环境中捕获声音。在一些情况下,多个麦克风可以被布置为麦克风阵列,或者可能布置为多个麦克风阵列。
控制系统106被配置为控制调节载具100及其组件的加速度的(多个)操作。为了实现加速,控制系统106包括转向单元138、油门140、制动单元142、传感器融合算法144、计算机视觉系统146、导航/路径系统148和/或避障系统150等。
转向单元138可操作以调整载具100的朝向。例如,转向单元可以调整一个或多个车轮/轮胎124的轴(或多个轴)以实现载具的转向。油门140被配置为控制例如引擎/马达118的操作速度,进而经由变速器122和车轮/轮胎124调节载具100的前进加速度。制动单元142使载具100减速。制动单元142可以使用摩擦来使车轮/轮胎124减速。在一些实施例中,制动单元142通过再生制动处理感应地使车轮/轮胎124减速以将车轮/轮胎124的动能转换为电流。
传感器融合算法144是被配置为接受来自传感器系统104的数据作为输入的算法(或存储算法的计算机程序产品)。数据可以包括例如表示在传感器系统104的传感器处感测的信息的数据。传感器融合算法144可以包括例如卡尔曼滤波器、贝叶斯网络等。传感器融合算法144基于来自传感器系统104的数据提供关于载具周围环境的评估。在一些实施例中,评估可以包括评估载具100周围环境中的单个对象和/或特征,评估特定情况和/或基于特定情况评估载具100和环境中的特征之间的可能干扰(例如,诸如预测碰撞和/或撞击)。
计算机视觉系统146可以处理和分析由相机134捕获的图像,以识别载具100周围环境中的对象和/或特征。检测的特征/对象可以包括交通信号、道路边界、其他载具、行人和/或障碍物等。计算机视觉系统146可以可选地采用对象识别算法、运动结构(SFM)算法、视频跟踪和/或可用的计算机视觉技术来实现检测的特征/对象的分类和/或识别。在一些实施例中,计算机视觉系统146可以可附加地配置为映射环境、跟踪感知对象、估计对象的速度等。
导航和路径系统148被配置为确定载具100的驾驶路径。例如,导航和路径系统148可以确定一系列速度和方向性朝向,以实现载具沿着基本上避开感知障碍物的路径移动,同时通常沿着通向最终目的地的基于道路的路径推进载具,例如,可以根据经由用户界面112的用户输入来设置。导航和路径系统148可以可附加地被配置为在载具100操作时基于感知的障碍物、交通模式、天气/道路状况等动态更新驾驶路径。在一些实施例中,导航和路径系统148可以被配置为结合来自传感器融合算法144、GPS 126和一个或多个预定地图的数据,以便确定载具100的驾驶路径。
避障系统150可以表示控制系统,被配置为识别、评估和避开或以其他方式顺利通过载具100周围环境中的潜在障碍。例如,避障系统150可以通过操作来影响载具导航的改变控制系统106中的一个或多个子系统来进行转向操纵、转弯操纵、制动操纵等。在一些实施例中,避障系统150被配置为基于周围的交通模式、道路状况等自动确定可行的(“可用的”)避障操纵。例如,避障系统150可以被配置为使得当其他传感器系统检测到邻近将被转向的载具的区域中的载具、建筑障碍、其他障碍物等时不进行转向操纵。在一些实施例中,避障系统150可以自动选择既可用又最大化载具乘员安全的操纵。例如,避障系统150可以选择被预测为在载具100的客舱中引起最小加速度的避开操纵。
载具100还包括外围设备108,被配置为允许载具100与外部传感器、其他载具、其他计算机系统和/或用户(例如载具100的乘员)之间的交互。例如,用于从乘员、外部系统等接收信息的外围设备108可以包括无线通信系统152、触摸屏154、麦克风156和/或扬声器158。
在一些实施例中,外围设备108用于接收载具100的用户的输入以与用户界面112交互。为此,触摸屏154既可以向载具100的用户提供信息,又可以传递来自用户经由触摸屏154向用户界面112指示的信息。触摸屏154可以被配置为经由电容感测、电阻感测、光学感测、表面声波处理等来感测来自用户手指(或触笔等)的触摸位置和触摸手势。触摸屏154能够感测在与触摸屏表面平行或平面的方向上、在垂直于触摸屏表面的方向上或两者上的手指移动,并且还能够感测施加到触摸屏表面的压力水平。载具100的乘员也可以使用语音命令接口。例如,麦克风156可以被配置为从载具100的用户接收音频(例如,语音命令或其他音频输入)。类似地,扬声器158可以被配置为向载具100的用户输出音频。
在一些实施例中,外围设备108用于允许载具100与外部系统之间的通信,诸如其周围环境内的设备、传感器、其他载具等和/或提供有关载具周围的有用信息(诸如交通信息、天气信息等)的物理上远离载具的控制器、服务器等。例如,无线通信系统152可以直接或经由通信网络与一个或多个设备无线通信。无线通信系统152可以可选地使用3G蜂窝通信,诸如CDMA、EVDO、GSM/GPRS,和/或4G蜂窝通信,诸如WiMAX或LTE。可附加地或可替代地,无线通信系统152可以例如使用WiFi与无线局域网(WLAN)通信。在一些实施例中,无线通信系统152可以直接与设备通信,例如,使用红外链路、蓝牙和/或ZigBee。无线通信系统152可以包括一个或多个专用短程通信(DSRC)设备,该设备可以包括载具和/或路边站之间的公共和/或私人数据通信。在本公开的上下文中,无线通信系统152也可以采用用于传送和接收嵌入在信号中的信息的其他无线协议,诸如各种载具通信系统。
如上所述,电源110可以为载具100的部件提供电力,诸如外围设备108中的电子设备、计算系统111、传感器系统104等。例如,电源110可以包括可充电锂离子或铅酸电池,用于将电能存储和释放到各种受电组件。在一些实施例中,一组或多组电池可以被配置为提供电力。在一些实施例中,电源110和能源120可以一起实现,如在一些全电动汽车中。
载具100的许多或所有功能可以经由计算系统111来控制,计算系统111从传感器系统104、外围设备108等接收输入,并将适当的控制信号通信传达到推进系统102、控制系统106、外围设备等,以实现载具100基于其周围环境的自动操作。计算系统111包括至少一个处理器113(其可以包括至少一个微处理器),其执行存储在诸如数据存储装置114的非暂时性计算机可读介质中的指令115。计算系统111还可以表示用于以分布式方式控制载具100的各个组件或子系统的多个计算设备。
在一些实施例中,数据存储装置114包含可由处理器113执行以执行载具100的各种功能(包括以上结合图1描述的那些)的指令115(例如,程序逻辑)。数据存储装置114也可以包含附加指令,包括向推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据、从其接收数据、与之交互和/或控制的指令。
除了指令115之外,数据存储装置114可以存储诸如道路地图、路径信息等数据,以及作为地图数据116的其他信息。此类信息可以在载具100以自主、半自主和/或手动模式操作期间由载具100和计算系统111使用,以选择去往最终目的地的可用道路、解释来自传感器系统104的信息等。
载具100和相关联的计算系统111向载具100的用户提供信息和/或从其接收输入,诸如载具100的客舱中的乘员。用户界面112可以相应地包括外围设备108集合内的一个或多个输入/输出设备,诸如无线通信系统152、触摸屏154、麦克风156和/或扬声器158,以允许计算系统111和载具乘员之间的通信。
计算系统111基于从指示载具和/或环境状况的各种子系统(例如,推进系统102、传感器系统104和/或控制系统106)接收的输入以及来自用户界面112的指示用户偏好的输入来控制载具100的操作。例如,计算系统111可以利用来自控制系统106的输入来控制转向单元138避开由传感器系统104和避障系统150检测的障碍物。计算系统111可以被配置为控制载具100及其子系统的许多方面。然而,一般情况下,会为手动覆盖自动控制器驱动的操作做出规定,诸如在紧急情况下,或仅响应用户激活的覆盖等。
本文描述的载具100的组件可以被配置为与它们相应系统内或外的其他组件以互连的方式工作。例如,相机134可以在以自主模式操作时捕获表示关于载具100的环境的信息的多个图像。环境可以包括其他载具、交通信号灯、交通标志、道路标识、行人等。计算机视觉系统146可以基于预先存储在数据存储装置114中的对象识别模型和/或通过其他技术与传感器融合算法144、计算系统111等一致地对环境中的各个方面进行分类和/或识别。
尽管载具100在图1中被描述和示出为具有集成到载具100中的载具100的各种组件,例如无线通信系统152、计算系统111、数据存储装置114和用户界面112,但是这些组件中的一个或多个可以可选地与载具100分开安装或关联。例如,数据存储装置114可以部分或全部与载具100分开存在,诸如在基于云的服务器中。因此,载具100的一个或多个功能元件可以以分开或在一起的设备元件的形式实现。构成载具100的功能设备元件通常可以以有线和/或无线方式通信地耦合在一起。
图2示出示例载具200,可以包括参考图1结合载具100描述的功能中的一些或全部。尽管出于说明性目的,载具200在图2中被示为四轮汽车,但本公开不限于此。例如,载具200可以代表卡车、厢式货车、半挂式卡车、摩托车、高尔夫球车、越野车或农用车等。
示例载具200包括传感器单元202、第一LIDAR单元204、第二LIDAR单元206、第一雷达单元208、第二雷达单元210、第一LIDAR/雷达单元212、第二LIDAR/雷达单元214以及雷达单元、LIDAR单元、激光测距仪单元和/或其他类型的一个或多个传感器可以位于载具200上的两个附加位置216、218。第一LIDAR/雷达单元212和第二LIDAR/雷达单元214可以采取LIDAR单元、雷达单元或两者的形式。
此外,示例载具200可以包括结合图1的载具100描述的任何组件。第一雷达单元208和第二雷达单元210和/或第一LIDAR单元204和第二LIDAR单元206可以主动扫描周围环境以发现潜在障碍物的存在并且可以类似于载具100中的雷达单元130和/或激光测距仪/LIDAR单元132。可附加地,第一LIDAR/雷达单元212和第二LIDAR/雷达单元214可以主动扫描周围环境以发现潜在障碍物的存在并且可以类似于载具100中的雷达单元130和/或激光测距仪/LIDAR单元132。
在一些示例中,LIDAR单元可以是两种不同类型的LIDAR单元之一。第一类型LIDAR单元可以是旋转的LIDAR,可以连续扫描LIDAR单元视场的整个区域。第二类型LIDAR单元可以是可以旋转和转向以扫描LIDAR单元视场的特定区域的LIDAR。第一类型LIDAR单元可以具有比第二类型LIDAR单元更短的范围。与第一类型LIDAR单元相比,第二类型LIDAR单元在操作时可能具有更小的视场。在一些示例中,载具200的一个或多个指定的LIDAR单元可以包含一种或两种类型的LIDAR单元。例如,安装在载具顶部的LIDAR单元204可以包含两种类型的LIDAR单元。在一个示例中,第二类型LIDAR单元在操作中可以具有在水平面中为8度宽且在垂直面中为15度宽的视场。
传感器单元202安装在载具200的顶部并且包括一个或多个传感器,被配置为检测关于载具200周围环境的信息,并输出信息的指示。例如,传感器单元202可以包括相机、雷达、LIDAR、测距仪和声学传感器的任何组合。传感器单元202可以包括一个或多个可移动底座,其可操作来调整传感器单元202中的一个或多个传感器的方位。在一个实施例中,可移动底座可以包括旋转平台,可以扫描传感器以获得来自载具200周围每个方向的信息。在另一实施例中,传感器单元202的可移动底座可以在特定角度和/或方位角范围内以扫描方式移动。传感器单元202可以安装在汽车的车顶,但其他安装位置也是可能的。可附加地,传感器单元202的传感器可以分布在不同的位置并且不需要并置在单个位置。一些可能的传感器类型和安装位置包括两个附加位置216、218。此外,传感器单元202的每个传感器可以被配置为结合或独立于传感器单元202的其他传感器移动或扫描。
在示例配置中,一个或多个雷达扫描仪(例如,第一雷达单元208和第二雷达单元210)可以位于载具200的后部附近,以主动扫描汽车200后部的区域以发现无线电反射对象的存在。类似地,第一LIDAR/雷达单元212和第二LIDAR/雷达单元214可以安装在载具前方附近以主动扫描载具前方区域。例如,雷达扫描仪可以位于适合照亮包括载具200的前行路径的区域而不会被载具200的其他特征遮挡的位置。例如,雷达扫描仪可以被定位为嵌入和/或安装在前保险杠、前大灯、前罩和/或引擎盖等中或附近。此外,可以设置一个或多个附加雷达扫描设备,以主动扫描载具200的侧面和/或后部,以发现无线电反射对象的存在,例如通过在后保险杠、侧板、踏脚板和/或底盘等中或附近包括此类设备。
在实践中,每个雷达单元可能能够扫描90度的波束宽度。当雷达单元放置在载具的拐角处时,如雷达单元208、210、212和214所示,每个雷达单元可能能够扫描水平面中的90度视场并向载具提供载具周围全360度区域的雷达视场。此外,载具还可以包括两个侧面雷达单元。当其他雷达单元被阻挡时,侧面雷达单元可能能够提供进一步的雷达成像,诸如在进行受保护的右转时(即,当转弯载具左侧的车道上有另一载具时右转)。
尽管图2中未示出,但载具200可以包括无线通信系统。无线通信系统可以包括无线发送器和接收器,可以被配置为与载具200外部或内部的设备进行通信。具体而言,无线通信系统可以包括被配置为与其他载具和/或计算设备通信的收发器,例如,在载具通信系统或道路车站。这种载具通信系统的示例包括专用短程通信(DSRC)、射频识别(RFID)和其他针对智能交通系统的建议通信标准。
载具200可以包括相机,可能在传感器单元202内部的位置处。相机可以是光敏仪器,诸如静态相机、摄像机等,其被配置为捕获载具200的环境的多个图像。为此,相机可以被配置为检测可见光,并且可以可附加地或可替代地被配置为检测来自光谱的其他部分的光,诸如红外光或紫外光。在一个特定示例中,传感器单元202可以包含光学相机(即,捕获人类可见光的相机)和红外相机两者。红外相机可能能够捕获相机视场内的热图像。
相机可以是二维检测器,并且可以可选地具有三维空间灵敏度范围。在一些实施例中,相机可以包括例如范围检测器,被配置为生成指示从相机到环境中的多个点的距离的二维图像。为此,相机可以使用一种或多种距离检测技术。例如,相机可以通过使用结构光技术来提供范围信息,其中载具200用预定的光图案(诸如网格或棋盘图案)照亮环境中的对象,并使用相机来检测来自周围环境的预定光图案的反射。基于反射光图案的失真,载具200可以确定到对象上的点的距离。预定光图案可以包括红外光,或用于此类测量的其他合适波长的辐射。在一些示例中,相机可以安装在载具200的前挡风玻璃内。具体地,相机可以位于从关于载具200的方位的前视视图捕获图像的位置。也可以在载具200内部或外部使用相机的其他安装位置和视角。此外,相机可以具有相关联的光学器件,可操作以提供可调节的视场。更进一步,相机可以安装到载具200,具有可移动底座以改变相机的指向角,诸如经由平移/倾斜机构。
此外,相机传感器可以配置有卷帘快门。卷帘快门通常会迭代地对光传感器进行采样以捕获图像数据。来自相机传感器的数据可以形成图像、多个图像或视频。例如,在传统的图像传感器中,卷帘快门可以一次迭代地对光传感器采样一行单元。在对具有卷帘快门的相机传感器进行采样时,传感器视场中的高速对象可能会出现失真。这种失真是由迭代采样引起的。因为单元是迭代采样的,所以被成像对象在每次采样之间会稍微移动。因此,每一行的采样时间将比前一行稍晚一些。由于对各行进行采样的延迟,具有水平运动的对象可能具有水平偏斜。例如,跨传感器的视场移动的载具可能具有使载具变形的水平偏斜和垂直压缩(或膨胀)。这种偏斜对于基于图像中对象的水平位置的处理可能很麻烦。本系统可以帮助识别由卷帘快门引起的可能的相机失真。
图3是根据示例实现方式的与自主载具有关的各种计算系统之间的无线通信的概念图。具体地,无线通信可以经由网络304发生在远程计算系统302和载具200之间。无线通信也可以发生在服务器计算系统306和远程计算系统302之间,以及服务器计算系统306和载具200之间。在载具200的操作期间,载具可以传送和接收来自服务器计算系统306和远程计算系统302的数据以帮助载具200的操作。载具200可以将与其操作有关的数据和来自其传感器的数据通信传达到服务器计算系统306和远程计算系统302。可附加地,载具200可以从服务器计算系统306和远程计算系统302接收与载具传感器感测的对象有关的操作指令和/或数据。
载具200可以对应于能够在位置之间运送乘客或对象的各种类型的载具,并且可以采用上述任何一种或多种载具的形式。
远程计算系统302可以表示与远程协助和操作技术有关的任何类型的设备,包括但不限于本文描述的那些。在示例中,远程计算系统302可以表示任何类型的设备,该设备被配置为(i)接收与载具200有关的信息,(ii)提供接口,人类操作员或计算机操作员可以通过该接口依次感知信息并输入与信息有关的响应,以及(iii)将响应发送到载具200或其他设备。远程计算系统302可以采取各种形式,诸如工作站、台式计算机、膝上型计算机、平板电脑、移动电话(例如,智能电话)和/或服务器。在一些示例中,远程计算系统302可以包括在网络配置中一起操作的多个计算设备。
远程计算系统302可以包括与载具200的子系统和组件相似或相同的一个或多个子系统和组件。远程计算系统302至少可以包括被配置用于执行本文所述的各种操作的处理器。在一些实现方式中,远程计算系统302还可以包括用户界面,该用户界面包括输入/输出设备,诸如触摸屏和扬声器。其他示例也是可能的。
网络304表示能够实现远程计算系统302和载具200之间的无线通信的基础设施。网络304还能够实现服务器计算系统306和远程计算系统302之间以及服务器计算系统306和载具200之间的无线通信。
远程计算系统302的位置可以在示例中变化。例如,远程计算系统302可以具有远离载具200的远程位置,载具200具有经由网络304的无线通信。在另一示例中,远程计算系统302可以对应于载具200内的与载具200分离的计算设备,但是人类驾驶员可以使用该计算设备与载具的乘客或驾驶员交互。在一些示例中,远程计算系统302可以是具有可由载具200的乘客操作的触摸屏的计算设备。
在一些实现方式中,本文描述的由远程计算系统302执行的操作可以可附加地或可替代地由载具200(即,由载具200的任何(多个)系统或(多个)子系统)执行。换言之,载具200可以被配置为提供载具的驾驶员或乘客可以与之交互的远程辅助机制。
服务器计算系统306可以被配置为经由网络304与远程计算系统302和载具200无线通信(或者可能直接与远程计算系统302和/或载具200)。服务器计算系统306可以表示被配置为接收、存储、确定和/或传送与载具200及其远程协助有关的信息的任何计算设备。这样,服务器计算系统306可以被配置为执行任何(多个)操作,或(多个)这种操作的部分,其在本文中被描述为由远程计算系统302和/或载具200执行。与远程协助有关的无线通信的一些实现可以使用服务器计算系统306,而其他通信可能不使用。
服务器计算系统306可以包括与远程计算系统302和/或载具200的子系统和组件类似或相同的一个或多个子系统和组件,诸如被配置用于执行本文描述的各种操作的处理器,以及用于接收来自远程计算系统302和载具200的信息并向远程计算系统302和载具200提供信息的无线通信接口。
上述各种系统可以执行各种操作。现在将描述这些操作和相关特征。
根据以上讨论,计算系统(例如,远程计算系统302,或者可能是服务器计算系统306,或者载具200本地的计算系统)可以操作以使用相机来捕获自主载具的环境的图像。通常,至少一个计算系统将能够分析图像并可能控制自主载具。
在一些实现方式中,为了促进自主操作,载具(例如,载具200)可以以多种方式接收表示载具操作的环境中的对象的数据(在本文中也称为“环境数据”)。载具上的传感器系统可以提供表示环境对象的环境数据。例如,载具可以具有各种传感器,包括相机、雷达单元、激光测距仪、麦克风、无线电单元和其他传感器。这些传感器中的每一个可以将关于每个相应传感器接收的信息的环境数据通信传达到载具中的处理器。
在一个示例中,雷达单元可以被配置为发送从载具附近的一个或多个对象反射的电磁信号。然后,雷达单元可以捕获从对象反射的电磁信号。捕获的反射电磁信号可以使雷达系统(或处理系统)能够对反射电磁信号的对象进行各种确定。例如,可以确定到各种反射对象的距离和位置。在一些实现方式中,载具可以具有不同方位上的多于一个雷达。实际上,载具可能有六个不同的雷达单元。可附加地,每个雷达单元可以被配置为将波束引导到雷达单元的四个不同扇区之一。在各种示例中,雷达单元可能能够通过扫描雷达单元的四个不同扇区中的每一个来扫描90度范围内的波束。雷达系统可以被配置为将捕获的信息存储到存储器以供载具的处理系统稍后处理。雷达系统捕获的信息可能是环境数据。
在另一示例中,激光测距仪(例如,LIDAR单元)可以被配置为发送可能从载具附近的一个或多个目标对象反射回来的电磁信号(例如,光,诸如来自气体或二极管激光器或其他可能的光源的光)。激光测距仪可能能够捕获反射的电磁(例如激光)信号。捕获的反射电磁信号可以使测距系统(或处理系统)能够确定到各种对象(诸如将电磁信号反射回激光测距仪的对象)的距离。测距系统还能够确定目标对象的速率或速度并将其存储为环境数据。
在一些实现方式中,处理系统可能能够组合来自各种传感器的信息以便进一步确定载具的环境。例如,处理系统可以结合来自雷达信息和捕获的图像的数据,以确定是否有其他载具或行人在自主载具的前面。在其他实现方式中,处理系统可以使用传感器数据的其他组合来做出关于环境的确定。
当在自主模式下操作时,载具可以在几乎没有人工输入的情况下控制其操作。例如,人类操作员可以将地址输入载具,然后载具可以在没有来自人的进一步输入的情况下驾驶到指定的目的地(例如,人不必转向或接触制动/油门踏板)。此外,当载具自主操作时,传感器系统可能正在接收环境数据。载具的处理系统可以基于从各种传感器接收的环境数据来更改对载具的控制。在一些示例中,载具可以响应于来自各种传感器的环境数据来更改载具的速率。载具可以改变速率以避开障碍物、遵守交通法规等。当载具中的处理系统识别载具附近的对象时,载具可以改变速率,或以另一方式更改运动。
当载具检测到对象但对检测到对象的信心不高时,载具可以请求人类操作员(或功能更强大的计算机)执行一项或多项远程协助任务,诸如(i)确认该对象是否实际上存在于环境中(例如,是否确实有停车标志或是否实际上没有停车标志),(ii)确认载具对对象的识别是否正确,(iii)如果识别不正确和/或(iv)为自主载具提供补充指令(或修改当前指令),则校正识别。
载具可以根据环境数据的来源以各种方式检测环境中的对象。在一些实现方式中,环境数据可以来自相机并且是图像或视频数据。载具可以分析捕获的图像或视频数据以识别图像或视频数据中的对象。在其他实现方式中,环境数据可以来自LIDAR单元。所述方法和装置可以被配置为监测图像和/或视频数据以检测环境对象的存在。在其他实现方式中,环境数据可以是雷达、音频或其他数据。载具可以被配置为基于雷达、音频或其他数据来识别环境中的对象。
在一些实现方式中,载具用于检测对象的技术可以基于已知数据集合。例如,与环境对象有关的数据可以存储到位于载具中的存储器中。载具可以将接收的数据与存储的数据进行比较以确定对象。在其他实现方式中,载具可以被配置为基于数据的上下文来确定对象。例如,与建筑有关的街道标志通常可能具有橙色。因此,载具可以被配置为将橙色的并且位于道路侧面附近的对象检测为与施工有关的街道标志。可附加地,当载具的处理系统在捕获的数据中检测到对象时,它还可以计算每个对象的置信度。
III.示例载具传感器视场
图4示出具有各种传感器视场的示例自主载具400。如先前关于图2所讨论的,载具400可以包含多个传感器。各种传感器的位置可以对应于图2中公开的传感器的位置。然而,在某些情况下,传感器可以具有其他位置。为简单起见,图4A中省略了传感器位置。对于载具400的每个传感器单元,图4A示出了相应的视场。传感器的视场可以包括传感器可以检测对象的角度区域和对应于传感器可以可靠地检测对象的距传感器的最大距离的范围。
如前所述,载具400可以包括六个雷达单元。第一雷达单元可以位于载具的左前方并且具有对应于视场402A的角部分的角视场。第二雷达单元可以位于载具的右前方并且具有对应于视场402B的角部分的角视场。第三雷达单元可以位于载具的左后方并且具有对应于视场402C的角部分的角视场。第四雷达单元可以位于载具的右后方并且具有对应于视场402D的角部分的角视场。第五雷达单元可以位于载具的左侧并且具有对应于视场402E的角部分的角视场。第六雷达单元可以位于载具的右侧并且具有对应于视场402F的角部分的角视场。六个雷达单元中的每一个都可以配置有90度的可扫描波束宽度。雷达波束宽度可能小于90度,但每个雷达单元可能能够控制雷达波束穿过90度视场。
载具400的第一LIDAR单元可以被配置为扫描载具周围的完整360度区域,如对应于视场404的角部分的角视场所示。载具400的第二LIDAR单元可以被配置为扫描小于载具周围360度区域的区域。在一个示例中,第二LIDAR单元可以在水平平面中具有8度视场,如对应于视场404的角部分的角视场所示。
可附加地,载具还可以包括至少一个相机。相机可以是光学相机和/或红外相机。相机可以具有对应于视场408的角部分的角视场。
除了载具400的各种传感器中的每一个的视场之外,每个传感器还可以具有对应的范围。在一个示例中,雷达单元的范围可能大于任一LIDAR单元的范围,如比LIDAR单元的视场404和406延伸更远的雷达单元的视场402A-402E所示。可附加地,第一LIDAR单元的范围可以大于第二LIDAR单元的范围,如比视场406延伸更远的视场404所示。相机可以具有由视场406的范围所示的范围。在各种示例中,相机的范围可以大于或小于其他传感器的范围。
应当理解,图4的传感器视场、雷达单元等被描绘为示例说明并且未按比例。
IV.示例系统和方法
现在将更详细地描述本公开的示例系统和方法。
图5是根据示例实施例的方法500的流程图。方法500可以包括如块502-506中的一个或多个所示的一个或多个操作、功能或动作。尽管按顺序示出每个方法的块,但在某些情况下,这些块可以并行执行,和/或以与本文描述的顺序不同的顺序执行。此外,各种块可以组合成更少的块、划分成附加的块和/或基于期望的实现来移除。
此外,对于方法500以及本文公开的其他处理和方法,流程图示出了当前实施例的一种可能实现的功能和操作。对此,每个块可以表示模块、段、制造或操作处理的一部分或程序代码的一部分,其包括可由处理器执行的一个或多个指令,用于实现处理中的特定逻辑功能或步骤。程序代码可以存储在任何类型的计算机可读介质上,例如,包括磁盘或硬盘驱动器的存储设备。计算机可读介质可以包括非暂时计算机可读介质,例如,诸如寄存器存储器、处理器高速缓存和随机存取存储器(RAM)等短时间存储数据的计算机可读介质。计算机可读介质还可以包括非暂时性介质,诸如二级或持久性长期存储,例如只读存储器(ROM)、光盘或磁盘、光盘只读存储器(CD-ROM)。计算机可读介质也可以是任何其他易失性或非易失性存储系统。例如,计算机可读介质可以被认为是计算机可读存储介质或有形存储设备。
可附加地或可替代地,对于方法500以及本文公开的其他处理和方法,流程图中的一个或多个块可以表示被接线以在处理中执行特定逻辑功能的电路。
在一些示例中,对于方法500以及本文公开的其他处理和方法,流程图中描述的功能可以由单个载具(例如,载具100、200等)执行,分布在多个载具之间,由远程服务器/外部计算系统(例如,系统302和306)和/或由一个或多个外部计算系统和一个或多个载具的组合执行,以及其他可能性。
在块502,方法500涉及确定自主载具的操作环境,其中自主载具包括一个或多个传感器,一个或多个传感器中的每个传感器被配置为根据视场体进行操作。
在块504,方法涉及基于所确定的自主载具的操作环境,将一个或多个传感器中的至少一个传感器的视场体从第一视场体调整为不同于第一视场体的调整视场体。
在块506,方法涉及控制自主载具使用具有调整视场体的至少一个传感器进行操作。
如上所述,自主载具的一个或多个传感器可以包括一个或多个LIDAR传感器的集合、一个或多个雷达传感器的集合和/或一个或多个相机的集合(在各种波段中操作,包括可见光和红外线)、以及其他可能的传感器类型。在实践中,特定类型的所有传感器可以被配置为具有相同的最大视场体,使得接收和处理传感器数据的载具软件被配置为将特定类型的所有传感器视为具有最大视场体。例如,载具的所有雷达传感器的最大视场范围为220米,载具的所有LIDAR传感器的最大视场范围为200米。按照这些思路,为载具的至少一个传感器调整视场体的行为可能涉及对特定传感器类型的每个传感器进行相同的视场调整。例如,如果载具系统基于载具的操作环境确定要对LIDAR传感器进行调整,则载具系统可以对载具的所有LIDAR传感器进行调整。其他示例也是可能的。此外,在替代实施例中,传感器视场体可以单独配置,使得特定传感器类型的传感器可以被配置为具有与相同传感器类型的另一传感器不同的最大视场体。
在给定时间点,载具可以被配置为在多个不同的操作环境之一中操作,每个环境可以包括载具内部和/或外部的一个或多个状况。(术语“状态”或“操作状态”在下文中可以与术语“操作环境”互换使用,以指代由至少一个状况定义的操作环境)。例如,载具的操作环境可以是或包括以下中的一个或多个:(i)默认状态(例如,定义为涉及与本文列出的其他环境不同的操作环境的状态,其中载具根据速度、转向、导航和/或传感器视场等的预定默认参数操作),(ii)晴朗天气状态(例如,阳光灿烂、不是阴天、无雨、雪或雾),(iii)白天操作状态(例如,从日出到日落的一段时间),(iv)夜间操作状态(例如,从日落到日出的一段时间),(v)下雨天气状态,(vi)下雪天气状态,(v)有雾天气状态,(viii)自主载具正在行驶的特定类型道路的状态(例如,市区道路、郊区道路、乡村道路、当地街道、高速公路、砾石、砖块、沥青和/或混凝土),(ix)至少阈值数量的载具在距自主载具的阈值距离内的道路上的状态(例如,在载具16米内有七个或更多个载具),(x)阴天状态(例如,更多云和更少光线),(xi)传感器清洁状态,在这种状态下,载具检测到载具的一个或多个传感器有污垢、水滴、冰/霜、臭虫飞溅、油、道路污垢或其他阻碍其机盖/窗户或其他表面的另一物质,(xii)交通畅通状态,(xiii)中等交通状态,(xiv)交通繁忙状态,或(xv)一个或多个传感器中的至少一个传感器出现传感器错误的状态(例如,一个或多个LIDAR传感器产生指示(多个)传感器无法操作的错误代码或可能影响经由(多个)传感器获得的测量的可靠性的其他指示)。其他操作环境也是可能的。
如上所述,操作环境可以是或包括状况的组合。例如,操作环境可以是晴朗天气、阳光灿烂、白天操作状态(例如,上午11:00并且阳光灿烂)。作为另一示例,操作环境可以是晴朗天气、白天、上坡地形、柏油路、交通繁忙状态。在一些示例中,默认状态可以由一个或多个其他状态组成,诸如晴朗天气状态和载具在沥青或混凝土上驾驶的状态。此外,在一些示例中,默认状态可以具有作为其对应视场体的每种传感器类型的最大视场体。此外,在一些示例中,可能存在具有不同程度的天气状况的操作环境,诸如严重的暴风雪和/或风、大雨和/或大风、或超过预定阈值的雾密度等、以及其他可能性。
在某些情况下,影响一种类型传感器的视场体的操作环境可能会或可能不会影响其他类型传感器的(多个)视场体。例如,载具系统可能会在夜间有雾天气中减小LIDAR传感器的视场范围,并使用雾/夜间操作环境信息来减小载具的一个或多个相机可以检测到具有特定对比的目标(例如,雾中的灰色汽车)的视场范围。作为另一示例,来自高速公路标志(回射器)的大反射可能会导致载具系统以特定方式调整LIDAR传感器的视场范围,但大反射可能不会导致载具系统调整(多个)相机可以检测到对象的视场范围。其他示例也是可能的。
为了促进为一个或多个传感器中的至少一个调整传感器视场体的行为,载具系统可以在存储器(例如,数据存储装置114)中存储多个操作环境中的每个操作环境和一个或多个传感器中的至少一个传感器的对应调整视场体之间的映射。在这样的实施例中,基于自主载具的操作环境调整视场体的行为可以涉及为所确定的自主载具的操作环境选择对应调整视场体。在一些实施例中,用于特定操作环境的对应调整视场体可以是调整视场体集合的一部分,对应于操作环境并且包括用于多种传感器类型(例如,LIDAR、雷达、相机和/或其他)中的每一个的相应调整视场体。存储的操作环境和映射可以采用各种形式,诸如表格。
图6以表格600的形式描绘了传感器视场参数(即,在该示例中为范围)到示例操作环境的示例映射。如图所示,对于操作环境的八个代表性示例中的每一个,表600包括用于以下三种传感器类型中的每一种的对应的相应视场范围:LIDAR、雷达和相机。在一些示例中,使用表格600,载具系统可以检测有雾天气,确定载具在有雾天气操作环境中操作,并且响应地选择映射到有雾天气操作环境的视场范围值以供使用。具体而言,具有LIDAR传感器集合、雷达传感器集合和相机集合的载具系统可以使所有LIDAR传感器的视场范围为50米,所有雷达传感器的视场范围为70米,所有相机的视场范围为120米。在白天操作的雾天,相机可能比LIDAR传感器更可靠,而在夜间,由于前照灯散射回载具,LIDAR传感器可能更可靠。
作为另一示例,载具系统可以使用相机集合中的至少一个相机检测错误并且基于检测选择一个或多个视场体参数(例如,距离、方位角和/或仰角)。例如,载具系统可以基于确定由至少一个相机获取的一个或多个图像低于预期锐度、粗糙度和/或识别超出特定距离的细节的能力的其他测量值来检测相机误差(例如,我们期望在50米外看到的具有高对比度的参考街道标志在图像中是不可辨别的)。因此,载具系统可以响应地切换以确定其操作环境是错误状态,在该错误状态下,它可以忽略来自所有相机的所有读数。可替代地,在传感器不太可靠的操作环境中,可能会出现各种变化,载具系统可能会对这些传感器使用缩小的视场范围、方位角和/或仰角,而不是忽略这些传感器的所有读数。例如,如果载具系统估计相机图像在大约10米以上的对比度较低,LIDAR读数在50米以上时异常,则载具系统可能会将所有相机的视场范围减小到70米,并可附加地将所有LIDAR传感器的视场减小到50米。为了便于这个示例和其他示例,相对于图6中所示的环境,可能存在附加的或替代的传感器错误操作环境。其他示例也是可能的。
在替代实施例中,载具系统可以仅使用来自特定类型传感器子集的映射的视场体参数值。例如,在有雾天气中,载具系统可以为图4所示的载具的第一LIDAR单元使用50米的第一视场范围,但可以为载具的第二LIDAR使用200米的默认视场范围。在其他替代实施例中,载具系统可能仅使用传感器类型子集的传感器视场体参数值。例如,在有雾天气中,载具系统可能会减小LIDAR和相机传感器的视场范围,但可能会保持雷达的视场范围不变(例如,默认为220米)。其他示例也是可能的,包括更多或更少传感器类型的映射。
对于映射到对应的调整视场体参数值的传感器类型可附加地或可替代地,上述存储的映射或存储在存储器中的单独映射可能会将传感器类型映射到与传感器视场有关的其他信息,并影响传感器可能获取的传感器数据。例如,存储的映射可能会将传感器类型映射到某些传感器在获取传感器数据时可能使用的功率水平。
作为更具体的示例,对于LIDAR传感器,存储的映射可以将LIDAR传感器类型映射到LIDAR传感器在获取LIDAR数据时发射的激光脉冲的功率水平。在存储映射的实施例和/或可能不使用存储的映射的其他实施例中,将至少一个传感器的视场体从第一视场体调整为不同于第一视场体的调整视场体的行为可以涉及将在获取传感器数据时由LIDAR传感器发射的激光脉冲的功率水平从第一功率水平调整到不同于第一功率水平并且与调整视场体相关联的调整功率水平。此外,控制自主载具使用具有调整视场体的至少一个传感器进行操作的行为可以包括控制LIDAR传感器通过发射一个或多个具有与调整视场体相关联的激光脉冲来获取传感器数据。例如,在检测到较大回射器目标之后,当激光照射较大回射器目标时,可以降低用于发射激光脉冲的功率水平。作为另一示例,可以在有雾状况下增加功率水平,例如当载具系统正在观察狭窄视场时。其他示例也是可能的。特定调整功率水平可以以各种方式与调整视场体相关联。例如,载具系统存储的映射可以对调整视场体的特定调整范围、方位角或仰角映射相应的对应调整功率水平,在该水平上可以发生传输以获取(或获取和忽略、丢弃、识别等)与调整距离、方位角或仰角相对应的传感器数据。其他示例也是可能的。
作为另一具体示例,对于雷达传感器,存储的映射可以将雷达传感器类型映射到雷达传感器在获取雷达数据时发射的无线电波的特定无线电波特性(例如,形状、幅度、带宽、持续时间)。例如,发射无线电波的发射功率,以及载具雷达系统执行的任何发射或接收波束成形,也可以被认为是无线电波特性。在存储诸如这些的存储映射的实施例中和/或在可能不使用存储映射的其他实施例中,将至少一个传感器的视场体从第一视场体调整为不同于第一视场体的调整视场体的行为可以涉及在获取传感器数据时调整由雷达传感器发射的无线电波的无线电波特性,诸如通过将特性(例如,发射功率)从第一值调整为不同于第一值的调整值或通过以另一种方式调整特性。此外,控制自主载具使用具有调整视场体的至少一个传感器进行操作的行为可以包括控制雷达传感器通过发射具有与调整视场体相关联的调整无线电波特性的一个或多个无线电波来获取传感器数据。其他示例也是可能的。特定调整无线电波特性可以以各种方式与调整视场体相关联。例如,载具系统存储的映射可以对调整视场体的特定调整范围、方位角或仰角映射可以发生传输以获取(或获取并忽略,丢弃、识别等)与调整距离、方位角或仰角相对应的传感器数据的相应的对应调整无线电波特性。其他示例也是可能的。
在载具系统如何可以调整雷达传感器视场体的更具体的示例中,在大雨的操作环境中,载具系统(或用于控制雷达的传感器芯片)可以减少雷达方位角扫描以减小视场体,并且还可以将更多天线增益定向到正向,以提高在雨中的穿透力。作为另一示例,在密集的市区环境中,载具系统(或用于控制雷达的传感器芯片)可以使雷达传感器在对应于大型回射器状目标的特定角度发射更少的功率,从而改进雷达传感器检测大型回射器状目标附近的小目标的能力。再例如,当载具的雷达罩上有水滴时,载具系统(或用于控制雷达的传感器芯片)可以使雷达传感器传输更多的功率,以补偿水滴并达到雷达罩干燥时雷达传感器能够达到的范围。其他示例也可以。
在一些实施例中,即使传感器的视场体的范围、方位角和/或仰角可以调整为小于该传感器和参数的最大视场值的值,传感器可能仍被配置为获取并向载具系统(例如,向配置为处理传感器数据的处理器)发送与超出与调整视场体相关联的相应范围、方位角和/或仰角的范围、方位角和/或高程相对应的传感器数据。在这样的实施例中,例如当控制载具以使用具有调整视场体的传感器操作时,载具系统可以忽略(例如,丢弃或存储但不用作确定载具环境的基础,诸如对象检测)传感器数据,对应于大于与调整视场体相关联的相应范围、方位角和/或仰角的范围、方位角和/或仰角。例如,如果LIDAR传感器的范围从200米减小到150米,则载具系统可能会忽略与超过150米的载具距离相对应的传感器数据。其他示例也是可能的。可附加地或可替代地,载具系统可以识别(例如,标记或以其他方式将数据可能可疑的指示存储在存储器中)与大于调整视场体的最大参数值的参数值相对应的传感器数据。在替代实施例中,这样的传感器可以被配置为使得传感器可以将其自身设置为不获取与超出与调整视场体相关联的相应范围、方位角和/或仰角的范围、方位角和/或仰角相对应的传感器数据。可附加地或可替代地,传感器可以被配置为获取与超出与调整视场体相关联的相应范围、方位角和/或仰角的范围、方位角和/或仰角相对应的传感器数据,但还被配置为丢弃这种传感器数据,以减少从传感器发送到载具系统的其他计算设备的数据量。
控制载具使用具有调整视场体的至少一个传感器进行操作的行为可以涉及控制载具使用具有调整视场体的至少一个传感器来以自主模式操作——即,控制载具在自主模式下操作的同时使用基于调整视场体的至少一个传感器获取传感器数据。在一些实施例中,为了促进这一点,载具上的本地计算系统可以将其自身设置为忽略在载具操作期间获取的传感器数据读数,这些读数超出与至少一个传感器的每一个的调整视场体相关联的相应范围、方位角和/或仰角。可附加地或可替代地,远程系统可以向载具的本地计算系统发送指令,该指令在被本地计算系统接收时,使本地计算系统控制载具以自主模式操作,其中本地计算系统忽略超出与至少一个传感器中的每一个的调整视场体相关联的相应范围、方位角和/或仰角的传感器数据读数。其他示例也是可能的。
在一些实施例中,载具的传感器和相关的计算设备,诸如控制一个或多个传感器的操作的芯片(例如,微芯片),可以在传感器将获取的传感器数据发送到交通工具上计算机或远程计算机之前执行操作,这可以影响交通工具上计算机或远程计算机如何控制载具的操作。具体地,这样的传感器芯片可以执行方法500(或方法800,在本说明书后面更详细地描述)的一个或多个操作。例如,传感器芯片可以被配置为基于获取的传感器数据确定载具的操作环境(以与下面更详细讨论的相同或相似的方式)并响应性地调整一个或多个传感器的视场体。在此上下文中,调整视场体的行为可以涉及传感器芯片忽略或标记与范围、方位角和/或仰角相对于的传感器数据大于与调整视场体相关联的相应范围、方位角和/或仰角。可附加地或可替代地,调整视场体的行为可以涉及传感器芯片(i)在采集传感器数据时将一个或多个LIDAR传感器发射的激光脉冲的功率水平从第一功率水平调整到不同于第一功率水平的调整功率水平和/或(ii)通过以与调整视场体相关联的调整功率水平发射一个或多个激光脉冲来获取传感器数据。可附加地或可替代地,调整视场体的行为可以涉及传感器芯片(i)在获取传感器数据时调整由一个或多个雷达传感器发射的无线电波的特性(例如,从第一值到不同于第一值的调整值)和/或(ii)通过发射具有与调整视场体相关联的调整无线电波特性的一个或多个无线电波来获取传感器数据。其他示例也是可能的。
载具系统确定载具操作环境的行为可以以多种方式发生。一般来说,该行为可能涉及载具系统接收与载具周围环境相关联的信息(例如,在道路上检测的对象、由各种传感器检测的天气数据等)、与载具正在进行的操作相关联的信息及其组件(例如,传感器错误代码)和/或由用户(例如,载具的驾驶员)经由用户界面112输入的信息。例如,载具的一个或多个传感器可以获取传感器数据和载具系统可以使用传感器数据确定沿载具行驶路线的特定位置的天气状况。然后,载具系统可以使用(多个)确定的天气状况作为确定载具操作环境的基础。作为更具体的示例,载具的一个或多个传感器可以获取传感器数据,载具系统被配置为将其解释为阳光(因此指示白天)和下雨天气的指示,并且响应于获取和分析传感器数据,载具系统可以确定载具正在下雨状态下操作。例如,载具系统可配置为通过观察LIDAR激光脉冲击中雨滴、雪花或雾滴的后向散射光来确定天气状况。类似地,载具的雷达传感器可能会获取传感器数据,并且从该数据中,载具系统可以根据空气中水滴的后向散射雷达能量的数量/分布/多普勒频移,推断环境中存在何种类型的降雨状况(例如,轻度、中度、重度)。作为确定操作环境的另一示例,载具的相机可以获取一个或多个图像,并且从(多个)图像中,载具系统可以基于特定范围内与已知目标的对比度降低量(例如,交通工具上存储的先验信息)推断雾状况(例如,浓密、薄等)。
作为另一具体示例,载具的驾驶员、远程助手或乘客可能知道(例如,基于天气预报)暴风雪即将开始,并可能提供输入数据(例如,经由载具上的触摸屏GUI)向载具指示开始在下雪天气状态下操作的命令。因此,载具系统响应于接收到输入数据,可以控制载具开始在下雪天气状态下操作,这也可以采取载具系统确定载具在下雪天气状态下操作的形式。作为该示例的甚至更具体的变体,载具系统可以访问载具周围环境的预定3D地图,诸如显示载具正在接近的停车标志的3D地图。载具系统可以配置为将预定的3D地图与载具传感器实时获取的传感器数据进行比较,并根据比较确定载具的操作环境。例如,3D地图可能清楚地显示停车标志,但载具的相机或LIDAR传感器可能会在停车标志不那么清晰可见时获取传感器数据,载具系统可以被配置为根据比较中确定的差异性质将其解释为特定类型的天气状况,诸如雪。其他示例也是可能的。
作为又一具体示例,如上所述,载具系统可以接收由载具传感器中的一个或多个获取的传感器数据,并且基于传感器数据确定载具传感器中的至少一个的传感器误差(例如,基于超出预定义阈值传感器读数范围的异常传感器读数)。使用传感器错误,载具系统可以确定载具在特定传感器错误状态下操作。其他示例也是可能的。
在一些实施例中,载具系统可以被配置为基于与沿载具行驶路线的特定位置相关联的天气状况来确定载具的操作环境。为了便于这一点,载具系统可以接收指示沿载具行驶路线的特定位置的天气状况的天气数据,并且基于接收的天气数据指示的天气状况,载具系统可以确定载具的操作环境。天气状况可以采取本文所述的任何一种或多种天气状况和/或其他可能的天气状况的形式。特定位置可以以各种形式在天气数据中表示。一般来说,位置可以是动态的(例如,载具沿行驶路线的当前位置)或静态的(例如,载具的目的地或前往目的地的沿途位置)。此外,位置可以是具有特定半径并以特定地标为中心的圆形区域(例如,具有8公里半径并以城市的市中心为中心的圆形区域)。区域的其他边界也是可能的,诸如城市及其在预定地图上表示的边界。
在一些实施例中,载具系统可以从天气站服务器或其他类型的服务器接收天气数据。天气站服务器可以是特定位置本地的天气站服务器——即专用于特定位置的天气站服务器,用于获取与特定位置相对应的天气数据并将天气数据发送到一个或多个载具系统。可附加地或可替代地,天气站服务器可以是全球天气站服务器,其被配置为获取对应于多个位置的天气数据,诸如整个州、县、国家等。全球天气站服务器还可以作为服务器操作,该服务器被配置为从多个本地天气站服务器收集天气数据并将收集的天气数据发送到一个或多个载具系统。在一些实施例中,天气站服务器可以被配置为以各种方式估计天气状况并且在天气数据中包括不同类型的信息。例如,天气站服务器可以以雾、薄雾、雪和/或雨“甜甜圈”或其他形状表示、云、雾和雾滴分布、密度和直径的形式和/或其他形式估计天气状况。这种天气状况估计的行为可能涉及天气站服务器(或载具)监测和分析雾、薄雾、雨等甜甜圈质量的指示。本地或全球天气站服务器的其他示例功能也是可能的。
为了促进从天气站服务器接收天气数据,载具系统在确定载具的操作环境之前,可能会从多个可能的天气站服务器中选择一个天气站服务器并向选择的天气站服务器发送对天气数据的查询。然后,载具系统可以响应于查询从选择的天气站接收天气数据。载具系统可以被配置为基于各种标准选择天气站服务器。在一些示例中,载具系统可以选择距载具当前位置的阈值距离内(例如,16公里内)的天气站服务器。在其他示例中,载具系统可以选择距载具的估计未来位置在阈值距离内的天气站服务器或其他天气站数据发送器(例如,如果载具正在前往城市的路线中,则载具系统可能选择距离城市边界8公里以内的天气站服务器)。其他示例也是可能的。
在一些实施例中,天气站服务器可以被配置为将某些位置的天气数据的更新发布到一队载具(例如,与多个不同载具相关联的多个不同载具系统)或单个载具。此外,天气站服务器可以被配置为响应于从载具系统接收到对天气数据的查询和/或没有被载具系统特别请求(例如,被配置为每30分钟发布一次特定位置的天气数据更新)将天气数据发送到载具系统。
在本文提供的任何示例中,天气数据可以被加时间戳,使得载具系统可以使用时间戳作为参考来确定载具的操作环境。例如,如果时间戳表明一个载具在35分钟前在特定区域经历了雾,则接近同一区域的另一载具可能基于提供超过预定义阈值(例如,30分钟)的时间的时间戳,确定有雾状况不再存在有阈值高似然性。因此,其他载具可能不会调整传感器视场体以解决这种有雾状况,或者可能会在一个或多个其他信号确认有雾状况的可能性之后调整接受的传感器视场体。
图7示出示例载具与本地天气站服务器700和全球天气站服务器702进行通信的示例通信系统。具体地,图7示出行驶路线708(例如,道路)上的第一载具704和第二载具706。此外,图7描绘了天气数据可能对应的示例感兴趣区域710。尽管图7示出载具704、706直接与服务器700、702通信,但是这种通信可以可附加地或可替代地经由一个或多个其他计算设备,诸如图3的远程计算系统302来执行。
在一个示例中,第一载具704可以向一个或多个服务器700、702查询对应于区域710的天气数据,因为区域710沿着第一载具704的行驶路线708。如上所述,第一载具704可以确定本地天气站服务器700在距第一载具740的当前位置的阈值距离内和/或在距区域710的阈值距离内,并且响应地选择本地天气站服务器700以查询对应于区域710的天气数据。可附加地或可替代地,第二载具706可以获取指示区域710中存在的至少一个天气状况的传感器数据,并且将指示(多个)状况的天气数据直接发送到第一载具704,或者第一载具704可以经由另一计算设备,诸如服务器700、702中的一个或多个,接收天气数据。
通过以上述方式配置载具系统和天气站服务器,可以有效地向载具提供天气更新,从而使载具能够快速调整传感器视场体以适应不断变化的天气状况。
对于被配置为获取、收集、管理和发送天气数据的(多个)天气站服务器可附加地或可替代地,载具系统可以直接或间接地从其他载具系统接收用于其他载具的天气数据。例如,一个载具系统可能会将天气数据发送到另一个载具系统。作为另一示例,全球系统(例如,服务器计算系统306或远程计算系统302)可以被配置为接收与各种地理区域相关联的天气数据并将其发送到一队载具。因此,载具可以有利地相互通知其他载具当前正在行驶或规划行驶的区域的天气状况,从而使彼此实时了解情况,并使彼此能够相应地快速调整传感器视场体。
根据以上讨论,在一些实施例中,载具可以被配置为作为收集天气数据并将其传送到其他载具(例如,被配置为以自主模式操作的其他载具)的天气站、天气站服务器和/或另一后端服务器(例如,图3的服务器计算系统306)。可附加地或可替代地,载具可以被配置为作为便于载具、天气站和/或其他服务器之间的天气数据通信和/或收集天气数据的天气站服务器来操作。为简洁起见,被配置为作为天气站和/或天气站服务器操作的载具将被称为天气站载具。在一些示例中,一队天气站载具可以在它们之间共享天气数据,这可以帮助定位天气数据,因为一队载具可以在它们之间共享和/或由后端服务器通知彼此的位置。天气站载具的示例优势是减少自主载具对其他天气站或其他资源的依赖。
被配置为作为天气站服务器操作的载具可以被配置有本文所述的任何一个或多个传感器并且使用(多个)这样的传感器来获取天气数据。可附加地或可替代地,可以对(多个)这样的传感器进行特殊修改,以使(多个)传感器能够获取附加的或比平常更详细的天气信息。
可附加地或可替代地,这样的载具可以包括附加的传感器、组件和计算设备,这些传感器、组件和计算设备可以使载具能够获取和提供天气站可能提供的那种天气数据,但通常不会在载具的标准操作期间使用(例如,当载具不作为天气站服务器操作时)。例如,载具可以包括被配置为确定载具环境的空气质量的传感器、被配置为确定载具外部湿度的传感器、太阳能传感器(例如,用于确定载具设备上的太阳能负载和计算由于太阳可能影响载具及其设备的预期温度变化)、温度传感器和/或雨量传感器以及其他可能性。本文所述的任何一个或多个传感器(例如,LIDAR、雷达、相机、热量、湿度、空气质量、太阳能、雨水等)可以是物理上不同的传感器,或者可以集成在一起作为单个传感器,配置用于与获取天气数据以促进载具作为天气站服务器的操作。此外,这种传感器可以安装在载具内外的各种位置,诸如车顶、挡风玻璃、镜子等。
在一些实施例中,被配置为作为天气站服务器操作的载具可以被分配以获取具有特定地理位置(例如城市或郊区)的天气数据。可附加地或可替代地,这样的载具可以获取用于特定天气服务或服务的天气数据,诸如本地、国家或全球广播、电视或在线天气服务。
在一些实施例中,对于调整传感器视场体的载具系统可附加地或可替代地,载具系统或诸如远程计算系统302的其他计算系统可以被配置为基于天气状况对载具变更路线。例如,图7中的第二载具706可以确定并向远程计算系统302或服务器700、702之一报告区域710中的恶劣天气以及第二载具706的载具系统由于恶劣天气而减小到超过阈值的至少一个传感器视场体减小。阈值可以是指示视场体的值,在该视场体中,减小到该值之外的至少一个传感器对于在恶劣天气中导航的使用可能不可靠。因此,如果远程计算系统302或与第一载具704相关联的其他计算系统(包括第一载具的载具系统)确定降低超过阈值,远程计算系统302可以响应地重新定向第一载具704(其尚未到达区域710)以采取替代路线。其他示例也是可能的,诸如可能希望载具避开不太恶劣的天气的场景。
变更路线的决定也可以基于其他因素来确定,诸如经历天气状况的区域的大小。例如,如果确定经历雾的区域小于阈值大小(例如,半径为5公里或更小的圆形区域),则载具可能会因为该区域足够小而被变更路线以避开该区域,从而对载具变更路线可能不会在很大程度上增加载具的估计行驶时间。其他示例也是可能的。
在某些情况下,载具系统可能希望在载具到达与确定的操作环境相关联的行驶路线上的特定位置(例如,具有下雨天气的区域、交通繁忙的路段等)之前,主动执行至少一个公开的操作。例如,载具系统可以被配置为在估计载具到达特定位置之前的阈值时间段(例如,5分钟)内执行调整至少一个传感器的视场体的行为。可附加地或可替代地,载具系统可以被配置为在估计载具到达特定位置之前在阈值距离(例如,1.6公里)内执行调整至少一个传感器的视场体的行为。为了便于这些确定,载具系统可能已经存储并且可能持续更新表示估计的行驶路线和沿行驶路线的一个或多个点的估计时间的数据,包括最终目的地和/或一个或多个中间点。其他示例也是可能的。
图8是根据示例实施例的另一方法800的流程图。方法800可以包括如块802-806中的一个或多个所示的一个或多个操作、功能或动作。
在块802,方法800涉及根据第一视场体来操作自主载具的传感器,其中第一视场体与自主载具的第一操作环境相关联。
在块804,方法800涉及接收指示自主载具的第二操作环境的数据,其中第二操作环境与自主载具的环境中的环境状况相关联。
在块806,方法800涉及自动调整传感器的操作以根据第二视场体进行操作,其中第二视场体与第二操作环境相关联。
在一些实施例中,传感器可以是以下之一:LIDAR、雷达和相机。
在一些实施例中,环境状况可以是与以下有关的天气状况之一:雾、雨和雪。
在一些实施例中,环境状况可以与太阳状况相关联,太阳状况可以与当日时间(诸如白天、黄昏或夜间)相关联。
在一些实施例中,方法800还可以涉及使用来自以第二视场体操作的传感器的数据来控制自主载具。使用来自以第二视场体操作的传感器的数据来控制自主载具的行为可以涉及调整自主载具的速度。
在一些实施例中,自主载具可以是第一自主载具,并且接收指示自主载具的第二操作环境的数据的行为可以包括接收第二自主载具的操作环境的数据。第二自主载具可以在第一自主载具的规划路线上操作。
在一些实施例中,接收指示自主载具的第二操作环境的数据的行为可以涉及接收第二自主载具的环境中的环境状况的数据。
在一些实施例中,自动调整传感器的操作以根据第二视场体进行操作的行为可以涉及丢弃与超出与第二视场体相关联的最大视场范围的视场范围相关联的数据。
在一些实施例中,自动调整传感器的操作以根据第二视场体进行操作的行为可以涉及基于自主载具的驾驶方向将与传感器相关联的方位角或仰角调整到与第二视场相关联的相应方位角或仰角。
如上所述,至少一个载具传感器的视场体可以基于载具的ODD进行调整。载具可以具有多个ODD,每个ODD包括环境状况、地理状况、当日时间状况、交通状况或道路状况中的至少一个。此外,每个ODD可以与表示载具周围的空间的一个或多个传感器中的至少一个传感器的相应预定视场体相关联,在该空间内期望至少一个传感器以特定置信度水平检测对象。在一些示例中,载具系统可以在存储器中存储每个ODD的标识符,以及对于每个ODD,ODD包括的(多个)状况和一个或多个传感器中的至少一个的相应预定视场体。
图9是根据示例实施例的另一方法900的流程图。方法900可以包括如块902-906中的一个或多个所示的一个或多个操作、功能或动作。
在块902,方法900涉及识别自主载具的多个ODD,其中每个ODD包括环境状况、地理状况、当日时间状况、交通状况或道路状况中的至少一个,并且其中每个ODD与一个或多个传感器中的至少一个的预定视场体相关联。在一些示例中,识别多个ODD的行为可以涉及参考载具的ODD在存储器中的存储位置。
在块904,方法900涉及将自主载具与多个ODD中的第一ODD相关联。在一些示例中,载具系统可以使用载具传感器中的一个或多个和/或远离载具定位的一个或多个传感器(例如,另一载具的传感器或安装在诸如停车标志、隔离带、交通灯等的道路结构上的传感器)来检测载具环境的一个或多个状况并选择多个ODD之一——即,选择包括(多个)检测的状况的ODD。将载具与第一ODD相关联的行为可以涉及载具系统设置自身或其子系统中的至少一个以使用与第一ODD相关联的一个或多个参数来操作。因此,响应于将载具与第一ODD相关联,载具系统可以使用与第一ODD相关联的预定视场体来操作载具的传感器中的至少一个。
在块906,方法900涉及检测自主载具的操作环境的改变。检测变化的行为可能涉及使用一个或多个载具传感器检测变化。可附加地或可替代地,检测变化的行为可以涉及使用不同于载具传感器的外部传感器检测变化。特别是,外部传感器可以远离载具本身,但可以直接与载具系统通信连接,诸如通过无线通信接口,或间接连接,诸如当载具系统经由服务器或其他中间计算设备从外部传感器接收数据时。在一些示例中,外部传感器可以安装到道路结构,诸如停车标志、交通灯、隔离带、桥梁、路缘或反射器,以及其他可能的结构。
在块908,方法900包括响应于检测,将自主载具与多个ODD中的第二ODD相关联。在一些示例中,将载具与第二ODD相关联的行为可以涉及载具系统设置自身或其子系统中的至少一个以使用与第二ODD相关联的一个或多个参数来操作。
在块910,方法900涉及响应于自主载具与第二ODD相关联,使用与第二ODD相关联的预定视场体来操作至少一个传感器。
在一些实现方式中,使用与第二ODD相关联的预定视场体来操作至少一个传感器的行为可以涉及与使用与第一ODD相关联的预定视场体操作至少一个传感器时相比,使用更小的视场体来操作至少一个传感器。例如,第一ODD可以包括晴朗天气状况的环境状况,第二ODD可以包括下雨状况、有雾状况或下雪状况中的一个或多个的环境状况,因此有助于使用第二ODD的较小视场体。在其他实现方式中,使用与第二ODD相关联的预定视场体来操作至少一个传感器的行为可以涉及与使用与第一ODD相关联的预定视场体操作至少一个传感器时相比,使用更大的视场体操作至少一个传感器。
如本文所讨论的,第一ODD和第二ODD也可以包括其他状况。例如,第一ODD可以包括第一当日时间(例如,早晨)的第一当日时间状况,并且第二ODD可以包括第二当日时间(例如,傍晚或夜晚)的第二当日时间状况。作为另一示例,第一ODD可以包括第一交通状况(例如,交通畅通或没有车辆(no traffic)),并且第二ODD可以包括第二交通状况(例如,交通繁忙或交通堵塞)。作为又一示例,第一ODD可以包括载具正在行驶的道路的第一速度限制,并且第二ODD可以包括高于或低于第一速度限制的第二速度限制。作为又一示例,第一ODD可以包括载具正在其中行驶的第一地理定义区域(例如,地面街道或私人财产),并且第二ODD可以包括载具正在其中行驶的第二地理定义区域(例如,高速公路或公共道路)。其他示例也是可能的。
此处使用的术语“基本上”、“大约”或“约”是指不需要精确实现所列举的特征、参数、值或几何平面度,而是偏差或变化,包括例如公差、测量误差、测量精度限制和本领域技术人员已知的其他因素,可能以不排除特性旨在提供的效果的量出现。
尽管本文已经公开了各种示例方面和示例实施例,但是其他方面和实施例对于本领域技术人员来说将是显而易见的。本文所公开的各种示例方面和示例实施例是出于说明的目的而不旨在限制,真正的范围和精神由所附权利要求指示。

Claims (20)

1.一种用于控制自主载具的操作的系统,所述系统包括:
一个或多个传感器,一个或多个传感器中的每个传感器被配置为根据视场体进行操作,所述视场体表示自主载具周围的空间,其中传感器预期在所述空间内以高于预定义置信度阈值的置信度水平检测对象;
一个或多个处理器,耦合到一个或多个传感器;和
存储器,耦合到一个或多个处理器并且其上存储有指令,所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行操作,所述操作包括:
识别自主载具的多个操作设计域(ODD),其中每个ODD包括环境状况、地理状况、当日时间状况、交通状况或道路状况中的至少一个,并且其中每个ODD与一个或多个传感器中的至少一个的预定视场体相关联;
将自主载具与多个ODD中的第一ODD相关联;
检测自主载具的操作环境的改变;
响应于检测,将自主载具与多个ODD中的第二ODD相关联;
响应于自主载具与第二ODD相关联,使用与第二ODD相关联的预定视场体来操作至少一个传感器。
2.根据权利要求1所述的系统,其中,检测自主载具的操作环境的改变包括使用一个或多个传感器中的至少一个来检测自主载具的操作环境的改变。
3.根据权利要求1所述的系统,其中,检测自主载具的操作环境的改变包括使用不同于一个或多个传感器的外部传感器来检测自主载具的操作环境的改变。
4.根据权利要求1所述的系统,其中,外部传感器远离自主载具,并且被安装在道路结构上。
5.根据权利要求1所述的系统,其中,使用与第二ODD相关联的预定视场体来操作至少一个传感器包括使用比使用与第一ODD相关联的预定视场体操作至少一个传感器时更小的视场体来操作至少一个传感器。
6.根据权利要求5所述的系统,其中,第一ODD包括晴朗天气状况的环境状况,并且
其中,第二ODD包括下雨状况、有雾状况或下雪状况中的一个或多个的环境状况。
7.根据权利要求1所述的系统,其中,第一ODD包括第一当日时间的第一当日时间状况,并且
其中,第二ODD包括不同于第一当日时间的第二当日时间的第二当日时间状况。
8.根据权利要求1所述的系统,其中,第一ODD包括第一交通状况,并且
其中,第二ODD包括不同于第一交通状况的第二交通状况。
9.一种系统,包括:
一个或多个传感器,一个或多个传感器中的每个传感器被配置为根据视场体进行操作;
一个或多个处理器,耦合到一个或多个传感器;和
存储器,耦合到一个或多个处理器并且其上存储有指令,所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行操作,所述操作包括:
确定自主载具的操作环境;以及
基于所确定的自主载具的操作环境,将一个或多个传感器中的至少一个传感器的视场体从第一视场体调整为不同于第一视场体的调整视场体。
10.根据权利要求9所述的系统,其中,存储器已经存储了自主载具的多个操作环境以及多个操作环境中的每个操作环境与一个或多个传感器中的至少一个传感器的对应调整视场体之间的映射,并且
其中,基于自主载具的操作环境调整视场体包括为所确定的自主载具的操作环境选择对应调整视场体。
11.根据权利要求10所述的系统,其中,自主载具的多个操作环境包括以下中的两个或更多个:(i)默认状态,(ii)晴朗天气状态,(iii)白天操作状态,(iv)夜间操作状态,(v)下雨天气状态,(vi)下雪天气状态,(v)有雾天气状态,(viii)自主载具正在行驶的特定类型道路的状态,(ix)至少阈值数量的载具在距自主载具的阈值距离内的道路上的状态,或者(x)一个或多个传感器中的至少一个传感器具有传感器错误的状态。
12.根据权利要求10所述的系统,其中,对应调整视场体是对应的调整视场体集合的一部分,该对应的调整视场体集合包括多种传感器类型中的每一种的相应调整视场体,以及
其中,多种传感器类型包括以下中的两种或更多种:LIDAR传感器、雷达传感器或相机。
13.根据权利要求9所述的系统,其中,一个或多个传感器包括多个传感器集合,每个具有相应的传感器类型,
其中,调整至少一个传感器的视场体包括调整至少一个传感器集合中的所有传感器的视场体。
14.根据权利要求13所述的系统,其中,多个传感器集合包括以下中的两个或更多个:LIDAR传感器集合、雷达传感器集合或相机集合。
15.根据权利要求9所述的系统,其中,所述操作还包括:
控制自主载具使用具有调整视场体的至少一个传感器进行操作。
16.根据权利要求15所述的系统,其中,控制自主载具使用具有调整视场体的至少一个传感器进行操作包括忽略与大于调整视场体的相应范围、方位角或仰角的范围、方位角或仰角相对应的传感器数据。
17.根据权利要求15所述的系统,其中,控制自主载具使用具有调整视场体的至少一个传感器进行操作包括识别与大于调整视场体的最大参数值的参数值相对应的传感器数据。
18.根据权利要求15所述的系统,其中,至少一个传感器包括LIDAR传感器,并且
其中,控制自主载具使用具有调整视场体的至少一个传感器进行操作包括控制LIDAR传感器通过发射具有与调整视场体相关联的调整功率水平的一个或多个激光脉冲来获取传感器数据。
19.根据权利要求15所述的系统,其中,至少一个传感器包括雷达传感器,并且
其中,控制自主载具使用具有调整视场体的至少一个传感器进行操作包括控制雷达传感器通过发射具有与调整视场体相关联的调整无线电波特性的一个或多个无线电波来获取传感器数据。
20.一种由被配置为控制自主载具的操作的计算设备执行的方法,所述方法包括:
确定自主载具的操作环境,其中自主载具包括一个或多个传感器,一个或多个传感器中的每个传感器被配置为根据视场体进行操作;
基于所确定的自主载具的操作环境,将一个或多个传感器中的至少一个传感器的视场体从第一视场体调整为不同于第一视场体的调整视场体;以及
控制自主载具使用具有调整视场体的至少一个传感器进行操作。
CN202080089748.7A 2019-12-23 2020-12-18 实时调整载具传感器视场体 Pending CN114845915A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962952879P 2019-12-23 2019-12-23
US62/952,879 2019-12-23
US17/002,092 2020-08-25
US17/002,092 US20210191399A1 (en) 2019-12-23 2020-08-25 Real-Time Adjustment Of Vehicle Sensor Field Of View Volume
PCT/US2020/065914 WO2021133659A1 (en) 2019-12-23 2020-12-18 Real-time adjustment of vehicle sensor field of view volume

Publications (1)

Publication Number Publication Date
CN114845915A true CN114845915A (zh) 2022-08-02

Family

ID=76438640

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080089748.7A Pending CN114845915A (zh) 2019-12-23 2020-12-18 实时调整载具传感器视场体
CN202080090041.8A Pending CN114845916A (zh) 2019-12-23 2020-12-18 调整载具传感器视场体积

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202080090041.8A Pending CN114845916A (zh) 2019-12-23 2020-12-18 调整载具传感器视场体积

Country Status (6)

Country Link
US (3) US20210191399A1 (zh)
EP (2) EP4065443A4 (zh)
JP (2) JP2023507100A (zh)
CN (2) CN114845915A (zh)
IL (2) IL294137A (zh)
WO (2) WO2021133664A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419723B2 (en) * 2015-06-25 2019-09-17 Magna Electronics Inc. Vehicle communication system with forward viewing camera and integrated antenna
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US11644334B2 (en) * 2019-02-07 2023-05-09 Uber Technologies, Inc. Route optimization system based on height parameter
US20210191399A1 (en) * 2019-12-23 2021-06-24 Waymo Llc Real-Time Adjustment Of Vehicle Sensor Field Of View Volume
KR20210136543A (ko) * 2020-05-08 2021-11-17 주식회사 만도모빌리티솔루션즈 레이더 센서 제어 장치 및 방법
KR20220010900A (ko) * 2020-07-20 2022-01-27 현대모비스 주식회사 차량용 레이더 장치 및 제어방법
US11535256B2 (en) * 2020-10-06 2022-12-27 Ford Global Technologies, Llc Chionophobia intervention systems and methods
US11685378B2 (en) * 2020-10-08 2023-06-27 GM Global Technology Operations LLC Extrinsic characterization of detection capability to support automated lane change
US11385351B2 (en) * 2020-10-19 2022-07-12 Aeva, Inc. Techniques for automatically adjusting detection threshold of FMCW LIDAR
US20230043172A1 (en) * 2021-08-06 2023-02-09 Zebra Technologies Corporation Adaptive Perimeter Intrusion Detection for Mobile Automation Apparatus
CN114114369B (zh) * 2022-01-27 2022-07-15 智道网联科技(北京)有限公司 自动驾驶车辆定位方法和装置、电子设备和存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19935265B4 (de) * 1999-07-27 2005-12-29 Robert Bosch Gmbh Vorrichtung zur Messung des Abstands und der Relativgeschwindigkeit zwischen Objekten und Verwendung dieser
JP4771724B2 (ja) * 2005-03-30 2011-09-14 富士通テン株式会社 レーダ装置
DE102009016580A1 (de) * 2009-04-06 2010-10-07 Hella Kgaa Hueck & Co. Datenverarbeitungssystem und Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion
WO2011140993A1 (zh) * 2010-05-12 2011-11-17 北京星河易达科技有限公司 基于综合状态检测的智能交通安全系统及其决策方法
US8589014B2 (en) * 2011-06-01 2013-11-19 Google Inc. Sensor field selection
US20170328729A1 (en) * 2012-08-14 2017-11-16 Google Inc. System To Optimize Sensor Parameters In An Autonomous Vehicle
US9367065B2 (en) * 2013-01-25 2016-06-14 Google Inc. Modifying behavior of autonomous vehicles based on sensor blind spots and limitations
WO2015147224A1 (ja) * 2014-03-28 2015-10-01 ヤンマー株式会社 自律走行作業車両
US9928594B2 (en) * 2014-07-11 2018-03-27 Agt International Gmbh Automatic spatial calibration of camera network
IL239129A0 (en) * 2015-06-01 2015-11-30 Brightway Vision Ltd Image improvements in car imaging systems
US20160357187A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
CN106952310A (zh) * 2016-01-29 2017-07-14 法拉第未来公司 用于确定能见度状态的系统及方法
US10906545B2 (en) * 2016-12-22 2021-02-02 Blackberry Limited Adjusting mechanical elements of cargo transportation units
JP6664317B2 (ja) * 2016-12-28 2020-03-13 本田技研工業株式会社 情報処理システム、および情報処理方法
JP6914065B2 (ja) * 2017-03-17 2021-08-04 シャープ株式会社 障害物検出装置、走行装置、障害物検出システムおよび障害物検出方法
JP6624150B2 (ja) * 2017-04-11 2019-12-25 トヨタ自動車株式会社 自動運転システム
WO2018196001A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Sensing assembly for autonomous driving
WO2018212346A1 (ja) 2017-05-18 2018-11-22 パイオニア株式会社 制御装置、走査システム、制御方法、およびプログラム
US10429842B2 (en) * 2017-07-10 2019-10-01 Toyota Research Institute, Inc. Providing user assistance in a vehicle based on traffic behavior models
US10796404B2 (en) * 2017-08-01 2020-10-06 Honeywell International Inc. Aircraft systems and methods for adjusting a displayed sensor image field of view
AU2018365091B2 (en) * 2017-11-13 2021-03-04 Raven Industries, Inc. Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles
US20190156134A1 (en) * 2017-11-20 2019-05-23 Ashok Krishnan Training of vehicles to improve autonomous capabilities
US11163309B2 (en) * 2017-11-30 2021-11-02 Direct Current Capital LLC Method for autonomous navigation
US11269352B2 (en) * 2017-12-15 2022-03-08 Baidu Usa Llc System for building a vehicle-to-cloud real-time traffic map for autonomous driving vehicles (ADVS)
US10739459B2 (en) * 2018-01-12 2020-08-11 Ford Global Technologies, Llc LIDAR localization
US10884115B2 (en) * 2018-03-09 2021-01-05 Waymo Llc Tailoring sensor emission power to map, vehicle state, and environment
US20190377814A1 (en) * 2018-06-11 2019-12-12 Augmented Radar Imaging Inc. Annotated dataset based on different sensor techniques
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US20200088857A1 (en) * 2018-09-14 2020-03-19 Ford Global Technologies, Llc Sensor assembly with comprehensive system to remove debris and prevent obstructions
US10589723B1 (en) * 2018-09-21 2020-03-17 Ford Global Technologies, Llc Imaging system
US20200166636A1 (en) * 2018-11-26 2020-05-28 Novelic D.O.O. MM-wave radar based guiding system
DE102019203230A1 (de) * 2019-03-11 2020-10-22 Robert Bosch Gmbh Sensorvorrichtung umfassend ein Sensorelement und eine Abschlussscheibe
KR102599558B1 (ko) * 2019-10-24 2023-11-08 현대모비스 주식회사 자동차용 센서 통합 모듈
US20210191399A1 (en) * 2019-12-23 2021-06-24 Waymo Llc Real-Time Adjustment Of Vehicle Sensor Field Of View Volume

Also Published As

Publication number Publication date
US20230262202A1 (en) 2023-08-17
JP2023507108A (ja) 2023-02-21
WO2021133664A1 (en) 2021-07-01
JP2023507100A (ja) 2023-02-21
US11671564B2 (en) 2023-06-06
EP4065444A4 (en) 2023-12-27
CN114845916A (zh) 2022-08-02
IL294137A (en) 2022-08-01
US20210191399A1 (en) 2021-06-24
IL294144A (en) 2022-08-01
US20210195112A1 (en) 2021-06-24
EP4065443A1 (en) 2022-10-05
EP4065443A4 (en) 2024-01-24
EP4065444A1 (en) 2022-10-05
WO2021133659A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
US11913807B2 (en) Methods and systems for calibrating sensors using road map data
US20210191399A1 (en) Real-Time Adjustment Of Vehicle Sensor Field Of View Volume
US11041958B2 (en) Sensing assembly for autonomous driving
US11561108B2 (en) Methods and systems for sun-aware vehicle routing
US10247854B2 (en) Methods and systems for detecting weather conditions using vehicle onboard sensors
US9043072B1 (en) Methods and systems for correcting an estimated heading using a map
EP3456597B1 (en) Methods and systems for detecting weather conditions using vehicle onboard sensors
US9207323B2 (en) Methods and systems for detecting weather conditions including wet surfaces using vehicle onboard sensors
US9285230B1 (en) Methods and systems for detecting road curbs
US11634153B2 (en) Identification of proxy calibration targets for a fleet of vehicles
EP3948346A1 (en) Radar field of view extensions
CN112414421A (zh) 多反弹目标缓解
US20240182065A1 (en) Identification of Proxy Calibration Targets for a Fleet of Vehicles
US20240085693A1 (en) Replaceable, Heated, and Wipeable Apertures for Optical Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination