CN117813228A - 使用无遮挡传感器发射确定占用 - Google Patents
使用无遮挡传感器发射确定占用 Download PDFInfo
- Publication number
- CN117813228A CN117813228A CN202280055893.2A CN202280055893A CN117813228A CN 117813228 A CN117813228 A CN 117813228A CN 202280055893 A CN202280055893 A CN 202280055893A CN 117813228 A CN117813228 A CN 117813228A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- determining
- location
- sensor
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 126
- 230000005540 biological transmission Effects 0.000 claims description 38
- 230000008569 process Effects 0.000 description 65
- 230000015654 memory Effects 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010238 partial least squares regression Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012628 principal component regression Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- VCGRFBXVSFAGGA-UHFFFAOYSA-N (1,1-dioxo-1,4-thiazinan-4-yl)-[6-[[3-(4-fluorophenyl)-5-methyl-1,2-oxazol-4-yl]methoxy]pyridin-3-yl]methanone Chemical compound CC=1ON=C(C=2C=CC(F)=CC=2)C=1COC(N=C1)=CC=C1C(=O)N1CCS(=O)(=O)CC1 VCGRFBXVSFAGGA-UHFFFAOYSA-N 0.000 description 1
- UKGJZDSUJSPAJL-YPUOHESYSA-N (e)-n-[(1r)-1-[3,5-difluoro-4-(methanesulfonamido)phenyl]ethyl]-3-[2-propyl-6-(trifluoromethyl)pyridin-3-yl]prop-2-enamide Chemical compound CCCC1=NC(C(F)(F)F)=CC=C1\C=C\C(=O)N[C@H](C)C1=CC(F)=C(NS(C)(=O)=O)C(F)=C1 UKGJZDSUJSPAJL-YPUOHESYSA-N 0.000 description 1
- 241000237519 Bivalvia Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 235000020639 clam Nutrition 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/805—Azimuth angle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9323—Alternative operation using light waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93271—Sensor installation details in the front of the vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了使用无遮挡传感器发射来确定占用的技术。例如,车辆可以从一个或多个传感器接收传感器数据。传感器数据可以至少表示到环境内点的位置。使用传感器数据,车辆可以确定环境内被对象遮挡的区域(例如,对象所位于的位置)。车辆还可以使用传感器数据来确定环境内未被对象遮挡的区域(例如,没有对象被定位的位置)。在一些示例中,车辆将无遮挡区域确定为包括在车辆与所识别的对象之间的区域。这是因为来自传感器的传感器发射通过这些区域并且然后被位于距车辆较远距离的对象反射。车辆然后可以生成至少指示环境内的遮挡区域和无遮挡区域的地图。
Description
相关申请
本PCT国际申请要求于2021年8月18日提交的标题为“DETERMINING OCCUPANCYUSING UNOBSTRUCTED SENSOR EMISSIONS”的美国专利申请号17/405,826和于2021年8月18日提交的标题为“DETERMINING OBJECT CHARACTERISTICS USING UNOBSTRUCTED SENSOREMISSIONS”的美国专利申请号17/405,865的优先权,其全部内容通过引用并入本文。
背景技术
自主车辆可以被配置为沿着从起始位置到目的地位置的路径导航。例如,当给乘客提供乘车服务时,自主车辆可以在起始位置接载乘客并在目的地位置让乘客下车。在导航时,自主车辆确定对象(如其他车辆)的位置是重要的。例如,自主车辆可以分析传感器数据,以便确定另一个车辆沿着自主车辆的路径定位。由于其他车辆沿着路径定位,因此自主车辆可以采取一个或多个动作以便安全地避开其他车辆。
附图说明
参考附图来描述具体实施方式。在附图中,附图标记的最左边的数字标识该附图标记首次在其中出现的附图。在不同附图中的相同的附图标记指示相似或同样的项目。
图1A-图1B是用于使用无遮挡传感器数据来确定占用的示例过程的图示流程图。
图2A是用于使用无遮挡传感器数据来确定对象的特征的第一示例过程的图示流程图。
图2B是用于使用无遮挡传感器数据来确定对象的特征的第二示例过程的图示流程图。
图3示出了使用无遮挡传感器发射生成占用热图的示例。
图4描绘了用于实施本文描述的技术的示例系统的框图。
图5示出了用于使用无遮挡传感器数据来确定占用的示例过程的流程图。
图6示出了用于使用无遮挡传感器数据来确定对象的特征的示例过程的流程图。
图7示出了用于使用无遮挡传感器数据来确定对象的特征的另一示例过程的流程图。
具体实施方式
如上所述,自主车辆可以被配置为沿着从起始位置到目的地位置的路径导航。例如,当给乘客提供乘车服务时,自主车辆可以在起始位置接载乘客并在目的地位置让乘客下车。在导航时,自主车辆确定对象(如其他车辆)的位置是重要的。例如,自主车辆可以分析传感器数据以便确定另一个车辆沿着自主车辆的路径定位。由于另一个车辆沿着路径定位,因此自主车辆可以采取一个或多个动作以便安全地避开另一个车辆。在一些情况下,一个或多个动作可以包括导航到未被任何其他对象遮挡的区域。
因此,本申请涉及用于使用无遮挡传感器发射来确定车辆正在其中操作的环境的占用的技术。例如,车辆可以接收传感器数据,如激光雷达数据,其表示车辆正在其中导航的环境。然后车辆可以使用传感器数据以确定到位于环境内的对象的距离。使用这些距离,车辆可以确定(1)环境的被对象遮挡的区域(在一些示例中称为“遮挡区域”),(2)环境的没有被对象遮挡的区域(在一些示例中称为“无遮挡区域”)和/或与对象相关联的特征。例如,并且使用这些距离,车辆可以确定环境的位于车辆与对象之间的区域未被任何其他对象遮挡。然后车辆可以生成表示环境内的遮挡区域和热图内的无遮挡区域的热图(和/或其他类型的地图)。在一些示例中,热图表示区域被遮挡或未被遮挡的可能性。使用热图,车辆可以确定用于如何在环境中导航的一个或多个动作。
在一些示例中,车辆可以包括一个或多个传感器,车辆从该一个或多个传感器接收表示车辆所位于的环境的传感器数据。另外地或可替代地,车辆可以从远离车辆定位的一个或多个传感器(例如,车辆上方的传感器,交通摄像头,位于交通信号灯或环境中的其他对象上的传感器等)接收传感器数据。一个或多个传感器可以包括但不限于激光雷达传感器、雷达传感器、相机和/或任何其他类型的传感器。在一些示例中,如当传感器数据包括激光雷达数据时,传感器数据可以至少表示环境内的点的位置(例如,x坐标、y坐标、z坐标、距离等)。另外地或可替代地,在一些示例中,车辆可以使用一种或多种技术来分析传感器数据以便确定环境内的点的位置。在此类示例中,车辆可以使用传感器数据来确定与环境内的位置相关联的占用。
例如,车辆可以分析传感器数据以便基于对象分类对不同对象的点进行分组。例如,车辆可以确定由传感器数据表示的第一组点与第一对象(如另一个车辆)相关联。另外地,车辆可以确定由传感器数据表示的第二组点与第二对象(如行人)相关联。车辆然后可以使用点组来确定环境内的对象的位置。例如,车辆可以使用与第一组点相关联的位置以便确定第一对象所位于的环境的区域。另外地,车辆可以使用与第二组点相关联的位置以便确定第二对象所位于的环境的区域。这些区域中的每一个可以被确定为环境内的遮挡区域。如本文所述,环境的遮挡区域可以包括对象所位于的区域,使得车辆不能够导航通过该区域。
车辆还可以使用传感器数据(例如,环境内的点的位置)以便验证环境的没有被任何对象遮挡的区域。如本文所述,环境的无遮挡区域可以包括对象不位于的区域和/或车辆能够导航的区域(基于对象分类,这将在下面更详细地描述)。在一些示例中,车辆确定位于车辆与识别的对象之间的区域,包括环境内的无遮挡区域。在一些示例中,当识别这些无遮挡区域时,车辆可以确定三维空间中的这些无遮挡区域使得该区域内的各个(一个或多个)高程未被遮挡。例如,如果车辆识别出位于道路上方五米处的对象如街道标志,而没有任何其他对象位于该街道标志下方,那么无遮挡区域可以包括该街道标志下方的区域。
如本文所述,当确定三维空间中的区域时,可以在体素空间中定义区域。例如,车辆可以在车辆行驶通过环境时生成传感器数据并且然后将传感器数据与体素空间相关联。体素空间可以表示环境内的空间体积。例如,体素空间可以表示100米(m)×100m×100m的体积。在三维空间中定义区域的示例在于2019年5月22日提交的申请号为16/420,090、标题为“Multiresolution Voxel Space”的申请中描述,其全部内容并入本文。
对于识别无遮挡区域的示例,如当传感器数据包括激光雷达数据时,激光雷达传感器可以发射光脉冲(也称为“传感器发射”),该光脉冲从环境内的对象反射并返回到激光雷达传感器。激光雷达传感器然后分析经反射的光以确定光从该点被反射的该点的位置。在一些示例中,激光雷达传感器使用一种或多种技术来确定点的位置,一种或多种技术如光返回激光雷达传感器所花费的时间。因此,由于光脉冲可以被对象反射并返回到光传感器,因此车辆可以推断出没有其他对象位于激光雷达传感器发射器(例如,位于自主车辆上)与对象之间。换句话说,由于车辆从无遮挡区域后面的对象接收到点,因此车辆可以确定车辆与点之间的距离包括无遮挡区域。另外地,在一些示例中,车辆可以使用该点相对于激光雷达传感器所定位的角度在3维空间中做出确定。
在一些示例中,当执行这些过程以确定环境内的各个位置的占用时,车辆可以最初假设环境内的潜在对象的位置。在一些示例中,车辆最初假设位于车辆周围各个位置的潜在对象。另外地或可替代地,在一些示例中,车辆最初假设位于车辆周围的行驶表面上的潜在对象。例如,如果车辆停在停车场,那么车辆可以假设第一潜在车辆可能位于距车辆的第一侧的第一距离处,第二潜在车辆可能位于距车辆的第二侧的第二距离处,第三潜在车辆可能位于距车辆的第三侧的第三距离处,并且第四潜在车辆可能位于距车辆的第四侧的第四距离处。
另外地,在一些示例中,车辆可以假设与对象相关联的附加特征。例如,车辆可以使用环境类型来假设位于环境内的对象的类型。例如,车辆可以假设位于第一类型环境(例如,可行驶表面,如道路、车道等)内的其他对象包括第一类型对象(例如,其他车辆、自行车等),假设位于第二类型环境(例如,不可行驶的表面,如人行道、庭院等)上的其他对象包括第二类型对象(例如,行人、自行车、街道标志等)等。这样,车辆能够更好地假设环境内实际对象的位置。
又例如,车辆可以假设环境内其他对象的取向。例如,如果车辆正在假设另一个车辆沿着道路的位置,那么车辆可以假设另一个车辆沿着道路的取向。在一些示例中,车辆基于道路假设取向,使得另一个车辆朝向在沿着道路的行驶方向。在上述这些示例中的任一个中,车辆然后可以执行上述过程以便验证实际对象是否位于假设位置中的一个或多个处。
例如,并且使用上面的示例,其中车辆假设第一潜在车辆位于距车辆的第一侧的第一距离处,车辆可以分析传感器数据并且基于分析来确定发射到车辆的第一侧的点被距车辆的第五距离的对象反射。然后车辆可以确定第五距离大于第一距离。这样,车辆可以确定在车辆与第五距离之间的、位于车辆的第一侧的区域未被对象遮挡。因此,车辆可以确定第一潜在车辆位于距车辆的第一侧的第一距离处的假设是不准确的。
对于另一个示例,并且使用上面的示例,其中车辆假设第二潜在车辆位于距车辆的第二侧的第二距离处,车辆可以分析传感器数据并且基于分析来确定发射到车辆的第二侧的点被距车辆的第六距离的对象反射。车辆然后可以确定第六距离与第二距离相同或相似(例如,在阈值距离内)。这样,车辆可以确定第二潜在车辆位于距车辆的第二侧的第二距离处的假设是准确的。换句话说,车辆可以最初假设环境内对象的特征(例如,位置、类型、方向等)并且然后使用传感器数据来确定假设是准确的(对象实际上位于该位置,对象包括类型,对象包括取向等)或不准确的(对象实际上不位于该位置,对象不包括类型,对象不包括取向等)。
在一些示例中,车辆可以使用传感器数据以确定与环境内识别的对象相关联的特征。例如,如当位于车辆附近的对象包括透明对象(例如,烟、雾、废气等)时,传感器数据可以表示与该对象相关联的第一点(例如,被对象反射的传感器发射)以及与比该对象距离车辆更远的其他对象(例如,从其他对象反射的传感器发射)相关联的第二点两者。这样,第一点可以指示对象位于距离车辆大约第一距离处,但是第二点可以指示没有对象位于车辆与在比第一距离更远的第二距离处的第二点之间。因此,车辆可以使用第一点和第二点来确定对象的分类。
在一些示例中,车辆基于与第二点的百分比相比的第一点的百分比来做出确定。例如,第一类型的对象如雾可以反映传感器发射的第一百分比,而第二类型的对象如废气可以反映传感器发射的第二百分比。这样,基于第一点的百分比和第二点的百分比,车辆可以确定对象是第一类型对象还是第二类型对象。另外地或可替代地,在一些示例中,车辆可以基于第一点的位置与第二点的位置的比较来确定对象的类型。例如,如果对象包括另一个车辆,那么命中另一辆车辆的后备箱的传感器发射可能从另一个车辆反射并且传回传感器,而命中另一个车辆的车窗的传感器发射可能会通过车窗并从位于另一个车辆的另一侧的另一个对象反射。这样,车辆能够分析传感器数据以确定对象具有另一个车辆的形状(例如,第二点代表另一个车辆的窗户,而第一点至少代表另一分车辆的后备箱)。
另外地,在一些示例中,车辆可以至少使用传感器数据来确定对象的取向。例如,传感器数据可以再次表示与位于距车辆的第一距离的对象相关联的第一点和与位于距车辆的第二更远距离的对象相关联的第二点。这样,车辆可以分析传感器数据以确定对象的尺寸,如对象的长度、宽度和/或高度。使用这些尺寸,车辆然后可以确定对象的取向。例如,如果车辆确定另一个对象是另一个车辆,那么车辆可以基于使用传感器数据确定的另一个车辆的长度和/或宽度来确定另一车辆的取向。例如,当宽度是第一宽度时,车辆可以确定另一个车辆具有第一取取向(例如,另一个车辆被定向为使得另一个车辆的前部或后部指向车辆)并且当宽度是第二较大宽度时,车辆可以确定另一个车辆包括第二取向(例如,另一个车辆定向成使得该另一分车辆的一侧指向该车辆)。
在一些示例中,车辆在执行本文描述的过程时可以使用一个或多个组件(例如,模型、算法和/或机器学习算法)。例如,第一组件可以被训练和配置为分析数据以便识别包括经过对象附近但没有被对象反射的路径的传感器发射。输入到第一组件中的数据可以包括但不限于表示与对象相关联的点(例如,被对象反射的点)的传感器数据、表示输出传感器发射的传感器的位置的数据(例如,传感器在环境内x坐标、y坐标和z坐标、传感器在车辆上的位置等)、有关传感器的旋转的信息(例如,如当传感器包括激光雷达传感器时的旋转速度)、表示从比该对象距离车辆更远反射的点(例如,从比该对象距离车辆更远的对象反射的点)的传感器数据,和/或类似物。来自第一模型的输出然后可以包括表示经过对象附近但没有被对象反射的传感器发射的数据。在一些示例中,输出数据可以进一步表示传感器发射与对象的接近度。
又例如,第二组件可以被训练并配置为分析数据以确定对象的类型。数据可以包括但不限于表示被对象反射的第一点的传感器数据,表示包括通过对象的传感器发射的第二点的传感器数据,表示被对象反射的传感器发射的百分比的数据,表示通过对象的传感器发射的百分比的数据等。第二组件然后可以使用本文描述的过程中的一个或多个来分析输入的数据,并且基于该分析来输出表示对象的类型和/或对象的位置的数据。例如,第二组件可以使用上述过程中的一个或多个来分析被对象反射的传感器发射的百分比和通过该对象的传感器发射的百分比,以便确定对象的类型。第二组件然后可以输出表示对象类型的数据和/或表示对象在环境内的位置的指示符如边界框。
又例如,第三组件可以被训练并配置为分析数据以确定对象的取向。数据可以包括但不限于表示与对象相关联的点的传感器数据、表示经过对象附近而没有被对象反射的传感器发射的数据(例如,可以使用第一组件来确定)、表示比该对象更远离车辆反射的点的传感器数据(例如,从比对象离车辆更远的对象反射的点)等。然后,第三组件可以分析输入的数据,并且基于该分析,输出表示对象的取向的数据。例如,第三组件可以使用上述过程中的一个或多个来分析与对象相关联的点以及经过对象附近而没有被对象反射的传感器发射,以便确定对象的取向。第三组件然后可以输出表示对象的取向的数据。在一些示例中,输出数据可以包括指示符,如边界框,其表示处于由第三组件确定的取向的对象。
还又例如,第四组件可以被训练和配置为分析数据以便验证环境的区域是否被假设对象遮挡和/或未被遮挡。数据可以包括但不限于表示假设对象在区域处的位置的数据,表示被该区域处的真实对象反射的点的传感器数据(如果存在此类点),表示通过该区域而没有被真实对象反射的传感器发射的数据(同样,如果存在此类点),表示从比该区域更远离车辆的对象反射的点的传感器数据并且包括基本上朝向该区域的方向(其可以与通过该区域的传感器发射相关联)等。第四组件然后可以分析输入的数据,并且基于该分析,输出表示该区域是否实际上被真实对象遮挡(例如,至少一个假设对象是否位于该区域)或未被遮挡(例如,没有假设对象位于该区域)。例如,第四组件可以使用本文描述的过程中的一个或多个来分析被该区域内的真实对象反射的任何点以及通过该区域而没有被对象反射的任何传感器发射,以确定该区域是否被遮挡或没有被遮挡。第四组件然后可以输出表示该区域是否被遮挡的数据,表示当该区域被遮挡时该区域内的真实对象的位置,或者该区域是否未被遮挡的指示符(例如,边界框)。虽然这些只是车辆可以用来执行本文描述的过程的几个示例组件,但是在其他示例中,车辆可以使用附加的和/或替代的组件来执行本文描述的过程中的一个或多个。
在一些示例中,车辆可以生成表示环境占用的地图。例如,地图可以表示环境内的遮挡区域的位置和/或环境内的无遮挡区域的位置。另外,在一些示例中,地图可以进一步指示与对象相关联的特征,如对象的分类(例如,对象类型)、对象的取向、对象的尺寸等。车辆然后可以在环境周围导航时使用地图。例如,车辆可以使用地图使得车辆不与所识别的对象碰撞和/或仅导航通过无遮挡区域。
通过执行本文描述的过程,车辆能够使用传感器数据确定环境内对象的位置并验证环境内无遮挡区域的位置二者。如本文所描述,车辆能够使用传感器发射的无遮挡部分来验证无遮挡区域的位置。例如,车辆能够验证车辆与传感器数据所表示的点之间的区域包括环境的无遮挡区域。通过验证环境内的无遮挡区域,车辆可以生成更准确地描绘车辆正在其中行驶的环境的地图。这可以提高车辆在导航时的安全性,因为车辆能够更好地避免与其他对象的碰撞。
例如,并且在一些示例中,车辆最初假设对象可能位于环境内的位置。车辆然后使用传感器数据来验证每个位置处是否存在实际对象。这样,车辆还能够验证环境内未被实际对象遮挡的位置。换句话说,在车辆验证对象实际上不位于某个位置之前,车辆可以假设该对象位于该位置。这可以提高车辆在环境周围导航时的整体安全性。
如本文所描述,传感器可以在环境内的各个方向发射传感器发射(例如,光脉冲等)。这些传感器发射然后可以通过环境直到接触环境内的对象,其中传感器发射然后被反射回车辆的传感器。例如,通过激光雷达传感器发射的传感器发射可能通过环境直到被另一个车辆反射并且然后反射回激光雷达传感器。车辆和/或传感器然后可以分析反射的传感器发射以便确定与传感器发射相关联的信息。与传感器发射相关联的信息可以包括但不限于反射点的位置(例如,x位置(全局位置)、y位置(全局位置)、z位置(全局位置)),与传感器发射相关联的方向(例如,x角度、y角度、z角度),与传感器发射相关联的置信度,与传感器发射被反射的对象相关联的分类(例如,对象类型),和/或任何其他类型的信息。在一些示例中,车辆和/或传感器能够至少使用与传感器发射相关联的方向以及传感器发射被对象反射并返回传感器所花费的时间来生成信息。
另外地,如本文所述,基于与第一传感器发射相关联的第一方向在与第二传感器发射相关联的第二方向的阈值角度内,第一传感器发射可以在第二传感器发射附近(和/或在与第二传感器发射相关联的点附近通过)。在一些示例中,如当车辆在二维空间中分析传感器数据时,阈值角度可以包括但不限于0.1度、0.5度、1度、2度和/或任何其他角度。另外地,在一些示例中,如当车辆在三维空间中分析传感器数据时,阈值角度可以包括但不限于在给定方向的0.1度、在给定方向的0.5度、在给定方向的1度、在给定方向的2度等。例如,当第一方向在x方向的1度内、在y方向的1度内以及在z方向的1度内时,车辆可以确定第一传感器发射接近第二传感器发射。虽然此示例在每个方向包括相同的阈值角度,但是在其他示例中,方向中的一个或多个可以包括唯一的阈值角度。
本文描述的技术可以用多种方式实施。参考下列附图下文提供示例实施例。虽然在自主车辆的场景中讨论,但是本文描述的方法、装置和系统可以应用于各种系统(例如,传感器系统或机器人平台),并且不限于自主车辆。在另一个示例中,这些技术可以用在航空或航海场景中,或者用在评估环境中参考点之间的距离的任何系统中(例如,用在使用路线相对规划的系统中)。另外地,本文描述的技术可以与真实数据(例如,使用传感器捕获的)、模拟数据(例如,由模拟器生成的)、或两者的任何组合一起使用。
图1A-图1B是用于使用无遮挡传感器数据来确定占用的示例过程100的图示流程图。在操作102,过程100可以包括确定位于环境内的潜在对象的潜在特征。例如,示例104示出了车辆106可以确定(例如,假设)位于环境内的潜在对象的潜在特征108(1)-(6)(也称为“潜在特征108”)。在图1的示例中,潜在特征108至少包括潜在对象的位置和取向。例如,潜在特征108(1)表示潜在对象的第一位置和第一取向,潜在特征108(2)表示潜在对象的第二位置和第二取向,潜在特征108(3)表示潜在对象的第三位置和第三取向,潜在特征108(4)表示潜在对象的第四位置和第四取向,潜在特征108(5)表示潜在对象的第五位置和第五取向,潜在特征108(6)表示潜在对象的第六位置和第六取向。图1A-图1B的示例仅示出了六个潜在特征108,在其他示例中,车辆106可以确定环境内任何数量的潜在对象的任何数量的潜在特征108。
在一些示例中,车辆106还可以假设与潜在对象相关联的附加特征。例如,车辆106可以至少假设与对象相关联的对象类型。当确定对象类型时,车辆106可以使用环境类型来确定对象类型。例如,如果车辆106确定潜在特征108的环境类型包括可行驶表面,如高速公路,那么车辆106可以假设潜在对象包括其他车辆。
在操作110,方法100可以包括接收表示环境内的点的位置的传感器数据。例如,示例112示出了车辆106正在接收表示环境的传感器数据114。在图1A-图1B的示例中,车辆106可以通过使用传感器来发射传感器发射(其由虚线表示)以获得传感器数据,该传感器发射可以包括光脉冲,其中传感器发射的第一部分被对象116(其在图1A-图1B的示例中包括另一个车辆)反射并返回到车辆106的传感器。此外,传感器发射的第二部分可以从位于环境内的其他对象反射并返回传感器和/或可能不会反射回传感器(例如,如果传感器发射的第二部分针对阈值距离没有接触对象)。这样,传感器数据可以至少表示传感器发射被反射的点的位置。例如,表示传感器发射的第一部分的传感器数据可以与对象116上的点相关联,而表示传感器发射的第二部分的传感器数据可以与其他对象上的点相关联。
在操作118,过程100可以包括至少部分地基于这些点来确定与潜在特征相关联的验证。例如,示例120示出了车辆106使用传感器数据以便确定潜在特征108是否被验证、未被验证或不能被确定。在图1A-图1B的示例中,车辆106可以确定潜在特征108(1)、108(2)和108(4)没有被验证。在一些示例中,车辆106基于与由传感器数据表示的点相关联的距离来做出确定。例如,车辆106可以确定位于车辆106与由传感器数据表示的点之间的环境的区域包括无遮挡区域,使得没有对象位于这些区域内。
这样,并且如图1A-图1B的示例所示,车辆106可以确定对象不能位于与潜在特征108(1)相关联的第一位置处或与潜在特征108(2)相关联的第二位置处。这可能是因为传感器发射行进通过与潜在特征108(1)相关联的第一位置并且通过与潜在特征108(2)相关联的第二位置而不接触任何对象。另外,车辆106可以确定对象可以位于与潜在特征108(4)相关联的第四位置处,然而,对象不能包括第四取向。这可能是因为被对象116反射的传感器发射的第一部分没有行进通过与潜在特征108(4)相关联的第四位置。这样,车辆106可以确定对象可能位于第四位置处。然而,传感器发射的第二部分确实通过第四位置的区域的部分,因此,对象可能不位于这些部分。这样,位于第四位置的对象不能包括第四取向。
此外,车辆106可以确定潜在特征108(3)被验证。在一些示例中,车辆106基于被对象116反射的传感器发射的第一部分来做出该确定,并且因此不行驶通过与潜在特征108(3)相关联的第三位置。另外,车辆106可以基于传感器发射的第二部分确定位于第三位置的侧面的区域(例如,图1A-图1B的示例中的潜在特征108(3)的上方和下方)没有被遮挡。这样,车辆106可以确定对象116包括至少与第三取向相似(例如,在阈值度数内)的取向。由于这些确定,车辆106可以验证对象116包括潜在特征108(3)。
此外,车辆106可以确定潜在特征108(5)和108(6)不能被验证或没有被验证。在一些示例中,车辆106基于传感器发射未到达和/或通过与潜在特征108(5)和108(6)相关联的环境的区域来做出这些确定。这是因为,在图1A-图1B的示例中,对象116阻挡传感器发射行进到这些区域。在一些示例中,基于此确定,车辆106可以假设对象位于与潜在特征108(5)和108(6)相关联的取向和/或包括与其相关联的取向。例如,并且由于潜在特征108(5)和108(6)与车辆106正在导航的道路相关联,因此车辆106可以假设其他车辆位于该位置并且包括与潜在特征108(5)和108(6)相关联的取向。车辆106然后可以基于这些假设执行一个或多个动作。
在操作122,过程100可以包括更新被验证的潜在特征以表示对象。例如,示例124示出了车辆106可以更新潜在特征108(3)以便表示对象116。在图1A-图1B的示例中,更新潜在特征108(3)可以包括旋转潜在特征108(3)以匹配对象116的实际取向,其由已经旋转128的边界框126表示。然而,在其他情况下,例如,更新潜在特征108(3)可以另外地和/或可替代地包括改变与潜在特征108(3)相关联的一个或多个其他特征,如潜在特征108(3)的位置和/或被假设为位于与潜在特征108(3)相关联的第三位置处的对象的类型。然后,车辆108可以基于更新的、经验证的潜在特征128以及无法验证或未验证的潜在特征108(5)和108(6)来执行一个或多个动作。
例如,车辆106可以导航使得车辆106不碰撞对象126。例如,车辆106可以避免导航通过与潜在特征108(3)相关联的第三位置直到对象126不再位于第三位置。另外,车辆106可以避免导航通过与潜在特征108(5)相关联的第五位置和/或与特征108(6)相关联的第六位置直到车辆106能够验证第五位置和/或第六位置未被遮挡。
图2A是用于使用无遮挡传感器数据来确定与对象相关联的特征的第一示例过程200的图示流程图。在操作202,过程200可以包括接收表示与环境内的对象相关联的点的位置的传感器数据。例如,示例204示出了车辆106正在接收表示环境的传感器数据206。在图2A的示例中,车辆106可以通过使用传感器来发射传感器发射(其由虚线表示)以获得传感器数据,传感器发射可以包括光脉冲,其中传感器发射的第一部分被对象208(其在图2A的示例中包括废气)反射并且返回到车辆106的传感器。另外,传感器发射的第二部分被对象210(其图2A的在示例中包括另一个车辆)反射并返回到车辆106的传感器。这样,传感器数据可以至少表示传感器发射被反射的点的位置。例如,表示传感器发射的第一部分的传感器数据可以与对象208上的点相关联,而表示传感器发射的第二部分的传感器数据可以与对象210上的点相关联。
在操作212,过程200可以包括至少部分地基于传感器数据来检测环境内的无遮挡区域。例如,示例214示出了车辆106使用传感器数据来确定环境内的无遮挡区域。在一些示例中,车辆106使用与传感器数据相关联的传感器发射216(1)-(4)(也称为“传感器发射216”)来确定无遮挡区域。例如,车辆106可以确定第一无遮挡区域包括沿着第一传感器发射216(1)距车辆106的第一距离。这是因为第一传感器发射216(1)被对象208反射并返回到车辆106的传感器。因此,车辆106可以假设没有其他对象位于车辆106与第一传感器发射216(1)所关联的点之间。另外,车辆106可以确定第二无遮挡区域包括沿着第二传感器发射216(2)距车辆106的第二距离。这是因为第二传感器发射216(2)被对象210反射并返回到车辆106的传感器。因此,车辆106可以假设没有其他对象位于车辆106与第二传感器发射216(2)所关联的点之间。
此外,车辆106可以确定第三无遮挡区域包括沿着第三传感器发射216(3)距车辆106的第三距离。这是因为第三传感器发射216(3)被对象210反射并返回到车辆106的传感器。因此,车辆106可以假设没有其他对象位于车辆106与第三传感器发射216(3)所关联的点之间。最后,车辆106可以确定第四无遮挡区域包括沿着第四传感器发射216(4)距车辆106的第四距离。这是因为第四传感器发射216(4)被对象208反射并返回到车辆106的传感器。因此,车辆106可以假设没有其他对象位于车辆106与第四传感器发射216(4)所关联的点之间。虽然图2A的示例将车辆106示出为仅使用四个传感器发射216来识别环境内的无遮挡区域,但是在其他示例中,车辆106可以使用任何数量的传感器发射。
在218,过程200可以包括至少部分地基于无遮挡区域来确定与对象相关联的特征。例如,示例220示出了车辆106可以使用无遮挡区域来确定至少与对象208相关联的特征。如图所示,基于由传感器发射216(2)-(3)所示的传感器数据的第一部分,由于传感器发射216(2)-(3)被对象208反射并返回车辆106,因此车辆106可以确定对象208位于环境内的区域。然而,基于由传感器发射216(1)和216(4)表示的传感器数据的第二部分,车辆106可以最初确定该区域包括无遮挡区域,因为传感器发射216(1)和216(4)通过对象208并被对象210反射。这样,车辆106可以使用传感器数据来确定与对象208相关联的分类(例如,对象类型)。
在一些示例中,车辆106基于被对象208反射的传感器发射216的百分比与通过对象208的传感器发射216的百分比相比较来做出确定。例如,第一类型的对象(如雾)可以发射由传感器输出的传感器发射216的第一百分比,而第二类型的对象(如废气)可以反射传感器发射216的第二百分比。另外地或可替代地,在一些示例中,车辆106基于被对象208反射的传感器发射216的位置和通过对象208的传感器发射216的位置来做出确定。在图2A的示例中,车辆106可以确定对象208包括废气。
在一些示例中,车辆106可以使用一个或多个组件(例如,一个或多个模型)来确定与对象208相关联的特征。例如,车辆106可以将表示至少以下项的数据输入到组件中:到与传感器发射216(2)-(3)相关联的点的距离,传感器发射216(2)-(3)的方向,到与传感器发射216(1)和216(4)相关联的点的距离,传感器发射216(1)和216(4)的方向,通过对象208的传感器发射216(1)和216(4)的百分比,被对象208反射的传感器发射208(2)-(3)的百分比等。组件然后可以使用本文描述的过程中的一个或多个来分析数据以确定特征。另外,车辆106然后可以从组件接收表示特征的数据。
在操作222,过程200可以包括使车辆至少部分地基于特征进行导航。例如,示例224示出了车辆106可以基于特征来确定用于导航的路径。例如,并且如图2A的示例所示,由于对象208包括废气,因此车辆106可以确定继续沿着通过对象208的路径。
图2B是用于使用无遮挡传感器数据来确定与对象相关联的特征的第二示例过程226的图示流程图。在操作228,过程226可以包括接收表示与环境内的对象相关联的点的位置的传感器数据。例如,示例230示出了车辆106正在接收表示环境的传感器数据232。在图2B的示例中,车辆106可以通过使用传感器来发射传感器发射(其由虚线表示)以获得传感器数据,传感器发射可以包括光脉冲,其中传感器发射的第一部分被对象234(其在图2B的示例中包括另一个车辆)反射并且返回到车辆106的传感器。另外,传感器发射的第二部分可以被附加对象(为清楚起见其在图2B的示例中未示出)反射并且返回到车辆106的传感器和/或可能不返回到车辆106。这样,传感器数据可以至少表示传感器发射被反射的点的位置。例如,表示传感器发射的第一部分的传感器数据可以与对象234上的点相关联。
在操作236,过程226可以包括至少部分地基于传感器数据来检测环境内的无遮挡区域。例如,示例238示出了车辆106使用传感器数据来确定环境内的无遮挡区域。在一些示例中,车辆106使用与传感器数据相关联的传感器发射240(1)-(4)(也称为“传感器发射240”)来确定无遮挡区域。例如,车辆106可以确定第一无遮挡区域包括沿着第一传感器发射240(1)距车辆106的第一距离。这是因为第一传感器发射240(1)从附加对象(未示出)反射并返回到车辆106的传感器。因此,车辆106可以假设没有其他对象位于车辆106与第一传感器发射240(1)所关联的点之间。另外,车辆106可以确定第二无遮挡区域包括沿着第二传感器发射240(2)距车辆106的第二距离。这是因为第二传感器发射240(2)被对象234反射并返回到车辆106的传感器。因此,车辆106可以假设没有其他对象位于车辆106与第二传感器发射240(2)所关联的点之间。
此外,车辆106可以确定第三无遮挡区域包括沿着第三传感器发射240(3)距车辆106的第三距离。这是因为第三传感器发射240(3)被对象234反射并返回到车辆106的传感器。因此,车辆106可以假设没有其他对象位于车辆106与第三传感器发射240(3)所关联的点之间。最后,车辆106可以确定第四无遮挡区域包括沿着第四传感器发射240(4)距车辆106的第四距离。这是因为第四传感器发射240(4)从附加对象(未示出)反射并返回到车辆106的传感器。因此,车辆106可以假设没有其他对象位于车辆106与第四传感器发射240(4)所关联的点之间。虽然图2B的示例将车辆106示出为仅使用四个传感器发射240来识别环境内的无遮挡区域,但是在其他示例中,车辆106可以使用任何数量的传感器发射。
在242,过程226可以包括至少部分地基于无遮挡区域来确定与对象相关联的特征。例如,示例244示出了车辆106可以使用无遮挡区域来确定至少与对象234相关联的特征。如图所示,基于由传感器发射240(2)-(3)表示的传感器数据的第一部分,由于传感器发射240(2)-(3)被对象234反射并返回到车辆106,车辆106可以确定对象234位于环境内的区域(例如,与对象234相关联的第一特征)。另外,基于由传感器发射240(1)和216(4)表示的传感器数据的第二部分,车辆106可以确定位于对象234附近的区域包括无遮挡区域246(1)-(2)。车辆106然后可以使用无遮挡区域246(1)-(2)来确定与对象234相关联的取向(例如,第二特征)。
例如,车辆106可以最初确定对象234包括另一个车辆。车辆106然后可以使用无遮挡区域246(1)-(2)来确定与另一个车辆236相关联的宽度。使用另一车辆的宽度,车辆106可以确定取向。在一些示例中,车辆106可以做出此确定,因为当另一个车辆包括第一取向时,该另一个车辆将具有第一宽度,当另一个车辆包括第二取向时,该另一个车辆将具有第二宽度,当另一个车辆包括第三取向时,该另一个车辆将具有第三宽度等。这样,车辆106可以使用宽度来确定取向。虽然图2B的示例仅示出了使用无遮挡区域246(1)-(2)来确定与对象234相关联的两个特征(例如,位置和取向),但是在其他示例中,车辆106可以确定附加的和/或替代的特征。
在一些示例中,车辆106可以使用一个或多个组件(例如,一个或多个模型)来确定与对象208相关联的特征。例如,车辆106可以将表示至少以下项的数据输入到组件中:到与传感器发射240(2)-(3)相关联的点的距离,传感器发射240(2)-(3)的方向,到与传感器发射240(1)和240(4)相关联的点的距离,与传感器发射240(1)和240(4)相关联的方向,传感器发射240(2)-(3)所关联的距离与传感器发射240(1)和240(4)所关联的距离之间的差异,基于传感器数据(本文描述的)为无遮挡的环境的区域246(1)-(2)等。组件然后可以使用本文描述的过程中的一个或多个来分析数据以确定特征。另外,车辆106然后可以从组件接收表示特征的数据。
在操作248,过程226可以包括使车辆至少部分地基于特征进行导航。例如,示例250示出了车辆106可以基于特征来确定用于导航的路径。例如,并且如图2的示例所示,由于对象234包括沿着道路的取向,因此车辆106可以确定继续沿着通过对象234的路径。
图3示出了使用无遮挡传感器发射生成占用热图的示例。如图3的示例所示,车辆106可以在包括各种对象304(1)-(6)(也称为“对象304”)的环境302周围导航。在导航时,车辆106可以接收表示环境302中的对象的传感器数据。在一些实例中,并且如图3的示例所示,车辆106可以通过发射被对象304反射并返回到车辆106的传感器的传感器发射(例如,光脉冲)来获得传感器数据,其中传感器发射由虚线表示。如本文所述,传感器数据可以表示环境302内的点的位置。例如,传感器数据的一部分可以表示与对象304(5)相关联的点的位置。另外,传感器数据的另一部分可以表示与对象304(6)相关联的点的位置。
然后,车辆106可以分析传感器数据以确定与环境302相关联的占用。例如,车辆106可以分析传感器数据以最初确定环境302内被对象304遮挡的区域。车辆106可以进一步分析传感器数据以确定环境302内未被环境302内的对象遮挡的区域。如本文所述,车辆106可以使用与由传感器数据表示的点相关联的距离来确定未被遮挡的区域。例如,并且使用传感器发射,车辆106可以确定无遮挡区域包括环境302内的位于车辆106与传感器发射的反射点所关联的位置之间的区域。例如,并且如图3的示例所示,车辆106可以基于被对象304(6)反射并返回到车辆106的传感器发射来确定无遮挡区域包括车辆106与对象304(6)之间的区域。另外,车辆106可以基于被对象304(5)反射并返回到车辆106的传感器发射来确定无遮挡区域包括车辆106与对象304(5)之间的区域。
车辆106然后可以生成表示环境302的占用的热图306。在一些示例中,热图306表示区域被遮挡或未被遮挡的可能性。如本文所述,热图306可以表示邻近车辆106的环境302的离散化区域。例如,热图306可以表示64×64网格(或J×K尺寸的网格),其表示车辆106周围的100米×100米区域。当然,在其他示例中,热图306可以表示任何尺寸的区域并且可以表示该区域的任何数量的离散部分。也就是说,热图306可以以任何分辨率级别表示环境。在一些情况下,热图306的一部分可以被称为热图306的单元。每个单元可以包括表示对象位于单元所表示的区域处的概率的预测概率。例如,并且如图3的示例所示,黑色单元可以表示环境302内被对象304遮挡的区域。另外,灰色单元308(1)-(7)可以表示环境302内车辆106已验证无遮挡区域的区域。此外,白色单元可以表示环境302内车辆106无法确定为被遮挡或未被遮挡的区域。这可能是因为环境302的这些区域被对象304遮挡使得传感器发射不会行进到这些区域。
图4描绘了根据本公开的实施例的用于实现本文描述的技术的示例系统400的框图。在至少一个示例中,系统400可以包括车辆106。车辆106可以包括车辆计算设备402、一个或多个传感器系统404、一个或多个发射器406、一个或多个通信连接408、至少一个直接连接410和一个或多个驱动系统412。
车辆计算设备402可以包括一个或多个处理器414以及与处理器414通信地耦合的存储器416。在所示示例中,车辆106是自主车辆。然而,车辆106可以是任何其他类型的车辆(例如,手动驾驶车辆、半自主车辆等),或者至少具有图像捕获设备的任何其他系统。在所示示例中,车辆计算设备402的存储器416存储定位组件418、感知组件420、规划组件422、无遮挡区域组件424、特征组件426、一个或多个系统控制器428、以及一个或多个地图430。虽然图4中出于说明性目的而描绘为驻留在存储器416中,但是可以设想定位组件418、感知组件420、规划组件422、无遮挡区域组件424、特征组件426、系统控制器428和/或地图430可以附加地或替代地被车辆106访问(例如,存储在远离车辆106的存储器上或以其他方式由远离车辆106的存储器访问)。
在至少一个示例中,定位组件418可以包括从传感器系统404接收数据以及确定车辆106的位置和/或取向(例如,x-位置、y-位置、z-位置、翻滚、俯仰、或偏航中的一个或多个)。例如,定位组件418可以包括和/或请求/接收环境的地图234并且可以在地图内连续地确定车辆106的位置和/或取向。在一些实例中,定位组件418可以利用SLAM(同时定位和映射)、CLAMS(同时校准、定位和映射)、相对SLAM、束调整、非线性最小二乘优化或类似技术,以接收图像数据、激光雷达数据、雷达数据、IMU数据、GPS数据、车轮编码器数据和类似数据,以准确地确定车辆106的位置。在一些实例中,定位组件418可以给车辆106的各种组件提供数据以确定车辆106的初始位置,用于生成候选轨迹,如本文所讨论的。
在一些实例中,感知组件420可以包括执行对象检测、分割和/或分类的功能。在一些情况下,感知组件420可以提供经处理的传感器数据432,其指示接近车辆106的对象的存在和/或对象作为对象类型的分类(例如,汽车、行人、骑自行车的人、动物、建筑物、树木、路面、路边、人行道、未知等)。在附加和/或替代示例中,感知组件420可以提供经处理的传感器数据432,其指示与检测到的对象和/或对象所处的环境相关联的一个或多个特征。在一些实例中,与对象相关联的特征可以包括但不限于:x-位置(全局位置)、y-位置(全局位置)、z-位置(全局位置)、取向(例如,翻滚、俯仰、偏航)、对象类型(例如,分类)、对象的速度、对象的加速度、对象的大小(尺寸)等。与环境相关联的特征可以包括但不限于:环境中的另一对象的存在、环境中的另一对象的状态、一天中的时间、一周中的一天、季节、天气状况、黑暗/光亮的指示等。
通常,规划组件422可以确定车辆106通过环境要遵循的路径。例如,规划组件422可以确定各种路线和轨迹以及各种层次的细节。例如,规划组件422可以确定从第一位置(例如,当前位置)行进到第二位置(例如,目标位置)的路线。出于本讨论的目的,路线可以是用于在两个位置之间行进的航路点序列。作为非限制性示例,航路点包括街道、十字路口、全球定位系统(GPS)坐标等。此外,规划组件422可以生成指令,用于引导车辆106沿着从第一位置到第二位置的路线的至少一个部分。在至少一个示例中,规划组件422可以确定如何将车辆106从航路点序列中的第一航路点引导到航路点序列中的第二航路点。在一些实例中,指令可以是轨迹或轨迹的一部分。在一些实例中,可以根据后退水平技术(recedinghorizon technique)基本上同时生成多个轨迹(例如,在技术公差内),其中,多个轨迹中的一个被选择用于车辆106导航。
在至少一个示例中,规划组件422可以确定与位置相关联的接载位置。如本文所使用,接载位置可以是在车辆106可以停车以接载乘客的位置(例如,与调度请求相关联的地址或位置)的阈值距离内的特定位置(例如,停车位、装载区、地面的一部分等)。在至少一个示例中,规划组件422可以至少部分地基于确定用户身份来确定接载位置(例如,经由图像识别来确定或作为从用户设备接收到的指示,如本文所讨论的)。到达接载位置、到达目的地位置、乘客进入车辆以及接收“开始乘车”命令是可用于基于事件的数据记录的事件的附加示例。
通常,无遮挡区域组件424可以被配置为执行本文描述的过程中的一个或多个以便确定环境内未被对象遮挡的区域。例如,无遮挡区域组件424可以被配置为分析传感器数据432以便确定由传感器数据432表示的点的位置。无遮挡区域组件424然后可以被配置为将无遮挡区域识别为包括在车辆106与环境内的点的位置之间的区域。
通常,特征组件426可以被配置为分析数据以确定与对象相关联的一个或多个特征。例如,诸如当特征组件426被配置为确定对象的类型时,数据可以包括但不限于,到环境内与对象相关联的第一点的第一距离,与第一点相关联的第一传感器发射的第一方向,到环境内与通过对象的第二传感器发射相关联的第二点的第二距离,第二传感器发射的第二方向,通过对象的传感器发射的百分比,被对象反射的传感器发射等。因此,特征组件426可以使用本文描述的过程中的一个或多个来分析数据,以便分析数据以确定对象的类型。
对于另一个示例,如当特征组件426被配置为确定对象的取向时,数据可以包括但不限于,到与对象相关联的第一点的距离,与第一点相关联的第一传感器发射的方向,到与靠近第一点通过的第二传感器发射相关联的第二点的距离,与第二传感器发射相关联的方向,第二距离与第一距离之间的差,环境内基于传感器数据没有被遮挡的区域(本文描述的)等。因此,特征组件426可以使用本文描述的过程中的一个或多个来分析数据,以便分析数据以确定对象的取向。
在一些示例中,计算设备可以使用一种或多种技术来训练这些特征组件426。例如,计算设备可以将数据连同与数据相关联的已知结果一起输入到特征组件426中,以便训练特征组件426。换句话说,计算设备可以训练这些分类组件426以使用无遮挡的传感器发射以确定对象的特征。
在至少一个示例中,车辆计算设备402可以包括系统控制器428,其可以配置为控制车辆106的转向、推进、制动、安全、发射器、通信和其他系统。这些系统控制器428可以与驱动系统412的相应的系统和/或车辆106的其他组件进行通信和/或对其进行控制。
存储器416还可以包括地图430,其可以由车辆106使用以在环境内导航。出于本讨论的目的,地图可以是在二维、三维或N维中建模的任何数量的数据结构,其能够提供关于环境的信息,例如但不限于拓扑(例如十字路口)、街道、山脉、道路、地形和总体环境。在一些实例中,地图可以包括但不限于:纹理信息(例如,颜色信息(例如,RGB颜色信息、Lab颜色信息、HSV/HSL颜色信息)等)、强度信息(例如,激光雷达信息、雷达信息等);空间信息(例如,投影到网格上的图像数据、单独的“面元”(例如,与单独的颜色和/或强度相关联的多边形),反射率信息(例如,镜面反射信息、逆反射信息、BRDF信息、BSSRDF信息等)。在一个示例中,地图可以包括环境的三维网格。在一些实例中,地图可以按片格式存储,使得地图的各个片表示环境的离散部分并且可以根据需要加载到工作存储器中。在至少一个示例中,地图430可以包括至少一个地图(例如,图像和/或网格)。在一些示例中,可以至少部分地基于地图430来控制车辆106。也就是说,地图430可以与定位组件418、感知组件420和/或规划组件422结合使用,以确定车辆106的位置、识别环境中的实体和/或生成在环境中导航的路线和/或轨迹。
在一些实例中,本文讨论的一些或所有组件的方面可以包括任何模型、算法和/或机器学习算法。例如,在一些实例中,存储器416中的组件可以被实现为神经网络。示例性神经网络是生物启发式技术,其将输入数据传递通过一系列连接层以产生输出。神经网络中的每一层也可以包括另一个神经网络,或者可以包括任何数量的层(无论是否卷积)。如在本公开的上下文中可以理解的,神经网络可以利用机器学习,机器学习可以指代此类算法的宽泛分类,其中至少部分地基于学习的参数来生成输出。
虽然在神经网络的上下文中讨论,但是可以使用与本公开一致的任何类型的机器学习。例如,机器学习算法可以包括但不限于:回归算法(例如,普通最小二乘回归(OLSR)、线性回归、逻辑回归、逐步回归、多元自适应回归样条(MARS)、局部估计散点图平滑(LOESS)),基于实例的算法(例如,岭回归、最小绝对收缩和选择算子(LASSO)、弹性网络、最小角回归(LARS)),决策树算法(例如,分类与回归树(CART)、迭代二分法3(ID3)、卡方自动交互检测(CHAID)、决策树桩、条件决策树),贝叶斯算法(例如,朴素贝叶斯、高斯朴素贝叶斯、多项式朴素贝叶斯、平均单依赖估计器(AODE)、贝叶斯信念网络(BNN)、贝叶斯网络),聚类算法(例如,k均值、k中值、期望最大化(EM)、层次聚类),关联规则学习算法(例如,感知机、反向传播、跳场网络、径向基函数网络(RBFN)),深度学习算法(例如,深度玻尔兹曼机(DBM)、深度信念网络(DBN)、卷积神经网络(CNN)、堆栈自动编码器),降维算法(例如,主成分分析(PCA)、主成分回归(PCR)、部分最小二乘回归(PLSR)、Sammon映射、多维缩放(MDS)、投影追踪、线性判别分析(LDA)、混合判别分析(MDA)、二次判别分析(QDA)、灵活判别分析(FDA)),集成算法(例如,提升方法、自举聚合(Bagging)、AdaBoost、堆栈泛化(混合)、梯度提升机(GBM)、梯度提升回归树(GBRT)、随机森林)、SVM(支持向量机)、监督学习、无监督学习、半监督学习等)。架构的附加示例包括神经网络,例如ResNet-50、ResNet-101、VGG、DenseNet、PointNet和类似物。
如上所述,在至少一个实例中,传感器206可以表示传感器404并且可以包括:激光雷达传感器、雷达传感器、声纳传感器、位置传感器(例如,全球定位系统(GPS)、指南针等)、惯性传感器(例如,惯性测量单元(IMU)、加速度计、磁力计、陀螺仪等)、图像传感器(例如,红-绿-蓝(RGB)、红外(IR)、强度、深度、飞行时间、相机等)、麦克风、车轮编码器、环境传感器(例如,温度计、湿度计、光传感器、压力传感器等)等。传感器404可以包括这些或其他类型的传感器中的每一个的多个实例。例如,激光雷达传感器可以包括位于车辆106的拐角、前部、后部、侧面和/或顶部的单独的激光雷达传感器。作为另一示例,相机传感器可以包括设置在围绕车辆106的外部和/或内部的各种位置处的多个相机。传感器系统404可以给车辆计算设备402提供输入。附加地或者替代地,传感器系统404可以在经过预定时间段之后、在发生一个或多个条件时、在接近实时等以特定频率经由一个或多个网络434将传感器数据432发送到计算装置436。
车辆106还可以包括用于发射光和/或声音的发射器406,如上文所描述。该示例中的发射器406包括与车辆106的乘客进行通信的内部音频和视觉发射器。通过示例而非限制的方式,内部发射器可以包括扬声器、灯、标志、显示屏、触摸屏、触觉发射器(例如,振动和/或力反馈)、机械致动器(例如,安全带张紧器、座椅定位器、头枕定位器等)和类似物。该示例中的发射器406也可以包括外部发射器。作为示例而非限制,该示例中的外部发射器包括示意行进方向的灯或车辆动作的其他指示器(例如,指示灯、标志、灯阵列等),以及一个或多个音频发射器(例如,扬声器、扬声器阵列、喇叭等)以与行人或其他附近车辆用声音进行通信,其中的一个或多个包括声束转向技术(acoustic beam steering technology)。
车辆106还可以包括实现车辆106与一个或多个其他本地或远程计算装置之间通信的通信连接408。例如,通信连接408可以有助于与车辆106上的其他本地计算装置和/或驱动系统412的通信。而且,通信连接408可以允许车辆106与其他附近的计算装置(例如,其他附近的车辆、交通信号灯等)进行通信。通信连接408还使得车辆106能够与远程操作计算装置或其他远程服务通信。
通信连接408可以包括物理接口和/或逻辑接口,用于将车辆计算设备402连接到另一个计算装置或网络,例如网络434。例如,通信连接408可以启用基于Wi-Fi的通信,例如由IEEE 802.11标准定义的频率,短距离无线频率诸如蜂窝通信(例如,2G、2G、4G、4GLTE、4G等),或任何合适的有线或无线通信协议,其使得相应的计算机装置能够与其他计算机装置交互。
在至少一个示例中,车辆106可以包括一个或多个驱动系统412。在一些示例中,车辆106可以具有单个驱动系统412。在至少一个示例中,如果车辆106具有多个驱动系统412,那么单独的驱动系统412可以被定位在车辆106的相对端部(例如,前部和后部等)上。在至少一个示例中,驱动系统412可以包括一个或多个传感器系统,以检测驱动系统412和/或车辆106的周围环境的状况。作为示例而非限制,传感器系统404可以包括:一个或多个车轮编码器(例如,旋转编码器)以感测驱动系统的车轮的旋转,惯性传感器(例如,惯性测量单元、加速度计、陀螺仪、磁力计等)以测量驱动系统的取向和加速,相机或其他图像传感器,超声传感器以声学检测驱动系统的周围环境中的实体,激光雷达传感器、雷达传感器等。一些传感器,诸如车轮编码器,可以对于驱动系统412是唯一的。在一些情况下,驱动系统412上的传感器系统404可以重叠或补充车辆106的对应系统(例如,传感器系统404)。
驱动系统412可以包括车辆系统中的许多系统,包括:高压电池,用于推进车辆106的马达,将来自电池的直流电转换成交流电以供其他车辆系统使用的逆变器,包括转向马达和转向齿条(其可以是电动)的转向系统,包括液压致动器或电动致动器的制动系统,包括液压组件和/或气动组件的悬架系统,用于分配制动力以减轻牵引力损失并维持控制的稳定性控制系统,HVAC系统,照明(例如,诸如用于照亮车辆的外部周围环境的头/尾灯的照明),以及一个或多个其他系统(例如,冷却系统、安全系统、车载充电系统、其他电气组件,诸如DC/DC转换器、高压接头、高压电缆、充电系统、充电端口等)。另外,驱动系统412可以包括驱动系统控制器,其可以接收和预处理来自传感器系统404的传感器数据432以及控制各种车辆系统的操作。在一些实例中,驱动系统控制器可以包括一个或多个处理器以及与该一个或多个处理器通信耦合的存储器。存储器可以存储指令以执行驱动系统412的各种功能。此外,驱动系统412还可以包括一个或多个通信连接,其使得各自的驱动系统能够与一个或多个其他本地或远程计算装置进行通信。
在至少一个示例中,直接连接410可以提供物理接口以将一个或多个驱动系统412与车辆106的主体耦合。例如,直接连接410可以允许在驱动系统412和车辆106之间传输能量、流体、空气、数据等。在一些情况下,直接连接410可以进一步可释放地将驱动系统412固定到车辆106的车身。
如图4进一步所示,计算装置436可以包括处理器438、通信连接440和存储器442。车辆106的处理器414和计算装置436的处理器438(和/或本文描述的其他处理器)可以是能够执行指令以处理数据并执行如本文所述的操作的任何合适的处理器。作为示例而非限制,处理器414和处理器438可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、或任何其他处理电子数据以将该电子数据转换为可以存储在寄存器和/或存储器中的其他电子数据的装置或装置的一部分。在一些示例中,集成电路(例如,ASIC等)、门阵列(例如,FPGA等)、和其他硬件装置也可以被视为是被配置为实现编码的指令的处理器。
存储器416和存储器442(和/或本文描述的其他存储器)是非暂时性计算机可读介质的示例。存储器416和存储器442可以存储操作系统和一个或多个软件应用、指令、程序、和/或数据以实现本文描述的方法以及归属于各种系统的功能。在各种实施例中,存储器可以使用任何合适的存储器技术来实现,例如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/闪存型存储器、或任何其他类型的能够存储信息的存储器。本文描述的架构、系统、和单独的元件可以包括许多其他逻辑组件、程序化组件和物理组件,其中附图中示出的那些组件仅仅是与本文中的讨论有关的示例。
应当注意的是,虽然图4被示出为分布式系统,但是在替代示例中,计算装置436的组件可以与车辆106相关联。也就是说,车辆106可以执行与计算装置436相关联的一个或多个功能,和/或计算装置436可以执行与车辆106相关联的一个或多个功能。例如,计算装置436可以包括无遮挡区域组件424和/或特征组件426。计算装置436然后可以使用无遮挡区域组件424和/或特征组件426来执行本文描述的过程中的一个或多个。
图5和图6示出了根据本公开的示例过程。这些过程被示出为逻辑流程图,其每一个操作表示可以在硬件、软件或其组合中实现的操作序列。在软件的场景中,操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令,所述计算机可执行指令当由一个或多个处理器执行时,执行所述的操作。通常,计算机可执行指令可以包括执行特定功能或实施特定抽象数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序不旨在被解释为限制,并且任何数量的所描述的操作可以按任何顺序和/或并行地组合以实施过程。
图5示出了用于使用无遮挡传感器数据来确定占用的示例过程500的流程图。在操作502,过程500可以包括确定环境内假设潜在对象位于的区域,该区域与第一距离相关联。例如,车辆106可以假设潜在对象可以位于环境内的区域处。在一些示例中,车辆106还可以假设与潜在对象相关联的一个或多个附加特征,如潜在对象的取向。另外,在一些示例中,车辆106可以假设附加的潜在对象可以位于环境内的附加区域处和/或包括该区域处的附加位置(例如,取向)。
在操作504,过程500可以包括从一个或多个传感器接收传感器数据。例如,车辆106可以从车辆106的一个或多个传感器接收传感器数据。在一些示例中,传感器数据可以包括从车辆106的激光雷达传感器获得的激光雷达数据。在此类示例中,传感器数据可以至少表示环境内的点的位置,其中激光雷达传感器使用传感器发射(例如,光脉冲)来确定点的位置。附加地或替代地,在一些示例中,传感器数据可包括不同类型的数据,例如车辆106的相机获得的图像数据。附加地或替代地,传感器数据可以从车辆106的一个或多个其他传感器和/或从远离车辆定位的一个或多个传感器被接收。
在操作506,过程500可以包括至少部分地基于传感器数据来确定到环境内的点的第二距离。例如,车辆106可以分析传感器数据以确定到环境内的点的第二距离。在一些示例中,车辆106可以进一步分析传感器数据以确定与该点相关联的对象的分类(例如,与该点相关联的传感器发射被反射掉的对象)。另外,在一些示例中,车辆106可以分析传感器数据以确定与该点相关联的传感器发射的方向基本上指向环境内的区域。换句话说,车辆106可以基于方向来确定如果潜在对象位于环境的区域内则传感器发射是否会接触潜在对象。
在操作508,过程500可以包括确定第二距离是否大于第一距离。例如,车辆106可以将第二距离与第一距离进行比较以确定第二距离是否大于第一距离。在操作508如果确定第二距离不大于第一距离,那么在操作510,过程500可以包括确定该区域被遮挡。例如,如果车辆106确定第二距离不大于第一距离,那么车辆106可以确定该区域被对象遮挡。这可能是因为与该点相关的传感器发射被位于该区域内的对象反射并传回传感器。
然而,在操作508如果确定第二距离大于第一距离,那么在操作512,过程500可以包括确定该区域未被遮挡。例如,如果车辆106确定第二距离大于第一距离,那么车辆106可以确定该区域未被对象遮挡。这可能是因为与该点相关的传感器发射通过该区域而没有被对象反射。这样,车辆106可以确定对象不位于该区域内。
图6示出了用于使用无遮挡传感器数据来确定对象的特征的第一示例过程600的流程图。在操作602,过程600可以包括从一个或多个传感器接收传感器数据。例如,车辆106可以从车辆106的传感器接收传感器数据。在一些示例中,传感器数据可以包括来自车辆106的激光雷达传感器的激光雷达数据。在此类示例中,车辆的传感器可以通过发射从环境内的对象反射并返回到传感器的传感器发射(例如,光脉冲)来获得传感器数据。附加地或替代地,在一些示例中,传感器数据可以包括不同类型的数据,如由车辆106的相机获得的图像数据。附加地或替代地,传感器数据可以从车辆106的一个或多个其他传感器和/或从远离车辆定位的一个或多个传感器接收。
在操作604,过程600可以包括至少部分地基于传感器数据来确定到与第一对象相关联的第一点的第一距离。例如,车辆106可以分析传感器数据以确定到第一点的第一距离。在一些示例中,如当传感器数据包括激光雷达数据时,传感器数据可以表示到第一点的第一距离。另外地或可替代地,在一些示例中,如当传感器数据包括图像数据时,车辆106可以分析传感器数据以确定到第一点的第一距离(例如,确定到第一对象的第一距离)。
在操作606,过程600可以包括至少部分地基于传感器数据来确定到与第二对象相关联的第二点的第二距离。例如,车辆106可以分析传感器数据以确定到第二点的第二距离。在一些示例中,如当传感器数据包括激光雷达数据时,传感器数据可以表示到第二点的第二距离。另外地或可替代地,在一些示例中,如当传感器数据包括图像数据时,车辆106可以分析传感器数据以确定到第二点的第二距离(例如,确定到第二对象的第二距离)。
在操作608,过程600可以包括确定第二点是否与通过第一对象的传感器发射相关联。例如,车辆106可以确定与第二点相关联的传感器发射是否通过第一对象。在一些示例中,车辆106基于与第二点相关联的方向做出确定。例如,并且基于环境内的第二点的位置,车辆106可以确定传感器发射的方向是否使得传感器发射将通过第一对象(例如,传感器发射被基本上朝向第一对象)。
在操作608如果确定第二点与未通过第一对象的传感器发射相关联,那么在操作610,过程600可以包括使用第一点来确定第一对象的特征。例如,如果车辆106确定传感器发射没有通过第一对象,那么车辆106可以使用与第一点相关联的传感器数据而不是与第二点相关联的传感器数据来确定第一对象的特征。该特征可以包括但不限于对象的分类(例如,对象的类型)、对象的取向、对象的位置等。
然而,在操作608如果确定第二点与确实通过第一对象的传感器发射相关联,那么在操作612,过程600可以包括使用第一点和第二点来确定第一对象的特征。例如,如果车辆106确定传感器发射确实通过第一对象,那么车辆106可以使用与第一点相关联的传感器数据和与第二点相关联的传感器数据来确定第一对象的特征。例如,车辆106可以确定对象包括特定类别,如雾、废气等,其允许一些传感器发射通过同时反射其他传感器发射。
图7示出了用于使用无遮挡传感器数据来确定对象的特征的第二示例过程700的流程图。在操作702,过程700可以包括从一个或多个传感器接收传感器数据。例如,车辆106可以从车辆106的传感器接收传感器数据。在一些示例中,传感器数据可以包括来自车辆106的激光雷达传感器的激光雷达数据。在此类示例中,车辆的传感器可以通过发射从环境内的对象反射并返回到传感器的传感器发射(例如,光脉冲)来获得传感器数据。附加地或替代地,在一些示例中,传感器数据可以包括不同类型的数据,如由车辆106的相机获得的图像数据。附加地或替代地,传感器数据可以从车辆106的一个或多个其他传感器和/或从远离车辆定位的一个或多个传感器接收。
在操作704,过程700可以包括至少部分地基于传感器数据来确定到与第一对象相关联的第一点的第一距离。例如,车辆106可以分析传感器数据以确定到第一点的第一距离。在一些示例中,如当传感器数据包括激光雷达数据时,传感器数据可以表示到第一点的第一距离。另外地或可替代地,在一些示例中,如当传感器数据包括图像数据时,车辆106可以分析传感器数据以确定到第一点的第一距离(例如,确定到第一对象的第一距离)。
在操作706,过程700可以包括至少部分地基于传感器数据来确定到与第二对象相关联的第二点的第二距离。例如,车辆106可以分析传感器数据以确定到第二点的第二距离。在一些示例中,如当传感器数据包括激光雷达数据时,传感器数据可以表示到第二点的第二距离。另外地或可替代地,在一些示例中,如当传感器数据包括图像数据时,车辆106可以分析传感器数据以确定到第二点的第二距离(例如,确定到第二对象的第二距离)。
在操作708,过程600可以包括确定第二点是否与经过第一对象附近的传感器发射相关联。例如,车辆106可以确定与第二点相关联的传感器发射是否经过第一对象附近。在一些示例中,车辆106基于与第二点相关联的方向做出确定。例如,在一些示例中,当与传感器发射相关联的方向在与第一对象相关联的方向(和/或与第一点的附加传感器发射相关联的方向)的阈值角度内时,车辆106可以确定传感器发射经过第一对象附近。
在操作708如果确定第二点与未经过第一对象附近的传感器发射相关联,那么在操作710,过程700可以包括使用第一点来确定第一对象的特征。例如,如果车辆106确定传感器发射没有经过第一对象附近,那么车辆106可以使用与第一点相关联的传感器数据而不是与第二点相关联的传感器数据来确定第一对象的特征。该特征可以包括但不限于对象的分类(例如,对象的类型)、对象的取向、对象的位置等。
然而,在操作708如果确定第二点与确实经过第一对象附近的传感器发射相关联,那么在操作712,过程700可以包括使用传感器发射来确定无遮挡区域。例如,车辆106可以使用本文描述的过程中的一个或多个以便确定无遮挡区域。由于传感器发射经过第一对象附近,因此无遮挡区域也可以位于第一对象附近。
在操作714,过程700可以包括使用第一点和无遮挡区域来确定第一对象的特征。例如,车辆106可以使用与第一点和无遮挡区域相关联的传感器数据来确定第一对象的特征。例如,车辆106可以基于包括无遮挡区域的第一对象附近的区域来确定对象包括特定定向。
虽然已经用特定于结构特征和/或方法动作的语言描述了本申请的主题,但是应当理解的是,所附权利要求书中限定的主题不一定限于上述特定特征或动作。相反,该特定特征和动作是作为实施权利要求书的示例形式公开的。
本文描述的组件表示可以被存储在任何类型的计算机可读介质中并且可以在软件和/或硬件中被实现的指令。上文描述的所有方法和过程可以体现在通过一个或多个计算机或处理器、硬件或其一些组合执行的软件代码组件和/或计算机可执行指令中并且经由其被完全自动化。一些或所有方法可以替代地体现在专门的计算机硬件中。
除非另有明确说明,诸如“可以”、“能够”或“可能”等条件性语言在上下文中被理解为表示某些示例包括某些特征、元件和/或步骤,而其他示例不包括。因此,这样的条件性语言通常不旨在暗示某些特征、元件和/或步骤以任何方式对于一个或更多个示例是必需的,或者一个或更多个示例必须包括用于在有或没有用户输入或提示的情况下做出决定的逻辑,在任何具体示例中是否包括或将要执行某些特征、元件和/或步骤。
除非另有明确说明,诸如短语“X、Y或Z中的至少一个”的连接性语言应被理解为表示项目、术语等可以是X、Y或Z,或其任何组合,包括每个元件的倍数。除非明确描述为单数,否则“一”表示单数和复数。
本文描述和/或在附图中描绘的流程图中的任何例程描述、元件或块应被理解为潜在地表示代码的模块、区段或部分,其包括一个或更多个计算机可执行指令,用于实现例程中的特定逻辑功能或元件。替代实施方式被包括在本文描述的示例的范围内,其中元件或功能可以被删除,或不按照所示出或讨论的顺序执行,包括基本上同步地、以相反的顺序、具有附加操作或省略操作,取决于所涉及的功能,正如本领域的技术人员所理解的那样。
可以对上文描述的示例做出许多变化和修改,其中的元件将被理解为在其他可接受的示例中。所有这样的修改和变化都旨在被包括在本文本公开的范围内并受以下权利要求书保护。
示例条款
A:一种系统,包括:一个或多个处理器;存储指令的一个或多个计算机可读介质,所述指令当由一个或多个处理器执行时,使系统执行以下操作,包括:确定环境内的第一多个假设对象可能位于的第一区域;确定环境内的第二多个假设对象可能位于的第二区域;从车辆的一个或多个传感器接收传感器数据,其中传感器数据是基于通过第一区域并被第二区域处的真实对象反射的至少一个传感器发射来确定的;至少部分地基于传感器数据来确定第一区域是不包含第一多个假设对象中的至少一个的无遮挡区域;至少部分地基于传感器数据来确定位于第二区域的真实对象的取向和位置;以及至少部分地基于包括真实对象的第二区域来控制车辆。
B:如段落A所述的系统,其中确定与真实对象相关联的取向至少包括:至少部分地基于传感器数据来确定与点相关联的发射路径经过真实对象附近而没有被真实对象反射;以及至少部分地基于发射路径经过真实对象附近而没有被真实对象反射来确定与真实对象相关联的取向。
C:如段落A或段落B所述的系统,操作进一步包括:确定环境内的第三多个假设对象可能位于的第三区域,第三区域比第二区域距离车辆更远;至少部分地基于传感器数据来确定至少一个传感器发射不通过第三区域;以及至少部分地基于至少一个传感器发射不通过该区域来确定第三多个假设对象中的一个或多个可能仍然位于第三区域处,并且其中控制车辆进一步至少部分地基于确定第三多个假设对象中的一个或多个可能仍位于第三区域处。
D:如段落A-C中任一项所述的系统,操作进一步包括:确定与第一区域相关联的环境的类型;至少部分地基于环境的类型来确定可能位于第一区域的假设对象的类型;以及至少部分地基于可能位于第一区域处的假设对象的类型来确定第一多个假设对象。
E:一种方法,包括:确定可能位于环境内的位置处的多个假设对象;从车辆的一个或多个传感器接收传感器数据;至少部分地基于传感器数据来确定多个假设对象中的至少一些不位于该位置处;以及至少部分地基于确定多个假设对象中的至少一些不位于该位置处来控制车辆。
F:如段落E所述的方法,进一步包括:确定来自多个假设对象中的假设对象的假设取向;至少部分地基于传感器数据来确定真实对象的真实取向;以及至少部分地基于真实取向来更新位置以包括环境内的附加位置,并且其中控制车辆是至少部分地基于附加位置的。
G:如段落E或段落F中所述的方法,其中:确定多个假设对象中的至少一些不位于该位置处至少包括至少部分地基于传感器数据来确定真实对象位于该位置处;并且该方法进一步包括:至少部分地基于传感器数据来确定与点相关联的发射路径经过真实对象附近而没有被真实对象反射以及至少部分地基于发射路径经过真实对象附近而没有被真实对象反射来确定真实对象的取向。
H:如段落E-G中任一项所述的方法,进一步包括:确定与位置相关联的环境的类型;以及至少部分地基于环境的类型来确定可能位于该位置处的假设对象的类型,并且其中确定可能位于环境内的该位置处的多个假设对象是至少部分地基于假设对象的类型的。
I:如段落E-H中任一项所述的方法,进一步包括:确定与该位置相关联的环境的类型;至少部分地基于环境的类型来确定可能位于该位置处的假设对象的类型;至少部分地基于假设对象的类型来确定与来自多个假设对象中的第一假设对象相关联的第一位置;以及至少部分地基于假设对象的类型来确定与来自多个假设对象中的第二假设对象相关联的第二位置。
J:如段落E-I中任一项所述的方法,其中,确定多个假设对象中的至少一些不位于该位置处至少包括:至少部分地基于传感器数据来确定至少一个传感器发射通过该位置而不被真实对象反射;以及至少部分地基于传感器发射通过该位置而没有被真实对象反射来确定多个假设对象中的至少一些不位于该位置处。
K:如段落E-J中任一项所述的方法,进一步包括:至少部分地基于传感器数据来确定环境内真实对象的附加位置;确定附加位置是沿着车辆的路径;以及确定该位置也沿着车辆的路径并且被真实对象遮挡,并且其中确定可能在环境内的该位置处的多个假设对象是至少部分地基于该位置也沿着车辆的路径车辆的路径并被真实对象遮挡的。
L:如段落E-L中任一项所述的方法,进一步包括:确定可能在环境内的附加位置处的附加的多个假设对象;至少部分地基于传感器数据来确定至少一个传感器发射通过附加位置并且被在该位置处的真实对象反射;以及确定附加位置没有被附加的多个假设对象遮挡。
M:如段落L所述的方法,进一步包括生成指示至少以下项的地图:环境内的位置被真实对象遮挡;以及环境内的附加位置未被遮挡。
N:如段落E-M中任一项所述的方法,进一步包括:确定可能在环境内的附加位置处的附加的多个假设对象,该附加位置比该位置距离车辆更远;以及至少部分地基于传感器数据来确定至少一个传感器发射不通过该位置并到达附加位置;以及至少部分地基于至少一个传感器发射不通过该位置并到达附加位置来确定附加的多个假设对象中的一个或多个可能仍然位于附加位置处,并且其中控制车辆进一步至少部分地基于确定附加的多个假设对象中的一个或多个可能仍位于附加位置处。
O:如段落E-N中任一项所述的方法,其中从车辆的一个或多个传感器接收传感器数据包括从车辆的一个或多个激光雷达传感器接收激光雷达数据。
P:一种或多种存储指令的非暂时性计算机可读介质,所述指令当由一个或多个处理器执行时,使该一个或多个处理器执行操作,包括:确定可能位于环境内的位置处的多个假设对象;从车辆的一个或多个传感器接收传感器数据;至少部分地基于传感器数据来确定多个假设对象中的至少一些不位于该位置处;以及至少部分地基于确定多个假设对象中的至少一些不位于该位置处来控制车辆。
Q:如段落P所述的一种或多种非暂时性计算机可读介质,操作进一步包括:确定来自多个假设对象中的假设对象的假设取向;以及至少部分地基于传感器数据来确定真实对象的真实取向;以及至少部分地基于真实取向来更新位置以包括环境内的附加位置,并且其中控制车辆是至少部分地基于附加位置的。
R:如段落P或段落Q所述的一种或多种非暂时性计算机可读介质,操作进一步包括:确定与位置相关联的环境的类型;以及至少部分地基于环境的类型来确定可能位于该位置处的假设对象的类型,并且其中确定可能位于环境内的该位置处的多个假设对象是至少部分基于假设对象的类型的。
S:如段落P-R中任一项所述的一种或多种非暂时性计算机可读介质,操作进一步包括:确定与位置相关联的环境的类型;至少部分地基于环境的类型来确定可能位于该位置处的假设对象的类型;至少部分地基于假设对象的类型来确定与来自多个假设对象中的第一假设对象相关联的第一位置;以及至少部分地基于假设对象的类型来确定与来自多个假设对象中的第二假设对象相关联的第二位置。
T:如段落P-S中任一项所述的一种或多种非暂时性计算机可读介质,其中,确定多个假设对象中的至少一些不位于该位置处至少包括:至少部分地基于传感器数据来确定至少一个传感器发射通过该位置而没有被真实对象反射;以及至少部分地基于该传感器发射通过该位置而没有被真实对象反射来确定多个假设对象中的至少一些不位于该位置处。
U:一种系统,包括:一个或多个处理器;以及一种或多种存储指令的计算机可读介质,所述指令当由一个或多个处理器执行时,使系统执行以下操作,包括:接收环境的传感器数据,其中传感器数据与在传感器处接收环境中的发射的反射相关联并且距离是基于发射的反射来确定的;至少部分地基于传感器数据来确定第一点与环境中的对象相对应;以及第二点具有经过第一点附近的对应的发射路径,其中第二点比第一点距传感器的距离更大;基于第一点和经过第一点附近的第二点的对应的发射路径来确定与对象相关联的特征;以及至少部分地基于与对象相关联的特征来控制车辆。
V:如段落U所述的系统,其中,确定与该对象相关联的特征至少包括:将第一数据输入到模型中,该第一数据至少表示:第一点与该对象相对应;以及第二点具有经过第一点附近而不被对象反射的对应的发射路径;以及从模型接收表示特征的第二数据。
W:如段落U或段落V所述的系统,操作进一步包括:至少部分地基于具有经过第一点附近的对应发射路径的第二点来确定位于对象附近的区域未被遮挡,并且其中确定与该对象相关联的特征包括至少部分地基于第一点和未被遮挡的区域来确定与该对象相关联的取向。
X:如段落U-W中任一项所述的系统,操作进一步包括:至少部分地基于第一点确定环境内的对象所位于的区域;至少部分地基于具有通过第一点附近的对应的发射路径的第二点,确定对应的发射路径通过该区域而没有被对象反射;以及至少部分地基于对应的发射路径通过该区域而不被该对象反射来确定与该对象相关联的对象类型或取向。
Y:一种方法,包括:从车辆的一个或多个传感器接收传感器数据;至少部分地基于传感器数据来确定第一点与对象相关联;至少部分地基于传感器数据来确定第二点具有经过对象附近而不被对象反射的发射路径;至少部分地基于第二点的发射路径经过该对象附近且没有被该对象反射来确定与该对象相关联的特征;以及使车辆至少部分地基于该特征进行导航。
Z:如段落Y所述的方法,进一步包括:确定第二点与附加对象相关联;以及至少部分地基于与第二点与附加对象相关联来确定发射路径没有被对象反射。
AA:如段落Y或段落Z所述的方法,进一步包括:确定与第一点相关联的第一距离;以及确定与第二点相关联的第二距离,并且其中确定与对象相关联的特征进一步至少部分地基于第一距离和第二距离。
AB:如段落Y-AA中任一项所述的方法,进一步包括:至少部分地基于第一点来确定环境内的对象所位于的区域;确定第二点的发射路径通过该区域而没有被对象反射;以及确定与第二点相关联的第一距离大于与第一点相关联的第二距离,并且其中确定与对象相关联的特征包括至少部分地基于通过该区域的发射路径和第一距离大于第二距离来确定与对象相关联的类型。
AC:如段落Y-AB中任一项所述的方法,进一步包括:至少部分地基于传感器数据来确定无遮挡地通过对象的传感器发射的百分比,第二点的发射路径与传感器发射的百分比相关联,并且其中确定与对象相关联的特征包括至少部分地基于传感器发射的百分比来确定与对象相关联的类型。
AD:如段落Y-AC中任一项所述的方法,其中,确定与对象相关联的特征包括至少部分地基于第一点和经过对象附近而不被对象反射的第二点的发射路径来确定与对象相关联的取向。
AE:如段落Y-AD中任一项所述的方法,其中,确定与该对象相关联的特征至少包括:将第一数据输入到模型中,该第一数据至少表示:与该对象相关联的第一点;以及第二点的发射路径经过对象附近而没有被对象反射;以及从模型接收表示与对象相关联的特征的第二数据。
AF:如段落Y-AE中任一项所述的方法,进一步包括:至少部分地基于传感器数据来确定无遮挡地通过对象的传感器发射的百分比,第二点的发射路径与传感器发射的百分比相关联,并且其中确定与对象相关联的特征至少包括:将第一数据输入到模型中,第一数据表示无遮挡地通过对象的传感器发射的百分比;以及从模型接收表示与对象相关联的特征的第二数据。
AG:如段落Y-AF中任一项所述的方法,其中,确定第二点具有经过对象附近的发射路径至少包括:将第一数据输入到模型中,第一数据至少表示:与生成表示第二点的传感器数据的传感器相关联的位置;以及环境内对象的位置;以及从模型接收第二数据,该第二数据指示第二点的发射路径经过对象附近而没有被对象反射。
AH:如段落Y-AG中任一项所述的方法,其中,确定第二点具有经过对象附近而没有被对象反射的发射路径至少包括:至少部分地基于传感器数据来确定与第一点的附加传感器发射相关联的第一角度;至少部分地基于传感器数据来确定与第二点的传感器发射相关联的第二角度;确定第一角度相对于第二角度在阈值内;以及确定第二点被附加对象反射。
AI:一种或多种存储指令的非暂时性计算机可读介质,所述指令当由一个或多个处理器执行时,使该一个或多个处理器执行操作,包括:从车辆的一个或多个传感器接收传感器数据;至少部分地基于传感器数据来确定第一点与对象相关联;至少部分地基于传感器数据来确定第二点具有经过对象附近而不被对象反射的发射路径;至少部分地基于第二点的发射路径经过该对象附近且没有从该对象反射来确定与该对象相关联的特征;以及使车辆至少部分地基于该特征进行导航。
AJ:如段落AI所述的一种或多种非暂时性计算机可读介质,操作进一步包括:确定第二点与附加对象相关联;以及基于第二点与附加对象相关联来确定发射路径没有被该对象反射。
AK:如段落AI或段落AJ所述的一种或多种非暂时性计算机可读介质,操作进一步包括:至少部分地基于第一点来确定环境内的对象所位于的区域;以及确定第二点的发射路径通过该区域而没有被该对象反射,并且其中确定与该对象相关联的特征包括至少部分地基于该发射路径通过该区域而不被对象反射来确定与该对象相关联的类型。
AL:如段落AI-AK中任一项所述的一种或多种非暂时性计算机可读介质,操作进一步包括:至少部分地基于传感器数据来确定无遮挡地通过对象的传感器发射的百分比,第二点的发射路径与传感器发射的百分比相关联,并且其中确定与该对象相关联的特征包括至少部分地基于传感器发射的百分比来确定与该对象相关联的类型。
AM:如段落AI-AL中任一项所述的一种或多种非暂时性计算机可读介质,其中,确定与对象相关联的特征包括至少部分地基于第一点和经过对象附近而不被对象反射的第二点的发射路径来确定与对象相关联的取向。
AN:如段落AI-AM中任一项所述的一种或多种非暂时性计算机可读介质,其中,确定与对象相关联的特征至少包括:将第一数据输入到模型中,该第一数据至少表示:与该对象相关联的第一点;并且第二点的发射路径经过对象附近而没有被对象反射;以及从模型接收表示与对象相关联的特征的第二数据。
Claims (15)
1.一种方法,包括:
确定能够位于环境内的位置处的多个假设对象;
从车辆的一个或多个传感器接收传感器数据;
至少部分地基于所述传感器数据来确定所述多个假设对象中的至少一些假设对象不位于所述位置处;以及
至少部分地基于确定所述多个假设对象中的至少一些假设对象不位于所述位置处来控制所述车辆。
2.如权利要求1所述的方法,进一步包括:
确定来自所述多个假设对象中的假设对象的假设取向;
至少部分地基于所述传感器数据来确定真实对象的真实取向;以及
至少部分地基于所述真实取向来更新所述位置以包括所述环境内的附加位置,
其中,控制所述车辆是至少部分地基于所述附加位置的。
3.如权利要求1或权利要求2所述的方法,其中:
确定所述多个假设对象中的至少一些假设对象不位于所述位置处至少包括至少部分地基于所述传感器数据来确定真实对象位于所述位置处;以及
所述方法进一步包括:
至少部分地基于所述传感器数据来确定与点相关联的发射路径经过所述真实对象附近而没有被所述真实对象反射;以及
至少部分地基于所述发射路径经过所述真实对象附近而没有被所述真实对象反射来确定所述真实对象的取向。
4.如权利要求1-3中任一项所述的方法,进一步包括:
确定与所述位置相关联的所述环境的类型;以及
至少部分地基于所述环境的类型来确定能够位于所述位置处的假设对象的类型,
并且其中,确定能够位于所述环境内的所述位置处的所述多个假设对象是至少部分地基于所述假设对象的类型的。
5.如权利要求1-4中任一项所述的方法,进一步包括:
确定与所述位置相关联的所述环境的类型;
至少部分地基于所述环境的类型来确定能够位于所述位置处的假设对象的类型;
至少部分地基于所述假设对象的类型来确定与来自所述多个假设对象中的第一假设对象相关联的第一位置;以及
至少部分地基于所述假设对象的类型来确定与来自所述多个假设对象中的第二假设对象相关联的第二位置。
6.如权利要求1-5中任一项所述的方法,其中,确定所述多个假设对象中的至少一些假设对象不位于所述位置处至少包括:
至少部分地基于所述传感器数据来确定至少一个传感器发射通过所述位置而没有被真实对象反射;以及
至少部分地基于所述传感器发射通过所述位置而没有被所述真实对象反射来确定所述多个假设对象中的至少一些假设对象不位于所述位置处。
7.如权利要求1-6中任一项所述的方法,进一步包括:
至少部分地基于所述传感器数据来确定所述环境内的真实对象的附加位置;
确定所述附加位置是沿着所述车辆的路径的;以及
确定所述位置也是沿着所述车辆的路径并且被所述真实对象遮挡,
并且其中,确定能够位于所述环境内的所述位置处的所述多个假设对象是至少部分地基于所述位置也沿着所述车辆的路径并且被所述真实对象遮挡的。
8.如权利要求1-7中任一项所述的方法,进一步包括:
确定能够位于所述环境内的附加位置处的附加的多个假设对象;
至少部分地基于所述传感器数据来确定至少一个传感器发射通过所述附加位置并且被位于所述位置处的真实对象反射;以及
确定所述附加位置没有被所述附加的多个假设对象遮挡。
9.如权利要求8所述的方法,进一步包括生成指示至少以下项的地图:
所述环境内的所述位置被所述真实对象遮挡;以及
所述环境内的所述附加位置未被遮挡。
10.如权利要求1-9中任一项所述的方法,进一步包括:
确定能够位于所述环境内的附加位置处的附加的多个假设对象,所述附加位置比所述位置距离所述车辆更远;以及
至少部分地基于所述传感器数据来确定至少一个传感器发射没有通过所述位置并到达所述附加位置;以及
至少部分地基于所述至少一个传感器发射没有通过所述位置并到达所述附加位置来确定所述附加的多个假设对象中的一个或多个假设对象能够仍然位于所述附加位置处,
并且其中,控制所述车辆是进一步至少部分地基于确定所述附加的多个假设对象中的一个或多个假设对象能够仍然位于所述附加位置的。
11.如权利要求1-10中任一项所述的方法,其中,从所述车辆的一个或多个传感器接收所述传感器数据包括从所述车辆的一个或多个激光雷达传感器接收激光雷达数据。
12.如权利要求1所述的方法,进一步包括:
至少部分地基于所述传感器数据来确定第一点与对象相关联;
至少部分地基于所述传感器数据来确定第二点具有经过所述对象附近而没有被所述对象反射的发射路径;
至少部分地基于所述第二点的发射路径经过所述对象附近而没有被所述对象反射来确定与所述对象相关联的特征;以及
使所述车辆至少部分地基于所述特征进行导航。
13.如权利要求12所述的方法,其中,确定与所述对象相关联的特征至少包括:
将第一数据输入到模型中,所述第一数据至少表示:
与所述对象关联的第一点;以及
所述第二点的发射路径经过所述对象附近而没有被所述对象反射;以及
从所述模型接收表示与所述对象相关联的特征的第二数据。
14.一种或多种存储指令的非暂时性计算机可读介质,所述指令当由一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1-13中任一项所述的方法。
15.一种系统,包括:
一个或多个处理器;以及
一种或多种存储指令的非暂时性计算机可读介质,所述指令当由所述一个或多个处理器执行时,配置所述系统执行如权利要求1-13中任一项所述的方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/405,826 | 2021-08-18 | ||
US17/405,865 | 2021-08-18 | ||
US17/405,865 US20230059808A1 (en) | 2021-08-18 | 2021-08-18 | Determining object characteristics using unobstructed sensor emissions |
PCT/US2022/039708 WO2023022894A1 (en) | 2021-08-18 | 2022-08-08 | Determining occupancy using unobstructed sensor emissions |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117813228A true CN117813228A (zh) | 2024-04-02 |
Family
ID=85228785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280055893.2A Pending CN117813228A (zh) | 2021-08-18 | 2022-08-08 | 使用无遮挡传感器发射确定占用 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230059808A1 (zh) |
CN (1) | CN117813228A (zh) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4241834B2 (ja) * | 2007-01-11 | 2009-03-18 | 株式会社デンソー | 車載霧判定装置 |
US9499172B2 (en) * | 2012-09-20 | 2016-11-22 | Google Inc. | Detecting road weather conditions |
US10247854B2 (en) * | 2013-05-07 | 2019-04-02 | Waymo Llc | Methods and systems for detecting weather conditions using vehicle onboard sensors |
US10414395B1 (en) * | 2018-04-06 | 2019-09-17 | Zoox, Inc. | Feature-based prediction |
US10726567B2 (en) * | 2018-05-03 | 2020-07-28 | Zoox, Inc. | Associating LIDAR data and image data |
US10642275B2 (en) * | 2018-06-18 | 2020-05-05 | Zoox, Inc. | Occulsion aware planning and control |
DE102018125715A1 (de) * | 2018-10-17 | 2020-04-23 | Valeo Schalter Und Sensoren Gmbh | Verfahren zur Erfassung wenigstens von Partikelzusammensetzungen in einem Überwachungsbereich mit einer optischen Detektionsvorrichtung und Detektionsvorrichtung |
US11447128B2 (en) * | 2020-04-29 | 2022-09-20 | GM Global Technology Operations LLC | Method and system for operating an on-vehicle LiDAR sensor |
US20220187448A1 (en) * | 2020-12-16 | 2022-06-16 | Waymo Llc | Adjusting Lidar Parameters Based on Environmental Conditions |
-
2021
- 2021-08-18 US US17/405,865 patent/US20230059808A1/en active Pending
-
2022
- 2022-08-08 CN CN202280055893.2A patent/CN117813228A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230059808A1 (en) | 2023-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112752988B (zh) | 雷达空间估计 | |
CN112752950B (zh) | 修改与地图数据相关联的地图元素 | |
US10642275B2 (en) | Occulsion aware planning and control | |
CN113453970A (zh) | 基于外观的运动预测 | |
CN112041633A (zh) | 使用蒙片进行的数据分割 | |
US11648939B2 (en) | Collision monitoring using system data | |
US11697412B2 (en) | Collision monitoring using statistic models | |
US11699237B2 (en) | Bounding box embedding for object identifying | |
US11965956B2 (en) | Recognizing radar reflections using position information | |
US11538185B2 (en) | Localization based on semantic objects | |
US20220185331A1 (en) | Calibration based on semantic objects | |
US20210157321A1 (en) | Height estimation using sensor data | |
US11603095B2 (en) | Collision avoidance planning system | |
CN117980212A (zh) | 基于优化的规划系统 | |
CN113544538A (zh) | 使用速度和位置信息识别雷达反射 | |
US20230058731A1 (en) | Determining occupancy using unobstructed sensor emissions | |
CN117545674A (zh) | 用于识别路缘的技术 | |
US11761780B1 (en) | Determining data for semantic localization | |
CN117651880A (zh) | 雷达数据分析和隐藏对象检测 | |
US11753036B1 (en) | Energy consumption control systems and methods for vehicles | |
US20230059808A1 (en) | Determining object characteristics using unobstructed sensor emissions | |
US11834074B1 (en) | Techniques for reducing wear on a vehicle | |
US20240034356A1 (en) | Reference trajectory validating and collision checking management | |
US11906967B1 (en) | Determining yaw with learned motion model | |
WO2023022894A1 (en) | Determining occupancy using unobstructed sensor emissions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |