CN112166304A - 传感器数据的误差检测 - Google Patents

传感器数据的误差检测 Download PDF

Info

Publication number
CN112166304A
CN112166304A CN201980035457.7A CN201980035457A CN112166304A CN 112166304 A CN112166304 A CN 112166304A CN 201980035457 A CN201980035457 A CN 201980035457A CN 112166304 A CN112166304 A CN 112166304A
Authority
CN
China
Prior art keywords
sensor
data
sensor data
parameter
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980035457.7A
Other languages
English (en)
Other versions
CN112166304B (zh
Inventor
J·S·莱文森
N·什罗夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoox Inc
Original Assignee
Zoox Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoox Inc filed Critical Zoox Inc
Publication of CN112166304A publication Critical patent/CN112166304A/zh
Application granted granted Critical
Publication of CN112166304B publication Critical patent/CN112166304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/18—Error detection or correction; Testing, e.g. of drop-outs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Image Analysis (AREA)

Abstract

一种方法包括：接收来自第一传感器的第一信号，此第一信号包括表示环境的数据。这种方法还包括：接收来自第二传感器的第二信号，此第二信号包括表示环境的数据。这种方法进一步包括：至少部分地基于所接收到的数据确定对象组；并且识别与包含于第一信号和/或第二信号中的数据相关联的误差。

Description

传感器数据的误差检测
相关申请的交叉引用
本专利申请要求享有于2018年4月3日提交的题为“Detecting Errors in SensorData”的第15/944,240号美国专利申请的优先权，上述申请的全部内容通过引用结合进本文之中。
背景技术
传感器可用于生成指示环境中对象/物体的传感器数据。例如，多个传感器可向配置为促使机器的自主操作的感知系统提供传感器数据。感知系统可以基于传感器数据来识别环境中存在的一对象组。但是，环境条件、损坏、校准误差和其他因素可对一个或多个这样的传感器的效用构成妨碍，此外，针对特定传感器模态的不充足的训练数据也会使传感器模态无法检测到位于环境中的对象。例如，在没有驾驶员操作的自动驾驶车辆至少部分地依赖于通过传感器所产生的数据进行适当操作时，这些情况可能是特别成问题的。如果一个或多个传感器所提供的传感器数据与通过感知系统所识别的这组对象不同和/或不匹配，则自动驾驶车辆可能基于与其所穿越的环境相关的不准确信息采取行动。而这种情况对这种车辆或机器的操作构成阻碍。
附图说明
此处，参照说明书附图进行了详细的描述。在附图中，附图标记的最左边的数字表示该附图标记首次出现的附图。而在不同附图中用相同的附图标记体现相似或相同的部件。
图l示出了一种示例方法/过程的流程图，上述示例方法用于：识别环境中的一个对象或对象组，并且确定从一个或多个传感器模态接收的数据包括与此对象或对象组相关联的误差。例如，这样的方法可以包括确定对象不存在于或是被错误地归类于与单个传感器生成的数据相关联的对象组中。
图2示出了示例车辆行驶通过并捕获传感器数据的示意性环境。
图3示出了用于识别对象和发起响应的示例系统。
图4A示出了具有多种传感器类型的示例性车辆的侧视图。
图4B示出了图4A所示的示例车辆的俯视图。
图5示出了另一种示例方法的流程图，上述示例方法用于：识别环境中的一个对象或对象组，并且确定从一个或多个传感器模态接收的数据包括与此对象或对象组相关联的误差。这样的示例方法可以包括确定对象不存在于或是被错误地归类于与单个传感器生成的数据相关联的对象组中。
图6是示出了用于识别环境中可检测的对象并发起响应的示例方法的流程图。
图7是示出了用于识别环境中可检测的对象并发起响应的另一示例方法的流程图。
具体实施方式
如上所述，自动驾驶车辆和其他机器依赖于多个传感器，借以向感知系统提供输入，进而对自动驾驶车辆或机器周围的环境中的对象进行检测。而一个或多个传感器无法检测环境中的对象则可能妨碍此类车辆或机器的运行，潜在地造成不安全的操作条件。然而，单个传感器模态的传感器数据没有正常操作或者从传感器模态输出的数据异常却无法立即地显现出来。
本申请描述了对与单个传感器模态相关的误差进行识别的技术，其中通过使用由单个传感器模态生成的数据(例如，图像数据、光检测和测距(激光雷达LIDAR)传感器数据、无线电检测和测距(雷达RADAR)数据、声音导航和测距(声纳SONAR)数据等)对各对象组进行识别；以及将相应对象组(例如，经处理的传感器数据)和感知系统的输出进行比较。感知系统的输出可以包括来自多个传感器的融合数据，并且这种融合数据可以包括和/或包括由感知系统预测的存在于环境中的一组对象。此类比较可用于对存在需要修改的故障和/或需要校准的故障的传感器进行识别。另外，在一些示例中，由感知系统生成的融合传感器数据可在训练诸如具有机器学习模块的单个传感器模态时作为真实情况/数据(groundtruth)，以进一步提高单个传感器模态的性能。
在示例性实施例中，本发明的一个或多个系统可以包括设置在诸如自动驾驶车辆的车辆上并且可操作地连接到一个或多个处理器和/或远程计算装置的多个传感器。一个或多个处理器可从设置在车辆上的第一传感器接收第一信号。第一传感器可以包括图像捕获装置，并且第一信号可以包括表示场景的图像数据(即，可确定对于图像传感器可见的环境的一部分，例如，图像传感器可通过视野可见的环境的一部分)，其中上述场景可以是通过图像捕获装置捕获的第一场景。例如，此类图像数据可以指示第一场景，此第一场景示出了和/或包括了第一传感器和/或车辆所存在的环境中可检测的第一对象组。举例而言，这样的图像数据可以包括：由图像捕获装置捕获的多个图像以及环境的指示。每个这样的图像可以包括在可由环境中图像捕获装置检测到的各对象组。在这种示例中，上述一个或多个处理器可对从第一传感器接收到的每个信号进行分析，借以对每一信号中包括的图像数据所指示的各对象组进行识别。
这种系统还可以包括：设置在车辆上的第二传感器，并且这种第二传感器可包括激光雷达(LIDAR)传感器。上述一个或多个处理器可以配置为从激光雷达传感器接收第二信号，并且第二信号可以包括激光雷达传感器数据。这种激光雷达传感器数据可以与上述图像数据同时被捕获。在这些示例中，激光雷达传感器数据可以表示与上述图像数据同时由激光雷达传感器捕获的相应的第二场景(即，激光雷达传感器可见的环境部分)。例如，这种激光雷达传感器数据可以指示由激光雷达传感器捕获的第二场景包括环境中可检测到的第二对象组。在这种示例中，一个或多个处理器可以对从激光雷达传感器接收到的每个信号进行分析，以识别每个信号中包含的由激光雷达传感器数据指示的各对象组。举例而言，依据激光雷达传感器数据的精度和/或保真度，第二对象组可以和通过图像捕获装置所检测到的第一对象组中包括的对象相同，也就是说，第一对象组的至少一部分和第二对象组的一部分在图像与激光雷达传感器中同时共同可见。
示例性系统还可以包括设置在车辆上并配置为对车辆的环境中的对象进行检测的一个或多个附加的传感器(例如，雷达传感器、声纳传感器、深度传感摄像机、飞行时间传感器等)。上述一个或多个附加的传感器可向一个或多个处理器输出一个或多个各自的信号。例如，上述一个或多个处理器可以从附加的传感器中的至少一个附加的传感器接收第三信号，并且第三信号可以包括来自至少一个附加的传感器的传感器数据。这种传感器数据可以是与上述图像数据和/或激光雷达传感器数据同时捕获的。在这样的示例中，传感器数据可以表示由附加的传感器与上述图像数据和/或激光雷达传感器数据同时捕获的相应第三场景(即，附加的传感器可见的环境部分)。例如，这样的第三场景可以包括与由图像捕获装置和/或激光雷达传感器捕获的对象大体相同的对象。例如，这样的传感器数据可以指示第三场景，上述第三场景由附加的传感器捕获并包括在环境中可检测到的第三对象组。在这种示例中，一个或多个处理器可以对从附加的传感器所接收的每个信号进行分析，以识别由每个信号中包含的传感器数据指示的各对象组。依据从附加的传感器接收的传感器数据的精度和/或保真度，包括在第三对象组中的至少一些对象可以与包含在由图像捕获装置检测到的第一对象组中的至少一些对象相同和/或与包含在由激光雷达传感器检测到的第二对象组中的至少一些对象相同。正如下文将进行详述的，本发明的一个或多个示例场景，例如上述关于图像捕获装置、激光雷达传感器和附加的传感器描述的第一场景、第二场景和/或第三场景，分别可包括基本上同时表现的各传感器所在的环境。因此，本发明的一个或多个示例场景可以包括由相应的传感器检测、捕获、感测和/或以其他方式观察到的环境的表现。
在本发明描述的任何示例中，一个或多个处理器和/或一个或多个远程计算装置可以至少部分地基于从上述各种传感器接收到的一个或多个信号来识别和/或确定另一对象组。例如，通过一个或多个数据融合处理，本发明的感知系统可以生成表示环境的融合传感器数据。例如，当感知系统存在于环境时，这种融合传感器数据可至少部分地基于从单独传感器模态接收到的传感器数据而包括和/或识别出通过感知系统所预测、确定或通过其它方式指示的对象。由于对象组是使用来自多个源的信息确定的且对象组也因此比各单独传感器模态更可能具有较高的准确性，所以本发明的一个或多个处理器和/或远程计算装置可以将融合的传感器数据视为单独的传感器模态的训练对象识别和/或分类过程的真实情况。
在一些示例中，一个或多个处理器和/或远程计算装置可以对从各个传感器模态接收到的每个信号中包含的信息和/或相关联的信息和融合传感器数据(例如，包含在融合传感器数据中的特定对象组)进行比较，以识别由各传感器信号指示的对象组中的任何感知误差。例如，一个或多个处理器和/或远程计算装置可以使每个传感器模态的输出与特定对象和/或特定位置相关联。使用这种数据关联技术和/或对象特征化技术，可对本文中所述的每一个传感器的输出进行比较。通过这种比较，一个或多个处理器和/或远程计算装置可以识别包含在融合传感器数据中的一个或多个对象，但是上述一个或多个对象却不存在于或是被错误地归类于与各传感器信号相关联的至少一个对象组中。在其它示例中，可识别各传感器信号中的其它误差和/或不同的误差，并且上述其它误差和/或不同的误差除此之外可包括形态上的差异、形态不确定性中的差异、对象大小的差异、对象位置的差异及对象范围的差异等。在这些示例中，当识别和/或以其他方式确定各传感器信号的一个或多个信号中所包括数据所关联的误差时(例如，当确定包含在融合传感器数据中的特定对象不存于或是被错误地归类于各传感器信号中指示的对象组中的至少一组时)，本发明的响应系统可发起响应，该响应以求在车辆运行期间纠正该误差和/或减小该误差影响。在车辆运行期间可执行本文所描述方法的实施例中和/或在可离线(例如，在训练、编程和/或进行机器学习训练期间)执行上述方法的实施例中，可发起上述示意性响应。附加地或可替代地，在本文所描述的示例中的任意一个示例中，可向本文所公开的机器学习系统提供从上述各种传感器接收到的一个或多个信号和/或本文所述的对象组中的任何一个对象组。向机器学习系统提供这样的信息可以有助于提高由这样的系统使用的训练数据的准确性，因此，可以在大体上进一步改善系统的性能和/或车辆的操作。在执行本文所描述方法的实施例中和/或在可离线(例如，在训练、编程和/或进行机器学习训练期间)执行上述方法的实施例中，可将上述信息提供给机器学习系统。
本文中所描述的技术方案与系统可按多种方式施行。下面，将结合附图对示意性的实施方式进行描述。
图1是示意性方法的图形流程图100，上述示意性方法用于将各个传感器数据与融合传感器数据进行比较并且至少部分地基于确定与包括在各个传感器信号中的一个或多个中的数据(例如，确定至少部分地基于从单个传感器接收的数据确定包含在融合传感器数据中的至少一个对象不存于或是被错误地归类于各传感器信号中指示的对象组中的至少一组)。如图1所示，示例传感器可包括：图像捕获装置102、激光雷达传感器104和/或可配置为生成指示环境108的信号的任意一种类型的传感器中的一个或多个其他传感器106。例如，这样的环境108可以包括一个或多个对象；并且，例如，这样的传感器106可以包括：雷达传感器、超声波换能器(例如声纳传感器)、飞行时间传感器以及其他传感器。图像捕获装置102、激光雷达传感器104和传感器106可以耦接到车辆，并且可以在车辆行进通过环境108时捕获传感器数据。例如，车辆可以是自动驾驶车辆，如本文至少结合图2所描述的示例性车辆。图像捕获装置102可以是配置成捕获表示环境108的图像的任何类型的图像捕获装置，例如，一个或多个摄像机(例如，RGB摄像机、单色摄像机、强度(灰度)摄像机、红外线摄像机、紫外线摄像机、深度摄像机，立体摄像机等)。激光雷达传感器104可以是任何类型的激光雷达传感器，并且一些示例可以仅包括单个类型的传感器或配置为生成表示环境的数据的不同类型传感器的任何组合。更进一步而言，尽管出于说明目的而在图中示出了单个的传感器，但任意数量的图像捕获装置102、激光雷达传感器104和/或其他传感器106都是可以预见的。
在图1所示的示例中，图像捕获装置102被描述为捕获图像数据110。这样的图像数据110可以由图像捕获装置以一个或多个信号的形式提供给本发明的一个或多个处理器和/或其他系统组件。例如，这样的信号可以包括表示环境108的图像数据110。例如，图像数据110可以包括示出、指示和/或以其他方式表示环境108的一个或多个图像。在一些示例中，图像数据110可以包括由图像捕获装置102捕获的一个或多个图像，并且图像数据110可以示出、指示和/或以其他方式表示场景A，该场景A包括由图像捕获装置102在特定时间检测到的环境108的相应对象组。如下文所述，在一些示例中，图像数据110可与从其他传感器(例如，激光雷达传感器104、附加的传感器106等)接收的附加的传感器数据融合，以生成对于环境108的更完整或更精确的表示。
图1中所示的示例性激光雷达传感器104被描述为捕获激光雷达传感器数据112。该激光雷达传感器数据112可由激光雷达传感器104以一个或多个信号的形式提供给本文所公开的一个或多个处理器和/或其他系统组件。例如，这样的信号可以包括表示环境108的激光雷达传感器数据112。激光雷达传感器数据112可以说明、指示和/或以其他方式表示场景B，场景B包括由激光雷达传感器104在特定时间检测到的各对象组。在同时捕获激光雷达传感器数据112与图像数据110的示例中，场景B中包括和/或表示的对象组可以与包括在与图像捕获装置相关联的场景A中的对象组基本上相同。在这些示例中，激光雷达传感器104的每次数据采集可产生表示各场景的激光雷达传感器数据112。
在一些示例中，激光雷达传感器数据112可对应于随时间所进行的激光雷达传感器104的多次数据采集，并且激光雷达传感器数据112可与来自其他传感器的数据(例如，图像数据110、传感器数据114等)相融合，以生成对环境108的更为完整或更为准确的表示。激光雷达传感器104可以配置成使得一个或多个激光器被安装以进行转动(例如，围绕基本竖直的轴线进行转动)，从而使得激光扫描，例如360度，以捕获与环境108相关联的激光雷达传感器数据112。例如，激光雷达传感器104可以具有光发射器和光传感器，这种光发射器包括一个或多个激光器，而这种激光器可将高度聚焦的光导向对象或表面，所述对象或表面将光反射回光传感器，虽然可以预见用于确定距离的任何其他光发射和检测(例如，闪光激光雷达、MEMS激光雷达、固态激光雷达等)。激光雷达传感器104的测量可以表示为三维激光雷达传感器数据，其坐标(例如笛卡尔坐标、极坐标等)与由激光雷达传感器104捕获到的位置或距离相对应。例如，三维激光雷达传感器数据可以包括以从光发生器产生并终止在对象或表面的多个向量所表示的三维地图或点云(point cloud)。在一些示例中，可用转换操作将三维激光雷达传感器数据转换为多通道二维数据。而在某些示例中，可自动分段激光雷达传感器数据112并可使用分段后的激光雷达传感器数据，例如，可将分段后的激光雷达传感器数据用作确定自动驾驶车辆的轨迹的输入。
图1所示的示例性传感器106可以被配置成捕获传感器数据114。这样的传感器数据114可以由传感器106以一个或多个信号的形式提供给本发明的一个或多个处理器和/或其他系统组件。例如，这样的信号可以包括表示环境108的传感器数据114。传感器数据114可以示出、指示和/或以其他方式表示场景C，该场景C包括传感器106在特定时间检测到的相应的对象组。在同时捕获传感器数据114与图像数据110的示例中，场景C中所包括的和/或表示于场景C中的对象组与关联于图像捕获装置的场景A中所包括的对象组基本上是相同的。与之类似地，在同时捕获传感器数据114与激光雷达传感器数据112的示例中，场景C中所包括的对象组与场景B中所包括的对象组基本上是相同的。在一些示例中，传感器数据114可以与从其他传感器(例如，激光雷达传感器104、图像捕获装置102等)接收的附加的传感器数据融合，以生成环境108的更完整或准确表示。
在一些示例中，相对于环境108而言，图像捕获装置102、激光雷达传感器104和/或传感器106可以捕获不同的视野。因此，场景A、场景B、场景C中的每一个场景可以包括各传感器在环境108中所感测到的各对象组。例如，由图像捕获装置102生成的信号可以包括表示第一场景A的图像数据110，并且如图1所示，第一场景A可以示出和/或以其他方式包括由图像捕获装置102在特定时间检测到的对应的第一对象组128。类似地，由激光雷达传感器104生成的信号可以包括表示第二场景B的激光雷达传感器数据112，并且第二场景B可以包括在特定时间由激光雷达传感器104检测到的对应的第二对象组130。同样，由传感器106生成的信号可以包括表示第三场景C的传感器数据114，并且第三场景C可以包括由传感器106在特定时间检测到的对应的第三对象组132。如上所述，在本文描述的任何示例中，图像数据110、激光雷达传感器数据112和/或传感器数据114可基本上同时由相应的传感器102、104、106捕获。在这样的示例中，场景A、场景B、场景C可以包括环境108的基本上同步的表示。另外，在这样的示例中，第一对象组128可以包括与第二对象组130和第三对象组132基本相同的对象。同样，第二对象组130可以包括与第一对象组128和第三对象组132基本相同的对象。类似地，第三对象组132可以包括与第一对象组128和第二对象组130基本相同的对象。
如图1所示，示例性的方法100可包括：使图像数据110、激光雷达传感器数据112和/或传感器数据114与一个或多个处理器进行通信，所述处理器配置为至少部分地基于这些数据对环境108中存在的一个或多个对象和/或一个或多个对象组进行识别。在一些示例中，上述一个或多个处理器可以包括感知系统116和/或可以与感知系统116进行通信。上述一个或多个处理器和/或感知系统116可配置为从图像捕获装置102、激光雷达传感器104和/或传感器106接收各自的信号。上述一个或多个处理器和/或感知系统116还可配置为分别至少部分地基于图像数据110、激光雷达传感器数据112和传感器数据114来识别对象组128、对象组130、对象组132。
一个或多个处理器和/或感知系统116可以进一步被配置成至少部分地基于图像数据110、激光雷达传感器数据112和/或传感器数据114来生成融合传感器数据134。这样的融合传感器数据134可以包括和/或以其他方式包括：在与图像数据110、激光雷达传感器数据112和/或传感器数据114相关联的特定时间，通过感知系统116预测、确定和/或指示存在于环境108中的对象组120。对象120的示例组可以包括在融合传感器数据134和/或感知系统116的任何其他输出中，并且对象组120可以包括和/或识别由感知系统116确定为存在于环境108内的一个或多个对象122。在一些示例中，感知系统116可以确定与包括在一个或多个相应传感器信号中的数据相关联的误差。例如，感知系统116可以确定包含在融合传感器数据134中的对象122(例如，包括在特定对象组120中的对象122)是否不存在于或是被错误地归类于与图像数据110相关联的(例如，基于图像数据110确定的)对象组128中，是否不存在于或是被错误地归类于与激光雷达传感器数据112相关联的(例如，基于激光雷达传感器数据112确定的)对象组130中，和/或是否不存在于或是被错误地归类于与传感器数据114相关联的(例如，基于传感器数据114确定的)对象组132中。附加地或可替代地，在本文所描述的任何示例中，感知系统116可以确定上述任何其他误差。例如，除上述内容外，由感知系统116确定的此类误差还可以包括：形态上的差异、形态不确定性中的差异、对象大小的差异、对象位置的差异及对象范围的差异等。在更进一步的示例中，感知系统116可以将图像数据110与激光雷达传感器数据112和/或传感器数据114进行比较，借以识别和/或以其他方式确定图像数据110中的误差或其他差异。附加地或可替代地，感知系统116可以将激光雷达传感器数据112与图像数据110和/或传感器数据114进行比较，借以识别和/或以其他方式确定激光雷达传感器数据112中的误差或其他差异。此外，感知系统116可以将传感器数据114与图像数据110和/或激光雷达传感器数据112进行比较，借以识别和/或以其他方式确定传感器数据114中的误差或其他差异。
在一些实施例中，感知系统116可以利用一种或多种算法、神经网络和/或其它组件，以识别包括在对象组120中的每个对象和/或每个对象的参数(例如，范围、大小、定向等和/或与每个参数相关联的不确定性)。例如，感知系统116可以使用一个或多个数据关联引擎、对象识别引擎、对象分类引擎和/或其他组件来将本文中所述的各个传感器模态的输出与特定对象相关联，从而识别出对象或一对象组。附加地，与感知系统116相关联的对象检测系统118可以检测和/或以其他方式确定环境108内在相应时间上各个所识别的对象的特定位置。例如，对象检测系统118可以确定：包括在对象组120中的对象122的特定位置L以及对象122设置在位置L/曾设置在位置L的特定时间。这样的位置L可以包括用于识别对象122位置的坐标(例如，笛卡尔坐标、极坐标、GPS等)。在一些示例中，指示对象组128的图像数据110可以由图像捕获装置102在第一时间确定。附加地，指示对象130组的激光雷达传感器数据112可以由激光雷达传感器104与图像数据110同时确定(例如，在所述第一时间)。在这样的示例中，对象检测系统118可以识别对象122并可以确定与第一时间相对应的对象122的特定位置L。
在一些示例中，感知系统116还可以与响应系统124通信，并且在一些这样的示例中，当感知系统116生成包括了对象组120的融合传感器数据134时可由感知系统116向响应系统124传送指示对象组120的一个或多个信号。响应系统124可被配置为至少部分地基于指示融合传感器数据134、对象组120和/或识别的对象122的一个或多个信号发起响应和/或发起任何其他动作126。举例而言，如图1所示，响应系统124可以被配置成传送旨在削弱对感知系统116的影响的动作126，其中感知系统116用于识别与所确定的对象组128、对象组130及对象组132中的一个或多个对象组相关联的一个或多个误差和/或与图像数据110、激光雷达传感器数据112或传感器数据114中的至少一个相关联的一个或多个误差。例如，这样的动作126可以削弱对于感知系统116的影响，该感知系统116用于识别包含在融合传感器数据134中的对象122，但该对象却不存在于或是被错误地归类于对象组128、对象组130及对象组132中的一个或多个对象组中。附加地或可替代地，如下面将至少参照图5所描述的，感知系统116也可以与机器学习系统进行通信，并且在一些这样的示例中，当感知系统116识别与确定的对象组128、对象组130、对象组132中的一个或多个对象组相关联和/或与图像数据110、激光雷达传感器数据112或传感器数据114中的至少一个相关联的一个或多个误差时，感知系统116可以向机器学习系统提供指示误差的一个或多个信号。例如，在这些实施例中，感知系统116可以提供指示一个或多个确定的对象组128、对象组130、对象组132的信号和/或可以提供包括了送往机器学习系统的图像数据110、激光雷达传感器数据112或传感器数据114中的至少一种数据的信号。机器学习系统可以使用包括在上述信号中的信息来帮助训练与所确定的误差相对应的传感器模态。
如上所述，图像捕获装置102、激光雷达传感器104、和传感器106中的每一个可以产生各自的信号，并且可以将这些信号提供给感知系统116。在一些示例中，上述信号可由图像捕获装置102、激光雷达传感器104、和/或传感器106基本上连续地生成。而在其他示例中，上述信号也可由图像捕获装置102、激光雷达传感器104、和/或传感器106按规则的时间间隔或不规则的时间间隔生成。
还如上所述，由图像捕获装置102生成的第一信号可以包括图像数据110，所述图像数据表示指示环境108的场景A。场景A和/或第一信号中所包含的图像数据110可以包括和/或指示(例如，感知系统116可以处理第一信号以确定)存在图像捕获装置102的环境108中可检测到的第一对象组128。与之相似地，由激光雷达传感器104生成的第二信号可以包括图像数据112，所述图像数据表示指示环境108的场景B，场景B和/或第二信号中所包含的激光雷达传感器数据112可以包括和/或指示(例如，感知系统116可以处理第二信号以确定)环境108中可检测到的第二对象组130。同样，由一个或多个附加的传感器106生成的第三信号可以包括传感器数据114，所述传感器数据表示指示环境108的场景C。场景C和/或第三信号中所包含的传感器数据114可以包括和/或指示(例如，感知系统116可以处理第三信号以确定)环境108中可检测到的第三对象组132。在这些示例中，感知系统116还可以使用本文中所描述的示例性的融合技术中的一种或多种融合技术来基于第一信号、第二信号和/或第三信号生成融合传感器数据134。感知系统116还可以至少部分地基于一个或多个所接收到的信号中所包含的图像数据110、激光雷达传感器数据112和/或传感器数据114确定对象组120和/或识别环境108中存在的一个或多个特定对象122。感知系统116还可以确定至少一个对象122包含于融合传感器数据134中，并且可以确定此对象122不存在于或是被错误地归类于第一对象组128、第二对象组130或第三对象组132中的至少一个对象组中。这样的确定可被通信到响应系统124，而响应系统124可以依次发起响应和/或发起任何其他动作126来纠正这种差异。这样的确定也可以通信到本文中所描述的机器学习系统。应当理解的是，在执行本文所述的在线方法(例如，通过在车辆操作期间执行设置于车辆上的一种或多种方法)的实施例和/或(例如，在执行与车辆相关的训练、编程和/或进行机器学习训练期间通过一种或多种远程计算装置)执行本文所述的离线方法的实施例中，可以(例如，通过在车辆操作期间设置在车辆上的一个或多个处理器)将所确定的结果和/或相应的信息通信到响应系统124。与之类似地，在执行本文所述的在线方法的实施例和/或执行本文所述的离线方法的实施例中，可以向机器学习系统提供上述所确定的结果和/或相应的信息。
在本文所述的任意一种示例中，各种传感器模态可以各自具有与之相关联的相应置信水平。例如，由图像捕获装置102提供的信号和/或图像数据110可以通过相对较高的第一置信水平(或相应地低的不确定性)来表征。例如，上述信号和/或图像数据110可以通过在大约90％和大约98％之间的第一置信水平来表征。附加地，例如，由激光雷达传感器104提供的信号和/或激光雷达传感器数据112可以具有小于与由图像捕获装置102提供的信号和/或图像数据110相关联的第一置信水平的第二置信水平。例如，这样的信号和/或激光雷达传感器数据112可以通过大约85％和大约90％之间的第二置信水平来表征。上述置信水平仅是示例，而在其他实施例中，图像数据110、激光雷达传感器数据12和/或传感器数据114可由大于或小于上述置信水平的置信水平来表征。在其中感知系统116确定特定对象包含于与图像捕获装置102相关联的对象组128内但不存在于或是被错误地归类于与激光雷达传感器104相关联的对象组130的示例中，至少部分地基于第一置信水平或第二置信水平中的至少一个，感知系统116可以包括融合传感器数据134中的特定对象(例如，可以包括对象组120中的该特定对象)。如上所述，在附加示例中，感知系统116可以确定与包括在各传感器信号中的一个或多个中的数据相关联的一个或多个额外的误差和/或不同的误差。
在更多示例中，可以在存储器中存储可由感知系统116访问的统计信息和/或以其他方式与图像捕获装置102、激光雷达传感器104或传感器106的一个或多个相关联的统计信息。例如，这种统计信息可以包括与多个传感器的相应一个传感器相关联并且指示通过此传感器所获取数据的准确性和/或一致性的汇总实验数据。例如，当感测到特定对象的距离约为10米或更短时，激光雷达传感器104可以捕获精度约为95％的激光雷达传感器数据112。在这样的示例中，感知系统116可以使用精度为95％的传感器数据112识别特定对象。附加地或可替代地，当从大于大约10米且小于约30米的距离感测特定对象时，激光雷达传感器104可用大约90％的精度捕获激光雷达传感器数据112。在这种示例中，感知系统116可以使用传感器数据112以90％的精度识别特定对象。这种精度百分比和距离仅仅是示例性的。此外，可基于在一个或多个环境108中重复使用的激光雷达传感器104在一段时间内确定上述精度百分比和/或其他统计信息。附加地或可替代地，可以通过对激光雷达传感器104的测试经验性地确定此类精度百分比和/或其他统计信息。
此外，在此类示例中，感知系统116和/或与车辆的一个或多个处理器相关联的其他组件可在这种存储的统计信息与在车辆使用期间在一段时间所收集的汇总统计信息进行概率比较或其他比较。例如，感知系统116和/或与车辆的一个或多个处理器相关联的其他部件可以对车辆使用期间的精度百分比和/或与一个或多个传感器相应的其它统计信息进行总计。在此类示例中，感知系统116和/或与车辆的一个或多个处理器相关联的其他组件可以对这种“使用中”统计信息的所存储的和相应传感器模态相关的统计信息进行比较(例如，可对激光雷达传感器104的使用中统计信息与所存储的激光雷达传感器统计信息进行概率比较)。在这些示例中，如果在使用车辆期间的使用中统计信息(例如，精度百分比)超出了所存储的统计信息的预定范围(例如，+/-3％)，可将这种确定通信到响应系统124，进而，响应系统124可发起响应和/或发起任何其他动作126，借以纠正上述差异。附加地或可替代地，这种确定可使通过使用激光雷达传感器104收集的激光雷达传感器数据112不用于训练各种传感器模态。例如，这种确定可使通过使用激光雷达传感器104收集的激光雷达传感器数据112不被提供给上述机器学习系统。
图2示出示例性环境200，其中示例性的车辆202正行驶通过该环境200。示例性的车辆202可以是根据美国国家公路交通安全管理局发布的5级分类进行操作的无人驾驶车辆，上述分类描述了能够在整个行程中执行所有安全关键功能的车辆，其中并不期望驾驶员(或乘坐人员)会随时对车辆进行控制。在这样的示例中，由于车辆202可以配置为控制包括所有停车功能在内的从旅程开始到完成的所有功能，所以上述车辆可以不包括驾驶员和/或诸如方向盘、加速踏板和/或制动踏板的用于驾驶车辆202的控制装置。这仅是示例并且本文描述的系统和方法可以用于任何陆地交通工具、空中交通工具或水上交通工具中，这些交通工具包括从需要一直由驾驶员手动控制的交通工具到部分或完全自主控制的那些交通工具。
示意性的车辆202可以是任何车辆结构，例如厢式货车、运动型多用途车、跨界车(cross-over vehicle)、卡车、公共汽车、农用车辆和建筑车辆。车辆202可由一个或多个内燃发动机、一个或多个电动机、氢能、上述动力源的任何组合和/或任何其他合适的动力源提供动力。尽管示意性的车辆具有四个车轮204，但是本文描述的系统和方法可以应用于具有更少或更多数量的车轮、轮胎和/或履带的车辆中。示意性的车辆202可以具有四轮转向并且可以在所有方向上大体上以相同的性能特性操作，举例而言，可以使在沿第一方向208行驶时使车辆202的第一端206是车辆的前端，并且可以使在沿相反的第二方向210行驶时使车辆202的第一端206变为车辆的后端，如图2所示。与之相似地，在沿第二方向210行驶时，车辆202的第二端212是车辆的前端；并且可以使在沿相反的第一方向208行驶时，使车辆202的第二端212变为车辆的后端。举例而言，在诸如停车场和/或市区等狭小空间或拥挤的环境中，这些示意性特征可促成更大的可操作性。
车辆202可以至少部分地依赖于指示环境200中的对象的传感器数据来穿过环境200，以确定车辆202的轨迹。例如，当车辆202穿越环境200时，一个或多个图像捕获装置102、激光雷达传感器104和/或其他类型的传感器106捕获与检测到的对象(例如，图2中所示的车辆214和/或行人、建筑物、障碍物、道路标志等)相关联的数据。举例而言，所捕获的数据可以用作确定车辆202轨迹的输入。如图2图示性所示并且正如以上结合图1所指出的，车辆202可以包括感知系统116，这种感知系统配置为从一个或多个传感器(例如，图像捕获装置102、激光雷达传感器104和/或其他类型的传感器106)接收各个信号。在一些示例中，感知系统116可配置为至少部分地基于一个或多个上述信号来识别一个或多个对象(例如，图2所示的一个或多个车辆214；结合图1所描述的对象组128、对象组130、对象组132中的一组或多组等)。感知系统116还可以配置为生成包括对象组120的融合传感器数据134。在这样的示例中，感知系统116还可配置为确定与各个传感器信号中的一个或多个传感器信号中所包含数据相关联的误差和/或与对象组128、对象组130、对象组132中的一个或多个对象组相关联的误差。例如，与感知系统116相关联的对象检测系统118可配置为识别不存在于或是被错误地归类于对象组128、对象组130、对象组132中的一个或多个对象组的对象组120中的一个或多个对象122。在这样的示例中，与感知系统116相关联的响应系统可以发起响应和/或任何其他动作来纠正这种差异。
图3是示出用于实现本文所述的一个或多个示意性方法的示例系统300的框图。例如，系统300可配置为至少部分地基于本文所述的传感器数据来识别对象并发起响应。在至少一个示例中，系统300可以包括车辆302，所述车辆可以是与以上参照图2所述的车辆202相同的车辆。
车辆302可以包括：车辆计算装置304、一个或多个传感器系统306、一个或多个发射器308、一个或多个通信连接310、至少一个直接连接312以及一个或多个驱动模块314。
车辆计算装置304可以包括：一个或多个处理器316，以及以可进行通信的方式与一个或多个处理器316相耦接的存储器318。在所示的示例中，车辆302是自动驾驶车辆；然而，车辆302可以是任何其他类型的车辆。在所示的示例中，车辆计算装置304的存储器318存储有定位系统320、感知系统322(例如，上述结合图1与图2进行描述并包含有检测系统118的感知系统116)、规划系统324、一个或多个系统控制器326、预测系统328和响应系统330(例如，结合图1与图2所描述的响应系统124)。尽管出于说明目的而在图3中示出了存储器318中所驻留的内容，但可以设想的是，附加地或可替代地，感知系统322、响应系统330和/或车辆计算装置304的其他组件可由车辆302进行访问(例如，进行远程存储)。
在至少一个示例中，定位系统320可以至少部分地基于从传感器系统306接收到的传感器数据来确定车辆302相对于本地和/或全局地图的位置，感知系统322至少部分地基于从传感器系统306接收到的传感器数据来执行实体检测、分段和/或分类，规划系统324至少部分地基于从传感器系统306接收到的传感器数据确定用于控制车辆302的路线和/或轨迹。其中，可使用的定位系统、感知系统及规划系统的其他详细信息可见于2015年11月4日所提交的题为“Adaptive Mapping to Navigate Autonomous Vehicle Responsive toPhysical Environment Changes”(对物理环境变化作出响应的自动驾驶车辆导航的自适应映射)且专利申请号为14/932,963的美国专利申请以及2017年6月23日提交的题为“Trajectory Generation and Execution Architecture”(轨迹生成和执行架构)且专利申请号为15/632,208的美国专利申请，上述两件申请也在本申请中全文引用。在车辆302不是自动驾驶车辆的示例中，能从车辆302中省去一个或多个上述部件。
在至少一个示例中，定位系统320、感知系统322和/或规划系统324可对从传感器系统接收的传感器数据进行处理并通过一个或多个网络332将传感器数据各自的输出发送到一个或多个远程计算装置334(例如，一台或多台服务器计算机或其他计算装置)。在此类示例中，传感器系统306可包括上述的图像捕获装置102、激光雷达传感器104和/或上述一个或多个附加的传感器106。在至少一个示例中，定位系统320、感知系统322和/或规划系统324可在预定的时间段之后几近于实时地以特定的频率将其各自的输出发送到一个或多个远程计算装置334。
在至少一个示例中，一个或多个系统控制器326可配置成控制车辆302的转向系统、推进系统、制动系统、安全系统、发射系统、通信系统及其他系统。这些系统控制器326可以与驱动模块314和/或车辆302的其他部件的相应系统进行通信和/或对驱动模块314和/或车辆302的其他部件的相应系统进行控制。
在至少一个示例中，预测系统328可以直接从传感器系统306接收传感器数据和/或从其他系统(例如，定位系统320、感知系统322等)中的一个系统接收传感器数据。在一些示例中，如果预测系统328从传感器系统306接收传感器数据，则传感器数据可以是原始传感器数据。在附加的或可替代的示例中，如果预测系统328从其他系统中的一个系统接收传感器数据，则传感器数据可以是经过处理后的传感器数据。例如，在示例中，定位系统320可以处理图像数据110、激光雷达传感器数据112和/或传感器数据114，以确定车辆302相对于本地地图和/或全局地图在何处，并且可以输出指示该信息的经处理的传感器数据(例如，位置数据)。附加地和/或可替代地，感知系统322可以对传感器数据进行处理，借以执行对象检测、对象分段和/或对象分类。在一些示例中，感知系统322可以提供经处理的传感器数据，该传感器数据指示存在接近车辆302的对象(例如，上文结合图1所描述的对象122)和/或对象类型的分类(例如，汽车、行人、骑车人，障碍物、路标、未知物等)。附加地或可替代地，感知系统322可以提供处理后的传感器数据，这种数据指示与检测到的实体和/或实体所在环境相关联的一个或多个特征。在一些示例中，与通过感知系统322识别的对象122相关联的特征包括但不限于x位置(全局位置)、y位置(全局位置)、z位置(全局位置)、定位方向、对象类型(例如，分类)、对象的速度等。与环境关联的特征可以包括但不限于环境中另一个对象的存在、环境中其他对象的状态、一天中的时间、一周中的某天、季节、天气状况、黑暗/光亮的指示等。
例如，传感器系统306可以包括图像捕获装置102，诸如，任何摄像机(例如RGB摄像机、单色摄像机、亮度(灰度)摄像机、红外线摄像机、紫外线摄像机、深度摄像机、立体摄像机等)。这种图像捕获装置102可以捕获指示对象组128的图像数据110，并且传感器系统306可以将图像数据110发送到感知系统322和/或车辆计算装置304的其他系统以供后续处理。
同样，传感器系统306可以包括一个或多个激光雷达传感器104，这种激光雷达传感器104配置为捕获激光雷达传感器数据112以供如本文中所述的用途。举例来说，传感器系统306可配置为对来自多个激光雷达传感器104的激光雷达数据进行组合或合成，以生成激光雷达数据的元陈述(meta spin)，这种元陈述可以是由多个激光雷达传感器104所生成的激光雷达传感器数据112。在使用激光雷达数据的元陈述的情况下，传感器系统306可配置成确定元陈述数据的虚拟来源(例如，共同来源)。在一些示例中，传感器系统306可以被配置成确定激光雷达传感器104和对象或表面的点之间的范围，并且在一些示例中，传感器系统306可配置为确定各激光雷达传感器104捕获和/或感测的每个点的表面法线向量。作为非限制性示例，这样的表面法线确定可以通过计算指示从该点到该点最接近的两个相邻点的方向的向量的叉积的法线来执行。在本申请说明书公开的内容中可以理解的是，传感器系统306可以将任意的上述激光雷达传感器数据112传输到车辆系统304的感知系统322和/或其他系统以进行后续处理。
在一些示例中，传感器系统306可以向车辆计算装置304提供图像数据110、激光雷达传感器数据112和/或其他传感器数据114，借以通过组合、融合、分段、分类、标记、合成和/或以其他方式处理数据。在一些示例中，车辆计算装置304的存储器318还可存储已经由计算机模拟算法生成的模拟数据，以部分地用于测试中。在一些示例中，模拟数据可以包括：诸如图像数据、传感器数据(如，激光雷达数据、雷达数据和/或声纳数据)及GPS数据等模拟数据的任何类型。在一些示例中，计算机系统302可以被配置为对模拟数据进行修改、变换和/或执行转换操作，以验证可由机器学习系统执行的操作模型和/或训练模型。
在一些示例中，预测系统328可以访问存储在存储器318中的热图(heat map)和/或其他信息，并且预测系统328可以使用这些信息进行查找，以帮助预测所识别的对象122的未来行为。在至少一个示例中，存储在存储器318中的热图(heat map)和/或其他信息可以与对象类型(例如，汽车、行人、骑车人、路障、路标、未知物等)相关联。在至少一个示例中，预测系统328可以进行查找，借以确定与所检测到的对象类型相关联的行为模式。在至少一个示例中，预测系统328可以利用对象的位置和一个或多个特征来识别热图中的单元。也就是说，单元可以指示唯一索引或以其他方式被唯一索引引用，所述唯一索引包括：对象的位置以及与对象和/或对象所处环境相关联的一个或多个特征。在一些示例中，单元可以与位置中一个或多个对象(属于相同对象类型)的行为模式的数据相关联，其中上述位置具有对象和/或环境的相同一个或多个特征。预测系统328可以对指示与单元相关联的行为模式的数据进行检索，并且此预测系统可利用指示行为模式的数据来确定对象的预测行为。
至少部分基于确定对象的预测行为，预测系统328可以向车辆计算装置304的其他系统提供预测行为的指示。在至少一个示例中，所预测的行为可用于通知感知系统322以为了执行对象检测、分段和/或分类(例如，在示例中，与所识别对象122相关的热图和/或其他信息可用于执行逆查找，借以确定对象类型)。附加地或可替代地，规划系统324可以利用预测行为来确定车辆302可以沿其行进的轨迹。规划系统324可以将轨迹发送到系统控制器326，(例如，在自动驾驶车辆的示例中)该系统控制器可以执行该轨迹以使车辆302沿着该轨迹行驶。附加地或可替代地，预测行为可用于通过规划系统324生成加权轨迹，这种规划系统324可确定用于控制车辆302的路线和/或轨迹。此外，预测行为可用于通知可用于预测实体的行为的神经网络。
在至少一个示例中，传感器系统306可以包括：激光雷达传感器、雷达传感器、超声波换能器、声纳传感器、位置传感器(例如，GPS、罗盘等)、惯性传感器(例如，惯性测量单元、加速度计、磁力计、陀螺仪等)、摄像机和/或其他图像捕获装置(例如RGB、IR、强度、深度等)、麦克风、车轮编码器、环境传感器(例如温度传感器、湿度传感器、光传感器、压力传感器等)等。传感器系统306可包括上述传感器或其它类型的传感器中各种传感器的多种示例。例如，激光雷达传感器可以包括位于车辆302的拐角、前部、后部、侧面和/或顶部的各单独的激光雷达传感器。作为另一示例，摄像机和/或其它图像捕获装置可以包括设置在车辆302的外部周围和/或内部周围的各种位置上的多个摄像机。
传感器系统306可以向车辆计算装置304提供信号。例如，传感器系统306中包括的每个传感器可配置为向车辆计算装置304发送各自的信号，并且这种信号可以包括指示由相应的传感器检测到的对象组的数据。在一些示例中，传感器系统306的图像捕获装置102可以向车辆计算装置304提供第一信号，并且第一信号可以包括指示在存在图像捕获装置102的环境108中可检测到的第一对象组128的图像数据110。另外，传感器系统306的激光雷达传感器104可以向车辆计算装置304提供第二信号，并且第二信号可以包括指示在环境108中可检测到的第二对象组130的激光雷达传感器数据112。此外，传感器系统306的雷达传感器或一个或多个附加的传感器106可以向车辆计算装置304提供第三信号，并且第三信号可以包括指示在环境108中可检测的第三对象组132的传感器数据114。在这样的示例中，感知系统322(例如，上述对象检测系统118)可以至少部分地基于从传感器系统306接收的一个或多个信号来识别和/或确定环境108中存在的对象组120。例如，感知系统322(例如，对象检测系统118)可以至少部分地基于从传感器系统306接收的一个或多个信号来识别环境108中存在的至少一个对象122。感知系统322还可以识别和/或以其他方式确定与包括在各个传感器信号中的一个或多个中的数据相关联的误差(例如，确定所识别的对象122是否不存在于或是被错误地归类于与接收到的信号相关联的对象组128、对象组130、对象组132中的一个或多个对象组)。
在感知系统322确定对象122不存在于或是被错误地归类于对象组128、对象组130、对象组132中的至少之一的示例中，响应系统330可以至少部分地基于上述确定内容而发起响应126和/或任何其他动作。除此之外，在一些示例中，上述响应和/或任何其他动作126可包括以下至少之一：忽略图像数据110、激光雷达传感器数据112和/或传感器数据114的一部分。同时，上述响应和/或任何其他动作126还可包括：修改权重、置信水平值和/或其他度量，上述权重、置信水平值和/或其他度量与图像捕获装置102、激光雷达传感器104、一个或多个附加的传感器106、传感器系统306的其他传感器和/或从传感器系统306的相应传感器相关。这样的响应和/或其他动作126还可以包括：修改训练数据，上述训练数据与图像捕获装置102、激光雷达传感器104、一个或多个附加的传感器106、传感器系统306的其他传感器中的一个或多个相关联。
在一些示例中，这样的响应和/或其他动作126还可以包括：生成验证请求和/或使用通信连接310向服务中心发送这样的验证请求，以供人工操作员(例如，电信运营商)考虑。此类遥控人员可提供一个或多个表明传感器出现故障的指示、可确认所提出的解决方案和/或缓解措施、或者响应于接收到传感器误差的指示而将控制数据通信到车辆302。这样的响应和/或其他动作126还可以包括：控制驱动模块314以改变车辆302的速度、方向和/或其他操作参数。附加地和/或可替代地，传感器系统306可以在预定的时间段之后通过一个或多个网络332几近于实时地以特定的频率将本文所述的任何信号和/或传感器数据发送到一个或多个远程计算装置334。在这样的示例中，一个或多个远程计算装置334(例如，其一个或多个处理器336)可以执行本文中所述的一个或多个方法。
如上所述，车辆302还可以包括一个或多个发射器308，借以发射光和/或声音。本示例中的发射器308包括内部音频和视频发射器，借以与车辆302的乘客进行交流。作为示例而非限制，内部发射器可以包括：扬声器；灯；标志；显示屏；触摸屏；触觉发射器(例如，振动反馈和/或力反馈)；机械执行器(例如，安全带拉紧器、座椅定位器、头枕定位器等)等。在该示例中，发射器308还包括外部发射器。作为示例而又非限制性的，此示例中的外部发射器包括：用于指示行驶方向的信号灯或车辆动作的其他指示器(例如，指示灯、标志、灯阵列等)；以及用于在声音上与行人或其他附近的车辆进行交流的一个或多个音频发射器(例如，扬声器、扬声器阵列、喇叭等)。
车辆302还可以包括一个或多个通信连接310，这种通信连接可在车辆302与一个或多个其他本地计算装置或远程计算装置之间进行通信。举例而言，一个或多个通信连接310可促使与车辆302和/或驱动模块314上的其他本地计算装置进行通信。此外，一个或多个通信连接310可以使车辆302能够与附近的其他计算装置(例如，附近的其他车辆、交通信号灯等)进行通信。通信连接310还会使车辆302能够与远程遥控操作计算装置、远程服务中心或其他远程服务进行通信。
一个或多个通信连接310可以包括物理接口和/或逻辑接口，上述物理接口和/或逻辑接口用于将车辆计算装置304连接至其它计算装置或诸如网络332的网络。举例而言，通信连接310可以启用基于Wi-Fi的通信，这些通信诸如，经由IEEE 802.11标准定义的频率、短距离无线频率(例如
Figure BDA0002799555720000231
)或使各自的计算装置能够与其他计算装置接口连接的任何合适的有线或无线通信协议。
在至少一个示例中，车辆302可以包括一个或多个驱动模块314。在一些示例中，车辆302可以具有单个驱动模块314。在至少一个示例中，如果车辆302具有多个驱动模块314，各个驱动模块314可以定位在车辆302的相反两端(例如，前端和后端等)上。在至少一个示例中，驱动模块314可以包括一个或多个传感器系统，以检测驱动模块314的状况和/或车辆302的周围环境的状况。作为示例且非限定性的，传感器系统可以包括：一个或多个车轮编码器(例如，旋转编码器)，以感测驱动模块的车轮的转动；惯性传感器(例如，惯性测量单元、加速计、陀螺仪、磁力计等)，借以测量驱动模块的定向与加速度；摄像机或其他图像传感器；超声波换能器，借以按声学方式检测驱动模块周围的对象；激光雷达传感器；雷达传感器等。诸如车轮编码器的某些传感器可能是驱动模块314所独有的。在一些情况下，驱动模块314上的传感器系统可以与车辆302的相应系统(例如，传感器系统306)重叠或对其进行补充。
驱动模块314可以包括多种车辆系统，这些车辆系统包括：高压电池；用于驱动车辆的电动机；用于将来自电池的直流电转换成交流电以供其他车辆系统使用的逆变器；包括转向马达和转向齿条(其可以是电动)的转向系统；包括液压执行器或电动执行器的制动系统；包括液压组件和/或气动组件的悬架系统；用于分配制动力以减轻牵引力损失并保持控制的稳定性控制系统；HVAC系统；灯(例如，用于照亮车辆外部环境的前灯/尾灯)；以及一种或多种其它系统(例如，冷却系统、安全系统、车载充电系统，诸如DC/DC转换器、高压接头、高压电缆、充电系统、充电端口等其它电气组件)。另外，驱动模块314可以包括驱动模块控制器，该驱动模块控制器可以接收来自传感器系统的数据并对其进行预处理，并且该驱动模块控制器可以控制各种车辆系统的操作。在一些示例中，驱动模块控制器可以包括一个或多个处理器以及与上述一个或多个处理器通信耦接的存储器。该存储器可以存储一个或多个模块以执行驱动模块314的各种功能。此外，驱动模块314还包括一个或多个通信连接，所述通信连接使得能够通过各驱动模块与一个或多个其它的本地计算装置或远程计算装置进行通信。
如上所述，车辆302可经由网络332将信号和/或传感器数据通信到一个或多个远程计算装置334。在一些示例中，车辆302可以向远程计算装置334发送原始传感器数据。在其它示例中，车辆302可以将经过处理的传感器数据和/或传感器数据的表示发送到远程计算装置334。在一些示例中，车辆302可以在经过一段时间后用接近实时传送等方式以特定的频率将传感器数据发送到远程计算装置334。
远程计算装置334可以接收信号和/或传感器数据(原始数据或经过处理的数据)，并且远程计算装置334可以至少部分地基于信号和/或传感器数据执行本文中描述的任何方法。在至少一个示例中，远程计算装置334可以包括：一个或多个处理器336；以及可进行通信的方式与上述一个或多个处理器336相耦接的存储器338。在所示出的示例中，远程计算装置334的存储器338存储了传感器数据存储器340、传感器数据处理系统342和机器学习系统344。
传感器数据存储器340可以存储从一个或多个车辆(例如车辆302)接收的传感器数据(原始数据或经过处理的数据)。传感器数据存储器340中的传感器数据可以表示通过一个或多个车载传感器系统(例如，车载传感器系统306)或其他传感器系统在早些时间所收集的传感器数据(如，以前连接的传感器数据)。在一些示例中，传感器数据可被存储为与位置、对象类型和/或其它类型的特征相关联。另外，在至少一个示例中，从传感器数据确定的行为可以存储在传感器数据存储器340中。也就是说，各个对象的行为可以与确定行为的特定传感器数据相关联。
在至少一个示例中，传感器数据处理系统342可以接收来自诸如车辆302的一个或多个车辆的传感器数据(原始数据或经过处理的数据)。如上所述，车辆302可以在在经过一段时间后用接近实时传送等方式以特定的频率将传感器数据发送到远程计算装置334。相应地，传感器数据处理系统342可以在经过预定时间段之后用接近实时的方式等以特定频率接收传感器数据。在附加的或可替代的示例中，传感器数据处理系统342可从其它传感器系统和/或代替性的传感器系统(例如，未与车辆关联的传感器系统)接收数据。在一些示例中，传感器数据处理系统342可以将传感器数据发送到传感器数据存储器340以进行存储。
在至少一个示例中，传感器数据处理系统342可以处理传感器数据。在一些示例中，传感器数据处理系统342可以基于传感器数据来确定与特定对象类型相关联的对象的行为。也就是说，传感器数据处理系统342可以分析与特定时间段相关联的传感器数据，以确定存在于环境中的对象在该时间段内如何动作。在至少一个示例中，传感器数据存储器340可以存储指示与对象类型相关联的对象的行为的数据，该对象类型可以与用于确定该行为的传感器数据相关联。在至少一个示例中，如从传感器数据所确定的那样，指示与对象类型相关联的对象的行为的数据可与观测(observation)相关联。这种观测可以存储在传感器数据存储器340中。
如上所述，车辆计算装置304的定位系统320、感知系统322和/或其他组件可以被配置成对诸如行人、自行车骑手、狗、其他车辆等外部对象进行检测与分类。至少部分基于外部对象的分类，外部对象可以被标记为动态对象或静态对象。例如，感知系统322可配置成将树标记为静态对象，并且可配置成将行人标记为动态对象。可以通过跟踪外部对象来生成与外部对象有关的更多数据，并且对象分类类型可由预测系统328使用，进而在一些示例中，当车辆沿着计划路径行进时，可预测或确定外部对象干扰车辆302的可能性。例如，被分类为行人的外部对象可以与最大速度和/或平均速度相关联。定位系统320、感知系统322、车辆计算装置304的分段系统、传感器数据处理系统342和/或远程计算装置334的其他组件可以使用机器学习系统344，所述机器学习系统可执行诸如神经网络的一种或多种机器学习算法，借以进行分类操作。
机器学习系统344使用的神经网络可以包括生物激励算法，这种算法可使输入数据通过一系列连接层来产生输出。神经网络的一个示例是卷积神经网络(CNN)。CNN中的每一层也可以包括另一个CNN或可包括任何数量的层。神经网络可以使用机器学习，机器学习指可以根据学习参数产生输出的一大类这种算法。
尽管在神经网络的情境中进行了讨论，但是也可以使用符合本文的任何类型的机器学习。举例来说，机器学习算法可以包括，但不限于，回归算法(例如，普通最小二乘回归(OLSR)、线性回归算法、逻辑回归算法、逐步回归算法、多元自适应回归样条(MARS)算法、局部估计的散点图平滑化(LOESS)算法、基于示例的算法(例如，岭回归、最小绝对收缩和选择算子(LASSO)、弹性网、最小角度回归(LARS))、决策树算法(例如，分类和回归树(CART)、迭代二分法器3(ID3)、卡方自动交互检测(CHAID)、决策树桩、条件决策树)、贝叶斯算法(例如，朴素贝叶斯、高斯朴素贝叶斯、多项式朴素贝叶斯、平均-依赖估计量(AODE)、贝叶斯置信网络(BNN)、贝叶斯网络)、聚类算法(例如，k均值、k中位数、期望最大化(EM)、分层聚类)、关联规则学习算法(例如，感知器、反向传播、霍普菲尔德网络、径向基函数网络(RBFN)、深度学习算法(例如，深玻尔兹曼机(DBM)、深度信念网络(DBN)、卷积神经网络(CNN)、堆叠式自动编码器)、降维算法(例如，主成分分析(PCA)、主成分回归(PCR)、偏最小二乘回归(PLSR)、Sammon映射、多维标度(MDS)、投影追踪、线性判别分析(LDA)、混合判别分析(MDA)、二次判别分析(QDA)、灵活判别分析(FDA))、集成算法(例如，增强、自举聚合(Bagging)、AdaBoost、堆叠泛化(混合)、梯度增强机(GBM)、梯度增强回归树(GBRT)、随机森林)、SVM(支持向量机)、监督学习、无监督学习、半监督学习等。
在某些示例中，可以使用一种类型以上的机器学习系统来为所使用的各种机器学习类型提供各自的结果。在某些示例中，置信分数可以与每个结果相关联，并且所依赖的结果可以至少部分地基于与结果相关联的置信分数。例如，相比于其它结果可以选择与最高置信分数相关联的结果，或者可以基于置信分数，例如基于诸如加权平均值等的统计方法来组合结果。此外，尽管图中示出的机器学习系统344为存储器338的组件，但在其它示例中，机器学习系统344和/或其至少一部分可以包括车辆计算装置304的存储器318的组件。
车辆302的处理器316和远程计算装置334的处理器336可以是能够执行指令以按本文所公开技术方案处理数据并执行操作的任何一种适当的处理器。作为示例而非限制，处理器316和处理器336可以包括：一个或多个中央处理单元(CPU)、图形处理单元(GPU)或者可对电子数据进行处理而将其转成为可存储在寄存器和/或存储器中的其他电子数据的其它任何装置或装置的一部分。在一些示例中，只要能配置以执行编码指令，集成电路(例如ASIC等)、门阵列(例如FPGA等)和其他硬件装置也可以被视为处理器。
存储器318和存储器338是非暂时性计算机可读介质的示例。存储器318和存储器338可以存储用于执行本文描述的方法以及属于各个系统的功能的操作系统及一或多种软件应用程序、指令、程序和/或数据。在各种实施方式中，可使用诸如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/闪存类型存储器或任何其他类型能够存储信息的存储器的任意一种适当的存储技术来实现上述存储器。本文描述的架构、系统和单独元件可以包括许多其它的逻辑电路组件、程序组件及物理组件，而附图中所示出的上述组件仅为与本文所讨论内容相关的示例。
应当注意的是，虽然图3示出了分布式系统，但是在替换性示例中，车辆302的组件可以与远程计算装置334相关联，并且/或者，远程计算装置334的组件可以与车辆302相关联。换而言之，车辆302可执行与远程计算装置334相关联的一个或多个功能，反之亦然。
图4A是示例性的车辆202(例如，参照图3描述的车辆302)的侧视图400，上述车辆具有安装在车辆202上或由车辆202所携带的多个传感器组件。在一些示例中，可对来自多个传感器组件的数据集进行组合或合成以形成元陈述(例如，表示多个激光雷达传感器的激光雷达数据)，或者，可用融合技术使这些数据集组合或融合以改善用于分段、分类、预测、计划、轨迹生成等的准确性或处理。
如侧视图400所示，车辆202可以包括任何组合或配置中的任何数量的传感器。例如，车辆202至少包括：传感器402、传感器404和传感器406。在一些示例中，传感器402可以包括雷达传感器，这种雷达传感器的垂直视场示为θ1。传感器404可以包括激光雷达传感器，这种激光雷达传感器安装于车辆202的顶部，传感器404的垂直视场示为θ2。在一些示例中，传感器406可以包括摄像机传感器，这种摄像机传感器的垂直视场示为θ3。当然，车辆202可以包括任何数量和类型的传感器，但却并不限于图4A中所提供的示例。
图4B示出了具有安装至车辆的多个传感器组件的示例性车辆202的俯视图408。例如，在图4B中可以看到传感器402、传感器404和传感器406，以及其他的传感器410、传感器412、传感器414和传感器416。例如，传感器406和传感器416可以位于同一位置或彼此相邻，但具有不同视场的传感器406和传感器416可能包括不同的传感器类型或模式。在一些示例中，传感器410、传感器412、传感器414和传感器416可包括附加的激光雷达传感器、雷达传感器和/或图像捕获装置。正如从本文全文中可以理解的，车辆202可以包括任何数量和任何类型的传感器。如图4B所示，传感器402可以具有水平视场θ4，传感器404可以具有水平视场θ5，传感器406可以具有水平视场θ6，传感器410可以具有水平视场θ7，传感器412可以具有水平视场θ8，传感器414可以具有水平视场θ9，并且传感器414可以具有水平视场θ10。正如在本公开的上下文中可以理解的，安装位置和视场可以包括任何数量的配置。
另外，本文所描述的传感器中的一个或多个可以用于检测位于存在车辆202和/或传感器的环境内的一个或多个对象418。例如，在其中传感器404包括激光雷达传感器(例如，激光雷达传感器104)的实施例中，传感器404可配置为生成包括激光雷达传感器数据112的信号，该激光雷达传感器数据指示在存在有传感器404的环境(例如，图1所示的环境108)中可检测到的一对象组130。在一些示例中，由激光雷达传感器404产生的信号可以包括：来自激光雷达传感器404的第一光传感器的指示检测到来自对象418的反射光的信号(如，第一信号)并且对象418可包含于传感器数据112所指示的对象组130中。在这样的示例中，由激光雷达传感器404生成的信号还可以包括一个或多个附加信号(例如，来自激光雷达传感器的第二光传感器的至少第二信号)，这种附加信号指示检测到来自对象418的反射光，并且对象418可包括于对象组130中。任何这样的信号可以被提供给感知系统322和/或车辆计算装置304的其他组件。在一些示例中，感知系统322可以至少部分地基于由激光雷达传感器404生成的一个或多个信号来识别对象418，并且感知系统322可以至少基于对包含于对象组130中的对象418所进行的识别确定上述对象122是否不存在于或是被错误地归类于对象组128、对象组130、对象组132中的一个或多个对象组(例如，不存在于或是被错误地归类于与激光雷达传感器数据112相应的对象组130中)。
在其中传感器406包括摄像机或其他图像捕获装置(例如，图像捕获装置102)的其他实施例中，传感器406可以配置为生成包括图像数据110的信号，该图像数据指示在其中存在传感器406的环境(例如，图1所示的环境108)中可检测的对象组128。在一些示例中，由传感器406生成的信号可以包括包含有由传感器406捕获的一个或多个图像的信号(例如，第一信号)，上述图像示出了、指示出和/或以其他方式包括对象418，并且对象418可以包含在由图像数据110指示的对象组128中。在这样的示例中，由传感器406生成的任何信号都可以被提供给感知系统322和/或车辆计算装置304的其他组件。在一些示例中，感知系统322可以至少部分地基于传感器406生成的一个或多个信号来识别对象418。例如，感知系统322可以识别和/或以其他方式确定与包括在一个或多个相应传感器信号中的数据相关联的误差。在这样的示例中，感知系统322可以至少部分地基于针对包括在对象组128中的对象418所进行的识别确定上述对象122是否不存在于或是被错误地归类于对象组128、对象组130及对象组132的一个或多个对象组中(例如，不存在于或是被错误地归类于与图像数据110相对应的对象组128中)。应该理解的是，感知系统322还可以对从本文中所描述的其它传感器(例如，传感器106、传感器402以及与传感器系统306相关联的传感器等)所接收到的信号和/或传感器数据114执行类似的处理。
图5是示例性流程图500，该流程图所示出的示意性方法用于将单个传感器数据与融合传感器数据进行比较并至少部分基于确定与包含在一个或多个相应传感器信号中的数据相关联的误差(例如，确定包含在融合传感器数据中的至少一个对象不存在于或是被错误地归类于与来自单独传感器的数据所关联的对象组)来发起响应。类似于图1，可包括图像捕获装置102、激光雷达传感器104和/或另一个传感器106的传感器可以耦接到穿过环境108的车辆。图像捕获装置102、激光雷达传感器104和传感器106分别捕获图像数据110、激光雷达传感器数据112和传感器数据114，并且上述多个传感器可以将这些数据通信到感知系统116。如上所述，来自图像捕获装置102的信号可以包括图像数据110，并且这种图像数据110可以表示包括和/或以其他方式指示在环境108中可检测到的第一对象组128(图1)的场景。同样，来自激光雷达传感器104的信号可以包括激光雷达传感器数据112，并且这种激光雷达传感器数据112可以表示包括和/或以其他方式指示在环境108中可检测的第二对象组130(图1)的场景。此外，来自传感器106的信号可以包括传感器数据114，并且该传感器数据114可以表示包括和/或以其他方式指示在环境108中可检测的第三对象组132(图1)的场景。
如图5所示，图像捕获装置102、激光雷达传感器104和传感器106可以基本上连续地和/或以规则时间间隔或不规则时间间隔捕获上述图像数据110、激光雷达传感器数据112和传感器数据114。在这样的示例中，图像捕获装置102所捕获的图像数据110可以指示、示出和/或表示一个或多个顺序场景D。在这样的示例中，顺序场景D中的每一个都可以包括由图像捕获装置102分别在不同(例如，顺序)时间T1、T2、T3检测到的相应对象组502、对象组504、对象组506。虽然在图5中示出了三个连续场景D和三个对应的对象组502、对象组504、对象组506，但是可以理解的是，可由图像捕获装置102在操作期间以不同的时间或时间间隔(例如，按顺序的时间或时间间隔)检测到大于或小于三个场景和/或对象组。对象组502、对象组504、对象组506中的每个对象组可以和依据图1描述的对象组128相似和/或相同。在这样的示例中，图像捕获装置102可以将图像数据110发送到感知系统116，并且感知系统116可以至少部分地基于接收到的图像数据110来识别本文中描述的对象组502、对象组504、对象组506中的一个或多个对象组。
类似地，由激光雷达传感器104捕获的激光雷达传感器数据112可以指示、说明和/或表示一个或多个顺序场景E。在这样的示例中，每个顺序场景E可包括由激光雷达传感器104在不同时间T1、T2、T3(例如，顺序的时间)检测到的相应对象组508、对象组510、对象组512。虽然在图5中示出了三个连续场景E和三个对象组508、对象组510、对象组512，但是可以理解的是，可由激光雷达传感器104在操作期间以不同的相应时间或时间间隔(例如，按顺序的时间或时间间隔)检测到大于或小于三个场景和/或对象组。对象组508、对象组510、对象组512中的每个对象组可以和依据图1描述的对象组130相似和/或相同。在这种示例中，激光雷达传感器104可以将激光雷达传感器数据112发送到感知系统116，并且感知系统116可以至少部分地在接收到的激光雷达传感器数据112来识别本文中描述的对象组508、对象组510、对象组512中的一个或多个对象组。
此外，由一个或多个附加的传感器106捕获的传感器数据114可以指示、说明和/或表示一个或多个顺序场景F。在这样的示例中，每个顺序场景F可包括由传感器106在不同时间T1、T2、T3(例如，顺序的时间)检测到相应的对象组514、对象组516、对象组518。虽然在图5中示出了三个连续场景F和三个对应的对象组514、对象组516、对象组518，但是可以理解的是，可由传感器106在操作期间以不同的时间或时间间隔(例如，按顺序的时间或时间间隔)检测到大于或小于三个场景和/或对象组。对象组514、对象组516、对象组518中的每个对象组可以和依据图1描述的对象组132相似和/或相同。在这种示例中，传感器106可以将传感器数据114发送到感知系统116，并且感知系统116可以至少部分地基于接收到的传感器数据114识别本文中描述的对象组514、对象组516、对象组518中的一个或多个对象组。
在图5所示的方法中，感知系统116可以被配置成接收来自图像捕获装置102、激光雷达传感器104和传感器106的信号，并且这些信号可以包括上文中结合图5所描述的图像数据110、激光雷达传感器数据112和传感器数据114。在所示的示例中，感知系统116可以被配置成至少部分地基于上述一种或多种信号来确定相应的对象组522、对象组524、对象组526。例如，感知系统116可被配置为至少部分地基于对应于时间T1的对象组502、对象组508、对象组514来生成、识别、定义、和/或以其他方式确定在时间T1存在于环境108中的对象组522。感知系统116还可以至少部分地基于对应于时间T2的对象组504、对象组510、对象组516来确定在时间T2存在于环境108中的对象组524，并且感知系统116可以至少部分地基于对应于时间T3的对象组506、对象组512、对象组518来确定在时间T3存在于环境108中的对象组526。在这种示例中，可考虑用由感知系统116通过使用图像数据110、激光雷达传感器数据112和传感器数据114确定的对象组522、对象组524、对象组526单独或一同融合传感器数据134。此外，感知系统116可以使用本文描述的数据关联、对象识别、数据特征化和/或其它技术中的任何一种来确定相应对象组522、对象组524、对象组526中的哪些对象是相同的。
在这些示例中，感知系统116还可以配置成使用和/或至少部分基于在稍后时间所收集的传感器数据来识别一个或多个对象122和/或确定一个或多个对象组522、对象组524、对象组526。例如，与时间T2相关联的对象组504、对象组510、对象组516(例如，在晚于和对象组502、对象组508、对象组514相关联的时间T1所观察到的对象组)和/或与时间T3相关联的对象组506、对象组512、对象组518(例如，在晚于和对象组506、对象组512、对象组518相关联的时间T1所观察到的对象组)可由感知系统116和/或对象检测系统118使用，以确定由感知系统116指示的对象组522在时间T1存在于环境108中。感知系统116和/或对象检测系统118还可以至少部分地基于传感器数据和/或比第一时间晚的第二时间(例如，时间T2)所观察到的对象组识别和/或以其他方式确定与在第一时间(例如，时间T1)所观察到对象组相关联的误差。例如，感知系统116和/或对象检测系统118可以至少部分地基于在时间T2所观察到的对象组504、对象组510、对象组516和/或在时间T3所观察到的对象组506、对象组512、对象组518来将特定对象识别为包含在这种融合传感器数据134中，却不存在于或是被错误地归类于一个或多个对象组(例如，时间T1所观察到的对象组508)中。当生产包含有由感知系统116指示的在时间T1存在于环境108中的一个或多个对象组522的融合传感器数据134和/或对在时间T1存在于环境108中的一个或多个对象122进行识别时，这些后来观察到的传感器数据(例如，未来传感器数据)及相应的对象组可提供高水平的置信度。这种后来观察到的传感器数据(例如，未来传感器数据)和相应的对象组也可以用作日志数据，以训练诸如离线机器学习过程中的各种传感器模态。
在一些示例中，感知系统116可以将图像数据110、激光雷达传感器数据112、传感器数据114、融合传感器数据134(例如，对象组522、对象组524和对象组526中的一个或多个对象组)和/或感知系统116的其他输出提供到机器学习系统344(例如，卷积神经网络(CNN))，例如上文结合图3所描述的机器学习系统344。例如，图像捕获装置102、激光雷达传感器104和/或传感器106可以将包括表示与环境108相关联的各个顺序场景的数据的一个或多个信号通信到感知系统116。感知系统116和/或对象检测系统118可以将一个或多个信号通信到机器学习系统344，借以可以使用机器学习系统344分段数据(例如，可以对图像数据110进行分段)。在这样的示例中，提供给机器学习系统34的信号或信息中的任何一个都可以作为训练机器学习系统344的真实情况(ground truth)。相同或类似的算法可用于分段任何其它一种或多种传感器模态。在一些示例中，机器学习系统344可独立地或采用与对象检测系统118或感知系统116的其他组件组合的方式来执行分段模型或训练为对数据进行分段和/或对数据中的对象进行分类的其他组件。在一些示例中，至少部分基于本文所描述的分段、和/或任何数据关联、对象识别、数据特征化和/或其它方法，机器学习系统344可被配置为通过对与其他数据段不一致的至少一个数据段而识别包含在融合传感器数据134中(例如，包括在对象组522、对象组524、对象组526的一个或多个对象组中)但不存在于或是被错误地归类于对象组502-518的至少一个对象组中的对象122。在一些示例中，可以根据本文描述的其他方法对这种方法中对象122的识别进行确认或是不重视的(discount)。例如，如上所述，以后观察到的(例如，将来的)传感器数据及相应的对象组可以由机器学习系统344使用，借以确认对象122的识别，确认对象122的位置，和/或确认与对象122相关联的任何其他参数。此外，如上所述，本发明并不限于识别不存在于或是被错误地归类于一种或多种上述情境中的一个或多个对象122。而是，其它示例性的处理可包括：确定与包含在一个或多个相应传感器信号中的数据相关联的一个或多个其它误差和/或不同的误差。
机器学习系统344可以包括本文描述的任何类型的机器学习系统。例如，机器学习系统344可以是CNN。在一些示例中，机器学习系统312可以包括个一种以上的机器学习系统。如本文所述，可使用一种以上的机器学习来为所使用的机器学习的每种类型提供各自的结果。在一些示例中，置信分数可以与每个结果相关联，并且所依赖的结果可以至少部分地基于与结果相关联的置信分数。例如，相比于其他结果，可以选择与最高置信分数相关联的结果，或者可以基于置信分数来组合结果，例如基于诸如加权平均等统计方法。
为了产生有效的输出，诸如作为示例的CNN的机器学习系统344必须首先学习一组参数或是被“训练”。训练是通过将训练数据528输入机器学习系统344来完成的，训练数据528与预期输出值相关联。这些预期输出值通常可被称为“真实情况”。例如，真实情况可以包括：图像中特定对象的识别，以及与对象相关联的语义分类或标签(例如，将对象识别并标记为汽车或建筑物)。机器学习系统344的精度可以基于在训练数据528中提供的数据的量和/或精度。因此，为了训练机器学习系统344输出分段的传感器数据，一个适当的数据集将包括：具有已知的或先前确定的分段的传感器数据。在一些示例中，训练数据528可包括表示真实世界场景的一个或多个分段图像，所述图像与表示真实世界场景的一个或多个传感器数据集相关，上述真实世界场景可通过手动或经由一种或多种算法进行注释，而上述一种或多种算法配置成对传感器数据集中的对象进行分段、检测、分类和/或标记。在一些示例中，训练数据528可以包括合成(例如，计算机生成的)数据，该数据包括带注释的对象或者该数据已经由计算机算法注释。可使用离线数据和/或在线数据进行上述训练，并且如上文所述，随后观察到的(例如，未来的)传感器数据和相应的对象组可用于此类训练和/或机器学习练习。在本文所描述的任何示例中，融合传感器数据134可被提供给机器学习系统344和/或可用作训练数据528。另外，包括图像数据110、激光雷达传感器数据112和/或传感器数据114的一个或多个信号可以提供给机器学习系统344和/或可以用作训练数据528。
在其中在线执行(例如，使用车辆计算装置304和/或车辆302的其他部件)训练(例如，机器学习)、对象分类和/或其他处理的示例中，存储器318的容量、处理器316的速度/功率和/或车辆计算装置304的其他参数可以限制执行这些处理的速度，并且还可以限制所用神经网络、算法和/或其他组件的复杂性。在其中离线执行(例如，使用远程计算装置334的处理器336和/或其他组件)训练(例如，机器学习)、对象分类、和/或其它处理的示例中，存储器338的容量可以大于存储器318的容量。同样，处理器336的速度/功率和/或远程计算装置334的其他参数可以大于处理器316的相应速度/功率。因此，可以在离线处理中使用相对更复杂的神经网络、算法和/或其他组件。此外，在本文描述的任何示例中，由于这种离线系统的相对鲁棒性，与远程计算装置334相关联的离线三维感知管道可用于训练例如车辆302的在线传感器。
此外，在一些示例中，这种离线机器学习技术可以包括：使用稍后时间获得的数据，以确定和/或预测对象的过去位置和/或对象的识别/分类。例如，可以理解的是，日志数据和/或其他历史数据可以存储在传感器数据存储器340中。例如，这种日志数据可以包括：指示特定对象在不同时间点所感测到的位置的信息、这种对象的特性描述(characterization)和/或识别等。在这些示例中，该历史数据可用于各种正向循环方法和反向循环方法中，以协助训练车辆302的一个或多个传感器。例如，此类历史数据可用于确认在本文中的数据关联和/或对象跟踪处理期间所作出的预测。因此，在离线机器学习练习期间，利用历史数据来辅助训练车辆302的一个或多个传感器管道，可以提高由车辆计算装置304的感知系统322和/或其他组件所做的在线确定的准确性。
损耗函数可用于调整训练期间机器学习系统344的内部参数。损耗函数是训练数据528的预期输出值(或真实情况)和网络输出值的函数。包含在损耗函数中的信息可以通过机器学习系统344作为反向传播来调整内部参数，从而调整机器学习提供有效输出。在其他条件相同的情况下，用于训练机器学习系统344的训练数据528越多，(例如，在提供准确的分段和/或分类时)机器学习系统344就越可靠。
例如，这种损耗函数可以包括：支持向量机(SVM)损耗函数、铰链损耗函数等。尽管具有期望的输入数据、真实情况或分段数据都是可以预期的，但这种损耗函数可用于训练机器学习系统344以分段传感器数据。
在上述任何参考示例中，一个传感器模态可通知任何其他的传感器模态。作为非限制性示例，激光雷达传感器数据112可指示环境108中靠近车辆的对象(无论是静态还是动态的)，例如上述指示可基于激光雷达特征跟踪、激光雷达分段、激光雷达分类等而确定。在此类示例中，在激光雷达传感器数据112中所确定的对象可用于确定剩下的传感器模态(例如，其他激光雷达传感器中、在图像数据110或传感器数据114)中的预期传感器报告(sensor return)。预期目标检测和数据测量结果之间的差异可能指示相应传感器的故障、相应传感器的校准误差等。在本文描述的任何示例中，一个或多个信号和/或相应的图像数据110、激光雷达传感器数据112和/或传感器数据114可以输入到机器学习系统344中，并且响应系统124可以至少部分地基于机器学习系统344的输出来发起相应的响应和/或其他动作126。应当理解的是，机器学习系统344和/或训练数据528可被配置和/或用于训练图像捕获装置102、激光雷达传感器104、传感器106和/或本文中描述的任何其他传感器模态。
继续参考图5，在一些示例中，置信水平可以与对象122的识别相关联，并且在这些示例中，响应系统124可被配置成当与对象122的识别相关联的置信水平降到阈值置信水平以下时发起响应和/或任何其他动作126。例如，响应和/或任何其他动作126(例如本文所述的一个或多个)可用于解释与图像数据110、激光雷达传感器数据112和/或传感器数据114相关联的不精确性，并且可以改进车辆202的可操作性。
在一些示例中，感知系统116可以(例如，在物理上或经由通信系统)耦接到车辆，并且发起响应和/或任何其他动作126可以包括：通过诸如通信连接310(图3)发起与配置成协助车辆操作的遥控系统530进行的通信或生成验证请求中的一个或多个步骤。在一些示例中，生成这样的验证请求可以包括：发起车辆服务中心532关于一个或多个识别对象122不存在障碍物的通知。例如，车辆可被配置为根据辅助模式操作，其中远离车辆定位的遥控系统530可以(例如，通过通信连接310和/或相关通信网络)从与其操作相关的车辆接收一个或多个信号。例如，遥控系统530可以被配置成基于例如经由遥控操作者和/或本文所述的方法中的一个或多个从车辆接收到的信号来验证环境108中是存在还是缺少对象122。遥控系统530可配置为向车辆发送一个或多个信号，借以使车辆发起响应和/或任何其他动作126，借以说明与本文所述的图像数据110、激光雷达传感器数据112和/或传感器数据114相关联的不精确性。作为非限制性示例，上述遥控人员动作可以包括：发送命令以使车辆停止、对分配给各种传感器模态的权重进行调整、发送命令以解决和/或削减误差等。
如上所述，在一些示例中，发起响应和/或其他动作126可以包括：反转车辆的行驶方向，例如通过与驱动模块314(图3)进行通信反转车辆的行驶方向。在一些示例中，车辆可以是双向车辆，例如，如本文所述的，这种双向车辆配置成在第一方向或第二相反方向上大致以相同的性能操作。在这样的示例中，车辆可在车辆的两端至少具有类似的传感器，并且驱动模块314可被配置成如果感知系统116和/或对象检测系统118识别到对象122存在于环境108中，则使车辆沿相反的方向运行，并确定与由感知系统116接收的一个或多个相应传感器信号中包括的数据相关联的相应误差(例如，确定所识别的对象122不存在于或是被错误地归类于上述对象组中的一个或多个对象组中)。
此外，如上所述，除此之外，这样的响应和/或其他动作126可以包括以下至少之一：忽略图像数据110、激光雷达传感器数据112和/或传感器数据114的一部分。这样的响应和/或其他动作126还可以包括：修改与图像捕获装置102、激光雷达传感器104、一个或多个附加的传感器106、传感器系统306(图3)的其他传感器其中之一或多个相关联的权重、置信度值和/或其他度量，和/或从传感器系统306的各个传感器接收的信号。这样的响应和/或其他动作126可以进一步包括修改上述训练数据528。
此外，在本文描述的任何示例中，本文所公开的感知系统116、对象检测系统118、机器学习系统344和/或其他系统可被配置成将上述各种对象组彼此比较，并且可以至少部分基于这样的比较来发起响应和/或其他动作126。例如，感知系统116可被配置成将对象组502、对象组508、对象组514和/或在时间T1收集的传感器数据相关联的对象组彼此比较。例如，感知系统116的对象检测系统118可以被配置成确定对象组502、对象组508、对象组514之间和/或与对象组502、对象组508、对象组514相关联的任何参数之间是否存在差异。例如，对象检测系统118可以被配置成确定包括在对象组502中的一个或多个对象不存在于对象组508和/或对象组514中(例如，漏报(false negative))。在进一步的示例中，对象检测系统118可以被配置成确定包括在对象组502中的一个或多个对象不同于包括在对象组508和/或对象514组中所包含的相应对象(例如，误报(false positive)或错误分类)。在这样的示例中，响应系统124可以至少部分地基于这样的确定来发起响应和/或任何其他动作。此外，应当理解的是，感知系统116可被配置成将对象组504、对象组510、对象组516和/或在时间T2收集的传感器数据相关联的对象组彼此比较。在本文描述的任何示例中，对象组(例如，对象组502、对象组508、对象组514)进行的比较和/或各对象组(例如，对象组502、对象组508、对象组514)中的任何对象组与融合传感器数据134进行的比较可以包括：使相应对象组中所包括的各个对象相关联以为了比较目的。在一些示例中，这种“对象关联”方法可以包括：将数据或对象从一个传感器数据集投影到另一个传感器数据集。作为非限制性示例，指示图像数据110中包括的对象组502的数据可以被投影到(或者以其它方式关联于)包含有对象组508的激光雷达传感器数据112中和/或被投影到包含有对象组514的传感器数据114中，以确定与环境中的相同对象相对应的对象组。附加地或可替代地，融合传感器数据134的至少一部分(例如，包括在对象组522中的一个或多个对象)可以关联于图像数据110的一部分、激光雷达传感器数据112的一部分和/或传感器数据114的一部分，以确定在融合传感器数据134中检测到的对象组522中的哪些对象对应于对象组502、对象组508和/或对象组514中的对象。例如，作为这种对象关联处理的一部分，感知系统116可以将对象组522中的一个或多个对象投射到(或以其它形式关联于)场景D、场景E和/或场景F中，以确定对象522组中的哪些对象(如有的话)对应于对象组502、对象组508、对象组514中的任何对象组中的对象。可替代地，可以将包含在对象组502、对象组508、对象组514的各对象组中的和/或识别的一个或多个对象投影到融合传感器数据134(例如，对象组522)。感知系统116可以使用一个或多个数据对齐、特征匹配和/或其他数据映射技术来执行此类对象关联处理。在任何此类对象关联处理中，感知系统116可以使每个传感器模态的输出与特定对象和/或相应位置相关联。因此，各个传感器模态的单独输出可以与保真度进行比较。在一些示例中，上述对象关联处理中的任何一个可以由感知系统116执行，以作为本文所述的数据关联、对象识别、对象特征化和/或其他处理中一种处理或多种处理的一部分。
图6是示例方法600的流程图，图中示出了逻辑流程图中的方框的集合，图中表示了可以在硬件、软件或其组合中实现的操作顺序。在软件的上下文中，方框表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，当由一个或多个处理器执行时，上述计算机可执行指令实现本文所述的操作。通常，计算机可执行指令包括：执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。本文所描述操作的顺序并未期望被作为限制，并且可以按任何顺序组合和/或并行地对任何数量的所描述的方框以实现这些方法。
在一些示例中，图6的方法600可用于将单独的传感器数据与融合传感器数据进行比较并用于识别和/或以其他方式确定与包含在由感知系统116接收的相应传感器信号中的一个或多个中的数据相关联的误差(例如，确定特定对象，所述特定对象存在于融合传感器数据中，但不存在于或是被错误地归类于与各种传感器信号相关联的一个或多个对象组中)。这种方法600还可以包括：至少部分地基于确定存在这样的误差(例如，至少部分地基于识别这样的对象)来发起响应或其他动作。附加地或可替代地，这样的方法600可以包括至少部分地基于确定存在这样的误差来训练机器学习系统。可由在线方式(例如，通过位于车辆302上的一个或多个处理器316)和/或离线方式(例如，通过一个或多个远程计算装置334)执行与方法600相关联的任何步骤。在602处，示例性方法600可以包括：用一个或多个处理器316和/或车辆计算装置304的其它组件和/或远程计算装置334(例如，一个或多个服务器计算机或其他远程计算装置)接收来自第一传感器的第一信号。在这样的示例中，第一传感器除其他之外可以包括：一个或多个图像捕获装置102和/或本文结合传感器系统306描述的一个或多个其他传感器。另外，这样的第一传感器可以设置在车辆302上和/或以其他方式连接到车辆302。在一些示例中，车辆302可以包括自动驾驶车辆、半自动驾驶车辆和/或本领域中已知的任何其他车辆。在602处接收到的第一信号可以包括第一数据(例如，图像数据110)和/或表示环境108的其他数据。例如，在602处接收到的图像数据110可以表示由图像捕获装置102检测到的第一场景A。如以上至少结合图1所指出的那样，在一些示例中，这样的第一场景A可以包括在存在第一传感器的环境108中可检测到的第一对象组128。特别地，第一场景A可以包括由环境108中的第一传感器(例如，图像捕获装置102)实际检测到的第一对象组128。在本文所描述的任何示例中，在602处，一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334可以至少部分地基于第一数据(例如，图像数据110)使用一个或多个分段、分类和/或其他数据分析方法确定第一对象组128。
在604处，示例方法600可以包括利用一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334来接收来自设置在车辆302上的第二传感器(例如，激光雷达传感器104)的第二信号。在这样的示例中，在604处接收的第二信号可以包括第二数据(例如，激光雷达传感器数据112)和/或表示环境108的其他数据。例如，在604处接收的激光雷达传感器数据112可以表示由激光雷达传感器112检测到的第二场景B。在一些示例中，可以在由第一传感器检测第一场景A的同一时间(例如，基本上是同时地)由第二传感器检测第二场景B。另外，如以上结合图1所描述的，第二场景B可以包括在环境108中可检测的第二对象组130。特别地，场景B可以包括由第二传感器(例如，激光雷达传感器104)实际检测到环境108中的第二对象组130。在其中由第二传感器在与第一传感器检测场景A的同一时间检测场景B的示例中，第一对象组128基本上可以与第二对象组130相同。在本文所述的任何示例中，在604处，一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334可以至少基于第二数据(例如，激光雷达传感器数据112)使用一个或多个分段、分类和/或其他数据分析方法来确定第二对象组130。
在进一步的示例中，在606处，示例性的方法600可以包括：利用一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334从设置在车辆302上的一个或多个附加的传感器106(例如，雷达传感器)接收第三信号。在此类示例中，在606处接收到的第三信号可包括：第三数据(例如，传感器数据114)和/或表示环境108的其他数据。例如，在606处接收的传感器数据114(例如，雷达传感器数据)可以表示由一个或多个附加的传感器106(例如，由雷达传感器)所检测到的第三场景C。可以在由第一传感器检测第一场景A和/或由第二传感器检测第二场景B的同一时间(例如，基本上是同时地)由一个或多个附加的传感器106检测第三场景C。另外，如结合图1所描述的，第三场景C可以包括在环境108中可检测到的第三对象组132。特别地，场景C可以包括由环境108中的一个或多个附加的传感器106实际检测到的第三对象组132。在其中与场景A被第一传感器检测的同一时间由一个或多个附加的传感器106检测场景C的示例中，第三对象组132可以与第一对象组128基本相同，或者，至少(例如，通过具有重叠的视场)具有一些共同的数据。在其中与场景B被第二传感器检测的同一时间由一个或多个附加的传感器106检测场景C的示例中，第三对象组132可以与第二对象组130基本相同，或者，至少(例如，通过重叠的视场)具有一些共同的数据。在本文中描述的任何示例中，在606处，一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334可以至少部分地基于第三数据(例如，传感器数据114)使用一个或多个分段、分类和/或其他数据分析方法来确定第三对象组132。
在608处，感知系统116可以至少部分地基于在602处接收的第一数据(例如，图像数据110)、在604处接收的第二数据(例如，激光雷达传感器数据112)和/或在606处接收的第三数据(例如，传感器数据114)来确定第四对象组120。例如，在608处，感知系统116可以生成和/或以其它方式确定由感知系统116所预测、确定和/或指示为位于环境108内的融合传感器数据134。感知系统116可使用本文所述的任何融合技术并且至少部分基于包括在于602处、604处和/或606处所接收到一个或多个信号中所包括的信息而于608处生成这种融合传感器数据134。例如，感知系统116在608处至少部分地基于接收到的图像数据110、接收到的激光雷达传感器数据112和/或接收到的传感器数据生成的这种融合传感器数据134可以包括上述第四对象组120。在这样的示例中，对象组120(例如，融合传感器数据134)可以包括由感知系统116预测、确定和/或指示为存在于环境108内的对象。如本文所述，这种融合传感器数据134可由感知系统116和/或机器学习系统344作为用于训练各传感器模态的真实情况信息来使用。
在610处，感知系统116可以对在602处所接收的第一数据(例如，图像数据110)、在604处所接收的第二数据(例如，激光雷达传感器数据112)、在606处所接收的第三数据(例如，传感器数据114)和/或在602处、604处和/或606处所接收到一个或多个信号中所包含的任何数据与在608处所产生的融合传感器数据134进行比较，以确定融合传感器数据134和从各个传感器模态接收的数据之间是否存在任何差异。例如，在610处，感知系统116可以将第一对象组128、第二对象组130和第三对象组132与在608处确定的第四对象组120进行比较，以确定相应的对象组128、对象组130、对象组132中是否存在一个或多个误差。在这种比较中，由于第四对象组120是使用来自多个来源(例如，图像捕获装置102、激光雷达传感器104、一个或多个附加传感器106等)的数据(例如，图像数据110、激光雷达传感器数据112、传感器数据114等)生成的，因此第四对象组120可被视为真实情况。
在612处，一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334可以确定第一对象组128，第二对象组130和/或第三对象组132是否包括相对于对象组120的误差(例如，相对于假定的真实情况的误差)。例如，在612处，一个或多个处理器316和/或车辆计算装置304的其他组件可以确定融合传感器数据134中包含的一个或多个对象122(例如，包括在对象组120中的一个或多个对象122)是否不存在于或是被错误地归类于与在分别于602处、604处和/或606处接收到的信号相对应的对象组128、对象组130、对象组132中的至少一个对象组中。在一些示例中，在612处，对象检测系统118和/或感知系统116可以被配置为确定对象组120中包含的一个或多个对象(例如，对象122)是否不存在于对象组128、对象组130、对象组132中的至少一个对象组中(例如，与对象组128、对象组130、对象组132中的至少一个对象组相关联的漏报)。在进一步的示例中，在610处，对象检测系统118和/或感知系统116可以被配置为确定对象组120中所包括的一个或多个对象(例如，对象122)不同于对象组128、对象组130、对象组132中的至少一个对象组中所包括的相应对象(例如，与对象组128、对象组130、对象组132中的至少一个对象组中的对象相关联的误报或误分类)。在另外的示例中，在610处，对象检测系统118和/或感知系统可以被配置为确定和/或识别在此描述的任何其他误差。在任何这样的示例中，对象检测系统118和/或感知系统116可以在612处确定“是”，即存在误差。例如，感知系统116可以在612处确定为“是”，则包含于融合传感器数据134中(例如，包括在对象组120中)的对象(例如，对象122)不存在于或是被错误地归类于对象组128、对象组130、对象组132中的至少一个对象组中，并且系统可进行到614和/或616。可替代地，对象检测系统118和/或感知系统116可以在612处确定为“否”，则不存在误差。例如，感知系统116可以在612处确定为“否”，则融合传感器数据134中所包括的对象(例如，包括在对象组120中的对象)都没有不存在于或是被错误地归类于对象组128、对象组130、对象组132中的至少一个对象组中(例如，对象组128、对象组130、对象组132中所识别的对象各自都包含于对象组120中)。在这样的示例中，系统可以进行到602。
在614处，一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334可使用在602处、在604处和/或在606处所接收的一个或多个信号中包括的信息作为训练上述机器学习系统344中的真实情况。例如，在614处，感知系统116可以识别在602处、在604处、在606处接收到的信号中的哪些信号对应于所确定的误差，和/或这些信号中的哪些包括对于训练机器学习系统344可能有用到的信息。这种信息可以用作在614处训练机器学习系统344的真实情况示例。在一些示例中，可以单独使用机器学习系统344或者将机器学习系统344与对象检测系统118或感知系统116的其他组件结合使用而对在场景(例如，上述场景A至场景G中的一种或多种场景)中检测到的所有对象进行识别、分类和/或归类，并且，可以对不存在于或是被错误地归类于一个或多个这些场景中的一个或多个对象122进行识别。在一些示例中，与614相关联的方法可以离线或在线执行。
在616处，一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334可以至少部分地基于在612处所确定的误差而发起响应和/或进行任何其他动作126。例如，在616处，一个或多个处理器316和/或车辆计算装置304的其他组件可以确定在612处所识别的对象122不存在于或是被错误地归类于对象组128、对象组130、对象组132中的至少一个对象组中。例如，在612处，感知系统116可以确定对象组130中不存在对象122，并且确定对象122包括在对象组128和对象组132中。至少部分地基于这种确定，响应系统124可以在616处发起上述的任何响应。例如，除上述内容外，这样的响应还可以包括以下至少之一：忽略图像数据110、激光雷达传感器数据112和/或传感器数据114的一部分。在616处发起的上述响应和/或其他动作126还可包括：修改与图像捕获装置102、激光雷达传感器104、一个或多个附加的传感器106、传感器系统306的其他传感器中的一个或多个相关联的权重、置信度值和/或其他度量，和/或修改从传感器系统306的各个传感器所接收的信号。在616处发起的上述响应和/或其他动作126可以进一步包括：修改与图像捕获装置102、激光雷达传感器104、一个或多个附加的传感器106、传感器系统306的其他传感器中的一个或多个相关联的训练数据528。在某些示例中，在616处发起的上述响应和/或其他动作126也可以包括：生成验证请求和/或使用通讯连接310向服务中心532和/或遥控系统530发出验证请求，以供操作员和/或远程操作员进行考虑。在616处发起的上述响应和/或其他动作126还可以包括：控制一个或多个驱动模块314以改变车辆302的速度、方向和/或其他操作参数。在一些示例中，可以以离线方式或在线方式执行与616相关联的方法。
如上所述，方法600示出了逻辑流程图中的方框的集合，图中表示了可以在硬件、软件或其组合中实现的操作顺序。在软件的上下文中，方框表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，当由一个或多个处理器执行时，所述计算机可执行指令实现本文所述的操作。通常，计算机可执行指令包括：执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。本文所描述操作的顺序并未期望被作为限制，并且可以按任何顺序组合和/或并行地对任何数量的所描述的方框以实现这些方法。在一些实施例中，可以完全省略该方法的一个方框或多个方框。而且，方法600可以在整体上或部分地与其他方法相结合。
图7示出了另一示例方法700的逻辑流程图中的方框的集合，图中表示了可以在硬件、软件或其组合中实现的操作顺序。在软件的上下文中，方框表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，当由一个或多个处理器执行时，所述计算机可执行指令实现本文所述的操作。通常，计算机可执行指令包括：执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。本文所描述操作的顺序并未期望被作为限制，并且可以按任何顺序组合和/或并行地对任何数量的所描述的方框以实现这些方法。在某些方面，方法700可以与结合图6描述的方法600基本相似和/或相同。在可能的情况下，下文将用相似的项目编号来描述方法700的各方面，这些方面与方法600的相应方面基本相似和/或相同。
在一些示例中，可采用图7所示的方法700来确定与关联于传感器数据的各对象组相关联的参数。方法700可以包括：对各种参数进行比较，借以确定这些参数之间是否存在一个或多个差异。这种方法700可以进一步包括：至少部分地基于确定存在上述差异来发起响应或其他动作。附加地或可替代地，这种方法700可以包括至少部分地基于确定存在这样的差异来训练机器学习系统。与方法700相关联的任何步骤都可以在线(例如，通过设置在车辆302上的一个或多个处理器316)和/或离线(例如，通过一个或多个远程计算装置334)执行。
在702处，示例方法700可包括利用一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334(例如，一个或多个服务器计算机或其他远程计算装置)接收来自第一传感器的第一信号。在这样的示例中，第一传感器除其他以外可包括：一个或多个图像捕获装置102和/或本文结合传感器系统306所描述的一个或多个其他传感器。另外，这样的第一传感器可以设置在车辆302上和/或以其他方式连接到车辆302。在一些示例中，车辆302可以包括自动驾驶车辆、半自动驾驶车辆和/或本领域中已知的任何其他车辆。在702处接收的第一信号可以包括：第一数据(例如，图像数据110)和/或表示环境108的其他数据。例如，在702处接收的图像数据110可以表示由图像捕获装置102检测到的第一场景A。在本文所述的任何示例中，在702处，一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334可以至少部分地基于第一数据(例如，图像数据110)使用一个或多个分段、分类和/或其他数据分析方法来确定第一对象组128。
此外，在702处，一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334可使用第一数据确定与第一对象组128相关联的一个或多个参数(例如，第一参数)。在本文描述的任何示例中，除其它内容外，这样的参数可以包括：环境108中对象的分类；针对环境108中体现出和/或存在着对象的确认(即，检测)；环境108中的对象的位置(例如，位置L)；对象的定向；对象的数量；不确定性和/或这种对象的任何其他特征、度量或外貌。
在704处，示例方法700可以包括：利用一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334接收来自设置在车辆302上的第二传感器(例如，激光雷达传感器104或传感器系统306的任何其他传感器)的第二信号。在这样的示例中，在704处接收的第二信号可以包括：第二数据(例如，激光雷达传感器数据112)和/或表示环境108的其他数据。例如，在704处接收的激光雷达传感器数据112可以表示由激光雷达传感器112检测到的第二场景B。如以上结合图1所描述，第二场景B可以包括在环境108中可检测的第二对象组130。特别地，场景B可以包括由第二传感器(例如，激光雷达传感器104)在环境108中实际检测到的第二对象组130。在其中由第二传感器在与第一传感器检测场景A的同一时间检测场景B的示例中，第一对象组128中的至少一个可以与第二对象组130中的至少一个基本相同。在本文所描述的任意一个示例中，在704处，一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334可以至少部分地基于第二数据(例如，激光雷达传感器数据112)使用一个或多个检测、分段、分类和/或其他数据分析方法来确定第二对象组130。此外，在704处，一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334可以使用第二数据确定与第二对象组130相关联的一个或多个参数(例如，第二参数)。在本文所描述的任何示例中，这样的参数可以包括以上关于结合702所描述的任何参数。
在其它示例中，在706处，示例方法700可以包括：利用一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334来接收来自设置在车辆302上的一个或多个附加传感器106(例如，雷达传感器或传感器系统306的任何其他传感器)的第三信号。在这样的示例中，在706处接收到的第三信号可以包括第三数据(例如，传感器数据114)和/或表示环境108的其他数据。例如，在706处所接收的传感器数据114(例如，雷达传感器数据)可以表示由一个或多个附加传感器106(例如，由雷达传感器)检测到的第三场景C。如结合图1所描述的，第三场景C可以包括在环境108中可检测到的第三对象组132。特别地，场景C可以包括由一个或多个附加的传感器106在环境108中实际检测到的第三对象组132。本文所描述的任何示例中，在706处，一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334可以至少部分地基于第三数据(例如，传感器数据114)使用一个或多个检测、分段、分类和/或其他数据分析方法来确定第三对象组132。此外，在706处，一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334可以确定与第三对象组132相关联的一个或多个参数(例如，第三参数)。在本文所描述的任何示例中，这样的参数可以包括以上结合702描述的任何参数。
在708处，感知系统116可以至少部分基于在702处接收到的第一数据(例如，图像数据110)、在704处接收到的第二数据(例如，激光雷达传感器数据112)和/或在706处接收的第三数据(例如传感器数据114)确定与第四对象组相关联的第四参数。例如，在708处，感知系统116可以生成和/或以其他方式确定由感知系统预测、确定和/或指示的融合传感器数据134存在于环境108内。感知系统116可在708处使用本文描述的任何融合技术并至少部分地基于在702、704和/或706处所接收到的一个或多个信号中包括的信息来生成这种融合传感器数据134。例如，感知系统116可以至少部分地基于接收到的图像数据110、接收到的激光雷达传感器数据112和/或接收到的传感器数据114产生上述融合传感器数据134，并且在708处所产生的融合传感器数据134可以包括第四对象组120。在这样的示例中，对象组120(例如，融合传感器数据134)可以包括由感知系统116所预测、确定和/或指示的存在于环境108内的对象组120。因此，在708处，一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334可以确定与对象组120相关联的一个或多个参数(例如，第四参数)。在本文所描述的任何示例中，这样的参数可以包括以上结合702所描述的任何参数。
在710处，感知系统116可以确定对象组120、对象组128、对象组130、对象组132之间的一个或多个相应的对象。而后，对于相应的对象(所检测到的在环境中表现相同对象的对象)来说，感知系统116可以对在702处所确定的第一参数、在704处所确定的第二参数和/或在706处所确定的第三参数与在708处所确定的第四参数进行比较，以确定这些参数是否存在差异(和/或这种差异是否超过某个阈值)。例如，在710处，感知系统116可以比较环境108中对象的分类(包括这种分类的确定性的指示)、针对环境108中体现出和/或存在着对象的确认(包括这种检测的不确定性)、环境108中的对象的位置(例如，位置L)、对象的定向(包括这种不确定性的不确定性)、对象的数量、不确定性和/或702处确定为与708处所确定对象的相应参数的任何其他第一参数。在710处，感知系统116还可以在于704处所确定的第二参数和于706处所确定的第三参数与在708处所确定的相应参数之间进行相似的比较。
在附加示例中，在710处，感知系统可以比较在702处接收的第一数据(例如，图像数据110)、在704处接收的第二数据(例如，激光雷达传感器数据112)、在706处接收到的第三数据(例如，传感器数据114)和/或在702处、704处和/或706处接收到的一个或多个信号中所包括的任何其它数据与上述融合传感器数据134进行比较，以确定融合传感器数据134和从各个传感器模态接收的数据之间是否存在差异。在这样的示例中，在710处，感知系统116可将第一对象组128、第二对象组130、第三对象组132与在708处确定的第四对象组120进行比较，以确定对象组128、130、132与对象组120之间是否存在任何差异和/或以确定相应的对象组128、130、132中是否存在一个或多个误差。
在712处，车辆计算装置304的一个或多个处理器316和/或其他组件以及/或者远程计算装置334可以确定在708处确定的参数与在702处、704处和/或706处所确定的任何参数之间是否存在差异(和/或差异是否超过某个阈值)。例如，在其中于702处确定的第一参数包括环境108中的对象122的第一分类的示例中，在704处确定的第二参数包括对象122的第二分类，在706处确定的第三参数包括对象122的第三分类，以及在708处确定的第四参数包括对象122的第四分类，在712处识别的这样的差异可以包括：第一分类、第二分类或第三分类与第四分类之间的差异，和/或这种分类确定的不确定性差异。与之类似地，在其中在702处确定的第一参数包括对于环境108中存在对象122的第一确定的示例中，在704处确定的第二参数包括对于存在对象122的第二确定，在706处确定的第三参数包括对于存在对象122的第三确定，并且在708处确定的第四参数包括对于存在对象122的第四确定，在712处所识别到的这种差异可包括：第一确定、第二确定或第三确定与第四确定之间的差异和/或与这种确定相关联的不确定性。在本文所描述的任意一个示例中，在712处所识别的一个或多个参数差异可至少部分地基于通过图像捕获装置102、激光雷达传感器104、一个或多个附加的传感器106和/或本发明的任何其他传感器在比特定时间晚的时间点所收集的数据来确定，例如在所述特定时间，在702处接收到与第一信号相关联的第一数据、在704处接收到与第二信号相关联的第二数据和/或在706处接收到与第三信号相关联的第三数据被收集。例如，在一些实施例中，通过包括在第一信号内的图像数据110所指示的第一对象组128可以在第一时间t1由图像捕获装置102所检测到。在这样的实施例中，通过包括在第二信号内的激光雷达传感器数据112所指示的第二对象组130可以在第一时间T1由激光雷达传感器104所检测到。在这种示例中，参数差异可在712处至少部分地基于在比第一时间T1更迟的第二时间T2所检测的附加图像数据110和/或附加的激光雷达传感器数据112而被识别。
在另一些示例中，在712处，一个处理器或多个处理器316和/或车辆计算装置304的其他组件可通过确定融合传感器数据134中所包含的一个或多个对象122(例如，对象组120中所包括的一个或多个对象122)是否不存在于或是被错误地归类于在702处、704处、706处所接收到信号所分别对应的对象组128、对象组130及对象组132的至少一个对象组中而确定是否存在参数差异。在另外的示例中，应当理解的是，本文中所描述的对象组128、对象组130、对象组132中的两个对象组或更多个对象组可包括至少一个共同对象。在这样的示例中，方法700可以包括：至少部分地基于由各种不同的传感器同时收集的数据来识别共同对象。附加地或可替代地，可以至少基于由一个或多个传感器在不同的相应时间收集的数据来识别这种共同对象。在一些示例中，在702处确定的第一参数可包括共同对象(例如，对象122)的第一位置，在704处确定的第二参数可包括共同对象的第二位置，在706处确定的第三参数可包括共同对象的第三位置，并且在708处确定的第四参数可以包括共同对象的第四位置。相应地，在这样的示例中，在712处识别的差异可以包括：至少两个这样的位置之间的差异和/或这样的确认中的不确定性。例如，在712处所识别的差异可以包括：第一位置和第二位置之间的差异。在另外的示例中，在712处所识别的差异可以包括：第一位置和第四位置之间的差异。
继续参考图7，在上述任意一种示例中，对象检测系统118和/或感知系统116可以在712处确定“是”，即所比较的各种参数中存在差异(和/或达到或超过某个阈值)。例如，感知系统116可以在712处确定“是”，即与第一对象组128相关联的对象的第一分类(例如，第一参数)不同于与第四对象组120相关联的对象的第四分类(例如，第四参数)，并且系统可以进行到714和/或716。可替代地，对象检测系统118和/或感知系统116可以在712处确定“否”，即正进行比较的各种参数中不存在差异。例如，感知系统116可在712处确定“否”，即与对象组128、对象组130、对象组132相关联的对象分类中没有一个对象分类与和对象组120相关联的对应对象分类有所不同。在这种示例中，系统可以进行到702。
在714处，一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334可使用在702处、704处、706处所接收到的一个或多个信号中所包括的信息作为训练上述机器学习系统344中的真实情况。例如，在714处，感知系统116可以识别在702处、704处、706处接收到的一个或多个信号中的哪个信号与712处所识别的差异相关联。在714处，感知系统还可以确定在702处、704处、706处所接收到的一个或多个信号中的哪个信号包含有用于训练机器学习系统344有用的信息。这样的信息可以作为在714处训练机器学习系统344的真实情况示例。在一些示例中，机器学习系统344可以单独地或与对象检测系统118或感知系统116的其他组件结合地对在场景中所识别的所有对象进行识别、分类和/或归类。
在716处，一个或多个处理器316和/或车辆计算装置304的其他组件和/或远程计算装置334可以至少部分地基于在712处确定存在差异而发起响应和/或任何其他动作126。这样的响应可以与以上至少结合图6所描述的一个或多个响应基本相似和/或相同。
如上所述，方法700被示为逻辑流程图中的方框的集合，图中表示了可以在硬件、软件或其组合中实现的操作顺序。在软件的上下文中，方框表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，当由一个或多个处理器执行时，所述计算机可执行指令实现本文所述的操作。通常，计算机可执行指令包括：执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。本文所描述操作的顺序并未期望被作为限制，并且可以按任何顺序组合和/或并行地对任何数量的所描述的方框以实现所述方法。在一些实施例中，完全可以省略该方法中的一个方框或是多个方框。此外，方法700可以全部地或是部分地与其他方法(例如，与方法600)相结合。类似地，方法600也可以全部地或是部分地与方法700相结合。
可以使用软件和/或硬件元件的任何组合来实现本文所描述的系统、模块和方法。可以使用单独操作的一个虚拟机或者彼此组合操作的多个虚拟机来实现本文所描述的系统、模块和方法。任何适用的虚拟化解决方案均可用于将物理计算机平台实现为在硬件计算平台或主机上运行的虚拟化软件的控制下执行的虚拟机。
示例性条款
A.一种示例系统，包括：一个或多个处理器；以及一个或多个计算机可读存储介质，这种计算机可读存储介质以可进行通信的方式与一个或多个处理器相耦接并储存有可供该一个或多个处理器执行的指令，借以：从图像捕获装置接收第一信号，该第一信号包括表示环境的第一部分的图像数据；至少部分地基于该图像数据，确定与该环境相关联的第一对象组；从光检测和测距(激光雷达)传感器接收第二信号，该第二信号包括表示该环境的第二部分的激光雷达传感器数据，其中该第二部分与该第一部分至少部分地重叠；至少部分地基于激光雷达传感器数据，确定与环境相关联的第二对象组；至少部分地基于图像数据和激光雷达传感器数据确定第三对象组；识别包括在第三对象组中的第一对象，该第一对象存在于环境的第一部分和第二部分中，并且该第一对象不存在于或是被错误地归类于第一对象组或第二对象组中的至少一个对象组中；以及下列操作中的至少一种操作：至少部分地基于识别第一对象来发起响应，或者至少部分地基于第一信号或第二信号来训练与一个或多个处理器进行通信的机器学习系统。
B.根据条款A所述的系统，其中所述指令还可由所述一个或多个处理器执行，借以：从附加传感器接收第三信号，该第三信号包含表示环境的第三部分的附加传感器数据；以及至少部分地基于附加传感器数据，确定与环境相关联的第四对象组，第一对象存在于环境的第三部分与第四对象组中。
C.根据条款A或B所述的系统，其中：该图像传感器和该激光雷达传感器设置在自动驾驶车辆上；并且所述响应包括：忽略图像数据或激光雷达传感器数据的一部分，修改与图像数据或激光雷达传感器数据相关联的权重，修改由机器学习系统使用的训练数据，借以训练图像捕获传感器或激光雷达传感器产生验证请求或使自动驾驶车辆改变方向。
D.一种方法，包括：用一个或多个处理器接收来自第一传感器的第一信号，该第一信号包括表示环境的第一传感器数据；用该一个或多个处理器并至少部分地基于第一传感器数据，确定与第一对象组相关联的第一参数；用所述一个或多个处理器接收来自第二传感器的第二信号，所述第二信号包括表示该环境的第二传感器数据；用该一个或多个处理器并至少部分地基于第二传感器数据，确定与第二对象组相关联的第二参数；用该一个或多个处理器并至少部分地基于第一传感器数据和第二传感器数据，确定与第三对象组相关联的第三参数；用该一个或多个处理器将第一参数或第二参数与第三参数进行比较，以识别第三参数与第一参数或第二参数之间的差异；以及，下列步骤中的至少一个：用一个或多个处理器至少部分地基于识别所述差异来发起响应，或者至少部分地基于第一信号或第二信号来训练与该一个或多个处理器进行通信的机器学习系统。
E.根据条款D所述的方法，其中：所述第一传感器包括激光雷达传感器，所述第一传感器数据包括激光雷达传感器数据，该第一参数包括环境中对象的第一分类，该第二传感器包括图像捕获装置，第二传感器数据包括图像数据，第二参数包括对象的第二分类，第三参数包括对象的第三分类，并且该差异包括：第一分类或第二分类和第三分类之间的差异。
F.根据条款D或条款E所述的方法，其中：该第一传感器包括激光雷达传感器，该第一参数包括对于环境中存在对象的第一确定，第二传感器包括图像捕获装置，第二传感器数据包括图像数据，第二参数包括环境中存在对象的第二确定，第三参数包括环境中存在对象的第三确定，并且该差异包括该第一确定或该第二确定与该第三确定之间的差异。
G.根据条款D、条款E、或条款F所述的方法，进一步包括：在一段时间内收集多个第一传感器数据；用一个或多个处理器基于多个第一传感器数据确定第一统计信息；用一个或多个处理器比较第一统计信息和所存储的统计信息；并且至少部分地基于所述比较发起响应。
H.根据条款D、条款E、条款F或条款G所述的方法，其中：该第一传感器和该第二传感器设置在车辆上，并且该响应包括下列操作中的至少一个，忽略该第一传感器数据的一部分，忽略第二传感器数据的一部分，修改与第一信号关联的第一权重，修改与第二信号关联的第二权重，修改与第一传感器关联的训练数据，修改与第二传感器关联的训练数据，生成验证请求，或使车辆改变方向。
I.根据条款D、条款E、条款F、条款G或条款H所述的方法，其中，第一参数、第二参数或第三参数中的至少一个参数包括：对象的位置、对象的定向、对象的数量、不确定性、确定对象的存在或对象的分类。
J.根据条款D、条款E、条款F、条款G、条款H或条款I所述的方法，进一步包括：接收来自第三传感器的第三信号，该第三信号包括表示环境的第三传感器数据；至少部分地基于第三传感器数据确定与第四对象组相关联的第四参数；以及识别所述第四参数与所述第一参数或所述第二参数之间的差异，其中：所述第一传感器包括图像捕获装置，所述第二传感器包括激光雷达传感器，并且所述第三传感器包括雷达传感器。
K.根据条款D、条款E、条款F、条款G、条款H、条款I或条款J的方法，其中在第一时间由第一传感器检测第一传感器数据，以及在第一时间由第二传感器检测第二传感器数据，该方法进一步包括：至少部分基于在第一时间之后的第二时间由第一传感器或第二传感器收集的附加的数据来识别差异。
L.根据条款D、条款E、条款F、条款G、条款H、条款I、条款J或条款K的方法，其中，识别差异包括：确定对象为以下其中之一，即不存在于或是被错误地归类于第一对象组或第二对象组中的至少一个对象组中。
M.根据条款D、条款E、条款F、条款G、条款H、条款I、条款J、条款K或条款L的方法，其中：所述第一对象组和所述第二对象组包括共同对象；所述第一参数包括所述共同对象的第一位置；所述第二参数包括所述共同对象的第二位置；并且所述差异包括所述第一位置与所述第二位置之间的差异。
N.根据条款M所述的方法，其中确定第一参数包括使用第一机器学习模型确定第一参数，并且确定第二参数包括使用第二机器学习模型确定第二参数，该机器学习系统包括第一机器学习模型或第二机器学习模型，该方法进一步包括：至少部分基于识别差异来训练机器学习系统，其中训练机器学习系统包括：使用第一传感器数据、第二传感器数据或第三对象组中的至少一个传感器数据作为真实情况，以训练第一机器学习模型或第二机器学习模型。
O.根据条款D、条款E、条款F、条款G、条款H、条款I、条款J、条款K、条款L、条款M或条款N所述的方法，其中：第一参数与第一置信水平相关联，第二参数与第二置信水平相关联，并且响应包括修改第一置信水平或第二置信水平。
P.一种其上存储有计算机可执行指令的计算机可读存储介质，当由计算机执行时，该计算机可执行指令使计算机：接收来自第一传感器的第一信号，该第一信号包括表示环境的第一传感器数据；至少部分地基于第一传感器数据，确定与第一对象组相关联的第一参数；接收来自第二传感器的第二信号，该第二信号包括表示环境的第二传感器数据；至少部分地基于第二传感器数据，确定与第二对象组相关联的第二参数；至少部分地基于第一传感器数据和第二传感器数据，确定与第三对象组相关联的第三参数；识别第三参数与第一参数或第二参数之间的差异；以及使计算机至少执行以下步骤之一：至少部分基于识别差异使用一个或多个处理器发起响应，或者至少部分基于第一信号或第二信号训练与一个或多个处理器进行通信的机器学习系统。
Q.根据条款P所述的计算机可读存储介质，其中，第一传感器包括设置在车辆上的图像捕获装置，第二传感器包括设置在车辆上的激光雷达传感器，并且当通过计算机执行计算机可执行指令时，进一步使计算机：从设置在车辆上的第三传感器接收第三信号，第三传感器包括雷达传感器，第三信号包括表示环境的第三传感器数据；并且至少部分地基于第三传感器数据来确定与第四对象组相关联的第四参数，其中，识别差异包括：识别第三参数与第一参数、第二参数或第四参数之间的差异。
R.根据条款P或条款Q所述的计算机可读存储介质，其中，第一对象组和第二对象组包括共同对象；所述第一参数包括所述共同对象的第一分类；所述第二参数包括所述共同对象的第二分类；并且所述差异包括所述第一分类与所述第二分类之间的差异。
S.根据条款P、条款Q或条款R所述的计算机可读存储介质，其中，第一参数、第二参数或第三参数中的至少一个参数包括：对象的位置、对象的定向、对象的数量、不确定性、对于对象存在的确定、或对象的分类。
T.根据条款P、条款Q、条款R或条款S所述的计算机可读存储介质，其中：所述第一传感器和所述第二传感器设置在车辆上，并且所述响应包括以下至少其中之一：忽略该第一传感器数据的一部分；忽略该第二传感器数据的一部分；修改与第一信号关联的第一权重；修改与第二信号关联的第二权重；修改与第一传感器关联的训练数据；修改与第二传感器关联的训练数据；生成验证请求；或使车辆改变方向。
结论
本文中所描述的各种技术可在计算机可执行指令或诸如程序模块的软件环境中实施，上述计算机可执行指令或软件存储在计算机可读存储器中并由一个或多个计算机的处理器或诸如本文所示的其他装置执行。通常，程序模块包括例程、程序、对象、组件、数据结构等，并且程序模块定义用于执行特定任务或实现特定抽象数据类型的操作逻辑。
其他架构可以用于实现所本文所描述的功能，并且旨在落入本文的范围内。此外，尽管出于讨论目的而在上文中对任务的具体分配进行了定义，但也根据情况用不同的方式对各种功能和任务进行分配与划分。
与之类似地，可以按各种方式并使用不同的手段来存储和分布软件，并且可以以许多不同的方式来改变上述的特定软件的存储和执行配置。因此，实施上述技术的软件可以分布在各种类型的计算机可读介质上，而不限于具体描述的存储器的形式。
尽管以上讨论阐述了所描述的技术的示例实施方式，但是其他架构也可以用于实现所描述的功能并旨在涵盖于本文的范围内。此外，尽管已经以结构特征和/或方法动作专用的语言对本发明的主题进行了描述，但应该理解的是，在本发明所附权利要求书中限定的主题不必限于所描述的特定特征或动作。而是，具体的特征和动作被公开为实施权利要求的示例性形式。

Claims (15)

1.一种方法，包括：
用一个或多个处理器(316)接收来自第一传感器(104)的第一信号，所述第一信号包括表示环境(108)的第一传感器数据(112)；
用所述一个或多个处理器(316)并至少部分地基于所述第一传感器数据(112)确定与第一对象组(128)相关联的第一参数；
用所述一个或多个处理器(316)接收来自第二传感器(102)的第二信号，所述第二信号包括表示所述环境(108)的第二传感器数据(110)；
用所述一个或多个处理器(316)并至少部分地基于所述第二传感器数据(110)确定与第二对象组(130)相关联的第二参数；
用所述一个或多个处理器(316)并且至少部分地基于所述第一传感器数据(112)和所述第二传感器数据(110)确定与第三对象组(132)相关联的第三参数；
用所述一个或多个处理器(316)比较所述第一参数或所述第二参数与所述第三参数，借以识别所述第三参数与所述第一参数或所述第二参数之间的差异；以及
以下至少之一：
用所述一个或多个处理器(316)至少部分地基于识别所述差异而发起响应(126)，或者
至少部分地基于所述第一信号或所述第二信号来训练与所述一个或多个处理器(316)通信的机器学习系统(344)。
2.根据权利要求1所述的方法，其中：
所述第一传感器(104)包括激光雷达传感器(104)，
所述第一传感器数据(112)包括激光雷达传感器数据(112)，
所述第一参数包括所述环境(108)中的对象(122)的第一分类，
所述第二传感器(102)包括图像捕获装置(102)，
所述第二传感器数据(110)包括图像数据(110)，
所述第二参数包括所述对象(122)的第二分类，
所述第三参数包括所述对象(122)的第三分类，并且
所述差异包括所述第一分类或所述第二分类与所述第三分类之间的差异。
3.根据权利要求1或2任一所述的方法，其中：
所述第一传感器(104)包括激光雷达传感器(104)，
所述第一传感器数据(112)包括激光雷达传感器数据(112)，
所述第一参数包括对所述环境(108)中对象(122)的存在的第一确定，
所述第二传感器(102)包括图像捕获装置(102)，
所述第二传感器数据(110)包括图像数据(110)，
所述第二参数包括对所述环境(108)中所述对象(122)的存在的第二确定，
所述第三参数包括对所述环境(108)中所述对象(122)的存在的第三确定，以及
所述差异包括所述第一确定或所述第二确定与所述第三确定之间的差异。
4.根据权利要求1或2任一所述的方法，进一步包括：
在一段时间内收集多个第一传感器数据(112)；
用所述一个或多个处理器(316)基于所述多个第一传感器数据(112)确定第一统计信息；
用所述一个或多个处理器(316)比较第一统计信息和所存储的统计信息；以及
至少部分地基于所述比较而发起所述响应(126)。
5.根据权利要求4所述的方法，其中：
所述第一传感器(104)和所述第二传感器(102)设置在车辆(302)上，并且
所述响应(126)包括以下至少之一：忽略所述第一传感器数据(112)的一部分，忽略所述第二传感器数据(110)的一部分，修改与所述第一信号相关联的第一权重，修改与所述第二信号相关联的第二权重，修改与所述第一传感器(104)相关联的训练数据(528)，修改与所述第二传感器(102)相关联的训练数据(528)，生成验证请求或使所述车辆(302)改变方向。
6.根据权利要求4所述的方法，其中所述第一参数、所述第二参数或所述第三参数中的至少一个包括：对象(122)的位置、对象(122)的定向、对象的数量、不确定性、存在所述对象(122)的确定、或所述对象(122)的分类。
7.根据权利要求4所述的方法，进一步包括：
接收来自第三传感器(106)的第三信号，所述第三信号包括表示所述环境(108)的第三传感器数据(114)；
至少部分地基于所述第三传感器数据(114)，确定与第四对象组(120)相关联的第四参数；以及
识别所述第四参数与所述第一参数或所述第二参数之间的差异，其中：
所述第一传感器包括图像捕获装置(102)，
所述第二传感器包括激光雷达传感器(104)，以及
第三传感器包括雷达传感器(106)。
8.根据权利要求1或2任一所述的方法，其中，
由所述第一传感器(104)在第一时间检测所述第一传感器数据(112)，以及
由所述第二传感器(102)在所述第一时间检测所述第二传感器数据(110)，所述方法进一步包括：
至少部分地基于由所述第一传感器(104)或所述第二传感器(102)在晚于所述第一时间的第二时间收集的附加数据来识别所述差异。
9.根据权利要求1或2任一所述的方法，其中，识别所述差异包括确定对象(122)为以下之一：即不存在于或是被错误地归类于所述第一对象组(128)或所述第二对象组(130)中的至少一个对象组中。
10.根据权利要求1或2任一所述的方法，其中：
所述第一对象组(128)和所述第二对象组(130)包括共同对象(122)；
所述第一参数包括所述共同对象(122)的第一位置；
所述第二参数包括所述共同对象(122)的第二位置；并且
所述差异包括所述第一位置与所述第二位置之间的差异。
11.根据权利要求10所述的方法，其中确定所述第一参数包括使用第一机器学习模型来确定所述第一参数，并且确定所述第二参数包括使用第二机器学习模型来确定所述第二参数，所述机器学习系统(344)包括所述第一机器学习模型或所述第二机器学习模型，所述方法进一步包括：
至少部分地基于对于所述差异的识别来训练机器学习系统(344)，其中训练机器学习系统(344)包括使用所述第一传感器数据(112)、所述第二传感器数据(110)或所述第三对象组(132)中的至少一个作为真实情况，以训练所述第一机器学习模型或所述第二机器学习模型。
12.根据权利要求1或2任一所述的方法，其中：
所述第一参数与第一置信水平相关联，
所述第二参数与第二置信水平相关联，并且
所述响应(126)包括修改所述第一置信水平或所述第二置信水平。
13.一个或多个计算机可读存储介质(138)，所述一个或多个计算机可读存储介质上存储有指令，所述指令在被一个或多个处理器(316)执行时使得所述一个或多个处理器(316)执行根据权利要求1或2任一所述的方法。
14.一种系统(116)，包括：
一个或多个处理器(316)；以及
一个或多个计算机可读存储介质(318)，所述一个或多个计算机可读存储介质上存储有计算机可执行指令，所述计算机可执行指令在被所述一个或多个处理器(316)执行时使所述一个或多个处理器(316)：
接收来自第一传感器(104)的第一信号，所述第一信号包括表示环境(108)的第一传感器数据(112)；
至少部分地基于所述第一传感器数据(112)确定与第一对象组(128)相关联的第一参数；
接收来自第二传感器(102)的第二信号，所述第二信号包括表示所述环境(108)的第二传感器数据(110)；
至少部分地基于所述第二传感器数据(110)，确定与第二对象组(130)相关联的第二参数；
至少部分地基于所述第一传感器数据(112)和所述第二传感器数据(110)，确定与第三对象组(132)相关联的第三参数；
识别所述第三参数与所述第一参数或所述第二参数之间的差异；以及
以下至少之一：
用所述一个或多个处理器(316)至少部分地基于识别所述差异而发起响应(126)，或者
至少部分地基于所述第一信号或所述第二信号来训练与所述一个或多个处理器(316)通信的机器学习系统(344)。
15.根据权利要求14所述的系统(116)，其中
所述第一传感器包括设置在车辆(302)上的图像捕获装置(102)，
所述第二传感器包括设置在所述车辆(302)上的激光雷达传感器(104)，以及
当通过所述一个或多个处理器(316)执行时，所述计算机可执行指令进一步使所述一个或多个处理器(316)：
从设置在所述车辆(302)上的第三传感器(106)接收第三信号，所述第三传感器(106)包括雷达传感器(106)，所述第三信号包括表示所述环境(108)的第三传感器数据(114)；以及
至少部分地基于所述第三传感器数据(114)，确定与第四对象组(120)相关联的第四参数，其中，识别所述差异包括识别所述第三参数与所述第一参数、所述第二参数或所述第四参数之间的差异。
CN201980035457.7A 2018-04-03 2019-04-03 传感器数据的误差检测 Active CN112166304B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/944,240 US10468062B1 (en) 2018-04-03 2018-04-03 Detecting errors in sensor data
US15/944,240 2018-04-03
PCT/US2019/025497 WO2019195363A1 (en) 2018-04-03 2019-04-03 Detecting errors in sensor data

Publications (2)

Publication Number Publication Date
CN112166304A true CN112166304A (zh) 2021-01-01
CN112166304B CN112166304B (zh) 2023-07-25

Family

ID=68101390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980035457.7A Active CN112166304B (zh) 2018-04-03 2019-04-03 传感器数据的误差检测

Country Status (5)

Country Link
US (3) US10468062B1 (zh)
EP (1) EP3775789A4 (zh)
JP (3) JP7140840B2 (zh)
CN (1) CN112166304B (zh)
WO (1) WO2019195363A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220300743A1 (en) * 2021-03-18 2022-09-22 Aptiv Technologies Limited History-Based Identification of Incompatible Tracks

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10701859B2 (en) 2016-01-07 2020-07-07 Exmark Manufacturing Company, Incorporated Electronic controller and turf maintenance vehicle incorporating same
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US10468062B1 (en) 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US10921817B1 (en) * 2018-06-29 2021-02-16 Zoox, Inc. Point cloud filtering with semantic segmentation
USD922889S1 (en) * 2018-06-29 2021-06-22 Zoox, Inc. Sensor housing
US20210261003A1 (en) * 2018-06-29 2021-08-26 Robert Bosch Gmbh Monitoring and Identifying Sensor Failure in an Electric Drive System
DE102018211240A1 (de) * 2018-07-07 2020-01-09 Robert Bosch Gmbh Verfahren zum Klassifizieren einer Relevanz eines Objekts
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11699207B2 (en) * 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
JP6997873B2 (ja) * 2018-08-22 2022-01-18 株式会社Ｎｔｔドコモ 検知装置
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
KR20210072048A (ko) 2018-10-11 2021-06-16 테슬라, 인크. 증강 데이터로 기계 모델을 훈련하기 위한 시스템 및 방법
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US10928819B2 (en) * 2018-10-29 2021-02-23 Here Global B.V. Method and apparatus for comparing relevant information between sensor measurements
US11927668B2 (en) 2018-11-30 2024-03-12 Qualcomm Incorporated Radar deep learning
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
CN109977793B (zh) * 2019-03-04 2022-03-04 东南大学 基于变尺度多特征融合卷积网络的路侧图像行人分割方法
US11204417B2 (en) * 2019-05-08 2021-12-21 GM Global Technology Operations LLC Selective attention mechanism for improved perception sensor performance in vehicular applications
US11507090B2 (en) * 2019-06-19 2022-11-22 Uber Technologies, Inc. Systems and methods for vehicle motion control with interactive object annotation
US11449709B2 (en) * 2019-08-08 2022-09-20 Nvidia Corporation Domain restriction of neural networks through synthetic data pre-training
US11100329B1 (en) * 2019-08-14 2021-08-24 Lytx, Inc. Ranging system data utilization for marking of video data of interest
US11557151B2 (en) 2019-10-24 2023-01-17 Deere & Company Object identification on a mobile work machine
CN112712717B (zh) * 2019-10-26 2022-09-23 华为技术有限公司 一种信息融合的方法、装置和设备
US11436876B2 (en) * 2019-11-01 2022-09-06 GM Global Technology Operations LLC Systems and methods for diagnosing perception systems of vehicles based on temporal continuity of sensor data
US11765067B1 (en) 2019-12-28 2023-09-19 Waymo Llc Methods and apparatus for monitoring a sensor validator
WO2021138202A1 (en) 2019-12-30 2021-07-08 Waymo Llc Identification of proxy calibration targets for a fleet of vehicles
KR20210087335A (ko) * 2020-01-02 2021-07-12 엘지전자 주식회사 로컬 장치의 성능 향상
US11255960B2 (en) * 2020-01-24 2022-02-22 The Boeing Company Synthetic aperture radar (SAR) based convolutional navigation
EP3869390A1 (de) * 2020-02-18 2021-08-25 dspace digital signal processing and control engineering GmbH Computerimplementiertes verfahren und system zum erzeugen einer virtuellen fahrzeugumgebung
US11631251B2 (en) * 2020-02-23 2023-04-18 Tfi Digital Media Limited Method and system for jockey and horse recognition and tracking
JP7389267B2 (ja) * 2020-03-26 2023-11-29 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 点群の特徴に基づく障害物濾過システム
DE102020117638A1 (de) 2020-07-03 2022-01-05 Bayerische Motoren Werke Aktiengesellschaft Computerimplementiertes Verfahren und System zum Validieren einer sensorbasierten Fahrzeugfunktion
KR20220010929A (ko) * 2020-07-20 2022-01-27 현대자동차주식회사 이종 센서 융합 장치 및 그의 이종 센서 융합 방법
US11693927B2 (en) * 2020-07-24 2023-07-04 Pony Ai Inc. Generating fused sensor data through metadata association
US11922368B1 (en) * 2020-12-11 2024-03-05 Amazon Technologies, Inc. Object classification exception handling via machine learning
CN112733033B (zh) * 2021-01-20 2023-11-10 渭南双盈未来科技有限公司 一种信息处理方法及系统
US11836990B2 (en) * 2022-03-18 2023-12-05 GM Global Technology Operations LLC Methods and systems for two-phase camera to lidar alignment
US11586865B2 (en) 2021-02-18 2023-02-21 Volkswagen Aktiengesellschaft Apparatus, system and method for fusing sensor data to do sensor translation
US20220291701A1 (en) * 2021-03-10 2022-09-15 Flir Commercial Systems, Inc. Thermal imaging for navigation systems and methods
CN113256985B (zh) * 2021-06-28 2021-09-17 智道网联科技(北京)有限公司 一种交通拥堵预测方法、装置和电子设备
US11592565B2 (en) * 2021-07-08 2023-02-28 Cyngn, Inc. Flexible multi-channel fusion perception
EP4141838A1 (en) * 2021-08-23 2023-03-01 Zenseact AB Validation of surrounding objects perceived by an ads-equipped vehicle
US20230079116A1 (en) * 2021-09-13 2023-03-16 GM Global Technology Operations LLC Adaptive communication for a vehicle in a communication network
US11814084B2 (en) * 2021-12-17 2023-11-14 Zoox, Inc. Track confidence model
US20220113402A1 (en) * 2021-12-22 2022-04-14 Intel Corporation Apparatus, system, and method of processing point cloud radar information
US11924527B2 (en) * 2022-05-10 2024-03-05 GM Global Technology Operations LLC Optical sensor activation and fusion
WO2024025421A1 (en) * 2022-07-29 2024-02-01 Kongsberg Maritime As Multi-sensor and related aspects

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0635773A2 (de) * 1993-07-21 1995-01-25 Siemens Aktiengesellschaft Verfahren zur Erstellung einer Umgebungskarte und zur Bestimmung einer Eigenposition in der Umgebung durch eine selbstbewegliche Einheit
CN101111743A (zh) * 2004-12-17 2008-01-23 耐克国际有限公司 运动行为的多传感器监测
CN101697006A (zh) * 2009-09-18 2010-04-21 北京航空航天大学 基于机载雷达和红外成像传感器数据融合的目标识别方法
CN101878122A (zh) * 2007-11-30 2010-11-03 沃尔沃拉斯特瓦格纳公司 识别车轮模块的位置的方法
CN202022205U (zh) * 2011-03-17 2011-11-02 交通运输部公路科学研究所 面向安全辅助驾驶的多源信息融合装置
CN103098133A (zh) * 2010-11-17 2013-05-08 希捷科技有限公司 具有用于头-介质间距和接触检测的多个电阻温度传感器的头换能器
CN103149869A (zh) * 2011-12-07 2013-06-12 通用电气公司 供监测工业设施中使用的系统和方法
CN103557884A (zh) * 2013-09-27 2014-02-05 杭州银江智慧城市技术集团有限公司 一种输电线路杆塔监控的多传感器数据融合预警方法
CN103776654A (zh) * 2014-02-21 2014-05-07 黑龙江省科学院自动化研究所 多传感器信息融合的故障诊断方法
JP2014190959A (ja) * 2013-03-28 2014-10-06 Mitsubishi Electric Corp 目標追尾装置
CN104573390A (zh) * 2015-01-27 2015-04-29 武汉大学 基于认知规律的时空轨迹融合方法及路网拓扑生成方法
CN104837403A (zh) * 2012-11-27 2015-08-12 佛吉亚汽车座椅有限责任公司 具有集成传感器的车辆座椅
US9221396B1 (en) * 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
US20160170090A1 (en) * 2014-12-12 2016-06-16 Caterpillar Of Australia Pty. Ltd. Determining Terrain Model Error
CN106482734A (zh) * 2016-09-28 2017-03-08 湖南优象科技有限公司 一种用于imu多传感器数据融合的滤波方法
US20170124781A1 (en) * 2015-11-04 2017-05-04 Zoox, Inc. Calibration for autonomous vehicle operation
CN107155407A (zh) * 2014-06-18 2017-09-12 赛西蒂系统股份有限公司 用于交互式光传感器网络的应用框架
CN107301381A (zh) * 2017-06-01 2017-10-27 西安电子科技大学昆山创新研究院 基于深度学习和多任务学习策略的雷达辐射源识别方法
WO2017189361A1 (en) * 2016-04-29 2017-11-02 Pcms Holdings, Inc. System and method for calibration of vehicle sensors assisted by inter-vehicle communication
CN107533630A (zh) * 2015-01-20 2018-01-02 索菲斯研究股份有限公司 用于远程感测和车辆控制的实时机器视觉和点云分析
CN107784151A (zh) * 2016-08-26 2018-03-09 福特全球技术公司 雷达和超声传感器的物理建模
CN107783549A (zh) * 2016-08-25 2018-03-09 大连楼兰科技股份有限公司 基于多传感器信息融合技术的单旋翼植保无人机避障系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2037246C1 (ru) 1992-07-17 1995-06-09 Чувашский государственный университет им.И.Н.Ульянова Способ определения поврежденных фаз и зоны повреждения линии электропередачи
JPH1019614A (ja) * 1996-06-28 1998-01-23 Omron Corp マルチセンサシステムの診断方法及び装置
JP2010249613A (ja) 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
JP2011180873A (ja) * 2010-03-02 2011-09-15 Panasonic Corp 運転支援装置、及び運転支援方法
US8996228B1 (en) * 2012-09-05 2015-03-31 Google Inc. Construction zone object detection using light detection and ranging
KR101644370B1 (ko) * 2014-10-23 2016-08-01 현대모비스 주식회사 물체 검출 장치 및 그 동작 방법
EP3091354A1 (en) 2015-05-04 2016-11-09 Alpha M.O.S. Method for identifying an analyte in a fluid sample
US9630619B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
EP4180893A1 (en) * 2015-11-04 2023-05-17 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
GB2549068B (en) * 2016-03-22 2021-09-29 Toshiba Europe Ltd Image adjustment
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
US10108867B1 (en) * 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
US10884409B2 (en) * 2017-05-01 2021-01-05 Mentor Graphics (Deutschland) Gmbh Training of machine learning sensor data classification system
US20180373980A1 (en) * 2017-06-27 2018-12-27 drive.ai Inc. Method for training and refining an artificial intelligence
US10916135B2 (en) * 2018-01-13 2021-02-09 Toyota Jidosha Kabushiki Kaisha Similarity learning and association between observations of multiple connected vehicles
US10468062B1 (en) 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
US11550061B2 (en) * 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0635773A2 (de) * 1993-07-21 1995-01-25 Siemens Aktiengesellschaft Verfahren zur Erstellung einer Umgebungskarte und zur Bestimmung einer Eigenposition in der Umgebung durch eine selbstbewegliche Einheit
CN101111743A (zh) * 2004-12-17 2008-01-23 耐克国际有限公司 运动行为的多传感器监测
CN101878122A (zh) * 2007-11-30 2010-11-03 沃尔沃拉斯特瓦格纳公司 识别车轮模块的位置的方法
CN101697006A (zh) * 2009-09-18 2010-04-21 北京航空航天大学 基于机载雷达和红外成像传感器数据融合的目标识别方法
CN103098133A (zh) * 2010-11-17 2013-05-08 希捷科技有限公司 具有用于头-介质间距和接触检测的多个电阻温度传感器的头换能器
CN202022205U (zh) * 2011-03-17 2011-11-02 交通运输部公路科学研究所 面向安全辅助驾驶的多源信息融合装置
CN103149869A (zh) * 2011-12-07 2013-06-12 通用电气公司 供监测工业设施中使用的系统和方法
US9221396B1 (en) * 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
CN104837403A (zh) * 2012-11-27 2015-08-12 佛吉亚汽车座椅有限责任公司 具有集成传感器的车辆座椅
JP2014190959A (ja) * 2013-03-28 2014-10-06 Mitsubishi Electric Corp 目標追尾装置
CN103557884A (zh) * 2013-09-27 2014-02-05 杭州银江智慧城市技术集团有限公司 一种输电线路杆塔监控的多传感器数据融合预警方法
CN103776654A (zh) * 2014-02-21 2014-05-07 黑龙江省科学院自动化研究所 多传感器信息融合的故障诊断方法
CN107155407A (zh) * 2014-06-18 2017-09-12 赛西蒂系统股份有限公司 用于交互式光传感器网络的应用框架
US20160170090A1 (en) * 2014-12-12 2016-06-16 Caterpillar Of Australia Pty. Ltd. Determining Terrain Model Error
CN107533630A (zh) * 2015-01-20 2018-01-02 索菲斯研究股份有限公司 用于远程感测和车辆控制的实时机器视觉和点云分析
CN104573390A (zh) * 2015-01-27 2015-04-29 武汉大学 基于认知规律的时空轨迹融合方法及路网拓扑生成方法
US20170124781A1 (en) * 2015-11-04 2017-05-04 Zoox, Inc. Calibration for autonomous vehicle operation
WO2017189361A1 (en) * 2016-04-29 2017-11-02 Pcms Holdings, Inc. System and method for calibration of vehicle sensors assisted by inter-vehicle communication
CN107783549A (zh) * 2016-08-25 2018-03-09 大连楼兰科技股份有限公司 基于多传感器信息融合技术的单旋翼植保无人机避障系统
CN107784151A (zh) * 2016-08-26 2018-03-09 福特全球技术公司 雷达和超声传感器的物理建模
CN106482734A (zh) * 2016-09-28 2017-03-08 湖南优象科技有限公司 一种用于imu多传感器数据融合的滤波方法
CN107301381A (zh) * 2017-06-01 2017-10-27 西安电子科技大学昆山创新研究院 基于深度学习和多任务学习策略的雷达辐射源识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XUEMEI WANG等: "Robust weighted fusion Kalman estimators for multi-model multisensor systems with uncertain-variance multiplicative and linearly correlated additive white noises", SIGNAL PROCESSING, pages 1 - 4 *
崔波等: "主被动传感器自适应量测融合算法", 计算机工程与应用, no. 5, pages 23 - 26 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220300743A1 (en) * 2021-03-18 2022-09-22 Aptiv Technologies Limited History-Based Identification of Incompatible Tracks

Also Published As

Publication number Publication date
US20200098394A1 (en) 2020-03-26
JP2024063041A (ja) 2024-05-10
US10964349B2 (en) 2021-03-30
EP3775789A4 (en) 2021-12-29
WO2019195363A1 (en) 2019-10-10
CN112166304B (zh) 2023-07-25
JP2022191223A (ja) 2022-12-27
JP2021528628A (ja) 2021-10-21
JP7140840B2 (ja) 2022-09-21
JP7440587B2 (ja) 2024-02-28
US10468062B1 (en) 2019-11-05
US20210249047A1 (en) 2021-08-12
US11423938B2 (en) 2022-08-23
EP3775789A1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
CN112166304B (zh) 传感器数据的误差检测
US10937178B1 (en) Image-based depth data and bounding boxes
US11748909B2 (en) Image-based depth data and localization
JP7350013B2 (ja) マスクを使用したデータセグメンテーション
US10984543B1 (en) Image-based depth data and relative depth data
US11625041B2 (en) Combined track confidence and classification model
WO2020264010A1 (en) Low variance region detection for improved detection
CN114555447A (zh) 碰撞避免感知系统
CN114072841A (zh) 根据图像使深度精准化
US11699237B2 (en) Bounding box embedding for object identifying
US11614742B2 (en) Height estimation using sensor data
US11814084B2 (en) Track confidence model
US11590969B1 (en) Event detection based on vehicle data
CN117980212A (zh) 基于优化的规划系统
WO2022232546A1 (en) Methods and systems to assess vehicle capabilities
US11648962B1 (en) Safety metric prediction
US20240098245A1 (en) Sensor calibration validation
US20240101157A1 (en) Latent variable determination by a diffusion model
US20240104934A1 (en) Training a codebook for trajectory determination
US20240182083A1 (en) Systems and methods for disengaging or engaging autonomy remotely
US20240101150A1 (en) Conditional trajectory determination by a machine learned model
WO2024123764A1 (en) Systems and methods for disengaging or engaging autonomy remotely

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant