CN112783135A - 用于基于传感器数据的时间连续性来诊断车辆的感知系统的系统和方法 - Google Patents

用于基于传感器数据的时间连续性来诊断车辆的感知系统的系统和方法 Download PDF

Info

Publication number
CN112783135A
CN112783135A CN202011190583.0A CN202011190583A CN112783135A CN 112783135 A CN112783135 A CN 112783135A CN 202011190583 A CN202011190583 A CN 202011190583A CN 112783135 A CN112783135 A CN 112783135A
Authority
CN
China
Prior art keywords
data
module
perception
objects
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011190583.0A
Other languages
English (en)
Other versions
CN112783135B (zh
Inventor
胡峣
佟维
林玟樵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN112783135A publication Critical patent/CN112783135A/zh
Application granted granted Critical
Publication of CN112783135B publication Critical patent/CN112783135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G05B23/0254—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model based on a quantitative model, e.g. mathematical relationships between inputs and outputs; functions: observer, Kalman filter, residual calculation, Neural Networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

用于基于传感器数据的时间连续性来诊断车辆的感知系统的系统和方法。一种比较模块从车辆中的多个传感器接收有关车辆的周围环境的第一数据；在接收到第一数据之后，从所述多个传感器接收有关周围环境的第二数据；将第一数据与第二数据进行比较；以及基于第一数据与第二数据的比较来确定第一数据和第二数据之间的第一差异。一种感知模块基于第一数据来生成第一组感知结果；基于第二数据来生成第二组感知结果；以及基于第一组感知结果和第二组感知结果来确定第一数据和第二数据之间的第二差异。一种诊断模块基于第一差异和第二差异的组合来确定传感器中的一者或感知模块是否有故障。

Description

用于基于传感器数据的时间连续性来诊断车辆的感知系统的 系统和方法
技术领域
引言
本节中提供的信息是为了总体上呈现本公开的上下文的目的。当前署名的发明人的工作，就其在本节中所描述的程度而言，以及在提交时可不被另视为现有技术的该描述的各方面，既不明确地也不隐含地被认作针对本公开的现有技术。
本公开总体上涉及在自主车辆中使用的感知系统，且更特别地涉及用于基于传感器数据的时间连续性来诊断车辆的感知系统的系统和方法。
背景技术
在自主车辆中使用的感知系统利用各种传感器来感测车辆的周围环境。感知系统从这些传感器接收有关车辆周围环境的数据。例如，这些传感器包括摄像头和其他（例如，雷达、LIDAR、声纳等）传感器，它们位于车辆内和外部的各种位置处并将数据提供给感知系统。感知系统处理从这些传感器接收的数据并确定车辆的周围环境。例如，周围环境可包括其他车辆、行人、道路标志、交通标志、建筑物、地标等等。自主车辆的子系统可以基于这些确定点（determinations）来控制车辆。这些确定点也可以用以通知和警告驾驶员车辆周围的条件。
发明内容
一种系统包括比较模块、感知模块和诊断模块。比较模块被构造成：从车辆中的多个传感器接收有关车辆的周围环境的第一数据；在接收到第一数据之后，从所述多个传感器接收有关周围环境的第二数据；将第一数据与第二数据进行比较；以及基于第一数据与第二数据的比较来确定第一数据和第二数据之间的第一差异。感知模块被构造成：基于第一数据来生成第一组感知结果；基于第二数据来生成第二组感知结果；以及基于第一组感知结果和第二组感知结果来确定第一数据和第二数据之间的第二差异。诊断模块被构造成基于第一差异和第二差异的组合来确定传感器中的一者或感知模块是否有故障。
在另一个特征中，系统进一步包括缓解模块，该缓解模块被构造成响应于诊断模块在传感器中的一者或感知模块中诊断出故障来执行缓解程序。
在另一个特征中，诊断模块被构造成基于在移动窗口上求平均值的第一差异和第二差异中的每一者的多个来确定传感器中的一者或感知模块是否有故障。
在另一个特征中，响应于车辆是静止的，比较模块被构造成通过在第一数据和第二数据的各元素之间执行逐元素比较来将第一数据与第二数据进行比较。
在另一个特征中，响应于车辆处于运动中，比较模块被构造成：通过从第一数据和第二数据中识别特征并通过对这些特征进行匹配来将第一数据与第二数据进行比较；以及基于该匹配来确定第一数据和第二数据之间的第一差异。
在其他特征中，比较模块包括多个相同的神经网络模型，所述多个相同的神经网络模型被训练以识别输入数据中的特征并使用相同的权重来输出这些特征。比较模块被构造成：分别将第一数据和第二数据输入到所述多个神经网络模型中的第一神经网络模型和第二神经网络模型；分别从第一神经网络模型和第二神经网络模型接收第一特征和第二特征；计算第一特征和第二特征之间的欧几里德距离；以及通过正规化欧几里得距离来生成得分。得分指示第一数据和第二数据之间的第一差异。
在其他特征中，比较模块包括配对模块，该配对模块被构造成基于所有对物体的交并比值来使第一组感知结果中的物体与第二组感知结果中的物体配对。比较模块包括过滤模块，该过滤模块被构造成过滤来自被配对物体的具有极接近于第一组感知结果和第二组感知结果的外边缘的坐标的物体。比较模块包括距离确定模块，该距离确定模块被构造成基于过滤后的被配对物体来确定第一组感知结果和第二组感知结果之间的欧几里得距离。欧几里得距离表示第二差异。
在另一个特征中，配对模块被构造成：基于所有所述对物体的交并比值的递减顺序而以迭代方式使第一组感知结果中的物体与第二组感知结果中的物体配对；以及使用被配对物体来对第一组感知结果和第二组感知结果进行分类。
在另一个特征中，过滤模块被构造成：在过滤来自被配对物体的具有极接近于第一组感知结果和第二组感知结果的外边缘的坐标的物体之后，生成过滤后的被分类的第一组感知结果和第二组感知结果。
在其他特征中，距离确定模块被构造成通过以下步骤来确定第一组感知结果和第二组感知结果之间的欧几里得距离：在过滤后的被分类的第一组感知结果和第二组感知结果中生成被配对物体之间的距离的第一平均值；使用查找表基于被配对物体的类型来生成第二平均值；通过相应的权重来缩放第一平均值和第二平均值；以及将加权后的第一平均值和第二平均值进行组合。
在再其他特征中，一种方法包括：从车辆中的多个传感器接收有关车辆的周围环境的第一数据；在接收到第一数据之后，从所述多个传感器接收有关周围环境的第二数据；将第一数据与第二数据进行比较；以及基于第一数据与第二数据的比较来确定第一数据和第二数据之间的第一差异。该方法进一步包括：使用感知模块基于第一数据来生成第一组感知结果；使用感知模块基于第二数据来生成第二组感知结果；以及使用感知模块基于第一组感知结果和第二组感知结果来确定第一数据和第二数据之间的第二差异。该方法进一步包括：基于第一差异和第二差异的组合来确定传感器中的一者或感知模块是否有故障。
在另一个特征中，该方法进一步包括：响应于在传感器中的一者或感知模块中诊断出故障来执行缓解程序。
在另一个特征中，该方法进一步包括：通过在移动窗口上对第一差异和第二差异中的每一者的多个求平均值来确定传感器中的一者或感知模块是否有故障。
在另一个特征中，该方法进一步包括：响应于车辆是静止的，通过在第一数据和第二数据的各元素之间执行逐元素比较来将第一数据与第二数据进行比较。
在另一个特征中，该方法进一步包括：响应于车辆处于运动中，通过从第一数据和第二数据中识别特征并对这些特征进行匹配来将第一数据与第二数据进行比较；以及基于该匹配来确定第一数据和第二数据之间的第一差异。
在其他特征中，该方法进一步包括：从多个相同的神经网络模型中选择第一神经网络模型和第二神经网络模型，所述多个相同的神经网络模型被训练以识别输入数据中的特征并使用相同的权重来输出这些特征；分别将第一数据和第二数据输入到第一神经网络模型和第二神经网络模型；分别从第一神经网络模型和第二神经网络模型接收第一特征和第二特征；计算第一特征和第二特征之间的欧几里德距离；以及通过正规化欧几里得距离来生成得分。得分指示第一数据和第二数据之间的第一差异。
在其他特征中，该方法进一步包括：基于所有对物体的交并比值来使第一组感知结果中的物体与第二组感知结果中的物体配对；过滤来自被配对物体的具有极接近于第一组感知结果和第二组感知结果的外边缘的坐标的物体；以及基于过滤后的被配对物体来确定第一组感知结果和第二组感知结果之间的欧几里得距离。欧几里得距离表示第二差异。
在其他特征中，配对进一步包括：基于所有所述对物体的交并比值的递减顺序而以迭代方式使第一组感知结果中的物体与第二组感知结果中的物体配对；以及使用被配对物体来对第一组感知结果和第二组感知结果进行分类。
在另一个特征中，过滤进一步包括：在过滤来自被配对物体的具有极接近于第一组感知结果和第二组感知结果的外边缘的坐标的物体之后，生成过滤后的被分类的第一组感知结果和第二组感知结果。
在其他特征中，该方法进一步包括通过以下步骤来确定第一组感知结果和第二组感知结果之间的欧几里得距离：在过滤后的被分类的第一组感知结果和第二组感知结果中生成被配对物体之间的距离的第一平均值；使用查找表基于被配对物体的类型来生成第二平均值；通过相应的权重来缩放第一平均值和第二平均值；以及将加权后的第一平均值和第二平均值进行组合。
本发明还提供了以下技术方案：
1. 一种系统，其包括：
比较模块，其被构造成：
从车辆中的多个传感器接收有关所述车辆的周围环境的第一数据；
在接收到所述第一数据之后，从所述多个传感器接收有关所述周围环境的第二数据；
将所述第一数据与所述第二数据进行比较；以及
基于所述第一数据与所述第二数据的所述比较来确定所述第一数据和所述第二数据之间的第一差异；
感知模块，其被构造成：
基于所述第一数据来生成第一组感知结果；
基于所述第二数据来生成第二组感知结果；以及
基于所述第一组感知结果和所述第二组感知结果来确定所述第一数据和所述第二数据之间的第二差异；以及
诊断模块，其被构造成：基于所述第一差异和所述第二差异的组合来确定所述传感器中的一者或所述感知模块是否有故障。
2. 根据技术方案1所述的系统，其进一步包括缓解模块，所述缓解模块被构造成响应于所述诊断模块在所述传感器中的一者或所述感知模块中诊断出故障来执行缓解程序。
3. 根据技术方案1所述的系统，其中，所述诊断模块被构造成基于在移动窗口上求平均值的所述第一差异和所述第二差异中的每一者的多个来确定所述传感器中的一者或所述感知模块是否有故障。
4. 根据技术方案1所述的系统，其中，响应于所述车辆是静止的，所述比较模块被构造成通过在所述第一数据和所述第二数据的各元素之间执行逐元素比较来将所述第一数据与所述第二数据进行比较。
5. 根据技术方案1所述的系统，其中，响应于所述车辆处于运动中，所述比较模块被构造成：
通过从所述第一数据和所述第二数据中识别特征并通过对所述特征进行匹配来将所述第一数据与所述第二数据进行比较；以及
基于所述匹配来确定所述第一数据和所述第二数据之间的所述第一差异。
6. 根据技术方案1所述的系统，其中，所述比较模块包括多个相同的神经网络模型，所述多个相同的神经网络模型被训练以识别输入数据中的特征并使用相同的权重来输出所述特征，并且其中，所述比较模块被构造成：
分别将所述第一数据和第二数据输入到所述多个神经网络模型中的第一神经网络模型和第二神经网络模型；
分别从所述第一神经网络模型和第二神经网络模型接收第一特征和第二特征；
计算所述第一特征和第二特征之间的欧几里德距离；以及
通过正规化所述欧几里得距离来生成得分，
其中，所述得分指示所述第一数据和所述第二数据之间的所述第一差异。
7. 根据技术方案1所述的系统，其中，所述比较模块包括：
配对模块，其被构造成基于所有对所述物体的交并比值来使所述第一组感知结果中的物体与所述第二组感知结果中的物体配对；
过滤模块，其被构造成过滤来自所述被配对物体的具有极接近于所述第一组感知结果和第二组感知结果的外边缘的坐标的物体；以及
距离确定模块，其被构造成基于所述过滤后的被配对物体来确定所述第一组感知结果和第二组感知结果之间的欧几里得距离，其中，所述欧几里得距离表示所述第二差异。
8. 根据技术方案7所述的系统，其中，所述配对模块被构造成：
基于所有所述对所述物体的所述交并比值的递减顺序而以迭代方式使所述第一组感知结果中的所述物体与所述第二组感知结果中的物体配对；以及
使用所述被配对物体来对所述第一组感知结果和第二组感知结果进行分类。
9. 根据技术方案8所述的系统，其中，所述过滤模块被构造成：在过滤来自所述被配对物体的具有极接近于所述第一组感知结果和第二组感知结果的所述外边缘的坐标的所述物体之后，生成过滤后的被分类的第一组感知结果和第二组感知结果。
10. 根据技术方案9所述的系统，其中，所述距离确定模块被构造成通过以下步骤来确定所述第一组感知结果和第二组感知结果之间的所述欧几里得距离：
在所述过滤后的被分类的第一组感知结果和第二组感知结果中生成所述被配对物体之间的距离的第一平均值；
使用查找表基于所述被配对物体的类型来生成第二平均值；
通过相应的权重来缩放所述第一平均值和第二平均值；以及
将所述加权后的第一平均值和第二平均值进行组合。
11. 一种方法，其包括：
从车辆中的多个传感器接收有关所述车辆的周围环境的第一数据；
在接收到所述第一数据之后，从所述多个传感器接收有关所述周围环境的第二数据；
将所述第一数据与所述第二数据进行比较；
基于所述第一数据与所述第二数据的所述比较来确定所述第一数据和所述第二数据之间的第一差异；
使用感知模块基于所述第一数据来生成第一组感知结果；
使用所述感知模块基于所述第二数据来生成第二组感知结果；
使用所述感知模块基于所述第一组感知结果和所述第二组感知结果来确定所述第一数据和所述第二数据之间的第二差异；以及
基于所述第一差异和所述第二差异的组合来确定所述传感器中的一者或所述感知模块是否有故障。
12. 根据技术方案11所述的方法，其进一步包括：响应于在所述传感器中的一者或所述感知模块中诊断出故障来执行缓解程序。
13. 根据技术方案11所述的方法，其进一步包括：通过在移动窗口上对所述第一差异和所述第二差异中的每一者的多个求平均值来确定所述传感器中的一者或所述感知模块是否有故障。
14. 根据技术方案11所述的方法，其进一步包括：响应于所述车辆是静止的，通过在所述第一数据和所述第二数据的各元素之间执行逐元素比较来将所述第一数据与所述第二数据进行比较。
15. 根据技术方案11所述的方法，其进一步包括：响应于所述车辆处于运动中：
通过从所述第一数据和所述第二数据中识别特征并对所述特征进行匹配来将所述第一数据与所述第二数据进行比较；以及
基于所述匹配来确定所述第一数据和所述第二数据之间的所述第一差异。
16. 根据技术方案11所述的方法，其进一步包括：
从多个相同的神经网络模型中选择第一神经网络模型和第二神经网络模型，所述多个相同的神经网络模型被训练以识别输入数据中的特征并使用相同的权重来输出所述特征；
分别将所述第一数据和第二数据输入到所述第一神经网络模型和第二神经网络模型；
分别从所述第一神经网络模型和第二神经网络模型接收第一特征和第二特征；
计算所述第一特征和第二特征之间的欧几里德距离；以及
通过正规化所述欧几里得距离来生成得分，
其中，所述得分指示所述第一数据和所述第二数据之间的所述第一差异。
17. 根据技术方案11所述的方法，其进一步包括：
基于所有对所述物体的交并比值来使所述第一组感知结果中的物体与所述第二组感知结果中的物体配对；
过滤来自所述被配对物体的具有极接近于所述第一组感知结果和第二组感知结果的外边缘的坐标的物体；以及
基于所述过滤后的被配对物体来确定所述第一组感知结果和第二组感知结果之间的欧几里得距离，其中，所述欧几里得距离表示所述第二差异。
18. 根据技术方案17所述的方法，其中，所述配对进一步包括：
基于所有所述对所述物体的所述交并比值的递减顺序而以迭代方式使所述第一组感知结果中的所述物体与所述第二组感知结果中的物体配对；以及
使用所述被配对物体来对所述第一组感知结果和第二组感知结果进行分类。
19. 根据技术方案18所述的方法，其中，所述过滤进一步包括：在过滤来自所述被配对物体的具有极接近于所述第一组感知结果和第二组感知结果的所述外边缘的坐标的所述物体之后，生成过滤后的被分类的第一组感知结果和第二组感知结果。
20. 根据技术方案19所述的方法，其进一步包括通过以下步骤来确定所述第一组感知结果和第二组感知结果之间的所述欧几里得距离：
在所述过滤后的被分类的第一组感知结果和第二组感知结果中生成所述被配对物体之间的距离的第一平均值；
使用查找表基于所述被配对物体的类型来生成第二平均值；
通过相应的权重来缩放所述第一平均值和第二平均值；以及
将所述加权后的第一平均值和第二平均值进行组合。
本公开的另外的适用领域将从详细描述、权利要求书和附图变得显而易见。详细描述和特定示例仅旨在用于图示的目的而非旨在限制本公开的范围。
附图说明
本公开将从详细描述和附图变得被更充分地理解，其中：
图1示出了根据本公开的用于在车辆的感知系统中诊断出故障的系统的整体架构；
图2示出了用于在从传感器接收的数据的两个帧中使物体配对的方法，该方法基于交并比（IoU）比率而执行；
图3示出了用于在从传感器接收的数据的两个帧中使物体配对的方法的流程图，该方法基于IoU比率而执行；
图4示出了查找表的示例，该查找表用以基于一对中的各物体的类型或类别来确定值；
图5示出了用于确定两个帧之间的差异的基于特征匹配的系统；
图6示出了用于确定两个帧之间的差异的基于神经网络的系统；
图7示出了用于在感知系统中诊断出故障的方法的流程图；
图8A和图8B示出了根据本公开的用于在车辆的感知系统中诊断出故障并缓解所述故障的系统的功能性框图；
图9A示出了可以实施图1至图8B中所示的系统和方法的分布式计算系统的简化示例；以及
图9B示出了图9A的分布式计算系统的服务器的简化示例。
在附图中，附图标记可被重复使用以识别类似和/或相同的元件。
具体实施方式
用以确定车辆周围环境的感知系统遭受故障，需要对这些故障进行检测。感知系统的在线诊断可以是具有挑战性的，因为当车辆在道路上驾驶时，难以实时确定地面实况，其中地面实况是通过直接观测所提供的参考信息（即，经验证据），而不是通过推断所提供的信息。本公开提供了在没有地面实况的情况下诊断感知系统的系统和方法。所述系统和方法计算传感器数据和感知结果的时间连续性，并且基于不连续性来确定故障。所述系统和方法可以在运行时间期间动态地（on the fly）在感知系统中检测和识别故障。
用于计算时间连续性并生成诊断结果的框架包括：通过剖析从传感器接收的两个连续帧或数据集来计算传感器数据中的时间连续性。该框架进一步包括故障隔离逻辑，该故障隔离逻辑在时间窗口中使用聚合的连续性信息。值得注意的是，所述系统和方法不确定且不使用传感器数据中的空间不连续性。所述系统和方法通过提供故障警报和优化车队管理来改善用户体验。所述系统和方法在没有附加硬件的情况下改善感知系统的可靠性并增强车辆的感知质量。
具体地，本公开的系统和方法使用原始数据和基于原始数据所生成的感知结果的时间连续性信息来检测和隔离感知系统中的故障。时间连续性表示两个帧之间的变化。所述系统和方法计算两个连续帧之间的时间连续性。对于感知结果，所述系统和方法使用配对方法、交并比（IoU）比率、过滤和欧几里得距离。对于原始数据，所述系统和方法取决于车辆的状态而使用两种不同的方法。所述系统和方法使用L2范数，其涉及在车辆空转时基于两个帧之间的逐像素比较来确定误差并将这些误差聚合。所述系统和方法在车辆移动时使用特征匹配。
所述系统和方法基于以下两者的组合来做出诊断决策：从来自两个帧的原始数据的直接比较（使用L2范数或特征匹配执行）获得的连续性值、以及从基于原始数据所生成的感知结果获得的连续性值。所述系统和方法在时间窗口中将连续性信息聚合，并且将连续性与不同阈值进行比较以隔离传感器中和感知系统中的故障。进一步地，所述系统和方法可以缓解检测到的故障。例如，所述系统和方法可以脱离自驾特征、将警报发送给驾驶员、平稳地靠边停车和/或忽略融合中的有故障的感知通道（即，当通道冗余可用时，隔离和无视有故障的通道）。下文详细描述所述系统和方法的这些和其他特征。
本公开被如下组织。参考图1示出并描述了用于在车辆的感知系统中诊断出故障的系统的整体架构。参考图2和图3示出并描述了一种用于基于IoU比率使在两个数据帧中找到的物体配对的方法。在图4中示出了用以基于一对中的各物体的类型或类别来确定值的查找表的示例。该值指示一对中的各物体的类型相似度。接下来，描述了基于感知结果来确定两个数据帧之间的差异，包括配对、过滤和确定欧几里得距离。此后，描述了针对静止的车辆确定来自两个帧的原始数据之间的差异。对于移动的车辆，参考图5示出并描述了用于确定来自两个帧的原始数据之间的差异的基于特征匹配的系统。参考图6示出并描述了用于确定来自两个帧的原始数据之间的差异的基于神经网络的系统。参考图7示出并描述了一种诊断方法。参考图8A和图8B示出并描述了一种用于通过利用参考图1至图7描述的系统、方法和教导来诊断和缓解故障的系统。参考图9A和图9B示出并描述了可以实施图1至图8B的系统和方法的分布式计算系统。
当车辆搭载（onboard）的传感器从围绕车辆的物体捕获到数据时，来自传感器的原始数据被发送给感知系统以进行处理。感知系统不仅由原始数据组成物体的图像，而且在边界框中提供物体的表示，其中物体的方位坐标指示在感测物体的时候物体的方位。感知系统对物体进一步分类（例如，提供关于物体的类型或类别的指示，该物体是否为车辆、交通标志、地标、行人等等）。
由于有故障的传感器或在由感知系统执行的处理中的误差，在由感知系统生成的物体的表示中会出现误差。当传感器有故障时，原始数据可能不连续，且因此物体的表示可能不准确。当故障是在由感知系统执行的处理中时，从传感器接收的原始数据可能是连续的，但是由于在由感知系统执行的原始数据的处理中的误差，物体的表示可能不准确。本公开的系统和方法识别故障是在从传感器接收的原始数据中还是在由感知系统执行的原始数据的处理中并缓解该故障。
本公开的系统和方法是鲁棒的，因为它们使用来自两个全异的信息通道的输入。所述系统和方法在第一输入通道中使用来自传感器的原始数据，并在第二输入通道中使用由感知系统基于原始数据生成的感知结果。由于两个输入包含不同类型的数据，因此所述系统和方法以不同方式分析这两个输入，且然后将这两个输入的分析结果进行组合。因此，本公开的系统和方法可以查明如源于原始数据中的由于传感器故障所致的误差或者源于由感知系统执行的处理中的由于处理系统中的故障所致的误差。
图1示出了根据本公开的用于在车辆的感知系统中诊断出故障的系统100的整体架构。在系统100中，D表示来自传感器的原始数据，R表示基于原始数据生成的感知结果。例如，k和k-1分别表示由传感器在时间t和t-1捕获的数据的当前帧和先前帧。
在系统100的第一通道中，在106处，比较来自两个连续帧（在102和104处示出）的原始数据Dk和Dk-1并确定两个帧之间的第一差异ΔDk。在系统100的第二通道中，在108处，分别基于原始数据Dk和Dk-1生成感知结果Rk和Rk-1。在114、116和118处，处理感知结果Rk和Rk-1（在110和112处示出）并确定两个帧之间的第二差异ΔRk。
在120处，基于两个差异ΔDk和ΔRk的组合来执行诊断。基于两个差异ΔDk和ΔRk来生成诊断结果122。在124处，基于诊断结果122来执行故障缓解。由系统100执行的处理可以在车辆中执行，在云端中执行（例如，由图9A和9B中所示的一个或多个服务器执行），或者部分地在车辆中且部分地在云端中执行。
最初，下文参考图2至图4来描述系统100的第二通道，该第二通道涉及：生成感知结果Rk和Rk-1；以及通过执行配对、过滤、确定欧几里德距离来基于感知结果Rk和Rk-1生成第二差异ΔRk。随后，参考图5和图6来描述系统100的第一通道，该第一通道涉及基于来自两个帧的原始数据Dk和Dk-1来生成两个帧之间的第一差异ΔDk。
图2和图3示出了基于交并比（IoU）比率执行的使在两个相连帧中发现的物体配对。在图2中，感知结果Rk包括针对帧k中的物体ri的结果。所述结果包括物体ri就其坐标而言的方位。所述结果进一步包括由Ci k表示的物体ri的类型或类别（物体是否为车辆、行人等）。感知结果Rk-1包括针对帧k-1中的物体rj的结果。所述结果包括物体rj就其坐标而言的方位。所述结果进一步包括由Cj k-1表示的物体rj的类型或类别（物体是否为车辆、行人等）。将感知结果Rk和Rk-1称为感知结果向量，每个向量包括作为元素的物体。对于每个物体（例如，对于i=1和j=1），基于物体在帧k和k-1中的坐标将交并比（IoU）比率IoUij计算作为边界框的交集面积（被示为阴影的）与并集面积之比。
注意，由于各种原因，每个感知结果向量中的物体的数量（即，帧k和k-1中的物体的数量）可不同。例如，差异可能是由于来自帧k-1的一些物体移出并在帧k中缺失、在帧k-1中缺失的一些物体移入并在帧k中出现、在生成感知结果时出现误差等等所致。进一步地，帧k-1中的物体r1可不一定（即，可不相同）对应于帧k中的物体r1（例如，由于物体从时间t-1到t的移动所致）。识别或确定帧k中的哪个物体与帧k-1中的物体r1相同的过程被称为物体配对，且下文对其进行解释。
图2使用在物体之间绘制的箭头示出了在帧k和k-1中的被配对物体。例如，帧k中的物体r1 k是帧k-1中的物体r2 k-1；帧k中的物体r2 k是帧k-1中的物体r5 k-1；等等。一些物体（例如，移入或移出的物体）可未被配对（例如，帧k-1中的r4 k-1）。
如下执行物体配对。最初，针对所有物体i和j计算IoUij比率。然后，确定哪一对具有最大IoU比率。例如，在所示的示例中，对r1 k和r2 k-1具有最大IoU比率。因此，物体r1 k和r2 k-1具有为同一物体的最高可能性。因此，物体r1 k和r2 k-1彼此配对。然后，从物体池中移除物体r1 k和r2 k-1，并且应用相同的技术来找到下一对，直到物体的两个列表中的一者被用尽（空）。如果对于一个物体而言IoU为零或者列表中的一者为空，则具有零IoU的物体和另一列表中的其余物体将被指示为未配对。
在物体被配对之后，将所得向量称为被分类向量。符号~用以指示被分类向量（即，在配对之后）。在所示的示例中，被分类向量是Rk ~ = {r1 ~k, r2 ~k,r3 ~k,r4 ~k} = {r1 k, r2 k,r3 k,r4 k}和Rk-1 ~ = {r1 ~k-1, r2 ~k-1,r3 ~k-1,r4 ~k-1,r5 ~k-1 }= {r2 k-1, r5 k-1,r1 k-1,r3 k-1, r4 k-1}。
图3示出了用于执行基于IoU的配对的方法300。在302处，控制将被配对的感知结果（被分类向量）Rk ~和Rk-1 ~初始化为空，并且初始化索引n=1。在304处，在给定Rk和Rk-1的情况下，控制为(i,j)的任何组合计算IoUij。在306处，控制选择其 IoUi*j*最大的对(i*,j*)。
在308处，控制确定是否IoUi*j* > 0。在310处，如果IoUi*j* > 0，则控制指派rn ~k =ri* k且rn ~k-1 = rj* k-1。控制将rn ~k添加到Rk ~中以及将rn ~k-1添加到Rk-1 ~中。控制从R中移除ri* k以及从Rk-1中移除rj* k-1。控制将n递增1（即，n=n+1）。
在312处，控制确定Rk和Rk-1两者是否都不为空。如果Rk和Rk-1两者都不为空，则控制返回到304。否则，控制进行到314（即，如果Rk和Rk-1两者都不为空的条件不为真）。控制如下确定Rk和Rk-1中的哪个不为空。
在314处，控制确定Rk是否不为空。如果在314处Rk不为空，则控制进行到316。在316处，控制将Rk的所有剩余ri k作为rn ~k添加到Rk ~中。控制更新索引n。控制将与rn ~k-1相同量（即，数量）的空结果添加到Rk-1 ~中。此后，并且如果在314处Rk为空，则控制进行到318。
在318处，控制确定Rk-1是否不为空。如果在318处Rk-1不为空，则控制进行到320。在320处，控制将Rk-1的所有剩余ri k-1作为rn ~k-1添加到Rk-1 ~中。控制更新索引n。控制将与rn ~k相同量（即，数量）的空结果添加到Rk ~中。此后，并且如果在318处Rk-1为空，则控制结束。
如果两个相连帧中的物体的数量不同，则这可能是由于物体移入或移出帧所致。一种检查两个相连帧中物体的不连续性（先前帧中缺失的物体在当前帧中出现，或者先前帧中存在的物体在当前帧中消失）的方式是确定该物体是否在帧的边界上。如果物体在帧的边界上（很可能移入或移出帧），则该物体可以从两个帧中移除并且不被视为误差的指示。
例如，在被配对的感知结果或被分类向量Rk ~和Rk-1 ~中，如果物体rn ~k或rn ~k-1在相应帧的边界上，则可以分别从被分类向量Rk ~和Rk-1 ~中移除物体rn ~k和rn ~k-1。当从帧的被分类向量中移除在该帧的边界上的此类物体时，将被分类向量称为过滤后的被分类的向量。
接下来，如下计算过滤后的被分类的向量之间的欧几里得距离。令Rk ~ = {r1 ~k, r2 ~k,…}和Rk-1 ~ = {r1 ~k-1, r2 ~k-1,…}表示帧k和k-1的过滤后的被分类的向量。令rn ~k和rn ~k-1表示相应的过滤后的被分类的向量中的物体。物体rn ~k和rn ~k-1也是向量，因为它们包括类别和坐标（方位）信息。令rn ~k = [cn ~k, x1,n ~k, y1,n ~k, x2,n ~k, y2,n ~k]和rn ~k-1 = [cn ~k-1,x1,n ~k-1, y1,n ~k-1, x2,n ~k-1, y2,n ~k-1]。
首先，对于过滤后的被分类的向量中的每个物体对，计算在两个帧中一对中的各物体之间的距离（即，同一物体之间的距离）。将两个向量中的被配对物体之间的距离的平均值计算为ΔBk。
ΔBk=
Figure 879049DEST_PATH_IMAGE002
。
然后，使用查找表来确定一对中的各物体的类型或类别的值。例如，如在图4中的查找表的示例中所示，如果在帧k中一对中的一个物体的类别是汽车且在帧k-1中也是汽车，则该对中的各物体的类别的值为1。如果在帧k中一对中的一个物体的类别是汽车且在帧k-1中是厢型车，则该对中的各物体的类别的值为0.9，等等。然后，将两个过滤后的向量中所有被配对物体的类别值的平均值计算为ΔCk。
Figure DEST_PATH_IMAGE003
。
两个帧之间（即，两个过滤后的被分类的向量之间）的欧几里德距离ΔRk是如上文确定的两个平均值ΔBk和ΔCk的加权或缩放之和。即，ΔRk = wbΔBk + wcΔCk。权重wb和wc的默认值可以是1，并且可以结合过滤凭经验校准/构造/优化。
为了比较来自传感器的原始数据，最初，确定车辆的状态—车辆是静态的（即，静止）还是动态的（即，移动）。取决于车辆状态，使用不同的方法来处理原始数据。具体地，如果车辆处于静止状态，则使用L2范数在两个连续帧中的数据之间进行逐元素或逐像素比较。这提供了分别来自帧k和k-1的原始数据Dk和Dk-1之间的差异ΔDk，因为ΔDk = || Dk-1 -Dk||2 2。下标2表示L2范数，且上标2指示使用L2范数获得的逐元素平方误差。
如果车辆在移动，则可以使用以下特征匹配和比较方法来确定分别来自帧k和k-1的原始数据Dk和Dk-1之间的差异ΔDk。在描述这些方法之前，提供对用以生成特征集的尺度不变特征变换（SIFT）和加速鲁棒特征（SURF）的简要概述。
对于图像中的任何物体，可以提取该物体上的兴趣点以提供对该物体的特征描述。然后，从训练图像提取的该描述可以用以在尝试在包含许多其他物体的测试图像中定位物体时识别该物体。尺度不变特征变换（SIFT）是一种用以检测和描述图像中的局部特征的特征检测算法。首先从一组参考图像中提取物体的SIFT关键点，并将其存储在数据库中。通过以下步骤在新图像中辨识物体：将来自新图像的每个特征与该数据库单独地进行比较，以及基于其特征向量的欧几里得距离找到候选匹配特征。从完整的一组匹配中，识别就物体及其在新图像中的位置、尺度和取向达成一致的关键点的子集以过滤出良好的匹配。通过使用广义霍夫变换的有效哈希表实施方式，快速执行对一致性聚类的确定。然后，使就一个物体及其姿势达成一致的3个或更多个特征的每个聚类经受进一步的详细模型验证，且随后丢弃异常值。最后，在给定拟合的准确度和可能的错误匹配数量情况下，计算特定的一组特征指示物体存在的概率。通过所有这些测试的物体匹配可以以高的置信度被识别为正确。SIFT可以甚至在杂波当中且在部分遮挡下鲁棒地识别物体，因为SIFT特征描述符对于均匀的缩放、取向、照度变化是不变的，且对于仿射失真是部分不变的。
加速鲁棒特征（SURF）也是特征检测器和描述符。SURF算法基于与SIFT相同的原理和步骤，但每个步骤中的细节是不同的。SURF算法具有三个主要组成部分：兴趣点检测、局部邻域描述和匹配。兴趣点可以在不同的尺度下找到，部分地是因为搜索对应性常常需要比较图像，其中在不同的尺度下看这些比较图像。描述符的目的是例如通过描述在兴趣点的邻域内的像素强度分布来提供图像特征的唯一且鲁棒的描述。因此，大多数描述符是以局部方式计算的，并且获得对先前识别的每个兴趣点的描述。描述符的维数直接影响其计算复杂度和点匹配鲁棒性/准确性两者。短描述符可对外观变化更具鲁棒性，但可能不提供足够的辨别力，且因此给出过多的误报。最初，可重现的取向基于来自围绕兴趣点的圆形区域的信息是固定的。然后，构造正方形区域并使其与所选取向对准，且自其提取SURF描述符。通过比较从不同图像获得的SURF描述符，可以找到匹配对。
图5示出了系统400，其在车辆移动时使用用于确定分别来自帧k和k-1的原始数据Dk和Dk-1之间的差异ΔDk的第一方法。系统400包括特征提取模块402、特征匹配模块404和误差确定模块406。
在第一方法中，SIFT/SURF特征表示图像中的关键点。关键点是图像中携带与图像有关或关于图像的信息的点。例如，图像中的关键点可以包括图像中的诸如拐角、交叉点、空间形状或轮廓之类的属性。关键点描述符向量表示原始图像中的所有关键点。
来自帧k和k-1的原始数据Dk和Dk-1被输入到特征提取模块402以获得关键点。对于来自帧k的原始数据Dk，使用SIFT/SURF方法，特征提取模块402生成特征集Fk，在该特征集中，每个元素为关键点描述符向量fi,k。因此，可以将特征集Fk表达为Fk = {fi,k|i=1,2,…,Ik}。
类似地，对于来自帧k-1的原始数据Dk-1，使用SIFT/SURF方法，特征提取模块402生成特征集Fk-1，在该特征集中，每个元素为另一个关键点描述符向量fj,k-1。因此，可以将特征集Fk-1表达为Fk-1 = {fj,k-1|j=1,2,…,Jk-1}。
然后，特征匹配模块404在两个帧k和k-1之间执行特征匹配。特征匹配与上文参考图2和图3描述的物体配对类似，除了关键点在特征匹配中被配对而不是使物体配对之外。特征匹配模块404使用以下方法来执行特征匹配，以确定两个连续帧k和k-1的关键点描述符向量之间的距离。
最初，特征匹配模块404设置Count = 0。对于{1,2,…,Jk-1}中的j，特征匹配模块404针对{1,2,…,Ik}中的i来确定距离dj,i = ||fj,k-1 - fi,k||。特征匹配模块404识别{1,2,…,Ik}中的m、n，使得dj,m和dj,n是{dj,i | i=1,2,…,Ik}中的最小和第二最小（即，最小和仅次于最小）值。如果比率dj,m/ dj,n小于阈值，则特征匹配模块404递增Count的值。
然后，误差确定模块406将表示帧k和k-1之间的距离或差异的误差确定为E = 1 –Count/Jk-1。该误差指示Dk-1中有多少特征在Dk中被遗漏。类似地，误差确定模块406可以计算另一个误差，该另一个误差指示Dk中有多少特征在Dk-1中被遗漏。这些误差表示两个帧之间的不连续性，并且应小于阈值。如果误差大于阈值，则Dk是可疑的。例如，如果两个帧之间的一个帧被丢失，则误差将很大。作为另一个示例，如果摄像头中的一者有故障或被挡住从而引起帧中的一者不完整，则误差将很大。阈值将动态地取决于诸如车辆的速度、摄像头在车辆中的方位/位置等等因素。取决于这些因素和阈值，误差的值可以是预期的值且因此可并不指示传感器中的故障，或者可以是未预期的值且因此可指示传感器中的故障。
图6示出了系统450，其在车辆移动时使用用于确定分别来自帧k和k-1的原始数据Dk和Dk-1之间的差异ΔDk的第二方法。系统450包括第一神经网络452、第二神经网络454、权重456、距离计算模块458和正规化模块460。
在第二替代性方法中，使用神经网络来生成特征值。具体地，使用来自视频的输入来训练神经网络模型，以识别和确定帧之间的差异。训练后的神经网络模型可以计算两个帧之间的距离或误差。
在使用中，如图6中所示，共享相同权重W 456的两个相同的训练后的神经网络模型Gw(X) 452、454分别从两个帧k和k-1接收原始数据Dk和Dk-1并输出特征fk和fk-1。一般而言，fi = Gw(Xi)。距离计算模块458将特征fk和fk-1之间的欧几里得距离计算为Δ = || fk -fk-1||。该距离指示特征fk和fk-1之间的差异。一般而言，Δi,j = ||f(i) – f(j)||。例如，由正规化模块460使用指数函数将两个特征fk和fk-1之间的差异或距离Δ正规化为在0和1之间的得分值S。一般而言，Si,j = e^(-Δi,j)。
图7示出了诊断方法500。在502处，控制计算在移动窗口上收集的ΔDk和ΔRk的平均值。在504处，控制确定平均值ΔDk是否大于或等于第一阈值。在506处，如果平均值ΔDk大于或等于第一阈值，则控制指示传感器硬件中的故障（例如，有故障的摄像头），并且遵循故障缓解程序。
在508处，如果平均值ΔDk不大于或等于第一阈值，则控制确定平均值ΔDk是否小于第二阈值，其中该第二阈值小于第一阈值。在510处，如果平均值ΔDk小于第二阈值，则控制确定平均值ΔRk是否大于或等于第三阈值。在512处，如果平均值ΔRk大于或等于第三阈值，则控制指示感知系统中的故障（例如，感知软件误差），并且遵循故障缓解程序。
在514处，如果平均值ΔRk不大于或等于第三阈值，则控制确定平均值ΔRk是否小于第四阈值，其中该第四阈值小于第三阈值。在516处，如果平均值ΔRk小于第四阈值，则控制指示感知系统正起作用或正常操作（即，没有误差）。
在508处，如果平均值ΔDk不小于第二阈值，则控制进行到518。在514处，如果平均值ΔRk不小于第四阈值，则控制进行到518。在518处，控制指示感知系统中的较小或不严重的误差。例如，控制可生成指示感知系统中的较小或不严重的误差的警告。例如，可以将平均值ΔDk和平均值ΔRk发送给基于云端的系统（例如，发送给图9A和图9B中所示的一个或多个服务器）以进行进一步分析。
可以基于许多不同的条件来触发诊断方法500。此类条件的非限制性示例包括以下各者。例如，可以周期性地执行诊断方法（例如，每N分钟、在每次点火后、在每次点火后的X分钟后、在车辆停止后（诸如，在交通信号灯或交通标志处）开始移动后的Y分钟后等等）。例如，每当车辆接近或经过特定交叉路口或位置（例如，在市区中）时，可以触发诊断方法，在该交叉路口或位置处中可存在感知误差的机会。例如，诊断方法在高速公路上可以比在城市中更不频繁地触发。例如，可以不考虑任何触发条件来连续地执行诊断方法。构想了可以触发诊断方法的附加因素或考虑事项（基准）的其他示例。
缓解程序的非限制性示例包括以下各者。例如，如果诊断方法指示传感器故障（例如，摄像头中的一者未恰当地工作），则缓解程序可以包括无视该传感器并改为使用另一个传感器（例如，另一个摄像头）。例如，如果诊断方法指示感知系统中的故障（即，如果感知系统结果不正确），则缓解程序可以包括发警报给乘客以立即控制车辆并脱离自驾特征。例如，可以经由车辆的信息娱乐子系统以视听方式输出此类警报消息。取决于故障的严重程度，缓解程序还可以包括将车辆向路边靠边停车（例如，使用车辆的自主子系统）。构想了缓解程序的附加示例。
图8A和图8B示出了用于诊断和缓解车辆的感知系统中的故障的系统600。系统600利用图1中所示的系统100的架构，并且利用图2至图7中所示的系统和方法。
在图8A中，系统600包括贯穿车辆分布的多个传感器602。系统600进一步包括根据本公开的感知系统604。感知系统可与车辆的各种子系统606通信。
例如，子系统606可以包括但不限于信息娱乐子系统（例如，以提供警报）、自主或自驾子系统（例如，以控制车辆、缓解故障等）、制动子系统、速度控制子系统、导航子系统、通信子系统（例如，以与图9A和图9B中所示的基于云端的后端系统进行通信）等。
例如，子系统606中的一者可向感知系统604指示车辆何时静止或移动。因此，感知系统604可以选择和使用恰当的方法来进行故障检测和故障隔离，如上文详细描述的。
感知系统604包括比较模块610、感知模块612、诊断模块614和缓解模块616。如图8B中所示，感知模块612包括结果生成模块618、配对模块620、过滤模块624和距离确定模块626。
传感器602感测车辆的周围环境并将原始数据提供给感知系统604。在感知系统604中，比较模块610比较来自两个帧的原始数据。比较模块610执行用于在车辆静止时确定来自两个帧的原始数据之间的第一差异ΔDk的基于L2范数的方法，如上文描述的。比较模块610进一步包括图5和图6中所示的系统400和450，这些系统用以在车辆移动时确定来自两个帧的原始数据之间的第一差异ΔDk。
感知模块612基于来自两个帧的原始数据来生成感知结果或感知结果向量Rk和Rk-1。具体地，在感知模块612中，结果生成模块618基于来自两个帧k和k-1的原始数据Dk和Dk-1来生成感知结果或感知结果向量Rk和Rk-1。配对模块620执行上文参考图3示出并描述的方法300以匹配两个向量中的元素（物体），如上文参考图2和图3描述的。过滤模块624执行对来自两个向量的边界物体的过滤，如上文描述的。距离确定模块626确定过滤后的被分类的向量之间（即，两个帧之间）的欧几里得距离并生成两个帧之间的第二差异ΔRk，如上文详细描述的。
诊断模块614使用上文参考图7示出并描述的方法500来诊断传感器602中和感知模块604中的故障。缓解模块616取决于检测到的故障来执行缓解程序，如上文描述的。
下文是其中可以实施本公开的系统和方法的分布式计算环境的简单化示例。贯穿该描述，对诸如服务器、客户端装置、应用程序等等的术语的引用仅出于图示性目的。术语服务器和客户端装置将被广义地理解为表示具有被构造成执行机器可读指令的一个或多个处理器和存储器的计算装置。术语应用程序和计算机程序将被广义地理解为表示可由计算装置执行的机器可读指令。
图9A示出了分布式计算系统700的简化示例。分布式计算系统700包括分布式通信系统710、一个或多个车辆720-1、720-2、…、和720-M（统称为车辆720）以及一个或多个服务器730-1、730-2、...、和730-N（统称为服务器730）。M和N是大于或等于一的整数。
分布式通信系统710可包括局域网（LAN）、广域网（WAN）（诸如，因特网）或其他类型的网络。车辆720和服务器730可位于不同的地理位置处，并且可经由分布式通信系统710彼此通信。例如，服务器730可位于云端中的数据中心中。车辆720和服务器730可使用无线和/或有线连接而连接到分布式通信系统710。
车辆720可包括上文参考图1至图8B示出并描述的系统，这些系统可执行软件应用程序（诸如，上文参考图1至图8B描述的各种方法）。服务器730可将多种服务提供给客户端装置720。例如，服务器730可执行由一个或多个供应商开发的软件应用程序（例如，如上文描述的用于诊断和缓解故障的后端系统）。服务器730可托管软件应用程序在将服务提供给车辆720的用户时所依赖的多个数据库。
图9B示出了服务器730-1的简化示例。服务器730-1通常包括一个或多个CPU或处理器770、网络接口778、存储器780和大容量存储装置782。在一些实施方式中，服务器730-1可以是通用服务器，并且包括一个或多个输入装置772（例如，小键盘、触摸板、鼠标等等）和包括显示器776的显示子系统774。
网络接口778将服务器730-1连接到分布式通信系统710。例如，网络接口778可包括有线接口（例如，以太网接口）和/或无线接口（例如，Wi-Fi、蓝牙、近场通信（NFC）或其他无线接口）。存储器780可包括易失性或非易失性存储器、高速缓存或其他类型的存储器。大容量存储装置782可包括快闪存储器、一个或多个磁性硬盘驱动器（HDD）或其他大容量存储装置。
服务器730-1的处理器770执行操作系统（OS）784以及一个或多个服务器应用程序786（例如，如上文描述的用于诊断和缓解故障和/或用于进一步分析较小或非关键性故障的后端系统），所述OS和服务器应用程序可被容纳在虚拟机管理程序或容器化架构中。大容量存储装置782可存储一个或多个数据库788，所述数据库存储由服务器应用程序786用来执行相应的功能的数据结构。
前面的描述本质上仅仅是图示性的，并且不旨在限制本公开、其应用或使用。本公开的广泛教导可以以多种形式实施。因此，尽管本公开包括特定示例，但是本公开的真实范围不应受到如此限制，因为在研究附图、说明书和以下权利要求时，其他修改将变得显而易见。
应理解，方法内的一个或多个步骤可以以不同次序（或同时）执行，而不更改本公开的原理。进一步地，虽然上文将实施例中的每一者描述为具有某些特征，但是关于本公开的任何实施例描述的那些特征中的任何一个或多个可以在其他实施例中的任一者的特征中实施和/或与其组合，即使该组合未明确描述。换句话说，所描述的实施例不是相互排斥的，并且一个或多个实施例彼此的排列仍然在本公开的范围内。
元件之间（例如，模块、电路元件、半导体层等之间）的空间和功能关系使用各种术语来描述，包括“连接”、“接合”、“联接”、“相邻”、“紧邻”、“在……顶部”、“上方”、“下方”和“安置”。除非明确地描述为“直接”，否则当在上面的公开中描述第一元件和第二元件之间的关系时，该关系可以是在第一元件和第二元件之间不存在其他介入元件的直接关系，但也可以是在第一元件和第二元件之间存在（空间抑或功能上）一个或多个介入元件的间接关系。
如本文中所使用的，短语A、B和C中的至少一者应被解释为使用非排他性逻辑OR来意指逻辑（A OR B OR C），并且不应被解释为意指“A中的至少一者、B中的至少一者、以及C中的至少一者”。
在附图中，如由箭头指示的箭头方向总体上表示图示所关注的信息（诸如，数据或指令）的流动。例如，当元件A和元件B交换多种信息但是从元件A传输到元件B的信息与图示相关时，箭头可从元件A指向元件B。该单向箭头并不暗示没有其他信息从元件B传输到元件A。进一步地，对于从元件A发送给元件B的信息，元件B可向元件A发送针对信息的请求或接收确认。
在本申请（包括下面的定义）中，术语“模块”或术语“控制器”可用术语“电路”代替。术语“模块”可指代以下各者、为以下各者的一部分、或包括以下各者：专用集成电路（ASIC）；数字、模拟或混合模拟/数字分立电路；数字、模拟或混合模拟/数字集成电路；组合逻辑电路；现场可编程门阵列（FPGA）；执行代码的处理器电路（共享、专用或组）；存储由处理器电路执行的代码的存储器电路（共享、专用或组）；提供所描述的功能的其他合适的硬件部件；或者以上各者中的一些或全部的组合，诸如在片上系统中。
模块可包括一个或多个接口电路。在一些示例中，接口电路可包括连接到局域网（LAN）、因特网、广域网（WAN）或其组合的有线或无线接口。本公开的任何给定模块的功能可分布在经由接口电路连接的多个模块当中。例如，多个模块可允许负载平衡。在另外的示例中，服务器（也称为远程或云端）模块可代表客户端模块完成某种功能。
如上文所使用的术语代码可包括软件、固件和/或微代码，并且可指代程序、例程、函数、类别、数据结构和/或对象。术语共享处理器电路涵盖单个处理器电路，其执行来自多个模块的一些或所有代码。术语组处理器电路涵盖处理器电路，该处理器电路与附加的处理器电路组合来执行来自一个或多个模块的一些或所有代码。对多个处理器电路的引用涵盖分立管芯上的多个处理器电路、单个管芯上的多个处理器电路、单个处理器电路的多个核、单个处理器电路的多个线程、或以上各者的组合。术语共享存储器电路涵盖单个存储器电路，其存储来自多个模块的一些或所有代码。术语组存储器电路涵盖存储器电路，该存储器电路与附加的存储器组合来存储来自一个或多个模块的一些或所有代码。
术语存储器电路是术语计算机可读介质的子集。如本文中所使用的术语计算机可读介质不涵盖通过介质（诸如，载波上）传播的暂时电信号或电磁信号；因此，术语计算机可读介质可被认为是有形的和非暂时性的。非暂时性、有形计算机可读介质的非限制性示例是非易失性存储器电路（诸如，快闪存储器电路、可擦除可编程只读存储器电路或掩模只读存储器电路）、易失性存储器电路（诸如，静态随机存取存储器电路或动态随机存取存储器电路）、磁性存储介质（诸如，模拟或数字磁带或硬盘驱动器）和光学存储介质（诸如，CD、DVD或蓝光光盘）。
本申请中所描述的设备和方法可由专用计算机部分地或全部地实施，该专用计算机通过将通用计算机构造成执行体现在计算机程序中的一个或多个特定功能而创建。上文所描述的功能块、流程图部件和其他元件用作软件规范，其可以通过熟练技术人员或程序员的例行工作转换成计算机程序。
计算机程序包括存储在至少一个非暂时性、有形计算机可读介质上的处理器可执行指令。计算机程序还可包括或依赖于存储的数据。计算机程序可涵盖与专用计算机的硬件交互的基本输入/输出系统（BIOS）、与专用计算机的特定装置交互的装置驱动程序、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。
计算机程序可包括：（i）要解析的描述性文本，诸如HTML（超文本标记语言）、XML（可扩展标记语言）或JSON（JavaScript对象表示法），（ii）汇编代码，（iii）由编译器从源代码生成的目标代码，（iv）由解释器执行的源代码，（v）由即时编译器编译和执行的源代码等。仅作为示例，可使用语法根据包括C、C++、C#、Objective-C、Swift、Haskell、Go、SQL、R、Lisp、Java®、Fortran、Perl、Pascal、Curl、OCaml、Javascript®、HTML5（超文本标记语言第5版）、Ada、ASP（动态服务器网页）、PHP（PHP：超级文本预处理语言）、Scala、Eiffel、Smalltalk、Erlang、Ruby、Flash®、Visual Basic®、Lua、MATLAB、SIMULINK和Python®的语言编写源代码。

Claims (10)

1.一种系统，其包括：
比较模块，其被构造成：
从车辆中的多个传感器接收有关所述车辆的周围环境的第一数据；
在接收到所述第一数据之后，从所述多个传感器接收有关所述周围环境的第二数据；
将所述第一数据与所述第二数据进行比较；以及
基于所述第一数据与所述第二数据的所述比较来确定所述第一数据和所述第二数据之间的第一差异；
感知模块，其被构造成：
基于所述第一数据来生成第一组感知结果；
基于所述第二数据来生成第二组感知结果；以及
基于所述第一组感知结果和所述第二组感知结果来确定所述第一数据和所述第二数据之间的第二差异；以及
诊断模块，其被构造成：基于所述第一差异和所述第二差异的组合来确定所述传感器中的一者或所述感知模块是否有故障。
2.根据技术方案1所述的系统，其进一步包括缓解模块，所述缓解模块被构造成响应于所述诊断模块在所述传感器中的一者或所述感知模块中诊断出故障来执行缓解程序。
3.根据技术方案1所述的系统，其中，所述诊断模块被构造成基于在移动窗口上求平均值的所述第一差异和所述第二差异中的每一者的多个来确定所述传感器中的一者或所述感知模块是否有故障。
4.根据技术方案1所述的系统，其中，响应于所述车辆是静止的，所述比较模块被构造成通过在所述第一数据和所述第二数据的各元素之间执行逐元素比较来将所述第一数据与所述第二数据进行比较。
5.根据技术方案1所述的系统，其中，响应于所述车辆处于运动中，所述比较模块被构造成：
通过从所述第一数据和所述第二数据中识别特征并通过对所述特征进行匹配来将所述第一数据与所述第二数据进行比较；以及
基于所述匹配来确定所述第一数据和所述第二数据之间的所述第一差异。
6.根据技术方案1所述的系统，其中，所述比较模块包括多个相同的神经网络模型，所述多个相同的神经网络模型被训练以识别输入数据中的特征并使用相同的权重来输出所述特征，并且其中，所述比较模块被构造成：
分别将所述第一数据和第二数据输入到所述多个神经网络模型中的第一神经网络模型和第二神经网络模型；
分别从所述第一神经网络模型和第二神经网络模型接收第一特征和第二特征；
计算所述第一特征和第二特征之间的欧几里德距离；以及
通过正规化所述欧几里得距离来生成得分，
其中，所述得分指示所述第一数据和所述第二数据之间的所述第一差异。
7.根据技术方案1所述的系统，其中，所述比较模块包括：
配对模块，其被构造成基于所有对所述物体的交并比值来使所述第一组感知结果中的物体与所述第二组感知结果中的物体配对；
过滤模块，其被构造成过滤来自所述被配对物体的具有极接近于所述第一组感知结果和第二组感知结果的外边缘的坐标的物体；以及
距离确定模块，其被构造成基于所述过滤后的被配对物体来确定所述第一组感知结果和第二组感知结果之间的欧几里得距离，其中，所述欧几里得距离表示所述第二差异。
8.根据技术方案7所述的系统，其中，所述配对模块被构造成：
基于所有所述对所述物体的所述交并比值的递减顺序而以迭代方式使所述第一组感知结果中的所述物体与所述第二组感知结果中的物体配对；以及
使用所述被配对物体来对所述第一组感知结果和第二组感知结果进行分类。
9.根据技术方案8所述的系统，其中，所述过滤模块被构造成：在过滤来自所述被配对物体的具有极接近于所述第一组感知结果和第二组感知结果的所述外边缘的坐标的所述物体之后，生成过滤后的被分类的第一组感知结果和第二组感知结果。
10.根据技术方案9所述的系统，其中，所述距离确定模块被构造成通过以下步骤来确定所述第一组感知结果和第二组感知结果之间的所述欧几里得距离：
在所述过滤后的被分类的第一组感知结果和第二组感知结果中生成所述被配对物体之间的距离的第一平均值；
使用查找表基于所述被配对物体的类型来生成第二平均值；
通过相应的权重来缩放所述第一平均值和第二平均值；以及
将所述加权后的第一平均值和第二平均值进行组合。
CN202011190583.0A 2019-11-01 2020-10-30 诊断车辆的感知系统的系统和方法 Active CN112783135B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/671345 2019-11-01
US16/671,345 US11436876B2 (en) 2019-11-01 2019-11-01 Systems and methods for diagnosing perception systems of vehicles based on temporal continuity of sensor data

Publications (2)

Publication Number Publication Date
CN112783135A true CN112783135A (zh) 2021-05-11
CN112783135B CN112783135B (zh) 2024-03-12

Family

ID=75485678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011190583.0A Active CN112783135B (zh) 2019-11-01 2020-10-30 诊断车辆的感知系统的系统和方法

Country Status (3)

Country Link
US (1) US11436876B2 (zh)
CN (1) CN112783135B (zh)
DE (1) DE102020126732A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022252574A1 (zh) * 2021-05-31 2022-12-08 北京三快在线科技有限公司 一种故障检测的方法、装置、存储介质及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11430240B2 (en) * 2020-05-06 2022-08-30 Volvo Car Corporation Methods and systems for the automated quality assurance of annotated images
US11386776B2 (en) * 2020-10-05 2022-07-12 Qualcomm Incorporated Managing a driving condition anomaly
CN114048815B (zh) * 2021-11-12 2023-11-28 国网江苏省电力有限公司常州供电分公司 基于厂站侧的电网运行信息感知系统、感知方法
DE102022211884A1 (de) 2022-11-10 2024-05-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Ermitteln eines Zustandes einer Fahrzeugkomponente eines Fahrzeugs

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080148827A1 (en) * 2006-12-22 2008-06-26 Keski-Hynnila Donald E Method of verifying component functionality on egr & air systems
CN102419222A (zh) * 2010-08-27 2012-04-18 通用汽车环球科技运作有限责任公司 用于车辆的外部空气温度传感器诊断系统
DE102011017593A1 (de) * 2011-04-27 2012-10-31 Robert Bosch Gmbh Vorrichtung und Verfahren zur Fehlererkennung eines Umfeldsensors eines Fahrzeugs
CN105278519A (zh) * 2014-06-23 2016-01-27 通用汽车环球科技运作有限责任公司 用于车辆的基于增强现实的交互式故障排除和诊断
US20160154406A1 (en) * 2013-07-10 2016-06-02 Globiz Co., Ltd. Signal measurement diagnosis monitoring system and method therefor, and method and system for applying same to individual device
CN108028651A (zh) * 2015-07-30 2018-05-11 法雷奥开关和传感器有限责任公司 用于车辆的控制装置和用于操作这种控制装置的方法
CN108335381A (zh) * 2017-01-19 2018-07-27 福特全球技术公司 车辆传感器健康状况监测
CN109421739A (zh) * 2017-08-28 2019-03-05 通用汽车环球科技运作有限责任公司 用于监控自主车辆的方法和设备
CN109421738A (zh) * 2017-08-28 2019-03-05 通用汽车环球科技运作有限责任公司 用于监视自主车辆的方法和装置
CN109973217A (zh) * 2017-12-13 2019-07-05 奥特润株式会社 连续可变气门持续时间系统的故障诊断方法及装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8120652B2 (en) * 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US7136753B2 (en) * 2002-12-05 2006-11-14 Denso Corporation Object recognition apparatus for vehicle, inter-vehicle control apparatus, and distance measurement apparatus
JP4021401B2 (ja) * 2003-11-07 2007-12-12 本田技研工業株式会社 車両用物体検知装置
US7460951B2 (en) * 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
US8704653B2 (en) * 2009-04-02 2014-04-22 GM Global Technology Operations LLC Enhanced road vision on full windshield head-up display
DE102009018311A1 (de) * 2009-04-22 2010-10-28 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zum Betrieb eines radargestützten Umfelderkennungssystems
JP5206752B2 (ja) * 2010-08-30 2013-06-12 株式会社デンソー 走行環境認識装置
US9274525B1 (en) * 2012-09-28 2016-03-01 Google Inc. Detecting sensor degradation by actively controlling an autonomous vehicle
US9152526B2 (en) * 2012-11-16 2015-10-06 GM Global Technology Operations LLC Method and apparatus for state of health estimation of object sensing fusion system
DE102012024999A1 (de) * 2012-12-19 2014-06-26 Valeo Schalter Und Sensoren Gmbh Verfahren zum Einstellen einer Detektionsschwelle für ein Empfangssignal eines Frequenzmodulations-Dauerstrich-Radarsensors eines Kraftfahrzeugs abhängig vom Rauschpegel, Radarsensor und Kraftfahrzeug
JP5820843B2 (ja) * 2013-05-29 2015-11-24 富士重工業株式会社 周囲環境判定装置
JP2016070772A (ja) * 2014-09-30 2016-05-09 富士通テン株式会社 レーダ装置、車両制御システム、および、信号処理方法
ES2819239T3 (es) * 2015-05-30 2021-04-15 Leia Inc Sistema de visualización de un vehículo
EP3113037B1 (en) * 2015-07-03 2019-01-02 Sap Se Adaptive adjustment of network responses to client requests in digital networks
US10482331B2 (en) * 2015-11-20 2019-11-19 GM Global Technology Operations LLC Stixel estimation methods and systems
US10816654B2 (en) * 2016-04-22 2020-10-27 Huawei Technologies Co., Ltd. Systems and methods for radar-based localization
KR20180060784A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 비정상 객체 판단 방법 및 장치
CN109709530A (zh) * 2017-10-26 2019-05-03 株式会社小糸制作所 传感系统及车辆
WO2019161300A1 (en) * 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores
US10468062B1 (en) * 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
US10854011B2 (en) * 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment
US11119478B2 (en) * 2018-07-13 2021-09-14 Waymo Llc Vehicle sensor verification and calibration
DE102018121270B4 (de) * 2018-08-31 2023-12-21 Volkswagen Aktiengesellschaft Diagnoseverfahren, Diagnosesystem und Kraftfahrzeug
US20220004818A1 (en) * 2018-11-05 2022-01-06 Edge Case Research, Inc. Systems and Methods for Evaluating Perception System Quality
US11513214B2 (en) * 2018-11-20 2022-11-29 Metawave Corporation Radar system for internal and external environmental detection
US20200209853A1 (en) * 2018-12-31 2020-07-02 Uatc, Llc Systems and Methods for Identifying Perception Sensor Degradation
US11635767B2 (en) * 2019-02-13 2023-04-25 Semyon Nisenzon System and method of using multi-resolution camera clusters input data for controlling autonomous vehicles
US11204417B2 (en) * 2019-05-08 2021-12-21 GM Global Technology Operations LLC Selective attention mechanism for improved perception sensor performance in vehicular applications
US11829128B2 (en) * 2019-10-23 2023-11-28 GM Global Technology Operations LLC Perception system diagnosis using predicted sensor data and perception results
US10981577B1 (en) * 2019-12-19 2021-04-20 GM Global Technology Operations LLC Diagnosing perception system based on scene continuity
US12001958B2 (en) * 2020-03-19 2024-06-04 Nvidia Corporation Future trajectory predictions in multi-actor environments for autonomous machine

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080148827A1 (en) * 2006-12-22 2008-06-26 Keski-Hynnila Donald E Method of verifying component functionality on egr & air systems
CN102419222A (zh) * 2010-08-27 2012-04-18 通用汽车环球科技运作有限责任公司 用于车辆的外部空气温度传感器诊断系统
DE102011017593A1 (de) * 2011-04-27 2012-10-31 Robert Bosch Gmbh Vorrichtung und Verfahren zur Fehlererkennung eines Umfeldsensors eines Fahrzeugs
US20160154406A1 (en) * 2013-07-10 2016-06-02 Globiz Co., Ltd. Signal measurement diagnosis monitoring system and method therefor, and method and system for applying same to individual device
CN105278519A (zh) * 2014-06-23 2016-01-27 通用汽车环球科技运作有限责任公司 用于车辆的基于增强现实的交互式故障排除和诊断
CN108028651A (zh) * 2015-07-30 2018-05-11 法雷奥开关和传感器有限责任公司 用于车辆的控制装置和用于操作这种控制装置的方法
CN108335381A (zh) * 2017-01-19 2018-07-27 福特全球技术公司 车辆传感器健康状况监测
CN109421739A (zh) * 2017-08-28 2019-03-05 通用汽车环球科技运作有限责任公司 用于监控自主车辆的方法和设备
CN109421738A (zh) * 2017-08-28 2019-03-05 通用汽车环球科技运作有限责任公司 用于监视自主车辆的方法和装置
CN109973217A (zh) * 2017-12-13 2019-07-05 奥特润株式会社 连续可变气门持续时间系统的故障诊断方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡明江;王忠;祁利巧;郑国兵;: "柴油机低温起动工况的传感器在线诊断", 振动.测试与诊断, no. 03 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022252574A1 (zh) * 2021-05-31 2022-12-08 北京三快在线科技有限公司 一种故障检测的方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
US20210134085A1 (en) 2021-05-06
US11436876B2 (en) 2022-09-06
CN112783135B (zh) 2024-03-12
DE102020126732A1 (de) 2021-05-06

Similar Documents

Publication Publication Date Title
CN112783135B (zh) 诊断车辆的感知系统的系统和方法
CN112417967B (zh) 障碍物检测方法、装置、计算机设备和存储介质
US11783568B2 (en) Object classification using extra-regional context
CN108469806B (zh) 交替式人机共驾中驾驶权转移方法
US10373024B2 (en) Image processing device, object detection device, image processing method
CN113366496A (zh) 用于粗略和精细对象分类的神经网络
WO2020131385A1 (en) Automated assessment of collision risk based on computer vision
KR20190026116A (ko) 객체 인식 방법 및 장치
JP2020524854A (ja) 珍しい事例の分類
US10726275B2 (en) System and method for correlating vehicular sensor data
CN113936198B (zh) 低线束激光雷达与相机融合方法、存储介质及装置
US20220156483A1 (en) Efficient three-dimensional object detection from point clouds
CN113095125B (zh) 基于场景连续性来诊断感知系统
WO2021059714A1 (ja) 占有グリッドマップ生成装置、占有グリッドマップ生成システム、占有グリッドマップ生成方法、およびプログラム
JP2016130966A (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
US20220171975A1 (en) Method for Determining a Semantic Free Space
CN110426714B (zh) 一种障碍物识别方法
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.
US20220415054A1 (en) Learning device, traffic event prediction system, and learning method
US20230004757A1 (en) Device, memory medium, computer program and computer-implemented method for validating a data-based model
CN113963322B (zh) 一种检测模型训练方法、装置及电子设备
US11851073B2 (en) Fault isolation and mitigation upon lane marking misdetection on roadways
US20230267749A1 (en) System and method of segmenting free space based on electromagnetic waves
KR20210149533A (ko) 영상 기반 차종별 교통량 조사 방법
CN117213507A (zh) 车辆建图方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant