CN114330473A - 感知系统错误检测和重新验证 - Google Patents

感知系统错误检测和重新验证 Download PDF

Info

Publication number
CN114330473A
CN114330473A CN202111122603.5A CN202111122603A CN114330473A CN 114330473 A CN114330473 A CN 114330473A CN 202111122603 A CN202111122603 A CN 202111122603A CN 114330473 A CN114330473 A CN 114330473A
Authority
CN
China
Prior art keywords
sensor
test data
difference
output
data output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111122603.5A
Other languages
English (en)
Inventor
O·格劳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN114330473A publication Critical patent/CN114330473A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0225—Failure correction strategy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00186—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions related to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4039—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B60W2050/0088—Adaptive recalibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215—Sensor drifts or sensor failures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Signal Processing (AREA)

Abstract

本发明涉及感知系统错误检测和重新验证。传感器数据评估设备可以包括人工神经网络，被配置成用于接收第一测试数据并对第一测试数据进行处理，并输出第一测试数据输出，其中第一测试数据表示检测传感器输入的第一传感器的传感器数据；以及一个或多个处理器，被配置成用于接收表示第二传感器的缺陷的传感器缺陷信息；生成第二测试数据，其中第二测试数据基于传感器缺陷信息；实现人工神经网络以接收第二测试数据并对第二测试数据进行处理；并且从输出层输出第二测试数据输出；确定第一测试数据输出与第二测试数据输出之间的差异；以及如果该差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。

Description

感知系统错误检测和重新验证
技术领域
本公开的各个方面总体上涉及传感器错误检测、传感器降级检测、感知系统错误检测、感知系统重新训练和/或感知系统重新验证。
背景技术
已知使用机器学习(也被称为人工智能(AI))在深度网络上(诸如在数据中心中)开发和执行感知功能，并且随后在嵌入式系统中部署经训练的AI功能。嵌入式系统可以被理解为一起操作以在更大的系统内执行特定功能的硬件和软件。此类嵌入式系统可以在各种设备(诸如，但不限于智能相机)中并且在用于自主系统(诸如机器人或自主交通工具)的感知功能中操作。
这些AI功能可以诸如例如通过使用深度神经网络在监督式学习的上下文中被确定。它们通常利用大的数据集合(例如大的注释数据集合)进行训练，这可能在计算上要求非常高。此类过程可以例如在嵌入式系统设备外部的数据中心中被常规地执行。
可能期望对所得到的系统进行证实，以确保适当的功能和安全操作。这种证实也可能需要大量的数据和相当大的计算资源。一旦训练完成并已经被授予证实，实际的AI功能可以被部署，诸如被部署在嵌入式系统中。
此类嵌入式系统可以依赖于多个传感器，这些传感器可以被配置成用于确定传感器数据，并且该传感器数据可以被输入到感测操作中的AI功能的一个或多个AI功能中。然而，包括此类嵌入式系统的许多设备可能被预期在很长的时段(例如，多个月或年的时段)内保持使用，并且此类嵌入式系统的特性可能诸如由于传感器老化、传感器损坏、或可能导致嵌入式系统的感知和/或其他认知功能的性能下降的其他传感器降级而在设备的生命周期内改变。此类性能的改变可能影响先前对该嵌入式系统的证实。
附图说明
在附图中，贯穿不同的视图，相同的附图标记一般指代相同部分。这些附图不一定是按比例的，而是一般着重于说明本公开的示例性原理。在下列描述中，参照下列附图描述本公开的各个示例性方面，在附图中：
图1示出根据本公开的各个方面的示例性自主交通工具；
图2示出根据本公开的各个方面的交通工具的安全性系统的各种示例性电子组件；
图3描绘了根据本公开的一方面的传感器损坏/降级；
图4示出了根据本公开的一方面的嵌入式感知系统的组件和信号流；
图5描述了根据本公开的一方面的传感器数据评估系统；
图6描绘了根据本公开的一方面的系统重新证实；
图7描绘传感器数据评估设备；以及
图8描绘传感器数据评估的方法。
具体实施方式
下列具体实施方式引用附图，这些附图通过说明的方式示出示例性细节以及本公开可在其中实施的各方面。
在本申请中使用词“示例性”来意指“充当示例、实例或说明”。本文中或设计被描述为“示例性”的本公开或设计的任何方面不一定要被解释为相比本公开或设计的其他方面更优选或有利。
贯穿附图，应注意，除非另有说明，否则相同的附图标记用于描绘相同或相似的要素、特征和结构。
短语“至少一个”和“一个或多个”可被理解为包括大于或等于一的数量(例如，一个、两个、三个、四个、[...]等)。关于一组要素的短语“至少一个”在本文中可用于意指来自由要素组成的组的至少一个要素。例如，关于一组要素的短语“……中的至少一个”在本文中可用于意指以下各项中的选择：所列要素中的一个、多个的所列要素中的一个要素、多个个体所列要素、或多个的数个个体所列要素。
说明书和权利要求书中的词语“复数个(plural)”和“多个(multiple)”明确地指代大于一的量。因此，任何明确地援引上述词语来指代某个数量的要素的短语(例如，“复数个[要素]”、“多个[要素]”)明确地指代多于一个的所述要素。例如，短语“多个(aplurality)”可被理解为包括大于或等于二的数量(例如，两个、三个、四个、五个、[...]等)。
说明书中和权利要求书中的短语“(……的)组”、“(……的)集”、“(……的)集合”、“(……的)系列”、“(……的)序列”、“(……的)分组”等(如果存在)指代等于或大于一的量，即一个或多个。术语“适当的子集”、“减小的子集”、和“较小的子集”指代集合的不等于该集合的子集，说明性地，指代集合的包含比该集合少的元素的子集。
如本文中所使用的术语“数据”可被理解为包括采用任何合适的模拟或数字形式的信息，例如，作为文件、文件的部分、文件集合、信号或流、信号或流的部分、信号或流的集合等等来提供的信息。进一步地，术语“数据”还可用于意指对信息的例如以指针的形式的引用。然而，术语“数据”不限于上述示例，并且可采取各种形式并表示如本领域中理解的任何信息。
例如，如本文中所使用的术语“处理器”或“控制器”可被理解为允许处置数据的任何种类的技术实体。可根据由处理器或控制器执行的一个或多个特定功能来处置数据。进一步地，如本文中所使用的处理器或控制器可被理解为任何种类的电路，例如任何种类的模拟或数字电路。处理器或控制器因此可以是或可包括模拟电路、数字电路、混合信号电路、逻辑电路、处理器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、集成电路、专用集成电路(ASIC)等、或其任何组合。下文将进一步详细描述的相应功能的任何其他种类的实现方式也可被理解为处理器、控制器或逻辑电路。应理解，本文中详述的处理器、控制器或逻辑电路中的任何两个(或更多个)可被实现为具有等效功能的单个实体等等，并且相反地，本文中详述的任何单个处理器、控制器或逻辑电路可被实现为具有等效功能的两个(或更多个)分开的实体等等。
如本文中所使用，“存储器”被理解为数据或信息可以被存储在其中以供检取的计算机可读介质(例如，非瞬态计算机可读介质)。对本文中所包括的“存储器”的引用可因此被理解为是指易失性或非易失性存储器，包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、固态存储、磁带、硬盘驱动器、光驱、3D XPointTM等等、或其任何组合。在本文中，寄存器、移位寄存器、处理器寄存器、数据缓冲器等等也可由术语存储器包含。术语“软件”是指任何类型的可执行指令，包括固件。
除非明确地指定，否则术语“发射”涵盖直接(点对点)和间接(经由一个或多个中间点)的发射两者。类似地，术语“接收”涵盖直接和间接的接收两者。此外，术语“发射”、“接收”、“传递”和其他类似术语涵盖物理传输(例如，对无线电信号的传输)和逻辑传输(例如，通过逻辑软件级连接对数字数据的传输)两者。例如，处理器或控制器可通过与另一处理器或控制器的软件级连接以无线电信号的形式对数据进行发射或接收，其中，物理发射和接收由诸如射频(RF)收发机和天线之类的无线电层组件处置，并且通过软件级连接的逻辑发射和接收由处理器或控制器执行。术语“传递”涵盖发射和接收中的一者或两者，即，在传入方向和传出方向中的一个方向或这两个方向上的单向或双向传输。术语“计算”涵盖经由数学表达式/公式/关系进行的‘直接’计算和经由查找表或散列表以及其他数组索引或搜索操作进行的‘间接’计算两者。
可以将“交通工具”理解为包括任何类型的被驱动对象。作为示例，交通工具可以是具有内燃机、反作用式引擎、电驱动对象、混合驱动对象或其组合的被驾驶对象。交通工具可以是或者可以包括汽车、公共汽车、小型公共汽车、货车、卡车、房车、车辆拖车、摩托车、自行车、三轮车、火车机车、火车车厢、移动机器人、个人运输机、船只、船、潜水器、潜艇、无人机、飞机、火箭等。
“地面交通工具”可理解为包括任何类型的车辆，如上文所述，被配置成(例如，在街道上、在道路上、在轨道上、在一条或多条轨道上、越野等)横穿地面的车辆。
术语“自主交通工具”可描述能够在不具有驾驶员输入的情况下实现至少一种导航改变的交通工具。导航改变可描述或包括交通工具的转向、制动、或加速/减速中的一者或多者的改变。即使在交通工具不是完全自动(例如，在有驾驶员输入或无驾驶员输入的情况下完全操作)的情况下，也可以将交通工具描述为自主的。自主交通工具可以包括可以在某些时间段内在驾驶员控制下操作并且在其他时间段内无需驾驶员控制而操作的那些交通工具。自主交通工具还可包括仅控制交通工具导航的一些方面的交通工具，交通工具导航的一些方面诸如转向(例如，在交通工具车道约束之间维持交通工具路线)或在某些情形下(但并非在所有情形下)进行一些转向操作，但可能将交通工具导航的其他方面留给驾驶员(例如，在某些情形下进行制动或刹车)。自主交通工具还可以包括在某些情形下共同控制交通工具导航的一个或多个方面的交通工具(例如，动手操作(诸如响应于驾驶员的输入))和在某些情形下控制交通工具导航的一个或多个方面的交通工具(例如，放手操作(诸如独立于驾驶员的输入))。自主交通工具还可以包括在某些情形下(诸如，在某些环境状况下(例如，空间区域、道路状况))控制交通工具导航的一个或多个方面的交通工具。在一些方面，自主交通工具可以处置交通工具的制动、速率控制、速度控制和/或转向的一些或所有方面。自主交通工具可以包括可以在没有驾驶员的情况下操作的那些交通工具。交通工具的自主性级别可以由交通工具的汽车工程师协会(SAE)级别(例如，由SAE例如在SAEJ3016 2018：道路机动交通工具的驾驶自动化系统相关术语的分类和定义中定义)或由其他相关专业组织进行描述或确定。SAE级别可以具有范围从最小级别(例如，0级(说明性地，基本上没有驾驶自动化))到最大级别(例如，5级(说明性地，完全驾驶自动化))的值。
在本公开的上下文中，“交通工具操作数据”可被理解为描述与交通工具的操作有关的任何类型的特征。作为示例，“交通工具操作数据”可描述交通工具的状态，诸如，交通工具的轮胎的类型、交通工具的类型、和/或交通工具的制造的时限。更一般地，“交通工具操作数据”可描述或包括静态特征或静态交通工具操作数据(说明性地，不随时间改变的特征或数据)。作为另一示例，附加地或替代地，“交通工具操作数据”可描述或包括在交通工具的操作期间改变的特征，例如，交通工具的操作期间的环境状况(诸如，天气状况或道路状况)、燃料水平、液位、交通工具的驱动源的操作参数等。更一般地，“交通工具操作数据”可描述或包括变化的特征或变化的交通工具操作数据(说明性地，时变特征或数据)。
本文中本公开的各个方面可利用一个或多个机器学习模型来执行或控制交通工具的功能(或本文中所描述的其他功能)。例如，本文使用的术语“模型”可以被理解为根据输入数据提供输出数据的任何种类的算法(例如，从输入数据生成或计算输出数据的任何种类的算法)。机器学习模型可由计算系统执行以渐进地改进特定任务的性能。在一些方面中，可在训练阶段期间基于训练数据来调整机器学习模型的参数。可在推断阶段期间使用经训练的机器学习模型基于输入数据来作出预测或决策。在一些方面中，可使用经训练的机器学习模型来生成附加的训练数据。可在第二训练阶段期间基于所生成的附加训练数据来调整附加机器学习模型。可在推断阶段期间使用经训练的附加机器学习模型来基于输入数据作出预测或决策。
本文中所描述的机器学习模型可采取任何合适的形式或利用任何合适的技术(例如，以用于训练目的)。例如，这些机器学习模型中的任何机器学习模型均可利用监督式学习、半监督式学习、无监督式学习、或强化学习技术。
在监督式学习中，可使用训练数据集来建立模型，该训练数据集既包括输入又包括对应的期望输出(说明性地，每个输入可与针对该输入的期望或预期输出相关联)。每个训练实例可包括一个或多个输入并且包括期望输出。训练可包括通过训练实例迭代以及使用目标函数来教导模型预测针对新的输入的输出(说明性地，对于训练集中不包括的输入)。在半监督式学习中，训练集中的输入中的部分可能缺少相应的期望输出(例如，一个或多个输入可能不与任何期望或预期的输出相关联)。
在无监督式学习中，可从仅包括输入而不包括期望输出的训练数据集来建立模型。无监督式模型可用于说明性地通过发现数据中的模式而找到该数据中的结构(例如，对数据点的分组或聚类)。可在无监督式学习模型中实现的技术可包括例如自组织图、最近邻映射、k均值聚类、以及奇异值分解。
强化学习模型可包括正反馈或负反馈以改善准确性。强化学习模型可尝试使一个或多个目标/回报最大化。可在强化学习模型中实现的技术可包括例如Q学习、时间差(TD)和深度对抗网络。
本文中所描述的各个方面可利用一个或多个分类模型。在分类模型中，输出可限于值的有限集合(例如，一个或多个类)。分类模型可输出针对具有一个或多个输入值的输入集合的类。输入集合可包括传感器数据，诸如图像数据、雷达数据、光检测和测距数据等等。如本文中所描述的分类模型可例如对某些驾驶状况和/或环境状况(诸如，天气状况、道路状况)等等进行分类。本文中对分类模型的引用可构想实现例如下列技术中的任何一种或多种技术的模型：线性分类器(例如，逻辑回归或朴素贝叶斯分类器)、支持向量机、决策树、提升树、随机森林、神经网络或最近邻。
本文中所描述的各方面可利用一个或多个回归模型。回归模型可基于具有一个或多个值的输入集合(说明性地，从具有一个或多个值的输入集合开始或使用具有一个或多个值的输入集合)输出连续范围中的数字值。本文中对回归模型的引用可设想实现例如下列技术(或其他合适技术)中的任何一种或多种技术的模型：线性回归、决策树、随机森林、或神经网络。
本文中所描述的机器学习模型可以是或可包括神经网络。神经网络可以是任何种类的神经网络，诸如卷积神经网络、自编码器网络、变分自编码器网络、稀疏自编码器网络、循环神经网络、去卷积网络、生成性对抗网络，前瞻性神经网络、和积神经网络等等。神经网络可包括任何数量的层。对神经网络的训练(例如，调整神经网络的层)可使用或可基于任何种类的训练原理，诸如反向传播(例如，使用反向传播算法)。
图1示出根据本公开的各个方面的示例性交通工具，即交通工具100。在一些方面，交通工具100可以包括一个或多个处理器102、一个或多个图像采集设备104、一个或多个位置传感器106、一个或多个速度传感器108、一个或多个雷达传感器110、和/或一个或多个光检测和测距传感器112。
在一些方面，交通工具100可包括(如下文参考图2所描述的)安全性系统200。应领会，交通工具100和安全性系统200本质上是示例性的，并且因此可出于解释的目的而被简化。要素的位置和关系距离(如上文所讨论的，这些图并未按比例绘制)是作为示例而提供，并不限于此。取决于特定实现方式的要求，安全性系统200可以包括各种组件。
图2示出根据本公开的各个方面的交通工具的各种示例性电子组件，即安全性系统200。在一些方面，安全性系统200可包括一个或多个处理器102、一个或多个图像采集设备104(例如，一个或多个相机)、一个或多个位置传感器106(例如，全球导航卫星系统(GNSS)、全球定位系统(GPS)等)、一个或多个速度传感器108、一个或多个雷达传感器110、和/或一个或多个光检测和测距传感器112。根据至少一个方面，安全性系统200可进一步包括一个或多个存储器202、一个或多个地图数据库204、一个或多个用户接口206(例如，显示器、触摸屏、话筒、扬声器、一个或多个按钮和/或开关等)、和/或一个或多个无线收发器208、210、212。在一些方面，无线收发器208、210、212可根据相同的、不同的无线电通信协议或标准或其任何组合来配置。作为示例，无线收发器(例如，第一无线收发器208)可以根据短程移动无线电通信标准(例如，蓝牙、Zigbee等)来进行配置。作为另一示例，无线收发器(例如，第二无线收发器210)可以根据中程或宽程移动无线电通信标准(例如，根据对应的3GPP(第三代合作伙伴计划)标准的3G(例如，通用移动通信系统–UMTS)、4G(例如，长期演进–LTE)和/或5G移动无线电通信标准等)来进行配置。作为进一步地示例，无线收发器(例如，第三无线收发器212)可以根据无线局域网通信协议或标准(例如，IEEE 802.11、802.11a、802.11b、802.11g、802.11n、802.11p、802.11-12、802.11ac、802.11ad、802.11ah等)进行配置。一个或多个无线收发器208、210、212可以被配置成通过空中接口经由天线系统传送信号。
在一些方面，一个或多个处理器102可以包括应用处理器214、图像处理器216、通信处理器218和/或任何其他合适的处理设备。取决于特定应用的要求，(多个)图像采集设备104可包括任何数量的图像采集设备和组件。图像采集设备104可包括一个或多个图像捕捉设备(例如，相机、CCD(电荷耦合器件)、或任何其他类型的图像传感器)。
在至少一个方面，安全性系统200还可包括将一个或多个处理器102通信地连接至一个或多个图像采集设备104的数据接口。例如，第一数据接口可包括任何有线和/或无线的一个或多个第一链路220，该一个或多个第一链路220被配置成用于将由一个或多个图像采集设备104获取的图像数据传送至一个或多个处理器102(例如，传送到图像处理器216)。
在一些方面，无线收发器208、210、212可经由例如第二数据接口耦合至一个或多个处理器102(例如，耦合至通信处理器218)。第二数据接口可包括任何有线和/或无线的一个或多个第二链路222，该一个或多个第二链路222被配置成用于将由无线收发器208、210、212获取的无线电传送的数据传送至一个或多个处理器102(例如，传送至通信处理器218)。
在一些方面，存储器202以及一个或多个用户接口206可例如经由第三数据接口耦合至一个或多个处理器102中的每个处理器。第三数据接口可以包括任何有线和/或无线的一个或多个第三链路224。此外，位置传感器106可例如经由第三数据接口耦合至一个或多个处理器102中的每个处理器。
一个或多个处理器102中的每个处理器214、216、218可包括各种类型的基于硬件的处理设备。作为示例，每个处理器214、216、218可包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器，或适合用于运行应用以及用于图像处理和分析的任何其他类型的设备。在一些方面，每个处理器214、216、218可包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等。这些处理器类型可各自包括具有本地存储器和指令集的多个处理单元。此类处理器可包括用于从多个图像传感器接收图像数据的视频输入，并且还可包括视频输出能力。
本文中所公开的处理器214、216、218中的任一者可被配置成用于根据可被存储在一个或多个存储器202中的一个存储器中的程序指令来执行某些功能。换言之，一个或多个存储器202中的一个存储器可存储在由处理器(例如，由一个或多个处理器102)执行时控制系统(例如，安全性系统)的操作的软件。例如，一个或多个存储器202中的存储器可存储一个或多个数据库和图像处理软件、以及经训练的系统(诸如，神经网络、或深度神经网络)。一个或多个存储器202可包括任何数量的随机存取存储器、只读存储器、闪存、盘驱动器、光存储、磁带存储、可移动存储、以及其他类型的存储。
在一些方面，安全性系统200可进一步包括诸如用于测量交通工具100的速度的速度传感器108(例如，速度计)之类的组件。安全性系统还可包括用于测量交通工具100沿一个或多个轴线的加速度的一个或多个(单轴或多轴)加速度计(未示出)。安全性系统200可进一步包括附加传感器或不同的传感器类型，诸如超声波传感器、热传感器、一个或多个雷达传感器110、一个或多个光检测和测距传感器112(其可集成在交通工具100的前照灯中)等等。雷达传感器110和/或光检测和测距传感器112可以被配置成用于提供经预处理的传感器数据，诸如雷达目标列表或光检测和测距目标列表。第三数据接口可以将速度传感器108、一个或多个雷达传感器110、以及一个或多个光检测和测距传感器112耦合至一个或多个处理器102中的至少一个处理器。
一个或多个存储器202可将数据存储在例如数据库中或以任何不同格式存储数据，这些数据例如指示已知地标的位置。一个或多个处理器102可以处理交通工具100的环境的传感信息(诸如图像、雷达信号、来自对两个或更多个图像的光检测和测距或立体处理的深度信息)以及位置信息(诸如GPS坐标、交通工具的自我运动等)，以确定交通工具100相对于已知地标的当前位置，并细化对交通工具的位置的确定。该技术的某些方面可以被包括在定位技术(诸如映射和路由模型)中。
此外，安全性系统200可包括例如在高级驾驶辅助系统(ADAS)和/或驾驶辅助系统及自动化驾驶系统中实现的驾驶模型。作为示例，安全性系统200可以包括(例如，作为驾驶模型的一部分的)形式模型(诸如，安全性驾驶模型)的计算机实现方式。安全性驾驶模型可以是或可包括对适用于自驾驶(地面)交通工具的可适用法律、标准、政策等的解释进行形式化的数学模型。安全驾驶模型可被设计为实现例如三个目标：第一，法律的解释在它符合人类如何解释法律的意义上应该是合理的；第二，解释应该带来有用的驾驶策略，这意味着它将带来灵活的驾驶策略而不是过度防御性的驾驶，该过度防御性的驾驶不可避免地会使其他人类驾驶员感到迷惑并将阻塞交通，并且进而限制系统部署的可扩展性；以及第三，在可以严格地证明自驾驶(自主)交通工具正确地实现该法律的解释的意义上，解释应当是高效地可验证的。说明性地，安全驾驶模型可以是或可包括用于安全保障的数学模型，该数学模型实现对危险情况的恰当响应的标识和执行，使得可以避免自身导致的事故。
如上文所述，交通工具100可包括安全性系统200，还参考图2来描述该安全性系统200。
交通工具100可包括例如与交通工具100的引擎控制单元(ECU)集成或分离的一个或多个处理器102。
一般而言，安全性系统200可生成数据来控制或辅助控制ECU和/或交通工具100的其他组件，以直接地或间接地控制对交通工具100的驾驶。
图3描绘了根据本公开的一方面的传感器损坏/降级的示例。自主交通工具操作中的嵌入式系统可以依赖于一个或多个传感器来输出用于一个或多个感知操作的传感器数据。在图3中，传感器300示例性地被配置为图像传感器，尽管该配置旨在作为示例，并且本文所公开的原理和方法可以利用各种其他的传感器类型来实现，如将更详细地讨论。传感器300包括感测单元302，并且可以被配置成用于接收电磁辐射并将电磁辐射转换为电流和/或电压。此类感测单元的示例包括，但不限于电荷耦合器件(CCD)和/或有源像素传感器(CMOS)。感测单元302可以输出电流和/或电压。感测单元302可被连接到一个或多个处理器303，一个或多个处理器303可以接收所输出的电流和/或电压，并且可以诸如通过将所输出的电压和/或电流解释为表示一个或多个像素(这些像素形成图像)来解释感测单元302的输出。图像传感器303可以包括一个或多个透镜304，一个或多个透镜304可以是透明设备，这些透明设备被配置成用于改变一个或多个电磁波的传播和/或偏振的角度。图像传感器可任选地包括一个或多个光学元件306，一个或多个光学元件306可包括一个或多个透明表面，电磁辐射在到达透镜之前通过该一个或多个透明表面。根据本公开的一方面，任选的光学元件可被配置为挡风屏或屏蔽件。一个或多个任选的光学元件306可以保护透镜免受灰尘、碎片和/或机械损坏。
若干因素可以单独地或彼此结合地改变传感器300的输出。一个或多个透镜304和/或一个或多个任选的光学元件306可能遭受机械损坏，诸如刮坏、打破或其他。一个或多个透镜304和/或一个或多个任选的光学元件306可能被灰尘和/或碎片部分地覆盖，这可能会损害其数据检测。一个或多个透镜304和/或一个或多个任选的光学元件306可能呈现出老化，诸如发黄等。附加地或替代地，与新的感测单元302相比，感测单元302可能由于老化(例如附加的传感器噪音、死像素、改变的输出值)和/或机械损坏而输出经改变的电流和/或电压值。与新的传感器相比，上述损坏和/或老化考虑中的任何一者都可能改变传感器。
如上文所述，与在训练或验证的时间可用于嵌入式系统的输入数据相比，传感器降级、传感器损坏、传感器老化等可改变嵌入式系统的输入数据。换言之，嵌入式系统可以使用相对较新的传感器进行训练和/或验证；然而，随着时间的推移，由所述传感器输出的传感器数据可能改变(例如，由于传感器老化、传感器损坏等)。在一些情况下，执行各种本地适配和/或重新训练过程来补偿这些影响中的一些影响是可能的。这些本地适配和/或重新训练过程可以显著地增加对应设备的生命周期并降低服务强度。
然而，在对系统进行本地重新训练之后，系统不太可能按照原始规范执行。这在安全性敏感应用中可能特别地相关。此外，此类嵌入式系统经常使用复杂的计算资源进行验证，这些计算资源可能仅在嵌入式系统或其设备的外部可用。因此，存在补偿传感器降级，并重新验证经补偿的/经重新训练的嵌入式系统的的需求。
根据本公开的一方面，描述了用于分离对嵌入式系统的时间性更改的影响的方法。该方法可允许对系统进行测试和证实。该方法可利用具有经更新的传感器模型的合成数据生成，以克服用于训练和证实的原始传感器数据与当前传感器数据之间的差异，并对该差异进行补偿，当前传感器数据可能呈现出经更改的特性。传感器模型的插入可以允许利用定义的场景目录对系统进行重新证实，并且因此可以保留对原始规范的要求和认证的要求。进一步地，嵌入式系统可配备有监测设置，该监测设置可确定嵌入式系统是否正确地工作。
当嵌入式系统问题被检测到时(诸如当传感器被损坏或降级时)，根据当前的惯例，关闭集中训练的嵌入式系统直到问题可以被补救和/或嵌入式系统可以被重新验证的此类时刻可能是必要的。一个嵌入式组件的此类关闭可能进一步地影响整个系统，如果该系统被允许继续操作，则可能会降低系统的整体安全性。在本文中描述了用于对嵌入式系统进行重新训练和重新证实的技术和过程。此类重新训练和重新证实可以降低服务成本，减少系统停机时间，并增加安全性。
本公开包括用于改善具有基于传感器的感知功能的嵌入式系统适应于传感器的更改(例如，由于传感器老化、传感器损坏等造成的更改)的能力的策略和技术。这些策略和技术一般可包括：时间更改的系统功能的数学建模和分离的组合；使用所得到的模型检测并估计这些更改的过程；基于这些特征的检测和更改来生成合成数据；使用合成数据对系统进行本地重新训练和重新验证；以及基于更改模型来更新监测。根据本公开的一方面，本文所描述的原理和方法可以改善依赖传感器的设备(诸如感知设备和AI)的功能。根据本公开的另一方面，本文所公开的原理和方法可允许对嵌入式系统进行重新验证(例如包括本地重新验证或现场重新验证)。
图4示出了根据本公开的一方面的嵌入式感知系统的组件和信号流。该嵌入式感知系统可包括光学系统402、传感器子系统404、传感器数据408、和/或感知阶段410。光学系统可以包括一个或多个透镜和/或一个或多个任选的光学元件，诸如覆盖物或挡风屏。传感器通常刚性地连接至这些任选的光学元件，并且因此，任选的光学元件一般被假定是光学系统的一部分。虽然为了方便起见本文使用了该配置，但其中任选的光学元件不是光学系统的一部分的其他配置不应被排除。光学路径中的划痕或灰尘可能会降低传感器性能，并且因此降低系统性能。替代地或附加地，传感器可能经历传感器老化，这可能诸如通过降低传感器灵敏度、增加传感器噪音等负面地影响传感器数据的质量。
电磁波可通过光学系统并进入/到达传感器405，传感器405可将电磁波转换为电压和/或电流。该传感器可包括多个区域(例如，诸如与多个像素相对应的区域)，该多个区域各自与一个或多个单独的电压和/或电流相对应。传感器可电连接至传感器处理单元406，使得传感器处理单元406可接收一个或多个电压和/或电流。传感器处理单元406可以将这些一个或多个电压和/或电流转换为图像数据。
传感器子系统404可以处理这些数据。传感器子系统404的一个或多个组件可以将传感器数据发送到感知单元410。感知单元410可以包括传感器处理单元411和传感器处理单元412。传感器处理单元411和412可以对传感器数据执行一个或多个感知操作。此类感知操作可以包括但不限于：识别传感器数据内的对象、确定传感器数据内的对象的距离、确定传感器数据内的对象的速度或加速度、确定对象相对于交通工具的临界状态等。
如上文所述，光学系统的一个或多个方面可以随着时间的推移而(例如，通过老化、划痕、灰尘、碎片、或其他方式)降级。一个或多个设备和/或过程可以检测此类退化。例如，交通工具可以采用计算机视觉的原理来测试相机是否仍然是经校准的。例如，在透镜上存在划痕、或碎片或灰尘的情况下，预期传感器数据将包括一个或多个固定颜色和/或亮度的像素，或以其他方式呈现出其传感器数据输出的、与受影响的传感器区域有关的可标识的改变。例如，像素的集群可以保持黑暗。尽管在任何单独的帧中，黑暗像素的集群可能不表明光学系统降级，但在没有光学系统降级的情况下，系统可能期望诸如当交通工具转向时，黑暗像素的集群移动。如果黑暗像素的集群甚至在交通工具转向或旋转时保持静止，这可能是对黑暗像素是光学系统上的碎片或对光学系统的损坏的结果的指示。类似地，老化可能使一个或多个透镜表现出具有降低的透明度/更大的半透明度或不透明度。老化可能会改变一个或多个透镜和/或一个或多个任选的光学元件的颜色。传感器降级可能导致附加的传感器噪声、经改变的传感器颜色输出、降低的灵敏度、死像素、或其他。一个或多个处理器可以被编程用于识别不透明度、半透明度、透明度和/或颜色的改变，这改变可能指示光学系统的老化。光学系统降级的计算机检测的示例出于说明性目的而被提供，并不旨在是限制性的。
如何检取经更改的光学设置的示例是通过动态校准，动态校准是能够检取投影相机参数的技术。类似地，各种技术可用于通过分析随着时间推移的图像统计信息或观察场景点而检测色差等。此类技术可提供经更新的估计传感器模型。
如果一个或多个处理器(例如监测系统的一个或多个处理器)检测到光学系统的降级，则该一个或多个处理器可以重新配置嵌入式系统的一个或多个方面。这可以包括系统的适配或重新训练；系统更改的估计；重新证实；或其他。
图5描述了根据本公开的一方面的传感器数据评估系统。在该系统中，传感器子系统502可以包括一个或多个传感器和任选的一个或多个对应的传感器光学系统。如上文所述，传感器系统可以检测信息(例如，诸如在交通工具附近区域的周围)并输出表示检测到的信息的传感器数据。感知模块504可以从传感器子模块502接收所输出的数据并执行一个或多个感知操作。这些感知操作可以包括但不限于，对传感器数据内的对象的检测和/或对一个或多个对象属性(例如，速度、加速度、距离、临界状态等)的检测。感知模块504可以向监测系统506输出对象信息和/或对象属性信息。替代地或附加地，监测系统506可以从传感器子系统502接收传感器输出数据。替代地或附加地，监测系统可以从感知模块504接收传感器输出数据。监测系统506可以被配置成用于检测传感器缺陷(例如，诸如由于损坏的、肮脏的、和/或老化的传感器光学系统；传感器老化、损坏的传感器、或其他造成的传感器缺陷)。监测系统506可包括一个或多个处理器，该一个或多个处理器可被配置成用于分析传感器输出数据和/或感知模块输出信息以检测传感器缺陷。
根据本公开的一方面，监测系统可被配置成用于针对每个检测到的传感器缺陷来声明传感器故障。根据本公开的另一方面，监测系统可被配置成用于评估检测到的传感器缺陷的重要性，使得传感器错误或传感器缺陷的量级必须被确定以便声明传感器故障。以此方式，监测系统506可以被配置成用于不针对检测到的每个以及每一个传感器缺陷来声明传感器故障，而是仅针对超过预定阈值的、在预定范围之外的传感器缺陷或以其他方式呈现出足够量级的传感器缺陷来声明传感器故障。
在检测到足够量级的传感器缺陷时，系统可以声明故障508。该故障可以在监测系统506中、或在本文所述的任何一个或多个处理器中被注意到或被检测到。本文所述的任何一个或多个处理器可被配置成用于向一个或多个其他处理器发送表示检测到的故障的信号。所述信号的发送可以经由任何有线或无线方法来实现。
如本文所描绘，如果故障未被检测到，则传感器子系统502和或感知模块504的输出可以再次被评估以检测传感器的缺陷。以此方式，可以实现对传感器子系统502的持续的、频繁的、定期的或其他方式的评定，从而减少传感器缺陷检测的延迟和/或增加检测到传感器缺陷的速度。
如果传感器缺陷被检测到，则一个或多个处理器可以发起传感器重新配置510。重新配置510可包括重新训练或其他自适应步骤，以对时间像差(例如传感器缺陷)进行补偿并估计系统特性并且对系统特性进行更新。这些将被更详细地描述。
在重新配置510之后，系统可以执行重新证实514。重新证实514可以包括：从第一测试数据输出生成第二测试数据输出，其中第二测试数据基于传感器缺陷信息，并且其中第二测试数据与第一测试数据不同。也就是说，表示一个或多个工作(例如无缺陷的和/或新的和/或理想的)传感器的传感器输出的第一测试数据可以通过所确定的传感器缺陷进行修改，以反映具有所确定的缺陷(或多个缺陷)的传感器在给定与第一测试数据中使用的相同的传感器输入时将输出的传感器输出数据。例如，这可以由人工神经网络来执行。一个或多个处理器可被配置成用于确定第一测试数据输出与第二测试数据输出之间的差异；并且如果第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则一个或多个处理器可被配置成用于发送表示所确定的差异的结果的信号。根据本公开的一方面，如果结果在预定范围内，那么一个或多个处理器可以认为具有传感器缺陷的一个或多个传感器已经被重新证实。根据本公开的另一方面，系统可以被配置成使得当结果在预定范围之外时发生重新证实。如上文所述，一个或多个工作传感器表示不呈现出传感器缺陷的一个或多个传感器。例如，这可以是新的和/或完全可操作的传感器。附加地或替代地，这可以被理解为理想的或完美运行的传感器。在本公开的部分中，一个或多个工作传感器可被称为一个或多个第一传感器。类似地，呈现出传感器缺陷的一个或多个传感器可被称为一个或多个第二传感器。
如果证实是成功的，则该过程可以重新开始，并且一个或多个处理器可以接收和评定本文中的506中描述的传感器数据。如果证实是不成功的，则该过程可以结束516，并且一个或多个处理器可以实现一个或多个安全性动作。例如，如果证实是不成功的，则一个或多个处理器可以发送指令以使交通工具停车，直到必要的维护和/或修理可以被执行。
根据本公开的一方面，重新训练可能仅涉及图4中所示的感知系统的第一阶段，即要素411。该系统可以使用一种或多种机器学习技术执行重新训练。根据本公开的一方面，并且可以使用无监督式机器学习技术。
根据本公开的一方面，一个或多个处理器可以在设备上本地地执行重新训练。例如，在如本文所述的传感器证实过程是针对自主交通工具执行的情况下，位于交通工具内的一个或多个处理器可本地地执行如本文所述的重新训练过程。尽管这可以在任何配置中使用，但在与其他设备的传输和/或通信受到限制的情况下(诸如在有限的接收、有限的带宽、或其他情况下)，这可能是特别期望的。替代地或附加地，在期望设备继续操作的情况下，在本地地执行重新训练可能是有益的。例如，在自主交通工具的上下文中，执行重新训练可能是期望的，以便交通工具可以尽快再次可用于操作，而不是要求将交通工具运输到远程位置进行重新训练。
替代地，并且根据本公开的另一方面，一个或多个远程地定位的处理器(例如，不在交通工具中)可以执行重新训练。这可以通过将交通工具连接到一个或多个远程站(例如在修理店中)，和/或通过使用一个或多个边缘服务或云服务器来执行重新训练来执行，其中，传感器降级信息和/或第二测试数据被传送到该边缘服务或云服务器。
图6描绘了根据本公开的一方面的系统重新证实600。该系统可以包括所捕获的传感器数据602，该传感器数据602可以是从一个或多个传感器输出的传感器数据。说明性地，所述传感器数据可以与从表示交通工具附近区域的传感器输入检测到的传感器数据相对应。一个或多个处理器可以相对于注释基础实施604评定传感器数据，以发现一个或多个传感器缺陷。传感器缺陷可以包括，例如，传感器故障(例如，像素故障和传感器退化)。一个或多个处理器可以通过假定场景参数的连续性来检测/估计由检测到的传感器缺陷引起的更改。例如，如果传感器旋转被检测到，那么可以跟踪随时间推移的场景点。在场景从可操作的像素移动到有缺陷的(例如，非可操作的)像素时，降级可以被估计出。一个或多个处理器也可以利用该原理来估计光学路径的更改(例如划痕、透镜损坏、任选的光学元件损坏等)。
一个或多个处理器可以将这些所确定的更改应用于诸如场景数据库606内的一个或多个场景。该系统可以包括场景数据库606，场景数据库606可以包括一个或多个验证场景。此类场景可以包括用于证实的传感器数据输入。一个或多个处理器可以利用一个或多个计算机图形方法或其他传感器模拟技术来表征传感器输入。一个或多个处理器可以修改传感器输入，以适应多个不同的传感器，包括但不限于图像传感器、雷达传感器、音频传感器，以及其他传感器。传感器输入可以被本地地存储(例如，在交通工具中)、在云服务器上、在外部设施中或其他地方。
系统可以包括世界模拟/渲染引擎608，世界模拟/渲染引擎608可以被配置成用于渲染与来自第一传感器(例如，新传感器、无传感器缺陷的传感器或工作传感器)的输出相对应的传感器数据输出，该第一传感器接收来自场景数据库606中的一个或多个场景的传感器输入。以此方式，来自世界模拟/渲染引擎608的传感器数据可以表示将由接收传感器验证输入的新的或无缺陷的传感器输出的传感器数据。
该系统可进一步包括传感器建模引擎610，传感器建模引擎610可被配置成用于对从包括检测到的传感器缺陷的传感器(例如第二传感器)输出的传感器数据进行建模。如上文所述，元件602和604可以检测系统的一个或多个传感器内的一个或多个传感器损害。传感器损害可被传递给传感器模型610，传感器模型610随后可使用来自场景数据库606中的场景创建模拟，因为传感器损害将从呈现出检测到的传感器缺陷的传感器中被检测到。以此方式，来自场景数据库606的传感器输入数据可以由传感器模型610接收，并且传感器模型610可以根据所述数据来输出反映来自具有所确定的传感器缺陷的假想传感器的检测到的传感器数据的传感器数据输出。以此方式，使得两个模型变得可用于比较：表示完美传感器的传感器数据的第一模型，该完美传感器的传感器数据作为解释来自场景数据库606的场景；以及具有第二传感器的检测到的传感器损害的假想传感器的传感器数据，该假想传感器的传感器数据作为解释来自场景数据库606的场景。
如本文所述，更新传感器模型可用于数据合成以模拟所估计的更改。这可允许系统对如原始证实中使用的相同场景数据库重新证实自己。常规地，利用真实数据来训练感知功能。当使用监督式方法进行训练时，这通常利用经注释的基础事实数据来执行。由于此类经注释的基础事实数据是通常利用新的(即未经更改的)传感器捕获的数据，因此所捕获的数据反映出理想的情况，并且在对经更改的传感器进行重新训练之后，在感知功能的性能评估中不一定产生现实的结果。由此，该系统可以使用合成地生成的数据，该数据基于来自重新配置阶段的经更新的传感器模型而生成。这可以强制要求原始合成测试数据适应于改变的传感器条件，并对经更改的和经重新训练的感知模块给予更有意义的证实。
一个或多个处理器可被配置成用于将这些更改建模为矩阵上的像素更改，使得每个像素与矩阵条目相对应。以此方式，一个或多个处理器可以掩蔽掉“死像素”。替代地或者附加地，一个或多个处理器可以被配置成用于通过函数来对类似的降级进行建模(包括噪声和经更改的值映射)。
应注意，本文所描绘的感知引擎被划分为阶段I感知612和阶段II感知614。这可以表示传统的划分，其中阶段I感知612表示快速计算以提取视觉场景的低级属性，并且其中阶段II感知614包括模式感知和对象识别。本文所描述的原理和方法可以在该两阶段系统内，或者在其他数量或阶段配置的系统内被执行。就使用该两阶段系统而言，该系统可以任选地被配置成使得传感器评估(如果其发生)可以相对于对象和/或模式识别在阶段II内被执行。本文所公开的原理和方法可以允许系统在阶段I 612内执行传感器评估。替代地，传感器评估可以在具有对两个模型的访问权以进行比较的任何其他要素中执行。
性能评估模块616可以评估模型比较的结果。在对从世界模拟渲染引擎608输出的传感器数据(例如第一测试数据)和从传感器模型610输出的传感器数据(例如第二测试数据)进行比较时，性能评估模块616可以确定这些集合之间的差异的大小。该比较可以得出表示检测到的第一传感器数据的传感器数据与第二传感器的检测到的传感器损害所产生的传感器数据之间的差异大小，并且如果该差异在预定的阈值之外，则一个或多个处理器可以检测故障。如果该差异在预定的阈值内，则一个或多个处理器可认为传感器缺陷是可接受的，并且一个或多个处理器可认为系统被重新证实。
根据本公开的一方面，系统可以包括生成对抗网络(GAN)技术，以对一个或多个所确定的传感器缺陷进行补偿。以此方式，一个或多个处理器可以利用一个或多个GAN技术来获得与具有所确定的传感器缺陷的传感器相对应的传感器输出数据。使用GAN技术的一个或多个处理器可以接收具有所确定的传感器缺陷的传感器的传感器输出数据，并且可以输出恢复GAN的传感器数据，该恢复GAN的传感器数据表示不具有所确定的传感器缺陷的传感器输出数据的近似。
根据本公开的一方面，一个或多个证实场景可以被存储在场景数据库和/或场景库中。这些证实场景可提供用于证实的传感器输入。一个或多个处理器可以被配置成用于借助渲染(诸如使用计算机图形或其他传感器模拟技术(例如针对雷达、音频和其他))向传感器提供场景。根据本公开的一方面，该系统可以包括一个或多个屏幕，在这些屏幕上描绘/显示场景。一个或多个图像传感器可被配置成用于检测来自一个或多个屏幕的传感器信息，并用于输出表示检测到的场景的传感器数据。该技术可以被调整以适应各种传感器，诸如雷达、音频或其他。
图7描绘了传感器数据评估设备700，包括人工神经网络702，包括输入层703和输出层704，其中人工神经网络702被配置成用于接收输入层703中的第一测试数据，处理第一测试数据，并从输出层704输出第一测试数据输出，其中第一测试数据表示检测传感器输入的工作传感器的传感器数据(例如，由第一传感器检测到的数据)；以及一个或多个处理器706，一个或多个处理器706被配置成用于接收表示第二传感器的缺陷的传感器缺陷信息；生成第二测试数据，其中第二测试数据基于传感器缺陷信息，并且其中第二测试数据与第一测试数据不同；实现人工神经网络702以接收输入层703中的第二测试数据，处理第二测试数据；并且从输出层704输出第二测试数据输出；确定第一测试数据输出与第二测试数据输出之间的差异；以及如果第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
图8描绘了传感器数据评估的方法，包括：接收第一测试数据输出，表示具有接收到的第一测试数据的人工神经网络的输出，其中第一测试数据表示检测传感器输入的工作传感器(例如第一传感器)的传感器数据802；接收表示传感器缺陷的传感器缺陷信息804；生成第二测试数据，其中第二测试数据基于传感器缺陷信息，并且其中第二测试数据与第一测试数据不同806；实现人工神经网络以接收输入层中的第二测试数据，处理第二测试数据；并从输出层输出第二测试数据输出808；确定第一测试数据输出与第二测试数据输出之间的差异810；以及如果第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号812。
本文所述的第二测试数据可以表示通过检测到的传感器缺陷信息对第一测试数据的修改，以便反映出如将被具有所确定的传感器缺陷的传感器检测到的传感器输入(例如来自场景数据库)。以此方式，一个或多个处理器可以以标准化的格式对具有所确定的传感器缺陷的传感器的传感器输出进行近似，使得它可以容易地与证实数据进行比较，该证实数据作为与场景数据库内的场景相对应的传感器输出数据。
第一测试数据与第二测试数据之间的差异可以以任何期望的方式进行表征。根据本公开的一方面，第一测试数据输出与第二测试数据输出之间的差异可以是数字差异、统计差异、概率差异、符合一个或多个规则的差异、符合一个或多个关系的差异，或其任何组合。
一旦被确定，一个或多个处理器(例如性能评估模块616)可以确定第一测试数据与第二测试数据之间的差异大小，并且如果第一测试数据与第二测试数据之间的差异大小在预定的阈值之外，则一个或多个处理器可以被配置成用于向交通工具发送表示停止操作的指令的信号。以此方式，可以确保交通工具不会由于有缺陷的传感器/传感器损害而不安全地操作。
替代地或附加地，如果第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围内或满足一个或多个预定标准，则一个或多个处理器(例如性能评估模块616)可以被配置成用于发送表示传感器证实的信号。以此方式，可以确认检测到的传感器损害不足以损坏传感器输出数据，以便保证禁用交通工具或以其他方式中断服务。这提供了用于评估传感器损害的重要来源的真实性，并作出关于需要中断交通工具使用的确定，以便传感器损害可以被修复或被补救的机制。
传感器损害可包括降低传感器数据的质量或准确性的任何状况。不作为限制，传感器损害可包括：对传感器的机械损坏、对传感器覆盖物的机械损坏、传感器的光学路径中的一个或多个不透明的障碍物、由于传感器老化而引起的传感器数据质量的降低，或其任何组合。
根据本公开的一方面，一个或多个处理器可以被配置成用于忽视具有传感器损害的传感器的传感器输出数据，对于具有传感器损害的传感器而言，第一测试数据与第二测试数据之间的差异在预定范围之外。在自主交通工具中，已知利用传感器冗余，其中多个类似或相同的传感器被用来彼此测试，或在传感器故障的情况下作为彼此的备份。如果检测到传感器损害，并且如果与传感器损害相对应的第二测试数据与第一测试数据之间的差异在预定范围之外，则一个或多个处理器可以被配置成用于忽视或忽略来自传感器的传感器输出数据，并且因此依赖于来自一个或多个冗余传感器的传感器输出。
替代地或附加地，如果传感器损害涉及传感器数据的有限部分(例如，有限数量的被损坏的或死亡的像素和/或一个或多个透镜和/或一个或多个任选的光学元件的有限区域)，则一个或多个处理器可以被配置成用于忽略或忽视与有限部分相对应(例如与有限数量的被损坏的或死亡的像素相对应)的传感器数据。以此方式，一个或多个处理器可以通过忽略或忽视具有高不准确性可能性的传感器数据来改善数据集合的质量。根据本公开的另一方面，一个或多个处理器可以创建第三测试数据，该第三测试数据表示来自呈现出传感器缺陷的传感器的传感器数据输出，并接收来自场景数据库的场景作为传感器输入，从该传感器数据中忽视或忽略与传感器数据的有限部分相对应的传感器数据输出。例如，在检测到死亡像素的情况下，第三测试数据可以是与死亡像素相对应的数据已经从其中被删除、被屏蔽或以其他方式被处理的第二测试数据。以此方式，一个或多个处理器可被配置成用于确定经修改的传感器缺陷信息，表示其中由一个或多个像素检测到的传感器信息被忽略的传感器的缺陷；生成第三测试数据，第三测试数据表示由经修改的传感器缺陷信息对第一测试数据的修改，在该经修改的传感器缺陷信息中，由一个或多个像素检测到的传感器信息被忽略；实现人工神经网络，以接收输入层中的第三测试数据，处理第三测试数据；并从输出层输出第三测试数据输出；确定第一测试数据输出与第三测试数据输出之间的差异；以及如果第一测试数据输出与第三测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
如本文所述，传感器可以是任何种类的传感器，但不作为限制。根据本公开的一方面，传感器可以包括一个或多个图像传感器、一个或多个相机传感器、一个或多个光检测和测距(LIDAR)传感器、一个或多个雷达传感器、一个或多个声学传感器，或其任何组合。
根据本公开的另一方面，系统可以进一步包括：附加的人工神经网络，该附加的人工神经网络包括输入层和输出层，其中附加的人工神经网络被配置成用于：接收表示由传感器检测到的环境的传感器数据，处理传感器数据，并从输出层输出经修改的传感器数据，该经修改的传感器数据表示如被修改以对传感器缺陷进行补偿的传感器数据。以此方式，一个或多个处理器可以进一步被配置成用于实现附加的人工神经网络，以接收输入层中的经修改的传感器数据，处理经修改的传感器数据，并从输出层输出第四测试数据输出；确定第一测试数据输出与第四测试数据输出之间的差异；以及如果第一测试数据输出与第四测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
根据本公开的一方面，附加的人工神经网络被配置成用于根据生成对抗网络技术处理传感器数据。
根据本公开的一方面，用于比较和/或验证的目的的预定范围可以包括对于给定实现方式所期望的任何相似度。也就是说，验证可以要求测试数据输出在一些可量化的量内是相同的、基本上相同的或相似的，一些可量化的量诸如通过百分比差、一个或多个标准差、统计学显著性或任何其他所期望的计算来计算出。
根据本公开的一方面，一个或多个预定标准可以包括驾驶决策的相似性，使得操作交通工具的一个或多个处理器将基于两个数据集合来选择相同的动作集合，或者操作交通工具的一个或多个处理器将选择其安全性与将使用来自工作传感器的数据选择的动作基本相当的一组动作。
下面将以示例的方式描述本公开的其他方面：
在示例1中，公开了一种传感器数据评估设备，包括：人工神经网络，该人工神经网络包括输入层和输出层，其中人工神经网络被配置成用于接收输入层中的第一测试数据，处理第一测试数据，并从输出层输出第一测试数据输出，其中第一测试数据表示检测传感器输出的工作传感器(例如第一传感器)的传感器数据；以及一个或多个处理器，该一个或多个处理器被配置成用于：接收表示传感器的缺陷的传感器缺陷信息；生成第二测试数据，其中第二测试数据基于传感器缺陷信息，并且其中第二测试数据与第一测试数据不同；实现人工神经网络以接收输入层中的第二测试数据，处理第二测试数据；并从输出层输出第二测试数据输出；确定第一测试数据输出与第二测试数据输出之间的差异；以及如果第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
在示例2中，公开了示例1的传感器数据评估设备，其中，第二测试数据表示由传感器缺陷信息对第一测试数据的修改，以反映出由具有传感器缺陷的传感器检测到的传感器输入。
在示例3中，公开了示例1或示例2的传感器数据评估设备，其中第一测试数据输出与第二测试数据输出之间的差异是数字差异、统计差异、概率差异、符合一个或多个规则的差异、符合一个或多个关系的差异或其任何组合。
在示例4中，公开了示例1至示例3中任一项的传感器数据评估设备，其中一个或多个处理器进一步被配置成用于在所确定的差异在一个或多个预定范围之外或不满足一个或多个预定标准时，向交通工具发送表示停止操作的指令的信号。
在示例5中，公开了示例1至示例4中任一项的传感器数据评估设备，其中一个或多个处理器进一步被配置成用于在第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围之内或满足一个或多个预定标准时，发送表示传感器证实的信号。
在示例6中，公开了示例1至示例5中任一项的传感器数据评估设备，其中传感器缺陷信息包括表示对传感器的机械损坏、对传感器覆盖物的机械损坏、传感器的光学路径中的一个或多个不透明的障碍物、由于传感器老化而引起的传感器数据质量的降低或其任何组合的信息。
在示例7中，公开了示例1至示例6中任一项的传感器数据评估设备，其中，如果第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则一个或多个处理器进一步被配置成用于标识与该差异相对应的一个或多个像素并用于忽略由该一个或多个像素检测到的传感器信息。
在示例8中，公开了示例7的传感器数据评估设备，其中，一个或多个处理器可被配置成用于：确定经修改的传感器缺陷信息，表示其中由一个或多个像素检测到的传感器信息被忽略的传感器的缺陷；生成第三测试数据，第三测试数据表示由经修改的传感器缺陷信息对第一测试数据的修改，在该经修改的传感器缺陷信息中，由一个或多个像素检测到的传感器信息被忽略；实现人工神经网络，以接收输入层中的第三测试数据，处理第三测试数据；并从输出层输出第三测试数据输出；确定第一测试数据输出与第三测试数据输出之间的差异；以及如果第一测试数据输出与第三测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
在示例9中，公开了示例1至8中任一项的传感器数据评估设备，其中传感器是图像传感器、相机传感器、光检测和测距(LIDAR)传感器、雷达传感器、声学传感器或其任何组合。
在示例10中，公开了示例1至示例9中任一项的传感器数据评估设备，其中，一个或多个处理器进一步被配置成用于确定传感器的缺陷。
在示例11中，公开了示例10的传感器数据评估设备，其中一个或多个处理器进一步被配置成用于通过使用至少两个传感器数据样本确定像素的实际传感器数据与像素的预期传感器数据之间的差异来确定传感器的缺陷。
在示例12中，公开了示例1至示例11中任一项的传感器数据评估设备，进一步包括：附加的人工神经网络，包括输入层和输出层被公开，其中，附加的人工神经网络被配置成用于接收表示如由传感器检测到的环境的传感器数据，处理该传感器数据，并从输出层输出表示如被修改以对传感器缺陷进行补偿的传感器数据的经修改的传感器数据。
在示例13中，公开了示例12的传感器数据评估设备，其中一个或多个处理器进一步被配置成用于：实现附加的人工神经网络，以接收输入层中的经修改的传感器数据，处理经修改的传感器数据，并从输出层输出第四测试数据输出；确定第一测试数据输出与第四测试数据输出之间的差异；以及如果第一测试数据输出与第四测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
在示例14中，公开了示例13的传感器数据评估设备，其中附加的人工神经网络被配置成用于根据生成对抗网络技术处理传感器数据。
在示例15中，公开了示例1至示例14中任一项的传感器数据评估设备，其中，第一测试数据和/或第二测试数据是模拟器数据。
在示例16中，公开了一种非暂态计算机可读介质，包括指令，该指令当被执行时使一个或多个处理器用于：接收第一测试数据输出，表示具有接收到的第一测试数据的人工神经网络的输出，其中第一测试数据表示检测传感器输入的工作传感器(例如第一传感器)的传感器数据；接收表示传感器的缺陷的传感器缺陷信息；根据第一测试数据生成第二测试数据，其中第二测试数据基于传感器缺陷信息，并且其中第二测试数据与第一测试数据不同；实现人工神经网络以接收第二测试数据，处理第二测试数据；并输出第二测试数据输出；确定第一测试数据输出与第二测试数据输出之间的差异；以及如果第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
在示例17中，公开了示例16的非暂态计算机可读介质，其中，第二测试数据表示由传感器缺陷信息对第一测试数据的修改，以反映出由具有传感器缺陷的传感器检测到的传感器输入。
在示例18中，公开了示例16或示例17的非暂态计算机可读介质，其中第一测试数据输出与第二测试数据输出之间的差异是数字差异、统计差异、概率差异、符合一个或多个规则的差异、符合一个或多个关系的差异或其任何组合。
在示例19中，公开了示例16至示例18中的任一项的非暂态计算机可读介质，其中指令进一步被配置成用于使一个或多个处理器用于：在所确定的差异在一个或多个预定范围之外或不满足一个或多个预定标准时，向交通工具发送表示停止操作的指令的信号。
在示例20中，公开了示例16至示例19中的任一项的非暂态计算机可读介质，其中指令进一步被配置成用于使一个或多个处理器用于：在第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围内或满足一个或多个预定标准时，发送表示传感器证实的信号。
在示例21中，公开了示例16至示例20中任一项的非暂态计算机可读介质，其中传感器缺陷信息包括表示对传感器的机械损坏、对传感器覆盖物的机械损坏、传感器的光学路径中的一个或多个不透明的障碍物、由于传感器老化而引起的传感器数据质量的降低或其任何组合的信息。
在示例22中，公开了示例16至示例21中任一项的非暂态计算机可读介质，其中，如果第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则指令进一步被配置成用于使一个或多个处理器标识与该差异相对应的一个或多个像素并忽略由该一个或多个像素检测到的传感器信息。
在示例23中，公开了示例22的非暂态计算机可读介质，其中，指令进一步被配置成用于使一个或多个处理器用于：确定经修改的传感器缺陷信息，表示其中由一个或多个像素检测到的传感器信息被忽略的传感器的缺陷；生成第三测试数据，第三测试数据表示由经修改的传感器缺陷信息对第一测试数据的修改，在该经修改的传感器缺陷信息中，由一个或多个像素检测到的传感器信息被忽略；实现人工神经网络，以接收输入层中的第三测试数据，处理第三测试数据；并从输出层输出第三测试数据输出；确定第一测试数据输出与第三测试数据输出之间的差异；以及如果第一测试数据输出与第三测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
在示例24中，公开了示例16至示例23中任一项的非暂态计算机可读介质，其中传感器是图像传感器、相机传感器、光检测和测距(LIDAR)传感器、雷达传感器、声学传感器或其任何组合。
在示例25中，公开了示例16至24中任一项的非暂态计算机可读介质，其中指令进一步被配置成用于使一个或多个处理器确定传感器的缺陷。
在示例26中，公开了示例25的非暂态计算机可读介质，其中指令进一步被配置成用于使一个或多个处理器用于：通过使用至少两个传感器数据样本确定像素的实际传感器数据与像素的预期传感器数据之间的差异来确定传感器的缺陷。
在示例27中，公开了示例16至示例26中任一项的非暂态计算机可读介质，进一步包括：附加的人工神经网络，包括输入层和输出层被公开，其中，附加的人工神经网络被配置成用于接收表示如由传感器检测到的环境的传感器数据，处理该传感器数据，并从输出层输出表示如被修改以对传感器缺陷进行补偿的传感器数据的经修改的传感器数据。
在示例28中，公开了示例27的非暂态计算机可读介质，其中指令进一步被配置成用于使一个或多个处理器用于：实现附加的人工神经网络，以接收输入层中的经修改的传感器数据，处理经修改的传感器数据，并从输出层输出第四测试数据输出；确定第一测试数据输出与第四测试数据输出之间的差异；以及如果第一测试数据输出与第四测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
在示例29中，公开了示例28的非暂态计算机可读介质，其中附加的人工神经网络被配置成用于根据生成对抗网络技术处理传感器数据。
在示例30中，公开了示例16至示例29中任一项的非暂态计算机可读介质，其中，第一测试数据和/或第二测试数据是模拟器数据。
在示例31中，公开了一种传感器数据评估的方法，包括：接收第一测试数据输出，表示具有接收到的第一测试数据的人工神经网络的输出，其中第一测试数据表示检测传感器输入的工作传感器(例如第一传感器)的传感器数据；接收表示传感器的缺陷的传感器缺陷信息；生成第二测试数据，其中第二测试数据基于传感器缺陷信息，并且其中第二测试数据与第一测试数据不同；实现人工神经网络以接收输入层中的第二测试数据，处理第二测试数据；并从输出层输出第二测试数据输出；确定第一测试数据输出与第二测试数据输出之间的差异；以及如果第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
在示例32中，公开了示例31的传感器数据评估方法，其中，第二测试数据表示由传感器缺陷信息对第一测试数据的修改，以反映出由具有传感器缺陷的传感器检测到的传感器输入。
在示例33中，公开了示例31或示例32的传感器数据评估方法，其中第一测试数据输出与第二测试数据输出之间的差异是数字差异、统计差异、概率差异、符合一个或多个规则的差异、符合一个或多个关系的差异或其任何组合。
在示例34中，公开了示例31至示例33中任一项的传感器数据评估方法，进一步包括：在所确定的差异在一个或多个预定范围之外或不满足一个或多个预定标准时，向交通工具发送表示停止操作的指令的信号。
在示例35中，公开了示例31至示例34中任一项的传感器数据评估方法，进一步包括：在第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围之内或满足一个或多个预定标准时，发送表示传感器证实的信号。
在示例36中，公开了示例31至示例35中任一项的传感器数据评估方法，其中传感器缺陷信息包括表示对传感器的机械损坏、对传感器覆盖物的机械损坏、传感器的光学路径中的一个或多个不透明的障碍物、由于传感器老化而引起的传感器数据质量的降低或其任何组合的信息。
在示例37中，公开了示例31至示例36中任一项的传感器数据评估方法，进一步包括：如果第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则标识与该差异相对应的一个或多个像素并忽略由一个或多个像素检测到的传感器信息。
在示例38中，公开了示例37的传感器数据评估方法，进一步包括：确定经修改的传感器缺陷信息，表示其中由一个或多个像素检测到的传感器信息被忽略的传感器的缺陷；生成第三测试数据，第三测试数据表示由经修改的传感器缺陷信息对第一测试数据的修改，在该经修改的传感器缺陷信息中，由一个或多个像素检测到的传感器信息被忽略；实现人工神经网络，以接收输入层中的第三测试数据，处理第三测试数据；并从输出层输出第三测试数据输出；确定第一测试数据输出与第三测试数据输出之间的差异；以及如果第一测试数据输出与第三测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
在示例39中，公开了示例31至示例38中任一项的传感器数据评估方法，其中传感器是图像传感器、相机传感器、光检测和测距(LIDAR)传感器、雷达传感器、声学传感器或其任何组合。
在示例40中，公开了示例31至示例39中任一项的传感器数据评估方法，进一步包括确定传感器的缺陷。
在示例41中，公开了示例40的传感器数据评估方法，进一步包括：通过使用至少两个传感器数据样本确定像素的实际传感器数据与像素的预期传感器数据之间的差异来确定传感器的缺陷。
在示例42中，公开了示例41的传感器数据评估方法，进一步包括：实现人工神经网络，以接收输入层中的经修改的传感器数据，处理经修改的传感器数据，并从输出层输出第四测试数据输出；其中附加的人工神经网络包括输入层和输出层，并且附加的人工神经网络被配置成用于：接收表示如由传感器检测到的环境的传感器数据，处理该传感器数据，并从输出层输出表示如被修改以补偿传感器的缺陷的传感器数据；确定第一测试数据输出与第四测试数据输出之间的差异；以及如果第一测试数据输出与第四测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
在示例43中，公开了示例42的传感器数据评估方法，其中附加的人工神经网络被配置成用于根据生成对抗网络技术处理传感器数据。
在示例44中，公开了示例31至示例43中任一项的传感器数据评估方法，其中，第一测试数据和/或第二测试数据是模拟器数据。
在示例45中，公开了一种用于传感器数据评估的装置，包括：人工神经网络装置，该人工神经网络装置包括输入层和输出层，其中人工神经网络装置被配置成用于接收输入层中的第一测试数据，处理第一测试数据，并从输出层输出第一测试数据输出，其中第一测试数据表示检测传感器输出的工作传感器(例如第一传感器)的传感器数据；以及一个或多个处理装置，该一个或多个处理装置被配置成用于：接收表示传感器的缺陷的传感器缺陷信息；生成第二测试数据，其中第二测试数据基于传感器缺陷信息，并且其中第二测试数据与第一测试数据不同；实现人工神经网络以接收输入层中的第二测试数据，处理第二测试数据；并从输出层输出第二测试数据输出；确定第一测试数据输出与第二测试数据输出之间的差异；以及如果第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
在示例46中，公开了示例45的用于传感器数据评估的装置，其中，第二测试数据表示由传感器缺陷信息对第一测试数据的修改，以反映出由具有传感器缺陷的传感器检测到的传感器输入。
在示例47中，公开了示例45或示例46的用于传感器数据评估的装置，其中第一测试数据输出与第二测试数据输出之间的差异是数字差异、统计差异、概率差异、符合一个或多个规则的差异、符合一个或多个关系的差异或其任何组合。
在示例48中，公开了示例45至示例47中任一项的用于传感器数据评估的装置，其中一个或多个处理器进一步被配置成用于在所确定的差异在一个或多个预定范围之外或不满足一个或多个预定标准时，向交通工具发送表示停止操作的指令的信号。
在示例49中，公开了示例45至示例48中任一项的用于传感器数据评估的装置，其中一个或多个处理器进一步被配置成用于在第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围之内或满足一个或多个预定标准时，发送表示传感器证实的信号。
在示例50中，公开了示例45至示例49中任一项的用于传感器数据评估的装置，其中传感器缺陷信息包括表示对传感器的机械损坏、对传感器覆盖物的机械损坏、传感器的光学路径中的一个或多个不透明的障碍物、由于传感器老化而引起的传感器数据质量的降低或其任何组合的信息。
在示例51中，公开了示例45至示例50中任一项的用于传感器数据评估的装置，其中，如果第一测试数据输出与第二测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则一个或多个处理器进一步被配置成用于标识与该差异相对应的一个或多个像素并用于忽略由该一个或多个像素检测到的传感器信息。
在示例52中，公开了示例51的用于传感器数据评估的装置，其中，一个或多个处理器可进一步被配置成用于：确定经修改的传感器缺陷信息，表示其中由一个或多个像素检测到的传感器信息被忽略的传感器的缺陷；生成第三测试数据，第三测试数据表示由经修改的传感器缺陷信息对第一测试数据的修改，在该经修改的传感器缺陷信息中，由一个或多个像素检测到的传感器信息被忽略；实现人工神经网络，以接收输入层中的第三测试数据，处理第三测试数据；并从输出层输出第三测试数据输出；确定第一测试数据输出与第三测试数据输出之间的差异；以及如果第一测试数据输出与第三测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
在示例53中，公开了示例45至示例52中任一项的用于传感器数据评估的装置，其中传感器是图像传感器、相机传感器、光检测和测距(LIDAR)传感器、雷达传感器、声学传感器或其任何组合。
在示例54中，公开了示例45至示例54中任一项的用于传感器数据评估的装置，其中，一个或多个处理器进一步被配置成用于确定传感器的缺陷。
在示例55中，公开了示例54的用于传感器数据评估的装置，其中一个或多个处理器进一步被配置成用于通过使用至少两个传感器数据样本确定像素的实际传感器数据与像素的预期传感器数据之间的差异来确定传感器的缺陷。
在示例56中，公开了示例45至示例55中任一项的用于传感器数据评估的装置，进一步包括：附加的人工神经网络，包括输入层和输出层被公开，其中，附加的人工神经网络被配置成用于接收表示如由传感器检测到的环境的传感器数据，处理该传感器数据，并从输出层输出表示如被修改以对传感器缺陷进行补偿的传感器数据的经修改的传感器数据。
在示例57中，公开了示例56的用于传感器数据评估的装置，其中一个或多个处理器进一步被配置成用于：实现附加的人工神经网络，以接收输入层中的经修改的传感器数据，处理经修改的传感器数据，并从输出层输出第四测试数据输出；确定第一测试数据输出与第四测试数据输出之间的差异；以及如果第一测试数据输出与第四测试数据输出之间的差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
在示例58中，公开了示例57的用于传感器数据评估的装置，其中附加的人工神经网络被配置成用于根据生成对抗网络技术处理传感器数据。
在示例59中，公开了示例45至示例58中任一项的用于传感器数据评估的装置，其中，第一测试数据和/或第二测试数据是模拟器数据。
尽管以上描述和相关附图可将电子设备组件描绘为单独的元件，但技术人员将会领会将分立的元件组合或集成为单个元件的各种可能性。此类可能性可包括：组合两个或更多个电路以用于形成单个电路，将两个或更多个电路安装到共同的芯片或基座上以形成集成元件，在共同的处理器核上执行分立的软件组件，等等。相反，技术人员将意识到可将单个元件分成两个或更多个分立的元件，诸如，将单个电路分解为两个或更多个单独的电路，将芯片或基座分成最初设置在其上的分立的元件，将软件组件分成两个或更多个部分并在单独的处理器核上执行每个部分，等等。
应当领会，本文中详述的方法的实现方式在本质上是说明性的，并且因此被理解为能够在相应的设备中实现。同样，应当领会，本文中详述的设备的实现方式被理解为能够被实现为相应的方法。因此，应当理解，与本文详述的方法对应的设备可以包括被配置成执行相关方法的每个方面的一个或多个组件。
以上描述中定义的所有首字母缩写词附加地包含在本文包括的所有权利要求中。

Claims (25)

1.一种传感器数据评估设备，包括：
人工神经网络，所述人工神经网络包括输入层和输出层，其中所述人工神经网络被配置成用于接收所述输入层中的第一测试数据，处理所述第一测试数据，并从所述输出层输出第一测试数据输出，其中所述第一测试数据表示检测传感器输出的第一传感器的传感器数据；以及
一个或多个处理器，所述一个或多个处理器被配置成用于：
接收表示第二传感器的缺陷的传感器缺陷信息；
生成第二测试数据，其中所述第二测试数据基于所述传感器缺陷信息，并且其中所述第二测试数据与所述第一测试数据不同；
实现人工神经网络以接收所述输入层中的所述第二测试数据，处理所述第二测试数据；并且从所述输出层输出第二测试数据输出；
确定所述第一测试数据输出与所述第二测试数据输出之间的差异；以及
如果所述第一测试数据输出与所述第二测试数据输出之间的所述差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
2.如权利要求1所述的传感器数据评估设备，其特征在于，所述第二测试数据表示由所述传感器缺陷信息对所述第一测试数据的修改，以反映出由具有所述传感器缺陷的所述第二传感器检测到的传感器输入。
3.如权利要求1所述的传感器数据评估设备，其特征在于，所述第一测试数据输出与第二测试数据输出之间的差异是数字差异、统计差异、概率差异、符合一个或多个规则的差异、符合一个或多个关系的差异或其任何组合。
4.如权利要求1所述的传感器数据评估设备，其特征在于，所述一个或多个处理器进一步被配置成用于在所确定的差异在所述一个或多个预定范围之外或不满足所述一个或多个预定标准时，向交通工具发送表示停止操作的指令的信号。
5.如权利要求1所述的传感器数据评估设备，其特征在于，所述一个或多个处理器进一步被配置成用于在所述第一测试数据输出与所述第二测试数据输出之间的所述差异在所述一个或多个预定范围之内或满足所述一个或多个预定标准时，发送表示传感器证实的信号。
6.如权利要求1所述的传感器数据评估设备，其特征在于，所述传感器缺陷信息包括表示对传感器的机械损坏、对传感器覆盖物的机械损坏、传感器的光学路径中的一个或多个不透明的障碍物、由于传感器老化而引起的传感器数据质量的降低或其任何组合的信息。
7.如权利要求1所述的传感器数据评估设备，其特征在于，如果所述第一测试数据输出与所述第二测试数据输出之间的所述差异在所述一个或多个预定范围之外或不满足所述一个或多个预定标准，则所述一个或多个处理器进一步被配置成用于标识与所述差异相对应的一个或多个像素并用于忽略由所述一个或多个像素检测到的第二传感器信息。
8.如权利要求7所述的传感器数据评估设备，其特征在于，所述一个或多个处理器进一步被配置成用于：
确定经修改的传感器缺陷信息，表示其中由所述一个或多个像素检测到的所述第二传感器信息被忽略的所述第二传感器的缺陷；
生成第三测试数据，所述第三测试数据表示由所述经修改的传感器缺陷信息对所述第一测试数据的修改，在所述经修改的传感器缺陷信息中，由所述一个或多个像素检测到的所述第二传感器信息被忽略；
实现所述人工神经网络以接收所述输入层中的所述第三测试数据，处理所述第三测试数据；并且从所述输出层输出第三测试数据输出；
确定所述第一测试数据输出与所述第三测试数据输出之间的差异；以及
如果所述第一测试数据输出与所述第三测试数据输出之间的所述差异在所述一个或多个预定范围之外或不满足所述一个或多个预定标准，则发送表示所确定的差异的结果的信号。
9.如权利要求1至8中任一项所述的传感器数据评估设备，其特征在于，所述第二传感器是图像传感器、相机传感器、光检测和测距(LIDAR)传感器、雷达传感器、声学传感器或其任何组合。
10.如权利要求1至8中任一项所述的传感器数据评估设备，其特征在于，所述一个或多个处理器进一步被配置成用于通过使用至少两个传感器数据样本确定像素的实际传感器数据与所述像素的预期传感器数据之间的差异来确定所述传感器的缺陷。
11.如权利要求1至8中任一项所述的传感器数据评估设备，进一步包括：附加的人工神经网络，所述附加的人工神经网络包括输入层和输出层，其中，所述附加的人工神经网络被配置成用于接收表示由所述第二传感器检测到的环境的第二传感器数据，处理所述第二传感器数据，并从所述输出层输出表示如被修改以对所述第二传感器缺陷进行补偿的所述第二传感器数据的经修改的第二传感器数据。
12.如权利要求11所述的传感器数据评估设备，其特征在于，所述一个或多个处理器进一步被配置成用于：
实现所述附加的人工神经网络以接收所述输入层中的所述经修改的第二传感器数据，处理所述经修改的第二传感器数据；并且从所述输出层输出第四测试数据输出；
确定所述第一测试数据输出与所述第四测试数据输出之间的差异；以及
如果所述第一测试数据输出与所述第四测试数据输出之间的所述差异在所述一个或多个预定范围之外或不满足所述一个或多个预定标准，则发送表示所确定的差异的结果的信号。
13.如权利要求12所述的传感器数据评估设备，其特征在于，所述附加的人工神经网络被配置成用于根据生成对抗网络技术处理所述第二传感器数据。
14.如权利要求1至8中任一项所述的传感器数据评估设备，其特征在于，所述第一测试数据和/或所述第二测试数据是模拟器数据。
15.一种包括指令的非暂态计算机可读介质，所述指令当被执行时，使一个或多个处理器用于：
接收第一测试数据输出，表示具有接收到的第一测试数据的人工神经网络的输出，其中所述第一测试数据表示检测传感器输入的第一传感器的传感器数据；
接收表示第二传感器的缺陷的传感器缺陷信息；
根据所述第一测试数据生成第二测试数据，其中所述第二测试数据基于所述传感器缺陷信息，并且其中所述第二测试数据与所述第一测试数据不同；
实现所述人工神经网络以接收所述第二测试数据，处理所述第二测试数据；并输出第二测试数据输出；
确定第一测试数据输出与所述第二测试数据输出之间的差异；以及
如果所述第一测试数据输出与所述第二测试数据输出之间的所述差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
16.如权利要求15所述的非暂态计算机可读介质，其特征在于，所述第二测试数据表示由所述传感器缺陷信息对所述第一测试数据的修改，以反映出如由具有所述传感器缺陷的传感器检测到的所述传感器输入。
17.如权利要求15所述的非暂态计算机可读介质，其特征在于，所述第一测试数据输出与所述第二测试数据输出之间的差异是数字差异、统计差异、概率差异、符合一个或多个规则的差异、符合一个或多个关系的差异或其任何组合。
18.如权利要求15所述的非暂态计算机可读介质，其特征在于，所述指令进一步被配置成用于使所述一个或多个处理器用于：在所述所确定的差异在所述一个或多个预定范围之外或不满足所述一个或多个预定标准时，向交通工具发送表示停止操作的指令的信号。
19.如权利要求15至18中任一项所述的非暂态计算机可读介质，其特征在于，所述指令进一步被配置成用于使所述一个或多个处理器用于：在所述第一测试数据输出与所述第二测试数据输出之间的差异在所述一个或多个预定范围内或满足所述一个或多个预定标准时，发送表示第二传感器证实的信号。
20.如权利要求15至18中任一项所述的非暂态计算机可读介质，其特征在于，所述传感器缺陷信息包括表示对传感器的机械损坏、对传感器覆盖物的机械损坏、传感器的光学路径中的一个或多个不透明的障碍物、由于传感器老化而引起的传感器数据质量的降低或其任何组合的信息。
21.如权利要求15至18中任一项所述的非暂态计算机可读介质，其特征在于，如果所述第一测试数据输出与所述第二测试数据输出之间的差异在所述一个或多个预定范围之外或不满足所述一个或多个预定标准，则所述指令进一步被配置成用于使所述一个或多个处理器标识与所述差异相对应的一个或多个像素并忽略由所述一个或多个像素检测到的传感器信息。
22.如权利要求21所述的非暂态计算机可读介质，其特征在于，所述指令进一步被配置成用于使所述一个或多个处理器用于：
确定经修改的传感器缺陷信息，表示其中由所述一个或多个像素检测到的传感器信息被忽略的所述第二传感器的缺陷；
生成第三测试数据，所述第三测试数据表示由所述经修改的传感器缺陷信息对所述第一测试数据的修改，在所述经修改的传感器缺陷信息中，由所述一个或多个像素检测到的所述传感器信息被忽略；
实现所述人工神经网络以接收所述输入层中的所述第三测试数据，处理所述第三测试数据；并且从所述输出层输出第三测试数据输出；
确定所述第一测试数据输出与所述第三测试数据输出之间的差异；以及
如果所述第一测试数据输出与所述第三测试数据输出之间的所述差异在所述一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
23.如权利要求15至18中任一项所述的非暂态计算机可读介质，其特征在于，所述传感器是图像传感器、相机传感器、光检测和测距(LIDAR)传感器、雷达传感器、声学传感器或其任何组合。
24.一种装置，包括：
一个或多个处理器；
存储器，所述存储器被耦合至所述一个或多个处理器，所述存储器存储指令，所述指令当由所述一个或多个处理器执行时使所述一个或多个处理器用于：
接收第一测试数据输出，表示具有接收到的第一测试数据的人工神经网络的输出，其中所述第一测试数据表示检测传感器输入的第一传感器的传感器数据；
接收表示第二传感器缺陷的传感器缺陷信息；
生成第二测试数据，其中所述第二测试数据基于所述传感器缺陷信息，并且其中所述第二测试数据与所述第一测试数据不同；
实现人工神经网络以接收所述输入层中的所述第二测试数据，处理所述第二测试数据；并且从所述输出层输出第二测试数据输出；
确定所述第一测试数据输出与所述第二测试数据输出之间的差异；以及
如果所述第一测试数据输出与所述第二测试数据输出之间的所述差异在一个或多个预定范围之外或不满足一个或多个预定标准，则发送表示所确定的差异的结果的信号。
25.如权利要求24所述的装置，其特征在于，所述指令进一步被配置成用于使所述一个或多个处理器用于：如果所述第一测试数据输出与所述第二测试数据输出之间的差异在所述一个或多个预定范围之外或不满足所述一个或多个预定标准，则标识与所述差异相对应的一个或多个像素并忽略由所述一个或多个像素检测到的传感器信息；
确定经修改的传感器缺陷信息，表示其中由所述一个或多个像素检测到的传感器信息被忽略的所述第二传感器的缺陷；
生成第三测试数据，所述第三测试数据表示由所述经修改的传感器缺陷信息对所述第一测试数据的修改，在所述经修改的传感器缺陷信息中，由所述一个或多个像素检测到的所述传感器信息被忽略；
实现所述人工神经网络以接收所述输入层中的所述第三测试数据，处理所述第三测试数据；并且从所述输出层输出第三测试数据输出；
确定所述第一测试数据输出与所述第三测试数据输出之间的差异；以及
如果所述第一测试数据输出与所述第三测试数据输出之间的所述差异在所述一个或多个预定范围之外或不满足所述一个或多个预定标准，则发送表示所确定的差异的结果的信号。
CN202111122603.5A 2020-09-24 2021-09-24 感知系统错误检测和重新验证 Pending CN114330473A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/030,423 US20210018590A1 (en) 2020-09-24 2020-09-24 Perception system error detection and re-verification
US17/030,423 2020-09-24

Publications (1)

Publication Number Publication Date
CN114330473A true CN114330473A (zh) 2022-04-12

Family

ID=74343826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111122603.5A Pending CN114330473A (zh) 2020-09-24 2021-09-24 感知系统错误检测和重新验证

Country Status (3)

Country Link
US (1) US20210018590A1 (zh)
EP (1) EP3974869A1 (zh)
CN (1) CN114330473A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021208988A1 (de) * 2021-08-17 2023-02-23 Zf Friedrichshafen Ag Trainingsverfahren zum Trainieren eines künstlichen maschinellen Lernsystems zur Erkennung von Fehlfunktionen und Fahrzeugvorrichtung
EP4202493A1 (en) * 2021-12-23 2023-06-28 GM Cruise Holdings LLC Adjusting radar parameter settings based upon data generated in a simulation environment
US11947511B2 (en) 2022-05-10 2024-04-02 Ghost Autonomy Inc. Indexing a data corpus to a set of multidimensional points
US11958500B1 (en) * 2022-05-10 2024-04-16 Ghost Autonomy Inc. Autonomous vehicle model training and validation using low-discrepancy sequences
EP4279946A1 (de) * 2022-05-20 2023-11-22 Leuze electronic GmbH + Co. KG Sensor und verfahren zur detektion von objekten mittels eines sensors
US11814086B1 (en) * 2022-10-20 2023-11-14 Rivian Ip Holdings, Llc Middleware software layer for vehicle autonomy subsystems

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2390895C (en) * 2001-06-18 2012-05-29 Globvision Inc. Data sensor validation system and method
CN111095149A (zh) * 2017-09-28 2020-05-01 英特尔公司 具有自修复能力的自主驾驶车辆的多模态感测
US11989861B2 (en) * 2017-11-28 2024-05-21 Intel Corporation Deep learning-based real-time detection and correction of compromised sensors in autonomous machines
WO2020040764A1 (en) * 2018-08-23 2020-02-27 Siemens Aktiengesellschaft System and method for validation and correction of real-time sensor data for a plant using existing data-based models of the same plant
US11508049B2 (en) * 2018-09-13 2022-11-22 Nvidia Corporation Deep neural network processing for sensor blindness detection in autonomous machine applications
DE102018128535B4 (de) * 2018-11-14 2021-09-02 Valeo Schalter Und Sensoren Gmbh Trainieren eines künstlichen neuronalen Netzwerks mit durch Sensoren eines Fahrzeugs erfassten Daten
DE102019215902A1 (de) * 2019-10-16 2021-05-20 Robert Bosch Gmbh Verfahren zur Bestimmung eines Gütegrades von Daten-Sätzen von Sensoren
US11592828B2 (en) * 2020-01-16 2023-02-28 Nvidia Corporation Using neural networks to perform fault detection in autonomous driving applications
US11308363B2 (en) * 2020-03-26 2022-04-19 Intel Corporation Device and method for training an object detection model

Also Published As

Publication number Publication date
EP3974869A1 (en) 2022-03-30
US20210018590A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
EP3974869A1 (en) Perception system error detection and re-verification
US11508049B2 (en) Deep neural network processing for sensor blindness detection in autonomous machine applications
US11604967B2 (en) Stereo depth estimation using deep neural networks
US11769052B2 (en) Distance estimation to objects and free-space boundaries in autonomous machine applications
CN111133447B (zh) 适于自主驾驶的对象检测和检测置信度的方法和系统
KR101963422B1 (ko) 자율 주행 가능 차량용 충돌-회피 시스템
CN113139642B (zh) 在自主驾驶应用中使用神经网络执行故障检测
US11693753B2 (en) Enhanced in-system test coverage based on detecting component degradation
US20200210726A1 (en) Distance to obstacle detection in autonomous machine applications
WO2020140049A1 (en) Distance to obstacle detection in autonomous machine applications
JP2023533507A (ja) 人間の運転振る舞いに基づいて軌跡プランナを最適化するシステム及び方法
CN111033298A (zh) 补偿异构传感器阵列中的传感器缺陷
US11721089B2 (en) Using temporal filters for automated real-time classification
CN113850391A (zh) 占用验证装置和方法
US20220114458A1 (en) Multimodal automatic mapping of sensing defects to task-specific error measurement
CN114841336A (zh) 修补用于自主机器应用的部署的深度神经网络
EP3850539B1 (en) Deep neural network processing for sensor blindness detection in autonomous machine applications
Katare et al. Autonomous embedded system enabled 3-D object detector:(With point cloud and camera)
Ravishankaran Impact on how AI in automobile industry has affected the type approval process at RDW
US11938939B1 (en) Determining current state of traffic light(s) for use in controlling an autonomous vehicle
CN116229390A (zh) 使用基于相机的输入用于自主系统和应用的基于深度学习的操作域验证

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination