CN114968189A - 用于自动驾驶系统的感知系统开发的平台 - Google Patents

用于自动驾驶系统的感知系统开发的平台 Download PDF

Info

Publication number
CN114968189A
CN114968189A CN202210152269.6A CN202210152269A CN114968189A CN 114968189 A CN114968189 A CN 114968189A CN 202210152269 A CN202210152269 A CN 202210152269A CN 114968189 A CN114968189 A CN 114968189A
Authority
CN
China
Prior art keywords
data
perceptual
perception
baseline
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210152269.6A
Other languages
English (en)
Inventor
芒努斯·于伦哈马尔
卡尔·桑登
马吉德·霍桑德·瓦基勒扎德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhe Xi Co
Original Assignee
Zhe Xi Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhe Xi Co filed Critical Zhe Xi Co
Publication of CN114968189A publication Critical patent/CN114968189A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/20—Software design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/73—Program documentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G06Q50/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7792—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being an automated module, e.g. "intelligent oracle"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves

Abstract

本发明涉及用于自动驾驶系统的感知系统开发的平台。此外，本发明通过利用采集车辆通过使用联合学习来开发与新的传感器硬件相关的新的感知特征以及开发用于现有传感器的新的算法的方法和系统。为了达成这个，采集车辆自身的世界观测被后处理并被用作开发中的软件(SW)或硬件(HW)的输出与其进行比较的参考。在基线世界观测与由被测试模块所感知的世界观测之间具有较大差异的情况下，数据被基线世界观测进行弱注释。随后，这种经弱注释的数据可以用于更新每个单独车辆中被测试模块中“感知模型”的软件参数，或者被传输到“后台”进行非车载处理或更准确的注释。

Description

用于自动驾驶系统的感知系统开发的平台
相关申请的交叉引用
本专利申请要求被转让给其受让人并且通过引用明确并入本文的、于2021年2月19日提交的、题为“用于自动驾驶系统的感知系统开发的平台”的、欧洲专利局申请第21158016号的优先权。
技术领域
本公开涉及用于对数据进行弱注释以训练配备有自动驾驶系统(ADS)的车辆的感知开发模块的方法和系统。
背景技术
在过去几年中，与自动车辆相关的研发活动数量激增，并且正在探索许多不同的方法。越来越多的现代车辆具有用于提高车辆安全性和更普遍的道路安全性的高级驾驶员辅助系统(ADAS)。ADAS(例如可以由自适应巡航控制、ACC、防撞系统、前向碰撞警告等表示)是可以在驾驶时帮助车辆驾驶员的电子系统。今天，在与ADAS和自动驾驶(AD)两者领域相关联的许多技术领域内都在进行研究和开发。在本文中，ADAS和AD是指与例如由驾驶自动化的SAE J3016级别(0-5)所定义的所有不同的自动化级别(并且特别是，级别4和5)相对应的通用术语自动驾驶系统(ADS)。
在不远的将来，预计ADS解决方案将进入大多数投放到市场上的新车中。ADS可以被解释为多种部件的复杂组合，该组合可以被定义为由电子和机械而不是人类驾驶员来进行感知、决策和车辆的操作的系统，并且可以被定义为将自动化引入道路交通。这包括车辆、目的地以及对周围的了解的处理。尽管自动化系统可以控制车辆，但是它允许人类操作员将所有或至少部分责任留给系统。ADS通常结合诸如雷达、激光雷达、声纳、摄像机、导航系统(例如GPS)、里程表和/或惯性测量单元(IMU)的多种传感器来感知车辆的周围，高级控制系统可以根据这些传感器来解释感测信息以识别适当的导航路径以及障碍物、自由空间区域和/或相关标志。
当前ADS的开发的大部分努力都围绕着将第一个系统安全地推向市场。但是，一旦实现这一目标，以安全和有效的方式改进系统是至关重要的，既要实现成本降低，又要实现性能提高。通常，存在与ADS的感知算法的开发和验证相关联的成本很高。感知算法(例如，“视觉”算法)依赖于用于训练机器学习模型的手工标记(注释)的数据的巨大的集合。创建这种手工标记的数据集不仅非常昂贵，而且非常耗时，尤其是在需要领域专业知识时。
因此，本领域需要新的解决方案以促进ADS的开发和验证，以能够持续提供更安全和更高性能的系统。特别是，需要用于识别适合用作ADS的感知算法中所使用的机器学习算法的训练数据的高质量数据的新的有效的解决方案。此外，这样的高质量数据可以有利地用于ADS特征的验证和确认以及促进新的ADS特征的开发。与往常一样，优选地在不对车载系统或平台的尺寸、功耗和成本产生重大影响的情况下进行改进。
发明内容
因此，本发明的一个目的是提供一种由计算系统执行的用于对数据进行弱注释以训练车辆的感知开发模块的方法、一种计算机可读存储介质、一种系统和一种包括诸如减轻目前已知系统和方法的所有或至少一些上述缺点的系统的车辆。
该目的是通过提供如所附权利要求书中限定的一种由计算系统执行的用于对数据进行弱注释以训练车辆的感知开发模块的方法、一种计算机可读存储介质、一种系统和一种车辆来实现的。在当前上下文中，术语“示例性”应理解为用作实例、示例或图示。
根据本发明的第一方面，提供了一种由计算系统执行的用于对数据进行弱注释以训练车辆的感知开发模块的方法，其中，车辆配备有ADS。该方法包括：在一时间段期间存储从被配置为监测车辆的周围环境的一组车载传感器获得的传感器数据。该方法进一步包括：在该时间段期间存储从车辆的感知模块获得的第一组感知数据。感知模块被配置为基于在该时间段期间从该组车载传感器中的一个或多个获得的传感器数据来生成第一组感知数据。进一步地，该方法包括：通过对第一组感知数据进行后处理，从所获得的第一组感知数据来形成基线世界观测(baseline worldview)。基线世界观测指示在该时间段期间车辆的周围环境。该方法进一步包括：在该时间段期间存储来自感知开发模块的第二组感知数据。感知开发模块被配置为基于感知模型和在该时间段期间从该组车载传感器中的一个或多个获得的传感器数据来生成第二组感知数据。第二组感知数据指示在该时间段期间车辆周围环境的感知参数。此外，该方法包括：相对所形成的基线世界观测评估第二组感知数据，以识别在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配。然后，如果识别出在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配，则该方法进一步包括：参考基线世界观测中的相对应的感知参数确定第二组感知数据的所匹配的感知参数的估计误差。此外，如果未识别出在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配，或者如果估计误差超过阈值，则该方法进一步包括：通过基于用于第二组感知数据的传感器数据的弱监督学习算法并且通过将基线世界观测用作经弱注释的数据以形成监督信号来更新感知开发模块的感知模型的一个或多个参数，或者将所存储的传感器数据、所存储的第二组感知数据和基线世界观测作为经弱注释的数据传输到远程实体以进行非车载处理。
根据本发明的第二方面，提供了一种存储一个或多个程序的(非暂时性)计算机可读存储介质，该一个或多个程序的被配置为由车载处理系统的一个或多个处理器执行，该一个或多个程序包括用于进行根据本文公开的实施例中的任何一个的方法的指令。对于本发明的这一方面，存在与先前讨论的本发明的第一方面类似的优点和优选特征。
如本文中所使用的，术语“非暂时性”旨在描述不包括传播电磁信号的计算机可读存储介质(或“存储器”)，但无意于以其他方式限制计算机可读介质或存储器这一措词所包含的物理计算机可读存储装置的类型。例如，术语“非暂时性计算机可读介质”或“有形存储器”旨在涵盖不一定永久地存储信息的存储装置的类型，包括例如随机存取存储器(RAM)。以非暂时性的形式存储在有形计算机可访问存储介质上的程序指令和数据可以进一步通过传输介质来传输或通过可以经由诸如网络和/或无线链路的通信介质进行传送的信号(诸如电、电磁或数字信号)来传输。因此，如本文中所使用的，术语“非暂时性”是对介质本身的限制(即，有形的，而非信号)，而不是对数据存储持久性的限制(例如，RAM与ROM)。
根据本发明的第三方面，提供了一种用于对数据进行弱注释以训练车辆的感知开发模块的系统，其中，车辆配备有ADS。该系统包括：控制电路，被配置为在一时间段期间存储从被配置为监测车辆的周围环境的一个或多个车载传感器获得的传感器数据。控制电路被进一步配置为在该时间段期间存储从车辆的(“采集平台”的)感知模块获得的第一组感知数据。感知模块被配置为基于在该时间段期间从一个或多个车载传感器获得的传感器数据来生成第一组感知数据。此外，控制电路被配置为通过对第一组感知数据进行后处理来形成指示在该时间段期间在车辆的周围环境中的情景的基线世界观测。控制电路被进一步配置为从感知开发模块获得第二组感知数据，其中，感知开发模块被配置为基于感知模型和在该时间段期间从一个或多个车载传感器获得的传感器数据来生成第二组感知数据。第二组感知数据指示在该时间段期间车辆周围环境的感知参数。此外，控制电路被配置为相对所形成的基线世界观测来评估所获得的第二组感知数据，以识别在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配。然后，如果识别出在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配，则控制电路进一步被配置为：参考基线世界观测中的相对应的感知参数来确定第二组感知数据的所匹配的感知参数的估计误差。更进一步地，如果未识别出在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配，或者如果估计误差超过阈值，则控制电路进一步被配置为执行以下至少一项：
·通过基于用于第二组感知数据的传感器数据的弱监督学习算法并且将基线世界观测用作经弱注释的数据以形成监督信号来更新感知开发模块的感知模型的一个或多个参数。
·将所存储的传感器数据、所存储的第二组感知数据和基线世界观测作为经弱注释的数据传输到远程实体以进行非车载处理。
对于本发明的这一方面，存在与先前讨论的本发明的第一方面类似的优点和优选特征。
根据本发明的第四方面，提供了一种车辆，包括被配置为监测车辆的周围环境的一组车载传感器。该车辆进一步包括：具有感知模块的自动驾驶系统(ADS)，该感知模块被配置为基于从一组车载传感器中的一个或多个获得的传感器数据来生成第一组感知数据。该车辆进一步具有：感知开发模块，被配置为基于感知模型和从一组车载传感器中的一个或多个获得的传感器数据来生成第二组感知数据；以及根据本文公开的实施例中的任何一个的用于对数据进行弱注释以训练感知开发模块的系统。对于本发明的这一方面，存在与先前讨论的本发明的第一方面类似的优点和优选特征。对于本发明的这一方面，存在与先前讨论的本发明的第一方面类似的优点和优选特征。
本文提出的方法、计算机可读存储介质、系统和车辆相应地提供了一种学习平台，该学习平台利用ADS的采集系统和传感器为自动驾驶应用中的各种感知特征的新软件和硬件版本进行联合学习过程。更详细地，本文提出的学习机制依赖于采集ADS的“世界观测”(即感知输出)的后处理，其性能已经过验证和核实，因此构建了一个将正在开发的软件/硬件的输出与其进行比较以生成经弱注释的训练数据的“基准”。从而，很容易在以下方面提供优点：
·实现能够高效开发新感知特征的、具有成本效益的数据注释引擎。
·一种用于查找适合于注释的数据(如果被注释，则可以提高正在开发的软件的性能的部分数据)的自动化解决方案。这降低了开发用于自动驾驶应用的新感知软件的注释成本。
·使得能够使用弱监督算法在车辆中本地更新正在开发的感知软件，这通过降低对人工数据注释的需求，大大降低了注释成本。
·对采集车辆中的可用采集资源的有效利用，以促进自动驾驶应用中的新的感知特征的开发。
·一种用于收集随后可以用于人工分析和/或人工注释在两个感知输出之间的不匹配的、用于开发自动驾驶应用中的新的感知特征的高质量数据的自动化解决方案。此外，同样的方法也适用于“检查”采集系统，以识别其中的潜在缺陷，从而提高采集系统本身的可靠性水平。
本发明的其他实施例在从属权利要求中限定。应该强调的是，当在本说明书中使用时，术语“包括”是用来指定存在所陈述的特征、整体、步骤或组件。它不排除一个或多个其他特征、整体、步骤、部件或其组的存在或添加。
参考下文中描述的实施例，以下将进一步阐明本发明的这些和其他特征和优点。
附图说明
本发明的实施例的其他目的、特征和优点将从下面参考附图的详细描述中变得明显，附图中：
图1是根据本发明的实施例的由计算系统执行的用于对数据进行弱注释以训练车辆的感知开发模块的方法的示意流程图表示，其中，车辆配备有自动驾驶系统(ADS)。
图2是以描绘车辆接近物体的时间发展的一系列场景的形式的、根据本发明的实施例的后处理方法的示意性俯视图。
图3是根据本发明的实施例的用于对数据进行弱注释以训练车辆的感知开发模块的系统的示意框图表示。
图4是根据本发明的实施例的用于识别在基线世界观测与来自感知开发模块的输出之间的匹配的评估过程的示意性透视图。
图5是根据本发明的实施例的用于识别在基线世界观测与来自感知开发模块的输出之间的匹配的评估过程的示意性俯视图。
图6是根据本发明的实施例的用于识别在基线世界观测与来自感知开发模块的输出之间的匹配的评估过程的示意性俯视图。
图7是根据本发明的实施例的包括用于对数据进行弱注释以训练车辆的感知开发模块的系统的车辆的示意性侧视图。
具体实施方式
本领域技术人员将理解的是，可以使用单独的硬件电路、使用与编程的微处理器或通用计算机配合工作的软件、使用一个或多个专用集成电路(ASIC)和/或使用一个或多个数字信号处理器(DSP)来实现本文说明的步骤、服务和功能。还将理解的是，当就方法而言描述本发明时，它也可以实施在一个或多个处理器和耦接到一个或多个处理器的一个或多个存储器中，其中，一个或多个存储器存储当由一个或多个处理器执行时执行本文公开的步骤、服务和功能的一个或多个程序。
在以下示例性实施例的描述中，相同的附图标记表示相同或相似的组件。
图1是根据本发明的实施例的由计算系统执行的用于车辆的感知开发模块的性能评估和用于对数据进行弱注释以训练/更新车辆的感知开发模块的方法100的示意流程图表示。也可以将方法100理解为由车载计算系统执行的用于感知开发模块的弱监督学习的方法100。该车辆进一步配备有自动驾驶系统(ADS)。可以将术语“感知开发模块”理解为“被测试模块”(MUT)，这意味着其为“新的”(开发中的)软件和/或硬件感知特征。感知特征可以例如是物体检测特征、物体分类特征、物体状态估计特征、道路参考估计特征、自由空间估计特征、道路摩擦估计特征、物体轨迹估计特征、目标/物体跟踪特征和/或可驱动区域估计特征。换句话说，在当前上下文中，感知开发模块可以被理解为被配置为生成感知输出的软件和/或硬件，其中，该模块目前“在开发中”，并且尚未“投入采集”(例如，未验证/核实)。
方法100包括：在一时间段期间存储101从一个或多个车载传感器获得的传感器数据。车载传感器可以由适合于感测和/或感知车辆的环境和/或行踪的任意传感器表示，并且可以例如是指雷达、激光雷达、声纳、摄像机、导航系统(例如，GPS)、里程表和/或惯性测量单元中的一种或一种或多种的组合。术语“获得”在本文中将被广义地解释，为并且包括接收、检索、收集、获取等。
方法100进一步包括：在该时间段期间存储102从车辆的感知模块(也可以称为感知系统)获得的第一组感知数据。感知模块被配置为基于在该时间段期间从一个或多个车载传感器获得的传感器数据来生成第一组感知数据。在当前上下文中，感知模块可以被理解为负责从诸如摄像机、激光雷达、雷达、超声波传感器、导航系统(例如，GPS)、里程表和/或惯性测量单元的机载传感器获取原始传感器数据并且将此原始数据转换为场景理解的系统。
术语“存储”感知/传感器数据可以是指“在一个或多个存储器中存储”、“在所述车辆上存储”、“在所述车辆上在一个或多个存储器中存储”和/或数字地和/或电子地存储一组感知/传感器数据，并且可以进一步是指“收集”和/或“获得”一组感知数据。另一方面，术语感知/传感器数据的“组”可以是指感知/传感器数据的“范围”、“数量”、“系列”、“连续和/或间歇流和/或集合”，而“感知数据”可以是指连续地和/或间歇地收集的感知数据。”此外，术语“感知”数据可以是指“环境评估”数据、“空间感知”数据、“经处理的感测”数据和/或“时间依赖性”数据，而感知“数据”可以是指感知“信息”和/或“估计”。另一方面，术语从感知模块“获得”可以是指从感知模型“导出”和/或“基于来自感知模块的输出数据”，而被配置为“生成该组感知数据”的感知模块可以是指适合于和/或配置为“估计所述车辆的环境”、“估计所述车辆的至少一部分环境”、“确定所述车辆的环境”、“解释与所述车辆的自动操纵相关的感测信息”和/或“估计所述车辆的环境并对所述车辆环境的未来状态进行模型预测”。
短语“在一时间段期间”存储可以是指存储“持续”一时间段，而从第一时间点到第二时间点的时间段“范围”可以是指从第一时间点“延伸”和/或“发生”到第二时间点的时间段。“时间段”可以是指“可预定时间段”和/或“预定时间段”。另一方面，“时间点”可以是指“时刻”，而“从第一时间点到第二时间点”可以是指“从第一时间点到随后的第二时间点”。
进一步地，方法100包括：通过对存储103的第一组感知数据进行后处理，形成102基线世界观测。基线世界观测包括指示在该时间段期间在车辆周围环境中的情景的信息。情景可以是该时间段期间的一个时间点处的瞬间场景，包括所检测到的物体的位置、物体类别/类型、车道标记的位置、车道标记的延伸、自由空间检测和/或所检测到的物体的轨迹。应当注意的是，该列表仅用于举例说明包括在“情景”中的参数，并且可以包括本领域技术人员容易理解的可由车辆的感知模块所检测到的其他参数。
现在将参照图2进一步举例说明后处理步骤103，图2描绘了一系列(a)-(d)示意性俯视图，该俯视图图示了朝向外部物体24沿道路部分移动的车辆1。每个图示与从第一时刻T1到第二时刻T2的时间段21范围内的时间点相关联。
在第一个图示(a)中，车辆1(也可以称为本车1)正朝向外部物体移动(在这里为在道路部分的邻近车道上在相同方向上行驶的卡车24的形式)。但是，由于与卡车24的距离，车辆的感知系统/模块可能无法以足够高的准确度确定外部物体的位置并且将它分类为卡车。这由用于示意性地指示检测和分类的“不确定性”的、包围卡车24的框22a指示。
在随后的时刻处，即图2的图示(b)，车辆1更靠近外部物体，并且，如与第一框22a相比的框22b的减小的尺寸所指示的，关于外部物体24的位置和类别/类型的不确定性是减小了的。
在随后的另一时刻处，即图2的图示(c)，车辆1的感知系统/模块能够准确地确定外部物体2的位置并将它分类为卡车2。更具体地，与本车1位于距离卡车更远的位置时相比，本车1现在足够靠近卡车2从而能够对它进行分类并以更高的准确度估计卡车在道路上的位置。
然后，如图2中的底部图示(即，图2的图示(d))中所指示的，通过适当的过滤技术并基于“情景”的时间发展，人们能够在T1与T2之间的中间时间点23处建立“基线世界观测”。更详细地，过滤可以例如基于结合车辆1和外部物体2的预定义模型(例如，运动模型)的轨迹、位置等的时间发展。该建立的基线世界观测随后可以用作“基本事实”，以训练和/或验证各种感知输出，并且特别是用于训练和/或验证从感知开发模块获得的输出。因此，在一些实施例中，基线世界观测构成第二组感知数据的基本事实。
根据一些实施例，形成102基线世界观测的步骤包括：基于对从第二时间点回溯到在第一时间点T1与第二时间点T2之间的中间时间范围的第一组感知数据的一部分进行后处理来确定指示车辆的周围环境的基线世界观测。基线世界观测相应地以第一组感知数据的该部分为条件的。此外，根据一些实施例，第一组感知数据的该部分的后处理包括使第一组感知数据的该部分通过后向滤波器。这里，后向滤波器被配置为基于从中间时间点到第二时间点T2的该组感知参数的状态的发展，在中间时间点处对齐第一组感知数据的一组感知参数。
换句话说，随着在时间从中间时间点23流逝到第二时间点T2时对车辆1环境的了解的增加并且通过在反向时间方向上分析数据，与“运行时”所能够做的相比，人们能够在中间时间点处以更高的准确度确定在车辆1环境中的物体的“状态”(即，类别、位置、轨迹等)。更详细地，后处理可以例如包括通过反向滤波器运行第一组感知数据，该反向滤波器被配置为将例如物体当前状态和预测的未来状态与未来—即，从中间时间点到第二时间点T2—所发生的对齐。后处理可以包括比通过反向过滤器运行后处理更进一步的处理步骤。更具体地，后处理可以包括融合来自多个传感器的数据，以及对所融合的信息应用后向和前向滤波。用于此目的的合适的滤波器可以例如是粒子滤波器或不同类型的卡曼滤波器(例如，扩展卡曼滤波器)。
回到图1，在一些实施例中，方法100可以进一步包括：检查所形成103的基线世界观测的可靠性。可靠性检查可以作为车辆中的所有传感器的输出的后处理的副产品，并且可靠性检查可以以与来自采集平台的感知模块的输出的后处理103类似的方式来执行。如果基线世界观测未通过可靠性检查，则可以通过将存储101的传感器数据和存储102的该组感知数据传输到远程实体(在远程实体处，可以对其进行人工分析)从而将整个相关联的情景存储为用于开发采集平台的感知模块的情景。
但是，在一些实施例中，后处理103可以被配置为固有地生成基线世界观测的可靠性的指示。更详细地，如图2中所描绘的，后处理模块通过处理由采集感知系统在例如[T1，T2]的一个时间间隔内所产生的数据来生成基线世界观测。进行图2的物体检测示例。在此时间段[T1，T2]期间，(由平台感知系统所使用)感知算法也可以输出对其检测的置信度。例如，物体检测算法可以指示物体是卡车的概率为85％，并且在每个时间戳处对卡车的位置进行不确定性估计。该信息随后可以用于估计人们可以信任基线世界观测的程度。例如，如果图2中车辆1前方的物体在T1到T2时间段期间被以50％的置信度分类为卡车，则由于在整个时间间隔期间对其物体类别的置信度太低(例如，低于某个阈值)，因此对其轨迹的后处理无法产生可靠的基线世界观测。但是，如果它被以90％的概率分类为卡车，则对这一信息的后处理将生成更“可靠”的基线世界观测。对于所检测到的物体轨迹的不确定性估计以及本文举例说明的其他感知参数，人们可以具有相同的推理路线。
如何测量基线世界观测的可靠性(或精确性)程度的另一个示例是测量例如所检测的物体的经后处理的轨迹与其在后处理之前的瞬时检测的偏差。较大的偏差因此意味着基线世界观测不太可靠。
这提供了额外的技术优势，因为由于任何差异都将会捕捉到(采集平台的)底层模型难以做出具体预测/估计/读取的情景。因此，人们基本上会捕捉高度不确定性(外部环境的不确定性)的案例。由于它(很可能)是困难的环境情景，因此这些案例对于训练未来的感知模型是有用的。因此，人们可以将这样的情景视为用于感知开发的所谓“极端案例”，并且通过存储这些场景，人们可以加速未来高性能系统的开发。基线世界观测的这种可靠性检查可以有利地在第二组感知数据的任何评估105之前进行，以避免将错误从采集平台的感知模块传播到感知开发模块。因此，在一些实施例中，仅当基线世界观测通过可靠性检查时，才进行参考基线世界观测的第二组感知数据的评估105。
方法100进一步包括：存储104来自感知开发模块的第二组感知数据。感知开发模块被配置为基于感知模型和在该时间段期间从一个或多个车载传感器获得的传感器数据来生成第二组感知数据。第二组感知数据指示在该时间段期间内的至少一个时刻处的车辆的周围环境的至少一个感知参数。例如，第二组感知数据可以包括指示在车辆的周围环境中的一组外部物体(例如，一个或多个车辆)的位置和分类的一组边界框。
在当前上下文中，术语“感知模型”将被理解为被配置为接收(原始的或具有某种级别的预处理的)传感器数据形式的输入并且因此生成包括车辆周围环境的至少一部分的表示的输出的软件算法。感知模型可以例如是神经网络的形式，并且模型参数可以相应地是网络权重的形式。
传感器数据、第一组感知数据和第二组感知数据可以例如被存储或保存在一个或多个数据缓冲区中。如已提到的，第一组感知数据和第二组感知数据可以例如是所检测到的物体或物体的状态和/或车辆定位，和/或从第一时间点T1到第二时间点T2连续和/或间歇地得出的未来状态的统计和物理模型预测。该时间段(以及相对应的可选数据缓冲区的长度)可以是例如考虑到数据容量限制和/或ADS的特性的、任何被认为可行的任意大小，并且范围可以例如从不到一秒到几分钟或更优选地从几秒到少于一分钟。
进一步地，方法100包括：针对所形成103的基线世界观测来评估105第二组感知数据，以识别在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配。换句话说，评估105可以额被解释为在第二组感知数据与形成的基线世界观测之间的比较步骤，以便识别在第二组感知数据中的一个或多个感知参数(例如，物体位置)与基线世界观测中的相对应的感知参数之间的匹配程度。因此，可以将本文使用的术语“相对所形成的基线世界观测来评估第二组感知数据”理解为“处理第二组感知数据和所形成的基线世界观测”，以识别在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配。
换言之，评估105的目的是将基于第二组感知数据所检测到的物体与来自基线世界观测的一个物体进行匹配，这两个物体都与现实世界中的一个唯一物体相对应。在将两组感知数据中的相对应的物体在一起匹配后，下一步是比较它们的感知参数(例如位置、速度、航向等)并评估MUT的性能。
根据说明性示例，评估105可以包括(例如，如图4中所图示的)将第二组感知数据中的所识别的车辆的位置与基线世界观测中的相对应的车辆的位置进行比较。将参照图4-6进一步举例说明和阐明匹配104过程。
进一步地，如果识别出在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配，则方法100进一步包括：参考基线世界观测中的相对应的感知参数来确定106第二组感知数据的所匹配的感知参数的估计误差(e)。估计误差(e)可以被解释为指示“匹配”的感知参数相关性有多好的参数。换句话说，在一些实施例中，估计误差(e)可以被解释为两个感知参数之间的“匹配程度”。
但是，如果未识别出在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配，或者如果所确定106的估计误差超过阈值(例如，零值)，则方法100进一步包括以下步骤中的至少一个。
·通过基于用于第二组感知数据的传感器数据的弱监督学习算法并且通过使用基线世界观测对第二组感知数据进行弱注释来更新107感知开发模块的感知模型的一个或多个参数。
·将所存储的传感器数据、所存储的第二组感知数据和基线世界观测作为经弱注释的数据传输108到远程实体以进行非车载处理。
需要注意的是，“不匹配”也可以通过趋向无穷大的估计误差来隐含地表示。
估计误差的阈值可以取决于被评估的感知参数的类型以不同的方式限定。例如，感知参数可以是物体位置估计或物体占用估计。则阈值可以是在第二组感知数据中的物体的边界框表示与基线世界观测中的相对应的物体的边界框表示之间的“最近点的最大横向和纵向偏移”的形式。术语“最近点”可以被理解为所检测到的物体离本车最近的点。但是，阈值也可以是两个边界框表示的任何点(例如，左下角、右上角等)的“最大横向和纵向偏移”的形式。
类似地，如果感知参数是自由空间估计，则阈值可以是在第二组感知数据的自由空间区域估计与基线世界观测之间的非重叠自由空间区域的“最大尺寸”(即，区域单元的数量)的形式。就集合论而言，这可以被理解为在由感知开发模块的自由空间估计所限定的自由空间集合与由基线世界观测所限定的自由空间集合之间的对称差异。此外，在一些实施例中，存在与自由空间估计相关联的多个不同阈值，其中，阈值取决于“错误”部分相对于本车的位置。更详细地，人们可以采用“权重矩阵”或“权重图”，其中对于车辆周围场景的某些部分，估计误差的阈值较低。例如，靠近本车前方的准确度比在本车远处或本车侧面的准确度更重要。因此，在感知模型的更新过程107中，与车辆周围场景的某些部分中的错误估计相关联的惩罚更高。
因此，基于以上示例，可以认为对于本领域的读者来说，如何限定本文举例说明的各种感知参数的估计误差阈值是足够清楚的。关于阈值的值，该值可以基于参数的类型和/或基于感知开发模块的成熟度水平来设置。在一些实施例中，估计误差可以设置为零或高于零的任何值，这意味着如果在感知开发模块的输出与基线世界观测之间存在任何差异，则触发弱注释步骤。
此外，如果确定106的估计误差低于(或等于)阈值，即近似为零，则方法100进入处理缓冲数据的下一次迭代。
进一步地，在一些实施例中，方法100可以包括：基于所确定106的估计误差(e)来确定109成本函数，其中，成本函数指示感知开发模块的性能。换言之，一旦识别/建立了在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配，就可以计算指示“感知开发模块”进行得有多好的成本函数。此外，在一些实施例中，基于感知参数的类型确定成本函数(也可以称为损失函数)。换句话说，如果感知开发模块的感知模型是物体检测算法，则可以形成/定义一个成本函数，而如果它是车道跟踪/追踪算法，则可以形成/定义另一个成本函数。
更进一步地，一旦已确定/计算109成本函数，就可以通过被配置为最小化所计算的成本函数的优化算法(例如，神经网络的反向传播)来更新110感知开发模块的一个或多个参数。
然而，在一些实施例中，仅当在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的估计误差(e)低于或在阈值范围(例如，[0，x1])内时，才执行成本函数的确定109。因此，在不确定是否将第二组感知数据的感知参数与基线世界观测中的“错误的”感知参数进行了错误地比较的情况下，可以减轻尝试确定或计算成本函数的风险。
此外，在一些实施例中，仅对第二组感知数据和表示在车辆的周围环境中的感兴趣区域的基线世界观测执行第二组感知数据与所形成的基线世界观测的评估105。例如，人们可以限制在其内进行评估过程105的“区域”，使得人们仅比较表示特定检测范围内或距车辆一定距离内的区域的两个数据集。从而，由于远离车辆的物体更有可能与更高的不确定性相关联并且因此更难以“匹配”，因此它们可能会被忽略。类似地，人们可以在评估105期间忽略“较少相关”的区域，诸如控制通行的高速公路上的相对车道。此外，可以根据一个或多个车辆参数(诸如例如，本车的速度)来动态设置感兴趣区域。例如，如果车辆以低速(例如，<20km/h)行驶，则与车辆以高速(例如，>100km/h)行驶时的相对应的情况相比，感兴趣区域可以被设置为包括本车周围的较小区域。因此，这可能导致评估过程105的处理能力要求降低。
在一些实施例中，方法100进一步包括：将感知开发模块的感知模型的一个或多个经更新的参数传输111到远程实体。远程实体可以例如是能够接收数据并将数据传输到配备有ADS车辆的车队的中央系统或云系统。此外，在一些实施例中，方法100包括：从远程实体接收112感知开发模块的感知模型的一组全局更新的参数。相应地，该组全局更新的参数基于从包括感知开发模块的多个车辆获得的信息。一旦接收112到该组全局更新的参数，方法100可以进一步包括：基于所接收的该组全局更新的参数来更新113感知开发模块的感知模型。
换句话说，远程实体(也可以称为“后台”)整合整个车辆的车队中的每辆车所“学习到的”参数，并将感知开发模块的更新推送到车队中的每辆车。因此，人们可以利用整个采集车辆的车队(而不是少数专门的“测试车辆”)来开发和验证与ADS相关联的各种感知特征。此外，由于在车辆与远程实体之间传输的数据是“模型参数”(例如网络权重)的形式，而不是例如原始或处理后的传感器数据，因此在带宽要求、数据存储、数据安全、数据隐私和遵守数据法规方面的优点很容易实现。在当前上下文中，“后台”可以被理解为负责管理和维护部署在车辆车队中的ADS的中央实体。
用于进行这些功能的可执行指令可选地被包括在被配置为由一个或多个处理器执行的非暂时性计算机可读存储介质或其他计算机程序产品中。
因此，本发明提供了一种用于开发自动车辆的感知特征的连续发布的、具有时间效益和成本效益的解决方案。更详细地，本发明人意识到，一旦发布了“第一个”ADS并将其部署在采集车辆的车队中，人们就可以利用与该第一个版本相关联的巨大的努力(在时间和金融投资方面)来开发各种感知特征的连续版本。更详细地，本文建议使用“远在交通中”的车辆(即，采集车辆)来开发、测试和验证新的软件和硬件。本文提出的解决方案可以被理解为有效地使用在边缘处(在每个采集车辆中)的学习并且然后可能将所学习的参数/权重整合到中央/云单元中的联合学习的方案。换言之，本发明提供了一种通过利用采集车辆通过使用联合学习来开发与新的传感器硬件相关的新的感知特征以及开发用于现有传感器的新的算法的解决方案。
如已在前面的背景部分中提到的，用于自动驾驶的感知算法(诸如例如，“视觉”算法)依赖于用于训练机器学习模型的手工标记(注释)的数据的巨大的集合。创建这种手工标记的数据集不仅非常昂贵，而且非常耗时，尤其是在需要领域专业知识时。本发明旨在通过自动选择数据的最有信息的部分进行注释以及启用自动弱注释来缓解这些问题，并且从而减轻对巨大的手工标记的数据集的需求。
因此，本文提出了使用部署在采集车队中的感知平台来对可以显著提高与新传感器硬件相关联的新一代感知特征以及现有传感器的新算法的性能的数据集进行识别和弱注释。为了实现这点，提出了将车辆自身的世界观测供应作为将开发中的软件(SW)或硬件(HW)的输出与其进行比较的基准。在基线世界观测与由被测试模块所感知的世界观测之间具有较大差异的情况下，数据被基线世界观测弱(即“不准确地”)进行注释。随后，这种经弱注释的数据可以用于更新每个单独车辆中被测试模块中“感知模型”的软件参数，或者被传输到“后台”进行非车载处理或更准确的注释。本文提出的方法和系统有效地为“下一代”感知模块实现了具有成本效益的数据注释，从而降低了开发未来产品/系统所需的成本和时间精力。
换句话说，本发明人意识到，一旦在采集车辆中部署了ADS，就可以假设它已被证明至少在某些条件下是足够安全的(包括感知及其性能)。因此，本文提出了一种学习机制，其中，对ADS的世界观测进行后处理以构建可以将开发中的软件/硬件的输出与其进行比较的“基准”。通过这种比较，人们可以建立一个系统，该系统用于对开发中的模块的世界观测进行自动注释并且使用这些经弱注释的数据在每个采集车辆中进行本地弱监督学习，或者用于将经注释的数据发送到“后台”以进行离线处理或可能地进行更准确的注释。
图3是用于对数据进行弱注释以训练车辆的感知开发模块的系统10的示意性框图表示，其中，车辆配备有自动驾驶系统(ADS)。一般而言，图3描绘了从暴露于车辆中的事件到传输以及随后在“后台”2中整合的信息流。系统10包括被配置为执行本文公开的方法的功能的控制电路，其中，这些功能可以被包括在非暂时性计算机可读存储介质或被配置为由控制电路执行的其他计算机程序产品中。但是，为了更好地阐明本发明，控制电路在图3中被表示为多种“模块”，它们中的每一个都与一个或多个特定功能相关联。
应当注意的是，在“评估引擎”35中比较的“用于评估的感知输出”可以是任何类型的感知输出，例如物体、它们的状态、自由空间(没有物体)、车道、道路位置、可驾驶区域及其组合。在当前上下文中，自由空间区域可以被理解为在本车的周围环境中的没有物体(例如，其他车辆、行人、障碍物、动物、自行车、静态物体等)的区域。
系统10包括：控制电路，被配置为在一时间段期间存储从被配置为监测车辆的周围环境的一组车载传感器获得的传感器数据31。传感器数据31可以例如从雷达装置、激光雷达装置、摄像机和超声波传感器等中的一个或多个输出。控制电路进一步被配置为存储从车辆的感知模块32获得的第一组感知数据。感知模块32被配置为基于在该时间段期间从一个或多个车载传感器获得的传感器数据31来生成第一组感知数据。在当前上下文中，“感知模块”(即，采集平台的感知系统)将被理解为负责从车载传感器(例如，摄像机、激光雷达和雷达、超声波传感器)获取原始传感器数据并将这些原始数据转换为场景理解(即，“世界观测”，包括状态估计及其预测)的系统。
如已提到的，数据组可以例如被存储或保存在数据缓冲区中(未示出)中，其中，第一组感知数据和第二组感知数据可以被理解为指示车辆的环境的数据。例如，这可以是所检测到的物体或物体的状态和/或车辆定位，和/或从第一时间点T1到第二时间点T2连续和/或间歇地得出的未来状态的统计和物理模型预测。该时间段(以及相对应的可选数据缓冲区的长度)可以是例如考虑到数据容量限制和/或ADS的特性的、任何被认为可行的任意大小，并且范围可以例如从不到一秒到几分钟或更优选地从几秒到少于一分钟。
此外，系统10包括：后处理模块33，用于形成指示在该时间段期间在车辆的周围环境中的情景的基线世界观测。基线世界观测基于采集ADS的感知模块32所生成的感知数据形成。应当注意的是，术语“通过对第一组感知数据进行后处理形成”不一定意味着所有存储的数据都被后处理，而应被解释为存储的感知数据的至少一部分或至少一系列被后处理。
更进一步地，第二组感知数据由感知开发模块(即，被测试模块MUT)34生成。该第二组数据由系统10的“评估引擎”35获得或接收。感知开发模块34被配置为基于感知模型和在该时间段期间从一个或多个车载传感器获得的传感器数据来生成第二组感知数据。第二组感知数据可以被理解为来自MUT 34的“感知输出”，并且它指示车辆的周围环境的感知参数。例如，MUT 34可以包括车道追踪/跟踪算法或道路几何估计算法。相应地，来自MUT的输出可以是道路参考特征估计(诸如在该时间段期间在车辆的周围环境中的道路或车道几何形状的表示)。
此外，到感知开发模块34的输入可以是以下任何组合：现有采集传感器、它们的原始输出、原始检测或链中任何或多或少的处理状态。它也可以是新安装的传感器及其输出(即，不用于生成基线世界观测的传感器输出)的任何组合。例如，如果人们想要测试和评估与“采集平台的”物体检测算法相比的、基于来自新型传感器的不同类型的输入数据的物体检测算法。
评估引擎35被配置为参考所形成的基线世界观测来评估第二组感知数据，以识别在第二组感知数据的一个或多个感知参数与基线世界观测中的相对应的感知参数之间的匹配。换句话说，评估引擎35被配置为尝试将“用于评估的感知输出”与基线世界观测中的相对应的特征进行匹配。如果找到匹配，则评估引擎35进一步被配置为得出估计误差。
应当注意的是，在“评估引擎”35中比较的输出可以是任何类型的感知输出，例如物体、它们的状态或自由空间(没有物体)、车道、道路位置和可驾驶区域或其组合。
相应地，如果识别出在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配，则参考基线世界观测中的相对应的感知参数来确定的第二组感知数据的所匹配的感知参数的估计误差。但是，如果未识别出在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配，或者如果估计误差超过阈值，则评估引擎可以向学习引擎36传输信号。
该被传输的信号可以包括指令，该指令通过基于用于第二组感知数据的传感器数据的弱监督学习算法并且通过使用基线世界观测对第二组感知数据进行弱注释来更新感知开发模块34的感知模型的一个或多个参数。可替代地或附加地，系统可以被配置为将经弱注释的数据传输到后台2以进行离线处理(例如，人工注释或分析)。传输到后台的数据也可以有利地用于改进采集平台的感知模块32。
此外，在一些实施例中，评估引擎35被配置为参考基线世界观测来评估所获得的第二组感知数据以确定成本函数。更详细地，成本函数基于所确定的估计误差来计算，并且指示感知开发模块的性能。
然后，可以将所确定的成本函数传输到学习引擎36，学习引擎36被配置为通过被配置为最小化所计算的成本函数的优化算法(例如，神经网络的反向传播)来更新感知开发模块34的感知模型的一个或多个参数。
此外，学习引擎36被进一步配置为将一个或多个本地更新的参数传输到远程实体2，在远程实体2处，它们与从车队中的其他车辆接收的更新整合，并且然后被作为一组全局更新的参数传输回学习引擎36。然后，学习引擎36可以基于所接收的该组全局更新的参数来更新感知开发模块34的感知模型。
本文提出的学习平台将视觉/感知基准本地地公开在平台内部，使得可以根据当前需要来定制用于感知开发模块34的评估或学习的比较/成本函数。进一步地，提出了该平台包括用于实现比较以及学习步骤所需的冗余计算能力。
总之，系统10提供了一种用于通过将来自“被测试模块”34的输出与基线世界观测(用作基本事实)进行比较来对数据进行弱注释以训练车辆的感知开发模块的手段。在一些实施例中，可以通过可定制的成本函数来评估该比较。如果发现成本函数的值超过了设定的阈值，或者如果在两个输出之间发现不匹配(例如，如果不能对世界观测的部分进行匹配以获得用于计算成本函数的可靠值)，则基线世界观测可以用作被测试模块34的世界观测的弱注释。与手工标记的世界观测相比，由于在基线世界观测中的可能的不确定性和不准确性，因此它被称为世界观测的弱注释。随后，可以以两种不同的方式使用经弱注释的数据：
·可以将经弱注释的数据馈送到每个单独车辆中的弱监督学习算法。由此，人们可以在本地更新感知模型参数，并将经更新的参数传输到“后台”进行整合。
·可以将弱注释的数据被发送到后台进行更准确的注释或分析，这也可以用于改进采集平台。
例如，在这两个选项之间的选择可以取决于能够作为采集车辆中的所有传感器的输出的后处理的副产品而获得的基线世界观测的置信度。如果在“基线世界观测”与经后处理的传感器世界观测之间的差异是在基线世界观测具有固有低置信度的区域中，或者如果“感知开发模块”34非常不成熟，那么它可以从后台中人工注释的数据中受益匪浅。但是，与使用巨大的数据集并花费大量时间和精力进行审查和分析以找到用于监督学习的“合适的”数据集的传统数据注释过程相比。本文提出的解决方案也可以被用于自动提供用于离线处理(例如，人工标记)的高质量数据集，这大大减少了为自动驾驶应用开发新感知模型所需的时间和精力。
从更全面的角度来看，本文公开的方法和系统可以用于根据以下阶段来开发和启动新的感知软件或硬件版本。首先，具有学习阶段或时期以及整合时期，在整合时期中，新的模块根据图1和图3中描绘的流程进行更新。一旦达到足够的成熟度，就将所整合的模型参数推送到车辆车队进行验证。在该验证中，不执行该步骤(过程的“学习部分”，即参考图3)，学习引擎36被“短路”。因此，仅使用过程的评估部分。然后，如果新的模块在车辆的车队的每辆车中都通过了验证阶段(即，故障率足够低)，则可以启动最终的软件。但是，如果验证失败，则人们可以返回起点并开始过程的新的迭代。
图4是用于将第二组感知数据与所形成的基线世界观测进行匹配的匹配过程的示意性透视图。在示出的示例中，第二组感知数据包括物体检测估计，以及如何将阈值之外的两个数据集之间的匹配传播到评估引擎34和学习引擎36以更新车辆1的感知开发模块的模型参数或将经弱注释的数据传输到“后台”2的示例。所确定的估计误差(如双箭头所指示)可以例如是在第二组感知数据中所指示的所检测到的物体41周围的边界框与基线世界观测中的相对应的物体42周围的边界框之间的位置差。
此外，图4还用于阐明前面描述的匹配过程。在这里，对于感知开发模块所检测到的两辆车41a至41b，识别出在第二组感知数据的感知参数(物体)与基线世界观测中的相对应的感知参数(物体)之间的匹配，而对于第三辆车41c，没有识别出匹配。对于识别出的匹配，确定估计误差并将其与阈值进行比较。在无法识别/建立匹配的情况下(即，图4中虚线圆圈内的物体)，人们可以将这个感知参数41c的估计误差定义为“无穷大”或某个“最大值”。
例如，如果第二组感知数据指示本车前方的蓝色车辆和红色车辆，则匹配过程确保红色车辆与基线世界观测中的相对应的红色车辆匹配，并且蓝色车辆与基线世界观测中的相对应的蓝色车辆匹配。否则，感知开发模块的感知模型可能被以错误的数据(基于错误的结论)训练，这将降低感知开发模块的性能。因此，如图4中所图示的，由感知开发模块所检测到的第三辆车41c与基线世界观测中的任何车辆都没有足够接近，因此评估引擎无法识别任何匹配。
由于两个感知输出中的物体都没有导致完美匹配，因此可以得出结论，感知开发模块的感知模型生成了对周围环境的不准确表示。因此，为了更新感知模型的一个或多个参数，人们可以利用弱监督学习算法，其中，用于生成第二组感知数据的传感器数据和基线世界观测一起形成“训练数据集”或“训练示例”。更具体地，用于第二组感知数据的传感器数据形成“输入物体”，并且基线世界观测被用作经弱注释的数据以形成“监督信号”(即，“期望输出”)。
图5和图6以车道几何估计算法(图5)和自由空间检测算法(图6)的形式示出了感知模型的相对应的评估过程。更详细地，图5是根据本发明的实施例的车辆在道路部分上行驶的示意性俯视图。道路部分具有两条车道，并且在车辆1前方向左弯曲。“真实”车道标记由附图标记53指示，基线世界观测的车道几何估计由附图标记52指示，而感知开发模块的车道几何估计由附图标记51指示。与之前类似，识别在感知开发模块的输出的车道轨迹与基线世界观测之间的不匹配，并且基线世界观测被用作经弱注释的数据，弱注释数据用于通过弱监督学习算法来更新感知开发模块的感知模型的一个或多个参数或用于传输到后台。在这里，估计误差55被指示为车道几何估计51、52的位置/几何形状之间的差。更详细地，感知开发模块的车道几何估计51未能生成一些区域(由附图标记55指示)中的车道标记的表示。此外，在一些实施例中，评估是在像素级别上、在图像平面中进行的。因此，人们可以直接在像素级别上评估和训练摄像机软件。
进一步地，图6是根据本发明的实施例的车辆在道路部分上行驶的示意性俯视图。道路部分具有两条车道以及位于车辆前方的两辆汽车和一台拖拉机形式的三个外部物体63。由采集平台进行的自由空间估计(即，基线世界观测的自由空间估计)由附图标记62指示，而感知开发模块的自由空间估计由附图标记61指示。在示出的示例中，估计误差65'、65”简单地由指示两个自由空间估计61、62的非重叠部分的测量或度量得出。就集合论而言，这可以被理解为在由感知开发模块的自由空间估计61所限定的自由空间集合与由基线世界观测所限定的自由空间估计62之间的对称差异。
与以上参考图4和图5所讨论的示例实施例类似，如果不匹配或估计误差65'、65”高于阈值，则所存储的数据被用于训练感知开发模块的感知模型或被传输到后台2进行进一步分析。但是，如图6中所指示的，感知开发模块的自由空间估计62与两个不同的估计误差65'、65”相关联，其中，与“基本事实”61的较小偏差由附图标记65'指示，而较大偏差由附图标记65”指示。在该示例中，较大的偏差或估计误差65”被认为高于某个“最大误差阈值”，并且数据被传输到后台2进行人工注释/进一步分析。另一方面，较小的偏差或估计误差65'被认为低于该“最大阈值”，并且因此可以用于根据前述实施例的本地更新感知模型。
如已提到的，自由空间区域可以被理解为在本车的周围环境中的没有物体(例如，其他车辆、行人、障碍物、动物、自行车、静态物体等)的区域。因此，可以将自由空间区域的位置理解为不存在外部物体(静态和动态物体)的区域的估计。人们可以以类似的方式考虑可“行驶区域”的估计，其中，除了不存在物体的区域(如在自由空间的情况下)的估计之外，还包括路面的存在的估计。
图7描绘了包括根据本发明的实施例的用于对数据进行弱注释以训练配备有ADS的车辆的感知开发模块的系统10的车辆1的示意性侧视图。车辆1进一步包括感知模块/系统6(即，采集平台的感知系统)和定位系统5。在当前上下文中，感知系统6将被为负责从机载传感器6a、6b、6c(例如，摄像机、激光雷达和雷达、超声波传感器)获取原始传感器数据并将该原始数据转换为情景理解的系统。定位系统5被配置为监视车辆的地理位置和航向，并且可以以诸如GPS的全球导航卫星系统(GNSS)的形式。但是，可替代地，定位系统可以被实现为实时动态(RTK)GPS，以提高准确性。
更详细地，感知模块/系统6可以是指例如被包括在车辆1的一个或多个电子控制模块和/或节点中的、适合于和/或配置为解释与车辆1的驾驶相关的感测信息以识别例如障碍物、车道、相关标志、适当的导航路径等的任何公知的系统和/或功能。因此，示例性感知系统6可以适合于依赖并获得来自多个数据源(诸如汽车成像、图像处理、计算机视觉和/或车内网络等)的结合感测信息的输入。这种示例性感测信息可以例如从包括在车辆1中的和/或在车辆1上提供的一个或多个可选的周围检测传感器6得到。周围检测传感器6可以由适合于感测和/或感知车辆1的环境和/或行踪的任意传感器表示，并且可以例如是指雷达、激光雷达、声纳、摄像机、导航系统(例如，GPS)、里程表和/或惯性测量单元中的一种、或一种或多种的组合。
系统10包括一个或多个处理器11、存储器12、传感器接口13和通信接口14。处理器11也可以称为控制电路11或控制电路系统11。控制电路11被配置为执行存储在存储器12中的指令，以进行根据本文公开的实施例中的任何一个的用于对数据进行弱注释以训练车辆1的感知开发模块的方法。换言之，控制装置10的存储器12可以包括用于存储计算机可执行指令的一个或多个(非暂时性)计算机可读存储介质，当计算机可执行指令由一个或多个计算机处理器11执行时，例如可以使计算机处理器11执行本文描述的技术。可选地，存储器12包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储装置；并且，可选地，包括非易失性存储器，诸如一个或多个磁盘存储装置、光盘存储装置、闪存装置或其他非易失性固态存储装置。
控制电路11被配置为在一时间段期间存储从被配置为监测车辆的周围环境的一个或多个车载传感器获得的传感器数据。控制电路11被进一步配置为在该时间段期间存储从车辆的(“采集平台”的)感知模块6获得的第一组感知数据。感知模块6被配置为基于在该时间段期间从一个或多个车载传感器6获得的传感器数据来生成第一组感知数据。此外，控制电路11被配置为通过对第一组感知数据进行后处理来形成指示在该时间段期间在车辆的周围环境中的情景的基线世界观测。
控制电路11被进一步配置为从感知开发模块(未在图7中示出)获得第二组感知数据，其中，感知开发模块被配置为基于感知模型和在该时间段期间从一个或多个车载传感器6获得的传感器数据来生成第二组感知数据。第二组感知数据指示在该时间段期间车辆周围环境的感知参数。应当注意的是，用于生成第一组感知数据的传感器数据不需要与用于生成第二组感知数据的传感器数据相同。在一些实施例中，第一组感知数据基于第一组传感器数据生成，而第二组感知数据基于第二组传感器数据生成。在一些实施例中，第一组传感器数据与第二组传感器数据相同，而在其他实施例中，第二组传感器数据是第一组传感器数据的子集。可替代地，第一组传感器数据不同于第二组传感器数据。
此外，控制电路11被配置为相对所形成的基线世界观测来评估所获得的第二组感知数据，以识别在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配。然后，如果识别出在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配，则控制电路进一步被配置为：参考基线世界观测中的相对应的感知参数来确定第二组感知数据的所匹配的感知参数的估计误差。
更进一步地，如果未识别出在第二组感知数据的感知参数与基线世界观测中的相对应的感知参数之间的匹配，或者如果估计误差超过阈值，则控制电路进一步被配置为执行以下至少一项：
·通过基于用于第二组感知数据的传感器数据的弱监督学习算法并且通过将基线世界观测用作基础事实以形成经弱注释的数据来更新感知开发模块的感知模型的一个或多个参数。
·将所存储的传感器数据、所存储的第二组感知数据和基线世界观测作为经弱注释的数据传输到远程实体以进行非车载处理。
此外，车辆1可以经由例如无线链路(例如，用于传输和接收模型参数)连接到外部网络20。相同或一些其他无线链路可以用于与车辆附近的其他车辆或与本地基础设施元件进行通信。蜂窝通信技术可以用于例如到外部网络的远程通信，并且如果所使用的蜂窝通信技术具有低延迟，则它也可以用于车辆之间、车辆到车辆(V2V)和/或车辆到基础设施V2X的通信。蜂窝无线电技术的示例是GSM、GPRS、EDGE、LTE、5G、5G NR等，还包括未来的蜂窝解决方案。但是，在一些解决方案中，使用诸如例如基于IEEE 802.11的解决方案的无线局域网(LAN)的中短距离通信技术。ETSI正在制定用于车辆通信的蜂窝标准，并且例如由于低延迟以及对高带宽和通信信道的有效处理，5G被认为是合适的解决方案。
上面已经参考特定实施例呈现了本发明。但是，除了上述实施例之外的其他实施例也是可能的，并且在本发明的范围内。在本发明的范围内，可以提供通过硬件或软件执行该方法的、与上述方法步骤不同的方法步骤。因此，根据示例性实施例，提供了一种存储一个或多个程序的(非暂时性)计算机可读存储介质，该一个或多个程序被配置为由车辆控制系统的一个或多个处理器执行，该一个或多个程序包括用于进行根据上述实施例中的任何一个的方法的指令。
一般而言，计算机可访问介质可以包括诸如电子、磁或光学介质的任何有形或非暂时性存储介质或存储器介质(例如，通过总线耦接到计算机系统的磁盘或CD/DVD-ROM)。如本文中所使用的，术语“有形”和“非暂时性”旨在描述不包括传播电磁信号的计算机可读存储介质(或“存储器”)，但无意于以其他方式限制计算机可读介质或存储器这一措词所包含的物理计算机可读存储装置的类型。例如，术语“非暂时性计算机可读介质”或“有形存储器”旨在涵盖不一定永久地存储信息的存储装置的类型，包括例如随机存取存储器(RAM)。以非暂时性的形式存储在有形计算机可访问存储介质上的程序指令和数据可以进一步通过传输介质来传输或通过可以经由诸如网络和/或无线链路的通信介质进行传送的信号(诸如电、电磁或数字信号)来传输。
处理器11(与系统10相关联)可以是或包括用于执行数据或信号处理或用于执行存储在存储器12中的计算机代码的任何数量的硬件部件。装置10具有相关联的存储器12，并且存储器12可以是用于存储数据和/或用于完成或促进本说明书中描述的各种方法的计算机代码的一个或多个装置。存储器可以包括易失性存储器或非易失性存储器。存储器12可以包括数据库组件、目标代码组件、脚本组件或用于支持本说明书的各种活动的任何其他类型的信息结构。根据示例性实施例，任何分布式或本地存储装置可以与本说明书的系统和方法一起使用。根据示例性实施例，存储器12(例如，经由电路或任何其他有线、无线或网络连接)可通信地连接到处理器11，并且包括用于执行本文所述的一个或多个处理的计算机代码。
应当理解的是，传感器接口13还可以提供直接或经由车辆中的专用传感器控制电路6获取传感器数据的可能性。通信/天线接口14可以进一步提供借助于天线8将输出发送到远程位置(例如，远程操作员或控制中心)的可能性。此外，车辆中的一些传感器可以使用诸如CAN总线、I2C、以太网、光纤等的本地网络设置来与系统10通信。通信接口14可以被布置为与车辆的其他控制功能通信，并且因此也可以被视为控制接口；但是，可以提供单独的控制接口(未示出)。车辆内的本地通信也可以是具有诸如WiFi、LoRa、Zigbee、蓝牙或类似中/短程技术的协议的无线类型。
应该注意的是，单词“包括”不排除所列出的元件或步骤之外的其他元件或步骤的存在，并且在元件之前的单词“一”或“该”不排除多个这样的元件的存在。还应注意的是，任何附图标记均不限制权利要求的范围，可以至少部分地通过硬件和软件两者来实现本发明，并且可以由相同的硬件项来表示多个“装置”或“单元”。
尽管附图可以示出方法步骤的特定顺序，但是步骤的顺序可以与所描绘的顺序不同。另外，可以同时或部分并发地进行两个或更多个步骤。例如，形成基线世界观测和获得第二组感知数据的步骤可以基于具体实现而互换。这种变化将取决于所选择的软件和硬件系统以及设计者的选择。所有这些变化都在本发明的范围内。同样，可以使用具有基于规则的逻辑和其他逻辑的标准编程技术来完成软件实现，以完成各种连接步骤、处理步骤、比较步骤和决策步骤。上面提到和描述的实施例仅作为示例给出，并且不应该限制本发明。在上文描述的专利实施例中要求保护的本发明范围内的其他解决方案、用途、目标和功能对于本领域技术人员而言应该是显而易见的。

Claims (14)

1.一种由计算系统执行的用于对数据进行弱注释以训练车辆的感知开发模块的方法(100)，其中，所述车辆配备有自动驾驶系统ADS，所述方法包括：
在一时间段期间存储(101)从被配置为监测所述车辆的周围环境的一组车载传感器获得的传感器数据；
在所述时间段期间存储(102)从所述车辆的感知模块获得的第一组感知数据，所述感知模块被配置为基于在所述时间段期间从所述一组车载传感器中的一个或多个获得的传感器数据来生成所述第一组感知数据；
通过对所述第一组感知数据进行后处理(103)，从所获得的第一组感知数据形成基线世界观测，所述基线世界观测指示在所述时间段期间所述车辆的所述周围环境；
在所述时间段期间存储(104)来自所述感知开发模块的第二组感知数据，其中，所述感知开发模块被配置为基于感知模型和在所述时间段期间从所述一组车载传感器中的一个或多个获得的传感器数据来生成所述第二组感知数据；
其中，所述第二组感知数据指示在所述时间段期间所述车辆的所述周围环境的感知参数；
相对所形成的基线世界观测来评估(105)所述第二组感知数据，以识别在所述第二组感知数据的所述感知参数与所述基线世界观测中的相对应的感知参数之间的匹配；
如果识别出在所述第二组感知数据的所述感知参数与所述基线世界观测中的所述相对应的感知参数之间的匹配，则所述方法进一步包括：参考所述基线世界观测中的所述相对应的感知参数来确定(106)所述第二组感知数据的所匹配的感知参数的估计误差；并且
如果未识别出在所述第二组感知数据的所述感知参数与所述基线世界观测中的所述相对应的感知参数之间的匹配，或者所述估计误差超过阈值，则所述方法进一步包括：
通过基于用于所述第二组感知数据的所述传感器数据的弱监督学习算法并且通过使用所述基线世界观测对所述第二组感知数据进行弱注释，来更新(107)所述感知开发模块的所述感知模型的一个或多个参数；或者
将所存储的传感器数据、所存储的第二组感知数据和所述基线世界观测作为经弱注释的数据传输(108)到远程实体以进行非车载处理。
2.根据权利要求1所述的方法(100)，其中，所述基线世界观测构成所述第二组感知数据的基本事实。
3.根据权利要求1或2所述的方法(100)，其中，所述感知参数包括以下参数中的至少一个：
物体检测估计；
物体分类估计；
物体状态估计；
道路参考特征估计；
自由空间估计；
道路摩擦估计；
物体轨迹估计；和
可行驶区域估计。
4.根据权利要求1所述的方法(100)，其中，所述时间段从第一时间点到第二时间点，并且其中，形成所述基线世界观测的步骤包括：
基于对从所述第二时间点回溯到在所述第一时间点与所述第二时间点之间的中间时间点范围的所述第一组感知数据的一部分进行后处理来确定，以所述第一组感知数据的所述部分为条件的、指示所述车辆的所述周围环境的所述基线世界观测。
5.根据权利要求4所述的方法(100)，其中，对所述第一组感知数据的所述部分的后处理(103)包括：
通过被配置为基于从所述中间时间点到所述第二时间点T2的一组感知参数的状态的发展而在所述中间时间点处对齐所述第一组感知数据的所述一组感知参数的后向滤波器来运行所述第一组感知数据的所述部分。
6.根据权利要求1所述的方法(100)，进一步包括：
基于所确定的估计误差来确定(109)指示所述感知开发模块的性能的成本函数；和
通过被配置为最小化所计算的成本函数的优化算法来更新(110)所述感知开发模块的所述感知模型的所述一个或多个参数。
7.根据权利要求6所述的方法(100)，其中，所述成本函数基于所述感知参数的类型确定。
8.根据权利要求7所述的方法(100)，进一步包括：
将所述感知开发模块的所述感知模型的一个或多个经更新的参数传输(111)到远程实体；
从所述实体接收(112)所述感知开发模块的所述感知模型的一组全局更新的参数，其中，所述一组全局更新的参数基于从包括所述感知开发模块的多个车辆获得的信息；并且
基于所接收的一组全局更新的参数来更新(113)所述感知开发模块的所述感知模型。
9.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序被配置为由车载处理系统的一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-8中任一项所述的方法(100)的指令。
10.一种用于对数据进行弱注释以训练车辆(1)的感知开发模块的系统(10)，其中，所述车辆配备有自动驾驶系统ADS，所述系统包括控制电路(11)，所述控制电路(11)被配置为：
在一时间段期间存储从被配置为监测所述车辆(1)的周围环境的一组车载传感器(6a、6b、6c)获得的传感器数据(31)；
在所述时间段期间存储从所述车辆(1)的感知模块(6、32)获得的第一组感知数据，所述感知模块被配置为基于在所述时间段期间从所述一组车载传感器中的一个或多个获得的传感器数据来生成所述第一组感知数据；
通过对所述第一组感知数据进行后处理，从所获得的第一组感知数据形成基线世界观测，所述基线世界观测指示在所述时间段期间在所述车辆的所述周围环境中的情景发展；
存储来自所述感知开发模块(34)的第二组感知数据，其中，所述感知开发模块被配置为基于感知模型和在所述时间段期间从所述一组车载传感器中的一个或多个获得的传感器数据来生成所述第二组感知数据；
其中，所述第二组感知数据指示在所述时间段期间所述车辆的所述周围环境的感知参数；
相对所形成的基线世界观测来评估所获得的第二组感知数据，以识别在所述第二组感知数据的所述感知参数与所述基线世界观测中的相对应的感知参数之间的匹配；
如果识别出在所述第二组感知数据的所述感知参数与所述基线世界观测中的所述相对应的感知参数之间的匹配，则所述控制电路进一步被配置为：参考所述基线世界观测中的所述相对应的感知参数来确定所述第二组感知数据的所匹配的感知参数的估计误差；并且
如果未识别出在所述第二组感知数据的所述感知参数与所述基线世界观测中的所述相对应的感知参数之间的匹配，或者所述估计误差超过阈值，则所述控制电路进一步被配置为：
通过基于用于所述第二组感知数据的所述传感器数据的弱监督学习算法并且通过使用所述基线世界观测对所述第二组感知数据进行弱注释来更新所述感知开发模块的所述感知模型的一个或多个参数；或者
将所存储的传感器数据、所存储的第二组感知数据和所述基线世界观测作为经弱注释的数据传输到远程实体以进行非车载处理。
11.根据权利要求10所述的系统(10)，其中，所述基线世界观测构成所述第二组感知数据的基本事实。
12.根据权利要求10或11所述的系统(10)，其中，所述时间段范围从第一时间点到第二时间点，并且其中，所述控制电路被配置为通过以下步骤形成所述基线世界观测：
基于对从所述第二时间点回溯到在所述第一时间点与所述第二时间点之间的中间时间点范围的所述第一组感知数据的一部分进行后处理来确定，以所述第一组感知数据的所述部分为条件的、指示所述车辆的所述周围环境的所述基线世界观测。
13.根据权利要求10所述的系统(12)，其中，对所述第一组感知数据的所述部分的后处理包括：
通过被配置为基于从所述中间时间点到所述第二时间点T2的一组感知参数的状态的发展而在所述中间时间点处对齐所述第一组感知数据的所述一组感知参数的后向滤波器来运行所述第一组感知数据的所述部分。
14.一种车辆(1)，包括：
一组车载传感器(6a、6b、6c)，被配置为监测所述车辆的周围环境；
具有感知模块的自动驾驶系统ADS，所述感知模块被配置为基于从所述一组车载传感器中的一个或多个获得的传感器数据来生成第一组感知数据；
感知开发模块(34)，被配置为基于感知模型和从所述一组车载传感器中的一个或多个获得的传感器数据来生成第二组感知数据；和
根据权利要求10-13中任一项所述的系统(10)。
CN202210152269.6A 2021-02-19 2022-02-18 用于自动驾驶系统的感知系统开发的平台 Pending CN114968189A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21158016.2 2021-02-19
EP21158016.2A EP4047514B1 (en) 2021-02-19 2021-02-19 Platform for perception system development for automated driving system

Publications (1)

Publication Number Publication Date
CN114968189A true CN114968189A (zh) 2022-08-30

Family

ID=74732581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210152269.6A Pending CN114968189A (zh) 2021-02-19 2022-02-18 用于自动驾驶系统的感知系统开发的平台

Country Status (2)

Country Link
EP (1) EP4047514B1 (zh)
CN (1) CN114968189A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019232335A1 (en) * 2018-06-01 2019-12-05 Volkswagen Group Of America, Inc. Methodologies, systems, and components for incremental and continual learning for scalable improvement of autonomous systems
WO2020056331A1 (en) * 2018-09-14 2020-03-19 Tesla, Inc. System and method for obtaining training data
WO2020079698A1 (en) * 2018-10-19 2020-04-23 A.D Knight Ltd. Adas systems functionality testing
US20200210778A1 (en) * 2018-12-26 2020-07-02 Yandex.Taxi LLC Methods and systems for generating training data for neural network

Also Published As

Publication number Publication date
EP4047514B1 (en) 2023-10-11
EP4047514A1 (en) 2022-08-24
US20220270356A1 (en) 2022-08-25

Similar Documents

Publication Publication Date Title
US20220089151A1 (en) Path planning in autonomous driving environments
CN107792077A (zh) 用于确认道路部段是否适合于自主车辆驾驶的方法和系统
US20220396281A1 (en) Platform for perception system development for automated driving system
CN114968187A (zh) 用于自动驾驶系统的感知系统开发的平台
US20220089153A1 (en) Scenario identification in autonomous driving environments
EP4083871A1 (en) Method for automated development of a path planning module for an automated driving system
CN113734193A (zh) 用于估计接管时间的系统和方法
CN114194209A (zh) 自动驾驶环境中的风险评估
US20200035093A1 (en) Systems and methods for managing vehicles using pattern recognition
US20210323565A1 (en) Vehicle control device, automated driving vehicle development system, vehicle control method, and program
US20230090338A1 (en) Method and system for evaluation and development of automated driving system features or functions
US20220350338A1 (en) Platform for path planning system development for automated driving system
CN117392624A (zh) 更新具有自动驾驶系统的车辆的感知功能的方法和系统
US11897501B2 (en) ADS perception development
US11983918B2 (en) Platform for perception system development for automated driving system
CN114968189A (zh) 用于自动驾驶系统的感知系统开发的平台
EP4357944A1 (en) Identification of unknown traffic objects
US20240135252A1 (en) Lane-assignment for traffic objects on a road
US20240135719A1 (en) Identification of unknown traffic objects
EP4358039A1 (en) Lane-assignment for traffic objects on a road
US20220284744A1 (en) Detecting and collecting accident related driving experience event data
US20220258765A1 (en) Method for modeling the surroundings of an automated vehicle
CN115840636A (zh) 用于自动驾驶系统特征的评估和开发的方法和系统
WO2022258203A1 (en) Platform for perception function development for automated driving system
CN115771521A (zh) 用于监视车辆的自动驾驶系统的操作的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination