CN115470884A - 用于自动驾驶系统的感知系统开发的平台 - Google Patents

用于自动驾驶系统的感知系统开发的平台 Download PDF

Info

Publication number
CN115470884A
CN115470884A CN202210656645.5A CN202210656645A CN115470884A CN 115470884 A CN115470884 A CN 115470884A CN 202210656645 A CN202210656645 A CN 202210656645A CN 115470884 A CN115470884 A CN 115470884A
Authority
CN
China
Prior art keywords
data
vehicle
perception
perceptual
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210656645.5A
Other languages
English (en)
Inventor
马蒂亚斯·布伦斯特伦
约阿基姆·林·索尔斯泰特
约纳斯·埃克马克
马茨·努德隆德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhe Xi Co
Original Assignee
Zhe Xi Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhe Xi Co filed Critical Zhe Xi Co
Publication of CN115470884A publication Critical patent/CN115470884A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0014—Adaptive controllers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Abstract

本发明涉及用于自动驾驶系统的感知系统开发的平台。具体地，涉及一种利用量产交通工具来通过使用自我监督连续训练来开发新的感知特征的方法和系统，该新的感知特征与新的传感器硬件以及用于现有传感器的新的算法相关。为了实现这一点，量产交通工具自身的感知输出与其他传感器融合，以便随着时间的推移来生成道路场景的鸟瞰视图。该鸟瞰视图与该道路场景发生时所记录的已缓存的传感器数据同步，并且随后被用于训练新的感知模型以直接输出该鸟瞰视图。

Description

用于自动驾驶系统的感知系统开发的平台
技术领域
本发明大体上涉及自主和半自主交通工具中的感知特征的训练。特别地，本发明涉及一种用于配备有自动驾驶系统(ADS：Automated Driving System)的交通工具的感知开发模块的自我监督连续训练的方法和系统。
背景技术
在过去几年中，与自主交通工具相关的研究和开发活动在数量上呈爆炸式增长，并且正在探索许多不同的方法。越来越多的现代化交通工具配备了先进的驾驶员辅助系统(ADAS：driver-assistance systems)，以提高交通工具安全性以及更广泛的道路安全性。ADAS(例如，可以由自适应巡航控制(ACC：adaptive cruise control)、防撞系统、前向碰撞警告系统等来代表)是一种可在驾驶过程中帮助交通工具驾驶员的电子系统。如今，在与ADAS和自主驾驶(AD：Autonomous Driving)领域相关的诸多技术领域内正在推进研究和开发。本文中，将在通用术语自动驾驶系统(ADS)下提及 ADAS和AD，ADS与例如由SAE J3016驾驶自动化等级(0-5)定义的所有不同的自动化等级相对应，特别是等级4和等级5。
在不久的将来，预计ADS解决方案将会进入到投放市场的大多数新车中。ADS 可以被解释为各种组件的复杂组合，这些组件可以被定义其中由电子设备和机械而非人类驾驶员来执行交通工具的感知、决策以及操作的系统，并且可以被定义为在道路交通中引入自动化。这包括对交通工具、目的地的处理、以及对周围环境的了解。虽然自动化系统可以对交通工具加以控制，但它会允许人类操作员将全部或至少部分责任留给系统。ADS通常结合各种传感器来感知交通工具的周围环境，所述各种传感器诸如雷达、激光雷达(LIDAR)、声纳、相机、导航系统(例如，GPS：Global Positioning System)、里程表、和/或惯性测量单元(IMU：inertial measurement unit)等，在此基础上，先进的控制系统可以对感测信息进行解释，以识别适当的导航路径，以及障碍物、自由空间区域和/或相关标志物。
深度学习(DL：Deep Learning)是感知领域中一项很有前途的技术，例如，用以对图像、视频流和/或激光雷达点云中的对象进行检测和分类。然而，DL的问题在于，虽然它很快就能达到一定的性能水平，但是需要非常大量的数据才能获取真正的高性能。对数百万张图像进行注释的成本很高，因此在自主驾驶领域中采取了诸多措施，用以通过半自动的注释以及从已注释的数据中高效地进行学习来降低该成本。然而，即使已经取得了这些进展，它仍然是一个非常昂贵的处理过程。此外，从量产交通工具上传图像和数据以便进行注释和训练根本毫无效率，且增加了成本，并且当量产交通工具车队中的交通工具数量达到数百个市场中的数千辆或数百万辆时也无法很好地进行扩展。
因此，本领域需要新的解决方案来促进ADS的开发和验证，以便能够持续地提供更安全和更高性能的系统。一如既往地，优选在不对车载系统或平台的尺寸、功耗以及成本产生重大负面影响的情况下进行改进。
发明内容
因此，本发明的一个目的在于，提供一种由计算系统执行的用于交通工具的感知开发模块的自我监督连续学习的方法、一种计算机可读存储介质、一种系统、以及一种包括这种系统的交通工具，所提供的这些减轻了目前已知系统和方法的所有的或至少一部分的上述缺点。
凭借由如所附权利要求中定义的用于交通工具的感知开发模块的自我监督连续学习的计算系统、计算机可读存储介质、系统和交通工具所执行的方法来实现该目的。术语“示例性”在本上下文中被理解为用作实例、示例或说明。
根据本发明的第一方面，提供了一种由计算系统执行的用于交通工具的感知开发模块的自我监督连续训练的方法。该方法包括：在一时间段期间存储从第一组交通工具安装的传感器获取的第一组传感器数据，其中第一组传感器数据指示交通工具的周围环境。该方法还包括：从训练后的机器学习感知模块获取第一组感知数据，该训练后的机器学习感知模块被配置为基于传感器数据来生成感知输出。第一组感知数据基于第一组传感器数据并且进一步指示在该时间段期间交通工具的周围环境中的至少一个感知参数。此外，该方法包括：基于从感知融合模块获取的第二组感知数据来形成训练数据，感知融合模块被配置为基于第一组感知数据与补充数据组的融合来生成感知输出。补充数据组指示在该时间段期间交通工具的周围环境和交通工具的状态，第二组感知数据包括在该时间段期间的至少一个时刻的交通工具周围环境的鸟瞰视图。该方法还包括：将训练数据与所存储的第一组传感器数据同步，并且基于同步后的训练数据的至少一部分以及所存储的第一组传感器数据的对应部分来更新感知开发模块的感知模型的一个或多个参数。感知开发模块相应地被配置为基于感知模型和从第一组交通工具安装的传感器获取的传感器数据来生成交通工具周围环境的鸟瞰视图。
根据本发明的第二方面，提供了一种(非暂时性)计算机可读存储介质，其存储有被配置为由处理系统(例如，交通工具控制系统)的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行根据本文所公开的任何一个实施例的方法的指令。对于本发明的该方面，存在与前面讨论的本发明的第一方面类似的优点及优选特征。
如本文所使用的，术语“非暂时性”旨在描述不包括传播的电磁信号的计算机可读存储介质(或“存储器”)，但并不旨在以其他方式限制物理计算机可读存储设备的类型，物理计算机可读存储设备被用语“计算机可读介质或存储器”所涵盖。例如，术语“非暂时性的计算机可读介质”或“有形的存储器”旨在涵盖不一定永久存储信息的存储设备类型，包括例如随机存取存储器(RAM：random access memory)。以非暂时性的形式存储在有形的计算机可访问存储介质上的程序指令和数据还可以通过传输介质或诸如电气、电磁或数字信号等信号来传输，这些信号可以通过诸如网络和/或无线链路等通信介质来传送。因此，本文所使用的术语“非暂时性的”是对介质本身的限制(即，有形的，而不是信号)，而不是对数据存储持久性的限制(例如，RAM与ROM)。
根据本发明的第三方面，提供了一种用于交通工具的感知开发模块的自我监督连续训练的系统。该系统包括控制电路，该控制电路被配置为在一时间段期间存储从第一组交通工具安装的传感器获取的第一组传感器数据。相应地，第一组传感器数据指示交通工具的周围环境中的至少一部分。此外，该控制电路被配置为从训练后的第一机器学习感知模块获取第一组感知数据，该训练后的第一机器学习感知模块被配置为基于传感器数据来生成感知输出。第一组感知数据基于第一组传感器数据并且进一步指示在该时间段期间交通工具的周围环境中的至少一部分中的至少一个感知参数。此外，该控制电路被配置为基于从感知融合模块获取的第二组感知数据来形成训练数据，该感知融合模块被配置为基于第一组感知数据与补充数据组的融合来生成感知输出。补充数据组指示该时间段期间交通工具的周围环境和/或交通工具的状态。补充数据组可以例如是来自交通工具的IMU的输出、地图数据、GNSS数据、或其他传感器数据。第二组感知数据包括在该时间段期间的至少一个时刻的交通工具周围环境的鸟瞰视图。该控制电路进一步被配置为将训练数据与所存储的第一组传感器数据同步，并基于同步后的训练数据的至少一部分以及所存储的第一组传感器数据的对应部分来更新感知开发模块的感知模型的一个或多个参数。感知开发模块被配置为基于感知模型和从第一组交通工具安装的传感器获取的传感器数据来生成交通工具周围环境的鸟瞰视图。
根据本发明的第四方面，提供了一种包括一组交通工具安装的传感器的交通工具，该一组交通工具安装的传感器被配置为对交通工具的周围环境进行监测。该交通工具还包括：训练后的第一机器学习感知模块，被配置为基于传感器数据来生成感知输出；以及具有感知模块的自动驾驶系统(ADS)，该感知模块配置为基于从该一组交通工具安装的传感器中的一个或多个获取的传感器数据来生成第一组感知数据。ADS具有感知模块，该感知模块被配置为基于第一组感知数据和补充数据组的融合来生成感知输出，其中补充数据组指示交通工具的周围环境和/或交通工具的状态。该交通工具还包括一种根据本文所公开的任一实施例的用于交通工具的感知开发模块的自我监督连续学习的系统。对于本发明的该方面，存在与前面所讨论的本发明的第一方面类似的优点及优选特征。
本文所提出的方法、计算机可读存储介质、系统和交通工具相应地提供了一个学习平台，该学习平台利用ADS的量产的系统和传感器，以便针对各种感知特征的新的软件和硬件版本来执行训练过程，以供在自动驾驶应用中使用。本发明的一些优点包括：
·为自动驾驶应用开发出具有成本效益和时间效益的感知功能。
·有效利用量产交通工具中的可用量产资源，以促进新的感知功能的开发。
·训练/学习可以在交通工具内完全执行，从而在数据安全及数据隐私方面提供了优势。
·本地培训/学习有助于开发出针对特定市场或运营设计领域(ODD)量身定制的模型。
·“鸟瞰视图”感知输出为感知模型使用其进行工作提供了一种自然的输入格式，可实现高质量的输出及高效的计算。
·感知模型不仅可以针对“经典感知”进行训练，还可以针对运动预测和道路用户交互模型进行训练，从而在通用性方面提供了优势。
本发明的其他实施例在从属权利要求中定义。应该强调的是，当在本说明书中使用时，术语“包括/包含”被用于指定所述特征、整体、步骤或组件的存在。它不排除存在或添加一个或多个其他特征、整体、步骤、组件或它们的组。
本发明的这些以及其他的特征和优点将在以下参考下文中所描述的实施例来进一步阐明。
附图说明
本发明的实施例的其他目的、特征和优点将根据以下的详细描述而为显而易见的，参考附图，其中：
图1是根据本发明实施例的由计算系统执行的用于交通工具的感知开发模块的自我监督连续学习的方法的示意性流程图表示。
图2是根据本发明实施例的后处理方法的示意性俯视图表示，该后处理方法以一系列场景的形式呈现，这些场景描绘了交通工具接近对象过程中的时间性开发。
图3是根据本发明实施例的用于交通工具的感知开发模块的自我监督连续学习的系统的示意性框图表示。
图4是根据本发明实施例的用于交通工具的感知开发模块的自我监督连续学习的系统的示意性框图表示。
图5是一种包括根据本发明实施例的用于交通工具的感知开发模块的自我监督连续学习的系统的交通工具的示意性侧视图。
具体实施方式
本领域技术人员将理解，本文所解释的步骤、服务和功能可以使用单独的硬件电路、使用与编程微处理器或通用计算机一起工作的软件、使用一个或多个专用集成电路(ASIC：Application Specific Integrated Circuit)、和/或使用一个或多个数字信号处理器(DSP：Digital Signal Processor))来实现。还将理解，当采用方法的形式来描述本发明时，本发明还可以体现在一个或多个处理器以及与一个或多个处理器耦接的一个或多个存储器中，其中一个或多个存储器存储一个或多个程序，当由一个或多个处理器执行该一个或多个程序时，这些程序会执行本文公开的步骤、服务和功能。
在以下对示例性实施例的描述中，相同的附图标记指代相同或相似的组件。
如本文所公开的本发明提供了一种能够在所有交通工具中进行连续学习的、完全自我监督的方法和系统。本文中的教导不仅可以用于以对象的检测和分类的形式来对感知模块/特征进行开发/训练/学习、测试和检证，还可以以道路用户意图预测和道路用户交互模型的形式来对感知模块/特征进行开发/训练/学习、测试和检证。此外，它们可被应用于单个交通工具中的训练算法、网格(群体，swarm)学习方法中的训练算法以及采用了所存储(预先记录)的数据的离线学习。训练还可以侧重于在世界不同地区的目标运营设计领域、特定道路或天气条件下获取最佳性能。
简言之，本发明涉及具有“原始模型”(训练后的机器学习感知模型)的一个方面，该模型被配置为使用有限数量的训练数据，从图像或激光雷达数据中对对象、类似道路的表面、光照条件和天气条件进行检测和分类，侧重于对靠近交通工具附近的对象进行检测和分类。通常，通过使用图像平面中的手动注释数据来对该模型进行训练。接下来，将来自该模型的输出用作感知块的输入，该感知块将随着时间的推移而融合来自若干个信息源的信息，其中，该训练后的模型提供了信息源之一。来自(融合) 感知块的输出是道路场景的鸟瞰视图。
随后，可以对鸟瞰视图输出进行后处理以对缺失/错误部分进行管护，并执行质量/一致性检查，用以确定鸟瞰视图是否足够准确/可靠。数据管护可以被理解为将数据放入“优化后的格式”中的步骤，并且可以例如涉及格式化、标记(注释)、清理、以及特征提取。
如果确定数据足够准确到对于训练新的感知模型是有用的，则将该数据放入“容器”中。然后，质量检查过的并且后处理后的鸟瞰视图数据与在产生后处理后的鸟瞰视图时所记录的先前的图像和/或激光雷达数据同步。接下来，使用时间同步后的鸟瞰视图以及图像和/或激光雷达数据来训练“新模型”，用以直接从图像和/或激光雷达数据形式的输入中输出鸟瞰视图。由于鸟瞰视图(被用于训练)是质量检查过的，因此被认为是高质量的，因此，当新模型在足够长的时间段期间通过多个交通工具来接受这种形式的训练时，来自该新模型的输出将具有同等质量。
此外，当应用分布式学习(例如群体学习、联盟学习等)时，有利的是，联合的“新模型”可以有利地以离线方式或者在单个交通工具中进行训练，然后再部署到多个交通工具中并通过合并在每个交通工具中本地学习到的“新模型”中的更新来集中更新。因此，“新模型”将拥有一个可供所有交通工具从中进行学习的联合基地；否则，将从若干个交通工具获取的知识进行合并可能会很困难。
此外，一旦新模型(即，用于在鸟瞰视图中生成输出的感知模型)优于原始模型(即，用于在图像平面中生成输出的感知模型)，就可以用新模型来替代“原始模型”。因此，提供了一种成本及资源有效的自我监督连续学习方法，该方法可被完全自动化并被构建在现有的硬件平台上。具体而言，使用集中式计算平台可能是有利的，因为对新模型进行训练可能比执行原始模型或新模型消耗更多的内存和/或计算能力。借助集中式计算平台，可以使用现有的交通工具安装的硬件来对新模型进行训练，例如当交通工具在交通拥堵中静止时或者当停车时，从而充分地利用了硬件的能力。
例如，鸟瞰视图神经网络(NN：neutral network)的训练可以使用联盟学习方案来进行，其中联合预训练的“鸟瞰视图NN”被部署在多个交通工具中，之后，每个交通工具对NN的权重进行“小的”本地更新。然后将这些更新结果上传/传输到中心位置以进行合并，用以形成新的联合神经网络。例如，该合并可以通过应用例如总和或平均更新来执行，可以基于自上次更新以来由每个单独交通工具收集到的数据量或者感兴趣数据量等其他度量来进行加权。如果是在模拟中或者在测试跑道上出现了具有挑战性的场景或情况的训练示例，则来自这种“训练课程”的更新也可以与由单独交通工具所执行的更新合并。作为额外的质量和安全检查，在将新的联合“鸟瞰视图神经网路”广泛部署/推送到车队中的所有交通工具之前，更新后的神经网路可以在验证数据组上进行测试和/或在一个或若干个交通工具的后台中进行部署和评估(即，阴影模式测试)。
图1是适于由计算系统执行的用于交通工具的感知开发模块的自我监督连续学习的方法100的示意性流程图表示。方法100可以由交通工具安装的计算系统、非车载计算系统或它们的组合来执行。换言之，本文所教导的自我监督学习机制可以作为分布式学习方案(例如，群体学习、联盟学习等)在线(即，在交通工具中)执行，也可以离线(即，在“后台”解决方案中)执行。然而，该算法的训练部分(例如，大部分)优选在边缘上(即，在交通工具中)进行，然后在边缘上或在中央(即，在“后台”或“云”)上进行整合，以作为在车队中的交通工具与后台之间传输的数据(即，模型参数)，数据传输将主要采用网络权重的形式，从而缓解了在当前传输数据的实践中存在的问题，即对带宽要求高的问题、以及与数据安全及隐私相关的问题。
术语“感知开发模块”可以被理解为“测试中的模块”(MUT)，意思是“新的”(开发中的)软件和/或硬件感知特征。在本上下文中，感知开发模块是被配置为基于感知模型和从第一组交通工具安装的传感器获取的传感器数据来生成交通工具周围环境的鸟瞰视图的模块。第一组交通工具安装的传感器优选包括一个或多个交通工具安装的相机/图像传感器、和/或一个或多个光探测及测距(LIDAR：Light Detection and Ranging) 设备。
在一些实施例中，“感知开发模块”是被配置为基于来自第一组交通工具安装的传感器的输入来生成感知输出的软件和/或硬件，其中该模块当前处于“开发中”，并且尚未处于“量产中”(例如，未检证/验证)。然而，在其他实施例中，感知开发模块处于“量产中”，并且本文公开的概念可被用于通过提高输出的准确性或者通过将“覆盖范围”扩展到新的操作设计域(ODD：Operational Design Domain)来改进感知开发模块的性能。
接着，方法100包括在一时间段期间存储101从第一组交通工具安装的传感器获取的第一组传感器数据。第一组传感器数据指示交通工具的周围环境。因此，第一组传感器数据可以是从一个或多个雷达、一个或多个激光雷达、一个或多个相机、或本领域已知的任何其他适当的交通工具安装的传感器获取的数据。然而，在一些实施例中，第一组传感器数据仅包括图像数据(即，从一个或多个交通工具安装的相机获取的输出)。
第一组传感器数据可以例如被存储101或保存在数据缓冲区(未示出)中，其中该第一组传感器数据可以被理解为指示交通工具周围环境的数据。第一组传感器数据可以是从第一时间点T1到第二时间点T2连续地和/或间歇地导出的原始的传感器数据或处理后的传感器数据。该时间段以及相应的可选数据缓冲区的长度可以是任何被认为可行的任意大小，例如，考虑到数据容量限制和/或ADS的特性，可以例如在从不到一秒到几分钟的范围内，或者更优选地，在从几秒到少于一分钟的范围内。
此外，方法100包括从训练后的机器学习感知模块获取102第一组感知数据，该训练后的机器学习感知模块被配置为基于传感器数据来生成感知输出。更具体地，所获取102的第一组感知数据是基于第一组传感器数据生成的，并且第一组感知数据指示在该(相同)时间段期间交通工具周围环境中的至少一个感知参数。换言之，在上述时间段期间由第一组交通工具安装的传感器生成的数据被存储在适当的数据存储介质(例如，数据缓冲器)中，同时使用“相同”的传感器数据(即，该传感器数据的对应副本)来生成第一组感知数据。换言之，第一组传感器数据被同时提供给适当的数据存储介质和训练后的机器学习感知模块。
此外，训练后的机器学习感知模块可以采用人工神经网络的形式，诸如卷积神经网络(CNN：Convolutional Neural Network)。此外，术语“感知数据”在本上下文中应作广义解释，既包括经典的“感知”(例如，对象检测/分类、车道跟踪、对象跟踪)，也包括对外部对象的未来状态或轨迹的“预测”。因此，术语“感知参数”应被理解为涵盖各种目标的术语，诸如对对象位置、对象分类、车道标记、对象轨迹预测、自由空间估计等中的一个或多个的估计。自由空间估计可以被理解为对自由空间区域的确定，即，对不存在外部对象(静态和动态对象)的区域的估计。人们可以以类似的方式来考虑对“可行驶区域”的估计，其中除了对不存在对象的区域(如在自由空间的情况下) 的估计之外，“可行驶区域”估计还包括出现了路面。
方法100还包括基于从感知融合模块获取的第二组感知数据来形成103训练数据，该感知融合模块被配置为基于第一组感知数据和补充数据组的融合来生成感知输出。更详细而言，补充数据组指示该时间段期间交通工具的周围环境和交通工具的状态。换言之，补充数据组可以被理解为指示交通工具周围环境的数据，其源自与第一组交通工具安装的传感器不同的来源。例如，所存储101的第一组传感器数据可以采用从一个或多个交通工具安装的相机获取的图像或从一个或多个交通工具安装的激光雷达设备输出的图像的形式。例如，补充数据组可以是来自交通工具的惯性测量单元(IMU) 的输出、地图数据(例如，高清地图数据)、全球导航卫星系统(GNSS：Global Navigation Satellite System)数据、来自一个或多个雷达设备的输出等。
因此，形成103训练数据的步骤可以包括获取补充数据组，并将第一组感知数据和补充数据组融合以形成第二组感知数据，该第二组感知数据被用于形成“训练数据”。应当注意，标签“训练数据”在本上下文中主要被用作增加本公开的可理解性的标签，而不应被解释为限制本发明的范围。“训练数据”也可以被理解为“所期望的输出”，该“所期望的输出”形成整个“训练组”的一部分，其中另一部分是“输入”或“输入对象”。
此外，第二组感知数据(即，来自融合模块的输出)包括在该时间段期间的至少一个时刻的交通工具周围环境的鸟瞰视图。因此，周围环境的鸟瞰视图可以采用“时间段”内的一个快照或单个帧(即，瞬间时间点)的形式、“时间段”内包含的连续的快照 /帧的子集(即，瞬间时间点的子集)的形式、或者从“时间段”的起点到终点的范围内的完整场景开发的形式。
术语“鸟瞰视图”可以被理解为自我(ego)交通工具及其周围环境的高架视图，其可以采用自我交通工具及其周围环境的3D透视/等距视图或者2D或3D俯视图。优选地，在笛卡尔坐标系中定义“鸟瞰视图”，但是，本领域技术人员容易理解，可以使用在诸如欧几里得空间(Euclidian space)等拓扑空间中适用的任何适当的坐标系。因此，在一些实施例中，“鸟瞰视图”可以被称为笛卡尔二维(2D)或三维(3D)视图。
此外，方法100可以包括对第二组感知数据(即，来自感知融合模块的输出)进行后处理104以便对第二组感知数据进行管护的可选步骤。数据管护可以被理解为选择和管理数据以满足数据的预期应用需求(此处用于机器学习目的)的过程。因此，在一些实施例中，第二组感知数据的后处理104包括对第二组感知数据进行管护，以便对第二组感知数据的缺失或错误部分进行管护。参考图2来进一步地阐明并举例说明后处理104。
接着，方法100还可以包括对第二组感知数据或者后处理104第二组感知数据执行105执行质量检查的可选步骤。更详细而言，第二组感知数据(固有地)包括多个感知参数(例如，对象类别、对象位置/边界框、道路边缘估计结果、道路几何估计结果等)的置信度/不确定性估计，这些参数被包括在该时间段期间的至少一个时刻的交通工具周围环境的鸟瞰视图中。这些不确定性估计可以在融合处理之前直接从传感器设备中提供，或者作为本领域已知的融合处理的一部分来提供。因此，质量检查105 的目的在于，对“高质量”数据与低到中质量数据/不确定数据/不准确数据进行区分。例如，该区分可以基于预定义的置信度阈值(例如，70％)来进行，使得与高于70％的置信度估计相关联的感知参数被视为“高质量”，而与低于70％的置信度估计相关联的感知参数被视为“中低质量”。
置信度阈值可以被设置为任何合适的水平，例如在50％-100％的范围内，这取决于具体应用或被训练的模型(例如，人工神经网络)的成熟度。更详细而言，对于训练的初始阶段，为了生成更多的训练数据，较低的置信度阈值可能是恰当的，而随着模型的成熟，较高的阈值可能更为恰当。因此，置信度阈值可以是根据感知开发模块的感知模型的成熟度而设置的动态阈值。
此外，方法100包括使所形成103的训练数据与所存储的第一组传感器数据同步106。同步106可以被理解为对齐过程，使得传感器数据与对应时间戳的训练数据对齐 /配对。换言之，可以对训练数据和/或所存储的第一组传感器数据应用“时移”，使得数据在时间上对齐。
此外，在一些实施例中，训练数据与所存储的第一组传感器数据的同步106仅针对具有高于阈值的置信度估计的训练数据来执行。换言之，优选地，仅“通过”质量检查105的训练数据可以与所存储的传感器数据同步。因此，“未通过”质量检查105的训练数据可被发送到远程实体以进行手动注释、非车载处理等。换言之，该方法可以进一步包括如果训练数据具有低于阈值的置信度估计，则将所形成的训练数据和所存储的传感器数据传输到远程实体。这对于识别交通工具周围环境中的所谓“边角案例” (即，罕见场景/事件)可能是有利的。
例如，如果交通工具的感知算法无法正确地对某个对象(例如，被上升气流裹挟着的塑料袋、路边的特定野生动物等)进行分类，那么该“对象”将与低置信度分类相关联。因此，包含对该“不确定”对象的观察结果的“训练数据”或“第二组感知数据”可以被发送到“后台”以进行手动注释，使得未来的感知算法可以得到训练，从而在该软件的未来版本中准确地对该对象进行分类。
方法100还包括基于训练数据的至少一部分以及所存储的第一组传感器数据的对应部分，来更新107感知开发模块的感知模型的一个或多个参数。如上所述，感知开发模块被配置为基于感知模型和从第一组交通工具安装的传感器获取的传感器数据来生成交通工具周围环境的鸟瞰视图。感知开发模块的感知模型可以相应地被标记为“鸟瞰视图CNN”。
在一些实施例中，采用监督学习算法来更新107感知开发模块的一个或多个参数。更详细而言，更新107的步骤可以包括凭借基于所存储的第一组传感器数据的至少一部分的学习算法，并且通过使用同步后的训练数据的对应部分作为监督信号，来更新感知开发模块的感知模型的一个或多个参数。因此，所存储101的传感器数据和所同步的训练的数据形成一组训练示例，其中每个示例是一对(例如，一对帧)，并且所存储101的传感器数据形成输入对象，训练数据形成所期望的输出值。
此外，方法100可以包括联盟学习方案，其中方法100还包括将感知开发模块的感知模型的一个或多个更新后的参数传输108到远程实体(例如，后台/车队管理系统等)。然后，可以接收109感知开发模块的感知模型的一组全局更新后的参数。该组“全局更新后的”参数将被理解为基于从包括感知开发模块的多个交通工具获取的信息而被更新的参数。然后基于接收到的一组全局更新后的参数来更新110感知开发模块的感知模型的一个或多个模型参数。
更进一步地，如本文所公开的交通工具的感知开发模块的自我监督持续训练方法可以在两个“阶段”中使用。更详细而言，在第一阶段，假设训练后的感知模型被配置为从图像(即，相机输出)和/或激光雷达数据中对对象进行检测和分类。这种感知模型通常是可行的，并且通常侧重于对交通工具附近的对象的检测和分类。典型地，使用图像平面中的手动注释来对这种“传统的”感知模型进行训练。在下文中，这种训练后的感知模型可以被称为“图像平面CNN”。
根据本发明的实施例，该图像平面CNN被用作交通工具的感知块的输入，该感知块随着时间的推移而融合来自若干个信息源的信息，其中图像平面CNN提供信息源之一。因此，来自“感知块”的输出是道路场景(即，交通工具周围环境)的鸟瞰视图。
因此，在一些实施例中，训练后的机器学习感知模块被配置为在图像平面中生成感知输出，包括基于从第一组交通工具安装的传感器获取的传感器数据对对象进行检测和分类。因此，可以参考图像平面来输出所获取的第一组感知数据。
然而，在第二“阶段”中，一旦“感知开发模块”优于“图像平面CNN”，“图像平面CNN”就会被“感知开发模块”取代。因此，在一些实施例中，训练后的机器学习感知模块是感知开发模块，其被配置为基于从第一组交通工具安装的传感器获取的传感器数据来生成交通工具周围环境的鸟瞰视图。“感知开发模块”在下文中可以被称为“鸟瞰视图CNN”。因此，来自“鸟瞰视图CNN”的输出将被用作交通工具的感知块的输入，该感知块会随着时间的推移而融合来自若干个信息源的信息。然后，“鸟瞰视图CNN”将按照前面描述的过程不断地被更新。分别参考图2和图3来进一步示出并描述这两个“阶段”。
现在将参考图2来进一步地举例说明后处理步骤102，图2描绘了交通工具1朝向外部对象24沿道路部分移动的一系列(a)-(d)示意性俯视图。每个图示与范围从第一时刻T1到第二时刻T2的时间段21内的时间点相关联。
在第一个图示(a)中，交通工具1(也可以被称为自我交通工具1)正在朝着外部对象移动，这里，外部对象采用卡车24的形式，并且在道路部分的相邻车道上沿相同方向行驶。然而，由于到卡车24的距离，交通工具的感知系统/模块可能无法以足够高的精确度来确定该外部对象的位置并将其分类为卡车。这由包围卡车24的框22a 以及卡车24的“模糊化的”表示来指示，该“模糊化的”表示被用于示意性地指示检测和分类的“不确定性”。
在随后的时刻，即图2的图示(b)，交通工具1更靠近该外部对象，与图示(a) 中的情况相比，关于该外部对象24的位置及类别/类型的不确定性减少，如框22b的缩小尺寸以及“模糊”的汇聚所示。
在随后的另一个时刻，即图2的图示(c)，交通工具1的感知系统/模块能够准确地确定该外部对象2的位置并将其分类为卡车2。更具体而言，与自我交通工具1距离卡车更远时相比，自我交通工具1现在离卡车2足够近，能够对其进行分类并以更高的精确度来估计该卡车在道路上的位置。
然后，凭借适当的过滤技术并基于“场景”的时间发展，人们能够在T1和T2之间的中间时间点23处建立“世界视图”，如图2中的底部插图所示，即在图2的图示(d) 中。更详细而言，该过滤可以例如基于轨迹、位置等时间性开发，并结合交通工具1 和外部对象2的预定义模型(例如，运动模型)。该已建立的世界视图随后可被用作“基本事实”，用于对各种感知输出进行训练和/或验证，特别是用于对从感知开发模块获取的输出进行训练和/或验证。因此，在一些实施例中，世界视图构成针对感知开发模块的输出的基本事实。
根据一些实施例，时间段的范围从第一时间点到第二时间点，并且该方法还包括在该时间段期间存储第二组感知数据。因此，对第二组感知数据进行后处理的步骤可以包括，基于对从第二时间点回到第一时间点T1与第二时间点T2之间的中间时间点的范围内的第二组感知数据的一部分进行后处理来确定训练数据，该训练数据用于指示交通工具周围环境的鸟瞰视图。后处理后的训练数据相应地是在第二组感知数据的该部分的条件下的。此外，根据一些实施例，对该第二组感知数据的该部分的后处理包括通过后向过滤器来运行该第二组感知数据的该部分。这里，后向过滤器被配置为基于第二组感知数据的一组感知参数从中间时间点到第二时间点T2的状态的发展，在中间时间点将一组感知参数对齐。
换言之，随着时间从中间时间点23到第二时间点T2的推移，对交通工具1的周围环境的了解不断增加，并且通过在反向时间性方向上分析数据，人们可能能够在中间时间点以比在“运行时间”时所能达到的更高的精确度来确定交通工具1的周围环境中的对象的“状态”(即，类别、位置、轨迹等)。更详细地而言，后处理可以例如包括通过后向过滤器来运行第一组感知数据，该后向过滤器被配置为例如使对象当前与预测出的未来状态及未来发生的情况对齐，即，从中间时间点到第二时间点T2。后处理可以包括相较于通过后向过滤器对其进行运行更进一步的处理步骤。更具体而言，后处理可以包括融合来自各种传感器的数据，以及对融合后的信息应用后向和前向过滤。用于此目的的适当过滤器可以是例如粒子过滤器或不同类型的卡尔曼过滤器(例如，扩展的卡尔曼过滤器，Kalman filters)。
可选地，用于执行这些功能的可执行指令被包括在非暂时性计算机可读存储介质中、或者在被配置为由一个或多个处理器执行的其他计算机程序产品中。
图3是根据本发明实施例的用于交通工具的感知开发模块的自我监督连续学习的系统的示意性框图表示。一般而言，图3描绘了交通工具中的信息的从暴露于一个事件到进行传输以及随后在“后台”2中的整合的流。系统10包括控制电路，该控制电路被配置为执行本文所公开的方法中的功能，其中这些功能可以被包括在非暂时性计算机可读存储介质中、或者在被配置为由控制电路执行的其他计算机程序产品中。然而，为了更好地阐明本发明，控制电路在图3中被表示为各种“模块”，它们中的每一个都与一个或多个特定功能相关联。如前所述，图3示出了被称为“第一阶段”的本发明的一个方面，其中训练后的“图像平面CNN”313被用于对“鸟瞰视图CNN”(即，感知开发模块)312进行训练。
需要注意的是，在“传感器融合模块”304中融合的“图像平面感知输出”可以是任何类型的感知输出，例如对象、它们的状态、自由空间(不存在对象)、车道、道路位置、可行驶区域及其组合。然而，所示实施例的重点将放在对象检测和分类上。
系统10包括控制电路，该控制电路被配置为在一时间段期间存储从第一组交通工具安装的传感器获取的第一组传感器数据301。第一组传感器数据301指示交通工具的周围环境。第一组传感器数据301优选采用来自一个或多个激光雷达设备或一个或多个相机(单目和/或立体相机)的输出的形式。然而，来自其他类型的传感器的感测输出，诸如来自一个或多个雷达设备、一个或多个超声波传感器等的输出也可被包含在第一组传感器数据中。第一组传感器优选存储在适当大小的数据缓冲器311中。
此外，第一组传感器数据301被并行地馈送到数据缓冲器311和包括“图像平面CNN”313的感知块302，该“图像平面CNN”313被配置为在图像平面中生成感知输出，包括基于从第一组交通工具安装的传感器获取的传感器数据301来对对象进行检测和分类。相应地，训练后的第一机器学习感知模块/模型以图3中的“图像平面CNN”313 的形式来提供。
此外，感知融合模块304被配置为基于第一组感知数据和补充数据组303的融合来生成感知输出。来自感知融合模块304的感知输出是“训练数据”，其形式为在该时间段期间的至少一个时刻的交通工具周围环境的鸟瞰视图(即，该时间段期间的至少一个“帧”或“场景”)。例如，补充数据组可以是地图数据或来自IMU或任何其他交通工具安装的传感器的输出。因此，补充数据组指示该时间段期间交通工具的周围环境和/或交通工具的状态。
更进一步地，在随后的步骤中，可以对训练数据(即，鸟瞰视图感知输出)进行后处理，以对“世界视图”(即，感知输出)的缺失或错误部分进行管护，并且可以进行质量或一致性检查，以确定用于形成“世界视图”的各种感知参数的精确度或置信度。后处理以及质量检查可以由单独的评估引擎或模块307来执行，如图3所示。此外，在一些实施例中，由感知融合模块304提供的鸟瞰视图感知输出可以在后处理/质量检查之前存储在中间数据存储器/缓冲器306中。
然后，将后处理后的和质量检查过的训练数据和所存储/所缓冲的第一组传感器数据馈送到同步模块305，该同步模块305将训练数据与产生鸟瞰视图感知输出时所记录的传感器数据同步。例如，训练数据可以包括对几秒钟前的自我交通工具周围环境的质量检查过的鸟瞰视图，并且传感器数据可以包括在那个时刻记录的相机和/或激光雷达数据。由于训练数据是使用“未来”信息进行管护和细化的，因此它可被用作自我监督学习的基础，类似于人类通过靠近动物/对象来学习并识别它们，然后利用完整的经验，通过回忆他们早期的经验，从而在各种天气条件下识别出随着时间的推移而距离越来越远的相似物体。此外，时移使得学习不仅能够估计观察到的对象的位置、速度和类型，而且还能够准确地预测它们未来的运动，因为一旦进行了时移，就可以采用这些信息。
然后将同步后的数据组馈送到学习引擎310，该学习引擎310被配置为基于同步后的数据组，来更新感知开发模块(即，“鸟瞰视图CNN”)312的感知模型的一个或多个参数。换言之，时间同步后的鸟瞰视图和图像数据和/或激光雷达数据被用于训练“新模型”312，以基于图像数据和/或激光雷达数据来直接输出周围环境的鸟瞰视图。此外，由于“所期望的输出”，即来自融合块304的鸟瞰视图，已经经历了后处理和质量检查过程，因此训练数据组很可能是高质量的。因此，来自新模型313的输出在长时间接受这种形式的训练时更有可能是高质量的。
此外，除了感知开发模块312的感知模型的本地更新/训练之外，可以将更新后的参数从该交通工具传输到远程实体2，在远程实体2中可以跨整个车队进行手动质量检查和整合。然后，可以将“全局”更新推送到每个单独的交通工具，其中全局更新后的参数被用于替换本地模型参数。此外，由于在交通工具和远程实体之间传输的数据采用“模型参数”(例如，网络权重)的形式，而不是采用例如原始的或处理后的传感器数据的形式，因此在带宽要求、数据存储、数据安全、数据隐私和遵守数据法规方面的优势可以轻松实现。在本上下文中，“远程实体”2或“后台”2可以被理解为中央实体2，该中央实体2负责管理和维护在车队中部署的ADS。
换言之，车队交通工具中的训练可以使用现有的计算资源来完成，可以在低优先级模式下运行他们，或者可以在交通工具静止/充电时运行他们。然后将训练后的模型参数合并到“云”中，并在整个车队中更新模型之前进行质量检查。该训练既可以侧重于特定的挑战，也可以作为一般性训练，以在一般性天气/照明条件下，通过不同质量的车道标线，来实现例如车道跟踪上的优异性能。
进一步地，转到图4，该图4示出了根据本发明实施例的用于交通工具的感知开发模块的自我监督连续学习的系统的示意性框图表示。更具体而言，图4示出了在前述中被称为“第二阶段”的本发明的一个方面，其中“图像平面CNN”313已被替换为现在“训练后的”“鸟瞰视图CNN”312(即，感知开发模块)。
因此，继续参考图3描述的过程，优选地，一旦断定新模型优于“图像平面CNN”，就用“新”模型替换“图像平面CNN”。该系统和过程的其余部分类似于参考图3描述的部分，为了简洁起见，将不再重复。
然而，需要注意的是，这两个“阶段”可以互换使用，例如，如果想在对象检测和分类算法中添加新的对象类型，就可以为此目的而量身定制“原始模型”(即，图像平面CNN)，并应用“第一阶段”训练(如图3所示)来训练鸟瞰视图CNN，用以将新的对象类型添加到其特征组中。
图5描绘了交通工具1的示意性侧视图，该交通工具1包括根据本发明实施例的用于交通工具的感知开发模块的自我监督连续训练的系统10。交通工具1还包括感知系统6或感知块6、以及定位系统5。感知系统6在本上下文中被理解为如下系统，该系统负责从车载传感器6a、6b、6c(诸如相机、激光雷达和雷达、超声波传感器等) 获取原始传感器数据，并将该原始数据转换为场景理解。定位系统5被配置为对交通工具的地理位置和行驶方向进行监测，并且可以采用全球导航卫星系统(GNSS)的形式，诸如GPS等。然而，定位系统可以可替代地被实现为实时动态(RTK：Real Time Kinematics)GPS，以提高准确性。
更详细而言，感知系统/块6可以指代任何公知的系统和/或功能，例如被包括在交通工具1的一个或多个电子控制模块和/或节点中，并且被自适应为和/或被配置为对与交通工具1的驾驶相关的感测信息进行解释，用以识别例如障碍物、车道、相关标志物、适当的导航路径等。因此，示例性的感知系统6可以被自适应为依赖并获取来自多个数据源(诸如汽车成像、图像处理、计算机视觉和/或车内网络等)的输入，并与感测信息相结合。这种示例性的感测信息可以例如从一个或多个可选的周围检测传感器6a-c导出，该传感器6a-c包括在交通工具1中和/或设置在交通工具1上。周围检测传感器6a-c可以由被自适应为对交通工具1的周围环境和/或行踪位置进行感测和/ 或感知的任意传感器来表示，例如可以指雷达、激光雷达、声纳、相机、导航系统(例如，GPS)、里程表、和/或惯性测量单元中的一个或多个或者其组合。
系统10包括一个或多个处理器11、存储器12、传感器接口13和通信接口14。处理器11也可被称为控制电路11。控制电路11被配置为执行存储在存储器12中的指令，用以执行根据本文所公开的任一实施例的用于交通工具1的感知开发模块的性能评估的方法。换言之，控制设备10的存储器12可以包括一个或多个(非暂时性的) 计算机可读存储介质，用于存储计算机可执行指令，例如，当由一个或多个计算机处理器11来执行该计算机可执行指令时，可以使计算机处理器11执行本文所描述的技术。存储器12可选地包括高速随机存取存储器，诸如动态随机存取存储器(DRAM： Dynamic Random Access Memory)、静态随机存取存储器(SRAM：Static Random-Access Memory)、双倍速率随机存取存储器(DDR RAM：Double-Data-Rate Random Access Memory)、或其他随机存取固态存储器设备；并且可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备、或其他非易失性固态存储设备。
控制电路11被配置为在一时间段期间存储从第一组交通工具安装的传感器6a-6c获取的第一组传感器数据。相应地，第一组传感器数据指示交通工具周围环境中的至少一部分。此外，控制电路11被配置为从训练后的第一机器学习感知模块获取第一组感知数据，该第一机器学习感知模块被配置为基于传感器数据来生成感知输出。第一组感知数据基于第一组传感器数据，并且进一步指示在该时间段期间交通工具周围环境中的至少一部分中的至少一个感知参数。
此外，控制电路11被配置为基于从感知融合模块获取的第二组感知数据来形成训练数据，该感知融合模块被配置为基于第一组感知数据与补充数据组的融合来生成感知输出。补充数据组指示该时间段期间交通工具的周围环境和/或交通工具的状态。补充数据组可以例如是来自交通工具的IMU的输出、地图数据、GNSS数据或其他传感器数据。第二组感知数据包括该时间段期间的至少一个时刻的交通工具周围环境的鸟瞰视图。
控制电路11进一步被配置为将训练数据与所存储的第一组传感器数据同步，并基于同步后的训练数据的至少一部分以及所存储的第一组传感器数据的对应部分，来更新感知开发模块的感知模型的一个或多个参数。感知开发模块被配置为基于感知模型和从第一组交通工具安装的传感器获取的传感器数据来生成交通工具周围环境的鸟瞰视图。
此外，交通工具1可以通过例如无线链路(例如，用于发送和接收模型参数)被连接到外部网络20。相同的或一些其他的无线链路可被用于与该交通工具附近的其他交通工具或与本地基础设施元件进行通信。蜂窝通信技术可被用于远程通信，诸如与外部网络的通信，如果所使用的蜂窝通信技术具有低的延迟，则它也可被用于交通工具之间的通信，即交通工具到交通工具(V2V)和/或交通工具到基础设施(V2X)。蜂窝无线电技术的示例包括全球移动通信系统(GSM：Global System for Mobile communications)、通用无线分组业务(GPRS：General packet radio service)、增强型数据速率GSM演进(EDGE：Enhanced DataRate forGSMEvolution)、长期演进(LTE： Long Term Evolutio n)、第五代移动通信技术(5G：5th Generation Mobile Communication Technology)、5G NR(New Radio，新空口)等，还包括未来的蜂窝解决方案。然而，在一些解决方案中，使用了中短程通信技术，诸如无线局域网(LAN：local area network) 等，例如基于IEEE 802.11的解决方案。欧洲电信标准协会(ETSI：European Telecommunications Standards Institute)正在制定用于交通工具通信的蜂窝标准，例如，由于低延迟以及对高带宽和通信通道的高效处理，5G被认为是一种适当的解决方案。
上面已经参考具体实施例介绍了本发明。然而，除上述之外的其他实施例也是可行的，并且处于本发明的范围内。在本发明的范围内可以提供与上述那些不同的、通过硬件或软件来执行该方法的方法步骤。因此，根据示例性实施例，提供了一种非暂时性计算机可读存储介质，其存储被配置为由交通工具控制系统的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行根据上述任一实施例的方法的指令。可替代地，根据另一个示例性实施例，云计算系统可以被配置为执行本文所提出的任何方法。云计算系统可以包括分布式云计算资源，其在一个或多个计算机程序产品的控制下共同执行本文所提出的方法。
一般而言，计算机可访问介质可以包括任何有形的或非暂时性的储存介质或存储介质，诸如电气、磁性或光学介质(例如，通过总线被耦接到计算机系统的磁盘或 CD/DVD-ROM)。如本文所使用的，术语“有形的”和“非暂时性的”旨在描述不包括传播的电磁信号的计算机可读储存介质(或“存储器”)，但并不旨在以其他方式来限制物理计算机可读存储设备的类型，物理计算机可读存储设备被用语“计算机可读介质或存储器”所涵盖。例如，术语“非暂时性的计算机可读介质”或“有形的存储器”旨在涵盖不一定永久存储信息的存储设备类型，包括例如随机存取存储器(RAM)。以非暂时性的形式存储在有形的计算机可访问存储介质上的程序指令和数据还可以通过传输介质或诸如电气、电磁或数字信号等信号来传输，这些信号可以通过诸如网络和/或无线链路等通信介质来传送。
(与系统10相关联的)处理器11可以是或包括任何数量的硬件组件，该硬件组件用于进行数据或信号处理，或者用于执行存储在存储器12中的计算机代码。设备 10具有相关联的存储器12，并且存储器12可以是一个或多个如下设备，该设备用于存储数据和/或计算机代码，以完成或促进本说明书中所描述的各种方法。存储器可以包括易失性存储器或非易失性存存储器。存储器12可以包括数据库组件、对象代码组件、脚本组件、或用于支持本描述的各种活动的任何其他类型的信息结构。根据示例性实施例，任何分布式的或本地的存储器设备都可以与本描述的系统和方法一起使用。根据示例性实施例，存储器12被可通信地连接到处理器11(例如，通过电路或任何其他有线、无线或网络连接)，并且包括用于执行本文所描述的一个或多个过程的计算机代码。
应当理解，传感器接口13还可以提供直接或通过交通工具中的专用传感器控制电路6获取传感器数据的可能性。通信/天线接口14可以进一步提供凭借天线8将输出发送到远程位置(例如，远程操作者或控制中心)的可能性。此外，交通工具中的一些传感器可以使用本地网络设置(诸如CAN总线、I2C、以太网、光纤等)与系统10 进行通信。通信接口14可以被布置为与交通工具的其他控制功能进行通信，因此也可以被视为控制接口；然而，可以提供单独的控制接口(未示出)。交通工具内的本地通信也可以是具有诸如无线保真(WiFi：WIreless Fidelity)、远距离无线电(LoRa：Long Range Radio)、紫蜂(Zigbee)、蓝牙、或类似的中/短程技术等协议的无线类型。
应当注意，词语“包括”不排除存在除所列那些之外的其他元件或步骤，并且在元件之前的词语“一”或“该”不排除存在多个这样的元件。还应注意，任何附图标记并不限制权利要求的范围，本发明可以至少部分地凭借硬件和软件来实现，并且若干个“装置”或“单元”可以由相同的硬件项目来表示。
尽管附图中可能显示了方法步骤的特定顺序，但这些步骤的顺序可以与所描绘的不同。此外，可以同时地或部分同时地执行两个或更多个步骤。这种变化将取决于所选的软件和硬件系统以及设计师的选择。所有这些变化都处于本发明的范围内。同样，软件实现可以使用具有基于规则的逻辑和其他逻辑的标准编程技术来完成，用以完成各种连接步骤、处理步骤、比较步骤和决策步骤。以上提及和描述的实施例仅作为示例给出，并且不应限制本发明。下述专利实施例中所要求保护的本发明范围内的其他解决方案、用途、目标和功能对于本领域技术人员来说应为显而易见的。

Claims (13)

1.一种由计算系统执行的用于交通工具的感知开发模块的自我监督连续训练的方法，所述方法包括：
在一时间段期间存储从第一组交通工具安装的传感器获取的第一组传感器数据，所述第一组传感器数据指示所述交通工具的周围环境；
从训练后的机器学习感知模块获取第一组感知数据，所述训练后的机器学习感知模块被配置为基于传感器数据生成感知输出，所述第一组感知数据基于所述第一组传感器数据并且指示在所述时间段期间所述交通工具的所述周围环境中的至少一个感知参数；
基于从感知融合模块获取的第二组感知数据来形成训练数据，所述感知融合模块被配置为基于所述第一组感知数据与补充数据组的融合来生成感知输出；
其中，所述补充数据组指示在所述时间段期间所述交通工具的周围环境和所述交通工具的状态，并且
其中，所述第二组感知数据包括在所述时间段期间的至少一个时刻的所述交通工具的周围环境的鸟瞰视图；
将所述训练数据与所存储的所述第一组传感器数据同步；
基于同步后的所述训练数据的至少一部分以及所存储的所述第一组传感器数据的对应部分来更新所述感知开发模块的感知模型的一个或多个参数，所述感知开发模块被配置为基于所述感知模型和从所述第一组交通工具安装的传感器获取的传感器数据来生成所述交通工具的周围环境的鸟瞰视图。
2.根据权利要求1所述的方法，其中，更新所述感知开发模块的所述感知模型的一个或多个参数的步骤包括：
凭借基于所存储的所述第一组传感器数据的至少一部分的学习算法并且通过使用同步后的训练数据的对应部分作为监督信号，来更新所述感知开发模块的所述感知模型的一个或多个参数。
3.根据权利要求1所述的方法，其中，所述第二组感知数据进一步包括在所述时间段期间所述交通工具的周围环境的所述鸟瞰视图中所包括的多个感知参数的置信度估计；
其中，所述训练数据与所存储的所述第一组传感器数据的所述同步仅针对具有高于阈值的置信度估计的训练数据来执行。
4.根据权利要求3所述的方法，进一步包括：
如果所述训练数据具有低于所述阈值的置信度估计，则将所形成的所述训练数据和所存储的所述传感器数据传输到远程实体。
5.根据权利要求1所述的方法，其中，形成所述训练数据的步骤进一步包括：对所述第二组感知数据进行后处理，以便对所述第二组感知数据进行管护。
6.根据权利要求5所述的方法，并且其中，所述时间段为从第一时间点到第二时间点的范围，所述方法进一步包括：
在所述时间段期间存储所述第二组感知数据；并且
其中，对所述第二组感知数据进行后处理的步骤包括：
基于对从所述第二时间点回到所述第一时间点与所述第二时间点之间的中间时间点的范围内的所述第二组感知数据的一部分进行后处理来确定所述训练数据，所述训练数据在所述第二组感知数据的所述部分的条件下指示所述交通工具的所述周围环境的鸟瞰视图。
7.根据权利要求6所述的方法，其中，所述第二组感知数据的所述部分的所述后处理进一步包括：
通过后向过滤器来运行所述第二组感知数据的所述部分，所述后向过滤器被配置为基于所述第二组感知数据的一组感知参数从所述中间时间点到所述第二时间点的状态的发展，在所述中间时间点将所述一组感知参数对齐。
8.根据权利要求1至7中任一项所述的方法，其中，所述训练后的机器学习感知模块被配置为在图像平面中生成感知输出，包括基于从所述第一组交通工具安装的传感器获取的传感器数据来对对象进行检测和分类。
9.根据权利要求1至7中任一项所述的方法，其中，所述训练后的机器学习感知模块是：被配置为基于从所述第一组交通工具安装的传感器获取的传感器数据来生成所述交通工具的周围环境的鸟瞰视图的感知开发模块。
10.根据权利要求1至7中的任一项所述的方法，进一步包括：
将所述感知开发模块的所述感知模型的更新后的所述一个或多个参数传输到远程实体；
从所述远程实体接收所述感知开发模块的所述感知模型的一组全局更新后的参数，其中，所述一组全局更新后的参数基于从包括所述感知开发模块的多个交通工具获取的信息；
基于接收到的所述一组全局更新后的参数来更新所述感知开发模块的所述感知模型。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有被配置为由处理系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至10中任一项所述的方法的指令。
12.一种用于交通工具的感知开发模块的自我监督连续训练的系统，所述系统包括控制电路，所述控制电路被配置为：
在一时间段期间存储从第一组交通工具安装的传感器获取的第一组传感器数据，所述第一组传感器数据指示所述交通工具的周围环境；
从训练后的第一机器学习感知模块获取第一组感知数据，所述训练后的第一机器学习感知模块被配置为基于传感器数据来生成感知输出，所述第一组感知数据基于所述第一组传感器数据并且指示在所述时间段期间所述交通工具的所述周围环境中的至少一个感知参数；
基于从感知融合模块获取的第二组感知数据来形成训练数据，所述感知融合模块被配置为基于所述第一组感知数据与补充数据组的融合来生成感知输出；
其中，所述补充数据组指示在所述时间段期间所述交通工具的周围环境和/或所述交通工具的状态，并且
其中，所述第二组感知数据包括在所述时间段期间的至少一个时刻的所述交通工具的周围环境的鸟瞰视图；
将所述训练数据与所存储的所述第一组传感器数据同步；
基于同步后的所述训练数据的至少一部分以及所存储的所述第一组传感器数据的对应部分来更新所述感知开发模块的感知模型的一个或多个参数，所述感知开发模块被配置为基于所述感知模型和从所述第一组交通工具安装的传感器获取的传感器数据来生成所述交通工具的周围环境的鸟瞰视图。
13.一种交通工具，包括：
一组交通工具安装的传感器，被配置为输出传感器数据，所述传感器数据指示所述交通工具的周围环境；
训练后的第一机器学习感知模块，被配置为基于所述传感器数据来生成感知输出；
自动驾驶系统ADS，具有被配置为基于第一组感知数据和补充数据组的融合来生成感知输出的感知模块，其中，所述补充数据组指示所述交通工具的周围环境和/或所述交通工具的状态；以及
根据权利要求12所述的系统。
CN202210656645.5A 2021-06-11 2022-06-10 用于自动驾驶系统的感知系统开发的平台 Pending CN115470884A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21179123.1A EP4102403A1 (en) 2021-06-11 2021-06-11 Platform for perception system development for automated driving system
EP21179123.1 2021-06-11

Publications (1)

Publication Number Publication Date
CN115470884A true CN115470884A (zh) 2022-12-13

Family

ID=76444257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210656645.5A Pending CN115470884A (zh) 2021-06-11 2022-06-10 用于自动驾驶系统的感知系统开发的平台

Country Status (3)

Country Link
US (1) US20220396281A1 (zh)
EP (1) EP4102403A1 (zh)
CN (1) CN115470884A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012805A (zh) * 2023-03-24 2023-04-25 深圳佑驾创新科技有限公司 目标感知方法、装置、计算机设备、存储介质和程序产品

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
CN116030438B (zh) * 2023-03-30 2023-06-23 斯润天朗（北京）科技有限公司 基于时间同步的协作式感知方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018052714A2 (en) * 2016-09-19 2018-03-22 Nec Laboratories America, Inc. Video to radar

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012805A (zh) * 2023-03-24 2023-04-25 深圳佑驾创新科技有限公司 目标感知方法、装置、计算机设备、存储介质和程序产品
CN116012805B (zh) * 2023-03-24 2023-08-29 深圳佑驾创新科技有限公司 目标感知方法、装置、计算机设备、存储介质

Also Published As

Publication number Publication date
EP4102403A1 (en) 2022-12-14
US20220396281A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
EP4102403A1 (en) Platform for perception system development for automated driving system
US20220089151A1 (en) Path planning in autonomous driving environments
US20210325901A1 (en) Methods and systems for automated driving system monitoring and management
US20220266856A1 (en) Platform for perception system development for automated driving systems
US10733463B1 (en) Systems and methods for augmenting perception data with supplemental information
EP4020111B1 (en) Vehicle localisation
CN113602283A (zh) 用于管理车辆的自动驾驶系统的方法和系统
US20230090338A1 (en) Method and system for evaluation and development of automated driving system features or functions
US20230297845A1 (en) System and method for federated learning of self-supervised networks in automated driving systems
US20220350338A1 (en) Platform for path planning system development for automated driving system
EP4047514A1 (en) Platform for perception system development for automated driving system
EP4307250A1 (en) Method and system for in-vehicle self-supervised training of perception functions for an automated driving system
US20230091986A1 (en) Method and system for evaluation and development of automated driving system features
EP4325446A1 (en) Method and system for in-vehicle self-supervised training of perception functions for an automated driving system
US20240135252A1 (en) Lane-assignment for traffic objects on a road
EP4357944A1 (en) Identification of unknown traffic objects
US11704385B2 (en) Traffic light detection auto-labeling and federated learning based on vehicle-to-infrastructure communications
EP4358039A1 (en) Lane-assignment for traffic objects on a road
US20240135719A1 (en) Identification of unknown traffic objects
US20240104905A1 (en) System and method for building multi-view machine learning datasets from fleet data
WO2022258203A1 (en) Platform for perception function development for automated driving system
CN115390868A (zh) 自动驾驶系统感知的开发
CN116542346A (zh) 在车辆的边缘训练感知模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication