CN116861261B - 自动驾驶模型的训练方法、部署方法、系统、介质和设备 - Google Patents

自动驾驶模型的训练方法、部署方法、系统、介质和设备 Download PDF

Info

Publication number
CN116861261B
CN116861261B CN202311127103.XA CN202311127103A CN116861261B CN 116861261 B CN116861261 B CN 116861261B CN 202311127103 A CN202311127103 A CN 202311127103A CN 116861261 B CN116861261 B CN 116861261B
Authority
CN
China
Prior art keywords
feature
interference
network
meta
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311127103.XA
Other languages
English (en)
Other versions
CN116861261A (zh
Inventor
张腾飞
李茹杨
沈鸿翔
张恒
邓琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN202311127103.XA priority Critical patent/CN116861261B/zh
Publication of CN116861261A publication Critical patent/CN116861261A/zh
Application granted granted Critical
Publication of CN116861261B publication Critical patent/CN116861261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Acoustics & Sound (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种自动驾驶模型的训练方法、部署方法、系统、介质和设备，涉及机器学习领域，包括：获取数据集；数据集中的样本包括正常场景数据和干扰场景数据；从数据集中选取第一正常场景样本和第一干扰场景样本，利用第一算法训练得到第一感知模型；从数据集中选取第二正常场景样本和第二干扰场景样本，利用第二算法结合第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法，训练得到第二感知模型；将第二感知模型部署至自动驾驶系统中。本发明能避免高质量特征和低质量特征同时被蒸馏，提升了知识蒸馏的效果，便于对第二感知模型中低质量的抗干扰特征进行针对性的知识蒸馏，有效提升了第二感知模型的鲁棒性。

Description

自动驾驶模型的训练方法、部署方法、系统、介质和设备
技术领域
本发明涉及机器学习领域，特别涉及一种自动驾驶模型的训练方法、部署方法、系统、介质和设备。
背景技术
目前已有很多提高感知模型鲁棒性的方法，针对恶劣环境对模型鲁棒性的影响，主要采用数据增强的方式，利用采集或生成的容易导致模型鲁棒性下降的样本训练模型。
感知模型的鲁棒性可能受恶劣环境、传感器故障、恶意攻击等多种类型干扰因素的影响，然而，当前提升感知模型鲁棒性的方法通常只针对一种或某几种干扰因素，没有涵盖尽可能多的干扰因素，所获得的模型只能在一种或某几种干扰因素下具备较好的鲁棒性，当模型部署到车端，仍容易遭受其他干扰因素的影响，如针对恶劣天气因素训练的模型，仍会受到恶意攻击的影响，导致鲁棒性下降，威胁自动驾驶安全。此外，当前车端部署的感知模型主要为传统小模型，一方面小模型表达能力较弱，难以同时兼顾不同类型的干扰因素；另一方面，使用针对多种类型干扰因素增强的数据训练小模型，容易造成小模型在正常场景下性能下降。
发明内容
本发明的目的是提供一种自动驾驶模型的训练方法、系统、存储介质和电子设备，能够提升用于部署至自动驾驶系统的第二感知模型的鲁棒性。
为解决上述技术问题，本发明提供一种自动驾驶模型的训练方法，具体技术方案如下：
获取数据集；所述数据集中的样本包括正常场景数据和干扰场景数据；
从所述数据集中选取第一正常场景样本和第一干扰场景样本，训练得到第一感知模型；
从所述数据集中选取第二正常场景样本和第二干扰场景样本，基于所述第一感知模型使用知识蒸馏方法训练得到第二感知模型；所述第二感知模型用于部署至自动驾驶系统。
可选的，所述获取数据集包括：
获取所述正常场景数据或所述干扰场景数据的数据帧；其中，每个所述数据帧至少包含一种模态。
可选的，获取数据集之后，还包括：
对所述数据集中的样本进行特定任务标注和干扰因素标注。
可选的，所述从所述数据集中选取第一正常场景样本和第一干扰场景样本包括：
按照相同概率从所述数据集中选取第一正常场景样本和第一干扰场景样本。
可选的，利用第一算法训练得到第一感知模型包括：
将所述第一正常场景样本和所述第一干扰场景样本输入基础网络，得到多尺度特征；所述基础网络包含骨干网络和多尺度特征提取网络；
利用多模态融合网络融合所述样本多个模态的特征，并输入至元网络；所述元网络由基础元网络组和抗干扰元网络组构成；所述基础元网络组包含基础元网络，所述抗干扰元网络组包含抗干扰元网络；所述元网络包含卷积神经网络和多层感知机；
在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征；
将所述融合特征输入至任务网络，经过训练得到第一感知模型。
可选的，利用第一算法训练得到第一感知模型后，还包括：
确定所述第一感知模型的损失函数，并利用反向传播优化器优化所述第一感知模型，直至所述第一感知模型完全收敛。
可选的，从所述数据集中选取第二正常场景样本和第二干扰场景样本，利用第二算法结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法，训练得到第二感知模型包括：
从所述数据集中选取第二正常场景样本和第二干扰场景样本，利用第二算法训练得到初始第二感知模型；
结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法对所述初始第二感知模型进行关联关系矩阵或特征值的一致化处理，得到第二感知模型。
可选的，从所述数据集中选取第二正常场景样本和第二干扰场景样本，利用第二算法训练得到初始第二感知模型包括：
将所述第二正常场景样本和所述第二干扰场景样本输入第二算法得到的基础网络，得到多尺度特征；所述基础网络包含骨干网络和多尺度特征提取网络；
利用多模态融合网络融合所述样本多个模态的特征，并输入至元网络；所述元网络由基础元网络组和抗干扰元网络组构成；所述基础元网络组包含基础元网络，所述抗干扰元网络组包含抗干扰元网络；所述元网络包含卷积神经网络和多层感知机；
在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征；
将所述融合特征输入至任务网络，经过训练得到初始第二感知模型。
可选的，结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法对所述初始第二感知模型进行关联关系矩阵或特征值的一致化处理，得到第二感知模型包括：
利用多模态融合网络融合所述样本多个模态的特征后，利用干扰特征知识蒸馏方法对干扰场景样本和正常场景样本之间的前景特征以及背景特征间的关联关系进行知识蒸馏，并利用损失函数计算关联关系矩阵之间的差异；
在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征后，利用基础特征判别损失函数对所述融合特征进行预测，并根据预测结果进行特征值对齐。
可选的，利用干扰特征知识蒸馏方法对干扰场景样本和正常场景样本之间的前景特征以及背景特征间的关联关系进行知识蒸馏，并利用损失函数计算关联关系矩阵之间的差异包括：
输入正常场景样本和干扰场景样本；
对于所述第一感知模型，得到正常场景样本的第一多模态融合特征和第一元知识特征；对于第二感知模型，得到正常场景样本的第二多模态融合特征和第二元知识特征；
分别确定所述第一多模态融合特征、所述第一元知识特征、所述第二多模态融合特征和所述第二元知识特征的宽、长和通道数量；
根据所述第一多模态融合特征、所述第一元知识特征、所述第二多模态融合特征和所述第二元知识特征的宽、长和通道数量确定所述前景特征和所述背景特征；
对于所述前景特征，从标注的目标边界框内进行均匀的特征点采样，获得前景特征点；
对于所述背景特征，从标注的目标边界框外的区域进行均匀的特征点采样，得到背景特征点
根据所述前景特征点和所述背景特征点利用损失函数计算关联关系矩阵之间的差异。
可选的，还包括：
确定干扰场景样本的干扰特征点，并根据所述干扰特征点确定需要进行知识迁移的特征。
可选的，所述确定所述干扰场景样本的干扰特征点包括：
确定子任务的损失函数；
利用所述子任务的损失函数计算所述第二感知模型的干扰场景样本的多模态融合特征梯度和元知识特征梯度；
沿通道方向对所述多模态融合特征梯度和所述元知识特征梯度求和，对宽、高维度上每个位置梯度值求绝对值，并按照梯度绝对值进行降序排序；
取所述排序中前预设数量个梯度绝对值的位置索引，按照所述位置索引在所述第二感知模型的干扰场景样本的多模态融合特征中采样第一干扰特征点，按照所述位置索引在所述第一感知模型的干扰场景样本的多模态融合特征中采样第二干扰特征点。
可选的，根据所述前景特征点和所述背景特征点利用损失函数计算关联关系矩阵之间的差异包括：
根据所述第一感知模型和所述第二感知模型各自的多模态融合特征的前景特征点、背景特征点和干扰特征点，计算干扰特征的第一知识蒸馏损失；
根据所述第一感知模型和所述第二感知模型各自的元知识特征的前景特征点、背景特征点和干扰特征点，计算干扰特征的第二知识蒸馏损失；
根据所述第一知识蒸馏损失和所述第二知识蒸馏损失计算关联关系矩阵之间的差异。
可选的，根据所述第一感知模型和所述第二感知模型各自的多模态融合特征的前景特征点、背景特征点和干扰特征点，计算干扰特征的第一知识蒸馏损失包括：
聚合所述第一感知模型的多模态融合特征的前景特征点、背景特征点和干扰特征点，得到第一聚合特征；
确定所述第一聚合特征的第一关联关系矩阵；
聚合所述第二感知模型的多模态融合特征的前景特征点、背景特征点和干扰特征点，得到第二聚合特征；
确定所述第二聚合特征的第二关联关系矩阵；
根据所述第一关联关系矩阵和所述第二关联关系矩阵计算干扰特征第一知识蒸馏损失。
可选的，根据所述第一感知模型和所述第二感知模型各自的元知识特征的前景特征点、背景特征点和干扰特征点，计算干扰特征的第二知识蒸馏损失包括：
聚合所述第一感知模型的元知识特征的前景特征点、背景特征点和干扰特征点，得到第三聚合特征；
确定所述第三聚合特征的第三关联关系矩阵；
聚合所述第二感知模型的元知识特征的前景特征点、背景特征点和干扰特征点，得到第四聚合特征；
确定所述第四聚合特征的第四关联关系矩阵；
根据所述第三关联关系矩阵和所述第四关联关系矩阵计算干扰特征第二知识蒸馏损失。
可选的，利用基础特征判别损失函数对所述融合特征进行预测，并根据预测结果进行特征值对齐包括：
确定所述第一感知模型的第一基础特征，和所述第二感知模型的第二基础特征；
将所述第一基础特征和所述第二基础特征输入至基础特征判别网络，确定所述第一基础特征或者所述第二基础特征的预测结果；所述基础特征判别网络包含所述基础特征判别损失函数；
根据所述预测结果进行特征值对齐。
可选的，将所述第一基础特征和所述第二基础特征输入至基础特征判别网络之前，还包括：
利用梯度反转层对所述第二感知模型基础元网络或抗干扰元网络进行知识蒸馏。
可选的，利用第二算法结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法，训练得到第二感知模型时，还包括：
每次训练时，从正常场景数据集采样得到正常场景训练样本，从感知鲁棒性干扰场景数据库中采样一个干扰场景数据训练样本；
将所述正常场景训练样本和所述干扰场景数据训练样本输入至所述第一感知模型和所述第二感知模型中，得到各自的多模态融合特征和融合的元知识特征。
可选的，得到各自的多模态融合特征和融合的元知识特征之后，还包括：
计算多模态融合特征的干扰特征知识蒸馏损失函数，元知识特征的干扰特征知识蒸馏损失函数，基础特征判别损失函数，抗干扰特征判别损失函数，干扰因素判别损失函数的损失值；
利用所述多模态融合特征的干扰特征知识蒸馏损失函数、元知识特征的干扰特征知识蒸馏损失函数、基础特征判别损失函数、抗干扰特征判别损失函数、干扰因素判别损失函数的损失值和各子任务网络计算获得的损失值，反向传播优化所述第二感知模型。
本发明还提供一种自动驾驶模型的部署方法，包括：
获取第二感知模型；
将所述第二感知模型部署至自动驾驶系统。
本发明还提供一种自动驾驶模型的训练系统，包括：
数据获取模块，用于获取数据集；所述数据集中的样本包括正常场景数据和干扰场景数据；
第一感知模型训练模块，用于从所述数据集中选取第一正常场景样本和第一干扰场景样本，利用第一算法训练得到第一感知模型；
第二感知模型训练模块，用于从所述数据集中选取第二正常场景样本和第二干扰场景样本，利用第二算法结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法，训练得到第二感知模型；所述第二感知模型用于部署至自动驾驶系统。
可选的，还包括：
标注模块，用于对所述数据集中的样本进行特定任务标注和干扰因素标注。
可选的，所述第一感知模型训练模块包括：
第一选取子模块，用于按照相同概率从所述数据集中选取第一正常场景样本和第一干扰场景样本。
可选的，第一感知模型训练模块包括：
第一输入子模块，用于将所述第一正常场景样本和所述第一干扰场景样本输入基础网络，得到多尺度特征；所述基础网络包含骨干网络和多尺度特征提取网络；
第一融合子模块，用于利用多模态融合网络融合所述样本多个模态的特征，并输入至元网络；所述元网络由基础元网络组和抗干扰元网络组构成；所述基础元网络组包含基础元网络，所述抗干扰元网络组包含抗干扰元网络；所述元网络包含卷积神经网络和多层感知机；
第二融合子模块，用于在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征；
第一输入子模块，用于将所述融合特征输入至任务网络，经过训练得到第一感知模型。
可选的，还包括：
损失函数确定子模块，用于确定所述第一感知模型的损失函数，并利用反向传播优化器优化所述第一感知模型，直至所述第一感知模型完全收敛。
可选的，第二感知模型训练模块包括：
第二选取子模块，用于从所述数据集中选取第二正常场景样本和第二干扰场景样本，利用第二算法训练得到初始第二感知模型；
一致化处理子模块，用于结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法对所述初始第二感知模型进行关联关系矩阵或特征值的一致化处理，得到第二感知模型。
可选的，第二选取子模块包括：
第一输入单元，用于将所述第二正常场景样本和所述第二干扰场景样本输入第二算法得到的基础网络，得到多尺度特征；所述基础网络包含骨干网络和多尺度特征提取网络；
第一融合单元，用于利用多模态融合网络融合所述样本多个模态的特征，并输入至元网络；所述元网络由基础元网络组和抗干扰元网络组构成；所述基础元网络组包含基础元网络，所述抗干扰元网络组包含抗干扰元网络；所述元网络包含卷积神经网络和多层感知机；
第二融合单元，用于在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征；
第二输入单元，用于将所述融合特征输入至任务网络，经过训练得到初始第二感知模型。
可选的，一致化处理子模块包括：
计算单元，用于利用多模态融合网络融合所述样本多个模态的特征后，利用干扰特征知识蒸馏方法对干扰场景样本和正常场景样本之间的前景特征以及背景特征间的关联关系进行知识蒸馏，并利用损失函数计算关联关系矩阵之间的差异；
预测单元，用于在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征后，利用基础特征判别损失函数对所述融合特征进行预测，并根据预测结果进行特征值对齐。
可选的，计算单元包括：
输入子单元，用于输入正常场景样本和干扰场景样本；
特征确定子单元，用于对于所述第一感知模型，得到正常场景样本的第一多模态融合特征和第一元知识特征；对于第二感知模型，可获得正常场景样本的第二多模态融合特征和第二元知识特征；
第一确定子单元，用于分别确定所述第一多模态融合特征、所述第一元知识特征、所述第二多模态融合特征和所述第二元知识特征的宽、长和通道数量；
第二确定子单元，用于根据所述第一多模态融合特征、所述第一元知识特征、所述第二多模态融合特征和所述第二元知识特征的宽、长和通道数量确定所述前景特征和所述背景特征；
第一采样子单元，用于对于所述前景特征，从标注的目标边界框内进行均匀的特征点采样，获得前景特征点；
第二采样子单元，用于对于所述背景特征，从标注的目标边界框外的区域进行均匀的特征点采样，得到背景特征点
第一计算子单元，用于根据所述前景特征点和所述背景特征点利用损失函数计算关联关系矩阵之间的差异。
可选的，还包括：
第三确定子单元，用于确定干扰场景样本的干扰特征点，并根据所述干扰特征点确定需要进行知识迁移的特征。
可选的，第三确定子单元包括：
第四确定子单元，用于确定子任务的损失函数；
第二计算子单元，用于利用所述子任务的损失函数计算所述第二感知模型的干扰场景样本的多模态融合特征梯度和元知识特征梯度；
排序子单元，用于沿通道方向对所述多模态融合特征梯度和所述元知识特征梯度求和，对宽、高维度上每个位置梯度值求绝对值，并按照梯度绝对值进行降序排序；
第三采样子单元，用于取所述排序中前预设数量个梯度绝对值的位置索引，按照所述位置索引在所述第二感知模型的干扰场景样本的多模态融合特征中采样第一干扰特征点，按照所述位置索引在所述第一感知模型的干扰场景样本的多模态融合特征中采样第二干扰特征点。
可选的，第一计算子单元包括：
第一知识蒸馏损失计算子单元，用于根据所述第一感知模型和所述第二感知模型各自的多模态融合特征的前景特征点、背景特征点和干扰特征点，计算干扰特征的第一知识蒸馏损失；
第二知识蒸馏损失计算子单元，用于根据所述第一感知模型和所述第二感知模型各自的元知识特征的前景特征点、背景特征点和干扰特征点，计算干扰特征的第二知识蒸馏损失；
差异计算子单元，用于根据所述第一知识蒸馏损失和所述第二知识蒸馏损失计算关联关系矩阵之间的差异。
可选的，第一知识蒸馏损失计算子单元包括：
第一聚合子单元，用于聚合所述第一感知模型的多模态融合特征的前景特征点、背景特征点和干扰特征点，得到第一聚合特征；
第一关联关系矩阵确定子单元，用于确定所述第一聚合特征的第一关联关系矩阵；
第二聚合子单元，用于聚合所述第二感知模型的多模态融合特征的前景特征点、背景特征点和干扰特征点，得到第二聚合特征；
第二关联关系矩阵确定子单元，用于确定所述第二聚合特征的第二关联关系矩阵；
干扰特征第一知识蒸馏损失计算子单元，用于根据所述第一关联关系矩阵和所述第二关联关系矩阵计算干扰特征第一知识蒸馏损失。
可选的，第二知识蒸馏损失计算子单元包括：
第三聚合子单元，用于聚合所述第一感知模型的元知识特征的前景特征点、背景特征点和干扰特征点，得到第三聚合特征；
第三关联关系矩阵确定子单元，用于确定所述第三聚合特征的第三关联关系矩阵；
第四聚合子单元，用于聚合所述第二感知模型的元知识特征的前景特征点、背景特征点和干扰特征点，得到第四聚合特征；
第四关联关系矩阵确定子单元，用于确定所述第四聚合特征的第四关联关系矩阵；
干扰特征第二知识蒸馏损失计算子单元，用于根据所述第三关联关系矩阵和所述第四关联关系矩阵计算干扰特征第二知识蒸馏损失。
可选的，预测单元包括：
第二基础特征和第二基础特征确定子单元，用于确定所述第一感知模型的第一基础特征，和所述第二感知模型的第二基础特征；
预测结果确定子单元，用于将所述第一基础特征和所述第二基础特征输入至基础特征判别网络，确定所述第一基础特征或者所述第二基础特征的预测结果；所述基础特征判别网络包含所述基础特征判别损失函数；
特征值对齐子单元，用于根据所述预测结果进行特征值对齐。
可选的，在执行预测结果确定子单元中的步骤之前，还包括：
知识蒸馏子单元，用于利用梯度反转层对所述第二感知模型基础元网络或抗干扰元网络进行知识蒸馏。
可选的，在执行第二感知模型训练模块中的步骤时，还包括：
样本获取模块，用于每次训练时，从正常场景数据集采样得到正常场景训练样本，从感知鲁棒性干扰场景数据库中采样一个干扰场景数据训练样本；
输入模块，用于将所述正常场景训练样本和所述干扰场景数据训练样本输入至所述第一感知模型和所述第二感知模型中，得到各自的多模态融合特征和融合的元知识特征。
可选的，在执行输入模块中的步骤之后，包括：
计算模块，用于计算多模态融合特征的干扰特征知识蒸馏损失函数，元知识特征的干扰特征知识蒸馏损失函数，基础特征判别损失函数，抗干扰特征判别损失函数，干扰因素判别损失函数的损失值；
第二感知模型传播优化模块，用于利用所述多模态融合特征的干扰特征知识蒸馏损失函数、元知识特征的干扰特征知识蒸馏损失函数、基础特征判别损失函数、抗干扰特征判别损失函数、干扰因素判别损失函数的损失值和各子任务网络计算获得的损失值，反向传播优化所述第二感知模型。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
本发明还提供一种电子设备，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。
本发明提供一种自动驾驶模型的训练方法，包括：获取数据集；所述数据集中的样本包括正常场景数据和干扰场景数据；从所述数据集中选取第一正常场景样本和第一干扰场景样本，利用第一算法训练得到第一感知模型；从所述数据集中选取第二正常场景样本和第二干扰场景样本，利用第二算法结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法，训练得到第二感知模型；将所述第二感知模型部署至自动驾驶系统中。
本发明在训练得到第一感知模型的基础上，进一步利用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法训练得到第二感知模型，有效对第二感知模型进行特征质量的评估，避免高质量特征和低质量特征同时被蒸馏，提升了知识蒸馏的效果，便于对第二感知模型中低质量的抗干扰特征进行针对性的知识蒸馏，有效提升了第二感知模型的鲁棒性。
本发明还提供一种自动驾驶模型的训练系统、存储介质和电子设备，具有上述有益效果，此处不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的一种自动驾驶模型的训练方法的流程图；
图2为本发明实施例所提供的一种第一感知模型的结构示意图；
图3为本发明实施例所提供的一种第一感知模型和第二感知模型的结构示意图；
图4为本发明实施例所提供的一种第二感知模型的结构示意图；
图5为本发明实施例所提供的前景特征点和背景特征点采样示意图；
图6为本发明实施例所提供的干扰特征点的采样示意图；
图7为本发明实施例所提供的抗干扰特征判别网络和干扰因素判别网络示意图；
图8为本发明实施例所提供的一种自动驾驶模型的训练系统结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的一种自动驾驶模型的训练方法的流程图，该方法包括：
S101：获取数据集；所述数据集中的样本包括正常场景数据和干扰场景数据。
S102：从所述数据集中选取第一正常场景样本和第一干扰场景样本，利用第一算法训练得到第一感知模型。
S103：从所述数据集中选取第二正常场景样本和第二干扰场景样本，利用第二算法结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法，训练得到第二感知模型。
S104：将所述第二感知模型部署至自动驾驶系统中。
影响感知模型鲁棒性的干扰因素主要可分为恶劣环境和硬件故障。恶劣环境包含影响摄像机成像质量的各种光照因素，如：炫光、反光等；雨、雪、雾、霾等天气条件会影响摄像机和激光雷达采集的数据质量；当各种传感器发生硬件故障时，会造成采集的数据质量降低甚至完全失效。如摄像机成像时产生的噪声以及一些坏点；激光雷达也可能出现故障，导致对部分视角无法采集到点云数据。
对于正常场景数据或干扰场景数据，均由数据帧表示，每帧数据/>包含至少一种模态的数据，如/>，表示数据帧/>包含M种模态，其中每种模态样本集合又包含至少一条数据，如/>，表示模态/>包含N条数据。数据集中的数据来源包括：在车辆行驶过程中采集的道路场景数据；通过仿真软件获得的道路场景数据；通过模型生成的道路场景数据。在此对于数据帧的模态类型不作限定，可以包含图像数据和点云数据。图像数据可以为RGB（red、green、blue，红绿蓝三通道）图像，点云数据可以包括激光雷达点云数据、毫米波雷达点云数据和超声雷达点云数据等。
根据上述采集流程，每个数据帧中至少存在一个模态样本集合/>，对于干扰场景数据帧，其中包含至少一条干扰场景数据。
作为一种优选的实施例，在采样时，可以对正常场景样本和干扰场景样本采取不同的采样概率，正常场景样本的采样概率为：，干扰场景数据的采样概率为：/>，其中，/>。可选地，正常场景样本的采样概率/>取值为0.5，干扰场景数据的采样概率/>取值为0.5。在模型训练过程中，每次训练前，根据前述采样概率首先确定当前选取的是正常场景样本还是干扰场景数据样本，如果为正常场景样本，则直接选取正常场景样本；如果为干扰场景数据样本，则从包含至少一种干扰因素的数据帧中采样干扰场景数据帧。在包含正常场景和干扰场景数据的数据集中，正常场景和干扰场景数据的样本量不同。一般地，正常场景的样本量要远多于干扰场景数据的样本量，即两者的样本量是不平衡的，直接使用常规的训练数据采样策略，会导致第一感知模型难以从干扰场景数据中进行有效的学习，这限制了第一感知模型对干扰因素的鲁棒性，因此有必要设计针对干扰场景数据的采样策略。本实施例通过调整采样概率，可以平衡正常场景和干扰场景数据样本量的差异，显著提高第一感知模型的训练效果，得到更鲁棒的第一感知模型。
参见图2，图2为本发明实施例所提供的一种第一感知模型的结构示意图，训练第一感知模型时，其包含每个模态的预处理模块、骨干网络、多尺度特征提取网络，通过多模态融合网络融合多个模态的特征，骨干网络可采用卷积神经网络如ResNet（残差网络），Transformer网络（基于注意力机制的序列模型）如Swin Transformer等，多尺度特征提取网络可采用特征金字塔网络，多模态特征融合网络可采用卷积神经网络层、全连接层或Transformer交叉注意力层组成，多模态特征融合网络输出融合后的特征，随后输入元网络，元网络由基础元网络组和抗干扰元网络组构成，其中基础元网络组包含个基础元网络，抗干扰元网络组包含/>个抗干扰元网络。元网络可由卷积神经网络、多层感知机等网络结构组成。
元知识融合网络以各元网络的输出作为输出，对各元网络的输出进行融合，获得元知识融合后的特征，并输入到各下游子任务网络中，如3D目标检测、车道线分割、目标跟踪等子任务。元知识融合网络可采用卷积神经网络层、全连接层或Transformer交叉注意力层组成。
对于基础元网络组，本发明构建 个基础元网络，例如/> 。对于抗干扰元网络组，本发明构建/> 个抗干扰元网络，具体地，本发明为 每类干扰因素构建 个抗干扰元网络，/> ，例如对20类干扰因素，每类构建5个抗干扰元网络，此时/> ，/> 。通过对每类干扰因素设置多个抗干扰元网络，可显著提升对干扰因素的鲁棒性。
此外，使用正常场景数据和干扰场景数据联合训练第一感知模型时，为了提升第一感知模型对各类干扰因素的鲁棒性，同时确保第一感知模型在正常场景下具有高准确性。每次训练时，可采用前述的干扰场景数据采样策略从正常场景数据集和感知鲁棒性干扰场景数据库中采样一个批次的训练样本，如批次大小设定为32，即表示采样32个数据帧F，使用各子任务网络计算获得的损失，如3D目标检测子任务网络中的目标分类损失和位置回归损失等，反向传播优化第一感知模型。在此对于反向传播优化过程中采用的优化器不作限定，优化器可采用Gradient Descent (GD，梯度下降法)、Adaptive Momentestimation (Adam，自适应矩估计算法)、Adam Weight Decay Regularization (AdamW，基于自适应矩估计算法的更新优化器)等。
本发明提出一种鲁棒性增强的第二感知模型结构，以及两种鲁棒性知识蒸馏方法，如图3所示，图3为本发明实施例所提供的一种第一感知模型和第二感知模型的结构示意图，分别是干扰特征知识蒸馏方法、元网络对抗知识蒸馏方法。
其中，干扰特征知识蒸馏方法使用第一感知模型的多模态融合特征和元知识特征对第二感知模型的多模态融合特征和元知识特征进行知识蒸馏，将第一感知模型特征中的干扰特征、正常场景的前景、背景特征间的关联关系知识迁移到第二感知模型中，以提高第二感知模型对正常场景和干扰场景的判别能力，同时还能提高第二感知模型对前景、背景的判别能力，从而提高第二感知模型的整体性能和鲁棒性。
元网络对抗知识蒸馏方法将第一感知模型基础元网络组和抗干扰元网络组中的知识迁移到第二感知模型的基础元网络和抗干扰元网络中，对基础元网络，本发明的对抗知识蒸馏方法采用对抗学习方法减少第一感知模型和第二感知模型的基础元网络特征间的差异，以实现知识迁移，通过迁移基础元网络的知识，可显著提高第二感知模型对正常场景的感知能力；对于抗干扰元网络，本发明的对抗知识蒸馏方法采用对抗学习方法减少第一感知模型和第二感知模型的抗干扰元网络特征间的差异，此外，本发明还增加了对不同类型干扰因素特征的判别任务，可进一步提升第二感知模型的抗干扰元网络对各类型干扰因素的判别能力，通过迁移抗干扰元网络的知识，可显著提高第二感知模型对干扰因素的鲁棒性。
本领域内的知识蒸馏方法通常直接计算大模型和小模型中相同层级的特征间的差异，通过减小该差异将小模型的特征对齐到大模型的特征，以实现知识迁移。这类方法缺少对干扰特征和正常特征间、以及前景和背景间的关联关系的知识迁移，因而降低了知识蒸馏的效果，限制了第二感知模型的性能和对干扰因素的鲁棒性。本发明提出的干扰区域知识蒸馏方法，显式的将第一感知模型中的干扰特征和正常特征间、以及前景和背景间的关联关系知识迁移到第二感知模型中，可显著提高第二感知模型的性能和鲁棒性。此外，本领域内的知识蒸馏方法在进行大模型和小模型间的知识蒸馏时，缺乏通过对抗学习的方式对大模型的子网络（如本发明中的元网络）的知识迁移，本发明提出的元网络对抗知识蒸馏方法可有效提升元网络知识迁移效果，从而提高了第二感知模型的性能和鲁棒性。
第二感知模型采用传统的小模型结构设计，如图4所示，包含骨干网络，如图像模态中可采用ResNet等；多尺度特征提取网络，如特征金字塔网络；多模态特征融合网络可采用卷积神经网络层、全连接层或Transformer交叉注意力层组成，多模态特征融合网络输出融合后的特征，随后输入元网络，元网络由 个基础元网络和/>个抗干扰元网络构成，其中/>，/>，本发明提供的模型结构中分别设置了一个元网络；元知识融合网络以各元网络的输出作为输出，对各元网络的输出进行融合，获得元知识融合后的特征，并输入到各下游子任务网络中，如3D目标检测、车道线分割、目标跟踪等子任务。元知识融合网络可采用卷积神经网络层、全连接层或Transformer交叉注意力层组成。
在干扰特征知识蒸馏过程中，每次训练需要输入两个样本，分别是正常场景样本和干扰场景样本，对于第一感知模型，可获得正常场景样本的多模态融合特征和元知识特征/>，对于第二感知模型，可获得正常场景样本的多模态融合特征/>和元知识特征/>，
用表示第一感知模型的多模态融合特征/>的宽、长、通道数量；
用表示第一感知模型的元知识特征/>的宽、长、通道数量；
用表示第二感知模型的多模态融合特征/>的宽、长、通道数量；
用表示第二感知模型的元知识特征/>的宽、长、通道数量。
根据样本对应的目标检测任务的标注，可获得正常场景样本的多模态融合特征和元知识特征中的前景特征和背景特征。
具体地，如图5所示，对于前景特征，从标注的目标边界框内进行均匀的特征点采样，个前景特征点。
对第一感知模型，可获得个多模态融合特征/>的前景特征点/>，
以及个元知识特征/>的前景特征点/>；
对第二感知模型，可获得个多模态融合特征/>的前景特征点/>，以及/>个元知识特征/>的前景特征点/>；
如图5所示，对于背景特征，从标注的目标边界框外的区域进行均匀的特征点采样，获得个前景特征点；
对第一感知模型，可获得个多模态融合特征/>的背景特征点/>，以及/>个元知识特征/>的背景特征点/>；
对第二感知模型，可获得个多模态融合特征/>的背景特征点/>，以及/>个元知识特征/>的背景特征点/>。前景、背景均采样特征点，可提高知识迁移的效果。
对于第一感知模型，可获得干扰场景样本的多模态融合特征和元知识特征/>，对于第二感知模型，可获得干扰场景样本的多模态融合特征/>和元知识特征/>，用表示第一感知模型的干扰场景样本的多模态融合特征/>的宽、长、通道数量，用/>表示第一感知模型的干扰场景样本的元知识特征/>的宽、长、通道数量，用表示第二感知模型的干扰场景样本的多模态融合特征/>的宽、长、通道数量，用表示第二感知模型的干扰场景样本的元知识特征/>的宽、长、通道数量。
对于干扰场景样本特征点的采样，本发明提出一种基于梯度的干扰特征采样方法，如图6所示，用表示第i个子任务的损失函数，则所有N个损失函数的损失值为：，计算第二感知模型的干扰场景样本的多模态融合特征和元知识特征的梯度，第二感知模型的干扰场景样本的多模态融合特征的梯度为：/>，元知识特征的梯度为：/>，对于多模态融合特征的梯度/>，以及元知识特征的梯度/>，分别沿通道方向对梯度值求和，如对多模态融合特征/>的梯度中的宽、高方向上的第(i,j)位置，沿通道方向计算该位置的梯度值：/>，其中，k表示通道索引，对宽、高维度上每个位置梯度值求绝对值，并按照梯度绝对值进行降序排序，取前/>个最大的梯度绝对值对应的位置索引/>，按照该位置索引在第二感知模型的干扰场景样本的多模态融合特征中采样干扰特征点/>，按照该位置索引在第一感知模型的干扰场景样本的多模态融合特征/>中采样干扰特征点/>。
对干扰场景样本的元知识特征，同样按照上述流程处理，得到元知识特征的梯度在宽、高方向上的每个位置的梯度值，并按照梯度值绝对值进行降序排序，取前/>个最大的梯度绝对值对应的位置索引/>，按照该位置索引在第二感知模型的干扰场景样本的元知识特征/>中采样干扰特征点/>，按照该位置索引在第一感知模型的干扰场景样本的元知识特征/>中采样干扰特征点/>。基于梯度筛选出更需要进行知识迁移的特征，可显著提升知识迁移的效果。
需要注意的是，当第一感知模型的多模态融合特征F、元知识特征M与第二感知模型的多模态融合特征f、元知识特征m大小不一致时，需要对第一感知模型的特征采样点位置索引做变换，以与第二感知模型的特征采样点的位置对齐。以第二感知模型的多模态融合特征的前景特征点采样位置(i,j)为例，则对应的第一感知模型的多模态融合特征/>的前景特征点采样位置为：/>。
基于前述流程获得的第一感知模型的多模态融合特征的前景特征点、背景特征点/>、干扰特征点/>，元知识特征的前景特征点/>，，背景特征点，干扰特征点/>；可获得第二感知模型的多模态融合特征的前景特征点/>、背景特征点/>、干扰特征点/>，元知识特征的前景特征点/>、背景特征点、干扰特征点/>。将第一感知模型的多模态融合特征的前景特征点/>、背景特征点/>、干扰特征点/>进行聚合，得到大小为/>的聚合特征/>，计算得到第一感知模型的多模态融合特征采样点的关联关系矩阵/>，对多模态融合特征，对干扰场景样本中的特征点、正常场景样本的前景、背景特征点间的关联关系进行知识蒸馏，来提高第二感知模型对前景、背景和干扰特征的判别能力。
同样地，对第二感知模型的多模态融合特征的前景特征点、背景特征点/>、干扰特征点/>进行聚合，得到大小为/>的聚合特征/>，计算得到第二感知模型的多模态融合特征采样点的关联关系矩阵/>。对关联关系矩阵/>和/>计算干扰特征知识蒸馏损失：
；
其中，表示关联关系矩阵/>的位置索引(i,j)处的值，/>表示关联关系矩阵的位置索引(i,j)处的值。
将第一感知模型的元知识特征的前景特征点、背景特征点/>、干扰特征点/>进行聚合，得到大小为/>的聚合特征/>，计算得到第一感知模型的元知识特征采样点的关联关系矩阵/>，同样地，对第二感知模型的元知识特征的前景特征点/>、背景特征点/>、干扰特征点/>进行聚合，得到大小为/>的聚合特征/>，计算得到第二感知模型的元知识特征采样点的关联关系矩阵/>。
对元知识特征，对干扰场景样本中的特征点、正常场景样本的前景、背景特征点间的关联关系进行知识蒸馏，以提高第二感知模型对前景、背景和干扰特征的判别能力。对关联关系矩阵和/>计算干扰特征知识蒸馏损失：
；
其中，表示关联关系矩阵/>的位置索引(i,j)处的值，/>表示关联关系矩阵的位置索引(i,j)处的值。
对于抗干扰元网络，对第一感知模型的个抗干扰元网络，可得到/>个抗干扰特征/>，对第二感知模型的/>个抗干扰元网络，可得到/>个抗干扰特征。本发明提出对抗知识蒸馏方法，通过抗干扰特征判别网络，可进行任意数量的第一感知模型抗干扰元网络特征对第二感知模型抗干扰元网络特征的知识蒸馏。
如图7所示，本发明构建一个抗干扰特征判别网络和干扰因素判别网络，抗干扰特征判别网络是一个二分类网络，其输入是来自第一感知模型和第二感知模型的抗干扰元网络输出的抗干扰特征，使用抗干扰特征判别损失函数监督该判别网络的训练，抗干扰特征判别损失函数如下：
；
其中，表示分类标签，如果当前输入的抗干扰特征是来自第一感知模型的抗干扰元网络，则/>，如果当前输入的抗干扰特征是来自第二感知模型的抗干扰元网络，则，/>表示判别网络的预测结果。
由于第二感知模型的抗干扰元网络数量很少，远少于干扰因素数量，限制了第二感知模型对多种类型干扰因素的鲁棒性。针对该问题，本发明在知识蒸馏的过程中增加干扰因素判别网络，可显著提升第二感知模型的抗干扰元网络对各类干扰因素的判别能力，提高其鲁棒性。针对大模型、小模型的结构差异，在蒸馏过程中增加额外的判别模块，以弥补小模型结构上的不足干扰因素判别网络是一个多分类网络，其输入是来自第二感知模型的抗干扰元网络输出的抗干扰特征，其预测类别数量为干扰因素类型数量，使用干扰因素判别损失函数监督干扰因素判别网络的训练，干扰因素判别损失函数如下：
；
其中，表示分类标签，如果当前输入特征为干扰场景数据特征，则/>取值为该干扰场景数据对应的干扰因素的类型编码（0,1,... />-1），如果当前输入特征为正常场景数据特征，则/>取值为/>。
作为一种优选的实施例，使用正常场景数据和干扰场景数据，以及前述训练好的第一感知模型对第二感知模型进行知识蒸馏。使用第一感知模型的全部基础元网络的参数均值、全部抗干扰元网络的参数均值来初始化第二感知模型的基础元网络、抗干扰元网络。每次训练时，从正常场景数据集和感知鲁棒性干扰场景数据库中各采样一个样本，即每次训练都需使用一个正常场景训练样本和一个干扰场景数据训练样本。将训练样本分别输入第一感知模型和第二感知模型中，获得各自的多模态融合特征和融合的元知识特征，以及各元网络的输出特征，并计算多模态融合特征的干扰特征知识蒸馏损失函数，元知识特征的干扰特征知识蒸馏损失函数/>，基础特征判别损失函数/>，抗干扰特征判别损失函数/>，干扰因素判别损失函数/>的损失值，使用这些蒸馏损失值、判别损失值和各子任务网络计算获得的损失值，反向传播优化第二感知模型。优化器可采用Gradient Descent (GD)、Adaptive Moment estimation (Adam)、AdamWeight Decay Regularization (AdamW)等。
可见，本实施例提供感知数据集构建方法，为提升感知模型在多种场景下的鲁棒性奠定了数据基础。同时本发明实施例将第一感知模型特征中的干扰特征、正常场景的前景、背景特征间的关联关系知识迁移到第二感知模型中，有效提高了第二感知模型对正常场景和干扰场景的判别能力，同时还能提高第二感知模型对前景、背景的判别能力，从而提高第二感知模型的整体性能和鲁棒性。本发明实施例通过将第一感知模型基础元网络和抗干扰元网络中的知识迁移到第二感知模型的基础元网络和抗干扰元网络中，通过对抗知识蒸馏的方式显著提升了知识迁移效果，提高了第二感知模型的基础元网络对正常场景的感知能力，以及第二感知模型的抗干扰元网络对各类干扰因素的鲁棒性。
在元网络对抗知识蒸馏方法中，本发明实施例还增加对不同类型干扰因素特征的判别任务，以进一步提升第二感知模型的抗干扰元网络对各类型干扰因素的判别能力。
在上述实施例的基础上，本发明还提供一种自动驾驶模型的部署方法，包括：
获取上述任一实施例得到的第二感知模型，再将所述第二感知模型部署至自动驾驶系统。
下面对本发明实施例提供的自动驾驶模型的训练系统进行介绍，下文描述的部署系统与上文描述的自动驾驶模型的训练方法可相互对应参照。
参见图8，本发明还提供一种自动驾驶模型的训练系统，包括：
数据获取模块，用于获取数据集；所述数据集中的样本包括正常场景数据和干扰场景数据；
第一感知模型训练模块，用于从所述数据集中选取第一正常场景样本和第一干扰场景样本，利用第一算法训练得到第一感知模型；
第二感知模型训练模块，用于从所述数据集中选取第二正常场景样本和第二干扰场景样本，利用第二算法结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法，训练得到第二感知模型；
部署模块，用于将所述第二感知模型部署至自动驾驶系统。
基于上述实施例，作为可行的实施例，在执行数据获取模块中的步骤之后，还包括：
标注模块，用于对所述数据集中的样本进行特定任务标注和干扰因素标注。
基于上述实施例，作为可行的实施例，所述第一感知模型训练模块包括：
第一选取子模块，用于按照相同概率从所述数据集中选取第一正常场景样本和第一干扰场景样本。
基于上述实施例，作为可行的实施例，第一感知模型训练模块包括：
第一输入子模块，用于将所述第一正常场景样本和所述第一干扰场景样本输入基础网络，得到多尺度特征；所述基础网络包含骨干网络和多尺度特征提取网络；
第一融合子模块，用于利用多模态融合网络融合所述样本多个模态的特征，并输入至元网络；所述元网络由基础元网络组和抗干扰元网络组构成；所述基础元网络组包含基础元网络，所述抗干扰元网络组包含抗干扰元网络；所述元网络包含卷积神经网络和多层感知机；
第二融合子模块，用于在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征；
第一输入子模块，用于将所述融合特征输入至任务网络，经过训练得到第一感知模型。
基于上述实施例，作为可行的实施例，在执行利第一感知模型训练模块中的步骤后，还包括：
损失函数确定子模块，用于确定所述第一感知模型的损失函数，并利用反向传播优化器优化所述第一感知模型，直至所述第一感知模型完全收敛。
基于上述实施例，作为可行的实施例，第二感知模型训练模块包括：
第二选取子模块，用于从所述数据集中选取第二正常场景样本和第二干扰场景样本，利用第二算法训练得到初始第二感知模型；
一致化处理子模块，用于结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法对所述初始第二感知模型进行关联关系矩阵或特征值的一致化处理，得到第二感知模型。
基于上述实施例，作为可行的实施例，第二选取子模块包括：
第一输入单元，用于将所述第二正常场景样本和所述第二干扰场景样本输入第二算法得到的基础网络，得到多尺度特征；所述基础网络包含骨干网络和多尺度特征提取网络；
第一融合单元，用于利用多模态融合网络融合所述样本多个模态的特征，并输入至元网络；所述元网络由基础元网络组和抗干扰元网络组构成；所述基础元网络组包含基础元网络，所述抗干扰元网络组包含抗干扰元网络；所述元网络包含卷积神经网络和多层感知机；
第二融合单元，用于在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征；
第二输入单元，用于将所述融合特征输入至任务网络，经过训练得到初始第二感知模型。
基于上述实施例，作为可行的实施例，一致化处理子模块包括：
计算单元，用于利用多模态融合网络融合所述样本多个模态的特征后，利用干扰特征知识蒸馏方法对干扰场景样本和正常场景样本之间的前景特征以及背景特征间的关联关系进行知识蒸馏，并利用损失函数计算关联关系矩阵之间的差异；
预测单元，用于在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征后，利用基础特征判别损失函数对所述融合特征进行预测，并根据预测结果进行特征值对齐。
基于上述实施例，作为可行的实施例，计算单元包括：
输入子单元，用于输入正常场景样本和干扰场景样本；
特征确定子单元，用于对于所述第一感知模型，得到正常场景样本的第一多模态融合特征和第一元知识特征；对于第二感知模型，可获得正常场景样本的第二多模态融合特征和第二元知识特征；
第一确定子单元，用于分别确定所述第一多模态融合特征、所述第一元知识特征、所述第二多模态融合特征和所述第二元知识特征的宽、长和通道数量；
第二确定子单元，用于根据所述第一多模态融合特征、所述第一元知识特征、所述第二多模态融合特征和所述第二元知识特征的宽、长和通道数量确定所述前景特征和所述背景特征；
第一采样子单元，用于对于所述前景特征，从标注的目标边界框内进行均匀的特征点采样，获得前景特征点；
第二采样子单元，用于对于所述背景特征，从标注的目标边界框外的区域进行均匀的特征点采样，得到背景特征点
第一计算子单元，用于根据所述前景特征点和所述背景特征点利用损失函数计算关联关系矩阵之间的差异。
基于上述实施例，作为可行的实施例，还包括：
第三确定子单元，用于确定干扰场景样本的干扰特征点，并根据所述干扰特征点确定需要进行知识迁移的特征。
基于上述实施例，作为可行的实施例，第三确定子单元包括：
第四确定子单元，用于确定子任务的损失函数；
第二计算子单元，用于利用所述子任务的损失函数计算所述第二感知模型的干扰场景样本的多模态融合特征梯度和元知识特征梯度；
排序子单元，用于沿通道方向对所述多模态融合特征梯度和所述元知识特征梯度求和，对宽、高维度上每个位置梯度值求绝对值，并按照梯度绝对值进行降序排序；
第三采样子单元，用于取所述排序中前预设数量个梯度绝对值的位置索引，按照所述位置索引在所述第二感知模型的干扰场景样本的多模态融合特征中采样第一干扰特征点，按照所述位置索引在所述第一感知模型的干扰场景样本的多模态融合特征中采样第二干扰特征点。
基于上述实施例，作为可行的实施例，第一计算子单元包括：
第一知识蒸馏损失计算子单元，用于根据所述第一感知模型和所述第二感知模型各自的多模态融合特征的前景特征点、背景特征点和干扰特征点，计算干扰特征的第一知识蒸馏损失；
第二知识蒸馏损失计算子单元，用于根据所述第一感知模型和所述第二感知模型各自的元知识特征的前景特征点、背景特征点和干扰特征点，计算干扰特征的第二知识蒸馏损失；
差异计算子单元，用于根据所述第一知识蒸馏损失和所述第二知识蒸馏损失计算关联关系矩阵之间的差异。
基于上述实施例，作为可行的实施例，第一知识蒸馏损失计算子单元包括：
第一聚合子单元，用于聚合所述第一感知模型的多模态融合特征的前景特征点、背景特征点和干扰特征点，得到第一聚合特征；
第一关联关系矩阵确定子单元，用于确定所述第一聚合特征的第一关联关系矩阵；
第二聚合子单元，用于聚合所述第二感知模型的多模态融合特征的前景特征点、背景特征点和干扰特征点，得到第二聚合特征；
第二关联关系矩阵确定子单元，用于确定所述第二聚合特征的第二关联关系矩阵；
干扰特征第一知识蒸馏损失计算子单元，用于根据所述第一关联关系矩阵和所述第二关联关系矩阵计算干扰特征第一知识蒸馏损失。
基于上述实施例，作为可行的实施例，第二知识蒸馏损失计算子单元包括：
第三聚合子单元，用于聚合所述第一感知模型的元知识特征的前景特征点、背景特征点和干扰特征点，得到第三聚合特征；
第三关联关系矩阵确定子单元，用于确定所述第三聚合特征的第三关联关系矩阵；
第四聚合子单元，用于聚合所述第二感知模型的元知识特征的前景特征点、背景特征点和干扰特征点，得到第四聚合特征；
第四关联关系矩阵确定子单元，用于确定所述第四聚合特征的第四关联关系矩阵；
干扰特征第二知识蒸馏损失计算子单元，用于根据所述第三关联关系矩阵和所述第四关联关系矩阵计算干扰特征第二知识蒸馏损失。
基于上述实施例，作为可行的实施例，预测单元包括：
第二基础特征和第二基础特征确定子单元，用于确定所述第一感知模型的第一基础特征，和所述第二感知模型的第二基础特征；
预测结果确定子单元，用于将所述第一基础特征和所述第二基础特征输入至基础特征判别网络，确定所述第一基础特征或者所述第二基础特征的预测结果；所述基础特征判别网络包含所述基础特征判别损失函数；
特征值对齐子单元，用于根据所述预测结果进行特征值对齐。
基于上述实施例，作为可行的实施例，在执行预测结果确定子单元中的步骤之前，还包括：
知识蒸馏子单元，用于利用梯度反转层对所述第二感知模型基础元网络或抗干扰元网络进行知识蒸馏。
基于上述实施例，作为可行的实施例，在执行第二感知模型训练模块中的步骤时，还包括：
样本获取模块，用于每次训练时，从正常场景数据集采样得到正常场景训练样本，从感知鲁棒性干扰场景数据库中采样一个干扰场景数据训练样本；
输入模块，用于将所述正常场景训练样本和所述干扰场景数据训练样本输入至所述第一感知模型和所述第二感知模型中，得到各自的多模态融合特征和融合的元知识特征。
基于上述实施例，作为可行的实施例，在执行输入模块中的步骤之后，包括：
计算模块，用于计算多模态融合特征的干扰特征知识蒸馏损失函数，元知识特征的干扰特征知识蒸馏损失函数，基础特征判别损失函数，抗干扰特征判别损失函数，干扰因素判别损失函数的损失值；
第二感知模型传播优化模块，用于利用所述多模态融合特征的干扰特征知识蒸馏损失函数、元知识特征的干扰特征知识蒸馏损失函数、基础特征判别损失函数、抗干扰特征判别损失函数、干扰因素判别损失函数的损失值和各子任务网络计算获得的损失值，反向传播优化所述第二感知模型。
本发明还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器（Read-Only Memory ，ROM）、随机存取存储器（Random Access Memory ，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
本发明还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (24)

1.一种自动驾驶模型的训练方法，其特征在于，包括：
获取数据集；所述数据集中的样本包括正常场景数据和干扰场景数据；
从所述数据集中选取第一正常场景样本和第一干扰场景样本，训练得到第一感知模型；
从所述数据集中选取第二正常场景样本和第二干扰场景样本，基于所述第一感知模型使用知识蒸馏方法训练得到第二感知模型；所述第二感知模型用于部署至自动驾驶系统；
其中，所述知识蒸馏方法包括干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法中至少一种方法，干扰特征知识蒸馏方法是将所述第一感知模型中的干扰特征和正常特征间、以及前景和背景间的关联关系知识迁移到所述第二感知模型中的方法，元网络对抗知识蒸馏方法的元网络由基础元网络组和抗干扰元网络组构成；所述基础元网络组包含基础元网络，所述基础元网络由正常场景下的基础网络构建，所述抗干扰元网络组包含抗干扰元网络，所述抗干扰元网络由干扰因素构建；所述元网络至少包含卷积神经网络、多层感知机的一种或者多种网络结构。
2.根据权利要求1所述的自动驾驶模型的训练方法，其特征在于，所述获取数据集包括：
获取所述正常场景数据或所述干扰场景数据的数据帧；其中，每个所述数据帧至少包含一种模态；所述模态包括图像数据和点云数据。
3.根据权利要求1所述的自动驾驶模型的训练方法，其特征在于，所述获取数据集之后，还包括：
对所述数据集中的样本进行特定任务标注和干扰因素标注。
4.根据权利要求1所述的自动驾驶模型的训练方法，其特征在于，所述从所述数据集中选取第一正常场景样本和第一干扰场景样本包括：
按照相同概率从所述数据集中选取第一正常场景样本和第一干扰场景样本。
5.根据权利要求1或4所述的自动驾驶模型的训练方法，其特征在于，从所述数据集中选取第一正常场景样本和第一干扰场景样本，训练得到第一感知模型包括：
将所述第一正常场景样本和所述第一干扰场景样本输入第一基础网络，得到多尺度特征；所述第一基础网络包含骨干网络和多尺度特征提取网络；
利用多模态融合网络融合所述样本多个模态的特征，并输入至元网络；所述元网络包含卷积神经网络和多层感知机；
在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征；
将所述融合特征输入至任务网络，经过训练得到第一感知模型。
6.根据权利要求5所述的自动驾驶模型的训练方法，其特征在于，训练得到第一感知模型后，还包括：
确定所述第一感知模型的损失函数，并利用反向传播优化器优化所述第一感知模型，直至所述第一感知模型完全收敛。
7.根据权利要求5所述的自动驾驶模型的训练方法，其特征在于，从所述数据集中选取第二正常场景样本和第二干扰场景样本，基于所述第一感知模型使用知识蒸馏方法训练得到第二感知模型包括：
从所述数据集中选取第二正常场景样本和第二干扰场景样本，对第二基础网络训练得到初始第二感知模型；
结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法中至少一种对所述初始第二感知模型进行关联关系矩阵或特征值的一致化处理，得到第二感知模型。
8.根据权利要求7所述的自动驾驶模型的训练方法，其特征在于，从所述数据集中选取第二正常场景样本和第二干扰场景样本，对第二基础网络训练得到初始第二感知模型包括：
将所述第二正常场景样本和所述第二干扰场景样本输入至所述第二基础网络，得到多尺度特征；所述第二基础网络包含骨干网络和多尺度特征提取网络；
利用多模态融合网络融合所述样本多个模态的特征，并输入至元网络；所述元网络由基础元网络组和抗干扰元网络组构成；所述基础元网络组包含基础元网络，所述抗干扰元网络组包含抗干扰元网络；所述元网络包含卷积神经网络和多层感知机；
在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征；
将所述融合特征输入至任务网络，经过训练得到初始第二感知模型。
9.根据权利要求7所述的自动驾驶模型的训练方法，其特征在于，结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法中至少一种对所述初始第二感知模型进行关联关系矩阵或特征值的一致化处理，得到第二感知模型包括：
若使用干扰特征知识蒸馏方法，利用干扰特征知识蒸馏方法将第一感知模型的第一多模态融合特征和第一元知识特征对所述初始第二感知模型的第二多模态融合特征和第二元知识特征进行知识蒸馏，将第一感知模型中的干扰特征和正常场景的前背景特征间的关联关系知识迁移至所述第二感知模型；
若元网络对抗知识蒸馏方法，利用元网络对抗知识蒸馏方法将所述第一感知模型的第一基础元网络组和第一抗干扰元网络组中的知识迁移至所述初始第二感知模型的第二基础元网络组和第二抗干扰元网络组中。
10.根据权利要求9所述的自动驾驶模型的训练方法，其特征在于，利用干扰特征知识蒸馏方法将第一感知模型的第一多模态融合特征和第一元知识特征对所述初始第二感知模型的第二多模态融合特征和第二元知识特征进行知识蒸馏，将第一感知模型中的干扰特征和正常场景的前背景特征间的关联关系知识迁移至所述第二感知模型时，还包括：
利用多模态融合网络融合所述样本多个模态的特征后，利用干扰特征知识蒸馏方法对干扰场景样本和正常场景样本之间的前景特征以及背景特征间的关联关系进行知识蒸馏，并利用损失函数计算关联关系矩阵之间的差异。
11.根据权利要求10所述的自动驾驶模型的训练方法，其特征在于，利用干扰特征知识蒸馏方法对干扰场景样本和正常场景样本之间的前景特征以及背景特征间的关联关系进行知识蒸馏，并利用损失函数计算关联关系矩阵之间的差异包括：
输入所述正常场景样本和所述干扰场景样本；
对于所述第一感知模型，得到正常场景样本的第一多模态融合特征和第一元知识特征；对于第二感知模型，得到正常场景样本的第二多模态融合特征和第二元知识特征；
分别确定所述第一多模态融合特征、所述第一元知识特征、所述第二多模态融合特征和所述第二元知识特征的宽、长和通道数量；
根据所述第一多模态融合特征、所述第一元知识特征、所述第二多模态融合特征和所述第二元知识特征的宽、长和通道数量确定所述前景特征和所述背景特征；
对于所述前景特征，从标注的目标边界框内进行均匀的特征点采样，获得前景特征点；
对于所述背景特征，从标注的目标边界框外的区域进行均匀的特征点采样，得到背景特征点；
根据所述前景特征点和所述背景特征点利用损失函数计算关联关系矩阵之间的差异；
在元知识融合网络中对各所述元网络输出的结果进行融合，得到融合特征后，利用基础特征判别损失函数对所述融合特征进行预测，并根据预测结果进行特征值对齐。
12.根据权利要求10所述的自动驾驶模型的训练方法，其特征在于，还包括：
确定所述干扰场景样本的干扰特征点，并根据所述干扰特征点确定需要进行知识迁移的特征。
13.根据权利要求12所述的自动驾驶模型的训练方法，其特征在于，所述确定所述干扰场景样本的干扰特征点包括：
确定子任务的损失函数；
利用所述子任务的损失函数计算所述第二感知模型的干扰场景样本的多模态融合特征梯度和元知识特征梯度；
沿通道方向对所述多模态融合特征梯度和所述元知识特征梯度求和，对宽、高维度上每个位置梯度值求绝对值，并按照梯度绝对值进行降序排序；
取所述排序中前预设数量个梯度绝对值的位置索引，按照所述位置索引在所述第二感知模型的干扰场景样本的多模态融合特征中采样第一干扰特征点，按照所述位置索引在所述第一感知模型的干扰场景样本的多模态融合特征中采样第二干扰特征点；所述干扰特征点包括所述第一干扰特征点和所述第二干扰特征点。
14.根据权利要求13所述的自动驾驶模型的训练方法，其特征在于，根据所述前景特征点和所述背景特征点利用损失函数计算关联关系矩阵之间的差异包括：
根据所述第一多模态融合特征和所述第二多模态融合特征各自的前景特征点、背景特征点和干扰特征点，计算干扰特征的第一知识蒸馏损失；
根据所述第一元知识特征和所述第二元知识特征各自的前景特征点、背景特征点和干扰特征点，计算干扰特征的第二知识蒸馏损失；
根据所述第一知识蒸馏损失和所述第二知识蒸馏损失计算关联关系矩阵之间的差异。
15.根据权利要求14所述的自动驾驶模型的训练方法，其特征在于，根据所述第一多模态融合特征和所述第二多模态融合特征各自的前景特征点、背景特征点和干扰特征点，计算干扰特征的第一知识蒸馏损失包括：
聚合所述第一多模态融合特征的前景特征点、背景特征点和干扰特征点，得到第一聚合特征；
确定所述第一聚合特征的第一关联关系矩阵；
聚合所述第二多模态融合特征的前景特征点、背景特征点和干扰特征点，得到第二聚合特征；
确定所述第二聚合特征的第二关联关系矩阵；
根据所述第一关联关系矩阵和所述第二关联关系矩阵计算干扰特征第一知识蒸馏损失。
16.根据权利要求14所述的自动驾驶模型的训练方法，其特征在于，根据所述第一元知识特征和所述第二元知识特征各自的前景特征点、背景特征点和干扰特征点，计算干扰特征的第二知识蒸馏损失包括：
聚合所述第一元知识特征的前景特征点、背景特征点和干扰特征点，得到第三聚合特征；
确定所述第三聚合特征的第三关联关系矩阵；
聚合所述第二元知识特征的前景特征点、背景特征点和干扰特征点，得到第四聚合特征；
确定所述第四聚合特征的第四关联关系矩阵；
根据所述第三关联关系矩阵和所述第四关联关系矩阵计算干扰特征第二知识蒸馏损失。
17.根据权利要求11所述的自动驾驶模型的训练方法，其特征在于，利用基础特征判别损失函数对所述融合特征进行预测，并根据预测结果进行特征值对齐包括：
确定所述第一感知模型的第一基础特征，和所述第二感知模型的第二基础特征；
将所述第一基础特征和所述第二基础特征输入至基础特征判别网络，确定所述第一基础特征或者所述第二基础特征的预测结果；所述基础特征判别网络包含所述基础特征判别损失函数；
根据所述预测结果进行特征值对齐。
18.根据权利要求17所述的自动驾驶模型的训练方法，其特征在于，将所述第一基础特征和所述第二基础特征输入至基础特征判别网络之前，还包括：
利用梯度反转层对所述第二感知模型基础元网络或抗干扰元网络进行知识蒸馏。
19.根据权利要求1所述的自动驾驶模型的训练方法，其特征在于，基于所述第一感知模型使用知识蒸馏方法训练得到第二感知模型时，还包括：
每次训练时，从所述正常场景数据集采样得到正常场景训练样本，从感知鲁棒性干扰场景数据库中采样一个干扰场景数据训练样本；
将所述正常场景训练样本和所述干扰场景数据训练样本输入至所述第一感知模型和所述第二感知模型中，得到各自的多模态融合特征和融合的元知识特征。
20.根据权利要求19所述的自动驾驶模型的训练方法，其特征在于，得到各自的多模态融合特征和融合的元知识特征之后，还包括：
计算多模态融合特征的干扰特征知识蒸馏损失函数，元知识特征的干扰特征知识蒸馏损失函数，基础特征判别损失函数，抗干扰特征判别损失函数，干扰因素判别损失函数的损失值；
利用所述多模态融合特征的干扰特征知识蒸馏损失函数、元知识特征的干扰特征知识蒸馏损失函数、基础特征判别损失函数、抗干扰特征判别损失函数、干扰因素判别损失函数的损失值和各子任务网络计算获得的损失值，反向传播优化所述第二感知模型。
21.一种自动驾驶模型的训练系统，其特征在于，包括：
数据获取模块，用于获取数据集；所述数据集中的样本包括正常场景数据和干扰场景数据；
第一感知模型训练模块，用于从所述数据集中选取第一正常场景样本和第一干扰场景样本，利用第一算法训练得到第一感知模型；
第二感知模型训练模块，用于从所述数据集中选取第二正常场景样本和第二干扰场景样本，利用第二算法结合所述第一感知模型使用干扰特征知识蒸馏方法和元网络对抗知识蒸馏方法，训练得到第二感知模型；所述第二感知模型用于部署至自动驾驶系统；
其中，干扰特征知识蒸馏方法是将所述第一感知模型中的干扰特征和正常特征间、以及前景和背景间的关联关系知识迁移到所述第二感知模型中的方法，元网络对抗知识蒸馏方法的元网络由基础元网络组和抗干扰元网络组构成；所述基础元网络组包含基础元网络，所述基础元网络由正常场景下的基础网络构建，所述抗干扰元网络组包含抗干扰元网络，所述抗干扰元网络由干扰因素构建；所述元网络至少包含卷积神经网络、多层感知机的一种或者多种网络结构。
22.一种自动驾驶模型的部署方法，其特征在于，包括：
获取基于权利要求1-20任一项所述的自动驾驶模型的训练方法得到的第二感知模型；
将所述第二感知模型部署至自动驾驶系统。
23.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-20任一项所述的方法的步骤。
24.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-20任一项所述的方法的步骤。
CN202311127103.XA 2023-09-04 2023-09-04 自动驾驶模型的训练方法、部署方法、系统、介质和设备 Active CN116861261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311127103.XA CN116861261B (zh) 2023-09-04 2023-09-04 自动驾驶模型的训练方法、部署方法、系统、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311127103.XA CN116861261B (zh) 2023-09-04 2023-09-04 自动驾驶模型的训练方法、部署方法、系统、介质和设备

Publications (2)

Publication Number Publication Date
CN116861261A CN116861261A (zh) 2023-10-10
CN116861261B true CN116861261B (zh) 2024-01-19

Family

ID=88234488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311127103.XA Active CN116861261B (zh) 2023-09-04 2023-09-04 自动驾驶模型的训练方法、部署方法、系统、介质和设备

Country Status (1)

Country Link
CN (1) CN116861261B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793341A (zh) * 2021-09-16 2021-12-14 湘潭大学 一种自动驾驶场景语义分割方法、电子设备及可读介质
CN114580555A (zh) * 2022-03-11 2022-06-03 重庆大学 一种基于局部结构一致性的对抗知识蒸馏语义分割方法
CN114912532A (zh) * 2022-05-20 2022-08-16 电子科技大学 一种自动驾驶汽车多源异构感知数据融合方法
CN115879535A (zh) * 2023-02-10 2023-03-31 北京百度网讯科技有限公司 一种自动驾驶感知模型的训练方法、装置、设备和介质
CN115907009A (zh) * 2023-02-10 2023-04-04 北京百度网讯科技有限公司 一种自动驾驶感知模型的迁移方法、装置、设备和介质
CN116206275A (zh) * 2023-02-23 2023-06-02 南通探维光电科技有限公司 基于知识蒸馏的识别模型训练方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793341A (zh) * 2021-09-16 2021-12-14 湘潭大学 一种自动驾驶场景语义分割方法、电子设备及可读介质
CN114580555A (zh) * 2022-03-11 2022-06-03 重庆大学 一种基于局部结构一致性的对抗知识蒸馏语义分割方法
CN114912532A (zh) * 2022-05-20 2022-08-16 电子科技大学 一种自动驾驶汽车多源异构感知数据融合方法
CN115879535A (zh) * 2023-02-10 2023-03-31 北京百度网讯科技有限公司 一种自动驾驶感知模型的训练方法、装置、设备和介质
CN115907009A (zh) * 2023-02-10 2023-04-04 北京百度网讯科技有限公司 一种自动驾驶感知模型的迁移方法、装置、设备和介质
CN116206275A (zh) * 2023-02-23 2023-06-02 南通探维光电科技有限公司 基于知识蒸馏的识别模型训练方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Context-Aware Meta-RL with Two-Stage Constrained Adaptation for Urban Driving;Qi Deng 等;IEEE;全文 *
Context-Enhanced Meta-Reinforcement Learning with Data-Reused Adaptation for Urban Autonomous Driving;Qi Deng 等;IEEE;全文 *
Deep Reinforcement Learning with Noisy Exploration for Autonomous Driving;Ruyang Li 等;ICMLSC;全文 *
基于多模态融合的自动驾驶感知及计算;张燕咏;张莎;张昱;吉建民;段逸凡;黄奕桐;彭杰;张宇翔;;计算机研究与发展(第09期);全文 *

Also Published As

Publication number Publication date
CN116861261A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN112150821B (zh) 轻量化车辆检测模型构建方法、系统及装置
CN113221905B (zh) 基于均匀聚类的语义分割的无监督域适应方法、装置、系统和存储介质
CN111723693B (zh) 一种基于小样本学习的人群计数方法
CN111160407B (zh) 一种深度学习目标检测方法及系统
Huang et al. Spatial-temproal based lane detection using deep learning
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN110991257B (zh) 基于特征融合与svm的极化sar溢油检测方法
CN111062423B (zh) 基于自适应特征融合的点云图神经网络的点云分类方法
CN113052006B (zh) 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质
CN115797736B (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
Li et al. A review of deep learning methods for pixel-level crack detection
CN115272987A (zh) 一种基于MSA-Yolov5的恶劣天气下车辆检测方法及装置
CN115272894A (zh) 面向无人机图像目标检测方法、装置、电子设备及存储介质
CN116977633A (zh) 地物要素分割模型训练方法、地物要素分割方法及装置
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN116861261B (zh) 自动驾驶模型的训练方法、部署方法、系统、介质和设备
CN115018884B (zh) 基于多策略融合树的可见光红外视觉跟踪方法
Shen et al. A lightweight method for small scale traffic sign detection based on YOLOv4-Tiny
CN115810105A (zh) 一种全景分割方法、装置、设备及存储介质
CN115546668A (zh) 海洋生物的检测方法、装置及无人机
CN115035429A (zh) 一种基于复合主干网络和多预测头的航拍目标检测方法
CN116503406B (zh) 基于大数据的水利工程信息管理系统
CN117422689B (zh) 一种基于改进MS-PReNet和GAM-YOLOv7的雨天绝缘子缺陷检测方法
CN117809169B (zh) 一种小样本水下声呐图像分类方法及其模型搭建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant