CN116107591A - 基于corner cases的部署模型构建方法 - Google Patents

基于corner cases的部署模型构建方法 Download PDF

Info

Publication number
CN116107591A
CN116107591A CN202310149261.9A CN202310149261A CN116107591A CN 116107591 A CN116107591 A CN 116107591A CN 202310149261 A CN202310149261 A CN 202310149261A CN 116107591 A CN116107591 A CN 116107591A
Authority
CN
China
Prior art keywords
data set
training
preset
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310149261.9A
Other languages
English (en)
Inventor
彭广德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202310149261.9A priority Critical patent/CN116107591A/zh
Publication of CN116107591A publication Critical patent/CN116107591A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/06—Multi-objective optimisation, e.g. Pareto optimisation using simulated annealing [SA], ant colony algorithms or genetic algorithms [GA]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种基于corner cases的部署模型构建方法，包括：根据自动驾驶图像和预设的开源数据得到第一数据集，根据自动驾驶图像、预设的开源数据和corner cases场景图像中部分图像得到第二数据集，根据corner cases场景图像中剩余图像得到第三数据集，合并第二数据集和第三数据集得到第四数据集；基于第四数据集，训练预设的多任务检测模型，得到自动驾驶感知检测预训练模型，基于第一数据集和预设周期的余弦退火学习策略，训练预训练模型，得到多个感知检测模型；基于第三数据集，对多个感知检测模型进行迁移训练，将迁移训练后的多个感知检测模型进行平均权重和纠正BN，得到最终部署模型。

Description

基于corner cases的部署模型构建方法
技术领域
本申请涉及自动驾驶感知与算法训练技术领域，特别涉及一种基于corner cases的部署模型构建方法。
背景技术
小样本学习技术在当今许多不同的领域都有存在，可以用它来学习一些容易出错的样本场景，创造个性化的定制服务，在室内和室外环境中自主导航提高检测精度。然而大多数算法应用过程中是通过多模型判定来获取场景的边缘检测信息，例如激光扫描器或结构化光传感器辅助搜索，由于硬件成本较高它们很少出现在主流用户使用的大多数常见车型中。所处的任何场景环境，只使用来自无处不在的摄像机的RGB数据，这是一个具有挑战性的问题，可能会带来全新的可能性。Few-shot Learning算法研究多集中在图像领域，Few-shot Learning模型大致可分为三类：Mode Based，Metric Based和OptimizationBased。其中，Model Based方法旨在通过模型结构的设计快速在少量样本上更新参数，直接建立输入x和预测值P的映射函数；Metric Based方法通过度量batch集中的样本和support集中样本的距离，借助最近邻的思想完成分类；Optimization Based方法认为普通的梯度下降方法难以在few-shot场景下拟合，并且已有对corner cases场景Few-shot Learning技术，存在训练准确率与召回率低、特殊场景训练数据不易收集，不易实施，对训练硬件要求高等缺点。
corner cases是自动驾驶中很重要的一个问题，其中通过视觉感知检测这些边缘情况是一个非常棘手的问题，即出现的未期望或者未知情况。检测corner case的任务对安全十分关键，检测方法对训练数据的选择自动化非常重要，对大众能否接受自动驾驶技术一事也是如此。
相关技术中所采用的的算法，对图像中较大的且常见目标容易准确识别，但由于较小的和少见的目标特征较少且不够清晰，容易对小目标产生误识别，从而可能导致车辆对环境产生错误的感知。
发明内容
本申请提供一种基于corner cases的部署模型构建方法，以解决目前自动驾驶场景感知算法检测准确率低、召回率低且算法复杂不易实施等问题，容易实现，准确率高及召回率高，数据收集成本低，硬件需求少，训练时间大大减少且高效，容易推广到各个使用场景。
本申请第一方面实施例提供一种基于corner cases的部署模型构建方法，包括以下步骤：获取车辆的自动驾驶图像和corner cases场景图像；根据所述自动驾驶图像和预设的开源数据得到第一数据集，根据所述自动驾驶图像、所述预设的开源数据和所述corner cases场景图像中部分图像得到第二数据集，根据所述corner cases场景图像中剩余图像得到第三数据集，合并所述第二数据集和所述第三数据集得到第四数据集；基于所述第四数据集，训练预设的多任务检测模型，得到自动驾驶感知检测预训练模型，并基于所述第一数据集和预设周期的余弦退火学习策略，训练所述预训练模型，得到多个感知检测模型；基于所述第三数据集，对多个感知检测模型进行迁移训练，并将迁移训练后的所述多个感知检测模型进行平均权重和纠正BN，得到最终部署模型。
根据上述技术手段，迁移训练可快速提升所有类别的精度。可使用小的网络输入和轻量化检测模型，保证了整体的高吞吐量和精度，型训练结果丰富，提供多样化的类别训练结果。可根据实际需求个性化，进行多种不同任务模型与不同场景下数据训练。
进一步地，在得到所述最终部署模型后，还包括：重新基于所述第四数据集，训练所述预设的多任务检测模型，并获取训练过程中评估判定指标误差小于或等于预设阈值的第一次数；重新基于所述第三数据集，对多个感知检测模型进行迁移训练，并获取训练过程中评估判定指标误差小于或等于预设阈值的第二次数；若所述第一次数和所述第二次数均满足预设次数，则判定所述最终部署模型满足预设精度要求，发布所述最终部署模型。
根据上述技术手段，通过连续模型算法训练，可以避免背景图像疑似cornercases的物体模糊的情况，具有高召回，低误判，整体正确率高的优点。
进一步地，所述根据所述自动驾驶图像和预设的开源数据得到第一数据集，包括：对所述自动驾驶图像中感兴趣目标进行标注，其中，所述标注包括分类标注、检测标注、分割标注、关键点标注和角点标注基于所述自动驾驶图像，所述根据所述分类标注、所述检测标注、所述分割标注、所述关键点标注和所述角点标注构成所述第一数据集。
根据上述技术手段，通过合成感兴趣目标图像，可以提高corner cases场景下的召回率。
进一步地，所述根据所述自动驾驶图像、所述预设的开源数据和所述cornercases场景图像中部分图像得到第二数据集，包括：获取所述corner cases场景图像中部分图像中的误检数据；对所述误检数据进行标注，并根据标注后的所述corner cases场景图像中部分图像、所述自动驾驶图像和所述预设的开源数据得到所述第二数据集。
根据上述技术手段，提高整体正确率，降低误判率。
进一步地，所述根据所述corner cases场景图像中剩余图像得到第三数据集，包括；基于预设的调整策略，对所述corner cases场景图像中剩余图像抠出感兴趣目标进行调整，得到新的图像；基于所述新的图像，利用预设的Gan网络算法生成对抗图像，并根据所述对抗图像中的标记和所述对抗图像得到所述第三数据集。
根据上述技术手段，使用抠图和gan网络算法生成相对大小和相对位置信息可去除不合理的目标标注。
本申请第二方面实施例提供一种基于corner cases的部署模型构建方法，包括：第一获取模块，用于获取车辆的自动驾驶图像和corner cases场景图像；第二获取模块，用于根据所述自动驾驶图像和预设的开源数据得到第一数据集，根据所述自动驾驶图像、所述预设的开源数据和所述corner cases场景图像中部分图像得到第二数据集，根据所述corner cases场景图像中剩余图像得到第三数据集，合并所述第二数据集和所述第三数据集得到第四数据集；第一训练模块，用于基于所述第四数据集，训练预设的多任务检测模型，得到自动驾驶感知检测预训练模型，并基于所述第一数据集和预设周期的余弦退火学习策略，训练所述预训练模型，得到多个感知检测模型；第二训练模块，用于基于所述第三数据集，对多个感知检测模型进行迁移训练，并将迁移训练后的所述多个感知检测模型进行平均权重和纠正BN，得到最终部署模型。
进一步地，在得到所述最终部署模型后，所述第二训练模块，还用于：重新基于所述第四数据集，训练所述预设的多任务检测模型，并获取训练过程中评估判定指标误差小于或等于预设阈值的第一次数；重新基于所述第三数据集，对多个感知检测模型进行迁移训练，并获取训练过程中评估判定指标误差小于或等于预设阈值的第二次数；若所述第一次数和所述第二次数均满足预设次数，则判定所述最终部署模型满足预设精度要求，发布所述最终部署模型。
进一步地，所述第二获取模块，还用于：对所述自动驾驶图像中感兴趣目标进行标注，其中，所述标注包括分类标注、检测标注、分割标注、关键点标注和角点标注基于所述自动驾驶图像，所述根据所述分类标注、所述检测标注、所述分割标注、所述关键点标注和所述角点标注构成所述第一数据集。
进一步地，所述第二获取模块，还用于：获取所述corner cases场景图像中部分图像中的误检数据；对所述误检数据进行标注，并根据标注后的所述corner cases场景图像中部分图像、所述自动驾驶图像和所述预设的开源数据得到所述第二数据集。
进一步地，所述第二获取模块，还用于：基于预设的调整策略，对所述cornercases场景图像中剩余图像抠出感兴趣目标进行调整，得到新的图像；基于所述新的图像，利用预设的Gan网络算法生成对抗图像，并根据所述对抗图像中的标记和所述对抗图像得到所述第三数据集。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于corner cases的部署模型构建方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的基于corner cases的部署模型构建方法。
由此，本申请根据获取的第一数据集、第二数据集和第三数据集，合并第二数据集和第三数据集得到第四数据集，训练预设的多任务检测模型，得到自动驾驶感知检测预训练模型，利用预设周期的余弦退火学习策略，训练预训练模型，得到多个感知检测模型，进行迁移训练，将迁移训练后的多个感知检测模型进行平均权重和纠正BN，得到最终部署模型。由此，解决了目前自动驾驶场景感知算法检测准确率低、召回率低且算法复杂不易实施等问题，容易实现，准确率高及召回率高，数据收集成本低，硬件需求少，训练时间大大减少且高效，容易推广到各个使用场景。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于corner cases的部署模型构建方法的流程图；
图2为根据本申请一个实施例的基于corner cases的部署模型构建方法的流程图；
图3为根据本申请实施例的基于corner cases的部署模型构建装置的方框示意图；
图4为根据本申请实施例的电子设备的结构示意图。
附图标记说明：10-基于corner cases的部署模型构建装置、100-第一获取模块、200-第二获取模块、300-第一训练模块、400-第二训练模块、401-存储器、402-处理器、403-通信接口。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于corner cases的部署模型构建方法。针对上述背景技术中提到的目前自动驾驶场景感知算法检测准确率低、召回率低且算法复杂不易实施的问题，本申请提供了一种基于corner cases的部署模型构建方法，在该方法中，获取的第一数据集、第二数据集和第三数据集，合并第二数据集和第三数据集得到第四数据集，训练预设的多任务检测模型，得到自动驾驶感知检测预训练模型，利用预设周期的余弦退火学习策略，训练预训练模型，得到多个感知检测模型，进行迁移训练，将迁移训练后的多个感知检测模型进行平均权重和纠正BN，得到最终部署模型。由此，解决了目前自动驾驶场景感知算法检测准确率低、召回率低且算法复杂不易实施等问题，容易实现，准确率高及召回率高，数据收集成本低，硬件需求少，训练时间大大减少且高效，容易推广到各个使用场景。
具体而言，图1为本申请实施例所提供的一种基于corner cases的部署模型构建方法的流程图。
如图1所示，该基于corner cases的部署模型构建方法包括以下步骤：
在步骤S101中，获取车辆的自动驾驶图像和corner cases场景图像。
具体地，获取车辆的自动驾驶图像，包括自动驾驶车辆周围环境的图像，可以由设置在自动驾驶车辆中的相机获取，拍摄车辆不同时间点所处的驾驶环境包括起点位置和终点位置，以及车辆行驶中的道理状况和天气状况。
并通过车辆的相机获取车辆在自动驾驶过程中的corner cases场景图像，例如拍摄闯红灯的车辆，横穿马路的行人或者红绿灯损坏的路口等的场景图像。
在步骤S102中，根据自动驾驶图像和预设的开源数据得到第一数据集，根据自动驾驶图像、预设的开源数据和corner cases场景图像中部分图像得到第二数据集，根据corner cases场景图像中剩余图像得到第三数据集，合并第二数据集和第三数据集得到第四数据集。
进一步地，在一些实施例中，根据自动驾驶图像和预设的开源数据得到第一数据集，包括：对自动驾驶图像中感兴趣目标进行标注，其中，标注包括分类标注、检测标注、分割标注、关键点标注和角点标注；基于自动驾驶图像，根据分类标注、检测标注、分割标注、关键点标注和角点标注构成第一数据集。
具体地，如图2所示，首先本申请实施例通过开源数据集中获取车辆预设的开源数据，并从自动驾驶图像中抠出感兴趣目标，通过数据增强后，随机翻转，加入噪声后，贴于目标场景的图像上，对感兴趣目标进行标注，产生分类标注、检测标注、分割标注、关键点标注和角点标注，和自动驾驶图像构成第一数据集。
进一步地，在一些实施例中，根据自动驾驶图像、预设的开源数据和corner cases场景图像中部分图像得到第二数据集，包括：获取corner cases场景图像中部分图像中的误检数据；对误检数据进行标注，并根据标注后的corner cases场景图像中部分图像、自动驾驶图像和预设的开源数据得到第二数据集。
可以理解的是，本申请实施例收集corner cases场景图像，并获取corner cases场景图像中的误检数据，对误检数据进行标注，产生新的分类标注、检测标注、分割标注、关键点标注和角点标注，并根据标注后的corner cases场景图像中部分图像、自动驾驶图像和预设的开源数据得到第二数据集。
进一步地，在一些实施例中，根据corner cases场景图像中剩余图像得到第三数据集，包括；基于预设的调整策略，对corner cases场景图像中剩余图像抠出感兴趣目标进行调整，得到新的图像；基于新的图像，利用预设的Gan网络算法生成对抗图像，并根据对抗图像中的标记和对抗图像得到第三数据集。
应当理解的是，本申请实施例选取一定数量的corner cases场景图像，抠出感兴趣目标，随机改变大小、方向、颜色饱和度，贴在背景图像上，合成新的图像，并使用预设的Gan网络算法生成对抗图像，并计算出感兴趣区域在新图像中的标记，基于对抗图像中的标记和对抗图像得到第三数据集。
进一步，在得到第一数据集、第二数据集合第三数据集后，合并第二数据集合第三数据集，得到第四数据集。
在步骤S103中，基于第四数据集，训练预设的多任务检测模型，得到自动驾驶感知检测预训练模型，并基于第一数据集和预设周期的余弦退火学习策略，训练预训练模型，得到多个感知检测模型。
具体地，本申请实施例使用预设的多任务检测模型在第四数据集上训练，引用对比学习的方法训练至模型收敛，得到第一个自动驾驶感知检测预训练模型，评估出错数据并上传记录信息，并使用第一个自动驾驶感知检测预训练模型在第一数据集上训练，利用swa算法，使用周期为6的预设周期的余弦退火学习策略训练至收敛，筛选得到6个在loss为极小值的感知检测模型，评估出错数据并上传记录信息至corner case数据集中。
在步骤S104中，基于第三数据集，对多个感知检测模型进行迁移训练，并将迁移训练后的多个感知检测模型进行平均权重和纠正BN，得到最终部署模型。
具体地，使用多个感知检测模型在第三数据集上进行迁移训练，训练至收敛，得到6个感知检测模型，并将6个感知模型进行平均权重和纠正BN，得到最终部署模型，实时评估出错数据并上传记录信息至corner case数据集中。
进一步地，在一些实施例中，在得到最终部署模型后，还包括：重新基于第四数据集，训练预设的多任务检测模型，并获取训练过程中评估判定指标误差小于或等于预设阈值的第一次数；重新基于第三数据集，对多个感知检测模型进行迁移训练，并获取训练过程中评估判定指标误差小于或等于预设阈值的第二次数；若第一次数和第二次数均满足预设次数，则判定最终部署模型满足预设精度要求，发布最终部署模型。
可以理解的是，重新基于第四数据集，训练预设的多任务检测模型，若在训练过程中出现评估判定指标误差的第一次数小于或等于预设阈值，则判定最终部署模型满足预设精度要求，发布最终部署模型；重新基于第三数据集，对多个感知检测模型进行迁移训练，在训练过程中，若评估判定指标误差的次数小于或等于预设阈值，则判定最终部署模型满足预设精度要求，发布最终部署模型，否则判定最终部署模型不满足预设精度要求。
本申请实施例与现有技术相比具有以下有益效果：
1.训练数据量要求少。无需使用额外辅助数据集，少量corner cases场景即可采集所需图像。
2.训练数据易获取。自动驾驶检测数据集极易获得，包含开源数据集和内部自行采集的图像也极易获得，使用人工合成corner cases图像可以大大增加不常见的目标的数量。
3.训练的模型精度指标高。检测正常和corner cases场景都可以达到很高的准确率。通过合成感兴趣目标图像，可以提高corner cases场景下的召回率，同时，使用抠图和Gan网络算法生成相对大小和相对位置信息可去除不合理的目标标注，再根据多阶段小样本学习策略情况进一步提高精度。进一步，通过连续模型算法训练，可以避免背景图像疑似corner cases的物体模糊的情况。本发明具有高召回，低误判，整体正确率高的优点。
4.训练成本低、速度快。本发明第一阶段先进行大类数据训练，常见场景下的目标容易学习到，然后第二阶段使用所有数据进行迁移训练可快速提升所有类别的精度。可使用小的网络输入和轻量化检测模型，保证了整体的高吞吐量和精度。
5.模型训练结果丰富，提供多样化的类别训练结果。可根据实际需求个性化，进行多种不同任务模型与不同场景下数据训练。
根据本申请实施例提出的基于corner cases的部署模型构建方法，根据获取的第一数据集、第二数据集和第三数据集，合并第二数据集和第三数据集得到第四数据集，训练预设的多任务检测模型，得到自动驾驶感知检测预训练模型，利用预设周期的余弦退火学习策略，训练预训练模型，得到多个感知检测模型，进行迁移训练，将迁移训练后的多个感知检测模型进行平均权重和纠正BN，得到最终部署模型。由此，解决了目前自动驾驶场景感知算法检测准确率低、召回率低且算法复杂不易实施等问题，容易实现，准确率高及召回率高，数据收集成本低，硬件需求少，训练时间大大减少且高效，容易推广到各个使用场景。
其次参照附图描述根据本申请实施例提出的基于corner cases的部署模型构建装置。
图3是本申请实施例的基于corner cases的部署模型构建装置的方框示意图。
如图3所示，该基于corner cases的部署模型构建装置10包括：第一获取模块100、第二获取模块200、第一训练模块300和第二训练模块400。
其中，第一获取模块100，用于获取车辆的自动驾驶图像和corner cases场景图像；第二获取模块200，用于根据自动驾驶图像和预设的开源数据得到第一数据集，根据自动驾驶图像、预设的开源数据和corner cases场景图像中部分图像得到第二数据集，根据corner cases场景图像中剩余图像得到第三数据集，合并第二数据集和第三数据集得到第四数据集；第一训练模块300，用于基于第四数据集，训练预设的多任务检测模型，得到自动驾驶感知检测预训练模型，并基于第一数据集和预设周期的余弦退火学习策略，训练预训练模型，得到多个感知检测模型；第二训练模块400，用于基于第三数据集，对多个感知检测模型进行迁移训练，并将迁移训练后的多个感知检测模型进行平均权重和纠正BN，得到最终部署模型。
进一步地，在得到最终部署模型后，第二训练模块400，还用于：重新基于第四数据集，训练预设的多任务检测模型，并获取训练过程中评估判定指标误差小于或等于预设阈值的第一次数；重新基于第三数据集，对多个感知检测模型进行迁移训练，并获取训练过程中评估判定指标误差小于或等于预设阈值的第二次数；若第一次数和第二次数均满足预设次数，则判定最终部署模型满足预设精度要求，发布最终部署模型。
进一步地，第二获取模块200，还用于：对自动驾驶图像中感兴趣目标进行标注，其中，标注包括分类标注、检测标注、分割标注、关键点标注和角点标注基于自动驾驶图像，根据分类标注、检测标注、分割标注、关键点标注和角点标注构成第一数据集。
进一步地，第二获取模块200，还用于：获取corner cases场景图像中部分图像中的误检数据；对误检数据进行标注，并根据标注后的corner cases场景图像中部分图像、自动驾驶图像和预设的开源数据得到第二数据集。
进一步地，第二获取模块200，还用于：基于预设的调整策略，对corner cases场景图像中剩余图像抠出感兴趣目标进行调整，得到新的图像；基于新的图像，利用预设的Gan网络算法生成对抗图像，并根据对抗图像中的标记和对抗图像得到第三数据集。
需要说明的是，前述对基于corner cases的部署模型构建方法实施例的解释说明也适用于该实施例的基于corner cases的部署模型构建装置，此处不再赘述。
根据本申请实施例提出的基于corner cases的部署模型构建装置，根据获取的第一数据集、第二数据集和第三数据集，合并第二数据集和第三数据集得到第四数据集，训练预设的多任务检测模型，得到自动驾驶感知检测预训练模型，利用预设周期的余弦退火学习策略，训练预训练模型，得到多个感知检测模型，进行迁移训练，将迁移训练后的多个感知检测模型进行平均权重和纠正BN，得到最终部署模型。由此，解决了目前自动驾驶场景感知算法检测准确率低、召回率低且算法复杂不易实施等问题，容易实现，准确率高及召回率高，数据收集成本低，硬件需求少，训练时间大大减少且高效，容易推广到各个使用场景。
图4为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。
处理器402执行程序时实现上述实施例中提供的基于corner cases的部署模型构建方法。
进一步地，电子设备还包括：
通信接口403，用于存储器401和处理器402之间的通信。
存储器401，用于存放可在处理器402上运行的计算机程序。
存储器401可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器401、处理器402和通信接口403独立实现，则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器401、处理器402及通信接口403，集成在一块芯片上实现，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。
处理器402可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于corner cases的部署模型构建方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于corner cases的部署模型构建方法，其特征在于，包括以下步骤：
获取车辆的自动驾驶图像和corner cases场景图像；
根据所述自动驾驶图像和预设的开源数据得到第一数据集，根据所述自动驾驶图像、所述预设的开源数据和所述corner cases场景图像中部分图像得到第二数据集，根据所述corner cases场景图像中剩余图像得到第三数据集，合并所述第二数据集和所述第三数据集得到第四数据集；
基于所述第四数据集，训练预设的多任务检测模型，得到自动驾驶感知检测预训练模型，并基于所述第一数据集和预设周期的余弦退火学习策略，训练所述预训练模型，得到多个感知检测模型；以及
基于所述第三数据集，对多个感知检测模型进行迁移训练，并将迁移训练后的所述多个感知检测模型进行平均权重和纠正BN，得到最终部署模型。
2.根据权利要求1所述的方法，其特征在于，在得到所述最终部署模型后，还包括：
重新基于所述第四数据集，训练所述预设的多任务检测模型，并获取训练过程中评估判定指标误差小于或等于预设阈值的第一次数；
重新基于所述第三数据集，对多个感知检测模型进行迁移训练，并获取训练过程中评估判定指标误差小于或等于预设阈值的第二次数；
若所述第一次数和所述第二次数均满足预设次数，则判定所述最终部署模型满足预设精度要求，发布所述最终部署模型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述自动驾驶图像和预设的开源数据得到第一数据集，包括：
对所述自动驾驶图像中感兴趣目标进行标注，其中，所述标注包括分类标注、检测标注、分割标注、关键点标注和角点标注；
基于所述自动驾驶图像，所述根据所述分类标注、所述检测标注、所述分割标注、所述关键点标注和所述角点标注构成所述第一数据集。
4.根据权利要求3所述的方法，其特征在于，所述根据所述自动驾驶图像、所述预设的开源数据和所述corner cases场景图像中部分图像得到第二数据集，包括：
获取所述corner cases场景图像中部分图像中的误检数据；
对所述误检数据进行标注，并根据标注后的所述corner cases场景图像中部分图像、所述自动驾驶图像和所述预设的开源数据得到所述第二数据集。
5.根据权利要求4所述的方法，其特征在于，所述根据所述corner cases场景图像中剩余图像得到第三数据集，包括；
基于预设的调整策略，对所述corner cases场景图像中剩余图像抠出感兴趣目标进行调整，得到新的图像；
基于所述新的图像，利用预设的Gan网络算法生成对抗图像，并根据所述对抗图像中的标记和所述对抗图像得到所述第三数据集。
6.一种基于corner cases的部署模型构建装置，其特征在于，包括：
第一获取模块，用于获取车辆的自动驾驶图像和corner cases场景图像；
第二获取模块，用于根据所述自动驾驶图像和预设的开源数据得到第一数据集，根据所述自动驾驶图像、所述预设的开源数据和所述corner cases场景图像中部分图像得到第二数据集，根据所述corner cases场景图像中剩余图像得到第三数据集，合并所述第二数据集和所述第三数据集得到第四数据集；
第一训练模块，用于基于所述第四数据集，训练预设的多任务检测模型，得到自动驾驶感知检测预训练模型，并基于所述第一数据集和预设周期的余弦退火学习策略，训练所述预训练模型，得到多个感知检测模型；以及
第二训练模块，用于基于所述第三数据集，对多个感知检测模型进行迁移训练，并将迁移训练后的所述多个感知检测模型进行平均权重和纠正BN，得到最终部署模型。
7.根据权利要求6所述的装置，其特征在于，在得到所述最终部署模型后，所述第二训练模块，还用于：
重新基于所述第四数据集，训练所述预设的多任务检测模型，并获取训练过程中评估判定指标误差小于或等于预设阈值的第一次数；
重新基于所述第三数据集，对多个感知检测模型进行迁移训练，并获取训练过程中评估判定指标误差小于或等于预设阈值的第二次数；
若所述第一次数和所述第二次数均满足预设次数，则判定所述最终部署模型满足预设精度要求，发布所述最终部署模型。
8.根据权利要求6所述的装置，其特征在于，所述第二获取模块，还用于：
对所述自动驾驶图像中感兴趣目标进行标注，其中，所述标注包括分类标注、检测标注、分割标注、关键点标注和角点标注；
基于所述自动驾驶图像，所述根据所述分类标注、所述检测标注、所述分割标注、所述关键点标注和所述角点标注构成所述第一数据集。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于corner cases的部署模型构建方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于corner cases的部署模型构建方法。
CN202310149261.9A 2023-02-21 2023-02-21 基于corner cases的部署模型构建方法 Pending CN116107591A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310149261.9A CN116107591A (zh) 2023-02-21 2023-02-21 基于corner cases的部署模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310149261.9A CN116107591A (zh) 2023-02-21 2023-02-21 基于corner cases的部署模型构建方法

Publications (1)

Publication Number Publication Date
CN116107591A true CN116107591A (zh) 2023-05-12

Family

ID=86257940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310149261.9A Pending CN116107591A (zh) 2023-02-21 2023-02-21 基于corner cases的部署模型构建方法

Country Status (1)

Country Link
CN (1) CN116107591A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117367425A (zh) * 2023-09-18 2024-01-09 广州里工实业有限公司 一种基于多相机融合的移动机器人定位方法及系统
CN117681892A (zh) * 2024-02-02 2024-03-12 中国科学院自动化研究所 面向矿区场景的自动驾驶数据选择方法和装置
CN117934997A (zh) * 2024-03-21 2024-04-26 宁算(南京)科技有限公司 用于corner case样本生成的大语言模型系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117367425A (zh) * 2023-09-18 2024-01-09 广州里工实业有限公司 一种基于多相机融合的移动机器人定位方法及系统
CN117367425B (zh) * 2023-09-18 2024-05-28 广州里工实业有限公司 一种基于多相机融合的移动机器人定位方法及系统
CN117681892A (zh) * 2024-02-02 2024-03-12 中国科学院自动化研究所 面向矿区场景的自动驾驶数据选择方法和装置
CN117681892B (zh) * 2024-02-02 2024-05-14 中国科学院自动化研究所 面向矿区场景的自动驾驶数据选择方法和装置
CN117934997A (zh) * 2024-03-21 2024-04-26 宁算(南京)科技有限公司 用于corner case样本生成的大语言模型系统及方法

Similar Documents

Publication Publication Date Title
CN116107591A (zh) 基于corner cases的部署模型构建方法
CN109784391B (zh) 基于多模型的样本标注方法及装置
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
KR102177880B1 (ko) 자율주행용 클래스 레이블링 장치
CN110378837B (zh) 基于鱼眼摄像头的目标检测方法、装置和存储介质
CN111767878B (zh) 嵌入式设备中基于深度学习的交通标志检测方法及系统
CN111091739B (zh) 自动驾驶场景的生成方法、装置和存储介质
CN116484971A (zh) 车辆的自动驾驶感知自学习方法、装置及电子设备
CN111814593A (zh) 交通场景解析方法和设备、存储介质
CN112396042A (zh) 实时更新的目标检测方法及系统、计算机可读存储介质
CN112052907A (zh) 基于图像边缘信息的目标检测方法、装置及存储介质
CN116740145A (zh) 一种多目标跟踪方法、装置、车辆及存储介质
CN114120259A (zh) 一种空车位识别方法及其系统、计算机设备、存储介质
Saravanarajan et al. Improving semantic segmentation under hazy weather for autonomous vehicles using explainable artificial intelligence and adaptive dehazing approach
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN112329886A (zh) 双车牌识别方法、模型训练方法、装置、设备及存储介质
CN112149698A (zh) 一种困难样本数据的筛选方法及装置
CN116343148A (zh) 车道线检测方法、装置、车辆及存储介质
CN113807407B (zh) 目标检测模型训练方法、模型性能检测方法及装置
CN113591543B (zh) 交通标志识别方法、装置、电子设备及计算机存储介质
CN113989774A (zh) 一种交通灯检测方法、装置、车辆和可读存储介质
CN110837789B (zh) 一种检测物体的方法、装置、电子设备及介质
CN112215042A (zh) 一种车位限位器识别方法及其系统、计算机设备
CN114175093A (zh) 显示面板的检测装置、检测方法、电子装置、可读介质
CN116543363B (zh) 样本图像的获取方法、装置、电子设备及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination