CN111310828B - 用于adas场景的目标检测模型微调方法及装置 - Google Patents

用于adas场景的目标检测模型微调方法及装置 Download PDF

Info

Publication number
CN111310828B
CN111310828B CN202010095107.4A CN202010095107A CN111310828B CN 111310828 B CN111310828 B CN 111310828B CN 202010095107 A CN202010095107 A CN 202010095107A CN 111310828 B CN111310828 B CN 111310828B
Authority
CN
China
Prior art keywords
data set
target detection
fine
detection model
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010095107.4A
Other languages
English (en)
Other versions
CN111310828A (zh
Inventor
祁亚斐
刘鹏
张世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adasplus Beijing Technology Co ltd
Original Assignee
Adasplus Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adasplus Beijing Technology Co ltd filed Critical Adasplus Beijing Technology Co ltd
Priority to CN202010095107.4A priority Critical patent/CN111310828B/zh
Publication of CN111310828A publication Critical patent/CN111310828A/zh
Application granted granted Critical
Publication of CN111310828B publication Critical patent/CN111310828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种用于ADAS场景的目标检测模型微调方法及装置、电子设备及可读存储介质。该方法包括:采集ADAS场景下的原始数据集和增量数据集;在所述原始数据集中随机筛选出数据子集并与所述增量数据集混合,以作为微调数据集;将所述微调数据集输入预设目标检测模型进行训练,并根据预设学习率微调算法和预设损失函数输出目标检测模型微调结果。本申请解决了相关技术中用于ADAS场景的目标检测模型由于模型微调过程效率不高导致目标检测效率不高的技术问题。通过本申请,能够实现对ADAS场景下的增量数据进行快速迭代训练,提高模型微调效率,并在保持精度的情况下对增量数据特征进行有效学习,进而提高了目标检测模型的检测效率。

Description

用于ADAS场景的目标检测模型微调方法及装置
技术领域
本申请涉及辅助驾驶技术领域,具体而言,涉及一种用于ADAS场景的目标检测模型微调方法及装置、电子设备及可读存储介质。
背景技术
高级辅助驾驶系统(Advanced Driving Assistance System,简称ADAS)是利用安装在车上的各式各样传感器(毫米波雷达、激光雷达、单/双目摄像头以及卫星导航),在汽车行驶过程中随时来感应周围的环境,收集数据,进行静态、动态物体的辨识、侦测与追踪,并结合导航仪地图数据,进行系统的运算与分析,从而预先让驾驶者察觉到可能发生的危险,有效增加汽车驾驶的舒适性和安全性。
深度学习在图像认知领域取得了巨大的进步,深度学习是基于已知数据构建概率统计模型并应用于预测分析的过程,需要围绕数据不断展开的迭代完善学习(训练)数据的特征表示。通过构建深度卷积神经网络(DCNN)模型,调整相关算法训练过程的超参数可以极大提高ADAS系统检测的精确度。
数据在DCNN模型构建中起到了主导作用,尤其在ADAS实际应用中,由于场景的多变和复杂性,数据集往往都在百万张以上规模,当场景发生较大变化或者因业务需求新增目标类别时,数据通常以增量迭代方式增加,模型训练集构成往往也需要随之调整以获取最契合的模型。面对大规模数据集的训练,模型的学习训练需要花费大量的时间进行参数调整测试,从数据采集到完成训练周期较长。为了克服训练周期长的问题,通常会在原数据集中选择较好的模型进行迁移学习(transfer learning),将原有模型的知识在新数据集上进行迭代训练。
DCNN模型在相同场景下抽取的特征信息大致相同,因此对于关注轮廓、颜色、形状等浅层特征的层参数可以复用,而仅仅只对深层和差异层进行梯度回传并更新参数,这种参数更新方法称为微调(finetune)。微调是迁移学习最常用的手段之一,一方面数据集获取成本较高,数据可能分批次交付,另一方面大规模数据集模型训练的时间、资源开销较大,微调成为算法应用的重要环节之一。常见的微调方法通常包含以下几个步骤:(1)大规模数据集和目标数据集的构建;(2)大规模数据集上的模型预训练Msrc;(3)参考大规模数据集的模型设计目标数据集模型Mdst;(4)用Msrc的参数初始化Mdst的参数,并随机初始化Msrc与Mdst之间存在差异的层参数;(5)在目标数据集上训练目标模型,相同层参数进行微调,差异层从头训练,需要配合训练工具对一些参数进行冻结。
然而发明人发现,现有的模型微调方法大多没有从ADAS任务的特殊性来考虑,大多利用公开数据集如ImageNet等,在其中进行分类模型的预训练,并选取较好的作为微调起点,采取调小学习率的随机梯度下降方法进行训练。但是大型公开数据集往往不同数据类别分布不均衡,具有比较明显的长尾效应,且微调训练的子数据集可能和预训练数据集类别差异较大,状态空间分布有明显偏差。在ADAS场景中,一方面任务往往对位置信息要求较高,如前车碰撞检测、车道线识别等,而分类模型需要多次降采样,位置信息丢失较多;另一方面,ADAS场景中数据集通常规模较大,场景复杂,随着业务需求变更需要快速更新数据迭代适配模型,从头训练代价较大,且增量数据的长尾效应及差异过小可能导致从头训练模型对新增数据学习较差,而微调训练需要调整的学习率等超参数较多,无法直接复用公开数据集的微调经验。
针对相关技术中用于ADAS场景的目标检测模型由于模型微调过程效率不高导致目标检测效率不高的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种用于ADAS场景的目标检测模型微调方法及装置、电子设备及可读存储介质,以解决相关技术中用于ADAS场景的目标检测模型由于模型微调过程效率不高导致目标检测效率不高的问题。
为了实现上述目的,根据本申请的第一方面,提供了一种用于ADAS场景的目标检测模型微调方法。
根据本申请的用于ADAS场景的目标检测模型微调方法包括:采集ADAS场景下的原始数据集和增量数据集;在所述原始数据集中随机筛选出数据子集并与所述增量数据集混合,以作为微调数据集;将所述微调数据集输入预设目标检测模型进行训练,并根据预设学习率微调算法和预设损失函数输出目标检测模型微调结果。
进一步地,所述将所述微调数据集输入预设目标检测模型进行训练,并根据预设学习率微调算法和预设损失函数输出目标检测模型微调结果包括:确定第i个迭代周期的学习率范围,其中i不小于1;根据预设余弦函数和所述第i个迭代周期的学习率范围构建所述预设学习率微调算法;根据所述预设学习率微调算法调整所述预设目标检测模型在不同迭代周期和/或不同层次的学习率。
进一步地,所述将所述微调数据集输入预设目标检测模型进行训练,并根据预设学习率微调算法和预设损失函数输出目标检测模型微调结果包括:将所述微调数据集输入所述预设目标检测模型进行训练,以得到第一训练结果,其中所述第一训练结果包括第一目标检测模型及对应的训练状态节点;根据所述预设损失函数对所述第一目标检测模型及对应的训练状态节点进行恢复训练,以得到所述目标检测模型微调结果。
进一步地,所述预设学习率微调算法由下式构成:
Figure BDA0002384564830000031
其中,
Figure BDA0002384564830000041
Figure BDA0002384564830000042
为第i个迭代周期的学习率范围,Tcur表示当前迭周期的迭代步数,且Ti表示当前迭代周期,α和β表示模型不同层次学习率的协调因子,layerm表示模型第m层的相对位置,layerall表示模型总层数。
进一步地,所述预设损失函数由下式构成:
Figure BDA0002384564830000043
其中,Lsrc为原损失函数,Tcur表示当前迭代周期的迭代步数,Tall表示总迭代步数,Lnew表示增量数据集的损失函数值,Lold表示原始数据集的损失函数值,γ表示增量数据集的损失函数值和原始数据集的损失函数值的协调因子,
Figure BDA0002384564830000044
表示被挖掘策略过滤掉的负样本的损失函数值,
Figure BDA0002384564830000045
表示被过滤负样本的数量。
为了实现上述目的,根据本申请的第二方面,提供了一种用于ADAS场景的目标检测模型微调装置。
根据本申请的用于ADAS场景的目标检测模型微调装置包括:采集模块,用于采集ADAS场景下的原始数据集和增量数据集;混合模块,用于在所述原始数据集中随机筛选出数据子集并与所述增量数据集混合,以作为微调数据集;微调模块,用于将所述微调数据集输入预设目标检测模型进行训练,并根据预设学习率微调算法和预设损失函数输出目标检测模型微调结果。
进一步地,所述微调模块包括:确定单元,用于确定第i个迭代周期的学习率范围,其中i不小于1;构建单元,用于根据预设余弦函数和所述第i个迭代周期的学习率范围构建所述预设学习率微调算法;调整单元,用于根据所述预设学习率微调算法调整所述预设目标检测模型在不同迭代周期和/或不同层次的学习率。
进一步地,所述微调模块包括:训练单元,用于将所述微调数据集输入所述预设目标检测模型进行训练,以得到第一训练结果,其中所述第一训练结果包括第一目标检测模型及对应的训练状态节点;微调单元,用于根据所述预设损失函数对所述第一目标检测模型及对应的训练状态节点进行恢复训练,以得到所述目标检测模型微调结果。
为了实现上述目的,根据本申请的第三方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前任一项所述的方法
为了实现上述目的,根据本申请的第四方面,提供了一种非暂态可读存储介质,其上存储有计算机指令,所述指令被处理器执行时实现如前任一项所述方法的步骤。
在本申请实施例中,采用采集ADAS场景下的原始数据集和增量数据集;在所述原始数据集中随机筛选出数据子集并与所述增量数据集混合,以作为微调数据集的方式,通过将所述微调数据集输入预设目标检测模型进行训练,并根据预设学习率微调算法和预设损失函数输出目标检测模型微调结果,达到了对增量数据进行快速迭代训练的目的,从而实现了提高目标检测效率的技术效果,进而解决了相关技术中用于ADAS场景的目标检测模型由于模型微调过程效率不高导致目标检测效率不高的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请第一实施例的用于ADAS场景的目标检测模型微调方法的流程示意图;
图2是根据本申请实施例的构建微调数据集的示意图;
图3是根据本申请第二实施例的用于ADAS场景的目标检测模型微调方法的流程示意图;
图4是根据本申请实施例的学习率随迭代周期和模型层次变化的示意图;
图5是根据本申请第三实施例的用于ADAS场景的目标检测模型微调方法的流程示意图;
图6是根据本申请实施例的用于ADAS场景的目标检测模型微调装置的组成结构示意图;以及
图7是根据本申请实施例的电子设备的组成结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本发明实施例,提供了一种用于ADAS场景的目标检测模型微调方法,如图1所示,该方法包括如下的步骤S101至步骤S103:
步骤S101,采集ADAS场景下的原始数据集和增量数据集。
由于ADAS场景复杂多变,例如国内和国外的车辆和交通规则有较大差异,国内南方和北方的道路环境也有较大差异,道路上的特殊目标或标志可能导致已有模型检测和识别失效,同时这种复杂性也让数据标注变得困难。因此在ADAS场景下需要结合不同的具体应用需求对数据进行迭代更新,更新的数据通常以增量的方式分批次迭代。
具体实施时,首先需要获取ADAS场景下的原始数据集和增量数据集,以根据原始数据集和增量数据集对原始目标检测模型进行迭代更新。
步骤S102,在所述原始数据集中随机筛选出数据子集并与所述增量数据集混合,以作为微调数据集。
具体实施时,在得到原始数据集和增量数据集后,需要在所原始数据集中随机筛选出固定比例的数据子集D′,比例限定在同数量级,防止增量数据出现长尾效应,并将该数据子集D′与增量数据集混合构建微调数据集,以根据微调数据集对原始目标检测模型进行迭代更新。
具体地,假设原始数据集为Datasrc,批次增量数据集为Datai,当新增量数据为Datam时,则微调数据集Ftm构成为:
Figure BDA0002384564830000071
这样可以在保持原数据的特征的同时学习增量数据的特性,如图2所示,提供了一种构建微调数据集的示意图。
步骤S103,将所述微调数据集输入预设目标检测模型进行训练,并根据预设学习率微调算法和预设损失函数输出目标检测模型微调结果。
具体实施时,在得到上述微调数据集后,需要将该微调数据集输入预设目标检测模型进行训练,同时需要根据预设学习率微调算法和预设损失函数输出目标检测模型的微调结果。本申请实施例对现有的学习率下降策略进行了改进生成了预设学习率微调算法,同时对原始模型的损失函数也进行了微调,生成了上述预设损失函数。
因此本申请实施例通过构建基于增量数据的模型微调数据集(包括训练集和验证集),优化学习率调整策略以及损失函数微调等方法,实现了对ADAS场景下的增量数据的快速迭代训练,并且能够在保持精度的情况下对增量数据特征进行有效学习,进而提高了目标检测模型的检测效率。
作为本申请实施例的一种优选实施方式,如图3所示,所述将所述微调数据集输入预设目标检测模型进行训练,并根据预设学习率微调算法和预设损失函数输出目标检测模型微调结果包括如下的步骤S201至步骤S203:
步骤S201,确定第i个迭代周期的学习率范围,其中i不小于1。
在DCNN模型训练中,学习率的下降策略往往直接影响模型收敛效果的好坏,通常认为在进行模型微调时,DCNN模型浅层特征的空间相似度较高,深层特征差别较大,所以一般会锁死浅层特征或在浅层特征采用较小的学习率,深层特征学习率稍大。在ADAS场景下,增量数据和已有数据的特征空间差异性较小,但由于增加了适量的原始数据集,学习率的设置可以忽略深浅层特征的差异。此外,由于在ADAS的相关任务中,位置信息往往更加重要,由于DCNN的降采样导致模型浅层特征对空间信息更敏感,深层特征对语义信息更敏感,因此浅层特征和深层特征对于增量数据需要进行同样粒度的更新。根据以上特性,本申请实施例对相关技术中的学习率下降策略进行了如下改进:
具体实施时,首先需要确定模型在每个迭代周期的学习率范围,即在每个迭代周期的最大学习率和最小学习率。
步骤S202,根据预设余弦函数和所述第i个迭代周期的学习率范围构建所述预设学习率微调算法。
具体实施时,在确定了每个迭代周期的学习率范围之后,采用余弦函数构建所述预设学习率微调算法,具体地,预设学习率微调算法由下式(2)构成:
Figure BDA0002384564830000091
其中,
Figure BDA0002384564830000092
Figure BDA0002384564830000093
为第i个迭代周期的学习率范围,Tcur表示当前迭周期的迭代步数,且Ti表示当前迭代周期,π表示圆周率,α和β表示模型不同层次学习率的协调因子,控制不同层学习率变化范围,layerm表示模型第m层的相对位置,layerall表示模型总层数。
如图4所示,是本申请实施例的学习率随迭代周期和模型层次变化的示意图,曲线1表示学习率随迭代周期变化,即公式(2)的前半部分(以“[]”为分界)所描述的学习率的下降策略,采用基于余弦函数的迭代方式生成,为了形成一定的抑制效果,在原有基础上减小迭代周期倍数,即迭代周期越大,学习率越小。曲线2表示学习率随模型层次不同变化,即公式后半部分,表示DCNN模型中不同层的学习率调整不同,其中m层学习率按余弦函数分布,训练开始时浅层和深层特征的学习率更高一些,中间层次的学习率较小,余弦波形随着训练迭代而变化,当训练到迭代周期末,浅层和深层的学习率较小,而中间层次的学习率较大。
步骤S203,根据所述预设学习率微调算法调整所述预设目标检测模型在不同迭代周期和/或不同层次的学习率。
具体实施时,在得到上述预设学习率微调算法之后,根据该预设学习率微调算法调整预设目标检测模型在不同迭代周期以及不同层次的学习率,进而使模型快速收敛,完成对增量数据的快速迭代训练。
作为本申请实施例的一种优选实施方式,如图5所示,所述将所述微调数据集输入预设目标检测模型进行训练,并根据预设学习率微调算法和预设损失函数输出目标检测模型微调结果包括如下的步骤S301至步骤S302:
步骤S301,将所述微调数据集输入所述预设目标检测模型进行训练,以得到第一训练结果,其中所述第一训练结果包括第一目标检测模型及对应的训练状态节点。
具体实施时,将上述按比例混合后得到的微调数据集,输入预设目标检测模型中进行训练,进而得到第一训练结果,该结果包括第一目标检测模型M"及对应的训练状态节点S"。
步骤S302,根据所述预设损失函数对所述第一目标检测模型及对应的训练状态节点进行恢复训练,以得到所述目标检测模型微调结果。
具体地,在实际微调训练时,选取上述微调数据集训练后生成的较优模型M"即上述第一目标检测模型及对应的训练状态节点S",根据预设损失函数从较优模型M"和"节点恢复训练,训练迭代周期为从该节点S"延长迭代周期为原周期2倍以上,进而得到最终的目标检测模型微调结果。
作为本申请实施例的一种优选实施方式,所述预设损失函数由下式构成:
Figure BDA0002384564830000101
其中,Lsrc为原损失函数,Tcur表示当前迭代周期的迭代步数,Tall表示总迭代步数,Lnew表示增量数据集的损失函数值,Lold表示原始数据集的损失函数值,γ表示增量数据集的损失函数值和原始数据集的损失函数值的协调因子,
Figure BDA0002384564830000102
表示被挖掘策略过滤掉的负样本的损失函数值,
Figure BDA0002384564830000103
表示被过滤负样本的数量。
具体地,对于原损失函数Lsrc,本申请实施例将它划分为原始数据集和增量数据集两部分构成,由于原始数据集模型已经学习过,因此微调时更需要强调增量数据集的作用,通过余弦函数来强调增量数据集的作用。另一方面,ADAS任务中可能存在难样本挖掘、正负样本均衡的平衡策略。但是在微调训练中,选取的模型对这些策略可能已经有了较好的解决方案,可能不需要强调这些平衡策略,而更需要强化对于数据集整体状态空间的拟合,因此通过
Figure BDA0002384564830000104
来补全通过平衡策略去掉的样本信息。
从以上的描述中,可以看出,本发明实现了如下技术效果:采用采集ADAS场景下的原始数据集和增量数据集;在所述原始数据集中随机筛选出数据子集并与所述增量数据集混合,以作为微调数据集的方式,通过将所述微调数据集输入预设目标检测模型进行训练,并根据预设学习率微调算法和预设损失函数输出目标检测模型微调结果,达到了对ADAS场景下的增量数据进行快速迭代训练的目的,能够在保持精度的情况下对增量数据特征进行有效学习,提高了目标检测效率。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例,还提供了一种用于实施上述用于ADAS场景的目标检测模型微调方法的装置,如图6所示,该装置包括:采集模块1、混合模块2和微调模块3。本申请实施例的采集模块1,用于采集ADAS场景下的原始数据集和增量数据集;本申请实施例的混合模块2,用于在所述原始数据集中随机筛选出数据子集并与所述增量数据集混合,以作为微调数据集;本申请实施例的微调模块3,用于将所述微调数据集输入预设目标检测模型进行训练,并根据预设学习率微调算法和预设损失函数输出目标检测模型微调结果。
作为本申请实施例的一种优选实施方式,所述微调模块包括:确定单元,用于确定第i个迭代周期的学习率范围,其中i不小于1;构建单元,用于根据预设余弦函数和所述第i个迭代周期的学习率范围构建所述预设学习率微调算法;调整单元,用于根据所述预设学习率微调算法调整所述预设目标检测模型在不同迭代周期和/或不同层次的学习率。
作为本申请实施例的一种优选实施方式,所述微调模块包括:训练单元,用于将所述微调数据集输入所述预设目标检测模型进行训练,以得到第一训练结果,其中所述第一训练结果包括第一目标检测模型及对应的训练状态节点;微调单元,用于根据所述预设损失函数对所述第一目标检测模型及对应的训练状态节点进行恢复训练,以得到所述目标检测模型微调结果。
上述各模块及各单元之间的具体连接关系及所发挥的功能请参照方法部分的具体描述,在此不做赘述。
根据本发明实施例,还提供了一种计算机设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前所述的方法。
根据本发明实施例,还提供了一种计算机可读存储介质,其上存储有计算机指令,所述指令被处理器执行时实现如前所述方法的步骤。
如图7所示,该电子设备包括一个或多个处理器31以及存储器32,图7中以一个处理器31为例。
控制单元还可以包括:输入装置33和输出装置34。
处理器31、存储器32、输入装置33和输出装置34可以通过总线或者其他方式连接,图7中以通过总线连接为例。
处理器31可以为中央处理器(Central Processing Unit,CPU)。处理器31还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器32作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的用于ADAS场景的目标检测模型微调方法。
存储器32可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外,存储器32可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器32可选包括相对于处理器31远程设置的存储器,这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置33可接收输入的数字或字符信息,以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置34可包括显示屏等显示设备。
一个或者多个模块存储在存储器32中,当被一个或者多个处理器31执行时,执行如前所述的方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机指令用于使所述计算机执行上述用于ADAS场景的目标检测模型微调方法。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后,本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种用于ADAS场景的目标检测模型微调方法,其特征在于,包括:
采集ADAS场景下的原始数据集和增量数据集;
在所述原始数据集中随机筛选出数据子集并与所述增量数据集混合,以作为微调数据集;
将所述微调数据集输入预设目标检测模型进行训练,并根据预设学习率微调算法和预设损失函数输出目标检测模型微调结果;
所述预设学习率微调算法由下式构成:
Figure DEST_PATH_IMAGE001
其中,
Figure 981717DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
为第i个迭代周期的学习率范围,
Figure 40808DEST_PATH_IMAGE004
cur 表示当前迭周期的迭代步 数,且
Figure DEST_PATH_IMAGE006A
表示当前迭代周期,
Figure DEST_PATH_IMAGE008A
Figure DEST_PATH_IMAGE009
表示模型不同层次学习率的协调因子,
Figure 267128DEST_PATH_IMAGE010
表示模 型第m层的相对位置,
Figure DEST_PATH_IMAGE011
表示模型总层数。
2.根据权利要求1所述的用于ADAS场景的目标检测模型微调方法,其特征在于,所述将所述微调数据集输入预设目标检测模型进行训练,并根据预设学习率微调算法和预设损失函数输出目标检测模型微调结果包括:
确定第i个迭代周期的学习率范围,其中i不小于1;
根据预设余弦函数和所述第i个迭代周期的学习率范围构建所述预设学习率微调算法;
根据所述预设学习率微调算法调整所述预设目标检测模型在不同迭代周期和/或不同层次的学习率。
3.根据权利要求1所述的用于ADAS场景的目标检测模型微调方法,其特征在于,所述将所述微调数据集输入预设目标检测模型进行训练,并根据预设学习率微调算法和预设损失函数输出目标检测模型微调结果包括:
将所述微调数据集输入所述预设目标检测模型进行训练,以得到第一训练结果,其中所述第一训练结果包括第一目标检测模型及对应的训练状态节点;
根据所述预设损失函数对所述第一目标检测模型及对应的训练状态节点进行恢复训练,以得到所述目标检测模型微调结果。
4.根据权利要求1所述的用于ADAS场景的目标检测模型微调方法,其特征在于,所述预设损失函数由下式构成:
Figure 379047DEST_PATH_IMAGE012
其中,
Figure DEST_PATH_IMAGE013
为原损失函数,
Figure DEST_PATH_IMAGE015
cur 表示当前迭代周期的迭代步数,
Figure DEST_PATH_IMAGE015A
all 表示总迭代步数,
Figure 349015DEST_PATH_IMAGE016
new 表示增量数据集的损失函数值,
Figure 669138DEST_PATH_IMAGE016
old 表示原始数据集的损失函数值,
Figure DEST_PATH_IMAGE017
表示增量数据集的 损失函数值和原始数据集的损失函数值的协调因子,
Figure 489195DEST_PATH_IMAGE018
表示被挖掘策略过滤掉的 负样本的损失函数值,
Figure DEST_PATH_IMAGE020A
表示被过滤负样本的数量。
5.一种用于ADAS场景的目标检测模型微调装置,其特征在于,
采集模块,用于采集ADAS场景下的原始数据集和增量数据集;
混合模块,用于在所述原始数据集中随机筛选出数据子集并与所述增量数据集混合,以作为微调数据集;
微调模块,用于将所述微调数据集输入预设目标检测模型进行训练,并根据预设学习率微调算法和预设损失函数输出目标检测模型微调结果;
所述预设学习率微调算法由下式构成:
Figure DEST_PATH_IMAGE021
其中,
Figure 684815DEST_PATH_IMAGE022
Figure 520791DEST_PATH_IMAGE003
为第i个迭代周期的学习率范围,
Figure 226579DEST_PATH_IMAGE004
cur 表示当前迭周期的迭代步 数,且
Figure 889641DEST_PATH_IMAGE004
i 表示当前迭代周期,
Figure DEST_PATH_IMAGE008AA
Figure 946459DEST_PATH_IMAGE009
表示模型不同层次学习率的协调因子,
Figure 57897DEST_PATH_IMAGE010
表示模 型第m层的相对位置,
Figure 87033DEST_PATH_IMAGE011
表示模型总层数。
6.根据权利要求5所述的用于ADAS场景的目标检测模型微调装置,其特征在于,所述微调模块包括:
确定单元,用于确定第i个迭代周期的学习率范围,其中i不小于1;
构建单元,用于根据预设余弦函数和所述第i个迭代周期的学习率范围构建所述预设学习率微调算法;
调整单元,用于根据所述预设学习率微调算法调整所述预设目标检测模型在不同迭代周期和/或不同层次的学习率。
7.根据权利要求5所述的用于ADAS场景的目标检测模型微调装置,其特征在于,所述微调模块包括:
训练单元,用于将所述微调数据集输入所述预设目标检测模型进行训练,以得到第一训练结果,其中所述第一训练结果包括第一目标检测模型及对应的训练状态节点;
微调单元,用于根据所述预设损失函数对所述第一目标检测模型及对应的训练状态节点进行恢复训练,以得到所述目标检测模型微调结果。
8.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至4中任一项所述的方法。
9.一种非暂态可读存储介质,其特征在于,其上存储有计算机指令,所述指令被处理器执行时实现如权利要求1至4中任一项所述方法的步骤。
CN202010095107.4A 2020-02-14 2020-02-14 用于adas场景的目标检测模型微调方法及装置 Active CN111310828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010095107.4A CN111310828B (zh) 2020-02-14 2020-02-14 用于adas场景的目标检测模型微调方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010095107.4A CN111310828B (zh) 2020-02-14 2020-02-14 用于adas场景的目标检测模型微调方法及装置

Publications (2)

Publication Number Publication Date
CN111310828A CN111310828A (zh) 2020-06-19
CN111310828B true CN111310828B (zh) 2023-01-03

Family

ID=71147140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010095107.4A Active CN111310828B (zh) 2020-02-14 2020-02-14 用于adas场景的目标检测模型微调方法及装置

Country Status (1)

Country Link
CN (1) CN111310828B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766388A (zh) * 2021-01-25 2021-05-07 深圳中兴网信科技有限公司 模型获取方法、电子设备和可读存储介质
CN113392757B (zh) * 2021-06-11 2023-08-15 恒睿(重庆)人工智能技术研究院有限公司 使用不均衡数据训练人体检测模型的方法及装置、介质
CN115265881B (zh) * 2022-09-28 2022-12-20 宁波普瑞均胜汽车电子有限公司 压力检测方法和装置
CN116757260B (zh) * 2023-08-14 2024-03-19 北京向量栈科技有限公司 一种大型预训练模型的训练方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8756175B1 (en) * 2012-02-22 2014-06-17 Google Inc. Robust and fast model fitting by adaptive sampling
CN108921293A (zh) * 2018-06-11 2018-11-30 广州视源电子科技股份有限公司 基于深度学习的学习率确定方法和装置
CN108960496A (zh) * 2018-06-26 2018-12-07 浙江工业大学 一种基于改进学习率的深度学习交通流预测方法
CN109977812A (zh) * 2019-03-12 2019-07-05 南京邮电大学 一种基于深度学习的车载视频目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699194B2 (en) * 2018-06-01 2020-06-30 DeepCube LTD. System and method for mimicking a neural network without access to the original training dataset or the target model

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8756175B1 (en) * 2012-02-22 2014-06-17 Google Inc. Robust and fast model fitting by adaptive sampling
CN108921293A (zh) * 2018-06-11 2018-11-30 广州视源电子科技股份有限公司 基于深度学习的学习率确定方法和装置
CN108960496A (zh) * 2018-06-26 2018-12-07 浙江工业大学 一种基于改进学习率的深度学习交通流预测方法
CN109977812A (zh) * 2019-03-12 2019-07-05 南京邮电大学 一种基于深度学习的车载视频目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Cyclical Learning Rates for Training Neural Networks;Leslie N. Smith;《2017 IEEE Winter Conference on Applications of Computer Vision》;20171230;全文 *
一种组合型的深度学习模型学习率策略;贺昱曜,李宝奇;《自动化学报》;20160630;全文 *

Also Published As

Publication number Publication date
CN111310828A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN111310828B (zh) 用于adas场景的目标检测模型微调方法及装置
CN108921200B (zh) 用于对驾驶场景数据进行分类的方法、装置、设备和介质
CN110782042B (zh) 横向联邦和纵向联邦联合方法、装置、设备及介质
US20220363259A1 (en) Method for generating lane changing decision-making model, method for lane changing decision-making of unmanned vehicle and electronic device
CN110766038B (zh) 无监督式的地貌分类模型训练和地貌图构建方法
CN112132264A (zh) 基于时空残差感知网络的区域尾气排放预测方法及系统
CN111406267A (zh) 使用性能预测神经网络的神经架构搜索
TW201947464A (zh) 用於離散化深度神經網路的量化的連續鬆弛
CN114638148A (zh) 用于自动化交通工具的文化敏感驾驶的安全的并且可扩展的模型
CN111406264A (zh) 神经架构搜索
CN109360421B (zh) 一种基于机器学习的交通信息预测方法及装置、电子终端
CN111353505B (zh) 基于可联合实现语义分割和景深估计的网络模型的装置
DE102022112059B3 (de) Verfahren, System und Computerprogrammprodukt zur Kalibrierung und Validierung eines Fahrerassistenzsystems (ADAS) und/oder eines automatisierten Fahrsystems (ADS)
CN112307978A (zh) 目标检测方法、装置、电子设备及可读存储介质
WO2017200889A1 (en) Classifying entities in digital maps using discrete non-trace positioning data
Yang et al. Feature selection in conditional random fields for map matching of GPS trajectories
KR20200054355A (ko) 이미지의 채색 완성 방법, 장치 및 컴퓨터 프로그램과 인공 신경망 학습 방법, 장치 및 컴퓨터 프로그램
Park et al. Deep Q-network-based traffic signal control models
CN105335375A (zh) 主题挖掘方法和装置
Wang et al. Transworldng: Traffic simulation via foundation model
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN116698075B (zh) 路网数据处理方法、装置、电子设备及存储介质
CN111507499B (zh) 预测用模型的构建方法、测试方法、装置及系统
CN116795720A (zh) 一种基于场景的无人驾驶系统可信性评价方法及装置
CN115773744A (zh) 模型训练和路网处理方法、装置、设备、介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant