CN116541715A - 目标检测方法、模型的训练方法、目标检测系统及装置 - Google Patents
目标检测方法、模型的训练方法、目标检测系统及装置 Download PDFInfo
- Publication number
- CN116541715A CN116541715A CN202310819581.0A CN202310819581A CN116541715A CN 116541715 A CN116541715 A CN 116541715A CN 202310819581 A CN202310819581 A CN 202310819581A CN 116541715 A CN116541715 A CN 116541715A
- Authority
- CN
- China
- Prior art keywords
- target
- detection model
- information
- detected
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 456
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000012549 training Methods 0.000 title claims abstract description 69
- 238000002372 labelling Methods 0.000 claims description 128
- 230000008447 perception Effects 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 9
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 355
- 230000008569 process Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 240000004050 Pentaglottis sempervirens Species 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 241001300198 Caperonia palustris Species 0.000 description 2
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例提供了一种目标检测方法、模型的训练方法、目标检测系统及装置,应用于车辆技术领域,通过获取待检测数据集;基于目标检测模型以及待检测数据集,获取目标检测模型输出的至少两种行驶状态对应的检测结果;基于车辆的当前行驶状态,从至少两种行驶状态对应的检测结果中确定与当前行驶状态相匹配的目标注意力分数信息;目标注意力分数信息用于进行驾驶操作判断。这样,通过确定目标注意力分数信息,提高了对关键待检测目标的检测能力,便于用户根据待检测目标的关注度等级优先关注关键待检测目标。
Description
技术领域
本发明属于车辆技术领域,特别是涉及一种目标检测方法、模型的训练方法、目标检测系统及装置。
背景技术
自动驾驶车辆中的检测系统用于为复杂动态环境中的自动驾驶车辆提供周围障碍物的相关信息,以向车辆采取相应的行动,如避让障碍物、减速、超车等提供参考。
相关技术中,在车辆行驶的过程中,通过传感器接收周边环境的原始数据,车辆的检测系统针对传感器采集到的原始数据中包含的所有属于待检类别的目标进行无差别检测。这样,会引入大量的冗余信息,且对关键目标的检测能力较低。
发明内容
本发明提供一种目标检测方法、模型的训练方法、目标检测系统及装置,以便解决检测模型对关键目标的检测能力较低。
为了解决上述技术问题,本发明是这样实现的:
第一方面,本发明提供一种目标检测方法,所述方法包括:
获取待检测数据集;所述待检测数据集中包括待检测目标;
基于目标检测模型以及所述待检测数据集,获取所述目标检测模型输出的至少两种行驶状态对应的检测结果;所述目标检测模型是基于待训练样本集对待训练检测模型进行训练得到的,所述检测结果包括所述待检测目标对应的注意力分数信息;
基于车辆的当前行驶状态,从所述至少两种行驶状态对应的检测结果中确定与所述当前行驶状态相匹配的目标注意力分数信息;所述目标注意力分数信息用于进行驾驶操作判断。
可选地,所述基于目标检测模型以及所述待检测数据集,获取所述目标检测模型输出的至少两种行驶状态对应的检测结果,包括:
将所述待检测数据集作为所述目标检测模型的输入,获取所述目标检测模型输出的类别信息、位置信息以及所述至少两种行驶状态对应的注意力分数信息;
基于所述类别信息、所述位置信息以及所述至少两种行驶状态对应的注意力分数信息,确定所述至少两种行驶状态对应的检测结果。
可选地,在存在多个待检测目标的情况下,所述将所述待检测数据集作为所述目标检测模型的输入,获取所述目标检测模型输出的类别信息、位置信息以及所述至少两种行驶状态对应的注意力分数信息,包括:
将所述待检测数据集作为所述目标检测模型的输入,获取所述目标检测模型中的分类层输出的各所述待检测目标的类别信息;
获取所述目标检测模型中的边框预测层输出的各所述待检测目标的位置信息,以及获取所述目标检测模型中的注意力分数预测层针对各所述待检测目标输出的至少两种注意力分数信息;所述至少两种注意力分数信息与所述至少两种行驶状态相对应。
可选地,所述获取所述目标检测模型中的分类层输出的各所述待检测目标的类别信息,包括:
针对任一所述待检测目标,获取所述目标检测模型中的分类层输出的多个分类结果以及所述多个分类结果对应的概率值;
将所述概率值最大的分类结果确定为所述待检测目标的类别信息。
可选地,所述基于所述类别信息、所述位置信息以及所述至少两种行驶状态对应的注意力分数信息,确定所述至少两种行驶状态对应的检测结果,包括:
针对任一所述待检测目标,将所述待检测目标对应的类别信息、所述待检测目标对应的位置信息以及所述待检测目标对应的至少两种注意力分数信息,确定为与所述待检测目标相对应的至少两种行驶状态对应的检测结果。
可选地,所述方法还包括:
针对所述至少两种行驶状态中的任一行驶状态,将所述行驶状态对应的行驶状态信息作为键名以及将所述行驶状态对应的检测结果作为键值,对应存储至存储单元。
可选地,所述基于车辆的当前行驶状态,从所述至少两种行驶状态对应的检测结果中确定与所述当前行驶状态相匹配的目标注意力分数信息,包括:
获取所述车辆的当前行驶状态;
将所述存储单元中与所述当前行驶状态对应的行驶状态信息相匹配的键名对应的键值确定为目标检测结果,并将所述目标检测结果中的注意力分数信息确定为所述目标注意力分数信息。
第二方面,本发明提供一种目标检测模型的训练方法,所述方法包括:
获取待训练样本集;所述待训练样本集包括多个样本点云数据;
针对所述多个样本点云数据中的任一样本点云数据,将所述样本点云数据作为待训练检测模型的输入,获取所述待训练检测模型输出的多个预测物体对应的预测结果;所述预测结果中包括注意力分数预测结果;
基于所述预测结果,对所述待训练检测模型进行参数调整,并确定目标检测模型。
可选地,所述样本点云数据中包含多个预测物体;所述基于所述预测结果,对所述待训练检测模型进行参数调整,并确定目标检测模型,包括:
基于各所述预测物体对应的预测结果以及各所述预测物体对应的标注标签,对所述待训练检测模型进行参数调整;所述标注标签用于表征所述样本点云数据中所述预测物体对应的真实类别信息、真实位置信息以及至少两种行驶状态对应的真实注意力分数信息;
在达到停止条件的情况下,将所述待训练检测模型确定为所述目标检测模型。
可选地,所述方法还包括:
针对所述多个样本点云数据中的任一样本点云数据中的任一标注物体,基于标注软件,获取所述标注物体的坐标信息、尺寸信息以及朝向信息,作为所述标注物体的真实位置信息;
获取所述标注物体对应的真实分类信息,以及,获取所述标注物体对应的所述至少两种行驶状态对应的真实注意力分数信息;所述真实分类信息以及所述至少两种行驶状态对应的真实注意力分数信息是基于人工标注确定的;
将所述真实位置信息、所述真实分类信息以及所述至少两种行驶状态对应的真实注意力分数信息确定为所述标注物体对应的标注标签。
可选地,所述获取所述标注物体对应的所述至少两种行驶状态对应的真实注意力分数信息,包括:
针对任一行驶状态,基于所述标注物体的真实位置信息、所述标注物体的真实分类信息以及所述行驶状态中包含的转向状态和行驶速度状态,为所述标注物体标注对应的真实注意力分数信息。
可选地,所述待训练检测模型包括感知层、抽象层、分类层、边框预测层以及注意力分数预测层;所述将所述样本点云数据作为待训练检测模型的输入,获取所述待训练检测模型输出的多个预测物体对应的预测结果,包括:
将所述样本点云数据作为所述待训练检测模型的输入,获取所述感知层输出的二维图像;
基于所述抽象层,获取所述二维图像对应的特征图;
基于所述分类层、所述边框预测层以及所述注意力分数预测层,分别获取所述特征图中多个预测物体对应的分类预测结果、位置预测结果以及所述至少两种行驶状态对应的注意力分数预测结果;
将所述分类预测结果、所述位置预测结果以及所述至少两种行驶状态对应的注意力分数预测结果,确定为所述多个预测物体对应的预测结果。
可选地,所述感知层包含鸟瞰视觉算法,所述感知层用于基于所述鸟瞰视觉算法获取所述样本点云数据对应的俯视图,并确定所述俯视图中预设数目个网格空间的特征,得到所述样本点云数据对应的二维图像。
可选地,所述注意力分数预测层包括多个卷积层,所述多个卷积层以预设连接方式相互连接,所述预设连接方式包括串联连接、跨层连接以及并联连接。
可选地,各所述预测物体对应的分类预测结果中包含多个分类预测子结果以及与各所述分类预测子结果对应的置信度;所述方法还包括:
将满足预设筛选条件的预测物体确定为目标预测物体;所述预设筛选条件为所述预测物体对应的各所述分类预测子结果对应的置信度中最大置信度大于预设置信度阈值;
所述基于各所述预测物体对应的预测结果以及各所述预测物体对应的标注标签,对所述待训练检测模型进行参数调整,包括:
针对任一所述目标预测物体,基于所述目标预测物体的预测结果以及所述目标预测物体对应的标注标签,对所述待训练检测模型进行参数调整。
可选地,所述样本点云数据中包括多个标注物体;所述方法还包括:
获取多个标注物体对应的多个标注标签;所述多个标注物体是基于所述样本点云数据预先确定的;
基于所述目标预测物体对应的位置预测结果以及所述多个标注标签中的多个真实位置信息,确定所述位置预测结果以及各所述真实位置信息的匹配度;
将最高匹配度对应的标注标签确定为所述目标预测物体对应的标注标签。
可选地,所述基于所述目标预测物体的预测结果以及所述目标预测物体对应的标注标签,对所述待训练检测模型进行参数调整,包括:
基于所述目标预测物体的分类预测结果以及所述目标预测物体对应的真实分类信息,获取第一损失值;
基于所述目标预测物体的位置预测结果以及所述目标预测物体对应的真实位置信息,获取第二损失值;
基于与所述目标预测物体相对应的至少两种行驶状态对应的注意力分数预测结果、与所述目标预测物体相对应的至少两种行驶状态对应的真实注意力分数信息以及所述至少两种行驶状态对应的权重值,获取第三损失值;
基于所述第一损失值、所述第二损失值以及所述第三损失值,对所述待训练检测模型进行参数调整。
可选地,所述至少两种行驶状态对应的行驶状态信息包括状态优先级信息,不同状态优先级信息对应不同权重值;所述方法还包括:
针对所述至少两种行驶状态中的任一行驶状态,确定所述行驶状态对应的行驶状态信息中的状态优先级信息,并获取所述状态优先级信息对应的权重值;
将所述权重值确定为所述行驶状态对应的权重值。
第三方面,本发明提供一种目标检测系统,所述目标检测系统中包含如上述任一所述的目标检测模型的训练方法所训练得到的目标检测模型,所述目标检测模型用于执行如上述任一所述的目标检测方法。
第四方面,本发明提供一种目标检测装置,其特征在于,所述装置包括:
第一获取模块,用于获取待检测数据集;所述待检测数据集中包括待检测目标;
第二获取模块,用于基于目标检测模型以及所述待检测数据集,获取所述目标检测模型输出的至少两种行驶状态对应的检测结果;所述目标检测模型是基于待训练样本集对待训练检测模型进行训练得到的,所述检测结果包括所述待检测目标对应的注意力分数信息;
第一确定模块,用于基于车辆的当前行驶状态,从所述至少两种行驶状态对应的检测结果中确定与所述当前行驶状态相匹配的目标注意力分数信息;所述目标注意力分数信息用于进行驾驶操作判断。
第五方面,本发明提供一种目标检测模型的训练装置,其特征在于,所述装置包括:
第三获取模块,用于获取待训练样本集;所述待训练样本集包括多个样本点云数据;
第四获取模块,用于针对所述多个样本点云数据中的任一样本点云数据,将所述样本点云数据作为待训练检测模型的输入,获取所述待训练检测模型输出的多个预测物体对应的预测结果;所述预测结果中包括注意力分数预测结果;
第一训练模块,用于基于所述预测结果,对待训练检测模型进行参数调整,并确定目标检测模型。
第六方面,本发明提供一种电子设备,包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述目标检测方法以及目标检测模型的训练方法。
第七方面,本发明提供一种可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述目标检测方法以及目标检测模型的训练方法。
在本发明实施例中,通过获取待检测数据集;待检测数据集中包括待检测目标;基于目标检测模型以及待检测数据集,获取目标检测模型输出的至少两种行驶状态对应的检测结果;目标检测模型是基于待训练样本集对待训练检测模型进行训练得到的,检测结果包括待检测目标对应的注意力分数信息;基于车辆的当前行驶状态,从至少两种行驶状态对应的检测结果中确定与当前行驶状态相匹配的目标注意力分数信息;目标注意力分数信息用于进行驾驶操作判断。这样,基于目标检测模型以及待检测数据集,获取目标检测模型输出的至少两种行驶状态对应的检测结果,进而基于车辆当前行驶状态,从至少两种行驶状态对应的检测结果中能够确定出与当前行驶状态对应的目标注意力分数信息。由于目标检测结果中的目标注意力分数信息表征待检测目标的关注度等级,因此,通过确定目标注意力分数信息,在丰富了对待检测目标进行检测的检测维度的同时,提高了对关键待检测目标的检测能力,便于根据待检测目标的关注度等级优先关注关键待检测目标,进行后续驾驶操作判断,一定程度上提高了后续驾驶操作判断的准确度,确保了驾驶安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种目标检测方法的步骤流程图;
图2是本发明实施例提供的一种目标检测模型的训练方法的步骤流程图
图3是本发明实施例提供的一种对标注物体进行标注的步骤流程图;
图4是本发明实施例提供的一种目标检测模型的训练方法的具体步骤流程图;
图5是本发明实施例提供的一种目标检测系统的示意图;
图6是本发明实施例提供的一种目标检测装置的结构图;
图7是本发明实施例提供的一种目标检测模型的训练装置的结构图;
图8是本发明实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例提供的一种目标检测方法的步骤流程图,如图1所示,该方法可以包括:
步骤101、获取待检测数据集;所述待检测数据集中包括待检测目标。
本发明实施例中,在车辆行驶过程中,获取车辆采集的待检测数据集,其中,待检测数据集可以是点云数据,点云数据是某个坐标系下的点的数据集,点云数据可以通过部署在车辆的激光雷达采集得到。示例性的,在车辆行驶过程中需要进行目标检测以进行辅助判断的情况下,获取车辆的激光雷达在当前时刻采集的点云数据。同理,车辆也可以通过激光雷达持续采集点云数据,并持续获取多个点云数据,并基于每个点云数据进行目标检测操作。待检测数据集中可以包括待检测目标,待检测目标的类型可以包括生命体以及非生命体,也可以包括移动目标以及固定目标等。示例性的,待检测目标可以是行人、汽车、公交车等。
步骤102、基于目标检测模型以及所述待检测数据集,获取所述目标检测模型输出的至少两种行驶状态对应的检测结果;所述目标检测模型是基于待训练样本集对待训练检测模型进行训练得到的,所述检测结果包括所述待检测目标对应的注意力分数信息。
本发明实施例中,获取预先训练好的目标检测模型,目标检测模型的训练过程在后续实施例中有详细描述,在此不再赘述,可参见步骤501-步骤1102。基于目标检测模型以及待检测数据集,得到目标检测模型输出的至少两种行驶状态对应的检测结果,即目标检测模型用于预测出当车辆处于多种不同行驶状态下时对应的多个检测结果。目标检测模型可以部署在目标检测系统中的目标检测模块,目标检测模型可以包括分类层、边界预测层、以及注意力分数预测层,其中,分类层用于获取待检测目标的类别信息,边界预测层用于获取待检测目标的位置信息,注意力分数预测层用于获取待检测目标在至少两种行驶状态下对应的注意力分数信息。至少两种行驶状态可以是车辆在不同转向状态以及不同行驶速度状态所对应的不同运动状态,例如:转向状态可以分为直行状态、左转状态以及右转状态,行驶速度状态可以包含匀速、加速以及减速,在这种场景下,车辆处于左转弯且减速的运动状态可以为一种行驶状态,车辆处于直行且匀速的运动状态可以为另一种行驶状态。行驶状态中包括转向信息以及速度信息。至少两种行驶状态对应的检测结果可以包括类别信息、位置信息以及至少两种行驶状态对应的注意力分数信息。其中,类别信息用于表征待检测目标的目标类型,如行人、汽车、公交车等,位置信息可以表征待检测目标中心的三维坐标位置、待检测目标的长宽高尺寸以及待检测目标的朝向,至少两种行驶状态对应的注意力分数信息用于表征待检测目标在不同行驶状态下的关注度等级。可以预先定义注意力分数的评分标准,示例性的,注意力分数可以设置为:2-重点关注目标,1-普通关注目标,0-可忽略目标,也可以设置为得分分数表示形式,得分分数越高,越需要重点关注。至少两种行驶状态对应的检测结果可以表征当同一待检测目标处于至少两种行驶状态下时,待检测目标的类别、位置以及注意力分数。对于同一待检测目标而言,待检测目标对应的至少两种行驶状态对应的检测结果中的类别信息以及位置信息是相同的,而同一待检测目标对应的至少两种行驶状态对应的检测结果中的注意力分数信息可以表征同一待检测目标在不同行驶状态下的关注度等级,可能存在差异。举例而言,假设待检测目标为车辆右前方停靠的一车辆,将待检测数据集输入目标检测模型,得到的至少两种行驶状态对应的检测结果中,类别信息均为公交车,位置信息均为该公交车的坐标和朝向位置以及长宽高尺寸,至少两种行驶状态对应的注意力分数信息可以包括:车辆处于直行且匀速的行驶状态下,注意力分数为1;车辆处于直行且减速行驶状态下,注意力分数为0;车辆处于右转且加速行驶状态下,注意力分数为2;车辆处于左转且减速行驶状态下,注意力分数为0,等等。
步骤103、基于车辆的当前行驶状态,从所述至少两种行驶状态对应的检测结果中确定与所述当前行驶状态相匹配的目标注意力分数信息;所述目标注意力分数信息用于进行驾驶操作判断。
本发明实施例中,获取车辆当前行驶状态,车辆当前行驶状态可以是通过自车状态存储模块获取,示例性的,自车状态存储模块可以基于车辆的传感器实时获取车辆的速度信息和转向信息。车辆当前行驶状态可以属于至少两种行驶状态,也就是说,车辆获取的车辆当前行驶状态包含的信息与目标检测模型输出的至少两种行驶状态包含的信息是相同的。当前行驶状态可以包括速度信息以及转向信息。基于车辆的当前行驶状态,可以从至少两种行驶状态对应的检测结果中确定出与当前行驶状态对应的目标检测结果,示例性的,可以是将当前行驶状态与至少两种行驶状态相匹配,将与当前行驶状态匹配一致的行驶状态对应的检测结果确定为目标检测结果。目标检测结果包含目标类别信息、目标位置信息以及目标注意力分数信息,其中,目标类别信息表征待检测目标对应的真实类别,目标位置信息表征待检测目标对应的实际位置信息,如:待检测目标相对于车辆的朝向(与车辆同向、与车辆反向),待检测目标位于车辆的前方、后方、侧方、侧前方,待检测目标相对于车辆行驶的车道的位置(位于同车道、旁边车道、对向车道)等。目标注意力分数信息用于表征所述待检测目标在当前行驶状态下的关注度等级。在确定了目标检测结果后,目标检测结果可以为用户执行后续操作提供辅助判断,其中,目标注意力分数信息用于进行驾驶操作判断。示例性的,在自动驾驶场景下,目标注意力分数信息可用于供车辆中的决策规划系统进行驾驶操作判断;在非自动驾驶场景下,目标注意力分数信息可以供用户根据待检测目标的关注度等级,重点关注关注度等级高的待检测目标,并基于关注度等级高的待检测目标,为用户优先采取相应的行动,如避让障碍物、减速、超车等提供参考。其中,用户可以是车辆驾驶员。
综上,本发明实施例中,通过获取待检测数据集;待检测数据集中包括待检测目标;基于目标检测模型以及待检测数据集,获取目标检测模型输出的至少两种行驶状态对应的检测结果;目标检测模型是基于待训练样本集对待训练检测模型进行训练得到的,检测结果包括待检测目标对应的注意力分数信息;基于车辆的当前行驶状态,从至少两种行驶状态对应的检测结果中确定与当前行驶状态相匹配的目标注意力分数信息;目标注意力分数信息用于表征待检测目标的关注度等级,目标注意力分数信息用于供用户基于目标注意力分数信息表征的待检测目标的关注度等级进行驾驶操作判断。这样,基于目标检测模型以及待检测数据集,获取目标检测模型输出的至少两种行驶状态对应的检测结果,进而基于车辆当前行驶状态,从至少两种行驶状态对应的检测结果中能够确定出与当前行驶状态对应的目标注意力分数信息。由于目标检测结果中的目标注意力分数信息表征待检测目标的关注度等级,因此,通过确定目标注意力分数信息,在丰富了对待检测目标进行检测的检测维度的同时,提高了对关键待检测目标的检测能力,便于用户根据待检测目标的关注度等级优先关注关键待检测目标,进行后续驾驶操作判断,一定程度上提高了后续驾驶操作判断的准确度,确保了驾驶安全。
可选地,步骤102可以包括以下步骤:
步骤201、将所述待检测数据集作为所述目标检测模型的输入,获取所述目标检测模型输出的类别信息、位置信息以及所述至少两种行驶状态对应的注意力分数信息。
本发明实施例中,将待检测数据集输入目标检测模型,可以通过车辆的检测结果输出模块获取目标检测模型输出的类别信息,位置信息以及至少两种行驶状态对应的注意力分数信息。示例性的,在存在9种行驶状态的情况下,目标检测模型会输出类别信息,位置信息以及9种行驶状态分别对应的注意力分数信息。
步骤202、基于所述类别信息、所述位置信息以及所述至少两种行驶状态对应的注意力分数信息,确定所述至少两种行驶状态对应的检测结果。
本发明实施例中,基于类别信息、位置信息以及至少两种行驶状态对应的注意力分数信息的组合,确定至少两种行驶状态对应的检测结果。示例性的,可以针对任一行驶状态对应的注意力分数信息,将该注意力分数信息以及类别信息、位置信息进行组合得到该行驶状态对应的检测结果。这样,可以基于目标检测模型输出的内容进行归纳,得到至少两种行驶状态对应的检测结果,同时便于后续基于当前行驶状态确定目标检测结果。
可选地,在存在多个待检测目标的情况下,步骤201可以包括以下步骤:
步骤301、将所述待检测数据集作为所述目标检测模型的输入,获取所述目标检测模型中的分类层输出的各所述待检测目标的类别信息。
本发明实施例中,在待检测数据集中存在多个待检测目标的情况下,将待检测数据集输入目标检测模型,获取目标检测模型中的分类层输出的各待检测目标的类别信息,分类层可以是具有分类功能的神经网络,本发明实施例对此不做限制。分类层可以预测待检测目标的实际类别类型为多个预设类别类型的概率值,某预设类别类型的概率值越大,表征待检测目标的实际类别类型为该预设类别类型的可能性更大,相应的,某预设类别类型的概率值越小,表征待检测目标的实际类别类型为该预设类别类型的可能性更小。示例性的,在待检测数据集中包含个待检测目标,且预设类别类型的数量为/>个的情况下,车辆的检测结果输出模块可以读取目标检测模型中分类层的输出结果,输出结果可以是,其中,第i行代表第i个待检测目标分别属于/>种预设类别类型的概率值,取概率最大的预设类别类型为该待检测目标的实际类别类型,可以记为/>。
步骤302、获取所述目标检测模型中的边框预测层输出的各所述待检测目标的位置信息,以及获取所述目标检测模型中的注意力分数预测层针对各所述待检测目标输出的至少两种注意力分数信息;所述至少两种注意力分数信息与所述至少两种行驶状态相对应。
本发明实施例中,可以通过车辆的检测结果输出模块获取目标检测模型中边框预测层输出的各待检测目标的位置信息。边框预测层可以是具有划分边界、定位坐标以及判断朝向的神经网络层,本发明实施例对此不做限制。示例性的,车辆的检测结果输出模块读取目标检测模型中的边框预测层的输出结果:,其中,第i行代表第i个待检测目标的三维坐标位置、尺寸、朝向信息,记为:/>。其中,/>表示待检测目标的三维坐标位置,/>表示待检测目标的长宽高尺寸,/>表示待检测目标的朝向。可以通过车辆的检测结果输出模块获取目标检测模型中注意力分数预测层针对各待检测目标输出的至少两种注意力分数信息,至少两种注意力分数信息与至少两种行驶状态相对应。注意力分数预测层可以是包含注意力分数预测分支的神经网络框架,本发明实施例对此不做限制。示例性的,假设车辆的行驶状态包括9种,分别以[0000]、[0010]、[0001]、[1000]、[1010]、[1001]、[0100]、[0110]、[0101]作为行驶状态标识代表不同行驶状态,其中,前两位可以代表车辆的行驶速度状态,如:00代表匀速、01代表减速、10代表加速;后两位可以代表车辆的转向状态,如:00代表直行、10代表向左转向、01代表向右转向,将前两位数字代表的行驶速度状态以及后两位数字代表的转向状态进行组合即可得到车辆的行驶状态。则通过车辆的检测结果输出模块读取目标检测模型中注意力分数预测层的输出结果:/>,第i行代表第i个待检测目标在行驶状态对应的行驶状态标识为[0000]、[0010]、[0001]、[1000]、[1010]、[1001]、[0100]、[0110]、[0101]的情况下所对应的9个注意力分数,分别记为:/>。
本发明实施例中,通过目标检测模型中不同层输出的信息,可以分别获取待检测目标的类别信息、位置信息以及至少两种行驶状态对应的至少两种注意力分数信息,丰富了检测结果的获取维度。并且在存在多个待检测目标的情况下,可以一次性得到各待检测目标对应的类别信息、位置信息以及至少两种行驶状态对应的至少两种注意力分数信息,提高了多个待检测目标对应的检测结果的获取效率。
可选地,步骤301可以包括以下步骤:
步骤3011、针对任一所述待检测目标,获取所述目标检测模型中的分类层输出的多个分类结果以及所述多个分类结果对应的概率值。
本发明实施例中,在将待检测数据集输入目标检测模型后,针对多个待检测目标中的任一待检测目标,目标检测模型的分类层可以对待检测目标针对n个预设类别类型分别进行预测,即分类层会输出多个分类结果以及与各个分类结果对应的概率值,分类结果的数量与预设类别类型的数量相同。分类结果对应的概率值用于表征该待检测目标属于该分类结果的概率,概率值越大表征该分类结果越接近待检测目标的真实类别。示例性的,分类层输出的内容可以是:汽车-98%、公交车-70%、卡车-50%、行人-10%等等,则表征待检测目标为汽车的可能性最大,待检测的真实类别最有可能是汽车。
步骤3012、将所述概率值最大的分类结果确定为所述待检测目标的类别信息。
本发明实施例中,将概率值最大的分类结果确定为待检测目标的类别信息,由于分类结果对应的概率值表征该待检测目标属于该分类结果的概率,因此选择概率值最大的分类结果作为待检测目标的类别信息有利于提高待检测目标的类别识别准确率。
可选地,步骤202可以包括以下步骤:
步骤2021、针对任一所述待检测目标,将所述待检测目标对应的类别信息、所述待检测目标对应的位置信息以及所述待检测目标对应的至少两种注意力分数信息,确定为与所述待检测目标相对应的至少两种行驶状态对应的检测结果。
本发明实施例中,针对任一待检测目标,检测结果输出模块可以获取该待检测目标对应的类别信息、位置信息以及至少两种注意力分数信息,并将类别信息、位置信息以及至少两种注意力分数信息进行整合,确定为与该待检测目标对应的至少两种检测结果。至少两种检测结果与至少两种行驶状态相对应。可以基于注意力分数信息对应的行驶状态,确定与该行驶状态对应的注意力分数信息、类别信息以及位置信息,得到该行驶状态对应的检测结果。示例性的,若一待检测目标的类别信息为汽车、位置信息为,9种行驶状态[0000]、[0010]、[0001]、[1000]、[1010]、[1001]、[0100]、[0110]、[0101]对应的9种注意力分数分别为:。则对于[0000]行驶状态标识对应的行驶状态而言,其检测结果可以表示为/>。
可选地,本发明实施例还可以包括以下步骤:
步骤401、针对所述至少两种行驶状态中的任一行驶状态,将所述行驶状态对应的行驶状态信息作为键名以及将所述行驶状态对应的检测结果作为键值,对应存储至存储单元。
本发明实施例中,针对至少两种行驶状态中的任一行驶状态,将该行驶状态对应的行驶状态信息与该行驶状态对应的检测结果对应存储至车辆的存储单元中。可以以键值对的形式进行存储,具体的,可以将该行驶状态对应的行驶状态信息存储为键名,并将该行驶状态对一个的检测结果作为键值,对应存储至车辆的存储单元。这样,将至少两个行驶状态对应的检测结果均以键值对的形式存储至存储单元,便于后续根据当前行驶状态确定目标检测结果,提高了目标检测结果的获取效率。
可选地,步骤103可以包括以下步骤:
步骤1031、获取所述车辆的当前行驶状态。
本发明实施例中,获取车辆的当前行驶状态,示例性的,可以通过接收传感器数据获取车辆当前行驶状态。
步骤1032、将所述存储单元中与所述当前行驶状态对应的行驶状态信息相匹配的键名对应的键值确定为目标检测结果,并将所述目标检测结果中的注意力分数信息确定为所述目标注意力分数信息。
本发明实施例中,将存储单元中存储的多个键名与当前行驶状态对应的当前行驶状态信息进行匹配,在匹配一致的情况,即当前行驶状态信息与存储的行驶状态信息相同的情况下,将匹配一致的键名对应的键值,即检测结果确定为目标检测结果。进而可以将目标检测结果中的类别信息确定为目标类别信息,将目标检测结果中的位置信息确定为目标位置信息,将目标检测结果中的注意力分数信息确定为目标注意力分数信息。也就是说,基于当前行驶状态可以将与当前行驶状态匹配的键名对应的键名确定为与当前行驶状态对应的目标检测结果。这样,通过将至少两种行驶状态以及其对应的至少两种检测结果对应存储至存储单元,可以便于后续基于当前行驶状态确定目标检测结果,一定程度上提高了目标检测结果的确定效率。
如图2所示,图2示出了一种目标检测模型的训练方法,本发明实施例可以包括以下步骤:
步骤501、获取待训练样本集;所述待训练样本集包括多个样本点云数据。
本发明实施例中,待训练样本集中可以包括多个样本点云数据,样本点云数据可以是预先通过安装有激光雷达的车辆在不同行驶场景下采集的点云数据。获取用于训练的多个样本点云数据,并对该多个样本点云数据进行数据标注。样本点云数据用于训练待训练检测模型的分类能力、预测能力以及感知能力,样本点云数据的数量越多,待训练检测模型的性能越优秀。
步骤502、针对所述多个样本点云数据中的任一样本点云数据,将所述样本点云数据作为待训练检测模型的输入,获取所述待训练检测模型输出的多个预测物体对应的预测结果;所述预测结果中包括注意力分数预测结果。
本发明实施例中,针对多个样本点云数据中的任一样本点云数据,将样本点云数据输入待训练检测模型,得到待训练检测模型输出的预测结果。该预测结果可以包括各预测物体对应的分类预测结果、位置预测结果以及至少两种行驶状态对应的注意力分数预测结果。
步骤503、基于所述预测结果,对所述待训练检测模型进行参数调整,并确定目标检测模型。
本发明实施例中,待训练检测模型可以包括多个网络层,可以为待训练检测模型构建第一训练任务,第一训练任务用于识别样本点云数据中预测物体的类别、位置以及注意力分数。基于第一训练任务以及待训练样本集,对待训练检测模型进行训练,将训练完成的待训练检测模型确定为目标检测模型。具体的,可以是基于待训练模型输出的多个预测物体对应的预测结果以及多个预测物体对应的标注标签,对待训练模型的参数进行调整,得到目标检测模型。将基于上述步骤训练得到的目标检测模型部署于目标检测系统,该目标检测系统可以执行上述实施例中的目标检测方法。
本发明实施例中,通过获取待训练样本集;待训练样本集包括多个样本点云数据;针对多个样本点云数据中的任一样本点云数据,将样本点云数据作为待训练检测模型的输入,获取待训练检测模型输出的所述多个预测物体对应的预测结果;预测结果中包括注意力分数预测结果;基于预测结果,对待训练检测模型进行参数调整,并确定目标检测模型。这样,可以使得基于待训练样本集训练得到的目标检测模型,能够针对不同类型的预测物体进行更加准确的识别判断,提高了目标检测模型的识别准确性以及检测能力,同时,基于目标检测模型输出的目标注意力分数信息进行后续驾驶操作判断,一定程度上提高了后续驾驶操作判断的准确度,确保了驾驶安全。
可选地,所述样本点云数据中包含多个预测物体。其中,样本点云数据中包含的预测物体的种类越多,待训练检测模型的训练样本越丰富,进而待训练检测模型的识别检测能力越好。
相应的,步骤502可以包括以下步骤:
步骤601、基于各所述预测物体对应的预测结果以及各所述预测物体对应的标注标签,对所述待训练检测模型进行参数调整;所述标注标签用于表征所述样本点云数据中所述预测物体对应的真实类别信息、真实位置信息以及至少两种行驶状态对应的真实注意力分数信息。
本发明实施例中,针对多个预测物体中的任一预测物体,获取该预测物体对应的标注标签,标注标签是基于对样本点云数据预先进行数据标注得到的,基于该预测物体对应的预测结果以及该预测物体对应的标注标签,对待训练检测模型进行参数调整,通过不断调整待训练检测模型的参数,使得待训练检测模型输出的分类结果与该预测物体对应的标注标签的相似度大于预设相似度阈值。示例性的,可以使用随机梯度下降(SGD)、批量梯度下降(BGD)等优化算法来调整待训练分类网络的参数。
步骤602、在达到停止条件的情况下,将所述待训练检测模型确定为所述目标检测模型。
本发明实施例中,停止条件可以包括待训练检测模型的损失值达到预设阈值、待训练检测模型的训练轮数达到预设轮数阈值等条件。
本发明实施例中,通过对待训练检测模型进行训练,可以使得待训练检测模型在训练过程中学习到通用的识别判断能力,以更好的对车辆附近的目标进行自动且快速的识别判断。并且基于至少两种行驶状态对应的真实注意力分数信息进行参数调整,使得待训练检测模型获取提取通道注意力和空间注意力,进而提高对关键目标检测的准确率,同时进一步提升了目标检测模型在的检测精度和鲁棒性。同时,在丰富了目标检测模型的检测维度的同时,提高了目标检测模型对关键待检测目标的检测能力,以便于用户优先关注关键目标。
可选地,本发明实施例还可以包括以下步骤:
步骤701、针对所述多个样本点云数据中的任一样本点云数据中的任一标注物体,基于标注软件,获取所述标注物体的坐标信息、尺寸信息以及朝向信息,作为所述标注物体的真实位置信息。
步骤702、获取所述标注物体对应的真实分类信息,以及,获取所述标注物体对应的所述至少两种行驶状态对应的真实注意力分数信息;所述真实分类信息以及所述至少两种行驶状态对应的真实注意力分数信息是基于人工标注确定的。
本发明实施例中,针对任一样本点云数据,可以通过标注人员人工识别出样本点云数据中的标注物体,其中,识别依据可以是在样本点云数据所表征的道路场景下,可能会对行驶状态产生影响的物体。标注物体可以包括预先定义的预设类别类型对应的物体,如行人、自行车、摩托车、汽车、公交车等。并基于标注软件,获取标注物体的坐标信息、尺寸信息以及朝向信息,作为标注物体的真实位置信息。真实位置信息可以表征标注物体对应的真实位置信息,如:标注物体相对于车辆的朝向(与车辆同向、与车辆反向),标注物体位于车辆的前方、后方、侧方、侧前方,标注物体相对于车辆行驶的车道的位置(位于同车道、旁边车道、对向车道)等。示例性的,标注软件通过为标注物体绘制最小边界框,会自动给出标注物体的坐标信息、尺寸信息,标注软件可以基于标注人员在标注物体上绘制的物体朝向箭头,自动识别出标注物体的朝向角度数值。标注物体对应的真实分类信息以及标注物体对应的至少两种行驶状态对应的真实注意力分数信息,可以是标注人员通过判断标注物体的预设类别类型,确定标注物体对应的真实分类信息。
可选地,步骤702可以包括以下步骤:
步骤702a、针对任一行驶状态,基于所述标注物体的真实位置信息、所述标注物体的真实分类信息以及所述行驶状态中包含的转向状态和行驶速度状态,为所述标注物体标注对应的真实注意力分数信息。
本发明实施例中,针对任一行驶状态,基于预先定义注意力分数的评分标准,结合标注物体的真实位置信息、真实分类信息以及该行驶状态中包含的转向状态和行驶速度状态,确定该行驶状态下标注物体对应的真实注意力分数信息。示例性的,在标注过程中,根据人类的驾驶习惯判断,针对匀速直行的行驶状态,重点关注的是前方的车辆、行人,普通关注的是旁边车道的车辆、行人,可忽略的包括对向车道的车辆以及人行道上的与自车行驶方向同向的行人。也就是说,当标注物体的真实分类信息为行人,真实位置信息表征该行人的位于车辆前方,车辆行驶状态为匀速直行,则标注该标注物体的真实注意力分数信息为重点关注(例如标记为2)。这样,通过基于真实位置信息、真实分类信息以及行驶状态进行真实注意力分数信息,使得真实注意力分数信息更符合人类驾驶感知习惯,可以一定程度上提升了真实注意力分数信息的标签的可靠性和参考性。
步骤703、将所述真实位置信息、所述真实分类信息以及所述至少两种行驶状态对应的真实注意力分数信息确定为所述标注物体对应的标注标签。
本发明实施例中,将真实位置信息、真实分类信息以及至少两种行驶状态对应的真实注意力分数信息作为真实标注结果,确定为标注物体对应的标注标签。
本发明实施例中,通过标注软件自动确定标注物体的真实位置信息,一定程度上提高了标注物体的标注效率,并且,通过人工识别标注物体以及判断标注物体对应的真实分类信息以及至少两种行驶状态对应的真实注意力分数信息,基于人工标注的标注标签对待训练检测模型进行参数调整时,由于真实标注的标注标签更具参考性,则一定程度上提高了待训练检测模型的识别检测能力。
示例性的,图3示出了一种对标注物体进行标注的步骤流程图,如图3所示,(1)面向目标检测系统覆盖的道路场景和具体应用需要,定义待检物体(标注物体)的目标类型,构成集合,其中/>代表具体类型,如行人、自行车、摩托车、小汽车、公交车等,/>代表目标类型总数,并定义待检物体(标注物体)的注意力评分标准,如:2-重点关注目标,1-普通关注目标,0-可忽略目标。(2)从数据集中的多个样本点云数据抽取一帧样本点云数据,对其中所有待检物体(标注物体)的三维边界框进行标注,构成目标物体集合,其中/>代表具体的标注物体,/>代表当前样本点云数据中包含的目标物体总数,针对单个/>目标物体,标注/>,包括类别信息,坐标位置,尺寸和朝向四个方面的信息。(3)基于当前样本点云数据所表征的道路条件,确定自车可能的行车状态,确定当前样本点云数据对应的行驶状态,并形成行驶状态集合/>。(4)初始化当前样本点云数据中目标物体(标注物体)计数器/>,并初始化当前帧样本点云数据的自车状态(行驶状态)计数器/>。(5)选择一种自车状态(行驶状态)/>(6)根据/>中的状态优先级信息判断是否为禁止状态,若是,则将该行驶状态对应的真实注意力分数信息/>赋值为-1,同时更新自车状态(行驶状态)计数器/>,并返回步骤(5),若否,则继续。(7)对于第/>个目标物体和第/>种自车状态(行驶状态),按照预设的注意力评分标准确定对应的注意力分数/>,更新目标物体(标注物体)计数器/>。(8)重复步骤(7),直到目标物体(标注物体)计数器/>。(9)重复步骤(5)-(8),直到自车状态(行驶状态)计数器/>。(10)按照公式构建键值对(键:自车状态(行驶状态),值:目标物体(标注物体)的9个属性参数:真实类别信息、真实位置信息以及真实注意力分数信息),按照字典格式存储当前帧样本点云数据的目标检测标注结果。(11)重复步骤(2)-(10),直到对待训练样本集中包含的所有样本点云数据完成数据标注。
可选地,所述待训练检测模型包括感知层、抽象层、分类层、边框预测层以及注意力分数预测层。其中,感知层用于获取样本点云数据对应的二维特征图,抽象层用于获取包含高级语义信息的特征图,分类层用于识别预测物体的类别信息,边框预测层用于确定预测物体的坐标位置、尺寸以及朝向,注意力分数预测层用于判断预测物体对应的注意力分数。
相应的,步骤502可以包括以下步骤:
步骤5021、将所述样本点云数据作为所述待训练检测模型的输入,获取所述感知层输出的二维图像。
本发明实施例中,感知层可以是由主流神经网络块如:ResNet、MLP、Attention等通过连接以及变形构成的感知层。通过感知层对样本点云数据进行处理,可以将原始3D样本点云数据转换为2D特征图/>,若使用/>代表感知层包含的函数转换关系,/>为函数中包含的参数,则/>。
步骤5022、基于所述抽象层,获取所述二维图像对应的特征图。
本发明实施例中,将感知层输出的二维图像输入抽象层,可以通过抽象层对感知层输出的二维图像进行逐级特征提取、抽象,获得包含高级语义信息的特征图,若使用/>代表抽象层包含的函数转换关系,/>为函数中包含的参数,则/>。
步骤5023、基于所述分类层、所述边框预测层以及所述注意力分数预测层,分别获取所述特征图中多个预测物体对应的分类预测结果、位置预测结果以及所述至少两种行驶状态对应的注意力分数预测结果。
本发明实施例中,将抽象层输出的特征图分别输入分类层、边框预测层以及注意力分数预测层,针对样本点云数据中的多个预测物体,可以分别得到分类层输出的样本点云数据中多个预测物体对应的分类预测结果、边框预测层输出的样本点云数据中多个预测物体对应的位置预测结果/>以及注意力分数预测层输出的样本点云数据中多个预测物体对应的至少两种行驶状态对应的注意力分数预测结果/>。使用/>、/>、/>代表分类层、边框预测层以及注意力分数预测层包含的函数转换关系,/>、/>、/>对应上述三个函数中包含的参数,则/>;/>;/>。示例性的,位置预测结果可以是通过边框预测层先确定预测物体的预测边界框,再基于预测边界框对预测物体的坐标位置、尺寸以及朝向进行识别预测,得到位置预测结果。
步骤5024、将所述分类预测结果、所述位置预测结果以及所述至少两种行驶状态对应的注意力分数预测结果,确定为所述多个预测物体对应的预测结果。
本发明实施例中,将分类层输出的针对各预测物体的分类预测结果、边框预测层输出的针对各预测物体的位置预测结果/>以及注意力分数预测层输出的针对各预测物体的至少两种行驶状态对应的注意力分数预测结果/>,为多个预测物体确定对应的预测结果。
本发明实施例中,通过获取样本点云数据对应的特征图,能够滤除图像背景等干扰信息。并基于特征图获取分类预测结果、位置预测结果以及至少两种行驶状态对应的注意力分数预测结果,能够结合样本点云数据中的预测物体的实际特征,获取对应的预测结果,提高了待训练检测模型的提取通道注意力和空间注意力,一定程度上提高了模型训练的准确度。
可选地,所述感知层包含鸟瞰视觉算法,所述感知层用于基于所述鸟瞰视觉算法获取所述样本点云数据对应的俯视图,并确定所述俯视图中预设数目个网格空间的特征,得到所述样本点云数据对应的二维图像。
本发明实施例中,在感知层中可以设置一个 BEV(Birds Eye View,鸟瞰视觉算法),基于鸟瞰视觉算法视角下的网格划分、网格内部特征提取操作,再连接抽象层进行特征的逐级抽象提取。获取样本点云数据对应的俯视图,定义俯视图中有效数据点范围,并删除样本点云数据中该有效数据点范围外的点。定义俯视图下的网格分辨率,并基于网格分辨率将俯视图划分为预设数目个网格空间,提取各网格空间对应的特征,再将各网格空间对应的特征进行拼接,获取该样本点云数据对应的二维图像。示例性的,可以先定义点云俯视图下的有效数据点范围:,删除样本点云数据中该有效数据点范围外的点;定义点云俯视图下的网格分辨率,如:/>,在有效数据点的坐标范围内按照上述分辨率将点云俯视图均匀划分为H*W个网格空间;计算每个网格空间内的所有点坐标的平均值或最大值,记为该网格空间的特征,获得二维特征图:[H,W,3]。这样,通过感知层中的鸟瞰视觉算法,可以先将样本点云数据划分为预设数目个网格空间,再基于各网格空间的特征获取样本点云数据对应的二维图像,可以提取到每个网格空间内部的特征,一定程度上使得样本点云数据对应的二维图像的特征提取精度更高。
可选地,所述注意力分数预测层包括多个卷积层,所述多个卷积层以预设连接方式相互连接,所述预设连接方式包括串联连接、跨层连接以及并联连接。
本发明实施例中,注意力分数预测层中可以包括多个卷积层,卷积层可以是各卷积层之间可以是以串联方式、并联方式或跨层传输连接方式进行连接的。例如:在卷积层为线性层MLP的情况下,可以串联多层线性层MLP构建注意力分数预测层。这样,通过引入注意力机制可以增强待训练检测模型对样本点云数据中重要信息的关注,从而改善待训练检测模型在复杂样本点云数据上的表现。并且,通过跨层连接各卷积层,通过拼接操作将各卷积层提取到的特征融合到一起,增加信息传递和梯度流动的路径,提高待训练检测模型的训练效果,进而提升目标检测模型的性能。
可选地,各所述预测物体对应的分类预测结果中包含多个分类预测子结果以及与各所述分类预测子结果对应的置信度。
本发明实施例中,为待训练预测模型预先定义多个预设类别类型,则针对任一预测物体,待训练检测模型中的分类层会输出多个分类预测子结果以及与各分类预测子结果对应的置信度,分类预测子结果与预设类别类型一一对应,分类预测子结果对应的置信度用于表征该预测物体属于该分类预测资结果对应的预设类别类型的置信度。可以理解的是,置信度用于表征该分类预测结果的真实性,置信度也可以以概率值表示。
本发明实施例还可以包括以下步骤:
步骤801、将满足预设筛选条件的预测物体确定为目标预测物体;所述预设筛选条件为所述预测物体对应的各所述分类预测子结果对应的置信度中最大置信度大于预设置信度阈值。
本发明实施例中,将感知层输出的二维图像输入抽象层后,抽象层会输出与该二维图像对应的特征图,进而分类层、边框预测层以及注意力分数预测层共享抽象层输出的特征图,这样,在分类层、边框预测层以及注意力分数预测层对特征图进行特征提取的情况下,分类层、边框预测层以及注意力分数预测层可以输出的是以每个网格空间为中心预测得到的预设数目个预测物体对应的预测结果,即分类层、边框预测层以及注意力分数预测层是对特征图中预设数目个网格空间对应的区域再次进行特征提取并预测。示例性的,假设抽象层输出的数据格式为,则分类层的输出数据格式:/>,/>,/>为物体类别总数;边框预测层的输出数据格式:/>,/>,7为预测物体的边界框信息的维度,包含预测物体的坐标位置、尺寸以及朝向(x,y,z,l,w,h,rz);注意力分数预测层的输出数据格式:/>,其中,/>,即对俯视图划分得到的网格空间数量,9为车辆的行驶状态的数量。
由于分类层、边框预测层以及注意力分数预测层输出的内容为:预设数目个预测物体对应的预测结果,在实际应用场景中,预设数目一般可以是几万个预测物体,分类层输出的是预设数目个预测物体的分类预测结果以及各分类预测结果对应的置信度,因此,为了简化后续训练过程使用的数据体量且避免数据冗杂,同时确保待训练检测模型的预测精度,可以针对任一预测物体,确定该预测物体对应的各分类预测子结果对应的置信度中的最大置信度。基于各预测物体对应的分类预测子结果对应的最大置信度,对于预设数目个预测物体进行排序、筛选,去除最大置信度低的预测物体,保留最大置信度大于预设置信度阈值的预测物体。其中,预设置信度阈值可以根据需求自行设定,本发明实施例对此不做限制。可以理解的是,在训练过程中,可能会出现某个样本点云数据中分类子预测结果对应的最大置信度大于预设置信度阈值的预测物体数目过少,因此为了提高样本点云数据的利用率,可以基于各预测物体的分类子预测结果对应的最大置信度的大小关系,确定最大置信度最大的n个预测物体,作为目标预测物体。
相应的,步骤601可以包括以下步骤:
步骤802、针对任一所述目标预测物体,基于所述目标预测物体的预测结果以及所述目标预测物体对应的标注标签,对所述待训练检测模型进行参数调整。
本发明实施例中,针对步骤701确定出的目标预测物体,基于目标预测物体的预测结果以及目标预测物体对应的标注标签,对待训练检测模型进行参数调整。
可选地,本发明实施例还可以包括以下步骤:
步骤901、获取多个标注物体对应的多个标注标签;所述多个标注物体是基于所述样本点云数据预先确定的。
本发明实施例中,预先对样本点云数据进行数据标注,确定多个标注物体以及各标注物体对应的标注标签。其中,标注物体为预先在样本点云数据中确定出的实际检测目标,即样本点云数据中的标注物体为在实际应用场景中可能对用户进行操作判断产生影响的物体,标注标签中包含标注物体的真实类别信息、真实位置信息以及真实注意力分数信息。
步骤902、基于所述目标预测物体对应的位置预测结果以及所述多个标注标签中的多个真实位置信息,确定所述位置预测结果以及各所述真实位置信息的匹配度。
本发明实施例中,针对任一目标预测物体,基于目标预测物体对应的位置预测结果以及多个标注标签中的多个真实位置信息,计算位置预测结果与真实位置信息的匹配度。其中,匹配度可以通过获取位置预测结果对应的预测边界框以及真实位置信息对应的真实边界框确定,通过计算预测边界框与样本点云数据中每个真实边界框进行交并比计算,获取预测边界框与各真实边界框的交并比值,交并比值用于表征预测边界框与真实边界框的匹配度,交并比越大,表征匹配度越高,即目标预测物体与标注物体的重合程度越高。示例性的,以表示预测边界框与真实边界框相交的体积,V1和V2分别代表预测边界框与真实边界框的体积,则交并比的求解方式为:/>。定义匹配函数Ψ,则/>。
步骤903、将最高匹配度对应的标注标签确定为所述目标预测物体对应的标注标签。
本发明实施例中,匹配度越高,目标预测物体与标注物体的重合程度越高,说明利用最高匹配度对应的标注标签以及目标预测物体的预测结果进行参数调整的可参考性越高,当目标预测物体的预测结果与最高匹配度对应的标注标签的差距越小时,说明待训练检测模型的性能越好。将最高匹配度对应的真实位置信息所对应的标注标签作为目标预测物体的标注标签,相应的,将最高匹配度对应的标注标签所对应的标注物体即可视为目标预测物体。示例性的,使用使用表示标注物体最高匹配度对应的标注标签中的真实分类信息,集合/>表示标注物体最高匹配度对应的标注标签中的真实位置信息,集合/>表示标注物体最高匹配度对应的标注标签中的真实注意力分数信息,则任一目标预测物体的标注标签/>具体可以表示为:/>。
本发明实施例中,通过位置预测结果以及各标注物体的真实位置信息的匹配度,可以确定出目标预测物体对应的标注标签,以使得待训练检测模型学习到更真实的识别判断能力。
可选地,步骤802可以包括以下步骤:
步骤1001、基于所述目标预测物体的分类预测结果以及所述目标预测物体对应的真实分类信息,获取第一损失值。
本发明实施例中,针对任一目标预测物体,可以基于目标预测物体的分类预测结果以及对应的真实分类信息,使用第一损失函数获取第一损失值,第一损失值用于表征待训练检测模型预测出的目标预测物体的分类预测结果与目标预测物体的真实分类信息的差距。根据待训练检测模型的架构,待训练检测模型中的分类层输出的分类预测结果中包含多个分类预测子结果以及各分类预测子结果对应的置信度,因此,在基于目标预测物体的分类预测结果以及目标预测物体对应的真实分类信息进行损失值计算的过程中,应将真实分类信息扩充为与多个分类预测子结果的数目一致的多个真实分类结果,使得分类预测结果中包含的结果数量与真实分类信息中包含的结果数量相同,便于确定第一损失值。例如:目标预测物体的分类预测结果为:汽车-98%、公交车-70%、卡车-50%、行人-10%,其中,汽车、公交车、卡车以及行人为分类预测子结果,后面的数字为其对应的置信度。则在目标预测物体的真实分类信息为汽车的情况下,则扩充后的真实分类信息可以是:汽车-100%、公交车-0%、卡车-0%、行人-0%。示例性的,可以使用表征分类预测结果,/>表征真实分类信息,则第一损失值/>可以表示为/>。
步骤1002、基于所述目标预测物体的位置预测结果以及所述目标预测物体对应的真实位置信息,获取第二损失值。
本发明实施例中,基于目标预测物体的位置预测结果以及目标预测问题的真实位置信息,使用第二损失函数获取第二损失值。其中,第二损失值用于表征待训练检测模型预测出的目标预测物体的位置预测结果与目标预测物体的真实位置信息的差距。示例性的,可以使用表征位置预测结果,/>表征真实位置信息,则第二损失值/>可以表示为/>。
步骤1003、基于与所述目标预测物体相对应的至少两种行驶状态对应的注意力分数预测结果、与所述目标预测物体相对应的至少两种行驶状态对应的真实注意力分数信息以及所述至少两种行驶状态对应的权重值,获取第三损失值。
本发明实施例中,在模型训练过程中,不同行驶状态可以对应不同的权重值,行驶状态的权重值可以通过行驶状态优先级进行判断,一种行驶状态对应唯一行驶状态优先级且对应唯一权重值。在模型训练过程中,可以为每个行驶状态均定义一个对应的行驶状态优先级,行驶状态优先级可以表征在样本点云数据所表征的行驶环境下,车辆的处于该行驶状态的可能性。示例性的,可以将行驶状态优先级定义为首选、可能、禁止,即“首选”表征车辆最可能处于该行驶状态,“可能”表征车辆可能处于该行驶状态,“禁止”表征车辆不可能处于该行驶状态。例如:将行驶状态为:匀速直行对应的行驶状态优先级确定为“首选”,即表明车辆最有可能匀速直行;将行驶状态为:减速左转对应的行驶状态优先级确定为“禁止”,即表明车辆不可能减速左转。
在基于至少两种行驶状态对应的注意力分数预测结果以及至少两种行驶状态对应的真实注意力分数信息,计算损失值的情况下,引入至少两种行驶状态对应的权重值。根据不同行驶状态对应的行驶状态优先级分配对应的权重值,示例性的,可以将行驶状态优先级为“首选”的行驶状态对应的权重值设置为0.7,将行驶状态优先级为“可能”的行驶状态对应的权重值设置为0.3,将行驶状态优先级为“禁止”的行驶状态对应的权重值设置为0.1,本发明实施例对权重值的设定不做限制。这样,针对任一目标预测物体,基于对应的至少两种行驶状态对应的注意力分数预测结果、至少两种行驶状态对应的真实注意力分数信息以及至少两种行驶状态对应的权重值,使用第三损失函数获取第三损失值。示例性的,可以使用表征目标预测物体对应的至少两种行驶状态对应的注意力分数预测结果,使用/>表征目标预测物体对应的至少两种行驶状态对应的真实注意力分数信息,则第三损失值/>可以为/>。进一步地,将/>定义为不同行驶状态与其对应的权重值的映射关系,则可以定义第三损失值为目标预测物体的注意力分数预测结果与真实注意力分数信息的平均绝对误差,在目标预测物体的数目为/>、行驶状态s包括9中行驶状态的情况下,第三损失值/>可以表示为:
步骤1004、基于所述第一损失值、所述第二损失值以及所述第三损失值,对所述待训练检测模型进行参数调整。
本发明实施例中,基于第一损失值第二损失值以及第三损失值,可以确定待训练检测模型的总损失值。根据总损失值调整待训练检测模型的模型参数,例如:学习率、正则化系数等,以优化模型性能。示例性的,可以使用θ表示待训练检测模型中包含的所有参数(包括感知层中的参数、抽象层中的参数/>以及分类层、边框预测层以及注意力分数预测层的参数/>),则/>代表本次训练使用的参数,/>可以代表下次训练使用的参数,/>为学习率数值,根据损失函数/>的梯度更新/>:/>。在调整完待训练检测模型的参数后,使用待训练样本集重新对待训练检测模型进行进一步训练,更新待训练检测模型的参数,直到待训练检测模型基于待训练样本集进行识别判断的性能达到满意的水平,或待训练检测模型的训练轮数达到预设轮数阈值。将最后一次训练使用的模型参数确定为最终的模型参数/>,结束模型训练。
本发明实施例中,通过获取第一损失值、第二损失值以及第三损失值,可以获取待训练检测模型预测出的预测结果与目标预测物体的标注标签的差距,便于根据差距调整待训练检测模型的参数。同时,通过对待训练检测模型的性能进行参数调整以及再训练,使得待训练检测模型输出的识别检测结果更加真实可靠,进一步提高了待训练检测模型的识别检测性能。
可选地,所述至少两种行驶状态对应的行驶状态信息包括状态优先级信息,不同状态优先级信息对应不同权重值。
本发明实施例中,行驶状态对应的行驶状态信息包括状态优先级信息,其中,状态优先级信息用于表征在样本点云数据所表征的行驶环境下,车辆的处于一种行驶状态的可能性,为不同的状态优先级信息匹配对应的权重值。
本发明实施例还可以包括以下步骤:
步骤1101、针对所述至少两种行驶状态中的任一行驶状态,确定所述行驶状态对应的行驶状态信息中的状态优先级信息,并获取所述状态优先级信息对应的权重值。
步骤1102、将所述权重值确定为所述行驶状态对应的权重值。
本发明实施例中,由于预先为不同状态优先级信息设定了对应的权重值,因此,针对任一行驶状态,均可以确定该行驶状态对应的唯一权重值。可以理解的是,相关过程与步骤903中的步骤类似,在此不做赘述。
本发明实施例中,通过设置状态优先级对应的权重值,可以便于在模型训练过程中对于状态优先级高的行驶状态对应的注意力分数进行更高的加权,使得待训练检测模型在最有可能的行驶状态下具有最好的识别检测表现,也使得训练得到的目标检测模型的检测结果更符合人类驾驶过程中对于环境的感知。
示例性的,图4示出了一种目标检测模型的训练方法的具体步骤流程图,如图4所示,待训练检测模型中包含Project_Net(感知层)、Abstract_Net(抽象层)、Class_Head(分类层)、Box_Head(边框预测层)以及 Attention_Score_Head(注意力分数预测层)。(1)从待训练的数据集中获取单帧样本点云数据记为,并初始化模型训练计数器/>。(2)通过Project_Net将原始3D点云数据/>转换为2D特征图/>,使用/>代表Project_Net包含的函数转换关系,/>为函数中包含的参数:/>。(3)通过 Class_Head、Box_Head 以及Attention_Score_Head 分别获得目标的类别预测结果、边界框预测结果(位置预测结果)以及注意力分数预测结果/>、/>、/>,分别使用/>、/>、/>代表 Class_Head、Box_Head以及 Attention_Score_Head 包含的函数转换关系,/>、/>、/>对应上述三个函数中包含的参数:/>;/>;/>。使用/>代表步骤(2)中各层输出的目标(预测物体)的数量。(4)根据各目标(预测物体)对应的各分类预测子结果对应的置信度中最大置信度,从/>个目标(预测物体)中确定出/>个预测目标(预测物体),并构建预测目标集合/>,其中每个目标/>的预测结果可以表示为:。(5)定义匹配函数/>,基于目标预测物体对应的位置预测结果以及多个标注标签中的多个真实位置信息,为/>中的每个元素/>分配匹配度最高的标注目标(标注物体),形成目标(预测物体)匹配的标注物体集合/>。(6)获取标注物体的标注标签/>(真实分类信息、真实位置信息以及至少两种行驶状态对应的真实注意力分数信息)。(7)求解损失函数/>:/>,其中,/>表征分类预测结果对应的第一损失值;/>表征位置预测结果对应的第二损失值;表征至少两种行驶状态对应的注意力分数预测结果对应的第三损失值。(8)根据损失函数/>的梯度更新网络参数/>:/>。其中,/>代表本次训练使用的参数,/>可以代表下次训练使用的参数。(9)更新模型训练计数器/>,重复步骤(1)-(8),直到达到预设数量的模型训练迭代次数,存储当前模型参数具体数值/>为/>,结束模型训练。
图5是本发明实施例提供的一种目标检测系统的示意图,目标检测系统中包括前述实施例的目标检测模型的训练方法训练得到的目标检测模型,以基于目标检测模型执行前述实施例的目标检测方法。如图5所示,目标检测系统可以部署在车辆,目标检测系统中可以包括传感器接入模块、目标检测模块、自车状态存储模块以及检测结果输出模块,其中传感器接入模块用于获取待检测数据集,并将待检测数据集发送至目标检测模块,目标检测模块部署有目标检测模型,目标检测模块获取目标检测模型,并基于待检测数据集以及目标检测模型,获取目标检测模型输出的至少两种行驶状态下的检测结果。并将该检测结果发送至检测输出模块,检测输出模块从自车状态存储模块中获取车辆当前行驶状态,并基于当前行驶状态从至少两种行驶状态对应的检测结果中确定与当前行驶状态对应的目标检测结果。
图6是本发明实施例提供的一种目标检测装置的结构图,该装置120可以包括:
第一获取模块1201,用于获取待检测数据集;所述待检测数据集中包括待检测目标;
第二获取模块1202,用于基于目标检测模型以及所述待检测数据集,获取所述目标检测模型输出的至少两种行驶状态对应的检测结果;所述目标检测模型是基于待训练样本集对待训练检测模型进行训练得到的,所述检测结果包括所述待检测目标对应的注意力分数信息;
第一确定模块1203,用于基于车辆的当前行驶状态,从所述至少两种行驶状态对应的检测结果中确定与所述当前行驶状态相匹配的目标注意力分数信息;所述目标注意力分数信息用于进行驾驶操作判断。
可选地,所述第二获取模块1202,可以包括:
第一获取子模块,用于将所述待检测数据集作为所述目标检测模型的输入,获取所述目标检测模型输出的类别信息、位置信息以及所述至少两种行驶状态对应的注意力分数信息;
第一确定子模块,用于基于所述类别信息、所述位置信息以及所述至少两种行驶状态对应的注意力分数信息,确定所述至少两种行驶状态对应的检测结果。
可选地,在存在多个待检测目标的情况下,所述第一获取子模块,包括:
第二获取子模块,用于将所述待检测数据集作为所述目标检测模型的输入,获取所述目标检测模型中的分类层输出的各所述待检测目标的类别信息;
第三获取子模块,用于获取所述目标检测模型中的边框预测层输出的各所述待检测目标的位置信息,以及获取所述目标检测模型中的注意力分数预测层针对各所述待检测目标输出的至少两种注意力分数信息;所述至少两种注意力分数信息与所述至少两种行驶状态相对应。
可选地,所述第二获取子模块,可以包括:
第四获取子模块,用于针对任一所述待检测目标,获取所述目标检测模型中的分类层输出的多个分类结果以及所述多个分类结果对应的概率值;
第二确定子模块,用于将所述概率值最大的分类结果确定为所述待检测目标的类别信息。
可选地,所述第一确定子模块,可以包括:
第三确定子模块,用于针对任一所述待检测目标,将所述待检测目标对应的类别信息、所述待检测目标对应的位置信息以及所述待检测目标对应的至少两种注意力分数信息,确定为与所述待检测目标相对应的至少两种行驶状态对应的检测结果。
可选地,该装置120还可以包括:
第一存储模块,用于针对所述至少两种行驶状态中的任一行驶状态,将所述行驶状态对应的行驶状态信息作为键名以及将所述行驶状态对应的检测结果作为键值,对应存储至存储单元。
可选地,所述第一确定模块1203,可以包括:
第五获取子模块,用于获取所述车辆的当前行驶状态;
第四确定子模块,用于将所述存储单元中与所述当前行驶状态对应的行驶状态信息相匹配的键名对应的键值确定为目标检测结果,并将所述目标检测结果中的注意力分数信息确定为所述目标注意力分数信息。
综上所述,本发明实施例提供的目标检测装置,通过获取待检测数据集;待检测数据集中包括待检测目标;基于目标检测模型以及待检测数据集,获取目标检测模型输出的至少两种行驶状态对应的检测结果;检测结果包括待检测目标对应的注意力分数信息;基于车辆的当前行驶状态,从至少两种行驶状态对应的检测结果中确定与当前行驶状态相匹配的目标注意力分数信息;目标注意力分数信息用于进行驾驶操作判断。这样,基于目标检测模型以及待检测数据集,获取目标检测模型输出的至少两种行驶状态对应的检测结果,进而基于车辆当前行驶状态,从至少两种行驶状态对应的检测结果中能够确定出与当前行驶状态对应的目标注意力分数信息。由于目标检测结果中的目标注意力分数信息表征待检测目标的关注度等级,因此,通过确定目标注意力分数信息,在丰富了对待检测目标进行检测的检测维度的同时,提高了对关键待检测目标的检测能力,便于用户根据待检测目标的关注度等级优先关注关键待检测目标,进行后续驾驶操作判断,一定程度上提高了后续驾驶操作判断的准确度,确保了驾驶安全。
图7是本发明实施例提供的一种目标检测模型的训练装置,所述装置130包括:
第三获取模块1301,用于获取待训练样本集;所述待训练样本集包括多个样本点云数据;
第四获取模块1302,用于针对所述多个样本点云数据中的任一样本点云数据,将所述样本点云数据作为待训练检测模型的输入,获取所述待训练检测模型输出的多个预测物体对应的预测结果;所述预测结果中包括注意力分数预测结果;
第一训练模块1303,用于基于所述预测结果,对所述待训练检测模型进行参数调整,并确定目标检测模型。
可选地,所述样本点云数据中包含多个预测物体;所述第一训练模块1303,可以包括:
第一调整模块,用于基于各所述预测物体对应的预测结果以及各所述预测物体对应的标注标签,对所述待训练检测模型进行参数调整;所述标注标签用于表征所述样本点云数据中所述预测物体对应的真实类别信息、真实位置信息以及至少两种行驶状态对应的真实注意力分数信息;
第二确定模块,用于在达到停止条件的情况下,将所述待训练检测模型确定为所述目标检测模型。
可选地,所述装置130还可以包括:
第五获取模块,用于针对所述多个样本点云数据中的任一样本点云数据中的任一标注物体,基于标注软件,获取所述标注物体的坐标信息、尺寸信息以及朝向信息,作为所述标注物体的真实位置信息;
第六获取模块,用于获取所述标注物体对应的真实分类信息以及所述标注物体对应的所述至少两种行驶状态对应的真实注意力分数信息;所述真实分类信息以及所述至少两种行驶状态对应的真实注意力分数信息是基于人工标注确定的;
第三确定模块,用于将所述真实位置信息、所述真实分类信息以及所述至少两种行驶状态对应的真实注意力分数信息确定为所述标注物体对应的标注标签。
可选地,所述第六获取模块,可以包括:
第一标注模块,用于针对任一行驶状态,基于所述标注物体的真实位置信息、所述标注物体的真实分类信息以及所述行驶状态中包含的转向状态和行驶速度状态,为所述标注物体标注对应的真实注意力分数信息。
可选地,所述待训练检测模型包括感知层、抽象层、分类层、边框预测层以及注意力分数预测层;所述第四获取模块1302,可以包括:
第六获取子模块,用于将所述样本点云数据作为所述待训练检测模型的输入,获取所述感知层输出的二维图像;
第七获取子模块,用于基于所述抽象层,获取所述二维图像对应的特征图;
第八获取子模块,用于基于所述分类层、所述边框预测层以及所述注意力分数预测层,分别获取所述特征图中多个预测物体对应的分类预测结果、位置预测结果以及所述至少两种行驶状态对应的注意力分数预测结果;
第四确定模块,用于将所述分类预测结果、所述位置预测结果以及所述至少两种行驶状态对应的注意力分数预测结果,确定为所述多个预测物体对应的预测结果。
可选地,各所述预测物体对应的分类预测结果中包含多个分类预测子结果以及与各所述分类预测子结果对应的置信度;所述装置130还可以包括:
第五确定模块,用于将满足预设筛选条件的预测物体确定为目标预测物体;所述预设筛选条件为所述预测物体对应的各所述分类预测子结果对应的置信度中最大置信度大于预设置信度阈值;
所述第一调整模块,可以包括:
第一调整子模块,用于针对任一所述目标预测物体,基于所述目标预测物体的预测结果以及所述目标预测物体对应的标注标签,对所述待训练检测模型进行参数调整。
可选地,所述装置130还可以包括:
第七获取模块,用于获取多个标注物体对应的多个标注标签;所述多个标注物体是基于所述样本点云数据预先确定的;
第六确定模块,用于基于所述目标预测物体对应的位置预测结果以及所述多个标注标签中的多个真实位置信息,确定所述位置预测结果以及各所述真实位置信息的匹配度;
第七确定模块,用于将最高匹配度对应的标注标签确定为所述目标预测物体对应的标注标签。
可选地,所述第一调整子模块可以包括:
第九获取子模块,用于基于所述目标预测物体的分类预测结果以及所述目标预测物体对应的真实分类信息,获取第一损失值;
第十获取子模块,用于基于所述目标预测物体的位置预测结果以及所述目标预测物体对应的真实位置信息,获取第二损失值;
第十一获取子模块,用于基于与所述目标预测物体相对应的至少两种行驶状态对应的注意力分数预测结果、与所述目标预测物体相对应的至少两种行驶状态对应的真实注意力分数信息以及所述至少两种行驶状态对应的权重值,获取第三损失值;
第二调整子模块,用于基于所述第一损失值、所述第二损失值以及所述第三损失值,对所述待训练检测模型进行参数调整。
可选地,所述至少两种行驶状态对应的行驶状态信息包括状态优先级信息,不同状态优先级信息对应不同权重值;所述装置130还可以包括:
第八确定模块,用于针对所述至少两种行驶状态中的任一行驶状态,确定所述行驶状态对应的行驶状态信息中的状态优先级信息,并获取所述状态优先级信息对应的权重值;
第九确定模块,用于将所述权重值确定为所述行驶状态对应的权重值。
综上所述,本发明实施例提供的一种目标检测模型的训练装置,通过获取待训练样本集;待训练样本集包括多个样本点云数据;针对多个样本点云数据中的任一样本点云数据,将样本点云数据作为待训练检测模型的输入,获取待训练检测模型输出的所述多个预测物体对应的预测结果;预测结果中包括注意力分数预测结果;基于预测结果,对待训练检测模型进行参数调整,并确定目标检测模型。这样,可以使得基于待训练样本集训练得到的目标检测模型,能够针对不同类型的预测物体进行更加准确的识别判断,提高了目标检测模型的识别准确性以及检测能力,同时,基于目标检测模型输出的目标注意力分数信息进行后续驾驶操作判断,一定程度上提高了后续驾驶操作判断的准确度,确保了驾驶安全。
本发明还提供了一种电子设备,参见图8,包括:处理器1401、存储器1402以及存储在所述存储器上并可在所述处理器上运行的计算机程序14021,所述处理器执行所述程序时实现前述实施例的目标检测方法以及目标检测模型的训练方法。
本发明还提供了一种可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行前述实施例的目标检测方法以及目标检测模型的训练方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明的排序设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (21)
1.一种目标检测方法,其特征在于,所述方法包括:
获取待检测数据集;所述待检测数据集中包括待检测目标;
基于目标检测模型以及所述待检测数据集,获取所述目标检测模型输出的至少两种行驶状态对应的检测结果;所述目标检测模型是基于待训练样本集对待训练检测模型进行训练得到的,所述检测结果包括所述待检测目标对应的注意力分数信息;
基于车辆的当前行驶状态,从所述至少两种行驶状态对应的检测结果中确定与所述当前行驶状态相匹配的目标注意力分数信息;所述目标注意力分数信息用于进行驾驶操作判断。
2.根据权利要求1所述的方法,其特征在于,所述基于目标检测模型以及所述待检测数据集,获取所述目标检测模型输出的至少两种行驶状态对应的检测结果,包括:
将所述待检测数据集作为所述目标检测模型的输入,获取所述目标检测模型输出的类别信息、位置信息以及所述至少两种行驶状态对应的注意力分数信息;
基于所述类别信息、所述位置信息以及所述至少两种行驶状态对应的注意力分数信息,确定所述至少两种行驶状态对应的检测结果。
3.根据权利要求2所述的方法,其特征在于,在存在多个待检测目标的情况下,所述将所述待检测数据集作为所述目标检测模型的输入,获取所述目标检测模型输出的类别信息、位置信息以及所述至少两种行驶状态对应的注意力分数信息,包括:
将所述待检测数据集作为所述目标检测模型的输入,获取所述目标检测模型中的分类层输出的各所述待检测目标的类别信息;
获取所述目标检测模型中的边框预测层输出的各所述待检测目标的位置信息,以及获取所述目标检测模型中的注意力分数预测层针对各所述待检测目标输出的至少两种注意力分数信息;所述至少两种注意力分数信息与所述至少两种行驶状态相对应。
4.根据权利要求3所述的方法,其特征在于,所述获取所述目标检测模型中的分类层输出的各所述待检测目标的类别信息,包括:
针对任一所述待检测目标,获取所述目标检测模型中的分类层输出的多个分类结果以及所述多个分类结果对应的概率值;
将所述概率值最大的分类结果确定为所述待检测目标的类别信息。
5.根据权利要求3所述的方法,其特征在于,所述基于所述类别信息、所述位置信息以及所述至少两种行驶状态对应的注意力分数信息,确定所述至少两种行驶状态对应的检测结果,包括:
针对任一所述待检测目标,将所述待检测目标对应的类别信息、所述待检测目标对应的位置信息以及所述待检测目标对应的至少两种注意力分数信息,确定为与所述待检测目标相对应的至少两种行驶状态对应的检测结果。
6.根据权利要求2所述的方法,其特征在于,所述方法还包括:
针对所述至少两种行驶状态中的任一行驶状态,将所述行驶状态对应的行驶状态信息作为键名以及将所述行驶状态对应的检测结果作为键值,对应存储至存储单元。
7.根据权利要求6所述的方法,其特征在于,所述基于车辆的当前行驶状态,从所述至少两种行驶状态对应的检测结果中确定与所述当前行驶状态相匹配的目标注意力分数信息,包括:
获取所述车辆的当前行驶状态;
将所述存储单元中与所述当前行驶状态对应的行驶状态信息相匹配的键名对应的键值确定为目标检测结果,并将所述目标检测结果中的注意力分数信息确定为所述目标注意力分数信息。
8.一种目标检测模型的训练方法,其特征在于,所述方法包括:
获取待训练样本集;所述待训练样本集包括多个样本点云数据;
针对所述多个样本点云数据中的任一样本点云数据,将所述样本点云数据作为待训练检测模型的输入,获取所述待训练检测模型输出的多个预测物体对应的预测结果;所述预测结果中包括注意力分数预测结果;
基于所述预测结果,对所述待训练检测模型进行参数调整,并确定目标检测模型。
9.根据权利要求8所述的方法,其特征在于,所述样本点云数据中包含多个预测物体;所述基于所述预测结果,对所述待训练检测模型进行参数调整,并确定目标检测模型,包括:
基于各所述预测物体对应的预测结果以及各所述预测物体对应的标注标签,对所述待训练检测模型进行参数调整;所述标注标签用于表征所述样本点云数据中所述预测物体对应的真实类别信息、真实位置信息以及至少两种行驶状态对应的真实注意力分数信息;
在达到停止条件的情况下,将所述待训练检测模型确定为所述目标检测模型。
10.根据权利要求8所述的方法,其特征在于,所述方法还包括:
针对所述多个样本点云数据中的任一样本点云数据中的任一标注物体,基于标注软件,获取所述标注物体的坐标信息、尺寸信息以及朝向信息,作为所述标注物体的真实位置信息;
获取所述标注物体对应的真实分类信息,以及,获取所述标注物体对应的至少两种行驶状态对应的真实注意力分数信息;所述真实分类信息以及所述至少两种行驶状态对应的真实注意力分数信息是基于人工标注确定的;
将所述真实位置信息、所述真实分类信息以及所述至少两种行驶状态对应的真实注意力分数信息确定为所述标注物体对应的标注标签。
11.根据权利要求10所述的方法,其特征在于,所述获取所述标注物体对应的所述至少两种行驶状态对应的真实注意力分数信息,包括:
针对任一行驶状态,基于所述标注物体的真实位置信息、所述标注物体的真实分类信息以及所述行驶状态中包含的转向状态和行驶速度状态,为所述标注物体标注对应的真实注意力分数信息。
12.根据权利要求9所述的方法,其特征在于,所述待训练检测模型包括感知层、抽象层、分类层、边框预测层以及注意力分数预测层;所述将所述样本点云数据作为待训练检测模型的输入,获取所述待训练检测模型输出的多个预测物体对应的预测结果,包括:
将所述样本点云数据作为所述待训练检测模型的输入,获取所述感知层输出的二维图像;
基于所述抽象层,获取所述二维图像对应的特征图;
基于所述分类层、所述边框预测层以及所述注意力分数预测层,分别获取所述特征图中多个预测物体对应的分类预测结果、位置预测结果以及所述至少两种行驶状态对应的注意力分数预测结果;
将所述分类预测结果、所述位置预测结果以及所述至少两种行驶状态对应的注意力分数预测结果,确定为所述多个预测物体对应的预测结果。
13.根据权利要求12所述的方法,其特征在于,所述感知层包含鸟瞰视觉算法,所述感知层用于基于所述鸟瞰视觉算法获取所述样本点云数据对应的俯视图,并确定所述俯视图中预设数目个网格空间的特征,得到所述样本点云数据对应的二维图像。
14.根据权利要求12所述的方法,其特征在于,所述注意力分数预测层包括多个卷积层,所述多个卷积层以预设连接方式相互连接,所述预设连接方式包括串联连接、跨层连接以及并联连接。
15.根据权利要求12所述的方法,其特征在于,各所述预测物体对应的分类预测结果中包含多个分类预测子结果以及与各所述分类预测子结果对应的置信度;所述方法还包括:
将满足预设筛选条件的预测物体确定为目标预测物体;所述预设筛选条件为所述预测物体对应的各所述分类预测子结果对应的置信度中最大置信度大于预设置信度阈值;
所述基于各所述预测物体对应的预测结果以及各所述预测物体对应的标注标签,对所述待训练检测模型进行参数调整,包括:
针对任一所述目标预测物体,基于所述目标预测物体的预测结果以及所述目标预测物体对应的标注标签,对所述待训练检测模型进行参数调整。
16.根据权利要求15所述的方法,其特征在于,所述样本点云数据中包括多个标注物体;所述方法还包括:
获取所述多个标注物体对应的多个标注标签;
基于所述目标预测物体对应的位置预测结果以及所述多个标注标签中的多个真实位置信息,确定所述位置预测结果以及各所述真实位置信息的匹配度;
将最高匹配度对应的标注标签确定为所述目标预测物体对应的标注标签。
17.根据权利要求15所述的方法,其特征在于,所述基于所述目标预测物体的预测结果以及所述目标预测物体对应的标注标签,对所述待训练检测模型进行参数调整,包括:
基于所述目标预测物体的分类预测结果以及所述目标预测物体对应的真实分类信息,获取第一损失值;
基于所述目标预测物体的位置预测结果以及所述目标预测物体对应的真实位置信息,获取第二损失值;
基于与所述目标预测物体相对应的至少两种行驶状态对应的注意力分数预测结果、与所述目标预测物体相对应的至少两种行驶状态对应的真实注意力分数信息以及所述至少两种行驶状态对应的权重值,获取第三损失值;
基于所述第一损失值、所述第二损失值以及所述第三损失值,对所述待训练检测模型进行参数调整。
18.根据权利要求17所述的方法,其特征在于,所述至少两种行驶状态对应的行驶状态信息包括状态优先级信息,不同状态优先级信息对应不同权重值;所述方法还包括:
针对所述至少两种行驶状态中的任一行驶状态,确定所述行驶状态对应的行驶状态信息中的状态优先级信息,并获取所述状态优先级信息对应的权重值;
将所述权重值确定为所述行驶状态对应的权重值。
19.一种目标检测系统,其特征在于,所述目标检测系统中包含如权利要求8-18中任一所述的目标检测模型的训练方法所训练得到的目标检测模型,所述目标检测模型用于执行如权利要求1-7中任一所述的目标检测方法。
20.一种目标检测装置,其特征在于,所述装置包括:
第一获取模块,用于获取待检测数据集;所述待检测数据集中包括待检测目标;
第二获取模块,用于基于目标检测模型以及所述待检测数据集,获取所述目标检测模型输出的至少两种行驶状态对应的检测结果;所述目标检测模型是基于待训练样本集对待训练检测模型进行训练得到的,所述检测结果包括所述待检测目标对应的注意力分数信息;
第一确定模块,用于基于车辆的当前行驶状态,从所述至少两种行驶状态对应的检测结果中确定与所述当前行驶状态相匹配的目标注意力分数信息;所述目标注意力分数信息用于进行驾驶操作判断。
21.一种目标检测模型的训练装置,其特征在于,所述装置包括:
第三获取模块,用于获取待训练样本集;所述待训练样本集包括多个样本点云数据;
第四获取模块,用于针对所述多个样本点云数据中的任一样本点云数据,将所述样本点云数据作为待训练检测模型的输入,获取所述待训练检测模型输出的多个预测物体对应的预测结果;所述预测结果中包括注意力分数预测结果;
第一训练模块,用于基于所述预测结果,对所述待训练检测模型进行参数调整,并确定目标检测模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310819581.0A CN116541715B (zh) | 2023-07-05 | 2023-07-05 | 目标检测方法、模型的训练方法、目标检测系统及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310819581.0A CN116541715B (zh) | 2023-07-05 | 2023-07-05 | 目标检测方法、模型的训练方法、目标检测系统及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116541715A true CN116541715A (zh) | 2023-08-04 |
CN116541715B CN116541715B (zh) | 2023-09-29 |
Family
ID=87456380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310819581.0A Active CN116541715B (zh) | 2023-07-05 | 2023-07-05 | 目标检测方法、模型的训练方法、目标检测系统及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116541715B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114379565A (zh) * | 2020-10-21 | 2022-04-22 | 辉达公司 | 用于自主和半自主驾驶应用的乘员注意力和认知负荷监测 |
CN114882205A (zh) * | 2022-04-01 | 2022-08-09 | 西安电子科技大学 | 基于注意力机制的目标检测方法 |
CN115221970A (zh) * | 2022-07-28 | 2022-10-21 | 重庆长安汽车股份有限公司 | 目标轨迹预测方法、系统、设备及介质 |
CN115249304A (zh) * | 2022-08-05 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 检测分割模型的训练方法、装置、电子设备和存储介质 |
CN115457493A (zh) * | 2022-09-30 | 2022-12-09 | 苏州万集车联网技术有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
CN115880536A (zh) * | 2023-02-15 | 2023-03-31 | 北京百度网讯科技有限公司 | 数据处理方法、训练方法、目标对象检测方法及装置 |
CN115981302A (zh) * | 2022-11-11 | 2023-04-18 | 北京清鹏智能科技有限公司 | 车辆跟驰换道行为决策方法、装置及电子设备 |
CN116261649A (zh) * | 2021-02-26 | 2023-06-13 | 华为技术有限公司 | 一种车辆行驶意图预测方法、装置、终端及存储介质 |
-
2023
- 2023-07-05 CN CN202310819581.0A patent/CN116541715B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114379565A (zh) * | 2020-10-21 | 2022-04-22 | 辉达公司 | 用于自主和半自主驾驶应用的乘员注意力和认知负荷监测 |
CN116261649A (zh) * | 2021-02-26 | 2023-06-13 | 华为技术有限公司 | 一种车辆行驶意图预测方法、装置、终端及存储介质 |
CN114882205A (zh) * | 2022-04-01 | 2022-08-09 | 西安电子科技大学 | 基于注意力机制的目标检测方法 |
CN115221970A (zh) * | 2022-07-28 | 2022-10-21 | 重庆长安汽车股份有限公司 | 目标轨迹预测方法、系统、设备及介质 |
CN115249304A (zh) * | 2022-08-05 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 检测分割模型的训练方法、装置、电子设备和存储介质 |
CN115457493A (zh) * | 2022-09-30 | 2022-12-09 | 苏州万集车联网技术有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
CN115981302A (zh) * | 2022-11-11 | 2023-04-18 | 北京清鹏智能科技有限公司 | 车辆跟驰换道行为决策方法、装置及电子设备 |
CN115880536A (zh) * | 2023-02-15 | 2023-03-31 | 北京百度网讯科技有限公司 | 数据处理方法、训练方法、目标对象检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN116541715B (zh) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110119148B (zh) | 一种六自由度姿态估计方法、装置及计算机可读存储介质 | |
CN110843794A (zh) | 驾驶场景理解方法、装置和轨迹规划方法、装置 | |
Zaghari et al. | The improvement in obstacle detection in autonomous vehicles using YOLO non-maximum suppression fuzzy algorithm | |
CN113052159B (zh) | 一种图像识别方法、装置、设备及计算机存储介质 | |
CN113033604A (zh) | 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质 | |
CN112738470B (zh) | 一种高速公路隧道内停车检测的方法 | |
CN108960074B (zh) | 基于深度学习的小尺寸行人目标检测方法 | |
CN112883991A (zh) | 对象分类方法、对象分类电路、机动车辆 | |
WO2022021982A1 (zh) | 可行驶区域判定的方法、智能驾驶系统和智能汽车 | |
CN111062405A (zh) | 训练图像识别模型的方法和装置以及图像识别方法和装置 | |
CN110909656B (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
CN118155183A (zh) | 一种深度多模态感知的非结构化场景自动驾驶网络架构方法 | |
CN115457288A (zh) | 基于鸟瞰视角的多目标跟踪方法、装置、存储介质及设备 | |
Barshooi et al. | Nighttime Driver Behavior Prediction Using Taillight Signal Recognition via CNN-SVM Classifier | |
CN116541715B (zh) | 目标检测方法、模型的训练方法、目标检测系统及装置 | |
Singh et al. | Improved YOLOv5l for vehicle detection: an application to estimating traffic density and identifying over speeding vehicles on highway scenes | |
CN114972725B (zh) | 模型训练方法、可读介质和电子设备 | |
CN113945222B (zh) | 道路信息的识别方法、装置、电子设备、车辆及介质 | |
Bratulescu et al. | Object Detection in Autonomous Vehicles | |
CN113963238A (zh) | 多任务感知识别模型的构建方法以及多任务感知识别方法 | |
CN114155504A (zh) | 用于自动驾驶的视觉识别车辆方法、装置、出行装置及介质 | |
Ponn et al. | Performance Analysis of Camera-based Object Detection for Automated Vehicles. | |
CN113065428A (zh) | 基于特征选择的自动驾驶目标识别方法 | |
CN113963027B (zh) | 不确定性检测模型的训练、不确定性的检测方法及装置 | |
US12046013B2 (en) | Using relevance of objects to assess performance of an autonomous vehicle perception system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |